CN114537409B - 基于多模态分析的多感官车载交互方法及系统 - Google Patents
基于多模态分析的多感官车载交互方法及系统 Download PDFInfo
- Publication number
- CN114537409B CN114537409B CN202210147956.9A CN202210147956A CN114537409B CN 114537409 B CN114537409 B CN 114537409B CN 202210147956 A CN202210147956 A CN 202210147956A CN 114537409 B CN114537409 B CN 114537409B
- Authority
- CN
- China
- Prior art keywords
- driver
- vehicle
- module
- real
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
Abstract
本发明提供了一种基于多模态分析的多感官车载交互方法及系统,包括:通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据;实时解析所述驾驶员的多模态源数据,提取多模态源数据中的特征向量;将多个特征向量进行拼接并转换到同一维度,得到处理后数据;将处理后数据输入BP神经网络进行训练,判定驾驶员的实时状态;根据驾驶员的实时状态,主动为驾驶员提供相应的交互服务。本发明通过采用多模态信息处理手段,可以综合判断驾驶员实时状态并提供主动式交互服务,提高理解用户情绪、意图的准确度;通过BP神经网络训练模型,实现车载交互系统的自我优化。
Description
技术领域
本发明涉及人机交互技术领域,具体地,涉及一种基于多模态分析的多感官车载交互方法及系统。
背景技术
在人机共驾阶段,多感官通道融合交互将建立人与机器的全新交互体验,通过对人的表情、语音、温湿度等进行采集分析,可以综合判断用户情绪状态和意图,将被动交互转变为主动交互。同时,以视觉、语音、嗅觉、触觉的交互方式与用户交流,可以显著提升驾乘体验。
在申请号为CN201910764559.4的中国专利,公开了“一种基于人工智能的自适应多感官睡眠辅助系统”,该系统通过检测压力信号和与睡眠相关的环境信号,实时判断睡眠状态和环境信息,从而控制光照、声音、气味、智能家电。该技术没有考量人体状态因素,不能全面、准确地反映人体状态特征。
在申请号为CN201480019946.0的中国专利,公开了“用于在车辆中产生不同的多感官环境的车辆功能构件的控制方法”,该技术可以控制车内的声音、照明、香味,但仅限于根据预设场景控制每个构件,不具有实时主动交互特征和个性化调节功能。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于多模态分析的多感官车载交互方法及系统。
根据本发明提供的一种基于多模态分析的多感官车载交互方法,包括以下步骤:
步骤S1:通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据;
步骤S2:实时解析所述驾驶员的多模态源数据,提取多模态源数据中的特征向量;
步骤S3:将多个特征向量进行拼接并转换到同一维度,得到处理后数据;
步骤S4:将处理后数据输入BP神经网络进行训练,判定驾驶员的实时状态;
步骤S5:根据驾驶员的实时状态,主动为驾驶员提供相应的交互服务。
优选地,所述车载摄像头采集:
-眼睛数据:包括眨眼次数以及上下眼睑距离;
-面部表情:包括打呵欠次数以及低头次数;
所述麦克风采集:用户的语音、语调以及语速;
所述温湿度传感器采集:人体温度、车内温度以及指车内湿度。
优选地,所述步骤S2包括:将多模态源数据进行编码,将模态源数据用向量序列隐层表示,通过特征提取工具对多模态源数据进行特征抽取,包括FACET和COVAREP,抽取后得到每个模态对应的特征表示,并对每个模态进行区分和标注,生成对应的序列。
优选地,所述步骤S3包括以下子步骤:
步骤S3.1:利用解码器隐层状态对序列进行计算得分,分别得到注意力向量;
步骤S3.2:利用解码器隐层表示对注意力向量计算权重分布;
步骤S3.3:根据权重融合多个注意力向量
优选地,所述步骤S5包括以下步骤:
步骤S5.1:获取驾驶员的实时状态,包括自然、疲劳、愤怒、悲伤、开心;
步骤S5.2:根据驾驶员的实时状态变化,向驾驶员提供主动交互服务,包括车内的氛围灯颜色、虚拟管家表情、音乐类型、香氛类型、车内温湿度;
步骤S5.3:通过对比第一时间段与第二时间段内驾驶员状态的变化,判定并优化主动交互服务的效果。
根据本发明提供的一种基于多模态分析的多感官车载交互系统,包括以下模块:
模块M1:通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据;
模块M2:实时解析所述驾驶员的多模态源数据,提取多模态源数据中的特征向量;
模块M3:将多个特征向量进行拼接并转换到同一维度,得到处理后数据;
模块M4:将处理后数据输入BP神经网络进行训练,判定驾驶员的实时状态;
模块M5:根据驾驶员的实时状态,主动为驾驶员提供相应的交互服务。
优选地,所述车载摄像头采集:
-眼睛数据:包括眨眼次数以及上下眼睑距离;
-面部表情:包括打呵欠次数以及低头次数;
所述麦克风采集:用户的语音、语调以及语速;
所述温湿度传感器采集:人体温度、车内温度以及指车内湿度。
优选地,所述模块M2包括:将多模态源数据进行编码,将模态源数据用向量序列隐层表示,通过特征提取工具对多模态源数据进行特征抽取,包括FACET和COVAREP,抽取后得到每个模态对应的特征表示,并对每个模态进行区分和标注,生成对应的序列。
优选地,所述模块M3包括以下子步骤:
模块M3.1:利用解码器隐层状态对序列进行计算得分,分别得到注意力向量;
模块M3.2:利用解码器隐层表示对注意力向量计算权重分布;
模块M3.3:根据权重融合多个注意力向量
优选地,所述模块M5包括以下步骤:
模块M5.1:获取驾驶员的实时状态,包括自然、疲劳、愤怒、悲伤、开心;
模块M5.2:根据驾驶员的实时状态变化,向驾驶员提供主动交互服务,包括车内的氛围灯颜色、虚拟管家表情、音乐类型、香氛类型、车内温湿度;
模块M5.3:通过对比第一时间段与第二时间段内驾驶员状态的变化,判定并优化主动交互服务的效果。
与现有技术相比,本发明具有如下的有益效果:
1、本发明通过采用多模态信息处理手段,可以综合判断驾驶员实时状态并提供主动式交互服务,提高理解用户情绪、意图的准确度;通过BP神经网络训练模型,实现车载交互系统的自我优化。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例基于多模态分析的多感官车载交互方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
参照图1,本发明公开了一种基于多模态分析的多感官车载交互方法,包括以下步骤:
步骤S1:通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据。
所述车载摄像头采集:
-眼睛数据:包括眨眼次数以及上下眼睑距离;
-面部表情:包括打呵欠次数以及低头次数;
所述麦克风采集:用户的语音、语调以及语速;
所述温湿度传感器采集:人体温度、车内温度以及指车内湿度。
步骤S2:实时解析所述驾驶员的多模态源数据,提取多模态源数据中的特征向量;
其中,解析过程包括:将多模态源数据进行编码,将模态源数据用向量序列隐层表示,通过特征提取工具对多模态源数据进行特征抽取,包括FACET和COVAREP,抽取后得到每个模态对应的特征表示,并对每个模态进行区分和标注,生成对应的序列。其中,FACET表示视觉特征(visual features)的抽取工具包,进行面部表情分析(30Hz)。COVAREP表示声学特征(acoustic features)的抽取工具包,进行声音分析(100Hz)。
步骤S3:将多个特征向量进行拼接并转换到同一维度,得到处理后数据。
具体包括以下子步骤:
步骤S3.1:利用解码器隐层状态对序列进行计算得分,分别得到注意力向量;
步骤S3.2:利用解码器隐层表示对注意力向量计算权重分布;
步骤S3.3:根据权重融合多个注意力向量
步骤S4:将处理后数据输入BP神经网络进行训练,判定驾驶员的实时状态;
步骤S5:根据驾驶员的实时状态,主动为驾驶员提供相应的交互服务。
步骤S5.1:获取驾驶员的实时状态,包括自然、疲劳、愤怒、悲伤、开心;
步骤S5.2:根据驾驶员的实时状态变化,向驾驶员提供主动交互服务,包括车内的氛围灯颜色、虚拟管家表情、音乐类型、香氛类型、车内温湿度;
步骤S5.3:通过对比第一时间段与第二时间段内驾驶员状态的变化,判定并优化主动交互服务的效果。
本发明还公开了一种基于多模态分析的多感官车载交互系统,包括以下模块:
模块M1:通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据。
所述车载摄像头采集:
-眼睛数据:包括眨眼次数以及上下眼睑距离;
-面部表情:包括打呵欠次数以及低头次数;
所述麦克风采集:用户的语音、语调以及语速;
所述温湿度传感器采集:人体温度、车内温度以及指车内湿度。
模块M2:实时解析所述驾驶员的多模态源数据,提取多模态源数据中的特征向量。
具体的解析过程包括:将多模态源数据进行编码,将模态源数据用向量序列隐层表示,通过特征提取工具对多模态源数据进行特征抽取,包括FACET和COVAREP,抽取后得到每个模态对应的特征表示,并对每个模态进行区分和标注,生成对应的序列。
模块M3:将多个特征向量进行拼接并转换到同一维度,得到处理后数据。
所述模块M3包括以下子步骤:
模块M3.1:利用解码器隐层状态对序列进行计算得分,分别得到注意力向量;
模块M3.2:利用解码器隐层表示对注意力向量计算权重分布;
模块M3.3:根据权重融合多个注意力向量
模块M4:将处理后数据输入BP神经网络进行训练,判定驾驶员的实时状态;
模块M5:根据驾驶员的实时状态,主动为驾驶员提供相应的交互服务。
模块M5包括以下步骤:
模块M5.1:获取驾驶员的实时状态,包括自然、疲劳、愤怒、悲伤、开心;
模块M5.2:根据驾驶员的实时状态变化,向驾驶员提供主动交互服务,包括车内的氛围灯颜色、虚拟管家表情、音乐类型、香氛类型、车内温湿度;
模块M5.3:通过对比第一时间段与第二时间段内驾驶员状态的变化,判定并优化主动交互服务的效果。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种基于多模态分析的多感官车载交互方法,其特征在于,包括以下步骤:
步骤S1:通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据;
步骤S2:实时解析所述驾驶员的多模态源数据,提取多模态源数据中的特征向量;
步骤S3:将多个特征向量进行拼接并转换到同一维度,得到处理后数据;
步骤S4:将处理后数据输入BP神经网络进行训练,判定驾驶员的实时状态;
步骤S5:根据驾驶员的实时状态,主动为驾驶员提供相应的交互服务;
所述步骤S2包括:将多模态源数据进行编码,将模态源数据用向量序列隐层表示,通过特征提取工具对多模态源数据进行特征抽取,包括FACET和COVAREP,抽取后得到每个模态对应的特征表示,并对每个模态进行区分和标注,生成对应的序列。
2.根据权利要求1所述的基于多模态分析的多感官车载交互方法,其特征在于:
所述车载摄像头采集:
-眼睛数据:包括眨眼次数以及上下眼睑距离;
-面部表情:包括打呵欠次数以及低头次数;
所述麦克风采集:用户的语音、语调以及语速;
所述温湿度传感器采集:人体温度、车内温度以及车内湿度。
3.根据权利要求1所述的基于多模态分析的多感官车载交互方法,其特征在于:所述步骤S3包括以下子步骤:
步骤S3.1:利用解码器隐层状态对序列进行计算得分,分别得到注意力向量;
步骤S3.2:利用解码器隐层表示对注意力向量计算权重分布;
步骤S3.3:根据权重融合多个注意力向量。
4.根据权利要求1所述的基于多模态分析的多感官车载交互方法,其特征在于:所述步骤S5包括以下步骤:
步骤S5.1:获取驾驶员的实时状态,包括自然、疲劳、愤怒、悲伤、开心;
步骤S5.2:根据驾驶员的实时状态变化,向驾驶员提供主动交互服务,包括车内的氛围灯颜色、虚拟管家表情、音乐类型、香氛类型、车内温湿度;
步骤S5.3:通过对比第一时间段与第二时间段内驾驶员状态的变化,判定并优化主动交互服务的效果。
5.一种基于多模态分析的多感官车载交互系统,其特征在于,包括以下模块:
模块M1:通过车载摄像头、麦克风、温湿度传感器实时捕获并存储驾驶员的多模态源数据;
模块M2:实时解析所述驾驶员的多模态源数据,提取多模态源数据中的特征向量;
模块M3:将多个特征向量进行拼接并转换到同一维度,得到处理后数据;
模块M4:将处理后数据输入BP神经网络进行训练,判定驾驶员的实时状态;
模块M5:根据驾驶员的实时状态,主动为驾驶员提供相应的交互服务;
所述模块M2包括:将多模态源数据进行编码,将模态源数据用向量序列隐层表示,通过特征提取工具对多模态源数据进行特征抽取,包括FACET和COVAREP,抽取后得到每个模态对应的特征表示,并对每个模态进行区分和标注, 生成对应的序列。
6.根据权利要求5所述的基于多模态分析的多感官车载交互系统,其特征在于:
所述车载摄像头采集:
-眼睛数据:包括眨眼次数以及上下眼睑距离;
-面部表情:包括打呵欠次数以及低头次数;
所述麦克风采集:用户的语音、语调以及语速;
所述温湿度传感器采集:人体温度、车内温度以及车内湿度。
7.根据权利要求5所述的基于多模态分析的多感官车载交互系统,其特征在于:所述模块M3包括以下子模块:
模块M3.1:利用解码器隐层状态对序列进行计算得分,分别得到注意力向量;
模块M3.2:利用解码器隐层表示对注意力向量计算权重分布;
模块M3.3:根据权重融合多个注意力向量。
8.根据权利要求5所述的基于多模态分析的多感官车载交互系统,其特征在于:所述模块M5包括以下子模块:
模块M5.1:获取驾驶员的实时状态,包括自然、疲劳、愤怒、悲伤、开心;
模块M5.2:根据驾驶员的实时状态变化,向驾驶员提供主动交互服务,包括车内的氛围灯颜色、虚拟管家表情、音乐类型、香氛类型、车内温湿度;
模块M5.3:通过对比第一时间段与第二时间段内驾驶员状态的变化,判定并优化主动交互服务的效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210147956.9A CN114537409B (zh) | 2022-02-17 | 2022-02-17 | 基于多模态分析的多感官车载交互方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210147956.9A CN114537409B (zh) | 2022-02-17 | 2022-02-17 | 基于多模态分析的多感官车载交互方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114537409A CN114537409A (zh) | 2022-05-27 |
CN114537409B true CN114537409B (zh) | 2022-11-11 |
Family
ID=81674756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210147956.9A Active CN114537409B (zh) | 2022-02-17 | 2022-02-17 | 基于多模态分析的多感官车载交互方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114537409B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205405811U (zh) * | 2016-02-26 | 2016-07-27 | 徐州工程学院 | 车辆状态监控系统 |
CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
CN113780062A (zh) * | 2021-07-26 | 2021-12-10 | 岚图汽车科技有限公司 | 一种基于情感识别的车载智能交互方法、存储介质及芯片 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11704574B2 (en) * | 2010-06-07 | 2023-07-18 | Affectiva, Inc. | Multimodal machine learning for vehicle manipulation |
US11635299B2 (en) * | 2020-02-06 | 2023-04-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for scene-aware interaction |
-
2022
- 2022-02-17 CN CN202210147956.9A patent/CN114537409B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN205405811U (zh) * | 2016-02-26 | 2016-07-27 | 徐州工程学院 | 车辆状态监控系统 |
CN108805089A (zh) * | 2018-06-14 | 2018-11-13 | 南京云思创智信息科技有限公司 | 基于多模态的情绪识别方法 |
CN113780062A (zh) * | 2021-07-26 | 2021-12-10 | 岚图汽车科技有限公司 | 一种基于情感识别的车载智能交互方法、存储介质及芯片 |
Also Published As
Publication number | Publication date |
---|---|
CN114537409A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9501743B2 (en) | Method and apparatus for tailoring the output of an intelligent automated assistant to a user | |
CN112162628A (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
CN109117952B (zh) | 一种基于深度学习的机器人情感认知的方法 | |
CN106649843A (zh) | 基于车载终端的媒体文件推荐方法、系统、及车载终端 | |
CN109410927A (zh) | 离线命令词与云端解析结合的语音识别方法、装置和系统 | |
CN109941231B (zh) | 车载终端设备、车载交互系统和交互方法 | |
CN104123936A (zh) | 对话系统自动训练方法、对话系统及用于车辆的控制装置 | |
CN105046238A (zh) | 一种面部表情机器人多通道信息情感表达映射方法 | |
CN113460070B (zh) | 车辆控制方法和装置 | |
CN106502382B (zh) | 用于智能机器人的主动交互方法和系统 | |
KR102221513B1 (ko) | 음성 감정 인식 방법 및 시스템 | |
KR20080023030A (ko) | 온라인 방식에 의한 화자 인식 방법 및 이를 위한 장치 | |
JP2018008316A (ja) | 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム | |
US20060167837A1 (en) | User interaction management using an ongoing estimate of user interaction skills | |
TW201937344A (zh) | 智慧型機器人及人機交互方法 | |
CN112959998B (zh) | 一种车载人机交互方法、装置、车辆及电子设备 | |
JP2022095768A (ja) | インテリジェントキャビン用の対話方法、装置、機器および媒体 | |
KR101738142B1 (ko) | 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법 | |
CN117197878B (zh) | 基于机器学习的人物面部表情捕捉方法及系统 | |
CN114537409B (zh) | 基于多模态分析的多感官车载交互方法及系统 | |
CN117032453A (zh) | 一种实现互识功能的虚拟现实交互系统 | |
CN113128284A (zh) | 一种多模态情感识别方法和装置 | |
WO2023102889A1 (zh) | 语音交互的方法和装置 | |
CN110414295A (zh) | 识别大米的方法、装置、烹饪设备及计算机存储介质 | |
CN108446403A (zh) | 语言练习方法、装置、智能车载终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |