CN112245131A - 基于面部表情脑电信号驱动的轮椅控制系统和方法 - Google Patents
基于面部表情脑电信号驱动的轮椅控制系统和方法 Download PDFInfo
- Publication number
- CN112245131A CN112245131A CN202010925422.5A CN202010925422A CN112245131A CN 112245131 A CN112245131 A CN 112245131A CN 202010925422 A CN202010925422 A CN 202010925422A CN 112245131 A CN112245131 A CN 112245131A
- Authority
- CN
- China
- Prior art keywords
- module
- electroencephalogram
- wheelchair
- signal
- electroencephalogram signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 17
- 210000004556 brain Anatomy 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000013145 classification model Methods 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims abstract description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 210000002442 prefrontal cortex Anatomy 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 3
- 210000003715 limbic system Anatomy 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
- A61G5/1051—Arrangements for steering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
Abstract
本发明公开了基于面部表情脑电信号驱动的轮椅控制系统和方法。基于面部表情脑电信号驱动的轮椅控制系统包括脑电信号采集模块，信号处理模块，信号处理模块包括信号预处理模块、特征提取模块和分类判断模块，控制驱动模块；信号预处理模块通过放大器对采集的脑电信号进行放大、滤波和去伪迹处理；特征提取模块通过共空间模式对预处理后的脑电信号进行空间滤波，之后提取频域能量特征；分类判断模块通过预先训练得到的样本特征分类模型对采集样本进行分类判断。本发明以受试者做不同面部表情时产生的脑电信号作为控制信息源，保证了用户操作的实时性与高精度性；实现大脑信号控制轮椅，操作便利，更有助于行动不便或手部活动不便的用户使用。
Description
技术领域
本发明涉及智能机器人领域，特别涉及基于面部表情脑电信号驱动的轮椅控制系统和方法。
背景技术
由于交通事故、工伤、疾病等缘由的频繁发生，下肢残疾人数正在逐步上升。根据我国2006年残疾人抽样调成数据得知，目前我国残疾人总人数为8296万人,其中肢体残疾者为2412万人，占残疾人总人数的29.07％。大多数下肢残疾人利用电动轮椅进行日常出行，但是仍有一部分上肢运动功能丧失的人，他们无法通过传统的接口(如轮椅的控制杆等)对电动轮椅进行操控。脑机接口是人脑-计算机接口的简称，是基于脑电信号实现大脑与电子设备之间直接交流通讯和控制的技术。由于不依赖常规的大脑输出通路，脑机接口为人的大脑开辟了全新的与外界进行信息交流和控制的途径。
现有基于稳态视觉诱发电位的脑控智能轮椅，一般采用多刺激目标实现多控制指令执行一个固定操作，每个控制指令执行一个固定操作。虽然这种方式为操控轮椅提供了便利性，但一方面由于多目标刺激的存在造成辨识正确率下降，另一方面没有借助对使用者历史操作记录的学习，即没有对使用者的操作意图进行预判，因而降低了脑控智能轮椅的执行效率。同时电动轮椅是目前较为常见的轮椅，坐在轮椅上的人通过操作轮椅上的按钮或操作杆即可实现轮椅的启停、前进、后退等操作，但是对于一部分手部活动不便的老年人及残障人士而言，极大的限制了其操作性，一定程度上降低了轮椅的便利性。
本发明所要解决的技术问题为：如何提高智能轮椅动作的正确率和轮椅执行效率并采用面部表情控制。
发明内容
本发明的目的是提供一种高正确率和轮椅执行效率的基于面部表情脑电信号驱动的轮椅控制系统。
为实现上述目的，本发明采用如下技术方案，基于面部表情脑电信号驱动的轮椅控制系统，包括
脑电信号采集模块，脑电信号采集模块用于采集特定表情动作的脑电信号；
信号处理模块，信号处理模块包括信号预处理模块、特征提取模块和分类判断模块，信号处理模块用于接收脑电信号采集模块发出的电信号并分析处理得到控制电信号；
控制驱动模块，控制驱动模块用于控制轮椅运动，控制驱动模块接收信号处理模块发出的控制电信号；
信号预处理模块通过放大器对采集的脑电信号进行放大、滤波和去伪迹处理；
特征提取模块通过共空间模式对预处理后的脑电信号进行空间滤波，之后提取频域能量特征；
分类判断模块通过预先训练得到的样本特征分类模型对采集样本进行分类判断。
在一些实施方式中，控制驱动模块预设控制指令，分类判断模块根据分类判断结果编码成对应控制指令，并与控制驱动模块匹配执行。
在一些实施方式中，脑电信号采集模块通过在受试者双侧耳后位置放置参考电极来采集受试者头部前额叶皮层和位于边缘系统的脑电信号。
在一些实施方式中，特定表情动作包括提眉、皱眉、左撇嘴和右撇嘴，四个特定表情动作对应轮椅执行前进、后退、左转向、右转向动作。
在一些实施方式中，脑电信号采集模块与信号处理模块及控制驱动模块之间采用蓝牙模块进行通讯连接。
基于面部表情脑电信号驱动的轮椅控制方法，包括如下步骤：
S1、通过无线脑电采集设备对用户采集特定通道位置的脑电信号；
S2、对采集到的脑电信号进行信号预处理，信号预处理包括依次对脑电信号的放大、带通滤波和去除伪迹；
S3、对信号预处理后的脑电信号进行空间滤波并进行特征提取；
S4、对S3中得到的样本数据进行分类识别及判断，当判断分类正确则进入S5，否则重复S1；
S5、利用S4获得的分类识别结果进行编码，并转化为轮椅电机控制器的控制指令，从而实现轮椅动作控制。
在一些实施方式中，S1中特定通道位置为使用者头部前额叶皮层的FC5、FC6位置与位于边缘系统的F7、F8位置。
在一些实施方式中，特定通道位置对应的面部表情为提眉、皱眉、右撇嘴和左撇嘴。
在一些实施方式中，S2中带通滤波进行频段为2～40Hz，该频段为α波段和θ波段信号。
在一些实施方式中，S3中，利用共空间模式CSP对采集的脑电信号进行空间滤波，选择m对空间滤波器对原脑电信号进行空间滤波，计算2-40Hz频带能量作为特征。
本发明的有益效果为：本发明基于面部表情脑电信号驱动的轮椅控制系统和方法，针对传统的基于稳态视觉诱发的脑控轮椅识别精度低，轮椅执行效率低的问题，提出来一种新的基于面部表情驱动的脑控轮椅方法，以受试者做不同面部表情时产生的脑电信号作为控制信息源，实现智能轮椅的多目标任务，保证了用户操作的实时性与高精度性；采用无线通信技术连接脑电采集模块、信号处理模块、以及轮椅驱动控制模块之间的数据传输，提高了受试者的灵活使用空间；通过该方法可以实现大脑信号控制轮椅，操作便利，更有助于行动不便或手部活动不便的用户使用。
附图说明
图1为本发明基于面部表情脑电信号驱动的轮椅控制系统的框架结构示意图；
图2为本发明基于面部表情脑电信号驱动的轮椅控制方法的流程示意图；
图3为本发明脑电信号采集模块的通道选择示意图；
图4为本发明四种面部表情对应四种轮椅基本动作的示意图。
具体实施方式
下面结合附图对本发明作进一步详细的说明。
实施例1
如图1所示，基于面部表情脑电信号驱动的轮椅控制系统，包括
脑电信号采集模块，脑电信号采集模块用于采集特定表情动作的脑电信号并转换为电信号；
信号处理模块，信号处理模块包括信号预处理模块、特征提取模块和分类判断模块，信号处理模块用于接收脑电信号采集模块发出的脑电信号并分析处理得到控制电信号；
控制驱动模块，控制驱动模块用于控制轮椅运动，控制驱动模块接收信号处理模块发出的控制电信号；
信号预处理模块通过放大器对采集的脑电信号进行放大、滤波和去伪迹处理；
特征提取模块通过共空间模式对预处理后的脑电信号进行空间滤波，之后提取频域能量特征；
分类判断模块通过预先训练得到的样本特征分类模型对采集样本进行分类判断。
控制驱动模块预设控制指令，分类判断模块根据分类判断结果编码成对应控制指令，并与控制驱动模块匹配执行。
脑电信号采集模块与信号处理模块及控制驱动模块之间采用蓝牙模块进行通讯连接。
如图3所示，脑电信号采集模块通过在受试者双侧耳后位置放置参考电极来采集受试者头部前额叶皮层和位于边缘系统的脑电信号。
按照国际10-20系统电极放置标准，在使用者头部前额叶皮层的FC5、FC6位置与位于边缘系统的F7、F8位置的脑电信号，根据不同面部表情驱动产生机理，采集受试者头部前额叶皮层的FC5、FC6位置和位于边缘系统的F7、F8位置脑电信号，选用双侧耳后位置放置参考电极，测得的脑电信号，经放大、滤波，去伪迹后传给信号处理模块。
如图4所示，车载屏幕显示四种简单面部表情及对应轮椅执行动作，特定表情动作包括提眉、皱眉、左撇嘴和右撇嘴，四个特定表情动作对应轮椅执行前进、后退、左转向、右转向动作。
实施例2
如图2所示，基于面部表情脑电信号驱动的轮椅控制方法，包括如下步骤：
S1、通过无线脑电采集设备对用户采集特定通道位置的脑电信号；
S2、对采集到的脑电信号进行信号预处理，信号预处理包括依次对脑电信号的放大、带通滤波和去除伪迹；
S3、对信号预处理后的脑电信号进行空间滤波并进行特征提取；
S4、对S3中得到的样本数据进行分类识别及判断，当判断分类正确则进入S5，否则重复S1；
S5、利用S4获得的分类识别结果进行编码，并转化为轮椅电机控制器的控制指令，从而实现轮椅动作控制。
S1中特定通道位置为使用者头部前额叶皮层的FC5、FC6位置与位于边缘系统的F7、F8位置。
特定通道位置对应的面部表情为提眉、皱眉、右撇嘴和左撇嘴。
S2中带通滤波进行频段为2～40Hz，该频段为α波段和θ波段信号。
S3中，利用共空间模式CSP对采集的脑电信号进行空间滤波，选择m对空间滤波器对原脑电信号进行空间滤波，计算2-40Hz频带能量作为特征。
S4中，分类器模型选用支持向量机，利用步骤3得到的训练样本，通过对样本进行训练得到支持向量机分类器。
本发明通过四种简单表情分别为提眉、皱眉、左撇嘴、右撇嘴，每种表情至少重复3次。所述提眉对应于控制轮椅前进动作；皱眉对应于控制轮椅后退动作；左撇嘴对应于控制轮椅左转向动作；右撇嘴对应于控制轮椅右转向动作；不做动作轮椅即停止；针对传统的基于稳态视觉诱发的脑控轮椅识别精度低，轮椅执行效率低的问题，提出来一种新的基于面部表情驱动的脑控轮椅方法，以受试者做不同面部表情时产生的脑电信号作为控制信息源，实现智能轮椅的多目标任务，保证了用户操作的实时性与高精度性；采用无线通信技术连接脑电采集模块、信号处理模块、以及轮椅驱动控制模块之间的数据传输，提高了受试者的灵活使用空间；通过该方法可以实现大脑信号控制轮椅，操作便利，更有助于行动不便或手部活动不便的用户使用。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.基于面部表情脑电信号驱动的轮椅控制系统，其特征在于，包括：
脑电信号采集模块，所述脑电信号采集模块用于采集特定表情动作的脑电信号；
信号处理模块，所述信号处理模块包括信号预处理模块、特征提取模块和分类判断模块，所述信号处理模块用于接收脑电信号采集模块发出的脑电信号并分析处理得到控制电信号；
控制驱动模块，所述控制驱动模块用于控制轮椅运动，所述控制驱动模块接收信号处理模块发出的控制电信号；
所述信号预处理模块通过放大器对采集的脑电信号进行放大、滤波和去伪迹处理；
所述特征提取模块通过共空间模式对预处理后的脑电信号进行空间滤波，之后提取频域能量特征；
所述分类判断模块通过预先训练得到的样本特征分类模型对采集样本进行分类判断。
2.根据权利要求1所述的基于面部表情脑电信号驱动的轮椅控制系统，其特征在于，所述控制驱动模块预设控制指令，所述分类判断模块根据分类判断结果编码成对应控制指令，并与控制驱动模块匹配执行。
3.根据权利要求1所述的基于面部表情脑电信号驱动的轮椅控制系统，其特征在于，所述脑电信号采集模块通过在受试者双侧耳后位置放置参考电极来采集受试者头部前额叶皮层和位于边缘系统的脑电信号。
4.根据权利要求1所述的基于面部表情脑电信号驱动的轮椅控制系统，其特征在于，所述特定表情动作包括提眉、皱眉、左撇嘴和右撇嘴，四个所述特定表情动作对应轮椅执行前进、后退、左转向、右转向动作。
5.根据权利要求1所述的基于面部表情脑电信号驱动的轮椅控制系统，其特征在于，所述脑电信号采集模块与信号处理模块及控制驱动模块之间采用蓝牙模块进行通讯连接。
6.基于面部表情脑电信号驱动的轮椅控制方法，其特征在于，包括如下步骤：
S1、通过无线脑电采集设备对用户采集特定通道位置的脑电信号；
S2、对采集到的脑电信号进行信号预处理，信号预处理包括依次对脑电信号的放大、带通滤波和去除伪迹；
S3、对信号预处理后的脑电信号进行空间滤波并进行特征提取；
S4、对S3中得到的样本数据进行分类识别及判断，当判断分类正确则进入S5，否则重复S1；
S5、利用S4获得的分类识别结果进行编码，并转化为轮椅电机控制器的控制指令，从而实现轮椅动作控制。
7.根据权利要求6所述的基于面部表情脑电信号驱动的轮椅控制方法，其特征在于，所述S1中特定通道位置为使用者头部前额叶皮层的FC5、FC6位置与位于边缘系统的F7、F8位置。
8.根据权利要求7所述的基于面部表情脑电信号驱动的轮椅控制方法，其特征在于，所述特定通道位置对应的面部表情为提眉、皱眉、右撇嘴和左撇嘴。
9.根据权利要求6所述的基于面部表情脑电信号驱动的轮椅控制方法，其特征在于，所述S2中带通滤波进行频段为2～40Hz，该频段为α波段和θ波段信号。
10.根据权利要求6所述的基于面部表情脑电信号驱动的轮椅控制方法，其特征在于，所述S3中，利用共空间模式CSP对采集的脑电信号进行空间滤波，选择m对空间滤波器对原脑电信号进行空间滤波，计算2-40Hz频带能量作为特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010925422.5A CN112245131A (zh) | 2020-09-03 | 2020-09-03 | 基于面部表情脑电信号驱动的轮椅控制系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010925422.5A CN112245131A (zh) | 2020-09-03 | 2020-09-03 | 基于面部表情脑电信号驱动的轮椅控制系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112245131A true CN112245131A (zh) | 2021-01-22 |
Family
ID=74231128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010925422.5A Pending CN112245131A (zh) | 2020-09-03 | 2020-09-03 | 基于面部表情脑电信号驱动的轮椅控制系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112245131A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463100A (zh) * | 2014-11-07 | 2015-03-25 | 重庆邮电大学 | 基于面部表情识别模式的智能轮椅人机交互系统及方法 |
| CN104997581A (zh) * | 2015-07-17 | 2015-10-28 | 西安交通大学 | 基于面部表情驱动脑电信号的假手控制方法及装置 |
| CN105022486A (zh) * | 2015-07-17 | 2015-11-04 | 西安交通大学 | 基于不同表情驱动的脑电信号辨识方法 |
| CN107961120A (zh) * | 2017-12-08 | 2018-04-27 | 中国电子科技集团公司第二十七研究所 | 一种基于脑电控制的智能轮椅控制系统 |
| CN109481164A (zh) * | 2018-11-29 | 2019-03-19 | 江苏理工学院 | 一种基于脑电信号的电动轮椅控制系统 |
-
2020
- 2020-09-03 CN CN202010925422.5A patent/CN112245131A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463100A (zh) * | 2014-11-07 | 2015-03-25 | 重庆邮电大学 | 基于面部表情识别模式的智能轮椅人机交互系统及方法 |
| CN104997581A (zh) * | 2015-07-17 | 2015-10-28 | 西安交通大学 | 基于面部表情驱动脑电信号的假手控制方法及装置 |
| CN105022486A (zh) * | 2015-07-17 | 2015-11-04 | 西安交通大学 | 基于不同表情驱动的脑电信号辨识方法 |
| CN107961120A (zh) * | 2017-12-08 | 2018-04-27 | 中国电子科技集团公司第二十七研究所 | 一种基于脑电控制的智能轮椅控制系统 |
| CN109481164A (zh) * | 2018-11-29 | 2019-03-19 | 江苏理工学院 | 一种基于脑电信号的电动轮椅控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101201696B (zh) | 基于p300脑电电位的中文输入bci系统 | |
| CN104997581B (zh) | 基于面部表情驱动脑电信号的假手控制方法及装置 | |
| CN106214391B (zh) | 基于脑机接口的智能护理床及其控制方法 | |
| CN104799984B (zh) | 基于脑控移动眼的残疾人辅助系统及其控制方法 | |
| CN109284004B (zh) | 一种基于脑机接口的智能护理系统 | |
| CN106491251B (zh) | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 | |
| CN110916652A (zh) | 用于基于运动想象的脑电控制机器人移动的数据采集装置、方法及其应用 | |
| CN110134240A (zh) | 基于脑电与头姿混合接口的机器人轮椅控制系统 | |
| CN104706495A (zh) | 基于脑机接口的肢体训练机器人及训练方法 | |
| CN109144238B (zh) | 一种基于眼电编码的人机交互系统及其交互方法 | |
| CN114652532B (zh) | 基于ssvep与注意力检测的多功能脑控轮椅系统 | |
| CN113143676A (zh) | 一种基于脑肌电协同的外肢体手指的控制方法 | |
| CN110688013A (zh) | 一种基于ssvep的英文键盘拼写系统及拼写方法 | |
| CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食系统及方法 | |
| CN108319367B (zh) | 一种基于运动起始诱发电位的脑机接口方法 | |
| CN215779268U (zh) | 基于面部表情脑电信号驱动的轮椅 | |
| CN112370259A (zh) | 一种基于ssvep的脑控轮椅的控制系统 | |
| CN112245131A (zh) | 基于面部表情脑电信号驱动的轮椅控制系统和方法 | |
| CN112578682A (zh) | 一种基于眼电控制的智能助障家居系统 | |
| CN115454238A (zh) | 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车 | |
| CN109814720A (zh) | 一种设备的脑控方法及系统 | |
| CN114936574A (zh) | 一种基于bci的高灵活度机械手系统及其实现方法 | |
| CN112936259B (zh) | 一种适用于水下机器人的人机协作方法 | |
| CN114569350A (zh) | 一种头戴式眼电操控的智能轮椅及其控制方法 | |
| CN111651046A (zh) | 一种无手部动作的手势意图识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210122 |