CN113143294A - 一种基于卷积神经网络的脑电信号识别方法 - Google Patents

一种基于卷积神经网络的脑电信号识别方法 Download PDF

Info

Publication number
CN113143294A
CN113143294A CN202110404659.3A CN202110404659A CN113143294A CN 113143294 A CN113143294 A CN 113143294A CN 202110404659 A CN202110404659 A CN 202110404659A CN 113143294 A CN113143294 A CN 113143294A
Authority
CN
China
Prior art keywords
data
matrix
electroencephalogram
model
spd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110404659.3A
Other languages
English (en)
Inventor
申富饶
卜宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110404659.3A priority Critical patent/CN113143294A/zh
Publication of CN113143294A publication Critical patent/CN113143294A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种基于卷积神经网络的脑电信号识别方法,包括:步骤1,对原始脑电信号进行去噪声处理;步骤2,使用频带滤波对脑电信号进行预处理;步骤3,对预处理后的数据进行中心化处理,然后计算协方差,得到SPD矩阵;步骤4,将SPD矩阵作为卷积神经网络的输入进行训练,计算损失值;步骤5,使用梯度下降算法调整模型参数;步骤6,根据当前迭代次数选择继续训练或者退出;步骤7,将模型保存得到用户特定的脑电信号解析模型。

Description

一种基于卷积神经网络的脑电信号识别方法
技术领域
本发明涉及一种基于卷积神经网络的脑电信号识别方法。
背景技术
脑机接口(BCI)可以定义为一个系统,它将用户的大脑活动模式转换为交互式应用程序的消息或命令。BCI使用者的大脑活动通常是通过脑电图(EEG)来测量的。例如, BCI可以使用户通过分别想象左手或右手的移动,将光标移动到计算机屏幕的左侧或右侧,无需任何体力活动即可实现计算机控制。基于脑电的脑机接口有望彻底改变许多应用领域,特别是使严重运动障碍的用户能够控制辅助技术,例如文本输入系统或轮椅,或者将脑机接口作为中风患者的康复设备,作为新的游戏输入设备,或者设计能对用户心理状态做出反应的自适应人机界面。
为了使用脑机接口,通常需要两个阶段:离线训练阶段,在此期间对系统进行校准;(2)操作在线阶段,在此阶段,系统可以识别大脑活动模式并将其转换为计算机的命令。在线脑机接口系统是一个闭环系统,首先由用户产生特定的脑电模式(例如,使用运动想象)并测量这些脑电信号。然后,通常使用各种空间和频谱滤波器对EEG信号进行预处理,并从这些信号中提取特征,以便以恰当的形式表示它们。最后,对这些脑电特征进行分类,将这些脑电特征转化为应用程序的命令,向用户提供反馈以告知他们是否识别出特定的精神命令。
尽管目前正在努力实现无需校准的脑机接口系统,但离线校准目前仍然占据主流,并且在大多数BCI中是实验可靠系统所必需的。在这一阶段,对分类算法进行校正,并从多个脑电通道中选择最优特征。对于该校准,需要从用户处预先记录训练数据集。脑电信号具有高度的用户特异性,因此,目前大多数脑机接口系统都是专门为每个用户校准的。该训练数据集包含用户根据给定的指令多次执行感兴趣的每项脑力任务时记录的脑电信号。
发明内容
发明目的:为了解决当前脑机接口算法中的用户个异性导致的跨被试泛化问题和抗噪声问题,同时具备在数据集受限情况下的高学习效率,本发明提出一种基于卷积神经网络的脑电信号识别方法,从而提高模型整体识别精度,增强脑机接口系统的可靠性和易用性。
本发明包含如下步骤:
1.一种基于卷积神经网络的脑电识别方法,其特征在于,包括如下步骤:
步骤1,为当前用户佩戴并矫正好脑电波采集头盔。将脑电波采集头盔通过蓝牙与计算机连接通信,保存原始脑电波数据;被试志愿者被要求根据眼前的屏幕提示进行想象左手或者想象右手运动,与此同时利用搭载EEG放大器的计算机辅助设备对被试志愿者的脑电信号进行同步采集,采样频率设置为128Hz,采用差分电极从国际标准的 10~20导联系统中的’Fz’,’FC3’,’FC1’,’FCz’,’FC2’,’FC4’,’C5’,’C3’,’C1’,’Cz’,’C2’,’C4’,’C6’,’CP3’,’CP1’,’CPz’,’CP2’,’CP4’,’P1’,’Pz’,’P2’,’POz’,等通道获取。一次有效实验的时间为9s。数据采集包括三个阶段:
第一阶段,0s≤T<2s,准备时间,被试志愿者前方显示屏不开机,处于黑屏状态,提示被试志愿者放松;
第二阶段,2s≤T<3s,试验开始提示,被试志愿者前方显示屏出现十字光标,提示被试志愿者试验马上开始;
第三阶段,3s≤T<6s,试验时间,当显示屏上出现“向左”或“向右”箭头时,被试志愿者被要求按照光标提示方向进行想象左手或者右手在运动。
步骤2,使用EEGLAB开源工具观察原始脑电波波形,去除坏的信号通道,去除受噪声干扰严重的通道数据。
步骤3,对原始脑电波数据进行滤波所用频带滤波,须为7-35Hz频带滤波,提取与人体生物信号相关数据。
步骤4,对滤波后的脑电数据进行分片,截取单次有效实验的3s至6s的实验数据作为有效数据,并打上“向左”或“向右”的标签。
步骤5,对每个时间片的脑电波数据进行中心化,计算协方差,得到对应SPD矩阵。
步骤6,计算损失值loss使用的二元交叉墒损失函数loss如下:
Figure RE-GSB0000194221270000021
其中,N表示所有的样本数,C表示总的类别数,
Figure RE-GSB0000194221270000031
表示i个样本在第j个类别上的得分,
Figure RE-GSB0000194221270000032
表示i个样本在第j个类别上的目标值;
步骤7,根据迭代次数选择退出模型迭代过程,或者根据学习率策略调整学习率,进入下一次模型训练周期,继续训练模型。
在实际的模型部署中,其实可以通过使用部分旧数据来提高模型性能。而整个训练过程可以直接使用上面描述的训练过程。
步骤5中,所述计算协方差矩阵算法如下:
Figure RE-GSB0000194221270000033
其中,
Figure RE-GSB0000194221270000034
为来自类别i的第j个时间窗的数据,经过滤波后得到的脑电数据均值为0,按照公式(1)就能够得到来自类别i的第j个时间窗的数据对应的SPD矩阵。
步骤6中,所述卷积网络模型,其特有的黎曼卷积结构如下:
使用的黎曼卷积层如下:
Xk=f(k)(Xk-1;Wk)=WkXk-1Wk T
(2) 其中,Xk-1是第k层卷积层的输入矩阵,Wk是变换矩阵,Xk是第k层卷积层的输出矩阵。为了确保输出的SPD矩阵依旧符合SPD矩阵的特性,Wk必须满足满秩的要求。
SPD矩阵在经过黎曼卷积层之后,从一个原始SPD流形上的一点转化为一个新的SPD流形上的一点。也就保证了每个黎曼卷积层对应一个SPD流形。
使用的激活函数为:
Xk=f(k)(Xk-1)=Uk-1max(εI,∑k-1)Uk-1 T
(3)
其中,Uk-1和∑k-1通过特征值分解
Figure RE-GSB0000194221270000035
得到。ε作为修正阈值,max(εI,∑k-1)是一个对角矩阵。
根据ReLU函数的经验,ReLu函数的整流可以产生稀疏性。公式3的变换,可以防止输入的矩阵贴近非正矩阵。在应用卷积层之后,输入的矩阵已经是非奇异的。也就是说,即使原始SPD矩阵的特征值都远大于零,将ε设置在前n个最小特征值之上也是有必要的。
使用的池化层结构如下:
Xk=f(k)(Xk-1)=log(Xk-1)=Uk-1log(∑k-1)UT
(4)
其中Xk-1=Uk-1k-1UT是常见的矩阵特征值分解,log(∑k-1)是由特征值的对数操作得到的对角矩阵。
计算损失值loss使用的二元交叉墒损失函数loss如下:
Figure RE-GSB0000194221270000041
其中,N表示所有的样本数,C表示总的类别数,
Figure RE-GSB0000194221270000042
表示i个样本在第j个类别上的得分,
Figure RE-GSB0000194221270000043
表示i个样本在第j个类别上的目标值;
有益效果:
1.本模型相比较其他的脑电识别算法,能进一步提升识别效果;
2.本模型可以使用脑电数据的SPD矩阵形式作为模型输入来提升整体的性能,学习到更优秀的数据特征;
3.本模型利用了脑电数据的特性,采用黎曼卷积结构进一步缓解脑电识别任务中的个体差异性问题;
4.本模型利用了黎曼卷积结构,对于数据集有限情况的泛化能力更强,对低信噪比的脑电数据具备更好的鲁棒性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1为本发明涉及到的模型的框架结构。
图2为本发明涉及到的web界面。
图3为本发明涉及到的脑电采集硬件。
图4为本发明使用的模型在BCIC IV 2a上的多分类测试结果。
图5为本发明使用的模型在OpenBMI、SMR-BCI、BCIC IV 2a上的二分类测试结果。
图6为本发明流程图。
具体实施方式
如图1所示,本发明方法使用的模型主要包含三个模块,最左侧的是黎曼卷积层,这部分有两个作用,一是初步抽取底层特征,二是通过参数共享,防止过拟合,提高在数据集有限情况下能力。另外,该部分的网络选择是根据脑电数据本身特征选择的,脑电数据本身的低信噪比,跨被试泛化难,数据集有限,决定了寻常的卷积网络缺乏足够提取特征能力,而基于SPD黎曼流形的黎曼卷积网络可以更好地学习脑电数据特征。
第二部分是跟在黎曼卷积之后的激活函数层,根据ReLU函数的经验,ReLu函数的整流可以产生稀疏性。根据ReLU函数设计黎曼网络下的激活函数可以防止输入的矩阵贴近非正矩阵。在应用卷积层之后,输入的矩阵已经是非奇异的。原始SPD矩阵的特征值都远大于零,将ε设置在前n个最小特征值之上是有必要的。
第三部分是激活函数之后的LogEig层。卷积网络中,池化层具有下采样、降维、去除冗余信息、对特征进行压缩、减少参数量等作用。这里效仿池化层的成功经验,设计了SPD流形下的LogEig层。
根据黎曼流形本身的理论,黎曼流形上每个点都对应一个切平面,在这个切平面上,流形上的其他点,都可以通过简单的变换映射到该切平面上。通过把黎曼流形上的点和切平面上的点相互映射,可以将SPD矩阵映射成方便进行传统欧式空间下操作的形式。
实施例
图2描述了获取脑电数据所使用的脑电采集设备。
图3描述了本发明所设计的用于观测波形的web界面。
为了验证所提出新方法的效果,本发明使用的模型在OpenBMI、SMR-BCI、BCIC IV2a上的二分类测试,与现有的一些常用方法在多个数据集上的效果进行对比验证。这些被挑选用于对比实验的方法分别为FBCSP-SVM、Deep Convnet、EEGNet-8,2、 Spectral-spatial CNN。
为了进行公平的比较,所有方法都在相同的训练、验证和测试集上进行了评估。对于每一次实验都会报告其准确度和F1分数(F1-score)两方面指标。结果如图4所示。
在被试无关的实验上,在三大数据集上的准确度和F1分数均好于作为对比的四大基准方法。在BCI IV 2a和OpenBMI两大数据集的被试无关实验中,相比其他方法中的最优结果更有着显著的突破。而在被试相关的实验中,本发明提出的黎曼卷积方法虽然没有达到最优结果,仍然取得了和其他当前主流算法相近的结果。
为了验证所提出新方法的效果,本发明使用的模型在BCIC IV 2a上的多分类测试,
对于BCIC IV 2a数据集,进行四分类实验,并针对每名被试上的表现进行详细分析。这些被挑选用于对比实验的方法分别为FBCSP-SVM、Deep Convnet、EEGNet-8,2 结果如图5所示。
不仅在平均识别精度上远高于其他方法,达到了71%,并且精度方差减小,算法稳定性相比于传统方法进一步改善。在不同被试的统计结果中,均强于同类方法,这说明黎曼卷积网络的鲁棒性,黎曼卷积网络所使用的黎曼卷积层相比于传统的卷积结构具有更好的学习脑电数据特征的表现,在面对不同被试的生物差异性和对抗脑电数据低信噪比的特点时,具有更好的鲁棒性。
通过以上详细的对比试验,充分验证了本发明提出的一种基于卷积神经网络的脑电信号识别方法的有效性和可行性。
本发明提供了一种基于卷积神经网络的脑电信号识别方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (8)

1.一种基于卷积神经网络的脑电信号识别方法,其特征如下,包括如下步骤:
步骤1,为当前用户佩戴并矫正好脑电波采集头盔。将脑电波采集头盔通过蓝牙与计算机连接通信,保存原始脑电波数据;
步骤2,使用EEGLAB开源工具观察原始脑电波波形,去除坏的信号通道;
步骤3,使用7-35Hz频带滤波对去噪后的脑电波数据进行滤波;
步骤4,将滤波后的脑电数据进行分片操作,每个时间片为4s;
步骤5,对每个时间片的脑电波数据,进行矩阵中心化,并计算协方差,得到对称正定矩阵(SPD矩阵)。
步骤6,将得到的SPD矩阵作为卷积神经网络的输入,计算得到损失值;
步骤7,根据损失值loss,使用梯度下降算法,计算模型各个权重参数对应的梯度,并使用优化器调整对应的参数;
步骤8,将得到的模型保存,作为该用户特定的脑电信号识别模型;
2.根据权利要求1所述的方法,其特征在于,步骤1中,被试志愿者被要求根据眼前的屏幕提示进行想象左手或者想象右手运动,与此同时利用搭载EEG放大器的计算机辅助设备对被试志愿者的脑电信号进行同步采集,采样频率设置为128Hz,采用差分电极从国际标准的10~20导联系统中的’Fz’,’FC3’,’FC1’,’FCz’,’FC2’,’FC4’,’C5’,’C3’,’C1’,’Cz’,’C2’,’C4’,’C6’,’CP3’,’CP1’,’CPz’,’CP2’,’CP4’,’P1’,’Pz’,’P2’,’POz’,等通道获取。一次有效实验的时间为9s。数据采集包括如下步骤:
步骤1-1,0s≤T<2s,准备时间,被试志愿者前方显示屏不开机,处于黑屏状态,提示被试志愿者放松;
步骤1-2,2s≤T<3s,试验开始提示,被试志愿者前方显示屏出现十字光标,提示被试志愿者试验马上开始;
步骤1-3,3s≤T<6s,试验时间,当显示屏上出现“向左”或“向右”箭头时,被试志愿者被要求按照光标提示方向进行想象左手或者右手在运动。
3.根据权利要求2所述的方法,其特征在于,步骤2中,使用EEGLAB开源工具观察原始脑电波数据波形,去除受噪声干扰严重的通道数据。
4.根据权利要求3所述的方法,其特征在于,步骤3中,对原始脑电波数据进行滤波所用频带滤波,须为7-35Hz频带滤波,提取与人体生物信号相关数据。
5.根据权利要求4所述的方法,其特征在于,步骤4中,对滤波后的脑电数据进行分片,截取单次有效实验的3s至6s的实验数据作为有效数据,并打上“向左”或“向右”的标签。
6.根据权利要求5所述方法,其特征在于,步骤5中,对每个时间片的脑电波数据进行中心化,计算协方差,得到对应SPD矩阵:
Figure FSA0000239354340000021
其中,
Figure FSA0000239354340000022
为来自类别i的第j个时间窗的数据,经过滤波后得到的脑电数据均值为0,按照公式(1)就能够得到来自类别i的第j个时间窗的数据对应的SPD矩阵。
7.根据权利要求6所述方法,其特征在于,步骤6中,计算损失值loss使用的二元交叉墒损失函数loss如下:
Figure FSA0000239354340000023
其中,N表示所有的样本数,C表示总的类别数,
Figure FSA0000239354340000024
表示i个样本在第j个类别上的得分,
Figure FSA0000239354340000025
表示i个样本在第j个类别上的目标值;
步骤6中,所述卷积网络模型,其特有的黎曼卷积结构如下:
使用的黎曼卷积层如下:
Xk=f(k)(Xk-1;Wk)=WkXk-1Wk T
(2)
其中,Xk-1是第k层卷积层的输入矩阵,Wk是变换矩阵,Xk是第k层卷积层的输出矩阵。为了确保输出的SPD矩阵依旧符合SPD矩阵的特性,Wk必须满足满秩的要求。
使用的激活函数为:
Xk=f(k)(Xk-1)=Uk-1max(εI,∑k-1)Uk-1 T
(3)
其中,Uk-1和∑k-1通过特征值分解
Figure FSA0000239354340000031
得到。ε作为修正阈值,max(εI,∑k-1)是一个对角矩阵。
8.根据权利要求7所述方法,其特征在于,步骤7中,根据迭代次数选择退出模型迭代过程,或者根据学习率策略调整学习率,进入下一次模型训练周期,继续训练模型。
CN202110404659.3A 2021-04-15 2021-04-15 一种基于卷积神经网络的脑电信号识别方法 Pending CN113143294A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110404659.3A CN113143294A (zh) 2021-04-15 2021-04-15 一种基于卷积神经网络的脑电信号识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110404659.3A CN113143294A (zh) 2021-04-15 2021-04-15 一种基于卷积神经网络的脑电信号识别方法

Publications (1)

Publication Number Publication Date
CN113143294A true CN113143294A (zh) 2021-07-23

Family

ID=76867444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110404659.3A Pending CN113143294A (zh) 2021-04-15 2021-04-15 一种基于卷积神经网络的脑电信号识别方法

Country Status (1)

Country Link
CN (1) CN113143294A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780169A (zh) * 2021-09-10 2021-12-10 山东建筑大学 基于脑机接口的黎曼空间脑电信号分类方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657642A (zh) * 2018-12-29 2019-04-19 山东建筑大学 一种基于黎曼距离的运动想象脑电信号分类方法及系统
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN111832416A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 一种基于增强卷积神经网络的运动想象脑电信号识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657642A (zh) * 2018-12-29 2019-04-19 山东建筑大学 一种基于黎曼距离的运动想象脑电信号分类方法及系统
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN111832416A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 一种基于增强卷积神经网络的运动想象脑电信号识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780169A (zh) * 2021-09-10 2021-12-10 山东建筑大学 基于脑机接口的黎曼空间脑电信号分类方法及系统

Similar Documents

Publication Publication Date Title
CN108491077B (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
Barachant et al. Multiclass brain–computer interface classification by Riemannian geometry
Lemm et al. Spatio-spectral filters for improving the classification of single trial EEG
Higashi et al. Simultaneous design of FIR filter banks and spatial patterns for EEG signal classification
Zhang et al. Optimum spatio-spectral filtering network for brain–computer interface
CN107736894A (zh) 一种基于深度学习的心电信号情绪识别方法
CN111091074A (zh) 最优区域共空间模式的运动想象脑电信号分类方法
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN111310656A (zh) 基于多线性主成分分析的单次运动想象脑电信号识别方法
Ramos-Aguilar et al. Analysis of EEG signal processing techniques based on spectrograms
CN115795346A (zh) 一种人体脑电信号的分类识别方法
Talukdar et al. Motor imagery EEG signal classification scheme based on autoregressive reflection coefficients
CN113967022B (zh) 一种基于个体自适应的运动想象脑电特征表征方法
Nakra et al. Feature Extraction and Dimensionality Reduction Techniques with Their Advantages and Disadvantages for EEG-Based BCI System: A Review.
CN113143294A (zh) 一种基于卷积神经网络的脑电信号识别方法
Phinyomark et al. Applications of variance fractal dimension: A survey
CN112438741B (zh) 一种基于脑电特征迁移学习的驾驶状态检测方法及系统
CN113128384A (zh) 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法
CN117235576A (zh) 一种基于黎曼空间的运动想象脑电意图分类方法
CN116226624A (zh) 一种基于张量分解的运动想象脑机接口的通道选择方法
CN116522106A (zh) 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法
Mahmood et al. Frequency recognition of short-time SSVEP signal using CORRCA-based spatio-spectral feature fusion framework
Ghane et al. Robust understanding of EEG patterns in silent speech
CN114587384A (zh) 一种结合低秩表示与流形学习的运动想象脑电信号特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210723