CN104166548A - 基于运动想象脑电数据的深度学习方法 - Google Patents
基于运动想象脑电数据的深度学习方法 Download PDFInfo
- Publication number
- CN104166548A CN104166548A CN201410387838.0A CN201410387838A CN104166548A CN 104166548 A CN104166548 A CN 104166548A CN 201410387838 A CN201410387838 A CN 201410387838A CN 104166548 A CN104166548 A CN 104166548A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- training
- partiald
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
一种基于运动想象脑电数据的深度学习方法,包括:步骤一,对于运动想象脑电数据,对原始数据进行去噪处理,然后通过滤波提取8HZ~30HZ的α波和β波段的数据,然后利用傅里叶变换算法将时域数据转化为频域数据。步骤二,首先利用单导联数据训练每个弱分类器,然后采用boost方法将弱分类器结合为最终的强分类器。步骤三,训练后得到判别模型,测试数据放入模型后利用已学习参数进行学习特征,最后根据各个特征进行判别分析。无需人工挑选特征;通过多层抽象后的特征能更好的表达原有数据所要表达的信息,滤除掉多余无用信息,为分类提供方便;利用DL可以有效进行特征提取的优势,分类特征的提取精确性有了保证;依托分类器的分类功能,达到预期的分类效果。
Description
技术领域
本发明涉及人工智能与模式识别领域的一种基于Deep learning思想的算法。
技术背景
●基于Deep Learning算法思想的分类
近年来随着科学技术的发展,尤其是随着脑机接口(BCI)技术的出现,使得对运动想象脑电信号的研究成为一个新的研究热点。对运动想象的研究,不仅有助于丰富人类对大脑的了解,而且康复领域也有积极地作用。BCI(Brain-computer interface)即脑机接口,是一种将人与计算机建立联系、交换信息的接口而不依赖于大脑、周围神经核肌肉等组成的一般输出通路,从而将大脑信息传递至电脑并利用电脑或电子设备完成对在特定任务下脑部活动的研究。目前BCI技术与知识的发展,脑机接口研究者们一直试图创造许多脑机接口来增强人体机能且在人机交互与智能系统方面取得了良好进展。最近提出很多关于运动想象的分类研究的方法。研究表明,采用MSCE提取特征并利用K-NN与SVM进行分类,可以使得交叉被试有效验证分类准确率达到90%;Likes研究小组所做研究表明,结合多维度过滤器与PCA(Principal Component Analysis)来提高识别EEG信号的分类效果并取得了91.13%的分类准确率,这可大大提高BCI系统在信号识别中的性能;Shang-Lin Wu与其同事进行的研究显示使用共域空间模型对EEG脑电数据进行特征提取后采用线性判别分类(LinearDiscriminant analysis)进行分类,对于两个被试均采用9个导联且不进行特征筛选,平均分类准确率可达到80%;此外,Yohimbe等人提出采用近红外光谱(NIRS)同时用EEG来测量血流动力波动刺激时大脑中稳态视觉诱发电位,最终降低了13个被试9类分类的错误率。
Deep Learning(DL)算法动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,它主要是能够自主学习原始数据的多层表示,使用许多隐藏层构成深层结构。该算法自动提取包含更多有意义信息,对分类更有利的高层特征,该特征是由低层特征组合而成。该方法现阶段主要应用在手写识别体的辨别、语音识别及自然语言处理等方面的研究。
DL算法广泛采用的模型即DBN,该模型是由多层RBM堆叠而成且进行无监督贪婪训练每一层。RBM(Restrict Boltzmann Machine)即有限玻尔兹曼机,可看作是有两层结构的神经元——隐藏层与可见层,层内无连接,层间为无向对称连接,这使得条件概率的计算变得简单。该网络结构包含以下参数,可视层与隐藏层之间的权重矩阵Wm×n,可视节点的偏倚b以及隐藏层节点的偏倚c,它们决定了对输入样本进行提取特征的好坏即重构输入是否与原始样本足够相似。
●现有分类方式
目前,针对脑电数据的分类处理方法,主要还是CSP(Common Spacial Pattern)进行特征提取,然后通过传统分类器(即SVM,LDA等)进行分类。由此可见特征提取对于分类效果来讲有着至关重要的意义,如若特征提取过程出现偏差,那么最终分类结果不会达到预期效果;相反,如果提取到了对于分类来讲更有意义且冗余信息更少的特征,那么分类效果不仅会大大提升且分类效率会大幅度提升。CSP(公共空间模式)是处理脑电信号的一种常见方法,它可以使两类想象运动EEG的协方差之间的差距最大化,通过此种方式使得原始数据的特征凸显来获得更好的分类效果。
发明内容
本发明目的在于克服现有技术的不足,提供一种基于Deep Learning算法思想的分类方案,利用DL可以有效进行特征提取的优势,分类特征的提取精确性有了保证,同时依托分类器的分类功能,达到预期的分类效果。
为实现上述目的,本发明给出的技术方案为:
一种基于运动想象脑电数据的深度学习方法,其特征在于,包括如下方法过程步骤:
针对运动想象的脑电信号,构建Deep Learning算法广泛采用的深信度网模型(DBN模型),通过提取左右想象运动脑电信号的不同特征来达到判别运动想象模式的目的。对于运动想象脑电数据,首先采用Neuroscan软件去除EOG即眼动来对原始数据进行去噪处理,然后通过滤波我们提取8HZ~30HZ的α波和β波段的数据,然后利用傅里叶变换算法将时域数据转化为频域数据,最终进行建模分析。
提出一种基于Deep Learning算法思想的分类模型,首先利用单导联数据训练每个弱分类器,然后采用boost方法将弱分类器结合为最终的强分类器。
本发明所训练的DBN模型是由多个RBM堆叠而成,底层RBM的隐藏层作为上一级RBM的可见层,依次堆叠为最终的分类模型。贪婪的训练每一层的RBM,并采用对比散度(CD)算法减少运算时间提高效率。模型中对于可见层与隐藏层更新过程遵循如下公式:
公式中v是可见层节点,h为隐藏层节点,u,g根据对应RBM的联合分布抽样得到,文中以Gibbs采样近似代替,wij表示可见层节点与隐藏层节点间的权重;根据隐藏层上对可见层抽样重建后与原始数据的差对训练的权重作优化处理。此处采用含有8个隐藏层的DBN分类模型进行分类,训练参数设置为:权重偏倚学习率为0.07,momentum为0.5,weightdecay为0.002。当训练集数据放入该模型中后,首先数据到达模型的可视层,然后根据如下函数来判断该隐藏层节点是否被激活:
p(hj=1|v)=σ(bj+Σvjωij)
以此类推,直至最后一层的训练得到一系列权重;而后,运用BP算法根据输出与目标之间的差来调节模型权重达到较优状态。
最后,将各个弱分类器分类的正确率作为各个弱分类器的权重,以此策略来将其结合组成最终分类能力更强的强分类器。训练后得到判别模型,测试数据放入模型后利用已学习参数进行学习特征,最后根据各个特征进行判别分析。
与现有技术相比,本发明创新点及有益效果:Deep learning算法可以自主学习有效的特征表示用于分类以获得较优的分类结果而无需人工挑选特征(该方式带有浓重的主观色彩)。通过多层抽象后的特征能更好的表达原有数据所要表达的信息,滤除掉多余无用信息,为分类提供方便。利用DL可以有效进行特征提取的优势,分类特征的提取精确性有了保证,同时依托分类器的分类功能,达到预期的分类效果。
附图说明
图1运动想象判别分析总体步骤
图2整体流程图
图3系统整体结构图
图4单trial实验数据分布图
图5被试左右想象特征变化图
具体实施方式
本发明针对运动想象的脑电信号,构建Deep Learning算法广泛采用的深信度网模型(DBN模型),通过提取左右想象运动脑电信号的不同特征来达到判别运动想象模式的目的。
对于运动想象脑电数据,首先采用Neuroscan软件去除EOG即眼动来对原始数据进行去噪处理,然后通过滤波我们提取8HZ~30HZ的α波和β波段的数据,然后利用傅里叶变换算法将时域数据转化为频域数据,最终进行建模分析。
基于Deep Learning算法思想的分类模型,首先利用单导联数据训练每个弱分类器,然后采用boost方法将弱分类器结合为最终的强分类器。
本发明所训练的DBN模型是由多个RBM堆叠而成,底层RBM的隐藏层作为上一级RBM的可见层,依次堆叠为最终的分类模型。贪婪的训练每一层的RBM,并采用对比散度(CD)算法减少运算时间提高效率。模型中对于可见层与隐藏层更新过程遵循如下公式:
公式中v是可见层节点,h为隐藏层节点,u,g根据对应RBM的联合分布抽样得到,文中以Gibbs采样近似代替,wij表示可见层节点与隐藏层节点间的权重;根据隐藏层上对可见层抽样重建后与原始数据的差对训练的权重作优化处理。此处采用含有8个隐藏层的DBN分类模型进行分类,训练参数设置为:权重偏倚学习率为0.07,momentum为0.5,weightdecay为0.002。当训练集数据放入该模型中后,首先数据到达模型的可视层,然后根据如下函数来判断该隐藏层节点是否被激活:
p(hj=1|v)=σ(bj+Σvjωij)
以此类推,直至最后一层的训练得到一系列权重;而后,运用BP算法根据输出与目标之间的差来调节模型权重达到较优状态。
最后,将各个弱分类器分类的正确率作为各个弱分类器的权重,以此策略来将其结合组成最终分类能力更强的强分类器,图3中展示了该发明的总体结构图,即如上述的结构。训练后得到判别模型,测试数据放入模型后利用已学习参数进行学习特征,最后根据各个特征进行判别分析。
以下结合附图对本发明的具体实施方式作进一步的说明。
如图1、图2所示,本发明可分为以下三个步骤:1)运动想象脑电数据的预处理;2)左右手运动想象DBN模型的构建;3)根据学习到的特征判别分析。
(1)实验数据
实验数据采用64导的G.tech脑电放大器采集获得,采样频率为250Hz。根据预先训练结果中各导联分类性能,本课题选取3导联(FC4、C3、C4)数据进行分析。在分析之前,本课题对实验数据进行了预处理。预处理主要是进行去除眼电和进行滤波工作。眼电的去除借助Neuroscan软件完成。对于滤波工作,本课题分析的频带为8-30HZ,正好是α波和β波的频带。因此设计椭圆滤波器,其通带频段为8HZ-30HZ。图4中展示了单trial下数据获取的方式。
(2)利用单导联训练弱分类器
基于步骤1)所得到的已处理数据,选取C3,C4,Fc4三个导联的数据采用DBN模型结构分别进行训练,所采用的模型结构均为含有8个隐藏层的DBN模型,最终得到三个弱分类器,每个弱分类器均由一个DBN模型构成。
(3)将各个弱分类器组合为强分类器
采用Ada-boost算法思想,将各个弱分类器的分类准确率作为各分类器权重进行结合,组合构成一个强分类器。
案例
(1)左右手运动想象
首先构建含有2~16个隐藏层的DBN模型,相同的数据分别放入含有不同隐藏层的模型进行训练得到对应的判别分析准确率。对于含有不同隐藏层的模型所采用的隐藏节点数为固定数值2048,以确保该影响因子的确定性。根据判别准确率的变化趋势,确定采用含有8个隐藏层的DBN模型分类效果较好,所以采用该结构模型。然后固定隐藏层数参数,测试节点数对判别分类的影响,发现该因子对整体判别分类效果影响不大。
用来训练弱分类器的DBN模型采用含有8个隐藏层,各隐藏层节点数分别采用1500,1100,1200,1300,1400,1500,1600,900然后对于每个单导联数据,放入模型中进行训练得到一个对应导联的弱分类器,该弱分类器对于每个sample所属类别做出相应的判断即贴标签。采用此种方法训练出各个弱分类器然后采用Ada-boost的思想,利用每个弱分类器对于各样例判别分类的准确率作为对应弱分类器的权重,即对每个弱分类器做出的判别的可信度进行一个汇总。基于每个弱分类器对于某一trial所属类别以概率的形式表示,即以大概率属于某一类则判为该类,最后结合阶段,以判别准确率作为相应权重拟合最后判别分类的概率,得到最终的判别分类结果。
如图5所示,图中上边部分代表的是原始左右手运动想象的数据曲线图,可以看出原始数据是脑电波状曲线,有类似正弦余弦曲线一样的波段构成,两者之间用来判别分析时不能很好的被区分,特征类似导致直接用来分类时降低了判别分析正确率;经过DBN模型的学习,该模型提取了原始数据中特征比较明显的部分构成最终用来判别分析的特征,如图所示,图5下部分的图展示了经过学习后的特征状态,可见左右手想象的数据之间存在的差异,判别分类器根据此差异能够较好最后的分类。
Claims (1)
1.一种基于运动想象脑电数据的深度学习方法,其特征在于,包括如下步骤:
步骤一,对于运动想象脑电数据,首先采用Neuroscan软件去除EOG即眼动来对原始数据进行去噪处理,然后通过滤波提取8HZ~30HZ的α波和β波段的数据,然后利用傅里叶变换算法将时域数据转化为频域数据;
步骤二,提出一种基于Deep Learning算法思想的分类模型,
首先利用单导联数据训练每个弱分类器,然后采用boost方法将弱分类器结合为最终的强分类器;
所训练的DBN模型是由多个RBM堆叠而成,底层RBM的隐藏层作为上一级RBM的可见层,依次堆叠为最终的分类模型。贪婪的训练每一层的RBM,并采用对比散度(CD)算法减少运算时间提高效率。模型中对于可见层与隐藏层更新过程遵循如下公式:
公式中v是可见层节点,h为隐藏层节点,u,g根据对应RBM的联合分布抽样得到,文中以Gibbs采样近似代替,wij表示可见层节点与隐藏层节点间的权重;根据隐藏层上对可见层抽样重建后与原始数据的差对训练的权重作优化处理,此处采用含有8个隐藏层的DBN分类模型进行分类,训练参数设置为:权重偏倚学习率为0.07,momentum为0.5,weightdecay为0.002。当训练集数据放入该模型中后,首先数据到达模型的可视层,然后根据如下函数来判断该隐藏层节点是否被激活:
p(hj=1|v)=σ(bj+Σvjωij)
以此类推,直至最后一层的训练得到一系列权重;而后,运用BP算法根据输出与目标之间的差来调节模型权重达到较优状态;
最后,将各个弱分类器分类的正确率作为各个弱分类器的权重,以此策略来将其结合组成最终分类能力更强的强分类器;
步骤三,训练后得到判别模型,测试数据放入模型后利用已学习参数进行学习特征,最后根据各个特征进行判别分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410387838.0A CN104166548B (zh) | 2014-08-08 | 2014-08-08 | 基于运动想象脑电数据的深度学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410387838.0A CN104166548B (zh) | 2014-08-08 | 2014-08-08 | 基于运动想象脑电数据的深度学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104166548A true CN104166548A (zh) | 2014-11-26 |
CN104166548B CN104166548B (zh) | 2017-06-13 |
Family
ID=51910382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410387838.0A Active CN104166548B (zh) | 2014-08-08 | 2014-08-08 | 基于运动想象脑电数据的深度学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104166548B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104997507A (zh) * | 2015-07-09 | 2015-10-28 | 郑以山 | 三位一体帽式智能监测预警系统及其控制方法 |
CN106529476A (zh) * | 2016-11-11 | 2017-03-22 | 重庆邮电大学 | 一种基于深层堆叠网络的脑电信号特征提取及分类方法 |
CN106963374A (zh) * | 2017-04-14 | 2017-07-21 | 山东大学 | 一种基于s变换和深信度网络的脑电检测方法及装置 |
CN107092887A (zh) * | 2017-04-21 | 2017-08-25 | 重庆邮电大学 | 一种基于Multi‑bands FDBN的运动想象脑电信号的特征提取方法 |
CN107122050A (zh) * | 2017-04-26 | 2017-09-01 | 西安交通大学 | 基于csfl‑gdbn的稳态运动视觉诱发电位脑‑机接口方法 |
CN107168524A (zh) * | 2017-04-19 | 2017-09-15 | 华南理工大学 | 一种基于深度学习混合模型的稳态视觉诱发电位分类方法 |
CN107657278A (zh) * | 2017-09-26 | 2018-02-02 | 电子科技大学 | 一种脑电信号模式多分类的优选样本数抽样方法 |
CN108449295A (zh) * | 2018-02-05 | 2018-08-24 | 西安电子科技大学昆山创新研究院 | 基于rbm网络和bp神经网络的联合调制识别方法 |
CN109784211A (zh) * | 2018-12-26 | 2019-05-21 | 西安交通大学 | 一种基于深度学习的运动想象脑电信号分类方法 |
CN109871882A (zh) * | 2019-01-24 | 2019-06-11 | 重庆邮电大学 | 基于高斯伯努利卷积深度置信网络的脑电信号分类方法 |
CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
CN111832588A (zh) * | 2019-04-18 | 2020-10-27 | 四川大学 | 一种基于集成分类的暴恐图像标注方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008225877A (ja) * | 2007-03-13 | 2008-09-25 | Nec Corp | ブレイン・コンピュータ・インタフェース |
CN103425249A (zh) * | 2013-09-06 | 2013-12-04 | 西安电子科技大学 | 基于正则化csp和src的脑电信号分类识别方法及其遥控系统 |
-
2014
- 2014-08-08 CN CN201410387838.0A patent/CN104166548B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008225877A (ja) * | 2007-03-13 | 2008-09-25 | Nec Corp | ブレイン・コンピュータ・インタフェース |
CN103425249A (zh) * | 2013-09-06 | 2013-12-04 | 西安电子科技大学 | 基于正则化csp和src的脑电信号分类识别方法及其遥控系统 |
Non-Patent Citations (1)
Title |
---|
刘斌 等: "基于贝叶斯网络的运动想象脑电信号分析", 《计算机工程》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104997507A (zh) * | 2015-07-09 | 2015-10-28 | 郑以山 | 三位一体帽式智能监测预警系统及其控制方法 |
CN104997507B (zh) * | 2015-07-09 | 2019-11-12 | 郑以山 | 三位一体帽式智能监测预警系统 |
CN106529476B (zh) * | 2016-11-11 | 2019-09-10 | 重庆邮电大学 | 一种基于深层堆叠网络的脑电信号特征提取及分类方法 |
CN106529476A (zh) * | 2016-11-11 | 2017-03-22 | 重庆邮电大学 | 一种基于深层堆叠网络的脑电信号特征提取及分类方法 |
CN106963374A (zh) * | 2017-04-14 | 2017-07-21 | 山东大学 | 一种基于s变换和深信度网络的脑电检测方法及装置 |
CN107168524A (zh) * | 2017-04-19 | 2017-09-15 | 华南理工大学 | 一种基于深度学习混合模型的稳态视觉诱发电位分类方法 |
CN107168524B (zh) * | 2017-04-19 | 2020-11-24 | 华南理工大学 | 一种基于深度学习混合模型的稳态视觉诱发电位分类方法 |
CN107092887A (zh) * | 2017-04-21 | 2017-08-25 | 重庆邮电大学 | 一种基于Multi‑bands FDBN的运动想象脑电信号的特征提取方法 |
CN107122050A (zh) * | 2017-04-26 | 2017-09-01 | 西安交通大学 | 基于csfl‑gdbn的稳态运动视觉诱发电位脑‑机接口方法 |
CN107657278B (zh) * | 2017-09-26 | 2020-06-16 | 电子科技大学 | 一种脑电信号模式多分类的优选样本数抽样方法 |
CN107657278A (zh) * | 2017-09-26 | 2018-02-02 | 电子科技大学 | 一种脑电信号模式多分类的优选样本数抽样方法 |
CN108449295A (zh) * | 2018-02-05 | 2018-08-24 | 西安电子科技大学昆山创新研究院 | 基于rbm网络和bp神经网络的联合调制识别方法 |
CN109784211A (zh) * | 2018-12-26 | 2019-05-21 | 西安交通大学 | 一种基于深度学习的运动想象脑电信号分类方法 |
CN109871882A (zh) * | 2019-01-24 | 2019-06-11 | 重庆邮电大学 | 基于高斯伯努利卷积深度置信网络的脑电信号分类方法 |
CN111832588A (zh) * | 2019-04-18 | 2020-10-27 | 四川大学 | 一种基于集成分类的暴恐图像标注方法 |
CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
CN111317468B (zh) * | 2020-02-27 | 2024-04-19 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104166548B (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104166548B (zh) | 基于运动想象脑电数据的深度学习方法 | |
CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
CN108388348A (zh) | 一种基于深度学习和注意力机制的肌电信号手势识别方法 | |
Zhao et al. | Deep learning in the EEG diagnosis of Alzheimer’s disease | |
CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
CN106909784A (zh) | 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法 | |
CN109948647A (zh) | 一种基于深度残差网络的心电图分类方法及系统 | |
CN111714118B (zh) | 一种基于集成学习的脑认知模型融合方法 | |
CN105446484A (zh) | 一种基于隐马尔科夫模型的肌电信号手势识别方法 | |
CN110070105A (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
CN107066514A (zh) | 老年人的情绪识别方法和系统 | |
CN108960299A (zh) | 一种多类运动想象脑电信号的识别方法 | |
CN105844221A (zh) | 一种基于Vadaboost筛选特征块的人脸表情识别方法 | |
CN104035563A (zh) | 基于w-pca和无监督ghsom的脑电信号识别方法 | |
CN108764282A (zh) | 一种类别增量行为识别方法和系统 | |
CN108280414A (zh) | 一种基于能量特征的运动想象脑电信号的识别方法 | |
CN104182621A (zh) | 基于深度信念网络的adhd判别分析方法 | |
CN107122050A (zh) | 基于csfl‑gdbn的稳态运动视觉诱发电位脑‑机接口方法 | |
CN110288028A (zh) | 心电检测方法、系统、设备及计算机可读存储介质 | |
CN104268507A (zh) | 一种基于rgb-d图像的手语字母识别方法 | |
CN109934167A (zh) | 一种降低特征维度的修正csp方法 | |
CN112438741A (zh) | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 | |
CN114863572A (zh) | 一种多通道异构传感器的肌电手势识别方法 | |
Ellis et al. | A Model Visualization-based Approach for Insight into Waveforms and Spectra Learned by CNNs | |
Huang et al. | Classify motor imagery by a novel CNN with data augmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |