CN111191509B - 基于scsp-lda的脑电信号特征提取与分类方法 - Google Patents
基于scsp-lda的脑电信号特征提取与分类方法 Download PDFInfo
- Publication number
- CN111191509B CN111191509B CN201911194962.4A CN201911194962A CN111191509B CN 111191509 B CN111191509 B CN 111191509B CN 201911194962 A CN201911194962 A CN 201911194962A CN 111191509 B CN111191509 B CN 111191509B
- Authority
- CN
- China
- Prior art keywords
- algorithm
- lda
- scsp
- matrix
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提出一种基于SCSP‑LDA的脑电信号特征提取与分类方法,该方法首先,将脑电数据进行特征值分解,对其进行搜索并筛选得到新的特征空间,然后利用CSP提取其特征,最后,利用LDA对特征提取后的数据进行特征优化和数据分类,实现运动想象EEG信号解码。本发明将CSP算法转化为广义特征值的求解问题,并由广义特征值的求解问题结合稀疏搜索算法寻找最佳空间滤波器,引出一种稀疏共空间模式(Sparse Common Spatial Pattern,SCSP)算法,该SCSP是算法可以有效地提取特征最为明显的通道,从而实现通道稀疏,再结合特征分类算法LDA,可以完整地实现EEG的解码。
Description
技术领域
本发明涉及生物信号处理和模式识别领域,尤其是涉及一种脑-机接口中基于稀疏共空间模式(Sparse Common Spatial Patterns,SCSP)-LDA的EEG特征提取与分类方法。
背景技术
脑-机接口(brain-computer interface,BCI)是使人在不需依赖外围神经系统和肌肉,只需采集大脑发出的信号便可实现与计算机或者其他设备通信的系统。其作为一种人脑直接与外围设备进行交流的途径,能够为那些因为脑部损伤而患有运动障碍的病人带来与外界进行交流的解决办法。脑电信号(electroencephalography,EEG)作为脑-机接口的主要研究方向,对EEG进行解码便是研究的重点。共空间模式(Common SpatialPatterns,CSP)算法最早由Fukunage等人提出,之后Romeser和他的同事把它用在BCI中。CSP作为一种有效的空间滤波和特征提取算法,可以从多通道脑电数据中提取每个类的空间分布成分。但是,在一般的EEG采集中,为了获取更多的信息,往往会采集多通道的脑电数据,这样必然会存在多个通道脑电信号出现信号重叠的情况。
发明内容
本发明要解决的是脑电数据多通道采集时存在的多通道脑电信号重叠的问题。
为解决上述技术问题,本发明提出一种基于SCSP-LDA的EEG特征提取与分类方法。首先利用稀疏共空间模式进行EEG的特征提取,并对EEG通道进行稀疏,然后通过LDA对提取到的特征进行降维并分类。该方法包括如下步骤:
步骤1、将CSP算法转化为广义特征值的求解问题,具体步骤如下:
步骤11、将CSP算法视为一种在广义瑞利商基础上的算法,其相对应的表达式可写为:
式中,w为空间滤波矩阵,T为求转置,Xi(i=1,2)表示将原始样本数据经过去均值预处理后得到的样本矩阵,Ci(i=1,2)为样本数据的协方差矩阵;
步骤12、在J(w)式中分子分母同乘以一非零常数k,其值不发生改变,即:
J(kw)=J(w)
步骤13、利用所述步骤12得到的式子可以对所述步骤11中的式子进行简化,通过对常数k的调整,进而改变w的值,令wTC2w=1,将对J(w)求极值的问题化简为对wTC1w求极值的问题;从而能够把以上问题转变为求拉格朗日算子的表达式,即:
L(λ,w)=wTC1w-λ(wTC2w-1)
式中,λ为拉格朗日乘子;
步骤14、对所述步骤13中的表达式中的w求偏导,同时令左边为0,故而有:
步骤2、由广义特征值的求解问题结合稀疏搜索算法寻找最佳空间滤波器,得到SCSP算法,用于所述SCSP算法对EEG的通道进行稀疏和特征提取;
步骤3、提取新特征空间:
步骤31、利用SCSP算法提取到的特征空间W,对原始数据进行滤波处理,得到滤波后的矩阵Z,即:
ZN×T=WN×N·EN×T
式中,Z为滤波后的矩阵,W为利用SCSP算法求得的最优特征空间,E为原始数据中每一次测量得到的一组数据,其中N表示脑电数据的通道数,T表示每一次测量得到的数据点数;
步骤32、从滤波后的矩阵ZN×T提取特征空间矩阵fp:
式中,fp为特征空间矩阵,Zp由经过滤波的数组Z的前后各取k行构成;
步骤4、利用LDA算法对所述特征空间矩阵fp进行特征降维与分类。
优选的,所述步骤2包括如下具体步骤:
步骤21、选择通道稀疏模式并设置稀疏度spl;
步骤22、输入两类EEG协方差矩阵A、B;
步骤23、运行选定的搜索模式;
步骤24、定义通道存储数组ix;
步骤25、以最大化两类EEG方差的差异,即以求解式A(ix,ix)X=λB(ix,ix)X中特征值的大小为评价标准,迭代搜索的方式遍历所有通道后筛选出最佳通道,并且后一次循环是在前一次得到的最优解的基础上进行,以此保证每次得到结果都是最优解,直到通道数达到设定的稀疏度,即得到最佳通道组合,输出最终选择出的通道组合ix;
步骤26、利用步骤25得到的最佳通道组合ix计算出最佳特征子空间。
优选的,所述步骤21中所述选择通道稀疏模式包括:向前选择(forwardselection,FS)模式、向后消去(backward elimination,BE)模式和贪婪搜索(greedysearch,GS)模式。
优选的,所述步骤4包括如下具体步骤:
步骤41、将两类EEG数据带入到LDA算法中,求得LDA的投影矩阵A*,有如下公式:
式中,A*为LDA的投影矩阵,m1、m2分别为两类数据的均值向量,Sw两类数据的类内距离之和;
步骤42、将由SCSP算法提取到的特征空间矩阵fp向法向量A*投影,实现特征降维,即:
y=(A*)T*fp
式中,A*为LDA的投影矩阵,fp为特征空间矩阵;
步骤43、根据得分y并设置合适的阈值实现对提取到的特征的分类。
与现有技术相比,本发明具有如下有益效果:
在本发明将CSP算法转化为广义特征值的求解问题,并由广义特征值的求解问题结合稀疏搜索算法寻找最佳空间滤波器,引出一种稀疏共空间模式(Sparse CommonSpatial Pattern,SCSP)算法,该SCSP是算法可以有效地提取特征最为明显的通道,从而实现通道稀疏,再结合特征分类算法LDA,可以完整地实现EEG的解码。
附图说明
图1为EEG特征提取与特征分类过程示意图;
图2为EEG稀疏搜索算法程序流程图;以及
图3为EEG分类结果比较柱状图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。
本发明的一种基于SCSP-LDA的脑电信号特征提取与分类方法,首先,将脑电数据进行特征值分解,对其进行搜索并筛选得到新的特征空间,然后利用CSP提取其特征。最后,利用LDA对特征提取后的数据进行特征优化和数据分类,实现运动想象EEG信号解码。其总体流程图如图1所示,该方法的实现步骤如下:
步骤1、将CSP算法转化为广义特征值的求解问题,具体步骤如下:
步骤11、将CSP算法视为一种在广义瑞利商基础上的算法,其相对应的表达式可写为:
式中,w为空间滤波矩阵,T为求转置,Xi(i=1,2)表示将原始样本数据经过去均值预处理后得到的样本矩阵,Ci(i=1,2)为样本数据的协方差矩阵;
步骤12、在J(w)式中分子分母同乘以一非零常数k,其值不发生改变,即:
J(kw)=J(w)
步骤13、利用步骤12得到的式子可以对步骤11中的式子进行简化,通过对常数k的调整,进而改变w的值,令wTC2w=1,将对J(w)求极值的问题化简为对wTC1w求极值的问题;从而能够把以上问题转变为求拉格朗日算子的表达式,即:
L(λ,w)=wTC1w-λ(wTC2w-1)
式中,λ为拉格朗日乘子;
步骤14、对步骤13中的表达式中的w求偏导,同时令左边为0,故而有:
步骤2、由广义特征值的求解问题结合稀疏搜索算法寻找最佳空间滤波器,引出一种稀疏共空间模式(Sparse Common Spatial Pattern,SCSP)算法,将其用于EEG的通道稀疏和特征提取;如图2所示,具体步骤如下:
步骤21、选择通道稀疏模式并设置稀疏度spl;搜索模式包括三种:向前选择(forward selection,FS)、向后消去(backward elimination,BE)和贪婪搜索(greedysearch,GS);
步骤22、输入两类EEG协方差矩阵A、B;
步骤23、运行选定的搜索模式;
步骤24、定义通道存储数组ix;
步骤25、以最大化两类EEG方差的差异,即以求解式A(ix,ix)X=λB(ix,ix)X中特征值的大小为评价标准,迭代搜索的方式遍历所有通道后筛选出最佳通道,并且后一次循环是在前一次得到的最优解的基础上进行,以此保证每次得到结果都是最优解,直到通道数达到设定的稀疏度,即得到最佳通道组合,输出最终选择出的通道组合ix;
步骤26、利用步骤25得到的最佳通道组合ix计算出最佳特征子空间;
步骤3、提取新特征空间:
步骤31、利用SCSP提取到的特征空间W,就可将原始数据进行滤波处理,得到滤波后的矩阵Z,即:
ZN×T=WN×N·EN×T
式中,Z为滤波后的矩阵,W为利用SCSP算法求得的最优特征空间,E为原始数据中每一次测量得到的一组数据,其中N表示脑电数据的通道数,T表示每一次测量得到的数据点数;
步骤32、从滤波后的矩阵ZN×T可以提取出一组特征空间矩阵fp,即:
式中,fp为特征空间矩阵,Zp由经过滤波的数组Z的前后各取k行构成;
步骤4、利用LDA算法对提取到的特征空间矩阵fp进行特征降维与分类,具体实现步骤如下:
步骤41、将两类EEG数据带入到LDA算法中,求得LDA的投影矩阵A*,有如下公式:
式中,A*为LDA的投影矩阵,m1、m2分别为两类数据的均值向量,Sw两类数据的类内距离之和;
步骤42、将由SCSP算法提取到的特征空间矩阵fp向法向量A*投影,实现特征降维,即:
y=(A*)T*fp
式中,A*为LDA的投影矩阵,fp为特征空间矩阵;
步骤43、根据得分y并设置合适的阈值实现对提取到的特征的分类。
在本发明中提出的SCSP算法可以有效的提取特征最为明显的通道,从而实现通道稀疏,结合特征分类算法LDA完整的实现EEG的解码。从图3的实验结果可以看到,采用稀疏的方法:贪婪搜索、向前选择和向后消去搜索得到的均方误差(Mean Squared Error,MSE)、准确度(Accuracy,ACC)和AUC值(受试者工作特性曲线下的面积)均表明了SCSP-LDA算法在EEG特征提取与特征分类中具有明显的优势。
以上所述的实施例仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (4)
1.一种基于SCSP-LDA的脑电信号特征提取与分类方法,其特征在于,该方法包括如下步骤:
步骤1、将CSP算法转化为广义特征值的求解问题,具体步骤如下:
步骤11、将CSP算法视为一种在广义瑞利商基础上的算法,其相对应的表达式J可写为:
式中,w为空间滤波矩阵,T为求转置,Xi表示将原始样本数据经过去均值预处理后得到的样本矩阵,Ci为样本数据的协方差矩阵,其中i=1,2;
步骤12、所述步骤11中所述表达式的分子分母同乘以一非零常数k,其值不发生改变,即:
J(kw)=J(w);
步骤13、利用所述步骤12得到的式子对所述步骤11中的式子进行简化,通过对常数k的调整,进而改变w的值,令wTC2w=1,将对所述表达式J求极值的问题化简为对wTC1w求极值的问题;从而能够把以上问题转变为求拉格朗日算子的表达式,即:
L(λ,w)=wTC1w-λ(wTC2w-1)
式中,λ为拉格朗日乘子;
步骤14、对所述步骤13中的表达式中的w求偏导,同时令左边为0,故而有:
步骤2、由广义特征值的求解问题结合稀疏搜索算法寻找最佳空间滤波器,得到SCSP算法,用于所述SCSP算法对EEG的通道进行稀疏和特征提取;
步骤3、提取新特征空间:
步骤31、利用SCSP算法提取到的特征空间W,对原始数据进行滤波处理,得到滤波后的矩阵Z,即:
ZN×T=WN×N·EN×T
式中,Z为滤波后的矩阵,W为利用SCSP算法求得的最优特征空间,E为原始数据中每一次测量得到的一组数据,其中N表示脑电数据的通道数,T表示每一次测量得到的数据点数;
步骤32、从滤波后的矩阵ZN×T提取特征空间矩阵fp:
式中,fp为特征空间矩阵,Zp由经过滤波的数组Z的前后各取k行构成;
步骤4、利用LDA算法对所述特征空间矩阵fp进行特征降维与分类。
2.根据权利要求1所述基于SCSP-LDA的脑电信号特征提取与分类方法,其特征在于,所述步骤2包括如下具体步骤:
步骤21、选择通道稀疏模式并设置稀疏度spl;
步骤22、输入两类EEG协方差矩阵A、B;
步骤23、运行选定的搜索模式;
步骤24、定义通道存储数组ix;
步骤25、以最大化两类EEG方差的差异,即以求解式A(ix,ix)X=λB(ix,ix)X中特征值的大小为评价标准,迭代搜索的方式遍历所有通道后筛选出最佳通道,并且后一次循环是在前一次得到的最优解的基础上进行,以此保证每次得到结果都是最优解,直到通道数达到设定的稀疏度,即得到最佳通道组合,输出最终选择出的通道组合ix;
步骤26、利用步骤25得到的最佳通道组合ix计算出最佳特征子空间。
3.根据权利要求2所述基于SCSP-LDA的脑电信号特征提取与分类方法,其特征在于,所述步骤21中所述选择通道稀疏模式包括:向前选择、向后消去和贪婪搜索模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911194962.4A CN111191509B (zh) | 2019-11-28 | 2019-11-28 | 基于scsp-lda的脑电信号特征提取与分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911194962.4A CN111191509B (zh) | 2019-11-28 | 2019-11-28 | 基于scsp-lda的脑电信号特征提取与分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111191509A CN111191509A (zh) | 2020-05-22 |
CN111191509B true CN111191509B (zh) | 2023-04-18 |
Family
ID=70707212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911194962.4A Active CN111191509B (zh) | 2019-11-28 | 2019-11-28 | 基于scsp-lda的脑电信号特征提取与分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111191509B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112036354B (zh) * | 2020-09-09 | 2022-04-29 | 东南大学 | 一种基于黎曼几何的自然动作脑电识别方法 |
CN113159205A (zh) * | 2021-04-28 | 2021-07-23 | 杭州电子科技大学 | 一种基于最佳通道的稀疏时频块共空间模式特征提取方法 |
CN113476799B (zh) * | 2021-07-06 | 2022-04-19 | 燕山大学 | 基于肌电和惯性信息的手部训练及评估方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485205A (zh) * | 2016-09-20 | 2017-03-08 | 北京工业大学 | 基于多层超限学习机的运动想象脑电信号分类方法 |
KR101741739B1 (ko) * | 2016-02-19 | 2017-05-31 | 광주과학기술원 | 브레인 컴퓨터 인터페이스를 위한 장치 및 방법 |
CN107977651A (zh) * | 2017-12-21 | 2018-05-01 | 西安交通大学 | 基于量化最小误差熵的共用空间模式空域特征提取方法 |
CN108888264A (zh) * | 2018-05-03 | 2018-11-27 | 南京邮电大学 | Emd和csp融合功率谱密度脑电特征提取方法 |
US10299694B1 (en) * | 2018-02-05 | 2019-05-28 | King Saud University | Method of classifying raw EEG signals |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070122041A1 (en) * | 2005-11-29 | 2007-05-31 | Baback Moghaddam | Spectral method for sparse linear discriminant analysis |
US9489732B1 (en) * | 2010-12-21 | 2016-11-08 | Hrl Laboratories, Llc | Visual attention distractor insertion for improved EEG RSVP target stimuli detection |
-
2019
- 2019-11-28 CN CN201911194962.4A patent/CN111191509B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101741739B1 (ko) * | 2016-02-19 | 2017-05-31 | 광주과학기술원 | 브레인 컴퓨터 인터페이스를 위한 장치 및 방법 |
CN106485205A (zh) * | 2016-09-20 | 2017-03-08 | 北京工业大学 | 基于多层超限学习机的运动想象脑电信号分类方法 |
CN107977651A (zh) * | 2017-12-21 | 2018-05-01 | 西安交通大学 | 基于量化最小误差熵的共用空间模式空域特征提取方法 |
US10299694B1 (en) * | 2018-02-05 | 2019-05-28 | King Saud University | Method of classifying raw EEG signals |
CN108888264A (zh) * | 2018-05-03 | 2018-11-27 | 南京邮电大学 | Emd和csp融合功率谱密度脑电特征提取方法 |
Non-Patent Citations (2)
Title |
---|
付荣荣等.Improvement motor imagery EEG classification based on regularized linear discriminant analysis.Journal of Medical Systems.2019,第第43卷卷(第第43卷期),1-13. * |
付荣荣等.基于Fisher准则的单次运动想象脑电信号意图识别研究.生物医学工程学杂志.2018,774-778. * |
Also Published As
Publication number | Publication date |
---|---|
CN111191509A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111191509B (zh) | 基于scsp-lda的脑电信号特征提取与分类方法 | |
CN113158793B (zh) | 一种基于多特征融合的多类运动想象脑电信号识别方法 | |
CN107844755B (zh) | 一种结合dae和cnn的脑电信号特征提取与分类方法 | |
CN108832934B (zh) | 一种基于奇异值分解的二维正交匹配追踪优化算法 | |
CN115791640A (zh) | 基于分光光谱的肿瘤细胞检测设备及其方法 | |
CN110059564B (zh) | 基于功率谱密度和互相关熵谱密度融合的特征提取方法 | |
CN113486752B (zh) | 基于心电信号的情感识别方法及系统 | |
CN111310656A (zh) | 基于多线性主成分分析的单次运动想象脑电信号识别方法 | |
CN108852348A (zh) | 头皮脑电的采集位点排序方法及系统 | |
CN111259741A (zh) | 一种脑电信号分类方法及系统 | |
CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
CN109144277B (zh) | 一种基于机器学习实现脑控智能小车的构建方法 | |
CN113592030B (zh) | 基于复值奇异谱分析的图像检索方法和系统 | |
CN116611025B (zh) | 一种脉冲星候选信号的多模态特征融合方法 | |
CN109271874B (zh) | 一种融合空间和光谱信息的高光谱图像特征提取方法 | |
Puri et al. | Detection of Alcoholism from EEG signals using Spectral and Tsallis Entropy with SVM | |
Lu et al. | Palmprint recognition using wavelet decomposition and 2D principal component analysis | |
Li et al. | POLSAR target recognition using a feature fusion framework based on monogenic signal and complex-valued nonlocal network | |
Hazarika et al. | Two-fold feature extraction technique for biomedical signals classification | |
Moreno et al. | Robust periocular recognition by fusing local to holistic sparse representations | |
CN114861738B (zh) | 一种基于脑电溯源和偶极子选择的运动想象分类方法 | |
CN114587384A (zh) | 一种结合低秩表示与流形学习的运动想象脑电信号特征提取方法 | |
CN115105093A (zh) | 基于功率谱密度预确定频率带的eeg信号分类识别方法 | |
CN113159205A (zh) | 一种基于最佳通道的稀疏时频块共空间模式特征提取方法 | |
KR102187580B1 (ko) | 전극별 주파수 가중치 필터를 이용한 csp 기반의 운동심상 분류 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |