CN110353673A - 一种基于标准互信息的脑电通道选择方法 - Google Patents
一种基于标准互信息的脑电通道选择方法 Download PDFInfo
- Publication number
- CN110353673A CN110353673A CN201910638769.9A CN201910638769A CN110353673A CN 110353673 A CN110353673 A CN 110353673A CN 201910638769 A CN201910638769 A CN 201910638769A CN 110353673 A CN110353673 A CN 110353673A
- Authority
- CN
- China
- Prior art keywords
- channel
- eeg signals
- mutual information
- data
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及情感识别领域和脑电信号通道优选技术,具体涉及一种基于标准互信息的脑电通道选择方法。该方法包括下述步骤:采集数据,利用公开数据集提取脑电信号;对脑电信号进行短时傅里叶变换,得到时频图;通过计算时频图中各通道间的标准互信息值,构建关联矩阵;分析关联矩阵并设定阈值优选通道,确定最优通道;利用支持向量机分类器,对优选通道后的数据进行分类,得到情绪识别率。本发明的优点是:在大幅度减少通道数的情况下仍保持了较高的情感识别率,其优选的通道为可穿戴脑电设备的设计提供了可实施的方案,解决了硬件的设计复杂性问题;能够有效提高脑电信号的分类正确率;克服了使用全通道信号带来的数据冗余和计算复杂度。
Description
技术领域
本发明涉及情感识别领域和脑电信号通道优选技术,具体讲是一种基于标准互信息的脑电通道选择方法。
背景技术
情感作为大脑活动的高级功能,在很大程度上影响着人的工作和生活。随着人工智能技术的崛起,情感识别也得到广大学者的重视。目前情感识别主要围绕人的外在行为表现和客观生理信号两方面进行展开。由于生理信号具有自发性,不受到主观意识控制,更能客观反映人的真实情感。在实际研究中,更多的使用脑电、肌电、皮肤电等生理信号。其中,脑电信号由人的中枢神经系统直接产生,更直接客观反映人的生理状态,因此,基于脑电信号可以得到更直接、客观、准确的情感识别结果。
通常所获取的脑电信号都是全通道的。为了分类这些信号,我们有两种策略。一是使用全部通道的信号,另一种是通过优选通道的方式选择出最优通道。使用全通道信号不仅会带来复杂的特征,而其会引入不相干通道间的干扰,降低了系统的鲁棒性。因此,使用高效的通道选择方法是情感识别研究中的关键。常见的通道选择方法包括包装技术、过滤技术、嵌入技术和混合技术等。在这些方法中,包装技术使用分类算法对通过搜索算法产生的一系列后选通道子集进行评估和优选,此方法计算复杂度高,容易产生过拟合的问题。过滤技术使用独立的评估标准来确定相关通道,虽然其效率高速度快,但由于考虑到通道融合,导致识别率低等问题。在嵌入技术中,通道选择的过程包含在分类器的结构中。混合技术是融合了过滤和包装两个技术的优点,但结构相对复杂。
申请号“201510938293.2”,名称为“一种功能磁共振成像辅助的脑电通道选择方法”文献中,所提供的步骤是:(1)由fMRI实验数据获取相关功能脑区的激活情况;(2)由大脑标准结构像构建EEG正演模型;(3)通过EEG正演模型计算各个通道和特定脑功能的相关程度;(4)根据得到的脑功能相关程度地形图对EEG通道进行选择法。该方法存在的问题:引入的fMRI实验数据,可能会导致在进行通道选择时,引入不必要的干扰信息,对通道选择的结果造成影响。
发明内容
本发明要解决的技术问题是提出一种基于标准互信息的脑电通道选择方法,以克服现有技术存在的对通道选择的结果会造成影响,导致通道选择结果不完整的问题。
为实现上述目的,本发明提出的技术方案是:
一种基于标准互信息的脑电通道选择方法,依次包括下述步骤:
步骤(1)、采集数据,利用公开数据集提取脑电信号;
步骤(2)、对脑电信号进行短时傅里叶变换,得到时频图;
步骤(3)、通过计算时频图中各通道间的标准互信息值,构建关联矩阵;
步骤(4)、分析关联矩阵并设定阈值优选通道,确定最优通道;
步骤(5)、利用支持向量机分类器,对优选通道后的数据进行分类,得到情绪识别率。
进一步的,所述步骤(2)中的时频图,表示为:
spectrogramx(τ,ω)=|STFTx(τ,ω)|2
其中,spectrogramx(τ,ω)表示时频图,STFTx(τ,ω)表示对脑电信号进行短时傅里叶变化,ω是窗函数,τ时间索引。
进一步的,所述步骤(3)中,
任意两个通道间的脑电信号分别为X和Y,则两通道间的标准互信息为:
其中,MI(X,Y)是任意两个通道间脑电数据X和Y的互信息,H(X)是脑电数据X的信息熵,H(Y)是脑电数据Y的信息熵;
通过计算各通道间的标准互信息值来获取关联矩阵,表示为:
其中,Gn是全部样本总的关联矩阵,NMI表示第个样本的关联矩阵,N是样本总数。
与现有技术相比,本发明的有益效果是:
1、本发明的方法在大幅度减少通道数的情况下仍保持了较高的情感识别率,其优选的通道为可穿戴脑电设备的设计提供了可实施的方案,解决了硬件的设计复杂性问题。
2、本发明采用把脑电信号转化为脑电时频图的方式,包含了更丰富的时域和频域信息,有利于潜在特征的提取,能够有效提高脑电信号的分类正确率。
3、本发明采用标准互信息作为衡量通道相关性的关键指标,能够定量计算各通道与其对应情绪的关系,并设定合理阈值确定了和情绪相关的最优通道集合,极大减少了不必要的通道,克服了使用全通道信号带来的数据冗余和计算复杂度。
附图说明
图1是本发明提出的基于标准互信息的脑电通选择方法的主流程图;
图2是基于标准互信息的通道选择流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本申请能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。
下面结合附图和实施例,对本发明做详细说明。
实施例,
参见图1和图2,一种基于标准互信息的脑电通道选择方法,包括分词获取时频图、构建关联矩阵、用阈值选择通道三大部分,具体步骤如下:
步骤1,采集数据,利用公开数据集提取脑电信号
脑电数据源于公开的用于情感分析的多模态数据集DEAP,其中包括了32个受试者分别观看40个时长为一分钟的音乐视频时所收集到的脑电信号,共48个通道,其中1-32通道是脑电信号,33-36通道是眼电信号。本实验采用数据为前32通道的脑电信号
步骤2,利用短时傅里叶变换获取原信号的时频图,其过程表示为:
spectrogramx(τ,ω)=|STFTx(τ,ω)|2
其中,spectrogramx(τ,ω)表示时频图,STFTx(τ,ω)表示对脑电信号进行短时傅里叶变化,ω是窗函数,τ时间索引。
步骤3,通过计算时频图中各通道间的标准互信息值,构建关联矩阵:
3a)任意两个通道间的脑电信号分别为X和Y,则任意两通道间的标准互信息为:
其中,MI(X,Y)是任意两个通道间脑电数据X和Y的互信息,H(X)是脑电数据X的信息熵,H(Y)是脑电数据Y的信息熵;
3b)通道间的标准互信息值构建的关联矩阵可表示为:
其中,Gn是全部样本总的关联矩阵,NMI表示第个样本的关联矩阵,N是样本总数。
步骤4,分析关联矩阵并设定阈值优选通道,确定最优通道:
具体地说,就是设定阈值对步骤3获取的关联矩阵进行通道选择,对关联矩阵中标准互信息数值大于阈值的进行保留,确定优选通道的集合。
步骤5,利用支持向量机分类器,对优选通道的特征进行分类识别,得到情绪的分类准确率。
对于本技术领域的普通技术人员来说,在不脱离本发明所属原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种基于标准互信息的脑电通道选择方法,其特征在于,依次包括下述步骤:
步骤(1)、采集数据,利用公开数据集提取脑电信号;
步骤(2)、对脑电信号进行短时傅里叶变换,得到时频图;
步骤(3)、通过计算时频图中各通道间的标准互信息值,构建关联矩阵;
步骤(4)、分析关联矩阵并设定阈值优选通道,确定最优通道;
步骤(5)、利用支持向量机分类器,对优选通道后的数据进行分类,得到情绪识别率。
2.根据权利要求1所述的一种基于标准互信息的脑电通道选择方法,其特征在于,所述步骤(2)中的时频图,表示为:
spectrogramx(τ,ω)=|STFTx(τ,ω)|2
其中,spectrogramx(τ,ω)表示时频图,STFTx(τ,ω)表示对脑电信号进行短时傅里叶变化,ω是窗函数,τ时间索引。
3.根据权利1或2所述的一种基于标准互信息的通道选择方法,其特征在于,所述步骤(3)中,
任意两个通道间的脑电信号分别为X和Y,则两通道间的标准互信息为:
其中,MI(X,Y)是任意两个通道间脑电数据X和Y的互信息,H(X)是脑电数据X的信息熵,H(Y)是脑电数据Y的信息熵;
通过计算各通道间的标准互信息值来获取关联矩阵,表示为:
其中,Gn是全部样本总的关联矩阵,NMI表示第个样本的关联矩阵,N是样本总数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910638769.9A CN110353673B (zh) | 2019-07-16 | 2019-07-16 | 一种基于标准互信息的脑电通道选择方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910638769.9A CN110353673B (zh) | 2019-07-16 | 2019-07-16 | 一种基于标准互信息的脑电通道选择方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110353673A true CN110353673A (zh) | 2019-10-22 |
CN110353673B CN110353673B (zh) | 2021-08-31 |
Family
ID=68219315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910638769.9A Active CN110353673B (zh) | 2019-07-16 | 2019-07-16 | 一种基于标准互信息的脑电通道选择方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110353673B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765978A (zh) * | 2019-11-04 | 2020-02-07 | 西安邮电大学 | 一种基于分形维数的通道选择方法 |
CN111000557A (zh) * | 2019-12-06 | 2020-04-14 | 天津大学 | 一种应用于减压颅骨术后的无创脑电信号分析系统 |
CN111427450A (zh) * | 2020-03-20 | 2020-07-17 | 海南大学 | 一种情绪识别的方法、系统、设备及可读存储介质 |
CN111543988A (zh) * | 2020-05-25 | 2020-08-18 | 五邑大学 | 一种自适应认知活动识别方法、装置及存储介质 |
CN111904415A (zh) * | 2020-09-07 | 2020-11-10 | 天津市人民医院 | 一种基于脑电信号评估大脑左右半球信息交互强度的方法 |
CN112932502A (zh) * | 2021-02-02 | 2021-06-11 | 杭州电子科技大学 | 结合互信息通道选择与混合神经网络的脑电情感识别方法 |
CN113679394A (zh) * | 2021-09-26 | 2021-11-23 | 华东理工大学 | 基于相关性的运动想象的导联选择方法及装置 |
CN114947852A (zh) * | 2022-06-14 | 2022-08-30 | 华南师范大学 | 一种多模态情感识别方法、装置、设备及存储介质 |
CN116541751A (zh) * | 2023-07-03 | 2023-08-04 | 中国医学科学院生物医学工程研究所 | 一种基于脑功能连接网络特征的脑电信号分类方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150088024A1 (en) * | 2012-03-19 | 2015-03-26 | University Of Florida Research Foundation, Inc. | Methods and systems for brain function analysis |
CN105069440A (zh) * | 2015-08-19 | 2015-11-18 | 杭州电子科技大学 | 基于na-memd和互信息的脑电imf分量选择方法 |
US20160045128A1 (en) * | 2013-04-12 | 2016-02-18 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Methods to monitor consciousness |
CN105395194A (zh) * | 2015-12-14 | 2016-03-16 | 中国人民解放军信息工程大学 | 一种功能磁共振成像辅助的脑电通道选择方法 |
US20160128593A1 (en) * | 2014-11-06 | 2016-05-12 | Tata Consultancy Services Limited | Selection of electroencephalography (eeg) channels valid for determining cognitive load of a subject |
CN108937968A (zh) * | 2018-06-04 | 2018-12-07 | 安徽大学 | 基于独立分量分析的情感脑电信号的导联选择方法 |
-
2019
- 2019-07-16 CN CN201910638769.9A patent/CN110353673B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150088024A1 (en) * | 2012-03-19 | 2015-03-26 | University Of Florida Research Foundation, Inc. | Methods and systems for brain function analysis |
US20160045128A1 (en) * | 2013-04-12 | 2016-02-18 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Methods to monitor consciousness |
US20160128593A1 (en) * | 2014-11-06 | 2016-05-12 | Tata Consultancy Services Limited | Selection of electroencephalography (eeg) channels valid for determining cognitive load of a subject |
CN105069440A (zh) * | 2015-08-19 | 2015-11-18 | 杭州电子科技大学 | 基于na-memd和互信息的脑电imf分量选择方法 |
CN105395194A (zh) * | 2015-12-14 | 2016-03-16 | 中国人民解放军信息工程大学 | 一种功能磁共振成像辅助的脑电通道选择方法 |
CN108937968A (zh) * | 2018-06-04 | 2018-12-07 | 安徽大学 | 基于独立分量分析的情感脑电信号的导联选择方法 |
Non-Patent Citations (3)
Title |
---|
VANGELIS P. OIKONOMOU等: "Comparative evaluation of state-of-the-art algorithms for SSVEP-based BCIs", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/301890798》 * |
李志鹏: "情感脑电的通道选择与分类方法研究", 《哈尔滨工业大学硕士学位论文》 * |
王永宗: "面向情绪识别的脑电特征组合及通道优化选择研究", 《兰州大学研究生学位论文》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110765978A (zh) * | 2019-11-04 | 2020-02-07 | 西安邮电大学 | 一种基于分形维数的通道选择方法 |
CN110765978B (zh) * | 2019-11-04 | 2022-08-16 | 西安邮电大学 | 一种基于分形维数的通道选择方法 |
CN111000557A (zh) * | 2019-12-06 | 2020-04-14 | 天津大学 | 一种应用于减压颅骨术后的无创脑电信号分析系统 |
CN111000557B (zh) * | 2019-12-06 | 2022-04-15 | 天津大学 | 一种应用于减压颅骨术后的无创脑电信号分析系统 |
CN111427450A (zh) * | 2020-03-20 | 2020-07-17 | 海南大学 | 一种情绪识别的方法、系统、设备及可读存储介质 |
WO2021237917A1 (zh) * | 2020-05-25 | 2021-12-02 | 五邑大学 | 一种自适应认知活动识别方法、装置及存储介质 |
CN111543988A (zh) * | 2020-05-25 | 2020-08-18 | 五邑大学 | 一种自适应认知活动识别方法、装置及存储介质 |
CN111904415A (zh) * | 2020-09-07 | 2020-11-10 | 天津市人民医院 | 一种基于脑电信号评估大脑左右半球信息交互强度的方法 |
CN112932502B (zh) * | 2021-02-02 | 2022-05-03 | 杭州电子科技大学 | 结合互信息通道选择与混合神经网络的脑电情感识别方法 |
CN112932502A (zh) * | 2021-02-02 | 2021-06-11 | 杭州电子科技大学 | 结合互信息通道选择与混合神经网络的脑电情感识别方法 |
CN113679394A (zh) * | 2021-09-26 | 2021-11-23 | 华东理工大学 | 基于相关性的运动想象的导联选择方法及装置 |
CN113679394B (zh) * | 2021-09-26 | 2022-09-27 | 华东理工大学 | 基于相关性的运动想象的导联选择方法及装置 |
CN114947852A (zh) * | 2022-06-14 | 2022-08-30 | 华南师范大学 | 一种多模态情感识别方法、装置、设备及存储介质 |
CN114947852B (zh) * | 2022-06-14 | 2023-01-10 | 华南师范大学 | 一种多模态情感识别方法、装置、设备及存储介质 |
CN116541751A (zh) * | 2023-07-03 | 2023-08-04 | 中国医学科学院生物医学工程研究所 | 一种基于脑功能连接网络特征的脑电信号分类方法 |
CN116541751B (zh) * | 2023-07-03 | 2023-09-12 | 中国医学科学院生物医学工程研究所 | 一种基于脑功能连接网络特征的脑电信号分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110353673B (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110353673A (zh) | 一种基于标准互信息的脑电通道选择方法 | |
Yang et al. | A recurrence quantification analysis-based channel-frequency convolutional neural network for emotion recognition from EEG | |
CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
CN110139597A (zh) | 利用神经生理信号进行迭代分类的系统和方法 | |
CN106909784A (zh) | 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法 | |
CN109934089A (zh) | 基于监督梯度提升器的多级癫痫脑电信号自动识别方法 | |
CN109497990B (zh) | 一种基于典型相关分析的心电信号身份识别方法及系统 | |
CN105893980A (zh) | 一种注意力专注度评价方法及系统 | |
CN110037693A (zh) | 一种基于面部表情和eeg的情绪分类方法 | |
CN111150372B (zh) | 一种结合快速表示学习和语义学习的睡眠阶段分期系统 | |
CN108420429A (zh) | 一种基于多视角深度特征融合的脑电癫痫自动识别方法 | |
CN108256579A (zh) | 一种基于先验知识的多模态民族认同感量化测量方法 | |
CN107582077A (zh) | 一种基于手机触摸行为的人体精神状态分析方法 | |
CN110141258A (zh) | 一种情绪状态检测方法、设备及终端 | |
CN110390272A (zh) | 一种基于加权主成分分析的eeg信号特征降维方法 | |
CN109086794A (zh) | 一种基于t-lda主题模型的驾驶行为模式识方法 | |
CN105700687B (zh) | 基于folding HDCA算法的单试次脑电P300成分检测方法 | |
CN112528834A (zh) | 子带目标对齐共空间模式的脑电信号跨被试分类方法 | |
Chen et al. | Patient emotion recognition in human computer interaction system based on machine learning method and interactive design theory | |
CN112674782A (zh) | 癫痫患者发作间期痫样电活动检测装置和方法 | |
CN109009096A (zh) | 一种对影视作品在线客观评价的系统及方法 | |
CN109009098A (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
WO2022100187A1 (zh) | 一种基于移动端对用户的情感进行识别与监测方法 | |
CN113988135A (zh) | 一种基于双分支多流网络的肌电信号手势识别方法 | |
CN111914724B (zh) | 基于滑动窗口分割的连续中国手语识别方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |