CN108334195B - 基于调制的生物运动视觉感知的脑-机接口方法 - Google Patents
基于调制的生物运动视觉感知的脑-机接口方法 Download PDFInfo
- Publication number
- CN108334195B CN108334195B CN201810045888.9A CN201810045888A CN108334195B CN 108334195 B CN108334195 B CN 108334195B CN 201810045888 A CN201810045888 A CN 201810045888A CN 108334195 B CN108334195 B CN 108334195B
- Authority
- CN
- China
- Prior art keywords
- frequency
- stimulation
- brain
- modulation
- biological motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/10—Controlling the intensity of the light
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/30—Driver circuits
- H05B45/37—Converter circuits
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/30—Semiconductor lamps, e.g. solid state lamps [SSL] light emitting diodes [LED] or organic LED [OLED]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
基于调制的生物运动视觉感知的脑‑机接口方法,先进行基于调制的生物运动范式设计及实现,再搭建脑‑机接口平台,最后进行脑电信号的处理与目标辨识,本发明基于信号调制进行视觉刺激,通过频率的调制实现有限频率内增加刺激目标个数,有效解决传统基于稳态视觉诱发电位脑‑机接口刺激频率有限的问题,通过高频闪烁与低频运动调制实现低频生物运动的有效刺激,将无法辨识的低频生物运动信息通过调制作用调制到高频信号的边频带上,通过对高频闪烁频率、高频闪烁频率与低频运动频率的和频与差频特征识别,实现对低频生物运动的有效辨识,可以有效扩展脑‑机接口的可用频率范围,为同频刺激的脑控下肢康复训练系统搭建奠定基础。
Description
技术领域
本发明涉及生物医学工程脑-机接口技术领域,具体涉及基于调制的生物运动视觉感知的脑-机接口方法。
背景技术
脑-机接口(Brain Computer Interface,BCI)作为一种不依赖人的神经肌肉通道,能够实现大脑和外部设备直接信息交流的技术,近十几年得到了突飞猛进的发展。稳态视觉诱发电位作为一种重要的脑-机接口载体,与运动想象、P300、运动相关准备电位等相比,具有信息传输率高、无需训练和抗干扰能力强等优点,因此具有很大的实用意义。稳态视觉诱发一般由LED灯或者显示器呈现,通过特定频率的闪烁或者图形的反转来实现电位的诱发。然而,传统的稳态视觉诱发采用一个频率表示一个目标任务的刺激范式模式,同时受到大脑响应频率的限制,使得仅可以使用有限的频率呈现任务目标,不适合应用于多目标脑-机交互场合。
基于镜像神经元理论,人们可以把观察到的动作“直接映射”到自己的运动系统中,获得与自身运动想象和运动执行等同的大脑区域激活效果。因此,在康复训练中通过生物运动的视觉刺激可以有效的实现对大脑运动区的激活效果,促进神经重组与再生。然而诱发稳态视觉诱发电位的有效频带一般为3-50Hz,一般的生物运动如人行走的步速、握拳的速度、挥手的速度等都小于3Hz,使得生物运动范式无法直接应用于脑机接口中。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供基于调制的生物运动视觉感知的脑-机接口方法,实现在有限的刺激频率内生成更多刺激目标数目,同时实现低频运动的生物运动的有效刺激和脑电辨识,为同频刺激的脑控下肢康复训练系统搭建奠定基础。
为了达到上述目的,本发明采取的技术方案如下:
基于调制的生物运动视觉感知的脑-机接口方法,包括以下步骤:
步骤1,基于调制的生物运动范式设计及实现:基于调制的生物运动范式由多个LED灯组成,将LED灯摆放在生物光节点的位置进而设计出不同的生物形状,并将LED灯分为不同组别,改变LED灯的光强和相位产生生物运动视觉效果;
基于调制的生物运动范式实现步骤为:
将LED灯与单片机的输出连接,单片机的输入与计算机的输出连接,单片机具有定时器功能,实现对LED灯的亮度和相位变化进行控制;
所述的单片机由定时器输出PWM波,PWM波的占空比按照式(1)进行变化,同时使用定时器中断进行循环,则实现多频组合调制刺激,刺激频率为f1,f2,...,fn的排列组合,即由n个频率最多产生个刺激目标,刺激目标在大脑视觉区诱发出相应的刺激频率,
其中:
另外,通过改变式(1)中正弦函数的相位,使不同组LED灯具有固定的相位差,产生基于高频光强闪烁和低频运动调制的生物运动的视觉成刺激,在大脑视觉区诱发出高频闪烁频率、高频闪烁频率与低频运动频率的和频与差频,并能够作为以生物运动频率脑控同步驱动机器人被动运动的刺激范式;
步骤2,搭建脑-机接口平台:将电极帽上电极的输出与脑电采集设备的输入连接,脑电采集设备的输出与计算机的输入连接,使用者头戴电极帽坐于设计的刺激范式前;
步骤3,脑电信号的处理与目标辨识:由LED灯呈现数个具有不同频率的多频组合调制的刺激范式和基于光强和运动调制的生物运动刺激范式,使用者每次注视其中的任意一个,通过脑电采集设备采集使用者注视刺激范式时的脑电信号,然后经过滤波、放大,将处理后的脑电信号输入计算机,将采集到的脑电信号利用典型相关分析进行特征提取,选用以刺激频率和刺激频率的线性组合频率为频率的正弦和余弦函数为典型相关分析的匹配模板函数进行在线辨识,保存结果后,返回重复进行步骤3,进行下一轮目标识别。
所述的步骤1中的LED灯设有灯罩。
所述的步骤2中电极帽上的电极注有导电膏,保证电极与头皮良好接触。
本发明的优点如下:
(1)本发明的基于调制的生物运动范式可以由n个频率最多可以产生个刺激目标,在有限的刺激频率个数内有效的增加刺激目标个数。
(2)本发明将低频运动信息调制到高频光强闪烁中,通过辨识高频闪烁频率和高频闪烁频率与低频运动频率的和频与差频,实现对传统脑机接口无法辨识的低频生物运动刺激的有效辨识。
附图说明
图1是本发明实施例的人形运动视觉感知刺激范式,其中图1(a)为基于调制的人形运动视觉刺激范式构成图,图1(b)为基于调制的人形运动视觉刺激范式运动过程图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
基于调制的生物运动视觉感知的脑-机接口方法,包括以下步骤:
步骤1,基于调制的生物运动范式设计及实现:参照图1(a),基于调制的生物运动范式如人形行走运动由20个LED灯和灯罩组成,将LED灯摆放在人骨骼节点的位置,由LED灯构成头、颈、肩、肘、脊椎、臀、膝、踝等主要关节部位;LED灯分为三组:第一组由LED 1,LED2,LED 3,LED 4,LED 8,LED 10,LED 11和LED 12组成;第二组由LED 5,LED 9,LED 14,LED15,LED 18和LED 20组成;第三组由LED 6,LED 7,LED 13,LED 16,LED 17和LED 19组成;
参照图1(b),改变LED灯的光强和相位产生人形行走运动视觉效果;灯罩具有一定的透光率,避免LED灯直接刺激被试者眼镜进而造成的不适感;
基于调制的生物运动范式实现步骤为:
将LED灯与单片机的输出连接,单片机的输入与计算机的输出连接,单片机具有定时器功能,实现对LED灯的亮度和相位变化进行控制;
所述的单片机由定时器输出80KHz的PWM波,PWM波的占空比按照式(1)进行变化,同时控制三组LED灯的亮度与相位变化,并使用1ms定时器中断进行循环,实现多频组合调制刺激,刺激频率为f1,f2,...,fn的排列组合,即由n个频率最多可以产生个刺激目标;
其中:
另外,对三组LED灯分别进行同步控制,第一组LED灯占空比变化曲线为公式(2),实现高频闪烁刺激,第二组LED灯和第三组LED灯的占空比变化曲线分别为公式(3)和(4),其光强变化存在相位差pi,进而实现低频人形行走运动的视觉刺激,实现在大脑视觉区诱发出高频闪烁频率、高频闪烁频率与低频运动频率的和频与差频,其中高频闪烁频率为大于30Hz,如45Hz,低频运动频率小于3Hz,如0.6Hz,并可作为以生物运动频率脑控同步驱动机器人被动运动的刺激范式,
DR1=(300+300×sin(2×π×F×t))/900 (2)
DR2=(250+200×sin(2×π×F×t)+200×sin(2×π×f×t))/900 (3)
DR3=(250-200×sin(2×π×F×t)-200×sin(2×π×f×t))/900 (4)
其中:F为高频闪烁频率,f为低频运动频率;
步骤2,搭建脑-机接口平台:电极帽上电极的输出与脑电采集设备的输入连接,脑电采集设备的输出与计算机的输入连接,使用者头戴电极帽坐于设计的刺激范式前,头部距离刺激范式80cm,测量电极为O1,O2,Oz,PO1,PO2和POz,右耳垂放置参考电极,FPz处为地电极,给各测量电极注入导电膏,保证电极与头皮良好接触;
步骤3,脑电信号的处理与目标辨识:由LED灯呈现数个具有不同频率的多频组合调制的刺激范式和基于光强和运动调制的生物运动刺激范式,使用者每次注视其中的任意一个,通过脑电采集设备采集使用者注视刺激范式时的脑电信号,然后经过滤波、放大,将处理后的脑电信号输入计算机,将采集到的脑电信号利用典型相关分析进行特征提取,选用以刺激频率和刺激频率的线性组合频率为频率的正弦和余弦函数为典型相关分析的匹配模板函数进行在线辨识,保存结果后,返回重复进行步骤3,进行下一轮目标识别。
Claims (1)
1.基于调制的生物运动视觉感知的脑-机接口方法,其特征在于,包括以下步骤:
步骤1,基于调制的生物运动范式设计及实现:基于调制的生物运动范式由多个LED灯组成,将LED灯摆放在生物光节点的位置进而设计出不同的生物形状,并将LED灯分为不同组别,改变LED灯的光强和相位产生生物运动视觉效果;
基于调制的生物运动范式实现步骤为:
将LED灯与单片机的输出连接,单片机的输入与计算机的输出连接,单片机具有定时器功能,实现对LED灯的亮度和相位变化进行控制;
所述的单片机由定时器输出PWM波,PWM波的占空比按照式(1)进行变化,同时使用定时器中断进行循环,则实现多频组合调制刺激,刺激频率为f1,f2,...,fn的排列组合,即由n个频率最多产生个刺激目标,刺激目标在大脑视觉区诱发出相应的刺激频率,
其中:
另外,通过改变式(1)中正弦函数的相位,使不同组LED灯具有固定的相位差,产生基于高频光强闪烁和低频运动调制的生物运动的视觉刺激,其中光闪烁刺激由组1中LED灯PWM波占空比以式(2)变化来实现,运动刺激由组2和组3中LED灯PWM波占空比分别以式(3)和式(4)变化来实现,而运动刺激由DR2和DR3中的相位差pi形成;该视觉刺激在大脑视觉区诱发出高频闪烁频率、高频闪烁频率与低频运动频率的和频与差频,并能够作为以生物运动频率脑控同步驱动机器人被动运动的刺激范式;
DR1=(300+300×sin(2×π×F×t))/900 (2)
DR2=(250+200×sin(2×π×F×t)+200×sin(2×π×f×t))/900 (3)
DR3=(250-200×sin(2×π×F×t)-200×sin(2×π×f×t))/900 (4)
其中:F为高频闪烁频率,高频闪烁频率大于30Hz,f为低频运动频率,低频运动频率小于3Hz;
步骤2,搭建脑-机接口平台:将电极帽上电极的输出与脑电采集设备的输入连接,脑电采集设备的输出与计算机的输入连接,使用者头戴电极帽坐于设计的刺激范式前;
步骤3,脑电信号的处理与目标辨识:由LED灯呈现数个具有不同频率的多频组合调制的刺激范式和基于光强和运动调制的生物运动刺激范式,使用者每次注视其中的任意一个,通过脑电采集设备采集使用者注视刺激范式时的脑电信号,然后经过滤波、放大,将处理后的脑电信号输入计算机,将采集到的脑电信号利用典型相关分析进行特征提取,选用以刺激频率和刺激频率的线性组合频率为频率的正弦和余弦函数为典型相关分析的匹配模板函数进行在线辨识,保存结果后,返回重复进行步骤3,进行下一轮目标识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810045888.9A CN108334195B (zh) | 2018-01-17 | 2018-01-17 | 基于调制的生物运动视觉感知的脑-机接口方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810045888.9A CN108334195B (zh) | 2018-01-17 | 2018-01-17 | 基于调制的生物运动视觉感知的脑-机接口方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108334195A CN108334195A (zh) | 2018-07-27 |
CN108334195B true CN108334195B (zh) | 2019-10-18 |
Family
ID=62925098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810045888.9A Active CN108334195B (zh) | 2018-01-17 | 2018-01-17 | 基于调制的生物运动视觉感知的脑-机接口方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108334195B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101927052A (zh) * | 2009-06-26 | 2010-12-29 | 王志忠 | 一种脑电波生物反馈戒毒仪 |
CN102654793A (zh) * | 2012-01-16 | 2012-09-05 | 中国人民解放军国防科学技术大学 | 基于双模校验机制的脑电驱动高可靠操控系统 |
CN102722244A (zh) * | 2012-05-25 | 2012-10-10 | 西安交通大学 | 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法 |
CN103064508A (zh) * | 2011-10-19 | 2013-04-24 | 中央大学 | 步进延迟闪烁序列的脑机接口控制方法及其系统 |
CN103149438A (zh) * | 2013-01-24 | 2013-06-12 | 上海帝仪科技有限公司 | 脑电接触阻抗检测方法及装置 |
CN103156620A (zh) * | 2013-03-27 | 2013-06-19 | 中国科学院自动化研究所 | 一种多通道并行近红外光谱成像系统 |
CN103399627A (zh) * | 2012-12-14 | 2013-11-20 | 天津大学 | 基于变频闪烁刺激的脑-机接口范式 |
CN104503580A (zh) * | 2014-12-25 | 2015-04-08 | 天津大学 | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 |
CN105853140A (zh) * | 2016-03-24 | 2016-08-17 | 西安交通大学 | 基于视觉运动诱发的脑控下肢主被动协同康复训练系统 |
CN106155329A (zh) * | 2016-09-06 | 2016-11-23 | 西安交通大学 | 基于往复摆动视觉感知的稳态诱发电位脑‑机接口方法 |
CN106371451A (zh) * | 2016-11-07 | 2017-02-01 | 东南大学 | 基于稳态视觉诱发电位的无人机操控方法及装置 |
CN106951064A (zh) * | 2016-11-22 | 2017-07-14 | 西安交通大学 | 引入对象连续动作的稳态视觉诱发范式设计及辨识方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101229244B1 (ko) * | 2010-10-25 | 2013-02-04 | 연세대학교 원주산학협력단 | 안정상태 시각유발전위 기반의 기능적 전기자극 재활훈련 시스템 |
TWI561216B (en) * | 2012-08-25 | 2016-12-11 | Univ Nat Chiao Tung | Stimuli generating methods, devices and control systemsto induce visual evoked potentials using imperceptible flickering multi-color lights |
US20200155790A9 (en) * | 2012-11-26 | 2020-05-21 | Thync Global, Inc. | Systems and methods for transdermal electrical stimulation to improve sleep |
EP3064130A1 (en) * | 2015-03-02 | 2016-09-07 | MindMaze SA | Brain activity measurement and feedback system |
CN107252305B (zh) * | 2017-06-18 | 2020-11-10 | 天津大学 | 基于全并行锁相光子计数检测模式的nirs脑功能成像系统 |
-
2018
- 2018-01-17 CN CN201810045888.9A patent/CN108334195B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101927052A (zh) * | 2009-06-26 | 2010-12-29 | 王志忠 | 一种脑电波生物反馈戒毒仪 |
CN103064508A (zh) * | 2011-10-19 | 2013-04-24 | 中央大学 | 步进延迟闪烁序列的脑机接口控制方法及其系统 |
CN102654793A (zh) * | 2012-01-16 | 2012-09-05 | 中国人民解放军国防科学技术大学 | 基于双模校验机制的脑电驱动高可靠操控系统 |
CN102722244A (zh) * | 2012-05-25 | 2012-10-10 | 西安交通大学 | 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法 |
CN103399627A (zh) * | 2012-12-14 | 2013-11-20 | 天津大学 | 基于变频闪烁刺激的脑-机接口范式 |
CN103149438A (zh) * | 2013-01-24 | 2013-06-12 | 上海帝仪科技有限公司 | 脑电接触阻抗检测方法及装置 |
CN103156620A (zh) * | 2013-03-27 | 2013-06-19 | 中国科学院自动化研究所 | 一种多通道并行近红外光谱成像系统 |
CN104503580A (zh) * | 2014-12-25 | 2015-04-08 | 天津大学 | 一种对稳态视觉诱发电位脑-机接口目标的识别方法 |
CN105853140A (zh) * | 2016-03-24 | 2016-08-17 | 西安交通大学 | 基于视觉运动诱发的脑控下肢主被动协同康复训练系统 |
CN106155329A (zh) * | 2016-09-06 | 2016-11-23 | 西安交通大学 | 基于往复摆动视觉感知的稳态诱发电位脑‑机接口方法 |
CN106371451A (zh) * | 2016-11-07 | 2017-02-01 | 东南大学 | 基于稳态视觉诱发电位的无人机操控方法及装置 |
CN106951064A (zh) * | 2016-11-22 | 2017-07-14 | 西安交通大学 | 引入对象连续动作的稳态视觉诱发范式设计及辨识方法 |
Non-Patent Citations (1)
Title |
---|
Brain response to luminance-based and motion-based stimulation using inter-modulation frequencies;Xin Zhang et.al;《PLoS ONE》;20171115;第1-16页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108334195A (zh) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104398325B (zh) | 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法 | |
Chang et al. | Eliciting dual-frequency SSVEP using a hybrid SSVEP-P300 BCI | |
CN104978035B (zh) | 基于体感电刺激诱发p300的脑机接口系统及其实现方法 | |
CN102866775A (zh) | 基于多模式融合的脑机接口控制系统及方法 | |
CN107346179A (zh) | 基于诱发式脑机接口的多移动目标选择方法 | |
CN105137830B (zh) | 一种基于视觉诱发脑机接口的国画机器手及其绘图方法 | |
CN106155323A (zh) | 基于等亮度色彩强化的稳态运动诱发电位脑‑机接口方法 | |
CN103995582A (zh) | 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 | |
CN205586230U (zh) | 一种智能穴位按摩头 | |
CN104951082A (zh) | 一种利用随机共振增强脑电信号的脑机接口方法 | |
JP6351250B2 (ja) | 電気刺激システム | |
CN112617863B (zh) | 一种面向左右脚运动意图侧向性识别的混合在线脑机接口方法 | |
CN211024807U (zh) | 多触发方式的智能电刺激手部训练器 | |
CN104606030A (zh) | 融合自主运动意识的下肢在线行走康复系统及方法 | |
Duvinage et al. | A five-state P300-based foot lifter orthosis: Proof of concept | |
CN109009887A (zh) | 一种基于脑机接口的人机交互式导航系统及方法 | |
CN113515195A (zh) | 基于ssvep的脑机交互方法、装置、电子装置和存储介质 | |
CN109260590A (zh) | 一种基于肌肉神经支配特性调节的电刺激系统及方法 | |
Li et al. | An approach for brain-controlled prostheses based on scene graph steady-state visual evoked potentials | |
CN108334195B (zh) | 基于调制的生物运动视觉感知的脑-机接口方法 | |
CN113101021B (zh) | 基于mi-ssvep混合式脑机接口的机械臂控制方法 | |
CN109116988A (zh) | 基于错觉运动感知的稳态诱发电位脑-机接口方法 | |
CN208848166U (zh) | 一种基于ssvep脑机接口系统的视觉刺激装置 | |
Zhang et al. | The corticomuscular coupling underlying movement and its application for rehabilitation: A review | |
CN111388960A (zh) | 一种基于物联网系统的上下肢康复训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |