CN108334195A - 基于调制的生物运动视觉感知的脑-机接口方法 - Google Patents

基于调制的生物运动视觉感知的脑-机接口方法 Download PDF

Info

Publication number
CN108334195A
CN108334195A CN201810045888.9A CN201810045888A CN108334195A CN 108334195 A CN108334195 A CN 108334195A CN 201810045888 A CN201810045888 A CN 201810045888A CN 108334195 A CN108334195 A CN 108334195A
Authority
CN
China
Prior art keywords
frequency
brain
stimulation
modulation
biological motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810045888.9A
Other languages
English (en)
Other versions
CN108334195B (zh
Inventor
徐光华
张鑫
张勋
王浩冲
史改革
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810045888.9A priority Critical patent/CN108334195B/zh
Publication of CN108334195A publication Critical patent/CN108334195A/zh
Application granted granted Critical
Publication of CN108334195B publication Critical patent/CN108334195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10Controlling the intensity of the light
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/30Driver circuits
    • H05B45/37Converter circuits
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/30Semiconductor lamps, e.g. solid state lamps [SSL] light emitting diodes [LED] or organic LED [OLED]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

基于调制的生物运动视觉感知的脑‑机接口方法,先进行基于调制的生物运动范式设计及实现,再搭建脑‑机接口平台,最后进行脑电信号的处理与目标辨识,本发明基于信号调制进行视觉刺激,通过频率的调制实现有限频率内增加刺激目标个数,有效解决传统基于稳态视觉诱发电位脑‑机接口刺激频率有限的问题,通过高频闪烁与低频运动调制实现低频生物运动的有效刺激,将无法辨识的低频生物运动信息通过调制作用调制到高频信号的边频带上,通过对高频闪烁频率、高频闪烁频率与低频运动频率的和频与差频特征识别,实现对低频生物运动的有效辨识,可以有效扩展脑‑机接口的可用频率范围,为同频刺激的脑控下肢康复训练系统搭建奠定基础。

Description

基于调制的生物运动视觉感知的脑-机接口方法
技术领域
本发明涉及生物医学工程脑-机接口技术领域,具体涉及基于调制的生物运动视觉感知的脑-机接口方法。
背景技术
脑-机接口(Brain Computer Interface,BCI)作为一种不依赖人的神经肌肉通道,能够实现大脑和外部设备直接信息交流的技术,近十几年得到了突飞猛进的发展。稳态视觉诱发电位作为一种重要的脑-机接口载体,与运动想象、P300、运动相关准备电位等相比,具有信息传输率高、无需训练和抗干扰能力强等优点,因此具有很大的实用意义。稳态视觉诱发一般由LED灯或者显示器呈现,通过特定频率的闪烁或者图形的反转来实现电位的诱发。然而,传统的稳态视觉诱发采用一个频率表示一个目标任务的刺激范式模式,同时受到大脑响应频率的限制,使得仅可以使用有限的频率呈现任务目标,不适合应用于多目标脑-机交互场合。
基于镜像神经元理论,人们可以把观察到的动作“直接映射”到自己的运动系统中,获得与自身运动想象和运动执行等同的大脑区域激活效果。因此,在康复训练中通过生物运动的视觉刺激可以有效的实现对大脑运动区的激活效果,促进神经重组与再生。然而诱发稳态视觉诱发电位的有效频带一般为3-50Hz,一般的生物运动如人行走的步速、握拳的速度、挥手的速度等都小于3Hz,使得生物运动范式无法直接应用于脑机接口中。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供基于调制的生物运动视觉感知的脑-机接口方法,实现在有限的刺激频率内生成更多刺激目标数目,同时实现低频运动的生物运动的有效刺激和脑电辨识,为同频刺激的脑控下肢康复训练系统搭建奠定基础。
为了达到上述目的,本发明采取的技术方案如下:
基于调制的生物运动视觉感知的脑-机接口方法,包括以下步骤:
步骤1,基于调制的生物运动范式设计及实现:基于调制的生物运动范式由多个LED灯组成,将LED灯摆放在生物光节点的位置进而设计出不同的生物形状,并将LED灯分为不同组别,改变LED灯的光强和相位产生生物运动视觉效果;
基于调制的生物运动范式实现步骤为:
将LED灯与单片机的输出连接,单片机的输入与计算机的输出连接,单片机具有定时器功能,实现对LED灯的亮度和相位变化进行控制;
所述的单片机由定时器输出PWM波,PWM波的占空比按照式(1)进行变化,同时使用定时器中断进行循环,则实现多频组合调制刺激,刺激频率为f1,f2,...,fn的排列组合,即由n个频率最多产生个刺激目标,刺激目标在大脑视觉区诱发出相应的刺激频率,
其中:
另外,通过改变式(1)中正弦函数的相位,使不同组LED灯具有固定的相位差,产生基于高频光强闪烁和低频运动调制的生物运动的视觉成刺激,在大脑视觉区诱发出高频闪烁频率、高频闪烁频率与低频运动频率的和频与差频,并能够作为以生物运动频率脑控同步驱动机器人被动运动的刺激范式;
步骤2,搭建脑-机接口平台:将电极帽上电极的输出与脑电采集设备的输入连接,脑电采集设备的输出与计算机的输入连接,使用者头戴电极帽坐于设计的刺激范式前;
步骤3,脑电信号的处理与目标辨识:由LED灯呈现数个具有不同频率的多频组合调制的刺激范式和基于光强和运动调制的生物运动刺激范式,使用者每次注视其中的任意一个,通过脑电采集设备采集使用者注视刺激范式时的脑电信号,然后经过滤波、放大,将处理后的脑电信号输入计算机,将采集到的脑电信号利用典型相关分析进行特征提取,选用以刺激频率和刺激频率的线性组合频率为频率的正弦和余弦函数为典型相关分析的匹配模板函数进行在线辨识,保存结果后,返回重复进行步骤3,进行下一轮目标识别。
所述的步骤1中的LED灯设有灯罩。
所述的步骤2中电极帽上的电极注有导电膏,保证电极与头皮良好接触。
本发明的优点如下:
(1)本发明的基于调制的生物运动范式可以由n个频率最多可以产生个刺激目标,在有限的刺激频率个数内有效的增加刺激目标个数。
(2)本发明将低频运动信息调制到高频光强闪烁中,通过辨识高频闪烁频率和高频闪烁频率与低频运动频率的和频与差频,实现对传统脑机接口无法辨识的低频生物运动刺激的有效辨识。
附图说明
图1是本发明实施例的人形运动视觉感知刺激范式,其中图1(a)为基于调制的人形运动视觉刺激范式构成图,图1(b)为基于调制的人形运动视觉刺激范式运动过程图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
基于调制的生物运动视觉感知的脑-机接口方法,包括以下步骤:
步骤1,基于调制的生物运动范式设计及实现:参照图1(a),基于调制的生物运动范式如人形行走运动由20个LED灯和灯罩组成,将LED灯摆放在人骨骼节点的位置,由LED灯构成头、颈、肩、肘、脊椎、臀、膝、踝等主要关节部位;LED灯分为三组:第一组由LED 1,LED2,LED 3,LED 4,LED 8,LED 10,LED 11和LED 12组成;第二组由LED 5,LED 9,LED 14,LED15,LED 18和LED 20组成;第三组由LED 6,LED 7,LED 13,LED 16,LED 17和LED 19组成;
参照图1(b),改变LED灯的光强和相位产生人形行走运动视觉效果;灯罩具有一定的透光率,避免LED灯直接刺激被试者眼镜进而造成的不适感;
基于调制的生物运动范式实现步骤为:
将LED灯与单片机的输出连接,单片机的输入与计算机的输出连接,单片机具有定时器功能,实现对LED灯的亮度和相位变化进行控制;
所述的单片机由定时器输出80KHz的PWM波,PWM波的占空比按照式(1)进行变化,同时控制三组LED灯的亮度与相位变化,并使用1ms定时器中断进行循环,实现多频组合调制刺激,刺激频率为f1,f2,...,fn的排列组合,即由n个频率最多可以产生个刺激目标;
其中:
另外,对三组LED灯分别进行同步控制,第一组LED灯占空比变化曲线为公式(2),实现高频闪烁刺激,第二组LED灯和第三组LED灯的占空比变化曲线分别为公式(3)和(4),其光强变化存在相位差pi,进而实现低频人形行走运动的视觉刺激,实现在大脑视觉区诱发出高频闪烁频率、高频闪烁频率与低频运动频率的和频与差频,其中高频闪烁频率为大于30Hz,如45Hz,低频运动频率小于3Hz,如0.6Hz,并可作为以生物运动频率脑控同步驱动机器人被动运动的刺激范式,
DR1=(300+300×sin(2×π×F×t))/900 (2)
DR2=(250+200×sin(2×π×F×t)+200×sin(2×π×f×t))/900 (3)
DR3=(250-200×sin(2×π×F×t)-200×sin(2×π×f×t))/900 (4)
其中:F为高频闪烁频率,f为低频运动频率;
步骤2,搭建脑-机接口平台:电极帽上电极的输出与脑电采集设备的输入连接,脑电采集设备的输出与计算机的输入连接,使用者头戴电极帽坐于设计的刺激范式前,头部距离刺激范式80cm,测量电极为O1,O2,Oz,PO1,PO2和POz,右耳垂放置参考电极,FPz处为地电极,给各测量电极注入导电膏,保证电极与头皮良好接触;
步骤3,脑电信号的处理与目标辨识:由LED灯呈现数个具有不同频率的多频组合调制的刺激范式和基于光强和运动调制的生物运动刺激范式,使用者每次注视其中的任意一个,通过脑电采集设备采集使用者注视刺激范式时的脑电信号,然后经过滤波、放大,将处理后的脑电信号输入计算机,将采集到的脑电信号利用典型相关分析进行特征提取,选用以刺激频率和刺激频率的线性组合频率为频率的正弦和余弦函数为典型相关分析的匹配模板函数进行在线辨识,保存结果后,返回重复进行步骤3,进行下一轮目标识别。

Claims (1)

1.基于调制的生物运动视觉感知的脑-机接口方法,其特征在于,包括以下步骤:
步骤1,基于调制的生物运动范式设计及实现:基于调制的生物运动范式由多个LED灯组成,将LED灯摆放在生物光节点的位置进而设计出不同的生物形状,并将LED灯分为不同组别,改变LED灯的光强和相位产生生物运动视觉效果;
基于调制的生物运动范式实现步骤为:
将LED灯与单片机的输出连接,单片机的输入与计算机的输出连接,单片机具有定时器功能,实现对LED灯的亮度和相位变化进行控制;
所述的单片机由定时器输出PWM波,PWM波的占空比按照式(1)进行变化,同时使用定时器中断进行循环,则实现多频组合调制刺激,刺激频率为f1,f2,...,fn的排列组合,即由n个频率最多产生个刺激目标,刺激目标在大脑视觉区诱发出相应的刺激频率,
其中:
另外,通过改变式(1)中正弦函数的相位,使不同组LED灯具有固定的相位差,产生基于高频光强闪烁和低频运动调制的生物运动的视觉成刺激,在大脑视觉区诱发出高频闪烁频率、高频闪烁频率与低频运动频率的和频与差频,并能够作为以生物运动频率脑控同步驱动机器人被动运动的刺激范式;
步骤2,搭建脑-机接口平台:将电极帽上电极的输出与脑电采集设备的输入连接,脑电采集设备的输出与计算机的输入连接,使用者头戴电极帽坐于设计的刺激范式前;
步骤3,脑电信号的处理与目标辨识:由LED灯呈现数个具有不同频率的多频组合调制的刺激范式和基于光强和运动调制的生物运动刺激范式,使用者每次注视其中的任意一个,通过脑电采集设备采集使用者注视刺激范式时的脑电信号,然后经过滤波、放大,将处理后的脑电信号输入计算机,将采集到的脑电信号利用典型相关分析进行特征提取,选用以刺激频率和刺激频率的线性组合频率为频率的正弦和余弦函数为典型相关分析的匹配模板函数进行在线辨识,保存结果后,返回重复进行步骤3,进行下一轮目标识别。
CN201810045888.9A 2018-01-17 2018-01-17 基于调制的生物运动视觉感知的脑-机接口方法 Active CN108334195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810045888.9A CN108334195B (zh) 2018-01-17 2018-01-17 基于调制的生物运动视觉感知的脑-机接口方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810045888.9A CN108334195B (zh) 2018-01-17 2018-01-17 基于调制的生物运动视觉感知的脑-机接口方法

Publications (2)

Publication Number Publication Date
CN108334195A true CN108334195A (zh) 2018-07-27
CN108334195B CN108334195B (zh) 2019-10-18

Family

ID=62925098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810045888.9A Active CN108334195B (zh) 2018-01-17 2018-01-17 基于调制的生物运动视觉感知的脑-机接口方法

Country Status (1)

Country Link
CN (1) CN108334195B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101927052A (zh) * 2009-06-26 2010-12-29 王志忠 一种脑电波生物反馈戒毒仪
KR20120042252A (ko) * 2010-10-25 2012-05-03 연세대학교 산학협력단 안정상태 시각유발전위 기반의 기능적 전기자극 재활훈련 시스템
CN102654793A (zh) * 2012-01-16 2012-09-05 中国人民解放军国防科学技术大学 基于双模校验机制的脑电驱动高可靠操控系统
CN102722244A (zh) * 2012-05-25 2012-10-10 西安交通大学 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法
CN103064508A (zh) * 2011-10-19 2013-04-24 中央大学 步进延迟闪烁序列的脑机接口控制方法及其系统
CN103149438A (zh) * 2013-01-24 2013-06-12 上海帝仪科技有限公司 脑电接触阻抗检测方法及装置
CN103156620A (zh) * 2013-03-27 2013-06-19 中国科学院自动化研究所 一种多通道并行近红外光谱成像系统
CN103399627A (zh) * 2012-12-14 2013-11-20 天津大学 基于变频闪烁刺激的脑-机接口范式
US20140058483A1 (en) * 2012-08-25 2014-02-27 National Chiao Tung University Stimuli generating methods, devices and control systems to induce visual evoked potentials using imperceptible flickering multi-color lights
CN104503580A (zh) * 2014-12-25 2015-04-08 天津大学 一种对稳态视觉诱发电位脑-机接口目标的识别方法
CN105853140A (zh) * 2016-03-24 2016-08-17 西安交通大学 基于视觉运动诱发的脑控下肢主被动协同康复训练系统
CN106155329A (zh) * 2016-09-06 2016-11-23 西安交通大学 基于往复摆动视觉感知的稳态诱发电位脑‑机接口方法
CN106371451A (zh) * 2016-11-07 2017-02-01 东南大学 基于稳态视觉诱发电位的无人机操控方法及装置
CN106951064A (zh) * 2016-11-22 2017-07-14 西安交通大学 引入对象连续动作的稳态视觉诱发范式设计及辨识方法
CN107252305A (zh) * 2017-06-18 2017-10-17 天津大学 基于全并行锁相光子计数检测模式的nirs脑功能成像系统
CN107405101A (zh) * 2015-03-02 2017-11-28 迈恩德玛泽股份有限公司 大脑活动测量和反馈系统
CN107530521A (zh) * 2015-01-05 2018-01-02 赛威医疗公司 用于经皮电刺激以改善睡眠的系统和方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101927052A (zh) * 2009-06-26 2010-12-29 王志忠 一种脑电波生物反馈戒毒仪
KR20120042252A (ko) * 2010-10-25 2012-05-03 연세대학교 산학협력단 안정상태 시각유발전위 기반의 기능적 전기자극 재활훈련 시스템
CN103064508A (zh) * 2011-10-19 2013-04-24 中央大学 步进延迟闪烁序列的脑机接口控制方法及其系统
CN102654793A (zh) * 2012-01-16 2012-09-05 中国人民解放军国防科学技术大学 基于双模校验机制的脑电驱动高可靠操控系统
CN102722244A (zh) * 2012-05-25 2012-10-10 西安交通大学 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法
US20140058483A1 (en) * 2012-08-25 2014-02-27 National Chiao Tung University Stimuli generating methods, devices and control systems to induce visual evoked potentials using imperceptible flickering multi-color lights
CN103399627A (zh) * 2012-12-14 2013-11-20 天津大学 基于变频闪烁刺激的脑-机接口范式
CN103149438A (zh) * 2013-01-24 2013-06-12 上海帝仪科技有限公司 脑电接触阻抗检测方法及装置
CN103156620A (zh) * 2013-03-27 2013-06-19 中国科学院自动化研究所 一种多通道并行近红外光谱成像系统
CN104503580A (zh) * 2014-12-25 2015-04-08 天津大学 一种对稳态视觉诱发电位脑-机接口目标的识别方法
CN107530521A (zh) * 2015-01-05 2018-01-02 赛威医疗公司 用于经皮电刺激以改善睡眠的系统和方法
CN107405101A (zh) * 2015-03-02 2017-11-28 迈恩德玛泽股份有限公司 大脑活动测量和反馈系统
CN105853140A (zh) * 2016-03-24 2016-08-17 西安交通大学 基于视觉运动诱发的脑控下肢主被动协同康复训练系统
CN106155329A (zh) * 2016-09-06 2016-11-23 西安交通大学 基于往复摆动视觉感知的稳态诱发电位脑‑机接口方法
CN106371451A (zh) * 2016-11-07 2017-02-01 东南大学 基于稳态视觉诱发电位的无人机操控方法及装置
CN106951064A (zh) * 2016-11-22 2017-07-14 西安交通大学 引入对象连续动作的稳态视觉诱发范式设计及辨识方法
CN107252305A (zh) * 2017-06-18 2017-10-17 天津大学 基于全并行锁相光子计数检测模式的nirs脑功能成像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIN ZHANG ET.AL: "Brain response to luminance-based and motion-based stimulation using inter-modulation frequencies", 《PLOS ONE》 *

Also Published As

Publication number Publication date
CN108334195B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN104398325B (zh) 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法
CN104978035B (zh) 基于体感电刺激诱发p300的脑机接口系统及其实现方法
KR101229244B1 (ko) 안정상태 시각유발전위 기반의 기능적 전기자극 재활훈련 시스템
CN104606030B (zh) 融合自主运动意识的下肢在线行走康复系统及方法
Gordleeva et al. Exoskeleton control system based on motor-imaginary brain–computer interface
CN111449813B (zh) 一种用于假肢手运动姿态感觉反馈的穿戴式电刺激系统
CN111110982A (zh) 基于运动想象的手部康复训练方法
CN105137830B (zh) 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
Nielsen et al. EEG based BCI-towards a better control. Brain-computer interface research at Aalborg University
CN109276808A (zh) 基于视频运动捕捉的多模态脑卒中上肢康复训练系统
CN104951082A (zh) 一种利用随机共振增强脑电信号的脑机接口方法
JP6351250B2 (ja) 電気刺激システム
CN112617863B (zh) 一种面向左右脚运动意图侧向性识别的混合在线脑机接口方法
CN211024807U (zh) 多触发方式的智能电刺激手部训练器
Duvinage et al. A five-state P300-based foot lifter orthosis: Proof of concept
CN108392737A (zh) 肌电调制的下肢康复多通道功能性电刺激输出控制方法
CN113515195A (zh) 基于ssvep的脑机交互方法、装置、电子装置和存储介质
CN109260590A (zh) 一种基于肌肉神经支配特性调节的电刺激系统及方法
Li et al. An approach for brain-controlled prostheses based on scene graph steady-state visual evoked potentials
Bi et al. Wearable EMG bridge—A multiple-gesture reconstruction system using electrical stimulation controlled by the volitional surface electromyogram of a healthy forearm
CN113101021B (zh) 基于mi-ssvep混合式脑机接口的机械臂控制方法
CN108543216A (zh) 一种基于主从控制的手部功能重建装置及其实现方法
CN108334195B (zh) 基于调制的生物运动视觉感知的脑-机接口方法
CN109116988A (zh) 基于错觉运动感知的稳态诱发电位脑-机接口方法
Gandolla et al. EMG-controlled robotic hand rehabilitation device for domestic training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant