CN106155323B - 基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法 - Google Patents

基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法 Download PDF

Info

Publication number
CN106155323B
CN106155323B CN201610529609.7A CN201610529609A CN106155323B CN 106155323 B CN106155323 B CN 106155323B CN 201610529609 A CN201610529609 A CN 201610529609A CN 106155323 B CN106155323 B CN 106155323B
Authority
CN
China
Prior art keywords
gridiron pattern
brightness
colors
brain
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610529609.7A
Other languages
English (en)
Other versions
CN106155323A (zh
Inventor
徐光华
闫文强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201610529609.7A priority Critical patent/CN106155323B/zh
Publication of CN106155323A publication Critical patent/CN106155323A/zh
Application granted granted Critical
Publication of CN106155323B publication Critical patent/CN106155323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于等亮度色彩强化的稳态运动诱发电位脑‑机接口方法,采用等亮度彩色棋盘格刺激范式,采用正弦方式实现棋盘格的收缩‑扩张运动,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,经过放大、滤波与A/D转换后,将处理后的脑电信号输入计算机,采集到的脑电信号利用典型相关分析实现对脑电信号的特征提取及分类识别,本发明融合了色彩、亮度、形状、运动等视觉信息,降低了使用者的视觉疲劳,提高了EEG信噪比,对注视目标辨识准确率也更高,具有低闪烁,低适应性的特点,可以提升脑‑机接口的交互性能。

Description

基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法
技术领域
本发明涉及医学信息智能处理技术领域,具体涉及一种基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法。
背景技术
脑-机接口技术(BCI)常用方法有运动想象(Motor imagery,MI)、P300事件相关电位、瞬态视觉诱发电位(tVEP)、稳态视觉诱发电位(SSVEP)等。相比而言,稳态视觉诱发电位所需电极数目更少、使用者不需要长期训练,辨识准确率更高。但基于SSVEP的脑-机接口常采用光闪烁或图形翻转等刺激方式,易造成使用者视觉疲劳、降低大脑响应,限制了其进一步应用。近年来有学者提出基于运动感知的脑-机接口范式,能避免长时间强刺激对大脑响应的影响。运动视觉诱发电位(mVEP)分为瞬态和稳态两种,2009年,清华大学的高上凯等人利用视觉系统对运动的感知能力,采用视觉运动起始对应的瞬态N2电位实现脑-机接口应用。该范式具有亮度恒定和非闪烁的特点,在基于视觉诱发电位的脑-机接口研究中具有明显优势。其缺点在于,瞬态范式要求多刺激目标按不同起始时刻作单一方向运动,运动具有方向特异性,易引发大脑运动后效应(Motion after-effect,MAF)。西安交通大学谢俊等人基于稳态运动视觉诱发电位(SSMVEP),设计了收缩-扩张的牛顿环,作为脑-机接口范式,获得了很好的辨识准确率。但牛顿环中央区域图案破坏了牛顿环在运动过程中保持亮度恒定这一性质,降低了谱峰信噪比,不利于减轻使用者的视觉疲劳。
考虑到SSVEP以及SSMVEP的局限性,以及人眼对等亮度的感知机能,即两种色彩在等亮度点处会出现融合,人眼对闪烁感知降到最低,本发明设计了等亮度彩色棋盘格刺激范式,目前还没有看到将运动视觉诱发电位和色彩刺激两种技术相结合的相关文献的公开。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法,将等亮度色彩元素加入到刺激范式中,旨在激活更多的脑区,提高信噪比,降低使用者视觉疲劳,提升脑-机接口的交互性能。
为了达到上述目的,本发明采取的技术方案为:
一种基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法,包括以下步骤:
1)等亮度彩色棋盘格刺激范式设计:
1.1)设计等亮度彩色棋盘格范式:
环形棋盘格将每一个圆环分割为大小、数目相等的格子,两种不同的颜色间隔排列,每个圆环明亮区域和暗区域面积是相等的,且环形棋盘格中央部分亮度值始终设置为背景亮度值,中心处设置半径为1像素的白点,保证使用者实验过程中视野与之重合,根据色彩空间理论,选用红绿作为彩色刺激范式,且红绿亮度值相同,总亮度值设为76cd/m2,环形棋盘格刺激范式生成公式为:
其中I为刺激范式图案像素值;sign(x)为符号函数;r(x,y)和ang(x,y)为刺激范式图案像素点(x,y)的半径和角度;D为棋盘格宽度,表征空间分辨率,这里设为10像素,棋盘格从内到外分割为8个圆环;φ(t)为棋盘格收缩-扩张的相位值函数;L为棋盘格运动幅度,取为10像素;M为单个圆环分割的格子数,设为12像素;I0为背景亮度,设为120像素;Rineer和Router分别为棋盘格内径与外径,设为3像素和80像素;
1.2)等亮度彩色棋盘格刺激范式运动实现:
采用正弦方式实现棋盘格的收缩-扩张运动,其中:
fc为运动频率,即棋盘格收缩-扩张一次所需时间的倒数;通过改变相位值函数φ(t)由0到π时,棋盘格收缩;相位值函数φ(t)由π到0时,棋盘格扩张;在一个周期中,发生两次运动方向的改变,运动放向改变的频率定义为运动反转频率f,为运动频率fc的2倍,采用运动反转频率作为视觉刺激的基频;
视觉刺激通过计算机屏幕呈现给使用者,图像是一帧一帧替换显示的,图像帧替换的频率称为屏幕刷新率fr,在生成帧图象时,式(2)中的时间t必须根据屏幕刷新率离散化,即t(n)=n/fr,其中n=1,2,3...为帧序号,式(2)改写为:
函数φ(n)变为离散的时间序列,为保证φ(n)为周期序列fr/fc必须为整数;令FC=fr/fc为一个收缩-扩张周期所需要的帧数,式(3)改写为:
此时,运动反转频率的计算公式为:
根据式(5)计算准确的运动反转频率f,根据式(4)计算离散化后的相位值函数φ(n);
2)搭建脑-机接口实验平台,采集与处理数据:
电极帽通过电极与脑电放大器和主动式电极系统连接,使用者头戴电极帽端坐于屏幕前,计算机通过显示屏扩展使屏幕上呈现数个刺激频率不同的等亮度彩色棋盘格刺激范式,使用者每次注视刺激单元中任意一个,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,经过放大、滤波与A/D转换后,将处理后的脑电信号输入计算机,将采集到的脑电信号利用典型相关分析进行特征提取及分类识别。
本发明与现有技术相比,具有以下优点:
1、基于稳态运动视觉诱发电位,将色彩、亮度、形状、运动等视觉信息融合设计的等亮度彩色环形棋盘格,可以激活更多的脑区,诱发更强的SSMVEP。
2、等亮度红绿棋盘格收缩-扩张过程中,由于人眼视觉暂留,色彩会出现融合,等亮度点处人眼对运动感知下降,反应时间延长,这样大大降低了使用者的视觉疲劳,提高了EEG信噪比,具有低闪烁,低适应性的特点。
3、等亮度色彩刺激的加入在低频段(15Hz以下)对大脑响应有显著的增强效应,对注视目标识别准确率也更高。不易引起使用者视觉疲劳及大脑响应信号的降低,适宜于长期使用的脑-机交互场合。
附图说明
图1为本发明的等亮度彩色棋盘格范式图案。
图2为本发明的等亮度彩色棋盘格范式收缩-扩张运动过程。
图3为本发明方法的示意图。
具体实施方式
下面结合附图对本发明作详细描述。
一种基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法,包括以下步骤:
1)等亮度彩色棋盘格刺激范式设计:
1.1)设计等亮度彩色棋盘格范式:
参照图1,环形棋盘格将每一个圆环分割为大小、数目相等的格子,两种不同的颜色间隔排列,每个圆环明亮区域和暗区域面积是相等的,且环形棋盘格中央部分亮度值始终设置为背景亮度值,这样保证了棋盘格收缩-扩张过程中平均亮度的恒定,中心处设置半径为1像素的白点,保证使用者实验过程中视野与之重合,色彩空间理论有黑白、红绿和蓝黄三对拮抗色作为彩色刺激,可以保证色彩的准确传输,其中黑白主要表征人眼对亮度的反应,蓝黄对鲁棒性较差,不容易调节亮度比,红绿呈现等亮度的图像,这里选用红绿作为彩色刺激范式,且红绿亮度值相同,总亮度值设为76cd/m2,环形棋盘格刺激范式图案生成公式为:
其中I为刺激范式图案像素值;sign(x)为符号函数;r(x,y)和ang(x,y)为刺激范式图案像素点(x,y)的半径和角度;D为棋盘格宽度,表征空间分辨率,这里设为10像素,棋盘格从内到外分割为8个圆环;φ(t)为棋盘格收缩-扩张的相位值函数;L为棋盘格运动幅度,取为10像素;M为单个圆环分割的格子数,设为12像素;I0为背景亮度,设为120像素;Rineer和Router分别为棋盘格内径与外径,设为3像素和80像素;
1.2)等亮度彩色棋盘格运动实现:
采用正弦方式实现棋盘格的收缩-扩张运动,其中:
fc为运动频率,即棋盘格收缩-扩张一次所需时间的倒数;通过改变相位值函数φ(t)由0到π时,棋盘格收缩,相位值函数φ(t)由π到0时,棋盘格扩张,参照图2,在一个周期中,发生两次运动方向的改变,运动放向改变的频率定义为运动反转频率f,为运动频率fc的2倍;由于SSMVEP主要来源于方向改变激发的大脑活动,能量主要集中在运动反转频率上,因此,采用运动反转频率作为视觉刺激的基频;
视觉刺激是通过计算机屏幕呈现给使用者,图像是一帧一帧替换显示的,图像帧替换的频率称为屏幕刷新率fr,在生成帧图象时,式(2)中的时间t必须根据屏幕刷新率离散化,即t(n)=n/fr,其中n=1,2,3...为帧序号,式(2)改写为:
函数φ(n)成为离散的时间序列,为保证φ(n)为周期序列,fr/fc必须为整数;令FC=fr/fc为一个收缩-扩张周期所需要的帧数,式(3)改写为:
此时,运动反转频率的计算公式为:
实际应用中要选择合适的FC,可以根据式(5)计算准确的运动反转频率f,根据式(4)计算离散化后的相位值函数φ(n),相比于传统棋盘格的翻转模式,收缩-扩张模式更加符合人眼视觉系统对运动的感知,大脑的响应效果更好;
2)搭建脑-机接口,采集与处理数据:
电极帽通过电极与脑电放大器和主动式电极系统连接,参照图3,使用者头戴电极帽端坐于屏幕前,计算机通过显示屏扩展使屏幕上进行数个刺激频率不同的等亮度彩色棋盘格刺激范式的刺激呈现,使用者每次注视刺激单元中任意一个,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,经过放大、滤波与A/D转换后,将处理后的脑电信号输入计算机,采集到的脑电信号利用用典型相关分析进行特征提取及分类识别。

Claims (1)

1.一种基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法,其特征在于,包括以下步骤:
1)等亮度彩色棋盘格刺激范式设计:
1.1)设计等亮度彩色棋盘格范式:
环形棋盘格将每一个圆环分割为大小、数目相等的格子,两种不同的颜色间隔排列,每个圆环明亮区域和暗区域面积是相等的,且环形棋盘格中央部分亮度值始终设置为背景亮度值,中心处设置半径为1像素的白点,保证使用者实验过程中视野与之重合,色彩空间选用红绿作为彩色刺激范式,且红绿亮度值相同,总亮度值设为76cd/m2,环形棋盘格刺激范式生成公式为:
其中:I为刺激范式图案像素值;sign(x)为符号函数;r(x,y)和ang(x,y)为刺激范式图案像素点(x,y)的半径和角度;D为棋盘格宽度,表征空间分辨率,这里设为10像素,棋盘格从内到外分割为8个圆环;φ(t)为棋盘格收缩-扩张的相位值函数;L为棋盘格运动幅度,取为10像素;M为单个圆环分割的格子数,设为12像素;I0为背景亮度,设为120像素;Rineer和Router分别为棋盘格内径与外径,设为3像素和80像素;
1.2)等亮度彩色棋盘格刺激范式运动实现:
采用正弦方式实现棋盘格的收缩-扩张运动,其中:
fc为运动频率,即棋盘格收缩-扩张一次所需时间的倒数;通过改变相位值函数φ(t)由0到π时,棋盘格收缩;相位值函数φ(t)由π到0时,棋盘格扩张;在一个周期中,发生两次运动方向的改变,运动方向改变的频率定义为运动反转频率f,为运动频率fc的2倍,采用运动反转频率作为视觉刺激的基频;
视觉刺激是通过计算机屏幕呈现给使用者,图像是一帧一帧替换显示的,图像帧替换的频率称为屏幕刷新率fr,在生成帧图象时,式(2)中的时间t必须根据屏幕刷新率离散化,即t(n)=n/fr,其中n=1,2,3…为帧序号,式(2)改写为:
函数φ(n)变为离散的时间序列,为保证φ(n)为周期序列,fr/fc必须为整数;令FC=fr/fc为一个收缩-扩张周期所需要的帧数,式(3)改写为:
此时,运动反转频率的计算公式为:
根据式(5)计算准确的运动反转频率f,根据式(4)计算离散化后的相位值函数φ(n);
2)搭建脑-机接口实验平台,采集与处理数据:
电极帽通过电极与脑电放大器和主动式电极系统连接,使用者头戴电极帽端坐于屏幕前,计算机通过显示屏扩展使屏幕上呈现数个刺激频率不同的等亮度彩色棋盘格刺激范式,使用者每次注视刺激单元中任意一个,通过脑电采集设备采集使用者注视刺激图案时产生的脑电信号,经过放大、滤波与A/D转换后,将处理后的脑电信号输入计算机,将采集到的脑电信号利用典型相关分析进行特征提取及分类识别。
CN201610529609.7A 2016-07-05 2016-07-05 基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法 Active CN106155323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610529609.7A CN106155323B (zh) 2016-07-05 2016-07-05 基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610529609.7A CN106155323B (zh) 2016-07-05 2016-07-05 基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法

Publications (2)

Publication Number Publication Date
CN106155323A CN106155323A (zh) 2016-11-23
CN106155323B true CN106155323B (zh) 2018-10-19

Family

ID=58062014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610529609.7A Active CN106155323B (zh) 2016-07-05 2016-07-05 基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法

Country Status (1)

Country Link
CN (1) CN106155323B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122050B (zh) * 2017-04-26 2019-05-21 西安交通大学 基于csfl-gdbn的稳态运动视觉诱发电位脑-机接口方法
CN107296586A (zh) * 2017-06-20 2017-10-27 黄涌 视觉误差检测设备/方法及基于该设备的书写系统/方法
CN108304069B (zh) * 2018-01-31 2019-10-18 京东方科技集团股份有限公司 基于脑电信号的图像处理方法及系统
CN108803873B (zh) * 2018-05-22 2020-03-24 西安交通大学 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法
CN108919947B (zh) * 2018-06-20 2021-01-29 北京航空航天大学 一种通过视觉诱发电位来实现的脑机接口系统及方法
CN109116988B (zh) * 2018-08-14 2020-03-31 西安交通大学 基于错觉运动感知的稳态诱发电位脑-机接口方法
CN111506193A (zh) * 2020-04-15 2020-08-07 西安交通大学 基于现场可编程门阵列局部噪声优化的视觉脑机接口方法
CN111631848B (zh) * 2020-05-31 2023-05-05 天津大学 基于脑机混合智能的意念控制假肢系统
CN113349803B (zh) * 2021-06-30 2022-09-13 杭州回车电子科技有限公司 稳态视觉诱发电位诱发方法、装置、电子装置和存储介质
CN113360876A (zh) * 2021-06-30 2021-09-07 杭州回车电子科技有限公司 基于ssvep的身份识别方法、装置、电子装置和存储介质
CN113515195A (zh) * 2021-06-30 2021-10-19 杭州回车电子科技有限公司 基于ssvep的脑机交互方法、装置、电子装置和存储介质
CN114356085B (zh) * 2021-12-27 2024-05-03 西安理工大学 基于动态语义目标闪烁与径向棋盘格运动的视觉诱发脑控方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887307A (zh) * 2010-06-03 2010-11-17 西安交通大学 一种多频率时序组合的稳态视觉诱发电位脑-机接口方法
CN102436302A (zh) * 2011-09-02 2012-05-02 西安交通大学 基于幅值调制视觉诱发电位脑-机接口方法
CN102722244A (zh) * 2012-05-25 2012-10-10 西安交通大学 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法
CN103019383A (zh) * 2012-12-18 2013-04-03 北京大学 一种稳态视觉诱发电位脑—机接口信号识别方法
CN103472922A (zh) * 2013-09-23 2013-12-25 北京理工大学 一种基于p300与ssvep混合式脑机接口的目的地选择系统
CN104965584A (zh) * 2015-05-19 2015-10-07 西安交通大学 基于ssvep与osp的混合脑-机接口方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887307A (zh) * 2010-06-03 2010-11-17 西安交通大学 一种多频率时序组合的稳态视觉诱发电位脑-机接口方法
CN102436302A (zh) * 2011-09-02 2012-05-02 西安交通大学 基于幅值调制视觉诱发电位脑-机接口方法
CN102722244A (zh) * 2012-05-25 2012-10-10 西安交通大学 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法
CN103019383A (zh) * 2012-12-18 2013-04-03 北京大学 一种稳态视觉诱发电位脑—机接口信号识别方法
CN103472922A (zh) * 2013-09-23 2013-12-25 北京理工大学 一种基于p300与ssvep混合式脑机接口的目的地选择系统
CN104965584A (zh) * 2015-05-19 2015-10-07 西安交通大学 基于ssvep与osp的混合脑-机接口方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于稳态视觉诱发电位的脑机制及脑—机接口研究;张杨松;《中国博士学位论文全文数据库信息科技辑》;20140531;I137-5 *

Also Published As

Publication number Publication date
CN106155323A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN106155323B (zh) 基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法
Chang et al. Eliciting dual-frequency SSVEP using a hybrid SSVEP-P300 BCI
Jochumsen et al. Detection and classification of movement-related cortical potentials associated with task force and speed
Hwang et al. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain–computer interface (BCI)
Guo et al. A brain–computer interface using motion-onset visual evoked potential
Bi et al. The effect of crowding on orientation-selective adaptation in human early visual cortex
US10155121B2 (en) Stimuli generating methods, devices and control systems to induce visual evoked potentials using imperceptible flickering multi-color lights
CN108803873B (zh) 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法
Wolfe et al. Foveal input is not required for perception of crowd facial expression
Beck et al. Stimulus similarity modulates competitive interactions in human visual cortex
Cao et al. A high rate online SSVEP based brain-computer interface speller
CN105868562A (zh) 基于稳态视觉诱发电位调制的神经工效增强方法和装置
Zhang et al. A new SSVEP-based BCI utilizing frequency and space to encode visual targets
Hasan et al. A direct noninvasive brain interface with computer based on steady-state visual-evoked potential (SSVEP) with high transfer rates
CN109116988B (zh) 基于错觉运动感知的稳态诱发电位脑-机接口方法
Aljshamee et al. Beyond pure frequency and phases exploiting: Color influence in ssvep based on bci
CN106468952B (zh) 基于旋转视觉感知的稳态运动诱发电位脑-机接口方法
CN106155329B (zh) 基于往复摆动视觉感知的稳态诱发电位脑-机接口方法
Xiao et al. Feature-based attention is independent of object appearance
Azom et al. Design and implementation of a user independent SSVEP based brain-computer interface with high transfer rates
Thunell et al. Retinotopic encoding of the Ternus-Pikler display reflected in the early visual areas
Karimi et al. Study on novel designs with reduced fatigue for steady state motion visual evoked potentials
Wang et al. A new brain-computer interface paradigm based on steady-state visual evoked potential of illusory pattern motion perception
Zhang et al. An independent brain-computer interface based on covert shifts of non-spatial visual attention
Aminaka et al. Eeg filtering optimization for code–modulated chromatic visual evoked potential–based brain–computer interface

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant