CN109116988A - 基于错觉运动感知的稳态诱发电位脑-机接口方法 - Google Patents
基于错觉运动感知的稳态诱发电位脑-机接口方法 Download PDFInfo
- Publication number
- CN109116988A CN109116988A CN201810922050.3A CN201810922050A CN109116988A CN 109116988 A CN109116988 A CN 109116988A CN 201810922050 A CN201810922050 A CN 201810922050A CN 109116988 A CN109116988 A CN 109116988A
- Authority
- CN
- China
- Prior art keywords
- frequency
- normal form
- brain
- motion
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种基于错觉运动感知的稳态诱发电位脑‑机接口方法,先进行图形交替错觉范式纹理设计,选用亮度渐变、大小渐变的箭头形状作为发射错觉运动图形纹理的基本结构,对原图放大形成扩张帧图案,原图则作为收缩帧图案;选用标准正蓝色作为纹理背景色,箭头设计为黑白交替呈现,另在圆心处设置黑点作为视觉引导中心,形成交替过程中的收缩‑扩张运动反转;然后搭建脑机接口实验平台,再进行范式呈现与识别,计算机通过屏幕显示注视频率,实现对使用者的视觉反馈,完成一次目标识别,再重复下一次目标任务识别;本发明以最少图片数即双帧图片交替,呈现视觉运动刺激效果,有效诱发稳态视觉脑电信号,可适用于虚拟现实系统等应用场景。
Description
技术领域
本发明涉及生物医学工程及脑-机接口技术领域,具体涉及一种基于错觉运动感知的稳态诱发电位脑-机接口方法。
背景技术
脑-机接口是一种不依赖于人的神经肌肉通路,实现大脑和外部设备通信的技术,常见的实现方式有稳态视觉诱发电位、事件相关同步/去同步、运动想象等方法。相较而言,稳态视觉诱发脑电技术具有抗干扰能力强、信息传输率高、无需训练等优点,因而在脑机接口技术领域最具有实用意义。如清华大学高上凯教授课题组研发的联合频率-相位调制的视觉诱发脑机接口方法,提升了脑机接口系统的信息传输率;西安交通大学徐光华教授课题组研发的基于牛顿环、环形棋盘的稳态运动视觉诱发脑机接口技术,有效降低了刺激强度、减轻视觉疲劳,提高了系统准确率。
传统模式翻转视觉诱发脑电范式(SSVEP)具有易疲劳、刺激强度大等缺点,稳态运动视觉诱发脑电刺激(SSMVEP)如径向收缩-扩张的牛顿环、环形棋盘格刺激范式,相较于传统的模式翻转视觉诱发电位(SSVEP)具有更好的舒适性,不易疲劳,且SSMVEP诱发电位的高次谐波成分显著降低,远远小于基频成分。因此SSMVEP设计范式中所用的频率范围不需要考虑某一刺激频率与其他刺激频率重合,扩展了范式的可选频率段,降低了辨识的假阳性率,具有更加优异的性能。
但现有技术以提升信息传输率、增加分类目标数为主,忽略了脑-机接口系统应用场景及控制对象。例如,在虚拟现实系统应用中,稳态运动视觉诱发范式至少需使用4帧图片呈现一个周期的运动反转过程,且场景刷新帧率必须为范式帧数的整周期倍,这样就会造成范式频率选择范围明显受限。同时,单位时间刷新图片张数越多,单张图片呈现时间就越短,会造成视觉闪烁感比运动感更为明显,无法体现运动范式的优越性,也影响了范式识别的准确率。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种基于错觉运动感知的稳态诱发电位脑-机接口方法,以最少图片数即双帧图片交替,呈现视觉运动刺激效果,有效诱发稳态视觉脑电信号,可适用于虚拟现实系统等应用场景。
为了达到上述目的,本发明采取的技术方案为:
一种基于错觉运动感知的稳态诱发电位脑-机接口方法,包括以下步骤:
1)图形交替错觉范式纹理设计:
选用亮度渐变、大小渐变的箭头形状作为发射错觉运动图形纹理的基本结构,对原图放大形成扩张帧图案,原图则作为收缩帧图案;选用标准正蓝色作为纹理背景色,箭头设计为黑白交替呈现,另在圆心处设置黑点作为视觉引导中心,形成交替过程中的收缩-扩张运动反转;
将运动方向改变的频率定义为运动反转频率f,交替错觉运动范式采用运动反转频率f作为视觉诱发电位的基频,并建立相应的运动控制模型:
其相位调制函数为:
式中:反映范式收缩-扩张运动特征;
FC为一个运动周期所需帧数;
n为帧数变量;
运动反转频率为:
式中:
f为运动反转频率;
fr为设定的图片刷新帧率;
Fc为一个运动周期所需帧数;
运动反转频率f与屏幕刷新率fs关系:
式中:
f为运动反转频率;
fr为设定的图片刷新帧率;
fs为屏幕刷新率;
n为帧数变量。
2)搭建脑机接口实验平台:
将脑电帽戴在使用者头上,取后脑枕叶区PO3、POz、PO4、O1、Oz、O2为测量电极,前额为接地电极,单侧耳垂放置参考电极,给各电极注入导电膏,确保电极连接正常,与头皮接触良好,脑电帽通过放大器与计算机相连,对采集信号进行在线处理,使用者坐于电脑前,头部距离计算机屏幕70-80cm;
3)范式呈现与识别:
范式呈现设备采用LED计算机显示屏,通过MATLAB软件PSYCHTOOLBOX工具箱交替刷新错觉刺激范式收缩帧与扩张帧,图片刷新频率即为脑电诱发频率,电极测得的脑电信号经放大和模数转换后送往计算机,通过典型相关分析算法进行信号特征提取及分类识别;
4)根据计算得到的最大相关系数值,将其对应频率所属的错觉图形范式刺激判定为使用者所注视的目标,计算机通过屏幕显示注视频率,实现对使用者的视觉反馈,完成一次目标识别;
5)返回步骤3),重复步骤3)和步骤4),进行下一次目标任务识别。
本发明的有益效果为:(1)以双帧错觉图形交替呈现运动翻转效果,有效减轻视觉疲劳,可实现将稳态视觉诱发脑机接口范式应用于虚拟现实等多种场景控制;(2)图形交替翻转呈现运动刺激效果,所诱发的稳态视觉电位谐波成分较少,增加了范式可选频率数;(3)范式包含亮度、形状、纹理运动等更多的视觉信息,使得视觉诱发关联脑区激活程度更大。
附图说明
图1为本发明实施例范式设计纹理基本结构图,其中图(a)为发射错觉基本纹理结构;图(b)为错觉纹理排布规律。
图2为本发明实施例范式收缩帧-扩张帧交替错觉运动过程示意图。
图3为本发明实施例7Hz、9Hz、11Hz、13Hz、15Hz频率范式刺激下脑电响应信号频率典型相关系数图。
图4为本发明实施例13Hz范式频率刺激下15次实验的稳态视觉诱发电位信号指数衰减拟合曲线图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细说明。
一种基于错觉运动感知的稳态诱发电位脑-机接口方法,包括以下步骤:
1)图形交替错觉范式纹理设计:
错觉运动刺激范式设计采用了周边漂移错觉图形的基本设计原理,即阶梯式的亮度变化和线段边缘断层可形成似动错觉感知,因此设计了亮度渐变、大小渐变的箭头形状作为发射错觉运动图形纹理的基本结构,其中箭头亮度由外向内在中间层以20%递减,直至中心虚化,大小由外向内以10%比例逐渐缩小,直至中心虚化,如图1(a)所示,相邻箭头间以15度等距分布,如图1(b)所示;为使双帧交替过程形成明显的收缩-扩张反转运动,对原图进行1.5倍放大,形成扩张帧图案,原图则作为收缩帧图案,如图2所示;
颜色选择方面,人眼对蓝光刺激最为敏感,并与刺激强度呈正相关,因此选用标准正蓝色作为纹理背景色,又因为黑白色为亮度对比最强烈一组拮抗色,因此箭头设计为黑白交替呈现,除此外,在圆心处设置半径为2像素的黑点作为视觉引导中心。通过这些措施,使整个图形纹理亮度刺激最为强烈,且有效形成交替过程中的收缩-扩张运动反转,增强运动感知的连贯性,使翻转视觉刺激范式兼具运动刺激范式效果。
因范式在一个交替收缩-扩张运动周期中,发生了两次运动方向的改变,故将运动方向改变的频率定义为运动反转频率f,由于视觉运动刺激主要来源于方向改变所激发的大脑活动,其能量主要集中在运动反转频率上,因此交替错觉运动范式同样采用反转频率f作为视觉诱发电位的基频,并建立相应的运动控制模型:
其相位调制函数为:
式中:反映范式收缩-扩张运动特征;
FC为一个运动周期所需帧数;
n为帧数变量。
运动反转频率为:
式中:
f为运动反转频率;
fr为设定的图片刷新帧率;
Fc为一个运动周期所需帧数。
运动反转频率f与屏幕刷新率fs关系:
式中:
f为运动反转频率;
fr为设定的图片刷新帧率;
fs为屏幕刷新率;
n为帧数变量。
2)搭建脑机接口实验平台:
将脑电帽戴在使用者头上,取后脑枕叶区PO3、POz、PO4、O1、Oz、O2为测量电极,前额为接地电极,单侧耳垂放置参考电极,给各电极注入导电膏,确保电极连接正常,与头皮接触良好,脑电帽通过放大器与计算机相连,对采集信号进行在线处理,使用者坐于电脑前,头部距离计算机屏幕75cm;
3)范式呈现与识别:
范式呈现设备采用LED液晶显示屏,通过MATLAB软件PSYCHTOOLBOX工具箱交替刷新错觉刺激范式收缩帧与扩张帧,图片刷新频率即为脑电诱发频率,电极测得的脑电信号经放大和模数转换后送往计算机,通过典型相关分析算法进行信号特征提取及分类识别;
4)根据计算得到的最大相关系数值,将其对应频率所属的错觉图形范式刺激判定为使用者所注视的目标,计算机通过屏幕显示注视频率,实现对使用者的视觉反馈,完成一次目标识别;
5)返回步骤3),重复步骤3)和步骤4),进行下一次目标任务识别。
本实施例对被试S1进行了实验,实验过程中同步记录并实时显示脑电信号,以便在实验中检查使用者状态,防止使用者产生眨眼、体动等动作,保证脑电信号的数据质量,使用者头部距离计算机屏幕75cm;将图形交替错觉运动刺激范式以7、9、11、13、15Hz频率显示,并将采集信号发给计算机,采用典型相关分析方法识别处理结果如图3所示;
实验共进行3轮,每轮5个频率各进行5次实验,单次实验刺激时间为5S,该被试在13Hz刺激频率下15次实验诱发大脑稳态视觉电位信号的指数衰减拟合曲线如图4所示,从图中可以看出该使用者的大脑响应信号在15次实验过程中没有明显的下降趋势,指数衰减曲线近似为直线形式,表明该技术能够较好地避免单一方向运动及单一闪烁方式引发的神经适应性及大脑响应信号的降低,更加适宜于长期使用的脑-机交互场合,有着较好的抗疲劳性和大脑适应性。
Claims (1)
1.一种基于错觉运动感知的稳态诱发电位脑-机接口方法,其特征在于,包括以下步骤:
1)图形交替错觉范式纹理设计:
选用亮度渐变、大小渐变的箭头形状作为发射错觉运动图形纹理的基本结构,对原图进行放大形成扩张帧图案,原图则作为收缩帧图案;选用标准正蓝色作为纹理背景色,箭头设计为黑白交替呈现,另在圆心处设置黑点作为视觉引导中心,形成交替过程中的收缩-扩张运动反转;
将运动方向改变的频率定义为运动反转频率f,交替错觉运动范式采用运动反转频率f作为视觉诱发电位的基频,并建立相应的运动控制模型:
其相位调制函数为:
式中:反映范式收缩-扩张运动特征;
FC为一个运动周期所需帧数;
n为帧数变量;
运动反转频率为:
式中:
f为运动反转频率;
fr为设定的图片刷新帧率;
Fc为一个运动周期所需帧数;
运动反转频率f与屏幕刷新率fs关系:
式中:
f为运动反转频率;
fr为设定的图片刷新帧率;
fs为屏幕刷新率;
2)搭建脑机接口实验平台:
将脑电帽戴在使用者头上,取后脑枕叶区PO3、POz、PO4、O1、Oz、O2为测量电极,前额为接地电极,单侧耳垂放置参考电极,给各电极注入导电膏,确保电极连接正常,与头皮接触良好,脑电帽通过放大器与计算机相连,对采集信号进行在线处理,使用者坐于电脑前,头部距离计算机屏幕70-80cm;
3)范式呈现与识别:
范式呈现设备采用LED液晶显示屏,通过MATLAB软件PSYCHTOOLBOX工具箱交替刷新错觉刺激范式收缩帧与扩张帧,图片刷新频率即为脑电诱发频率,电极测得的脑电信号经放大和模数转换后送往计算机,通过典型相关分析算法进行信号特征提取及分类识别;
4)根据计算得到的最大相关系数值,将其对应频率所属的错觉图形范式刺激判定为使用者所注视的目标,计算机通过屏幕显示注视频率,实现对使用者的视觉反馈,完成一次目标识别;
5)返回步骤3),重复步骤3)和步骤4),进行下一次目标任务识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810922050.3A CN109116988B (zh) | 2018-08-14 | 2018-08-14 | 基于错觉运动感知的稳态诱发电位脑-机接口方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810922050.3A CN109116988B (zh) | 2018-08-14 | 2018-08-14 | 基于错觉运动感知的稳态诱发电位脑-机接口方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109116988A true CN109116988A (zh) | 2019-01-01 |
CN109116988B CN109116988B (zh) | 2020-03-31 |
Family
ID=64853257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810922050.3A Active CN109116988B (zh) | 2018-08-14 | 2018-08-14 | 基于错觉运动感知的稳态诱发电位脑-机接口方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109116988B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113515195A (zh) * | 2021-06-30 | 2021-10-19 | 杭州回车电子科技有限公司 | 基于ssvep的脑机交互方法、装置、电子装置和存储介质 |
CN114081510A (zh) * | 2021-11-22 | 2022-02-25 | 西安交通大学 | 基于应激运动-视觉多源刺激的运动想象脑机接口方法 |
CN114431867A (zh) * | 2020-11-02 | 2022-05-06 | 北京机械设备研究所 | 一种脑电采集装置、脑电目标识别方法和装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102722244A (zh) * | 2012-05-25 | 2012-10-10 | 西安交通大学 | 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法 |
US20130080753A1 (en) * | 2007-05-04 | 2013-03-28 | Nokia Corporation | Method for Configuring an Electronic Device |
CN104398325A (zh) * | 2014-11-05 | 2015-03-11 | 西安交通大学 | 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法 |
WO2015175803A1 (en) * | 2014-05-14 | 2015-11-19 | Bio Health Frontiers, Incorporated | Electrical neuromodulation stimulation system and method for treating urinary incontinence |
CN106155323A (zh) * | 2016-07-05 | 2016-11-23 | 西安交通大学 | 基于等亮度色彩强化的稳态运动诱发电位脑‑机接口方法 |
CN106468953A (zh) * | 2016-09-06 | 2017-03-01 | 西安交通大学 | 螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法 |
CN106468952A (zh) * | 2016-09-06 | 2017-03-01 | 西安交通大学 | 基于旋转视觉感知的稳态运动诱发电位脑‑机接口方法 |
US20170135597A1 (en) * | 2010-06-04 | 2017-05-18 | Interaxon Inc. | Brainwave actuated apparatus |
CN106951064A (zh) * | 2016-11-22 | 2017-07-14 | 西安交通大学 | 引入对象连续动作的稳态视觉诱发范式设计及辨识方法 |
US20170347937A1 (en) * | 2016-06-06 | 2017-12-07 | S Square Detect Medical Devices | Neuro attack prevention system, method, and apparatus |
US20180089531A1 (en) * | 2015-06-03 | 2018-03-29 | Innereye Ltd. | Image classification by brain computer interface |
-
2018
- 2018-08-14 CN CN201810922050.3A patent/CN109116988B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130080753A1 (en) * | 2007-05-04 | 2013-03-28 | Nokia Corporation | Method for Configuring an Electronic Device |
US20170135597A1 (en) * | 2010-06-04 | 2017-05-18 | Interaxon Inc. | Brainwave actuated apparatus |
CN102722244A (zh) * | 2012-05-25 | 2012-10-10 | 西安交通大学 | 基于运动翻转视觉感知的稳态诱发电位脑-机接口方法 |
WO2015175803A1 (en) * | 2014-05-14 | 2015-11-19 | Bio Health Frontiers, Incorporated | Electrical neuromodulation stimulation system and method for treating urinary incontinence |
CN104398325A (zh) * | 2014-11-05 | 2015-03-11 | 西安交通大学 | 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法 |
US20180089531A1 (en) * | 2015-06-03 | 2018-03-29 | Innereye Ltd. | Image classification by brain computer interface |
US20170347937A1 (en) * | 2016-06-06 | 2017-12-07 | S Square Detect Medical Devices | Neuro attack prevention system, method, and apparatus |
CN106155323A (zh) * | 2016-07-05 | 2016-11-23 | 西安交通大学 | 基于等亮度色彩强化的稳态运动诱发电位脑‑机接口方法 |
CN106468953A (zh) * | 2016-09-06 | 2017-03-01 | 西安交通大学 | 螺旋运动视觉感知的稳态运动诱发电位脑‑机接口方法 |
CN106468952A (zh) * | 2016-09-06 | 2017-03-01 | 西安交通大学 | 基于旋转视觉感知的稳态运动诱发电位脑‑机接口方法 |
CN106951064A (zh) * | 2016-11-22 | 2017-07-14 | 西安交通大学 | 引入对象连续动作的稳态视觉诱发范式设计及辨识方法 |
Non-Patent Citations (3)
Title |
---|
MARYAM ALIMARDANI等: ""The effect of feedback presentation on motor imagery performance during BCI-teleoperation of a humanlike robot"", 《PUBLISHED IN: 5TH IEEE RAS/EMBS INTERNATIONAL CONFERENCE ON BIOMEDICAL ROBOTICS AND BIOMECHATRONICS》 * |
WENQIANG YAN,GUANGHUA XU等: ""Four Novel Motion Paradigms Based onSteady-State Motion Visual Evoked Potential"", 《PUBLISHED IN: IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 * |
徐光华等: ""稳态视觉诱发电位的脑机接口范式及其信号处理方法研究"", 《西安交通大学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114431867A (zh) * | 2020-11-02 | 2022-05-06 | 北京机械设备研究所 | 一种脑电采集装置、脑电目标识别方法和装置 |
CN114431867B (zh) * | 2020-11-02 | 2024-05-10 | 北京机械设备研究所 | 一种脑电采集装置、脑电目标识别方法和装置 |
CN113515195A (zh) * | 2021-06-30 | 2021-10-19 | 杭州回车电子科技有限公司 | 基于ssvep的脑机交互方法、装置、电子装置和存储介质 |
CN114081510A (zh) * | 2021-11-22 | 2022-02-25 | 西安交通大学 | 基于应激运动-视觉多源刺激的运动想象脑机接口方法 |
CN114081510B (zh) * | 2021-11-22 | 2024-07-23 | 西安交通大学 | 基于应激运动-视觉多源刺激的运动想象脑机接口方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109116988B (zh) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230043749A1 (en) | Brain-computer interface for user's visual focus detection | |
Zhu et al. | A survey of stimulation methods used in SSVEP‐based BCIs | |
CN108803873B (zh) | 一种基于高刷新率呈现的运动视觉诱发电位脑机接口方法 | |
CN106155323B (zh) | 基于等亮度色彩强化的稳态运动诱发电位脑-机接口方法 | |
Blake et al. | Visual competition | |
Liu et al. | Implementation of SSVEP based BCI with Emotiv EPOC | |
CN109116988A (zh) | 基于错觉运动感知的稳态诱发电位脑-机接口方法 | |
CN103970273B (zh) | 基于随机共振增强的稳态运动视觉诱发电位脑机接口方法 | |
CN103092340B (zh) | 一种脑-机接口视觉刺激方法及信号识别方法 | |
CN110413116B (zh) | 一种基于fpga的稳态视觉诱发电位脑-机接口系统设计方法 | |
CN112882567B (zh) | 人机交互方法、人机交互装置及存储介质 | |
CN104536573A (zh) | 一种基于高频闪烁情感刺激的脑-机接口方法 | |
CN111506193A (zh) | 基于现场可编程门阵列局部噪声优化的视觉脑机接口方法 | |
CN102654793A (zh) | 基于双模校验机制的脑电驱动高可靠操控系统 | |
CN108469896A (zh) | 一种基于非对称脑电特征的脑-机接口混合编码范式方法 | |
CN113053492A (zh) | 基于用户背景和情绪的自适应虚拟现实干预系统及方法 | |
CN108319367B (zh) | 一种基于运动起始诱发电位的脑机接口方法 | |
CN113101021A (zh) | 基于mi-ssvep混合式脑机接口的机械臂控制方法 | |
Aljshamee et al. | Beyond pure frequency and phases exploiting: Color influence in ssvep based on bci | |
CN106468952B (zh) | 基于旋转视觉感知的稳态运动诱发电位脑-机接口方法 | |
CN103440039B (zh) | 基于状态反馈的脑机通讯速率自适应控制方法 | |
CN106155329B (zh) | 基于往复摆动视觉感知的稳态诱发电位脑-机接口方法 | |
CN106468953B (zh) | 螺旋运动视觉感知的稳态运动诱发电位脑-机接口方法 | |
CN106055109B (zh) | 一种基于体感电刺激的脑机接口刺激序列生成方法 | |
Wang et al. | A new brain-computer interface paradigm based on steady-state visual evoked potential of illusory pattern motion perception |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |