CN107656612B - 基于p300-ssvep的大指令集脑-机接口方法 - Google Patents

基于p300-ssvep的大指令集脑-机接口方法 Download PDF

Info

Publication number
CN107656612B
CN107656612B CN201710794217.8A CN201710794217A CN107656612B CN 107656612 B CN107656612 B CN 107656612B CN 201710794217 A CN201710794217 A CN 201710794217A CN 107656612 B CN107656612 B CN 107656612B
Authority
CN
China
Prior art keywords
ssvep
brain
computer interface
computer
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710794217.8A
Other languages
English (en)
Other versions
CN107656612A (zh
Inventor
明东
韩锦
许敏鹏
肖晓琳
张力新
何峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710794217.8A priority Critical patent/CN107656612B/zh
Publication of CN107656612A publication Critical patent/CN107656612A/zh
Application granted granted Critical
Publication of CN107656612B publication Critical patent/CN107656612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及脑‑机接口，为提出一种混合脑‑机接口新范式，能同时诱发SSVEP信号和P300信号，并且首次提出了108个指令集的诱发策略，达到了提高指令集和高信息传输率的目的。这种大指令集，高信息传输率的脑‑机接口系统，有望获得可观的社会效益和经济效益。为此，本发明，基于P300‑SSVEP的大指令集脑‑机接口方法，步骤包括：搭建实验平台，平台具体包括脑电电极和脑电放大器以及计算机，设计新范式进行刺激，采集P300、SSVEP数据，在计算机中进行数据处理，并输出分类正确率，最后计算信息传输速率，其中数据处理阶段是通过逐步线性判别分析和典型关联分析法进行识别分类。本发明主要应用于脑‑机接口场合。

Description

基于P300-SSVEP的大指令集脑-机接口方法
技术领域
本发明涉及脑-机接口，具体讲,涉及基于P300-SSVEP的大指令集脑-机接口方法。
背景技术
脑-机接口(Brain-Computer Interface,BCI)是一种不依赖于由外围神经和肌肉组成的正常输出通路的交流通讯系统。它能识别特定的大脑信号模式，其中包括连续的五个阶段：信号采集、预处理(或信号增强)、特征提取、分类接口控制。
信号采集阶段捕捉到大脑信号并进行信号降噪和硬件处理。预处理阶段为后续处理准备适当形式的信号。特征提取阶段是标识被提取出来的大脑信号中的信息，映射到一个包含有效判别功能的特征向量，这是一项非常具有挑战性的任务，一方面，信号可能由于肌电和眼电的干扰而失真；另一方面，为了减少特征提取阶段的复杂性，须尽量降低特征向量的维度，但同时要保证重要信息没有损失。所以，为了解码用户的意图，选择易于区分的特征是实现有效分类识别的关键。分类接口控制是对特征向量进行识别，并对外部设备进行控制。对基于脑电(electroencephalography，EEG)的BCI系统而言，便捷高效的脑电诱发范式是决定其能否实际应用的初步关键，信息识别正确率(Classification Accuracy,CA)和信息传输速率(Information Transfer Rate,ITR)是评价BCI系统性能的主要指标。
当以一个恒定频率(通常大于6Hz)对人眼进行不断刺激时，这种剌激会调制大脑视皮层的脑电信号，产生的这种脑电响应称稳态视觉诱发电位(Steady-State VisualEvoked Potential,SSVEP)。P300信号一般是由经典Oddball范式诱发，即有两种很大差别的概率刺激以随机的形式施加于同一感觉通道上，小概率事件发生时，脑电信号在刺激呈现后的300ms(即毫秒)出现的正向峰值，称为P300。基于SSVEP的脑-机接口系统具有响应时间短，识别率高的特点，但由于可选择的频率较少，存在指令集有限的缺点；相对的，基于P300信号的脑-机接口系统，存在指令集有限，识别速度慢的缺点。近几年，融合两种及两种以上脑电信号的混合范式脑-机接口(Hybrid Brain-Computer Interface,HBCI)成为了研究热点，如SSVEP与P300信号，事件相关去同步(Event Related Desynchronization,ERD)信号与SSVEP信号等，它相对单模态的BCI具有识别正确率高，信息传输率大等特点。
近几年，脑-机接口在改进特征识别算法和实现高信息传输率方面，实现了飞速发展，但也存在一些局限性的问题，如指令集的扩大导致信息传输率的降低，这种矛盾关系的存在，大大限制了脑-机接口的发展步伐，所以对于大指令集、高信息传输率的脑-机接口系统的研究急需突破瓶颈和进一步探索。
发明内容
为克服现有技术的不足，本发明旨在提出一种混合脑-机接口新范式，能同时诱发SSVEP信号和P300信号，并且首次提出了108个指令集的诱发策略，达到了提高指令集和高信息传输率的目的。这种大指令集，高信息传输率的脑-机接口系统，有望获得可观的社会效益和经济效益。为此，本发明采用的技术方案是，基于P300-SSVEP的大指令集脑-机接口方法，步骤包括：搭建实验平台，平台具体包括脑电电极和脑电放大器以及计算机，设计新范式进行刺激，采集P300、SSVEP数据，在计算机中进行数据处理，并输出分类正确率，最后计算信息传输速率，其中数据处理阶段是通过逐步线性判别分析和典型关联分析法进行识别分类。
设计新范式进行刺激，具体是，开始时提示靶字符2秒，然后按预先编好的随机序列开始闪烁，一次离线实验包含40个靶字符，每个靶字符包含5个轮次，一个轮次包含9个试次trial，每个trial闪烁持续时间为200毫秒，刺激间隔ISI(inter-stimulus interval)为-100ms；
刺激界面是一个3x4的模块矩阵，即含有12个模块，每个模块里面都包含着一个3x3的字符矩阵，指令集一共是108个，覆盖了计算机键盘的所有字符输入，包含4种频率f1，f2，f3，f4，从左至右依次为10Hz、15Hz、12Hz、14Hz，采用了正弦采样的方式呈现，在编码策略上，对于列，同一列内频率一样，不同列频率不一样，设计原则是相邻列之间的频率间隔尽可能的大，对于行，一共有三种诱发时间t1，t2，t3，依次相差50ms，同行进行同时诱发；当第一行开始闪烁后的50ms，第二行开始闪烁；在第二行开始闪烁后的50ms，第三行开始闪烁。
采用逐步线性判别分析SWLDA(Step-wise Linear Discriminant Analysis)的方法对P300信号进行识别，采用滤波频带典型相关分析FBCCA(Filter bank canonicalcorrelation analysis)对SSVEP进行识别；
逐步线性判别分析SWLDA是Fisher线性判别FLD(Fisher linear discriminant)的优化和改进，结合前向与后向逐步回归法，从原有特征空间中选择相对较重要的特征，FLD构造Fisher鉴别准则表达式：
Figure BDA0001399944990000021
通过离线数据来训练分类器，目的是找到使得上式达到最大值的矢量w，其作为最佳投影方向，对新数据进行投影，意义就是投影后样本具有最大的类间离散度和最小的类内离散度，也就是式子(1)分子最大，分母最小，以此得到Jfisher(w)，选择出其中最大的值作为靶目标，从而实现识别分类的目的。
FBCCA算法是在典型相关分析CCA的基础上进行改进得到的，CCA是研究多个变量(x1,x2,…,xp)与多个变量(y1,y2,…,yq)之间的相关性，利用主成分分析的思想，构造两个变量u＝a1x1+a2x2+...+apxp和v＝b1y1+b2y2+...+bqyq，研究两者之间的关系，目的是找到系数矩阵[a1,a2,...,ap]和[b1,b2,...,bq]使得这两组之间的相关系数ρ(u,v)即典型相关系数达到最大值，FBCCA是在此基础上，利用滤波器不同通频带的设计，依次滤除刺激频率的基频，二倍频，三倍频，一直到五倍频，最后进行判别分析，其中，N为6，ρk是不同通频带下，通过FBCCA算法得到的相关系数矩阵，对相关系数矩阵按公式2和公式3进行系数融合，
Figure BDA0001399944990000022
w(n)＝n-1,n∈[1,N] (3)
最终得到一系列相关系数值，挑选出最大的数值，其对应的字符即为靶目标，从而实现了识别分类目的。
本发明的特点及有益效果是：
本发明提出了一种新的基于P300-SSVEP脑-机接口混合范式诱发策略，即分模块化的闪烁诱发，大大提高了系统的指令集和信息传输速率，算法上结合了逐步线性判别分析和滤波频带典型相关分析法。本发明提出的编码新策略为大指令集、高信息传输速率的脑-机接口系统设计提供了参考。
附图说明：
图1结构示意图。
图2诱发时序图。
图3SSVEP信号处理流程图。
具体实施方式
稳态视觉诱发电位(SSVEP)与事件相关电位中P300成分相结合的混合范式脑-机接口，能够同时诱发该两种脑电成分，扩大了受试人群，有广阔的应用前景和技术优势。本发明设计了一种SSVEP和P300并行诱发的新策略，首次将混合范式指令集扩大到108个，最后对该两种特征信息进行识别融合，该编码策略的相关研究思路可为大指令集、高信息传输率的混合范式脑-机接口系统的设计和推广应用提供参考。
其技术流程是：设计新范式，搭建实验平台，采集数据，数据处理阶段是通过逐步线性判别分析和典型关联分析法进行识别分类，并输出分类正确率，最后计算信息传输速率。
图1为本发明的结构示意图。该设计包括脑电电极和脑电放大器等脑电采集系统，视觉刺激呈现系统和计算机部分。使用Matlab软件的Psychtoolbox工具箱进行视觉刺激编写，NeuroScan公司生产的脑电数字采集系统采集脑电信号并记录。本发明一共使用两台计算机，一台计算机用于刺激呈现，另一台用于记录脑电信号。
1刺激模块设计
高效P300-SSVEP混合范式刺激实验，信号诱发时序如图2所示，开始时提示靶字符(被试所注视字符)2s，然后按预先编好的随机序列开始闪烁，一次离线实验包含40个靶字符，每个靶字符包含5个round(又称为轮次，即重复的次数)，一个round包含9个trial(又称为试次，字符闪烁一次称为一个trial)，每个trial闪烁持续时间为200ms，刺激间隔(inter-stimulus interval,ISI)为-100ms。
如图2所示，刺激界面是一个3x4的模块矩阵，即含有12个模块，每个模块里面都包含着一个3x3的字符矩阵，指令集一共是108个，覆盖了计算机键盘的所有字符输入。此刺激界面是由基于Psychtoolbox工具箱编写，此范式包含4种频率f1，f2，f3，f4，从左至右依次为10Hz、15Hz、12Hz、14Hz，采用了正弦采样的方式呈现。在编码策略上，对于列，同一列内频率一样，不同列频率不一样，设计原则是相邻列之间的频率间隔尽可能的大。对于行，如时序图所示，一共有三种诱发时间t1，t2，t3，依次相差50ms，同行进行同时诱发；当第一行开始闪烁后的50ms，第二行开始闪烁；在第二行开始闪烁后的50ms，第三行开始闪烁。
2特征提取与分类
根据图2显示的诱发时序和刺激所打标签进行截取数据，采用逐步线性判别分析(Step-wise Linear Discriminant Analysis,SWLDA)的方法对P300信号进行识别，采用滤波频带典型相关分析(Filter bank canonical correlation analysis,FBCCA)对SSVEP进行识别。
逐步线性判别分析是Fisher线性判别(Fisher linear discriminant,FLD)的优化和改进，结合前向与后向逐步回归法，从原有特征空间中选择相对较重要的特征，已被证明在P300-speller范式中具有良好的分类效果。FLD主要是构造Fisher鉴别准则表达式：
Figure BDA0001399944990000041
通过离线数据来训练分类器，目的是找到使得上式达到最大值的矢量w，其作为最佳投影方向，对新数据进行投影，意义就是投影后样本具有最大的类间离散度和最小的类内离散度，也就是式子(1)分子最大，分母最小，以此得到Jfisher(w)，选择出其中最大的值作为靶目标，从而实现识别分类的目的。
FBCCA算法是在典型相关分析CCA的基础上进行改进得到的，已被证明对SSVEP信号具有良好的分类效果，SSVEP信号处理流程如图3所示。CCA是研究多个变量(x1,x2,…,xp)与多个变量(y1,y2,…,yq)之间的相关性，利用主成分分析的思想，构造两个变量u＝a1x1+a2x2+...+apxp和v＝b1y1+b2y2+...+bqyq，研究两者之间的关系，目的是找到系数矩阵[a1,a2,...,ap]和[b1,b2,...,bq]使得这两组之间的相关系数ρ(u,v)(即典型相关系数)达到最大值。FBCCA是在此基础上，利用滤波器不同通频带的设计，依次滤除刺激频率的基频，二倍频，三倍频，一直到五倍频，最后进行判别分析。其中，N为6，ρk是不同通频带下，通过FBCCA算法得到的相关系数矩阵,对相关系数矩阵按公式2和公式3进行系数融合，最终得到一系列相关系数值，挑选出最大的数值，其对应的字符即为靶目标，从而实现了识别分类目的。
Figure BDA0001399944990000042
w(n)＝n-1,n∈[1,N] (3)
本发明设计了一种基于P300-SSVEP的大指令集脑-机接口系统新范式。该项发明可以用于残疾人康复、电子娱乐、工业控制等领域，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

Claims (3)

1.一种基于P300-SSVEP的大指令集脑-机接口方法，其特征是，步骤包括：搭建实验平台，平台具体包括脑电电极和脑电放大器以及计算机，设计新范式进行刺激，采集P300、SSVEP数据，在计算机中进行数据处理，并输出分类正确率，最后计算信息传输速率，其中数据处理阶段是通过逐步线性判别分析和典型关联分析法进行识别分类；设计新范式进行刺激，具体是，开始时提示靶字符2秒，然后按预先编好的随机序列开始闪烁，一次离线实验包含40个靶字符，每个靶字符包含5个轮次，一个轮次包含9个试次trial，每个trial闪烁持续时间为200毫秒，刺激间隔ISI(inter-stimulus interval)为-100ms；刺激界面是一个3x4的模块矩阵，即含有12个模块，每个模块里面都包含着一个3x3的字符矩阵，指令集一共是108个，覆盖了计算机键盘的所有字符输入，包含4种频率f1，f2，f3，f4，从左至右依次为10Hz、15Hz、12Hz、14Hz，采用了正弦采样的方式呈现，在编码策略上，对于列，同一列内频率一样，不同列频率不一样，设计原则是相邻列之间的频率间隔尽可能的大，对于行，一共有三种诱发时间t1，t2，t3，依次相差50ms，同行进行同时诱发；当第一行开始闪烁后的50ms，第二行开始闪烁；在第二行开始闪烁后的50ms，第三行开始闪烁。
2.如权利要求1所述的基于P300-SSVEP的大指令集脑-机接口方法，其特征是，采用逐步线性判别分析SWLDA(Step-wise Linear Discriminant Analysis)的方法对P300信号进行识别，采用滤波频带典型相关分析FBCCA(Filter bank canonical correlationanalysis)对SSVEP进行识别；
逐步线性判别分析SWLDA是Fisher线性判别FLD(Fisher linear discriminant)的优化和改进，结合前向与后向逐步回归法，从原有特征空间中选择相对较重要的特征，FLD构造Fisher鉴别准则表达式：
Figure FDA0002385609110000011
通过离线数据来训练分类器，目的是找到使得上式达到最大值的矢量w，其作为最佳投影方向，对新数据进行投影，意义就是投影后样本具有最大的类间离散度和最小的类内离散度，也就是式子(1)分子最大，分母最小，以此得到Jfisher(w)，选择出其中最大的值作为靶目标，从而实现识别分类的目的。
3.如权利要求2所述的基于P300-SSVEP的大指令集脑-机接口方法，其特征是，FBCCA算法是在典型相关分析CCA的基础上进行改进得到的，CCA是研究多个变量(x1,x2,…,xp)与多个变量(y1,y2,…,yq)之间的相关性，利用主成分分析的思想，构造两个变量u＝a1x1+a2x2+...+apxp和v＝b1y1+b2y2+...+bqyq，研究两者之间的关系，目的是找到系数矩阵[a1,a2,...,ap]和[b1,b2,...,bq]使得这两组之间的相关系数ρ(u,v)即典型相关系数达到最大值，FBCCA是在此基础上，利用滤波器不同通频带的设计，依次滤除刺激频率的基频，二倍频，三倍频，一直到五倍频，最后进行判别分析，其中，N为6，ρk是不同通频带下，
Figure FDA0002385609110000012
w(n)＝n-1,n∈[1,N] (3)
通过FBCCA算法得到的相关系数矩阵，对相关系数矩阵按公式2和公式3进行系数融合，最终得到一系列相关系数值，挑选出最大的数值，其对应的字符即为靶目标，从而实现了识别分类目的。
CN201710794217.8A 2017-09-06 2017-09-06 基于p300-ssvep的大指令集脑-机接口方法 Active CN107656612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710794217.8A CN107656612B (zh) 2017-09-06 2017-09-06 基于p300-ssvep的大指令集脑-机接口方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710794217.8A CN107656612B (zh) 2017-09-06 2017-09-06 基于p300-ssvep的大指令集脑-机接口方法

Publications (2)

Publication Number Publication Date
CN107656612A CN107656612A (zh) 2018-02-02
CN107656612B true CN107656612B (zh) 2020-05-12

Family

ID=61128327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710794217.8A Active CN107656612B (zh) 2017-09-06 2017-09-06 基于p300-ssvep的大指令集脑-机接口方法

Country Status (1)

Country Link
CN (1) CN107656612B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110974221A (zh) * 2019-12-20 2020-04-10 北京脑陆科技有限公司 一种基于混合函数相关向量机的混合脑机接口系统
CN111487988B (zh) * 2020-03-03 2022-04-15 天津大学 基于稳态视觉诱发电位脑-机接口的脑控无人机方法
CN112207816B (zh) * 2020-08-25 2022-08-26 天津大学 基于视图编解码的脑控机械臂系统和控制方法
CN113110738A (zh) * 2021-04-02 2021-07-13 天津理工大学 一种基于阈值判别方法的多模态脑电信号检测方法
CN114209343A (zh) * 2021-04-29 2022-03-22 上海大学 一种基于ar与ssvep的便携式注意力训练系统及方法
CN114146283A (zh) * 2021-08-26 2022-03-08 上海大学 一种基于目标检测和ssvep的注意力训练系统及方法
CN115024684A (zh) * 2022-05-23 2022-09-09 天津大学 刺激范式生成系统、脑-机接口系统、检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609090A (zh) * 2012-01-16 2012-07-25 中国人民解放军国防科学技术大学 采用脑电时频成分双重定位范式的快速字符输入方法
CN103150017A (zh) * 2013-03-05 2013-06-12 天津大学 基于空间、时间和频率联合编码的脑-机接口通讯方法
CN105843377A (zh) * 2016-03-17 2016-08-10 天津大学 基于异步并行诱发策略的混合范式脑-机接口
CN107037889A (zh) * 2017-03-06 2017-08-11 南昌大学 一种基于视觉脑机接口的自然书写字符输入方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609090A (zh) * 2012-01-16 2012-07-25 中国人民解放军国防科学技术大学 采用脑电时频成分双重定位范式的快速字符输入方法
CN103150017A (zh) * 2013-03-05 2013-06-12 天津大学 基于空间、时间和频率联合编码的脑-机接口通讯方法
CN105843377A (zh) * 2016-03-17 2016-08-10 天津大学 基于异步并行诱发策略的混合范式脑-机接口
CN107037889A (zh) * 2017-03-06 2017-08-11 南昌大学 一种基于视觉脑机接口的自然书写字符输入方法及系统

Also Published As

Publication number Publication date
CN107656612A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN107656612B (zh) 基于p300-ssvep的大指令集脑-机接口方法
La Rocca et al. EEG biometrics for individual recognition in resting state with closed eyes
CN101339455B (zh) 基于人脸识别特异性波n170成分的脑机接口系统
CN104503580A (zh) 一种对稳态视觉诱发电位脑-机接口目标的识别方法
Xu et al. High accuracy classification of EEG signal
CN111671420B (zh) 一种从静息态脑电数据中提取特征的方法及终端设备
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
CN108681391A (zh) 一种基于多模式的脑电信号虚拟键盘设计方法
CN109766751A (zh) 基于频域编码的稳态视觉诱发脑电身份识别方法及系统
CN109480870B (zh) 一种面向rsvp脑-机接口的脑力负荷识别方法
CN104127179A (zh) 一种优势电极组合与经验模式分解的脑电特征提取方法
CN109770900A (zh) 基于卷积神经网络的脑机接口指令下发方法、系统、装置
Bai et al. Feature selection and channel optimization for biometric identification based on visual evoked potentials
Du et al. IENet: a robust convolutional neural network for EEG based brain-computer interfaces
CN105843377A (zh) 基于异步并行诱发策略的混合范式脑-机接口
CN109009098A (zh) 一种运动想象状态下的脑电信号特征识别方法
Kee et al. Genetic algorithm and Bayesian linear discriminant analysis based channel selection method for P300 BCI
CN108319367B (zh) 一种基于运动起始诱发电位的脑机接口方法
CN112698720B (zh) 一种基于互信息特征提取及多人融合的运动想象识别方法
CN114557708A (zh) 基于脑电双特征融合的体感刺激意识检测装置和方法
Chen et al. An adaptive feature extraction method for motor-imagery BCI systems
CN112651432A (zh) 基于xdawn空间滤波器和黎曼几何迁移学习的p300脑-机接口系统
CN112070141A (zh) 一种融合注意力检测的ssvep异步分类方法
CN111222578A (zh) 一种运动想象eeg信号的在线处理方法
Abdelnabi et al. Towards high-frequency SSVEP-based target discrimination with an extended alphanumeric keyboard

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant