CN107037889A - 一种基于视觉脑机接口的自然书写字符输入方法及系统 - Google Patents
一种基于视觉脑机接口的自然书写字符输入方法及系统 Download PDFInfo
- Publication number
- CN107037889A CN107037889A CN201710127301.4A CN201710127301A CN107037889A CN 107037889 A CN107037889 A CN 107037889A CN 201710127301 A CN201710127301 A CN 201710127301A CN 107037889 A CN107037889 A CN 107037889A
- Authority
- CN
- China
- Prior art keywords
- character
- circle
- character input
- order
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000000638 stimulation Effects 0.000 claims abstract description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 35
- 210000004556 brain Anatomy 0.000 claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims abstract description 3
- 230000005611 electricity Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000004936 stimulating effect Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000000624 ear auricle Anatomy 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 210000004761 scalp Anatomy 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000000537 electroencephalography Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 208000006011 Stroke Diseases 0.000 description 9
- 238000010219 correlation analysis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 210000003205 muscle Anatomy 0.000 description 5
- 231100000768 Toxicity label Toxicity 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000001771 impaired effect Effects 0.000 description 3
- 208000012661 Dyskinesia Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000763 evoking effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 210000003618 cortical neuron Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012772 sequence design Methods 0.000 description 1
- 208000020431 spinal cord injury Diseases 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于视觉脑机接口的自然书写字符输入方法及系统，在计算机屏幕上呈现9个圆形视觉刺激，按照3×3的矩阵排列，通过在左边6个刺激圆之间画线书写字符，使用右边3个刺激圆对字符输入进行控制；系统包括视觉刺激器、脑电采集平台、PC实时处理系统和字符输入接口；视觉刺激器用于产生不同频率的视觉刺激；脑电采集平台用于实时采集脑电信号，经放大、滤波与模数转换后输入PC计算机；PC实时处理系统用于对接收的脑电信号实时处理，检测SSVEP信号频率及对应的刺激圆，将其代表的命令传送到字符输入接口；字符输入接口根据命令的类型做相应处理，将欲输入的字符输送到文本区显示。本发明输入自然，准确率高，稳健性好，不需要用户训练。
Description
技术领域
本发明涉及脑科学技术和计算机技术，更具体地说，本发明涉及脑机接口技术与字符输入技术。
背景技术
人脑通过神经肌肉通道与外界通信或控制外部环境，而许多疾病可能破坏这些神经肌肉通道。例如，肌肉萎缩性侧索硬化、脑干中风、脊髓损伤、脑瘫、帕金森氏、多种硬化病以及其他许多疾病会损害控制肌肉的神经通道或损害肌肉本身。那些受到这些疾病严重影响的人可能会失去自主的肌肉控制，因而产生运动功能障碍，以至于不能与外界进行通信或控制外部设备。
脑机接口(Brain-Computer Interface,BCI)监测用户的脑活动，解读用户的意图，并将用户的意图转换为外部命令。作为一种新的、非肌肉的通信通道，BCI能够使人直接通过大脑来表达思想或操纵设备，而不需要借助语言或肢体动作。对于严重的运动残疾患者，BCI能够将他们的意图传送到外部装置，比如计算机、家用电器、护理设备以及神经假体等，从而改进他们的生活质量。
传统的字符输入方法，无论是基于键盘或鼠标，还是基于手写或手势，都需要健全的手指才能实现。对于那些遭受运动功能障碍以至于上肢残疾的患者，这些方法都无能为力。为了解放双手，实现不依赖于人手的字符输入，人们发明了基于语音技术、视线跟踪技术以及脑机接口技术的字符输入方法。语音技术的局限是易受环境噪声的影响，而视线跟踪技术的缺点是视线点定位精度低。另外，视线跟踪系统无法对用户操作时有意和无意的目标选择活动进行有效的区分，限制了这类系统的实际应用。
不同的脑电(Electroencephalography,EEG)信号分量，例如慢皮层电位、运动想象产生的mu/beta节律、事件相关P300电位、以及视觉诱发电位(Visual EvokedPotential,VEP)，都可以用作BCI的特征信号。其中，基于P300电位的BCI能够提供足够多的控制命令，实现一个控制命令输入一个字符，因而大多数现有的脑拼写器(MentalSpeller)使用P300电位作为BCI的特征信号。然而，基于P300电位的BCI存在两个固有的缺点：一是当需输入的字符数较多时，输入一个字符所需要的时间较长，导致低的字符输入速度；二是缺乏时间上和用户之间的稳健性，导致低的字符输入正确率。其中第一个缺点可通过其他技术进行弥补，而第二个缺点是难以克服的，使基于P300的BCI在实际应用中受到限制。在这些BCI实现方法中，基于VEP的BCI由于具有如下四个优点，因而获得了越来越多的注意和重视：1)高的信息传输率；2)几乎不需要用户训练；3)低的用户变化率；4)易于使用。
在一个基于VEP的BCI中，用户注视由不同序列调制的多个视觉刺激之一。通过分析用户大脑产生的VEP，用户注视的视觉刺激能够被识别为一个接口的命令。在这种类型的BCI系统中，刺激序列设计起着重要的作用。根据刺激序列的不同，VEPs可以分为时间调制的(time modulated)VEP(t-VEP)、频率调制的(frequency modulated)VEP(f-VEP)以及伪随机编码调制的(pseudorandom code modulated)VEP(c-VEP)三种类型。在基于f-VEP的BCI中，每个视觉刺激由不同频率的信号进行调制。当视觉刺激的重复频率较低时，两次连续刺激引起的响应不会产生交迭，每次刺激产生的响应独立于以前的刺激，这种响应称为暂态VEP(Transient VEP,TVEP)；当视觉刺激的重复频率高于6Hz时，连续几次刺激诱发的响应会迭加在一起，使大脑皮层神经元发放与刺激频率同步，在枕区和顶区脑电活动的节律明显增强，形成一种稳定的响应，称为稳态VEP(Steady-State VEP,SSVEP)。SSVEP具有与视觉刺激频率相同的基波频率及其谐波，其基波频率可用特定的信号处理算法进行检测。
视觉刺激可以使用发光二极管(light-emitting diode,LED)或计算机屏幕来呈现。当使用计算机显示器来呈现视觉刺激时，视觉刺激的强度、颜色、模式、大小以及位置等刺激参数可以灵活地进行配置。由于受到屏幕刷新率和谐波频率的制约，传统的基于计算机LCD显示器的视觉刺激器最多只能产生5个基于频率编码的刺激频率(即控制命令)。最新的研究进展表明，通过近似一个刺激闪烁频率，可以突破计算机屏幕产生的刺激频率的数目，从而可以呈现低于屏幕刷新率一半的任何频率，为设计并实现基于SSVEP BCI的复杂应用奠定了基础和提供了可能。
字符输入是BCI技术最重要的应用之一。对上肢运动障碍患者而言，不能进行字符输入，就不能使用手机和电脑等现代电子设备，更不可能使用电话、短信、微信、QQ以及互联网等技术与他人进行通信和交流，严重影响他们的生活质量。字符输入一般有两种方法，即直接书写法和字符选择法。现有的基于SSVEP BCI的字符输入技术，都是基于对字符表中的字符进行选择。本发明通过在计算机屏幕上呈现9个不同频率的视觉刺激，实现一种基于自然书写的字符输入方法及系统。
目前存在的利用BCI实现字符输入的主要技术是基于P300的BCI技术、基于视线跟踪和P300的技术，基于SSVEP和P300的混合BCI技术、以及基于SSVEP的BCI技术。例如，中国专利“基于P300脑电电位的中文输入BCI系统(200710164418.6)”，将汉字按五笔字型拆分为5个基本笔划，通过检测P300电位输入每个汉字所需笔划，实现中文文字输入；中国专利“一种基于视线跟踪和P300脑电电位的字符输入装置(200910080852.5)”，以视线点为中心限定需输入字符所在的区域，在限定区域通过检测P300电位实现字符的输入；中国专利“采用脑电时频成分双重定位范式的快速字符输入方法(201210013087.7)”，将可输入的字符按功能分为4个区域，通过检测SSVEP电位选择字符所在的分区，在选定的区域内通过检测P300电位进行字符输入；中国专利“一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统(201410171291.0)”，采用一个两步的判决树字符输入规则，使用少量的LED按键实现较多字符的输入，并且输入一个字符或功能命令最多需要两个选择。这些技术除了第一个实现汉字输入外，其它都是采用字符选择法实现字符的输入。
发明内容
本发明的目的是提供一种基于视觉脑机接口的自然书写字符输入方法及系统，其特点是自然书写输入、输入正确率高、系统稳健性好、不需要用户训练。
本发明是通过以下技术方案实现的。
本发明所述的基于视觉脑机接口的自然书写字符输入方法，其特征在于，采用可变帧数的视觉刺激产生方法，在计算机屏幕上呈现9个不同频率的圆形刺激，将它们按照3×3的矩阵排列，通过在左边6个刺激圆之间画线输入字符，使用右边3个刺激圆对字符输入操作进行控制，从而实现基于自然书写风格的字符输入。
所述的可变帧数的视觉刺激产生方法是指，对于一个特定的刺激频率，使用正弦信号产生函数计算该频率对应的二进制编码，由该编码调制产生的视觉刺激，其闪烁频率不一定是固定的，而是可变的。
所述的通过在左边6个刺激圆之间画线输入字符是指，根据字符的形状和笔划，在两个刺激圆之间画线构造字符，而画线本身可通过注视这两个刺激圆来实现。
所述的使用右边3个刺激圆对字符输入操作进行控制是指，使用‘Delete’刺激圆命令，删除前一个错误的操作；使用‘Enter’刺激圆命令将一个书写好的字符送到文本行显示；使用‘S/L’刺激圆命令将当前输入到文本行的字符进行大写/小写转换。
字符输入的过程是：
用户先后注视两个刺激圆，系统正确识别用户的命令后，自动在这两个刺激圆之间绘制一条线段。根据字符的笔画和书写顺序，用户一步一步地绘制字符。当字符绘制完成后，用户注视‘Enter’刺激圆，将构造的字符输送到文本区显示。通过注视‘S/L’刺激圆，用户可将当前输入文本区的字符进行大/小写转换。在字符输入过程中，如果出现用户操作错误或系统识别错误，通过注视‘Delete’刺激圆可删除本次操作。
本发明所述的基于视觉脑机接口的自然书写字符输入系统，包括一个基于计算机显示器的视觉刺激器、一个脑电采集平台、一个PC实时处理系统和一个字符输入接口，PC实时处理系统分别与视觉刺激器、脑电采集平台、字符输入接口连接。其中，视觉刺激器用于产生不同频率的视觉刺激，对应于不同的命令；脑电采集平台用于实时采集SSVEP信号，经过放大、滤波与模数转换后，通过数据线输入PC计算机；PC实时处理系统用于对接收的SSVEP信号进行实时处理，检测SSVEP信号的频率，并将其代表的命令传送到字符输入接口；字符输入接口根据命令的类型做相应的处理，并将当前书写的字符传送到文本区显示。
1、所述的基于计算机显示器的视觉刺激器由软件编程实现，用于产生9个不同频率的圆形视觉刺激。
其中，所述的计算机显示器的屏幕大小为24英寸，屏幕分辨率为1920×1080象素，屏幕刷新率为60Hz。
其中，所述的9个不同频率在8～15Hz的α频带中选择，最小频率间隔为0.5Hz。每个刺激频率fi(i＝1,2,…,9)对应的刺激序列由正弦信号抽样产生，计算公式如下
式中j为帧指针，R为屏幕刷新率。
其中，9个圆形刺激的直径为4cm，相互之间的横向距离为5cm，纵向距离为3cm。刺激序列的动态范围为0～1，这里0表示黑(即不发光)，1表示最亮(即发白光)。
其中，9个圆形刺激按功能分为两组：左边6个刺激圆为‘书写’按键，用于书写字符；右边3个刺激圆为‘控制’按键，用于控制字符输入。
2、所述脑电采集平台包括电极帽与脑电放大器，电极帽用于采集脑电信号，脑电放大器用于对采集的脑电信号进行放大、滤波与模数转换。电极帽包括由9个电极组成的SSVEP信号记录通道，位于大脑枕区和顶区。按照国际10/20系统放置标准，这9个信号电极分别位于P3、Pz、P4、PO7、POz、PO8、O1、Oz与O2，地电极位于Fz，参考电极位于左耳垂。脑电放大器的放大倍数约为20000倍，滤波频带为0.01～100Hz，模数转换抽样率为1000Hz。
3、所述PC实时处理系统执行系统初始化、视觉刺激器启动、数据采集控制、数据接收与保存、数字信号处理、以及控制命令输出等操作。PC实时处理系统具有两个主要功能：一是对整个系统的工作状态进行控制，二是对脑电数据进行实时处理，识别用户的操作命令。系统控制软件基于Matlab环境开发，刺激程序使用心理学工具箱PTB 3.0+实现。数字信号处理程序由Matlab语言编写，通过应用程序接口(Application Program Interface,API)由系统控制程序调用。脑电放大器与计算机之间的数据传输遵循TCP/IP协议。刺激程序产生的事件触发信号从计算机并口输入脑电放大器，并由其事件通道进行记录，用于同步EEG数据。
其中，数字信号处理是指使用专门的信号处理算法，对当前记录的一段脑电信号进行实时处理，检测SSVEP信号并识别其对应的频率。本发明提供的字符输入系统使用滤波器组典型相关分析(Filter Bank Canonical Correlation Analysis,FBCCA)算法对SSVEP信号的频率进行检测。该算法包括以下三个步骤：
1)对SSVEP信号进行子带滤波。将频带8Hz～88Hz分解为N个子带，这些子带的频率范围为n×8Hz～88Hz,n＝1,2,…N。设计一个包括N个子带滤波器的滤波器组，对原始的SSVEP信号进行子带滤波。在本系统中，子带滤波器为零相位Chebishev类型I无限冲击响应(IIR)滤波器，使用Matlab中的filtfilt函数实现。
2)对每个子带信号进行CCA分析。典型相关分析(Canonical CorrelationAnalysis,CCA)是一种测量两个多维变量之间隐含相关的统计方法。假设两个多维变量为X与Y，它们的线性结合为x＝XTWx与y＝YTWy，CCA算法寻找权向量Wx与Wy，通过解下面的优化问题，使x与y之间的相关最大化
ρc的最大值称为最大典型相关。在本系统的频率检测中，X为多通道子带SSVEP信号，而Y为正弦与余弦构成的参考信号，用公式表示如下
Yf＝[sin(2πft),cos(2πft),…,sin(2πNhft),cos(2πNhft)]T (3)
式中f为刺激频率，Nh为谐波次数。对于每一个刺激频率，将SSVEP信号与该刺激频率的参考信号做CCA分析，得到的权向量Wx与Wy作为空域滤波器，分别对X与Yf进行空域滤波，再计算这两个空域滤波后的信号之间的Pearson相关(即普通相关)系数ρ，作为识别SSVEP信号频率的特征信号。
3)目标识别。在对SSVEP信号进行子带滤波后，将CCA算法应用于每一个子带信号。对于每个刺激频率fk(k＝1,2,…,9)，计算每个子带信号分量XSBn(n＝1,2,…N)与每个刺激频率的参考信号之间的Pearson相关系数。对于第k个刺激频率的参考信号，将N个子带的Pearson相关系数连接成一个列向量ρk，如下式所示
式中ρ(x,y)表示x与y之间的Pearson相关系数。将ρk各个分量(即)的平方加权和作为识别SSVEP信号频率(即刺激目标)的特征信号，如下式所示
式中n表示子带指针。子带Pearson相关系数平方的权系数w(n)定义如下
w(n)＝n-a+b,n∈[1,N] (6)
式中a与b是用于优化分类性能的两个常数，分别在[0,2]与[0,1]中选择，最优值可在离线数据分析中使用网搜的方法确定。最后，SSVEP信号的频率由所有的来确定，具有最大值的参考信号的频率fk被判决为SSVEP信号的频率。
4、所述字符输入接口接收PC实时处理系统发送的命令，根据命令的类型进行相应的处理，包括以下两种情况：
1)如果接收的是字符‘书写’命令，则首先判断是第一个‘书写’命令还是第二个‘书写’命令。若是第一个‘书写’命令，则保存用户注视的刺激圆的位置信息，等待接收第二个‘书写’命令；若是第二个‘书写’命令，则保存用户注视的刺激圆的位置信息，并在两个刺激圆之间绘制一条绿色的直线；
2)如果接收的是字符‘控制’命令，则根据控制命令的功能做相应的处理。若是‘Delete(删除)’命令，则删除前一个书写或控制操作；若是‘S/L(大写/小写转换)’命令，则将当前输入到文本行的字符进行大小写转换；若是‘Enter(回车)’命令，则将已书写(或绘制)好的字符输入到文本区显示。
本发明的基本思想是，基于人类自然书写的习惯，通过在两个刺激圆之间画线的方法，一步一步地将要输入的字符绘制出来，实现基于视觉注意的字符输入。由于SSVEP信号的稳定性好，这种字符输入系统在确保高输入正确率的前提下，具有高的稳健性和可靠性，而且几乎不需要用户训练，使该字符输入系统能够作为一个实际应用系统，服务于广大的上肢运动障碍患者。
与现有技术相比，本发明具有以下有益的效果：
1)本发明提供的字符输入系统以SSVEP信号作为BCI系统的输入信号，具有高的字符输入准确率、以及在时间上和用户之间的高稳健性；
2)本发明提供的字符输入系统采用自然书写的方法输入字符，符合人们的书写习惯，易于被上肢运动障碍患者接受；
3)本发明提供的字符输入系统工作稳定，用户几乎不需要训练就能使用。
附图说明
图1是本发明基于视觉脑机接口的自然书写字符输入系统原理图。
图2是本发明九个圆形视觉刺激在显示器屏幕上排列示意图。
图3是本发明九个不同频率视觉刺激信号的刺激序列波形图。
图4是本发明自然书写字符输入系统图形用户接口示意图。
图5是本发明可直接输入的字符集合及输入笔划示意图。
图6是本发明自然书写字符输入系统脑电记录电极分布图。
图7是本发明自然书写字符输入系统实时处理程序流程图。
图8是本发明刺激目标的频率识别算法FBCCA原理图。
图9是本发明字符输入系统字符输入接口程序流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例进一步详细说明。应当理解的是，本发明的应用不限于下述的举例，对本领域的专业人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都属于本发明所附权利要求的保护范围。
如图1所示，基于视觉脑机接口的自然书写字符输入系统包括一个基于计算机显示器的视觉刺激器、一个脑电采集平台、一个PC实时处理系统和一个字符输入接口。其中，视觉刺激器用于产生不同频率的视觉刺激，对应于不同的命令；脑电采集平台用于实时采集SSVEP信号，经过放大、滤波与模数转换后，通过数据线输入PC计算机；PC实时处理系统用于对接收的SSVEP信号进行实时处理，检测SSVEP信号的频率，识别该频率对应的刺激圆，并将其代表的命令传送到字符输入接口；字符输入接口用于根据命令的类型做相应的处理，并将欲输入的字符显示在文本输入行。
如图2所示，基于计算机显示器的视觉刺激器包括9个圆形视觉刺激，它们的直径为4cm，相互之间的横向距离为5cm、纵向距离为3cm。这些刺激目标的发光频率分布于频带8Hz～12Hz，频率之间的间隔为0.5Hz。当用户注视某个刺激圆时，在其大脑枕区会产生SSVEP信号，其基波频率与刺激频率相同。通过检测SSVEP信号的频率，就可识别用户当前注视的刺激圆，从而判断用户想要执行命令。当某个刺激圆被系统识别后，该刺激圆的圆周会变成红色，提示用户当前选择的刺激目标(即系统将要执行的命令)。
如图3所示为9个不同刺激频率产生的刺激序列波形，它们的幅度随着屏幕刷新在1与0之间呈周期性(10Hz与12Hz)或非周期性(其它频率)变化，产生的视觉刺激在最亮(对应幅度为1)与黑(对应幅度为0)之间变化。这些刺激频率fi(i＝1,2,…,9)对应的刺激序列由抽样的正弦信号产生，计算公式如下
式中j为帧指针，R为屏幕刷新率。
如图4所示是本发明自然书写字符输入系统图形用户接口，其中分布了9个圆形刺激，相当于9个虚拟按键命令。这9个圆形刺激分为两组，左边6个刺激圆为‘书写’按键，用于书写(或绘制)字符；右边3个刺激圆为控制按键，用于控制字符输入。每个按键通过用户的视觉注视进行选择，完成一次选择的时间为1.25秒，用于目光转移的时间为0.5秒。基于人们的自然书写习惯，根据字符的笔划及书写顺序，字符输入通过在两个刺激圆之间画线来完成，而画线操作由用户对这两个刺激圆进行选择来实现。当用户完成了两个刺激圆的正确选择后，系统会在这两个刺激圆之间绘制一条绿色的线段，同时清除这两个刺激圆上的红色标记，等待用户绘制另一条线段。
当一个字符的所有线段书写完后，用户可用‘Enter’按键将该字符显示在文本输入区，同时清除所有刺激圆之间的线段，等待输入下一个字符；在字符输入过程中，根据字符输入的容易程度，用户可选择输入大写或小写字符，然后通过‘S/L’键将已输入的字符转换为想要的小写或大写字符；在书写字符或执行控制命令过程中，如果用户错误地选择了一个刺激命令(包括书写命令和控制命令)或系统错误地识别了一个刺激目标，用户可用‘Delete’按键删除本次操作。
如图5所示是本发明可直接输入的字符集合及输入笔划示意图。图中包括26个英文字母和10个数字。绝大多数英文字母具有大写和小写两种类型。少量的字母只有大写(K,L,M,P,T,V,W)或小写(o,q)，可通过‘S/L’按键将大写或小写字符转换为需要的类型。一些字母具有多种写法(如大写字母N、小写字母c,n,i,o,r,s,u,x,z)，以方便用户灵活书写。三个大写字符T，V与W，需要向右旋转90度进行书写。
如图6所示，电极帽用于采集脑电信号，电极按照国际10/20系统放置。位于枕区的9个电极作为脑电信号记录通道，它们位置分别为P3、Pz、P4、PO7、POz、PO8、O1、Oz、O2。地电极位于Fz，而参考电极位于左耳垂。为保证电极与头皮接触良好，电极插孔中注入导电特性良好的导电胶，电极阻抗保持在10千欧以下。
受试者通过注视特定的刺激圆来表达操作意图，相应的脑电信号经电极帽采集，再经脑电放大器放大、滤波和模数转换后，传输到PC实时处理系统。脑电放大器的放大倍数约为20000倍，滤波频带为0.01～100Hz，模数转换抽样率为1000Hz。
如图7所示，PC实时处理系统在计算机中通过软件来实现，其处理步骤依次为系统初始化、视觉刺激器启动、数据采集控制、数据接收与保存、数字信号处理以及控制命令输出。PC实时处理系统具有两个主要功能：一是对整个系统的工作状态进行控制，二是对脑电数据进行实时处理，识别用户的操作命令。系统控制软件基于Matlab环境开发，刺激程序使用心理学工具箱PTB 3.0+实现。数字信号处理程序由Matlab语言编写，由系统控制程序通过应用程序接口(API)调用。脑电放大器与计算机之间的数据传输遵循TCP/IP协议。刺激程序产生的事件触发信号从计算机并口输入到脑电放大器，并由其事件通道进行记录，用于同步EEG数据。
数字信号处理是指使用滤波器组典型相关分析(Filter Bank CanonicalCorrelation Analysis,FBCCA)算法对数字化的脑电信号进行实时处理，检测SSVEP信号的频率，将该频率对应的刺激圆代表的命令输入字符输入接口。FBCCA算法将原始的SSVEP信号分解为许多不同带宽的子带信号，在各个子带进行典型相关分析(CCA)，并将各子带的平方相关系数的加权和作为分类刺激频率的特征信号。用于实时处理的脑电数据长度为1.25秒，用户选择目标时目光转移的时间为0.5秒。
如图8所示，使用FBCCA算法识别SSVEP信号频率的具体步骤如下：
1)对SSVEP信号进行子带滤波。将频带8Hz～88Hz分解为N个子带，这些子带的频率范围为n×8Hz～88Hz,n＝1,2,…N。本实施例中，N＝7。设计一个包括N个子带滤波器的滤波器组，对原始的SSVEP信号进行子带滤波。子带滤波器为零相位Chebishev类型I无限冲击响应(IIR)滤波器，使用Matlab中的filtfilt函数实现。
2)对每个子带信号进行CCA分析。CCA是一种测量两个多维变量之间隐含相关的统计方法。假设两个多维变量为X与Y，它们的线性结合为x＝XTWx与y＝YTWy，CCA算法寻找权向量Wx与Wy，通过解下面的优化问题，使x与y之间的相关最大化
ρc的最大值称为最大典型相关。在本系统的频率检测中，X为多通道子带SSVEP信号，而Y为正弦与余弦构成的参考信号，用公式表示如下
Yf＝[sin(2πft),cos(2πft),…,sin(2πNhft),cos(2πNhft)]T (3)
式中f为刺激频率，Nh为谐波次数。本实施例中，Nh＝5。对于每一个刺激频率，将SSVEP信号与该刺激频率的参考信号做CCA分析，得到的权向量Wx与Wy作为空域滤波器，分别对X与Yf进行空域滤波，再计算空域滤波后这两个信号之间的Pearson相关(即普通相关)系数ρ，作为识别SSVEP信号频率的特征信号。
3)目标识别。在对SSVEP信号进行子带滤波后，将CCA算法应用于每一个子带信号。对于每个刺激频率fk(k＝1,2,…,9)，计算每个子带信号分量XSBn(n＝1,2,…N)与每个刺激频率的参考信号之间的Pearson相关系数。对于第k个刺激频率的参考信号，将N个子带的Pearson相关系数连接成一个列向量ρk，如下式所示
式中ρ(x,y)表示x与y之间的Pearson相关系数。将ρk各个分量(即)的平方加权和作为识别SSVEP信号频率(即刺激目标)的特征信号，如下式所示
式中n表示子带指针。子带Pearson相关系数平方的权系数w(n)定义如下
w(n)＝n-a+b,n∈[1,N] (6)
式中a与b是用于优化分类性能的两个常数，分别在[0,2]与[0,1]中选择。在本实施例中，a＝1.25,b＝0.25。最后，SSVEP信号的频率由所有的来确定，具有最大值的参考信号的频率fk被判决为SSVEP信号的频率。
如图9所示，字符输入接口在计算机中由软件实现，用于接收PC实时处理系统发送的命令，并根据命令的类型进行相应的处理，包括以下两种情况：
1)如果字符输入接口接收的是书写命令，则根据命令的次序做如下处理：
①如果是第1个书写命令，则保存第1个刺激圆的位置信息，同时给其加上红色提示标记，并将书写刺激圆计数器加1后，返回等待接收新的命令；
②如果是第2个书写命令，则保存第2个刺激圆的位置信息，同时给其加上红色提示标记，并将书写刺激圆计数器减1，在两个有红色标记的刺激圆之间画一条绿色的直线。等待0.5秒后，清除两个刺激圆上的红色标记后返回。
2)如果字符输入接口接收的是控制命令，则根据命令的类型做如下处理：
①如果是Enter键命令，则将书写的字符与字符表中的字符进行匹配。如果能匹配上某个字符，则将字符表中该字符对应的标准字符送文本输入区显示；如果不能匹配上任何字符，则返回等待接收新的命令；
②如果是Delete键命令，则要判断前一个命令的类型。如果是书写命令，则清除该书写命令对应刺激圆上的红色标记，并根据书写命令的次序，将书写刺激圆计数器减1或加1；如果是控制命令，则取消前一个控制命令操作。
③如果是S/L键命令，则要判断前一个命令的类型。如果是有效的Enter键命令，则将当前输入文本区的字符进行大写/小写转换；如果不是有效的Enter键命令，则不执行任何操作，返回等待接收新的命令。
Claims (6)
1.一种基于视觉脑机接口的自然书写字符输入方法，其特征是采用自然书写的方法完成字符输入；
所述的自然书写的方法是指采用可变帧数的视觉刺激产生方法，在计算机屏幕上呈现9个不同频率的圆形视觉刺激，将它们按照3×3的矩阵排列，通过在左边6个刺激圆之间画线输入字符，使用右边3个刺激圆对字符输入操作进行控制，从而实现基于自然书写风格的字符输入；
所述的可变帧数的视觉刺激产生方法是指对于一个特定的刺激频率，使用正弦信号产生函数计算该频率对应的编码序列，由该编码序列调制产生的视觉刺激，其闪光频率不一定是固定的，而是可变的；
所述的通过在左边6个刺激圆之间画线输入字符是指根据字符的形状和笔划，在两个刺激圆之间画线构造字符，而画线本身可通过注视这两个刺激圆来实现；
所述的使用右边3个刺激圆对字符输入操作进行控制是指使用‘Delete’刺激圆命令，删除前一个错误的操作；使用‘Enter’刺激圆命令，将一个绘制好的字符送到文本区显示；使用‘S/L’刺激圆命令将当前输入到文本区的字符进行大/小写转换；
字符输入的过程是：
用户先后注视两个刺激圆，系统正确识别用户的命令后，自动在这两个刺激圆之间绘制一条线段；根据字符的笔画和书写顺序，用户一步一步地绘制字符；当字符绘制完成后，用户注视‘Enter’刺激圆，将构造的字符输送到文本区显示；通过注视‘S/L’刺激圆，用户可将当前输入文本区的字符进行大/小写转换；在字符输入过程中，如果出现用户操作错误或系统识别错误，通过注视‘Delete’刺激圆可删除本次操作。
2.一种基于视觉脑机接口的自然书写字符输入系统，其特征是包括一个基于计算机显示器的视觉刺激器、一个脑电采集平台、一个PC实时处理系统和一个字符输入接口，PC实时处理系统分别与视觉刺激器、脑电采集平台、字符输入接口连接；其中，所述的视觉刺激器用于产生不同频率的视觉刺激，对应于不同的命令；所述的脑电采集平台用于实时采集SSVEP信号，经过放大、滤波与模数转换后，通过数据线输入PC计算机；所述的PC实时处理系统用于对接收的SSVEP信号进行实时处理，检测SSVEP信号的频率，并将其代表的命令传送到字符输入接口；所述的字符输入接口根据命令的类型做相应的处理，并将当前书写的字符传送到文本区显示。
3.根据权利要求2所述的一种基于视觉脑机接口的自然书写字符输入系统，其特征是所述的基于计算机显示器的视觉刺激器由软件编程实现，用于产生9个不同频率的圆形视觉刺激：
其中，所述的计算机显示器的屏幕大小为24英寸，屏幕分辨率为1920×1080象素，屏幕刷新率为60Hz；
其中，所述的9个不同频率在8～15Hz的α频带中选择，最小频率间隔为0.5Hz；每个刺激频率fi(i＝1,2,…,9)对应的刺激序列由正弦信号抽样产生，计算公式如下：
式中j为帧指针，R为屏幕刷新率；
其中，9个圆形刺激的直径为4cm，相互之间的横向距离为5cm，纵向距离为3cm；刺激序列的动态范围为0～1，这里0表示黑，1表示最亮；
其中，9个圆形刺激按功能分为两组：左边6个刺激圆为‘书写’按键，用于书写字符；右边3个刺激圆为‘控制’按键，用于控制字符输入。
4.根据权利要求2所述的一种基于视觉脑机接口的自然书写字符输入系统，其特征是所述的脑电采集平台包括电极帽和脑电放大器；
其中，所述的电极帽，用于采集头皮脑电信号；包括由9个电极组成的SSVEP信号记录通道，位于大脑枕部区域；按照国际10/20系统放置标准，这9个信号电极分别位于P3、Pz、P4、PO7、POz、PO8、O1、Oz与O2，地电极位于Fz，参考电极位于左耳垂；
其中，所述的脑电放大器，用于对采集的脑电信号进行滤波、放大与模数转换；脑电放大器的放大倍数约为20000倍，滤波频带为0.01～100Hz，模数转换抽样率为1000Hz。
5.根据权利要求2所述的一种基于视觉脑机接口的自然书写字符输入系统，其特征是所述的PC实时处理系统包括对系统工作状态进行实时控制和对脑电数据进行实时处理；
其中，所述的对系统工作状态进行实时控制，用于执行系统初始化、视觉刺激器启动、数据采集控制、数据接收与保存、以及控制命令输出等操作；
其中，所述的对脑电数据进行实时处理，用于检测SSVEP信号的频率，识别该频率对应的刺激圆及其代表的用户命令。
6.根据权利要求2所述的一种基于视觉脑机接口的自然书写字符输入系统，其特征是所述的字符输入接口，用于接收PC实时处理系统发送的命令，根据命令的类型进行相应的处理，包括以下两种情况：
1)如果接收的是字符‘书写’命令，则首先判断是第一个‘书写’命令还是第二个‘书写’命令；若是第一个‘书写’命令，则保存用户注视的刺激圆的位置信息，等待接收第二个‘书写’命令；若是第二个‘书写’命令，则保存用户注视的刺激圆的位置信息，并在两个刺激圆之间绘制一条绿色的直线；
2)如果接收的是字符‘控制’命令，则根据控制命令的功能做相应的处理；若是‘Delete’键命令，则删除前一个书写或控制操作；若是‘S/L’键命令，则将当前输入到文本区的字符进行大小写转换；若是‘Enter’键命令，则将已书写或绘制好的字符输送到文本区显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710127301.4A CN107037889B (zh) | 2017-03-06 | 2017-03-06 | 一种基于视觉脑机接口的自然书写字符输入方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710127301.4A CN107037889B (zh) | 2017-03-06 | 2017-03-06 | 一种基于视觉脑机接口的自然书写字符输入方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107037889A true CN107037889A (zh) | 2017-08-11 |
| CN107037889B CN107037889B (zh) | 2020-04-03 |
Family
ID=59533265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710127301.4A Expired - Fee Related CN107037889B (zh) | 2017-03-06 | 2017-03-06 | 一种基于视觉脑机接口的自然书写字符输入方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107037889B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656612A (zh) * | 2017-09-06 | 2018-02-02 | 天津大学 | 基于p300‑ssvep的大指令集脑‑机接口方法 |
| CN108294748A (zh) * | 2018-01-23 | 2018-07-20 | 南京航空航天大学 | 一种基于稳态视觉诱发的脑电信号采集与分类方法 |
| CN109582131A (zh) * | 2018-10-29 | 2019-04-05 | 中国航天员科研训练中心 | 一种异步混合脑机接口方法及系统 |
| CN110007769A (zh) * | 2019-04-16 | 2019-07-12 | 山东建筑大学 | 一种基于异步脑机接口的交流系统和方法 |
| JP2019139769A (ja) * | 2018-02-05 | 2019-08-22 | 株式会社テラプローブ | 脳波を用いた入力システム及びプログラム |
| CN111487988A (zh) * | 2020-03-03 | 2020-08-04 | 天津大学 | 基于稳态视觉诱发电位脑-机接口的脑控无人机方法 |
| CN111571619A (zh) * | 2020-04-17 | 2020-08-25 | 上海大学 | 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法 |
| CN112698729A (zh) * | 2021-01-19 | 2021-04-23 | 华南理工大学 | 一种基于脑信号与语音相结合的字符输入方法 |
| CN113672082A (zh) * | 2021-07-12 | 2021-11-19 | 华南理工大学 | 一种多通道高共模抑制比低功耗脑电采集的脑机接口系统 |
| CN114415833A (zh) * | 2022-01-10 | 2022-04-29 | 太原理工大学 | 一种基于时空变频ssvep的脑电异步控制软件设计方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699216A (zh) * | 2013-11-18 | 2014-04-02 | 南昌大学 | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 |
| CN103995582A (zh) * | 2014-04-25 | 2014-08-20 | 南昌大学 | 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 |
-
2017
- 2017-03-06 CN CN201710127301.4A patent/CN107037889B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699216A (zh) * | 2013-11-18 | 2014-04-02 | 南昌大学 | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 |
| CN103995582A (zh) * | 2014-04-25 | 2014-08-20 | 南昌大学 | 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656612B (zh) * | 2017-09-06 | 2020-05-12 | 天津大学 | 基于p300-ssvep的大指令集脑-机接口方法 |
| CN107656612A (zh) * | 2017-09-06 | 2018-02-02 | 天津大学 | 基于p300‑ssvep的大指令集脑‑机接口方法 |
| CN108294748A (zh) * | 2018-01-23 | 2018-07-20 | 南京航空航天大学 | 一种基于稳态视觉诱发的脑电信号采集与分类方法 |
| JP2019139769A (ja) * | 2018-02-05 | 2019-08-22 | 株式会社テラプローブ | 脳波を用いた入力システム及びプログラム |
| CN109582131A (zh) * | 2018-10-29 | 2019-04-05 | 中国航天员科研训练中心 | 一种异步混合脑机接口方法及系统 |
| CN109582131B (zh) * | 2018-10-29 | 2021-09-07 | 中国航天员科研训练中心 | 一种异步混合脑机接口方法 |
| CN110007769A (zh) * | 2019-04-16 | 2019-07-12 | 山东建筑大学 | 一种基于异步脑机接口的交流系统和方法 |
| CN111487988B (zh) * | 2020-03-03 | 2022-04-15 | 天津大学 | 基于稳态视觉诱发电位脑-机接口的脑控无人机方法 |
| CN111487988A (zh) * | 2020-03-03 | 2020-08-04 | 天津大学 | 基于稳态视觉诱发电位脑-机接口的脑控无人机方法 |
| CN111571619A (zh) * | 2020-04-17 | 2020-08-25 | 上海大学 | 一种基于ssvep脑控机械臂抓取的生活辅助系统与方法 |
| CN112698729A (zh) * | 2021-01-19 | 2021-04-23 | 华南理工大学 | 一种基于脑信号与语音相结合的字符输入方法 |
| CN112698729B (zh) * | 2021-01-19 | 2023-06-06 | 华南理工大学 | 一种基于脑信号与语音相结合的字符输入方法 |
| CN113672082A (zh) * | 2021-07-12 | 2021-11-19 | 华南理工大学 | 一种多通道高共模抑制比低功耗脑电采集的脑机接口系统 |
| CN113672082B (zh) * | 2021-07-12 | 2024-09-06 | 华南理工大学 | 一种多通道高共模抑制比低功耗脑电采集的脑机接口系统 |
| CN114415833A (zh) * | 2022-01-10 | 2022-04-29 | 太原理工大学 | 一种基于时空变频ssvep的脑电异步控制软件设计方法 |
| CN114415833B (zh) * | 2022-01-10 | 2022-08-12 | 太原理工大学 | 一种基于时空变频ssvep的脑电异步控制软件设计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107037889B (zh) | 2020-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107037889A (zh) | 一种基于视觉脑机接口的自然书写字符输入方法及系统 | |
| CN103995582B (zh) | 一种基于稳态视觉诱发电位脑机接口的字符输入方法及系统 | |
| CN101201696B (zh) | 基于p300脑电电位的中文输入bci系统 | |
| CN103793058B (zh) | 一种主动式脑机交互系统运动想象任务分类方法及装置 | |
| CN102609090B (zh) | 采用脑电时频成分双重定位范式的快速字符输入方法 | |
| CN103699216B (zh) | 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 | |
| Fazel-Rezai | Human error in P300 speller paradigm for brain-computer interface | |
| CN103699226B (zh) | 一种基于多信息融合的三模态串行脑-机接口方法 | |
| CN104978035B (zh) | 基于体感电刺激诱发p300的脑机接口系统及其实现方法 | |
| CN1317624C (zh) | 基于瞬态视觉诱发电位提取脑机接口控制信号的方法 | |
| CN102063180B (zh) | 基于hht高频组合编码稳态视觉诱发电位脑机接口方法 | |
| CN105824418A (zh) | 一种基于非对称视觉诱发电位的脑-机接口通讯系统 | |
| CN111544015B (zh) | 基于认知力的操控工效分析方法、设备及系统 | |
| CN102654793B (zh) | 基于双模校验机制的脑电驱动高可靠操控系统 | |
| Naik et al. | Estimation of independent and dependent components of non-invasive EMG using fast ICA: validation in recognising complex gestures | |
| CN109034015B (zh) | Fsk-ssvep的解调系统及解调算法 | |
| US20210278894A1 (en) | Eog-based method and apparatus for asynchronous character input | |
| CN102306303A (zh) | 一种基于小训练样本的脑电信号特征提取方法 | |
| CN105868560A (zh) | 一种社会心理学调查系统 | |
| CN103019382A (zh) | 一种利用诱发电位反映脑部主观动机信号的脑机接口方法 | |
| CN102799267A (zh) | Ssvep及阻断和p300三特征多脑-机接口方法 | |
| CN105242784B (zh) | 基于交叉调制频率的稳态视觉诱发电位脑‑机接口方法 | |
| CN110688013A (zh) | 一种基于ssvep的英文键盘拼写系统及拼写方法 | |
| CN109144238A (zh) | 一种基于眼电编码的人机交互系统及其交互方法 | |
| KR101768106B1 (ko) | 뇌-컴퓨터 인터페이스 기반 문자 입력 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200609 Address after: 710003 25 / F, block D, Tsinghua Science Park, Keji 2nd Road, Zhangba Street office, hi tech Zone, Xi'an City, Shaanxi Province Patentee after: Xi'an Huinao Intelligent Technology Co.,Ltd. Address before: 999 No. 330031 Jiangxi province Nanchang Honggutan University Avenue Patentee before: Nanchang University |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200403 |