CN106933353A - 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法 - Google Patents

一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法 Download PDF

Info

Publication number
CN106933353A
CN106933353A CN201710079971.3A CN201710079971A CN106933353A CN 106933353 A CN106933353 A CN 106933353A CN 201710079971 A CN201710079971 A CN 201710079971A CN 106933353 A CN106933353 A CN 106933353A
Authority
CN
China
Prior art keywords
cursor
data
control
mental imagery
eeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710079971.3A
Other languages
English (en)
Inventor
魏庆国
卢宗武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201710079971.3A priority Critical patent/CN106933353A/zh
Publication of CN106933353A publication Critical patent/CN106933353A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法，包括电极帽、脑电采集仪、系统控制单元、数据处理模块、光标控制模块以及视觉刺激器。其中所述的视觉刺激器以界面显示方式提供给用户。其方法是用户根据工作界面指令同时执行运动想象和视觉注意任务，电极帽采集脑电信号，脑电采集仪对其进行放大、滤波和模数转换，系统控制单元将运动想象与视觉注意产生的脑电数据分开后保存，数据处理模块依次对两类脑电数据进行预处理、特征提取和分类识别，光标控制模块根据分类识别的结果控制光标进行连续的二维运动。本发明具有控制精度高、稳健性好、可实现二维光标连续运动等优点，可用于计算机鼠标的运动控制。

Description

一种基于运动想象和编码调制视觉诱发电位的二维光标运动 控制系统及方法
技术领域
本发明涉及脑机接口技术和计算机技术。
技术背景
计算机是一种非常流行的设备，使用计算机是一种现代工作、生活和娱乐方式。然而，现有的计算机都是为上肢正常的人设计的，需要健全的手指操作鼠标和键盘。肌萎缩性侧索硬化、脑干中风、脑瘫、脊髓损伤、帕金森氏等神经疾病，使患者大脑中枢神经系统受到损伤，引起肢体产生运动功能障碍。这些患者不能像正常人一样使用计算机，给他们的生活带来极大的不便和困扰。
脑机接口(Brain-Computer Interface,BCI)监测用户的脑活动，解读用户的意图，并将用户的意图转换为外部命令。作为一种新的、非肌肉的通信通道，BCI能够使人直接通过大脑来表达思想或操纵设备，而不需要借助语言或肢体动作。对于严重的运动残疾患者，BCI能够将他们的意图传送到外部装置，比如计算机、家用电器、护理设备以及神经假体等，从而改进他们的生活质量。
不同的脑电(Electroencephalography,EEG)信号分量，例如慢皮层电位、Mu/Beta节律、事件相关P300电位、以及视觉诱发电位(Visual Evoked Potential,VEP)，都可以用作BCI的特征信号。
运动想象是一种重要的BCI实现模式。电生理学研究表明，当一个人执行或想象某个运动时，在其大脑特定区域的Mu/Beta节律信号的功率会下降，称为时件相关去同步(Event-Related Desynchronization,ERD)；当运动执行或运动想象结束时，在其大脑特定的区域的Mu/Beta节律信号的功率会上升，称为事件相关同步(Event-RelatedSynchronization,ERS)。不同肢体的运动执行或运动想象引起不同区域的Mu/Beta节律的功率变化。BCI可根据这种变化对用户不同的想象任务进行判别，从而确定用户的意图，并将这种意图转化为外部设备的控制命令。
视觉注意是另一种重要的BCI实现模式。视觉注意会在大脑特定区域产生视觉诱发电位(Visual Evoked Potential,VEP)。VEP反映了大脑的视觉信息处理机制，是人眼对闪光刺激的一种响应。由中心视场的刺激诱发的VEP大于由周边刺激诱发的VEP，因而不同的刺激可由人的视觉进行控制。按照刺激目标的调制序列不同，VEP可分为时间调制的VEP(t-VEP)，频率调制的VEP(f-VEP)和伪随机码调制的VEP(c-VEP)。基于c-VEP的BCI是一种新的BCI实现模式,能够取得高的分类识别率和信息传输率。在一个c-VEP BCI系统中，一个伪随机二进制码以及它的不同延时的循环移位码被用于调制不同的视觉刺激目标。当一个人注视其中一个目标时，在他大脑的枕区将诱发一个c-VEP，并能使用模板匹配等方法进行检测。
要操作和使用计算机，用户首先要将光标移动到目标或图标位置，再使用光标对目标或图标进行选择，这就要求用户能够对光标运动进行控制，而且这种光标运动必须是二维的和连续的，才能将光标从任意一个初始位置移动到任意一个目标位置。因此，二维光标运动控制是操作和使用计算机的前提条件。现有的计算机需要用户操作鼠标对光标进行运动控制。对于运动功能障碍患者，在不使用鼠标的条件下如何帮助他们实现二维光标的运动控制，是科技界亟待解决的问题。
目前存在的利用BCI控制光标运动的主要技术是基于多类运动想象BCI技术、基于SSVEP和P300电位的混合BCI技术、以及基于运动想象和P300电位的混合BCI技术，如中国专利“一种基于运动想象脑机接口二维光标运动的控制方法(201210240694.7)”利用左手、右手和脚三种运动想象产生的BCI分类输出概率控制光标同时在水平和垂直方向的运动；中国专利“一种基于脑机接口的光标控制系统及方法(201310111544.0)”利用SSVEP诱发电位控制光标在水平方向上的运动，利用P300诱发电位控制光标在垂直方向上的运动；中国专利“一种脑机接口的二维光标控制方法及装置(201010509561.6)”利用运动想象产生的ERD/ERS电位控制光标在水平方向的运动，同时利用P300诱发电位控制光标在垂直方向的运动。然而，基于多类运动想象的单模式BCI，用户控制二维光标运动的难度较大，需要长时间的训练；基于SSVEP和P300电位的混合BCI，提供两个二进制输出变量，只能实现二维光标的离散控制，造成非平滑的Z字型光标运动；基于运动想象和P300诱发电位的混合BCI，受P300电位检测时间长的影响，二维光标运动控制的速度较慢。
发明内容
本发明的目的是克服现有技术的缺陷，提出了一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法。
要控制计算机光标在屏幕上作二维运动，需要两个独立的控制变量分别、独立、同时控制光标在水平和垂直方向的运动，而且要求这种二维光标运动是连续平滑的，才能将光标从任意一个起始位置移动到任意一个目标位置。为了保证二维光标运动的稳定性，还要求在水平和垂直方向的控制具有高的准确率。本发明中基于运动想象和视觉注意的双模式混合BCI，提供了两个独立的控制变量，可以分别、独立、同时控制光标在水平和垂直方向的运动；由于基于运动想象的BCI输出变量是连续的，确保了二维光标运动的连续性；由于这两种BCI具有高的分类识别率，因而这种二维光标运动也具有较高的稳定性。
本发明是通过以下技术方案实现的。
本发明的一个方面在于提供了一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统，所述的二维光标运动控制系统包括电极帽、脑电采集仪、系统控制单元、数据处理模块、光标控制模块以及视觉刺激器。电极帽、脑电采集仪、系统控制单元、数据处理模块、光标控制模块依次连接，视觉刺激器连接到系统控制单元，其中系统控制单元、数据处理模块、光标控制模块在计算机中编程实现；视觉刺激器用于诱发编码调制视觉诱发电位(c-VEP)信号，以界面显示方式提供给用户。电极帽用于采集脑电信号，并输出给脑电采集仪，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，启动系统工作界面，并控制视觉刺激器中的刺激键按设定的伪随机序列闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动。光标运动过程作为视觉信息反馈给用户，帮助用户调整运动想象脑状态。
所述的视觉刺激器包含6个刺激键，分布于计算机屏幕四周。其中上边框中2个“up(向上)”刺激键以相同的第一个伪随机序列闪光；下边框中的2个“down(向下)”刺激键以相同的第二个伪随机序列闪光，左、右边框中各一个“stop(停止)”刺激键以相同的第三个伪随机序列闪光。第一个伪随机序列为一个63比特的M序列，第二个和第三个伪随机序列由第一个伪随机序列分别进行16比特和32比特的循环移位得到。第一个伪随机序列为：[1,0,0,0,0,0,1,1,1,0,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,0,1,0,1,1,0,1,0,1,1,1,0,1,1,1,1,0,0,1,1,0,0,0,1,0,1,0,1,0,0,1,1,1,1,1,1,0]；第二个伪随机序列为：[0,0,1,0,1,0,1,0,0,1,1,1,1,1,1,0,1,0,0,0,0,0,1,1,1,0,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,0,1,0,1,1,0,1,0,1,1,1,0,1,1,1,1,0,0,1,1,0]；第三个伪随机序列为：[0,1,0,1,1,1,0,1,1,1,1,0,0,1,1,0,0,0,1,0,1,0,1,0,0,1,1,1,1,1,1,0,1,0,0,0,0,0,1,1,1,0,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,0,1,0,1,1]。其中‘1’表示亮(即发白光)，‘0’表示黑(即不发光)。
本发明的另一个方面在于提供了一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制方法。首先，系统控制单元启动系统工作界面，在工作界面上随机产生光标和目标，控制视觉刺激器上的刺激键以设定的伪随机码闪光；用户根据系统提供的指令，注视特定的刺激键并同时执行特定的运动想象任务；电极帽实时采集头皮脑电信号，经脑电采集仪放大、滤波和模数转换后，通过数据线输入计算机；系统控制单元接收脑电数据，根据电极位置将运动想象产生的脑电数据和视觉注意产生的脑电数据分开，保存在计算机内存中；数据处理模块实时对这两类数据进行不同的预处理、特征提取和分类识别；光标控制模块根据两类数据的分类结果，计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动。光标运动过程作为视觉信息反馈给使用者，帮助使用者调整运动想象脑状态。
本发明所述的控制方法，包含以下具体步骤：
1)系统初始化：使用者穿戴电极帽，坐在计算机正前方，眼睛与屏幕保持大约0.6米的距离。电极按照“国际10/20标准导联系统”放置，记录运动想象数据的电极位于大脑初级运动传感区域和辅助运动区域，记录视觉注意数据的电极位于大脑枕部区域。给记录电极通道注入导电胶，并确保其与头皮接触良好。系统控制单元启动系统工作界面，在工作界面上随机产生光标和目标，启动视觉刺激器工作。
2)脑电信号采集：使用者根据工作界面指令的要求，在注视特定刺激键的同时，执行特定的运动想象任务，产生的头皮脑电信号通过电极帽采集，经过脑电采集仪放大、滤波和模数转换后，通过数据线将数字化的脑电数据输入计算机。系统控制单元接收脑电数据，按照电极位置将两类脑电数据分开后，保存在内存中。
3)脑电数据处理：数据处理模块对运动想象产生的脑电信号和视觉注意产生的脑电信号依次进行预处理、特征提取和分类识别，然后将分类识别的结果传输到光标控制模块。
4)光标运动控制：光标控制模块根据两类数据的分类结果计算光标在水平和垂直方向的位移，控制光标在工作界面进行连续的二维运动。在光标移动过程中，使用者判断光标是否到达目标位置。如果光标到达目标位置，使用者停止操作，本次光标运动控制任务结束；如果光标未到达目标位置，使用者重复步骤2)和步骤3)，继续控制光标移动。
所述步骤2)中工作界面指令是指，打开工作界面时系统随机产生光标和目标，要求使用者将光标从当前所在位置移动到目标所在位置。
所述步骤2)中特定的刺激键是指，当使用者想要控制光标在垂直方向向上运动时，使用者需要注视工作界面上边框中的两个视觉刺激键之一。这两个刺激键以第一个伪随机码闪光，该伪随机码对应的c-VEP信号被指定为控制光标向上运动；当使用者想要控制光标在垂直方向向下运动时，使用者需要注视工作界面下边框中的两个视觉刺激键之一。这两个刺激键以第二个伪随机码闪光，该伪随机码对应的c-VEP信号被指定为控制光标向下运动；当使用者想要控制光标在垂直方向停止运动时，使用者需要注视工作界面左、右边框中的两个刺激键之一。这两个刺激键以第三个伪随机码闪光，该伪随机码对应的c-VEP信号被指定为控制光标在垂直方向停止运动。
所述步骤2)中特定的运动想象任务是指，当使用者想要控制光标在水平方向向左运动时，使用者需要执行左手运动想象任务，该任务被指定为控制光标向左运动；当使用者想要控制光标在水平方向向右运动时，使用者需要执行右手运动想象任务，该任务被指定为控制光标向右运动；当使用者需要控制光标在水平方向停止运动时，使用者需要停止执行任何运动想象任务。
所述步骤2)中按照电极的位置将两类脑电数据分开是指，位于大脑初级运动传感区域和辅助运动区域的电极记录的数据为运动想象产生的脑电数据，位于大脑枕部区域的电极记录的数据为视觉注意产生的脑电数据。
所述步骤3)中对运动想象产生的脑电信号进行预处理包括降采样率、使用共平均参考(Common Average Reference,CAR)对降采样率后的数据重定参考点、以及对重定参考点的数据进行8～30Hz的带通滤波，提取包含Mu节律和Beta节律频带的ERD/ERS信号。
所述步骤3)中对运动想象产生的脑电信号进行特征提取是指，使用共空域模式(Common Spatial Pattern,CSP)算法计算空域滤波器，对带通滤波后的多通道数据进行空域滤波，将两类数据投影到最有判别力的方向，提取投影后数据的方差作为分类特征。特征提取过程的具体处理步骤如下：
①使用CSP算法计算空域滤波器
根据两类已知标签的训练数据，分别计算归一化平均协方差矩阵
式中X1i与X2i分别为类1(左手运动想象)与类2(右手运动想象)第i次实验的多通道脑电数据，N1与N2分别为类1与类2训练样本数，T为转置运算符，trace(A)表示求矩阵A对角线上的元素之和。
对混合协方差矩阵Rc＝R1+R2进行特征值分解式中Uc为特征矢量矩阵，Σc为特征值对角矩阵。在此基础上计算白化变换矩阵对R1和R2进行白化变换R1t＝PR1PT,R2t＝PR2PT，分别对R1t与R2t做特征分解，R1t＝UΣ1UT,R2t＝UΣ2UT。R1t和R2t具有相同的特征矢量矩阵U，而且它们的特征值矩阵之和为单位矩阵，即Σ1+Σ2＝I。因此，当一类数据的特征值取最大值时，另一类数据的特征值将取最小值，从而可以将两类数据最大程度地分开。
将特征值按下降的次序排列，特征向量按同样的次序排列，则CSP投影矩阵被定义为W＝UTP。投影矩阵W的行称为空域滤波器，而它的列称为空域模式。由W的前m行和后m行分别组成两类数据的空域滤波矩阵Fc1∈Rm×M,c1＝1,2。其中M为电极通道的数目，c1＝1表示左手运动想象，c1＝2表示右手运动想象。
②对带通滤波后的多通道数据进行空域滤波
给定第i次实验的测试数据Xi∈RM×T，式中T为单次实验的数据长度，即时间点数。分别使用两类空域滤波器对其进行空域滤波，可得到第i次实验数据的源分量
Zc1＝Fc1Xi,c1＝1,2 (2)
源分量将两类信号投影到最有判别力的方向，基于源分量可以构造分类特征信号。
③分类特征信号定义
基于源分量信号的方差，分类特征信号可定义为
对数运算是为了使f1与f2中元素更加趋于正态分布。用于分类的特征向量可通过连接这两个特征信号组成f＝[f1,f2]。
所述步骤3)中对运动想象产生的脑电信号进行分类是指，使用支持向量机(Support Vector Machine,SVM)对基于CSP算法提取的脑电特征信号进行分类。
所述步骤3)中对视觉注意产生的脑电信号进行预处理是指，对视觉注意产生的脑电信号进行2～30Hz的带通滤波，并对带通滤波后的信号去均值和去趋势，提取包括可以用作c-VEP的频带信号。
所述步骤3)中对视觉注意产生的脑电信号进行特征提取是指，使用典型相关分析(Canonical Correlation Analysis,CCA)由训练数据计算空域滤波器，分别对多次实验平均的训练数据和单次实验的测试数据进行空域滤波，获得参考目标的一维模板信号和当前测试目标的一维c-VEP信号。对一维参考模板信号进行循环移位，获得其他两个目标的模板信号。将当前测试目标的c-VEP信号与所有三个目标的模板进行匹配，可获得三个相关系数。特征提取过程包括如下三个步骤：
①估计空域滤波器：假定2个“up(向上)”刺激键为参考目标，由这两个键之一得到的N次实验(即N个刺激周期)的EEG观测数据单次实验数据的长度为Np＝1050点，其均值为
去均值后的单次实验数据为对去均值后N次实验的EEG数据进行平均，可获得该参考目标的事件相关电位(event-related potential,ERP)信号
将N次实验的ERP信号连接在一起，可得到连续的EEG信号分量而去均值后连续的EEG观测分量X＝[X1,X2,…,XN]。根据S和X可由CCA算法计算最优空域滤波器。考虑一对线性结合x＝XTWx与s＝STWs。CCA算法的作用是找到权矢量Wx与Ws，使x与s之间的相关最大化。下面的约束优化问题可求解多通道脑电信号X与S之间的最大CCA系数γ以及相应的空域滤波器矩阵Wx与Ws
取空域滤波器矩阵Wx的第一列作为空域滤波器wx＝Wx(1,:)。
②模板设计：使用空域滤波器wx对多通道事件相关电位(ERP)信号进行空域滤波，得到参考目标的一维模板向量其中上标T表示转置运算。将其分别进行16比特和32比特的循环移位，得到其它两对不同目标(即2个刺激键‘Down’和2个刺激键‘Stop’)的一维模板向量Tk(t)＝Tr(t-τ(c2))，其中τ(c2)＝16×c2,c2＝0,1,2。
③模板匹配：对于实时记录的、单次实验的多通道测试数据Xc，使用空域滤波器进行空域滤波，得到一维的测试信号向量将xc与三个模板Tc2,c2＝0,1,2分别匹配，可得到三个相关系数如下
这三个相关系数ρc2,c2＝0,1,2，即为对当前被注视目标进行识别的特征信号。
所述步骤3)中对视觉注意产生的脑电信号进行分类识别是指，根据特征提取步骤求出的每个目标(即刺激键)对应的相关系数，识别用户当前注视的目标及其对应的命令。三个相关系数中最大的系数对应的目标判决为用户注视的目标，该目标对应的命令为用户想要表达的命令c，可用公式表示如下
所述步骤4)中根据两类数据的分类结果计算光标在水平和垂直方向的位移是指，根据运动想象数据和视觉注意数据的分类结果，按照如下两个模型分别计算光标在水平和垂直方向的位移：
①光标水平位移。根据运动想象的分类结果，光标的水平位移由以下模型实现
式中k表示光标位置的更新序号，x(k)是光标的水平坐标，s(k)是SVM分类器的连续输出，a与b是两个常数。截取当前时刻之前1200毫秒的特征数据用于分类，每隔200毫秒SVM分类器输出一个连续值s(k)。a与b的选择是为了确保用户在空闲(即不执行运动想象任务)时，光标在水平方向停止运动。为此，需要记录用户N段空闲时的EEG数据，每段长为200毫秒，并计算由空闲数据产生的SVM分类输出si(j),j＝1,2,…,N。
设则a与b由下式确定
式中参数h用于调节光标在水平方向的运动速度，其值可由实验确定，一般可设置h＝8。
②光标垂直位移。光标的垂直位移由c-VEP检测的分类结果确定。假设c(k)∈{1,-1,0}，其中1表示光标向下运动(对应‘Down’键)，－1表示光标向上运动(对应‘Up’键),0表示光标在垂直方向停止运动(对应‘Stop’键)。光标在垂直方向的位移由以下模型计算
Δy(k)＝y(k+1)-y(k)＝c(k)·v0 (11)
光标位置每200毫秒更新一次，y(k)表示光标第k次更新后的位置，v0为一个正的速度常数，可由用户实验决定，一般取10个象素。当c(k)分别取值1和－1时，光标将以每200毫秒10个象素的速度分别向下和向上运动，而当c(k)取值为0时，光标在垂直方向将停止运动。
与现有技术相比，本发明具有如下优点和有益效果：
1)本发明将基于运动想象和编码调制视觉诱发电位的混合BCI用于二维光标的运动控制，实现了光标在水平和垂直两个方向上的分别、独立和同时控制。
2)本发明使用户能够控制光标从计算机屏幕上任意一个初始位置移动到任意一个目标位置，而且光标在屏幕上的移动是连续平滑的，避免了Z字型跳跃运动的缺点。
3)本发明在光标和目标与运动区域大小之比为0.3％的条件下，击中目标的平均准确率高于90％，到达目标的平均时间约为25秒，控制精度和控制速度较高。
附图说明
图1是本发明二维光标运动控制系统原理框图。
图2是本发明二维光标运动控制系统工作界面。
图3是本发明实现二维光标运动控制的信号处理算法。
图4是基于CSP算法的运动想象数据分类方法。
图5是基于CCA算法的视觉注意数据识别方法。
具体实施方式
以下结合附图和实施例对本发明做详细说明，但本发明的实施方式不限于此。
如图1所示，本发明提出了一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统，该系统包括电极帽、脑电采集仪、计算机中的系统控制单元、数据处理模块与光标控制模块、以及位于计算机屏幕四周的视觉刺激器。
其中，电极帽用于采集多通道脑电信号，电极位置按“国际10/20标准导联系统”放置，用于记录脑电信号的电极包括记录运动想象信号的电极和记录视觉注意信号的电极。记录运动想象信号的电极位于大脑初级运动传感区域和辅助运动区域；记录视觉注意信号的电极位于大脑枕部区域。
其中，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换，通过数据线将数字化脑电数据输入计算机。
其中，系统控制单元启动系统工作界面，在工作界面上随机产生光标和目标，控制视觉刺激器上的刺激键以设定的调制编码闪光。
其中，数据处理模块分别对运动想象产生的脑电数据和视觉注意产生的脑电数据进行实时预处理、特征提取和分类识别。
其中，光标控制模块根据数据处理模块分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动。
其中，视觉刺激器包含6个产生c-VEP视觉刺激的刺激键，分布于工作界面的四条边框中。上边框中2个刺激键以第一个伪随机码闪光；下边框中的2个刺激键以第二个伪随机码闪光，左、右边框中各一个刺激键以第三个伪随机码闪光。每个伪随机码调制的2个刺激键具有相同的功能。设置两个相同功能的刺激键是为了避免用户过多地移动视线，方便用户操作。
本发明提出了一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制方法。下面结合图2至图5进行详细说明。
图2为二维光标运动控制的工作界面。如图2所示，工作界面四条边框中分布了6个产生c-VEP视觉刺激的刺激键。这6个刺激键组成了诱发c-VEP信号的视觉刺激器。其中，上边框中两个“up”键控制光标向上运动；下边框中两个“down”键控制光标向下运动，左、右两个边框中各一个“stop”键为功能键，控制光标到达目标后在垂直方向停止运动。系统启动后，光标和目标随机出现，用户通过注视刺激键和同时进行左手或右手运动想象控制光标向目标位置移动。
图3为实现二维光标运动控制的信号处理算法流程图。如图3所示，数据处理模块对内存中分开存放的两类数据进行不同的预处理、特征提取与分类识别。
对于运动想象EEG数据，数据处理模块依次对其使用共平均参考重定参考点、进行8～30Hz带通滤波提取ERD/ERS信号、使用CSP算法计算两类电信号的空域滤波器、对测试信号进行空域滤波后提取运动想象特征信号、以及使用SVM对特征信号进行分类。光标控制模块根据SVM分类结果，计算光标在水平方向的位移。光标的水平位移由以下模型实现
式中k表示光标位置更新的次序，x(k)是光标的水平坐标，s(k)是SVM分类器的连续输出，a与b是两个常数。截取当前时刻之前1200毫秒的特征数据用于分类，每隔200毫秒SVM分类器输出一个连续值s(k)。a与b的选择是为了确保用户在空闲(即不执行运动想象任务)时，光标在水平方向停止运动。为此，需要记录用户N(在本实施例中N＝500)段空闲时的EEG数据，每段长为200毫秒，并计算由空闲数据产生的SVM分类输出si(j),j＝1,2,…,N。
设则a与b由下式确定
式中参数h用于调节光标在水平方向的运动速度，在本实施例中h＝8。
对于视觉注意EEG数据，数据处理模块依次对其进行2～30Hz的带通滤波、去均值提取c-VEP信号，使用CCA算法对c-VEP信号进行空域滤波，并将空域滤波后的c-VEP信号与三个模板进行匹配，识别当前被注视的目标。光标控制模块根据对目标的识别结果，计算光标在垂直方向的位移。假设c(k)∈{1,-1,0}，其中1表示光标向下运动(对应‘Down’键)，－1表示光标向上运动(对应‘Up’键),0表示光标在垂直方向停止运动(对应‘Stop’键)。光标在垂直方向的位移由以下模型计算
Δy(k+1)＝y(k+1)-y(k)＝c(k)·v0 (14)
光标位置每200毫秒更新一次，y(k)表示光标第k次更新后的位置。v0为一个正的速度常数，在本实施例中v0设置为10个象素。c(k)为光标运动方向控制因子，由当前视觉注意的识别结果决定。当c(k)分别取值1和－1时，光标将以每200毫秒10个象素的速度分别向下和向上运动，而当c(k)取值为0时，光标在垂直方向将停止运动。
图4是基于CSP算法的运动想象数据分类方法流程图。CSP是一种监督模式识别算法，当其应用于左手和右手运动想象分类时，需要针对特定的用户采集训练数据，根据已知类别的训练数据估计两个空域滤波器，对在线测试数据进行空域滤波，提取两个源分量并根据源分量定义特征向量，使用训练数据训练SVM分类器，对测试信号的特征向量进行分类。使用CSP算法对运动想象数据分类的具体步骤如下：
①使用CSP算法计算空域滤波器。
使用共平均参考对两类已知标签的训练数据重定参考点，进行带通(8-30Hz)滤波后，分别计算归一化平均协方差矩阵
式中X1i与X2i分别为类1(左手运动想象)与类2(右手运动想象)第i次实验的多通道脑电数据，N1与N2分别为类1与类2训练样本数，T为转置运算符，trace(A)表示求矩阵A对角线上的元素之和。本实施例中N1＝N2＝100。
对混合协方差矩阵Rc＝R1+R2进行特征值分解式中Uc为特征矢量矩阵，Σc为特征值对角矩阵。在此基础上计算白化变换矩阵对R1和R2进行白化变换R1t＝PR1PT,R2t＝PR2PT，分别对R1t与R2t做特征分解，R1t＝UΣ1UT,R2t＝UΣ2UT。R1t和R2t具有相同的特征矢量矩阵U，而且它们的特征值矩阵之和为单位矩阵，即Σ1+Σ2＝I。因此，当一类数据的特征值取最大值时，另一类数据的特征值将取最小值，从而可以将两类数据最大程度地分开。
将特征值按下降的次序排列，特征向量按同样的次序排列，则CSP投影矩阵被定义为W＝UTP。投影矩阵W的行称为空域滤波器，而它的列称为空域模式。由W的前m行和后m行分别组成两类数据的空域滤波矩阵Fc1∈Rm×M,c1＝1,2。其中M为电极通道的数目，c1＝1表示左手运动想象，c1＝2表示右手运动想象。本实施例中m＝2。
②对带通滤波后的训练和测试数据进行空域滤波。
给定第i次实验的训练或测试数据Xi∈RM×T，式中T为单次实验的数据长度，即时间点数。分别使用两类空域滤波器对其进行空域滤波，可得到第i次实验数据的源分量
Zc1＝Fc1Xi,c1＝1,2 (16)
源分量将两类信号投影到最有判别力的方向，基于源分量可以构造分类特征信号。
③基于源分量定义特征信号。
计算两类源分量的方差，根据源分量的方差定义特征信号
对数运算是为了使多次试验得到的f1与f2中元素更加趋于正态分布。用于分类的特征向量可通过连接这两个特征信号组成f＝[f1,f2]。
④使用SVM分类器对特征向量进行分类。
使用线性SVM对特征向量进行分类，其中调节参数η由实验确定。在本实施例中，η＝100。SVM的输出每200毫秒更新一次。为了确保光标运动的连续性，将SVM的连续输出信号s(k)输入光标控制模块，计算光标下一次更新的水平位移和水平坐标。
图5是基于CCA算法的编码调制视觉诱发电位信号识别方法流程图。CCA是一种处理多变量信号的统计方法，用于考查两类数据之间的相关关系。当CCA用于c-VEP信号的分类识别时，需要一个参考目标的训练数据作为参考数据。使用CCA算法对c-VEP信号进行识别的具体步骤如下：
①估计空域滤波器：假定2个“up(向上)”刺激键为参考目标，由这两个键之一得到的N次实验(即N个刺激周期)的EEG观测数据在本实施例中，N＝100。单次实验数据的长度为Np＝1050点，其均值为
去均值后的单次实验数据为对去均值后N次实验的EEG数据进行平均，可获得该参考目标的事件相关电位(event-related potential,ERP)信号
将N次实验的ERP信号连接在一起，可得到连续的EEG信号分量而去均值后连续的EEG观测分量X＝[X1,X2,…,XN]。根据S和X可由CCA算法计算最优空域滤波器。考虑一对线性结合x＝XTWx与s＝STWs。CCA算法的作用是找到权向量Wx与Ws，使x与s之间的相关最大化。下面的约束优化问题可求解多通道脑电信号X与S之间的最大CCA系数γ以及相应的空域滤波器矩阵Wx与Ws
取空域滤波器矩阵Wx的第一列作为空域滤波器wx＝Wx(1,:)。
②模板设计：使用空域滤波器wx对多通道ERP信号进行空域滤波，得到参考目标的一维模板向量其中上标T表示转置运算。将其分别进行16比特和32比特的循环移位，得到其它两对不同目标(即2个刺激键‘Down’和2个刺激键‘Stop’)的一维模板向量Tk(t)＝Tr(t-τ(c2))，其中τ(c2)＝16×c2,c2＝0,1,2。
③模板匹配：对于实时记录的、单次实验的多通道测试数据Xc，使用空域滤波器进行空域滤波，得到一维的测试信号向量将xc与三个模板Tc2,c2＝0,1,2分别匹配，可得到三个相关系数如下
这三个相关系数ρc2,c2＝0,1,2，即为对当前被注视目标进行识别的特征信号。
④目标识别：在由步骤③得到的三个相关系数中，最大的系数对应的目标判决为用户注视的目标，该目标对应的命令为用户想要表达的命令c，用公式表示如下
。

Claims (2)

1.一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统，其特征是包括电极帽、脑电采集仪、系统控制单元、数据处理模块、光标控制模块以及视觉刺激器；电极帽、脑电采集仪、系统控制单元、数据处理模块、光标控制模块依次连接，视觉刺激器连接到系统控制单元，其中系统控制单元、数据处理模块、光标控制模块在计算机中编程实现；视觉刺激器用于诱发编码调制视觉诱发电位信号，以界面显示方式提供给用户；电极帽用于采集脑电信号，并输出给脑电采集仪，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，启动系统工作界面，并控制视觉刺激器中的刺激键以设定的伪随机编码闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动；光标运动过程作为视觉信息反馈给用户，帮助用户调整运动想象脑状态；
所述的视觉刺激器包含6个刺激键，分布于计算机屏幕四周；其中上边框中2个“up”刺激键以相同的伪随机码闪光；下边框中的2个“down”刺激键以相同的伪随机码闪光，左、右边框中各一个“stop”刺激键以相同的伪随机码闪光。
2.权利要求1所述的基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统的控制方法，其特征是按如下步骤：
1)系统初始化：使用者穿戴电极帽，坐在计算机正前方，眼睛与屏幕保持大约0.6米的距离；电极按照“国际10/20标准导联系统”放置，记录运动想象数据的电极位于大脑初级运动传感区域和辅助运动区域，记录视觉注意数据的电极位于大脑枕部区域；给记录电极通道注入导电胶，并确保其与头皮接触良好；系统控制单元启动系统工作界面，在工作界面上随机产生光标和目标，启动视觉刺激器工作；
2)脑电信号采集：使用者根据工作界面指令的要求，在注视特定刺激键的同时，执行特定的运动想象任务，产生的头皮脑电信号通过电极帽采集，经过脑电采集仪放大、滤波和模数转换后，通过数据线将数字化的脑电数据输入计算机；系统控制单元接收脑电数据，按照电极的位置将两类脑电数据分开后，保存在指定的内存中；
3)脑电数据处理：数据处理模块分别对运动想象产生的脑电信号和视觉注意产生的脑电信号依次进行预处理、特征提取和分类识别，然后将分类识别的结果传输到光标控制模块；
4)光标运动控制：光标控制模块根据两类数据的分类结果，计算光标在水平和垂直方向的位移，控制光标在工作界面进行连续的二维运动；在光标移动过程中，使用者判断光标是否到达目标位置；如果光标到达目标位置，使用者停止操作，本次光标运动控制任务结束；如果光标未到达目标位置，使用者重复步骤2)和步骤3)，继续控制光标移动。
CN201710079971.3A 2017-02-15 2017-02-15 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法 Pending CN106933353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710079971.3A CN106933353A (zh) 2017-02-15 2017-02-15 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710079971.3A CN106933353A (zh) 2017-02-15 2017-02-15 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法

Publications (1)

Publication Number Publication Date
CN106933353A true CN106933353A (zh) 2017-07-07

Family

ID=59424466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710079971.3A Pending CN106933353A (zh) 2017-02-15 2017-02-15 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法

Country Status (1)

Country Link
CN (1) CN106933353A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107390873A (zh) * 2017-07-25 2017-11-24 厦门大学 基于脑电控制的多尺度光标定位方法
CN108319367A (zh) * 2018-01-31 2018-07-24 清华大学 一种脑机接口方法
CN109330589A (zh) * 2018-11-02 2019-02-15 赵小川 一种脑电信号采集处理系统及方法
CN109521880A (zh) * 2018-11-27 2019-03-26 东南大学 一种基于混合生物电信号驱动的遥操作机器人系统及方法
CN109710060A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 感官信息录制方法及装置、系统
CN110109543A (zh) * 2019-04-30 2019-08-09 福州大学 基于被试迁移的c-VEP识别方法
CN110363157A (zh) * 2019-07-17 2019-10-22 杭州电子科技大学 基于时间编码的外骨骼混合脑机接口控制方法
CN110531861A (zh) * 2019-09-06 2019-12-03 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN110852307A (zh) * 2019-11-26 2020-02-28 中国科学院上海高等研究院 基于脑电信号的脑机接口的检测方法、系统、介质及设备
CN111290572A (zh) * 2019-05-21 2020-06-16 华南脑控(广东)智能科技有限公司 一种基于eog信号和头部姿态的驱动装置及驱动方法
CN111966218A (zh) * 2020-07-20 2020-11-20 中国人民解放军军事科学院国防科技创新研究院 一种二维光标控制方法和装置
FR3096252A1 (fr) * 2019-06-28 2020-11-27 Orange Détection robuste de potentiels évoqués via une interface neuronale directe
CN112207816A (zh) * 2020-08-25 2021-01-12 天津大学 基于视图编解码的脑控机械臂系统和控制方法
CN112347984A (zh) * 2020-11-27 2021-02-09 安徽大学 基于嗅觉刺激的eeg采集和情感识别方法及其系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980106A (zh) * 2010-10-15 2011-02-23 华南理工大学 一种脑机接口的二维光标控制方法及装置
CN103699216A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN103699217A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980106A (zh) * 2010-10-15 2011-02-23 华南理工大学 一种脑机接口的二维光标控制方法及装置
CN103699216A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN103699217A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李茂全: "基于VEP的脑机接口系统设计与研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107390873A (zh) * 2017-07-25 2017-11-24 厦门大学 基于脑电控制的多尺度光标定位方法
CN107390873B (zh) * 2017-07-25 2020-03-27 厦门大学 基于脑电控制的多尺度光标定位方法
CN108319367A (zh) * 2018-01-31 2018-07-24 清华大学 一种脑机接口方法
CN109330589A (zh) * 2018-11-02 2019-02-15 赵小川 一种脑电信号采集处理系统及方法
CN109521880A (zh) * 2018-11-27 2019-03-26 东南大学 一种基于混合生物电信号驱动的遥操作机器人系统及方法
CN109710060A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 感官信息录制方法及装置、系统
CN109710060B (zh) * 2018-11-27 2022-04-08 南京恩诺网络科技有限公司 感官信息录制方法及装置、系统
CN110109543A (zh) * 2019-04-30 2019-08-09 福州大学 基于被试迁移的c-VEP识别方法
CN110109543B (zh) * 2019-04-30 2021-08-31 福州大学 基于被试迁移的c-VEP识别方法
CN111290572A (zh) * 2019-05-21 2020-06-16 华南脑控(广东)智能科技有限公司 一种基于eog信号和头部姿态的驱动装置及驱动方法
FR3096252A1 (fr) * 2019-06-28 2020-11-27 Orange Détection robuste de potentiels évoqués via une interface neuronale directe
CN110363157B (zh) * 2019-07-17 2021-08-31 杭州电子科技大学 基于时间编码的外骨骼混合脑机接口控制方法
CN110363157A (zh) * 2019-07-17 2019-10-22 杭州电子科技大学 基于时间编码的外骨骼混合脑机接口控制方法
CN110531861A (zh) * 2019-09-06 2019-12-03 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN110852307A (zh) * 2019-11-26 2020-02-28 中国科学院上海高等研究院 基于脑电信号的脑机接口的检测方法、系统、介质及设备
CN110852307B (zh) * 2019-11-26 2022-07-05 中国科学院上海高等研究院 基于脑电信号的脑机接口的检测方法、系统、介质及设备
CN111966218A (zh) * 2020-07-20 2020-11-20 中国人民解放军军事科学院国防科技创新研究院 一种二维光标控制方法和装置
CN112207816A (zh) * 2020-08-25 2021-01-12 天津大学 基于视图编解码的脑控机械臂系统和控制方法
CN112347984A (zh) * 2020-11-27 2021-02-09 安徽大学 基于嗅觉刺激的eeg采集和情感识别方法及其系统

Similar Documents

Publication Publication Date Title
CN106933353A (zh) 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法
CN103699216B (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
Pfurtscheller et al. 15 years of BCI research at Graz University of Technology: current projects
Citi et al. P300-based BCI mouse with genetically-optimized analogue control
Lemm et al. Spatio-spectral filters for improving the classification of single trial EEG
Pfurtscheller et al. Motor imagery and direct brain-computer communication
Gao et al. A BCI-based environmental controller for the motion-disabled
Rao et al. Brain-computer interfacing [in the spotlight]
Müller-Putz et al. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components
Makeig et al. A natural basis for efficient brain-actuated control
CN103699217A (zh) 一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法
CN111930238B (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN106951064B (zh) 引入对象连续动作的稳态视觉诱发范式设计及辨识方法
Major et al. A survey of brain computer interfaces and their applications
Ko et al. Enhancing the hybrid BCI performance with the common frequency pattern in dual-channel EEG
Ahmadian et al. Constrained blind source extraction of readiness potentials from EEG
Gupta et al. Detecting eye movements in EEG for controlling devices
Sayilgan et al. Evaluation of mother wavelets on steady-state visually-evoked potentials fortriple-command brain-computer interfaces
CN109766845A (zh) 一种脑电信号分类方法、装置、设备和介质
Krauledat Analysis of nonstationarities in EEG signals for improving brain-computer interface performance
CN108523883A (zh) 一种基于实际动作建模的左右食指连续运动想象识别系统
Hu et al. Multi-feature fusion method based on WOSF and MSE for four-class MI EEG identification
CN110688013A (zh) 一种基于ssvep的英文键盘拼写系统及拼写方法
Yan et al. A half-field stimulation pattern for SSVEP-based brain-computer interface
Hortal et al. Selection of the best mental tasks for a svm-based bci system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170707