CN103699216B - 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法 - Google Patents

Abstract

一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法，其系统包括视觉刺激器、脑电采集平台、系统控制单元、数据处理模块、光标控制模块、以及字符输入模块。其中所述的视觉刺激器包括基于LCD的视觉刺激器和基于LED的视觉刺激器，前者以界面显示方式提供给用户，后者由硬件电路实现。其方法是由基于运动想象和基于LCD视觉注意的混合脑机接口模拟计算机鼠标，实现二维光标的运动控制与目标选择，由基于LED视觉注意的脑机接口模拟计算机键盘，实现邮件地址和内容的输入；“鼠标”与“键盘”工作模式由LCD刺激器中的刺激键进行切换。本发明具有光标运动控制精度高、稳健性好，以及字符输入准确率高等优点。

Description

一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法

技术领域

本发明涉及脑机接口技术和通信技术，更具体地说，本发明涉及一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法。

背景技术

人脑通过神经肌肉通道与外界通信或控制外部环境，而许多疾病可能破坏这些神经肌肉通道。例如，肌肉萎缩性侧索硬化、脑干中风、脊髓损伤、脑瘫、帕金森氏、多种硬化病以及其他许多疾病会损害控制肌肉的神经通道或损害肌肉本身。那些受到这些疾病影响的人可能会失去自主的肌肉控制，因而产生运动功能障碍，以至于不能与外界进行通信或控制外部设备。

脑机接口（Brain-Computer Interface,BCI）监测用户的脑活动，解读用户的意图，并将用户的意图转换为外部命令。作为一种新的、非肌肉的通信通道，BCI能够使人直接通过大脑来表达思想或操纵设备，而不需要借助语言或肢体动作。对于严重的运动残疾患者，BCI能够将他们的意图传送到外部装置，比如计算机、家用电器、护理设备以及神经假体等，从而改进他们的生活质量。

不同的脑电（Electroencephalography,EEG）信号分量，例如慢皮层电位、Mu/Beta节律、事件相关P300电位、以及视觉诱发电位（Visual Evoked Potential,VEP），都可以用作BCI的特征信号。

运动想象是一种重要的BCI实现模式。电生理学研究表明，当一个人执行或想象某个运动时，在其大脑特定区域的Mu/Beta节律信号的功率会下降，称为时件相关去同步（Event-Related Desynchronization,ERD）；当运动执行或运动想象结束时，在其大脑特定的区域的Mu/Beta节律信号的功率会上升，称为事件相关同步（Event-RelatedSynchronization,ERS）。不同肢体的运动执行或运动想象引起不同区域的Mu/Beta节律的功率变化。BCI可根据这种变化对用户不同的想象任务进行判别，从而确定用户的意图，并将这种意图转化为外部设备的控制命令。

视觉注意是另一种重要的BCI实现模式。视觉注意会在大脑特定区域产生视觉诱发电位（Visual Evoked Potential,VEP）。VEP反映了大脑的视觉信息处理机制，是人眼对闪光刺激的一种响应。按照重复刺激的频率不同，VEP可分为暂态VEP与稳态VEP。当视觉刺激的重复频率高于6Hz时，连续几次刺激诱发的响应会迭加在一起，使大脑皮层神经元发放与刺激频率同步，在大脑枕部区域脑电活动的节律明显增强，形成一种稳定的响应，称为稳态VEP（Stedy-State VEP,SSVEP）。SSVEP具有与视觉刺激频率相同的基波频率，其基波频率可用特定的信号处理算法进行检测，从而确定用户的意图。

通信是人们生活的重要组成部分，电话与电子邮件是两种主要的通信方式。电子邮件通信包括收信和写信两个方面。收信需要用户对二维光标运动进行控制以及对目标进行选择；写信不仅需要用户进行光标控制和目标选择，而且需要用户能够进行字符输入。对于上肢正常的用户，这些操作很容易通过计算机的鼠标和键盘实现。然而，对于上肢残疾的用户，在不使用鼠标和键盘的条件下如何实现光标运动控制、目标选择以及字符输入，从而实现电子邮件通信，是一个亟待解决的重要问题。

二维光标运动控制需要两个独立的控制变量分别、独立、同时控制光标在水平和垂直方向上的运动，而且这种二维光标运动必须是连续的，才能将光标从任意一个初始位置移动到任意一个目标位置。基于运动想象和视觉注意的混合BCI，可以同时提供两个独立的控制变量，而且基于运动想象BCI的输出变量是连续或模拟信号，因而确保了二维光标运动的连续性。另外，视觉刺激信号可以由液晶显示器（Liquid CrystalDisplay,LCD）产生，也可以由发光二极管（Light Emitting Diode,LED）显示器产生。由于受到屏幕刷新率的限制，基于LCD的视觉刺激器只能提供少数几个刺激频率，可用于控制光标在垂直方向的运动；基于LED的视觉刺激器可提供多大几十个刺激频率，可用于字符输入。

目前还没有发现在不使用计算机鼠标或键盘的条件下，使用脑电信号实现电子邮件通信的技术。

发明内容

本发明的目的是提出一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法。

本发明要解决的技术问题是，电子邮件通信包括收信和写信两个方面。收信要求用户能够对二维光标运动进行控制以及对目标或感兴趣的图标进行选择；写信不仅要求用户能够进行光标控制和目标选择，而且要求用户能够进行字符输入。对于双上肢残疾的用户，在不使用鼠标和键盘的条件下如何实现光标运动控制、目标选择以及字符输入，从而实现电子邮件通信。

本发明是通过以下技术方案实现的。

本发明的一个方面在于提供了一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统，该系统包括视觉刺激器、脑电采集平台、系统控制单元、数据处理模块、光标控制模块、以及字符输入模块。其中系统控制单元、数据处理模块、光标控制模块、以及字符输入模块在计算机中通过软件实现。其中视觉刺激器用于诱发稳态视觉诱发电位（SSVEP）信号，包括基于液晶显示器（Liquid Crystal Display,LCD）和基于发光二极管（Light Emitting Diode,LED）显示器的视觉刺激器。LCD视觉刺激器以界面显示方式提供给用户，而LED视觉刺激器由硬件电路实现；脑电采集平台包括电极帽和脑电采集仪。电极帽用于采集脑电信号，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，提供系统工作界面，并控制LCD视觉刺激器的刺激键以设定的频率闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动，并对感兴趣的目标进行选择；字符输入模块启动LED视觉刺激器，根据数据处理模块分类识别的结果确定输入的字符，并将输入的字符显示在光标所在的位置。系统具有“鼠标”和“键盘”两种工作模式，可通过LCD刺激器中的“Mouse/Keyboard”键进行切换。

所述的LCD视觉刺激器包含8个刺激键，分布于屏幕四周。其中上边框中左、右各一个“up（向上）”刺激键以10Hz频率闪光，用于控制光标在垂直方向向上运动；下边框中左、右各一个“down（向下）”刺激键以12Hz的频率闪光，用于控制光标在垂直方向向下运动；上、下边框中间各一个“mouse/keyboard（鼠标/键盘）”刺激键以15Hz的频率闪光，用于系统在“鼠标”与“键盘”模式之间进行切换；左、右边框中间各一个“stop（停止）”刺激键以20Hz的频率闪光，用于对感兴趣的目标进行选择。

所述的LED视觉刺激器包括32个刺激键，它们以不同的频率闪光，频率范围在6Hz～28Hz之间，频率间隔为0.5Hz，用于字符与数字输入。

本发明的另一个方面在于提供了一种基于运动想象和视觉注意混合脑机接口的电子邮件通信方法。首先，系统控制单元启动LCD视觉刺激器，控制8个刺激键以设定的频率闪光，其中两个“up”键用于控制光标在垂直方向向上运动，两个“down”用于控制光标在垂直方向向下运动，两个“stop”键用于对感兴趣的图标进行选择，两个“mouse/keyboard”键用于系统在“鼠标”和“键盘”工作模式之间进行切换；用户根据光标当前所在位置以及想要到达的目标位置，注视特定的刺激键并同时执行特定的运动想象任务；脑电采集平台实时采集头皮脑电信号，经过放大、滤波和模数转换后，通过数据线输入系统控制单元；系统控制单元接收脑电数据，根据电极位置将运动想象产生的脑电数据和视觉注意产生的脑电数据分开后，保存在指定的内存中；数据处理模块实时对这两类数据进行不同的预处理、特征提取和分类识别；光标控制模块根据两类数据的分类结果，计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动。当光标移动到感兴趣的图标位置时，用户通过注视LCD刺激器上的“stop”键对图标进行选择。系统启动时处于“鼠标”工作模式，通过连续的光标运动控制和图标选择，用户可实现电子邮件的收取。当用户需要写电子邮件时，可先后将光标移动到地址栏和文本区，通过“Mouse/Keyboard”键将系统切换到“键盘”工作模式，然后通过注视LED刺激器上相应的刺激键分别输入电子邮件地址和撰写邮件。在邮件地址和邮件写完后，用户可通过“Mouse/Keyboard”键将系统切换到“鼠标”模式。

该方法包含以下具体步骤：

1）系统初始化：使用者穿戴电极帽，坐在计算机正前方，眼睛与屏幕保持大约0.6米的距离。电极按照“国际10/20标准导联系统”放置，记录运动想象数据的电极位于大脑初级运动传感区域和辅助运动区域，记录视觉注意数据的电极位于大脑枕部区域。给记录电极通道注入导电胶，并确保其与头皮接触良好。打开系统工作界面，启动视觉刺激器工作。

2）脑电信号采集：使用者根据光标当前所在位置以及想要到达的目标位置，在注视特定的刺激键的同时，执行特定的运动想象任务，产生的头皮脑电信号通过电极帽采集，经过脑电采集仪放大、滤波和模数转换后，通过数据线将数字化的脑电数据输入计算机。系统控制单元接收脑电数据，按照电极的位置将两类脑电数据分开后，保存在指定的内存中。

3）脑电数据处理：数据处理模块分别对运动想象产生的脑电信号和视觉注意产生的脑电信号依次进行预处理、特征提取和分类识别，然后将分类识别的结果传输到光标控制模块。

4）光标运动控制与图标选择：光标控制模块根据两类数据的分类结果，分别计算光标在水平和垂直方向的位移，控制光标在工作区进行连续的二维运动。在光标移动过程中，使用者判断光标是否到达目标位置。如果光标到达目标位置，使用者通过“stop”键对图标进行选择，本次光标运动控制任务结束；如果光标未到达目标位置，使用者继续控制光标移动。

5）电子邮件收取：通过连续的二维光标运动控制，使用者可以将光标移动到“收信”图标或“收件箱”图标；通过对“收信”图标或“收件箱”图标进行选择，使用者可以打开收件箱；将光标移动到来信栏目，通过对来信栏目进行选择，使用者能够收取一封邮件。

6）电子邮件撰写：使用者首先将光标移动到地址栏，通过“Mouse/Keyboard”键将系统切换到“键盘”模式，启动LED刺激器工作，通过注视相应的刺激键输入邮件地址；然后通过“Mouse/Keyboard”键将系统切换到“鼠标”模式，将光标移动到文本区；再通过“Mouse/Keyboard”键将系统切换到“键盘”模式，通过注视LED刺激器上相应的刺激键撰写邮件内容。

所述步骤2）中特定的刺激键是指，当想要控制光标在垂直方向向上运动时，使用者需要注视LCD刺激器上边框中的左、右两个“up”键之一。这两个刺激键以10Hz的频率闪光，该频率对应的SSVEP信号被指定为控制光标向上运动；当想要控制光标在垂直方向向下运动时，使用者需要注视LCD刺激器下边框中的两个“down”键之一。这两个刺激键以12Hz的频率闪光，该频率对应的SSVEP信号被指定为控制光标向下运动；当想要对感兴趣的图标进行选择时，使用者需要注视工作界面左、右边框中间的两个“stop”键之一。这两个刺激键以15Hz的频率闪光，该频率对应的SSVEP信号被指定为对感兴趣的图标进行选择；当想要将系统在“鼠标”和“键盘”工作模式之间进行切换时，使用者需要注视LCD刺激器上、下边框中间的两个“mouse/keyboard”键之一，这两个刺激键以20Hz的频率闪光，该频率对应的SSVEP信号被指定为将系统在“鼠标”和“键盘”两种工作模式之间进行切换。

所述步骤2）中特定的运动想象任务是指，当使用者想要控制光标在水平方向向左运动时，使用者需要执行左手运动想象任务，该任务被指定为控制光标向左运动；当使用者想要控制光标在水平方向向右运动时，使用者需要执行右手运动想象任务，该任务被指定为控制光标向右运动。

所述步骤2）中按照电极的位置将两类脑电数据分开是指，位于大脑初级运动传感区域和辅助运动区域的电极记录的数据为运动想象产生的脑电数据，位于大脑枕部区域的电极记录的数据为视觉注意产生的脑电数据。

所述步骤3）中对运动想象产生的脑电信号进行预处理包括降采样率、使用共平均参考（Common Average Reference,CAR）对降采样率的数据重定参考点、以及对重定参考点的数据进行8～30Hz的带通滤波，提取包含Mu节律和Beta节律的事件相关去同步（Event-Related Desynchronization,ERD）信号。

所述步骤3）中对运动想象产生的脑电信号进行特征提取是指，使用共空域模式（Common Spatial Pattern,CSP）算法对带通滤波后的数据进行空域滤波，将两类数据投影到最有判别力的方向，提取投影后数据的方差为分类特征。CSP算法的具体步骤如下：

①分别计算两类数据的归一化平均协方差矩阵

$R_1=\frac{1}{N_1}\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\frac{X_{1i}{X}_{1i}^T}{\mathrm{trace}\left(X_{1i}{X}_{1i}^T\right)},R_2=\frac{1}{N_2}\underset{i=1}{\overset{N_2}{\mathrm{\Σ}}}\frac{X_{2i}{X}_{2i}^T}{\mathrm{trace}\left(X_{2i}{X}_{2i}^T\right)}---\left(1\right)$

式中X_1i与X_2i分别为类1（左手运动想象）与类2（右手运动想象）第i次实验的多通道脑电数据，N₁与N₂分别为类1与类2训练样本数，T为转置运算符，trace(M)表示求矩阵M对角线上的元素之和。

②对混合协方差矩阵R_c＝R₁+R₂进行特征值分解

$R_c=U_c{\mathrm{\Σ}}_C{U}_c^T---\left(2\right)$

式中U_c为特征矢量矩阵，Σ_c为特征值对角矩阵。

③计算白化变换矩阵

$P={\mathrm{\Σ}}_c^{-1/2}{U}_c^T---\left(3\right)$

④对R₁和R₂进行白化变换

R_1t＝PR₁P^T,R_2t＝PR₂P^T (4)

⑤对R_1t和R_2t进行特征分解

R_1t＝UΣ₁U^T,R_2t＝UΣ₂U^T (5)

R_1t和R_2t具有相同的特征矢量矩阵U，它们的特征值矩阵之和为单位矩阵，即Σ₁+Σ₂＝I。因此，当一类数据的特征值取最大值时，另一类数据的特征值将取最小值，从而可以将两类数据最大程度地分开。将特征值按下降的次序排列，特征向量按同样的次序排列，则CSP投影矩阵被定义为W＝U^TP。投影矩阵W的行称为空域滤波器，而它的列称为空域模式。由W的前m行和后m行组成空域滤波矩阵F。

⑥对单次实验的测试数据进行空域滤波

Z_i＝FX_i (6)

Z_i为空域滤波后第i次实验脑电信号的源信号，源信号的方差可作为分类特征信号。

所述步骤3）中对运动想象产生的脑电信号进行分类是指，使用支持向量机（Support Vector Machine,SVM）分类器对基于CSP算法提取的脑电特征信号进行分类。

所述步骤3）中对视觉注意产生的脑电信号进行预处理是指，对视觉注意产生的脑电信号降采样率，然后进行4～35Hz的带通滤波，提取包括可能可用作刺激频率的频带信号。

所述步骤3)中对视觉注意产生的脑电信号进行特征提取是指，使用典型相关分析（Canonical Correlation Analysis,CCA）计算每个刺激频率对应的参考信号与记录的脑电信号之间的最大相关系数。虽然CCA算法可以产生多个相关系数，对于脑电信号分析等实际应用问题，一般使用最大相关系数。CCA算法包括如下两个步骤：

①确定参考信号：假定存在刺激频率分别为f₁,f₂,…,f_K的K个刺激目标。X与Y_f表示两个多维的随机变量，其中X为N_t秒长的多通道脑电信号；Y_f表示与X长度相同的参考信号。该参考信号是一个由刺激频率f及其谐波的正弦和余弦组成的列矢量

Y_f＝(sin(2πft),cos(2πft),…,sin(2πN_hft),cos(2πN_hft))^T (7)

式中N_h是谐波的数目，T为转置运算符。

②对每个刺激频率计算最大相关系数：多通道脑电信号X与每一个参考信号作为CCA算法的输入，对视觉刺激器中的每个刺激键对应的频率计算最大CCA系数ρ_k。考虑一对线性结合x＝X^TW_x与y＝Y^TW_y。CCA算法的作用是找到权矢量W_x与W_y，使x与y之间的相关最大化。换句话说，下面的约束优化问题可求解多通道脑电信号X与每一个参考信号的最大CCA系数

$\begin{array}{c}\underset{W_x,W_y}{\max }\mathrm{\ρ}(x,y)=\frac{E\left[x^{T}y\right]}{\sqrt{E\left[x^{T}x\right]E\left[y^{T}y\right]}}=\frac{E\left[W_x^T{\mathrm{XY}}^T{W}_y\right]}{\sqrt{E\left[W_x^T{\mathrm{XX}}^T{W}_x\right]E\left[W_y^T{\mathrm{YY}}^T{W}_y\right]}}\\ \mathrm{subjecttoE}\left[{\mathrm{xx}}^T\right]=E\left[W_x^T{\mathrm{XX}}^T{W}_x\right]=1,E\left[{\mathrm{yy}}^T\right]=E\left[W_y^T{\mathrm{XX}}^T{W}_y\right]=1\end{array}---\left(8\right)$

所述步骤3）中对视觉注意产生的脑电信号进行分类识别是指，根据特征提取步骤求出的每个参考频率对应的最大CCA系数ρ_k，识别用户注视目标的发光频率及其对应的用户命令。在K个刺激频率对应的K个最大CCA系数ρ_k中，具有最大值的系数被判决为用户注视的目标频率对应的CCA系数，该目标对应的命令为用户想要表达的命令C，可用公式表示如下

$C=\underset{k}{\max }{\mathrm{\ρ}}_k,k=\mathrm{1,2},...,K---\left(5\right)$

式中ρ_k是脑电信号在刺激频率f_k的CCA系数，K是刺激目标的数目。

所述步骤6）中相应的刺激键是指LED刺激器上的刺激键，包括26个英文字母10个数字、特殊符号﹫、5个常用的标点符号、以及5个功能键。

本发明具有如下优点和有益效果：

1）本发明将基于运动想象和视觉注意的混合BCI用于二维光标的运动控制，实现了光标在水平和垂直两个方向上的分别、独立和同时控制，使用者易于操作。

2）本发明使用户能够控制光标从计算机屏幕上任意一个初始位置移动到任意一个目标位置，而且光标在屏幕上的移动是连续平滑的，避免了不自然的Z字型跳跃运动。

3）本发明结合基于运动想象的BCI和两种基于视觉注意的BCI进行结合，实现电子邮件的收取和撰写，具有光标运动控制精度高、稳健性好、以及字符输入准确率高等优点。

附图说明

图1是本发明基于运动想象和视觉注意混合脑机接口的电子邮件通信系统。

图2是本发明实现电子邮件通信的混合BCI系统组成结构。

图3是本发明二维光标运动控制与目标选择的工作界面。

图4是本发明实现二维光标运动控制的信号处理算法流程图。

图5是本发明实现图标选择的信号处理算法流程图。

图6是本发明基于CSP算法的运动想象数据的分类方法。

图7是本发明基于CCA算法的SSVEP信号的频率识别方法。

图8是本发明基于LED视觉刺激器的BCI键盘布局。

具体实施方式

以下结合附图和实施例对本发明做进一步详细说明，但本发明的实施方式不限于此。

如图1所示，本发明提出了一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统，该系统包括视觉刺激器、脑电采集平台、系统控制单元、数据处理模块、光标控制模块、以及字符输入模块。其中系统控制单元、数据处理模块、光标控制模块、以及字符输入模块在计算机中通过编程实现。

其中，视觉刺激器包括基于LCD显示器的视觉刺激器和基于LED显示器的视觉刺激器。基于LCD的刺激器包含8个产生SSVEP视觉刺激的刺激键，分布于屏幕的四条边框中。上边框中左、右各一个刺激键以10Hz的频率发光，下边框中左、右各一个刺激键以12Hz的频率发光，左、右两个边框中间各一个刺激键以15Hz的频率发光，上、下边框中间各一个刺激键以20Hz的频率发光。每个刺激频率设置两个刺激键是为了避免用户过多地移动视线，方便使用者操作；基于LED的刺激器包括32个刺激键，刺激频率在6Hz～28Hz的范围，相邻两个刺激频率之间的间隔为0.5Hz。

其中，脑电采集平台包括电极帽和脑电采集仪。电极帽用于采集多通道脑电信号，电极位置按“国际10/20标准导联系统”放置，用于记录脑电信号的电极包括记录运动想象信号的电极和记录视觉注意信号的电极。记录运动想象信号的电极位于大脑初级运动传感区域和辅助运动区域；记录视觉注意信号的电极位于大脑枕部区域；脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换，通过数据线将数字化脑电数据输入计算机。

其中，系统控制单元接收脑电数据，根据电极位置将运动想象与视觉注意产生的两类脑电数据分开后保存在指定的内存中；启动系统工作界面，并控制LCD刺激器中刺激键以设定的频率闪光。

其中，数据处理模块分别对运动想象产生的脑电数据和视觉注意产生的脑电数据进行实时预处理、特征提取和分类识别。

其中，光标控制模块根据数据处理模块分类识别的结果，计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动，或对感兴趣的目标进行选择。

其中，字符输入模块启动LED视觉刺激器，根据数据处理模块分类识别的结果确定输入的字符，并将输入的字符显示在光标所在的位置。

本发明提出了一种基于运动想象和视觉注意混合脑机接口的电子邮件通信方法。下面结合图2至图8进行详细说明。

图2为实现电子邮件通信的混合BCI系统组成结构。要实现电子邮件通信，混合BCI系统必须模拟计算机鼠标和键盘两个功能，根据用户需要在鼠标和键盘两种模式之间进行切换。

鼠标工作模式要求两个BCI同时工作，使用运动想象产生的ERD信号和视觉注意产生的SSVEP信号分别控制光标在水平和垂直方向上的运动，并结合这两个特征信号对目标（即图标）进行选择。由于垂直方向运动只有向上、向下与停止三种选择，计算机LCD显示器可产生所需要的视觉刺激信号。如图2所示，二维光标运动控制与目标选择可由ERD BCI与LCD SSVEP BCI实现。

键盘工作模式实现字符输入，需要输入的字符包括26个英文字符、10个数字、常用的标点符号以及少量特殊字符。字符输入还要求BCI键盘具有错误校正、退格及回车等功能。LCD显示器无法产生这么多的刺激信号，需要使用LED显示器设计硬件刺激器。如图2所示，字符输入由基于LED视觉注意的BCI，即LED SSVEP BCI单独实现。系统从鼠标模式到键盘模式或从键盘模式到鼠标的切换，由LCD刺激器的刺激键“Mouse/Keyboard”实现。

图3为二维光标运动控制的工作界面。如图3所示，工作主界面为客户区域，对应电子邮件系统主页，用户从邮件系统主页开始执行邮件收取与撰写工作。工作界面四条边框中分布了8个产生SSVEP视觉刺激的刺激键。这8个刺激键组成了诱发SSVEP信号的LCD视觉刺激器。其中，上边框中左、右各一个“up”键控制光标向上运动；下边框中左、右各一个“down”键控制光标向下运动，左、右两个边框中间各一个“stop”键为目标选择键，当光标到达图标位置时对图标进行选择；上、下两个边框中间各一个“Mouse/Keyboard”键为系统工作模式转换键，用于将系统在“鼠标”与“键盘”模式之间进行切换。

图4为实现二维光标运动控制的信号处理算法流程图。如图4所示，数据处理模块对内存中分开存放的两类数据进行不同的预处理、特征提取预分类识别。

对于运动想象数据，数据处理模块依次对其使用共平均参考重定参考点、进行8～30Hz带通滤波提取ERD/ERS信号、使用CSP算法提取运动想象特征信号、以及使用SVM对特征信号进行分类。光标控制模块根据SVM分类结果计算光标在水平方向的位移，并确定光标位移后的水平坐标。

对于视觉注意数据，数据处理模块依次对其进行4～35Hz的带通滤波提取包括可以作为SSVEP刺激频率的频带信号、使用CCA算法提取SSVEP特征、以及对SSVEP频率进行识别。光标控制模块根据频率识别结果计算光标在垂直方向的位移，并确定光标移位后的垂直坐标。

图5为实现目标或图标选择的信号处理算法流程图。数据处理模块使用与二维光标运动控制相同的方法分别提取运动想象数据特征与视觉注意数据特征，然后将两类特征信号连接在一起组成混合特征矢量，输入SVM分类器进行分类，最后根据分类结果作出对图标选择或拒绝的判决。

图6是基于CSP算法的运动想象数据分类方法流程图。CSP是一种监督模式识别算法，当其应用于左手和右手运动想象脑电数据分类时，需要针对特定的用户采集训练数据，根据已知类别的训练数据估计两个空域滤波器。使用CSP算法对运动想象数据分类的具体步骤如下：

1）对实时采集的训练数据进行共平均参考处理和8～30Hz带通滤波，使用带通滤波后的训练数据估计左手和右手运动想象两个空域滤波器；

2）使用左手和右手运动想象空域滤波器分别对单次实验的训练数据进行空域滤波；

3）计算左手与右手空域滤波后单次实验训练数据的方差，定义左手和右手滤波方差与左、右手滤波方差之和之比的对数为分类特征，并将这两个分类特征连接为一个特征向量；

4）使用左手和右手运动想象两类特征向量训练SVM分类器，确定分类器模型参数；

5）对实时采集的一段测试数据进行共平均参考处理和8～30Hz带通滤波，使用步骤1）估计的两个空域滤波器对带通滤波后的测试数据进行空域滤波；

6）计算左手和右手空域滤波后测试数据的方差，定义左手和右手滤波方差与左、右手滤波方差之和之比的对数为分类特征，并将这两个分类特征连接为一个特征向量；

7）使用步骤4）训练的SVM分类器对测试数据的特征向量进行分类。将分类结果输入光标控制模块，用于光标水平位移和水平坐标的计算。

如图7所示，使用CCA算法对脑电数据进行实时处理，识别SSVEP信号的频率。具体步骤如下：

1）确定参考信号：假定存在刺激频率分别为f₁,f₂,…,f_K的K个目标。X与Y_f表示两个多维的随机变量，其中X为N_t秒长的多通道脑电信号；Y_f表示与X长度相同的参考信号。该参考信号是一个由刺激频率f及其谐波的正弦和余弦组成的列矢量

Y_f＝(sin(2πft),cos(2πft),…,sin(2πN_hft),cos(2πN_hft))^T (6)

式中N_h是谐波的数目，在本实施例中N_h＝3。

2）对所有刺激频率计算CCA系数：多通道脑电信号X与参考信号之一作为CCA算法的输入，对这个二维光标运动控制系统的每个刺激频率计算CCA系数。

考虑一对线性结合x＝X^TW_x与y＝Y^TW_y。CCA的作用是找到权矢量W_x与W_y，使x与y之间的相关最大化。下面的约束优化问题可求解多通道脑电信号X与每一个参考信号的最大CCA系数

$\begin{array}{c}\underset{W_x,W_y}{\max }\mathrm{\ρ}(x,y)=\frac{E\left[x^{T}y\right]}{\sqrt{E\left[x^{T}x\right]E\left[y^{T}y\right]}}=\frac{E\left[W_x^T{\mathrm{XY}}^T{W}_y\right]}{\sqrt{E\left[W_x^T{\mathrm{XX}}^T{W}_x\right]E\left[W_y^T{\mathrm{YY}}^T{W}_y\right]}}\\ \mathrm{subjecttoE}\left[{\mathrm{xx}}^T\right]=E\left[W_x^T{\mathrm{XX}}^T{W}_x\right]=1,E\left[{\mathrm{yy}}^T\right]=E\left[W_y^T{\mathrm{XX}}^T{W}_y\right]=1\end{array}---\left(7\right)$

3）确定用户命令：与W_x和W_y对应的最大值ρ_k为最大典型相关系数。X和Y分别在W_x和W_y上的投影，即x和y，被称为典型变量。输出的典型相关ρ_k可用于SSVEP频率识别。在K个刺激频率对应的K个最大CCA系数ρ_k中，具有最大值的系数被判决为用户注视的目标频率对应的CCA系数，该目标对应的命令为用户想要表达的命令C，可用公式表示如下

$C=\underset{k}{\max }{\mathrm{\ρ}}_k,k=\mathrm{1,2},...,K---\left(8\right)$

式中ρ_k是脑电信号在刺激频率f_k的CCA系数，K是刺激目标的数目。

图8为基于LED视觉刺激器的BCI键盘布局。如图8所示，LED的刺激器包括32个刺激键，可用于输入26个英文字母（a～z）、特殊字符@、10个数字（0～9）、5个标点符号：，（逗号）、。(句号)、；（分号）、：（冒号）与?（问号）、以及5个功能键：←（退格）、━（空格）、（回车）、L/D（字母/数字）转换、L/C（字母/符号）转换。其中，10个数字和5个标点符号与字母组合使用，分别通过字母/数字（L/D）转换键和字母/符号（L/C）转换键进行切换。32个刺激键以不同的频率发光，频率范围为6Hz～28Hz，频率之间的间隔为0.5Hz。

Claims (2)

1.一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统，其特征是包括视觉刺激器、脑电采集平台、系统控制单元、数据处理模块、光标控制模块、以及字符输入模块，其中系统控制单元、数据处理模块、光标控制模块、以及字符输入模块在计算机中通过软件实现；视觉刺激器包括LCD视觉刺激器和LED视觉刺激器，用于诱发稳态视觉诱发电位信号，LCD视觉刺激器以界面显示方式提供给用户；脑电采集平台包括电极帽和脑电采集仪，电极帽采集脑电信号，脑电采集仪对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，提供系统工作界面，并控制LCD视觉刺激器的刺激键以设定的频率闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动，并对感兴趣的目标进行选择；字符输入模块启动LED视觉刺激器，根据数据处理模块分类识别的结果确定输入的字符，并将输入的字符显示在光标所在的位置；

所述的LCD视觉刺激器包含8个刺激键，分布于屏幕四周；其中上边框中左、右各一个“up”刺激键以10Hz频率闪光，用于控制光标在垂直方向向上运动；下边框中左、右各一个“down”刺激键以12Hz的频率闪光，用于控制光标在垂直方向向下运动；上、下边框中间各一个“mouse/keyboard”刺激键以15Hz的频率闪光，用于系统在“鼠标”与“键盘”模式之间进行切换；左、右边框中间各一个“stop”刺激键以20Hz的频率闪光，用于对感兴趣的目标进行选择；

所述的LED视觉刺激器包括32个刺激键，它们以不同的频率闪光，频率范围在6Hz～28Hz之间，频率间隔为0.5Hz，用于字符与数字输入。

2.权利要求1所述的基于运动想象和视觉注意混合脑机接口的电子邮件通信系统的控制方法，其特征是：

1）系统初始化：使用者穿戴电极帽，坐在计算机正前方，眼睛与屏幕保持大约0.6米的距离；电极按照“国际10/20标准导联系统”放置，记录运动想象数据的电极位于大脑初级运动传感区域和辅助运动区域，记录视觉注意数据的电极位于大脑枕部区域；给记录电极通道注入导电胶，并确保其与头皮接触良好；打开系统工作界面，启动视觉刺激器工作；

2）脑电信号采集：使用者根据光标当前所在位置以及想要到达的目标位置，在注视特定刺激键的同时，执行特定的运动想象任务，产生的头皮脑电信号通过电极帽采集，经过脑电采集仪放大、滤波和模数转换后，通过数据线将数字化的脑电数据输入计算机；系统控制单元接收脑电数据，按照电极的位置将两类脑电数据分开后，保存在指定的内存中；

3）脑电数据处理：数据处理模块分别对运动想象产生的脑电信号和视觉注意产生的脑电信号依次进行预处理、特征提取和分类识别，然后将分类识别的结果传输到光标控制模块；

4）光标运动控制与图标选择：光标控制模块根据两类数据的分类结果，分别计算光标在水平和垂直方向的位移，控制光标在工作区进行连续的二维运动；在光标移动过程中，使用者判断光标是否到达目标位置；如果光标到达目标位置，使用者通过“stop”键对图标进行选择，本次光标运动控制任务结束；如果光标未到达目标位置，使用者继续控制光标移动；

5）电子邮件收取：通过连续的二维光标运动控制，使用者可以将光标移动到“收信”图标或“收件箱”图标；通过对“收信”图标或“收件箱”图标进行选择，使用者可以打开收件箱；将光标移动到来信栏目，通过对来信栏目进行选择，使用者能够收取一封邮件；

6）电子邮件撰写：使用者首先将光标移动到地址栏，通过“Mouse/Keyboard”键将系统切换到“键盘”模式，启动LED刺激器工作，通过注视相应的刺激键输入邮件地址；然后通过“Mouse/Keyboard”键将系统切换到“鼠标”模式，将光标移动到文本区；再通过Mouse/Keyboard”键将系统切换到“键盘”模式，通过注视LED刺激器上相应的刺激键撰写邮件内容；

步骤2）中所述的特定刺激键是指，当想要控制光标在垂直方向向上运动时，使用者需要注视LCD刺激器上边框中的左、右两个“up”键之一；当想要控制光标在垂直方向向下运动时，使用者需要注视LCD刺激器下边框中的两个“down”键之一；当想要对感兴趣的图标进行选择时，使用者需要注视工作界面左、右边框中间的两个“stop”键之一；当想要将系统在“鼠标”和“键盘”工作模式之间进行切换时，使用者需要注视LCD刺激器上、下边框中间的两个“mouse/keyboard”键之一；

步骤2）中所述的特定的运动想象任务是指，当使用者想要控制光标在水平方向向左运动时，使用者需要执行左手运动想象任务，该任务被指定为控制光标向左运动；当使用者想要控制光标在水平方向向右运动时，使用者需要执行右手运动想象任务，该任务被指定为控制光标向右运动。