CN102184018B

CN102184018B - 一种脑机接口系统及其控制方法

Info

Publication number: CN102184018B
Application number: CN2011101263937A
Authority: CN
Inventors: 奕伟波; 明东; 李文; 许敏鹏; 丁浩; 綦宏志; 万柏坤
Original assignee: Tianjin University
Current assignee: Zhongdian Yunnao (Tianjin) Technology Co., Ltd.
Priority date: 2011-05-13
Filing date: 2011-05-13
Publication date: 2012-11-28
Anticipated expiration: 2031-05-13
Also published as: CN102184018A

Abstract

本发明公开了一种脑机接口系统及其控制方法，涉及BCI技术领域，包括：脑电数据采集模块、第一数据处理模块、第二数据处理模块和模式识别模块，在脑电数据采集模块的屏幕上按照第一预设时间间隔显示Speller刺激界面的各个层面，采集使用者的脑电信号，第一数据处理模块对脑电信号进行处理，输出控制信号，选择待选字符所在层面；第二数据处理模块对脑电信号进行处理，获取视觉诱发的P300信号；模式识别模块对视觉诱发的P300信号进行分类识别，输出待选字符。本发明提高了可选字符数，并且有效地提高了信息传输效率，有望获得可观的社会效益和经济效益。

Description

一种脑机接口系统及其控制方法

技术领域

本发明涉及BCI技术领域，特别涉及一种脑机接口系统及其控制方法。

背景技术

第一次BCI(Brain-Computer Interface，脑-机接口)国际会议给出的BCI的定义是“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”到目前为止，最常用的BCI系统大都是基于脑电信息的，技术原理是一致的。参见图1，含有操作控制意图的脑电信息通过电极从头皮或颅内获得，经过信号处理提取反映使用者意图的脑电信息特征，并将之转化为控制外部设备的操作命令。BCI研究的主要应用目标是帮助肢体严重瘫痪的残疾人操纵和使用周边日常生活工具，以实现对外界的信息交流和设备控制。

Alpha波为自发脑电的主要成分之一，与视觉皮层的闲散节律相对应，频率为8～13Hz，是节律性脑电波中最具明显特征的成分。正常人在清醒闭目时Alpha波增强，睁眼、思考问题，或受到其它刺激时，Alpha波减弱或消失的电生理现象称为Alpha波的阻断；此后若受试者再度安静闭目，则Alpha波又重新出现。

P300是典型的内源性事件相关电位，它是对一系列无关事件刺激中相对稀少的有关刺激做出的反应。所谓P300电位是指距离刺激时刻的潜伏期为300ms左右，电位极性为正的ERP波峰信号。目前BCI系统中产生P300信号的思维作业设计较为复杂，较为典型的设计为oddball试验模式，即组成一个事件序列，该事件序列中含有一个或几个靶刺激事件，其它为非靶刺激事件。P300信号的产生条件是靶刺激事件的出现频率要远小于非靶刺激事件，这时靶刺激成为稀少刺激，靶刺激的出现概率越小，P300信号越显著。这样通过检测P300信号的发生时刻即可定位出使用者在一系列的刺激事件序列中的选择目标，从而完成思维指令的传输。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

传统P300-Speller BCI系统的刺激编码模式不利于实现大指令集的信息传输，存在信息传输效率低、可选字符数目有限等问题，难以满足实际应用中的需要。

发明内容

为了解决信息传输效率低、可选字符数目有限的问题，本发明提供了一种Speller BCI系统及其控制方法，详见下文描述：

一种脑机接口系统，所述脑机接口系统包括：脑电数据采集模块、第一数据处理模块、第二数据处理模块和模式识别模块。

在所述脑电数据采集模块的屏幕上按照第一预设时间间隔显示Speller刺激界面的各个层面，采集使用者的脑电信号，所述第一数据处理模块对所述脑电信号进行处理，输出控制信号，选择字符所在层面；所述第二数据处理模块对所述脑电信号进行处理，获取视觉诱发的P300信号；所述模式识别模块对所述视觉诱发的P300信号进行分类识别，输出待选字符。

所述Speller刺激界面具体为：先进行列的随机无重复闪烁，再进行行的随机无重复闪烁，所述Speller刺激界面中包括：键盘上的所有字符。

所述Speller刺激界面为三个层面的Speller刺激界面，第一层面的Speller刺激界面为键盘上不按shift直接输入的字符；第二层面的Speller刺激界面为键盘上同时按shift输入的字符；第三层面的Speller刺激界面为键盘上的所有功能键。

一种脑机接口系统的控制方法，所述方法包括以下步骤：

(1)使用者在脑电数据采集模块的屏幕上观看Speller刺激界面，若当前显示的是待选字符所在层面，则使用者在界面显示时间内闭眼，确定所述待选字符所在层面；使用者判断当前层面是否是所述待选字符所在层面，如果是，使用者执行闭眼操作；在闪烁过程中，使用者注视所述待选字符，数据采集模块采集使用者的脑电信号；如果否，使用者不闭眼；

(2)对闭眼后采集到的脑电信号进行8～13Hz的带通滤波，提取Alpha波；对Alpha波进行第二预设时间的均方根平滑处理，获取均方根平滑处理后的Alpha波；

(3)所述均方根平滑处理后的Alpha波经过第三预设时间的平均处理获取主控制通道信号；所述均方根平滑处理后的Alpha波经过第四预设时间的平均处理获取辅助控制通道信号；所述平均处理即对预设时间内的信号取平均值；

(4)判断所述主控制通道信号是否超过门限电压，如果是，执行步骤(5)；如果否，重新执行步骤(3)；

其中所述门限电压具体为：

V_ref＝V_open+0.8(V_close-V_open)，其中，V_open为睁眼时Alpha波幅平均值；V_close为闭眼时Alpha波幅平均值；

(5)所述主控制通道信号与所述辅助控制通道信号进行比较，判断所述主控制通道信号是否是真实Alpha波信号，如果是，执行步骤(6)；如果否，重新执行步骤(3)；

(6)输出控制信号，确定待选字符所在层面；

(7)通过相干平均方式将脑电信号中的噪声信号去除，提取视觉诱发的P300信号；

(8)对所述视觉诱发的P300信号进行模式识别，输出所述待选字符；

其中，步骤(7)中的所述相干平均方式具体为：

x_n(i，t)＝p_n(i，t)+e_n(i，t)n＝1ΛN

其中，n为刺激的序号，N为刺激的总数，i为导联的序号，t为时间，x_n(i，t)为采集到的脑电信号，p_n(i，t)为第n次刺激时理想的P300信号，e_n(i，t)为总的噪声信号；设背景噪声为零均值，方差为

的平稳随机信号，且不同刺激产生的噪声信号都不相关，即第m次和第n次刺激产生的噪声信号不相关；

E[e_m(i，t)e_n(i，t)]＝0 m≠n

假设每次刺激所产生的P300信号都表示成一个确定的信号p(i，t)，即

p₁(i，t)＝p₂(i，t)＝Λ＝p_N(i，t)＝p(i，t)；

其中，步骤(8)中的所述对所述视觉诱发的P300信号进行模式识别，输出待选字符具体为：

刺激界面进行列的随机无重复闪烁时，所述视觉诱发的P300信号作为一个特征向量，作为SVM分类器的输入；进行行的随机无重复闪烁时，所述视觉诱发的P300信号作为另一个特征向量，作为所述SVM分类器的另一个输入，经过所述SVM分类器的处理，确定X，Y方向上的坐标；

所述控制信号决定了所述待选字符在Z轴方向上的位置。

本发明提供的技术方案的有益效果是：

本发明提供了一种脑机接口系统及其控制方法，本发明将睁闭眼引起的Alpha波信号的幅值变化与视觉刺激诱发的P300信号两类特征相结合，利用字符刺激矩阵来实现多个字符输出，以及设计一种新的同步采集这两类脑电特征的Speller BCI系统。本发明在基于传统的视觉刺激诱发的P300Speller BCI系统之上，针对于传统刺激编码模式信息传输效率低，可选字符数有限的问题，融合了睁闭眼引起的Alpha波阻断，大大提高了可选字符数，并且有效地提高了信息传输效率；进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

附图说明

图1为现有技术提供的BCI系统及其控制的结构示意图；

图2为本发明提供的脑机接口系统的结构示意图；

图3为本发明提供的刺激界面的示意图；

图4为本发明提供的刺激界面的另一示意图；

图5为本发明提供的刺激界面的另一示意图；

图6为本发明提供的刺激界面的另一示意图；

图7为本发明提供的闪烁频率的波形示意图；

图8为本发明提供的脑机接口系统的控制方法的流程图；

图9为本发明提供的三维矩阵的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了解决信息传输效率低、可选字符数目有限的问题，本发明实施例提供了一种脑机接口系统，详见下文描述：

一种脑机接口系统，参见图2，该脑机接口系统包括：脑电数据采集模块、第一数据处理模块、第二数据处理模块和模式识别模块。

在脑电数据采集模块的屏幕上按照第一预设时间间隔显示Speller刺激界面的各个层面，采集使用者的脑电信号，第一数据处理模块对脑电信号进行处理，输出Alpha波控制信号，选择字符所在层面；第二数据处理模块对所述脑电信号进行处理，获取视觉诱发的P300信号；模式识别模块对视觉诱发的P300信号进行分类识别，输出待选字符。

其中，第一预设时间反映了使用者闭眼后Alpha波幅超过门限电压所需时间，为了获得较稳定可靠的数据，要求每个使用者重复操作25次，求25次操作所得的平均时间t，并将该系统的层面循环时间设定为2t。

其中，该Speller刺激界面具体为：先进行列的随机无重复闪烁，再进行行的随机无重复闪烁。Speller刺激界面中包括：键盘上的所有字符，例如：大写字符，A、B、C和D等；小写字符：a、b、c和d等；数字字符：1、2、3和4等；功能键：F1、F2、F3和F4等。

其中，为了取得较快的运算速度，本发明实施例中的Speller刺激界面优选为三个层面的Speller刺激界面，参见图3、图4、图5和图6，第一层面的Speller刺激界面为键盘上不按shift直接输入的字符，例如：a、b、c和d等；第二层面的Speller刺激界面为键盘上同时按shift输入的字符，例如：A、B、C和D等；第三层面的Speller刺激界面为键盘上的所有功能键，例如：F1、F2、F3和F4等。具体实现时，键盘可以为计算机键盘或手机键盘等，本发明实施例对此不做限制。其中，第一层面的Speller刺激界面还可以为键盘上同时按shift输入的字符，例如：A、B、C和D等；第二层面的Speller刺激界面还可以为键盘上不按shift直接输入的字符，例如：a、b、c和d等；第三层面的Speller刺激界面还可以为键盘上的所有功能键，也可以为其他的定义方式，具体实现时，本发明实施例对此不做限制。

其中，闪烁频率根据实际应用中的需要进行设定，参见图7，本发明实施例中的行列以75ms间隔闪烁，闪烁时间为100ms为例进行说明，每两个待选字符间有四秒钟的休息时间。

一种脑机接口系统的控制方法，参见图8，该方法包括以下步骤：

101：使用者在脑电数据采集模块的屏幕上观看Speller刺激界面，若当前显示的是待选字符所在层面，则使用者在界面显示时间内闭眼，确定待选字符所在层面；使用者判断当前层面是否是待选字符所在层面，如果是，使用者执行闭眼操作；在闪烁过程中，使用者注视待选字符，数据采集模块采集使用者的脑电信号；如果否，使用者不闭眼；

其中，为了取得较好的效果，使用者优选安静地正坐于距屏幕约1m的靠椅上，若当前显示的是待选字符所在层面，那么使用者在界面显示时间内闭眼，以确定待选字符所在层面。为避免误操作，在层面确定之后屏幕上会出现如图6所示的YES或NO的提示界面，使用者判断当前层面是否是待选字符所在层面，若是待选字符所在层面，使用者进行一次闭眼操作以再次确认；若不是待选字符所在层面，使用者不闭眼，Speller刺激界面的各层面继续进行循环显示。

102：对闭眼后采集到的脑电信号进行8～13Hz的带通滤波，提取Alpha波；对Alpha波进行第二预设时间的均方根平滑处理，获取均方根平滑处理后的Alpha波；

其中，第二预设时间根据实际应用中的需要进行设定，具体实现时，本发明实施例对此不做限制，本发明实施例以10ms的均方根平滑处理为例进行说明。

103：均方根平滑处理后的Alpha波经过第三预设时间的平均处理获取主控制通道信号；均方根平滑处理后的Alpha波经过第四预设时间的平均处理获取辅助控制通道信号；所述平均处理即对预设时间内的信号取平均值；

其中，第三预设时间根据实际应用中的需要进行设定，具体实现时，本发明实施例对此不做限制，本发明实施例以400～500ms的平均处理为例进行说明。

其中，第四预设时间根据实际应用中的需要进行设定，具体实现时，本发明实施例对此不做限制，本发明实施例以50ms的平均处理为例进行说明。

例如：由头皮电极采集到闭眼时的脑电信号，经8～13Hz的带通滤波保留其中Alpha波成分；该Alpha波经过10ms的均方根(RMS)平滑处理后分为两路信号：一路经过400～500ms的平均处理后成为主控制通道信号，用于输出控制；另一路经过50ms的平均处理后成为辅助控制通道信号，用来判断主控制通道信号是由使用者闭眼产生的真实Alpha波增幅信号还是其它干扰所引起的噪声信号。

104：判断主控制通道信号是否超过门限电压，如果是，执行步骤105；如果否，重新执行步骤103；

把使用者睁眼时Alpha波幅平均值记为V_open，闭眼时Alpha波幅平均值记为V_olose，则使用者的门限电压参考值V_ref可按下面经验公式计算：

V_ref＝V_open+0.8(V_close-V_open) (1)

其中，0.8是使用者睁、闭眼状态下Alpha波幅差异的增益系数。具体实现时，增益系数根据实际应用中的需要进行设定，具体实现时，本发明实施例对此不做限制。

105：判断主控制通道信号是否是Alpha波控制信号，如果是，执行步骤106；如果否，重新执行步骤103；

106：输出控制信号，确定待选字符所在层面；

使用者确定待选字符所在层面之后，Speller矩阵先进行列的随机无重复闪烁，再进行行的随机无重复闪烁；在Speller矩阵闪烁过程中，使用者注视待选字符，且心中默数目标区域闪烁的次数(有利于集中使用者精力)，这样即可完成一个待选字符的输出。待选字符输出之后，Speller刺激界面的各层面将继续循环显示，按照上述过程即可完成下一个待选字符的输出。当Speller刺激界面优选为三个层面的Speller刺激界面时，将进行三个层面的循环显示。

107：通过相干平均方式将脑电信号中的噪声信号去除，提取视觉诱发的P300信号；

其中，噪声信号主要包括：自发脑电信号、外部背景噪声以及其他与导联相关的噪声。

相干平均方式是处理脑电信号常用的处理方式之一，是提取强噪声背景下微弱信号的有效方式。本发明实施例中所采集到的脑电信号通常伴随着很强的噪声或伪迹，而相干平均方式的作用就是将噪声信号从脑电信号中去除。对于每次的刺激，这些噪声信号都是不相关的。而ERP中的视觉诱发的P300信号可以看作是个确定性的信号，并且独立于自发脑电信号和其他噪声信号。其中，相干平均方式具体为：

x_n(i，t)＝p_n(i，t)+e_n(i，t)n＝1ΛN (2)

其中，n为刺激的序号，N为刺激的总数，i为导联的序号，t为时间，x_n(i，t)为采集到的脑电信号，p_n(i，t)为第n次刺激时理想的P300信号，e_n(i，t)为总的噪声信号。

由于外部背景噪声的存在，单次的x_n(i，t)并不能体现脑电信号中的视觉诱发的P300成分，并且往往淹没在强的背景噪声下。假设实验中客观条件不变，背景噪声为零均值，方差为的平稳随机信号，且不同刺激产生的噪声信号都不相关，即满足下式：

E[e_m(i，t)e_n(i，t)]＝0 m≠n (3)

假设每次刺激所产生的视觉诱发的P300信号都可以近似表示成一个确定的信号p(i，t)，即

p₁(i，t)＝p₂(i，t)＝Λ＝p_N(i，t)＝p(i，t) (4)

本发明实施例中，首先将每一次闪烁刺激之后的脑电信号从连续的脑电信号中提取出来，然后按照每一次闪烁将这些脑电信号分段排列，再以点对点的方式进行简单的迭加平均。

108：对视觉诱发的P300信号进行模式识别，输出待选字符。

其中，模式识别是通过对提取的脑电信号特征进行分类来辨识出其中所携带的自主性动作信息。SVM(支持向量机)是近年来在模式识别与机器学习领域中出现的新工具，以统计学习理论为基础，有效地避免经典学习方法中过学习、维数灾难和局部极小等传统分类存在的问题，在小样本条件下仍然具有良好的范化能力，它通过构造最优超平面，使得未知样本的分类误差最小。模式识别的过程如下：在经过了特征提取阶段之后，将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model，然后再利用这个model来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果以及识别正确率。

其中，对视觉诱发的P300信号进行模式识别，输出待选字符具体为：

刺激界面进行列的随机无重复闪烁时，所述视觉诱发的P300信号作为一个特征向量，作为SVM分类器的输入；进行行的随机无重复闪烁时，所述视觉诱发的P300信号作为另一个特征向量，作为所述SVM分类器的另一个输入，经过所述SVM分类器的处理，确定X，Y方向上的坐标。

参见图9，在这个三维矩阵中由(x，y，z)坐标共同决定一个待选字符，Alpha波信号经过处理后输出的控制信号决定了待选字符在Z轴方向上的位置，而视觉诱发的P300信号决定了待选字符在X-Y平面上的坐标。闭眼操作确定了Speller刺激界面中待选字符所在层面也就确定了待选字符在三维矩阵中Z轴方向上的坐标。之后，Speller矩阵先进行列的随机无重复闪烁，再进行行的随机无重复闪烁。当进行列或行的随机无重复闪烁时，会产生一个视觉诱发的P300信号。进行列的随机无重复闪烁时，产生的视觉诱发的P300信号作为一个特征向量，输入SVM分类器，那么待选字符Y方向上的坐标就被确定了。同理，进行行的随机无重复闪烁，产生的视觉诱发的P300信号作为特征向量，经过SVM处理之后则能确定待选字符X方向上的坐标，那么在X-Y平面上字符所在位置的坐标就确定了。这样便确定了字符在矩阵中X，Y，Z三个方向上的坐标，即确定了待选字符，随后将其输出。这种Alpha波和视觉刺激诱发的P300信号两种脑电特征的双模Speller BCI系统，有效地提高了可选字符数，并且加快了待选字符输出速率。

下面以一个简单的试验来验证本发明实施例提供的一种脑机接口系统及其控制方法的可行性，详见下文描述：

本发明实施例使用64导联的脑电数据采集模块，所用电极均为Ag或AgCl电极(阻抗小于15000欧姆)，以双侧乳突作为参考电平，脑电采样频率为1000Hz，滤波通带为0.5～100Hz，并采用50Hz陷波器去除工频干扰，通过试验验证了本发明实施例提供的一种脑机接口系统及其控制方法的可行性，满足了实际应用中的需要。

综上所述，本发明实施例提供了一种脑机接口系统及其控制方法，本发明实施例将Alpha波的幅值变化与视觉刺激诱发的P300信号两类特征相结合，来实现多个字符输出，以及设计一种新的同步采集这两类脑电特征的Speller BCI系统。本发明实施例在基于传统的视觉刺激诱发的P300 Speller BCI系统之上，针对于传统刺激编码模式信息传输效率低，可选字符数有限的问题，融合了睁闭眼引起的Alpha波阻断，大大提高了可选字符数，并且有效地提高了信息传输效率；进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种脑机接口系统，其特征在于，所述脑机接口系统包括：脑电数据采集模块、第一数据处理模块、第二数据处理模块和模式识别模块；

在所述脑电数据采集模块的屏幕上按照第一预设时间间隔显示Speller刺激界面的各个层面，采集使用者的脑电信号，所述第一数据处理模块对所述脑电信号进行处理，输出控制信号，选择待选字符所在层面；所述第二数据处理模块对所述脑电信号进行处理，获取视觉诱发的P300信号；所述模式识别模块对所述视觉诱发的P300信号进行分类识别，输出所述待选字符。

2.根据权利要求1所述的一种脑机接口系统，其特征在于，所述Speller刺激界面具体为：先进行列的随机无重复闪烁，再进行行的随机无重复闪烁，所述Speller刺激界面中包括：键盘上的所有字符。

3.根据权利要求1或2所述的一种脑机接口系统，其特征在于，所述Speller刺激界面为三个层面的Speller刺激界面，第一层面的Speller刺激界面为键盘上不按shift直接输入的字符；第二层面的Speller刺激界面为键盘上同时按shift输入的字符；第三层面的Speller刺激界面为键盘上的所有功能键。

4.一种脑机接口系统的控制方法，其特征在于，所述方法包括以下步骤：

(2)对闭眼后采集到的脑电信号进行8~13Hz的带通滤波，提取Alpha波；对Alpha波进行第二预设时间的均方根平滑处理，获取均方根平滑处理后的Alpha波；

其中所述门限电压具体为：

V_ref=V_open+0.8(V_close-V_open)，其中，V_open为睁眼时Alpha波幅平均值；V_close为闭眼时Alpha波幅平均值；

(6)输出控制信号，确定待选字符所在的层面；

其中，步骤(7)中的所述相干平均方式具体为：

x_n(i,t)=p_n(i,t)+e_n(i,t)n=1…N

E[e_m(i，t)e_n(i，t)]=0 m≠n

假设每次刺激所产生的P300信号都表示成一个确定的信号p(i，t),即

p₁(i，t)=p₂(i，t)=…=p_N(i，t)=p(i，t)；

其中，步骤(8)中的所述对所述视觉诱发的P300信号进行模式识别，输出所述待选字符具体为：

刺激界面进行列的随机无重复闪烁时，所述视觉诱发的P300信号作为一个特征向量，作为支持向量机的输入；进行行的随机无重复闪烁时，所述视觉诱发的P300信号作为另一个特征向量，作为所述支持向量机的另一个输入，经过所述支持向量机的处理，确定X，Y方向上的坐标；

所述控制信号决定了所述待选字符在Z轴方向上的位置。