CN102508545A - 一种视觉P300-Speller脑-机接口方法 - Google Patents

Abstract

本发明公开了一种视觉P300-Speller脑-机接口方法，获取刺激界面，刺激界面中包括N＞＞36的字符，字符按照预设间隔进行排布；对刺激界面中的字符进行空间编码，依照栅格面编码控制刺激界面中的所述字符进行闪烁；对脑电信号进行数字化记录，对记录到的脑电信号进行带通滤波，将每一次闪烁刺激之后的EEG数据片段从连续的EEG数据中提取出来；对每一次闪烁刺激之后的EEG数据片段进行预处理，去除眼电信号，获取P300脑电信号；将P300脑电信号的时域特征作为识别特征，获取特征向量；对特征向量进行模式识别，输出目标字符。本发明大幅提高了可选择字符的数量，能够有效的提升信息传输速率，满足实际应用中的要求。

Description

一种视觉P300-Speller脑-机接口方法

技术领域

本发明涉及通讯领域，特别涉及一种视觉P300-Speller脑-机接口方法。

背景技术

BCI是一种不依赖于正常的由外围神经和肌肉组成的输出通路的通讯系统，它实现了利用工程技术手段“让思想变成行动”的对外信息交流和控制新途径，是一种涉及医学、神经学、信号检测、信号处理和模式识别等多个领域的交叉技术。BCI系统不仅可以帮助运动功能失常但思维正常的患者通过大脑的思维运动来实现与外界的信息交流，而且在虚拟现实、游戏娱乐以及工业、交通等领域也具有重要的潜在价值。近年来，BCI的发展非常迅速，全球有大量的组织和机构从事该方面的研究。P300信号是事件相关电位(Event-Related Potential，ERP)的一种，当受试者受到两种或两种以上刺激时，出现在目标刺激开始后300ms左右的正峰即为P300信号，如图1所示。目标刺激出现的概率越小所引起的P300信号越显著。P300信号是一种内源性的ERP成分，它的产生不受刺激的物理特性影响。

传统的视觉P300-Speller BCI系统是由Farwell和Donchin在1988年设计实现的。如图2所示，该P300-Speller刺激界面是6×6的字符矩阵，整个字符矩阵由36个字符组成。使用者注视想要选择的目标字符，闪烁时按照整行、整列的形式进行闪烁，行列的闪烁顺序是按照事先设定的一个伪随机序列排列的，每行列闪烁的时间间隔为数百毫秒。根据神经电生理学的研究结果，只有包含目标字符的闪烁刺激才会诱发出P300信号。P300信号具有较明显的波形特征，可以通过特征提取和模式识别的方法来进行检测。由于P300信号出现在目标刺激后的300ms，因此在检测出P300信号后可以根据行列闪烁顺序推算出目标刺激所在的行列，目标行列的交点既是目标字符的位置。

按照上述流程，可见将整个字符矩阵遍历一次需要12次闪烁。这种P300-Speller可供选择的字符数量过低(仅有36个)，如果增加字符的数量，整个字符矩阵遍历一次需要闪烁的次数明显增加，选择一个字符的时间将会变长，因此该刺激模式不利于实现大指令集的信息传输，存在信息传输速率过低的问题，难以满足实际应用中的需要。如果以上述6×6方式的P300-Speller来控制一个计算机键盘的输入，那么除字符与数字以外，标点符号键和功能键等均无法使用，这对于实际的输入操作来说是非常不便的。

发明内容

本发明要解决的技术问题在于提供一种视觉P300-Speller脑-机接口方法，该方法解决了传统的行列闪烁刺激模式的P300-Speller不利于大指令集选择，导致信息传输速率过低的问题，详见下文描述：

一种视觉P300-Speller脑-机接口方法，所述方法包括以下步骤：

(1)获取刺激界面，所述刺激界面中包括N＞＞36的字符，所述字符按照预设间隔进行排布，其中，N为字符的个数，N的取值为大于36的正整数；

(2)对所述刺激界面中的所述字符进行空间编码，依照栅格面编码控制所述刺激界面中的所述字符进行闪烁；

(3)对脑电信号进行数字化记录，对记录到的所述脑电信号进行带通滤波，将每一次闪烁刺激之后的EEG数据片段从连续的EEG数据中提取出来；

(4)对所述每一次闪烁刺激之后的EEG数据片段进行预处理，去除眼电信号，获取P300脑电信号；

(5)将所述P300脑电信号的时域特征作为识别特征，获取特征向量；

(6)对所述特征向量进行模式识别，输出目标字符。

步骤(2)中的所述对所述刺激界面中的所述字符进行空间编码，依照栅格面编码控制所述刺激界面中的所述字符进行闪烁具体为：

将N个字符随机分配到一个m×n×p的立方体网格中，m≥n≥p，且满足m×n×p≥N，(m-1)×n×p≤N，每个小格子代表一个字符；闪烁时按照所述栅格面进行闪烁，一次点亮一个栅格面中的所有字符。

步骤(4)中的所述预处理具体为：

0.5-40Hz的带通滤波和利用独立分量分析去除所述眼电信号。

所述利用独立分量分析去除所述眼电信号具体为：

采用信息极大化方法对采集的所述脑电信号进行所述独立分量分析，得到若干个独立成分，采用眼电相关性判别法在所述若干个独立成分中寻找到相应的眼电成分，将所述眼电成分进行置零化处理然后进行数据重构，去除所述眼电信号。

步骤(6)中的所述对所述特征向量进行模式识别，输出目标字符具体为：

通过Fisher判别分析对所述特征向量进行模式识别，输出所述目标字符。

所述通过Fisher判别分析对所述特征向量进行模式识别，输出所述目标字符具体为：

所述Fisher判别分析的决策函数为L＝W×H+b，W是经训练数据集获得投影方向矢量，H是进行识别判断的样本特征向量，b是偏置量，经训练得到一个决策函数值L_i，对重复刺激的若干个L_i采用叠加法进行综合判断，即对相同刺激的多次重复L_i进行叠加，然后比较每个刺激的∑L_i，选取其中最大的判断为靶刺激，按照上述步骤一次对三维栅格进行识别，最后确定出所述目标字符，其中，i为决策函数值的个数。

本发明提供的一种视觉P300-Speller脑-机接口方法，与现有技术相比具有如下的优点：

本发明提供了一种视觉P300-Speller脑-机接口方法，该方法在满足能够产生明显P300信号的条件下，设计了一种更加高效的编码方式，并且针对该种编码方式设计了合理的信号处理方法，与传统的编码方式相比，在相同的闪烁刺激次数下，本发明的编码方式大幅提高了可选择字符的数量，能够有效的提升信息传输速率，更好的满足实际应用中的要求。

附图说明

图1为现有技术提供的P300信号示意图；

图2为现有技术提供的行列闪烁方式的6×6字符矩阵刺激界面的示意图；

图3为本发明提供的一种视觉P300-Speller脑-机接口方法的流程图；

图4为本发明提供的刺激界面；

图5a和图5b为本发明提供的栅格面的示意图；

图6为本发明提供的Cz导联处经过10次迭加平均的ERP波形图；

图7为本发明提供的模式识别结果对比图；

图8为本发明提供的ITR结果对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

合理的闪烁方式可以有效的提高信息传输速率，一个好的闪烁方式可以通过较少的闪烁次数，在较多的字符选项中快速识别出目标字符来，也就是单位时间内可以选择出更多的字符。在改进闪烁方式上国内外很多团队做了大量的研究，设计了各种不同的闪烁方式，如单一字符闪烁方式(每次只闪烁一个字符)、随机模式和拟随机模式等等。本发明实施例提供了一种视觉P300-Speller脑-机接口方法，参见图3，该方法包括以下步骤：

101：获取刺激界面；

其中，参见图4，图4中显示了一个刺激界面，也就是使用者观察到的刺激界面，该刺激界面中涵盖了若干个(N＞＞36，N的取值为大于36的正整数)比较常用的字符，字符按照预设间隔进行排布，这样的排布方式可以有效的减弱与目标字符临近的字符闪烁时对使用者造成的影响。其中，预设间隔的取值根据实际应用中的需要进行确定，具体实现时，本发明实施例对此不做限制。

102：对刺激界面中的字符进行空间编码，依照栅格面编码控制刺激界面中的字符进行闪烁；

其中，该步骤具体为将N个字符随机分配到一个m×n×p的立方体网格中，m≥n≥p，且满足m×n×p≥N，(m-1)×n×p≤N，如图5(a)所示，每个小格子代表一个字符。图5(b)中显示了垂直于X、Y、Z三个方向的三个字符栅格面。闪烁时按照栅格面进行闪烁，一次点亮一个栅格面中的所有字符(如图4所示，被加亮的字符为一个栅格面所代表的所有字符)，将垂直于X、Y、Z三个方向的所有栅格面遍历一次需要m+n+p次闪烁。因为三个栅格面的交点是唯一的，如图5(b)中的字符V，所以可按照上面的闪烁方式，通过判断脑电信号中的P300成分便可以确定被试者选定的是哪个字符。

如果采用传统的行列闪烁方式m+n+p次的闪烁只能实现对

个字符的选择。不妨假设m＝n＝p＝4，即完成对64个字符的选择，应用传统的行列闪烁方式需要进行8+8＝16次闪烁，而应用空间的编码方式仅需4+4+4＝12次闪烁，可见空间的编码方式极大的减少了刺激的闪烁次数；如果应用传统的刺激模式进行12次闪烁则只能完成对个36字符的选择。因此，可以看出在相同的可选字符数目下，空间编码的闪烁方式可以有效地减少字符的闪烁次数，减少选择一个字符所需的时间；在相同的闪烁次数下，空间编码的闪烁方式可以大幅度的增加P300-Speller中可供选择的字符数目，即空间的编码方式可以提高信息传输速率。

103：对脑电信号进行数字化记录，对记录到的脑电数据进行带通滤波，将每一次闪烁刺激之后的EEG数据片段从连续的EEG数据中提取出来；

其中，本发明实施例以采样频率为100Hz，带通滤波频率为0.5-40Hz为例进行说明，具体实现时，根据实际应用中的需要还可以设置为其他的取值范围，本发明实施例对此不做限制。对脑电数据进行采样可在任何成熟的商用脑电数字采集系统上实行，电极选用标准的10/20系统的64导联电极帽，电极材料是银/氯化银(Ag/AgCl)合金，这种合金可以保证极化电压最小。实际应用中为了方便也可以对电极数目进行化简，按照神经电生理学的相关知识，可选用两种简化的电极导联方式，一种是采用六个导联：Fz、Cz、Pz、PO7、PO8和Oz，另一种是在这六个导联上再引入另外六个导联：C3、C4、P3、P4、O1和O2，共12个导联。以上两种电极导联方式使用较少的电极导联，这样可以减少很多因电极脱落带来的误差风险，并降低使用者佩戴系统的难度和不适感。

104：对每一次闪烁刺激之后的EEG数据片段进行预处理，去除眼电信号，获取P300脑电信号；

其中，该步骤中的预处理具体包括：0.5-40Hz的带通滤波和利用独立分量分析去除眼电信号，通过预处理使得获取到的脑电信号尽量减少伪迹、提高信噪比以及稳定基线。

其中，独立分量分析(Independent Component Analysis，ICA)是一种利用统计原理进行计算的方法，该方法的目的是将观察到的数据进行某种线性分解，使其分解成统计独立的成分，它是盲信号分离的一种特例。本发明实施例采用信息极大化方法对采集的64导联的脑电数据进行ICA处理，得到若干个独立成分，采用眼电相关性判别法在这些独立成分中寻找到相应的眼电成分，将眼电成分进行置零化处理然后进行数据重构，以达到去除眼电信号的目的。

105：将P300脑电信号的时域特征作为识别特征，获取特征向量；

首先对脑电数据降采样至100Hz，之后进行0.5-40Hz带通滤波，将每一次闪烁刺激之后的EEG片段(epoch)从连续的EEG中提取出来。然后进一步降采样至20Hz，截取刺激开始后的700ms的EEG片段，即截取刺激开始后的14个点的数据，由于共采集64导联数据，因此每个刺激后总的时域特征点数为14×64＝896。将这896个点作成一维特征向量，由于采用的分类器中对于特征向量内特征的顺序无要求，因此可以任意顺序排列，但要保证对于所有的刺激而言特征顺序是一致的。对于简化导联而言，特征向量内的特征个数分别为84和168个。

106：对特征向量进行模式识别，输出目标字符。

模式识别(Pattern Recognition)是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。Fisher判别分析(Fisher Discriminant Analysis，FDA)是应用最为广泛的模式识别方法之一，该方法的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即各模式在该空间中有最佳的可分离性。本发明实施例中应用FDA方法进行空间编码闪烁方式的字符刺激识别。

其中，该步骤具体包括：通过Fisher判别分析对特征向量进行模式识别，输出目标字符。

其中，FDA的决策函数为L＝W×H+b，这里W是FDA经训练数据集获得投影方向矢量，H是进行识别判断的样本特征向量，b是偏置量。由于P300 Speller是一个在重复刺激条件下进行综合判断的系统，一次识别中每个靶刺激和非靶刺激都会重复多次，模式识别的任务是在重复条件下区分靶刺激和非靶刺激。经训练得到的FDA对每个刺激的每次重复都作出一个判断，即得到一个决策函数值L_i，进行字符判断时，对重复刺激的若干个L_i进行综合判断。综合判断方法采用叠加法，即对相同刺激的多次重复L_i进行叠加，然后比较每个刺激的∑L_i，选取其中最大的判断为靶刺激。按照上述方法一次对三维栅格进行识别，最后确定出目标字符。

下面通过具体的试验来验证本发明实施例的可行性，详见下文描述：

图6显示了Cz导联处经过10次迭加平均的ERP波形图，可以明显的看出目标刺激下在刺激开始后300-400ms间诱发出了明显的P300特征，通过该特征可以有效的区分目标刺激和非目标刺激，说明基于空间编码的闪烁方式能够诱发出明显的P300信号。

图7给出了同一名被试者完成传统的6×6实验和空间编码闪烁方式的64字符实验的模式识别结果对比图，纵轴为正确率、横轴为闪烁遍历的次数，从图中可以看出空间编码闪烁方式的正确率并不亚于传统的行列闪烁方式，基于空间编码的闪烁方式同样可以取得较高的分类正确率。

信息传输速率(Information Transfer Rate，ITR)是评价BCI系统的一个重要指标，它能有效的评价系统与外界的交流和控制能力，其定义如下：

$\mathrm{ITR}=\frac{60(2P-1)({P\log }_2\left(P\right)+(1-P){\log }_2\left(\frac{1-P}{N-1}\right)+{\log }_2\left(N\right))}{T\×n}$

其单位是：比特/分(bit/min)，N为P300-Speller中可供选择字符的总数，P为正确率，n为闪烁遍历的次数，T为遍历一次所需的时间，本方法中闪烁时加亮的时间持续100ms，全暗的时间持续75ms，因此遍历一次所需的时间为(100+75)×12＝2100ms，即2.1s。当P＜0.5时ITR为0。计算信息传输速率所利用的正确率都是来自于Fisher判别分析分类的结果。

图8为同一名被试者在完成传统的6×6实验和空间编码闪烁方式的64字符实验的ITR结果对比图。从图中可以看出基于空间编码闪烁方式下的ITR比传统的行列闪烁方式高出很多，最高信息传输速率达到了70bit/min以上，而行列闪烁方式的信息传输速率基本在20bit/min以下。

综上所述，本发明实施例提供了一种视觉P300-Speller脑-机接口方法，该方法在满足能够产生明显P300信号的条件下，设计了一种更加高效的编码方式，并且针对该种编码方式设计了合理的信号处理方法，与传统的编码方式对比，在相同的闪烁刺激次数下，本发明的编码方式大幅提高了可选择字符的数量，能够有效的提升系统的信息传输速率，更好的满足实际应用中的要求。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视觉P300-Speller脑-机接口方法，其特征在于，所述方法包括以下步骤：

(1)获取刺激界面，所述刺激界面中包括N＞＞36的字符，所述字符按照预设间隔进行排布，其中，N为字符的个数，N的取值为大于36的正整数；

(2)对所述刺激界面中的所述字符进行空间编码，依照栅格面编码控制所述刺激界面中的所述字符进行闪烁；

(3)对脑电信号进行数字化记录，对记录到的所述脑电信号进行带通滤波，将每一次闪烁刺激之后的EEG数据片段从连续的EEG数据中提取出来；

(4)对所述每一次闪烁刺激之后的EEG数据片段进行预处理，去除眼电信号，获取P300脑电信号；

(5)将所述P300脑电信号的时域特征作为识别特征，获取特征向量；

(6)对所述特征向量进行模式识别，输出目标字符。

2.根据权利要求1所述的一种视觉P300-Speller脑-机接口方法，其特征在于，步骤(2)中的所述对所述刺激界面中的所述字符进行空间编码，依照栅格面编码控制所述刺激界面中的所述字符进行闪烁具体为：

将N个字符随机分配到一个m×n×p的立方体网格中，m≥n≥p，且满足m×n×p≥N，(m-1)×n×p≤N，每个小格子代表一个字符；闪烁时按照所述栅格面进行闪烁，一次点亮一个栅格面中的所有字符。

3.根据权利要求1所述的一种视觉P300-Speller脑-机接口方法，其特征在于，步骤(4)中的所述预处理具体为：

0.5-40Hz的带通滤波和利用独立分量分析去除所述眼电信号。

4.根据权利要求3所述的一种视觉P300-Speller脑-机接口方法，其特征在于，所述利用独立分量分析去除所述眼电信号具体为：

采用信息极大化方法对采集的所述脑电信号进行所述独立分量分析，得到若干个独立成分，采用眼电相关性判别法在所述若干个独立成分中寻找到相应的眼电成分，将所述眼电成分进行置零化处理然后进行数据重构，去除所述眼电信号。

5.根据权利要求1所述的一种视觉P300-Speller脑-机接口方法，其特征在于，步骤(6)中的所述对所述特征向量进行模式识别，输出目标字符具体为：

通过Fisher判别分析对所述特征向量进行模式识别，输出所述目标字符。

6.根据权利要求5所述的一种视觉P300-Speller脑-机接口方法，其特征在于，所述通过Fisher判别分析对所述特征向量进行模式识别，输出所述目标字符具体为：

所述Fisher判别分析的决策函数为L＝W×H+b，W是经训练数据集获得投影方向矢量，H是进行识别判断的样本特征向量，b是偏置量，经训练得到一个决策函数值L_i，对重复刺激的若干个L_i采用叠加法进行综合判断，即对相同刺激的多次重复L_i进行叠加，然后比较每个刺激的∑L_i，选取其中最大的判断为靶刺激，按照上述步骤一次对三维栅格进行识别，最后确定出所述目标字符，其中，i为决策函数值的个数。

Images