CN102778949B - 基于ssvep阻断和p300双特征的脑-机接口方法 - Google Patents

Abstract

本发明涉及医疗器械领域。为能够同时诱发SSVEP阻断特征与P300特征，并且可以在空间和频域上将两者分离开来，这两种不同特征信号的有效结合能够明显地提高BCI系统的单任务判断正确率，为达到上述目的，本发明采取的技术方案是，基于SSVEP阻断和P300双特征的脑-机接口方法，包括下列步骤：视觉刺激诱发双特征，采集存储所产生脑电信号并进行预处理，提取相应的SSVEP阻断和P300特征信号，使用线性判别分析进行分类，从而将这些特征应用于实验任务的模式识别。本发明主要应用于医疗器械的设计制造。

Description

基于SSVEP阻断和P300双特征的脑-机接口方法

技术领域

本发明涉及医疗器械领域，尤其涉及医疗器械领域中采用的基于SSVEP阻断和P300双特征的脑-机接口方法。

背景技术

第一次脑-机接口（Brain-Computer Interface，BCI）国际会议给出的BCI的定义是：“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。因此，BCI技术也越来越受到重视。

近年来，混合范式的BCI（Hybrid BCI，HBCI）作为BCI系统发展的一个新方向而受到了广泛的研究。HBCI系统是将一个子BCI系统与其他人-机接口系统结合，从而更快、更准地输出控制命令。纯混合范式的BCI（Pure hybrid BCI，PHBCI）系统则是将多个子BCI系统结合在一起。目前存在的PHBCI系统大多结合SSVEP与ERD信号，或者结合P300与ERD信号。这类PHBCI系统将多种不同EEG信号平行处理，即把不同的EEG信号用来处理不同的任务。这种混合方式虽然能够在多任务情况下提高执行效率，但是无法改善单一任务的判断正确率。

同为视觉诱发的P300电位与SSVEP脑电信号的结合存在着天然的便利性。P300电位是认知电位，而SSVEP是由外界刺激被动产生的，因此两者的出现不存在机制上的矛盾。另一方面，P300电位的产生区域与SSVEP信号的产生区域存在差别，这又避免了两种特征信号在空间上的冲突。Panicker等人提出了一种基于SSVEP和P300信号的异步PHBCI系统。这种系统的优势是利用SSVEP特征信号作为受试者的状态开关，然而对于提高任务的判断正确率仍然是无益的。

发明内容

本发明旨在克服现有技术的不足，能够同时诱发SSVEP阻断特征与P300特征，并且可以在空间和频域上将两者分离开来，这两种不同特征信号的有效结合能够明显地提高BCI系统的单任务判断正确率，为达到上述目的，本发明采取的技术方案是，基于SSVEP阻断和P300双特征的脑-机接口方法，包括下列步骤：视觉刺激诱发双特征，采集存储所产生脑电信号并进行预处理，提取相应的SSVEP阻断和P300特征信号，使用线性判别分析进行分类，从而将这些特征应用于实验任务的模式识别。

视觉刺激诱发SSVEP阻断和P300双特征，当计算机屏幕上某一字符作为刺激即处于event时期，除该字符外，其他所有字符都亮暗交替呈现在屏幕上，处于event时期的字符亮度不变，但是字体形状发生变化，交替呈现的频率在6Hz以上，当受试者接受非target刺激时，能够诱发其产生SSVEP特征脑电；当受试者接受target刺激时，SSVEP信号将受到阻断，与此同时将产生P300电位。

预处理包括将参考点转换成左右乳突，且对各导联信号进行1-30Hz带通滤波并降采样至200Hz，然后再进行信号分段，根据事件代码将所分的信号数据段分为非目标刺激和目标刺激两类；预处理之后，提取P300特征和SSVEP阻断的特征。

采用相干叠加平均提取P300特征：

多个实测信号样本与时间基准点对齐，再将与同一时间对应的各样本数据求和平均，即可确定诱发响应的估值曲线，将按照目标和非目标事件代码所对应的分段数据进行叠加平均，叠加方法如下：

${\mathrm{EEG}}_i=1/n\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{EEG}}_{i,k}$

其中，i＝0或1，1代表目标，0代表非目标，n代表叠加的数据段个数，即叠加次数。

SSVEP阻断特征的提取步骤具体为：在Oz等导联处诱发了与闪烁频率一致的SSVEP信号，而该SSVEP信号的能量又在target刺激发生时受到了抑制，这种信号被称为SSVEP阻断特征，采用AR模型参数计算对脑电信号做功率谱密度Power Spectral Density，PSD估计，观察信号功率谱密度PSD变化曲线，选用Burg方法和改进的协方差进行计算，在对于AR模型的阶数进行选择时，是先选择一个稍大的k值，使用Levinson-Durbin递推算法并计算FPE（k)的最小值，从而得到最为合适的阶数k，并将这一参数应用于功率谱估计当中。

本发明的技术特点及效果：

本发明所采用的两种信号特征诱发机制不同，避免了机制上的矛盾；两种信号的产生区域不同又避免了其空间上的冲突，并且可以在空间和频域上将两者分离开来，而这两种不同特征信号的有效结合能够明显的提高BCI系统的单任务判断正确率，可以得到完善的脑机接口系统，有望获得可观的社会效益和经济效益。

附图说明

图1新范式预期系统的结构框图。

图2P300-Speller范式

图3P300-SSVEP-Speller范式

图4P300-Speller时序图与P300-SSVEP-Speller时序图

（a）传统范式时序图

（b）新范式时序图

图5时域波形和15Hz的PSD变化曲线。（a）Cz导联，（b）Oz导联。

图6传统范式与新型范式字符正确率平均结果对比

具体实施方式

本发明设计了一种基于SSVEP阻断和P300双特征的脑-机接口范式。正常人在受到不同频率（一般大于6Hz）的闪烁刺激时，对应的脑电里会出现和刺激频率或其谐波一致的响应，该响应就是所谓的稳态视觉诱发电位；P300则是在靶概率目标刺激后300ms左右在脑电中出现的一个正峰；SSVEP阻断则是在SSVEP和P300融合的新范式中出现的SSVEP信号的能量在目标刺激发生时受到抑制的现象。基于双特征范式设计的脑-机接口将SSVEP的阻断特征和P300特征有效得结合起来对字符进行识别，以期提高BCI系统的单任务判断正确率。其技术流程是：设计新范式实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理，最后使用线性判别分析进行分类，以得到更高的正确率。

本发明的主旨是提出一种新的诱发范式能同时诱发SSVEP阻断和P300特征并将两者结合起来来实现对字符的识别。该项发明所涉及的两种信号特征诱发机制不同，避免了机制上的矛盾；两种信号的产生区域不同又避免了其空间上的冲突。进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

图1为新范式预期系统的结构示意图。该设计包括脑电电极和脑电放大器等脑电采集系统和计算机等部分，其中计算机部分又包括EEG分析程序的设计和用户界面主要是刺激诱发界面的设计。使用Neuroscan公司生产的脑电数字采集系统采集脑电，采集多通道的脑电数据，在原始脑电信号采集过程中，脑电采集装置原始的参考点就位于Cz和Pz导联的中间，大脑顶叶的中央位置（这是由脑电采集装置确定的）。受试者安静地坐于距屏幕约1m的靠椅上，注视计算机屏幕上的刺激范式的闪烁，闪烁过程中心中默数目标字符闪烁的次数（有利于集中受试者精力）。在此过程中受试者脑电会产生相应的变化：脑电信号在大脑皮层产生，由脑电电极探测后经过脑电放大器放大、滤波后输入计算机。采集到得脑电数据再经过后续的数据处理提取相应的SSVEP阻断和P300特征信号，从而将这些特征应用于实验任务的模式识别。

本发明要点在于视觉刺激诱发方案的设计及模式识别等技术环节。

1视觉刺激诱发方案的设计

传统P300-Speller设计基于Farwell字符矩阵实验，如图2所示。在计算机屏幕上显示3×3的字符矩阵，字符按时间顺序随机闪烁，给予受试者相应的刺激。在一个刺激组（round）内，所有字符不重复闪烁（event）一次，即受试者能够接受9种不同的视觉刺激。当受试者所关注的目标字符（target）闪烁时，即受试者接受target刺激时，可诱发其脑电产生P300成分。而其他字符对受试者的刺激，即接受nontarget刺激时，不能诱发其产生P300电位。因此，该BCI系统可以通过判断P300电位的有无来确定受试者的目标字符。

提出的P300-SSVEP-Speller在Farwell字符矩阵实验的基础上做了改进，如图3所示。每个字符不再以闪烁方式刺激受试者，而是通过改变字体刺激其产生P300电位。与此同时，其他字符以一定频率稳定闪烁。当字符5作为刺激时，图3a和图3b分别在计算机屏幕上交替呈现，其频率为15Hz。因此，当受试者接受非target刺激时，能够诱发其产生SSVEP特征脑电；当受试者接受target刺激时，SSVEP信号将受到阻断，与此同时将产生P300电位。Target刺激就是受试者所关注的字符发生了动作变化，如果受试者现在关注着字符2，那么只有字符2改变字体才是target刺激。

图4a是传统P300-speller范式的单个字符闪烁时序图。可以发现，在字符发生event外，其他时间都是空白期，即该字符不产生任何动作。图4b是笔者提出的P300-SSVEP-Speller范式的单个字符闪烁时序图。与传统范式相比，新范式将原有的空白期换成闪烁期，即在发生event外，该字符一直以某个固定的频率闪烁。

2脑电数据的特征提取

通常认为P300电位在Cz导联处最明显，而SSVEP在Oz导联处最易观察。因此通过分析Cz和Oz导联处的数据来分析新范式下诱发的脑电特征。在对信号做处理之前首先要对信号做预处理，包括变参考，去噪，降采样和信号分段等。其中，将参考点转换成左右乳突，且对各导联信号进行1-30Hz带通滤波并降采样至200Hz。在数据中找到各事件代码，并截取事件代码之前400ms到该代码之后1000ms的数据为一个数据段。并按目标刺激与非目标刺激进行分类。

2.1P300特征提取

由于P300信号与自发脑电呈加性关系，而且是与刺激呈锁时关系，加上良好的实验数据，实验中将采用相干叠加平均来对P300信号做特征提取。

多个实测信号样本与时间基准点对齐，再将与同一时间对应的各样本数据求和平均，即可确定诱发响应的估值曲线，这种估计方法称为相干叠加平均技术。它隐藏了2个重要的前提：

1自发脑电可以看作是零均值、方差确定的平稳随机信号，对于每一次刺激它们之间都是互不相关的。

2一次实验中，使用相同的刺激条件，可以将P300近似认为是一个确定性的信号，并且该信号与自发脑电是相互独立的。

实验中，将按照目标和非目标事件代码所对应的分段数据进行叠加平均。叠加方法如下：

${\mathrm{EEG}}_i=1/n\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{EEG}}_{i,k}$

其中，i＝0或1（1代表目标，0代表非目标），n代表叠加的数据段个数，即叠加次数。

EEGi——当i=0时，为分段的非目标刺激对应的脑电信号经相干叠加平均后所得的脑电数据。当i=1时，为分段的目标刺激对应的脑电信号经相干叠加平均后所得的脑电数据。

EEGik——当i=0时，为非目标刺激对应的脑电数据中，第k个数据段。k与叠加次数n有关，k（1，2，…，n）。当i=1时，为目标刺激对应的脑电数据中，第k个数据段。k与叠加次数n有关，k（1，2，…，n）。

2.2SSVEP阻断的特征提取

新范式在保证不影响原有P300信号产生的同时，在Oz等导联处诱发了与闪烁频率一致的SSVEP信号。而该SSVEP信号的能量又在target刺激发生时受到了抑制，这种信号被称为SSVEP阻断特征。脑电信号属于随机信号，可以用功率谱密度来表征它的统计平均谱特性。经典谱估计中最常使用的是韦尔奇(Welch)方法，现代谱估计多以自回归(Auto-Regressive，简称AR)模型参数计算求解EEG的功率谱密度，其频率分辨性能优于经典谱估计。这里用AR模型参数计算对脑电信号做功率谱密度（Power Spectral Density，PSD）估计，观察信号功率谱密度（PSD）变化曲线，选用了Burg方法和改进的协方差进行计算，在对于AR模型的阶数进行选择时，是先选择一个稍大的值，在递推过程中确定。使用Levinson-Durbin递推算法并计算FPE（k)的最小值，从而得到最为合适的阶数k（实验中得到的k为10），并将这一参数应用于功率谱估计当中。

AR——自回归模型（Auto-Regressive）。

FPE——最小最终预报误差准则(Final Prediction Error)。

图4中，blank——空白，无动作，表示范式没有变化；flash——闪烁，范式中各字符亮暗交替呈现，呈现频率在6Hz以上；event——事件，指刺激，即某一字符亮度不变，但是字体形状发生变化。

图5中，amplitude——幅度，指信号的振幅；PSD——功率谱密度；target——目标，受试者所关注和想要输出的字符；nontarget——非目标，相对于目标而言，所有不是目标的均为非目标字符。

有益效果

按照以上我们设计的基于SSVEP阻断和P300双特征的混合范式以及实验程序进行字符选择任务的实验，并以传统的P300-Speller实验作为对照。对采集到的所有数据进行预处理并提取特征，得到了有效且明显的SSVEP阻断和P300特征，如图4所示，从时域波形上看，当大脑在接受新范式的target刺激时，仍然能够在Cz和Oz导联处产生明显的P300电位，而在nontarget刺激的情况下不产生P300电位。另外，Oz导联处的信号在没有target刺激的情况下，存在稳定的15Hz振荡。这可以从15Hz的PSD变化曲线上获得验证，即大脑在接受target刺激时，Oz导联处的PSD要明显低于nontarget刺激处的PSD。

对12位受试者分别使用P300-Speller和P300-SSVEP-Speller的判断正确率进行了比较。其中，ERP特征采用0.1-10Hz的时域波形表示，SSVEPB特征采用15Hz的时域波形表示，采样率为30Hz。利用9折交叉验证的SWLDA对其分类。从所有受试者的平均结果来看（如图5所示），新范式在不同选择次数下的正确率均高于传统范式，最高可达99.63%。利用配对t检验对上述结果进行分析，发现新范式的字符识别正确率显著性的高于传统范式的字符识别正确率（p-value<0.05）。

实验结果说明利用融合了SSVEP阻断和P300特征的新范式所做的Speller系统的识别正确率要比传统的P300-Speller的识别正确率高。

本发明设计了一种基于SSVEP阻断和P300双特征的脑-机接口范式，以实现不同特征融合在脑-机接口技术中的应用研究。进一步研究可以得到完善的脑机接口系统，有望获得可观的社会效益和经济效益。

Claims (3)

1.一种基于SSVEP阻断和P300双特征的脑-机接口方法，其特征是，包括下列步骤：视觉刺激诱发双特征，采集存储所产生脑电信号并进行预处理，提取相应的SSVEP阻断和P300特征信号，使用线性判别分析进行分类，从而将这些特征应用于实验任务的模式识别；其中，预处理包括将参考点转换成左右乳突，且对各导联信号进行1-30Hz带通滤波并降采样至200Hz，然后再进行信号分段，根据事件代码将所分的信号数据段分为非目标刺激和目标刺激两类；预处理之后，提取P300特征和SSVEP阻断的特征。

2.如权利要求1所述的基于SSVEP阻断和P300双特征的脑-机接口方法，其特征是，视觉刺激诱发SSVEP阻断和P300双特征：当计算机屏幕上某一字符作为刺激即处于event时期，除该字符外，其他所有字符都亮暗交替呈现在屏幕上，处于event时期的字符亮度不变，但是字体形状发生变化，交替呈现的频率在6Hz以上，当受试者接受非target刺激时，能够诱发其产生SSVEP特征脑电；当受试者接受target刺激时，SSVEP信号将受到阻断，与此同时将产生P300电位。

3.如权利要求1所述的基于SSVEP阻断和P300双特征的脑-机接口方法，其特征是，采用相干叠加平均提取P300特征：

多个实测信号样本与时间基准点对齐，再将与同一时间对应的各样本数据求和平均，即可确定诱发响应的估值曲线，将按照目标和非目标事件代码所对应的分段数据进行叠加平均，叠加方法如下：

${\mathrm{EEG}}_i=1/n\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{EEG}}_{i,k}$

其中，i＝0或1，1代表目标，0代表非目标，n代表叠加的数据段个数，即叠加次数；

SSVEP阻断特征的提取步骤具体为：在Oz等导联处诱发了与闪烁频率一致的SSVEP信号，而该SSVEP信号的能量又在target刺激发生时受到了抑制，这种信号被称为SSVEP阻断特征，采用AR模型参数计算对脑电信号做功率谱密度Power Spectral Density，PSD估计，观察信号功率谱密度PSD变化曲线，选用Burg方法和改进的协方差进行计算，在对于AR模型的阶数进行选择时，是先选择一个稍大的k值，使用Levinson-Durbin递推算法并计算FPE(k)的最小值，从而得到最为合适的阶数k，并将这一参数应用于功率谱估计当中。