CN104965584B - 基于ssvep与osp的混合脑‑机接口方法 - Google Patents

Abstract

基于SSVEP与OSP的混合脑‑机接口方法，受试者穿戴好电极帽，将SSVEP‑OSP混合范式通过计算机屏幕在受试者面前播放，受试者注视刺激单元中的任意一个，通过采集系统将受试者盯视刺激目标时产生的脑电信号，经脑电采集仪放大、滤波及模数转换后，将数字化的脑电数据输入计算机，然后采用基于典型相关分析的脑电信号特征提取方法对SSVEP特征实现提取及分类识别，采用支持向量机及朴素贝叶斯分析对OSP特征实现提取及识别，将识别结果显示在屏幕上以反馈给受试者，再进行下一次识别，本发明能够显著提高基于SSVEP的脑‑机接口方法的信息传输率，具有操作简单、电极数少和目标数多的优点。

Description

基于SSVEP与OSP的混合脑-机接口方法

技术领域

本发明涉及脑-机接口(Brain-Computer Interface，BCI)技术领域，具体涉及基于SSVEP与OSP的混合脑-机接口方法。

背景技术

脑-机接口(Brain Computer Interface，BCI)是直接把大脑的活动信号转化为指令或控制信号的通讯系统。利用脑-机接口技术，可以绕过神经肌肉通路，直接把大脑活动信号转化为指令或控制信号来控制外部设备，这为因残疾而丧失与外界沟通能力的人提供了与外界进行交流的可能性。因此，对脑-机接口的研究是近年来康复医学研究的一个热点。另一方面，脑-机接口技术在虚拟现实、游戏娱乐和航天军事等领域也展现了重要的潜在应用价值。

视觉诱发电位是接受视觉刺激后在视觉皮质上产生的大脑活动节律。当刺激改变的频率在6Hz以上时，大脑视觉系统产生的对外部持续周期性视觉刺激的响应，即为稳态视觉诱发电位(Steady State Visually Evoked Potential，SSVEP)。基于SSVEP的系统主要优点是无需训练，这类系统比较适合于多指令选择的离散控制型应用，如打字系统、操作界面等。由于其能够提供更多的指令、抗干扰能力强、所需训练时间短、记录电极少等特点，在实用性BCI系统中展现出了广泛的应用价值及应用前景。在目前的SSVEP-BCI系统应用中，由于大脑的低通滤波效应，SSVEP主要利用30Hz以下的低频区域。并且， 受限于显示屏的刷新频率以及响应幅值等问题，可用于SSVEP识别的目标频率较少。因此，增加可呈现的目标数目、提高信息传输率对于将SSVEP-BCI推广到实际应用中有着重要的意义。

重复性感官刺激的停止可以引起头皮电位的一系列模式特征，这种缺省刺激电位(omitted stimulus potential，OSP)，在视觉、听觉以及感觉领域中都能够被找到。OSP特征根据刺激频率的分别可以分为“快”、“慢”OSP两种。“慢”OSP特征自1960年以来，就在视觉和听觉等领域得到了许多研究。“慢”OSP特征通常出现在较低频率(0.3-4Hz)重复性刺激出现之后，有较长的潜伏期(一般>0.5s，但通常被称为P300)。而“快”OSP特征出现在较高频率的闪烁刺激停止后，这两种OSP特征都是在刺激缺失后有一个固定的波峰潜伏期，与慢“OSP”的诱发不同，“快”OSP只需要受试者对刺激进行盯视，不需要提供注意力。

发明内容

为了克服上述现有技术的SSVEP-BCI系统提供目标数较少的缺点，本发明的目的在于提供基于SSVEP与OSP的混合脑-机接口方法，实现了SSVEP特征与OSP特征的同时诱发及识别，具有目标数多、电极数目少、操作简单等优点。

为了达到上述目的，本发明采取的技术方案为：

基于SSVEP与OSP电位的混合脑-机接口方法，包括以下步骤：

步骤1，受试者穿戴好电极帽，坐在计算机正前方，受试者头部距离计算机屏幕为60-80厘米，所有电极按照“国际10/20标准导联系统”放置，记录电极位于大脑枕部区域，包括O1、Oz、O2、POz、 PO4、PO8，参考电极位于左耳耳垂，地电极为Fpz，给记录电极及参考电极、地电极注入导电膏，并确保其与头皮接触良好；

步骤2，将SSVEP-OSP混合范式通过计算机屏幕在受试者面前播放，受试者选择一个刺激目标进行盯视，通过电极帽采集受试者盯视刺激目标时产生的头皮脑电信号，SSVEP-OSP混合范式在重复周期刺激中引入了刺激缺失，实现SSVEP和OSP特征的同时诱发，其中圆盘1、3以12hz的频率闪烁，圆盘2、4以10hz的频率闪烁，圆盘1、2、3、4分别在467ms、450ms、633、650ms时出现首次闪烁刺激缺失，闪烁刺激缺失有圆盘停顿在屏幕上一个闪烁周期以及消失在屏幕上一个闪烁周期两种缺失形式，任意选择一种作为闪烁刺激缺失方式，在一次刺激周期中，共出现四次闪烁刺激缺失，每次闪烁刺激缺失距上一次的缺失间隔为四次闪烁周期，即10hz下缺失间隔为333ms，12hz下缺失间隔为400ms，一次刺激周期长度为2.5s，经过脑电采集仪放大、滤波及模数转换后，将数字化的脑电信号输入计算机，其中，脑电信号的采集采用16导gUSBamp放大器作为采集硬件，放大器的采样频率为1200hz，硬件滤波包括了0.05-100hz的带通滤波及48-52hz的带阻滤波；

步骤3，对脑电信号处理，包括脑电信号的预处理及对SSVEP特征及OSP特征的提取识别；

步骤4，计算机通过屏幕输出识别结果，实现对受试者的视觉反馈；

步骤5，计算机完成目标识别反馈后，返回步骤2，重复步骤2、3、4，进行下一步的目标识别。

所述的步骤3对脑电信号的预处理及对SSVEP特征及OSP特征的 提取识别，包括以下步骤：

步骤3-1，对脑电信号的预处理，去除时间序列中的直流成分以及1-45hz的带通滤波；

步骤3-2，对SSVEP特征的特征提取及分类识别，实现方法为典型相关分析(Canonical Correlation Analysis，CCA)，将经过信号预处理后电极O1、Oz、O2、POz、PO4、PO8记录到的数据分别与不同刺激频率基频及二倍频、四倍频的正余弦信号求取典型相关系数，在k个刺激频率对应的k个最大CCA系数ρ_k中，具有最大值的系数被识别为用户注视的目标频率对应的CCA系数；

步骤3-3，对OSP特征的特征提取及分类识别，在SSVEP特征识别完成之后进行，使用支持向量机(SVM)及朴素贝叶斯分析完成OSP特征的提取以及识别，OSP特征提取及识别包括以下几个步骤：

3-3-1)数据平均：根据SSVEP特征识别得到的结果，按识别频率对应目标刺激缺失时刻作为起始时标，对刺激缺失后0～500ms内的数据进行叠加平均；

3-3-2)OSP特征提取：对于平均后的数据，定义在c电极在时间点t处记录到的头皮电位为x_c(t)，在给定时间点集T＝{t₁,…t_T}的情况下，x(c,T)＝[x_c(t₁),...,x_c(t_T)]为在电极c处记录的时域信息，在给定时间集T＝{T₁,...,T₁₀}＝{{125ms-150ms},...,{350ms-375ms}}及记录电极集C＝{O1,Oz,O2,POz,PO4,PO8}，的情况下，将在不同时间集及不同记录电极中记录到的时空特征集{x₁(C,T₁)＝[x(c₁,T₁),...,x(c_M,T₁)],...,x₁₀(C,T₁₀)＝[x(c₁,T₁₀),...,x(c_M,T₁₀)]}作为特征向量；

3-3-3)特征训练及在线识别：在进行在线判别前，对不同频率的数据分别训练产生训练样本，每个频率对应14*16组训练样本，对训练样本中特征矩阵进行分类生成分类器，分别对x₁(C,T₁),...,x₁₀(C,T₁₀)进行SVM分类，得到第一层的分类结果d_j(j＝{1,2,...,10})，则：

p_jkl＝p(d_j＝k|c＝l)k,l＝0,1

其中，c为正确的OSP标签，根据bayes公式，得到第一层SVM分类结果为盯视目标的概率：

其中，p_j01,p_j11,p_j10,p_j00通过bayes训练得到，d_j通过第一层SVM分类得到，对比按照上述步骤3-2中闪烁频率判别结果对应不同刺激缺失时刻平均并分类后的结果，得到P值较大的则判断为最终识别目标；

所述的SVM，bayes分类及判别函数均来自于Donders Machine LearningToolbox工具箱，SVM采用的核函数为线性核函数。

本发明的有益效果：针对目前基于SSVEP的BCI系统刺激目标数目少、刺激时间长、实验范式简单导致的系统稳定性不高、信息传输率低的问题，提出了SSVEP特征与OSP特征同时诱发的混合BCI范式，对各项参数优化处理，并提出了相应的SSVEP特征与OSP特征提取识别方法，为实现构建以高效和无损为最终目标，具有操作简单、电极数目少、目标数多的脑-机接口技术开辟了新的思路，显示了如下优越性：

(1)提出了基于SSVEP与OSP的混合脑机接口范式，翻倍增加 了可选目标数，并且对范式参数进行了优化，保证刺激目标的闪烁与闪烁缺失对受试者SSVEP特征与OSP特征的诱发有最高的效率。

(2)少次平均OSP特征的提取及识别方法：对OSP特征少次平均后特征提取及识别方案，保证了在四次数据平均后对OSP特征的有效提取及识别，提高脑-机接口的辨识效率，保障脑-机接口信息的高效传输。

附图说明

图1是本发明的系统框图。

图2是本发明中的电极放置示意图。

图3是本发明的刺激序列图，其中图A为刺激目标在屏幕上的分布图，图B为刺激形式图。

图4是本发明中数据的在线处理方法流程图。

图5是10hz及12hz闪烁频率下SSVEP响应的幅度-频率曲线图。

图6是64次叠加平均后OSP特征的提取图，浅色曲线为平均后的结果，深色曲线为采用小波变换模极大值重构后的OSP特征提取图。

图7是采用SSVEP信息与OSP信息和单纯采用SSVEP信息达到的信息传输率对比图。

具体实施方式

下面结合附图对本发明做详细描述。

基于SSVEP与OSP的混合脑-机接口方法，包括以下步骤：

步骤1，参照图1，受试者穿戴好电极帽，坐在计算机正前方，受试者头部距离计算机屏幕为60-80厘米，所有电极按照“国际10/20 标准导联系统”放置，放置方式如图2所示，记录电极位于大脑枕部区域，包括O1、Oz、O2、POz、PO4、PO8，参考电极位于左耳耳垂，地电极为Fpz，给记录电极及参考电极、地电极注入导电膏，并确保其与头皮接触良好；

步骤2，将SSVEP-OSP混合范式通过计算机屏幕在受试者面前播放，如图3所示，受试者选择一个刺激目标进行盯视，通过电极帽采集受试者盯视刺激目标时产生的头皮脑电信号；

系统刺激范式中刺激目标分布如图3A所示，四个圆盘按左、上、右、下等距分布在屏幕的四个方位，电脑刷新频率为60hz，圆盘1、3以12hz的频率闪烁，圆盘2、4以10hz的频率闪烁，圆盘1、2、3、4分别在467ms、450ms、633、650ms时出现首次闪烁刺激缺失，闪烁刺激缺失有圆盘停顿在屏幕上一个闪烁周期以及消失在屏幕上一个闪烁周期两种缺失方式，图3B所示为闪烁消失形式，任意选择一种作为闪烁刺激缺失形式,在一次刺激周期中，共出现四次闪烁刺激缺失，每次闪烁刺激缺失距上一次的缺失间隔为四次闪烁周期，即10hz下缺失间隔为333ms，12hz下缺失间隔为400ms，一次刺激周期长度为2.5s,

经过脑电采集仪放大、滤波及模数转换后，将数字化的脑电信号输入计算机,其中，脑电信号的采集采用16导gUSBamp放大器作为采集硬件，放大器的采样频率为1200hz，硬件滤波包括了0.05-100hz的带通滤波及48-52hz的带阻滤波；

步骤3，对脑电信号处理，流程图如图4所示，包括以下步骤：

步骤3-1，对脑电信号的预处理，去除时间序列中的直流成分以及1-45hz的带通滤波；

步骤3-2，对SSVEP特征的特征提取及分类识别，实现方为典型相关分析(Canonical Correlation Analysis，CCA)，如图5所示，SSVEP特征主要分布在刺激频率及其二倍频上，将经过信号预处理后电极O1、Oz、O2、POz、PO4、PO8记录到的数据分别与不同刺激频率基频及二倍频、四倍频的正余弦信号求取典型相关系数，虽然CCA方法能够产生多个相关系数，对于脑电分析等实际应用问题，一般使用最大相关系数，在k个刺激频率对应的k个最大CCA系数ρ_k中，具有最大值的系数被识别为用户注视的目标频率对应的CCA系数；

步骤3-3，对OSP特征的特征提取及分类识别，在SSVEP特征识别完成之后进行，使用支持向量机(SVM)及朴素贝叶斯分析完成OSP特征的提取以及识别，如图6所示，OSP特征出现在刺激缺失后的125ms-375ms内，OSP特征提取及识别包括以下几个步骤：

3-3-1)数据平均：根据SSVEP特征识别得到的结果，按识别频率对应目标刺激缺失时刻作为起始时标，对刺激缺失后0～500ms内的数据进行叠加平均；

3-3-2)OSP特征提取：对于平均后的数据，定义在c电极在时间点t处记录到的头皮电位为x_c(t)，在给定时间点集T＝{t₁,…t_T}的情况下，x(c,T)＝[x_c(t₁),...,x_c(t_T)]为在电极c处记录的时域信息，在给定时间集T＝{T₁,...，T₁₀}＝{{125ms-150ms},...,{350ms-375ms}}及记录电极集C＝{O1,Oz,O2,POz,PO4,PO8}，的情况下，将在不同时间集及不同记录电极中记录到的时空特征集{x₁(C,T₁)＝[x(c₁,T₁),...,x(c_M,T₁)],...,x₁₀(C,T₁₀)＝[x(c₁,T₁₀),...,x(c_M,T₁₀)]}作为特征向量；

3-3-3)特征训练及在线识别：在进行在线判别前，对不同频率的数据分别训练产生训练样本，每个频率对应14*16组训练样本，对训练样本中特征矩阵进行分类生成分类器，分别对x₁(C,T₁),...,x₁₀(C,T₁₀)进行SVM分类，得到第一层的分类结果d_j(j＝{1,2,...,10})，则：

p_jkl＝p(d_j＝k|c＝l)k,l＝0,1

其中，c为正确的OSP标签，根据bayes公式，得到第一层SVM分类结果为盯视目标的概率：

其中，p_j01,p_j11,p_j10,p_j00通过bayes训练得到，d_j通过第一层SVM分类得到，对比按照上述步骤3-2中闪烁频率判别结果对应不同刺激缺失时刻平均并分类后的结果，得到P值较大的则判断为最终识别目标；

所述的SVM，bayes分类及判别函数均来自于Donders Machine LearningToolbox工具箱，SVM采用的核函数为线性核函数；

步骤4，计算机通过屏幕输出识别结果，实现对受试者的视觉反馈。

步骤5，计算机完成目标识别反馈后，返回步骤2，重复步骤2、3、4，进行下一步的目标识别。

下面再结合具体实施实例对本发明进行说明。

对九名受试者进行了实验，分别在闪烁停顿及闪烁缺失的情况下实验。按照上述步骤1对受试者安放电极，按照上述步骤2将四个刺激目标呈现在屏幕上并进行脑电信号采集，按照上述步骤3至步骤5 识别受试者盯视的目标。实验中要求受试者尽量减少眨眼及肢体动作。受试者按照屏幕提示随机盯视不同刺激目标，每种闪烁刺激缺失方式下分别进行10轮实验，一轮实验中共有16次刺激，一轮实验中每次刺激间隔为1s。对比引入OSP信息及单纯采用SSVEP信息所能达到的信息传输率，结果如图7所示，其中，空心圆代表的是采用SSVEP信息与OSP信息所能达到的信息传输率，星形代表的是单纯采用SSVEP信息所能达到的信息传输率，结果显示，引入OSP信息中，刺激目标翻倍，大部分受试者的信息传输率都得到了大幅度提升。

Claims (2)

1.基于SSVEP与缺省刺激电位OSP的混合脑-机接口方法，其特征在于，包括以下步骤：

步骤1，受试者穿戴好电极帽，坐在计算机正前方，受试者头部距离计算机屏幕为60-80厘米，所有电极按照“国际10/20标准导联系统”放置，记录电极位于大脑枕部区域，包括O1、Oz、O2、POz、PO4、PO8，参考电极位于左耳耳垂，地电极为Fpz，给记录电极及参考电极、地电极注入导电膏，并确保其与头皮接触良好；

步骤2，将SSVEP-缺省刺激电位OSP混合范式通过计算机屏幕在受试者面前播放，受试者选择一个刺激目标进行盯视，通过电极帽采集受试者盯视刺激目标时产生的头皮脑电信号，SSVEP-缺省刺激电位OSP混合范式在重复周期刺激中引入了刺激缺失，实现SSVEP和缺省刺激电位OSP特征的同时诱发，其中计算机屏幕显示的圆盘1、3以12hz的频率闪烁，计算机屏幕显示的圆盘2、4以10hz的频率闪烁，所述的圆盘1、2、3、4分别在467ms、450ms、633ms、650ms时出现首次闪烁刺激缺失，闪烁刺激缺失有圆盘停顿在屏幕上一个闪烁周期以及消失在屏幕上一个闪烁周期两种缺失形式，任意选择一种作为闪烁刺激缺失方式，在一次刺激周期中，共出现四次闪烁刺激缺失，每次闪烁刺激缺失距上一次的缺失间隔为四次闪烁周期，即10hz下缺失间隔为333ms，12hz下缺失间隔为400ms，一次刺激周期长度为2.5s，经过脑电采集仪放大、滤波及模数转换后，将数字化的脑电信号输入计算机，其中，脑电信号的采集采用16导gUSBamp放大器作为采集硬件，放大器的采样频率为1200hz，硬件滤波包括了0.05-100hz的带通滤波及48-52hz的带阻滤波；

步骤3，对脑电信号处理，包括脑电信号的预处理及对SSVEP特征及缺省刺激电位OSP特征的提取识别；

步骤4，计算机通过屏幕输出识别结果，实现对受试者的视觉反馈；

步骤5，计算机完成目标识别反馈后，返回步骤2，重复步骤2、3、4，进行下一步的目标识别。

2.根据权利要求1所述的基于SSVEP与缺省刺激电位OSP的混合脑-机接口方法，其特征在于：所述的步骤3对脑电信号的预处理及对SSVEP特征及缺省刺激电位OSP特征的提取识别，包括以下步骤：

步骤3-1，对脑电信号的预处理，去除时间序列中的直流成分以及1-45hz的带通滤波；

步骤3-2，对SSVEP特征的特征提取及分类识别，实现方法为典型相关分析，CCA，将经过信号预处理后电极O1、Oz、O2、POz、PO4、PO8记录到的数据分别与不同刺激频率基频及二倍频、四倍频的正余弦信号求取典型相关系数，在k个刺激频率对应的k个最大CCA系数ρ_k中，具有最大值的系数被识别为用户注视的目标频率对应的CCA系数；

步骤3-3，对缺省刺激电位OSP特征的特征提取及分类识别，在SSVEP特征识别完成之后进行，使用支持向量机SVM及朴素贝叶斯分析完成缺省刺激电位OSP特征的提取以及识别，缺省刺激电位OSP特征提取及识别包括以下步骤：

3-3-1)数据平均：根据SSVEP特征识别得到的结果，按识别频率对应目标刺激缺失时刻作为起始时标，对刺激缺失后0～500ms内的数据进行叠加平均；

3-3-2)缺省刺激电位OSP特征提取：对于平均后的数据，定义在c电极在时间点t处记录到的头皮电位为x_c(t)，在给定时间点集T＝{t₁,…t_T}的情况下，x(c,T)＝[x_c(t₁),...,x_c(t_T)]为在电极c处记录的时域信息，在给定时间集T＝{Τ₁,…,Τ₁₀}＝{{125ms-150ms},…,{350ms-375ms}}及记录电极集C＝{O1,Oz,O2,POz,PO4,PO8}，的情况下，将在不同时间集及不同记录电极中记录到的时空特征集{x₁(C,T₁)＝[x(c₁,T₁),…,x(c_M,T₁)],…,x₁₀(C,T₁₀)＝[x(c₁,T₁₀),…,x(c_M,T₁₀)]}作为特征向量；

3-3-3)特征训练及在线识别：在进行在线判别前，对不同频率的数据分别训练产生训练样本，每个频率对应14*16组训练样本，对训练样本中特征矩阵进行分类生成分类器，分别对x₁(C,T₁),…,x₁₀(C,T₁₀)进行SVM分类，得到第一层的分类结果d_j，其中j＝{1，2，...，10}，则：

p_jkl＝p(d_j＝k|c＝l)k＝0，1 l＝0，1

其中，c为正确的缺省刺激电位OSP标签，根据bayes公式，得到第一层SVM分类结果为盯视目标的概率：

<mrow> <mi>P</mi> <mo>=</mo> <munderover> <mo>&amp;Pi;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>10</mn> </munderover> <msup> <msub> <mi>p</mi> <mrow> <mi>j</mi> <mn>01</mn> </mrow> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>d</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </msup> <msup> <msub> <mi>p</mi> <mrow> <mi>j</mi> <mn>11</mn> </mrow> </msub> <msub> <mi>d</mi> <mi>j</mi> </msub> </msup> <mo>/</mo> <munderover> <mo>&amp;Pi;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>10</mn> </munderover> <msup> <msub> <mi>p</mi> <mrow> <mi>j</mi> <mn>00</mn> </mrow> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>d</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </msup> <msup> <msub> <mi>p</mi> <mrow> <mi>j</mi> <mn>10</mn> </mrow> </msub> <msub> <mi>d</mi> <mi>j</mi> </msub> </msup> </mrow>

其中，p_j01,p_j11,p_j10,p_j00通过bayes训练得到，d_j通过第一层SVM分类得到，对比按照上述步骤3-2中闪烁频率判别结果对应不同刺激缺失时刻平均并分类后的结果，得到P值较大的则判断为最终识别目标；

所述的SVM，朴素贝叶斯分析及判别函数均来自于Donders Machine LearningToolbox工具箱，SVM采用的核函数为线性核函数。