CN103399639B - 基于ssvep和p300联合脑机接口方法及装置 - Google Patents

Abstract

本发明涉及医疗器械领域技术领域，为提供一种新的联合脑-机接口范式，解决两种脑电信号同时被诱发的技术难题，并且在空间和频域上将两者分开，随后通过对SSVEP和P300信号特征分析以达到目标识别的目的。为达到上述目的，本发明采用的技术方案是，基于SSVEP和P300联合脑机接口方法，包括如下步骤：通过列固定频率闪烁诱发SSVEP，通过行颜色框架增强诱发P300；对采集的脑电信号SSVEP、P300进行一定的预处理；通过对采集得到的SSVEP脑电信号频率特征分析识别目标字符所在列；通过对脑电信号中P300特征分析，识别目标字符所在行。本发明主要应用于脑-机接口。

Description

基于SSVEP和P300联合脑机接口方法及装置

技术领域

本发明涉及医疗器械领域，尤其涉及医疗器械领域中采用的基于SSVEP和P300联合脑机接口方法及装置。

技术背景

脑-机接口(Brain-computerInterface，以下简称BCI)，是近年来发展起来的一种人机接口，它不依赖于大脑的正常输出通路(即外围神经和肌肉组织)，就可以实现人脑与外界(计算机或其它外部装置)直接通信的系统。BCI的出现为ALS和其他神经肌肉疾病的患者提供了一种不依赖于常规输出通路的沟通方式。通过在大脑和外部设备之间构建一条独立的通道，达到信息传递和交互的目的。

事件相关电位是大脑对某种事件进行信息加工时诱发产生的一系列电活动，P300是一种事件相关电位（Event-relatedpotentials，ERP），是对掺杂在一系列事件中的相对稀少的事件有关刺激的反应，主要发生在受到特定刺激后250-550ms之间，呈正向峰值（正电位成分），是一种内源性诱发电位，主要发生头部区域在顶-中心区域，最早有Sutton等人使用oddball实验的方法记录到。P300信号幅值与事件发生概率的减小而呈增大趋势。

在以往关于基于P300的BCI专利中，中国专利“基于P300脑电电位的中文输入BCI系统”（200710164418.6）采用单个目标闪烁方式作为自己的刺激方式，该专利中N个目标需要N次闪烁；在中国专利“一种视觉P300-speller脑-机接口方法中”（201110325897.1）对字符进行空间编码并依照栅格面编码控制字符进行闪烁，设计了一种高效的编码方式。与传统编码方式对比，在相同的闪烁刺激次数下，提高了可选择字符的数量，提升系统的信息传输速率。具体到本发明采用的36字符矩阵，采用前一种专利所中的刺激方式，刺激次数为36次；后一种专利刺激方式仅实用N>>36的字符矩阵，对于小矩阵实用性不高；相比与传统的行-列闪烁方式需要12次（6+6），考虑到本发明中仅需要6次，大大节约了刺激时间。

稳态视觉诱发电位（steady-statevisuallyevokedpotentials，SSVEP）为当人眼注视一定频率（≥6Hz）的周期性闪烁，在大脑视觉皮层会诱发产生一个连续的与刺激频率有关(刺激频率的基频或倍频处)的响应。通过枕区EEG信号及可获得。

中国专利“基于瞬态视觉诱发电位提取脑机接口信号的方法”（20031021033.3），以及“基于脑电稳态诱发响应的控制系统”（99122161.3）采用的是传统的稳态视觉诱发电位目标呈现方式，一个目标按各自固定频率闪烁，使用者注视某一目标时，通过对脑电信号频域分析放大可以得出对应目标闪烁频率的峰图。在此专利中一个目标由一个频率控制闪烁，N个目标需要有N个频率控制，但在使用普通显示器作为刺激设备时，由于屏幕刷新率的限制，多目标的实现存在一个瓶颈限制。在中国专利“基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法”（200910076209.5）采用利用左右视野双频率的目标呈现方式，一个目标有两个频率组合同时刺激，合成一个目标。通过左右视野的频率组合，有效增加了目标数，比传统的目标呈现方式所能呈现的目标数目提高了N倍。具体到本发明采用的6×6矩阵，前一个专利受到显示器刷新率的限制；后一种需要6种频率，采用后一个专利刺激方式中，如果采用目标为36个，两个闪烁目标确定一个目标，在使用过程中会由于闪烁目标过多很容易产生视觉疲劳，影响其适用性；而在本发明专利中仅采用6个频率就实现了，而且处于同一列字符都是同步同频率闪烁，会减少人眼的不适感，减少疲劳。

在关于SSVEP和P300联合脑-机接口专利中，中国专利“基于SSVEP阻断和P300双特征的脑机接口方法”和“SSVEP及阻断和P300三特征多脑-机接口方法”采用SSVEP阻断和改变字体诱发P300，通过对P300的检测来对目标字符进行识别，在该刺激方式中，增加了脑电信号特征，改进了脑-机接口性能。

发明内容

本发明旨在克服现有技术的不足，提供一种新的联合脑-机接口范式，解决两种脑电信号同时被诱发的技术难题，并且在空间和频域上将两者分开，随后通过对SSVEP和P300信号特征分析以达到目标识别的目的。为达到上述目的，本发明采用的技术方案是，基于SSVEP和P300联合脑机接口方法，包括如下步骤：

通过列固定频率闪烁诱发SSVEP，通过行颜色框架增强诱发P300；

对采集的脑电信号SSVEP、P300进行一定的预处理；

通过对采集得到的SSVEP脑电信号频率特征分析识别目标字符所在列；通过对脑电信号中P300特征分析，识别目标字符所在行，采用行-列交叉思想，确认目标字符位置，识别人眼注视的目标字符，以达到通过人脑跟外界交流的目的。

SSVEP刺激频率选择15-20Hz。

采集脑电信号是来自导联C3,Cz,C4,P3,Pz,P4；进行一定的预处理具体是，手动去除包括眨眼、眼动的伪迹，平滑去除基线漂移；然后对实验数据进行分段，以每行颜色框架增强起始时刻作为零起点，数据长度为800ms作为一个P300数据段，P300数据又以是否为受试者注视字符分为靶刺激和非靶刺激；对来自枕区导联脑电信号进行分段，一个SSVEP数据段时长为5秒。

对SSVEP和P300进行分析，方法如下：（1）人眼注视把目标字符时，由于字符一直处于闪烁状态，在视觉皮层会检测出SSVEP的存在，通过对枕区导联处采集的脑电信号进行频域特征分析，识别目标字符闪烁频率，确定目标字符所在列，具体如下：对采集到的脑电信号采用Butterworth滤波器做带通为5-45Hz的带通滤波，对滤波后数据采用周期图法(periodogram)进行功率谱分析，对目标频率功率谱特征进行分析，识别目标所在列；（2）对顶-中心区导联处采集的脑电信号进行时域特征分析，对P300信号是否被诱发进行分析，对P300数据采用Butterworth滤波器做低通为10Hz的低通滤波，然后采用相干叠加平均提取P300特征：对P300数据按靶刺激和非靶刺激分别相干叠加平均，叠加方法如下：

${\mathrm{EEG}}_{\left[i\right]}=1/n\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{EEG}}_{[i,k]}$

其中，i=0或1，1代表靶目标，0代表非靶目标；n代表叠加的数据段个数，即叠加次数。

视觉刺激范式即列固定频率闪烁、行颜色框架增强具体为，采用6×6字符矩阵，字符由字母A-Z和数字0-9组成，字符矩阵位于显示器正中，字符大小为120×120px²像素，矩阵字符列距为80px，行距为20px，字符蓝色增强框架宽度为10px；矩阵中处于同列的6个字符按同一频率调制闪烁即字符-白背景闪烁，处于同行的6个字符随机颜色框架增强（highlightedbyblue-frame,HBF），列闪烁频率依次为19Hz，17Hz，15Hz，16Hz，18Hz，20Hz；同一行字符随机颜色框架增强，行随机框架增强采用不同颜色框架，颜色设置为红色，黄色，蓝色，绿色，紫色和白色，行框架增强时，每行增强框架颜色随机并且在每行框架增强闪烁一次之前，颜色不重复出现；每行颜色框架增强时间次序随机，行框架增强持续时间为100ms，两行框架增强间隔时间为150ms。

一种基于SSVEP和P300联合脑机接口装置，包括显示器、导联C3,Cz,C4,P3,Pz,P4,O1,Oz，O2、放大电路、滤波电路、AD转换电路、脑电记录设备、计算机；前额鼻根处为导联地，参考电极位于右乳突位置，脑电记录设备采样频率为1000Hz；导联采集到的信号依次经放大电路、滤波电路、AD转换电路输出到脑电记录设备。

本发明具备下列技术效果：

本发明设计了一种基于SSVEP和P300联合的脑-机接口范式，以实现两种特征融合的脑-机接口技术的应用研究。进一步对该脑-机接口方法进行实用性研究，对分类方法进行研究，可以得到完善的脑-机接口系统，在实用中得到应用，有望获得可观的社会效益和经济效益。

附图说明

图1本发明采用导联设置示意图。

图2本发明进行目标识别的框架流程示意图。

图3本发明提供的基于SSVEP和P300的6×6字符矩阵界面的示意图。

图4为本发明提供的Cz导联处经过5次迭加平均的ERP波形图。

图5为本发明提供的Oz导联处对5s脑电信号进行功率谱分析得到的频谱图。

具体实施方式

特异性脑电信号由特定BCI范式诱发，本发明中提出一种基于SSVEP和P300呈现的联合脑-机接口范式，以少频率实现多目标，通过特征联合实现多目标刺激，缩短了周期视觉刺激时间，并有效联合P300以达到目标识别的目的，实现人脑跟外界的通信。

本发明的特征在于，该联合脑-机接口范式中，当人注视某一字符时，列频率调制闪烁会在人脑信号中诱发相同频率或多倍频率的脑电信号，称为SSVEP；行随机框架增强（HBF）会在人脑中诱发P300。通过人脑电信号分析检测，可以识别目标字符所在行-列的信息，以达到目标识别的目的，通过目标识别以实现人脑跟外界的通信。本发明中，脑电信号采集系统采用多导电生理记录仪，放大器采用EEG100C脑电放大器，放大倍数为20000，数模转换采用16位A/D转换，采样频率为1000Hz。数据处理采用编程实现，滤波均采用数字滤波器实现。该发明有如下特征：

1.P300信号主要包括低频成分（一般低于12Hz），SSVEP刺激频率选择15-20Hz，可以减少频率对P300的影响；选择高频刺激有效减少了自发脑电alpha节律（8-13Hz）对SSVEP识别中的假阳性干扰；作为背景噪声的自发脑电信号中，高频信号部分的信噪比（SNR）相对于低频部分有所减少，采用高频率也可以减少自发脑电对SSVEP干扰；另外，基于P300和SSVEP的脑-机接口系统，都不需要对使用者进行前期训练，SSVEP和P300的联合也未增加受试者任务负担。

2．与常规稳态视觉诱发脑-机接口不同的是，该脑-机接口范式中采用列固定频率闪烁和行颜色框架增强联合刺激方式，使用6个频率实现了36个目标；与其他P300脑-机接口范式相比缩短了周期视觉刺激时间。

3.列固定频率闪烁诱发SSVEP，通过对脑部枕区采集得到的脑电信号频率特征分析可以识别目标字符所在列；P300是一种与外界刺激呈锁时关系的事件相关电位，行颜色框架增强诱发P300，通过对脑电信号中P300特征分析，可以识别目标字符所在行，通过行-列交叉思想确定人眼注视的目标，以达到目标识别的目的。

4.预处理包括：对采集的脑电信号（来自导联C3,Cz,C4,P3,Pz,P4）进行一定的预处理，手动去除眨眼、眼动等伪迹，平滑去除基线漂移；然后对实验数据进行分段，以每行颜色框架增强起始时刻作为零起点，数据长度为800ms作为一个P300数据段，P300数据又以是否为受试者注视字符分为靶刺激和非靶刺激。对来自枕区导联脑电信号进行分段，一个SSVEP数据段时长为5秒。

5.采用不同脑区导联采集脑电数据，并对不同脑区导联脑电数据进行处理，分别对SSVEP和P300进行分析，避免导联之间的相互干扰。方法如下：（1）人眼注视把目标字符时，由于字符一直处于闪烁状态，在视觉皮层会检测出SSVEP的存在，通过对枕区导联处采集的脑电信号进行频域特征分析，识别目标字符闪烁频率，确定目标字符所在列，其特征如下：对采集到的脑电信号采用Butterworth滤波器做带通为5-45Hz的带通滤波，对滤波后数据采用周期图法(periodogram)进行功率谱分析，对目标频率功率谱特征进行分析，识别目标所在列。（2）对顶-中心区导联处采集的脑电信号进行时域特征分析，对P300信号是否被诱发进行分析，采用相干叠加平均提取P300特征：对P300数据按靶刺激和非靶刺激分别相干叠加平均，叠加方法如下：

${\mathrm{EEG}}_{\left[i\right]}=1/n\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{EEG}}_{[i,k]}$

其中，i=0或1（1代表靶目标，0代表非靶目标），n代表叠加的数据段个数，即叠加次数。

通过P300的识别确定目标字符所在行；最后采用行-列交叉思想，确认目标字符位置，识别人眼注视的目标字符，以达到通过人脑跟外界交流的目的。

下面结合附图和具体实施方式进一步详细说明本发明。

本发明的视觉刺激范式界面图如图三，6×6字符矩阵，实验范式采用6×6字符矩阵（由字母A-Z和数字0-9组成），字符矩阵位于显示器正中。字符大小为120×120px²（像素），矩阵字符列距为80px，行距为20px，字符蓝色增强框架宽度为10px。矩阵中处于同列的6个字符按同一频率调制闪烁（字符-白背景闪烁），处于同行的6个字符随机颜色框架增强（highlightedbyblue-frame,HBF），列闪烁频率依次为19Hz，17Hz，15Hz，16Hz，18Hz，20Hz；同一行字符随机颜色框架增强，行随机框架增强采用不同颜色框架，颜色设置为红色，黄色，蓝色，绿色，紫色和白色，行框架增强时，每行增强框架颜色随机并且在每行框架增强闪烁一次之前，颜色不重复出现；每行颜色框架增强时间次序随机，行框架增强持续时间为100ms，两行框架增强间隔时间为150ms。图三中显示为第二行字符被白色框架增强。

使用者的脑电信号采用通用的脑电记录设备，采样频率为1000Hz，记录时采用9个导联，导联位置按照国际10/10系统，分别为C3，Cz，C4，P3，Pz，P4，O1，Oz，O2，（如图一）前额鼻根处为地，参考电极位于右乳突位置。使用者主要注视所选择目标字符，并对注视字符行框架增强颜色进行辨别，以帮助使用者集中注意力。

P300作为事件相关电位的一种，与视觉刺激有锁时关系，可以通过脑电信号时域相干叠加平均对P300特征参数进行分析：首先，对采集的脑电信号（来自导联C3,Cz,C4,P3,Pz,P4）进行一定的预处理，手动去除眨眼、眼动等伪迹，平滑去除基线漂移；然后对实验数据进行分段，以每行颜色框架增强时刻始时刻作为零起点，数据长度为800ms作为一个P300数据段，P300数据又以是否为受试者注视字符分为靶刺激和非靶刺激。P300信号所在的频段一般在10Hz以下，对实验1和实验2中P300数据采用Butterworth滤波器做截止频率为10Hz的低通滤波，然后分别按靶刺激和非靶刺激对P300数据进行叠加相干平均，从时域上，观察各组实验的波形图案。叠加方法如下：

${\mathrm{EEG}}_{\left[i\right]}=1/n\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{EEG}}_{[i,k]}$

其中，i=0或1（1代表靶目标，0代表非靶目标），n代表叠加的数据段个数，即叠加次数。

EEG_[i]——当i=1时，为分段的靶刺激对应的脑电信号经相干叠加平均后所得的脑电数据。当i=0时，为分段的非靶刺激对应的脑电信号经相干叠加平均后所得的脑电数据。

EEG_[i,k]——当i=1时，为靶刺激对应的脑电数据中，第k个数据段。k与叠加次数n有关，k（1，2，…，n）。当i=0时，为非靶刺激对应的脑电数据中，第k个数据段。k与叠加次数n有关，k（1，2，…，n）。

SSVEP发生在视觉皮层(头部顶-枕区)，对来自枕区导联脑电信号进行分段，一个SSVEP数据段时长为5秒，然后采用Butterworth滤波器做带通为5-45Hz的带通滤波，对滤波后数据采用周期图法(periodogram)进行功率谱分析，对目标频率功率谱特征进行分析。图四和图五为目标字符为O时，分析得到的ERP波形图和频谱图，图中显示行颜色框架增强诱发了明显P300，目标字符闪烁诱发了相同频率和倍频。结果初步证明了本发明所呈现的范式具有可用性和实用性。

本发明设计了一种基于SSVEP和P300联合的脑-机接口范式，以实现两种特征融合的脑-机接口技术的应用研究。进一步对该脑-机接口方法进行实用性研究，对分类方法进行研究，可以得到完善的脑-机接口系统，在实用中得到应用，有望获得可观的社会效益和经济效益。

Claims (3)

1.一种基于SSVEP和P300联合脑机接口方法，其特征是，包括如下步骤：

通过列固定频率闪烁诱发SSVEP，通过行颜色框架增强诱发P300；

对采集的脑电信号SSVEP、P300进行一定的预处理；

通过对采集得到的SSVEP脑电信号频率特征分析识别目标字符所在列；通过对脑电信号中P300特征分析，识别目标字符所在行，采用行-列交叉思想，确认目标字符位置，识别人眼注视的目标字符，以达到通过人脑跟外界交流的目的；

对SSVEP和P300进行分析，方法如下：(1)人眼注视把目标字符时，由于字符一直处于闪烁状态，在视觉皮层会检测出SSVEP的存在，通过对枕区导联处采集的脑电信号进行频域特征分析，识别目标字符闪烁频率，确定目标字符所在列，具体如下：对采集到的脑电信号采用Butterworth滤波器做带通为5-45Hz的带通滤波，对滤波后数据采用周期图法(periodogram)进行功率谱分析，对目标频率功率谱特征进行分析，识别目标所在列；(2)对顶-中心区导联处采集的脑电信号进行时域特征分析，对P300信号是否被诱发进行分析，对P300数据采用Butterworth滤波器做低通为10Hz的低通滤波，然后采用相干叠加平均提取P300特征：对P300数据按靶刺激和非靶刺激分别相干叠加平均，叠加方法如下：

其中，i＝0或1，1代表靶目标，0代表非靶目标；n代表叠加的数据段个数，即叠加次数；

视觉刺激范式即列固定频率闪烁、行颜色框架增强具体为，采用6×6字符矩阵，字符由字母A-Z和数字0-9组成，字符矩阵位于显示器正中，字符大小为120×120px²像素，矩阵字符列距为80px，行距为20px，字符蓝色增强框架宽度为10px；矩阵中处于同列的6个字符按同一频率调制闪烁即字符-白背景闪烁，处于同行的6个字符随机颜色框架增强(highlightedbyblue-frame,HBF)，列闪烁频率依次为19Hz，17Hz，15Hz，16Hz，18Hz，20Hz；同一行字符随机颜色框架增强，行随机框架增强采用不同颜色框架，颜色设置为红色，黄色，蓝色，绿色，紫色和白色，行框架增强时，每行增强框架颜色随机并且在每行框架增强闪烁一次之前，颜色不重复出现；每行颜色框架增强时间次序随机，行框架增强持续时间为100ms，两行框架增强间隔时间为150ms。

2.如权利要求1所述的基于SSVEP和P300联合脑机接口方法，其特征是，SSVEP刺激频率选择15-20Hz。

3.如权利要求1所述的基于SSVEP和P300联合脑机接口方法，其特征是，采集脑电信号是来自导联C3,Cz,C4,P3,Pz,P4；进行一定的预处理具体是，手动去除包括眨眼、眼动的伪迹，平滑去除基线漂移；然后对实验数据进行分段，以每行颜色框架增强起始时刻作为零起点，数据长度为800ms作为一个P300数据段，P300数据又以是否为受试者注视字符分为靶刺激和非靶刺激；对来自枕区导联脑电信号进行分段，一个SSVEP数据段时长为5秒。