CN103092340A - 一种脑-机接口视觉刺激方法及信号识别方法 - Google Patents

Abstract

本发明公开了一种脑-机接口视觉刺激方法及信号识别方法。本发明的视觉刺激方法为将待显示图像以设定频率的正弦调制方式进行调制显示出来；调制的属性包括：亮度、大小、形状、翻转角度。信号识别方法为：1)将若干不同图像按照正弦调制方式以不同闪烁频率同时显示，并采集被测试者的脑电信号；2)对脑电信号进行特征提取和判决，初步确定该被测试者注视的图像；3)打乱显示图像的闪烁频率，采集脑电信号并确定该被测试者注视的图像，如果此次确定的图像与步骤2相同，则将该图像作为最终确定的识别信息输出；如果不同，则判定该被测试者没有注视该视觉刺激单元显示的任何一幅图像。本发明可大大缓解眼疲劳，有效地提高脑电信号识别的准确性。

Description

一种脑-机接口视觉刺激方法及信号识别方法

技术领域

本发明属于神经工程技术领域，具体涉及稳态视觉诱发电位和脑-机接口视觉刺激方法及信号识别方法。

背景技术

脑-机接口(Brain-Computer Interface，BCI)是基于脑电信号实现大脑和计算机或其他设备直接通讯和控制的系统。脑-机接口可以把大脑发出的信息直接转换为能够驱动外部设备命令，并且可代替人的肢体等实现人与外部世界的交流和对外部环境的控制。目前的脑-机接口系统存在着侵入式与非侵入式两大类。侵入式的脑-机接口所获得的信号精度相对较高，信噪比高，易于分析处理，但需要对使用者进行开颅手术，不便于长时间的信号采集，且容易对使用者的脑部造成感染或损伤，危险性较大。非侵入式的脑-机接口虽然其获取的脑信号噪声大，信号特征的可区分性差，但同时它的信号相对容易获取，不会对使用者的脑部造成伤害，而且随着信号处理方法和技术的不断进步，对头皮脑电图信号(electroencephalogram，EEG)的处理已经能够达到一定的水平，使得非侵入式的脑-机接口系统逐渐替代侵入式的脑-机接口系统，并在生物医学、虚拟现实、游戏娱乐、康复工程以及航天、军事等领域体现出重要的价值。

事件相关电位(Event Related Potentials，ERPs)是指和刺激事件相关、并且在时间上同刺激锁定的脑电信号平均后所观察到的一系列电位变化。它不仅依赖于外界刺激的物理属性，也与大脑的主观加工和认知状态有密切的关系。视觉诱发电位(Visual EvokedPotential，VEP)是一种应用广泛的事件相关电位成分，它是指神经系统接受视觉刺激(例如图形或闪光刺激)所产生的特定电活动。当视觉刺激固定为某一个频率时(一般大于6Hz)，其引起的VEP在时间上发生重叠，大脑视觉皮层会产生稳态视觉诱发电位(Steady State VEP，SSVEP)，该诱发电位信号呈现与视觉刺激一致的周期性，通过分析该信号的频谱可以实现不同频率及不同相位条件下的视觉刺激，是一种极具应用价值的脑-机接口输入信号。

以稳态视觉诱发电位作为输入信号的脑-机接口系统有信息传输率高、训练时间短、特征易提取等优点，但是这类系统的刺激信号大多都是用方波调制亮度，这样会大大增加使用者眼睛的疲劳程度。

发明内容

针对现有技术中存在的技术问题，本发明的目的是提供一种稳态视觉诱发电位脑-机接口视觉刺激方法及信号识别方法，即我们利用一种以固定频率周期性变化的信号，如正弦波，调制视觉刺激图像的亮度、大小、形状和翻转角度来产生视觉刺激。与传统刺激方法相比，本方法可以灵活设定视觉刺激的刺激频率，并且可以降低使用者的眼睛疲劳程度。

本发明的技术方案为：

一种脑-机接口视觉刺激方法，其特征在于，将待显示图像以设定频率的正弦调制方式进行调制显示出来；其中对待显示图像的下列一种或多种属性进行调制：亮度、大小、形状、翻转角度；

a)对图像亮度的调制方法为：用正弦波信号的幅度调制图像的亮度，当正弦波信号幅度为最小值时图像在颜色空间的亮度最小，当正弦波信号幅度为最大值时图像在颜色空间的亮度最大；

b)对图像大小的调制方法为：用正弦波信号的幅度调制图像的边长，当正弦波信号幅度为最小值时图像边长变化为原始图像边长的n分之一，当正弦波信号幅度为最大值时图像边长变化为原始图像边长的n倍，当正弦波信号幅度为最大值一半时图像边长与原始图像相同，n为自然数；

c)对图像形状的调制方法为：用正弦波信号的幅度调制图像的形状，当正弦波信号幅度为最小值时图像各边向内凹的弧度最大，当正弦波信号幅度为最大值时图像各边向外凸的弧度最大，当正弦波信号幅度为最大值一半时图像与原始图像相同；

d)对图像翻转的调制方法为：用正弦波信号的幅度调制图像的翻转角度，当正弦波信号幅度为最小值时图像与原始图像相同，即不翻转；当正弦波信号幅度为从最小值到最大值变化时，图像根据预先设定的轴，按照预先设定的方向从0度翻转到90度；当正弦波信号幅度为从最大值到最小值变化时，图像根据预先设定的轴，按照预先设定的方向从90度翻转到0度。

进一步的，所述正弦波信号的频率与待显示图像所在的显示设备垂直刷新同步信号同步。

进一步的，所述正弦波信号为

ω为频率。

一种脑-机接口信号识别方法，其步骤为：

1)建立一视觉刺激单元，用于显示若干不同内容的图像，供被测试者注视时使用；

2)将若干不同内容的图像按照上述正弦调制方法调制后以不同闪烁频率通过该视觉刺激单元同时显示，并采集该被测试者注视该视觉刺激单元的脑电信号，存储到数据处理单元；

3)该数据处理单元对所采集的脑电信号进行噪声估计和降噪处理；

4)对步骤3)处理后的脑电信号进行特征提取和判决，初步确定该被测试者注视的图像；

5)打乱该视觉刺激单元所显示图像的闪烁频率，并采集该被测试者注视该视觉刺激单元的脑电信号，存储到数据处理单元；然后该数据处理单元对此次采集的脑电信号进行噪声估计和降噪处理；

6)对步骤5)处理后的脑电信号进行特征提取和判决，确定该被测试者注视的图像，如果此次确定的图像与步骤4)确定的图像相同，则将该图像作为最终确定的识别信息输出；如果不相同，则判定该被测试者没有注视该视觉刺激单元显示的任何一幅图像。

进一步的，步骤2)之前，首先将视觉刺激单元显示为黑屏，采集被测试者注视该视觉刺激单元黑屏设定时长内的脑电信号并存储到数据处理单元；然后该数据处理单元利用静息时脑电信号的平均频谱对所采到的脑电信号进行噪声估计。

进一步的，所述设定时长为10s。

进一步的，采集所述脑电信号的方法为：在该被测试者头部枕叶O_Z位置安放一EEG电极，一侧耳廓位置安放参考电极，另一侧耳廓位置安放接地电极，将电极采集的信号通过差分放大器、模数转换器后得到被测试者的脑电信号。

进一步的，初步确定该被测试者注视的图像的方法为：将步骤3)处理后脑电信号对应于每一图像的能量，作为对应图像的脑电信号特征；选取脑电信号特征值最大者与设定阈值进行比较，当高过该设定阈值时，则初步判定被测试者注视的是该脑电信号特征值最大者对应的图像；则否则判断被测试者没有注视任何一幅图像，重复步骤2)～4)。

进一步的，步骤3)中，该数据处理单元对所采集的脑电信号中EEG电极采集的信号进行噪声估计和降噪处理。

该稳态视觉诱发电位脑-机接口系统视觉信号识别方法，包括以下模块：

1.刺激模块：刺激模块主要包括视觉刺激产生算法和视觉刺激呈现装置。目的是将含有特定内容的图片利用正弦调制方式显示出来，供被测试者注视时使用(如图2)。正弦调制的对象是刺激图像的某一种属性或多种属性的组合，如亮度、大小、形状和翻转角度。刺激图像的属性变化的信号(即正弦波信号的频率)与刺激呈现装置(如液晶显示器)的垂直刷新同步信号同步。下面详细说明各种被调制属性的变化方法，假设调制信号为其中ω为刺激频率：

(1)亮度：用正弦波信号的幅度调制刺激图像的亮度，正弦波信号幅度为0(即幅度为最小值)时图像在HSV(Hue，Saturation，Value)颜色空间的亮度最小，正弦波信号幅度为1(即幅度为最大值)时图像在HSV颜色空间的亮度最大(如图3)。

(2)大小：用正弦波信号的幅度调制刺激图像的边长，正弦波信号幅度为0时图像边长变化为原始图像边长的n分之一倍，n是根据实际使用需要设定的一个缩放比例参数(n为自然数)，正弦波信号幅度为1时图像边长变化为原始图像边长的n倍，当正弦波信号幅度为0.5(即幅度最大值一半)时图片边长与原始图像相同(如图4)。

(3)形状：用正弦波信号的幅度调制刺激图像的形状，正弦波信号幅度为0时图像各边向内凹的弧度最大，正弦波信号幅度为1时图像各边向外凸的弧度最大，当正弦波信号幅度为0.5时刺激图像与原始图像相同(如图5)。

(4)翻转：用正弦波信号的幅度调制刺激图像的翻转角度，当正弦波信号幅度为0时刺激图像与原始图像相同(不翻转)。当正弦波信号幅度为从0到1变化时，图片根据某个预先设定的轴，按照某种预先设定的方向从0度翻转到90度。当正弦波信号幅度为1时，图像根据该轴翻转了90度，这样我们只能看到图像的侧边缘，即一条线段。当正弦波信号幅度为从1到0变化时，图片根据某个预先设定的轴，按照某种预先设定的方向从90度翻转到0度。(如图6)。

2.信号采集模块：信号采集模块主要包括电极，差分放大器，模数转换器(如图3)。目的是采集被测试者的脑电信号，并利用无线传输将脑电信号传到接收端。

3.信号处理模块：信号处理模块主要包括噪声估计及降噪处理，特征提取及判决(如图4)。由于脑电信号不稳定，且可能有肌电等信号的干扰，所以为了提升信噪比，使系统更为鲁棒，我们需要在接收数据之后进行噪声估计和降噪处理，之后利用各频率能量作为特征，进行分类，从而得到被测试者所注视的图片。

4.主动确认模块：经过一次分类判决后，我们主动的打乱图片闪烁频率，再进行一遍降噪、特征提取和判决，若结果和前一次相同，则认为前一次判决准确，从而达到了一个确认的目的。

与现有技术相比，本发明的积极效果为：

本发明不仅保持了稳态视觉诱发电位系统的优点，即信息传输率高，训练时间短，特征易提取等，而且提出了一种正弦调制刺激信号的方式，可以灵活设定视觉刺激的刺激频率，并且可以降低使用者的眼睛疲劳程度。

附图说明

图1是本发明流程图；

图2是刺激界面示意图(刺激图片显示的顺序和数量都可以根据需求变化)；

图3是正弦调制图片亮度示意图；

图4是正弦调制图片大小示意图；

图5是正弦调制图片形状示意图；

图6是正弦调制图片翻转示意图；

图7信号采集模块流程图；

图8是信号处理模块流程图。

具体实施方式

下面参照本发明的附图，更详细地描述本发明的最佳实施例。

基于主动确认的稳态视觉诱发电位的脑-机接口方法，包括以下步骤：

步骤一：在被测试者头部枕叶O_Z位置安放脑电图仪电极(EEG电极)，一侧耳廓位置安放参考电极，另一侧耳廓位置安放接地电极，通过电极采集的信号通过差分放大器、模数转换器后得到被测试者的脑电信号(如图2和图3)，并利用无线设备和计算机进行数据传输，利用计算机储存采集的脑电信号。

步骤二：利用显示屏幕显示刺激图片，首先显示屏会显示10s的黑屏，目的是为了记录静息时的脑电信号，以便后面进行噪声估计和降噪处理。之后将6个(数目可增可减，随需求而定)含有特定内容(例如喝水，吃饭，看电视等)的图片利用某种(亮度，大小，形状，翻转中的某一种)正弦调制方式以不同的频率将它们进行调制，并同时呈现在显示屏上，呈现位置分别在屏幕左上、中上、右上、左下、中下、右下，被测试者头部距离显示屏为50～100厘米(如图2)。

步骤三：被测试者注视上述6个图片中的一个或屏幕的中央区域(即并不注视其中任何一幅图片)。

步骤四：对EEG电极所采到的信号进行噪声估计和降噪处理，噪声估计采用静息时脑电信号的平均频谱，可用的降噪方法很多，这里给出一些简单的实现方法。

谱减(Spectral Subtraction)由Boll在1979年提出，其基本原理是假设噪声与目标脑电信号是不相关的，从含噪脑电信号中减去噪声的短时幅度谱来得到目标信号的短时幅度谱，而其噪声信号的估计是通过在受试者安静时(即前10s注意黑屏时)测得。基本公式如下

|X(k)|＝|S(k)|+|N(k)|

其中X(k)为含噪脑电信号频谱，S(k)为目标脑电信号频谱，N(k)为噪声频谱。在得到噪声幅度谱的估计N(k)后，就可以得到目标脑电信号的幅度谱的估计

$\hat{S}\left(k\right)=\max \left(\right|X\left(k\right)|-|N\left(k\right)|,0)$

除了上述基本的谱减算法，Berouti等对它进行了修改：(1)减去噪声谱的时候，根据信噪比调节减的程度，通过谱减时给噪声谱乘上一个大于l的参数，使在频谱相减时减去的值比估计的噪声谱更多(2)在噪声幅度较大的地方，不将待估计的信号的谱置为0，而引入噪声基底(Spectral Floor)的概念，在这些地方保留一点点噪声。修改之后的目标脑电信号短时谱的估计变为

|S(k)|＝max{|X(k)|-α|N(k)|，βN(k)}

其中α＞1在信噪比较大的时候较小，0≤β＜＜1为一个固定值。

当然，可用的方法还有很多，例如最优MMSE的短时幅度谱估计，MMSE对数谱幅度估计，非线性谱减等等，这里只是提供了两种简单易实现的方法作为示例来实现噪声估计和降噪处理。

步骤五：对去噪后的脑电信号进行特征提取和判决。我们先求出去噪脑电中对应的这6个频率的能量，记为E₁～E₆。因为不同的人的脑电信号强弱不同，所以我们分别用提取出的E₁～E₆除以它们的和(即进行一个归一化的过程)，记为e₁～e₆，并将其作为特征。判决的方法也有很多，这里仅给出一个简单易实现的方法作为示例。我们先选出e₁～e₆中的最大者，然后与相应的阈值(亮度，大小，形状和翻转)进行比较。该阈值通过离线实验决定，离线实验分为四组(正弦刺激分别为亮度，大小，形状和翻转)以得到四个阈值，每组离线实验中均采集少量被测试者分别注视6种频率的刺激图片状态下的脑电信号，该阈值为上述脑电信号的特征的总体平均值乘以一个根据经验确定的系数。当e₁～e₆中的最大者高过相应的阈值时我们便初步判定被测试者注视的是那个频率所代表的图片；若低于阈值则我们认为被测试者没有注视任何一幅图片看，回到步骤三开始新一轮实验。

步骤六：当初步判定被测试者盯着某一幅图片时，我们需要利用一个主动确认的过程来再次确定被测试者注视的图片，这时随机打乱6幅图的刺激频率(但不改变其位置和正弦调制方式)，被测试者注视某一幅图片(可以是刚才注视的图片，也可以不是)或屏幕中央，之后对新采集到的脑电信号再进行一次步骤四和步骤五(步骤五中所设阈值不变)，若两次我们判定被测试者所注视的图片相同，则认为被测试者确实注视的是我们判断的图片，屏幕上便会以动画形式显示这幅图片，同时系统会发出与图片内容相符合的语音(例如：您要喝水/吃饭…)作为结果反馈给被测试者，这时被测试者告诉我们两次注视的内容(某幅图片或屏幕中央)是不是我们判断的图片，以验证我们的系统判断的准确性，之后回到步骤三开始新一轮实验；若两次不同，则认为前一次可能为误检测，被测试者没有注视任何一幅图片看，同时系统会发出语音提示(例如：您并未注视屏幕中的图片)，这时仍然让被测试者告诉我们两次注视的内容，以验证我们的系统判断的准确性，之后仍回到步骤三开始新一轮实验。

Claims (10)

1.一种脑-机接口视觉刺激方法，其特征在于，将待显示图像以设定频率的正弦调制方式进行调制显示出来；其中对待显示图像的下列一种或多种属性进行调制：亮度、大小、形状、翻转角度；

a)对图像亮度的调制方法为：用正弦波信号的幅度调制图像的亮度，当正弦波信号幅度为最小值时图像在颜色空间的亮度最小，当正弦波信号幅度为最大值时图像在颜色空间的亮度最大；

b)对图像大小的调制方法为：用正弦波信号的幅度调制图像的边长，当正弦波信号幅度为最小值时图像边长变化为原始图像边长的n分之一，当正弦波信号幅度为最大值时图像边长变化为原始图像边长的n倍，当正弦波信号幅度为最大值一半时图像边长与原始图像相同，n为自然数；

c)对图像形状的调制方法为：用正弦波信号的幅度调制图像的形状，当正弦波信号幅度为最小值时图像各边向内凹的弧度最大，当正弦波信号幅度为最大值时图像各边向外凸的弧度最大，当正弦波信号幅度为最大值一半时图像与原始图像相同；

d)对图像翻转的调制方法为：用正弦波信号的幅度调制图像的翻转角度，当正弦波信号幅度为最小值时图像与原始图像相同，即不翻转；当正弦波信号幅度为从最小值到最大值变化时，图像根据预先设定的轴，按照预先设定的方向从0度翻转到90度；当正弦波信号幅度为从最大值到最小值变化时，图像根据预先设定的轴，按照预先设定的方向从90度翻转到0度。

2.如权利要求1所述的方法，其特征在在于所述正弦波信号的频率与待显示图像所在的显示设备垂直刷新同步信号同步。

3.如权利要求1所述的方法，其特征在于所述正弦波信号为

ω为频率。

4.一种脑-机接口信号识别方法，其步骤为：

1)建立一视觉刺激单元，用于显示若干不同内容的图像，供被测试者注视时使用；

2)将若干不同内容的图像按照权利要求1所述方法调制后以不同闪烁频率通过该视觉刺激单元同时显示，并采集该被测试者注视该视觉刺激单元的脑电信号，存储到数据处理单元；

3)该数据处理单元对所采集的脑电信号进行噪声估计和降噪处理；

4)对步骤3)处理后的脑电信号进行特征提取和判决，初步确定该被测试者注视的图像；

5)打乱该视觉刺激单元所显示图像的闪烁频率，并采集该被测试者注视该视觉刺激单元的脑电信号，存储到数据处理单元；然后该数据处理单元对此次采集的脑电信号进行噪声估计和降噪处理；

6)对步骤5)处理后的脑电信号进行特征提取和判决，确定该被测试者注视的图像，如果此次确定的图像与步骤4)确定的图像相同，则将该图像作为最终确定的识别信息输出；如果不相同，则判定该被测试者没有注视该视觉刺激单元显示的任何一幅图像。

5.如权利要求4所述的方法，其特征在在于所述正弦波信号的频率与待显示图像所在的显示设备垂直刷新同步信号同步。

6.如权利要求4所述的方法，其特征在于步骤2)之前，首先将视觉刺激单元显示为黑屏，采集被测试者注视该视觉刺激单元黑屏设定时长内的脑电信号并存储到数据处理单元；然后该数据处理单元利用静息时脑电信号的平均频谱对所采到的脑电信号进行噪声估计。

7.如权利要求6所述的方法，其特征在于所述设定时长为10s。

8.如权利要求4或5或6或7所述的方法，其特征在于采集所述脑电信号的方法为：在该被测试者头部枕叶OZ位置安放一EEG电极，一侧耳廓位置安放参考电极，另一侧耳廓位置安放接地电极，将电极采集的信号通过差分放大器、模数转换器后得到被测试者的脑电信号。

9.如权利要求4或5或6或7所述的方法，其特征在于初步确定该被测试者注视的图像的方法为：将步骤3)处理后脑电信号对应于每一图像的能量，作为对应图像的脑电信号特征；选取脑电信号特征值最大者与设定阈值进行比较，当高过该设定阈值时，则初步判定被测试者注视的是该脑电信号特征值最大者对应的图像；则否则判断被测试者没有注视任何一幅图像，重复步骤2)～4)。

10.如权利要求5或6所述的方法，其特征在于步骤3)中，该数据处理单元对所采集的脑电信号中EEG电极采集的信号进行噪声估计和降噪处理。

Images