CN102799274B - 基于稳态视觉诱发电位的异步脑开关方法 - Google Patents

Abstract

本发明公开了一种基于稳态视觉诱发电位的异步脑开关方法。脑开关上设置一个闪烁的开关键和三个闪烁的伪键，并将使用者的状态分成控制状态和休闲状态。当使用者想进入控制状态，则注视开关键；当想进入休闲状态，则忽视开关键。使用者的头皮脑电信号通过电极帽采集，经滤波后，进行SSVEP检测来对使用者的两种状态进行分类。如果开关键的SSVEP能量比其他伪键的能量要大，并且开关键的窄带能量和宽带能量比超过预设的阈值，则判别为控制状态；否则判别为休闲状态。本发明基于稳态视觉诱发电位，通过开关键和伪键相结合的设置，提高了空闲状态监测的准确率，满足使用者的性能要求。

Description

基于稳态视觉诱发电位的异步脑开关方法

技术领域

本发明属于人机交互技术领域，具体是涉及基于稳态视觉诱发电位的异步脑开关方法，可用于帮助残障人士操作计算机等外部设备，也可用于新型的脑机交互的电子娱乐设备。

背景技术

在现代社会中，一些疾病（如中风、癫痫等）或车祸意外都可能会导致患者四肢瘫痪以致丧失了肌肉运动能力，这严重影响了此类患者的生活质量，但是这类患者还有意识，头脑还可以思考。因此，研究如何对患者的意图进行解码，进而实现对家电、轮椅等设备的控制，以提高此类患者的生活自理能力，不止是对其个人，甚至对其家人和社会都是非常重要的。

脑机接口是一种不需要外周肌肉与神经参与的通讯系统，它直接读取大脑神经活动，并通过提取脑电信号中的特征，进行大脑指令的解码与识别，从而实现对外部设备的控制。根据神经生理学机理的不同，系统可分为基于运动想象的BCI系统，基于事件相关电位的BCI系统，基于视觉诱发电位（Visualevoked potentials,VEP）的BCI系统等。而根据系统运作方式的不同,系统可以分为同步脑机接口、异步脑机接口两类。

在同步脑机接口中，控制命令的输出时间是由计算机系统决定的，使用者需要与系统配合，并按一定的时间间隔根据系统的提示执行控制操作。而在异步脑机接口中，使用者可以通过大脑的活动在任何时刻发出控制指令，控制外部设备（我们称这个为控制状态）。当使用者没有控制的意图时，无论是在思考、休息或者和别人交谈等情况，系统都维持当前的输出不变（我们称这个为空闲状态）。相比较而言，异步脑机接口提供了一种更加灵活、自然的人机交互方式，因为用户可以按照自己的意愿和控制需要，只在有控制意图的时候才发出控制命令，其他时间则可以让系统处于空闲状态。因此，异步脑机接口的关键在于能够判断和区别用户是处于控制状态，还是处于空闲状态，即异步脑机接口需要具备空闲状态的检测能力。

在现有的异步脑机接口系统中，比较成功的是基于运动想象的方法，Zhang等人构造了两个不同的线性分类器LDA,先后识别空闲状态和各类运动想象；George等人采用离线训练,基于最大化两类运动想象正确判别率,最小化空闲状态错误判别率的思想,利用接收机检测特性曲线寻找最优上下阈值。然而基于运动想象的方法需要大量的训练时间，使用者难以在短时间内控制这种脑机接口，因此很难满足实际的在线控制系统。

目前，只有申请号为200520136506.1、200910076209.5、200910068834.5的中国专利公开了基于稳态视觉诱发电位的脑机接口。而这些发明都是属于同步脑机接口，即不具备空闲状态的检测能力。

发明内容

本发明的目的在于针对现有技术的不足，提供基于稳态视觉诱发电位的异步脑开关方法。本发明综合利用稳态视觉诱发电位的神经生理现象，提出一种伪键的机制，提高异步脑机接口系统的空闲状态检测能力，并将此方法应用于脑开关的控制中，解决了现有异步脑开关技术方案需要大量的训练时间，难以满足实际在线控制系统的技术问题。

实现本发明目的所采用的技术方案为：基于稳态视觉诱发电位的异步脑开关方法，包括以下步骤：

S1、通过戴在头上的电极帽上的电极采集脑电信号，分别获得开关键和伪键的稳态视觉诱发SSVEP电位；

S2、分别提取所述开关键和伪键的稳态视觉诱发SSVEP电位频域特征：对所述稳态视觉诱发SSVEP电位进行带通滤波；对带通滤波后的稳态视觉诱发SSVEP电位进行傅里叶变换，然后分别计算经过带通滤波及傅里叶变换后的开关键及三个伪键所对应的稳态视觉诱发SSVEP电位的功率密度谱，其中功率密度谱表征SSVEP电位能量；

S3、根据步骤S2的计算结果，判断开关键产生的SSVEP电位能量是否大于伪键的SSVEP电位能量，若是则转入步骤S4，若否则转入步骤S6；

S4、计算开关键闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α，并判断比率α是否大于预设的阈值，若是则转入步骤S5，若否则转入步骤S6；

S5、表示检测到开关键闪烁频率，系统处于控制状态中，表示要改变当前脑开关的状态；根据当前脑开关的状态，发出指令使脑开关的状态跳变；

S6、表示未检测到开关键闪烁频率，系统处于空闲状态中，表示要保持当前脑开关的状态。

优选地，步骤S1通过电极帽上的Pz、P3、P4、Oz、O1及O2六个电极采集脑电信号。

步骤S1采集到的脑电信号进行包括去除基线漂移、50Hz工频干扰的预处理，对预处理后的信号再放大。

步骤S1所述开关键设有一个，为第一个按键，伪键设有三个，分别为第二、第三、第四个按键；步骤S2所述功率密度谱的计算公式如下：

$\hat{P}\left(i\right)=\frac{1}{N_s{N}_h}\underset{j=1}{\overset{j=N_s}{\mathrm{\Σ}}}\underset{k=1}{\overset{k=N_h}{\mathrm{\Σ}}}P(j,f\left(i\right)*k)$

其中，N_s表示通道数目，N_h表示对于频率的谐波次数，f(i)表示第i个按键对应的闪烁频率，P(j,f)表示频率f上在通道j上的功率密度谱，1≤i≤4，k表示谐波的倍数。

步骤S4所述比率α计算公式如下：

$\mathrm{\α}=\frac{{\left[\hat{P}\left(i\right)\right]}_{f_i\∈[f_t-f_n,f_t+f_n]}}{{\left[\hat{P}\left(i\right)\right]}_{f_i\∈[f_t-f_w,f_t+f_w]}}$

其中，是开关键闪烁频率的窄带范围的平均能量，是开关键闪烁频率的宽带范围的平均能量。

所述窄带范围是开关键闪烁频率的±0.2，宽带范围是开关键闪烁频率的±2。

所述步骤S2对带通滤波后的稳态视觉诱发SSVEP电位进行傅里叶变换具体为：对带通滤波后的稳态视觉诱发SSVEP电位，取其当前时间点的前t秒数据进行傅里叶变换，其中t小于等于3.2。

本发明的原理如下：脑开关上设置一个闪烁的开关键和三个闪烁的伪键，并将使用者的状态分成控制状态和休闲状态。当使用者想进入控制状态，则注视着闪烁的开关键，从而使大脑以一定频率的闪光刺激视觉（如图像或闪光刺激）；当使用者想进入休闲状态，则忽视闪烁的开关键。大脑对视觉刺激所产生的诱发脑电信号稳定性较好，诱发电位与刺激有比较固定的时间间隔，容易使脑电采集系统通过检测诱发脑电信号中特定的频率成分，由此判断使用者正在注视的目标。当刺激频率较高（一般大于6Hz），刺激间隔时间小于VEP时程，多次反应的波相互干扰、叠加，形成节律性正弦样波的VEP，此时产生的视觉诱发电位称为稳态视觉诱发电位（steady-state visual evoked potentials,SSVEP）。本发明对使用者的头皮脑电信号通过电极帽采集，经带通滤波后，进行SSVEP检测来对使用者的两种状态进行分类，再根据分类结果对脑开关进行相应的动作。

与现有技术相比，本发明具有如下的优点和有益效果：

（1）本发明采用异步脑机接口系统连续不断地监测使用者的意图，并有效区分控制状态和空闲状态，使得用户能自主控制外部设备的开启和关闭。用户想输出命令的时候处在控制状态，不想输出命令时则处在空闲状态。这样更接近真实的交互方式，相对于只有控制状态的同步控制策略具有明显的优势。提高了残疾人的生活质量，而且可应用于电子娱乐，以增加其趣味性以及实用性。

（2）传统的脑开关往往只有一个按钮或者只有两个按钮（一个“开”，一个“关”），在空闲状态中误判率很高。但本发明除了开关键之外，还设置了伪键。伪键的目的是降低误判率，其作用是利用伪键的设置和SSVEP的生理想象，增加了SSVEP检测的条件。通过开关键和伪键相结合的设置，提高了空闲状态监测的准确率，满足使用者的性能要求。

（3）由于采用有效的算法及人机在线相互调整的机制，本发明可以实现每500毫秒对系统状态检测一次，这对于实时控制是非常重要的。

（4）本发明采用脑电记录方法，是一种无创无损的方法。

附图说明

图1是本发明工作界面图；

图2是本发明方法中的流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，为本发明的工作界面图，在其四周含有4个按键，即4个SSVEP闪烁键，4个按键分别以不同的频率闪烁；其中上面一个键“on/off”是开关键，指示系统的开关状态的切换；其余三个键是伪键，不进行任何的操作。本发明只关心上侧那个开关键是否含有SSVEP电位，而不关心伪键是否含有SSVEP电位，这样的好处就是增加开关键的SSVEP检测条件，减少空闲状态的误检率。

我们把人的大脑定义为两种状态，控制状态和空闲状态。使用者戴上电极帽，坐在显示装置前。当他想让人脑处于控制状态时，他需要注视闪烁着的绿色开关键，从而诱发出SSVEP电位。反之，使用者想让人脑处于空闲状态，则无需注视开关键。开关键的作用就是转换系统的状态，即从开到关或者从关到开。由于只有一个绿色按钮是选择目标，因此即使注视其他闪烁的伪键也不会触发系统的开关操作。当系统检测到目标的SSVEP电位，则系统会根据当前系统的状态（“开”或者“关”），发出指令“系统关闭”或者“系统开启”。反之，当系统检测不到目标的SSVEP，则系统不会发出任何开关操作的指令。

在具体实施的过程中，使用者有2种不同的意识任务：注视闪烁开关键、不注视闪烁开关键，这2种意识任务分别对应于使用者的控制状态和空闲状态，因此控制脑开关的过程也就是通过计算机检测使用者处于何种状态中。如果处在控制状态，则改变系统的开关状态；否则，保持系统的开关状态不变。

本发明的具体实施过程包括以下主要步骤：

（1）脑电信号的记录

使用者在头上戴上标准的电极帽，脑电采集系统通过电极帽上的电极采集实时的脑电信号：给电极帽上的每个电极打上导电胶，再与放大装置相连，就得到脑电图，即脑电信号。为了避免眼电的干扰，在数据分析时没有使用前额叶上的电极所记录的脑电信号。同时，在提取SSVEP特征的时候只采用Pz、P3、P4、Oz、O1及O2六个电极记录的数据；将记录到的数据首先要进行预处理，预处理包括去除基线漂移、50Hz的工频干扰；预处理后的信号再通过放大装置放大。

（2）对开关键及三个伪键的SSVEP频域特征分别进行提取

对从所述六个电极获得的六个SSVEP电位，首先进行4Hz～20Hz的带通滤波；对带通滤波后的SSVEP电位，取其当前时间点的前t秒数据进行傅里叶变换，其中t小于等于3.2，从而每隔0.5ms检测一次使用者的意识任务是否有变化，即系统状态是否需跳转；然后分别计算经过带通滤波及傅里叶变换后的开关键及三个伪键所对应的SSVEP电位的功率密度谱（Power densityspectrum，PSD），功率密度谱表征SSVEP电位能量。第i个按键所对应的SSVEP电位的功率密度谱如下：

$\hat{P}\left(i\right)=\frac{1}{N_s{N}_h}\underset{j=1}{\overset{j=N_s}{\mathrm{\Σ}}}\underset{k=1}{\overset{k=N_h}{\mathrm{\Σ}}}P(j,f\left(i\right)*k)$

其中，N_s表示通道数目，N_h表示对于频率的谐波次数，f(i)表示第i个按钮对应的闪烁频率，P(j,f)表示频率f上在通道j上的功率密度谱，1≤i≤4，k表示谐波的倍数。

（3）SSVEP检测

根据实时采集的信号进行SSVEP检测，每隔500毫秒进行一次检测。因为在控制状态下，使用者只需注视闪烁的开关键并忽视其他3个伪键，因此有两种生理现象会产生：1）在所有闪烁的按键中，开关键产生的SSVEP电位能量最大；2）有一个明显的波峰出现在开关键的闪烁频率附近。本发明根据这两个条件作为SSVEP电位的检测判定条件。

根据第一个条件，开关键产生的SSVEP电位能量比其他三个伪键的SSVEP电位能量都要大。根据第二个条件，把开关键闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α计算出来，比率α计算公式如下：

$\mathrm{\α}=\frac{{\left[\hat{P}\left(i\right)\right]}_{f_i\∈[f_t-f_n,f_t+f_n]}}{{\left[\hat{P}\left(i\right)\right]}_{f_i\∈[f_t-f_w,f_t+f_w]}}$

其中，是开关键闪烁频率（即目标频率）的窄带范围的平均能量，是目标频率的宽带范围的平均能量。其中窄带的范围是目标频率的±0.2，宽带的范围是目标频率的±2。如果比率α大于系统预设的阈值，则满足第二个条件。

（4）状态判断

当上述两个条件同时满足，则表示检测到开关键的目标频率，系统处于控制状态中，表示要改变当前脑开关的状态，根据当前脑开关的状态（“开”或者“关”），发出指令使脑开关跳变，即“系统关闭”或者“系统开启”。当上述两个条件有一个不满足时，则表示未检测到开关键的目标频率，系统处于空闲状态中，表示要保持当前脑开关的“开”状态或者“关”状态。

（5）人机互相调整

一方面在系统运行的过程中，异步脑开关的操作带有实时的反馈过程。因此使用者可以根据此反馈对自己的脑电信号进行调整。第二方面，系统也可以根据使用者的状态进行系统参数（例如阈值）的设置及调整。

本领域的技术人员可以确定，伪键的个数并不局限于三个；只要存在伪键，使得开关键的SSVEP电位能量有比对即可。实施例中伪键设置为1个、2个或3个以上，也能取得跟设置为3个的本实施例相同的效果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.基于稳态视觉诱发电位的异步脑开关方法，其特征在于，包括以下步骤：

S1、通过戴在头上的电极帽上的电极采集脑电信号，分别获得开关键和伪键的稳态视觉诱发SSVEP电位；

S2、分别提取所述开关键和伪键的稳态视觉诱发SSVEP电位频域特征：对所述稳态视觉诱发SSVEP电位进行带通滤波；对带通滤波后的稳态视觉诱发SSVEP电位进行傅里叶变换；然后分别计算经过带通滤波及傅里叶变换后的开关键及三个伪键所对应的稳态视觉诱发SSVEP电位的功率密度谱，其中功率密度谱表征SSVEP电位能量；

S3、根据步骤S2的计算结果，判断开关键产生的SSVEP电位能量是否大于伪键的SSVEP电位能量，若是则转入步骤S4，若否则转入步骤S6；

S4、计算开关键闪烁频率的窄带范围的平均能量和宽带范围的平均能量的比率α，并判断比率α是否大于预设的阈值，若是则转入步骤S5，若否则转入步骤S6；

S5、表示检测到开关键闪烁频率，系统处于控制状态中，表示要改变当前脑开关的状态；根据当前脑开关的状态，发出指令使脑开关的状态跳变；

S6、表示未检测到开关键闪烁频率，系统处于空闲状态中，表示要保持当前脑开关的状态。

2.根据权利要求1所述的基于稳态视觉诱发电位的异步脑开关方法，其特征在于，步骤S1通过电极帽上的Pz、P3、P4、Oz、O1及O2六个电极采集脑电信号。

3.根据权利要求1所述的基于稳态视觉诱发电位的异步脑开关方法，其特征在于，步骤S1采集到的脑电信号进行包括去除基线漂移、50Hz工频干扰的预处理，对预处理后的信号再放大。

4.根据权利要求1所述的基于稳态视觉诱发电位的异步脑开关方法，其特征在于，步骤S1所述开关键设有一个，为第一个按键，伪键设有三个，分别为第二、第三、第四个按键；步骤S2所述功率密度谱的计算公式如下：

$\hat{P}\left(i\right)=\frac{1}{N_s{N}_h}\underset{j=1}{\overset{j=N_s}{\mathrm{\Σ}}}\underset{k=1}{\overset{k=N_h}{\mathrm{\Σ}}}P(j,f\left(i\right)*k)$

其中，N_s表示通道数目，N_h表示对于频率的谐波次数，f(i)表示第i个按键对应的闪烁频率，P(j,f)表示频率f上在通道j上的功率密度谱，1≤i≤4，k表示谐波的倍数。

5.根据权利要求1或4所述的基于稳态视觉诱发电位的异步脑开关方法，其特征在于，步骤S4所述比率α计算公式如下：

$\mathrm{\α}=\frac{[\hat{P}\left(i\right){]}_{f_i\∈[f_t-f_n,f_t+f_n]}}{[\hat{P}\left(i\right){]}_{f_i\∈[f_t-f_w,f_t+f_w]}}$

其中，是开关键闪烁频率的窄带范围的平均能量，是开关键闪烁频率的宽带范围的平均能量；其中，f_t是目标频率，f_n是窄带频率，f_w是宽带频率。

6.根据权利要求5所述的基于稳态视觉诱发电位的异步脑开关方法，其特征在于，所述窄带范围是开关键闪烁频率的±0.2，宽带范围是开关键闪烁频率的±2。

7.根据权利要求1所述的基于稳态视觉诱发电位的异步脑开关方法，其特征在于，所述步骤S2对带通滤波后的稳态视觉诱发SSVEP电位进行傅里叶变换具体为：对带通滤波后的稳态视觉诱发SSVEP电位，取其当前时间点的前t秒数据进行傅里叶变换，其中t小于等于3.2。