CN103268149B - 一种基于脑机接口的实时主动式系统控制方法 - Google Patents

Abstract

本发明涉及一种基于脑机接口的实时主动式系统控制方法。本发明包括EEG信号采集阶段、信号处理阶段和控制器械工作。其中信号处理阶段包括EEG信号特征离线分析、脑电信号特征实时提取和分类决策。控制器械工作包括脑电信号采集系统和计算机软件系统。本发明通过相应的信号处理机制以及综合分类决策实现了实时性，通过在传统机械的基础上改装串口通信设备实现了主动性。

Description

一种基于脑机接口的实时主动式系统控制方法

技术领域

本发明涉及脑电信号处理领域，通过脑电信号的处理结果控制机械或者电子设备工作，从而达到改善运动训练或者行为控制效果的目的。

背景技术

脑—机接口（BrainComputerInterface,BCI）是一种由人脑与计算机或其他电子设备建立起来的，基于脑电信号而不依赖于外周神经和肌肉组织这些常规的人脑信息输出通道，实现人与外界信息交流和控制的全新通讯系统。BCI研究的目的就是要从各种不同的脑电信号中识别出使用者的意图。这将为那些由于受到肌萎缩性脊髓侧所硬化、脑干损伤、严重脊髓损伤等疾病影响，或是由于车祸等不幸事件而完全失去行为能力但思维正常的人搭建新的外部世界交流的通道。

目前，运动功能障碍患者进行运动训练或者行为控制的手段主要有三种：一种是运动疗法，即通过物理治疗方法提高残余神经元控制的运动功能，用其它正常的有神经支配的肌肉替代瘫痪肌肉，实现部分功能，如通过手操作专门的仪器合成语音。二是利用功能性电刺激系统，绕过神经通路中的受损部位，电刺激控制瘫痪的肌肉，恢复运动功能，比如电子助行器就是通过电刺激人体躯干上部的肌电信号，从而实现瘫痪患者的部分行走功能，该项研究已经比较成熟。三是利用人们运动想象时产生的大脑信号对外界进行控制，如控制机器假肢的活动、用大脑操控电子游戏设备等。

发明内容

本发明是通过提取中风或者肌肉神经通路被破坏的患者的脑电信号做离线分析，选出感兴趣的电极CP3、CP4和频段9-12Hz，然后利用周期图法对CP3、CP4进行实时的特征提取并利用二分类法进行快速的分类，通过处理后的脑电信号来主动实时的控制器械工作从而达到改善运动训练或者行为控制效果的目的。

本发明的目的是通过这样的技术方案实现的：

步骤(1)EEG信号采集阶段

对受试者进行多次左右手真实运动和左右手想象运动的训练，然后采集受试者左右手想象运动的脑电信号。

步骤(2)信号处理阶段

1）EEG信号特征离线分析

对采集到的脑电信号进行离线分析选出感兴趣的电极CP3、CP4，以及感兴趣的频段9-12Hz；

2）脑电信号特征实时提取

a、信号预处理：对CP3、CP4两通道信号进行去均值处理；

b、分别取CP3、CP4两通道数据的N点样本值，利用FFT（FastFourierTransform）进行快速傅里叶变换；

c、计算每个样本点的幅值的平方，除以N得到CP3、CP4两通道的功率谱、；

d、对功率谱、进行平滑处理，即对每三个样本点的功率值做一次平均处理得到、。

3）分类决策

a、单次分类：在9-12Hz频段对、求平均值得到的、进行作差值运算，得出分类结果，实现单次分类，单次分类所用的时间为200/256=0.781s，其中200为窗口数据大小，256为采样频率。

b、由于单次分类是每分类一次，就决策输出一次，不但分类准确率不高，而且会造成“屈”、“伸”变换频率高，大腿抖动厉害，既不利于腿部运动训练或者行为控制，又可能超出腿部承受范围，基于以上问题，对每次单次分类分别进行累积判断，达到5次分类进行一次综合决策，决策权重为60%，即如果5次分类中有3次或3次以上是左，就认为受试者是想象左手运动，反之认为是想象右手运动，此时所用的时间为：(200+200*(1-65%)*(5-1))/256=1.875s，其中200为窗口数据大小，65%为窗口数据重叠率，256为采样频率，利用综合决策提高了分类的准确率和速度。

步骤（3）控制器械工作。该步骤依次使用下面两个系统中的功能进行处理：

1）脑电信号采集系统

a、读取数据：通过脑电实验设备从受试者头皮读取实验所用通道相对应的EEG信号。

b、放大滤波：对EEG信号进行放大和滤波操作以方便后续的处理。

2）计算机软件系统

a、EEG控制模块:负责EEG数据的读取和分配任务。在该模块中建立了多个线程协调完成工作。

b、信号处理模块：负责对读取的脑电信号的分析过程，主要包括三个方面：特征提取、识别分类和综合决策。

c、通信模块：把经过信号处理模块得到的最终控制命令发送给应用系统，以实现最终的控制，本发明针对不同的应用模块，设计了不同的通信方式，若应用模块是PC机上运行的软件程序，可以通过基于TCP/IP协议的网络通信来发送命令，如果应用模块是外部串行设备，则通过串行通信来传输数据。

本发明通过相应的信号处理机制以及综合分类决策实现了实时性，通过在传统机械的基础上改装串口通信设备实现了主动性。

附图说明

图1为本发明方法流程图；

图2为BCI总体系统框架图；

图3为计算机软件系统流程图；

图4为综合决策流程图。

具体实施方式

以下结合附图对本发明作进一步说明。

为使本发明的目的、技术方案和要点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明方法步骤包括：EEG信号采集、信号处理、还有控制器械工作三个阶段。

步骤（1），EEG信号采集阶段，脑电采集设备通道数为16，采样率为256Hz,同时设置带通滤波为0.1-60Hz，滤波类型为巴特沃斯滤波，陷波滤波48-52Hz，滤波类型为切比雪夫滤波，电极阻抗<5kΩ。具体细节如下：

1)准备阶段

a、实验开始前，先准备好实验过程中所需要的所有设备和道具，其中包括脑电信号放大器、电极帽、针筒、导电膏、卷尺、纱布、记录等。

b、按照指定的顺序连接好设备、放大器、电极帽之间的连线。

c、取些许纱布蘸取少量酒精均匀地擦洗受试者的头部和耳垂以减小阻抗，为受试者带上电极帽，并按照国际10-20系统电极放置标准固定好电极帽，把参考电极固定在受试者的耳垂位置，在电极Fz、Cz、Pz、Oz、P3、P4、PO7、PO8、F3、F4、Fcz、C3、C4、CP3、CP4、CPz上打导电膏，并且检查每个电极的阻抗确保其足够小。

e、调整电脑显示器的高度，使屏幕正对实验者，同时调整受试者与电脑显示屏之间的距离使其保持在80cm左右。

f、记录下实验的相关信息，包括受试者个人信息、实验参数、实验日期等并把信号采集实验的过程以及一些注意事项详细告诉受试者，确保受试者知道每一步应该如何进行实验操作。

2)信号采集阶段

采集阶段可以划分为5个步骤：

a、显示屏中央出现目标时，此时要求受试者保持眼睛处于睁开状态，注视着目标，并尽可能避免眨眼动作，此过程持续60秒钟。

b、显示屏中央再次出现目标时，要求受试者保持眼睛处于闭合状态，持续60秒钟，期间受试者眼睛不能睁开。

c、此小节一共包括30个trial，每一次trail中目标会随机出现在显示屏的左边或者右边，当目标出现在左边时，要求受试者缓慢的做左手运动；反之，如果目标出现在右边则要求受试者缓慢的做右手运动。随后会有1s的时间间隔，然后继续下一次trial，整个过程持续大约180秒钟，期间要求受试者身体除手以外的其他部位尽量保持不动。

d、此小节与第3步类似，显示屏再次出现第3步中的目标时，要求受试者想象手的运动，而不是真实的动作，例如当目标出现在左边时，要求受试者用想象左手缓慢地运动来代替第3步中真实的动作。

e、按先第3步然后第4步的顺序进行重复操作，并重复4次。

步骤（2），信号处理分为三部分：EEG信号特征离线分析、脑电信号特征实时提取、分类决策，具体细节如下：

1）EEG信号特征离线分析

利用Matlab离线分析受试者训练时的脑电数据，分析结果显示相对于其他14个通道，第14和第16个通道对应的CP3、CP4电极在9-12Hz频段想象左手和想象右手时存在明显的差别。所以选取CP3、CP4两个通道作为区分受试者想象左手还是右手运动的依据。

2）脑电信号特征实时提取

本发明中，特征提取采用的是周期图法。特征提取分为四部分：信号预处理、利用FFT进行快速的傅里叶变换、功率谱分析以及平滑处理。具体细节如下：

a、信号预处理，即对CP3、CP4两个通道信号进行去均值处理。从观测信号中减去16个通道信号的平均值，用以消除随机成分，提取确定性成分。

b、分别取CP3、CP4两个通道数据的N点样本值，利用FFT进行快速傅里叶变换。长度为，序列为的变换公式为：

（1）

c、分别取CP3、CP4两个通道数据的个样本点，并计算每个样本点的幅值的平方，然后除以得到CP3、CP4两个通道的功率谱、。信号的功率谱计算公式为：

（2）

式中为的共轭；

d、对功率谱、进行平滑处理，以降低数据变化，即对每三个样本点的功率值做一次平均处理，公式如下：

（3）

3）分类决策

快速分类决策分为两部分：单次分类、综合决策。

a、单次分类，在9-12Hz频段对、求平均值得到、，并作差值运算，得出分类结果，实现单次分类。建立一个简单的基于功率谱能量为特征的左右手想象分类方法为：

b、综合决策，由于单次分类是每分类一次，就决策输出一次，不但分类准确率不高，而且会造成“屈”、“伸”变换频率高，大腿抖动厉害，既不利于腿部运动训练或者行为控制，又可能超出腿部承受范围，基于以上问题，对每次单次分类分别进行重复判断，达到5次分类即进行一次综合决策,决策权重为60%，即如果五次分类中有三次或三次以上是左，那么就认为受试者是想象左手运动，反之认为受试者是想象右手运动，，这样不但提高了分类的准确率，而且会使腿部“屈”、“伸”变换平缓，达到运动训练或者行为控制的最佳效果。流程图如图4所示。

步骤（3），控制器械工作，控制器械工作需要有相应的脑机接口系统如图2，脑机接口系统主要有三部分构成：脑电信号采集模块、计算机软件系统和外界应用系统，其中计算机软件系统由EEG信号控制模块、信号处理模块、通信模块三个部分组成具体细节如下：

1）脑电信号采集系统

脑电信号采集系统主要负责以下两个功能：

a、读取数据：通过脑电实验设备从受试者头皮读取实验所用通道相对应的EEG信号。

b、放大滤波：来自头皮的EEG很微弱，大约5-100uv，频率常低于35HZ，同时伴有工频等杂波，所以需要对信号进行放大和滤波操作以方便后续的处理。

2）计算机软件系统

如图3计算机软件系统流程图，将计算机软件系统分为EEG信号控制模块、信号处理模块和通信模块，具体细节如下：

a、EEG控制模块

该模块主要负责EEG数据的读取和分配任务。在该模块中建立了多个线程协调完成工作，具体分工如下：线程1负责与脑电采集系统的数据通信，即从放大器中读取EEG数据；线程2负责实时显示读取数据的信号波形，以方便实验时可以通过波形来查看信号是否正常；线程3负责EEG数据的分析与处理以及与外界应用设置的数据传输。

b、信号处理模块

该模块负责对读取的脑电信号的分析过程，主要包括以下三个方面：特征提取、识别分类和综合决策。此算法已在信号处理阶段做了详细的说明，此处不再赘述。

c、通信模块

通信模块实现的功能是把经过信号处理模块得到的最终控制命令发送给应用系统，以实现最终的控制。本发明针对不同的应用模块，设计了不同的通信方式，若应用模块是PC机上运行的软件程序，可以通过基于TCP/IP协议的网络通信来发送命令，如果应用模块是外部串行设备，则通过串行通信来传输数据。

Claims (1)

1.一种基于脑机接口的实时主动式系统控制方法，其特征在于该方法包括如下阶段：

步骤(1)EEG信号采集阶段

脑电采集设备通道数为16，采样率为256Hz，同时设置带通滤波为0.1-60Hz，滤波类型为巴特沃斯滤波；陷波滤波48-52Hz，滤波类型为切比雪夫滤波，电极阻抗<5kΩ，并对受试者进行训练，然后采集EEG数据；

步骤(2)信号处理阶段

1)EEG信号特征离线分析

对采集到的EEG信号进行离线分析选出感兴趣的电极CP3、CP4，以及感兴趣的频段9-12Hz；

2)EEG信号特征实时提取

a、信号预处理：对电极CP3、CP4两通道信号进行去均值处理；

b、分别取电极CP3、CP4两通道数据的N点样本值，对N点样本值进行快速傅里叶变换；长度为N，序列为x_n＝x(n)的变换公式为：

$\left\{\begin{array}{c}X\left(n\right)=\underset{n=0}{\overset{N-1}{\&Sigma;}}x\left(n\right)W_N^{nk}\\ W_N^{nk}=e^{-j2\mathrm{\&pi;}\frac{n}{N}k}\end{array}\right.k=0,1,2,L,N-1;$

c、计算每个样本点的幅值的平方，除以N得到CP3、CP4两通道的功率谱P3、P4；信号x_n＝x(n)的功率谱计算公式为：

$P\left(k\right)=\frac{1}{N}X\left(k\right)X^{*}\left(k\right)=\frac{1}{N}|X\left(k\right){|}^2$

式中X^*(k)为X(k)的共轭；

d、对功率谱P3、P4进行平滑处理，即对每三个样本点的功率值做一次平均处理得到P3'、P4'

P'(k)＝(P(k)+P(k-1)+P(k-2))/3

3)分类决策

a、单次分类：在9-12Hz频段对P3、P4求平均值得到的P3'、P4'进行作差值运算，得出分类结果，实现单次分类，建立一个简单的基于功率谱能量为特征的左右手想象分类方法为：

b、综合决策：对每次单次分类分别进行累积判断，达到5次分类即进行一次综合决策,决策权重为60％，即如果五次分类中有三次或三次以上是左，那么就认为受试者是想象左手运动，反之认为受试者是想象右手运动；

步骤(3)控制器械工作；该步骤包括以下两个系统的顺序处理：

1)EEG信号采集系统：

a、读取数据：通过脑电实验设备从受试者头皮读取实验所用通道相对应的EEG信号；

b、放大滤波：对EEG信号进行放大和滤波操作以方便后续的处理；

2)计算机软件系统

a、EEG控制模块:负责EEG数据的读取和分配任务；在该模块中建立了多个线程协调完成工作，具体分工如下：线程1负责与脑电采集系统的数据通信，即从放大器中读取EEG数据；线程2负责实时显示读取数据的信号波形，以方便实验时通过波形来查看信号是否正常；线程3负责EEG数据的分析与处理以及与外界应用设置的数据传输；

b、信号处理模块：负责对读取的脑电信号的分析，包括以下三个方面：特征提取、识别分类和综合决策；

c、通信模块：把经过信号处理模块得到的最终控制命令发送给应用系统，以实现最终的控制；

顺序完成步骤(1)、步骤(2)和步骤(3)即可完成通过脑机接口的实时主动式系统控制。