CN102331782B

CN102331782B - 一种多模态脑机接口的自动车控制方法

Info

Publication number: CN102331782B
Application number: CN 201110196026
Authority: CN
Inventors: 李远清; 龙锦益; 余天佑; 李道礼
Original assignee: South China University of Technology SCUT
Current assignee: South China Brain Control (Guangdong) Intelligent Technology Co., Ltd.
Priority date: 2011-07-13
Filing date: 2011-07-13
Publication date: 2013-05-22
Anticipated expiration: 2031-07-13
Also published as: CN102331782A

Abstract

本发明公开了一种多模态脑机接口的自动车控制方法，电极帽采集头皮脑电信号，经滤波后，进行方向分析和速度分析，将运动想象任务分成两组，分别进行分类，分析其中包含何种运动想象任务，如果两组分类结果都判为左手则输出左转指令，如果两组分类结果都判为右手则输出右转指令，其它结果则进入速度分析，将P300特征与上述运动想象特征串连作为混合特征进行分类，如果分类结果是判别为想脚与没有P300电位的混合任务时则输出加速的指令，如果分类结果是判别为休闲状态与有P300电位的混合任务则输出减速指令。本发明方法具有较高的传输速率，能够满足于实际的自动车运行的需要，且相对于传统的单一范式的脑机接口具有多方面的优势。

Description

一种多模态脑机接口的自动车控制方法

技术领域

本发明涉及残疾人辅助装置与人机交互电子娱乐领域，具体是一种多模态脑机接口的自动车控制方法。

背景技术

在现代社会中，一些疾病（如中风等）或车祸意外都可能会导致患者四肢瘫痪以至不能独立行走，这严重影响了此类患者的生活质量，但是这类患者还有意识，头脑还可以思考。因此，研究如何对患者的意图进行解码，进而实现对轮椅的控制，以解决此类患者的行走问题不止是对其个人以及对其家人和社会都是非常重要的。

脑机接口是一种直接读取大脑神经活动并通过在线运算对其进行解码，进而实现对外部设备的控制，而不是像正常输出通路一样，先由大脑发出指令，然后通过中枢神经再到肢体，进而实现对外部设备的控制。因此脑机接口通常包括下面三个组成部分：1）信号采集与记录；2）信号处理：从神经信号中提取使用者的意识，并且通过转换算法将输入的使用者的神经信号转换为控制外部设备的输出指令；3）控制外部设备：根据使用者的意识来驱动外部设备，从而替代用户丧失的运动和交流能力。

脑机接口根据采集方式的不同一般可分为植入式与非侵入式两种。由于植入式一方面需要打开大脑皮层，具有一定的风险，另一方面细胞存活的时间比较短，如果电极植入的时间太长，则会导致信号的质量变差。非侵入式是一种无创的脑电采集方法，也是一种比较常用的采集方式。

评价各种类型的脑机接口的一个重要指标通常是指信息传输速率，即指单位时间内传输的信息量，单位为bits/min。其表达式为

B=n_e{log₂N+Plog₂P+(1-P)log₂[(1-P)/(N-1)]} （1）

其中n_e为每分钟输出的任务数，N为以同等概率出现的任务的类别数，P为正确率。从上式可以看出，传输速率与准确率及指令输出速度相关。基于运动想象范式的脑机接口，由于可以利用的指令类别数相对比较少，一般只是利用了左右手两种不同的任务。当执行更多的肢体任务（左手、右手、脚或舌头）时，则会导致检测准确率迅速下降，无法满足控制需要。而基于P300范式的脑机接口虽然可以利用的指令任务数比较多，但每分钟输出的有效指令相对比较少（每个指令需要好几秒钟）。这些都可以归结于脑信号的不稳定性及其具有比较低的信噪比。因此现有脑机接口系统的传输速率很难满足于较复杂的通讯要求，如自动小车或轮椅的控制。

目前，只有申请号为200810053558的中国专利公开了一种基于alpha波的智能轮椅控制系统。在该发明中，共有四个指示灯轮流亮一定的时间，其中每个指示灯表明一个方向（上下左右），然后使用者根据轮椅运动方向的需要在其对应的指示灯亮时执行想象任务，产生alpha波脑电信号，再通过对脑电信号进行分析，提取使用者的意愿并产生单一控制信号来控制轮椅的左转，右转，前进或后退。但是利用这样的控制方式来输出一个指令时所需要的时间比较长，传输速率很难满足实际的在线控制系统。

发明内容

本发明的目的在于针对现有技术的不足，提供一种多模态脑机接口的自动车控制方法，本发明方法综合利用运动想象的输出速度及P300电位检测的可靠性，提供一种混合这两种不同机制产生的脑电信号的脑机接口系统，并将此系统应用于自动车的控制中。这种多模态控制范式实现的脑机接口系统具有高的传输速率，可以满足于实时的自动车控制，并使得该自动车同时具有速度及方向的控制，且这种控制系统不仅可以控制残疾人轮椅，提高残疾人的生活质量，而且可应用于电子娱乐，以增加其趣味性以及实用性。

实现本发明目的所采用的技术方案为：

一种多模态脑机接口的自动车控制方法，使用者根据显示装置中的工作界面指令产生不同的运动想象任务的头皮脑电信号，电极帽采集头皮脑电信号，该信号经带通滤波后，根据头皮脑电信号中包含的P300信息和运动想象ERD/ERS信息特征不同，采取两种不同的处理方式包括方向分析和速度分析，所述方向分析为提取共空域模式，将运动想象任务分成两组，一组为左手、右手与脚，另一组为左手、右手与休闲状态，对这两组数据分别用贝叶斯分类器进行分类，分析其中包含何种运动想象任务，如果两组分类结果都判为左手则输出左转指令，如果两组分类结果都判为右手则输出右转指令，其它结果则进入速度分析，在该速度分析过程中，将P300特征与上述运动想象特征串连作为混合特征进行分类，分析其中包含何种运动想象任务，如果分类结果是判别为想脚与没有P300电位的混合任务时则输出加速的指令，如果分类结果是判别为休闲状态与有P300电位的混合任务则输出减速指令。

所述头皮脑电信号采集Pz, CPz, O1及O2四个电极记录的数据。

所述运动想象任务包括：左手运动想象及不注视任何键对应于左转、右手运动想象及不注视任何键对应于右转、脚的运动想象及不注视任何键对应于加速、不进行任何肢体的运动想象只注视着右侧边的停止键对应于减速。

所述滤波所用频段为8～32 Hz。

与现有技术相比，本发明具有如下的优点和有益效果：

（1）本发明采用多模态脑机接口控制策略，可以有效的提高脑机接口的传输速率，相对于单一模态范式的脑机接口控制范式具有明显的优势。

（2）传统的自动车或轮椅的控制往往只能控制其方向，但对于其运行速度却无能为力，本发明所提供的多模态控制范式提供了四个有效的指令，可以有效的解决对自动车的速度及方向的控制。

（3）由于采用有效的算法及人机在线相互调整的机制，系统可以实现快速的控制指令输出，可以达到120毫秒每个指令，这对于实时控制是非常重要的。

（4）本发明采用脑电记录方法，是一种无创无损的方法。

附图说明

图1是本发明工作界面图；

图2是本发明方法中的流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，为本发明的工作界面图，在其四周含有8个P300闪烁键，其中上面三个键“up”键指示向上运动，下面三个键“down” 键指示向下运动，左右各一个的“stop”键为功能选择键，其中本发明只关心右侧那个闪烁键是否含有P300电位，而不关心别的键是否含有P300电位，这样的好处就是可以减少P300电位的检测时间。

在具体实施的过程中，涉及到四种不同的混合意识任务：左手运动想象及不注视任何闪烁键、右手运动想象及不注视任何闪烁键、脚的运动想象及不注视任何闪烁键、不进行任何肢体的运动想象只注视着右侧的闪烁键，这四种意识任务分别对应于自动车的左转、右转、加速及减速运动，因此控制自动车的过程也就是通过计算机检测使用者处于何种意识任务中。

本发明的具体实施包括以下主要步骤：

（1）脑电信号的记录

使用者在头上戴上标准的电极帽，给电极帽上的每个电极打上导电胶，再与放大装置相连，就得到脑电图。在控制界面里会同时产生刺激，将刺激同步的发送到脑电采集系统。为了避免眼电的干扰，在数据分析时没有使用前额叶上的电极所记录的脑电信号。同时，在串连运动想象与P300特征时，由于运动想象的特征的维数相对比较少，为了避免在分析的过程中产生过拟合，在提取P300特征的时候只采用Pz,CPz, O1及O2四个电极记录的数据。将记录到的数据首先要进行预处理，包括去除基线漂移，50Hz的工频干扰。

（2）运动想象特征的提取

在提取运动想象特征之前，首先对获得的脑电信号采用包括带通滤波、共同平均参考在内的信号增强方法，然后提取共空域模式作为运动想象特征。对运动想象信号进行特征提取具体是指共同空域模式，共同空域模式具体包括以下步骤：

A、分别计算两类平均的协方差矩阵：

R_{a} = \frac{1}{n_{1}} Σ_{i = 1}^{n_{1}} R_{a} (i), R_{b} = \frac{1}{n_{2}} Σ_{i = 1}^{n_{2}} R_{b} (i)

其中R_a(i)和R_b(i)表示分别对应于a类和b类，第i次实验的协方差矩阵；

B、联合协方差矩阵R=R_a+R_b，对其进行奇异值分解：

R = U_{0} Λ_{C} U_{0}^{T}

C、联合协方差矩阵R的白化变换矩阵为：

P = Λ_{C}^{- 1 / 2} U_{0}^{T}

D、分别对R_a和R_b进行白化变换，得到：

S_a=PR_aP^T S_b=PR_bP^T

E、对S_a和S_b进行联合特征值分解，得到它们共同的特征向量U，投影矩阵W=U^TP，于是对于每次实验的EEG数据矩阵X(i)投影后得到：

Z(i)=WX(i)

对每个投影后的矩阵Z(i)取其方差作为特征。

（3）P300波形特征的提取

对所获得的那四导P300信号，首先进行0.1Hz～10Hz的带通滤波，然后进行下采样，最后将这四导联的下采样信号进行串连形成P300波形特征。

（4）分层处理并发送自动车运行指令

本发明采用的是分层处理的方式：首先将这四种任务分成两组，每组是三分类，一组为左手、右手与脚，另一组为左手、右手与休闲状态。对运动想象相关特征采用贝叶斯线性分类器进行判别，规则为：如果两组都判为左手则输出左转指令，如果两组都判为右手则输出右转指令，其它结果则进入第两层处理。在第二层的处理过程中，将P300的波形特征与运动想象特征串连作为混合特征并应用贝叶斯线性分类器进行分类。在此层分析中，只有两种混合任务。如果是判别为想脚与没有P300电位的混合任务时则输出加速的指令，否则判别为休闲状态与有P300电位的混合任务并输出减速指令。

（5）人机互相调整

一方面在自动车运行的过程中，其实自动车的运行也可以作为一种实时的反馈过程。因此使用者可以根据此反馈对自已的脑电信号进行调整。第二方面，系统也可以根据使用者的状态进行系统参数的设置及调整。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种多模态脑机接口的自动车控制方法，其特征在于，使用者根据显示装置中的工作界面指令产生不同的运动想象任务的头皮脑电信号，电极帽采集头皮脑电信号，该信号经带通滤波后，根据头皮脑电信号中包含的P300信息和运动想象ERD/ERS信息特征不同，采取两种不同的处理方式包括方向分析和速度分析，所述方向分析为提取共空域模式，将运动想象任务分成两组，一组为左手、右手与脚，另一组为左手、右手与休闲状态，对这两组数据分别用贝叶斯分类器进行分类，分析其中包含何种运动想象任务，如果两组分类结果都判为左手则输出左转指令，如果两组分类结果都判为右手则输出右转指令，其它结果则进入速度分析，在该速度分析过程中，将P300特征与上述运动想象特征串连作为混合特征进行分类，分析其中包含何种运动想象任务，如果分类结果是判别为想脚与没有P300电位的混合任务时则输出加速的指令，如果分类结果是判别为休闲状态与有P300电位的混合任务则输出减速指令；所述头皮脑电信号采集Pz, CPz, O1及O2四个电极记录的数据。

2.根据权利要求1所述的方法，其特征在于，所述运动想象任务包括：左手运动想象及不注视任何键对应于左转、右手运动想象及不注视任何键对应于右转、脚的运动想象及不注视任何键对应于加速、不进行任何肢体的运动想象只注视着右侧边的停止键对应于减速。

3.根据权利要求2所述的方法，其特征在于，所述滤波所用频段为8～32Hz。