CN102866775A

CN102866775A - 基于多模式融合的脑机接口控制系统及方法

Info

Publication number: CN102866775A
Application number: CN2012103245849A
Authority: CN
Inventors: 蒋昌俊; 李洁; 孙杳如; 季洪飞; 何良华; 曹磊; 徐卓; 沈剑铭; 王大明
Original assignee: Tongji University
Current assignee: Tongji University
Priority date: 2012-09-04
Filing date: 2012-09-04
Publication date: 2013-01-09

Abstract

本发明提供一种基于多模式融合的脑机接口控制系统及方法，该系统包括用以诱发SSVEP稳态视觉和诱导MI运动想象的脑电刺激与反馈模块；用以采集EEG脑电信号的脑电信号采集模块；用以提取并识别分类EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征的脑电信号处理模块；脑电信号处理模块还将SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果反馈回脑电刺激与反馈模块；用以执行分类结果的执行模块。本发明构建了多模式融合的脑机接口，提高了控制系统的信息传输率、可靠性和灵活性，减少了单运动想象模式脑机接口下的低信息传输率，同时也减少了单SSVEP任务下的视觉负担，提高了基于脑机接口的控制系统的适应人群。

Description

基于多模式融合的脑机接口控制系统及方法

技术领域

本发明属于人工智能领域，涉及一种基于多模式融合的脑机接口控制系统及方法。

背景技术

脑机接口（Brain Computer Interface，BCI）是一种新型人机交互方式，它通过高级机器学习与模式识别算法对不同思维活动下的大脑的神经活动信号进行识别，并翻译成控制命令来直接控制外部设备，从而建立人脑与外部设备之间的直接通讯。脑机接口的研究正成为人工智能、康复工程的一个热点，受到越来越广泛的关注。

现有的BCI系统都是基于单一模式的脑电信号，主要可归纳为3类：第一类，基于运动想象的事件相关去同步与同步（Event Related Desynchronization/Synchronization，ERD/ERS）的BCI系统；第二类，基于稳态诱发电位（Steady State Evoked Potential，SSEP）的BCI系统；第三类，基于诱发电位P300的BCI系统。事件相关电位P300最早由Sutton等人发现，可在Oddball试验模式下出现。P300是一个主要与心理因素相关的内源性成分，在小概率事件后的250-450ms之间产生。P300脑机接口的优点是使用者需要的训练很少，因此应用非常广泛，如鼠标控制，机器人控制等。但是因为诱发脑电P300的强度和自发脑电比较起来相当微弱，为保证系统的可靠性，通常需要重复实验的方法来实现对P300的准确检测，因此P300产生的神经生理学机理和特性限制了其系统信息传输率的进一步提高。

大脑的功能之一是参与运动的计划和运动的控制，想象肢体的运动会引起大脑运动皮层相关节律的事件相关去同步化/同步化（ERD/ERS）现象，即特定频段信号幅度降低、频带能量减少/特定频段信号幅度升高、频带能量增加。不同的肢体运动想象所引起的ERD的空间分布特性符合大脑运动皮层的躯体对应分布，并建立了基于运动想象的实时EEG识别系统。由于运动想象的产生不需要依赖外界刺激装臵，被试者只要按照提示进行一定时间的运动想象即可实现基于事件的BCI系统，故是一种完全独立的BCI系统，因此，基于运动想象ERD/ERS的BCI一直是研究的焦点。但是，由于EEG信号的空间分辨率低，四种不同身体部位的ERD/ERS的空间分布有重叠，要通过加入更多不同身体部位运动想象来扩展BCI系统的命令种类，提高信息传输率是非常困难的。尽管近年来，已有研究人员尝试通过对同一肢体执行不同类型运动的想象的方法，如不同的运动速度、运动方向等，来增加BCI系统中的任务种类，但是一直还未取得理想的分类结果，这使得此类BCI系统的信息传输率受到制约。

基于视觉的稳态视觉诱发电位SSVEP由外界固定频率闪烁的视觉刺激诱发产生，其强度与受试者对视觉刺激空间位臵的注视和注意有关。利用SSVEP携带的频率信息来判断使用者注视的方向，从而确定出受试者注视的目标——是基于SSVEP的BCI中最常用的方案。由于上述方案一般无需训练便可达到较高的数据传输率，因而被应用在脑控电话拨号、假肢控制等方面。但是SSVEP的产生需要稳定频率的闪烁刺激，容易引起视觉疲劳，不适合长时间使用。

目前，将单一模式的脑机接口系统用于轮椅控制上面临很多挑战，主要有：

1）信息传输率（带宽）低、自动化程度低。理论上，对运动功能严重失常的病人，BCI系统应该由他完全控制，然而事实上现有的BCI系统都需要照顾者的参与，如系统的安装、启动、初始化、关闭等。即使可以由病人自己关闭，但重新启动存在困难。

2）环境适应性差，控制本身对于用户注意力、环境安全因素要求多。总体来说，最大的问题是可靠性差，信息传输率还远不能满足实际的复杂通讯的要求。

此外，研究发现，对于各种模式的脑机接口系统，都存在有15％—30%左右的使用者由于不能有效的产生相应模式的脑电特征，从而不能够有效控制。为了提高BCI的实用性，必须考虑用户的接受程度与训练方法，减少电极的数量，缩短训练时间，进一步提高系统的可靠性，减少分类误差，提高BCI的信息传输率。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于多模式融合的脑机接口控制系统及方法，用于提高BCI的实用性。

为实现上述目的及其他相关目的，本发明提供一种基于多模式融合的脑机接口控制系统及方法。

一种基于多模式融合的脑机接口控制系统，包括：用以诱发SSVEP稳态视觉和诱导MI运动想象的脑电刺激与反馈模块；用以采集EEG脑电信号的脑电信号采集模块；与所述脑电信号采集模块相连，用以提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征的脑电信号处理模块；所述脑电信号处理模块还与所述脑电刺激与反馈模块相连，用以将所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果反馈回所述脑电刺激与反馈模块；与所述脑电信号处理模块相连，用以执行所述分类结果的执行模块。

优选地，所述基于多模式融合的脑机接口控制系统还包括：与所述脑电信号处理模块相连，用以对所述脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块进行调整控制的输入控制模块；与所述脑电信号处理模块无线通信相连，用以对所述脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块进行分别调整控制的远程控制模块。

优选地，所述脑电刺激与反馈模块包括：用以诱发SSVEP稳态视觉的SSVEP刺激单元和用以诱导MI运动想象的听觉反馈单元。

优选地，所述SSVEP刺激单元包括发光器和用以控制所述发光器的发光频率的控制器；所述控制器与所述发光器相连。

优选地，所述脑电信号采集模块包括：用以戴在头部的脑电帽；设置在脑电帽上且用以采集EEG脑电信号的电极；与所述电极相连，用以放大EEG脑电信号的放大器。

优选地，所述脑电信号处理模块包括：与所述放大器相连，用以在预设的单位时间内截取放大后的EEG脑电信号得到脑电数据的数据获取单元；与所述数据获取单元相连，用以对所述脑电数据进行滤波的预处理单元；与所述预处理单元相连，用以对滤波后的脑电数据进行CCA处理获得SSVEP稳态视觉诱发电位特征的CCA单元；与所述预处理单元相连，用以对滤波后的脑电数据进行CSP处理获得MI运动想象脑电特征的CSP单元；分别与所述CCA单元和CSP单元相连，用以获得SSVEP分类识别结果以及MI运动想象的分类识别结果的SVM分类器。

一种基于多模式融合的脑机接口控制方法，包括以下步骤：

S1，脑电刺激与反馈模块刺激诱发人脑的SSVEP稳态视觉和MI运动想象；

S2，脑电信号采集模块采集人脑的EEG脑电信号；

S3，脑电信号处理模块提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征；

S4，执行模块执行所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果。

优选地，所述控制方法还包括一训练步骤S0，所述训练步骤S0在步骤S1前执行，所述训练步骤S0包括：

S01，脑电刺激与反馈模块中的听觉反馈单元发出声音刺激诱导受试者进行MI运动想象；同时，脑电刺激与反馈模块中的SSVEP刺激单元发出视觉刺激诱发受试者的SSVEP稳态视觉；

S02，脑电信号采集模块采集人脑的EEG脑电信号；

S03，脑电信号处理模块提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征；

S04，所述脑电刺激与反馈模块判断所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果是否达到所述声音刺激和视觉刺激预期的要求，若没达到，则重新调整所述听觉反馈单元发出的声音刺激和所述SSVEP刺激单元发出的视觉刺激，返回步骤S01；否则执行步骤S1。

优选地，所述步骤S2的具体实现过程为：

将脑电帽戴在头部；

设置在脑电帽上的电极采集EEG脑电信号；

放大器将所述EEG脑电信号放大输出。

优选地，所述步骤S3的具体实现过程为：

脑电信号处理模块中的数据获取单元采用预设时间的滑动窗口对放大后的EEG脑电信号进行异步截取，得到单位时间内的脑电数据；

脑电信号处理模块中的预处理单元对所述脑电数据进行滤波；

脑电信号处理模块中的CCA单元对滤波后的脑电数据进行CCA处理获得SSVEP稳态视觉诱发电位特征；

脑电信号处理模块中的CSP单元对滤波后的脑电数据进行CSP处理获得MI运动想象脑电特征；

脑电信号处理模块中的SVM分类器分别对所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征进行分类，获得SSVEP分类识别结果以及MI运动想象的分类识别结果。

优选地，所述SVM分类器将MI运动想象脑电特征分为左手、右手、脚的运动想象三类；所述SVM分类器将SSVEP稳态视觉诱发电位特征分为6Hz、7Hz、8Hz、9Hz、10Hz五类；且脑电处理模块根据各种单模式的空闲状态以并行方式融合，可获取十五类控制命令，即十五种分类结果。

如上所述，本发明所述的基于多模式融合的脑机接口控制系统及方法，具有以下有益效果：

本发明将多种脑电活动模式的脑机接口进行结合，构建多模式融合的脑机接口，将运动想象引起的ERS模式和SSVEP模式融合在一起，提高了控制系统的信息传输率和可靠性，以及灵活性，有效减少了单模式脑机接口下的低信息传输率，同时也有效的减少了单SSVEP任务下的视觉负担，同时提高了基于脑机接口的控制系统的适应人群。

附图说明

图1显示为本发明所述的基于多模式融合的脑机接口控制系统的结构示意图。

图2显示为本发明所述的SSVEP刺激单元的一种电路原理图。

图3显示为本发明所述的放大器的界面设置示意图。

图4显示为本发明所述的基于多模式融合的脑机接口控制方法的流程示意图。

图5显示为本发明所述的运动想象训练中放大器的界面设置示意图。

图6显示为本发明所述的无反馈训练界面示意图。

图7显示为本发明所述的有反馈训练界面示意图。

图8显示为本发明所述的SSVEP训练导联和滤波设置界面示意图。

图9显示为本发明所述的多模式任务的配置界面示意图。

图10显示为本发明实施例三所述的轮椅的操作控制流程示意图。

图11显示为本发明所述的轮椅控制参数界面设置示意图。

图12显示为本发明所述的滑动时间窗口的数据获取示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合实施例和附图对本发明进行详细说明。

实施例一

本实施例提供一种基于多模式融合的脑机接口控制系统，如图1所示，包括：脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块、执行模块、输入控制模块、远程控制模块；脑电信号处理模块分别与所述脑电信号采集模块和脑电刺激与反馈模块相连，执行模块与所述脑电信号处理模块相连，输入控制模块与所述脑电信号处理模块相连，远程控制模块与所述脑电信号处理模块无线通信相连。

其中，所述脑电刺激与反馈模块用以诱发SSVEP稳态视觉和诱导MI运动想象；所述脑电信号采集模块用以采集EEG脑电信号；所述脑电信号处理模块用以提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征；所述脑电信号处理模块还与所述脑电刺激与反馈模块相连，用以将所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果反馈回所述脑电刺激与反馈模块；所述执行模块用以执行所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果；所述输入控制模块用以对所述脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块进行调整控制；所述远程控制模块用以对所述脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块进行分别调整控制。

【脑电刺激与反馈模块】

所述脑电刺激与反馈模块包括SSVEP刺激单元和视觉听觉反馈单元。所述SSVEP刺激单元用以诱发SSVEP稳态视觉；所述听觉反馈单元用以诱导MI运动想象。所述SSVEP刺激单元包括发光器和控制器；所述控制器用以控制所述发光器。所述控制器与所述发光器相连。

SSVEP刺激单元中可采用LED发光器件作为视觉诱发的刺激。该单元还可采用ST89C52单片机作为控制器来控制LED发光器件的频率；LED发光器件可选用直径约为1.5cm的圆形发光体，此规格能较好地保证视觉诱发的效果，不会给人眼带来过大的刺激，并且保证了设备小巧便捷的性能。具体的单元设计电路图如图2所示。本发明所述的SSVEP刺激单元结构简单，轻便灵活，适于安装于任何装置上。

【脑电信号采集模块】

所述脑电信号采集模块包括脑电帽、电极、放大器；所述电极设置在脑电帽上，放大器与所述电极相连；所述脑电帽用以戴在头部；所述电极用以采集EEG脑电信号；所述放大器用以放大EEG脑电信号的放大器。

其中所述放大器可采用16导便携脑电信号放大器。该脑电信号采集模块可实时采集EEG脑电信号，并通过设置界面对放大器滤波和放大信号设置，如图3所示，最终将信号传输到脑电信号处理模块（PC机）上。

【脑电信号处理模块】

所述脑电信号处理模块包括数据获取单元、预处理单元、CCA单元、CSP单元、SVM分类器；数据获取单元与所述放大器相连，用以在预设的单位时间内截取放大后的EEG脑电信号得到脑电数据；预处理单元与所述数据获取单元相连，用以对所述脑电数据进行滤波；CCA单元与所述预处理单元相连，用以对滤波后的脑电数据进行CCA处理获得SSVEP稳态视觉诱发电位特征；CSP单元与所述预处理单元相连，用以对滤波后的脑电数据进行CSP处理获得MI运动想象脑电特征；SVM分类器分别与所述CCA单元和CSP单元相连，用以获得SSVEP分类识别结果以及MI运动想象的分类识别结果的。

下面以实际情况为例简述脑电信号处理模块的工作过程，该过程包括以下步骤：

1）数据获取单元以用户自己设定的单位时间截取脑电数据。

2）预处理单元将采集后的脑电数据进行滤波预处理。由于运动想象和SSVEP两种脑电模式主要体现在5Hz到30Hz的节律能量上，故首先进行5-30Hz的带通滤波。

3）SSVEP稳态视觉诱发电位特征提取与识别：当用户凝视SSVEP刺激模板上某一频率的LED灯闪烁时，利用频率检测的方法能够从这几个导联的数据中判断出用户关注的是哪一个频率。而频率检测的核心方法是典型相关分析（Canonical Correlation Analysis，CCA）。CCA单元（即CCA算法单元）为两组时间序列寻找投影权向量，使得序列相关系数ρ达到最大值。通过CCA单元寻找到最为匹配的固定频率函数，得到SSVEP的分类识别结果。所述SVM分类器可以将SSVEP稳态视觉诱发电位特征分为6Hz、7Hz、8Hz、9Hz、10Hz五类；并可判断出各种单模式的空闲状态。

4）MI运动想象脑电特征提取与识别：首先，利用左右手运动想象数据的空间域特征性，选取CSP（Common Spatial Pattern）单元（即CSP算法单元）提取单位时间脑电数据的空间特征，再将其放入SVM（Support Vector Machine）分类器进行分类识别，最终获得运动想象的分类识别结果。所述SVM分类器可以将MI运动想象脑电特征分为左手、右手、脚的运动想象三类。因此，最多可以获取十五类控制命令，从而高了控制系统的信息传输率、可靠性和灵活性。

本发明将多种脑电活动模式的脑机接口进行结合，构建多模式融合的脑机接口“HybridBCI”的思想，将运动想象引起的ERS模式和SSVEP模式融合在一起，建立多模式融合的脑机接口控制系统。该系统可以以并行方式融合两种模式的脑机接口，具有兼低假正率和高任务识别率的特点。该系统在同一时刻进行两种模式的思维任务检测，也可以同时进行两种模式脑电信号的特征提取；该系统的并行融合方式也可以提供更多的控制模式，提高控制系统的信息传输率和可靠性，以及灵活性，有效减少了单模式脑机接口下的低信息传输率，同时也有效的减少了单SSVEP任务下的视觉负担。并且，由于灵活以及融合的控制策略的建立，提高了基于脑机接口的控制系统的适应人群。

实施例二

本实施例提供一种基于多模式融合的脑机接口控制方法，如图4所示，包括训练步骤S0和控制步骤S1至S4，所述训练步骤S0在步骤S1前执行；

所述训练步骤S0包括：

S02，脑电信号采集模块采集人脑的EEG脑电信号；

所述控制步骤包括：

S1，脑电刺激与反馈模块发出刺激诱发人脑的SSVEP稳态视觉和诱导MI运动想象。

S2，脑电信号采集模块采集人脑的EEG脑电信号。

所述步骤S2的具体实现过程为：将脑电帽戴在头部；设置在脑电帽上的电极采集EEG脑电信号；放大器将所述EEG脑电信号放大输出。

S3，脑电信号处理模块提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征。

所述步骤S3的具体实现过程为：脑电信号处理模块中的数据获取单元采用预设时间的滑动窗口对放大后的EEG脑电信号进行异步截取，得到单位时间内的脑电数据；脑电信号处理模块中的预处理单元对所述脑电数据进行滤波；脑电信号处理模块中的CCA单元对滤波后的脑电数据进行CCA处理获得SSVEP稳态视觉诱发电位特征；脑电信号处理模块中的CSP单元对滤波后的脑电数据进行CSP处理获得MI运动想象脑电特征；脑电信号处理模块中的SVM分类器分别对所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征进行分类，获得SSVEP分类识别结果以及MI运动想象的分类识别结果。

所述SVM分类器将MI运动想象脑电特征分为左转、右转、前进三类；所述SVM分类器将SSVEP稳态视觉诱发电位特征分为增速、减速、保持不变、运动/停止四类。

本实施例所述的基于多模式融合的脑机接口控制方法可以由实施例一所述的系统实现，但不限于实施例一所述的一种实现系统。

实施例三

本实施例将所述基于多模式融合的脑机接口控制系统及方法应用到轮椅中（即所述执行模块为轮椅），实现了一种人工智能轮椅，该人工智能轮椅的开发环境可以采用PC机Windows操作系统下的matlab2009版本及以上软件环境，需要串口通信硬件设备支持。该人工智能轮椅主要由用户训练和轮椅实时控制两部分组成。用户需要经过视觉和听觉协同感知的虚拟现实交互训练，在脑电模式的分类准确率得到保证及相关参数设置确认后，即可进行轮椅的实际控制操作。

【用户训练测试】

1、MI运动想象训练：运动想象分类识别是根据想象肢体运动时对应的皮层脑电信号在空间域的特征进行不同类别的区分。在使用运动想象脑电模式前，需要对用户进行适应性训练，以获得最适合于用户的分类器模型。所述分类器模型的具体获得过程为：

1）首先，利用先验知识将电极安置在运动区皮层的FC3、FC4、C5、C3、C1、Cz、C2、C4、C6、CP3、CP4位置，如图5所示。在放大器设置界面选取对应导联，并根据运动想象所需节律范围将放大器滤波设置为5Hz到30Hz。

2）受试者进行无反馈左右手运动想象训练，测试界面如图6所示。用户根据箭头指示方向（左/右），分别进行左上肢和右上肢想象运动，直至完成一组训练。每组左右手想象个数相同，可进行多组训练，由用户自行设置。

3）将无反馈训练采集数据放入SVM分类器训练，获得对应的SVM分类模型。

4）用户利用得到的SVM模型进行有反馈左右手运动想象训练。一组训练的参数设置同无反馈时相同，在想象运动时，屏幕上会出现如图7所示的滑动条，以指示各运动想象类别的实时强弱分布，利于用户自我调节。同时，有反馈数据可与无反馈数据均可进行挑选反复进行SVM分类模型训练，最终达到要求的分类精度即可，保存好此模型。

2、SSVEP训练：SSVEP训练主要是针对频率和导联的优化选取。其目的是从6个频率中选择出N（N≤6）个最易提取特征的刺激频率，这里可以将频率设为[789101112]Hz。从视觉皮层区的13个导联中选择出Q（Q≤13）个最易提取特征的电极位置，这里可以根据SSVEP对应视觉皮层选取P3、P1、Pz、P2、P4、PO5、PO3、POz、PO4、PO6、O1、Oz、O2区。根据所需频率，将放大器滤波设置为5-30Hz。图8展示了导联和滤波设置。

训练时用户依次凝视频率刺激各半分钟，设备布局应与正式的实验情况相一致，即各LED灯同时闪动，但彼此间需要有一定间隔，用户一段时间内只看一个频率的刺激。记录下所有13个导联的数据。接下来的解析过程，分别计算代表各频率的数据集内，各导联的脑电数据与该频率模拟正余弦信号（Y）的Canonical Correlation Coefficient ρ，选出ρ最大的N个频率。系数越大的频率在后面的试验中越有可能被成功检测到。将这N列系数分离出来，横向求各导联对应的平均系数，选出ρ最大的Q个导联，即为这些最佳频率的优势导联。一般N取3~5个最为合适。少于3个通道的信号线性组合在一起不能达到空域滤波的效果，而大于5个通道不能进一步提高有效信息量，甚至会引入更多噪声。实践证明，频率和导联的选择先后对筛选结果的影响极小，都能获得令人满意的控制效果。

3、视听觉诱导与反馈的多模式融合训练：

首先建立视听觉协同感知的虚拟现实交互训练环境，这样可以对脑电数据在各个模态上的特征进行多角度可视化，揭示和理解特定思维任务时的EEG信号模式动态变化特征；同时根据系统的反馈，可以从多个角度感知各个模式任务执行情况，形成神经反馈闭环训练。在神经反馈闭环训练的过程中，可以学习协调实施多模式相关的思维任务，从而提高使用者的控制能力。

多模式任务的配置界面如图9所示，其中，SSVEP视觉刺激可以由显示器中央的数字给出，数字分别对应于刺激模块上的数字；运动想象提示诱导可以由声音给出，提示“左”表示想象左手运动，提示“右”表示想象右手运动，并通过训练结果对实验范式的刺激和反馈的形式进行调整，以确保使用者可以有效的协调注意力，实施多模式相关的思维任务。

令使用者进行2-3次融合实验，每次受试将完成4类SSVEP测试、2类运动想象测试以及2类任务同时诱发测试共8类脑电刺激测试任务，每类测试任务进行2轮，各类任务先后顺序随机排列。上述的交互训练测试可以有效提高使用者对轮椅的控制能力，这种方式提高了基于脑机接口的控制系统的适应人群，满足实际需求，同时也提高了本发明所述控制系统的实用性。

【轮椅控制操作】

在受试者经过训练达到要求之后，即可进行轮椅的控制操作，控制操作的主要流程如图10所示，包括：脑电信号处理模块中的数据获取单元（即图10中的EEG Signal模块）采用预设时间的滑动窗口对放大后的EEG脑电信号进行异步截取，得到单位时间内的脑电数据；脑电信号处理模块中的预处理单元（即图10中的Filter模块）对所述脑电数据进行滤波；脑电信号处理模块中的CCA单元（即图10中的CCA模块）对滤波后的脑电数据进行CCA处理获得SSVEP稳态视觉诱发电位特征；脑电信号处理模块中的CSP单元（即图10中的CSP模块）对滤波后的脑电数据进行CSP处理获得MI运动想象脑电特征；脑电信号处理模块中的SVM分类器（即图10中的SVM模块）分别对所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征进行分类，获得SSVEP分类识别结果以及MI运动想象的分类识别结果（即图10中的Classification模块）。

受试者的导联位置由运动想象训练和SSVEP训练分别给出。轮椅控制设置界面如图11所示，包括远程控制连接设置、运动想象类别选择及分类算法设置、SSVEP类别选择及分类识别算法设置、单位采集时间及滑动窗口时间等模块。

首先，采用可自定义时间的滑动窗口异步截取单位时间脑电数据，保证轮椅控制的连贯性，如图12所示。数据获得后分别进行SSVEP和运动想象脑电分类识别。运动想象工作态类别可用于控制轮椅左转、右转；同时利用工作态分类概率是否达到阈值来划分工作态与静息态，则利用静息态异步表征前进；这样，运动想象最多可得到左转、右转、前进三类控制命令。SSVEP工作态则用于表征速度增大（转速或前行速）、速度减小及程序的开关闭合共三类指令；同理，SSVEP的静息态可用于异步表征保持原速率不变；这样，SSVEP最多可得到速度增大、减小、保持不变和控制程序是否打开四类控制命令。实际使用时，利用运动想象某一类别与SSVEP某一类别组合作为程序开关，使其具有更高的稳定性与可靠性。

所述轮椅为电动站立轮椅，双轮驱动。轮椅的PC机远程控制模块由上海英集斯自动化技术有限公司改装完成，采用串口无线蓝牙技术进行通信，波特率9600，数据位8，停止位1，无校验和。控制指令采用二进制代码发送，一次可发送一条轮椅控制指令。

轮椅控制操作的过程可总结如下：

首先设置轮椅的远程通信部分，待连通后再设置脑电模式控制策略设置，详细参数设置可参见表1至6。设置完成后，点Start按钮，用户即可使用运动想象和SSVEP脑电模式来控制轮椅。运动想象为自发脑电，只需要用户根据实际需要自我想象运动即可；SSVEP需要用户根据实际凝视如图12所示的刺激面板，各LED等代表不同的频率，每一种频率表示轮椅控制的一个类别，在先前设置面板已经匹配。

表1：轮椅无线通信设置

表2：控制模式及相关按键

面板	选项	用途	备注
				Operation Mode	Stand Alone	选择手动控制方式	面板按钮控制轮椅
Operation Mode	Subsystem	选择脑电模式控制
				Control Panel	Left	控制轮椅左转1s时间
Control Panel	Right	控制轮椅右转1s时间
				Control Panel	Up	控制轮椅前进1s时间
Control Panel	Down	控制轮椅后退1s时间

表3：脑电轮椅控制时轮椅实时状态显示

面板	状态	用途	备注
				Direction&Speed	左侧方块亮起	显示轮椅实时向左运动
Direction&Speed	右侧方块亮起	显示轮椅实时向右运动
				Direction&Speed	左右侧方块都亮起	显示轮椅实时直线运动
Direction&Speed	上侧方块亮起	显示轮椅实时转速/速度增大
				Direction&Speed	右侧方块亮起	显示轮椅实时转速/速度减小

表4：运动想象脑电模式控制设置

表5：SSVEP脑电模式控制设置

表6：设置轮椅各方向最小速度、最大速度及加速度值

面板	选项	用途	备注
				Velocity Assignment	Left-low	设定左转最小速度
Velocity Assignment	Left-up	设定左转最大速度
				Velocity Assignment	Left-acc	设定左转加速度值
Velocity Assignment	Right-low	设定右转最小速度
				Velocity Assignment	Right-up	设定右转最大速度
Velocity Assignment	Right-acc	设定右转加速度值
				Velocity Assignment	Forward-low	设定前行最小速度
Velocity Assignment	Forward-up	设定前行最大速度
				Velocity Assignment	Forward-acc	设定前行加速度值

使用运动想象某一类别与SSVEP某一类别作为开关，当开关打开后，即可按照用户需求自由控制轮椅。由于轮椅设定了加速度及最小和最大速度限制，既可保证用户能够灵活的选择路线和速度，又能保证操控的安全性和准确性。

本发明通过对两种特征的有效融合实现了轮椅运动方向和速度的控制，实现了轮椅的多维控制灵活的多自由度输出，能在控制轮椅运动的过程中有效地避开障碍物，在紧急情况下快速停止，而且能够快速到达目标位置等，并提供双倍可靠性，自主性高，系统可以让使用者自己完全掌握。

本发明建立了多模式融合的脑机交互方式，构建了有效的多模式任务的控制策略，集成了多种预处理，特征提取，模式分类方法，并包含用户和系统间双向交互适应训练模块，基于神经反馈的有效训练使得用户和系统双向快速适应。系统还可以对数据各个模态上的特征进行多角度可视化，揭示和理解特定思维任务时的EEG信号模式动态变化特征。此外，本发明还提供指令翻译接口，可以在受试者思维任务和系统控制间灵活的建立对应关系，从而可以根据个体情况进行参数和选项配置。

本发明所述的基于多模式融合的脑机接口控制系统的目标是希望为那些丧失运动能力的残疾人服务，现有的BCI系统大部分由于实用性差，都还处于实验室研究阶段。为提高系统的可用性，在确保系统稳定可靠的前提下，采用导联选择和机器学习算法，使得在多任务模式下个体导联数减少到15导，并可根据使用情况进一步减少，保证系统的使用不影响使用者的其它日常活动。此外，本发明采用多模式异步控制技术，有效区别使用者的有控制和无控制意识状态，保证轮椅的使用过程中使用者可以从事其他思维活动。用户可根据自己的意愿来自由决定什么时候开始想象任务，什么时候结束想象任务，属于一种完全的独立BCI系统，从而实现最接近自然控制的一种控制方式。

综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种基于多模式融合的脑机接口控制系统，其特征在于，所述基于多模式融合的脑机接口控制系统包括：

用以诱发SSVEP稳态视觉和诱导MI运动想象的脑电刺激与反馈模块；

用以采集EEG脑电信号的脑电信号采集模块；

与所述脑电信号采集模块相连，用以提取并识别分类所述EEG脑电信号中的SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征的脑电信号处理模块；

所述脑电信号处理模块还与所述脑电刺激与反馈模块相连，用以将所述SSVEP稳态视觉诱发电位特征和MI运动想象脑电特征分别对应的分类结果反馈回所述脑电刺激与反馈模块；

与所述脑电信号处理模块相连，用以执行所述分类结果的执行模块。

2.根据权利要求1所述的基于多模式融合的脑机接口控制系统，其特征在于，所述基于多模式融合的脑机接口控制系统还包括：

与所述脑电信号处理模块相连，用以对所述脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块进行调整控制的输入控制模块；

与所述脑电信号处理模块无线通信相连，用以对所述脑电刺激与反馈模块、脑电信号采集模块、脑电信号处理模块进行分别调整控制的远程控制模块。

3.根据权利要求1所述的基于多模式融合的脑机接口控制系统，其特征在于，所述脑电刺激与反馈模块包括：

用以诱发SSVEP稳态视觉的SSVEP刺激单元；

用以诱导MI运动想象的听觉反馈单元。

4.根据权利要求3所述的基于多模式融合的脑机接口控制系统，其特征在于：所述SSVEP刺激单元包括发光器和用以控制所述发光器的发光频率的控制器；所述控制器与所述发光器相连。

5.根据权利要求1所述的基于多模式融合的脑机接口控制系统，其特征在于：所述脑电信号采集模块包括：

用以戴在头部的脑电帽；

设置在脑电帽上且用以采集EEG脑电信号的电极；

与所述电极相连，用以放大EEG脑电信号的放大器。

6.根据权利要求5所述的基于多模式融合的脑机接口控制系统，其特征在于：所述脑电信号处理模块包括：

与所述放大器相连，用以在预设的单位时间内截取放大后的EEG脑电信号得到脑电数据的数据获取单元；

与所述数据获取单元相连，用以对所述脑电数据进行滤波的预处理单元；

与所述预处理单元相连，用以对滤波后的脑电数据进行CCA处理获得SSVEP稳态视觉诱发电位特征的CCA单元；

与所述预处理单元相连，用以对滤波后的脑电数据进行CSP处理获得MI运动想象脑电特征的CSP单元；

分别与所述CCA单元和CSP单元相连，用以获得SSVEP分类识别结果以及MI运动想象的分类识别结果的SVM分类器。

7.一种基于多模式融合的脑机接口控制方法，其特征在于，包括以下步骤：

S1，脑电刺激与反馈模块刺激诱发人脑的SSVEP稳态视觉和诱导MI运动想象；

S2，脑电信号采集模块采集人脑的EEG脑电信号；

8.根据权利要求7所述的基于多模式融合的脑机接口控制方法，其特征在于：所述控制方法还包括一训练步骤S0，所述训练步骤S0在步骤S1前执行，所述训练步骤S0包括：

S02，脑电信号采集模块采集人脑的EEG脑电信号；

9.根据权利要求7所述的基于多模式融合的脑机接口控制方法，其特征在于，所述步骤S2的具体实现过程为：

将脑电帽戴在头部；

设置在脑电帽上的电极采集EEG脑电信号；

放大器将所述EEG脑电信号放大输出。

10.根据权利要求9所述的基于多模式融合的脑机接口控制方法，其特征在于：所述步骤S3的具体实现过程为：

11.根据权利要求10所述的基于多模式融合的脑机接口控制方法，其特征在于：所述SVM分类器将MI运动想象脑电特征分为左手、右手、脚的运动想象三类；所述SVM分类器将SSVEP稳态视觉诱发电位特征分为6Hz、7Hz、8Hz、9Hz、10Hz五类；且脑电处理模块根据各种单模式的空闲状态以并行方式融合，可获取十五类控制命令，即十五种分类结果。