CN105468143A - 一种基于运动想象脑-机接口的反馈系统 - Google Patents

Abstract

本发明公开了一种基于运动想象脑-机接口的反馈系统，反馈系统包括：反馈模块、脑电采集器、无线传输模块及终端设备；反馈模块，用于编写反馈界面；脑电采集器，用于采集与运动相关导联的脑电信号；脑电信号由头皮电极探测后经过脑电采集器放大、滤波后通过无线传输模块传输至所述终端设备；终端设备，用于对脑电信号进行数据处理提取运动想象特征信号，运动想象特征信号用于模式识别后形成视觉反馈，控制反馈界面，构成一个闭环控制系统。本发明与传统MI-BCI系统相比，更符合正常思维行动控制过程和接近实际交互应用，有望为新型MI-BCI提供关键技术保障。该项发明可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域。

Description

一种基于运动想象脑-机接口的反馈系统

技术领域

本发明涉及脑-机接口领域，尤其涉及一种基于运动想象脑-机接口的反馈系统。

背景技术

第一次脑-机接口国际会议给出的BCI(脑-机接口)的定义是：“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。为此，BCI技术也越来越受到重视。

在BCI的研究中，运动想象作为一种主动式人机交互范式，更加符合正常人大脑思维活动方式，在一定程度的训练后，使用者便可进行在线MI-BCI(Motorimagery-braincomputerinterface，运动想象脑-机接口)系统的交互控制。此外，系统控制信号源一般使用来自于使用者运动想象过程中头皮脑电的能量特征，可进行一段较长时间段的累加或优化来控制指令输出，有较强的可操作性。

基于上述优点可以看出，对于运动想象的深入研究及开发一种实用型便携式的MI-BCI系统有助于更加清楚地了解人类大脑，实现真正的人机交互，具有很强的理论与应用价值。

然而，目前大多数MI-BCI设计是一个开环系统，即只存在使用者运动想象到指令输出一条单向的控制通路，缺乏指令输出后的反馈通路，进而降低了系统的普适性及用户体验。

发明内容

本发明提供了一种基于运动想象脑-机接口的反馈系统，将MI-BCI系统指令输出及意念控制过程变得可视化，提高用户体验，详见下文描述：

一种基于运动想象脑-机接口的反馈系统，所述反馈系统包括：反馈模块、脑电采集器、无线传输模块及终端设备；

所述反馈模块，用于编写反馈界面；

所述脑电采集器，用于采集与运动相关导联的脑电信号；所述脑电信号由头皮电极探测后经过脑电采集器放大、滤波后通过所述无线传输模块传输至所述终端设备；

所述终端设备，用于对脑电信号进行数据处理提取运动想象特征信号，运动想象特征信号用于模式识别后形成视觉反馈，控制反馈界面，构成一个闭环控制系统。

其中，所述终端设备包括：初始反馈模块，

达到初始判定阈值，则输出目标指令反馈结果，否则不触发目标指令反馈；

经利用积累的数据建立共空间模式加支持向量机模型，作为初始模型，并获取决策值阈值；

使用者进入反馈训练阶段，不断更新初始模型，并根据决策值阈值提高初始模型的适用性。

其中，所述终端设备包括：在线反馈模块，

对每次采集的脑电数据进行脑电的特征提取与分类识别；

若检测到使用者运动想象特征对应的决策值大于决策值阈值，则输出目标指令反馈结果；反之，若未检测到使用者的想象动作，则不触发反馈。

其中，所述反馈界面为游戏反馈界面。

本发明提供的技术方案的有益效果是：

1、本发明设计了基于运动想象脑-机接口技术下的反馈控制系统，利用视觉反馈的形式，能够动态、在线地实现使用者运动想象过程的可视化，克服了传统MI-BCI系统单向控制缺陷，可更好引导使用者的运动想象方式，更接近实际应用，有望为新型MI-BCI系统设计提供关键技术保障，也为脑-机接口尽快步入大范围应用阶段奠定基础。

2、本发明与传统MI-BCI系统相比，更符合正常思维行动控制过程和接近实际交互应用，有望为新型MI-BCI提供关键技术保障。

3、该项发明可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

附图说明

图1(a)为系统设计框图；

图1(b)为脑电采集导联分布图；

图2为系统在线实验过程图；

图3为在线数据处理流程图；

图4为线性可分的分离超平面示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

基于背景技术中存在的缺点，设计一种同时面向MI-BCI系统调节和使用者自适应想象模式的反馈控制方式，在指令输出端口与使用者之间建立一条反馈通路，令运动想象过程变得可视化，更好地引导其进行意念控制，达到“身随意动，思行合一”的运动想象系统体验效果，对于MI-BCI系统的实用化研究具有重大的意义。

正常人在实际肢体动作或者想象动作，引起皮层运动中枢中大量神经元活动状态的改变，从而使得脑电信号中的某些频率成分同步减弱或者增强，该信号特征被称为事件相关去同步/同步(event-related(de)synchronization，ERD/ERS)。ERD/ERS是出现在感觉运动皮层特定频带的信号，主要集中在alpha节律(8～13Hz)和beta节律(14～30Hz)。通过使用者运动想象诱发的脑电信号，ERD/ERS能够直接反映使用者的主观运动意识，且想象动作符合大脑正常思维活动的状态，该类BCI不易让使用者感到疲劳。

实施例1

本发明实施例提供了一种基于运动想象脑-机接口的反馈系统，系统用于设计用户运动想象反馈的在线实验，搭建好实验所需的脑电信号采集装置，然后采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，参见图1(a)，该反馈系统包括：反馈模块1、脑电采集器2、无线传输模块3及终端设备4。

反馈模块1，用于编写反馈界面。

具体实现时，该反馈界面可以在Matlab平台下编写设计，可进行目标任务、想象次数、等参数的设置。本发明实施例对参数的设置不做限制，可以根据实际应用中的需要进行设定。

脑电采集器2，用于采集与运动相关导联的脑电信号。

即，使用者安静地坐于距屏幕约1m(具体的取值根据实际应用中的环境进行设定，本发明实施例对此不做限制)的靠椅上，注视反馈界面，进行运动想象(想象左手或右手抬起)。在此过程中使用者的脑电会产生相应的变化：脑电信号在大脑皮层产生，由头皮电极探测后经过脑电采集器2放大、滤波后通过无线传输模块3传输至终端设备4。

无线传输模块3，用于将脑电信号传输至终端设备1。

终端设备4，用于对脑电信号进行数据处理提取运动想象特征信号，该运动想象特征信号用于模式识别形成视觉反馈，构成一个闭环控制系统。

即，终端设备4对运动想象特征信号进行解码，输出目标指令反馈结果至虚拟串口，控制反馈界面，进而形成了相应的视觉反馈，引导使用者利用更优的想象方式实现更好的控制，从而构成一个闭环控制系统。

综上所述，本发明实施例通过上述的设备、模块将MI-BCI系统指令输出及意念控制过程变得可视化，提高了用户体验。

实施例2

下面结合具体的例子、附图对实施例1中的方案进行详细的描述，详见下文：

脑电采集器2采集与运动相关导联(共14通道，即AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8、O1、O2，参见图1(b))的脑电信号。

终端设备4又包括初始反馈模块和在线反馈模块，其中，初始反馈模块具体的实验过程如图2所示：

1)在没有初始模型的情形下采集实时脑电，使用者首先静息30s，并根据后20s数据ERD能量值生成初始判定阈值；

2)进入20s的MI反馈界面训练，达到初始判定阈值则输出目标指令反馈结果，否则不触发目标指令反馈；

即，通过该步骤的操作反馈系统形成了一次视觉反馈。

3)经过两轮上述过程，利用积累的数据建立共空间模式+支持向量机(CSP+SVM)模型，作为初始模型，并形成更可信的决策值阈值判定标准；

此时可以将共空间模式+支持向量机模型作为再次实验的初始模型。

4)使用者同样静息30s，进入20s反馈训练阶段，利用新数据不断更新初始模型，并且根据决策值阈值来量化，进一步提高初始模型的适用性。

即，通过该步骤的操作反馈系统又形成了视觉反馈。

在以一个具有普适性的基础模型或基于个体在之前的训练中得到的模型下，CSP+SVM模型正确率虽然不高但仍能满足基础控制要求，随着后期数据积累，在线实时进行数据和初始模型的自适应更新，从而提高正确率。其优点为在保证在线更新建模的正确率的前提下能够减少训练时间，提高训练效率。

进一步，在线反馈模块采用的在线数据处理流程如图3所示：

1)在线实验过程中，使用者面前的计算机会显示反馈控制界面，并提示使用者进行动作想象；

2)从第一次采集到2s的数据开始，以1s的时间滑动窗每次采集当前2s的脑电数据进行脑电的特征提取与分类识别；

其中，具体的时间取值根据实际应用中的需要进行设定，本发明实施例仅以上述数据为例进行说明，但不做具体的限制。

3)若检测到使用者运动想象特征对应的SVM决策值大于决策值阈值，则输出目标指令反馈结果；反之，若未检测到使用者的想象动作，则不触发反馈。

综上所述，本发明实施例通过上述的设备、模块将MI-BCI系统指令输出及意念控制过程变得可视化，提高了用户体验。

实施例3

下面结合具体的例子、计算公式对实施例1、2中的方案进行详细的描述，详见下文：

1、ERD能量特征计算

对于运动想象ERD/ERS信号的处理通常使用功率谱时频分析，短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。在实施例2中无初始模型情况下，利用短时傅里叶变换对运动想象脑电进行处理，得到ERD能量值的实时变化情况，与初始判定阈值相比较决定是否触发目标指令。

2、二分类共空间模式和支持向量机

当实施例2中的数据累积到达一定的数量要求时，便可以利用基于已有数据建立系统校准模型的方式对后面的反馈过程进行更有效可信的指令控制，即CSP+SVM建模。

共空间模式(CommonSpatialPattern，CSP)最初是一种对于二分类数据进行多导联空间滤波的技术。CSP首先应用于脑电信号异常检测，后来应用于区分运动相关的脑电模式。CSP算法的目的是设计空间滤波器，原始脑电信号在滤波处理之后产生新的时间序列，使其方差能够最优区分与想象动作相关的两类脑电信号。

设计与某个特定任务相关的空间滤波器，从而提取出与特定任务相关的信号源分量，剔除无关的分量和噪声等。该空间滤波器能够最大化两类信号的差异，在最大化一类状态方差的同时最小化另一类状态的方差。

X_CSP＝W^T*X(1)

式中，X_CSP为原始脑电信号，X经过滤波之后得到的信号，W为所求滤波器矩阵，经过大量数据递归训练可以得到最优的滤波器矩阵W，进而建立一种空间滤波模式。之后便可以利用所求滤波器矩阵将原始脑电数据进行同样处理，提取出滤波后信号作为支持向量机的输入。

针对运动想象训练样本数较少的特点，选用支持向量机(SupportVectorMachine，SVM)作为分类工具。支持向量机是近年来在模式识别与机器学习领域中出现的新工具，以统计学习理论为基础，有效地避免经典学习方法中过学习、维数灾难、局部极小等传统分类存在的问题，在小样本条件下仍然具有良好的范化能力。它通过构造最优超平面，使得对未知样本的分类误差最小。基本算法原理如下：

首先从线性可分问题的角度出发来理解支持向量机。可由图4所示的例子加以说明，两类待分样本分别使用黑点和圆圈表示，从图4中可以发现，分类面可以有很多，但是能够使得两类样本分类间隔最大的分类面只有一个。图4中较粗的那一条线就是具有最大分类间隔的分类面，称为最优分类面。最优分类面最小化了结构风险，且具有更优的推广能力，支持向量机目的就是寻找使得两类样本分类间隔最大的最优分类面。

同样在足够数据样本的训练校准后便可以得到这样一个分类面，也就是用于后面分类识别的系统模型(model)，在不断有数据积累的条件下，该模型也可以有条件的更新，即为模型更新过程。

模式识别的过程如下：将已有原始脑电数据经过CSP空间滤波，并将滤波后数据样本送入SVM分类器进行模型训练，训练后得到一个CSP+SVM的model，然后再利用这个model来对未知模式类型的想象动作进行分类，得到的结果(即决策值)即为未知模式想象动作的模式识别结果，与决策值阈值相比较决定是否触发目标反馈指令。

3、视觉反馈环节

当输出运动想象的ERD能量值或决策值大于设定阈值时，则触发目标反馈。每次反馈结束会进行系统评分，评估使用者对系统控制的质量。

本发明设计了一种基于运动想象脑-机接口的反馈控制方法，不仅可判断使用者“想象”或者“静息”两种状态，而且针对使用者参与程度引入视觉反馈，进而量化使用者对系统反馈控制的难度，提高使用者的参与度，贴近实际应用。可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域，进一步研究可以得到完善的脑-机接口系统，有望获得可观的社会效益和经济效益。

实施例4

本方法以反馈游戏界面控制为例说明，该反馈界面可以在Matlab平台下编写设计，可进行目标任务、想象次数、游戏难度等参数的设置。

本发明实施例对参数的设置不做限制，可以根据实际应用中的需要进行设定。最终反馈界面将根据使用者目标想象动作任务的成功触发情况给出评分。

具体的在线实验过程如图2所示：

1)在没有初始模型的情形下采集实时脑电，使用者首先静息30s，并根据后20s数据ERD能量值生成初始判定阈值；

2)进入20s的MI游戏反馈界面训练，达到初始判定阈值则输出目标指令反馈结果(小球向目标区域一侧移动一次)，否则不触发目标指令反馈(小球只做径向下落运动)。

即，通过该步骤的操作游戏反馈系统形成了一次视觉反馈。

3)经过两轮上述过程，利用积累的数据建立共空间模式+支持向量机(CSP+SVM)模型，作为初始模型，并形成更可信的决策值阈值判定标准；

此时可以将共空间模式+支持向量机模型作为再次实验的初始模型。

4)使用者同样静息30s，进入20s反馈训练阶段，利用新数据不断更新初始模型，并且根据决策值阈值来量化游戏难度，更具人性化，进一步提高初始模型的适用性。

即，通过该步骤的操作游戏反馈系统又形成了视觉反馈。

进一步采用的在线数据处理流程如图3所示：

1)在线实验过程中，使用者面前的计算机会显示游戏反馈控制界面，并提示使用者进行动作想象；

2)从第一次采集到2s的数据开始，以1s的时间滑动窗每次采集当前2s的脑电数据进行脑电的特征提取与分类识别；

其中，具体的时间取值根据实际应用中的需要进行设定，本发明实施例仅以上述数据为例进行说明，但不做具体的限制。

3)若检测到使用者运动想象特征对应的SVM决策值(decisionvalue)大于决策值阈值，则触发游戏反馈界面指令(小球向目标区域一侧运动一次)；反之，若未检测到使用者的想象动作，则不触发目标反馈(小球只做径向下落运动)。

以游戏反馈界面控制为例说明，反馈控制对象即为运动想象过程中移动的小球，形成视觉反馈。当输出运动想象的ERD能量值或决策值大于设定阈值时，则触发目标反馈，小球径向下落的同时向底部目标区域横向运动一次，否则只做径向下落运动。每次反馈游戏结束会根据游戏难度及目标反馈触发次数进行系统评分，评估使用者对系统控制的质量。当然也可以根据不同使用者具体情况设置理想的游戏难度及次数，提高用户体验。

综上所述，本发明实施例通过上述的设备、模块将MI-BCI系统指令输出及意念控制过程变得可视化，提高了用户体验。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于运动想象脑-机接口的反馈系统，所述反馈系统包括：反馈模块、脑电采集器、无线传输模块及终端设备；其特征在于，

所述反馈模块，用于编写反馈界面；

所述脑电采集器，用于采集与运动相关导联的脑电信号；所述脑电信号由头皮电极探测后经过脑电采集器放大、滤波后通过所述无线传输模块传输至所述终端设备；

所述终端设备，用于对脑电信号进行数据处理提取运动想象特征信号，运动想象特征信号用于模式识别后形成视觉反馈，控制反馈界面，构成一个闭环控制系统。

2.根据权利要求1所述的一种基于运动想象脑-机接口的反馈系统，其特征在于，所述终端设备包括：初始反馈模块，

达到初始判定阈值，则输出目标指令反馈结果，否则不触发目标指令反馈；

经利用积累的数据建立共空间模式加支持向量机模型，作为初始模型，并获取决策值阈值；

使用者进入反馈训练阶段，不断更新初始模型，并根据决策值阈值提高初始模型的适用性。

3.根据权利要求2所述的一种基于运动想象脑-机接口的反馈系统，其特征在于，所述终端设备包括：在线反馈模块，

对每次采集的脑电数据进行脑电的特征提取与分类识别；

若检测到使用者运动想象特征对应的决策值大于决策值阈值，则输出目标指令反馈结果；反之，若未检测到使用者的想象动作，则不触发反馈。

4.根据权利要求1所述的一种基于运动想象脑-机接口的反馈系统，其特征在于，所述反馈界面为游戏反馈界面。