CN104571504A - 一种基于想象动作的在线脑-机接口方法 - Google Patents

Abstract

本发明公开了一种基于想象动作的在线脑-机接口方法，所述方法包括：使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力，通过64导联脑电采集系统采集在执行想象动作时产生的脑电信号数据；通过短时傅里叶变换对当前1s的脑电信号数据处理，获取脑电信号数据的时频特征；通过相位耦合测量算法对当前1s的脑电信号数据处理，获取相位锁定值特征；将两类特征数据送到训练好的分类器中进行模式识别，得到决策值；根据当前决策值，并通过进度条的变化作为反馈输出。本发明可使使用者更加主动的参与想象任务，并不断的提高自己的想象强度。本发明融合了想象动作下的时频特征以及不同脑区之间的相位耦合特征，有效地提高了信息传输效率。

Description

一种基于想象动作的在线脑-机接口方法

技术领域

本发明涉及脑-机接口领域，尤其涉及一种基于想象动作的在线脑-机接口方法。

背景技术

脑-机接口(Brain-Computer Interface，BCI)是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。该定义由第一次脑-机接口国际会议给出。BCI系统能够通过判断大脑的活动模式来输出用户的指令意识。到目前为止，最常用的BCI系统大都是基于脑电信号。图1为一个完整的BCI系统示意图，由信号采集、信号处理、外部输出设备三部分组成。通过头皮电极或植入电极获得含有使用者控制意图的脑电信息，经过各种信号处理的手段提取脑电信息特征并进行模式识别，最后将之转化为控制外部设备的操作命令。

实际的肢体动作或者想象动作均可引起皮层运动中枢中大量神经元活动状态的改变，从而使得脑电信号中的某些频率成分(例如：alpha波、beta波和mu节律)同步减弱或者增强。上述现象被称之为事件相关去同步(Event-Related Desynchronization，ERD)以及事件相关同步(Event-Related Synchronization，ERS)。近年来有关想象动作的应用技术研究有显著进展，想象动作已应用于人机交互领域，成为了BCI控制的重要范式。

值得注意的是，目前基于想象动作的BCI系统对于想象状态的划分仍处于触发状态，即设定某一阈值，根据想象动作下的ERD值来判断受试者“想象”或者“静息”两种状态。现有的基于想象动作的BCI系统不能对使用者的“想象”状态进行分析，因而不能提供一种客观的反馈手段促使受试者提高自己的想象程度。而对于“想象”状态的划分，将有助于更加深入的了解想象过程的神经认知过程，探索动作想象的神经机制

发明内容

本发明提供了一种基于想象动作的在线脑-机接口方法，本发明根据想象不同上肢收缩力引起的脑电信号变化，搭建实时反馈的在线脑机接口方法，详见下文描述：

一种基于想象动作的在线脑-机接口方法，所述在线脑-机接口方法包括以下步骤：

使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力，通过64导联脑电采集系统采集使用者在执行想象动作时产生的脑电信号数据；

实时读取脑电信号数据，判断脑电信号数据存储的时长是否超过1s，如果超过1s，则截取当前1s的脑电信号数据，执行下一步骤；如果没有超过1s，继续读取脑电信号数据；

通过短时傅里叶变换对当前1s的脑电信号数据进行处理，获取脑电信号数据的时频特征；通过相位耦合测量算法对当前1s的脑电信号数据进行处理，获取相位锁定值特征；

将两类特征数据送到训练好的分类器中进行模式识别，得到决策值；

根据当前决策值dv，并通过进度条的变化作为反馈输出。

所述使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力具体为：

左侧为刺激界面，右侧为反馈界面；左侧进度条在10s内均匀的从0升高至100，同时，使用者根据进度条的提示想象上肢肌肉收缩，并且想象收缩力均匀的增大到最大收缩力。

所述根据当前决策值，并通过进度条的变化作为反馈输出具体为：

当dv<a时，进度条停留在0位置；当a≤dv<b时，进度条上升到25位置；当b≤dv<c时，进度条上升到50位置；当c≤dv<d时，进度条上升到75位置；当d≤dv时，进度条上升到100位置；a，b，c和d分别为阈值。

本发明提供的技术方案的有益效果是：本方法不仅可以实现触发分类，并且在已触发的基础上根据不同的想象强度可以做更加细致的分类。此外，不同于原有的通过增加想象动作类型来扩大指令集的思路，可以通过对不同的想象强度划分来增加指令集。本发明可使使用者更加主动的参与想象任务，并不断的提高自己的想象强度。基于本发明的设计思路，可以加入体感知觉反馈。此外，该发明融合了想象动作下的时频特征以及不同脑区之间的相位耦合特征，有效地提高了信息传输效率。

附图说明

图1为脑机接口组成示意图；

图2为一种基于想象动作的在线脑-机接口方法的流程示意图；

图3为电脑屏幕界面显示图；

图4为数据处理流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

大脑皮层的激活程度与使用者的想象强度有关。例如：想象较大的肌肉收缩力需要在想象过程中投入更多的精力，因而可以激活更多运动区的神经元以及需要激活其它脑区的神经元(例如：前额叶)参与此过程。区别于原有的基于想象动作的BCI系统，本发明设计了基于不同想象强度的BCI，融合了想象动作下的大脑皮层运动区的ERD特征与前额叶与运动区的相位耦合测量特征，对使用者的“想象”的强度进行判断，并实时给予相应的反馈。本方法不同于原有想象动作BCI根据不同的动作范式做分类识别，而是根据同一想象动作对不同想象强度做分类识别，是一种新型的BCI设计方法。

101：使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力，通过64导联脑电采集系统采集使用者在执行想象动作时产生的脑电信号数据；

使用者注视电脑屏幕的刺激界面，并进行上肢的想象动作。与此同时使用64导联脑电采集系统采集脑电信号，使用Ag/AgCl电极(阻抗小于15000欧姆)，所有导联的脑电信号以右乳突为参考，以左乳突为地。脑电采样频率为1000Hz，滤波通带为0.5～100Hz，并采用50Hz陷波器去除工频干扰。数据预处理包括降采样至200Hz，去眼电和空间滤波。后续的数据处理提取相应的特征信号，从而将这些特征应用于的模式识别。并且设计一种反馈界面，呈现给使用者。

电脑屏幕上的刺激界面和反馈界面如图3所示，左侧为刺激界面，进度条不断上升引导使用者想象肌肉收缩程度不断增强，右侧为反馈界面，进度条的上升代表使用者的想象强度不断上升。使用者安静地坐于距屏幕约1m的靠椅上，当使用者听到连续两声的提示音时，左侧进度条在10s内均匀的从0升高至100，与此同时，使用者根据进度条的提示，想象上肢肌肉收缩，并且想象收缩力均匀的增大到最大收缩力(通过真实动作测量最大收缩力)。在此过程中，实时处理想象动作的脑电信号，根据分类器输出的决策值做出反馈，右侧进度条高度的变化反应了受试者想象强度的变化。到达所示的某一刻度值时表示使用者的想象肌肉收缩力已达到最大收缩力的百分比。10s后，出现一声的提示音，屏幕两侧进度条回到0位置，休息5s后再次听到连续两声的提示音，开始下一次试验。

102：实时读取脑电信号数据，判断脑电信号数据存储的时长是否超过1s，如果超过1s，则截取当前1s的脑电信号数据，执行步骤103；如果没有超过1s，继续读取脑电信号数据；

本发明的在线数据处理流程图如图4所示。数据处理流程如下：实时读取脑电数据；判断数据存储的时长是否超过1s，如果超过1s，则截取当前1s的数据进行数据分析。

103：通过短时傅里叶变换对当前1s的脑电信号数据进行处理，获取脑电信号数据的时频特征；通过相位耦合测量算法对当前1s的脑电信号数据进行处理，获取相位锁定值特征；

1)时频分析-短时傅里叶变换

由于想象动作下ERD现象有着特定的发生频段，通常使用功率谱分析的方法。常用的谱分析方法中暗含着对于处理信号的平稳性假设，也即是假设信号的频谱成分在整个时间轴上是同分布的，而对于时间相关的诱发动态脑电信号而言，这一假设显然不成立。短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布是不变的。

短时傅里叶变换的方法是使用一个有限宽度的观察窗W(t)对信号x(t)进行观察。在公式(1)中，STFT(t,ω)是x(τ)W(τ-t)的傅里叶变换。随着t的变化，窗函数在时间轴上会有相应的位移，然后对加窗后的信号进行傅立叶变换得到信号的时频特征。

$\mathrm{STFT}(t,\mathrm{\&omega;})=\underset{-\&infin;}{\overset{+\&infin;}{\&Integral;}}x\left(\mathrm{\&tau;}\right)W^{*}(\mathrm{\&tau;}-t)e^{-\mathrm{j\&omega;\&tau;}}\mathrm{d\&tau;}---\left(1\right)$

这里ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数。

2)相位耦合测量

由于广泛分布于脑的不同区域必须相互通信以完成信息整合实现不同的认知功能，所以脑电信号在不同区域之间会表现出耦合现象，如幅值耦合或者相位耦合。由于本发明需要使用者不断的增加想象的强度，因而需要投入更多的注意力，而前额叶的激活与注意力相关，故选择使用相位耦合测量的方法分析前额叶与运动功能区的耦合程度，并将相位耦合由相位锁定值(Phase Locking Value，PLV)作为一类特征值来量化。PLV可以表征两个信号x(t)和y(t)在一个时间窗内样本之间相位差的稳定性。使用解析信号的方法来计算一个任意信号的瞬时相位。给定一个信号x(t)，其解析信号η_x(t)定义如下，式中A_x(t)代表了信号x(t)的幅值信息，θ_x(t)代表了信号x(t)的相位信息。

${\mathrm{\&eta;}}_x\left(t\right)=x\left(t\right)+\mathrm{iX}\left(t\right)=A_x\left(t\right)e^{j{\mathrm{\&theta;}}_x\left(t\right)}---\left(2\right)$

式中X(t)是x(t)的Hilbert变换，如式(3)所示：

$X\left(t\right)=\frac{1}{\mathrm{\&pi;}}p.v.{\&Integral;}_{-\&infin;}^{+\&infin;}\frac{x\left(t\right)}{t-\mathrm{\&tau;}}\mathrm{d\&tau;}---\left(3\right)$

式中p.v.表示在Cauchy主值意义上取积分。x(t)瞬时相位可按下式(4)计算：

${\mathrm{\&theta;}}_x\left(t\right)={\tan }^{-1}\left(\frac{X\left(t\right)}{x\left(t\right)}\right)---\left(4\right)$

信号y(t)的瞬时相位θ_y(t)可按上式计算。

对于任意的{n,m}∈Z，如果信号x和y的相位差Δθ(t)＝nθ_x(t)-mθ_y(t)对所有的时间t都是有界的，则它们被称为n:m同步。由于本发明的目的是测量来自大脑不同脑区信号之间的相位耦合，这种相位锁定比n:m很可能等于1:1。因此采用n＝m＝1这种情况，随之而来的相位锁定值PLV_t可定义为公式(6)，其中Δθ(t)＝θ_x(t)-θ_y(t)：

PLV_t＝|<e^iΔθ(t)>t|       (5)

式中<·>_t是对时间平均运算符。对于离散信号，相位锁定值PLV计算如下：

$\mathrm{PLV}=\left|\frac{1}{N}{\mathrm{\&Sigma;}}_{n=1}^N{e}^{\mathrm{i\&Delta;\&theta;}\left(n\right)}\right|---\left(6\right)$

一个PLV等于一个时间窗中所有单位矢量e^iΔθ(t)的平均长度。PLV被归一化，因此在0和1之间变化。PLV＝0意味着两个信号的相位不存在耦合，而PLV＝1意味着两个信号的相位完全耦合，因为两个信号在每个时间点相位差都是常数。

104：将两类特征数据送到训练好的分类器中进行模式识别(识别算法为支持向量机)，得到决策值；

模式识别是通过对提取的脑电信号特征分类来辨识出其中所携带的自主性动作信息。支持向量机(SVM)是近年来在模式识别与机器学习领域中出现的新工具，以统计学习理论为基础，有效地避免经典学习方法中过学习、维数灾难、局部极小等传统分类存在的问题，在小样本条件下仍然具有良好的范化能力。它通过构造最优超平面，使得对未知样本的分类误差最小。

模式识别的过程如下：在经过了特征提取阶段之后，将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model，然后再利用这个model来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果，决策值以及识别正确率。

105：根据当前决策值(dv)，并通过进度条的变化作为反馈输出。

在本发明中，由低到高分别设定了4个阈值(a,b,c,d)。当dv<a时，进度条停留在0位置；当a≤dv<b时，进度条上升到25位置；当b≤dv<c时，进度条上升到50位置；当c≤dv<d时，进度条上升到75位置；当d≤dv时，进度条上升到100位置；一轮结果输出后，继续下一轮的判断与输出。

本发明设计了一种基于想象动作强度的在线BCI，以实现同一想象动作下不同想象强度在脑-机接口技术中的应用研究。该项发明针对传统基于想象动作BCI仍处于触发判断阶段，从而限制了该类BCI的指令集，设计了同一想象动作对不同想象强度做分类识别，融合了想象动作下的大脑皮层运动区的ERD特征与前额叶与运动区的相位耦合测量特征，不仅可判断使用者“想象”或者“静息”两种状态，而且可以判断不同的想象的强度。并针对使用者参与程度较低的问题引入视觉反馈，提高使用者的参与度。进一步研究可以得到完善的脑-机接口系统，对中风病人具有极大帮助，同时有望获得可观的社会效益和经济效益。

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于想象动作的在线脑-机接口方法，其特征在于，所述在线脑-机接口方法包括以下步骤：

使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力，通过64导联脑电采集系统采集使用者在执行想象动作时产生的脑电信号数据；

实时读取脑电信号数据，判断脑电信号数据存储的时长是否超过1s，如果超过1s，则截取当前1s的脑电信号数据，执行下一步骤；如果没有超过1s，继续读取脑电信号数据；

通过短时傅里叶变换对当前1s的脑电信号数据进行处理，获取脑电信号数据的时频特征；通过相位耦合测量算法对当前1s的脑电信号数据进行处理，获取相位锁定值特征；

将两类特征数据送到训练好的分类器中进行模式识别，得到决策值；

根据当前决策值dv，并通过进度条的变化作为反馈输出。

2.根据权利要求1所述的一种基于想象动作的在线脑-机接口方法，其特征在于，所述使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力具体为：

左侧为刺激界面，右侧为反馈界面；左侧进度条在10s内均匀的从0升高至100，同时，使用者根据进度条的提示想象上肢肌肉收缩，并且想象收缩力均匀的增大到最大收缩力。

3.根据权利要求1所述的一种基于想象动作的在线脑-机接口方法，其特征在于，所述根据当前决策值，并通过进度条的变化作为反馈输出具体为：

当dv<a时，进度条停留在0位置；当a≤dv<b时，进度条上升到25位置；当b≤dv<c时，进度条上升到50位置；当c≤dv<d时，进度条上升到75位置；当d≤dv时，进度条上升到100位置；a，b，c和d分别为阈值。