CN103440039A

CN103440039A - 基于状态反馈的脑机通讯速率自适应控制方法

Info

Publication number: CN103440039A
Application number: CN2013104281156A
Authority: CN
Inventors: 周宗潭; 印二威; 姜俊; 刘亚东; 胡德文
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2013-09-18
Filing date: 2013-09-18
Publication date: 2013-12-11
Anticipated expiration: 2033-09-18
Also published as: CN103440039B

Abstract

一种基于状态反馈的脑机通讯速率自适应控制方法，其步骤为：（1）施加Phase1模式定频闪烁的视觉刺激；（2）系统目标识别过程；（3）判断混合特征最大值是否超过系统设置的门限值；（4）判断Phase1模式中系统识别的目标控制键是否为‘del’；如为否，则结束Phase1模式的选择，系统存储目标控制键行坐标；（5）系统进入Phase2模式定频闪烁阶段，并执行系统目标识别过程；（6）判断在Phase2阶段系统目标识别过程中的所述混合特征最大值是否超过系统设置的门限值；如果判断结果为是，则进入步骤（7）；（7）判断Phase2阶段系统识别的控制目标键是否为‘del’；最终输出控制命令。本发明具有原理简单、实现简便、控制精度高、能够提高系统信息传输率等优点。

Description

基于状态反馈的脑机通讯速率自适应控制方法

技术领域

本发明主要涉及到脑机接口技术领域，特指一种基于状态反馈的脑机通讯速率自适应控制方法。

背景技术

脑机接口（Brain-Computer Interface，BCI）是一种新的不依赖于外周神经和肌肉参与的人机通讯系统。它通过检测并判别脑电信号中对应不同大脑活动所体现出来的时空模式来识别人的意图，并将其转换成能被计算机所识别和执行的数字信号，建立人脑与外设的直接通讯。目前，BCI在助残、康复工程及武器装备研发、娱乐等领域均有着广泛的应用前景，已受到国内外研究学者的广泛关注。

随着人们对大脑功能不断深入的研究及信号处理技术的快速发展，对通过在被试头部安放电极采集到的头皮脑电图(Electroencephalogram,EEG)信号的处理技术已经达到一定水平，并已用于网页浏览、机械臂和轮椅控制，以及字符输入等脑控技术的研究，这为基于EEG的BCI研究推广及其相关产品进入实际生活应用提供了技术基础。目前，国内外众多BCI研究团队对基于EEG信号的BCI研究主要集中在分别对其时域、空域、频域成分脑电模态的分析处理上。例如，采用稳态视觉诱发电位(Steady-state Visually Evoked Potential,SSVEP)的频域信息和感觉运动节律(Sensory Motor Rhythm,SMR)的空间特征变化驱动的BCI系统的研究均已经达到了较高水平。

SSVEP可通过施加定频闪烁的视觉刺激诱发产生。在刺激过程中，被试通过注视以某特定频率闪烁的字符模块，使其头部枕区（初级视皮层）EEG信号产生与刺激频率相对应的特征电位。系统通过对EEG信号频域成分的辨识来反推出视觉刺激的频率，进而确定用户所注视的目标位置。由于显示器受到刷新频率的限制，可用的有效频率非常有限，使用传统的SSVEP-BCI无法实现足够多的刺激以满足实际应用需求，这给SSVEP-BCI系统的应用带来了很大的限制。

SMR则由被试执行想象肢体运动任务来实现。想象肢体运动会引起运动皮层的事件相关去同步化（Event-Related Desynchronization,ERD），表现为相应频带上能量的降低；以及之后的事件相关同步化（Event-Related Synchronization,ERS），表现为相应频带能量的升高。想象肢体部位不同，ERD效应存在脑区空间上的差异。SMR-BCI系统可通过被试自主进行一定时间的运动想象任务来实现系统操控，而不需要依赖外界刺激，并且适用于连续控制命令输出。然而，由于EEG信号的空间分辨率较低，通过增加运动想象任务种类来扩展BCI系统的命令是非常困难的。尽管近年来一直不乏这方面的研究，但一直未取得理想的分类结果。

由于上述两种BCI系统命令数受到限制，使其信息传输率的提高大大受到制约。这也是为什么至今BCI系统仍未迈向商品化应用的重要原因之一。为了进一步提高系统性能，最近，一些BCI研究组织提出一种新的BCI框架，称为混合BCI。混合BCI是一种由两个以上BCI方法混合的系统，常被用于通过增加系统可用命令数、加快命令输出速度和提高目标识别准确率等，以实现系统信息传输率的提高。作为BCI的一个新发展方向，混合BCI已经受到了广泛的关注。由于SMR和SSVEP特征空间分处于空域和频域，信号采集的位置分处于运动皮层与初级视皮层，加之SMR是认知电位，不依赖外界刺激，即不占用视觉通路，便于SSVEP刺激的实时接收和控制状态信息的反馈，故两种电位的结合切实可行。利用SSVEP和SMR混合的方法设计BCI系统，可有效提高BCI系统信息传输率，进而推动BCI技术的应用与发展。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、实现简便、控制精度高、能够提高系统信息传输率的基于状态反馈的脑机通讯速率自适应控制方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于状态反馈的脑机通讯速率自适应控制方法，其步骤为：

（1）在进入控制执行阶段后，呈现出控制界面，并同时施加Phase1模式定频闪烁的视觉刺激；

（2）系统目标识别过程：被试者注视目标控制键，观察目标控制键上的字符颜色是否有变化；如果没有变化，被试执行左手运动想象任务；反之，如果有变化则执行右手运动想象任务；计算机同时对所采集的EEG信号实时进行处理，识别出EEG信号中SSVEP和SMR的混合特征最大值，及其所对应的坐标值；

（3）判断Phase1模式中所述混合特征最大值是否超过系统设置的门限值：如果判断结果为是，则进入步骤（4）；如果判别结果为否，则返回到步骤（2），继续进行系统目标识别过程；

（4）判断Phase1模式中系统识别的目标控制键是否为‘del’；如果判断结果为是，则删除上一个控制命令，并返回到步骤（2），继续进行系统目标识别过程；反之，如果判断结果为否，则结束Phase1模式的选择，系统存储目标控制键行坐标，其所在行目标控制键字符均加下划线作为标记；进行一段延时，用于消除此时SSVEP响应；

（5）系统进入Phase2模式定频闪烁阶段，并执行与步骤（2）相同的系统目标识别过程；如果此时被试者发现所注视的目标控制键的字符有下划线，表明目标控制键的行坐标选择正确，此时继续注视目标控制键，否则表明Phase1阶段判别错误，立即改为注视‘del’键；

（6）判断在Phase2阶段系统目标识别过程中的所述混合特征最大值是否超过系统设置的门限值；如果所述混合特征最大值超过系统设置的门限值，即判断结果为是，则进入步骤（7）；如果判别结果为否，则返回到步骤（5），继续进行Phase2阶段的系统目标识别；

（7）判断Phase2阶段系统识别的控制目标键是否为‘del’；如果判断结果为是，直接返回到步骤（2），重新进行Phase1阶段的系统目标识别；反之结果为否，则采用Phase2阶段识别得到的控制目标键的列坐标与Phase1阶段得到的行坐标联合定位出所选目标键，输出控制命令。

作为本发明的进一步改进：所述步骤（2）的具体步骤为：

（2.1）系统呈现视觉刺激后，被试注视目标控制键；此时计算机对所采集的EEG信号按照SSVEP和SMR信道分别进行处理，并最终识别出SSVEP特征最大值，以及SSVEP与SMR的混合特征的最大值，及其坐标；

（2.2）判断SSVEP特征的最大值是否超过系统所设门限值；如果判断结果为是，系统根据特征最大值的大小，改变其所对应目标键上符号的颜色；如果判断结果为否，所有目标控制键符号的颜色不变，系统返回到步骤（2.1）；

（2.3）被试者注视目标控制键的同时，如果目标控制键上的字符颜色发生改变，被试者增加右手运动想象任务；如果目标控制键上的字符颜色未发生改变，被试者增加左手运动想象任务；此时系统实时输出混合特征最大值及其对应的坐标。

作为本发明的进一步改进：所述步骤（2.1）中，先读入EEG信号，然后对信号进行放大和A/D转换后，将其得到的信号按SSVEP信道和SMR信道两组进行处理；具体如下：

（a）对属于SSVEP信道的EEG信号的处理流程为：系统首先将所读取的EEG信号采用频率为4～35Hz的带通滤波器进行带通滤波；系统应用CCA方法计算预处理得到的EEG信号与各刺激频率的相关性系数，将其作为各刺激频率的特征值；接下来，将求得的特征向量最大值进行标准化处理，得到SSVEP特征最大值X，及其对应的坐标；对特征最大值进行标准化处理；

（b）对属于SMR信道的EEG信号的处理流程为：系统首先截取目标控制键开始变色的EEG数据，并采用频率为8～30Hz的带通滤波器进行带通滤波；通过滑动窗截取SMR特征数据，生成样本；应用CSP算法对样本数据进行空域滤波；对特征提取后的样本用SVM算法进行分类；对分类结果进行平滑，以及标准化处理后，得到SMR特征值Y；

（c）最后输出SSVEP特征以及SSVEP和SMR混合特征最大值、及其坐标。

作为本发明的进一步改进：所述SSVEP特征最大值的标准化的具体方法为：首先将由CCA算法求得的各频率的特征值按大小排列，则经标准化后的特征最大值为：

即各频率特征最大值与次最大值的差，除以特征值均值。

作为本发明的进一步改进：所述SMR特征的分类结果平滑、标准化处理的具体方法为：首先将2秒内的SVM的分类结果通过累积加和的方法进行平滑处理，得到y；对平滑结果y进行了半异步式的标准化处理，则经标准化后的SMR特征值为Y=y³。

作为本发明的进一步改进：所述SSVEP和SMR混合特征最大值为：Z=X+w·Y，其中w由不同被试SMR特征的分类准确率决定。

与现有技术相比，本发明的优点在于：

1、本发明通过两阶段行列定位的方法，只采用N个频率的定频闪烁刺激，就实现了N²种控制命令的输出，提高了系统信息传输率。

2、本发明中系统对目标的实时识别结果和强度双状态反馈的设计，不但可以提高被试的专注程度，提高通讯速率，而且可以使被试能根据实时反馈结果调整控制策略，实现基于SMR的变速控制：在系统目标识别过程中，如果被试发现系统识别正确，则可以执行想象右手运动任务，加快识别速度；反之，想象左手运动，减小伪目标特征值，使系统能切换至目标键，减小错误输出可能。

3、本发明中基于‘del’键的纠错功能设计使被试能在目标选择中途或目标选择结束时，都可以对系统输出进行纠错，提高了系统实际信息传输率。

4、本发明中针对SSVEP特征门限值的设定，有效降低了被试对SMR变速器的误用，当SSVEP特征超过所设置的门限值后，系统识别的目标已经基本稳定，避免了识别初期输出结果变换频繁使被试判断错乱，影响控制命令输出速度。

5、本发明对所述混合特征门限值的选取是基于系统离线训练数据，通过被试个体实际信息传输率最大化优化得到的。这种自适应控制机制有效避免了刺激时间过长浪费时间，或过短而降低识别准确率。此外，系统的这种自适应设计有效激发了被试对最佳控制策略的学习，进一步提高系统控制速度。

附图说明

图1是本发明自适应控制方法的流程示意图。

图2是本发明中进行目标识别过程的流程示意图。

图3是本发明中信号处理过程的流程示意图。

图4是本发明在具体应用时控制界面示意图。

图5是本发明在具体应用时定频刺激的频率排布形式示意图。

图6是本发明在具体应用时主动电极安放位置的示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

为了评估BCI性能，三个因素必须被考虑：速度、准确率和选项数。信息传输率(Information Transfer Rate,ITR，又称“通信速率”)由于对这三种因素的综合评估而被广泛应用于BCI研究。然而，在实际应用过程中控制器必须具有纠错功能。在线使用过程中，如果发生错误，则至少需要两个额外的控制命令，一个用于删除错误输出，一个用于正确命令的选择。故根据该系统控制特点，本发明采用实际信息传输率（即PITR）作为优化设计的最有指标。PITR的单位为bits/min，代表了在实际应用中被试每分钟能成功输出的信息量。

如图1所示，本发明的基于状态反馈的脑机通讯速率自适应控制方法，其步骤为：

（1）在进入控制执行阶段后，呈现出控制界面，并同时施加Phase1模式定频闪烁的视觉刺激。

（2）系统目标识别过程：被试者注视目标控制键，观察目标控制键上的字符颜色是否有变化。如果没有变化，被试执行左手运动想象任务；反之，如果有变化则执行右手运动想象任务。与此同时，计算机对所采集的EEG信号实时进行处理，识别出EEG信号中SSVEP和SMR的混合特征最大值，及其所对应的坐标值。

（3）判断所述混合特征最大值是否超过系统设置的门限值：如果判断结果为是，则进入步骤（4）；如果判别结果为否，则返回到步骤（2），继续进行系统目标识别过程。

（4）判断Phase1阶段系统识别的目标键是否为‘del’。如果判断结果为是，则删除上一个控制命令，并返回到步骤（2），继续进行系统目标识别过程；反之，如果判断结果为否，则结束Phase1阶段的选择，系统存储目标键行坐标，其所在行控制键字符均加下划线作为标记。进行一段延时，用于消除此时SSVEP响应，例如可延时0.5秒。

（5）系统进入Phase2模式定频闪烁阶段，并执行与步骤（2）相同的系统目标识别过程。如果此时被试者发现所注视的目标控制键的字符有下划线，表明目标控制键的行坐标选择正确，此时继续注视目标控制键，否则表明Phase1阶段判别错误，立即改为注视‘del’键。

（6）判断在Phase2阶段系统目标识别过程中的所述混合特征最大值是否超过系统设置的门限值。如果所述混合特征最大值超过系统设置的门限值，即判断结果为是，则进入步骤（7）；如果判别结果为否，则返回到步骤（5），继续进行Phase2阶段的系统目标识别。

（7）判断Phase2阶段系统识别的控制目标键是否为‘del’。如果判断结果为是，直接返回到步骤（2），重新进行Phase1阶段的系统目标识别；反之结果为否，则采用Phase2阶段识别得到的控制目标键的列坐标与Phase1阶段得到的行坐标联合定位出所选目标键，输出控制命令。

如图2所示，本实施例中，步骤（2）的具体步骤为：

（2.1）系统呈现视觉刺激后，被试注视目标控制键。此时，计算机对所采集的EEG信号按照SSVEP和SMR信道分别进行处理，并最终识别出SSVEP特征最大值，以及SSVEP与SMR的混合特征的最大值，及其坐标。

（2.2）判断SSVEP特征的最大值是否超过系统所设门限值。如果判断结果为是，系统根据特征最大值的大小，改变其所对应目标键上符号的颜色；如果判断结果为否，所有目标控制键符号的颜色不变，系统返回到步骤（2.1）。

（2.3）被试者注视目标控制键的同时，如果目标控制键上的字符颜色发生改变，被试者增加右手运动想象任务；如果目标控制键上的字符颜色未发生改变，被试者增加左手运动想象任务。此时，系统实时输出混合特征最大值及其对应的坐标。

如图3所示，在上述步骤（2.1）中，先读入EEG信号，然后对信号进行放大和A/D转换后，将其得到的信号按SSVEP信道和SMR信道两组进行处理。如下：

对属于SSVEP信道的EEG信号的处理流程为：系统首先将所读取的EEG信号采用频率为4～35Hz的带通滤波器进行带通滤波；系统应用CCA方法（即典型相关分析法，CaninicalCorrelation Analysis)计算预处理得到的EEG信号与各刺激频率的相关性系数，将其作为各刺激频率的特征值；接下来，将求得的特征向量最大值进行标准化处理，得到SSVEP特征最大值X，及其对应的坐标；对特征最大值进行标准化处理。

对属于SMR信道的EEG信号的处理流程为：系统首先截取目标控制键开始变色的EEG数据，并采用频率为8～30Hz的带通滤波器进行带通滤波；通过滑动窗截取SMR特征数据，例如：利用窗口宽度为0.5秒、步长为0.1秒的滑动窗截取SMR特征数据，生成样本；应用CSP算法（即共同时间模式，Common Spatial Pattern）对样本数据进行空域滤波；对特征提取后的样本用SVM算法（SVM分类器，即基于支持向量机，Support Vector Machine）进行分类；对分类结果进行平滑，以及标准化处理后，得到SMR特征值Y。

最后输出SSVEP特征以及SSVEP和SMR混合特征最大值、及其坐标。

参见图3，其中EEG信号处理中SSVEP特征最大值的标准化的具体方法为：首先将由CCA算法求得的各频率的特征值按大小排列，则经标准化后的特征最大值为：

即各频率特征最大值与次最大值的差，除以特征值均值。

SMR特征的分类结果平滑、标准化处理的具体方法为：首先将2秒内的SVM的分类结果（1或-1）通过累积加和的方法进行平滑处理，得到y；为了减小被试在未执行运动想象任务下误操作的可能性及其影响，我们对平滑结果y进行了半异步式的标准化处理，则经标准化后的SMR特征值为Y=y³。这样既保留了y的正负符号，又可使系统在没得到明确的SMR特征时，运动想象结果对混合特征值产生不了较大影响，可进一步提高系统目标选择变速器的准确性。

SSVEP和SMR混合特征最大值为：Z=X+w·Y，其中w由不同被试SMR特征的分类准确率决定，即SMR特征分类准确率越高，w值相对越大，反之亦然。

由于不同被试的拼写能力不同，控制器对每个被试者均采用相同的拼写速度，有时会因为刺激时间过短降低准确率，或时间过长而浪费时间，基于被试当前状态调整控制命令速度的自适应拼写机制有助于实现最优、稳定的性能，故本发明针对混合特征值Z设置了门限值K。如图1所示，当Z≥K时，系统输出当前目标控制键坐标，反之继续执行该阶段的目标识别过程。由于混合特征值受SMR变速器不确定性的影响，即被试者的控制策略变化直接影响混合特征值的大小，所以本发明中K的取值只由对SSVEP特征值的优化设计得到。在上述系统目标识别过程中，针对SSVEP特征最大值X设计了门限值K_x（见图2），设计是为了防止在视觉刺激初期，由于系统目标识别结果不准确，系统识别出的目标变动频率较快，使得被试不能准确的实现基于SMR的变速器的控制。K_x的取值为SSVEP识别准确率不小于70%时X的最小值。

本发明在具体应用实例中的具体流程为：

首先需要使用主动电极在用户头皮采集高信噪比的EEG信号。如图6所示，电极安放在采用导联位置按照国际惯例10-20系统的64导联电极帽上，图中Pz、P3、P4、PO7、PO8、POz、Oz、O1和O2为SSVEP信道，FC3、FC4、Cz、C1、C2、C3、C4、C5、C6、CP3和CP4为SMR信道，GND和REF分别为接地和参考电极，并在上述位置打入导电膏，并插上主动电极。主动电极通过脑电放大器与计算机相连接。通过电极阻抗检测软件检验电极与用户头部是否接触良好，并通过用户闭眼的方式检测α波，以使各电极位置采集的脑电信号的高频噪声保持在5kΩ之下。

用户安坐在距显示器正前方大约70cm的位置，用户前方的计算机显示器上呈现控制界面。如图4所示，所述控制界面由控制命令输入键盘和控制结果显示区两部分组成，其中，控制命令输入键盘共由37个命令组成。其中包括36个控制命令，为字母a-b和数字0-9，呈6×6的矩阵排列，以及一个‘del’错误命令删除键。

本发明的定频闪烁视觉刺激是通过显示器上每个按键位置白色矩形片在黑色背景下的出现和消失交替出现实现的，其频率排列形式如图5所示。其中，定频闪烁的频率排列由Phase1（左图）和Phase2（右图）两阶段组成，分别用于确定目标控制键的行、列坐标。所述刺激频率共有7个，分别为6.87、8.18、8.97、9.98、11.23、12.85和14.99赫兹。其中编号1-6的频率用于控制命令选择，编号为7的频率用于定位错误命令删除键。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims

1.一种基于状态反馈的脑机通讯速率自适应控制方法，其特征在于，步骤为：

（2）系统目标识别过程：被试者注视目标控制键，观察目标控制键上的字符颜色是否有变化；如果没有变化，被试执行左手运动想象任务；反之，如果有变化则执行右手运动想象任务；计算机同时对所采集的EEG信号实时进行处理，识别出EEG信号中SSVEP和SMR的混合特征的最大值，及其所对应的坐标值；

2.根据权利要求1所述的基于状态反馈的脑机通讯速率自适应控制方法，其特征在于，所述步骤（2）的具体步骤为：

3.根据权利要求1所述的基于状态反馈的脑机通讯速率自适应控制方法，其特征在于，所述步骤（2.1）中，先读入EEG信号，然后对信号进行放大和A/D转换后，将其得到的信号按SSVEP信道和SMR信道两组进行处理；具体如下：

4.根据权利要求3所述的基于状态反馈的脑机通讯速率自适应控制方法，其特征在于，所述SSVEP特征最大值的标准化的具体方法为：首先将由CCA算法求得的各频率的特征值按大小排列，则经标准化后的特征最大值为：即各频率特征最大值与次最大值的差，除以特征值均值。

5.根据权利要求3所述的基于状态反馈的脑机通讯速率自适应控制方法，其特征在于，所述SMR特征的分类结果平滑、标准化处理的具体方法为：首先将2秒内的SVM的分类结果通过累积加和的方法进行平滑处理，得到y；对平滑结果y进行了半异步式的标准化处理，则经标准化后的SMR特征值为Y=y³。

6.根据权利要求3所述的基于状态反馈的脑机通讯速率自适应控制方法，其特征在于，所述SSVEP和SMR混合特征最大值为：Z=X+w·Y，其中w由不同被试SMR特征的分类准确率决定。