CN106484112A - 基于运动想象脑‑机接口的字符拼写器及测试方法 - Google Patents

Abstract

本发明涉及运动想象脑‑机接口技术领域，为提出一种基于MI‑BCI的字符拼写器，提供一种新的指令编码思路，与传统MI‑BCI系统相比，能够有效的扩展MI‑BCI的指令集。该发明可以为MI‑BCI的发展开辟新的发展方向，进一步研究可以得到完善的BCI系统，有望获得可观的社会效益和经济效益。本发明采用的技术方案是，基于运动想象脑‑机接口的字符拼写器，由脑电信号采集模块、脑电信号处理模块和字符显示及输出模块构成，其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中；信号处理模块由特征提取模块、模式识别模块构成。本发明主要应用于脑‑机接口场合。

Description

基于运动想象脑-机接口的字符拼写器及测试方法

技术领域

本发明涉及运动想象脑-机接口技术领域，具体讲,涉及基于运动想象脑-机接口的字符拼写器。

背景技术

脑-机接口(Brain-Computer Interface，BCI)技术在大脑和外部设备之间提供了一种新型信息交互通路，不依赖于大脑外围神经与肌肉的正常输出通道。其主要的工作原理是：采集人在不同任务状态下的脑电信号，使用信号处理的方法分析不同的脑电模式，然后通过一定的工程技术手段在人的大脑和外部设备之间建立信息交互的通道，实现了一种全新的控制过程。该技术的发展不仅为人类解码大脑的意识提供新思路，更为思维正常但是肢体瘫痪的残疾患者提供了一种与外界交流的有效途径。因此，BCI技术得到研究者们越来越多的关注。

基于运动想象的BCI(Brain-Computer Interface Based on Motor Imagery,MI-BCI)是一种重要的应用范式。MI可以看作是对运动行为的内心演练，而没有明显的运动输出。当人们想象自己某一肢体的运动时，特定脑区alpha频带(8-12Hz)和beta(13-30Hz)频带的脑电信号的幅值会减弱或者增强(事件相关去同步或事件相关同步(Event-RelatedDe-synchronization/Synchronization,ERD/ERS))，从而产生相应的脑电模式。因此，通过解码运动相关的脑电模式，就可以解码人的运动意图。MI-BCI是唯一一种不需要外界刺激的BCI范式，使用者仅需要自主的控制自己的意念输出指令，真正的实现了“意念控制”。并且MI-BCI是中风患者的有效康复手段之一，具有重要的应用价值。

但是，传统的MI-BCI系统的指令集中指令个数较少，这对于实现交流必需的字符拼写控制具有极大的难度。传统的MI-BCI的控制指令主要包括左、右手，双脚，舌等简单肢体运动想象的指令。近些年来，研究者们对于指令集进行进一步的扩展，增加了复合肢体运动想象的指令，如左手右脚，右手左脚，双手等协同运动想象指令。也增加了连续的肢体运动作为指令控制，如左手-右手-右脚等。但是，这些指令扩展的方法操作程度复杂，在扩展指令集的同时，也极大的增加了使用者的操作难度，同时更为紧迫的是这些方法并不足以将指令集有效的扩展到一个可以实现字符输出的大指令集。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于MI-BCI的字符拼写器，提供一种新的指令编码思路，与传统MI-BCI系统相比，能够有效的扩展MI-BCI的指令集。该发明可以为MI-BCI的发展开辟新的发展方向，进一步研究可以得到完善的BCI系统，有望获得可观的社会效益和经济效益。本发明采用的技术方案是，基于运动想象脑-机接口的字符拼写器，由脑电信号采集模块、脑电信号处理模块和字符显示及输出模块构成，其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中；信号处理模块由特征提取模块、模式识别模块构成；

特征提取模块采用短时傅里叶变换进行提取：一个有限宽度的观察窗W(t)对信号x(t)进行观察，随着t的变化，窗函数在时间轴上会有相应的位移，然后对加窗后的信号进行傅立叶变换得到信号的时频特征，

其中，ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数，τ是积分变量。

模式识别模块采用支持向量机SVM进行识别，过程如下：离线阶段的脑电数据经过特征提取阶段之后，将这些从样本中提取到的时频特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，对输入的在线脑电信号的时频特征利用建立好的model实时对于未知模式类型的运动想象进行分类，每秒输出一个识别结果。

基于运动想象脑-机接口的字符拼写测试方法，步骤是：

利用64导联电极帽和脑电放大器采集脑电信号；

短时傅里叶变换步骤：首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到，

这里ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数，当把有限取值长度的观察窗沿时间轴平移，即在二维的时频平面上得到信号的频谱分布随时间变化的信息，从而得到脑电信号的二维时频图谱；

利用支持向量机SVM在离线阶段的脑电数据经过特征提取阶段之后，将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，对输入的脑电信号的时频特征利用建立好的model实时对于未知模式类型的运动想象进行分类。

在离线建模阶段，受试者需要根据提示音，根据提示音1s一次，连续想象50次左手按键，50次右手按键，50次双手按键以及50s静息，采集的200个样本经过信号处理用于建立四类运动想象分类：左手、右手、双手、静息的模型；在线测试阶段，受试者注视屏幕中自己希望输出的字符对应的运动序列，在任意的3秒内想象相应的运动序列，根据提示音1s一次；采集的脑电经过信号处理实时进行分类识别，如果连续检测出三个非静息的运动想象指令，根据检测出的序列输出相对应的字符。

受试者注视屏幕中自己希望输出的字符对应的运动序列，在任意的3秒内想象相应的运动序列，具体是按照字符编码表想象相应动作，

字符编码表

表中，1表示想象左手按键，2表示想象右手按键，3表示想象双手按键；在字符输出过程中，受试者需要根据提示音进行连续的三次运动想象，受试者希望输出字符“M”，则根据1秒一次的提示音连续想象右手按键1秒、右手按键1秒、左手按键1秒，采集的脑电经过信号处理实时模式识别，如果连续判断出“右”，“右”，“左”，则在屏幕上输出字符“M”，其它字符按表类推。

本发明的特点及有益效果是：

根据以上字符编码的设计，有效的扩展了MI-BCI的指令集，使得原有传统的MI-BCI系统能够克服指令集较少，对于字符拼写的任务受到限制这一缺点。本发明设计的基于MI-BCI的字符拼写器，与传统范式的字符拼写器(如基于P300的Oddball范式)相比，不需要外界刺激，使用者仅需要自主的控制自己的意念输出指令，可真正实现意念控制。本发明提出的编码方式，为MI-BCI系统大指令集操作奠定基础。

附图说明：

图1基于MI-BCI的字符拼写器结构示意图。

具体实施方式

本发明提供了一种基于运动想象脑-机接口(MI-BCI)的字符拼写器。运动想象可以看作是对运动行为的内心演练，而没有明显的运动输出。当人们想象自己某一肢体的运动时，特定脑区特定频带的脑电信号的幅值会减弱或者增强(事件相关去同步或事件相关同步(ERD/ERS))，从而产生相应的脑电模式。本装置设计将传统的基于单一肢体的运动想象指令集进行混合循环编码，从而实现大指令集的字符拼写的功能。

其技术流程是：设计新的字符拼写器实验，搭建实验平台，实时读取使用者脑电数据，将采集的数据进行预处理、特征提取，使用支持向量机进行模式识别，根据实时的拼写结果计算拼写器的分类正确率和信息传输率。

图1为本发明装置的结构示意图。该装置包括脑电信号采集模块，脑电信号处理模块，和字符显示及输出模块。其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中，通过MATLAB软件实现各种功能。受试者坐在显示器前方1m处，实验全程采集受试者64导联脑电信号，根据10-20国际标准导联位置摆放，以鼻尖为参考，前额叶为地，采样频率1000Hz，采用50Hz陷波器去除工频干扰。

实验过程中始终伴随以1s为间隔的提示音，用于帮助受试者控制想象运动时的节奏和时间。实验分为两个阶段：离线建模阶段和在线测试阶段。在离线建模阶段，受试者需要根据提示音，连续想象50次左手按键，50次右手按键，50次双手按键以及50s静息(根据提示音1s一次)。采集的200个样本经过信号处理用于建立四类运动想象分类(左手，右手，双手，静息)的模型。在线测试阶段，受试者注视屏幕中自己希望输出的字符对应的运动序列，根据提示音1s一次。采集的脑电经过信号处理实时进行分类识别，如果连续检测出三个非静息的运动想象指令(1s一个)，根据检测出的序列输出相对应的字符。传统的MI-BCI系统，提示受试者开始运动想象的时间，并且设计事件同步单元，用于与脑电信号的时间对齐和截取任务期间的脑电信号。本发明并不需要在脑电信号中加额外的“标签”，采用1s为窗宽，0.5s为步长的“滑动时间窗”，实时的截取数据与进行模式识别，输出识别结果。因此，受试者完全可以根据自己的意愿，真正的实现主动式输出。

1.1字符编码设计

通常情况下，在MI-BCI的系统中，将某一肢体或者复合肢体等的运动想象作为一个指令输出。本发明的创新之处在于设计了以三类原有的MI-BCI系统的指令(左手，右手，双手)进行循环编码，有效的扩展了指令集，并且可以满足字符输出的大指令任务。字符编码表如表1所示。

表1字符编码表

在字符输出过程中，受试者需要根据提示音进行连续的三次运动想象。如受试者希望输出字符“M”，则根据提示音(1s一次)连续想象右手按键(1s)、右手按键(1s)、左手按键(1s)，采集的脑电经过信号处理实时模式识别，如果连续判断出“右”，“右”，“左”，则在屏幕上输出字符“M”，否则不出输出(其中某次的运动想象判定为静息)或者输出错误字符(如判断为“右”，“左”，“右”，则输出“K”)。此外还设计了删除命令“Delete”，用于有错误输出时的修改。

1.2脑电数据的特征提取与分类

脑电信号在特征提取之前先进行预处理。由于脑电信号的采样频率是1000Hz，故首先降采样到200Hz。使用巴特沃斯滤波器对信号做8～30Hz的滤波。

在特征提取的过程中使用的是运动想象下的时频特征，即在前面提到的ERD特征。由于想象动作下ERD现象有着特定的发生频段，通常使用功率谱分析的方法。常用的谱分析方法中假设处理的信号时平稳的，也就是要求信号的频谱成分在整个时间轴上是同分布的。然而对于运动想象下的ERD现象，与时间和频率有着密切的关系，因此并非平稳信号，因为不能使用常规的谱分析的方法，而需要使用时频分析的方法，同时提取时域和频域信息。短时傅里叶分析是常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。

短时傅里叶变换的方法是首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，

这里ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数。当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，这样可以得到脑电信号的二维时频图谱。

在模式识别的过程中使用的是支持向量机(SVM)的方法。SVM是近年来在模式识别与机器学习领域中出现的新工具，以统计学习理论为基础，通过构造最优超平面，使得对未知样本的分类误差最小。在本发明中，离线阶段的脑电数据经过了特征提取阶段之后，我们将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，利用建立好的model实时对于未知模式类型的运动想象进行分类。

本发明设计了一种基于运动想象脑-机接口的字符拼写器。该项发明可以用于残疾人字符输出，与外界进行信息交互。另外本发明提出的编码方式进一步研究可以得到完善的大指令集基于运动想象的脑-机接口系统，在电子娱乐、工业控制等领域，有望获得可观的社会效益和经济效益。

Claims (4)

1.一种基于运动想象脑-机接口的字符拼写器，其特征是，由脑电信号采集模块、脑电信号处理模块和字符显示及输出模块构成，其中脑电信号采集模块包括64导联电极帽和脑电放大器；信号处理模块和显示模块集成在一台计算机中；信号处理模块由特征提取模块、模式识别模块构成；

特征提取模块采用短时傅里叶变换进行提取：一个有限宽度的观察窗W(t)对信号x(t)进行观察，随着t的变化，窗函数在时间轴上会有相应的位移，然后对加窗后的信号进行傅立叶变换得到信号的时频特征，

$STFT(t,\mathrm{\ω})=\underset{-\mathrm{\∞}}{\overset{+\mathrm{\∞}}{\∫}}x\left(\mathrm{\τ}\right)W^{*}(\mathrm{\τ}-t)e^{-j\mathrm{\ω}\mathrm{\τ}}d\mathrm{\τ}---\left(1\right)$

其中，ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数，τ是积分变量；

模式识别模块采用支持向量机SVM进行识别，过程如下：离线阶段的脑电数据经过特征提取阶段之后，将这些从样本中提取到的时频特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，对输入的在线脑电信号的时频特征利用建立好的model实时对于未知模式类型的运动想象进行分类，每秒输出一个识别结果。

2.一种基于运动想象脑-机接口的字符拼写测试方法，其特征是，步骤如下：

利用64导联电极帽和脑电放大器采集脑电信号；

短时傅里叶变换步骤：首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到，

$STFT(t,\mathrm{\ω})=\underset{-\mathrm{\∞}}{\overset{+\mathrm{\∞}}{\∫}}x\left(\mathrm{\τ}\right)W^{*}(\mathrm{\τ}-t)e^{-j\mathrm{\ω}\mathrm{\τ}}d\mathrm{\τ}---\left(1\right)$

这里ω是角频率，W^*(τ-t)是W(τ-t)的复共轭函数，当把有限取值长度的观察窗沿时间轴平移，即在二维的时频平面上得到信号的频谱分布随时间变化的信息，从而得到脑电信号的二维时频图谱；

利用支持向量机SVM在离线阶段的脑电数据经过特征提取阶段之后，将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model；在在线测试阶段，对输入的脑电信号的时频特征利用建立好的model实时对于未知模式类型的运动想象进行分类。

3.如权利要求2所述的基于运动想象脑-机接口的字符拼写测试方法，其特征是，在离线建模阶段，受试者需要根据提示音，根据提示音1s一次，连续想象50次左手按键，50次右手按键，50次双手按键以及50s静息，采集的200个样本经过信号处理用于建立四类运动想象分类：左手、右手、双手、静息的模型；在线测试阶段，受试者注视屏幕中自己希望输出的字符对应的运动序列，在任意的3秒内想象相应的运动序列，根据提示音1s一次；采集的脑电经过信号处理实时进行分类识别，如果连续检测出三个非静息的运动想象指令，根据检测出的序列输出相对应的字符。

4.如权利要求4所述的基于运动想象脑-机接口的字符拼写测试方法，其特征是，受试者注视屏幕中自己希望输出的字符对应的运动序列，在任意的3秒内想象相应的运动序列，具体是按照字符编码表想象相应动作，

字符编码表

表中，1表示想象左手按键，2表示想象右手按键，3表示想象双手按键；在字符输出过程中，受试者需要根据提示音进行连续的三次运动想象，受试者希望输出字符“M”，则根据1秒一次的提示音连续想象右手按键1秒、右手按键1秒、左手按键1秒，采集的脑电经过信号处理实时模式识别，如果连续判断出“右”，“右”，“左”，则在屏幕上输出字符“M”，其它字符按表类推。