CN113157100A

CN113157100A - 一种附加汉字默读与运动想象任务的脑-机接口方法

Info

Publication number: CN113157100A
Application number: CN202110629626.9A
Authority: CN
Inventors: 郭苗苗; 金铭; 吉利辉; 张天恒; 王子威
Original assignee: Hebei University of Technology
Current assignee: Hebei University of Technology
Priority date: 2021-01-04
Filing date: 2021-06-07
Publication date: 2021-07-23
Anticipated expiration: 2041-06-07
Also published as: CN113157100B; CN112732082A

Abstract

本发明为一种附加汉字默读与运动想象任务的脑‑机接口方法，包括以下内容：获取被试在多组附加汉字默读与运动想象任务中的脑电信号，单次任务以多个汉字为刺激，包括空闲阶段、准备阶段、提示阶段和默读想象阶段；对脑电信号进行预处理，获取被试的脑电信号能量，根据脑电信号能量确定最优滤波频率范围；对脑电信号进行重新预处理，重新预处理过程中根据最优滤波频率范围对脑电信号进行滤波处理；将预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，将分类结果用于驱动与大脑交互的外部设备。该方法提出了附加汉字默读的运动想象任务范式，提高了脑电信号的分类准确率。

Description

一种附加汉字默读与运动想象任务的脑-机接口方法

技术领域

本发明属于生物医学工程的脑-机接口技术领域，特别涉及一种附加汉字默读与运动想象任务的脑-机接口方法。

背景技术

脑机接口(Brain Computer Interface，BCI)是一种通过解码人类脑神经活动信息来实现大脑直接与外部设备进行交互的信息传输技术，BCI技术的实现是将脑皮层的电生理活动特征转换成相应的指令，进而实现大脑对外界设备的控制。BCI技术已经被应用于军事、医疗、娱乐等诸多领域，例如在军事领域可以利用脑电信号(Electroencephalogram,EEG)对武器装备进行辅助控制，在医疗领域可以利用BCI技术帮助肢体残疾病人直接控制外部设备，还可以通过运动想象(Motor imagery，MI)的EEG实现对机器人的遥控，让机器人在特定环境下完成任务。

基于MI-EEG(附加运动想象的脑电信号)的BCI技术是一种利用自发脑电驱动外部设备的技术，具有操作简单、成本低、风险小等优点，并且相较于利用外部刺激产生EEG进行驱动的方式，这项技术可以避免外部刺激对使用者产生的不良影响。目前，基于MI-EEG的BCI技术存在操作层面少的缺陷，提取的脑电特征有限，因此随着想象任务的增多，分类准确率会急剧下降；此外，仅凭使用者自主的心理活动很难对BCI系统的外部设备进行准确操纵，导致使用者不能有效且自发驱动外部设备。

BCI系统一般包含EEG采集、信号预处理、特征提取、分类判别以及控制接口五个部分，而BCI系统的核心是提高EEG的分类准确率，但是由于EEG具有个体差异性、信噪比低、信号不平稳等特点，每个使用者的脑电信号特征所在的频率范围不同，因此对所有使用者的脑电信号采用相同的频率范围进行滤波处理，不能保证每个使用者的EEG都能达到最好的分类效果。

综上所述，本发明提出一种附加汉字默读与运动想象任务的脑-机接口方法，融合了使用者的高级认知，进而诱发出更加明显的脑电特征，使得分类结果更加准确。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种附加汉字默读与运动想象任务的脑-机接口方法。

为了上述技术问题，本发明采取的技术方案如下：

一种附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，该方法包括以下内容：

获取被试在多组附加汉字默读与运动想象任务中的脑电信号，每组任务包含多次任务，单次任务以多个汉字为刺激，包括空闲阶段、准备阶段、提示阶段和默读想象阶段；

对脑电信号进行预处理，获取被试的脑电信号能量，根据脑电信号能量确定最优滤波频率范围；

对脑电信号进行重新预处理，重新预处理过程中根据最优滤波频率范围对脑电信号进行滤波处理；

将预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，将分类结果用于驱动与大脑交互的外部设备。

获得最优滤波频率范围的具体过程为：利用事件相关谱扰动算法分别对每个汉字对应的默读想象阶段F5、F6、P5、P6这四个电极采集的脑电信号进行时频分析，得到每个电极对应的脑电信号能量，将脑电信号能量的绝对值大于4的脑电信号能量所在的频率范围作为每个电极对应的脑电信号能量有显著变化的频率范围；将四个电极对于同一个汉字的脑电信号能量有显著变化的频率范围取并集得到该汉字对应的脑电信号能量有显著变化的频率范围；最后将所有汉字对应的脑电信号能量有显著变化的频率范围取并集，得到最优滤波频率范围；

其中，P5电极位于大脑的威尔尼克区，F5电极位于大脑的布洛卡区，F6电极和P6电极位于大脑右半球的感觉运动皮层。

对脑电信号进行预处理的具体过程为：

对脑电信号进行头皮定位，去除眼电信号；对去除眼电信号的脑电信号进行4～45Hz频率范围的滤波处理；将滤波处理后的脑电信号改变参考电极，对改变参考电极后的脑电信号进行独立成分分析，去除脑电信号中的伪迹；对去除伪迹后脑电信号进行基线校正，并对基线校正后的脑电信号进行数据分段，提取附加汉字默读与运动想象任务中每个汉字对应的默读想象阶段的脑电信号。

单次任务的过程为：

空闲阶段，计算机屏幕上显示黑底白字的“*”，持续时长2000ms，允许被试调整坐姿和情绪至自然放松状态；空闲阶段结束后进入准备阶段，计算机屏幕上显示黑底白字的“+”，持续时长1000ms，要求被试集中注意力；准备阶段结束后进入提示阶段，计算机屏幕上随机显示汉字，持续时长1000ms，提醒被试下一阶段需要进行的默读想象任务与该汉字相关；准备阶段结束后进入默读想象阶段，计算机屏幕上保持时长4000ms的黑屏，要求被试在心中一直默读该汉字同时想象与该汉字相关的运动想象动作，直到默读想象阶段结束。

每组附加汉字默读与运动想象任务均包含“跳”、“吃”、“握”和“空”这四个汉字；汉字“跳”，默读“tiao”，运动想象动作为“双脚跳跃”；汉字“吃”，默读“chi”，运动想象动作为“吞咽”；汉字“握”，默读“wo”，运动想象动作为“紧握”；汉字“空”，默读“kong”，运动想象动作为被试保持平静状态。

对脑电信号进行重新预处理包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正。

卷积神经网络的第一层为输入层，输入层通过一个含有32个卷积核为3×3的卷积层；接着顺次通过含有64个卷积核为5×5的卷积层和池化核为2×2，步长为2的池化层，最后通过全连接层和dropout层由softmax函数分类后再由输出层输出。

脑电数据样本为63通道×400个时间采样点的二维矩阵。

与现有技术相比，本发明的有益效果是：

1)本发明提出了一种附加汉字默读的运动想象任务范式，将传统的运动想象任务范式转变成依靠默读和想象两种高级认知相结合的方式产生自发脑电的任务范式，从而诱发出特征更加明显且更易提取的EEG，在丰富了BCI任务范式的同时也提高了EEG的分类准确率。附加汉字默读的运动想象任务范式，使被试的大脑在刺激目标的作用下，在进行运动现象任务的同时可以激发相应语言相脑区的响应，使得诱发的脑电特征更加明显，从而提升了EEG的分类准确率。

2)本发明考虑到被试的个体差异性，在对EEG进行滤波处理时采用事件相关谱扰动算法来为每名被试确定EEG提取的最优滤波频率范围，不仅可以获得更加纯净的EEG，还能保证提取到更加明显的脑电特征，在一定程度上弥补了由于用户间个体差异性导致分类器分类效果差的缺陷。

3)本发明可以应用在脑控机器人以及康复医疗等领域，可以有效提高基于MI-BCI控制的设备的可靠性和实用性，进一步提升基于MI-BCI系统的性能，完善了BCI系统的理论研究，有望获得可观的社会效益。

附图说明

图1是本发明的静态文字刺激界面示意图；

图2是本发明的单次任务的时序图；

图3是本发明中被试在默读想象阶段F5电极对应的事件相关谱扰动时频图；

图4是本发明中被试在默读想象阶段F6电极对应的事件相关谱扰动时频图；

图5是本发明中被试在默读想象阶段P5电极对应的事件相关谱扰动时频图；

图6是本发明中被试在默读想象阶段P6电极对应的事件相关谱扰动时频图。

具体实施方式

下面结合附图对本发明方法进行详细描述说明。

本发明为一种附加汉字默读与运动想象任务的脑-机接口方法(简称方法，参见图1-6)，包括以下步骤：

一、搭建附加汉字默读与运动想象任务的实验环境：将Neuroscan公司的64导电极帽佩戴在被试头部，脑电采集仪一端连接64导电极帽，另一端连接SynAmps2信号放大器，SynAmps2信号放大器另一端连接计算机，计算机中存储有curry8软件；电极帽上的电极采集脑电信号，并将所采集到的脑电信号通过脑电采集仪传输到SynAmps2信号放大器，脑电信号被放大后再由SynAmps2放大器通过USB接口传输到计算机中的Curry8软件中；

二、实施附加汉字默读与运动想象任务：被试坐在计算机屏幕前方70cm处的座位上，计算机屏幕上播放诱发被试的附加汉字默读与运动想象任务，要求每名被试根据计算机屏幕提示完成相应的附加汉字默读与运动想象任务，计算机屏幕上显示黑底白字；每组附加汉字默读与运动想象任务包含多个汉字的静态文字刺激；每个汉字在一组任务中各随机呈现多次，每次汉字呈现即开始单次任务，每个单次任务包含空闲阶段、准备阶段、提示阶段和默读想象阶段四个阶段；

三、对脑电信号进行预处理，包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正，得到被试的最优滤波频率范围；

通过64导电极帽采集被试的脑电信号，采集到的脑电信号传输到计算机，由curry8软件记录，并通过curry8软件将脑电信号保存为CNT格式；

将CNT格式的脑电信号导入MATLAB软件中，利用eeglab工具箱对脑电信号进行头皮定位，去除HEO(水平眼电)、VEO(垂直眼电)、EKG(心电)、EMG(肌电)、Trigger(触发电极)等无效电极，即去除眼电信号；由于正常人清醒时所测到的脑电信号频率范围主要介于4～45Hz，因此对去除眼电信号的脑电信号进行4～45Hz频率范围的滤波处理；将滤波处理后的脑电信号改变CZ(中央中线)作为参考电极，对改变参考电极后的脑电信号进行独立成分分析，去除脑电信号中的伪迹；对去除伪迹后脑电信号进行基线校正，并对基线校正后的脑电信号进行数据分段，提取出8组事件相关电位任务中每个汉字对应的默读想象阶段的脑电信号，每个汉字提取一组默读想象阶段的脑电信号；

考虑到被试的个体差异性，利用事件相关谱扰动算法分别对每个汉字对应的默读想象阶段F5、F6、P5、P6这四个电极采集的脑电信号进行时频分析，经过式(1)事件相关谱扰动算法后得到时域和频域内的脑电信号能量；脑电信号能量会因为外界刺激的作用而作出相应的改变，因此经过事件相关谱扰动分析后的脑电信号可以确定其平均功率谱在频域内的改变状况；

事件相关谱扰动算法的表达式为：

其中，X_k(c,f,t,k)表示时频分布值，k为脑电信号被分成较短的并且相互重合的数据段，c为导联，f为频率值，t为时间；n为数据段数量；ERSP表示事件相关谱扰动；

F5、F6、P5、P6为64导电极帽上的电极编号，P5位于大脑的威尔尼克区，F5位于大脑的布洛卡区，这两个脑区与语言加工处理密切相关；F6和P6位于大脑右半球的感觉运动皮层，感觉运动皮层的脑电信号与想象运动密切相关，因此这四个电极的脑电信号能够在反映附加汉字默读和运动想象任务时的大脑机制；

绘制每个电极对应的事件相关谱扰动时频图，事件相关谱扰动时频图可以反映脑电信号能量随时间和频率的变化情况；当脑电信号能量的绝对值大于4dB时，认为脑电信号能量相比于基线(ERSP＝0)变化显著，因此将脑电信号能量的绝对值大于4的脑电信号能量所在的频率范围作为每个电极对应的脑电信号能量有显著变化的频率范围；将四个电极对于同一个汉字的脑电信号能量有显著变化的频率范围取并集得到该汉字对应的脑电信号能量有显著变化的频率范围；最后将所有汉字对应的脑电信号能量有显著变化的频率范围取并集，得到被试的最优滤波频率范围；

四、对脑电信号重新进行预处理，包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正；将第三步得到的最优滤波频率范围作为滤波处理的频率范围；

五、预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，即根据脑电数据样本对脑电信号进行特征提取，分类结果为对应的汉字，将分类结果用于驱动与大脑交互的外部设备。

实施例

本实施例的附加汉字默读与运动想象任务的脑-机接口方法，包括：

一、搭建附加汉字默读与运动想象任务的实验环境：实验需要在安静、低光照水平的环境下完成，同时要求被试实验前保证睡眠充足，精神状态良好并且头发干净。实验开始前，为每名被试讲解实验的整个流程以及相应的想象任务，确保被试完全清楚流程后开始实验。

将Neuroscan公司的64导电极帽佩戴在被试头部，脑电采集仪一端连接64导电极帽，另一端连接SynAmps2信号放大器，SynAmps2信号放大器另一端连接计算机，计算机中存储有curry8软件；电极帽上的电极采集脑电信号，并将所采集到的脑电信号通过脑电采集仪传输到SynAmps2信号放大器，脑电信号被放大后再由SynAmps2放大器通过USB接口传输到计算机中的Curry8软件中。

二、实施附加汉字默读与运动想象任务：被试坐在计算机屏幕前方70cm处的座位上，计算机屏幕上播放诱发被试的附加汉字默读与运动想象任务，要求被试注视计算机屏幕；设置采样频率为1000Hz。事件相关电位任务刺激通过Eprime软件设计完成，要求每名被试根据计算机屏幕提示完成相应的附加汉字默读与运动想象任务，计算机屏幕上显示黑底白字；每组附加汉字默读与运动想象任务包含四个汉字的静态文字刺激，本实施例包括汉字“跳”，默读“tiao”，运动想象动作为“双脚跳跃”；汉字“吃”，默读“chi”，运动想象动作为“吞咽”；汉字“握”，默读“wo”，运动想象动作为“紧握”；汉字“空”，默读“kong”，运动想象动作为被试保持平静状态，用作对照。四个汉字在一组任务中各随机呈现10次，每次汉字呈现即开始单次任务，因此每组任务一共包含40次单次任务；每个单次任务包含空闲阶段、准备阶段、提示阶段和默读想象阶段四个阶段。

如图1所示，单次任务开始后，被试进入空闲阶段，计算机屏幕上显示“*”，持续时长2000ms，允许被试调整坐姿和情绪至自然放松状态；空闲阶段结束后进入准备阶段，计算机屏幕上显示“+”，持续时长1000ms，要求被试集中注意力；准备阶段结束后进入提示阶段，计算机屏幕上随机显示汉字“跳”，持续时长1000ms，提醒被试下一阶段需要进行的默读想象任务与汉字“跳”相关；准备阶段结束后进入默读想象阶段，计算机屏幕上保持时长4000ms的黑屏，要求被试在心中一直默读“tiao”同时想象“双脚跳跃”这一动作，直到默读想象阶段结束，至此单次任务完成；

然后重复下一次任务，直到完成一组事件相关电位任务；每组附加汉字默读与运动想象任务过后要求被试休息8min，被试需要完成8组附加汉字默读与运动想象任务。

事件相关谱扰动算法的表达式为：

F5、F6、P5、P6为64导电极帽上的电极编号，P5靠近颞上回的威尔尼克区，F5靠近额叶的布洛卡区，这两个脑区与语言加工处理密切相关；F6和P6位于大脑右半球的感觉运动皮层，感觉运动皮层的脑电信号与想象运动密切相关，因此这四个电极的脑电信号能够在反映附加汉字默读和运动想象任务时的大脑机制；

绘制每个电极对应的事件相关谱扰动时频图，事件相关谱扰动时频图可以反映脑电信号能量随时间和频率的变化情况；当脑电信号能量的绝对值大于4dB时，认为脑电信号能量相比于基线(ERSP＝0)变化显著，因此将脑电信号能量的绝对值大于4的脑电信号能量所在的频率范围作为每个电极对应的脑电信号能量有显著变化的频率范围；将四个电极对于同一个汉字的脑电信号能量有显著变化的频率范围取并集得到该汉字对应的脑电信号能量有显著变化的频率范围；最后将四个汉字对应的脑电信号能量有显著变化的频率范围取并集，得到被试的最优滤波频率范围；

以汉字“吃”为例，图3为被试在默读想象阶段F5电极对应的事件相关谱扰动时频图，图4为被试在默读想象阶段F6电极对应的事件相关谱扰动时频图，图5为被试在默读想象阶段P5电极对应的事件相关谱扰动时频图，图6为被试在默读想象阶段P6电极对应的事件相关谱扰动时频图，图3～6中第0s对应单次实验任务时序图中的第3s，即汉字“吃”刚出现的时刻；

图3中F5电极的脑电信号能量在10～16Hz频率范围内较基线有明显增强；图4中F6电极的脑电信号能量在10～15Hz频率范围内较基线有明显增强；图5中P5电极的脑电信号能量在9～27Hz频率范围内较基线有明显增强；图6中P6电极的脑电信号能量在10～15Hz频率范围内较基线有明显增强，因此被试在汉字“吃”对应的脑电信号能量有显著变化的频率范围为9～27Hz；同理，得到被试在汉字“握”对应的脑电信号能量有显著变化的频率范围为4～35Hz；在汉字“跳”对应的脑电信号能量有显著变化的频率范围为7～28Hz；在汉字“空”对应的脑电信号能量有显著变化的频率范围为4～30Hz；最后将这四个汉字对应的脑电信号能量有显著变化的频率范围取并集，得到被试的最优滤波频率范围为4～35Hz。

四、对脑电信号进行重新预处理，包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正；将第三步得到的最优滤波频率范围作为滤波处理的频率范围；

五、将预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，即根据脑电数据样本对脑电信号进行特征提取，分类结果为对应的汉字，将分类结果用于驱动与大脑交互的外部设备。

卷积神经网络的第一层为输入层，每个脑电数据样本为63通道×400个时间采样点的二维矩阵，输入层通过一个含有32个卷积核为3×3的卷积层，得到32个特征图；接着顺次通过含有64个卷积核为5×5的卷积层和池化核为2×2，步长为2的池化层，采用平均池化的方式；最后依次通过全连接层和dropout层由softmax函数分类后再由输出层输出。卷积神经网络的训练和验证属于现有技术，故本发明不再赘述。

通过10名被试的分类准确率以及统计分析结果，本发明的附加默读的运动想象任务的分类准确率(62.60％±2.41％)显著优于仅采用运动想象任务时的分类准确率(59.13％±2.95％)；

在无附加默读任务条件下，利用本发明得到的最优滤波频率范围对脑电信号进行滤波处理的分类准确率为60.70％±2.38％，利用正常人清醒时的脑电信号频率范围4～45Hz频率范围对脑电信号进行滤波处理的分类准确率为59.13％±2.95％，由于本发明为本每个被试确定了最优滤波频率范围，因此可以获得更加纯净的脑电信号，能够提取到更加明显的脑电特征，进而使得脑电信号的分类准确率更高。

综上，通过上述对比分析可以说明本发明的附加默读与运动想象的实验范式的有效性，不仅可以丰富自发脑电脑机接口的实验范式，还可以诱发特征更加明显的脑电信号，使得分类准确率更高。

本发明未述及之处适用于现有技术。

Claims

1.一种附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，该方法包括以下内容：

2.根据权利要求1所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，获得最优滤波频率范围的具体过程为：利用事件相关谱扰动算法分别对每个汉字对应的默读想象阶段F5、F6、P5、P6这四个电极采集的脑电信号进行时频分析，得到每个电极对应的脑电信号能量，将脑电信号能量的绝对值大于4的脑电信号能量所在的频率范围作为每个电极对应的脑电信号能量有显著变化的频率范围；将四个电极对于同一个汉字的脑电信号能量有显著变化的频率范围取并集得到该汉字对应的脑电信号能量有显著变化的频率范围；最后将所有汉字对应的脑电信号能量有显著变化的频率范围取并集，得到最优滤波频率范围；

3.根据权利要求1所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，对脑电信号进行预处理的具体过程为：

对脑电信号进行头皮定位，去除眼电信号；对去除眼电信号的脑电信号进行4～45Hz频率范围的滤波处理；将滤波处理后的脑电信号改变参考电极，对改变参考电极后的脑电信号进行独立成分分析，去除脑电信号中的伪迹；对去除伪迹后脑电信号进行基线校正，并对基线校正后的脑电信号进行数据分段，提取出附加汉字默读与运动想象任务中每个汉字对应的默读想象阶段的脑电信号。

4.根据权利要求1所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，单次任务的过程为：

5.根据权利要求4所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，每组任务包含“跳”、“吃”、“握”和“空”这四个汉字；汉字“跳”，默读“tiao”，运动想象动作为“双脚跳跃”；汉字“吃”，默读“chi”，运动想象动作为“吞咽”；汉字“握”，默读“wo”，运动想象动作为“紧握”；汉字“空”，默读“kong”，运动想象动作为被试保持平静状态。

6.根据权利要求1所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，对脑电信号进行重新预处理包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正。

7.根据权利要求1-6任一所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，卷积神经网络的第一层为输入层，输入层通过一个含有32个卷积核为3×3的卷积层；接着顺次通过含有64个卷积核为5×5的卷积层和池化核为2×2，步长为2的池化层，最后通过全连接层和dropout层由softmax函数分类后再由输出层输出。

8.根据权利要求7所述的附加汉字默读与运动想象任务的脑-机接口方法，脑电数据样本为63通道×400个时间采样点的二维矩阵。