CN113157100B - 一种附加汉字默读与运动想象任务的脑-机接口方法 - Google Patents

一种附加汉字默读与运动想象任务的脑-机接口方法 Download PDF

Info

Publication number
CN113157100B
CN113157100B CN202110629626.9A CN202110629626A CN113157100B CN 113157100 B CN113157100 B CN 113157100B CN 202110629626 A CN202110629626 A CN 202110629626A CN 113157100 B CN113157100 B CN 113157100B
Authority
CN
China
Prior art keywords
electroencephalogram
chinese character
brain
electroencephalogram signal
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110629626.9A
Other languages
English (en)
Other versions
CN113157100A (zh
Inventor
郭苗苗
金铭
吉利辉
张天恒
王子威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Publication of CN113157100A publication Critical patent/CN113157100A/zh
Application granted granted Critical
Publication of CN113157100B publication Critical patent/CN113157100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明为一种附加汉字默读与运动想象任务的脑‑机接口方法，包括以下内容：获取被试在多组附加汉字默读与运动想象任务中的脑电信号，单次任务以多个汉字为刺激，包括空闲阶段、准备阶段、提示阶段和默读想象阶段；对脑电信号进行预处理，获取被试的脑电信号能量，根据脑电信号能量确定最优滤波频率范围；对脑电信号进行重新预处理，重新预处理过程中根据最优滤波频率范围对脑电信号进行滤波处理；将预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，将分类结果用于驱动与大脑交互的外部设备。该方法提出了附加汉字默读的运动想象任务范式，提高了脑电信号的分类准确率。

Description

一种附加汉字默读与运动想象任务的脑-机接口方法
技术领域
本发明属于生物医学工程的脑-机接口技术领域，特别涉及一种附加汉字默读与运动想象任务的脑-机接口方法。
背景技术
脑机接口(Brain Computer Interface，BCI)是一种通过解码人类脑神经活动信息来实现大脑直接与外部设备进行交互的信息传输技术，BCI技术的实现是将脑皮层的电生理活动特征转换成相应的指令，进而实现大脑对外界设备的控制。BCI技术已经被应用于军事、医疗、娱乐等诸多领域，例如在军事领域可以利用脑电信号(Electroencephalogram,EEG)对武器装备进行辅助控制，在医疗领域可以利用BCI技术帮助肢体残疾病人直接控制外部设备，还可以通过运动想象(Motor imagery，MI)的EEG实现对机器人的遥控，让机器人在特定环境下完成任务。
基于MI-EEG(附加运动想象的脑电信号)的BCI技术是一种利用自发脑电驱动外部设备的技术，具有操作简单、成本低、风险小等优点，并且相较于利用外部刺激产生EEG进行驱动的方式，这项技术可以避免外部刺激对使用者产生的不良影响。目前，基于MI-EEG的BCI技术存在操作层面少的缺陷，提取的脑电特征有限，因此随着想象任务的增多，分类准确率会急剧下降；此外，仅凭使用者自主的心理活动很难对BCI系统的外部设备进行准确操纵，导致使用者不能有效且自发驱动外部设备。
BCI系统一般包含EEG采集、信号预处理、特征提取、分类判别以及控制接口五个部分，而BCI系统的核心是提高EEG的分类准确率，但是由于EEG具有个体差异性、信噪比低、信号不平稳等特点，每个使用者的脑电信号特征所在的频率范围不同，因此对所有使用者的脑电信号采用相同的频率范围进行滤波处理，不能保证每个使用者的EEG都能达到最好的分类效果。
综上所述，本发明提出一种附加汉字默读与运动想象任务的脑-机接口方法，融合了使用者的高级认知，进而诱发出更加明显的脑电特征，使得分类结果更加准确。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种附加汉字默读与运动想象任务的脑-机接口方法。
为了上述技术问题，本发明采取的技术方案如下：
一种附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，该方法包括以下内容：
获取被试在多组附加汉字默读与运动想象任务中的脑电信号，每组任务包含多次任务，单次任务以多个汉字为刺激，包括空闲阶段、准备阶段、提示阶段和默读想象阶段；
对脑电信号进行预处理，获取被试的脑电信号能量，根据脑电信号能量确定最优滤波频率范围；
对脑电信号进行重新预处理，重新预处理过程中根据最优滤波频率范围对脑电信号进行滤波处理；
将预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，将分类结果用于驱动与大脑交互的外部设备。
获得最优滤波频率范围的具体过程为：利用事件相关谱扰动算法分别对每个汉字对应的默读想象阶段F5、F6、P5、P6这四个电极采集的脑电信号进行时频分析，得到每个电极对应的脑电信号能量，将脑电信号能量的绝对值大于4的脑电信号能量所在的频率范围作为每个电极对应的脑电信号能量有显著变化的频率范围；将四个电极对于同一个汉字的脑电信号能量有显著变化的频率范围取并集得到该汉字对应的脑电信号能量有显著变化的频率范围；最后将所有汉字对应的脑电信号能量有显著变化的频率范围取并集，得到最优滤波频率范围；
其中，P5电极位于大脑的威尔尼克区，F5电极位于大脑的布洛卡区，F6电极和P6电极位于大脑右半球的感觉运动皮层。
对脑电信号进行预处理的具体过程为：
对脑电信号进行头皮定位，去除眼电信号；对去除眼电信号的脑电信号进行4～45Hz频率范围的滤波处理；将滤波处理后的脑电信号改变参考电极，对改变参考电极后的脑电信号进行独立成分分析，去除脑电信号中的伪迹；对去除伪迹后脑电信号进行基线校正，并对基线校正后的脑电信号进行数据分段，提取附加汉字默读与运动想象任务中每个汉字对应的默读想象阶段的脑电信号。
单次任务的过程为：
空闲阶段，计算机屏幕上显示黑底白字的“*”，持续时长2000ms，允许被试调整坐姿和情绪至自然放松状态；空闲阶段结束后进入准备阶段，计算机屏幕上显示黑底白字的“+”，持续时长1000ms，要求被试集中注意力；准备阶段结束后进入提示阶段，计算机屏幕上随机显示汉字，持续时长1000ms，提醒被试下一阶段需要进行的默读想象任务与该汉字相关；准备阶段结束后进入默读想象阶段，计算机屏幕上保持时长4000ms的黑屏，要求被试在心中一直默读该汉字同时想象与该汉字相关的运动想象动作，直到默读想象阶段结束。
每组附加汉字默读与运动想象任务均包含“跳”、“吃”、“握”和“空”这四个汉字；汉字“跳”，默读“tiao”，运动想象动作为“双脚跳跃”；汉字“吃”，默读“chi”，运动想象动作为“吞咽”；汉字“握”，默读“wo”，运动想象动作为“紧握”；汉字“空”，默读“kong”，运动想象动作为被试保持平静状态。
对脑电信号进行重新预处理包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正。
卷积神经网络的第一层为输入层，输入层通过一个含有32个卷积核为3×3的卷积层；接着顺次通过含有64个卷积核为5×5的卷积层和池化核为2×2，步长为2的池化层，最后通过全连接层和dropout层由softmax函数分类后再由输出层输出。
脑电数据样本为63通道×400个时间采样点的二维矩阵。
与现有技术相比，本发明的有益效果是：
1)本发明提出了一种附加汉字默读的运动想象任务范式，将传统的运动想象任务范式转变成依靠默读和想象两种高级认知相结合的方式产生自发脑电的任务范式，从而诱发出特征更加明显且更易提取的EEG，在丰富了BCI任务范式的同时也提高了EEG的分类准确率。附加汉字默读的运动想象任务范式，使被试的大脑在刺激目标的作用下，在进行运动现象任务的同时可以激发相应语言相脑区的响应，使得诱发的脑电特征更加明显，从而提升了EEG的分类准确率。
2)本发明考虑到被试的个体差异性，在对EEG进行滤波处理时采用事件相关谱扰动算法来为每名被试确定EEG提取的最优滤波频率范围，不仅可以获得更加纯净的EEG，还能保证提取到更加明显的脑电特征，在一定程度上弥补了由于用户间个体差异性导致分类器分类效果差的缺陷。
3)本发明可以应用在脑控机器人以及康复医疗等领域，可以有效提高基于MI-BCI控制的设备的可靠性和实用性，进一步提升基于MI-BCI系统的性能，完善了BCI系统的理论研究，有望获得可观的社会效益。
附图说明
图1是本发明的静态文字刺激界面示意图；
图2是本发明的单次任务的时序图；
图3是本发明中被试在默读想象阶段F5电极对应的事件相关谱扰动时频图；
图4是本发明中被试在默读想象阶段F6电极对应的事件相关谱扰动时频图；
图5是本发明中被试在默读想象阶段P5电极对应的事件相关谱扰动时频图；
图6是本发明中被试在默读想象阶段P6电极对应的事件相关谱扰动时频图。
具体实施方式
下面结合附图对本发明方法进行详细描述说明。
本发明为一种附加汉字默读与运动想象任务的脑-机接口方法(简称方法，参见图1-6)，包括以下步骤：
一、搭建附加汉字默读与运动想象任务的实验环境：将Neuroscan公司的64导电极帽佩戴在被试头部，脑电采集仪一端连接64导电极帽，另一端连接SynAmps2信号放大器，SynAmps2信号放大器另一端连接计算机，计算机中存储有curry8软件；电极帽上的电极采集脑电信号，并将所采集到的脑电信号通过脑电采集仪传输到SynAmps2信号放大器，脑电信号被放大后再由SynAmps2放大器通过USB接口传输到计算机中的Curry8软件中；
二、实施附加汉字默读与运动想象任务：被试坐在计算机屏幕前方70cm处的座位上，计算机屏幕上播放诱发被试的附加汉字默读与运动想象任务，要求每名被试根据计算机屏幕提示完成相应的附加汉字默读与运动想象任务，计算机屏幕上显示黑底白字；每组附加汉字默读与运动想象任务包含多个汉字的静态文字刺激；每个汉字在一组任务中各随机呈现多次，每次汉字呈现即开始单次任务，每个单次任务包含空闲阶段、准备阶段、提示阶段和默读想象阶段四个阶段；
三、对脑电信号进行预处理，包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正，得到被试的最优滤波频率范围；
通过64导电极帽采集被试的脑电信号，采集到的脑电信号传输到计算机，由curry8软件记录，并通过curry8软件将脑电信号保存为CNT格式；
将CNT格式的脑电信号导入MATLAB软件中，利用eeglab工具箱对脑电信号进行头皮定位，去除HEO(水平眼电)、VEO(垂直眼电)、EKG(心电)、EMG(肌电)、Trigger(触发电极)等无效电极，即去除眼电信号；由于正常人清醒时所测到的脑电信号频率范围主要介于4～45Hz，因此对去除眼电信号的脑电信号进行4～45Hz频率范围的滤波处理；将滤波处理后的脑电信号改变CZ(中央中线)作为参考电极，对改变参考电极后的脑电信号进行独立成分分析，去除脑电信号中的伪迹；对去除伪迹后脑电信号进行基线校正，并对基线校正后的脑电信号进行数据分段，提取出8组事件相关电位任务中每个汉字对应的默读想象阶段的脑电信号，每个汉字提取一组默读想象阶段的脑电信号；
考虑到被试的个体差异性，利用事件相关谱扰动算法分别对每个汉字对应的默读想象阶段F5、F6、P5、P6这四个电极采集的脑电信号进行时频分析，经过式(1)事件相关谱扰动算法后得到时域和频域内的脑电信号能量；脑电信号能量会因为外界刺激的作用而作出相应的改变，因此经过事件相关谱扰动分析后的脑电信号可以确定其平均功率谱在频域内的改变状况；
事件相关谱扰动算法的表达式为：
Figure BDA0003103147470000041
其中，Xk(c,f,t,k)表示时频分布值，k为脑电信号被分成较短的并且相互重合的数据段，c为导联，f为频率值，t为时间；n为数据段数量；ERSP表示事件相关谱扰动；
F5、F6、P5、P6为64导电极帽上的电极编号，P5位于大脑的威尔尼克区，F5位于大脑的布洛卡区，这两个脑区与语言加工处理密切相关；F6和P6位于大脑右半球的感觉运动皮层，感觉运动皮层的脑电信号与想象运动密切相关，因此这四个电极的脑电信号能够在反映附加汉字默读和运动想象任务时的大脑机制；
绘制每个电极对应的事件相关谱扰动时频图，事件相关谱扰动时频图可以反映脑电信号能量随时间和频率的变化情况；当脑电信号能量的绝对值大于4dB时，认为脑电信号能量相比于基线(ERSP＝0)变化显著，因此将脑电信号能量的绝对值大于4的脑电信号能量所在的频率范围作为每个电极对应的脑电信号能量有显著变化的频率范围；将四个电极对于同一个汉字的脑电信号能量有显著变化的频率范围取并集得到该汉字对应的脑电信号能量有显著变化的频率范围；最后将所有汉字对应的脑电信号能量有显著变化的频率范围取并集，得到被试的最优滤波频率范围；
四、对脑电信号重新进行预处理，包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正；将第三步得到的最优滤波频率范围作为滤波处理的频率范围；
五、预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，即根据脑电数据样本对脑电信号进行特征提取，分类结果为对应的汉字，将分类结果用于驱动与大脑交互的外部设备。
实施例
本实施例的附加汉字默读与运动想象任务的脑-机接口方法，包括：
一、搭建附加汉字默读与运动想象任务的实验环境：实验需要在安静、低光照水平的环境下完成，同时要求被试实验前保证睡眠充足，精神状态良好并且头发干净。实验开始前，为每名被试讲解实验的整个流程以及相应的想象任务，确保被试完全清楚流程后开始实验。
将Neuroscan公司的64导电极帽佩戴在被试头部，脑电采集仪一端连接64导电极帽，另一端连接SynAmps2信号放大器，SynAmps2信号放大器另一端连接计算机，计算机中存储有curry8软件；电极帽上的电极采集脑电信号，并将所采集到的脑电信号通过脑电采集仪传输到SynAmps2信号放大器，脑电信号被放大后再由SynAmps2放大器通过USB接口传输到计算机中的Curry8软件中。
二、实施附加汉字默读与运动想象任务：被试坐在计算机屏幕前方70cm处的座位上，计算机屏幕上播放诱发被试的附加汉字默读与运动想象任务，要求被试注视计算机屏幕；设置采样频率为1000Hz。事件相关电位任务刺激通过Eprime软件设计完成，要求每名被试根据计算机屏幕提示完成相应的附加汉字默读与运动想象任务，计算机屏幕上显示黑底白字；每组附加汉字默读与运动想象任务包含四个汉字的静态文字刺激，本实施例包括汉字“跳”，默读“tiao”，运动想象动作为“双脚跳跃”；汉字“吃”，默读“chi”，运动想象动作为“吞咽”；汉字“握”，默读“wo”，运动想象动作为“紧握”；汉字“空”，默读“kong”，运动想象动作为被试保持平静状态，用作对照。四个汉字在一组任务中各随机呈现10次，每次汉字呈现即开始单次任务，因此每组任务一共包含40次单次任务；每个单次任务包含空闲阶段、准备阶段、提示阶段和默读想象阶段四个阶段。
如图1所示，单次任务开始后，被试进入空闲阶段，计算机屏幕上显示“*”，持续时长2000ms，允许被试调整坐姿和情绪至自然放松状态；空闲阶段结束后进入准备阶段，计算机屏幕上显示“+”，持续时长1000ms，要求被试集中注意力；准备阶段结束后进入提示阶段，计算机屏幕上随机显示汉字“跳”，持续时长1000ms，提醒被试下一阶段需要进行的默读想象任务与汉字“跳”相关；准备阶段结束后进入默读想象阶段，计算机屏幕上保持时长4000ms的黑屏，要求被试在心中一直默读“tiao”同时想象“双脚跳跃”这一动作，直到默读想象阶段结束，至此单次任务完成；
然后重复下一次任务，直到完成一组事件相关电位任务；每组附加汉字默读与运动想象任务过后要求被试休息8min，被试需要完成8组附加汉字默读与运动想象任务。
三、对脑电信号进行预处理，包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正，得到被试的最优滤波频率范围；
通过64导电极帽采集被试的脑电信号，采集到的脑电信号传输到计算机，由curry8软件记录，并通过curry8软件将脑电信号保存为CNT格式；
将CNT格式的脑电信号导入MATLAB软件中，利用eeglab工具箱对脑电信号进行头皮定位，去除HEO(水平眼电)、VEO(垂直眼电)、EKG(心电)、EMG(肌电)、Trigger(触发电极)等无效电极，即去除眼电信号；由于正常人清醒时所测到的脑电信号频率范围主要介于4～45Hz，因此对去除眼电信号的脑电信号进行4～45Hz频率范围的滤波处理；将滤波处理后的脑电信号改变CZ(中央中线)作为参考电极，对改变参考电极后的脑电信号进行独立成分分析，去除脑电信号中的伪迹；对去除伪迹后脑电信号进行基线校正，并对基线校正后的脑电信号进行数据分段，提取出8组事件相关电位任务中每个汉字对应的默读想象阶段的脑电信号，每个汉字提取一组默读想象阶段的脑电信号；
考虑到被试的个体差异性，利用事件相关谱扰动算法分别对每个汉字对应的默读想象阶段F5、F6、P5、P6这四个电极采集的脑电信号进行时频分析，经过式(1)事件相关谱扰动算法后得到时域和频域内的脑电信号能量；脑电信号能量会因为外界刺激的作用而作出相应的改变，因此经过事件相关谱扰动分析后的脑电信号可以确定其平均功率谱在频域内的改变状况；
事件相关谱扰动算法的表达式为：
Figure BDA0003103147470000061
其中，Xk(c,f,t,k)表示时频分布值，k为脑电信号被分成较短的并且相互重合的数据段，c为导联，f为频率值，t为时间；n为数据段数量；ERSP表示事件相关谱扰动；
F5、F6、P5、P6为64导电极帽上的电极编号，P5靠近颞上回的威尔尼克区，F5靠近额叶的布洛卡区，这两个脑区与语言加工处理密切相关；F6和P6位于大脑右半球的感觉运动皮层，感觉运动皮层的脑电信号与想象运动密切相关，因此这四个电极的脑电信号能够在反映附加汉字默读和运动想象任务时的大脑机制；
绘制每个电极对应的事件相关谱扰动时频图，事件相关谱扰动时频图可以反映脑电信号能量随时间和频率的变化情况；当脑电信号能量的绝对值大于4dB时，认为脑电信号能量相比于基线(ERSP＝0)变化显著，因此将脑电信号能量的绝对值大于4的脑电信号能量所在的频率范围作为每个电极对应的脑电信号能量有显著变化的频率范围；将四个电极对于同一个汉字的脑电信号能量有显著变化的频率范围取并集得到该汉字对应的脑电信号能量有显著变化的频率范围；最后将四个汉字对应的脑电信号能量有显著变化的频率范围取并集，得到被试的最优滤波频率范围；
以汉字“吃”为例，图3为被试在默读想象阶段F5电极对应的事件相关谱扰动时频图，图4为被试在默读想象阶段F6电极对应的事件相关谱扰动时频图，图5为被试在默读想象阶段P5电极对应的事件相关谱扰动时频图，图6为被试在默读想象阶段P6电极对应的事件相关谱扰动时频图，图3～6中第0s对应单次实验任务时序图中的第3s，即汉字“吃”刚出现的时刻；
图3中F5电极的脑电信号能量在10～16Hz频率范围内较基线有明显增强；图4中F6电极的脑电信号能量在10～15Hz频率范围内较基线有明显增强；图5中P5电极的脑电信号能量在9～27Hz频率范围内较基线有明显增强；图6中P6电极的脑电信号能量在10～15Hz频率范围内较基线有明显增强，因此被试在汉字“吃”对应的脑电信号能量有显著变化的频率范围为9～27Hz；同理，得到被试在汉字“握”对应的脑电信号能量有显著变化的频率范围为4～35Hz；在汉字“跳”对应的脑电信号能量有显著变化的频率范围为7～28Hz；在汉字“空”对应的脑电信号能量有显著变化的频率范围为4～30Hz；最后将这四个汉字对应的脑电信号能量有显著变化的频率范围取并集，得到被试的最优滤波频率范围为4～35Hz。
四、对脑电信号进行重新预处理，包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正；将第三步得到的最优滤波频率范围作为滤波处理的频率范围；
五、将预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，即根据脑电数据样本对脑电信号进行特征提取，分类结果为对应的汉字，将分类结果用于驱动与大脑交互的外部设备。
卷积神经网络的第一层为输入层，每个脑电数据样本为63通道×400个时间采样点的二维矩阵，输入层通过一个含有32个卷积核为3×3的卷积层，得到32个特征图；接着顺次通过含有64个卷积核为5×5的卷积层和池化核为2×2，步长为2的池化层，采用平均池化的方式；最后依次通过全连接层和dropout层由softmax函数分类后再由输出层输出。卷积神经网络的训练和验证属于现有技术，故本发明不再赘述。
通过10名被试的分类准确率以及统计分析结果，本发明的附加默读的运动想象任务的分类准确率(62.60％±2.41％)显著优于仅采用运动想象任务时的分类准确率(59.13％±2.95％)；
在无附加默读任务条件下，利用本发明得到的最优滤波频率范围对脑电信号进行滤波处理的分类准确率为60.70％±2.38％，利用正常人清醒时的脑电信号频率范围4～45Hz频率范围对脑电信号进行滤波处理的分类准确率为59.13％±2.95％，由于本发明为本每个被试确定了最优滤波频率范围，因此可以获得更加纯净的脑电信号，能够提取到更加明显的脑电特征，进而使得脑电信号的分类准确率更高。
综上，通过上述对比分析可以说明本发明的附加默读与运动想象的实验范式的有效性，不仅可以丰富自发脑电脑机接口的实验范式，还可以诱发特征更加明显的脑电信号，使得分类准确率更高。
本发明未述及之处适用于现有技术。

Claims (6)

1.一种附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，该方法包括以下内容：
获取被试在多组附加汉字默读与运动想象任务中的脑电信号，每组任务包含多次任务，单次任务以多个汉字为刺激，包括空闲阶段、准备阶段、提示阶段和默读想象阶段；空闲阶段计算机屏幕上显示黑底白字的“*”，持续时长2000ms，允许被试调整坐姿和情绪至自然放松状态；空闲阶段结束后进入准备阶段，计算机屏幕上显示黑底白字的“+”，持续时长1000ms，要求被试集中注意力；准备阶段结束后进入提示阶段，计算机屏幕上随机显示汉字，持续时长1000ms，提醒被试下一阶段需要进行的默读想象任务与该汉字相关；提示阶段结束后进入默读想象阶段，计算机屏幕上保持时长4000ms的黑屏，要求被试在心中一直默读该汉字同时想象与该汉字相关的运动想象动作，直到默读想象阶段结束；
对脑电信号进行预处理，获取被试的脑电信号能量；利用事件相关谱扰动算法分别对每个汉字对应的默读想象阶段F5、F6、P5、P6这四个电极采集的脑电信号进行时频分析，得到每个电极对应的脑电信号能量，将脑电信号能量的绝对值大于4dB的脑电信号能量所在的频率范围作为每个电极对应的脑电信号能量有显著变化的频率范围；将四个电极对于同一个汉字的脑电信号能量有显著变化的频率范围取并集得到该汉字对应的脑电信号能量有显著变化的频率范围；最后将所有汉字对应的脑电信号能量有显著变化的频率范围取并集，得到最优滤波频率范围；其中，P5电极位于大脑的威尔尼克区，F5电极位于大脑的布洛卡区，F6电极和P6电极位于大脑右半球的感觉运动皮层；
对脑电信号进行重新预处理，重新预处理过程中根据最优滤波频率范围对脑电信号进行滤波处理；
将预处理后的脑电信号作为脑电数据样本，通过卷积神经网络对脑电数据样本进行特征提取和分类，将分类结果用于驱动与大脑交互的外部设备。
2.根据权利要求1所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，对脑电信号进行预处理的具体过程为：
对脑电信号进行头皮定位，去除眼电信号；对去除眼电信号的脑电信号进行4～45Hz频率范围的滤波处理；将滤波处理后的脑电信号改变参考电极，对改变参考电极后的脑电信号进行独立成分分析，去除脑电信号中的伪迹；对去除伪迹后脑电信号进行基线校正，并对基线校正后的脑电信号进行数据分段，提取出附加汉字默读与运动想象任务中每个汉字对应的默读想象阶段的脑电信号。
3.根据权利要求1所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，每组任务包含“跳”、“吃”、“握”和“空”这四个汉字；汉字“跳”，默读“tiao”，运动想象动作为“双脚跳跃”；汉字“吃”，默读“chi”，运动想象动作为“吞咽”；汉字“握”，默读“wo”，运动想象动作为“紧握”；汉字“空”，默读“kong”，运动想象动作为被试保持平静状态。
4.根据权利要求1所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，对脑电信号进行重新预处理包括去除眼电、改变参考电极、滤波、去伪迹、数据分段和基线校正。
5.根据权利要求1-4任一所述的附加汉字默读与运动想象任务的脑-机接口方法，其特征在于，卷积神经网络的第一层为输入层，输入层通过一个含有32个卷积核为3×3的卷积层；接着顺次通过含有64个卷积核为5×5的卷积层和池化核为2×2，步长为2的池化层，最后通过全连接层和dropout层由softmax函数分类后再由输出层输出。
6.根据权利要求5所述的附加汉字默读与运动想象任务的脑-机接口方法，脑电数据样本为63通道×400个时间采样点的二维矩阵。
CN202110629626.9A 2021-01-04 2021-06-07 一种附加汉字默读与运动想象任务的脑-机接口方法 Active CN113157100B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021100044692 2021-01-04
CN202110004469.2A CN112732082A (zh) 2021-01-04 2021-01-04 基于附加汉字默读运动想象方式的脑-机接口方法

Publications (2)

Publication Number Publication Date
CN113157100A CN113157100A (zh) 2021-07-23
CN113157100B true CN113157100B (zh) 2022-04-01

Family

ID=75590780

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110004469.2A Pending CN112732082A (zh) 2021-01-04 2021-01-04 基于附加汉字默读运动想象方式的脑-机接口方法
CN202110629626.9A Active CN113157100B (zh) 2021-01-04 2021-06-07 一种附加汉字默读与运动想象任务的脑-机接口方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110004469.2A Pending CN112732082A (zh) 2021-01-04 2021-01-04 基于附加汉字默读运动想象方式的脑-机接口方法

Country Status (1)

Country Link
CN (2) CN112732082A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113504828A (zh) * 2021-06-28 2021-10-15 广州大学 基于语言想象和运动想象的脑机接口控制方法及系统
CN113625870B (zh) * 2021-07-29 2024-06-28 南京航空航天大学 基于语言想象的脑-机接口控制系统和方法
CN114305333B (zh) * 2021-12-16 2024-06-25 广州大学 一种基于脑网络和深度学习的脑电信号识别方法
CN117056831A (zh) * 2023-10-13 2023-11-14 南京龙垣信息科技有限公司 基于卷积神经网络的内心独白识别方法
CN117389441B (zh) * 2023-11-23 2024-03-15 首都医科大学附属北京天坛医院 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统
CN117608402B (zh) * 2023-11-23 2024-05-14 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563324A (zh) * 2018-03-04 2018-09-21 天津大学 一种面向过程控制的运动想象脑-机接口设计方法
CN110232341A (zh) * 2019-05-30 2019-09-13 重庆邮电大学 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446020B (zh) * 2018-02-28 2021-01-08 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN109471530A (zh) * 2018-10-22 2019-03-15 吉林大学 基于稳态视觉诱发电位和运动想象的脑控输入法
CN111973178B (zh) * 2020-08-14 2024-07-05 中国科学院上海微系统与信息技术研究所 一种脑电信号识别系统及方法
CN112084879B (zh) * 2020-08-14 2022-04-19 杭州电子科技大学 一种运动想象脑电的块选择共空间模式特征提取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563324A (zh) * 2018-03-04 2018-09-21 天津大学 一种面向过程控制的运动想象脑-机接口设计方法
CN110232341A (zh) * 2019-05-30 2019-09-13 重庆邮电大学 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法

Also Published As

Publication number Publication date
CN113157100A (zh) 2021-07-23
CN112732082A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN113157100B (zh) 一种附加汉字默读与运动想象任务的脑-机接口方法
Bigdely-Shamlo et al. Brain activity-based image classification from rapid serial visual presentation
Fazel-Rezai et al. A region-based P300 speller for brain-computer interface
Wolpaw et al. The Wadsworth Center brain-computer interface (BCI) research and development program
CN111329474B (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
Wolpaw et al. Brain-computer interface research at the Wadsworth Center
CN103699216B (zh) 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN110262658B (zh) 一种基于强化注意的脑机接口字符输入系统及实现方法
CN102200833B (zh) 一种Speller BCI系统及其控制方法
Obeidat et al. Introducing the edges paradigm: a P300 brain–computer interface for spelling written words
CN114601476A (zh) 一种基于视频刺激下的eeg信号情感识别方法
Hamner et al. Learning dictionaries of spatial and temporal EEG primitives for brain-computer interfaces
Aldea et al. Classifications of motor imagery tasks using k-nearest neighbors
Fazel-Rezai et al. A comparison between a matrix-based and a region-based P300 speller paradigms for brain-computer interface
Narayan Mi based brain signals identification using knn and mlp classifiers
Wei et al. Channel selection by genetic algorithms for classifying single-trial ECoG during motor imagery
Fangmeng et al. Emotional changes detection for dementia people with spectrograms from physiological signals
Huang et al. EEG-based online two-dimensional cursor control
Li et al. Electroencephalogram and Electrocardiogram in Human-Computer Interaction
Chaurasiya et al. Multi-Objective binary-PSO for improving the performance of P300 speller
CN112230767B (zh) 基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法
Ramakuri et al. The Virtual Keyboard Is Accessible Using Wireless EEG Device for Patient’s with Paralysis
CN112633312B (zh) 基于ssmvep-erp-osr混合脑机接口的自动寻优方法
Hanczak Role of Brain-Computer Technology in Synthetic Telepathy
Fazel-Rezai P300-based speller brain-computer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant