CN112732082A - 基于附加汉字默读运动想象方式的脑-机接口方法 - Google Patents

基于附加汉字默读运动想象方式的脑-机接口方法 Download PDF

Info

Publication number
CN112732082A
CN112732082A CN202110004469.2A CN202110004469A CN112732082A CN 112732082 A CN112732082 A CN 112732082A CN 202110004469 A CN202110004469 A CN 202110004469A CN 112732082 A CN112732082 A CN 112732082A
Authority
CN
China
Prior art keywords
stage
prompt
imagination
phase
chinese character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110004469.2A
Other languages
English (en)
Inventor
郭苗苗
金铭
吉利辉
张天恒
王子威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202110004469.2A priority Critical patent/CN112732082A/zh
Publication of CN112732082A publication Critical patent/CN112732082A/zh
Priority to CN202110629626.9A priority patent/CN113157100B/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明为一种基于附加汉字默读运动想象方式的脑‑机接口方法，采用静态文字的刺激方式，确定具有不同含义四个汉字的刺激界面，用户通过根据界面的提示来进行相应的附加汉字默读的运动想象任务，单次试验包括四个阶段：空闲阶段、准备阶段、提示阶段和想象期阶段。空闲阶段2000ms允许被试调整放松状态；准备阶段1000ms提醒被试马上进入提示阶段需要保持注意力集中；提示阶段1000ms随机给被试某个静态文字刺激；想象期阶段4000ms要求被试心中默读提示阶段提示的汉字并同时完成相应的想象任务。想象期过后，单次实验结束。

Description

基于附加汉字默读运动想象方式的脑-机接口方法
技术领域
本发明属于生物医学工程脑-机接口技术领域，特别涉及到基于附加汉字默读的运动想象的自发脑电实验范式。
背景技术
脑机接口(Brain Computer Interface，BCI)是一种通过解码人类脑神经活动信息来实现大脑直接与外部设备进行交互的信息传输技术，近年来受到了广泛的关注。BCI技术的实现是将脑皮层的电生理活动特征转换成提前设置好的指令，进而实现大脑对外界设备的控制。现如今BCI技术已经应用于军事、医疗、娱乐等诸多领域。例如，在军事领域，可以利用脑电信号(Electroencephalogram,EEG)对武器装备进行辅助控制，在医疗领域，可以利用BCI技术帮助肢体残疾病人通过EEG直接控制外部设备。还可以通过运动想象(Motorimagery，MI)BCI实现对机器人的遥控，让机器人在特殊环境下完成一些任务。因此对于BCI的研究在各个领域内都具有重大的意义。
MI-BCI在BCI技术的研究中有着重要的价值地位。基于MI-EEG的BCI技术是一种利用自发脑电驱动外部设备的方式，具有操作简单、成本低、风险小等优点。并且相较于由外部刺激受试者产生相应EEG进行驱动的方式，这项技术可以避免由于外部刺激对受试者产生的不良影响。
采用自发脑电的BCI方式虽然优点很多但也存在着一些缺陷，比如操作层面少，并且随着想象任务的增多，分类准确率会急剧下降。除此之外，仅凭受试者自主的心理活动很难对该类BCI系统的外部设备进行准确的操纵，很多受试者不能有效地自发驱动外部设备的EEG。
BCI系统一般包含EEG采集、信号预处理、特征提取、分类判别以及控制接口五个部分，而系统的核心是提高EEG的分类准确率。但是由于EEG具有个体差异性、信噪比低、信号不平稳等特点，使得相同的信号预处理方式不能保证每名用户的EEG最终都能达到最好的分类效果。李宇琛等(基于卷积神经网络的想象运动EEG分类研究)对脑电数据进行0～38Hz、0～∞Hz、4～38Hz、4～∞Hz四个频率范围进行滤波处理，再通过ShallowSLNet、DeepNet、EEGNet、SSN四种深度学习网络进行特征提取并分类，验证了滤波范围会对分类结果产生影响。
发明内容
本发明的目的是希望能够在一定程度上解决上述MI-BCI系统在实际应用中的存在的问题，提供一种附加汉字默读的MI实验范式，将语言和想象这两种高级认知活动结合在一起，并提取这种结合方式诱发的EEG中有效特征作为BCI系统的操纵输入，丰富了EEG的任务范式并提高了分类精度；另一方面，在对EEG进行滤波预处理的过程中提供了一种基于事件相关谱扰动算法来确定EEG滤波区间的方法，通过该方法可以为每名用户确定其EEG滤波处理时的最优滤波区间，从而在一定程度上弥补了由于用户间个体差异性导致分类器分类效果差的问题。
为了实现以上发明目的，本发明采取的技术方案如下：
1实验过程：
将实验相关采集设备连接好，采样率选取为1000Hz。被试戴好64导电极帽坐在计算机屏幕前，电极将所采集到的EEG和眼电信号通过信号采集仪传输到SynAmps2放大器，EEG与EOG信号被放大后再由SynAmps2放大器通过USB接口传输到运行于计算机中的Curry8软件中。
本发明设计了四个汉字的静态文字刺激，实验流程包括四个阶段：空闲阶段、准备阶段、提示阶段和想象期阶段。空闲阶段允许被试调整放松状态；准备阶段提醒被试马上进入提示阶段需要保持注意力集中；提示阶段随机给被试某个静态文字刺激；想象期阶段要求被试心中默读提示阶段提示的汉字并同时完成相应的想象任务。想象期过后，单次实验结束。最后通过分类算法将EEG与相应的静态文字刺激进行匹配，并与无附加汉字默读的MI实验方法的匹配效果进行对比，从而突显附加默读任务的意义，为丰富MI任务范式、提升MI任务分类准确率提供了帮助。
2EEG处理过程：
在对EEG进行特征提取与分类之前需要对原始EEG进行预处理，其中包括：去除眼电、改变参考电极，滤波，去伪迹，数据分段，基线校正。其中，考虑到被试间的个体差异性，在对EEG进行滤波处理的过程中采用事件相关谱扰动算法来为每名被试确定EEG的最优滤波区间。事件相关谱扰动算法定义为：
Figure BDA0002882561100000021
其中Xk(c，f，t，k)表示时频分布值，k为数据段，c为导联，f为频率值，t为时间。计算的值为数据段个数为n的ERSP。
时频图谱可以反映信号随时间和频率的变化情况，本发明在对EEG进行滤波处理的时候采用时间相关谱扰动算法来记录EEG在时域和频域内事件相关能量的变化，并根据能量相对于基线的前后波动状态，为每名被试确定合适的滤波频域范围。
最后，通过浅层的卷积神经网络对预处理后的EEG进行特征提取并分类。
本发明提出了一种附加汉字默读MI的实验范式，将传统的MI实验范式转变成依靠默读和想象两种高级认知相结合的方式产生自发脑电的实验范式，从而诱发出特征更加明显且更易提取的EEG，在丰富了BCI任务范式的同时也提高了EEG的分类精度。另一方面，考虑到EEG被试间个体差异性大的特点，本发明提供了一种基于事件相关谱扰动算法来确定EEG滤波区间的方法，通过该方法可以为每名用户确定其EEG滤波处理时的最优滤波区间，从而在一定程度上弥补了由于用户间个体差异性导致分类器分类效果差的问题。
与现有技术相比，本发明的有益效果是：
1)本发明设计了一种附加汉字默读的MI试验方法，使被试的大脑在面对不同的刺激目标进行MI的同时可以激发相应语言相脑区的响应，使得诱发的脑电特征更加明显，从而提升了EEG的识别准确率。
2)本发明采用语言默读和MI结合的方式来诱发脑电，丰富了BCI的任务范式。
3)本发明考虑到被试间的个体差异性，在对EEG进行滤波处理的过程中采用事件相关谱扰动算法来为每名被试确定EEG的最优滤波区间，从而可以获得更加纯净的EEG。
4)本发明可以应用在脑控机器人以及康复医疗等领域，可以有效提高基于MIBCI设备的实用性。
附图说明
图1是静态文字刺激界面。
图2是单次试验时序图。
图3是事件相关谱扰动时频图谱。
具体实施方式
下面结合附图对本发明方法进行详细描述说明。
采用本发明方法进行实验的硬件设备需要64导的电极帽、脑电采集仪、信号放大器、计算机，软件设备需要curry8和Eprime。实验需要在安静、低光照水平的环境下完成，同时要求受试者实验前保证睡眠充足，精神状态良好并且头发干净。实验开始前，为每名被试讲解实验的整个流程以及相应的想象任务，确保被试完全清楚流程后开始实验。
本发明采用Eprime软件设计出四个汉字的静态文字刺激方式(如图所示)，要求每名被试根据汉字提示完成相应的附加默读想象任务(通过文字提示，心理默读提示文字的同时想象身体相关部位运动。例如，提示字为“跳”，被试应心中默读“tiao”同时想象“双脚跳跃”；提示字为“吃”，被试应心中默读“chi”同时想象“吞咽”动作)。单次实验包括空闲阶段、准备阶段、提示阶段和想象期阶段四个阶段。实验开始时，显示屏中央出现一个持续时间为2000ms的“*”提醒被试进入空闲状态，该阶段允许受试者调整身体状态；然后，屏幕中央显示1000ms的“+”提醒被试进入准备状态，该阶段要求被试集中注意力；接下来屏幕上随机出现1000ms的汉字，该阶段为提示阶段提醒被试下一阶段需要进行的默读想象任务；最后是4000ms的黑屏，改阶段为想象期阶段，要求被试在该阶段完成相应的附加默读想象任务。想象期过后，单次实验结束。四个汉字在一组实验中各随机呈现10次，每类实验任务受试者各完成8组，EEG的采样率为1000Hz，每组实验完成后受试者会有8min的休息时间。
通过64导电极帽采集到被试附加默读的MI的自发脑电，之后电极帽将采集到的信号通过信号采集仪传输到信号放大器，信号放大器再将EEG放大后传输到计算机中的curry8软件中。
在对EEG进行预处理的过程中，首先用curry8软件中预处理功能去除眼电信号，再采用matlab软件中EEGLAB工具箱进行改变参考电极、确定滤波范围、滤波、去伪迹、数据分段、基线校正等处理。最后，通过浅层的卷积神经网络对预处理后的EEG进行特征提取并分类。
本发明提出了一种附加汉字默读MI的实验范式，以及一种基于事件相关谱扰动算法来确定EEG滤波区间的方法。该项发明可以进一步提升基于MI-BCI系统的性能，有望获得可观的社会效益。

Claims (4)

1.一种基于附加汉字默读运动想象方式的脑-机接口方法，其特征在于，该方法包括采用静态文字的刺激方式，确定具有不同含义四个汉字的刺激界面，用户通过根据界面的提示来进行相应的附加汉字默读的运动想象任务，单次试验包括四个阶段：空闲阶段、准备阶段、提示阶段和想象期阶段。空闲阶段2000ms允许被试调整放松状态；准备阶段1000ms提醒被试马上进入提示阶段需要保持注意力集中；提示阶段1000ms随机给被试某个静态文字刺激；想象期阶段4000ms要求被试心中默读提示阶段提示的汉字并同时完成相应的想象任务。想象期过后，单次实验结束。
2.根据权利要求1所述的附加汉字默读运动想象方式的脑-机接口方法，其特征在于：基于静态文字刺激方法，每次实验屏幕都会在提示阶段显示一张静态文字图片，不同含义的汉字要求用户完成的任务也不相同，从而诱发出与不同任务相对应的脑区产生脑电信号。
3.根据权利要求1所述的附加汉字默读运动想象方式的脑-机接口方法，其特征在于：基于附加汉字默读的运动想象任务，要求用户在想象期阶段根据提示阶段的提示，在进行相应的想象任务的同时心中默念该汉字，从而实现将默读和想象这两种高级认知活动结合在一起来诱发脑电信号。
4.一种确定脑电信号滤波范围的方法，其特征在于，在对脑电信号数据预处理的过程中，首先将用户的脑电信号进行去除眼电、改变参考电极，滤波，去伪迹，数据分段，基线校正。然后采用时间相关谱扰动算法对用户预处理后的脑电信号进行时频分析，最后根据想象期脑电信号的能量相对于基线的前后波动状态来确定脑电信号的滤波频率范围。
CN202110004469.2A 2021-01-04 2021-01-04 基于附加汉字默读运动想象方式的脑-机接口方法 Pending CN112732082A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110004469.2A CN112732082A (zh) 2021-01-04 2021-01-04 基于附加汉字默读运动想象方式的脑-机接口方法
CN202110629626.9A CN113157100B (zh) 2021-01-04 2021-06-07 一种附加汉字默读与运动想象任务的脑-机接口方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004469.2A CN112732082A (zh) 2021-01-04 2021-01-04 基于附加汉字默读运动想象方式的脑-机接口方法

Publications (1)

Publication Number Publication Date
CN112732082A true CN112732082A (zh) 2021-04-30

Family

ID=75590780

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110004469.2A Pending CN112732082A (zh) 2021-01-04 2021-01-04 基于附加汉字默读运动想象方式的脑-机接口方法
CN202110629626.9A Active CN113157100B (zh) 2021-01-04 2021-06-07 一种附加汉字默读与运动想象任务的脑-机接口方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110629626.9A Active CN113157100B (zh) 2021-01-04 2021-06-07 一种附加汉字默读与运动想象任务的脑-机接口方法

Country Status (1)

Country Link
CN (2) CN112732082A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113504828A (zh) * 2021-06-28 2021-10-15 广州大学 基于语言想象和运动想象的脑机接口控制方法及系统
CN113625870A (zh) * 2021-07-29 2021-11-09 南京航空航天大学 基于语言想象的脑-机接口控制系统和方法
CN117056831A (zh) * 2023-10-13 2023-11-14 南京龙垣信息科技有限公司 基于卷积神经网络的内心独白识别方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114305333A (zh) * 2021-12-16 2022-04-12 广州大学 一种基于脑网络和深度学习的脑电信号识别方法
CN117608402B (zh) * 2023-11-23 2024-05-14 首都医科大学附属北京天坛医院 一种基于汉字书写想象的隐蔽汉语言处理系统和方法
CN117389441B (zh) * 2023-11-23 2024-03-15 首都医科大学附属北京天坛医院 基于视觉追随辅助的书写想象汉字轨迹确定方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446020B (zh) * 2018-02-28 2021-01-08 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN108563324B (zh) * 2018-03-04 2020-07-24 天津大学 一种面向过程控制的运动想象脑-机接口设计方法
CN109471530A (zh) * 2018-10-22 2019-03-15 吉林大学 基于稳态视觉诱发电位和运动想象的脑控输入法
CN110232341B (zh) * 2019-05-30 2022-05-03 重庆邮电大学 基于卷积-堆叠降噪编码网络的半监督学习图像识别方法
CN112084879B (zh) * 2020-08-14 2022-04-19 杭州电子科技大学 一种运动想象脑电的块选择共空间模式特征提取方法
CN111973178A (zh) * 2020-08-14 2020-11-24 中国科学院上海微系统与信息技术研究所 一种脑电信号识别系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113504828A (zh) * 2021-06-28 2021-10-15 广州大学 基于语言想象和运动想象的脑机接口控制方法及系统
CN113625870A (zh) * 2021-07-29 2021-11-09 南京航空航天大学 基于语言想象的脑-机接口控制系统和方法
CN117056831A (zh) * 2023-10-13 2023-11-14 南京龙垣信息科技有限公司 基于卷积神经网络的内心独白识别方法

Also Published As

Publication number Publication date
CN113157100B (zh) 2022-04-01
CN113157100A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN112732082A (zh) 基于附加汉字默读运动想象方式的脑-机接口方法
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
Martišius et al. A prototype SSVEP based real time BCI gaming system
Pasqualotto et al. Toward functioning and usable brain–computer interfaces (BCIs): A literature review
Haider et al. Application of P300 event-related potential in brain-computer interface
CN111783942B (zh) 一种基于卷积循环神经网络的脑认知过程模拟方法
CN104965584A (zh) 基于ssvep与osp的混合脑-机接口方法
CN110262658B (zh) 一种基于强化注意的脑机接口字符输入系统及实现方法
Pun et al. Brain-computer interaction research at the Computer Vision and Multimedia Laboratory, University of Geneva
CN108335728A (zh) 一种用于意识障碍患者的唤名促醒系统
CN112741637B (zh) P300脑电信号提取方法、认知康复训练方法及系统
Nawrocka et al. Brain-computer interface based on steady-state visual evoked potentials (SSVEP)
CN111012342B (zh) 一种基于p300的视听双通道竞争机制脑-机接口方法
Ganin et al. P 300-based brain-computer interface: The effect of the stimulus position in a stimulus train
CN116392147A (zh) 基于心理预期调制效应的p300脑电处理方法
Lenhardt A Brain-Computer Interface for robotic arm control
Pires Biosignal classification for human interface with devices and surrounding environment
Guragain et al. Hybrid Brain-Computer Interface Systems: Approaches, Features, and Trends
Mendoza-Montoya et al. P300-based brain–computer interface for communication and control
Fazel-Rezai P300-based speller brain-computer interface
Pananookooln et al. COMPARING MACHINE LEARNING AND PREPROCESSING ALGORITHMS FOR P300 BCI SPELLER
CN112230767B (zh) 基于ssmvep-erp-osr混合脑机接口驱动的轮椅控制方法
Erdoğan A design and implementation of p300 based brain-computer interface
Acqualagna Pushing the boundaries of Brain-Computer Interface technology
Tengis et al. EEG Data Classification Using CNN Method with Various Data Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210430