CN107272912A - 一种基于ern反馈的脑‑机接口系统 - Google Patents

一种基于ern反馈的脑‑机接口系统 Download PDF

Info

Publication number
CN107272912A
CN107272912A CN201710716861.3A CN201710716861A CN107272912A CN 107272912 A CN107272912 A CN 107272912A CN 201710716861 A CN201710716861 A CN 201710716861A CN 107272912 A CN107272912 A CN 107272912A
Authority
CN
China
Prior art keywords
brain
ern
computer interface
classification
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710716861.3A
Other languages
English (en)
Inventor
胡玉霞
牛新
张锐
逯鹏
陈明明
刘素杰
闫亚敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN201710716861.3A priority Critical patent/CN107272912A/zh
Publication of CN107272912A publication Critical patent/CN107272912A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于ERN反馈的脑‑机接口系统，包括脑电采集模块、预处理模块、任务分类识别模块、屏幕显示模块、ERN检测模块、执行设备模块、智能终端载体；所述的脑电采集模块用于采集脑电信号；所述的预处理模块用于对脑电信号的预处理；所述的任务分类识别模块用于对脑‑机接口任务分类识别；所述的屏幕显示模块用于实时显示脑‑机接口任务分类识别结果；所述的ERN检测模块用于检测ERN；所述的执行设备模块将脑‑机接口任务分类识别结果转化为指令；所述的智能终端载体是算法程序的载体平台，其中辅助程序用于管理各个模块之间的协同运作。本发明公开了一种基于检测ERN的脑‑机接口系统，可实现在执行设备执行脑‑机接口指令前反馈并进行指令纠错。

Description

一种基于ERN反馈的脑-机接口系统
技术领域
本发明涉及脑-机接口（brain-computer interface，BCI）技术领域，更具体地说，涉及一种基于ERN反馈的脑-机接口系统。
背景技术
脑-机接口( Brain Computer Interfaces, BCI) 是一种不依赖于大脑外围神经和肌肉而直接控制执行设备的系统，通过解码人脑意识信号，实现对外部装置的控制。BCI在医疗康复、生活娱乐、军事行动领域有广泛的应用前景，已经成为脑科学、神经生理学、信号分析、控制科学和计算机科学的交叉研究热点。
目前BCI研究已经取得了一定的进展，然而，任务类别少和任务识别正确率低是制约BCI系统发展的主要因素。引入反馈机制是提高BCI系统正确率的重要途径之一，当前具有反馈机制的BCI系统处理步骤一般为：脑电采集、预处理、任务分类识别、执行设备执行任务、视觉反馈，如公布号CN105468143A。然而，视觉反馈发生在执行设备执行任务后，没有对此次任务进行调整。神经生理学研究表明：个体在感知发生错误时，其头皮额中央区可以记录到与错误反应特定相关的负走向波形，称为错误相关负电位（Error RelatedNegativity，ERN）。当屏幕显示的分类识别和个体意愿相驳时，可诱发ERN，通过检测ERN实现在执行设备运作前反馈并进行指令纠错。
因此，本发明针对现有脑-机接口技术的不足，提供一种性能可靠的基于ERN脑-机接口反馈系统。
发明内容
本发明针对在脑-机接口中采用视觉反馈构成闭环系统的弊端，基于使用者得知脑-机接口任务错误时（个体在感知发生错误）诱发ERN的原理，通过屏幕实时显示脑-机接口分类识别结果，通过是否能检测到ERN，实现在执行设备运作前反馈并进行指令纠错。
为达到上述目的，本发明提供的技术方案为：一种基于ERN反馈的脑-机接口系统，包括脑电采集模块、预处理模块、任务分类识别模块、屏幕显示模块、ERN检测模块、执行设备模块、智能终端载体；所述的脑电采集模块采用采集卡，信号放大器，10-20国际标准电极位置的电极帽组成，用于采集脑电信号；所述的预处理模块用于对采集到的脑电信号滤波，去伪迹，去基线；所述的任务分类识别模块用于对脑-机接口任务分类识别；所述的屏幕显示模块用于实时显示脑-机接口任务分类识别结果；所述的ERN检测模块用于检测ERN；所述的执行设备模块将脑-机接口任务分类识别结果转化为指令，控制执行设备运作；所述的智能终端载体是预处理模块中预处理算法程序、任务分类识别模块中任务分类识别算法程序、ERN检测模块中ERN检测算法程序、以及辅助程序的载体平台，其中辅助程序用于管理各个模块之间的协同运作。
所述的脑-机接口任务模块包括运动想象脑-机接口模式、P300脑-机接口模式、SSVEP脑-机接口模式三种模式。
所述的屏幕显示模块置于使用者视野前，实时显示脑-机接口任务分类识别结果，作为ERN的诱发事件。
所述的ERN检测模块检测出ERN，脑-机接口任务失败，反馈为负；未检测出ERN，脑-机接口任务成功，反馈为正。当反馈为正，执行模块执行脑-机接口任务；当反馈为负，进行系统纠正。当反馈为正，执行设备模块将此次分类识别结果转化为指令，控制执行设备运作；当反馈为负，进行系统纠正。
所述的系统纠正，当脑-机接口任务是两分类任务时，执行设备模块将另一类分类识别结果转化为指令，控制执行设备运作；当脑-机接口任务是多分类任务，舍弃此次脑-机接口分类识别结果。
所述的预处理算法程序内置预处理模块，用于对脑电信号进行滤波、去伪迹、去基线处理。
所述的任务分类识别算法程序用于识别脑-机接口任务。
所述的ERN检测算法采用小波变换重构信号，提取低频时域和高频时域、频域特征进行单次检测。
所述的辅助程序用于控制各个模块之间的协同运作。
对屏幕显示脑-机接口识别结果的出现时刻打标，以定位ERN的起始点。
使用者使用系统前，建立使用者的ERN检测模型。
采用本发明提供的技术方案，与已有的公知技术相比，具有如下有益效果：（1）本发明的一种基于ERN反馈的脑-机接口系统基于ERN原理，通过是否能检测到ERN，实现在执行设备运作前反馈。
（2）本发明的一种基于ERN反馈的脑-机接口系统可以完成运动想象脑-机接口模式、P300脑-机接口模式和SSVEP脑-机接口模式的反馈。
（3）本发明的一种基于ERN反馈的脑-机接口系统ERN检测算法采用小波变换，提取0-4 Hz时域特征，4-8Hz，8-16Hz时域、频域特征进行单次ERN检测。
附图说明
图1为基于ERN反馈的脑-机接口系统的示意图。
图2为基于ERN反馈的脑-机接口系统的系统框图。
图3为普通的视觉反馈脑-机接口系统的系统框图。
图4为基于ERN反馈的脑-机接口系统的流程图。
图5为脑电采集的通道图。
具体实施方式
结合以下实施例对本发明作进一步描述。
一种基于ERN反馈的脑-机接口系统，包括脑电采集模块、预处理模块、任务分类识别模块、屏幕显示模块、ERN检测模块、执行设备模块、智能终端载体；所述的脑电采集模块采用采集卡，信号放大器，10-20国际标准电极位置的电极帽组成，用于采集脑电信号；所述的预处理模块用于对采集到的脑电信号滤波，去伪迹，去基线；所述的任务分类识别模块用于对脑-机接口任务分类识别；所述的屏幕显示模块用于实时显示脑-机接口任务分类识别结果；所述的ERN检测模块用于检测ERN；所述的执行设备模块将脑-机接口任务分类识别结果转化为指令，控制执行设备运作；所述的智能终端载体是预处理模块中预处理算法程序、任务分类识别模块中任务分类识别算法程序、ERN检测模块中ERN检测算法程序、以及辅助程序的载体平台，其中辅助程序用于管理各个模块之间的协同运作。
参看图1，本发明由脑电采集模块、预处理模块、任务分类识别模块、屏幕显示模块、ERN检测模块、执行设备模块、智能终端载体7部分构成。
参看图1，所述的预处理模块、任务分类识别模块、ERN检测模块以程序形式内置于智能终端载体。
参看图1，所述的脑电采集模块由采集卡、信号放大器、10-20国际标准电极位置的电极帽构成，脑电信号由置于使用者头上的电极帽采集，然后交给采集卡和信号放大器处理。
所述的预处理模块用于对采集到的脑电信号进行滤波，去伪迹，去基线，提高脑电信号的信噪比。
所述的任务分类识别模块包括运动想象脑-机接口模式、P300脑-机接口模式、SSVEP脑-机接口模式三种模式；其采用对应脑-机接口模式的分类识别算法，对使用者在脑-机接口任务态时刻的EEG分类识别；其在对任务分类识别前，首先要建立使用者对应模式的分类器模型。
所述的ERN检测模块对使用者在屏幕显示时刻后的EEG，采用小波变换，提取0-4Hz时域特征，4-8Hz，8-16Hz时域、频域特征的算法进行单次ERN检测；在进行单次ERN检测前，首先要建立使用者诱发ERN与非诱发ERN的分类器模型。
所述的智能终端载体还内置有辅助程序，用于管理各个模块之间的协同运作。
参看图1，所述的屏幕显示模块置于使用者视野前50-70cm，实时显示脑-机接口任务分类识别结果；使用者根据显示结果判断是否和意愿相同，从而引发未感知错误与感知错误，进而未诱发ERN与诱发ERN；对使用者感知错误时刻准确定位，是检测ERN的关键，本发明通过对屏幕显示的出现时刻打标，以定位ERN的起始点。
参看图1，执行设备模块通过WIFI与智能终端载体通信，将智能终端载体发出脑-机接口任务分类识别结果转化为指令，控制执行设备运作。
参看图2，本发明的具体运行步骤如下：（1）使用者开始使用本发明后，先有一段提示说明。
（2）使用者执行系统的脑-机接口任务。
（3）屏幕实时显示脑-机接口任务分类识别结果，并记录标签。
（4）进行ERN单次检测。
（5）当ERN检测模块检测出ERN，脑-机接口任务失败，反馈为负；未检测出ERN，脑-机接口任务成功，反馈为正。
（6）当反馈为正，根据此次脑-机接口分类识别的结果转化为指令，执行设备模块执行指令；当反馈为负，进行系统纠正。
（7）当机接口任务是两分类任务时，根据此次脑-机接口分类识别相对的结果转化为指令，执行设备模块执行指令；机接口任务是多分类任务时，返回（2），继续执行此次的脑-机接口任务。
参看图3、图4，本发明基于ERN原理，通过是否能检测到ERN，实现在执行设备执行脑-机接口任务前反馈并进行指令纠错。
参看图5，本发明采用“AF3、AF4、F7、F6、FC1、FC2”通道采集EEG，通道采用10-20国际标准电极位置。
ERN信噪比低,个体差异大，单次检测ERN是本发明的核心难点。本发明采用小波变换重构信号，提取低频时域和高频时域、频域特征进行单次检测。具体步骤如下：（1）输入“AF3、AF4、F5、F6、FC3、FC4”6个通道，反馈刺激后200-600ms EEG数据X(i)。
（2）去除已采集EEG的基线，眼电，并降采样至250 Hz。
（3）选取db4为小波基函数,进行6层小波分解。
（4）选取D5层、D6层、C6层小波系数重构X d5 (i)，X d6 (i)，X c6 (i)信号。
（5）计算6通道重构信号X c6 (i)的平均值，间隔50ms提取采样点作为ERN低频时域特征；计算6通道重构信号X d5 (i)、X d6 (i)的均方差、能量，然后求平均作为ERN高频时域、频域特征。共提取12维特征。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于ERN反馈的脑-机接口系统，包括脑电采集模块、预处理模块、任务分类识别模块、屏幕显示模块、ERN检测模块、执行设备模块、智能终端载体；所述的脑电采集模块采用采集卡，信号放大器，10-20国际标准电极位置的电极帽组成，用于采集脑电信号；所述的预处理模块用于对采集到的脑电信号滤波，去伪迹，去基线；所述的任务分类识别模块用于对脑-机接口任务分类识别；所述的屏幕显示模块用于实时显示脑-机接口任务分类识别结果；所述的ERN检测模块用于检测ERN；所述的执行设备模块将脑-机接口任务分类识别结果转化为指令，控制执行设备运作；所述的智能终端载体是预处理模块中预处理算法程序、任务分类识别模块中任务分类识别算法程序、ERN检测模块中ERN检测算法程序、以及辅助程序的载体平台，其中辅助程序用于管理各个模块之间的协同运作。
2.根据权利要求1所述的一种基于ERN反馈的脑-机接口系统，其特征在于：所述的脑-机接口任务模块包括运动想象脑-机接口模式、P300脑-机接口模式、SSVEP脑-机接口模式三种模式。
3.根据权利要求1所述的一种基于ERN反馈的脑-机接口系统，其特征在于：所述的屏幕显示模块置于使用者视野前，实时显示脑-机接口任务分类识别结果，作为ERN的诱发事件。
4.根据权利要求1所述的一种基于ERN反馈的脑-机接口系统，其特征在于：所述的ERN检测模块检测出ERN，脑-机接口任务分类识别失败，反馈为负；未检测出ERN，脑-机接口任务分类识别成功，反馈为正。
5.根据权利要求1所述的一种基于ERN反馈的脑-机接口系统，其特征在于：当反馈为正，执行设备模块将此次分类识别结果转化为指令，控制执行设备运作；当反馈为负，进行系统纠正。
6.根据权利要求1所述的一种基于ERN反馈的脑-机接口系统，其特征在于：当脑-机接口任务是两分类任务时，执行设备模块将另一类分类识别结果转化为指令，控制执行设备运作；当脑-机接口任务是多分类任务时，舍弃此次脑-机接口分类识别结果。
7.根据权利要求1所述的一种基于ERN反馈的脑-机接口系统，其特征在于：所述的ERN检测算法采用小波变换重构信号，提取0-4 Hz时域特征，4-8 Hz、8-16 Hz的时域、频域特征进行单次ERN检测。
8.根据权利要求1所述的一种基于ERN反馈的脑-机接口系统，其特征在于：对屏幕显示脑-机接口识别结果的出现时刻打标，以定位ERN的起始点。
9.根据权利要求1所述的一种基于ERN反馈的脑-机接口系统，其特征在于：使用者使用系统前，建立使用者的ERN检测模型。
CN201710716861.3A 2017-08-21 2017-08-21 一种基于ern反馈的脑‑机接口系统 Pending CN107272912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710716861.3A CN107272912A (zh) 2017-08-21 2017-08-21 一种基于ern反馈的脑‑机接口系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710716861.3A CN107272912A (zh) 2017-08-21 2017-08-21 一种基于ern反馈的脑‑机接口系统

Publications (1)

Publication Number Publication Date
CN107272912A true CN107272912A (zh) 2017-10-20

Family

ID=60079789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710716861.3A Pending CN107272912A (zh) 2017-08-21 2017-08-21 一种基于ern反馈的脑‑机接口系统

Country Status (1)

Country Link
CN (1) CN107272912A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540883A (zh) * 2023-07-07 2023-08-04 之江实验室 一种信号采集的方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571748A (zh) * 2009-06-04 2009-11-04 浙江大学 一种基于增强现实的脑机交互系统
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571748A (zh) * 2009-06-04 2009-11-04 浙江大学 一种基于增强现实的脑机交互系统
CN102866775A (zh) * 2012-09-04 2013-01-09 同济大学 基于多模式融合的脑机接口控制系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116540883A (zh) * 2023-07-07 2023-08-04 之江实验室 一种信号采集的方法、装置、存储介质及电子设备
CN116540883B (zh) * 2023-07-07 2023-09-19 之江实验室 一种信号采集的方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN103793058B (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
CN103699226B (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN101201696B (zh) 基于p300脑电电位的中文输入bci系统
CN106267514B (zh) 基于脑电反馈的情绪调控系统
CN103699230B (zh) 一种基于图标脑电控制的数字界面交互方法
CN107981997B (zh) 一种基于人脑运动意图的智能轮椅控制方法及系统
CN107037883A (zh) 一种基于运动想象的混合脑机接口系统及方法
EP2438959A1 (en) Implantable medical device
CN108415560A (zh) 电子装置、操作控制方法及相关产品
CN104978035A (zh) 基于体感电刺激诱发p300的脑机接口系统及其实现方法
CN101159086A (zh) 基于脑电信息检波的呼叫装置
CN106491129B (zh) 一种基于eog的人体行为识别系统及方法
CN111930238B (zh) 基于动态ssvep范式的脑机接口系统实现方法及装置
CN112465059A (zh) 基于跨脑融合决策的多人运动想象识别方法及脑机系统
CN105962935A (zh) 用于运动学习功能改善的脑电神经反馈训练系统及其方法
CN107822629A (zh) 四肢表面肌电轴的检测方法
CN104267807A (zh) 基于手部动作肌音信号的人机交互方法及交互系统
CN107066091A (zh) 一种脑机接口p300信号特征体感诱发装置及其应用方法
CN114469090A (zh) 基于跨脑耦合关系计算的脑电情感识别方法及脑机系统
CN117918863A (zh) 一种脑电信号实时伪迹处理与特征提取的方法和系统
CN107272912A (zh) 一种基于ern反馈的脑‑机接口系统
CN109662710A (zh) 一种基于卷积神经网络的肌电信号特征提取方法
Han et al. Confidence-aware subject-to-subject transfer learning for brain-computer interface
CN109498362A (zh) 一种偏瘫患者手部运动功能康复训练装置及模型训练方法
CN105686827B (zh) 一种基于微控制器的肌电信号处理及特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171020