CN104571504B - 一种基于想象动作的在线脑‑机接口方法 - Google Patents

一种基于想象动作的在线脑‑机接口方法 Download PDF

Info

Publication number
CN104571504B
CN104571504B CN201410819614.2A CN201410819614A CN104571504B CN 104571504 B CN104571504 B CN 104571504B CN 201410819614 A CN201410819614 A CN 201410819614A CN 104571504 B CN104571504 B CN 104571504B
Authority
CN
China
Prior art keywords
eeg signals
signals data
progress bar
current
imaginary movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410819614.2A
Other languages
English (en)
Other versions
CN104571504A (zh
Inventor
明东
王坤
綦宏志
何峰
徐佳朋
王忠鹏
杨佳佳
张力新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201410819614.2A priority Critical patent/CN104571504B/zh
Publication of CN104571504A publication Critical patent/CN104571504A/zh
Application granted granted Critical
Publication of CN104571504B publication Critical patent/CN104571504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于想象动作的在线脑‑机接口方法，所述方法包括：使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力，通过64导联脑电采集系统采集在执行想象动作时产生的脑电信号数据；通过短时傅里叶变换对当前1s的脑电信号数据处理，获取脑电信号数据的时频特征；通过相位耦合测量算法对当前1s的脑电信号数据处理，获取相位锁定值特征；将两类特征数据送到训练好的分类器中进行模式识别，得到决策值；根据当前决策值，并通过进度条的变化作为反馈输出。本发明可使使用者更加主动的参与想象任务，并不断的提高自己的想象强度。本发明融合了想象动作下的时频特征以及不同脑区之间的相位耦合特征，有效地提高了信息传输效率。

Description

一种基于想象动作的在线脑-机接口方法
技术领域
本发明涉及脑-机接口领域，尤其涉及一种基于想象动作的在线脑-机接口方法。
背景技术
脑-机接口(Brain-Computer Interface，BCI)是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。该定义由第一次脑-机接口国际会议给出。BCI系统能够通过判断大脑的活动模式来输出用户的指令意识。到目前为止，最常用的BCI系统大都是基于脑电信号。图1为一个完整的BCI系统示意图，由信号采集、信号处理、外部输出设备三部分组成。通过头皮电极或植入电极获得含有使用者控制意图的脑电信息，经过各种信号处理的手段提取脑电信息特征并进行模式识别，最后将之转化为控制外部设备的操作命令。
实际的肢体动作或者想象动作均可引起皮层运动中枢中大量神经元活动状态的改变，从而使得脑电信号中的某些频率成分(例如：alpha波、beta波和mu节律)同步减弱或者增强。上述现象被称之为事件相关去同步(Event-Related Desynchronization，ERD)以及事件相关同步(Event-Related Synchronization，ERS)。近年来有关想象动作的应用技术研究有显著进展，想象动作已应用于人机交互领域，成为了BCI控制的重要范式。
值得注意的是，目前基于想象动作的BCI系统对于想象状态的划分仍处于触发状态，即设定某一阈值，根据想象动作下的ERD值来判断受试者“想象”或者“静息”两种状态。现有的基于想象动作的BCI系统不能对使用者的“想象”状态进行分析，因而不能提供一种客观的反馈手段促使受试者提高自己的想象程度。而对于“想象”状态的划分，将有助于更加深入的了解想象过程的神经认知过程，探索动作想象的神经机制。
发明内容
本发明提供了一种基于想象动作的在线脑-机接口方法，本发明根据想象不同上肢收缩力引起的脑电信号变化，搭建实时反馈的在线脑机接口方法，详见下文描述：
一种基于想象动作的在线脑-机接口方法，所述在线脑-机接口方法包括以下步骤：
使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力，通过64导联脑电采集系统采集使用者在执行想象动作时产生的脑电信号数据；
实时读取脑电信号数据，判断脑电信号数据存储的时长是否超过1s，如果超过1s，则截取当前1s的脑电信号数据，执行下一步骤；如果没有超过1s，继续读取脑电信号数据；
通过短时傅里叶变换对当前1s的脑电信号数据进行处理，获取脑电信号数据的时频特征；通过相位耦合测量算法对当前1s的脑电信号数据进行处理，获取相位锁定值特征；
将两类特征数据送到训练好的分类器中进行模式识别，得到决策值；
根据当前决策值dv，并通过进度条的变化作为反馈输出。
所述使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力具体为：
左侧为刺激界面，右侧为反馈界面；左侧进度条在10s内均匀的从0升高至100，同时，使用者根据进度条的提示想象上肢肌肉收缩，并且想象收缩力均匀的增大到最大收缩力。
所述根据当前决策值，并通过进度条的变化作为反馈输出具体为：
当dv<a时，进度条停留在0位置；当a≤dv<b时，进度条上升到25位置；当b≤dv<c时，进度条上升到50位置；当c≤dv<d时，进度条上升到75位置；当d≤dv时，进度条上升到100位置；a，b，c和d分别为阈值。
本发明提供的技术方案的有益效果是：本方法不仅可以实现触发分类，并且在已触发的基础上根据不同的想象强度可以做更加细致的分类。此外，不同于原有的通过增加想象动作类型来扩大指令集的思路，可以通过对不同的想象强度划分来增加指令集。本发明可使使用者更加主动的参与想象任务，并不断的提高自己的想象强度。基于本发明的设计思路，可以加入体感知觉反馈。此外，该发明融合了想象动作下的时频特征以及不同脑区之间的相位耦合特征，有效地提高了信息传输效率。
附图说明
图1为脑机接口组成示意图；
图2为一种基于想象动作的在线脑-机接口方法的流程示意图；
图3为电脑屏幕界面显示图；
图4为数据处理流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
大脑皮层的激活程度与使用者的想象强度有关。例如：想象较大的肌肉收缩力需要在想象过程中投入更多的精力，因而可以激活更多运动区的神经元以及需要激活其它脑区的神经元(例如：前额叶)参与此过程。区别于原有的基于想象动作的BCI系统，本发明设计了基于不同想象强度的BCI，融合了想象动作下的大脑皮层运动区的ERD特征与前额叶与运动区的相位耦合测量特征，对使用者的“想象”的强度进行判断，并实时给予相应的反馈。本方法不同于原有想象动作BCI根据不同的动作范式做分类识别，而是根据同一想象动作对不同想象强度做分类识别，是一种新型的BCI设计方法。
101：使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩力，通过64导联脑电采集系统采集使用者在执行想象动作时产生的脑电信号数据；
使用者注视电脑屏幕的刺激界面，并进行上肢的想象动作。与此同时使用64导联脑电采集系统采集脑电信号，使用Ag/AgCl电极(阻抗小于15000欧姆)，所有导联的脑电信号以右乳突为参考，以左乳突为地。脑电采样频率为1000Hz，滤波通带为0.5～100Hz，并采用50Hz陷波器去除工频干扰。数据预处理包括降采样至200Hz，去眼电和空间滤波。后续的数据处理提取相应的特征信号，从而将这些特征应用于的模式识别。并且设计一种反馈界面，呈现给使用者。
电脑屏幕上的刺激界面和反馈界面如图3所示，左侧为刺激界面，进度条不断上升引导使用者想象肌肉收缩程度不断增强，右侧为反馈界面，进度条的上升代表使用者的想象强度不断上升。使用者安静地坐于距屏幕约1m的靠椅上，当使用者听到连续两声的提示音时，左侧进度条在10s内均匀的从0升高至100，与此同时，使用者根据进度条的提示，想象上肢肌肉收缩，并且想象收缩力均匀的增大到最大收缩力(通过真实动作测量最大收缩力)。在此过程中，实时处理想象动作的脑电信号，根据分类器输出的决策值做出反馈，右侧进度条高度的变化反应了受试者想象强度的变化。到达所示的某一刻度值时表示使用者的想象肌肉收缩力已达到最大收缩力的百分比。10s后，出现一声的提示音，屏幕两侧进度条回到0位置，休息5s后再次听到连续两声的提示音，开始下一次试验。
102：实时读取脑电信号数据，判断脑电信号数据存储的时长是否超过1s，如果超过1s，则截取当前1s的脑电信号数据，执行步骤103；如果没有超过1s，继续读取脑电信号数据；
本发明的在线数据处理流程图如图4所示。数据处理流程如下：实时读取脑电数据；判断数据存储的时长是否超过1s，如果超过1s，则截取当前1s的数据进行数据分析。
103：通过短时傅里叶变换对当前1s的脑电信号数据进行处理，获取脑电信号数据的时频特征；通过相位耦合测量算法对当前1s的脑电信号数据进行处理，获取相位锁定值特征；
1)时频分析-短时傅里叶变换
由于想象动作下ERD现象有着特定的发生频段，通常使用功率谱分析的方法。常用的谱分析方法中暗含着对于处理信号的平稳性假设，也即是假设信号的频谱成分在整个时间轴上是同分布的，而对于时间相关的诱发动态脑电信号而言，这一假设显然不成立。短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布是不变的。
短时傅里叶变换的方法是使用一个有限宽度的观察窗W(t)对信号x(t)进行观察。在公式(1)中，STFT(t,ω)是x(τ)W(τ-t)的傅里叶变换。随着t的变化，窗函数在时间轴上会有相应的位移，然后对加窗后的信号进行傅立叶变换得到信号的时频特征。
这里ω是角频率，W*(τ-t)是W(τ-t)的复共轭函数。
2)相位耦合测量
由于广泛分布于脑的不同区域必须相互通信以完成信息整合实现不同的认知功能，所以脑电信号在不同区域之间会表现出耦合现象，如幅值耦合或者相位耦合。由于本发明需要使用者不断的增加想象的强度，因而需要投入更多的注意力，而前额叶的激活与注意力相关，故选择使用相位耦合测量的方法分析前额叶与运动功能区的耦合程度，并将相位耦合由相位锁定值(Phase Locking Value，PLV)作为一类特征值来量化。PLV可以表征两个信号x(t)和y(t)在一个时间窗内样本之间相位差的稳定性。使用解析信号的方法来计算一个任意信号的瞬时相位。给定一个信号x(t)，其解析信号ηx(t)定义如下，式中Ax(t)代表了信号x(t)的幅值信息，θx(t)代表了信号x(t)的相位信息。
式中X(t)是x(t)的Hilbert变换，如式(3)所示：
式中p.v.表示在Cauchy主值意义上取积分。x(t)瞬时相位可按下式(4)计算：
信号y(t)的瞬时相位θy(t)可按上式计算。
对于任意的{n,m}∈Z，如果信号x和y的相位差Δθ(t)＝nθx(t)-mθy(t)对所有的时间t都是有界的，则它们被称为n:m同步。由于本发明的目的是测量来自大脑不同脑区信号之间的相位耦合，这种相位锁定比n:m很可能等于1:1。因此采用n＝m＝1这种情况，随之而来的相位锁定值PLVt可定义为公式(6)，其中Δθ(t)＝θx(t)-θy(t)：
PLVt＝|<eiΔθ(t)>t| (5)
式中<·>t是对时间平均运算符。对于离散信号，相位锁定值PLV计算如下：
一个PLV等于一个时间窗中所有单位矢量eiΔθ(n)的平均长度。PLV被归一化，因此在0和1之间变化。PLV＝0意味着两个信号的相位不存在耦合，而PLV＝1意味着两个信号的相位完全耦合，因为两个信号在每个时间点相位差都是常数。
104：将两类特征数据送到训练好的分类器中进行模式识别(识别算法为支持向量机)，得到决策值；
模式识别是通过对提取的脑电信号特征分类来辨识出其中所携带的自主性动作信息。支持向量机(SVM)是近年来在模式识别与机器学习领域中出现的新工具，以统计学习理论为基础，有效地避免经典学习方法中过学习、维数灾难、局部极小等传统分类存在的问题，在小样本条件下仍然具有良好的范化能力。它通过构造最优超平面，使得对未知样本的分类误差最小。
模式识别的过程如下：在经过了特征提取阶段之后，将这些从样本中提取到的特征用来训练SVM分类器，训练后得到一个model，然后再利用这个model来对未知模式类型的想象动作进行分类，得到的结果即为未知模式想象动作的模式识别结果，决策值以及识别正确率。
105：根据当前决策值(dv)，并通过进度条的变化作为反馈输出。
在本发明中，由低到高分别设定了4个阈值(a,b,c,d)。当dv<a时，进度条停留在0位置；当a≤dv<b时，进度条上升到25位置；当b≤dv<c时，进度条上升到50位置；当c≤dv<d时，进度条上升到75位置；当d≤dv时，进度条上升到100位置；一轮结果输出后，继续下一轮的判断与输出。
本发明设计了一种基于想象动作强度的在线BCI，以实现同一想象动作下不同想象强度在脑-机接口技术中的应用研究。该项发明针对传统基于想象动作BCI仍处于触发判断阶段，从而限制了该类BCI的指令集，设计了同一想象动作对不同想象强度做分类识别，融合了想象动作下的大脑皮层运动区的ERD特征与前额叶与运动区的相位耦合测量特征，不仅可判断使用者“想象”或者“静息”两种状态，而且可以判断不同的想象的强度。并针对使用者参与程度较低的问题引入视觉反馈，提高使用者的参与度。进一步研究可以得到完善的脑-机接口系统，对中风病人具有极大帮助，同时有望获得可观的社会效益和经济效益。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于想象动作的在线脑-机接口方法，其特征在于，所述在线脑-机接口方法包括以下步骤：
使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩，通过64导联脑电采集系统采集使用者在执行想象动作时产生的脑电信号数据；
实时读取脑电信号数据，判断脑电信号数据存储的时长是否超过1s，如果超过1s，则截取当前1s的脑电信号数据，执行下一步骤；如果没有超过1s，继续读取脑电信号数据；
通过短时傅里叶变换对当前1s的脑电信号数据进行处理，获取脑电信号数据的时频特征；通过相位耦合测量算法对当前1s的脑电信号数据进行处理，获取相位锁定值特征；
将两类特征数据送到训练好的分类器中进行模式识别，得到决策值；
根据当前决策值dv，并通过进度条的变化作为反馈输出；
所述使用者观看电脑屏幕上的刺激界面，想象上肢对应的肌肉收缩具体为：
左侧为刺激界面，右侧为反馈界面；左侧进度条在10s内从0-25-75-100突变升高，同时，使用者根据左侧进度条的提示想象上肢肌肉收缩，并且想象收缩力均匀的增大到最大收缩力；
相位锁定值特征具体为：相位锁定值可以表征两个信号在一个时间窗内样本之间相位差的稳定性；
其中，通过相位耦合测量算法对当前1s的脑电信号数据进行处理，获取相位锁定值特征的步骤具体为：
一个相位锁定值等于一个时间窗中所有单位矢量的平均长度；相位锁定值等于0意味着两个信号的相位不存在耦合，而相位锁定值等于1意味着两个信号的相位完全耦合。
2.根据权利要求1所述的一种基于想象动作的在线脑-机接口方法，其特征在于，所述根据当前决策值，并通过进度条的变化作为反馈输出具体为：
当dv<a时，进度条停留在0位置；当a≤dv<b时，进度条上升到25位置；当b≤dv<c时，进度条上升到50位置；当c≤dv<d时，进度条上升到75位置；当d≤dv时，进度条上升到100位置；a，b，c和d分别为从低到高的4个阈值。
CN201410819614.2A 2014-12-24 2014-12-24 一种基于想象动作的在线脑‑机接口方法 Active CN104571504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410819614.2A CN104571504B (zh) 2014-12-24 2014-12-24 一种基于想象动作的在线脑‑机接口方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410819614.2A CN104571504B (zh) 2014-12-24 2014-12-24 一种基于想象动作的在线脑‑机接口方法

Publications (2)

Publication Number Publication Date
CN104571504A CN104571504A (zh) 2015-04-29
CN104571504B true CN104571504B (zh) 2017-07-07

Family

ID=53087782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410819614.2A Active CN104571504B (zh) 2014-12-24 2014-12-24 一种基于想象动作的在线脑‑机接口方法

Country Status (1)

Country Link
CN (1) CN104571504B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105068663A (zh) * 2015-09-18 2015-11-18 中国石油大学(华东) 一种基于脑电信号的对象选择方法及装置
CN106502404A (zh) * 2016-10-24 2017-03-15 天津大学 一种基于稳态体感诱发电位的新型脑‑机接口方法及系统
CN106726030B (zh) * 2016-11-24 2019-01-04 浙江大学 基于临床脑电信号控制机械手运动的脑机接口系统及其应用
CN106959753B (zh) * 2017-03-21 2021-02-09 西安交通大学 基于运动想象脑-机接口的无人机虚拟控制方法及系统
CN107132915B (zh) * 2017-04-19 2021-01-29 西北工业大学 一种基于动态脑功能网络连接的脑-机接口方法
CN108563324B (zh) * 2018-03-04 2020-07-24 天津大学 一种面向过程控制的运动想象脑-机接口设计方法
CN110772249A (zh) * 2019-11-25 2020-02-11 华南脑控(广东)智能科技有限公司 注意力特征识别方法及应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949140A (zh) * 2006-11-08 2007-04-18 天津大学 脑－机接口鼠标控制方法
CN101352337A (zh) * 2007-12-25 2009-01-28 天津大学 站起想象动作脑电的信号采集和特征提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818497B2 (en) * 2004-07-16 2014-08-26 Semiconductor Energy Laboratory Co., Ltd. Biological signal processing unit, wireless memory, biological signal processing system, and control system of device to be controlled

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949140A (zh) * 2006-11-08 2007-04-18 天津大学 脑－机接口鼠标控制方法
CN101352337A (zh) * 2007-12-25 2009-01-28 天津大学 站起想象动作脑电的信号采集和特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Brain-computer interface technique for electro-acupuncture;ming，D etc;《The 2010 IEEE International Conference on Virtual Environments》;20101231;全文 *
基于脑电特征的多模式想象动作识别;万柏坤等;《天津大学学报》;20101031;参见文章1-5节 *

Also Published As

Publication number Publication date
CN104571504A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104571504B (zh) 一种基于想象动作的在线脑‑机接口方法
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
Yin et al. ECG monitoring system integrated with IR-UWB radar based on CNN
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN106345034A (zh) 基于脑电采集终端的用于认知情绪调节的装置
CN110946576A (zh) 一种基于宽度学习的视觉诱发电位识别情绪方法
CN204931634U (zh) 基于生理信息的抑郁症评估系统
CN102200833B (zh) 一种Speller BCI系统及其控制方法
KR101842750B1 (ko) 뇌파 훈련을 위한 실시간 시뮬레이터 및 이를 이용한 인터페이스 장치
CN103584872A (zh) 一种基于多生理参数融合的心理压力评估方法
Sulaiman et al. EEG-based stress features using spectral centroids technique and k-nearest neighbor classifier
CN108742660A (zh) 一种基于可穿戴设备的情绪识别方法
CN101828921A (zh) 基于视觉诱发脑电vep的身份识别方法
CN104536573B (zh) 一种基于高频闪烁情感刺激的脑‑机接口方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
Chai et al. Toward fewer EEG channels and better feature extractor of non-motor imagery mental tasks classification for a wheelchair thought controller
CN108721048A (zh) 康复训练控制方法、计算机可读存储介质和终端
CN112932486A (zh) 基于多模态的大学生情绪压力检测系统与方法
CN113017650B (zh) 一种基于功率谱密度图像的脑电特征提取方法和系统
Rahman et al. Mental stress recognition using K-nearest neighbor (KNN) classifier on EEG signals
CN110353704A (zh) 基于穿戴式心电监测的情绪评估方法与装置
CN109394203A (zh) 精神障碍康复期情绪监测与干预方法
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN109144238A (zh) 一种基于眼电编码的人机交互系统及其交互方法
CN113576498B (zh) 基于脑电信号的视听觉美学评价方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant