CN104571505A - 一种基于序列性复合肢体想象动作的脑-机接口方法 - Google Patents

一种基于序列性复合肢体想象动作的脑-机接口方法 Download PDF

Info

Publication number
CN104571505A
CN104571505A CN201410819720.0A CN201410819720A CN104571505A CN 104571505 A CN104571505 A CN 104571505A CN 201410819720 A CN201410819720 A CN 201410819720A CN 104571505 A CN104571505 A CN 104571505A
Authority
CN
China
Prior art keywords
lead
brain
imaginary movement
feature
limbs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410819720.0A
Other languages
English (en)
Other versions
CN104571505B (zh
Inventor
明东
奕伟波
王坤
綦宏志
何峰
杨佳佳
张力新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201410819720.0A priority Critical patent/CN104571505B/zh
Publication of CN104571505A publication Critical patent/CN104571505A/zh
Application granted granted Critical
Publication of CN104571505B publication Critical patent/CN104571505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于序列性复合肢体想象动作的脑-机接口方法,所述方法包括以下步骤:通过64导联脑电采集系统采集脑电信号,从脑电信号中提取特征;通过基于支持向量机的递归对特征进行筛选;根据序贯指数分别取前1导,前2导,…,前N导的特征作为分类器的输入,得到相应导联组合下的识别率结果,识别率最高的导联组合即为最优组合。本发明能够拓展传统的基于简单肢体想象动作的脑-机接口系统的指令集,满足多指令输出,相比于使用全导联特征,在特征筛选之后可以使用较少的导联获得最高正确率,有效地减少了特征维度。

Description

一种基于序列性复合肢体想象动作的脑-机接口方法
技术领域
本发明涉及脑-机接口领域,尤其涉及一种基于序列性复合肢体想象动作的脑-机接口方法。
背景技术
想象动作,即仅有运动意图而无实际动作输出,可导致大脑皮层感觉运动区中大量神经元活动状态的改变,并使脑电信号中的某些频率成分同步衰减或增强,这种现象称为事件相关去同步化或者同步化现象(event-related desynchronization or synchronization,ERD/ERS)。其中,ERS对应于相关想象动作模式下,特定频带范围内脑电节律能量的上升过程,ERD则表现为能量的衰减过程。并且,不同的想象动作可以诱发相应的脑电变化特征。这种脑电能量发生变化的现象可以通过无创的技术手段从头皮脑电信号中检测到。然后,通过工程技术手段,也就是脑-机接口技术,识别出这种具有特异性的头皮脑电变化从而判断出使用者的运动意图。
想象动作诱发的ERD/ERS特征属于内源性诱发响应,是真正通过被试主观运动意识诱发的脑电成份。因此,想象动作作为唯一的一种不需要外界刺激且直接反应使用者主观运动意识的脑-机接口范式,其作业模式最符合大脑正常思维活动的状态,且不易让使用者感到疲劳。基于想象动作的脑-机接口系统,能够真正地做到“让思想变成行动”。然而,简单肢体想象动作主要涉及左手、右手、单或双足(因双足在皮层运动区定位濒临)三种肢体部位动作,其可选类别少,并不能满足多指令输出,这将严重影响脑-机接口(BCI)系统对外控制的灵活性。
发明内容
本发明提供了一种基于序列性复合肢体想象动作的脑-机接口方法,本发明实现了多指令输出,提高了脑机接口系统对外控制的灵活性,详见下文描述:
一种基于序列性复合肢体想象动作的脑-机接口方法,所述方法包括以下步骤:
设计4种复合肢体想象动作序列,通过64导联脑电采集系统采集脑电信号,从脑电信号中提取特征;
通过基于支持向量机的递归对特征进行筛选;根据序贯指数分别取前1导,前2导,…,前N导的特征作为分类器的输入,得到相应导联组合下的识别率结果,识别率最高的导联组合即为最优组合。
所述设计4种复合肢体想象动作序列,通过64导联脑电采集系统采集脑电信号具体为:
所述4种复合肢体想象动作序列分别为:右手-右手-右手,右手-左手-右手,左手-右脚-左手,右脚-右手-左手;每个动作序列随机出现,在两种作业条件下,每名被试者进行想象动作训练,通过64导联脑电采集系统采集脑电信号。
所述从脑电信号中提取特征的步骤具体为:
按1秒窗宽,0.5秒步长,采用burg算法估计想象任务期内脑电数据的功率谱密度;分别对0.5-4Hz、4-8Hz、8-13Hz、14-30Hz、30-50Hz五个频段内的功率谱密度求和,得到长度为5*m*N的特征,其中,m为移动窗的个数,N为导联数。
所述功率谱密度具体为:
P ( ω ) = σ 2 | Σ k = 0 p a k e - jωk | 2
其中σ2为白噪声方差,ak为模型系数,p为模型阶数,k为阶数的取值,ω为频率。
序贯指数的计算具体为:
其中k是二分类器的个数,r的范围是1~k,Ji(r)是每一个二分类器的序贯指数,Ji是所有Ji(r)的平均;为向量;H(-i)表示移除第i个特征后的H,T为转置。
本发明提供的技术方案的有益效果是:本发明能够拓展传统的基于简单肢体想象动作的脑-机接口系统的指令集,满足多指令输出,相比于使用全导联特征,在特征筛选之后可以使用较少的导联获得最高正确率,有效地减少了特征维度。
附图说明
图1为条件1的实验范式示意图;
图2为条件2的实验范式示意图;
图3为所有被试者特征筛选的平均结果;
图4为一种基于序列性复合肢体想象动作的脑-机接口方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
本发明设计了一种新型的基于序列性复合肢体想象动作的多模脑-机接口方法。序列性复合肢体想象动作是对多肢体参与的动作序列的想象,即按照一定的先后顺序连续想象两个或以上的肢体动作。以三类简单肢体想象动作为基础,建立符合使用者日常行为,并且能够在双手或者手脚相互配合下完成的序列性复合肢体想象动作。其能够连续激活大脑多个功能区的神经元振荡。序列性复合肢体想象动作组合模式丰富,可选类别多,其应用能够拓展传统的基于简单肢体想象动作的脑-机接口系统的指令集,建立基于序列性复合肢体想象动作的BCI范式,满足多指令输出。
本发明设计了涉及左手、右手及右脚的多肢体参与的四类序列性复合肢体想象动作,模拟架子鼓演奏。动作序列分别为:右手-右手-右手,右手-左手-右手,左手-右脚-左手,右脚-右手-左手。实验设计了两种作业条件,条件1中分解动作的完成时间为1秒,条件2中分解动作的完成时间2秒。实验过程中,分别加入1秒/拍的鼓声背景和2秒/拍的鼓声背景,用于帮助被试控制节奏,调节每个分解动作的想象时间。
实验时,被试安静地坐于距屏幕约1m的靠椅上,保持手和足放松,尽量避免眼动。条件1的实验范式如图1所示,分为四个时段,共8s时间。第一时段为准备期,屏幕正中央出现白圆,持续1s,提示本次实验开始,被试者保持放松无动作状态;第二时段为提示期,白圆消失,出现文字提示,持续2s,提示被试者即将执行的序列性复合肢体想象动作模式,如提示为“右手&右手&右手”则想象连续3次右手敲鼓动作,若提示为“右手&左手&右手”则按动作序列想象左手/右手敲鼓动作。第三时段为想象期,文字提示消失,被试者开始想象,持续3s,第四时段为恢复期,出现Rest,被试者保持静息状态,以作调整准备下一次实验。条件2的实验范式如图2所示,与条件1的实验范式类似,想象期为六秒。
两种作业条件下的序列性复合肢体想象动作各有7组实验。每组实验包括40个单次任务,4个序列性复合肢体想象动作模式随机出现,各10个单次任务。在正式采集脑电数据前,每名被试者需要进行3次想象动作训练,对于两种作业条件,每次分别进行5组序列性复合肢体想象动作任务的训练。实验中,两种作业条件分别采集4*70=280次实验任务下的脑电信号,即280个脑电数据样本。
101:设计4种复合肢体想象动作序列,通过64导联脑电采集系统采集脑电信号,从脑电信号中提取特征;
本发明使用64导联脑电采集系统,所用电极均为Ag/AgCl电极(阻抗小于15000欧姆),以鼻尖作为参考,脑电采样频率为1000Hz,滤波通带为0.5-100Hz,并采用50Hz陷波器去除工频干扰。之后对原始数据降采样到200Hz,并采用共平均参考(common averagereference)。
按1秒窗宽,0.5秒步长,采用burg算法(Marple L.A new autoregressive spectrum analysis algorithm.IEEE Transactions on Acoustics,Speech and Signal Processing,1980,28(4):441-454)估计想象任务期内脑电数据的功率谱密度。基于自回归模型的功率谱密度估计方法定义如下:
P ( ω ) = σ 2 | Σ k = 0 p a k e - jωk | 2 - - - ( 1 )
其中σ2为白噪声方差,ak为AR模型系数,p为模型阶数,k是阶数的取值,范围是0~p,ω代表频率,P(ω)为功率谱密度。本发明中阶数为5。
分别对delta(0.5-4Hz)、theta(4-8Hz)、alpha(8-13Hz)、beta(14-30Hz)、gamma(30-50Hz)五个频段内的功率谱密度求和,得到长度为5*m*N(m为移动窗的个数,N为导联数)的特征。
102:基于支持向量机的递归特征筛选,根据序贯指数分别取前1导,前2导,…,前N导的特征作为分类器的输入,得到相应导联组合下的识别率结果,识别率最高的导联组合即为最优组合;
基于支持向量机的递归特征筛选(Support Vector Machine-Recursive FeatureElimination,SVM-RFE)是一种常用的特征优化算法,其基本思想是:根据分类器代价函数在移去某一维特征后的变化量来衡量该特征对分类器权重的顺序(称为特征的序贯指数),引起的变化越大,说明该特征在所有特征的贡献中所占的比重越大,反之亦然。支持向量机的代价函数LD如下式:
其中,Hi,j=yiyjK(xi,xj)(不同i,j赋值得到的H值是不同的),K是衡量样本xi和xj相似性的核函数,y为类别标签(yi,yj代表不同的类别),λ为拉格朗日系数。是一个向量,衡量移除某个特征维度之后的代价函数的变化情况时,保持λ不
变。这样,特征的序贯指数dJi的计算公式为:
其中H(-i)表示移除第i个特征后的H。
对于多分类问题,序贯指数的计算式相应的由公式3式衍化为:
其中k是二分类器的个数,r的范围是1~k,Ji是多类问题中的序贯指数,Ji(r)是每一个二分类器的序贯指数,Ji是所有Ji(r)的平均。上式的含义就是将多分类器转化成的k个二分类器的序贯指数的平均作为整体的序贯指数。
本发明中将一个导联的所有特征看作是一个整体,即对导联的重要性进行排序。按照上述过程得到的导联排序,分别取前1导,前2导,…,前N导的特征作为分类器的输入,得到相应导联组合下的识别率结果,识别率最高的导联组合即为最优组合。
表1为所有被试者在2种作业条件下最优导联组合下的分类正确率。条件1下的最高正确率为82.86%,均值为65%,条件2下的最高正确率为91.43%,均值为74.14%。可见,在两种条件下,本发明中设计的四类序列性复合肢体想象动作都是可分的,而条件2下的正确率显得更高。因此,该结果表明本发明中的序列性复合肢体想象动作以及相应的分类方法可为想象动作型脑-机接口指令集的拓展提供技术支持和帮助。
表1 12名被试在2种作业条件下最优导联组合下的分类正确率。
其中,黑体表示最高正确率。图3为两种作业条件下的所有被试特征筛选的平均结果,其中横轴为所用导联的个数,纵轴为相应的分类正确率。对于两种作业条件下,正确率在20个导联左右达到最大值,但随着导联数目的继续增多,正确率呈下降趋势。可见,相比于使用全导联特征,在特征筛选之后可以使用较少的导联获得最高正确率,说明SVM-RFE是一种非常有效的特征优化方法,有效地减少了特征维度。
本发明设计了一种新型的基于序列性复合肢体想象动作的多模脑-机接口系统。该项发明能够拓展传统的基于简单肢体想象动作的脑-机接口系统的指令集,满足多指令输出,其应用将会使脑-机接口变得更加灵活可操作。
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于序列性复合肢体想象动作的脑-机接口方法,其特征在于,所述方法包括以下步骤:
设计4种复合肢体想象动作序列,通过64导联脑电采集系统采集脑电信号,从脑电信号中提取特征;
通过基于支持向量机的递归对特征进行筛选;根据序贯指数分别取前1导,前2导,…,前N导的特征作为分类器的输入,得到相应导联组合下的识别率结果,识别率最高的导联组合即为最优组合。
2.根据权利要求1所述的一种基于序列性复合肢体想象动作的脑-机接口方法,其特征在于,所述设计4种复合肢体想象动作序列,通过64导联脑电采集系统采集脑电信号具体为:
所述4种复合肢体想象动作序列分别为:右手-右手-右手,右手-左手-右手,左手-右脚-左手,右脚-右手-左手;每个动作序列随机出现,在两种作业条件下,每名被试者进行想象动作训练,通过64导联脑电采集系统采集脑电信号。
3.根据权利要求1所述的一种基于序列性复合肢体想象动作的脑-机接口方法,其特征在于,所述从脑电信号中提取特征的步骤具体为:
按1秒窗宽,0.5秒步长,采用burg算法估计想象任务期内脑电数据的功率谱密度;分别对0.5-4Hz、4-8Hz、8-13Hz、14-30Hz、30-50Hz五个频段内的功率谱密度求和,得到长度为5*m*N的特征,其中,m为移动窗的个数,N为导联数。
4.根据权利要求1所述的一种基于序列性复合肢体想象动作的脑-机接口方法,其特征在于,所述功率谱密度具体为:
P ( ω ) = σ 2 | Σ k = 0 p a k e - jωk | 2
其中σ2为白噪声方差,ak为模型系数,p为模型阶数,k为阶数的取值,ω为频率。
5.根据权利要求1所述的一种基于序列性复合肢体想象动作的脑-机接口方法,其特征在于,序贯指数的计算具体为:
其中k是二分类器的个数,r的范围是1~k,Ji(r)是每一个二分类器的序贯指数,Ji是所有Ji(r)的平均;为向量;H(-i)表示移除第i个特征后的H,T为转置。
CN201410819720.0A 2014-12-24 2014-12-24 一种基于序列性复合肢体想象动作的脑‑机接口方法 Active CN104571505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410819720.0A CN104571505B (zh) 2014-12-24 2014-12-24 一种基于序列性复合肢体想象动作的脑‑机接口方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410819720.0A CN104571505B (zh) 2014-12-24 2014-12-24 一种基于序列性复合肢体想象动作的脑‑机接口方法

Publications (2)

Publication Number Publication Date
CN104571505A true CN104571505A (zh) 2015-04-29
CN104571505B CN104571505B (zh) 2017-08-25

Family

ID=53087783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410819720.0A Active CN104571505B (zh) 2014-12-24 2014-12-24 一种基于序列性复合肢体想象动作的脑‑机接口方法

Country Status (1)

Country Link
CN (1) CN104571505B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106419909A (zh) * 2016-09-12 2017-02-22 西安电子科技大学 特征重组和小波变换的多类运动想象脑电信号分类方法
CN107126193A (zh) * 2017-04-20 2017-09-05 杭州电子科技大学 基于滞后阶数自适应选择的多变量因果关系分析方法
CN108852349A (zh) * 2018-05-17 2018-11-23 浙江大学 一种利用皮层脑电信号的运动解码方法
CN109480871A (zh) * 2018-10-30 2019-03-19 北京机械设备研究所 一种面向rsvp脑-机接口的疲劳检测方法
CN112315744A (zh) * 2020-11-24 2021-02-05 中国医学科学院生物医学工程研究所 基于运动想象的多自由度协同运动上肢外骨骼指令方法
CN113576498A (zh) * 2021-09-07 2021-11-02 上海交通大学 基于脑电信号的视听觉美学评价方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101219048A (zh) * 2008-01-25 2008-07-16 北京工业大学 想象单侧肢体运动的脑电特征的提取方法
US20080235164A1 (en) * 2007-03-23 2008-09-25 Nokia Corporation Apparatus, method and computer program product providing a hierarchical approach to command-control tasks using a brain-computer interface
CN102722728A (zh) * 2012-06-11 2012-10-10 杭州电子科技大学 基于通道加权支持向量的运动想象脑电分类方法
CN102715902A (zh) * 2012-06-15 2012-10-10 天津大学 特殊人群的情绪监护方法
CN103735262A (zh) * 2013-09-22 2014-04-23 杭州电子科技大学 一种双树复小波与共空间模式结合的脑电特征提取方法
CN103876734A (zh) * 2014-03-24 2014-06-25 北京工业大学 一种基于决策树的脑电信号特征选择方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080235164A1 (en) * 2007-03-23 2008-09-25 Nokia Corporation Apparatus, method and computer program product providing a hierarchical approach to command-control tasks using a brain-computer interface
CN101219048A (zh) * 2008-01-25 2008-07-16 北京工业大学 想象单侧肢体运动的脑电特征的提取方法
CN102722728A (zh) * 2012-06-11 2012-10-10 杭州电子科技大学 基于通道加权支持向量的运动想象脑电分类方法
CN102715902A (zh) * 2012-06-15 2012-10-10 天津大学 特殊人群的情绪监护方法
CN103735262A (zh) * 2013-09-22 2014-04-23 杭州电子科技大学 一种双树复小波与共空间模式结合的脑电特征提取方法
CN103876734A (zh) * 2014-03-24 2014-06-25 北京工业大学 一种基于决策树的脑电信号特征选择方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106419909A (zh) * 2016-09-12 2017-02-22 西安电子科技大学 特征重组和小波变换的多类运动想象脑电信号分类方法
CN107126193A (zh) * 2017-04-20 2017-09-05 杭州电子科技大学 基于滞后阶数自适应选择的多变量因果关系分析方法
CN108852349A (zh) * 2018-05-17 2018-11-23 浙江大学 一种利用皮层脑电信号的运动解码方法
CN108852349B (zh) * 2018-05-17 2020-06-30 浙江大学 一种利用皮层脑电信号的运动解码方法
CN109480871A (zh) * 2018-10-30 2019-03-19 北京机械设备研究所 一种面向rsvp脑-机接口的疲劳检测方法
CN112315744A (zh) * 2020-11-24 2021-02-05 中国医学科学院生物医学工程研究所 基于运动想象的多自由度协同运动上肢外骨骼指令方法
CN113576498A (zh) * 2021-09-07 2021-11-02 上海交通大学 基于脑电信号的视听觉美学评价方法及系统
CN113576498B (zh) * 2021-09-07 2022-06-28 上海交通大学 基于脑电信号的视听觉美学评价方法及系统

Also Published As

Publication number Publication date
CN104571505B (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN104571505A (zh) 一种基于序列性复合肢体想象动作的脑-机接口方法
CN104091172B (zh) 一种运动想象脑电信号的特征提取方法
Dal Seno et al. Online detection of P300 and error potentials in a BCI speller
CN109657642A (zh) 一种基于黎曼距离的运动想象脑电信号分类方法及系统
CN108742517A (zh) 一种基于Stacking单导联脑电睡眠自动分期方法
CN107024987A (zh) 一种基于eeg的实时人脑注意力测试和训练系统
CN102200833B (zh) 一种Speller BCI系统及其控制方法
Thomas et al. Adaptive tracking of discriminative frequency components in electroencephalograms for a robust brain–computer interface
Xu et al. High accuracy classification of EEG signal
CN102331782B (zh) 一种多模态脑机接口的自动车控制方法
CN108280414A (zh) 一种基于能量特征的运动想象脑电信号的识别方法
CN105942974A (zh) 一种基于低频脑电的睡眠分析方法及系统
CN109480834A (zh) 一种基于快速多维经验模态分解的脑电信号分类方法
CN102542283A (zh) 脑机接口的最优电极组自动选取方法
CN104571504B (zh) 一种基于想象动作的在线脑‑机接口方法
CN110442244A (zh) 一种基于脑机接口的虚拟现实游戏交互方法及系统
CN108523883A (zh) 一种基于实际动作建模的左右食指连续运动想象识别系统
CN103340624B (zh) 少通道下运动想象脑电特征的提取方法
CN108042132A (zh) 基于dwt和emd融合csp的脑电特征提取方法
CN106648087B (zh) 一种基于意识任务的特征eeg处理方法
CN109858537A (zh) 改进的eemd与csp结合的脑电信号特征提取方法
CN108459714B (zh) 基于mi和ssvep双范式的少通道异步控制脑机接口系统
CN111820876A (zh) 一种脑电空间滤波器的动态构建方法
CN109009098A (zh) 一种运动想象状态下的脑电信号特征识别方法
CN106774851A (zh) 基于脑机接口的触感手指运动康复系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant