CN112306244B - 一种肢体动作想象脑机交互方法及系统 - Google Patents

一种肢体动作想象脑机交互方法及系统 Download PDF

Info

Publication number
CN112306244B
CN112306244B CN202011321403.8A CN202011321403A CN112306244B CN 112306244 B CN112306244 B CN 112306244B CN 202011321403 A CN202011321403 A CN 202011321403A CN 112306244 B CN112306244 B CN 112306244B
Authority
CN
China
Prior art keywords
imagination
brain
task
limb
motor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011321403.8A
Other languages
English (en)
Other versions
CN112306244A (zh
Inventor
徐佳琳
左国坤
王辉
宋涛
施长城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS, Cixi Institute of Biomedical Engineering CIBE of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202011321403.8A priority Critical patent/CN112306244B/zh
Publication of CN112306244A publication Critical patent/CN112306244A/zh
Application granted granted Critical
Publication of CN112306244B publication Critical patent/CN112306244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种肢体动作想象脑机交互方法，生成想象任务,采集受试者在执行想象任务全过程中的大脑脑电信号,计算运动相关皮质电位中运动准备电位特征，计算运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征,对联合特征进行多特征融合、分类辨识，得出分类判断结果，完成对外控制。想象任务以肢体动作想象种类数和不同肢体动作想象种类出现频次划分难度等级，根据执行动作想象实况调整想象任务难度。本发明还公开了一种系统，包括信号采集装置、信号处理器、任务处理器、外部作动装置和任务呈现装置。本发明可使受试者自行控制开始运动想象时间，提供适合个体能力、且循序渐进的想象任务，个体适应性大大提高。

Description

一种肢体动作想象脑机交互方法及系统
技术领域
本发明涉及脑机交互技术领域，具体涉及一种肢体动作想象脑机交互方法及系统。
背景技术
在脑机交互技术中，运动想象通过人脑的主观运动意识诱发不同节律脑电信号能量的上升或下降，即事件相关同步/去同步(ERS/ERD)现象，不同的运动想象任务可诱发不同的ERS/ERD模式，与人类正常的思维活动过程相符合。目前实际得到应用的运动想象脑机交互系统，一般要求受试者在固定的时间内执行某种运动想象任务，在想象过程中受试者处于被动状态，无法自主控制运动想象时间，想象任务难度也较难与个体相匹配，因此这种方式对于思维能力较弱者，则无法跟随固定时间或者难以进行肢体动作想象，个体适用性大大下降。
针对上述问题，有研究人员设计了主动式的运动想象脑机交互系统和方法。例如公告号为CN103793058B的专利说明书中公开了一种主动式脑机交互系统运动想象任务分类方法及装置，基于ERS/ERD的单一模态方法，对大脑空闲和运动想象状态的检测以及各种运动想象状态的辨识均通过计算、提取ERS/ERD特征值实现，大脑在空闲状态时脑电信号的不定性和多样性会直接影响对空闲状态及其持续时间的判断，甚至会降低对运动想象状态的识别率。而公开号为CN108597584A的专利说明书中公开了结合稳态视觉诱发电位及运动想象的三阶段脑控上肢康复方法，基于稳态视觉诱发电位(SSVEP)和ERS/ERD的多模态方法，将SSVEP作为状态转换开关，当状态转换开关打开时，则进入工作状态，利用ERS/ERD进行运动想象状态的辨识，这种方式需要受试者在多模态间进行不同思维方式的切换，对受试者的思维能力、配合程度等要求较大，个体适用性程度仍然不高。
在运动想象或实际运动的大脑思维活动全过程中，除运动想象或实际运动执行时出现反映大脑活动的ERS/ERD现象外，大脑早在运动想象或实际运动前就已经被激活，具体表现为：在执行运动想象或实际运动前的准备阶段，大脑调用与运动相关的认知资源时产生负值低频电位，即运动相关皮质电位(movement-related cortical potentials,MRCPs)。MRCPs信号中普遍认可的3个主要成分是运动准备电位(bereitschaftspotential,BP)、运动电位(motor potentials,MPs)、运动监控电位(movement-monitoringpotentials,MMP)。BP通常出现在运动想象或实际运动开始前约1～2s，BP早期成分是平缓变化的负值电位，其皮层投射区主要对应于较大范围的中央顶叶中线处；BP晚期成分是剧烈变化的负值电位，其皮层投射区主要对应于肢体对侧、范围较小的初级运动皮层。MPs在时间上紧随BP晚期成分，通常出现在运动想象或实际运动开始前约150ms，反映了运动想象或实际运动准备晚期大脑的激活状态，集中分布于肢体对侧的感觉运动皮层。MMP是正负值交替变化的复杂皮层电位，通常开始于运动想象或实际运动开始时刻，持续至其后的1s或更长时间内。MRCPs与运动想象或实际运动的皮质神经活动有较严格的锁时和锁相关系，而且其信号特征与运动想象或实际运动有密切的关系。
发明内容
本发明的主要目的在于提供一种肢体动作想象脑机交互方法，可使受试者自行控制开始运动想象时间，并提供适合个体能力、且循序渐进的想象任务，个体适应性大大提高。
本发明的另一目的在于提供一种肢体动作想象脑机交互系统，用于实施上述方法。
一种肢体动作想象脑机交互方法，包括如下步骤：
S1、生成想象任务,根据任务难度设定的肢体动作想象构建虚拟场景中的目标物和虚拟人体肢体；
S2、采集受试者在执行想象任务全过程中的大脑脑电信号；
S3、利用所述大脑脑电信号，计算受试者大脑脑区的运动相关皮质电位中运动准备电位特征，并通过深度学习网络计算运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征；
S4、对所述联合特征进行多特征融合，对融合的特征进行分类后，辨识大脑执行肢体动作想象的种类，判断所辨识出的大脑执行肢体动作想象种类与一次想象任务所对应的肢体动作想象种类是否一致，得出分类判断结果；
S5、依据分类判断结果控制虚拟场景中虚拟人物肢体的动作，使目标物达到目标完成状态，同时将分类判断结果转化为对外的控制指令。
本发明方法通过计算受试者在执行想象任务全过程中大脑脑区的运动相关皮质电位中运动准备电位特征以及运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征，辨识大脑执行肢体动作想象的种类，这种方式使得受试者能够自行控制开始运动想象时间，个体适应性大大提高。
作为优选，所述的S1中想象任务根据单肢体动作想象、多肢体协作动作想象设计，以肢体动作想象种类数和不同肢体动作想象种类出现的频次划分想象任务的难度等级；
对一次想象任务进行所辨识出的大脑执行肢体动作想象种类与该次想象任务对应的肢体动作想象种类是否一致的一次或多次判断，以及想象任务执行成功次数的判断，进行想象任务难度等级的下调和上调，即能够根据大脑执行动作想象的实况，实现对想象任务难度的调整，提高个体适应性。
作为优选，所述的S3中计算受试者大脑脑区的运动相关皮质电位中运动准备电位特征的具体步骤如下：
(1)选择全脑N导联中初级运动皮层和中央顶叶的X导联脑电信号进行＜7Hz的低通滤波；
(2)检测所述X导联中各导联的脑电信号经低通滤波后随时间变化的幅值；
(3)当所述各导联幅值在脑电信号正常幅值区间内无负向持续增加时，则判定受试者大脑处于空闲状态；当所述各导联中的一导联或多导联幅值随时间呈持续的负向增加、且负向增加由平缓过渡到剧烈，则判定受试者大脑进入运动想象准备状态，并记录剧烈之后出现负峰值的时刻Tn。
进一步优选，导联幅值在脑电信号正常幅值区间内有无负向持续增加，随时间的持续负向增加是否由平缓过渡到剧烈，以及从平缓过渡到剧烈之后达到负峰值，是通过每Δt时间段幅值变化的斜率Ki来确定，Ki计算如下：
Figure BDA0002793019100000051
其中，Yi*Δt、Y(i+1)*Δt分别代表i*Δt和(i+1)*Δt时刻某一导联幅值；
当各导联的Ki一直在0值附近微小正负波动，则确定导联幅值在脑电信号正常幅值区间内无负向持续增加，受试者大脑处于空闲状态；
当各导联中一导联或多导联的Ki以较小负值持续一段时间后增大至较大负值，则确定导联幅值随时间的持续负向增加由平缓过渡到剧烈，受试者大脑进入运动想象准备状态；
当各导联中任一导联的Ki由较大负值回落至0值附近时，则记为导联幅值从平缓过渡到剧烈之后达到负峰值。
通过各导联脑电幅值变化的斜率计算＜7Hz频段的运动相关皮质电位中运动准备电位的随时间持续负向增加，持续负向增加由平缓过渡到剧烈，以及从平缓过渡到剧烈之后达到负峰值的时域特征，用以区分大脑的空闲状态和运动想象前的准备状态，能够在不限定运动想象时间的情况下，检测出大脑的空闲状态以及何时进入运动想象状态，为进一步的肢体动作想象种类辨识打下基础。
进一步优选，在一次想象任务开始后，计算运动准备电位特征的开始时刻为：受试者根据目标物起始状态自主发起并执行对应种类的肢体动作想象，在呈现目标物的起始状态之后开始计算；
在一次想象任务开始后，计算运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征的开始时刻为：导联幅值从平缓过渡到剧烈之后达到负峰值时开始计算。
作为优选，所述的S3中深度学习网络的构建步骤如下：
I、构建双向长短时记忆循环神经网络模块，用于学习运动电位、运动监控电位在时间域上的特征；
II、构建浅层卷积神经网络与双向长短时记忆循环神经网络串联的深度神经网络模块，用于学习事件相关同步/去同步现象在时间-空间-频率域上的特征；
III、将I、II中的网络模块并联后再串联特征融合层、分类网络层，用于特征的去冗余、分类。
进一步优选，所述的S3中深度学习网络的训练步骤如下：
a、采集并存储全脑N个导联脑电信号数据，截取负峰值时刻Tn开始的Tn～Tn+△t时间段的脑电数据、进行＜7Hz的低通滤波，记为数据集Xt，截取负峰值时刻Tn开始的Tn～Tn+△t时间段的脑电数据、进行8～30Hz的带通滤波，记为数据集Yt，将两者合并为深度学习网络的脑电数据训练集XYt；
b、将整个脑电数据训练集XYt划分成多个大小为p的子集，在一个网络训练轮次中，依次使用这些子集来进行梯度下降；其中，Xt数据集输入双向长短时记忆循环神经网络模块，Yt数据集输入浅层卷积神经网络与双向长短时记忆循环神经网络串联的深度神经网络模块；
c、用梯度的一阶矩估计和二阶矩估计动态调整网络参数的学习率。
对深度学习网络进行串、并联构建，对所构建的网络进行训练，学习＜7Hz频段的运动相关皮质电位中运动电位、运动监控电位与8～30Hz频段的事件相关同步/去同步现象的联合特征，并基于导联幅值从平缓过渡到剧烈之后的负峰值时刻即大脑何时进入运动想象状态的检测，用训练后的深度学习网络计算大脑从进入运动想象状态时开始的肢体动作想象特征，并进行想象种类的辨识和对外控制，大脑何时进入运动想象状态的确定和不同频段多种脑电特征的联合能提升大脑空闲与想象、各种想象状态辨识的准确性。
一种肢体动作想象脑机交互系统，包括：
信号采集装置，用于采集受试者在执行想象任务全过程中的大脑脑电信号；
信号处理器，利用信号采集装置所采集的大脑脑电信号，计算受试者大脑脑区的运动相关皮质电位中运动准备电位特征，计算运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征，对所述联合特征进行特征融合、分类辨识，将所辨识出的大脑执行肢体动作想象种类与一次想象任务所对应的肢体动作想象种类是否一致的分类判断结果传入任务处理器，同时将分类判断结果转化为对外的控制指令发送至外部作动装置；
任务处理器，用于生成想象任务,根据任务难度设定的肢体动作想象构建虚拟场景中的目标物和虚拟人物肢体，并依据信号处理器的分类判断结果控制虚拟场景中虚拟人物肢体的动作，使目标物达到目标完成状态；
外部作动装置，用于接收分类判断结果转化的控制指令，带动受试者肢体，完成相应肢体动作；
和任务呈现装置，用于显示虚拟场景中目标物及其状态，虚拟人物肢体动作。
作为优选，所述外部作动装置包括末端牵引式的双侧连杆机构及驱动连杆机构动作的驱动机构。
作为优选，所述信号处理器与任务处理器为一体集成式，或所述任务处理器与任务呈现装置为一体集成式。
本发明的有益效果：
本发明的脑机交互方法及系统利用从大脑运动想象前的准备到运动想象执行的全过程中＜7Hz、8～30Hz两大频段的脑电信号特征，即通过运动相关皮质电位中运动准备电位的时域特征区分大脑的空闲状态和运动想象前的准备状态，通过运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象在时间-空间-频率域上的联合特征辨识大脑执行肢体动作想象的种类，这种方式能够在不限定运动想象时间的情况下，检测出大脑的空闲状态以及何时进入运动想象状态，因而使得受试者能够自行控制开始运动想象时间。并且，何时进入运动想象状态的确定以及不同频段多种脑电特征的联合能提升对大脑空闲与想象、各种想象状态辨识的准确性。
另外，想象任务以肢体动作想象种类数和不同动作想象种类出现的频次划分难度等级，在以所选择侧肢体动作想象为主的基础上逐级加入其它种类的肢体动作想象任务，并根据受试者执行动作想象的实况调整想象任务难度，提供适合个体能力、且循序渐进的想象任务。
附图说明
图1为本发明系统第一种实施方式示意图；
图2为本发明系统第二种实施方式示意图；
图3为本发明系统第三种实施方式示意图；
图4为本发明深度学习网络的框架图；
图5为本发明方法的控制流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种肢体动作想象脑机交互系统，包括信号采集装置、信号处理器、任务处理器、外部作动装置和任务呈现装置。
信号采集装置用于采集受试者在执行想象任务全过程中的大脑脑电信号。本实施例中，信号采集装置包括电极帽和脑电采集仪，电极帽采集受试者脑电模拟信号并发送至脑电采集仪，脑电采集仪通过对脑电模拟信号进行放大、滤波及模数转换等预处理后生成脑电信号，发送至信号处理器。
信号处理器与信号采集装置、外部作动装置以及任务处理器连接，利用信号采集装置所采集的大脑脑电信号，计算受试者大脑脑区的运动相关皮质电位中运动准备电位特征，计算运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征，对联合特征进行特征融合、分类辨识，将所辨识出的大脑执行肢体动作想象种类与一次想象任务所对应的肢体动作想象种类是否一致的分类判断结果传入任务处理器，同时将分类判断结果转化为对外的控制指令发送至外部作动装置。
任务处理器用于生成想象任务，包括目标物控制模块、虚拟人物肢体动作控制模块。想象任务按单肢体动作运动想象、多肢体协作运动想象设计，想象任务的难度等级以肢体动作想象种类数和不同动作想象种类出现的频次划分。目标物控制模块，根据任务难度设定的肢体动作想象构建虚拟场景中的目标物，并依据信号处理器中对所辨识出的大脑执行肢体动作想象种类与一次想象任务所对应的肢体动作想象种类是否一致的分类判断结果，调整目标物达到目标完成状态。虚拟人物肢体动作控制模块，根据任务难度设定的肢体动作想象构建虚拟场景中的虚拟人物肢体，并依据信号处理器中对所辨识出的大脑执行肢体动作想象种类与一次想象任务所对应的肢体动作想象种类是否一致的分类判断结果，控制虚拟人物肢体的动作。
任务呈现装置与任务处理器连接，用于显示虚拟场景中目标物及其状态、虚拟人物肢体动作等。
如图2所示，可以将信号处理器与任务处理器集成一体，采用一台计算机设备；任务呈现装置采用与该计算机设备分体的显示器。
如图3所示，也可以将信号处理器独立，采用一台计算机设备；将任务处理器与任务呈现装置集成，采用一台处理器、显示器集成的一体式计算机设备。
在本实施例中，设计左手、右手、双手扔球的想象任务，选择侧肢体以左手为例，想象任务的难度等级划分如下：
当想象任务的难度等级为1级时，对应进行6*Q次左手扔球动作的想象任务；
当想象任务的难度等级为2级时，对应进行6*Q-1次左手扔球动作的想象任务，1次右手扔球动作的想象任务；
当想象任务的难度等级为3级时，对应进行6*Q-2次左手扔球动作的想象任务，2次右手扔球动作的想象任务；
以此类推，当想象任务的难度等级为3Q+1级时，对应进行3Q次左手扔球动作的想象任务，3Q次右手扔球动作的想象任务；
当想象任务的难度等级为3Q+2级时，对应进行3Q次左手扔球动作的想象任务，3Q-1次右手扔球动作的想象任务，1次双手扔球动作的想象任务；
当想象任务的难度等级为3Q+3级时，对应进行3Q-1次左手扔球动作的想象任务，3Q-1次右手扔球动作的想象任务，2次双手扔球动作的想象任务；
以此类推，当想象任务的难度等级为5Q+1级时，对应进行2Q次左手扔球动作的想象任务，2Q次右手扔球动作的想象任务，2Q次双手扔球动作的想象任务。以上，Q为正整数。
在本实施例中，想象任务难度等级的最低等级为1级、最高等级为5Q+1级，初始化为最低等级1级。
如图5所示，在一次扔球想象任务开始后，受试者根据虚拟场景中球是由虚拟人物左手、右手或双手持握，自主发起并执行对应种类的肢体动作运动想象。当呈现球由虚拟人物持握后，信号处理器开始计算受试者的大脑运动相关皮质电位中运动准备电位特征，区分大脑的空闲状态和肢体动作运动想象前的准备状态。具体步骤如下：
(1)选择全脑N导联中的初级运动皮层和中央顶叶X导联的脑电信号进行小＜7Hz的低通滤波，全脑N导联的分布符合10-20国际标准；在本实施例中，全脑N导联采用符合10-20国际标准的64导联，初级运动皮层和中央顶叶X导联选择C3、Cz、C4、CP3、CPz、CP4导联；
(2)检测X导联中各导联的脑电信号经低通滤波后随时间变化的幅值；
(3)当上述各导联幅值在脑电信号正常幅值区间内无负向持续增加时，则判定受试者大脑处于空闲状态；
当上述各导联中的一导联或多导联幅值随时间呈持续的负向增加、且负向增加由平缓过渡到剧烈，则判定受试者大脑进入运动想象准备状态；
当检测到上述各导联中任一导联经过低通滤波后脑电信号的幅值随时间负向增加由平缓过渡到剧烈之后达到负峰值，记录该导联负峰值出现的时刻Tn，信号处理器开始通过深度学习网络计算运动相关皮质电位中的运动电位、运动监控电位与事件相关同步/去同步现象在时间-空间-频率域上的联合特征、进行多特征融合，辨识大脑执行肢体动作想象的种类，进而完成对外控制。
通过每Δt时间段幅值变化的斜率Ki来确定导联幅值在脑电信号正常幅值区间内有无负向持续增加，随时间的持续负向增加是否由平缓过渡到剧烈，以及从平缓过渡到剧烈之后达到的负峰值，Ki计算如下：
Figure BDA0002793019100000141
其中，Yi*Δt、Y(i+1)*Δt分别代表i*Δt和(i+1)*Δt时刻某一导联幅值；
当上述各导联的Ki一直在0值附近微小正负波动，则确定导联幅值在脑电信号正常幅值区间内无负向持续增加，受试者大脑处于空闲状态；
当上述各导联中一导联或多导联的Ki以较小负值持续一段时间后增大至较大负值，则确定导联幅值随时间的持续负向增加由平缓过渡到剧烈，受试者大脑进入运动想象准备状态；
当上述各导联中任一导联的Ki由较大负值回落至0值附近时，则记为导联幅值从平缓过渡到剧烈之后达到负峰值。记录该导联负峰值出现的时刻Tn。
深度学习网络在用于脑机交互系统前，先进行网络的构建和训练。
如图4所示，构建深度学习网络，具体步骤如下：
I、构建双向长短时记忆循环神经网络模块，在本实施例中，此网络模块采用双层结构，用于学习运动电位、运动监控电位在时间域上的特征；
II、构建浅层卷积神经网络与双向长短时记忆循环神经网络串联的深度神经网络模块，用于学习事件相关同步/去同步现象在时间-空间-频率域上的特征。在本实施例中，浅层卷积神经网络采用四层卷积结构，用于学习事件相关同步/去同步现象在空间-频率域上的特征，在四层卷积结构的各卷积层后均连接最大池化层，对事件相关同步/去同步现象在空间-频率域上的特征进行局部感知后降维，在第二、三层卷积结构的最大池化层后连接随机丢弃层，减少卷积滤波器权重的空间维度，在第四层卷积结构的最大池化层后连接平铺层过渡至双向长短时记忆循环神经网络。双向长短时记忆循环神经网络采用双层结构，用于学习事件相关同步/去同步现象在时间域上的特征；
III、将上述两个网络模块并联之后再串联特征融合层、分类网络层。在本实施例中，特征融合层采用单层结构的注意力机制层进行特征的动态加权融合、去除冗余特征，分类网络层采用单层结构的全连接层对特征融合层输出的所有局部特征进行整合，并采用Softmax逻辑回归进行分类。
本实施例中，用于深度学习网络训练的训练数据集的采集过程要求每位受试者在固定的时间内完成运动想象的准备并执行扔球动作想象任务，左手、右手、双手三类扔球动作想象任务随机出现。在正式采集脑电数据前，需要让每位受试者对运动想象准备和执行扔球动作想象过程进行熟悉和预训练，以获得理想的训练数据集。
训练深度学习网络，具体步骤如下：
a、采集并存储全脑N导联脑电信号数据，截取负峰值时刻Tn开始的Tn～Tn+△t时间段的脑电数据、进行＜7Hz的低通滤波，记为数据集Xt，截取负峰值时刻Tn开始的Tn～Tn+△t时间段的脑电数据、进行8～30Hz的带通滤波，记为数据集Yt，将两者合并为深度学习网络的脑电数据训练集XYt。在本实施例中，△t取1秒时间。
b、将整个脑电数据训练集XYt划分成多个大小为p的子集，在一个网络训练轮次中，依次使用这些子集来进行梯度下降。其中，XYt数据训练集中的Xt数据集输入双向长短时记忆循环神经网络模块，XYt数据训练集中的Yt数据集输入浅层卷积神经网络与双向长短时记忆循环神经网络串联的深度神经网络模块。
c、用梯度的一阶矩估计和二阶矩估计动态调整网络参数的学习率，加速网络的收敛和特征的学习。
训练后的深度学习网络，在用于脑机交互系统的过程中，可进一步采集并存储受试者与系统交互时的脑电数据用于网络的再次训练，优化深度学习网络。
将训练好的深度学习网络用于脑机交互系统的大脑执行肢体动作想象特征的计算、想象种类辨识和对外控制。具体步骤如下：
步骤一、从全脑N导联实时脑电信号中截取由负峰值时刻Tn开始的Tn～Tn+Δt时间段的脑电数据，进行＜7Hz的低通滤波后输入双向长短时记忆循环神经网络模块进行运动电位、运动监控电位时域特征计算。在本实施例中，与网络训练过程同样，Δt取1秒时间。
步骤二、初始化K＝1；当K≤L时，从全脑N导联实时脑电信号中截取由负峰值时刻Tn开始的Tn+(K-1)*Δt～Tn+K*Δt时间段脑电数据，进行8～30Hz的带通滤波后输入浅层卷积神经网络与双向长短时记忆循环神经网络串联的深度神经网络模块进行事件相关同步/去同步现象的时间-空间-频率域特征计算。当K＞L时，退出本次想象任务，同时向任务处理器传送难度下调指令，用以降低下一次想象任务的难度等级，但当本次想象任务的难度等级为最低等级时，下一次想象任务不再降低难度等级，仍按最低等级进行。在本实施例中，与网络训练过程同样，△t取1秒时间。
步骤三、对计算获得的运动电位、运动监控电位的特征与事件相关同步/去同步特征，并行输入特征融合层进行动态加权融合、去除冗余后，得到融合后特征；将融合后特征经过分类网络层后，辨识出大脑执行肢体动作想象的种类。在本实施例中，即辨识出大脑执行左手、右手、双手扔球三类动作想象的其中哪一种类。
步骤四、判断所辨识出的大脑执行肢体动作想象种类与一次想象任务所对应的肢体动作想象种类是否一致，在本实施例中，即判断所辨识出的大脑执行扔球动作想象的种类与虚拟场景中虚拟人物肢体持握球是否一致。若一致，将分类判断结果转化为控制指令发送至外部作动装置，同时向任务处理器传入分类判断结果用以提示受试者一次想象任务执行成功，重新开始新一次想象任务；否则，令K＝K+1，返回步骤二，同时向任务处理器传入分类判断结果用以提示受试者继续执行运动想象。
当想象任务执行成功的次数Ns＞S时，向任务处理器传送难度上调指令，用以提升下一次想象任务的难度等级，但当本次想象任务的难度等级为最高等级时，下一次想象任务不再提升难度等级，仍按最高等级进行。
在本实施例中，外部作动装置可采用末端牵引式的双侧连杆机构及机构驱动，接收信号处理器发送的控制指令，进而带动受试者手部和上肢完成左手、右手、双手扔球三类动作。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种肢体动作想象脑机交互方法，其特征在于，包括如下步骤：
S1、生成想象任务,根据任务难度设定的肢体动作想象构建虚拟场景中的目标物和虚拟人体肢体；
S2、采集受试者在执行想象任务全过程中的大脑脑电信号；
S3、利用所述大脑脑电信号，计算受试者大脑脑区的运动相关皮质电位中运动准备电位特征，并通过深度学习网络计算运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征；
S4、对所述联合特征进行多特征融合，对融合的特征进行分类后，辨识大脑执行肢体动作想象的种类，判断所辨识出的大脑执行肢体动作想象种类与一次想象任务所对应的肢体动作想象种类是否一致，得出分类判断结果；
S5、依据分类判断结果控制虚拟场景中虚拟人物肢体的动作，使目标物达到目标完成状态，同时将分类判断结果转化为对外的控制指令；
所述的S3中计算受试者大脑脑区的运动相关皮质电位中运动准备电位特征的具体步骤如下：
(1)选择全脑N个导联中初级运动皮层和中央顶叶的X个导联脑电信号进行＜7Hz的低通滤波；
(2)检测所述X个导联中各导联的脑电信号经低通滤波后随时间变化的幅值；
(3)当所述各导联幅值在脑电信号正常幅值区间内无负向持续增加时，则判定受试者大脑处于空闲状态；当所述各导联中的一导联或多导联幅值随时间呈持续的负向增加、且负向增加由平缓过渡到剧烈，则判定受试者大脑进入运动想象准备状态，并记录剧烈之后出现负峰值的时刻Tn。
2.根据权利要求1所述的肢体动作想象脑机交互方法，其特征在于，所述的S1中想象任务根据单肢体动作想象、多肢体协作动作想象设计，以肢体动作想象种类数和不同肢体动作想象种类出现的频次划分想象任务的难度等级；
对一次想象任务进行所辨识出的大脑执行肢体动作想象种类与该次想象任务对应的肢体动作想象种类是否一致的一次或多次判断，以及进行想象任务执行成功次数的判断，进而控制想象任务难度等级的下调和上调。
3.根据权利要求1所述的肢体动作想象脑机交互方法，其特征在于，导联幅值在脑电信号正常幅值区间内有无负向持续增加，随时间的持续负向增加是否由平缓过渡到剧烈，以及从平缓过渡到剧烈之后达到负峰值,是通过每Δt时间段幅值变化的斜率Ki来确定，Ki计算如下：
Figure FDA0003492177020000021
其中，Yi*Δt、Y(i+1)*Δt分别代表i*Δt和(i+1)*Δt时刻某一导联幅值；
当各导联的Ki一直在0值附近微小正负波动，则确定导联幅值在脑电信号正常幅值区间内无负向持续增加，受试者大脑处于空闲状态；
当各导联中一导联或多导联的Ki以较小负值持续一段时间后增大至较大负值，则确定导联幅值随时间的持续负向增加由平缓过渡到剧烈，受试者大脑进入运动想象准备状态；
当各导联中任一导联的Ki由较大负值回落至0值附近时，则记为导联幅值从平缓过渡到剧烈之后达到负峰值。
4.根据权利要求3所述的肢体动作想象脑机交互方法，其特征在于，在一次想象任务开始后，计算运动准备电位特征的开始时刻为：受试者根据目标物起始状态自主发起并执行对应种类的肢体动作想象，在呈现目标物的起始状态之后开始计算；
在一次想象任务开始后，计算运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征的开始时刻为：导联幅值从平缓过渡到剧烈之后达到负峰值时开始计算。
5.根据权利要求1所述的肢体动作想象脑机交互方法，其特征在于，所述的S3中深度学习网络的构建步骤如下：
I、构建双向长短时记忆循环神经网络模块，用于学习运动电位、运动监控电位在时间域上的特征；
II、构建浅层卷积神经网络与双向长短时记忆循环神经网络串联的深度神经网络模块，用于学习事件相关同步/去同步现象在时间-空间-频率域上的特征；
III、将I、II中的网络模块并联后再串联特征融合层、分类网络层，用于特征的去冗余、分类。
6.根据权利要求5所述的肢体动作想象脑机交互方法，其特征在于，所述的S3中深度学习网络的训练步骤如下：
a、采集并存储全脑N个导联脑电信号数据，截取负峰值时刻Tn开始的Tn～Tn+△t时间段的脑电数据、进行＜7Hz的低通滤波，记为数据集Xt，截取负峰值时刻Tn开始的Tn～Tn+△t时间段的脑电数据、进行8～30Hz的带通滤波，记为数据集Yt，将两者合并为深度学习网络的脑电数据训练集XYt；
b、将整个脑电数据训练集XYt划分成多个大小为p的子集，在一个网络训练轮次中，依次使用这些子集来进行梯度下降；其中，Xt数据集输入双向长短时记忆循环神经网络模块，Yt数据集输入浅层卷积神经网络与双向长短时记忆循环神经网络串联的深度神经网络模块；
c、用梯度的一阶矩估计和二阶矩估计动态调整网络参数的学习率。
7.根据权利要求1所述的肢体动作想象脑机交互方法，通过一种肢体动作想象脑机交互系统实现，其特征在于，所述肢体动作想象脑机交互系统包括：
信号采集装置，用于采集受试者在执行想象任务全过程中的大脑脑电信号；
信号处理器，利用信号采集装置所采集的大脑脑电信号，计算受试者大脑脑区的运动相关皮质电位中运动准备电位特征，计算运动相关皮质电位中运动电位、运动监控电位与事件相关同步/去同步现象的联合特征，对所述联合特征进行特征融合、分类辨识，将所辨识出的大脑执行肢体动作想象种类与一次想象任务所对应的肢体动作想象种类是否一致的分类判断结果传入任务处理器，同时将分类判断结果转化为对外的控制指令发送至外部作动装置；
任务处理器，用于生成想象任务,根据任务难度设定的肢体动作想象构建虚拟场景中的目标物和虚拟人物肢体，并依据信号处理器的分类判断结果控制虚拟场景中虚拟人物肢体的动作，使目标物达到目标完成状态；
外部作动装置，用于接收分类判断结果转化的控制指令，带动受试者肢体，完成相应肢体动作；
和任务呈现装置，用于显示虚拟场景中目标物及其状态，虚拟人物肢体动作。
8.根据权利要求7所述的肢体动作想象脑机交互方法，其特征在于，所述外部作动装置包括末端牵引式的双侧连杆机构及驱动连杆机构动作的驱动机构。
9.根据权利要求7所述的肢体动作想象脑机交互方法，其特征在于，所述信号处理器与任务处理器为一体集成式，或所述任务处理器与任务呈现装置为一体集成式。
CN202011321403.8A 2020-11-23 2020-11-23 一种肢体动作想象脑机交互方法及系统 Active CN112306244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011321403.8A CN112306244B (zh) 2020-11-23 2020-11-23 一种肢体动作想象脑机交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011321403.8A CN112306244B (zh) 2020-11-23 2020-11-23 一种肢体动作想象脑机交互方法及系统

Publications (2)

Publication Number Publication Date
CN112306244A CN112306244A (zh) 2021-02-02
CN112306244B true CN112306244B (zh) 2022-04-08

Family

ID=74336140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011321403.8A Active CN112306244B (zh) 2020-11-23 2020-11-23 一种肢体动作想象脑机交互方法及系统

Country Status (1)

Country Link
CN (1) CN112306244B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113100783A (zh) * 2021-02-23 2021-07-13 厦门大学 一种基于脑电运动想象的空域特征强化方法
CN114546105B (zh) * 2021-12-27 2024-06-25 宁波慈溪生物医学工程研究所 交互式运动想象脑控方法、脑控vr系统及计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1803122A (zh) * 2005-12-08 2006-07-19 清华大学 利用想象运动脑电波产生康复训练器械控制命令的方法
CN103106343B (zh) * 2013-01-29 2016-11-23 中山大学 一种肢体康复训练的难度调节方法
CN103955269A (zh) * 2014-04-09 2014-07-30 天津大学 一种基于虚拟现实环境的智能眼镜脑-机接口方法
CN111161834B (zh) * 2019-12-27 2023-07-18 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种帕金森病的脑控步态训练系统和方法

Also Published As

Publication number Publication date
CN112306244A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112306244B (zh) 一种肢体动作想象脑机交互方法及系统
CN105938397B (zh) 基于稳态运动视觉诱发电位与缺省刺激响应的混合脑-机接口方法
WO2020124838A1 (zh) 一种基于实时闭环振动刺激增强的脑机接口方法及系统
Leeb et al. Multimodal fusion of muscle and brain signals for a hybrid-BCI
Ferrez et al. Simultaneous real-time detection of motor imagery and error-related potentials for improved BCI accuracy
Ebrahimi et al. Brain-computer interface in multimedia communication
CN106621287A (zh) 一种基于脑机接口与虚拟现实技术的上肢康复训练方法
CN111190484B (zh) 一种多模态交互系统和方法
CN206045144U (zh) 一种新型智能助眠和自然唤醒的装置
CN109976525B (zh) 一种用户界面交互方法、装置及计算机设备
CN110442244A (zh) 一种基于脑机接口的虚拟现实游戏交互方法及系统
CN112244774A (zh) 脑机接口康复训练系统及方法
CN107957783A (zh) 一种基于脑电与肌电信息的多模式智能控制系统及方法
CN102654793B (zh) 基于双模校验机制的脑电驱动高可靠操控系统
CN106109164A (zh) 康复系统及康复系统的控制方法
Achanccaray et al. A p300-based brain computer interface for smart home interaction through an anfis ensemble
CN107049308A (zh) 一种基于深度神经网络的意念控制系统
CN109077895A (zh) 一种多反馈模态的主动加强式训练系统及其操作方法
CN107961120A (zh) 一种基于脑电控制的智能轮椅控制系统
CN112987917A (zh) 运动想象增强方法、装置、电子设备和存储介质
CN106708273A (zh) 一种基于eog的开关装置及开关键实现方法
US11717163B2 (en) Wearable device, signal processing method and device
CN111966218A (zh) 一种二维光标控制方法和装置
Duvinage et al. A subjective assessment of a P300 BCI system for lower-limb rehabilitation purposes
Edlinger et al. A hybrid brain-computer interface for improving the usability of a smart home control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant