CN112674783A - 长时程脑-肌电耦合的上肢运动功能训练与评测方法 - Google Patents
长时程脑-肌电耦合的上肢运动功能训练与评测方法 Download PDFInfo
- Publication number
- CN112674783A CN112674783A CN202011538541.1A CN202011538541A CN112674783A CN 112674783 A CN112674783 A CN 112674783A CN 202011538541 A CN202011538541 A CN 202011538541A CN 112674783 A CN112674783 A CN 112674783A
- Authority
- CN
- China
- Prior art keywords
- brain
- time
- motor
- training
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 95
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 44
- 230000033001 locomotion Effects 0.000 title claims description 29
- 210000005036 nerve Anatomy 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 230000008878 coupling Effects 0.000 claims abstract description 22
- 238000010168 coupling process Methods 0.000 claims abstract description 22
- 238000005859 coupling reaction Methods 0.000 claims abstract description 22
- 230000001537 neural effect Effects 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 16
- 230000007659 motor function Effects 0.000 claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 230000005284 excitation Effects 0.000 claims abstract description 3
- 230000007774 longterm Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 210000003205 muscle Anatomy 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 14
- 238000013461 design Methods 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 11
- 210000004556 brain Anatomy 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 210000000337 motor cortex Anatomy 0.000 claims description 8
- 230000000638 stimulation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 210000003414 extremity Anatomy 0.000 claims description 7
- 210000004761 scalp Anatomy 0.000 claims description 7
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 6
- 230000001054 cortical effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000001953 sensory effect Effects 0.000 claims description 6
- 230000003238 somatosensory effect Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 229910021607 Silver chloride Inorganic materials 0.000 claims description 3
- 210000000245 forearm Anatomy 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 230000005283 ground state Effects 0.000 claims description 3
- 210000004247 hand Anatomy 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000011160 research Methods 0.000 abstract description 6
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004070 electrodeposition Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007996 neuronal plasticity Effects 0.000 description 1
- 231100000957 no side effect Toxicity 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及脑‑肌电耦合技术、医疗器械领域，为提出长时程的运动神经反馈训练系统，构建长时程脑‑肌电特征的上肢运动功能训练装置和评测方法，训练提升上肢运动神经功能，建立运动神经反馈训练效果的客观评测标准，进一步研究可以得到完善脑‑机交互式运动神经反馈训练系统，本发明采取的技术方案是，长时程脑‑肌电耦合的上肢运动功能训练与评测方法，设计用户长时程运动神经反馈训练系统范式；搭建脑‑肌电同步采集装置，以同步采集脑‑肌电数据；实时计算匹配神经反馈的用户脑电特征参数，进行正向激励反馈训练；评测运动神经反馈训练前后的脑‑肌电耦合关系和效果差异。本发明主要应用于脑‑肌电耦合场合。
Description
技术领域
本发明涉及脑-肌电耦合技术、医疗器械领域，具体涉及长时程脑-肌电耦合的上肢运动功能训练装置与评测方法。
背景技术
生物反馈训练技术(Biofeedback Training)通过呈现可被人体感知的生理信息，并以此作为信号标识不断训练人体学习、调控自身固有或特有机能，达到自主调节(self-regulation)的目标[1]。近年来，生物反馈用于特定人群或任务的神经功能训练，提升或改善某些特定的控制能力已成为主动式神经训练的热点手段。其中，特别是神经反馈训练(Neurofeedback training，NFT)作为一种直接训练大脑机能的主动式干预手段，通过传感装置实时获取神经生理信号，并借助先进的信息处理技术完成大脑信息的快速解码，匹配以视觉、触觉等多种刺激方式，可实现在线反馈大脑工作状态与运行性能的闭环训练(神经反馈训练系统模型如图1所示)。
神经反馈具有简单、安全、方便的特点及无创、无刺激、无副作用等优点，值得在人工智能领域应用和推广。已有研究发现，利用神经反馈技术调控大脑活动的同时，会伴随个体相应的认知和行为的改变[2]，故该项技术越来越多在军事、航天等领域被应用于增强大脑神经功能。在运动神经训练层面，研究表明，通过运动想象任务，用户通过实时神经反馈训练可以学会增强对躯体运动皮层的控制，诱导出辅助运动区(Supplementary MotorArea，SMA)的激活，且程度可达到真实运动造成的躯体运动皮层的激活水平，为运动功能训练提供了可能[3]。
然而，如何解码复杂的脑信息并利用神经反馈技术建立完整有效的反馈环路是在智能控制中面临的重要挑战，因此有效提取相关脑特征、综合评价神经功能表现并根据不同人群基于神经反馈训练得出的不同性能指标(包括静息态活动、解剖型脑结构、人格特质)制定相应的训练方法亟需进一步深入的研究[4][5]。此外，在脑-机接口的研究中，运动想象作为一种主动式人机交互范式，更加符合正常人大脑思维活动方式，在一定程度的训练后，使用者便可进行在线运动想象脑-机接口(Motor Imagery based BCI，MI-BCI)系统的交互控制。此外，系统控制信号源一般使用来自于使用者运动想象过程中头皮脑电的能量特征，可进行一段较长时间段的累加或优化来控制指令输出，有较强的可操作性。基于上述优点我们可以看出，对于运动想象的深入研究及开发一种脑-机交互式运动神经反馈系统方法，更加清楚地了解人类大脑，实现真正的人机交互，具有很强的理论与应用价值[6]-[8]。
参考文献：
[1]Oujamaa L,Relave I,Froger J,et al.Rehabilitation of arm functionafter stroke.Literature review[J].Annals of physical and rehabilitationmedicine,2009,52(3):269-293.
[2]Sitaram R,Ros T,Stoeckel L,et al.Closed-loop brain training:thescience of neurofeedback[J].Nature Reviews Neuroscience,2017,18(2):86.
[3]Zich C,Debener S,Kranczioch C,et al.Real-time EEG feedback duringsimultaneous EEG–fMRI identifies the cortical signature of motor imagery[J].Neuroimage,2015,114:438-447.
[4]Young B M,Nigogosyan Z,Walton L M,et al.Changes in functionalbrain organization and behavioral correlations after rehabilitative therapyusing a brain-computer interface[J].Frontiers in Neuroengineering,2014,7:26.
[5]Reynolds C,Osuagwu B A,Vuckovic A.Influence of motor imaginationon cortical activation during functional electrical stimulation[J].ClinicalNeurophysiology,2015,126(7):1360-1369.
[6]Kaiser V,Bauernfeind G,Kreilinger A,et al.Cortical effects of usertraining in a motor imagery based brain-computer interface measured by fNIRSand EEG.[J].Neuroimage,2014,85(1):432-444.
[7]Kaiser V,Daly I,Pichiorri F,et al.Relationship between electricalbrain responses to motor imagery and motor impairment in stroke[J].Stroke,2012,43(10):2735-2740.
[8]Várkuti B,Guan C,Pan Y,et al.Resting state changes in functionalconnectivity correlate with movement recovery for BCI and robot-assistedupper-extremity training after stroke[J].Neurorehabilitation and NeuralRepair,2013,27(1):53-62。
发明内容
为克服现有技术的不足，本发明旨在提出长时程的运动神经反馈训练系统，构建长时程脑-肌电特征的上肢运动功能训练装置和评测方法。将MI-BCI系统指令输出及意念控制过程变得可视化、可感知，训练提升上肢运动神经功能，建立运动神经反馈训练效果的客观评测标准，有望为新型运动功能训练提供关键技术保障，进一步研究可以得到完善脑-机交互式运动神经反馈训练系统，获得可观的社会效益和经济效益。为此，本发明采取的技术方案是，长时程脑-肌电耦合的上肢运动功能训练与评测方法，设计用户长时程运动神经反馈训练系统范式；搭建脑-肌电同步采集装置，以同步采集脑-肌电数据；实时计算匹配神经反馈的用户脑电特征参数，进行正向激励反馈训练；评测运动神经反馈训练前后的脑-肌电耦合关系和效果差异。
设计用户长时程运动神经反馈训练系统范式具体内容包括共包含5个任务阶段，训练前标准评测阶段，其结果作为初始运动想象水平的评判标准；然后是运动神经反馈训练阶段；之后进行训练中标准评测阶段；再一次的运动神经反馈训练阶段；最后进行训练后标准任务阶段，根据标准任务阶段所采集的用户脑电和肌电数据分析，作为用户运动功能训练效果的评判标准。
其中，标准评测任务范式设计共包含4个部分session，首先用户进行1个session左手LHME、右手RHME运动执行任务各30个试次trial，顺序随机，用于熟悉系统范式及运动感觉，此外对于用户同步采集了EMG信号；之后是1个session基于左手LHMI、右手RHMI运动想象任务的系统校准各30个trial，顺序随机，用于构建后续在线运动想象任务的脑电识别模型，每个trial开始显示器出现绿色十字，作为提示任务Cue准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，4s后进入静息，用户可放松等待下一个trial的开始；然后是2个session在线左、右手运动想象脑-机接口MI-BCI，每个session包含左、右手各30个trial，顺序随机，用于评判用户运动想象特征水平与分类识别性能，每个trial开始显示器出现绿色十字，作为为提示任务准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，此时箭头的长短会随用户运动想象脑电特征即相对ERD能量值变化，以提供视觉反馈信息，4s后声音反馈该trial的识别决策结果，并进入静息，用户可放松等待下一个trial的开始。
脑-肌电数据同步采集内容包括：
用户坐在靠背座椅上，距离电脑显示器75～90cm，双手保持舒适姿态，为期两周的每个阶段各session间隔可适当休息，头部佩戴EEG采集头帽进行训练任务，具体信号采集传感器包括：EEG采集电极按照国际标准10-20系统为15个电极导联位置：F3，FZ，F4，FC3，FC4，C5，C3，CZ，C4，C6，CP3，CP4，P3，PZ，P4，并采用标准Ag/AgCl材料的头皮脑电采集电极，头皮与电极之间采用专用脑电介质保证良好导特性，采集过程中阻抗控制10kΩ以下，采集过程以鼻尖作为参考，前额即FPZ与FZ中间作为接地，EMG采集电极为专用设备配置的标准肌电信号采集电极，采集电极位置贴于前臂外侧中间即尺侧腕伸肌位置，两电极间距2cm，接地电极贴于尺骨远端；
EEG采集部分应用64导脑电采集系统及其采集软件，数据采集参数设置为采样率1000Hz，0.5～100Hz硬件带通滤波，50Hz工频陷波，EMG采集部分应用多生理信号采集系统及其专用肌电采集模块，数据采集参数设置为采样率5000Hz，0.5～1000Hz硬件带通滤波，50Hz工频陷波，EEG与EMG设备均与刺激电脑硬件连接，采集过程中支持精准时间标记触发方式以保证数据同步；所有系统范式界面同样采用MATLAB专用工具箱Psychtoolbox编写实现，在呈现视觉提示的同时向脑电放大器及EMG采集设备发送同步事件代码以保证数据同步性。
实时脑电数据特征计算步骤
应用实时脑电特征控制神经反馈指令触发，用户可根据实时反馈内容不断训练调节自身运动想象特征水平，形成以体感动力学为主导的运动想象模式，对于运动想象诱发的事件相关去同步ERD/同步ERS(Event-Related(de)synchronization)脑电特征信号，使用短时傅里叶分析是目前常用的时频分析，具体首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，
这里w是角频率，W*(τ-t)是W(τ-t)的复共轭函数，当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，得到脑电信号的二维时频图谱，进而得到ERD能量值的实时变化情况；
计算左右手运动想象特征能量方法为相对ERD能量差值，计算公式如下：
其中，
Pn为瞬时能量谱，Prelax为基态平均能量谱，Ptask为任务态平均能量谱，则对应计算实时左右手运动想象脑电神经反馈训练参数计算为：
左手MI：NFeegleft(t)＝[RPleft(relax)-RPleft(t)]/RPleft(relax) (3)
右手MI：NFeegright(t)＝[RPright(relax)-RPright(t)]/RPright(relax) (4)
式中，当二者参数超过对应侧肢体放松状态的脑电特征0阈值，则触发系统正向激励反馈指令，包括视觉、听觉、体感刺激等神经反馈模式。
长时程脑-肌电运动功能评测方法
假设时域EEG信号序列表示为：X＝{x1,x2,x3…,xN}，EMG信号序列表示为：Y＝{y1,y2,y3…,yN}，N为时间序列长度，针对不同特征频段对应的时间序列表征为{Xk}和{Yk}，k＝1,2,3,…,m，其中m为关注的EEG和EMG特征频段数量，在给定上述两组时间序列信号基础上，首先计算各自熵值，序列X的熵率计算公式如下：
在两个时间序列信号独立的情况下，定义另一组熵率如下：
式中，设定时间预测窗口步长为t，离散时间窗口宽度为n，则xn k和yn k分别为两个时间序列信号的第k个组分的信号窗，p()为二者之间的联合概率。进一步计算从Yk到Xk传递熵为：
同理可求Xk到Yk传递熵，该传递熵值的大小表征特定传递方向下的特定频段信号分量的皮层肌肉耦合强弱。
本发明应用经典多元经验模态分解MEMD(Multivariate Empirical ModeDecomposition)方法，对EEG、EMG信号进行成分分解，把信号分解为若干本征模态函数IMF(Intrinsic Mode Function)，每个IMF分量包含原信号在不同尺度的局部特征信号。进而求取特定频带下的信号分量用于计算传递熵值，此外，为对比不同肢体运动在不同传递方向下的皮层肌肉耦合关系，进一步计算了各分量传递熵值占所有分量总和的百分比，表示为：
由上式计算感觉运动皮层信号与肌肉运动信息之间的耦合关系，值越大表征二者信息流向的耦合关系越强，进而提供评测长时程运动神经反馈训练效果基本方法依据。
本发明的特点及有益效果是：
本发明设计了一种长时程脑-肌电耦合的上肢运动功能训练装置与评测方法，提出多感官通路融合的神经反馈训练范式，可实时动态提升用户运动想象相关能力，克服了传统MI-BCI系统单向控制缺陷，优化引导运动功能训练过程，并根据脑-肌电关联耦合效应评测运动功能训练效果，更接近实际应用，有望为新型神经反馈训练系统设计提供关键技术，也为脑-机接口关联人工智能系统快速步入大范围应用阶段奠定基础。
附图说明：
图1长时程运动神经反馈训练系统框架。
图2长时程运动神经反馈训练系统范式设计。图中：
(a)整体训练时程流程设计；(b)标准评测任务流程设计。
图3训练场景及信号采集设置。图中：
(a)EEG电极覆盖区域与EMG电极位置示意图；(b)应用场景与采集设备。
具体实施方式
本发明属于生物医学工程领域，设计了长时程脑-肌电耦合的上肢运动功能训练装置与评测方法。依据大脑神经可塑性基本原理，人体运动神经可通过有效训练发生功能性改变。近年来，伴随人工智能、神经工程相关领域技术的进步，可通过特定任务范式设计与新型BCI技术的结合有效替代、修复、增强、改善、补充特定的神经功能。为此，本发明旨在应用脑电、肌电耦合分析技术，构建长时程的上肢运动功能评测装置和方法。
其技术流程是：设计用户长时程运动神经反馈训练系统范式，搭建脑-肌电同步采集装置，实时计算匹配神经反馈的用户脑电特征参数，评测运动神经反馈训练前后的脑-肌电耦合关系和效果差异。
本发明技术方案详述如下：
一、上肢运动功能训练范式与系统装置设计
本发明总体系统设计如图1所示，其系统架构与技术流程包括：设计用户长时程的运动神经反馈训练系统范式呈现，搭建脑电(Electroencephalogram，EEG)、肌电(Electromyogram，EMG)信号数据同步采集装置，实时计算匹配神经反馈的用户脑电特征参数，评测长时程运动神经反馈训练的脑-肌电耦合关系和效果差异。各系统模块详述如下：
①神经反馈训练系统范式呈现模块
本发明任务运行流程设计如图2(a)所示，以训练时程为期两周(共14天，记为day1～day14)为例进行说明，共包含5个任务阶段。用户系统训练的主要任务包括：参与训练前标准评测任务(day1进行)，作为初始运动想象水平的评判标准；然后须参与运动神经反馈训练任务(day2～6进行，隔天训练3次，每次30min)；之后进行训练中标准评测任务(day7进行)；再次参与运动神经反馈训练任务(day8～13进行，隔天训练3次，每次30min)；最后进行训练后标准任务(day14进行)，根据标准评测任务过程所采集的用户脑电和肌电数据分析，作为用户运动功能训练效果的评判标准。
其中，标准评测任务范式设计如图2(b)所示，共包含4个部分(session)。首先用户进行1个session左、右手运动执行(记为LHME和RHME)任务各30个试次(trial)，顺序随机，用于熟悉系统范式及运动感觉，此外对于用户同步采集了EMG信号；之后是1个session基于左、右手运动想象(记为LHMI和RHMI)任务的系统校准(各30个trial)，顺序随机，用于构建后续在线运动想象任务的脑电识别模型，每个trial开始显示器出现绿色十字，作为提示任务(Cue)准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，4s后进入静息，用户可放松等待下一个trial的开始；然后是2个session在线左、右手运动想象脑-机接口(MI-BCI)，每个session包含左、右手各30个trial，顺序随机，用于评判用户运动想象特征水平与分类识别性能，每个trial开始显示器出现绿色十字，作为为提示任务准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，此时箭头的长短会随用户运动想象脑电特征(相对ERD能量值)变化，以提供视觉反馈信息，4s后声音反馈该trial的识别决策结果，并进入静息，用户可放松等待下一个trial的开始。
②脑-肌电数据同步采集模块
用户坐在靠背座椅上，距离电脑显示器75～90cm，双手保持舒适姿态，系统应用场景如图3所示。为期两周的每个阶段各session间隔可适当休息。头部佩戴EEG采集头帽进行训练任务，具体信号采集传感器配置如图3(a)所示。其中，EEG采集电极按照国际标准10-20系统为15个电极导联位置(F3，FZ，F4，FC3，FC4，C5，C3，CZ，C4，C6，CP3，CP4，P3，PZ，P4)，并采用标准Ag/AgCl材料的头皮脑电采集电极，头皮与电极之间采用专用脑电介质保证良好导特性，采集过程中阻抗控制10kΩ以下，采集过程以鼻尖作为参考，前额(FPZ与FZ中间)作为接地。EMG采集电极为专用设备配置的标准肌电信号采集电极，采集电极位置贴于前臂外侧中间(尺侧腕伸肌)位置，两电极间距2cm，接地电极贴于尺骨远端。
本发明系统所需设备主要涉及脑电采集设备和肌电采集设备。EEG采集部分应用64导脑电采集系统及其采集软件，数据采集参数设置为采样率1000Hz，0.5～100Hz硬件带通滤波，50Hz工频陷波。EMG采集部分应用多生理信号采集系统及其专用肌电采集模块，数据采集参数设置为采样率5000Hz，0.5～1000Hz硬件带通滤波，50Hz工频陷波。EEG与EMG设备均与刺激电脑硬件连接(串口/并口通讯模式)，采集过程中支持精准时间标记触发方式以保证数据同步。另外，所有系统范式界面同样采用MATLAB专用工具箱(Psychtoolbox)编写实现，在呈现视觉提示的同时向脑电放大器及EMG采集设备发送同步事件代码以保证数据同步性。
③实时脑电数据特征计算模块
应用实时脑电特征控制神经反馈指令触发，用户可根据实时反馈内容不断训练调节自身运动想象特征水平，形成以体感动力学为主导的运动想象模式(左、右手腕伸动作)。对于运动想象诱发的事件相关去同步/同步(Event-Related(de)synchronization,ERD/ERS)脑电特征信号，一般使用功率谱时频分析，短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。短时傅里叶变换的方法是首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，
这里w是角频率，W*(τ-t)是W(τ-t)的复共轭函数。当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，这样可以得到脑电信号的二维时频图谱，进而得到ERD能量值的实时变化情况。
本发明中神经反馈训练系统计算左右手运动想象特征能量方法为相对ERD能量差值，计算公式如下：
其中，
Pn为瞬时能量谱，Prelax为基态(肢体放松状态)平均能量谱，Ptask为任务态平均能量谱。则对应计算实时左右手运动想象脑电神经反馈训练参数计算为：
左手MI：NFeegleft(t)＝[RPleft(relax)-RPleft(t)]/RPleft(relax) (3)
右手MI：NFeegright(t)＝[RPright(relax)-RPright(t)]/RPright(relax) (4)
式中，当二者参数超过对应侧肢体放松状态的脑电特征0阈值，则触发系统正向激励反馈指令，可以是视觉、听觉、体感刺激等神经反馈模式。
二、长时程脑-肌电运动功能评测方法
传递熵(Transfer entropy,TE)是在信息熵的基础上提出的，可用于表征两个时间序列信号之间的有向信息传递，序列I到序列II的传递熵表示I信息对II信息的不确定性的改变，即I传递给II的信息量大小。
假设时域EEG信号序列表示为：X＝{X1,X2,X3…,XN}，EMG信号序列表示为：Y＝{y1,y2,y3…,yN}，N为时间序列长度，针对不同特征频段对应的时间序列可进一步表征为{Xk}和{Yk}(k＝1,2,3,…,m)，其中m为关注的EEG和EMG特征频段数量。在给定上述两组时间序列信号基础上，首先计算各自熵值(率)，序列X的熵率计算公式如下：
在两个时间序列信号独立的情况下，定义另一组熵率如下：
式中，设定时间预测窗口步长为t，离散时间窗口宽度为n，则xn k和yn k分别为两个时间序列信号的第k个组分的信号窗，p()为二者之间的联合概率。进一步计算从Yk到Xk传递熵为：
同理可求Xk到Yk传递熵，该传递熵值的大小可表征特定传递方向下的特定频段信号分量的皮层肌肉耦合强弱。
本发明应用经典多元经验模态分解(Multivariate Empirical ModeDecomposition,MEMD)方法，对EEG、EMG信号进行成分分解，把信号分解为若干本征模态函数(Intrinsic Mode Function，IMF)，每个IMF分量包含原信号在不同尺度的局部特征信号。进而求取特定频带下的信号分量用于计算传递熵值，此外，为对比不同肢体运动在不同传递方向下的皮层肌肉耦合关系，进一步计算了各分量传递熵值占所有分量总和的百分比，可表示为：
依据上述方法，可计算感觉运动皮层信号与肌肉运动信息之间的耦合关系，值越大表征二者信息流向的耦合关系越强，进而提供评测长时程运动神经反馈训练效果基本方法依据。
本发明设计了一种长时程脑-肌电耦合的上肢运动功能训练装置与评测方法。该项发明可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域，进一步研究可以得到完善的神经反馈智能训练系统，有望获得可观的社会效益和经济效益。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种长时程脑-肌电耦合的上肢运动功能训练与评测方法，其特征是，设计用户长时程运动神经反馈训练系统范式；搭建脑-肌电同步采集装置，以同步采集脑-肌电数据；实时计算匹配神经反馈的用户脑电特征参数，进行正向激励反馈训练；评测运动神经反馈训练前后的脑-肌电耦合关系和效果差异。
2.如权利要求1所述的长时程脑-肌电耦合的上肢运动功能训练与评测方法，其特征是，设计用户长时程运动神经反馈训练系统范式具体内容包括共包含5个任务阶段，训练前标准评测阶段，其结果作为初始运动想象水平的评判标准；然后是运动神经反馈训练阶段；之后进行训练中标准评测阶段；再一次的运动神经反馈训练阶段；最后进行训练后标准任务阶段，根据标准任务阶段所采集的用户脑电和肌电数据分析，作为用户运动功能训练效果的评判标准。
3.如权利要求1所述的长时程脑-肌电耦合的上肢运动功能训练与评测方法，其特征是，其中，标准评测任务范式设计共包含4个部分session，首先用户进行1个session左手LHME、右手RHME运动执行任务各30个试次trial，顺序随机，用于熟悉系统范式及运动感觉，此外对于用户同步采集了EMG信号；之后是1个session基于左手LHMI、右手RHMI运动想象任务的系统校准各30个trial，顺序随机，用于构建后续在线运动想象任务的脑电识别模型，每个trial开始显示器出现绿色十字，作为提示任务Cue准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，4s后进入静息，用户可放松等待下一个trial的开始；然后是2个session在线左、右手运动想象脑-机接口MI-BCI，每个session包含左、右手各30个trial，顺序随机，用于评判用户运动想象特征水平与分类识别性能，每个trial开始显示器出现绿色十字，作为为提示任务准备，1s后提示出现带有红色箭头，表示用户需进行相应箭头方向的手运动想象任务，此时箭头的长短会随用户运动想象脑电特征即相对ERD能量值变化，以提供视觉反馈信息，4s后声音反馈该trial的识别决策结果，并进入静息，用户可放松等待下一个trial的开始。
4.如权利要求1所述的长时程脑-肌电耦合的上肢运动功能训练与评测方法，其特征是，脑-肌电数据同步采集内容包括：
用户坐在靠背座椅上，距离电脑显示器75～90cm，双手保持舒适姿态，为期两周的每个阶段各session间隔可适当休息，头部佩戴EEG采集头帽进行训练任务，具体信号采集传感器包括：EEG采集电极按照国际标准10-20系统为15个电极导联位置：F3，FZ，F4，FC3，FC4，C5，C3，CZ，C4，C6，CP3，CP4，P3，PZ，P4，并采用标准Ag/AgCl材料的头皮脑电采集电极，头皮与电极之间采用专用脑电介质保证良好导特性，采集过程中阻抗控制10kΩ以下，采集过程以鼻尖作为参考，前额即FPZ与FZ中间作为接地，EMG采集电极为专用设备配置的标准肌电信号采集电极，采集电极位置贴于前臂外侧中间即尺侧腕伸肌位置，两电极间距2cm，接地电极贴于尺骨远端；
EEG采集部分应用64导脑电采集系统及其采集软件，数据采集参数设置为采样率1000Hz，0.5～100Hz硬件带通滤波，50Hz工频陷波，EMG采集部分应用多生理信号采集系统及其专用肌电采集模块，数据采集参数设置为采样率5000Hz，0.5～1000Hz硬件带通滤波，50Hz工频陷波，EEG与EMG设备均与刺激电脑硬件连接，采集过程中支持精准时间标记触发方式以保证数据同步；所有系统范式界面同样采用MATLAB专用工具箱Psychtoolbox编写实现，在呈现视觉提示的同时向脑电放大器及EMG采集设备发送同步事件代码以保证数据同步性。
5.如权利要求1所述的长时程脑-肌电耦合的上肢运动功能训练与评测方法，其特征是，实时脑电数据特征计算步骤如下：
应用实时脑电特征控制神经反馈指令触发，用户可根据实时反馈内容不断训练调节自身运动想象特征水平，形成以体感动力学为主导的运动想象模式，对于运动想象诱发的事件相关去同步ERD/同步ERS(Event-Related(de)synchronization)脑电特征信号，使用短时傅里叶分析是目前常用的时频分析，具体首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的：
这里w是角频率，W*(τ-t)是W(τ-t)的复共轭函数，当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，得到脑电信号的二维时频图谱，进而得到ERD能量值的实时变化情况；
计算左右手运动想象特征能量方法为相对ERD能量差值，计算公式如下：
其中，
Pn为瞬时能量谱，Prelax为基态平均能量谱，Ptask为任务态平均能量谱，则对应计算实时左右手运动想象脑电神经反馈训练参数计算为：
左手MI：NFeeg|left(t)＝[RPleft(relax)-RPleft(t)]/RPleft(relax) (3)
右手MI：NFeeg|right(t)＝[RPright(relax)-RPright(t)]/RPright(relax) (4)
式中，当二者参数超过对应侧肢体放松状态的脑电特征0阈值，则触发系统正向激励反馈指令，包括视觉、听觉、体感刺激等神经反馈模式。
6.如权利要求1所述的长时程脑-肌电耦合的上肢运动功能训练与评测方法，其特征是，长时程脑-肌电运动功能评测步骤如下：
假设时域EEG信号序列表示为：X＝{x1,x2,x3…,xN}，EMG信号序列表示为：Y＝{y1,y2,y3…,yN}，N为时间序列长度，针对不同特征频段对应的时间序列表征为{Xk}和{Yk}，k＝1,2,3,…,m，其中m为关注的EEG和EMG特征频段数量，在给定上述两组时间序列信号基础上，首先计算各自熵值，序列X的熵率计算公式如下：
在两个时间序列信号独立的情况下，定义另一组熵率如下：
式中，设定时间预测窗口步长为t，离散时间窗口宽度为n，则xn k和yn k分别为两个时间序列信号的第k个组分的信号窗，p()为二者之间的联合概率。进一步计算从Yk到Xk传递熵为：
同理可求Xk到Yk传递熵，该传递熵值的大小表征特定传递方向下的特定频段信号分量的皮层肌肉耦合强弱。
7.如权利要求1所述的长时程脑-肌电耦合的上肢运动功能训练与评测方法，其特征是，应用经典多元经验模态分解MEMD(Multivariate Empirical Mode Decomposition)方法，对EEG、EMG信号进行成分分解，把信号分解为若干本征模态函数IMF(Intrinsic ModeFunction)，每个IMF分量包含原信号在不同尺度的局部特征信号，进而求取特定频带下的信号分量用于计算传递熵值，此外，为对比不同肢体运动在不同传递方向下的皮层肌肉耦合关系，进一步计算了各分量传递熵值占所有分量总和的百分比，表示为：
由上式计算感觉运动皮层信号与肌肉运动信息之间的耦合关系，值越大表征二者信息流向的耦合关系越强，进而提供评测长时程运动神经反馈训练效果基本方法依据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011538541.1A CN112674783A (zh) | 2020-12-23 | 2020-12-23 | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011538541.1A CN112674783A (zh) | 2020-12-23 | 2020-12-23 | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112674783A true CN112674783A (zh) | 2021-04-20 |
Family
ID=75451099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011538541.1A Pending CN112674783A (zh) | 2020-12-23 | 2020-12-23 | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112674783A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023102908A1 (zh) * | 2021-12-10 | 2023-06-15 | 深圳大学 | 一种多模态力量训练辅助方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011123059A1 (en) * | 2010-03-31 | 2011-10-06 | Agency For Science, Technology And Research | Brain- computer interface system and method |
| CN104548347A (zh) * | 2015-01-22 | 2015-04-29 | 天津大学 | 一种纯意念神经肌肉电刺激控制与神经功能评价系统 |
| CN105468143A (zh) * | 2015-11-17 | 2016-04-06 | 天津大学 | 一种基于运动想象脑-机接口的反馈系统 |
| CN108563324A (zh) * | 2018-03-04 | 2018-09-21 | 天津大学 | 一种面向过程控制的运动想象脑-机接口设计方法 |
| CN109589247A (zh) * | 2018-10-24 | 2019-04-09 | 天津大学 | 一种基于脑-机-肌信息环路的助行机器人系统 |
| CN109925582A (zh) * | 2019-03-20 | 2019-06-25 | 天津大学 | 双模态脑-机交互式运动神经反馈训练装置和方法 |
| CN110495880A (zh) * | 2019-08-16 | 2019-11-26 | 杭州电子科技大学 | 基于经颅电刺激脑肌耦合的运动障碍皮层可塑性管理方法 |
| CN110638444A (zh) * | 2019-09-05 | 2020-01-03 | 杭州电子科技大学 | 基于MEMD-rTVgPDC的皮层肌肉耦合分析方法 |
| CN111067517A (zh) * | 2019-12-20 | 2020-04-28 | 天津大学 | 基于静息态脑电特征的运动想象响应能力筛选方法 |
| CN111938991A (zh) * | 2020-07-21 | 2020-11-17 | 燕山大学 | 一种双主动控制模式的手部康复训练装置及训练方法 |
-
2020
- 2020-12-23 CN CN202011538541.1A patent/CN112674783A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011123059A1 (en) * | 2010-03-31 | 2011-10-06 | Agency For Science, Technology And Research | Brain- computer interface system and method |
| CN104548347A (zh) * | 2015-01-22 | 2015-04-29 | 天津大学 | 一种纯意念神经肌肉电刺激控制与神经功能评价系统 |
| CN105468143A (zh) * | 2015-11-17 | 2016-04-06 | 天津大学 | 一种基于运动想象脑-机接口的反馈系统 |
| CN108563324A (zh) * | 2018-03-04 | 2018-09-21 | 天津大学 | 一种面向过程控制的运动想象脑-机接口设计方法 |
| CN109589247A (zh) * | 2018-10-24 | 2019-04-09 | 天津大学 | 一种基于脑-机-肌信息环路的助行机器人系统 |
| CN109925582A (zh) * | 2019-03-20 | 2019-06-25 | 天津大学 | 双模态脑-机交互式运动神经反馈训练装置和方法 |
| CN110495880A (zh) * | 2019-08-16 | 2019-11-26 | 杭州电子科技大学 | 基于经颅电刺激脑肌耦合的运动障碍皮层可塑性管理方法 |
| CN110638444A (zh) * | 2019-09-05 | 2020-01-03 | 杭州电子科技大学 | 基于MEMD-rTVgPDC的皮层肌肉耦合分析方法 |
| CN111067517A (zh) * | 2019-12-20 | 2020-04-28 | 天津大学 | 基于静息态脑电特征的运动想象响应能力筛选方法 |
| CN111938991A (zh) * | 2020-07-21 | 2020-11-17 | 燕山大学 | 一种双主动控制模式的手部康复训练装置及训练方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈迎亚: "康复运动中脑肌电融合及同步分析方法研究", 《硕士电子期刊》, 15 February 2017 (2017-02-15), pages 33 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023102908A1 (zh) * | 2021-12-10 | 2023-06-15 | 深圳大学 | 一种多模态力量训练辅助方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109925582B (zh) | 双模态脑-机交互式运动神经反馈训练装置和方法 | |
| Kohli et al. | A review on Virtual Reality and Augmented Reality use-cases of Brain Computer Interface based applications for smart cities | |
| CN109656365B (zh) | 一种基于实时闭环振动刺激增强的脑机接口方法及系统 | |
| Lebedev | Brain-machine interfaces: an overview | |
| Fifer et al. | Toward electrocorticographic control of a dexterous upper limb prosthesis: Building brain-machine interfaces | |
| Tacchino et al. | EEG analysis during active and assisted repetitive movements: evidence for differences in neural engagement | |
| Grigorev et al. | A BCI-based vibrotactile neurofeedback training improves motor cortical excitability during motor imagery | |
| CN111938991A (zh) | 一种双主动控制模式的手部康复训练装置及训练方法 | |
| Tang et al. | Single-trial classification of different movements on one arm based on ERD/ERS and corticomuscular coherence | |
| Gordleeva et al. | Exoskeleton control system based on motor-imaginary brain–computer interface | |
| Yao et al. | A BCI system based on somatosensory attentional orientation | |
| Chowdhury et al. | Cognitive efficiency in robot control by Emotiv EPOC | |
| CN104951082A (zh) | 一种利用随机共振增强脑电信号的脑机接口方法 | |
| Yao et al. | Sensory stimulation training for BCI system based on somatosensory attentional orientation | |
| Xu et al. | Decoding hand movement types and kinematic information from electroencephalogram | |
| Cheng et al. | Robotic arm control system based on brain-muscle mixed signals | |
| Wang et al. | Incorporating EEG and EMG patterns to evaluate BCI-based long-term motor training | |
| Kawala-Janik | Efficiency evaluation of external environments control using bio-signals | |
| Qi et al. | Lower limb rehabilitation exoskeleton control based on SSVEP-BCI | |
| Li et al. | Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion | |
| Li et al. | The Human–Machine Interface Design Based on sEMG and Motor Imagery EEG for Lower Limb Exoskeleton Assistance System | |
| Chen et al. | A real-time EMG-controlled functional electrical stimulation system for mirror therapy | |
| CN112674783A (zh) | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 | |
| Rajyalakshmi et al. | Exploration of recent advances in the field of brain computer interfaces | |
| CN115624338A (zh) | 一种上肢刺激反馈康复装置及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210420 |