CN109925582A - 双模态脑-机交互式运动神经反馈训练装置和方法 - Google Patents
双模态脑-机交互式运动神经反馈训练装置和方法 Download PDFInfo
- Publication number
- CN109925582A CN109925582A CN201910211696.5A CN201910211696A CN109925582A CN 109925582 A CN109925582 A CN 109925582A CN 201910211696 A CN201910211696 A CN 201910211696A CN 109925582 A CN109925582 A CN 109925582A
- Authority
- CN
- China
- Prior art keywords
- brain
- training
- signal
- feedback
- blood oxygen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明属于生物医学工程器械领域，为训练提升运动神经功能，改善运动神经反馈训练效果，更符合正常思维行动控制过程和接近实际交互应用，本发明采取的技术方案是，双模态脑‑机交互式运动神经反馈训练装置和方法，采集人体头皮脑电生理信息，采集脑血氧信息，利用计算机实时读取并处理脑电生理及脑血氧水平特征，应用动态短时傅里叶分析计算相对ERD能量值，动态血氧浓度负相关分析叠加平均血氧浓度水平，依据左、右脑区分布情况，决策是否驱动视听觉反馈和基于电刺激的本体感觉反馈。本发明主要应用于医疗器械设计制造场合。
Description
技术领域
本发明属于生物医学工程领域，具体讲涉及双模态脑-机交互式运动神经反馈训练方法。
背景技术
生物反馈训练技术(Biofeedback Training)通过呈现可被人体感知的生理信息，并以此作为信号标识不断训练人体学习、调控自身固有或特有机能，达到自主调节(self-regulation)的目标[1]。近年来，生物反馈用于特定人群或任务的神经功能训练，提升或改善某些特定的控制能力已成为主动式神经训练的热点手段。其中，特别是神经反馈训练(Neurofeedback training，NFT)作为一种直接训练大脑机能的主动式干预手段，通过传感装置实时获取神经生理信号，并借助先进的信息处理技术完成大脑信息的快速解码，匹配以视听、触觉等多种刺激方式，可实现在线反馈大脑工作状态与运行性能的闭环训练(神经反馈训练系统模型如图1所示)。
已有研究发现，利用神经反馈技术调控大脑活动的同时，会伴随个体相应的认知和行为的改变[2]，故该项技术越来越多在军事、航天等领域被应用于增强大脑神经功能。在运动神经训练层面，研究表明，通过运动想象任务，用户通过实时神经反馈训练可以学会增强对躯体运动皮层的控制，诱导出辅助运动区(Supplementary Motor Area，SMA)的激活，且程度可达到真实运动造成的躯体运动皮层的激活水平，为运动功能训练提供了可能[3]；在神经认知增强层面，该技术在高强度作业下神经功能增强的作用日益凸显。应用基于EEG信号调控的神经反馈治疗卒中后抑郁常用的方法是提高半球内中α波非对称性、降低左前额叶θ/β波幅值及增强感觉运动节律波(Sensorimotor Rhythm，SMR)训练等，而改善卒中后焦虑症状的神经反馈治疗常采用增强α/θ波、抑制β波等训练方式。
神经反馈具有简单、安全、方便的特点及无创、无刺激、无副作用等优点，值得在人工智能领域应用和推广。然而，如何解码复杂的脑信息并利用神经反馈技术建立完整有效的反馈环路是在智能控制中面临的重要挑战，因此针对个体差异性，有效提取相关脑特征、综合评价神经功能表现并根据不同人群基于神经反馈训练得出的不同性能指标(包括静息态活动、解剖型脑结构、人格特质)制定相应的训练方法亟需进一步深入的研究[4][5]。此外，在脑-机接口的研究中，运动想象作为一种主动式人机交互范式，更加符合正常人大脑思维活动方式，在一定程度的训练后，使用者便可进行在线运动想象脑-机接口(MotorImagery based BCI，MI-BCI)系统的交互控制。此外，系统控制信号源一般使用来自于使用者运动想象过程中头皮脑电的能量特征，可进行一段较长时间段的累加或优化来控制指令输出，有较强的可操作性。基于上述优点我们可以看出，对于运动想象的深入研究及开发一种脑-机交互式运动神经反馈系统方法，更加清楚地了解人类大脑，实现真正的人机交互，具有很强的理论与应用价值[6]-[8]。
总之，依托运动与认知相关神经机制和神经工程相关技术手段，完善训练中神经信息解码、调控和反馈各环节性能参数，进而指导实现最优的训练设计(神经反馈环路模型如图2所示)，以期更好地发挥神经反馈在运动功能增强中的重要作用，也是实现神经功能高效修复与重建、增强训练进程有效监测评价、智能化人工神经机器人研发设计的必由之路[9][10]。
参考文献：
[1]Oujamaa L,Relave I,Froger J,et al.Rehabilitation of arm functionafter stroke.Literature review[J].Annals of physical and rehabilitationmedicine,2009,52(3):269-293.
[2]Sitaram R,Ros T,Stoeckel L,et al.Closed-loop brain training:thescience of neurofeedback[J].Nature Reviews Neuroscience,2017,18(2):86.
[3]Zich C,Debener S,Kranczioch C,et al.Real-time EEG feedback duringsimultaneous EEG–fMRI identifies the cortical signature of motor imagery[J].Neuroimage,2015,114:438-447.
[4]Young B M,Nigogosyan Z,Walton L M,et al.Changes in functionalbrain organization and behavioral correlations after rehabilitative therapyusing a brain-computer interface[J].Frontiers in Neuroengineering,2014,7:26.
[5]Reynolds C,Osuagwu B A,Vuckovic A.Influence of motor imaginationon cortical activation during functional electrical stimulation[J].ClinicalNeurophysiology,2015,126(7):1360-1369.
[6]Kaiser V,Bauernfeind G,Kreilinger A,et al.Cortical effects of usertraining in a motor imagery based brain-computer interface measured by fNIRSand EEG.[J].Neuroimage,2014,85(1):432-444.
[7]Kaiser V,Daly I,Pichiorri F,et al.Relationship between electricalbrain responses to motor imagery and motor impairment in stroke[J].Stroke,2012,43(10):2735-2740.
[8]Várkuti B,Guan C,Pan Y,et al.Resting state changes in functionalconnectivity correlate with movement recovery for BCI and robot-assistedupper-extremity training after stroke[J].Neurorehabilitation and NeuralRepair,2013,27(1):53-62.
[9]Van Asseldonk E H,Boonstra T A.Transcranial direct currentstimulation of the leg motor cortex enhances coordinated motor output duringwalking with a large inter-individual variability[J].Brain Stimulation,2015,9(2):182-190.
[10]Torres J,Drebing D,Hamilton R.TMS and tDCS in post-strokeaphasia:Integrating novel treatment approaches with mechanisms of plasticity[J].Restorative Neurology&Neuroscience,2013,31(4):501-515。
发明内容
为克服现有技术的不足，本发明旨在利用运动神经反馈设计，将MI-BCI系统指令输出及意念控制过程变得可视化，训练提升运动神经功能，改善运动神经反馈训练效果，更符合正常思维行动控制过程和接近实际交互应用，有望为新型神经反馈训练提供关键技术保障，进一步研究可以得到完善脑-机交互式运动神经反馈训练系统，有望获得可观的社会效益和经济效益。为此，本发明采取的技术方案是，双模态脑-机交互式运动神经反馈训练方法，采集人体头皮脑电生理信息，采集脑血氧信息，利用计算机实时读取并处理脑电生理及脑血氧水平特征，应用动态短时傅里叶分析计算相对ERD能量值，动态血氧浓度负相关分析叠加平均血氧浓度水平，依据左、右脑区分布情况，决策是否驱动视听觉反馈和基于电刺激的本体感觉反馈。
还包括验证步骤，具体如下：利用多试次短时傅里叶分析对神经反馈训练前后的二维时频脑电特征进行效果对比，应用脑血氧合/脱氧血红蛋白浓度负相关分析方法提取脑血氧浓度响应水平分析其空间分布特性，并利用基于决策阈值优化策略的模式识别技术对比分析神经反馈训练前后的识别正确率，验证双模态脑-机交互式神经反馈训练装置的有效性。
进一步地，将可视化神经反馈界面用于提供左、右手运动想象相关的视听、电刺激体感反馈可视化，界面中包含虚拟左、右手和针状物，其中虚拟手会根据用户的实时运动想象状态进行移动，若虚拟手接触到针状物，则进行电刺激体感反馈，这里的电刺激电极贴在用户左右手掌心，电刺激模式采用300μs双相脉冲波，刺激频率为30Hz，用于体感刺激用户努力参与运动想象训练，并未产生疼痛感，刺激强度依据用户个体情况进行特异性调整，从而强化视听、体感觉神经反馈训练效果；为全面检测神经反馈训练过程中的脑信息演变过程及其电生理与血氧响应，脑信息采集部分在64通道EEG基础上，引入20通道覆盖左右运动脑区的NIRS采集，二者融合采集双模态大脑神经信号；然后计算机信号处理模块对双模态信号进行实时预处理，其中，脑电信号降采样至200Hz、8～30Hz带通滤波，进行脑血氧信号负相关分析、动态平均，依据左、右脑区能量空间分布不对称原理，若检测到对应左、右手想象的皮层ERD能量和脑血氧水平分布不合理即同侧占优或静息态，则控制可视化界面中虚拟手移动并接触到针状物，同步施加对应侧手的体感电刺激，其中皮层ERD能量和脑血氧水平基线(即每个Block开始的前30s时间下的ERD能量和血红蛋白浓度)被设置为反馈触发阈值，并依据用户个体情况进行动态更新，以匹配用户个体特性。
1)运动神经反馈相关脑电特征提取
对于运动想象事件相关去同步/同步ERD/ERS(Event-Related(de)synchronization)信号的处理通常使用功率谱时频分析，首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，
这里ω是角频率，t表示时间，W*(τ--t)是W(τ--t)的复共轭函数，当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，得到脑电信号的二维时频图谱，进而得到ERD能量值的实时变化情况，在无初始模型时，用于系统指令输出控制的信号特征；
神经反馈训练系统计算左右手运动想象特征能量方法为相对ERD能量差值，计算公式如下：
其中，Pn为瞬时能量谱，Prelax为基态平均能量谱，Trelax为每个试次任务的静息态时长，Ptask为任务态平均能量谱，Ttask为为每个试次的运动想象态时长；
2)运动神经反馈相关近红外特征提取方法
应用近红外经典测量信息脑血氧合/脱氧HBO/HBR([oxy-Hb]/[deoxy-Hb])血红蛋白浓度负相关方法对NIRS数据进行特征提取，NIRS信号由四个成分构成：测量[oxy-Hb]信号x，测量[deoxy-Hb]信号y，真实[oxy-Hb]信号x0，真实[deoxy-Hb]信号y0，则信号关系表达为：
x＝x0+αF+Noise
y＝y0+F+Noise (3)
其中，F代表[oxy-Hb]与[deoxy-Hb]的共有噪声，存在一个正相关常系数α，Noise代表系统高频白噪声，x0与y0间的关系满足最大负相关特性而x0与F相关性趋近于0，得到：
x0＝-βy0 (4)
结合式(3)和(4)可得到：
F＝(x+βy)/(α+β)
x0＝β(x–αy)/(α+β) (5)
当x0与F相关性趋近于0，得到方程：
当噪声系数α，与信号相关系数β满足α＝β，则求解出方程解：
x0＝(x–αy)/2
y0＝-x0/α (7)
其中噪声系数α可由测量信号[oxy-Hb]与[deoxy-Hb]标准差之比求解。
综上，利用方法1)和2)可进行脑-机交互式神经反馈系统中脑控指标(即ERD能量和血红蛋白浓度)的实时计算与EEG及NIRS特征的优化提取，进而对比验证神经反馈训练前后的双模态脑信息特征水平提升效果。
3)基于脑电的神经反馈训练优化分类识别
在共空间模式和支持向量机(CSP+SVM)分类识别方法的基础上，引入新型决策阈值优化策略，依据训练者左右手运动想象决策值分布曲线，经过循环回归模型预测，寻求最优化分类决策阈值，从而设置针对该训练特有的训练决策模式。
双模态脑-机交互式运动神经反馈训练装置，结构如下：
多通道脑电设备，用于采集人体头皮脑电生理信息；
多通道近红外设备采集脑血氧信息；
计算机及其内部设置的分析模块，用于实时读取并处理脑电生理及脑血氧水平特征，应用动态短时傅里叶分析计算相对ERD能量值，动态血氧浓度负相关分析叠加平均血氧浓度水平，依据左、右脑区分布情况，决策是否驱动视听觉反馈和基于电刺激(型号：VitalStim)的本体感觉反馈。
分析模块为三部分：①包括视听觉、电刺激体感反馈的运动神经反馈训练范式模块，提供视听觉、电刺激体感反馈可视化，②脑电EEG、近红外NIRS同步采集模块，③脑神经信号处理、神经反馈训练控制模块；其中，可视化神经反馈界面用于提供左、右手运动想象相关的视听、电刺激体感反馈可视化，界面中包含虚拟左、右手和针状物，其中虚拟手会根据用户的实时运动想象状态进行移动，若虚拟手接触到针状物，则进行电刺激体感反馈，这里的电刺激电极贴在用户左右手掌心，电刺激模式采用300μs双相脉冲波，刺激频率为30Hz，主要用于体感刺激用户努力参与运动想象训练，并未产生疼痛感，刺激强度依据用户个体情况进行特异性调整，从而强化视听、体感觉神经反馈训练效果；为全面检测神经反馈训练过程中的脑信息演变过程及其电生理与血氧响应，脑信息采集部分在64通道EEG基础上，引入了20通道覆盖左右运动脑区的NIRS采集，二者融合采集双模态大脑神经信号；然后脑神经信号处理、神经反馈训练控制模块，对双模态信号进行实时预处理，依据左、右脑区能量空间分布不对称原理，若检测到对应左、右手想象的皮层ERD能量和脑血氧水平分布不合理，则控制可视化界面中虚拟手移动并接触到针状物，同步施加对应侧手的体感电刺激，其中皮层ERD能量和脑血氧水平基线被设置为反馈触发阈值，并依据用户个体情况进行动态更新，以匹配用户个体特性。
本发明的特点及有益效果是：
计算训练前后(pre vs.post)脑电时频及脑血氧浓度响应、系统识别正确率。其中，为探究左右手运动想象运动神经反馈训练前后时频特征响应变化，提取了典型运动相关脑电通道C3和C4导联的左右手运动想象相关ERD时频特性分布图，如图6所示。前后对比分析可见，左右手运动想象时频响应在典型运动相关频带均出现较为明显的ERD能量集中想象，且在全脑水平方面能量分布对侧占优现象改善显著。基本验证了该神经反馈训练方法对于提升运动想象特征层面具有一定效果，且训练后可以明显改善原有运动想象特征模式。
附图说明：
图1神经反馈训练系统模型。
图2闭环神经反馈环路示意图。
图3运动神经反馈训练系统设计。
图4左右手运动想象运动神经反馈训练操作流程设计。
图5决策阈值优化策略示意。
图6左右手运动想象运动神经反馈训练前后时频特征响应。
图7左右手运动想象运动神经反馈训练前后分类识别效果。
图8左右手运动想象运动神经反馈训练前后脑血氧特征响应。
具体实施方式
本发明属于生物医学工程领域，设计了一种双模态脑-机交互式运动神经反馈训练(Brain-Computer Interface based Neurofeedback Training，BCI-NFT)系统方法。依据大脑神经可塑性基本原理，人体运动神经可通过有效训练发生功能性改变。近年来，伴随人工智能、神经工程相关领域技术的进步，可通过特定任务范式设计与新型BCI技术的结合有效替代、修复、增强、改善、补充特定的神经功能。为此，本发明旨在应用基于双模态脑信息(脑电(EEG)、近红外(NIRS))的脑-机交互方法，融合视听、基于电刺激的体感反馈构建智能化运动神经反馈训练系统模型。
其技术流程是：设计用户运动训练相关任务范式，提取匹配神经反馈用户脑信息特征，用户依据任务范式实时动态训练中枢神经活动，验证运动神经反馈训练前后效果差异。
整体技术方案：通过EEG和NIRS双模态脑信息融合检测技术搭建脑-机交互式神经反馈训练装置。①设计运动想象神经反馈训练系统，利用64通道脑电设备(型号：NeuroScanSynAmps2)采集人体头皮脑电生理信息，20通道近红外设备(型号：NIRSmart)采集脑血氧信息，脑电及近红外传感器覆盖方式如图3中所示，利用计算机MATLAB软件实时读取并处理脑电生理及脑血氧水平特征，应用动态短时傅里叶分析计算相对ERD能量值，动态血氧浓度负相关分析叠加平均血氧浓度水平，依据左、右脑区分布情况，决策是否驱动视听觉反馈和基于电刺激(型号：VitalStim)的本体感觉反馈；②技术效果验证：利用多试次短时傅里叶分析对神经反馈训练前后的二维时频脑电特征进行效果对比，应用脑血氧合/脱氧([oxy-Hb]/[deoxy-Hb]或HBO/HBR)血红蛋白浓度负相关分析方法提取脑血氧浓度响应水平分析其空间分布特性，并利用基于决策阈值优化策略的模式识别技术对比分析神经反馈训练前后的识别正确率，验证双模态脑-机交互式神经反馈训练装置的有效性。
双模态脑-机交互式运动神经反馈训练装置设计如图3所示，其主要分为三部分：①运动神经反馈训练范式(视听觉、电刺激体感反馈)模块，提供视听觉、电刺激体感反馈可视化，②脑电(EEG)、近红外(NIRS)同步采集模块，③脑神经信号处理、神经反馈训练控制模块。其中，系统可视化神经反馈界面用于提供左、右手运动想象(LHMI和RHMI)相关的视听、电刺激体感反馈可视化，界面中包含虚拟左、右手和针状物，其中虚拟手会根据用户的实时运动想象状态进行移动，若虚拟手接触到针状物(运动想象特征状态分布不合理)，则进行电刺激体感反馈，这里的电刺激电极贴在用户左右手掌心，电刺激模式采用300μs双相脉冲波，刺激频率为30Hz，主要用于体感刺激用户努力参与运动想象训练，并未产生疼痛感，刺激强度依据用户个体情况进行特异性调整，从而强化视听、体感觉神经反馈训练效果；为全面检测神经反馈训练过程中的脑信息演变过程及其电生理与血氧响应，脑信息采集部分在64通道EEG基础上，引入了20通道覆盖左右运动脑区的NIRS采集，二者融合采集双模态大脑神经信号；然后计算机信号处理模块(MATLAB软件编程处理算法，详见后文所述“神经反馈训练脑信息特征提取”部分)对双模态信号进行实时预处理(脑电信号降采样至200Hz、8～30Hz带通滤波等，脑血氧信号负相关分析、动态平均等)，依据左、右脑区能量空间分布不对称原理，若检测到对应左、右手想象的皮层ERD能量和脑血氧水平(氧合血红蛋白水平)分布不合理(即同侧占优或静息态)，则控制可视化界面中虚拟手移动并接触到针状物，同步施加对应侧手的体感电刺激，其中皮层ERD能量和脑血氧水平基线(即每个Block开始的前30s时间下的ERD能量和血红蛋白浓度)被设置为反馈触发阈值，并依据用户个体情况进行动态更新，以匹配用户个体特性。
1运动想象神经反馈训练装置测试流程设计
装置实验效果验证流程共分为4个实验部分(Blocks)，如图4所示。①Block 1：左、右手运动想象(LHMI和RHMI)各40个试次(40trials)，每个试次开始为1s的提示(Cue)，然后是4s的运动想象任务(LHMI和RHMI随机进行)，之后进行2s至4s的随机静息期；②Block 2～3：MI-BCI实时神经反馈训练，进行左、右手想象动作训练，每个Block开始的前30s为静息态基线，每个trial开始的5s进行左右手运动想象，利用上述神经反馈系统实时控制视听、电刺激体感反馈，然后进行5至7s的随机静息期，用户可以自我调整运动想象训练状态，每个Block时间约为10min左右；③Block 4：LHMI和RHMI各40 trials，同样每个试次开始为1s的提示(Cue)，然后是4s的运动想象任务(LHMI和RHMI随机顺序进行)，用来与Block 1神经反馈训练效果对比评价。
2神经反馈训练脑信息特征提取与分类识别
1)运动神经反馈相关脑电特征提取方法
对于运动想象事件相关去同步/同步(Event-Related(de)synchronization,ERD/ERS)信号的处理通常使用功率谱时频分析，短时傅里叶分析是目前常用的时频分析方法之一，它假设脑电信号具有一定程度的短时平稳性，也即是在一个有限的时间窗内信号的频谱分布式不变的。短时傅里叶变换的方法是首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，
这里ω是角频率，W*(τ--t)是W(τ--t)的复共轭函数。当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，这样可以得到脑电信号的二维时频图谱，进而得到ERD能量值的实时变化情况，在无初始模型时，用于系统指令输出控制的信号特征。
本发明中神经反馈训练系统计算左右手运动想象特征能量方法为相对ERD能量差值，计算公式如下：
其中，Pn为瞬时能量谱，Prelax为基态平均能量谱，Trelax为每个试次任务的静息态时长，Ptask为任务态平均能量谱，Ttask为为每个试次的运动想象态时长。
2)运动神经反馈相关近红外特征提取方法
应用近红外经典测量信息脑血氧合/脱氧([oxy-Hb]/[deoxy-Hb]或HBO/HBR)血红蛋白浓度负相关方法对NIRS数据进行特征提取。当数据噪声较低情况下，[oxy-Hb]/[deoxy-Hb]负相关特性较为显著，随噪声增强，负相关特征值也会随之变正向。假设NIRS信号由四个成分构成：测量[oxy-Hb]信号x，测量[deoxy-Hb]信号y，真实[oxy-Hb]信号x0，真实[deoxy-Hb]信号y0，则信号关系可表达为：
x＝x0+αF+Noise
y＝y0+F+Noise (3)
其中，F代表[oxy-Hb]与[deoxy-Hb]的共有噪声，存在一个正相关常系数α，Noise代表系统高频白噪声。假设x0与y0间的关系满足最大负相关特性(相关系数趋近于-1)而x0与F相关性趋近于0，可得到：
x0＝-βy0 (4)
结合式(3)和(4)可得到：
F＝(x+βy)/(α+β)
x0＝β(x–αy)/(α+β) (5)
当x0与F相关性趋近于0，可以得到方程：
当噪声系数α，与信号相关系数β满足α＝β，则可求解出方程解：
x0＝(x–αy)/2
y0＝-x0/α (7)
其中噪声系数α可由测量信号[oxy-Hb]与[deoxy-Hb]标准差之比求解。
综上，利用方法1)和2)可进行脑-机交互式神经反馈系统中脑控指标(即ERD能量和血红蛋白浓度)的实时计算与EEG及NIRS特征的优化提取，进而对比验证神经反馈训练前后的双模态脑信息特征水平提升效果。
3)基于脑电的神经反馈训练优化分类识别
为进一步研究提升运动想象脑-机接口的系统识别精度，在经典共空间模式和支持向量机(CSP+SVM)分类识别方法的基础上，引入了新型决策阈值优化策略，依据训练者左右手运动想象决策值分布曲线，经过循环回归模型预测，寻求最优化分类决策阈值，从而设置针对该训练特有的训练决策模式，具体决策阈值优化示意如图5所示，初始决策阈值为tv0＝0，经过循环回归模型寻优方法，即寻找达到最高识别正确率时的决策阈值作为新的系统决策阈值，从而实现决策阈值的优化为tv0＝tx，其中tx将根据不同训练者的左右手运动想象训练数据进行确定。
依据上述分类识别方法，计算了12名测试用户训练前后及决策阈值优化策略引入前后的分类识别效果，结果如图7所示。对比分析可见，训练后识别精度较训练前均有显著提升(配对t检验显著性统计结果，CSP+SVM策略下：t(11)＝-3.300,p＝0.007<0.01，优化决策阈值：t(11)＝-4.979,p＝0.000<0.001)；引入决策阈值优化策略后系统识别精度较经典的CSP+SVM方法有显著改善(训练前：t(11)＝-7.267,p＝0.000<0.01，训练后：t(11)＝-7.000,p＝0.000<0.001)，验证了上述神经反馈训练系统模型及系统分类识别效果优化方法的有效性。
4)基于近红外脑血氧响应空间分布的效果验证
根据NIRS信息数据，对比12名测试用户运动想象神经反馈训练前后脑血氧水平响应差异。并绘制了左右手运动想象训练前后平均脑血氧拓扑分布图，如图8所示。前后对比分析可见，左右手想象的脑血氧响应出现较为明显的增强，结合脑电分析结果，进一步验证了该神经反馈训练方法对于提升运动想象特征层面具有一定效果，且训练后可以明显改善原有运动想象特征模式。
本发明设计了一种双模态脑-机交互式运动神经反馈训练方法，利用视听、本体感觉融合反馈范式，可实时动态提升用户运动想象能力，克服了传统MI-BCI系统单向控制缺陷，可更好地引导运动神经反馈训练，更接近实际应用，有望为新型神经反馈训练系统设计提供关键技术保障，也为神经反馈训练人工智能系统快速步入大范围应用阶段奠定基础。
本发明设计了一种脑-机交互式运动神经反馈训练方法。该项发明可以用于残疾人康复、电子娱乐、工业控制、航天工程等领域，进一步研究可以得到完善的神经反馈智能训练系统，有望获得可观的社会效益和经济效益。
Claims (6)
1.一种双模态脑-机交互式运动神经反馈训练方法，其特征是，采集人体头皮脑电生理信息，采集脑血氧信息，利用计算机实时读取并处理脑电生理及脑血氧水平特征，应用动态短时傅里叶分析计算相对ERD能量值，动态血氧浓度负相关分析叠加平均血氧浓度水平，依据左、右脑区分布情况，决策是否驱动视听觉反馈和基于电刺激的本体感觉反馈。
2.如权利要求1所述的双模态脑-机交互式运动神经反馈训练方法，其特征是，还包括验证步骤，具体如下：利用多试次短时傅里叶分析对神经反馈训练前后的二维时频脑电特征进行效果对比，应用脑血氧合/脱氧血红蛋白浓度负相关分析方法提取脑血氧浓度响应水平分析其空间分布特性，并利用基于决策阈值优化策略的模式识别技术对比分析神经反馈训练前后的识别正确率，验证双模态脑-机交互式神经反馈训练装置的有效性。
3.如权利要求1所述的双模态脑-机交互式运动神经反馈训练方法，其特征是，进一步地，将可视化神经反馈界面用于提供左、右手运动想象相关的视听、电刺激体感反馈可视化，界面中包含虚拟左、右手和针状物，其中虚拟手会根据用户的实时运动想象状态进行移动，若虚拟手接触到针状物，则进行电刺激体感反馈，这里的电刺激电极贴在用户左右手掌心，电刺激模式采用300μs双相脉冲波，刺激频率为30Hz，用于体感刺激用户努力参与运动想象训练，并未产生疼痛感，刺激强度依据用户个体情况进行特异性调整，从而强化视听、体感觉神经反馈训练效果；为全面检测神经反馈训练过程中的脑信息演变过程及其电生理与血氧响应，脑信息采集部分在64通道EEG基础上，引入20通道覆盖左右运动脑区的NIRS采集，二者融合采集双模态大脑神经信号；然后计算机信号处理模块对双模态信号进行实时预处理，其中，脑电信号降采样至200Hz、8～30Hz带通滤波，进行脑血氧信号负相关分析、动态平均，依据左、右脑区能量空间分布不对称原理，若检测到对应左、右手想象的皮层ERD能量和脑血氧水平分布不合理即同侧占优或静息态，则控制可视化界面中虚拟手移动并接触到针状物，同步施加对应侧手的体感电刺激，其中皮层ERD能量和脑血氧水平基线，即每个Block开始的前30s时间下的ERD能量和血红蛋白浓度被设置为反馈触发阈值，并依据用户个体情况进行动态更新，以匹配用户个体特性。
4.如权利要求1所述的双模态脑-机交互式运动神经反馈训练方法，其特征是，
1)运动神经反馈相关脑电特征提取
对于运动想象事件相关去同步/同步ERD/ERS(Event-Related(de)synchronization)信号的处理通常使用功率谱时频分析，首先使用一个有限宽度的观察窗W(t)对信号x(t)进行观察，然后对加窗后的信号进行傅立叶变换得到的，
这里ω是角频率，t表示时间，W*(τ-t)是W(τ-t)的复共轭函数，当把有限取值长度的观察窗沿时间轴平移，即可在二维的时频平面上得到信号的频谱分布随时间变化的信息，得到脑电信号的二维时频图谱，进而得到ERD能量值的实时变化情况，在无初始模型时，用于系统指令输出控制的信号特征；
神经反馈训练系统计算左右手运动想象特征能量方法为相对ERD能量差值，计算公式如下：
其中，Pn为瞬时能量谱，Prelax为基态平均能量谱，Trelax为每个试次任务的静息态时长，Ptask为任务态平均能量谱，Ttask为为每个试次的运动想象态时长；
2)运动神经反馈相关近红外特征提取方法
应用近红外经典测量信息脑血氧合/脱氧HBO/HBR([oxy-Hb]/[deoxy-Hb])血红蛋白浓度负相关方法对NIRS数据进行特征提取，NIRS信号由四个成分构成：测量[oxy-Hb]信号x，测量[deoxy-Hb]信号y，真实[oxy-Hb]信号x0，真实[deoxy-Hb]信号y0，则信号关系表达为：
x＝x0+αF+Noise
y＝y0+F+Noise (3)
其中，F代表[oxy-Hb]与[deoxy-Hb]的共有噪声，存在一个正相关常系数α，Noise代表系统高频白噪声，x0与y0间的关系满足最大负相关特性而x0与F相关性趋近于0，得到：
x0＝-βy0 (4)
结合式(3)和(4)可得到：
F＝(x+βy)/(α+β)
x0＝β(x–αy)/(α+β) (5)
当x0与F相关性趋近于0，得到方程：
当噪声系数α，与信号相关系数β满足α＝β，则求解出方程解：
x0＝(x–αy)/2
y0＝-x0/α (7)
其中噪声系数α可由测量信号[oxy-Hb]与[deoxy-Hb]标准差之比求解。
综上，利用方法1)和2)可进行脑-机交互式神经反馈系统中脑控指标，即ERD能量和血红蛋白浓度的实时计算与EEG及NIRS特征的优化提取，进而对比验证神经反馈训练前后的双模态脑信息特征水平提升效果；
3)基于脑电的神经反馈训练优化分类识别
在共空间模式和支持向量机CSP+SVM分类识别方法的基础上，引入新型决策阈值优化策略，依据训练者左右手运动想象决策值分布曲线，经过循环回归模型预测，寻求最优化分类决策阈值，从而设置针对该训练特有的训练决策模式。
5.一种双模态脑-机交互式运动神经反馈训练装置，其特征是，结构如下：
多通道脑电设备，用于采集人体头皮脑电生理信息；
多通道近红外设备采集脑血氧信息；
计算机及其内部设置的分析模块，用于实时读取并处理脑电生理及脑血氧水平特征，应用动态短时傅里叶分析计算相对ERD能量值，动态血氧浓度负相关分析叠加平均血氧浓度水平，依据左、右脑区分布情况，决策是否驱动视听觉反馈和基于电刺激(型号：VitalStim)的本体感觉反馈。
6.如权利要求5所述的双模态脑-机交互式运动神经反馈训练装置，其特征是，分析模块为三部分：①包括视听觉、电刺激体感反馈的运动神经反馈训练范式模块，提供视听觉、电刺激体感反馈可视化，②脑电EEG、近红外NIRS同步采集模块，③脑神经信号处理、神经反馈训练控制模块；其中，可视化神经反馈界面用于提供左、右手运动想象相关的视听、电刺激体感反馈可视化，界面中包含虚拟左、右手和针状物，其中虚拟手会根据用户的实时运动想象状态进行移动，若虚拟手接触到针状物，则进行电刺激体感反馈，这里的电刺激电极贴在用户左右手掌心，电刺激模式采用300μs双相脉冲波，刺激频率为30Hz，主要用于体感刺激用户努力参与运动想象训练，并未产生疼痛感，刺激强度依据用户个体情况进行特异性调整，从而强化视听、体感觉神经反馈训练效果；为全面检测神经反馈训练过程中的脑信息演变过程及其电生理与血氧响应，脑信息采集部分在64通道EEG基础上，引入了20通道覆盖左右运动脑区的NIRS采集，二者融合采集双模态大脑神经信号；然后脑神经信号处理、神经反馈训练控制模块，对双模态信号进行实时预处理，依据左、右脑区能量空间分布不对称原理，若检测到对应左、右手想象的皮层ERD能量和脑血氧水平分布不合理，则控制可视化界面中虚拟手移动并接触到针状物，同步施加对应侧手的体感电刺激，其中皮层ERD能量和脑血氧水平基线被设置为反馈触发阈值，并依据用户个体情况进行动态更新，以匹配用户个体特性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910211696.5A CN109925582B (zh) | 2019-03-20 | 2019-03-20 | 双模态脑-机交互式运动神经反馈训练装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910211696.5A CN109925582B (zh) | 2019-03-20 | 2019-03-20 | 双模态脑-机交互式运动神经反馈训练装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109925582A true CN109925582A (zh) | 2019-06-25 |
| CN109925582B CN109925582B (zh) | 2021-08-03 |
Family
ID=66987744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910211696.5A Active CN109925582B (zh) | 2019-03-20 | 2019-03-20 | 双模态脑-机交互式运动神经反馈训练装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109925582B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110302459A (zh) * | 2019-08-09 | 2019-10-08 | 丹阳慧创医疗设备有限公司 | 一种情绪调控的训练方法、装置、设备以及系统 |
| CN111951948A (zh) * | 2020-08-19 | 2020-11-17 | 郑州大学第一附属医院 | 一种神经重症监测装置 |
| CN112137616A (zh) * | 2020-09-22 | 2020-12-29 | 天津大学 | 一种多感觉脑-体联合刺激的意识检测装置 |
| CN112674783A (zh) * | 2020-12-23 | 2021-04-20 | 天津大学 | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 |
| CN113040790A (zh) * | 2021-03-29 | 2021-06-29 | 中国科学院自动化研究所 | 基于内源性脑信号的闭环神经调控系统、方法和设备 |
| CN113113115A (zh) * | 2021-04-09 | 2021-07-13 | 北京未名脑脑科技有限公司 | 认知训练方法、系统及存储介质 |
| CN113180662A (zh) * | 2021-04-07 | 2021-07-30 | 北京脑陆科技有限公司 | 一种基于eeg信号的焦虑状态干预方法、系统 |
| CN113180661A (zh) * | 2021-04-07 | 2021-07-30 | 北京脑陆科技有限公司 | 一种基于eeg信号的焦虑状态调控方法、系统 |
| CN113208617A (zh) * | 2021-04-06 | 2021-08-06 | 北京脑陆科技有限公司 | 一种基于eeg信号的焦虑状态神经调控方法及系统 |
| CN113521484A (zh) * | 2021-08-20 | 2021-10-22 | 华东师范大学 | 神经反馈训练系统 |
| CN113951901A (zh) * | 2021-11-19 | 2022-01-21 | 郑州大学第一附属医院 | 一种脑电图机数据采集有效性自动分析系统及方法 |
| CN114027857A (zh) * | 2021-12-22 | 2022-02-11 | 杭州电子科技大学 | 一种基于脑电信号测量运动能力的方法 |
| CN114530230A (zh) * | 2021-12-31 | 2022-05-24 | 北京津发科技股份有限公司 | 基于虚拟现实技术的人员能力测试与反馈训练方法、装置、设备及存储介质 |
| CN115054243A (zh) * | 2022-05-27 | 2022-09-16 | 国家康复辅具研究中心 | 上肢康复训练系统闭环设计方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101862194A (zh) * | 2010-06-17 | 2010-10-20 | 天津大学 | 基于融合特征的想象动作脑电身份识别方法 |
| CN102156541A (zh) * | 2010-05-13 | 2011-08-17 | 天津大学 | 前额脑电与血氧信息融合的人机交互方法 |
| CN102238905A (zh) * | 2008-10-07 | 2011-11-09 | 奥森医疗科技有限公司 | 脑血液动力学参数的测量 |
| CN102609618A (zh) * | 2012-02-07 | 2012-07-25 | 清华大学 | 基于信息流增益的大脑不对称指数计算方法 |
| CN102831288A (zh) * | 2011-06-17 | 2012-12-19 | 财团法人工业技术研究院 | 生理参数指标运算系统及方法 |
| CN103040446A (zh) * | 2012-12-31 | 2013-04-17 | 北京师范大学 | 基于光学脑成像的神经反馈训练系统和神经反馈训练方法 |
| US9405366B2 (en) * | 2013-10-02 | 2016-08-02 | David Lee SEGAL | Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices |
| CN107661099A (zh) * | 2017-08-03 | 2018-02-06 | 天津大学 | 一种检测不同脑力负荷水平下运动状态的脑电分析方法 |
| CN108417249A (zh) * | 2018-03-06 | 2018-08-17 | 上海大学 | 基于vr的视听触觉多模态手功能康复方法 |
| CN108523883A (zh) * | 2018-03-19 | 2018-09-14 | 天津大学 | 一种基于实际动作建模的左右食指连续运动想象识别系统 |
-
2019
- 2019-03-20 CN CN201910211696.5A patent/CN109925582B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102238905A (zh) * | 2008-10-07 | 2011-11-09 | 奥森医疗科技有限公司 | 脑血液动力学参数的测量 |
| CN102156541A (zh) * | 2010-05-13 | 2011-08-17 | 天津大学 | 前额脑电与血氧信息融合的人机交互方法 |
| CN101862194A (zh) * | 2010-06-17 | 2010-10-20 | 天津大学 | 基于融合特征的想象动作脑电身份识别方法 |
| CN102831288A (zh) * | 2011-06-17 | 2012-12-19 | 财团法人工业技术研究院 | 生理参数指标运算系统及方法 |
| CN102609618A (zh) * | 2012-02-07 | 2012-07-25 | 清华大学 | 基于信息流增益的大脑不对称指数计算方法 |
| CN103040446A (zh) * | 2012-12-31 | 2013-04-17 | 北京师范大学 | 基于光学脑成像的神经反馈训练系统和神经反馈训练方法 |
| US9405366B2 (en) * | 2013-10-02 | 2016-08-02 | David Lee SEGAL | Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices |
| CN107661099A (zh) * | 2017-08-03 | 2018-02-06 | 天津大学 | 一种检测不同脑力负荷水平下运动状态的脑电分析方法 |
| CN108417249A (zh) * | 2018-03-06 | 2018-08-17 | 上海大学 | 基于vr的视听触觉多模态手功能康复方法 |
| CN108523883A (zh) * | 2018-03-19 | 2018-09-14 | 天津大学 | 一种基于实际动作建模的左右食指连续运动想象识别系统 |
Non-Patent Citations (2)
| Title |
|---|
| 明东: "脑机接口技术的神经康复与新型应用", 《科技导报》 * |
| 陈龙: "基于脑电控制的功能性电刺激康复系统设计及应用", 《航天医学与医学工程》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110302459B (zh) * | 2019-08-09 | 2022-05-13 | 丹阳慧创医疗设备有限公司 | 一种情绪调控的训练方法、装置、设备以及系统 |
| CN110302459A (zh) * | 2019-08-09 | 2019-10-08 | 丹阳慧创医疗设备有限公司 | 一种情绪调控的训练方法、装置、设备以及系统 |
| CN111951948A (zh) * | 2020-08-19 | 2020-11-17 | 郑州大学第一附属医院 | 一种神经重症监测装置 |
| CN112137616A (zh) * | 2020-09-22 | 2020-12-29 | 天津大学 | 一种多感觉脑-体联合刺激的意识检测装置 |
| CN112137616B (zh) * | 2020-09-22 | 2022-09-02 | 天津大学 | 一种多感觉脑-体联合刺激的意识检测装置 |
| CN112674783A (zh) * | 2020-12-23 | 2021-04-20 | 天津大学 | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 |
| CN113040790A (zh) * | 2021-03-29 | 2021-06-29 | 中国科学院自动化研究所 | 基于内源性脑信号的闭环神经调控系统、方法和设备 |
| WO2022205073A1 (zh) * | 2021-03-29 | 2022-10-06 | 中国科学院自动化研究所 | 基于内源性脑信号的闭环神经调控系统、方法和设备 |
| CN113040790B (zh) * | 2021-03-29 | 2022-01-28 | 中国科学院自动化研究所 | 基于内源性脑信号的闭环神经调控系统、方法和设备 |
| CN113208617A (zh) * | 2021-04-06 | 2021-08-06 | 北京脑陆科技有限公司 | 一种基于eeg信号的焦虑状态神经调控方法及系统 |
| CN113180662A (zh) * | 2021-04-07 | 2021-07-30 | 北京脑陆科技有限公司 | 一种基于eeg信号的焦虑状态干预方法、系统 |
| CN113180661A (zh) * | 2021-04-07 | 2021-07-30 | 北京脑陆科技有限公司 | 一种基于eeg信号的焦虑状态调控方法、系统 |
| CN113113115A (zh) * | 2021-04-09 | 2021-07-13 | 北京未名脑脑科技有限公司 | 认知训练方法、系统及存储介质 |
| CN113521484A (zh) * | 2021-08-20 | 2021-10-22 | 华东师范大学 | 神经反馈训练系统 |
| CN113521484B (zh) * | 2021-08-20 | 2023-03-28 | 华东师范大学 | 神经反馈训练系统 |
| CN113951901A (zh) * | 2021-11-19 | 2022-01-21 | 郑州大学第一附属医院 | 一种脑电图机数据采集有效性自动分析系统及方法 |
| CN113951901B (zh) * | 2021-11-19 | 2024-03-01 | 中国中医科学院西苑医院 | 一种脑电图机数据采集有效性自动分析系统及方法 |
| CN114027857A (zh) * | 2021-12-22 | 2022-02-11 | 杭州电子科技大学 | 一种基于脑电信号测量运动能力的方法 |
| CN114027857B (zh) * | 2021-12-22 | 2024-04-26 | 杭州电子科技大学 | 一种基于脑电信号测量运动能力的方法 |
| CN114530230A (zh) * | 2021-12-31 | 2022-05-24 | 北京津发科技股份有限公司 | 基于虚拟现实技术的人员能力测试与反馈训练方法、装置、设备及存储介质 |
| CN114530230B (zh) * | 2021-12-31 | 2022-12-02 | 北京津发科技股份有限公司 | 基于虚拟现实技术的人员能力测试与反馈训练方法、装置、设备及存储介质 |
| CN115054243A (zh) * | 2022-05-27 | 2022-09-16 | 国家康复辅具研究中心 | 上肢康复训练系统闭环设计方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109925582B (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109925582A (zh) | 双模态脑-机交互式运动神经反馈训练装置和方法 | |
| Holper et al. | Testing the potential of a virtual reality neurorehabilitation system during performance of observation, imagery and imitation of motor actions recorded by wireless functional near-infrared spectroscopy (fNIRS) | |
| CN104978035B (zh) | 基于体感电刺激诱发p300的脑机接口系统及其实现方法 | |
| Kondo et al. | Effect of instructive visual stimuli on neurofeedback training for motor imagery-based brain–computer interface | |
| CN106236503B (zh) | 肌电驱动的上肢可穿戴外骨骼系统及控制方法 | |
| Riehle et al. | Motor cortex in voluntary movements: a distributed system for distributed functions | |
| CN106951064B (zh) | 引入对象连续动作的稳态视觉诱发范式设计及辨识方法 | |
| CN103040446A (zh) | 基于光学脑成像的神经反馈训练系统和神经反馈训练方法 | |
| Kagerer et al. | Instabilities during antiphase bimanual movements: are ipsilateral pathways involved? | |
| Yu et al. | EEG-based brain-controlled lower extremity exoskeleton rehabilitation robot | |
| CN103301002A (zh) | 基于光学脑成像的中枢-外周神经康复训练方法及系统 | |
| Shen et al. | Research on the real-time control system of lower-limb gait movement based on motor imagery and central pattern generator | |
| CN106821308A (zh) | 一种骨骼肌刺激下收缩活动评估的方法和装置 | |
| CN115985466A (zh) | 一种临床针灸治疗方案选定方法、介质及系统 | |
| Bhattacharyya et al. | A study on the effect of Electrical Stimulation during motor imagery learning in Brain-computer interfacing | |
| CN103784151A (zh) | 小儿捏脊手法特征参数获取与分析方法 | |
| Lee et al. | Ethical and social issues behind brain-computer interface | |
| Wang et al. | Optimization of machine learning method combined with brain-computer interface rehabilitation system | |
| CN112674783A (zh) | 长时程脑-肌电耦合的上肢运动功能训练与评测方法 | |
| Gao et al. | BCI–VR-based hand soft rehabilitation system with its applications in hand rehabilitation after stroke | |
| Hassan et al. | An overview of brain machine interface research in developing countries: Opportunities and challenges | |
| Peng et al. | A c-VEP BCI system for psychological experiments | |
| Li et al. | A delayed matching task-based study on action sequence of motor imagery | |
| Fernández | Brain-motion interaction analysis through the study of brainwaves | |
| Hu et al. | Neural coding for effective rehabilitation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |