CN108681396B - 基于脑-肌电双模态神经信号的人机交互系统及其方法 - Google Patents

基于脑-肌电双模态神经信号的人机交互系统及其方法 Download PDF

Info

Publication number
CN108681396B
CN108681396B CN201810400281.8A CN201810400281A CN108681396B CN 108681396 B CN108681396 B CN 108681396B CN 201810400281 A CN201810400281 A CN 201810400281A CN 108681396 B CN108681396 B CN 108681396B
Authority
CN
China
Prior art keywords
signal
module
myoelectricity
decoding
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810400281.8A
Other languages
English (en)
Other versions
CN108681396A (zh
Inventor
奕伟波
陈远方
范新安
张利剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Machinery Equipment Research Institute
Original Assignee
Beijing Machinery Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Machinery Equipment Research Institute filed Critical Beijing Machinery Equipment Research Institute
Priority to CN201810400281.8A priority Critical patent/CN108681396B/zh
Publication of CN108681396A publication Critical patent/CN108681396A/zh
Application granted granted Critical
Publication of CN108681396B publication Critical patent/CN108681396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Abstract

本发明涉及基于脑‑肌电双模态神经信号的人机交互系统及其方法，属于人机交互系统领域，解决了现有技术中仅使用单一神经生理信号无法实现运动意图的可靠解码的问题。包括：神经信号采集模块，用于采集并输出脑电信号、肌电信号；疲劳预测模块，用于根据肌电信号，判断肌肉是否疲劳；肌电解码模块1，用于在肌肉不疲劳时，通过肌电信号单独识别运动意图信息；脑‑肌电联合解码模块，用于在肌肉疲劳时，对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息。实现了精准的运动意图识别。

Description

基于脑-肌电双模态神经信号的人机交互系统及其方法
技术领域
本发明涉及人机交互系统技术领域，尤其涉及一种基于脑-肌电双模态神经信号的人机交互系统及其方法。
背景技术
基于脑电、肌电等神经生理信号的人机交互技术已广泛用于神经康复工程、娱乐以及军事等领域，可用于控制神经假体帮助截肢病人重建肢体运动功能，也可用于外骨骼、机械臂等外设的控制从而实现人体机能增强。由于大脑容积导体效应，头皮脑电信号微弱，空间分辨率低，且易受周围环境干扰，无法解析人体精细运动意图信息。相比于微弱的脑电信号，肌电信号具有高信噪比、高空间分辨率等优点，对运动的空间定位更准确，使用表面肌电能精确识别多种运动学以及动力学参数。基于肌电信号的神经接口可识别人体多种运动意图，实现神经假体、机械臂的高自由度控制，实时性和准确率高。
尽管肌电对运动意图响应迅速，解码正确率高，但是其易受肌肉疲劳影响。肌肉疲劳，指的是当肌肉持续收缩一段时间，肌肉生理特性发生改变，表现为兴奋性、传导性和收缩性的降低，并引起肌肉物理展长性和弹性减弱，肌肉变得不能够产生所需要的力。当产生肌肉疲劳时，肌肉收缩强度明显降低，并且肌电信号的时频以及非线性特征将发生变化。当使用者应用肌电神经接口控制外部设备一段时间后，虽然其自身并不能明显觉察到肌肉状态的变化，但是肌电信号的幅值、频率等特征已经发生改变，从而导致神经接口解码性能降低，影响了外设的使用效果。
受限于脑电或肌电的信号特性，仅使用单一神经生理信号无法实现运动意图的可靠、稳定解码，保证外部设备的长时间高效使用。
发明内容
鉴于上述的分析，本发明旨在提供一种基于脑-肌电双模态神经信号的人机交互系统及其方法，用以解决现有技术中仅使用单一神经生理信号无法实现运动意图的可靠、稳定解码的问题。
本发明的目的主要是通过以下技术方案实现的：
基于脑-肌电双模态神经信号的人机交互系统，包括：
神经信号采集模块，用于采集并输出脑电信号、肌电信号；
疲劳预测模块，用于根据肌电信号，判断肌肉是否疲劳；
肌电解码模块1，用于在肌肉不疲劳时，通过肌电信号单独识别运动意图信息；
脑-肌电联合解码模块，用于在肌肉疲劳时，对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息。
本发明有益效果如下：本实施例提供的基于脑-肌电双模态神经信号的人机交互系统，通过分析肌电信号疲劳时的肌电信号特性，在肌肉疲劳情况下利用脑-肌电联合解码获取最终的运动意图，充分发挥不同神经生理信号的优点，从而克服肌肉疲劳造成的解码性能降低的问题，最终实现稳定、连续、精准的运动意图识别。
在上述方案的基础上，本发明还做了如下改进：
进一步，所述疲劳预测模块包括中值频率计算模块和AR模型系数计算模块；
所述中值频率计算模块，用于利用公式(1)计算当前肌电信号的中值频率MDF：
Figure GDA0002915069640000031
其中，P表示功率谱，i为频率，K为最大频率；
所述AR模型系数计算模块，用于根据肌电信号的AR模型，获取AR模型的第一个系数，计算公式：
Figure GDA0002915069640000032
其中，al为肌电信号x(n-l)的系数，ω(n)为白噪声残差，p为AR模型的阶数。
采用上述进一步方案的有益效果是：在疲劳预测模块中，通过计算肌电信号中值频率MDF和AR模型系数，能够得到比较有代表性的肌电信号特性值，同时计算方法比较简单，容易实现。
进一步，所述疲劳预测模块还包括疲劳判断模块，所述疲劳判断模块，用于根据中值频率MDF和AR模型的第一个系数a1判断肌肉是否疲劳：
若满足MDF≤MDFH且a1≤aH，则肌肉疲劳，否则肌肉不疲劳，
其中，MDFH为肌电信号中值频率阈值，aH为肌电信号AR模型第一个系数的阈值。
采用上述进一步方案的有益效果是：根据肌电信号特征值判断肌肉是否疲劳，能够得到较为准确的肌肉疲劳判断结果，方便后续根据疲劳预测模型结果选择哪种方式获取运动意图。
进一步，肌电解码模块1、肌电解码模块2均包括肌电信号特征提取模块和肌电信号决策模块，
所述肌电信号特征提取模块，用于计算肌电信号x(n)绝对值均值、波形长度、过零点数和斜率改变次数：
绝对值均值计算公式：
Figure GDA0002915069640000041
N为设定时间段内的数据点数；
肌电信号波形长度计算公式：
Figure GDA0002915069640000042
过零点数ZC为两个连续肌电信号采样点幅值经过零值的次数；
斜率改变次数SSC表示对于三个连续肌电信号采样点斜率变化的次数；
所述肌电信号决策模块，用于根据得到的所述肌电信号绝对值均值、波形长度、过零点数和斜率改变次数信息，利用肌电信号模式识别模型，输出肌电解码决策结果。
采用上述进一步方案的有益效果是：肌电解码模块通过计算肌电信号的特征值，并根据所述特征值输出最终的肌电解码决策结果。
进一步，通过采集不同运动意图下的肌电信号绝对值均值和肌电信号波形长度、过零点数和斜率改变次数信息，将肌电信号绝对值均值、肌电信号波形长度信息、过零点数和斜率改变次数作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到所述肌电信号模式识别模型。
采用上述进一步方案的有益效果是：通过将肌电信号的特征值作为肌电信号模式识别模型训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，能够得到所述肌电信号模式识别模型，为肌电解码模块输出结果提供必要的支撑。
进一步，脑电解码模块包括脑电信号特征提取模块和脑电信号决策模块，
所述脑电信号特征提取模块，用于根据共空间模式算法得到脑电信号特征提取结果；
所述脑电信号决策模块，用于根据所述脑电信号特征提取结果，利用脑电信号模式识别模型，输出脑电解码决策结果。
采用上述进一步方案的有益效果是：脑电解码模块通过计算脑电信号的特征值，并根据所述特征值输出最终的脑电解码决策结果。
进一步，通过采集不同运动意图下的脑电信号特征提取结果，将脑电信号特征提取结果作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到所述脑电信号模式识别模型。
采用上述进一步方案的有益效果是：通过将脑电信号的特征值作为脑电信号模式识别模型训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，能够得到所述脑电信号模式识别模型，为脑电解码模块输出结果提供必要的支撑。
进一步，肌电解码模块1将肌电解码决策结果作为运动意图输出。
采用上述进一步方案的有益效果是：当肌肉不疲劳时，由运动意图由肌电解码模块单独输出，有利于较少计算量，同时得到较为准备的运动意图输出结果。
进一步，脑-肌电联合识别模块输出结果：
Cout＝argmaxc(P(C＝c)P(O1|C＝c)P(O2|C＝c)) (5)
其中，C为运动意图任务类型，P(C＝c)为当运动意图C为第c类时的先验概率，O1、O2分别表示脑电解码决策结果、肌电解码模块2的肌电解码决策结果，P(O1|C)和P(O2|C)分别为脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数，计算过程如下式所述：
Figure GDA0002915069640000061
其中，μc,k和σc,k分别表示当任务类型为c时脑电信号决策模块或肌电解码模块2中肌电信号决策模块输出的决策均值和标准差，k∈{1,2}；
将脑-肌电联合识别模块输出结果作为运动意图输出。
采用上述进一步方案的有益效果是：在肌肉疲劳时，利用肌电信号判断运动意图的准确率下降，此时利用脑电信号和肌电信号联合解码，并进一步给出脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数计算过程，充分发挥不同神经生理信号的优点，从而克服肌肉疲劳造成的解码性能降低的问题，最终实现稳定、连续、精准的运动意图识别。
在另一实施例中，公开了一种基于脑-肌电双模态神经信号的人机交互系统对应的方法，该方法包括以下步骤：
通过神经信号采集模块采集并输出脑电信号、肌电信号；
疲劳预测模块根据肌电信号计算得到肌电信号的中值频率MDF和AR模型的第一个系数，若肌电信号中值频率MDF和AR模型的第一个系数均小于相应阈值，则肌肉疲劳，否则肌肉不疲劳；
若肌肉不疲劳，肌电解码模块1通过肌电信号获取肌电解码决策结果，并将肌电解码决策结果作为运动意图输出；
若肌肉疲劳，脑-肌电联合解码模块对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息；
其中，脑-肌电联合识别模块输出结果：
Cout＝argmax(P(C＝c)P(O1|C＝c)P(O2|C＝c)) (5)
其中，C为运动意图任务类型，P(C＝c)为当运动意图C为第c类时的先验概率，O1、O2分别表示脑电解码决策结果、肌电解码模块2的肌电解码决策结果，P(O1|C)和P(O2|C)分别为脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数，计算过程如下式所述：
Figure GDA0002915069640000071
其中，μc,k和σc,k分别表示当任务类型为c时脑电信号决策模块或肌电解码模块2中肌电信号决策模块输出的决策均值和标准差，k∈{1,2}；
将脑-肌电联合识别模块输出结果作为运动意图输出。
本发明有益效果如下：本实施例提供的基于脑-肌电双模态神经信号的人机交互方法，通过分析肌电信号疲劳时的肌电信号特性，在肌肉疲劳情况下利用脑-肌电联合解码获取最终的运动意图，充分发挥不同神经生理信号的优点，从而克服肌肉疲劳造成的解码性能降低的问题，最终实现稳定、连续、精准的运动意图识别。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为基于脑-肌电双模态神经信号的人机交互系统示意图。
图2为神经信号采集模块工作示意图；
图3为脑-肌电联合解码模块工作示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种基于脑-肌电双模态神经信号的人机交互系统，示意图如图1所示，包括：
神经信号采集模块，用于采集并输出脑电信号、肌电信号；
疲劳预测模块，用于根据肌电信号，判断肌肉是否疲劳；
肌电解码模块1，用于在肌肉不疲劳时，通过肌电信号单独识别运动意图信息；
脑-肌电联合解码模块，用于在肌肉疲劳时，对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息。
与现有技术相比，本实施例提供的基于脑-肌电双模态神经信号的人机交互系统，通过分析肌电信号疲劳时的肌电信号特性，在肌肉疲劳情况下利用脑-肌电联合解码获取最终的运动意图，充分发挥不同神经生理信号的优点，从而克服肌肉疲劳造成的解码性能降低的问题，最终实现稳定、连续、精准的运动意图识别。
图2为神经信号采集模块示意图，被试者在进行肢体运动时同步采集脑电和肌电信号。任务流程分为四个时段，共8s时间。第一时段为准备期，屏幕正中央出现白圆，持续2s，提示本次任务开始，受试者保持放松无动作状态；第二时段为提示期，白圆消失，红圆出现，持续1s，提示受试者做好准备，任务即将开始。第三时段为任务期，红圆消失，任务提示出现，如随机指向左边或右边的箭头提示，被试根据箭头方向完成左侧屈肘运动或者右侧屈肘运动，持续4s。第四时段为休息期，受试者保持静息状态，以作调整准备下一个任务。
本实施例中使用Neuroscan 64导联脑电采集系统，以前额为地，鼻尖作为参考。脑电采样频率为1000Hz，带通滤波范围为0.5-100Hz，采用50Hz陷波器去除工频干扰。对采集到的原始脑电数据使用共平均参考进行空间滤波处理，然后带通滤波到8-30Hz并降采样到200Hz。使用Noraxon的Telemyo2400 DTS表面肌电无线采集系统采集肌电信号，如电极贴于上肢肱二头肌和肱三头肌两块肌肉的肌腹位置，采样频率设为1000Hz，滤波范围10Hz～500Hz。
优选地，疲劳预测模块包括中值频率计算模块和AR模型系数计算模块；
中值频率计算模块，用于利用公式(1)计算当前肌电信号的中值频率MDF：
Figure GDA0002915069640000091
其中，P表示功率谱，i为频率，K为最大频率；
AR模型系数计算模块，用于根据肌电信号的AR模型，获取AR模型的第一个系数，计算公式：
Figure GDA0002915069640000101
其中，al为肌电信号x(n-l)的系数，ω(n)为白噪声残差，p为AR模型的阶数。
在疲劳预测模块中，通过计算肌电信号中值频率MDF和AR模型系数，能够得到比较有代表性的肌电信号特性值，同时计算方法比较简单，容易实现。
优选地，疲劳预测模块还包括疲劳判断模块，疲劳判断模块，用于根据中值频率MDF和AR模型的第一个系数a1判断肌肉是否疲劳：
若满足MDF≤MDFH且a1≤aH，则肌肉疲劳，否则肌肉不疲劳，
其中，MDFH为肌电信号中值频率阈值，aH为肌电信号AR模型第一个系数的阈值。
根据肌电信号特征值判断肌肉是否疲劳，能够得到较为准确的肌肉疲劳判断结果，方便后续根据疲劳预测模型结果选择哪种方式获取运动意图。
优选地，肌电解码模块1、肌电解码模块2均包括肌电信号特征提取模块和肌电信号决策模块，
肌电信号特征提取模块，用于计算肌电信号x(n)绝对值均值、波形长度、过零点数和斜率改变次数：
绝对值均值计算公式：
Figure GDA0002915069640000102
其中，N为设定时间段内的数据点数；
WL是描述肌电信号复杂程度的特征量，肌电信号波形长度计算公式：
Figure GDA0002915069640000111
过零点数ZC为两个连续肌电信号采样点幅值经过零值的次数；
斜率改变次数SSC表示对于三个连续肌电信号采样点斜率变化的次数(波峰波谷的个数)；
肌电信号决策模块，用于根据得到的肌电信号绝对值均值、波形长度、过零点数和斜率改变次数信息，利用肌电信号模式识别模型，输出肌电解码决策结果。
肌电解码模块通过计算肌电信号的特征值，并根据特征值输出最终的肌电解码决策结果。
优选地，通过采集不同运动意图下的肌电信号绝对值均值和肌电信号波形长度、过零点数和斜率改变次数信息，将肌电信号绝对值均值、肌电信号波形长度信息、过零点数和斜率改变次数作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到肌电信号模式识别模型。
通过将肌电信号的特征值作为肌电信号模式识别模型训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，能够得到肌电信号模式识别模型，为肌电解码模块输出结果提供必要的支撑。
优选地，脑电解码模块包括脑电信号特征提取模块和脑电信号决策模块，
脑电信号特征提取模块，用于根据共空间模式算法得到脑电信号特征提取结果；
共空间模式算法(Common spatial pattern，CSP)计算过程如下：
假设2类肢体动作下采集到的多通道脑电信号为Xq，q∈{1,2}，它们的维数均为N*T，N为脑电通道数，T为采样点数。Σq分别为两类模式下所有同类单次任务协方差矩阵的均值。
滤波器矩阵的求解可通过最大化瑞利商，如下式所示：
Figure GDA0002915069640000121
使用拉格朗日算子，求解约束优化问题，将广义特征值分解问题Σ1W＝λΣ2W转化为标准特征值分解Σ2 -1Σ1W＝λW，即求解Σ2 -1Σ1的特征向量W。W为所求的空间滤波器矩阵，经过滤波后的信号为Z＝WTX。其中，zj，j∈{1,2…2m}为Z的前m和后m个行向量，对应最大和最小的m个特征值。然后分别计算方差，并且经过归一化和对数变换可以得到相应的特征点，如下式所示：
Figure GDA0002915069640000122
脑电信号决策模块，用于根据脑电信号特征提取结果，利用脑电信号模式识别模型，输出脑电解码决策结果。
脑电解码模块通过计算脑电信号的特征值，并根据特征值输出最终的脑电解码决策结果。
优选地，通过采集不同运动意图下的脑电信号特征提取结果，将脑电信号特征提取结果作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到脑电信号模式识别模型。
通过将脑电信号的特征值作为脑电信号模式识别模型训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，能够得到脑电信号模式识别模型，为脑电解码模块输出结果提供必要的支撑。
优选地，肌电解码模块1将肌电解码决策结果作为运动意图输出。
当肌肉不疲劳时，由运动意图由肌电解码模块单独输出，有利于较少计算量，同时得到较为准备的运动意图输出结果。
本发明采用决策融合方法，如贝叶斯决策，对脑电和肌电解码决策结果进行整合处理，图3为脑-肌电联合解码模块工作示意图。C为运动意图任务类型，(如左侧屈肘运动或者右侧屈肘运动)，O1、O2分别表示脑电解码决策结果、肌电解码模块2的肌电解码决策结果，P(C)为先验概率，且对于每类任务来说P(C＝c)相等，P(C＝c)表示当运动意图C为第c类时的先验概率(如c∈{左侧，右侧})。P(O1|C)和P(O2|C)为脑电解码决策结果和肌电解码决策结果类条件概率密度函数，P(O1,O2|C)为联合概率密度函数。根据贝叶斯准则，
Figure GDA0002915069640000131
其中，
Figure GDA0002915069640000132
假设脑电和肌电信号是相互独立的，则P(O1,O2|C)＝P(O1|C)P(O2|C)。
那么，
Figure GDA0002915069640000133
故脑-肌电联合识别模块输出结果：
Cout＝argmaxc(P(C＝c)P(O1|C＝c)P(O2|C＝c)) (8)
其中，P(O1|C)和P(O2|C)分别为当任务类型为c时脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数，O1、O2服从高斯分布，计算过程如下式所述：
Figure GDA0002915069640000141
其中，μc,k和σc,k分别表示当任务类型为c时脑电信号决策模块或肌电解码模块2中肌电信号决策模块输出的决策均值和标准差，k∈{1,2}；
将脑-肌电联合识别模块输出结果作为运动意图输出。
在肌肉疲劳时，利用肌电信号判断运动意图的准确率下降，此时利用脑电信号和肌电信号联合解码，并进一步给出脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数计算过程，充分发挥不同神经生理信号的优点，从而克服肌肉疲劳造成的解码性能降低的问题，最终实现稳定、连续、精准的运动意图识别。
在另一实施例中，公开了一种基于脑-肌电双模态神经信号的人机交互系统对应的方法，该方法包括以下步骤：
通过神经信号采集模块采集并输出脑电信号、肌电信号；
疲劳预测模块根据肌电信号计算得到肌电信号的中值频率MDF和AR模型的第一个系数，若肌电信号中值频率MDF和AR模型的第一个系数均小于相应阈值，则肌肉疲劳，否则肌肉不疲劳；
若肌肉不疲劳，肌电解码模块1通过肌电信号获取肌电解码决策结果，并将肌电解码决策结果作为运动意图输出；
若肌肉疲劳，脑-肌电联合解码模块对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息；
其中，脑-肌电联合识别模块输出结果：
Cout＝argmaxc(P(C＝c)P(O1|C＝c)P(O2|C＝c)) (10)
其中，其中C为运动意图任务类型，P(C＝c)为当运动意图C为第c类时的先验概率，O1、O2分别表示脑电解码决策结果、肌电解码模块2的肌电解码决策结果，P(O1|C)和P(O2|C)分别为脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数，计算过程如下式所述：
Figure GDA0002915069640000151
其中，μc,k和σc,k分别表示当任务类型为c时脑电信号决策模块或肌电解码模块2中肌电信号决策模块输出的决策均值和标准差，k∈{1,2}；
将脑-肌电联合识别模块输出结果作为运动意图输出。
与现有技术相比，本实施例提供的基于脑-肌电双模态神经信号的人机交互方法，通过分析肌电信号疲劳时的肌电信号特性，在肌肉疲劳情况下利用脑-肌电联合解码获取最终的运动意图，充分发挥不同神经生理信号的优点，从而克服肌肉疲劳造成的解码性能降低的问题，最终实现稳定、连续、精准的运动意图识别。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.基于脑-肌电双模态神经信号的人机交互系统，其特征在于，包括：
神经信号采集模块，用于采集并输出脑电信号、肌电信号；
疲劳预测模块，用于根据肌电信号，判断肌肉是否疲劳；
肌电解码模块1，用于在肌肉不疲劳时，通过肌电信号单独识别运动意图信息；
脑-肌电联合解码模块，用于在肌肉疲劳时，对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息；
脑-肌电联合识别模块输出结果：
Cout＝argmaxc(P(C＝c)P(O1|C＝c)P(O2|C＝c)) (1)
其中，C为运动意图任务类型，P(C＝c)为当运动意图C为第c类时的先验概率，O1、O2分别表示脑电解码决策结果、肌电解码模块2的肌电解码决策结果，P(O1|C)和P(O2|C)分别为脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数，计算过程如下式所述：
Figure FDA0002915069630000011
其中，μc,k和σc,k分别表示当任务类型为c时脑电信号决策模块或肌电解码模块2中肌电信号决策模块输出的决策均值和标准差，k∈{1,2}；
将脑-肌电联合识别模块输出结果作为运动意图输出。
2.根据权利要求1所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，所述疲劳预测模块包括中值频率计算模块和AR模型系数计算模块；
所述中值频率计算模块，用于利用公式(3)计算当前肌电信号的中值频率MDF：
Figure FDA0002915069630000021
其中，P表示功率谱，i为频率，K为最大频率；
所述AR模型系数计算模块，用于根据肌电信号的AR模型，获取AR模型的第一个系数，计算公式：
Figure FDA0002915069630000022
其中，al为肌电信号x(n-l)的系数，ω(n)为白噪声残差，p为AR模型的阶数。
3.根据权利要求2所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，所述疲劳预测模块还包括疲劳判断模块，所述疲劳判断模块，用于根据中值频率MDF和AR模型的第一个系数a1判断肌肉是否疲劳：
若满足MDF≤MDFH且a1≤aH，则肌肉疲劳，否则肌肉不疲劳，
其中，MDFH为肌电信号中值频率阈值，aH为肌电信号AR模型第一个系数的阈值。
4.根据权利要求2所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，肌电解码模块1、肌电解码模块2均包括肌电信号特征提取模块和肌电信号决策模块，
所述肌电信号特征提取模块，用于计算肌电信号x(n)绝对值均值、波形长度、过零点数和斜率改变次数：
绝对值均值计算公式：
Figure FDA0002915069630000031
N为设定时间段内的数据点数；
肌电信号波形长度计算公式：
Figure FDA0002915069630000032
过零点数ZC为两个连续肌电信号采样点幅值经过零值的次数；
斜率改变次数SSC表示对于三个连续肌电信号采样点斜率变化的次数；
所述肌电信号决策模块，用于根据得到的所述肌电信号绝对值均值、波形长度、过零点数和斜率改变次数信息，利用肌电信号模式识别模型，输出肌电解码决策结果。
5.根据权利要求4所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，通过采集不同运动意图下的肌电信号绝对值均值和肌电信号波形长度、过零点数和斜率改变次数信息，将肌电信号绝对值均值、肌电信号波形长度信息、过零点数和斜率改变次数作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到所述肌电信号模式识别模型。
6.根据权利要求1所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，脑电解码模块包括脑电信号特征提取模块和脑电信号决策模块，
所述脑电信号特征提取模块，用于根据共空间模式算法得到脑电信号特征提取结果；
所述脑电信号决策模块，用于根据所述脑电信号特征提取结果，利用脑电信号模式识别模型，输出脑电解码决策结果。
7.根据权利要求6所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，通过采集不同运动意图下的脑电信号特征提取结果，将脑电信号特征提取结果作为训练样本的输入，将相对应的运动意图作为训练样本的输出，利用模式识别算法建立输入输出之间的关系，得到所述脑电信号模式识别模型。
8.根据权利要求5所述的基于脑-肌电双模态神经信号的人机交互系统，其特征在于，肌电解码模块1将肌电解码决策结果作为运动意图输出。
9.一种基于权利要求1-8中任一项所述系统的人机交互方法，其特征在于，所述方法包括以下步骤：
通过神经信号采集模块采集并输出脑电信号、肌电信号；
疲劳预测模块根据肌电信号计算得到肌电信号的中值频率MDF和AR模型的第一个系数，若肌电信号中值频率MDF和AR模型的第一个系数均小于相应阈值，则肌肉疲劳，否则肌肉不疲劳；
若肌肉不疲劳，肌电解码模块1通过肌电信号获取肌电解码决策结果，并将肌电解码决策结果作为运动意图输出；
若肌肉疲劳，脑-肌电联合解码模块对脑电信号和肌电信号进行联合解码，根据脑电解码模块和肌电解码模块2的决策融合结果识别运动意图信息；
其中，脑-肌电联合识别模块输出结果：
Cout＝argmaxc(P(C＝c)P(O1|C＝c)P(O2|C＝c)) (7)
其中，C为运动意图任务类型，P(C＝c)为当运动意图C为第c类时的先验概率，O1、O2分别表示脑电解码决策结果、肌电解码模块2的肌电解码决策结果，P(O1|C)和P(O2|C)分别为脑电解码决策结果的类条件概率密度函数、肌电解码决策结果的类条件概率密度函数，计算过程如下式所述：
Figure FDA0002915069630000051
其中，μc,k和σc,k分别表示当任务类型为c时脑电信号决策模块或肌电解码模块2中肌电信号决策模块输出的决策均值和标准差，k∈{1,2}；
将脑-肌电联合识别模块输出结果作为运动意图输出。
CN201810400281.8A 2018-04-28 2018-04-28 基于脑-肌电双模态神经信号的人机交互系统及其方法 Active CN108681396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810400281.8A CN108681396B (zh) 2018-04-28 2018-04-28 基于脑-肌电双模态神经信号的人机交互系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810400281.8A CN108681396B (zh) 2018-04-28 2018-04-28 基于脑-肌电双模态神经信号的人机交互系统及其方法

Publications (2)

Publication Number Publication Date
CN108681396A CN108681396A (zh) 2018-10-19
CN108681396B true CN108681396B (zh) 2021-07-06

Family

ID=63802590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810400281.8A Active CN108681396B (zh) 2018-04-28 2018-04-28 基于脑-肌电双模态神经信号的人机交互系统及其方法

Country Status (1)

Country Link
CN (1) CN108681396B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109589247A (zh) * 2018-10-24 2019-04-09 天津大学 一种基于脑-机-肌信息环路的助行机器人系统
CN109521880B (zh) * 2018-11-27 2022-06-24 东南大学 一种基于混合生物电信号驱动的遥操作机器人系统及方法
CN110238863B (zh) * 2019-06-17 2020-09-01 北京国润健康医学投资有限公司 基于脑电-肌电信号的下肢康复机器人控制方法及系统
CN110495893B (zh) * 2019-07-30 2021-01-29 西安交通大学 一种运动意图连续脑肌电多层次动态融合识别系统及方法
CN110739042A (zh) * 2019-10-29 2020-01-31 浙江迈联医疗科技有限公司 基于脑机接口的肢体运动康复方法、装置、存储介质及设备
CN110815181B (zh) * 2019-11-04 2021-04-20 西安交通大学 人体下肢运动意图脑肌融合感知的多层次校准系统及方法
CN111168667B (zh) * 2019-12-13 2022-08-05 天津大学 基于贝叶斯分类器的机器人控制方法
CN111631923A (zh) * 2020-06-02 2020-09-08 中国科学技术大学先进技术研究院 基于意图识别的外骨骼机器人的神经网络控制系统
CN111820901B (zh) * 2020-06-29 2021-11-19 西安交通大学 一种基于脑肌电信号的步态识别方法
CN112084879B (zh) * 2020-08-14 2022-04-19 杭州电子科技大学 一种运动想象脑电的块选择共空间模式特征提取方法
CN112932898B (zh) * 2021-01-28 2022-09-30 东南大学 一种基于贝叶斯优化的按需辅助康复机器人
CN113081671B (zh) * 2021-03-31 2022-09-30 东南大学 一种基于贝叶斯优化提高按需辅助康复训练参与度的方法
CN113951896A (zh) * 2021-09-10 2022-01-21 之江实验室 一种基于颅内脑电和头皮脑电融合的脑机接口解码方法
CN114469142A (zh) * 2022-01-06 2022-05-13 中南大学 一种基于人体肌肉动力学模型和肌电信号的肌力解码方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057795A (zh) * 2007-05-18 2007-10-24 天津大学 采用肌电和脑电协同控制的假肢手及其控制方法
CN104000586A (zh) * 2014-05-12 2014-08-27 燕山大学 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法
CN104799854A (zh) * 2015-04-29 2015-07-29 深圳大学 一种表面肌电采集装置及其肌电信号处理方法
CN106691474A (zh) * 2016-11-25 2017-05-24 中原电子技术研究所（中国电子科技集团公司第二十七研究所） 融合脑电信号与生理信号的疲劳检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057795A (zh) * 2007-05-18 2007-10-24 天津大学 采用肌电和脑电协同控制的假肢手及其控制方法
CN104000586A (zh) * 2014-05-12 2014-08-27 燕山大学 基于脑肌电和虚拟场景的脑卒中患者康复训练系统及方法
CN104799854A (zh) * 2015-04-29 2015-07-29 深圳大学 一种表面肌电采集装置及其肌电信号处理方法
CN106691474A (zh) * 2016-11-25 2017-05-24 中原电子技术研究所（中国电子科技集团公司第二十七研究所） 融合脑电信号与生理信号的疲劳检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
表面肌电信号的肌肉疲劳判别研究进展;姜亚斌;《生物信息学》;20170630;第15卷(第2期);第120-122页 *

Also Published As

Publication number Publication date
CN108681396A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108681396B (zh) 基于脑-肌电双模态神经信号的人机交互系统及其方法
Jiang et al. Extracting simultaneous and proportional neural control information for multiple-DOF prostheses from the surface electromyographic signal
Nazarpour et al. Application of higher order statistics to surface electromyogram signal classification
CN101987048B (zh) 假肢控制方法和系统
Pancholi et al. Improved classification scheme using fused wavelet packet transform based features for intelligent myoelectric prostheses
Zamani et al. Feature extraction using extrema sampling of discrete derivatives for spike sorting in implantable upper-limb neural prostheses
WO2020118797A1 (zh) 假肢控制方法、装置、系统、设备和存储介质
He et al. Spatial information enhances myoelectric control performance with only two channels
Phinyomark et al. Wavelet-based denoising algorithm for robust EMG pattern recognition
CN110974212A (zh) 一种融合心电和肌电特征的康复训练运动状态监测方法及系统
CN108268844A (zh) 基于表面肌电信号的动作模式识别方法及装置
Fatima et al. Towards a low cost Brain-computer Interface for real time control of a 2 DOF robotic arm
Choi et al. Real-time decoding of eeg gait intention for controlling a lower-limb exoskeleton system
Khorasani et al. Brain control of an external device by extracting the highest force-related contents of local field potentials in freely moving rats
Cho et al. A novel approach to classify natural grasp actions by estimating muscle activity patterns from EEG signals
Reust et al. Extracting motor imagery features to control two robotic hands
Naik et al. Kurtosis and negentropy investigation of myo electric signals during different MVCs
Naik et al. Evaluation of higher order statistics parameters for multi channel sEMG using different force levels
Cho et al. Decoding of grasp motions from EEG signals based on a novel data augmentation strategy
Carra et al. Evaluation of sensorimotor rhythms to control a wheelchair
Planelles et al. First steps in the development of an EEG-based system to detect intention of gait initiation
CN114098768A (zh) 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法
Sburlea et al. Predicting EMG envelopes of grasping movements from EEG recordings using unscented kalman filtering
Al-Turabi et al. Brain computer interface for wheelchair control in smart environment
David et al. Design of an electromyographic mouse

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant