CN117100293A - 一种基于多维特征融合网络的肌肉疲劳检测方法和系统 - Google Patents
一种基于多维特征融合网络的肌肉疲劳检测方法和系统 Download PDFInfo
- Publication number
- CN117100293A CN117100293A CN202311389216.7A CN202311389216A CN117100293A CN 117100293 A CN117100293 A CN 117100293A CN 202311389216 A CN202311389216 A CN 202311389216A CN 117100293 A CN117100293 A CN 117100293A
- Authority
- CN
- China
- Prior art keywords
- muscle fatigue
- fusion network
- feature fusion
- muscle
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010049565 Muscle fatigue Diseases 0.000 title claims abstract description 90
- 230000004927 fusion Effects 0.000 title claims abstract description 67
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 210000003205 muscle Anatomy 0.000 claims abstract description 66
- 238000012706 support-vector machine Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 230000008602 contraction Effects 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 48
- 238000000605 extraction Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 28
- 241000282326 Felis catus Species 0.000 claims description 9
- 230000002431 foraging effect Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- VDRGNAMREYBIHA-UHFFFAOYSA-N 2c-e Chemical compound CCC1=CC(OC)=C(CCN)C=C1OC VDRGNAMREYBIHA-UHFFFAOYSA-N 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 230000003387 muscular Effects 0.000 claims 2
- 238000005070 sampling Methods 0.000 abstract description 8
- 230000003183 myoelectrical effect Effects 0.000 abstract description 2
- ZCDNRPPFBQDQHR-SSYATKPKSA-N Syrosingopine Chemical compound C1=C(OC)C(OC(=O)OCC)=C(OC)C=C1C(=O)O[C@H]1[C@H](OC)[C@@H](C(=O)OC)[C@H]2C[C@@H]3C(NC=4C5=CC=C(OC)C=4)=C5CCN3C[C@H]2C1 ZCDNRPPFBQDQHR-SSYATKPKSA-N 0.000 abstract 1
- 206010016256 fatigue Diseases 0.000 description 45
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000002310 elbow joint Anatomy 0.000 description 4
- 230000002195 synergetic effect Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000001087 myotubule Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010008874 Chronic Fatigue Syndrome Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 208000033065 inborn errors of immunity Diseases 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 208000029766 myalgic encephalomeyelitis/chronic fatigue syndrome Diseases 0.000 description 1
- 208000028529 primary immunodeficiency disease Diseases 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Evolutionary Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于多维特征融合网络的肌肉疲劳检测方法和系统。构建用于检测肌肉疲劳状态的多维特征融合网络；利用采集的多个位置的肌肉等张收缩的表面肌电信号对多维特征融合网络进行训练，得到训练完成的肌肉疲劳检测模型；将肌肉表面肌电信号输入肌肉疲劳检测模型得到肌肉疲劳类别。本发明通过计算肌肉贡献度选取明显表征肌肉疲劳信息的肌肉，减少了数据冗余，提高肌肉疲劳分类的准确率；从时域和频域两个角度提取肌肉疲劳信息，减少了计算量且特征更完善；采用过采样算法对少数类样本进行样本补充，提高了少数类的分类准确率，解决了数据集中少数类准确率低的问题；采用人工蜂鸟算法对SVM进行参数寻优，提高了支持向量机的分类性能。
Description
技术领域
本发明属于表面肌电信号分析评估技术领域，具体涉及一种基于多维特征融合网络的肌肉疲劳检测方法和系统。
背景技术
肌肉疲劳是指由运动引起的肌肉的力量生成能力下降的一种生理现象。肌肉疲劳是一种普遍现象，但如果不及时解决，会导致过度劳累、慢性疲劳综合症、过度训练综合症甚至内分泌失调、免疫功能低下、器质性疾病等。在机器人康复领域中（使用机器人外骨骼架设在患者身上进行康复训练），需要在患者的康复过程中考虑肌肉疲劳的变化并及时检测出肌肉疲劳状态，以避免二次损伤的隐患，从而更安全有效地实现患者与康复机器人之间的交互。因此，准确检测肌肉疲劳对缓解和治疗肌肉疲劳至关重要，在人机交互中发挥着关键作用，具有重要的医学意义。
目前，基于表面肌电信号的肌肉疲劳检测方法主要分为两类。第一类为提取能表征肌肉疲劳程度的特征，然后进行分类，所述分类包括非疲劳态、疲劳过渡态和疲劳态。主要特征有均方根值、积分肌电值、中值频率、平均功率频率、小波熵等。该方法计算量较大，且需要对信号有一定的先验知识；第二类为通过深度学习模型实现端到端的分类，该方法操作更为方便，但分类性能相对较低。因此探索更加高效的肌肉疲劳检测算法至关重要。
发明内容
为了解决现有基于特征提取的肌肉疲劳检测方法计算量大，且对信号需要一定先验知识的问题。以及现有的端到端的深度学习模型较为单一以致对疲劳分类效果不理想的问题，本发明提出一种基于多维特征融合网络的肌肉疲劳检测方法和系统。
实现本发明目的之一的一种基于多维特征融合网络的肌肉疲劳检测方法，包括如下步骤：
S1、构建用于检测肌肉疲劳状态的多维特征融合网络；
S2、利用采集的多个位置的肌肉的等张收缩的表面肌电信号对所述多维特征融合网络进行训练，得到训练完成的肌肉疲劳检测模型；
S3、将肌肉的表面肌电信号输入所述肌肉疲劳检测模型，得到肌肉疲劳类别。
进一步地，所述步骤S2中，还包括从所述表面肌电信号进行筛选，选定部分位置的肌肉的等张收缩的表面肌电信号对所述多维特征融合网络进行训练，所述筛选方法包括：
S201、对采集的表面肌电信号进行非负矩阵分解，得到运动中每个位置的肌肉对每种运动的贡献度；
S202、根据所述贡献度选定部分位置的肌肉的表面肌电信号对所述多维特征融合网络进行训练。
更进一步地，所述步骤S201中，进行非负矩阵分解前，还包括对表面肌电信号进行预处理，所述预处理包括计算每个肌电信号的均方根值，使用原始的肌电信号的均方根值参与非负矩阵分解。
上述方法中，所述多维特征融合网络包括特征提取模块，用于提取能表征肌肉疲劳程度的特征值，所述特征提取模块包括用于提取时域特征的时域特征提取网络和用于提取频域特征的频域特征提取网络。
进一步地，所述特征提取模块提取能表征肌肉疲劳程度的特征值的方法包括：
S101、截取若干时间片段的表面肌电信号作为数据集，对所述数据集进行窗处理得到时域样本；对所述时域样本进行短时傅里叶变换得到频域样本；
S102、将时域样本和频域样本分别输入到所述时域特征提取网络和频域特征提取网络，得到时域特征数据和频域特征数据，通过cat操作将所述时域特征数据和频域特征数据进行融合，得到能表征肌肉疲劳程度的特征值，所述cat操作为沿数据的空间维度的级联操作。
步骤S101中，所述窗处理包括：使用窗长为1s、步长为0.25s的窗对表面肌电信号进行处理。
进一步地，所述频域特征提取网络包括：三个特征提取层和一个全连接层，三个特征提取层分别由32、64、128个3×3大小的卷积核组成，全连接层神经元个数为128。
上述方法中，所述多维特征融合网络包括基于支持向量机的特征分类模块，用于对表征肌肉疲劳程度的特征值进行分类，得到肌肉疲劳的类别。
更进一步地，在对表征肌肉疲劳程度的特征值进行分类前，还包括采用基于K近邻分类算法的过采样算法对所述特征值进行过采样操作，以使各种疲劳类别对应的数据集大小一致，包括如下步骤：
采用基于域的聚类方法将所述特征值组成的数据集划分为被困数据集和优秀数据集；
对于被困数据集中的每个实例，计算其K近邻方向的权重；
对于优秀数据集中的每个实例，设定其K近邻方向的权重相等；
根据数据集中每个实例的权重生成少数类别的合成实例，以使得每个疲劳类别的数据集一致。
更进一步地，还包括采用人工蜂鸟算法对所述支持向量机进行参数优化，确定支持向量机的最优参数，所述参数优化的方法包括：
S1001、随机初始化支持向量机的待优化参数所组成的多维向量的n个参数解；
S1002、计算每个参数解对应的测试集的准确率，记录准确率最高时对应的参数解；
S1003、随机确定蜂鸟的飞向方向；随机对蜂鸟进行引导式觅食或区域式觅食；
S1004、当迭代次数超过迁移系数的预定值时，则将最劣解剔除并重新生成一个随机的参数解；当迭代次数未达到最大迭代次数时，返回步骤S1002；当迭代次数超过最大迭代次数时，则将准确率最高时对应的参数解作为支持向量机的最优参数。
实现本发明目的之二的一种基于多维特征融合网络的肌肉疲劳检测系统，包括多维特征融合网络构建模块、多维特征融合网络训练模块和肌肉疲劳检测模块；
所述多维特征融合网络构建模块用于构建检测肌肉疲劳状态的多维特征融合网络；
所述多维特征融合网络训练模块用于利用采集的多个位置的肌肉的等张收缩的表面肌电信号对所述多维特征融合网络进行训练，得到训练完成的肌肉疲劳检测模型；
所述肌肉疲劳检测模块用于将肌肉的表面肌电信号输入所述肌肉疲劳检测模型，得到肌肉疲劳类别。
本发明的有益效果包括：
1）本发明将肌肉协同理论和非负矩阵分解应用于肌肉贡献度的计算中，通过贡献度的大小选取能明显表征肌肉疲劳信息的肌肉，减少了数据冗余，提高肌肉疲劳分类的准确率；
2）本发明中的多维特征融合网络中的特征提取模块能够从时域和频域两个角度提取表面肌电信号中的肌肉疲劳信息，相较于手动提取特征，其计算量更小、提取的特征更完善；
3）本发明采用过采样算法对少数类样本进行样本补充，实现样本平衡，提高了少数类的分类准确率，有效解决了数据集中少数类准确率低的问题；
4）本发明采用人工蜂鸟算法对支持向量机SVM进行参数寻优，提高了支持向量机的分类性能，在特征分类方面表现出色。
附图说明
图1是本发明所述系统的结构示意图；
图2是表面肌电信号采集时电极连接位置示意图；
图3是不同疲劳阶段肘关节完成屈伸的一个完整周期的时间信号示意图；
图4-1和图4-2分别是参与者在肘屈和肘伸动作中所选六块肌肉的贡献水平；
图5是多维特征融合网络的结构示意图；
图6是Coordinate注意力机制模块的结构示意图；
图7是多维特征融合网络在过采样操作前后的分类性能；
图8是基于人工蜂鸟算法的支持向量机的工作流程示意图；
图9-1和图9-2分别是SVM准确率的变化和参数优化的过程。
具体实施方式
下列具体实施方式用于对本发明权利要求技术方案的解释，以便本领域的技术人员理解本权利要求书。本发明的保护范围不限于下列具体的实施结构。本领域的技术人员做出的包含有本发明权利要求书技术方案而不同于下列具体实施方式的也是本发明的保护范围。
本申请实施例包括一种基于多维特征融合网络的肌肉疲劳检测方法：
S1、构建用于检测肌肉疲劳状态的多维特征融合网络；
所述多维特征融合网络中包括特征提取模块和特征分类模块；
所述特征提取模块用于提取采集的肌肉表面肌电信号数据中能够有效反映肌肉疲劳程度的特征值；包括时域特征提取网络CNN-LSTM和频域特征提取网络CNN-Coordinate；
所述特征分类模块用于对特征提取模块输出的能够有效反映肌肉疲劳程度的特征值进行分类，从而得到肌肉疲劳类别，根据所述疲劳类别即可完成肌肉疲劳检测，本实施例中所述肌肉疲劳类别包括非疲劳、疲劳过渡、疲劳三种类别；
S2、利用采集的多个位置的肌肉的等张收缩的表面肌电信号对所述多维特征融合网络进行训练，得到训练完成的肌肉疲劳检测模型；
S3、将肌肉的表面肌电信号输入所述肌肉疲劳检测模型，得到肌肉疲劳类别。
上述步骤S2中，采集多个位置的肌肉的等张收缩的表面肌电信号的步骤包括：
（1）表面肌电信号采集：
本实施例中招募了十名健康志愿者，为减少个体差异的影响，所有受试者惯用手均为右手，平均年龄为23±2岁。
本实施例采用TrignoTM无线表面肌电信号采集系统和计算机构成多元信号采集平台，对肘关节屈伸过程中的表面肌电信号进行采集，采样率为2000Hz。表面肌电信号采集于肱二头肌（Biceps, BIC）、肱三头肌（Triceps, TRI）、肱桡肌（Brachioradialis, BR）、尺侧腕屈肌（Flexor Carpi Radialis, FCR）、尺侧腕伸肌（Extensor Carpi Ulnaris, ECU）和桡侧腕伸长肌（Extensor Carpi Radialis, ECR），图2显示了电极连接位置。实验时受试者处于舒服的坐姿，数据采集前用酒精擦拭，然后沿着肌肉纤维方向放置电极。实验分为两部分：最大自主收缩数据采集和运动疲劳数据采集。
在最大自主收缩采集实验中，受试者肘关节进行屈伸运动，每个动作保持最大自主收缩5s，每个动作采集3组，每组之间保持充分的休息以避免肌肉疲劳。
在上述运动疲劳数据采集实验中，实验前给予受试者相应动作指导并帮助其熟悉Borg主观疲劳等级量表，实验时要求受试者坐在椅子上，握住一个四公斤的哑铃，右上臂放松靠着身体，手腕保持不动，前臂重复弯曲和伸展运动，直至受试者主观感觉肌肉疲劳无法继续进行或者肌肉有较为明显的抖动，实验过程中受试者根据自身主观疲劳感受和上述的Borg主观疲劳等级量表给出自己的主观疲劳等级量表RPE分数。将RPE分数6至12划为非疲劳态，13至16划分为疲劳过渡态，17至20为疲劳态。图3展示了不同疲劳阶段肘关节完成屈伸的一个完整周期的时间信号，通过分析均方根值和平均功率频率，可以观察到表面肌电信号的振幅随着疲劳程度加深而增大，而频谱随着疲劳程度加深而减小。
（2）表面肌电信号预处理：
在表面肌电信号采集过程中，由于肌肉和关节之间的相对运动、关节角度的变化以及电极相对于肌肉纤维的运动而产生噪声，这些噪声通常具有低于5-10Hz的频率。表面肌电信号的有效频率范围为0-500Hz，而不稳定频率范围为0-20Hz。因此，采用通带为20-500Hz的带通滤波器来执行滤波。此外，50Hz陷波器用于消除工业频率干扰。
为了减少数据冗余，提高肌肉疲劳分类的准确率，上述步骤S2中还需从采集的表面肌电信号中选取对肌肉疲劳贡献度较大的目标肌肉群，具体包括如下步骤：
S201、根据肌肉协同理论，对采集的表面肌电信号进行非负矩阵分解，得到运动中每个位置的肌肉对每种运动的贡献度，以此选取目标肌肉；具体包括：
肌肉协同理论认为肌肉的活动状态可以表示为肌肉协同元和激活系数的线性组合：
式中：
：由采集的表面肌电信号所组成的矩阵；N是选取的肌肉数量，本实施例中为
上述步骤中选取的6个位置的肌肉，即N=6，T是时间样本数；
：具有个协同元的肌肉协同矩阵；本实施例中协同元可以理解为实现肌肉
运动的一个更小的单元，一个或多个协同元共同作用促使肌肉完成运动；一个肌肉运动由
多个协同元共同完成，一个协同元对多块肌肉运动均有贡献；
：肌肉激活系数矩阵；
表示一个协同元，其中WNi表示第i个协同元对第N块肌肉的贡
献。
对上述公式进行非负矩阵分解可得到肌肉协同作用矩阵和相应的激活系数
矩阵。
由于非负矩阵分解的分解对象必须是非负的，因此在进行非负矩阵分解之前，需
要对肌电信号矩阵中元素值进行预处理，使得肌肉激活水平（肌电信号矩阵中的
每个元素所表示的值）非负。由于表面肌电信号的均方根与肌肉激活水平呈现近似的线性
关系，故可以使用肌电信号矩阵中每个肌电信号的均方根值来参与非负矩阵分解。
S202、根据所述贡献度选定部分位置的肌肉的表面肌电信号对所述多维特征融合网络进行训练；
求得肌肉协同矩阵后，可用下式求得每块肌肉对每个动作的贡献度。
其中，为第块肌肉的肌肉协同矩阵，为第块肌肉的贡献度。
五名参与者在肘部屈伸过程中所选六块肌肉的贡献度如图4-1和图4-2所示。结果表明，肱二头肌（BIC）在屈肘过程中的贡献度最大，而肱三头肌（TRI）在伸肘过程中贡献度最大，肱桡肌（BR）在屈伸动作中贡献度都较高。因此，在后续实验中，肱二头肌、肱三头肌和肱桡肌被选为表面肌电信号的目标肌肉。
上述步骤S2中所述特征提取模块提取能表征肌肉疲劳程度的特征值的方法包括：
S101、截取若干时间片段的表面肌电信号作为数据集，对所述数据集进行窗处理得到时域样本；对所述时域样本进行短时傅里叶变换得到频域样本；
本实施例中，使用窗长为1s，步长为0.25s的窗对三通道表面肌电信号（三通道即前述的目标肌肉：肱二头肌、肱三头肌和肱桡肌的表面肌电信号）进行处理。假设受试者的数据长度为5min，那么可以获得(5×60-1)/0.25+1=1197个时间样本，样本维度为3×2000。
本实施例中，对上述时域样本进行短时傅里叶变换，采样频率设置为2000，窗函数设置为汉宁窗，窗函数长度设置为90，重叠数默认为50%，得到的样本维度为3×46×46的频域样本。
S102、将时域样本和频域样本分别输入到所述时域特征提取网络和频域特征提取网络，得到时域特征数据和频域特征数据，通过cat操作将所述时域特征数据和频域特征数据进行融合，得到能表征肌肉疲劳程度的特征值，所述cat操作为沿数据的空间维度的级联操作；
本实施例中所述cat操作为利用Pytorch工具中的torch.cat()函数完成时域特征数据和频域特征数据的融合操作；
本实施例中，将时域样本和频域样本分为两流数据，分别输入到多维特征融合网络中的特征提取模块中的时域特征提取网络CNN-LSTM和频域特征提取网络CNN-Coordinate，经过融合操作后得到能表征肌肉疲劳的融合特征值；
本实施例中，特征提取模块的输入矩阵是由上述三块目标肌肉（肱二头肌、肱三头肌和肱桡肌）的表面肌电信号组成的矩阵，输出是压缩后的能体现疲劳程度的特征值；
时域特征提取网络CNN-LSTM和频域特征提取网络CNN-Coordinate的详细结构如图5所示。
时域特征提取网络CNN-LSTM的二维输入矩阵来自于经过窗处理后得到的时域样本。矩阵的每一行代表一块肌肉在时间窗内的时间序列，每一列代表同一采样时间、不同通道的表面肌电信号。在该网络中，首先使用20个卷积核大小为1的一维卷积核对通道数进行升维，得到维度为20×2000的数据，然后使用最大池化层对时间序列进行降维得到20×20的数据，以此得到具有较高功能的压缩数据。最后，利用对时间步长敏感的双向长短期记忆网络提取时域疲劳信息，得到维度为20×40的数据。其中引入的时间注意力机制和通道注意力机制用于提高模型的准确率。
频域特征提取网络CNN-Coordinate的三维输入矩阵由频域样本组成。该输入矩阵
表示为，其中表示肌电信号通道数，和表示信号经傅里叶变换后的得到的
二维图像的宽度和高度。本实施例中样本维度为3×46×46。
频域特征提取网络CNN-Coordinate包括四层：三个特征提取层和一个全连接层。三个特征提取层分别由32、64、128个3×3大小的卷积核组成，全连接层神经元个数为128。在特征提取层之间加入了Coordinate注意力机制，达到强调特征图中重要部分的目的，其结构框图如图6所示。具体包括如下步骤：
将用三维矩阵3×46×46表示的频域样本经过第一个卷积核为32×3×3的第一特征提取层进行卷积计算后，得到维度为32×44×44的数据，该数据经过第一次Coordinate注意力机制的处理后，再经过卷积核为64×3×3大小的第二特征提取层进行卷积计算后，得到维度为64×42×42的数据，该数据经过第二次Coordinate注意力机制的处理后，再经过卷积核为128×3×3大小的第三特征提取层进行卷积计算后，得到维度为128×40×40的数据，该数据经过数据压缩得到一维频域特征。
上述Coordinate注意力机制将卷积层的输出特征作为输入。定义卷积层输出特征
为，其中batchsize为批量大小，本实施例中为32，为特征图通道
数，和为特征图宽度和高度。对于每一个特征图，首先分别通过水平方向和垂直方向的
平均池化层得到输出特征和。为了充分利
用捕捉到的信息，将和拼接后通过卷积核大小为1×1的卷积层进行
下采样：
其中，表示沿空间维度的级联操作得到大小为batchsize×c×1×(w+h)的融
合特征数据，本实施例中为利用Pytorch中的torch.cat函数；是下采样操作，是非线性
激活函数。是对水平方向和垂直方向的空间信息进行编码的中间特征
图，其中是采样比例。
然后沿着空间维度（本实施例中的维度为w+h）将分割成两个独立张量和。另外两个1×1的卷积层分别对分割后的独立张量进
行上采样得到与具有相同通道数的张量，公式如下：
其中，和均表示上采样操作，表示函数。输出和被分别用作注意力权重。最后，将输入与权重和相乘得到最
终的输出向量：
在模型训练中，由于三种疲劳状态（非疲劳、疲劳过渡、疲劳）的数据集大小不一致，会对分类器性能造成影响。因此需要对上述步骤提取出的三种疲劳状态的特征进行操作，使三种状态的特征的数据量保持一致，需要对不同疲劳阶段的融合特征数据进行过采样操作使三种状态的特征的数据量保持一致。
一种简单的过采样方法是通过在属于少数类别的两个样本之间执行线性插值来合成新样本。首先，它可能导致生成低质量的合成样本，因为它们的创建依赖于根样本和辅助样本。如果这些样本中的任何一个被噪声污染，则产生的合成样本可能缺乏合理性。其次，它会造成类边界的模糊，特别是当在少数类样本的合成过程中没有考虑多数类的分布时，新样本可能落在两个类别的重叠区域内，从而进一步模糊边界。
为了解决上述问题，采用基于K近邻分类算法的合成少数类过采样算法。该算法包括如下步骤：
首先，采用基于域的聚类方法（如核K均值聚类法）将样本集（即上述步骤提取出的三种疲劳状态的特征）划分为被困数据集和优秀数据集；
其次，计算相邻方向的选择权重。对于被困数据集中的每个实例，计算其K近邻方向的权重。对于优秀数据集中的每个实例，假设其K近邻方向的权重相等；权重的具体值在算法中根据具体数据决定；
最后，根据数据集中每个实例的权重生成少数类别的合成实例，以使得每个疲劳类别的数据集一致：对于每个实例，选择权重最高的K个方向来生成人工合成的样本实例。
图7展示了多维特征融合网络在过采样操作前后的分类性能。很明显过采样算法的应用显著提高了受试者S2和S3在疲劳过渡段的准确率。此外，该方法在一定程度上提高了网络的平均召回率和准确性。
上述所有步骤的输出只是特征，而要检测疲劳状态，需要对疲劳特征进行分类，即将不同疲劳阶段的融合特征数据输入到多维特征融合网络中的特征分类模块，得到疲劳的分类结果。本实施例中采用基于人工蜂鸟算法的支持向量机AHA-SVM；
人工蜂鸟算法能够通过参数搜索过程来识别最优SVM参数。在这个过程中，使用包括惩罚系数c和核参数gamma组成的二维向量作为食物源的位置，本实施例中一只蜂鸟即为一个所述二维向量的参数解。适应度函数设置为数据集中的测试集准确率。详细的工作流程如图8所示，具体包括：
S1001：根据下式随机初始化支持向量机的待优化参数所组成的多维向量的个
参数解（本实施例中即惩罚系数c和核参数gamma组成的二维向量）：
其中，和分别是d维解向量的上下界（即SVM的参数值的上下限），r为[0,1]
之间的随机变量，表示第i个解向量，解向量也即S6.1所述的参数解，n表示种群大小，本
实施例中为20。
SS1002：求取每个解向量对应的测试集准确率，记录最优解以及最佳准确率；所述最优解即多次迭代过程中测试集准确率最高时的SVM参数值；所述最佳准确率即经过最大迭代次数后，整个过程中的最高测试集准确率。
S1003：根据下式随机确定蜂鸟飞行方向；
在维空间中，轴向飞行定义如下：
对角飞行定义如下：
全向飞行定义如下：
其中，表示生成到之间的随机整数，[0:k]表示生成
到的随机整数序列取前k个。
根据下式随机进行引导式觅食或区域式觅食；
引导式觅食的数学方程推导如下：
区域式觅食的数学方程推导如下：
其中，为时刻第只蜂鸟打算访问的目标食物源位置，为时刻第只
蜂鸟的位置，为飞行向量，和分别为服从标准正态分布的引导因子和区域因子，为候选食物源位置。
候选食物源找到后，通过与初始食物源位置的花蜜再填充率相比，从而更新第个
食物源的位置，公式如下：
其中，为适应度函数。
S1004：当迭代次数超过迁移系数的预定值时，则位于最劣解的蜂鸟将迁移到整个搜索空间中随机产生的解，即将最劣解剔除，然后重新随机生成一个解来替代这个最劣解；当迭代次数未达到最大迭代次数时，返回步骤S1002；否则将准确率最高时对应的参数解作为支持向量机的最优参数。
利用优化参数后的支持向量机（SVM）对上述不同疲劳阶段的融合特征数据进行分类，获得分类结果（即非疲劳、疲劳过渡、疲劳三种分类结果）。该方法肌肉疲劳三分类的平均准确率为88.103%，最大准确率为92.901%。
图9-1和图9-2分别展示了SVM准确率的变化和参数优化的过程。在优化过程中，惩
罚系数和核参数的范围设置为。种群大小固定为20，迭代次数设置
为80。实验结果表明，参数稳定达到最优后，SVM的准确率为91.636%，平均召回率为
89.961%，平均F1得分（F1 Score）为89.378%，对应的惩罚系数和核参数的组合为。
本实施例中多维特征融合网络的训练及测试过程均在Python3.8和Torch1.10环境下完成。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本申请实施例还包括一种基于多维特征融合网络的肌肉疲劳检测系统，包括多维特征融合网络构建模块、多维特征融合网络训练模块和肌肉疲劳检测模块；
所述多维特征融合网络构建模块用于构建检测肌肉疲劳状态的多维特征融合网络；
所述多维特征融合网络训练模块用于利用采集的多个位置的肌肉的等张收缩的表面肌电信号对所述多维特征融合网络进行训练，得到训练完成的肌肉疲劳检测模型；
所述肌肉疲劳检测模块用于将肌肉的表面肌电信号输入所述肌肉疲劳检测模型，得到肌肉疲劳类别。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，包括如下步骤：
S1、构建用于检测肌肉疲劳状态的多维特征融合网络；
S2、利用采集的多个位置的肌肉的等张收缩的表面肌电信号对所述多维特征融合网络进行训练，得到训练完成的肌肉疲劳检测模型；
S3、将肌肉的表面肌电信号输入所述肌肉疲劳检测模型，得到肌肉疲劳类别。
2.如权利要求1所述的基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，所述步骤S2中，还包括从所述表面肌电信号进行筛选，选定部分位置的肌肉的等张收缩的表面肌电信号对所述多维特征融合网络进行训练，所述筛选方法包括：
S201、对采集的表面肌电信号进行非负矩阵分解，得到运动中每个位置的肌肉对运动的贡献度；
S202、根据所述贡献度选定部分位置的肌肉的表面肌电信号对所述多维特征融合网络进行训练。
3.如权利要求2所述的基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，所述步骤S201中，进行非负矩阵分解前，还包括对表面肌电信号进行预处理，所述预处理包括计算每个肌电信号的均方根值，使用原始的肌电信号的均方根值参与非负矩阵分解。
4.如权利要求1~3任一项所述的基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，所述多维特征融合网络包括特征提取模块，用于提取能表征肌肉疲劳程度的特征值，所述特征提取模块包括用于提取时域特征的时域特征提取网络和用于提取频域特征的频域特征提取网络。
5.如权利要求4所述的基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，提取能表征肌肉疲劳程度的特征值的方法包括：
S101、截取若干时间片段的表面肌电信号作为数据集，对所述数据集进行窗处理得到时域样本；对所述时域样本进行短时傅里叶变换得到频域样本；
S102、将时域样本和频域样本分别输入到所述时域特征提取网络和频域特征提取网络，得到时域特征数据和频域特征数据，通过cat操作将所述时域特征数据和频域特征数据进行融合，得到能表征肌肉疲劳程度的特征值，所述cat操作为沿数据的空间维度的级联操作。
6.如权利要求5所述的基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，所述频域特征提取网络包括：三个特征提取层和一个全连接层，三个特征提取层分别由32、64、128个3×3大小的卷积核组成，全连接层神经元个数为128。
7.如权利要求3所述的基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，所述多维特征融合网络包括基于支持向量机的特征分类模块，用于对表征肌肉疲劳程度的特征值进行分类，得到肌肉疲劳的类别。
8.如权利要求7所述的基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，在对表征肌肉疲劳程度的特征值进行分类前，还包括采用基于K近邻分类算法的过采样算法对所述特征值进行过采样操作，以使各种疲劳类别对应的数据集大小一致，包括如下步骤：
采用基于域的聚类方法将所述特征值组成的数据集划分为被困数据集和优秀数据集；
对于被困数据集中的每个实例，计算其K近邻方向的权重；
对于优秀数据集中的每个实例，设定其K近邻方向的权重相等；
根据数据集中每个实例的权重生成少数类别的合成实例，以使得每个疲劳类别的数据集一致。
9.如权利要求7或8所述的基于多维特征融合网络的肌肉疲劳检测方法，其特征在于，还包括采用人工蜂鸟算法对所述支持向量机进行参数优化，确定支持向量机的最优参数，所述参数优化的方法包括：
S1001、随机初始化所述支持向量机的待优化参数所组成的多维向量的n个参数解；
S1002、计算每个参数解对应的测试集的准确率，记录准确率最高时对应的参数解；
S1003、随机确定蜂鸟的飞向方向；随机对蜂鸟进行引导式觅食或区域式觅食；
S1004、当迭代次数超过迁移系数的预定值时，则将最劣解剔除并重新生成一个随机的参数解；当迭代次数未达到最大迭代次数时，返回步骤S1002；当迭代次数超过最大迭代次数时，则将准确率最高时对应的参数解作为支持向量机的最优参数。
10.一种采用如权利要求1所述方法的基于多维特征融合网络的肌肉疲劳检测系统，其特征在于，包括多维特征融合网络构建模块、多维特征融合网络训练模块和肌肉疲劳检测模块；
所述多维特征融合网络构建模块用于构建检测肌肉疲劳状态的多维特征融合网络；
所述多维特征融合网络训练模块用于利用采集的多个位置的肌肉的等张收缩的表面肌电信号对所述多维特征融合网络进行训练，得到训练完成的肌肉疲劳检测模型；
所述肌肉疲劳检测模块用于将肌肉的表面肌电信号输入所述肌肉疲劳检测模型，得到肌肉疲劳类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311389216.7A CN117100293B (zh) | 2023-10-25 | 2023-10-25 | 一种基于多维特征融合网络的肌肉疲劳检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311389216.7A CN117100293B (zh) | 2023-10-25 | 2023-10-25 | 一种基于多维特征融合网络的肌肉疲劳检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117100293A true CN117100293A (zh) | 2023-11-24 |
| CN117100293B CN117100293B (zh) | 2024-02-06 |
Family
ID=88809671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311389216.7A Active CN117100293B (zh) | 2023-10-25 | 2023-10-25 | 一种基于多维特征融合网络的肌肉疲劳检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117100293B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110355761A (zh) * | 2019-07-15 | 2019-10-22 | 武汉理工大学 | 一种基于关节刚度和肌肉疲劳的康复机器人控制方法 |
| CN111222398A (zh) * | 2019-10-28 | 2020-06-02 | 南京航空航天大学 | 一种基于时频特征融合的肌电信号解码方法 |
| WO2021243848A1 (zh) * | 2020-06-03 | 2021-12-09 | 枣庄学院 | 一种无线传感网异常检测方法 |
| CN114091661A (zh) * | 2021-11-24 | 2022-02-25 | 北京工业大学 | 一种基于生成对抗网络和k-近邻算法提高入侵检测性能的过采样方法 |
| CN116188767A (zh) * | 2023-01-13 | 2023-05-30 | 湖北普罗格科技股份有限公司 | 一种基于神经网络的堆叠木板计数方法及系统 |
-
2023
- 2023-10-25 CN CN202311389216.7A patent/CN117100293B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110355761A (zh) * | 2019-07-15 | 2019-10-22 | 武汉理工大学 | 一种基于关节刚度和肌肉疲劳的康复机器人控制方法 |
| CN111222398A (zh) * | 2019-10-28 | 2020-06-02 | 南京航空航天大学 | 一种基于时频特征融合的肌电信号解码方法 |
| WO2021243848A1 (zh) * | 2020-06-03 | 2021-12-09 | 枣庄学院 | 一种无线传感网异常检测方法 |
| CN114091661A (zh) * | 2021-11-24 | 2022-02-25 | 北京工业大学 | 一种基于生成对抗网络和k-近邻算法提高入侵检测性能的过采样方法 |
| CN116188767A (zh) * | 2023-01-13 | 2023-05-30 | 湖北普罗格科技股份有限公司 | 一种基于神经网络的堆叠木板计数方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张从胜: "基于踝关节刚度估计和疲劳辨识的康复机器人柔顺控制研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 07, pages 140 - 285 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117100293B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209885A (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| CN113934302B (zh) | 基于SeNet和门控时序卷积网络的肌电手势识别方法 | |
| CN110826625B (zh) | 一种基于表面肌电信号的手指手势分类方法 | |
| CN113180692B (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
| Erkilinc et al. | Camera control with EMG signals using principal component analysis and support vector machines | |
| CN112990008B (zh) | 基于三维特征图和卷积神经网络的情绪识别方法及系统 | |
| Sun et al. | Feature selection combining filter and wrapper methods for motor-imagery based brain–computer interfaces | |
| Naik et al. | Dependence independence measure for posterior and anterior EMG sensors used in simple and complex finger flexion movements: Evaluation using SDICA | |
| CN113705398B (zh) | 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 | |
| CN114533086A (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| Aly et al. | Bio-signal based motion control system using deep learning models: a deep learning approach for motion classification using EEG and EMG signal fusion | |
| CN114732424B (zh) | 基于表面肌电信号提取肌肉疲劳状态复杂网络属性的方法 | |
| CN116340824A (zh) | 基于卷积神经网络的肌电信号动作识别方法 | |
| CN113133769A (zh) | 基于运动想象脑电信号的设备控制方法、装置及终端 | |
| Tu et al. | Lower limb motion recognition based on surface electromyography | |
| CN117100293B (zh) | 一种基于多维特征融合网络的肌肉疲劳检测方法和系统 | |
| CN113128384A (zh) | 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法 | |
| Li et al. | Multi-view fusion network-based gesture recognition using sEMG data | |
| CN112998725A (zh) | 一种基于运动观察的脑机接口技术的康复方法与系统 | |
| CN110321856B (zh) | 一种时频多尺度散度csp的脑机接口方法及装置 | |
| CN110738093B (zh) | 基于改进小世界回声状态网络肌电的分类方法 | |
| Wang et al. | Research on the key technologies of motor imagery EEG signal based on deep learning | |
| CN110604578A (zh) | 基于semg的人手手内动作识别方法 | |
| CN114721514A (zh) | 一种基于脑电信号的几何模型选择意图判别方法及系统 | |
| CN114569143A (zh) | 一种基于注意力机制与多特征融合的肌电手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |