CN115985463A

CN115985463A - 一种基于可穿戴式设备的实时预测肌肉疲劳度方法及系统

Info

Publication number: CN115985463A
Application number: CN202310256692.5A
Authority: CN
Inventors: 岳寿伟; 张杨; 魏慧�; 辛辰; 李丹阳; 刘治; 刘宝宁; 曹艳坤; 崔笑笑; 马佳霖
Original assignee: Shandong University; Qilu Hospital of Shandong University
Current assignee: Shandong University; Qilu Hospital of Shandong University
Priority date: 2023-03-17
Filing date: 2023-03-17
Publication date: 2023-04-18
Anticipated expiration: 2043-03-17
Also published as: CN115985463B

Abstract

本发明涉及疲劳度检测技术领域，尤其是涉及一种基于可穿戴式设备的实时预测肌肉疲劳度方法及系统。所述方法包括获取运动过程中的表面肌电sEMG信号和惯性测量单元IMU信号；对sEMG信号和IMU信号分别进行预处理，提取sEMG信号的时、频域信息；根据sEMG信号的时、频域信息和IMU信号，利用预测模型预测sEMG信号的时、频域信息和IMU信号的变化趋势；本发明可以帮助下肢活动困难患者患者在没有专业医护人员监督的情况下在家中完成康复，还可以合理安排患者的训练时间，从而帮助患者更好地做康复运动，防止肌肉疲劳带来的二次伤害。

Description

一种基于可穿戴式设备的实时预测肌肉疲劳度方法及系统

技术领域

本发明涉及疲劳度检测技术领域，尤其是涉及一种基于可穿戴式设备的实时预测肌肉疲劳度方法及系统。

背景技术

肌肉疲劳是一种普遍存在的人体生理现象，主要表现为骨骼肌的最大自主收缩力下降。肌肉疲劳会导致控制肌肉运动的神经驱动指令减少，导致肌肉力的下降和关节能力的下降，这将影响正常运动，甚至可能损害肌肉从而造成肌肉萎缩，这对下肢活动困难的患者会造成极大的危害。临床上肌肉疲劳评估主要是依靠不同类型的量表来记录患者的主观感受，过度依赖于患者的主观感受容易造成疲劳度检测误差大，从而达不到较好的训练康复效果。

非侵入性的表面肌电信号可以由贴附于皮肤表面的电极贴来轻松采集，且设备对人体无害，因此该采集方法被应用广泛。表面肌电信号会在肌肉活动之前和期间产生，其中包含与当前运动有关的肌肉状态和功能等重要信息，能够有效地评估康复过程中的肌肉功能和疲劳程度。目前，针对疲劳度检测的大多数算法研究是在疲劳情况发生后对信号进行分析从而判断疲劳程度，这种方法并不具备实时性。因此，一种新颖的实时预测肌肉疲劳度方法来预测运动过程中疲劳程度进展是非常必要的。

发明内容

名词解释：

sEMG信号：表面肌电信号；

IMU信号：惯性测量单元信号；

ReLU：激活函数；

BN：Batch Normalization的简称，批标准化；

Sigmoid函数：在生物学中常见的S型函数，也称为S型生长曲线。

为了解决上述提到的问题，本发明提供一种基于可穿戴式设备的实时预测肌肉疲劳度方法及系统。

第一方面，本发明提供的一种基于可穿戴式设备的实时预测肌肉疲劳度方法，采用如下的技术方案：

一种基于可穿戴式设备的实时预测肌肉疲劳度方法，包括：

获取运动过程中的表面肌电信号（简称sEMG信号）和惯性测量单元信号（简称IMU信号）；

对sEMG信号和IMU信号分别进行预处理，提取sEMG信号的时、频域信息；

根据sEMG信号的时、频域信息和IMU信号，利用预测模型预测sEMG信号的时、频域信息和IMU信号的变化趋势；

通过分类模型对预测的sEMG信号的时、频域信息和IMU信号进行特征提取，同时将提取到的特征进行特征融合，特征融合采用numpy.concatenate()进行，送将融合后的特征送入全连接层，对疲劳状态的信号和非疲劳状态的信号进行分类，并实时语音提醒。

进一步地，所述对sEMG信号和IMU信号进行预处理，包括对sEMG信号进行滤波、归一化和滑动窗口处理；对IMU信号进行归一化和滑动窗口处理。

进一步地，所述利用预测模型预测sEMG信号的时、频域信息和IMU信号的变化趋势，包括将表面肌电sEMG信号和IMU信号输入到模型中，进行特征提取将提取的特征输入到注意力机制中，输出注意力机制权重。

进一步地，所述注意力机制由多层卷积层、平均池化层、上采样层和sigmoid函数组成，其中上采样层采用的是的tf.Keras.layer.UpSampling1D()。

进一步地，所述将提取的特征输入到注意力机制中，输出注意力机制权重，包括将提取的特征经过一层卷积层和平均池化层减少特征的维度，然后经过上采样层进行上采样，再经过一层卷积层和sigmoid函数获得注意力权重的映射。

进一步地，所述利用预测模型预测sEMG信号的时、频域信息和IMU信号的变化趋势，还包括将注意力机制权重的映射与卷积层相乘后输如到长短时记忆网络中，得到预测结果，作为sEMG信号的时、频域信息和IMU信号的变化趋势。

同时将提取到的特征进行特征融合，特征融合采用numpy.concatenate()进行，送将融合后的特征送入全连接层，对疲劳状态的信号和非疲劳状态的信号进行分类。

第二方面，一种基于可穿戴式设备的实时预测肌肉疲劳度系统，包括：

数据获取模块，被配置为，获取运动过程中的表面肌电sEMG信号和IMU信号；

预处理模块，被配置为，对sEMG信号和IMU信号分别进行预处理，提取sEMG信号的时、频域信息；

预测模块，被配置为，根据sEMG信号的时、频域信息和IMU信号，利用预测模型预测sEMG信号的时、频域信息和IMU信号的变化趋势；

提示模块，被配置为，通过分类模型对预测的sEMG信号的时、频域信息和IMU信号进行特征提取，同时将提取到的特征进行特征融合，特征融合采用numpy.concatenate()进行，送将融合后的特征送入全连接层，对疲劳状态的信号和非疲劳状态的信号进行分类，并实时语音提醒。

第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法。

第四方面，本发明提供一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法。

综上所述，本发明具有如下的有益技术效果：

1、与现有的疲劳度检测方法相比，基于可穿戴式设备的实时预测肌肉疲劳度方法能够针对未来可能发生的疲劳状态进行判断，从而不仅仅局限于疲劳发生后的情况。主要是根据过去采集到的sEMG信号的时频域信息和IMU信号及现阶段采集的sEMG信号的时频域信息和IMU信号去预测未来一段时间内的sEMG信号的时频域信息和IMU信号变化趋势，将预测的两种信息综合分析，以此来判断下阶段可能出现的疲劳状态，可以帮助下肢活动困难患者患者在没有专业医护人员监督的情况下在家中完成康复，还可以合理安排患者的训练时间，从而帮助患者更好地做康复运动，防止肌肉疲劳带来的二次伤害。

2、与现在单一的生理信号来做分类模型的输入相比较，本发明同时将包含生理信息的sEMG信号和包含运动学信息的IMU信号同时分析处理；因为在生物信号表现方面个人差异较大，将sEMG信号和IMU信号结合送入深度学习分类模型，能够充分结合生物信息和运动学信息两种完全不同的特征，深度挖掘两种数据中不同的疲劳程度信息并且将其融合，缩小生物信号带来的差异性，提高模型对疲劳状态的分类能力。

附图说明

图1是本发明实施例1的一种基于可穿戴式设备的实时预测肌肉疲劳度方法的流程示意图；

图2是本发明实施例2的滑动窗口在sEMG信号上滑动示意图；

图3是本发明实施例2的预测模型结构示意图；

图4是本发明实施例2的分类模型结构示意图；

图5是本发明实施例2的CNN结合注意力机制预测模型结构示意图。

图6是本发明实施例2的深度学习分类网络结构示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

实施例1

参照图1，本实施例的一种基于可穿戴式设备的实时预测肌肉疲劳度方法，包括：

获取运动过程中的表面肌电sEMG信号和IMU信号；

对sEMG信号和IMU信号进行预处理，提取sEMG信号的时、频域信息；

通过分类模型对预测的sEMG信号的时、频域信息和IMU信号的变化趋势进行特征提取，同时将提取到的特征进行特征融合，特征融合采用numpy.concatenate()进行，送将融合后的特征送入全连接层，对疲劳状态的信号和非疲劳状态的信号进行分类，并实时语音提醒。

具体的：

挑选多名年龄、身高等生理信息在一定范围内但是不相同的的受试者，采用不同生理信息的人群采集数据可以提高模型的泛化能力，增强模型的鲁棒性；采用与直腿抬高运动关联性最强的三块肌肉可以避免特征冗杂，降低模型计算复杂度，从而避免资源浪费；在使用动态肌电记录仪采集sEMG信号之前，需要对目标区域的皮肤进行处理，将电极片沿着肌肉方向贴于运动侧各肌肉肌腹处，具体位置分别为股内侧肌、股直肌和股外侧肌，即分别为沿着肌纤维放置在髌骨上内侧缘近端、髌骨上缘与髂前上棘连线的中点和沿着肌纤维置于髌骨上外侧缘近端4指宽的位置；IMU放置在电极贴附近，但是直腿抬高时不会与电极贴相互干扰采集数据；直腿抬高时，需要受试者仰卧平躺，膝关节伸直，缓慢抬离床面，保持一定时长后缓慢落下，重复此动作直到试验结束；

使用滤波器对采集到的sEMG信号进行高低通滤波处理，采用数字陷波器去除工频干扰，以此去除干扰信息；之后对sEMG信号采用归一化处理，使两种信号的幅值范围整体在0-1，以此提升模型的收敛速度和模型的精度；设置固定的滑动窗口大小，且与滑动步长相等，目的是滑动窗口与上一个滑动窗口无重复部分；将滑动窗口内采集到的sEMG信号进行分析，提取对应时频域信息信息；对IMU信号仅做归一化和滑动窗口处理，同样滑动窗口与上一个滑动窗口无重复部分；

因为sEMG信号是生理信号，极易受到外界干扰从而导致信号产生变化从而影响最终的检测准确性；IMU信号是物理信号，指的是下肢运动角度轨迹变化，本身受外界干扰影响较小，因此不对其进行预处理。

一般情况下，刚开始一段时间内的康复训练时间内不会产生疲劳，因此在采集训练初期一定时间后sEMG数据和IMU信号后，同时实时提取采集到sEMG信号的时频域信息，然后将提取到的时频域信息和IMU信号送入预测模型进行预测未来的变化趋势，模型会输出未来5s的sEMG时频域信息和IMU信号；在训练一段时间后才将数据输入到预测模型当中是为了确保直腿抬高运动已经进行了多个完整的周期，方便模型学习过去的时间信息；预测5s的信息是因为非疲劳转化为疲劳是一个循序渐进的过程，较长时间的预测可能会导致模型的预测性能不准，较短时间的预测可能无法及时地阻止疲劳发生给肌肉带来损害；预测得到的sEMG时频域信息和IMU信号变化趋势会与真实sEMG时频域信息和IMU信号进行比较，并且对应信息会通过数据可视化呈现出来；使用卷积神经网络(CNN)、长短时记忆网络（LSTM）和注意力机制（Attention）对时序数据进行预测，将当前时刻及过去时刻的sEMG的时、频域信息和IMU信号分别作为预测模型的输入，CNN与Attention的结合能够很好地注意到时序数据中重要信息部分，同时弱化无用信息部分，同时LSTM因为引入“门单元”能够捕捉时序数据过去信息对当前时刻数据的影响；

将预测模型输出的sEMG时频域信息和IMU信号送入到疲劳度分类模型中，分类模型会对输入的数据进行分析，分别提取sEMG信号的时频域信息和IMU信号的特征，并且将提取到的特征进行融合，送入到全连接层完成对疲劳度的分类，当模型检测到疲劳状态时，可穿戴设备会进行语音播报提醒。

实施例2

本实施例提供一种基于可穿戴式设备的实时预测肌肉疲劳度方法，与实施例1的不同在于，包括以下步骤：

步骤1，让受试者进行直腿抬高的康复训练，同时采集运动过程中的表面肌电信号sEMG和IMU信号；

步骤2，对采集到的sEMG信号进行预处理，提取其信号的时、频域信息，对IMU仅做预处理；

步骤3，将提取到的sEMG时、频域信息和IMU信号做一个并行输入分别送入到不同分支的预测模型中，预测未来sEMG时、频域信息和IMU信号的变化趋势；

步骤4，将预测模型的输出作为分类模型的输入，能够对未来sEMG时、频域信息和IMU信号进行分类，当检测到疲劳时，可穿戴设备进行语音播报提醒。

具体为：

步骤1中，挑选多名年龄、身高等生理信息在一定范围内但是不相同的的受试者（从实际情况出发，挑选十名健康受试者，6名男性和4名女性，年龄范围在25到35岁之间，身高分布在165厘米到180厘米之间），采用不同生理信息的人群采集数据可以提高模型的泛化能力，增强模型的鲁棒性；采用与直腿抬高运动关联性最强的三块肌肉可以避免特征冗杂，降低模型计算复杂度，从而避免资源浪费；在使用动态肌电记录仪采集sEMG信号之前，首先对受试者的目标区域皮肤进行处理，剔除汗毛，使用75%医用酒精擦拭目标区域的皮肤，将电极片沿着肌肉方向贴于运动侧各肌肉肌腹处，具体位置分别为股内侧肌、股直肌和股外侧肌，即分别为沿着肌纤维放置在髌骨上内侧缘近端、髌骨上缘与髂前上棘连线的中点和沿着肌纤维置于髌骨上外侧缘近端4指宽的位置；IMU放置在电极贴附近，但是直腿抬高时不会与电极贴相互干扰采集数据；直腿抬高时，需要受试者仰卧平躺，膝关节伸直，缓慢抬离床面至30度，保持2s后缓慢落下，重复此动作直到试验结束；

步骤2中，使用巴特沃斯滤波器对采集到的sEMG信号进行20-450Hz的高低通滤波处理，采用50Hz的数字陷波器去除工频干扰，以此去除干扰信息；之后对sEMG信号采用Z-score归一化处理，使两种信号的幅值范围整体在0~1，以此提升模型的收敛速度和模型的精度；如图2所示，设置固定的滑动窗口大小为500，滑动步长为500，输出即滑动窗口与上一个滑动窗口无重复部分，在实时采集的肌电记录上滑动，形成适合模型的输入；将滑动窗口内采集到的sEMG信号进行分析，提取对应时频域信息信息，提取的时域信息均方根值（RMS）、积分肌电值（iEMG）、过零数（ZC），提取的频域信息为平均功率频率（MPF）、平均频率（MNF）、中值频率（MDF）；对IMU信号仅做归一化和滑动窗口处理，同样滑动窗口与上一个滑动窗口无重复部分；这些功能都会通过与可穿戴设备连接的上位机实现；

步骤3中，一般情况下，患者20s的康复训练时间内不会产生疲劳，因此在采集20s的sEMG数据和IMU信号后，同时实时提取采集到sEMG信号的时频域信息，然后将提取到的时频域信息和IMU信号送入预测模型进行预测未来的变化趋势，模型会输出未来5s的sEMG时频域信息和IMU信号；运动20s后才将数据输入到预测模型当中是为了确保直腿抬高运动已经进行了多个完整的周期，方便模型学习过去的时间信息；预测5s的信息是因为非疲劳转化为疲劳是一个循序渐进的过程，较长时间的预测可能会导致模型的预测性能不准，较短时间的预测可能无法及时地阻止疲劳发生给肌肉带来损害；预测得到的sEMG时频域信息和IMU信号变化趋势会与真实sEMG时频域信息和IMU信号进行比较，并且对应信息会通过数据可视化呈现出来；参照图3，使用卷积神经网络(CNN)、长短时记忆网络（LSTM）和注意力机制（Attention）对时序数据进行预测，将当前时刻及过去时刻的sEMG的时频域信息和IMU信号分别作为预测模型的输入，CNN与Attention的结合能够很好地注意到时序数据中重要信息部分，同时弱化无用信息部分，同时LSTM因为引入“门单元”能够捕捉时序数据过去信息对当前时刻数据的影响；

其中，首先由处理好的两种原始信号输入到模型当中，首先是经过一层卷积层进行自动提取特征，将提取的特征输入到注意力机制当中，输出注意力机制权重；

注意力机制由多层卷积层、平均池化层、上采样层和sigmoid函数组成，提取的特征首先经过一层卷积层，然后经过平均池化层减少特征的维度，然后经过tf.keras.layers.UpSampling1D()进行上采样，步长设置为1，将特征大小恢复到原来的大小，此时经过下采样扩充感受野，再经过上采样函数可以将特征图扩大到原来的大小，此时的特征包含了原始信号更高等级的语义表示，后续再经过一层卷积层和sigmoid函数获得注意力权重的映射，同时还在网络中加入残差连接防止过拟合。

第一层的卷积层的输出再经过一层卷积后与注意力权重的映射相乘，后将相乘后的结果输入最后一层卷积层，同时也在此处加入残差连接防止过拟合，如图5所示为CNN结合注意力机制示意图。

如图3所示，将CNN的输出输入到长短时记忆网络，即LSTM结构中得到最终预测的结果。图3中所示的LSTM结构所在的框图内容，即为LSTM结构的具体内容，首先，当前时刻的输入X_t会输入到LSTM当中，同时在此刻作为输入的还有上一时刻 LSTM 的输出值h_t-1、以及上一时刻的单元状态C_t-1，σ代表Sigmoid函数，tanh代表tanh函数，当前输入会经过σ和tanh函数处理后，分别经过乘积“X”和求和“+”,生成当前时刻 LSTM 输出值h_t、和当前时刻的单元状态C_t；

步骤4中，将预测模型输出的5s时长的sEMG时频域信息和IMU信号送入到疲劳度分类模型中，分类模型会对输入的数据进行分析，分别提取sEMG信号的时频域信息和IMU信号的特征，并且将提取到的特征进行融合，送入到全连接层完成对疲劳度的分类，当模型检测到疲劳状态时，可穿戴设备会进行语音播报提醒。如图6所示为深度学习分类网络示意图。

其中，在分类模型的主干上，我们将传统的卷积层由快速可分离卷积层来完成替换，主要目的是为了减小模型的参数，加快模型的训练速度；同时加入批标准化（BatchNormalization，简称BN）和激活函数ReLU，目的是为了防止模型过拟合和增加非线性；

信息输出则是从BN层输出，RELU函数承接的是上层卷积层的输出，后经过激活函数RELU进行运算后输入到BN层。

在主干最后加入高斯Dropout层，目的是为了在训练时随机地减少神经元的个数，防止模型过拟合问题的产生；

在分支1上，由注意力机制产生权值，此时注意力机制由2层卷积层、1层全局平均池化层和sigmoid函数组成，由2层卷积层产生注意力特征图，在经过一层全局平均池化层将特征通道压缩为1，最后经过sigmoid函数产生注意力权重；

在分支2上，仅设置一个拥有1x1卷积的残差连接，目的是对数据进行降维，可以加快模型的训练速度；同时可以在保持特征图尺度不变的（即不损失分辨率）的前提下大幅增加非线性特性；残差连接可以保证原始输入能够在更深的网络层中传播。

在网络对预测的sEMG信号和IMU信号的时频域信息进行特征提取后，利用numpy.concatenate()对提取的特征进行特征融合；

最后会在模型的最后接入一个全连接层，用来当作分类器对融合的特征进行分类。

实施例3

本实施例提供一种基于可穿戴式设备的实时预测肌肉疲劳度系统，包括：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法。

以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims

1.一种基于可穿戴式设备的实时预测肌肉疲劳度方法，其特征在于，包括：

获取运动过程中的sEMG信号和IMU信号；

通过分类模型对预测的sEMG信号的时、频域信息和IMU信号的变化趋势进行分类，并实时语音提醒。

2.根据权利要求1所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法，其特征在于，所述对sEMG信号和IMU信号进行预处理，包括对sEMG信号进行滤波、归一化和滑动窗口处理；对IMU信号进行归一化和滑动窗口处理。

3.根据权利要求2所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法，其特征在于，所述利用预测模型预测sEMG信号的时、频域信息和IMU信号的变化趋势，包括将表面肌电sEMG信号和IMU信号输入到模型中，进行特征提取将提取的特征输入到注意力机制中，输出注意力机制权重。

4.根据权利要求3所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法，其特征在于，所述注意力机制由多层卷积层、平均池化层、上采样层和sigmoid函数组成。

5.根据权利要求4所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法，其特征在于，所述将提取的特征输入到注意力机制中，输出注意力机制权重，包括将提取的特征经过一层卷积层和平均池化层减少特征的维度，然后经过上采样层进行上采样，再经过一层卷积层和sigmoid函数获得注意力权重的映射。

6.根据权利要求5所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法，其特征在于，所述利用预测模型预测sEMG信号的时、频域信息和IMU信号的变化趋势，还包括将注意力机制权重的映射与卷积层相乘后输如到长短时记忆网络中，得到预测结果，作为sEMG信号的时、频域信息和IMU信号的变化趋势。

7.根据权利要求6所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法，其特征在于，所述通过分类模型对预测的sEMG信号的时、频域信息和IMU信号的变化趋势进行分类，并实时语音提醒，包括通过分类模型对预测的sEMG信号的时、频域信息和IMU信号进行特征提取，同时将提取到的特征进行特征融合，送将融合后的特征送入全连接层，对疲劳状态的信号和非疲劳状态的信号进行分类，并实时语音提醒。

8.一种基于可穿戴式设备的实时预测肌肉疲劳度系统，其特征在于，包括：

提示模块，被配置为，通过分类模型对预测的sEMG信号的时、频域信息和IMU信号特征提取和特征融合，最后通过接入一个全连接层作为分类器进行分类，并实时语音提醒。

9.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行如权利要求1所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法。

10.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如权利要求1所述的一种基于可穿戴式设备的实时预测肌肉疲劳度方法。