CN115985464A - 一种基于多模态数据融合的肌肉疲劳度分类方法及系统 - Google Patents

Abstract

本发明涉及肌肉疲劳度检测技术领域，尤其是涉及一种基于多模态数据融合的肌肉疲劳度分类方法及系统。所述方法包括：获取康复训练中的多种生理信号和IMU信号；对获取的生理信号和IMU信号进行预处理；将预处理的生理信号和IMU信号转换为灰度图像；将同一种信号转换得到的灰色图像进行结合，形成RGB图像；通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取；本发明针对现阶段疲劳程度的研究，基于同步采集的sEMG、EEG、ECG及IMU信号，提出了多输入并行的神经网络模型用来提取特征，避免单一信号检测可能出现错误的检测。

Description

一种基于多模态数据融合的肌肉疲劳度分类方法及系统

技术领域

本发明涉及肌肉疲劳度检测技术领域，尤其是涉及一种基于多模态数据融合的肌肉疲劳度分类方法及系统。

背景技术

当下，伴随着人工智能领域的兴起，机器人的技术研究得到了迅速发展。传统的人机交互康复方式例如下肢康复机器人和外骨骼机器人等方法，在帮助下肢受伤人群、脑卒中患者进行康复训练的时候，很少将疲劳度考虑到整个康复过程中，及其容易引发患者的肌肉过疲劳从而导致对肌肉的二次伤害，从而降低康复效果。

肌肉疲劳是一个复杂且多变的过程，在下肢功能康复的训练中，因为患者无法做到像正常人一样运动且需要进行较高强度的康复训练，因此极易出现肌肉疲劳、肌力不足的情况，且不断随着时间的增加，信噪比较低，噪声不断增强，单纯地依靠sEMG来检测肌肉疲劳程度并不具有鲁棒性。而ECG、EEG是另外两种非常经典的生理信号，两者均包含人体运动神经状态的大量信息，经常被研究者用在情绪分类、抑郁症检测等方向；此外，惯性测量单元（Inertial measurement unit，简称IMU）是测量物体三轴姿态角及加速度的装置，通常用来表示物体空间信息的变化。在整个康复训练过程中，肌肉疲劳度的变化不仅仅表现在sEMG上，因此融合能够有效表征肌肉疲劳度的其他数据来判断疲劳程度是必要的。

现有技术中，图像数据不同于普通的一维信号数据，具有大数据量、高冗余度、强像素相关性的特点，因而如何准确地进行图像分类是深度学习领域的的一项研究热点。传统的肌肉疲劳分类大多以单域的生理信号为模型输入，例如一维的ECG、EEG、sEMG等信号，仅能提供单域的特征信息，而将信号转为图像后不仅能够提供多模态特征，还能够使输入数据更加契合深度学习算法，例如CNN及其变体，因此亟需一种基于多模态数据融合的肌肉疲劳度分类方法及系统。

发明内容

名词解释：

Sigmoid函数：Sigmoid函数是一个在生物学中常见的S型函数，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间；

sEMG：表面肌电信号；

IMU信号：惯性测量单元信号；

ECG：心电信号；

EEG：脑电信号；

GAF：格拉姆角场，Gramian Angular Field ；

RP：递归图，Recurrence Plot ；

MTF：马尔可夫转换场，Markov Transition Field；

RGB：RGB是一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。

为了解决上述存在的问题，本发明提供一种基于多模态数据融合的肌肉疲劳度分类方法及系统。

第一方面，本发明提供的一种基于多模态数据融合的肌肉疲劳度分类方法，采用如下的技术方案：

一种基于多模态数据融合的肌肉疲劳度分类方法，包括：

获取康复训练中的生理信号和IMU信号；

对获取的生理信号和IMU信号进行预处理；

将预处理的生理信号和IMU信号转换为灰度图像；

将同一种信号转换得到的灰色图像进行结合，形成RGB图像；

通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取；

将提取的特征进行特征融合形成单个信号的多模态特征；

将多个信号的多模态特征进行融合形成最终融合特征；

将最终融合特征送入分类层完成疲劳度的分类。

进一步地，所述多种生理信号包括肌电、脑电和心电信号。

进一步地，所述对获取的生理信号和IMU信号进行预处理，包括对生理信号和IMU信号进行滤波和标准化。

进一步地，所述将预处理的生理信号和IMU信号转换为灰度图像，包括设置采样窗口分割各个信号，通过GAF、RP和MTF方法，将生理信号和IMU信号转换为灰度图像。

进一步地，所述将同一种信号转换得到的灰色图像进行结合，形成RGB图像，包括将通过GAF、RP和MTF方法分别获得的同一种信号的灰色图像结合，形成三通道的彩色图像。

进一步地，所述通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取，包括利用深度学习网络模型的卷积神经网络（CNN）结合注意力机制提取所述图像的主要特征；利用双向长短时记忆网络（BiLSTM）结合注意力机制处理所述信号的主要特征。

进一步地，所述将提取的特征进行特征融合形成最终融合特征，包括将提取的特征进行特征融合形成单个信号的多模态特征；将单个信号的多模态特征进行融合形成最终融合特征。

第二方面，一种基于多模态数据融合的肌肉疲劳度分类系统，包括：

数据获取模块，被配置为，获取康复训练中的多种生理信号和IMU信号，并对获取的生理信号和IMU信号进行预处理；

转换模块，被配置为，将预处理的生理信号和IMU信号转换为灰度图像，并将同一种信号转换得到的灰色图像进行结合，形成RGB图像；

特征融合模块，被配置为，通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取；将提取的特征进行特征融合形成单个信号的多模态特征；将多个信号的多模态特征进行融合形成最终融合特征；

分类模块，被配置为，将最终融合特征送入分类层完成疲劳度的分类。

综上所述，本发明具有如下的有益技术效果：

1.本发明针对现阶段疲劳程度的研究，基于同步采集的sEMG、EEG、ECG及IMU信号，提出了多输入并行的神经网络模型用来提取特征，避免单一信号检测可能出现错误的检测；

使用格拉姆角场Gramian Angular Field (GAF)、递归图Recurrence Plot (RP)、马尔可夫转换场Markov Transition Field(MTF)三种数学方法，将信号转为不同的灰度图像，再将灰度图像融合成为RGB图像，在不损失信号时间和空间信息的前提下，还为分类模型提供了多种模态的数据。

2.针对疲劳度检测现有的研究，提出了双重特征融合架构，将一维信号转为RGB图像，将信号与图像作为深度学习模型的输入，在提取并且融合单个信号及其对应图像的特征之后，又将多个不同信号的多模态特征再次进行融合，从而更深层次上挖掘了与疲劳度相关的信息，既能够实现多模态生物信号的联合分析，又能将信号和图像中有效表达疲劳度的信息进行有效地结合，提高分类精度。

附图说明

图1是本发明实施例1的一种基于多模态数据融合的肌肉疲劳度分类方法的流程示意图；

图2是本发明实施例1的模型整体框架图。

图3是本发明实施例1的BiLSTM+自注意力机制示意图。

图4是本发明实施例1的BiLSTM中注意力机制示意图。

图5是本发明实施例1的CNN+注意力机制示意图。

图6是本发明实施例1的CNN中注意力机制示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

实施例1

参照图1，本实施例的一种基于多模态数据融合的肌肉疲劳度分类方法，包括：

获取康复训练中的多种生理信号和IMU信号；

对获取的生理信号和IMU信号进行预处理；

将预处理的生理信号和IMU信号转换为灰度图像；

将同一种信号转换得到的灰色图像进行结合，形成RGB图像；

通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取；

将提取的特征进行特征融合形成单个信号的多模态特征；

将多个信号的多模态特征进行融合形成最终融合特征；

将最终融合特征送入分类层完成疲劳度的分类。

具体的：

挑选多名受试者，受试者的生理信息不同，目的是收集不同生理信息的人群的数据可以增强模型的稳定性能与泛化性能；

使用动态生物信号记录仪和惯性测量单元分别采集受试者的生理信号和IMU信号，在受试者进行直腿抬高运动之前，对受试者电极贴贴附区域进行清洁处理，将电极贴分别贴附于额头、太阳穴、左胸附近、股内侧肌、股直肌和股外侧肌，以此分别采集对应的生理信号信号，惯性测量单元放置在小腿肌肉位置用来采集IMU信号；采用与直腿抬高运动关联性最强的三块肌肉是因为肌肉疲劳并不是单独的一块肌肉就可以完成的，是需要多块肌肉联合作用产生的，这样做既可以考虑到多块肌肉的联动性，又可以避免特征冗杂，降低模型计算复杂度，从而避免资源浪费；

受试者进行直腿抬高运动时，需要受试者平躺于床上，这样做的目的是为了防止站立时下肢肌肉会给身体提供一个支撑力，影响疲劳度检测；受试者平躺后，膝关节伸直，以一定的速度抬离床面一定的高度，保持数秒后落下，一直重复此过程直至受试者筋疲力尽；

对采集到的IMU信号和生理信号使用巴特沃斯滤波器进行滤波和Z-scores标准化；设置采样窗口来分割各个种类的信号，且设置各个窗口的信号有部分重叠，原因是时序数据的状态不仅收当前时刻的影响，跟过去信息也有关联，当采样窗口有重叠部分时，可以很好地利用过去信息对当前信息的影响；对每个采样窗口使用三种不同的图像转换方法，在不改变信号时间和空间信息的前提下，将一维信号转为灰度图像；

将各种信号转为灰度图像后，将三个灰度图像结合,形成一个三通道的彩色输入图像,从而提高分类性能；具体的，利用 python程序建立一个空白的hdf5文件，这是一种为存储和处理大容量科学数据设计的文件格式及相应库文件，可以存储不同类型的图像和数码数据，并且可以在不同类型的机器上传输；

再次根据数据属性确定空白文件的大小、文件可存放的数据类型；

将处理好的各个灰度图像依次放入空白文件，灰度图像大小为1x300x300，放入空白hdf5文件后，hdf5文件变为3x300x300大小的彩色文件。

分别将一维信号数据和RGB彩色图像数据分别送入注意力机制结合双向长短时记忆网络（Attention-BiLSTM）和卷积神经网络结合注意力机制（Attention-CNN）。其中，双向长短时记忆网络不仅可以解决循环神经网络存在的长期依赖问题，还可以能够对过去和未来的信息进行分析，捕捉上下文的信息；卷积神经网络在图像处理方面有着不错的表现，且会往网络中加入跳跃连接，目的是能够保证即使在深层网络中也能够有很好的表现，防止出现梯度爆炸或梯度消失问题；注意力机制能够对网络处理后的特征进行加权，能够强化有用特征和弱化无用特征，提高模型的性能。

将Attention-BiLSTM和Attention-CNN中提取的特征利用python中的“numpy.concatenate()”进行融合形成单个信号的多模态特征1，多模态特征1中包含单个信号的一维信号和RGB图像的疲劳度相关特征；之后将每种信号的多模态特征1进行融合形成多模态特征2，多模态特征含有所有信号和RGB的所有疲劳度相关特征；

将融合完成的多模态特征2送入全连接层完成疲劳度的分类。

实施例2

本实施例提供一种基于多模态数据融合的肌肉疲劳度分类方法，包括：

步骤1，让受试者进行重复的直腿抬高的康复训练，同时使用记录仪采集运动过程中的多种生理信号和IMU信号，直到受试者无法进行正常的直腿抬高训练；

步骤2，对记录仪采集到的IMU信号和多种生理信号进行预处理，包括滤波、采样窗口、图像转换等；

步骤3，将同一信号片段转换后得到的灰色图像数据进行融合，形成RGB彩色图像；

步骤4，将处理好的IMU信号和多种生理信号及其转换得到的RGB图像数据作并行输入分别输送到不同的网络模型分支中，分别提取一维信号数据和二维RGB图像数据的特征信息；

步骤5，将每种信号及其对应的RGB图像送入深度学习网络提取的不同特征进行融合，形成单个信号的多模态特征，之后将单个信号之间的多模态特征再次进行融合，形成多种信号的多模态特征；

步骤6，将多种信号的多模态特征送入分类层中，能够对其内含的疲劳度信息进行准确的分类。

具体地：

步骤1中，挑选10名受试者，受试者的生理信息不同，年龄范围在25-35岁之间，身高分布在165-175厘米之间，收集不同生理信息的人群的数据可以增强模型的稳定性能与泛化性能；

首先使用动态生物信号记录仪和惯性测量单元分别采集受试者的sEMG、EEG、ECG和IMU信号，具体操作为在受试者进行直腿抬高运动之前，对受试者电极贴贴附区域进行清洁处理，比如剔除汗毛、喷洒75%浓度的酒精并且擦拭，将电极贴分别贴附于额头、太阳穴、左胸附近、股内侧肌、股直肌和股外侧肌，以此分别采集EEG、ECG、sEMG信号，IMU信号放置在小腿比目鱼肌位置用来采集IMU信号，此位置IMU信号变化明显；采用与直腿抬高运动关联性最强的三块肌肉是因为肌肉疲劳并不是单独的一块肌肉就可以完成的，是需要多块肌肉联合作用产生的，这样做既可以考虑到多块肌肉的联动性，又可以可以避免特征冗杂，降低模型计算复杂度，从而避免资源浪费；

受试者进行直腿抬高运动时，需要受试者平躺于床上，这样做的目的是为了防止站立时下肢肌肉会给身体提供一个支撑力，影响疲劳度检测；受试者平躺后，膝关节伸直，以一定的速度抬离床面45度，保持10s后落下，采用此角度和保持时间的原因是能够有效地帮助患者恢复并且不会对患者肌肉造成伤害；

步骤2中，对采集到的IMU信号和生理信号使用巴特沃斯滤波器进行滤波和Z-scores标准化，去除掉信号中存在的噪声和对数据进行标准化，主要目的是为了提高模型的收敛速度和分类精度；设置采样窗口来分割各个种类的信号，且设置各个窗口的信号有部分重叠，采样窗口大小为300，重复率为100，原因是时序数据的状态不仅收当前时刻的影响，跟过去信息也有关联，当采样窗口有重叠部分时，可以很好地利用过去信息对当前信息的影响；对每个采样窗口使用格拉姆角场Gramian Angular Field (GAF)、递归图Recurrence Plot (RP)、马尔可夫转换场Markov Transition Field(MTF)三种方法，在不改变信号时间和空间信息的前提下，将一维信号转为灰度图像；

步骤3中，将各种信号转为灰度图像后，本实施例将三个灰度图像结合,形成一个三通道(GAF-RP-MTF)的包含静态和动态特性的输入图像,从而提高分类性能。三通道图像是彩色图像,GAF-RP-MTF被视为拥有三种不同颜色的RGB图像；

步骤4中，分别将一维信号数据和RGB彩色图像数据分别送入注意力机制结合双向长短时记忆网络（Attention-BiLSTM）和卷积神经网络结合注意力机制（Attention-CNN）。其中，双向长短时记忆网络不仅可以解决循环神经网络存在的长期依赖问题，还可以能够对过去和未来的信息进行分析，捕捉上下文的信息；卷积神经网络在图像处理方面有着不错的表现，使用ResNet34网络对图像进行特征提取，加入跳跃连接能够保证即使在深层网络中也能够有很好的表现，防止出现梯度爆炸或梯度消失问题；注意力机制能够对网络处理后的特征进行加权，能够强化有用特征和弱化无用特征，提高模型的性能；其中，特征提取是由卷积神经网络结合注意力机制、长短时记忆网络结合注意力机制自动提取的，非人工提取的特征。

步骤5中，首先将Attention-BiLSTM和Attention-CNN中提取的特征进行融合，利用python中的“numpy.concatenate()”融合形成单个信号的多模态特征1，多模态1中包含单个信号的一维信号和RGB图像的疲劳度相关特征；之后将每种信号的多模态特征1进行融合形成多模态特征2，多模态特征含有所有信号和RGB的所有疲劳度相关特征；

具体的，利用python中的“numpy.concatenate()”将模型输出的特征融合为特征1和特征2。

步骤6中，将融合完成的多模态特征2送入全连接层完成疲劳度的分类。

具体的，每个类别的生理信号及其图像输入到具有两个分支的分类模型当中，分别对信号和图像做单独的分析。

首先，如图3所示，1D信号被输入到拥有双向长短时记忆网络（BiLSTM）和注意力机制的网络分支1中，BiLSTM更加适合处理这种有前后依赖关系的时序数据，如图4所示，注意力机制能够强化有用特征、弱化无用特征，假设输入序列的每个隐藏状态为h_j，序列长度为S，那么在第个i时刻输出向量c的计算方式如下：

；权重a_ij就是在j= 1,...,S 时刻的一个概率分布，可以使用softmax函数进行计算，Softmax函数实际上是有限项离散概率分布的梯度对数归一化。计算方式如下：

；其中s_i-1为输出在i-1 时刻的隐藏状态，函数score为s_i-1和h_j的内积。

如图5所示，将2D图像输入到拥有注意力机制的卷积神经网络中，卷积神经网络在处理图像方面有着卓越的表现，注意力机制能进一步优化特征，提高模型的特征提取能力；

最后将提取到的特征进行两次concatenate融合，输入到全连接层完成最终的分类。

实施例3

一种基于多模态数据融合的肌肉疲劳度分类系统，包括：

数据获取模块，被配置为，获取康复训练中的多种生理信号和IMU信号，并对获取的生理信号和IMU信号进行预处理；

转换模块，被配置为，将预处理的生理信号和IMU信号转换为灰度图像，并将同一种信号转换得到的灰色图像进行结合，形成RGB图像；

特征融合模块，被配置为，通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取；将提取的特征进行特征融合形成单个信号的多模态特征；将多个信号的多模态特征进行融合形成最终融合特征；

分类模块，被配置为，将最终融合特征送入分类层完成疲劳度的分类。

以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (8)

1.一种基于多模态数据融合的肌肉疲劳度分类方法，其特征在于，包括：

获取康复训练中的生理信号和IMU信号；

对获取的生理信号和IMU信号进行预处理；

将预处理的生理信号和IMU信号转换为灰度图像；

将同一种信号转换得到的灰色图像进行结合，形成RGB图像；

通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取；

将提取的特征进行特征融合形成最终融合特征；

将最终融合特征送入分类层完成疲劳度的分类。

2.根据权利要求1所述的一种基于多模态数据融合的肌肉疲劳度分类方法，其特征在于，所述生理信号包括肌电、脑电和心电信号。

3.根据权利要求2所述的一种基于多模态数据融合的肌肉疲劳度分类方法，其特征在于，所述对获取的生理信号和IMU信号进行预处理，包括对生理信号和IMU信号进行滤波和标准化。

4.根据权利要求3所述的一种基于多模态数据融合的肌肉疲劳度分类方法，其特征在于，所述将预处理的生理信号和IMU信号转换为灰度图像，包括设置采样窗口分割各个信号，通过GAF、RP和MTF方法，将生理信号和IMU信号转换为灰度图像。

5.根据权利要求4所述的一种基于多模态数据融合的肌肉疲劳度分类方法，其特征在于，所述将同一种信号转换得到的灰色图像进行结合，形成RGB图像，包括将通过GAF、RP和MTF方法分别获得的同一种信号的灰色图像结合，形成三通道的彩色图像。

6.根据权利要求5所述的一种基于多模态数据融合的肌肉疲劳度分类方法，其特征在于，所述通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取，包括利用深度学习网络模型的CNN结合注意力机制提取所述图像的主要特征；利用BiLSTM结合注意力机制处理所述信号的主要特征。

7.根据权利要求6所述的一种基于多模态数据融合的肌肉疲劳度分类方法，其特征在于，所述将提取的特征进行特征融合形成最终融合特征，包括将提取的特征进行特征融合形成单个信号的多模态特征；将单个信号的多模态特征进行融合形成最终融合特征。

8.一种基于多模态数据融合的肌肉疲劳度分类系统，其特征在于，包括：

数据获取模块，被配置为，获取康复训练中的生理信号和IMU信号，并对获取的生理信号和IMU信号进行预处理；

转换模块，被配置为，将预处理的生理信号和IMU信号转换为灰度图像，并将同一种信号转换得到的灰色图像进行结合，形成RGB图像；

特征融合模块，被配置为，通过深度学习网络模型对生理信号和IMU信号及其RGB图像进行特征提取；将提取的特征进行特征融合形成单个信号的多模态特征；将多个信号的多模态特征进行融合形成最终融合特征；

分类模块，被配置为，将最终融合特征送入分类层完成疲劳度的分类。

Images