CN112861604A - 一种与用户无关的肌电动作识别与控制方法 - Google Patents

Abstract

本发明公开了一种与用户无关的肌电动作识别与控制方法，是从手臂采集的高密度肌电信号转化为肌电图像，收集来自多个用户执行各种类手势动作的数据样本作为训练集，训练设计的嵌入了注意力模块的卷积神经网络，成为可用于跨用户手势动作分类的神经网络模型；之后，若有新用户接入该肌电控制系统，使用上述预训练的神经网络模型对目标用户的肌电数据进行分类并给出结果。本发明相对于传统方法利用了骨骼肌肉活动时的时空特征，在跨用户条件下使得手势动作肌电模式识别准确率有显著提升。在此基础上，使得肌电控制的人机交互设备的实用性更强，从而适应实际的使用情景。

Description

一种与用户无关的肌电动作识别与控制方法

技术领域

本发明涉及生物信号处理领域，尤其涉及一种用于鲁棒肌电控制的跨用户识别手势动作模式的方法。

背景技术

肌电信号(Electromyography,EMG)是伴随肌肉收缩产生的生物电信号，是多个MU(Motor Unit)兴奋产生的运动动作电位(Motor UnitAction Potential,MUAP)在时空上的叠加，它包含了丰富的神经信息，可用于捕获运动或运动意图并进一步解析为人机接口中的控制指令。表面肌电信号(Surface EMG,sEMG)采集自皮肤表面，因其测量无创性、可根据需求采集皮肤表面任意位置信号、采集时长可控等优点，在肌电控制中被广泛采用。作为肌电控制领域的里程碑技术，肌电模式识别技术通过训练分类器能够实现对多个自由度动作的控制，在实验室理想情况下具备极高的动作分类率，然而实际应用中涉及系统鲁棒性的诸多问题没有得到有效解决。其中，肌电控制跨用户的鲁棒性问题是该领域的经典难题。当新的用户试图使用肌电控制系统时，不同个体之间的差异(包括生理特点和运动习惯的差异等)会导致基于其他用户数据训练的分类器不再适用，使得控制准确度大幅降低。然而，新用户在使用前需要额外的训练过程会给用户造成较大负担。因此，跨用户应用对于提高用户的使用体验有很重要的价值。如何实现一种与用户无关的鲁棒肌电控制系统是急需解决的科学问题并蕴含了巨大的应用潜力。

针对这一问题，前人的工作采用多种方法进行了尝试。诸如LDA(LinearDiscriminant Analysis)、SVM(Support Vector Machines)等方法，还有基于图像分类方面的迁移学习的方法诸如PNN(Progressive Neural Networks)和CNN(ConvolutionalNeural Network)等方法，其中机器学习方法报道的效果进步很大，机器学习的解决方案的总体思路是使用已有的数据集训练出分类器，同时新用户使用该肌电控制系统时，采集少量新用户的数据来对分类器进行校准训练。这种解决方法从一定程度上缓解了新用户的训练负担，但没有从根本上解决用户无关问题，因为其本质上还是需要新用户参与训练。

发明内容

本发明是为避免上述现有技术的不足，提供一种与用户无关的肌电动作识别与控制方法，以期能真正实现与用户无关的手势识别，从而减轻新用户负担，使得在跨用户条件得手势动作肌电模式识别准确率有显著提升。

本发明为解决技术问题采用如下方案：

本发明一种鲁棒肌电控制中与用户无关的手势识别方法的特点在于，包括以下步骤：

步骤一、利用高密度阵列电极采集指定手势集中不同手势动作的各个肌电信号；并对每种手势动作的所有肌电信号均提取肌电特征；再按高密度阵列电极中各个触点的序号将所提取的肌电特征重排成二维肌电特征矩阵；对所述二维肌电特征矩阵中不同肌电特征在特征维度上重新排列并组合成三维肌电图像；最后根据三维肌电图像对应的不同手势动作，对三维肌电图像设置不同的标签，从而得到带有标签的三维肌电图像；进而得到由N个用户的带有标签的三维肌电图像所组成的肌电数据；

步骤二、构建由卷积神经网络、空间注意力模块组成的肌电分类模型；

所述卷积神经网络由n个模块构成，每个模块由一个卷积层、一个批标准化层、一个激活层和一个池化层构成；

设置第i个模块中的卷积层核的数目小于第i+1个模块的卷积层核的数目；i属于[1，n]；

所述空间注意力模块包含两个并行的全局池化层、一个卷积层和sigmoid函数层；

将带有标签的三维肌电图像输入到所述卷积神经网络中，并由第i个模块输出对应的特征图；将第i个模块输出的特征图作为输入特征并输入到空间注意力模块中，经过两个并行的全局最大池化层和全局平均池化层后输出的两个结果再根据特征维度进行拼接，得到的拼接特征图后经过一个卷积层，从而得到全局池化特征图并经过sigmoid函数层后输出空间注意力图；将所述空间注意力图与输入特征图相乘，最终得到空间注意力特征图并输入第i+1个模块中进行继续处理，最终经过第n个模块后得到肌电信号的局部特征；

步骤三、使用所述肌电数据训练所述肌电分类模型，得到训练好的分类模型；

步骤四、利用训练好的分类模型对预处理后待预测的第N+1个用户的肌电信号进行预测，得到各个类别的预测标签对应的概率，并将概率最大的预测标签所对应的类别作为待预测的第N+1个用户的肌电信号的预测结果。

本发明所述的一种用于鲁棒肌电控制的用户无关手势识别方法的特点也在于，所述步骤三是按如下过程进行：

步骤3.1、将肌电数据中的图像顺序随机打乱；

步骤3.2、将打乱后的肌电数据进行数据增强操作后作为训练集S；

步骤3.3、将所述训练集S分批输入到所述的分类网络中，定义每批次的大小为b；

步骤3.4、利用式(1)和式(2)分别设置交叉熵损失函数ψ和中心损失函数ξ，从而利用式(3)得到模型的总损失函数φ：

φ＝ψ+λ×ξ (3)

式(1)和式(2)中，i代表类别、n代表类别总数、p_i和q_i分别代表类别i所属的真实概率分布和预测概率分布、x_i代表类别i的分布、c_i是类别i对应的中心；

式(3)中，λ是自设的超参数；

步骤3.5、利用He正态分布初始化器初始化所述卷积神经网络；利用Glorot正态分布初始化器初始化所述卷积神经网络中卷积层的权重；

步骤3.6、利用Adam优化器优化所属分类模型中的各个参数，设置初始学习率lr；

步骤3.7、初始化内迭代次数epoch＝1；定义性能阈值为Fmax，并初始化Fmax＝0；初始化动态调整学习率函数参数p＝1；

步骤3.8、在第epoch次内迭代下基于分批输入的训练集S，利用Adam优化器对分类模型进行训练，得到epoch次训练后的分类模型；

步骤3.9、计算epoch次训练后的分类模型的平均训练准确率Fe；

步骤3.10、判断Fe>Fmax是否成立，若成立，则将Fe赋值给Fmax，并保存此时Fe对应的模型作为Fmax对应的分类模型；否则，令p加“1”，并保持Fmax不变；

步骤3.11、判断p是否达到所设定的阈值Pmax，若达到设定阈值则将lr减半，重置p＝1；否则，保持lr不变；

步骤3.12、判断epoch+1赋值给epoch后，epoch>Emax是否成立，若成立则将Fmax对应的分类模型作为最终的分类模型，并结束训练；否则，返回步骤3.8。

与已有技术相比，本发明的有益效果体现在：

1、本发明将高密度阵列采集的肌电信号转化为肌电图像，基于卷积神经网络和注意力神经网络提取肌电信号的时间空间特征，同时通过模型设计增强模型泛化能力和模型对特定手势的通用运动模式的学习和描述能力以达到用户无关的手势识别效果。在此基础上，不需要新用户的数据再参与训练，大大提高了肌电交互控制设备的实用性和鲁棒性。

2、高密度肌电信号看作骨骼肌肉活动时的时空成像。用户在做手势时，不同用户的表面肌电信号构成的肌电特征图像模式较为固定，但是同时也存在一定的差别，这些差别包括但不局限于：肌电电极的偏移、肌肉激活区域大小、激活强度、用户的动作习惯、生理特性等。基于这一假设，本发明提出通过提高模型的泛化能力，驱使模型学习公共的动作模式和减少用户问题带来的差异性来解决用户无关问题。具体的，本发明首先将高密度肌电信号处理为图像样本，从而包含了前臂肌肉的活动的时间空间信息。然后使用训练集预训练模型，随后将测试数据送入到模型中进行手势分类。本发明提出的整套模型与传统方法比，识别率具有显著提升。本发明的提出为肌电模式识别中用户无关问题提供了有益的解决方案。

附图说明

图1为本发明一种用于鲁棒肌电控制的用户无关的手势识别方法流程图；

图2为本发明肌电采集设备以及电极位置示意图；

图3为本发明肌电采集设备采集的肌电信号；

图4为本发明注意力模块结构图；

图5为本发明肌电分类模型结构图；

图6a为本发明不使用中心损失函数的中间层可视化结果图；

图6b表示本发明使用中心损失函数的中间层可视化结果图；

图7为本发明实施例提供的识别率对比图。

具体实施方式

本实施例中，一种鲁棒肌电控制中与用户无关的手势识别方法，是通过将贴在皮肤表面二维电极阵列采集肌电信号看成对肌肉活动的成像过程，设计基于卷积神经网络的模型结构以及基于注意力神经网络的模型结构，提供了一种在实际应用中增强网络的泛化能力和对手势动作模式通用特征的刻画能力，使得模型对用户手势动作的特异信息不敏感，进而实现与用户无关的手势动作肌电信号模式识别与控制的方法。具体的说，如图1所示，包括以下步骤：

步骤一、利用高密度阵列电极采集指定手势集中不同手势动作的各个肌电信号；并对每种手势动作的所有肌电信号均提取肌电特征；再按高密度阵列电极中各个触点的序号将所提取的肌电特征重排成二维肌电特征矩阵；对二维肌电特征矩阵中不同肌电特征在特征维度上重新排列并组合成三维肌电图像；最后根据三维肌电图像对应的不同手势动作，对三维肌电图像设置不同的标签，从而得到带有标签的三维肌电图像；按照步骤一的采集和处理过程进而得到由N个用户的带有标签的三维肌电图像所组成的肌电数据；在本实施例中N＝10。

每个用户的数据采集和预处理步骤如下：

步骤1.1、所述电极设备选取行通道数为p列通道数为q，密度为d的两片柔性高密度电极阵列。示例性的可以设置为：p＝10,q＝10,d＝4mm。将如图2所示电极放在前臂，包裹住大部分的前臂肌群，此时指定G＝6种手势运动，每个动作均采集三次，每次保持等力等长收缩五秒。此时采集到的一个通道的肌电信号如图3所示。

步骤1.2、利用静息状态下的肌电基线信号，判断并检测出手势运动肌肉活动时期的信号段，将其分割出来，得到一系列数据。

步骤1.3、利用时间滑窗技术，对分割出的肌电信号活动段在时间轴上进一步切分为一系列的活动分析窗，设置窗长为W(i.e.W＝256ms)，滑动步长为L(i.e.L＝128ms)；选取静息状态下的肌电信号分析窗计算静息状态阈值为Th；利用静息状态阈值Th判断所有分析窗是否为肌肉收缩的活动段，如果是，则打上相应动作标签。示例性的，静息状态阈值Th可以由静息状态下样本中所有通道肌电信号的平均值得到。

步骤1.4、对数据样本内每一个通道的肌电信号进行时域特征提取，从而将每个样本构建成一系列特征矩阵。

特征提取选用四个常规时域特征(Time Domain Feature，TD)：绝对值平均(MeanAbsolute Value，MAV)、波形长度(Waveform Length，WL)、过零点数(Zero Crossings，ZC)和斜率符号变化数(Slope Sign Changes，SSC)，因其具有识别性能高与计算复杂度低等优点，被广泛应用于许多与肌电模式识别相关的研究中，是基于肌电模式识别中常规的特征提取方式。它们的计算公式如下：

I.均绝对值(Mean Absolute Value，MAV)：

其中，N为分析窗中的采样点个数，x_k为第k个采样点。

II.波形长度(Waveform Length，WL)：

N为分析窗中的采样点个数，x_k为第k个采样点。

III.过零点数(Zero Crossings，ZC)：

其中：

N为分析窗中的采样点个数，x_k为第k个采样点，引入了阈值a(通常取为信号标准差的1％)是为了减少由噪声对过零点数的影响。

IV.斜率符号变化数(Slope Sign Changes，SSC)：

其中，x_k为采样点，a为阈值，防止噪声引起的干扰。

步骤1.5、对于每一个分析窗样本，每个电极通道包含了4个时域特征，将来自100个通道的时域特征按照图2的电极实际尺寸和电极触点数重新排列成m×n×4的三维图像。示例性的，m＝10,n＝10。

步骤1.6、将三维的肌电图像打上相应的手势标签，分别组成肌电数据和标签数据。

步骤二、构建由卷积神经网络、空间注意力模块组成的肌电网络模型，如图5所示；

步骤2.1、构建神经网络卷积模块；

卷积神经网络中包含若干模块；每个模块依次由卷积层、批标准化层、激活层和池化层构成。如图5所示，卷积神经网络模块数目为2。在第一和第二模块之间设置空间注意力模块。

将预处理过的三维肌电图像首先输入到第一个模块中，依次经过卷积、批标准化、激活层和池化操作后，输出中间层特征。

步骤2.2、构建空间注意力模块，如图4所示，嵌入的位置如图5所示。

第1个卷积模块输出对应的中间层特征输出到空间注意力模块中，经过两个并行的全局最大池化层和全局平均池化层后输出的两个结果再根据特征维度进行拼接，得到的拼接特征图后经过一个卷积层，从而得到全局池化特征图并经过sigmoid函数层后输出空间注意力图；将所述空间注意力图与输入特征图相乘，最终得到空间注意力特征图。

将得到的空间注意力特征图输入到第二个卷积模块中，同样的，经过卷积、批标准化、激活层和池化操作后，最终输出肌电信号的局部特征。

步骤三、使用带有标签的三维肌电图像训练肌电分类模型，得到一个稳定的训练好的分类模型；

步骤3.1、将肌电数据中的图像随机打乱；

步骤3.2、将打乱后的肌电数据进行数据增强操作后作为训练集S；在本实施例中数据增强的方式为上下、左右平移肌电图像。

步骤3.3、将训练集S分批输入到所述的分类网络中，定义每批次的大小为b；本实施例中，每批次的大小b＝128。

步骤3.4、利用式(1)和式(2)分别设置交叉熵损失函数ψ和中心损失函数ξ，从而利用式(8)得到模型的总损失函数φ：

φ＝ψ+λ×ξ (8)

式(6)和式(7)中，i代表类别、n代表类别总数、p_i和q_i分别代表类别i所属的真实概率分布和预测概率分布、x_i代表类别i的分布、c_i是类别i对应的中心。式(8)中，λ是自设的超参数；在本实施例中，λ＝0.01。

步骤3.5、利用He正态分布初始化器初始化卷积神经网络；利用Glorot正态分布初始化器初始化卷积神经网络中卷积层的权重；

步骤3.6、利用Adam优化器优化所属分类模型中的各个参数，设置初始学习率lr；本实施例中初始化学习率lr＝0.01。

步骤3.7、初始化内迭代次数epoch＝1，定义内迭代次数阈值Emax；定义性能阈值为Fmax，并初始化Fmax＝0；初始化动态调整学习率函数参数p＝1，定义动态调整学习率函数参数阈值Pmax；通过参数p和模型训练时的回调机制监控模型的loss参数，防止模型发生过拟合；

本实施例中定义内迭代次数阈值Emax＝20，定义动态调整学习率函数参数阈值Pmax＝5。

步骤3.8、在第epoch次内迭代下基于分批输入的训练集S，利用Adam优化器对分类模型进行训练，得到epoch次训练后的分类模型；

步骤3.9、计算epoch次训练后的分类模型的平均训练准确率Fe；

步骤3.10、判断Fe>Fmax是否成立，若成立，则将Fe赋值给Fmax，并保存此时Fe对应的模型作为Fmax对应的模型；否则，令p加“1”，并保持Fmax不变；

步骤3.11、判断p是否达到所设定的阈值Pmax，若达到设定阈值则将lr减半，重置p＝1；否则，保持学习率lr不变；

步骤3.12、判断epoch+1赋值给epoch后，epoch>Emax是否成立，若成立则将Fmax对应的分类模型作为最终的分类模型，并结束训练；否则，返回步骤3.8；

步骤四、利用稳定的训练好的分类模型对预处理后待预测的第N+1个用户的肌电信号进行预测，得到各个类别的预测标签训练好的。将概率最大的预测标签所对应的类别作为待预测的第N+1个用户的肌电信号的标签。同时，为了对比在使用中心损失函数和仅仅使用交叉熵损失函数时的不同效果，使用t-SNE对肌电模型中全连接层的输出进行可视化处理。结果分别如图6a和图6b所示。可以发现，相较于不使用中心损失函数(图6a)，使用中心损失函数(图6b)数据分布较为集中，不同类别簇之间可分性也更好。

步骤五、利用步骤三已经训练好的模型对新用户的手势动作进行判定。

对于新用户，当其接入肌电系统时，系统会采集新用户在执行手势动作时对应位置的肌电信号，经过步骤1的预处理方式提取特征。随后，将提取到的特征送入到已经训练好的模型中，对输入的肌电信号，模型做出判断用户是在做哪一个手势动作，并将判断的结果传递给控制系统作为系统的控制指令。

为了说明本发明上述方案的性能，使用报道的方案与本发明上述方案进行了对比试验。

对比试验中，采用了LDA和CNN的方式。

LDA方式的具体实现步骤为：

首先通过步骤1采集肌电数据，然后利用阈值法和滑动窗法预处理数据，随后提取特征并将特征转化为LDA方式的数据输入形式。最后将测试数据通过LDA进行分类，得到最后的手势分类结果。

CNN的具体实现步骤为：

首先通过步骤1采集肌电数据，然后利用阈值法和滑动窗法预处理数据，随后提取特征并按照步骤1的方式划分数据集，先用训练集预训练模型，再使用测试集对模型进行测试，得到最后的手势分类结果。本发明所述方法的实现步骤和CNN的实现步骤一致。

特别的，对于本对比试验。使用的如步骤3.2中所述的数据集D由N＝10个用户组成，为了有效利用已有数据。对于所述LDA、CNN和本发明方法，均采用留一法将10个用户的数据划分成训练集和测试集。其中训练集使用10个用户中9位用户的数据组成，使用第10位用户的数据当作测试集，用来模拟实际使用中新用户接入肌电控制系统的情况。

其中，识别率统计情况如图7所示。以LDA方法为例，对所述结果进行阐述：每次训练和测试都会得到对于某个测试集的准确率，为了尽可能降低模型本身的随机性引入的识别率的微小影响，对于每一对训练集和测试集，分别训练测试10次，从而得到10次识别率；对这10次识别率取均值，即视为模型在对应测试集上的最终识别率。以此类推，对于10对训练集和测试集，最终有10个识别率；再对10个识别率取平均，即视为模型在该10个用户组成的肌电数据集上的整体表现。针对6种手势和10个用户，整体的识别率如图7所示。

Claims (2)

1.一种鲁棒肌电控制中与用户无关的手势识别方法，其特征在于，包括以下步骤：

步骤一、利用高密度阵列电极采集指定手势集中不同手势动作的各个肌电信号；并对每种手势动作的所有肌电信号均提取肌电特征；再按高密度阵列电极中各个触点的序号将所提取的肌电特征重排成二维肌电特征矩阵；对所述二维肌电特征矩阵中不同肌电特征在特征维度上重新排列并组合成三维肌电图像；最后根据三维肌电图像对应的不同手势动作，对三维肌电图像设置不同的标签，从而得到带有标签的三维肌电图像；进而得到由N个用户的带有标签的三维肌电图像所组成的肌电数据；

步骤二、构建由卷积神经网络、空间注意力模块组成的肌电分类模型；

所述卷积神经网络由n个模块构成，每个模块由一个卷积层、一个批标准化层、一个激活层和一个池化层构成；

设置第i个模块中的卷积层核的数目小于第i+1个模块的卷积层核的数目；i属于[1，n]；

所述空间注意力模块包含两个并行的全局池化层、一个卷积层和sigmoid函数层；

将带有标签的三维肌电图像输入到所述卷积神经网络中，并由第i个模块输出对应的特征图；将第i个模块输出的特征图作为输入特征并输入到空间注意力模块中，经过两个并行的全局最大池化层和全局平均池化层后输出的两个结果再根据特征维度进行拼接，得到的拼接特征图后经过一个卷积层，从而得到全局池化特征图并经过sigmoid函数层后输出空间注意力图；将所述空间注意力图与输入特征图相乘，最终得到空间注意力特征图并输入第i+1个模块中进行继续处理，最终经过第n个模块后得到肌电信号的局部特征；

步骤三、使用所述肌电数据训练所述肌电分类模型，得到训练好的分类模型；

步骤四、利用训练好的分类模型对预处理后待预测的第N+1个用户的肌电信号进行预测，得到各个类别的预测标签对应的概率，并将概率最大的预测标签所对应的类别作为待预测的第N+1个用户的肌电信号的预测结果。

2.根据权利要求1所述的一种用于鲁棒肌电控制的用户无关手势识别方法，其特征在于，所述步骤三是按如下过程进行：

步骤3.1、将肌电数据中的图像顺序随机打乱；

步骤3.2、将打乱后的肌电数据进行数据增强操作后作为训练集S；

步骤3.3、将所述训练集S分批输入到所述的分类网络中，定义每批次的大小为b；

步骤3.4、利用式(1)和式(2)分别设置交叉熵损失函数ψ和中心损失函数ξ，从而利用式(3)得到模型的总损失函数φ：

φ＝ψ+λ×ξ (3)

式(1)和式(2)中，i代表类别、n代表类别总数、p_i和q_i分别代表类别i所属的真实概率分布和预测概率分布、x_i代表类别i的分布、c_i是类别i对应的中心；

式(3)中，λ是自设的超参数；

步骤3.5、利用He正态分布初始化器初始化所述卷积神经网络；利用Glorot正态分布初始化器初始化所述卷积神经网络中卷积层的权重；

步骤3.6、利用Adam优化器优化所属分类模型中的各个参数，设置初始学习率lr；

步骤3.7、初始化内迭代次数epoch＝1；定义性能阈值为Fmax，并初始化Fmax＝0；初始化动态调整学习率函数参数p＝1；

步骤3.8、在第epoch次内迭代下基于分批输入的训练集S，利用Adam优化器对分类模型进行训练，得到epoch次训练后的分类模型；

步骤3.9、计算epoch次训练后的分类模型的平均训练准确率Fe；

步骤3.10、判断Fe>Fmax是否成立，若成立，则将Fe赋值给Fmax，并保存此时Fe对应的模型作为Fmax对应的分类模型；否则，令p加“1”，并保持Fmax不变；

步骤3.11、判断p是否达到所设定的阈值Pmax，若达到设定阈值则将lr减半，重置p＝1；否则，保持lr不变；

步骤3.12、判断epoch+1赋值给epoch后，epoch>Emax是否成立，若成立则将Fmax对应的分类模型作为最终的分类模型，并结束训练；否则，返回步骤3.8。

Images