CN113627401A - 融合双注意力机制的特征金字塔网络的肌电手势识别方法 - Google Patents

Abstract

本发明公开了一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，具体为：首先采用滑动窗口生成肌电子图，然后设计了一种特征金字塔轻量化注意力网络对每个采集通道肌电信号进行特征提取，特征金字塔轻量化注意力网络利用多个深度可分离注意力卷积模块提取多层特征，输入到特征金字塔中进行特征融合，同时加入双注意力机制，得到更为细化的特征，最后对多流网络的特征输出进行聚合进而得到手势识别结果。本发明利用特征金字塔和双注意力机制，充分提取信号特征，提高手势识别准确率，并使用深度可分离卷积替代传统卷积，降低网络参数量，使其在嵌入式平台下也能很好地应用。

Description

融合双注意力机制的特征金字塔网络的肌电手势识别方法

技术领域

本发明属于深度学习与生物电信号相结合的领域，尤其涉及一种融合双注意力机制的特征金字塔网络的肌电手势识别方法。

背景技术

表面肌电信号（surface Electromyography，sEMG）是由多个肌纤维产生的运动单位电位在皮肤表面采集电极处时间和空间上综合叠加的结果，能够提供肌肉活动的重要信息，获取简单，为人与外部设备之间提供了一个新的接口。其中基于sEMG的手势识别是获取肢体语言的一个重要途径，可以通过采集sEMG信号对手势动作进行识别，提供良好的交互信息，相较于基于图像的手势识别，能够免于光照、复杂背景、遮挡等对识别精度的影响，其次基于图像的手势识别并不适用于无法做出正常手势的残肢者，但患者可以通过采集残肢肌肉运动产生的sEMG信号进行手势识别。因此基于sEMG的手势识别正逐渐成为研究的热点。

基于sEMG的手势识别分类问题，大致分为基于传统机器学习的手势识别与基于深度学习的手势识别。传统机器学习算法需要从sEMG数据中提取时域、频域或时频域特征，并选择适当的分类器模型进行识别分类。深度学习方法通过多层网络结构，自动从数据中逐步学习到高级的语义特征，不需要领域专业人员进行特征选择，从而实现端到端的识别框架，其强大的数据拟合能力也要优于浅层学习模型，已在多个领域取得了成功。

现有基于深度学习的肌电手势识别研究工作太多都使用CNN网络，但都是将多通道肌电信号转化为灰度图片送入到识别网络中，损失了时序信息。多通道肌电信号实质上为时间序列信号，隐藏着重要的时序信息。已有CNN手势识别模型往往没有根据肌电信号的这个特点进行针对性的设计，忽略了重要的时序信息。对于进一步提高基于稀疏表面肌电信号手势的准确率，有效并充分提取隐藏的时序特征是十分重要的一环。

注意力机制近年来已经逐渐成为深度神经网络领域中一个研究重点。通过模仿人类视觉注意力机制的思想，在不同应用场景下进行建模，已成功应用在如机器翻译、语音识别、图像识别等重要领域。

传统CNN只利用最后一个卷积层提取的特征进行目标识别，通过增加模型的深度获得更高级的语义特征，以提高识别精度。但是，其他卷积层所提取的特征都是可用的，但并没有得到充分利用。

肌电手势识别系统在实际应用中，特别是假肢手控制与游戏控制等应用场景中，对系统响应时间以及资源要求较高，不应具有用户可感知的延迟，不应占用过多的内存消耗。现有CNN手势网络方法参数量高，训练效率较低，在嵌入式平台上应用较为困难。简化结构和提高计算效率是需要解决的问题。

发明内容

针对现在识别方法的不足，本发明提供一种融合双注意力机制的特征金字塔网络的肌电手势识别方法。

本发明的一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，主要采用基于时间与特征通道的双注意力机制、特征金字塔、深度可分离卷积，使网络充分利用多层特征、学习到更为细化的特征，提高手势识别准确率。同时在不降低手势识别率的情况下，轻量化网络，降低网络参数量。对网络进行有监督的训练后，可以对肌电手势进行识别。具体包括以下步骤：

步骤1：获取原始表面肌电信号，并进行滤波去噪；通过滑动窗口生成肌电子图，并将其归一化处理。

步骤2：构建特征金字塔轻量化注意力网络（Feature Pyramid LightweightAttention Network，FPLAN），该网络整体分为三个阶段：数据分流阶段，多流卷积阶段，聚合输出阶段。

a、数据分流阶段：数据分流阶段将肌电子图按采集通道维度进行分割，得到单通道肌电子图，作为每一流独立CNN网络的输入。

b、多流卷积阶段：该阶段使用多个独立的CNN网络提取每个采集通道sEMG的特征，独立CNN网络的数量与采集通道个数相匹配；每一流的CNN网络具体为特征金字塔轻量化注意力网络FPLAN，该网络由四个深度可分离注意力卷积模块（Separable AttentionConvolutional Module，SACB）构成，逐层提取特征，通过特征金字塔机制融合各卷积层的特征，作为每一流CNN网络的输出特征；步骤a得到的单通道肌电子图作为首个深度可分离注意力卷积模块的输入。

所述深度可分离注意力卷积模块由深度卷积层、逐点卷积、批次归一化层、激活层、双注意力机制（Dual Attention Mechanism，DAM）和池化层组成。

所述特征金字塔机制由四个深度可分离注意力卷积模块依次得到的level 1~4特征统一维度后，在特征通道维度进行串联（Concatenate）形成新的特征向量，该特征向量即为FPLAN网络最后输出的特征。

c、聚合输出阶段：将多流卷积阶段中每一流的输出进行聚合，并得到最终识别结果；聚合输出阶段总共包含四层：聚合层、全局均值池化层、具有Dropout的全连接层和采用Softmax激活的全连接层。

步骤3：使用训练样本集对构建的特征金字塔轻量化注意力网络FPLAN进行有监督的训练，得到拟合好的最终网络模型，并进行保存；

步骤4：将最终网络模型部署到低功耗嵌入式设备中，并使用训练数据集得到肌电手势识别结果。

进一步的，步骤1中的肌电信号滤波去噪方法采用卡尔曼滤波。

进一步的，步骤1中决策窗口时间长度为W，单位为毫秒，即得到一次手势识别结果所需要的信号时间长度。决策窗口中具体样本数l的多少与采集设备的采样频率f有关：

决策窗口每次滑动的时间长度为

，即滑动窗口大小为

，且设为决策窗口大小的四分之一。由上式可知每次滑动的时间帧数为

，则相邻的两个决策窗口重叠时间帧数为

。生成的肌电子图大小为

，C为采集通道的个数。

进一步的，特征金字塔轻量化注意力网络FPLAN中四个深度可分离注意力卷积模块SACB的卷积核个数依次为32、64、64、128。

进一步的，步骤b中深度可分离注意力卷积模块SACB的输入特征首先通过卷积核为5的深度卷积，对每个通道进行独立的卷积运算，然后通过逐点卷积对各通道的特征进行融合形成新特征。

深度卷积和逐点卷积后都使用批标准化层和激活层；批标准化层对激活前的特征进行标准化，激活层采用Relu激活函数。

进一步的，双注意力机制DAM分为特征通道注意力模块和时间注意力模块。

对于特征通道注意力模块，使用平均池化和最大值池化来聚合时间信息，得到两个特征向量；随后，将两个特征向量串联后通过一个卷积核大小为3的卷积层，生成特征通道注意力图，并与输入特征逐元素相乘后得到重映射后特征；该模块输入特征为经过深度卷积和逐点卷积后的输出特征。

对于时间注意力模块，使用平均池化和最大值池化来聚合特征通道信息，得到两个特征向量，随后，将两个特征向量串联后通过一个卷积核大小为3的卷积层，生成时间注意力图，并与输入特征逐元素相乘后得到重映射后特征；该模块输入特征为通过特征通道注意力模块的输出特征。在模块的最后加入池化层，去除冗余特征，并扩大感受野。经过池化的特征即为深度可分离注意力卷积模板的输出特征。

进一步的，步骤b的特征金字塔机制中，为了与第4层的特征维度相匹配，对第1～3层的特征向量进行下采样；将前三层的特征

分别进行深度卷积降采样到与

分辨率相同的大小，得到金字塔level 1~3的网络输出

，金字塔level 4的输出

即为第四层SACB的输出

；

将各level的特征

按通道维度进行串联，若金字塔每级特征的通道数分别为

，则串联后的特征通道数为

。

进一步的，步骤c中聚合层将每一流FPLAN的输出在特征通道维度进行串联，得到多通道肌电手势特征；具有Dropout的全连接层长度为128，随机丢弃率为0.2，采用Softmax激活的全连接层长度为手势识别标签数。

进一步的，步骤3中，对训练样本集使用时间扭曲和幅度扭曲的方法进行两倍的扩充。

本发明的有益技术效果为：

本发明提出一种融合双注意力机制的特征金字塔轻量化肌电手势识别网络，该网络总体采用多个独立的CNN充分提取每个采集通道sEMG的特征，同时，a）考虑到不同时刻信号与不同特征图的重要性不同，加入基于时间与特征通道的双注意力机制，使网络分别在时间维度和特征通道维度上加强有效特征，抑制无效特征；b）考虑到充分利用多层卷积特征，加入特征金字塔机制，充分利用多层特征；c）考虑到在实际应用中，对网络的参数量和大小有限制，对网络进行轻量化，加入深度可分离卷积，减少网络的整体参数量。总之，本发明利用特征金字塔和双注意力机制，充分提取信号特征，提高手势识别准确率，并使用深度可分离卷积替代传统卷积，降低网络参数量，使其在嵌入式平台下也能很好地应用。

附图说明

图1为本发明特征金字塔轻量化注意力网络结构示意图。

图2为本发明特征金字塔机制结构示意图。

图3为本发明深度可分离注意力卷积模块结构示意图。

图4为本发明双注意力机制结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

本发明的一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，具体包括以下步骤：

1、获取肌电数据，肌电数据采用NinaPro-DB1的数据，采样率为200Hz，10个采集通道。使用卡尔曼滤波器对原始肌电信号滤波，卡尔曼滤波器的转换矩阵和测量值转换矩阵设为单位矩阵，过程噪声方差与测量噪声方差分别设置为

、0.01。使用滑动窗口生成大小为

的肌电子图。

2、构建特征金字塔轻量化注意力网络，如图1所示，该网络整体依次可分为三个阶段：数据分流阶段，多流卷积阶段，聚合输出阶段。

数据分流阶段：数据分流阶段将肌电子图按采集通道维度进行分割，得到单通道肌电子图

，作为每一流独立CNN网络的输入；

多流卷积阶段：每一流的卷积神经网络为特征金字塔轻量化注意力网络（FeaturePyramid Lightweight Attention Network，FPLAN），该网络主要由四个深度可分离注意力卷积模块构成（Separable Attention Convolutional Module，SACB），四个SACB的输出特征的通道维大小分别为32、32、64、128，然后使用特征金字塔机制（如图2所示）融合多层特征，得到大小为

的特征向量，该特征向量即为FPLAN网络最后输出的手势语义特征。

深度可分离注意力卷积模块如图3所示，依次组成为：卷积核大小为5的深度卷积、批次标准化层、Relu激活层、逐点卷积、批次标准化层、Relu激活层、双注意力机制（DualAttention Mechanism，DAM）、池化层。双注意力机制具体结构如图4所示。

聚合输出阶段：将多流卷积阶段中每一流的输出进行聚合，得到大小为

的多通道肌电手势语义特征。通过全局均值池化层后，得到大小为2560的一维向量，通过具有Dropout的全连接层，将大小降到128，随机丢弃率为0.2，最后采用Softmax激活的全连接层输出最终手势识别结果。

3、使用训练样本集对构建的特征金字塔轻量化注意力网络FPLAN进行有监督的训练，损失函数使用交叉熵函数，并采用随机梯度下降（Stochastic Gradient Descent,SGD）方法对模型进行训练，训练次数为100个周期，初始学习率为0.01，每25个训练周期学习率减半，卷积层和全连接层均采用L2正则化，L2正则化参数设置为0.0005。在有监督的模型训练中，将每种手势的十次采集数据分为训练集和测试集。训练集为十次实验中的第1、3、4、6、8、9和第10次实验。测试集为剩余的第2、5和第7次实验。

由于肌电信号数据比较稀疏，数据量较少，容易产生过拟合，同时考虑到在运动重复过程中，EMG的幅度和持续时间不能被完全复制，因此对训练样本使用时间扭曲和幅度扭曲的方法进行两倍的扩充。为了确保收敛和加速训练过程，我们将所有受试对象的训练集用于预训练，并用获得的预训练模型对每个受试者网络模型进行初始化。此外，在将肌电子图输入到网络模型之前，进行归一化，减小由于不同人所具有的肌肉最大激活幅度不同所造成的影响。

保存训练的最优模型，输入测试数据集，统计所有人的平均手势识别准确率。为了更好的验证本发明方法的有效性，选择使用多流卷积网络作为Baseline，进行以下消融实验：1)加入批标准化；2）加入批标准化与双注意力机制；3）在1）的基础上加入特征金字塔结构；4）在 2）的基础上加入特征特征金字塔结构。实验采用Ninapro-DB1公开数据集，平均手势识别准确率为27位受试对象的 52 种手势的平均识别准确率，实验结果如下表1所示。

表1 消融实验结果

通过实验结果可以看出，本发明的融合双注意力机制的特征金字塔网络的肌电手势识别方法准确率对比Baseline有非常明显的提升，从实验1和实验3的结果对比可以看出，加入特征金字塔结构使平均手势识别准确率提高了3%左右。从实验2和实验3、实验3和实验4的结果对比可以看到，加入双注意力机制可以提高约1%的平均手势识别准确率。因为双注意力机制和特征金字塔都能有效的提高平均手势识别准确率。

我们将本发明的肌电手势识别模型与近年来已有研究的手势识别模型进行了对比，实验结果如表 2 所示。

表2 与其他文献中基于sEMG的手势识别模型对比

本发明所提出的融合双注意力机制的特征金字塔网络无需人工特征提取，通过特征金字塔轻量化注意力网络充分利用多级卷积特征。其次， 考虑到不同时刻信号与不同特征图的重要性不同，加入基于时间与特征通道的双注意力机制，使网络分别在时间维度和特征通道维度上加强有效特征，抑制无效特征。因此平均手势识别准确率可以达到85.12%，其性能要优于以上的肌电手势识别模型。

Claims (7)

1.一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，其特征在于，包括以下步骤：

步骤1：获取原始表面肌电信号，并进行滤波去噪；通过滑动窗口生成肌电子图，并将其归一化处理；

步骤2：构建特征金字塔轻量化注意力网络FPLAN，该网络整体分为三个阶段：数据分流阶段，多流卷积阶段，聚合输出阶段；

步骤a、数据分流阶段：数据分流阶段将肌电子图按采集通道维度进行分割，得到单通道肌电子图，作为每一流独立CNN网络的输入；

步骤b、多流卷积阶段：该阶段使用多个独立的CNN网络提取每个采集通道sEMG的特征，独立CNN网络的数量与采集通道个数相匹配；每一流的CNN网络具体为特征金字塔轻量化注意力网络FPLAN，该网络由四个深度可分离注意力卷积模块SACB构成，逐层提取特征，通过特征金字塔机制融合各卷积层的特征，作为每一流CNN网络的输出特征；步骤a得到的单通道肌电子图作为首个深度可分离注意力卷积模块SACB的输入；

所述深度可分离注意力卷积模块SACB由深度卷积层、逐点卷积、批次归一化层、激活层、双注意力机制DAM和池化层组成；

所述特征金字塔机制由四个深度可分离注意力卷积模块SACB依次得到的level 1~4特征统一维度后，在特征通道维度进行串联形成新的特征向量，该特征向量即为FPLAN网络最后输出的特征；

步骤c、聚合输出阶段：将多流卷积阶段中每一流的输出进行聚合，并得到最终识别结果；聚合输出阶段总共包含四层：聚合层、全局均值池化层、具有Dropout的全连接层和采用Softmax激活的全连接层；

步骤3：使用训练样本集对构建的特征金字塔轻量化注意力网络FPLAN进行有监督的训练，得到拟合好的最终网络模型，并进行保存；

步骤4：将最终网络模型部署到低功耗嵌入式设备中，并使用训练数据集得到肌电手势识别结果。

2.根据权利要求1所述的一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，其特征在于，所述特征金字塔轻量化注意力网络FPLAN中四个深度可分离注意力卷积模块SACB的卷积核个数依次为32、64、64、128。

3.根据权利要求1所述的一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，其特征在于，所述步骤b中深度可分离注意力卷积模块SACB的输入特征首先通过卷积核为5的深度卷积，对每个通道进行独立的卷积运算，然后通过逐点卷积对各通道的特征进行融合形成新特征；

深度卷积和逐点卷积后都使用批标准化层和激活层；批标准化层对激活前的特征进行标准化，激活层采用Relu激活函数。

4.根据权利要求3所述的一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，其特征在于，所述双注意力机制DAM分为特征通道注意力模块和时间注意力模块；

对于特征通道注意力模块，使用平均池化和最大值池化来聚合时间信息，得到两个特征向量；随后，将两个特征向量串联后通过一个卷积核大小为3的卷积层，生成特征通道注意力图，并与输入特征逐元素相乘后得到重映射后特征；该模块输入特征为经过深度卷积和逐点卷积后的输出特征；

对于时间注意力模块，使用平均池化和最大值池化来聚合特征通道信息，得到两个特征向量，随后，将两个特征向量串联后通过一个卷积核大小为3的卷积层，生成时间注意力图，并与输入特征逐元素相乘后得到重映射后特征；该模块输入特征为通过特征通道注意力模块的输出特征。

5.根据权利要求1所述的一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，其特征在于，所述步骤b的特征金字塔机制中，为了与第4层的特征维度相匹配，对第1～3层的特征向量进行下采样；将前三层的特征

分别进行深度卷积降采样到与

分辨率相同的大小，得到金字塔level 1~3的网络输出

，金字塔level 4的输出

即为第四层SACB的输出

；

将各level的特征

按通道维度进行串联，若金字塔每级特征的通道数分别为

，则串联后的特征通道数为

。

6.根据权利要求1所述的一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，其特征在于，所述步骤c中聚合层将每一流FPLAN的输出在特征通道维度进行串联，得到多通道肌电手势特征；具有Dropout的全连接层长度为128，随机丢弃率为0.2，采用Softmax激活的全连接层长度为手势识别标签数。

7.根据权利要求1所述的一种融合双注意力机制的特征金字塔网络的肌电手势识别方法，其特征在于，所述步骤3中，对训练样本集使用时间扭曲和幅度扭曲的方法进行两倍的扩充。

Images