CN115601833A - 一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统 - Google Patents

Abstract

本发明提出了一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统。以多流卷积神经网络(MS‑CNN)为基准模型，在此加入通道注意力层(CAM)，使每个单流CNN模型在提取特征时能够学习到更为细化的特征，并滤除无用的特征信息，提升了网络的泛化能力。同时，将加入时序注意力层(TSA)的长短期记忆网络(LSTM)应用至手势识别方法中，以解决CNN模型忽略时序信息的问题，并减少无关特征。

Description

一种融合双层注意力与多流卷积的肌电手势识别记忆网络方 法及系统

技术领域

本发明属于信号处理、模式识别技术领域，特别是涉及一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法及系统。

背景技术

随着科学技术的发展，人机交互中的肌电信号手势识别被广泛应用。为了有效地提取各种手势信息，业界提出了诸多方法，其中通过肌电图可更好的捕获手势信息，因为它通过捕捉肌肉活动的生物电信号可以反映人体某一特定动作。而肌电信号的采集方式分为表面电极(电极贴片)和针式电极两种。前者只需在待测区域的皮肤表面放置电极贴片以此来测量肌肉动作电位，所以采集的信号称为表面肌电信号。相较于后者穿透皮肤的侵入式采集，该方式不会对人体造成伤害。

早期基于表面肌电信号的手势识别研究主要使用传统的机器学习模型^[7]，步骤包括信号检测、信号预处理、特征提取和模式分类四个阶段。其核心是特征提取和模式分类，目的是通过特征识别来区分表面肌电信号继而传输到分类器进行识别。近年来，相关人员研究了一些时域、频域和时频域相结合的特征提取方法。但传统的机器学习模型的特征提取的设计及选择过程较为复杂，且特征组合的方法也样式繁多，因此导致人工提取的工作量增加。同时，由于表面肌电信号的随机性和肌肉之间严重的串扰，在人工提取特征的过程中也会很容易掩盖有效的信息。

随着深度学习技术的兴起，为人类运动意图的识别提供了一个崭新的方向。深度学习算法是一种特殊的机器学习算法，具有较强的学习能力和特征提取能力。而特征提取是深度学习模型里的一部分，它能够节省大量的人工特征提取时间。虽然CNN擅长提取表面肌电信号的空间信息，但它忽略了肌肉连续收缩过程中的时间信息，导致识别精度难以进一步提升。

发明内容

本发明提出的融合双层注意力与多流卷积的肌电手势识别记忆网络方法，仅通过较少的计算量，便可有效的解决表面肌电信号使用卷积神经网络提取特征的过程中易丢失有效信息和忽略时序信息的问题。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，包括

采集肌电图像数据并对其进行使用滑动窗口预处理后生成表面肌电图像；

将表面肌电图像输入融合神经网络后输出识别结果，所述融合神经网络包括嵌入了通道注意力单元的多流模块MS-CNN和嵌入了时序注意力单元的长短期记忆模块LSTM。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，多流MS-CNN网络进行特征提取，具体是

首先利用多流CNN网络，以此对表面肌电信号的多个sEMG图像进行并行建模；每个单流CNN模型共有七层，前两层为卷积层，其中每层由64个3×3的卷积滤波器组成，并在第二层后面加入了通道注意力层CAM；

然后采用两个局部连接层，每层由64个1×1局部连接层来提取sEMG图像的局部特征；

最后三层分别由512、512和128个单元组成的全连接层，其中前两层为具有dropout的全连接层，以此来减少过拟合；每层后都加入了批量归一化(BN)和修正线性单元ReLU，以此来减少内部协变量偏移，从而加速网络收敛，防止梯度消失。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，多流模块MS-CNN选择自适应矩估计Adam作为网络优化器；CNN用作特征提取器，将滑动窗口处理sEMG肌电图转换为特征向量。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，使用长短期记忆模块LSTM进行时序信息提取

在多流CNN网络的第七层后添加了两个堆叠的LSTM层，每个LSTM有128个单元，同时设置dropout的值为0.5，通过dropout方法来抑制过拟合；

LSTM属于门控RNN的范畴，它使用门(Sigmoid激活函数，然后逐点相乘)来创建通过时间的路径，其导数既不会消失也不会爆炸；每个LSTM单元包含四种结构，分别为输入门、输出门、遗忘门和单元状态。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，长短期记忆模块LSTM结构基于以下公式：

f_t＝σ(W_f.[h_t-1,g_t]+b_f) (1)

i_t＝σ(W_i.[h_t-1,g_t]+b_i) (2)

o_t＝σ(W_o[h_t-1,g_t]+b_o) (3)

h_t＝o_t·tanh(C_t) (6)

其中σ是Sigmoid激活函数，i_t、f_t、o_t、C_t分别是输入门、遗忘门、输出门和单元状态，W_i、W_f、W_c、W_o是不同状态下的门对应的权重向量，b_i、b_f、b_c、b_o是不同状态下的门对应的偏置向量，g_t是当前节点的输入，h_t和C_t是LSTM网络的输出。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，通道注意力单元具体工作流程是：

对输入的特征图进行空间维度压缩，

使用平均池化和最大池化操作以后得到两个一维矢量；

将两个一维矢量发送到共享网络，并产生通道注意力图M_c∈R^l×c；共享网络由具有一个隐藏层的多层感知器(MLP)组成；将隐藏激活大小设置为R^C/r×1，其中r为压缩率；

将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数M_c。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，通道注意力单元的计算公式为：

其中σ表示Sigmoid激活函数，

和

分别表示平均池化向量和最大池化向量，W₀和W₁代表的是多层感知机模型中的两层参数，W₀和W₁之间的特征需要使用ReLU作为激活函数去处理。

在上述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，时序注意力层，注意力层将LSTM网络输出的h_t输入到一个单层的MLP中得到的u_t，其中u_t也可作为h_t的隐含表示；之后随机初始化得到权重向量w^T，u_t经过softmax标准化得到注意力权重α_t，向量r_t则是时间序列加权求和；输出后连接的是G类手势标签的全连接层和softmax分类器；其注意力层的公式表示如下：

u_t＝tanh(W_ωh_t+b_ω) (8)

α_t＝softmax(w^Tu_t) (9)

其中，h_t是LSTM模块的第t个隐藏单元的输出，W_ω和w^T是注意力层加权权重，α_t是第t个注意权重，r_t是注意力模块的输出。

一种融合双层注意力与多流卷积的肌电手势识别记忆网络系统，包括

第一模块：被配置为用于采集肌电图像数据并对其进行使用滑动窗口预处理后生成表面肌电图像；

第二模块：被配置为用于将表面肌电图像输入融合神经网络后输出识别结果，所述融合神经网络包括嵌入了通道注意力单元的多流模块MS-CNN和嵌入了时序注意力单元的长短期记忆模块LSTM。

因此，本发明具有如下优点：1.本发明利用将10个单流CNN网络组成多流CNN网络模型，能有更多的局部感受野和权值共享的特点，对于表面肌电信号这种信号能够更高效地提取手势的高级语义信息，提高识别精度。2.本发明利用LSTM网络能够稳定且有效地学习长期依赖信息的特点，充分的处理因CNN网络忽略的sEMG时序信息的问题，进而提升手势识别精确。3.本发明分别将两种注意力作用于MS-CNN网络和LSTM网络提取性的局部细粒度特征。在MS-CNN中CAM能够给重要特征图分配的权值更多，并且抑制非重要特征图的干扰。在LSTM中TSA能够学习输入的时间序列信号，继而减少随时间增加的个体之间的无关信息。注意力能够关注肌电信号的不同部分，最终提升了网络的识别能力。4.本发明的识别效果均高于目前大多数主流模型的评价指标，其中在NinaPro数据集上，DB1、DB2分别达到了86.42％、80.60％，在业界具有了相当高的识别精度。

附图说明

图1为融合双层注意力与多流卷积的肌电手势识别记忆网络框图。

图2为本发明所使用的滑动窗口结构图。

图3为本发明所使用的LSTM的内部结构图。

图4为为本发明所使用的通道注意力图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明提出了融合双层注意力与多流卷积的肌电手势识别记忆网络框架的方法。以多流卷积神经网络(MS-CNN)为基准模型，在此加入通道注意力层(CAM)，使每个单流CNN模型在提取特征时能够学习到更为细化的特征，并滤除无用的特征信息，提升了网络的泛化能力。同时，将加入时序注意力层(TSA)的长短期记忆网络(LSTM)应用至手势识别方法中，以解决CNN模型忽略时序信息的问题，并减少无关特征。本发明提出的网络结构模型如图1所示，网络框架主要嵌入了通道注意力层、时序注意力层分别与多流卷积和长短期记忆模块相融合。具体步骤如下：

步骤1：使用MS-CNN网络进行特征提取

在数据预处理阶段使用滑动窗口生成表面肌电图像，输出的肌电图像可以作为MS-CNN模型的输入，滑动窗口如图2所示。首先利用多流CNN网络，以此对表面肌电信号的多个sEMG图像进行并行建模。每个单流CNN模型共有七层，前两层为卷积层，其中每层由64个3×3的卷积滤波器组成，并在第二层后面加入了CAM。接下来是两个局部连接层，每层由64个1×1局部连接层来提取sEMG图像的局部特征。最后三层分别由512、512和128个单元组成的全连接层，其中前两层为具有dropout的全连接层，以此来减少过拟合。每层后都加入了批量归一化(BN)和修正线性单元(ReLU)，以此来减少内部协变量偏移，从而加速网络收敛，防止梯度消失。该网络选择自适应矩估计(Adam)作为网络优化器。CNN用作特征提取器，将滑动窗口处理sEMG肌电图转换为特征向量，并且在CNN模型中加入通道注意力模块能够使其学习到更为细化深层特征。

步骤2：使用LSTM网络进行时序信息提取

在多流CNN网络的第七层后添加了两个堆叠的LSTM层，每个LSTM有128个单元，同时设置dropout的值为0.5，通过dropout方法来抑制过拟合。

LSTM属于门控RNN的范畴，它使用门(Sigmoid激活函数，然后逐点相乘)来创建通过时间的路径，其导数既不会消失也不会爆炸。每个LSTM单元包含四种结构，分别为输入门、输出门、遗忘门和单元状态，其模型如图3所示。

f_t＝σ(W_f.[h_t-1,g_t]+b_f) (11)

i_t＝σ(W_i.[h_t-1,g_t]+b_i) (12)

o_t＝σ(W_o[h_t-1,g_t]+b_o) (13)

h_t＝o_t·tanh(C_t) (16)

其中σ是Sigmoid激活函数，i_t、f_t、o_t、C_t分别是输入门、遗忘门、输出门和单元状态，W_i、W_f、W_c、W_o是不同状态下的门对应的权重向量，b_i、b_f、b_c、b_o是不同状态下的门对应的偏置向量，g_t是当前节点的输入，h_t和C_t是LSTM网络的输出。

步骤3：使用通道注意力层与时序注意力层提高表征能力

在MS-CNN网络模块中加入了通道注意力层，它能够解决CNN模型不能专注于有效特征使得提取特征不充分这一问题，因此需要通过通道注意力层给重要特征图的权值更多，并且抑制非重要特征图的干扰。同时在LSTM网络模块中加入了时序注意力层。由于LSTM层提取的深层特征数量随着输入时间序列信号的长度而增加，个体之间的差异而导致的无关特征也增加。为了克服这个问题，通过引入一个注意力层来学习输入的时间序列信号。它不仅仅关注着最后一个状态，还能够关注LSTM的中间状态。此注意力层能够为每个中间状态分配一个权重，然后将它们融合并输出一个新的特征。最后，将注意力机制生成的新特征送到全连接层进行最终推理。

通道注意力模块图如图4所示，其具体流程就是对输入的特征图进行空间维度压缩，之后使用平均池化和最大池化操作以后得到两个一维矢量。然后将这两个特征向量发送到共享网络，并产生通道注意力图M_c∈R^l×c。该共享网络由具有一个隐藏层的多层感知器(MLP)组成。为了降低参数开销，将隐藏激活大小设置为R^C/r×1，其中r为压缩率。再将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数M_c。言简意赅，通道注意力模块的计算公式为：

其中σ表示Sigmoid激活函数，

和

分别表示平均池化向量和最大池化向量，W₀和W₁代表的是多层感知机模型中的两层参数，W₀和W₁之间的特征需要使用ReLU作为激活函数去处理。

同时还使用了时序注意力层，注意力层将LSTM网络输出的h_t输入到一个单层的MLP中得到的u_t，其中u_t也可作为h_t的隐含表示。之后随机初始化得到权重向量w^T，u_t经过softmax标准化得到注意力权重α_t，向量r_t则是时间序列加权求和。输出后连接的是G类手势标签的全连接层和softmax分类器。其注意力层的公式表示如下：

u_t＝tanh(W_ωh_t+b_ω) (18)

α_t＝softmax(w^Tu_t) (19)

其中，h_t是LSTM模块的第t个隐藏单元的输出，W_ω和w^T是注意力层加权权重，α_t是第t个注意权重，r_t是注意力模块的输出。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，包括

采集肌电图像数据并对其进行使用滑动窗口预处理后生成表面肌电图像；

将表面肌电图像输入融合神经网络后输出识别结果，所述融合神经网络包括嵌入了通道注意力单元的多流模块MS-CNN和嵌入了时序注意力单元的长短期记忆模块LSTM。

2.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，多流MS-CNN网络进行特征提取，具体是

首先利用多流CNN网络，以此对表面肌电信号的多个sEMG图像进行并行建模；每个单流CNN模型共有七层，前两层为卷积层，其中每层由64个3×3的卷积滤波器组成，并在第二层后面加入了通道注意力层CAM；

然后采用两个局部连接层，每层由64个1×1局部连接层来提取sEMG图像的局部特征；

最后三层分别由512、512和128个单元组成的全连接层，其中前两层为具有dropout的全连接层，以此来减少过拟合；每层后都加入了批量归一化(BN)和修正线性单元ReLU，以此来减少内部协变量偏移，从而加速网络收敛，防止梯度消失。

3.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，多流模块MS-CNN选择自适应矩估计Adam作为网络优化器；CNN用作特征提取器，将滑动窗口处理sEMG肌电图转换为特征向量。

4.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，使用长短期记忆模块LSTM进行时序信息提取

在多流CNN网络的第七层后添加了两个堆叠的LSTM层，每个LSTM有128个单元，同时设置dropout的值为0.5，通过dropout方法来抑制过拟合；

LSTM属于门控RNN的范畴，它使用门(Sigmoid激活函数，然后逐点相乘)来创建通过时间的路径，其导数既不会消失也不会爆炸；每个LSTM单元包含四种结构，分别为输入门、输出门、遗忘门和单元状态。

5.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，长短期记忆模块LSTM结构基于以下公式：

f_t＝σ(W_f.[h_t-1,g_t]+b_f) (1)

i_t＝σ(W_i.[h_t-1,g_t]+b_i) (2)

o_t＝σ(W_o[h_t-1,g_t]+b_o) (3)

h_t＝o_t·tanh(C_t) (6)

其中σ是Sigmoid激活函数，i_t、f_t、o_t、C_t分别是输入门、遗忘门、输出门和单元状态，W_i、W_f、W_c、W_o是不同状态下的门对应的权重向量，b_i、b_f、b_c、b_o是不同状态下的门对应的偏置向量，g_t是当前节点的输入，h_t和C_t是LSTM网络的输出。

6.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，通道注意力单元具体工作流程是：

对输入的特征图进行空间维度压缩，

使用平均池化和最大池化操作以后得到两个一维矢量；

将两个一维矢量发送到共享网络，并产生通道注意力图M_c∈R^l×c；共享网络由具有一个隐藏层的多层感知器(MLP)组成；将隐藏激活大小设置为R^C/r×1，其中r为压缩率；

将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数M_c。

7.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，通道注意力单元的计算公式为：

其中σ表示Sigmoid激活函数，

和

分别表示平均池化向量和最大池化向量，W₀和W₁代表的是多层感知机模型中的两层参数，W₀和W₁之间的特征需要使用ReLU作为激活函数去处理。

8.根据权利要求1所述的一种融合双层注意力与多流卷积的肌电手势识别记忆网络方法，其特征在于，时序注意力层，注意力层将LSTM网络输出的h_t输入到一个单层的MLP中得到的u_t，其中u_t也可作为h_t的隐含表示；之后随机初始化得到权重向量w^T，u_t经过softmax标准化得到注意力权重α_t，向量r_t则是时间序列加权求和；输出后连接的是G类手势标签的全连接层和softmax分类器；其注意力层的公式表示如下：

u_t＝tanh(W_ωh_t+b_ω) (8)

α_t＝softmax(w^Tu_t) (9)

其中，h_t是LSTM模块的第t个隐藏单元的输出，W_ω和w^T是注意力层加权权重，α_t是第t个注意权重，r_t是注意力模块的输出。

9.一种融合双层注意力与多流卷积的肌电手势识别记忆网络系统，其特征在于，包括

第一模块：被配置为用于采集肌电图像数据并对其进行使用滑动窗口预处理后生成表面肌电图像；

第二模块：被配置为用于将表面肌电图像输入融合神经网络后输出识别结果，所述融合神经网络包括嵌入了通道注意力单元的多流模块MS-CNN和嵌入了时序注意力单元的长短期记忆模块LSTM。

Images