CN110610172A - 一种基于rnn-cnn架构的肌电手势识别方法 - Google Patents

Abstract

一种基于RNN‑CNN架构的肌电手势识别方法，依据肌电信号的时序特性，先对各通道信号使用RNN架构进行特征提取，再使用CNN架构对融合后的特征图进一步提取，主要包含以下步骤：数据预处理；RNN模块对预处理后的数据进行初步的特征提取；融合模块对RNN的输出结果进行融合处理；CNN模块对融合模块的输出结果进行特征提取与分析；分类模块用于模型输出对输入手势信号的判别，即根据当前输入的肌电信号判断它属于哪一个手势类别。本发明可以有效提取数据的时序关联性与特征，同时提高手势识别率；在数据预处理阶段引入最值点选取与拼接方法，减少了模型训练时间；避免了通道间的相互干扰，最后融合阶段利用多个通道的关联性，有利于肌电信号的识别。

Description

一种基于RNN-CNN架构的肌电手势识别方法

技术领域

本发明涉及生理信号识别领域，具体涉及一种基于RNN-CNN架构的肌电手势识别方法。

背景技术

肌电信号是一种常见的生理信号，它由肌肉纤维的电位变化产生，能够反映肌肉运动并提供肢体活动信息。不同手势动作的肌电信号通常具有一定的差异性，因此肌电信号可以用于手部各种动作的识别，辅助远程操控和机械臂等方面的研究。在基于肌电信号的手势识别中，一般使用非入侵方式的传感器获取肌电信号，目前用于肌电信号的手势识别方法可以归结于两大类：基于机器学习的手势识别方法、以及基于深度学习的手势识别方法。

基于机器学习的手势识别方法通常由三个阶段组成：预处理、特征提取和分类。在信号处理时，原始的肌电信号很少直接用于识别前臂动作，一般需要预处理操作，将易于影响准确率的环境噪音、传感器设备的内部噪音和电极产生的噪音消除。特征提取将肌电信号转换为紧凑、信息丰富的特征集。常见的特征有均方根、过零率和平均绝对值等等。常用的分类方法有线性判别分析、支持向量机、随机森林等机器学习方法。基于深度学习的手势识别方法通常由两个部分组成：特征提取和分类。前者致力于数据的预处理、模型的构建与优化，实现模型与肌电的最优匹配。后者负责对已经搭建的模型学习与训练，最终达到手势识别的目的。目前基于肌电的手势识别的深度学习模型一般使用卷积神经网络（Convolutional Neural Network，CNN）或者循环神经网络（Recurrent Neural Network，RNN）进行搭建。常规的CNN或RNN模型一般有多次卷积操作、池化操作和批量归一化操作。模型需要训练的数据除进行降噪处理外，通常进行频谱变换，将时序信号转换为频率信号，这在一定程度上可以降低模型学习数据特征的难度。对于多通道的肌电数据，深度学习模型一般使用多个卷积核或并行架构来学习各个通道的肌电特征，最后再进行融合处理。

目前这两类研究都还存在一定局限：基于机器学习的识别方法能够识别的手势数目较少，而基于深度学习的识别方法一方面未简化肌电信号，易导致模型训练时间过长；另一方面未充分考虑肌电信号的时序性，易影响模型精度的进一步提高。

发明内容

本发明针对这些缺点，提出了基于RNN-CNN架构的肌电手势识别方法。

一种基于RNN-CNN架构的肌电手势识别方法，该手势识别方法依据肌电信号的时序特性，先对各通道信号使用处理序列问题效果较好的RNN架构进行特征提取，再使用CNN架构对融合后的特征图进一步提取，主要包含以下步骤：

步骤1：数据预处理；

步骤2：RNN模块对预处理后的数据进行初步的特征提取；

步骤3：融合模块对RNN的输出结果进行融合处理；

步骤4：CNN模块对融合模块的输出结果进行特征提取与分析；

步骤5：分类模块用于模型输出对输入手势信号的判别，即根据当前输入的肌电信号判断它属于哪一个手势类别。

进一步地，所述步骤1中的数据预处理，依次包括降噪、信号同步、重新标记和将肌电信号转换为二维格式四个步骤。

进一步地，数据预处理中的降噪处理，使用Hampel滤波器进行滤波，对原始的肌电信号过滤，清除50 Hz电力线干扰的信号。

进一步地，数据预处理中的信号同步，将肌电信号同步，使所有通道的信号处于同一时间轴上。

进一步地，数据预处理中的重新标记，对于不同动作的肌电信号，根据手势的不同进行相应的标记，即给同一类手势的肌电信号标记标签。

进一步地，数据预处理中的将肌电信号转换为二维格式，如为单通道的肌电数据，具体为：

首先设置滑动窗口大小Mms，该M一般小于300ms，和滑动步长Nms，可以产生(T-M)/N+1个信号子段S，每段信号S _i (i∈{1, 2, …, (T-M)/N+1})的数据点个数为M*F；

再对每段信号S _i 进行筛选，筛选步骤如下：将S _i 分割成J个子块，由于肌电信号存在正负性，因此选取每个子块S _ij 中绝对值最大的点MaxS _ij (j∈{1, 2, …, J})，并将所有最值点按时间序列排序，得到新的肌电序列A _i (i∈{1, 2, …, (T-M)/N+1})；

最后将每段信号A _i 变换为二维格式W*H（其中W代表时间步，H代表每个时间步的神经元个数），且W*H=M*F；

对于多通道的肌电数据而言，则按通道顺序将各个通道的数据按上述操作进行预处理。

进一步地，步骤2中，RNN模块采用并行架构，它的层次数目由通道数目决定；每一个并行的RNN模型架构相同，具体由两个LSTM组成，且在每个LSTM层中使用了Attention机制；设置LSTM的时间步、时间步中的结点参数分别为W和H。

进一步地，步骤3中，RNN模块输出二维格式的特征数据F _i (i∈{1, 2, …, C})，C为设备的通道数目；F _i 的格式为W _Fi *H _Fi ，W _Fi 表示输出序列的时间步，H _Fi 表示每个时间步的神经元个数；在融合阶段将各个通道的特征数据变形为多通道的图片格式的数据，即W _Fi *H _Fi * C。

进一步地，步骤4中，CNN模块采用线性结构，由三个卷积神经网络层组成，三个卷积神经网络层的参数设置如下：设置第一层CNN的卷积核个数为Filter1，步长分别为S _f11 和S _f12 ，卷积核大小为W _f1 *H _f1 ；设置第二层CNN的卷积核个数为Filter2，步长分别为S _f21 和S _f22 ，卷积核大小为W _f2 *H _f2 ；设置第三层CNN的卷积核个数为Filter3，步长分别为S _f31 和S _f32 ，卷积核大小为W _f3 *H _f3 ；在每个CNN层后使用批量标准化层Batch Normalization和激活函数RuLu，通过批量标准化层避免数据差异性过大，通过激活函数实现去模型架构去线性化。

进一步地，步骤5中，分类模块将CNN模块的输出结果扁平化后使用全连接层连接，设置全连接层的神经元个数为Q；增加神经元的冻结率为R的Dropout层，减少模块出现过拟合的情况，最后连接Softmax分类层，它的神经元个数是需要分类的手势数目，返回当前信号属于各个手势的概率值，最大概率的手势代表该信号的手势类别。

该方法针对信号的时序特性，按通道使用RNN架构对肌电信号提取时序特征；使用CNN架构进一步提取融合后的多通道特征。本发明提高了识别率，减轻的训练时长，可应用在远程操控、机械臂等应用研究中。

附图说明

图1为肌电信号的数据预处理图。

图2为RNN-CNN模型架构图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

一种基于RNN-CNN架构的肌电手势识别方法，该手势识别方法依据肌电信号的时序特性，先对各通道信号使用处理序列问题效果较好的RNN架构进行特征提取，再使用CNN架构对融合后的特征图进一步提取，主要包含以下步骤：

步骤1：数据预处理。

如图1所示，从肌电采集设备获取肌电信号后，一般不能直接使用该信号，需要采取几个步骤进行信号处理。假设肌电设备的采样频率为FHz，每个手势的采样时长为Tms，设备的通道数目为C个，且肌电信号的数据格式为一维格式，单位为电压单位。数据预处理，依次包括降噪、信号同步、重新标记和将肌电信号转换为二维格式四个步骤。

降噪处理，使用Hampel滤波器进行滤波，对原始的肌电信号过滤，清除50 Hz电力线干扰的信号。

信号同步，由于获取肌电信号时受设备延迟、传输延迟、测试延迟等影响，所以需要将肌电信号同步。该操作可以去除不属于当前动作的、无效的肌电信号，且使所有通道的信号处于同一时间轴上。

重新标记，对于不同动作的肌电信号，根据手势的不同进行相应的标记，即给同一类手势的肌电信号标记标签。

将肌电信号转换为二维格式，以单通道的肌电数据为例，具体为：

首先设置滑动窗口大小Mms，该M一般小于300ms，和滑动步长Nms，可以产生(T-M)/N+1个信号子段S，每段信号S _i (i∈{1, 2, …, (T-M)/N+1})的数据点个数为M*F。

再对每段信号S _i 进行筛选，筛选步骤如下：将S _i 分割成J个子块，由于肌电信号存在正负性，因此选取每个子块S _ij 中绝对值最大的点MaxS _ij (j∈{1, 2, …, J})，并将所有最值点按时间序列排序，得到新的肌电序列A _i (i∈{1, 2, …, (T-M)/N+1})。

最后将每段信号A _i 变换为二维格式W*H（其中W代表时间步，H代表每个时间步的神经元个数），且W*H=M*F。

对于多通道的肌电数据而言，则按通道顺序将各个通道的数据按上述操作进行预处理即可。

步骤2：RNN模块对预处理后的数据进行初步的特征提取。

步骤2中，如图2中的RNN模块所示，RNN模块采用并行架构，它的层次数目由通道数目决定；每一个并行的RNN模型架构相同，具体由两个LSTM组成，且在每个LSTM层中使用了Attention机制；设置LSTM的时间步、时间步中的结点参数分别为W和H。RNN的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。LSTM是RNN的变种，它有效解决了RNN中长期依赖的问题，有助于处理当前时刻的数据与较短的前后时刻的数据的关联性。肌电信号可看作为时序信号，信号的前后部分是相互关联的，因此先采用LSTM层对肌电信号进行特征提取，并行的层次架构可以有效地提取各个通道的肌电特征。

步骤3：融合模块对RNN的输出结果进行融合处理。

步骤3中，如图2中的融合模块所示，RNN模块输出二维格式的特征数据F _i (i∈{1,2, …, C})，C为设备的通道数目；F _i 的格式为W _Fi *H _Fi ，W _Fi 表示输出序列的时间步，H _Fi 表示每个时间步的神经元个数；在融合阶段将各个通道的特征数据变形为多通道的图片格式的数据，即W _Fi *H _Fi *C。

步骤4：CNN模块对融合模块的输出结果进行特征提取与分析。

步骤4中，如图2中的CNN模块所示，CNN模块采用线性结构，由三个卷积神经网络层组成，三个卷积神经网络层的参数设置如下：设置第一层CNN的卷积核个数为Filter1，步长分别为S _f11 和S _f12 ，卷积核大小为W _f1 *H _f1 ；设置第二层CNN的卷积核个数为Filter2，步长分别为S _f21 和S _f22 ，卷积核大小为W _f2 *H _f2 ；设置第三层CNN的卷积核个数为Filter3，步长分别为S _f31 和S _f32 ，卷积核大小为W _f3 *H _f3 ；在每个CNN层后使用批量标准化层Batch Normalization和激活函数RuLu，通过批量标准化层避免数据差异性过大，有利于深度网路更加快速、稳定的训练，通过激活函数实现去模型架构去线性化。

步骤5：分类模块用于模型输出对输入手势信号的判别，即根据当前输入的肌电信号判断它属于哪一个手势类别。

步骤5中，如图2中的分类模块所示，分类模块将CNN模块的输出结果扁平化后使用全连接层连接，设置全连接层的神经元个数为Q；增加神经元的冻结率为R的Dropout层，减少模块出现过拟合的情况，最后连接Softmax分类层，它的神经元个数是需要分类的手势数目，返回当前信号属于各个手势的概率值，最大概率的手势代表该信号的手势类别。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (10)

1.一种基于RNN-CNN架构的肌电手势识别方法，其特征在于：

所述手势识别方法依据肌电信号的时序特性，先对各通道信号使用处理序列问题效果较好的RNN架构进行特征提取，再使用CNN架构对融合后的特征图进一步提取，主要包含以下步骤：

步骤1：数据预处理；

步骤2：RNN模块对预处理后的数据进行初步的特征提取；

步骤3：融合模块对RNN的输出结果进行融合处理；

步骤4：CNN模块对融合模块的输出结果进行特征提取与分析；

步骤5：分类模块用于模型输出对输入手势信号的判别，即根据当前输入的肌电信号判断它属于哪一个手势类别。

2.根据权利要求1所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：所述步骤1中的数据预处理，依次包括降噪、信号同步、重新标记和将肌电信号转换为二维格式四个步骤。

3. 根据权利要求2所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：数据预处理中的降噪处理，使用Hampel滤波器进行滤波，对原始的肌电信号过滤，清除50 Hz电力线干扰的信号。

4.根据权利要求2所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：数据预处理中的信号同步，将肌电信号同步，使所有通道的信号处于同一时间轴上。

5.根据权利要求2所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：数据预处理中的重新标记，对于不同动作的肌电信号，根据手势的不同进行相应的标记，即给同一类手势的肌电信号标记标签。

6.根据权利要求2所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：数据预处理中的将肌电信号转换为二维格式，如为单通道的肌电数据，具体为：

首先设置滑动窗口大小Mms，该M一般小于300ms，和滑动步长Nms，可以产生(T-M)/N+1个信号子段S，每段信号S _i (i∈{1, 2, …, (T-M)/N+1})的数据点个数为M*F；

再对每段信号S _i 进行筛选，筛选步骤如下：将S _i 分割成J个子块，由于肌电信号存在正负性，因此选取每个子块S _ij 中绝对值最大的点MaxS _ij (j∈{1, 2, …, J})，并将所有最值点按时间序列排序，得到新的肌电序列A _i (i∈{1, 2, …, (T-M)/N+1})；

最后将每段信号A _i 变换为二维格式W*H（其中W代表时间步，H代表每个时间步的神经元个数），且W*H=M*F；

对于多通道的肌电数据而言，则按通道顺序将各个通道的数据按上述操作进行预处理。

7.根据权利要求1所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：步骤2中，RNN模块采用并行架构，它的层次数目由通道数目决定；每一个并行的RNN模型架构相同，具体由两个LSTM组成，且在每个LSTM层中使用了Attention机制；设置LSTM的时间步、时间步中的结点参数分别为W和H。

8. 根据权利要求1所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：步骤3中，RNN模块输出二维格式的特征数据F _i (i∈{1, 2, …, C})，C为设备的通道数目；F _i 的格式为W _Fi *H _Fi ，W _Fi 表示输出序列的时间步，H _Fi 表示每个时间步的神经元个数；在融合阶段将各个通道的特征数据变形为多通道的图片格式的数据，即W _Fi *H _Fi *C。

9. 根据权利要求1所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：步骤4中，CNN模块采用线性结构，由三个卷积神经网络层组成，三个卷积神经网络层的参数设置如下：设置第一层CNN的卷积核个数为Filter1，步长分别为S _f11 和S _f12 ，卷积核大小为W _f1 * H _f1 ；设置第二层CNN的卷积核个数为Filter2，步长分别为S _f21 和S _f22 ，卷积核大小为W _f2 *H _f2 ；设置第三层CNN的卷积核个数为Filter3，步长分别为S _f31 和S _f32 ，卷积核大小为W _f3 *H _f3 ；在每个CNN层后使用批量标准化层Batch Normalization和激活函数RuLu，通过批量标准化层避免数据差异性过大，通过激活函数实现去模型架构去线性化。

10.根据权利要求1所述的基于RNN-CNN架构的肌电手势识别方法，其特征在于：步骤5中，分类模块将CNN模块的输出结果扁平化后使用全连接层连接，设置全连接层的神经元个数为Q；增加神经元的冻结率为R的Dropout层，减少模块出现过拟合的情况，最后连接Softmax分类层，它的神经元个数是需要分类的手势数目，返回当前信号属于各个手势的概率值，最大概率的手势代表该信号的手势类别。