CN113988135A - 一种基于双分支多流网络的肌电信号手势识别方法 - Google Patents

Abstract

一种基于双分支多流网络的肌电信号手势识别方法，将每一个采集电极获得的肌电信号数据，经过数据预处理后，直接作为网络流的一个独立输入，并构建了合适的模型架构与这一输入方式相匹配。相较于传统的先合并数据后分割方式，该方式在数据预处理时更加简便，同时能够减少因分割操作带来的时间开销，提高模型的运行效率；构建的网络模型分别从整体与局部的角度，分析肌电信号与对应手势之间的内在关联性，同时利用投票机制结合两个分支网络的输出来确定最终识别结果，使两个分支网络形成互补效益，弥补了各自的固有缺陷，进而提高手势识别的准确度。

Description

一种基于双分支多流网络的肌电信号手势识别方法

技术领域

本发明属于生理信号识别领域，具体涉及一种基于双分支多流网络的肌电信号手势识别方法。

背景技术

表面肌电信号(surface ElectroMyoGram，sEMG)是肌肉收缩时产生的电信号，是在体表无创检测肌肉活动的重要途径。表面肌电信号与人体动作有着密切的联系。通过分析表面肌电信号，研究人员能够分析和识别出人体的动作及行为意图。近年来，基于表面肌电信号的手势识别逐渐成为人机交互领域的前沿研究方向，被广泛应用于康复医学、机械控制、虚拟现实等领域。

传统的肌电手势识别方法一般包括四个环节：信号采集、数据预处理、特征提取和手势分类。信号采集，是将电极置于人体皮肤表面，通过电极连接的采集设备收集和记录电位变化数据。在数据预处理阶段，原始信号经过带通滤波处理，消除噪声与异常数据。对处理后的数据，一般会运用滑动窗口技术，将数据切分成等长的数据段，每一段数据都是用于模型学习的样本数据。特征提取阶段，通常会对采集的数据使用多种提取算法得到一组特征数据，这组特征数据被称为特征集合。最后，特征集合被降维处理后可用于训练分类器，分类器把特征数据映射到给定手势类别中的某一个，从而实现手势分类。线性判别分析、支持向量机和随机森林等都是肌电手势分类中常用的分类器。近几年，深度学习作为机器学习的一个分支方法，在肌电信号手势识别领域展现出较好的性能。采用深度学习的算法不仅取得了比传统方法更低的识别错误率，还大大简化了识别流程。它能自动从训练数据中学习特征，不需要人工设计特征集合提取算法。现阶段，主流的深度学习方法包括卷积神经网络(Convolutional Neural Network，CNN)，循环神经网络(RecurrentNeural Network，RNN)，以及两者的融合等。CNN通过卷积运算，能够提取出输入数据中的高维特征，依据特征对数据进行分类。RNN以序列数据为输入，在序列演进方向进行递归分析。这两类网络都能很好的契合表面肌电信号的样本特点，因此较适合处理肌电信号手势识别问题。

目前，基于深度学习的肌电手势识别方法，对输入样本的处理方式一般可分为两类。一类是整体分析法，这类方法将各个电极采集到的肌电数据合并为一个整体，通过深度学习网络对数据进行整体特征学习与分析，再输出识别结果。另一类是分治分析法，这类方法先将输入数据合并，然后将合并后的整体数据分割为多个等尺寸的片段，再采用多通道并行架构对每一个数据片段进行特征提取，最后用特征融合进行样本分类。这两类方法都存在一定缺陷，整体分析法忽略了手势与某些肌肉组织的强关联性，而分治分析法会随着卷积层数的加深，丢失浅层提取出的细节特征信息。这些缺陷制约了识别准确度的进一步提升。

发明内容

本发明提出了一种基于双分支多流网络的肌电信号手势识别方法。首先，本发明将每一个电极采集获得的肌电信号数据，直接对应一个网络流的独立输入，用于特征提取和分析。其次，本发明设计了一种双分支架构，分别从整体与局部的角度，分析肌电信号与对应手势类别之间的关联性。在此基础上，再使用投票机制结合两个分支网络的输出，从而确定最终的手势识别结果。本发明具体包含以下步骤。

一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述方法包括如下步骤：

步骤1：获取肌电信号数据；通过采集电极设备，记录人体在完成手势动作时对应的肌电信号数据；

步骤2：数据预处理；

步骤3：构建网络模型，用于特征提取与手势分类；该网络模型主要包含2个分支网络模块和1个投票机制模块；

步骤4：使用采集数据对构建的网络模型进行训练，获得最佳的模型参数；

步骤5：应用模型；向网络模型输入所需识别的肌电信号，模型输出手势识别结果。

进一步地，步骤1中，通过采集电极设备，以设定的采样率使用肌电信号采集设备对受测个体进行数据采集，采集电极设备的贴片电极分散地放置于受测个体的手背表面。

进一步地，步骤2的预处理包括如下分步骤：

步骤2.1，在采集获得的原始肌电数据中选取一定时间长度的稳态数据作为有效数据，并进行滤波和去噪处理；

步骤2.2，使用滑动窗口方法对各贴片电极采集到的对应各通道数据进行切分，将同一时间片段内的各通道数据放入同一个集合，并贴上对应的手势动作标签，将每一个集合-标签对象作为一个单独数据样本；

步骤2.3，将步骤2.2处理后的全部数据样本划分为训练集和测试集。

进一步地，步骤3包括如下分步骤：

步骤3.1，构建分支网络模块，包括分支网络1和分支网络2；分支网络1从局部角度分析每一处肌肉与手势的关联性，包含多个并行的网络流、特征融合层、多个全连接层和分类器；每个网络流由多个卷积层和1个长短时记忆LSTM层构成；

分支网络2从整体角度分析肌电数据与手势的关联性，包含多个卷积层、多个全连接层和分类器；

步骤3.2，构建投票机制模块；该模块接收2个分支网络模块的输出，再使用投票机制计算最终的手势识别结果并输出。

进一步地，所述分支网络1的手势识别过程为：首先，将步骤2.2获得的数据样本作为网络的标准输入，将其包含的各通道数据分别对应地输入进各个网络流；然后，使用特征融合层将各个网络流输出的特征进行合并，再输入进全连接层进行维度变换；最终，由分类器接收全连接层输出的特征，再根据特征进行手势分类，进而输出识别结果。

进一步地，所述分支网络2的手势识别过程为：首先，将步骤2.2获得的数据样本中的各通道数据通过特征融合层合并为一个整体，作为网络的标准输入；然后，原始输入依次经过卷积层的特征提取和全连接层的维度变换，再被输入进分类器；最终，由分类器根据特征信息输出手势识别结果。

进一步地，所述投票机制模块接收2个分支网络模块的分类器输出，其输出格式为一个含有K个实数的向量，K个实数对应采集时的K种手势的可能性大小，值介于0到1之间，总和为1，标记为S(i)，表示第i种手势的可能性大小；使用投票机制结合两个分支网络的输出来确定最终结果，其计算公式为：

其中j代表分支网络的编号,S_j(i)代表第j个分支网络输出的第i种手势的可能性大小，a_j代表第j个分支网络的权重系数，probability(i)是经过计算后的第i种手势最终的可能性概率；将K个概率中最大的一项所对应的手势作为最终输出结果，记作g_final，则

probability(g_final)＝max(probability(i),i＝1…K)。

进一步地，所述步骤4中包括如下分步骤：

步骤4.1：利用步骤2.3中得到的训练集单独训练两个分支网络，并通过测试集判断两个分支网络的识别性能，逐层确定最优参数，获得识别性能最佳的网络模型，并保存其对应参数；

步骤4.2：训练投票机制模块，确定最优权重系数。

本发明的有益效果：

(1)本方法将每一个采集电极获得的肌电信号数据，经过数据预处理后，直接作为网络流的一个独立输入，并构建了合适的模型架构与这一输入方式相匹配。相较于传统的“先合并数据后分割”方式，该方式在数据预处理时更加简便，同时能够减少因分割操作带来的时间开销，提高模型的运行效率。

(2)本方法构建的网络模型分别从整体与局部的角度，分析肌电信号与对应手势之间的内在关联性，同时利用投票机制结合两个分支网络的输出来确定最终识别结果，使两个分支网络形成互补效益，弥补了各自的固有缺陷，进而提高手势识别的准确度。

附图说明

图1是本发明实施例中的基于双分支多流网络的肌电信号手势识别方法的实施流程图。

图2是本发明实施例中的双分支多流网络的模型架构示意图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

针对目前现有技术中存在的缺陷，本发明分别从整体和局部的角度，通过深度学习网络，分析肌电信号与对应手势之间的内在关联性。在此基础上，再引入投票机制，融合上述两种分析方式的识别结果，具体通过如下步骤实现。

步骤1获取肌电信号数据。通过采集电极设备，以100赫兹的采样率使用肌电信号采集设备对受测个体进行数据采集，设备共有10个贴片电极，贴片电极分散地放置于手背表面。受测个体重复执行每个动作6次，每次持续时间为12秒。

步骤2对获取到的原始肌电数据进行预处理操作。首先从每个手势12秒执行时间中选取8秒的稳态数据作为有效数据，利用带通滤波和去噪，将肌电数据中的异常点去除。接着，使用滑动窗口方法对10个电极采集到的数据分别进行切分，滑动窗口长度为150毫秒，滑动步长为40毫秒。以电极编号进行排序，将同一时间片段内的各通道数据分别标记为x₁,x₂,...,x₁₀，再放入同一个集合X，即X＝{x_n}，n＝(1,2,…,10)，按照时间片段的先后顺序依次对集合进行编号，并给每一个集合贴上对应的手势动作标签，将每一个“集合-标签”对象作为一个单独的数据样本。在获得全部的数据样本后，按照手势动作的重复执行的顺序，将同一动作的6次重复分别标记为1至6号，将其中的1至4号重复划分为训练集，将5号和6号重复划分为测试集。

步骤3构建图2所示的双分支多流网络模型，该网络模型基于卷积神经网络和循环神经网络实现，主要包含三个部分：2个分支网络模块和1个投票机制模块。

分支网络1从局部角度分析每一处肌肉与手势的关联性，本实施例中包含10个并行的网络流、特征融合层、2个全连接层和Softmax分类器。本实施例中每个网络流由5个一维卷积层和1个长短时记忆层构成，步骤2获得的数据样本中的各通道数据分别作为各个网络流的输入。特征融合层将各个网络流输出的特征进行合并，再输入进全连接层进行维度变换。分类器在接收全连接层输出的特征后，根据特征进行手势分类，并输出识别结果。

分支网络2从整体角度分析肌电数据与手势的关联性，本实施例中包含3个二维卷积层、2个全连接层和Softmax分类器。步骤2获得的数据样本中的各通道数据通过特征融合层合并为一个整体，作为网络的输入。原始输入经过卷积层的特征提取和全连接层的维度变化，再输入进分类器进行手势分类，最后分类器输出识别结果。

投票机制模块接收2个分支网络模块的Softmax分类器输出，其输出格式为一个含有K个实数的向量，K个实数对应采集时的K种手势的可能性大小，值介于0到1之间，总和为1，标记为S(i)，表示第i种手势的可能性大小。使用投票机制结合两个分支网络的输出来确定最终结果，其计算公式为：

其中j代表分支网络的编号,S_j(i)代表第j个分支网络输出的第i种手势的可能性大小，a_j代表第j个分支网络的权重系数，probability(i)是经过计算后的第i种手势最终的可能性概率。将K个概率(probability)中最大的一项所对应的手势作为最终输出结果，记作g_final，则

probability(g_final)＝max(probability(i),i＝1…K)。

步骤4使用采集数据对模型进行训练，获得识别性能最佳的网络模型，并保存其对应参数。首先利用训练集对2个分支网络单独进行训练，使用Adam优化器计算每个参数的自适应学习率，再通过测试集判定网络模型的识别性能，逐层确定最优参数，保存最终训练所得的最优分支网络模型。在此基础上，使用训练集作为样本，利用二分法求取投票机制模块内两个分支网络的权重系数a₁和a₂的最优值并保存。

步骤5应用模型。向网络模型输入所需识别的肌电信号，对信号数据进行滤波和去噪处理，然后将数据分别输入进两个分支网络获得Softmax分类器输出，再利用投票机制模块计算最终的识别结果并输出。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (8)

1.一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述方法包括如下步骤：

步骤1：获取肌电信号数据；通过采集电极设备，记录人体在完成手势动作时对应的肌电信号数据；

步骤2：数据预处理；

步骤3：构建网络模型，用于特征提取与手势分类；该网络模型主要包含2个分支网络模块和1个投票机制模块；

步骤4：使用采集数据对构建的网络模型进行训练，获得最佳的模型参数；

步骤5：应用模型；向网络模型输入所需识别的肌电信号，模型输出手势识别结果。

2.根据权利要求1所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：步骤1中，通过采集电极设备，以设定的采样率使用肌电信号采集设备对受测个体进行数据采集，采集电极设备的贴片电极分散地放置于受测个体的手背表面。

3.根据权利要求1所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：步骤2的预处理包括如下分步骤：

步骤2.1，在采集获得的原始肌电数据中选取一定时间长度的稳态数据作为有效数据，并进行滤波和去噪处理；

步骤2.2，使用滑动窗口方法对各贴片电极采集到的对应各通道数据进行切分，将同一时间片段内的各通道数据放入同一个集合，并贴上对应的手势动作标签，将每一个集合-标签对象作为一个单独数据样本；

步骤2.3，将步骤2.2处理后的全部数据样本划分为训练集和测试集。

4.根据权利要求1所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：步骤3包括如下分步骤：

步骤3.1，构建分支网络模块，包括分支网络1和分支网络2；分支网络1从局部角度分析每一处肌肉与手势的关联性，包含多个并行的网络流、特征融合层、多个全连接层和分类器；每个网络流由多个卷积层和1个长短时记忆LSTM层构成；

分支网络2从整体角度分析肌电数据与手势的关联性，包含多个卷积层、多个全连接层和分类器；

步骤3.2，构建投票机制模块；该模块接收2个分支网络模块的输出，再使用投票机制计算最终的手势识别结果并输出。

5.根据权利要求4所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述分支网络1的手势识别过程为：首先，将步骤2.2获得的数据样本作为网络的标准输入，将其包含的各通道数据分别对应地输入进各个网络流；然后，使用特征融合层将各个网络流输出的特征进行合并，再输入进全连接层进行维度变换；最终，由分类器接收全连接层输出的特征，再根据特征进行手势分类，进而输出识别结果。

6.根据权利要求4所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述分支网络2的手势识别过程为：首先，将步骤2.2获得的数据样本中的各通道数据通过特征融合层合并为一个整体，作为网络的标准输入；然后，原始输入依次经过卷积层的特征提取和全连接层的维度变换，再被输入进分类器；最终，由分类器根据特征信息输出手势识别结果。

7.根据权利要求1所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述投票机制模块接收2个分支网络模块的分类器输出，其输出格式为一个含有K个实数的向量，K个实数对应采集时的K种手势的可能性大小，值介于0到1之间，总和为1，标记为S(i)，表示第i种手势的可能性大小；使用投票机制结合两个分支网络的输出来确定最终结果，其计算公式为：

其中j代表分支网络的编号,S_j(i)代表第j个分支网络输出的第i种手势的可能性大小，a_j代表第j个分支网络的权重系数，probability(i)是经过计算后的第i种手势最终的可能性概率；将K个概率中最大的一项所对应的手势作为最终输出结果，记作g_final，则

probability(g_final)＝max(probability(i),i＝1…K)。

8.根据权利要求1所述的一种基于双分支多流网络的肌电信号手势识别方法，其特征在于：所述步骤4中包括如下分步骤：

步骤4.1：利用步骤2.3中得到的训练集单独训练两个分支网络，并通过测试集判断两个分支网络的识别性能，逐层确定最优参数，获得识别性能最佳的网络模型，并保存其对应参数；

步骤4.2：训练投票机制模块，确定最优权重系数。

Images