CN106980367A

CN106980367A - 一种基于肌电地形图的手势识别方法

Info

Publication number: CN106980367A
Application number: CN201710107237.3A
Authority: CN
Inventors: 唐智川; 吴剑锋
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2017-02-27
Filing date: 2017-02-27
Publication date: 2017-07-25
Anticipated expiration: 2037-02-27
Also published as: CN106980367B

Abstract

一种基于肌电地形图的手势识别方法，包括以下步骤：(1)数据采集：通过阵列式表面肌电电极进行不同手势的上臂肌肉表面肌电信号的采集；(2)数据预处理：对采集到的表面肌电信号进行预处理；(3)肌电地形图生成；4)深度卷积神经网络模型训练和手势识别，生成肌电地形图特征图像，肌电地形图首先转化为64*64的灰度图像，再使用ZCA白化预处理，生成特征图像；根据肌电地形图特性，设计相应的卷积神经网络模型结构，并构建模型；将测试集数据输入到训练好的网络模型中进行手势识别分类。本发明可以对不同被试做同一手势生成相似的肌电地形图，从而有效的解决表面肌电信号的个体差异性问题。

Description

一种基于肌电地形图的手势识别方法

技术领域

本发明属于计算机与生物信号相结合领域，具体涉及一种基于肌电地形图的手势识别方法。

背景技术

基于生理信号的人体运动意图识别和感知，已经成为了人机交互领域的研究重点之一，即通过特定的传感设备将生物体的生理信号数字化，并与其他感知或认知通道的信号进行集成融合，自然、协同地完成各种人机交互任务。

表面肌电信号(surface Electromyography，sEMG)是肌肉收缩时伴随的电信号，活动的变化在很大程度上能够定量反映电极所测范围内肌肉活动的局部疲劳程度、肌力水平、肌肉激活模式、运动单位兴奋传导速度、多肌群协调性等肌肉活动和中枢控制特征的变化规律,并且具有方便、安全性高和检测无创性等优点。随着表面肌电信号采集与处理技术的不断深入发展，其在疾病诊断、运动医学、假肢控制等医疗康复领域以及遥控机器人、虚拟现实、手势识别等人机交互领域具有越来越广泛的应用。目前基于sEMG的传统手势识别方法普遍存在以下两个问题：1、由于肌电信号的个体差异性问题，训练好的分类模型往往只适用于提供训练数据的人群，不适用于之外的人群；2、往往需要进行大量的特征提取操作。因此，一些创新的分类方法被提出，以期提高基于sEMG的手势识别率。例如，浙江大学的“一种基于深度学习和特征图像的肌电信号手势识别方法”专利申请文件(201510971796.X)提出了一种基于深度学习和特征图像的肌电信号手势识别方法，它提取出包括sEMG时域、时频域的特征，并将这些特征转换成图像，然后通过深度神经网络进行训练并预测，实现手势识别。但是其存在很大不足，一是没有解决以上两个问题，缺少考虑肌电信号的个体差异性，并且仍提取了10种特征；二是该方法仍属于传统的分类方法，并在其基础上多增加了图像识别的操作。

肌电地形图是将阵列式肌电电极采集到的表面肌电信号的功率值用不同颜色表示的二维图像，这种可视化方法对不同肌肉的活动程度、肌肉功能状态的变化进行直观的描述。虽然由于皮阻、皮下脂肪、肌纤维密度等个体差异导致不同被试在做相同手势时，单块肌肉会产生差异性的肌电信号，但对于同一手势，多块肌肉活动变化之间是具有固定联系的。而肌电地形图是将肌电功率值映射到同一色彩区间，因此，不同被试做同一手势的肌电地形图是相似的，即减少了个体差异性。

发明内容

为了克服已有手势识别方式的缺少考虑肌电信号的个体差异性、识别率较低的不足，本发明提供一种有效考虑肌电信号的个体差异性、识别率较高的基于肌电地形图的手势识别方法。

本发明解决其技术问题所采用的技术方案是：

一种基于肌电地形图的手势识别方法，所述方法包括以下步骤：

(1)数据采集：通过阵列式表面肌电电极进行不同手势的上臂肌肉表面肌电信号的采集；

(2)数据预处理：对采集到的表面肌电信号进行预处理；

(3)肌电地形图生成，包含如下子步骤：

(3.1)数据分段：使用“重叠窗”方法对每个被试的每种手势动作数据进行开窗分段；

(3.2)功率值计算：计算阵列式表面肌电电极各个采集点的肌电信号功率谱总功率和峰值功率参数，来提取表面肌电信号特征；

(3.3)空间插值：对各采集点之间的空白处采用插值公式进行插值填充；

(3.4)功率值-灰度映射：功率值映射到8位灰度区间，为每个功率值的灰度大小分配一个0-255范围内的强度值。

(4)深度卷积神经网络模型训练和手势识别，包含如下子步骤：

(4.1)生成肌电地形图特征图像，肌电地形图首先转化为64*64的灰度图像，再使用ZCA白化预处理，生成特征图像；

(4.2)根据肌电地形图特性，设计相应的卷积神经网络模型结构，并构建模型；

(4.3)卷积神经网络模型的输入为肌电地形图特征图像，输出为手势类别；将每个被试的每种和测试集；

(4.4)使用训练集数据和验证集数据进行网络模型优化和参数调整，使用测试集数据测试训练好的模型的识别率；

(4.5)运用步骤(4.2)和步骤(4.4)中得到的网络结构模型和优化后的参数进行网络模型的训练，训练中迭代预设上限次数以上，并通过训练集和检验集的损失函数判断网络是否收敛，获得最优分类模型；

(4.6)将测试集数据输入到步骤(4.5)中的训练好的网络模型中进行手势识别分类。

进一步，所述步骤(2)中，预处理包含如下子步骤：

(2.1)带通滤波和陷波处理；

(2.2)信号放大；

(2.3)去除噪声，通过加权平均增大信噪比。

更进一步，所述步骤(3.1)中，设每个手势动作的肌电数据采集时间为T秒，每种手势重复n次，则每个被试的每种手势动作共有n＝(T×1000-100)/100个样本数据。

再进一步，所述步骤(4.2)中，卷积神经网络模型共由十层网络构成：第一层为输入层，为64*64的肌电地形图特征图像；第二层为第一卷积层，用6个5×5的过滤器进行卷积，得到6张特征图，特征图的每个神经元与输入图像中的5×5的领域相连，即用5×5的卷积核去卷积输入层，由卷积运算可得到该层输出的特征图大小为60×60；第三层为第一降采样层，对图像进行2×2的子采样，该层的输出特征图大小为30×30；第四层为第二卷积层，用3个5×5的过滤器进行卷积，得到18张特征图，该层输出的特征图大小为26×26；第五层为第二降采样层，对图像进行2×2的子采样，该层的输出特征图大小为13×13；第六层为第三卷积层，用3个4×4的过滤器进行卷积，得到54张特征图，该层输出的特征图大小为10×10；第七层为第四降采样层，对图像进行2×2的子采样，该层的输出特征图大小为5×5；第八层为第一全连接层，采用softmax全连接，神经元个数设为120个；第九层为第二全连接层，采用softmax全连接，神经元个数设为80个；第十层为输出层，包含10个神经元，代表10种手势类别。

所述步骤(1)中，通过8*8阵列式表面肌电电极进行10种不同手势的上臂肌肉表面肌电信号的采集，所述的10种不同手势分别为伸拇指、伸食指、伸中指、伸无名指、伸小指、OK手势、胜利手势、数字8手势、握拳和伸掌。

所述步骤(2)中，带通滤波20-500Hz，工频陷波50Hz。

所述步骤(3.1)中，采样窗口长度为200ms，移动步长为窗口长度的50％，即100ms。

所述步骤(4.3)中，将每个被试的每种手势动作的所有数据分成5份，其中3份作为训练集，1份作为检验集，1份作为测试集。

本发明的技术构思为：该方法将阵列式肌电电极采集到的表面肌电信号的功率值用不同灰度颜色表示成二维图像，并采用基于深度学习理论的卷积神经网络(CNN)对肌电地形图进行图像识别，实现不同手势动作的分类。该方法可以对不同被试做同一手势生成相似的肌电地形图，从而有效的解决表面肌电信号的个体差异性问题，分类识别率可以达到98％以上；只需提取功率谱特征，少量的特征也可以获得很好的识别率。

本发明的一种基于肌电地形图的手势识别方法，能够准确地识别同一被试的不同手势，较准确地识别不同被试间手势。

本发明的有益效果主要表现在：

(1)本发明将阵列式肌电电极采集到的表面肌电信号的功率值用不同颜色表示成二维图像，并采用基于深度学习理论的卷积神经网络(CNN)对肌电地形图进行图像识别，实现不同手势动作的分类；

(2)本发明可以对不同被试做同一手势生成相似的肌电地形图，从而有效的解决表面肌电信号的个体差异性问题，提高分类识别率；

(3)只需提取表面肌电信号的功率谱特征，少量的特征也可以获得很好的识别率。

附图说明

图1是本发明所述方法流程图；

图2是肌电地形图生成步骤示意图；

图3是本发明所构建的深度卷积神经网络结构。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种基于肌电地形图的手势识别方法，包括以下步骤：首先，通过阵列式表面肌电电极采集不同手势的表面肌电信号；其次，对采集手势肌电原始信号进行预处理，预处理后的信号通过提取功率谱特征生成肌电地形图；然后，将肌电地形图特征图像(训练数据)和这些特征图像对应的动作标签一起输入到深度卷积神经网络中进行训练，得到网络模型；最后，将测试数据输入到训练好的网络模型中进行手势识别分类。

各步骤详细说明如下：

(1)数据采集：通过8*8阵列式表面肌电电极进行10种不同手势的上臂肌肉表面肌电信号的采集。所述的阵列式表面肌电电极采用意大利OTBioelectronica公司的ELSCH064NM3型8*8阵列式表面肌电电极。所述的10种不同手势分别为伸拇指、伸食指、伸中指、伸无名指、伸小指、OK手势、胜利手势、数字8手势、握拳和伸掌。

(2)数据预处理：对采集到的表面肌电信号进行预处理，具体包含如下子步骤：

(2.1)带通滤波和陷波处理，带通滤波20-500Hz，工频陷波50Hz；

(2.2)信号放大；

(2.3)去除噪声，通过加权平均增大信噪比，减少噪声对信号的影响。

(3)肌电地形图生成，如图2所示，具体包含如下子步骤：

(3.1)数据分段：使用“重叠窗”方法对每个被试的每种手势动作数据进行开窗分段，采样窗口长度为200ms，移动步长为窗口长度的50％，即100ms；设每个手势动作的肌电数据采集时间为T秒，每种手势重复n次，则每个被试的每种手势动作共有n×(T×1000-100)/100个样本数据。

(3.2)功率值计算：计算阵列式表面肌电电极各个采集点的肌电信号功率谱总功率和峰值功率参数，来提取表面肌电信号特征。自回归模型(AR模型)被用于表面肌电信号功率谱的估计，其估计出的谱比傅里叶变换估计的谱平滑，具有更高的分辨率、仅需较短的数据就能获得较好的估计效果。通过Levinson-Durbin(L-D)算法用于求解Yule-Walker方程得出AR模型系数a_k，则AR模型估计的功率谱密度为：

其中，为白噪声的功率谱密度，p为AR模型阶数。功率谱总功率定义为在一定的频率范围内功率谱曲线下总面积的估计；

其中，F_s为信号的起始频率，F_e为信号的终止频率，df为频率分辨率。峰值功率定义为功率谱曲线上最大值P_max。

(3.3)空间插值：对各采集点之间的空白处采用插值公式进行插值填充。这些插值得数据是依靠各采集点的功率值大小以及各采集点到需要进行插值计算点的距离而定，采用的插值公式为：

其中，X为所需进行插值计算的点的位置，a、b...n代表各采集点的功率值，XA、XB...XN为所需进行插值计算的点到各采集点的距离。

(3.4)功率值-灰度映射：功率值映射到8位灰度区间，为每个功率值的灰度大小分配一个0-255范围内的强度值。第i个功率值n_i对应的灰度值Gray_i计算公式为：

其中，代表四舍五入取整，n_max为所有功率值中的最大值，n_min为所有功率值中的最小值。

(4)使用深度卷积神经网络进行模型训练和手势识别。卷积神经网络(CNN)是一种多层感知器的变种，已被广泛运用于语音识别和图像识别领域。基于局部感受野和权值共享的概念，CNN能大大降低网络结构的复杂度，减少权值的数量。由于CNN直接面向原始信号，可以提取更广泛、更深层、更具有区别度的特征信息。具体包含如下子步骤：

(4.1)生成肌电地形图特征图像。肌电地形图首先转化为64*64的灰度图像，再使用ZCA白化预处理，生成特征图像。白化预处理的目的是使得输入图像的像素之间不相关，且所有的像素都有同样的均值和方差。

(4.2)根据肌电地形图特性，设计相应的卷积神经网络模型结构，并构建模型。如图3所示，CNN模型共由十层网络构成：

1.输入层(L1)：为64*64的肌电地形图特征图像。

2.第一卷积层(C1)：卷积神经网络中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。通过卷积运算，可以使原信号特征增强，并且降低噪音。该层用6个5×5的过滤器进行卷积，得到6张特征图，特征图的每个神经元与输入图像中的5×5的领域相连，即用5×5的卷积核去卷积输入层，由卷积运算可得到该层输出的特征图大小为60×60。

3.第一降采样层(S1)：降采样是在卷积特征提取的基础上，对每个卷积特征进行取平均等，继续缩小隐藏节点对于的卷积特征维数，减小分类器的设计负担。该层对图像进行2×2的子采样，该层的输出特征图大小为30×30。

4.第二卷积层(C2)：该层用3个5×5的过滤器进行卷积，得到18张特征图，该层输出的特征图大小为26×26。

5.第二降采样层(S2)：该层对图像进行2×2的子采样，该层的输出特征图大小为13×13。

6.第三卷积层(C3)：该层用3个4×4的过滤器进行卷积，得到54张特征图，该层输出的特征图大小为10×10。

7.第三降采样层(S3)：该层对图像进行2×2的子采样，该层的输出特征图大小为5×5。

8.第一全连接层(F1)：采用softmax全连接，得到的激活值即CNN提取到的图片特征。softmax模型是logistic回归模型在多分类问题上的推广。该层神经元个数设为120个。

9.第二全连接层(F2)：采用softmax全连接，该层神经元个数设为80个。

10.输出层(O1)：包含10个神经元，代表输出的10种手势类别。

(4.3)卷积神经网络模型的输入为肌电地形图特征图像，输出为手势类别；将每个被试的每种手势动作的所有数据分成5份，其中3份作为训练集(60％的数据)，1份作为检验集(20％的数据)，1份作为测试集(20％的数据)；

(4.5)运用步骤(4.2)和步骤(4.4)中得到的网络结构模型和优化后的参数进行网络模型的训练，训练中迭代1000次以上，并通过训练集和检验集的损失函数判断网络是否收敛，获得最优分类模型；

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种基于肌电地形图的手势识别方法，其特征在于：所述方法包括以下步骤：

(2)数据预处理：对采集到的表面肌电信号进行预处理；

(3)肌电地形图生成，包含如下子步骤：

(3.4)功率值-灰度映射：功率值映射到8位灰度区间，为每个功率值的灰度大小分配一个0-255范围内的强度值；

2.如权利要求1所述的一种基于肌电地形图的手势识别方法，其特征在于：所述步骤(2)中，预处理包含如下子步骤：

(2.1)带通滤波和陷波处理；

(2.2)信号放大；

(2.3)去除噪声，通过加权平均增大信噪比。

3.如权利要求1或2所述的一种基于肌电地形图的手势识别方法，其特征在于：所述步骤(3.1)中，设每个手势动作的肌电数据采集时间为T秒，每种手势重复n次，则每个被试的每种手势动作共有n×(T×1000-100)/100个样本数据。

4.如权利要求1或2所述的一种基于肌电地形图的手势识别方法，其特征在于：所述步骤(4.2)中，卷积神经网络模型共由十层网络构成：第一层为输入层，为64*64的肌电地形图特征图像；第二层为第一卷积层，用6个5×5的过滤器进行卷积，得到6张特征图，特征图的每个神经元与输入图像中的5×5的领域相连，即用5×5的卷积核去卷积输入层，由卷积运算可得到该层输出的特征图大小为60×60；第三层为第一降采样层，对图像进行2×2的子采样，该层的输出特征图大小为30×30；第四层为第二卷积层，用3个5×5的过滤器进行卷积，得到18张特征图，该层输出的特征图大小为26×26；第五层为第二降采样层，对图像进行2×2的子采样，该层的输出特征图大小为13×13；第六层为第三卷积层，用3个4×4的过滤器进行卷积，得到54张特征图，该层输出的特征图大小为10×10；第七层为第四降采样层，对图像进行2×2的子采样，该层的输出特征图大小为5×5；第八层为第一全连接层，采用softmax全连接，神经元个数设为120个；第九层为第二全连接层，采用softmax全连接，神经元个数设为80个；第十层为输出层，包含10个神经元，代表10种手势类别。

5.如权利要求1或2所述的一种基于肌电地形图的手势识别方法，其特征在于：所述步骤(1)中，通过8*8阵列式表面肌电电极进行10种不同手势的上臂肌肉表面肌电信号的采集，所述的10种不同手势分别为伸拇指、伸食指、伸中指、伸无名指、伸小指、OK手势、胜利手势、数字8手势、握拳和伸掌。

6.如权利要求2所述的一种基于肌电地形图的手势识别方法，其特征在于：所述步骤(2.1)中，带通滤波20-500Hz，工频陷波50Hz。

7.如权利要求1或2所述的一种基于肌电地形图的手势识别方法，其特征在于：所述步骤(3.1)中，采样窗口长度为200ms，移动步长为窗口长度的50％，即100ms。

8.如权利要求1或2所述的一种基于肌电地形图的手势识别方法，其特征在于：所述步骤(4.3)中，将每个被试的每种手势动作的所有数据分成5份，其中3份作为训练集，1份作为检验集，1份作为测试集。