CN107688773A

CN107688773A - 一种基于深度学习的手势识别方法

Info

Publication number: CN107688773A
Application number: CN201710552147.5A
Authority: CN
Inventors: 袁家政; 刘宏哲; 邓智方
Original assignee: Beijing Union University
Current assignee: Beijing Union University
Priority date: 2017-07-07
Filing date: 2017-07-07
Publication date: 2018-02-13

Abstract

本发明提供一种基于深度学习的手势识别方法，包括以下步骤，数据预处理；卷积神经网络分类器设计；卷积神经网络分类器训练；卷积神经网络分类器优化；测试卷积神经网络分类器的分类效果。本发明使得手势识别的效果更为精确，能够对VIVA数据集中的手势进行较为准确的识别，其精确度超过了以往的传统的方法。

Description

一种基于深度学习的手势识别方法

技术领域

本发明涉及人机智能交互的技术领域，特别是一种基于深度学习的手势识别方法。

背景技术

手势识别是计算机科学和语言技术中的一个主题，目的是通过数学算法使计算机能够识别人类手势，实现人与计算机之间的有效交流与控制。手势以其直观、自然和易于学习的人机交互的优势和不需要专门的硬件配合的情况下实现智能化的信息交换和处理，受到了越来越多的企业及学者的关注，其中目前应用于无人驾驶以及VR领域中手势识别就是一种简单的手势识别。它是一种通过深度学习技术，能够理解用户的手势，并提供对应应答或指令操作的人工智能系统。

在现有技术中，基于接触的手势识别，用户不友好，使用不方便；基于穿戴设备的手势识别，成本高，且用户不友好，操作前的准备麻烦；基于肌电信号的手势识别，由于肌电信号的个体差异，电极位置，使分类难度偏高。而目前现有基于视觉的手势识别，识别手势普遍单一，且识别精度较低。

公开号为CN104182772A的专利文件公开了一种基于深度学习的手势识别方法，包括以下步骤：对采集到的手势图像进行降噪处理、消除手势图像中的色彩偏移现象；采用帧间差分方法和颜色特征检测方法锁定手势在图像中的所在区域，采用CamShift算法对手势进行跟踪，获取手势目标；对手势目标图像进行深度学习；将获取的待识别手势图像输入训练后的深度信念网络模型中，完成手势的识别分类。该方法对于手势的前期预处理相对较为繁琐，且依然需要对手势部位进行跟踪。

公开号为CN105654037A的专利文件公开了一种基于深度学习和特征图像的肌电信号手势识别方法，首先对采集手势肌电原始信号进行预处理；其次进行特征提取，通过不同尺寸和概率的采样窗口提取出包括时域、时频域的特征，并将这些特征转换成图像；然后将特征图像和其对应的动作标签一起输入到深度神经网络中进行训练，得到网络模型；最后将测试数据和训练得到的网络模型输入深度卷积神经网络中进行预测，得到每段动作所有图像的预测标签，将这些标签按照多数同意规则进行投票，票数最高者为该段动作类别。该申请是基于肌电信号来进行手势识别的，由于集群结构的复杂性，肌电信号的个体差异电极位置等影响，其分类难度很大。

发明内容

为了解决上述的技术问题，本发明提出了一种基于深度学习的手势识别方法，使得手势识别的效果更为精确，能够对VIVA数据集中的手势进行较为准确的识别，其精确度超过了以往的传统的方法，前期预处理简单，训练效率较高。

VIVA数据集的意思是Vision for Intelligent Vehicles and Applications，这是个手势的数据集，其中含有关于驾驶方面的手势数据。

本发明提供一种基于深度学习的手势识别方法，包括以下步骤：

步骤1：数据预处理；

步骤2：卷积神经网络分类器设计；

步骤3：卷积神经网络分类器训练；

步骤4：卷积神经网络分类器优化；

步骤5：测试卷积神经网络分类器的分类效果。

优选的是，所述步骤1为将获取到的数据处理成固定大小的，满足卷积网络输入层输入的规格需求。

在上述任一方案中优选的是，所述步骤1包括以下子步骤：

步骤11：对输入数据使用最近邻内插法(NNI)进行丢弃或重复，将每个手势序列重采样为X帧；

步骤12：在空间上对原始图像的深度和强度降采样为M×N帧；

步骤13：使用尺寸为Y×Y像素的Sobel算子从强度通道计算梯度；

步骤14：将特定手势的视频序列的每个通道归一化为零均值和单位方差；

步骤15：得到满足CNN输入规格的数据。

在上述任一方案中优选的是，所述步骤2为将输入数据进行分类，输出正确的类标签，识别出输入的手势类别。

在上述任一方案中优选的是，所述卷积神经网络分类器包括高分辨率网络和低分辨率网络。

在上述任一方案中优选的是，根据以下公式可以得出所述卷积神经网络分类器的概率：

其中表示低分辨率的神经网络的参数，表示高分辨率的神经网络的参数，表示给定手势x的情况中属于类别C的概率。

在上述任一方案中优选的是，所述高分辨率网格由4个3D卷积层组成，其中每一个所述卷积层都有卷积和池化操作。

在上述任一方案中优选的是，所述高分辨率网格的输出是一个softmax层。

在上述任一方案中优选的是，所述softmax是一种形如下式的函数：其中θ_i和x是列向量，θ_i ^Tx被换成函数关于x的函数f_i(x)。

在上述任一方案中优选的是，所述低分辨率网格由4个3D卷积层和2个全连接层组成，其中每一个所述卷积层后面均连接一个最大池化层。

在上述任一方案中优选的是，所述低分辨率网格的输出是一个softmax层。

在上述任一方案中优选的是，所述卷积层和所述全连接层采用以下公式的修正现行单元(ReLU)作为激活函数，f(z)＝max(0,z)，其中z为自变量，含义即为若z小于0，则f(z)＝0，否则f(z)＝z。。

在上述任一方案中优选的是，使用以下公式计算所述softmax层的输出概率，

其中是神经元的输出，是类别的输出。

在上述任一方案中优选的是，所述步骤3为将所述卷积神经网络分类器中的参数进行不断地微调。

在上述任一方案中优选的是，所述步骤3还为通过设置收敛条件，输入图像进行训练。

在上述任一方案中优选的是，所述步骤4为对网络结构和参数等细节进行微调优化。

在上述任一方案中优选的是，所述步骤4包括以下子步骤：

步骤41：选择负对数似然函数为损失函数；

步骤42：选择随机梯度下降法作为收敛方法；

步骤43：将权重衰减设为A％，使用概率为B的随机失活函数；

步骤44：采用数据增强方法对数据进行增强。

在上述任一方案中优选的是，所述负对数似然函数的计算公式为其中是网络参数，为数据集，为数据集中的数据个数。

在上述任一方案中优选的是，所述步骤5为利用以下公式计算概率并输出最大概率的手势类别，

本发明提出的方法具有简单易行、设备成本低廉的优点，是完全基于视觉的手势识别属于非接触手势识别，非接触手势识别更为方便，舒适和自然。

附图说明

图1为按照本发明的基于深度学习的手势识别方法的一优选实施例的流程图。

图2为按照本发明的基于深度学习的手势识别方法的如图1所示实施例的数据预处理流程图。

图3为按照本发明的基于深度学习的手势识别方法的如图1所示实施例的分类器优化流程图。

图4为按照本发明的基于深度学习的手势识别方法的如图1所示实施例的系统构架原理图。

图5为按照本发明的基于深度学习的手势识别方法的运用深度学习进行手势识别的一实施例的流程图。

图5a为按照本发明的基于深度学习的手势识别方法的如图5所示实施例的原始数据图。

图5b为按照本发明的基于深度学习的手势识别方法的如图5所示实施例的手势分割图。

图5c为按照本发明的基于深度学习的手势识别方法的如图5所示实施例的预处理结果图。

图5d为按照本发明的基于深度学习的手势识别方法的如图5所示实施例的模型分类器图。

图5e为按照本发明的基于深度学习的手势识别方法的如图5所示实施例的分类结果图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，进行数据预处理，用于将获取到的数据处理成固定大小的，满足卷积网络输入层输入的规格需求。数据预处理的方法如图2所示，顺序执行步骤200和步骤210，输入数据并对输入的数据使用最近邻内插法(NNI)进行丢弃或重复，将每个手势序列重采样为X帧(本实施例中设定X＝32)。执行步骤220,在空间上对原始图像的深度和强度降采样为M×N帧(本实施例中设定M＝57、N＝125)。执行步骤230，使用尺寸为Y×Y像素的Sobel算子从强度通道计算梯度(本实施例中设定Y＝3)。执行步骤240，将特定手势的视频序列的每个通道归一化为零均值和单位方差。执行步骤250，得到满足CNN输入规格的数据。

执行步骤110，分类器设计，用于将输入数据进行分类，以输出正确的类标签，识别出输入的手势类别。卷积神经网络分类器分为两个子网：高分辨率网络和低分辨率网络，根据公式1可得出手势分类器的概率：

公式1，其中表示低分辨率的神经网络的参数，表示高分辨率的神经网络的参数，表示给定手势x的情况中属于类别C的概率。

高分辨率网络由四个3D卷积层组成，其中每层都会有卷积和池化操作，高分辨率网络的输出是一个softmax层。低分辨率网络类似于高分辨率网络，每个卷积层收会有最大池化层，最后是两个全连接层，其输出也是一个softmax层；上述网络中的所有层，除了softmax层，都采用如公式2所示的修正线性单元(ReLU)作为激活函数，并使用如公式3所示的函数计算softmax层的输出概率。

f(z)＝max(0,z)，公式2，其中z为自变量，含义即为若z小于0，

则f(z)＝0，否则f(z)＝z；

公式3，其中是神经元的输出，是类别的输出。

所述softmax是一种形如下式的函数：

其中θ_i和x是列向量，θ_i ^Tx被换成函数关于x的函数f_i(x)。

执行步骤120，卷积神经网络分类器训练，用于将分类器中的参数进行不断地微调，以达到分类的最佳效果，然后设置收敛条件，输入图像进行训练。执行步骤130，卷积神经网络分类器优化：用于防止出现过拟合导致分类不准确，从而对网络结构和参数等细节进行微调优化。分类器优化的方法如图3所示，执行步骤300，选择如公式4所示的负对数似然函数为损失函数，

公式4，其中是网络参数，为数据集，为数据集中的数据个数。

执行步骤310，选择随机梯度下降法作为其收敛方法；执行步骤320，为防止过拟合，将权重衰减设为A％，使用概率为B的随机失活函数(在本实施例中设定A＝0.5、B＝0.5).执行步骤330，由于数据集数据较少，采用数据增强方法对数据进行增强。

执行步骤140，测试所设计的卷积神经网络分类器的分类效果，是为了防止出现过拟合导致分类不准确，从而对网络结构和参数的细节进行微调优化，从而使分类器达到最优效果。输出概率并利用公式1计算概率并输出最大概率的手势类别，

实施例二

如图4所示，整体的系统构架有四部分组成：数据输入模块400、数据预处理模块410、分类器420和输出类标签430。分类器420可以分解为：分类器设计子模块421、分类器训练子模块、422、分类器优化子模块423和测试子模块424。

本实施例中提出了一种基于三维卷积神经网络的手势识别的方法，包括数据预处理，分类器设计，训练，优化分类器，测试。数据预处理，用于在训练之前对获得的数据进行处理，以满足卷积神经网络输入层对数据的需求；分类器设计，用于将输入数据进行分类，输出正确的类标签；训练阶段，将其中的参数不断地进行微调，以达到分类的最佳效果；优化分类器，则是为了防止出现过拟合导致分类不准确，从而对网络结构和参数的细节进行微调优化，从而使分类器达到最优效果。

实施例三

如图5所示，运用深度学习进行手势识别分为三个阶段，第一阶段是采集并简单处理数据。执行步骤500，通过摄像头采集图像数据(如图5a所示)。执行步骤510，对采集到的图像数据进行手势裁剪，去掉多余的部分，分割手势图像(如5b所示)。第二阶段是卷积神经网络模型训练阶段。执行步骤520，运用数据增强的技巧对数据进行增强处理。顺序执行步骤530和步骤540，进行数据预处理，提取清晰的关键帧。如图5c所示，共提取到16帧图像数据，其中前4帧和后4帧由于图像模糊被暂时放弃，只保留中间的8帧。执行步骤550，进行对应模型训练。如图5d所示为模型分类训练器。设置输入图像为2@57×125×32，模型分类训练器分为高分辨率网络和低分辨率网络，高分辨率网络由四个3D卷积层组成，其中每层都会有卷积和池化操作，高分辨率网络的输出是一个softmax层。低分辨率网络类似于高分辨率网络，每个卷积层收会有最大池化层，最后是两个全连接层，其输出也是一个softmax层。在高分辨率网络中分为4个3D卷积层，在第一3D卷积层进行3D卷积和最大池处理，要点为2@7×7×5，最大池为2×2×2，得到的图像为4@25×59×14；在第二3D卷积层进行3D卷积和最大池处理，要点为8@5×5×3，最大池为2×2×2，得到的图像为8@10×27×6；在第三3D卷积层进行3D卷积和最大池处理，要点为32@5×5×3，最大池为1×2×1，得到的图像为32@6×11×4；在第四3D卷积层进行3D卷积和最大池处理，要点为64@3×5×3，最大池为2×2×1，得到的图像为64@2×3×2；然后在依次通过神经元512、神经元256和类19，通过公式输出到softmax层,表示高分辨率的神经网络的参数，表示给定手势x的情况中属于类别C的概率，计算公式为其中是神经元的输出，是类别的输出。在低分辨率网络中分为4个3D卷积层，在第一3D卷积层进行2次空间采样，得到的图像为2@28×62×32；在第二3D卷积层进行3D卷积和最大池处理，要点为8@5×5×5，最大池为2×2×2，得到的图像为8@12×29×14；在第三3D卷积层进行3D卷积和最大池处理，要点为32@5×5×3，最大池为2×2×2，得到的图像为32@4×12×6；在第四3D卷积层进行3D卷积和最大池处理，要点为64@3×5×3，最大池为1×4×1，得到的图像为64@2×2×4；然后在依次通过神经元512、神经元256和类19，通过公式输出到softmax层,其中表示低分辨率的神经网络的参数，表示给定手势x的情况中属于类别C的概率计算公式为其中是神经元的输出，是类别的输出。最后将从高分辨网络中得到的数据和低分辨率网络中得到的数据通过公式输出预测概率。第三阶段是模型测试阶段，执行步骤560，将步骤540中得到的清晰的关键帧馈送到训练好的模型中进行分类，与手势库训练的模型进行匹配，找出最相似的手势，执行步骤570，确认分类结果，如图5e所示，把16帧图像数据中的第1-2帧丢弃，第3-5帧确认为一个手势，第6-7帧丢弃，第8-14帧确认为一个手势，第15-16帧丢弃。执行步骤580，根据确认的两个手势输出手势语义标签为“耶”和“抓东西”。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法、装置和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.一种基于深度学习的手势识别方法，包括以下步骤：

步骤1：数据预处理；

步骤2：卷积神经网络分类器设计；

步骤3：卷积神经网络分类器训练；

步骤4：卷积神经网络分类器优化；

步骤5：测试卷积神经网络分类器的分类效果。

2.如权利要求1所述的基于深度学习的手势识别方法，其特征在于：所述步骤1为将获取到的数据处理成固定大小的，满足卷积网络输入层输入的规格需求。

3.如权利要求2所述的基于深度学习的手势识别方法，其特征在于：所述步骤1包括以下子步骤：

步骤12：在空间上对原始图像的深度和强度降采样为M×N帧；

步骤15：得到满足卷积神经网络(CNN)输入规格的数据。

4.如权利要求1所述的基于深度学习的手势识别方法，其特征在于：所述步骤2为将输入数据进行分类，输出正确的类标签，识别出输入的手势类别。

5.如权利要求4所述的基于深度学习的手势识别方法，其特征在于：所述卷积神经网络分类器包括高分辨率网络和低分辨率网络。

6.如权利要求5所述的基于深度学习的手势识别方法，其特征在于：根据以下公式可以得出所述卷积神经网络分类器的概率：其中表示低分辨率的神经网络的参数，表示高分辨率的神经网络的参数，表示给定手势x的情况中属于类别C的概率。

7.如权利要求6所述的基于深度学习的手势识别方法，其特征在于：所述高分辨率网格由4个3D卷积层组成，其中每一个所述卷积层都有卷积和池化操作。

8.如权利要求7所述的基于深度学习的手势识别方法，其特征在于：所述高分辨率网格的输出是一个softmax层。

9.如权利要求8所述的基于深度学习的手势识别方法，其特征在于：所述softmax是一种形如下式的函数：其中θ_i和x是列向量，θ_i ^Tx被换成函数关于x的函数f_i(x)。

10.如权利要求6所述的基于深度学习的手势识别方法，其特征在于：所述低分辨率网格由4个3D卷积层和2个全连接层组成，其中每一个所述卷积层后面均连接一个最大池化层。