CN109886225A

CN109886225A - 一种基于深度学习的图像手势动作在线检测与识别方法

Info

Publication number: CN109886225A
Application number: CN201910145961.4A
Authority: CN
Inventors: 李霖烨; 田秋红; 黎运泽; 康宇泽
Original assignee: Zhejiang Sci Tech University ZSTU
Current assignee: Beijing Ihandy Mobile Internet Technology Co ltd
Priority date: 2019-02-27
Filing date: 2019-02-27
Publication date: 2019-06-14
Anticipated expiration: 2039-02-27
Also published as: CN109886225B

Abstract

本发明公开了一种基于深度学习的图像手势动作在线检测与识别方法。提取所有帧图像，每帧图像已被标注，并输入手势检测网络训练；一段手势动作视频流输入手势检测网络，获得每帧图像中标注为动态手势的局部手势区域，获得带有标注为动态手势的局部手势区域图像帧；用分段随机采样算法采样处理，提取获得光流信息，进行空间上特征图提取，将特征图输入到各自的手势识别网络训练；将待检测手势视频流输入手势检测网络，分别获得预测分类结果，取平均值再取概率最大的为最终结果。本发明实现在未经人为干预的情况下对视频流中的手势动作进行分类，计算量小，识别准确率高，可更高效提取出手势动作的特征，相对于复杂背景具有较强的鲁棒性。

Description

一种基于深度学习的图像手势动作在线检测与识别方法

技术领域

本发明涉及一种手势识别方法，尤其是涉及了一种基于深度学习的图像手势动作在线检测与识别方法，通过卷积网络学习高度抽象的特征，具有准确率高鲁棒性强等特征。

背景技术

近年来，手势识别主要还停在对单一简单背景下的静态手势进行分割，然后采用常用的识别方法将手势表达的含义分析出来。但现实应用中，手势通常是一段处于复杂背景下的连续动作，如何将这些复杂环境中的手势进行无监督分割和识别目前急需解决的问题。

目前对手势识别方法为基于穿戴式输入设备手势识别和视觉手势识别两大类。穿戴式输入设备具有携带方便、移动性好、不受环境影响、获取的数据稳定，且可直接用于分类器识别，不需要进行信号预处理及特征分析等步骤、识别率高且速度快，可直接获得手在空间的三维信息和手指的运动信息。但其成本较高、舒适性差、灵活性不高，实际应用价值较低。在传统的基于手工特征的手势识别成本低、采集范围大、视野宽、手可以自由活动，自由度较高，容易被手语者接受，而其易受光照、背景影响、识别率较低。基于深度学习视觉的手势识别应运而生，其具有自主学习特征能力，能自动从原始输入中提取出有效的高级特征，耗时少，强大的学习和泛化能等特点，当然由于深层网络结构的计算量较大，识别速度有待提高。

发明内容

针对无人机、智能小车、家用设备等技术领域需要高准确率的手势识别技术，本发明的目的在于提出了一种基于深度学习的图像手势动作在线检测与识别方法。本发明利用卷积网络提取高度抽象的手势动作在时间维度和空间维度上的特征，通过卷积网络自动组合特征并将其映射到相应的手势类别上，解决了现有手势识别还停留在对图像的识别和需要人为干预的问题。

本发明解决其技术问题所采用的技术方案步骤如下：

1)先使用Opencv软件工具提取出数据集中视频流的所有帧图像，其中每帧图像中均通过数据集标注工具已被标注有局部手势区域，局部手势区域为带有完整手势的图像区域，且每个局部手势区域已被标注分为静态手势或者动态手势的类别；

视频流为人体进行手势动作时候从正面拍摄的视频。

具体实施中，数据集标注工具采用LabelImg(标签图)对局部手势区域进行标注。

静态手势是指仅由保持静止的手势构成的手势动作，动态手势是指不同比划运动而变化手势构成的手势动作。

2)将数据集中的视频流及其标注信息输入手势检测网络进行训练，手势检测网络采用MobileNet-SSD(轻量化移动网络-单射多边框检测器)；

3)取一段完整的、标注有手势类别的、由RGB图像构成的手势动作视频流 V输入训练好的手势检测网络进行手势的分割，通过手势检测网络获得每帧图像中标注为动态手势的局部手势区域，进而获得带有标注为动态手势的局部手势区域的图像帧的起止点t₁和t_n；

手势类别分为有表达语义的数种类别，动态手势的手势类别分为男、女、头发、警察等日常用语，静态手势的手势类别分为当未开始做这些不同的手势类别或已经结束时处于静止时的状态。

4)采用分段随机采样算法，从起止点t₁和t_n之间的n帧图像中采样得到16 帧RGB图像；

5)将采样得到的16帧图像，采用TV-L1光流算法提取获得16帧光流信息；

TV-L1光流算法来源于C.Zach,T.Pock,and H.Bischof.A duality basedapproach for realtime TV-L1 optical flow.Pattern Recognition,pages 214–223,2007) 中提到的方法。

6)将16帧RGB图像和16帧光流信息使用训练后的Inception V3网络进行空间上的特征提取，一帧RGB图像获得96个RGB特征图，一帧光流信息获得 96个光流特征图；

所述的训练后的Inception V3网络为开源数据集ImageNet(图网)上预训练过的Inception V3网络。

7)将提取到的所有RGB特征图和所有光流特征图分别输入到各自的手势识别网络中，手势识别网络采用3D残差网络(3D-ResNeXt-101)，RGB特征图和光流特征图各自对应建立一个手势识别网络形成双流手势识别模型，两个手势识别网络分别训练不进行权值共享，通过前向传播计算损失值，通过反向传播算法减少损失值，最终使损失值收敛，完成双流手势识别模型的训练；

3D-ResNeXt-101出处来源于Can Spatiotemporal 3D CNNs Retrace theHistory of 2D CNNs and ImageNet Kensho Hara,Hirokatsu Kataoka,Yutaka Satoh(Submitted on 27Nov 2017(this version),latest version 2Apr 2018(v2))中提到的方法。

8)在预测阶段，将未经人为分割的待检测的手势视频流先输入训练后的手势检测网络进行手势的分割，每帧图像通过获得手势检测网络局部手势区域作为感兴趣区域，再将感兴趣区域输入步骤7)训练后的两个手势识别网络分别获得对应于RGB图像和光流图像的预测分类结果，预测分类结果为手势视频流对应于不同手势分类的概率分布，一个手势视频流具有一个概率分布，将两个预测结果取平均值，再取概率最大的为手势分类作为最终的分类结果。

本发明通过先对采样得到的每张RGB图像和光流图像使用InceptionV3网络提取到更加抽象的特征，具有更精确的检测结果。

本发明采用双流手势识别模型对图像进行处理检测，获得了图像中手势准确检测结果。

所述的步骤4)中，使用分段随机采样算法具体如下：将n帧图像平均分为 16段，每段随机取一帧图像作为RGB图像，从而采样得到的特征具有稀疏性。

所述步骤2)中，在训练手势检测网络时，通过调整分离卷积、宽度因子、分辨率因子的相关参数使手势检测网络能在保证精度的前提下增加每秒帧率fps。

所述的步骤5)中，使用TV-L1光流算法提取光流特征，具体如下：

TV-L1算法提取的是稠密光流，通过这个稠密的光流畅，可以进行像素级别的图像配准，具体是采用以下公式对前后两帧图像进行处理，使得配准后的两张图向上的每个对应点尽可能相同：

式中：T(x,y)为参考图像，即前一张图像，I(x+y)为当前图像，即后一张图像，也是待匹配图像。偏移量u(x,y),v(x,y)是图像上每一点的偏移量，是一个误差函数，根据不同的需求可以取绝对值函数，二次函数等一些非负对称且正半轴单调递增的函数。

所述的步骤6)中，使用训练后的Inception V3网络进行空间上的特征提取，具体如下：Inception V3网络包括依次连接的Inception module模块和四个卷积模块，四个卷积模块依次连接，使用了Inception module模块，Inception module 模块包含四个分支，每一个分支使用不同的卷积方式，提取不同抽象程度的高阶特征：对于InceptionV3-3c层而言，InceptionV3-3c层为InceptionV3网络中三个包含Inception模块组的网络层的最后一层，提取到的特征具有高度抽象化，包含3个Inception module，输出的特征图通道数为96，特征图的尺寸为28×28。它的最后一个Inception module的四个分支中每个分支将会得到24个通道的特征图；

对于第一个分支，先使用1×1大小的卷积核进行卷积，再后接两个1× 7和7×1的卷积核进行卷积，使用1×7和7×1大小的卷积核来代替7× 7大小的卷积核加速了计算，增加了网络的非线性；对于第二个分支，先使用1× 1的卷积核进行卷积，再使用1×7和7×1的卷积核进行卷积，第二个分支提取到的特征的抽象程度比第一个分支较低；第三个分支先进行最大池化增加后续卷积核的感受野，再使用1×1的卷积；第四个分支直接使用1×1的卷积核进行卷积；通过这四个分支，提取到的特征抽象程度不一，增加了模型的泛化性。

最后将四个分支的卷积结果堆叠处理；Inception V3网络输入为224×224大小的图像，使用InceptionV3-3c层前面的模型结构，得到的输出为28× 28大小，通道数为96的特征图。

Inception module基于Hebbian原理，模拟了人脑神经元的稀疏连接，减轻过拟合，降低计算量。

本发明中，使用Inception V3网络提取得到的高度抽象的特征，输入到 3D-ResNeXt-101手势识别网络中，通过反向传播减少损失值训练3D网络。

在步骤2)中，手势检测网络采用MobilNet-SSD，通过人为调整分离卷积、宽度因子、分辨率因子：

2.1)当输入特征图的大小为D_F·D_F·M，输出特征图的大小为D_F·D_F·N，卷积核的大小为D_K·D_K·M·N时，标准卷积的计算量为D_F·D_F·M·N·D_F·D_F，而卷积核大小为D_K·D_K·M的可分离卷积的计算量仅为D_K·D_K·M·D_F·D_F+M·N·D_F·D_F。

使用可分离卷积的计算量仅为传统卷积的1/N，采用以下公式1进行计算：

2.2)由上述步骤2.1)的公式1计算得到使用了分离卷积的计算量：

宽度因子α统一作用于整个手势检测网络的每一层，对于网络中其中一个卷积层，通过使用宽度因子α，使得输入的通道数M变成了αM，输出的通道数N 变成了αN，则具有宽度银子α的可分离卷积的计算量是：

D_k·D_k·αM·D_F·D_F+αM·αN·D_F·D_F (2)

2.3)由上述步骤2.2)的公式2计算得到使用了带有宽度因子α分离卷积的计算量：分辨率因子ρ∈(0,1]，对于一个具有宽度因子α和分辨率ρ的可分离卷积层，其计算量为：

D_k·D_k·αM·ρD_F·ρD_F+αM·αN·ρD_F·ρD_F (3)

上述可见，通过使用分辨率因子ρ来减小网络模型输入视频流的分辨率，可以是整体计算量减小为ρ²。

本发明的有益效果是：

本发明创新性地提出了使用手势检测网络代替传统的随机区域提取，极大减少了图像处理的计算量和时间损耗，解决了图像处理随机区域提取造成计算量巨大、所需时间长、投入实际生产可能性低的问题，具有较高的实际应用价值。

本发明实现在未经人为干预的情况下对视频流中的手势动作进行分类，计算量小，识别准确率高，可更高效提取出手势动作的特征，相对于复杂背景具有较强的鲁棒性。

附图说明

图1为本发明方法的流程图；

图2为本发明方法实施装置结构框图；

图3为本发明实施例的手势检测效果图；

图4为本发明实施例的以RGB视频流为输入的手势识别模型结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明方法的实施装置如图2所示，通过安装在智能小车或无人机上的单目摄像头捕捉视频画面，通过无线传输模块将视频流传输至服务器，服务器通过进行解码，将解码好的视频流输入已训练好的神经网络模型，将得到的结果传输回智能小车或无人机。

本发明首先要进行深度学习模型的训练，然后再将训练好的模型部署于高性能的深度学习服务器上，处理从智能小车或无人机等客户端传输来的未经人为修饰的视频流。

如图1所示，本发明方法的实施例如下：

1)先进行模型的训练：模型的训练分为手势检测模型和手势识别模型。

1.1)手势检测模型的训练过程如下：先对已经标注好手势类别、宽为1280 像素，高为720像素的图片进行随机裁剪，将随机裁剪到的图片通过双线性插值法缩放到512×512大小的图片。对裁剪好的图片进行随机的左右反转。将预处理好的图片输入MobileNet-SSD目标检测模型，设置初始学习率为0.01，学习率衰减因子为0.94，每训练两轮学习率衰减一次，最终的学习率为0.0001，权值衰减率为0.00004。

1.2)手势识别模型的数据预处理如下：

对于一段已经人为分割好手势动作起始点的视频流，先使用Opencv对视频流进行所有帧提取，再使用分段随机采样算法采样得到16帧RGB图像。对于 RBG图像，在保留图像原来的宽高比的前提下将图像缩放到256х256大小，然后将像素值缩放到-1到1之间，之后再随机裁剪出224×224大小的图像，利于模型训练。对于光流图像，使用TV-L1光流算法对原始采样得到的未经缩放的 RBG图像提取光流，再将像素值截断到-20到20之间，并缩放到-1到1之间，再随机裁剪出224х224大小的图像，目的也是加快模型训练。

1.3)手势识别模型训练过程如下:

的双流手势检测模型分为光流和RBG流，两个模型分开训练不进行权值共享。使用先在ImageNet上进行预训练，然后在Kinetics数据集上进行预训练过的模型进行训练，而不是从头开始训练的模型，这样可以提高模型5.31％的准确率。如图3所示，先使用InceptionV3网络模型对单帧图片进行空间上特征提取，每帧图片都提取到96个特征图，特征图的大小为28×28。再将所有的提取到的特征图输入3D-ResNeXt-101网络进行空间和时间维度上的特征提取， 3D-ResNeXt-101网络输入数据的形状为(batch_size(一批量大小)，16，28， 28，96)，输出为(batch_size,类别数)。使用SGD进行损失值的优化，使用momentum系数为0.9，再训练时使用的dropout系数为0.5，权值衰减率为1e-6，并且使用batch norm加速模型训练，在的服务器上使用8块Tesla V100gpu进行训练，每张gpu上的batch_size为8，所以总的batch_size为64。为RBG流和光流模型训练了120k轮和160k轮。也提供了不同阶段的学习率值。对于RBG 模型，0-97k之间学习率为1e-1，97k-108k之间为1e-2，108k-120k之间为1e-3。对于光流模型，0-97k之间学习率为1e-1，97k-105k之间为1e-2，105k-115k之间为1e-3，115k-140k之间为1e-1，140k-150k之间为1e-2，150k-160k之间为 1e-3。

2)模型部署及使用流程如下：

使用手势检测网络对不断传入的视频流逐帧处理，对每一帧进行动态手势检测，若在此帧中定位到动态手势，则此帧作为手势动作的起始点。在定位到起始点之后，若手势检测网络在之后的帧中检测到了静态手势，则次帧为整个手势动作的结束点，从而获得整个手势动作的起止点，如图3所示。如图4所示：将获得的手势动作起止点之间的视频帧采用分段随机采样算法，采样得到16帧不连续的图像。再将图像按照原来的高宽比将短边缩放为256像素，最后随即裁剪成224×224大小的图像。

2.1)对于以RBG流为输入的3D-ResNeXt101模型，可以直接将采样并裁剪好的16帧通过InceptionV3模型提取空间特征，再将提取到的空间特征输入 3D-ResNeXt101模型进行时间维度和空间维度的特征提取及预测。

2.2)对于以光流为输入的3D-ResNeXt101模型，需要先采用TV-L1算法提取相邻两帧的光流，再将光流的值截断到[-20,20]之间，再缩放到[-1,1]之间，达到正则化的效果。再将光流图输入3D-ResNeXt101模型中进行预测，光流和 RGB流的3D CNN模型之间的区别只在于光流模型的输入为2通道图像，而 RGB模型的输入为3通道图像。

3)将RBG流和光流模型预测得到的预测概率分布值(Logits值)直接相加并取平均值，得到最终的手势分类结果，将得到的结果回传给客户端。与传统的先进行候选区域提取，再对多个候选区域进行预测，将多个预测得到的预测概率分布值进行平均相比，本权力提出的方法只需要对输入的手势动作视频流进行一段RBG流特征和光流特征的预测进行平均，真正实现了端到端的深度学习。

Claims

1.一种基于深度学习的手势在线检测与识别系统，其特征在于：该方法的步骤如下：

1)先使用Opencv软件工具提取出数据集中视频流的所有帧图像，其中每帧图像中均已被标注有局部手势区域，且每个局部手势区域已被标注分为静态手势或者动态手势的类别；

2)将数据集中的视频流及其标注信息输入手势检测网络进行训练，手势检测网络采用MobileNet-SSD；

3)取一段完整的、标注有手势类别的、由RGB图像构成的手势动作视频流V输入训练好的手势检测网络进行手势的分割，通过手势检测网络获得每帧图像中标注为动态手势的局部手势区域，进而获得带有标注为动态手势的局部手势区域的图像帧的起止点t₁和t_n；

4)采用分段随机采样算法，从起止点t₁和t_n之间的n帧图像中采样得到16帧RGB图像；

6)将16帧RGB图像和16帧光流信息使用训练后的Inception V3网络进行空间上的特征提取，一帧RGB图像获得96个RGB特征图，一帧光流信息获得96个光流特征图；

8)在预测阶段，将未经人为分割的待检测的手势视频流先输入训练后的手势检测网络进行手势的分割，每帧图像通过获得手势检测网络局部手势区域作为感兴趣区域，再将感兴趣区域输入步骤7)训练后的两个手势识别网络分别获得对应于RGB图像和光流图像的预测分类结果，预测分类结果为手势视频流对应于不同手势分类的概率分布，将两个预测结果取平均值，再取概率最大的为手势分类作为最终的分类结果。

2.根据权利要求1所述的一种基于深度学习的手势检测和识别方法，其特征在于：所述的步骤4)中，使用分段随机采样算法具体如下：将n帧图像平均分为16段，每段随机取一帧图像作为RGB图像。

3.根根据权利要求1所述的一种基于深度学习的手势检测和识别方法，其特征在于：所述步骤2)中，在训练手势检测网络时，通过调整分离卷积、宽度因子、分辨率因子的相关参数使手势检测网络能在保证精度的前提下增加每秒帧率fps。

4.根根据权利要求1所述的一种基于深度学习的手势检测和识别方法，其特征在于：所述的步骤6)中，使用训练后的Inception V3网络进行空间上的特征提取，具体如下：Inception V3网络包括依次连接的Inception module模块和四个卷积模块，四个卷积模块依次连接，使用了Inception module模块，Inception module模块包含四个分支，每一个分支使用不同的卷积方式，提取不同抽象程度的高阶特征：对于InceptionV3-3c层而言，输出的特征图通道数为96，四个分支中每个分支将会得到24个通道的特征图；对于第一个分支，先使用1×1大小的卷积核进行卷积，再后接两个1×7和7×1的卷积核进行卷积，使用1×7和7×1大小的卷积核来代替7×7大小的卷积核加速了计算，增加了网络的非线性；对于第二个分支，先使用1×1的卷积核进行卷积，再使用1×7和7×1的卷积核进行卷积，第二个分支提取到的特征的抽象程度比第一个分支较低；第三个分支先进行最大池化增加后续卷积核的感受野，再使用1×1的卷积；第四个分支直接使用1×1的卷积核进行卷积；最后将四个分支的卷积结果堆叠处理；Inception V3网络输入为224×224大小的图像，使用InceptionV3-3c层前面的模型结构，得到的输出为28×28大小，通道数为96的特征图。