CN108052884A

CN108052884A - 一种基于改进残差神经网络的手势识别方法

Info

Publication number: CN108052884A
Application number: CN201711248247.5A
Authority: CN
Inventors: 张鑫; 林宏辉; 李晨阳; 郑浩东
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2018-05-18

Abstract

本发明公开一种基于改进型残差神经网络的手势识别方法，包括下列步骤：S1、训练样本集的获取；S2、对训练样本集进行预处理，通过算法找出手势在图像中的位置，裁剪后作为原始训练数据；S3、训练样本增强，对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换等，增大训练样本集；S4、手势模型获取，将处理后的训练样本集输入到预训练的残差网络中训练网络参数，得到手势识别模型；S5、将待识别手势图片进行与步骤S2相同处理，得到待识别手势数据；S6、将待识别手势数据输入到训练完成的网络中得出手势序列。本发明基于深度残差网络，在自行采集的数据集上对残差网络进行训练，实现第三视角的高识别率手势识别。

Description

一种基于改进残差神经网络的手势识别方法

技术领域

本发明设计图像处理技术领域，尤其涉及一种基于改进残差网络的手势识别方法。

背景技术

关于手势识别，手势识别作为人机交互中重要的拓展，因其较为直观、自然、易学的特点受到广泛欢迎，具有非常广泛的应用，如游戏交互中优化游戏体验、自动驾驶中交通手势识别、自动手语翻译为残疾人群提供便利。

手势识别系统可分为3类：

1、基于数据手套采集到的数据进行识别，Miguel Simao等人在数据手套采集到的数据下，通过基于ANN的方法用双三次插值去解决静态手势和动态手势同模型的问题达到98.7％的静态手势识别率。

2、基于跟踪设备，如鼠标、手写笔。

3、基于相机采集图像数据，用计算机视觉手段进行处理。Pablo Barros等人通过提取手势上部分重要点识别手势，采用HMM+DTW方法实现，虽然识别率不是最高水平，但是能够做到实时性。

使用数据手套和跟踪设备的方法能够在较少的训练数据下达到极高的识别正确率，但手套需连接计算机等系统才能对数据进行采集，采集到的数据格式不规范，使得系统变得复杂，用户体验也较差。基于计算机视觉的方法需要大量的数据进行训练，要求较高的计算能力，使得实时处理动态手势的难度非常高。

近年来深度学习理论在计算机视觉领域发挥了巨大作用，在2012ImageNet图像识别竞赛中，深度网络以巨大优势击败了传统算法，激起了众多学者对深度网络的研究热潮，各种新型网络不断涌现，网络的性能逐步提升。基于深度残差网络(ResNet)的分类器(150层网络)以4.94％的识别错误率首次超过人类识别率。手势识别可通过设计手势分类器来实现，深度方法的发展使得手势识别主要难点的解决成为可能。大部分人采用深度学习中的CNN或RCNN对手势识别进行改进，但随着网络层数增加到一个临界点后，梯度消失和弥散问题随之而来，网络精度达到饱和后迅速下降。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于改进残差神经网络的手势识别方法，以解决网络精度和梯度弥散的问题，极大地提高了手势识别的精度。

本发明的目的可以通过采取如下技术方案达到：

一种基于改进残差神经网络的手势识别方法，所述的手势识别方法包括下列步骤：

S1、训练样本集的获取。手势样本数据集的设计参考CIFAR-10数据集，依照增大不同手势类内变化，减小同种手势类间变化原则，采集不同光照、背景下的第三视角手势；

S2、对训练样本集进行预处理。通过select、search等算法找出手势在图像中的位置，裁剪后作为原始训练数据；

S3、训练样本增强。对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换等，增大训练样本集；

S4、手势模型获取。将处理后的训练样本集输入到在ImageNet上预训练的残差网络中训练网络参数，得到手势识别模型；

S5、将待识别手势图片进行与步骤2相同处理，得到待识别手势数据；

S6、将待识别手势数据输入到训练完成的网络中得出手势序列。

进一步地，所述训练样本及待识别手势图片，包括单手的手势和双手的手势图片。

进一步地，所述的一种基于改进残差神经网络的手势识别方法，其特征在于所述残差网络结构设计包括Input、Convolution、SpatialBatchNormal ization、ReLU、多个BasicBlock(残差网络基本模块)、SpatialAveragePool ing、Full Connection、Linear、Classes Output等结构，各结构依次相连。

进一步地，所述的一种基于改进残差神经网络的手势识别方法，其特征在于,所述的改进残差网络模块设计包括以下结构：输入层(Input)、卷积层(Convolution)、归一化层(Batch Normal)、激活函数层(ReLU)、相加层(Addition)、输出层(Output)等结构，其中输入层、初始卷积层、归一化层、激活函数层、卷积层、归一化层依次相连接，并将结果输出至相加层，所述的输入层存在一条短接路径通向相加层，相加层的输出通向激活函数层，激活函数层的输出作为最终的输出层；

所述的残差网络模块的改进是将残差网络模块的基本结构中归一化层从相加层之前改为相加层之后。

进一步地，所述的残差网络的基本模块，所述输入层用于特征图(Feature Maps)的输入；所述的初始卷积层用于对输入图像数据进行卷积；所述的残差网络用于短接前后层的特征，具体公式如下：

y＝F(x,{w_i})+x

其中x和y分别表示残差网络的输入和输出向量。

进一步地，所述的一种基于改进残差神经网络的手势识别方法，所述的手势图片划分为RGB三通道输入到网络，以3x3卷积核对输入数据进行卷积计算。

进一步地，所述的一种基于改进残差神经网络的手势识别方法，所述RGB三通道输入信息经Convolution提取16个卷积特征，先经过所述SpatialBatchNormal ization进行空间批量归一化，再输入到所述ReLU。

进一步地，所述的一种基于改进残差神经网络的手势识别方法，残差网络输出经过SpatialAveragePool ing进行空间平均池化操作后再输入全连接层。

本发明相对于现有技术具有如下的优点及效果：

1、本发明采用最新的深度残差网络并加以改进，增强网络前后层之间的联系，促使网络更好地提取手势特征，最终达到97.94％的分类准确率；

2、本发明对Batch Normal层在网络中的位置进行实验比较，最终将Batch Normal层从相加层之前改为相加层之后，在加快网络收敛速度的同时提高分类的准确率；

3、本发明充分调研现有手势数据库的优缺点，自主采集了一个全新的第三视角静态手势数据库，适用于不同的手势交互场景；

4、本发明结合手势识别任务个体差异大特点，对原始训练数据进行包括平移、旋转、缩放、镜像在内的一系列数据增强处理，增加训练样本的多样性，确保最终模型的鲁棒性；

5、本发明通过select、search检测算法确定手部位置，拍出背景干扰，提高分类准确率；

6、本发明使用ImageNet上预训练的深度残差网络进行微调，减少网络训练时间的同时增加模型的泛化能力；

7、本发明采用的手势图片输入可直接从视频中提取，也可以普通RGB图片输入，提高了用户体验，在适用上具有极高的广泛性；

附图说明

图1是本发明中公开的基于改进残差神经网络的手势识别方法流程图；

图2(a)是残差神经网络的基本结构图；

图2(b)是残差神经网络的改进型结构图；

图3(a)是本发明中不同光照下采集的数据；

图3(b)是本发明中不同角度下采集的数据；

图3(c)是本发明中不同背景下采集的数据；

图3(d)是本发明中不同手势的定义；

图4是本发明中改进残差神经网络的整体网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于改进残差神经网络手势识别方法，具体流程图参照附图1所示，包括下列步骤：

S1、训练样本集的获取。手势样本数据集的设计参考CIFAR-10数据集，设计原则为：增大类内变化，减小类间变化。为增大类内变化，保证在不同角度、光照、背景下模型任然能够准确识别手势，数据集在多光照、多角度、多背景下采集手势样本，如附图3(a)、图3(b)、图3(c)所示分别为不同光照、角度、背景下采集手势样本。为了减小类间差别，不同手势设计是尽量保持较小的变化，如附图3(d)所示为不同手势类的定义。本发明数据按3:2比例划分为训练集和验证集。样本在53种不同场景下采集获得，总共来自12个采集者，视频提取后的总体样本数量为72742，总共10种手势分类，每种分类7000个样本左右。

S2、对训练样本集进行预处理。通常输入图像数据较大，如1024*768大小的图片，但手势占较小的面积。通过select search等算法找出手势在图像中的位置，裁剪后作为原始训练数据；本文采用144*256的图片作为输入层进行训练，这样大小的图片既能保证姿势清晰度，便于识别，相比原始图像又能缩小数据规模，减少计算量和复杂度。

S3、训练样本增强。为了避免由于样本数据过少而引起的模型过拟合问题，对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换等，增大训练样本集。

S4、手势模型获取。整体网络结构设计参考附图4，手势图片划分为RGB三通道输入到网络，将处理后的训练样本集输入到残差网络中训练网络参数。首层使用3x3卷积核对输入信息进行卷积运算，提取16个特征，提取卷积特征经过SpatialBatchNormalization进行空间批量归一化操作，再将归一化结果输入到激活函数层，激活函数层选用ReLU作为激活函数。再将结果输入到多个改进的残差模块中。附图2(a)为基本残差网络结构，附图2(b)为改进型残差神经网络基本结构，所述的残差网络模块的改进是将残差网络模块的基本结构中归一化层从相加层之前改为相加层之后。在加快网络收敛速度的同时提高分类的准确率。在改进的残差网络中分别提取32和64个特征，接着经过8x8的SpatialAveragePool ing空间平均池化后输入Full Connection层，最后通过Linear层对结果进行分类，得到手势识别最终结果。网络设计总共20层，训练时网络初始化采用权值随机初始化，避免训练后网络权值出现对称的现象。保存训练得到的网络参数，作为手势识别模型；

所述待输入手势模型的识别包括以下步骤：

i、将待识别手势图片进行预处理。预处理步骤包括select、search等算法找出手势在图像中的位置，裁剪为144*256的图片作为输入。

i i、将预处理完的待识别手势图片输入到训练完成的网络中。得到识别结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于改进残差神经网络的手势识别方法，其特征在于，所述的手势识别方法包括下列步骤：

S1、训练样本集的获取，手势样本数据集的设计参考CIFAR-10数据集，依照增大不同手势类内变化，减小同种手势类间变化原则，采集不同光照、背景下的第三视角手势；

S2、对训练样本集进行预处理，找出手势在图像中的位置，裁剪后作为原始训练数据；

S3、训练样本增强，对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换，增大训练样本集；

S4、手势模型获取，将处理后的训练样本集输入到在ImageNet上预训练的残差网络中训练网络参数，得到手势识别模型；

S5、将待识别手势图片进行与步骤S2相同处理，得到待识别手势数据；

2.根据权利要求1所述的一种基于改进残差神经网络的手势识别方法，其特征在于,所述的训练样本及所述的待识别手势图片包括单手的手势和双手的手势图片。

3.根据权利要求1所述的一种基于改进残差神经网络的手势识别方法，其特征在于,所述的改进残差网络模块设计包括以下结构：输入层、卷积层、归一化层、激活函数层、相加层、输出层，其中输入层、初始卷积层、归一化层、激活函数层、卷积层、归一化层依次相连接，并将结果输出至相加层，所述的输入层存在一条短接路径通向相加层，相加层的输出通向激活函数层，激活函数层的输出作为最终的输出层。

4.根据权利要求1所述的一种基于改进残差神经网络的手势识别方法，其特征在于，所述的输入层用于特征图的输入；所述的初始卷积层用于对输入图像数据进行卷积；所述的残差网络用于短接前后层的特征，具体公式如下：

y＝F(x,{w_i})+x

其中x和y分别表示残差网络的输入和输出向量。

5.根据权利要求1所述的一种基于改进残差神经网络的手势识别方法，其特征在于,所述的手势图片划分为RGB三通道输入到网络，以3x3卷积核对输入数据进行卷积计算。

6.根据权利要求5所述的一种基于改进残差神经网络的手势识别方法，其特征在于,所述的RGB三通道输入信息经卷积层提取16个卷积特征，先经过SpatialBatchNormalization进行空间批量归一化，再输入到激活函数层。

7.根据权利要求3所述的一种基于改进残差神经网络的手势识别方法，其特征在于,残差网络输出经过SpatialAveragePooling进行空间平均池化操作后再输入全连接层。