CN109815920A - 基于卷积神经网络和对抗卷积神经网络的手势识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络和对抗卷积神经网络的手势识别方法，对于某些特定类型的手势，首先通过使用对抗卷积神经网络来生成训练样本，可以解决训练模型时的过拟合问题；此外，使用卷积神经网络来进行手势识别，可以有效提高识别的准确率及效率，可以达到实时的手势识别。本发明将卷积神经网络和对抗卷积神经网络结合应用于手势识别，相对于传统的识别方法，神经网络的优点是能够直接与图像像素进行卷积，从图像像素中提取图像特征，这种处理方式更加接近人类大脑视觉系统的处理方式。

Description

基于卷积神经网络和对抗卷积神经网络的手势识别方法

技术领域

本发明涉及图像识别领域，尤其涉及一种基于卷积神经网络和对抗卷积神经网络的手势识别方法。

背景技术

近年来随着科学技术的高速发展，人机交互的方式也得到了很大的改变，各种新型的人机交互方式也不断出现在大众的视野，鼠标键盘的交互方式变为触摸屏与语音，交互形式变得多样化、人性化。然而更为高效交互形式是让机器能够理解人的肢体语言，在各类肢体语言中手势最为常见，因此可以将它作为一种简单、自由的人机交互手段，有着十分广阔的应用前景。

进行基于手势的人机交互时，一个很重要的过程是对手势进行识别。手势识别时，一般过程是先提取手势的特征，然后根据所提取的特征根据有效的识别方法进行手势识别。

传统的手势识别方式很多，如基于神经网络的识别方法具有较强的识别分类识别能力的分类能力，但是该方法采用神经网络层数一般较浅，很容易出现过拟合的现象。基于几何特征的识别方法通过提取手势结构、边缘、轮廓等特征进行手势识别，该方法具有良好的稳定性，但是不能通过提升样本量的同时进行识别率的提升。基于隐马尔科夫模型的识别方法虽然具有描述手势时空变化的能力，但是该方法的识别速度却不尽如人意。

随着机器学习和深度学习在计算机视觉的迅速发展，基于机器学习和深度学习的方法受到越来越多研究者的关注。其中，基于深度神经网络则有着局部连接、权值共享、自动特征提取等特点过程给手势识别的任务带来新的思路。因此针对手势变化的复杂性，也有一些研究者提出了基于深度卷积神经网络的手势识别方法。但是由于用于训练的手势图像的相似度都很高，容易使模型训练时产生过拟合，从而导致最后的识别效果受到影响。

生成对抗网络是受到博弈论中的二人零和博弈的启发，由Goodfellow等人开创性地提出的。根据实际的结果，它们看上去可以比其它模型产生了更好的样本(图像更锐利、清晰)。对抗卷积神经网络是生成对抗网络的一种延伸，将卷积神经网络引入到生成式模型当中来做无监督的训练，利用卷积网络强大的特征提取能力来提高生成网络的学习效果。

现在是信息化时代，也是大数据时代，传统的手势识别算法难以解决如此大量的数据，使用这些算法可能会浪费大量时间。而且手势种类较多时，按传统的手势识别方法来识别不同类型的手势，只能在少部分手势上达到较好的识别效果，而大部分手势都达不到令人满意的效果，即传统方法的针对性比较强，对特定的一些类手势可能有良好的分割效果，但是不能适用于其他类手势，即没有广泛的适用性。在卷积神经网络用于手势识别时，训练出现过拟合是一个非常常见的现象，而且这确实是一个不容忽视的问题，同时大量实验也证明了这个问题，这严重影响到了模型最终识别的效果。

发明内容

发明目的：针对以上问题，本发明提出一种基于卷积神经网络和对抗卷积神经网络的手势识别方法，可以有效提高识别的准确率及效率，达到实时的手势识别。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于卷积神经网络和对抗卷积神经网络的手势识别方法，包括步骤：

(1)采集样本图像，确定学习样本，并分类存放；

(2)利用对抗卷积神经网络自主学习样本图像，生成得到新的手势图像；

(3)对抗卷积神经网络生成的手势图像，作为识别卷积神经网络自主学习的样本，训练得到识别卷积神经网络模型；

(4)准备待识别手势；

(5)调用识别卷积神经网络模型进行手势识别；

(6)保存识别结果。

进一步地，所述步骤1中，所述学习样本为上过标签的样本，并按标签分类存放。

进一步地，所述步骤2中，对抗卷积神经网络包括生成模型和判别模型，通过生成模型不断生成图像，由判别模型不断判断生成图像是否为真实图片，从而形成博弈的过程，最终生成与真实图像几乎一致的生成图像。所述生成模型包括卷积层和全连接层，所述判别模型包括卷积层和全连接层。

进一步地，所述步骤3中，所述识别卷积神经网络模型包括卷积层、池化层、扁平层和全连接层。

进一步地，所述步骤6中，使用txt文本记录手势图像及对应的识别结果，以测试时间来命名txt文本。

有益效果：本发明通过使用对抗卷积神经网络来生成训练样本，可以解决训练模型时的过拟合问题；使用卷积神经网络来进行手势识别，可以有效提高识别的准确率及效率，可以达到实时的手势识别。本发明将卷积神经网络和对抗卷积神经网络结合应用于手势识别，相对于传统的识别方法，能够直接与图像像素进行卷积，从图像像素中提取图像特征，这种处理方式更加接近人类大脑视觉系统的处理方式。

附图说明

图1是本发明手势识别方法流程图；

图2是本发明对抗卷积神经网络判别模型结构图；

图3是本发明对抗卷积神经网络生成模型结构图；

图4是本发明手势识别卷积神经网络模型结构图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明在windows10版本下进行，首先下载Anaconda，版本为适用于windows64位操作系统，且适用于python3.6。Anaconda是一个用于科学计算的python发行版，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。在Anaconda中设置其运行环境为python3.6，安装matplotlib(数据图形库)，tensorflow库，spyder(python编辑器)，numpy(数组函数库)，opencv(计算机视觉库)等，完成运行环境的搭建。

如图1所示，本发明基于卷积神经网络和对抗卷积神经网络的手势识别方法，包括步骤：

(1)采集样本图像，确定学习样本，并分类存放；

要得到模型，需要确定学习样本，上过标签的样本，如伸出5个手指代表“5”，则它的标签就是“5”。

搜集需要识别的手势，按照不同的类别，把它们放在同一个文件夹下，如手势分别代表“1”和“2”，那就把它们放在“1”，“2”两个不同的文件夹下，作为不同的学习样本。根据实验所知，数据量也必须要足够多，学习样本越多，就够得到效果更好的模型。

这里设置样本为36类，包括数字1到10，字母A到Z，每一类的图片数量为1200张，直接通过电脑的摄像头采集。按照不同的类别，把它们放在同一个文件夹下，如手势“1”和手势“2”为不同类别，那就把它们放在两个不同的文件夹下，作为不同的学习样本。文件夹命名方式以种类名称命名。本发明各类样本数据量为1200，可以满足训练要求。

(2)利用对抗卷积神经网络自主学习样本图像，生成得到新的手势图像；

根据获取的样本图像，将它们都放入设计好的对抗卷积神经网络，通过让对抗卷积神经网络自主学习这些样本，最终生成得到全新的手势图像，保存于本地，用作卷积神经网络的学习样本。如图2和图3所示，通过让生成模型和判别模型相互博弈，最终生成更好的样本(图像更锐利、清晰)，得到的全新的手势图像。

对抗卷积神经网络包括生成模型(generative model)和判别模型(discriminative model)，一般情况下，生成模型和判别模型都是使用的神经网络的算法，比如感知器或者卷积神经网络。对于对抗网络，经过所谓的对抗过程的训练之后，生成模型可以生成逼真的图像，接近于训练图片，但又不完全一样。所以，生成网络是学习了一个训练数据的近似分布。对于判别网络也能进行训练数据的很好的区分，比如进行分类。

如图2所示，是对抗卷积神经网络的生成模型结构图，模型一共包含5层，具体说明如下。

第一层：全连接层，其输入为服从均匀分布的噪声向量Z，它的维度是100。因为只有矩阵乘法，因此可以被叫做全连接层，被重塑成4维张量(训练时一个批大小的图片数量、图片高度、图片宽度、图像通道数)，作为卷积栈的开始。全连接层的节点个数为1024，所以全连接层的输出维度变为1024×4×4。

第二层：卷积层，卷积层使用的是反卷积操作，过滤器尺寸为5×5，深度为512，步长为2，使用的激活函数是ReLU。这里反卷积使输出尺寸会扩大一倍，所以本层的输出矩阵大小为8×8×512。

第三层：卷积层，本层的输入矩阵大小为8×8×512，反卷积过滤器尺寸为5×5，深度为256，步长为2，使用的激活函数是ReLU。本层的输出矩阵大小为16×16×256。

第四层：卷积层，本层的输入矩阵大小为16×16×256，反卷积过滤器尺寸为5×5，深度为128，步长为2，使用的激活函数是ReLU。本层的输出矩阵大小为32×32×128。

第五层：卷积层，本层的输入矩阵大小为32×32×128，反卷积过滤器尺寸为5×5，深度为64，步长为2，使用的激活函数是ReLU。本层的输出矩阵大小为64×64×1。最后的输出是生成的新的图像。

如图3所示，是对抗卷积神经网络的判别模型结构图，模型一共包含5层，具体说明如下。

第一层：卷积层，其输入为原始的图像，尺寸为64×64×1。卷积层的过滤器尺寸为5×5，深度为64，步长为2，使用的激活函数是ReLU。本层的输出维度变为32×32×64。

第二层：卷积层，本层的输入矩阵大小为32×32×64，采用的过滤器大小为5×5，深度为128，步长为2，使用的激活函数是ReLU。这一层的输出的尺寸为16×16×128。

第三层：卷积层，本层的输入矩阵大小为16×16×128，采用的过滤器大小为5×5，深度为256，步长为2，使用的激活函数是ReLU。这一层的输出的尺寸为8×8×256。

第四层：卷积层，本层的输入矩阵大小为8×8×256，采用的过滤器大小为5×5，深度为512，步长为2，使用的激活函数是ReLU。这一层的输出的尺寸为4×4×512。

第五层：全连接层，本层的输入矩阵大小为4×4×512，全连接层的节点个数为1024，它将输入矩阵压缩为1维，大小为1×1×64。最后这个矩阵进入sigmoid函数计算为一个数字，其大小为输入图像是真实图像的概率。

通过生成模型不断生成图像，由判别模型不断判断生成图像是否为真实图片，从而形成了一个不断博弈的过程，最终模型就能生成与真实图像几乎一致的生成图像。

(3)对抗卷积神经网络生成的手势图像，作为识别卷积神经网络自主学习的样本，训练得到识别卷积神经网络模型；

由对抗卷积神经网络生成的手势图像，放入设计好的识别卷积神经网络，如图4所示，依然是根据不同类型的图像，将它们归类放在同一个文件夹下，通过让卷积神经网络自主学习这些样本，自我调节模型参数至结束(结束条件为学习完所有的图像)。经过训练得到识别卷积神经网络模型，将保存于本地，保证可以随时调用此模型。

如图4所示，是手势识别卷积神经网络模型结构图，该模型是根据经典的VGGNet修改所得到的，因为原始的VGGNet网络模型过于庞大，需要强大的硬件条件加以支持，训练难度过大，消耗的资源太大，不能得到广泛的普及。而本发明经过修改后得到的模型，简化了模型，不仅明显减小了模型参数，使得模型训练难度显著降低，而且其识别的准确率能保持在与之相当的水平。模型一共包含7层，具体说明如下。

第一层：卷积层，其输入为原始的图像的压缩图像，尺寸为50×50×1。卷积层的过滤器尺寸为2×2，深度为16，不使用全0补充，使用的激活函数是ReLU。这一层的输出的尺寸为49×49，深度为16。这一个卷积层总共有2×2×1×16+16＝80个参数，其中16为偏置项参数个数，卷积层的参数个数只和过滤器的尺寸，深度以及当前层节点矩阵的深度有关。

第二层：池化层，采用最大池化(max-pooling)，这一层的输入为第一层的输出，是一个49×49×16的节点矩阵。本层采用的过滤器大小为2×2，步长为2，使用全0补充，所以本层的输出矩阵大小为25×25×16。

第三层：卷积层，本层的输入矩阵大小为25×25×16，采用的过滤器大小为5×5，深度为32，不使用全0补充，使用的激活函数是ReLU。这一层的输出的尺寸为21×21×32。

第四层：池化层，采用最大池化(max-pooling)，本层的输入矩阵大小为21×21×32，采用的过滤器大小为5×5，步长为5，使用全0补充。本层的输出矩阵大小为5×5×32。

第五层：卷积层，本层的输入矩阵大小为5×5×32，采用的过滤器大小为5×5，深度为64，不使用全0补充，使用的激活函数是ReLU。这一层的输出的尺寸为1×1×64。

第六层：flatten层：扁平层，用来将输入“压平”，即把多维的输入一维化，用于过渡到全连接层。本层输入为1×1×64矩阵，将其拉直为一个长度为1×1×64的向量，即将一个三维矩阵拉直到一维空间以向量的形式表示，这样才可以进入全连接层进行训练。本层的输出节点个数为64。

第七层：全连接层，本层的输入节点个数为64个，输出节点个数为128个。

第八层：全连接层，本层的输入节点个数为128个，输出节点个数为n个(n表示类别数，根据需要可自定义)。

本发明使用ReLU作为激活函数，其函数为：

还使用局部响应归一化，提高模型的准确率，其函数为：

其中，i表示第i个核在位置(x,y)运用激活函数ReLU后的输出，n是同一位置上临近的kernal map的数目，N是kernal的总数；参数k，n都是超参数，一般设置k＝2，n＝5，ɑ＝1*e-4，β＝0.75。

在模型的最后一层，使用softmax函数来将各神经元的输出压缩到[0,1]之间，其函数为：

其中，C为输出层神经元的个数，z是一个C维的向量，表示的是未经softmax之前的输出(softmax层的输入)，P(i)表示是第i类的概率，是一个标量。

(4)准备待识别手势；

通过学习样本得到的手势识别模型(识别卷积神经网络模型)可以来应用于未知的数据，也就是能直接识别真人的手势。能够识别的速度，主要取决于硬件方面，模型本身可以做到实时不间断的识别工作。如使用带有GPU加速器的服务器的效率远高于只含有CPU的服务器。

(5)调用手势识别模型(识别卷积神经网络模型)，进行手势识别，得到手势识别结果；

根据读取到的手势，在spyder中调用保存于本地的手势识别模型，实时处理所有传入的手势，对每一帧图像进行识别操作，得到手势识别结果。

(6)保存识别结果，使用txt文本记录手势图像及对应的识别结果。

得到的识别结果，使用txt文本将这些信息(手势图像以及对应的识别结果)保存于本地，将以测试时间来命名txt文本。例如，在8：00时处理的一批手势，保存的txt文件名为8：00.txt。在txt文本中，分行记录信息，每一行记录一条识别结果。如，处理的第一帧手势名为“手势1.jpg”，它的识别结果为“5”，那么第一行记录的信息为“手势1.jpg——5”，以此类推，记录好所有的手势的识别结果，最终停止。

Claims (6)

1.一种基于卷积神经网络和对抗卷积神经网络的手势识别方法，其特征在于，包括步骤：

(1)采集样本图像，确定学习样本，并分类存放；

(2)利用对抗卷积神经网络自主学习样本图像，生成得到新的手势图像；

(3)对抗卷积神经网络生成的手势图像，作为识别卷积神经网络自主学习的样本，训练得到识别卷积神经网络模型；

(4)准备待识别手势；

(5)调用识别卷积神经网络模型进行手势识别；

(6)保存识别结果。

2.根据权利要求1所述的基于卷积神经网络和对抗卷积神经网络的手势识别方法，其特征在于，所述步骤1中，所述学习样本为上过标签的样本，并按标签分类存放。

3.根据权利要求1所述的基于卷积神经网络和对抗卷积神经网络的手势识别方法，其特征在于，所述步骤2中，对抗卷积神经网络包括生成模型和判别模型，通过生成模型不断生成图像，由判别模型不断判断生成图像是否为真实图片，从而形成博弈的过程，最终生成与真实图像几乎一致的生成图像。

4.根据权利要求3所述的基于卷积神经网络和对抗卷积神经网络的手势识别方法，其特征在于，所述生成模型包括卷积层和全连接层，所述判别模型包括卷积层和全连接层。

5.根据权利要求1所述的基于卷积神经网络和对抗卷积神经网络的手势识别方法，其特征在于，所述步骤3中，所述识别卷积神经网络模型包括卷积层、池化层、扁平层和全连接层。

6.根据权利要求1所述的基于卷积神经网络和对抗卷积神经网络的手势识别方法，其特征在于，所述步骤6中，使用txt文本记录手势图像及对应的识别结果，以测试时间来命名txt文本。