CN108460329A - 一种基于深度学习检测的人脸手势配合验证方法 - Google Patents

Abstract

一种基于深度学习检测的人脸手势配合验证方法，其主要目的在于使用适用于低功耗设备的算法完成人脸和手势的检测，以达到人脸—手势配合验证的效果。是一种利用深度残差卷积神经网络在大幅缩小后的图像中进行头肩整体检测，再根据头肩出现的范围检测人脸，最后根据头肩的位置检测手势，并根据检出的人脸和手势验证触发条件的方法。相比于传统的基于手势的验证系统，本发明拥有更好的稳定性，大大降低了用户误触发和系统的失灵，拥有很好的稳定性。可广泛应用于手机、家电验证开关机的方法。

Description

一种基于深度学习检测的人脸手势配合验证方法

技术领域

本发明涉及人工神经网络、计算机视觉等技术领域，具体涉及一种基于深度学习检测的人脸手势配合验证方法。

背景技术

静态手势识别在可视交流、人机交互、增强现实等领域有重要应用。然而，在实际应用中由于光照、个体变化等因素影响，单纯手势识别很难满足具体的应用需求。近年来，在电视机、空调、空气净化器等家电行业，依靠遥控器的传统方式显得越来越笨拙，而依靠人脸加手势验证的控制方式越来越受到高端家电业、智能手机行业的重视。这里涉及的人脸加手势验证方法考虑在静态图像中同时发现人脸和特定手势，及其特定的空间位置关系，以此来判定触发条件是否达成。其中涉及的关键技术包括人脸检测和手势检测。传统的机器学习算法如Viola和Jones提出的基于AdaBoost检测框架，其使用滑动窗口加人工特征的方式完成检测功能，但在实际的复杂场景中往往导致大量的漏检和误检。在实施中需要大量的额外人力来处理，严重影响用户体验。

目前流行的深度学习检测算法大多依赖GPU加速。当前主流的目标检测算法如SSD、R-FCN、mask R-CNN等使用流行的深度网络结构如VGG-16、Resnet101等，使用普通笔记本CPU运行一次所要的时间不能满足实时地要求，而在低功耗无GPU的设备上更是会导致内存溢出问题，远远无法满足家电、手机行业低功耗设备的要求。进一步，这些设备的低功耗芯片在实际使用中往往同时运行其他程序，并对发热有严格的要求，因而现在常见的深度学习算法很难在这些设备上实施、落地。

发明内容

为了解决上述问题，本发明提供了一种基于深度学习检测的人脸手势配合验证方法。

本发明是通过如下技术方案实现的：

一种基于深度学习检测的人脸手势配合验证方法，包括如下步骤：

步骤一)人工收集和标注各种场景下人的头肩数据、人脸数据和设置的手势数据，利用深度学习框架分别建立用于头肩检测、人脸检测和手势检测的三个深度残差卷积神经网络，并且对网络进行训练；

步骤二)将由摄像头采集的图像经压缩处理后实时送入头肩检测神经网络，检测摄像头是否捕捉到了一个或多个人的头肩，若检测到人的头肩则在每一个检测到头肩的区域划出头肩检测框，再根据头肩检测框划出人脸候选框，并将原图中人脸候选框对应的图像经适当压缩后送入人脸检测神经网络进行人脸检测；

步骤三)若人脸检测神经网络检测到人脸，则根据其对应的头肩划出手势候选框，并将原图中手势候选框对应的图像经过适当压缩送入手势检测网络进行手势检测；

步骤四)手势检测神经网络每隔300毫秒确认一次手势候选框内可检测到手势，若连续两次均确认成功则验证通过验证。

进一步的，所述步骤一)中，所述头肩检测神经网络采用深度残差卷积神经网络，由16层主干网络和四个输出支路组成：

主干网络包含16个卷积层，卷积核大小均为3×3，分别在第1层、第2层和第11层卷积层步长为2，其余卷积层步长为1，按照残差结构的要求，每两个步长为1的卷积层添加一个跳连结构，每层卷积后使用线性修正单元ReLU函数进行激活；

四个输出支路各含有3个卷积层，分别接在主干网络第10层、第13层、第15层、第16层，卷积核大小均为1×1，步长为1。除最后一层外，每层卷积后使用线性修正单元ReLU函数进行激活；

进一步的，所述人脸检测神经网络和手势检测神经网络采用相同的网络结构，包括13层卷积神经网络，除最后一层外，每层卷积后使用线性修正单元ReLU函数进行激活；前10层卷积核大小均为3×3，最后3层卷积核大小为1x1；网络第1层和第2层卷积层步长为2，其余卷积层步长为1；每两个步长为1，含3x3卷积核的卷积层添加一个跳连结构；

进一步的，所述步骤二)中，为了保证网络运行的速度，先将摄像头输入的图像压缩至一个固定的尺寸，若场景中有人则头肩检测神经网络会输出若干人的头肩检测框信息，则根据压缩比例，得到实际图片中人头检测框的信息。

进一步的，所述步骤二)中，划出人脸候选框的选取方法为：设某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w，其对应的人脸检测框信息包括其左下角坐标x’和y’，高、宽数据h’、w’；则有x’＝x、y’＝y、h’＝1.15*h、w’＝w。

进一步的，输入人脸检测神经网络的图像，长边被压缩至48像素，宽边等比例压缩。

进一步的，所述步骤三)中，划出手势候选框的方法为：设某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w，其对应的手势检测框信息包括其左下角坐标x’和y’，高、宽数据h’、w’；则有x’＝x、y’＝y-1.1*h、h’＝1.2*h、w’＝1.2*w。

进一步的，输入手势检测神经网络的图像，长边被压缩至64像素，宽边等比例压缩。

进一步的，所述步骤四)中进行再次的手势检测时，手势候选框信息直接使用上次手势检测的手势候选框。

与现有技术相比，本发明具有以下优点：

相比于传统的基于手势的验证系统，本发明拥有更好的稳定性，大大降低了用户误触发和系统的失灵，拥有很好的稳定性。

本发明提供了可广泛应用于手机、家电验证开关机的方法。该方法先后使用了三个深度卷积神经网络，并根据具体场景的困难程度不同设计了不同深度的网络，从而在保证系统可靠性的同时保证了系统的实时性。可应用于更多低端设备上，提升用户体验。

附图说明

图1为实施例1流程示意图。

具体实施方式

实施例1

如图1所示的一种基于深度学习检测的人脸手势配合验证方法，其主要目的在于使用适用于低功耗设备的算法完成人脸和手势的检测，以达到人脸—手势配合验证的效果。是一种利用深度残差卷积神经网络在大幅缩小后的图像中进行头肩整体检测，再根据头肩出现的范围检测人脸，最后根据头肩的位置检测手势，并根据检出的人脸和手势验证触发条件的方法。该方法包括如下步骤：

S1、人工收集和标注各种场景下人的头肩数据、人脸数据和给定的手势数据(包括五指自然张开、大拇指与食指卷曲的OK型手势等，任选其一)，利用现有深度学习框架分别建立头肩检测、人脸检测和手势检测的深度残差卷积神经网络，并且对网络进行训练。

S2、将由摄像头采集的数据经适当压缩后实时送入用于头肩检测的神经网络；

S3、确认摄像头是否捕捉到了人的头肩(可以是多个)，若未捕捉到，转至S2，否则送入S4；

S4、将已检出的头肩区域信息逐个送入S5，直至遍历完所有头肩区域；

S5、根据头肩所在的区域，计算出人脸候选区域，并将原图中对应的该候选区经适当压缩后送入人脸检测网络；

S6、若S5中人脸检测网络未能检测到人脸，则转至S4，否则根据其对应的头肩区域确定手势的候选区域，并将原图中对应的该候选区经过适当压缩送入手势检测网络。

S7、确认摄像头是否捕捉到了特定的手势，若未捕捉到手势则转至S4；

S8、再每隔300毫秒确认一次手势候选框内可检测到手势，连续确认两次，若两次均确认成功则验证通过，否则转至S2。

其中步骤S1包括如下的步骤：

S11、人工收集常见室内外场景的头肩、人脸和手势数据并标注。

S12、用深度学习框架建立用于头肩检测的深度神经网络。

作为优选的技术方案，步骤S12中，我们采用深度残差卷积神经网络由16层主干网络和四个输出支路组成：

主干网络包含16个卷积层，卷积核大小均为3×3，分别在第1层、第2层和第11层卷积层步长为2，其余卷积层步长为1。按照残差结构的要求，每两个步长为1的卷积层添加一个跳连结构，丰富网络信息的流向。每层卷积后使用线性修正单元ReLU函数进行激活，增加网络的非线性；

四个输出支路各含有3个卷积层，分别接在主干网络第10层、第13层、第15层、第16层，卷积核大小均为1×1，步长为1。除最后一层外，每层卷积后使用线性修正单元ReLU函数进行激活；

S13、用深度学习框架建立用于人脸检测的深度卷积神经网络。

作为优选的技术方案，步骤S13中，所述神经网络包括13层卷积神经网络，除最后一层外，每层卷积后使用线性修正单元ReLU函数进行激活。前10层卷积核大小均为3×3，最后3层卷积核大小为1x1。网络第1层和第2层卷积层步长为2，其余卷积层步长为1。借鉴残差网络结构，每两个步长为1、含3x3卷积核的卷积层添加一个跳连结构；

S14、用深度学习框架建立用于手势检测的深度卷积神经网络，网络结构与S13中的网络结构相同。

S15、训练以上三个神经网络至适当的精度。

进一步地，步骤S2中，为了保证网络运行的速度，我们会对图片压缩至一个固定的尺寸，该尺寸大小视具体需求而定。通常，如果场景中的人距离镜头越近则压缩后的图像越小。

进一步地，步骤S3中，若场景中有人则神经网络会输出若干人的头肩检测框信息，进而根据上一步的压缩比例，得到实际图片中人头检测框的信息。

进一步地，步骤S5中，我们设已输入的某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w。则相应的人脸候选框由数据x’＝x、y’＝y、h’＝1.15*h、w’＝w唯一确定。进而，为了算法的速度，我们将该区域的图片截取后压缩至长边为某个固定值(实验中48为最佳)的图片送入人脸检测网络。

进一步地，步骤S6中，我们设已输入的某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w。手势候选框由数据x’＝x、y’＝y-1.1*h、h’＝1.2*h、w’＝1.2*w唯一确定(很多时候，我们需要将根据具体的应用确定手势会出现在图片范围来确定)。进而，为了算法的速度，我们将该区域的图片截取后压缩至长边为某个固定值(实验中64为最佳)的图片送入人脸检测网络。

进一步地，步骤S8中，系统睡眠300毫秒后获取摄像头图像并执行一次S6，系统再睡眠300毫秒后获取摄像头图像并执行一次S6，其中的手势候选框信息将直接使用上次S6执行中的手势候选框。

以上实施例仅用于说明本发明，但不用来限制本发明的范围，凡是依据本发明的技术实质对以下实例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于深度学习检测的人脸手势配合验证方法，其特征在于，包括如下步骤：

步骤一)人工收集和标注各种场景下人的头肩数据、人脸数据和设置的手势数据，利用深度学习框架分别建立用于头肩检测、人脸检测和手势检测的三个深度残差卷积神经网络，并且对网络进行训练；

步骤二)将由摄像头采集的图像经压缩处理后实时送入头肩检测神经网络，检测摄像头是否捕捉到了一个或多个人的头肩；若检测到人的头肩则在每一个检测到头肩的区域划出头肩检测框，再根据头肩检测框划出人脸候选框，并将原图中人脸候选框对应的图像经适当压缩后送入人脸检测神经网络进行人脸检测；

步骤三)若人脸检测神经网络检测到人脸，则根据其对应的头肩划出手势候选框，并将原图中手势候选框对应的图像经过适当压缩送入手势检测网络进行手势检测；

步骤四)手势检测神经网络每隔300毫秒确认一次手势候选框内可检测到手势，若连续两次均确认成功则验证通过验证。

2.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法，其特征在于，所述步骤一)中，所述头肩检测神经网络采用深度残差卷积神经网络，由16层主干网络和四个输出支路组成：

主干网络包含16个卷积层，卷积核大小均为3×3，分别在第1层、第2层和第11层卷积层步长为2，其余卷积层步长为1，按照残差结构的要求，每两个步长为1的卷积层添加一个跳连结构，每层卷积后使用线性修正单元ReLU函数进行激活；

四个输出支路各含有3个卷积层，分别接在主干网络第10层、第13层、第15层、第16层，卷积核大小均为1×1，步长为1。除最后一层外，每层卷积后使用线性修正单元ReLU函数进行激活。

3.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法，其特征在于，所述人脸检测神经网络和手势检测神经网络采用相同的网络结构，包括13层卷积神经网络，除最后一层外，每层卷积后使用线性修正单元ReLU函数进行激活；前10层卷积核大小均为3×3，最后3层卷积核大小为1x1；网络第1层和第2层卷积层步长为2，其余卷积层步长为1；每两个步长为1，含3x3卷积核的卷积层添加一个跳连结构。

4.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法，其特征在于，所述步骤二)中，为了保证网络运行的速度，先将摄像头输入的图像压缩至一个固定的尺寸，若场景中有人则头肩检测神经网络会输出若干人的头肩检测框信息，则根据压缩比例，得到实际图片中人头检测框的信息。

5.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法，其特征在于，所述步骤二)中，划出人脸候选框的选取方法为：设某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w，其对应的人脸检测框信息包括其左下角坐标x’和y’高、宽数据h’、w’；则有

x’＝x

y’＝y

h’＝1.15*h

w’＝w。

6.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法，其特征在于，输入人脸检测神经网络的图像，长边被压缩至48像素，宽边等比例压缩。

7.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法，其特征在于，所述步骤三)中，划出手势候选框的方法为：设某头肩检测框信息包括其左下角坐标x、y和高、宽数据h、w，其对应的手势检测框信息包括其左下角坐标x’和y’，高、宽数据h’、w’；则有：

x’＝x

y’＝y-1.1*h

h’＝1.2*h

w’＝1.2*w。

8.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法，其特征在于，输入手势检测神经网络的图像，长边被压缩至64像素，宽边等比例压缩。

9.如权利要求1所述的一种基于深度学习检测的人脸手势配合验证方法，其特征在于，所述步骤四)中进行再次的手势检测时，手势候选框信息直接使用上次手势检测的手势候选框。