CN109117746A - 手部检测方法及机器可读存储介质 - Google Patents

Abstract

本发明涉及图像处理领域。本发明一实施例提供一种手部检测方法及机器可读存储介质，其中所述手部检测方法包括：获取待检测图像，其中所述待检测图像包括对应于同一拍摄场景的红外图像和深度图像；基于第一神经网络模型，提取所述待检测图像的全图范围中的候选手部区域；基于第二神经网络模型，从所述候选手部区域中检测手部位置。由此，提高了手部检测结果的可靠性，解决了手部检测过程中手只能正放在摄像头前面的区域限制的问题，并还实现了人手检测的实时性。

Description

手部检测方法及机器可读存储介质

技术领域

本发明涉及图像处理领域，具体地涉及一种手部检测方法及机器可读存储介质。

背景技术

随着最近3D深度相机的推广和逐步走进广大消费者视野，基于深度信息的应用场景使得诞生了许多新的交互技术，同时也带动AR(增强现实)和VR(虚拟现实)的快速发展，因此基于深度相机的手势交互技术无疑成为下一代交互技术的有力竞争者。

手势交互技术涉及的过程和环节主要有：手部检测，手部跟踪，手势识别，交互反馈等，其中手部检测是实现手势交互技术的基础。一般的常见的手部检测算法主要是基于2D彩色图上进行检测或者在深度图上通过传统的图像处理方法找到最近点所在区域默认是手所在位置，这些方法要么完全依赖像素信息导致抗干扰能力差，要么对手部所在位置区域有一定的限制。

但是，在人手活动范围较大的时候，一般的手部检测方案往往不够精确，此外还有一些研究机构和公司致力于用深度学习的方法实现手部检测和识别，但是目前公开的研究成果中，利用深度学习方法的手部检测，大多数只采用深度信息进行手部检测，且无一例外都是对设备和硬件要求较高，难以实时进行手部检测。

目前相关技术(其包括可能正被研发而还未被公开的技术)中有以下的手部检测方案，主要有：

(1)通过深度信息最近点位置默认为手部位置，进行区域划分，再归一化利用图像处理方式找出手，但是该方法会存在区域限制的问题，使得手只能放在最前面；

(2)通过采集和标记数据，进行分类算法模型训练，例如：SVM(支持向量机分类器)，贝叶斯分类器，级联分类器，决策树或随机森林分类器等，找出手的位置，但是该方法中的手部检测易受到干扰、光照、遮挡、手部运动变化等因素的影响而降低检测结果的精确度。

(3)通过采集和标定深度图像作为训练数据，利用深度学习方法，训练类似于SSD，RCNN系列等经典深度学习目标检测框架进行手部检测，但是该方法存在耗时长、硬件要求高的问题，而导致该技术实用性不高，一直都未能真正被业内应用。

发明内容

本发明实施例的目的是提供一种手部检测方法及机器可读存储介质，用以至少解决目前相关技术中手部检测时效性差且精确度低的技术问题。

为了实现上述目的，本发明实施例一方面提供一种手部检测方法，包括：获取待检测图像，其中所述待检测图像包括对应于同一拍摄场景的红外图像和深度图像；基于第一神经网络模型，提取所述待检测图像的全图范围中的候选手部区域；基于第二神经网络模型，从所述候选手部区域中检测手部位置。

本发明实施例另一方面提供一种机器可读存储介质，其中该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述的手部检测方法。

通过上述技术方案，提出了以红外图像和深度图像两个维度的数据源来实现对手部的检测，相比于单维度的数据源，提高了手部检测结果的可靠性；另外，由第一神经网络模型从全局图像中提取出候选手部区域，并由第二神经网络模型从候选手部区域中检测手部位置，由此解决了手部检测过程中手只能正放在摄像头前面的区域限制的问题；并且，两个神经网络明确分工并相互配合，其中一个神经网络是通过粗检找到全图范围中的手部区域，另一个神经网络是通过精细检测以进一步定位手在手部区域中的具体位置并对手部区域进行验证，在提高人手检测结果的精确度的同时，还实现了人手检测的实时性。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例的手部检测方法的流程图；

图2是对图1中手部检测方法所应用的第一神经网络模型和第二神经网络模型进行训练的流程图；

图3是对图1中手部检测方法所应用的第一神经网络模型和第二神经网络模型进行训练的原理流程图；

图4是图1中手部检测方法所应用的第一神经网络模型的结构原理图；

图5是图1中手部检测方法所应用的第二神经网络模型的结构原理图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

手部检测是一项手势交互应用的基础技术，该技术可以用在手部分割、手部骨架估计、手势识别、手势交互等技术领域。本发明提出了一种基于红外图像和深度信息的手部检测方法。本发明能够同时利用红外深度相机的红外信息结合深度信息实现手部检测。如图1所示，本发明一实施例的手部检测方法，包括：

S11、获取待检测图像，其中该待检测图像包括对应于同一拍摄场景的红外图像和深度图像。

关于本发明实施例的实施客体，其可以是专用于手部检测或手势识别的终端(例如增强现实/虚拟现实(AR/VR)头戴配件，诸如头盔、眼镜等)，还可以是各种通用型终端(例如智能手机或计算机等)上，且都属于本发明的保护范围内。

具体的，包括深度图像和红外图像的待检测图像可以是以采集的方式所获取的并据此进行手部检测，例如：首先通过深度相机采集对应于同一拍摄场景的红外图像和深度图像，其中该同一拍摄场景可以是指示存在或不存在手的场景。

S12、基于第一神经网络模型，提取待检测图像的全图范围中的候选手部区域。

S13、基于第二神经网络模型，从候选手部区域中检测手部位置。

在一些实施方式中，在神经网络模型对深度图像进行检测之前，可以是在设定的深度范围内对深度图像进行归一化处理，例如在[-1，1]或[0，1]内做归一化处理，以优化神经网络模型的数据源。

需说明的是，第一神经网络模型可以是专用于从全图范围中提取出候选手部区域的，而第二神经网络模型可以是专用于从候选手部区域中检测手部位置的，因其功能需求不一样，故二者在模型结构和训练方式上可存在区别，例如第一神经网络模型应当具有比第二神经网络更丰富的神经结构。作为示例，当第一神经网络模型和第二神经网络模型都是卷积神经网络模型时，第一神经网络模型的卷积模块的层数应大于第二神经网络模型的卷积模块(包括卷积、池化等)的层数。

在具体的第一神经网络模型和第二神经网络模型针对待检测图像的检测步骤中，其可以是从待检测图像中的深度图像中解析出轮廓信息和表面梯度信息，并从红外图像中解析出纹理信息；基于轮廓信息、表面梯度信息和纹理信息，第一神经网络模型提取出候选手部区域，以及第二神经网络模型检测到手部位置。在本实施例中，利用红外图像数据所指示的纹理信息(其可以是手部的纹理信息)补充深度图像识别的不足，保障了能得到更加精准的识别结果，解决了手部检测结果易受到光照、遮挡、手部运动变化等因素干扰的问题。其中，神经网络模型的测试结果包括对应“手部”和“非手部”的分类标签，也还可以包括对应“位置坐标”的区域标签。

在一些实施方式中，在从候选手部区域中检测手部位置之后，该方法还包括：若所检测到的手部位置为多个时，则对多个所检测到的手部位置进行NMS(Non maximum valuesuppression,非极大值抑制)计算；以及，基于预定阈值和NMS数值，从多个所检测到的手部位置中筛选出最优的目标手部位置。

优选地，在从多个所检测到的手部位置中筛选出目标手部位置之后，该方法还包括：对所检测到的目标手部位置的图像分区进行图像优化处理，并将经图像优化处理的图像分区输出，其中图像优化处理包括以下中的一者或多者的操作：平滑滤波、膨胀腐蚀和轮廓检测。由此，得到最终的有关手的位置区域。

如图2所示，针对本发明一实施例的第一神经网络模型和第二神经网络模型的训练流程，包括：

S21、获取多组相关联的用于训练的预标记有手的图像坐标的训练红外图像和训练深度图像，以及对应于该预标记的标记结果的真实标签。

其中，训练红外图像和训练深度图像的关联性可以体现在：其二者可以对应于同一拍摄场景，并且该拍摄场景可以是具备有手部的拍摄场景。另外，针对图像中的手的预标记的操作，其可以是由工作人员来人工标记的，以确保真实标签的有效性和可靠性。

S22、基于训练红外图像、训练深度图像和真实标签，训练第一神经网络模型和第二神经网络模型。

在一些实施方式中，上述针对神经网络的训练流程可以是通过以下步骤来实现的：将训练红外图像、训练深度图像和真实标签输入至第一神经网络模型进行训练，以得到用于指示训练红外图像和训练深度图像中的候选手部区域的第一训练结果；以及，将第一训练结果和真实标签输入至第二神经网络模型，以训练第二神经网络。由此，将第一神经网络模型的输出结果作为第二神经网络模型的输入，实现对人手检测模型的整体训练，降低了对训练数据量的要求，缩短了模型训练耗时。

如图3所示，本发明一实施例中针对第一神经网络模型和第二神经网络模型的训练流程，包括：

1)使用深度相机采集有关手的各种红外图像和对应的深度图像；

2)标记出图像中手部所在的区域，图像坐标；

3)数据做归一化处理，在设定的深度范围内做[-1,1]或[0,1]归一化

4)数据输入为归一化后的红外图像和深度图像，对应某图像的手部区域和是否为手的标签；

5)将数据输入两个卷积神经网络模型(具有多层巻积层，池化层等)，进行训练，直到满足迭代次数或者损失收敛为止。

具体的，基于真实标签和第一神经网络模型的训练结果，判断第一神经网络模型是否已经损失收敛，例如可以是计算其训练结果相对于真实标签的损失函数的值；以及基于真实标签和第二神经网络模型的训练结果，判断第二神经网络模型是否已经损失收敛；当针对第一神经网络模型的损失收敛判断结果为收敛时，确定完成对第一神经网络模型的训练，以及当针对第二神经网络模型的损失收敛判断结果为收敛时，确定完成对第二神经网络模型的训练。

本发明实施例所提供的基于利用红外图像和其对应的深度图像的手部检测方法中，其首先通过深度相机捕捉和采集人手的红外图像和对应的深度图像，并同时在红外图和深度图上标记出手的图像坐标；其次生成训练样本，进行图像归一化处理；再使用设计轻巧的卷积神经网络结构进行训练手部检测器和分类器；最后对计算结果进行后处理(NMS，坐标转换)，输出手的位置。由此，消除了传统有关深度图检测手部方法对手部必须在摄像头最前方的条件限制，同时又能够准确找到手的位置(包括双手)；对比其他深度学习检测方法，本发明模型小，参数少，速度快，采用两个模型做进一步微调以及结合红外和深度信息，模型检测结果精度高。

本发明实施例中的两个卷积神经网络模型，可以都是卷积神经网络，并且其中一个是层数较多的全图范围的手部检测模型(即第一神经网络模型)，另一个是层数较少的候选区域手部位置精调的检测模型(即第二神经网络模型)；在训练过程中先训练层数较多的手部检测模型，将其预测的图像区域(包括对应区域的红外图和深度图)和真实标签数据作为层数较少的手部位置精调模型的输入数据，进行训练。

如图4所示，本发明一实施例的第一神经网络模型的结构，其C1、C2和C3等多层卷积模块，其中包括诸如池化(pooling)层、BN(batchNorm,数据批量标准化)层、ReLU(Rectified LinearUnits,整流线性单元)层，其是比sigmoid更有效的激活函数。如图5所示，本发明一实施例的第二神经网络模型的结构，其相比于图4可以是具有更少层的卷积模块。

本发明实施例另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，其分别用于执行本申请上述的手部检测方法的步骤，该机器可读存储介质所安装的终端可以是任意的终端，例如计算机、VR眼镜、AR头盔等，其具体的技术方案的细节和效果可以参照上文方法实施例的描述，在此便不赘述。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种手部检测方法，包括：

获取待检测图像，其中所述待检测图像包括对应于同一拍摄场景的红外图像和深度图像；

基于第一神经网络模型，提取所述待检测图像的全图范围中的候选手部区域；

基于第二神经网络模型，从所述候选手部区域中检测手部位置。

2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型被用于执行以下操作：

从所述深度图像中解析出轮廓信息和表面梯度信息，并从所述红外图像中解析出纹理信息；以及

基于所述轮廓信息、表面梯度信息和所述纹理信息，所述第一神经网络模型提取出所述候选手部区域，以及所述第二神经网络模型检测到所述手部位置。

3.根据权利要求1所述的方法，其特征在于，在所述从所述候选手部区域中检测手部位置之后，该方法还包括：

若所检测到的手部位置为多个时，则对多个所检测到的手部位置进行非极大值抑制计算；

基于预定阈值和经非极大值抑制计算所得的数值，从所述多个所检测到的手部位置中筛选出目标手部位置。

4.根据权利要求3所述的方法，其特征在于，在所述从所述多个所检测到的手部位置中筛选出目标手部位置之后，该方法还包括：

对所检测到的所述目标手部位置的图像分区进行图像优化处理，并将经图像优化处理的所述图像分区输出，其中所述图像优化处理包括以下中的一者或多者的操作：平滑滤波、膨胀腐蚀和轮廓检测。

5.根据权利要求1所述的方法，其特征在于，该方法还包括针对所述第一神经网络模型和所述第二神经网络模型的训练步骤，包括：

获取多组相关联的用于训练的预标记有手的图像坐标的训练红外图像和训练深度图像，以及对应于该预标记的标记结果的真实标签；

基于所述训练红外图像、所述训练深度图像和所述真实标签，训练所述第一神经网络模型和所述第二神经网络模型。

6.根据权利要求5所述的方法，其特征在于，所述基于所述训练红外图像、所述训练深度图像和所述真实标签训练所述第一神经网络模型和所述第二神经网络模型包括：

将所述训练红外图像、所述训练深度图像和所述真实标签输入至所述第一神经网络模型进行训练，以得到用于指示所述训练红外图像和所述训练深度图像中的候选手部区域的第一训练结果；

将所述第一训练结果和所述真实标签输入至第二神经网络模型，以训练所述第二神经网络。

7.根据权利要求5所述的方法，其特征在于，所述基于所述训练红外图像、所述训练深度图像和所述真实标签训练所述第一神经网络模型和所述第二神经网络模型包括：

基于所述真实标签和所述第一神经网络模型的训练结果，判断所述第一神经网络模型是否已经损失收敛；以及

基于所述真实标签和所述第二神经网络模型的训练结果，判断所述第二神经网络模型是否已经损失收敛；

根据损失收敛的结果，判断是否已完成对所述第一神经网络模型和/或所述第二神经网络模型的训练。

8.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型和所述第二神经网络模型为卷积神经网络，其中所述第一神经网络模型的卷积模块的层数大于所述第二神经网络模型的卷积模块的层数。

9.根据权利要求1-8中任一项所述的方法，其特征在于，在所述基于第一神经网络模型提取所述待检测图像的全图范围中的候选手部区域之前，该方法包括：

对所述待检测图像中的深度图像在深度范围内进行归一化处理。

10.一种机器可读存储介质，其中该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-9中任一项所述的手部检测方法。