CN105373785A - 基于深度神经网络的手势识别检测方法与装置 - Google Patents

Abstract

本申请公开了基于深度神经网络的手势识别检测方法和装置。所述方法包括：通过摄像元件获取包含手势的图像序列；运用深度神经网络模型对图像序列中的手势进行检测，判定预定义手势事件是否发生，所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类。通过上述方法实现了快速准确地识别预定义手势事件。

Description

基于深度神经网络的手势识别检测方法与装置

技术领域

本公开一般涉及智能识别技术领域，具体涉及基于神经网络的手势识别检测技术领域，尤其涉及基于深度神经网络的手势识别检测方法与装置。

背景技术

嵌入式设备上的快速准确的手势识别检测系统，可极大方便用户与设备进行便捷的交互控制，在家具家电上创造出创新的用户体验。

在一些游戏机和智能家电的交互控制中，出现了采用利用深度摄像头如kinect或双目摄像头系统，获得人手的深度或立体信息从而进行手势识别检测的技术方案，但这类方案由于需要深度摄像头或多摄像头方案，硬件成本高且需要耗费相当大的计算资源。使用单目摄像头进行手势识别检测的技术方案中，通常基于肤色形状轮廓特征，采用SVM或决策树等分类方法检测跟踪手势，无法实现准确的手势识别检测。另外，在提取复杂的图像特征时，由于计算量大，导致无法实现在嵌入式设备上的快捷人机交互。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种快速准确地进行手势识别检测的方法与装置。

根据本发明的第一方面，提供一种基于深度神经网络的手势识别检测方法，所述方法包括：

通过摄像元件获取包含手势的图像序列；

运用深度神经网络模型对图像序列中的手势进行检测，判定预定义手势事件是否发生，所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类。

优选地，运用深度神经网络模型对图像序列中的手势进行检测，包括以下步骤：

在单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果；

对连续图像序列中的初步判定结果序列，运行递归神经网络分类模型，获得预定义手势事件是否发生的精确判定结果。

优选地，在单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，包括：

对单帧图像的全图进行低分辨率的降采样，获得低分辨率的尺度空间的图像；

将单帧图像的全图输入到卷积神经网络模型，对每个位置的输入图像进行二分类，获得在所述较低分辨率的尺度空间的图像上预测手出现位置的手势位置概率图；

在手势位置概率图上通过聚类，找到手势概率出现的最高峰，估算该最高峰在手势概率图中的大致位置范围；

在估算的大致位置范围内，对单帧图像的全图进行多个分辨率的降采样，获得多个分辨率的尺度空间的图像，

运行基于卷积神经网络的多分类模型，在所述多个分辨率的尺度空间的图像中利用滑动窗搜索所述预定义手势，将搜索结果作为所述初步判定结果的依据。

优选地，所述聚类采用Mean-shift算法。

可选地，运行所述多分类模型包括，将图像块分为以下中的一个或多个：非手势、手掌、握拳、举大拇指、V字手势。

可选地，预定义手势事件，包括手掌同一位置悬停、手掌变握拳、手掌上下左右移动或顺逆时钟画圈中的一个或多个。

根据本发明的第二方面，提供一种基于深度神经网络模型的手势识别检测装置，包括：

摄像单元，该摄像单元用于获取包含人的手势的连续图像序列；以及

手势识别检测单元，该手势识别检测单元用于运用深度神经网络模型对图像序列中的手势进行检测，判定预定义手势事件是否发生，预定义手势事件包括一个或多个预定义手势的出现，预定义手势对预定义大小的图像块进行手势分类。

优选地，所述手势识别检测单元包括：

初步检测单元，用于在获取的单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果；

精确检测单元，用于对连续图像序列中的初步判定结果序列，再运行递归神经网络分类模型，基于手势识别检测的时间序列，获得预定义手势事件是否发生的精确判定结果。

优选地，在所述初步检测单元内执行的所述在单帧图像内运用卷积神经网络进行从粗到细的手势识别检测包括：

对单帧图像的全图进行低分辨率的降采样，获得低分辨率的尺度空间的图像；

将单帧图像的全图输入到卷积神经网络模型，对每个位置的输入图像进行二分类，获得在所述较低分辨率的尺度空间的图像上预测手出现位置的手势位置概率图；

在手势位置概率图上通过聚类，找到手势概率出现的最高峰，估算该最高峰在手势概率图中的大致位置范围；

在估算的大致位置范围内，对单帧图像的全图进行多个分辨率的降采样，获得多个分辨率的尺度空间的图像，

运行基于卷积神经网络模型的多分类模型，在所述多个分辨率的尺度空间的图像中利用滑动窗搜索所述预定义手势，将搜索结果作为所述初步判定结果的依据。

可选地，所述摄像单元可以独立地设置也可以一体地集成设置。

通过本发明的基于深度神经网络的手势识别检测识别方法和装置，实现了在较低硬件成本的条件下，快速准确地识别预定义的手势事件。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个实施例的手势识别检测系统的方框图；

图2示出根据上述实施例的基于深度神经网络的手势识别检测方法的流程图；

图3示出根据上述实施例的基于深度神经网络的手势识别检测找到“手”位置的处理示意图；

图4示出根据上述实施例的基于深度神经网络的手势识别检测进行“聚类”处理的示意图；

图5示出根据上述实施例的基于深度神经网络的手势识别检测进行初步判定的详细流程图；

图6示出根据本发明的基于深度神经网络模型的手势识别检测装置的结构图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

图1示出根据本发明一个实施例的手势识别检测系统的方框图。该系统包括摄像单元，手势识别检测装置以及手势控制装置。摄像单元用于获取输入图像序列，手势识别检测装置用于对图像中包含的手势进行检测识别，手势控制装置，用于根据识别的手势执行相应的控制功能。

图2示出根据该实施例的手势识别检测方法的流程图。

从摄像单元获取活动的人(包括手)的一连串连续图像序列。例如，人在客厅中，面对具有根据本发明的嵌入式手势识别检测装置的家电设备，做出根据本发明的手势识别检测装置预定义的手势，这些预定义的手势包括面朝(或侧对)家电设备掌心向外(正对家电设备)，握拳，举大拇指，V字手势等。家电设备中的嵌入式手势识别检测装置通过家电设备上的摄像单元获得人的手势的一连串连续图像序列。该嵌入式手势识别检测装置可以通过基于ARM平台的芯片、FPGA芯片、ASIC芯片，中的固件或者硬件或者软件运行根据本发明的基于深度神经网络模型的手势识别检测方法，判定手势事件。这里的摄像单元包括单目摄像头、双目摄像头以及多目摄像头。

嵌入式手势识别检测装置运行根据本发明的基于深度神经网络模型，进行手势识别检测，包括以下的步骤：

在获取的单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果。

利用卷积神经网络模型，对于多维数组数据，例如，包含RGB多通道的图像数据，可以进行多层网络非线性处理，例如卷积层、池化层、全联通层，以得到语义层面对图像的识别。在线下阶段，可以收集大量的手势训练数据，采用监督学习和反向传导算法，来优化模型参数的权重，逐步优化神经网络模型，实现准确的手势识别检测识别。

图3示出根据上述实施例的基于深度神经网络的手势识别检测找到“手”位置的处理示意图。

首先，对单帧图像的全图进行低分辨率的降采样，获得低分辨率的尺度空间的图像。该全图通常包括了人的全身图像。例如，单帧图像的原始分辨率为1920*1080，1280*720，或者640*480。经过低分辨率的降采样，分辨率降低为320*240，160*120，或者176*144等，使处理的数据量大大减小，将降采样后的单帧图像的全图输入到卷积神经网络(ConvolutionNeuralNetwork，简称CNN)，对每个位置的输入图像进行二分类(“手”或非“手”)，即运用二分类卷积神经网络，获得在该较低分辨率的尺度空间的图像上预测手出现位置的手势位置概率图。

图4示出根据上述实施例的基于深度神经网络的手势识别检测进行“聚类”处理的示意图。

在手势位置概率图上通过聚类算法，找到手势概率出现的最高峰，估算该最高峰在手势概率图中的大致位置范围。从而，在人的全身图像中尽快找到“手”的位置。这是对手势事件的“粗”检测。这里的聚类算法包括多种算法，优选地，采用Mean-shift算法，采用该算法的优点是在二维空间上以梯度下降的方式快速找到最大的聚类峰。

再在估算的大致位置范围内，对原始单帧图像的全图进行多个降低分辨率的降采样，例如，640*480，320*240，176*144，获得多个分辨率的尺度空间的图像。再运行基于卷积神经网络模型的多分类模型(CNN_Classification)，在该多个分辨率的尺度空间的图像中利用滑动窗搜索嵌入式手势识别检测装置的预定义手势。例如，利用该多分类模型，可以将图像块分类为：“非手势”、“手掌”、“握拳”、“举大拇指”、“V字手势”等。这与嵌入式手势识别检测装置中的预定义手势的类型相对应。通过上述多个降低分辨率的降采样，有利于对手势识别检测的逐步细化求精并提高识别效率。优选地，先对较低分辨率的降采样的图像进行滑动窗搜索预定义手势，再对较高分辨率的降采样的图像进行滑动窗搜索预定义手势。这有利于节省运算量，降低硬件或软件的处理负担，缩短识别时间，提高搜索判断的效率。

将上述的搜索结果作为所述初步判定结果的依据。例如，通过上述的多分类模型，判断手势为“举大拇指”。

图5示出根据上述实施例的基于深度神经网络的手势识别检测进行初步判定的详细流程图。

对连续图像序列中的初步判定结果序列，再运行递归神经网络(RecurrentNeuralNetwork，简称RNN)分类模型，判断预定义手势事件是否发生。这里的预定义手势事件包括上述的预定义手势，以及预定义手势的特定变化，例如，“手掌左右平移”，“手掌上下平移”，“握拳”，“手掌滑动”，“手掌悬停”，“手掌顺时针转动”，“手掌逆时针转动”。例如，通过运行递归神经网络分类模型，判断“手掌”变“握拳”或者手掌上下移动、左右移动的事件是否发生。这可以过滤去除单帧图像检测时可能发生的错误手势识别检测。这里的预定义手势事件，利用前后相关联的多个图像帧进行判断，可以降低错误，基于手势识别检测的时间序列，获得预定义手势事件的精确判定结果。

图6示出根据本发明的基于深度神经网络模型的手势识别检测装置的结构图，其包括：

摄像单元，该摄像单元用于获取包含人的手势的连续图像序列；以及手势识别检测单元，该手势识别检测单元用于运用深度神经网络模型对图像序列中的手势进行检测，判定预定义手势事件是否发生，预定义手势事件包括一个或多个预定义手势的出现，预定义手势对预定义大小的图像块进行手势分类。

上述手势识别检测单元包括：

初步检测单元，用于在获取的单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果；

精确检测单元，用于对连续图像序列中的初步判定结果序列，再运行递归神经网络分类模型，基于手势识别检测的时间序列，获得预定义手势事件是否发生的精确判定结果。

可选地，上述摄像单元可以独立于该手势识别检测装置而设置，也可以一体地集成在一起。

本发明还提供一种包含基于深度神经网络模型的手势识别检测装置的家电设备，其包括上述的嵌入式手势识别检测装置或者等价功能的单元。所述手势识别检测装置(单元)可以与该家电设备一体地组成或独立地设置，利用数据接口进行连接。同时，该家电设备包括存储单元和手势控制执行单元。存储单元用于存储解析预定义手势事件的指令，手势控制执行单元用于从嵌入式手势识别检测装置(单元)接收识别的手势控制指令，执行家电设备的特定功能。

例如，在根据本发明的一种家用智能空调设备中，其包括根据本发明的嵌入式手势识别检测装置，存储单元以及手势控制执行单元。存储单元中存储以下预定义手势的指令，手掌转握拳开启或关闭空调，手掌悬停若干秒开关或关闭空调，手掌左右平移即降低风速，手掌上下平移为提高风速，顺时针转动手掌为升高温度，逆时针转动手掌为降低温度,或用手势控制切换风吹人或风避人模式。当用户将掌心对着空调面板上设置的摄像头上下平移时，其中的嵌入式手势识别检测装置即识别该手势事件为开启空调，将识别结果传送至手势控制执行单元。手势控制执行单元，经查询存储单元存取的预定义手势指令后，获知该手势为开启空调操作，即调用智能空调设备的例行的程序，执行开启空调的操作。

通过本发明的基于深度神经网络的手势识别检测识别方法、装置和系统，实现了在较低硬件成本的条件下，快速准确地识别预定义的手势事件。同时利用预定义的手势控制功能，方便了家电的特定功能的操作与控制，增加了家电用户的新体验。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序，也可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于深度神经网络的手势识别检测方法，其特征在于，所述方法包括：

通过摄像元件获取包含手势的图像序列；

运用深度神经网络模型对图像序列中的手势进行检测，判定预定义手势事件是否发生，所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类。

2.根据权利要求1所述的手势识别检测方法，其特征在于，运用深度神经网络模型对图像序列中的手势进行检测，包括以下步骤：

在单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果；

对连续图像序列中的初步判定结果序列，运行递归神经网络分类模型，基于手势识别的时间序列，获得预定义手势事件是否发生的精确判定结果。

3.根据权利要求2所述的手势识别检测方法，其特征在于，所述在单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，包括：

对单帧图像的全图进行低分辨率的降采样，获得低分辨率的尺度空间的图像；

将单帧图像的全图输入到卷积神经网络模型，对每个位置的输入图像进行二分类，获得在所述较低分辨率的尺度空间的图像上预测手出现位置的手势位置概率图；

在手势位置概率图上通过聚类，找到手势概率出现的最高峰，估算该最高峰在手势概率图中的大致位置范围；

在估算的大致位置范围内，对单帧图像的全图进行多个分辨率的降采样，获得多个分辨率的尺度空间的图像，

运行基于卷积神经网络模型的多分类模型，在所述多个分辨率的尺度空间的图像中利用滑动窗搜索所述预定义手势，将搜索结果作为所述初步判定结果的依据。

4.根据权利要求3所述的手势识别检测方法，所述聚类采用Mean-shift算法。

5.根据权利要求3所述的手势识别检测方法，其特征在于，运行所述多分类模型包括，将图像块分为以下中的一个或多个：非手势、手掌、握拳、举大拇指、V字手势。

6.根据权利要求1所述的手势识别检测方法，其特征在于，所述的预定义手势事件包括手掌悬停、手掌变握拳、手掌上下左右移动中的一个或多个。

7.一种基于深度神经网络模型的手势识别检测装置，其特征在于，包括：

摄像单元，该摄像单元用于获取包含人的手势的连续图像序列；以及

手势识别检测单元，该手势识别检测单元用于运用深度神经网络模型对图像序列中的手势进行检测，判定预定义手势事件是否发生，预定义手势事件包括一个或多个预定义手势的出现，预定义手势对预定义大小的图像块进行手势分类。

8.根据权利要求7所述的手势识别检测装置，其特征在于，所述手势识别检测单元包括：

初步检测单元，用于在获取的单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果；

精确检测单元，用于对连续图像序列中的初步判定结果序列，再运行递归神经网络分类模型，基于手势识别检测的时间序列，获得预定义手势事件是否发生的精确判定结果。

9.根据权利要求8所述的手势识别检测装置，其特征在于，在所述初步检测单元内执行的所述在单帧图像内运用卷积神经网络进行从粗到细的手势识别检测包括：

对单帧图像的全图进行低分辨率的降采样，获得低分辨率的尺度空间的图像；

将单帧图像的全图输入到卷积神经网络模型，对每个位置的输入图像进行二分类，获得在所述较低分辨率的尺度空间的图像上预测手出现位置的手势位置概率图；

在手势位置概率图上通过聚类，找到手势概率出现的最高峰，估算该最高峰在手势概率图中的大致位置范围；

在估算的大致位置范围内，对单帧图像的全图进行多个分辨率的降采样，获得多个分辨率的尺度空间的图像，

运行基于卷积神经网络模型的多分类模型，在所述多个分辨率的尺度空间的图像中利用滑动窗搜索所述预定义手势，将搜索结果作为所述初步判定结果的依据。

10.根据权利要求7所述的手势识别检测装置，其特征在于，所述摄像单元独立地设置。