CN107609454A - 一种识别图像中的手势的方法及装置 - Google Patents

Abstract

本发明实施例提供了一种识别图像中的手势的方法及装置，用以解决目前的手势识别方案易受干扰，虚警率高，以及降低虚警率的措施会导致时间成本增加的问题。该方法包括：获取需进行手势识别的灰度图像；从所述灰度图像中识别出人的身体图像；根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域；从所述手势可能出现区域中识别出手势图像。

Description

一种识别图像中的手势的方法及装置

技术领域

本发明涉及图像识别技术领域，尤其涉及一种识别图像中的手势的方法及装置。

背景技术

图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。图像识别的一个很重要的应用方向是对人以及人的动作的识别，手势识别为即该方向的应用之一。

当前的手势识别产品在进行训练检测方面主要有技术两个方向，一个是通过级联分类器进行训练检测，一个是通过支持向量机进行训练检测。这两种方案都采用单一手势模型，即仅采用手势模型在全图进行手势的搜索识别。由于手的特征相对环境而言并不明显，因此易受到环境干扰，容易将环境中的其它元素识别为手势，导致虚警率(将图片中的其它元素误判为手势的比率)升高。为了在不降低漏检率的情况下，降低虚警率，需要构造复杂的训练集合和分类器，提取高位特征，算法复杂度高，增加了识别所需的时间。

发明内容

本发明实施例提供了一种识别图像中的手势的方法及装置，用以解决目前的手势识别方案虚警率高，以及降低虚警率的措施会导致时间成本增加的问题。

本发明实施例提供的具体方案如下：

第一方面，一种识别图像中的手势的方法，包括：

获取需进行手势识别的灰度图像；

从所述灰度图像中识别出人的身体图像；

根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域；

从所述手势可能出现区域中识别出手势图像；

分析所述手势图像对应的手势信息。

结合第一方面，在第一种可能的实现方式中，从所述灰度图像中识别出人的身体图像，包括：

将所述灰度图像按预设的多个比例分别缩放，得到多个缩放后的灰度图像；其中，任一缩放后的灰度图像的尺寸不小于图像识别训练时使用的身体图像样本的尺寸；

在每一缩放后的灰度图像中搜索人的身体图像；

将搜索到的身体图像恢复至缩放前的尺寸；

比较各个身体图像的坐标范围，将重合率大于预设值的图像合并并输出。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，在每一缩放后的灰度图像中搜索人的身体图像，包括：

对于每一缩放后的灰度图像，采用多个窗口遍历的方式搜索人的身体图像；其中，最小窗口的尺寸不小于图像识别训练时使用的身体图像样本的尺寸。

结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，在每一缩放后的灰度图像中搜索人的身体图像，还包括：

对于每一缩放后的灰度图像，基于方向梯度直方图hog特征搜索人的身体图像。

结合第一方面，在第四种可能的实现方式中，根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域，包括：

根据人手长度与身体长度的比例关系，确定人的身体所处区域与手势可能出现区域之间的位置关系；

根据所述身体图像在所述灰度图像中所处的区域，以及所述位置关系，确定所述灰度图像中的手势可能出现区域。

结合第一方面，在第五种可能的实现方式，从所述手势可能出现区域中识别出手势图像，包括：

将所述手势可能出现区域按预设的多个比例分别缩放，得到多个缩放后的手势可能出现区域；其中，任一缩放后的手势可能出现区域的尺寸不小于图像识别训练时使用的手势图像样本的尺寸；

在每一缩放后的手势可能出现区域中搜索手势图像；

将搜索到的手势图像恢复至缩放前的尺寸；

比较各个手势图像的坐标范围，将重合率大于预设值的图像合并并输出。

结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，在每一缩放后的手势可能出现区域中搜索手势图像，包括：

对于每一缩放后的手势可能出现区域，采用多个窗口遍历的方式搜索手势图像；其中，最小窗口的尺寸不小于图像识别训练时使用的手势图像样本的尺寸。

结合第一方面的第五种可能的实现方式，在第七种可能的实现方式中，在每一缩放后的手势可能出现区域中搜索手势图像，还包括：

对于每一缩放后的手势可能出现区域，基于局部二值模式lbp特征搜索手势图像。

结合第一方面的第一种或第五种可能的实现方式，在第八种可能的实现方式中，比较各个身体图像的坐标范围，将重合率大于预设值的图像合并并输出，包括：

取重合率大于预设值的各个图像的坐标均值，作为合并后的图像坐标；

输出合并后的图像坐标。

第二方面，一种识别图像中的手势的装置，包括：

图像获取单元，用于获取需进行手势识别的灰度图像；

身体识别单元，用于从所述灰度图像中识别出人的身体图像；

区域分析单元，用于根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域；

手势识别单元，用于从所述手势可能出现区域中识别出手势图像。

本发明实施例，获取需进行手势识别的灰度图像；从所述灰度图像中识别出人的身体图像；根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域；从所述手势可能出现区域中识别出手势图像。利用人的身体特征明显易于检测的特点，快速、准确从图像中识别出人的身体，再推导出手势可能出现区域，因此避免了在全图进行手势搜索，降低了计算量，并且排除了环境干扰，从而在保障时间成本不增加的情况下，降低了手势识别虚警率。

附图说明

图1是本发明实施例提供的识别图像中的手势的方法的流程示意图；

图2是本发明实施例提供的识别身体图像的方法的流程示意图；

图3是本发明实施例提供的人的身体所处区域与手势可能出现区域之间的位置关系示意图；

图4是本发明实施例提供的从手势可能出现区域中识别出手势图像的方法的流程示意图；

图5是本发明实施例提供的像素分布示意图；

图6是本发明实施例提供的识别图像中的手势的装置的结构示意图。

具体实施方式

本发明实施例提供了一种识别图像中的手势的方法及装置，在保障时间成本不增加的情况下，降低了手势识别虚警率。

参见图1，本发明实施例提供的一种识别图像中的手势的方法包括：

S101、获取需进行手势识别的灰度图像。

对于需进行手势识别的彩色图像，先转换为灰度图像。

S102、从所述灰度图像中识别出人的身体图像。

识别身体图像主要采用的是方向梯度直方图(histogram of orientedgradient，hog)特征结合级联分类器的方式：hog是一种局部区域描述符，它通过计算局部区域上的梯度方向直方图来构成人体部位特征，它对光照变化和小量的偏移不敏感，能够很好地描述人体部位的边缘；级联分类器由多个弱分类器组成，每一级都比前一级复杂。每个分类器可以让几乎所有的正例通过，同时滤除大部分负例。这样每一级的待检测正例就比前一级少，排除了大量的非检测目标，可大大提高检测速度。

较佳地，如图2所示，步骤S102识别身体图像的过程包括：

S201、将所述灰度图像按预设的多个比例分别缩放，得到多个缩放后的灰度图像；其中，任一缩放后的灰度图像的尺寸不小于图像识别训练时使用的身体图像样本的尺寸。

S202、在每一缩放后的灰度图像中搜索人的身体图像。

S203、将搜索到的身体图像恢复至缩放前的尺寸。

S204、比较各个身体图像的坐标范围，将重合率大于预设值的图像合并并输出。

为了降低漏检概率，将身体图像按照多个比例缩放，分别搜索身体图像；同时，为了减少误检概率，仅将重合率大于预设值的图像即反复识别出的身体图像作为身体图像输出，对于与任何其它图像重合率小于预设值的图像则直接放弃。

具体地，步骤S202包括：对于每一缩放后的灰度图像，采用多个窗口遍历的方式搜索人的身体图像；其中，最小窗口的尺寸不小于图像识别训练时使用的身体图像样本的尺寸。相比于单个窗口遍历的方式，多个不同尺寸窗口遍历能够进一步降低漏检率。

下面结合示例，对缩放灰度图像结合多窗口遍历的方式进行说明。假设图像识别训练使用的样本尺寸为32*32，原始灰度图像的尺寸240*240，缩放比例为1.2，采用4级缩放，初始检测窗口大小为32*32，窗口放大比例为1.2，采用4级放大。则缩放后的各个灰度图像大小为：图像a、180*180；图像b、150*150；图像c、125*125；图像d、104*104；图像e、87*87。放大后的各个检测窗口大小为：窗口a、32*32；窗口b、38*38；窗口c、46*46；窗口d、55*55；窗口e、66*66。预设窗口移动步长为4，依次使用窗口a、窗口b、窗口c、窗口d、窗口e遍历图像a、图像b、图像c、图像d、图像e。每取出一窗口图像，均进行身体图像识别。

较佳地，步骤S202在每一缩放后的灰度图像中搜索人的身体图像，还包括：对于每一缩放后的灰度图像，基于方向梯度直方图hog特征搜索人的身体图像。

计算整个灰度图像的hog包括如下步骤：

a、计算梯度幅值和方向；这里梯度的幅值计算采用直接对水平方向梯度和垂直方向梯度进行绝对值求和的方式，能有效降低时间复杂度。

b、将梯度投影到单元的梯度方向；0-180度分为9个单元，即每隔20度做为一个。

c、对每一个方向的幅值求取方向积分图。

d、根据方向积分图就可以快速得到检测空间所有块的hog特征值。

下面介绍hog特征值以及级联分类器的使用方法。

级联分类器的每一个弱分类器都对应一个特征矩形，一个特征矩形有5个成员，例如＜rect＞0 0 8 8 12＜/rect＞，第一个0，是检测窗口对应的x坐标偏移；第二个0，，是检测窗口对应的y坐标偏移，即以前两个成员为起始点坐标；第三，四成员是以8*8为图像单元cell组成一个图像块block，每一cell都对应9个映射方向，第一个编号为0-8，第二个为9-17，第三个为18-26，第四个为27-35；那特征矩形最后一个成员对应第二个cell里的第三个方向，通过查询方向积分图快速得到的hog特征值，并与阈值进行比较。对于一个检测窗口，由分类器模型的第一级强分类器的第一个弱分类器对应的hog特征值算起，若特征值对应的左右叶子值小于该弱分类器经过图像识别训练得到的阈值，则直接退出，否则，循环迭代，继续走下一个弱分类器，直到通过该级强分类器，再继续走下一个强分类器。最后，返回通过了最后一级强分类器的所有弱分类器的检测窗口图像。

具体地，步骤S204包括：取重合率大于预设值的各个图像的坐标均值，作为合并后的图像坐标；输出合并后的图像坐标。

步骤S204示例如下：对于N个缩放灰度图像，将每一个缩放图像生成的检测窗口都对应到原图坐标中的目标窗口，把重合度在80％以上的相似目标窗口进行合并，合并采用的是取均值的原则，合并的窗口数小于等于组合阈值则不进行输出。

S103、根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域。

步骤S103具体包括：根据人手长度与身体长度的比例关系，确定人的身体所处区域与手势可能出现区域之间的位置关系；根据所述身体图像在所述灰度图像中所处的区域，以及所述位置关系，确定所述灰度图像中的手势可能出现区域。

本发明实施例中的身体，可以指部分身体，例如上半身，也可以指全身。以上半身为例，人手长度与上半身长度的比例略大于1，结合人们做手势时的习惯，可以推导出如下模型：以人体上半身的窗口A的位置为中心，做一个九宫格，手势可能出现的位置在此窗口出现的邻域内，邻域窗口的宽高与中心窗口的宽高相同，手势可能出现区域，即为九宫格区域，如图3所示。

S104、从所述手势可能出现区域中识别出手势图像。

如图4所示，步骤S104具体包括：

S401、将所述手势可能出现区域按预设的多个比例分别缩放，得到多个缩放后的手势可能出现区域；其中，任一缩放后的手势可能出现区域的尺寸不小于图像识别训练时使用的手势图像样本的尺寸。

S402、在每一缩放后的手势可能出现区域中搜索手势图像。

S403、将搜索到的手势图像恢复至缩放前的尺寸。

S404、比较各个手势图像的坐标范围，将重合率大于预设值的图像合并并输出。

较佳地，步骤S402包括：对于每一缩放后的手势可能出现区域，采用多个检测窗口遍历的方式搜索手势图像；其中，最小窗口的尺寸不小于图像识别训练时使用的手势图像样本的尺寸。

较佳地，步骤S402还包括：对于每一缩放后的手势可能出现区域，基于局部二值模式(local binary pattern，lbp)特征搜索手势图像。

具体地，lbp特征计算就是中心像素点与其周围像素进行比较，大于等于取1，小于取0。统一采用3*3为特征矩形进行lbp特征计算，得到每一个缩放图像的lbp特征图，即每一个像素点对应的lbp特征。以图5所示的像素分布为例，计算得到lbp特征值11011101，换算成十进制即221。

对于一个检测窗口由分类器模型的第一级强分类器的第一个弱分类器对应的lbp特征值算起，若特征值对应的左右叶子值小于该弱分类器经过图像识别训练得出的阈值，则直接退出，否则，循环迭代，继续走下一个弱分类器，直到通过该级强分类器，再继续走下一个强分类器。最后，返回通过了最后一级强分类器的所有弱分类器的检测窗口图像。

具体地，步骤S404包括：取重合率大于预设值的各个图像的坐标均值，作为合并后的图像坐标；输出合并后的图像坐标。

步骤S404示例如下：对于N个缩放的手势可能出现区域，将每个缩放区域生成的检测窗口都对应到原图坐标中的目标窗口，把重合度在80％以上的相似目标窗口进行合并，合并采用均值规则，合并的窗口数小于等于组合阈值则不进行输出，即不作为正检结果。

参见图6，本发明实施例提供的一种识别图像中的手势的装置，包括：

图像获取单元601，用于获取需进行手势识别的灰度图像。

身体识别单元602，用于从所述灰度图像中识别出人的身体图像。

区域分析单元603，用于根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域。

手势识别单元604，用于从所述手势可能出现区域中识别出手势图像。

综上所述，本发明实施例提供了识别图像中的手势的方法及装置，通过将人的身体模型与手势模型结合，利用人体与手之间的相对位置关系，进行手势识别区域定位，大大降低了手势识别误警率，同时保持了较高的检测速度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种识别图像中的手势的方法，其特征在于，包括：

获取需进行手势识别的灰度图像；

从所述灰度图像中识别出人的身体图像；

根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域；

从所述手势可能出现区域中识别出手势图像。

2.如权利要求1所述的方法，其特征在于，从所述灰度图像中识别出人的身体图像，包括：

将所述灰度图像按预设的多个比例分别缩放，得到多个缩放后的灰度图像；其中，任一缩放后的灰度图像的尺寸不小于图像识别训练时使用的身体图像样本的尺寸；

在每一缩放后的灰度图像中搜索人的身体图像；

将搜索到的身体图像恢复至缩放前的尺寸；

比较各个身体图像的坐标范围，将重合率大于预设值的图像合并并输出。

3.如权利要求2所述的方法，其特征在于，在每一缩放后的灰度图像中搜索人的身体图像，包括：

对于每一缩放后的灰度图像，采用多个窗口遍历的方式搜索人的身体图像；其中，最小窗口的尺寸不小于图像识别训练时使用的身体图像样本的尺寸。

4.如权利要求2所述的方法，其特征在于，在每一缩放后的灰度图像中搜索人的身体图像，还包括：

对于每一缩放后的灰度图像，基于方向梯度直方图hog特征搜索人的身体图像。

5.如权利要求1所述的方法，其特征在于，根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域，包括：

根据人手长度与身体长度的比例关系，确定人的身体所处区域与手势可能出现区域之间的位置关系；

根据所述身体图像在所述灰度图像中所处的区域，以及所述位置关系，确定所述灰度图像中的手势可能出现区域。

6.如权利要求1所述的方法，其特征在于，从所述手势可能出现区域中识别出手势图像，包括：

将所述手势可能出现区域按预设的多个比例分别缩放，得到多个缩放后的手势可能出现区域；其中，任一缩放后的手势可能出现区域的尺寸不小于图像识别训练时使用的手势图像样本的尺寸；

在每一缩放后的手势可能出现区域中搜索手势图像；

将搜索到的手势图像恢复至缩放前的尺寸；

比较各个手势图像的坐标范围，将重合率大于预设值的图像合并并输出。

7.如权利要求6所述的方法，其特征在于，在每一缩放后的手势可能出现区域中搜索手势图像，包括：

对于每一缩放后的手势可能出现区域，采用多个窗口遍历的方式搜索手势图像；其中，最小窗口的尺寸不小于图像识别训练时使用的手势图像样本的尺寸。

8.如权利要求6所述的方法，其特征在于，在每一缩放后的手势可能出现区域中搜索手势图像，还包括：

对于每一缩放后的手势可能出现区域，基于局部二值模式lbp特征搜索手势图像。

9.如权利要求2或6所述的方法，其特征在于，比较各个身体图像的坐标范围，将重合率大于预设值的图像合并并输出，包括：

取重合率大于预设值的各个图像的坐标均值，作为合并后的图像坐标；

输出合并后的图像坐标。

10.一种识别图像中的手势的装置，其特征在于，包括：

图像获取单元，用于获取需进行手势识别的灰度图像；

身体识别单元，用于从所述灰度图像中识别出人的身体图像；

区域分析单元，用于根据所述身体图像在所述灰度图像中所处的区域，以及预先确定的人的身体所处区域与手势可能出现区域之间的位置关系，确定所述灰度图像中的手势可能出现区域；

手势识别单元，用于从所述手势可能出现区域中识别出手势图像。