CN103514435A - 手检测方法和装置 - Google Patents

Abstract

本发明公开了一种手检测方法和装置。其中，该手检测方法包括：利用前一肤色图像和当前肤色图像计算当前肤色差分图像；利用当前肤色图像计算第一阈值，利用当前肤色差分图像计算第四阈值，并利用第一和第四阈值计算第二和第三阈值；利用计算出的第一至第四阈值从当前肤色差分图像中分割出前景图像；以及以所分割出的前景图像为搜索范围执行手检测。在根据本发明实施例的手检测方法和装置中，通过前景分割缩小了手检测处理的搜索范围，从而减少了进行手检测所需的循环数目。

Description

手检测方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种手检测方法和装置。

背景技术

手检测处理是诸如手势识别系统之类的应用的非常关键的处理步骤。图1示出了用于远程控制的手势识别系统的框图。在图1所示的手势识别系统中，首先使用摄像机获取视频帧；然后将所获取的视频帧输入处理单元以进行手势识别；一旦手势被识别为预先定义的手势之一，则该手势将成为对于计算机/便携设备上的软件/应用的操作指令触发器。

手检测处理是手势识别处理的第一步。通常，使用已经在线下训练好的基于局部二值模式(Local Binary Patterns，LBP)的级联分类器来进行手检测。传统的基于LBP的手检测方法可以在当前的个人计算机上很好地实时运行，但是该方法的处理对于低功率设备来说是很大的负担。

发明内容

鉴于以上所述的问题，本发明提供了一种新颖的手检测方法和装置。

根据本发明实施例的手检测方法包括：利用前一肤色图像和当前肤色图像计算当前肤色差分图像；利用当前肤色图像计算第一阈值，利用当前肤色差分图像计算第四阈值，并利用第一和第四阈值计算第二和第三阈值；利用计算出的第一至第四阈值从当前肤色差分图像中分割出前景图像；以及以所分割出的前景图像为搜索范围执行手检测。

根据本发明实施例的手检测装置包括：差分获取单元，用于利用前一肤色图像和当前肤色图像计算当前肤色差分图像；阈值计算单元，用于利用当前肤色图像计算第一阈值，利用当前肤色差分图像计算第四阈值，并利用第一和第四阈值计算第二和第三阈值；前景分割单元，用于利用计算出的第一至第四阈值从当前肤色差分图像中分割出前景图像；以及检测执行单元，用于以所分割出的前景图像为搜索范围执行手检测。

在根据本发明实施例的手检测方法和装置中，通过前景分割缩小了手检测处理的搜索范围，从而减少了进行手检测所需的循环数目。

附图说明

从下面结合附图对本发明的具体实施方式的描述中可以更好地理解本发明，其中：

图1示出了传统的用于远程控制的手势识别系统的框图；

图2示出了根据本发明实施例的手检测装置的框图；

图3示出了根据本发明实施例的手检测方法的流程图；

图4示出了利用图3所示的手检测方法实现的手检测过程的流程图；

图5a至5d示出了利用阈值0(Threshold0)至阈值4(Threshold4)实现前景分割的情形(情形a至情形d)；

图6示出了情形a至情形d的多种组合的示意图；以及

图7示出了根据本发明实施例的手检测方法中的拓展操作的示意图。

具体实施方式

下面将详细描述本发明各个方面的特征和示例性实施例。下面的描述涵盖了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域技术人员来说显而易见的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更清楚的理解。本发明绝不限于下面所提出的任何具体配置和算法，而是在不脱离本发明的精神的前提下覆盖了相关元素、部件和算法的任何修改、替换和改进。

本发明提出了一种能够在超低功率的设备上运行的手检测方法和装置(超低功率的设备意味着处理能力非常有限)。具体地，根据本发明实施例的手检测方法和装置通过找出整个图像的前景来降低手检测处理的复杂性。目前，存在很多种前景分割方法，但是没有一种前景分割方法适用于低功耗设备上的手检测处理。例如，现有的“背景差分法”需要通过一段时间进行背景建模，对于光照度的变化并不鲁棒，并且不适用于检测人体；微软提出的“直播视频的双层分割法”计算复杂度非常高，也不适用于低功耗设备。

图2示出了根据本发明实施例的手检测装置的框图。图3示出了根据本发明实施例的手检测方法的流程图。下面结合图2和图3，详细说明根据本发明实施例的手检测方法和装置。

如图2所示，根据本发明实施例的手检测装置包括差分获取单元202、阈值计算单元204、前景分割单元206、以及检测执行单元208。其中，差分获取单元202用于利用前一肤色图像和当前肤色图像计算当前肤色差分图像(即，执行步骤S302)；阈值计算单元204用于利用当前肤色图像计算第一阈值，利用当前肤色差分图像计算第四阈值，并利用第一和第四阈值计算第二和第三阈值(即，执行步骤S304)；前景分割单元206用于利用计算出的第一至第四阈值从当前肤色差分图像中分割出前景图像(即，执行步骤S306)；检测执行单元208用于以分割出的前景图像为搜索范围执行手检测(即，执行步骤S308)。

在传统的基于LBP的手检测方法中，只有灰度图像和级联分类器被使用，并且需要在整个图像中进行手检测，所以计算复杂度很高。一些人提出，不需要检测图像中的所有像素，图像中的颜色为肤色或者类似于肤色的像素才有可能是手的检测中心。根据本发明实施例的手检测方法试图通过分割前景来缩小用于进行手检测的搜索范围。图4示出了利用图3所示的手检测方法实现的手检测过程的流程图(其中，用带圆圈的数字标识出了原始图像(即，RGB图像)以及诸如肤色图像、灰度图像、掩模图像、肤色差分图像、搜索范围图像、前景图像之类的相应的变换图像)。如图4所示，在具体的手检测过程中，首先使用等式(1)至(3)将RGB图像转换为肤色图像和灰度图像；然后利用大津(otsu)分割自适应地将肤色图像分割为类似肤色的区域和不类似肤色的区域(即，利用大津分割将肤色图像转换为掩模图像)；同时通过减法运算利用当前肤色图像和前一肤色图像得出当前肤色差分图像，并且从当前肤色差分图像中分割出前景图像；接着将掩模图像与前景图像进行逻辑与运算，得到进行手检测的搜索范围；最后利用搜索范围在灰度图像上进行手检测处理以得到手检测结果。

Temp＝r-((g+b)＞＞1)    (1)

Temp＝MAX(0，Temp)      (2)

s＝Temp＞140？0：Temp   (3)

在等式(1)至(3)中，s表示肤色图像中的像素值，r、g、b表示RGB图像中的像素的红色、蓝色、和绿色分量值。

具体地，从图4中的图④可以看出，掩模图像中的所有白色像素都被分割为肤色区域，但是由于肤色分割不太精确，所以其他部分也被分割为了肤色区域。同时由于分割出的区域依然较大，对于低功耗平台来说处理负担依然较重。所以，需要对图④进行进一步的修正，以找出最终的进行手检测的搜索区域。根据经验可知，手仅可能存在于前景图像中，所以将搜索范围局限于前景图像中将是合理且有效的。根据本发明实施例的手检测方法和装置可以精确且高效地找出前景图像。从图4中的图⑦可以看出，最终的进行手检测的搜索范围远小于图4中的图④所示的搜索范围，这意味着使用根据本发明实施例的手检测方法和装置的具体手检测过程的计算复杂度将降低。图4中的图⑧示出手已经被精确定位的情况。

下面详细说明根据本发明实施例的手检测方法和装置。在以前的手检测方法和装置中，已经研究前景分割处理很长时间。大多数以前的工作都已经被证明是有效的。但是，根据本发明实施例的手检测方法和装置更有效且更适用于低功耗设备。下面，详细说明根据本发明实施例的手检测方法的所有步骤。

S302，利用当前肤色图像和前一肤色图像计算当前肤色差分图像。

在将所捕捉的每一帧图像从RGB图像转换为肤色图像之后，计算所获取的一系列肤色图像中的相邻肤色图像之间的肤色差分图像(即，根据等式(4)计算当前肤色图像中每个位置的像素值和前一肤色图像中相应位置的像素值的绝对差值，并将前一肤色图像与当前肤色图像中相同位置的像素的绝对像素差值组成的图像作为当前肤色差分图像)。

DiffSkin(x，y)＝|PREV.Skin(x，y)-Skin(x，y)|(4)

其中，DiffSkin(x，y)表示当前肤色差分图像中的像素(x，y)的像素值，PREV.Skin(x，y)表示前一肤色图像中的像素(x，y)的像素值，并且Skin(x，y)表示当前肤色图像中的像素(x，y)的像素值。

S304，利用当前肤色图像计算第一阈值，利用当前肤色差分图像计算第四阈值，并利用第一和第四阈值计算第二和第三阈值。

根据本发明实施例的手检测方法设置四个阈值来自适应地在当前肤色差分图像中定位适当前景(即，分割前景图像)。具体地，首先根据等式(5)和(6)利用当前肤色图像中的每个像素值计算出第一阈值Threshold0，根据等式(7)将应用大津法对当前肤色差分图像进行分割的阈值设置成第四阈值Threshold3，然后根据等式(8)至(9)利用第一阈值和第四阈值计算第二阈值Threshold1和第三阈值Threshold2。

$\mathrm{temp}=\frac{\underset{x=0}{\overset{\mathrm{Width}-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{\mathrm{Height}-1}{\mathrm{\Σ}}}\mathrm{Skin}(x,y)}{\mathrm{Width}\×\mathrm{Height}}---\left(5\right)$

对于所有(x，y)，当Skin(x，y)＞temp时，有

$\mathrm{Threshold}0=\frac{\mathrm{\Σ}{\mathrm{\Σ}}_{(x,y)}\mathrm{Skin}(x,y)}{\mathrm{Num}}---\left(6\right)$

Threshold3＝Otsu(DiffSkin)(7)

$\mathrm{Threshold}2=\mathrm{Otsu}\left(\mathrm{DiffSkin}\right)+(\mathrm{Threshold}0-\mathrm{Threshold}3)\×\frac{1}{3}---\left(8\right)$

$\mathrm{Threshold}1=\mathrm{Otsu}\left(\mathrm{DiffSkin}\right)+(\mathrm{Threshold}0-\mathrm{Threshold}3)\×\frac{2}{3}---\left(9\right)$

其中，Skin(x，y)是当前肤色图像中的像素(x，y)的像素值，Num是当前肤色图像中灰度值大于等式(5)中的temp的像素的数目，Otsu(DiffSkin)是指通过大津法对当前肤色差分图像进行分割的分割阈值，Width是当前肤色图像的宽度方向包括的像素数目，Hieght是当前肤色图像的高度方向包括的像素数目。

S306，利用计算出的第一至第四阈值从当前肤色差分图像中分割出前景图像。

通过使用等式(5)至(9)中的阈值，从当前肤色差分图像的图像边缘向图像中心进行搜索(该过程在图5中示出)，以分割出最终的前景图像。图5a示出了当前肤色差分图像中不存在灰度值比Threshold0大的像素的情形(情形a)。图5b示出了使用Threshold1在当前肤色差分图像中捕捉到部分前景图像的情形(即，当前肤色差分图像中有一部分像素的灰度值比Threshold1大)(情形b)。图5c示出了在当前肤色差分图像中捕捉到适当的前景图像的情形(即，当前肤色差分图像中有适当数目的像素的灰度值比Threshold2大)(情形c)。图5d示出了由于Threshold3太小以致于当前肤色差分图像中的包含很小移动的背景图像也被分割为前景图像的情形(即，当前肤色差分图像中有太多的像素的灰度值比Threshold3大)(情形d)。

图5仅示出了随着阈值(Threshold0至Threshold3)逐渐减小，在当前肤色差分图像中捕捉到的前景图像逐渐增大的情形。这里，将图5出的情形a、b、c、d的组合定义为(abcd)。在实际应用中，还可能存在情形a至情形d的诸如(aaaa)、(aaab)、和(aaac)之类的很多其他组合。

如下表1中所示，可以将情形a、b、c、d的所有组合划分为4类(表1中的“-”可以代表情形a、b、c、d中的任意一种情形)：第一类，存在一个以上情况c，这意味着利用所有四个阈值中的一个以上阈值可以找出适当的前景图像，该前景图像将被直接使用；第二类，不存在以上的情形c和d，这意味着利用所有四个阈值都无法找出适当的前景图像，在这种情况下如果前一肤色差分图像中存在前景图像，则使用前一肤色差分图像中的前景图像作为当前肤色差分图像中的前景图像，否则认为没有前景图像被从当前肤色差分图像中分割出来；第三类，不存在以上的情形b和c，这意味着阈值要么太大要么太小，所以没有前景图像被划分出来；第四类，各种组合都是以情形d结束(除了以“-”结束以外)，并且倒数第二个情形是情形b，在这种情况下前景图像取对情形b中找出的前景图像进行适当拓展得出的前景图像。

表1所有情形组合的分类

也就是说，当利用第一至第四阈值中的一个或多个阈值在当前肤色差分图像中划分出了尺寸介于20x20和45x45之间的一个或多个前景图像时，将所找出的一个或多个前景图像中的任意一个前景图像作为当前肤色差分图像中的前景图像；当利用第一至第四阈值中的一个或多个阈值无法在当前肤色差分图像中划分出前景图像并且利用第一至第四阈值中剩余的阈值在当前肤色差分图像中划分出了尺寸小于20x20的前景图像时，如果前一肤色差分图像中存在前景图像，则使用前一肤色差分图像中的前景图像作为当前肤色差分图像中的前景图像，否则认为当前肤色差分图像中不存在前景图像；当利用第一至第四阈值中的一个或多个阈值从当前肤色差分图像中划分出了尺寸大于45x45的前景图像并且利用第一至第四阈值中的剩余阈值无法从当前肤色差分图像中划分出前景图像时，认为当前肤色差分图像中不存在前景图像；当利用第一至第四阈值中的一个或多个阈值从当前肤色差分图像中划分出了尺寸大于45x45的前景图像并且利用第一至第四阈值中的剩余阈值从当前肤色差分图像中划分出了尺寸小于20x20的前景图像时，首先对尺寸小于20x20的任意一个前景图像进行拓展，然后将拓展后的前景图像作为当前肤色差分图像中的前景图像。

图6示出了拓展操作的示意图，具体操作为从现在找出的小于20x20的前景区域上下左右向外拓展15个像素值。15像素是根据手的尺寸，LBP训练器尺寸以及实验得出的最佳值。

S308，以通过步骤S302至S306分割出的前景图像为搜索范围执行手检测处理。

具体地，在分割出前景图像以后，以所分割出的前景图像为搜索范围，在当前帧的灰度图像中执行手检测处理。另外，如果通过步骤S302至S306的处理没有分割出前景图像，则不在当前帧的灰度图像中执行手检测处理。

如上所述，在根据本发明实施例的手检测方法和装置中，通过前景分割缩小了手检测处理的搜索范围，从而减少了进行手检测所需的循环数目。另外，在根据本发明实施例的手检测方法和装置中，如果没有分割出前景图像，则停止手检测处理所以节省了功率。

根据本发明实施例的手检测方法和装置可以显著降低计算复杂度，并且可以使实现根据本发明实施例的手检测方法和装置的整个系统在没有前景被检测到的情况下部分休眠，从而可以节省功率。

以上已经参考本发明的具体实施例来描述了本发明，但是本领域技术人员均了解，可以对这些具体实施例进行各种修改、组合和变更，而不会脱离由所附权利要求或其等同物限定的本发明的精神和范围。

根据需要可以用硬件或软件来执行步骤。注意，在不脱离本发明范围的前提下，可向本说明书中给出的流程图添加步骤、从中去除步骤或修改其中的步骤。一般来说，流程图只是用来指示用于实现功能的基本操作的一种可能的序列。

本发明的实施例可利用编程的通用数字计算机、利用专用集成电路、可编程逻辑器件、现场可编程门阵列、光的、化学的、生物的、量子的或纳米工程的系统、组件和机构来实现。一般来说，本发明的功能可由本领域已知的任何手段来实现。可以使用分布式或联网系统、组件和电路。数据的通信或传送可以是有线的、无线的或者通过任何其他手段。

还将意识到，根据特定应用的需要，附图中示出的要素中的一个或多个可以按更分离或更集成的方式来实现，或者甚至在某些情况下被去除或被停用。实现可存储在机器可读介质中的程序或代码以允许计算机执行上述任何方法，也在本发明的精神和范围之内。

此外，附图中的任何信号箭头应当被认为仅是示例性的，而不是限制性的，除非另有具体指示。当术语被预见为使分离或组合的能力不清楚时，组件或者步骤的组合也将被认为是已经记载了。

Claims (16)

1.一种手检测方法，包括：

利用前一肤色图像和当前肤色图像计算当前肤色差分图像；

利用所述当前肤色图像计算第一阈值，利用所述当前肤色差分图像计算第四阈值，并利用所述第一和第四阈值计算第二和第三阈值；

利用所述第一至第四阈值从所述当前肤色差分图像中分割出前景图像；以及

以从所述当前肤色差分图像中分割出的前景图像为搜索范围执行手检测。

2.根据权利要求1所述的手检测方法，其特征在于，将所述前一肤色图像与所述当前肤色图像中相同位置的像素的绝对像素差值组成的图像作为所述当前肤色差分图像。

3.根据权利要求1所述的手检测方法，其特征在于，计算所述第一阈值的处理包括：

计算所述当前肤色图像中所有像素的平均像素值；

找出所述当前肤色图像中像素值大于所述平均像素值的像素；

将所述当前肤色图像中像素值大于所述平均像素值的像素的平均像素值作为所述第一阈值。

4.根据权利要求1所述的手检测方法，其特征在于，将应用大津法对所述当前肤色差分图像进行分割的阈值设置为所述第四阈值。

5.根据权利要求1所述的手检测方法，其特征在于，当利用所述第一至第四阈值中的一个或多个阈值在所述当前肤色差分图像中划分出了尺寸介于20x20和45x45之间的一个或多个前景图像时，将所述一个或多个前景图像中的任意一个前景图像作为所述当前肤色差分图像中的前景图像。

6.根据权利要求1所述的手检测方法，其特征在于，当利用所述第一至第四阈值中的一个或多个阈值无法在所述当前肤色差分图像中划分出前景图像并且利用所述第一至第四阈值中剩余的阈值在所述当前肤色差分图像中划分出了尺寸小于20x20的前景图像时，如果前一肤色差分图像中存在前景图像，则使用所述前一肤色差分图像中的前景图像作为所述当前肤色差分图像中的前景图像，否则认为所述当前肤色差分图像中不存在前景图像。

7.根据权利要求1所述的手检测方法，当利用所述第一至第四阈值中的一个或多个阈值从所述当前肤色差分图像中划分出了尺寸大于45x45的前景图像并且利用所述第一至第四阈值中的剩余阈值无法从所述当前肤色差分图像中划分出前景图像时，认为所述当前肤色差分图像中不存在前景图像。

8.根据权利要求1所述的手检测方法，其特征在于，当利用所述第一至第四阈值中的一个或多个阈值从所述当前肤色差分图像中划分出了尺寸大于45x45的前景图像并且利用所述第一至第四阈值中的剩余阈值从所述当前肤色差分图像中划分出了尺寸小于20x20的前景图像时，首先对所述尺寸小于20x20的任意一个前景图像进行拓展，然后将拓展后的前景图像作为所述当前肤色差分图像中的前景图像。

9.一种手检测装置，包括：

差分获取单元，用于利用前一肤色图像和当前肤色图像计算当前肤色差分图像；

阈值计算单元，用于利用所述当前肤色图像计算第一阈值，利用所述当前肤色差分图像计算第四阈值，并利用所述第一和第四阈值计算第二和第三阈值；

前景分割单元，用于利用所述第一至第四阈值从所述当前肤色差分图像中分割出前景图像；以及

检测执行单元，用于以从所述当前肤色差分图像中分割出的前景图像为搜索范围执行手检测。

10.根据权利要求9所述的手检测装置，其特征在于，所述差分获取单元将所述前一肤色图像与所述当前肤色图像中相同位置的像素的绝对像素差值组成的图像作为所述当前肤色差分图像。

11.根据权利要求9所述的手检测装置，其特征在于，所述阈值计算单元通过以下处理来计算所述第一阈值：

计算所述当前肤色图像中所有像素的平均像素值；

找出所述当前肤色图像中像素值大于所述平均像素值的像素；

将所述当前肤色图像中像素值大于所述平均像素值的像素的平均像素值作为所述第一阈值。

12.根据权利要求9所述的手检测装置，其特征在于，所述阈值计算单元将应用大津法对所述当前肤色差分图像进行分割的阈值设置成所述第四阈值。

13.根据权利要求9所述的手检测装置，其特征在于，所述前景分割单元在利用所述第一至第四阈值中的一个或多个阈值在所述当前肤色差分图像中划分出了尺寸介于20x20和45x45之间的一个或多个前景图像时，将所述一个或多个前景图像中的任意一个前景图像作为所述当前肤色差分图像中的前景图像。

14.根据权利要求9所述的手检测装置，其特征在于，所述前景分割单元在利用所述第一至第四阈值中的一个或多个阈值无法在所述当前肤色差分图像中划分出前景图像并且利用所述第一至第四阈值中剩余的阈值在所述当前肤色差分图像中划分出了尺寸小于20x20的前景图像时，如果前一肤色差分图像中存在前景图像，则使用所述前一肤色图像中的前景图像作为所述当前肤色差分图像中的前景图像，否则认为所述当前肤色差分图像中不存在前景图像。

15.根据权利要求9所述的手检测装置，所述前景分割单元在利用所述第一至第四阈值中的一个或多个阈值从所述当前肤色差分图像中划分出了尺寸大于45x45的前景图像并且利用所述第一至第四阈值中的剩余阈值无法从所述当前肤色差分图像中划分出前景图像时，认为所述当前肤色差分图像中不存在前景图像。

16.根据权利要求9所述的手检测装置，其特征在于，所述前景分割单元在利用所述第一至第四阈值中的一个或多个阈值从所述当前肤色差分图像中划分出了尺寸大于45x45的前景图像并且利用所述第一至第四阈值中的剩余阈值从所述当前肤色差分图像中划分出了尺寸小于20x20的前景图像时，首先对所找出的尺寸小于20x20的任意一个前景图像进行拓展，然后将拓展后的前景图像作为所述当前肤色差分图像中的前景图像。

Images