CN102855461B - 在图像中检测手指的方法及设备 - Google Patents

Abstract

提供了一种在图像中检测手指的方法及设备。所述方法包括：在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴；生成所述候选手指手掌中轴所对应的候选手指手掌的形状特征；以及根据人的手指手掌的形状特征，判断所述候选手指手掌中轴是否来自人手。所述在图像中检测手指的方法及设备通过在图像中提取出具有显著物理意义的特征并利用所提取的特征进行手指检测，来准确高效地检测手指。

Description

在图像中检测手指的方法及设备

技术领域

本发明涉及图像处理方法及设备，并且更具体地涉及一种在图像中检测手指的方法及设备、以及一种在图像中进行手势识别的方法及设备。

背景技术

目前，在基于视觉的人机交互领域中，已经提出了多种手势识别方法，这些手势识别方法大多基于手指的检测。然而，现有的大多数手指检测方法往往在很小的局部范围内进行手指检测(例如，指尖领域)，并且所检测的特征往往不具有明确的物理特性，例如，指根点、掌心点等重要的人手形状信息在检测过程中被忽略。

在专利文献1(JP2008152622A)中提供了一种用手指进行交互的方法，其中：首先，在几何颜色校正后，利用帧差法得到手区域；其次，通过距离变换的方法，把最大内接圆中心定义为掌心点；然后，对整个手区域进行椭圆拟合，以得到手方向，把指尖点定义为沿该方向的最远点。然而，依据在专利文献1中提供的方法所进行的掌心点和指尖点的估计的精度不高。此外，在该方法中，不提供指根估计，并且也不支持多手指的情况。

在专利文献2(JP9035066A)中提供了一种手势识别方法，其中：首先利用一些预处理方法，分割出手区域；其次，对该手区域进行Hough变换，检测直线并抑制空间临近但较短的直线，通过剩余直线来确定手指数、指尖和方向；最后，根据手指数来判断手势操作。然而，专利文献2中的手势识别方法的检测结果高度依赖于直线抑制，而这一操作非常困难和模糊。此外，在手指弯曲时，或者在所分割的手区域中包含了过多的手臂部分时，该手势识别方法都会失效。

因此，存在对于一种能够利用具有显著物理意义的特征准确地进行手指检测方法及设备的需要。

发明内容

考虑到上述问题而提出了本发明。本发明的一个目的是提供一种在图像中检测手指的方法及设备，其通过在图像中提取出具有显著物理意义的特征并利用所提取的特征进行手指检测，来准确高效地检测手指。

根据本发明的一方面，提供了一种在图像中检测手指的方法，包括：在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴；依据所述候选手指手掌中轴，生成所述候选手指手掌的形状特征；以及根据人的手指手掌的形状特征，判断所述候选手指手掌中轴是否来自人手。

在将所述在图像中检测手指的方法应用于手势识别的情况下，优选地，所述在图像中检测手指的方法还可以包括：将所有属于同一手的手指手掌中轴进行关联；生成该手的姿态特征；以及依据所述姿态特征，进行手势识别。

优选地，根据本发明实施例，提取候选手指手掌中轴可以包括：对所述二值图进行距离变换以生成距离变换图，所述距离变换为对于所述二值图中每一前景像素计算该前景像素到背景像素的最近距离以作为该前景像素的距离变换值，而背景像素的距离变换值为0；在所述二值图中检测候选指尖点；以及以所述候选指尖点为起点，从所述距离变换图中提取候选手指手掌中轴。

优选地，根据本发明实施例，生成所述候选手指手掌的形状特征包括：在所述候选手指手掌中轴中提取手形关键点；以及基于所提取的手形关键点，确定所述候选手指手掌的形状特征。

优选地，所述手形关键点可以包括：候选指尖点、候选指根点、和候选掌心点。

优选地，所述形状特征可以包括以下至少一项：候选手指宽度、归一化候选手指长度、和归一化候选手掌宽度，其中，所述候选手指宽度为所述候选指根点处的距离变换值，所述归一化候选手指宽度为将所述候选指尖点与所述候选指根点之间的中轴长度除以所述候选手指宽度所得的商值，所述归一化候选手掌宽度为将所述候选掌心点处的距离变换值除以所述候选手指宽度所得的商值。

优选地，所述手的姿态特征包括以下至少一项：伸出手指指数、手指方向、指尖位置、以及手臂方向。

根据本发明的另一方面，提供了一种用于在图像中检测手指的设备，包括：中轴提取装置，其在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴；形状特征生成装置，其依据所述候选手指手掌中轴生成所述候选手指手掌的形状特征；以及手指决策装置，其根据人的手指手掌的形状特征判断所述候选手指手掌中轴是否来自人手。

在将所述在图像中检测手指的设备应用于手势识别的情况下，优选地，所述在图像中检测手指的方法还可以包括：关联装置，其将所有属于同一手的手指手掌中轴相关联；手姿态生成装置，其生成手的姿态特征；以及手势识别装置，其依据所生成的手的姿态特征进行手势识别。

优选地，根据本发明实施例，所述中轴提取装置包括：距离变换部件，其对所述二值图进行距离变换以生成距离变换图；指尖点检测部件，其在所述二值图中检测候选指尖点；以及中轴形成部件，其以所述候选指尖点为起点，从所述距离变换图中提取候选手指手掌中轴。

优选地，根据本发明实施例，所述形状特征生成装置包括：关键点提取部件，其在所述候选手指手掌中轴中提取手形关键点；以及形状特征确定部件，其基于所提取的手形关键点确定所述候选手指手掌的形状特征。

优选地，所述手形关键点可以包括：候选指尖点、候选指根点、和候选掌心点。

优选地，所述形状特征可以包括以下至少一项：候选手指宽度、归一化候选手指长度、和归一化候选手掌宽度，其中，所述候选手指宽度为所述候选指根点处的距离变换值，所述归一化候选手指宽度为将所述候选指尖点与所述候选指根点之间的中轴长度除以所述候选手指宽度所得的商值，所述归一化候选手掌宽度为将所述候选掌心点处的距离变换值除以所述候选手指宽度所得的商值。

根据本发明的又一方面，提供了一种在图像中进行手势识别的方法，包括：在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴；依据所述候选手指手掌中轴，生成所述候选手指手掌的形状特征；根据人的手指手掌的形状特征，判断所述候选手指手掌中轴是否来自；判断在所述二值图中还存在其它的候选手指手掌中轴未经过判别；将所有属于同一手的手指手掌中轴进行关联；生成该手的姿态特征；以及依据所述姿态特征，进行手势识别。

根据本发明的再一方面，提供了一种在图像中进行手势识别的设备，包括：中轴提取装置，其在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴；形状特征生成装置，其依据所述候选手指手掌中轴生成所述候选手指手掌的形状特征；手指决策装置，其根据人的手指手掌的形状特征判断所述候选手指手掌中轴是否来自人手；关联装置，其将所有属于同一手的手指手掌中轴相关联；手姿态生成装置，其生成手的姿态特征；以及手势识别装置，其依据所生成的手的姿态特征进行手势识别。

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚，其中：

图1图示了根据本发明实施例的在图像中检测手指的方法的流程图；

图2A图示了图1中的步骤S110的提取候选手指手掌中轴的方法的示例流程图；

图2B图示了(a)灰度图与(b)采用城区距离计算的距离变换图的对应关系的示例；

图3A图示了图1中的步骤S120的生成形状特征的方法的示例流程图；

图3B图示了(a)人手的灰度图像、(b)从该灰度图像生成的二值图的距离变换图、与(c)距离曲线的对照关系的示例；

图4图示了根据本发明实施例的在图像中检测手指的方法的进一步扩展的流程图；

图5A图示了手臂方向和手指方向的示例；

图5B图示了指根点与手臂夹角的示例；

图6图示了基于中轴线距离变换值分析得到的手指检测结果；

图7图示了根据本发明实施例的在图像中检测手指的设备的示意性框图；以及

图8图示了根据本发明实施例的在图像中检测手指的设备的应用示例。

具体实施方式

下面将参照附图来描述根据本发明实施例的在图像中检测手指的方法及设备。

首先，将参考图1来说明根据本发明实施例的在图像中检测手指的方法100。

根据本发明实施例的在图像中检测手指的方法100在步骤S101开始。

在步骤S110，在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴。所述候选手指手掌中轴是潜在的连接手指指尖、手指指根和手掌心的手指手掌中轴，其不仅包括真实的来自人手的手指手掌中轴，而且还包括类似于手指形状的对象的中轴，诸如，人手臂的中轴、兔子耳朵的中轴、以及具有长条形状的对象的中轴等。

所述二值图用于指示潜在的人体区域，具体地，在二值图中将所述图像中与潜在人体相关的区域内的像素设置为具有值“1”的前景像素点，而将无关区域内的像素设置为具有值“0”的背景像素点。

例如，可以通过背景减除法来从所述图像生成指示潜在人体区域的二值图。具体地，可以设置一背景图像B，其往往被取为在没有任何物体进入摄像机视野时所拍摄的图像，其在x点处的像素值为B(x)。然后，在时刻t拍摄图像F，其在x点处的像素值为F(x)。图像F和背景图像B之间的差异往往属于进入该背景区域的物体，如人体。可以利用例如下式来生成指示潜在人体区域的二值图：

$P\left(x\right)=\left\{\begin{array}{cc}1,& |F\left(x\right)-B\left(x\right)|>T\\ 0,& |F\left(x\right)-B\left(x\right)|\≤T\end{array}\right.$

其中，P(x)为二值图中x点处的取值，T为给定阈值，其可以随像素点位置x的不同而变化。优选地，可以在拍摄过程中自动更新背景图像B，以适应可能的光照变化。此外，可以对上面生成的二值图P进行一些形态学处理(诸如，开运算)以去除噪声点。

可以以多种方式从所述二值图中提取候选手指手掌中轴。

例如，首先对所述二值图做距离变换以便获得距离变换图，在所述距离变换图中获得该二值图中对象的整个中轴，然后将以该整个中轴的某个端点为起点的预定长度的中轴确定为候选手指手掌中轴。

然而，获得二值图中对象的整个中轴非常耗时，通过获得候选指尖点并从该候选指尖点出发来获得候选手指手掌中轴将大大降低计算量。在图2A中图示了通过首先获得候选指尖点并继而提取候选手指手掌中轴的方法的示例的流程图。

首先，在步骤S1110，对所述二值图进行距离变换以生成距离变换图，所述距离变换为对于所述二值图中的每一前景像素计算该前景像素到背景像素的最近距离。

在距离变换中，通常有3种距离，即城区距离(cityblockdistance)、棋盘距离(chessboarddistance)、欧几里德距离(Eucliddistance)。对(x0，y0)和(x1，y1)两点而言，其城区距离为(|x0-x1|+|y0-y1|)，棋盘距离为max(|x0-x1|，|y0-y1|)，而欧几里德距离为((x0-x1)²+(y0-y1)²)^1/2。城区距离和棋盘距离可以通过从所述二值图的上左到下右的正向、反向两次扫描的信息传递完成。而欧几里德距离则可通过更复杂的迭代算法或简单的距离核卷积近似得到，如在2008年O′ReillyMedia中GaryBradski，AdrianKaehler的“LearningOpenCV：ComputerVisionwiththeOpenCVLibrary”所公开的。

优选地，在步骤S1110中，采用最为精确的欧几里德距离变换，以便更准确地提取手指手掌中轴。

接下来，在步骤S1120，在所述二值图中检测候选指尖点。

作为示例，把候选指尖点定义为二值图(f(x)＝0或1)的角点，将f(x)＝0的点称为背景像素点，将f(x)＝1的点称为前景像素点，将二值图在x点的角点响应表示为cf(x)，其定义了在以x点为中心的半径为r的邻域B(x，r)内除x点外的前景像素点的面积与该邻域B(x，r)内除x点外的所有像素点的面积的比值：

$\mathrm{cf}\left(x\right)=\left\{\begin{array}{cc}1,& f\left(x\right)=0\\ [\left({\mathrm{\Σ}}_{y\∈B(x,r)}f\left(y\right)\right)-1]/[N-1],& f\left(x\right)=1\end{array}\right.$

其中，∑_y∈B(x，r)f(y)为B(x，r)内前景像素点的数目(即，前景像素点的面积)，N为邻域B(x，r)内像素点的数目(即，邻域B(x，r)内所有像素点的面积)，半径r与手指宽度有关，角点响应cf(x₀)是邻域B(x，r)内的一个局部极小值。优选地，角点响应cf(x₀)满足T_c0≤cf(x₀)≤T_c1，T_c0为用于滤除噪声点的阈值，作为示例，可将其设置为1/12，而T_c1为用于滤出边界点的阈值，作为示例，可将其设置为2/5。然而，本发明不受这些阈值的限制。

此外，还可以把二值图和灰度图相结合来提取候选指尖点。例如，把候选指尖点定义为二值图凸包上的灰度图Harris强响应角点，如在1988年Alveyvisionconference中CHarris，MStephens的“Acombinedcornerandedgedetector”所公开的。

然后，在步骤S1130，以所述候选指尖点为起点，从所述距离变换图中提取候选手指手掌中轴。所提取的候选手指手掌中轴的长度足以通过手掌的掌心。此外，所提取的候选手指手掌中轴的长度优选地依据手指的宽度而定。

作为示例，可以从所述候选指尖点开始，沿着距离变换图提取脊线点。所谓脊线点在距离变换图上表现为某个方向上的极大点。然而，应注意，所述候选指尖点不一定就是脊线点，在此情况下，可以从所述候选指尖点开始，首先沿着梯度上升的方向寻找所述距离变换图中距离值的脊线点；然后，追踪所述距离变换图中距离值的脊线点，直至与所述候选指尖点相距的距离大于或等于预定阈值。

图2B中给出了灰度图、其对应距离变换图、以及距离变换图的中轴的示例。

图2B中的(a)表示灰度图，图2B中的(b)表示对从(a)生成的二值图进行采用城区距离的距离变换之后获得的距离变换图，其中，数字“1”表示其所在的前景像素点距背景像素点的最近距离为1，数字“2”表示其所在的前景像素点距背景像素点的最近距离为2，以此类推。另外，在图2B中的(b)中示出了连接距离变换图中的脊线点所形成的中轴。

尽管上面给出了几种提取候选手指手掌中轴的方式，但是本发明不限于此，本领域技术人员可以预期其它的提取候选手指手掌中轴的方式。

接下来，返回图1，在步骤S120，依据所述候选手指手掌中轴，生成所述候选手指手掌的形状特征。所述形状特征可以包括候选手指宽度、候选手指长度、候选手掌宽度、候选手掌长度(即，候选指根点到候选掌心点的长度)、候选手指长度与候选手指宽度之比、候选手掌宽度与候选手指宽度之比、候选手掌长度与候选手掌宽度之比等。本发明不限于此，可能存在其它的形状特征。

然后，在步骤S130，基于所确定的候选手指手掌的形状特征，判断所述候选手指手掌中轴是否是来自人手的手指手掌中轴。

已知人手的形状特征，例如，手指长度是手指宽度的2-5倍，手掌宽度是手指宽度的2-3倍，手掌长度与手掌宽度相差不多等。可以根据已知的人手形状特征来判别所检测的候选手指手掌中轴是否是来自人手的手指手掌中轴。

当所确定的候选手指手掌的形状特征满足人手形状特征时，判定所述候选手指手掌中轴为来自人手的手指手掌中轴，由此检测到手指。反之，当所确定的候选手指手掌的形状特征不满足人手形状特征时，判定所述候选手指手掌中轴不是来自人手的手指手掌中轴，并将之丢弃。

根据本发明实施例的在图像中检测手指的方法100在步骤S199结束。

接下来，将参考图3A来描述图1中的生成候选手指手掌中轴的步骤S120的操作的示例。

在步骤S1210，在所述候选手指手掌中轴中提取手形关键点。具体地，通过对所述候选手指手掌中轴线上的距离变换值进行分析，来提取手形关键点，所述手形关键点可以包括：候选指尖点、候选指根点、和候选掌心点。

简单地，可以将所述候选中轴线上距离变换值突然变大的点确定为候选指根点，而将所述候选中轴线上距离变换值突然变小的点确定为候选掌心点。

为了准确地提取出手形关键点，提高手指检测的鲁棒性并降低虚警率，优选地，在提取了候选手指手掌中轴之后，对于该候选手指手掌中轴绘制其对应的距离曲线d(l)，其中，横轴(l)为从该候选手指手掌中轴的起点(指尖点)到该候选手指手掌中轴上的当前中轴点的中轴游程(即，中轴长度)，纵轴(d)表示与该起点相距l的中轴点处的距离变换值。

研究发现，指根点和掌心点是中轴线上距离变换值的斜率发生突变、并满足一定条件的特殊点。具体而言，在指根点处，d(l)的斜率大约会从0突变为1，而在掌心点处，d(l)的斜率大约会从1突变为0。可以从图3B的(c)中看出d(l)的上述斜率变化。此外，图3B中的(a)图示了人手的灰度图像，(b)图示了对从该灰度图像生成的指示人手区域的二值图进行距离变换而得到的距离变换图，其中，颜色越浅表明距离变换值越高，(c)距离曲线的对照关系。在图3B中用虚线表明了图3B中(a)和(c)之间的指尖点和掌心点的对应关系。

根据上述的指根点和掌心点处的斜率变化关系，从所提取的候选手指手掌中轴中提取候选指根点和候选掌心点。由于经由候选指尖点检测而检测到的候选指尖点不一定是真正的指尖点，优选地，还从所提取的候选手指手掌中轴中提取候选指尖点。

需要说明，在一条候选手指手掌中轴中可能仅提取出候选指根点而没有提取出候选掌心点，或者仅提取出候选掌心点而没有提取出候选指根点。优选地，在此情况下，可以直接确定所述候选手指手掌中轴不是来自人手的手指手掌中轴。

类似地，在一条候选手指手掌中轴中可能提取出多于一个候选指根点、和多于一个候选掌心点，并且所提取的候选指根点的数目和所提取的候选掌心点的数目不一定相同。

作为示例，将一条候选手指手掌中轴上的所提取的候选指尖点、候选指根点之一、和候选掌心点之一组成一个三元组(候选指尖点、候选指根点、候选掌心点)。

接下来，在步骤S1220，基于所提取的手形关键点，确定所述候选手指手掌中轴所对应的候选手指手掌的形状特征。所述形状特征可以包括：候选手指宽度FW、候选手指长度FL、归一化候选手指长度FL/FW、候选手掌宽度PW、和归一化候选手掌宽度等PW/FW。所述候选手指宽度为所述候选指根点处的距离变换值，所述归一化候选手指宽度为将所述候选指尖点与所述候选指根点之间的中轴长度除以所述候选手指宽度所得的商值，所述归一化候选手掌宽度为将所述候选掌心点处的距离变换值除以所述候选手指宽度所得的商值。

需要说明，一条候选手指手掌中轴可能有多个三元组，对每个三元组产生一组形状特征，以便用于进行手指判别。

研究发现，由候选手指宽度、归一化候选手指长度、和归一化候选手掌宽度所组成的3维特征(FW，FL/FW，PW/FW)具有很强的物理意义，并且具有很强的区分能力。此外，所述形状特征还可以包括许多其它特征，例如，指根点距离曲线的拟合斜率及误差、掌心点距离曲线的拟合斜率及误差、彩色图像的颜色等。

在此情况下，例如，在图1的步骤S130中，通过对每个三元组进行决策来判别该三元组是否对应于人手，并且在该三元组对应于人手时，将该三元组分类为正三元组，而在该三元组不对应于人手时，将该三元组分类为负三元组。此外，在图1的步骤S130中，还可以基于所述形状特征为每个正三元组分配不同的分类值，分类值越高表明该正三元组对应于人手的可能性越高。

经过步骤S130的处理之后，对于所检测的一条候选手指手掌中轴，可能存在多个正三元组。优选地，所述多个正三元组具有不同的分类值。

作为根据本发明实施例的在图像中检测手指的方法的扩展，可以基于上述手指检测的结果来进一步进行手势识别。

在图4中图示了根据本发明实施例的在图像中检测手指的方法在手势识别应用中的扩展方法400。换句话说，在图4中图示了根据本发明实施例的在图像中进行手势识别的方法400。

首先，本发明实施例的在图像中检测手指的方法400或根据本发明实施例的在图像中进行手势识别的方法400(在下文中，为描述简便将其统称为方法400)在步骤S401开始处理。

接下来，在步骤S410到S430中，执行手指检测。步骤S410、S420和S430分别与图1中的步骤S110、S120和S130相对应，因此在此不再进行赘述。

在步骤S440，判断是否还存在其它的候选手指手掌中轴未经过判别/决策。在判断还存在其它的候选手指手掌中轴未经过判别/决策的情况下，方法400返回到步骤S410，并重复步骤S410到S430的处理。

在不存在其它的候选手指手掌中轴未经过判别/决策的情况下，方法400进行到步骤S450。

然后，在步骤S450，将所有属于同一手的手指手掌中轴进行关联。如前所述，步骤S410到S430的处理可以重复多次，结果在图像中可能检测到多于一个手指手掌中轴。

需要说明的是，图像中的一只手可能没有手指手掌中轴、一个手指手掌中轴、或多于一个手指手掌中轴。例如，在图像中的一只手呈现出拳头紧握的外形时，此时就无法检测到手指手掌中轴；在手呈现出伸出一根手指的外形时，此时检测到一个手指手掌中轴；而在手呈现出伸出多根手指的外形时，此时可能检测到多个手指手掌中轴。

在检测到一只手中的一个或多个手指手掌中轴的情况下，需要将所检测的手指手掌中轴与手对应起来，即，通过将所有属于同一手的手指手掌中轴关联而确定出手。通过进行手指手掌中轴关联，可以从源自同一手指手掌中轴的多个正三元组中确定出最适当的正三元组，并且可以将来自同一手的至少一个正三元组关联起来。

作为示例，对于每个手指手掌中轴线，利用具有最高分类值的三元组。可以以具有最高分类值的一个正三元组为基准，确定该正三元组的掌心点与具有最高分类值的另一正三元组的掌心点之间的距离，当该距离小于一给定阈值时，确定该正三元组与该另一正三元组属于同一手。

替换地，可以以一个正三元组为基准，以该正三元组的掌心点为中心以给定半径绘制圆作为一掌心区域，并将其掌心点落入该掌心区域内的三元组确定为与该基准正三元组属于同一手。

此外，还可以按照属于同一手的各正三元组的形状特征之间的关系，来辨别属于同一手指手掌中轴的多个正三元组中的最适合的正三元组，该最合适的正三元组可以与具有最高分类值的正三元组不同。

此外，在该步骤S450中，还可以结合利用手跟踪算法来判别属于同一手指手掌中轴的多个正三元组中的最合适的正三元组。

替换地，也可以在手指判别步骤S430中结合利用手跟踪算法来为属于同一手指手掌中轴的多个正三元组分配不同的分类值。

接下来，在步骤S460，生成手的姿态特征，从而获得手的姿态信息，以用于后续的手势识别。基于手形关键点，如指尖点、指根点、掌心点，可以获得很多几何特征的度量。不同的应用可以选择不同的度量。下面给出一些简单几何特征的例子。

伸出手指指数：对手势识别来说，伸出手指数是一个非常重要的姿态信息。经过手指手掌中轴关联步骤S450之后，可以知道图像中手的数目、以及每只手的伸出手指的数目。

手指方向：对手势识别来说，手指方向也是一个非常重要的姿态信息，其完全可以通过从指根点到指尖点的中轴线的方向来估计。比如，对伸直的手指而言，可以用这段中轴线进行直线拟合。图5A给出了一个简单的示例。

指尖位置：在候选指尖点检测(步骤S1110)中，可以得到指尖的大概位置，以用于中轴线和手形关键点的提取。然而，在某些应用中可能会要求指尖的精确位置，比如通过指尖来定位鼠标。事实上，在中轴线和手形关键点的帮助下，可以获得指尖的精确位置。比如，可以把其定义为手指区域中，沿着手指方向的最远点。

手臂方向：手臂方向可以用于获取手指的相对位置，从而对手势识别非常重要。具体说来，可以把手指的相对位置定义为“掌心-指根点方向”和手臂方向直接的夹角，我们称之为“指根点-手臂夹角”。具体示例见图5B。手臂方向可以定义为从掌心出发并穿越手臂区域的射线方向，因此其估计较为简单。如图5A所示，从掌心开始，在[0°，360°]范围内作一系列射线。令方向θ射线的连续游程为RunLen(θ)，其定义为从掌心开始沿该方向到达第一个背景像素点(或图形边界)的距离。而最大连续游程方向，即为手臂方向θ*：θ*＝argmax_θRunLen(θ)。

实际中，由于射线角度是对[0°，360°]进行一定步长的采样。因此，θ*可以对最大游程角度邻域用RunLen(θ)加权平均得到。图5A给出了连续游程和手臂方向估计的示例。

此外，在执行步骤S560之前，可选地进行手跟踪，其意在确定相邻帧所检测的手的对应关系。这其实是个多目标跟踪问题，可以有很多解法。

由于根据本发明实施例的手指检测非常稳健，因此可以采用基于匈牙利算法的双向匹配(bipartitematching)来解决。在该双向匹配中，找到每个轨迹T(i)和手H(j)之间的匹配代价，并以具有最低总匹配代价的匹配结果作为最终的轨迹和手之间的对应关系。一个简单的方案是利用掌心的空间距离来作为该匹配代价，即D(T(i)，H(j))＝dist(T(i)，H(j))。

此外，当然可以采用更加精细的算法，比如基于Kalman滤波的位置概率预测。

接下来，在步骤S570，依据所获得的手的姿态特征，进行手势识别。在通过手姿态特征度量获得重要几何特征后，可以将其用于手势识别。具体的姿态特征完全取决于具体应用要求。

图6中示出了其中仅对两种手势：“指示”(一个食指伸出)和“点击”(大拇指和食指伸出)感兴趣的应用示例。在该应用示例中，通过这两种手势，完全可以模拟鼠标操作，用“指示”来定位鼠标位置，用“点击”来触发鼠标左键。在此情况下，手指数足以区分这两种手势，而指根点-手臂夹角(图5B)则可以用于区分食指和大拇指。

在图6中图示了基于中轴线距离变换值分析得到的手指检测结果。具体地，在图6的(a)中，示出了穿过大拇指和掌心点的手指手掌中轴线、以及穿过食指和掌心点的手指手掌中轴线。在图6的(b)中，仅示出了穿过食指和掌心点的手指手掌中轴线。在图6中，还示出了手形关键点(诸如指尖点、指根点、以及掌心点)、手掌区域(用红圈示意，其中心为掌心，半径为手掌宽度)、以及手臂方向。

不管采用何种特征，手势往往定义为一系列的姿态的变化，因此可以通过状态转移模型来识别。最常用的手势识别方法是隐马尔科夫模型(HiddenMarkovModel)。然而，本发明不受具体的手势识别方法的限制，基于本发明中所获得的手姿态特征，可以利用现有的或将来开发的所有手势识别方法来进行手势识别。

在上面已经通过示例描述了根据本发明实施例的在图像中检测手指的方法，利用该方法，通过提取出穿过候选手指手掌的候选手指手掌中轴，基于该候选手指手掌中轴生成与其对应的候选手指手掌的形状特征，并根据所生成的候选手指手掌的形状特征来判断所述候选手指手掌中轴是否是来自人手的手指手掌中轴。由此，通过提取具有明晰物理意义的候选手指手掌的几何形状特征，可以稳健地进行手指检测，从而降低漏检率和虚警率。

此外，在上面也通过示例描述了根据本发明实施例的在图像中进行手势识别的方法，利用该方法，通过提取出候选手指手掌中轴，基于该候选手指手掌中轴生成与其对应的候选手指手掌的形状特征，根据所述形状特征判断所述候选手指手掌中轴是否是来自人手的手指手掌中轴，将属于同一手的所有手指手掌中轴关联，提取手的姿态特征并由此进行手势识别。由此，通过提取具有明晰物理意义的候选手指手掌的几何形状特征、以及手的几何形状特征，可以稳健地进行手势识别。

接下来，将参考图7来描述根据本发明实施例的在图像中检测手指的设备700。

在图像中检测手指的设备700包括：中轴提取装置710，其在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴；形状特征生成装置720，其依据所述候选手指手掌中轴生成所述候选手指手掌的形状特征；以及手指决策装置730，其根据人的手指手掌的形状特征判断所述候选手指手掌中轴是否是来自人手的手指手掌中轴。

如前面参考图1所描述的，中轴提取装置710可以以多种方式从所述二值图中提取候选手指手掌中轴。优选地，中轴提取装置710包括：距离变换部件7110，其对所述二值图进行距离变换以生成距离变换图，所述距离变换为对于所述二值图中每一前景像素计算该前景像素到背景像素的最近距离以作为该前景像素的距离变换值；指尖点检测部件7120，其在所述二值图中检测候选指尖点；以及中轴形成部件7130，其以所述候选指尖点为起点，从所述距离变换图中提取候选手指手掌中轴。

形状特征生成装置720所生成的候选手指手掌的形状特征可以包括候选手指宽度、候选手指长度、候选手掌宽度、候选手掌长度(即，候选指根点到候选掌心点的长度)、候选手指长度与候选手指宽度之比、候选手掌宽度与候选手指宽度之比、候选手掌长度与候选手掌宽度之比等。本发明不限于此，可能存在其它的形状特征。

优选地，形状特征生成装置720包括：关键点提取部件7210，其在所述候选手指手掌中轴中提取手形关键点，所述手形关键点至少包括：候选指尖点、候选指根点、和候选掌心点；以及形状特征确定部件7220，其基于所提取的关键点确定所述候选手指手掌中轴所对应的候选手指手掌的形状特征。

优选地，在关键点提取部件7210在一条候选手指手掌中轴中仅提取出候选指根点而没有提取出候选掌心点，或者仅提取出候选掌心点而没有提取出候选指根点的情况下，可以直接确定所述候选手指手掌中轴不是来自人手的手指手掌中轴。

此外，关键点提取部件7210在一条候选手指手掌中轴可能提取出多于一个候选指根点、和多于一个候选掌心点，并且所提取的候选指根点的数目和所提取的候选掌心点的数目不一定相同，在此情况下，关键点提取部件7210将一条候选手指手掌中轴上的所提取的候选指尖点、候选指根点之一、和候选掌心点之一组成产生一个三元组(候选指尖点、候选指根点、候选掌心点)。

形状特征确定部件7220针对每个三元组产生一组形状特征，以便用于进行手指判别。优选地，形状特征确定部件7220所产生的形状特征包括由候选手指宽度、归一化候选手指长度、和归一化候选手掌宽度所组成的3维形状特征(FW，FL/FW，PW/FW)。此外，所述形状特征还可以包括许多其它特征，例如，指根点距离曲线的拟合斜率及误差、掌心点距离曲线的拟合斜率及误差、彩色图像的颜色等。

手指决策装置730可以通过许多种类的分类器来实现，例如SVM、决策树等。对于3维特征(FW，FL/FW，PW/FW)而言，考虑到其具有明晰的物理含义，优选地采用决策树来实现手指决策装置730。此外，还可以采用基于决策树的集合分类器，如adaboost，Randomforest。然而，根据本发明实施例的在图像中检测手指的设备700不受手指决策装置730的具体实现方式的限制，只要其可以基于所确定的候选手指手掌的形状特征来进行手指决策即可，因此，手指决策装置730不仅可以使用现有的任何合适的技术来实现，而且还可以使用将来开发的具有基于所确定的候选手指手掌的形状特征来进行手指决策的功能的其它技术来实现。

手指决策装置730通过对每个三元组进行决策来判别该三元组是否对应于人手，并且在该三元组对应于人手时，将该三元组分类为正三元组，而在该三元组不对应于人手时，将该三元组分类为负三元组。此外，手指决策装置730还可以为每个正三元组分配不同的分类值，分类值越高表明该正三元组对应于人手的可能性越高。

此外，在所述中轴提取装置710还判断是否还存在其它的候选手指手掌中轴未经过决策。在判断出不存在其它的候选手指手掌中轴未经过判别/决策的情况下，中轴提取装置710、形状特征生成装置720、和手指决策装置730继续进行候选手指手掌中轴的提取与决策。

为了进行手势识别，根据本发明实施例的在图像中检测手指的设备700还可以包括以下装置：关联装置740，其将所有属于同一手的手指手掌中轴相关联；手姿态生成装置760，其生成手的姿态特征；以及手势识别装置770，其依据所生成的手的姿态特征进行手势识别。换句话说，在手势识别应用的扩展中，根据本发明实施例的在图像中检测手指的设备700可被称为在图像中进行手势识别的设备。

关联装置740接收手指决策装置730输出的所有正三元组，并将其中属于同一手的正三元组进行归组与关联。例如，关联装置740对于每个手指手掌中轴线，利用具有最高分类值的那对三元组。在此情况下，关联装置740可以以具有最高分类值的一个正三元组为基准，确定该正三元组的掌心点与具有最高分类值的另一正三元组的掌心点之间的距离，当该距离小于一给定阈值时，确定该正三元组与该另一正三元组属于同一手。

优选地，关联装置740可以以一个正三元组为基准，以该正三元组的掌心点为中心以给定半径为r绘制圆作为一掌心区域，并将其掌心点落入该掌心区域内的三元组确定为与该基准正三元组属于同一手。

手姿态生成装置760基于候选手指手掌中轴或手形关键点(如指尖点、指根点、掌心点)可以获得很多几何特征的度量，例如，伸出手指指数、手指方向、指尖位置、手臂方向、掌心-指根点方向、指根点-手臂夹角等。针对不同的应用，可以获得不同的几何特征。

手势识别装置770依据所获得的手的姿态特征，进行手势识别。手势识别装置770可以利用隐马尔科夫模型来进行手势识别。然而，本发明不受具体的手势识别方法的限制，基于本发明中所获得的手姿态特征，可以利用现有的或将来开发的任何合适手势识别方法来进行手势识别。

此外，根据本发明实施例的在图像中检测手指的设备700还可以包括手跟踪装置750，用于确定相邻帧所检测的手的对应关系。例如，手跟踪装置750可以采用基于匈牙利算法的双向匹配、或基于Kalman滤波的位置概率预测来进行手跟踪。然而，手跟踪装置750不限于此，其可以利用其它的现有的或将来开发的合适跟踪技术来实现。

在上面已经通过示例描述了根据本发明实施例的在图像中检测手指的设备，利用该设备，通过提取出穿过候选手指手掌的候选手指手掌中轴，基于该候选手指手掌中轴生成与其对应的候选手指手掌的形状特征，并根据所生成的候选手指手掌的形状特征来判断所述候选手指手掌中轴是否是来自人手的手指手掌中轴。由此，通过提取具有明晰物理意义的候选手指手掌的几何形状特征，可以稳健地进行手指检测，从而降低漏检率和虚警率。

此外，在上面也通过示例描述了根据本发明实施例的在图像中进行手势识别的设备，利用该设备，通过提取出候选手指手掌中轴，基于该候选手指手掌中轴生成与其对应的候选手指手掌的形状特征，根据所述形状特征判断所述候选手指手掌中轴是否是来自人手的手指手掌中轴，将属于同一手的所有手指手掌中轴关联，提取手的姿态特征并由此进行手势识别。由此，通过提取具有明晰物理意义的候选手指手掌的几何形状特征、以及手的几何形状特征，可以稳健地进行手势识别。

此外，在根据本发明实施例的在图像中检测手指的方法及设备中，通过提取候选手指手掌中轴上的手形关键点，不仅可以得到具有明晰物理意义的几何特征，还可以由此获得手势的重要姿态信息，由此可以有利地进行手势识别。

最后，在图8中给出了应用根据本发明实施例的在图像中检测手指的设备的系统800。该系统800包括红外摄像头810、红外光源820、投影仪830，计算机840、以及手势识别装置850。手势识别装置850可以利用根据本发明实施例的在图像中检测手指的设备(或在图像中进行手势识别的设备)700来实现。例如，通过利用图8所示的系统，演讲者可以在投影屏幕上用手指和手势实现对电脑的交互式控制。

然而，根据本发明实施例的在图像中检测手指的方法及设备不限于用于上述的系统800中。根据本发明实施例的在图像中检测手指的方法及设备可以应用于基于视觉的人机交互系统，比如交互式投影仪、交互式显示器、交互式电子白板等。

应当理解，可以以硬件、软件、固件、专用处理器或它们的组合的各种形式来实现根据本发明实施例的在图像中检测手指的方法及设备。

还应当理解，优选地用软件来实现在附图中示出的一些组成系统组件和方法，因此这些系统组件或处理功能块之间的实际连接可以根据本发明被编程的方式而不同。给出这里的描述，相关领域的普通技术人员将能够想到本发明的这些和类似的实现或配置。

尽管在这里参照附图描述了本发明的一些实施例，但是应当理解，所述实施例仅是示例性的，而非限制性的。本领域技术人员应当理解，在不背离权利要求及其等价物中限定的本发明的范围和精神的情况下，可以对这些示例性实施例做出各种形式和细节上的变化。

Claims (8)

1.一种在图像中检测手指的方法，包括：

在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴；

依据所述候选手指手掌中轴，生成所述候选手指手掌的形状特征；以及

根据人的手指手掌的形状特征，判断所述候选手指手掌中轴是否来自人手，其中，

提取候选手指手掌中轴包括：

对所述二值图进行距离变换以生成距离变换图，所述距离变换为对于所述二值图中每一前景像素计算该前景像素到背景像素的最近距离以作为该前景像素的距离变换值，而背景像素的距离变换值为0；

在所述二值图中检测候选指尖点；

以所述候选指尖点为起点，从所述距离变换图中提取候选手指手掌中轴，以及

所述候选手指手掌中轴是潜在的连接手指指尖、手指指根和手掌心的手指手掌中轴。

2.如权利要求1所述的方法，进一步包括：

将所有属于同一手的手指手掌中轴进行关联；

生成该手的姿态特征；以及

依据所述姿态特征，进行手势识别。

3.如权利要求1所述的方法，其中，生成所述候选手指手掌的形状特征包括：

在所述候选手指手掌中轴中提取手形关键点，所述手形关键点至少包括：候选指尖点、候选指根点、和候选掌心点；以及

基于所提取的手形关键点，确定所述候选手指手掌的形状特征。

4.如权利要求3所述的方法，其中，

所述形状特征至少包括以下至少一项：候选手指宽度、归一化候选手指长度、和归一化候选手掌宽度，

其中，所述候选手指宽度为所述候选指根点处的距离变换值，所述归一化候选手指长度为将所述候选指尖点与所述候选指根点之间的中轴长度除以所述候选手指宽度所得的商值，所述归一化候选手掌宽度为将所述候选掌心点处的距离变换值除以所述候选手指宽度所得的商值。

5.如权利要求2所述的方法，其中，

所述手的姿态特征包括以下至少一项：伸出手指指数、手指方向、指尖位置、以及手臂方向。

6.一种用于在图像中检测手指的设备，包括：

中轴提取装置，其在从所述图像生成的二值图中提取穿越候选手指手掌的候选手指手掌中轴；

形状特征生成装置，其依据所述候选手指手掌中轴生成所述候选手指手掌的形状特征；以及

手指决策装置，其根据人的手指手掌的形状特征判断所述候选手指手掌中轴是否来自人手，其中，

所述中轴提取装置包括：

距离变换部件，其对所述二值图进行距离变换以生成距离变换图；

指尖点检测部件，其在所述二值图中检测候选指尖点；以及

中轴形成部件，其以所述候选指尖点为起点，从所述距离变换图中提取候选手指手掌中轴，以及

所述候选手指手掌中轴是潜在的连接手指指尖、手指指根和手掌心的手指手掌中轴。

7.如权利要求6所述的设备，进一步包括：

关联装置，其将所有属于同一手的手指手掌中轴相关联；

手姿态生成装置，其生成手的姿态特征；以及

手势识别装置，其依据所生成的手的姿态特征进行手势识别。

8.如权利要求6所述的设备，其中，所述形状特征生成装置包括：

关键点提取部件，其在所述候选手指手掌中轴中提取手形关键点，所述手形关键点至少包括：候选指尖点、候选指根点、和候选掌心点；以及

形状特征确定部件，其基于所提取的手形关键点确定所述候选手指手掌的形状特征。