CN103456012B - 基于最大稳定曲率区域的视觉人手检测跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种基于最大稳定曲率区域的视觉人手检测跟踪方法及系统，在由人手检测单元和空间条件约束单元以及输入/输出端组成的系统中，其跟踪方法如下：1）采用摄像头提取得到RGB图和/或深度图，通过待跟踪物体的初始位置，得到前景物体和背景物体；2）根据肤色点的连通区域对RGB图进行肤色检测得到人手和/或人脸的候选肤色区域；3）根据深度图中的正向投影对深度图进行最大稳定曲率计算，得到最大稳定曲率区域；4）对所说候选肤色区域和最大稳定曲率区域按照空间约束条件进行结合，确定出人手和头部位置，得到人手的检测跟踪结果。本发明实现了鲁棒的基于视觉的人手跟踪，增强了对光照变化和快速运动的鲁棒性。

Description

基于最大稳定曲率区域的视觉人手检测跟踪方法及系统

技术领域：

本发明属于视觉目标检测跟踪和智能人机交互领域，具体涉及一种鲁棒的基于最大稳定曲率区域的视觉人手检测跟踪方法及系统。

背景技术：

基于视觉的人手跟踪技术是一门融合了图像处理、机器学习、模式识别、人工智能等许多领域的关键技术，它有着非常广泛的应用背景。例如视频监控、人机交互、智能电视控制、机器人控制、3D体感游戏等需要人手交互的领域。由于人手跟踪技术有着巨大的应用前景，在国际和国内对视觉人手跟踪的研究方兴未艾。

在真实的人机交互应用中，人手跟踪技术受到了很多挑战。比如受日光和灯光的影响，光线变化较大，传统经典的人手跟踪算法会失效，例如基于肤色的人手检测与跟踪算法；背景中静态干扰物和动态干扰物形态各异且运动方式无法预测；人手与环境中其他物体之间的相互运动较为复杂，且容易受到遮挡。面对这些困难，如何实现稳定的人手跟踪，从而进行更智能和稳定的人机交互，具有着重要的意义。

目前基于视觉的人手跟踪技术大致可以分为基于外观的方法和基于模型的方法。在这些方法中，鲁棒性都依赖于对特定环境中的多特征融合，缺乏可靠的理论基础。基于模型的方法在速度上有着较大的缺陷，而外观的方法在准确性上有着明显的不足。

近年来深度信息得到了广泛的研究。基于深度信息的人手跟踪算法可以提供更多线索，使得人手跟踪更加鲁棒。但是单纯的线索融合并不能真正将深度信息利用起来。人手在曲率方面有着独特的特征，在人体范围中，人手有着最大稳定曲率，这一特征可以用来在人体轮廓中检测人手的位置。如何结合肤色信息和深度信息的优点来达到更高的鲁棒性具有着重要的理论研究和应用意义。

发明内容：

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于最大稳定曲率区域算法的视觉人手跟踪方法。本发明通过空间约束线索将基于肤色的人手检测和基于最大稳定曲率区域算法的人手检测结合起来，以实现对现实应用场景鲁棒的人手跟踪。通过利用肤色检测器对搜索区域内的像素点进行分类，得到对目标的保守但稳定的估计；利用基于最大稳定曲率区域算法对目标进行适应性较强但不太稳定的估计；利用空间约束机制将二者结合得到的检测结果，从而实现肤色检测器和基于最大稳定曲率区域的检测器的互补，来获得更加鲁棒的跟踪结果。

为了解决上述的技术问题，本发明的技术方案如下：基于最大稳定曲率区域的视觉人手检测跟踪方法，其步骤包括：

1）采用摄像头提取得到RGB图和/或深度图，通过待跟踪物体的初始位置，得到前景物体和背景物体；

2）根据肤色点的连通区域对所述RGB图进行肤色检测得到人手和/或人脸的候选肤色区域；

3）根据深度图中的正向投影对所述深度图进行最大稳定曲率计算，得到最大稳定曲率区域；

4）对所说候选肤色区域和所述最大稳定曲率区域按照空间约束条件进行结合，确定出人手和头部位置，得到人手的检测跟踪结果。

更进一步，所述最大稳定曲率区域计算方法如下：

1）初始化搜索轮廓区域，通过正向投影得到人体轮廓图，将封闭且连续的人体轮廓图作为最大稳定曲率区域的输入；

2）初始化步长并根据变换步长，在不同步长下计算所述人体轮廓图区域中所有轮廓上的点的曲率，记录为曲率图；

3）根据设定的最大稳定曲率对所述曲率图中的轮廓点在不同步长下的曲率进行分析；

4）如果轮廓点在不同步长下的曲率值都很高，且相互之间的方差较小，则该点为较大稳定曲率点，并加入到区域轮廓中；

5）对得到的较大稳定曲率点集进行分析，设置阈值，并根据连通域计算得到最大的连通区域，即为人手和头部的候选位置。

更进一步，所述初始化步长设置为1。

更进一步，计算人体轮廓上任意点p_i的曲率的方法为：C_s=s/d(p_i-s,p_i+s)，其中d(p_i-s,p_i+s)为两点p_i-s,p_i+s在轮廓上的距离。

更进一步，所述设定的最大稳定曲率为：曲率平均值超过阈值h₁且曲率方差值低于阈值h₂。

更进一步，所述空间约束条件包括：人手头部几何约束和人手运动几何约束。

更进一步，通过手动矩形框圈出待跟踪物体的初始位置。

更进一步，按照如下方法进行肤色检测：

1）提取感兴趣目标的特征点，通过肤色检测机制，在感兴趣的区域中搜索肤色点，肤色点的RGB值满足设定条件；

2）将提取得到的肤色点添加到肤色点集中，并构成连通区域；通过计算连通域得到候选肤色块，并记录为人手和人脸候选区域。

更进一步，采用Kinect摄像头提取得到RGB图和/或深度图。

基于最大稳定曲率区域的视觉人手检测跟踪系统，其特征在于，包括人手检测单元和空间条件约束单元以及输入/输出端：

所述系统输入端用于获得的深度图和RGB图；

所述系统输出端用于输出跟踪目标中心位置和窗口；

所述人手检测单元，用于采用摄像头得到RGB图和/或深度图，通过待跟踪物体的初始位置，得到前景物体和背景物体；根据肤色点的连通区域对所述RGB图进行肤色检测得到人手和人脸的候选肤色区域；根据深度图中的正向投影对所述深度图进行最大稳定曲率计算，得到最大稳定曲率区域；

所述空间条件约束单元，用于对所说候选肤色区域和所述最大稳定曲率区域按照空间约束条件进行结合，确定出人手和头部位置，得到人手的检测跟踪结果。

本发明的有益效果：

本发明实现了鲁棒的基于视觉的人手跟踪，通过利用基于肤色检测器的目标检测，获得了初步的检测结果，通过最大稳定曲率区域算法对深度轮廓图进行检测，增强了对光照变化和快速运动的鲁棒性。本发明与现有技术在统一条件下测试的结果如参考图6（a）、图6（b）所示，图6（a）为仅使用肤色检测方法得到的人脸和人手区域，可以看出肤色检测机制无法区分人手和人脸。而图6（b）为本发明准确跟踪到人手的结果，头部区域并没有干扰本发明的效果。

附图说明：

下面结合附图，对本发明做出详细描述。

图1是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中跟踪总流程图；

图2是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中基于最大稳定曲率区域算法的人手检测流程图；

图3（a）是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中最大稳定曲率区域输入为封闭且连续的轮廓图；

图3（b）是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中在不同步长下，计算p_i点的曲率示意图；

图4是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中基于肤色的人手检测算法的流程图；

图5是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中肤色检测与最大稳定曲率区域结果融合的流程图；

图6（a）是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中现有技术在统一条件下测试的结果图；

图6（b）是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中本发明在统一条件下测试的结果图。

具体实施方式：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于的原理如下：

1.基于最大稳定曲率区域的人手与头部检测算法

分析传统的深度线索算法，可以看出，当前将深度线索用到人手跟踪中的算法一般都是利用其深度数据来处理遮挡等难题。在本发明中，深度信息被用来提取人体轮廓，更有效的利用了Kinect摄像头得到的深度图。在得到人体轮廓之后，本发明提出了最大稳定曲率区域的人手与头部检测算法，通过计算人体轮廓上每一点的曲率信息，从而得到人体中曲率较大且稳定的区域，也就是人手和头部区域。

2.利用空间约束线索将肤色检测与曲率检测结果相结合

目前由于深度信息有着对光照的不敏感性，越来越多的应用到实际问题中，但是当前的大部分算法仅仅只是将深度信息与肤色信息等进行融合，没有发挥深度信息的作用。本发明旨在将深度信息更有效的应用，通过空间约束线索将基于肤色的人手检测器与基于曲率的人手检测结合起来，最后得到鲁棒的人手检测系统。

本发明的技术方案为：一种通过空间约束将肤色检测器和稳定曲率区域检测器相结合的人手跟踪方法，方法包括肤色检测（识别）、曲率检测，多线索融合：

1)初始化标定待跟踪物体的位置，通过手动矩形框圈出待跟踪物体，以得到前景和背景物体。

2)通过肤色检测机制（可以参见J.Kovac,P.Peer,andF.Solina,“HumanSkincolorclusteringforfacedetection”,EUROCON,pp.144‐148,2003），肤色检测机制也可以替换为其他方法，例如基于椭圆高斯模型建模的人手肤色模型（可以参见，V.Vezhnevets,V.Sazonov,A.Andreeva,“Asurveyonpixel‐basedskincolordetectiontechniques”,ICCGV,pp.85‐92,2003），在感兴趣的区域中搜索肤色点，肤色点的RGB值需要满足：

R＞95，G＞40，B＞20，max{R，G，B}-min{R，G，B}＞15，R-G＞15，R＞B，将提取得到的肤色点添加到肤色点集中，并构成连通区域；通过计算连通域得到较大肤色块，并记录为人手和人脸候选区域。

3)通过最大稳定曲率区域算法对人体轮廓进行遍历，得到最大曲率区域，即人手和头部候选区域。首先从Kinect（MicrosoftCorporation,KinectforXbox360）得到深度图，接着对深度图进行正向投影，以得到人体轮廓。在得到人体轮廓之后，采用上述算法可以得到最大稳定曲率区域，即为人手和头部的候选区域。具体算法如算法1中所示。

4)根据空间约束（可以参见H.Trinh,QuanfuFan.P.Gabbur,andS.Panksanti,“HandTrackingbybinaryquadraticprogramminganditsapplicationtorealactivityrecognition”,CVPR,pp.1902‐1909,2012）对肤色检测结果和最大曲率区域检测结果进行结合。空间约束包含人手头部几何约束和人手运动几何约束。通过这两种约束可以将肤色检测结果和曲率检测结果相结合，最后确定出来人手与头部位置。

以下根据附图对本发明的实施方式进行具体的说明。

如图1所示是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中跟踪总流程图：

1.系统功能：

程序利用Kinect摄像头获取深度图和RGB图，提取肤色特征并检测到初始人手目标之后，进行曲率检测，最后通过空间约束对两者结果进行结合，最终得到人手和头部位置。

2.系统输入：

采用Kinect摄像头获得的深度图和RGB图，Kinect摄像头是目前微软生产的技术比较成熟的一款摄像头，它可以同时获取深度图和RGB图，而普通摄像头一般只能获取到RGB图。

3.系统输出：

圈出的人手目标，包括跟踪目标中心位置和窗口。

4.具体实现：

主要分为两个阶段，即肤色检测阶段和曲率检测阶段。如图4所示本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中基于肤色的人手检测算法的流程图。

在肤色检测阶段，采用传统的人手肤色检测（可以参见J.Kovac,P.Peer,andF.Solina,“HumanSkincolorclusteringforfacedetection”,EUROCON,pp.144‐148,2003）。

在曲率检测阶段，如图2所示，从Kinect得到的深度图，进行正向投影而得到人体轮廓图，通过计算轮廓点距离矩阵，运行曲率算法，得到轮廓点的曲率图。曲率平均值超过阈值h₁且曲率方差值低于阈值h₂（此两者阈值均需要针对固定场景中设定范围，同时在针对固定场景时均需要重新进行设定），即为最大稳定曲率点。具体如算法1所示。具体的最大曲率区域算法如下：

a)最大稳定曲率区域输入为封闭且连续的轮廓图。如图3（a）所示，R₁·R₂，R₃，R₄为候选区域。根据最大稳定曲率区域算法可知，R₁为最大稳定曲率区域。而R₂为凹区域，不符合条件。R₃仅在步长较小时曲率稳定，也不符合。R₄区域的曲率较小，不符合条件。因此，最大稳定曲率区域为R₁。

b)初始化搜索轮廓区域，即为正向投影得到的人体轮廓图C。初始化步长s，一般设置为1。接下来对所有轮廓上的点都进行曲率计算。具体方法为，变换步长，在不同步长下计算该点的曲率，记录为曲率图M。如图3（b）所示，在不同步长下，计算p_i点的曲率。计算曲率的方法为：C_s=s/d(p_i-s,p_i+s)，其中d(p_i-s,p_i+s)为两点p_i-s,p_i+s在轮廓上的距离。

c)在得到曲率图之后，可以对轮廓点在不同步长下的曲率进行分析。根据本发明定义的最大稳定曲率，通过统计轮廓点在不同步长下的曲率可以得到：如果轮廓点在不同步长下的曲率值都很高，且相互之间的方差较小，则该点为较大稳定曲率点，可以加入到区域轮廓中去。

d)对得到的稳定较大曲率点集进行分析，设置阈值，根据连通域计算得到最大的连通区域，即为人手和头部的候选位置。具体过程如算法1所示。

人体肤色检测结果与最大稳定曲率区域结果融合，如图5所示，包括人手检测单元和空间条件约束单元以及输入/输出端：系统输入端用于获得的深度图和RGB图；系统输出端用于输出跟踪目标中心位置和窗口；

人手检测单元，用于采用摄像头得到RGB图和/或深度图，通过待跟踪物体的初始位置，得到前景物体和背景物体；根据肤色点的连通区域对所述RGB图进行肤色检测得到人手和人脸的候选肤色区域；根据深度图中的正向投影对所述深度图进行最大稳定曲率计算，得到最大稳定曲率区域；

空间条件约束单元，用于对所说候选肤色区域和所述最大稳定曲率区域按照空间约束条件进行结合，确定出人手和头部位置，得到人手的检测跟踪结果。

由肤色检测结果得到的人脸和人手位置（可能没有人脸），由最大稳定曲率区域得到的头部和人手位置为输入。空间约束包含：1.人手、头部几何约束，即在人体位置上，头部和人手分布有着一定的概率和几何限制，例如人手不可能离头部太远；2.人手运动几何约束，即在人手运动过程中，由于运动的连续性和平滑性，不可能出现较大的变化，因此可以用这种运动几何约束来去掉不符合条件的候选区域。

算法1最大稳定曲率区域算法

如图6（a）所示是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中现有技术在统一条件下测试的结果图；其中框图为仅使用肤色检测方法得到的人脸和人手区域，可以看出肤色检测机制无法区分人手和人脸。而图6（b）是本发明基于最大稳定曲率区域的视觉人手跟踪方法一实施例中本发明在统一条件下测试的结果图。框图为本发明准确跟踪到人手的结果，可以看见头部区域并没有干扰本发明的效果。

上述实例只是本发明的举例，尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (9)

1.基于最大稳定曲率区域的视觉人手检测跟踪方法，其步骤包括：

1)采用摄像头提取得到RGB图和深度图，通过待跟踪物体的初始位置，得到前景物体和背景物体；

2)根据肤色点的连通区域对所述RGB图进行肤色检测得到人手和人脸的候选肤色区域；

3)根据深度图中的正向投影对所述深度图进行最大稳定曲率计算，得到最大稳定曲率区域，包括：

3-1)初始化搜索轮廓区域，通过正向投影得到人体轮廓图，将封闭且连续的人体轮廓图作为最大稳定曲率区域的输入；

3-2)初始化步长并根据变换步长，在不同步长下计算所述人体轮廓图区域中所有轮廓上的点的曲率，记录为曲率图；

3-3)根据设定的最大稳定曲率对所述曲率图中的轮廓点在不同步长下的曲率进行分析；

3-4)如果轮廓点在不同步长下的曲率值都很高，且相互之间的方差较小，则该点为较大稳定曲率点，并加入到区域轮廓中；

3-5)对得到的较大稳定曲率点集进行分析，设置阈值，并根据连通域计算得到最大的连通区域，即为人手和头部的候选位置；

4)对所述候选肤色区域和所述最大稳定曲率区域按照空间约束条件进行结合，确定出人手和头部位置，得到人手的检测跟踪结果。

2.如权利要求1所述的基于最大稳定曲率区域的视觉人手检测跟踪方法，其特征在于，所述初始化步长设置为1。

3.如权利要求1所述的基于最大稳定曲率区域的视觉人手检测跟踪方法，其特征在于，计算人体轮廓上任意点p_i的曲率的方法为：C_s＝s/d(p_i-s,p_i+s)，其中d(p_i-s,p_i+s)为两点p_i-s,p_i+s在轮廓上的距离。

4.如权利要求1所述的基于最大稳定曲率区域的视觉人手检测跟踪方法，其特征在于，所述设定的最大稳定曲率为：曲率平均值超过阈值h₁且曲率方差值低于阈值h₂。

5.如权利要求1所述的基于最大稳定曲率区域的视觉人手检测跟踪方法，其特征在于，所述空间约束条件包括：人手头部几何约束和人手运动几何约束。

6.如权利要求1所述的基于最大稳定曲率区域的视觉人手检测跟踪方法，其特征在于，通过手动矩形框圈出待跟踪物体的初始位置。

7.如权利要求1所述的基于最大稳定曲率区域的视觉人手检测跟踪方法，其特征在于，按照如下方法进行肤色检测：

1)提取感兴趣目标的特征点，通过肤色检测机制，在感兴趣的区域中搜索肤色点，肤色点的RGB值满足设定条件；

2)将提取得到的肤色点添加到肤色点集中，并构成连通区域；通过计算连通域得到候选肤色块，并记录为人手和人脸候选区域。

8.如权利要求1所述的基于最大稳定曲率区域的视觉人手检测跟踪方法，其特征在于，采用Kinect摄像头提取得到RGB图和深度图。

9.基于最大稳定曲率区域的视觉人手检测跟踪系统，其特征在于，包括人手检测单元和空间条件约束单元以及输入/输出端：

所述系统输入端用于获得的深度图和RGB图；

所述系统输出端用于输出跟踪目标中心位置和窗口；

所述人手检测单元，用于采用摄像头得到RGB图和深度图，通过待跟踪物体的初始位置，得到前景物体和背景物体；根据肤色点的连通区域对所述RGB图进行肤色检测得到人手和人脸的候选肤色区域；根据深度图中的正向投影对所述深度图进行最大稳定曲率计算，得到最大稳定曲率区域，计算方法包括：

1)初始化搜索轮廓区域，通过正向投影得到人体轮廓图，将封闭且连续的人体轮廓图作为最大稳定曲率区域的输入；

2)初始化步长并根据变换步长，在不同步长下计算所述人体轮廓图区域中所有轮廓上的点的曲率，记录为曲率图；

3)根据设定的最大稳定曲率对所述曲率图中的轮廓点在不同步长下的曲率进行分析；

4)如果轮廓点在不同步长下的曲率值都很高，且相互之间的方差较小，则该点为较大稳定曲率点，并加入到区域轮廓中；

5)对得到的较大稳定曲率点集进行分析，设置阈值，并根据连通域计算得到最大的连通区域，即为人手和头部的候选位置；

所述空间条件约束单元，用于对所说候选肤色区域和所述最大稳定曲率区域按照空间约束条件进行结合，确定出人手和头部位置，得到人手的检测跟踪结果。