CN103426008B

CN103426008B - 基于在线机器学习的视觉人手跟踪方法及系统

Info

Publication number: CN103426008B
Application number: CN201310385425.4A
Authority: CN
Inventors: 刘宏; 刘星; 王灿
Original assignee: Peking University Shenzhen Graduate School
Current assignee: Peking University Shenzhen Graduate School
Priority date: 2013-08-29
Filing date: 2013-08-29
Publication date: 2017-04-05
Anticipated expiration: 2033-08-29
Also published as: CN103426008A

Abstract

本发明涉及一种基于在线机器学习的视觉人手跟踪方法及系统，系统包括：跟踪器、检测器和在线机器学习。跟踪方法为：本发明通过在线学习将基于分类器的检测和基于运动连续性的跟踪结合起来，以实现对现实应用场景鲁棒的人手跟踪。通过利用层级分类器（检测器）对搜索区域内的像素点进行分类，得到对目标的保守但稳定的估计；利用结合鸟群算法的光流法跟踪器对目标进行适应性较强但不太稳定的估计；利用在线学习机制将二者结合得到的跟踪结果，并且根据时间空间约束产生新的样本来在线更新层级的分类器，从而实现跟踪器和检测器的互补，来获得更加鲁棒的跟踪结果。本发明增强了对光照变化和快速运动的鲁棒性。

Description

基于在线机器学习的视觉人手跟踪方法及系统

技术领域：

本发明属于视觉目标跟踪和智能人机交互领域，具体涉及一种鲁棒的基于在线机器学习的视觉人手跟踪方法及系统。

背景技术：

基于视觉的人手跟踪技术是一门融合了图像处理、模式识别、人工智能等许多领域的关键技术。视觉人手跟踪技术有着十分广泛的应用，例如视频监控、智能电视、机器人控制、视觉游戏等需要人机交互的领域。由于人手跟踪技术有着巨大的应用前景，在国际和国内对视觉人手跟踪的研究方兴未艾。

在人机交互环境下，人手跟踪技术受到了很多挑战。比如受日光和灯光的影响，光线变化较大；背景中静态干扰物和动态干扰物形态各异且运动方式无法预测；人手与环境中其他物体之间的相互运动较为复杂，且容易受到遮挡。面对这些困难，如何实现稳定的人手跟踪，从而进行更智能和稳定的人机交互，具有着重要的意义。

目前基于视觉的人手跟踪技术大致可以分为基于外观的方法和基于模型的方法。基于外观的方法首先从图像中提取特征，与人手具有的特定特征进行匹配，在这些基于外观的方法中光流法、均值漂移法、最大稳定极值区域法是最为常见的方法。而基于模型的方法主要利用人手的3D或2D模型对人手的特征进行估计，并与观测到的特征进行匹配，例如粒子滤波、3D几何人手模型、图模型等。在这些方法中，鲁棒性都依赖于对特定环境中的多特征融合，缺乏可靠的理论基础。基于模型的方法在速度上有着较大的缺陷，而外观的方法在准确性上有着明显的不足。

近年来机器学习在机器视觉领域得到了广泛的研究。基于分类器的目标检测方法为目标跟踪提供了更高的鲁棒性。但是单纯的目标检测对于简单的外观变化如光照变化、快速运动等却缺乏鲁棒性。如何结合目标检测和目标跟踪的优点来达到更高的鲁棒性具有重要的理论研究和应用意义。

发明内容：

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于在线机器学习的视觉人手跟踪方法。本发明通过在线学习将基于分类器的检测和基于运动连续性的跟踪结合起来，以实现对现实应用场景鲁棒的人手跟踪。通过利用层级分类器（检测器）对搜索区域内的像素点进行分类，得到对目标的保守但稳定的估计；利用结合鸟群算法的光流法跟踪器对目标进行适应性较强但不太稳定的估计；利用在线学习机制将二者结合得到的跟踪结果，并且根据时间空间约束产生新的样本来在线更新层级的分类器，从而实现跟踪器和检测器的互补，来获得更加鲁棒的跟踪结果。

本发明的技术方案如下：一种基于在线机器学习的视觉人手跟踪方法，其步骤为：

1）对视觉数据输入图像，提取得到图像特征并检测初始人手目标位置得到正负样本，对所述正负样本进行训练得到初始化的分类器；同时在所述分类器中增加肤色约束；

2）对后续采集的视觉数据输入图像，选取待跟踪物体的特征点，使用基于鸟群算法的光流跟踪法跟踪所述特征点确定搜索窗口，得到物体跟踪器；

3）所述物体跟踪器在搜索窗口中对物体的特征点进行跟踪，根据特征点集估计物体位置得到目标跟踪物体的置信度，所述分类器对置信度不可靠的物体进行检测，输出更新后的物体目标中心和窗口；

4）根据物体目标中心和窗口在所述分类器中通过时间、空间、肤色约束条件产生正负样本训练集，重新训练在线机器学习的分类器，更新分类器的参数，用于下一帧的跟踪。

更进一步，所述步骤2）中基于鸟群算法的光流跟踪法按照如下方法跟踪所述特征点：

1)输入物体目标位置以及搜索窗口，并通过栅格法随机产生特征点集；

2)通过LK光流法跟踪器跟踪选取的特征点，得到跟踪成功特征点集以及跟踪失败特征点集，从特征点集中剔除掉跟踪失败的特征点；

3)判断跟踪特征点的偏离，判断是否补充特征点，并根据肤色检测机制，在跟踪目标中选取肤色点补充到特征点集中；

4)将满足约束的特征点加入到特征点集中，继续进行跟踪；

5)通过跟踪成功的特征点集对目标窗口以及中心位置进行估计，输出跟踪目标窗口以及中心位置。

更进一步，所述鸟群算法对特征点之间需要满足的关系约束如下：

MINDist＜|p_i-p_j|，MAXDist＞|p_j-m|，m＝median(F)，任何两个特征点p_i、p_j的最大距离不超过特征点之间的最大距离MAXDist，最小距离不小于特征点之间的最小距离MINDist，m是中间点；所述肤色点的RGB值根据跟踪需要设定。

更进一步，所述分类器为P-N在线学习分类器。

更进一步，所述目标跟踪物体的置信度是通过比较跟踪到的物体与当前构建的在线学习物体建模进行模板匹配得到的匹配值，同时预置一可靠置信度阈值对所述分类器对置信度不可靠的物体进行检测。

更进一步，所述P-N在线学习分类器在线更新方法如下：

如果检测失败，则利用可靠的基础跟踪器的跟踪结果来引导分类器训练过程：根据LK光流法稳定跟踪到的特征点作为种子点作为种子点，启动P-N在线学习，产生正负样本训练分类器。

更进一步，通过手动矩形框圈出待跟踪物体初始位置，得到前景和背景物体。

更进一步，所述步骤1），在视频序列帧图像中，根据所述前景物体手动选出需要跟踪的目标区域，以方形框为目标窗口提取类Haar特征，窗口内的类Haar特征为正样本即所要跟踪的目标区域，窗口外两倍目标大小的类Haar特征为负样本。

更进一步，所述分类器包括：肤色分类器、随机森林分类器以及最近邻分类器。

本发明还提出一种基于在线机器学习的视觉人手跟踪系统，其特征在于，由系统输入：USB摄像头获取的RGB图像，系统输出：跟踪目标中心位置和窗口，以及跟踪目标结果的置信度；所述系统包括：跟踪器、检测器和在线机器学习，包括实现以下功能的模块：

用于对视觉数据输入图像，提取得到图像特征并检测初始人手目标位置得到正负样本，对所述正负样本进行训练得到的初始化的分类器；在所述分类器中增加肤色分类器；在所述分类器中通过时间、空间、肤色约束条件产生正负样本训练集，重新训练在线机器学习的分类器，更新分类器的参数；

用于对后续采集的视觉数据输入图像，选取待跟踪物体的特征点，使用基于鸟群算法的光流跟踪法跟踪所述特征点确定搜索窗口的物体跟踪器；所述跟踪器在搜索窗口中对物体的特征点进行跟踪，根据特征点集估计物体位置得到目标跟踪物体的置信度，所述分类器对置信度不可靠的物体进行检测，输出更新后的物体目标中心和窗口。

本发明的有益效果：

本发明实现了鲁棒的基于视觉的人手跟踪，通过利用基于层级分类器的目标检测，获得了对遮挡、干扰的鲁棒性，通过结合鸟群算法的光流法对人手进行跟踪，增强了对光照变化和快速运动的鲁棒性，本发明与现有技术在统一条件下测试的结果如参考图5所示。本发明的框架也适合进行不同跟踪器和分类器的扩展，使之能满足更多的应用需求。

附图说明：

下面结合附图，对本发明做出详细描述。

图1是本发明基于在线机器学习的视觉人手跟踪方法一实施例中跟踪总流程图；

图2是本发明基于在线机器学习的视觉人手跟踪方法一实施例中P-N在线学习训练机制流程图；

图3是本发明基于在线机器学习的视觉人手跟踪方法一实施例中结合鸟群算法的光流跟踪算法的流程图；

图4是本发明基于在线机器学习的视觉人手跟踪方法一实施例中跟踪器与检测器结果融合的流程图。

图5是本发明基于在线机器学习的视觉人手跟踪方法一实施例中本方法与其他经典方法结果的对比图。

具体实施方式：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的改进目的出于两个方面的考虑：

1.改进传统的光流跟踪算法

分析传统的光流跟踪算法，可以看出，光流法比较适合跟踪纹理比较明显的刚性物体。但是，由于人手具有较高的自由度，且人手表面的纹理并不明显，因此将光流法应用在人手跟踪上时很容易会失效。本发明引进一种鸟群算法（可以参见M.Kolsch andM.Turk,“Fast2D hand tracking with flocks of features and multi-cueintegration”,IEEE Conference on Computer Vision and Pattern Recognitionworkshop,pp.158,2004）.将鸟群算法结合到光流法中，可以用来跟踪关节部位，对自由度较高的人手也有着很好的跟踪效果。并且，本发明在更新特征点集时引入了肤色约束，当特征点中包含的肤色点过少时，可以在目标周围重新选择肤色点加入到特征点集中。

2.改进的肤色特征P-N学习

在线P-N学习机制是一种在线学习物体特征，并产生正负样本更新检测器的方法（可以参见Z.Kalal,K.Mikolajczyk and J.Matas“P-N learning:Bootstrapping binaryclassifiers by structural constraints”,IEEE Conference on Computer Vision andPattern Recognition,pp.49-56,2010）。在传统的P-N学习机制中，正负样本是通过P专家和N专家在跟踪到的物体周围，根据时间、空间约束来产生的。时间约束：由于物体运动是连续的，因此在物体运动轨迹上本发明可以找到一些正样本，而从那些不在运动轨迹上的位置可以得到负样本。空间约束：由于物体在空间上是连续的，即物体的运动方向、速度是不会剧烈变化的，因此在物体附近区域可以产生正样本，在离物体较远的地方可以产生一些负样本。本发明还加入了肤色约束：对于时间-空间约束产生的正负样本，肤色约束来进一步进行判断。如果正样本中包含的肤色点不足阈值，该正样本会被标记成负样本。相反，负样本如果包含足够的肤色点，会被标记为正样本。

为了实现上述目的，本发明的技术方案为：一种通过在线学习将跟踪器和检测器相结合的人手跟踪方法，其步骤包括：

方法包括目标检测（识别）、目标跟踪，在线更新，

1)初始化标定待跟踪物体的位置，通过手动矩形框圈出待跟踪物体，以得到前景和背景物体。初始化分类器参数，在视频序列帧图像中，手动选出需要跟踪的目标区域，以方形框为目标窗口，提取类Haar特征，窗口内的类Haar特征为正样本，即所要跟踪的目标区域，窗口外两倍目标大小的类Haar特征为负样本。根据前景物体位置产生正负样本，训练得到物体层级分类器（主要包含肤色分类器、随机森林分类器以及最近邻分类器）；

2)通过栅格法选取待跟踪物体的特征点（可以参见Z.Kalal,K.Mikolajczyk andJ.Matas “Tracking-Learning-Detection”,IEEE Transactions on Pattern Analysisand Machine Intelligence,pp.1409-1422,2010），使用基于鸟群算法的光流跟踪法跟踪该些特征点确定搜索窗口，得到物体跟踪器；

3)由跟踪器中的特征点集合估计物体的位置，得到跟踪目标物体的置信度（通过比较跟踪到的物体与当前构建的在线学习物体建模进行模板匹配，将匹配值记为置信度）；

4)根据置信度判断跟踪器结果是否可靠（具体实现时，规定可靠置信度阈值，一般设为0.7），若不可靠启动层级分类器来检测物体，并更新目标物体跟踪的目标中心和窗口；

5)在线学习机制通过时空约束根据跟踪到的物体产生正负样本，训练分类器，更新分类器参数。

跟踪阶段，基于鸟群算法的光流跟踪方法为：

1)使用LK稀疏光流法对上一帧特征群里每个特征点进行跟踪。对于部分特征点，其局部光流方程组能够得到误差足够小的最小二乘解，对这些点能够获得稳定的跟踪。而对于某些特征点，其局部光流方程组得不到有效的最小二乘解，造成跟踪丢失。

2)对特征群中LK稀疏光流法未成功跟踪的特征点进行补充。补充的方式是通过在目标窗口内对像素点进行随机采样肤色点，如果有必要则进行多次采样以保证得到的点与其他点保持一定距离。并根据其与其他点的距离，将其位置调整到适当位置。

具体算法如算法1中所示。

在线更新分类器的方法为：

1)如果检测成功，那么利用目标位置进行P-N在线学习，通过时间-空间-肤色的约束来选取正负样本。产生的正负样本对分类器进行训练，更新分类器的参数。

2)如果检测失败，则利用可靠的基础跟踪器的跟踪结果来引导分类器训练过程。使用LK光流法稳定跟踪到的特征点作为种子点作为种子点，启动P-N在线学习，产生正负样本训练分类器。

以下结合附图对本发明的具体实施方式进行说明，如图1所示是本发明基于在线机器学习的视觉人手跟踪方法一实施例中跟踪总流程图：

1.系统功能：

程序利用USB摄像头获取图像，提取图像特征并检测到初始人手目标后，进行初始的分类器训练，得到初始的层级分类器（检测器）。同时程序由人手检测阶段转向人手跟踪阶段，在摄像头后续采集的每帧图像中，提取图像特征，并以上帧的目标窗口的一定邻域通过结合鸟群算法的光流法确定搜索窗口，在搜索窗口中分别进行人手目标检测和跟踪。

2.系统输入：

USB摄像头获取的RGB图像。

3.系统输出：

圈出的人手目标，包括跟踪目标中心位置和窗口，以及跟踪目标结果的置信度。

4.具体实现：

主要分为两个阶段，即跟踪人手阶段和在线学习阶段。在人手跟踪阶段，采用改进的跟踪器——基于鸟群算法的光流跟踪构成的跟踪器，对提取到的特征点进行跟踪。同时由肤色分类器、随机森林分类器、最近邻分类器构成的检测器也在局部范围内对目标物体进行检测。其中肤色分类器和最邻近分类器不可更新，随机森林分类器可以进行更新。最终跟踪器的结果和检测器的结果通过融合机制得到最终的跟踪结果（中心位置和窗口）。在在线学习阶段，由于得到了目标中心和窗口，本发明可以通过时间-空间-肤色的约束条件来产生正负样本训练集，重新对分类器进行训练。具体的实施方案如下：

1)改进传统的在线学习训练机制。参考图2，具体方案如下：

如图2所示是本发明基于在线机器学习的视觉人手跟踪方法一实施例中P-N在线学习训练机制流程图；

改进后的在线学习训练，首先初始化时，产生一部分标记的初始化样本以及一部分未标记的训练样本。标记的样本形成训练集对分类器进行初始化训练。随后，未标记的样本根据时间-空间约束来进行标定。更进一步，为了将肤色信息更好的应用到在线学习中，本发明对前面产生的正样本进行再判定，如果该正样本中包含的肤色像素点超过给定阈值，则标定为正样本加入到训练集中，如果该正样本中包含的肤色像素点不足给定阈值，则标定为负样本，加入到训练集中。通过产生的正负样本，再对层级检测器中的分类器进行训练，得到新的分类器参数。

2)改进传统的光流法跟踪器。参考图3和算法1，本发明的跟踪器具体方案如下：

如图3所示是本发明基于在线机器学习的视觉人手跟踪方法一实施例中结合鸟群算法的光流跟踪算法的流程图；

a)开始，输入物体目标位置以及搜索窗口。

b)通过栅格法随机产生特征点集。

c)通过LK光流法跟踪器跟踪选取的特征点，得到跟踪成功特征点集以及跟踪失败特征点集。从特征点集中剔除掉跟踪失败的特征点。

d)判断跟踪特征点的偏离，判断是否补充特征点。如果不需补充则跳转到开始，继续跟踪特征点。

e)如果需要补充特征点，根据肤色检测机制（可以参见J.Kovac,P.Peer,andF.Solina,“Human Skin colour clustering for face detection”,EUROCON,pp.144-148,2003），在跟踪目标中选取肤色点补充到特征点集中。肤色点的RGB值需要满足：

R＞95，G＞40，B＞20，maxR，G，B-minR，G，B＞15，R-G＞15，R＞B。

而鸟群算法对特征点之间需要满足的关系约束如下：

MINDist＜|p_i-p_j|，MAXDist＞|p_j-m|，m＝median(F)，即任何两个特征点的最大距离不超过MAXDist，最小距离不小于MINDist。MAXDist是指在鸟群算法中特征点之间的最大距离，MINDist是指在鸟群算法中特征点之间的最小距离。

f)将满足约束的特征点加入到特征点集中，跳转到开始，继续进行跟踪。

g)通过跟踪成功的特征点集对目标窗口以及中心位置进行估计。输出跟踪目标窗口以及中心位置。

算法1基于鸟群算法的跟踪算法

如图4所示是本发明基于在线机器学习的视觉人手跟踪方法一实施例中跟踪器与检测器结果融合的流程图，通过检测器和跟踪器的融合机制将两者的结果融合起来。首先根据在线的人手模型对跟踪器的结果进行判断，如果跟踪器结果与人手模型的差别很大，则判定跟踪器失效。此时利用检测器的结果来更新跟踪器的结果。如果检测器没有检测到人手，则输出为未发现人手，即人手消失。

上述实例只是本发明的举例，尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims

1.一种基于在线机器学习的视觉人手跟踪方法，其步骤为：

1)对视觉数据输入图像，提取得到图像特征并检测初始人手目标位置得到正负样本，对所述正负样本进行训练得到初始化的分类器；同时在所述分类器中增加肤色约束；

2)对后续采集的视觉数据输入图像，选取待跟踪物体的特征点，使用基于鸟群算法的光流跟踪法跟踪所述特征点确定搜索窗口，得到物体跟踪器，其中，按照如下方法跟踪所述特征点：

2-1)输入物体目标位置以及搜索窗口，并通过栅格法随机产生特征点集；

2-2)通过LK光流法跟踪器跟踪选取的特征点，得到跟踪成功特征点集以及跟踪失败特征点集，从特征点集中剔除掉跟踪失败的特征点；

2-3)判断跟踪特征点的偏离，判断是否补充特征点，并根据肤色检测机制，在跟踪目标中选取肤色点补充到特征点集中；

2-4)将满足约束的特征点加入到特征点集中，继续进行跟踪；

2-5)通过跟踪成功的特征点集对目标窗口以及中心位置进行估计，输出跟踪目标窗口以及中心位置；

3)所述物体跟踪器在搜索窗口中对物体的特征点进行跟踪，根据特征点集估计物体位置得到目标跟踪物体的置信度，所述分类器对置信度不可靠的物体进行检测，输出更新后的物体目标中心和窗口；

4)根据物体目标中心和窗口在所述分类器中通过时间、空间、肤色约束条件产生正负样本训练集，重新训练在线机器学习的分类器，更新分类器的参数，用于下一帧的跟踪。

2.如权利要求1所述的基于在线机器学习的视觉人手跟踪方法，其特征在于，所述鸟群算法对特征点之间需要满足的关系约束如下：

MIN Dist＜|p_i-p_j|，MAX Dist＞|p_j-m|，m＝median(F)，任何两个特征点p_i、p_j的最大距离不超过特征点之间的最大距离MAXDist，最小距离不小于特征点之间的最小距离MINDist，m是中间点；所述肤色点的RGB值根据跟踪需要设定。

3.如权利要求1所述的基于在线机器学习的视觉人手跟踪方法，其特征在于，所述分类器为P-N在线学习分类器。

4.如权利要求3所述的基于在线机器学习的视觉人手跟踪方法，其特征在于，所述目标跟踪物体的置信度是通过比较跟踪到的物体与当前构建的在线学习物体建模进行模板匹配得到的匹配值，同时预置一可靠置信度阈值对所述分类器对置信度不可靠的物体进行检测。

5.如权利要求4所述的基于在线机器学习的视觉人手跟踪方法，其特征在于，所述P-N在线学习分类器在线更新方法如下：

如果检测失败，则利用可靠的基础跟踪器的跟踪结果来引导分类器训练过程：根据LK光流法稳定跟踪到的特征点作为种子点，启动P-N在线学习，产生正负样本训练分类器。

6.如权利要求1所述的基于在线机器学习的视觉人手跟踪方法，其特征在于，通过手动矩形框圈出待跟踪物体初始位置，得到前景和背景物体。

7.如权利要求6所述的基于在线机器学习的视觉人手跟踪方法，其特征在于，所述步骤1)，在视频序列帧图像中，根据所述前景物体手动选出需要跟踪的目标区域，以方形框为目标窗口提取类Haar特征，窗口内的类Haar特征为正样本即所要跟踪的目标区域，窗口外两倍目标大小的类Haar特征为负样本。

8.如权利要求1所述的基于在线机器学习的视觉人手跟踪方法，其特征在于，所述分类器包括：肤色分类器、随机森林分类器以及最近邻分类器。

9.一种基于在线机器学习的视觉人手跟踪系统，其特征在于，由系统输入：USB摄像头获取的RGB图像，系统输出：跟踪目标中心位置和窗口，以及跟踪目标结果的置信度；所述系统包括：跟踪器、检测器和在线机器学习，包括实现以下功能的模块：

用于对后续采集的视觉数据输入图像，选取待跟踪物体的特征点，使用基于鸟群算法的光流跟踪法跟踪所述特征点确定搜索窗口的物体跟踪器；其中，跟踪所述特征点的方法为：

4)将满足约束的特征点加入到特征点集中，继续进行跟踪；

5)通过跟踪成功的特征点集对目标窗口以及中心位置进行估计，输出跟踪目标窗口以及中心位置；

所述跟踪器在搜索窗口中对物体的特征点进行跟踪，根据特征点集估计物体位置得到目标跟踪物体的置信度，所述分类器对置信度不可靠的物体进行检测，输出更新后的物体目标中心和窗口。