CN103226835B - 基于在线初始化梯度增强回归树的目标跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种基于在线初始化梯度增强回归树的目标跟踪方法及系统，在视频输入端、跟踪目标输出端以及在线训练分类器构成的系统中，方法步骤为：1）在视频序列中选择跟踪目标，提取类Haar特征的正负样本；2）根据所述正负样本随机建立在线分类器得到训练残差；3）将所述训练残差作为在线分类器的训练样本进行训练修正，建立目标模型；4）从下一帧视频图像获取图像置信图，目标窗口确定置信值最大的位置，完成跟踪。本发明使得其能够快速收敛到最优点，完成对随机森林检测的优化，并且通过在线学习实现分类器的更新，很好地解决了目标外观变化、快速运动以及遮挡等问题。

Description

基于在线初始化梯度增强回归树的目标跟踪方法及系统

技术领域

本发明属于机器视觉领域目标跟踪和智能人机交互领域，具体涉及一种鲁棒的基于在线初始化梯度增强回归树的目标跟踪方法，属于机器视觉领域目标跟踪及智能人机交互领域。

背景技术

视觉目标跟踪技术是机器视觉研究的核心课题之一，它融合了图像处理、模式识别、人工智能、自动控制等许多领域的关键技术。视觉目标跟踪技术广泛应用于视频监控、智能机器人、智能交通等人机交互领域，以及军事领域。因为具有巨大的应用前景，国际和国内对视觉目标跟踪的研究方兴未艾。

在现实场景中，受日光和灯光的影响，光线变化较大；背景中静态干扰物杂乱无章和动态干扰物形态且运动方式无法预测；目标与环境中的其他物体之间容易相互遮挡；长时间跟踪运动目标外观、尺度、姿态变化大。面对这些困难，如何实现稳定的目标跟踪，从而进行更加智能和更加鲁棒的人机交互，具有重要的研究意义。

当前视觉目标跟踪的传统方法可以分为基于区域的跟踪、基于特征的跟踪、基于变形模版的跟踪以及基于模型的跟踪方法。算法执行顺序遵循预测-检测-匹配-更新四个步骤，以前一帧目标位置和运动模型为基础，预测当前帧中目标的可能位置。在可能位置处候选区域的特征和初始特征进行匹配，通过优化匹配准则来选择最好的匹配，其相应目标区域即为目标在本帧的位置。上述传统方法在鲁棒性方面依赖于针对特定环境的特征的融合，并且缺乏可靠的理论基础。而机器学习方法获得的分类器已经在人脸识别、目标识别、人体识别等领域取得了令人瞩目的成果，近年来机器学习在机器视觉领域得到了广泛的研究，基于分类器的目标检测方法为目标跟踪提供了更高的鲁棒性，并且在线学习的视觉跟踪可以很好的解决目标外观的变化问题。

并且传统的离线学习的方法通过大量的样本训练分类器，然后再对目标进行检测与跟踪。因此对训练样本提出了很高的要求，比如必须包括跟踪目标在各种情况下可能出现的状态；而且即使拥有这样的训练样本，由于它们的变化性太大，也可能很难提出比较好的特征来用于检测或者分类。

所以将在线初始化梯度增强回归树的机器学习方法应用于目标跟踪具有重要的理论研究和应用意义。用于视觉追踪的机器学习算法最常用是两种集群学习方法，分别为自适应增强（Adaboost）和随机森林（RandomForest）。Saffari在文献A.Saffari,C.Leistner,J.Santner,M.GodecandH.Bischof,``On-lineRandomForests",IEEEInternationalConferenceonComputerVisionWorkshops,pp.1393-1400,2009.中提出了在线随机森林算法，但是准确率不高。

发明内容

本发明的目的是在以检测做跟踪的框架下，将基于初始化梯度增强回归树方法进行逐帧检测分类，初始化梯度增强回归树方法可参见（H.Grabner,C.LeistnerandH.Bischof,``Semi-supervisedOn-LineBoostingforRobustTracking",EuropeanConferenceonComputerVision,pp.234-247,2008.）（B.Babenko,M.YangandS.Belongie,``VisualTrackingwihtOnlineMultipleInstanceLearning",IEEEConferenceonComputerVisionandPatternRecognition,pp.983-990,2009.）（J.Santner,C.Leisner,A.Saffari,T.PockandH.Bischof,``PROST:ParallelRobustOnlineSimpleTracking",IEEEConferenceonComputerVisionandPatternRecognition,pp.720-730,2010.）通过在线学习进行样本更新，从而实现对现实应用场景连续的鲁棒的目标跟踪。本发明通过初始化梯度增强回归树的方法，即将随机森林的结果初始化梯度增强回归树用来修正随机森林的结果，大大提高了追踪的准确率和鲁棒性。

本发明方案如下：一种基于在线初始化梯度增强回归树的目标跟踪方法，其步骤为：

1）在视频序列中选择跟踪目标，提取类Haar特征的正负样本；

2）根据所述正负样本随机建立在线随机森林分类器得到训练残差；

3）将所述训练残差作为在线梯度增强回归树分类器的训练样本进行训练修正，建立目标模型；

4）从下一帧视频图像获取图像置信图，目标窗口根据所述目标模型确定置信值最大的位置，完成跟踪。

更进一步，所述目标跟踪方法还包括：输出置信值最大的位置后更新所述在线分类器。

更进一步，在目标窗口内提取类Haar特征为所述正样本，目标窗口外两倍目标大小的类Haar特征为所述负样本。

更进一步，所述在线随机森林分类器在训练每棵树时，从全部训练样本中任意选取一个子集进行训练，并评估其他未被选中的子集数据的随机森林数泛化误差，通过所述泛化误差决定是否构建新树。

更进一步，所述在线随机森林分类器在每个节点随机选取所有样本的一个子集，计算随机森林中的决策树的节点的分裂函数。

更进一步，所述在线梯度增强回归树分类器在残差减少的梯度方向上建立一新目标模型。

更进一步，当所述梯度增强回归树小于一阈值，则在线构造新树。

更进一步，在构造目标模型过程中，当样本数大于阈值时，进行残差的更新，并作为新的梯度增强回归树的输入。

本发明还提出一种基于在线初始化梯度增强回归树的目标跟踪系统，其特征在于，包括：视频输入端、跟踪目标输出端以及在线训练分类器，

所述视频输入端，包括可获取RGB图像的摄像设备；

所述跟踪目标输出端，输出选定的跟踪目标在图像中的位置；

所述在线训练分类器，1）在视频序列中选择跟踪目标，提取类Haar特征的正负样本；2）根据所述正负样本随机建立在线随机森林分类器得到训练残差；3）将所述训练残差作为在线梯度增强回归树分类器的训练样本进行训练修正，建立目标模型；4）从下一帧视频图像获取图像置信图，目标窗口根据所述目标模型确定置信值最大的位置，完成跟踪。

更进一步，输出置信值最大的位置后更新所述在线训练分类器。

本发明的技术效果：

本发明实现了鲁棒的基于视觉的目标跟踪，通过融合随机森林和梯度增强回归树，即利用随机森林的目标检测结果的残差初始化梯度增强回归树，使得其能够快速收敛到最优点，完成对随机森林检测的优化，并且通过在线学习实现分类器的更新，很好地解决了目标外观变化、快速运动以及遮挡等问题。本发明的框架也适合进行不同跟踪器和分类器的扩展，使之能满足更多的应用需求。本发明的效果图如图3（a）—图3（f）所示：其中方框标注的为本发明的效果，从图中可以看出本发明的目标跟踪效果最好。

附图说明：

图1是本发明的目标跟踪方法的流程示意图；

图2是本发明的随机森林分类器和梯度增强回归树分类器上方法操作流程图。

图3（a）—图3（f）是本发明的目标跟踪效果图示意图，方框内表示的是本发明的跟踪效果。

具体实施方式：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，可以理解的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先利用随机森林做检测，得到目标函数的残差用来初始化梯度增强回归树，从而快速实现对检测结果的改善，获得更加鲁棒的目标跟踪结果。

本发明的技术内容：

提出基于在线初始化梯度增强回归树的鲁棒的目标跟踪方法，所以进一步说，是基于随机森林的初始化梯度增强回归树方法进行的逐帧检测来完成跟踪的方法，本发明的方法能够克服传统跟踪方法的局限性，并使系统具有不断提高自己性能的能力。

本发明的在线学习的方法则在跟踪的同时，对检测器或者分类器进行更新，使之适应于当前目标的外观变化的跟踪，通过这样的方式解决了在离线学习跟踪中遇到的困难。

本发明在线初始化梯度增强回归树的鲁棒的目标跟踪方法主要包括如下步骤：

1．初始化分类器：在视频序列帧图像中，手动选出需要跟踪的目标区域，以方形框为目标窗口，提取类Haar特征，窗口内的类Haar特征为正样本，即所要跟踪的目标区域，窗口外两倍目标大小的类Haar特征为负样本。

2．在线训练随机森林分类器检测跟踪目标，得到训练残差。随机森林是一个用随机方式建立的，包含多个决策树的分类器（P.Geurts,C.Ernst,L.Wehenkel.ExtremelyRandomizedTrees[J].MachineLearning,vol.36,no.1,pp.3-42,2006.）。其输出的类别是由各个树输出的类别的众数而定。

随机森林的随机性主要体现在两个方面：

1）训练每棵树时，从全部训练样本中任意选取一个子集进行训练（即bootstrap取样），用剩余的数据进行评测，评估其泛化误差（可参见L.BreimanandE.Schapire``Randomforests",MachineLearning,vol.45,no.1,pp.5-32,2001.），通过所述泛化误差决定是否构建新树。

2）在每个节点，随机选取所有特征的一个子集，用来计算最佳分割方式。极端随机森林使得决策树内部节点的测试函数也是随机产生的，在线随机森林即基于极端随机森林提出的。

随机森林的主要优点：

1）能够处理高维数据，不用做特征选择，不容易出现过拟合而且速度较快；

2）训练测试时速度很快，便于并行化，实现较简单；

3）对训练数据中的噪声和错误鲁棒。

3．根据初始化梯度增强回归树，将随机森林训练器产生的残差作为样本在线初始化梯度增强回归树，从而回归树可以实现快速的收敛，并完成对随机森林检测结果的修正，得到最优目标模型。梯度增强回归树应用很广泛，可以用来做分类、回归等。而梯度增强（GradientBoost）与传统的Boost的区别是（可参见T.Hastie,R.TibshiraniandJ.Friedman,``TheElementsofStatisticalLearning",2nded,NewYork:Springer,2009.），每一次的计算是在梯度方向减少上一次的残差(residual)，而为了消除残差，在残差减少的梯度方向上建立一个新的模型。所以说，在梯度增强中，每个新的模型的建立是为了使得之前模型的残差往梯度方向减少，与传统Boost对正确、错误的样本进行加权有着很大的区别。

本发明中随机森林和梯度增强回归树均采用了在线决策树增长策略，实现在线学习。

4．当新的一帧视频到来，搜索该视频的RGB图像，得到置信图，找出置信值最大的位置，目标窗口移动到置信值最大的位置，跟踪到的目标位置，并且同时更新分类器，即将在当前帧中检测到的目标区域作为下一帧检测的目标模型，送入分类器进行训练，用来检测下一阵图像。

以上过程逐帧循环，直到跟踪过程终止。

如图1所示，是本发明基于在线初始化梯度增强回归树的目标跟踪的具体设计如下：

1．系统功能：

USB摄像头获取视频序列后，手动标定需要跟踪的目标，提取目标特征，即类Haar特征（提取方法可参见P.ViolaandM.Jones.``Robustreal-timefacedetection".InternationalJournalofComputerVision,Vol.57,No.2,pp.137-154,2004.），得到正负样本进行初始的随机森林的训练，得到训练的结果以及残差，将残差作为输入初始化梯度增强回归树，梯度回归树将残差进行修正，得到训练好的目标模型。在后续的视频图像中，在搜索窗口进行逐帧检测，得到置信图，分析置信图，得到跟踪到的目标位置输出，将该目标作为新的目标模型更新分类器。

2．系统输入：

摄像头获取的RGB图像。

3．系统输出：

根据置信图得到需要跟踪目标在图像中所在的位置，当前视觉目标跟踪。

4．具体实现：

首先检测基于提取的类Haar特征，产生正负样本，利用在线随机森林进行分类检测，之后将其训练得到的残差作为输入进行梯度增强回归树的初始化，训练过程中样本逐一进行训练，实现在线学习，融合随机森林以及梯度增强回归树的结果得到目标模型。在一帧图像中搜索窗口检测目标，得到置信图，值最大的即为目标所在位置，并将该目标作为新的目标模型更新分类器，从而完成以检测做跟踪的过程。

如图2所示，是本发明的随机森林分类器和梯度增强回归树分类器上的具体算法实现流程如下：

1．随机森林大小为T，即共T棵树，如果不足则在线构造新树，构造过程中如果训练的泛化误差大于某一阈值rand则删除并构造新树。在我们的发明中该值大小T为100。

2．当随机森林构造完成后得到训练残差，将其作为输入来训练梯度增强回归树。梯度增强回归树大小为M，不足时在线构造新树。在构造目标模型过程中，当样本数目大于阈值α时，则进行残差的更新，并作为新的梯度增强回归树的输入。在本发明中M设为10，α为100。

3．梯度增强回归树修正随机森林的残差后得到的分类检测结果，即为最终的目标结果。

如图3（a）—图3（f）所示是本发明目标跟踪效果图示意图。图3（a）-图3（f）是不同场景下视频帧数记录的跟踪情况，其中方框标注的为本发明的效果，从图中可以看出本发明的目标跟踪效果最好。

上述实例只是本发明的举例，尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (8)

1.一种基于在线初始化梯度增强回归树的目标跟踪方法，其步骤为：

1)在视频序列中选择跟踪目标，提取类Haar特征的正样本和负样本，包括，手动选出需要跟踪的目标区域，以方形框为目标窗口，在目标窗口内提取类Haar特征为所述正样本，目标窗口外两倍目标大小的类Haar特征为所述负样本；

2)根据所述正样本和负样本随机建立在线随机森林分类器得到训练残差；

3)将所述训练残差作为在线梯度增强回归树分类器的训练样本进行训练修正，建立目标模型，包括，将在当前帧中检测到的目标区域作为下一帧检测的目标模型，送入所述在线梯度增强回归树分类器进行训练，用来检测下一帧图像；

4)从下一帧视频图像获取图像置信图，目标窗口根据所述目标模型确定置信值最大的位置，更新所述在线随机森林分类器及在线梯度增强回归树分类器，以上过程逐帧循环，完成跟踪。

2.如权利要求1所述的基于在线初始化梯度增强回归树的目标跟踪方法，其特征在于，所述在线随机森林分类器在训练每棵树时，从全部训练样本中任意选取一个子集进行训练，并评估其他未被选中的子集数据的随机森林数泛化误差，通过所述泛化误差决定是否构建新树。

3.如权利要求1所述的基于在线初始化梯度增强回归树的目标跟踪方法，其特征在于，所述在线随机森林分类器在每个节点随机选取所有样本的一个子集，计算随机森林中的决策树的节点的分裂函数。

4.如权利要求1所述的基于在线初始化梯度增强回归树的目标跟踪方法，其特征在于，所述在线梯度增强回归树分类器在残差减少的梯度方向上建立一新目标模型。

5.如权利要求4所述的基于在线初始化梯度增强回归树的目标跟踪方法，其特征在于，当所述梯度增强回归树的大小小于一阈值，则在线构造新树。

6.如权利要求5所述的基于在线初始化梯度增强回归树的目标跟踪方法，其特征在于，在构造目标模型过程中，当样本数大于阈值时，进行残差的更新，并作为新的梯度增强回归树的输入。

7.一种基于在线初始化梯度增强回归树的目标跟踪系统，其特征在于，包括：视频输入端、跟踪目标输出端以及在线训练分类器，

所述视频输入端，包括可获取RGB图像的摄像设备；

所述跟踪目标输出端，输出选定的跟踪目标在图像中的位置；

所述在线训练分类器，1)在视频序列中选择跟踪目标，提取类Haar特征的正样本和负样本，包括，手动选出需要跟踪的目标区域，以方形框为目标窗口，在目标窗口内提取类Haar特征为所述正样本，目标窗口外两倍目标大小的类Haar特征为所述负样本；2)根据所述正样本和负样本随机建立在线随机森林分类器得到训练残差；3)将所述训练残差作为在线梯度增强回归树分类器的训练样本进行训练修正，建立目标模型，包括，将在当前帧中检测到的目标区域作为下一帧检测的目标模型，送入所述在线梯度增强回归树分类器进行训练，用来检测下一帧图像；4)从下一帧视频图像获取图像置信图，目标窗口根据所述目标模型确定置信值最大的位置，更新所述在线随机森林分类器及在线梯度增强回归树分类器，以上过程逐帧循环，完成跟踪。

8.如权利要求7所述的基于在线初始化梯度增强回归树的目标跟踪系统，其特征在于，输出置信值最大的位置后更新所述在线随机森林分类器及在线梯度增强回归树分类器。