CN107145862B - 一种基于霍夫森林的多特征匹配多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于霍夫森林的多特征匹配多目标跟踪方法，根据双阈值关联得到保守可靠的轨迹片段，按照样本选取原则在线生成正负样本集，构建霍夫森林，通过霍夫森林学习，将带有颜色、形状、类别以及运动信息的训练样本划分到不同的叶子节点，用叶子节点的统计信息去预测两轨迹片段的关联概率，当得到可靠长轨迹片段时，将其转化为轨迹间的再匹配问题，利用相似性度量与特征点匹配两种方式，通过融合概率将其关联为真实轨迹，完成匹配。本发明不仅解决了误差累积、跟踪精度低的问题，还提高了处理目标遮挡和形变情况的能力，实现了复杂场景下的多目标跟踪。

Description

一种基于霍夫森林的多特征匹配多目标跟踪方法

技术领域

本发明涉及一种基于霍夫森林的多特征匹配多目标跟踪方法。

背景技术

随着视频监控系统的普及，目标检测与跟踪的研究逐渐成为计算机视觉领域的热点研究方向，而多目标跟踪作为其重要分支，主要对目标进行定位并形成运动轨迹，进一步确认视频序列中每个目标的身份；同时多目标跟踪也是包含图像处理、模式识别、概率论与统计分析、系统控制理论等多学科交叉研究主题，具有很强的实际应用与学术价值。

近几年来，Tracking by Detection思想得到了许多学者的关注，逐渐形成了基于数据关联思想的目标跟踪方法。该方法主要适用于多目标跟踪场景，首先通过离线的检测器得到图像的目标区域，通过提取目标特征建立跟踪模型，将同一目标的检测响应进行关联，形成完整的目标轨迹。这类方法与基于视觉技术的跟踪方法相比，利用了目标的全局信息完成匹配跟踪，降低了状态搜索空间，在一定程度上解决了跟踪漂移的问题。多年来，基于数据关联的思想的跟踪技术发展迅速，出现了很多相关的技术，但是，引入模型在线学习机制，或者将目标细化为多个局部区域，通过加权融合得到整体的目标特征模型，均可提高多目标跟踪的精度，但对目标遮挡现象处理效果不佳。

另外有技术是通过在线学习采集样本，使用统计方法区分不同轨迹，将短小轨迹片段分层逐级关联，但对于相似目标容易累积误差，导致跟踪准确度较低。即便将跟踪任务转化为动态结构图的分层邻域搜索任务，但无法较好地解决相似目标的问题。

发明内容

本发明为了解决上述问题，提出了一种基于霍夫森林的多特征匹配多目标跟踪方法，本发明基于霍夫森林训练的跟踪框架，利用多特征融合匹配的多目标跟踪，解决了目标遮挡、形变等复杂环境中多目标跟踪准确性低的问题。。

为了实现上述目的，本发明采用如下技术方案：

一种基于霍夫森林的多特征匹配多目标跟踪方法，根据双阈值关联得到保守可靠的轨迹片段，按照样本选取原则在线生成正负样本集，构建霍夫森林，通过霍夫森林学习，将带有颜色、形状、类别以及运动信息的训练样本划分到不同的叶子节点，用叶子节点的统计信息去预测两轨迹片段的关联概率，当得到可靠长轨迹片段时，将其转化为轨迹间的再匹配问题，利用相似性度量与特征点匹配两种方式，通过融合概率将其关联为真实轨迹，完成匹配。

进一步的，在双阈值关联的过程中，将得到的检测响应构成集合，利用相邻帧的检测响应基于外观和位置的关联概率定义检测响应集合中各个元素之间的关联概率，当关联概率满足设定双阈值条件时，表明两个检测响应关联成功。

进一步的，霍夫森林根据初步关联的可靠轨迹片段，在线提取样本，随机抽取样本集合用于构建决策树，通过多个决策树的投票完成分类任务，并将同类轨迹片段进行轨迹关联，输出长轨迹。

进一步的，选取构建霍夫森林的训练样本，需要满足以下条件：

1)同一轨迹片段的检测响应对是同一目标；

2)存在时序重叠的轨迹片段间的检测响应对属于不同目标；

3)时间相近但空间距离超过设定值的检测响应对属于不同目标。

进一步的，通过外观模型和运动模型建立目标的判别模型，外观模型包括颜色直方图以及方向梯度直方图(Histogram of Oriented Gradient，HOG)等信息，运动模型主要采用中值流法，通过直方图量化统计得到模型的运动方向与速度。

进一步的，霍夫森林由多棵决策树组成，每棵决策树通过节点分裂以递归方式构建而成。根据样本的特征信息，采用类别不纯度与运动不确定性指标划分节点，使节点中样本的外观与运动信息最大可能达到一致性，通过正负样本构建霍夫森林，提取叶子节点样本的统计特性来估计轨迹片段的关联概率。

进一步的，以正样本的比例估计两轨迹基于外观的关联概率，采用带有高斯核的Parzen窗估计法求取轨迹之间基于运动的关联概率，通过霍夫森林投票决策出最相近的轨迹片段，以时间序列相互关联，初步完成目标的局部跟踪。

进一步的，按照时间不相交的原则将得到的目标长轨迹分为多组数据，每两组数据的多个轨迹分别提取目标的特征相互匹配，满足匹配条件，则证明两条轨迹属于同一目标，直至多组轨迹全部匹配完毕，实现目标的全程跟踪。

进一步的，采用巴氏距离度量颜色直方图的相似性，将匹配的轨迹的目标区域转换到HSV空间，提取颜色直方图，通过巴氏距离度量返回相似系数，转化为相似概率，多个目标长轨迹两两进行相似性度量，形成概率矩阵。

进一步的，利用多尺度Gabor滤波器进行特征点匹配，提取目标图像的特征点，对特征点加以描述，进行暴力匹配并提纯；再结合颜色直方图的相似性度量法，引入权重系数，融合得到最终的匹配概率，若该匹配概率满足设定的双阈值条件，则证明两轨迹属于同一目标，利用牛顿插值法填补轨迹间隙，得到新的长轨迹，当所有轨迹均存在时间交叉或匹配概率均不满足双阈值条件，则表明轨迹匹配完毕。

与现有技术相比，本发明的有益效果为：

(1)本发明利用双阈值方法进行初级关联，得到短小可靠的轨迹片段。

(2)本发明针对复杂环境下的多目标跟踪，重新设计目标特征模型，采用颜色直方图、HOG特征以及光流信息等特征建立特征模型，加强对目标外观和运动模型的描述能力。

(3)本发明通过构建霍夫森林的跟踪框架，在线学习采集样本，辅助目标的特征模型，根据分类的统计特性，进一步区分复杂场景下相似性目标，关联短小轨迹片段，形成长轨迹。

(4)本发明提供了构建基于多特征匹配的轨迹匹配方法。通过颜色直方图的相似性度量以及Gabor特征点匹配方式，对长轨迹进行关联，并按照实际场景加权融合，解决了误差累积、跟踪精度低的问题，并提高了处理目标遮挡和形变情况的能力，实现了复杂场景下的多目标跟踪。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明多目标跟踪方法流程示意图；

图2(a)-图2(c)是本发明的样本提取过程示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

正如背景技术所介绍的，现有技术中存在判别性模型不佳、对于目标遮挡现象处理效果不佳以及跟踪准确度较低的不足，为了解决如上的技术问题，本申请提出了一种基于多特征匹配的多目标跟踪方法，解决了目标遮挡、形变等复杂环境中多目标跟踪准确性低的问题。

本申请的一种典型的实施方式中，如图1所示，提供了一种基于霍夫森林的多特征匹配多目标跟踪方法，根据双阈值关联得到保守可靠的轨迹片段，按照样本选取原则在线生成正负样本集，并进一步构建霍夫森林；通过霍夫森林学习，将带有颜色、形状、类别以及运动信息的训练样本划分到不同的叶子节点，用叶子节点的统计信息去预测两轨迹片段的关联概率；当得到可靠长轨迹片段时，可转化为轨迹间的再匹配问题，利用相似性度量与特征点匹配两种方式，通过融合概率将之逐步关联为真实轨迹，有效提高了目标跟踪的精度以及处理遮挡情况的能力，实现了复杂场景下的鲁棒性跟踪。

在初级关联阶段，本发明采用双阈值关联方法，可以取得很好的效果。设检测器得到的检测响应集合为D＝{d₁,d₂,…,d_n}，检测响应d_i＝{t_i,h_i,l_i}，其中t代表视频序列的帧数，h代表检测响应的外观特征，l代表检测响应的位置、尺寸信息。根据检测信息，定义检测响应之间的关联概率为：

p(d_i|d_j)＝p_app(d_i|d_j)·p_loc(d_i|d_j)·I(d_i,d_j) (1)

其中p_app(d_i|d_j)，p_loc(d_i|d_j)分别是相邻帧的检测响应基于外观和位置的关联概率，而I(d_i,d_j)是二值函数。检测响应的外观信息取自颜色直方图，位置信息主要依据目标面积的重叠率。当关联概率p满足(2)式时，表明两个检测响应关联成功。

p(d_i|d_j)＞θ₁

p(d_i|d_j)-p(d_i|d_m)＞θ₂

p(d_i|d_j)-p(d_m|d_j)＞θ₂ i,j,m∈n,且m≠i,m≠j (2)

式中的θ₁、θ₂分别为上、下阈值，双阈值的关联策略将散落的检测响应关联为多个短小的轨迹片段，每个轨迹片长度有限，不仅保证了数据关联的正确性，还可以在线获取足够的训练样本。

霍夫森林根据初级关联的可靠轨迹片段，在线提取样本，随机抽取样本集合用于构建决策树，通过多个决策树的投票完成分类任务，并将同类轨迹片段进行轨迹关联，输出长轨迹。

训练样本提取需遵循以下原则：1)同一轨迹片段的检测响应对是同一目标；2)存在时序重叠的轨迹片段间的检测响应对属于不同目标；3)时间相近但空间距离较大的检测响应对属于不同目标。样本选取的具体流程如图2(a)-图2(c)所示。图2(a)是每帧的检测响应，T表示时间序列，以10帧为例，经过初级关联得到短小可靠的轨迹片段，并对每个轨迹赋予身份信息，如图2(b)，轨迹片段的不同颜色代表不同的目标；根据样本选取原则，得到正负样本集合，如图2(c)所示。

为加强霍夫森林对目标的判别力，本发明采用一种多特征融合的判别模型，包括外观模型和运动模型。

在多目标跟踪过程中，考虑到目标的相似性以及遮挡情况，同时引入颜色直方图以及HOG特征进一步判别目标。颜色直方图将目标区域颜色量化，通过计算颜色落在每个区间内的像素数量反映目标特性，避免了色彩的空间位置带来的影响；HOG特征主要描述局部目标的表象和形状信息，对图像几何与光学的形变都可以保持较好的不变性，在相邻两帧的相同目标的对比描述上具有非常可靠的效果。

本发明采取中值流法作为目标的运动描述子。在相邻帧间的目标区域生成光流点，将正向与反向误差较低的点作为可靠光流点，通过直方图量化统计得到模型的运动方向与速度。通过建立特征模型，轨迹片段中的检测响应全部的特征表达为：

F＝{f_hist,f_hog,f_mot} (3)

式中f_hist代表颜色直方图信息，f_hog代表HOG特征信息，f_mot代表运动信息。

霍夫森林由多棵决策树组成，每棵决策树通过节点分裂以递归方式构建而成。根据样本的特征信息，采用类别不纯度与运动不确定性指标划分节点，使节点中样本的外观与运动信息最大可能达到一致性。通过正负样本构建霍夫森林，提取叶子节点样本的统计特性来估计轨迹片段的关联概率。轨迹T_i与T_j基于外观的关联概率定义为：

P_app(T_i|T_j)＝Q(A⁺)/Q(A) (4)

式中Q(A)表示样本落入叶子节点A的总数，Q(A⁺)代表节点A正样本个数，以正样本的比例估计两轨迹基于外观的关联概率。轨迹T_i与T_j基于运动的关联概率采用带有高斯核的Parzen窗估计法，定义为：

式中s_i,mot表示叶子节点A中正样本的运动矢量，则在一棵决策树的轨迹T_i与T_j概率关联模型定义为：

P(T_i|T_j)＝P_app(T_i|T_j)·P_mot(T_i|T_j) (6)

通过霍夫森林投票决策出最相近的轨迹片段，以时间序列相互关联，初步完成目标的局部跟踪。

针对霍夫森林多条长轨迹输出现状，本发明公开一种多特征融合的轨迹匹配方法，有效解决了霍夫森林在后期级联出现的误差积累、精度低的缺点。按照时间不相交的原则分为多组数据，每两组数据的多个轨迹分别提取目标的特征相互匹配，满足匹配条件，则证明两条轨迹属于同一目标，直至多组轨迹全部匹配完毕，实现目标的全程跟踪。

轨迹匹配实质上是求解两轨迹之间的相近程度，直方图的相似性度量，一般通过直方图之间的距离度量实现的。本发明采用巴氏距离度量颜色直方图的相似性，首先将匹配的轨迹的目标区域转换到HSV空间，提取颜色直方图，然后通过巴氏距离度量返回相似系数，转化为相似概率。多个目标长轨迹两两进行相似性度量，形成概率矩阵。

在进行后续的轨迹匹配时，考虑到相似目标以及目标遮挡的情况，引入特征点匹配的方式对多组轨迹进行再匹配，根据各目标区域的特征点匹配情况，确定轨迹是否为同一目标。本方法通过改进的Gabor滤波器生成目标图像，利用FAST和Shi-Tomasi算法提取目标图像的特征点，根据BRIEF算法对特征点加以描述，最后进行暴力匹配并提纯，达到了很好的匹配效果。基于此，将霍夫森林输出的两组中的多条轨迹两两匹配，形成匹配矩阵，将矩阵中匹配点数进一步转化为目标关联概率。

颜色直方图的相似性度量法和多尺度Gabor滤波器的特征点匹配法是两种完全不同的匹配方式，为了提高轨迹匹配的准确性，引入权重系数，重新定义匹配概率模型：

H(T_i|T_j)＝ωh_hist(T_i|T_j)+(1-ω)h_feature(T_i|T_j),0＜T_j,head-T_i,tail＜T_θ (7)

其中，h_hist(T_i|T_j)、h_feature(T_i|T_j)分别代表两轨迹基于颜色直方图的相似性度量和Gabor特征点匹配的关联概率，ω为权重系数，T_θ为两轨迹的时间阈值。当两轨迹满足该阈值时，通过加权得到最终的概率矩阵，找出行与列的最大值，若此概率满足公式(2)，则证明两轨迹属于同一目标，利用牛顿插值法填补轨迹间隙，得到新的长轨迹。当所有轨迹均存在时间交叉或匹配概率均不满足公式(2)，则表明轨迹匹配完毕。

为进一步验证本方法对多目标跟踪的有效性，选取DukeMTMC(共218帧)视频序列进行对比跟踪实验。

表1不同方法对DukeMTMC数据库的跟踪性能对比

方法	Rcll(↑)％	Prcn(↑)％	FAF(↓)	IDs(↓)
					HF方法	92.2	95.2	0.24	2
HF-H方法	92.4	95.3	0.24	2
					本方法	95.0	96.3	0.19	0

注：↑代表该参数值越大，跟踪效果越好；↓代表该参数值越小，跟踪效果越好。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于霍夫森林的多特征匹配多目标跟踪方法，其特征是：根据双阈值关联得到保守可靠的轨迹片段，按照样本选取原则在线生成正负样本集，构建霍夫森林，通过样本训练，利用叶子节点的统计信息预测两轨迹片段的关联概率；当得到可靠长轨迹片段时，将其转化为轨迹间的再匹配问题，利用相似性度量与特征点匹配两种方式，通过融合概率将其关联为真实轨迹，完成匹配；

在双阈值关联的过程中，将得到的检测响应构成集合，利用相邻帧的检测响应基于外观和位置的关联概率定义检测响应集合中各个元素之间的关联概率，当关联概率满足设定双阈值条件时，表明两个检测响应关联成功；

按照时间不相交的原则将目标长轨迹分为多组数据，每两组数据的多个轨迹分别提取目标的特征相互匹配，满足匹配条件，则证明两条轨迹属于同一目标，直至多组轨迹全部匹配完毕，实现目标的全程跟踪。

2.如权利要求1所述的一种基于霍夫森林的多特征匹配多目标跟踪方法，其特征是：检测响应的外观信息取自颜色直方图，位置信息依据目标面积的重叠率。

3.如权利要求1所述的一种基于霍夫森林的多特征匹配多目标跟踪方法，其特征是：在霍夫森林的训练样本的选取上，需要满足以下条件：

1)同一轨迹片段的检测响应对是同一目标；

2)存在时序重叠的轨迹片段间的检测响应对属于不同目标；

3)时间相近但空间距离超过设定值的检测响应对属于不同目标。

4.如权利要求1所述的一种基于霍夫森林的多特征匹配多目标跟踪方法，其特征是：目标判别模型包括外观模型和运动模型，外观模型依据颜色直方图以及HOG特征等信息构建，运动模型主要采用中值流法，在相邻帧间的目标区域生成光流点，将正向与反向误差小于设定值的点作为可靠光流点，通过直方图量化统计得到模型的运动方向与速度。

5.如权利要求1所述的一种基于霍夫森林的多特征匹配多目标跟踪方法，其特征是：霍夫森林中每棵决策树通过节点分裂以递归方式构建而成，根据样本的特征信息，采用类别不纯度与运动不确定性指标划分节点，使节点中样本的外观与运动信息最大可能达到一致性，通过正负样本构建霍夫森林，提取叶子节点样本的统计特性来估计轨迹片段的关联概率，形成长轨迹。

6.如权利要求1所述的一种基于霍夫森林的多特征匹配多目标跟踪方法，其特征是：以正样本的比例估计两轨迹基于外观的关联概率，采用带有高斯核的Parzen窗估计法求取轨迹之间基于运动的关联概率，通过霍夫森林投票决策出最相近的轨迹片段，以时间序列相互关联，初步完成目标的局部跟踪。

7.如权利要求1所述的一种基于霍夫森林的多特征匹配多目标跟踪方法，其特征是：多特征匹配的方式包括颜色直方图的相似性度量法和Gabor特征点匹配法， 通过颜色直方图的巴氏距离度量返回相似系数，转化为相似概率；将霍夫森林输出的多条轨迹两两匹配，形成匹配矩阵，将矩阵中匹配点数进一步转化为目标关联概率。

8.如权利要求1所述的一种基于霍夫森林的多特征匹配多目标跟踪方法，其特征是：在多特征匹配的基础上，建立匹配概率模型，引入权重系数，融合得到最终的匹配概率，若该匹配概率满足设定的双阈值条件，则证明两轨迹属于同一目标，利用牛顿插值法填补轨迹间隙，得到新的长轨迹，当所有轨迹均存在时间交叉或匹配概率均不满足双阈值条件，则表明轨迹匹配完毕。

Images