CN103778647A - 一种基于层次超图优化的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种多目标跟踪方法，包括：S1.将视频在时间域上划分为时间段，并对每段视频帧进行目标检测，并将检测结果作为疑似目标区域；S2.将步骤S1获得的各疑似目标区域的位置作为顶点；否则，将每个时间段内的局部轨迹作为顶点，它们之间的关系作为边，建立局部轨迹的姻亲关系图；S3.在姻亲关系图中搜索得到多个密集近邻类，将属于一个密集近邻类的局部轨迹作为属于同一个目标的局部轨迹；S4.将属于同一个时间段的单位时间段聚合为若干个新的单位时间段，对同一新的单位时间段中的属于同一密集近邻类的局部轨迹合并形成合并轨迹；S5.判断单个时间段是否已跨越整个跟踪的时间域，若是，则将当前获得的合并轨迹作为监控目标的跟踪轨迹，否则，则返回步骤S2。

Description

一种基于层次超图优化的多目标跟踪方法

技术领域

本发明涉及图像处理、模式识别以及计算机视觉领域，特别涉及一种基于层次超图优化的多目标跟踪方法。

背景技术

多目标跟踪在计算机视觉领域是个重要但困难的问题。现有的跟踪方法尽管在不同程度上部分解决了跟踪难点，其在实际应用中的性能往往很难令人满意。最近，由于物体检测技术的飞速发展，基于数据关联的多目标跟踪方法逐渐占据主流。给定每一帧图像的目标检测结果，多目标跟踪问题可以建模为关联不同帧的多个目标检测结果并形成连续的轨迹的过程。

在实际应用中，跨时间域的多个检测结果之间的关系(例如其表象或者其所属轨迹运动模式的相似性)是非常有效的信息，然而绝大部分已经提出的基于数据关联的多目标跟踪方法并没有考虑这个信息。现存的方法主要分为两大类，一类是只考虑在有限的局部时间域的检测结果之间的关系，这一类方法无法解决目标被长时间遮挡或者场景中出现近距离且具有相似表象和运动方式的目标所带来的跟踪错误，因此此类方法的跟踪性能很难得到保障，尤其是在具有挑战性的密集场景中并不适用；另一类方法虽然考虑了跨时间域的多个检测结果之间的关系这一信息，但是由于它们往往要求目标的检测结果在视频中每一帧都要出现，因此在没有目标检测结果的帧中，其利用简易的方式估计出目标的位置，造成了这类方法对具有相似表象且做非线性运动目标的跟踪并不鲁棒。因此，综上所述，如上文提到的两类方法在一些有限制条件的场景下性能较好，但是对于一般实际应用的非限制条件场景下，其性能不甚理想，因此考虑跨时间域的多个检测结果之间的关系势在必行。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是当前的多目标跟踪方法不能处理长时间的遮挡问题并且不能有效地鉴别空间位置临近的表象相似的目标的问题。

(二)技术方案

为解决上述技术问题，本发明提出一种多目标跟踪方法，用于对视频中的监控目标进行跟踪，所述视频包括多个视频帧，包括如下步骤：

S1、将所述视频在时间域上划分为至少两个时间段，如果之前未进行过检测结果聚类，则将每个视频帧作为单位时间段，并对每段视频帧进行目标检测，以对各个视频帧中可能是监控目标的区域使用目标检测器进行检测，并将检测结果作为疑似目标区域；否则，将S4得到的单位时间段作为新的单位时间段；

S2、如果之前未进行过检测结果聚类，将步骤S1获得的各疑似目标区域的位置作为顶点；否则，将每个单位时间段内的局部轨迹作为顶点，它们之间的关系作为边，建立局部轨迹的姻亲关系图；

S3、在所述姻亲关系图中搜索得到多个密集近邻类，将属于一个密集近邻类的局部轨迹作为属于同一个目标的局部轨迹；

S4、将所述属于同一个时间段的单位时间段聚合为若干个新的单位时间段，根据聚类结果，对同一新的单位时间段中的属于同一密集近邻类的局部轨迹合并形成合并轨迹；

S5、判断上述的单个时间段是否已跨越整个跟踪的时间域，若是，则将当前获得的合并轨迹作为监控目标的跟踪轨迹，否则，则返回步骤S2。

一种优选实施方式是，在所述步骤S3中，对于每个时间段里面的局部轨迹段，以其为顶点，建模多个顶点之间的关系，从而建立起检测框之间的姻亲关系图，进而在这个姻亲关系图中搜索得到多个密集的近邻类，而属于这个密集近邻的点则是属于同一个目标的局部轨迹段，将属于同一密集近邻的局部轨迹段合并形成更长的更有局部轨迹段。

一种优选实施方式是，在所述步骤S4中，使用由粗到精的层次方式，不断的将较短的目标轨迹产生形成较长的轨迹。

一种优选实施方式是，在所述步骤S5中，若在这一层中，仅仅只有一个时间域了，并且其跨越了整个时间段，进而在这个最终的时间域划分中进行同样的建立姻亲关系图并进行密集近邻搜索获得最终的最优目标轨迹结果，则跟踪完成。

(三)有益效果

本发明使用由粗到精的层次方式，不断的将较短的目标轨迹产生形成较长的轨迹，不仅仅可靠度高而且计算量大大减小。

本发明采用跨时域多点之间的关系建立一个目标姻亲关系超图，这样包含于局部轨迹中的物理限制信息和运动信息都能被充分的利用。

附图说明

图1是本发明的多目标跟踪方法的流程图；

图2是本发明中的姻亲关系图和密集近邻类的示意图；

图3是本发明中逐层合并时间段得到合并轨迹的示意图。

具体实施方式

本发明主要提出一种基于层次关系超图优化的多目标跟踪方法。通过考虑跨时间域的多个检测结果之间的关系这一信息，能够在事先不知道目标数目的条件下，通过数据关联的方法将一个全局时间域的检测结果关联起形成目标轨迹，从而完成多目标跟踪的任务。

本发明提出将多目标跟踪的任务视为在姻亲关系(Affinity)图或超图上用密集近邻(Dense Neighborhoods)搜索方法进行聚类的问题。超图(Hypergraph)是传统图(Pairwise graph)的推广形式，即是图中边由多个顶点组成，而不是仅仅两个点组成的图。以下我们将传统的图和超图统一称为“图”。姻亲关系图描述了不同帧(时间域)中的疑似目标区域(目标局部轨迹)属于同一个监控目标的概率，同一监控目标在不同帧(时间域)的疑似目标区域在此姻亲关系图中聚集在一个密集近邻区域。

与现有的方法不同的是，本发明考虑了监控视频的整个时间域上的疑似目标区域之间的关联。由于监控目标的表象和运动模式往往变化很迅速，从而使得同时处理全部疑似目标区域变得非常困难。因此，本发明采用“局部到全局”的策略对疑似目标区域进行层次聚类。

总的来说，首先，本发明将监控视频在时间域上分割成若干个时间段，在每个时间段里对疑似目标区域(目标局部轨迹)的姻亲关系图进行密集近邻(Dense Neighborhoods)搜索从而构建多个局部轨迹；然后将相邻的若干时间段合并形成新的时间段划分作为新的一层；以上两步迭代进行直到在一层中只有唯一的部分(即整个完整的视频跨度)为止，根据最后一次的密集近邻搜索得到的聚类结果可以得到最终的目标轨迹。

以下通过具体实施例详细描述本发明，实施例不作为对本发明的保护范围的限制。

图1是本发明的多目标跟踪方法的流程图。所图1所示，本发明的多目标跟踪方法包括如下步骤：

S1、将所述视频在时间域上划分为至少两个时间段，如果之前未进行过目标检测结果聚类，则将每个视频帧作为单位时间段，并对每段视频帧进行目标检测，以对各个视频帧中可能是监控目标的区域使用目标检测器进行检测，作为疑似目标区域；否则，将S4得到的单位时间段作为新的单位时间段。

在对视频进行目标检测时，我们使用了现有的行人检测器提供的检测结果。任何行人检测器均可以在这里使用。

S2、如果之前未进行过检测结果聚类，将步骤S1获得的各疑似目标区域的位置(被视为退.化的局部轨迹)作为顶点；否则，将每个单位时间段内的局部轨迹作为顶点，它们之间的关系作为边，建立局部轨迹的姻亲关系图。

姻亲关系图是指一个时间段内的局部轨迹两两之间的姻亲关系的集合。姻亲关系图中姻亲关系值的计算在本发明中起到了至关重要的作用，体现了局部轨迹属于同一个监控目标的概率。姻亲关系图是一个全图，它的顶点代表一个时间段内的局部轨迹(或者为目标检测结果)，边的权重代表姻亲关系值即是两者为同一目标的相似度值。

对于任意的一个时间段，我们构建一个姻亲关系图G=(V，E)：G为用来描述不同局部轨迹之间的关系的全图。V={v₁，...，v_n}是图的节点集合。E是图的边／超边集合，即

m是边／超边中的顶点的数目。我们用粗体符号v^m={v₁，...，v_m}来表示每个边／超边中包括的m元组的顶点。图G的姻亲关系(Affinity)数组

为一个超对称数组A(v^m)：其中每个数据项反应了在v^m中的局部轨迹属于同一个目标的概率。如果A(v^m)=0；否则A(v^m)≥0。

图2是本发明中的姻亲关系图和密集近邻类的示意图。如图2所示为在单位时间段t₁，t₂，t₃，t₄上构建姻亲关系图的过程。

每条边／超边的姻亲关系值A(v^m)由三部分组成：表象、运动以及轨迹光滑度。表象因素体现了在v^m中局部轨迹之间的表象相似度；运动因素体现了在v^m中局部轨迹的运动模式的一致性；轨迹光滑因素体现了由v^m中的局部轨迹相连接而成的全局轨迹的物理光滑度。因此，本发明的姻亲关系值的定义如下：

A(v^m)=ω₁A_a(v^m)+ω₂A_m(v^m)+ω₃A_s(v^m)

A_a(.)、A_m(.)和A_s(.)分别代表表象、运动以及光滑度的置信度。ω₁，ω₂和ω₃分别是这三个因素的平衡系数。显然，如果局部轨迹v_i和v_j的出现时间域在v^m之间互相重叠，那么这两个局部轨迹将不属于同一个目标，我们就设置A(v^m)=0。因此，在计算表象、运动以及光滑度因素时，只需要考虑在中v^m两个局部轨迹的出现时间不重叠的情况即可。

表象模型

物体的表象是区别出它和背景以及其他物体的重要因素。本发明通过以下方式计算表象置信度：

$A_a\left(v^m\right)\underset{v_i,v_j\∈v^m}{\mathrm{\Σ}}{S}_a(f\left(v_i\right),f\left(v_j\right))$

f(v_i)和f(v_j)分别表示局部轨迹v_i和v_j的特征。本发明使用局部轨迹的头部和尾部的帧来表示表象，即f(v_i)=(f_h(v_i)，f_t(v_i))，f_h(v_i)和f_t(v_i)分别代表头部和尾部的特征。如果v_i出现在v_j前，那么S_a(f(v_i)，f(v_j))=S_a(f_t(v_i)，f_h(v_j))；否则，S_a(f(v_i)，f(v_j))=S_a(f_h(v_i)，f_t(v_j))。

本发明采用两种特征来描述局部轨迹的表象，即颜色直方图特征和梯度直方图特征。为了不失去一般性，故假设局部轨迹v_i出现在局部轨迹v_j之前，两个局部轨迹的相似度S_a(f(v_i)，f(v_j))通过如下方式计算：

$S_a(f\left(v_i\right),f\left(v_j\right))=\underset{k=\mathrm{1,2}}{\mathrm{\Σ}}{\mathrm{\λ}}_k{\mathrm{\χ}}^2({f_t}^{\left(k\right)}\left(v_i\right),{f_h}^{\left(k\right)}\left(v_j\right))$

和

分别表示局部轨迹的尾(头)部帧的颜色直方图和梯度直方图特征，χ²(.，.)表示卡方距离，λ₁和λ₂预先设定的平衡参数。

运动模型

跟踪的一个重要特性是目标相对帧率比较缓慢的移动，形成一个假设：在短时间内物体的运动速度是恒定的。这一假设在限制目标的运动轨迹方面已经足够有效。运动因素体现了在v^m中的局部轨迹运动的一致性，定义如下：

$A_m\left(v^m\right)=\underset{v_i,v_j\∈v^m}{\mathrm{\Σ}}{S}_m(v_i,v_j)$

S_m(v_i，v_j)表示局部轨迹v_i和v_j的运动模式的相似度。特别地，在第一层的每条局部轨迹里只有一个检测结果相应，因此这一层的每条局部轨迹不包括运动信息。所以本发明设定A(v^m)=0，即在第一层运动因素没有贡献。

本发明假设局部轨迹v_i出现在v_j之前。使得

表示按照时间升序局部轨迹v_i的检测结果集合：

表示局部轨迹的第j个检测结果，

表示在局部轨迹中的检测结果数目。本发明定义了一个线性运动方程用来产生检测结果的外延：

l(.)表示检测结果的位置，Δt表示时间间隔，表示在该时间域里的恒定速度。使得表示检测结果

和

的时间间隔。由于相邻帧之间的强关联性和相隔较远的帧之间的弱关联性，本发明只使用局部轨迹的尾部和头部的τ帧来计算不同局部轨迹的运动模式的相似度。为了减少噪音的影响，本发明使用局部轨迹v_i的向后预测和v_j的向前预测来度量两个局部轨迹运动的一致性。使得 $l_{p,q}^{v_i}\left(d_{\left|T_{v_i}\right|}^{v_i}\right)=P(l\left(d_{\left|T_{v_i}\right|}^{v_i}\right),t(d_{\left|T_{v_i}\right|}^{v_i}-d_1^{v_j}),\frac{l\left(d_p^{v_i}\right)-l\left(d_q^{v_j}\right)}{t(d_p^{v_i}-d_q^{v_j})})$ 表示以检测结果

为起点，以检测结果

和之间的平均速度为速度的运动的预测位置。两个局部轨迹v_i和v_j之间的相似度通过以下方法计算：

$S_m(v_i,v_j)=\underset{p=2}{\overset{\mathrm{\τ}}{\mathrm{\Σ}}}\underset{q=1}{\overset{p-1}{\mathrm{\Σ}}}\exp ({\left|\right|l_{p,q}^{v_i}\left(d_{\left|T_{v_i}\right|}^{v_i}\right)-l_{p,q}^{v_j}\left(d_1^{v_j}\right)\left|\right|}^2/{\mathrm{\σ}}_m^2)+\underset{p=\left|T_{v_i}\right|-\mathrm{\τ}}{\overset{\left|T_{v_i}\right|-1}{\mathrm{\Σ}}}\underset{q=p+1}{\overset{\left|T_{v_i}\right|}{\mathrm{\Σ}}}\exp ({\left|\right|l\left(d_1^{v_j}\right)-l_{p,q}^{v_i}\left(d_{\left|T_{v_i}\right|}^{v_i}\right)\left|\right|}^2/{\mathrm{\σ}}_m^2)$

轨迹光滑度

在空间-时间域里，目标的轨迹应该是连续而且光滑的，这就为我们度量v^m中属于同一个目标的局部轨迹的置信度提供了有效的信息。首先，本发明根据超边v^m中的局部轨迹出现的时间顺序将它们拼接成轨迹使得

表示轨迹

上的检测结果(按照时间顺序排列)，

表示在轨迹上检测结果的数目。然后本发明在轨迹

上等距离(Δ)地对检测结果进行采样来得到“待拟合检测结果集合”：

“剩余检测结果集合”被定义为：

本发明使用

中的检测结果进行三次样条插值形成拼接成的局部轨迹的拟合轨迹

本发明通过计算

中的检测结果和

中相同时间的位置的偏移来得到超边v^m的光滑置信度：

$A_s\left(v^m\right)=\exp \left(\underset{d_i\∈D_{v^m}^r}{\mathrm{\Σ}}{\left|\right|l\left(d_i\right)-l\left({\hat{T}}_{v^m}\left(t\left(d_i\right)\right)\right)\left|\right|}^2{\mathrm{\σ}}_s^2\right)$

l(·)是检测结果响应的位置，t(·)是检测结果响应的出现时间，表示拟合轨迹在时间t(d_i)的检测结果响应。

目标姻亲关系图建立过程中的边／超边的姻亲关系值(Affinity Values)计算，其包含了目标的表象信息，运动信息，以及轨迹平滑性的物理限制信息，并在统一的优化框架下优化考虑，对最优目标轨迹的获取保证了鲁棒性。

S3、在所述姻亲关系图中搜索(聚类)得到多个密集近邻类，将属于一个密集近邻类的局部轨迹作为属于同一个目标的局部轨迹。

与局部轨迹对应的每个节点均被设置为一个起始点，然后搜索其周围的密集近邻(Dense Neighborhoods)。如果局部轨迹在姻亲关系图／超图中的一个高姻亲关系密度(High Density ofthe Affinity Values)区域，那么它的密集近邻将会被找到。同时，如果局部轨迹属于一个低姻亲关系密度(LowDensity ofthe Affinity Values)区域，就意味着它与其他的局部轨迹的关系比较弱，该起始点也会移动到其邻近的高密度区域内并且该局部轨迹也将被视为虚警而抛弃。对于一个开始点v_o，本发明意在找出其密集近邻N(v_o)，即，在姻亲关系图／超图上找出具有最大姻亲关系(Affinity)度量的近邻。

这个优化问题可以被归纳为：

$\begin{array}{c}{N}^{*}\left(v_o\right)=\arg \underset{N\left(v_o\right)}{\max }C(v_o\∪N\left(v\right)o)\\ s.t.N\left(v_o\right)\⋐V,v_o\∉N\left(v_o\right),\left|N\left(v_o\right)\right|=k.\end{array}---\left(1\right)$

C(v_o∪N(v_o))是每类姻亲关系值的度量公式，其用来体现姻亲关系值在关系图上的分布。令U={v_o}∪N(v_o)表示包括顶点v_o以及它的k个近邻顶点的集合。子集

包括k+1个顶点，即|N(v_o)|=k并且v_o∈U。同时令y∈Rⁿ表示子集U的指标向量，即如果v_i∈U，则y_i=1；否则y_i=0。进而，公式(1)的目标就转换为∑_iy_i=k+1，y_i∈{0，1}并且

前两个约束意味着解y表明k+1个局部轨迹属于同一个目标，最后一个约束意味着这个解必须表明有局部轨迹v_o。

令与顶点的集合U对应的边的集合为E_U。如果在U中的局部轨迹属于同一个目标，大部分在E_U中的边应该有比较大的权值。自然地，边集合E_U的总姻亲关系值可以通过这样计算得到：在我们的应用中，所有的姻亲关系值都是非负的，即A(v^m)≥0。显然，

通常会随着在子集U中的顶点的数目增多而增大。因此，使用平均姻亲关系值去描述类的置信度显然比用总姻亲关系值描述更加合理，这样消除了不同密集近邻中顶点数不同的问题。由于∑_iy_i=k+1，因此在

中有(k+1)^m被加数。平均值C(U)被当作体现真正密集近邻(Dense Neighborhoods)的目标：

然后公式(1)的优化问题可以进一步简化为：

这里实质上，这是一个NP-hard的组合论优化问题。为了降低它的复杂度，公式(2)的情况可以被放宽到x_i∈[0，ε]，即x_i≥0，x_i≤ε。

求解

为了求解公式(2)的问题，本发明首先分析了这个优化问题极大值点的特性，然后用两两更新(Pairwise Update)的方法得到最优解。因为公式(2)的优化问题是约束最优化问题，因此加入拉格朗日因子：λ，μ₁，…，μ_n和β₁，…，β_n，得到：

$L=g\left(x\right)-\mathrm{\λ}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i-1)+\underset{i,o_i\≠o}{\mathrm{\Σ}}{u}_i{x}_i+\underset{i,o_i\≠o}{\mathrm{\Σ}}{\mathrm{\β}}_i(\mathrm{\ϵ}-x_i)$

对上述方程求偏导数得到对于任意极大值x^*一阶必要Karush-Kuhn-Tucker(KKT)的优化条件：

$\begin{array}{c}\frac{\∂L}{\∂x_i}=\frac{\∂g\left(x^{*}\right)}{\∂x_i}-\mathrm{\λ}+{\mathrm{\μ}}_i-{\mathrm{\β}}_i=0,o_i\≠o;\\ \underset{i,o_i\≠o}{\mathrm{\Σ}}{u}_i{x}_i=0;\underset{i,o_i\≠o}{\mathrm{\Σ}}{\mathrm{\β}}_i(\mathrm{\ϵ}-x_i)=0.\end{array}---\left(3\right)$

为了体现顶点i的总姻亲关系值，本发明引入了一个“奖励度量”：

$r_i\left(x\right)={\mathrm{\Σ}}_{v_1,...,v_{m-1}\∈V}A(v_1,...,v_{m-1},i){\mathrm{\Π}}_{s=1}^{m-1}{x}_{v_s}$

因为A(v^m)是超对称的，因此有方程：

进一步，由于x^*，μ_i和β_i的非负性，根据在公式(3)中的KKT条件，r_i(x)的范围可以通过以下几种情况得到：

$r_i\left(x^{*}\right)\left\{\begin{array}{cc}\&le;\mathrm{\&lambda;}/m,& x_i^{*}=0,o_i\&NotEqual;o;\\ =\mathrm{\&lambda;}/m,& 0<x_i^{*}<\mathrm{\&delta;},o_i\&NotEqual;o;\\ \&GreaterEqual;\mathrm{\&lambda;}/m,& x_i^{*}=\mathrm{\&delta;},o_i\&NotEqual;o.\end{array}\right.$

然后，使用两两更新(Pairwise Update)的方法根据“奖励度量”去迭代地调整指标向量中的元素，从而得到目标函数的最大值。

继续参考图2，在进行密集近邻搜索时，尽管分别属于不同监控目标的节点1和节点3很相似，但是由于本发明的密集近邻搜索是在跨时间域的姻亲关系图上进行的，因此节点1和节点3可以被正确地聚类到不同的监控目标下。

S4、将所述属于同一个时间段的单位时间段聚合为若干个新的单位时间段，根据聚类结果，对同一新的单位时间段中的属于同一密集近邻类的局部轨迹合并形成合并轨迹。

如上所述，本发明将姻亲关系图中的每个节点都设定为起始点去得到最优化聚类：

和每类相应的平均姻亲关系值。这些平均姻亲关系值体现了每个近邻是属于同一目标的可靠性。本发明通过排序Ψ得到经过处理的集合

其是根据每类的平均姻亲关系值由大到小排序。以Ψ^*表示后处理后的最优类。最初设定

然后陆续地向里面增加

的类。对于第i个元素

需要检查

与Ψ^*中不同类的交集。如果

和Ψ^*中的类不存在交集，那么就直接将

加入到Ψ^*中，即，

否则，本发明使用经过设计的“保守策略”或者“激进策略”来向Ψ^*中添加

假设

和Ψ^*中的类有交集。在优化过程中的前几层，优化得到的轨迹都相对较短，因此其所包含的轨迹属于某个目标的证据非常有限。因此，为了避免目标的标记错误，应采用保守策略将交集部分去掉然后将剩余部分加入Ψ^*中，即

并且

另一方面，在优化过程中最后几层得到的优化轨迹包含有足够的证据去决定该轨迹的目标归属。因此为了减少轨迹断裂问题，应采取激进的策略直接向

中加入

即

这样，就可以得到经过最优化处理的密集近邻(DenseNeighborhoods)集合Ψ^*。根据密集近邻集合Ψ^*，在这一部分的最优轨迹可以通过合并同一个类中的对应轨迹得到。

S5、判断上述单个时间段是否已跨越整个跟踪的时间域，若是，则将当前获得的合并轨迹作为监控目标的跟踪轨迹，否则，则返回步骤S2。

如上所述，本发明在每个时间段上同样建立相应的姻亲关系图。此姻亲关系图的边的权重集成了目标的表象信息，运动信息，以及轨迹的物理限制等信息。同时在姻亲关系图中，我们进行相应的多个密集近邻类搜索，并采用相应的“保守后处理方式”或者“激进后处理方式”来获得新的更长的局部轨迹。本发明使用提出的“保守后处理方式”和“激进后处理方式”两种不同方式在不同层次上处理姻亲关系图优化结果，得到目标最优的局部轨迹，这样在优化过程中，大量的减少了目标的标记错误以及轨迹的断裂间题，保证了多目标的跟踪效果。

本发明考虑跨时空域的疑似目标区域之间的关系，而不是简单的限制疑似目标区域的时域范围，这样对于长时间的遮挡与相似表象目标挑战，特别是在密集场景中，能够获得鲁棒的跟踪效果。

由于在场景中，目标的表象、运动模式变化剧烈，因此若直接对整个视频中的疑似目标区域建立姻亲关系图，并搜索相应的密集近邻，这样计算复杂度过高并且容易造成密集近邻搜索错误。本发明考虑使用由粗到精的层次方式，不断的将较短的目标轨迹产生形成较长的轨迹，这种方式不仅仅可靠度高而且计算量大大减小。

本发明考虑的不是传统的两点之间的关系，而是多点之间的关系，即是建立的是一个目标姻亲关系超图。这样包含于局部轨迹中的物理限制信息和运动信息都能被充分的利用。

本发明考虑通过搜索图中的密集近邻类来获得多个目标的最优轨迹结果，优化过程中使用每类平均姻亲关系值来度量密集近邻的优劣，从而自动的获得了姻亲关系图中的结构分布信息，得到其中密集近邻类的个数以及其中每类中的顶点个数。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种多目标跟踪方法，用于对视频中的监控目标进行跟踪，所述视频包括多个视频帧，其特征在于，包括如下步骤：

S1、将所述视频在时间域上划分为至少两个时间段，如果之前未进行过检测结果聚类，则将每个视频帧作为单位时间段，并对每段视频帧进行目标检测，以对各个视频帧中可能是监控目标的区域使用目标检测器进行检测，并将检测结果作为疑似目标区域；否则，将S4得到的单位时间段作为新的单位时间段；

S2、如果之前未进行过检测结果聚类，将步骤S1获得的各疑似目标区域的位置作为顶点；否则，将每个单位时间段内的局部轨迹作为顶点，它们之间的关系作为边，建立局部轨迹的姻亲关系图；

S3、在所述姻亲关系图中搜索得到多个密集近邻类，将属于一个密集近邻类的局部轨迹作为属于同一个目标的局部轨迹；

S4、将所述属于同一个时间段的单位时间段聚合为若干个新的单位时间段，根据聚类结果，对同一新的单位时间段中的属于同一密集近邻类的局部轨迹合并形成合并轨迹；

S5、判断上述的单个时间段是否已跨越整个跟踪的时间域，若是，则将当前获得的合并轨迹作为监控目标的跟踪轨迹，否则，则返回步骤S2。

2.如权利要求1所述的多目标跟踪方法，其特征在于，在所述步骤S3中，对于每个时间段里面的局部轨迹段，以其为顶点，建模多个顶点之间的关系，从而建立起检测框之间的姻亲关系图，进而在这个姻亲关系图中搜索得到多个密集的近邻类，而属于这个密集近邻的点则是属于同一个目标的局部轨迹段，将属于同一密集近邻的局部轨迹段合并形成更长的更有局部轨迹段。

3.如权利要求1所述的多目标跟踪方法，其特征在于，在所述步骤S4中，使用由粗到精的层次方式，不断的将较短的目标轨迹产生形成较长的轨迹。

4.如权利要求1所述的多目标跟踪方法，其特征在于，在所述步骤S5中，若在这一层中，仅仅只有一个时间域了，并且其跨越了整个时间段，进而在这个最终的时间域划分中进行同样的建立姻亲关系图并进行密集近邻搜索获得最终的最优目标轨迹结果，则跟踪完成。

Images