CN103914685B - 一种基于广义最小团图和禁忌搜索的多目标跟踪方法 - Google Patents

Abstract

本申请公开了一种基于广义最小团图和禁忌搜索的多目标跟踪方法，包括以下步骤：步骤1、在一段视频的各帧图像中进行目标检测，当在一帧或多帧图像中检测到一个或多个目标时，记录并输出被检测到的各个目标在相应帧图像中的位置、相应帧图像在视频中的时间位置及各个目标在相应帧图像中的大小；步骤2、根据每帧图像中的各个目标的像素值及所述各个目标在相应帧图像中的位置以及大小，计算每帧图像中的各个目标的外观特征及运动特征；步骤3、根据所计算的每帧图像中的各个目标的外观特征及运动特征，在已记录的各个目标在相应帧图像中的位置中提取出属于同一目标的多个位置，并根据相应帧图像在视频中的时间位置，将其连接成为同一目标的轨迹。

Description

一种基于广义最小团图和禁忌搜索的多目标跟踪方法

技术领域

本发明属于模式识别和智能视频监控领域，涉及多目标的特征提取与匹配、运动状态估计和跟踪。本发明提出了一种基于广义最小团和禁忌搜索方法的多目标跟踪方法，可以同时对监控视频中的多个行人进行跟踪。

背景技术

由于智能视频监控系统中检测的事件大部分与个人的动作或多人的互动关系有关，在个人动作识别时要解决所提特征的对象归属问题，在分析多人之间的互动关系时必须首先获得各个对象的运动轨迹，这都需要对已检测到的行人进行有效地跟踪。

对于单目标跟踪，根据人体表示方法的不同，现有的人体跟踪方法可以分为特征点跟踪方法、轮廓跟踪方法和核跟踪方法。特征点跟踪方法首先在目标区域内检测特征点，并在特征点周围提取可以有效描述目标的描述子，当输入下一帧图像时，在图像中提取相同的特征点，并对特征点进行描述，通过描述子对两帧内的特征点进行匹配，匹配上的点的坐标即为目标在两帧图像中的位置；活动轮廓跟踪方法首先需要提取目标的轮廓，目标轮廓随时间可能发生变化，需要采用一定的方法不断更新目标轮廓。在跟踪过程中，一方面目标轮廓可以作为跟踪的依据，另一方面还可以在轮廓内部提取图像特征用于跟踪；核跟踪方法不需要提取目标轮廓，只是在目标的边界框(Bounding Box)内提取目标的外观特征，例如颜色直方图、纹理直方图等，通过特征之间的核计算达到快速匹配的目的，进而对各个目标进行跟踪，核跟踪方法还可以利用多核同时考虑多种外观特征，达到更好的鲁棒性。

对于多目标跟踪问题，需要解决各个目标之间的相互关系问题，这一问题被称为数据关联(Data Association)问题，即找到多个观察值与多个目标状态之间的对应关系。多目标跟踪方法可以由比较成熟的单目标跟踪方法直接扩展而来，该类方法初始化多个单目标跟踪子(Tracker)对各个目标进行跟踪，每检测到一个新的目标就初始化一个新的跟踪子。还有一类多目标跟踪方法是将问题抽象为图论中的特定问题，如最大权值图等，该类方法首先需要进行目标检测，目标检测结果一般作为图中的点，各个目标之间运用一定的策略建立边，边的权值一般为目标间的相似度。相对于由单目标跟踪扩展而来的多目标跟踪方法，该类方法综合考虑全局信息，而且运用较为成熟的图论方法，具有完备的理论基础，实验结果也表明其达到了更好的多目标跟踪性能。

发明内容

本发明利用广义最小团和禁忌搜索方法对多目标进行跟踪即属于多目标跟踪方法。另外，本发明在设计禁忌搜索方法时融合了高效的单目标跟踪方法，使该方法能够快速有效的进行多目标跟踪。

在本发明中，多目标跟踪问题被抽象为广义最小团问题(Generalized MinimumClique Problem，GMCP)，并运用禁忌搜索方法进行求解。首先，在视频帧中利用行人检测方法检测各个目标；其次，将视频分割成若干视频片段(segment)，在各个视频片段内行人的运动状态和外观特征保持不变；再次，将一个视频片段内被检测到的各个目标抽象成图中的顶点，并在顶点间建立有权边；然后，利用禁忌搜索方法解广义最小团问题，进而得到视频片段内的多个目标的轨迹片段(tracklet)；最后，将各个视频片段内的轨迹片段进行连接，得到各个目标的完整轨迹(trajectory)。

广义最小团问题可以很好地模拟实际的跟踪问题，其可以将目标间的差异和目标的运动状态抽象成顶点之间的有权边，在解广义最小团问题时可以综合考虑目标的外观和运动状态，值得注意的是利用广义最小团可以在更为全局的尺度上度量跟踪结果的正确性，且可以较为方便的处理行人检测方法的漏检虚检错误，这是其他基于帧间特征的跟踪方法无法比拟的。

广义最小团问题是一个NP困难问题，无法给出具体的解析解，在现有技术中一般运用禁忌搜索(Tabu Search)方法求解广义最小团问题，根据实际问题对禁忌搜索方法进行有效设计直接影响方法的性能。禁忌搜索方法是一种亚启发式(Meta-heuristic)随机搜索方法，它从一个初始可行解出发，选择一系列的特定搜索方向进行试探，选择能够使特定目标函数值变化最大的方向进行移动。为了避免陷入局部最优解，禁忌搜索方法搜索中采用了一种灵活的“记忆”技术，对已经完成的优化过程进行记录和选择，指导下一步的搜索方向，由此来避免迂回搜索，直至找到全局最优解。

本申请的发明人考虑到现有技术的上述情况而作出了本发明。

根据本发明的实施例，提供了一种基于广义最小团和禁忌搜索方法的多目标跟踪方法，包括以下步骤：步骤1、在一段视频的各帧图像中进行目标检测，当在一帧或多帧图像中检测到一个或多个目标时，记录并输出被检测到的各个目标在相应帧图像中的位置、相应帧图像在视频中的时间位置、以及各个目标在相应帧图像中的大小；步骤2、根据每帧图像中的各个目标的像素值、以及所述各个目标在相应帧图像中的位置以及大小，计算每帧图像中的各个目标的外观特征、以及运动特征；步骤3、根据所计算的每帧图像中的各个目标的外观特征、以及运动特征，在已记录的各个目标在相应帧图像中的位置中提取出属于同一目标的多个位置，并根据相应帧图像在视频中的时间位置，将其连接成为同一目标的轨迹。

本发明在设计禁忌搜索算法时融合了高效的单目标跟踪算法，使该算法能够快速有效的进行多目标跟踪，可以同时对监控视频中的多个行人进行跟踪，具有处理速度快、跟踪效果好的特点。

附图说明

图1是示出根据本发明的实施例的多目标跟踪方法的流程示意图。

具体实施方式

下面，结合附图对技术方案的实施作进一步的详细描述。

图1是示出根据本发明的实施例的多目标跟踪方法的流程示意图。

如图1所示，根据本发明的实施例的跟踪方法主要包括以下步骤：首先，在一段视频的各帧图像中进行行人(目标)检测，检测出一个或多个目标；其次，将该视频分割成若干片段(可选步骤)，并计算检测出的各个目标的外观特征；然后，在这些片段中运用GMCP寻找行人的轨迹片段；最后，将各个视频片段中的所有轨迹片段合成为完整的轨迹。

下面对本发明中各个步骤的具体实施方式进行详细说明。本领域的技术人员能够理解，下面尽管以行人作为目标的示例，但其仅用来说明本发明的原理，而不构成对本发明的限制。显然，本发明还可被应用于除了行人检测之外的其它目标检测。

一、行人检测

在本发明中可以利用任意一种现有及将来可能有的行人检测方法(例如DPM，Deformable Partial Model，可参见Felzenszwalb P,McAllester D,Ramanan D.Adiscriminatively trained,multiscale,deformable part model[C]//Computer Visionand Pattern Recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8，为了避免使本发明的描述限于冗繁，将该参考文献通过引用的方式合并于此)在视频中对行人进行定位，行人检测方法的输出应包括被检测到的行人的边界框(例如，外接矩形)在视频中的时间位置(帧号)、在(行人出现)视频帧中的空间位置、以及高度和宽度(边界框在视频帧中的高度、宽度)。另外，上述边界框也可以是外接椭圆等，边界框也可以扩大涵盖范围(例如，扩展到行人之外的一定像素范围)。

二、视频分割(可选步骤)

对上述视频进行在时间上有重叠的分割。具体来说，将视频分割成包含f帧的视频片段，相邻视频片段之间有l帧重叠。在这些视频片段中的每个片段内，假设行人的运动状态和外观保持不变，在这样的假设前提下进行数据关联问题的求解，其解即为各个行人的轨迹片段。其中f和l可根据具体问题进行调整。

三、计算目标的外观特征

根据行人检测结果中边界框的信息，在每一帧图像中提取目标图像，例如，根据边界框的空间位置和高度宽度信息，可以在一帧图像中提取相应位置的图像作为目标图像。之后，在目标图像中计算两种特征，用于对目标的外观进行描述，所述两种特征为：1)颜色直方图，用于描述对象的颜色特性，2)LBP直方图，用于描述对象的纹理特性。具体方法如下：

1、颜色直方图

将目标图像由RGB颜色空间转化至HSV颜色空间。其中，H通道描述颜色的色相，S通道描述颜色的饱和度，V通道描述颜色的亮度。将三个通道分别划分成n_H、n_S和n_V个区间，则整个颜色空间被划分成n＝n_H×n_S×n_V个区间，统计目标图像中像素点落在各个区间的个数，计算出HSV颜色直方图。

2、LBP直方图

在目标的灰度图像上对各个像素点计算LBP特征，计算方法如下：给定一个坐标为d_c的像素点c，LBP特征的计算方法为

其中P为c的邻域内像素点的个数，邻域内像素点到c的距离不超过R；g_c和分别为像素点c和其邻域内像素点n_p的灰度值；另外

在本实施例中P＝8，R＝1。此时LBP特征一共有2⁸＝256种模式，在目标图像中统计各个模式的像素点个数，构成LBP特征直方图。

四、在视频片段内进行多目标跟踪

1、将多目标跟踪问题抽象为GMCP问题

多目标跟踪问题的实质是数据关联问题，其输入为一个图G＝(V,E,ω)，其中V、E和ω分别代表图中的顶点集、边集和各条边上的权重值。行人检测方法检测到的每一个目标都被抽象为顶点集V中的一个顶点，令表示一个视频片段内的帧序号，表示视频片段中第i帧中的第m个目标，定义V就被按帧分割成f个不相交的子集C₁～C_f。图G中的边集E定义为其数学意义为只要两个顶点不在同一个子集(不在同一帧)中，两者之间就存在一条边；其物理意义为一个目标在一个时刻内只可能出现在唯一的位置，因此在同一子集之内的顶点之间是没有边的，而在不同时刻，需要根据顶点间的特征相似度判断各个顶点是否代表同一目标，顶点之间的边即为两者的关系。一个顶点由以下特征进行描述：位置向量代表行人(第i帧中的目标m)在一帧图像中的位置坐标；外观特征和分别代表行人的颜色直方图和LBP直方图。边上的权重值ω代表两个行人的相似度，定义为

式中k(,)表示求解直方图相似度的函数。

为了确定某一人在视频片段中的轨迹片段，需要在各帧中定位该人被检测到的位置，这个问题的一个可行解可以被定义为从每一个顶点子集C_i中选取一个检测结果构成图G的一个子图G_s。具体来说对于G_s＝(V_s,E_s,ω_s)，其中顶点集由第1帧图像中的第a个检测结果第2帧图像中的第b个检测结果……等等这些顶点构成，根据上面的定义E_s＝{E(p,q)|p∈V_s,q∈V_s}，ω_s＝{ω(p,q)|p∈V_s,q∈V_s}，可以看到一个可行解G_s代表了一个人在一个视频片段中可能具有的轨迹片段。

对于一个可行解G_s，其外观代价(appearance cost)定义为：

其为一个全局代价函数，比较了可行解中所有检测结果之间的外观差异，而忽略了它们在时间上的差距。

在进行数据关联时，除了外观特征，运动属性也是很重要的信息。运动代价(motion cost)的定义为：

其中X_s为被跟踪目标的位置向量，为被跟踪目标在时刻i时的瞬时速度，其计算方法为

可以将中括号内的数值理解为目标从j时刻运动到i时刻时的预测位置，在理想情况下，目标做匀速直线运动，各个时刻的速度均相等，则其运动代价γ_motion(V_s)即为0。

在以往的跟踪方法中也存在运动代价估计，一般情况下都是将相邻帧之间的运动误差之和作为运动代价，是一种局部性的代价，而这里的运动代价估计却是全局性的，因为其对目标的运动估计不只包含相邻帧，而且包含了多帧之间的估计，甚至包含了反向估计。

对于一个对象，如果能够找到一个可行解的V_s使得外观代价γ_appearance和运动代价γ_motion的综合结果达到最小，那么这个可行解的V_s即为该行人在视频片段中的轨迹片段。至此数据关联问题已经被转化为求解广义最小团的最优化问题，用数学公式表示即为

其中为以上最优化问题的解，代表了一个行人轨迹片段的数据关联问题的解，α为一个常数，用于平衡外观代价和运动代价在全局代价函数中的权重。

在对多目标进行跟踪时，每确定一个目标的轨迹片段，就将其对应的顶点和相关联的边从图G中去掉，在新图中继续求解GMCP问题，确定另一个目标的轨迹，直到图G为空结束，进而得到多个目标的轨迹。

2、处理短时遮挡和漏检问题(可选步骤)

为了解决出现短时遮挡和漏检现象时、顶点集中并不包含合适的检测结果的问题，需要在视频片段中的每一帧中都加入一个预测点，当该帧中没有合适的检测结果时，这个预测点将会被加入到可行解中，对于这些预测点需要确定其在空间中的位置和外观特征。下面说明如何确定预测点的位置。

因为假定一个目标在视频片段内是匀速直线运动的，所以当可行解中的点均为同一个目标时，可行解中第i个点的位置X_s(i)可以表示为

X_s(i)＝a₀+a₁·i

其中a₀和a₁为二维向量，可以理解为a₀是目标在该视频片段起始时的初始位置，a₁是目标的运动速度，预测点的位置可以类似地给出，但首先需要确定a₀和a₁的值。对于可行解中属于同一目标的顶点，即选择正确的顶点应该满足以下条件：

式中代表正确选择的顶点集合，δ为容许的误差上限。对于一组合适的参数a₀和a₁，其应能保证可行解中正确选择的点的个数最多，即

其中#代表了集合的元素个数，由于可行解中既包含正确点又包括错误点，而可行解中正确点的个数多于错误点的个数，因此可以运用随机抽样一致方法(Random SampleConsensus，RANSAC)求解和则第i帧中预测点的位置可以通过以下计算得到：

至此预测点的位置就确定了，预测点所代表目标的尺寸为中各个目标的尺寸均值，外观特征为X_H(i)处视频图像的颜色直方图和LBP直方图。

有关GMCP的的概念和细节，可参见Zamir A R,Dehghan A,Shah M.GMCP-Tracker:global multi-object tracking using generalized minimum clique graphs[M]//Computer Vision–ECCV 2012.Springer Berlin Heidelberg,2012:343-356。为了避免使本发明的描述限于冗繁，将该参考文献通过引用的方式合并于此。

3、禁忌搜索方法的具体实现

禁忌搜索方法简单来说就是在当前解的邻域内寻找邻域最优解替换当前解，通过多次迭代跳出局部最优，最终在所有的邻域最优解中选取全局最优解。

下面是代码化表示的该方法的原理说明。

具体地，禁忌搜索方法主要以下三个方面。

(1)初始解的生成

初始解对于禁忌搜索方法的性能有着至关重要的作用，其直接影响方法的迭代次数，并决定方法是否可以有效地找到最优解，所以在方法初始化阶段应该给出一个最接近最优解的初始解。为了达到这一目的，在此引入一种单目标跟踪方法用于产生初始解，这种单目标跟踪方法应满足运算快速、性能优良两个条件，本发明选取压缩跟踪方法(Comprehensive Tracking)作为产生初始解的单目标跟踪方法。

在计算初始解时，我们首先对某一检测结果(目标)进行单目标跟踪，选取与跟踪结果重合度大于某一阈值的检测结果(目标)作为初始解中的点，其中重合度的定义为：

其中V₁和V₂为两个目标，area(V₁∩V₂)为两个目标相交的面积，area(V₁∪V₂)为两个目标相并的面积。具体地，单目标跟踪的结果是在每一帧中产生了一个边界框，每一个边界框都会和检测结果的边界框计算重叠度，由这个重叠度判断选取检测结果还是跟踪结果作为初始解中的点。如果在某一帧中不存在满足条件的检测结果，就以压缩跟踪方法的结果作为初始解中的点，同时计算该点的外观特征，将该点加入到候选点当中。

(2)邻域解和禁忌表的构成

在每一次迭代中，首先根据当前最优解得到第一组预测点(通过上面“2、处理短时遮挡和漏检问题”中的步骤，确定预测点的位置)，其次通过单目标跟踪方法得到第二组预测点。当可行解中的某一点距离第一组预测点过远时，就将该帧中的其他检测结果和两组预测点加入到候选点中，构成邻域解。禁忌表为队列式禁忌表，当禁忌表长度达到极值时弹出最先进入禁忌表的解。

(3)方法结束条件

禁忌搜索方法的结束条件为1)当可行解的代价低于某一阈值时，或2)可行解的代价趋于收敛时，方法结束。

有关上述禁忌搜索方法的实现过程，可参见Glover F,Laguna M.Tabu search[M].Boston:Kluwer academic publishers,1997。为了避免使本发明的描述限于冗繁，将该参考文献通过引用的方式合并于此。

五、融合轨迹片段(可选步骤)

如果一次得到的轨迹片段较短、未能满足实际需要，可能还需要进行轨迹片段融合。在融合轨迹片段时，可以再一次运用GMCP对轨迹片段进行合并，这样做的好处是可以处理长时间的遮挡问题，即某一个对象在一个视频片段中完全没有出现的情况，但这样需要解更多次GMCP优化问题，消耗大量时间。因此本发明利用各个视频片段间的重叠帧进行轨迹片段的合并，若相邻的两个视频片段中的轨迹在重叠帧中的位置重叠，就将两条轨迹合并，节省了大量的运算时间。

本发明所提出的多目标跟踪方法同时考虑了目标的外观和运动特性、目标在较长时间上的全局变化、多个目标之间的特性差异，并将多目标跟踪和单目标跟踪方法进行结合，在保证跟踪效果的同时提升了方法的效率。

综上所述，本领域的技术人员能够理解，对本发明的上述实施例能够做出各种修改、变型、以及替换，其均落入如所附权利要求限定的本发明的保护范围。

Claims (9)

1.一种基于广义最小团图和禁忌搜索的多目标跟踪方法，包括以下步骤：

步骤1、在一段视频的各帧图像中进行目标检测，当在一帧或多帧图像中检测到一个或多个目标时，记录并输出被检测到的各个目标在相应帧图像中的位置、相应帧图像在视频中的时间位置、以及各个目标在相应帧图像中的大小，作为检测结果；

步骤2、根据每帧图像中的各个目标的像素值、以及所述各个目标在相应帧图像中的位置以及大小，计算每帧图像中的各个目标的外观特征、以及运动特征；

步骤3、根据所计算的每帧图像中的各个目标的外观特征、以及运动特征，在已记录的各个目标在相应帧图像中的位置中提取出属于同一目标的多个位置，并根据相应帧图像在视频中的时间位置，将其连接成为同一目标的轨迹，

其中，利用求解广义最小团问题的方法来进行所述步骤3，所述步骤3包括：

步骤31、输入图G＝(V,E,ω)，其中V、E和ω分别代表图中的顶点集、边集和各条边上的权重值，顶点集V中的顶点表示视频片段中第i帧中的第m个目标，1≤i≤f表示一个视频片段内的帧序号，f为视频片段的帧数， 和分别代表目标的颜色直方图和LBP直方图，k_color、k_lbp分别表示求解HSV颜色直方图和LBP直方图相似度的函数；

步骤31-1、对在步骤1中检测到的某一目标进行单目标跟踪，在每帧中，判断在步骤1的检测结果之中、是否存在与单目标跟踪结果的重合度大于预定阈值的检测结果，如果存在，则以步骤1的检测结果作为该目标在顶点集V中对应帧的初始顶点，如果不存在，则以所述单目标跟踪结果作为该目标在顶点集V中对应帧的初始顶点，同时计算所述初始顶点的外观特征，之后，将所述初始顶点加入到求解广义最小团问题的候选点中。

2.如权利要求1所述的多目标跟踪方法，其中，所述步骤1包括：将该视频分割成若干视频片段，

并且，对于每个视频片段，分别进行步骤2和3，最后将各个视频片段中的同一目标的轨迹合成为完整的轨迹。

3.如权利要求1所述的多目标跟踪方法，其中，所述各个目标在相应帧图像中的位置是所述各个目标在相应帧图像中的边界框的位置，所述相应帧图像在视频中的时间位置是相应帧图像在视频中的帧号，所述各个目标在相应帧图像中的大小是所述边界框的宽度和高度，所述每帧图像中的各个目标的像素值是每帧图像中的各个目标所涵盖的各个像素的颜色值。

4.如权利要求1所述的多目标跟踪方法，其中，所述目标的外观特征包括HSV颜色直方图、以及LBP直方图，通过以下步骤来计算每帧图像中的各个目标的HSV颜色直方图：

将每帧图像由RGB颜色空间转化至HSV色彩空间，其中，H通道描述颜色的色相，S通道描述颜色的饱和度，V通道描述颜色的亮度；

将所述H通道、S通道、V通道的取值范围分别划分为成n_H、n_S和n_V个区间，其中n_H、n_S和n_V均为正整数，

将每帧图像中的各个目标所涵盖的各个像素的色相、饱和度、亮度分别量化到所述n_H、n_S和n_V个区间，

计算各个目标所涵盖的像素点落在各个区间的个数，得到HSV颜色直方图。

5.如权利要求4所述的多目标跟踪方法，其中，通过以下公式来计算每帧图像中的各个目标中的每个像素c的LBP特征值：

其中，d_c为像素点c的坐标，P为像素点c的邻域内像素点的个数，邻域内像素点到像素点c的距离不超过R；g_c和分别为像素点c和其邻域内像素点n_p的灰度值，其中

并且，通过在每帧图像中统计每个目标中具有每个LBP特征值的像素点个数，形成所述LBP直方图。

6.如权利要求5所述的多目标跟踪方法，其中，所述运动特征是所述目标的瞬时速度，通过以下公式来计算：

其中，X_s(i+1)为所述目标在第i+1帧的位置向量，X_s(i)为所述目标在第i帧的位置向量，为所述目标在第i帧的瞬时速度。

7.如权利要求1所述的多目标跟踪方法，其中，所述步骤3还包括：

步骤32、将V按帧分割成f个不相交的子集C₁～C_f，其中，

对于一个可行解G_s，计算其外观代价

以及运动代价

其中，G_s＝(V_s,E_s,ω_s)，其中，顶点集中的顶点分别表示第1帧图像中的第a个检测结果、第2帧图像中的第b个检测结果、第3帧图像中的第c个检测结果、直到第f帧图像中的第x个检测结果，

步骤33、通过以下公式，计算出目标轨迹

其中，α为一个常数。

8.如权利要求7所述的多目标跟踪方法，其中，所述步骤3还包括：

步骤34、每计算出一个目标轨迹，就将其对应的顶点和相关联的边从图G中去掉，返回到步骤31，使用更新后的图G继续计算下一个目标轨迹，直到图G为空为止，之后输出多个目标轨迹。

9.如权利要求3所述的多目标跟踪方法，其中，所述边界框是所述目标在帧图像中的外接矩形、或外接椭圆。