CN106373145B - 基于跟踪片段置信度和区分性外观学习的多目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，包括以下步骤：1)基于跟踪片段的置信度进行跟踪片段和检测结果的局部关联和跟踪片段之间的全局关联；2)提出区分性外观模块学习，在跟踪过程中更准确地区分不同物体。与现有技术相比，本发明具有跟踪效果良好、程序运行效率较高等优点。

Description

基于跟踪片段置信度和区分性外观学习的多目标跟踪方法

技术领域

本发明涉及视频处理分析技术领域，尤其是涉及一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法。

背景技术

目标跟踪是视频监控和视频分析中的重要内容，在智能监控、人机交互、机器人导航、医学诊断等方面有着广泛的应用。目标跟踪主要是指在视频的每一幅图像中确定出我们感兴趣的运动目标的位置，并把不同帧中的同一目标对应起来。

现有的目标跟踪算法主要分为批处理方法和在线方法两大类。批处理方法将所有帧的检测结果进行处理，把因为阻挡而间断的轨迹，即跟踪片段(tracklets)联系起来，如A.Andriyenko等人在2014年IEEE TPAMI第35期上发表的“Continuous EnergyMinimizationfor Multi-Target Tracking”(连续能量最小化的多目标跟踪)。在得到每一帧的检测结果后，将检测结果相连接得到短的跟踪片段，再将跟踪片段进行全局上的联系得到长的跟踪片段。因此，该方法的关键是全局关联度(global association)。然而，批处理方法在存在长时间阻挡的时候，因为难以区分不同目标而表现出不足。同时，这些方法需要事先对图像序列进行检测，而且计算量巨大，因此很难应用于实时的应用。

此外，还有一些在线的方法，如M.D.Breitenstein在2011年IEEE TPAMI上发表的“Online multiperson tracking-by-detection from a single,uncalibrated camera”(利用单个未校准的摄像机进行在线多人跟踪)，F.Poiesi等人在2013年CVIU上发表的“Multi-target trackingon confidence maps:An application to people tracking”(置信度映射的多目标跟踪：一项人物跟踪的应用)，根据帧与帧间的联系，利用累积到当前帧的信息来建立目标轨迹，因此可以用来实现实时应用。然而，因为该方法更难处理因为被遮挡而检测得不准确或未检测到的物体，在线方法往往产生的是间断的跟踪片段，在目标收到遮挡时会把目标跟丢。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种健壮且快速的基于跟踪片段置信度和区分性外观学习的多目标跟踪方法。

本发明的目的可以通过以下技术方案来实现：

一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，包括以下步骤：

1)基于跟踪片段的置信度进行跟踪片段和检测结果的局部关联和跟踪片段之间的全局关联；

2)提出区分性外观模块学习，在跟踪过程中更准确地区分不同物体。

2.根据权利要求1所述的一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，其特征在于，所述的步骤1)具体为：

首先在线读入图像及其检测信息，然后计算检测结果与已得到的跟踪片段的相似度，进行跟踪片段与检测结果的局部关联计算，接着计算所有跟踪片段之间的相似度，进行跟踪片段之间的全局关联计算。

所述的跟踪片段的置信度conf（Tⁱ)定义如下：

L是Tⁱ的基数，即为跟踪片段的长度，w是目标i因为被其他目标遮挡或不可靠的检测结果而缺失的帧数，

上式中的是跟踪片段与其相关联的检测结果的相似度的平均值，较高的相似度能使置信度增加；

使用L和w来计算，当跟踪片段较短或被遮挡时该项减少；β是跟检测质量有关的控制参数，当检测结果较准确时，β应设置为较大的数值。

根据所述的跟踪片段的置信度定义，对在线多目标跟踪问题的的阐述如下：

其中，表示具有高置信度和低置信度的跟踪片段的集合；

在线多目标跟踪问题的求解分为两个阶段：具有高置信度的跟踪片段在局部与在线输入的检测结果相联系，同时具有低置信度的跟踪片段在全局与其他跟踪片段相联系；由于跟踪片段的取值范围是[0,1]，当置信度大于0.5时认为跟踪片段是具有高置信度的，否则认为是具有低置信度的间断的跟踪片段。

所述的跟踪片段与检测结果的局部关联计算如下：

在检测结果与跟踪片段关联时进行成对的关联度计算，当第t帧含有h个跟踪片段和n个检测结果时，分数矩阵S_h×n定义如下：

然后，采用匈牙利算法来决定最优的跟踪片段和检测结果的组合，使得上述矩阵的总相似度最大；当一对跟踪片段和检测结果的关联代价小于一个阈值-log(θ)时，将跟踪片段与检测结果相关联，并进行以下步骤：

利用检测结果来更新跟踪片段的位置和速度，目标的大小也通过求最近几帧的平均值得到更新；

更新跟踪片段的置信度。

所述的跟踪片段之间的全局关联计算具体如下：

假设分别存在h个置信度高的和l个置信度低的跟踪片段；考虑n个检测结果，Y_t是没有与跟踪片段相关联的检测结果的集合；考虑以下的事件：

A:T^i(lo)与T^j(hi)相关联；

B:T^i(lo)已终止；

C:T^i(lo)与相关联；

代价矩阵定义如下：

其中，A＝[a_ij]代表事件A，a_ij＝-log(Λ(T^i(lo),T^j(hi)))为关联代价；B＝diag[b₁,…,b_l]代表事件B，b_i＝-log(1-conf(T^i(lo)))为终止跟踪片段的代价，C＝[c_ij]代表事件C，为关联代价；当计算出代价矩阵后，采用匈牙利算法计算出最优的组合，使得全局关联代价最小，然后更新跟踪片段及其置信度。

所述的步骤2)中的外观模型是指：

在每一帧跟踪片段位置的周围收集N个不同位置和尺寸的图像斑块；

对每个斑块即样本，创建特征f_l；

然后得到由特征f_l和跟踪片段的IDy_l组成的集合

所述的外观的相似度计算如下：

用{Aⁱ,Sⁱ,Mⁱ}来描述跟踪片段Tⁱ，分别代表其外观、形状和运动模型；相似度可由以下公式定义：

Λ(X,Y)＝Λ^A(X,Y)Λ^S(X,Y)Λ^M(X,Y)

其中X，Y是跟踪片段或检测的结果，基于外观、形状和运动的相似度分数定义如下：

在外观相似度中，f(X)和f(Y)由ILDA算法利用投影矩阵U计算得出；形状相似度由目标的高度h和宽度w计算得出；Λ^M(X,Y)是X的末尾与Y的开始位置的运动相似度；向前速度从X的开头到末尾求得，向后速度从Y的末尾到开头求得。

与现有技术相比，本发明核心步骤，是计算局部关联度和全局关联度。而在这两项计算中，外观的建模对于关联同一目标的跟踪片段和检测结果，并区分不同目标是非常重要的。为此，本发明提出了一个新颖的在线区分性外观学习算法，考虑了以下两个因素：(1)根据正在进行的跟踪结果，更新外观的模型；(2)在线收集训练样本，用以区分多个被跟踪目标的外观。与以往的工作不同，本发明同时考虑了这两个问题，提出了一个增量式线性鉴别分析方法(ILDA:incremental linear discriminant analysis)。该方法能够区分出每个目标，并且增量式地利用跟踪结果更新外观模型。基于上述方法，跟踪片段在存在遮挡的情况下也能成功地进行关联。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明针对前面提到的现有方法的局限性，提出了一种健壮的在线多目标跟踪算法。该方法是基于：一、跟踪片段的置信度解决因遮挡或不准确的检测结果造成的间断的跟踪片段的问题；二、在线的区分外观学习在跟踪片段的关联度计算中处理不同目标的相似外观的问题。

本发明具体实现内容如下：

首先，本工作提出了基于跟踪片段的可检测性和连续性的跟踪片段置信度，用来处理频繁的被杂物或其他目标遮挡的情况。

然后，基于上一步的跟踪片段置信度，本工作阐述了多目标跟踪的问题，并利用不同的方法将跟踪片段相联系，以解决该问题：较可靠的跟踪片段具有较高的置信度，它们用于在局部与在线输入的跟踪结果相联系，而间断的跟踪片段具有较低的置信度，它们用于在全局与其他跟踪片段和检测结果相联系。基于这样的技术，跟踪片段可以根据在线输入的检测结果连续地延长，同时间断的跟踪片段可以无需反复的和高代价的关联度计算。具体步骤如图1所示。

本实施例包括以下步骤：

第一步、在线多目标跟踪问题的建模。若目标i出现在第t帧，记为vⁱ(t)＝1，否则记vⁱ(t)＝0。当vⁱ(t)＝1时，将目标i的状态表示为其中分别为位置，大小，和速度。定义Tⁱ为目标i直到第t帧的状态的集合，即此外，直到第t帧的所有目标的跟踪片段的集合记为T_1:t。同样，记目标i在第t帧的检测结果为直到第t帧的所有检测结果的集合为Z_1:t。这样，在线多目标跟踪的问题可以表示为

基于上述方程，提出跟踪片段置信度的定义。一个跟踪片段具有较高的置信度需要有以下要求：

长度：较短的跟踪片段通常为不可靠的。较长的跟踪片段更有可能为一个物体的正确的跟踪片段。

遮挡：被严重遮挡的跟踪片段不适合作为可靠的跟踪片段。

相似性：一个跟踪片段跟一个相关联的检测结果具有很高的相似性是可靠的。

根据上述要求，跟踪片段的置信度conf(Tⁱ)定义如下：

L是Tⁱ的基数，也就是跟踪片段的长度，w是目标i因为被其他目标遮挡或不可靠的检测结果而缺失的帧数，上式中的第一项是跟踪片段与其相关联的检测结果的相似度的平均值，较高的相似度能使置信度增加。第二项使用L和w来计算，当跟踪片段较短或被遮挡时该项减少。β是跟检测质量有关的控制参数，当检测结果较准确时，β应设置为较大的数值。

由上述跟踪片段置信度的定义，在线多目标跟踪问题可表示如下：

其中，表示具有高置信度和低置信度的跟踪片段的集合。该问题的求解分为两个阶段：具有高置信度的跟踪片段在局部与在线输入的检测结果相联系，同时具有低置信度的跟踪片段在全局与其他跟踪片段相联系。由于跟踪片段的取值范围是[0,1]，当置信度大于0.5时认为跟踪片段是具有高置信度的，否则认为是具有低置信度的间断的跟踪片段。

第二步、跟踪片段的局部关联。在此阶段，具有较高置信度的跟踪片段，依靠在第t帧的检测结果的集合连续地增长。在检测结果与跟踪片段关联时进行成对的关联度计算。当第t帧含有h个跟踪片段和n个检测结果时，分数矩阵S_h×n定义如下：

然后，采用匈牙利算法来决定最优的跟踪片段和检测结果的组合，使得上述矩阵的总相似度最大。当一对跟踪片段和检测结果的关联代价小于一个阈值-log(θ)时，将跟踪片段与检测结果相关联，并进行以下步骤：

利用检测结果来更新跟踪片段的位置和速度。目标的大小也通过求最近几帧的平均值得到更新。

更新跟踪片段的置信度。

第三步、跟踪片段的全局关联。在此阶段，具有较低置信度的，更有可能为间断的跟踪片段，在全局跟其他跟踪片段相关联。假设分别存在h和l个置信度高的和置信度低的跟踪片段。考虑n个检测结果，Y_t是没有与跟踪片段相关联的检测结果的集合。考虑以下的事件：

A:T^i(lo)与T^j(hi)相关联

B:T^i(lo)已终止

C:T^i(lo)与相关联

代价矩阵定义如下：

其中，A＝[a_ij]代表事件A，a_ij＝-log(Λ(T^i(lo),T^j(hi)))为关联代价。B＝diag[b₁,…,b_l]代表事件B，b_i＝-log(1-conf(T^i(lo)))为终止跟踪片段的代价，C＝[c_ij]代表事件C，为关联代价。当计算出代价矩阵后，采用匈牙利算法计算出最优的组合，使得全局关联代价最小，然后更新跟踪片段及其置信度。

第四步、外观模型的建立。首先是训练样本的采集。在每一帧跟踪片段位置的周围收集N个不同位置和尺寸的图像斑块。对每个斑块即样本，创建特征f_l。然后得到由特征f_l和跟踪片段的IDy_l组成的集合在实验中，斑块的大小为96x32，特征向量的维度为9216。我们需要将高维度的特征投影到低维度的空间上。

然后是相似度的计算。我们用{Aⁱ,Sⁱ,Mⁱ}来描述跟踪片段Tⁱ，分别代表其外观，形状和运动模型。相似度可由以下公式定义：

Λ(X,Y)＝Λ^A(X,Y)Λ^s(X,Y)Λ^M(X,Y)

其中X，Y可以是跟踪片段或检测的结果。基于外观，形状和运动的相似度分数定义如下：

在外观相似度中，f(X)和f(Y)由ILDA算法利用投影矩阵U计算得出。形状相似度由目标的高度h和宽度w计算得出。Λ^M(X,Y)是X的末尾与Y的开始位置的运动相似度。向前速度从X的开头到末尾求得，向后速度从Y的末尾到开头求得。在这里假设预测的位置与精确位置的误差服从高斯分布。

实施效果

依据上述步骤，对于我们收集的测试视频及进行分析，该测试集选取了ETHZ等数据库中的部分视频及自行拍摄的部分视频，进行人数的统计和轨迹的绘制，并进一步根据其轨迹进行行为分析。所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R)Core(TM)i7-3520M CPU@2.90GHz，内存4GB。

结果显示，视频中被检测出的人物全部跟踪效果良好，当发生遮挡或检测不准确时也能继续保持跟踪，目标的轨迹绘制正确。同时，程序运行效率较高，只需大约2分钟就能处理400帧的输入。这一实验表明，本实施例的在线多目标跟踪算法能准确快速地进行多目标跟踪。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (1)

1.一种基于跟踪片段置信度和区分性外观学习的多目标跟踪方法，其特征在于，包括以下步骤：

1)基于跟踪片段的置信度进行跟踪片段和检测结果的局部关联和跟踪片段之间的全局关联；

2)提出区分性外观模型学习，在跟踪过程中更准确地区分不同物体；

所述的步骤1)具体为：

首先在线读入图像及其检测信息，然后计算检测结果与已得到的跟踪片段的相似度，进行跟踪片段与检测结果的局部关联计算，接着计算所有跟踪片段之间的相似度，进行跟踪片段之间的全局关联计算；

所述的跟踪片段的置信度conf(Tⁱ)定义如下：

L是Tⁱ的基数，即为跟踪片段的长度，w是目标i因为被其他目标遮挡或不可靠的检测结果而缺失的帧数， 分别表示目标i的跟踪片段的结束帧和开始帧；是目标i的跟踪片段Tⁱ和目标i在第k帧的检测结果的相似度，vⁱ(k)＝1表示目标i在第k帧被检测到；

上式中的是跟踪片段与其相关联的检测结果的相似度的平均值，较高的相似度能使置信度增加；

使用L和w来计算，当跟踪片段较短或被遮挡时该项减少；β是跟检测质量有关的控制参数，当检测结果较准确时，β应设置为较大的数值；

根据所述的跟踪片段的置信度定义，对在线多目标跟踪问题的的阐述如下：

其中，表示具有高置信度和低置信度的跟踪片段的集合，T_1:t表示所有跟踪片段的集合；Z_1:t表示从第1帧到第t帧的所有检测结果的集合；

在线多目标跟踪问题的求解分为两个阶段：具有高置信度的跟踪片段在局部与在线输入的检测结果相联系，同时具有低置信度的跟踪片段在全局与其他跟踪片段相联系；由于跟踪片段的取值范围是[0,1]，当置信度大于0.5时认为跟踪片段是具有高置信度的，否则认为是具有低置信度的间断的跟踪片段；

所述的跟踪片段与检测结果的局部关联计算如下：

在检测结果与跟踪片段关联时进行成对的关联度计算，当第t帧含有h个跟踪片段和n个检测结果时，分数矩阵S_h×n定义如下：

其中，i、j表示对应的目标，表示具有高置信度的跟踪片段的集合T^i(hi)和检测结果的相似度，Z_t表示第t帧的所有检测结果的集合；

然后，采用匈牙利算法来决定最优的跟踪片段和检测结果的组合，使得上述矩阵的总相似度最大；当一对跟踪片段和检测结果的关联代价小于一个阈值-log(θ)时，将跟踪片段与检测结果相关联，并进行以下步骤：

利用检测结果来更新跟踪片段的位置和速度，目标的大小也通过求最近几帧的平均值得到更新；

更新跟踪片段的置信度；

所述的跟踪片段之间的全局关联计算具体如下：

假设分别存在h个置信度高的和l个置信度低的跟踪片段；考虑n个检测结果，Z_t是第t帧的所有检测结果的集合，Y_t是没有与跟踪片段相关联的检测结果的集合；考虑以下的事件：

A:T^i(lo)与T^j(hi)相关联；

B:T^i(lo)已终止；

C:T^i(lo)与相关联；

其中，T^j(hi),T^i(lo)分别表示关于目标j的具有高置信度和关于目标i的具有低置信度的跟踪片段的集合

代价矩阵定义如下：

其中，A＝[a_ij]代表事件A，a_ij＝-log(Λ(T^i(lo),T^j(hi)))为关联代价；B＝diag[b₁,…,b_l]代表事件B，b_i＝-log(1-conf(T^i(lo)))为终止跟踪片段的代价，C＝[c_ij]代表事件C，为关联代价；当计算出代价矩阵后，采用匈牙利算法计算出最优的组合，使得全局关联代价最小，然后更新跟踪片段及其置信度；

所述的步骤2)中的外观模型是指：

在每一帧跟踪片段位置的周围收集N个不同位置和尺寸的图像斑块；

对每个斑块即样本，创建特征f_l；

然后得到由特征f_l和跟踪片段的IDy_l组成的集合

所述的外观的相似度计算如下：

用{Aⁱ,Sⁱ,Mⁱ}来描述跟踪片段Tⁱ，分别代表其外观、形状和运动模型；相似度可由以下公式定义：

Λ(X,Y)＝Λ^A(X,Y)Λ^s(X,Y)Λ^M(X,Y)

其中X，Y是跟踪片段或检测的结果，基于外观、形状和运动的相似度分数定义如下：

在外观相似度中，f(X)和f(Y)由ILDA算法利用投影矩阵U计算得出；形状相似度由目标的高度h和宽度w计算得出；Λ^M(X,Y)是X的末尾与Y的开始位置的运动相似度；向前速度从X的开头到末尾求得，向后速度从Y的末尾到开头求得。