CN113537077A - 基于特征池优化的标签多伯努利视频多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于特征池优化的标签多伯努利视频多目标跟踪方法，涉及视频多目标跟踪方法领域，该方法定义与检测置信度相关的新生模型来识别新生目标，并利用特征池来设计新的目标重识别策略，提出新的目标被遮挡后停止模板摄入特征池中的做法，将检测置信度与新生目标的存在概率结合，将低置信度的检测加入到标签多伯努利的滤波中，该方法可以解决现有的视频多目标跟踪算法中难以准确处理新生目标以及目标之间由于遮挡、干扰而导致的跟踪精度下降，目标标签切换频繁等问题，在提高目标识别率的同时避免误检以及漏检，为跟踪提供良好的检测数据。

Description

基于特征池优化的标签多伯努利视频多目标跟踪方法

技术领域

本发明涉及视频多目标跟踪方法领域，尤其是一种基于特征池优化的标签多伯努利视频多目标跟踪方法。

背景技术

在多目标跟踪中，目标是从一系列噪声和杂乱的检测数据中联合估计出运动轨迹个数及其状态。多目标系统与单一目标系统的根本区别在于，由于目标出生和死亡，目标的数目随时间而变化。此外，现有目标可能被检测到，也可能不被检测到，并且检测器还接收一组并非来自任何目标的伪测量(误检测)。因此，在视频的每一帧，检测框有很多，但只有一部分是由目标生成的。多目标跟踪是信号处理的一个已建立的子领域，其应用涉及雷达、声纳、计算机视觉、机器人、细胞生物学、车辆环境感知等多个领域。多目标跟踪的三种主要方法是多假设跟踪(MHT)，联合概率数据关联(JPDA)，和随机有限集(RFS) 框架。MHT及其变化涉及到数据关联假设在时间上的传播，而JPDA方法通过关联概率对个体观测值进行加权。MHT和JPDA是多目标跟踪领域的经典方法。 RFS方法是最新的发展，通过将多目标状态建模为RFS，提供了多目标系统的一般系统处理方法。RFS方法的核心是所谓的Bayes多目标滤波器，它在时间上递归地传播多目标状态的后验密度。

视频多目标跟踪是目标跟踪方向的一个重要分支,与传统的传感器多目标跟踪不同，视频多目标跟踪会存在目标外观变化、目标遮挡、检测框漂移以及目标频繁新生以及消失等问题，同时目标数目未知、新生目标不确定、图像模糊以及杂波干扰等问题，也都是视频多目标跟踪领域中研究的难点。

近些年，很多算法将随机有限集应用到视频多目标跟踪算法中，在随机有限集滤波方法中，例如传统的MBF和PHD算法需要建立新生模型(新生目标可能出现的位置、状态以及概率)来捕获新生目标，在这种情况下，通常预先了解场景信息。但在真实的视频多目标中，由于新生目标的多变性，很难建立符合场景的新生模型，视频中新生目标可能从边缘进入，或被遮挡后重新出现，或从某建筑物出现等，因此由于新生目标的随机性未知，给该方法的使用带来的一定的困难，跟踪效果不够好。

发明内容

本发明人针对上述问题及技术需求，提出了一种基于特征池优化的标签多伯努利视频多目标跟踪方法，本发明的技术方案如下：

一种基于特征池优化的标签多伯努利视频多目标跟踪方法，该方法包括：

当第一帧对应的所有检测框加入第一帧的目标轨迹；

当k≥2时，将第k帧的n个检测框分别与第k-1帧的m个目标轨迹进行 IOU运算，将IOU运算结果满足预设条件的检测框识别为新生目标并放入新生标签多伯努利分量中，并将新生目标的检测框状态作为对应的新生标签多伯努利分量的状态、检测框置信度作为对应的新生标签多伯努利分量的存在概率；

将新生目标与特征池中的轨迹历史特征进行特征比较并将相似度最高的轨迹历史特征的标签作为新生目标对应的新生标签多伯努利分量的标签；

基于第k帧的新生标签多伯努利分量进行标签多伯努利的预测、更新和状态提取，得到第k帧的目标轨迹；

在标签多伯努利更新完成后，利用第k帧的新生目标更新特征池。

本发明的有益技术效果是：

本申请公开了一种基于特征池优化的标签多伯努利视频多目标跟踪方法，该方法定义与检测置信度相关的新生模型，并设计新的目标重识别策略，提出新的目标被遮挡后停止模板摄入特征池中的做法。由于检测器检测结果的置信度会有高低之分，相比于直接去除低置信度的检测方法，本文将检测置信度与目标新生概率结合，将低置信度的检测加入到标签多伯努利的滤波中，提高目标识别率的同时避免误检以及漏检，为跟踪提供良好的检测数据。

该方法融入标签多伯努利算法。在大部分多目标跟踪中，通过目标模板以及检测数据进行关联来实现多目标跟踪，这些方法在多目标跟踪中有很好的效果，但在维持轨迹的这一工作上有所欠缺，标签多伯努利不同于一般算法复杂的数据关联过程，在检测数目变化多的情况下，依旧可以很好的估算目标的数目以及目标的状态，即目标被遮挡后依旧可以维持相应的轨迹。

该方法提出新的目标重识别以及目标特征提取策略。标签多伯努利算法在估算目标数目以及目标状态的同时还可以估算目标的标签状态，本文将结合目标特征以及标签多伯努利所估算的标签状态来进行目标重识别。

附图说明

图1是本申请的标签多伯努利视频多目标跟踪方法的流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种基于特征池优化的标签多伯努利视频多目标跟踪方法，该方法包括如下步骤，请参考图1：

步骤一：初始化

1.1，参数初始化，视频总帧数为N、高斯分量最大值为L_max、目标存活概率为0.99。

1.2，目标检测。

采用公共检测器FRCNN、SDP、DPM检测视频序列，k时刻的第k帧有n个检测框，检测框的状态集合为Z。

在标签多伯努利中，需要运动模型来估计k时刻轨迹的状态，本申请设置目标的运动模型为随机游走模型，目标i的运动状态表示为

目标的特征表示为a_i，标签为l，其中(x,y)表示目标的左上角坐标，w表示目标的宽度，h表示目标的高度。

表示目标的左上角坐标在x方向的变化率，

表示目标的左上角坐标在y方向的变化率，

表示目标的宽度的变化率，

表示目标的高度的变化率。

1.3初始帧以及新生目标识别。

当k＝1也即第一帧时，还未出现轨迹，将所有的检测框都加入第一帧的目标轨迹，也即当第一帧对应的所有检测框加入存活的多伯努利分量。

当k≥2时也即从第二帧开始，将第k帧的n个检测框分别与第k-1帧的m个目标轨迹进行IOU运算，将IOU运算结果满足预设条件的检测框识别为新生目标并放入新生标签多伯努利分量中。在本申请中，若第k帧的任意第p个检测框与第k-1帧的m个目标轨迹分别进行IOU运算得到的IOU运算结果

均小于预定阈值t_iou，则将第p个检测框识别为新生目标并放入新生标签多伯努利分量B中。并将新生目标的检测框状态作为对应的新生标签多伯努利分量的状态、检测框置信度作为对应的新生标签多伯努利分量的存在概率。

步骤二：目标重识别

新生目标识别后需要对新生目标进行标签分类，进而尽量减少标签跳变数，标签多伯努利只能减少目标轨迹在运动时的标签跳变数。本申请提出特征池思想，将新生目标与特征池中的轨迹历史特征进行特征比较并将相似度最高的轨迹历史特征的标签作为新生目标对应的新生标签多伯努利分量的标签。

在识别新生目标后获得了新生目标的空间状态(x,y,w,h)，通过LOMO特征提取算法对新生目标的空间状态(x,y,w,h)进行特征提取得到新生目标特征，其中(x,y)表示新生目标的左上角坐标，w表示新生目标的宽度，h表示新生目标的高度。

分别计算新生目标的新生目标特征f与特征池中各个轨迹历史特征p的马氏距离

∑^-1表示XQDA矩阵学习出的正交矩阵。然后将与新生目标的新生目标特征的马氏距离最小的轨迹历史特征作为与新生目标相似度最高的轨迹历史特征。

步骤三、标签多伯努利预测、更新、状态提取：

基于第k帧的新生标签多伯努利分量进行标签多伯努利的预测、更新和状态提取，得到第k帧的目标轨迹。

利用高斯混合来对标签多伯努利滤波进行求解，标签多伯努利随机集由多个标签伯努利随机集组成并表示为{(rⁱ,pⁱ(·),Lⁱ)}_i，r表示存在概率，p(·)表示概率密度函数，i表示标签多伯努利分量的标号。

在k时刻的第k帧识别出新生目标后，利用标签多伯努利对新生目标进行建模为

为状态标签且

α_k(i)为k时刻的新生目标i的标签。在本申请中，每新生一个目标，在没有与轨迹历史特征相匹配的情况下，标签是递增加一的，同时标签满足唯一性。标签多伯努利滤波更新、预测、状态提取等过程与多伯努利滤波过程类似，并且在目标新生时确定标签后，目标的预测与更新是不会改变目标的标签的。

3.1目标预测。

记k时刻的第k帧的每一个轨迹目标框的目标状态密度为x_k且包含

其中(x,y)表示轨迹目标框的左上角坐标，w表示轨迹目标框的宽度，h表示轨迹目标框的高度；

表示轨迹目标框的左上角坐标在x方向的变化率，

表示轨迹目标框的左上角坐标在y方向的变化率，

表示轨迹目标框的宽度的变化率，

表示轨迹目标框的高度的变化率。

则k时刻的标签多伯努利的预测表示为：

其中，

表示标签多伯努利参数集、

为狄拉克函数。

表示k时刻标签多伯努利状态密度集合且包括轨迹的后验概率参数并表示为

表示后验存在概率，

表示后验概率密度函数。

表示预测后的先验标签多伯努利状态密度集合并表示为

表示预测后的存在概率，

表示预测后的概率密度函数。

其中，h_k表示标签多伯努利所对应的假设的序号，

表示总假设个数。

表示k时刻的假设h_k的权重大小且在预测时保持不变。

表示假设h_k在预测过后的标签多伯努利分量的总数且有

表示在预测阶段加入的新生标签多伯努利分量，则：

其中，i′表示k时刻表示后验密度的标签多伯努利分量的标号，i″表示k时刻的新生标签多伯努利分量的标号。

对于每一个伯努利，预测过后依然为伯努利，也即

其中：

其中，

表示为在假设h_k中存在概率的大小且与概率密度函数的密度正相关。

表示目标的宏观存在概率，即目标本身消失的快慢、与场景无关，因此本申请设为常数P^S。

利用高速混合进行求解，运动方程为

其中，F_k+1表示状态转移矩阵，Q_k+1表示运动噪声矩阵。

高斯混合后验伯努利参数包括

其中

为后验高斯分量的均值，

为后验高斯分量的协方差矩阵。

预测后的高斯混合后验伯努利参数包括：

3.2目标更新。

k时刻的标签多伯努利的更新表示为：

其中，z_k表示k时刻的多目标量测，x_k表示k时刻的目标状态密度，x′_k表示预测后的目标状态密度。

可选的在本申请中，在进行标签多伯努利更新前首先进行Gating和 Grouping操作，将量测进行分类，让预测后的目标与之距离较近的量测进行更新，此操作不仅能够极大减少算法时间复杂度，在准确率上也会因为目标不会关联上距离较远的目标而提高。具体的：

预测后得到的多伯努利参数为

多伯努利的更新是基于假设的，即目标与Gating and Grouping之后的检测都进行更新运算，计算出状态以及权重，再根据权重删选出最优的假设，更新算法流程为：

初始化假设h_k＝0，对于h_k＝1,2，...，

构建代价矩阵

假设有m个量测以及一个多伯努利集合h有N^h个伯努利分量，则对应的代价矩阵为：

其中，

利用Murty算法计算出检测与目标最匹配的假设。

对于假设h，若目标i与检测j相关联，则θⁱ＝j，则对于该假设参数更新为：

其中，

表示目标i与检测θⁱ关联后的存在概率，

表示目标i与检测θⁱ关联后的概率密度函数，预测后对应该假设的权重为：

对于存在检测与之关联上的目标的后验参数为：

其中，

H_k+1为观测矩阵，R_k+1为观测噪声，

为目标i与检测θⁱ关联后的高斯分量的均值，

为目标i与检测θⁱ关联后的高斯分量的协方差。

假设分量的log似然为

对于没有检测与之关联的假设，则θⁱ＝0，第i个伯努利更新为：

其中，

用高斯混合进行求解得到对于不存在检测与之关联上的目标的后验概率参数为：

其中，P^D是检测概率，g_k(z|x)是线性高斯量测模型。

3.3标签多伯努利状态提取。

经过多伯努利更新得到标签多伯努利参数集为：

需要对

和

进行减枝，从而可以在后验概率密度分布里提取出目标状态、当多伯努利假设的权重

时删除该假设分量，对于每一个多伯努利分量，当

时删除该伯努利分量，在经过筛选后对权重参数进行归一化，提取得到目标更新后的状态，最终得到当前帧的轨迹，然后继续处理下一帧。

步骤四、特征池更新。

在标签多伯努利更新完成后，利用第k帧的新生目标更新特征池，本申请中的特征池是预先建立的，大小根据需要配置，比如可以设置为t_p＝t_num*T，T代表第一帧中新生目标的数目，t_num为自定义大小。

在标签多伯努利更新完成后得到每个轨迹目标框的目标位置参数 (x,y,w,h,l)，其中(x,y)表示轨迹目标框的左上角坐标，w表示轨迹目标框的宽度， h表示轨迹目标框的高度，l表示轨迹目标框的标签。对于任意一个轨迹目标框，若当前帧存在检测框与轨迹目标框匹配关联，则对轨迹目标框进行特征提取，并将轨迹目标框的包含标签的特征加入特征池中的作为轨迹历史特征。若当前帧不存在检测框与轨迹目标框匹配关联，为了防止该目标被遮挡导致的模板污染，我们在此时刻不降该目标进行特征提取。

特征池中的轨迹历史特征的数量不超过特征数阈值t_p，则若直接将轨迹目标框的包含标签的特征加入特征池中时使得特征池中的轨迹历史特征的数量超出特征数阈值，则按照先入先出的顺序利用轨迹目标框的包含标签的特征替换已有的轨迹历史特征更新特征池，从而保证特征池中的数量动态变化。

为验证本申请提出的上述基于标签多伯努利视频多目标检测跟踪方法的效果，特实验如下：

1、数据集及评价指标

本文算法的有效性，通过相关实验得到了验证，在公开数据集MOT17上与类似算法Sort、GMPHD-RD、IOU17、PHD_LMP进行了比较。

本算法所使用的评价指标为MOT公共数据集的评价算法，评价中包含：

(a)多目标跟踪正确度(MOTA)。

FN为False Negative，FP为False Positive，IDSW为ID Switch，GT为 GroundTruth。MOTA评价指标与物体位置的精度无关，是用来衡量检测算法和跟踪算法检测物体的性能以及保持轨迹的性能，同时当跟踪器过多的错误时， MOTA为负数。MOTA是计算所有帧中的指标之后再进行平均。

(b)多目标跟踪精度(MOTP)。

MOTP中d为目标检测框i与分配给该检测框的Ground Truth之间在所有帧中平均度量距离，距离采用的是两者框之间的重叠率来进行度量，c为当前帧中与GT匹配成功的数目。MOTP主要用来量化跟踪结果的位置精度。

(c)误跟数(FP)。

在检测过程中有将不是目标的地方误检测成目标的情况，导致当检测数目与GT比较时有多出数目的情况，多出来的(匹配不上)检测数目即为总的误跟数。

(d)漏跟数(FN)。

漏跟数与误跟数相反，本该是目标的地方却没有检测，导致当检测数目与 GT比较时少了一些检测，少掉的数目即为总的漏跟数。

(e)标签跳变数(IDSW)。

在对目标进行跟踪时，每一个目标都有一个标签ID，在GT中每个目标从出现到结束对应一个标签ID，当跟踪算法运行中同一个目标在不同时段有着不同的标签则意味着标签发生了跳变，IDSW则是所有帧中发生的总的标签跳变数目。

2、实验环境及结果分析

实验环境：

处理器：Inter Core i7-8700 3.2GHz

内存：16GB

显卡：NVIDIA GEFORCE GTX 1080 Ti

软件：Matlab R2019b

具体实验从四个方面对发明方法进行性能评估，即：目标重识别、目标紧邻与遮挡、图像模糊与目标形变、目标大位移等，实验结果如下：

实验一：目标重识别

本实验对比的是标签多伯努利原始出生模型与量测驱动新生模型对于新生目标的跟踪抓取效果。通过比较两种不同模型的结果图可以看出，用标准标签多伯努利的新生模型，也可以较为准确的判断出新生目标，但是新生目标的出现会有几帧的延后，具体原因为传统标签多伯努利新生目标判定是把先验新生目标分量在预测时当作新生目标加入到预测后的LMB中，进而在更新时将量测与这些分量进行运算，当分量权重达到阈值时，即判定为新生目标，在这一过程中，需要持续判断权重是否达到阈值，所以会在新生目标的判定上出现延迟。两种算法用的检测器都为Faster-Rcnn，对应图片所在的帧为1、5、9、10、 14。实际检测发现，虽然到第9帧的时候新生目标1～4都能被识别出，但是传统新生模型的识别速度相比于本算法的新生模型是相当慢的，第10帧新的目标 5出现，本算法使用的新生模型立刻将其归为轨迹，加入滤波的预测与更新。此新生模型可以很大程度上降低漏检率。

实验二：目标紧邻与遮挡

在09视频数据集中，商店门口有较为复杂的行人交叉走动的情况，在现有的各种跟踪算法中，当两个目标交叉运动时，跟踪器不能很好的跟踪上被遮挡的目标。而在本算法中，利用标签多伯努利的预测，即使在短时间内没有目标的检测，也能很好的维持目标轨迹，所在帧为405、409、412、417、420、424。

可从实验结果看出，本算法在行人被遮挡后，依旧可以根据标签多伯努利预测维持目标轨迹，同时在目标移动过程中维持标签的不变性，在目标重新出现后，其他算法虽能再次识别目标，但其标签以及发生了跳变，提出的算法则在这一过程中可以保持目标状态和标签的稳定性。

实验三：移动与黑暗场景下的遮挡

10视频数据集的场景为夜晚，由于摄像头拍摄不固定，会导致场景灰暗以及目标模糊的状态，与09视频数据集相比，不仅人数较多而且较为密集，存在很多由于行人交叉运动而导致的目标遮挡问题，由于采用了Gating和Grouping，算法依然有很好的稳定性，实验对应的10视频数据集的帧数为227、235、245、 252、258。

实际通过比对实验截图发现，当标签为77的目标走来时，可以在遮挡的情况下维持标签不变，同时能准确估计出目标状态，而其他算法在目标被遮挡的情况下不能很好的跟踪目标。

实验四：标签维持

04视频数据集为夜晚灯光人群密集的场景，在多目标跟踪中，如何保持标签长时间以及长距离不变是研究的难点。在人群密集的时，当目标与另一个或几个目标紧邻时，会出现标签切换。在本算法中，目标的标签是在目标新生时所赋予的，算法迭代运行的过程中，会根据目标历史状态赋予目标标签，即使有多个目标相邻运动，考虑到每个目标的速度大小以及速度方向，在复杂的场景中依旧能够维持目标轨迹以及标签状态。

比对各算法在04视频数据集的179、204、214、222、266、314帧中所得的跟踪结果，在提出的算法中，标签为21的目标在179到314帧中一直维持自己的标签状态以及目标状态，而在其他算法中，目标不仅出现了跟丢时刻，同时出现了多次标签变换。

实验五：跟踪框精度

在跟踪过程中，跟踪框大小与目标真实框大小的差距体现算法的精确度，即MOTP值。在09视频数据中，由于摄像机拍摄距离较近，同时任务走动幅度较大，最能体现出算法在跟踪框精度上的效果。

比对算法在09数据集的496、506、509、516、519帧的跟踪结果，在该时间段中穿蓝色上衣的目标走路幅度较大，本算法在跟踪时能够较精准的跟踪目标，当目标迈出脚步时跟踪框同时贴合目标放大，当目标收紧脚步时跟踪框也能够贴合目标缩小。而其他算法在这一过程中则在放大和缩小的过程中相比于本算法出现了较大的偏差。

实验六：低分辨率解决漏跟

与其余1920*1080数据集不同，视频数据集05的分辨率为640*480，同时该视频数据集为移动摄像头拍摄的，在跟踪过程中常有目标被漏跟踪的情况。

比对算法在05数据集306、309、310、311、312帧的跟踪结果，在提出的算法结果中，由于标签多伯努利在更新的过程中会考虑到目标是否漏检测的情况，当目标在之前的历史帧中维持了较长的轨迹，存在概率较大，当目标在之后的帧数中即使丢失检测，也能够在一定时间内持续跟踪目标，当某一时刻又重新获得检测时，存在概率较高未剪掉的轨迹重新与检测关联，从而解决了目标漏跟问题。

提出的算法中，标签为55的目标在这一时间段中持续被跟踪上。在其他算法中，该目标处于漏跟状态。

实验七：处理误检测

公共检测器Faster-Rcnn、SDP、DPM中，DPM检测器性能最差，在检测结果中经常有误检测框，即在没有目标的地方检测出有目标，误检测框并不是在每一帧中都存在，同时误检测框的状态也是非常不稳定的。在标签多伯努利中，本算法对误检测框进行了杂波的泊松分布建模，由于误检测框的不稳定性，在预测以及更新的过程中，误检测框是杂波的权重很大，所以在算法中不会将是杂波的检测框当作检测，进而避免目标误跟踪。

比对数据集02在DPM检测器下第46、49、56、61、67、77帧的跟踪结果，可以看出，在提出的算法中，很好的解决了误跟踪框的情况，而在其他的算法中，由于误检测的情况，在结果中出现了较多的跟踪错误。

3、实验结果定量分析：

本文将Sort、GMPHD_RD、IOU17、PHD_LMP这四种算法在指标MOTA、 FP、FN、IDS、以及MOTP上进行对比。在表2中列出了算法在MOTA、FP、 FN、IDS、MOTP指标上表现。本文的跟踪结果都是基于三个公共检测器DPM、 FRCNN、SDP的检测结果来跟踪的。

从表1可以看出，本算法在MOT17训练集上与没有使用图像特征的算法进行比较，取得了非常好的效果，与Sort相比，MOTA提高了2.9，效果提升了 6.4％。与IOU17相比，MOTA提高了3，效果提升了6.7％。

表1 MOT17训练集未使用特征的方法比较(表中↑表示值越大越好,↓表示值越小越好)

本文在没有用图像特征信息的情况下使用了标签多伯努利算法来估计和更新目标的位置信息，在摄像机位置固定的情况下可以很好的处理目标被遮挡的情况，所以可以从表1中可以看出，本算法的FN(漏跟踪目标数)指标相比于其他算法降低很多，相比于Sort算法降低了7.6％，相比于IOU17算法降低了4.9％。与此同时，存在概率较大也会带来反作用，即FP(误跟目标数)的增加，造成此指标上升的原因是当存活目标消失的时候，依然会有较高的存在概率，算法会认为该目标可能还存在，所以会导致误跟目标数的增加。此弊端好会间接导致IDSW(标签切换次数)的增加，由于目标被误跟，被误跟的目标也会分配给额外的标签导致IDSW的增长。

表2为本算法加入图像特征以及目标重识别之后的结果，在加入了特征信息以及Re-id后，可以看到指标MOTA从47.7上升到了49.3，提升了3.3个百分点，IDSW也减少了相当多，相比于其他算法，本文提出的算法有着更好的表现。虽然本算法在FP与FN的指标上没有很突出，但是相对于别的算法来讲达到了一个相对平衡的状态，加入图像特征后，每一帧都把检测与轨迹的历史特征进行相似度比较，将剔除匹配不上检测的轨迹，能一定程度上解决目标消失之后的误跟踪问题，进而FP指标有一定程度的下降。由于FP指标的下降，在标签多伯努利预测以及更新的过程中将会防止很多误检测对算法精确度的影响，所以在FN指标也会随之下降。IDSW的减少是两方面的原因，一方面是目标重识别的加入，在目标标签的分配前将先进行特征相似度比较，将已出现过的目标分配旧标签。另一方面则是由于FN的减少，标签多伯努利的标签估计和更新更加精确。

表2 MOT17方法比较(表中↑表示值越大越好,↓表示值越小越好)

本算法在数据集MOT17-05上的跟踪结果要优于其他算法，如表3所示：

表3 MOT17-05序列SDP检测器各种方法比较(表中↑表示值越大越好,↓表示值越小越好)

根据实验结果可以看出，相对于其他四种方法，提出的算法虽然没有在某一项很突出，但是在MOTA指标上有着更好的表现，由于FN、FP、IDSW三方面的均衡优化，从到导致了在MOT17数据集上有着不错的效果。

表4为本算法在MOT17数据集上的详细表现，可以看出，在检测效果最差的DPM到检测效果最好的SDP都有着不错的跟踪结果。在相机固定的场景中有着更加不错的效果，在相机移动的复杂环境中，也能占有优势。

表4本文方法在MOT17训练集结果(表中↑表示值越大越好,↓表示值越小越好)

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于特征池优化的标签多伯努利视频多目标跟踪方法，其特征在于，所述方法包括：

当第一帧对应的所有检测框加入第一帧的目标轨迹；

当k≥2时，将第k帧的n个检测框分别与第k-1帧的m个目标轨迹进行IOU运算，将IOU运算结果满足预设条件的检测框识别为新生目标并放入新生标签多伯努利分量中，并将新生目标的检测框状态作为对应的新生标签多伯努利分量的状态、检测框置信度作为对应的新生标签多伯努利分量的存在概率；

将新生目标与特征池中的轨迹历史特征进行特征比较并将相似度最高的轨迹历史特征的标签作为所述新生目标对应的新生标签多伯努利分量的标签；

基于第k帧的新生标签多伯努利分量进行标签多伯努利的预测、更新和状态提取，得到第k帧的目标轨迹；

在标签多伯努利更新完成后，利用第k帧的新生目标更新所述特征池。

2.根据权利要求1所述的方法，其特征在于，所述利用第k帧的新生目标更新所述特征池，包括：

在标签多伯努利更新完成后得到每个轨迹目标框的目标位置参数(x,y,w,h,l)，其中(x,y)表示轨迹目标框的左上角坐标，w表示轨迹目标框的宽度，h表示轨迹目标框的高度，l表示轨迹目标框的标签；

对于任意一个轨迹目标框，若当前帧存在检测框与所述轨迹目标框匹配关联，则对所述轨迹目标框进行特征提取，并将所述轨迹目标框的包含标签的特征加入所述特征池中的作为轨迹历史特征。

3.根据权利要求2所述的方法，其特征在于，所述特征池中的轨迹历史特征的数量不超过特征数阈值，则若直接将所述轨迹目标框的包含标签的特征加入所述特征池中时使得所述特征池中的轨迹历史特征的数量超出所述特征数阈值，则按照先入先出的顺序利用所述轨迹目标框的包含标签的特征替换已有的轨迹历史特征更新所述特征池。

4.根据权利要求1所述的方法，其特征在于，所述将IOU运算结果满足预设条件的检测框识别为新生目标并放入新生标签多伯努利分量中，包括：

若第k帧的任意第p个检测框与第k-1帧的m个目标轨迹分别进行IOU运算得到的IOU运算结果

均小于预定阈值，则将所述第p个检测框识别为新生目标并放入新生标签多伯努利分量中。

5.根据权利要求1所述的方法，其特征在于，所述将新生目标与特征池中的轨迹历史特征进行特征比较，包括：

通过LOMO特征提取算法对所述新生目标的空间状态(x,y,w,h)进行特征提取得到新生目标特征，其中(x,y)表示新生目标的左上角坐标，w表示新生目标的宽度，h表示新生目标的高度；

分别计算所述新生目标的新生目标特征f与所述特征池中各个轨迹历史特征p的马氏距离

∑^-1表示XQDA矩阵学习出的正交矩阵；

将与所述新生目标的新生目标特征的马氏距离最小的轨迹历史特征作为与所述新生目标相似度最高的轨迹历史特征。

6.根据权利要求1-5任一所述的方法，其特征在于，

利用高斯混合来对标签多伯努利滤波进行求解，标签多伯努利随机集由多个标签伯努利随机集组成并表示为{(rⁱ,pⁱ(·),Lⁱ)}_i，在k时刻的第k帧识别出新生目标后，利用标签多伯努利对新生目标进行建模为

r表示存在概率，p(·)表示概率密度函数，i表示标签多伯努利分量的标号，

为状态标签且

α_k(i)为k时刻的新生目标i的标签，目标的标签在预测与更新过程中不变。

7.根据权利要求6所述的方法，其特征在于，参数初始化为视频总帧数为N、高斯分量最大值为L_max、目标存活概率为0.99；记k时刻的第k帧的每一个轨迹目标框的目标状态密度为x_k且包含

其中(x,y)表示轨迹目标框的左上角坐标，w表示轨迹目标框的宽度，h表示轨迹目标框的高度；

表示轨迹目标框的左上角坐标在x方向的变化率，

表示轨迹目标框的左上角坐标在y方向的变化率，

表示轨迹目标框的宽度的变化率，

表示轨迹目标框的高度的变化率；

则k时刻的标签多伯努利的预测表示为：

其中，

表示标签多伯努利参数集、

为狄拉克函数；

表示k时刻标签多伯努利状态密度集合且包括轨迹的后验概率参数并表示为

表示预测后的先验标签多伯努利状态密度集合并表示为

其中，h_k表示标签多伯努利所对应的假设的序号，

表示总假设个数，

表示k时刻的假设h_k的权重大小且在预测时保持不变，

表示后验存在概率，

表示后验概率密度函数，

表示预测后的存在概率，

表示预测后的概率密度函数；

表示假设h_k在预测过后的标签多伯努利分量的总数且有

表示在预测阶段加入的新生标签多伯努利分量，则：

其中，i′表示k时刻表示后验密度的标签多伯努利分量的标号，i″表示k时刻的新生标签多伯努利分量的标号，对于每一个伯努利，预测过后依然为伯努利，也即

其中：

其中，

表示为在假设h_k中存在概率的大小且与概率密度函数的密度正相关，

表示目标的宏观存在概率且为常数P^S；

利用高速混合进行求解，运动方程为

其中，F_k+1表示状态转移矩阵，Q_k+1表示运动噪声矩阵，高斯混合后验伯努利参数包括

其中

为后验高斯分量的均值，

为后验高斯分量的协方差矩阵，预测后的高斯混合后验伯努利参数包括：

8.根据权利要求7所述的方法，其特征在于，在进行标签多伯努利的更新之前，所述方法还包括：

初始化假设h_k＝0，对于h_k＝1,2，...，

构建代价矩阵

假设有m个量测以及一个多伯努利集合h有N^h个伯努利分量，则对应的代价矩阵为：

其中，

利用Murty算法计算出检测与目标最匹配的假设，对于假设h，若目标i与检测j相关联，则θⁱ＝j，则对于该假设参数更新为：

其中，

表示目标i与检测θⁱ关联后的存在概率，

表示目标i与检测θⁱ关联后的概率密度函数，预测后对应该假设的权重为：

对于存在检测与之关联上的目标的后验参数为：

其中，

H_k+1为观测矩阵，R_k+1为观测噪声，

为目标i与检测θⁱ关联后的高斯分量的均值，

为目标i与检测θⁱ关联后的高斯分量的协方差；

假设分量的log似然为

对于没有检测与之关联的假设，则θⁱ＝0，第i个伯努利更新为：

其中，

用高斯混合进行求解得到对于不存在检测与之关联上的目标的后验概率参数为：

其中，P^D是检测概率，g_k(z|x)是线性高斯量测模型。

9.根据权利要求7所述的方法，其特征在于，k时刻的标签多伯努利的更新表示为：

其中，z_k表示k时刻的多目标量测，x_k表示k时刻的目标状态密度，x′_k表示预测后的目标状态密度。

10.根据权利要求9所述的方法，其特征在于，标签多伯努利的状态提取包括：

经过多伯努利更新得到标签多伯努利参数集为：

当多伯努利假设的权重

时删除该假设分量，对于每一个多伯努利分量，当

时删除该伯努利分量，在经过筛选后对权重参数进行归一化，提取得到目标更新后的状态。

Images