CN109636829B - 一种基于语义信息和场景信息的多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于语义信息和场景信息的多目标跟踪方法，包括：分别预测场景中各个跟踪目标在当前帧中的位置，利用检测模型对所预测的位置进行修正并获得其语义得分；将修正后的位置作为目标框，获得目标框与对应跟踪目标的历史轨迹之间的相似度，并融合语义得分和相似度，从而得到目标框的跟踪得分；根据目标框的跟踪得分更新场景网格的场景模型，根据场景模型计算目标框的场景置信度，并根据场景置信度更新目标框的跟踪得分；利用检测模型获得当前帧的检测结果，将目标框与检测结果进行匹配，并根据匹配结果和目标框的跟踪得分确定跟踪目标的状态或生成新目标，从而得到当前帧的跟踪结果。本发明能够提高多目标跟踪的鲁棒性和准确性。

Description

一种基于语义信息和场景信息的多目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于语义信息和场景信息的多目标跟踪方法。

背景技术

多目标跟踪是计算机视觉领域的一项重要任务，在自动驾驶、机器人导航以及运动分析等方面有重要的应用价值。多目标跟踪的目标是估计场景中所有跟踪目标在每一帧图像中的位置并且保持同一目标的id不变，以生成目标轨迹。已有的多目标跟踪算法可分为两类：离线算法和在线算法。在离线算法中，多目标跟踪任务通常被描述为一个最优化问题，通过建立简化模型如网络流模型、k部图模型或图割模型，利用优化算法求取最优解，在优化过程中，为得到某一帧的跟踪结果，需要使用该帧之后的时间步信息，因此这类方法不适用于实时在线跟踪。而在线算法在解决当前帧跟踪问题时，仅使用当前帧以及历史信息，应用范围更广。

在线多目标方法中，会同时使用到检测算法和单目标跟踪算法，目前高精度的检测算法均使用深度学习，典型的检测网络有二阶段检测网络Faster-RCNN和RFCN，以及一阶段检测网络YOLO和SSD，其中Faster-RCNN能够达到最高的检测精度；目前主流的单目标跟踪算法有相关滤波和深度学习两个分支，深度学习类算法速度慢，精度高，而相关滤波类算法有效率高的优势，同时也能达到较高的精度。然而，现有的在线多目标跟踪算法只是机械地组合检测算法和单目标跟踪算法，实际上检测和跟踪是单独处理的，这样处理会带来两个问题：(1)检测过程仅针对单幅图像，没有利用视频的序列信息，容易出现轨迹不连续现象；(2)跟踪过程没有利用检测时使用的语义信息，容易发生跟踪漂移。由于存在这两个问题，现有的多目标跟踪算法无法克服频繁遮挡、场景复杂和相机运动等问题。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于语义信息和场景信息的多目标跟踪方法，其目的在于，通过融合序列信息、语义信息和场景信息，提高多目标跟踪的鲁棒性。

为实现上述目的，按照本发明的一个方面，提供了一种基于语义信息和场景信息的多目标跟踪方法，包括如下步骤：

(1)分别预测场景中各个跟踪目标在当前帧中的位置，利用已训练好的检测模型对所预测的位置进行修正并获得其语义得分；

(2)将修正后的位置作为目标框，获得目标框与对应跟踪目标的历史轨迹之间的相似度，并融合语义得分和相似度，从而得到目标框的跟踪得分；

(3)根据目标框的跟踪得分更新场景网格的场景模型，根据场景模型计算目标框的场景置信度，并根据场景置信度更新目标框的跟踪得分；

(4)利用检测模型获得当前帧的检测结果，将目标框与检测结果进行匹配，并根据匹配结果和目标框的跟踪得分确定跟踪目标的状态或生成新目标，从而得到当前帧的跟踪结果；

其中，检测模型以VGG16的前12层为基础网络的Faster-RCNN，检测模型用于检测图像中的各个目标并得到每个检测位置的语义得分；语义得分用于表示对应位置处的目标为跟踪目标的可能性，历史轨迹为跟踪目标在起始帧至上一帧中的位置序列，场景网格为由场景图像预先划分所得的网格，场景模型用于计算目标框的场景置信度，场景置信度用于表示跟踪目标出现在场景网格中的可能性。

进一步地，步骤(1)包括：

若当前帧的上一帧为视频序列中的第一帧，则以第一帧的检测结果所确定的位置为中心确定矩形搜索区域；否则，以上一帧的跟踪结果所确定的位置为中心确定矩形搜索区域；

利用基于HOG特征和颜色直方图特征的相关滤波算法，根据所确定的矩形搜索区域预测场景中各个跟踪目标在当前帧中的位置；

利用检测模型的stage2结构对所预测的位置进行边框回归(bounding box)操作，从而对所预测的位置进行修正并获得其语义得分。

利用检测模型对预测位置进行修正并获得相应的语义得分，能够将检测过程的语义信息和跟踪过程中的序列信息有机融合在一起，从而降低跟踪漂移的可能性并提升检测的召回率。

进一步地，步骤(2)包括：

对于任意一个目标框B，提取其表观特征向量x^t，并获得对应的跟踪目标T在第a帧至第t-1帧的轨迹的表观特征向量x^a:t-1；

计算表观特征向量x^t和表观特征向量x^a:t-1之间的余弦相似度P^match，并由此计算目标框B的跟踪得分为：S^t＝P^rec*P^match；

更新跟踪目标T在第a帧至第t帧的轨迹的表观特征向量为：x^a:t＝(1-ω)x^a:t-1+ωx^t；

其中，a为起始帧编号，t为当前帧编号，P^rec为目标框B的语义得分，ω为加权系数。

在计算目标框的跟踪得分时，同时利用了语义得分和与历史轨迹之间的相似度，能够进一步实现语义信息和序列信息的有机融合。

更进一步地，步骤(2)还包括：根据跟踪得分S^t调整加权系数ω的取值，所采用的公式为：

其中，S^a:t-1为跟踪目标T在第a帧至第t-1帧的跟踪得分的算术平均值。

在决定轨迹状态时充分考虑历史信息，即利用跟踪目标在历史轨迹中的踪得分的算术平均值更新加权系数，能够让跟踪更稳定。

进一步地，场景模型的表达式为：

其中，P_pers表示目标框的场景置信度得分，h表示目标框高度，μ和σ分别为目标框高度的均值和方差。

使用类高斯模型作为网格的场景模型，能够根据视角情况、目标位置和高度判断目标合理性。

进一步地，步骤(3)中，根据目标框的跟踪得分更新场景网格的场景模型，包括：

对于任意一个场景网格G，获得当前帧中属于场景网格G的目标框总数n以及起始帧至上一帧中属于网格G的目标框总数N；

根据目标框总数n和目标框总数N更新均值μ为：

根据目标框总数n和目标框高度分别更新辅助变量α和β为：

根据辅助变量α和β更新方差σ为：

其中，属于场景网格G的目标框的底部中心位于场景网格G且跟踪得分大于预设的第一阈值，μ'、α'和β'分别表示均值μ、辅助变量α和辅助变量β更新前的取值，h_i表示当前帧中属于场景网格G的第i个目标框的高度。

仅使用置信度较高(高于第一阈值)的目标来更新场景模型，能够降低由于误检引入的误差；并且通过动态更新，能够以较小的计算代价随时对模型进行调整，从而提高模型的准确度。

更进一步地，步骤(3)中，根据场景置信度得分更新目标框的跟踪得分的方式为：

对于任意一个目标框B，若其跟踪得分低于预设的高分阈值且高于预设的低分阈值，则获得其底部中心所在场景网格的场景模型M，并根据场景模型M计算目标框B的场景置信度

利用置信度得分

更新目标框B在当前帧的跟踪得分为：

在多目标跟踪过程中，若目标框的跟踪得分高于高分阈值，则可直接认为是可靠跟踪；若目标框的跟踪得分低于低分阈值，则可直接认为是不可靠跟踪；若目标框的跟踪得分在两阈值之间的跟，则是待定的，所以用场景信息来辅助判断对应跟踪目标的可靠程度；因此，对于跟踪得分位于高分阈值和低分阈值之间的目标框，利用场景模型更新其跟踪得分，能够提高其跟踪得分的准确度；

基于上述更新跟踪得分的方法，能够让不符合场景模型的目标框跟踪得分降低，同时符合场景模型的目标框跟踪得分升高，从而从待定目标里面区分可靠跟踪和不可靠跟踪；

若目标框B的跟踪得分高于高分阈值或低于低分阈值，则其跟踪得分S^t保持不变；

其中，η为平滑度因子，S^t'为跟踪得分S^t更新前的取值。

基于场景信息更新目标框的跟踪得分，能够同时实现语义信息、序列信息以及场景信息的融合，能够提高跟踪的准确性，有效减少虚检和漏检的情况。

更进一步地，步骤(4)中，将目标框与检测结果进行匹配，包括：

对于任意一个跟踪目标T，若其目标框B与检测结果中目标D的检测位置之间的IOU大于预设的第二阈值，则判定跟踪目标T匹配到检测位置，且跟踪目标T与目标D匹配；若目标框B与检测结果中所有目标的检测位置之间的IOU均不大于第二阈值，则判定跟踪目标未匹配检测位置。

进一步地，步骤(4)中，根据匹配结果和目标框的跟踪得分确定跟踪目标的状态或生成新目标，包括：

若目标框的跟踪得分低于低分阈值，则判定该目标框所对应的跟踪目标在当前帧中为丢失目标；

对于当前帧中的任意一个丢失目标T_tl，分别计算其目标框与检测结果中每一个检测位置之间的表观相似度，若所计算的任意一个表观相似度大于预设的第三阈值，则判定丢失目标T_tl被重新找到，并将其作为跟踪目标进行跟踪；

对于历史帧F_term中的任意一个丢失目标T_hl，若至当前帧的连续T^term帧中丢失目标T_hl均未被重新找到，则判定其轨迹终止；

对于检测结果中任意一个目标d，若未匹配到跟踪目标且其语义得分高于高分阈值，则初始化目标d为待定新目标；

对于历史帧F_init中的任意一个待定新目标d_new，若至当前帧的连续T^init帧中待定新目标d_new均匹配到检测位置，且与所有丢失目标之间的表观相似度均低于第三阈值，则判定待定新目标d_new为新目标；若至当前帧的连续T^init帧中待定新目标d_new在任意一帧中未匹配到检测位置，则判定待定新目标d_new为虚检并将其轨迹丢弃；若至当前帧的连续T^init帧中待定新目标d_new与任意一个丢失目标之间的表观相似度高于第三阈值，则将待定新目标d_new识别为之前丢失的跟踪目标并进行跟踪；

其中，所述表观相似度为表观特征向量之间的余弦相似度，所述历史帧F_term与当前帧间隔T^term帧，所述历史帧F_init与当前帧间隔T^init帧。

以上确定目标状态的方法，基于融合了语义信息、序列信息和场景信息的跟踪得分确定当前帧中的丢失目标，并结合匹配结果和历史帧序列中的跟踪结果进一步确定当前帧中的丢失目标的状态并生成新目标，能够准确地跟踪目标的轨迹及状态，从而提高轨迹的连续性。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明所提供的基于语义信息和场景信息的多目标跟踪方法，利用检测模型获得目标框的语义得分，并融合跟踪位置的语义信息和与历史轨迹之间的相似度以得到目标框的跟踪得分，实现了语义信息和序列信息的有机融合，由此能够降低跟踪漂移的可能性并提高检测的召回率；根据目标框的场景置信度得分更新目标框的跟踪得分，进一步实现了语义信息、序列信息以及场景信息之间的融合，由此能够提高跟踪的准确性，有效减少虚检和漏检的情况。

(2)本发明所提供的基于语义信息和场景信息的多目标跟踪方法，基于融合了语义信息、序列信息和场景信息的跟踪得分确定当前帧中的丢失目标，并结合匹配结果和历史帧序列中的跟踪结果进一步确定当前帧中的丢失目标的状态并生成新目标，能够准确地跟踪目标的轨迹及状态，从而提高轨迹的连续性。

(3)本发明所提供的基于语义信息和场景信息的多目标跟踪方法，在融合目标框的语义得分和与历史轨迹之间的相似度以得到目标框的跟踪得分的同时，会根据历史信息更新用于计算跟踪得分的加权系数，由此使得跟踪更稳定。

附图说明

图1为本发明实施例提供的基于语义信息和场景信息的多目标跟踪方法的流程图；

图2为本发明实施例提供的检测网络和细节网络的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于语义信息和场景信息的多目标跟踪方法，其总体思路在于：在跟踪的过程中同时融合语义信息、序列信息和场景信息以提高跟踪的准确度、降低跟踪漂移的可能性并提升检测的召回率；基于跟踪得分确定当前帧中的丢失目标，并结合匹配结果和历史帧序列中的跟踪结果进一步确定当前帧中的丢失目标的状态并生成新目标，以准确地跟踪目标的轨迹及状态，从而提高轨迹的连续性。

在以下发明实施例中，所使用的检测模型以VGG16的前12层为基础网络的Faster-RCNN，检测模型用于检测图像中的各个目标并得到每个检测位置的语义得分；训练检测模型的视频序列来自于标准的数据集MOT16，跟踪目标为行人，该数据集由14个视频序列组成，其中7个为训练视频序列，另外7个为测试序列，主要场景为步行街、马路、商场内部，不同视频序列的拍摄视角有差异，视频序列中广泛存在相机抖动、拥挤环境、复杂场景等问题。应当理解的是，其他标准数据集，如MOT15、MOT17等也可用作训练该检测模型的视频序列。

本发明所提供的基于语义信息和场景信息的多目标跟踪方法，如图1所示，包括如下步骤：

(1)分别预测场景中各个跟踪目标在当前帧中的位置，利用已训练好的检测模型对所预测的位置进行修正并获得其语义得分；语义得分用于表示对应位置处的目标为跟踪目标的可能性；

在一个可选的实施方式中，步骤(1)具体包括：

若当前帧的上一帧为视频序列中的第一帧，则以第一帧的检测结果所确定的位置为中心确定矩形搜索区域；否则，以上一帧的跟踪结果所确定的位置为中心确定矩形搜索区域；

利用基于HOG特征和颜色直方图特征的相关滤波算法，根据所确定的矩形搜索区域预测场景中各个跟踪目标在当前帧中的位置；

利用检测模型的stage2结构对所预测的位置进行边框回归(boundingboxregression)操作，从而对所预测的位置进行修正并获得其语义得分；其中，检测模型的stage2结构如图2中所示，用于在特征图上取出感兴趣区域位置的特征，经过3个全连接层，得到用来区分人和背景的特征向量，再将该特征向量分别输入额外的两个全连接层，得到语义得分和边框回归结果；

利用检测模型对预测位置进行修正并获得相应的语义得分，能够将检测过程的语义信息和跟踪过程中的序列信息有机融合在一起，从而降低跟踪漂移的可能性并提升检测的召回率；

(2)将修正后的位置作为目标框，获得目标框与对应跟踪目标的历史轨迹之间的相似度，并融合语义得分和相似度，从而得到目标框的跟踪得分；历史轨迹为跟踪目标在起始帧至上一帧中的位置序列；

在一个可选的实施方式中，步骤(2)具体包括：

对于任意一个目标框B，提取其表观特征向量x^t，并获得对应的跟踪目标T在第a帧至第t-1帧的轨迹的表观特征向量x^a:t-1；

计算表观特征向量x^t和表观特征向量x^a:t-1之间的余弦相似度P^match，并由此计算目标框B的跟踪得分为：S^t＝P^rec*P^match；

更新跟踪目标T在第a帧至第t帧的轨迹的表观特征向量为：x^a:t＝(1-ω)x^a:t-1+ωx^t；

其中，a为起始帧编号，t为当前帧编号，P^rec为目标框B的语义得分，ω为加权系数；

在计算目标框的跟踪得分时，同时利用了语义得分和与历史轨迹之间的相似度，能够进一步实现语义信息和序列信息的有机融合；

在另一个可选的实施方式中，步骤(2)除以上操作外还包括：根据跟踪得分S^t调整加权系数ω的取值，所采用的公式为：

其中，S^a:t-1为跟踪目标在第a帧至第t-1帧的跟踪得分的算术平均值；

在决定轨迹状态时充分考虑历史信息，即利用跟踪目标在历史轨迹中的踪得分的算术平均值更新加权系数，能够让跟踪更稳定；

(3)根据目标框的跟踪得分更新场景网格的场景模型，根据场景模型计算目标框的场景置信度，并根据场景置信度更新目标框的跟踪得分；场景网格为由场景图像预先划分所得的网格，场景模型用于计算目标框的场景置信度，场景置信度用于表示跟踪目标出现在场景网格中的可能性；

在一个可选的实施方式中，场景模型的表达式为：

其中，P_pers表示目标框的场景置信度得分，h表示目标框高度，μ和σ分别为目标框高度的均值和方差；

使用类高斯模型作为网格的场景模型，能够根据视角情况、目标位置和高度判断目标合理性；

基于以上场景模型，步骤(3)中，根据目标框的跟踪得分更新网格的场景模型，包括：

对于任意一个场景网格G，获得当前帧中属于场景网格G的目标框总数n以及起始帧至上一帧中属于场景网格G的目标框总数N；属于场景网格G的目标框的底部中心位于场景网格G且跟踪得分大于预设的第一阈值th^p；

根据目标框总数n和目标框总数N更新均值μ为：

根据目标框总数n和目标框高度分别更新辅助变量α和β为：

根据辅助变量α和β更新方差σ为：

其中，μ'、α'和β'分别表示均值μ、辅助变量α和辅助变量β更新前的取值，h_i表示当前帧中属于场景网格G中的第i个目标框的高度；

根据场景置信度得分更新目标框的跟踪得分的方式为：

对于任意一个目标框B，若其跟踪得分低于预设的高分阈值th^h且高于预设的低分阈值th^l，则获得其底部中心所在场景网格的场景模型M，并根据场景模型M计算目标框B的场景置信度得分

利用置信度得分

更新目标框B在当前帧的跟踪得分为：

在多目标跟踪过程中，若目标框的跟踪得分高于高分阈值th^h，则可直接认为是可靠跟踪；若目标框的跟踪得分低于低分阈值th^l，则可直接认为是不可靠跟踪；若目标框的跟踪得分在两阈值之间的跟，则是待定的，所以用场景信息来辅助判断对应跟踪目标的可靠程度；因此，对于跟踪得分位于高分阈值th^h和低分阈值th^l之间的目标框，利用场景模型更新其跟踪得分，能够提高其跟踪得分的准确度；

基于上述更新跟踪得分的方法，能够让不符合场景模型的目标框跟踪得分降低，同时符合场景模型的目标框跟踪得分升高，从而从待定目标里面区分可靠跟踪和不可靠跟踪；

若目标框B的跟踪得分高于高分阈值th^h或低于低分阈值th^l，则其跟踪得分S^t保持不变；

其中，η为平滑度因子，S^t'为跟踪得分S^t更新前的取值；

基于场景信息更新目标框的跟踪得分，能够同时实现语义信息、序列信息以及场景信息的融合，能够提高跟踪的准确性，有效减少虚检和漏检的情况；

(4)利用检测模型获得当前帧的检测结果，将目标框与检测结果进行匹配，并根据匹配结果和目标框的跟踪得分确定跟踪目标的状态或生成新目标，从而得到当前帧的跟踪结果；

在一个可选的实施方式中，将目标框与检测结果进行匹配，包括：

对于任意一个跟踪目标T，若其目标框B与检测结果中目标D的检测位置之间的IOU大于预设的第二阈值th^m，则判定跟踪目标T匹配到检测位置，且跟踪目标T与目标D匹配；若目标框B与检测结果中所有目标的检测位置之间的IOU均不大于第二阈值th^m，则判定跟踪目标未匹配检测位置；

具体地，步骤(4)中根据匹配结果和目标框的跟踪得分确定跟踪目标的状态，包括：

若目标框的跟踪得分低于低分阈值th^l，则判定该目标框所对应的跟踪目标在当前帧中为丢失目标；

对于当前帧中的任意一个丢失目标T_tl，分别计算其目标框与检测结果中每一个检测位置的表观相似度，若所计算的任意一个表观相似度大于预设的第三阈值th^A，则判定丢失目标T_tl被重新找到，并将其作为跟踪目标进行跟踪；

对于历史帧F_term中的任意一个丢失目标T_hl，若至当前帧的连续T^term帧中丢失目标T_hl均未被重新找到，则判定其轨迹终止；

对于检测结果中任意一个目标d，若为匹配到跟踪目标且其语义得分高于高分阈值th^h，则初始化目标d为待定新目标；

对于历史帧F_init中的任意一个待定新目标d_new，若至当前帧的连续T^init帧中待定新目标d_new均匹配到检测位置，且与所有丢失目标之间的表观相似度均低于第三阈值th^A，则判定待定新目标d_new为新目标；若至当前帧的连续T^init帧中待定新目标d_new在任意一帧中未匹配到检测位置，则判定待定新目标d_new为虚检并将其轨迹丢弃；若至当前帧的连续T^init帧中待定新目标d_new与任意一个丢失目标之间的表观相似度高于第三阈值th^A，则将待定新目标d_new识别为之前丢失的跟踪目标并进行跟踪；

以上确定目标状态的方法，基于融合了语义信息、序列信息和场景信息的跟踪得分确定当前帧中的丢失目标，并结合匹配结果和历史帧序列中的跟踪结果进一步确定当前帧中的丢失目标的状态并生成新目标，能够准确地跟踪目标的轨迹及状态，从而提高轨迹的连续性。

在上述方法中，各阈值均为根据实际的应用场景预设的阈值，在本实施例中，第一阈值th^p的取值高于检测模型的得分阈值(语义得分高于检测模型的得分阈值的目标为跟踪目标)，第二阈值th^m的取值大于0.5，第三阈值、高分阈值和低分阈值则均根据目标框的语义得分的统计结果设定，以上设定使得上述多目标跟踪方法较高的准确度。应当理解的是，在其他应用中，根据具体的应用场景，上述阈值可能会有不同的设定方法。

在以上方法中，使用细节网络(Detail Net)提取目标框或检测位置的表观特征向量。细节网络的结构如图2所示，提取用于区分不同的人的特征向量，该细节网络结构与基本网络(检测网络)结构相同，但没有语义得分和边框回归层，其网络参数则与基本网络不同，是用id损失(区分不同的人)训练得到的。

以MOT16数据集为视频序列，分别测试本发明所提供的多目标跟踪方法(DTCloud)和现有的在线多目标跟踪方法(oICF、STAM16和AMIR)之间的性能并进行比较，比较指标包括多目标跟踪综合准确率(MOTA)，该指标越高，表示多目标跟踪算法综合性能越好；多目标跟踪精度(MOTP)，反映跟踪目标框与groundtruth的接近程度，越高越好；总虚检数量(FP)和总漏检数量(FN)，越低越好；基本跟踪正确目标比例(MT)，即80％或以上的轨迹被正确跟踪的目标占总目标的比例，越高越好；基本丢失目标比例(ML)，即80％或以上的轨迹未被正确跟踪的目标占总目标的比例，越低越好；轨迹间断总次数(Frag)，越低越好；其中，最为重要的指标为MOTA。具体的性能测试结果如表1所示。根据表1所示的结果可知，本发明所提供的基于语义信息和场景信息的多目标跟踪方法，其MOTA指标高于其他方法，且MT和ML指标较优，说明本发明所提供的基于语义信息和场景信息的多目标跟踪方法，整体性能优于其他方法，且漏检较少，跟踪准确率较高。

表1多目标跟踪方法性能指标

方法

类型

MOTA↑

MOTP↑

MT↑

ML↓

FP↓

FN↓

oICF

在线

43.2％

74.3％

11.3％

48.5％

6651

96515

STAM16

在线

46.0％

74.9％

14.6％

43.6％

6895

91117

AMIR

在线

47.2％

75.8％

14.0％

41.6％

2681

92856

DTCloud

在线

49.0％

75.6％

15.8％

37.9％

4116

87973

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于语义信息和场景信息的多目标跟踪方法，其特征在于，包括如下步骤：

(1)分别预测场景中各个跟踪目标在当前帧中的位置，利用已训练好的检测模型对所预测的位置进行修正并获得其语义得分；

(2)将修正后的位置作为目标框，获得目标框与对应跟踪目标的历史轨迹之间的相似度，并融合所述语义得分和所述相似度，从而得到目标框的跟踪得分；

(3)根据目标框的跟踪得分更新场景网格的场景模型，根据所述场景模型计算目标框的场景置信度，并根据所述场景置信度更新目标框的跟踪得分；

(4)利用所述检测模型获得当前帧的检测结果，将目标框与所述检测结果进行匹配，并根据匹配结果和目标框的跟踪得分确定跟踪目标的状态或生成新目标，从而得到当前帧的跟踪结果；

其中，所述检测模型是以VGG16的前12层为基础网络的Faster-RCNN，所述检测模型用于检测图像中的各个目标并得到每个检测位置的语义得分；所述语义得分用于表示对应位置处的目标为跟踪目标的可能性，所述历史轨迹为跟踪目标在起始帧至上一帧中的位置序列，所述场景网格为由场景图像预先划分所得的网格，所述场景模型用于计算目标框的场景置信度，所述场景置信度用于表示跟踪目标出现在场景网格中的可能性；

所述步骤(3)中，根据目标框的跟踪得分更新场景网格的场景模型，包括：

对于任意一个场景网格G，获得当前帧中属于所述场景网格G的目标框总数n以及起始帧至上一帧中属于所述场景网格G的目标框总数N；

根据所述目标框总数n和所述目标框总数N更新目标框高度的均值μ为：

根据所述目标框总数n和目标框高度分别更新辅助变量α和β为：

根据所述辅助变量α和β更新目标框高度的方差σ为：

其中，属于所述场景网格G的目标框的底部中心位于所述场景网格G且跟踪得分大于预设的第一阈值，μ'、α'和β'分别表示所述均值μ、所述辅助变量α和所述辅助变量β更新前的取值，h_i表示当前帧中属于所述场景网格G的第i个目标框的高度。

2.如权利要求1所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(1)包括：

若当前帧的上一帧为视频序列中的第一帧，则以第一帧的检测结果所确定的位置为中心确定矩形搜索区域；否则，以上一帧的跟踪结果所确定的位置为中心确定矩形搜索区域；

利用基于HOG特征和颜色直方图特征的相关滤波算法，根据所确定的矩形搜索区域预测场景中各个跟踪目标在当前帧中的位置；

利用所述检测模型的stage2结构对所预测的位置进行边框回归操作，从而对所预测的位置进行修正并获得其语义得分。

3.如权利要求1或2所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(2)包括：

对于任意一个目标框B，提取其表观特征向量x^t，并获得对应的跟踪目标T在第a帧至第t-1帧的轨迹的表观特征向量x^a:t-1；

计算所述表观特征向量x^t和所述表观特征向量x^a:t-1之间的余弦相似度P^match，并由此计算所述目标框B的跟踪得分为：S^t＝P^rec*P^match；

更新所述跟踪目标T在第a帧至第t帧的轨迹的表观特征向量为：x^a:t＝(1-ω)x^a:t-1+ωx^t；

其中，a为起始帧编号，t为当前帧编号，P^rec为所述目标框B的语义得分，ω为加权系数。

4.如权利要求3所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(2)还包括：根据所述跟踪得分S^t调整所述加权系数ω的取值，所采用的公式为：

其中，S^a:t-1为所述跟踪目标T在第a帧至第t-1帧的跟踪得分的算术平均值。

5.如权利要求1或2所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述场景模型的表达式为：

其中，P_pers表示目标框的场景置信度，h表示目标框高度，μ和σ分别为目标框高度的均值和方差。

6.如权利要求5所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(3)中，根据所述场景置信度更新目标框的跟踪得分的方式为：

对于任意一个目标框B，若其跟踪得分低于预设的高分阈值且高于预设的低分阈值，则获得其底部中心所在场景网格的场景模型M，并根据所述场景模型M计算所述目标框B的场景置信度

利用所述置信度

更新所述目标框B在当前帧的跟踪得分为：

若所述目标框B的跟踪得分高于所述高分阈值或低于所述低分阈值，则其跟踪得分S^t保持不变；

其中，η为平滑度因子，S^t'为所述跟踪得分S^t更新前的取值。

7.如权利要求1或2所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(4)中，将目标框与所述检测结果进行匹配，包括：

对于任意一个跟踪目标T，若其目标框B与所述检测结果中目标D的检测位置之间的IOU大于预设的第二阈值，则判定所述跟踪目标T匹配到检测位置，且所述跟踪目标T与所述目标D匹配；若所述目标框B与所述检测结果中所有目标的检测位置之间的IOU均不大于所述第二阈值，则判定所述跟踪目标未匹配到检测位置。

8.如权利要求6所述的基于语义信息和场景信息的多目标跟踪方法，其特征在于，所述步骤(4)中，根据匹配结果和目标框的跟踪得分确定跟踪目标的状态，包括：

若目标框的跟踪得分低于预设的低分阈值，则判定该目标框所对应的跟踪目标在当前帧中为丢失目标；

对于当前帧中的任意一个丢失目标T_tl，分别计算其目标框与所述检测结果中每一个检测位置之间的表观相似度，若所计算的任意一个表观相似度大于预设的第三阈值，则判定所述丢失目标T_tl被重新找到，并将其作为跟踪目标进行跟踪；

对于历史帧F_term中的任意一个丢失目标T_hl，若至当前帧的连续T^term帧中所述丢失目标T_hl均未被重新找到，则判定其轨迹终止；

对于所述检测结果中的任意一个目标d，若未匹配到跟踪目标且其语义得分高于预设的高分阈值，则初始化所述目标d为待定新目标；

对于历史帧F_init中的任意一个待定新目标d_new，若至当前帧的连续T^init帧中所述待定新目标d_new均匹配到检测位置，且与所有丢失目标之间的表观相似度均低于所述第三阈值，则判定所述待定新目标d_new为新目标；若至当前帧的连续T^init帧中所述待定新目标d_new在任意一帧中未匹配到检测位置，则判定所述待定新目标d_new为虚检并将其轨迹丢弃；若至当前帧的连续T^init帧中所述待定新目标d_new与任意一个丢失目标之间的表观相似度高于所述第三阈值，则将所述待定新目标d_new识别为之前丢失的跟踪目标并进行跟踪；

其中，所述表观相似度为表观特征向量之间的余弦相似度，所述历史帧F_term与当前帧间隔T^term帧，所述历史帧F_init与当前帧间隔T^init帧。

Images