CN112288775A - 一种基于长短期预测模型的多目标遮挡跟踪方法 - Google Patents

Abstract

本发明公开了一种基于长短期预测模型的多目标遮挡跟踪方法，包括：首先设计基于运动的预测模型和基于外观的预测模型来预测丢失目标位置；其次设计一种自适应加权融合方法来融合这两个预测结果得到短期预测结果；然后通过样条插值法进行预测丢失目标的位置并将其结果视为长期预测结果；最后设计一种自适应加权融合方法来融合长期和短期预测结果。本发明提出的方法解决了多目标跟踪中单一处理某种遮挡时间的问题，可以有效处理不同遮挡时间长度和处理不同类型的遮挡，有效地恢复了目标在遮挡帧期间的位置，提升了跟踪的准确度。在对实际监控数据集的定量和定性测试中，都佐证了本发明所提方法的有效性。

Description

一种基于长短期预测模型的多目标遮挡跟踪方法

技术领域

本发明涉及监控目标跟踪技术领域，特别涉及一种基于长短期预测模型的多目标遮挡跟踪方法。

背景技术

多目标跟踪的任务是给定一段视频，输出视频中所有出现的目标的轨迹。多目标跟踪应用广泛，可应用于多媒体分析、视觉监控和体育分析等。作为计算机视觉领域中的中级任务，多目标跟踪一直是研究学者们研究的重点。

目前主流的多目标跟踪方法是基于检测的跟踪框架，即先使用检测器对视频进行目标检测，然后进行数据关联得到最终的目标运动轨迹。检测结果作为输入，其质量的好坏，对跟踪结果产生巨大的影响。虽然近些年，目标检测取得重大突破，但是在真实监控场景中，由于人群密度较大，频繁遮挡，使得检测器容易产生漏检问题。在基于检测的跟踪框架下，漏检会导致目标容易发生身份频繁切换和目标的轨迹容易分裂等问题，进而降低了跟踪的准确度。因此遮挡处理对多目标跟踪的准确度提升有着重要意义。

目前运动模型是解决遮挡问题的主要方法，如卡尔曼滤波和粒子滤波。基于运动模型的方法主要是根据目标的历史状态来预测下一时刻状态，可以很好的解决短期遮挡问题。然而在长期遮挡过程中，由于没有检测结果对遮挡目标进行更新和校正，使得目标容易跟踪漂移。另外一种解决遮挡问题的方法是基于外观模型的单目标跟踪方法，通过寻找下一帧目标最有可能出现的位置来解决背景遮挡和目标丢失问题。然而一旦目标较多，相似的外观在长期遮挡中容易使目标发生跟踪漂移。近些年，也有一些研究学者使用样条插值法来拟合目标运动轨迹预测目标在丢失帧期间的位置。但是这种方法在短期遮挡中，由于目标位置点较少，使得拟合的曲线不够光滑，与目标真实轨迹有偏差。

发明内容

针对以上问题，本发明提出了一种基于长短期预测模型的多目标跟踪框架来有效的处理遮挡问题和恢复被遮挡目标在遮挡帧期间的位置。该框架由短期预测模型和长期预测模型组成。而其中短期预测模型是由基于外观的预测模型和基于运动的预测模型组成。基于外观的预测模型可以解决漏检和背景遮挡问题，基于运动的预测模型可以解决目标间遮挡问题。为了更好的对长期遮挡的目标进行轨迹恢复，采用样条插值法来构建长期预测模型。最后为了能让跟踪器自适应地选择不同遮挡处理方法，采用了自适应权重融合策略。

针对现有技术的不足，本发明提供了一种基于长短期预测模型多目标遮挡跟踪方法，其核心思想是长期预测模型和短期预测模型，并以自适应加权融合的方法融合这两个预测模型于一体，可以有效地自适应地解决不同类型不同长度的遮挡问题。

本发明的目的可以通过以下技术方案来实现：

一种基于长短期预测模型多目标遮挡跟踪方法，包括以下步骤：

步骤1：使用检测器获得每帧检测结果，初始化目标ID和目标轨迹，并初始化第一帧上所有目标轨迹；

步骤2：将当前帧的检测结果与上一帧目标轨迹进行匹配，得到匹配结果；

步骤3：对于匹配成功的目标轨迹，用与之匹配成功的当前帧的检测结果对其外观进行更新，若存在未匹配成功的目标轨迹，则执行步骤4，若存在未匹配成功的检测结果，则执行步骤5；

步骤4：将未匹配成功的目标轨迹u_i状态设置为中止，并将其ID加入到消失目标集合UT中；

步骤5：若UT为空，则执行步骤6，否则执行步骤7；

步骤6：目标初始化，并将其ID加入到目标轨迹集合T，返回步骤2；

步骤7：将未匹配成功的检测结果u_j和UT中的目标轨迹进行重新匹配，若匹配成功，则执行步骤8，否则返回步骤6；

步骤8：采用基于长短期预测模型遮挡处理方法来恢复丢失目标miss_i在遮挡帧期间的位置；

步骤9：剔除UT中消失的帧数超过阈值th的目标；

步骤10：判断是否为视频最后一帧，如果是，则跟踪结束，否则返回步骤2。

进一步的，步骤2中将当前帧的检测结果与上一帧目标轨迹进行匹配，得到匹配结果的过程具体为：计算当前帧的检测结果i与目标轨迹j在上一帧的位置之间的重叠度，如果重叠度大于设定阈值iou_t，则匹配成功，否则匹配失败，重叠度计算公式如下：

其中，IOU(i，j)为检测结果i与目标轨迹j的重叠度，S_i和S_j分别表示检测结果i与目标轨迹j的边框的面积。

进一步的，步骤8中采用基于长短期预测模型遮挡处理方法来恢复丢失目标i在遮挡帧期间的位置，具体过程为：

首先设计基于外观模型的预测方法对丢失目标在丢失帧期间的位置进行预测，使用如下公式：

其中Q是一个S×Z的二值矩阵，S表示为目标的尺寸大小，Z为帧的水平长度；a，b和f分别为样本，最大响应值和卷积核，其中a_c∈R^Z，b∈R^Z，f∈R^S，C是特征的通道数，a_c和f_c分别样本的第c通道图像和滤波器的第c通道，λ是一个用来正则化的参数，[Δτ_z]是一个循环操作来生成循环样本，||||₂为2范数；

其次设计基于运动模型的预测方法，首先确定出被遮挡目标与遮挡者关系对，计算目标轨迹集合中与目标轨迹i₁最大的重叠面积，具体公式如下

其中Λ为目标轨迹集合T中与目标轨迹i₁最大的重叠度，如果Λ超过阈值th_max，则将对应的目标轨迹i₂的状态来对进行更新，具体使用如下公式

其中第一个等式表示目标轨迹i₁状态预测过程，第二个等式表示目标轨迹i₁利用目标轨迹i₂来对其状态更新；

和

分别表示对应目标轨迹i₁在t和t-1帧时刻的状态，

表示目标轨迹i₂在t帧时刻的观测量，A和H分别为状态转移矩阵和观测矩阵；w_t和v_t分别表示系统过程的噪声和观测过程中产生的噪声；

然后设计一种自适应加权融合方法对基于外观模型预测结果和基于运动模型预测结果进行融合，得到短期预测结果；具体公式如下：

其中，P_S，P_A和P_B分别为短期预测结果，基于外观模型预测结果和基于运动模型预测结果；_μ为二值变量，用来指示遮挡类型，如果目标发生背景遮挡，则取值为0；如果目标发生目标间遮挡，则取值为1；

然后采用样条插值法，将目标出现的坐标作为已知点，来预测未知点的位置，即丢失帧的位置，得到长期预测结果P_L；

最后设计一种自适应加权融合长期预测结果和短期预测结果方法，得到丢失目标在丢失帧期间的最终预测结果，具体采用如下公式：

其中，P_final，P_S和P_L分别为最终预测结果，短期预测结果和长期预测结果，η为目标最大程度上允许消失的帧数，是一个阈值，用来判定目标是否离开场景，ζ是目标消失的帧数。

进一步的，采用增广拉格朗日函数法对公式(2)进行求解。

进一步的，步骤1中根据检测框的坐标位置和尺寸大小来初始化目标轨迹。

与现有多目标跟踪技术相比，本发明具有以下优点和有益效果：

1)与现有技术相比，本发明解决了多目标跟踪中单一处理某种遮挡时间的问题。本发明设计的统一框架可以有效处理不同遮挡时间长度，有效地恢复了目标在遮挡帧期间的位置，提升了跟踪的准确度。

2)本发明采用两种自适应的加权融合策略，可以一个跟踪器应对不同类型和不同遮挡时间长度问题。设计的融合策略，简单有效，使得本发明在实际工程中实现更加容易，提高了工程效率。

附图说明

图1为本发明的系统框架图。

图2为本发明中的遮挡轨迹恢复流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供了一种基于长短期预测的遮挡轨迹恢复方法，与现有方法大多只能处理一种遮挡类型或者一种遮挡时间长度不同，该方法自适应融合了长短期预测模型，能够有效地自适应地处理不同遮挡时间长度和不同遮挡类型的问题。本发明方法先设计基于外观的预测模型和基于运动的预测模型预测遮挡目标在遮挡帧期间的位置，然后通过设计一种自适应加权融合方法融合基于外观和基于运动的预测模型结果得到短期预测结果，其次通过样条插值法对遮挡目标进行预测得到长期预测结果，最后设计一种自适应加权融合方法融合长期和短期预测结果得到遮挡目标在遮挡帧期间的位置。

具体实现包括以下步骤：

步骤1：根据多目标跟踪数据中给出的公开检测结果，获取每帧检测结果。初始化目标ID，根据检测框的坐标位置和尺寸大小来初始化目标轨迹并初始化第一帧所有目标轨迹。

步骤2：将当前帧的检测结果与上一帧目标轨迹进行匹配，得到匹配结果。

该步骤中，计算当前帧的检测结果i与目标轨迹j在上一帧的位置之间的重叠度。如果重叠度大于设定的阈值iou_t，则匹配成功，否则匹配失败。重叠度计算公式如下：

其中，IOU(i，j)为检测结果i与目标轨迹j的重叠度，S_i和S_j分别表示检测结果i与目标轨迹j的边框的面积。

该步骤中的匹配结果有3种情况，分别为成功匹配对、未匹配成功的目标轨迹和未匹配成功的检测结果。

步骤3：对于匹配成功的目标轨迹，用与之匹配成功的当前帧的检测结果对其外观进行更新。若存在未匹配成功的目标轨迹，则执行步骤4。若存在未匹配成功的检测结果，则执行步骤5。

步骤4：将未匹配成功的目标轨迹u_i状态设置为中止，并将其ID加入到消失目标集合UT中；

步骤5：若UT为空，则执行步骤6，否则执行步骤7；

步骤6：目标初始化，并将其ID加入到目标轨迹集合T，返回步骤2。

步骤7：将未匹配成功的检测结果u_j和UT中的目标轨迹进行重新匹配，若匹配成功，则执行步骤8，否则返回步骤6；

该步骤中，采用ResNet网络提取特征，通过余弦距离来计算未匹配成功的检测结果和UT中的目标轨迹之间的外观相似度，如果相似度分数超过阈值th_s，则匹配成功。

步骤8：采用基于长短期预测模型遮挡处理方法来恢复丢失目标miss_i在遮挡帧期间的位置。

该步骤中，首先构建一种基于外观模型预测位置的方法，通过构建一个背景感知滤波器来对丢失目标在丢失帧期间的位置进行预测。主要是使用一个滤波器在图像上进行寻找最大响应的区域，主要使用如下公式：

其中Q是一个S×Z的二值矩阵，S表示为目标的尺寸大小，Z为帧的水平长度。a，b和f分别为样本，最大响应值和卷积核，其中a_c∈R^Z，b∈R^Z，f∈R^S。C是特征的通道数，a_c和f_c分别样本的第c通道图像和滤波器的第c通道。λ是一个用来正则化的参数。[Δτ_z]是一个循环操作来生成循环样本，||||₂为2范数。

进一步的，为了更好的求解上述公式，采用增广拉格朗日函数法进行求解。

其次构建基于运动模型来预测丢失达到位置，通过设计一个改进的卡尔曼滤波方法。首先确定出被遮挡目标与遮挡者关系对，计算目标轨迹集合中与目标轨迹i₁最大的重叠面积，具体公式如下

其中Λ为目标轨迹集合T中与目标轨迹i₁最大的重叠度，如果Λ超过阈值th_max，则将对应的目标轨迹i₂的状态来对进行更新，具体使用如下公式

其中第一个等式表示目标轨迹i₁状态预测过程，第二个等式表示目标轨迹i₁利用目标轨迹i₂来对其状态更新。

和

分别表示对应目标轨迹i₁在t和t-1帧时刻的状态，

表示目标轨迹i₂在t帧时刻的观测量，A和H分别为状态转移矩阵和观测矩阵。w_t和v_t分别表示系统过程的噪声和观测过程中产生的噪声。我们初始化这些参数，后面根据目标匹配到的检测结果对参数进行更新。

紧接着，设计一种自适应加权融合基于外观模型预测结果和基于运动模型预测结果，见图2，具体计算公式如下：

其中，P_S，P_A和P_B分别为短期预测结果，基于外观模型预测结果和基于运动模型预测结果。μ为二值变量，用来指示遮挡类型，如果目标发生背景遮挡，则取值为0；如果目标发生目标间遮挡，则取值为1。

然后设计一种长期预测模型，通过采用样条插值法来对丢失目标长时间丢失帧的位置进行预测得到预测结果P_L。

最后设计了一种自适应加权融合长期预测结果和短期预测结果方法，见图2，计算公式如下：

其中，P_final，P_S和P_L分别为最终预测结果，短期预测结果和长期预测结果。η为目标最大程度上允许消失的帧数，是一个阈值，用来判定目标是否离开场景。ζ是目标消失的帧数。

步骤9：剔除UT中消失的帧数超过阈值th的目标，返回步骤2。

该步骤中，遍历UT集合，如果集合中，有丢失目标的丢失帧数超过设定的阈值th，则认为该丢失目标已经离开场景，将该目标的状态设为停止。

本发明对多目标跟踪数据集进行试验来说明本发明所提方法的有效性。其中测试数据集包括：TUD-Stadtmitte、PETS2009 S2L1、TUD-Campus和ETH-Bahnhof。

本实验采用多目标跟踪准确度(MOTA)和多目标跟踪精确度(MOTP)来考核试验效果。多目标跟踪准确度与误检、漏检和身份转换有关，一般而言，多目标跟踪准确度是多目标跟踪评测中最主要的指标，准确度越高代表跟踪器能够稳定的对目标进行跟踪。多目标跟踪精确度主要是考察跟踪结果与真实值的重叠度，重叠度越高代表跟踪器的结果越精确。

表1在不同数据集下，跟踪器的准确度和精度对比

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于长短期预测模型的多目标跟踪遮挡方法，其特征在于，包括如下步骤：

步骤1：使用检测器获得每帧检测结果，初始化目标ID和目标轨迹，并初始化第一帧上所有目标轨迹；

步骤2：将当前帧的检测结果与上一帧目标轨迹进行匹配，得到匹配结果；

步骤3：对于匹配成功的目标轨迹，用与之匹配成功的当前帧的检测结果对其外观进行更新，若存在未匹配成功的目标轨迹，则执行步骤4，若存在未匹配成功的检测结果，则执行步骤5；

步骤4：将未匹配成功的目标轨迹u_i状态设置为中止，并将其ID加入到消失目标集合UT中；

步骤5：若UT为空，则执行步骤6，否则执行步骤7；

步骤6：目标初始化，并将其ID加入到目标轨迹集合T，返回步骤2；

步骤7：将未匹配成功的检测结果u_j和UT中的目标轨迹进行重新匹配，若匹配成功，则执行步骤8，否则返回步骤6；

步骤8：采用基于长短期预测模型遮挡处理方法来恢复丢失目标miss_i在遮挡帧期间的位置；

步骤9：剔除UT中消失的帧数超过阈值th的目标；

步骤10：判断是否为视频最后一帧，如果是，则跟踪结束，否则返回步骤2。

2.根据权利要求1所述基于长短期预测模型的多目标遮挡跟踪方法，其特征在于：步骤2中将当前帧的检测结果与上一帧目标轨迹进行匹配，得到匹配结果的过程具体为：计算当前帧的检测结果i与目标轨迹j在上一帧的位置之间的重叠度，如果重叠度大于设定阈值iou_t，则匹配成功，否则匹配失败，重叠度计算公式如下：

其中，IOU(i，j)为检测结果i与目标轨迹j的重叠度，S_i和S_j分别表示检测结果i与目标轨迹j的边框的面积。

3.根据权利要求1所述基于长短期预测模型的多目标遮挡跟踪方法，其特征在于：步骤8中采用基于长短期预测模型遮挡处理方法来恢复丢失目标i在遮挡帧期间的位置，具体过程为：

首先设计基于外观模型的预测方法对丢失目标在丢失帧期间的位置进行预测，使用如下公式：

其中Q是一个S×Z的二值矩阵，S表示为目标的尺寸大小，Z为帧的水平长度；a,b和f分别为样本，最大响应值和卷积核，其中a_c∈R^Z,b∈R^Z，f∈R^S，C是特征的通道数，a_c和f_c分别样本的第c通道图像和滤波器的第c通道，λ是一个用来正则化的参数，[Δτ_z]是一个循环操作来生成循环样本，| |||₂为2范数；

其次设计基于运动模型的预测方法，首先确定出被遮挡目标与遮挡者关系对，计算目标轨迹集合中与目标轨迹i₁最大的重叠面积，具体公式如下

其中Λ为目标轨迹集合T中与目标轨迹i₁最大的重叠度，如果Λ超过阈值th_max，则将对应的目标轨迹i₂的状态来对进行更新，具体使用如下公式

其中第一个等式表示目标轨迹i₁状态预测过程，第二个等式表示目标轨迹i₁利用目标轨迹i₂来对其状态更新；

和

分别表示对应目标轨迹i₁在t和t-1帧时刻的状态，

表示目标轨迹i₂在t帧时刻的观测量，A和H分别为状态转移矩阵和观测矩阵；w_t和v_t分别表示系统过程的噪声和观测过程中产生的噪声；

然后设计一种自适应加权融合方法对基于外观模型预测结果和基于运动模型预测结果进行融合，得到短期预测结果；具体公式如下：

其中，P_S，P_A和P_B分别为短期预测结果，基于外观模型预测结果和基于运动模型预测结果；μ为二值变量，用来指示遮挡类型，如果目标发生背景遮挡，则取值为0；如果目标发生目标间遮挡，则取值为1；

然后采用样条插值法，将目标出现的坐标作为已知点，来预测未知点的位置，即丢失帧的位置，得到长期预测结果P_L；

最后设计一种自适应加权融合长期预测结果和短期预测结果方法，得到丢失目标在丢失帧期间的最终预测结果，具体采用如下公式：

其中，P_final，P_S和P_L分别为最终预测结果，短期预测结果和长期预测结果，η为目标最大程度上允许消失的帧数，是一个阈值，用来判定目标是否离开场景，ζ是目标消失的帧数。

4.根据权利要求3所述基于长短期预测模型的多目标遮挡跟踪方法，其特征在于：采用增广拉格朗日函数法对公式(2)进行求解。

5.根据权利要求1所述基于长短期预测模型的多目标跟踪遮挡方法，其特征在于：步骤1中根据检测框的坐标位置和尺寸大小来初始化目标轨迹。

Images