CN116703983B - 联合遮挡目标检测及目标跟踪方法 - Google Patents

Abstract

本发明公开了一种联合遮挡目标检测及目标跟踪方法，涉及视频处理方法技术领域。所述方法包括：通过目标检测器同时保留高分检测框及低分检测框；利用卡尔曼滤波进行运动目标轨迹预测，得到目标当前帧预测框；运用基于时空特征的目标跟踪方法对高分检测框进行目标跟踪；并利用轨迹预测框与低分检测框的运动轨迹相似度以及时空特征相似度计算，以区分低分检测框为跟踪目标还是背景，达到恢复低分检测目标并过滤掉背景误检的目的。所述方法可以有效的解决目标在遮挡情况下的检测问题，并有效提升在目标遮挡情况下的跟踪性能。

Description

联合遮挡目标检测及目标跟踪方法

技术领域

本发明涉及视频处理方法技术领域，尤其涉及一种联合遮挡目标检测及目标跟踪方法。

背景技术

多年来，目标跟踪(Object Tracking)一直是计算机视觉领域的热门研究课题。在20世纪50年代甚至更早时候，目标跟踪是基于雷达信号进行的，雷达仅能实现以点的形式对目标进行跟踪。随着科学技术的进步，基于计算机视觉信息的目标跟踪逐渐发展，可利用的目标跟踪信息越来越丰富。目标跟踪具有重要的学术研究价值及应用前景。从学术研究角度看，目标跟踪涉及图像处理、机器视觉和多媒体技术等诸多学科领域。从实际应用角度看，目标跟踪在监控领域、虚拟现实、人工智能和自动驾驶等诸多方面得到应用。尽管研究者已提出大量目标跟踪方法，但遮挡问题仍是目标跟踪方法亟待解决的难题。

目标跟踪性能常常受目标检测影响，目标检测的上限决定了目标跟踪性能的上限。目标检测难点主要发生于两种情况：一种情况是当目标发生遮挡时，是否能准确检测及标注目标检测框，即漏检。另一种情况是当出现相似于目标的背景时，是否能正确区分目标与背景，即误检。当前目标跟踪方法是对高分目标检测进行跟踪，低分目标检测常常被忽略。如果缺失这些误认为是背景的低分检测框会导致MOT的不可逆误差，并带来不可忽略的检测缺失和轨迹断连。因此，亟须一种联合遮挡目标检测及目标跟踪方法解决上述问题。

发明内容

本发明所要解决的技术问题是如何提供一种能够解决目标在遮挡情况下的漏检及误检并提升目标在遮挡情况下的跟踪性能的方法。

为解决上述技术问题，本发明所采取的技术方案是：一种联合遮挡目标检测及目标跟踪方法，包括步骤：

S1：通过目标检测器对视频帧进行检测，保留高分检测框，同时保留低分检测框；

S2：运用目标跟踪方法将高分检测框目标与历史轨迹信息进行匹配，并预测下一帧中目标位置；

S3：将低分检测框和不匹配的历史轨迹线关联，通过轨迹预测框与低分检测框的运动相似度，以及历史轨迹时空特征与低分检测时空特征的相似度进行判断；

S4：若历史轨迹与低分目标检测框关联匹配成功，则恢复该低分检测框为确定目标；若低分检测框没有与历史轨迹进行匹配，则认定该低分检测框为背景，舍弃该低分检测框。

进一步的技术方案在于，所述步骤S1中：目标检测器由YOLOX作为主干网络，设置低分检测阈值为0.3，高分检测阈值为0.5；即保留检测得分大于0.3且小于0.5的检测框为低分检测框，检测得分大于0.5的检测框为高分检测框。

进一步的技术方案在于：所述目标跟踪方法为基于时空特征的目标跟踪方法，通过运动轨迹特征与时空特征联合进行数据关联，用于过滤背景对真实目标进行跟踪。

进一步的技术方案在于，所述基于时空特征的目标跟踪方法包括如下步骤：

为每个目标检测框赋予ID身份信息，再对目标进行特征提取及下一帧目标边界框预测；

如果当前帧检测框和轨迹预测框之间的IOU值大于预设的阈值，或者两帧目标的外观特征相似匹配大于阈值，则认为两帧目标为同一ID；若匹配得分小于阈值，则认为数据关联失败；

若关联成功，则完成目标跟踪并记录目标的当前帧位置及外观特征；若关联失败，可能是发生严重遮挡情况，再使用严重遮挡下目标跟踪方法再次进行数据关联；若是第二次数据关联仍未匹配，则将其认为是一条新的轨迹，并给予其新的ID编号。

优选的，所述运动轨迹特征通过卡尔曼滤波方法对目标进行运动轨迹预测。

进一步的技术方案在于：时空特征的提取，使用空间局部相关层来建模关系结构，空间上建立目标与周围环境之间位置的局部相关性；同时在时序信息帧进行相关性学习，将历史帧信息保存下来加强当前帧目标信息。

进一步的技术方案在于，所述时序信息帧进行相关性学习，外观特征部分提取显著性特征，时序信息插入显著特征帧及中间帧与当前帧进行特征增强，在不同的帧目标之间进行多尺度相关性学习，将之前帧保存下来同时加强当前帧的信息。

采用上述技术方案所产生的有益效果在于：所述方法为了提升遮挡目标检测的成功率，提出了跟踪恢复低分目标检测的方法，以区分低分检测框为跟踪目标还是背景。两个低分检测框通过运动模型的预测框联合时空特征关系与历史轨迹进行匹配，从而正确恢复跟踪目标。同时，将判断为背景的低分检测框移除。为了增强预测能力，利用卡尔曼滤波在线性系统中的运动预测能力，通过目标运动轨迹预测帮助跟踪定位，而跟踪定位又能更好的更新卡尔曼滤波器的观测，从而达到相互促进的作用。在MOT Challenge官方网站进行了验证，实验结果充分的证明了该方法的有效性。

所述方法为了提升局部遮挡情况下的目标跟踪性能，提出了一种基于时空特征的目标跟踪方法。基于时空特征的目标跟踪方法结合时空特征与行人运动轨迹预测，从而增强行人与周围环境之间的关系信息，增强行人数据关联效果。将空间局部相关性模块拓展到时间维度上，在时序信息不同的帧之间进行多尺度相关性学习。在MOT Challenge官方网站进行了验证，实验结果充分的证明了该方法的有效性。

本次发明所述方法在应对遮挡情况下的目标检测及目标跟踪中，实现了更好的检测遮挡目标，区分低分检测框为遮挡目标或是背景。通过运动轨迹与时空特征联合进行数据关联，有效提升遮挡目标检测及跟踪性能。此外，本发明所提方法具备可移植性，可应用于监控视频及自动驾驶等诸多领域进行实时目标检测及目标跟踪。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例所述方法的流程图；

图2为本发明实施例所述方法中跟踪方法提升目标检测的示意图；

图3为本发明实施例所述方法中高分检测框与低分检测框划分示意图；

图4为本发明实施例所述方法中基于时空特征的目标跟踪网络结构示意图；

图5为本发明实施例所述方法中目标运动轨迹预测流程图；

图6为本发明实施例所述方法中时空局部相关网络结构示意图；

图7为本发明在MOT17-04验证集可视化跟踪结果示意图；

图8为本发明在MOT20-04验证集可视化跟踪结果示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

总体的，如图1所示，本发明实施例公开了一种联合遮挡目标检测及目标跟踪方法，包括步骤：

S1：通过目标检测器对视频帧进行检测，保留高分检测框，同时保留低分检测框；

S2：运用目标跟踪方法将高分检测框目标与历史轨迹信息进行匹配，并预测下一帧中目标位置；

S3：将低分检测框和不匹配的历史轨迹线关联，通过轨迹预测框与低分检测框的运动相似度，以及历史轨迹时空特征与低分检测时空特征的相似度进行判断；

S4：若历史轨迹与低分目标检测框关联匹配成功，则恢复该低分检测框为确定目标；若低分检测框没有与历史轨迹进行匹配，则认定该低分检测框为背景，舍弃该低分检测框。

如图2所示，为本发明实施例所述方法中跟踪方法提升目标检测的示意图。需要说明的是，低分检测框可能为背景，也可能为目标，若低分检测框被误认为背景将导致目标的丢失，影响该目标的轨迹完整性，甚至可能影响之后的身份识别。因此本发明通过跟踪方法对低分检测框进行辨别，若历史轨迹与低分目标检测框关联匹配成功，则恢复该低分检测框为确定目标；若低分检测框没有与历史轨迹进行匹配，则认定该低分检测框为背景，舍弃该目标检测。高分检测框依旧进行跟踪方法匹配，此步骤目的是提升目标检测的上限，恢复一些误认为是背景的低分检测目标。

如图3所示，为本发明实施例所述方法中高分检测框与低分检测框划分示意图。将低分检测阈值设置为0.3，当检测框得分小于0.3时，判断该检测框内容为背景，则舍弃该检测框。将高分检测阈值设置为0.5，当检测框得分大于低分检测阈值（低分检测框最低分0.3）且小于高分检测阈值（高分检测框最低分0.5）时，则认定为低分检测框。当检测框得分大于高分检测阈值时，则认定为高分检测框。

如图4所示，为本发明实施例所述方法中基于时空特征的目标跟踪方法，所述方法具体包括如下步骤：

初始化阶段：首先为每个目标检测框赋予ID身份信息，再对目标进行特征提取及下一帧目标边界框预测；如果当前帧检测框和轨迹预测框之间的IOU值大于预设的阈值，或者两帧目标的外观特征相似匹配大于阈值，则认为两帧目标为同一ID。若匹配得分小于预设的阈值，则认为数据关联失败。若关联成功，则完成目标跟踪并记录目标的当前帧位置及外观特征；若关联失败，可能是发生严重遮挡情况，再使用严重遮挡下目标跟踪方法再次进行数据关联。若第二次数据关联仍未匹配，那么就将其认为是一条新的轨迹，并给予其新的ID编号。

对于每个视频帧，进行当前视频帧的目标检测/>，。现有轨迹表示/>，/>。然后通过检测与现有轨迹的成对比较，估计亲和矩阵/>，共同考虑了外观特征和位置信息。/>

轨迹的判别特征采用恒定加权策略进行更新，以跟踪外观的变化。外观特征的每个置信度值都是在一个距离度量中获得的，例如，内积空间。然而，仅仅依赖于目标与目标之间的特征比较往往不足以消除图像中多个相似区域的歧义。在类似干扰物的情况下，特征提取器通常会产生不准确、信息不足的匹配一致性，严重影响了数据关联的性能。这是外观特征匹配的关键限制，因为同时出现的相似目标在MOT中都是普遍存在的。

如图5所示，为本发明实施例所述方法中目标运动轨迹预测流程图。所述方法首先输入视频帧，通过目标检测器检测运动目标区域，获取运动目标位置，分析目标运动特征，然后Kalman滤波对目标下一帧运动目标位置进行预测。若预测值与测量值误差较大，通过对Kalman滤波进行校准来减少预测精度的损失，输出修正数据估计值误差进行调节，实现误差较小的最优估计值目标轨迹预测。

如图6所示，为本发明实施例所述方法中时空局部相关网络结构示意图。在时序信息帧进行目标特征相关性学习，将之前帧保存下来同时加强当前帧的特征信息，可以帮助跟踪器克服目标遮挡和运动模糊等问题，并且增强了检测和识别特征的一致性。在空间局部相关模块中，使用空间局部相关层来建模关系结构，以关联一个目标与它的周围“邻居”。在局部相关层中，特征相似度仅在目标图像坐标附近进行记录。为了尽可能的获得更多的空间相关性，在特征金字塔上做局部相关性操作。同时使用膨胀技巧增加感受野，使用像素级别的信息来将相关特征整合进一个统一的外观特征。

为了验证所述方法，在MOT Challenge官方网站上对方法中提出的组件开展了消融研究。使用MOT数据集标准评价指标，包括MOTA、IDF1、MT、ML、FP、FN、ID Sw.等，来评估跟踪性能的不同方面，各指标期望分值如表1所示。在保证相同的实验环境下，消融了以上提出的每个跟踪方法组件：（1）跟踪方法恢复低分检测(Idet)，（2）时空特征模块(STC)。消融分量对比方法分别为Baseline、Baseline+Idet、Baseline+STC与Baseline+Idet+STC，对比分析各模块对实验结果的影响。

表1 MOT challenge评价指标

如表2所示，与经典目标跟踪方法DeepSORT为基线（第1行）相比，IDetTrack（第4行）在MOTA评价指标上提升了5.4%，IDF1指标提高了15.0%。跟踪方法恢复低分数检测(Idet)模块将MOTA指标提高了2.5%，IDF1指标提高了4.0&。时空特征模块(STC)将MOTA指标提高了3.9%，IDF1指标提高了13.3%。结果表明，（1）跟踪方法恢复了低分数检测(Idet)与（2）时空特征模块(STC)是有效的。

表2 验证实验

如图7所示，本发明在MOT17-04验证集可视化跟踪结果示意图。ID为9的目标被前方行人严重遮挡，常常无法准确定位目标从而产生漏检。通过联合遮挡目标检测及目标跟踪方法，该目标在严重遮挡且受灯光环境影响下，仍可实现准确检测并跟踪。通过可视化结果可以发现，视频帧左上角画面中人员密集，目标间发生了频繁遮挡以及大面积遮挡，仍可实现准确标记目标检测框并保持身份信息（可通过ID及检测框颜色判断）不变。

如图8所示，本发明在MOT20-04验证集可视化跟踪结果示意图。ID为991的目标频繁发生遮挡。通过联合遮挡目标检测及目标跟踪方法，该目标在频繁遮挡及周围环境影响下，增强时序特征信息及空间局部相关性，仍可实现遮挡情况下的目标跟踪，并保持关联信息及ID身份信息。

综上，本次发明所述方法在应对遮挡情况下的目标检测及目标跟踪中，实现了更好的检测遮挡目标，区分低分检测框为遮挡目标或是背景。通过运动轨迹与时空特征联合进行数据关联，有效提升遮挡目标检测及跟踪性能。此外，本发明所提方法具备可移植性，可应用于监控视频及自动驾驶等诸多领域进行实时目标检测及目标跟踪。

Claims (3)

1.一种联合遮挡目标检测及目标跟踪方法，其特征在于包括步骤：

S1：通过目标检测器对视频帧进行检测，保留高分检测框，同时保留低分检测框；

S2：运用目标跟踪方法将高分检测框目标与历史轨迹信息进行匹配，并预测下一帧中目标位置；

S3：将低分检测框和不匹配的历史轨迹线关联，通过轨迹预测框与低分检测框的运动相似度，以及历史轨迹时空特征与低分检测时空特征的相似度进行判断；

S4：若历史轨迹与低分目标检测框关联匹配成功，则恢复该低分检测框为确定目标；若低分检测框没有与历史轨迹进行匹配，则认定该低分检测框为背景，舍弃该低分检测框；

所述目标跟踪方法为基于时空特征的目标跟踪方法，通过运动轨迹特征与时空特征联合进行数据关联，用于过滤背景对真实目标进行跟踪；

所述基于时空特征的目标跟踪方法包括如下步骤：

为每个目标检测框赋予ID身份信息，再对目标进行特征提取及下一帧目标边界框预测；

如果当前帧检测框和轨迹预测框之间的IOU值大于预设的阈值，或者两帧目标的外观特征相似匹配大于阈值，则认为两帧目标为同一ID；若匹配得分小于阈值，则认为数据关联失败；

若关联成功，则完成目标跟踪并记录目标的当前帧位置及外观特征；若关联失败，可能是发生严重遮挡情况，再使用严重遮挡下目标跟踪方法再次进行数据关联；若是第二次数据关联仍未匹配，则将其认为是一条新的轨迹，并给予其新的ID编号；

时空特征的提取，使用空间局部相关层来建模关系结构，空间上建立目标与周围环境之间位置的局部相关性；同时在时序信息帧进行相关性学习，将历史帧信息保存下来加强当前帧目标信息；

所述时序信息帧进行相关性学习，外观特征部分提取显著性特征，时序信息插入显著特征帧及中间帧与当前帧进行特征增强，在不同的帧目标之间进行多尺度相关性学习，将之前帧保存下来同时加强当前帧的信息。

2.根据权利要求1所述的联合遮挡目标检测及目标跟踪方法，其特征在于，所述步骤S1中：

目标检测器由YOLOX作为主干网络，设置低分检测阈值为0.3，高分检测阈值为0.5；即保留检测得分大于0.3且小于0.5的检测框为低分检测框，检测得分大于0.5的检测框为高分检测框。

3.根据权利要求1所述的联合遮挡目标检测及目标跟踪方法，其特征在于：所述运动轨迹特征通过卡尔曼滤波方法对目标进行运动轨迹预测。