CN115984320A - 基于长短期运动预测和有序数据关联的多目标跟踪方法 - Google Patents

Abstract

本发明涉及一种基于长短期运动预测和有序数据关联的多目标跟踪方法和系统，属于多目标跟踪领域。一方面提出将Transformer时空预测网络应用在多目标跟踪框架中，实现多个目标的长短期运动预测，通过捕捉人群交互和建模时间连续性，可以更有效地预测目标位置，尤其是在长期预测方面更加鲁棒，能帮助因长期遮挡而断裂的轨迹进行重新连接；另一方面，通过建模轨迹的遮挡属性，并联合轨迹活动状态定义了关联优先级，将轨迹进行有序关联，有助于缓解身份切换问题。本发明提高了多目标跟踪的目标匹配度以及其跟踪的精度及速度。

Description

基于长短期运动预测和有序数据关联的多目标跟踪方法

技术领域

本发明涉及视频场景理解与分析领域中的多目标跟踪领域，尤其涉及一种基于长短期运动预测和有序数据关联的多目标跟踪方法。

背景技术

近年来，视频监控系统的普及和相机、手机等硬件成本的降低使得每天都会产生大量视频数据，单靠人工来处理难免耗时耗力，如何借助计算机来高效地分析处理这些数据成为了急需解决的问题。计算机视觉技术研究的正是如何利用计算机来进行目标的检测、定位、跟踪、识别和行为分析等问题，其中多目标跟踪(Multi－Object Tracking，MOT)负责处理跟踪和识别任务，借助目标检测、定位类任务来帮助解决行为分析等任务。因此，多目标跟踪任务一直是计算机视觉的热门领域，备受广大研究人员的关注。多目标跟踪任务的目的是得到视频中每个目标的行动轨迹，除了要定位每个目标在每一帧的具体位置，还要保证每个目标的身份维持不变。多目标跟踪任务所得到的每个目标的行动轨迹，能够提供很多有价值的信息。比如，每个目标的位置、速度、加速度、何时出现、何时消失等信息，这些信息可以用来处理行为识别、行为预测等计算机视觉任务。另外，还可以综合多个轨迹来处理统计人流量，分析目标之间的交互等任务。因此，多目标跟踪技术在诸多领域，如自动驾驶、智能监控、机器人控制等，展现了重要的应用价值。

基于检测的跟踪和联合检测跟踪已成为解决MOT问题的两种主要范式，但如何处理遮挡问题仍然是一个具有挑战性的问题。由于遮挡可能会导致检测器无法输出高质量的检测结果，因此某些轨迹可能会断裂。如何重新连接这些断裂的轨迹，ReID(person re－identification行人重识别)广泛用于长距离的轨迹重连或每帧关联。但是，遮挡、模糊和相似外观等问题会严重影响外观特征。随着轨迹失活期的增加，外观信息变得越来越不可靠。生成更具区分性的嵌入可能会有所帮助，但同时也伴随着更复杂的网络结构和较慢的速度。虽然使用运动线索不会受到遮挡的影响，但在没有观测更新或更新错误的情况下，常用的卡尔曼滤波器在其长期惯性预测方面也是无效的。此外，在数据关联阶段，遮挡容易导致多个轨迹检测对具有相近的相似性分数，直接使用匈牙利算法给出全局最优解可能会产生身份转换问题。

综上所述，现有多目标跟踪算法存在诸多缺陷，其精度及准确度还有待提高。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于长短期运动预测和有序数据关联的多目标跟踪方法，旨在缓解现有多目标跟踪任务中跟踪目标之间的交互遮挡所导致的轨迹断裂和身份切换问题。

根据本发明的第一方面，提供了一种基于长短期运动预测和有序数据关联的多目标跟踪方法，包括：

步骤1，通过检测器检测出视频当前帧的目标观测框及其置信度分数；

步骤2，通过将Transformer时空预测网络融入多目标跟踪框架，利用Transformer时空编码器分别捕捉人群交互和建模时间连续性，实现多个目标的长短期运动预测，得到各目标的目标观测框及其遮挡属性；

步骤3，将轨迹根据遮挡属性得分和轨迹活动状态进行分类，将目标观测框根据置信度分数进行分类，按设定顺序和设定规则对各类的轨迹和目标观测框的进行关联，为每个跟踪轨迹分配对应的目标观测框；

步骤4，根据分配的所述目标观测框对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述步骤2包括：

根据目标的轨迹历史位置信息，构建稀疏图，建模目标间的邻域关系；

将所述稀疏图输入到Transformer空间编码器来捕捉人群交互；

将所述稀疏图输入到Transformer时间编码器来建模轨迹的时间连续性；

联合所述空间编码器和所述时间编码器的特征，通过一个全连接层的解码器，输出各目标在当前帧的位置及其遮挡属性。

可选的，所述稀疏图的构建方法包括：

计算所述目标观测框中心点之间欧式距离；

计算所述目标观测框之间的尺寸差异；

根据视角特点，联合欧式距离和尺寸差异，构建一个非对称的稀疏图来表示目标之间的邻域关系。

可选的，所述步骤3包括：

根据遮挡属性得分将所述轨迹分为遮挡者和被遮挡者，根据轨迹活动状态将所述轨迹分为正常轨迹和失活轨迹；

根据置信度分数将所述目标观测框分为：高分观测框和低分观测框；

按照正常遮挡者轨迹、正常被遮挡者轨迹和失活轨迹的顺序进行三次优先级关联：

第一次关联：将所述正常遮挡者轨迹和所述高分观测框进行关联；

第二次关联：将所述正常被遮挡者轨迹及第一次未关联轨迹和第一次未关联观测框及低分观测框进行关联；

第三次关联：将所述失活轨迹及第二次未关联轨迹和剩余观测框进行关联。

可选的，进行数据关联的过程包括：

计算每个跟踪轨迹和所述目标观测框的重合程度作为代价矩阵，利用KM算法完成数据关联。

可选的，所述步骤4包括：

对于正常的轨迹，将成功关联的所述目标观测框添加到历史轨迹中以进行更新，行短期预测；

对于断裂失活的轨迹，将网络输出的所述目标观测框暂时添加到轨迹中，用于后续网络推断，进行长期预测。

可选的，所述步骤4包括：

计算每个跟踪轨迹和所述目标观测框的重叠程度，为各个跟踪轨迹匹配对应的所述目标观测框；

对于匹配成功的跟踪轨迹，直接更新其相关参数；

对于没有匹配成功的所述目标观测框，视为新出现的目标加入跟踪序列；

对于没有匹配成功的跟踪轨迹，视为丢失状态；如果丢失状态持续超过设定时间，则删除该轨迹。根据本发明的第二方面，提供一种基于长短期运动预测和有序数据关联的多目标跟踪系统，包括：

根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于长短期运动预测和有序数据关联的多目标跟踪方法的步骤。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于长短期运动预测和有序数据关联的多目标跟踪方法的步骤。

本发明提供的一种基于长短期运动预测和有序数据关联的多目标跟踪方法，与现有技术相比，能够取得下列有益效果：

1、针对现有MOT跟踪框架中表观模型无法有效处理长期遮挡，不能有效连接断裂的轨迹的问题，本发明提出了一种基于Transformer的长短期运动预测算法。该算法通过捕捉人群交互和建模时间连续性，通过邻居的有效信息，有效提升了被遮挡目标的长期预测的准确度，助力于轨迹重连，极大的提升了跟踪效果。

2、针对遮挡容易导致多个轨迹检测对具有相近的相似性分数，直接使用匈牙利算法给出全局最优解可能会产生身份转换的问题。本发明提出了一种有序数据关联的多目标跟踪算法，通过建模轨迹的遮挡属性，再联合轨迹的活动状态，将轨迹分类进行有序关联，尽可能的减少关联时多个轨迹检测对具有相近的相似性分数的情况，减少了身份切换，提高了跟踪器在遮挡场景下的鲁棒性。

附图说明

图1为本发明实施例提供的一种基于长短期运动预测和有序数据关联的多目标跟踪方法的流程图；

图2为本发明实施例提供的一种基于Transformer的时空预测网络的结构图；

图3为本发明实施例提供的非对称稀疏图构建方法的示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明提供的一种基于长短期运动预测和有序数据关联的多目标跟踪方法的流程图，如图1所示，该多目标跟踪方法包括：

步骤1，通过检测器检测出视频当前帧的目标观测框及其置信度分数。

步骤2，通过将Transformer时空预测网络融入多目标跟踪框架，利用Transformer时空编码器分别捕捉人群交互和建模时间连续性，实现多个目标的长短期运动预测，得到各目标的目标观测框及其遮挡属性。

步骤3，有序数据关联：将轨迹根据遮挡属性得分和轨迹活动状态进行分类，将目标观测框根据置信度分数进行分类，按设定顺序和设定规则对各类的轨迹和目标观测框的进行关联，为每个跟踪轨迹分配对应的目标观测框。

步骤4，根据分配的目标观测框对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。

本发明提供一种基于长短期运动预测和有序数据关联的在线多目标跟踪方法，一方面提出将Transformer时空预测网络应用在多目标跟踪框架中，实现多个目标的长短期运动预测，通过捕捉人群交互和建模时间连续性，可以更有效地预测目标位置，尤其是在长期预测方面更加鲁棒，能帮助因长期遮挡而断裂的轨迹进行重新连接；另一方面，通过建模轨迹的遮挡属性，并联合轨迹活动状态定义了关联优先级，将轨迹进行有序关联，有助于缓解身份切换问题。本发明提高了多目标跟踪的目标匹配度以及其跟踪的精度及速度。

实施例1

本发明提供的实施例1为本发明提供的一种基于长短期运动预测和有序数据关联的多目标跟踪方法的实施例，结合图1可知，该多目标跟踪方法的实施例包括：

步骤1，通过检测器检测出视频当前帧的目标观测框及其置信度分数。

具体实施中，利用检测器可以检测得到视频每一帧中各个目标的位置。

步骤2，Transformer时空预测网络预测目标位置。

通过将Transformer时空预测网络融入多目标跟踪框架，利用Transformer时空编码器分别捕捉人群交互和建模时间连续性，实现多个目标的长短期运动预测，得到各目标的目标观测框及其遮挡属性。

如图2所示为本发明实施例提供的一种基于Transformer的时空预测网络的结构图，结合图1－图3可知，在一种可能的实施例方式中，步骤2包括：

根据目标的轨迹历史位置信息，构建稀疏图，建模目标间的邻域关系。

将稀疏图输入到Transformer空间编码器来捕捉人群交互。

将稀疏图输入到Transformer时间编码器来建模轨迹的时间连续性。

联合空间编码器和时间编码器的特征，通过一个全连接层的解码器，输出各目标在当前帧的位置及其遮挡属性。

训练过程采用Adam优化器更新网络参数，初始学习率为0.0015，训练200个epochs。为捕捉目标间空间交互，Transformer空间编码器采用公式(1)计算空间注意力。Transformer时间编码器则根据公式(2)独立计算时间维度中每个行人轨迹的自我注意权重。

如图3所示为本发明实施例提供的非对称稀疏图构建方法的示意图，结合图1－图3可知，在一种可能的实施例方式中，稀疏图的构建方法包括：

计算目标观测框中心点之间欧式距离。

计算目标观测框之间的尺寸差异。

根据多目标跟踪场景的视角特点，联合欧式距离和尺寸差异，构建一个非对称的稀疏图来表示目标之间的邻域关系。

步骤3，有序数据关联。

将轨迹根据遮挡属性得分和轨迹活动状态进行分类，将目标观测框根据置信度分数进行分类，按设定顺序和设定规则对各类的轨迹和目标观测框的进行关联，为每个跟踪轨迹分配对应的目标观测框。

在一种可能的实施例方式中，步骤3包括：

根据遮挡属性得分将轨迹分为2类：遮挡者和被遮挡者，根据轨迹活动状态将轨迹分为正常轨迹和失活轨迹。

根据置信度分数将目标观测框分为2类：高分观测框和低分观测框。

将轨迹根据关联优先级分为3类，依次为：正常遮挡者轨迹、正常被遮挡者轨迹和失活轨迹的顺序。

第一次关联：将正常遮挡者轨迹和高分观测框进行关联。

第二次关联：将正常被遮挡者轨迹及第一次未关联轨迹和第一次未关联观测框及低分观测框进行关联。

第三次关联：将失活轨迹及第二次未关联轨迹和剩余观测框进行关联。

在一种可能的实施例方式中，进行数据关联的过程包括：

计算每个跟踪轨迹和目标观测框的重合程度(IOU)作为代价矩阵，接着利用KM(Kuhn－Munkras，带权二分图的最优匹配)算法完成数据关联。

步骤4，轨迹更新。

根据分配的目标观测框对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。

在一种可能的实施例方式中，步骤4包括：

对于正常的轨迹，将成功关联的目标观测框添加到历史轨迹中以进行更新，即只进行短期预测。

对于断裂失活的轨迹，将网络输出的目标观测框暂时添加到轨迹中，以便用于后续网络推断，即进行长期预测。

在一种可能的实施例方式中，步骤4还包括：

计算每个跟踪轨迹和目标观测框的重叠程度，为各个跟踪轨迹匹配对应的目标观测框。

对于匹配成功的跟踪轨迹，直接更新其相关参数。

对于没有匹配成功的目标观测框，视为新出现的目标加入跟踪序列。

对于没有匹配成功的跟踪轨迹，视为丢失状态；如果丢失状态持续超过设定时间，则删除该轨迹。

最终本发明实施例将以上过程整合为统一的多目标跟踪框架。

本发明提供的一种具体应用实施例中，以MOT17测试集(属于MOT Challenge数据集里的子数据集，共包含14个视频数据，拍摄的是街道、商场等不同场景下的行人目标)为例进行效果展示，不同算法在MOT17测试集上的整体跟踪效果如表1所示，其中，MOTA表示整体跟踪正确的轨迹占比，IDF1表示跟踪轨迹的身份置信度得分，MT表示跟踪轨迹中有效长度超过80％的轨迹占比，ML表示跟踪轨迹中有效长度少于20％的轨迹占比，FP表示背景被判作跟踪对象的数量，FN表示跟踪对象被判作背景的数量，ID Sw.表示轨迹中发生身份转换的次数，从表中数据可以看出，本发明方法在MOTA、IDs等指标上与其它算法相比有着巨大的优势，尤其是跟踪准确度MOTA远超其它算法。

表1

本发明实施例提供的一种基于长短期运动预测和有序数据关联的多目标跟踪方法，针对现有MOT跟踪框架中表观模型无法有效处理长期遮挡，不能有效连接断裂的轨迹的问题，本发明提出了一种基于Transformer的长短期运动预测算法。该算法通过捕捉人群交互和建模时间连续性，通过邻居的有效信息，有效提升了被遮挡目标的长期预测的准确度，助力于轨迹重连，极大的提升了跟踪效果。针对遮挡容易导致多个轨迹检测对具有相近的相似性分数，直接使用匈牙利算法给出全局最优解可能会产生身份转换的问题。本发明提出了一种有序数据关联的多目标跟踪算法，通过建模轨迹的遮挡属性，再联合轨迹的活动状态，将轨迹分类进行有序关联，尽可能的减少关联时多个轨迹检测对具有相近的相似性分数的情况，减少了身份切换，提高了跟踪器在遮挡场景下的鲁棒性。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (7)

1.一种基于长短期运动预测和有序数据关联的多目标跟踪方法，其特征在于，所述多目标跟踪方法包括：

步骤1，通过检测器检测出视频当前帧的目标观测框及其置信度分数；

步骤2，通过将Transformer时空预测网络融入多目标跟踪框架，利用Transformer时空编码器分别捕捉人群交互和建模时间连续性，实现多个目标的长短期运动预测，得到各目标的目标观测框及其遮挡属性；

步骤3，将轨迹根据遮挡属性得分和轨迹活动状态进行分类，将目标观测框根据置信度分数进行分类，按设定顺序和设定规则对各类的轨迹和目标观测框的进行关联，为每个跟踪轨迹分配对应的目标观测框；

步骤4，根据分配的所述目标观测框对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。

2.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤2包括：

根据目标的轨迹历史位置信息，构建稀疏图，建模目标间的邻域关系；

将所述稀疏图输入到Transformer空间编码器来捕捉人群交互；

将所述稀疏图输入到Transformer时间编码器来建模轨迹的时间连续性；

联合所述空间编码器和所述时间编码器的特征，通过一个全连接层的解码器，输出各目标在当前帧的位置及其遮挡属性。

3.根据权利要求2所述的多目标跟踪方法，其特征在于，所述稀疏图的构建方法包括：

计算所述目标观测框中心点之间欧式距离；

计算所述目标观测框之间的尺寸差异；

根据视角特点，联合欧式距离和尺寸差异，构建一个非对称的稀疏图来表示目标之间的邻域关系。

4.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤3包括：

根据遮挡属性得分将所述轨迹分为遮挡者和被遮挡者，根据轨迹活动状态将所述轨迹分为正常轨迹和失活轨迹；

根据置信度分数将所述目标观测框分为：高分观测框和低分观测框；

按照正常遮挡者轨迹、正常被遮挡者轨迹和失活轨迹的顺序进行三次优先级关联：

第一次关联：将所述正常遮挡者轨迹和所述高分观测框进行关联；

第二次关联：将所述正常被遮挡者轨迹及第一次未关联轨迹和第一次未关联观测框及低分观测框进行关联；

第三次关联：将所述失活轨迹及第二次未关联轨迹和剩余观测框进行关联。

5.根据权利要求4所述的多目标跟踪方法，其特征在于，进行数据关联的过程包括：

计算每个跟踪轨迹和所述目标观测框的重合程度作为代价矩阵，利用KM算法完成数据关联。

6.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤4包括：

对于正常的轨迹，将成功关联的所述目标观测框添加到历史轨迹中以进行更新，行短期预测；

对于断裂失活的轨迹，将网络输出的所述目标观测框暂时添加到轨迹中，用于后续网络推断，进行长期预测。

7.根据权利要求1所述的多目标跟踪方法，其特征在于，所述步骤4包括：

计算每个跟踪轨迹和所述目标观测框的重叠程度，为各个跟踪轨迹匹配对应的所述目标观测框；

对于匹配成功的跟踪轨迹，直接更新其相关参数；

对于没有匹配成功的所述目标观测框，视为新出现的目标加入跟踪序列；

对于没有匹配成功的跟踪轨迹，视为丢失状态；如果丢失状态持续超过设定时间，则删除该轨迹。

Images