CN115423846A - 多目标轨迹跟踪方法以及装置 - Google Patents

Abstract

本发明公开了一种多目标轨迹跟踪方法以及装置。其中，该方法包括：获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；根据历史轨迹跟踪结果，采用多目标跟踪模型对多个第一跟踪目标进行处理，得到多个第一跟踪目标分别对应的第一预测框；根据历史轨迹跟踪结果，采用卡尔曼滤波算法对多个第一跟踪目标进行处理，得到多个第一跟踪目标分别对应的第二预测框；基于第一预测框和第二预测框，得到多个第一跟踪目标分别对应的目标轨迹跟踪结果。本发明解决了相关技术中存在的多目标跟踪场景下，跟踪效率低，识别能力差的技术问题。

Description

多目标轨迹跟踪方法以及装置

技术领域

本发明涉及多目标跟踪领域，具体而言，涉及一种多目标轨迹跟踪方法以及装置。

背景技术

目前，多目标跟踪技术在自动驾驶、智能监控、行人追踪等多个领域得到了广泛应用。相关技术中常常采用深度学习算法进行持续追踪，在实际的应用中，存在目标轨迹遮挡重叠，图像清晰度不佳，目标密集，运动目标等多种复杂情况，导致对于复杂场景的多目标跟踪结果不理想，造成跟踪准确度低，误检漏检概率高的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种多目标轨迹跟踪方法以及装置，以至少解决相关技术中存在的多目标跟踪场景下，跟踪效率低，识别能力差的技术问题。

根据本发明实施例的一个方面，提供了一种多目标轨迹跟踪方法，包括：获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及所述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；根据所述历史轨迹跟踪结果，采用多目标跟踪模型对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第一预测框；根据所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第二预测框；基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果。

可选地，所述获取所述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果，包括：获取所述前一帧视频图像对应的多个第二跟踪目标，以及所述多个第二跟踪目标分别对应的历史检测框和历史预测框，其中，所述历史检测框对应于未生成历史轨迹的第二跟踪目标，所述历史预测框对应于已生成历史轨迹的第二跟踪目标；将所述历史检测框进行转换处理，基于转换后的历史检测框和所述历史预测框，生成所述历史轨迹跟踪结果。

可选地，所述根据所述历史轨迹跟踪结果，采用多目标跟踪模型对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第一预测框，包括：根据所述历史轨迹跟踪结果，分别判断所述多个第一跟踪目标是否存在历史轨迹；若所述多个第一跟踪目标均存在所述历史轨迹，则采用所述多目标跟踪模型对所述多个第一跟踪目标进行处理，生成所述多个第一跟踪目标分别对应的所述第一预测框。

可选地，所述方法还包括：若所述多个第一跟踪目标中存在没有所述历史轨迹的第一跟踪目标，则将所述多个第一跟踪目标中的没有所述历史轨迹的第一跟踪目标作为第三跟踪目标，以及将所述多个第一跟踪目标中除所述第三跟踪目标之外的第一跟踪目标作为第四跟踪目标；采用所述多目标跟踪模型对所述第三跟踪目标进行处理，生成所述第三跟踪目标对应的第一检测框；采用所述多目标跟踪模型对所述第四跟踪目标进行处理，生成所述第四跟踪目标对应的第一预测框。

可选地，在所述多个第一跟踪目标均存在所述历史轨迹的情况下，所述基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果，包括：将所述第一预测框作为所述多个第一跟踪目标分别对应的所述目标轨迹跟踪结果；在所述多个第一跟踪目标中存在没有所述历史轨迹的所述第三跟踪目标的情况下，所述基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果，包括：基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标中除所述第三跟踪目标之外的所述第四跟踪目标对应的所述目标跟踪轨迹。

可选地，所述基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标中除所述第三跟踪目标之外的所述第四跟踪目标对应的所述目标跟踪轨迹，包括：对所述第四跟踪目标对应的第一预测框与所述第二预测框进行处理，得到所述第四跟踪目标对应的第一交并比；判断所述第一交并比是否小于第一预设阈值；若所述第一交并比小于所述第一预设阈值，则基于所述第四跟踪目标的第一预测框和所述第二预测框，得到所述第四跟踪目标对应的所述目标轨迹跟踪结果。

可选地，所述方法还包括：若所述第一交并比大于或等于所述第一预设阈值，对所述第四跟踪目标的所述第二预测框与所述第三跟踪目标的所述第一检测框进行处理，得到所述第四跟踪目标对应的第二交并比；判断所述第二交并比是否小于第二预设阈值；若所述第二交并比小于所述第二预设阈值，则采用所述第三跟踪目标的所述第一检测框更新所述第四跟踪目标的所述第一预测框，基于所述第三跟踪目标的所述第一检测框和更新后的所述第四跟踪目标的所述第一预测框，得到所述第四跟踪目标对应的所述目标轨迹跟踪结果。

可选地，所述方法还包括：若所述第二交并比大于或等于所述第二预设阈值，采用所述第四跟踪目标的所述第一预测框更新第三跟踪目标的所述第一检测框；基于更新后的第三跟踪目标的所述第一检测框，得到所述第四跟踪目标对应的所述目标轨迹跟踪结果。

可选地，所述根据所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第二预测框，包括：基于所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的运动状态信息；根据所述运动状态信息，得到所述多个第一跟踪目标分别对应的所述第二预测框。

可选地，所述获取所述多目标跟踪模型，包括：获取历史视频信息；确定所述历史视频信息中的历史目标位置信息和历史目标标识信息，将所述历史目标位置信息和所述历史目标标识信息作为多目标训练集；基于所述多目标训练集，采用多目标跟踪算法，得到所述多目标跟踪模型。

根据本发明实施例的另一方面，提供了一种多目标轨迹跟踪装置，包括：第一获取模块，用于获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及所述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；第一生成模块，用于根据所述历史轨迹跟踪结果，采用多目标跟踪模型对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第一预测框；第二生成模块，用于根据所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第二预测框；第三生成模块，用于基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果。

根据本发明实施例的另一方面，提供了一种非易失性存储介质，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行任意一项所述的多目标轨迹跟踪方法。

在本发明实施例中，通过获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及所述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；根据所述历史轨迹跟踪结果，采用多目标跟踪模型对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第一预测框；根据所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第二预测框；基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果。达到了结合多种算法，提升动态跟踪能力的目的，实现了提高跟踪准确性，提高跟踪效率的技术效果，进而解决了相关技术中存在的多目标跟踪场景下，跟踪效率低，识别能力差的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1根据本发明实施例提供的一种可选的多目标轨迹跟踪方法的流程图；

图2根据本发明实施例提供的另一种可选的多目标轨迹跟踪方法的流程图；

图3是根据本发明实施例提供的一种可选的多目标轨迹跟踪装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

多目标识别算法(transformer)，是一种端到端的目标跟踪，目标跟踪效率高。

卡尔曼滤波算法，是一种利用线性系统状态的方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。

多目标跟踪算法，是根据图像信息追踪目标进行检测并获取在图像中的位置。

相关技术中通过多目标跟踪算法对视频序列中的目标进行持续跟踪，获得多个目标的运动轨迹。随着深度学习的发展，基于深度学习的多目标跟踪方法在自动驾驶、智能监控、行人追踪等领域得到了广泛应用，使这些领域得到了快速的发展。但是基于深度学习的多目标跟踪方法仍然存在对于场景复杂、目标轨迹遮挡重叠、目标像素值过小、目标密集等特定场景下准确度低、误检漏检等问题。因此，研究高精度的目标跟踪算法具有重要意义。

在一种相关技术中，多目标跟踪算法主要有：基于检测的跟踪和联合检测和特征提取的跟踪，这两种方法的跟踪效率较低。随着多目标识别算法在计算机视觉领域的应用，端到端的多目标跟踪框架近些年飞速发展，基于注意力的多目标跟踪方法被广泛的研究和应用。多目标识别算法实现查询键机制的多目标跟踪。使用上一帧中检测目标的嵌入向量作为当前帧的查询键，查询其在当前图像中的位置和尺度信息，是一种端到端的目标跟踪，目标跟踪效率高。

基于多目标识别算法的多目标跟踪方法，基于端到端的预测跟踪目标在下一帧的位置，没有充分考虑目标运动特征，即同一个目标在下一帧的位置与当前目标的运动趋势相关。导致目标跟踪效率不理想，跟踪轨迹反复切换。

针对上述问题，本发明实施例提供了一种多目标轨迹跟踪方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的多目标轨迹跟踪方法，如图1所示，该方法包括如下步骤：

步骤S102，获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及上述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；

步骤S104，根据上述历史轨迹跟踪结果，采用多目标跟踪模型对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第一预测框；

步骤S106，根据上述历史轨迹跟踪结果，采用卡尔曼滤波算法对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第二预测框；

步骤S108，基于上述第一预测框和上述第二预测框，得到上述多个第一跟踪目标分别对应的目标轨迹跟踪结果。

通过上述步骤，可以实现结合多种算法，提升动态跟踪能力的目的，实现了提高跟踪准确性，提高跟踪效率的技术效果，进而解决了相关技术中存在的多目标跟踪场景下，跟踪效率低，识别能力差的技术问题。

在本发明实施例提供的多目标轨迹跟踪方法中，为了提升目标轨迹跟踪能力，采用多目标跟踪模型和卡尔曼滤波算法结合。首先，获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及前一帧视频图像对应的历史轨迹跟踪结果。基于历史轨迹跟踪结果，采用多目标跟踪模型，对第一跟踪目标处理得到第一预测框。基于历史轨迹跟踪结果，采用卡尔曼滤波算法，对第一跟踪目标处理得到第二预测框。根据第一预测框和第二预测框，生成对于多个第一跟踪目标分别对应的目标轨迹跟踪结果。

可选地，上述第一跟踪目标可以为多种，例如：将行人、车辆、生物等作为识别目标。

需要说明的是，由于实际应用场景中的目标会随着运动不断地变化，影响跟踪效果，通过第一预测框与第二预测框结合处理，有利用提升多目标跟踪效率。

在一种可选的实施例中，上述获取上述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果，包括：获取上述前一帧视频图像对应的多个第二跟踪目标，以及上述多个第二跟踪目标分别对应的历史检测框和历史预测框，其中，上述历史检测框对应于未生成历史轨迹的第二跟踪目标，上述历史预测框对应于已生成历史轨迹的第二跟踪目标；将上述历史检测框进行转换处理，基于转换后的历史检测框和历史预测框，生成上述历史轨迹跟踪结果。

可以理解，历史轨迹跟踪结果是对多目标跟踪模型和卡尔曼滤波算法的输入，为了获取历史轨迹跟踪结果，首先，获取前一帧视频图像对应的多个第二跟踪目标，在前一帧的处理中，处理得到多个第二跟踪分别对应的目标历史检测框和历史预测框。将历史检测框进行转换处理，基于转换后的历史检测框和历史预测框，得到历史轨迹跟踪结果。

可选的，对历史检测框进行转换处理的方式有多种，例如：将历史检测框进行转换，并将转换后的历史检测框纳入历史预测框，这样处理后的下一帧将根据历史轨迹跟踪结果，为未生成历史轨迹的第二跟踪目标(即历史检测框)生成新的轨迹。

在一种可选的实施例中，上述根据上述历史轨迹跟踪结果，采用多目标跟踪模型对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第一预测框，包括：根据上述历史轨迹跟踪结果，分别判断上述多个第一跟踪目标是否存在历史轨迹；若上述多个第一跟踪目标均存在上述历史轨迹，则采用上述多目标跟踪模型对上述多个第一跟踪目标进行处理，生成上述多个第一跟踪目标分别对应的上述第一预测框。可以理解，根据历史轨迹跟踪结果，可以判断得到多个第一跟踪目标中是否存在历史轨迹的第一跟踪目标。在多个第一跟踪目标中均存在历史轨迹的第一跟踪目标地情况下，为多个第一跟踪目标生成对应地第一预测框。

在一种可选的实施例中，上述方法还包括：若上述多个第一跟踪目标中存在没有上述历史轨迹的第一跟踪目标，则将上述多个第一跟踪目标中的没有上述历史轨迹的第一跟踪目标作为第三跟踪目标，以及将上述多个第一跟踪目标中除上述第三跟踪目标之外的第一跟踪目标作为第四跟踪目标；采用上述多目标跟踪模型对上述第三跟踪目标进行处理，生成上述第三跟踪目标对应的第一检测框；采用上述多目标跟踪模型对上述第四跟踪目标进行处理，生成上述第四跟踪目标对应的第一预测框。

可以理解，在实际应用场景中，多个第一跟踪目标中会存在多种情况，在多个第一跟踪目标中存在上述没有历史轨迹的第一跟踪目标的情况下。将没有历史轨迹的第一跟踪目标作为第三跟踪目标，将存在历史轨迹的第一跟踪目标作为第四跟踪目标。通过多目标跟踪模型的处理后，第三跟踪目标对应生成第一检测框，第四跟踪目标对应生成第一预测框。

需要说明的是，对于多个第一跟踪目标中的任意一个，第一跟踪目标同时存在第一检测框或第一预测框中的任意之一，具有历史轨迹的第一跟踪目标对应第一检测框，没有历史轨迹的第一跟踪目标对应第一预测框。

在一种可选的实施例中，在上述多个第一跟踪目标均存在上述历史轨迹的情况下，上述基于上述第一预测框和上述第二预测框，得到上述多个第一跟踪目标分别对应的目标轨迹跟踪结果，包括：将上述第一预测框作为上述多个第一跟踪目标分别对应的上述目标轨迹跟踪结果；在上述多个第一跟踪目标中存在没有上述历史轨迹的上述第三跟踪目标的情况下，上述基于上述第一预测框和上述第二预测框，得到上述多个第一跟踪目标分别对应的目标轨迹跟踪结果，包括：基于上述第一预测框和上述第二预测框，得到上述多个第一跟踪目标中除上述第三跟踪目标之外的上述第四跟踪目标对应的上述目标跟踪轨迹。

可以理解，按照多个第一跟踪目标均存在上述历史轨迹，以及多个第一跟踪目标中存在没有上述历史轨迹的上述第三跟踪目标进行了两种情况的区分。

在一种可选的实施例中，上述基于上述第一预测框和上述第二预测框，得到上述第四跟踪目标分别对应的目标轨迹跟踪结果，包括：对上述第四跟踪目标的第一预测框与上述第二预测框进行处理，得到上述第四跟踪目标对应的第一交并比；判断上述第一交并比是否小于第一预设阈值；若上述第一交并比小于上述第一预设阈值，则基于上述第四跟踪目标的第一预测框和上述第二预测框，得到上述第四跟踪目标对应的上述目标轨迹跟踪结果。

可以理解，为了提高跟踪能力，通过计算交并比的方法得到目标轨迹跟踪结果。对于存在历史轨迹的第四跟踪目标，对与其对应第一预测框和第二预测框进行处理，得到第一预测框和第二预测框的第一交并比。判断第一交并比是否满足第一预设阈值，若第一交并比小于上述第一预设阈值，则视为多目标跟踪模型得到的第一预测框在当前帧中完成了正确的跟踪，基于第一预测框和第二预测框，得到第四跟踪目标对应的上述目标轨迹跟踪结果。

可选地，上述第一交并比可以为多种，例如：A表示多目标跟踪模型输出的第一预测框，B表示卡尔曼滤波算法输出的第二预测框，A∩B表示A与B并集的面积，A∪B表示A与B交集的面积，通过以下方式获得第一交并比，

其中，IOU1为第一交并比。设置第一预设阈值为1，在第一交并比小于1时，视为多目标跟踪模型得到的第一预测框在当前帧中完成了正确的跟踪，基于第一预测框和第二预测框，得到第四跟踪目标对应的上述目标轨迹跟踪结果。

需要说明的是，交并比的物理意义是计算两个边界框(如上述第一预测框和第二预测框)交集和并集之比。常用于检测目标跟踪能力，在第一预测框和第二预测框完美重叠时，第一交并比就为1，判断第一交并比与预设第一阈值(如：设置为1)之间的关系，可以很好地反映多目标跟踪模型的输出结果的准确性。

在一种可选的实施例中，上述方法还包括：若上述第一交并比大于或等于上述第一预设阈值，对上述第四跟踪目标的上述第二预测框与上述第三跟踪目标的上述第一检测框进行处理，得到上述第四跟踪目标对应的第二交并比；判断上述第二交并比是否小于第二预设阈值；若上述第二交并比小于上述第二预设阈值，则采用上述第三跟踪目标的上述第一检测框更新上述第四跟踪目标的上述第一预测框，基于上述第三跟踪目标的上述第一检测框和更新后的上述第四跟踪目标的上述第一预测框，得到上述第四跟踪目标对应的上述目标轨迹跟踪结果。

可以理解，由于在实际场景中可能存在目标丢失的问题，为了提升鲁棒性，增强多目标跟踪的能力，对于未能正确跟踪的第四跟踪目标进行轨迹校正。在第一交并比大于或等于上述第一预设阈值的情况，视为多目标跟踪模型得到的第一预测框在当前帧中未能正确的跟踪，需要进行矫正。基于上述判断，进行进一步处理，根据第四跟踪目标的第二预测框与第三跟踪目标的第一检测框，得到第二交并比。判断第二交并比是否小于预设的第二阈值，若第二交并比小于预设的第二阈值，则视为算法识别错误，在第三跟踪目标(原视为不存在历史轨迹)中搜寻到了第四跟踪目标的正确跟踪结果。因此，采用第三跟踪目标对应的第一检测框与第四跟踪目标对应的第一预测框进行关联，作为对第一预测框的更新处理。基于第一检测框和更新后的第四跟踪目标的第一预测框，得到第四跟踪目标对应的目标轨迹跟踪结果。

可选地，上述第二交并比可以为多种，例如：C表示卡尔曼滤波算法输出的第二预测框，D表示多目标跟踪模型输出的第一检测框，C∩D表示C与D并集的面积，C∪D表示C与D交集的面积，通过以下方式获得第二交并比，

其中，IOU2为第二交并比。设置第二预设阈值为0.3，在第二交并比小于0.3时，视为在第三跟踪目标中搜寻到了第四跟踪目标的正确跟踪结果，需要进行矫正。因此，基于第一检测框和更新后的第四跟踪目标的第一预测框，得到第四跟踪目标对应的目标轨迹跟踪结果。

在一种可选的实施例中，上述方法还包括：若上述第二交并比大于或等于上述第二预设阈值，采用上述第四跟踪目标的上述第一预测框更新第三跟踪目标的上述第一检测框；基于更新后的第三跟踪目标的上述第一检测框，得到上述第四跟踪目标对应的目标轨迹跟踪结果。

可以理解，在实际应用场景中还存在着丢失跟踪且无法校正的情况，需要重新进行跟踪。在第二交并比大于或等于第二预设阈值的情况下，视为在第三更新目标中未能搜寻到第四跟踪目标的正确跟踪结果，已无法继续现有的跟踪轨迹，需要重新进行跟踪。将第一预测框作为第一检测框，是为了在下一帧中重新建立新的轨迹，对第一检测框进行更新后，得到第四跟踪目标对应的目标轨迹跟踪结果。

在一种可选的实施例中，上述根据上述历史轨迹跟踪结果，采用卡尔曼滤波算法对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第二预测框，包括：基于上述历史轨迹跟踪结果，采用卡尔曼滤波算法对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的运动状态信息；根据上述运动状态信息，得到上述多个第一跟踪目标分别对应的第二预测框。

可以理解，利用了卡尔曼滤波算法的性能，提高对运动趋势的感知能力，为了与多目标跟踪模型获得的第一预测框结合，需要获得第二预测框。首先，基于与多目标追踪模型相同的历史轨迹跟踪结果作为输入，采用卡尔曼滤波算法对多个第一跟踪目标进行处理，得到对应的运动状态信息。基于运动状态信息，得到多个第一跟踪目标分别对应的第二预测框。

可选地，上述运动状态信息可以为多种形式，例如，采用状态空间方式对目标的运动状态进行描述。为了便于理解进行具体举例，例如：建立状态空间为(x，y，r，h，Δx，Δy，Δr，Δh)描述目标的运动状态。其中，(x，y)表示目标中心位置坐标，r是第二预测框的宽高比，h表示第二预测框的高度，Δx、Δy、Δr、Δh分别是x、y、r、h在图像坐标系中关于时间的微分。卡尔曼滤波算法在待检测视频信息的后续帧中预测目标的运动状态，预测结果表示为(x，y，r，n)，通过变换可得到第二预测框的信息，表示为(x，y，w，h)，w表示第二预测框的宽度。

在一种可选的实施例中，上述获取上述多目标跟踪模型，包括：获取历史视频信息；确定上述历史视频信息中的历史目标位置信息和历史目标标识信息，将上述历史目标位置信息和上述历史目标标识信息作为多目标训练集；基于上述多目标训练集，采用多目标跟踪算法，得到上述多目标跟踪模型。

可以理解，上述多目标跟踪模型是采用多目标跟踪算法，基于历史视频信息训练得到。

需要说明的是，上述历史视频信息中的目标种类，复杂程度，训练迭代次数，共同对多目标跟踪模型的跟踪效果产生影响。若历史视频信息的目标种类为行人，则多目标跟踪模型能够跟踪识别的第一跟踪目标也为行人。

基于上述实施例和可选实施例，本发明提出一种可选实施方式，图2根据本发明实施例提供的另一种可选的多目标轨迹跟踪方法的流程图，如图2所示具体为以下步骤：

步骤1，多目标跟踪模型训练，从待检测视频信息中当前帧视频图像，对当前帧视频图像中的多个第一跟踪目标进行位置和标识的标注，构建训练多目标跟踪模型的数据集。使用多目标识别算法构建的第一跟踪目标的跟踪数据集进行模型训练，得到多目标识别模型。

步骤2，多目标跟踪模型结果预测，多目标识别算法能够同时处理，有历史轨迹的第一跟踪目标，以及新出现的第一跟踪目标，其中，将有历史轨迹的作为第四跟踪目标，没有历史轨迹的作为第三跟踪目标。新出现的第一跟踪目标(第四跟踪目标)将在下一帧会被创建跟踪轨迹。多目标识别算法的解码器对输入的查询键，获得历史轨迹跟踪结果，进行注意力计算预测第一跟踪目标的检测结果和预测结果，对应于第一检测框和第一预测框。查询键是由预测第一跟踪目标的跟踪结果的嵌入向量和用于预测第一跟踪目标检测结果的向量构成。用于预测第一跟踪目标跟踪结果的嵌入向量，是由前一帧视频图像中的解码器输出的第二跟踪目标的检测结果和预测结果(对应于历史检测框历史预测框)，以及对应的前一层网络输入的特征向量得到的。用于第三跟踪目标的检测结果(第一检测框)的向量通过随机初始化的方式构建的。多目标识别模型预测结果可表示为：

N＝N_object+N_track

其中，N_object表示第一检测框，N_track表示第一预测框。N_object将在下一帧将被创建成后续的跟踪轨迹，并通过多目标识别模型进行后续轨迹跟踪结果的预测，第一跟踪目标的位置信息使用(x，y，w，h)进行描述，其中，(x，y)表示第一跟踪目标对应的第一预测框的中心位置坐标，w是第一跟踪目标对应的第一预测框的宽度，h表示第一跟踪目标对应的第一预测框的高度。

步骤3，运动估计，将历史轨迹跟踪结果输入卡尔曼滤波算法，在后续帧中不断预测第一跟踪目标在下一帧的位置。使用状态空间(x，y，r，h，Δx，Δy，Δr，Δh)描述第一跟踪目标的运动状态。其中，(x，y)表示目标中心位置坐标，r是第二预测框的宽高比，h表示第二预测框的高度，Δx、Δy、Δr、Δh分别是x、y、r、h在图像坐标系中关于时间的微分。卡尔曼滤波算法在待检测视频信息的后续帧中预测目标的运动状态，预测结果表示为(x，y，r，h)，通过变换可得到第二预测框的信息，表示为(x，y，w，h)，w表示第二预测框的宽度。

步骤4，跟踪结果矫正，对构建的每一条跟踪轨迹，分别计算多目标识别模型获得的第一预测框和卡尔曼滤波算法得到的第二预测框的第一交并比，计算公式可表示为：

其中，A表示多目标跟踪模型输出的第一预测框，B表示卡尔曼滤波算法输出的第二预测框，A∩B表示A与B并集的面积，A∪B表示A与B交集的面积。IOU1为第一交并比。设置第一预设阈值为1，在第一交并比小于1时，视为多目标跟踪模型得到的第一预测框在当前帧中完成了正确的跟踪，基于第一预测框和第二预测框，得到第四跟踪目标对应的上述目标轨迹跟踪结果。

在实际场景中可能存在目标丢失的问题，对于未能正确跟踪的第四跟踪目标进行轨迹校正。根据第四跟踪目标的第二预测框与第三跟踪目标的第一检测框，得到第二交并比。C表示卡尔曼滤波算法输出的第二预测框，D表示多目标跟踪模型输出的第一检测框，C∩D表示C与D并集的面积，C∪D表示C与D交集的面积，通过以下方式获得第二交并比，

其中，IOU2为第二交并比。设置第二预设阈值为0.3，在第二交并比小于0.3时，视为在第三跟踪目标中搜寻到了第四跟踪目标的正确跟踪结果，需要进行矫正。采用第三跟踪目标对应的第一检测框与第四跟踪目标对应的第一预测框进行关联，作为对第一预测框的更新处理。基于第一检测框和更新后的第四跟踪目标的第一预测框，得到第四跟踪目标对应的目标轨迹跟踪结果。

在实际应用场景中还存在着丢失跟踪且无法校正的情况，需要重新进行跟踪。在第二交并比大于或等于第二预设阈值的情况下，视为在第三更新目标中未能搜寻到第四跟踪目标的正确跟踪结果，已无法继续现有的跟踪轨迹，需要重新进行跟踪。在第二交并比大于或等于0.3时，将结束第四跟踪目标的跟踪轨迹，重新在下一帧中建立新的对应的跟踪轨迹。

由上述可选实施方式至少实现以下任意一种效果：使用高效率的多目标跟踪算法构建多目标跟踪模型。在多目标跟踪模型预测目标跟踪结果的同时，使用卡尔曼滤波算法预测目标轨迹在下一帧中的位置。为多目标跟踪模型的端到端跟踪方式，增加了运动特征，有利于提高跟踪能力。卡尔曼滤波算法的预测的目标跟踪信息，用于多目标跟踪模型对于预测目标跟踪结果的纠正。在保证目标跟踪效率的同时，提高多目标跟踪的准确率，减少跟踪轨迹的频繁切换。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种多目标轨迹跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”“装置”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本发明实施例，还提供了一种用于实施多目标轨迹跟踪方法的装置实施例，图3是根据本发明实施例的一种多目标轨迹跟踪装置的示意图，如图3所示，上述多目标轨迹跟踪装置，包括：第一获取模块302，第一生成模块304，第二生成模块306，第三生成模块308，下面对该装置进行说明。

第一获取模块302，用于获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及上述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；

第一生成模块304，与第一获取模块302连接，用于根据上述历史轨迹跟踪结果，采用多目标跟踪模型对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第一预测框；

第二生成模块306，与第一生成模块304连接，用于根据上述历史轨迹跟踪结果，采用卡尔曼滤波算法对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第二预测框；

第三生成模块308，与第二生成模块306连接，用于基于上述第一预测框和上述第二预测框，得到上述多个第一跟踪目标分别对应的目标轨迹跟踪结果。

本发明实施例提供的一种多目标轨迹跟踪装置中，通过设置第一获取模块302，用于获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及上述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；第一生成模块304，与第一获取模块302连接，用于根据上述历史轨迹跟踪结果，采用多目标跟踪模型对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第一预测框；第二生成模块306，与第一生成模块304连接，用于根据上述历史轨迹跟踪结果，采用卡尔曼滤波算法对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第二预测框；第三生成模块308，与第二生成模块306连接，用于基于上述第一预测框和上述第二预测框，得到上述多个第一跟踪目标分别对应的目标轨迹跟踪结果。达到了结合多种算法，提升动态跟踪能力的目的，实现了提高跟踪准确性，提高跟踪效率的技术效果，进而解决了相关技术中存在的多目标跟踪场景下，跟踪效率低，识别能力差的技术问题。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。

此处需要说明的是，上述第一获取模块302，第一生成模块304，第二生成模块306，第三生成模块308对应于实施例中的步骤S102至步骤S108，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。

需要说明的是，本实施例的可选或优选实施方式可以参见实施例中的相关描述，此处不再赘述。

上述多目标轨迹跟踪装置还可以包括处理器和存储器，第一获取模块302，第一生成模块304，第二生成模块306，第三生成模块308等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种非易失性存储介质，其上存储有程序，该程序被处理器执行时实现多目标跟踪方法。

本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及上述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；根据上述历史轨迹跟踪结果，采用多目标跟踪模型对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第一预测框；根据上述历史轨迹跟踪结果，采用卡尔曼滤波算法对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第二预测框；基于上述第一预测框和上述第二预测框，得到上述多个第一跟踪目标分别对应的目标轨迹跟踪结果。本文中的设备可以是服务器、PC等。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及上述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；根据上述历史轨迹跟踪结果，采用多目标跟踪模型对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第一预测框；根据上述历史轨迹跟踪结果，采用卡尔曼滤波算法对上述多个第一跟踪目标进行处理，得到上述多个第一跟踪目标分别对应的第二预测框；基于上述第一预测框和上述第二预测框，得到上述多个第一跟踪目标分别对应的目标轨迹跟踪结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (12)

1.一种多目标轨迹跟踪方法，其特征在于，包括：

获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及所述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；

根据所述历史轨迹跟踪结果，采用多目标跟踪模型对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第一预测框；

根据所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第二预测框；

基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果，包括：

获取所述前一帧视频图像对应的多个第二跟踪目标，以及所述多个第二跟踪目标分别对应的历史检测框和历史预测框，其中，所述历史检测框对应于未生成历史轨迹的第二跟踪目标，所述历史预测框对应于已生成历史轨迹的第二跟踪目标；

将所述历史检测框进行转换处理，基于转换后的历史检测框和所述历史预测框，生成所述历史轨迹跟踪结果。

3.根据权利要求1所述的方法，其特征在于，所述根据所述历史轨迹跟踪结果，采用多目标跟踪模型对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第一预测框，包括：

根据所述历史轨迹跟踪结果，分别判断所述多个第一跟踪目标是否存在历史轨迹；

若所述多个第一跟踪目标均存在所述历史轨迹，则采用所述多目标跟踪模型对所述多个第一跟踪目标进行处理，生成所述多个第一跟踪目标分别对应的所述第一预测框。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述多个第一跟踪目标中存在没有所述历史轨迹的第一跟踪目标，则将所述多个第一跟踪目标中的没有所述历史轨迹的第一跟踪目标作为第三跟踪目标，以及将所述多个第一跟踪目标中除所述第三跟踪目标之外的第一跟踪目标作为第四跟踪目标；

采用所述多目标跟踪模型对所述第三跟踪目标进行处理，生成所述第三跟踪目标对应的第一检测框；

采用所述多目标跟踪模型对所述第四跟踪目标进行处理，生成所述第四跟踪目标对应的第一预测框。

5.根据权利要求4所述的方法，其特征在于，

在所述多个第一跟踪目标均存在所述历史轨迹的情况下，所述基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果，包括：将所述第一预测框作为所述多个第一跟踪目标分别对应的所述目标轨迹跟踪结果；

在所述多个第一跟踪目标中存在没有所述历史轨迹的所述第三跟踪目标的情况下，所述基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果，包括：基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标中除所述第三跟踪目标之外的所述第四跟踪目标对应的所述目标跟踪轨迹。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标中除所述第三跟踪目标之外的所述第四跟踪目标对应的所述目标跟踪轨迹，包括：

对所述第四跟踪目标对应的第一预测框与所述第二预测框进行处理，得到所述第四跟踪目标对应的第一交并比；

判断所述第一交并比是否小于第一预设阈值；

若所述第一交并比小于所述第一预设阈值，则基于所述第四跟踪目标的第一预测框和所述第二预测框，得到所述第四跟踪目标对应的所述目标轨迹跟踪结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所述第一交并比大于或等于所述第一预设阈值，对所述第四跟踪目标的所述第二预测框与所述第三跟踪目标的所述第一检测框进行处理，得到所述第四跟踪目标对应的第二交并比；

判断所述第二交并比是否小于第二预设阈值；

若所述第二交并比小于所述第二预设阈值，则采用所述第三跟踪目标的所述第一检测框更新所述第四跟踪目标的所述第一预测框，基于所述第三跟踪目标的所述第一检测框和更新后的所述第四跟踪目标的所述第一预测框，得到所述第四跟踪目标对应的所述目标轨迹跟踪结果。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

若所述第二交并比大于或等于所述第二预设阈值，采用所述第四跟踪目标的所述第一预测框更新第三跟踪目标的所述第一检测框；

基于更新后的第三跟踪目标的所述第一检测框，得到所述第四跟踪目标对应的所述目标轨迹跟踪结果。

9.根据权利要求1所述的方法，其特征在于，所述根据所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第二预测框，包括：

基于所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的运动状态信息；

根据所述运动状态信息，得到所述多个第一跟踪目标分别对应的所述第二预测框。

10.根据权利要求1至9中任意一项所述的方法，其特征在于，所述获取所述多目标跟踪模型，包括：

获取历史视频信息；

确定所述历史视频信息中的历史目标位置信息和历史目标标识信息，将所述历史目标位置信息和所述历史目标标识信息作为多目标训练集；

基于所述多目标训练集，采用多目标跟踪算法，得到所述多目标跟踪模型。

11.一种多目标轨迹跟踪装置，其特征在于，包括：

第一获取模块，用于获取待检测视频信息中当前帧视频图像对应的多个第一跟踪目标，以及所述当前帧视频图像的前一帧视频图像对应的历史轨迹跟踪结果；

第一生成模块，用于根据所述历史轨迹跟踪结果，采用多目标跟踪模型对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第一预测框；

第二生成模块，用于根据所述历史轨迹跟踪结果，采用卡尔曼滤波算法对所述多个第一跟踪目标进行处理，得到所述多个第一跟踪目标分别对应的第二预测框；

第三生成模块，用于基于所述第一预测框和所述第二预测框，得到所述多个第一跟踪目标分别对应的目标轨迹跟踪结果。

12.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至10中任意一项所述的多目标轨迹跟踪方法。

Images