CN110619658A - 对象跟踪方法、对象跟踪装置和电子设备 - Google Patents

Abstract

公开了一种对象跟踪方法、对象跟踪装置和电子设备。该对象跟踪方法包括：从视频的当前帧中检测出至少一个目标对象；使用所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息；通过用于重识别的第一神经网络获得所述当前帧的特征图；基于所述至少一个目标对象的遮挡信息、朝向信息和所述特征图获得所述至少一个目标对象的融合跟踪特征；以及，基于所述融合跟踪特征确定所述至少一个目标对象的轨迹。这样，改善了目标对象的跟踪效果。

Description

对象跟踪方法、对象跟踪装置和电子设备

技术领域

本申请涉及计算机视觉领域，且更为具体地，涉及一种对象跟踪方法，对象跟踪装置和电子设备。

背景技术

多目标多相机跟踪(MTMCT)是计算机视觉中的重要问题，且在公共安全领域中得到广泛应用。MTMCT用于跟踪跨相机的多个目标，这不同于单相机的多对象跟踪(MOT)。多个相机构成的相机网络具有比单个相机更广的视角，因此具有更广泛的应用前景。

MTMCT的主要目的是从由一组相机捕获的视频中提取目标对象的轨迹。近年来，通过采用重识别模型(Re-ID)，MTMCT的跟踪性能得到了显著的增强。但是，在多个相机的场景下，外观特征常常变得不稳定。

另外，在单个相机的场景下，如果视频中存在多个对象，也容易产生诸如目标切换和轨迹断裂等问题。

因此，期望提供改进的对象跟踪方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种对象跟踪方法、对象跟踪装置和电子设备，其结合目标对象的遮挡信息和朝向信息来确定目标对象的轨迹，改善了目标对象的跟踪效果。

根据本申请的一方面，提供了一种对象跟踪方法，包括：从视频的当前帧中检测出至少一个目标对象；使用所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息；通过用于重识别的第一神经网络获得所述当前帧的特征图；基于所述至少一个目标对象的遮挡信息、朝向信息和所述特征图获得所述至少一个目标对象的融合跟踪特征；以及，基于所述融合跟踪特征确定所述至少一个目标对象的轨迹。

根据本申请的另一方面，提供了一种对象跟踪装置，包括：目标检测单元，用于从视频的当前帧中检测出至少一个目标对象；信息确定单元，用于使用所述目标检测单元检测到的所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息；特征图获得单元，用于通过用于重识别的第一神经网络获得所述当前帧的特征图；特征融合单元，用于基于所述信息确定单元所确定的所述至少一个目标对象的遮挡信息、朝向信息和所述特征图获得单元所获得的所述特征图获得所述至少一个目标对象的融合跟踪特征；以及，轨迹确定单元，用于基于所述特征融合单元所获得的所述融合跟踪特征确定所述至少一个目标对象的轨迹。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的对象跟踪方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的对象跟踪方法。

本申请提供的对象跟踪方法、对象跟踪装置和电子设备通过重识别的神经网络获得特征图，并将特征图与目标对象的遮挡信息和朝向信息相结合，从而能够更好地使用重识别的神经网络所提取的外观特征。这样，使得要跟踪的轨迹特征包含有目标对象的遮挡状态和朝向状态等信息，特别是在多目标场景下能够更准确地确定目标对象的轨迹，改善了目标对象的跟踪效果。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的对象跟踪方法的流程图。

图2图示了根据本申请实施例的对象跟踪方法中确定对象的遮挡状态的过程的示例的流程图。

图3图示了根据本申请实施例的对象跟踪方法中的融合跟踪特征的示意图。

图4图示了根据本申请实施例的对象跟踪方法中确定目标对象的轨迹的过程的示例的流程图。

图5图示了根据本申请实施例的对象跟踪方法中建立距离矩阵的过程的示例的流程图。

图6图示了根据本申请实施例的对象跟踪方法中建立距离矩阵的过程的场景示意图。

图7图示了根据本申请实施例的对象跟踪方法中基于匹配结果确定目标对象轨迹的过程的示例的流程图。

图8图示了根据本申请实施例的对象跟踪方法中的轨迹召回的过程的示例的流程图。

图9图示了根据本申请实施例的对象跟踪方法中的轨迹聚合的过程的示例的流程图。

图10图示了根据本申请实施例的对象跟踪方法中的多摄像头目标跟踪过程的示例的流程图。

图11图示了根据本申请实施例的对象跟踪装置的第一示例的框图。

图12图示了根据本申请实施例的对象跟踪装置的信息确定单元的示例的框图。

图13图示了根据本申请实施例的对象跟踪装置的轨迹确定单元的示例的框图。

图14图示了根据本申请实施例的对象跟踪装置的距离矩阵建立子单元的示例的框图。

图15图示了根据本申请实施例的对象跟踪装置的轨迹确定子单元的第一示例的框图。

图16图示了根据本申请实施例的对象跟踪装置的轨迹确定子单元的第二示例的框图。

图17图示了根据本申请实施例的对象跟踪装置的轨迹确定子单元的第三示例的框图。

图18图示了根据本申请实施例的对象跟踪装置的第二示例的框图。

图19图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，无论是在单个相机还是多个相机的对象跟踪场景下，都经常存在目标对象之间互相遮挡，以及背景干扰等问题，导致目标对象的跟踪性能下降，且目标对象的外观特征不稳定也进而影响跟踪性能。

现有的跟踪方法通常采用对象重识别技术，例如行人重识别技术来提取目标对象的外观特征，然而目标对象的外观在不同朝向下具有较大的差异，直接使用行人重识别网络等提取目标对象的外观特征而忽略目标对象的朝向等因素不能充分地利用行人重识别网络提取的外观特征。

例如，现有的跟踪方法只是简单地使用外观特征来表示跟踪的目标，例如取轨迹最新的外观特征或者取轨迹所有外观特征的平均。然而，由于光照变化，摄像角度以及朝向等因素，目标对象的外观是多变的，很难通过单一模型来表示。例如，目标对象为行人或者车辆时，所获得的行人或者车辆的图像可能为正面图像、背面图像、侧面图像等，也就是，外观特征可能是行人或者车辆的正面外观特征、背面外观特征或者侧面外观特征。另外，由于遮挡的存在，所获得的行人或者车辆的图像可能仅呈现出行人或者车辆的一部分，例如左半部分、上部、下部等，也就是，外观特征可能是行人或者车辆的左半部分外观特征、上部外观特征或者下部外观特征。因此，即使对于同一对象，例如行人或者车辆，所获得的外观特征也是多变的。此外，当目标对象被其他物体或者其他目标对象遮挡时，其外观特征是不稳定的，而需要专门解决由于遮挡引发的问题。

同时，现有的跨摄像头多目标跟踪方案往往采用复杂的图模型对整个跟踪序列进行建模，通常利用运动信息与外观信息的结合。当视频序列较大时，模型的求解较为耗时，且对内存资源的占用较大，实用性较差。

基于上述技术问题，本申请的基本构思是使用从当前帧检测到的目标对象的关键点来确定其遮挡信息和朝向信息，并与通过重识别的神经网络获得的特征图结合以获得融合跟踪特征，从而基于融合跟踪特征来进行对象跟踪。

具体地，本申请提供的对象跟踪方法、对象跟踪装置和电子设备首先从视频的当前帧中检测出至少一个目标对象，再使用所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息，然后通过用于重识别的第一神经网络获得所述当前帧的特征图，再基于所述至少一个目标对象的遮挡信息、朝向信息和所述特征图获得所述至少一个目标对象的融合跟踪特征，最后基于所述融合跟踪特征确定所述至少一个目标对象的轨迹。

这样，本申请提供的对象跟踪方法、对象跟踪装置和电子设备通过使用目标对象的关键点推断出的目标对象的遮挡与朝向，能够更好地使用重识别的神经网络所提取的目标对象的外观特征，从而获得包含目标对象的状态信息的轨迹外观特征。因此，本申请提供的对象跟踪方法、对象跟踪装置和电子设备特别是在多目标场景下能够考虑多个目标对象之间的遮挡和朝向等影响轨迹外观特征的使用的因素，从而更准确地确定目标对象的轨迹，改善了目标对象的跟踪效果。

值得注意的是，本申请提供的对象跟踪方法、对象跟踪装置和电子设备可以应用于各种场景，比如自动驾驶或者安防场景下的行人跟踪，在这种情况下，所述重识别的神经网络可以是行人重识别神经网络。此外，本申请提供的对象跟踪方法、对象跟踪装置和电子设备还可以应用于其它类型的目标对象，比如车辆的跟踪，相应地，所述重识别的神经网络是用于其它目标对象的重识别的神经网络。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图1图示了根据本申请实施例的对象跟踪方法的流程图。

如图1所示，根据本申请实施例的对象跟踪方法包括以下步骤。

步骤S110，从视频的当前帧中检测出至少一个目标对象。例如，可以使用用于目标检测的神经网络从视频的当前帧中检测目标对象，所述神经网络可以是候选框提取网络，其检测所述视频的当前帧中要跟踪的至少一个目标对象，且输出所述至少一个目标对象的检测框。

步骤S120，使用所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息。在检测到所述至少一个目标对象之后，可以使用姿态估计方法来提取所述至少一个目标对象的关键点，例如，对于人体来说，可以提取包含头部，躯干以及四肢等部分的关键点。然后，基于所述关键点来确定所述至少一个目标对象的遮挡和朝向。

步骤S130，通过用于重识别的第一神经网络获得所述当前帧的特征图。如上所述，取决于要跟踪的目标对象的类型，使用不同类型的神经网络，例如行人重识别神经网络(比如Resnet-34深度神经网络)来获得所述当前帧的特征图。所述特征图包含所述第一神经网络所提取出的所述至少一个目标对象的外观特征，例如，所述特征图包括从候选框提取网络所获得的至少一个检测框提取的外观特征，所述外观特征可以是一个128维的特征向量。

步骤S140，基于所述至少一个目标对象的遮挡信息、朝向信息和所述特征图获得所述至少一个目标对象的融合跟踪特征。如上所述，如果重识别的神经网络所提取的目标对象的外观特征不考虑所述目标对象的遮挡和朝向，则所述外观特征无法感知目标对象当前所处的状态，从而导致尤其是在多目标跟踪场景下从视频的各个帧检测到的外观特征不稳定，影响目标对象的跟踪效果。

具体来说，如果在前一帧中某个目标对象无遮挡，而在当前帧中该目标对象有遮挡，则通过重识别的神经网络所获得的前一帧的该目标对象的外观特征与当前帧的该目标对象的外观特征可能具有很大不同，从而导致将当前帧中的该目标对象误认为与前一帧中的该目标对象不同，造成对象跟踪的错误。而在根据本申请实施例的对象跟踪方法中，由于所述融合跟踪特征结合了所述目标对象的遮挡信息和朝向信息，从而可降低重识别的神经网络从视频的各个帧检测到的外观特征的不稳定性。

步骤S150，基于所述融合跟踪特征确定所述至少一个目标对象的轨迹。也就是，在本申请实施例中，基于所述融合跟踪特征，可以确定检测到的所述至少一个目标对象的检测框所归属的目标对象，这样，根据本申请实施例的对象检测方法可以从视频的各个帧中获得属于各个目标对象的一系列检测框，从而获得所述目标对象在视频中的轨迹。

如上所述，在本申请中，由于基于结合了所述目标对象的遮挡信息和朝向信息的所述融合跟踪特征来确定所述目标对象的轨迹，可以基于稳定的外观特征来进行目标对象的跟踪，从而获得目标对象的准确的轨迹。

因此，根据本申请实施例的对象跟踪方法通过使用目标对象的关键点推断出的目标对象的遮挡与朝向，即目前对象的当前状态，能够更好地使用重识别的神经网络所提取的目标对象的外观特征，从而获得目标对象的包含状态信息的轨迹外观特征。因此，通过使用该包含状态信息的轨迹外观特征，根据本申请实施例的对象跟踪方法特别是在多目标场景下能够更准确地确定目标对象的轨迹，从而改善了目标对象的跟踪效果。

图2图示了根据本申请实施例的对象跟踪方法中确定对象的遮挡状态的过程的示例的流程图。

如图2所示，在如图1所示的实施例的基础上，步骤S120包括以下步骤。

步骤S1201，通过姿态估计提取所述至少一个目标对象的多个关键点。具体地，可以通过用于姿态估计的神经网络提取目标对象的关键点，例如提取人体的包含头部、躯干和四肢的十七个关键点。

步骤S1202，确定每个关键点对应的置信度。例如，在例如通过神经网络提取关键点时，可以确定每个关键点对应的置信度。

步骤S1203，将所述置信度高于置信度阈值的关键点确定为有效关键点。也就是，如果某个关键点的置信度大于一定的置信度阈值，例如0.3，则该关键点可以被确定为有效的关键点。

步骤S1204，基于所述有效关键点的数目确定所述至少一个目标对象的遮挡状态。具体地，可以预先设置有效关键点的数目阈值，如果所述有效关键点的数目大于该数目阈值，则确定所述至少一个目标对象的遮挡状态为无遮挡。否则，如果所述有效关键点的数目小于或等于该数目阈值，则确定所述至少一个目标对象的遮挡状态为有遮挡。

这里，可以取决于所提取的所述目标对象的关键点数目来设置所述数目阈值，例如，在提取人体的17个关键点的情况下，可以将数目阈值设置为7。

这样，通过如图2所示的确定对象的遮挡状态的示例，可以确定检测到的所述至少一个目标对象是否有遮挡，从而在所获得的目标对象的外观特征中确认有遮挡和无遮挡的目标对象。这样，由于避免了目标对象的遮挡所造成的外观特征的不稳定，可以提高目标对象的跟踪的准确性。

此外，在本申请实施例中，通过如上所述获得的多个关键点，可以通过第二神经网络确定所述至少一个目标对象的朝向。值得注意的是，在确定所述至少一个目标对象的朝向时，可以仅使用如上所述获得的部分关键点，例如，对于人体来说，仅使用左肩、右肩、左臀和右臀四个关键点就可以确定人体的左、右、前、后这四个朝向。并且，所述第二神经网络可以是包括五个全连接层的深度神经网络。

图3图示了根据本申请实施例的对象跟踪方法中的融合跟踪特征的示意图。

如图3所示，所述融合跟踪特征首先区分无效特征图和有效特征图。如上所述，如果所述目标对象的遮挡严重，则可能显著影响所述重识别的神经网络所提取到的所述目标对象的外观特征。因此，响应于所述至少一个目标对象的遮挡状态为有遮挡，将所述特征图确定为临时无效特征图。并且，响应于所述至少一个目标对象的遮挡状态为无遮挡，进一步基于所述目标对象的朝向来获得所述融合跟踪特征。也就是，如果所述至少一个目标对象的遮挡状态为无遮挡，则将所述当前帧的特征图确定为当前有效特征图。

如上所述，因为目标对象的遮挡可能会引起目标对象跟丢等问题。为了及时地更新遮挡情况下的轨迹的外观特征，设置了临时无效特征图。该临时无效特征图对应于最新的无效特征图。并且，由于无效特征图的不稳定，临时无效特征图只保留最新的无效外观特征，如果下一帧时该特征仍没有更新则丢弃。

在图3所示的示意图中，在当前帧的特征图被确定为临时无效特征图的情况下，因为当前帧的前一帧的特征图对应无遮挡的目标对象，所述该特征图被确定为当前有效特征图。

并且，对于所述视频的所述当前帧之前的所有历史帧，首先确定所有历史帧中包含与所述至少一个目标对象相同朝向的目标对象的帧，然后计算这些帧的特征图的均值，在图3中，示出了四个类型的朝向，即前(F)、后(B)、左(L)和右(R)，这样，计算出分别对应于该四个类型的朝向的四个朝向特征图。以朝左特征为例，由于所提取的视频的多个特征图包含所匹配的多个外观特征，且这些外观特征都具有不同的朝向，选取有效特征图中的朝向向左的特征集合，并取其均值作为朝左特征。

另外，对于所述视频的所述当前帧之前的所有历史帧，首先确定所有历史帧中包含所述至少一个目标对象的帧，然后计算这些帧的特征图的均值为均值特征图。也就是，在所述视频的所有帧中，如果对于所述至少一个目标对象，所对应的特征图为有效特征图，则计算全部有效特征图的均值。

此外，确定所述视频的所有帧中包含所述至少一个目标对象的帧，然后对这些帧的特征图进行聚类以获得多个聚类特征图。也就是，在所述视频的所有帧中，如果对于所述至少一个目标对象，所对应的特征图为有效特征图，则对于所述有效特征图进行聚类。例如，可以按照高斯混合模型的初始化和更新策略的相似性来对所述有效特征图进行聚类。在图3所示的示意图中，将所述有效特征图聚类为四个类别。

这里，图3所示的融合跟踪特征的示意图示出了对应于一个目标对象的融合跟踪特征。本领域技术人员可以理解，当视频中检测到要跟踪的多个目标对象时，每个目标对象均对应于如图3所示的一个融合跟踪特征。

这样，通过如图3所示的融合跟踪特征，可以在通过重识别的神经网络所获得的目标对象的外观特征的基础上结合如上所述获得的目标对象的遮挡信息和朝向信息，从而使得所述外观特征更好地应用于所述目标对象的跟踪。

图4图示了根据本申请实施例的对象跟踪方法中确定目标对象的轨迹的过程的示例的流程图。

如图4所示，在如图1所示的实施例的基础上，步骤S150包括以下步骤。

步骤S1501，基于所述融合跟踪特征建立所述至少一个目标对象与所述当前帧的前一帧中的轨迹集合的距离矩阵。例如，如果在步骤S110中，从所述当前帧检测到三个目标对象，并分别获得所述三个目标对象的融合跟踪特征。并且，所述当前帧的前一帧中的轨迹集合包括三条轨迹，则建立所述三个目标对象与三条轨迹的3×3的距离矩阵。并且，所述3×3的距离矩阵中的第i行第j列的矩阵元素表示第i个目标对象与第j条轨迹之间的距离。

步骤S1502，基于所述距离矩阵获得所述至少一个目标对象与轨迹集合的匹配结果。例如，可以通过匈牙利算法来求解所述距离矩阵，从而获得所述至少一个目标对象中的每个目标对象与所述轨迹集合中的每条轨迹的匹配结果。

步骤S1503，基于所述匹配结果确定所述至少一个目标对象在所述当前帧中的轨迹。例如，如果三个目标对象A、B和C分别与所述前一帧中的轨迹集合中的轨迹1、2和3匹配，则可以确定所述轨迹1在当前帧中包括所述目标对象A的检测框，所述轨迹2在当前帧中包括所述目标对象B的检测框，且所述轨迹3在当前帧中包括所述目标对象C的检测框。

这样，通过如图4所示的确定目标对象的轨迹的过程的示例，可以确定当前帧中检测到的目标对象与轨迹集合的匹配结果，从而准确地将当前帧中检测到目标对象的检测框归属于视频中的现有轨迹，以通过轨迹反映当前帧中的目标对象的跟踪结果，提高了对象的跟踪性能。

图5图示了根据本申请实施例的对象跟踪方法中建立距离矩阵的过程的示例的流程图。

如图5所示，在如图4所示的实施例的基础上，所述步骤S1501包括以下步骤。

步骤S15011，对于所述至少一个目标对象的临时无效特征图，计算所述临时无效特征图与所述轨迹集合中的每一轨迹的特征图之间的距离作为所述至少一个目标对象与所述每一轨迹的第一距离。也就是，对于临时无效特征图，计算其与所述轨迹集合中的每一轨迹的特征图之间的距离，例如欧氏距离。这里，所述每一轨迹的特征图指的是所述轨迹对应的目标对象的特征图，即，所述当前帧的前一帧的所述目标对象对应的检测框的特征图。

图6图示了根据本申请实施例的对象跟踪方法中建立距离矩阵的过程的场景示意图。基于包含行人的多帧输入图像，通过用于行人重识别的深度神经网络获得其多个特征图，并基于所述多个特征图中的所述行人的特征获得轨迹集合。并且，基于所述多帧输入图像中的当前帧图像，如果判定所述行人为有遮挡，则获得如图6中(a)所示的的临时无效特征图，并计算该临时无效特征图与轨迹集合中的每一轨迹的特征图之间的距离。

步骤S15012，对于所述至少一个目标对象的当前有效特征图，计算所述当前有效特征图与所述轨迹集合中的每一轨迹的特征图之间的距离作为所述至少一个目标对象与所述每一轨迹的第二距离。与如上所述的相同，计算所述当前有效特征图与所述每一轨迹的特征图之间的距离。并且，在本申请实施例中，如果目标对象与轨迹的特征图之间的直线距离过大，可以直接将距离设为无穷大，以表示二者不可连接。也就是，基于所述多帧输入图像中的当前帧图像，如果判定所述行人为无遮挡，则获得如图6中(b)所示的当前有效特征图，并计算该当前有效特征图与轨迹集合中的每一轨迹的特征图之间的距离。

步骤S15013，对于所述至少一个目标对象的朝向特征图，计算所述至少一个目标对象的每个朝向的朝向特征图与所述轨迹集合中的每一轨迹的特征图之间的第二距离，并选择最小距离作为所述至少一个目标对象与所述每一轨迹的第三距离。也就是，计算每个朝向的特征图与轨迹的外观特征之间的距离，并选取最小值作为与轨迹之间的距离。也就是，基于所述多帧输入图像中的所有行人无遮挡的有效特征图，按照所述有效特征图中行人的朝向获得如图6中(c)所示的多个朝向特征图，例如，如图6中(c)所示的行人向前、向后、向左和向右的朝向特征图。并且，计算其中每一朝向特征图与轨迹集合中的每一轨迹的特征图之间的距离，再选择最小距离作为所述目标对象与所述每一轨迹的距离。

步骤S15014，对于所述至少一个目标对象的聚类特征图，计算所述至少一个目标对象的每个聚类特征图的中心与所述轨迹集合中的每一轨迹的特征图之间的距离，并选择最小距离作为所述至少一个目标对象与所述每一轨迹的第四距离。也就是，计算聚类的每个簇的中心与轨迹的外观特征之间的距离，并选取最小值作为与轨迹之间的距离。也就是，基于所述多帧输入图像中的所有行人无遮挡的有效特征图进行聚类，例如，如图6中(d)所示，所述行人的有效特征图被聚类为三个类别，且每个类别包括多个有效特征图。然后，计算每个类别的有效特征图的中心与轨迹集合中的每一轨迹的特征图之间的距离，再选择最小距离作为所述目标对象与所述每一轨迹的距离。

步骤S15015，将所述第一距离、所述第二距离、所述第三距离和所述第四距离中的最小距离设置为所述至少一个目标对象与轨迹集合中的每个轨迹的最终距离。也就是，继续参考图6，将通过图6的(a)、(b)、(c)和(d)获得的距离进行组合，以获得所述目标对象与每个轨迹的最终距离。

值得注意的是，虽然在如图6所示的场景图中，以特征图包含行人的特征为例进行了描述，但是根据本申请实施例的对象跟踪方法不限于跟踪图像中的行人，也可以跟踪图像中的其它对象。因此，图6所示的特征图中的内容仅是示例，不意在对本申请实施例进行任何限制。

这样，通过如图5所示的建立距离矩阵的过程的示例，可以基于如上所述的融合跟踪特征，考虑目标对象的遮挡状态和朝向来计算每个目标对象和每条轨迹之间的距离，从而使得所述距离矩阵中的元素准确地反映目标对象与轨迹之间的对应性，提高了目标对象的跟踪的准确性。

图7图示了根据本申请实施例的对象跟踪方法中基于匹配结果确定目标对象轨迹的过程的示例的流程图。

如图7所示，在如图4所示的实施例的基础上，步骤S1503包括以下步骤。

步骤S15031，响应于所述匹配结果为所述至少一个目标对象与所述轨迹集合中的第一轨迹匹配，以所述至少一个目标对象的遮挡信息、朝向信息和特征图更新第一轨迹。例如，如果如上所述，目标对象A与轨迹1匹配，则所述轨迹1更新为包括当前帧中的目标对象A对应的检测框，并且进一步地，记录目标对象A在当前帧中的遮挡信息，例如无遮挡状态，以及朝向信息，例如朝向左(L)。

步骤S15032，响应于所述匹配结果为所述轨迹集合中的第二轨迹与所述至少一个目标对象中的任意目标对象都不匹配，将所述第二轨迹设置为待定轨迹。也就是，如果所述轨迹集合中的某条轨迹，例如如上所述的轨迹集合中的轨迹4与任意目标对象都不匹配，则说明轨迹4所对应的目标对象没有在当前帧中出现，则将该轨迹4设置为待定轨迹。

步骤S15033，响应于所述匹配结果为所述至少一个目标对象与所述轨迹集合中的任意轨迹都不匹配，基于所述至少一个目标对象的遮挡信息、朝向信息和特征图生成新轨迹。也就是，如果所述目标对象中的某个目标对象，例如如上所述的目标对象D与轨迹集合中的任意轨迹都不匹配，则生成对应于目标对象D的新轨迹，并且记录目标对象D当前的遮挡信息，例如无遮挡状态，以及朝向信息，例如朝向右(R)。

这样，通过如图7所示的基于匹配结果确定目标对象轨迹的过程的示例，可以通过目标对象与现有轨迹的匹配结果来对视频中的轨迹进行分类，从而便于目标对象的跟踪，提高了对象跟踪的性能。

根据如上所述的确定目标对象轨迹的过程的示例，在视频中可能会出现较多的轨迹片段，且可能存在多个轨迹片段属于同一目标对象的轨迹的情况。因此，在根据本申请实施例的对象跟踪方法中，进一步包括轨迹召回的过程，以便解决视频中轨迹断裂的问题。

图8图示了根据本申请实施例的对象跟踪方法中的轨迹召回的过程的示例的流程图。

如图8所示，在如图7所示的实施例的基础上，所述步骤S1503进一步包括以下步骤。

步骤S15034，确定所述待定轨迹未与所述至少一个目标对象匹配的连续帧数。也就是说，如果所述待定轨迹在连续多帧中都未能与所述至少一个目标对象匹配，则说明所述待定轨迹在视频中存在轨迹断裂的现象。

步骤S15035，响应于所述连续帧数大于第一数目阈值，将所述待定轨迹确定为不可见轨迹。例如，所述第一数目阈值可以设置为10，也就是，如果连续10帧所述待定轨迹都未能与所述至少一个目标对象匹配，则所述待定轨迹被确定为不可见轨迹。

步骤S15036，基于所述不可见轨迹与所述新轨迹的特征图生成距离矩阵。也就是，针对所述不可见轨迹，将其与新出现的轨迹的特征图之间利用轨迹的外观特征生成距离矩阵。这里，所述距离矩阵的生成方式可参考图5所示的示例描述的方式相同，在此不再详述。

步骤S15037，响应于通过所述距离矩阵确定所述不可见轨迹与所述新的轨迹匹配，将所述不可见轨迹与所述新轨迹合并。也就是，与上述距离矩阵的求解类似，例如通过匈牙利算法求解距离矩阵，可以获得所述不可见轨迹与所述新轨迹之间的匹配结果。例如，可以通过使用贪心算法来获得矩阵中的匹配对，直到最小距离超过召回距离阈值，所述距离阈值可以根据经验来设置，例如设置为20。并且，如果所述不可见轨迹与所述新轨迹之间匹配，则说明所述新轨迹和所述不可见轨迹对应于在所述视频中消失了一段时间的目标对象，从而将所述不可见轨迹与所述新轨迹合并。

这样，通过如图8所示的轨迹召回的过程，可以解决视频中的同一目标对象的轨迹断裂的问题，提高对象跟踪的性能。

此外，在本申请实施例中，可以进一步通过轨迹聚合的方式来连接各个轨迹片段，从而进一步降低轨迹断裂的可能性。

图9图示了根据本申请实施例的对象跟踪方法中的轨迹聚合的过程的示例的流程图。

如图9所示，在如图7所示的实施例的基础上，所述步骤S1503进一步包括以下步骤。

步骤S15038，响应于所述连续帧数大于第二数目阈值，将所述待定轨迹确定为消失轨迹。这里，所述第二数目阈值可以根据经验来设置，例如可以设置为300，也就是，如果所述待定轨迹在比较大数目的帧上都未能与所述至少一个目标对象匹配，则所述待定轨迹可以被认为是消失轨迹。

步骤S15039，基于所述第一轨迹、所述新轨迹和所述待定轨迹中除所述消失轨迹之外的剩余轨迹的特征图生成距离矩阵。这里，所述距离矩阵的生成方式可参考图5所示的示例描述的方式相同，在此不再详述。

步骤S15040，通过对所述距离矩阵进行层次聚类以确定所述第一轨迹、所述新轨迹和所述剩余轨迹中的匹配轨迹。例如，同样可以通过使用贪心算法来获得矩阵中的匹配对，直到最小距离超过聚类距离阈值，所述聚类距离可以根据经验来设置，例如设置为30。

步骤S15041，将所述匹配轨迹合并。也就是，可以将所述轨迹中除了消失轨迹之外的其它轨迹进行聚类，从而极大程度地减少轨迹断裂的次数，提高对象跟踪的性能。

图10图示了根据本申请实施例的对象跟踪方法中的多摄像头目标跟踪过程的示例的流程图。

如图10所示，在如图1所示的实施例的基础上，进一步包括以下步骤。

步骤S160，获取多个相机拍摄的多个视频中所述至少一个对象的轨迹。也就是，通过如上所述的根据本申请实施例的对象跟踪方法，可以获得多个相机拍摄的多个视频中的每个视频中要跟踪的目标对象的轨迹。

步骤S170，基于所述轨迹的特征图生成距离矩阵。也就是，如上所述，所述每个轨迹具有通过重识别的神经网络提取的外观特征图，并基于所有轨迹两两之间的距离生成距离矩阵。

具体地，在本申请实施例中，除了通过外观特征图之间的欧氏距离直接计算两个特征图之间的距离之外，还可以按照多摄像头场景下的实际情况设置一些约束条件。

例如，如果两条轨迹属于同一摄像头，则其不属于需要跨摄像头合并的轨迹，将其间的距离设置为大于距离阈值，例如可以设置为无穷大。另外，对于不存在交叠区域(交叠区域是指两个摄像头拍摄的区域中存在重叠的部分)的摄像头下两条轨迹在时间上存在重合，因为单个目标不可能同时存在两个地方，所以将其间的距离设置为大于距离阈值，例如可以设置为无穷大。此外，如果两条轨迹的时间差超过一定阈值，也将其间的距离设置为大于距离阈值，例如可以设置为无穷大。

步骤S180，确定所述距离矩阵中的每个距离是否小于距离阈值。也就是，如果两条轨迹之间的距离小于距离阈值，则说明这两条轨迹在外观上足够接近，应该进行轨迹融合。

步骤S190，响应于所述距离小于距离阈值，将与所述距离对应的两条轨迹合并为一条轨迹。对于应当融合的两条轨迹，对其进行合并，并更新其外观特征。此外，在本申请实施例中，在进行轨迹合并的同时，更新距离矩阵。具体地，删除融合前的两条轨迹对应的行和列，并重新计算融合后的轨迹与其他轨迹的距离，添加到距离矩阵当中，以进一步进行轨迹合并。

也就是，可以通过贪心算法持续地关联距离矩阵中最小距离的轨迹并更新距离矩阵，直到距离矩阵中的最小距离超过所述距离阈值为止，这里，所述距离阈值可以根据经验来设置，例如可以设置为40。

这样，通过如图10所示的多摄像头目标跟踪过程的示例，可以整合多摄像头场景下的目标对象在不同摄像头拍摄的视频中的轨迹，从而实现通过多个摄像头有效地跟踪对象，提高对象跟踪的性能。

示例性装置

图11图示了根据本申请实施例的对象跟踪装置的第一示例的框图。

如图11所示，根据本申请实施例的对象跟踪装置200包括：目标检测单元210，用于从视频的当前帧中检测出至少一个目标对象；信息确定单元220，用于使用所述目标检测单元210检测到的所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息；特征图获得单元230，用于通过用于重识别的第一神经网络获得所述当前帧的特征图；特征融合单元240，用于基于所述信息确定单元220所确定的所述至少一个目标对象的遮挡信息、朝向信息和所述特征图获得单元230所获得的所述特征图获得所述至少一个目标对象的融合跟踪特征；以及，轨迹确定单元250，用于基于所述特征融合单元240所获得的所述融合跟踪特征确定所述至少一个目标对象的轨迹。

图12图示了根据本申请实施例的对象跟踪装置的信息确定单元的示例的框图。

如图12所示，在如图11所示的实施例的基础上，所述信息确定单元220包括：关键点提取子单元221，用于通过姿态估计提取所述目标检测单元210检测到的所述至少一个目标对象的多个关键点；置信度确定子单元222，用于确定所述关键点提取子单元221所提取的所述每个关键点对应的置信度；有效确定子单元223，用于将所述置信度确定子单元222所确定的所述置信度高于置信度阈值的关键点确定为有效关键点；遮挡确定子单元224，用于基于所述有效确定子单元223所确定的所述有效关键点的数目确定所述至少一个目标对象的遮挡状态。

在一个示例中，在根据本申请实施例的对象跟踪装置200中，所述信息确定单元220进一步用于通过第二神经网络从所述关键点提取子单元221所提取的所述多个关键点确定所述至少一个目标对象的朝向。

在一个示例中，在根据本申请实施例的对象跟踪装置200中，所述特征融合单元240用于：响应于所述遮挡确定子单元224确定所述至少一个目标对象的遮挡状态为有遮挡，将所述特征图确定为临时无效特征图；以及，响应于所述遮挡确定子单元224确定所述至少一个目标对象的遮挡状态为无遮挡，将所述特征图确定为当前有效特征图；计算所述视频的所有帧中包含与所述至少一个目标对象相同朝向的目标对象的帧的特征图的均值为朝向特征图；计算所述视频的所有帧中包含所述至少一个目标对象的帧的特征图的均值为均值特征图；以及，将所述视频的所有帧中包含所述至少一个目标对象的帧的特征图进行聚类以获得多个聚类特征图。

图13图示了根据本申请实施例的对象跟踪装置的轨迹确定单元的示例的框图。

如图13所示，在如图12所示的实施例的基础上，所述轨迹确定单元250包括：距离矩阵建立子单元251，用于基于所述特征融合单元240所获得的所述融合跟踪特征建立所述至少一个目标对象与所述当前帧的前一帧中的轨迹集合的距离矩阵；匹配结果获得子单元252，用于基于所述距离矩阵建立子单元251所建立的所述距离矩阵获得所述至少一个目标对象与轨迹集合的匹配结果；以及，轨迹确定子单元253，用于基于所述匹配结果获得子单元252所获得的所述匹配结果确定所述至少一个目标对象在所述当前帧中的轨迹。

图14图示了根据本申请实施例的对象跟踪装置的距离矩阵建立子单元的示例的框图。

如图14所示，在如图13所示的实施例的基础上，所述距离矩阵建立子单元251包括：无效特征距离计算模块2511，用于对于所述至少一个目标对象的临时无效特征图，计算所述特征融合单元240所获得的融合跟踪特征中的所述临时无效特征图与所述轨迹集合中的每一轨迹的特征图之间的距离作为所述至少一个目标对象与所述每一轨迹的第一距离；有效特征距离计算模块2512，用于对于所述至少一个目标对象的当前有效特征图，计算所述特征融合单元240所获得的融合跟踪特征中的所述当前有效特征图与所述轨迹集合中的每一轨迹的特征图之间的距离作为所述至少一个目标对象与所述每一轨迹的第二距离；朝向特征距离计算模块2513，用于对于所述至少一个目标对象的朝向特征图，计算所述特征融合单元240所获得的融合跟踪特征中的所述至少一个目标对象的每个朝向的朝向特征图与所述轨迹集合中的每一轨迹的特征图之间的第二距离，并选择最小距离作为所述至少一个目标对象与所述每一轨迹的第三距离；聚类特征距离计算模块2514，用于对于所述至少一个目标对象的聚类特征图，计算所述特征融合单元240所获得的融合跟踪特征中的所述至少一个目标对象的每个聚类特征图的中心与所述轨迹集合中的每一轨迹的特征图之间的距离，并选择最小距离作为所述至少一个目标对象与所述每一轨迹的第四距离；以及，最终距离计算模块2515，用于将所述无效特征距离计算模块2511所计算的所述第一距离、所述有效特征距离计算模块2512所计算的所述第二距离、所述朝向特征距离计算模块2513所计算的所述第三距离和所述聚类特征距离计算模块2514所计算的所述第四距离中的最小距离设置为所述至少一个目标对象与轨迹集合中的每个轨迹的最终距离。

图15图示了根据本申请实施例的对象跟踪装置的轨迹确定子单元的第一示例的框图。

如图15所示，在如图13所示的实施例的基础上，所述轨迹确定子单元253包括：第一轨迹更新模块2531，用于响应于所述匹配结果获得子单元252所获得的所述匹配结果为所述至少一个目标对象与所述轨迹集合中的第一轨迹匹配，以所述至少一个目标对象的遮挡信息、朝向信息和特征图更新第一轨迹；待定轨迹设置模块2532，用于响应于所述匹配结果获得子单元252所获得的所述匹配结果为所述轨迹集合中的第二轨迹与所述至少一个目标对象中的任意目标对象都不匹配，将所述第二轨迹设置为待定轨迹；以及，新轨迹生成模块2533，用于响应于所述匹配结果获得子单元252所获得的所述匹配结果为所述至少一个目标对象与所述轨迹集合中的任意轨迹都不匹配，基于所述至少一个目标对象的遮挡信息、朝向信息和特征图生成新轨迹。

图16图示了根据本申请实施例的对象跟踪装置的轨迹确定子单元的第二示例的框图。

如图16所示，在如图15所示的实施例的基础上，所述轨迹确定子单元253进一步包括：帧数确定模块2534，用于确定所述待定轨迹设置模块2532所设置的所述待定轨迹未与所述至少一个目标对象匹配的连续帧数；不可见轨迹确定模块2535，用于响应于所述帧数确定模块2534确定所述连续帧数大于第一数目阈值，将所述待定轨迹确定为不可见轨迹；第一距离矩阵生成模块2536，用于基于所述不可见轨迹确定模块2535所确定的不可见轨迹与所述新轨迹的特征图生成距离矩阵；以及，第一轨迹合并模块2537，用于响应于通过所述第一距离矩阵生成模块2536所生成的所述距离矩阵确定所述不可见轨迹与所述新的轨迹匹配，将所述不可见轨迹与所述新轨迹合并。

图17图示了根据本申请实施例的对象跟踪装置的轨迹确定子单元的第三示例的框图。

如图17所示，在如图16所示的实施例的基础上，所述轨迹确定子单元253进一步包括：消失轨迹确定模块2538，用于响应于所述帧数确定模块2534确定所述连续帧数大于第二数目阈值，将所述待定轨迹确定为消失轨迹；第二距离矩阵生成模块2539，用于基于所述第一轨迹、所述新轨迹和所述待定轨迹中除所述消失轨迹确定模块2538所确定的所述消失轨迹之外的剩余轨迹的特征图生成距离矩阵；层次聚类模块2540，用于通过对所述第二距离矩阵生成模块2539所生成的距离矩阵进行层次聚类以确定所述第一轨迹、所述新轨迹和所述剩余轨迹中的匹配轨迹；以及，第二轨迹合并模块2541，用于将所述层次聚类模块2540所确定的所述匹配轨迹合并。

图18图示了根据本申请实施例的对象跟踪装置的第二示例的框图。

如图18所示，在如图11所示的实施例的基础上，所述对象跟踪装置200进一步包括：轨迹获取单元260，用于获取多个相机拍摄的多个视频中所述至少一个对象的轨迹；距离矩阵生成单元270，用于基于所述轨迹获取单元260所获取的所述轨迹的特征图生成距离矩阵；距离确定单元280，用于确定所述距离矩阵生成单元270所生成的所述距离矩阵中的每个距离是否小于距离阈值；以及，轨迹合并单元290，用于响应于所述距离确定单元280确定所述距离小于距离阈值，将与所述距离对应的两条轨迹合并为一条轨迹。

这里，本领域技术人员可以理解，上述对象跟踪装置200中的各个单元和模块的具体功能和操作已经在上面参考图1到图9的对象跟踪方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的对象跟踪装置200可以实现在各种终端设备中，例如安防相机，或者自动驾驶终端设备等。在一个示例中，根据本申请实施例的对象跟踪装置200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该对象跟踪装置200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该对象跟踪装置200同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该对象跟踪装置200与该终端设备也可以是分立的设备，并且该对象跟踪装置200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图19来描述根据本申请实施例的电子设备。

图19图示了根据本申请实施例的电子设备的框图。

如图19所示，电子设备10包括一个或多个处理器11和存储器12。

处理器13可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的对象跟踪方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如遮挡信息、朝向信息、融合跟踪特征等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括视频中的多个目标对象的跟踪结果，例如检测框等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图19中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的对象跟踪方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的对象跟踪方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种对象跟踪方法，包括：

从视频的当前帧中检测出至少一个目标对象；

使用所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息；

通过用于重识别的第一神经网络获得所述当前帧的特征图；

基于所述至少一个目标对象的遮挡信息、朝向信息和所述特征图获得所述至少一个目标对象的融合跟踪特征；以及

基于所述融合跟踪特征确定所述至少一个目标对象的轨迹。

2.如权利要求1所述的对象跟踪方法，其中，使用所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息包括：

通过姿态估计提取所述至少一个目标对象的多个关键点；

确定每个关键点对应的置信度；

将所述置信度高于置信度阈值的关键点确定为有效关键点；

基于所述有效关键点的数目确定所述至少一个目标对象的遮挡状态。

3.如权利要求2所述的对象跟踪方法，其中，使用所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息进一步包括：

通过第二神经网络从所述多个关键点确定所述至少一个目标对象的朝向。

4.如权利要求1所述的对象跟踪方法，其中，基于所述至少一个目标对象的遮挡信息、朝向信息和特征图获得所述至少一个目标对象的融合跟踪特征包括：

响应于所述至少一个目标对象的遮挡状态为有遮挡，将所述特征图确定为临时无效特征图；

响应于所述至少一个目标对象的遮挡状态为无遮挡，

将所述特征图确定为当前有效特征图；

计算所述视频的所有帧中包含与所述至少一个目标对象相同朝向的目标对象的帧的特征图的均值为朝向特征图；

计算所述视频的所有帧中包含所述至少一个目标对象的帧的特征图的均值为均值特征图；以及

将所述视频的所有帧中包含所述至少一个目标对象的帧的特征图进行聚类以获得多个聚类特征图。

5.如权利要求4所述的对象跟踪方法，其中，基于所述融合跟踪特征确定所述视频中的所述至少一个目标对象的轨迹包括：

基于所述融合跟踪特征建立所述至少一个目标对象与所述当前帧的前一帧中的轨迹集合的距离矩阵；

基于所述距离矩阵获得所述至少一个目标对象与轨迹集合的匹配结果；以及

基于所述匹配结果确定所述至少一个目标对象在所述当前帧中的轨迹。

6.如权利要求5所述的对象跟踪方法，其中，基于所述融合跟踪特征建立所述至少一个目标对象与所述当前帧的前一帧中的轨迹集合的距离矩阵包括：

对于所述至少一个目标对象的临时无效特征图，计算所述临时无效特征图与所述轨迹集合中的每一轨迹的特征图之间的距离作为所述至少一个目标对象与所述每一轨迹的第一距离；

对于所述至少一个目标对象的当前有效特征图，计算所述当前有效特征图与所述轨迹集合中的每一轨迹的特征图之间的距离作为所述至少一个目标对象与所述每一轨迹的第二距离；

对于所述至少一个目标对象的朝向特征图，计算所述至少一个目标对象的每个朝向的朝向特征图与所述轨迹集合中的每一轨迹的特征图之间的第二距离，并选择最小距离作为所述至少一个目标对象与所述每一轨迹的第三距离；

对于所述至少一个目标对象的聚类特征图，计算所述至少一个目标对象的每个聚类特征图的中心与所述轨迹集合中的每一轨迹的特征图之间的距离，并选择最小距离作为所述至少一个目标对象与所述每一轨迹的第四距离；以及

将所述第一距离、所述第二距离、所述第三距离和所述第四距离中的最小距离设置为所述至少一个目标对象与轨迹集合中的每个轨迹的最终距离。

7.如权利要求6所述的对象跟踪方法，其中，基于所述匹配结果确定所述至少一个目标对象的轨迹包括：

响应于所述匹配结果为所述至少一个目标对象与所述轨迹集合中的第一轨迹匹配，以所述至少一个目标对象的遮挡信息、朝向信息和特征图更新第一轨迹；

响应于所述匹配结果为所述轨迹集合中的第二轨迹与所述至少一个目标对象中的任意目标对象都不匹配，将所述第二轨迹设置为待定轨迹；以及

响应于所述匹配结果为所述至少一个目标对象与所述轨迹集合中的任意轨迹都不匹配，基于所述至少一个目标对象的遮挡信息、朝向信息和特征图生成新轨迹。

8.如权利要求7所述的对象跟踪方法，其中，基于所述匹配结果确定所述至少一个目标对象的轨迹进一步包括：

确定所述待定轨迹未与所述至少一个目标对象匹配的连续帧数；

响应于所述连续帧数大于第一数目阈值，将所述待定轨迹确定为不可见轨迹；

基于所述不可见轨迹与所述新轨迹的特征图生成距离矩阵；以及

响应于通过所述距离矩阵确定所述不可见轨迹与所述新的轨迹匹配，将所述不可见轨迹与所述新轨迹合并。

9.如权利要求8所述的对象跟踪方法，其中，基于所述匹配结果确定所述至少一个目标对象的轨迹进一步包括：

响应于所述连续帧数大于第二数目阈值，将所述待定轨迹确定为消失轨迹；

基于所述第一轨迹、所述新轨迹和所述待定轨迹中除所述消失轨迹之外的剩余轨迹的特征图生成距离矩阵；

通过对所述距离矩阵进行层次聚类以确定所述第一轨迹、所述新轨迹和所述剩余轨迹中的匹配轨迹；以及

将所述匹配轨迹合并。

10.如权利要求1所述的对象跟踪方法，进一步包括：

获取多个相机拍摄的多个视频中所述至少一个对象的轨迹；

基于所述轨迹的特征图生成距离矩阵；

确定所述距离矩阵中的每个距离是否小于距离阈值；以及

响应于所述距离小于距离阈值，将与所述距离对应的两条轨迹合并为一条轨迹。

11.一种对象跟踪装置，包括：

目标检测单元，用于从视频的当前帧中检测出至少一个目标对象；

信息确定单元，用于使用所述目标检测单元检测到的所述至少一个目标对象的关键点确定所述至少一个目标对象的遮挡信息和朝向信息；

特征图获得单元，用于通过用于重识别的第一神经网络获得所述当前帧的特征图；

特征融合单元，用于基于所述信息确定单元所确定的所述至少一个目标对象的遮挡信息、朝向信息和所述特征图获得单元所获得的所述特征图获得所述至少一个目标对象的融合跟踪特征；以及

轨迹确定单元，用于基于所述特征融合单元所获得的所述融合跟踪特征确定所述至少一个目标对象的轨迹。

12.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-10中任一项所述的对象跟踪方法。