CN113822910A - 多目标跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种多目标跟踪方法、装置、电子设备及存储介质，该多目标跟踪方法包括：对当前帧图像进行目标检测，得到检测出的至少一个第一目标物体的第一检测结果；提取所述第一目标物体的外观特征向量；计算所述第一目标物体的外观特征向量，与所述当前帧图像之前的至少一帧图像中检测出的各目标物体的外观特征向量之间的相似度；基于所述相似度，确定针对所述第一目标物体的目标跟踪结果；所述目标跟踪结果用于反映所述第一目标物体在所述当前帧图像以及所述多帧图像中的检测结果。本申请实施例，能够提高多目标跟踪的稳定性和精度。

Description

多目标跟踪方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种多目标跟踪方法、装置、电子设备和存储介质。

背景技术

多目标跟踪技术属于计算机视觉领域的一个研究热点。多目标跟踪是指利用计算机，在视频序列中确定感兴趣的、具有某种显著视觉特征的各个独立运动目标的位置、大小和各个目标完整的运动轨迹。在车载辅助系统、军事领域及智能安防领域都有着非常广泛的应用。

然而，在多目标跟踪任务中经常会碰到目标的重叠问题。对于跟踪目标与其他目标发生重叠后，可能会发生目标跟踪轨迹匹配错误的情况，进而导致对多个目标进行跟踪的稳定性较差。

发明内容

本公开实施例至少提供一种多目标跟踪方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种多目标跟踪方法，包括：

对当前帧图像进行目标检测，得到检测出的至少一个第一目标物体的第一检测结果；

提取所述第一目标物体的外观特征向量；

计算所述第一目标物体的外观特征向量，与所述当前帧图像之前的至少一帧图像中检测出的各目标物体的外观特征向量之间的相似度；

基于所述相似度，确定针对所述第一目标物体的目标跟踪结果；所述目标跟踪结果用于反映所述第一目标物体在所述当前帧图像以及所述至少一帧图像中的检测结果。

本公开实施例中，由于提取的第一目标物体的外观特征能够更好地表示了第一目标物体的身份信息，利用这种更好的特征信息以及相似度，可以处理目标被遮挡后重现的轨迹衔接，还可以避免因车辆颠簸导致的追踪不稳定的情况发生，得到更加平稳的多目标跟踪结果，提高多目标追踪的稳定性。

根据第一方面，在一种可能的实施方式中，所述基于所述相似度，确定针对所述第一目标物体的目标跟踪结果，包括：

基于所述相似度，将所述第一检测结果和所述至少一帧图像中各目标物体的检测结果进行匹配，确定与所述第一目标物体匹配的至少一帧图像中的所述第一目标物体的检测结果；

根据所述至少一帧图像中的所述第一目标物体的检测结果以及所述第一检测结果，确定针对所述第一目标物体的目标跟踪结果。

本公开实施例中，通过将所述第一检测结果和所至少一帧图像中各目标物体的检测结果进行一一匹配，不仅可以得到第一目标物体的跟踪结果，还可以提高跟踪结果的确定精度。

根据第一方面，在一种可能的实施方式中，所述第一检测结果中还包括所述第一目标物体的检测框信息、所述第一目标物体的种类、和所述第一目标物体的检测结果的置信度中的至少一种。

本公开实施例中，由于第一检测结果中还包括所述第一目标物体的检测框信息、所述第一目标物体的种类和所述第一目标物体的检测结果的置信度中的至少一种，使得第一检测结果输出的内容更加丰富，为后续相似度的计算提供了更多的依据，进而能够提高相似度计算的精度。

根据第一方面，在一种可能的实施方式中，采用重识别模型提取所述第一目标物体的外观特征向量，所述重识别模型采用如下方法训练获得：

获取图像样本集合，所述图像样本集合中包括多个图像样本及图像样本的标注信息，所述标注信息用于指示对应同一目标物体的图像样本；

基于所述图像样本集合，对待训练的重识别模型进行训练，得到所述重识别模型。

本公开实施例中，基于所述图像样本集合，对待训练的重识别模型进行训练得到重识别模型，并采用重识别模型提取所述第一目标物体的外观特征向量，如此可以提高第一目标物体的外观特征向量的提取精度。

根据第一方面，在一种可能的实施方式中，所述图像样本为在驾驶场景下拍摄的。

本公开实施例中，由于图像样本为在驾驶场景下拍摄的，使得训练好的重识别模型能够较好的适应驾驶场景，提高了模型识别的准确率以及在驾驶场景下的适应性。

根据第一方面，在一种可能的实施方式中，根据以下步骤获取图像样本：

获取相机所采集的候选图像，对所述候选图像进行目标检测，得到指示检测出的至少一个第二目标物体的第二检测结果；

获取与所述候选图像针对同一场景同步采集的点云数据，对所述点云数据进行检测，得到至少一个点云检测框；

确定所述第二检测结果中所述第二目标物体的检测框与所述点云检测框的交并比IOU；

在存在任一点云检测框与所述第二目标物体的检测框的IOU大于预设阈值的情况下，基于所述候选图像确定所述图像样本。

本公开实施例中，通过将获取相机所采集的候选图像以及激光雷达所采集的点云数据相结合，也即，使用对候选图像进行检测得到的第二检测结果，对激光雷达多目标跟踪结果进行过滤，得到图像样本，可以提高图像样本的获取精度就，进而提高了训练好的重识别模型的识别精度。

根据第一方面，在一种可能的实施方式中，所述基于所述候选图像确定所述图像样本，包括：

从所述候选图像中将所述第二目标物体的检测框所对应的部分图像进行裁剪，得到所述图像样本。

本公开实施例中，通过将所述第二目标物体的检测框所对应的部分图像从所述候选图像中进行裁剪，得到所述图像样本，可以避免图像样本引入不必要的噪声。

根据第一方面，在一种可能的实施方式中，所述基于目标检测模型对当前帧图像进行目标检测之前，所述方法还包括：

按照预设时间间隔或帧数间隔，从待检测视频中获取所述当前帧图像。

本公开实施例中，电子设备获取待检测视频后，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中多目标跟踪的处理速度和增加可以处理的待检测视频的接入路数。

第二方面，本公开实施例提供了一种多目标跟踪装置，包括：

目标检测模块，用于对当前帧图像进行目标检测，得到检测出的至少一个第一目标物体的第一检测结果。

特征提取模块，用于提取所述第一目标物体的外观特征向量。

相似度计算模块，用于计算所述第一目标物体的外观特征向量，与所述当前帧图像之前的至少一帧图像中检测出的各目标物体的外观特征向量之间的相似度。

跟踪结果确定模块，用于基于所述相似度，确定针对所述第一目标物体的目标跟踪结果；所述目标跟踪结果用于反映所述第一目标物体在所述当前帧图像以及所述多帧图像中的检测结果。

根据第二方面，在一种可能的实施方式中，所述跟踪结果确定模块具体用于：

基于所述相似度，将所述第一检测结果和所述至少一帧图像中各目标物体的检测结果进行匹配，确定与所述第一目标物体匹配的至少一帧图像中的所述第一目标物体的检测结果；

根据所述至少一帧图像中的所述第一目标物体的检测结果以及所述第一检测结果，确定针对所述第一目标物体的目标跟踪结果。

根据第二方面，在一种可能的实施方式中，所述第一检测结果中还包括所述第一目标物体的检测框信息、所述第一目标物体的种类、和所述第一目标物体的检测结果的置信度中的至少一种。

根据第二方面，在一种可能的实施方式中，采用重识别模型提取所述第一目标物体的外观特征向量，所述装置还包括模型训练模块，所述模型训练模块用于：

获取图像样本集合，所述图像样本集合中包括多个图像样本及图像样本的标注信息，所述标注信息用于指示对应同一目标物体的图像样本；

基于所述图像样本集合，对待训练的重识别模型进行训练，得到所述重识别模型。

根据第二方面，在一种可能的实施方式中，所述图像样本为在驾驶场景下拍摄的。

根据第二方面，在一种可能的实施方式中，所述模型训练模块具体用于：

获取相机所采集的候选图像，对所述候选图像进行目标检测，得到指示检测出的至少一个第二目标物体的第二检测结果；

获取与所述候选图像针对同一场景同步采集的点云数据，对所述点云数据进行检测，得到至少一个点云检测框；

确定所述第二检测结果中所述第二目标物体的检测框与所述点云检测框的交并比IOU；

在存在任一点云检测框与所述第二目标物体的检测框的IOU大于预设阈值的情况下，基于所述候选图像确定所述图像样本。

根据第二方面，在一种可能的实施方式中，所述模型训练模块具体用于：

从所述候选图像中将所述第二目标物体的检测框所对应的部分图像进行裁剪，得到所述图像样本。

根据第二方面，在一种可能的实施方式中，所述目标检测模块还用于：

按照预设时间间隔或帧数间隔，从待检测视频中获取所述当前帧图像。

第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的多目标跟踪方法。

第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的多目标跟踪方法。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种多目标跟踪方法的执行主体的示意图；

图2示出了本公开实施例所提供的一种多目标跟踪方法的流程图；

图3示出了本公开实施例所提供的一种对当前帧图像进行目标检测的结果示意图；

图4示出了本公开实施例所提供的一种确定针对第一目标物体的目标跟踪结果的方法流程图；

图5示出了本公开实施例所提供的一种第一目标物体的追踪效果示意图；

图6示出了本公开实施例所提供的另一种第一目标物体的追踪效果示意图；

图7示出了本公开实施例所提供的一种重识别模型的训练方法的流程图；

图8示出了本公开实施例所提供的一种雷达追踪结果的示意图；

图9示出了本公开实施例所提供的一种获取图像样本的方法流程图；

图10示出了本公开实施例所提供的一种图像样本集合的示意图；

图11示出了本公开实施例所提供的一种多目标跟踪装置的结构示意图；

图12示出了本公开实施例所提供的另一种多目标跟踪装置的结构示意图；

图13示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

随着交通事故的频发，交通事故引发的一系列安全问题已经受到了社会的广泛关注，面对日益严峻的交通安全形势，发展汽车智能辅助驾驶系统已成为当前汽车行业的迫切要求；而车辆前向碰撞预警系统则是汽车智能辅助驾驶系统中最重要的一部分，车辆的检测与跟踪算法在汽车智能辅助驾驶系统中起到了至关重要的作用，对于在高速路段行驶的车辆而言，要求跟踪结果能够实时准确更新，然而使用传统机器视觉的方法往往在速度和准确性上都难以达到要求。

由于卷积神经网络(Convolutional Neural Networks，CNN)的发展和应用，许多计算机视觉领域的任务得到了较大的发展，随着深度学习技术的发展，基于卷积神经网络的多目标跟踪算法取得了一定的突破，使其具备了远高于传统多目标跟踪方法的跟踪准确度。

然而，经研究发现，由于多目标跟踪过程中存在频繁的遮挡，造成跟踪过程中目标发生遮挡时，被检测到的目标数量发生变化，被遮挡的跟踪目标轨迹无法匹配现在帧的检测目标，无法判别该轨迹是因遮挡暂时消失还是离开检测区域需要停止跟踪，造成一部分被遮挡的轨迹因为误判而终止跟踪。在目标遮挡结束后，原先跟踪的目标再次出现在检测区域内，若原跟踪轨迹已停止跟踪，此时该目标会生成新的初始轨迹，从而导致目标身份发生变化。另外，当车辆颠簸时，会造成同一目标的检测结果间距离较大，进而导致相似度较低、数据关联失败、目标跟踪失败。

本公开提供了一种多目标跟踪方法，包括：对当前帧图像进行目标检测，得到检测出的至少一个第一目标物体的第一检测结果；提取所述第一目标物体的外观特征向量；计算所述第一目标物体的外观特征向量，与所述当前帧图像之前的至少一帧图像中检测出的各目标物体的外观特征向量之间的相似度；基于所述相似度，确定针对所述第一目标物体的目标跟踪结果；所述目标跟踪结果用于反映所述第一目标物体在所述当前帧图像以及所述多帧图像中的检测结果。

本公开实施例中，由于提取的外观特征能够更好地表示了第一目标物体的身份信息，利用这种更好的特征信息，可以处理目标被遮挡后重现的轨迹衔接，还可以避免因车辆颠簸导致的追踪不稳定的情况发生，得到更加平稳的多目标跟踪结果，提高多目标追踪的稳定性。

请参阅图1，为本公开实施例所提供的多目标跟踪方法的执行主体的示意图，该方法的执行主体为电子设备，其中电子设备可以包括终端和服务器。例如，该方法可应用于终端中，终端可以是图1中所示终端设备，包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备、个人电脑(personal computer，PC)、车辆以及机器人，此处不做限定。其中，语音交互设备包含但不仅限于智能音响以及智能家电等。该方法还可应用于服务器，或者可应用于由终端和服务器所组成的实施环境中。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，在一些实施方式中，服务器可以通网络与终端进行通信。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

此外，该多目标跟踪方法还可以是运行于终端或服务器中的软体，例如具有多目标跟踪功能的应用程序等。在一些可能的实现方式中，该多目标跟踪方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图2所示，为本公开实施例提供的多目标跟踪方法的流程图，该多目标跟踪方法包括以下S101～S104：

S101，对当前帧图像进行目标检测，得到检测出的至少一个第一目标物体的第一检测结果。

示例性地，在一幅图像(例如，视频中的每一帧图像)中，区别于周围环境的闭合区域往往被称为目标。给出目标在图像中的位置的过程称为检测。例如，可以利用已经训练好的目标检测模型(或者目标检测网络)，检测在当前帧图像里多个跟踪目标的位置及其类别信息。

在一些实施方式中，还可以采用目标检测技术对目标进行检测，该目标检测技术可以采用多种方法，例如：帧差法、背景减除法、光流法、方向梯度特征等，也可以通过手动方式标注目标的初始位置。当然，还可以采用任何其他合适的可用于目标检测的技术，此处不做限定，只要能实现对目标的检测即可。

参见图3所示，为本公开实施例中提供的一种对当前帧图像进行目标检测的结果示意图，示例性地，可以将当前帧图像T输入至目标检测模型进行目标检测，得到检测出的至少一个第一目标物体10的第一检测结果，本实施方式中，第一检测结果中包括三个第一目标物体10，且第一目标物体为车辆。其他实施方式中，第一目标物体10的数量还可以是2个或者4个，第一目标物体10的种类也可以是其他(比如行人)，此处不做限定。

在一些实施方式中，所述第一检测结果中还包括所述第一目标物体10的检测框信息(如图3中A所示)、所述第一目标物体10的种类、和所述第一目标物体10的检测结果的置信度中的至少一种。

可以理解，在对当前帧图像进行目标检测之前，需要获取待检测视频，然后按照预设时间间隔或帧数间隔，从待检测视频中获取所述当前帧图像。其中，待检测视频为待检测的视频或视频帧序列。例如，待检测视频可以是一定视频帧长度的视频或视频流。

作为一示例，目标检测模型获取待检测视频后，可以从待检测视频中间隔获取多帧待检测图像，例如，待检测视频包括M帧待检测图像，目标检测模型从M帧待检测图像中按照预设时间间隔或者每间隔N帧获取至少一帧待检测图像。

需要说明的是，待检测视频中待检测图像帧速一般为每秒25帧以上，如果电子设备(如服务器)对每一帧待检测图像都进行检测，则计算量过大，会导致服务器过载，影响多目标跟踪的处理速度和待检测视频的接入路数。在本实施例中，电子设备获取待检测视频后，从待检测视频中间隔获取多帧待检测图像，能够提高待检测视频中多目标跟踪的处理速度和增加可以处理的待检测视频的接入路数。

S102，提取所述第一目标物体的外观特征向量。

示例性地，可以将前述得到的待检测图像(当前帧图像)输入至预先训练的重识别模型对第一目标物体进行外观特征的提取，得到外观特征向量。本实施方式中，所提取的外观特征均为64维度的向量。其中，关于重识别模型的训练方法，将在后文进行详细阐述。当然，也可以采用其他方法来提取第一目标物体的外观特征向量，在此不做限定。

S103，计算所述第一目标物体的外观特征向量，与所述当前帧图像之前的至少一帧图像中检测出的各目标物体的外观特征向量之间的相似度。

示例性地，以图3中的三个第一目标物体10为例进行说明，为了清楚的表示相似度的计算过程，本实施方式中，将当前帧图像(表中也称后帧图像)中所检测出的三个第一目标物体10分别的赋予代码D0、D1以及D2，而当前帧的之前的多帧图像，为了方便说明，从多帧图像中取一帧(表中也称前帧图像)为例来进行相似度的计算，并将前帧图像中的目标物体分别赋予代码Q0、Q1以及Q2，相似度的计算结果如下表1所示：

表1

前帧图像	后帧图像	相似度(越高越好)
			Q0	D0	0.82
Q0	D1	0.51
			Q0	D2	0.20
Q1	D0	0.64
			Q1	D1	0.91
Q1	D2	0.46
			Q2	D0	0.22
Q2	D1	0.46
			Q2	D2	0.92

从上表中可以看出，经过相似度计算后，当前帧图像中的第一目标物体D0与当前帧图像的前帧图像中的目标物体Q0的相似度最高，相似度计算结果为0.82；当前帧图像中的第一目标物体D1与当前帧图像的前帧图像中的目标物体Q1的相似度最高，相似度计算结果为0.91；当前帧图像中的第一目标物体D2与当前帧图像的前帧图像中的目标物体Q2的相似度最高，相似度计算结果为0.92。

需要说明的是，为表述的简明性，只使用两帧图像作以说明。在实际操作过程中时，为避免环境突变对外观特征造成影响，可以使用缓存存储最近的多帧(如100帧)图像上相同物体的外观特征，使用相似度最大值作为计算结果，进而可以提高目标追踪的可靠性。也即，使用暂存策略存储最近的多帧图像上同一物体的外观特征，该策略避免了由于外观突变导致的相似度的跳变，进而得到更好的多目标跟踪结果。

S104，基于所述相似度，确定针对所述第一目标物体的目标跟踪结果；所述目标跟踪结果用于反映所述第一目标物体在所述当前帧图像以及所述至少一帧图像中的检测结果。

示例性地，参见图4所示，为本公开实施例提供的一种确定针对第一目标物体的目标跟踪结果的方法流程图，本实施方式中，在基于所述相似度，确定针对所述第一目标物体的目标跟踪结果时可以包括以下S1041～S1042：

S1041，基于所述相似度，将所述第一检测结果和所述至少一帧图像中各目标物体的检测结果进行匹配，确定与所述第一目标物体匹配的至少一帧图像中的所述第一目标物体的检测结果。

S1042，根据所述至少一帧图像中的所述第一目标物体的检测结果以及所述第一检测结果，确定针对所述第一目标物体的目标跟踪结果。

其中，匹配也称为数据关联，是多目标跟踪任务中经常使用的典型的处理方法，用于解决目标间的匹配问题。本公开实施例中，可以采用匈牙利算法将所述第一检测结果和所述至少一帧图像中各目标物体的检测结果进行匹配，如此可以提高匹配的精度。

示例性地，请结合参见图5和图6，本公开实施例中，由于基于预先训练的重识别模型提取所述第一目标物体10的外观特征向量，使得所提取的外观特征能够更好地表示了第一目标物体10的身份信息，其中一个第一目标物体10的检测框的地址为id1，另一个第一目标物体10的检测框的地址为id2，由图5和图6可以看出，即使在发生遮挡的情况下，仍能较好的识别出不同的第一目标物体的身份信息，利用这种更好的特征信息，不仅可以处理第一目标物体10被遮挡后重现的轨迹衔接问题，还可以避免因车辆颠簸导致的追踪不稳定的情况发生，进而可以得到更加平稳的多目标跟踪结果，提高多目标追踪的稳定性。

针对上述提到的重识别模型可以采用如下方法训练获得。示例性地，参见图7所示，为本公开实施例提供的一种重识别模型的训练方法的流程图，具体在对该重识别模型进行训练时，可以包括以下S1021～S1023：

S1021，获取图像样本集合，所述图像样本集合中包括多个图像样本及图像样本的标注信息，所述标注信息用于指示对应同一目标物体的图像样本。

可以理解，由于现有的大部图像均是通过监控摄像头的俯拍视角所拍摄的，进而导致所拍摄的图像与自动驾驶场景不相符，因此，为保证该重识别模型的重识别能力，在一些实施方式中，所述图像样本为在自动驾驶场景下拍摄的。

S1022，基于所述图像样本集合，对待训练的重识别模型进行训练，得到所述重识别模型。

在一些实施方式中，可以根据具体需求，确定待训练的基础网络，本实施方式中，选用深度可分离卷积网络(如mobileNetV2网络)作为骨干网络，当然，也可以选用mobileNetV1网络等轻量化卷积神经网络，在此不做限定。如此，通过采用轻量化的卷积神经网络作为基础训练网络，可以提高训练好的重识别模型的识别效率，实时性更强。

示例性地，在确定基础网络之后，可以将图像样本集合中图像样本分别输入至该基础网络进行特征提取，然后根据分类结果以及损失函数对所述基础网络进行训练，得到重识别模型。其中，具体的模型训练方法与现有模型训练方法类似，在此不再赘述。

可以理解，为了提高重识别模型的识别精度，可以使用激光雷达的跟踪结果搭建重图像样本集合，参见图8所示，通过激光雷达的跟踪可以得到多个检测框，比如点云检测框1、点云检测框2、点云检测框17、点云检测框18、点云检测框19等，然而，如图8所示，会存在一些点云检测框(如点云检测框19或者点云检测框17)被遮挡的情况、且激光雷达的跟踪框与目标物体(如车辆)的贴合度不高，而图像样本集合中的图像样本应该不含有被遮挡物体、且要求检测框贴合目标物体，否则将引入不必要的噪声，导致重识别模型训练结果变差。基于此，在一些实施方式中，参见图9所示，获取图像样本集合的方法包括如下S10211～S10214：

S10211，获取相机所采集的候选图像，对所述候选图像进行目标检测，得到指示检测出的至少一个第二目标物体的第二检测结果。

S10212，获取与所述候选图像针对同一场景同步采集的点云数据，对所述点云数据进行检测，得到至少一个点云检测框。

S10213，确定所述第二检测结果中所述第二目标物体的检测框与所述点云检测框的交并比IOU。

S10214，在存在任一点云检测框与所述第二目标物体的检测框的IOU大于预设阈值的情况下，基于所述候选图像确定所述图像样本。

具体地，可以获取相机所采集的候选图像，并获取与所述候选图像针对同一场景同步采集的点云数据，对所述点云数据进行检测，得到至少一个点云检测框；然后使用对候选图像进行检测得到的第二检测结果，对激光雷达多目标跟踪结果进行过滤。也即，在得到第二检测结果之后，确定所述第二检测结果中所述第二目标物体的检测框与所述点云检测框的交并比IOU，只保留IOU大于预设阈值(如0.7)的候选图像。

此外，还可以基于点云检测框的位置信息确定所述图像样本中所述第二目标物体的检测框的位置信息，也即，将第二目标物体的检测框的ID设置为激光雷达的点云检测框ID。之后，将第二目标物体的检测框所对应的部分从所述候选图像中剪切下来，根据ID分类。

示例地，参见图10所示，为本公开实施例所提供的一种图像样本集合的示意图。如图10所示，目标物体M对应多个图像样本，但该目标物体M所对应的图像样本的ID相同，ID均为001，也即标注信息相同；同理，目标物体N对应多个图像样本，但该目标物体N所对应的图像样本的ID相同，ID均为002，也即标注信息相同。然而，由于目标物体M和目标物体N不同，因此目标物体M所对应的图像样本和目标物体N所对应的图像样本的ID不同。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与多目标跟踪方法对应的多目标跟踪装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述多目标跟踪方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图11所示，为本公开实施例提供的一种多目标跟踪装置500的示意图，所述装置包括：

目标检测模块501，用于对当前帧图像进行目标检测，得到检测出的至少一个第一目标物体的第一检测结果。

特征提取模块502，用于提取所述第一目标物体的外观特征向量。

相似度计算模块503，用于计算所述第一目标物体的外观特征向量，与所述当前帧图像之前的至少一帧图像中检测出的各目标物体的外观特征向量之间的相似度。

跟踪结果确定模块504，用于基于所述相似度，确定针对所述第一目标物体的目标跟踪结果；所述目标跟踪结果用于反映所述第一目标物体在所述当前帧图像以及所述至少一帧图像中的检测结果。

在一种可能的实施方式中，所述跟踪结果确定模块504具体用于：

基于所述相似度，将所述第一检测结果和所述至少一帧图像中各目标物体的检测结果进行匹配，确定与所述第一目标物体匹配的至少一帧图像中的所述第一目标物体的检测结果；

根据所述至少一帧图像中的所述第一目标物体的检测结果以及所述第一检测结果，确定针对所述第一目标物体的目标跟踪结果。

在一种可能的实施方式中，所述第一检测结果中还包括所述第一目标物体的检测框信息、所述第一目标物体的种类、和所述第一目标物体的检测结果的置信度中的至少一种。

在一种可能的实施方式中，参见图12所示，所述装置还包括模型训练模块505，所述模型训练模块505用于：

获取图像样本集合，所述图像样本集合中包括多个图像样本及图像样本的标注信息，所述标注信息用于指示对应同一目标物体的图像样本；

基于所述图像样本集合，对待训练的重识别模型进行训练，得到所述重识别模型。

在一种可能的实施方式中，所述图像样本为在驾驶场景下拍摄的。

在一种可能的实施方式中，所述模型训练模块505具体用于：

获取相机所采集的候选图像，对所述候选图像进行目标检测，得到指示检测出的至少一个第二目标物体的第二检测结果；

获取与所述候选图像针对同一场景同步采集的点云数据，对所述点云数据进行检测，得到至少一个点云检测框；

确定所述第二检测结果中所述第二目标物体的检测框与所述点云检测框的交并比IOU；

在存在任一点云检测框与所述第二目标物体的检测框的IOU大于预设阈值的情况下，基于所述候选图像确定所述图像样本。

在一种可能的实施方式中，所述模型训练模块505具体用于：

从所述候选图像中将所述第二目标物体的检测框所对应的部分图像进行裁剪，得到所述图像样本。

在一种可能的实施方式中，所述目标检测模块501还用于：

按照预设时间间隔或帧数间隔，从待检测视频中获取所述当前帧图像。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图13所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。

本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所述的方法。

其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。

处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的多目标跟踪方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的多目标跟踪方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种多目标跟踪方法，其特征在于，包括：

对当前帧图像进行目标检测，得到检测出的至少一个第一目标物体的第一检测结果；

提取所述第一目标物体的外观特征向量；

计算所述第一目标物体的外观特征向量，与所述当前帧图像之前的至少一帧图像中检测出的各目标物体的外观特征向量之间的相似度；

基于所述相似度，确定针对所述第一目标物体的目标跟踪结果；所述目标跟踪结果用于反映所述第一目标物体在所述当前帧图像以及所述至少一帧图像中的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述相似度，确定针对所述第一目标物体的目标跟踪结果，包括：

基于所述相似度，将所述第一检测结果和所述至少一帧图像中各目标物体的检测结果进行匹配，确定与所述第一目标物体匹配的至少一帧图像中的所述第一目标物体的检测结果；

根据所述至少一帧图像中的所述第一目标物体的检测结果以及所述第一检测结果，确定针对所述第一目标物体的目标跟踪结果。

3.根据权利要求1或2所述的方法，其特征在于，所述第一检测结果中还包括所述第一目标物体的检测框信息、所述第一目标物体的种类、和所述第一目标物体的检测结果的置信度中的至少一种。

4.根据权利要求1-3任一所述的方法，其特征在于，采用重识别模型提取所述第一目标物体的外观特征向量，所述重识别模型采用如下方法训练获得：

获取图像样本集合，所述图像样本集合中包括多个图像样本及图像样本的标注信息，所述标注信息用于指示对应同一目标物体的图像样本；

基于所述图像样本集合，对待训练的重识别模型进行训练，得到所述重识别模型。

5.根据权利要求4所述的方法，其特征在于，所述图像样本为在驾驶场景下拍摄的。

6.根据权利要求4或5所述的方法，其特征在于，根据以下步骤获取图像样本：

获取相机所采集的候选图像，对所述候选图像进行目标检测，得到指示检测出的至少一个第二目标物体的第二检测结果；

获取与所述候选图像针对同一场景同步采集的点云数据，对所述点云数据进行检测，得到至少一个点云检测框；

确定所述第二检测结果中所述第二目标物体的检测框与所述点云检测框的交并比IOU；

在存在任一点云检测框与所述第二目标物体的检测框的IOU大于预设阈值的情况下，基于所述候选图像确定所述图像样本。

7.根据权利要求6所述的方法，其特征在于，所述基于所述候选图像确定所述图像样本，包括：

从所述候选图像中将所述第二目标物体的检测框所对应的部分图像进行裁剪，得到所述图像样本。

8.根据权利要求1-7任一所述的方法，其特征在于，所述基于目标检测模型对当前帧图像进行目标检测之前，所述方法还包括：

按照预设时间间隔或帧数间隔，从待检测视频中获取所述当前帧图像。

9.一种多目标跟踪装置，其特征在于，包括：

目标检测模块，用于对当前帧图像进行目标检测，得到检测出的至少一个第一目标物体的第一检测结果。

特征提取模块，用于提取所述第一目标物体的外观特征向量。

相似度计算模块，用于计算所述第一目标物体的外观特征向量，与所述当前帧图像之前的至少一帧图像中检测出的各目标物体的外观特征向量之间的相似度。

跟踪结果确定模块，用于基于所述相似度，确定针对所述第一目标物体的目标跟踪结果；所述目标跟踪结果用于反映所述第一目标物体在所述当前帧图像以及所述至少一帧图像中的检测结果。

10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-8任一所述的多目标跟踪方法。

11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-8任一所述的多目标跟踪方法。

Images