CN116778278A - 目标检测方法、装置及目标跟踪方法、装置 - Google Patents

Abstract

本申请公开了一种目标检测方法、装置及目标跟踪方法、装置，本申请的目标检测方法充分利用上游输出的激光雷达的三维检测结果以及相机图像的二维检测结果，一方面利用预设目标三维检测模型对激光雷达的三维检测结果进行补充，提高了目标检测效果，尤其是对远距离目标和小目标的检测效果，另一方面将上游的相机图像的二维检测结果直接作为预设目标三维检测模型的输入，无需再训练预设目标三维检测模型对于二维目标检测的能力，提高了模型训练效率。本申请基于多相机对应的目标检测结果进行多目标跟踪，考虑了不同相机检测到同一目标的身份信息冲突问题并进行处理，最终能够输出每个三维目标的唯一身份信息和速度信息，提高了目标跟踪效果。

Description

目标检测方法、装置及目标跟踪方法、装置

技术领域

本申请涉及目标检测及跟踪技术领域，尤其涉及一种目标检测方法、装置及目标跟踪方法、装置。

背景技术

在自动驾驶领域，自动驾驶车辆的目标检测能力是保证自动驾驶车辆的行驶安全性和行驶效率的关键。目前的目标检测方法主要分为三种：基于激光点云的目标检测、基于视觉的目标检测和基于多传感器融合的目标检测。

基于激光点云的目标检测方案可直接从点云中检测三维目标，但很难在大规模、稀疏和非结构化的点云中准确高效地搜索对象，尤其是对远距离和小目标的检测效果较差。基于视觉的目标检测方案利用成熟的图像检测器来检测目标，但是，二维图像的检测可能会丢失三维空间中一些与几何相关的空间信息。多传感器融合的目标检测方案结合基于激光点云和基于视觉的方法的优势，能显著提高三维目标检测性能。

基于多传感器融合的目标检测方案先对相机图像进行二维目标检测，并结合图像深度信息将二维检测结果映射到三维空间中，之后再进行实例分割和基于PointNet(基于点特征的神经网络)的分类，得到最终的目标检测结果。然而，该方案需要单独训练一个能够同时具有较好的二维目标检测能力、实例分割能力以及三维目标分类能力的综合目标检测模型，对于模型训练效果的要求较高，且二维图像信息到三维空间的映射也可能会丢失信息，导致目标检测的准确性仍有待提升。

发明内容

本申请实施例提供了一种目标检测方法、装置及目标跟踪方法、装置，以提高目标检测的准确性和检测效率。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种目标检测方法，其中，所述目标检测方法包括：

获取第一目标三维检测结果，所述第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果；

获取目标二维检测结果，所述目标二维检测结果为基于视觉的目标检测模型检测得到的结果；

利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果；

根据所述第一目标三维检测结果和所述第二目标三维检测结果确定最终的目标检测结果。

可选地，所述预设目标三维检测模型包括三维实例分割网络和分类网络，所述利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果包括：

将所述目标二维检测结果作为所述三维实例分割网络的输入，并依次经过所述三维实例分割网络的实例分割处理和分类网络的分类处理，输出所述第二目标三维检测结果。

可选地，所述预设目标三维检测模型通过如下方式训练得到：

获取用于训练的样本标注数据，所述用于训练的样本标注数据包括激光雷达的样本标注数据和相机的样本标注数据；

将所述用于训练的样本标注数据输入预设目标三维检测模型的三维实例分割网络中进行实例分割，得到三维实例分割结果；

将所述三维实例分割结果输入所述预设目标三维检测模型的分类网络中进行分类，得到目标检测结果；

根据所述目标检测结果和所述样本标注数据的标注信息，利用预设损失函数确定所述目标检测结果的损失值，并根据所述目标检测结果的损失值更新所述预设目标三维检测模型的参数，得到训练后的预设目标三维检测模型。

可选地，所述三维实例分割网络包括多个特征提取子网络，各个特征提取子网络中均插入有残差网络。

可选地，所述获取用于训练的样本标注数据包括：

获取原始的样本标注数据；

利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据。

可选地，所述原始的样本标注数据包括激光雷达的样本标注数据，所述利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据包括：

根据激光雷达与相机之间的变换关系，将激光雷达的样本标注数据投影至相机图像上，得到激光雷达的样本标注数据在相机图像上的投影结果；

根据所述激光雷达的样本标注数据在相机图像上的投影结果确定相机的样本标注数据；

将所述激光雷达的样本标注数据和所述相机的样本标注数据作为用于训练的样本标注数据。

可选地，所述原始的样本标注数据包括第一样本标注数据，所述第一样本标注数据为少样本标注数据，所述利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据包括：

提取所述第一样本标注数据中的目标并确定所述第一样本标注数据对应的第一场景；

获取场景数据，并根据所述第一样本标注数据对应的第一场景从所述场景数据中确定第二场景；

根据所述第二场景以及从所述第一样本标注数据中提取出的目标生成第二样本标注数据。

第二方面，本申请实施例还提供一种目标跟踪方法，其中，所述目标跟踪方法包括：

获取多个相机对应的目标检测结果；

基于多个相机之间的优先级信息，将多个相机对应的目标检测结果进行融合，得到目标融合结果；

根据所述目标融合结果，利用预设目标跟踪算法进行目标跟踪，得到目标跟踪结果；

其中，各个所述相机对应的目标检测结果基于前述任一所述目标检测方法检测得到。

第三方面，本申请实施例还提供一种目标检测装置，其中，所述目标检测装置包括：

第一获取单元，用于获取第一目标三维检测结果，所述第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果；

第二获取单元，用于获取目标二维检测结果，所述目标二维检测结果为基于视觉的目标检测模型检测得到的结果；

检测单元，用于利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果；

确定单元，用于根据所述第一目标三维检测结果和所述第二目标三维检测结果确定最终的目标检测结果。

第四方面，本申请实施例还提供一种目标跟踪装置，其中，所述目标跟踪装置包括：

第三获取单元，用于获取多个相机对应的目标检测结果；

融合单元，用于基于多个相机之间的优先级信息，将多个相机对应的目标检测结果进行融合，得到目标融合结果；

目标跟踪单元，用于根据所述目标融合结果，利用预设目标跟踪算法进行目标跟踪，得到目标跟踪结果；

其中，各个所述相机对应的目标检测结果基于前述任一所述目标检测方法检测得到。

第五方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。

第六方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的目标检测方法，先获取第一目标三维检测结果，第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果；然后获取目标二维检测结果，目标二维检测结果为基于视觉的目标检测模型检测得到的结果；之后利用预设目标三维检测模型对相机图像的目标二维检测结果进行三维检测，得到第二目标三维检测结果；最后根据第一目标三维检测结果和第二目标三维检测结果确定最终的目标检测结果。本申请实施例充分利用了上游输出的激光雷达的三维检测结果以及相机图像的二维检测结果，一方面利用预设目标三维检测模型对激光雷达的三维检测结果进一步补充，提高了目标检测效果，尤其是对远距离目标和小目标的检测效果，另一方面将上游的相机图像的二维检测结果直接作为预设目标三维检测模型的输入，无需再训练预设目标三维检测模型对于二维目标检测的能力，提高了目标检测模型的训练效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种目标检测方法的流程示意图；

图2为本申请实施例中一种残差网络的结构示意图；

图3为本申请实施例中一种预设目标三维检测模型的检测结果示意图；

图4为本申请实施例中一种目标检测流程示意图；

图5为本申请实施例中一种目标跟踪方法的流程示意图；

图6为本申请实施例中一种多相机的目标检测结果的跟踪匹配流程示意图；

图7为本申请实施例中一种目标跟踪流程示意图；

图8为本申请实施例中一种2D目标检测结果的可视化效果示意图；

图9为本申请实施例中一种3D目标检测及跟踪结果的可视化效果示意图；

图10为本申请实施例中一种目标检测装置的结构示意图；

图11为本申请实施例中一种目标跟踪装置的结构示意图；

图12为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种目标检测方法，如图1所示，提供了本申请实施例中一种目标检测方法的流程示意图，所述目标检测方法至少包括如下的步骤S110至步骤S140：

步骤S110，获取第一目标三维检测结果，所述第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果。

本申请实施例的目标检测方法可以由自动驾驶车辆的车端来执行，在进行目标检测时，需要先获取第一目标三维检测结果，这里的第一目标三维检测结果是基于激光雷达的目标检测模型得到的检测结果，可以直接从上游获取到，例如目前的自动驾驶车辆的车端已经部署有相对成熟的基于激光点云的目标检测模型，基于激光点云的目标检测模型能够在稠密和结构化的点云中准确高效地搜索对象，对近距离目标和大目标具有较好的检测效果，因此基于激光点云的目标检测模型可以在一定程度上得到部分目标的高精度检测结果。

本申请实施例的第一目标三维检测结果可以直接从上游获取到，无需再单独检测，充分利用了已有的基于激光点云的目标检测模型的检测优势。

步骤S120，获取目标二维检测结果，所述目标二维检测结果为基于视觉的目标检测模型检测得到的结果。

本申请实施例还需要获取目标二维检测结果，这里的目标二维检测结果是基于视觉的目标检测模型得到的检测结果，可以直接从上游获取到，例如目前的自动驾驶车辆的车端也已经部署有成熟的基于视觉的二维目标检测模型，基于视觉的二维目标检测模型可以准确识别出图像中的各种目标，其技术成熟度和目标检测稳定性远高于激光雷达，因此这里可以直接获取并利用已有的基于视觉的目标检测模型得到的检测结果。

步骤S130，利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果。

本申请实施例事先训练了目标三维检测模型，这里的目标三维检测模型也可以看作是一种改进后的多传感器融合的目标检测模型，该改进后的多传感器融合的目标检测模型与现有的多传感器融合的目标检测模型的主要区别在于，不需要再对相机图像进行二维目标检测，而是可以直接将前述步骤S120中从上游获取到的目标二维检测结果作为模型的输入进行后续的检测，从而得到预设目标三维检测模型输出的第二目标三维检测结果。

此种方式省去了预设目标三维检测模型对相机图像进行二维目标检测的环节，一方面提高了目标检测效率和目标检测准确性，尤其是对远距离目标和小目标有较好的检测效果，另一方面也降低了对预设目标三维检测模型的训练要求，再一方面，也充分发挥了上游的基于视觉的目标检测模型的检测优势。

步骤S140，根据所述第一目标三维检测结果和所述第二目标三维检测结果确定最终的目标检测结果。

前述第一目标三维检测结果是单纯基于激光点云的目标检测模型得到的检测结果，对近距离目标和大目标具有较高的检测精度，而第二目标三维检测结果是基于改进后的多传感器融合的目标检测模型得到的检测结果，对远距离目标和小目标有较好的检测效果，因此本申请实施例可以将二者进行融合，充分发挥各自的检测优势，进一步提高自动驾驶场景下的目标检测的准确性。

本申请实施例充分利用了上游输出的激光雷达的三维检测结果以及相机图像的二维检测结果，一方面利用预设目标三维检测模型对激光雷达的三维检测结果进一步补充，提高了目标检测效果，尤其是对远距离目标和小目标的检测效果，另一方面将上游的相机图像的二维检测结果直接作为预设目标三维检测模型的输入，无需再训练预设目标三维检测模型对于二维目标检测的能力，提高了目标检测模型的训练效率。

在本申请的一些实施例中，在利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果之前，所述方法还包括：对所述激光雷达采集的点云数据和相机采集的图像数据进行预处理操作，得到预处理后的点云数据和图像数据；根据所述预处理后的点云数据，利用基于激光雷达的目标检测模型进行目标检测，得到第一目标三维检测结果；根据所述预处理后的图像数据，利用基于视觉的目标检测模型进行目标检测，得到目标二维检测结果。

考虑到激光雷达和相机的数据输出频率不同，对应的坐标系也不同以及原始数据存在的畸变问题，本申请实施例可以对激光雷达采集的点云数据和相机采集的图像数据进行预处理操作，以保证后续目标检测结果的准确性，这里的预处理操作主要包括以下几个方案：

1)传感器标定实现空间同步；

2)根据精确时间协议(Precision Time Protocol)对传感器数据进行时间同步；

3)根据自车运动参数对激光雷达采集的点云数据去除运动畸变；

4)根据相机标定内参对图像数据进行投影去畸变。

由于本申请实施例的目标检测方案依赖上游数据的质量，因此通过上面罗列的预处理操作可以保证输入数据符合使用要求，进而能够保证最终输出一个好的目标检测结果。本申请实施例的目标检测方案会用到不同源的传感器数据，所以传感器之间的时空同步非常关键，时间同步可以使用精确时间协议同步各传感器数据的时间戳基准，并在一个时间同步模块将同一时刻下的不同源数据打包发给下游；传感器空间同步主要依赖不同源传感器的标定效果，这里可以使用现有的或者自定义的标定工具完成。

对于传感器自身的问题，主要有激光雷达运动畸变和相机投影畸变。这里主要的处理方式可以为激光雷达根据自车的运动参数将一个360度周期的点云数据通过不同时刻自车的运动位姿转换到每帧激光束首次发出时自车所在的姿态下，即解决了由于车辆的运动导致同一帧点云不同点的发射原点不统一的问题。相机的投影畸变主要靠标定得到的相机畸变参数，在做投影操作时可以通过现有的图像去畸变算法排除畸变影响。

在本申请的一些实施例中，所述预设目标三维检测模型包括三维实例分割网络和分类网络，所述利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果包括：将所述目标二维检测结果作为所述三维实例分割网络的输入，并依次经过所述三维实例分割网络的实例分割处理和分类网络的分类处理，输出所述第二目标三维检测结果。

本申请实施例的预设目标三维检测模型是在已有的多传感器融合的目标检测模型的基础上改进得到的，已有的多传感器融合的目标检测模型主要包括三部分网络结构，第一部分是二维目标检测网络，第二部分是三维实例分割网络，第三部分是分类网络。首先，通过一个二维的卷积神经网络(CNN)对二维图像进行目标检测，得到目标的二维检测框和它的类别，然后结合深度信息将二维的检测框映射成一个三维的视锥预选区域。然后，将三维的视锥预选区域中的点进行采样。最终这些采样点和通过二维的CNN得到的类别一起作为实例分割网络的输入，得到的输出继续作为下一阶段的输入。最后，利用一个基于点特征的神经网络和一个分类网络回归预测出三维的检测框的位置和类别。

上述已有的多传感器融合的目标检测模型需要在训练阶段综合考虑模型的二维目标检测能力、实例分割能力以及三维目标分类能力，对于模型的训练效果要求较高。因此，本申请实施例的预设目标三维检测模型改进了已有模型的网络架构，仅设计了三维实例分割网络和分类网络，对于二维目标检测，可以直接采用上游基于视觉的目标检测模型输出的结果，作为三维实例分割网络的输入，这些系统架构层面的考量，降低了对模型整体的训练要求，大大缩短了整个系统链路的处理时间，且保证了各模块的输出精度，方便系统的后期维护。

在本申请的一些实施例中，所述预设目标三维检测模型通过如下方式训练得到：获取用于训练的样本标注数据，所述用于训练的样本标注数据包括激光雷达的样本标注数据和相机的样本标注数据；将所述用于训练的样本标注数据输入预设目标三维检测模型的三维实例分割网络中进行实例分割，得到三维实例分割结果；将所述三维实例分割结果输入所述预设目标三维检测模型的分类网络中进行分类，得到目标检测结果；根据所述目标检测结果和所述样本标注数据的标注信息，利用预设损失函数确定所述目标检测结果的损失值，并根据所述目标检测结果的损失值更新所述预设目标三维检测模型的参数，得到训练后的预设目标三维检测模型。

本申请实施例在训练预设目标三维检测模型时，需要先获取用于训练的样本标注数据，样本标注数据即指标注有检测框位置和类别信息的样本数据，具体可以包括激光雷达的样本标注数据和相机的样本标注数据，这里的激光雷达的样本标注数据和相机的样本标注数据是指对激光雷达和相机进行联合标定后的样本标注数据。

激光雷达的样本标注数据主要包括激光雷达的三维检测框的标注位置和标注类别，相机的样本标注数据主要包括目标的二维检测框的标注位置和标注类别，结合深度信息可以先将目标的二维检测框映射成一个三维的视锥预选区域，再将三维的视锥预选区域中的点进行采样，最终这些点和目标的二维检测框的标注类别的热编码一起作为3D实例分割网络的输入，输出这些点对应的mask掩码，被mask掩码过滤后剩余的点继续作为下一阶段的输入，具体可以利用PointNet网络，将输入的点校正对齐，并通过另一个分类网络确定出三维检测框的预测位置和预测类别。

最后根据三维检测框的预测位置和预测类别以及三维检测框的标注位置和预测类别计算位置预测损失和类别预测损失，以此更新预设目标三维检测模型的参数，得到训练后的预设目标三维检测模型。

在本申请的一些实施例中，所述三维实例分割网络包括多个特征提取子网络，各个特征提取子网络中均插入有残差网络。

三维实例分割网络中包括多个用于进行特征提取的子网络，为了进一步提高预设目标三维检测模型的训练效果和检测能力，本申请实施例在已有的三维实例分割网络的结构基础上，进一步在每个特征提取子网络中插入了残差网络的结构，如基于ReLU(Rectified Linear Activation Function，线性整流激活函数)实现的残差网络，如图2所示，提供了本申请实施例中一种残差网络的结构示意图，残差网络是一种常用的深度神经网络结构，它通过引入“残差连接”来缓解深层神经网络中的梯度消失问题，提高模型的性能和训练效率。

对三维实例分割网络内的各个特征提取模块大量的插入残差网络结构，主要可以得到如下方面的效果：

1)缓解梯度消失问题：残差网络通过引入“残差连接”来让信息跨越多个层次传递，从而使梯度反向传播的路径更加直接，减缓了梯度消失的问题；

2)提高训练效率：由于残差连接可以让信息在网络中快速传递，所以残差网络的训练速度更快，可以在更短的时间内达到更好的性能；

3)增强模型深度：在传统的深度神经网络中，随着网络深度的增加，性能会出现下降的情况，但是使用残差连接可以让网络更深，从而进一步提升模型性能；

4)提高模型的泛化性能：由于残差连接可以让信息更加直接地传递，因此残差网络可以更好地学习到数据中的重要特征，从而提高模型的泛化能力。

本申请实施例在三维实例分割网络中加入了多个残差网络后，模型的收敛速度大大提升，使用比较少的数据就可以达到一个比较好的检测效果，本申请实施例在nuScenes开源数据集上，基于改进后的目标检测网络在没有添加任何训练策略的前提下，mAP(meanAverage Precision，均值平均精度)指标达到了0.44，相比于基于Frustum PointNets得到的mAP指标(0.37)，高出了约7个百分点。

在本申请的一些实施例中，所述获取用于训练的样本标注数据包括：获取原始的样本标注数据；利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据。

训练样本标注数据的质量在很大程度了影响了模型训练效果的好坏，因此本申请实施例在获取用于训练的样本标注数据时，可以采取一定的数据增强策略对原始的样本标注数据进行数据增强处理，这里的数据增强策略例如可以针对未做相机和激光雷达联合标注或者相机和激光雷达的标定偏差非常大的情况进行数据增强处理，也可以针对少样本标注数据进行数据增强处理，还可以包括对激光雷达采集的原始点云数据进行数据增强操作。

对激光雷达采集的原始点云数据进行数据增强操作例如可以包括如下方式：

1)对提取到的三维视锥点云绕z轴做一定范围的随机旋转；

2)提取到的视锥点云在x，y轴做随机翻转；

3)点云每个点的(x，y，z)进行[0.95，1.05]之间的随机缩放；

4)增加随机高斯噪声N(0，0.02)。

当然，具体采取哪些方式进行数据增强处理，本领域技术人员可以根据实际需求灵活设置，在此不作具体限定。

基于上述数据增强处理后的样本标注数据训练目标检测模型，使得该目标检测模型在nuScenes开源数据集上的检测效果得到大大提升，如图3所示，提供了本申请实施例中一种预设目标三维检测模型的检测结果示意图，可见该预设目标三维检测模型对于行人等小目标和远距离的车辆有比较好的检测效果。

在本申请的一些实施例中，所述原始的样本标注数据包括激光雷达的样本标注数据，所述利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据包括：根据激光雷达与相机之间的变换关系，将激光雷达的样本标注数据投影至相机图像上，得到激光雷达的样本标注数据在相机图像上的投影结果；根据所述激光雷达的样本标注数据在相机图像上的投影结果确定相机的样本标注数据；将所述激光雷达的样本标注数据和所述相机的样本标注数据作为用于训练的样本标注数据。

对于未做相机和激光雷达联合标注或者相机和激光雷达的标定偏差非常大的情况，可以直接使用激光雷达的样本标注数据来实现相机样本数据的标注，通过将激光雷达的样本标注数据中标注的三维检测框进行坐标转换，投影至相机图像上，从而模拟出图像的二维检测框，以此进行后续视锥点云的提取，从而保证训练数据量和数据质量。

需要说明的是，在将激光雷达的三维检测框投影至相机图像上后，得到的二维检测框并不一定完全准确，例如有可能仅覆盖到目标的部分区域，因此本申请实施例还可以对投影后得到的二维检测框进行一定处理，例如可以适当扩大二维检测框的尺寸。

在本申请的一些实施例中，所述原始的样本标注数据包括第一样本标注数据，所述第一样本标注数据为少样本标注数据，所述利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据包括：提取所述第一样本标注数据中的目标并确定所述第一样本标注数据对应的第一场景；获取场景数据，并根据所述第一样本标注数据对应的第一场景从所述场景数据中确定第二场景；根据所述第二场景以及从所述第一样本标注数据中提取出的目标生成第二样本标注数据。

对于一些训练场景可能仅采集和标注了少量的样本数据，为了提高模型的泛化能力和检测效果，可以基于少样本标注数据进行数据增强处理，以扩充样本数据量。

少样本标注数据中已经标注有目标的检测框位置和类别，因此可以根据目标的检测框位置将目标从点云或者图像中提取出来，然后结合事先建立好的场景数据，将提取出的目标插入到其他场景中，从而生成目标在新场景中的标注数据。

为了便于对本申请各实施例的理解，如图4所示，提供了本申请实施例中一种目标检测流程示意图。首先，获取上游基于激光雷达的目标检测模型输出的第一目标三维检测结果及基于视觉的目标检测模型输出的目标二维检测结果。然后，基于相机图像的目标二维检测结果，利用预设目标三维检测模型依次进行三维实例分割和分类，得到第二目标三维检测结果。最后，将第一目标三维检测结果和第二目标三维检测结果进行融合，输出最终的目标检测结果。

本申请实施例还提供了一种目标跟踪方法，如图5所示，提供了本申请实施例中一种目标跟踪方法的流程示意图，所述目标跟踪方法至少包括如下的步骤S510至步骤S530：

步骤S510，获取多个相机对应的目标检测结果；

步骤S520，基于多个相机之间的优先级信息，将多个相机对应的目标检测结果进行融合，得到目标融合结果；

步骤S530，根据所述目标融合结果，利用预设目标跟踪算法进行目标跟踪，得到目标跟踪结果；

其中，各个所述相机对应的目标检测结果基于前述任一所述目标检测方法检测得到。

本申请的自动驾驶车辆上安装有多个相机，例如可以包括不同焦距的长焦相机和广角相机，不同相机的拍摄距离和视野不同，因此基于前述各个实施例中的目标检测方法最终会输出多个相机对应的目标三维检测结果。

考虑到同一目标的三维检测框应当具有唯一的身份信息和速度信息，但多个相机可能会检测到同一个目标并分别给这个目标添加不同的身份信息，针对这种情况，本申请实施例可以依据不同相机检测距离的差异，对相机进行优先级排序，例如优先级顺序可以为：长焦30度相机>长焦60相机>广角120相机，即相机检测距离越远，对应的优先级越高，优先级越高，在多目标检测结果的融合阶段，对应的目标检测结果越被优先保留，并单独维护一组目标检测结果的身份信息编码。跟踪阶段跟踪目标列表与新输入的目标检测结果进行多目标匹配时仅使用单独维护的目标身份信息编码。

举例说明，假设长焦30度相机和长焦60度相机同时检测到了一个目标，并且经过前述实施例的目标检测方法得到了对应的三维检测框，这时可以对两个相机检测到的三维检测框计算俯视图空间下的交并比大小，如果交并比大于事先设定的阈值，则认为检测到同一个目标，此时根据上述定义的优先级顺序保留长焦30度相机检测得到的三维检测框，并且将两个相机检测的身份信息编码缓存下来，重新赋予一个单独维护的唯一身份信息编码。当下一次接收到两个相机中任意一个检测到的身份信息编码与之前缓存的身份信息编码重复时，即可认为目标被持续识别，将其加入到跟踪列表中，对应的唯一身份信息编码仍采用之前赋予的编码。

如图6所示，提供了本申请实施例中一种多相机的目标检测结果的跟踪匹配流程示意图。measure_1、measure_2以及measure_3……为每次多个相机对应的目标三维检测结果，并在Bev(Bird’s-eye-view，鸟瞰视角)下进行匹配，track_1、track_2以及track_3……为每次对多个相机对应的目标三维检测结果进行匹配后更新的跟踪列表，即匹配成功，则维持其在跟踪列表中的唯一身份信息编码，匹配失败，则在跟踪列表中为其新建一个唯一身份信息编码。

经过上述步骤处理完之后，输出的三维检测框即具有唯一的身份信息编码，这为后续的多目标跟踪算法创造了非常好的前提条件。

后续跟踪算法可以使用卡尔曼滤波算法实现，但多目标匹配时，可以先将观测数据的身份信息编码和缓存的身份信息编码进行匹配，身份信息编码匹配成功的可以直接认为关联上，无需再做基于位置的匈牙利匹配，身份信息编码没有匹配成功的，则可以进一步进行匈牙利匹配，最终得到所有的多目标匹配结果，进行下一步的卡尔曼滤波，跟踪目标状态并获取速度值。如图7所示，提供了本申请实施例中一种目标跟踪流程示意图。

如图8所示，提供了本申请实施例中一种2D目标检测结果的可视化效果示意图，如图9所示，提供了本申请实施例中一种3D目标检测及跟踪结果的可视化效果示意图。图中的检测框包括相机视锥范围内的锥桶和行人及骑车人，可以看出，本申请对容易漏检的远距离目标和小目标具有较好的检测和跟踪效果以及速度的输出。

本申请实施例还提供了一种目标检测装置1000，如图10所示，提供了本申请实施例中一种目标检测装置的结构示意图，所述目标检测装置1000包括：第一获取单元1010、第二获取单元1020、检测单元1030以及确定单元1040，其中：

第一获取单元1010，用于获取第一目标三维检测结果，所述第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果；

第二获取单元1020，用于获取目标二维检测结果，所述目标二维检测结果为基于视觉的目标检测模型检测得到的结果；

检测单元1030，用于利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果；

确定单元1040，用于根据所述第一目标三维检测结果和所述第二目标三维检测结果确定最终的目标检测结果。

在本申请的一些实施例中，所述预设目标三维检测模型包括三维实例分割网络和分类网络，所述检测单元1030具体用于：将所述目标二维检测结果作为所述三维实例分割网络的输入，并依次经过所述三维实例分割网络的实例分割处理和分类网络的分类处理，输出所述第二目标三维检测结果。

在本申请的一些实施例中，所述预设目标三维检测模型通过如下方式训练得到：获取用于训练的样本标注数据，所述用于训练的样本标注数据包括激光雷达的样本标注数据和相机的样本标注数据；将所述用于训练的样本标注数据输入预设目标三维检测模型的三维实例分割网络中进行实例分割，得到三维实例分割结果；将所述三维实例分割结果输入所述预设目标三维检测模型的分类网络中进行分类，得到目标检测结果；根据所述目标检测结果和所述样本标注数据的标注信息，利用预设损失函数确定所述目标检测结果的损失值，并根据所述目标检测结果的损失值更新所述预设目标三维检测模型的参数，得到训练后的预设目标三维检测模型。

在本申请的一些实施例中，所述三维实例分割网络包括多个特征提取子网络，各个特征提取子网络中均插入有残差网络。

在本申请的一些实施例中，所述获取用于训练的样本标注数据包括：获取原始的样本标注数据；利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据。

在本申请的一些实施例中，所述原始的样本标注数据包括激光雷达的样本标注数据，所述利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据包括：根据激光雷达与相机之间的变换关系，将激光雷达的样本标注数据投影至相机图像上，得到激光雷达的样本标注数据在相机图像上的投影结果；根据所述激光雷达的样本标注数据在相机图像上的投影结果确定相机的样本标注数据；将所述激光雷达的样本标注数据和所述相机的样本标注数据作为用于训练的样本标注数据。

在本申请的一些实施例中，所述原始的样本标注数据包括第一样本标注数据，所述第一样本标注数据为少样本标注数据，所述利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据包括：提取所述第一样本标注数据中的目标并确定所述第一样本标注数据对应的第一场景；获取场景数据，并根据所述第一样本标注数据对应的第一场景从所述场景数据中确定第二场景；根据所述第二场景以及从所述第一样本标注数据中提取出的目标生成第二样本标注数据。

能够理解，上述目标检测装置，能够实现前述实施例中提供的目标检测方法的各个步骤，关于目标检测方法的相关阐释均适用于目标检测装置，此处不再赘述。

本申请实施例还提供了一种目标跟踪装置1100，如图11所示，提供了本申请实施例中一种目标跟踪装置的结构示意图，所述目标跟踪装置1100包括：第三获取单元1110、融合单元1120以及目标跟踪单元1130，其中：

第三获取单元1110，用于获取多个相机对应的目标检测结果；

融合单元1120，用于基于多个相机之间的优先级信息，将多个相机对应的目标检测结果进行融合，得到目标融合结果；

目标跟踪单元1130，用于根据所述目标融合结果，利用预设目标跟踪算法进行目标跟踪，得到目标跟踪结果；

其中，各个所述相机对应的目标检测结果基于前述任一所述目标检测方法检测得到。

能够理解，上述目标跟踪装置，能够实现前述实施例中提供的目标跟踪方法的各个步骤，关于目标跟踪方法的相关阐释均适用于目标跟踪装置，此处不再赘述。

图12是本申请的一个实施例电子设备的结构示意图。请参考图12，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成目标检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取第一目标三维检测结果，所述第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果；

获取目标二维检测结果，所述目标二维检测结果为基于视觉的目标检测模型检测得到的结果；

利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果；

根据所述第一目标三维检测结果和所述第二目标三维检测结果确定最终的目标检测结果。

上述如本申请图1所示实施例揭示的目标检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中目标检测装置执行的方法，并实现目标检测装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中目标检测装置执行的方法，并具体用于执行：

获取第一目标三维检测结果，所述第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果；

获取目标二维检测结果，所述目标二维检测结果为基于视觉的目标检测模型检测得到的结果；

利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果；

根据所述第一目标三维检测结果和所述第二目标三维检测结果确定最终的目标检测结果。

需要说明的是，本申请实施例的电子设备还可用于执行图5所示实施例中目标跟踪装置执行的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种目标检测方法，其中，所述目标检测方法包括：

获取第一目标三维检测结果，所述第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果；

获取目标二维检测结果，所述目标二维检测结果为基于视觉的目标检测模型检测得到的结果；

利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果；

根据所述第一目标三维检测结果和所述第二目标三维检测结果确定最终的目标检测结果。

2.如权利要求1所述目标检测方法，其中，所述预设目标三维检测模型包括三维实例分割网络和分类网络，所述利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果包括：

将所述目标二维检测结果作为所述三维实例分割网络的输入，并依次经过所述三维实例分割网络的实例分割处理和分类网络的分类处理，输出所述第二目标三维检测结果。

3.如权利要求1～2任一项所述目标检测方法，其中，所述预设目标三维检测模型通过如下方式训练得到：

获取用于训练的样本标注数据，所述用于训练的样本标注数据包括激光雷达的样本标注数据和相机的样本标注数据；

将所述用于训练的样本标注数据输入预设目标三维检测模型的三维实例分割网络中进行实例分割，得到三维实例分割结果；

将所述三维实例分割结果输入所述预设目标三维检测模型的分类网络中进行分类，得到目标检测结果；

根据所述目标检测结果和所述样本标注数据的标注信息，利用预设损失函数确定所述目标检测结果的损失值，并根据所述目标检测结果的损失值更新所述预设目标三维检测模型的参数，得到训练后的预设目标三维检测模型。

4.如权利要求3所述目标检测方法，其中，所述三维实例分割网络包括多个特征提取子网络，各个特征提取子网络中均插入有残差网络。

5.如权利要求3所述目标检测方法，其中，所述获取用于训练的样本标注数据包括：

获取原始的样本标注数据；

利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据。

6.如权利要求5所述目标检测方法，其中，所述原始的样本标注数据包括激光雷达的样本标注数据，所述利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据包括：

根据激光雷达与相机之间的变换关系，将激光雷达的样本标注数据投影至相机图像上，得到激光雷达的样本标注数据在相机图像上的投影结果；

根据所述激光雷达的样本标注数据在相机图像上的投影结果确定相机的样本标注数据；

将所述激光雷达的样本标注数据和所述相机的样本标注数据作为用于训练的样本标注数据。

7.如权利要求5所述目标检测方法，其中，所述原始的样本标注数据包括第一样本标注数据，所述第一样本标注数据为少样本标注数据，所述利用预设数据增强策略对原始的样本标注数据进行数据增强，得到数据增强后的样本标注数据，作为用于训练的样本标注数据包括：

提取所述第一样本标注数据中的目标并确定所述第一样本标注数据对应的第一场景；

获取场景数据，并根据所述第一样本标注数据对应的第一场景从所述场景数据中确定第二场景；

根据所述第二场景以及从所述第一样本标注数据中提取出的目标生成第二样本标注数据。

8.一种目标跟踪方法，其中，所述目标跟踪方法包括：

获取多个相机对应的目标检测结果；

基于多个相机之间的优先级信息，将多个相机对应的目标检测结果进行融合，得到目标融合结果；

根据所述目标融合结果，利用预设目标跟踪算法进行目标跟踪，得到目标跟踪结果；

其中，各个所述相机对应的目标检测结果基于权利要求1～7之任一所述目标检测方法检测得到。

9.一种目标检测装置，其中，所述目标检测装置包括：

第一获取单元，用于获取第一目标三维检测结果，所述第一目标三维检测结果为基于激光雷达的目标检测模型检测得到的结果；

第二获取单元，用于获取目标二维检测结果，所述目标二维检测结果为基于视觉的目标检测模型检测得到的结果；

检测单元，用于利用预设目标三维检测模型对所述目标二维检测结果进行三维检测，得到第二目标三维检测结果；

确定单元，用于根据所述第一目标三维检测结果和所述第二目标三维检测结果确定最终的目标检测结果。

10.一种目标跟踪装置，其中，所述目标跟踪装置包括：

第三获取单元，用于获取多个相机对应的目标检测结果；

融合单元，用于基于多个相机之间的优先级信息，将多个相机对应的目标检测结果进行融合，得到目标融合结果；

目标跟踪单元，用于根据所述目标融合结果，利用预设目标跟踪算法进行目标跟踪，得到目标跟踪结果；

其中，各个所述相机对应的目标检测结果基于权利要求1～7之任一所述目标检测方法检测得到。

11.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1～7之任一所述目标检测方法，或者执行权利要求8所述目标跟踪方法。