CN117475397A - 基于多模态传感器的目标标注数据获取方法、介质及设备 - Google Patents

Abstract

本申请涉及自动驾驶技术领域，具体提供一种基于多模态传感器的目标标注数据获取方法、介质及设备，旨在解决低成本、便捷地获取高精度的目标标注数据的问题。为此目的，本申请提供的方法包括对雷达采集的点云序列进行目标检测和跟踪，获取点云目标的运动轨迹；对相机采集的图像进行目标检测，获取图像目标的类别；根据点云目标的运动轨迹，获取点云目标在图像时刻的位姿，根据位姿获取图像上与点云目标匹配的图像目标，根据该图像目标的类别、点云目标的轨迹信息，获取标注数据。上述方法有效结合了雷达测距和相机语义捕获的能力，能够得到高精度的标注数据，同时采用的手段易于实施且高效，能够显著降低成本。

Description

基于多模态传感器的目标标注数据获取方法、介质及设备

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种基于多模态传感器的目标标注数据获取方法、介质及设备。

背景技术

在对车辆进行自动驾驶时通常会涉及环境感知、运动预测、规划决策等环节，为了提高这些环节的准确性和可靠性，通常会获取不同场景的传感器数据，对这些传感器数据进行目标标注，再采用标注好目标各项数据（如位姿、语义等）的传感器数据训练用于各环节的模型（如环境感知模型、运动预测模型、规划决策模型等），最后采用训练好的模型实现各环节的功能。在此过程中，目标标注数据至关重要，如果想要提高各环节的能力，必须要采用精度高、数量大、场景完备的目标标注数据。

目前常规的标注方法通常需要耗费较大的成本才能完成高数据量和场景完成的目标标注。同时，前常规的标注方法主要是利用目标在单帧数据中的信息进行标注，无法得到高精度的标注数据。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何低成本、便捷地获取高精度的目标标注数据的技术问题的基于多模态传感器的目标标注数据获取方法、介质及设备。

在第一方面，提供一种基于多模态传感器的目标标注数据获取方法，所述多模态传感器包括雷达和相机，所述方法包括：

对雷达采集的点云序列进行目标检测和跟踪，以获取各点云目标的运动轨迹，所述运动轨迹包括点云目标在所述点云序列中每帧点云时刻的轨迹信息，所述轨迹信息至少包括3D位姿；

对相机采集的图像进行目标检测，以获取各图像目标的类别；

根据所述图像目标的类别，获取各点云目标的类别；

根据各点云目标的类别和各点云目标在所述每帧点云时刻的轨迹信息，获取各点云目标的标注数据；

其中，所述获取各点云目标的类别，包括：针对各点云目标，根据所述点云目标的运动轨迹，获取所述点云目标在所述图像时刻的位姿，根据所述位姿获取所述图像上与所述点云目标匹配的图像目标，根据所述匹配的图像目标的类别获取所述点云目标的类别。

在上述目标标注数据获取方法的一个技术方案中，所述轨迹信息还包括点云目标的3D检测框，在所述获取各点云目标的类别之前，还包括：

针对各点云目标，分别获取所述点云目标在所述点云序列的每帧点云中3D检测框的尺寸，并将所有3D检测框的尺寸修改成相同尺寸。

在上述目标标注数据获取方法的一个技术方案中，所述将所有3D检测框的尺寸修改成相同尺寸，包括：

分别获取每个3D检测框的权重和第一残差；

根据每个3D检测框的权重和第一残差的乘积，分别获取每个3D检测框的第二残差；

以目标尺寸为优化变量，并以所有3D检测框的第二残差的平方和最小为目标，对所述目标尺寸进行优化，以获取最优的目标尺寸；

将所有3D检测框的尺寸修改成所述最优的目标尺寸；

其中，所述3D检测框的权重为点云目标在所述3D检测框内的投影尺寸与所述3D检测框的实际尺寸的比值；所述3D检测框的第一残差为所述3D检测框的实际尺寸与所述目标尺寸的差值。

在上述目标标注数据获取方法的一个技术方案中，在所述获取各点云目标的类别之前，所述方法还包括：

针对各点云目标，根据所述点云目标在所述点云序列中每帧点云时刻的3D位姿，估计所述点云目标在所述每帧点云时刻的运动信息；

将所述点云目标在所述每帧点云时刻的运动信息，增加至所述点云目标在所述每帧点云时刻的轨迹信息中；

其中，所述运动信息至少包括点云目标的速度和速度方向。

在上述目标标注数据获取方法的一个技术方案中，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：针对各点云目标，若所述点云目标在所述点云序列中至少一帧点云时刻的速度大于设定阈值，则获取最大速度时的速度方向，将所述点云目标在所述点云序列中每帧点云时刻的朝向均修改为所述速度方向。

在上述目标标注数据获取方法的一个技术方案中，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：

针对各点云目标，若所述点云目标在所述点云序列中全部点云时刻的速度均小于或等于设定阈值，则对所述点云目标在所述点云序列中全部点云时刻的朝向进行投票处理，根据投票处理的结果选取数量最多的一种朝向，将所述点云目标在所述点云序列中每帧点云时刻的朝向均修改为所述数量最多的一种朝向。

在上述目标标注数据获取方法的一个技术方案中，所述对相机采集的图像进行目标检测，以获取各图像目标的类别，包括：对相机采集的图像序列进行目标检测，以获取各图像目标在所述图像序列中每帧图像的类别；

所述获取各点云目标的类别，还包括：针对各点云目标，分别获取所述图像序列中每帧图像上与所述点云目标匹配的图像目标，对所有匹配的图像目标的类别进行投票处理，根据投票处理的结果获取所述点云目标的类别。

在上述目标标注数据获取方法的一个技术方案中，所述雷达为多个，所述获取各点云目标的运动轨迹，包括：

针对每一雷达，对雷达采集的点云序列进行目标检测和跟踪，以获取所述雷达对应的各点云目标的第一运动轨迹；

针对各点云目标，对所有雷达对应所述点云目标的第一运动轨迹进行融合，以获取所述点云目标的第二运动轨迹。

在上述目标标注数据获取方法的一个技术方案中，所述获取所述点云目标的第二运动轨迹，包括：

获取所有雷达对应所述点云目标的第一运动轨迹中各帧点云时刻的第一轨迹信息；

采用基于因子图的优化方法，对所述点云目标在所述各帧点云时刻的第一轨迹信息进行优化，以获取所述点云目标在所述各帧点云时刻的第二轨迹信息；

根据所述点云目标在所述各帧点云时刻的第二轨迹信息，获取所述点云目标的第二运动轨迹。

在第二方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述多模态传感器的目标标注数据获取方法的技术方案中任一项技术方案所述的方法。

在第三方面，提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述多模态传感器的目标标注数据获取方法的技术方案中任一项技术方案所述的方法。

本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本申请提供的基于多模态传感器的目标标注数据获取方法的技术方案中，多模态传感器可以包括雷达和相机，同时该方法包括：对雷达采集的点云序列进行目标检测和跟踪，以获取各点云目标的运动轨迹，运动轨迹包括点云目标在点云序列中每帧点云时刻的轨迹信息，轨迹信息至少包括3D位姿；对相机采集的图像进行目标检测，以获取各图像目标的类别；根据图像目标的类别，获取各点云目标的类别；根据各点云目标的类别和各点云目标在每帧点云时刻的轨迹信息，获取各点云目标的标注数据。其中，获取各点云目标的类别，包括：针对各点云目标，根据点云目标的运动轨迹，获取点云目标在图像时刻的位姿，根据位姿获取图像上与点云目标匹配的图像目标，根据匹配的图像目标的类别获取点云目标的类别。

雷达和相机分别具有较强的测距能力和语义捕获能力，利用雷达可以得到准确的目标位置信息，利用相机可以得到准确的目标类别，上述实施方案正是有效地结合了上述目标位置信息和目标类别，从而能够得到高精度的目标标注数据。同时，上述实施方案主要是采用目标检测、跟踪、匹配等易于实施且高效的手段，即使面对大数据量、多场景的数据标注需求，也不会耗费较大的时间和经济等成本。

附图说明

参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：

图1是根据本申请的一个实施例的基于多模态传感器的目标标注数据获取方法的主要步骤流程示意图；

图2是根据本申请的一个实施例的3D检测框的实际长度、点云目标在3D检测框内的投影长度、3D检测框的目标长度的示意图；

图3是根据本申请的一个实施例的3D检测框的实际宽度、点云目标在3D检测框内的投影宽度、3D检测框的目标宽度的示意图；

图4是根据本申请的一个实施例的3D检测框的实际高度、点云目标在3D检测框内的投影高度、3D检测框的目标高度的示意图；

图5是根据本申请的一个实施例的修改后的3D检测框的三维尺寸的示意图；

图6是根据本申请的另一个实施例的基于多模态传感器的目标标注数据获取方法的主要步骤流程示意图；

图7是根据本申请的一个实施例的对类别进行投票的示意图；

图8是根据本申请的一个实施例的因子图的示意图；

图9是根据本申请的再一个实施例的基于多模态传感器的目标标注数据获取方法的主要步骤流程示意图；

图10是根据本申请的一个实施例的智能设备的主要结构示意图。

附图标记列表：

11：存储器；12：处理器。

具体实施方式

下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。

在本申请的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

下面对本申请提供的基于多模态传感器的目标标注数据获取方法的实施例进行说明。

首先，对传感器的模型进行简单说明。具体而言，传感器的模态可以根据传感器的类型进行划分。在本申请实施例中，多模态传感器可以包括雷达和相机。其中，雷达包括但不限于机械激光雷达、固态激光雷达等，相机包括但不限于针孔相机、鱼眼相机等。本领域技术人员可以根据实际需求灵活地选择不同模态的雷达和相机，本实施例对此不作具体限定。此外，在本申请实施例中，多模态传感器可以设置于同一个智能设备上，该智能设备包括但不限于车辆、可移动机器人（如扫地机等）。

下面参阅附图1，图1是根据本申请的一个实施例的基于多模态传感器的目标标注数据获取方法的主要步骤流程示意图。如图1所示，本申请实施例中的目标标注数据获取方法主要包括下列步骤S101至步骤S104。

步骤S101：对雷达采集的点云序列进行目标检测和跟踪，以获取各点云目标的运动轨迹，运动轨迹包括点云目标在点云序列中每帧点云时刻的轨迹信息。其中，轨迹信息至少包括3D位姿。

点云序列包括连续的多帧点云。在本实施例中可以采用常规的目标检测方法，对每一帧点云进行目标检测，得到每一帧点云中的点云目标。同时，也可以采用常规的目标跟踪方法，对不同的点云目标进行跟踪，得到每一个点云目标的运动轨迹。

点云目标的3D位姿可以是点云目标在点云坐标系或雷达坐标系下的3D位姿，其包括了3D位置和3D姿态。

步骤S102：对相机采集的图像进行目标检测，以获取各图像目标的类别。在本实施例中可以采用常规的目标检测方法，对图像进行目标进行检测，得到每一个图像目标的类别。

步骤S103：根据图像目标的类别，获取各点云目标的类别。

针对每一个点云目标，可以根据这个点云目标的运动轨迹，获取点云目标在图像时刻的位姿，再根据这个位姿获取步图像上与这个点云目标匹配的图像目标，根据这个图像目标的类别获取这个点云目标的类别。如，可以直接将这个图像目标的类别作为点云目标的类别。

下面对上说获取点云目标类别的过程再进行简单说明。

点云目标的运动轨迹包含了点云目标在点云序列中每帧点云时刻的3D位姿，可以通过时间插值的方法，得到点云目标在图像时刻的3D位姿。再根据插值得到的3D位姿，将点云目标投影到图像上，得到投影目标，将这个投影目标和图像中的图像目标进行匹配，得到与投影目标匹配的图像目标，该图像目标也就是点云目标匹配的图像目标。

其中，与投影目标匹配的图像目标是指与投影目标之间的相似度大于一定值的图像目标。在本实施例中可以采用常规的相似度计算方法，获取投影目标和图像目标之间的相似度，同时本领域技术人员也可以根据实际需求灵活地设定上述一定值的数值，本实施例对此不作具体限定。

步骤S104：根据各点云目标的类别和各点云目标在每帧点云时刻的轨迹信息，获取各点云目标的标注数据。

点云目标的标注数据包含了点云目标的类别和轨迹信息。基于该标注数据，可以在每一帧点云上准确地对各个点云目标进行标注。

在基于上述步骤S101至步骤S104所述的方法中，可以利用雷达具备的较强测距能力，准确得到点云目标的位置信息，同时也可以利用相机具备的较强语义捕获能力，准确得到点云目标的类别，基于上述位置信息和类别能够显著提高点云目标标注数据的准确性。另外，上述方法主要是采用目标检测、跟踪、匹配等易于实施且高效的手段，即使面对大数据量、多场景的数据标注需求，也不会耗费较大的时间和经济等成本。

在根据本申请实施例的一个应用场景中，车辆上设置有雷达和相机，可以获取雷达采集的点云，相机采集的图像。然后，采用根据本申请实施例的方法获取机动车的标注数据，根据该标注数据对雷达采集的点云进行车机动车标注，得到标注好的点云。进一步，利用这些标注好的点云，对用于感知机动车的感知模型进行训练，使得训练好的感知模型能够从雷达采集的点云中准确地感知出机动车的位置。最后，将上述训练好的感知模型部署到车辆上，在控制车辆自动驾驶时可以获取车辆周围其他机动车的位置，根据该位置规划当前车辆的行驶轨迹，控制当前车辆按照行驶轨迹自动驾驶。

下面对本申请的目标标注数据获取方法实施例作进一步说明。

在一些实施方式中，点云目标在点云序列中每帧点云时刻的轨迹信息除了包括3D位姿以外，还可以包括点云目标的3D检测框。由于每帧点云的扫描形态不同，这就导致同一个点云目标在不同帧点云中的3D检测框的尺寸也就不同。对此，需要对属于同一个点云目标的3D检测框进行尺寸统一。具体而言，在本实施方式中，针对每一个点云目标，在获取其类别之前，可以分别获取这个点云目标在点云序列的每帧点云中3D检测框的尺寸，然后将所有3D检测框的尺寸修改成相同尺寸。基于此，可以避免同一个点云目标在不同帧点云中尺寸不统一的情况。

进一步，在一些实施方式中，可以通过下列步骤11至步骤14，将同一个点云目标在点云序列的所有3D检测框的尺寸修改成相同尺寸。

步骤11：分别获取每个3D检测框的权重和第一残差。

下面对权重和第一残差分别进行说明。

1、3D检测框的权重

3D检测框的权重为点云目标在3D检测框内的投影尺寸与3D检测框的实际尺寸的比值。在一帧点云中，点云目标是由多个点云组成的一个点云簇，3D检测框是这个点云簇的外接框，因此，3D检测框的尺寸通常会大于这个点云簇或点云目标的尺寸。

3D检测框的尺寸由长、宽、高三个维度的尺寸组成。在本实施例中分别获取3D检测框在长、宽、高三个维度的权重。

2、3D检测框的第一残差

3D检测框的第一残差为3D检测框的实际尺寸与目标尺寸的差值。目标尺寸是所有3D检测框要统一修改成的尺寸，这个目标尺寸同样由长、宽、高三个维度的尺寸组成。在本实施例中也分别获取3D检测框在长、宽、高三个维度的第一残差。

步骤12：根据每个3D检测框的权重和第一残差的乘积，分别获取每个3D检测框的第二残差。

针对长、宽、高三个维度中每个维度的尺寸，获取3D检测框的权重和第一残差的乘积，将乘积作为第二残差。

步骤13：以目标尺寸为优化变量，并以所有3D检测框的第二残差的平方和最小为目标，对目标尺寸进行优化，以获取最优的目标尺寸。在本实施例中，针对长、宽、高三个维度中每个维度的尺寸，分别通过上述方法得到最优的目标尺寸。

在一些实施方式中，针对长、宽、高中每个维度的尺寸，可以建立下列公式（1）所示的目标函数，基于该目标函数进行优化。

（1）

公式（1）中各参数含义如下：

表示目标尺寸，t表示3D检测框的序号，/>表示第t个3D检测框的权重，/>表示第t个3D检测框的实际尺寸。/>，/>表示点云目标在第t个3D检测框内的投影尺寸。

步骤14：将所有3D检测框的尺寸修改成最优的目标尺寸。

在本实施例中，针对长、宽、高三个维度中每个维度的尺寸，分别修改成相应的最优的目标尺寸。

基于上述步骤11至步骤14所述的方法，可以将点云目标在点云序列中每帧点云时刻的3D检测框的尺寸，在整个点云序列的时序变化过程中实现时序统一，有效避免了不同点云目标尺寸不同的情况发生。

下面结合附图2至附图5，对点云目标尺寸统一的效果进行简单说明。图2、图3、图4分别为长、宽、高维度的尺寸示意图。

首先参阅附图2，图2的横坐标表示点云帧时刻，图2的纵坐标表示长度值，曲线1表示点云目标在3D检测框内的投影长度随时间变化的曲线，曲线2表示3D检测框的实际长度随时间变化的曲线，曲线3表示3D检测框的目标长度随时间变化的曲线，由于目标长度是固定不变的，因此该曲线是一条直线。再参阅附图3，图3的横坐标表示点云帧时刻，图3的纵坐标表示宽度值，曲线1表示点云目标在3D检测框内的投影宽度随时间变化的曲线，曲线2表示3D检测框的实际宽度随时间变化的曲线，曲线3表示3D检测框的目标宽度随时间变化的曲线，由于目标宽度是固定不变的，因此该曲线是一条直线。继续参阅附图4，图4的横坐标表示点云帧时刻，图4的纵坐标表示高度值，曲线1表示点云目标在3D检测框内的投影高度随时间变化的曲线，曲线2表示3D检测框的实际高度随时间变化的曲线，曲线3表示3D检测框的目标高度随时间变化的曲线，由于目标高度是固定不变的，因此该曲线是一条直线。

最后参阅附图5，图5示例性示出了根据第5个点云目标的三个维度的目标尺寸形成的一个全新的3D检测框。

以上是对3D检测框进行尺寸统一的说明。

下面继续对目标标注数据获取方法实施例作进一步说明。

在一些实施方式中，在对点云序列进行目标检测和跟踪之后，还可以根据点云目标的3D位姿，估计点云目标的运动信息，将运动信息也增加至点云目标的轨迹信息中，使得点云目标的标注数据包含其运动信息。

具体而言，针对每一个点云目标，在获取其类别之前，可以根据点云目标在点云序列中每帧点云时刻的3D位姿，估计点云目标在每帧点云时刻的运动信息，将点云目标在每帧点云时刻的运动信息，增加至点云目标在每帧点云时刻的轨迹信息中。其中，运动信息至少包括点云目标的速度和速度方向。如，在一些实施方式中，还可以包括加速度。

在本实施方式中，可以采用常规的运动信息估计方法，根据点云目标的3D位置，估计得到其运动信息，本实施方式对此不作具体限定。

进一步，在一些实施方式中，雷达设置在智能设备上，在智能设备运动的过程中雷达不断地采集点云，由于智能设备是运动的，就会导致一帧点云中不同时刻得到的点云的坐标系不统一，此时需要对一帧点云中的点云进行运动补偿，使得一帧点云中所有点云的坐标系统一。因此，在本实施方式中，在进行运动估计之前，可以先对每帧点云进行运动补偿。另外，在完成运动补偿之后，可以将每帧点云都转换到世界坐标系下，在世界坐标系进行运动估计，这样可以得到点云目标在世界坐标系的速度、速度方向等。

在本实施方式中，可以采用常规的运动补偿方法，对每帧点云进行运动补偿，本实施方式对此不作具体限定。

以上是对点云目标进行运动估计的说明。

下面继续对目标标注数据获取方法实施例作进一步说明。

在一些实施方式中，点云目标在点云序列中每帧点云时刻的轨迹信息除了包括3D位姿以外，还可以包括点云目标的朝向。但是，在实际应用中，受限于目标检测的精度，可能会将某帧点云时刻的朝向检测成相反方向，即朝向发生了翻转。对此，需要对点云目标的朝向进行修改判断，防止发生翻转的情况。在本实施方式中，对于静态和动态的点云目标，可以分别采用不同的方法对朝向进行修改判断，下面分别对静态和动态的点云目标的朝向修改判断方法进行说明。

1、动态的点云目标

在本实施方式中，若点云目标在点云序列中至少一帧点云时刻的速度大于设定阈值，则该点云目标是动态的。此时，可以从点云序列的所有帧点云时刻的速度中获取最大速度，然后将每帧点云时刻的朝向都修改为这个最大速度时的速度方向。当点云目标运动时，其最大速度时的速度方向能够准确表明其运动方向，进而也就能表明其朝向。而点云目标运动时相邻时刻的朝向不会发生突变，因此，可以将所有时刻的朝向都修改为最大速度时的朝向。本领域技术人员可以根据实际需求灵活地设定上述设定阈值的数值，本实施方式对此不作具体限定。

2、静态的点云目标

在本实施方式中，点云目标在点云序列中全部点云时刻的速度均小于或等于设定阈值，则该点云目标是静态的。此时，可以对点云目标在点云序列中全部点云时刻的朝向进行投票处理，根据投票处理的结果选取数量最多的一种朝向，将点云目标在点云序列中每帧点云时刻的朝向均修改为该数量最多的一种朝向。基于上述实施方式，可以准确地完成对静态点云目标的朝向修改。

以上是对点云目标进行朝向修改的说明。

在一些实施方式中，可以基于前述步骤S101至步骤S104所述的方法，并同时结合前述对3D检测框进行尺寸统一、对点云目标进行运动估计、对点云目标进行朝向修改的方法，来获取目标标注数据。下面结合附图6，对本实施方式中获取目标标注数据的方法进行简单说明。

对于相机采集的图像，可以对图像进行目标检测，得到图像中图像目标的类别。

对于雷达采集的点云序列，可以对点云序列进行目标检测和目标跟踪得到点云目标的轨迹信息，再对点云目标的3D检测框进行尺寸统一。另外，还可以对每帧点云进行运动补偿，将补偿的每帧点云转换至世界坐标系，从而可以根据目标检测和跟踪的结果得到点云目标在世界坐标系的轨迹信息，然后对点云目标依次进行运动估计、修改朝向，得到最终的轨迹信息。

根据点云目标最终的轨迹信息，预测点云目标在图像时刻的运动状态，该运动状态至少包括点云目标在图像时刻的3D位姿。然后，根据该3D位姿对点云目标与图像上的图像目标进行目标匹配，得到与点云目标匹配的图像目标，将图像目标的类别作为点云目标的类别。最后，根据点云目标的轨迹信息和类别，生成点云目标的标注数据。

下面继续对目标标注数据获取方法实施例作进一步说明。

在一些实施方式中，为了提高点云目标类别的准确性，在对相机采集的图像进行目标检测时，可以对相机采集的图像序列进行目标检测，以获取各图像目标在图像序列中每帧图像的类别。然后，针对每一个点云目标，分别获取图像序列中每帧图像上与点云目标匹配的图像目标，对所有匹配的图像目标的类别进行投票处理，根据投票处理的结果获取点云目标的类别。根据投票处理的结果可以得到数量最多的一种类别，将这种类别作为点云目标的类别。基于此，可以防止由于对单帧图像进行目标检测时发生错误，导致点云目标的类别出现错误的情况。

需要说明的是，针对每一个点云目标，获取与其匹配的图像目标的方法，与前述方法实施例中的相关方法相同，在此不再赘述。

参阅附图7，对于Track id为1764的点云目标而言，与其所有匹配的图像目标的类别有15种，其中数量最多的是MEDIUM SIZED CAR（中型车），因此，将该点云目标的类别设定为MEDIUM SIZED CAR。

以上是对利用多图像类别获取点云目标类别的说明。

下面继续对目标标注数据获取方法实施例作进一步说明。

在一些实施方式中，当雷达为多个时，可以通过下列步骤31至步骤32，来获取每个点云目标的运动轨迹。

步骤31：针对每一雷达，对雷达采集的点云序列进行目标检测和跟踪，以获取雷达对应的各点云目标的第一运动轨迹。

第一运动轨迹的获取方法与前述方法实施例中点云目标运动轨迹的获取方法相同，在此不再赘述。

步骤32：针对各点云目标，对所有雷达对应这一点云目标的第一运动轨迹进行融合，以获取这一点云目标的第二运动轨迹。

基于上述步骤31至步骤32所述的方法，由于每个雷达的状态不同，因此每个雷达对同一个点云目标得到的第一运动轨迹或多或少存在一些偏差，通过对所有的第一运动轨迹进行融合，可以消除这些偏差，准确得到这个点云目标的最终运动轨迹。

在上述步骤32的一些实施方式中，可以通过下列步骤321至步骤323，对第一运动轨迹进行融合。

步骤321：获取所有雷达对应当前点云目标的第一运动轨迹中各帧点云时刻的第一轨迹信息。

步骤322：采用基于因子图的优化方法，对当前点云目标在各帧点云时刻的第一轨迹信息进行优化，以获取点云目标在各帧点云时刻的第二轨迹信息。

在本实施例中，可以根据所有雷达采集的各帧点云建立因子图，因子图上的每个因子节点分别与各帧点云一一对应。然后，在因子图上添加用于对第一轨迹信息进行约束的约束项，最后采用常规的基于因子图的优化方法，利用上述因子图对第一轨迹信息进行优化。在一些实施方式中，可以采用CTRA（Constant Turn Rate and Acceleration）模型建模目标运动，基于此构建上述因子图。

在一些实施方式中，第一轨迹信息包括点云目标的3D位姿，但不包括运动信息。此时，可以添加第一轨迹信息的第一约束项。第一约束项用于对点云目标在同一个雷达采集的相邻两帧点云时刻的相对3D位姿进行约束。参阅附图8，图8中的A、B、C分别表示三种雷达，图8中数字1表示第一约束项。例如，在雷达A采集的相邻两帧点云之间设置有第一约束项，用于对点云目标在这两帧点云时刻的3D位姿之间的相对3D位姿进行约束。

在一些实施方式中，第一轨迹信息同时包括点云目标的3D位姿和运动信息。此时，除了可以添加上述第一约束项，还可以添加第二约束项和第三约束项。第二约束项用于对点云目标在同一个雷达采集的相邻两帧点云时刻的相对运动信息进行约束；第三约束项用于点云目标在相邻两帧点云时刻的相对运动信息进行约束。继续参阅附图8，图8中的数字2、3分别表示第二、第三约束项。例如，在雷达A采集的相邻两帧点云之间设置有第二约束项，用于对点云目标在这两帧点云时刻的运动信息之间的相对运动信息进行约束。在雷达A、B采集的相邻两帧点云之间设置有第三约束项，用于对点云目标在这两帧点云时刻的运动信息之间的相对运动信息进行约束。

步骤332：根据当前点云目标在各帧点云时刻的第二轨迹信息，获取点云目标的第二运动轨迹。

基于上述步骤321至步骤323所述的方法，可以准确地完成对第一运动轨迹的融合，提高第二运动轨迹的准确性。

以上是对多个雷达的情况下获取点云目标运动轨迹的说明。

在一些实施方式中，可以基于前述步骤S101至步骤S104所述的方法，并同时结合前述对3D检测框进行尺寸统一、对点云目标进行运动估计、对点云目标进行朝向修改、利用多图像类别获取点云目标类别、利用多雷达获取点云目标运动轨迹的方法，来获取目标标注数据。下面结合附图9，对本实施方式中获取目标标注数据的方法进行简单说明。

对于相机采集的图像序列，可以对图像序列中的每帧图像进行目标检测，得到每帧图像中图像目标的类别。

对于雷达1采集的点云序列，利用该点云序列得到点云目标的第一运动轨迹1；对于雷达2采集的点云序列，利用该点云序列得到点云目标的第一运动轨迹2。通过多雷达融合这个步骤，对第一运动轨迹1、2进行融合得到第二运动轨迹。

根据点云目标的第二运动轨迹，预测点云目标在每帧图像时刻的运动状态，该运动状态至少包括点云目标在图像时刻的3D位姿。然后，根据该3D位姿对点云目标与图像上的图像目标进行目标匹配，得到与点云目标匹配的图像目标。对所有匹配的图像目标的类别进行投票处理，得到数量最多的一种类别，将这种类别作为点云目标的类别。最后，根据点云目标第二运动轨迹中的轨迹信息和类别，生成点云目标的标注数据。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本申请中描述的技术方案属于等同技术方案，因此也将落入本申请的保护范围之内。

本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

本申请的另一方面还提供了一种计算机可读存储介质。

在根据本申请的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的多模态传感器的目标标注数据获取方法的程序，该程序可以由处理器加载并运行以实现上述多模态传感器的目标标注数据获取方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

本申请的另一方面还提供了一种智能设备。

在根据本申请的一个智能设备的实施例中，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图10，图10中示例性地示出了存储器11和处理器12通过总线通信连接。

在本申请的一些实施例中，智能设备还可以包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还可以包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。

至此，已经结合附图所示的一个实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (11)

1.一种基于多模态传感器的目标标注数据获取方法，其特征在于，所述多模态传感器包括雷达和相机，所述方法包括：

对雷达采集的点云序列进行目标检测和跟踪，以获取各点云目标的运动轨迹，所述运动轨迹包括点云目标在所述点云序列中每帧点云时刻的轨迹信息，所述轨迹信息至少包括3D位姿；

对相机采集的图像进行目标检测，以获取各图像目标的类别；

根据所述图像目标的类别，获取各点云目标的类别；

根据各点云目标的类别和各点云目标在所述每帧点云时刻的轨迹信息，获取各点云目标的标注数据；

其中，所述获取各点云目标的类别，包括：针对各点云目标，根据所述点云目标的运动轨迹，获取所述点云目标在所述图像时刻的位姿，根据所述位姿获取所述图像上与所述点云目标匹配的图像目标，根据所述匹配的图像目标的类别获取所述点云目标的类别。

2.根据权利要求1所述的方法，其特征在于，所述轨迹信息还包括点云目标的3D检测框，在所述获取各点云目标的类别之前，还包括：

针对各点云目标，分别获取所述点云目标在所述点云序列的每帧点云中3D检测框的尺寸，并将所有3D检测框的尺寸修改成相同尺寸。

3.根据权利要求2所述的方法，其特征在于，所述将所有3D检测框的尺寸修改成相同尺寸，包括：

分别获取每个3D检测框的权重和第一残差；

根据每个3D检测框的权重和第一残差的乘积，分别获取每个3D检测框的第二残差；

以目标尺寸为优化变量，并以所有3D检测框的第二残差的平方和最小为目标，对所述目标尺寸进行优化，以获取最优的目标尺寸；

将所有3D检测框的尺寸修改成所述最优的目标尺寸；

其中，

所述3D检测框的权重为点云目标在所述3D检测框内的投影尺寸与所述3D检测框的实际尺寸的比值；所述3D检测框的第一残差为所述3D检测框的实际尺寸与所述目标尺寸的差值。

4.根据权利要求1所述的方法，其特征在于，在所述获取各点云目标的类别之前，所述方法还包括：

针对各点云目标，根据所述点云目标在所述点云序列中每帧点云时刻的3D位姿，估计所述点云目标在所述每帧点云时刻的运动信息；

将所述点云目标在所述每帧点云时刻的运动信息，增加至所述点云目标在所述每帧点云时刻的轨迹信息中；

其中，所述运动信息至少包括点云目标的速度和速度方向。

5.根据权利要求4所述的方法，其特征在于，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：

针对各点云目标，若所述点云目标在所述点云序列中至少一帧点云时刻的速度大于设定阈值，则获取最大速度时的速度方向，将所述点云目标在所述点云序列中每帧点云时刻的朝向均修改为所述速度方向。

6.根据权利要求4所述的方法，其特征在于，所述轨迹信息还包括点云目标的朝向，所述方法还包括通过下列方式修改所述朝向：

针对各点云目标，若所述点云目标在所述点云序列中全部点云时刻的速度均小于或等于设定阈值，则对所述点云目标在所述点云序列中全部点云时刻的朝向进行投票处理，根据投票处理的结果选取数量最多的一种朝向，将所述点云目标在所述点云序列中每帧点云时刻的朝向均修改为所述数量最多的一种朝向。

7.根据权利要求1所述的方法，其特征在于，

所述对相机采集的图像进行目标检测，以获取各图像目标的类别，包括：对相机采集的图像序列进行目标检测，以获取各图像目标在所述图像序列中每帧图像的类别；

所述获取各点云目标的类别，还包括：针对各点云目标，分别获取所述图像序列中每帧图像上与所述点云目标匹配的图像目标，对所有匹配的图像目标的类别进行投票处理，根据投票处理的结果获取所述点云目标的类别。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述雷达为多个，所述获取各点云目标的运动轨迹，包括：

针对每一雷达，对雷达采集的点云序列进行目标检测和跟踪，以获取所述雷达对应的各点云目标的第一运动轨迹；

针对各点云目标，对所有雷达对应所述点云目标的第一运动轨迹进行融合，以获取所述点云目标的第二运动轨迹。

9.根据权利要求8所述的方法，其特征在于，所述获取所述点云目标的第二运动轨迹，包括：

获取所有雷达对应所述点云目标的第一运动轨迹中各帧点云时刻的第一轨迹信息；

采用基于因子图的优化方法，对所述点云目标在所述各帧点云时刻的第一轨迹信息进行优化，以获取所述点云目标在所述各帧点云时刻的第二轨迹信息；

根据所述点云目标在所述各帧点云时刻的第二轨迹信息，获取所述点云目标的第二运动轨迹。

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至9中任一项所述的基于多模态传感器的目标标注数据获取方法。

11.一种智能设备，其特征在于，包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至9中任一项所述的基于多模态传感器的目标标注数据获取方法。