CN117649665A - 矿区自动驾驶场景数据标注方法及系统 - Google Patents

Abstract

本发明提供一种矿区自动驾驶场景数据标注方法及系统，属于数据标注技术领域，该方法包括：将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到对应任务的第一标注预测结果；将矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到任务的第二标注预测结果；将图像数据和点云数据输入多任务云端感知大模型中，得到任务的第三标注预测结果；根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定各任务的最终标注预测结果；确定各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的质量评价得分对应的图像数据和点云数据供人工标注。本发明实现面向矿区自动驾驶场景的数据半自动准确标注。

Description

矿区自动驾驶场景数据标注方法及系统

技术领域

本发明涉及数据标注技术领域，尤其涉及一种矿区自动驾驶场景数据标注方法及系统。

背景技术

高阶自动驾驶以数据为驱动，需要海量数据用以训练模型，提升模型的泛化能力，从而推动高阶自动驾驶的技术落地。因此，高阶自动驾驶对数据的数量和质量提出较高的要求，如何生产大规模高质量标注数据成为自动驾驶技术研究的重点和难点。

传统上数据标注以人工标注为主要标注方式，但是该方式需要大量人力成本。当数据量快速增长时，整体标注成本将随之增长。目前，为了提升数据标注效率，有相关方案引入半自动标注方法，通过模型预标注实现数据的初步标注，而后只需要少数人工去微调自动标注结果，实现整体标注。

目前的半自动标注方法针对的场景简单，标注方法也较为简单，一般将图像直接输入到模型中进行初步标注。而矿区自动驾驶场景较为复杂，使用现有的半自动标注方法标注不准确。

发明内容

本发明提供一种矿区自动驾驶场景数据标注方法及系统，用以解决现有技术中的半自动标注方法不适用矿区自动驾驶场景的缺陷，实现面向矿区自动驾驶场景的数据半自动标注，提高数据标注的准确性。

本发明提供一种矿区自动驾驶场景数据标注方法，包括：

将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果；

将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果；

将所述图像数据和所述点云数据输入多任务云端感知大模型中，得到所述多任务云端感知大模型输出的所述任务的第三标注预测结果；

根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果；

确定所述各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注；

所述各第一单任务感知模型以第一图像数据样本为样本，以所述第一图像数据样本的实际标注结果为标签进行训练得到；

所述各第二单任务感知模型以第一点云数据样本为样本，以所述第一点云数据样本的实际标注结果为标签进行训练得到；

所述多任务云端感知大模型以第二图像数据样本和第二点云数据样本为样本，以所述第二图像数据样本的实际标注结果和/或所述第二点云数据样本的实际标注结果为标签进行训练得到。

根据本发明提供的一种矿区自动驾驶场景数据标注方法，所述根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果，包括：

基于Adaboost算法将所述各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果进行融合，得到所述各任务的第四标注预测结果；

对所述各任务的第一标注预测结果、第二标注预测结果、第三标注预测结果和第四标注预测结果中的多种进行交叉验证，得到所述各任务的最终标注预测结果。

根据本发明提供的一种矿区自动驾驶场景数据标注方法，在所述选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注之后，还包括：

将大于或等于所述第一预设阈值的质量评价得分对应的图像数据和点云数据作为样本，将大于或等于所述第一预设阈值的质量评价得分对应的最终标注预测结果作为伪标签，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练；

将所述人工标注的图像数据和点云数据作为样本，将人工标注的图像数据和点云数据的实际标注结果作为标签，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练。

根据本发明提供的一种矿区自动驾驶场景数据标注方法，所述对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练，包括：

基于所述Soft Teacher半监督学习策略，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练。

根据本发明提供的一种矿区自动驾驶场景数据标注方法，所述将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果，包括：

将预设历史时间段内的所述点云数据划分成不同所述矿区自动驾驶场景的多个子时间段的点云数据，将各子时间段内的每帧点云数据分割成至少一类子点云；

根据各子点云的类型，以及所述各子点云的类型与静态点云、动态点云之间的预设关联关系，将所述各子点云划分为静态点云或动态点云；

根据所述每帧点云数据的定位数据，将所述各子时间段内的静态点云进行匹配拼接得到地图点云；

根据所述每帧点云数据的定位数据，将所述各子时间段内的动态点云进行匹配拼接得到障碍物点云；

将所述各子时间段内的地图点云和障碍物点云进行融合，得到所述各子时间段融合后的点云数据；

将所述多个子时间段融合后的点云数据进行再次融合，对再次融合后的所述点云数据进行抽帧；

将抽帧的点云数据输入所述第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果。

根据本发明提供的一种矿区自动驾驶场景数据标注方法，所述将各子时间段内的每帧点云数据分割成至少一类子点云，包括：

将所述每帧点云数据对应的同一时刻的所述图像数据语义分割成至少一类图像区域；

在所述每帧点云数据中存在子点云的体积小于第二预设阈值，则根据所述子点云对应的图像区域对所述子点云进行修正。

根据本发明提供的一种矿区自动驾驶场景数据标注方法，在所述将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果之前，还包括：

对所述图像数据、点云数据和定位数据进行时间对齐；

基于运动补偿对所述图像数据、点云数据和定位数据进行数据插帧；

对采集所述图像数据、点云数据和定位数据的传感器进行外参标定。

本发明还提供一种矿区自动驾驶场景数据标注系统，包括：

第一标注模块，用于将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果；

第二标注模块，用于将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果；

第三标注模块，用于将所述图像数据和所述点云数据输入多任务云端感知大模型中，得到所述多任务云端感知大模型输出的所述任务的第三标注预测结果；

计算模块，用于根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果；

选择模块，用于确定所述各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注；

所述各第一单任务感知模型以第一图像数据样本为样本，以所述第一图像数据样本的实际标注结果为标签进行训练得到；

所述各第二单任务感知模型以第一点云数据样本为样本，以所述第一点云数据样本的实际标注结果为标签进行训练得到；

所述多任务云端感知大模型以第二图像数据样本和第二点云数据样本为样本，以所述第二图像数据样本的实际标注结果和/或所述第二点云数据样本的实际标注结果为标签进行训练得到。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述矿区自动驾驶场景数据标注方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述矿区自动驾驶场景数据标注方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述矿区自动驾驶场景数据标注方法。

本发明提供的矿区自动驾驶场景数据标注方法及系统，通过基于单任务感知模型的自动标注和基于多任务云端感知大模型自动标注的联合标注方式进行多模态数据自动标注，充分利用单任务感知模型和多任务云端感知大模型的优势，提高矿区自动驾驶场景数据标注的质量；通过对各任务的最终标注预测结果的质量评价得分，区分出标注质量较差的数据进行人工二次标注，实现面向矿区自动驾驶场景的数据半自动标注，降低人工成本，提高标注效率和标注质量。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的矿区自动驾驶场景数据标注方法的流程示意图之一；

图2是本发明提供的矿区自动驾驶场景数据标注方法中人工标注与质检流程示意图；

图3是本发明提供的矿区自动驾驶场景数据标注方法中模型训练流程示意图；

图4是本发明提供的矿区自动驾驶场景数据标注方法中多传感器融合的局部建图流程示意图；

图5是本发明提供的矿区自动驾驶场景数据标注方法中传感器数据预处理流程示意图；

图6是本发明提供的矿区自动驾驶场景数据标注方法的流程示意图之二；

图7是本发明提供的矿区自动驾驶场景数据标注系统的结构示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1描述本发明的一种矿区自动驾驶场景数据标注方法，包括：

步骤101，将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果；

矿区自动驾驶场景的图像数据可由装设在矿区自动驾驶车辆上的相机采集得到。

第一单任务感知模型可用于感知矿区3D目标检测、矿区3D语义分割、矿区道路边界检测、矿区目标跟踪、矿区占用预测或矿区深度估计等任务。

第一单任务感知模型对矿区自动驾驶场景的图像数据进行处理后，输出对应任务的第一标注预测结果。将第一单任务感知模型的输出作为第一标注预测结果。

例如，第一单任务感知模型为矿区3D目标检测模型，则将矿区自动驾驶场景的图像数据输入矿区3D目标检测模型中，得到的第一标注预测结果为对图像数据中目标的标注结果。

步骤102，将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果；

矿区自动驾驶场景的点云数据可由装设在矿区自动驾驶车辆上的激光雷达采集得到。激光雷达的激光发射方向与相机的拍摄方向一致，从而使得激光雷达和相机采集相同矿区自动驾驶场景的数据。

第二单任务感知模型可用于感知矿区3D目标检测、矿区3D语义分割、矿区道路边界检测、矿区目标跟踪、矿区占用预测或矿区深度估计等任务。

第二单任务感知模型对矿区自动驾驶场景的点云数据进行处理后，输出对应任务的第二标注预测结果。将第二单任务感知模型的输出作为第二标注预测结果。

步骤103，将所述图像数据和所述点云数据输入多任务云端感知大模型中，得到所述多任务云端感知大模型输出的所述任务的第三标注预测结果；

多任务云端感知大模型可为BEVFusion模型或BEVFusion模型的扩展模型，本实施例对多任务云端感知大模型的类型不作限定。

多任务云端感知大模型可用于感知矿区3D目标检测、矿区3D语义分割、矿区道路边界检测、矿区目标跟踪、矿区占用预测或矿区深度估计等任务。

将多模态的图像数据和点云数据作为多任务云端感知大模型的输入，首先进行特征提取，获得多模态的特征；然后对获得的多模态特征进行空间转换，得到BEV（Bird's EyeView，鸟瞰视觉）特征；最后通过不同的感知任务解码器得到多个任务的第三标注预测结果。将多任务云端感知大模型的输出作为第三标注预测结果。

多任务云端感知大模型、多个第二单任务感知模型和多个第一单任务感知模型感知的任务相同。

传统上，单任务感知模型对某些特定任务有较好的感知能力，而多任务云端感知大模型整体具有较好的感知能力，对于某些特定任务可能会表现出感知能力不足。因此，针对不同传感器的特点，分别构建基于视觉的第一单任务感知模型、基于激光雷达的第二单任务感知模型，以及基于矿区激光雷达和视觉的多模态数据构建多任务云端感知大模型。采用多任务云端感知大模型和单任务感知模型融合标注的策略，实现矿区全域感知任务的自动标注，克服单一模型感知的不确定性，获取高质量的标注结果。

步骤104，根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果；

可将各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果的交集作为各任务的最终标注预测结果。还可将各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果进行交叉验证得到最终标注预测结果，本实施例不作具体限定。

步骤105，确定所述各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注；

所述各第一单任务感知模型以第一图像数据样本为样本，以所述第一图像数据样本的实际标注结果为标签进行训练得到；

所述各第二单任务感知模型以第一点云数据样本为样本，以所述第一点云数据样本的实际标注结果为标签进行训练得到；

所述多任务云端感知大模型以第二图像数据样本和第二点云数据样本为样本，以所述第二图像数据样本的实际标注结果和/或所述第二点云数据样本的实际标注结果为标签进行训练得到。

对各任务的最终标注预测结果进行质量评价，可结合最终标注预测结果的置信度和交叉验证误检率得到各任务的最终标注预测结果的质量评价得分。最终标注预测结果的置信度可根据最终标注预测结果中的标注概率确定，标注的概率越高，最终标注预测结果的置信度越高。交叉验证误检率可根据相同标注预测结果的数量占比确定，相同标注预测结果的数量占比越大，交叉验证误检率越低。

将质量评价得分小于第一预设阈值的最终标注预测结果作为低质量标注数据，否则作为高质量标注数据。

最后基于人机交互界面，人工对各任务的最终标注预测结果进行验证和质检。对低质量标注数据进行人工二次标注，对高质量标注数据进行发布，具体流程如图2所示。

本实施例通过基于单任务感知模型的自动标注和基于多任务云端感知大模型自动标注的联合标注方式进行多模态数据自动标注，充分利用单任务感知模型和多任务云端感知大模型的优势，提高矿区自动驾驶场景数据标注的质量；通过对各任务的最终标注预测结果的质量评价得分，区分出标注质量较差的数据进行人工二次标注，实现面向矿区自动驾驶场景的数据半自动标注，降低人工成本，提高标注效率和标注质量。

在上述实施例的基础上，本实施例中所述根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果，包括：

基于Adaboost算法将所述各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果进行融合，得到所述各任务的第四标注预测结果；

对所述各任务的第一标注预测结果、第二标注预测结果、第三标注预测结果和第四标注预测结果中的多种进行交叉验证，得到所述各任务的最终标注预测结果。

在得到各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果后，采用Adaboost算法将三种标注预测结果进行融合，从而融合多任务云端感知大模型和单任务感知模型的优势，实现矿区全域感知的自动标注。

可将第一标注预测结果、第二标注预测结果和第三标注预测结果进行交叉验证，可将第一标注预测结果、第二标注预测结果和第四标注预测结果进行交叉验证，也可将第一标注预测结果、第二标注预测结果、第三标注预测结果和第四标注预测结果进行交叉验证，得到各任务的最终标注预测结果。

在进行交叉验证时，可将各任务的多种标注预测结果进行对比，去除差异较大的标注预测结果，将保留的标注预测结果的平均值作为最终标注预测结果。

本实施例通过对各任务的第一标注预测结果、第二标注预测结果、第三标注预测结果和第四标注预测结果中的多种进行交叉验证，得到各任务的最终标注预测结果，提高标注预测的准确性。

在上述实施例的基础上，本实施例中在所述选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注之后，还包括：

将大于或等于所述第一预设阈值的质量评价得分对应的图像数据和点云数据作为样本，将大于或等于所述第一预设阈值的质量评价得分对应的最终标注预测结果作为伪标签，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练；

将所述人工标注的图像数据和点云数据作为样本，将人工标注的图像数据和点云数据的实际标注结果作为标签，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练。

将使用本实施例提供的矿区自动驾驶场景数据标注方法得到的最终标注预测结果中，质量评价得分较高的最终标注预测结果和对应的图像数据和点云数据作为强伪标签数据。

将人工二次标注的图像数据和点云数据，以及图像数据和点云数据的实际标注结果作为有标注数据。

将第一单任务感知模型、第二单任务感知模型和多任务云端感知大模型作为自动标注模型。使用每次标注产生的强伪标签数据和有标注数据对自动标注模型进行迭代升级。

可采用基于伪标签的半监督训练方式进行多轮迭代，在标注的过程中将无标签数据转化为强伪标签数据和有标注数据，对自动标注模型进行训练，充分利用标注的过程中产生的数据提高模型的标注精度。

在上述实施例的基础上，本实施例中所述对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练，包括：

基于所述Soft Teacher半监督学习策略，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练。

如图3所示，在第一阶段，使用有标注数据对自动标注模型进行训练，得到初始自动标注模型M0；在第二阶段，采用Soft Teacher半监督学习策略，在有标注数据的基础上，结合前一阶段标注产生的强伪标签和人工二次标注的标签对自动标注模型进行训练，从而得到更新的自动标注模型M1。以相同方法进行后续不同阶段的模型迭代与更新。最终，经过多轮迭代，实现对数据进行高质量标注的自动标注模型，实现矿区自动驾驶场景数据的半自动标注。

在采用Soft Teacher半监督学习策略对自动标注模型进行训练的过程中，先使用有标注数据和强伪标签数据对Student模型进行监督训练，并采用EMA（ExponentialMoving Average，指数平移平均）方法将训练后的Student模型的参数平移到Soft Teacher模型；然后将无标注数据进行弱数据增强后输入到Soft Teacher模型，得到伪标签；接着，将无标注数据进行强数据增强后输入到Student模型，结合Soft Teacher模型得到伪标签，对Student模型进行半监督训练。

本实施例通过基于soft teacher半监督学习策略有效对自动标注模型进行迭代更新，逐阶段提升自动标注模型的标注能力，提高自动标注模型的标注精度。

在上述各实施例的基础上，本实施例中所述将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果，包括：

将预设历史时间段内的所述点云数据划分成不同所述矿区自动驾驶场景的多个子时间段的点云数据，将各子时间段内的每帧点云数据分割成至少一类子点云；

根据各子点云的类型，以及所述各子点云的类型与静态点云、动态点云之间的预设关联关系，将所述各子点云划分为静态点云或动态点云；

根据所述每帧点云数据的定位数据，将所述各子时间段内的静态点云进行匹配拼接得到地图点云；

根据所述每帧点云数据的定位数据，将所述各子时间段内的动态点云进行匹配拼接得到障碍物点云；

将所述各子时间段内的地图点云和障碍物点云进行融合，得到所述各子时间段融合后的点云数据；

将所述多个子时间段融合后的点云数据进行再次融合，对再次融合后的所述点云数据进行抽帧；

将抽帧的点云数据输入所述第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果。

如图4所示，多传感器融合局部建图包括语义点云构建、静态/动态点云处理、单Clip重建、多 Clip 聚合和数据抽帧。

预设历史时间段内的点云数据可为基于时间帧的视频片段。将视频片段按照不同矿区自动驾驶场景划分成多个子时间段的点云数据Clip。语义点云构建基于点云分割模型对每个Clip中的各帧点云数据进行点云分割，得到多类子点云，即为单帧语义点云。

静态/动态点云处理将单帧语义点云分为静态点云或动态点云。例如，某子点云的类型为公路，则该子点云为静态点云，静态点云为背景点云；某子点云的类型为车辆，则该子点云为动态点云，动态点云为障碍物点云。

相邻两帧单帧语义点云之间存在相同部分。单 Clip 重建根据每帧点云数据的定位数据将连续帧的静态点云进行匹配拼接，得到稠密局部的地图点云，对连续帧的动态点云进行匹配拼接，得到稠密动态的障碍物点云。可对动静态点云采用不同的增强策略，进一步提升点云数据的稠密度和准确度。

多 Clip 聚合将同一位置的多个单 Clip进行合并，得到全面的单 Clip。数据抽帧对多 Clip 聚合的结果进行单帧抽样，从而构建单帧稠密点云。将构建的单帧稠密点云用于自动标注模型的标注。

采用单 Clip重建和多 Clip 聚合的方式，既保证局部建图的完整性，满足远距离真值感知的需求，又能降低标注成本。

在上述实施例的基础上，本实施例中所述将各子时间段内的每帧点云数据分割成至少一类子点云，包括：

将所述每帧点云数据对应的同一时刻的所述图像数据语义分割成至少一类图像区域；

在所述每帧点云数据中存在子点云的体积小于第二预设阈值，则根据所述子点云对应的图像区域对所述子点云进行修正。

如图4所示，基于图像分割模型将每帧点云数据对应的同一时刻的图像数据进行语义分割，得到至少一类图像区域。由于点云分割模型对于体积较小的目标分割不准确，如人体，因此结合图像数据中该目标的分割结果对点云数据中该目标的分割结果进行修正，从而提高点云分割的准确性。

在上述实施例的基础上，本实施例中在所述将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果之前，还包括：

对所述图像数据、点云数据和定位数据进行时间对齐；

基于运动补偿对所述图像数据、点云数据和定位数据进行数据插帧；

对采集所述图像数据、点云数据和定位数据的传感器进行外参标定。

如图5所示，传感器数据预处理包括传感器数据时间对齐和传感器数据外参标定。传感器数据时间对齐是指将图像数据、点云数据和定位数据的时间帧进行对齐，实现三种数据之间的时间同步。

由于相机和激光雷达输出数据的时间戳不一致，为了得到完全同步的数据，需要得到图像输出时刻对应的点云数据，对缺少的时间帧可基于运动补偿进行插帧。具体步骤包括：先确定图像输出时刻和最邻近的点云输出时刻之间的定位数据，根据定位数据确定点云数据的运动方向和距离，根据点云数据的运动方向和距离对点云数据进行平移和旋转，得到插帧的点云数据。

传感器数据外参标定用于确定不同传感器之间的相对位置和方向。在自动驾驶车辆中，需要对激光雷达、相机和组合惯导等传感器进行精确的外参标定，以便其数据可以被合成和协同使用，从而提供对环境的准确感知。

传感器数据外参标定包括在线标定和离线标定。离线标定采用采集数据中的离线标定数据。在线标定主要指激光雷达和相机之间的在线标定，减小车辆长时间运行对外参精度的影响。

经过传感器数据时间对齐和传感器数据外参标定得到基于时间同步的片段数据帧。

如图6所示，面向矿区自动驾驶场景的半自动数据标注方法总体包括传感器数据预处理、多传感器融合局部建图、基于多任务云端感知大模型自动标注、人工标注与质检和自动标注模型自迭代升级五部分。

以多任务云端感知大模型为基础，结合矿区的单任务感知模型，采用结果融合的策略，实现矿区数据的半自动标注。在实现数据半自动标注的基础上，通过设计自动标注模型自迭代和升级策略，实现云端多任务感知大模型的自我迭代和升级，从而提升数据半自动标注的质量。进一步实现矿区全域感知任务的高质量半自动标注，全面解决矿区自动驾驶海量数据的标注难题。

下面对本发明提供的矿区自动驾驶场景数据标注系统进行描述，下文描述的矿区自动驾驶场景数据标注系统与上文描述的矿区自动驾驶场景数据标注方法可相互对应参照。

如图7所示，该系统包括第一标注模块701、第二标注模块702、第三标注模块703、计算模块704和选择模块705，其中：

第一标注模块701用于将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果；

第二标注模块702用于将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果；

第三标注模块703用于将所述图像数据和所述点云数据输入多任务云端感知大模型中，得到所述多任务云端感知大模型输出的所述任务的第三标注预测结果；

计算模块704用于根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果；

选择模块705用于确定所述各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注；

所述各第一单任务感知模型以第一图像数据样本为样本，以所述第一图像数据样本的实际标注结果为标签进行训练得到；

所述各第二单任务感知模型以第一点云数据样本为样本，以所述第一点云数据样本的实际标注结果为标签进行训练得到；

所述多任务云端感知大模型以第二图像数据样本和第二点云数据样本为样本，以所述第二图像数据样本的实际标注结果和/或所述第二点云数据样本的实际标注结果为标签进行训练得到。

本实施例通过基于单任务感知模型的自动标注和基于多任务云端感知大模型自动标注的联合标注方式进行多模态数据自动标注，充分利用单任务感知模型和多任务云端感知大模型的优势，提高矿区自动驾驶场景数据标注的质量；通过对各任务的最终标注预测结果的质量评价得分，区分出标注质量较差的数据进行人工二次标注，实现面向矿区自动驾驶场景的数据半自动标注，降低人工成本，提高标注效率和标注质量。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行矿区自动驾驶场景数据标注方法，该方法包括：将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到对应任务的第一标注预测结果；将矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到任务的第二标注预测结果；将图像数据和点云数据输入多任务云端感知大模型中，得到任务的第三标注预测结果；根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定各任务的最终标注预测结果；确定各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的质量评价得分对应的图像数据和点云数据供人工标注。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的矿区自动驾驶场景数据标注方法，该方法包括：将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到对应任务的第一标注预测结果；将矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到任务的第二标注预测结果；将图像数据和点云数据输入多任务云端感知大模型中，得到任务的第三标注预测结果；根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定各任务的最终标注预测结果；确定各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的质量评价得分对应的图像数据和点云数据供人工标注。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的矿区自动驾驶场景数据标注方法，该方法包括：将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到对应任务的第一标注预测结果；将矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到任务的第二标注预测结果；将图像数据和点云数据输入多任务云端感知大模型中，得到任务的第三标注预测结果；根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定各任务的最终标注预测结果；确定各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的质量评价得分对应的图像数据和点云数据供人工标注。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种矿区自动驾驶场景数据标注方法，其特征在于，包括：

将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果；

将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果；

将所述图像数据和所述点云数据输入多任务云端感知大模型中，得到所述多任务云端感知大模型输出的所述任务的第三标注预测结果；

根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果；

确定所述各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注；

所述各第一单任务感知模型以第一图像数据样本为样本，以所述第一图像数据样本的实际标注结果为标签进行训练得到；

所述各第二单任务感知模型以第一点云数据样本为样本，以所述第一点云数据样本的实际标注结果为标签进行训练得到；

所述多任务云端感知大模型以第二图像数据样本和第二点云数据样本为样本，以所述第二图像数据样本的实际标注结果和/或所述第二点云数据样本的实际标注结果为标签进行训练得到。

2.根据权利要求1所述的矿区自动驾驶场景数据标注方法，其特征在于，所述根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果，包括：

基于Adaboost算法将所述各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果进行融合，得到所述各任务的第四标注预测结果；

对所述各任务的第一标注预测结果、第二标注预测结果、第三标注预测结果和第四标注预测结果中的多种进行交叉验证，得到所述各任务的最终标注预测结果。

3.根据权利要求1所述的矿区自动驾驶场景数据标注方法，其特征在于，在所述选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注之后，还包括：

将大于或等于所述第一预设阈值的质量评价得分对应的图像数据和点云数据作为样本，将大于或等于所述第一预设阈值的质量评价得分对应的最终标注预测结果作为伪标签，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练；

将所述人工标注的图像数据和点云数据作为样本，将人工标注的图像数据和点云数据的实际标注结果作为标签，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练。

4.根据权利要求3所述的矿区自动驾驶场景数据标注方法，其特征在于，所述对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练，包括：

基于Soft Teacher半监督学习策略，对所述各第一单任务感知模型、各第二单任务感知模型和所述多任务云端感知大模型进行训练。

5.根据权利要求1-4任一所述的矿区自动驾驶场景数据标注方法，其特征在于，所述将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果，包括：

将预设历史时间段内的所述点云数据划分成不同所述矿区自动驾驶场景的多个子时间段的点云数据，将各子时间段内的每帧点云数据分割成至少一类子点云；

根据各子点云的类型，以及所述各子点云的类型与静态点云、动态点云之间的预设关联关系，将所述各子点云划分为静态点云或动态点云；

根据所述每帧点云数据的定位数据，将所述各子时间段内的静态点云进行匹配拼接得到地图点云；

根据所述每帧点云数据的定位数据，将所述各子时间段内的动态点云进行匹配拼接得到障碍物点云；

将所述各子时间段内的地图点云和障碍物点云进行融合，得到所述各子时间段融合后的点云数据；

将所述多个子时间段融合后的点云数据进行再次融合，对再次融合后的所述点云数据进行抽帧；

将抽帧的点云数据输入所述第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果。

6.根据权利要求5所述的矿区自动驾驶场景数据标注方法，其特征在于，所述将各子时间段内的每帧点云数据分割成至少一类子点云，包括：

将所述每帧点云数据对应的同一时刻的所述图像数据语义分割成至少一类图像区域；

在所述每帧点云数据中存在子点云的体积小于第二预设阈值，则根据所述子点云对应的图像区域对所述子点云进行修正。

7.根据权利要求5所述的矿区自动驾驶场景数据标注方法，其特征在于，在所述将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果之前，还包括：

对所述图像数据、点云数据和定位数据进行时间对齐；

基于运动补偿对所述图像数据、点云数据和定位数据进行数据插帧；

对采集所述图像数据、点云数据和定位数据的传感器进行外参标定。

8.一种矿区自动驾驶场景数据标注系统，其特征在于，包括：

第一标注模块，用于将矿区自动驾驶场景的图像数据输入各第一单任务感知模型中，得到所述各第一单任务感知模型输出的对应任务的第一标注预测结果；

第二标注模块，用于将所述矿区自动驾驶场景的点云数据输入第二单任务感知模型中，得到各第二单任务感知模型输出的所述任务的第二标注预测结果；

第三标注模块，用于将所述图像数据和所述点云数据输入多任务云端感知大模型中，得到所述多任务云端感知大模型输出的所述任务的第三标注预测结果；

计算模块，用于根据各任务的第一标注预测结果、第二标注预测结果和第三标注预测结果，确定所述各任务的最终标注预测结果；

选择模块，用于确定所述各任务的最终标注预测结果的质量评价得分，选择小于第一预设阈值的所述质量评价得分对应的图像数据和点云数据供人工标注；

所述各第一单任务感知模型以第一图像数据样本为样本，以所述第一图像数据样本的实际标注结果为标签进行训练得到；

所述各第二单任务感知模型以第一点云数据样本为样本，以所述第一点云数据样本的实际标注结果为标签进行训练得到；

所述多任务云端感知大模型以第二图像数据样本和第二点云数据样本为样本，以所述第二图像数据样本的实际标注结果和/或所述第二点云数据样本的实际标注结果为标签进行训练得到。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述矿区自动驾驶场景数据标注方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述矿区自动驾驶场景数据标注方法。