CN115827906A - 目标标注方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供一种目标标注方法、装置、电子设备及计算机可读存储介质，先根据激光雷达采集的点云数据和点云深度学习模型，输出每帧点云数据对应的点云标注信息，根据与激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧图像数据对应的图像标注信息，再确定待标注目标及待标注目标的类型和测量尺寸信息，根据类型、测量尺寸信息和尺寸数据库，确定待标注目标的目标尺寸信息，其中，尺寸数据库预先存储不同类型的目标的尺寸信息；根据目标尺寸信息更新点云标注信息。因此，本申请使用深度学习模型分别输出点云标注信息和图像标注信息，提升了标注速度，并根据尺寸数据库对点云标注信息进行校准更新，提升了标注的准确性。

Description

目标标注方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种目标标注方法、装置、电子设备及计算机可读存储介质。

背景技术

现有的激光点云目标物标注方法依赖于人工，主要过程为，工作人员将图像和点云加载到标注软件后，通过查看对应图像来识别激光点云中目标物的类别，再用一个大致的三维框来包围住物体，把框和包围着的点云投影到X-Y、Y-Z、X-Z三个投影面，根据投影面二维框包围点云情况，微调三维框的大小、方向和位置，使投影面二维框紧紧贴近点云，再根据图像中目标物的头尾朝向确定航向角的方向。这个标注过程需要进行较为繁琐的人工操作，导致标注的速度较慢。尤其是针对一些目标被遮挡或被截断使得只显示部分目标点云的场景，只能依靠标注经验进行猜测标注，准确性较差。

可见，现有的人工标注激光点云目标物的方案存在标注速度慢、准确性较差的技术问题。

发明内容

为了解决上述技术问题，本申请实施例提供了一种目标标注方法、装置、电子设备及计算机可读存储介质。

第一方面，本申请实施例提供了一种目标标注方法，所述方法包括：

根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；

根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；

根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；

根据所述目标尺寸信息更新所述点云标注信息。

根据本申请的一种具体实现方式，在所述根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息之前，所述方法还包括：

判断所述点云数据和所述图像数据是否连续。

根据本申请的一种具体实现方式，在所述判断所述点云数据和所述图像数据是否连续之后，所述方法还包括：

若所述点云数据和所述图像数据不连续，则对于每帧所述点云数据，分别执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤；

若所述点云数据和所述图像数据连续，则对于所述点云数据，只执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤。

根据本申请的一种具体实现方式，若所述点云数据和所述图像数据连续，所述方法还包括：

校准所述点云标注信息和所述图像标注信息。

根据本申请的一种具体实现方式，所述校准所述点云标注信息和所述图像标注信息，包括：

跟踪所述点云标注信息和所述图像标注信息；

判断对应的所述点云数据或所述图像数据上的所述待标注目标是否存在遮挡；

若是，则以不存在遮挡的所述图像数据或所述点云数据作为校准数据；

以所述校准数据对应的标注信息包括的类型作为所述待标注目标的类型。

根据本申请的一种具体实现方式，所述方法还包括：

根据校准后的类型更新所述点云标注信息。

根据本申请的一种具体实现方式，所述方法还包括：

逐帧以预设格式存储更新后的所述点云标注信息。

根据本申请的一种具体实现方式，所述根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，包括：

根据所述待标注目标的类型和索引尺寸信息，从所述尺寸数据库中检索出与所述待校正尺寸信息对应的检索尺寸信息；

判断所述待校正尺寸信息和所述检索尺寸信息的差值的绝对值是否小于第一预设阈值；

若是，则不校正所述待校正尺寸信息；

若否，则校正所述待校正尺寸信息为所述检索尺寸信息；

根据校正结果和所述索引尺寸信息，确定所述待标注目标的目标尺寸信息。

根据本申请的一种具体实现方式，若所述待标注目标位于所述激光雷达的前方或后方，则所述索引尺寸信息为所述待标注目标的宽度，所述待校正尺寸信息为所述待标注目标的长度和高度；

若所述待标注目标位于所述激光雷达的侧方，则所述索引尺寸信息为所述待标注目标的长度，所述待校正尺寸信息为所述待标注目标的宽度和高度。

根据本申请的一种具体实现方式，所述根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型，包括：

根据所述激光雷达与所述摄像头的标定参数，将当前帧所述点云标注信息投影至对应帧的所述图像标注信息上；

遍历投影后的所述图像标注信息上的目标，以确定待标注目标；

确定所述待标注目标的类型。

根据本申请的一种具体实现方式，所述遍历投影后的所述图像标注信息上的目标，以确定待标注目标，包括：

若某个目标在所述点云标注信息上的目标包围框和在所述图像标注信息上的目标包围框的中心点的距离小于第二预设阈值，则确定所述目标为待标注目标。

根据本申请的一种具体实现方式，所述确定所述待标注目标的类型，包括：

判断所述待标注目标在所述点云标注信息上的类型和在所述图像标注信息上的类型是否相同；

若是，则以所述点云标注信息上的类型作为所述待标注目标的类型；

若否，则以所述图像标注信息上的类型作为所述待标注目标的类型。

根据本申请的一种具体实现方式，所述根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，包括：

将所述点云数据按照所述激光雷达的频率进行分割；

将每帧所述点云数据从激光雷达坐标系转换到大地坐标系；

逐帧将坐标系转换后的所述点云数据输入至所述点云深度学习模型，输出每帧所述点云数据对应的点云标注信息。

根据本申请的一种具体实现方式，所述根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，包括：

将所述图像数据按照所述摄像头的帧率分割成若干图片；

逐帧将所述图片的输入至所述图像深度学习模型，输出每帧所述图片对应的图像标注信息。

根据本申请的一种具体实现方式，所述点云深度学习模型为pointpillar模型，所述图像深度学习模型为yolov7模型。

第二方面，本申请实施例提供了一种目标标注装置，所述装置包括：

标注模块，用于根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；

第一确定模块，用于根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；

第二确定模块，用于根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；

更新模块，用于根据所述目标尺寸信息更新所述点云标注信息。

第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行第一方面中任一项所述的目标标注方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面中任一项所述的目标标注方法。

上述本申请提供一种目标标注方法、装置、电子设备及计算机可读存储介质，其中方法包括：根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；根据所述目标尺寸信息更新所述点云标注信息。使用深度学习模型分别输出点云标注信息和图像标注信息，再由此确定待标注目标的类型和测量尺寸信息，并根据尺寸数据库对点云标注信息进行校准更新，这样即可通过自动化标注并更新的方案代替传统人工手动标注，提升了标注速度，且依赖尺寸数据库更新能够排除极端标注错误。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例提供的一种目标标注方法的流程示意图；

图2示出了本申请实施例提供的目标标注方法的另一流程示意图；

图3示出了本申请实施例提供的目标标注方法的另一流程示意图；

图4示出了本申请实施例提供的目标标注方法的另一流程示意图；

图5示出了本申请实施例提供的一种目标标注装置的模块框图；

图6示出了本申请实施例提供的一种电子设备的一结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

实施例1

参见图1，为本申请实施例提供的一种目标标注方法的流程示意图。如图1所示，所述方法主要包括以下步骤：

步骤S101，根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；

本实施例提供的目标标注方法，用于处理激光雷达采集的整体点云，主要是实现对点云中目标的自动化标注，将所追踪的目标定义为待标注目标。如图2所示，在对点云数据中的待标注目标进行自动化标注过程中，本方案依赖同频率的图像数据，即与激光雷达的频率相同的摄像头采集的图像数据。所提供的点云标注方法应用于电子设备，该电子设备连接极光雷达和摄像头数据，接收激光雷达采集的点云数据和摄像头采集的图像数据。为了尽可能减少跟踪不同步造成的计算误差，限定激光雷达的频率和摄像头的帧率相同，即时间同步和空间同步，尽可能保证采集到完全相同的目标，提高后续点云标注校准的准确率。

本实施例提供的目标标注方案主要分为两个部分，利用深度学习模型实现初步的半自动化标注，获得标注信息，例如包围框、类别等信息。获取一定数量的点云数据及标注信息作为样本输入深度学习模型进行训练学习，获得具备自动标注功能的点云深度学习模型，这样，点云深度学习模型能够自动学习输入点云数据的包围框、类型、位置、尺寸和航向等点云标注信息。同样的，获取一定数量的图像数据及标注信息，输入深度学习模型进行训练学习，获得具备自动标注功能的图像深度学习模型，这样，图像深度学习模型能够自动学习输入图像数据的包围框、类型和位置等图像标注信息。

根据本申请的一种具体实现方式，所述根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，包括：

将所述点云数据按照所述激光雷达的频率进行分割；

将每帧所述点云数据从激光雷达坐标系转换到大地坐标系；

逐帧将坐标系转换后的所述点云数据输入至所述点云深度学习模型，输出每帧所述点云数据对应的点云标注信息。

根据本申请的一种具体实现方式，所述根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，包括：

将所述图像数据按照所述摄像头的帧率分割成若干图片；

逐帧将所述图片的输入至所述图像深度学习模型，输出每帧所述图片对应的图像标注信息。

电子设备内预先加载有点云深度学习模型和图像深度学习模型，将激光雷达采集的点云数据输入点云深度学习模型，能够获得对应的点云标注信息，以及，将摄像头采集的图像数据输入图像深度学习模型，能够获得对应的图像标注信息。

根据本申请的一种具体实现方式，所述点云深度学习模型为pointpillar模型，所述图像深度学习模型为yolov7模型。

Pointpillars模型即空间杜宾模型，接收点云作为输入，计算输出带方向的目标包围框，模型结构可以分为三个部分：

(1)Pillar Feature Net，将输入的点云转换为稀疏伪图像；(2)二维Backbone，使用二维的CNN Backbone处理伪图像，得到二维特征图；(3)SSD Detection Head，使用SSD检测头，检测和回归三维边界框。

yolov7模型为现有的二维目标识别模型中识别精度更高的模型，其识别过程基本同现有常规算法，不再赘述。

当然，点云和图片也可以推理采用同一个深度学习模型，实现前端目标融合，实现端到端推理，一次性输出目标物的长宽高，位置以及偏航角信息。

步骤S102，根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；

依据上述步骤获得点云数据对应的点云标注信息，和图像数据对应的图像标注信息，其中，点云标注信息包括点云中各目标的包围框、类型、位置、尺寸和航向，图像标注信息则包括图像中各目标的包围框、类型和位置。由于激光雷达和摄像头是同频且同步采集的，那么，其各自识别到的目标理论上是一一对应的，根据对应关系可以确定待标注目标，并由点云标注信息和图像标注信息确定待标注目标的类型。

另外，还可以根据包围框和尺寸来确定该待标注目标的测量尺寸信息。所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的，用于从点云的批次数据中查找待标注目标的各位置对应的数据，待校正尺寸信息则为点云深度学习模型直接输出的点云标注信息中该待标注目标的尺寸。

考虑到车辆行进过程中，激光雷达探测到的目标不一定为完整的目标，即目标可能处于半遮挡状态，那么，点云数据对应的点云标注信息中的尺寸就可能无法准确表示该待标注目标，将点云深度学习模型输出的尺寸定义为需要进行校正的待校正尺寸。

确定知道点云对应的待标注目标的类别后，激光雷达可能扫到目标头部和尾部的部分区域，需要进行完整尺寸的校正。例如，对于激光雷达后方的目标，激光雷达能扫到目标物的头部，目标物头部坐标y轴小于0，同时能推理得到贴合头部的包围框的宽度、长度、高度，根据目标物类别和包围框宽度去检索目标物尺寸数据库，得到检索的长度和高度。如果推理得到目标物包围框的长度和高度和检索出来的长度和高度的差值在一定阈值内，则不修正推理得到目标包围框的长度和高度，否则修正推理的目标物长度和高度为检索出来的长度和高度。当然，对于激光雷达前方的目标，即扫到目标尾部的处理情况类似，不再赘述。

步骤S103，根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；

在实际探测环境中，车辆、道路、建筑物或者路障等的尺寸或者尺寸比例都是固定的，已知其部分尺寸可以查找或者推测其他的局部尺寸，即可有效解决探测过程中的目标被部分遮挡的问题。电子设备内可以预先创建尺寸数据库，预先存储不同类型的目标的尺寸信息，该尺寸信息为各类目标的标准尺寸，例如标准长度、标准宽度、标准头部尺寸、标准尾部尺寸、标准尺寸比例等，不作限定。

在获取待标注目标的类型、测量尺寸信息后，即可根据在尺寸数据库中查找到的相关或者类似目标的标准的尺寸信息，来校正或者确认该待标注目标的尺寸信息，将校正后或者确认无需校正的尺寸信息定义为目标尺寸信息。

步骤S104，根据所述目标尺寸信息更新所述点云标注信息。

根据尺寸数据库确认待标注目标的目标尺寸信息后，即可将该目标尺寸信息更新前述步骤中点云深度学习模型直接输出的点云标注信息，即主要是更新点云标注信息中的尺寸信息，这样即可得到该待标注目标的比较准确的点云标注信息，实现对待标注目标的自动标注。

在上述实施例的基础上，根据本申请的一种具体实现方式，步骤S103所述的，根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息之前，所述方法还可以包括：

判断所述点云数据和所述图像数据是否连续。

根据本申请的一种具体实现方式，所述判断所述点云数据和所述图像数据是否连续之后，所述方法还包括：

若所述点云数据和所述图像数据不连续，则对于每帧所述点云数据，分别执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤；

若所述点云数据和所述图像数据连续，则对于所述点云数据，只执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤。

考虑到目标标注方法的后续应用通常是目标跟踪，目标跟踪需要所跟踪的目标在点云数据和图像数据中是连续的，否则需要对目标重新识别和标注。本实施方式增设针对数据连续的判断，若点云数据和图像数据时连续的，则执行一次确定待标注目标的目标尺寸信息的步骤即可，后续的目标识别和跟踪方案可以直接使用此次确定的目标尺寸信息进行跟踪；反之，若点云数据和图像数据时不连续的，则为了保证目标标注信息的准确性，需要针对每帧的点云数据分别确定其对应的目标尺寸信息。

根据本申请的一种具体实现方式，若所述点云数据和所述图像数据连续，所述方法还包括：

校准所述点云标注信息和所述图像标注信息。

在确定点云数据和图像数据是连续的步骤后，为保证这一帧得到的目标尺寸数据的准确性，还可以增设校准点云标注信息和图像标注信息的步骤。可以通过将点云标注信息和图像标注信息的对应比较的方式来互相校准，当然也可以通过其他参考信息来校准点云标注信息和图像标注信息。

根据本申请的一种具体实现方式，所述校准所述点云标注信息和所述图像标注信息，包括：

跟踪所述点云标注信息和所述图像标注信息；

判断对应的所述点云数据或所述图像数据上的所述待标注目标是否存在遮挡；

若是，则以不存在遮挡的所述图像数据或所述点云数据作为校准数据；

以所述校准数据对应的标注信息包括的类型作为所述待标注目标的类型。

通过激光雷达采集的点云数据跟踪待标注目标的过程中，可能存在待标注目标被遮挡导致激光雷达只探测到部分区域的情况，若以目标存在遮挡情况下的点云数据识别待标注目标的类型，可能存在误识别的情况。

本实施方式通过跟踪点云标注信息和图像标注信息的方式，判断点云数据或者图像数据上的待标注目标是否存在遮挡。若点云数据存在目标遮挡且图像数据不存在目标遮挡，则以图像数据作为校准数据，并以该图像数据对应的图像标注信息记录的类型作为待标注目标的类型。反之，若点云数据不存在目标遮挡且图像数据存在目标遮挡，则以点云数据作为校准数据，并以该点云数据对应的点云标注信息记录的类型作为待标注目标的类型。若点云数据和图像数据均不存在目标遮挡，则可以点云数据对应的点云标注信息记录的类型作为待标注目标的类型。或者，若点云数据和图像数据均存在目标遮挡，则放弃当前帧的点云数据和图像数据，以下一帧的点云数据和图像数据来确定待标注目标的目标标注信息。

通过在连续的点云序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。给定点云一帧的目标坐标位置，计算在下一帧图像中目标的确切位置。这样，即可实现对目标的持续跟踪。

根据本申请的一种具体实现方式，所述方法还包括：

根据校准后的类型更新所述点云标注信息。

此外，所述方法还可以包括：

逐帧以预设格式存储更新后的所述点云标注信息。

依据上述步骤校准所述待标注目标的类型后，即可根据校准后的类型来更新点云标注信息。例如，若点云数据存在目标遮挡而图像数据不存在目标遮挡，则可以将图像标注信息中记录的类型作为待标注目标的类型，并将点云标注信息中记录的类型更新为图像标注信息中记录的类型，并将更新后的点云标注信息按照预设格式存储。这样，可以在目标标注过程中及时更新点云标注信息中由于遮挡等原因导致错误的类型信息，保证后续目标跟踪的准确性。本实施方式中，存储更新后的点云标注信息的预设方式可以同之前存储的格式，例如依次包括类型、目标包围框的中心点的位置(x，y，z)、目标包围框的尺寸(长、宽、高)和目标包围框的航向，可以以txt格式进行存储。当然也可以为其他自定义格式，不作限定。

根据本申请的一种具体实现方式，步骤S104所述的，根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，包括：

根据所述待标注目标的类型和索引尺寸信息，从所述尺寸数据库中检索出与所述待校正尺寸信息对应的检索尺寸信息；

判断所述待校正尺寸信息和所述检索尺寸信息的差值的绝对值是否小于第一预设阈值；

若是，则不校正所述待校正尺寸信息；

若否，则校正所述待校正尺寸信息为所述检索尺寸信息；

根据校正结果和所述索引尺寸信息，确定所述待标注目标的目标尺寸信息。

本实施方式对根据测量尺寸信息和尺寸数据库来确定目标尺寸信息的步骤作了限定，先通过待标注目标的类型和索引尺寸信息，从尺寸数据库中查找出检索尺寸信息，即预先存储的目标常规尺寸。若待校正尺寸信息和检索尺寸信息的差值的绝对值较小，例如小于临界的第一预设阈值，则不需要校正该待校正尺寸，直接根据该待校正尺寸信息和索引尺寸信息确定待标注目标的目标尺寸。反之，若待校正尺寸信息和检索尺寸信息的差值的绝对值较大，例如大于或者等于第一预设阈值，则需要校正该待校正尺寸信息，可以直接用检索尺寸信息替代该待校正尺寸信息，并以替代后的待校正尺寸信息和索引尺寸信息来确定待标注目标的目标尺寸信息。

进一步的，根据本申请的一种具体实现方式，若所述待标注目标位于所述激光雷达的前方或后方，则所述索引尺寸信息为所述待标注目标的宽度，所述待校正尺寸信息为所述待标注目标的长度和高度；

若所述待标注目标位于所述激光雷达的侧方，则所述索引尺寸信息为所述待标注目标的长度，所述待校正尺寸信息为所述待标注目标的宽度和高度。

尺寸数据库存储不同类型的车辆等目标的检索尺寸信息，对点云深度学习模型输出的待校正尺寸信息进行校正，出现的物体以类型和宽度为索引得到整个尺寸。

根据本申请的一种具体实现方式，所述根据所述标准尺寸在所述整体目标中标记所述追踪目标，包括：

在所述整体点云中，利用标准尺寸的三维框围合所述追踪目标对应的点云区域，并关联显示所述追踪目标的类别、置信度及所述激光雷达的探测航向。

根据本申请的另一种具体实现方式，所述根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型，包括：

根据所述激光雷达与所述摄像头的标定参数，将当前帧所述点云标注信息投影至对应帧的所述图像标注信息上；

遍历投影后的所述图像标注信息上的目标，以确定待标注目标；

确定所述待标注目标的类型。

具体实施时，所述遍历投影后的所述图像标注信息上的目标，以确定待标注目标的步骤可以包括：

若某个目标在所述点云标注信息上的目标包围框和在所述图像标注信息上的目标包围框的中心点的距离小于第二预设阈值，则确定所述目标为待标注目标。

本实施方式利用用于框选目标的包围框的中心点位置重合情况来判断是否为待标注目标。具体的，先获取整体点云标注信息中框选目标的目标包围框，确定三维目标框的中心点，再获取图像数据中框选目标的目标包围框，确定二维目标框的中心点。将点云标注信息投影至图像标注信息上，即将目标包围框的中心点和目标包围框的中心点均转换到同一参考坐标系如大地坐标系中，根据该两个中心点的位置坐标计算对应的包围框中心点之间的距离，通过比较距离与临界情况的第二预设阈值来两个中心点的重合程度。此处，设置一临界情况的第二预设阈值，限定中心点之间的距离值在第二预设阈值范围内则判定为待标注目标，若距离值不在第二预设阈值范围内则判定该目标不是待标注目标。需要说明的是，此处的第二预设阈值范围可以根据目标标注的精度要求来确定，理论上也可以设置为0，但通常为大于0的一个较小的数值。

根据本申请的另一种具体实现方式，所述确定所述待标注目标的类型，包括：

判断所述待标注目标在所述点云标注信息上的类型和在所述图像标注信息上的类型是否相同；

若是，则以所述点云标注信息上的类型作为所述待标注目标的类型；

若否，则以所述图像标注信息上的类型作为所述待标注目标的类型。

本实施方式增设通过比较点云数据和图像数据通过深度学习模型初步输出的类型是否一致来确定待标注目标的类型。考虑到图像数据记载的纹理、颜色等辨识度高的信息，在依据上述步骤输出点云标注信息包括的类型和图像标注信息包括的类型后，若二者包括的类型相同，则以点云标注信息包括的类型作为该待标注目标的类型，反之，则以图像标注信息的类型作为待标注目标的类型。

图3为执行目标标注方法中各步骤对应的执行模块，0.自动化标注模块，它包括图3中的所有执行模块，如图4所示为所提供的目标标注方法的具体流程示意图。具体过程如下：

1.读入点云模块，自动化标注的点云输入模块，加载采集到的所有bin格式的点云文件到0.自动化标注模块的点云容器中。采集的激光雷达点云根据激光雷达的频率分割成一帧一帧的，并且转换坐标系，因为激光雷达安装在车上的，转换到地面坐标系。

2.读入图像模块，自动化标注的图像输入模块，加载采集到的所有png格式的图像文件0.自动化标注模块的图像容器中。摄像头的帧率必须跟激光雷达频率一样，并且采集前先标定，获得内外参数，保证时间对齐，空间对齐。即每帧点云和每帧图像的时间戳一样，并且点云投影到图像上时，点云中所有物体的轮廓和图像上的一样。

3.pointpillar，点云目标识别模块，逐帧输入点云，得到点云中的目标是本结果。输入的是0.自动化标注模的点云容器，输出是每帧点云中目标的类型、位置、尺寸、航向。

4.yolov7，图像推理模块，摄像头录制的视频也按帧率分割成图像输入，得到图像推理结果。输入的是0.自动化标注模的图像容器，输出是每帧图像中目标的类型、位置。

5.目标物尺寸数据库模块，存储车辆不同类型的车辆的尺寸信息，对3.pointpillar点云推理模块输出的后方结果进行纠正；出现的物体以类型和宽度为索引得到整个尺寸。

点云推理结果的立体框的中心点根据内外参数投影到图像上，如果和图像上yolov7推理出来目标包围框的中心点的距离在某一阈值范围内，则为同一目标。如果不是连续数据，即不同批次的数据混杂在一起，数据不连续不能进行目标跟踪。知道点云中的目标物的类别后，对于在激光雷达后方的目标(目标物头部坐标y轴小于0)，激光雷达能扫描到目标物的头部，同时能推理得到贴合头部的包围框的宽度，根据目标物类别和包围框宽度去检索目标物尺寸数据库，得到长度和高度，如果推理得到目标物包围框的长度和宽度和检索出来的长度和宽度的差值在一定阈值内，则不修正推理得到目标物包围框的长度和宽度，否则修正推理的目标物宽度和高度为检索出来的长度和宽度；对于在激光雷达前方的目标(目标物尾部坐标y轴大于0)，激光雷达能扫描到目标物的尾部，同时能推理得到贴合尾部的包围框的宽度，修正过程如上面一样；对于在激光雷达测方的目标(目标物中心坐标x轴的绝对值大于车道的宽度)，激光雷达能扫描到目标物的侧部，同时能推理得到贴合测部的包围框的长度，修正过程如上面一样，这时修正的是宽度和高度。

数据是不连续的数据，所以每帧的场景目标和上一帧以及下一帧的不一样，所以推理以后就得匹配目标物尺寸数据库就行纠正，增加约束，确保推理结果的合理性。

如果是连续数据，知道点云中的目标物的类别后，对于在激光雷达后方的目标(目标物头部坐标y轴小于0)，激光雷达能扫描到目标物的头部，同时能推理得到贴合头部的包围框的宽度，根据目标物类别和包围框宽度去检索目标物尺寸数据库，得到长度和高度，如果推理得到目标物包围框的长度和宽度和检索出来的长度和宽度的差值在一定阈值内，则不修正推理得到目标物包围框的长度和宽度，否则修正推理的目标物宽度和高度为检索出来的长度和宽度。因为数据是连续的数据，所以每帧的场景目标和上一帧以及下一帧的都有联系，所以从目标物出现开始修正一次就行。

6.点云目标追踪模块，点云中的目标从出现到结束不断记录其独一无二的ID号和类型。图像和点云推理出来的结果，然后分别作为跟踪算法的输入，每次跟踪，图像和点云的跟踪结果进行校准，如果图像上目标有遮挡，则以点云跟踪结果类别为准；如果点云上目标有遮挡，则以图像跟踪结果类别为准。

7.点云图像类别校准模块，点云和图像跟踪出来的结果，根据遮挡情况，进行类别校准。

8.点云结果显示模块把点云推理得到的结果显示出来，根据推理得到的结果得到包围目标的长方体框，包裹在物体上，并在旁边显示目标的类别和置信度，同时显示目标航向。如果结果得到纠正，则显示纠正后的结果；不纠正，则显示原始结果。

9.图像结果显示模块，把图像推理得到的结果显示出来，根据推理得到的结果得到包围目标的长方形框，并在旁边显示目标的类别和置信度。

10.标注结果存储模块，把点云推理结果纠正后的结果，逐帧按顺序和约定格式写入固定路径的TXT文件中，该TXT文件和点云图像同名，方便下次训练模型。

上述本申请提供一种目标标注方法，使用深度学习模型，对点云中目标物进行初步检测，获取目标的目标包围框标注结果，代替传统人工手动标注，提升了标注速度。标注过程添加目标物检索目标物尺寸数据库，排除极端标注错误。标注过程添加跟踪算法，提高目标遮挡时仍能和前后帧同一目标标注结果一样，提高标注准确率。实验可得，一帧点云和图片上目标在NVIDIA GeForce GTX 1060加速下大约50ms就可以得到标注结果，人工检查修正一下，一两分钟就可以标注一帧，大大加快了标注速度。

实施例2

参见图5，为本申请实施例提供的一种目标标注装置的模块框图。如图5所示，所述目标标注装置500包括：

标注模块501，用于根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；

第一确定模块502，用于根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；

第二确定模块503，用于根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；

更新模块504，用于根据所述目标尺寸信息更新所述点云标注信息。

上述本申请提供一种目标标注装置，使用深度学习模型分别输出点云标注信息和图像标注信息，再由此确定待标注目标的类型和测量尺寸信息，并根据尺寸数据库对点云标注信息进行校准更新，这样即可通过自动化标注并更新的方案代替传统人工手动标注，提升了标注速度，且依赖尺寸数据库更新能够排除极端标注错误。所提供的目标标注装置的具体实施过程，可以参见上述实施例提供的目标标注方法的具体实施过程，在此不再一一赘述。

实施例3

此外，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行上述方法实施例1所提供的目标标注方法。

具体的，如图6所示，本实施例提供的电子设备600包括：

射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、处理器610、以及电源611等部件。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本申请实施例中，电子设备包括但不限于车载电脑、手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、以及计步器等。

应理解的是，本申请实施例中，射频单元601可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器610处理；另外，将上行的数据发送给基站。通常，射频单元601包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元601还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块602为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元603可以将射频单元601或网络模块602接收的或者在存储器609中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元603还可以提供与电子设备600执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元603包括扬声器、蜂鸣器以及受话器等。

输入单元604用于接收音频或视频信号。输入单元604可以包括图形处理器(Graphics Processing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获电子设备(如摄像头)获得的静态图像或视频的图像数据进行处理。处理后的图像帧可以视频播放在显示单元606上。经图形处理器6041处理后的图像帧可以存储在存储器609(或其它存储介质)中或者经由射频单元601或网络模块602进行发送。麦克风6042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元601发送到移动通信基站的格式输出。

电子设备600还包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板6061的亮度，接近传感器可在电子设备600移动到耳边时，关闭显示面板6061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器605还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元606用于视频播放由用户输入的信息或提供给用户的信息。显示单元606可包括显示面板6061，可以采用液晶视频播放器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板6061。

用户输入单元607可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板6071上或在触控面板6071附近的操作)。触控面板6071可包括触摸检测电子设备和触摸控制器两个部分。其中，触摸检测电子设备检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测电子设备上接收触摸信息，并将它转换成触点坐标，再送给处理器610，接收处理器610发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板6071。除了触控面板6071，用户输入单元607还可以包括其他输入设备6072。具体地，其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板6071可覆盖在显示面板6061上，当触控面板6071检测到在其上或附近的触摸操作后，传送给处理器610以确定触摸事件的类型，随后处理器610根据触摸事件的类型在显示面板6061上提供相应的视觉输出。虽然在图6中，触控面板6071与显示面板6061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板6071与显示面板6061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元608为外部电子设备与电子设备600连接的接口。例如，外部电子设备可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的电子设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元608可以用于接收来自外部电子设备的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备600内的一个或多个元件或者可以用于在电子设备600和外部电子设备之间传输数据。

存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器609可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器610是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器609内的软件程序和/或模块，以及调用存储在存储器609内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器610可包括一个或多个处理单元；优选的，处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。

电子设备600还可以包括给各个部件供电的电源611(比如电池)，优选的，电源611可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备600包括一些未示出的功能模块，在此不再赘述。

本实施例提供的电子设备，使用深度学习模型分别输出点云标注信息和图像标注信息，再由此确定待标注目标的类型和测量尺寸信息，并根据尺寸数据库对点云标注信息进行校准更新，这样即可通过自动化标注并更新的方案代替传统人工手动标注，提升了标注速度，且依赖尺寸数据库更新能够排除极端标注错误。所提供的电子设备的具体实施过程，可以参见上述实施例提供的目标标注方法的具体实施过程，在此不再一一赘述。

实施例4

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行上述的目标标注方法。

在本实施例中，计算机可读存储介质可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本实施例提计算机可读存储介质可以实施例1所示目标标注方法，为避免重复，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (18)

1.一种目标标注方法，其特征在于，所述方法包括：

根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；

根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；

根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；

根据所述目标尺寸信息更新所述点云标注信息。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息之前，所述方法还包括：

判断所述点云数据和所述图像数据是否连续。

3.根据权利要求2所述的方法，其特征在于，在所述判断所述点云数据和所述图像数据是否连续之后，所述方法还包括：

若所述点云数据和所述图像数据不连续，则对于每帧所述点云数据，分别执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤；

若所述点云数据和所述图像数据连续，则对于所述点云数据，只执行一次根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息的步骤。

4.根据权利要求3所述的方法，其特征在于，若所述点云数据和所述图像数据连续，所述方法还包括：

校准所述点云标注信息和所述图像标注信息。

5.根据权利要求4所述的方法，其特征在于，所述校准所述点云标注信息和所述图像标注信息，包括：

跟踪所述点云标注信息和所述图像标注信息；

判断对应的所述点云数据或所述图像数据上的所述待标注目标是否存在遮挡；

若是，则以不存在遮挡的所述图像数据或所述点云数据作为校准数据；

以所述校准数据对应的标注信息包括的类型作为所述待标注目标的类型。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据校准后的类型更新所述点云标注信息。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

逐帧以预设格式存储更新后的所述点云标注信息。

8.根据权利要求1所述的方法，其特征在于，所述根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，包括：

根据所述待标注目标的类型和索引尺寸信息，从所述尺寸数据库中检索出与所述待校正尺寸信息对应的检索尺寸信息；

判断所述待校正尺寸信息和所述检索尺寸信息的差值的绝对值是否小于第一预设阈值；

若是，则不校正所述待校正尺寸信息；

若否，则校正所述待校正尺寸信息为所述检索尺寸信息；

根据校正结果和所述索引尺寸信息，确定所述待标注目标的目标尺寸信息。

9.根据权利要求1或8所述的方法，其特征在于，

若所述待标注目标位于所述激光雷达的前方或后方，则所述索引尺寸信息为所述待标注目标的宽度，所述待校正尺寸信息为所述待标注目标的长度和高度；

若所述待标注目标位于所述激光雷达的侧方，则所述索引尺寸信息为所述待标注目标的长度，所述待校正尺寸信息为所述待标注目标的宽度和高度。

10.根据权利要求1所述的方法，其特征在于，所述根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型，包括：

根据所述激光雷达与所述摄像头的标定参数，将当前帧所述点云标注信息投影至对应帧的所述图像标注信息上；

遍历投影后的所述图像标注信息上的目标，以确定待标注目标；

确定所述待标注目标的类型。

11.根据权利要求10所述的方法，其特征在于，所述遍历投影后的所述图像标注信息上的目标，以确定待标注目标，包括：

若某个目标在所述点云标注信息上的目标包围框和在所述图像标注信息上的目标包围框的中心点的距离小于第二预设阈值，则确定所述目标为待标注目标。

12.根据权利要求10或11所述的方法，其特征在于，所述确定所述待标注目标的类型，包括：

判断所述待标注目标在所述点云标注信息上的类型和在所述图像标注信息上的类型是否相同；

若是，则以所述点云标注信息上的类型作为所述待标注目标的类型；

若否，则以所述图像标注信息上的类型作为所述待标注目标的类型。

13.根据权利要求1所述的方法，其特征在于，所述根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，包括：

将所述点云数据按照所述激光雷达的频率进行分割；

将每帧所述点云数据从激光雷达坐标系转换到大地坐标系；

逐帧将坐标系转换后的所述点云数据输入至所述点云深度学习模型，输出每帧所述点云数据对应的点云标注信息。

14.根据权利要求1所述的方法，其特征在于，所述根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，包括：

将所述图像数据按照所述摄像头的帧率分割成若干图片；

逐帧将所述图片的输入至所述图像深度学习模型，输出每帧所述图片对应的图像标注信息。

15.根据权利要求1所述的方法，其特征在于，所述点云深度学习模型为pointpillar模型，所述图像深度学习模型为yolov7模型。

16.一种目标标注装置，其特征在于，所述装置包括：

标注模块，用于根据激光雷达采集的点云数据和点云深度学习模型，输出每帧所述点云数据对应的点云标注信息，根据与所述激光雷达标定的摄像头采集的图像数据和图像深度学习模型，输出每帧所述图像数据对应的图像标注信息，且所述摄像头的帧率与所述激光雷达的频率相同；

第一确定模块，用于根据所述点云标注信息和所述图像标注信息，确定待标注目标及所述待标注目标的类型和测量尺寸信息，所述测量尺寸信息包括索引尺寸信息和待校正尺寸信息，所述索引尺寸信息是根据所述激光雷达与所述待标注目标的相对位置确定的；

第二确定模块，用于根据所述类型、所述测量尺寸信息和尺寸数据库，确定所述待标注目标的目标尺寸信息，其中，所述尺寸数据库预先存储不同类型的目标的尺寸信息；

更新模块，用于根据所述目标尺寸信息更新所述点云标注信息。

17.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至15中任一项所述的目标标注方法。

18.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至15中任一项所述的目标标注方法。

Images