CN116978010A - 图像标注方法和装置、存储介质和电子设备 - Google Patents

图像标注方法和装置、存储介质和电子设备 Download PDF

Info

Publication number
CN116978010A
CN116978010A CN202310996168.1A CN202310996168A CN116978010A CN 116978010 A CN116978010 A CN 116978010A CN 202310996168 A CN202310996168 A CN 202310996168A CN 116978010 A CN116978010 A CN 116978010A
Authority
CN
China
Prior art keywords
static element
point cloud
information
labeling
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310996168.1A
Other languages
English (en)
Inventor
郭培煌
吕鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Information Technology Co Ltd
Original Assignee
Beijing Horizon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Information Technology Co Ltd filed Critical Beijing Horizon Information Technology Co Ltd
Priority to CN202310996168.1A priority Critical patent/CN116978010A/zh
Publication of CN116978010A publication Critical patent/CN116978010A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种图像标注方法和装置、存储介质和设备，其中，方法包括：通过获取目标场景的三维点云和至少一个待标注图序列，对该目标场景的三维点云中的静态要素进行标注，得到三维点云中的静态要素的标注信息，之后，将该三维点云中各静态要素的标注信息投影到该目标场景对应的至少一个待标注图像集中，由此实现对目标场景对应的至少一个待标注图像集中的静态要素的标注。基于本公开实施例，可以一次性实现对目标场景对应的至少一个待标注图像集中所有待标注图像的静态要素的标注，相对于针对该目标场景对应的不同朝向的待标注图像逐一进行标注，能够有效提高图像标注效率。

Description

图像标注方法和装置、存储介质和电子设备
技术领域
本公开涉及数据标注技术，尤其是一种图像标注方法和装置、存储介质和设备。
背景技术
在自动驾驶车辆行驶过程中，需要依靠多个感知、预测任务模块以提供精准的车辆周围环境信息。其中，感知任务不仅需要检测场景中的车辆、行人等动态物体，还需要识别道路布局、车道线等静态要素。在实际应用中，可以通过BEV(Birds Eye View，鸟瞰视角)感知模型，将车辆上多个摄像头或雷达得到的视觉信息转换至鸟瞰视角，然后进行相关感知任务，这样既能为自动驾驶感知提供更大的视野，也能同时完成多项感知任务。在相关技术中，为了保证BEV感知模型的精确度，通常会对不同朝向的视觉传感器采集得到的图像分别逐一进行标注，现有方式多为人工标注，存在标注效率低、标注质量差的问题。
发明内容
为了解决上述技术问题，本公开实施例提供了一种图像标注方法和装置、存储介质和电子设备。
本公开实施例的一个方面，提供了一种图像标注方法，包括：获取目标场景对应的三维点云和至少一个待标注图序列，所述至少一个待标注图序列中的各待标注图序列分别包括多帧待标注图像，所述多帧待标注图像基于图像采集时间或者图像采集传感器所在移动设备的行驶轨迹排序；对所述三维点云进行静态要素标注，得到至少一个静态要素的标注信息；将所述至少一个静态要素的标注信息投影至所述至少一个待标注图序列，得到具有静态要素标注信息的至少一个已标注图序列。
本公开实施例的另一个方面，提供了一种图像标注装置，包括：获取模块，用于获取目标场景对应的三维点云和至少一个待标注图序列，所述至少一个待标注图序列中的各待标注图序列分别包括多帧待标注图像，所述多帧待标注图像基于图像采集时间或者图像采集传感器所在移动设备的行驶轨迹排序；标注模块，用于对所述三维点云进行静态要素标注，得到至少一个静态要素的标注信息；投影模块，用于将所述至少一个静态要素的标注信息投影至所述至少一个待标注图序列，得到具有静态要素标注信息的至少一个已标注图序列。
本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开任一实施例所述的图像标注方法。
本公开实施例的再一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开任一实施例所述的图像标注方法。
基于本公开实施例，通过获取目标场景的三维点云，对该目标场景的三维点云进行静态要素标注，得到至少一个静态要素的标注信息，之后，将该至少一个静态要素的标注信息投影到该目标场景对应的至少一个待标注图序列中，由此实现了对目标场景对应的至少一个待标注图序列的静态要素标注，得到具有静态要素标注信息的至少一个已标注图序列。基于本公开实施例，可以一次性实现对目标场景对应的至少一个待标注图序列中所有图像的静态要素标注，相对于针对该目标场景对应的不同朝向的图像逐一进行标注，能够有效提高图像标注效率，并且，可以避免针对该目标场景对应的不同朝向的图像中同一静态要素的标注不同而导致要素错位，能够有效提高图像标注质量，将已标注图序列用于训练BEV感知模型时，能够有效提高训练得到的BEV感知模型的性能。
附图说明
图1示出了本公开实施例的一个应用场景示意图。
图2是本公开一示例性实施例提供的图像标注方法的流程示意图。
图3是本公开实施例中获得至少一个待标注图序列的一示例性流程示意图。
图4是本公开实施例中获得至少一个待标注图序列的另一示例性流程示意图。
图5是本公开另一示例性实施例提供的图像标注方法的流程示意图。
图6是本公开实施例中三维点云和静态要素的第一标注信息的一个示例性示意图。
图7是本公开一示例性实施例提供的步骤S221的流程示意图。
图8是本公开实施例提供的获得目标静态要素的其余要素的一示例性流程示意图。
图9是本公开一示例性实施例提供的步骤S230的流程示意图。
图10是本公开一示例性实施例提供的步骤S231的流程示意图。
图11是本公开一示例性实施例提供的步骤S232的流程示意图。
图12是本公开又一示例性实施例提供的图像标注方法的流程示意图。
图13是本公开再一示例性实施例提供的图像标注方法的流程示意图。
图14是本公开实施例的图像标注方法的一个应用实例的示意图。
图15是本公开实施例的图像标注方法的另一个应用实例的流程图。
图16是本公开实施例中一已标注图像和标注了静态要素的第二标注信息的三维点云的一个示例性示意图。
图17是本公开实施例一示例性实施例提供的图像标注装置的结构示意图。
图18是本公开实施例另一示例性实施例提供的图像标注装置的结构示意图。
图19是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
申请概述
训练BEV感知模型过程中需要使用的大量训练数据，通常是通过人工对不同朝向的视觉传感器采集得到的图像的逐一进行标注，且存在对不同朝向视觉传感器采集的图像中同一静态要素的重复标注，标注效率低；另外，对不同朝向的视觉传感器采集得到的图像分别标注，也可能导致对不同朝向视觉传感器采集的图像中同一要素的标注不同而导致要素错位，由此导致标注质量较差，将标注图像用于训练BEV感知模型时，会影响BEV感知模型的训练效果。
因此，如何提高图像的标注效率和标注质量是一个亟待解决的问题。
示例性系统
本公开实施例可应用于BEV感知模型训练，具体的，可应用于生成BEV感知模型训练所需要的训练样本。具体来说，在训练用于进行静态要素检测的待训练BEV感知模型时，可以先通过本公开实施例对不同朝向的图像采集传感器(也称为：视觉传感器)采集的至少一个待标注图像序列进行静态要素的标注，采用标注得到的已标注图序列作为训练样本，对待训练BEV感知模型进行训练，直至满足预设训练完成条件，得到BEV感知模型。
图1示出了本公开实施例的一个应用场景示意图。如图1所示，移动设备1上(例如，车辆)上设置有不同朝向的多个图像采集传感器2(例如，相机)，还设置有激光雷达3，移动设备1以一定的行驶速度通过目标场景4。在移动设备1的行驶过程中，移动设备1上的各图像采集传感器2分别以一定的频率对目标场景4进行图像采集，得到一个待标注图序列，则多个图像采集传感器2得到多个待标注图序列。其中，每个待标注图序列包括多帧待标注图像，每个待标注图序列中的多帧待标注图像按照图像采集时间或者移动设备1的行驶轨迹排序。在移动设备1的行驶过程中，激光雷达3也可以按照一定的频率采集目标场景4的点云数据，得到点云数据集。基于上述多个待标注图序列和/或点云数据集进行三维场景重建，得到目标场景4的三维(3D)点云。之后，通过本公开实施例对该三维点云进行静态要素标注，得到三维点云中各静态要素(例如路面标识、路沿、交通标牌、交通信号、建筑物等)的标注信息。进而，将该三维点云中各静态要素的标注信息投影至上述多个待标注图序列中，得到多个具有静态要素标注信息的已标注图序列。
基于本公开实施例，可以一次性实现对目标场景对应的至少一个待标注图序列中所有图像的静态要素标注，相对于针对该目标场景对应的不同朝向的图像逐一进行标注，能够有效提高图像标注效率，并且，可以避免针对该目标场景对应的不同朝向的图像中同一静态要素的标注不同而导致要素错位，能够有效提高图像标注质量，将已标注图序列用于训练BEV感知模型时，能够有效提高训练得到的BEV感知模型的性能。
示例性方法
图2是本公开一示例性实施例提供的图像标注方法的流程示意图。本实施例可应用在本地终端设备、云端服务器等任意电子设备上，也可以分布式应用于终端设备和云端服务器上。如图2所示，该实施例的图像标注方法包括如下步骤：
步骤S210，获取目标场景对应的三维点云和至少一个待标注图序列。
其中，该至少一个待标注图序列中的各待标注图序列分别包括多帧待标注图像，各待标注图序列分别由移动设备上设置的一个图像采集传感器采集得到。每个待标注图序列中的多帧待标注图像，基于各自的图像采集时间或者该移动设备的行驶轨迹排序。
在一种实施方式中，可以在移动设备上设置不同朝向的图像采集传感器。移动设备在目标场景中按照一定的行驶轨迹行驶的过程中，移动设备上的每个图像采集传感器，分别针对目标场景采集得到视频流，或者，以一定频率对目标场景进行图像采集得到多帧图像。对于每个图像采集传感器采集到的目标场景的视频流中的各帧图像或者按照预设方式(例如隔帧抽取)从该视频流抽取的多帧图像，或者直接采集得到的多帧图像，按照图像采集时间或者移动设备的行驶轨迹进行排序，得到一个待标注图序列。其中的移动设备例如可以包括但不限于以下任意一项或多项：车辆、机器人、飞行器、轮船、火车等。图像采集传感器可以包括但不限于：单目相机、双目相机、深度相机等。
在一种实施方式中，可以利用设置在移动设备上的三维扫描设备，以一定采集频率对目标场景进行扫描，得到具有时序关系的多个点云数据，利用该多个点云数据进行三维场景重建，得到目标场景三维点云。或者，可以利用至少一个待标注图序列进行三维场景重建，得到目标场景的三维点云。其中，三维扫描设备例如可以包括但不限于激光雷达(LiDAR，LightLaser Detection and Ranging)、结构光传感器、TOF(Time of Flight，飞行测距)相机等。
步骤S220，对三维点云进行静态要素标注，得到至少一个静态要素的标注信息。
本公开实施例中的静态要素，例如可以包括但不限于以下任意一项或多项：路面标识，路沿，交通标牌，交通信号，建筑物，绿植等任意静态对象。其中的路面标识例如可以包括但不限于以下任意一项或多项：地面箭头，车道线，斑马线等。相对应的，车辆、行人、机器人、轮船、火车等处于运动状态的为动态要素。
在其中一些实施方式中，静态要素的标注信息例如可以包括以下一项或多项：静态要素的标识(ID)、矢量信息和属性标注信息。其中，静态要素的标识用于唯一标识一个静态要素。静态要素的矢量信息，包括用于确定该静态要素的位置和/或形状的数据。静态要素的属性标注信息，例如可以包括但不限于该静态要素所属的类型、以及该类型下的类别(也可以称为子类型)、该静态要素对应的标注图形和颜色等，这的标注图形，可以为与静态要素匹配的点、线、面、体等几何要素。例如，上述的静态要素所属的类型可以为箭头，该类型下的类别可以是左转弯箭头、直行箭头、右转弯箭头等。
在一种具体实现中，可以通过自动标注和/或人工标注的方式，对三维点云进行静态要素的标注。
步骤S230，将该至少一个静态要素的标注信息投影至上述至少一个待标注图序列，得到具有静态要素标注信息的至少一个已标注图序列。
其中，至少一个已标注图序列中的各已标注图序列分别包括多帧已标注图像，其中的每帧已标注图像中具有静态要素的标注信息。
在一种实施方式中，对于三维点云中的任一静态要素，可以通过坐标系转换的方式，将该任一静态要素在世界坐标系(或者车辆坐标系，即移动设备坐标系)中的位置坐标转换分别为各待标注图像序列对应的图像坐标系中的位置坐标，之后，基于该任一静态要素在图像坐标系中的位置坐标，确定该任一静态要素在待标注图序列中对应的像素(以下称为目标像素)，并将该任一静态要素的标注信息投影至该目标像素上，实现对各待标注图像序列中任一静态要素的标注。
本公开实施例中，通过获取目标场景的三维点云，对该目标场景的三维点云进行静态要素标注，得到至少一个静态要素的标注信息，之后，将该至少一个静态要素的标注信息投影到该目标场景对应的至少一个待标注图序列中，由此实现了对目标场景对应的至少一个待标注图序列的静态要素标注，得到具有静态要素标注信息的至少一个已标注图序列。基于本公开实施例，可以一次性实现对目标场景对应的至少一个待标注图序列中所有图像的静态要素标注，相对于针对该目标场景对应的不同朝向的图像逐一进行标注，能够有效提高图像标注效率，并且，可以避免针对该目标场景对应的不同朝向的图像中同一静态要素的标注不同而导致要素错位，能够有效提高图像标注质量，将已标注图序列用于训练BEV感知模型时，能够有效提高训练得到的BEV感知模型的性能。
在本公开实施例中，可以通过多种方式获取目标场景的三维点云。
例如，在第一种实施方式中，可以基于目标场景对应的至少一个待标注图序列进行三维场景重建，得到目标场景的三维点云，该三维点云中的各点具有相应的位置坐标。
在第一种实施方式中，作为一个具体实现，可以对于目标场景对应的各待标注图序列中的每帧待标注图像，获取每帧待标注图像中像素点的深度信息以及获取采集该帧待标注图像的图像采集传感器的内参信息；之后，利用上述的图像采集传感器的内参信息和上述深度信息，将该帧待标注图像中按照预设方式确定的各关键像素点的位置坐标由图像坐标系转换至世界坐标系(或车辆坐标系)，得到若干三维点，再利用上述若干三维点，通过SFM(Structure From Motion，增量式运动恢复结构)算法进行稀疏重建，并通过MVS(Multi-View Stereo，多目立体视觉)算法进行稠密重建，得到目标场景的三维点云。其中，当采集待标注图像的图像采集传感器不是深度相机时，可以利用预先训练的、用于确定深度信息的神经网络确定每帧待标注图像中像素点的深度信息，这里的神经网络可以为CNN(Convolutional Neural Networks，卷积神经网络)、DCNN(Deep Convolution NeuralNetwork，深度卷积神经网络)等，本公开实施例对此不做限制。
在本实施例中，利用多个待标注图序列进行三维场景重建来得到的三维点云，可以使多个待标注图序列中的待标注图像融合对齐，由此，不仅可以保证三维点云中的点与待标注图序列中的像素一一对应，提高后续三维点云中静态要素的标注信息向待标注图序列投影的准确性，而且还可以提高多个已标注图序列中静态要素的融合效果，进而提高了已标注图序列的标注质量。
在第二种实施方式中，可以在移动设备的行驶过程中，通过移动设备上的三维扫描设备(如，激光雷达)，按照一定频率对目标场景进行扫描，每次扫描得到的一组点云数据可以携带有本次扫描时间，将多次扫描得到的多组点云数据按照扫描时间或者移动设备的形式轨迹排序，得到目标场景的点云数据集。
可以选择性的对点云数据集中的各点云数据进行去噪和修复等预处理，得到目标点云数据集，之后结合ICP(Iterative Closest Point，迭代最近点)算法、SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)算法等，基于目标点云数据集进行三维场景重建，得到目标场景的三维点云，该三维点云中的各点具有相应的位置坐标。
图3是本公开实施例中获得至少一个待标注图序列的一示例性流程示意图。如图3所示，可以通过如下方式，获得上述至少一个待标注图序列：
步骤S310，通过移动设备上的多个不同预设朝向的图像采集传感器，在同一时段内分别针对目标场景进行图像采集，得到多个视频流。
其中，该多个视频流中的各视频流均包括多帧图像。预设朝向可以根据实际需求设置，例如可以包括但不限于以下任意一个或多个朝向：前视朝向、左前视朝向、左后视朝向、右前视朝向、右后视朝向、后视朝向等。可以通过前视图像采集传感器、左前视图像采集传感器、左后视图像采集传感器、右前视图像采集传感器、右后视图像采集传感器、后视图像采集传感器，在同一时段，分别对目标场景进行采集，得到目标场景的6个朝向的视频流。
步骤S320，基于多个视频流，得到至少一个待标注图序列。
其中，该至少一个待标注图序列中的各待标注图序列分别包括多帧具有时序关系的待标注图像。
在一种具体实现中，可以直接以每个视频流包括的多帧图像作为对应的一个待标注图序列。
或者，在另一种具体实现中，还可以分别针对每个视频流，按照预设时间间隔或者帧间隔(例如每隔k帧选取一帧，k为大于0的整数)，在该视频流中选取多帧图像作为待标注图像，并按照时间顺序对该多帧待标注图像进行排序，得到该视频线对应的一个待标注图序列。
可选地，得到至少一个待标注图序列之后，还可以利用插值等方法对各待标注图序列中的待标注图像进行时间对齐，以及对各待标注图像进行去噪、锐化、剪裁等，以提高待标注图像的图像质量。
本公开实施例中，通过移动设备上的多个不同预设朝向的图像采集传感器对目标场景进行采集，得到多个视频流，之后基于多个视频流得到目标场景对应的多个待标注图序列，由此提高了目标场景对应的多个待标注图序列的获取效率。
图4是本公开实施例中获得至少一个待标注图序列的另一示例性流程示意图。如图4所示，还可以通过如下方式，获得上述至少一个待标注图序列：
步骤S410，通过移动设备上的三维扫描设备，获取目标场景的点云数据集。
其中，可以在移动设备的预设位置至少一个三维扫描设备，对目标场景进行采集。至少一个预设位置例如可以包括但不限于：移动设备的顶部、前部、左侧、右侧等。在一种实施方式中，移动设备上的三维扫描设备可以按照预设采集频率对目标场景进行采集，得到目标场景的多个点云数据，将目标场景的多个点云数据按照时间顺序排列，得到点云数据集。
步骤S420，将目标场景的点云数据中各点云数据分别转换为图像，得到多个鸟瞰图像。
其中，鸟瞰图像是根据透视原理，用高视点透视法从高处某一点俯视地面起伏绘制成的立体图，即为在空中俯视某一地区所看到的图像，比平面图更有真实感。
对于点云数据集中的每个点云数据，可以利用预选训练的用于将点云转换为鸟瞰图的第三神经网络，将该点云数据转换为鸟瞰图。或者，可以通过坐标系转换方式，将该点云数据转换为鸟瞰图。例如，可以将鸟瞰图像对应的坐标系中的X标轴设置为与点云数据中的雷达坐标系的Y相反，将鸟瞰图像对应的坐标系中的Y轴设置为与点云数据中的雷达坐标系的X相反，之后对点云数据进行坐标系转换，得到该点云数据对应的鸟瞰图。其中，第三神经网络可以为CNN，DCNN等。
对点云数据集中的各点云数据进行上述转换，得到目标场景对应的多个图像。
步骤S430，基于多个鸟瞰图像，构建得到至少一个待标注图序列。
其中，可以将多个鸟瞰图像按照时间顺序排列，得到至少一个待标注图序列。
本公开实施例中，通过对目标场景的点云数据转换得到目标场景的多个鸟瞰图像，并由该多个鸟瞰图像组成待标注图序列。由此不仅拓宽了获得目标场景待标注图序列的方式，而且由于目标场景的点云数据还可以用于目标场景的三维点云的构建，因此也节约了图像标注成本。
图5是本公开另一示例性实施例提供的图像标注方法的流程示意图。如图5所示，在一个可选的实施例中，步骤S220包括如下步骤：
步骤S221，利用预先训练获得的第一感知模型，对目标场景的三维点云进行语义分割和静态要素提取，得到至少一个静态要素的第一标注信息。
本公开实施例中，各静态要素的第一标注信息可以包括：该静态要素的语义分割结果和在三维点云中的位置信息。该静态要素在三维点云中的位置信息可以包括三维点云中属于该静态要素的点在三维点云中的位置信息。
其中，第一感知模型可以设置在本地服务器，也可以设置在云端。在一种实施方式中，第一感知模型可以先对三维点云进行基于预设静态要素的特征提取，并基于提取到的特征数据，进行语义分割，得到各静态要素的语义分割结果。每个静态要素的语义分割结果可以包括三维点云中属于该静态要素的点(具有位置坐标)、该静态要素的类别标识(ID)。各静态要素的类别标识用于标识该属于该类别的静态要素，可以预先设置。例如，可以设置车道线的类别标识为白色等。在一个具体实现中，第一感知模型可以通过一个特征提取网络和语义分割网络实现，其中的特征提取例如可以包括但不限于CNN、DCNN等，语义分割网络例如可以包括但不限于FCN(Fully Convolutional Networks，全卷积网络)、SegNet网络等。
本公开实施例中，第一感知模型可以利用大量标注了静态要素的语义分割结果的三维点云训练得到。
可选地，得到各静态要素的语义分割结果之后，还可以分别基于各静态要素的语义分割结果对属于各静态要素的点进行矢量化处理，得到各静态要素的矢量化信息，此时，各静态要素的第一标注信息中，该静态要素在三维点云中的位置信息可以包括该静态要素在三维点云中的矢量化信息。
本公开实施例中，目标场景的三维点云和各静态要素的第一标注信息形成了目标场景的点云地图。
步骤S222，通过可视化交互界面，显示目标场景的三维点云和上述至少一个静态要素的第一标注信息。
在一种实施方式中，可以对目标场景的三维点云和至少一个静态要素的标注信息进行可视化处理，以使目标场景的三维点云和至少一个静态要素的标注信息可以在可视化交互界面上显示。示例性的，可以通过PCL(Point Cloud Library，点云库)中的可视化模块、Cloud Compare(点云配准)可视化软件对目标场景的三维点云和至少一个静态要素的第一标注信息进行可视化处理。
上述的可视化交互界面可用于显示目标场景的三维点云和各静态要素的第一标注信息，并可用于根据用户的操作指令对显示的三维点云和各静态要素的第一标注信息进行编辑。其中，可视化交互界面可以通过显示器(例如，液晶显示器、等离子显示器)进行数据显示，可以通过键盘、鼠标、触摸屏等接收用户的操作指令。
示例性的，图6是本公开实施例中三维点云和静态要素的第一标注信息的一个示例性示意图。如图6所述，A指示的是属于静态要素的路面箭头的第一标注信息，B指示的是属于静态要素的车道线的第一标注信息，C指示的是属于静态要素的道路的第一标注信息。
步骤S223，通过可视化交互界面，接收在目标场景的三维点云中针对目标静态要素的标注指令。
其中，目标静态要素为至少一个静态要素的中的一个静态要素，是当前将基于标注指令进行标注的静态要素。在具体实现中，用户可以基于可视化交互界面中静态要素的第一标注信息，选取一个静态要素作为目标静态要素。
步骤S224，基于目标静态要素的第一标注信息和标注指令，在三维点云中对目标静态要素进行标注，得到该目标静态要素的第二标注信息。
其中，第二标注信息包括：属性标注信息。该属性标注信息，例如可以包括但不限于该静态要素所属的类型、以及该类型下的类别(也可以称为子类型)、该静态要素对应的标注图形和颜色等，这的标注图形，可以为与静态要素匹配的点、线、面、体等几何要素。
在一种实施方式中，根据各静态要素的第一标注信息和标注指令指示要标注的目标静态要素，对三维点云中的目标静态要素进行属性标注信息的标注，得到该目标静态要素的第二标注信息。
相应地，在该实施例的步骤S230中，可以将三维点云中该目标静态要素的第二标注信息投影至上述至少一个待标注图序列，得到至少一个已标注图序列。在具体实现中，可以根据该目标静态要素在三维点云中的位置信息，通过坐标系转换的方式，确定该目标静态要素在待标注图像中对应的像素，之后将三维点云中该目标静态要素的第二标注信息投影到与其在待标注图像中对应的像素上，以完成对待标注图像上该目标静态要素的标注。
在具体实现中，可以依次从上述至少一个静态要素中选取一个静态要素作为目标静态要素，执行上述操作，从而实现对待标注图像的标注。
本公开实施例中，通过第一感知模型对三维点云中的静态要素进行语义分割和静态要素提取，得到静态要素的第一标注信息，实现了对静态要素的自动标注，再基于第一标注信息对静态要素进行属性标注信息的标注，由此实现了对静态要素高效、精确、全面的标注。另外，通过对三维点云和第一标注信息进行可视化处理，有助于用户直观的基于第一标注信息对静态要素进行属性标注信息的标注并确定标注结果的准确性，有助于提高标注效率和标注准确性。
图7是本公开一示例性实施例提供的步骤S221的流程示意图。如图7所示，在一个可选的实施例中，步骤S221包括如下步骤：
步骤S2211，将三维点云分割成多个点云块。
在一种实施方式中，可以根据预设分割规则，将三维点云分割成多个云分块。示例性的，预设规则可以包括预设尺寸信息，该预设尺寸信息可包括要分割得到的点云分块的宽和高。如，可以将三维点云分割成多个预设尺寸信息为300×300的点云块。
步骤S2212，利用第一感知模型，分别对多个点云块中的各点云块进行语义分割和静态要素提取，得到各点云块的静态要素标注信息。
在一种实施方式中，对于各点云块中的任一点云块，利用第一感知模型对该任一三维点云块进行语义分割和静态要素提取，得到该任一点云块的静态要素标注信息。该静态要素标注信息包括：静态要素的语义分割结果和在三维点云中的位置信息。
步骤S2213，将多个点云块的静态要素标注信息进行聚合，得到至少一个静态要素的第一标注信息。
其中，可以根据各点云块中的静态要素的语义分割结果和在三维点云中的位置信息，分别对各点云块中属于同一静态要素的点进行聚合以得到整体的静态要素，得到至少一个静态要素的第一标注信息。
本公开实施例中，先将目标场景的三维点云分割成多个点云块，而后利用第一感知模型对各点云块进行语义分割和静态要素提取，以得到各点云块的静态要素标注信息，由此降低了第一感知模型单次处理数据的难度和数据量，有助于提高标注效率和标注结果的准确性。
在一个可选的实施例中，本公开实施例中的步骤S223可以包括：通过可视化交互界面，接收用户在三维点云中对目标静态要素的选取信息和属性设置信息后发送的标注指令。其中，该标注指令包括：目标静态要素的选取信息和属性设置信息。
在一种实施方式中，用户可以通过可视化交互界面上显示的目标静态要素的第一标注信息，从三维点云中选取目标静态，从而发送该目标静态要素的选取信息。可以预先设置预设属性选项，该预设属性选项例如包括但不限于：多个预设静态要素类型，每个预设静态要素类型下的预设类别。用户可以从预设属性选项中选取目标静态要素对应的预设类别/预设静态要素类型作为目标静态要素的属性设置信息。例如，上述的预设静态要素类型可以为箭头，该预设静态要素类型下的预设类别可以是左转弯箭头、直行箭头、右转弯箭头等。
相应地，在该实施例中，步骤S224可以包括：基于目标静态要素的第一标注信息和该目标静态要素的选取信息，在三维点云中确定该目标静态要素，并基于标注指令中该目标静态要素的属性设置信息，对该目标静态要素进行属性标注。
本实施例中，可以通过可视化交互界面接收标注指令，通过标注指令中该目标静态要素的选取信息和属性设置信息，选取三维点云中的目标静态要素并进行属性标注信息的标注，由此实现了对三维点云中目标静态要素的属性标注信息的标注，通过可视化标注可以提高对静态要素的标注准确性和标注效率。
在一个可选的实施例中，本公开实施例中目标静态要素的选取信息，可以由用户利用与该目标静态要素匹配的几何元素选取该目标静态要素后发送。上述的几何要素例如可以包括但不限于以下任意一项：点，线，面，体，等；其中的面、体可以为任意形状或预设形状的面、体，例如，面可以为圆形平面、方形平面、曲面等，体可以为立方体、圆柱体、锥体等。此时，该目标静态要素的选取信息可以包括用于选取该目标静态要素的目标几何元素的几何信息。该几何信息可以包括该目标几何元素的形状信息和在三维点云中确定该目标几何元素的位置坐标(例如，对于方形平面来说可以为两个对角点的坐标值等)。其中的目标几何元素即具体选取该目标静态要素的几何元素。
其中，目标静态要素与几何元素的匹配原则可以根据实际需求设定。例如，可以设置：车道线作为静态要素匹配的几何元素为线条，路面箭头作为静态要素匹配的几何元素为长方行平面，等。
在一种实施方式中，可以预先设置几何要素选项，用户可以从该几何要素选项中选取相应的几何元素，之后利用选取的几何元素选取目标静态要素后确定，由此发送该目标静态要素的选取信息。
相应地，在该实施例中，步骤S224中，可以基于目标静态要素的第一标注信息和目标几何元素的几何信息(即目标几何元素的形状信息和在三维点云中确定该目标几何元素的位置坐标)，在三维点云中确定目标几何元素对应的目标静态要素。
在本实施例中，用户可以通过可视化交互界面，利用几何要素对目标静态要素进行选取，由此实现了对目标静态要素的直观、高效、准确选取，有助于提高静态要素的选取效率和准确性。
在一个可选的实施例中，用户在三维点云中对目标静态要素的选取信息，可以包括用户在三维点云中对该目标静态元素的绘制信息。其中，用户可以直接利用几何元素在三维点云上对目标静态元素进行绘制，得到绘制信息。
例如，用户可以基于可视化交互界面中车道线(对应静态要素)的第一标注信息，利用线条沿该车道线在三维点云中的延伸方向对该车道线进行绘制，由该车道线的起始位置绘制到终点位置，得到该车道线的绘制信息。
本实施例中，用户可以通过可视化交互界面，直接在三维点云中绘制目标静态元素，基于用户输入的绘制信息可以实现对三维点云中目标静态要素的选取。
或者，在另一个可选的实施例中，在步骤S223中，可以接收用户在三维点云上选取属于目标静态要素的部分要素后发送的选取信息。
也就是说，用户可以在可视化交互界面上，利用几何元素在三维点云上选取仅属于该目标静态要素的部分要素，例如对于一条车道线，仅选取或绘制该车道线的一小段，确认后发送选取信息。该部分要素可以是目标静态在三维点云中的起始位置对应的要素。示例性的，用户可以利用几何元素，对目标静态要素在三维点云中的起始位置对应的要素上进行绘制、或者在三维点云中选取目标静态要素的起始位置对应的要素，来发送选取信息。
相应地，在该实施例中，在步骤S224中，可以基于预设跟踪配置信息、目标静态要素的第一标注信息和选取信息，确定三维点云中属于该目标静态要素的其余要素。
其中，预设跟踪配置信息可以包括：跟踪步距。在具体实现中，可以根据目标静态要素的第一标注信息中的位置信息，在三维点云中确定与上述选取信息对应的部分要素，以该部分要素作为跟踪的起点，根据第一标注信息中的语义分割结果确定该目标静态要素的延伸方向，基于预设跟踪配置信息中的跟踪步距，在三维点云中的上述延伸方向跟踪确定出属于该目标静态要素的其余要素，由该其余要素和该部分要素形成三维点云中的目标静态要素。
本实施例中，只需要用户通过可视化交互界面选取目标静态要素的部分要素，便可以基于预设跟踪配置信息、目标静态要素的第一标注信息和选取信息，自动在三维点云中跟踪确定出属于该目标静态要素的其余要素，无需用户绘制出完整的目标静态要素，由此减少了人工操作，不仅提高了用户体验，而且提高了在三维点云中确定目标静态要素的效率，进而提高了目标静态要素的标注效率。
图8是本公开实施例提供的获得目标静态要素的其余要素的一示例性流程示意图。
如图8所示，可以包括如下步骤：
步骤S2241，基于预设跟踪配置信息、目标静态要素的第一标注信息和选取信息，确定三维点云中用于跟踪该目标静态要素的一个点云区域，作为当前点云区域。
其中，预设跟踪配置信息还可以包括：点云区域形状和大小信息。在一种实施方式中，可以根据点云区域形状和面积信息，确定当前点云区域的形状和面积，之后根据目标静态要素的第一标注信息中的位置信息，确定选取信息所选取的部分要素在三维点云中对应的目标部分静态要素，之后，可以在该当前点云区域中，从该目标部分静态要素处开始跟踪扫描属于目标静态要素的点。
步骤S2242，确定当前点云区域中属于目标静态要素的部分要素。
在一种实施方式中，可以根据目标静态要素的第一标注信息中的语义分割结果，确定当前点云区域中与上一点云区域中跟踪出的部分要素的语义分割结果相同的点，确定为属于该目标静态要素的点，由当前点云区域中属于该目标静态要素的点形成属于该目标静态要素的部分要素。
步骤S2243，基于预设跟踪配置信息、目标静态要素的第一标注信息和当前点云区域中属于目标静态要素的部分要素，确定三维点云中用于跟踪该目标静态要素的下一个点云区域，作为当前点云区域。
在一种实施方式，根据预设跟踪配置信息中的点云区域的形状和大小信息，确定下一个点云区域的形状和大小，具体来说，可以在三维点云中，沿着跟踪方向基于跟踪步长和预设跟踪配置信息确定出下一个点云区域。例如，可以根据在三维点云上绘制部分要素时的绘制方向和绘制边界，确定追踪方向，使下一个点云区域沿追踪方向进行追踪。
步骤S2244，迭代步骤2242的操作，直至未确定出当前点云区域中属于该目标静态要素的部分要素，表示已确定出属于该目标静态要素的全部。
之后执行步骤S2245。
步骤S2245，对三维点云中属于该目标静态要素的部分要素进行拟合和矢量化处理，得到目标静态要素。
在一种实施方式中，对三维点云中属于目标静态要素的部分要素，即对目标部分静态要素和属于目标静态要素的其余要素，基于预设拟合方法进行拟合(例如，法向拟合)，得到拟合结果，之后对拟合结果进行矢量化处理，得到目标静态要素。该目标静态要素携带有矢量信息。其中的矢量信息是用于确定该目标静态要素的形状和位置的特征点的位置信息。本实施例中，利用预设跟踪配置信息、目标静态要素的第一标注信息和选取信息，实现了对三维点云中属于该目标静态要素的部分要素的迭代跟踪，直至确定出属于该目标静态要素的全部要素，之后对三维点云中属于该目标静态要素的所有部分要素进行拟合和矢量化处理，得到完整的目标静态要素，由此，实现了对三维点云中目标静态要素的精准追踪精确定位。
图9是本公开一示例性实施例提供的步骤S230的流程示意图。如图9所示，在一个可选的实施例中，步骤S230包括如下步骤：
步骤S231，确定上述至少一个待标注图序列中分别与三维点云中的目标静态要素对应的待标注图像。
其中，三维点云中的目标静态要素对应的待标注图像，即包括该目标静态要素的待标注图像中。例如，三维点云中的左车道线作为目标静态要素时，上述至少一个待标注图序列包括左车道线的待标注图像即为与三维点云中的左车道线对应的待标注图像。
在一种实施方式中，可以利用预先训练的用于检测静态要素的神经网络，分别对各待标注图序列中的各待标注图像进行静态要素检测，根据检测结果确定包括目标静态要素的待标注图像。这里，用于检测静态要素的神经网络例如可以包括但不限于：CNN、DCNN等。
步骤S232，将三维点云中目标静态要素的第二标注信息投影至对应的待标注图像中。
其中，可以通过坐标系转换的方式，将三维点云中目标静态要素的第二标注信息投影至对应的待标注图像中。
本实施例中，可以将三维点云中目标静态要素的第二标注信息投影至对应的待标注图像中，从而实现对上述至少一个待标注图序列的目标静态要素的标注。
图10是本公开一示例性实施例提供的步骤S231的流程示意图。如图10所示，在一个可选的实施例中，步骤S231可以包括如下步骤：
步骤S2311，获取三维点云中的目标静态要素在预设坐标系中的位置。
其中，该预设坐标系可以根据实际需求设置，例如可以是三维点云对应的雷达坐标系，还可以是车辆坐标系或者世界坐标系等。
在一种实施方式中，三维点云中的各点具有在预设坐标系中的位置。在采集用于重建得到三维点云的点云数据时，可以确定三维点云中的各点的位置。
步骤S2312，获取至少一个待标注图序列中的各待标注图像在上述预设坐标系中的位置。
其中，在采集至少一个待标注图序列中的各待标注图像时，可以同时利用定位装置，例如GPS(Global Positioning System，全球定位系统)，同步获取各待标注图像对应的采集地点在预设坐标系中的位置信息，并根据获取到的位置信息确定相应待标注图像的位置。
示例性的，可以在移动设备上设置多个图像采集传感器和至少一个定位装置。对于多个图像采集传感器中的各图像采集传感器，该图像采集传感器按照一定频率采集待标注图像，同时定位装置也同步按照一定频率确定当前检测到的位置信息，并按照时间顺序或采集顺序，将每个待标注图像与一个位置信息关联，从而得到各待标注图像在预设坐标系中的位置。
步骤S2313，根据三维点云中的目标静态要素在预设坐标系中的位置和各待标注图像在预设坐标系中的位置，确定三维点云中的目标静态要素对应的待标注图像。
在一种实施方式中，可以预先设置预设阈值，将目标静态要素的位置与各待标注图像中的位置比较，将二者之间差值小于或等于预设阈值的待标注图像，确定为目标静态要素对应的待标注图像。
本实施例中，可以通过目标静态要素在预设坐标系中的位置和各待标注图像在预设坐标系中的位置，快速定位目标静态要素对应的待标注图像，以便提高整体的标注效率。
图11是本公开一示例性实施例提供的步骤S232的流程示意图。如图11所示，在一个可选的实施例中，步骤S232可以包括如下步骤：
步骤S2321，获取各待标注图序列对应的各图像采集传感器的内参信息和外参信息。
其中，对于各待标注图序列，获取采集该待标注图序列的图像采集传感器的内参(Camera Intrinsics)信息和外参(Camera Extrinsics)信息，其中，该内参信息包括：水平焦距、垂直焦距、水平成像平面光心在像素坐标系中的位置和垂直成像平面光心在像素坐标系中的位置等，该外参信息包括：旋转矩阵和平移矩阵。
步骤S2322，分别根据各图像采集传感器的内参信息和外参信息、以及目标静态要素在预设坐标系中的位置，将目标静态要素的第二标注信息投影至对应的待标注图像中。
其中，可以将目标静态要素在预设坐标系中的位置转换至各对应的待标注图像对应的图像坐标系中，得到目标静态要素在该图像坐标系中的位置坐标，然后基于目标静态要素在该图像坐标系中的位置坐标，对应的待标注图像中确定相对应的像素作为目标像素，并将该目标静态要素的第二标注信息投影至目标像素上，即对目标像素标注该目标静态要素的第二标注信息。
在一种实施方式中，预设坐标系可以为世界坐标系。可以通过如下方式将目标静态要素在预设坐标系中的位置转换至像素坐标系中，以得到目标静态要素在像素坐标系中的坐标，该方式具体包括：
可以根据如下所示的公式(1)-(3)，确定目标静态要素在像素坐标系中的坐标。具体的，可以选取目标静态要素中任一点作为关键点代表目标静态要素，例如，可以选取目标静态要素的顶点作为该目标静态要素的关键点。以下以目标静态要素A为例进行说明，将采集与目标静态要素A对应的待标注图像的图像采集传感器称为目标图像采集传感器，P0(x0,y0,z0)是目标静态要素A在世界坐标系中的坐标(对应目标静态要素在预设坐标系中的位置)。
先通过式(1)将P0(x0,y0,z0)转换至相机坐标系，得到目标静态要素A在相机坐标系中的坐标P1(x1,y1,z1)；之后通过式(2)将P1(x1,y1,z1)转换至图像坐标系，得到目标静态要素A在图像坐标中的坐标P2(ux,uy,uz)；然后通过式(3)将P2(ux,uy,uz)转换至像素坐标系，得到目标静态要素A在像素坐标系的坐标P3(dx,dy)。
P3＝[dx，dy]＝[ux，uy，uz]/uz＝P0×T (3)
其中，R为大小是3×3的目标图像采集传感器的旋转矩阵，T为大小是3×1的目标图像采集传感器的平移矩阵，R和T构建了的目标图像采集传感器的外参矩阵fx为目标图像采集传感器的水平焦距，fy为目标图像采集传感器的垂直焦距，cx为目标图像采集传感器的水平成像平面光心位置，cy为图像采集传感器的垂直成像平面光心位置；/>为目标图像采集传感器的内参矩阵。
本实施例中，通过目标静态要素在预设坐标系中的位置、图像采集传感器的内参信息和外参信息，将目标静态要素的第二标注信息投影到对应的待标注图像中，以完成对待标注图像的标注。由此，实现了对待标注图像的高效准确标注。
图12是本公开又一示例性实施例提供的图像标注方法的流程示意图。如图12所示，在一个可选的实施例中，图像标注方法还包括如下步骤：
步骤S510，通过可视化交互界面，显示三维点云、上述至少一个静态要素的第一标注信息和目标静态要素的第二标注信息。
其中，对三维点云、至少一个静态要素的第一标注信息和目标静态要素的第二标注信息进行可视化处理，得到可视化处理结果，并显示该可视化处理结果，以实现对三维点云、至少一个静态要素的第一标注信息和目标静态要素的第二标注信息的实时显示。
步骤S520，响应于接收到用户通过可视化交互界面发送的标注修改指令，该标注修改指令用于对三维点云中目标静态要素的第二标注信息进行修改。
在一种实施方式中，标注修改指令可以包括对静态要素的位置的修改信息、对属性标注信息的修改信息等。用户通过可视化交互界面显示三维点云、至少一个静态要素的第一标注信息和目标静态要素的第二标注信息，确认目标静态要素的第二标注信息是否出现标注错误，当出现标注错误时，可以发送用于修改目标静态要素的第二标注信息的标注修改指令。
步骤S530，基于上述至少一个静态要素的第一标注信息和标注修改指令，在三维点云中对目标静态要素的第二标注信息进行修改，并将目标静态要素的第二标注信息的修改结果投影至上述至少一个待标注图序列。
其中，根据上述至少一个静态要素的第一标注信息和标注修改指令，在三维点云中对目标静态要素的第二标注信息进行修改，得到第二标注信息的修改结果，之后，可以将目标静态要素的第二标注信息的修改结果即时投影到该目标静态要素对应的待标注图像中，以便用户确认修改后的第二标注信息是否准确。
本实施例中，可以通过可视化交互界面，显示三维点云、至少一个静态要素的第一标注信息和目标静态要素的第二标注信息，以便用户确认目标静态要素的第二标注信息是否存在标注错误，并在存在标注错误时，对第二标注信息进行修改，并将第二标注信息的修改结果即时投影对应的待标注图序列中。由此，实现了对目标静态要素的第二标注信息的即时可视化显示和更正，有助于提高标注结果的准确率。
图13是本公开再一示例性实施例提供的图像标注方法的流程示意图。如图13所示，通过本公开任一实施例得到具有静态要素标注信息的至少一个已标注图序列之后，还可以包括如下步骤：
步骤S610，通过可视化交互界面，接收用户发送的回放指令。
该回放指令用于对至少一个已标注图序列和对应的三维点云(即携带有第一标注信息，也称为点云地图)按照一定的播放顺序(例如按照时间正序或反序、按照移动设备的行驶轨迹正向或反向等等)进行播放。
步骤S620，基于回放指令，对上述至少一个已标注图序列和三维点云进行回放。
其中，可以通过可视化交互界面，对三维点云和对应的至少一个已标注图序列进行同步播放。
步骤S630，响应于接收到用户通过可视化交互界面发送的标注修改指令。
其中，该标注修改指令用于对三维点云中指定静态要素的第二标注信息进行修改。
在一种实施方式中，用户可以在可视化交互界面播放上述三维点云和对应的至少一个已标注图序列中各已标注图像和的过程中，确认已标注图像中的静态要素的第二标注信息是否存在错误的情况，例如，可以利用投影差、像素差等方式，定量的确定已标注图像中的静态要素的第二标注信息是否存在错误，或者，也可以通过人工查看已标注图像中的静态要素的第二标注信息是否存在错误。当确定存在错误的第二标注信息时，以第二标注信息错误的静态要素作为指定静态要素，发送用于修改该指定静态要素的第二标注信息的标注修改指令。
步骤S640，基于指定静态要素的第一标注信息和标注修改指令，在三维点云中对该指定静态要素的第二标注信息进行修改，并将该指定静态要素的第二标注信息的修改结果投影至上述至少一个待标注图序列。
具体来说，可以删除错误的第二标注信息，然后采用本公开上述任一实施例中对目标静态要素标注第二标注信息的方式，对该静态要素重新进行第二标注信息的标注。在修改过程中，可以通过可视化交互界面即时显示该指定静态要素的第二标注信息的标注过程和修改结果。
步骤S650，响应于接收到用户通过可视化交互界面发送的标注注释指令。
其中，标注注释指令用于对三维点云中指定静态要素的第二标注信息进行注释。当用户确定需要对静态要素的第二标注信息进行注释时，发送标注注释指令。对静态要素的第二标注信息的注释可以包括：对第二标注信息进行解释说明、补充等。例如，对静态要素的第二标注信息的注释可以包括：该第二标注信息的标注日期、修改信息等。
步骤S660，在三维点云中对指定静态要素的第二标注信息进行注释。
其中，在三维点云中对指定静态要素的第二标注信息进行注释，即注释出现错误的第二标注信息，以便后续对出现错误的第二标注信息进行统一修改。
需要说明的是，本公开实施例中步骤S640和步骤S650可以择一执行，也可以均执行。在执行步骤S640和步骤S650时，二者之间并无执行上的先后顺序。
本实施例中，通过在可视化交互界面对三维点云和对应的至少一个已标注图序列进行同步回放，可以确认已标注图中是否存在错误的第二标注信息，并在存在错误的第二标注信息时，可以即使修改、或者进行注释以便后续统一修改。
在一个可选的实施例中，基于本公开的上述实施例得到至少一个已标注图序列之后，还可以利用至少一个已标注图序列训练第二感知模型，第二感知模型训练完成后可以被部署至移动设备，用于基于移动设备上传感器采集的图像进行静态要素检测。
其中，上述的第二感知模型可以为待训练的神经网络。示例性的，该待训练的神经网络例如可以包括但不限于：CNN、DCNN、LSTM(Long Short-Term Memory、长短期记忆网络)、RNN(Recurrent Neural Network，循环神经网络)、GAN(Generative AdversarialNetwork，生成对抗网络)、GNN(Graph Neural Networks，图神经网络)、ResNet(残差网络)、DenseNet(深度网络)、EfficientNet(时效网络)等。
在一种实施方式，可以将至少一个已标注图序列中的各已标注图像依次输入第二感知模型，由第二感知模型输出各已标注图像分别对应的预测静态要素的预测信息。根据各已标注图像中静态要素的标注信息和预测信息，利用预设损失函数，确定损失值。可以通过调整第二感知模型的参数，使损失值减小，以使第二感知模型满足预设训练停止条件，从而得到训练好的第二感知模型。示例性的，可以通过参数优化器调整第二感知模型的参数，比如，利用参数优化器计算待第二感知模型的各参数的梯度，梯度表示损失值减小最多的方向，将各参数沿梯度方向进行调整，重复上述步骤，直至损失值不再下降，确定满足预设训练停止条件，得到训练好的第二感知模型。
其中，参数优化器例如可以包括但不限于：SGD(Stochastic Gradient Descent，随机梯度下降)，Adagrad(自适应梯度算法)，Adam(Adaptive Moment Estimation，自适应矩估计)，RMSprop(Root Mean Square Prop，均方根)，LBFGS(Limited-memory Broyden–Fletcher–Goldfarb–Shanno，有限内存中进行BFGS算法)等。预设损失函数可以为交叉熵误差函数、均方误差函数等。
在一个应用实例中，图14示出了本公开实施例中对图像序列进行标注、利用得到的已标注图序列训练第二感知模型的一个应用实例。图15示出了本公开实施例中的图像标注方法的一个应用实例流程图。
在本应用实例中，以移动设备以车辆为例，第一车辆上设置有6个预设朝向的相机(对应图像采集传感器)和一个激光雷达。其中，6个朝向分别可以包括：前视朝向、左前视朝向、左后视朝向、右前视朝向、右后视朝向、后视朝向。
具体的，如图14和图15所示，第一车辆在预设时间段内行驶过目标场景，并在行驶过程中，第一车辆上设置的6个预设朝向的相机对目标场景按照一定频率进行采集，得到6个视频流，基于该6个视频流，生成6个待标注图序列。并且，在车辆行驶过程中，第一车辆上设置的激光雷达也可以对目标场景进行采集，得到目标场景的点云数据集。
可以根据6个待标注图序列构建目标场景的三维点云。之后将三维点云发送至云端，通过云端中设置的第一感知模型对三维点云进行语义分割和静态要素提取，得到三维点云中各静态要素的第一标注信息。然后对三维点云和第一标注信息可视化处理，之后通过可视化交互界面，显示三维点云和三维点云中各静态要素的第一标注信息的可视化结果，如图6所示。
通过本公开上述任一实施例，在三维点云中确定目标静态要素，并对目标静态要素进行属性标注信息的标注，得到目标静态要素的第二标注信息。将目标静态要素的第二标注信息投影至6个待标注图序列中，得到6个已标注图序列。对已标注图序列和三维点云进行回放，确定已标注图像中是否存在需要对标注信息进行修改的静态要素，当存在，对该需要修改的静态要素在三维点云中的第二标注信息进行修改，当不存在，标注完成。
利用6个已标注图序列训练第二感知模型，然后将训练好的第二感知模型部署到第二车辆上。训练好的第二感知模型可以对第二车辆上的传感器采集的图像进行静态要素检测。另外，6个已标注图序列还可以用于训练第一感知模型。
其中，图16为可视化交互界面上显示的一个内容示例，在该可视化交互界面上，显示了三维点云、多条车道线(作为多个静态要素)的第一标注信息和第二标注信息。如图16所示，a部分为已标注静态要素的第二标注信息的三维点云(也可以称为点云地图)，b-g部分分别为显示的该三维点云对应各不同视角的已标注图像，b-g部分中的每个已标注图像均是将a部分中三维点云中的车道线的第二标注信息投影到b-g部得到的。具体的，b部分为左前视朝向对应的已标注图序列中一个已标注图像，c部分为右前视朝向对应的已标注图序列中的已标注图像，d部分为后视朝向对应的已标注图序列中的已标注图像，e部分为前视朝向对应的已标注图序列中的已标注图像，f部分为左后视朝向对应的已标注图序列中的已标注图像，g部分为右后视朝向对应的已标注图序列中的已标注图像。
示例性装置
图17是本公开一个实施例中图像标注装置的结构框图。如图17所示，图像标注装置包括：获取模块710、标注模块720和投影模块730。
获取模块710，用于获取目标场景对应的三维点云和至少一个待标注图序列，所述至少一个待标注图序列中的各待标注图序列分别包括多帧待标注图像，所述多帧待标注图像基于图像采集时间或者图像采集传感器所在移动设备的行驶轨迹排序；
标注模块720，用于对所述三维点云进行静态要素标注，得到至少一个静态要素的标注信息；
投影模块730，用于将所述至少一个静态要素的标注信息投影至所述至少一个待标注图序列，得到具有静态要素标注信息的至少一个已标注图序列。
在一些可选示例中，如图18所示，本公开的实施例提供的标注模块720包括：
分割提取子模块721，用于利用预先训练获得的第一感知模型，对所述三维点云进行语义分割和静态要素提取，得到至少一个静态要素的第一标注信息；
显示子模块722，用于通过可视化交互界面，显示所述三维点云和所述至少一个静态要素的第一标注信息；
指令接收子模块723，用于通过所述可视化交互界面，接收在所述三维点云中针对目标静态要素的标注指令，所述目标静态要素为所述至少一个静态要素的中的一个静态要素；
标注子模块724，用于基于所述第一标注信息和所述标注指令，在所述三维点云中对所述目标静态要素进行标注，得到所述目标静态要素的第二标注信息，所述第二标注信息包括：属性标注信息；
本公开的实施例提供的投影模块730还用于将所述第二标注信息投影至所述至少一个待标注图序列，得到所述至少一个已标注图序列。
在一些可选示例中，本公开上述实施例中的分割提取子模块721还用于将所述三维点云分割成多个点云块；利用所述第一感知模型，分别对所述多个点云块中的各点云块进行语义分割和静态要素提取，得到所述各点云块的静态要素标注信息；将所述多个点云块的静态要素标注信息进行聚合，得到所述至少一个静态要素的第一标注信息。
在一些可选示例中，本公开上述实施例中的指令接收子模块723还用于通过所述可视化交互界面，接收用户在所述三维点云中对所述目标静态要素的选取信息和属性设置信息后发送的标注指令，所述标注指令包括：所述目标静态要素的选取信息和属性设置信息；
在一些可选示例中，本公开上述实施例中的标注子模块724还用于基于所述第一标注信息和所述目标静态要素的选取信息，在所述三维点云中确定所述目标静态要素，并基于所述目标静态要素的属性设置信息对所述目标静态要素进行属性标注。
在一些可选示例中，本公开上述实施例中的所述目标静态要素的选取信息，由用户利用与所述目标静态要素匹配的几何元素选取所述目标静态要素后发送；所述几何要素包括以下任意一项：点，线，面，体；所述目标静态要素的选取信息包括用于选取所述目标静态要素的目标几何元素的几何信息；
本公开上述实施例中的标注子模块724还用于基于所述第一标注信息和所述目标几何元素的几何信息，在所述三维点云中确定所述目标几何元素对应的所述目标静态要素。
在一些可选示例中，本公开上述实施例中的所述用户在所述三维点云中对所述目标静态要素的选取信息，包括所述用户在所述三维点云中对所述目标静态元素的绘制信息。
在一些可选示例中，本公开上述实施例中的指令接收子模块723还用于接收用户在所述三维点云上选取属于所述目标静态要素的部分要素后发送的选取信息；
本公开上述实施例中的标注子模块724还用于基于预设跟踪配置信息、所述第一标注信息和所述选取信息，确定所述三维点云中属于所述目标静态要素的其余要素。
在一些可选示例中，本公开上述实施例中的标注子模块724基于所述预设跟踪配置信息、所述第一标注信息和所述选取信息，确定所述三维点云中用于跟踪所述目标静态要素的一个点云区域，作为当前点云区域；确定所述当前点云区域中属于所述目标静态要素的部分要素；基于所述预设跟踪配置信息、所述第一标注信息和所述当前点云区域中属于所述目标静态要素的部分要素，确定所述三维点云中用于跟踪所述目标静态要素的下一个点云区域，作为当前点云区域；迭代执行所述确定所述当前点云区域中属于所述目标静态要素的部分要素的操作，直至未确定出所述当前点云区域中属于所述目标静态要素的部分要素；对所述三维点云中属于所述目标静态要素的部分要素进行拟合和矢量化处理，得到所述目标静态要素。
在一些可选示例中，本公开上述实施例中的投影模块730包括：
确定子模块731，用于确定所述至少一个待标注图序列中与所述目标静态要素对应的待标注图像；
投影子模块732，用于将所述目标静态要素的第二标注信息投影至所述对应的待标注图像中。
在一些可选示例中，本公开上述实施例中的确定子模块731还用于获取所述目标静态要素在预设坐标系中的位置；获取所述至少一个待标注图序列中的各待标注图像在所述预设坐标系中的位置；根据所述目标静态要素在所述预设坐标系中的位置和所述各待标注图像在所述预设坐标系中的位置，确定所述至少一个待标注图序列中与所述目标静态要素对应的待标注图像。
在一些可选示例中，本公开上述实施例中的投影子模块732还用于获取所述各待标注图序列对应的各图像采集传感器的内参信息和外参信息；分别根据所述各图像采集传感器的内参信息和外参信息、以及所述目标静态要素在所述预设坐标系中的位置，将所述目标静态要素的第二标注信息投影至所述对应的待标注图像中。
在一些可选示例中，本公开上述实施例中的图像标注装置，还包括：
第一显示模块740，用于通过所述可视化交互界面，显示所述三维点云、所述至少一个静态要素的第一标注信息和所述目标静态要素的第二标注信息；
第一接收模块750，用于响应于接收到用户通过所述可视化交互界面发送的标注修改指令，所述标注修改指令用于对所述三维点云中所述目标静态要素的第二标注信息进行修改；
第一修改模块760，用于基于所述第一标注信息和所述标注修改指令，在所述三维点云中对所述目标静态要素的第二标注信息进行修改，并将所述目标静态要素的第二标注信息的修改结果投影至所述至少一个待标注图序列。
在一些可选示例中，本公开上述实施例中的图像标注装置，还包括：
第二接收模块770，用于通过所述可视化交互界面，接收用户发送的回放指令；
回放模块780，用于基于所述回放指令，对所述至少一个已标注图序列和所述三维点云进行回放；
第三接收模块790，用于响应于接收到用户通过所述可视化交互界面发送的标注修改指令，所述标注修改指令用于对所述三维点云中指定静态要素的第二标注信息进行修改；
第二修改模块800，用于基于所述第一标注信息和所述标注修改指令，在所述三维点云中对所述指定静态要素的第二标注信息进行修改，并将所述指定静态要素的第二标注信息的修改结果投影至所述至少一个待标注图序列；
第四接收模块810，用于响应于接收到用户通过所述可视化交互界面发送的标注注释指令，所述标注注释指令用于对所述三维点云中指定静态要素的第二标注信息进行注释；
注释模块820，用于在所述三维点云中对所述指定静态要素的第二标注信息进行注释。
在一些可选示例中，本公开上述实施例中的图像标注装置，还包括：
训练模块830，用于利用所述至少一个已标注图序列训练第二感知模型，所述第二感知模型训练完成后被部署至移动设备，以对所述移动设备上图像采集传感器采集的图像进行静态要素检测。
在本公开的图像标注装置中，上述公开的各种可选实施例、可选实施方式和可选示例，都可以根据需要进行灵活的选择和组合，从而实现相应的功能和效果，本公开不进行一一列举。
本公开的图像标注装置与本公开上述各图像标注方法的实施例之间相互对应，相关内容可以相互参考，此处不再赘述。
本图像标注装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，此处不再赘述。
示例性电子设备
图19为本公开实施例提供的一种电子设备的结构图，包括至少一个处理器910和存储器920。
处理器910可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器920可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器910可以运行一个或多个计算机程序指令，以实现上文中本公开的各个实施例的图像标注方法和/或其他期望的功能。
在一个示例中，电子设备还可以包括：输入装置930和输出装置940，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置930还可以包括例如键盘、鼠标等等。
该输出装置940可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图19中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的图像标注方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的图像标注方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本领域的技术人员可以对本公开进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (17)

1.一种图像标注方法，包括：
获取目标场景对应的三维点云和至少一个待标注图序列，所述至少一个待标注图序列中的各待标注图序列分别包括多帧待标注图像，所述多帧待标注图像基于图像采集时间或者图像采集传感器所在移动设备的行驶轨迹排序；
对所述三维点云进行静态要素标注，得到至少一个静态要素的标注信息；
将所述至少一个静态要素的标注信息投影至所述至少一个待标注图序列，得到具有静态要素标注信息的至少一个已标注图序列。
2.根据权利要求1所述的方法，其中，对所述三维点云进行静态要素标注，得到至少一个静态要素的标注信息，包括：
利用预先训练获得的第一感知模型，对所述三维点云进行语义分割和静态要素提取，得到至少一个静态要素的第一标注信息；
通过可视化交互界面，显示所述三维点云和所述至少一个静态要素的第一标注信息；
通过所述可视化交互界面，接收在所述三维点云中针对目标静态要素的标注指令，所述目标静态要素为所述至少一个静态要素的中的一个静态要素；
基于所述第一标注信息和所述标注指令，在所述三维点云中对所述目标静态要素进行标注，得到所述目标静态要素的第二标注信息，所述第二标注信息包括：属性标注信息；
将所述至少一个静态要素的标注信息投影至所述至少一个待标注图序列，包括：
将所述第二标注信息投影至所述至少一个待标注图序列，得到所述至少一个已标注图序列。
3.根据权利要求2所述的方法，其中，利用预先训练获得的第一感知模型，对所述三维点云进行语义分割和静态要素提取，得到至少一个静态要素的第一标注信息，包括：
将所述三维点云分割成多个点云块；
利用所述第一感知模型，分别对所述多个点云块中的各点云块进行语义分割和静态要素提取，得到所述各点云块的静态要素标注信息；
将所述多个点云块的静态要素标注信息进行聚合，得到所述至少一个静态要素的第一标注信息。
4.根据权利要求2所述的方法，其中，通过所述可视化交互界面，接收在所述三维点云中针对目标静态要素的标注指令，包括：
通过所述可视化交互界面，接收用户在所述三维点云中对所述目标静态要素的选取信息和属性设置信息后发送的标注指令，所述标注指令包括：所述目标静态要素的选取信息和属性设置信息；
基于所述第一标注信息和所述标注指令，在所述三维点云中对所述目标静态要素进行标注，包括：
基于所述第一标注信息和所述目标静态要素的选取信息，在所述三维点云中确定所述目标静态要素，并基于所述目标静态要素的属性设置信息对所述目标静态要素进行属性标注。
5.根据权利要求4所述的方法，其中，所述目标静态要素的选取信息，由用户利用与所述目标静态要素匹配的几何元素选取所述目标静态要素后发送；所述几何要素包括以下任意一项：点，线，面，体；所述目标静态要素的选取信息包括用于选取所述目标静态要素的目标几何元素的几何信息；
基于所述第一标注信息和所述目标静态要素的选取信息，在所述三维点云中确定所述目标静态要素，包括：
基于所述第一标注信息和所述目标几何元素的几何信息，在所述三维点云中确定所述目标几何元素对应的所述目标静态要素。
6.根据权利要求4所述的方法，其中，所述用户在所述三维点云中对所述目标静态要素的选取信息，包括所述用户在所述三维点云中对所述目标静态元素的绘制信息。
7.根据权利要求4所述的方法，其中，接收用户在所述三维点云中对所述目标静态要素的选取信息，包括：
接收用户在所述三维点云上选取属于所述目标静态要素的部分要素后发送的选取信息；
基于所述第一标注信息和所述目标静态要素的选取信息确定所述目标静态要素，包括：
基于预设跟踪配置信息、所述第一标注信息和所述选取信息，确定所述三维点云中属于所述目标静态要素的其余要素。
8.根据权利要求7所述的方法，其中，基于预设跟踪配置信息、所述第一标注信息和所述选取信息，确定所述三维点云中属于所述目标静态要素的其余要素，包括：
基于所述预设跟踪配置信息、所述第一标注信息和所述选取信息，确定所述三维点云中用于跟踪所述目标静态要素的一个点云区域，作为当前点云区域；
确定所述当前点云区域中属于所述目标静态要素的部分要素；
基于所述预设跟踪配置信息、所述第一标注信息和所述当前点云区域中属于所述目标静态要素的部分要素，确定所述三维点云中用于跟踪所述目标静态要素的下一个点云区域，作为当前点云区域；
迭代执行所述确定所述当前点云区域中属于所述目标静态要素的部分要素的操作，直至未确定出所述当前点云区域中属于所述目标静态要素的部分要素；
对所述三维点云中属于所述目标静态要素的部分要素进行拟合和矢量化处理，得到所述目标静态要素。
9.根据权利要求2-8任一所述的方法，其中，将所述第二标注信息投影至所述至少一个待标注图序列，包括：
确定所述至少一个待标注图序列中与所述目标静态要素对应的待标注图像；
将所述目标静态要素的第二标注信息投影至所述对应的待标注图像中。
10.根据权利要求9所述的方法，其中，确定所述至少一个待标注图序列中与所述目标静态要素对应的待标注图像，包括：
获取所述目标静态要素在预设坐标系中的位置；
获取所述至少一个待标注图序列中的各待标注图像在所述预设坐标系中的位置；
根据所述目标静态要素在所述预设坐标系中的位置和所述各待标注图像在所述预设坐标系中的位置，确定所述至少一个待标注图序列中与所述目标静态要素对应的待标注图像。
11.根据权利要求10所述的方法，其中，将所述目标静态要素的第二标注信息投影至所述对应的待标注图像中，包括：
获取所述各待标注图序列对应的各图像采集传感器的内参信息和外参信息；
分别根据所述各图像采集传感器的内参信息和外参信息、以及所述目标静态要素在所述预设坐标系中的位置，将所述目标静态要素的第二标注信息投影至所述对应的待标注图像中。
12.根据权利要求2-11任一所述的方法，将所述第二标注信息投影至所述至少一个待标注图序列，得到所述至少一个已标注图序列之后，还包括：
通过所述可视化交互界面，显示所述三维点云、所述至少一个静态要素的第一标注信息和所述目标静态要素的第二标注信息；
响应于接收到用户通过所述可视化交互界面发送的标注修改指令，所述标注修改指令用于对所述三维点云中所述目标静态要素的第二标注信息进行修改；
基于所述第一标注信息和所述标注修改指令，在所述三维点云中对所述目标静态要素的第二标注信息进行修改，并将所述目标静态要素的第二标注信息的修改结果投影至所述至少一个待标注图序列。
13.根据权利要求2-12任一所述的方法，得到具有静态要素标注信息的至少一个已标注图序列之后，还包括：
通过所述可视化交互界面，接收用户发送的回放指令；
基于所述回放指令，对所述至少一个已标注图序列和所述三维点云进行回放；
响应于接收到用户通过所述可视化交互界面发送的标注修改指令，所述标注修改指令用于对所述三维点云中指定静态要素的第二标注信息进行修改；
基于所述第一标注信息和所述标注修改指令，在所述三维点云中对所述指定静态要素的第二标注信息进行修改，并将所述指定静态要素的第二标注信息的修改结果投影至所述至少一个待标注图序列；
响应于接收到用户通过所述可视化交互界面发送的标注注释指令，所述标注注释指令用于对所述三维点云中指定静态要素的第二标注信息进行注释；
在所述三维点云中对所述指定静态要素的第二标注信息进行注释。
14.根据权利要求1-13任一所述的方法，还包括：
利用所述至少一个已标注图序列训练第二感知模型，所述第二感知模型训练完成后被部署至移动设备，以对所述移动设备上图像采集传感器采集的图像进行静态要素检测。
15.一种图像标注装置，包括：
获取模块，用于获取目标场景对应的三维点云和至少一个待标注图序列，所述至少一个待标注图序列中的各待标注图序列分别包括多帧待标注图像，所述多帧待标注图像基于图像采集时间或者图像采集传感器所在移动设备的行驶轨迹排序；
标注模块，用于对所述三维点云进行静态要素标注，得到至少一个静态要素的标注信息；
投影模块，用于将所述至少一个静态要素的标注信息投影至所述至少一个待标注图序列，得到具有静态要素标注信息的至少一个已标注图序列。
16.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行权利要求1-14任一所述的图像标注方法。
17.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现权利要求1-14任一所述的图像标注方法。
CN202310996168.1A 2023-08-08 2023-08-08 图像标注方法和装置、存储介质和电子设备 Pending CN116978010A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310996168.1A CN116978010A (zh) 2023-08-08 2023-08-08 图像标注方法和装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310996168.1A CN116978010A (zh) 2023-08-08 2023-08-08 图像标注方法和装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN116978010A true CN116978010A (zh) 2023-10-31

Family

ID=88474847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310996168.1A Pending CN116978010A (zh) 2023-08-08 2023-08-08 图像标注方法和装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN116978010A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437635A (zh) * 2023-12-21 2024-01-23 杭州海康慧影科技有限公司 一种生物组织类图像的预标注方法、装置
CN117935262A (zh) * 2024-01-23 2024-04-26 镁佳(北京)科技有限公司 点云数据的标注方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437635A (zh) * 2023-12-21 2024-01-23 杭州海康慧影科技有限公司 一种生物组织类图像的预标注方法、装置
CN117437635B (zh) * 2023-12-21 2024-04-05 杭州海康慧影科技有限公司 一种生物组织类图像的预标注方法、装置
CN117935262A (zh) * 2024-01-23 2024-04-26 镁佳(北京)科技有限公司 点云数据的标注方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11763474B2 (en) Method for generating simulated point cloud data, device, and storage medium
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN109285220B (zh) 一种三维场景地图的生成方法、装置、设备及存储介质
CN111542860A (zh) 用于自主车辆的高清地图的标志和车道创建
JP7440005B2 (ja) 高精細地図の作成方法、装置、デバイス及びコンピュータプログラム
CN108419446A (zh) 用于激光深度图取样的系统及方法
CN111402414B (zh) 一种点云地图构建方法、装置、设备和存储介质
US20210001891A1 (en) Training data generation for dynamic objects using high definition map data
CN116978010A (zh) 图像标注方法和装置、存储介质和电子设备
WO2023123837A1 (zh) 地图的生成方法、装置、电子设备及存储介质
CN109931950B (zh) 一种实景导航方法、系统及终端设备
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
CN101122464A (zh) 一种gps导航系统中道路显示方法、装置及设备
CN113469045A (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
JP2004265396A (ja) 映像生成システム及び映像生成方法
CN114120254A (zh) 道路信息识别方法、装置及存储介质
CN117870716A (zh) 地图兴趣点的显示方法、装置、电子设备及存储介质
CN117557983A (zh) 基于深度正向投影和查询反投影的场景重构方法及驾驶辅助系统
CN112507891A (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN115493614B (zh) 航迹线的显示方法、装置、存储介质及电子设备
CN113763438A (zh) 一种点云配准方法、装置、设备及存储介质
CN114004957B (zh) 增强现实图片的生成方法、装置、设备和存储介质
CN116642511A (zh) Ar导航图像渲染方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination