CN115222588A - 基于点云的图像标注方法、装置、设备及存储介质 - Google Patents

基于点云的图像标注方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115222588A
CN115222588A CN202210162660.4A CN202210162660A CN115222588A CN 115222588 A CN115222588 A CN 115222588A CN 202210162660 A CN202210162660 A CN 202210162660A CN 115222588 A CN115222588 A CN 115222588A
Authority
CN
China
Prior art keywords
point cloud
cloud data
frame
coordinate system
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210162660.4A
Other languages
English (en)
Inventor
杜杭肯
郭湘
薛辉
熊邦国
陈连胜
林家彦
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Weride Technology Co Ltd
Priority to CN202210162660.4A priority Critical patent/CN115222588A/zh
Publication of CN115222588A publication Critical patent/CN115222588A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及自动驾驶领域，公开了一种基于点云的图像标注方法、装置、设备及存储介质。该方法包括：获取驾驶场景对应的多帧点云数据，并将多帧点云数据分别转换至预置坐标系；将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。本发明实现了自动驾驶场景中的图像自动化标注，同时提升了图像标注的效率和准确度。

Description

基于点云的图像标注方法、装置、设备及存储介质
技术领域
本发明涉及自动驾驶领域，尤其涉及一种基于点云的图像标注方法、装置、设备及存储介质。
背景技术
在现有的自动驾驶系统中，针对探距信息的获取，激光雷达传感器扮演着非常重要的位置，点云的原始数据在经过一系列的算法处理后，可以得到3D障碍物的位置，速度，加速度等物理信息，也可以得到点云分割的语义信息。而相机由于价格便宜，输出比较符合人眼看到的结果，所以也是自动驾驶任务中不可或缺的传感器之一。
现有的图像标注基本都需要人工的参与，通常包括以下两种标注方式：一、纯人工标注，由标注人员直接在标注平台上观察每一帧相机输出的图像，在对应的位置选择对应的标签，保存结果；二、半辅助标注，由一个基于图像的传统机器学习算法或者深度学习算法，每一帧图像经过算法模型之后可以自动得到标注标签，最后再通过人工对每一帧图像已打上的标签进行验证，对错误的标签进行校正。即现有自动驾驶领域中，图像自动化标注方法存在效率较低的问题。
发明内容
本发明的主要目的在于解决现有自动驾驶领域中，图像自动化标注方法存在效率较低的技术问题。
本发明第一方面提供了一种基于点云的图像标注方法，包括：获取驾驶场景对应的多帧点云数据，并将所述多帧点云数据分别转换至预置坐标系；将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
可选的，在本发明第一方面的第一种实现方式中，所述将所述多帧点云数据分别转换至预置坐标系包括：获取所述多帧点云数据对应的设备标定参数，以及获取预置坐标系对应的定位信息；根据所述设备标定参数和所述定位信息，构建所述坐标系到多帧点云数据对应的空间变换信息；基于所述空间变换信息，将所述多帧点云数据分别变换至所述坐标系。
可选的，在本发明第一方面的第二种实现方式中，所述将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息包括：根据所述空间变换信息，将第二点云拼接后的点云数据转换至点云坐标系；获取点云数据和目标图像之间的外参标定参数、以及获取所述目标图像对应的内参标定参数；根据所述外参标定参数和所述内参标定参数，将点云坐标系上的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
可选的，在本发明第一方面的第三种实现方式中，所述将转换坐标系后的多帧点云数据进行第一点云拼接包括：根据转换坐标系后的多帧点云数据，确定对应多帧点云中各个雷达点的状态信息；根据所述状态信息，确定各帧点云中的静止雷达点，并从所述转换坐标系后的多帧点云数据中选取所述静止雷达点对应的点云数据；对所述静止雷达点对应的点云数据进行拼接，得到第一点云拼接后的点云数据。
可选的，在本发明第一方面的第四种实现方式中，所述对调整后的点云数据进行第二点云拼接包括：根据所述状态信息，确定各帧点云中的移动雷达点，并从所述转换坐标系后的多帧点云数据中选取所述移动雷达点对应的点云数据；分别将各帧点云中移动雷达点对应的点云数据与调整后的点云数据进行拼接，得到多帧第二点云拼接后的点云数据。
可选的，在本发明第一方面的第五种实现方式中，所述按照预置数据结构，对第一点云拼接后的点云数据进行调整包括：根据第一点云拼接后的点云数据，分别查找对应各帧点云中雷达点的不同帧的至少两个邻近雷达点；从所述第一点云拼接后的点云数据中选取所述临近雷达点对应的点云数据，并提取所述临近雷达点对应的点云数据中的标签；分别统计各个雷达点对应临近雷达点的相同标签数量，并根据统计的结果，对对应雷达点的点云数据进行调整。
可选的，在本发明第一方面的第六种实现方式中，所述根据第一点云拼接后的点云数据，分别查找对应各帧点云中雷达点的不同帧的至少两个邻近雷达点包括：根据第一点云拼接后的点云数据，利用预置最近邻算法，分别计算各帧点云中雷达点与其他不同帧点云中雷达点的距离；分别从其他不同帧点云中选取距离最短的至少两个雷达点作为各帧点云中雷达点的临近雷达点。
本发明第二方面提供了一种基于点云的图像标注装置，包括：转换模块，用于获取驾驶场景对应的多帧点云数据，并将所述多帧点云数据分别转换至预置坐标系；第一拼接模块，用于将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；第二拼接模块，用于对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
可选的，在本发明第二方面的第一种实现方式中，所述转换模块包括：第一获取单元，用于获取所述多帧点云数据对应的设备标定参数，以及获取预置坐标系对应的定位信息；构建单元，用于根据所述设备标定参数和所述定位信息，构建所述坐标系到多帧点云数据对应的空间变换信息；变换单元，用于基于所述空间变换信息，将所述多帧点云数据分别变换至所述坐标系。
可选的，在本发明第二方面的第二种实现方式中，所述第二拼接模块包括：空间坐标转换单元，用于根据所述空间变换信息，将第二点云拼接后的点云数据转换至点云坐标系；第二获取单元，用于获取点云数据和目标图像之间的外参标定参数、以及获取所述目标图像对应的内参标定参数；点云坐标转换单元，用于根据所述外参标定参数和所述内参标定参数，将点云坐标系上的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
可选的，在本发明第二方面的第三种实现方式中，所述第一拼接模块包括：确定单元，用于根据转换坐标系后的多帧点云数据，确定对应多帧点云中各个雷达点的状态信息；静态雷达点选取单元，用于根据所述状态信息，确定各帧点云中的静止雷达点，并从所述转换坐标系后的多帧点云数据中选取所述静止雷达点对应的点云数据；静态拼接单元，用于对所述静止雷达点对应的点云数据进行拼接，得到第一点云拼接后的点云数据。
可选的，在本发明第二方面的第四种实现方式中，所述第二拼接模块还包括：移动雷达点选取单元，用于根据所述状态信息，确定各帧点云中的移动雷达点，并从所述转换坐标系后的多帧点云数据中选取所述移动雷达点对应的点云数据；动态拼接单元，用于分别将各帧点云中移动雷达点对应的点云数据与调整后的点云数据进行拼接，得到多帧第二点云拼接后的点云数据。
可选的，在本发明第二方面的第五种实现方式中，所述第一拼接模块还包括：查找单元，用于根据第一点云拼接后的点云数据，分别查找对应各帧点云中雷达点的不同帧的至少两个邻近雷达点；提取单元，用于从所述第一点云拼接后的点云数据中选取所述临近雷达点对应的点云数据，并提取所述临近雷达点对应的点云数据中的标签；调整单元，用于分别统计各个雷达点对应临近雷达点的相同标签数量，并根据统计的结果，对对应雷达点的点云数据进行调整。
可选的，在本发明第二方面的第六种实现方式中，所述查找单元还用于：根据第一点云拼接后的点云数据，利用预置最近邻算法，分别计算各帧点云中雷达点与其他不同帧点云中雷达点的距离；分别从其他不同帧点云中选取距离最短的至少两个雷达点作为各帧点云中雷达点的临近雷达点。
本发明第三方面提供了一种基于点云的图像标注设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于点云的图像标注设备执行上述的基于点云的图像标注方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于点云的图像标注方法。
本发明提供的技术方案中，通过利用自动驾驶场景中采集到的多帧点云数据，先将其转换至相同坐标系，然后在该坐标系下对静态点云的点云数据进行拼接和调整，使得各帧点云数据拼接更平滑，得到静止点云的点云数据，最终分别将每帧动态点云的点云数据拼接到调整后的点云数据，得到完整驾驶场景的点云数据，最终将其再转换到图目标像坐标系中，将点云数据作为标签对目标图像进行标注，实现自动驾驶场景中的图像自动化标注，提升图像标注的效率和准确度。
附图说明
图1为本发明实施例中基于点云的图像标注方法的第一个实施例示意图；
图2为本发明实施例中基于点云的图像标注方法的第二个实施例示意图；
图3为本发明实施例中基于点云的图像标注方法的第三个实施例示意图；
图4为本发明实施例中基于点云的图像标注装置的一个实施例示意图；
图5为本发明实施例中基于点云的图像标注装置的另一个实施例示意图；
图6为本发明实施例中基于点云的图像标注设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于点云的图像标注方法、装置、设备及存储介质，通过获取驾驶场景对应的多帧点云数据，并将多帧点云数据分别转换至预置坐标系；将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。本发明实现了自动驾驶场景中的图像自动化标注，同时提升了图像标注的效率和准确度。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于点云的图像标注方法的第一个实施例包括：
101、获取驾驶场景对应的多帧点云数据，并将所述多帧点云数据分别转换至预置坐标系；
可以理解的是，本发明的执行主体可以为基于点云的图像标注装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
本实施例中，通过相机采集到一个的驾驶场景图像中，对应的激光雷达也同时采集到多帧点云数据，组成完整驾驶场景的点云图像，一个完整的驾驶场景包括其他车辆、行人等动态物品、以及路障、信号灯、围栏等静态物品。
本实施例中，在获取激光雷达采集到的多帧点云数据时，此时由于激光雷达的朝向和位置不同，各帧点云数据所在坐标系不同，故需要将各帧点云数据的坐标系转换到同一坐标系上，比如将各帧点云数据同时转换至同一个世界坐标系中，或者选取其中某一帧点云数据的坐标系作为基准坐标系，然后将其他帧的点云数据转换到该基准坐标系上，以达到各帧点云数据的坐标系的统一。
102、将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；
本实施例中，在统一各帧点云数据的坐标系后，将各帧点云数据拼接成完整驾驶场景对应的点云图像，其中，各帧点云数据的拼接，可以包括第一阶段的第一点云拼接，具体的，第一点云拼接可以为静止状态的点云数据的拼接，比如路障、信号灯、围栏等静态物品对应的点云数据的拼接。
本实施例中，将多帧点云数据通过第一点云拼接得到初始的完整驾驶场景的点云图像后，还需要对每帧点云数据的点云边缘进行调整，使得每帧点云数据的点云边缘衔接更平滑。具体的，此处可以通过用于处理多维空间数据的数据结构来对第一点云拼接后的点云数据进行调整，比如KD-tree(k-Dimension，KD树)、均值滤波、插值法等方式进行多帧平滑的调整。
103、对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
本实施例中，各帧点云数据的拼接还可以包括第二节点的第二点云拼接，具体的，第二点云拼接可以为移动状态的点云数据、与调整后的点云数据两者之间的拼接，移动状态的点云数据包括车辆、行人等动态物品对应的点云数据，与调整后的路障、信号灯、围栏等静态物品对应的点云数据进行拼接，最终形成完整驾驶场景的点云数据的点云数据。
本实施例中，第二点云拼接后的点云数据所处前述统一转换的坐标系，此时为了将雷达采集并处理后的点云图像对应到相机采集的目标图像中，需要将点云数据从预置坐标系再转换到目标图像坐标系中，最后针对点云数据在图像坐标系中的信息，对对应的区域进行标注，比如目标图像中的车辆、行人、路障、信号灯、围栏等。
本发明实施例中，通过利用自动驾驶场景中采集到的多帧点云数据，先将其转换至相同坐标系，然后在该坐标系下对静态点云的点云数据进行拼接和调整，使得各帧点云数据拼接更平滑，得到静止点云的点云数据，最终分别将每帧动态点云的点云数据拼接到调整后的点云数据，得到完整驾驶场景的点云数据，最终将其再转换到图目标像坐标系中，将点云数据作为标签对目标图像进行标注，实现自动驾驶场景中的图像自动化标注，提升图像标注的效率和准确度。
请参阅图2，本发明实施例中基于点云的图像标注方法的第二个实施例包括：
201、获取驾驶场景对应的多帧点云数据，并获取所述多帧点云数据对应的设备标定参数，以及获取预置坐标系对应的定位信息；
202、根据所述设备标定参数和所述定位信息，构建所述坐标系到多帧点云数据对应的空间变换信息；
203、基于所述空间变换信息，将所述多帧点云数据分别变换至所述坐标系；
本实施例中，获取得到的点云数据cloudi，都带有语义信息，然后通过激光雷达到车体的设备标定参数TVL，再结合定位信息(即车体在世界坐标系下的位姿)TMV，可以构建得到预置坐标系到每一帧点云的空间变换信息，具体可以以空间变换矩阵TML表示：TML＝TMV*TVL。
本实施例中，每一帧点云经过空间变换矩阵TML，旋转变换到同一个坐标系中，第i帧点云数据在转换到同一个坐标系后得到变换后的点云数据cloud’i，表示为：cloud’i＝TML*cloudi。
204、根据转换坐标系后的多帧点云数据，确定对应多帧点云中各个雷达点的状态信息；
205、根据所述状态信息，确定各帧点云中的静止雷达点，并从所述转换坐标系后的多帧点云数据中选取所述静止雷达点对应的点云数据；
206、对所述静止雷达点对应的点云数据进行拼接，得到第一点云拼接后的点云数据；
本实施例中，点云数据中携带的语义信息为激光雷达模型对点云的检测和分割的结果，可以包括静态语义信息和动态语义信息，比如车辆、行人等相关的动态语义信息，以及路障、信号灯、围栏等相关的静态语义信息，通过带有语义信息的点云数据，描述有对应的雷达点是静止的还是运动的状态信息，来确定点云数据对应的静止雷达点和运动雷达点，此处先用静止雷达点进行点云数据的拼接。
本实施例中，因为此时所有的点云数据都处于同一坐标系下，把所有静止雷达点(表征静止的物体)拼接得到新的点云数据，即拼接每一帧点云中的静止雷达点cloud’i(static)，即可得到一片大的点云，记为M，可以表示为：M＝∑cloud'i(static)。
207、根据第一点云拼接后的点云数据，分别查找对应各帧点云中雷达点的不同帧的至少两个邻近雷达点；
208、从所述第一点云拼接后的点云数据中选取所述临近雷达点对应的点云数据，并提取所述临近雷达点对应的点云数据中的标签；
209、分别统计各个雷达点对应临近雷达点的相同标签数量，并根据统计的结果，对对应雷达点的点云数据进行调整；
本实施例中，可以通过用于处理多维空间数据的数据结构比如KD-tree，来对第一点云拼接后的点云数据进行调整。具体的，把M存入KD-tree中，对于每个cloud’i(static)中的静止雷达点，通过KD-tree的最近邻算法，查找离当前的静止雷达点最近的k个非当前帧的静止雷达点，然后将当前的静止雷达点的标签更新为k个静止雷达点中出现频率最高的标签。具体执行流程如下所示：
1)根据第一点云拼接后的点云数据，利用预置最近邻算法，分别计算各帧点云中雷达点与其他不同帧点云中雷达点的距离；
2)分别从其他不同帧点云中选取距离最短的至少两个雷达点作为各帧点云中雷达点的临近雷达点。
本实施例中，图像标注的标签是静止雷达点的标签的子集，即雷达点的点云数据中可以包括比目标图像多的标签，后续图像标注的标签可以仅为点云数据对应标签的一部分，根据业务需求进行调整即可。
另外，点云数据中的标签取决于采用的激光雷达的检测和分割模型而定，具体可以包括每个雷达点的速度、加速度、类别(车、人、地面...)、距离等。
210、对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
本发明实施例中，通过多帧点云数据和如KDtree的处理多维空间数据的数据结构来对点云的雷达点进行标签更新，提高点云数据中对应点云的标签的稳定性，使得后续用于标注目标图像时，可信度更高。
请参阅图3，本发明实施例中基于点云的图像标注方法的第三个实施例包括：
301、获取驾驶场景对应的多帧点云数据，并将所述多帧点云数据分别转换至预置坐标系；
302、根据转换坐标系后的多帧点云数据，确定对应多帧点云中各个雷达点的状态信息；
303、根据所述状态信息，确定各帧点云中的静止雷达点，并从所述转换坐标系后的多帧点云数据中选取所述静止雷达点对应的点云数据；
304、对所述静止雷达点对应的点云数据进行拼接，得到第一点云拼接后的点云数据，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；
305、根据所述状态信息，确定各帧点云中的移动雷达点，并从所述转换坐标系后的多帧点云数据中选取所述移动雷达点对应的点云数据；
306、分别将各帧点云中移动雷达点对应的点云数据与调整后的点云数据进行拼接，得到多帧第二点云拼接后的点云数据；
本实施例中，为了让每一帧点云数据更多更全更稳定，在对每一帧点云数据进行第一点云拼接拼接和第二点云拼接，在后续投到二维的目标图像坐标系后，二维的目标图像上可以包含有更多雷达点的语义信息。其中，点云数据转到目标图像的标注标签，在空间维度上是从三维转二维。
另外，静止物体比较稳定，可以对对应的点云数据直接进行拼接(即第一点云拼接)。而针对包含有速度的运动物体，对应的点云数据不能直接拼接到当前帧点云数据，因为有速度的移动雷达点在拼接后的坐标系下，会显示为带有运动轨迹的点。比如一辆移动的车，对应多帧点云数据拼接后就会变成一长条的点云，故不能将移动雷达点的点云数据拼接到一起，而是分别与调整后的点云数据拼接，得到多帧第二拼接后的点云数据。除此之外，第一点云拼接是为了融合多帧点云数据的语义信息给当前帧点云数据用。
具体的，第二点云拼接的执行如下所述：cloud”i＝cloud'i(dynamic)+M。此处得到的点云数据其维度不变，假设一共有n帧点云，当前帧点云下标为k，对应雷达点的点云数据为:静止k+移动k；第一点云拼接后的点云数据为：M＝静止1+静止2+静止3+……+静止n；对当前帧点云数据的第二点云拼接后得到：移动k+M＝移动k+静止1+静止2+静止3+……+静止n。
307、根据所述空间变换信息，将第二点云拼接后的点云数据转换至点云坐标系；
308、获取点云数据和目标图像之间的外参标定参数、以及获取所述目标图像对应的内参标定参数；
309、根据所述外参标定参数和所述内参标定参数，将点云坐标系上的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
本实施例中，第二点云拼接后得到的每帧点云数据cloud”i先通过cloud”i＝TML*cloudi逆操作转换点云自身的坐标系，再通过点云和相机之间的外参标定参数和相机的内参标定参数，把处理后的cloudi中的每个激光雷达点转到目标图像坐标系下，比如像素坐标系下，转换后可以记为P，此时P携带有点云数据中的物理、语义信息的图像点，即目标图像的标注信息。
本发明实施例中，通过拼接多帧静止雷达点的点云数据，再拼接到各帧移动雷达点的点云数据，使得各个雷达点的语音信息更丰富，后续对目标图像进行标注时，得到的标注信息更多，适应更多的应用场景。
上面对本发明实施例中基于点云的图像标注方法进行了描述，下面对本发明实施例中基于点云的图像标注装置进行描述，请参阅图4，本发明实施例中基于点云的图像标注装置一个实施例包括：
转换模块401，用于获取驾驶场景对应的多帧点云数据，并将所述多帧点云数据分别转换至预置坐标系；
第一拼接模块402，用于将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；
第二拼接模块403，用于对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
本发明实施例中，通过利用自动驾驶场景中采集到的多帧点云数据，先将其转换至相同坐标系，然后在该坐标系下对静态点云的点云数据进行拼接和调整，使得各帧点云数据拼接更平滑，得到静止点云的点云数据，最终分别将每帧动态点云的点云数据拼接到调整后的点云数据，得到完整驾驶场景的点云数据，最终将其再转换到图目标像坐标系中，将点云数据作为标签对目标图像进行标注，实现自动驾驶场景中的图像自动化标注，提升图像标注的效率和准确度。
请参阅图5，本发明实施例中基于点云的图像标注装置的另一个实施例包括：
转换模块401，用于获取驾驶场景对应的多帧点云数据，并将所述多帧点云数据分别转换至预置坐标系；
第一拼接模块402，用于将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；
第二拼接模块403，用于对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
具体的，所述转换模块401包括：
第一获取单元4011，用于获取所述多帧点云数据对应的设备标定参数，以及获取预置坐标系对应的定位信息；
构建单元4012，用于根据所述设备标定参数和所述定位信息，构建所述坐标系到多帧点云数据对应的空间变换信息；
变换单元4013，用于基于所述空间变换信息，将所述多帧点云数据分别变换至所述坐标系。
具体的，所述第二拼接模块403包括：
空间坐标转换单元4031，用于根据所述空间变换信息，将第二点云拼接后的点云数据转换至点云坐标系；
第二获取单元4032，用于获取点云数据和目标图像之间的外参标定参数、以及获取所述目标图像对应的内参标定参数；
点云坐标转换单元4033，用于根据所述外参标定参数和所述内参标定参数，将点云坐标系上的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
具体的，所述第一拼接模块402包括：
确定单元4021，用于根据转换坐标系后的多帧点云数据，确定对应多帧点云中各个雷达点的状态信息；
静态雷达点选取单元4022，用于根据所述状态信息，确定各帧点云中的静止雷达点，并从所述转换坐标系后的多帧点云数据中选取所述静止雷达点对应的点云数据；
静态拼接单元4023，用于对所述静止雷达点对应的点云数据进行拼接，得到第一点云拼接后的点云数据。
具体的，所述第二拼接模块403还包括：
移动雷达点选取单元4034，用于根据所述状态信息，确定各帧点云中的移动雷达点，并从所述转换坐标系后的多帧点云数据中选取所述移动雷达点对应的点云数据；
动态拼接单元4035，用于分别将各帧点云中移动雷达点对应的点云数据与调整后的点云数据进行拼接，得到多帧第二点云拼接后的点云数据。
具体的，所述第一拼接模块402还包括：
查找单元4024，用于根据第一点云拼接后的点云数据，分别查找对应各帧点云中雷达点的不同帧的至少两个邻近雷达点；
提取单元4025，用于从所述第一点云拼接后的点云数据中选取所述临近雷达点对应的点云数据，并提取所述临近雷达点对应的点云数据中的标签；
调整单元4026，用于分别统计各个雷达点对应临近雷达点的相同标签数量，并根据统计的结果，对对应雷达点的点云数据进行调整。
具体的，所述查找单元4024还用于：
根据第一点云拼接后的点云数据，利用预置最近邻算法，分别计算各帧点云中雷达点与其他不同帧点云中雷达点的距离；
分别从其他不同帧点云中选取距离最短的至少两个雷达点作为各帧点云中雷达点的临近雷达点。
本发明实施例中，通过多帧点云数据和如KDtree的处理多维空间数据的数据结构来对点云的雷达点进行标签更新，提高点云数据中对应点云的标签的稳定性，使得后续用于标注目标图像时，可信度更高；另外，还通过拼接多帧静止雷达点的点云数据，再拼接到各帧移动雷达点的点云数据，使得各个雷达点的语音信息更丰富，后续对目标图像进行标注时，得到的标注信息更多，适应更多的应用场景。
上面图4和图5从模块化功能实体的角度对本发明实施例中的基于点云的图像标注装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于点云的图像标注设备进行详细描述。
图6是本发明实施例提供的一种基于点云的图像标注设备的结构示意图，该基于点云的图像标注设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于点云的图像标注设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在基于点云的图像标注设备600上执行存储介质630中的一系列指令操作。
基于点云的图像标注设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的基于点云的图像标注设备结构并不构成对基于点云的图像标注设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于点云的图像标注设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于点云的图像标注方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于点云的图像标注方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于点云的图像标注方法，其特征在于，所述基于点云的图像标注方法包括：
获取驾驶场景对应的多帧点云数据，并将所述多帧点云数据分别转换至预置坐标系；
将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；
对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
2.根据权利要求1所述的基于点云的图像标注方法，其特征在于，所述将所述多帧点云数据分别转换至预置坐标系包括：
获取所述多帧点云数据对应的设备标定参数，以及获取预置坐标系对应的定位信息；
根据所述设备标定参数和所述定位信息，构建所述坐标系到多帧点云数据对应的空间变换信息；
基于所述空间变换信息，将所述多帧点云数据分别变换至所述坐标系。
3.根据权利要求2所述的基于点云的图像标注方法，其特征在于，所述将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息包括：
根据所述空间变换信息，将第二点云拼接后的点云数据转换至点云坐标系；
获取点云数据和目标图像之间的外参标定参数、以及获取所述目标图像对应的内参标定参数；
根据所述外参标定参数和所述内参标定参数，将点云坐标系上的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
4.根据权利要求1所述的基于点云的图像标注方法，其特征在于，所述将转换坐标系后的多帧点云数据进行第一点云拼接包括：
根据转换坐标系后的多帧点云数据，确定对应多帧点云中各个雷达点的状态信息；
根据所述状态信息，确定各帧点云中的静止雷达点，并从所述转换坐标系后的多帧点云数据中选取所述静止雷达点对应的点云数据；
对所述静止雷达点对应的点云数据进行拼接，得到第一点云拼接后的点云数据。
5.根据权利要求4所述的基于点云的图像标注方法，其特征在于，所述对调整后的点云数据进行第二点云拼接包括：
根据所述状态信息，确定各帧点云中的移动雷达点，并从所述转换坐标系后的多帧点云数据中选取所述移动雷达点对应的点云数据；
分别将各帧点云中移动雷达点对应的点云数据与调整后的点云数据进行拼接，得到多帧第二点云拼接后的点云数据。
6.根据权利要求1所述的基于点云的图像标注方法，其特征在于，所述按照预置数据结构，对第一点云拼接后的点云数据进行调整包括：
根据第一点云拼接后的点云数据，分别查找对应各帧点云中雷达点的不同帧的至少两个邻近雷达点；
从所述第一点云拼接后的点云数据中选取所述临近雷达点对应的点云数据，并提取所述临近雷达点对应的点云数据中的标签；
分别统计各个雷达点对应临近雷达点的相同标签数量，并根据统计的结果，对对应雷达点的点云数据进行调整。
7.根据权利要求6所述的基于点云的图像标注方法，其特征在于，所述根据第一点云拼接后的点云数据，分别查找对应各帧点云中雷达点的不同帧的至少两个邻近雷达点包括：
根据第一点云拼接后的点云数据，利用预置最近邻算法，分别计算各帧点云中雷达点与其他不同帧点云中雷达点的距离；
分别从其他不同帧点云中选取距离最短的至少两个雷达点作为各帧点云中雷达点的临近雷达点。
8.一种基于点云的图像标注装置，其特征在于，所述基于点云的图像标注装置包括：
转换模块，用于获取驾驶场景对应的多帧点云数据，并将所述多帧点云数据分别转换至预置坐标系；
第一拼接模块，用于将转换坐标系后的多帧点云数据进行第一点云拼接，并按照预置数据结构，对第一点云拼接后的点云数据进行调整；
第二拼接模块，用于对调整后的点云数据进行第二点云拼接，并将第二点云拼接后的点云数据转换至目标图像坐标系，得到目标图像的标注信息。
9.一种基于点云的图像标注设备，其特征在于，所述基于点云的图像标注设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于点云的图像标注设备执行如权利要求1-7中任意一项所述的基于点云的图像标注方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任意一项所述基于点云的图像标注方法的步骤。
CN202210162660.4A 2022-02-22 2022-02-22 基于点云的图像标注方法、装置、设备及存储介质 Pending CN115222588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210162660.4A CN115222588A (zh) 2022-02-22 2022-02-22 基于点云的图像标注方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210162660.4A CN115222588A (zh) 2022-02-22 2022-02-22 基于点云的图像标注方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115222588A true CN115222588A (zh) 2022-10-21

Family

ID=83606817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210162660.4A Pending CN115222588A (zh) 2022-02-22 2022-02-22 基于点云的图像标注方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115222588A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152783A (zh) * 2023-04-18 2023-05-23 安徽蔚来智驾科技有限公司 目标元素标注数据的获取方法、计算机设备及存储介质
CN116665212A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据标注方法、装置、处理设备、存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152783A (zh) * 2023-04-18 2023-05-23 安徽蔚来智驾科技有限公司 目标元素标注数据的获取方法、计算机设备及存储介质
CN116152783B (zh) * 2023-04-18 2023-08-04 安徽蔚来智驾科技有限公司 目标元素标注数据的获取方法、计算机设备及存储介质
CN116665212A (zh) * 2023-07-31 2023-08-29 福思(杭州)智能科技有限公司 数据标注方法、装置、处理设备、存储介质
CN116665212B (zh) * 2023-07-31 2023-10-13 福思(杭州)智能科技有限公司 数据标注方法、装置、处理设备、存储介质

Similar Documents

Publication Publication Date Title
CN109345574B (zh) 基于语义点云配准的激光雷达三维建图方法
CN111694903B (zh) 地图构建方法、装置、设备以及可读存储介质
CN111652934B (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN109993793B (zh) 视觉定位方法及装置
KR20220053513A (ko) 이미지 데이터 자동 라벨링 방법 및 장치
CN115222588A (zh) 基于点云的图像标注方法、装置、设备及存储介质
CN110276826A (zh) 一种电网作业环境地图的构建方法及系统
CN107967457A (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
EP2874097A2 (en) Automatic scene parsing
CN112710318A (zh) 地图生成方法、路径规划方法、电子设备以及存储介质
CN110428490B (zh) 构建模型的方法和装置
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
CN112070770A (zh) 一种高精度三维地图与二维栅格地图同步构建方法
US11430199B2 (en) Feature recognition assisted super-resolution method
CN111323024B (zh) 定位方法及装置、设备、存储介质
CN112435338A (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
JP2022522385A (ja) 道路標識認識方法、地図生成方法、及び関連する製品
CN114692720B (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
CN114898313A (zh) 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN114088099A (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
CN111767854B (zh) 一种结合场景文本语义信息的slam回环检测方法
WO2024077935A1 (zh) 一种基于视觉slam的车辆定位方法及装置
Yin et al. Stabilize an unsupervised feature learning for LiDAR-based place recognition
CN111695497B (zh) 基于运动信息的行人识别方法、介质、终端和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination