CN110135453A - 一种激光点云数据标注方法及装置 - Google Patents

一种激光点云数据标注方法及装置 Download PDF

Info

Publication number
CN110135453A
CN110135453A CN201910252282.7A CN201910252282A CN110135453A CN 110135453 A CN110135453 A CN 110135453A CN 201910252282 A CN201910252282 A CN 201910252282A CN 110135453 A CN110135453 A CN 110135453A
Authority
CN
China
Prior art keywords
coordinate
point cloud
cloud data
laser point
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910252282.7A
Other languages
English (en)
Inventor
韩嘉杰
袁彬
徐姗姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910252282.7A priority Critical patent/CN110135453A/zh
Publication of CN110135453A publication Critical patent/CN110135453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例公开一种激光点云数据标注方法及装置。该方法包括：获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像；获取针对显示的激光点云数据输入的第一标注操作；根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与第一标注操作对应的包围框映射到所述参考图像中，得到参考图像中的图像包围框；在显示参考图像的界面中显示所述图像包围框；根据包围框以及针对显示的所述图像包围框内的参考图像输入的属性信息，确定所述激光点云数据对应的标注信息。应用本发明实施例提供的方案，能够提高对激光点云数据进行标注时标注信息的准确性。

Description

一种激光点云数据标注方法及装置
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种激光点云数据标注方法及装置。
背景技术
激光点云数据是激光雷达返回的数据类型，激光点云包括大量激光点数据。激光雷达可以安装在智能车辆、机器人等设备中，用于根据采集设备周围的激光点云数据，根据激光点云数据可以确定设备周围的障碍物信息。
当前收集到的激光点云数据信息量过多过杂，难以直接使用，需要人工对其进行识别和标注，标注后的激光点云数据可作为机器学习算法研发时的样本数据。由于激光点云数据量庞杂，仅依靠人工查看过程进行标注，所得到的标注信息准确性较低。
发明内容
本发明提供了一种激光点云数据标注方法及装置，以提高对激光点云数据进行标注时标注信息的准确性。具体的技术方案如下。
第一方面，本发明实施例提供了一种激光点云数据标注方法，包括：
获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像；
获取针对显示的所述激光点云数据输入的第一标注操作；
根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与所述第一标注操作对应的包围框映射到所述参考图像中，得到所述参考图像中的图像包围框；其中，所述图像坐标系为所述参考图像所在的坐标系，所述三维坐标系为所述激光点云数据所在的坐标系；
在显示所述参考图像的界面中显示所述图像包围框；
根据所述包围框以及针对显示的所述图像包围框内的参考图像输入的属性信息，确定所述激光点云数据对应的标注信息。
可选的，当所述参考图像为全景图像时，所述第一映射关系包括：
y'＝(θ/π)*H
其中，所述x'和y'为所述图像坐标系中的坐标，所述W和H分别为所述参考图像的宽度和高度，所述θ和分别为三维球坐标系中的球坐标。
可选的，在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，所述方法还包括：
将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；
获取针对显示的所述激光点云数据输入的第一标注操作的步骤，包括：
获取针对所述三维界面中显示的激光点云数据输入的第一标注操作；
在确定与所述第一标注操作对应的包围框之后，所述方法还包括：
在所述三维界面中显示所述包围框。
可选的，在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，所述方法还包括：
根据二维俯视坐标系与所述三维坐标系之间的第二映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述二维俯视界面与所述二维俯视坐标系对应；
所述获取针对显示的所述激光点云数据输入的第一标注操作的步骤，包括：
获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；
确定与所述第一标注操作对应的包围框的步骤，包括：
根据所述激光点云数据的三维坐标确定所述第一标注操作对应的包围框。
可选的，所述根据所述激光点云数据的三维坐标确定所述第一标注操作对应的包围框的步骤，包括：
根据所述第一标注操作确定二维标注框；
以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框。
可选的，所述根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框的步骤，包括：
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；
确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第三映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；
根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
获取针对所述其他二维界面显示的待修正包围框输入的修正操作；
根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框。
可选的，所述根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中的步骤，包括：
根据所述第三映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。
可选的，所述将所述激光点云数据显示在二维俯视界面中的步骤，包括：
按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；
其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。
第二方面，本发明实施例提供了一种激光点云数据标注装置，包括：
第一获取模块，被配置为获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像；
第二获取模块，被配置为获取针对显示的所述激光点云数据输入的第一标注操作；
映射模块，被配置为根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与所述第一标注操作对应的包围框映射到所述参考图像中，得到所述参考图像中的图像包围框；其中，所述图像坐标系为所述参考图像所在的坐标系，所述三维坐标系为所述激光点云数据所在的坐标系；
第一显示模块，被配置为在显示所述参考图像的界面中显示所述图像包围框；
第一确定模块，被配置为根据所述包围框以及针对显示的所述图像包围框内的参考图像输入的属性信息，确定所述激光点云数据对应的标注信息。
可选的，当所述参考图像为全景图像时，所述第一映射关系包括：
y'＝(θ/π)*H
其中，所述x'和y'为所述图像坐标系中的坐标，所述W和H分别为所述参考图像的宽度和高度，所述θ和分别为三维球坐标系中的球坐标。
可选的，所述装置还包括第二显示模块；
所述第二显示模块，被配置为在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；
所述第二获取模块，具体被配置为：
获取针对所述三维界面中显示的激光点云数据输入的第一标注操作；
所述第二显示模块，还被配置为在确定与所述第一标注操作对应的包围框之后，在所述三维界面中显示所述包围框。
可选的，所述装置还包括第三显示模块和第二确定模块；
所述第三显示模块，被配置为在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，根据二维俯视坐标系与所述三维坐标系之间的第二映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述二维俯视界面与所述二维俯视坐标系对应；
所述第二获取模块，具体被配置为：
获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；
所述第二确定模块，被配置为采用以下操作确定与所述第一标注操作对应的包围框：
根据所述激光点云数据的三维坐标确定所述第一标注操作对应的包围框。
可选的，所述第二确定模块，具体被配置为：
根据所述第一标注操作确定二维标注框；
以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框。
可选的，所述第二确定模块，根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框时，包括：
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；
确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第三映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；
根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
获取针对所述其他二维界面显示的待修正包围框输入的修正操作；
根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框。
可选的，所述第二确定模块，根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中时，包括：
根据所述第三映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。
可选的，所述第三显示模块，具体被配置为：
按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；
其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。
由上述内容可知，本发明实施例提供的激光点云数据标注方法及装置，可以根据第一映射关系将第一标注操作对应的包围框映射到参考图像中，并在参考图像中显示图像包围框，以便标注人员根据显示的图像包围框所包围的参考图像输入属性信息。根据在激光点云数据中的包围框和参考图像中显示的图像包围框的相互对应，可以使得标注人员输入更准确的属性信息，进而根据包围框和属性信息能够确定更准确的标注信息。因此本发明实施例能够提高对激光点云数据进行标注时标注信息的准确性。
本发明实施例的创新点包括：
1、根据标注的包围框和参考图像中对应显示的图像包围框之间的对应性，能够得到更准确的属性信息，进而确定更准确的标注信息。
2、在二维俯视界面中显示激光点云数据，供标注人员在二维俯视界面中对激光点云数据进行标注，能够降低标注人员的标注难度，提高标注效率。
3、当得到待修正包围框之后，还可以在背视界面和/或侧视界面中显示待修正包围框，并可以供标注人员在背视界面和/或侧视界面中对待修正包围框的其他面进行修正，提高包围框的精确性。
4、在二维俯视界面显示激光点云数据时，可以在竖直的高度方向对不同高度处的激光点云数据显示不同的颜色，这样更便于标注人员看到不同高度处的激光点云数据，提高标注的便捷性和对物体的区分性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1～图3为本发明提供的激光点云数据标注方法的几种实施例的流程示意图；
图4(1)为本发明实施例提供的一种显示界面的屏幕截图；
图4(2)为本发明提供的三维坐标系和二维俯视、背视、侧视坐标系的一种示意图；
图4(3)为本发明实施例提供的各个单元加载时的一种流程示意图；
图5～图7为本发明提供的激光点云数据标注装置的几种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种激光点云数据标注方法及装置，能够提高对激光点云数据进行标注时标注信息的准确性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的激光点云数据标注方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或智能移动设备等。该方法具体包括以下步骤。
S110：获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像。
其中，获取的激光点云数据为待标注的激光点云数据。参考图像为包含激光雷达周围环境的图像，参考图像的采集时刻与激光点云数据的采集时刻相同。激光雷达在采集数据时，向周围环境发射多个激光束，各个激光束遇到物体反射会激光雷达。激光雷达根据发射的各个激光束和返回的各个激光束可以得到激光点云数据，激光点云数据能够表征以激光雷达为中心的周围物体的三维空间位置。激光点云数据包含了多个激光点数据。
激光雷达和图像采集设备可以均安装在智能设备中。智能设备可以为智能车辆、机器人等设备。激光雷达可以采集以激光雷达为中心、周围一圈环境中的激光点云数据。图像采集设备可以为多个，分别采集以激光雷达为中心点的各个扇形范围内的图像，将各个图像进行拼接，可以得到以激光雷达为中心的全景图像。该全景图像包含激光雷达的周围一圈环境。全景图像为球面图像。参考图像可以为全景图像或非全景图像。
激光雷达可以按照预设时间间隔采集多个激光点云数据帧。图像采集设备可以按照预设帧率采集多个参考图像帧。本步骤中获取的参考图像可以为一参考图像帧，获得的激光点云数据可以为一激光点云数据帧。
获取参考图像之后，可以在图像显示界面显示该参考图像。在获取激光点云数据之后，可以在预设界面中显示该激光点云数据。在界面中显示的参考图像和激光点云数据可以供标注员查看，以便标注障碍物。标注员可以为人或高级智能机器人等，本申请对此不作具体限定。为便于说明，以下描述中以标注人员为例进行说明。
S120：获取针对显示的激光点云数据输入的第一标注操作。
本步骤具体可以为，获取标注人员针对显示的激光点云数据输入的第一标注操作。第一标注操作可以包括鼠标点击操作、鼠标绘制操作、键盘绘制操作等中的至少一种。
例如，第一标注操作可以为标注人员在显示激光点云数据的界面中采用鼠标点击的方式输入的几个顶点位置。这几个顶点能够构成包围激光点云数据中障碍物的立体形状。
第一标注操作是对激光点云数据中的障碍物所进行的操作。障碍物可以是车辆、行人、动物、树木、道路标志等类型。车辆还包括小汽车、卡车、三轮车等类型。
S130：根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与第一标注操作对应的包围框映射到参考图像中，得到参考图像中的图像包围框。
其中，图像坐标系为参考图像所在的坐标系，三维坐标系为激光点云数据所在的坐标系。上述三维坐标系可以以激光雷达中的点为坐标原点，以智能设备的前进方向为X轴方向，以竖直向上为Z轴方向。在没有具体说明的情况下，三维坐标系均是指激光雷达所在的坐标系。
在获取第一标注操作时，可以根据第一标注操作确定包围框。该包围框为三维立体的包围框，能够包裹待标注的障碍物。包围框可以为长方体或者棱柱体。
由于图像采集设备和激光雷达的相对位置固定，激光雷达所在的三维坐标系与图像采集设备所在的三维坐标系可以根据该相对位置通过平移矩阵实现映射。图像采集设备所在的三维坐标系与参考图像坐标系之间的映射关系与感光元件的焦距、参考图像的宽度和高度等因素相关。根据上述信息可以确定激光雷达所在的三维坐标系与参考图像坐标系之间的映射关系。
例如，当参考图像为全景图像时，且在激光雷达所在的三维坐标系的坐标原点与全景相机所在的三维坐标系的坐标原点重叠(即，激光雷达和全景相机安装时已校准)时，第一映射关系包括：
y'＝(θ/π)*H
其中，x'和y'为图像坐标系中的坐标，W和H分别为参考图像的宽度和高度，θ和分别为三维球坐标系中的球坐标。三维坐标系包括三维直角坐标系和三维球坐标系。
根据第一标注操作所得到的包围框的坐标，是激光点云数据空间内三维直角坐标系中的坐标。令该三维直角坐标系中点A的坐标为(x，y，z)，该点A对应的三维球坐标系中的坐标为该点A在参考图像坐标系中的坐标为(x'，y')。
上述θ＝π/2-tan-1[z/(x2+y2)1/2]，
当包围框为长方体时，可以根据第一映射关系确定长方体的8个顶点坐标在参考图像中的坐标，并将8个顶点坐标在参考图像中的坐标在参考图像坐标系中进行投影，得到参考图像中的图像包围框。
S140：在显示参考图像的界面中显示图像包围框。
在显示参考图像的界面中显示图像包围框，可以供标注人员查看包围框对应到相机拍摄的参考图像中的位置，进而可以确定包围框内的障碍物的类型、方向、规格等信息。
当障碍物为车辆时，可以在显示界面中设置各个车辆类型的点选按钮，供标注人员选择。根据标注人员通过点选按钮输入的选择操作，确定车辆类型。
S150：根据包围框以及针对显示的图像包围框内的参考图像输入的属性信息，确定激光点云数据对应的标注信息。
本实施例中，可以获取标注人员针对显示的图像包围框内的参考图像输入的属性信息，根据包围框和属性信息，确定激光点云数据对应的标注信息。
其中，属性信息可以包括障碍物类型、障碍物行进方向、型号等。例如，当障碍物为车辆时，属性信息可以包括车辆的颜色、车辆行进方向、车辆型号等信息。
根据包围框和属性信息，确定激光点云数据对应的标注信息时，可以直接将包围框和属性信息作为激光点云数据对应的标注信息。
由上述内容可知，本实施例可以根据第一映射关系将第一标注操作对应的包围框映射到参考图像中，并在参考图像中显示图像包围框，以便标注人员根据显示的图像包围框所包围的参考图像输入属性信息。根据在激光点云数据中的包围框和参考图像中显示的图像包围框的相互对应，可以使得标注人员输入更准确的属性信息，进而根据包围框和属性信息能够确定更准确的标注信息。因此本实施例能够提高对激光点云数据进行标注时标注信息的准确性。
在本发明的另一实施例中，基于图1所示实施例中，可以得到图2所示实施例。本实施例包括以下步骤。
S210：获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像。
本步骤与步骤S110相同，具体说明可以参见图1所示实施例，此处不再赘述。
S220：在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，将激光点云数据显示在三维界面中。
其中，三维界面与三维坐标系对应，三维坐标系为该三维界面所在的坐标系。
S230：获取针对三维界面中显示的激光点云数据输入的第一标注操作。
本步骤具体可以包括，获取标注人员针对三维界面中显示的激光点云数据输入的第一标注操作。其中，第一标注操作可以包括能确定长方体的至少4个顶点坐标。
S240：根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与第一标注操作对应的包围框映射到参考图像中，得到参考图像中的图像包围框。
S250：在显示参考图像的界面中显示图像包围框。
参见图4(1)，该图4(1)为本实施例提供的一种显示界面的屏幕截图。其中，左上角中的图像为参考图像，左下角的图像为三维界面。三维界面中的长方体对应到参考图像中也为长方体，该长方体包围的是车辆。
S260：根据包围框以及针对显示的图像包围框内的参考图像输入的属性信息，确定激光点云数据对应的标注信息。
上述步骤S240～260分别与步骤S130～S150相同，具体说明可以参见图1所示实施例，此处不再赘述。
在确定与第一标注操作对应的包围框之后，还可以在三维界面中显示该包围框，供标注人员查看。
在一种实施方式中，还可以获取标注人员对包围框的调整操作，根据该调整操作对包围框进行调整，根据调整后的包围框以及针对显示的图像包围框内的参考图像输入的属性信息，确定激光点云数据对应的标注信息。
其中，调整操作可以为标注人员根据图像包围框对该包围框作出的调整操作。由于图像包围框能够更清楚地显示障碍物，根据图像包围框对包围框进行调整，能够使得包围框更准确。
在实际应用中，可以将三维界面的背景设置为偏灰色，激光点云数据设置为偏白色，这样能够增加前景与背景的对比度。基于此，为了方便显示被框定的激光点云数据点，以及区分不同框内的数据点，着色时可以对不同框定区域内的数据点使用随机的高亮色。高亮色定义为，在HSV(色度-饱和度-明度)色彩空间中，S和V大于0.8的颜色。H表示色度，取值空间为0～360；S表示饱和度，取值空间为0～1，数值越高代表越饱和；V表示明度，取值空间为0～1，数值越高代表越明亮。通过随机对S和V在指定范围内取值，H在取值空间随机取值，一定程度上能够保证不同框定区域的点既不一样但又和背景、默认点有足够的对比度。
综上，本实施例中，将激光点云数据显示在三维界面中，根据标注人员针对三维界面中显示的激光点云数据输入的第一标注操作确定包围框，根据第一映射关系将包围框映射到参考图像中，能够便于标注人员从三维图像角度整体上把握障碍物的形状，实现对障碍物的标注。
在本发明的另一实施例中，基于图1所示实施例中，可以得到图3所示实施例。本实施例的方法包括以下步骤。
S310：获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像。
本步骤与步骤S110相同，具体说明可以参见图1所示实施例，此处不再赘述。
S320：在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，根据二维俯视坐标系与三维坐标系之间的第二映射关系，将激光点云数据显示在二维俯视界面中。
其中，二维俯视界面与二维俯视坐标系对应。由于三维直角坐标系中Z轴的方向为竖直向上的方向，因此二维俯视坐标系可以为包含三维直角坐标系中X轴和Y轴的二维坐标系。X轴和Y轴可以为第一坐标轴和第二坐标轴，Z轴为第三坐标轴。
在另一实施方式中，也可以将激光点云数据显示在三维界面中，即同时将激光点云数据显示在二维俯视界面和三维界面中。三维界面显示的数据点可以使得标注人员从整体上对激光点云数据进行观察。
S330：获取针对二维俯视界面显示的激光点云数据输入的第一标注操作。
本步骤可以包括，获取标注人员针对二维俯视界面显示的激光点云数据输入的第一标注操作。其中，该第一标注操作可以包括能确定长方形的至少两个顶点。第一标注操作也可以包括能确定其他形状的坐标点。
当障碍物为车辆时，标注人员也可以在二维俯视图界面中标注出车头的方向。因此，第一标注操作中可以包含车头的位置信息。根据该车头的位置信息，可以在标注人员框定的二维图形中突出显示该车头位置。
参见图4(1)，右上角为二维俯视界面显示的激光点云数据。针对二维俯视界面，标注人员的标注操作对应的是二维图形。
S340：根据激光点云数据的三维坐标确定第一标注操作对应的包围框。
由于根据第一标注操作直接得到的是二维图形，根据激光点数据的三维坐标，可以在该二维图形基础上补上长方体图形的高度信息，进而得到第一标注操作对应的包围框，该包围框为立体图形。
在确定包围框之后，也可以将包围框显示在三维界面中。
在另一实施方式中，在确定第一标注操作对应的包围框之后，还可以接收标注人员针对二维俯视界面中的二维图形进行的修改操作，根据该修改操作可以对二维图形进行修改。
在另一实施方式中，在确定第一标注操作对应的包围框之后，还可以接收标注人员针对三维界面中的包围框进行的修改操作，根据该修改操作直接对包围框进行修改。例如可以修改确定的包围框中的高度参量等，使得包围框的形状能更准确。
当包围框的形状改变后，在参考图像中的图像标注框的形状也可以相应地改变，实时地呈现在参考图像显示界面中。
S350：根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与第一标注操作对应的包围框映射到参考图像中，得到参考图像中的图像包围框。
S360：在显示参考图像的界面中显示图像包围框。
S370：根据包围框以及针对显示的图像包围框内的参考图像输入的属性信息，确定激光点云数据对应的标注信息。
步骤S350～S370分别与步骤S130～S150相同，具体说明可以参见图1所示实施例，此处不再赘述。
综上，本实施例中，可以根据第二映射关系将激光点云数据显示在二维俯视界面中，根据标注人员在二维俯视界面中输入的第一标注操作，结合激光点云数据的三维坐标确定包围框。相比于直接在三维界面中绘制长方体，在二维俯视界面中绘制二维图形对于标注人员来说更容易，因此本实施例能够降低标注人员的标注难度，提高标注效率。
本实施例基于二维平面空间的操作，使得标定更加快捷，降低了标注成本，并且对用户更为友好，专业技能要求更小。同时，三维和二维之间的映射参考，使得结果数据更为可信。
在本发明的另一实施例中，在图3所示实施例中，步骤S340，根据激光点云数据的三维坐标确定第一标注操作对应的包围框的步骤，具体可以包括步骤1a～3a。
步骤1a：根据第一标注操作确定二维标注框。
其中，二维标注框为二维图形。
步骤2a：以二维标注框在三维坐标系中指示的范围为搜索范围，从处在该搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点。
其中，第三坐标轴为：三维坐标系中除了二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。第三坐标轴可以为三维坐标系中竖直高度方向的坐标轴。二维俯视坐标系可以包含三维直角坐标系中的X轴和Y轴。X轴和Y轴即为第一坐标轴和第二坐标轴，Z轴为第三坐标轴。
二维标注框在三维坐标系中指示的范围，可以理解为，以二维标注框为横截面所形成的无限长的棱柱体。以该无限长的棱柱体内包含有激光点云数据。
从处在该搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点时，具体可以遍历搜索范围内的每个激光点云数据，得到在第三坐标轴方向上的坐标数值分布，取该坐标数值分布的上界和下界对应的数据点为边界数据点。
从处在该搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点时，也可以针对每两个激光点云数据之间在第三坐标轴方向上的距离，当该距离小于预设距离阈值时，将该两个激光点云数据进行连接；根据相互连接的激光点云数据在第三坐标轴方向的边界确定边界数据点。确定的边界数据点包括上底面数据点和下底面数据点。
在根据相互连接的激光点云数据在第三坐标轴方向的边界确定边界数据点时，还可以筛选出预设第三坐标轴坐标范围内相互连接的激光点云数据，根据筛选出的激光点云数据在第三坐标轴方向的边界，确定边界数据点。例如，预设第三坐标轴坐标范围，可以为从地面开始到地面以上2m或3m等范围。这样可以滤除掉超高范围内的障碍物，例如道路上方的交通牌、交通杆、树枝等物体，提高标注的准确性。
步骤3a：根据边界数据点的第三坐标轴坐标以及上述二维标注框，确定第一标注操作对应的包围框。
本步骤中，以二维标注框作为横截面，根据边界数据点中的上底面数据点和下底面数据点确定长方体的上底面和下底面，即可以得到第一标注操作对应的包围框。
综上，本实施例提供了根据在二维俯视界面中标注的第一标注操作确定包围框的实施方式，能够减少用户操作，提高标注准确性。
在本发明的另一实施例中，在图3所示实施例中，步骤3a，根据边界数据点的第三坐标轴坐标以及二维标注框，确定第一标注操作对应的包围框的步骤，具体可以包括以下步骤3a-1～3a-5。
步骤3a-1：根据边界数据点的第三坐标轴坐标以及二维标注框，确定待修正包围框。
本步骤的具体实施方式可以参见步骤3a部分的说明。
步骤3a-2：确定待修正包围框的其他面所在的其他二维坐标系与三维坐标系之间的第三映射关系。
其中，其他面包括背面和/或侧面，其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系。其他面可以理解为待修正包围框中除了二维俯视界面中显示的面之外、且与二维俯视界面中显示的面不平行的面。背面，是指站在激光雷达的位置面向待修正包围框时面对的平面或与该面对的平面平行的面。侧面，是指站在激光雷达的位置面向待修正包围框时待修正包围框侧向的平面，可以为左侧面或者右侧面。
本步骤中，可以根据待修正包围框在三维直角坐标系中的坐标确定其他二维坐标系与三维坐标系之间的第三映射关系。通过坐标转换即可以确定第三映射关系。
图4(2)为本发明提供的三维坐标系和二维俯视、背视、侧视坐标系的一种示意图。其中，在三维坐标系中的立方体为包围框，X轴方向为智能设备的行进方向，Z轴竖直向上，O点为激光雷达的位置，立方体的三条边分别平行于三维坐标系中的三个坐标轴。二维俯视坐标系中包含X轴和Y轴，二维背视坐标系中包含Z轴和Y轴，二维侧视坐标系中包含Z轴和X轴。根据该图能确定二维俯视坐标系、二维背视坐标系、二维侧视坐标系分别与三维坐标系之间的对应关系。其中，二维俯视坐标系与二维俯视界面对应，二维背视坐标系与二维背视界面对应，二维侧视坐标系与二维侧视界面对应。
当立方体包围框的边不平行于坐标轴时，可以根据边与坐标轴之间的夹角进行投影，得到立方体的背面和侧面所在的坐标系。
步骤3a-3：根据第三映射关系，将激光点云数据和待修正包围框显示在与其他二维坐标系对应的其他二维界面中。
参见图4(1)，右下角的两个界面分别为二维背视界面和二维侧视界面，其中显示了二维的待修正包围框以及激光点云数据。显示的各个二维界面可以供标注人员很好地查看所确定的待修正包围框，以便更准确地对待修正包围框的边进行修正。
步骤3a-4：获取针对其他二维界面显示的待修正包围框输入的修正操作。
本步骤包括，获取标注人员针对其他二维界面显示的待修正包围框输入的修正操作。其中，该修正操作可以包括平移、旋转、缩短、加长中的至少一种。
步骤3a-5：根据修正操作对待修正包围框进行修正，得到第一标注操作对应的包围框。
在另一种实施方式中，还可以根据激光点云数据与待修正包围框之间的距离，对待修正包围框的边进行修正，使得待修正包围框的边与激光点云数据更贴合。
当对待修正包围框进行修正之后，修正后得到的包围框可以实时地显示在二维俯视界面和三维界面中。
综上，本实施例可以在得到待修正包围框时，将待修正包围框和激光点云数据显示在二维背视和/或侧视界面中，这使得标注人员可以从更多种视图中查看待修正包围框，且对待修正包围框进行修正，在二维界面中对待修正包围框进行修正对标注人员来说更易于实施，同时也能提高标注框的精确性。
在本发明的另一实施例中，基于图3所示实施例，步骤3a-3，根据第三映射关系，将激光点云数据和待修正包围框显示在与其他二维坐标系对应的其他二维界面中的步骤，具体包括：
根据第三映射关系，将待修正包围框显示在与其他二维坐标系对应的其他二维界面中；确定处于待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于待修正包围框内的激光点云数据显示在其他二维界面中。上述颜色可以为高亮颜色。
本实施例中，确定处于待修正包围框内的激光点云数据对应的颜色时，可以在预设颜色范围内随机确定处于待修正包围框内的激光点云数据对应的颜色，也可以将预设颜色确定为处于待修正包围框内的激光点云数据对应的颜色。
综上，本实施例中可以将待修正包围框内的激光点云数据显示为确定的颜色，能够实现对待修正包围框内的激光点云数据的突出显示，这样更利于标注人员有效区分显示数据点和参考数据点。
在本发明的另一实施例中，基于图3所示实施例，步骤S320，将所述激光点云数据显示在二维俯视界面中的步骤，可以包括：
按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将激光点云数据显示在与二维俯视坐标系对应的二维俯视界面中。
其中，第三坐标轴为：三维坐标系中除了二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。第三坐标轴为竖直高度方向上的坐标轴。
第三坐标轴坐标与颜色的对应关系具体可以包括：各个第三坐标轴坐标区间与颜色的对应关系。例如，地面附近的坐标区域对应蓝色，地面以上2m区间内的坐标对应灰色，2m以上区间的坐标对应黄色。
综上，本实施例中可以在二维俯视界面中使得激光点云数据按照Z轴坐标进行着色，这样能够使得在二维俯视界面中通过颜色确定激光点云数据所处的高度，更利于标注人员有效区分显示数据点和参考数据点。
下面以具体实例对本发明中各个显示界面的功能进行详细说明。
在参考图像显示界面中，支持1)直接聚焦显示到包围框框选的对象，并根据映射关系实时显示根据其他显示界面的操作对应的操作；2)实时将图像包围框显示为棱柱体，并特殊显示车头方向的面；3)支持进行全局拖动的操作方式；4)支持全局缩放与还原的操作。
在三维界面中，支持1)直接聚焦显示到包围框框选的对象，并根据映射关系实时显示与二维显示界面中的操作对应的操作；2)实时将包围框显示为棱柱体，并特殊显示车头方向的面；3)特定的激光点云数据着色显示方案；4)全局拖动旋转；5)全局缩放还原；6)全局像素点缩放。
二维俯视界面为主要的操作界面，支持1)通过鼠标和键盘的配合使用进行框定，调整框定对象的长和宽；2)对框定对象进行修改、拖动、旋转、缩放、删除、多选等操作；3)特定的激光点云着色显示方案；4)全局像素点缩放。
二维背视界面为辅助操作界面，支持1)通过二维背视界面调整框定对象的宽和高；2)支持根据激光点云数据进行贴合操作等辅助标注；3)特定的激光点云着色显示方案；4)全局像素点缩放；5)全局拖动、缩放。
二维侧视界面为辅助操作界面，支持1)通过二维侧视界面调整框定对象的长和高；2)根据激光点云数据进行贴合操作等辅助标注；3)特定的点云着色显示方案；4)全局像素点缩放；5)全局拖动、缩放。
图4(3)为本发明实施例提供的各个单元加载时的一种流程示意图。图像加载单元和激光点云加载单元载入激光点云数据和参考图像之后，图像显示单元显示载入的参考图像，激光点云显示单元在三维界面中显示载入的激光点云数据。激光点云显示单元可以为三维控件。计算单元可以将计算得到的激光点云数据的俯视数据发送到点云俯视图显示单元，通过点云俯视图显示单元进行显示。在标注人员输入标注操作时，交互单元和计算单元根据标注操作完成在俯视图中对长方形的框定。计算单元根据长方形得到长方体，并通过图像显示单元和激光点云显示单元对应显示该长方体。计算模块根据该长方体得到背视图中的长方形和侧视图中的长方形，并通过点云背视图显示单元和点云侧视图显示单元对相应的长方形进行显示。标注人员的持续交互触发计算模块，使得计算模块根据交互操作对各显示界面中的长方形和长方体进行修改。
图5为本发明实施例提供的激光点云数据标注装置的一种结构示意图。该装置实施例应用于电子设备。该装置实施例与图1所示方法实施例相对应。该装置包括：
第一获取模块510，被配置为获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像；
第二获取模块520，被配置为获取针对显示的所述激光点云数据输入的第一标注操作；
映射模块530，被配置为根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与所述第一标注操作对应的包围框映射到所述参考图像中，得到所述参考图像中的图像包围框；其中，所述图像坐标系为所述参考图像所在的坐标系，所述三维坐标系为所述激光点云数据所在的坐标系；
第一显示模块540，被配置为在显示所述参考图像的界面中显示所述图像包围框；
第一确定模块550，被配置为根据所述包围框以及针对显示的所述图像包围框内的参考图像输入的属性信息，确定所述激光点云数据对应的标注信息。
在本发明的另一实施例中，基于图5所示实施例，当所述参考图像为全景图像时，所述第一映射关系包括：
y'＝(θ/π)*H
其中，所述x'和y'为所述图像坐标系中的坐标，所述W和H分别为所述参考图像的宽度和高度，所述θ和分别为三维球坐标系中的球坐标。
在本发明的另一实施例中，基于图5所示实施例可以得到图6所示实施例。图6所示实施例与图2所示方法实施例相对应。本实施例包括：第一获取模块610、第二显示模块620、第二获取模块630、映射模块640、第一显示模块650和第一确定模块660。其中，第一获取模块610、映射模块640、第一显示模块650和第一确定模块660分别与图5所示实施例中的第一获取模块510、映射模块530、第一显示模块540和第一确定模块550相同，具体说明参见图5所示实施例，此处不再赘述。
第二显示模块620，被配置为在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；
第二获取模块630，具体被配置为：
获取针对三维界面中显示的激光点云数据输入的第一标注操作；
第二显示模块620，还被配置为在确定与所述第一标注操作对应的包围框之后，在三维界面中显示所述包围框。
在本发明的另一实施例中，基于图5所示实施例可以得到图7所示实施例。图7所示实施例与图3所示方法实施例相对应。本实施例包括：第一获取模块710、第三显示模块720、第二获取模块730、第二确定模块740、映射模块750、第一显示模块760和第一确定模块770。其中，第一获取模块710、映射模块750、第一显示模块760和第一确定模块770分别与图5所示实施例中的第一获取模块510、映射模块530、第一显示模块540和第一确定模块550相同，具体说明参见图5所示实施例，此处不再赘述。
本实施例中，第三显示模块720，被配置为在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，根据二维俯视坐标系与所述三维坐标系之间的第二映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述二维俯视界面与所述二维俯视坐标系对应；
第二获取模块730，具体被配置为获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；
第二确定模块740，被配置为采用以下操作确定与所述第一标注操作对应的包围框：根据所述激光点云数据的三维坐标确定所述第一标注操作对应的包围框。
在本发明的另一实施例中，基于图7所示实施例，第二确定模块740，具体被配置为：
根据所述第一标注操作确定二维标注框；
以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框。
在本发明的另一实施例中，基于图7所示实施例，第二确定模块740，根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框时，包括：
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；
确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第三映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；
根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
获取针对所述其他二维界面显示的待修正包围框输入的修正操作；
根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框。
在本发明的另一实施例中，基于图7所示实施例，所述第二确定模块，根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中时，包括：
根据所述第三映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在其他二维界面中。
在本发明的另一实施例中，基于图7所示实施例，第三显示模块720具体被配置为：
按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；
其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。
上述图5～7所示装置实施例分别与图1～图3所示方法实施例相对应，与对应的方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (16)

1.一种激光点云数据标注方法，其特征在于，包括：
获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像；
获取针对显示的所述激光点云数据输入的第一标注操作；
根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与所述第一标注操作对应的包围框映射到所述参考图像中，得到所述参考图像中的图像包围框；其中，所述图像坐标系为所述参考图像所在的坐标系，所述三维坐标系为所述激光点云数据所在的坐标系；
在显示所述参考图像的界面中显示所述图像包围框；
根据所述包围框以及针对显示的所述图像包围框内的参考图像输入的属性信息，确定所述激光点云数据对应的标注信息。
2.如权利要求1所述的方法，其特征在于，当所述参考图像为全景图像时，所述第一映射关系包括：
y'＝(θ/π)*H
其中，所述x'和y'为所述图像坐标系中的坐标，所述W和H分别为所述参考图像的宽度和高度，所述θ和分别为三维球坐标系中的球坐标。
3.如权利要求1所述的方法，其特征在于，在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，所述方法还包括：
将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；
所述获取针对显示的所述激光点云数据输入的第一标注操作的步骤，包括：
获取针对所述三维界面中显示的激光点云数据输入的第一标注操作；
在确定与所述第一标注操作对应的包围框之后，所述方法还包括：
在所述三维界面中显示所述包围框。
4.如权利要求1所述的方法，其特征在于，在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，所述方法还包括：
根据二维俯视坐标系与所述三维坐标系之间的第二映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述二维俯视界面与所述二维俯视坐标系对应；
所述获取针对显示的所述激光点云数据输入的第一标注操作的步骤，包括：
获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；
确定与所述第一标注操作对应的包围框的步骤，包括：
根据所述激光点云数据的三维坐标确定所述第一标注操作对应的包围框。
5.如权利要求4所述的方法，其特征在于，所述根据所述激光点云数据的三维坐标确定所述第一标注操作对应的包围框的步骤，包括：
根据所述第一标注操作确定二维标注框；
以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框。
6.如权利要求5所述的方法，其特征在于，所述根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框的步骤，包括：
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；
确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第三映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；
根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
获取针对所述其他二维界面显示的待修正包围框输入的修正操作；
根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框。
7.如权利要求6所述的方法，其特征在于，所述根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中的步骤，包括：
根据所述第三映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。
8.如权利要求4所述的方法，其特征在于，所述将所述激光点云数据显示在二维俯视界面中的步骤，包括：
按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；
其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。
9.一种激光点云数据标注装置，其特征在于，包括：
第一获取模块，被配置为获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像；
第二获取模块，被配置为获取针对显示的所述激光点云数据输入的第一标注操作；
映射模块，被配置为根据预先确定的图像坐标系与三维坐标系之间的第一映射关系，将确定的与所述第一标注操作对应的包围框映射到所述参考图像中，得到所述参考图像中的图像包围框；其中，所述图像坐标系为所述参考图像所在的坐标系，所述三维坐标系为所述激光点云数据所在的坐标系；
第一显示模块，被配置为在显示所述参考图像的界面中显示所述图像包围框；
第一确定模块，被配置为根据所述包围框以及针对显示的所述图像包围框内的参考图像输入的属性信息，确定所述激光点云数据对应的标注信息。
10.如权利要求9所述的装置，其特征在于，当所述参考图像为全景图像时，所述第一映射关系包括：
y'＝(θ/π)*H
其中，所述x'和y'为所述图像坐标系中的坐标，所述W和H分别为所述参考图像的宽度和高度，所述θ和分别为三维球坐标系中的球坐标。
11.如权利要求9所述的装置，其特征在于，所述装置还包括第二显示模块；
所述第二显示模块，被配置为在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，将所述激光点云数据显示在三维界面中；其中，所述三维界面与所述三维坐标系对应；
所述第二获取模块，具体被配置为：
获取针对所述三维界面中显示的激光点云数据输入的第一标注操作；
所述第二显示模块，还被配置为在确定与所述第一标注操作对应的包围框之后，在所述三维界面中显示所述包围框。
12.如权利要求9所述的装置，其特征在于，所述装置还包括第三显示模块和第二确定模块；
所述第三显示模块，被配置为在获取同时刻采集的针对激光雷达周围环境的激光点云数据和参考图像之后，根据二维俯视坐标系与所述三维坐标系之间的第二映射关系，将所述激光点云数据显示在二维俯视界面中；其中，所述二维俯视界面与所述二维俯视坐标系对应；
所述第二获取模块，具体被配置为：
获取针对所述二维俯视界面显示的激光点云数据输入的第一标注操作；
所述第二确定模块，被配置为采用以下操作确定与所述第一标注操作对应的包围框：
根据所述激光点云数据的三维坐标确定所述第一标注操作对应的包围框。
13.如权利要求12所述的装置，其特征在于，所述第二确定模块，具体被配置为：
根据所述第一标注操作确定二维标注框；
以所述二维标注框在所述三维坐标系中指示的范围为搜索范围，从处在所述搜索范围内的激光点云数据中确定第三坐标轴方向的边界数据点；其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴；
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框。
14.如权利要求13所述的装置，其特征在于，所述第二确定模块，根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定所述第一标注操作对应的包围框时，包括：
根据所述边界数据点的第三坐标轴坐标以及所述二维标注框，确定待修正包围框；
确定所述待修正包围框的其他面所在的其他二维坐标系与所述三维坐标系之间的第三映射关系；其中，所述其他面包括背面和/或侧面，所述其他二维坐标系包括：二维背视坐标系和/或二维侧视坐标系；
根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
获取针对所述其他二维界面显示的待修正包围框输入的修正操作；
根据所述修正操作对所述待修正包围框进行修正，得到所述第一标注操作对应的包围框。
15.如权利要求14所述的装置，其特征在于，所述第二确定模块，根据所述第三映射关系，将所述激光点云数据和所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中时，包括：
根据所述第三映射关系，将所述待修正包围框显示在与所述其他二维坐标系对应的其他二维界面中；
确定处于所述待修正包围框内的激光点云数据对应的颜色，根据确定的颜色，将处于所述待修正包围框内的激光点云数据显示在所述其他二维界面中。
16.如权利要求12所述的装置，其特征在于，所述第三显示模块，具体被配置为：
按照预先设定的第三坐标轴坐标与颜色的对应关系，确定每个激光点云数据对应的颜色，根据确定的颜色，将所述激光点云数据显示在与所述二维俯视坐标系对应的二维俯视界面中；
其中，所述第三坐标轴为：所述三维坐标系中除了所述二维俯视坐标系包含的第一坐标轴和第二坐标轴之外的坐标轴。
CN201910252282.7A 2019-03-29 2019-03-29 一种激光点云数据标注方法及装置 Pending CN110135453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910252282.7A CN110135453A (zh) 2019-03-29 2019-03-29 一种激光点云数据标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910252282.7A CN110135453A (zh) 2019-03-29 2019-03-29 一种激光点云数据标注方法及装置

Publications (1)

Publication Number Publication Date
CN110135453A true CN110135453A (zh) 2019-08-16

Family

ID=67569052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910252282.7A Pending CN110135453A (zh) 2019-03-29 2019-03-29 一种激光点云数据标注方法及装置

Country Status (1)

Country Link
CN (1) CN110135453A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062255A (zh) * 2019-11-18 2020-04-24 苏州智加科技有限公司 三维点云的标注方法、装置、设备及存储介质
CN111123912A (zh) * 2019-11-29 2020-05-08 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN112070830A (zh) * 2020-11-13 2020-12-11 北京云测信息技术有限公司 点云图像的标注方法、装置、设备和存储介质
CN112132901A (zh) * 2020-09-30 2020-12-25 上海商汤临港智能科技有限公司 一种点云标注的方法、装置、电子设备及存储介质
CN112419233A (zh) * 2020-10-20 2021-02-26 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112949551A (zh) * 2021-03-19 2021-06-11 科大讯飞股份有限公司 一种眼部关键信息确定方法、装置、设备及存储介质
CN112950785A (zh) * 2019-12-11 2021-06-11 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112989877A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 点云数据中标注对象的方法及装置
CN112990200A (zh) * 2021-03-31 2021-06-18 上海商汤临港智能科技有限公司 一种数据标注方法、装置、计算机设备及存储介质
CN113066007A (zh) * 2021-06-03 2021-07-02 潍坊幻视软件科技有限公司 指示3d空间中目标位置的方法
CN113160349A (zh) * 2020-01-07 2021-07-23 北京地平线机器人技术研发有限公司 点云标注方法、装置、存储介质及电子设备
CN113378606A (zh) * 2020-03-10 2021-09-10 杭州海康威视数字技术股份有限公司 一种标注信息确定方法、装置及系统
CN114120642A (zh) * 2021-11-23 2022-03-01 深圳大学 一种道路车流三维重建方法、计算机设备及存储介质
CN114495038A (zh) * 2022-01-12 2022-05-13 九识(苏州)智能科技有限公司 一种自动驾驶检测标注数据的后处理方法
CN117557999A (zh) * 2023-11-20 2024-02-13 镁佳(北京)科技有限公司 一种图像联合标注方法、计算机设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074772A1 (en) * 2009-09-28 2011-03-31 Sony Computer Entertainment Inc. Three-dimensional object processing device, three-dimensional object processing method, and information storage medium
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN106780573A (zh) * 2016-11-15 2017-05-31 山东大学 一种全景图特征匹配精度优化的方法及系统
CN107358640A (zh) * 2017-07-05 2017-11-17 北京旋极伏羲大数据技术有限公司 一种晕渲目标区域的地形和地物的方法及装置
CN107818293A (zh) * 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN109215112A (zh) * 2018-08-13 2019-01-15 西安理工大学 一种单侧点云模型的标注方法
CN109509236A (zh) * 2017-09-15 2019-03-22 百度在线网络技术（北京）有限公司 无人驾驶场景中的车辆包围盒生成方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074772A1 (en) * 2009-09-28 2011-03-31 Sony Computer Entertainment Inc. Three-dimensional object processing device, three-dimensional object processing method, and information storage medium
CN107818293A (zh) * 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN106780573A (zh) * 2016-11-15 2017-05-31 山东大学 一种全景图特征匹配精度优化的方法及系统
CN107358640A (zh) * 2017-07-05 2017-11-17 北京旋极伏羲大数据技术有限公司 一种晕渲目标区域的地形和地物的方法及装置
CN109509236A (zh) * 2017-09-15 2019-03-22 百度在线网络技术（北京）有限公司 无人驾驶场景中的车辆包围盒生成方法、装置及存储介质
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN109215112A (zh) * 2018-08-13 2019-01-15 西安理工大学 一种单侧点云模型的标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏永泉 等: "《Photoshop教程》", 31 August 2009, 河南大学出版社 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062255A (zh) * 2019-11-18 2020-04-24 苏州智加科技有限公司 三维点云的标注方法、装置、设备及存储介质
CN111123912A (zh) * 2019-11-29 2020-05-08 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111123912B (zh) * 2019-11-29 2023-01-31 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN112950785B (zh) * 2019-12-11 2023-05-30 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112950785A (zh) * 2019-12-11 2021-06-11 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112989877A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 点云数据中标注对象的方法及装置
CN113160349A (zh) * 2020-01-07 2021-07-23 北京地平线机器人技术研发有限公司 点云标注方法、装置、存储介质及电子设备
CN111310667A (zh) * 2020-02-18 2020-06-19 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN111310667B (zh) * 2020-02-18 2023-09-01 北京小马慧行科技有限公司 确定标注是否准确的方法、装置、存储介质与处理器
CN113378606A (zh) * 2020-03-10 2021-09-10 杭州海康威视数字技术股份有限公司 一种标注信息确定方法、装置及系统
CN112132901A (zh) * 2020-09-30 2020-12-25 上海商汤临港智能科技有限公司 一种点云标注的方法、装置、电子设备及存储介质
WO2022068225A1 (zh) * 2020-09-30 2022-04-07 上海商汤临港智能科技有限公司 点云标注的方法、装置、电子设备、存储介质及程序产品
CN112419233A (zh) * 2020-10-20 2021-02-26 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112419233B (zh) * 2020-10-20 2022-02-22 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112070830A (zh) * 2020-11-13 2020-12-11 北京云测信息技术有限公司 点云图像的标注方法、装置、设备和存储介质
CN112949551A (zh) * 2021-03-19 2021-06-11 科大讯飞股份有限公司 一种眼部关键信息确定方法、装置、设备及存储介质
CN112990200A (zh) * 2021-03-31 2021-06-18 上海商汤临港智能科技有限公司 一种数据标注方法、装置、计算机设备及存储介质
CN113066007A (zh) * 2021-06-03 2021-07-02 潍坊幻视软件科技有限公司 指示3d空间中目标位置的方法
CN114120642A (zh) * 2021-11-23 2022-03-01 深圳大学 一种道路车流三维重建方法、计算机设备及存储介质
CN114495038A (zh) * 2022-01-12 2022-05-13 九识(苏州)智能科技有限公司 一种自动驾驶检测标注数据的后处理方法
CN117557999A (zh) * 2023-11-20 2024-02-13 镁佳(北京)科技有限公司 一种图像联合标注方法、计算机设备及介质

Similar Documents

Publication Publication Date Title
CN110135453A (zh) 一种激光点云数据标注方法及装置
CN110136273A (zh) 一种用于机器学习中的样本数据标注方法及装置
CN106127853B (zh) 一种无人机探测范围分析方法
CN105719284B (zh) 一种数据处理方法、装置及终端
CN108401461A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108198145A (zh) 用于点云数据修复的方法和装置
CN110312912A (zh) 车辆自动停车系统和方法
CN110176078B (zh) 一种训练集数据的标注方法及装置
CN113009506B (zh) 一种虚实结合的实时激光雷达数据生成方法、系统及设备
CN101236702A (zh) 基于虚拟现实的驾驶员注视物体识别系统
CN107808123A (zh) 图像可行域检测方法、电子设备、存储介质、检测系统
CN108961146A (zh) 渲染感知地图的方法和装置
CN105701261A (zh) 近场飞机自动跟踪与监测方法
CN103593869B (zh) 一种扫描设备及其图像显示方法
CN109583312A (zh) 车道线识别方法、装置、设备及存储介质
CN111400423B (zh) 基于多视图几何的智慧城市cim三维车辆位姿建模系统
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
CN115292913A (zh) 一种面向车路协同的路测感知仿真系统
CN112639822B (zh) 一种数据处理方法及装置
CN106231286B (zh) 一种三维图像生成方法及装置
CN102168973B (zh) 全方位视觉传感器自动导航z轴定位方法及其定位系统
Zhang et al. Automated visibility field evaluation of traffic sign based on 3D lidar point clouds
CN113362458B (zh) 模拟多视角成像的三维模型解译方法、终端及存储介质
Díaz-Vilariño et al. From point clouds to 3D isovists in indoor environments
CN113223146A (zh) 一种基于三维仿真场景的数据标注方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211124

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816