CN107871129B - 用于处理点云数据的方法和装置 - Google Patents

用于处理点云数据的方法和装置 Download PDF

Info

Publication number
CN107871129B
CN107871129B CN201610855546.4A CN201610855546A CN107871129B CN 107871129 B CN107871129 B CN 107871129B CN 201610855546 A CN201610855546 A CN 201610855546A CN 107871129 B CN107871129 B CN 107871129B
Authority
CN
China
Prior art keywords
cloud
frame
camera image
cloud frame
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610855546.4A
Other languages
English (en)
Other versions
CN107871129A (zh
Inventor
冯凯文
陈卓
刘博聪
梁艺冰
马彧
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610855546.4A priority Critical patent/CN107871129B/zh
Priority to US15/410,713 priority patent/US10268926B2/en
Publication of CN107871129A publication Critical patent/CN107871129A/zh
Application granted granted Critical
Publication of CN107871129B publication Critical patent/CN107871129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G06T3/067—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请公开了用于处理点云数据的方法和装置。所述方法的一具体实施方式包括：展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像；响应于用户对所述点云帧中的物体进行选定的操作，确定选定物体在所述点云帧中的区域；将所述区域从所述点云帧投影到所述相机图像中，得到所述相机图像中的投影区域；在所述投影区域处添加标记，以供所述用户根据所述标记在所述相机图像中所指示的物体对所述点云帧中的选定物体进行标注。该实施方式可以辅助标注人员快速准确地标注点云帧中的物体。

Description

用于处理点云数据的方法和装置
技术领域
本申请涉及计算机技术领域，具体涉及数据处理技术领域，尤其涉及用于处理点云数据的方法和装置。
背景技术
在对点云数据的识别算法进行训练时，需要使用大量标注过的点云数据作为训练样本。因此，需要预先采集大量不同场景的点云数据，并对其进行准确标注，才能保证优化过程顺利进行。现有技术中，通常通过人工方式对采集的点云数据进行标注。
然而，物体在点云中表现的特征往往不明显，而且还会受到地面和其它杂物的影响，面对大量需要标注的数据，采用人工标注方式时标注的速度较慢，也容易将具有相似特征的物体标注错误。
发明内容
本申请的目的在于提出一种改进的用于处理点云数据的方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种用于处理点云数据的方法，所述方法包括：展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像；响应于用户对所述点云帧中的物体进行选定的操作，确定选定物体在所述点云帧中的区域；将所述区域从所述点云帧投影到所述相机图像中，得到所述相机图像中的投影区域；在所述投影区域处添加标记，以供所述用户根据所述标记在所述相机图像中所指示的物体对所述点云帧中的选定物体进行标注。
在一些实施例中，所述方法还包括：响应于所述用户根据所述标记对所述点云帧中的选定物体的标注操作，根据所述标注操作的操作信息生成已标注点云帧。
在一些实施例中，所述方法还包括：将所述已标注点云帧作为样本数据对障碍物识别算法进行训练，以更新所述障碍物识别算法。
在一些实施例中，所述展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像，包括：将原始点云数据中待标注的点云帧保存为点云文件；使用点云可视化工具加载所述点云文件，以在所述点云可视化工具中展示所述点云帧。
在一些实施例中，所述展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像，还包括：使用所述点云可视化工具加载所述相机图像对应的图像文件，以在所述点云可视化工具中展示所述相机图像。
第二方面，本申请提供了一种用于处理点云数据的装置，展示单元，用于展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像；确定单元，用于响应于用户对所述点云帧中的物体进行选定的操作，确定选定物体在所述点云帧中的区域；投影单元，将所述区域从所述点云帧投影到所述相机图像中，得到所述相机图像中的投影区域；标记单元，在所述投影区域处添加标记，以供所述用户根据所述标记在所述相机图像中所指示的物体对所述点云帧中的选定物体进行标注。
在一些实施例中，所述装置还包括：生成单元，用于响应于所述用户根据所述标记对所述点云帧中的选定物体的标注操作，根据所述标注操作的操作信息生成已标注点云帧。
在一些实施例中，所述装置还包括：训练单元，用于将所述已标注点云帧作为样本数据对障碍物识别算法进行训练，以更新所述障碍物识别算法。
在一些实施例中，所述展示单元用于：将原始点云数据中待标注的点云帧保存为点云文件；使用点云可视化工具加载所述点云文件，以在所述点云可视化工具中展示所述点云帧。
在一些实施例中，所述展示单元还用于：使用所述点云可视化工具加载所述相机图像对应的图像文件，以在所述点云可视化工具中展示所述相机图像。
本申请提供的用于处理点云数据的方法和装置，通过三维数据到二维数据的投影技术，结合同一时刻的点云数据和相机数据，利用相机图像中物体易于识别的特点帮助标注人员快速准确地标注物体，在提升标注效率的同时，杜绝的物体类型标注错误的发生，保证了标注数据的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的用于处理点云数据的方法的一个实施例的流程图；
图3是根据本申请的用于处理点云数据的方法的一个应用场景的示意图；
图4是根据本申请的用于处理点云数据的装置的一个实施例的结构示意图；
图5是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于处理点云数据的方法或装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101，网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如点云可视化工具等。
终端设备101可以是具有显示屏并且支持点云可视化工具运行的各种电子设备，包括但不限于膝上型便携计算机和台式计算机等等。
服务器103可以是提供各种服务的服务器，例如对终端设备101上显示的信息提供支持的后台服务器。后台服务器可以对接收到的数据进行分析等处理，并将处理结果反馈给终端设备。
需要说明的是，本申请实施例所提供的用于处理点云数据的方法一般由终端设备101执行，相应地，用于处理点云数据的装置一般设置于终端设备101中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的用于处理点云数据的方法的一个实施例的流程200。所述的用于处理点云数据的方法，包括以下步骤：
步骤201，展示待标注的点云帧以及与点云帧在同一时刻对同一场景进行拍摄所形成的相机图像。
在本实施例中，用于处理点云数据的方法运行于其上的电子设备(例如图1所示的终端设备)可以预先安装有点云可视化工具。该点云可视化工具可以是支持对点云帧进行三维展示以及标注的应用程序。电子设备可以是通过有线连接方式或者无线连接方式从服务器获取到该点云可视化工具的安装文件后进行安装而部署在电子设备上的。
电子设备可以利用所安装的该点云可视化工具展示待标注的点云帧，所展示的点云帧可供后续过程中用户对其中的物体进行标注。此外，点云可视化工具需要支持对二维图像的展示，从而使得电子设备还可以使用该点云可视化工具展示相机图像。该相机图像是与点云帧在同一时刻对同一场景进行拍摄而所形成的，即点云帧和相机图像进行数据采集所针对的场景是相同的。
步骤202，响应于用户对点云帧中的物体进行选定的操作，确定选定物体在点云帧中的区域。
在本实施例中，点云可视化工具有对点云中的物体进行标注的功能，可以供用户在点云可视化工具所展示的点云帧中选定需要标注的物体。因此，电子设备可以检测用户对点云帧中的物体进行选定的操作。当检测到该操作时，电子设备可以确定选定物体在点云帧中的区域。通常，可以采用该区域中点的三维坐标表征该区域。
步骤203，将上述区域从点云帧投影到相机图像中，得到相机图像中的投影区域。
在本实施例中，基于步骤202所确定的选定物体在点云帧中的区域，电子设备可以根据点云帧与相机图像之间的坐标映射关系将该区域投影到相机图像中，得到投影区域。该坐标映射关系为三维坐标到二维坐标的映射关系，可以通过采集点云数据所用的激光雷达的参数以及拍摄相机图像所用的相机的参数确定，也可以预先通过已标定好的点云数据以及相机图像中对应物体的坐标计算出来。
步骤204，在投影区域处添加标记，以供用户根据该标记在相机图像中所指示的物体对点云帧中的选定物体进行标注。
在本实施例中，基于步骤203所得到的投影区域，电子设备可以在该投影区域添加标记，使得用户可以辨认出该标记在相机图像中指示的物体。基于点云帧与相机图像之间的坐标映射关系，可知该标记指示的物体与点云帧中的选定物体对应于现实中的同一物体，因此用户可以识别出该标记在相机图像中指示的物体的物体类型后，将该物体类型作为点云帧中选定物体的物体类型，完成该选定物体的标注。
在本实施例的一些可选实现方式中，上述方法还包括：响应于用户对点云帧中的选定物体的标注操作，根据标注操作的操作信息生成已标注点云帧。在该实现方式中，用户可以根据上述标记所指示的物体对点云帧中的选定物体进行标注操作。电子设备可以对该标记操作进行检测，当检测到该标注操作时，电子设备可以根据该标注操作的操作信息生成已标注点云帧。例如，标记在相机图像中指示的物体是人的影像，用户可以根据该标记执行标注操作。当该标注操作的操作信息是将点云帧的选定物体标注为人时，电子设备即可根据在所生成的已标注点云帧中将选定物体标注为人。
在本实施例的一些可选实现方式中，上述方法还包括：将已标注点云帧作为样本数据对障碍物识别算法进行训练，以更新障碍物识别算法。已标注点云帧的一个重要应用是用作与点云相关的计算模型的训练样本。在本实施例中，可以将该已标注点云帧作为对障碍物识别算法进行训练的样本数据，以更新障碍物识别算法。
在本实施例的一些可选实现方式中，上述步骤201包括：将原始点云数据中待标注的点云帧保存为点云文件；使用点云可视化工具加载点云文件，以在点云可视化工具中展示点云帧。电子设备可以首先将激光传感器所采集的原始点云数据中的每一个待标注的点云帧保存为点云文件。实践中，在保存点云文件时，可以通过导出程序将点云帧导出，得到导出文件。其中，所导出的点云文件通常需要是点云可视化工具所支持的文件格式。之后，电子设备使用点云可视化工具加载点云文件，以在点云可视化工具中展示点云帧。
在上一实现方式的一些可选实现方式中，上述步骤201还包括：使用点云可视化工具加载相机图像对应的图像文件，以在点云可视化工具中展示相机图像。
可选的，上述待标注的点云帧以及相机图像可以是分别使用车辆的车载激光雷达以及车载相机拍摄到的。在该实现方式中，所采集到的数据与车辆实际行驶过程中采集的数据在角度上尽可能接近，从而可以使得标注后的点云帧作为对无人驾驶车辆的点云识别算法进行训练的样本。
继续参见图3，图3是根据本实施例的用于处理点云数据的方法的应用场景的一个示意图。在图3的应用场景中，用户可以使用终端设备的导出程序将点云数据中的每一个点云帧导出为点云文件；其次，用户可以使用终端设备的点云可视化工具加载该点云文件，以使终端设备通过点云可视化工具中展示待标注的点云帧，如图3中的区域301所示；此外，用户还可以使用终端设备的点云可视化工具加载相机图像，以通过点云可视化工具中展示该相机图像，如图3中的区域302所示；之后，用户可以在区域301中框选出需要标注的选定物体303、选定物体304；电子设备可以确定选定物体在点云中的区域，并将该区域投影到区域302所展示的相机图像中，从而自动在区域302所展示的相机图像中添加用作标记的边框305、边框306；然后，用户可以识别出边框305中的物体为行人以及边框306的物体为骑脚踏车的人，从而根据识别结果在区域307执行标注操作，将识别结果作为输入点云可视化工具的输入信息；最后，终端设备即可根据该输入信息将点云帧中的选定物体303、选定物体304分别标注为行人和骑脚踏车的人。
本申请的上述实施例提供的方法通过三维数据到二维数据的投影技术，结合同一时刻的点云数据和相机数据，利用相机图像中物体易于识别的特点帮助标注人员快速准确地标注物体，在提升标注效率的同时，降低物体类型标注错误的发生概率，保证了标注数据的准确性。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种用于处理点云数据的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种终端设备中。
如图4所示，本实施例所述的用于处理点云数据的装置400包括：展示单元401、确定单元402、投影单元403和标记单元404。其中，展示单元401用于使用点云可视化工具中展示待标注的点云帧以及与点云帧在同一时刻对同一场景进行拍摄所形成的相机图像；确定单元402用于响应于用户对点云帧中的物体进行选定的操作，确定选定物体在点云帧中的区域；投影单元403将区域从点云帧投影到相机图像中，得到相机图像中的投影区域；而标记单元404在投影区域处添加标记，以供用户根据标记在相机图像中所指示的物体对点云帧中的选定物体进行标注。
在本实施例中，用于处理点云数据的装置400的展示单元401、确定单元402、投影单元403和标记单元404的具体处理可以参考图2对应实施例的步骤201、步骤202、步骤203和步骤204，这里不再赘述。
在本实施例的一些可选实现方式中，装置400还包括：生成单元405，用于响应于用户根据所述标记对点云帧中的选定物体的标注操作，根据标注操作的操作信息生成已标注点云帧。
在本实施例的一些可选实现方式中，装置400还包括：训练单元(未示出)，用于将已标注点云帧作为样本数据对障碍物识别算法进行训练，以更新障碍物识别算法。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，展示单元401用于：将原始点云数据中待标注的点云帧保存为点云文件；使用点云可视化工具加载点云文件，以在点云可视化工具中展示点云帧。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
在本实施例的一些可选实现方式中，展示单元401还用于：使用点云可视化工具加载相机图像对应的图像文件，以在点云可视化工具中展示相机图像。该实现方式的具体处理可以参考图2对应实施例中相应的实现方式，这里不再赘述。
下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统500的结构示意图。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个边框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，边框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的边框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个边框、以及框图和/或流程图中的边框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括展示单元、确定单元、投影单元和标记单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，展示单元还可以被描述为“展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像；响应于用户对所述点云帧中的物体进行选定的操作，确定选定物体在所述点云帧中的区域；将所述区域从所述点云帧投影到所述相机图像中，得到所述相机图像中的投影区域；在所述投影区域处添加标记，以供所述用户根据所述标记在所述相机图像中所指示的物体对所述点云帧中的选定物体进行标注。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于处理点云数据的方法，其特征在于，所述方法包括：
展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像；
响应于用户对所述点云帧中的物体进行选定的操作，确定选定物体在所述点云帧中的区域；
将所述区域从所述点云帧投影到所述相机图像中，得到所述相机图像中的投影区域；
在所述投影区域处添加标记，以供所述用户根据所述标记在所述相机图像中所指示的物体对所述点云帧中的选定物体进行标注。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于所述用户根据所述标记对所述点云帧中的选定物体的标注操作，根据所述标注操作的操作信息生成已标注点云帧。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述已标注点云帧作为样本数据对障碍物识别算法进行训练，以更新所述障碍物识别算法。
4.根据权利要求1所述的方法，其特征在于，所述展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像，包括：
将原始点云数据中待标注的点云帧保存为点云文件；
使用点云可视化工具加载所述点云文件，以在所述点云可视化工具中展示所述点云帧。
5.根据权利要求4所述的方法，其特征在于，所述展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像，还包括：
使用所述点云可视化工具加载所述相机图像对应的图像文件，以在所述点云可视化工具中展示所述相机图像。
6.一种用于处理点云数据的装置，其特征在于，所述装置包括：
展示单元，用于展示待标注的点云帧以及与所述点云帧在同一时刻对同一场景进行拍摄所形成的相机图像；
确定单元，用于响应于用户对所述点云帧中的物体进行选定的操作，确定选定物体在所述点云帧中的区域；
投影单元，将所述区域从所述点云帧投影到所述相机图像中，得到所述相机图像中的投影区域；
标记单元，在所述投影区域处添加标记，以供所述用户根据所述标记在所述相机图像中所指示的物体对所述点云帧中的选定物体进行标注。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
生成单元，用于响应于所述用户根据所述标记对所述点云帧中的选定物体的标注操作，根据所述标注操作的操作信息生成已标注点云帧。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
训练单元，用于将已标注点云帧作为样本数据对障碍物识别算法进行训练，以更新所述障碍物识别算法。
9.根据权利要求6所述的装置，其特征在于，所述展示单元用于：
将原始点云数据中待标注的点云帧保存为点云文件；
使用点云可视化工具加载所述点云文件，以在所述点云可视化工具中展示所述点云帧。
10.根据权利要求9所述的装置，其特征在于，所述展示单元还用于：
使用所述点云可视化工具加载所述相机图像对应的图像文件，以在所述点云可视化工具中展示所述相机图像。
CN201610855546.4A 2016-09-27 2016-09-27 用于处理点云数据的方法和装置 Active CN107871129B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610855546.4A CN107871129B (zh) 2016-09-27 2016-09-27 用于处理点云数据的方法和装置
US15/410,713 US10268926B2 (en) 2016-09-27 2017-01-19 Method and apparatus for processing point cloud data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610855546.4A CN107871129B (zh) 2016-09-27 2016-09-27 用于处理点云数据的方法和装置

Publications (2)

Publication Number Publication Date
CN107871129A CN107871129A (zh) 2018-04-03
CN107871129B true CN107871129B (zh) 2019-05-10

Family

ID=61687294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610855546.4A Active CN107871129B (zh) 2016-09-27 2016-09-27 用于处理点云数据的方法和装置

Country Status (2)

Country Link
US (1) US10268926B2 (zh)
CN (1) CN107871129B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106225790B (zh) * 2016-07-13 2018-11-02 百度在线网络技术（北京）有限公司 一种无人车定位精度的确定方法及装置
US10169680B1 (en) * 2017-12-21 2019-01-01 Luminar Technologies, Inc. Object identification and labeling tool for training autonomous vehicle controllers
CN108171702A (zh) * 2018-01-18 2018-06-15 平安科技（深圳）有限公司 易损斑块识别方法、应用服务器及计算机可读存储介质
CN110622213B (zh) * 2018-02-09 2022-11-15 百度时代网络技术（北京）有限公司 利用3d语义地图进行深度定位和分段的系统和方法
CN110400363A (zh) * 2018-04-24 2019-11-01 北京京东尚科信息技术有限公司 基于激光点云的地图构建方法和装置
CN110428490B (zh) * 2018-04-28 2024-01-12 北京京东尚科信息技术有限公司 构建模型的方法和装置
CN108734120B (zh) * 2018-05-15 2022-05-10 百度在线网络技术（北京）有限公司 标注图像的方法、装置、设备和计算机可读存储介质
WO2019232804A1 (zh) * 2018-06-08 2019-12-12 珊口（深圳）智能科技有限公司 软件更新方法、系统、移动机器人及服务器
CN108985171B (zh) * 2018-06-15 2023-04-07 上海仙途智能科技有限公司 运动状态估计方法和运动状态估计装置
CN109215136B (zh) 2018-09-07 2020-03-20 百度在线网络技术（北京）有限公司 一种真实数据增强方法、装置以及终端
CN109146898B (zh) 2018-09-07 2020-07-24 百度在线网络技术（北京）有限公司 一种仿真数据量增强方法、装置以及终端
CN110163904B (zh) * 2018-09-11 2022-04-22 腾讯大地通途（北京）科技有限公司 对象标注方法、移动控制方法、装置、设备及存储介质
CN111009040B (zh) * 2018-10-08 2023-04-18 阿里巴巴集团控股有限公司 点云实体标注系统、方法、装置及电子设备
CN109581324B (zh) * 2018-10-31 2023-07-25 歌尔股份有限公司 异常帧数据的处理方法及装置
WO2020107020A1 (en) 2018-11-23 2020-05-28 Volvo Car Corporation Lidar-based multi-person pose estimation
CN109740487B (zh) * 2018-12-27 2021-06-15 广州文远知行科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN109978955B (zh) * 2019-03-11 2021-03-19 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
US11308639B2 (en) * 2019-03-12 2022-04-19 Volvo Car Corporation Tool and method for annotating a human pose in 3D point cloud data
CN110070575A (zh) * 2019-03-29 2019-07-30 东软睿驰汽车技术（沈阳）有限公司 一种打标签的方法及装置
CN110136273B (zh) * 2019-03-29 2022-06-10 魔门塔(苏州)科技有限公司 一种用于机器学习中的样本数据标注方法及装置
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110084895B (zh) * 2019-04-30 2023-08-22 上海禾赛科技有限公司 对点云数据进行标注的方法和设备
CN110197148B (zh) * 2019-05-23 2020-12-01 北京三快在线科技有限公司 目标物体的标注方法、装置、电子设备和存储介质
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
WO2021062581A1 (zh) * 2019-09-30 2021-04-08 深圳市大疆创新科技有限公司 路面标识识别方法及装置
WO2021062587A1 (en) * 2019-09-30 2021-04-08 Beijing Voyager Technology Co., Ltd. Systems and methods for automatic labeling of objects in 3d point clouds
CN110719442A (zh) * 2019-10-12 2020-01-21 深圳市镭神智能系统有限公司 一种安防监控系统
CN110929669B (zh) * 2019-11-29 2023-10-10 阿波罗智能技术(北京)有限公司 数据标注方法及装置
CN112950785B (zh) * 2019-12-11 2023-05-30 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112989877A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 点云数据中标注对象的方法及装置
CN113160349A (zh) * 2020-01-07 2021-07-23 北京地平线机器人技术研发有限公司 点云标注方法、装置、存储介质及电子设备
CN111259829B (zh) * 2020-01-19 2023-10-20 北京小马慧行科技有限公司 点云数据的处理方法和装置、存储介质及处理器
CN111353536B (zh) * 2020-02-28 2023-05-30 北京字节跳动网络技术有限公司 图像的标注方法、装置、可读介质和电子设备
CN111724478B (zh) * 2020-05-19 2021-05-18 华南理工大学 一种基于深度学习的点云上采样方法
CN112017241A (zh) * 2020-08-20 2020-12-01 广州小鹏汽车科技有限公司 一种数据处理的方法和装置
JP2022042146A (ja) * 2020-09-02 2022-03-14 株式会社トプコン データ処理装置、データ処理方法およびデータ処理用プログラム
US11756317B2 (en) 2020-09-24 2023-09-12 Argo AI, LLC Methods and systems for labeling lidar point cloud data
CN114598692B (zh) * 2020-12-01 2023-03-17 腾讯科技（深圳）有限公司 点云文件传输方法、应用方法、装置、设备及存储介质
CN112530021B (zh) * 2020-12-24 2023-06-23 北京百度网讯科技有限公司 用于处理数据的方法、装置、设备以及存储介质
CN115049700A (zh) * 2021-03-09 2022-09-13 华为技术有限公司 一种目标检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093191A (zh) * 2012-12-28 2013-05-08 中电科信息产业有限公司 一种三维点云数据结合数字影像数据的物体识别方法
CN105957145A (zh) * 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 道路障碍物识别方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2678156C (en) * 2007-02-16 2013-10-08 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
WO2010024212A1 (ja) * 2008-08-29 2010-03-04 三菱電機株式会社 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
IT1395344B1 (it) * 2009-05-28 2012-09-14 Geosoft S R L Metodo di restituzione fotogrammetrica assistita da nuvola di punti e relativo apparato.
US10088317B2 (en) * 2011-06-09 2018-10-02 Microsoft Technologies Licensing, LLC Hybrid-approach for localization of an agent
CN102867057B (zh) * 2012-09-17 2015-04-29 北京航空航天大学 一种基于视觉定位的虚拟向导构建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093191A (zh) * 2012-12-28 2013-05-08 中电科信息产业有限公司 一种三维点云数据结合数字影像数据的物体识别方法
CN105957145A (zh) * 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 道路障碍物识别方法和装置

Also Published As

Publication number Publication date
US20180089536A1 (en) 2018-03-29
US10268926B2 (en) 2019-04-23
CN107871129A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107871129B (zh) 用于处理点云数据的方法和装置
CN107945198A (zh) 用于标注点云数据的方法和装置
CN106707293B (zh) 用于车辆的障碍物识别方法和装置
CN108229591B (zh) 神经网络自适应训练方法和装置、设备、程序和存储介质
CN109212530A (zh) 用于确定障碍物速度的方法和装置
WO2019184825A1 (zh) 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
CN107818293A (zh) 用于处理点云数据的方法和装置
CN110570435B (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
CN111598006B (zh) 用于标注对象的方法和装置
CN110163153A (zh) 用于识别交通标志牌边界的方法及装置
CN110059623B (zh) 用于生成信息的方法和装置
CN110781823B (zh) 录屏检测方法、装置、可读介质及电子设备
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN115240157B (zh) 道路场景数据持久化方法、装置、设备和计算机可读介质
CN111695443B (zh) 智能交通人工智能开放平台、方法、介质及电子设备
CN110119725A (zh) 用于检测信号灯的方法及装置
CN111382695A (zh) 用于检测目标的边界点的方法和装置
CN107527074A (zh) 用于车辆的图像处理方法和装置
CN111401229B (zh) 视觉小目标自动标注方法、装置及电子设备
CN108898604A (zh) 用于处理图像的方法和设备
CN112585957A (zh) 车站监控系统及车站监控方法
JP7258101B2 (ja) 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム
JP2020149086A (ja) 学習用データ生成装置、学習用データ生成方法、および学習用データ生成プログラム
CN115712746A (zh) 图像样本标注方法、装置、存储介质以及电子设备
CN110634155A (zh) 一种基于深度学习的目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant