CN110084895A - 对点云数据进行标注的方法和设备 - Google Patents

对点云数据进行标注的方法和设备 Download PDF

Info

Publication number
CN110084895A
CN110084895A CN201910359117.1A CN201910359117A CN110084895A CN 110084895 A CN110084895 A CN 110084895A CN 201910359117 A CN201910359117 A CN 201910359117A CN 110084895 A CN110084895 A CN 110084895A
Authority
CN
China
Prior art keywords
point cloud
frame point
marked
data
labeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910359117.1A
Other languages
English (en)
Other versions
CN110084895B (zh
Inventor
肖鹏川
李泽嵩
邵振雷
向少卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hesai Photonics Technology Co Ltd
Original Assignee
Hesai Photonics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hesai Photonics Technology Co Ltd filed Critical Hesai Photonics Technology Co Ltd
Priority to CN201910359117.1A priority Critical patent/CN110084895B/zh
Publication of CN110084895A publication Critical patent/CN110084895A/zh
Application granted granted Critical
Publication of CN110084895B publication Critical patent/CN110084895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及一种用于对点云数据进行标注的方法,包括:步骤S201:接收所述点云数据中的待标注的当前帧点云;步骤S202:接收所述点云数据中的已标注帧点云、以及所述已标注帧点云的标注数据;和步骤S203:利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。根据本公开实施例的用于对点云数据进行标注的方法,能够对海量的点云数据进行快速有效准确的标注,极大地提高了标注的效率。

Description

对点云数据进行标注的方法和设备
技术领域
本公开涉及激光雷达领域,尤其涉及一种可以对激光雷达的点云数据进行标注的方法和设备。
背景技术
激光雷达LiDAR是激光主动探测传感器设备的一种统称,其工作原理大致如下:激光雷达的发射器发射出激光光束,激光光束遇到物体后,经过漫反射,返回至激光接收器,雷达中的处理模块根据发送和接收激光光束的时间间隔乘以光速,再除以2,即可计算出发射器与物体的距离,也即雷达与物体的距离。根据激光线束的多少,通常有例如单线激光雷达、4线激光雷达、8/16/32/64线激光雷达等。一个或多个激光束在竖直方向沿着不同的角度发射,经水平方向扫描,实现对目标区域三维轮廓的探测。多个测量通道(线)相当于多个倾角的扫描平面,因此垂直视场内激光线束越多越密,其竖直方向的角分辨率就越高,激光点云的密度就越大。
基于激光雷达产生的点云,后续还可以通过机器学习、人工智能、图像识别等方法来进行点云中具体物体对象的识别,例如可以从点云中识别出汽车、行人、自行车、以及其他类型的障碍物。在机器学习中,需要进行建模、标注、训练、测试、评估和修正。这个过程是通过模拟人类大脑视觉皮层的运作方式:单个神经元通过受过的训练,就能够获取识别物体的能力,不需要人工找出物体的规律。
而为了实现机器学习,一个重要的步骤是需要对图像或者点云进行标注。以猫为例,首先可以对大量的包括猫的图像数据进行标注。在对其中形态各样的猫进行标注之后,将大量的标注之后的图像数据“喂”给机器或者模型,机器或者模型就能够自我学习,自动找出猫内在的规则,从而能够从新的图像中识别出猫这一对象。
背景技术部分的内容仅仅是发明人所知晓的技术,并不当然代表本领域的现有技术。
发明内容
有鉴于现有技术缺陷中的至少一个,本公开提出一种用于对点云数据进行标注的方法,包括:
步骤S201:接收所述点云数据中的待标注的当前帧点云;
步骤S202:接收所述点云数据中的已标注帧点云、以及所述已标注帧点云的标注数据;和
步骤S203:利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。
根据本公开的一个方面,所述步骤S203包括:根据所述当前帧点云与所述已标注帧点云之间的关联,利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。
根据本公开的一个方面,所述已标注帧点云为所述当前帧点云的前一帧点云。
根据本公开的一个方面,所述步骤S203还包括:显示进行了标注的且与所述已标注帧点云的标注数据对应的标注结果的所述当前帧点云。
根据本公开的一个方面,所述的方法还包括步骤S204:接收用户的标注操作,根据所述用户的标注操作,更新并存储所述当前帧点云的标注数据。
根据本公开的一个方面,所述标注数据包括以下信息中的一种或多种:点云场景、障碍物对象的类别、障碍物的大小、位置、角度。
根据本公开的一个方面,其中所述用户的标注操作包括:对根据所述已标注帧点云所进行的标注,进行调整操作;和/或,进行与所述已标注帧点云无关的标注。
根据本公开的一个方面,所述的方法还包括步骤S205:在所述当前帧点云、当前帧点云的前一帧点云、当前帧点云的下一帧点云均标注完成后,根据所述前一帧点云、所述下一帧点云,检查所述当前帧点云的标注。
根据本公开的一个方面,所述的方法还包括步骤S206:当连续多帧点云中标注同一障碍物,选择其中最大的用以标注所述障碍物的标注框为标准,重新标注所述障碍物。
根据本公开的一个方面,所述步骤S206包括:如果所述连续多帧点云中完整标记了一障碍物,且所述当前帧点云中仅显示该障碍物的一部分,根据所述已标注帧点云补偿所述当前帧点云的该障碍物的标注。
本公开还涉及一种可用于点云数据标注的设备,包括:
接收单元,接收所述点云数据的待标注的当前帧点云,接收所述点云数据的已标注帧点云、以及所述已标注帧点云的标注数据;
标注单元,利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。
本公开还涉及一种计算机可读存储介质,包括存储于其上的计算机可执行指令,所述可执行指令在被处理器执行时实施如上所述的用于对点云数据进行标注的方法。
通过本公开的实施例,能够对海量的点云数据进行快速有效准确的标注,极大地提高了标注的效率。
附图说明
构成本公开的一部分的附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1示出了激光雷达的示意图;
图2示出了根据本公开一个实施例的用于对点云数据进行标注的方法;
图3A、3B和3C示意性示出了根据本公开的方法处理的点云图片,其中图3A是当前帧点云的示意图,其中尚未进行标注操作;图3B是已标注帧点云的示意图;图3C是利用如图3B示出的已标注帧点云的标注数据,对当前帧点云进行了标注后的示意图;
图4示出了根据本公开一个优选实施例的用于对点云数据进行标注的方法;
图5示出了根据本公开一个实施例的一种可用于点云数据标注的设备;和
图6示出了根据本公开一个实施例的计算机程序产品。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本公开的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
在本公开的描述中,需要理解的是,术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本公开和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本公开的限制。此外,术语"第一"、"第二"仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本公开的描述中,"多个"的含义是两个或两个以上,除非另有明确具体的限定。
在本公开的描述中,需要说明的是,除非另有明确的规定和限定,术语"安装"、"相连"、"连接"应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接:可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本公开中的具体含义。
在本公开中,除非另有明确的规定和限定,第一特征在第二特征之"上"或之"下",可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本公开的不同结构。为了简化本公开的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本公开。此外,本公开可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本公开提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本公开的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本公开,并不用于限定本公开。
图1示出了激光雷达100的一个实例。该激光雷达例如为16线激光雷达,即沿着图1中的竖直方向可发射L1、L2、…、L15、L16共16线激光束(每一线激光束即对应激光雷达的一个通道,共16个通道),用于对周围环境进行探测。在探测过程中,该激光雷达100可沿着其竖直轴线旋转,在旋转过程中,激光雷达的各个通道根据一定的时间间隔(例如1微秒)依次发射激光束并进行探测,从而完成一次垂直视场上的线扫描,之后在水平视场方向上间隔一定角度(例如0.1度或0.2度)进行下一次垂直视场的线扫描。激光雷达的接收器接收到各个通道发射的激光束从障碍物反射回来的回波,通过计算其飞行时间,就能够探测出障碍物(或障碍物上的点)的距离和方位,从而形成点云数据。在旋转过程中进行多次探测形成点云,即可感知周围环境的状况。例如16个通道旋转360度进行扫描检测,可形成激光雷达的一帧点云数据。激光雷达连续地进行旋转扫描检测,就形成了多帧的点云数据。需要说明的是,图1中的激光雷达只是作为一个示例,并不代表16线激光束在竖直方向上均匀分布。
在具体实施中,激光雷达的点云图是三维显示的,同时在标注过程中,可以采用同样是三维的标注框来标注物体对象,也即采用立体的标注框框选出点云中所呈现出的物体对象,故可以多角度多维度地观看被标注框所圈住的点云,因而能够观察的更清楚。并且,不同类别的障碍物对象可对应不同颜色和/或不同形状的框来进行标注,比如当确定障碍物对象为小汽车后,用以标注小汽车的框可以为红色,而当确定障碍物对象为行人后,用以标注该行人的框可以是绿色等等。或者,在开始标注时,所有障碍物对象可用的标注框的颜色均相同,而在不断标注具体某一障碍物对象的类别信息时,已经标注出的标注框的颜色根据障碍物对象的类别信息相应改变。比如开始时所有障碍物对象可用的标注框的颜色均为灰色,当标注出某一障碍物为小汽车时,则目前已经出现在点云上的标注框改变为绿色或者其他预设的与小汽车对应的颜色。并且,标注的具体内容包括但不限于:点云场景、障碍物对象的类别、障碍物的大小、位置、角度、障碍物对象的运动状态(运动或者静止)中的一个或多个。其中,点云场景例如可以是城市道路、乡村道路、雨雪雾天气下所探测的点云等,标注区分后有助于后续的处理。
并且,在本发明一实施例中,在标注的过程中,可以将用以标注点云中的障碍物对象的框所圈的点云高亮或添加颜色,也即把当前标注框已经选中的区域加以高亮或者用颜色标识出来,以方便标注人员进行识别,进而还可以调整点云图的查看视角,可以观察哪些点云未被标注,哪些是重复标注的,进而相应调整标注框,确保能够标注完整。
以下参考附图描述本公开的各个实施例。
第一实施例
图2示出了根据本公开一个实施例的用于对点云数据进行标注的方法200。如图2所示,方法200包括:
步骤S201:接收所述点云数据中的待标注的当前帧点云。
以激光雷达为例,最终形成的点云数据中包括多帧的点云数据。例如在逐帧点云的标注过程中,步骤S201中接收一帧待标注的点云数据作为当前帧点云,以准备进行标注操作。
步骤S202:接收所述点云数据中的已标注帧点云、以及所述已标注帧点云的标注数据。
在已经标注完成的帧点云中,例如已经标记了各种障碍物信息的标注数据,包括但不限于点云场景、障碍物对象的类别、障碍物的大小、位置、角度中的一个或多个。另外优选的,对于每个障碍物,可以对其分配一个唯一的编号ID,从而在多帧点云中连续出现的同一个障碍物在不同帧的点云数据中,可以具有相同的编号ID,进而可以在多帧点云完成标注后,通过编号ID查看同一障碍物在多帧点云中的位置或者角度或者大小等信息。另外,标注数据还可以包括该障碍物的大小、位置和角度定向。通常在标注过程中,可以通过正方体或者长方体的框体来标注障碍物,正方体或者长方体的框的三维尺寸可以指示该障碍物的大小;正方体或者长方体框的位置,例如其中一个顶点的坐标或者其中心点的坐标,可以指示该障碍物的位置;正方体或者长方体框的在水平面中的投影与X、Y坐标轴所形成的角度、以及与XY平面所成的角度,可以指示该障碍物的角度定向。这里不再赘述。
注意,本领域技术人员理解,步骤S202中接收已标注帧点云,既可以是指接收已标注帧点云的全部标注数据,也可以是接收已标注帧点云的部分标注数据,比如障碍物的编号ID、或者其他一些信息。
步骤S203:利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。
因为激光雷达进行检测的速度非常快,因此对于相邻两帧或者连续n帧(n与雷达探测的帧频有关)点云而言,其上同一障碍物所呈现出的位置变动通常不会很大。因此在标注当前帧点云的过程中,通过充分利用和参考已标注帧点云的标注数据,能够极大地提高标注效率和准确性。
本实施例的方法200可充分利用已标注帧点云的标注数据来对当前帧点云进行标注,例如将已标注帧点云的一部分,或者全部的标注数据“继承”到当前帧点云中,这样能够大幅度地提高标注的效率。方法200中的步骤S201、S202、S203都可以通过计算机、手机终端、PAD上面的软件或者APP来执行,或者通过专用硬件和/或软件的组合来实施。例如,当用户标注完一帧点云数据、切换到下一帧点云(当前帧点云)时,软件或者APP或者相应的软硬件系统可以自动地执行上述步骤S201、S202、S203,在当前帧点云上“继承”上一帧点云的标注数据,也即直接在当前帧点云上显示与前一帧点云相同的标注框,后续用户只需要在此基础上做进一步的微调即可,故可以方便用户进行标注,提高标注的效率。
图3A、3B和3C示意性示出了根据本实例的方法进行处理的示例。其中图3A是当前帧点云的示意图,其中尚未进行标注操作。图3B是已标注帧点云的示意图,其中可见进行了各种标注操作,用红色、绿色、黄色等框体框选出了不同的障碍物。图3C是对当前帧点云标注后的示意图,其中可见,根据图3B的已标注帧点云的标注数据,对当前帧点云进行了标注,从而用户可以在此基础上进行细微调整,能够大大提高标注的效率。注意,图3A、3B和3C仅用于示意性说明本公开的效果,并非与上述步骤S201、S202、S203一一对应。
本领域技术人员能够理解,在存储标注数据时,标注数据可以与点云数据一起存储,例如将标注数据(诸如点云场景、障碍物对象的类别、障碍物的大小、位置、角度等)直接添加到该帧的点云数据中。或者可替换的,标注数据也可以与点云数据分开存储。例如,点云数据通常具有帧编号ID,因此对某一帧点云进行标注时,可以将标注数据存储为单独的标注数据文件,其中同时存储有对应的帧编号ID,这样,通过帧编号ID,可以将点云数据与其对应的标注数据文件关联起来。这样的优势在于,使用更加灵活,点云数据文件较小,仅在需要标注数据时,才调取标注数据文件。这些都在本公开的保护范围内。
另外,本实施例的方法200的步骤S201、S202、S203可以在软件或者APP或者相应的软硬件系统的后台自动完成,从而当向用户呈现出当前待标注帧的点云数据时,其点云图上已经显示有根据之前已标注帧点云的标注数据进行了标注的结果。可选的,步骤S201、S202、S203也可以根据用户的指示或者选择,分阶段完成。例如当用户打开当前帧点云时,其上并未根据之前已标注帧点云的标注数据进行标注。当软件或者APP或者相应的软硬件系统接收到用户的指示时,例如指示根据上一帧点云的标注数据来标注当前帧点云,那么软件或者APP或者相应的软硬件系统自动执行步骤S202和S203。或者可选的,用户在对上一帧点云(已标注帧点云)进行标注操作之后,可以选择自动地根据该已标注帧点云的标注数据,对下一帧点云(当前帧点云)进行标注操作或者继承,从而当打开下一帧点云(当前帧点云)时,其上已经呈现出标注操作的结果。这些都在本公开的保护范围内。
本实施例中的利用已标注帧点云的标注数据对当前帧点云进行标注,可以是简单地将已标注帧点云的标注数据复制到当前帧点云中,换言之,则是在当前帧的点云上的同样坐标位置出现同样的标注框,也可以是根据已标注帧点云的标注数据计算且预测出当前帧点云中障碍物的位置,并在当前帧的点云上显示预测的结果,比如根据已标注帧点云的标注数据得知,小汽车q的标注框为黄色,在已标注帧点云的位置a处出现了小汽车q,位置a处与雷达的距离为d,小汽车的运动方向是x,当前帧点云与已标注帧点云之间的时间间隔为t,小汽车q为运动状态且该类型的小汽车q相对于雷达的速度为v,可以预测出小汽车q在当前帧点云中的运动方向仍然为x,所行驶到的位置b与雷达的距离可以为d”=(a+vt),则进而可以在当前帧的点云的位置b处显示黄色的标注框,且黄色的标注框的大小可以与已标注帧点云中小汽车q的标注框的大小相同。
根据本公开的一个优选实施例,可以选择多帧已标注帧,例如与当前帧点云21的时间间隔在阈值T以内的帧,都可以选择作为已标注帧点云,根据这些已标注帧点云来对当前帧点云进行标注。例如与上文所述类似,可以根据所述多帧点云已标注帧,计算出某些障碍物(诸如上面提及的小汽车)的运动方向x、与雷达的相对移动速度v等参数,因而在对当前帧点云进行标注时,可以预测出同一障碍物在当前帧点云中的位置。这样的处理方式,可以使得对当前帧点云的标注更加精确。
根据本公开的一个优选实施例,步骤S203还包括:在对当前帧点云进行了标注(此处的进行了标注,是指利用所述已标注帧点云的标注数据,对所述当前帧点云进行的标注,而不是根据用户操作更新后的标注,且此时的点云也不是已标注帧点云,而仍是当前帧点云)之后,显示进行了标注的所述当前帧点云的点云图,而进行了标注的所述当前帧的点云图可以是与所述已标注帧点云的标注数据对应的标注结果的点云图,比如在已标注帧点云的位置a1处被标注出了蓝色标注框,位置a2处被标注出了绿色标注框,则相应地,进行了标注的所述当前帧的点云图可以也在位置a1处标注出蓝色标注框,位置a2处标注出绿色标注框,因此可以供用户可视化审核自动标注的结果,并根据需要进行相对细微的修改和调整,从而可以提高标注的效率。
根据本公开的一个优选实施例,已标注帧点云为所述当前帧的前一帧点云。例如第20帧已经标注完,当前帧点云为第21帧,可以根据第20帧的标注结果,对第21帧的点云进行标注。优选的,可以直接将第20帧的标注结果显示在第21帧上。这是由于对于同一障碍物对象或者目标而言,在连续两帧点云上呈现出的位置变动不是很大。
注意,本领域技术人员能够理解,本公开的保护范围不限于步骤S201和步骤S202的顺序。虽然附图中和上述描述中先执行步骤S201、然后执行步骤S202,但将二者的顺序颠倒,或者同步的进行,都是可以的。例如首先接收所述点云数据中的已标注帧点云、以及所述已标注帧点云的标注数据(步骤S202),然后接收待标注的当前帧点云(步骤S201),或者二者同时进行,这些都可以实现本公开的技术目的。因此这些变型都在本公开的保护范围内。
根据本公开的一个优选实施例,所述的步骤S203包括:根据所述当前帧点云与所述已标注帧点云之间的关联,利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。所述当前帧点云与所述已标注帧点云之间的关联,例如可以是当前帧点云与已标注帧点云是相邻的帧,或者是障碍物的关联,例如两帧点云上都出现了相同的障碍物,相同的障碍物在不同的帧中应当具有相同的尺寸,因此可以根据当前帧点云与已标注帧点云之间的这种关联,来对当前帧点云进行标注。又比如,相同的障碍物在连续两帧点云中的位置偏差应该不太大。
图4示出了根据本公开一个优选实施例的用于对点云数据进行标注的方法200’。方法200’在上述方法200基础上进行的改进,其中同样包括步骤S201、S202和S203,此处不再赘述。
方法200’还包括步骤S204:接收用户的标注操作,根据所述用户的标注操作,更新并存储所述当前帧点云的标注数据。如步骤S203所述的,例如可以将已标注帧点云的一些标注数据“继承”到当前帧点云中,从而能够大幅度地提高标注的效率。但某些情况下,还需要对当前帧点云进行相应的标注操作,才能够更好地符合激光雷达在当前帧点云中的探测情况。所述用户的标注操作例如包括:对根据所述已标注帧点云的进行的标注,进行调整操作。例如,对于来自于已标注帧点云的目标,用户可能需要在当前帧点云上对该目标进行微调。
另外的或者可替换的,用户的标注操作还可以包括与所述已标注帧点云无关的标注操作。例如当一个对象首次在当前帧点云中出现时,那么该对象必然在之前的帧点云中未曾出现。在此情况下,需要接收用户的新的标注操作,即在当前帧点云中将该对象标注出来,这与已标注帧点云无关。
根据本公开的一个优选实施例,方法200’还包括步骤S205:在所述当前帧点云、当前帧点云的前一帧点云、当前帧点云的下一帧点云均标注完成后,连续播放当前帧点云的前一帧点云、当前帧点云及当前帧点云的下一帧点云的标注结果,以反向检查所述当前帧点云、当前帧点云的前一帧点云及当前帧点云的下一帧点云的标注结果。例如,如果同一个目标在所述前一帧点云、下一帧点云中均被标注出,但是在所述当前帧点云中未被标注,那么说明,当前帧点云非常可能被漏标。这种情况下,优选地,可以发出告警或提示,提醒用户进行关注。为此,优选地可以对已标注帧点云进行连续播放,当遇到可能漏标的位置时,向用户提出告警或提示。并且在接收到用户新的标注操作之后,可以更新和保存当前帧点云的标注数据。或者,也可以是用户观看播放的连续多帧点云的标注结果时,发现某障碍物对象出现在了前一帧点云y以及下一帧点云(y+2),但并未出现在当前帧点云(y+1),判断某障碍物对象在当前帧点云(y+1)中被漏标,进而在当前帧点云(y+1)中重新标注该某障碍物对象。
根据本公开的一个优选实施例,所述方法200’还包括步骤S206:当连续多帧点云中标注同一障碍物,选择其中最大的框为标准,重新约束盖障碍物的大小。换言之,在完成多帧的点云的标注之后,软件或者APP或者相应的软硬件系统可以根据多帧点云中同一障碍物的标注数据对标注结果进行自适应地调整或者修正标注结果。例如,如果连续几帧点云(包括当前帧点云)中出现同一物体,那么优选用以标注该物体的最大的标注框作为标准,重新去约束或调整不同帧点云中同一个物体的标注框的大小。另外,由于探测光束可能并不是360度均匀地打在物体上的,则在最终探测生成的点云图上,对于该三维的物体,可能有的面上点相对较多,有的面上点相对较少。可以理解的是,点相对多的面的可信度可以更高,因此,当软件或者APP或者相应的软硬件系统在对物体的标注框的大小进行约束或者调整的时候,可以以近似相切于这些点较多的面的标注框的面作为实际边界,以这个标注框的面为参考面,然后自适应地调整标注的立方体型的框的大小。换句话说,在调整过程中,参考边、参考面不动,调整其他边或者其他面。在本发明一实施例中,可以采用两条边或者面作为参考边、参考面,且由于相对较靠近雷达的两边上的点相对较多,可以将相对较靠近雷达的两边作为固定的参考边,相应再去调整标注框的大小。这个自适应地调整的功能主要是应对某物体在某一帧点云中被遮挡的场景,利用其它帧中点云对其进行弥补。例如,一个小汽车在第20帧的时候被完整标记出来,到第21帧之后,由于被遮挡,点云中只能显示一部分,此时因为知道在20帧和21帧出现的是一个小汽车,所以可以采用20帧对21帧进行自适应地修正。这个步骤例如可以通过软件或者APP来自动完成修正。
最终在完成当前帧的标注操作之后,可以将所有的标注信息转换为XML文件输出到工作空间中。或者优选的,也可以直接将标注信息与点云数据集成在一起,输出到工作空间中。
以上描述了根据本公开第一实施例的用于对点云数据进行标注的方法200和200’。通过本公开的实施例,能够对海量的点云数据进行快速有效准确的标注,极大地提高了标注的效率。
第二实施例
图5示出了根据本公开第二实施例的一种可用于点云数据标注的设备300。如图5所示,设备300包括接收单元301和标注单元302。其中接收单元301可接收所述点云数据的待标注的当前帧点云,接收所述点云数据的已标注帧点云、以及所述已标注帧点云的标注数据。标注单元302利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。另外,标注单元302配置成可执行如本公开第一实施例所述的方法200和200’。
本公开的第三方面还涉及一种计算机程序产品500的框图,如图6所示。信号承载介质502可以被实现为或者包括计算机可读介质506、计算机可记录介质508、计算机通信介质510或者它们的组合,其存储有可配置处理器执行的先前描述的过程中的全部或一些的编程指令504。这些指令可以包括例如用于使一个或多个处理器执行如下处理的一个或多个可执行指令:步骤S201:接收所述点云数据中的待标注的当前帧点云;步骤S202:接收所述点云数据中的已标注帧点云、以及所述已标注帧点云的标注数据;和步骤S203:利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施例所属技术领域的技术人员所理解。在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。
另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
并且,本公开的实施例中的方案不仅适用于以上实施例中提及的机械式激光雷达的点云,也适用于其它类型的激光雷达,如振镜扫描式激光雷达、转镜扫描式激光雷达、或者纯固态激光雷达包括Flash激光雷达和相控阵激光雷达等,本公开对所适用的激光雷达的类型并不做任何限制。
最后应说明的是:以上所述仅为本公开的优选实施例而已,并不用于限制本公开,尽管参照前述实施例对本公开进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (12)

1.一种用于对点云数据进行标注的方法,包括:
步骤S201:接收所述点云数据中的待标注的当前帧点云;
步骤S202:接收所述点云数据中的已标注帧点云、以及所述已标注帧点云的标注数据;和
步骤S203:利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。
2.根据权利要求1所述的方法,其中,所述步骤S203包括:根据所述当前帧点云与所述已标注帧点云之间的关联,利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。
3.根据权利要求1或2所述的方法,其中,所述已标注帧点云为所述当前帧点云的前一帧点云。
4.根据权利要求1或2所述的方法,其中所述步骤S203还包括:显示进行了标注的且与所述已标注帧点云的标注数据对应的标注结果的所述当前帧点云。
5.根据权利要求1或2所述的方法,还包括步骤S204:接收用户的标注操作,根据所述用户的标注操作,更新并存储所述当前帧点云的标注数据。
6.根据权利要求1或2所述的方法,其中,所述标注数据包括以下信息中的一种或多种:点云场景、障碍物对象的类别、障碍物的大小、位置、角度。
7.根据权利要求5所述的方法,其中所述用户的标注操作包括:对根据所述已标注帧点云所进行的标注,进行调整操作;和/或,进行与所述已标注帧点云无关的标注。
8.根据权利要求1或2所述的方法,还包括步骤S205:在所述当前帧点云、当前帧点云的前一帧点云、当前帧点云的下一帧点云均标注完成后,根据所述前一帧点云、所述下一帧点云,检查所述当前帧点云的标注。
9.根据权利要求1或2所述的方法,还包括步骤S206:当连续多帧点云中标注同一障碍物,选择其中最大的用以标注所述障碍物的标注框为标准,重新标注所述障碍物。
10.根据权利要求9所述的方法,其中,所述步骤S206包括:如果所述连续多帧点云中完整标记了一障碍物,且所述当前帧点云中仅显示该障碍物的一部分,根据所述已标注帧点云补偿所述当前帧点云的该障碍物的标注。
11.一种可用于点云数据标注的设备,包括:
接收单元,接收所述点云数据的待标注的当前帧点云,接收所述点云数据的已标注帧点云、以及所述已标注帧点云的标注数据;
标注单元,利用所述已标注帧点云的标注数据,对所述当前帧点云进行标注。
12.一种计算机可读存储介质,包括存储于其上的计算机可执行指令,所述可执行指令在被处理器执行时实施如权利要求1至10中任一项所述的用于对点云数据进行标注的方法。
CN201910359117.1A 2019-04-30 2019-04-30 对点云数据进行标注的方法和设备 Active CN110084895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910359117.1A CN110084895B (zh) 2019-04-30 2019-04-30 对点云数据进行标注的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910359117.1A CN110084895B (zh) 2019-04-30 2019-04-30 对点云数据进行标注的方法和设备

Publications (2)

Publication Number Publication Date
CN110084895A true CN110084895A (zh) 2019-08-02
CN110084895B CN110084895B (zh) 2023-08-22

Family

ID=67417931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910359117.1A Active CN110084895B (zh) 2019-04-30 2019-04-30 对点云数据进行标注的方法和设备

Country Status (1)

Country Link
CN (1) CN110084895B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728210A (zh) * 2019-09-25 2020-01-24 上海交通大学 一种三维点云数据的半监督目标标注方法和系统
CN110751090A (zh) * 2019-10-18 2020-02-04 宁波博登智能科技有限责任公司 一种三维点云标注方法、装置及电子设备
CN110782517A (zh) * 2019-10-10 2020-02-11 北京地平线机器人技术研发有限公司 点云标注方法、装置、存储介质及电子设备
CN111223107A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 基于点云深度学习的点云数据集制作系统及方法
CN111563450A (zh) * 2020-04-30 2020-08-21 北京百度网讯科技有限公司 数据处理方法、装置、设备及存储介质
CN111583268A (zh) * 2020-05-19 2020-08-25 北京数字绿土科技有限公司 点云虚拟选择与裁切方法、装置及设备
CN112034488A (zh) * 2020-08-28 2020-12-04 北京海益同展信息科技有限公司 目标物体自动标注方法与装置
CN112036442A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 多帧3d点云数据中物体追踪标注的方法和装置、存储介质
CN112053323A (zh) * 2020-07-31 2020-12-08 上海图森未来人工智能科技有限公司 单镜头多帧图像数据物体追踪标注方法和装置、存储介质
CN112329754A (zh) * 2021-01-07 2021-02-05 深圳市速腾聚创科技有限公司 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN112419233A (zh) * 2020-10-20 2021-02-26 腾讯科技(深圳)有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112669373A (zh) * 2020-12-24 2021-04-16 北京亮道智能汽车技术有限公司 一种自动化标注方法、装置、电子设备及存储介质
CN113127666A (zh) * 2020-01-15 2021-07-16 初速度(苏州)科技有限公司 一种连续帧数据的标注系统、方法和装置
CN113128248A (zh) * 2019-12-26 2021-07-16 深圳一清创新科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
WO2022133776A1 (zh) * 2020-12-23 2022-06-30 深圳元戎启行科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN114779276A (zh) * 2022-03-25 2022-07-22 中国农业银行股份有限公司 一种障碍物检测方法和装置
CN117670986A (zh) * 2022-08-31 2024-03-08 北京三快在线科技有限公司 点云标注方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818293A (zh) * 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN108036793A (zh) * 2017-12-11 2018-05-15 北京奇虎科技有限公司 基于点云的定位方法、装置及电子设备
CN108108443A (zh) * 2017-12-21 2018-06-01 深圳市数字城市工程研究中心 街景视频的文字标注方法、终端设备及存储介质
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108920707A (zh) * 2018-07-20 2018-11-30 百度在线网络技术(北京)有限公司 用于标注信息的方法及装置
CN109188457A (zh) * 2018-09-07 2019-01-11 百度在线网络技术(北京)有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
CN109409364A (zh) * 2018-10-16 2019-03-01 北京百度网讯科技有限公司 图像标注方法和装置
US20190080183A1 (en) * 2017-09-14 2019-03-14 Baidu Online Network Technology (Beijing) Co., Ltd . Dynamic obstacle point cloud annotating method and apparatus, device and readable medium

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818293A (zh) * 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN107871129A (zh) * 2016-09-27 2018-04-03 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
US20190080183A1 (en) * 2017-09-14 2019-03-14 Baidu Online Network Technology (Beijing) Co., Ltd . Dynamic obstacle point cloud annotating method and apparatus, device and readable medium
CN109509260A (zh) * 2017-09-14 2019-03-22 百度在线网络技术(北京)有限公司 动态障碍物点云的标注方法、设备及可读介质
CN108036793A (zh) * 2017-12-11 2018-05-15 北京奇虎科技有限公司 基于点云的定位方法、装置及电子设备
CN108108443A (zh) * 2017-12-21 2018-06-01 深圳市数字城市工程研究中心 街景视频的文字标注方法、终端设备及存储介质
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108920707A (zh) * 2018-07-20 2018-11-30 百度在线网络技术(北京)有限公司 用于标注信息的方法及装置
CN109188457A (zh) * 2018-09-07 2019-01-11 百度在线网络技术(北京)有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
CN109409364A (zh) * 2018-10-16 2019-03-01 北京百度网讯科技有限公司 图像标注方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
江文婷;龚小谨;刘济林;: "基于增量计算的大规模场景致密语义地图构建", 浙江大学学报(工学版), no. 02 *
罗万伯: "《现代多媒体技术应用教程》", 30 November 2004, pages: 84 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728210A (zh) * 2019-09-25 2020-01-24 上海交通大学 一种三维点云数据的半监督目标标注方法和系统
CN110782517A (zh) * 2019-10-10 2020-02-11 北京地平线机器人技术研发有限公司 点云标注方法、装置、存储介质及电子设备
CN110751090A (zh) * 2019-10-18 2020-02-04 宁波博登智能科技有限责任公司 一种三维点云标注方法、装置及电子设备
CN110751090B (zh) * 2019-10-18 2022-09-20 宁波博登智能科技有限公司 一种三维点云标注方法、装置及电子设备
CN113128248B (zh) * 2019-12-26 2024-05-28 深圳一清创新科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN113128248A (zh) * 2019-12-26 2021-07-16 深圳一清创新科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111223107A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 基于点云深度学习的点云数据集制作系统及方法
CN113127666B (zh) * 2020-01-15 2022-06-24 魔门塔(苏州)科技有限公司 一种连续帧数据的标注系统、方法和装置
CN113127666A (zh) * 2020-01-15 2021-07-16 初速度(苏州)科技有限公司 一种连续帧数据的标注系统、方法和装置
CN111563450A (zh) * 2020-04-30 2020-08-21 北京百度网讯科技有限公司 数据处理方法、装置、设备及存储介质
CN111563450B (zh) * 2020-04-30 2023-09-26 北京百度网讯科技有限公司 数据处理方法、装置、设备及存储介质
CN111583268A (zh) * 2020-05-19 2020-08-25 北京数字绿土科技有限公司 点云虚拟选择与裁切方法、装置及设备
CN111583268B (zh) * 2020-05-19 2021-04-23 北京数字绿土科技有限公司 点云虚拟选择与裁切方法、装置及设备
CN112036442A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 多帧3d点云数据中物体追踪标注的方法和装置、存储介质
CN112053323A (zh) * 2020-07-31 2020-12-08 上海图森未来人工智能科技有限公司 单镜头多帧图像数据物体追踪标注方法和装置、存储介质
CN112034488A (zh) * 2020-08-28 2020-12-04 北京海益同展信息科技有限公司 目标物体自动标注方法与装置
CN112034488B (zh) * 2020-08-28 2023-05-02 京东科技信息技术有限公司 目标物体自动标注方法与装置
CN112419233B (zh) * 2020-10-20 2022-02-22 腾讯科技(深圳)有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112419233A (zh) * 2020-10-20 2021-02-26 腾讯科技(深圳)有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
WO2022133776A1 (zh) * 2020-12-23 2022-06-30 深圳元戎启行科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN116134488A (zh) * 2020-12-23 2023-05-16 深圳元戎启行科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN112669373A (zh) * 2020-12-24 2021-04-16 北京亮道智能汽车技术有限公司 一种自动化标注方法、装置、电子设备及存储介质
CN112669373B (zh) * 2020-12-24 2023-12-05 北京亮道智能汽车技术有限公司 一种自动化标注方法、装置、电子设备及存储介质
CN112329754B (zh) * 2021-01-07 2021-05-14 深圳市速腾聚创科技有限公司 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN112329754A (zh) * 2021-01-07 2021-02-05 深圳市速腾聚创科技有限公司 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN114779276A (zh) * 2022-03-25 2022-07-22 中国农业银行股份有限公司 一种障碍物检测方法和装置
CN117670986A (zh) * 2022-08-31 2024-03-08 北京三快在线科技有限公司 点云标注方法

Also Published As

Publication number Publication date
CN110084895B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN110084895A (zh) 对点云数据进行标注的方法和设备
US11393097B2 (en) Using light detection and ranging (LIDAR) to train camera and imaging radar deep learning networks
US11899099B2 (en) Early fusion of camera and radar frames
US20220043449A1 (en) Multi-channel sensor simulation for autonomous control systems
EP3693926B1 (en) Dense body marker estimation from camera data for patient positioning in medical imaging
EP4379580A2 (en) Radar deep learning
US11475678B2 (en) Lane marker detection and lane instance recognition
KR102630740B1 (ko) 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
US9182486B2 (en) Sonar rendering systems and associated methods
US6249600B1 (en) System and method for generation of a three-dimensional solid model
CN108021106A (zh) 用于管理从车辆卸载农业物料的方法和立体视觉系统
WO2015197221A1 (de) Ortungssystem mit handgeführter ortungseinheit
WO2014142669A1 (en) Method for generating a panoramic image
EP4286892A1 (en) Window occlusion detection method and apparatus
CN111257882B (zh) 数据融合方法、装置、无人驾驶设备和可读存储介质
CN110956642A (zh) 多目标跟踪识别方法、终端及可读存储介质
CN110163047B (zh) 一种检测车道线的方法及装置
CN116543361A (zh) 车辆的多模态融合感知方法、装置、车辆及存储介质
CN117745537B (zh) 隧道设备温度检测方法、装置、计算机设备和存储介质
CN117496515A (zh) 点云数据标注方法、存储介质和电子设备
CN118489238A (zh) 数据采集方法、装置、以及智能驾驶设备
CN112651405B (zh) 目标检测方法及装置
Hajdu et al. Calibration Measurements and Computational Models of Sensors Used in Autonomous Vehicles
EP3805987B1 (en) Annotating a sparsely sampled data set
US20240312105A1 (en) Method for labelling an epipolar-projected 3d image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.2 building, no.468 xinlai Road, Jiading District, Shanghai, 201821

Applicant after: Shanghai Hesai Technology Co.,Ltd.

Address before: 201702 block B, building L2, Hongqiao world center, Lane 1588, Zhuguang Road, Qingpu District, Shanghai

Applicant before: HESAI PHOTONICS TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.2 building, no.468 xinlai Road, Jiading District, Shanghai, 201821

Applicant after: Shanghai Hesai Technology Co.,Ltd.

Address before: No.2 building, no.468 xinlai Road, Jiading District, Shanghai, 201821

Applicant before: Shanghai Hesai Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant