CN112034488B - 目标物体自动标注方法与装置 - Google Patents

目标物体自动标注方法与装置 Download PDF

Info

Publication number
CN112034488B
CN112034488B CN202010886389.XA CN202010886389A CN112034488B CN 112034488 B CN112034488 B CN 112034488B CN 202010886389 A CN202010886389 A CN 202010886389A CN 112034488 B CN112034488 B CN 112034488B
Authority
CN
China
Prior art keywords
target object
labeling
frame
bounding box
minimum bounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010886389.XA
Other languages
English (en)
Other versions
CN112034488A (zh
Inventor
董豪豪
文茉莉
王建军
杨杨
刘甲文
郝悦
李艳学
熊晨序
贾俊蕊
张佳佳
李江宁
刘香君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202010886389.XA priority Critical patent/CN112034488B/zh
Publication of CN112034488A publication Critical patent/CN112034488A/zh
Application granted granted Critical
Publication of CN112034488B publication Critical patent/CN112034488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供一种目标物体自动标注方法与装置。目标物体自动标注方法包括:根据第一点云数据中目标物体在第一投影面的第一投影确定第一标注框;获取所述第一标注框内的第二点云数据;根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框;根据所述第一标注框、所述第二标注框和所述第三标注框确定所述目标物体的最小包围盒坐标;根据所述最小包围盒坐标在所述第一点云数据中显示所述目标物体的最小包围盒。本公开实施例可以在激光点云中自动贴边标注目标物体,无需手动标注。

Description

目标物体自动标注方法与装置
背景技术
近年来,随着自动驾驶技术不断发展,激光点云物体识别技术得到广泛应用。激光点云物体识别是指使用激光雷达(以发射激光束探测目标的位置、速度等特征量的雷达系统)扫描以车辆为中心的激光点云数据并识别目标物体,从而完成车辆对障碍物的规避和识别。为了使激光点云物体识别过程准确,需要预先对车辆使用的识别模型进行训练——通过人工操作计算机来标注激光点云中的目标物体,以完成对车辆识别障碍物能力的训练。
在一些激光点云标注训练技术中,使用人工识别目标物体对应的激光点云并标注是一大趋势,这种方法是标注人直接在浏览器的全景视图中进行操作。但是,这种人工操作不能准确计算框选点云数据的最小包围盒,框选数据后还需要对每个维度都进行微调。无论是神经网络模型还是人工基于全景视图提供的标注框,其平移功能或旋转功能均无法保证标注框在垂直于地面的坐标轴上坐标不变,而是会产生不符合直觉和常识的偏移(例如最小包围盒飘在空中),在用户对标注结果进行查看或调整时影响标注框的准确度。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种目标物体自动标注方法与目标物体自动标注装置,用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的激光点云标注框在移动时产生不符合直觉和常识的偏移问题。
根据本公开实施例的第一方面,提供一种目标物体自动标注方法,包括:根据第一点云数据中目标物体在第一投影面的第一投影确定第一标注框;获取所述第一标注框内的第二点云数据;根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框;根据所述第一标注框、所述第二标注框和所述第三标注框确定所述目标物体的最小包围盒坐标;根据所述最小包围盒坐标在所述第一点云数据中显示所述目标物体的最小包围盒。
在本公开的一种示例性实施例中,所述第一投影面为地平面,所述第二投影面垂直于所述第一投影面,所述第三投影面垂直于所述第一投影面和所述第二投影面。
在本公开的一种示例性实施例中,还包括:响应最小包围盒平移指令,基于所述第一投影面平移所述最小包围盒。
在本公开的一种示例性实施例中,还包括:响应最小包围盒旋转指令,基于所述第一投影面的法线旋转所述最小包围盒。
在本公开的一种示例性实施例中,还包括:响应最小包围盒调整指令,更新所述第一标注框、所述第二标注框、所述第三标注框中至少两个的尺寸。
在本公开的一种示例性实施例中,所述显示所述目标物体的最小包围盒包括:通过立体形态显示所述目标物体与包围所述目标物体的所述最小包围盒;通过平面形态显示所述目标物体的俯视图及所述第一标注框、所述目标物体的主视图或后视图及所述第二标注框、所述目标物体的左视图或右视图及所述第三标注框。
在本公开的一种示例性实施例中,所述根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框包括:根据所述第二点云数据中目标物体的高度信息确定所述第二投影和所述第三投影,所述高度信息来自于激光射线投射。
在本公开的一种示例性实施例中,所述目标物体自动标注方法基于浏览器实现,所述第一点云数据通过浏览器显示,所述最小包围盒、所述第一标注框、所述第二标注框、所述第三标注框分别通过不同的浏览器窗口显示。
根据本公开实施例的第二方面,提供一种目标物体自动标注装置,包括:基准框确定模块,设置为根据第一点云数据中目标物体在第一投影面的第一投影确定第一标注框;点云块获取模块,设置为获取所述第一标注框内的第二点云数据;从属框确定模块,设置为根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框;最小包围盒确定模块,设置为根据所述第一标注框、所述第二标注框和所述第三标注框确定所述目标物体的最小包围盒坐标;立体标注模块,设置为根据所述最小包围盒坐标在所述第一点云数据中显示所述目标物体的最小包围盒。
根据本公开的第三方面,提供一种电子设备,包括:存储器;以及耦合到所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如上述任意一项所述的方法。
根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上述任意一项所述的目标物体自动标注方法。
本公开实施例根据激光点云在第一投影面的投影确定第一标注框,进而确定第二标注框、第三标注框、最小包围盒,可以生成并显示基于第一投影面的最小包围盒来标注目标物体,实现对目标物体的自动贴边的同时也能保证该最小包围盒实现基于第一投影面的平移、基于第一投影面的法线的旋转,从而避免相关技术中用户调节最小包围盒导致的标注框不稳定偏移的问题,在激光点云中同时实现目标物体的自动贴边标注和基于单平面平移、旋转。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开示例性实施例中目标物体自动标注方法的流程图。
图2是本公开一个实施例中最小包围盒的示意图。
图3是本公开一个实施例中对最小包围盒进行尺寸修改的示意图。
图4是本公开一个实施例中对最小包围盒进行平移的示意图。
图5是本公开一个实施例中对最小包围盒进行旋转的示意图。
图6A~图6D是本公开实施例在实际操作中的效果示意图。
图7是本公开一个示例性实施例中一种目标物体自动标注装置的方框图。
图8是本公开一个示例性实施例中一种电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
图1示意性示出本公开示例性实施例中目标物体自动标注方法的流程图。参考图1,目标物体自动标注方法100可以包括:
步骤S102,根据第一点云数据中目标物体在第一投影面的第一投影确定第一标注框;
步骤S104,获取所述第一标注框内的第二点云数据;
步骤S106,根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框;
步骤S108,根据所述第一标注框、所述第二标注框和所述第三标注框确定所述目标物体的最小包围盒坐标;
步骤S110,根据所述最小包围盒坐标在所述第一点云数据中显示所述目标物体的最小包围盒。
本公开实施例根据激光点云在第一投影面的投影确定第一标注框,进而确定第二标注框、第三标注框、最小包围盒,可以生成并显示基于第一投影面的最小包围盒来标注目标物体,实现对目标物体的自动贴边的同时也能保证该最小包围盒实现基于第一投影面的平移、基于第一投影面的法线的旋转,从而避免相关技术中用户调节最小包围盒导致的标注框不稳定偏移的问题,在激光点云中同时实现目标物体的自动贴边标注和标注结果基于单平面平移、旋转。
下面,对目标物体自动标注方法100的各步骤进行详细说明。
在一个实施例中,本公开实施例的方法通过安装在浏览器上的一个插件执行,当用户对浏览器进行操作(例如勾选“自动贴边”复选框)时启动插件执行本公开实施例的方法,该插件获取浏览器中的第一点云数据,对第一点云数据进行处理并自动生成目标物体的最小包围框,将该最小包围框与第一点云数据一同显示在浏览器中。
在步骤S102,根据第一点云数据中目标物体在第一投影面的第一投影确定第一标注框。
在本公开实施例中,待标注的目标物体既可以为用户通过多种方式(点选、框选、输入编号等)选择的物体,也可以为根据第一点云数据的高度信息确定的第一点云数据中的全部物体。
在一个实施例中,获取待标注的激光点云数据后,首先可以根据点云携带的高度信息确定待标注的目标物体的方位,该高度信息例如通过激光射线投射形成。例如,当一个区域的高度信息超过预设阈值,可以判断该区域存在待标注的目标物体,进而基于第一投影面获取该目标物体的俯视图。
本公开实施例的场景是在浏览器上对激光雷达点云数据进行标注,可以采用Three.js显示激光点云数据并进行自动标注。Three.js是一款运行在浏览器中的三维引擎,可以用于创建各种三维场景,包括摄影机、光影、材质等各种对象。Three.js采用的是右手坐标系,XY轴面为俯视面,YZ轴面为正视面,XZ轴面为侧视面。在本公开实施例中,该第一投影面例如为俯视面,即XY轴面、地平面。
基于第一投影面确定目标物体对应的第一标注框的方式例如可以为根据高度信息确定:确定第一投影面上目标物体对应的第一投影的最大/最小的X轴坐标和最大/最小的Y轴坐标,从而根据这四个坐标生成基于第一投影面的第一标注框。
以上方法仅为示例,在实际情况中,第一标注框也可以为多边形、圆形或其他形状,本公开对此不作特殊限制。
在步骤S104,获取所述第一标注框内的第二点云数据。
当基于步骤S102生成的第一标注框为矩形时,第一标注框对应的点云信息覆盖了目标物体在第一投影面上基于地平面的一个四棱柱区域,为接下来进行正视面、侧视面的确定提供了基础,也成为进行平移、旋转等操作的基础。
因此,在步骤S104,可以截取第一标注框基于地平面截取的四棱柱区域的激光点云信息作为第二点云数据,该第二点云数据包括该目标物体的全部点云信息。可以理解的是,当第一标注框为多边形或者圆形时,第二点云数据对应的区域可以为多边形棱柱、圆柱或者其他形状。
在步骤S106,根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框。
在本公开实施例中,第二投影面垂直于第一投影面,例如为YZ轴面;第三投影面垂直于第一投影面和第二投影面,例如为XZ轴面。
接下来,可以基于第二投影面(正视面、YZ轴面)获取该第二点云数据在第一投影面的法线(即Z轴)上的最大高度,从而结合第一标注框在Y轴上的最大、最小坐标生成标注目标物体正视面的第二标注框,该第二标注框标注贴合目标物体的最大宽度和最大高度生成。
同理,可以基于第三投影面(侧视面、XZ轴面)获取该第二点云数据在第一投影面的法线(即Z轴)上的最大高度,从而结合第一标注框在X轴上的最大、最小坐标生成标注目标物体侧视面的第三标注框,该第三标注框标注贴合目标物体的最大厚度和最大高度生成。
在步骤S108,根据所述第一标注框、所述第二标注框和所述第三标注框确定所述目标物体的最小包围盒坐标。
由于三个标注框分别依据三个相互垂直的投影面生成,且任意两个标注框均存在两个重合的坐标点,因此,基于这三个标注框可以形成对目标物体的最小包围盒。该最小包围盒例如为长方体或正方体,贴合目标物体的最大宽度、厚度、高度形成。
该最小包围盒的坐标例如可以包括八个角点坐标和一个几何中心点坐标。八个角点坐标包括第一标注框的四个坐标,和第二标注框远离第一投影面的两个坐标、第三标注框远离第一投影面的两个坐标。几何中心坐标根据第一标注框的几何中心坐标和第二标注框/第三标注框的高度坐标的一半生成。
通过确定最小包围盒坐标,可以在后续的旋转、平移操作中始终保持最小包围盒在垂直于第一投影面的轴上的稳定。
在步骤S110,根据所述最小包围盒坐标在所述第一点云数据中显示所述目标物体的最小包围盒。
确定最小包围盒坐标后,可以根据最小包围和坐标生成具有颜色区分度的长方体框或正方体框形的最小包围盒,并将该最小包围盒显示在原始激光点云数据(即第一点云数据、全景视图)中。由于该最小包围盒是基于稳定的坐标系生成,无论是旋转还是平移,均能够保持与目标物体的绝对贴合,不会在显示方式变化时发生偏移。
在一个实施例中,可以同时显示目标物体和其最小包围盒的立体状态,并同时以平面形态显示第一标注框和目标物体的俯视图、第二标注框和目标物体的正视图、第三标注框和目标物体的侧视图。
图2是本公开一个实施例中最小包围盒的示意图。
参考图2,可以在浏览器中显示自动贴边功能复选框21,在用户没有点选该复选框时,允许用户手动在立体空间中标注目标物体;在用户点选该复选框时,自动将激光点云信息基于第一投影面(地平面、XY轴面)显示,并自动生成最小包围盒22和目标物体23。在分视图中显示第一标注框221和目标物体的俯视图231、第二标注框222和目标物体的正视图232、第三标注框223和目标物体的侧视图233。
显示第二标注框222和第三标注框223是为了方便用户对标注框的高度进行人工调节。例如,如果用户觉得最小包围盒22的高度不够贴合目标物体,则可以通过手动调整第二标注框222或者第三标注框223的上边沿(如图3所示)来实现对最小包围盒22、第二标注框222、第三标注框223的同时调节。
或者,当用户觉得第一标注框221的长宽不够贴合目标物体,也可以手动调节第一标注框211的左边沿/右边沿,或者第一标注框221的上边沿/下边沿,从而,使第二标注框221的宽度和最小包围盒22自动发生改变,或者使第三标注框223的宽度和最小包围盒22自动改变。
以上用户对各标注框边沿的调整方式既可以为使用鼠标或触控方式直接拖拽、使用键盘上下左右键直接微调,也可以为点击各边沿并输入偏移量数字,或者直接修改各角点坐标,本公开对此不作特殊限制。
无论用户使用何种最小包围盒调整指令,最小包围盒22及显示的第一标注框221、第二标注框222、第三标注框223均联动调整,更新第一标注框221、第二标注框222、第三标注框22中至少两者的尺寸。
图4是本公开另一个实施例中对最小包围盒进行平移操作的示意图。
参考图4,可以响应最小包围盒平移指令,基于第一投影面平移最小包围盒22。
最小包围盒平移指令例如为鼠标或触控拖拽、键盘上下左右键信号、直接修改最小包围盒22的几何中心坐标等。最小包围盒平移指令可以控制最小包围盒向XY轴平面的各方向移动,且高度不变,各边尺寸不变。
由于最小包围盒22基于第一标注框221生成,且第一标注框221的四个角点坐标均基于第一投影面生成,在Z轴的高度均为零,因此,无论怎样修改最小包围盒22的平移尺寸和平移方向,最小包围盒22始终贴合第一投影面(地平面),能够实现基于第一投影面的平移,不会“飞”起来,或者“埋”入地表面,从而给用户带来更直观准确的操作感受,提高最小包围盒22的操作便捷度和标注准确度。
图5是本公开另一个实施例中对最小包围盒进行旋转操作的示意图。
参考图5,可以响应最小包围盒旋转指令,基于第一投影面的法线旋转最小包围盒22。
最小包围盒旋转指令例如为鼠标或触控拖拽、直接修改第一标注框221的轴角度或任意角点坐标等。最小包围盒旋转指令可以控制最小包围盒延垂直于第一投影面的法线(Z轴)旋转,且高度不变,各边尺寸不变。
由于最小包围盒22基于第一标注框221生成,且第一标注框221的四个角点坐标均基于第一投影面生成,在Z轴的高度均为零,因此,无论怎样修改最小包围盒22的旋转角度,最小包围盒22始终贴合第一投影面(地平面),能够实现基于第一投影面的旋转,不会“飞”起来,或者“埋”入地表面,从而给用户带来更直观准确的操作感受,提高最小包围盒22的操作便捷度和标注准确度。
图6A~图6D是本公开实施例在实际操作中的效果示意图。
参考图6A~图6D,本公开一个实施例中,第一点云数据以及显示在第一点云数据中的目标物体和自动生成的目标物体的最小包围盒均通过浏览器显示。即,用户可以通过浏览器获取第一点云数据,通过对浏览器进行操作(例如勾选“自动贴边”复选框)来实现自动对第一点云数据中的目标物体生成最小包围盒并显示。此外,用户可以在浏览器上操作该最小包围盒,实现对该最小包围盒的平移、旋转、尺寸修改等操作。
在本公开实施例中,目标物体的最小包围盒、第一标注框、第二标注框、第三标注框分别显示在不同的浏览器窗口中,或者,分别显示在浏览器一个窗口的不同区域中。显示目标物体的最小包围盒、第一标注框、第二标注框、第三标注框时,可以将最小包围盒与目标物体的立体点云数据一同显示,将第一标注框与目标物体的俯视图点云数据一同显示,将第二标注框与目标物体的后视图或主视图点云数据一同显示,将第三标注框与目标物体的俯视图(左视图或右视图)点云数据一同显示,如图6A~图6D所示。
在图6A左侧61区域显示的是目标物体及其最小包围盒的立体形态,图6A右侧62区域显示的基于目标物体的俯视图生成的第一标注框以及该目标物体的俯视图,在63区域显示的是基于目标物体的后视图或主视图生成的第二标注框以及该目标物体的后视图或主视图,在64区域显示的是基于目标物体的侧视图生成的第三标注框以及该目标物体的侧视图(左视图或右视图)。生成第二标注框和第三标注框时,自动根据第一标注框对应区域的第一点云信息的高度信息确定第二标注框和第三标注框的高度。
图6B显示用户勾选“自动贴边”选项框后,自动生成第一点云数据在当前视图中的其他未被标注的目标物体的最小包围盒,以及该目标物体的俯视图及第一标注框、后视图及第二标注框、侧视图及第三标注框。在一个实施例中,也可以自动生成第一点云数据中全部物体的最小包围盒。
图6C显示当用户对目标物体的最小包围盒进行平移操作时,只能基于俯视面(地平面/第一投影面)进行平移。最小包围盒不会“飘”在空中。
图6D显示当用户目标物体的最小包围盒进行平移操作时,只能基于俯视面(地平面/第一投影面)的法线(即垂直于地面的轴)进行旋转。最小包围盒不会“飘”在空中。
综上所述,本公开实施例提供的基于浏览器的激光点云中的目标物体自动标注方法,通过自动捕捉目标物体,自动获取目标物体在第一投影面的第一标注框,进而贴边生成目标物体的最小包围盒,可以极大地节省人工标注的时间成本,提高激光点云中目标物体标注的准确度。同时,由于该最小包围盒基于第一投影面形成,可以在修改最小包围盒尺寸、平移最小包围盒、旋转最小包围盒时,保证最小包围盒始终贴合第一投影面显示,不会发生不符合直觉和常识的标注框偏移。
对应于上述方法实施例,本公开还提供一种目标物体自动标注装置,可以用于执行上述方法实施例。
图7示意性示出本公开一个示例性实施例中一种目标物体自动标注装置的方框图。
参考图7,目标物体自动标注装置700可以包括:
基准框确定模块702,设置为根据第一点云数据中目标物体在第一投影面的第一投影确定第一标注框;
点云块获取模块704,设置为获取所述第一标注框内的第二点云数据;
从属框确定模块706,设置为根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框;
最小包围盒确定模块708,设置为根据所述第一标注框、所述第二标注框和所述第三标注框确定所述目标物体的最小包围盒坐标;
立体标注模块710,设置为根据所述最小包围盒坐标在所述第一点云数据中显示所述目标物体的最小包围盒。
在本公开的一种示例性实施例中,所述第一投影面为地平面,所述第二投影面垂直于所述第一投影面,所述第三投影面垂直于所述第一投影面和所述第二投影面。
在本公开的一种示例性实施例中,还包括平移模块712,设置为:响应最小包围盒平移指令,基于所述第一投影面平移所述最小包围盒。
在本公开的一种示例性实施例中,还包括旋转模块714,设置为:响应最小包围盒旋转指令,基于所述第一投影面的法线旋转所述最小包围盒。
在本公开的一种示例性实施例中,还包括调整模块716,设置为:响应最小包围盒调整指令,更新所述第一标注框、所述第二标注框、所述第三标注框中至少两个的尺寸。
在本公开的一种示例性实施例中,立体标注模块710设置为通过立体形态显示所述目标物体与包围所述目标物体的所述最小包围盒;通过平面形态显示所述第一标注框、所述第二标注框、所述第三标注框。
在本公开的一种示例性实施例中,从属框确定模块706设置为根据所述第二点云数据中目标物体的高度信息确定所述第二投影和所述第三投影,所述高度信息来自于激光射线投射。
由于装置700的各功能已在其对应的方法实施例中予以详细说明,本公开于此不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元810可以执行如图1中所示的步骤。
存储单元820可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202,还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204,这样的程序模块8205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备800交互的设备通信,和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器860通过总线830与电子设备800的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
根据本发明的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和构思由权利要求指出。

Claims (12)

1.一种基于激光点云的目标物体自动标注方法,其特征在于,包括:
根据第一点云数据中目标物体在第一投影面的第一投影确定第一标注框;
获取所述第一标注框内的第二点云数据;
根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框;
根据所述第一标注框、所述第二标注框和所述第三标注框确定所述目标物体的最小包围盒坐标;
根据所述最小包围盒坐标在所述第一点云数据中显示所述目标物体的最小包围盒;
其中,所述第一投影面为地平面,所述第二投影面垂直于所述第一投影面,所述第三投影面垂直于所述第一投影面和所述第二投影面;
所述根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框包括:
根据所述第二点云数据中目标物体的高度信息确定所述第二投影和所述第三投影,所述高度信息来自于激光射线投射。
2.如权利要求1所述的目标物体自动标注方法,其特征在于,还包括:
响应最小包围盒平移指令,基于所述第一投影面平移所述最小包围盒。
3.如权利要求1所述的目标物体自动标注方法,其特征在于,还包括:
响应最小包围盒旋转指令,基于所述第一投影面的法线旋转所述最小包围盒。
4.如权利要求1所述的目标物体自动标注方法,其特征在于,还包括:
响应最小包围盒调整指令,更新所述第一标注框、所述第二标注框、所述第三标注框中至少两个的尺寸。
5.如权利要求1所述的目标物体自动标注方法,其特征在于,所述显示所述目标物体的最小包围盒包括:
通过立体形态显示所述目标物体与包围所述目标物体的所述最小包围盒;
通过平面形态显示所述目标物体的俯视图及所述第一标注框、所述目标物体的主视图或后视图及所述第二标注框、所述目标物体的左视图或右视图及所述第三标注框。
6.如权利要求1~5任一项所述的目标物体自动标注方法,其特征在于,所述目标物体自动标注方法基于浏览器实现,所述第一点云数据通过浏览器显示,所述最小包围盒、所述第一标注框、所述第二标注框、所述第三标注框分别通过不同的浏览器窗口显示。
7.一种目标物体自动标注装置,其特征在于,包括:
基准框确定模块,设置为根据第一点云数据中目标物体在第一投影面的第一投影确定第一标注框;
点云块获取模块,设置为获取所述第一标注框内的第二点云数据;
从属框确定模块,设置为根据所述第二点云数据中目标物体在第二投影面的第二投影和在第三投影面的第三投影确定第二标注框和第三标注框;
最小包围盒确定模块,设置为根据所述第一标注框、所述第二标注框和所述第三标注框确定所述目标物体的最小包围盒坐标;
立体标注模块,设置为根据所述最小包围盒坐标在所述第一点云数据中显示所述目标物体的最小包围盒;其中,所述第一投影面为地平面,所述第二投影面垂直于所述第一投影面,所述第三投影面垂直于所述第一投影面和所述第二投影面;
所述从属框确定模块设置为:根据所述第二点云数据中目标物体的高度信息确定所述第二投影和所述第三投影,所述高度信息来自于激光射线投射。
8.如权利要求7所述的目标物体自动标注装置,其特征在于,还包括:
平移模块,设置为响应最小包围盒平移指令,基于所述第一投影面平移所述最小包围盒。
9.如权利要求7所述的目标物体自动标注装置,其特征在于,还包括:
旋转模块,设置为响应最小包围盒旋转指令,基于所述第一投影面的法线旋转所述最小包围盒。
10.如权利要求7所述的目标物体自动标注装置,其特征在于,还包括:
调整模块,设置为响应最小包围盒调整指令,更新所述第一标注框、所述第二标注框、所述第三标注框中至少两个的尺寸。
11.一种电子设备,其特征在于,包括:
存储器;以及
耦合到所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1-6任一项所述的目标物体自动标注方法。
12.一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如权利要求1-6任一项所述的目标物体自动标注方法。
CN202010886389.XA 2020-08-28 2020-08-28 目标物体自动标注方法与装置 Active CN112034488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010886389.XA CN112034488B (zh) 2020-08-28 2020-08-28 目标物体自动标注方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010886389.XA CN112034488B (zh) 2020-08-28 2020-08-28 目标物体自动标注方法与装置

Publications (2)

Publication Number Publication Date
CN112034488A CN112034488A (zh) 2020-12-04
CN112034488B true CN112034488B (zh) 2023-05-02

Family

ID=73586180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010886389.XA Active CN112034488B (zh) 2020-08-28 2020-08-28 目标物体自动标注方法与装置

Country Status (1)

Country Link
CN (1) CN112034488B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907760B (zh) * 2021-02-09 2023-03-24 浙江商汤科技开发有限公司 三维对象的标注方法及装置、工具、电子设备和存储介质
CN113689508B (zh) * 2021-09-09 2024-02-02 北京地平线机器人技术研发有限公司 点云标注方法、装置、存储介质及电子设备
CN113744417B (zh) * 2021-11-08 2022-03-22 山东捷瑞数字科技股份有限公司 一种复杂节点模型的尺寸标注方法
CN114549644A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN114596363B (zh) * 2022-05-10 2022-07-22 北京鉴智科技有限公司 一种三维点云标注方法、装置及终端

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
CN109215112A (zh) * 2018-08-13 2019-01-15 西安理工大学 一种单侧点云模型的标注方法
CN109726647A (zh) * 2018-12-14 2019-05-07 广州文远知行科技有限公司 点云的标注方法、装置、计算机设备和存储介质
CN109727312A (zh) * 2018-12-10 2019-05-07 广州景骐科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN110084895A (zh) * 2019-04-30 2019-08-02 上海禾赛光电科技有限公司 对点云数据进行标注的方法和设备
CN110110696A (zh) * 2019-05-17 2019-08-09 百度在线网络技术(北京)有限公司 用于处理信息的方法和装置
CN110197148A (zh) * 2019-05-23 2019-09-03 北京三快在线科技有限公司 目标物体的标注方法、装置、电子设备和存储介质
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110782517A (zh) * 2019-10-10 2020-02-11 北京地平线机器人技术研发有限公司 点云标注方法、装置、存储介质及电子设备
CN110929612A (zh) * 2019-11-13 2020-03-27 北京云聚智慧科技有限公司 一种目标对象标注方法、装置及设备
CN111009040A (zh) * 2018-10-08 2020-04-14 阿里巴巴集团控股有限公司 点云实体标注系统、方法、装置及电子设备
CN111007534A (zh) * 2019-11-19 2020-04-14 武汉光庭科技有限公司 一种利用十六线激光雷达的障碍物检测方法及系统
CN111353417A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111476902A (zh) * 2020-04-27 2020-07-31 北京小马慧行科技有限公司 3d点云中物体的标注方法、装置、存储介质和处理器
CN111507222A (zh) * 2020-04-09 2020-08-07 中山大学 一种基于多源数据知识迁移的三维物体检测框架

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945198B (zh) * 2016-10-13 2021-02-23 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN106707293B (zh) * 2016-12-01 2019-10-29 百度在线网络技术(北京)有限公司 用于车辆的障碍物识别方法和装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的目标物体识别方法和装置
CN107093210A (zh) * 2017-04-20 2017-08-25 北京图森未来科技有限公司 一种激光点云标注方法及装置
CN109215112A (zh) * 2018-08-13 2019-01-15 西安理工大学 一种单侧点云模型的标注方法
CN111009040A (zh) * 2018-10-08 2020-04-14 阿里巴巴集团控股有限公司 点云实体标注系统、方法、装置及电子设备
CN109727312A (zh) * 2018-12-10 2019-05-07 广州景骐科技有限公司 点云标注方法、装置、计算机设备和存储介质
CN109726647A (zh) * 2018-12-14 2019-05-07 广州文远知行科技有限公司 点云的标注方法、装置、计算机设备和存储介质
CN110084895A (zh) * 2019-04-30 2019-08-02 上海禾赛光电科技有限公司 对点云数据进行标注的方法和设备
CN110110696A (zh) * 2019-05-17 2019-08-09 百度在线网络技术(北京)有限公司 用于处理信息的方法和装置
CN110197148A (zh) * 2019-05-23 2019-09-03 北京三快在线科技有限公司 目标物体的标注方法、装置、电子设备和存储介质
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110782517A (zh) * 2019-10-10 2020-02-11 北京地平线机器人技术研发有限公司 点云标注方法、装置、存储介质及电子设备
CN110929612A (zh) * 2019-11-13 2020-03-27 北京云聚智慧科技有限公司 一种目标对象标注方法、装置及设备
CN111007534A (zh) * 2019-11-19 2020-04-14 武汉光庭科技有限公司 一种利用十六线激光雷达的障碍物检测方法及系统
CN111353417A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 一种目标检测的方法及装置
CN111507222A (zh) * 2020-04-09 2020-08-07 中山大学 一种基于多源数据知识迁移的三维物体检测框架
CN111476902A (zh) * 2020-04-27 2020-07-31 北京小马慧行科技有限公司 3d点云中物体的标注方法、装置、存储介质和处理器

Also Published As

Publication number Publication date
CN112034488A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112034488B (zh) 目标物体自动标注方法与装置
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
US11763474B2 (en) Method for generating simulated point cloud data, device, and storage medium
US20210383096A1 (en) Techniques for training machine learning
CN110070556B (zh) 使用深度传感器的结构建模
JP7422105B2 (ja) 路側計算装置に用いる障害物3次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
EP3617997A1 (en) Method, apparatus, device, and storage medium for calibrating posture of moving obstacle
KR101553273B1 (ko) 증강현실 서비스를 제공하는 방법 및 장치
CN110782517B (zh) 点云标注方法、装置、存储介质及电子设备
JP7228623B2 (ja) 障害物検出方法、装置、設備、記憶媒体、及びプログラム
CN112258519B (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN111105695B (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
CN110909713B (zh) 点云数据的轨道提取方法、系统及介质
CN113496503B (zh) 点云数据的生成及实时显示方法、装置、设备及介质
EP3822850B1 (en) Method and apparatus for 3d modeling
CN113689508A (zh) 点云标注方法、装置、存储介质及电子设备
CN113126120A (zh) 数据标注方法、装置、设备、存储介质以及计算机程序产品
CN115847384B (zh) 机械臂安全平面信息显示方法及相关产品
CN114089836B (zh) 标注方法、终端、服务器和存储介质
CN113808186B (zh) 训练数据生成方法、装置与电子设备
CN114460743A (zh) 图像展示设备的成像效果分析方法、装置、设备及介质
CN111968071A (zh) 车辆的空间位置生成方法、装置、设备及存储介质
CN111950420A (zh) 一种避障方法、装置、设备和存储介质
CN114489341B (zh) 手势的确定方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant