CN112948605A - 点云数据的标注方法、装置、设备及可读存储介质 - Google Patents
点云数据的标注方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN112948605A CN112948605A CN201911268527.1A CN201911268527A CN112948605A CN 112948605 A CN112948605 A CN 112948605A CN 201911268527 A CN201911268527 A CN 201911268527A CN 112948605 A CN112948605 A CN 112948605A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud image
- target
- input operation
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims description 60
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000003550 marker Substances 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 30
- 238000010276 construction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种点云数据的标注方法、装置、设备及可读存储介质,其中该标注方法包括:获取需进行标注的目标点云图像,并确定所述目标点云图像中的地平面;接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物。本发明能提升点云数据的标注效率。
Description
技术领域
本发明涉及点云数据处理技术领域,特别涉及一种点云数据的标注方法、装置、设备及可读存储介质。
背景技术
无人驾驶早已成为人们耳熟能详的前沿科技名词,随着深度学习和机器视觉的发展,使得如何识别路面上的车/人/障碍物成为可能。目前常用的3D数据模型为激光雷达(LIDAR)3D点云,它使用一种激光发射器设置于车辆顶部,随车辆移动并记录扫描到的信息,这些信息常常存储为二进制或点云数据(PCD)模型文件,可以将行车过程中记录的场景数据复现在显示设备上。通过对点云场景中的车/人/障碍物进行标注,使用标注结果进行训练,最终产生机器视觉模型。
由于鼠标/触摸产生的信息本质上是2D信息,已知2D信息要在3D场景中命中准确位置,本质上是一件颇为不科学但又合理的诉求,因此当前的主流方法绕开了3D问题,将3D分解为3个2D分量分别进行标注。具体流程为:首先粗略定位目标物体的位置;然后生成三视图,并在3个视图中调整标注立方体的切面;最后将3视图的2D坐标重新映射为3D世界坐标。这种标注方法的缺陷在于2D与3D之间的来回映射转换,造成点云数据的标注效率不高。
发明内容
本发明提供了一种点云数据的标注方法、装置、设备及可读存储介质,其目的是为了解决点云数据的标注效率低的问题。
为了达到上述目的,第一方面,本发明的实施例提供了一种点云数据的标注方法,包括:
获取需进行标注的目标点云图像,并确定所述目标点云图像中的地平面;
接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物。
第二方面,本发明的实施例还提供了一种点云数据的标注装置,包括:
获取模块,用于获取需进行标注的目标点云图像,并确定所述目标点云图像中的地平面;
标注模块,用于接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物。
第三方面,本发明的实施例还提供了一种点云数据的标注设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的点云数据的标注方法的步骤。
第四方面,本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的点云数据的标注方法的步骤。
本发明的上述方案至少有如下的有益效果:
在本发明的实施例中,通过在获取到需要进行标注的目标点云图像时,确定出该目标点云图像中的地平面,然后接收对该目标点云图像中目标物体的输入操作,并根据接收到的输入操作和确定出的地平面,直接在目标点云图像中添加用于标注目标物体的标注物,而不需要将目标点云图像转换成2D进行标注,并在标注完成后映射回3D,因而大大提升了点云数据的标注效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的点云数据的标注方法的流程图;
图2是本发明实施例构建的矩形的示意图;
图3是本发明实施例的标注物的示意图;
图4是本发明实施例的点云数据的标注装置的结构示意图;
图5是本发明实施例的点云数据的标注设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
如图1所示,本发明的实施例提供了一种点云数据的标注方法,该标注方法标注后的点云数据可用于对机器视觉模型进行训练,以得到适用于无人驾驶的机器视觉模型,该标注方法包括如下步骤:
步骤11,获取需进行标注的目标点云图像,并确定所述目标点云图像中的地平面。
其中,在本发明的实施例中,上述目标点云图像可以是采集设备(如激光雷达等3D点云采集设备)在采集到点云数据后发送给用于执行上述标注方法的标注设备的。具体的,上述点云数据可以为单帧点云图像(即上述目标点云图像),也可以是连续多帧点云图像。
可以理解的是,为便于采集设备能采集到所需场景(如城市道路)的点云数据,该采集设备可安装于一移动设备(如汽车)的顶部,随移动设备的移动持续采集点云数据。而上述地平面是指采集设备做采集场景的地平面(如城市道路的地平面),确定地平面是为了后续能在目标点云图像中准确标注出目标物体(如汽车、人、障碍物等)。其中,确定目标点云图像中的地平面的具体实现方式将在后文详细阐述。
步骤12,接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物。
其中,在本发明的实施例中,在获取到需进行标注的目标点云图像后,会向用户展示该目标点云图像。具体的,在获取需进行标注的目标点云图像的步骤之后,上述标注方法还包括:在屏幕上显示目标点云图像,以使用户能对目标点云图像中的目标物体进行操作,进而使得标注设备能根据用户的输入操作和确定出的地平面,直接在目标点云图像中添加用于标注目标物体的标注物,而不需要将目标点云图像转换成2D进行标注,并在标注完成后映射回3D,因而大大提升了点云数据的标注效率。
接下来,对上述步骤11的具体实现方式作进一步描述。
具体的,在本发明的实施例中,上述步骤11的具体实现方式包括如下步骤:
第一步,确定所述目标点云图像中在第一坐标轴上的第一坐标值小于第一预设值、且在第二坐标轴上的第二坐标值小于第二预设值的所有目标点。
其中,上述第一坐标轴和第二坐标轴为世界坐标系中的两个坐标轴,所述世界坐标系的原点为移动设备所在位置,所述移动设备上承载有用于采集所述目标点云图像的采集设备,所述世界坐标系还包括与所述第一坐标轴和所述第二坐标轴垂直的第三坐标轴。需要说明的是,若移动设备为汽车,由于采集设备安装于车顶,可将车顶的中心位置(或者是采集设备的中心位置)作为世界坐标系的原点。
需要进一步说明的是,上述第一坐标轴可以为世界坐标系的x轴,第二坐标轴可以为世界坐标系的y轴,第三坐标轴可以为世界坐标系的z轴。且在本发明的实施例中,并不限定上述第一预设值和第二预设值的具体数值,第一预设值和第二预设值的具体数值可根据实际需要进行设定,如将第一预设值和第二预设值均设定为3米,即,将目标点云图像中距离移动设备较近的点作为目标点,以提高地平面的确定准确度。
第二步,获取所述所有目标点在所述第三坐标轴上的第三坐标值。
其中,在本发明的实施例中,具体可从世界坐标系中得到所有目标点在z轴上的坐标值。
第三步,将获取到的第三坐标值中数值最小的第三坐标值对应的平面作为地平面。
其中,在本发明的实施例中,由于在目标点云图像中地平面的在第三坐标轴上的第三坐标值应最小,因此可通过各目标点的第三坐标值确定出地平面,如最终确定z轴坐标值为1.8的平面为地平面。
值得一提的是,在本发明的实施例中,为提高地平面的确定准确度,在上述上述第二步之后,即,在获取到的所有目标点的第三坐标值后,按照数值从小至大的顺序,去除5%-10%的第三坐标值,然后再将剩余的第三坐标值中数值最小的第三坐标值对应的平面作为地平面,从而避免因真实地平面存在坑洼,而造成的地平面的确定有误差的情况出现。
可以理解的是,在实际应用中,当用户从屏幕上查看到目标点云图像后,可根据移动设备与地平面之间的距离,手动调整或确定地平面的位置,以精准定位地平面。
接下来,结合相关附图,对上述步骤12的具体实现方式作进一步描述。
需要说明的是,在本发明的实施例中,在目标点云图像中添加的用于标注目标物体的标注物可以为一长方体,当然可以理解的是,在本发明的实施例中,并不限定上述标注物的具体形状,其可以是长方体,也可以是圆柱形或者其他任何的形状。
具体的,在本发明的实施例中,上述步骤12的具体实现方式包括如下步骤:
步骤一,接收对所述目标物体的第一位置的第一输入操作。
其中,上述第一输入操作主要用于选中目标物体的第一位置。具体的,该第一输入操作可以为用户通过鼠标向屏幕上显示的目标物体输入的点击操作,当然可以理解的是,在本发明的实施例中,并不限定该第一输入操作的具体形式,其还可以为其他操作,例如当屏幕为触摸屏时,该第一输入操作可以为触摸操作。
步骤二,根据所述第一输入操作,以虚拟摄像头所在位置为起点,向所述第一位置发出第一射线,并确定所述第一射线与所述地平面的第一交点。
其中,在本发明的实施例中,当接收到上述第一输入操作时,会根据该第一输入操作的触发,从屏幕上当前显示界面中的虚拟摄像头所在位置向第一位置发出第一射线,并确定出该第一射线与地平面的第一交点。需要说明的是,上述虚拟摄像头为3D世界的虚拟摄像头,且在显示上述目标点云图像的当前显示界面仅存在一个虚拟摄像头。
步骤三,接收对所述目标物体的第二输入操作。
其中,上述第二输入操作对应的起点位置为所述第一位置,所述第二输入操作对应的终点位置为所述目标物体的第二位置,所述第一位置和所述第二位置分别为所述目标物体的对角线的两个端点位置。
需要说明的是,上述第二输入操作是为了选中目标物体的第二位置。具体的,该第二输入操作可以是用户通过鼠标向屏幕上显示的目标物体输入的拖放操作,该拖放操作从第一位置处开始,并在第二位置处结束。当然可以理解的是,在本发明的实施例中,并不限定该第二输入操作的具体形式,其还可以为其他操作,如通过鼠标点击第二位置等。
步骤四,根据所述第二输入操作,以所述虚拟摄像头所在位置为起点,向所述第二位置发出第二射线,并确定所述第二射线与所述地平面的第二交点。
其中,在本发明的实施例中,当接收到上述第二输入操作(该第二输入操作包含:第二输入操作对应的起点位置、终点位置以及第二输入操作的操作类型,如拖放操作)时,会根据该第二输入操作的触发,从屏幕上虚拟摄像头所在位置向第二位置发出第二射线,并确定出该第二射线与地平面的第二交点。
步骤五,以所述第一交点与所述第二交点之间的线段为对角线构建一矩形。
其中,构建的上述矩形的两相邻边中的一条边与世界坐标系的第一坐标轴平行,另一条边与世界坐标系的第二坐标轴平行。如图2所示,假设上述第一交点为图2中的A点,第二交点为图2中的B点,对角线即为AB,通常在已知对角线AB的情况下,以线段AB为直径的圆上的任意一个点与A点和B点相连的夹角都是直角,均可生成一个矩形;但考虑到在实际采集过程中,大部分情况下车辆(如城市道路中的车辆)的行驶方向与采集车辆(即移动设备)相同或相反,行人的行走方向与行驶方向垂直,因此可以取C点,使AC与x轴平行,BC与y轴平行,即可唯一确定一个矩形。
步骤六,以所述矩形为底面构建一长方体;所述长方体高度为所述移动设备的高度。
其中,在本发明的实施例中,在构建完矩形后,以该矩形为底面、移动设备的高度(即世界坐标系中地平面与原点之间的距离)为高构建的长方体即为目标物体的标注物。
需要说明的是,此时在目标点云图像中添加的目标物体的标注物为粗略标注。为确保标注物的准确度,在本发明的实施例中,在执行完上述步骤12后,上述标注方法还包括如下对标注物进行调整的步骤:
步骤一,生成并显示添加有所述标注物后的目标点云图像的三视图。
其中,上述三视图包括俯视图、横侧面视图和纵侧面视图。在本发明的实施例中,显示三视图的目的是为了使用户能观察、确定标注物是否标注准确,如果未标注准确,则通过输入对标注物进行调整。具体的,上述俯视图能够很好的观察目标物体的朝向、四个边界是否标注准确;横侧面视图能够很好的观察目标物体的高度、前后边界是否标注准确;纵侧面视图能够很好的观察目标物体的高度、两侧边界是否标注准确。需要说明的是,标注正确的原则是目标物体的点全在标注物内,且该标注物的面尽量贴近目标物体最外围的点,即,该标注物是包裹目标物体所有点的最小长方体。
步骤二,在接收到对所述标注物的调整指令时,根据所述调整指令所指示的调整操作,在所述目标点云图像中对所述标注物进行调整。
其中,在本发明的实施例中,为便于用户在发现标注物标注不准确时,方便用户输入调整指令。可在屏幕上显示平移操作柄、缩放操作柄和旋转操作柄。其中,如图3所示,平移操作柄31可以整体移动标注物30的位置,缩放操作柄32可以使标注物30向一个方向变大(另一个面保持不动),旋转操作柄33可以使标注物30围绕自己的中心位置旋转,其中,图3中带箭头的线表示标注物30的旋转方向。
具体的,在世界坐标系中,平移操作柄可在xy平面(可同时向x轴正负方向和y轴正负方向平移)、xz平面(可同时向x轴正负方向和z轴正负方向平移)以及yz平面(同时向y轴正负方向和z轴正负方向平移)作用;缩放操作柄可在x轴正负方向、y轴正负方向以及z轴正方向作用,x轴正方向:保持长方体朝向x轴负方向的面不动的情况下,使朝向x轴正方向的面平移,x轴负方向:保持长方体朝向x轴正方向的面不动的情况下,使朝向x轴负方向的面平移,y轴正方向:保持长方体朝向y轴负方向的面不动的情况下,使朝向y轴正方向的面平移,y轴负方向:保持长方体朝向y轴正方向的面不动的情况下,使朝向y轴负方向的面平移,z轴正方向:保持长方体底面不动的情况下,将顶面向z轴正方向进行平移;旋转操作柄可在xy平面作用,即以z轴为轴进行旋转一定角度,调整长方体的朝向。通过将这些操作柄组合在一起,能够灵活的操作标注物,迅速的完成标注任务。例如当用户通过横侧面视图发现目标物体在z轴正方向有些点未包含在标注物内时,可通过缩放操作柄输入调整指令,指示标注物沿z轴正方向放大,使目标物体在z轴正方向的所有点均包含在标注物内。
另外,在本发明的实施例中,由于标注后的点云数据需要用于对机器视觉模型进行训练,因此接收到的点云数据很可能包括连续多帧点云图像。具体的,当上述目标点云图像为连续多帧点云图像的首帧点云图像时,上述标注方法还包括如下步骤:
针对所述连续多帧点云图像中除所述首帧点云图像以外的任一帧点云图像,生成并显示该帧点云图像的三视图,并在接收到对该帧点云图像中的标注物的调整指令时,根据该调整指令所指示的调整操作,对该帧点云图像中的标注物进行调整。
在此需要说明的是,对除首帧点云图像以外的任一帧点云图像中的标注物进行调整的过程,与对首帧点云图像中标注物的调整过程是一样的,都是基于三视图判断标注物是否标注准确,若不准确,则通过平移操作柄、缩放操作柄和旋转操作柄三个操作柄对标注物进行调整,为避免过多重复,在此不对除首帧点云图像以外的任一帧点云图像中标注物的调整过程进行过多赘述。
值得一提的是,使用本发明实施例提供的标注方法对点云数据进行标注,在标注完首帧点云图像后,后续的点云图像不需要重新添加标注物,只需要稍微调整标注物的位置即可完成标注,这与现有技术需要每帧添加标注物的标注方法相比,大大提高了点云数据的标注效率。
其中,在本发明的实施例中,为进一步提高点云数据的标注效率,不需要逐帧生成三视图,并依据三视图对标注物进行调整。而是只对连续多帧点云图像中的关键帧生成三视图,并依据三视图对标注物进行调整即可。
具体的,在本发明的实施例中,上述标注方法还包括如下步骤:将所述首帧点云图像、所述连续多帧点云图像中标注物被调整的各帧点云图像作为所述连续多帧点云图像的关键帧。其中,当相邻两关键帧之间存在非关键帧时,利用插值算法,根据该相邻两关键帧中所述目标物体的标注物的位置,对所述非关键帧中的所述标注物进行调整。例如接收到连续100帧点云图像,则仅需要标注30帧的点云图像乃至更少,即可通过插值生成完整100帧的标注结果,当然如果插值结果不准确时,可以在不准确的帧插入一帧关键帧来填充该帧。由此可见,利用本发明实施例提供的标注方法对数据量庞大的点云数据进行标注,能大大提高点云数据的标注效率。
如图4所示,本发明的实施例还提供了一种点云数据的标注装置,包括获取模块41和标注模块42。
其中,获取模块41,用于获取需进行标注的目标点云图像,并确定所述目标点云图像中的地平面。
标注模块42,用于接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物。
其中,上述获取模块41包括:第一确定单元、获取单元和第二确定单元。
其中,第一确定单元,用于确定所述目标点云图像中在第一坐标轴上的第一坐标值小于第一预设值、且在第二坐标轴上的第二坐标值小于第二预设值的所有目标点。所述第一坐标轴和所述第二坐标轴为世界坐标系中的两个坐标轴,所述世界坐标系的原点为移动设备所在位置,所述移动设备上承载有用于采集所述目标点云图像的采集设备,所述世界坐标系还包括与所述第一坐标轴和所述第二坐标轴垂直的第三坐标轴。
获取单元,用于获取所述所有目标点在所述第三坐标轴上的第三坐标值。
第二确定单元,用于将获取到的第三坐标值中数值最小的第三坐标值对应的平面作为地平面。
其中,上述标注物为一长方体,上述标注模块42包括:第一接收单元、第三确定单元、第二接收单元、第四确定单元、第一构建单元和第二构建单元。
其中,第一接收单元,用于接收对所述目标物体的第一位置的第一输入操作。
第三确定单元,用于根据所述第一输入操作,以虚拟摄像头所在位置为起点,向所述第一位置发出第一射线,并确定所述第一射线与所述地平面的第一交点。
第二接收单元,用于接收对所述目标物体的第二输入操作;所述第二输入操作对应的起点位置为所述第一位置,所述第二输入操作对应的终点位置为所述目标物体的第二位置,所述第一位置和所述第二位置分别为所述目标物体的对角线的两个端点位置。
第四确定单元,用于根据所述第二输入操作,以所述虚拟摄像头所在位置为起点,向所述第二位置发出第二射线,并确定所述第二射线与所述地平面的第二交点。
第一构建单元,用于以所述第一交点与所述第二交点之间的线段为对角线构建一矩形;所述矩形的两相邻边中的一条边与所述第一坐标轴平行,另一条边与所述第二坐标轴平行。
第二构建单元,用于以所述矩形为底面构建一长方体;所述长方体高度为所述移动设备的高度。
值得一提的是,在本发明的实施例中,点云数据的标注装置40为与上述点云数据的标注方法对应的装置,能提升点云数据的标注效率。
需要说明的是,点云数据的标注装置40包括实现上述点云数据的标注方法的所有模块或者单元,为避免过多重复,在此不对点云数据的标注装置40的各模块或者单元进行赘述。
如图5所示,本发明的实施例还提供了一种点云数据的标注设备,包括存储器51、处理器52以及存储在所述存储器51中并可在所述处理器52上运行的计算机程序53,所述处理器52执行所述计算机程序53时实现上述的点云数据的标注方法的步骤。
具体的,点云数据的标注设备50的处理器52执行所述计算机程序53时实现如下步骤:获取需进行标注的目标点云图像,并确定所述目标点云图像中的地平面;接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物。
可选的,点云数据的标注设备50的处理器52执行所述计算机程序53时还实现如下步骤:确定所述目标点云图像中在第一坐标轴上的第一坐标值小于第一预设值、且在第二坐标轴上的第二坐标值小于第二预设值的所有目标点;所述第一坐标轴和所述第二坐标轴为世界坐标系中的两个坐标轴,所述世界坐标系的原点为移动设备所在位置,所述移动设备上承载有用于采集所述目标点云图像的采集设备,所述世界坐标系还包括与所述第一坐标轴和所述第二坐标轴垂直的第三坐标轴;获取所述所有目标点在所述第三坐标轴上的第三坐标值;将获取到的第三坐标值中数值最小的第三坐标值对应的平面作为地平面。
可选的,点云数据的标注设备50的处理器52执行所述计算机程序53时还实现如下步骤:在屏幕上显示所述目标点云图像。
可选的,标注物为一长方体,点云数据的标注设备50的处理器52执行所述计算机程序53时还实现如下步骤:接收对所述目标物体的第一位置的第一输入操作;根据所述第一输入操作,以虚拟摄像头所在位置为起点,向所述第一位置发出第一射线,并确定所述第一射线与所述地平面的第一交点;接收对所述目标物体的第二输入操作;所述第二输入操作对应的起点位置为所述第一位置,所述第二输入操作对应的终点位置为所述目标物体的第二位置,所述第一位置和所述第二位置分别为所述目标物体的对角线的两个端点位置;根据所述第二输入操作,以所述虚拟摄像头所在位置为起点,向所述第二位置发出第二射线,并确定所述第二射线与所述地平面的第二交点;以所述第一交点与所述第二交点之间的线段为对角线构建一矩形;所述矩形的两相邻边中的一条边与所述第一坐标轴平行,另一条边与所述第二坐标轴平行;以所述矩形为底面构建一长方体;所述长方体高度为所述移动设备的高度。
可选的,当所述目标点云图像为连续多帧点云图像的首帧点云图像时,点云数据的标注设备50的处理器52执行所述计算机程序53时还实现如下步骤:针对所述连续多帧点云图像中除所述首帧点云图像以外的任一帧点云图像,生成并显示该帧点云图像的三视图,并在接收到对该帧点云图像中的标注物的调整指令时,根据该调整指令所指示的调整操作,对该帧点云图像中的标注物进行调整。
可选的,点云数据的标注设备50的处理器52执行所述计算机程序53时还实现如下步骤:将所述首帧点云图像、所述连续多帧点云图像中标注物被调整的各帧点云图像作为所述连续多帧点云图像的关键帧;当相邻两关键帧之间存在非关键帧时,根据该相邻两关键帧中所述目标物体的标注物的位置,对所述非关键帧中的所述标注物进行调整。
即,在本发明的具体实施例中,点云数据的标注设备50的处理器52执行所述计算机程序53时实现上述的点云数据的标注方法的步骤,能提升点云数据的标注效率。
示例性的,上述计算机程序53可以被分割成一个或多个模块/单元,该一个或者多个模块/单元被存储在存储器51中,并由处理器52执行,以完成本发明。且该一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序53在点云数据的标注设备50中的执行过程。
上述点云数据的标注设备50可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该点云数据的标注设备50可包括,但不仅限于,处理器52、存储器51。本领域技术人员可以理解,所述示意图仅仅是点云数据的标注设备50的示例,并不构成对点云数据的标注设备50的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如点云数据的标注设备50还可以包括输入输出设备、网络接入设备、总线等。
上述处理器52可以是中央处理单元(CPU,Central Processing Unit),还可以是其他通用处理器、数字信号处理器(DSP,Digital Signal Processor)、专用集成电路(ASIC,Application Specific Integrated Circuit)、现成可编程门阵列(FPGA,Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器52是点云数据的标注设备50的控制中心,利用各种接口和线路连接整个点云数据的标注设备50的各个部分。
上述存储器51可用于存储计算机程序53和/或模块,处理器52通过运行或执行存储在存储器51内的计算机程序53和/或模块,以及调用存储在存储器51内的数据,实现点云数据的标注设备50的各种功能。具体的,存储器51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SMC,Smart Media Card),安全数字(SD,SecureDigital)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是,由于点云数据的标注设备50的处理器52执行所述计算机程序53时实现上述的点云数据的标注方法的步骤,因此上述点云数据的标注方法的所有实施例均能适用于该点云数据的标注设备50,且均能达到相同或相似的有益效果。
此外,本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的点云数据的标注方法的步骤。
即,在本发明的具体实施例中,计算机可读存储介质的计算机程序被处理器执行时实现上述的点云数据的标注方法的步骤,能提升点云数据的标注效率。
示例性的,计算机可读存储介质的计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种点云数据的标注方法,其特征在于,包括:
获取需进行标注的目标点云图像,并确定所述目标点云图像中的地平面;
接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物。
2.根据权利要求1所述的标注方法,其特征在于,所述确定所述目标点云图像中的地平面的步骤,包括:
确定所述目标点云图像中在第一坐标轴上的第一坐标值小于第一预设值、且在第二坐标轴上的第二坐标值小于第二预设值的所有目标点;所述第一坐标轴和所述第二坐标轴为世界坐标系中的两个坐标轴,所述世界坐标系的原点为移动设备所在位置,所述移动设备上承载有用于采集所述目标点云图像的采集设备,所述世界坐标系还包括与所述第一坐标轴和所述第二坐标轴垂直的第三坐标轴;
获取所述所有目标点在所述第三坐标轴上的第三坐标值;
将获取到的第三坐标值中数值最小的第三坐标值对应的平面作为地平面。
3.根据权利要求2所述的标注方法,其特征在于,所述标注物为一长方体;
所述接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物的步骤,包括:
接收对所述目标物体的第一位置的第一输入操作;
根据所述第一输入操作,以虚拟摄像头所在位置为起点,向所述第一位置发出第一射线,并确定所述第一射线与所述地平面的第一交点;
接收对所述目标物体的第二输入操作;所述第二输入操作对应的起点位置为所述第一位置,所述第二输入操作对应的终点位置为所述目标物体的第二位置,所述第一位置和所述第二位置分别为所述目标物体的对角线的两个端点位置;
根据所述第二输入操作,以所述虚拟摄像头所在位置为起点,向所述第二位置发出第二射线,并确定所述第二射线与所述地平面的第二交点;
以所述第一交点与所述第二交点之间的线段为对角线构建一矩形;所述矩形的两相邻边中的一条边与所述第一坐标轴平行,另一条边与所述第二坐标轴平行;
以所述矩形为底面构建一长方体;所述长方体高度为所述移动设备的高度。
4.根据权利要求1所述的标注方法,其特征在于,当所述目标点云图像为连续多帧点云图像的首帧点云图像时,所述标注方法还包括:
针对所述连续多帧点云图像中除所述首帧点云图像以外的任一帧点云图像,生成并显示该帧点云图像的三视图,并在接收到对该帧点云图像中的标注物的调整指令时,根据该调整指令所指示的调整操作,对该帧点云图像中的标注物进行调整。
5.根据权利要求4所述的标注方法,其特征在于,所述标注方法还包括:
将所述首帧点云图像、所述连续多帧点云图像中标注物被调整的各帧点云图像作为所述连续多帧点云图像的关键帧;
当相邻两关键帧之间存在非关键帧时,根据该相邻两关键帧中所述目标物体的标注物的位置,对所述非关键帧中的所述标注物进行调整。
6.一种点云数据的标注装置,其特征在于,包括:
获取模块,用于获取需进行标注的目标点云图像,并确定所述目标点云图像中的地平面;
标注模块,用于接收对所述目标点云图像中目标物体的输入操作,并根据接收到的输入操作和所述地平面,在所述目标点云图像中添加用于标注所述目标物体的标注物。
7.根据权利要求6所述的标注装置,其特征在于,所述获取模块包括:
第一确定单元,用于确定所述目标点云图像中在第一坐标轴上的第一坐标值小于第一预设值、且在第二坐标轴上的第二坐标值小于第二预设值的所有目标点;所述第一坐标轴和所述第二坐标轴为世界坐标系中的两个坐标轴,所述世界坐标系的原点为移动设备所在位置,所述移动设备上承载有用于采集所述目标点云图像的采集设备,所述世界坐标系还包括与所述第一坐标轴和所述第二坐标轴垂直的第三坐标轴;
获取单元,用于获取所述所有目标点在所述第三坐标轴上的第三坐标值;
第二确定单元,用于将获取到的第三坐标值中数值最小的第三坐标值对应的平面作为地平面。
8.根据权利要求7所述的标注装置,其特征在于,所述标注物为一长方体;
所述标注模块包括:
第一接收单元,用于接收对所述目标物体的第一位置的第一输入操作;
第三确定单元,用于根据所述第一输入操作,以虚拟摄像头所在位置为起点,向所述第一位置发出第一射线,并确定所述第一射线与所述地平面的第一交点;
第二接收单元,用于接收对所述目标物体的第二输入操作;所述第二输入操作对应的起点位置为所述第一位置,所述第二输入操作对应的终点位置为所述目标物体的第二位置,所述第一位置和所述第二位置分别为所述目标物体的对角线的两个端点位置;
第四确定单元,用于根据所述第二输入操作,以所述虚拟摄像头所在位置为起点,向所述第二位置发出第二射线,并确定所述第二射线与所述地平面的第二交点;
第一构建单元,用于以所述第一交点与所述第二交点之间的线段为对角线构建一矩形;所述矩形的两相邻边中的一条边与所述第一坐标轴平行,另一条边与所述第二坐标轴平行;
第二构建单元,用于以所述矩形为底面构建一长方体;所述长方体高度为所述移动设备的高度。
9.一种点云数据的标注设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的点云数据的标注方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的点云数据的标注方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911268527.1A CN112948605B (zh) | 2019-12-11 | 2019-12-11 | 点云数据的标注方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911268527.1A CN112948605B (zh) | 2019-12-11 | 2019-12-11 | 点云数据的标注方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112948605A true CN112948605A (zh) | 2021-06-11 |
CN112948605B CN112948605B (zh) | 2024-05-03 |
Family
ID=76234099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911268527.1A Active CN112948605B (zh) | 2019-12-11 | 2019-12-11 | 点云数据的标注方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112948605B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067091A (zh) * | 2022-01-17 | 2022-02-18 | 深圳慧拓无限科技有限公司 | 一种多源数据标注方法、系统、电子设备和存储介质 |
CN115147474A (zh) * | 2022-07-01 | 2022-10-04 | 小米汽车科技有限公司 | 点云标注模型的生成方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133851A1 (zh) * | 2017-01-22 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 一种点云数据处理方法、装置及计算机存储介质 |
CN110197148A (zh) * | 2019-05-23 | 2019-09-03 | 北京三快在线科技有限公司 | 目标物体的标注方法、装置、电子设备和存储介质 |
-
2019
- 2019-12-11 CN CN201911268527.1A patent/CN112948605B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133851A1 (zh) * | 2017-01-22 | 2018-07-26 | 腾讯科技(深圳)有限公司 | 一种点云数据处理方法、装置及计算机存储介质 |
CN110197148A (zh) * | 2019-05-23 | 2019-09-03 | 北京三快在线科技有限公司 | 目标物体的标注方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
王震;刘进;: "基于激光影像的物体三维点云获取系统", 城市勘测, no. 06 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067091A (zh) * | 2022-01-17 | 2022-02-18 | 深圳慧拓无限科技有限公司 | 一种多源数据标注方法、系统、电子设备和存储介质 |
CN115147474A (zh) * | 2022-07-01 | 2022-10-04 | 小米汽车科技有限公司 | 点云标注模型的生成方法、装置、电子设备及存储介质 |
CN115147474B (zh) * | 2022-07-01 | 2023-05-02 | 小米汽车科技有限公司 | 点云标注模型的生成方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112948605B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665536B (zh) | 三维与实景数据可视化方法、装置与计算机可读存储介质 | |
US11842438B2 (en) | Method and terminal device for determining occluded area of virtual object | |
CN109285220B (zh) | 一种三维场景地图的生成方法、装置、设备及存储介质 | |
WO2022068225A1 (zh) | 点云标注的方法、装置、电子设备、存储介质及程序产品 | |
CN108334802B (zh) | 道路特征物的定位方法及装置 | |
EP3570253B1 (en) | Method and device for reconstructing three-dimensional point cloud | |
WO2021051344A1 (zh) | 高精度地图中车道线的确定方法和装置 | |
CN112258610B (zh) | 图像标注方法、装置、存储介质及电子设备 | |
CN105448184A (zh) | 地图道路的绘制方法及装置 | |
CN111402414A (zh) | 一种点云地图构建方法、装置、设备和存储介质 | |
CN113096003B (zh) | 针对多视频帧的标注方法、装置、设备和存储介质 | |
CN103914521B (zh) | 基于混合瓦片金字塔的街景影像存储的方法及装置 | |
CN112330815A (zh) | 基于障碍物融合的三维点云数据处理方法、装置和设备 | |
CN107832331A (zh) | 可视化对象的生成方法、装置和设备 | |
CN112948605B (zh) | 点云数据的标注方法、装置、设备及可读存储介质 | |
CN112329846A (zh) | 激光点云数据高精度标注方法及系统、服务器及介质 | |
CN103617631B (zh) | 一种基于中心检测的跟踪方法 | |
CN111368860B (zh) | 重定位方法及终端设备 | |
CN106611443A (zh) | 三维地形点拾取方法及装置 | |
CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
CN113763438A (zh) | 一种点云配准方法、装置、设备及存储介质 | |
CN116978010A (zh) | 图像标注方法和装置、存储介质和电子设备 | |
CN116958485A (zh) | 一种可视域分析方法及装置 | |
CN116858215A (zh) | 一种ar导航地图生成方法及装置 | |
CN116740716A (zh) | 视频标注方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |