CN110858415B - 一种3d点云数据中物体的标注方法和装置 - Google Patents

一种3d点云数据中物体的标注方法和装置 Download PDF

Info

Publication number
CN110858415B
CN110858415B CN201810973255.4A CN201810973255A CN110858415B CN 110858415 B CN110858415 B CN 110858415B CN 201810973255 A CN201810973255 A CN 201810973255A CN 110858415 B CN110858415 B CN 110858415B
Authority
CN
China
Prior art keywords
bounding box
point
input
space direction
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810973255.4A
Other languages
English (en)
Other versions
CN110858415A (zh
Inventor
陈利虎
郑贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201810973255.4A priority Critical patent/CN110858415B/zh
Publication of CN110858415A publication Critical patent/CN110858415A/zh
Application granted granted Critical
Publication of CN110858415B publication Critical patent/CN110858415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本发明公开一种3D点云数据中物体的标注方法和装置，用于解决现有技术中在3D点云数据中标注物体存在的标注速度慢、效率低的问题。该方法包括：标注装置接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，参考空间方向包括x轴方向、y轴方向或z轴方向；在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色；接收输入的第二点，接收输入的物体属性；在第二点的外部生成预定的与输入的物体属性对应的3D边界框；建立3D边界框中的数据点与输入的物体属性的关联关系。

Description

一种3D点云数据中物体的标注方法和装置
技术领域
本发明涉及图像处理领域，特别涉及一种3D点云数据中物体的标注方法和装置。
背景技术
在自动驾驶等技术领域中，操作人员需要在激光雷达(LIDAR)获取到的3D点云数据中标注出各种物体，以满足物体识别等的处理的需求。
操作人员在3D点云数据中标注物体时，通常是通过观察，将3D空间中的多个数据点用3D边界框标识出来，并且给3D边界框中的点关联上物体属性。在标注的过程中，需要在x、y、z轴方向上调整3D边界框，保证3D边界框能够将表达物体的数据点都包括进去。在调整的过程中，可能需要不断地将点云数据转换到x轴视角、y轴视角或者z轴视角，以保证能在各个视角上清楚地观察是否有遗漏的数据点。
可见，在3D点云数据的标注方法存在标注速度慢、效率低的问题。
发明内容
有鉴于此，本发明提供了一种3D点云数据中物体的标注方法和装置，用于解决现有技术中在3D点云数据中标注物体存在的标注速度慢、效率低的问题。
根据本发明的一个方面，提供了一种图像数据中物体的标注方法，包括：
标注装置接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，参考空间方向包括x轴方向、y轴方向或z轴方向；
在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色；
接收输入的第二点，接收输入的物体属性；
在第二点的外部生成预定的与输入的物体属性对应的3D边界框；
建立3D边界框中的数据点与输入的物体属性的关联关系。
根据本发明的一个方面，提供了一种图像数据中物体的标注装置，包括：
接收单元，用于接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，参考空间方向包括x轴方向、y轴方向或z轴方向；接收输入的第二点，接收输入的物体属性；
显示单元，用于在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色；
标注单元，用于在第二点的外部生成预定的与输入的物体属性对应的3D边界框；建立3D边界框中的数据点与输入的物体属性的关联关系。
根据本发明的一个方面，提供了一种图像数据中物体的标注装置，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：
接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，参考空间方向包括x轴方向、y轴方向或z轴方向；
在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色；
接收输入的第二点，接收输入的物体属性；
在第二点的外部生成预定的与输入的物体属性对应的3D边界框；
建立3D边界框中的数据点与输入的物体属性的关联关系。
根据本申请实施例提供的技术方案，标注装置在接收到的3D点云数据帧中的第一点的位置坐标上，将与参考空间方向垂直的平面上的全部数据点显示为预定的颜色，能够在3D点云数据中以一种颜色将一个平面从3D点云数据中区分出来，使得该平面与其它的3D数据点形成对比，为操作员观察3D数据点并进行物体标注提供参考，从而能够提高操作员标注3D点云数据中的物体的操作速度和操作效率。并且，在输入的第二点的外部自动地生成与输入的物体属性对应的3D边界框，能够进一步地提高操作员标注3D点云数据中的物体的操作速度和操作效率。从而本申请实施例提供的方法能够解决现有技术中操作员标注3D点云数据中的物体的操作速度慢和效率低的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请实施例提供的3D点云数据中物体的标注方法的处理流程图；
图2为图1的步骤104之后调整3D边界框的位置的操作的处理流程图；
图3为图1的步骤104的一种处理流程图；
图4为在图3所示处理之后调整3D边界框的位置的操作的处理流程图；
图5为一个驾驶环境的3D点云数据帧的示例；
图6为使用图1所示方法对图5的3D点云数据进行标注的示例；
图7为本申请实施例提供的3D点云数据中物体的标注装置的结构框图；
图8为本申请实施例提供的3D点云数据中物体的标注装置的另一种结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
在现有技术中，操作人员在3D点云数据中标注物体时，通常是通过观察，将3D空间中的多个数据点用3D边界框标识出来，存在标注速度慢、效率低的问题。
针对该问题，本申请实施例提出了一种3D点云数据中物体的标注方法和装置，用以解决上述问题。根据本申请实施例提供的技术方案，标注装置在接收到的3D点云数据帧中的第一点的位置坐标上，将与接收到的参考空间方向垂直的平面上的全部数据点显示为预定的颜色，能够在3D点云数据中以一种颜色将一个平面从3D点云数据中区分出来，使得该平面与其它的3D数据点形成对比，为操作员观察3D数据点并进行物体标注提供参考，从而能够提高操作员标注3D点云数据中的物体的操作速度和操作效率。并且，在输入的第二点的外部自动地生成与输入的物体属性对应的3D边界框，能够进一步地提高操作员标注3D点云数据中的物体的操作速度和操作效率。从而本申请实施例提供的方法能够解决现有技术中操作员标注3D点云数据中的物体的操作速度慢和效率低的问题。
以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
图1示出了本申请实施例提供的3D点云数据中物体的标注方法的处理流程，该方法包括：
步骤101、标注装置接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，参考空间方向包括x轴方向、y轴方向或z轴方向；
步骤102、在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色；
步骤103、接收输入的第二点，接收输入的物体属性；
步骤104、在第二点的外部生成预定的与输入的物体属性对应的3D边界框；
步骤105、建立3D边界框中的数据点与输入的物体属性的关联关系。
在上述步骤101中，输入操作可以是人工执行的或者是自动处理装置自动执行的。例如，当由操作员来执行数据标定操作时，可以在所显示出来的3D点云数据中选取一个数据点，并通过标注装置提供的接口向标注装置输入选取的该点，标注装置将接收到的该点作为第一点；操作员进一步地选取3D空间中的一个方向，并通过标注装置提供的接口向标注装置输入所选取的方向。或者，也可以是由自动处理装置自动选取一个点以及3D空间中的一个方向，并输入给标注装置的。
在上述步骤102中，在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色，包括在3D点云数据帧中将数据点的参考空间方向的坐标值与第一点的参考空间方向的坐标值相同的数据点显示为预定的颜色。
也即当第一点位于一个物体的平面上、且输入的参考空间方向即为与该物体平面垂直的空间方向时，将该平面上的全部3D点云数据点显示为预定的颜色，可以将该平面与3D点云数据中的其它数据点区别出来，并在视觉显示上与其他数据点形成对比。
例如，当平面是地面、桌面或者墙面、第一点是该平面上的一个点时，将第一点所在平面上的全部数据点显示为预定的颜色时，能够显著地区分出该平面以及平面之外的物体，也即可以区分出地面和地面之上的物体、桌面和桌面以外的物体、墙面和墙面以为的物体。例如，选择表达地面的3D数据点中的一个点为第一点，并选择z轴为参考方向，通过步骤102可以将表达地面的3D数据点显示为一种预定的颜色，将表达地面的数据点与表达其它物体的数据点区分开来。通过这种区分和对比，能够便于操作员观察3D点云数据中的物体，提高标注的速度和效率。
在一些实施例中，还可以采用预定的图例显示所述平面，这样能够更加显著地区分出物体的平面，便于操作员观察和标注物体。
进一步地，在一些实施例中，在步骤101中还可以接收输入的参考空间方向的正方向或者负方向，并且，在步骤102中，将在该平面的参考空间方向的正方向或者负方向一侧的全部数据点显示为预定的颜色。从而能够将平面一侧的物体与平面另一侧的物体区分开来，以便于操作员进行观察和识别3D点云数据中的物体。
在上述步骤103中，与步骤101中的输入操作相类似，输入操作可以是由操作员执行的或者是由自动处理装置执行的，并通过标注装置提供的接口向标注装置输入选取的第二点和物体属性。
在上述步骤104中，在第二点的外部生成预定的与输入的物体属性对应的3D边界框，可以包括如下的一种方式：
方式一、以第二点为中心点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框；
方式二、将第二点确定为3D边界框的一个预定位置的顶点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框。
根据上述两种方式，操作员可以在具体操作时，选取观察到的物体的中心点或者一个预定位置的顶点，标注装置将操作员选取的点作为第二点。
另一方面，在操作员没有选取到准确的中心点或者预定位置的顶点的情况下，自动生成的3D边界框可能无法准确地标识出物体所包括的全部的3D数据点。这样，在步骤104之后还可以进一步地对3D边界框的位置进行调整。
在一些实施例中，还可以包括调整3D边界框的位置的操作，如图2所示，包括如下操作：
步骤1041a、接收输入的任意一个调整空间方向以及在调整空间方向上的调整值。其中，调整空间方向也即需要调整的空间方向，可以是三维空间中的任意一个方向，即x轴方向、y轴方向和z轴方向中的任意一个。调整空间方向上的调整值也即在3D边界框当前坐标位置上，在一个调整方向上需要调整的数值。
步骤1042a、根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
具体地，可以将3D边界框当前坐标位置和在调整方向上的调整值的和值作为调整后的3D边界框的位置。
通过上面的方法，标注装置将3D点云数据中表达物体平面的数据点用一种预定颜色显示出来，能够对3D点云数据中的数据点进行对比显示，便于操作员观察和识别3D点云中的物体。并且根据输入的第二点，生成对物体进行标注的3D边界框，还可以进一步地对3D边界框的位置进行调整，能够实现对3D点云数据中的物体的准确标注。
在本申请的一些实施例中，在步骤104中还提供了一种对平面上的物体进行快速标注的方法，图3中示出了该方法的处理流程，包括：
步骤1041b、判断第二点与所述平面之间的距离是否小于预定的距离阈值；在判断为是的情况下，处理进行到步骤1042b，在判断为否的情况下，处理进行到步骤1043b；
步骤1042b、按照与输入的物体属性对应的3D边界框的尺寸，确定在第二点的外部生成的3D边界框的位置；并将3D边界框的朝向该平面的一个面在参考空间方向的坐标，调整为第一点在参考空间方向上的值；根据调整后的3D边界框的坐标位置，生成3D边界框；
其中，确定在第二点的外部生成的3D边界框的位置，可以根据上述方式一或者方式二中确定3D边界框的位置的方法确定得到。
步骤1043b、根据上述方式一或者方式二，在第二点外部生成3D边界框。
例如，通过上述步骤102将表达地面的数据点用一种预定颜色显示出来后，操作员选择了表达地面上的一个车辆的多个数据点中的一个数据点也即第二点，通过上述步骤1041b和1042b，可以在表达该车辆的数据点外部生成3D边界框。并且在生成3D边界框的过程中，将第二点作为3D边界框的中心点或者一个预定位置的顶点，确定3D边界框的坐标位置，并进一步地，将3D边界框朝向地面的一个面(也即底面)的z轴的坐标位置调整为表达地面的平面的z轴的坐标位置，根据调整后的位置生成3D边界框。
根据如图3所示的方法，可以自动地判断物体与平面的关系，并且在判断物体位于平面上时，可以自动地在平面上生成3D边界框，能够提高在3D点云数据中对物体进行标注的速度和效率。
进一步地，根据上述步骤1042b生成的平面上的物体的3D边界框，可能存在标注不准确的问题；接上例，当在表达地面的平面上生成标注一个车辆的3D边界框后，该边界框可能在x轴方向上或者y轴方向上将不属于车辆的一些数据点也包括进去了，或者没有包括进去属于车辆的一些数据点。这样，本申请实施例可以进一步对生成的3D边界框进行调整，图4中示出了对边界框进行调整的处理流程，包括：
步骤1041c、接收输入的除了参考空间方向之外的其它任意一个调整空间方向、以及在调整空间方向上的调整值；
如上所述，调整空间方向也即需要调整的空间方向，可以是三维空间中的任意一个方向，即x轴方向、y轴方向和z轴方向中的任意一个。调整空间方向上的调整值也即在3D边界框当前坐标位置上，在一个调整方向上需要调整的数值。
步骤1042c、根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
如上所述，可以将3D边界框当前坐标位置和在调整方向上的调整值的和值作为调整后的3D边界框的位置。
接上例，当在表达地面的平面上生成了标注一个车辆的3D边界框后，接收输入的调整空间方向x轴或者y轴，以及在x轴上的调整值或者在y轴上的调整值，根据接收到的调整值，相应地调整3D边界框在x轴方向或者y轴方向上的位置。
根据图4所示的方法，能够进一步地提高对3D点云数据中的物体进行标注的准确性。
在上述任一实施例的基础上，本申请实施例还可以进一步地对3D边界框的尺寸进行调整，包括：接收输入的3D边界框的尺寸调整值；根据接收到的尺寸调整值调整3D边界框的尺寸。例如，在根据上述方式一生成3D边界框的情况下，可以根据3D边界框的中心点的位置，来调整3D边界框的尺寸；在根据上述方式二生成3D边界框的情况下，可以根据3D边界框的一个预定的顶点的位置来调整3D边界框的尺寸。
在上述任一实施例的基础上，本申请实施例还可以进一步接收输入的显示空间方向，并在输入的显示空间方向上显示当前3D点云数据帧和/或生成的3D边界框。显示空间方向包括x轴方向、y轴方向或z轴方向。从而能够使操作员更为便利地对3D点云数据中的物体进行观察和识别。
在本申请的另一些实施例中，还提供了一种对多个3D点云数据帧中的物体进行追踪标注的方法。也即，根据在当前3D点云数据帧中生成的3D边界框的位置，在相邻的下一帧3D点云数据帧中相同的位置上生成相同的3D边界框。
其中相同的位置，是指坐标一致的位置。相同的3D边界框是指下一帧中的3D边界框与当前帧中相同位置上的3D边界框在尺寸和类型上是相同的。
进一步地，还可以结合上述对3D边界框的位置、尺寸进行调整的处理，来对相邻帧中物体进行准确标注。
通过对多个3D点云数据帧中多物体进行追踪标注的方法，可以进一步地提高在3D点云数据中进行物体标注的速度的效率。
根据本申请实施例提供的技术方案，标注装置在接收到的3D点云数据帧中的第一点的位置坐标上，将与接收到的参考空间方向垂直的平面上的全部数据点显示为预定的颜色，能够在3D点云数据中以一种颜色将一个平面从3D点云数据中区分出来，使得该平面与其它的3D数据点形成对比，为操作员观察3D数据点并进行物体标注提供参考，从而能够提高操作员标注3D点云数据中的物体的操作速度和操作效率。并且，在输入的第二点的外部自动地生成与输入的物体属性对应的3D边界框，能够进一步地提高操作员标注3D点云数据中的物体的操作速度和操作效率。从而本申请实施例提供的方法能够解决现有技术中操作员标注3D点云数据中的物体的操作速度慢和效率低的问题。
在本申请的一些实施例中，标注装置能够自动识别输入的第二点与所述平面之间的位置关系，在第二点与所述平面之间的距离小于预定的距离阈值的情况下，在平面上且在第二点外部生成3D边界框，能够提高标注操作的速度和效率。
在本申请的一些实施例中，标注装置还能够根据输入对生成的3D边界框的位置、大小进行调整，能够增加标注操作的准确性。
在本申请的一些实施例中，标注装置还能够对多个连续的3D点云数据帧中的物体进行追踪标注，能够进一步地提高标注操作的速度和效率。
图5中示出了一个驾驶环境的3D点云数据帧的示例，其中包括表达地面和车辆等的数据点，其中用3D边界框标注出了一个车辆。图6中示出了使用图1所示方法对图5的3D点云数据进行标注的示例，其中将表达地面的数据点用一种颜色显示出来，与其他的数据点形成视觉对比，并且在表达车辆的数据点外生成了3D边界框，对该车辆进行了标注。
基于相同的发明构思，本申请实施例还提供了一种3D点云数据中物体的标注装置。
图7中示出了本申请实施例提供的3D点云数据中物体的标注装置的结构框图，包括：
接收单元71，用于接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，参考空间方向包括x轴方向、y轴方向或z轴方向；接收输入的第二点，接收输入的物体属性；
显示单元72，用于在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色；
标注单元73，用于在第二点的外部生成预定的与输入的物体属性对应的3D边界框；建立3D边界框中的数据点与输入的物体属性的关联关系。
在一些实施例中，显示单元72在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色，包括：在3D点云数据帧中将数据点的参考空间方向的坐标值与第一点的参考空间方向的坐标值相同的数据点显示为预定的颜色。
在一些实施例中，显示单元72还用于采用预定的图例显示所述平面。
在一些实施例中，接收单元71还用于：接收输入的空间方向的正方向或负方向；显示单元72还用于将在该平面的参考空间方向的正方向或者负方向一侧的全部数据点显示为预定的颜色。
在一些实施例中，标注单元73在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括以下之一：以第二点为中心点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框；将第二点确定为3D边界框的一个预定位置的顶点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框。
在一些实施例中，接收单元71还用于接收输入的任意一个调整空间方向以及在调整空间方向上的调整值；其中，调整空间方向包括x轴方向、y轴方向或z轴方向；标注单元73还用于根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
在一些实施例中，标注单元73在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括：判断第二点与所述平面之间的距离是否小于预定的距离阈值；在判读为是的情况下，按照与输入的物体属性对应的3D边界框的尺寸，确定在第二点的外部生成的3D边界框的位置；并将3D边界框的朝向该平面的一个面在参考空间方向的坐标，调整为第一点在参考空间方向上的值；根据调整后的3D边界框的坐标位置，生成3D边界框。
在一些实施例中，接收单元71还用于接收输入的除了参考空间方向之外的其它任意一个调整空间方向、以及在调整空间方向上的调整值；标注单元73还用于根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
在一些实施例中，接收单元71还用于接收输入的3D边界框的尺寸调整值；标注单元73还用于根据接收到的尺寸调整值调整3D边界框的尺寸。
在一些实施例中，接收单元71还用于接收输入的显示空间方向；其中，显示空间方向包括x轴方向、y轴方向或z轴方向；显示单元72还用于在输入的显示空间方向上显示当前3D点云数据帧和/或生成的3D边界框。
在一些实施例中，标注单元73还用于根据在当前3D点云数据帧中生成的3D边界框的位置，在相邻的下一帧3D点云数据帧中相同的位置上生成相同的3D边界框。
根据本申请实施例提供的技术方案，标注装置在接收到的3D点云数据帧中的第一点的位置坐标上，将与接收到的参考空间方向垂直的平面上的全部数据点显示为预定的颜色，能够在3D点云数据中以一种颜色将一个平面从3D点云数据中区分出来，使得该平面与其它的3D数据点形成对比，为操作员观察3D数据点并进行物体标注提供参考，从而能够提高操作员标注3D点云数据中的物体的操作速度和操作效率。并且，在输入的第二点的外部自动地生成与输入的物体属性对应的3D边界框，能够进一步地提高操作员标注3D点云数据中的物体的操作速度和操作效率。从而本申请实施例提供的方法能够解决现有技术中操作员标注3D点云数据中的物体的操作速度慢和效率低的问题。
基于相同的发明构思，本申请实施例还提供了一种3D点云数据中物体的标注装置。
图8中示出了本申请实施例提供的3D点云数据中物体的标注装置的结构框图，包括一个处理器81和至少一个存储器82，至少一个存储器82中存储有至少一条机器可执行指令，处理器81执行至少一条机器可执行指令以执行：
接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，参考空间方向包括x轴方向、y轴方向或z轴方向；
在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色；
接收输入的第二点，接收输入的物体属性；
在第二点的外部生成预定的与输入的物体属性对应的3D边界框；
建立3D边界框中的数据点与输入的物体属性的关联关系。
在一些实施例中，处理器81执行至少一条机器可执行指令执行在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色，包括：在3D点云数据帧中将数据点的参考空间方向的坐标值与第一点的参考空间方向的坐标值相同的数据点显示为预定的颜色。
在一些实施例中，处理器81执行至少一条机器可执行指令还执行：采用预定的图例显示所述平面。
在一些实施例中，处理器81执行至少一条机器可执行指令还执行：接收输入的参考空间方向的正方向或负方向；将在该平面的参考空间方向的正方向或者负方向一侧的全部数据点显示为预定的颜色。
在一些实施例中，处理器81执行至少一条机器可执行指令执行在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括以下之一：以第二点为中心点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框；将第二点确定为3D边界框的一个预定位置的顶点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框。
在一些实施例中，处理器81执行至少一条机器可执行指令还执行：接收输入的任意一个调整空间方向以及在调整空间方向上的调整值；其中，调整空间方向包括x轴方向、y轴方向或z轴方向；根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
在一些实施例中，处理器81执行至少一条机器可执行指令执行在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括：判断第二点与所述平面之间的距离是否小于预定的距离阈值；在判读为是的情况下，按照与输入的物体属性对应的3D边界框的尺寸，确定在第二点的外部生成的3D边界框的位置；并将3D边界框的朝向该平面的一个面在参考空间方向的坐标，调整为第一点在参考空间方向上的值；根据调整后的3D边界框的坐标位置，生成3D边界框。
在一些实施例中，处理器81执行至少一条机器可执行指令还执行：接收输入的除了参考空间方向之外的其它任意一个调整空间方向、以及在调整空间方向上的调整值；根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
在一些实施例中，处理器81执行至少一条机器可执行指令还执行：接收输入的3D边界框的尺寸调整值；根据接收到的尺寸调整值调整3D边界框的尺寸。
在一些实施例中，处理器81执行至少一条机器可执行指令还执行：接收输入的显示空间方向；其中，显示空间方向包括x轴方向、y轴方向或z轴方向；在输入的显示空间方向上显示当前3D点云数据帧和/或生成的3D边界框。
在一些实施例中，处理器81执行至少一条机器可执行指令还执行：根据在当前3D点云数据帧中生成的3D边界框的位置，在相邻的下一帧3D点云数据帧中相同的位置上生成相同的3D边界框。
根据本申请实施例提供的技术方案，标注装置在接收到的3D点云数据帧中的第一点的位置坐标上，将与接收到的参考空间方向垂直的平面上的全部数据点显示为预定的颜色，能够在3D点云数据中以一种颜色将一个平面从3D点云数据中区分出来，使得该平面与其它的3D数据点形成对比，为操作员观察3D数据点并进行物体标注提供参考，从而能够提高操作员标注3D点云数据中的物体的操作速度和操作效率。并且，在输入的第二点的外部自动地生成与输入的物体属性对应的3D边界框，能够进一步地提高操作员标注3D点云数据中的物体的操作速度和操作效率。从而本申请实施例提供的方法能够解决现有技术中操作员标注3D点云数据中的物体的操作速度慢和效率低的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (30)

1.一种3D点云数据中物体的标注方法，其特征在于，包括：
标注装置接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，所述第一点位于一个物体的平面上，且所述参考空间方向为与所述平面垂直的空间方向，参考空间方向包括x轴方向、y轴方向或z轴方向；
在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色，以使得所述平面与其他的3D点云数据点形成对比；
接收输入的第二点，接收输入的物体属性；
在第二点的外部生成预定的与输入的物体属性对应的3D边界框；
建立3D边界框中的数据点与输入的物体属性的关联关系。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收输入的参考空间方向的正方向或负方向；
将在该平面的参考空间方向的正方向或者负方向一侧的全部数据点显示为预定的颜色。
3.根据权利要求1所述的方法，其特征在于，在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括以下之一：
以第二点为中心点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框；
将第二点确定为3D边界框的一个预定位置的顶点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收输入的任意一个调整空间方向以及在调整空间方向上的调整值；其中，调整空间方向包括x轴方向、y轴方向或z轴方向；
根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
5.根据权利要求1所述的方法，其特征在于，在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括：
判断第二点与所述平面之间的距离是否小于预定的距离阈值；
在判读为是的情况下，按照与输入的物体属性对应的3D边界框的尺寸，确定在第二点的外部生成的3D边界框的位置；并将3D边界框的朝向该平面的一个面在参考空间方向的坐标，调整为第一点在参考空间方向上的值；根据调整后的3D边界框的坐标位置，生成3D边界框。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收输入的除了参考空间方向之外的其它任意一个调整空间方向、以及在调整空间方向上的调整值；
根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收输入的3D边界框的尺寸调整值；
根据接收到的尺寸调整值调整3D边界框的尺寸。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收输入的显示空间方向；其中，显示空间方向包括x轴方向、y轴方向或z轴方向；
在输入的显示空间方向上显示当前3D点云数据帧和/或生成的3D边界框。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用预定的图例显示所述平面。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据在当前3D点云数据帧中生成的3D边界框的位置，在相邻的下一帧3D点云数据帧中相同的位置上生成相同的3D边界框。
11.一种3D点云数据中物体的标注装置，其特征在于，包括：
接收单元，用于接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，所述第一点位于一个物体的平面上，且所述参考空间方向为与所述平面垂直的空间方向，参考空间方向包括x轴方向、y轴方向或z轴方向；接收输入的第二点，接收输入的物体属性；
显示单元，用于在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色，以使得所述平面与其他的3D点云数据点形成对比；
标注单元，用于在第二点的外部生成预定的与输入的物体属性对应的3D边界框；建立3D边界框中的数据点与输入的物体属性的关联关系。
12.根据权利要求11所述的装置，其特征在于，接收单元还用于：接收输入的空间方向的正方向或负方向；
显示单元还用于将在该平面的参考空间方向的正方向或者负方向一侧的全部数据点显示为预定的颜色。
13.根据权利要求11所述的装置，其特征在于，标注单元在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括以下之一：
以第二点为中心点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框；
将第二点确定为3D边界框的一个预定位置的顶点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框。
14.根据权利要求11所述的装置，其特征在于，接收单元还用于接收输入的任意一个调整空间方向以及在调整空间方向上的调整值；其中，调整空间方向包括x轴方向、y轴方向或z轴方向；
标注单元还用于根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
15.根据权利要求11所述的装置，其特征在于，标注单元在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括：
判断第二点与所述平面之间的距离是否小于预定的距离阈值；
在判读为是的情况下，按照与输入的物体属性对应的3D边界框的尺寸，确定在第二点的外部生成的3D边界框的位置；并将3D边界框的朝向该平面的一个面在参考空间方向的坐标，调整为第一点在参考空间方向上的值；根据调整后的3D边界框的坐标位置，生成3D边界框。
16.根据权利要求15所述的装置，其特征在于，接收单元还用于接收输入的除了参考空间方向之外的其它任意一个调整空间方向、以及在调整空间方向上的调整值；
标注单元还用于根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
17.根据权利要求11所述的装置，其特征在于，接收单元还用于接收输入的3D边界框的尺寸调整值；
标注单元还用于根据接收到的尺寸调整值调整3D边界框的尺寸。
18.根据权利要求11所述的装置，其特征在于，接收单元还用于接收输入的显示空间方向；其中，显示空间方向包括x轴方向、y轴方向或z轴方向；
显示单元还用于在输入的显示空间方向上显示当前3D点云数据帧和/或生成的3D边界框。
19.根据权利要求11所述的装置，其特征在于，显示单元还用于采用预定的图例显示所述平面。
20.根据权利要求11所述的装置，其特征在于，标注单元还用于根据在当前3D点云数据帧中生成的3D边界框的位置，在相邻的下一帧3D点云数据帧中相同的位置上生成相同的3D边界框。
21.一种3D点云数据中物体的标注装置，其特征在于，包括一个处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，处理器执行至少一条机器可执行指令以执行：
接收输入的当前3D点云数据帧中的第一点，接收输入的三维空间中的一个参考空间方向；其中，所述第一点位于一个物体的平面上，且所述参考空间方向为与所述平面垂直的空间方向，参考空间方向包括x轴方向、y轴方向或z轴方向；
在第一点的位置坐标上、将与参考空间方向垂直的平面上的全部的3D点云数据点显示为预定的颜色，以使得所述平面与其他的3D点云数据点形成对比；
接收输入的第二点，接收输入的物体属性；
在第二点的外部生成预定的与输入的物体属性对应的3D边界框；
建立3D边界框中的数据点与输入的物体属性的关联关系。
22.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：
接收输入的参考空间方向的正方向或负方向；
将在该平面的参考空间方向的正方向或者负方向一侧的全部数据点显示为预定的颜色。
23.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令执行在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括以下之一：
以第二点为中心点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框；
将第二点确定为3D边界框的一个预定位置的顶点，按照与输入的物体属性对应的3D边界框的尺寸确定3D边界框的坐标位置；根据确定的坐标位置，生成该3D边界框。
24.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：
接收输入的任意一个调整空间方向以及在调整空间方向上的调整值；其中，调整空间方向包括x轴方向、y轴方向或z轴方向；
根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
25.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令执行在第二点的外部生成预定的与输入的物体属性对应的3D边界框，包括：
判断第二点与所述平面之间的距离是否小于预定的距离阈值；
在判读为是的情况下，按照与输入的物体属性对应的3D边界框的尺寸，确定在第二点的外部生成的3D边界框的位置；并将3D边界框的朝向该平面的一个面在参考空间方向的坐标，调整为第一点在参考空间方向上的值；根据调整后的3D边界框的坐标位置，生成3D边界框。
26.根据权利要求25所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：
接收输入的除了参考空间方向之外的其它任意一个调整空间方向、以及在调整空间方向上的调整值；
根据接收到的调整值，对应地调整3D边界框在调整空间方向上的位置。
27.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：
接收输入的3D边界框的尺寸调整值；
根据接收到的尺寸调整值调整3D边界框的尺寸。
28.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：
接收输入的显示空间方向；其中，显示空间方向包括x轴方向、y轴方向或z轴方向；
在输入的显示空间方向上显示当前3D点云数据帧和/或生成的3D边界框。
29.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：采用预定的图例显示所述平面。
30.根据权利要求21所述的装置，其特征在于，处理器执行至少一条机器可执行指令还执行：根据在当前3D点云数据帧中生成的3D边界框的位置，在相邻的下一帧3D点云数据帧中相同的位置上生成相同的3D边界框。
CN201810973255.4A 2018-08-24 2018-08-24 一种3d点云数据中物体的标注方法和装置 Active CN110858415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810973255.4A CN110858415B (zh) 2018-08-24 2018-08-24 一种3d点云数据中物体的标注方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810973255.4A CN110858415B (zh) 2018-08-24 2018-08-24 一种3d点云数据中物体的标注方法和装置

Publications (2)

Publication Number Publication Date
CN110858415A CN110858415A (zh) 2020-03-03
CN110858415B true CN110858415B (zh) 2021-04-02

Family

ID=69636203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810973255.4A Active CN110858415B (zh) 2018-08-24 2018-08-24 一种3d点云数据中物体的标注方法和装置

Country Status (1)

Country Link
CN (1) CN110858415B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476902B (zh) * 2020-04-27 2023-10-24 北京小马慧行科技有限公司 3d点云中物体的标注方法、装置、存储介质和处理器
CN113628411A (zh) * 2020-05-07 2021-11-09 中移(成都)信息通信科技有限公司 婴儿安全预警的系统、方法、设备及计算机存储介质
CN112037120A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 3d点云数据中道路平面要素的标注方法和装置、存储介质
CN112070830A (zh) * 2020-11-13 2020-12-11 北京云测信息技术有限公司 点云图像的标注方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2532948B (en) * 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
CN105957145A (zh) * 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 道路障碍物识别方法和装置
CN107818293A (zh) * 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Patch-Based Semantic Labeling of Road Scene Using Colorized Mobie LiDAR Point Clouds";Huan Luo等;《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》;20160531;第17卷(第5期);第1286-1297页 *
"三维点云数据在历史建筑结构分析和尺寸量测中的应用";冯亚飞;《地矿测绘》;20150630(第2期);第4-8页 *
"基于三维精度特征符号的3D零件模型同步随动三维标注";杨萍 等;《兰州理工大学学报》;20150228;第41卷(第1期);第42-46页 *
"基于车载三维激光雷达的车辆检测与跟踪";王志宇;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑（月刊）》;20180415(第4期);C035-99 *

Also Published As

Publication number Publication date
CN110858415A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
CN110858415B (zh) 一种3d点云数据中物体的标注方法和装置
US8994721B2 (en) Information processing apparatus, information processing method, and program for extending or expanding a viewing area of content displayed on a 2D workspace into a 3D virtual display screen
US10331962B2 (en) Detecting device, detecting method, and program
CN110782517B (zh) 点云标注方法、装置、存储介质及电子设备
US10382747B2 (en) Image processing apparatus, image processing method, and image processing program
EP4020385A1 (en) Method for training image depth estimation model and method for processing image depth information
KR20120114153A (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
JPWO2017002209A1 (ja) 表示制御装置及び表示制御方法及び表示制御プログラム
CN110793431A (zh) 工件测量装置、工件测量方法以及计算机可读介质
US8982127B2 (en) Computing device and method for establishing three dimensional coordinate system using graphics
US20160275359A1 (en) Information processing apparatus, information processing method, and computer readable medium storing a program
CN113362420B (zh) 道路标注生成方法、装置、设备以及存储介质
CN107204044A (zh) 一种基于虚拟现实的画面显示方法及相关设备
EP2795577B1 (en) Three dimension measurement method, three dimension measurement program and robot device
US9639763B2 (en) Image target detecting apparatus and method
CN112258610B (zh) 图像标注方法、装置、存储介质及电子设备
CN115847384B (zh) 机械臂安全平面信息显示方法及相关产品
CN113361371B (zh) 道路提取方法、装置、设备以及存储介质
US20140074432A1 (en) Electronic device and method for measuring outline of object
CN114930388A (zh) 工件图像解析装置、工件图像解析方法以及程序
JP2007094902A (ja) ３次元画像表示装置、３次元画像表示方法及び３次元画像表示プログラム
JP2021071515A (ja) 地図生成装置、地図生成方法及び地図生成プログラム
CN111506280A (zh) 用于指示屏幕外兴趣点的图形用户界面
CN112241675A (zh) 物体检测模型训练方法及装置
US20230004687A1 (en) Dimension creation device, dimension creation method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200327

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSENZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: TuSimple

GR01 Patent grant
GR01 Patent grant