CN111476902B - 3d点云中物体的标注方法、装置、存储介质和处理器 - Google Patents

Abstract

本发明公开了一种3D点云中物体的标注方法、装置、存储介质、处理器和运载工具。该方法包括：采用预定标注框标注3D点云中的物体；将预定标注框标注以及对应的物体的点投影在2D平面上，得到预定投影图像；根据预定投影图像确定物体对应点物体的点是否都在预定标注框内。该方法通过预定投影图像确定物体对应点物体的点是否都在预定标注框内，从而避免标注框不能完全包围框住所有物体的点，使得标注框可以准确标注物体，进而实现了3D点云中的物体的精准标注。

Description

3D点云中物体的标注方法、装置、存储介质和处理器

技术领域

本发明涉及自动驾驶领域，具体而言，涉及一种3D点云中物体的标注方法、装置、存储介质、处理器和运载工具。

背景技术

自动驾驶领域中，为保证车辆的正确行使，常常需要获取车辆周围环境的3D点云，且需要将3D点云中的物体用标注框标注出来，现有技术中的标注框较单一且不够灵活使得物体的标注不够准确。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种3D点云中物体的标注方法、装置、存储介质、处理器和运载工具，以至少解决现有技术中3D点云中的物体的标注准确度较低的技术问题。

根据本发明实施例的一个方面，提供了一种3D点云中物体的标注方法，包括：采用预定标注框标注3D点云中的物体；将所述预定标注框以及对应的所述物体的点投影在2D平面上，得到预定投影图像；根据所述预定投影图像确定所述物体的点是否都在所述预定标注框内。

进一步地，将所述预定标注框以及对应的所述物体的点投影在2D平面上，得到预定投影图像，包括：所述预定标注框以及对应的所述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，所述第一平面、所述第二平面以及所述第三平面两两之间相互垂直。

进一步地，在至少一个所述物体的点不在所述预定标注框的情况下，所述方法还包括：调整所述预定标注框的大小和/或方向；确定所述物体的点是否都在调整后的所述预定标注框内；至少在所述物体的点都在调整后的所述预定标注框内的情况下，确定调整后的所述预定标注框为标注框。

进一步地，确定所述物体的点是否都在调整后的所述预定标注框内，包括：确定调整后的所述预定标注框以及对应的所述物体的点在所述第一平面、所述第二平面以及所述第三平面上的投影图像；根据所述投影图像确定所述物体的点是否都在调整后的所述预定标注框内。

进一步地，确定调整后的所述预定标注框以及对应的所述物体的点在所述第一平面、所述第二平面以及所述第三平面上的投影图像，包括：确定所述预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，所述第一方向、所述第二方向和所述第三方向两两垂直，且所述第一方向垂直于所述第一平面，所述第二方向垂直于所述第二平面，所述第三方向垂直于所述第三平面；根据所述变换矩阵对应调整所述第一预定投影图像、所述第二预定投影图像和所述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

进一步地，至少在所述物体的点都在调整后的所述预定标注框内的情况下，确定调整后的所述预定标注框为标注框，包括：在所述物体的点都在调整后的所述预定标注框内且所述预定标注框内的噪点数量小于预定数量的情况下，确定调整后的所述预定标注框为所述标注框。

进一步地，所述3D点云中的物体包括至少以下之一：车辆、建筑物、路牌、树木。

根据本发明实施例的另一个方面，还提供了一种3D点云中物体的标注方法，包括：采用第一预定标注框标注3D点云中的物体；根据所述物体的点与所述第一预定标注框的位置关系，确定所述第一预定标注框是否为第二预定标注框；根据所述第二预定标注框内的噪点数量，确定所述第二预定标注框是否为所述物体的标注框。

进一步地，根据所述物体的点与所述第一预定标注框的位置关系，确定所述第一预定标注框是否为第二预定标注框，包括：确定所述物体的点是否都在所述第一预定标注框内；在至少一个所述物体的点未在所述第一预定标注框内的情况下，调整所述第一预定标注框的大小和/或方向；确定所述物体的点是否都在调整后的所述第一预定标注框内；在所述物体的点都在调整后的所述第一预定标注框内的情况下，确定所述第一预定标注框为所述第二预定标注框。

进一步地，确定所述物体的点是否都在所述第一预定标注框内，包括：所述第一预定标注框以及对应的所述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，所述第一平面、所述第二平面以及所述第三平面两两之间相互垂直；根据所述第一预定投影图像、所述第二预定投影图像和所述第三预定投影图像确定所述物体的点是否都在所述第一预定标注框内。

进一步地，确定所述物体的点是否都在调整后的所述第一预定标注框内，包括：确定调整后的所述第一预定标注框以及对应的所述物体的点在第一平面、第二平面以及第三平面上的投影图像；根据所述投影图像确定所述物体的点是否都在调整后的所述第一预定标注框内。

进一步地，确定调整后的所述第一预定标注框以及对应的所述物体的点在所述第一平面、所述第二平面以及所述第三平面上的投影图像，包括：确定所述第一预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，所述第一方向、所述第二方向和所述第三方向两两垂直，且所述第一方向垂直于所述第一平面，所述第二方向垂直于所述第二平面，所述第三方向垂直于所述第三平面；根据所述变换矩阵对应调整所述第一预定投影图像、所述第二预定投影图像和所述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

进一步地，根据所述第二预定标注框内的噪点数量，确定所述第二预定标注框是否为所述物体的标注框，包括：在所述第二预定标注框内的噪点的数量大于预定数量的情况下，调整所述第二预定标注框的大小和/或方向；确定调整后的所述第二预定标注框内的噪点数量是否小于或者等于所述预定数量；在所述第二预定标注框内的噪点的数量小于或者等于所述预定数量的情况下，确定所述第二预定标注框为所述物体的标注框。

根据本发明实施例的再一个方面，还提供了一种3D点云中物体的标注装置，包括：第一标注单元，用于采用预定标注框标注3D点云中的物体；投影单元，用于将所述预定标注框以及对应的所述物体的点投影在2D平面上，得到预定投影图像；第一确定单元，用于根据所述预定投影图像确定所述物体的点是否都在所述预定标注框内。

根据本发明实施例的又一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执任意一种所述的标注方法。

根据本发明实施例的另一个方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的标注方法。

根据本发明实施例的再一个方面，提供了一种运载工具，所述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的3D点云中物体的标注方法。

在本发明实施例中，上述标注方法中，首先采用预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，然后将预定标注框以及对应的物体的点投影在2D平面上，得到预定投影图像，最后根据预定投影图像所包含的信息确定物体的点是否在预定标注框内，从而避免标注框不能完全包围(框住)所有物体的点，使得标注框可以准确标注物体，进而实现了3D点云中的物体的精准标注。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本申请的一种实施例的3D点云中物体的标注方法的流程示意图；

图2示出了根据本申请的另一种实施例的3D点云中物体的标注方法的流程示意图；以及

图3示出了根据本申请的一种实施例的3D点云中物体的标注装置的结构示意图；

图4示出了根据本申请的另一种实施例的3D点云中物体的标注装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所说的，现有技术中3D点云中的物体的标注准确度较低，为了解决上述问题，本申请的一种典型的实施方式中，提供了一种3D点云中物体的标注方法、装置、存储介质、处理器和运载工具。

根据本申请的实施例，提供了一种3D点云中物体的标注方法。

图1是根据本申请实施例的3D点云中物体的标注方法的流程图。如图1所示，该标注方法包括以下步骤：

步骤S101，采用预定标注框标注3D点云中的物体；

步骤S102，将上述预定标注框以及对应的上述物体的点投影在2D平面上，得到预定投影图像；

步骤S103，根据上述预定投影图像确定上述物体的点是否都在上述预定标注框内。

上述标注方法中，首先采用预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，然后将预定标注框以及对应的物体的点投影在2D平面上，得到预定投影图像，最后根据预定投影图像所包含的信息确定物体的点是否都在预定标注框内，从而避免标注框不能完全包围(框住)所有物体的点，使得标注框可以准确标注物体，进而实现了3D点云中的物体的精准标注。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的一种实施例中，将上述预定标注框以及对应的上述物体的点投影在2D平面上，得到预定投影图像，包括：上述预定标注框以及对应的上述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，上述第一平面、上述第二平面以及上述第三平面两两之间相互垂直。具体地，由于一个方向的投影图像比较片面，影响标注的准确性，将预定标注框以及对应的物体的点分别投影三个互相垂直的平面上，从而进一步避免标注框不能完全囊括所有物体的点，进一步提高3D点云中的物体标注的准确性。

本申请的一种实施例中，在至少一个上述物体的点不在上述预定标注框的情况下，上述方法还包括：调整上述预定标注框的大小和/或方向；确定上述物体的点是否都在调整后的上述预定标注框内；至少在上述物体的点都在调整后的上述预定标注框内的情况下，确定调整后的上述预定标注框为标注框。具体地，上述方法通过调整预定标注框的大小和/或方向，直至物体的点在调整后的预定标注框内，得到标注框，使得标注框可以准确标注物体，进一步提高3D点云中的物体标注的准确性。

本申请的一种实施例中，确定上述物体的点是否都在调整后的上述预定标注框内，包括：确定调整后的上述预定标注框以及对应的上述物体的点在上述第一平面、上述第二平面以及上述第三平面上的投影图像；根据上述投影图像确定上述物体的点是否都在调整后的上述预定标注框内。具体地，在调整预定标注框后，重新获取三个新的投影图像，即调整后的预定标注框以及对应的物体的点在第一平面、第二平面以及第三平面上的投影图像，然后再根据三个新的投影图像，再次确定物体的点是否都在调整后的预定标注框内，直至物体的点在调整后的预定标注框内。

本申请的一种实施例中，确定调整后的上述预定标注框以及对应的上述物体的点在上述第一平面、上述第二平面以及上述第三平面上的投影图像，包括：确定上述预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，上述第一方向、上述第二方向和上述第三方向两两垂直，且上述第一方向垂直于上述第一平面，上述第二方向垂直于上述第二平面，上述第三方向垂直于上述第三平面；根据上述变换矩阵对应调整上述第一预定投影图像、上述第二预定投影图像和上述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

具体地，由于仅仅预定标注框进行了调整，获取三个新的投影图像时，只需要根据预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵调整，对应调整第一预定投影图像、第二预定投影图像和第三预定投影图像，减少了获取三个新的投影图像的工作量，提高了标注方法的效率。

本申请的一种实施例中，至少在上述物体的点都在调整后的上述预定标注框内的情况下，确定调整后的上述预定标注框为标注框，包括：在上述物体的点在调整后的上述预定标注框内且上述预定标注框内的噪点数量小于预定数量的情况下，确定调整后的上述预定标注框为上述标注框。具体地，上述方法在保证物体的点都在调整后的预定标注框的前提下，将预定标注框内的噪点数量限定在预定数量以下，降低噪点对应标注的影响，从而进一步提高3D点云中的物体标注的准确性。另外，本领域技术人员可以根据实际情况设定合适的预定数量。

本申请的一种实施例中，上述3D点云中的物体包括至少以下之一：车辆、建筑物、路牌、树木。具体地，上述3D点云中的物体也不限于此，3D点云中的物体还可以包括路障等。

本申请的实例中，还提供了另一种3D点云中物体的标注方法，图2是根据本申请实施例的另一种3D点云中物体的标注方法的流程图。如图2所示，该标注方法包括以下步骤：

步骤S201，采用第一预定标注框标注3D点云中的物体；

步骤S202，根据上述物体的点与上述第一预定标注框的位置关系，确定上述第一预定标注框是否为第二预定标注框；

步骤S203，根据上述第二预定标注框内的噪点数量，确定上述第二预定标注框是否为上述物体的标注框。

上述标注方法中，首先采用第一预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，然后根据物体的点与第一预定标注框的位置关系，确定第一预定标注框是否为第二预定标注框，以保证所有物体的点都在第二预定标注框内，最后根据第二预定标注框内的噪点数量，确定第二预定标注框是否为物体的标注框，降低噪点对标注的影响，使得标注框可以准确标注物体，从而实现了3D点云中的物体的精准标注。

本申请的一种实施例中，根据上述物体的点与上述第一预定标注框的位置关系，确定上述第一预定标注框是否为第二预定标注框，包括：确定上述物体的点是否都在上述第一预定标注框内；在至少一个上述物体的点未在上述第一预定标注框内的情况下，调整上述第一预定标注框的大小和/或方向；确定上述物体的点是否都在调整后的上述第一预定标注框内；在上述物体的点都在调整后的上述第一预定标注框内的情况下，确定上述第一预定标注框为上述第二预定标注框。具体地，上述方法通过调整第一预定标注框的大小和/或方向，直至物体的点在调整后的第一预定标注框内，得到标注框，使得标注框可以准确标注物体，进一步提高3D点云中的物体标注的准确性。

本申请的一种实施例中，确定上述物体的点是否都在上述第一预定标注框内，包括：上述第一预定标注框以及对应的上述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，上述第一平面、上述第二平面以及上述第三平面两两之间相互垂直；根据上述第一预定投影图像、上述第二预定投影图像和上述第三预定投影图像确定上述物体的点是否都在上述第一预定标注框内。具体地，由于一个方向的投影图像比较片面，影响标注的准确性，将第一预定标注框以及对应的物体的点分别投影三个互相垂直的平面上，根据投影得到三个投影图像确定物体的点是否都在第一预定标注框内，从而进一步避免标注框不能完全囊括所有物体的点，进一步提高3D点云中的物体标注的准确性。

本申请的一种实施例中，确定上述物体的点是否都在调整后的上述第一预定标注框内，包括：确定调整后的上述第一预定标注框以及对应的上述物体的点在第一平面、第二平面以及第三平面上的投影图像；根据上述投影图像确定上述物体的点是否都在调整后的上述第一预定标注框内。具体地，在调整第一预定标注框后，重新获取三个新的投影图像，即调整后的第一预定标注框以及对应的物体的点在第一平面、第二平面以及第三平面上的投影图像，然后再根据三个新的投影图像，再次确定物体的点是否都在调整后的第一预定标注框内，直至物体的点在调整后的第一预定标注框内。

本申请的一种实施例中，确定调整后的上述第一预定标注框以及对应的上述物体的点在上述第一平面、上述第二平面以及上述第三平面上的投影图像，包括：确定上述第一预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，上述第一方向、上述第二方向和上述第三方向两两垂直，且上述第一方向垂直于上述第一平面，上述第二方向垂直于上述第二平面，上述第三方向垂直于上述第三平面；根据上述变换矩阵对应调整上述第一预定投影图像、上述第二预定投影图像和上述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

具体地，由于仅仅第一预定标注框进行了调整，获取三个新的投影图像时，只需要根据第一预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵调整，对应调整第一预定投影图像、第二预定投影图像和第三预定投影图像，减少了获取三个新的投影图像的工作量，提高了标注方法的效率。

本申请的一种实施例中，根据上述第二预定标注框内的噪点数量，确定上述第二预定标注框是否为上述物体的标注框，包括：在上述第二预定标注框内的噪点的数量大于预定数量的情况下，调整上述第二预定标注框的大小和/或方向；确定调整后的上述第二预定标注框内的噪点数量是否小于或者等于上述预定数量；在上述第二预定标注框内的噪点的数量小于或者等于上述预定数量的情况下，确定上述第二预定标注框为上述物体的标注框。具体地，上述方法通过调整第二预定标注框的大小和/或方向，将第二预定标注框内的噪点数量限定在预定数量以下，降低噪点对应标注的影响，从而进一步提高3D点云中的物体标注的准确性。另外，本领域技术人员可以根据实际情况设定合适的预定数量。

本申请实施例还提供了一种3D点云中物体的标注装置，需要说明的是，本申请的一种实施例的3D点云中物体的标注装置可以用于执行本申请实施例所提供的用于3D点云中物体的标注方法。以下对本申请实施例提供的3D点云中物体的标注装置进行介绍。

图3是根据本申请的一种实施例的3D点云中物体的标注装置的示意图。如图3所示，该标注装置包括：

第一标注单元10，用于采用预定标注框标注3D点云中的物体；

投影单元20，用于将上述预定标注框以及对应的上述物体的点投影在2D平面上，得到预定投影图像；

第一确定单元30，用于根据上述预定投影图像确定上述物体的点是否都在上述预定标注框内。

上述标注装置中，第一标注单元采用预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，投影单元将预定标注框以及对应的物体的点投影在2D平面上，得到预定投影图像，第一确定单元根据预定投影图像所包含的信息确定物体的点是否都在预定标注框内，从而避免标注框不能完全包围(框住)所有物体的点，使得标注框可以准确标注物体，进而实现了3D点云中的物体的精准标注。

本申请的一种实施例中，上述投影单元包括投影子单元，上述投影子单元用于将上述预定标注框以及对应的上述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，上述第一平面、上述第二平面以及上述第三平面两两之间相互垂直。具体地，由于一个方向的投影图像比较片面，影响标注的准确性，将预定标注框以及对应的物体的点分别投影三个互相垂直的平面上，从而进一步避免标注框不能完全囊括所有物体的点，进一步提高3D点云中的物体标注的准确性。

本申请的一种实施例中，上述装置还包括处理单元，上述处理单元包括第一调整子单元、第一确定子单元和第二确定子单元，其中，上述第一调整子单元用于在上述物体的点不在上述预定标注框的情况下，调整上述预定标注框的大小和/或方向；上述第一确定子单元用于确定上述物体的点是否都在调整后的上述预定标注框内；上述第二确定子单元用于至少在上述物体的点都在调整后的上述预定标注框内的情况下，确定调整后的上述预定标注框为标注框。具体地，上述方法通过调整预定标注框的大小和/或方向，直至物体的点在调整后的预定标注框内，得到标注框，使得标注框可以准确标注物体，进一步提高3D点云中的物体标注的准确性。

本申请的一种实施例中，上述第一确定子单元包括第一确定模块和第二确定模块，其中，上述第一确定模块用于确定调整后的上述预定标注框以及对应的上述物体的点在上述第一平面、上述第二平面以及上述第三平面上的投影图像；上述第二确定模块用于根据上述投影图像确定上述物体的点是否都在调整后的上述预定标注框内。具体地，在调整预定标注框后，重新获取三个新的投影图像，即调整后的预定标注框以及对应的物体的点在第一平面、第二平面以及第三平面上的投影图像，然后再根据三个新的投影图像，再次确定物体的点是否都在调整后的预定标注框内，直至物体的点在调整后的预定标注框内。

本申请的一种实施例中，上述第一确定模块包括第一确定子模块和第一调整子模块，其中，上述第一确定子模块用于确定上述预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，上述第一方向、上述第二方向和上述第三方向两两垂直，且上述第一方向垂直于上述第一平面，上述第二方向垂直于上述第二平面，上述第三方向垂直于上述第三平面；上述第一调整子模块用于根据上述变换矩阵对应调整上述第一预定投影图像、上述第二预定投影图像和上述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

具体地，由于仅仅预定标注框进行了调整，获取三个新的投影图像时，只需要根据预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵调整，对应调整第一预定投影图像、第二预定投影图像和第三预定投影图像，减少了获取三个新的投影图像的工作量，提高了标注方法的效率。

本申请的一种实施例中，上述第二确定子单元包括第三确定模块，上述第三确定模块用于在上述物体的点在调整后的上述预定标注框内且上述预定标注框内的噪点数量小于预定数量的情况下，确定调整后的上述预定标注框为上述标注框。具体地，上述方法在保证物体的点都在调整后的预定标注框的前提下，将预定标注框内的噪点数量限定在预定数量以下，降低噪点对应标注的影响，从而进一步提高3D点云中的物体标注的准确性。另外，本领域技术人员可以根据实际情况设定合适的预定数量。

本申请的一种实施例中，上述3D点云中的物体包括至少以下之一：车辆、建筑物、路牌、树木。具体地，上述3D点云中的物体也不限于此，3D点云中的物体还可以包括路障等。

本申请实施例还提供了另一种3D点云中物体的标注装置，需要说明的是，本申请的另一种实施例的3D点云中物体的标注装置可以用于执行本申请实施例所提供的用于3D点云中物体的标注方法。以下对本申请实施例提供的3D点云中物体的标注装置进行介绍。

图4是根据本申请的另一种实施例的3D点云中物体的标注装置的示意图。如图4所示，该标注装置包括：

第二标注单元40，用于采用第一预定标注框标注3D点云中的物体；

第二确定单元50，用于根据上述物体的点与上述第一预定标注框的位置关系，确定上述第一预定标注框是否为第二预定标注框；

第三确定单元60，根据上述第二预定标注框内的噪点数量，确定上述第二预定标注框是否为上述物体的标注框。

上述标注装置中，第二标注单元采用第一预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，第二确定单元根据物体的点与第一预定标注框的位置关系，确定第一预定标注框是否为第二预定标注框，以保证所有物体的点都在第二预定标注框内，第三确定单元根据第二预定标注框内的噪点数量，确定第二预定标注框是否为物体的标注框，降低噪点对标注的影响，使得标注框可以准确标注物体，从而实现了3D点云中的物体的精准标注。

本申请的一种实施例中，上述第二确定单元包括第三确定子单元、第二调整子单元、第四确定子单元和第五确定子单元，其中，上述第三确定子单元用于确定上述物体的点是否都在上述第一预定标注框内；上述第二调整子单元用于在至少一个上述物体的点未在上述第一预定标注框内的情况下，调整上述第一预定标注框的大小和/或方向；上述第四确定子单元用于确定上述物体的点是否都在调整后的上述第一预定标注框内；上述第五确定子单元用于在上述物体的点都在调整后的上述第一预定标注框内的情况下，确定上述第一预定标注框为上述第二预定标注框。具体地，上述方法通过调整第一预定标注框的大小和/或方向，直至物体的点在调整后的第一预定标注框内，得到标注框，使得标注框可以准确标注物体，进一步提高3D点云中的物体标注的准确性。

本申请的一种实施例中，上述第三确定子单元包括投影模块和第四确定模块，其中，上述投影模块用于上述第一预定标注框以及对应的上述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，上述第一平面、上述第二平面以及上述第三平面两两之间相互垂直；上述第四确定模块用于根据上述第一预定投影图像、上述第二预定投影图像和上述第三预定投影图像确定上述物体的点是否都在上述第一预定标注框内。具体地，由于一个方向的投影图像比较片面，影响标注的准确性，将第一预定标注框以及对应的物体的点分别投影三个互相垂直的平面上，根据投影得到三个投影图像确定物体的点是否都在第一预定标注框内，从而进一步避免标注框不能完全囊括所有物体的点，进一步提高3D点云中的物体标注的准确性。

本申请的一种实施例中，上述第四确定子单元包括第五确定模块和第六确定模块，其中，上述第五确定模块用于确定调整后的上述第一预定标注框以及对应的上述物体的点在第一平面、第二平面以及第三平面上的投影图像；上述第六确定模块用于根据上述投影图像确定上述物体的点是否都在调整后的上述第一预定标注框内。具体地，在调整第一预定标注框后，重新获取三个新的投影图像，即调整后的第一预定标注框以及对应的物体的点在第一平面、第二平面以及第三平面上的投影图像，然后再根据三个新的投影图像，再次确定物体的点是否都在调整后的第一预定标注框内，直至物体的点在调整后的第一预定标注框内。

本申请的一种实施例中，上述第五确定模块包括第二确定子模块和第二调整子模块，其中，上述第二确定子模块用于确定上述第一预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，上述第一方向、上述第二方向和上述第三方向两两垂直，且上述第一方向垂直于上述第一平面，上述第二方向垂直于上述第二平面，上述第三方向垂直于上述第三平面；上述第二调整子模块用于根据上述变换矩阵对应调整上述第一预定投影图像、上述第二预定投影图像和上述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

具体地，由于仅仅第一预定标注框进行了调整，获取三个新的投影图像时，只需要根据第一预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵调整，对应调整第一预定投影图像、第二预定投影图像和第三预定投影图像，减少了获取三个新的投影图像的工作量，提高了标注方法的效率。

本申请的一种实施例中，上述第三确定单元包括第三调整子单元、第五确定子单元和第六确定子单元，其中，上述第三调整子单元用于在上述第二预定标注框内的噪点的数量大于预定数量的情况下，调整上述第二预定标注框的大小和/或方向；上述第五确定子单元用于确定调整后的上述第二预定标注框内的噪点数量是否小于或者等于上述预定数量；上述第六确定子单元用于在上述第二预定标注框内的噪点的数量小于或者等于上述预定数量的情况下，确定上述第二预定标注框为上述物体的标注框。具体地，上述方法通过调整第二预定标注框的大小和/或方向，将第二预定标注框内的噪点数量限定在预定数量以下，降低噪点对应标注的影响，从而进一步提高3D点云中的物体标注的准确性。另外，本领域技术人员可以根据实际情况设定合适的预定数量。

上述3D点云中物体的标注装置包括处理器和存储器，上述第一标注单元、投影单元和第一确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中3D点云中的物体的标注准确度较低的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述标注方法。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述标注方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S101，采用预定标注框标注3D点云中的物体；

步骤S102，将上述预定标注框以及对应的上述物体的点投影在2D平面上，得到预定投影图像；

步骤S103，根据上述预定投影图像确定上述物体的点是否都在上述预定标注框内，或者

执行以下步骤：

步骤S201，采用第一预定标注框标注3D点云中的物体；

步骤S202，根据上述物体的点与上述第一预定标注框的位置关系，确定上述第一预定标注框是否为第二预定标注框；

步骤S203，根据上述第二预定标注框内的噪点数量，确定上述第二预定标注框是否为上述物体的标注框。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S101，采用预定标注框标注3D点云中的物体；

步骤S102，将上述预定标注框以及对应的上述物体的点投影在2D平面上，得到预定投影图像；

步骤S103，根据上述预定投影图像确定上述物体的点是否都在上述预定标注框内，或者

执行以下步骤：

步骤S201，采用第一预定标注框标注3D点云中的物体；

步骤S202，根据上述物体的点与上述第一预定标注框的位置关系，确定上述第一预定标注框是否为第二预定标注框；

步骤S203，根据上述第二预定标注框内的噪点数量，确定上述第二预定标注框是否为上述物体的标注框。

根据本发明实施例的再一个方面，提供了一种运载工具，上述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的3D点云中物体的标注方法。

该运载工具可以通过上述标注方法使得标注框可以准确标注物体，进而实现了3D点云中的物体的精准标注。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的标注方法中，首先采用预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，然后将预定标注框以及对应的物体的点投影在2D平面上，得到预定投影图像，最后根据预定投影图像所包含的信息确定物体的点是否都在预定标注框内，从而避免标注框不能完全包围(框住)所有物体的点，使得标注框可以准确标注物体，进而实现了3D点云中的物体的精准标注。

2)、本申请的标注方法中，首先采用第一预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，然后根据物体的点与第一预定标注框的位置关系，确定第一预定标注框是否为第二预定标注框，以保证所有物体的点都在第二预定标注框内，最后根据第二预定标注框内的噪点数量，确定第二预定标注框是否为物体的标注框，降低噪点对标注的影响，使得标注框可以准确标注物体，从而实现了3D点云中的物体的精准标注。

3)、本申请的标注装置中，第一标注单元采用预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，投影单元将预定标注框以及对应的物体的点投影在2D平面上，得到预定投影图像，第一确定单元根据预定投影图像所包含的信息确定物体的点是否都在预定标注框内，从而避免标注框不能完全包围(框住)所有物体的点，使得标注框可以准确标注物体，进而实现了3D点云中的物体的精准标注。

4)、本申请的标注装置中，第二标注单元采用第一预定标注框标注3D点云中的物体，即标注3D点云中的物体大致轮廓，第二确定单元根据物体的点与第一预定标注框的位置关系，确定第一预定标注框是否为第二预定标注框，以保证所有物体的点都在第二预定标注框内，第三确定单元根据第二预定标注框内的噪点数量，确定第二预定标注框是否为物体的标注框，降低噪点对标注的影响，使得标注框可以准确标注物体，从而实现了3D点云中的物体的精准标注。

5)、本申请的运载工具可以通过上述标注方法使得标注框可以准确标注物体，进而实现了3D点云中的物体的精准标注。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种3D点云中物体的标注方法，其特征在于，包括：

采用预定标注框标注3D点云中的物体；

将所述预定标注框以及对应的所述物体的点投影在2D平面上，得到预定投影图像；

根据所述预定投影图像确定所述物体的点是否都在所述预定标注框内，

将所述预定标注框以及对应的所述物体的点投影在2D平面上，得到预定投影图像，包括：

所述预定标注框以及对应的所述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，所述第一平面、所述第二平面以及所述第三平面两两之间相互垂直，在至少一个所述物体的点不在所述预定标注框的情况下，所述方法还包括：

调整所述预定标注框的大小和/或方向；

确定所述物体的点是否都在调整后的所述预定标注框内；

至少在所述物体的点都在调整后的所述预定标注框内的情况下，确定调整后的所述预定标注框为标注框，

确定所述物体的点是否都在调整后的所述预定标注框内，包括：

确定调整后的所述预定标注框以及对应的所述物体的点在所述第一平面、所述第二平面以及所述第三平面上的投影图像；

根据所述投影图像确定所述物体的点是否都在调整后的所述预定标注框内，

确定调整后的所述预定标注框以及对应的所述物体的点在所述第一平面、所述第二平面以及所述第三平面上的投影图像，包括：

确定所述预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，所述第一方向、所述第二方向和所述第三方向两两垂直，且所述第一方向垂直于所述第一平面，所述第二方向垂直于所述第二平面，所述第三方向垂直于所述第三平面；

根据所述变换矩阵对应调整所述第一预定投影图像、所述第二预定投影图像和所述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

2.根据权利要求1所述的标注方法，其特征在于，至少在所述物体的点都在调整后的所述预定标注框内的情况下，确定调整后的所述预定标注框为标注框，包括：

在所述物体的点都在调整后的所述预定标注框内且所述预定标注框内的噪点数量小于预定数量的情况下，确定调整后的所述预定标注框为所述标注框。

3.根据权利要求1至2中任一项所述的标注方法，其特征在于，所述3D点云中的物体包括至少以下之一：

车辆、建筑物、路牌、树木。

4.一种3D点云中物体的标注方法，其特征在于，包括：

采用第一预定标注框标注3D点云中的物体；

根据所述物体的点与所述第一预定标注框的位置关系，确定所述第一预定标注框是否为第二预定标注框；

根据所述第二预定标注框内的噪点数量，确定所述第二预定标注框是否为所述物体的标注框，

根据所述物体的点与所述第一预定标注框的位置关系，确定所述第一预定标注框是否为第二预定标注框，包括：

确定所述物体的点是否都在所述第一预定标注框内；

在至少一个所述物体的点未在所述第一预定标注框内的情况下，调整所述第一预定标注框的大小和/或方向；

确定所述物体的点是否都在调整后的所述第一预定标注框内；

在所述物体的点都在调整后的所述第一预定标注框内的情况下，确定所述第一预定标注框为所述第二预定标注框，

确定所述物体的点是否都在所述第一预定标注框内，包括：

所述第一预定标注框以及对应的所述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，所述第一平面、所述第二平面以及所述第三平面两两之间相互垂直；

根据所述第一预定投影图像、所述第二预定投影图像和所述第三预定投影图像确定所述物体的点是否都在所述第一预定标注框内，

确定所述物体的点是否都在调整后的所述第一预定标注框内，包括：

确定调整后的所述第一预定标注框以及对应的所述物体的点在第一平面、第二平面以及第三平面上的投影图像；

根据所述投影图像确定所述物体的点是否都在调整后的所述第一预定标注框内，

确定调整后的所述第一预定标注框以及对应的所述物体的点在所述第一平面、所述第二平面以及所述第三平面上的投影图像，包括：

确定所述第一预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，所述第一方向、所述第二方向和所述第三方向两两垂直，且所述第一方向垂直于所述第一平面，所述第二方向垂直于所述第二平面，所述第三方向垂直于所述第三平面；

根据所述变换矩阵对应调整所述第一预定投影图像、所述第二预定投影图像和所述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

5.根据权利要求4所述的标注方法，其特征在于，根据所述第二预定标注框内的噪点数量，确定所述第二预定标注框是否为所述物体的标注框，包括：

在所述第二预定标注框内的噪点的数量大于预定数量的情况下，调整所述第二预定标注框的大小和/或方向；

确定调整后的所述第二预定标注框内的噪点数量是否小于或者等于所述预定数量；

在所述第二预定标注框内的噪点的数量小于或者等于所述预定数量的情况下，确定所述第二预定标注框为所述物体的标注框。

6.一种3D点云中物体的标注装置，其特征在于，包括：

第一标注单元，用于采用预定标注框标注3D点云中的物体；

投影单元，用于将所述预定标注框以及对应的所述物体的点投影在2D平面上，得到预定投影图像；

第一确定单元，用于根据所述预定投影图像确定所述物体的点是否都在所述预定标注框内，

所述投影单元包括投影子单元，所述投影子单元用于将所述预定标注框以及对应的所述物体的点分别投影在第一平面、第二平面和第三平面上，得到第一预定投影图像、第二预定投影图像和第三预定投影图像，其中，所述第一平面、所述第二平面以及所述第三平面两两之间相互垂直，

所述装置还包括处理单元，所述处理单元包括第一调整子单元、第一确定子单元和第二确定子单元，其中，所述第一调整子单元用于在所述物体的点不在所述预定标注框的情况下，调整所述预定标注框的大小和/或方向；所述第一确定子单元用于确定所述物体的点是否都在调整后的所述预定标注框内；所述第二确定子单元用于至少在所述物体的点都在调整后的所述预定标注框内的情况下，确定调整后的所述预定标注框为标注框，

所述第一确定子单元包括第一确定模块和第二确定模块，其中，所述第一确定模块用于确定调整后的所述预定标注框以及对应的所述物体的点在所述第一平面、所述第二平面以及所述第三平面上的投影图像；所述第二确定模块用于根据所述投影图像确定所述物体的点是否都在调整后的所述预定标注框内，

所述第一确定模块包括第一确定子模块和第一调整子模块，其中，所述第一确定子模块用于确定所述预定标注框在第一方向、第二方向和第三方向上对应的变换矩阵，所述第一方向、所述第二方向和所述第三方向两两垂直，且所述第一方向垂直于所述第一平面，所述第二方向垂直于所述第二平面，所述第三方向垂直于所述第三平面；所述第一调整子模块用于根据所述变换矩阵对应调整所述第一预定投影图像、所述第二预定投影图像和所述第三预定投影图像，得到对应的第一投影图像、第二投影图像以及第三投影图像。

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的标注方法。

8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的标注方法。

9.一种运载工具，其特征在于，所述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至5中任意一项所述的3D点云中物体的标注方法。