CN113051986A - 基于2d图像标记信息的3d图像标记方法及3d图像标记装置 - Google Patents

Abstract

本发明公开一种三维(3D)图像标记装置及标记法。3D图像标记装置包括点云分群模块、投影模块、整合模块及点云还原模块。点云分群模块用以根据3D未标记图像及分群算法将3D未标记图像的多个点进行分群，以产生具有一个或多个第一点群的3D分群图像。投影模块用以根据3D分群图像产生具有一个或多个第一对象的第一二维(2D)图像，其中每个第一点群对应于第一对象的其中之一。整合模块用以根据一个或多个2D已标记图像的一个或多个对象框标记第一2D图像的第一对象，以产生第二2D图像。点云还原模块用以根据第二2D图像产生3D已标记图像。

Description

基于2D图像标记信息的3D图像标记方法及3D图像标记装置

技术领域

本发明是有关于一种基于2D图像标记信息的3D图像标记方法及3D图像标记装置。

背景技术

随着自动驾驶车辆产业的蓬勃发展，对于3D图像的标记技术受到重视。现有技术中，针对三维(3D)图像的标记普遍仍停留在手动标记的阶段，难以半自动化。然而，相较于二维(2D)图像而言，3D图像的人为手动标记的成本远高于2D图像。因此，如何以低成本进行3D图像的标记是业界努力的目标之一。

发明内容

本发明的一方面公开一种三维(3D)图像标记装置。3D图像标记装置包括点云分群模块、投影模块、整合模块及点云还原模块。点云分群模块用以根据3D未标记图像及分群算法将3D未标记图像的多个点进行分群，以产生具有一个或多个第一点群的3D分群图像。投影模块用以根据3D分群图像产生具有一个或多个第一对象的第一二维(2D)图像，其中每个第一点群对应于第一对象的其中之一。整合模块用以根据一个或多个2D已标记图像的一个或多个对象框标记第一2D图像的第一对象，以产生第二2D图像。点云还原模块用以根据第二2D图像产生3D已标记图像。

本发明的另一方面公开一种三维(3D)图像标记方法。3D图像标记方法由处理器执行时，致使处理器：执行点云分群模块，以根据3D未标记图像及分群算法将该3D未标记图像的多个点进行分群，以产生具有一个或多个第一点群的3D分群图像；执行投影模块，以根据3D分群图像产生具有一个或多个第一对象的第一二维(2D)图像，其中每个第一点群对应于第一对象的其中之一；执行整合模块，以根据一个或多个2D已标记图像的一个或多个对象框标记第一2D图像的第一对象，以产生第二2D图像；以及执行点云还原模块，以根据第二2D图像产生3D已标记图像。

为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：

附图说明

图1示出根据本发明一实施例的基于2D图像标记信息的3D图像标记装置的方块图。

图2示出根据本发明一实施例的基于2D图像标记信息的3D图像标记方法的流程图。

具体实施方式

为了叙述的简洁，在本文的描述中，“三维”将会被简称为“3D”，而“二维”将会被简称为“2D”。

现有技术中，3D图像通过投影转换成的2D图像无法直接使用现有的标记软件或人工智能来进行自动化或半自动化标记。另一方面，3D图像中两个对象的前后关系会因转换至2D图像而遗失(例如前方对象覆盖到后方对象)。若将一张以原始2D图像进行标记的2D图像的对象框直接套用来标记3D图像所转换的2D图像，之后再将其转换回3D图像会造成前方对象与后方对象所对应到的点云无法分辨而标记混乱。本发明提出的3D图像标记装置及标记方法可解决上述问题。

请参照图1，图1示出根据本发明一实施例的基于2D图像标记信息的3D图像标记装置的方块图。3D图像标记装置10包括点云分群模块102、投影模块104、整合模块106及点云还原模块108。

在一实施例中，点云分群模块102、投影模块104、整合模块106及点云还原模块108可藉由计算器可读指令的组合实现，并储存于3D图像标记装置10的非暂时性存储器(未示出)中。当用以实现点云分群模块102、投影模块104、整合模块106及点云还原模块108的计算器指令的组合由处理单元(未示出)执行时，可致使处理单元执行用以实现点云分群模块102、投影模块104、整合模块106及点云还原模块108的功能的操作。

点云分群模块102用以接收3D未标记图像3D-IMG-unlab，并根据分群算法将3D未标记图像3D-IMG-unlab的多个点分群为一个或多个第一点群，以产生3D分群图像3D-IMG-clus。

投影模块104用以将3D分群图像3D-IMG-clus中的第一点群投影至二维平面，以产生第一2D图像2D-IMG1。

整合模块106用以接收第一2D图像2D-IMG1及一个或多个2D已标记图像2D-IMG-lab，并根据第一2D图像2D-IMG1及2D已标记图像2D-IMG-lab产生第二2D图像2D-IMG2。

点云还原模块108用以根据第二2D图像2D-IMG2产生3D已标记图像3D-IMG-lab。

为了更清楚理解本发明，以下请参照图2示出的根据本发明一实施例的3D图像标记方法的流程图。3D图像标记方法可应用于3D图像标记装置10，并由处理单元执行。

S201中，执行点云分群模块，接收3D未标记图像，并根据分群算法将3D未标记图像3D-IMG-unlab的多个点分群为一个或多个第一点群，以产生3D分群图像3D-IMG-clus。在一实施例中，3D未标记图像3D-IMG-unlab可以来自3D原始图像数据库。在另一实施例中，3D未标记图像3D-IMG-unlab可以来自一个或多个3D摄影机，例如光达(LiDAR)或雷达等。当3D未标记图像3D-IMG-unlab来自多个3D摄影机时，这些3D摄影机拍摄的多个3D原始图像在经过时间及空间对齐之后产生对应于特定时间及特定空间的3D未标记图像3D-IMG-unlab，并将3D未标记图像3D-IMG-unlab提供给点云分群模块102。在一实施例中，每一个点可包括空间信息(例如三维坐标)。在另一个实施例中，每一个点可包括空间信息及色彩信息(例如RGB值)。在一实施例中，分群算法可采用本领域常用的算法，例如是基于点与点之间的距离的分群算法。在另一实施例中，分群算法是基于点的密度的分群算法。藉由基于点的密度的分群算法可以将一个聚集在一起的多个点中属于前方对象(距离摄影机较近的对象)的点与属于后方对象(距离摄影机较远的对象)的点有效地分开并分配到不同的第一点群。每个第一点群可包括一个或多个点。在一实施例中，每个第一点群可代表一个对象。在另一实施例中，每个第一点群可代表一个实际对象的多个碎片(piece)的其中之一，例如三个第一点群可分别代表一个人(实际对象)的头、上半身及下半身(三个碎片)，当三个第一点群组合在一起时可代表为一个“人”的实际对象。

S203中，执行投影模块，将3D分群图像3D-IMG-clus中的第一点群投影至二维平面，以产生第一2D图像2D-IMG1。在一实施例中，投影模块104可使用近点球面投影法来产生第一2D图像2D-IMG1。在另一实施例中，投影模块104可使用本领域中常用的投影方法来产生第一2D图像2D-IMG1。第一2D图像2D-IMG1包括由3D分群图像3D-IMG-clus中的第一点群投影所形成的一个或多个第一对象。也就是说，经过投影模块所产生的第一2D图像2D-IMG1是具有3D信息的2D图像。

S205中，执行整合模块，根据第一2D图像2D-IMG1及一个或多个2D已标记图像2D-IMG-lab产生第二2D图像2D-IMG2。2D已标记图像2D-IMG-lab与3D未标记图像3D-IMG-unlab是对应于相同的特定时间及特定空间。在一实施例中，2D已标记图像2D-IMG-lab是来自2D已标记图像数据库。在另一实施例中，2D已标记图像2D-IMG-lab是来自一个或多个2D摄影机。当2D已标记图像2D-IMG-lab来自多个2D摄影机时，2D摄影机例如以不同角度(例如30度、60度及120度)拍摄的2D图像经过校正及标记后产生2D已标记图像2D-IMG-lab，并提供给整合模块106。每个2D已标记图像2D-IMG-lab可包括一个或多个对象框。每个对象框具有对象类别，例如“人”、“汽车”或“机车”等。整合模块106会根据2D已标记图像2D-IMG-lab的对象框来标记第一2D图像2D-IMG1以产生第二2D图像2D-IMG2。在一实施例中，对于第一2D图像2D-IMG1中的每一个第一对象，整合模块106会判断该第一对象是否落于已标记图像2D-IMG-lab的其中一个对象框对应到的范围。若是，以对应的对象框的对象类别标记该第一对象；若否，则不标记。藉由上述方式可以为第一2D图像2D-IMG1中对应到已标记图像2D-IMG-lab的对象框的每一个第一对象决定一个对象类别。也就是说，在第二2D图像2D-IMG2中，对应到已标记图像2D-IMG-lab的对象框的每一个第一对象会具有与对应的已标记图像2D-IMG-lab的对象框相同的对象类别，而未对应到已标记图像2D-IMG-lab的对象框的第一对象则保持不具有对象类别的状态。

S207中，执行点云还原模块，根据第二2D图像2D-IMG2产生3D已标记图像3D-IMG-lab。在一实施例中，对于第二2D图像2D-IMG2中的每一个第一对象，点云还原模块108可根据该第一对象的对象类别(如果存在)来标记对应于该第一对象的3D分群图像3D-IMG-clus的第一点群中所包含的所有点，以产生3D已标记图像3D-IMG-lab。

在一实施例中，于步骤S205与S207之间，还可包括手动辅助标记的步骤。藉由手动辅助标记的步骤可对第一2D图像2D-IMG1中未对应到已标记图像2D-IMG-lab的对象框的第一对象进行标记，来降低第二2D图像2D-IMG中未标记的第一对象的数量。

本发明提出的3D图像标记装置及3D图像标记方法，可以在将3D未标记图像通过投影转换为第一2D图像之前，藉由点云分群模块将3D未标记图像中的点进行分群，以产生3D分群图像，3D分群图像中每一个第一点群对应到第一2D图像中的一个第一对象，藉由第一点群与第一对象之间的对应关系保留住第一点群之间的位置关系。接着以2D已标记图像的对象框来对第一2D图像的第一对象进行标记以产生第二2D图像。此第二2D图像中的第一对象因经过标记而具有对象类别。之后再将第二2D图像中的第一对象的对象类别套用到3D分群图像中对应的第一点群中的所有点。如此一来，所产生的已标记3D图像就不会受到3D点因经过投影后对象前后关系遗失的影响。

在一个实际应用中，本发明提出的3D图像标记装置及3D图像标记方法可以用来根据2D已标记图像数据库及3D未标记图像数据库建立一个3D已标记图像数据库。在另一个实际应用中，本发明提出的3D图像标记装置及3D图像标记方法可以配置于自动驾驶车辆上，并根据经过实时标记的2D摄影机提供的2D图像来实时标记3D摄影机提供的3D图像。

综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视后附的权利要求书所界定者为准。

【符号说明】

10：3D图像标记装置

102：点云分群模块

104：投影模块

106：整合模块

108：点云还原模块

3D-IMG-unlab：3D未标记图像

3D-IMG-clus：3D分群图像

3D-IMG-lab：3D已标记图像

2D-IMG-lab：2D已标记图像

2D-IMG1：第一2D图像

2D-IMG2：第二2D图像

S201～S207：步骤

Claims (10)

1.一种三维(3D)图像标记装置，包括：

点云分群模块，用以根据3D未标记图像及分群算法将该3D未标记图像的多个点进行分群，以产生具有一个或多个第一点群的3D分群图像；

投影模块，用以根据该3D分群图像产生具有一个或多个第一对象的第一二维(2D)图像，其中每个第一点群对应于该一个或多个第一对象的其中之一；

整合模块，用以根据一个或多个2D已标记图像的一个或多个对象框标记该第一2D图像的该一个或多个第一对象，以产生第二2D图像；以及

点云还原模块，用以根据该第二2D图像产生3D已标记图像。

2.如权利要求1所述的3D图像标记装置，其中该分群算法是基于3D图像的点密度的分群算法。

3.如权利要求1所述的3D图像标记装置，其中对于该第一2D图像中的每个第一对象，该整合模块判断该第一对象是否落于该一个或多个已标记图像的该一个或多个对象框的其中之一对应到的范围，若是，以对应的该对象框的该类别标记该第一对象，若否，则不标记该第一对象，藉以产生该第二2D图像。

4.如权利要求3所述的3D图像标记装置，其中对于该第二2D图像中具有该对象类别的每个第一对象，该点云还原模块根据该第一对象的该对象类别标记该3D分群图像中对应于该第一对象的该第一点群中所包含的所有点。

5.如权利要求1所述的3D图像标记装置，其中每个第一点群对应于实际对象的碎片。

6.一种三维(3D)图像标记方法，由处理器执行时，致使该处理器：

执行点云分群模块，以根据3D未标记图像及分群算法将该3D未标记图像的多个点进行分群，以产生具有一个或多个第一点群的3D分群图像；

执行投影模块，以根据该3D分群图像产生具有一个或多个第一对象的第一二维(2D)图像，其中每个第一点群对应于该一个或多个第一对象的其中之一；

执行整合模块，以根据一个或多个2D已标记图像的一个或多个对象框标记该第一2D图像的该一个或多个第一对象，以产生第二2D图像；以及

执行点云还原模块，以根据该第二2D图像产生3D已标记图像。

7.如权利要求6所述的3D图像标记方法，其中该分群算法是基于3D图像的点密度的分群算法。

8.如权利要求1所述的3D图像标记方法，其中对于该第一2D图像中的每个第一对象，该整合模块判断该第一对象是否落于该一个或多个已标记图像的该一个或多个对象框的其中之一对应到的范围，若是，以对应的该对象框的该类别标记该第一对象，若否，则不标记该第一对象，藉以产生该第二2D图像。

9.如权利要求8所述的3D图像标记方法，其中对于该第二2D图像中具有该对象类别的每个第一对象，该点云还原模块根据该第一对象的该对象类别标记该3D分群图像中对应于该第一对象的该第一点群中所包含的所有点。

10.如权利要求6所述的3D图像标记方法，其中每个第一点群对应于实际对象的碎片。

Images