CN113366535A

CN113366535A - 识别三维场景中物体平面的方法和装置

Info

Publication number: CN113366535A
Application number: CN202180001430.3A
Authority: CN
Inventors: 刘崇山; 唐学燕; 李纯; 李淑玲
Original assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Current assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date: 2021-04-21
Filing date: 2021-04-25
Publication date: 2021-09-07
Anticipated expiration: 2041-04-25
Also published as: CN113366535B

Abstract

本发明提供了一种用于识别3D场景中3D物体的平面的计算机实现方法和计算机化装置。该方法包括接收点云并执行平面分割。在一个实施例中，将点云体素化为相等尺寸的多个体素，并将多个体素分为三类，其中第一类体素满足平面要求和第一邻域约束，每个第二类体素满足平面要求和第二邻域约束，第三类体素都不满足平面要求。该方法还包括：通过首先确定一个第一类锚定体素并将其相邻的第一类体素募集到该至少一个参考平面，从而从第一类体素生成至少一个参考平面；通过吸收与至少一个参考平面相连的第二类体素(如果它们满足体素合并要求)，并吸收与至少一个参考平面相连的第三类体素中的点(如果它们满足点合并要求)，来生长至少一个参考平面。然后，使用该组至少一个参考平面来表示3D物体，以便进一步应用。

Description

识别三维场景中物体平面的方法和装置

技术领域

本发明涉及三维(3D)物体的测量和识别，特别涉及识别3D场景中3D物体的平面的方法和装置。

背景技术

图像分割是图像分析的一种类型，通常用于将图像划分成不同的区域，以提供图像的更有意义的表示。可以对图像进行分割，以唯一地标识图像内的对象。如今，3D视觉正成为近年来吸引大量关注的顶级新兴市场之一。这项技术具有提供3D物理空间完整信息的压倒性优势，催生了3D计量学的应用，如工厂生产线自动化、建筑施工、汽车增强等。

然而，现有的三维数据分割方法在识别3D物体的平面方面既计算昂贵又不准确。因此，期望提供一种能够在短处理时间内提供高精度平面分割的系统。

发明内容

鉴于前述背景，提供了替代的计算机实现的方法和装置，用于识别3D场景中的3D物体的平面。

根据本发明的一个实施例，提供了一种用于识别3D场景中的物体平面的计算机实施的方法。该方法包括接收3D场景的点云，其中3D场景包括由点云中的多个点表示的至少一个3D物体。该方法还包括：将点云体素化为相等尺寸的多个体素，并将多个体素分类为三个类，其中每个第一类体素满足平面要求和第一邻域约束，每个第二类体素满足平面要求和第二邻域约束，而每个第三类体素不满足平面要求。该方法还包括：通过首先识别一个第一类锚定体素并将其相邻的第一类体素募集到该至少一个参考平面，从而从第一类体素生成至少一个参考平面；通过吸收连接到至少一个参考面的第二类体素的第二类体素(如果它们满足体素合并要求)，以及吸收连接到该至少一个参考平面的第三类体素中的点(如果它们满足点合并要求)，来生长该至少一个参考面；以及使用这组至少一个参考平面来表示3D物体。

因此，本发明的一个示例性实施例涉及一种计算机化系统，其包括处理器和连接至该处理器的存储器。存储器和处理器一起被配置为使该计算机化系统执行上述实施例的动作。

以上示例性实施例与传统方法相比具有好处和优势。例如，当前方法通过使用本文描述的算法，能更快和更准确地分割3D场景中的平面。因此，它满足实时3D度量要求，并适用于各种垂直领域。

此外，计算机实现的方法与不同的3D传感器兼容，可以应用于不同行业的各种应用，例如建筑施工或高精度显微镜。

附图说明

通过以下参考附图的详细描述，本发明实施例的上述和其他特征、优点和方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1显示可以应用本发明实施例的一个示例性场景；

图2是根据本发明一个实施例的用于识别3D场景中3D物体的平面的方法流程图；

图3显示根据本发明一个实施例的体素标记的一个过程；

图4和图5显示根据本发明一个实施例，以部分体素为例说明从好体素形成一个参考平面的过程；

图6至图9显示根据本发明一个实施例的使用与图4中相同的体素部分从好体素和PB体素形成一个参考平面的过程；

图10和图11显示根据本发明一个实施例的基于体素拓扑将坏体素中的剩余点聚类到平面的过程；

图12显示根据本发明一个实施例的合并平面的条件；

图13显示根据本发明一个实施例的在施工场景中识别3D场景中的平面的整个过程；

图14显示本发明与其他传统方法之间的性能比较；

图15是根据本发明实施例的用于识别3D场景中至少一个3D物体的平面的计算机化装置的示意性软件图；

图16是根据本发明一个实施例的用于识别3D场景中至少一个3D物体的平面的计算机化系统的示意图。

具体实施方式

如本文和权利要求书中所使用的，术语“包括”是指包括以下要素但不排除其他要素。术语“基于”应被理解为“至少部分基于”。术语“一个示例性实施例”和“一个示例性实施方案”应被理解为“至少一个示例性实施例”。术语“另一个实施例”应被理解为“至少一个其他实施例”。

如本文和权利要求书中所使用的，“3D物体”是指任何实际物体或由CAD(计算机辅助设计)或CAE(计算机辅助工程)生成的任何3D模型，其在3D空间中具有3D平面，它可以由3D场景的点云中的多个点表示。同样地，2D指二维，而1D指一维。

如本文和权利要求书中所使用的，“连接”是指相邻的关系。如果两个体素具有共同的边界，它们就相互连接。它们也被称为相邻的体素。

如本文和权利要求书中所使用的，序列阈值是预定义的，并用于彼此区分。它们各自独立，因此每个的值可以相同或不同。此外，“预先确定的”或“预先指定的”可与“预定的”互换使用。

以下示例性实施例单独或组合地实施，以提供用于不同行业(例如自动化、建筑施工或高精度显微镜)的各种应用中的平面相关测量和3D物体识别的方法和系统。平面相关测量的例子可以包括建筑施工测量、工业零件的平面形状测量、工业零件的尺寸测量等。

图1显示可以应用本发明实施例的一种示例性场景的图100。在建筑施工的场景中，提供了一个计算机化装置110，用于对建筑施工的3D场景130中的3D物体进行平面相关的测量和物体识别。该3D场景130可以是一个扫描的3D场景或由CAD/CAE生成的3D模型。在其他实施例中，3D场景130可以是物理环境中的任何场景，其中包括一个或多个具有尺寸和形状的物理对象，例如移动电话平板电脑的3D场景、包含多个零件的零件托盘的3D场景等。

一个或多个3D传感器120被定位为捕获3D场景130的3D视觉，并与计算机化装置110连接，以向计算机化装置110提供3D场景130的3D数据。计算机化装置110为不同应用(例如，应用150-151)处理3D数据，这将在下面详细描述。

可在此使用的示例性3D传感器包括但不限于3D扫描仪、数码相机和其他类型的能够捕获真实世界物体和/或场景的图像以收集关于其位置、地点和外观数据的设备。根据不同应用，计算机化装置110可以是独立计算机或嵌入式系统，包括但不限于笔记本电脑、台式计算机、平板电脑、智能电话、互联网设备、嵌入式设备等。3D传感器120可以与计算机化装置110物理上分开，或者与计算机化装置110并置或嵌入计算机化装置110中。

计算机化装置110处理3D场景130的3D数据并对3D场景130中的平面进行分割。如140所示，3D场景中的平面已被识别。然后，这些被分割的平面可以用于各种应用。

作为平面分割过程的结果，在框150处，执行物体检测以识别物体。可选择地，在框151处，将平面相关的测量结果进一步应用于所识别的平面，以用于其他建筑施工目的。

图2是根据本发明的一个实施例的用于识别3D场景中3D物体的平面的方法200的流程图。方法200可以由例如图1所示的计算机化装置110来实施。

在步骤210，计算机化装置接收或获得3D场景的点云。3D场景包括至少一个由点云中的多个3D点表示的3D物体。点云可以由3D传感器生成，并通过各种方式传输到计算机化装置，可以是无线方式，也可以是外部或内部有线方式。

值得注意的是，点云可以形成一定的数据格式和结构，以方便计算机程序。本发明在这方面没有任何限制。

在步骤220，计算机化装置将点云体素化为多个相等尺寸的体素。在该体素化的过程中，计算体素尺寸，然后将点云在3D空间中划分为具有相同体素大小(即具有相等尺寸)的体素。在一个实施例中，基于3D传感器的设置来确定体素尺寸。在另一个实施例中，至少取决于点云内的点分布以及测量应用所需的粒度或精度，由操作员确定体素大小，以确保体素中有足够的点用于3D物体测量。

在步骤230，将多个体素分类为三个类别。为了提高平面分割和识别的精度以及速度，根据该体素内部的点是否表现出平面分布以及该体素与其相邻体素之间的结构关系，将每个体素标记为三种不同的类别之一。换句话说，每个第一类体素满足平面要求和第一邻域约束，每个第二类体素满足平面要求和第二邻域约束，而每个第三类体素都不满足平面要求。

理想情况下，第一类体素代表平面的中心区域，第三类体素代表平面的边界区域，第二类体素代表从平面中心区域到边界区域的过渡区域。这样，体素标记有利于以快速的逐个体素方式生成可靠的参考平面，从而提高了平面识别的准确性和速度。关于体素标记或分类的细节将在下面讨论。

在步骤240，从第一类体素生成至少一个参考平面，通过首先确定一个第一类锚体素，并将其相邻的第一类体素募集到该至少一个参考平面。然后在步骤250，通过吸收连接到该至少一个参考平面的第二类体素(如果它们满足体素合并要求)和吸收连接到该至少一个参考平面的第三类体素中的点(如果它们满足点合并要求)，来增长该至少一个参考平面。

值得注意的是，在生成参考平面的过程中，逐个体素的合并和逐个点的合并可以由计算机化装置110并行处理。因此，与传统过程相比，平面识别的准确性和速度可以显著提高。

在步骤260，至少一个参考平面的集合用于表示3D物体。然后，3D场景中的这些平面可以用于不同的应用，例如与平面相关的测量等。

应当注意，尽管上述操作是按特定顺序描述的，但操作不一定必须按照上述特定顺序来执行。例如，一些操作可以以多任务方式或并行方式执行。

进一步到步骤230，图3显示根据本发明一个实施例的体素标记的过程300。在该实施例中，体素被分为三类，包括第一类即好体素；第二类即假性坏(PB)体素；以及第三类即坏体素。

从视觉角度来看，如图3所示，点云或点云的一部分，其中3D场景包括3D空间301的3D物体，被体素化为若干个具有相等尺寸的体素，如体素303。为简化说明，在3D空间中显示了两个平面。

每个体素可包含若干个点。根据内部的这些点，可以确定该体素是否满足平面要求。根据本发明的实施例，平面要求定义了体素内的点是否表现出3D空间内2D平面结构中平面分布的条件。该平面结构由至少一个平面参数表示，该参数可以由描述此2D平面在3D空间中的方位的法向量和另外的偏移量组成。在一个实施例中，偏移量是从该体素内所有点的平均值获得的。

根据一个实施例，为了对体素进行分类，第一步是检查平面是否能很好地拟合体素内的点。在一个实施例中，针对一组点拟合一个平面是指是否可以找到一个可以代表这些点的2D平面结构，使得这些点和平面之间的累积距离在一定范围内。如果可以找到该平面，那么就可以确定体素内的点是否表现为平面分布。分类过程可以按照以下方式进行。

-如果一个体素内的点不能很好地拟合一个平面，那么该体素就归为第三类体素，即一个坏体素。

-如果可以找到一个适合体素内部点的平面，并且该体素内部的点分布在平面的边界内那么该体素满足平面要求，根据邻域约束，被归为第一类体素(即好体素)或第二类体素(即假性坏体素)。

邻域约束表示相邻体素与中心体素共面的可能性。可以通过好邻居和坏邻居的数量来表示，如下文进一步解释。

作为一个示例，3D空间301中作为中心体素的体素303有26个相邻体素。它包含若干点，并且找到一个适合体素303内这些点的平面305。因此，计算出体素303的平面参数。平面参数包括平面305的法向量307和平面305的偏移量(未显示)。标记309表示一个公差边界。如果大多数点都在该边界内，那么该平面就能很好地适合体素内的点。否则，如果许多点在此边界之外，以至于这些点与平面之间的累计距离超过了预定界限，那么该体素就被归类为一个坏体素。

如图3所示，体素303中的大部分点都在边界309内，所以平面305很好地适合体素303内的点，体素303满足平面要求。虽然体素304中的大多数点都在边界309之外，而且平面306不能很好地适合体素304内的点，所以体素304不能满足平面要求，被归类为坏体素。

边界309是一个与应用场景相关的阈值参数。例如，在建筑施工中，体素尺寸可能是50-80mm，而在显微镜或电子测量中，它可能是5mm左右。在一个实施例中，阈值被设置为(k*体素尺寸)，其中k在0.1-0.2之间。

平面305延伸穿过26个相邻体素，并覆盖多个这些相邻体素，即平面相邻体素。在一个实施例中，好邻居是满足平面对齐要求的相邻体素，坏邻居是不满足平面对齐要求的相邻体素。平面对齐要求包括：相邻体素的法向量相对于给定体素的法向量的角度对准小于一个预定值。

换句话说，好邻居是指满足上述平面要求并与该待分类体素对齐的相邻体素，坏邻居是指不满足该平面要求或不与该待分类体素对齐的相邻体素。在此，与该体素对齐可以通过比较该体素和其相邻体素的平面法向量来确定。如果两个法向量之间的角度小于一个阈值，那么它们对齐。

在好邻居的数量不低于第一预定义阈值(例如5)并且坏邻居的数量小于第二预定义阈值(例如3)的条件下，体素303被分类为第一类体素，即好体素。在好邻居的数量不低于第三预定阈值(例如3)并且坏邻居的数量不低于第二预定阈值的情况下，体素303被分类为第二类体素，即假性坏体素。

通过体素分类，可以用更快的逐个体素的方式来生成参考平面，也提高了在3D场景中分割平面的可靠性。

基于分类的体素，计算机化装置可以开始从好体素和假性体素分割出可靠的参考平面。首先，如步骤240所述，参考平面是从好体素生成的。图4至图5以形成一个参考平面的部分体素为例说明了这个过程。

如图4所示，在过程400中讨论了一部分体素(如图所示为27个体素)，其中好体素以灰色背景表示，而坏体素和假性坏体素没有背景。每个体素都有一个唯一的初始体素索引，表示为403。

对于每个好体素，以其自身为中心和与中心相邻的体素形成一个体素邻居组。然后，计算好邻居计数(表示为401)并将其分配给该体素，其中好邻居计数是该体素邻居组中好体素的数量。例如，为好体素421和431形成体素邻居组420和430。好体素421有一个初始体素索引6和一个好邻居计数7，这是围绕它的好体素总数，好体素431有一个初始体素索引10和一个好邻居计数8。这样的索引适用于所有好体素。

为了从这些好体素生成参考平面，确定一个父体素或锚体素，然后将其相邻的好体素募集到参考平面。确定父体素是在体素邻居组的基础上的一个迭代过程。

根据一个实施例，对于每个体素邻居组，首先向该体素邻居组的所有成员分配一个父体素索引。父体素索引是在该体素邻居组中具有最高好邻居得分的初始体素索引。好邻居得分可能与以下因素有关：(1)拥有最多的好邻居体素；(2)拥有最少的坏邻居；(3)是体素邻居组中最平的体素；或以上的任何组合。

以体素邻居组420为例，在该组420中具有最高好邻居数的体素，即初始体素索引为10的体素，被确定为父体素，并且该组中的所有成员体素被分配相同的父体素索引10，如423所示。这里，在该体素中，标记403代表初始体素索引，标记423代表父体素索引。如前所述，该体素组440内的所有体素被分配相同的父体素索引。在此示例中，有两个体素具有相同的最高好邻居计数。好邻居得分的其他因素可以进一步应用于确定父体素。在一个实施例中，如果该体素邻居组中有一个以上的体素具有相同的最高好邻居得分，则选择具有最低初始索引的体素作为父体素。

这同样适用于每个体素邻居组。结果，对于体素邻居组430，具有初始体素索引10的体素被确定为父体素，并且该组中的所有成员体素被分配给父体素索引10。此外，在每个组内，指针被用来表示单个体素和其父体素之间的关系。

图5进一步显示父体素如何在部分体素中更新或传播的过程500。在每个体素邻居组被分配给父体素之后，这些好体素之间的初始关系由图510表示，其中由于重叠的体素邻居组而存在冗余关系，这些冗余应通过更新父体素来消除。

图520中的箭头显示在这种情况下如何更新父体素。对于彼此至少有一个体素重叠的体素相邻组，迭代地进行指定父体素的过程。

如果这些体素邻居组之间的父体素索引不同，则将其中具有最高好邻居得分的父体素索引确定为指定的父体素索引。对于没有最高好邻居得分的体素邻居组，这些组中所有体素的父体素索引被重新分配给指定的父体素索引。然后重复指定的步骤，直到不再发生重新分配。如果有一个以上的体素邻居组具有相同的最高好邻居得分，则可以选择最低的父体素索引作为指定的父体素索引。

在这些重叠的体素邻居组中更新父体素之后，为这些好体素确定一个父体素，如图530所示。在这部分体素中，父体素被发现为初始体素索引为10的体素，所有好体素都共享同一个父体素。由这些具有相同父体素索引的好体素生成一个参考平面，该参考平面由法向量和3D空间中的偏移量表示。

在一个实施例中，参考平面是基于这些好体素内具有相同父体素索引的所有点来构建的。计算这些点的平均值，以及相应的特征值和特征向量。基于这些计算结果，得到一个最适合这些数据点的参考平面。通过400和500的过程，可以为一个3D场景生成多个参考平面。

接下来，通过使用一些第二类体素和第三类体素内的一些点来生长每个参考平面，如步骤250所述。图6至图9以图4中的相同部分体素来说明这一过程。

如图6所示，已经从好体素生成了一个参考平面601，坏体素和假性坏(PB)体素用不同的背景表示，如图610所示。对于每个PB体素，如体素603，内部的点被很好地拟合到一个由法向量n_vi代表的平面605。如果PB体素603满足体素合并要求，则将其合并到参考平面601。否则，将其标记为坏体素。

体素合并要求表示PB体素的平面是否与参考平面对齐并足够接近。根据一个实施例，体素合并要求包括以下条件：参考平面的法向量和PB体素的平面的法向量近似相等；以及参考平面与PB体素平面之间的偏移距离小于第四预定阈值。

作为一个示例，如果参考平面601的法向量n_r与平面605的法向量n_vi之间的角度θ小于一个阈值，另外距离h₁也在一个限制范围内，则PB体素603满足体素合并要求，它被合并到参考平面中。距离h₁可以是两个平面601和605之间的偏移距离，也可以是沿法向量n_r从平面605的中心点到参考平面601的中心点的距离。在另一个实施例中，将体素合并到参考平面涉及到将PB体素中的点纳入，以重新计算参考平面的法向量和偏移。

作为过程600的结果，一些PB体素被合并到参考平面，一些PB体素被标记为坏体素，如图7中的图700所示。可以看到，PB体素701和703被合并到参考平面，而PB体素705和707被标记为坏体素。

在将满足体素合并要求的那些PB体素吸收到各个参考平面的方式中，3D场景中的平面以更精细的精度被分割。此外，这些平面(即更新的参考平面)可以进一步生长，以便通过吸收连接到参考平面的坏体素中的一些点而变得更加可靠。

图8显示基于体素拓扑结构将相邻坏体素中的点合并到参考平面的过程800。如图8所示，已经从好体素和一些PB体素生成了一个参考平面801，并且在背景中用点表示了包括从一些PB体素标记的那些坏体素。对于每个点Pi，如坏体素中的点803，计算其法向量n_pi。为了估计其法向量n_pi，搜索预定半径内的相邻点，并基于该半径内的点计算其法向量n_pi。如果该点803满足点合并要求，它被合并到参考平面801中。否则，它将作为剩余的点保留下来，以待进一步处理。

点合并要求表示坏体素中的点是否与参考平面在方向上对齐以及距离接近，其中该点是参考平面的相邻点。根据一个实施例，点合并要求包括以下条件：参考平面的法向量和坏体素中的点的法向量近似相等；以及从该点到参考平面沿参考平面的法向量的距离小于第五预定阈值。

作为一个示例，如果参考平面801的法向量n与点Pi的法向量n_pi之间的角度θ小于一个阈值，另外距离h₂也在一个限制范围内，则点Pi满足点合并要求，它被合并到参考平面801中。距离h₂是点Pi到参考平面801沿法向量n的距离。在一个实施例中，将一个点合并到参考平面涉及纳入点Pi以重新计算参考平面的法向量和偏移。

作为过程800的结果，坏体素中的一些点被合并到参考平面，而一些被保留在坏体素中，如图9中的图900所示。可以看到，坏体素中的一些点(例如区域901中的点)已合并到参考平面。值得注意的是，901的形状可以是任意的，取决于哪些点被合并了。

现在可以使用好体素、一些PB体素和坏体素中的一些点生成的参考平面来表示3D物体。可以检查这些参考平面是否可以进一步合并。在另一个实施例中，对于坏体素中剩余的那些点，可以对它们进行处理以形成平面，然后可以检查这些平面以及所生成的参考平面是否可以进一步合并所有这些候选平面。

图10和图11显示根据本发明的一个实施例的基于体素拓扑结构将坏体素中的剩余点聚类到平面的过程。如图10所示，作为一个示例，三个相邻坏体素V1、V2和V3分别包含多个点，这些点可以是最初驻留的那些点，或者是从其他点合并成参考平面后留下的剩余点。

在V1、V2和V3中的这些点中的一些可以被聚类为组，以形成各自的平面，即聚类平面。为了对每个坏体素中的点进行聚类，随机选择第一种子点Psi，并计算其法向量n₁。然后，如果该体素内的点满足点聚类要求，则这些点被募集为一个组。点聚类要求可以包括以下条件：种子点的法向量和该点的法向量近似相等；从该点到种子点沿着种子点的法向量的距离小于第六预定阈值。

作为一个示例，如果种子点Psi的法向量n₁与点Pj的法向量n_pj之间的角度θ小于一个阈值，另外距离h_j1也在一个限制范围之内，则点Pj满足点聚类要求，其与种子点Psi聚类为一个组。距离h_j1从点Pj到种子点Psi沿法向量n₁的距离。坏体素中的这种聚类继续与其他种子点一起进行，直到无法形成任何组为止。

因此，每个坏体素中的点被聚类为几个组。例如，V1中的点被聚类为组1010和1011，V2中的点被聚类为组1021和1022，V3中的点被聚类为组1031和1032。相应地，可以为每一组聚类点生成一个聚类平面。此外，对于相邻体素中的聚类平面，如果每对聚类平面满足点分组要求，则形成一个组平面。

如图11所示，为相邻的坏体素V1、V2和V3生成六个聚类平面。第一聚类平面1110(如V1中组1011的聚类平面)和第二聚类平面1120(如V2中组1021的聚类平面)，如果它们满足点分组要求，就可以形成一个组平面1101。

点分组要求表示相邻坏体素中的聚类平面在方向上是否彼此对齐以及在距离上是否彼此靠近。根据一个实施例，点分组要求包括以下条件：第一和第二聚类平面的法向量近似相等；以及第一距离和第二距离中的较大值小于一个预定阈值，其中第一距离是第一聚类平面和第二聚类平面的一对中心点之间沿第一聚类平面的法向量的距离，第二距离是一对中心点之间沿第二聚类平面的法向量的距离。

作为一个示例，如果第一聚类平面1110的法向量n_v1与第二聚类平面1120的法向量n_v2之间的角度θ小于一个阈值，另外H＝max(h_v1,h_v2)也在一个限制范围内，则两个聚类平面满足点分组要求，它们可以作为候选聚类平面合并到一个聚类平面。在此，h_v1是聚类平面1110的中心点C1和聚类平面1120的中心点C2之间沿法向量n_v1的距离，h_v2是一对中心点之间沿法线向量n_v2的距离。H代表h_v1和h_v2之间的较大者。

如果组1011、1021和1031的三个聚类平面中的平面满足点分组要求，它们可以形成一个组平面1101。这样，坏体素中的点被进一步增长到尽可能大的平面。

最后，如果所有参考平面和组平面满足平面合并要求，则它们可以进一步合并。在一个实施例中，平面合并要求包括：(a)一对候选平面的法向量近似相等；(b)第一距离和第二距离中的较大值小于一个预定阈值，而第一距离是一对候选平面的一对中心点之间沿第一候选平面的法向量的距离，第二距离是一对中心点之间沿第二候选平面的法向量的距离；(c)候选平面彼此靠近。

如图12所示，对两个候选平面1201和1202的平面参数进行比较。如果第一候选平面1201的法向量n_p1与第二候选平面1202的法向量n_p2之间的角度θ小于一个阈值，H＝max(h₁₂,h₂₁)也在一个限制范围内，另外，这两个平面是连接的，则两个候选平面满足平面分组要求，可以进一步合并。在此，h₁₂是平面1201的中心点与平面1202的中心点之间沿法向量n_p1的的距离，h₂₁是一对中心点之间沿法向量n_p2的距离。H代表h₁₂和h₂₁的最大值。

通过以上将所有体素分类为三类，从好体素和PB体素中分割参考平面，将坏体素中的相邻点合并到参考平面，将坏体素中的剩余点聚类以生成新平面，最后合并所有平面的过程，可以对3D场景中的平面进行分割和识别，从而提高准确性和提高速度。值得注意的是，一些过程，如分类、将PB体素合并到参考平面、将坏体素中的相邻点合并到参考平面、以及聚类过程，可以并行执行。

图13显示根据本公开的实施例，在施工场景中识别3D场景1310中的平面的整个过程1300。从3D场景1310中，在体素化和体素分类之后，1320所示的参考平面由好体素生成。然后，一些PB体素被合并到参考平面，得到1330所示的参考平面。1330中所示的白色细条纹表示在合并PB体素后如何生长灰色参考平面1320。此外，坏体素和一些PB体素中的点被合并到参考平面，另外，如根据图10-12所描述的，聚类平面与参考平面合并在一起，产生如1340所示的3D场景。同样，白色细条纹表示参考平面如何从1330进一步扩展。3D场景1310中的平面现在可以被分割成或识别为相应平面，如1350所示，并且可以对3D场景中的每个3D物体执行进一步的应用，如与平面有关的测量或物体识别。可以看出，随着过程1300中这些进一步的步骤，平面从不同类别的体素和点逐渐生长出来，并且继而平面分割变得越来越精确。

采用上述方法，通过体素并行合并和基于体素拓扑结构的点并行合并，来寻找3D场景中具有任意姿势的平面，与其他传统的平面分割方法相比，分割速度和精度都有明显提高，如图14所示。

下表1显示根据本发明的平面分割的处理速度的提高。

表1性能比较

点的数量	PCL	Open3D	本发明
				997,000	1.3422	0.6402s	0.1936s
1550,000	310.695s	19.062s	1.876s
				241,000	1.3042s	0.1982s	0.1028s

上述针对PCL(点云库)包和Open3D包使用平面分割算法RANSAC(随机样本共识)的性能比较是在采用i9英特尔处理器运行在3.9GHz频率并使用128G RAM的计算机上执行的。从表1可以看出，使用本发明的方法，处理速度明显降低。与PCL RANSAC相比，对于数十万个点的处理速度大约快10倍，而对于更大数量的点，则要快100倍以上；而与Open3D RANSAC相比，对于数十万个点的处理速度要快2倍，而对于更大数量的点，则快十倍以上。

图1400还显示，与PCL RANSAC和Open3D RANSAC相比，平面分割的准确性得到了极大的提高。

根据实施例，本发明公开了一种处理海量数据点并有效识别3D空间中可靠平面的方法。其基本原理是将一个平面的不同区域确定为锚定区域，并从锚定区域中生长出最可靠的平面。对于那些不属于一个平面的锚定区域的数据点，该方法通过较小的组对其进行检查，以将它们募集到可靠平面和较小平面之一中。与单独处理数据集中的每个点，然后在相邻点表现出相似属性时试图将它们合并在一起的方法相比，这是一种效率更高的方法。

通过本发明，一种高效的、全自动化的、易于使用的3D计算机处理方法和系统可以实时使用，并且可以在多个平台上工作。如以上更详细的描述，本文所述的先进技术对现实世界中通常发现的噪音和遮挡物具有容忍性。此外，整个过程是完全自动化的，从而无需进行手动后处理即可形成完整、准确、完整的3D模型，适用于许多商业和消费应用。本文描述的方法和系统被设计为在低成本、低功耗、片上系统(SoC)的处理器平台(例如运行Android^TM/Linux^TM操作系统的ARM处理器)上高效运行。

图15是根据本发明的实施例用于识别3D场景中的3D物体的平面的计算机化装置1500的示意图。计算机化装置1500可操作以执行参考图2-13描述的方法/过程200-1300。

为此，计算机化装置1500包括体素分类模块1502，其被配置为将3D场景的点云体素化为相等尺寸的多个体素，其中3D场景包括由点云中的多个点代表的至少一个3D物体，将多个体素分为三类，其中每个第一类体素都满足平面要求和第一邻域约束，每个第二类体素都满足平面要求和第二邻域约束，而每个第三类体素都不满足平面要求。此外，计算机化装置1500包括平面分割模块1504，其被配置为通过首先确定第一类锚定体素并将其相邻的第一类体素募集到该至少一个参考平面，从而从第一类体素生成至少一个参考平面；并通过吸收连接到该至少一个参考平面的第二类体素(如果它们满足体素合并要求)和吸收连接到该至少一个参考平面的第三类体素的点(如果它们满足点合并要求)来生长该至少一个参考平面。

在一些实施例中，计算机化装置1500还包括与平面相关测量模块1506和/或物体检测模块1508。平面相关测量模块1506被配置为测试由平面分割模块1504对3D物体产生的平面的平面度。物体检测模块1508被配置为基于3D场景中识别的平面来识别物体。

本发明的装置或系统和方法可以以在计算机化系统上运行的软件应用程序的形式实现。此外，方法的部分可以在一个这样的计算机系统上执行，而其他部分可以在一个或多个其他这样的计算机系统上执行。计算机化系统的例子包括大型机、个人电脑、手持电脑、服务器等。软件应用程序可以存储在计算机系统本地可访问的记录介质上，并可以通过有线或无线连接到网络，如局域网或互联网进行访问。

计算机系统可以包括例如处理器、随机存取存储器(RAM)、打印机接口、显示单元、局域网(LAN)数据传输控制器、LAN接口、网络控制器、内部总线、以及一个或多个输入设备如键盘、鼠标等。该计算机化系统可以连接到数据存储设备。

本公开的装置或系统和方法可以以在计算机化系统上运行的软件应用程序的形式实现。图16是根据本发明的一个实施例的用于识别3D场景中物体平面的计算机化系统1600的示意图，该计算机化系统包括可用于实现本发明的实施例的硬件和软件组件。

本实施例中的硬件组件还包括处理器1610、存储器1611和多个接口。计算机化系统1600中的多个组件与I/O接口1620连接，包括输入单元1612、输出单元1613、存储单元1614和通信单元1615，其包括但不限于网卡、调制解调器、无线通信收发器。在另一实施例中，本公开还可以部署在分布式计算环境中，该分布式计算环境包括通过一个或多个网络连接在一起的一个以上的计算机化系统1600。网络可以包括互联网、内联网、外联网、蜂窝网络、局域网(LAN)、家庭区域网(HAN)、城域网(MAN)、广域网(WAN)、蓝牙网络、公共和私人网络等中的一个或多个。

处理器1610可以是中央处理器(CPU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等，用于控制存储器(例如用于临时数据存储的随机存取存储器(RAM)、用于永久数据存储的只读存储器(ROM)和固件)的整体操作。一个或多个处理器可以彼此通信并与存储器通信，并执行实现本文讨论的流程图的一个或多个步骤的操作和任务。

例如，存储器1611存储应用程序、数据、程序、算法(包括用于实现或辅助实现示例实施例的软件)和其他数据。存储器1611可以包括动态或静态随机存取存储器(DRAM或SRAM)或只读存储器，例如可擦除和可编程只读存储器(EPROM)、电可擦除和可编程只读存储器(EEPROM)以及闪存、以及其他存储器技术，单独或联合使用。在一些实施例中，处理器1610可以被配置为执行上述各种过程和处理，如参照图2-15描述的方法/过程200-1500。

存储设备1614通常包括持久性存储设备，例如固定和可移动磁盘；包括磁带在内的其他磁性介质；光盘(CD)或数字多功能磁盘(DVD)等光学介质；以及半导体存储设备，如闪存卡、固态驱动器、EPROM、EEPROMS或其他存储技术，单独或组合使用。注意，上述软件的指令可以提供在计算机可读或机器可读存储介质上，或者可以提供在多个计算机可读或机器可读存储介质上，分布在一个具有多个节点的大型系统中。这种计算机可读或机器可读介质被认为是物品(或制造物品)的一部分。物品或制造品可以指任何制造的单个组件或多个组件。

输入单元1612是将计算机化系统1600连接到诸如键盘、小键盘、基于笔的设备、鼠标或其他点设备、语音输入设备、扫描仪或其他输入技术的数据输入设备的接口组件。根据本发明的一个实施例，输入单元1612可以包括至少一个3D传感器，其捕获3D场景，用于向计算机化系统1600提供3D场景的3D数据。输出单元1613是计算机化系统1600的接口部件，用于将数据发送到输出设备，如CRT或平板显示器、打印机、语音输出设备、扬声器或其他输出技术。通信单元1615通常可以包括串行或并行接口和USB(通用串行总线)接口，以及其他接口技术。通信单元1615还可以使计算机化系统1600通过数据通信网络如个人局域网(PAN)、局域网(LAN)、广域网(WAN)、互联网、和其他数据通信网络体系结构，与外部数据处理设备交换信息。通信单元1615可以包括以太网接口、无线LAN接口设备、蓝牙接口设备和其他联网设备，单独地或组合使用。

软件进一步包括操作系统以及如图15所示的应用软件系统。操作系统将管理所有硬件资源，并为所有任务和进程安排执行优先级，以使四个应用软件系统都能有序地执行。

本文讨论的步骤和/或方法可以由用户、用户代理(包括机器学习代理和智能用户代理)、软件应用、电子设备、计算机、固件、硬件、程序、计算机系统和/或智能个人助理执行和/或进行。此外，本文讨论的步骤和/或方法可以在有或没有用户指示的情况下自动执行。

对于本领域的技术人员来说，应该理解硬件和软件之间的划分是为了便于理解而进行的概念性划分，并且在某种程度上是有些随意的。此外，可以理解的是，一台计算机安装中的外围设备可以集成到另一计算机的主机中。此外，应用软件系统可以在分布式计算环境中执行。软件程序及其相关数据库可以存储在单独的文件服务器或数据库服务器中，并被传输到本地主机上执行。因此，如图16所示的计算机化系统1600是如何实现本发明的一个示例性实施例。本领域技术人员会理解，可以采用替代性实施例来实现本发明。

本发明的示例性实施例由此得到充分描述。尽管描述中涉及特定的实施例，但是对于本领域的技术人员来说，可以清楚看到，本发明可以通过改变这些具体细节来实施。因此，本发明不应被解释为仅限于本文所阐述的实施例。

在不同图中讨论的方法可以添加到其他图中的方法或与之交换。此外，具体的数字数据值(例如具体的数量、数字、类别等)或其他具体信息应被解释为讨论示例性实施例的说明性信息。提供这样的具体信息并不是为了限制示例实施例。

Claims

1.一种用于识别3D场景中3D物体的平面的计算机实现方法，包括：

接收3D场景的点云，所述3D场景包括至少一个由所述点云中多个点表示的3D物体；

将所述点云体素化为尺寸相等的多个体素；

将所述多个体素分为三类，其中每个第一类体素满足平面要求和第一邻域约束，每个第二类体素满足所述平面要求和第二邻域约束，每个第三类体素都不满足所述平面要求；

通过首先确定一个第一类锚定体素，并将其相邻的第一类体素募集到所述至少一个参考平面，从而从所述第一类体素生成至少一个参考平面；

通过吸收连接到所述至少一个参考平面的第二类体素，如果它们满足体素合并要求，以及吸收连接到所述至少一个参考平面的第三类体素中的点，如果它们满足点合并要求，来生长所述至少一个参考平面；

使用这组至少一个参考平面来表示所述3D物体。

2.根据权利要求1所述的方法，其中所述平面要求包括一个条件，即所述体素内的点表现出一个平面分布。

3.根据权利要求1所述的方法，其中关于一个给定体素的所述第一邻域约束包括以下条件：

所述给定体素的好邻居的数量大于第一预定阈值，和

所述给定体素的坏邻居的数量小于第二预定阈值；

其中，好邻居是满足平面对齐要求的相邻体素，坏邻居是不满足所述平面对齐要求的相邻体素；

其中，所述平面对齐要求包括：所述相邻体素的法向量相对于所述给定体素的法向量的角度对齐小于一个预定值。

4.根据权利要求3所述的方法，其中，关于一个给定体素的第二邻域约束包括以下条件：

所述给定体素的好邻居数量大于第三预定阈值，坏邻居数量大于或等于所述第二预定阈值；

其中，所述第一预定阈值大于所述第三预定阈值。

5.根据权利要求1所述的方法，其中从所述第一类体素生成至少一个参考平面的步骤包括：

为每个体素分配一个唯一的初始体素索引；

对于每个第一类体素，

以所述第一类体素为中心，将与所述中心相邻的体素分组，以形成所述第一类体素的体素邻居组；和

向所述体素分配一个好邻居计数，其中，所述好邻居计数是所述体素邻居组中第一类体素的数量；

对于每个体素邻居组，

向所述体素邻居组的所有成员分配一个父体素索引，其中，所述父体素索引是所述体素邻居组内具有最高好邻居得分的初始体素索引；

对于彼此重叠至少一个体素的体素邻居组，

如果这些体素邻居组之间的父体素索引不同，则将其中具有最高好邻居得分的父体素索引确定为指定的父体素索引；和

对于没有最高好邻居得分的体素邻居组，将这些组中所有体素的父体素索引重新分配给所述指定的父体素索引；

重复重新分配步骤，直到不再发生重新分配；和

通过将具有相同父体素索引的所有体素分组在一起，形成所述至少一个参考平面。

6.根据权利要求5所述的方法，从所述第一类体素生成至少一个参考平面的步骤包括：

如果在所述体素邻居组中有一个以上的体素具有相同的最高好邻居得分，则选择初始索引最低的体素作为所述父体素索引；和

如果有一个以上的体素邻居组具有相同的最高好邻居得分，则选择最低的父体素索引作为所述指定的父体素索引。

7.根据权利要求5所述的方法，其中，所述好邻居得分至少满足以下要求之一：

具有最多所述第一类相邻体素；

具有最少所述第三类相邻体素；和

是所述组中是最平的体素。

8.根据权利要求1所述的方法，其中，所述体素合并要求包括以下条件：

所述至少一个参考平面的法向量和相邻的第二类体素的法向量近似相等；和

所述至少一个参考平面与所述相邻的第二类体素的平面之间的偏移距离小于第四预定阈值。

9.根据权利要求1所述的方法，其中，生长所述至少一个参考平面的步骤包括：

对于所述第二类中的每个体素，

如果满足所述体素合并要求，则将该体素合并到所述至少一个参考平面中；和

重新计算所述至少一个参考平面的法向量和偏移量。

10.权利要求1的方法，还包括：

将第二类体素标记为第三类体素，如果它们不满足所述体素合并的要求。

11.根据权利要求1所述的方法，其中，所述点合并要求包括以下条件：

所述至少一个参考平面的法向量和第三类体素中的点的法向量近似相等；和

从所述点到所述至少一个参考平面沿所述参考平面的法向量的距离小于第五预定阈值。

12.根据权利要求1所述的方法，其中，生长所述至少一个参考平面的步骤包括：

对于第三类体素中的每个点，

如果满足所述点合并要求，则将该点合并到所述至少一个参考平面中；

重新计算所述至少一个参考平面的法向量和偏移量。

13.根据权利要求12所述的方法，还包括：

从第三类体素的剩余点中随机选择一个种子点；

如果这些点满足点聚类要求，则在所述第三类体素内募集点以形成一个聚类平面；

其中，所述点聚类要求包括：所述种子点的法向量和该点的法向量近似相等；从该点到所述种子点沿所述种子点法向量的距离小于第六预定阈值。

14.根据权利要求13所述的方法，还包括：

对于相邻体素中的所述聚类平面，

如果每对所述聚类平面都满足点分组要求，则生成一个组平面；

如果所述至少一个参考平面和所述组平面满足平面合并要求，则将它们合并，以识别3D物体的至少一个平面。

15.根据权利要求14所述的方法，其中，所述点分组要求包括以下条件：

第一和第二聚类平面的法向量近似相等；

第一距离和第二距离中的较大值小于一个预定阈值，所述第一距离是所述第一聚类平面和第二聚类平面的一对中心点之间沿所述第一聚类平面的法向量的距离，所述第二距离是在该对中心点之间沿所述第二聚类平面的法向量的距离。

16.根据权利要求14所述的方法，其中，所述平面合并要求包括以下条件：

一对候选平面的法向量近似相等。

第一距离和第二距离中的较大值小于一个预定阈值，所述第一距离是该对候选平面的一对中心点之间的沿所述第一候选平面的法向量的距离，所述第二距离是该对中心点之间的沿所述第二候选平面的法向量的距离；

所述候选平面彼此靠近。

17.一种计算机化系统，包括：

处理器；

连接到所述处理器的存储器，所述存储器和处理器一起配置成使所述计算机系统执行包括以下的动作：

将所述点云体素化为尺寸相等的多个体素；

通过首先确定一个第一类锚定体素并将其相邻的第一类体素募集到所述至少一个参考平面，从而从所述第一类体素生成至少一个参考平面；

通过吸收连接到所述至少一个参考面的第二类体素，如果它们满足体素合并要求；以及吸收连接到所述至少一个参考平面的第三类体素中的点，如果它们满足点合并要求，来生长所述至少一个参考面；

使用该组至少一个参考平面来表示所述3D物体。

18.根据权利要求17所述的计算机化系统，其中，从所述第一类体素生成至少一个参考平面的动作包括：

为每个体素分配一个唯一的初始体素索引；

对于每个第一类体素，

以该第一类体素为中心，将与该中心相邻的体素分组，以形成该第一类体素的体素邻居组；和

向该体素分配好邻居计数，其中，所述好邻居计数是所述体素邻居组中第一类体素的数量；

对于每个体素邻居组，

为该体素邻居组的所有成员分配一个父体素索引，其中所述父体素索引是该体素邻居组中具有最高好邻居得分的初始体素索引；

对于彼此重叠至少一个体素的体素邻居组，

对于没有最高好邻居得分的体素邻居组，将这些组中所有体素的父体素索引重新分配给指定的父体素索引；

重复重新分配步骤，直到不再发生重新分配为止；和

19.根据权利要求17所述的计算机化系统，其中，关于一个给定体素的所述第一邻域约束包括以下条件：

所述给定体素的好邻居的数量大于第一预定义阈值，和

所述给定体素的坏邻居的数量小于第二预定阈值；和

关于给定体素的第二邻域约束包括以下条件：

所述给定体素的好邻居数量大于第三预定阈值，所述给定体素的坏邻居数量大于或等于所述第二预定阈值；其中，所述第一预定阈值大于所述第三预定阈值；

20.根据权利要求17所述的计算机化系统，还包括至少一个3D传感器，其捕获3D场景，用于向所述计算机化系统提供所述3D场景的3D数据。