CN105359163B - 用于将基元形状拟合到3d点的集合的方法 - Google Patents

Abstract

一种方法通过首先将三维(3D)点的集合转换到距离场，将基元形状拟合到该3D点的集合。距离场中的每个元素与到该3D点的集合中的最接近点的距离相关联。从基元形状假定两个或更多个候选的集合，并且使用距离场确定针对每个候选的得分。然后，根据它们的得分，从候选中选择拟合到3D点的基元形状。

Description

用于将基元形状拟合到3D点的集合的方法

技术领域

本发明总体涉及处理三维(3D)数据，并且更特别地，涉及将基元形状拟合到3D数据。

背景技术

在机器人、计算机视觉和计算机图形中的很多应用中都使用基于结构光、激光扫描、或飞行时间的三维(3D)传感器。传感器将3D场景扫描为3D点的集合(通常称为3D点云)。可以通过将由3D传感器获取的多次扫描记录(register)到单个坐标系中，获得针对大规模场景的3D点云。

存储和处理3D点云要求大量的内存和计算资源，这是因为每个3D点都必须单独被存储和处理。为了进行紧凑建模和快速处理，期望将3D点云表示为基元形状的集合。

一种方法使用随机抽样一致性(RANSCA)框架将基元形状拟合到3D点云。该方法假定多个基元形状，并且根据假定的基元形状的得分来选择最佳基元形状。该方法使用原始3D点云来确定得分，这要求针对每个假定的基元形状遍历3D点云中的所有点，或者给定假定的基元形状上的参考点，在3D点云中搜索附近点。这是耗时的。

发明内容

本发明的实施方式提供了一种用于将基元形状拟合到3D点云的方法。该方法通过距离场表示3D点云。RANSCA框架有效地执行基元形状拟合。

距离场表示从3D云中的每个点到最接近的对象表面的距离，这使得在RANSCA框架中的得分评估有效率。距离场还提供每个点到最接近的对象表面的梯度方向，这有助于基于梯度下降的细化(refinement)处理。

因此，与现有技术相比，使用距离场表示允许针对在RANSAC框架中产生的假定的快速得分计算、以及假定的形状参数的有效率的细化。

附图说明

[图1]

图1是根据本发明的实施方式的用于使用距离场将基元形状拟合到3D点云的方法的流程图。

具体实施方式

如图1中所示，本发明的实施方式提供了一种用于使用距离场将基元形状拟合到3D点云的方法。在该方法中，输入3D点云101。通过3D传感器的扫描，或者通过记录所述3D传感器的多次扫描或者来自多个不同3D传感器的扫描，可以获得3D点云。

3D点云被转换105到距离场102。在基于RANSAC的基元形状拟合处理110中使用距离场，其中，通过使用确定相应形状的参数所要求的最少数量的点来假定111两个或更多个候选形状100的集合。确定针对每个形状候选的得分121。

该方法在候选中选择120具有最少得分的最佳候选基元形状。可选地，可以使用梯度下降过程细化130最佳基元形状的参数。为了确定点云中的基元形状的集合，在从距离场减去140所选基元形状之后，重复处理110。该方法的输出是限定基元形状的集合的参数109的集合。

该方法可以在连接至本领域中已知的存储器和输入/输出接口的处理器150中执行。

从点云到距离场的转换

假设P＝{p_i}是3D点云的点的集合，其中，i＝1,…,N。我们将点云转换到距离场D(x)，其中，x表示距离场中的元素。该元素可以是具有体积V＝W×H×L的规则立方体网格中的3D体元，其中，W、H和L是网格的宽度、高度和长度。与元素或体元相关的是到3D点的集合中的最接近点的距离。

假设R是3×3旋转矩阵，t是3×1平移矢量，并且s是将点云的坐标系变换到距离场的坐标系的比例因子。然后，按照q_i＝s(Rp_i+t)将点云中的第i个3D点p_i变换到距离场的坐标系。我们确定R、t和s，使得所有q_i都在W×H×L体元的距离场内。

按照将变换后的点q_i离散化到距离场的最接近网格点，其中，函数round(·)确定自变量(argument)中的3D点的最接近网格点。假设是离散化点的集合。通过求解以下最小化问题来确定点云的距离场：

其中，函数d确定点x和y之间的距离，T是指标函数

等式(1)的最小化问题的朴素解法要求O(V²)时间。对于多个距离函数d(诸如，曼哈坦(Manhattan)、欧几里得(Euclidean)和L₁距离)，已知在O(V)时间内确定距离场的过程。这样的过程针对每个维度顺序地执行一维距离场计算。我们的优选实施方式使用欧几里得距离作为距离函数。

在通过求解等式(1)确定距离场之后，将距离场截短为

其中，C是用于截短的阈值。这使得甚至当存在数据丢失时，也能够使基元拟合处理精确。

然后，我们确定可用于假定3D点的法向矢量的D(x)的梯度矢量场，以及确定针对基于梯度下降的细化处理的雅可比矩阵(Jacobian matrix)。我们使用以下等式来确定梯度矢量场：

以及

为了有效率地假定基元形状，我们存储具有零距离的体元的集合Z(即，Z＝{x_i|D(x_i)＝0})。体元对应于对象表面上的点，我们使用该对象表面上的点来有效率地假定基元形状。

以上优选实施方式使用一致大小的元素或体元。注意，还可以使用自适应大小的体元(诸如，基于八叉树的表示)。

使用距离场的基元形状拟合

给定距离场和梯度矢量场，使用RANSAC框架用于基元形状拟合。我们假定两个或更多个候选基元形状的集合，确定它们的得分，并且选择具有最少得分的最佳候选。在优选实施方式中，使用无限平面、平面段、球体、圆柱体和立方体作为基元形状。然而，不同基元形状的数量可以是无限制的。

对于每个基元，我们使用产生形状假定所要求的最小数量的体元。我们从集合Z中选择这样的体元。注意，每个体元具有位置r_i∈Z和法线因此，每个体元都可以被视为有向3D点，即，具有3D方向矢量的3D点。以下我们描述用于针对集合100中的每个基元形状产生形状假定的过程。

无限平面基元

可以通过对单个有向点(r₁,n₁)取样来假定无限平面(即，没有边界的平面)。该平面上的所有点r都应该满足以下平面等式：

n₁ ^T(r-r₁)＝0 (6)。

为了确定针对该平面的得分ν，对满足下式的距离场的体积内的多个点r_j(j＝1,…,J)进行取样

|n₁ ^T(r-r₁)|<ε (7)，

其中，ε是小阈值，其允许取样点与平面等式(6)的小偏差。然后，我们按照下式对取样点的距离求平均

此后，我们将小阈值表示为ε，其允许由于噪声和离散化导致的与准确值的小偏差，诸如在等式(7)中。注意，对于不同等式，ε可以是不同的。

平面段基元

平面段基元由其平面等式和点的集合表示，所述点的集合为平面段的成员(member)。首先，我们通过在无限平面基元中对单个有向点(r₁,n₁)进行取样来确定平面等式。然后，我们在该平面上限定与取样点位置r₁连接的点的集合。具体地，我们寻找r_i的相邻点r_m，该相邻点r_m满足等式(7)和D(r_m)<ε。我们将点的集合r_m(m＝1,…,M)保持为平面段假定的成员。为了确定针对该假定的得分，我们对r_m中的多个点r_j进行取样并且对取样点的距离求平均，如等式(8)中那样。

球体基元

可以通过对两个有向点(r₁,n₁)和(r₂,n₂)进行取样来假定球体。针对位于球体上的两个点，经过r₁并且具有方向n₁的线应该与经过r₂并且具有方向n₂的线相交于点c，点c对应于球体的中心。通过找到最接近这两条线的点获得交叉点。除了该约束之外，还必须确保

|||c-r₁||-||c-r₂|||<ε (9)，

使得点r₁和r₂位于离球体c的中心相同的距离处。我们使用这些约束去除这两个有向点的假样本：如果这两条线不相交，或者不满足等式(9)，则丢弃取样点并且从第一个点重新开始取样处理。

确定从c到r₁和r₂的平均距离作为球体r的半径，即，

r＝(||c-r₁||+||c-r₂||)/2 (10)。

位于球体上的所有点r应该满足

|||c-r||-r|<ε (11)。

通过对满足等式(11)的该球体上的多个点进行取样并且使用等式(8)对取样点的距离求平均来确定球体的得分。

圆柱体基元

为了假定圆柱体，我们首先对限定圆柱体的轴和半径的两个有向点(r₁,n₁)和(r₂,n₂)进行取样。轴的方向被定义为n_a＝n₁×n₂，其中，×表示交叉乘积。我们沿着轴的方向n_a将两个有向点(r₁,n₁)和(r₂,n₂)投影到公共平面上，并且确定该平面上的由投影到该平面上的两个有向点限定的两条线的交叉。这两个投影点应该离交叉点大致相同距离，使得我们可以使用交叉点和两个投影点之间的平均距离来确定圆柱体的半径。如果不满足该条件，则我们丢弃取样点并且从第一个点重新开始取样处理。

接下来，我们对另外两个有向点(r₃,n₃)和(r₄,n₄)进行取样，以限定圆柱体的两个平面。这两个点应该满足n₃和n₄平行于轴的方向n_a的条件，即，

1-|n_a ^Tn₃|<ε和1-|n_a ^Tn₄|<ε (12)。

如果不满足该条件，则我们丢弃取样点并且从第一个点重新开始取样处理。

为了确定圆柱体的得分，我们对圆柱体的表面上的多个点进行取样，并且对取样点的距离求平均，如等式(8)中那样。

立方体基元

可以通过对六个有向点进行取样来假定立方体。我们对前两个点(r₁,n₁)和(r₂,n₂)进行取样，使得法线n₁和n₂彼此平行，即，

1-|n₁ ^Tn₂|<ε (13)。

我们对接下来的点(r₃,n₃)和(r₄,n₄)进行取样，使得n₃垂直于n₁并且n₄平行于n₃，即，

|n₁ ^Tn₃|<ε和1-|n₃ ^Tn₄|<ε (14)。

我们对最后两个点(r₅,n₅)和(r₆,n₆)进行取样，使得n₅垂直于n₁和n₃二者，并且n₆平行于n₅，即，

|n₁ ^Tn₅|<ε，|n₃ ^Tn₅|<ε和1-|n₅ ^Tn₆|<ε (15)。

如果在对这六个点进行取样的同时不满足以上条件中任一个，则丢弃取样点并且再次开始从第一个点开始取样处理。

这六个点中的每个点限定立方体的面。为了确定得分，对六个面上的点的集合进行取样，并且对取样点的距离值求平均，如等式(8)中那样。

最佳基元选择

针对我们的方法的每次重复，我们假定多个基元形状并且确定其相应得分，如上所述。然后，我们在所有假定中选择具有最少得分的最佳基元。

该朴素得分方法优选具有小表面积的基元形状。为了避免选择这样的小基元形状，我们使用通过基元形状的表面积加权的得分用于最佳基元选择。具体地，使用v/S^p作为加权得分，其中，S表示基元的表面积，并且p是平衡得分与表面积之间的加权的参数。

细化

可选地，我们使用梯度下降过程来细化130最佳基元形状的参数。我们从在RANSAC处理中确定的基元参数开始梯度下降。针对每个梯度下降步骤，给定当前基元参数，我们对基元形状的表面上的多个点r_k(k＝1,…,K)进行取样，并且使用它们的梯度矢量相对于基元形状的每个参数来确定雅可比矩阵，以细化参数。

减去

给定最佳基元，我们从距离场中减去基元上的点。我们确定基元形状的表面和集合Z中的每个点之间的距离，并且如果该距离在小阈值内，则从Z去除点。然后，我们使用Z中的点的新集合来确定距离场D(x)，并且还更新梯度矢量场。在该方法的下一次重复中，使用新距离场和梯度矢量场。

Claims (13)

1.一种用于将基元形状拟合到三维点的集合的方法，该方法包括以下步骤：

将所述三维点的集合转换到距离场，其中，所述距离场中的每个元素与到所述三维点的集合中的最接近点的距离相关联；

假定所述基元形状的两个或更多个候选的集合；

通过对所述距离场的体积内的点取样并且对取样点的距离求平均，确定针对每个候选的得分；以及

根据得分选择作为拟合到所述三维点的所述基元形状的候选，其中，在处理器中执行以上步骤。

2.根据权利要求1所述的方法，其中，通过三维传感器获取所述三维点。

3.根据权利要求1所述的方法，所述方法还包括：

确定所述距离场的梯度矢量场。

4.根据权利要求3所述的方法，其中，所述假定使用所述距离场中的、确定每个候选的参数所要求的最小数量的元素。

5.根据权利要求1所述的方法，所述方法还包括：

通过从所述距离场减去所选择的候选并且重复所述转换、所述假定、所述确定和所述选择来拟合基元形状的集合。

6.根据权利要求3所述的方法，所述方法还包括：

通过使用梯度下降过程来细化所选择的候选，其中，所述梯度下降过程使用所述梯度矢量场。

7.根据权利要求1所述的方法，其中，P＝{p_i}是所述三维点的集合，其中，i＝1,...,N，所述距离场是D(x)，其中，x表示大小为W×H×L的规则体积网格中的三维体元，R是3×3旋转矩阵，t是3×1平移矢量，s是用于将所述三维点的集合的坐标系变换到所述距离场的坐标系的比例因子，并且按照q_i＝s(Rp_i+t)将第i个三维点p_i变换到所述距离场的所述坐标系，使得所有q_i都在所述距离场内。

8.根据权利要求7所述的方法，其中，按照将q_i离散化到所述距离场的最接近的网格点，其中，函数round(·)确定所述三维点的最接近的网格点。

9.根据权利要求8所述的方法，其中，通过求解最小化来确定所述距离场，

其中，函数d确定点x和点y之间的距离，并且T是指标函数

是离散化点的集合。

10.根据权利要求6所述的方法，所述方法还包括：

使用所述梯度矢量场来确定雅可比矩阵。

11.根据权利要求3所述的方法，其中，每个元素是具有三维位置和三维方向矢量的有向三维点。

12.根据权利要求1所述的方法，其中，所述基元形状选自由无限平面、平面段、球体、圆柱体、立方体及其组合组成的组。

13.根据权利要求1所述的方法，其中，通过所述基元形状的表面积对所述得分加权。