CN106097334A - 基于深度学习的点云配准方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的点云配准方法，鉴于传统的点云配准算法计算复杂度高，不适于在计算资源有限的设备上运行，提出一种基于深度学习的点云配准方法。配准过程为：将点云转换成深度图像表示；使用堆叠卷积自动编码器网络提取深度图像的特征；利用提取到的深度图像特征通过配准网络计算点云的旋转参数；其中的自动编码器网络和配准网络需要在配准之前进行训练以得到网络参数，得到参数后不需要在使用时进行训练。本发明实现了点云的优化配准，并具备配准效率高的特点，可应用于三维模型扫描、三维重建和物体跟踪等领域。

Description

基于深度学习的点云配准方法

方法领域

本发明属于计算机视觉领域，涉及一种基于深度学习的点云配准方法，可应用于三维模型扫描、三维重建和物体跟踪等领域。

背景方法

点云配准方法用于解决对一个或多个三维物体在不同视角下的三维模型之间的位姿关系的估计问题。其广泛应用于三维模型扫描、三维重建和物体跟踪等领域。点云配准的过程一般可描述为估计两片点云之间的旋转和平移参数。

在过去几十年中，大量点云配准算法被提出，其中Besl等人提出的迭代最近点(Iterative Closest Point，ICP)算法最富代表性。ICP是一种基于自由形态曲面的配准算法，它具有简单易行的优点，但ICP算法的效率不高，计算的复杂度随着点云的规模增大而显著提高，且ICP算法对噪声点或异常点敏感，噪声点或异常点容易导致该算法失效。

为解决ICP算法的问题，人们在此基础上做出了许多改进。有学者提出了一种迭代最近线方法(Iterative Closest Line，ICL)，通过直接对两片点云中的点连线并查找对应线段进行配准，但是线段之间的对应关系可能存在缺陷。另有学者提出通过GPU等硬件进行算法的加速，但此方法未解决原点云配准算法的缺陷，不能满足在实际应用场景下的需求。因此需要一种有效的点云配准算法，能够计算两片点云之间的相对位姿关系并满足：(1)算法的适应性强，对噪声点和异常点不敏感；(2)算法的计算速度快，尽可能满足实时配准三维点云模型的要求。

发明内容

为克服现有点云配准算法存在的不足，本发明提出一种基于深度学习的点云配准方法，通过堆叠卷积自动编码器网络提取点云的特征，并利用配准网络从提取到的特征中计算出点云配准的参数，旨在提高点云配准算法的计算速度和适应性。

为此目的，本发明提出了一种基于深度学习的点云配准方法，包括以下步骤：

第一步：获取训练点云和测试点云的深度图像。对于一片有限大小的点云，计算点云在观测方向上的深度图像；

第二步：训练堆叠卷积自动编码器网络，使之能够从训练点云的深度图像中提取深度图像的特征；

第三步：训练配准网络，使之能够利用堆叠卷积自动编码器网络提取的两片训练点云的深度图像的特征计算两片训练点云之间的配准参数；

第四步：精调堆叠卷积自动编码器网络和配准网络的网络参数，使之得到更好的配准效果；

第五步：利用训练好的堆叠卷积自动编码器网络和配准网络，计算两片测试点云之间的配准参数。

优选的，所述的堆叠卷积自动编码器网络是一种深度学习的神经网络结构。它由卷积自动编码器堆叠而成，即将上一层卷积自动编码器的隐含层作为下一层卷积自动编码器的输入。卷积自动编码器，是一种采用卷积核的自动编码器，利用不同的卷积核进行卷积操作提取深度图像的不同特征。本发明在实现堆叠卷积自动编码器网络的过程中对隐层编码施加稀疏限制，使得其对输入的编码更具表现力。

优选的，所述的配准网络是多层全连接的神经网络。配准网络的输入是堆叠卷积自动编码器网络提取的两片点云的深度图像的特征，输出是两片点云之间的配准参数。

优选的，所述的训练是指优化堆叠卷积自动编码器网络或配准网络的网络参数，使之能够完成相应的任务。

优选的，所述的精调是指同时优化堆叠卷积自动编码器网络和配准网络的网络参数，使之得到更好的配准效果。

优选的，所述的配准参数是指对点云进行配准所用到的参数。包括但不限于在空间某方向上的旋转角度和在空间某方向上的平移距离。

优选的，利用堆叠卷积自动编码器网络提取点云的特征，并利用配准网络从提取到的特征中计算出点云配准的参数。

有益效果：与现有方法相比，本方法利用深度学习方法提取点云的特征并利用提取到的特征进行点云的配准，其优点在于算法的适应性强，对噪声点和异常点不敏感，算法的实现较为简单，且算法的计算速度快，能尽可能满足实时配准三维点云模型的要求。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明实施例提供的基于深度学习的点云配准方法的流程示意图；

图2为本发明实施例提供的配准网络结构示意图。

具体实施方式

下面将结合附图对本发明的实施例进行详细描述。

如图1所示，本发明实施例提供了一种基于深度学习的点云配准方法，包括以下步骤：

第一步：对于一片有限大小的点云，计算点云在观测方向上的深度图像，其中深度图像上点的灰度表示该点距观测点的距离，灰度越深表示距观测点越远，灰度越浅表示距观测点越近。具体的距离与灰度的映射公式可以依据实验条件具体确定。

第二步：训练堆叠卷积自动编码器提取深度图像的特征。堆叠卷积自动编码器是一种深度学习的神经网络结构。它由卷积自动编码器堆叠而成。卷积自动编码器利用不同的卷积核提取深度图像的不同特征。在卷积自动编码器中二维隐层h中第i，j个元素为：

$h_{i,j}=f(\underset{r,c=0}{\overset{L_w}{\Σ}}{W}_{r,c}^{i,j}{x}_{r,c}^{i,j}+b^{i,j})---\left(1\right)$

其中x为二维输入矩阵，L_w为深度图像的长宽。

对于自动编码器，训练的目标是获得最小化误差函数的参数W，b₁，b₂：

$\{W,b_1,b_2\}=\underset{w,b_1,b_2}{\arg \max }\underset{m=1}{\overset{M}{\Σ}}\left|\right|f\left(W^T\left(f\left({\mathrm{Wx}}_m+b_1\right)\right)+b_2\right)-x_m\left)\right|{|}_2^2---\left(2\right)$

其中f为激活函数，通常选择Sigmoid函数，即：

$f\left(a\right)=\frac{1}{1+e^{-a}}---\left(3\right)$

本发明在实现过程中对隐层编码施加稀疏限制，使得其对输入的编码更具表现力，即训练目标为：

$\{W,b_1,b_2\}=\underset{w,b_1,b_2}{\arg \max }\underset{m=1}{\overset{M}{\Σ}}\left|\right|f\left(W^T\right(f\left({\mathrm{Wx}}_m+b_1\right))+b_2)-x_m|{|}_2^2+\mathrm{\β}\underset{j=1}{\overset{D}{\Σ}}KL\left(\mathrm{\ρ}\right|\left|\widehat{{\mathrm{\ρ}}_J}\right)---\left(4\right)$

其中KL为Kullback-Leibler散度，其定义为：

$KL\left(\mathrm{\ρ}\right|\left|\widehat{{\mathrm{\ρ}}_J}\right)=\mathrm{\ρ}\log \frac{\mathrm{\ρ}}{\widehat{{\mathrm{\ρ}}_J}}+(1-\mathrm{\ρ})\log \frac{1-\mathrm{\ρ}}{1-\widehat{{\mathrm{\ρ}}_J}}---\left(5\right)$

其中为隐层节点的平均值，即：

$\widehat{{\mathrm{\ρ}}_J}=\frac{1}{M}\underset{m=1}{\overset{M}{\Σ}}{h}_m\left(j\right)---\left(6\right)$

ρ为一个充分小的数。

本发明对自动编码器进行堆叠，即使用上一层自动编码器的隐层作为下一层自动编码器的输入，通过多层自动编码器更好地提取深度图像的特征。

第三步：如图2所示，训练配准网络利用堆叠卷积自动编码器得到的两片点云的特征来计算点云的旋转参数。其中用到的配准网络，是多层全连接的网络：

{α，β，γ}＝MLP_θ(x₁，x₂) (7)

网络以两片点云提取到的特征作为输入，输出三个方向的旋转角度。实际应用中，可另其不仅输出三个方向的旋转角度，同时输出三个方向的相对位移。

通过配准网络的输出与真实配准参数计算均方误差，得到配准网络的训练信号，以此训练配准网络的参数θ。

第四步：精调堆叠卷积自动编码器和配准网络的参数，使之得到更好的配准效果。利用配准的误差信号，同时优化堆叠卷积自动编码器和配准网络的参数，使之能更好的配合，减小配准的误差。

第五步：利用训练好的堆叠卷积自动编码器网络和配准网络，计算两片点云之间的配准参数。先通过堆叠卷积自动编码器网络计算两片点云的深度图像的特征，再通过配准网络得到两片点云的配准参数。在此过程中不对网络的参数进行优化调整。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (7)

1.一种基于深度学习的点云配准方法，其特征在于，包括以下步骤：

第一步：获取训练点云和测试点云的深度图像；对于一片有限大小的点云，计算点云在观测方向上的深度图像；

第二步：训练堆叠卷积自动编码器网络，使之能够从训练点云的深度图像中提取深度图像的特征；

第三步：训练配准网络，使之能够利用堆叠卷积自动编码器网络提取的两片训练点云的深度图像的特征计算两片训练点云之间的配准参数；

第四步：精调堆叠卷积自动编码器网络和配准网络的网络参数，使之得到更好的配准效果；

第五步：利用训练好的堆叠卷积自动编码器网络和配准网络，计算两片测试点云之间的配准参数。

2.根据权利要求1所述的基于深度学习的点云配准方法，其特征在于，所述的堆叠卷积自动编码器网络是一种深度学习的神经网络结构；它由卷积自动编码器堆叠而成，即将上一层卷积自动编码器的隐含层作为下一层卷积自动编码器的输入；卷积自动编码器，是一种采用卷积核的自动编码器，利用不同的卷积核进行卷积操作提取深度图像的不同特征；本发明在实现堆叠卷积自动编码器网络的过程中对隐层编码施加稀疏限制，使得其对输入的编码更具表现力。

3.根据权利要求1所述的基于深度学习的点云配准方法，其特征在于，所述的配准网络是多层全连接的神经网络；配准网络的输入是堆叠卷积自动编码器网络提取的两片点云的深度图像的特征，输出是两片点云之间的配准参数。

4.根据权利要求1所述的基于深度学习的点云配准方法，其特征在于，所述的训练是指优化堆叠卷积自动编码器网络或配准网络的网络参数，使之能够从训练点云的深度图像中提取深度图像的特征或计算两片训练点云之间的配准参数。

5.根据权利要求1所述的基于深度学习的点云配准方法，其特征在于，所述的精调是指同时优化堆叠卷积自动编码器网络和配准网络的网络参数，使之得到更好的配准效果。

6.根据权利要求1所述的基于深度学习的点云配准方法，其特征在于，所述的配准参数是指对点云进行配准所用到的参数；包括但不限于在空间某方向上的旋转角度和在空间某方向上的平移距离。

7.根据权利要求1所述的基于深度学习的点云配准方法，其特征在于，利用堆叠卷积自动编码器网络提取点云的特征，并利用配准网络从提取到的特征中计算出点云配准的参数。