CN110322492B - 一种基于全局优化的空间三维点云配准方法 - Google Patents

Abstract

本发明涉及一种基于全局优化的空间目标三维点云配准方法，首先是提取点云数据的FPFH特征描述符，通过特征相似性来查询对应点集，其中加入两种约束规则来去除错误对应点，对应点集建立以后，不再迭代更新；建立基础目标函数，并进行改进得到易于优化的目标函数；利用已建立的对应点集目标函数进行迭代的交替优化过程，当满足迭代终止条件时，得到最终的配准结果。本发明采用全局优化的方法，不涉及到迭代采样、模型拟合、以及局部精细化，并且对含有噪声数据具有鲁棒性。

Description

一种基于全局优化的空间三维点云配准方法

技术领域

本发明属于计算机视觉领域，涉及一种基于全局优化的空间三维点云配准方法，可用于各类军事或民用的多视角三维点云配准系统中。

背景技术

二十世纪以来，伴随着航天科学技术水平的不断提高和对空间资源利用的需求，许多国家都相继展开了探索研究。以往的二维图像数据已经不能满足空间态势观测，开始利用空间目标的三维模型进行情报分析。现在无论是通过三维重构还是设备获取的单一空间目标三维模型无法展现完整的目标轮廓结构，这时需要对多个三维模型进行三维点云配准融合，从而获得空间目标的整体三维结构。

三维点云配准技术是三维景物建模所主要依靠的技术基础。三维点云配准技术目前广泛应用于激光成像雷达信息处理、逆向复原工程、机器人、文物保护、虚拟/增强现实等众多领域。三维点云配准又称为三维点云对齐或注册、数据配准等，其功能是将从不同视角下三维重构得到或采集到的实物的部分三维点云进行拼接，得到一个统一坐标系下的、完整实物的三维点云。在对实物进行数据采集时，许多因素决定了无法通过单个测量设备一次完成整个实物的数据采集，尤其是采集复杂形面时存在投影盲点或视觉死区，采集大型零件的数据时受采集范围限制，也需要进行多次、分块地数据采集。因此，为完成整个实物的数据采集，常把实物表面分成多个局部相互重叠的子区域。这样从不同角度分别进行数据采集，得到多个既独立、又部分重叠的部分三维点云。将每一部分的三维点云看作是一个刚体，则三维点云配准问题可归结为三维刚体的坐标变换问题，即根据一些预先指定的最佳匹配规则，通过坐标变换把部分重叠的三维点云配准

通常会采用结合基于采样的粗配准和迭代局部精配准算法来进行完整的配准,一般粗配准也称为初始配准，是针对任意初始位姿的多个三维点云进行配准，使这些三维点云相对位姿更加相邻，而精切配准则是在粗配准结果的基础上进行进一步局部精细配准，从而获得精确的结果。但是这种通用框架会有明显的缺点，不论粗配准和还是局部精配准都要在循环中花费大量时间计算最近点查询,还要花费许多精力与时间去验证不精确的配准。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于全局优化的空间三维点云配准方法，基于空间三维点云配准框架中采用分段式配准，利用粗配准获得三维点云的初始位姿，之后采用局部精配准来得到更加精细的配准结果，这种基于迭代采样的配准框架要耗费较多时间、精力，并且对含有噪声的数据鲁棒性较差，本发明提出基于全局优化的三维点云配准框架。不涉及到迭代采样、模型拟合、以及局部精细化，也不需要初始条件就能配准带有噪声的局部重叠三维点云。而且该算法还能扩展到多个三维表面点云的配准。

技术方案

一种基于全局优化的空间三维点云配准方法，其特征在于步骤如下：

步骤1：采用空间三维点云数据P、Q分别计算空间点云数据的点特征直方图FPFH特征描述子，得到F(P)＝{F(p),p∈P}，F(Q)＝{F(q),q∈Q}分别表示P、Q的FPFH特征，其中p表示空间三维点云数据P中的空间点，q表示空间三维点云数据Q中的空间点；

步骤2：对于空间三维点云数据P中的每一点p_i，查询空间三维点云数据Q中与该点FPFH特征最为相似的点q_j，得到了空间三维点云数据P与Q的对应点集K；

在查询对应关系的过程中会加入错误的查询点对，设置约束规则来剔除错误的匹配关系，约束规则如下：

(a)对于空间三维点云数据P中的每一点p_i，q_j是空间三维点云数据Q与该点FPFH特征最为相似的点，同时要满足对于空间三维点云数据Q中的每一点q_j，p_i是空间三维点云数据Q与该点FPFH特征最为相似的点；

(b)根据刚性变换下同一点云内点间距不变原理，任意两对对应点(p_i,q_i)，(p_j,q_j)要满足以下条件：

其中，τ设为0.8～0.9之间，n(*)表示法线，θ(*)表示法线之间的夹角，δ取值范围为2°～5°；

步骤3：采用稳健目标函数对于对应点集K进行迭代优化，过程如下：

基于Black-Rangarajan二元性得到最终的目标函数：

其中T＝(R,t)表示空间三维点云数据P和空间三维点云数据Q之间的变换关系矩阵，p表示空间三维点云数据P中的点，q表示空间三维点云数据Q中的点，L＝{l_p,q}表示对应集的线性过程，Ψ(l_p,q)为先验信息表示为：

μ为参数；

对于已经得到的目标函数采用交替算法进行优化T和L，优化T时，固定住L来执行块坐标下降，相反，优化L时，固定住T来执行块坐标下降；

优化结束，最终得到了空间三维点云数据Q到空间三维点云数据P的变换关系矩阵T；

步骤4：以变换矩阵T，对空间三维点云数据Q进行空间坐标变换，最终得到了与空间三维点云数据P配准后的空间三维点云数据Q。

所述交替算法进行优化T和L为：首先将L固定，此时目标函数变为了对应点对距离的L²范数的加权和；将变换矩阵T局部线性化为6维向量ξ＝(ω,t)＝(α,β,γ,a,b,c)，这个向量包含了旋转分量ω以及平移分量t，α,β,γ是旋转分量ω的三个元素，a,b,c是平移分量t的三个元素；T通过ξ的线性函数来近似；当前迭代结束后μ缩小一半，直到目标函数收敛到最小或者μ达到阈值，则迭代优化结束，最终得到了空间三维点云数据Q到空间三维点云数据P的变换关系矩阵T。

有益效果

本发明提出的一种基于全局优化的空间三维点云配准方法，首先是提取点云数据的FPFH特征描述符，通过特征相似性来查询对应点集，其中加入两种约束规则来去除错误对应点，对应点集建立以后，不再迭代更新；建立基础目标函数，并进行改进得到易于优化的目标函数；利用已建立的对应点集目标函数进行迭代的交替优化过程，当满足迭代终止条件时，得到最终的配准结果。本发明采用全局优化的方法，不涉及到迭代采样、模型拟合、以及局部精细化，并且对含有噪声数据具有鲁棒性。

本发明充分利用了高分辨序列图像及空间目标光学图像特性，可带来如下效果：

通过提取FPFH特征，对三维点云进行特征相似点进行的查询，并且加入约束规则来剔除错误的对应关系，可以建立不受噪声影响的对应点集。

通过对目标函数加入约束项可以得到更加容易优化的目标函数。

通过采用将变换矩阵进行线性化的方法，使优化过程可以应用于多点云配准过程，优化过程采用迭代交替的优化方法。

附图说明

图1：本发明系统具体实施方式总体设计

图2：本发明原始三维点云数据

图3：本发明配准后的结果

具体实施方式

现结合实施例、附图对本发明作进一步描述：

一种基于全局优化的空间三维点云配准方法，包括如下步骤：

步骤1：根据空间三维点云数据P、Q分别计算点云数据点特征直方图(FPFH)特征描述子。计算点云集P和点云集Q的特征，这里选择了计算效率高，并且稳定性较高的FPFH特征，这种特征称为点特征直方图，是一种点局部集合属性的特征描述符，得到F(P)＝{F(p),p∈P}，F(Q)＝{F(q),p∈Q}分别表示P、Q的FPFH特征。

步骤2：利用步骤1已经计算得到的FPFH特征，查询空间点云数据具有对应关系的点对。对于空间三维点云数据P中的每一点p_i，查询空间三维点云数据Q与该点FPFH特征最为相似的点q_j，得到了空间三维点云数据P与Q的对应点集K。在查询对应关系的过程中会加入错误的查询点对，设置约束规则来剔除错误的匹配关系。约束规则如下：

(a)对于空间三维点云数据P中的每一点p_i，q_j是空间三维点云数据Q与该点FPFH特征最为相似的点，同时要满足对于空间三维点云数据Q中的每一点q_j，p_i是空间三维点云数据Q与该点FPFH特征最为相似的点。

(b)根据刚性变换下同一点云内点间距不变原理，任意两对对应点(p_i,q_i)，(p_j,q_j)要满足以下条件

其中阈值τ＝0.9，n(*)表示法线，θ(*)表示法线之间的夹角。根据该约束规则，可以首先查找特征匹配的点，之后利用点间距不变原理来剔除错误的点对应关系，从而得到最终的对应点集K。

对于多个三维点云集{P₁,P₂,P₃,…}，分别计算任意两个点云间的对应点集。

经过步骤2，得到了本发明的点云集的基于对应关系点集。

步骤3：通过步骤2得到的点对集，采用稳健目标函数进行迭代优化。首先是建立基础的目标函数如式：

其中T＝(R,t)表示空间三维点云数据P和空间三维点云数据Q之间的变换关系矩阵，p表示空间三维点云数据P中的点，q表示空间三维点云数据Q中的点，ρ(*)表示惩罚因子，可通过公式计算

其中μ是约束参数，基础的目标函数无法高效的进行优化，在基础的目标函数中使用在稳健估计和线性过程之间的Black-Rangarajan二元性来得到最终的目标函数，具体表示为：

其中L＝{l_p,q}表示对应集的线性过程，Ψ(l_p,q)为先验信息表示为：

迭代的交替优化过程就是使目标函数最小化。对于目标函数可以交替进行优化T和L提高效率。方法为优化T时，固定住L来执行块坐标下降，相反，优化L时，固定住T来执行块坐标下降。由于两个步骤都优化了相同的目标，所以交替算法可以保证收敛。

首先将L固定，此时目标函数变为了对应点对距离的L²范数的加权和。常规的优化方法无法应用于多个点云配准，于是采用了一种新颖的方法，将变换T局部线性化为6维向量ξ＝(ω,t)＝(α,β,γ,a,b,c)，这个向量包含了旋转分量ω以及平移分量t。T可以通过ξ的线性函数来近似：

上式中，α,β,γ是旋转分量ω的三个元素，a,b,c是平移分量t的三个元素，T^k是上次迭代计算的变换，目标函数转换为基于ξ的最小二乘函数。使用Gauss-Newton法，可计算出ξ。

其中r表示残差向量，J_r是Jacobian，算出T后并固定，计算l_p,q，当满足以下公式时，目标函数达到最小化。

当前迭代结束后μ缩小一半，直到目标函数收敛到最小或者μ达到阈值，则迭代优化结束，最终得到了空间三维点云数据Q到空间三维点云数据P的变换关系矩阵T。

另外，该算法采用了渐进非凸式优化算法。目标是非凸的且形状受到参数μ的控制。大的μ值是目标函数更加平滑且能包容较多的匹配点。通过不断的减小μ值来达到全局优化效果。

这种渐进式优化是一种全局优化技术，它试图通过初步求解一个大大简化的问题来解决一个困难的优化问题，并逐步改变这个问题(同时优化)，直到它相当于困难的优化问题。

渐进式优化是对爬山算法的一种改进，使登山者能够避免陷入局部最优。它将一个困难的优化问题分解为一系列优化问题，这样序列中的第一个问题是凸的(或者接近凸的)，每个问题的解决方案为序列中的下一个问题提供了一个良好的起点，而最后一个问题序列中的问题是它最终寻求解决的困难优化问题。通常，渐进式优化会比简单的爬山带来更好的结果。此外，当某些条件存在时，可以显示找到序列中最终问题的最佳解决方案。这些条件是：

(a)给定初始起点，可以解决序列中的第一个优化问题。

(b)序列中每个问题全局最优值周围的局部凸区域包括与序列中前一个问题的全局最优值对应的点。

可以归纳地表明，如果这些条件得到满足，那么登山者将在难度问题上达到全球最佳状态。不幸的是，要找到满足这些条件的一系列优化问题可能很困难。通常，即使在一系列问题无法证明严格符合所有这些条件的情况下，分级优化仍会产生良好的结果。

最后，得到了空间三维点云数据Q到P的变换关系矩阵，通过对空间三维点云数据Q进行变换可以得到最终的配准的结果。

具体实施例：

本实施方式选取硬件环境：2GHz 2*E5 CPU，128G内存，12G显存计算机；

操作系统包括Windows10,系统。

本发明总体方案设计如图1所示，具体实施如下：

步骤1：根据已获取的空间三维点云数据P、Q分别计算FPFH特征描述子。这里数据是通过序列图像三维重构得到的空间点云数据。计算点云集P和点云集Q的特征，这里选择计算效率高，并且稳定性较高的FPFH特征，这种特征称为点特征直方图，是一种点局部集合属性的特征描述符，得到，分别表示P、Q的FPFH特征，其中法线搜索半径和特征搜索半径均为0.03m。

步骤2：利用步骤1已经计算得到的FPFH特征，查询具有对应关系的点对。对于点云P中的每一点，查询空间三维点云数据Q与该点FPFH特征最为相似的点，得到了空间三维点云数据P与Q的对应点集K。在查询对应关系的过程中会加入错误的查询点对，设置约束规则来剔除错误的匹配关系。约束规则如下：

(a)对于空间三维点云数据P中的每一点，是空间三维点云数据Q与该点FPFH特征最为相似的点，同时要满足对于空间三维点云数据Q中的每一点，是空间三维点云数据Q与该点FPFH特征最为相似的点。

(b)根据刚性变换下同一点云内点间距不变原理，任意两对对应点对，要满足以下条件

其中阈值＝0.9，n(*)表示法线，θ(*)表示法线之间的夹角。根据该约束规则，可以首先查找特征匹配的点，之后利用点间距不变原理来剔除错误的点对应关系，从而得到最终的对应点集K，该对应点集具有较好的鲁棒性，并且对应点只进行一次查询，后面的迭代优化中不会再重新进行查询，相比于通常的配准算法提高了效率。

经过步骤2，得到了本发明的点云集的基于对应关系点集。

步骤3：通过步骤2得到的点对集，采用稳健目标函数进行迭代优化。首先是建立基础的目标函数如式：

其中表示空间三维点云数据P和空间三维点云数据Q之间的变换关系矩阵，表示空间三维点云数据P中的点，表示空间三维点云数据Q中的点，表示惩罚因子，可通过公式计算

其中是约束参数，基础的目标函数无法高效的进行优化，在基础的目标函数中使用在稳健估计和线性过程之间的Black-Rangarajan二元性来得到最终的目标函数，具体表示为：

其中表示对应点集的线性过程，为先验信息表示为：

要是目标函数最小化，利用公式(4)分别对不同的求偏导并令其为零求得

求得如式

求出的代入公式(11)，则目标函数与基础目标函数相同。

迭代的交替优化过程就是使目标函数最小化。对于目标函数可以交替进行优化T和L提高效率。方法为优化T时，固定住L来执行块坐标下降，相反，优化L时，固定住T来执行块坐标下降。由于两个步骤都优化了相同的目标，所以交替算法可以保证收敛。

给初始的T赋值单位矩阵I，将L固定，此时目标函数变为了对应点对距离的范数的加权和。常规的优化方法无法应用于多个点云配准，于是采用了一种新颖的方法，将变换T局部线性化为6维向量，这个向量包含了旋转分量以及平移分量t。T可以通过的线性函数来近似：

上式中，是旋转分量的三个元素，是平移分量t的三个元素，是上次迭代计算的变换，目标函数转换为基于的最小二乘函数。使用Gauss-Newton法，可计算出。

其中r表示残差向量，是Jacobian，算出T后并固定，利用公式(14)计算。当前迭代结束后缩小一半，直到目标函数收敛到最小或者达到阈值，则迭代优化结束，最终得到了空间三维点云数据Q到空间三维点云数据P的变换关系矩阵T。

另外，该算法采用了渐进非凸式优化算法。目标是非凸的且形状受到参数的控制。大的值是目标函数更加平滑且能包容较多的匹配点。通过不断的减小值来达到全局优化效果。

这种渐进式优化是一种全局优化技术，它试图通过初步求解一个大大简化的问题来解决一个困难的优化问题，并逐步改变这个问题(同时优化)，直到它相当于原先困难的优化问题。

渐进式优化是对爬山算法的一种改进，使登山者能够避免陷入局部最优。它将一个困难的优化问题分解为一系列优化问题，这样序列中的第一个问题是凸的(或者接近凸的)，每个问题的解决方案为序列中的下一个问题提供了一个良好的起点，而最后一个问题序列中的问题是它最终寻求解决的困难优化问题。通常，渐进式优化会比简单的爬山带来更好的结果。此外，当某些条件存在时，可以显示找到序列中最终问题的最佳解决方案。这些条件是：

(a)给定初始起点，可以解决序列中的第一个优化问题。

(b)序列中每个问题全局最优值周围的局部凸区域包括与序列中前一个问题的全局最优值对应的点。

可以归纳地表明，如果这些条件得到满足，那么登山者将在难度问题上达到全局最优状态。要找到满足这些条件的一系列优化问题可能很困难。通常，即使在一系列问题无法证明严格符合所有这些条件的情况下，分级优化仍会产生良好的结果。

最后，得到了空间三维点云数据Q到P的变换关系矩阵，通过对空间三维点云数据Q进行变换可以得到最终的配准的结果。

Claims (2)

1.一种基于全局优化的空间三维点云配准方法，其特征在于步骤如下：

步骤1：采用空间三维点云数据P、Q分别计算空间点云数据的点特征直方图FPFH特征描述子，得到F(P)＝{F(p),p∈P}，F(Q)＝{F(q),q∈Q}分别表示P、Q的FPFH特征，其中p表示空间三维点云数据P中的空间点，q表示空间三维点云数据Q中的空间点；

步骤2：对于空间三维点云数据P中的每一点p_i，查询空间三维点云数据Q中与该点FPFH特征最为相似的点q_j，得到了空间三维点云数据P与Q的对应点集K；

在查询对应关系的过程中会加入错误的查询点对，设置约束规则来剔除错误的匹配关系，约束规则如下：

(a)对于空间三维点云数据P中的每一点p_i，q_j是空间三维点云数据Q与该点FPFH特征最为相似的点，同时要满足对于空间三维点云数据Q中的每一点q_j，p_i是空间三维点云数据Q与该点FPFH特征最为相似的点；

(b)根据刚性变换下同一点云内点间距不变原理，任意两对对应点(p_i,q_i)，(p_j,q_j)要满足以下条件：

其中，τ设为0.8～0.9之间，n(*)表示法线，θ(*)表示法线之间的夹角，δ取值范围为2°～5°；

步骤3：采用稳健目标函数对于对应点集K进行迭代优化，过程如下：

基于Black-Rangarajan二元性得到最终的目标函数：

其中T＝(R,t)表示空间三维点云数据P和空间三维点云数据Q之间的变换关系矩阵，p表示空间三维点云数据P中的点，q表示空间三维点云数据Q中的点，L＝{l_p,q}表示对应集的线性过程，Ψ(l_p,q)为先验信息表示为：

μ为参数；

对于已经得到的目标函数采用交替算法进行优化T和L，优化T时，固定住L来执行块坐标下降，相反，优化L时，固定住T来执行块坐标下降；

优化结束，最终得到了空间三维点云数据Q到空间三维点云数据P的变换关系矩阵T；

步骤4：以变换矩阵T，对空间三维点云数据Q进行空间坐标变换，最终得到了与空间三维点云数据P配准后的空间三维点云数据Q。

2.根据权利要求1所述基于全局优化的空间三维点云配准方法，其特征在于：所述交替算法进行优化T和L为：首先将L固定，此时目标函数变为了对应点对距离的L²范数的加权和；将变换矩阵T局部线性化为6维向量

ξ＝(ω,t)＝(α,β,γ,a,b,c)，

这个向量包含了旋转分量ω以及平移分量t，α,β,γ是旋转分量ω的三个元素，a,b,c是平移分量t的三个元素；T通过ξ的线性函数来近似；当前迭代结束后μ缩小一半，直到目标函数收敛到最小或者μ达到阈值，则迭代优化结束，最终得到了空间三维点云数据Q到空间三维点云数据P的变换关系矩阵T。

Images