CN116758126A - 一种基于相似三角形的误匹配剔除的快速点云配准方法 - Google Patents

Abstract

本发明提供了一种基于相似三角形的误匹配剔除的快速点云配准方法，属于计算机视觉、三维重建技术领域。解决了点云特征误匹配率过高及点云数据中混合变化所导致的误匹配的技术问题。其技术方案为：首先使用SIFT算法对点云进行特征提取，获得局部关键特征点，然后使用改进法向量计算方法结合FPFH算法来处理局部关键特征点，得到更准确的点云特征描述子，接着对两块点云的特征描述子进行匹配从而获得初始匹配对，使用误匹配剔除方法对初始匹配进行过滤获得精确匹配，并计算变换矩阵，最后使用迭代最近点ICP算法进行精配准，使两块点云的配准误差达到最小。本发明的有益效果为：提高配准精度和配准速度。

Description

一种基于相似三角形的误匹配剔除的快速点云配准方法

技术领域

本发明涉及技术领域，尤其涉及一种基于相似三角形的误匹配剔除的快速点云配准方法。

背景技术

三维点云配准技术是三维重建中的一个重要步骤，也是后续点云表面重建的基础。由于采集设备的分辨率、设备的噪声和被测对象的表面状况的影响，采集到的点云数据只包含部分信息。为了获得三维物体表面的完整信息，必须通过点云配准将从不同角度采集到的点云数据转换到统一的坐标系下。

目前，点云配准方法可分为两类:一类是基于优化的配准方法，另一类是基于点云特征的配准方法。基于优化的方法如Besl和Chen等提出的迭代最近点算法，以最近的点作为对应点，迭代优化变换参数，直到精度满足要求。但该算法需要一个初始配准结果，否则容易陷入局部最优，所以获取优秀的初始配准结果是本发明首先要解决的任务。如Bouaziz提出的基于特征的方法不直接搜索相应的点。该方法分别从目标点云和源点云中提取特征点，并用其他方法对这些特征点进行描述。通过匹配目标点云和源点云的点云描述子来估计变换矩阵。由此可见配准结果将由特征点的选择及其描述子的计算方法所决定。此类方法虽然能够有效地匹配具有相似特征的点对，然而，在初始匹配中也有很大一部分的异常值，从而影响了配准的准确性。

另外，一些学者等人提出的FGR通过添加成对约束去除异常值，改善了此类方法的局限性。随机抽样RANSAC算法及其变体使用一种随机样本一致性策略，通过迭代地从点云中采样一组匹配对，并使用匹配对来找到一个最优转换，从而去除异常值。虽然他们在处理异常值时能力有所提升，但由于现实世界的点云广泛出现的各种变化的混合，该方法仍面临在极端异常值条件下的挑战，所以克服现实世界点云数据中混合变化所导致的误匹配问题也是本发明所要解决的。

发明内容

本发明的目的在于提供一种基于相似三角形的误匹配剔除的快速点云配准方法，本发明着重解决目前点云特征误匹配率过高的技术问题，同时提出基于相似三角形的约束来去除异常值，改善了此类方法的局限性；本发明首先使用SIFT算法对点云进行特征提取，获得局部关键特征点，然后使用改进法向量计算方法结合FPFH算法来处理局部关键特征点，得到更准确的点云特征描述子，接着对两块点云的特征描述子进行匹配从而获得初始匹配对，同时使用本发明提出的误匹配剔除方法对初始匹配进行过滤获得精确匹配，并计算变换矩阵，从而获得粗配准结果，最后使用迭代最近点ICP算法进行精配准，使两块点云的配准误差达到最小。

为了实现上述发明目的，本发明采用技术方案具体为：一种基于相似三角形的误匹配剔除的快速点云配准方法，包含以下步骤：

步骤一、使用带有拓扑关系的二叉树KD-tree结构存储激光扫描仪从两个角度扫描得到的源点云P和目标点云Q。

本发明中，首先使用激光扫描仪对物体进行两视角扫描，获取到的两个视角的点云分别为源点云P以及目标点云Q，然后使用带有拓扑关系的二叉树KD-tree结构存储这两片点云。

步骤二、使用尺度不变特征转换SIFT算法提取源点云P和目标点云Q中富有特征信息的关键点云。

通过步骤一中的处理，得到了源点云P和目标点云Q，此时的点云数据量巨大，如果不对点云进行处理，会导致计算效率非常低，同时由于传统的点云简化算法容易造成点云特征数据的丢失，所以本发明采用SIFT特征点提取点云简化算法，既大大降低了点云的数量，又保留了关键点云，经过对比试验本方法配准速度大大提高，采用SIFT特征点提取点云简化算法的步骤如下：

(1)构造尺度空间；构造一个尺度空间来寻找位置不变量点；使用对图像进行模糊下采样的高斯金字塔来表示尺度空间；三维点云的尺度空间表示为一个变化的高斯核函数与点云坐标的卷积，如下式(1)所示：

其中，L(x,y,z,σ)为点云尺度空间，G(x,y,z,σ)为高斯卷积核函数，I(x,y,z)为点云的坐标，x,y,z分别为点云的三维坐标，σ代表高斯卷积尺度因子，代表卷积操作。

同时可得三维的高斯卷积核函数如下式(2)所示

exp代表以自然常数e为底的指数函数；

(2)检测极值点；将乘因子k设置为不同尺度，得到点云的高斯金字塔；在实际计算过程中，减去高斯金字塔中两层相似的点云，形成点云的高斯差分图，进行极值检测；

设每个金字塔群的内层数为s，则设置ks＝2；构造高斯差尺度函数：DoG，检测稳定性极值；如下式(3)所示

D(x,y,z,kⁱσ)＝L(x,y,z,kⁱ⁺¹σ)-L(x,y,z,kⁱσ) (3)

其中，i∈[0,s+2]；将当前像素点与邻域点进行比较，确定其在周边区域是否是极值；如果该点是极值，那么这一点就是关键点，如果不是极值，则验证该点外的其他点；

(3)确定主方向；通过尺度不变性即在包含了所有尺度的尺度空间下都能找到那些稳定的极值点从而来确定关键点，使其具有可伸缩的不变性；为了满足关键点的旋转不变性，需要通过步骤(1)所得的关键点邻域内点的方向和梯度特征来确定关键点的主方向；设L^x,L^y,L^z的公式为下式(4)

得领域点方向以及梯度特征的计算公式，如下式(5)所示

式中，m(x,y,z)为关键点邻域窗口内振幅，θ(x,y,z)为方向角，为俯仰角；

方向和梯度特征计算完成后，利用梯度直方图统计方法计算某一区域邻域点像素的方向和梯度，确定关键点的主方向；

将0°到360°的方向范围分为8个部分，构建8列梯度直方图；直方图峰值是关键点邻域的梯度方向；直方图中的最大值作为关键点的主方向，大于主方向峰值80％的方向作为辅助方向；经此提取的关键点即是SIFT算法提取的特征点。

步骤三、计算关键点云的法向量以及快速点特征直方图：

在先前的步骤二中，获得了关键点云，之后将计算关键点云的法向量，法向量是点云的重要几何特性，通常，法向量与立体空间局部曲面的切平面的法向量重合，由于点云是一种不规则的离散数据方法，本发明利用主成分分析方法将局部点云空间视为光滑表面，并且利用最小二乘原理拟合局部表面的最佳切平面，最后，将切平面的法向量定义为采样点的法向量，其步骤如下：

(1)确定领域点集；以每个采样点为中心，固定邻域r为半径，建立了一个局部球面邻域点集；

点云数据集P如下式(6)所示；

P＝{p_i＝(x_i,y_i,z_i)∈R³ i＝1,2,…,N} (6)

其中N为点云总个数；i为点的索引；

给出采样点P_i∈P，其固定邻域r中的点p^r如下式(7)所示；

其中，j为邻域点的索引，δ表示邻域大小，n表示邻域点总数；

(2)拟合最优平面；以邻域点集p作为样本数据，利用最小二乘原理来拟合局部最优空间切平面；

以最小化样本数据与目标平面的平方距离为约束条件，构建目标函数J(v,d)用以求解目标平面参数，如下式(8)所示；

其中v表示目标平面的法向量，d表示原点到目标平面的距离；n表示邻域点总数；

(3)求解法向量；利用多变量统计方法主成分分析法计算空间平面的法向量，将其作为采样点的法向量；上式的求解过程转化为由局部邻域点集组成的协方差矩阵C的特征值分解，如下式(9)所示；

其中，P为邻域点集重心，T表示转置操作，e表示矩阵C的特征值，λ表示该特征值所对应的特征向量，m＝1,2,3表示矩阵C的三个特征值，且λ₃≤λ₂≤λ₁，则最小特征值λ₃对应的特征向量e₃即为采样点P的法向量n估算值；

(4)计算FPFH特征；在得到点的法向量后，计算每个待计算点M_q与所有邻域点之间的相对关系，从而建立简化的点特征直方图SPFH表示为S(M_q)，根据计算得到的SPFH特征再计算出FPFH特征F(M_q)，如下式(10)所示：

ω_i表示在已知度量空间内，样本点与邻域点之间的距离。

步骤四、基于三角相似性剔除误匹配

由于噪声的存在，点云特征描述子的结果存在误差，因此在初始匹配时会造成大量误匹配，为了在初始匹配中过滤这些误匹配，为后续计算变换矩阵提供一个良好的匹配集。我们提出一个基于相似三角的误匹配过滤算法，其主要步骤如下：

(1)获取初始匹配集，通过步骤三我们分别获得源点云与目标点云的特征描述子，并对其进行匹配从而获得初始匹配集。

(2)构造三角关系，从初始匹配集中随机选取三个匹配对，同时可以获取这三个匹配对在源点云和目标点云中分别代表的三个点所生成的三角形。

(3)计算误差值，分别计算这两个三角形的周长以及面积，通过如下公式(11)求出其代表的误差值dist。

dist_i表示第i次选取的三个匹配对的误差值，分别表示第i次选取的三个匹配对在源点云和目标点云中代表的三角形的周长，/>分别表示第i次选取的三个匹配对在源点云和目标点云中代表的三角形的面积。

(4)获取粗配准结果，步骤(3)得出的误差值如果小于给出的阈值，则用这三个匹配计算变换矩阵并获得粗配准结果，否则重复进行步骤(2)(3)。

步骤五、基于迭代最近点ICP算法进行精配准

经过粗配准之后，缩小了源点云与目标点云的旋转平移误差，使得源点云和目标点云具有了较好的初始位置，然后在粗配准的基础上使用ICP算法对点云进行精配准，从而达到避免ICP算法对点云初始位置依赖的目的，同时提高配准精度，经过ICP精配准后的结果达到预定的收敛阈值，ICP算法步骤如下：

(1)从源点云P中搜索与目标点云Q中点q_i相应的最近点p_i，生成对应点对；

(2)通过对应点对，求出点云的变换关系R，t；

其中：R为3*3的旋转矩阵，t为平移向量；

(3)通过变换关系更新源点云P，得到p′＝Rp_i+t；其中：p′为变换之后的点；

(4)求出均方误差：

其中：d_m+1为第m+1次迭代后的均方误差，R_m+1，t_m+1分别为第m+1次迭代后的旋转矩阵以及平移向量；

(5)当d_m-d_m+1小于预定的阈值或者迭代次数达到设定的上限时停止迭代，否则继续迭代上述步骤(1)-(4)。

与现有技术相比，本发明的有益效果为：

(1)、本发明首先在特征提取部分做出改进，使用SIFT算法提取点云中的关键点，在处理小数量点云时，本发明可调低阈值来增加检测到的关键点数量，而传统方法检测到的关键点过少，容易丢失点云关键信息，在处理大数量点云时，传统方法检测到的关键点过多，进而影响计算效率，本发明可通过调高阈值来检测合适数量的关键点，提高计算效率。

(2)、本发明在点云法向量的计算上添加精细化操作，利用计算点有限邻域内的点来计算法向量，避免了重复计算法向量，大大降低时间开销，计算耗时只有传统方法的十分之一左右，同时结合FPFH算法来计算点云的特征描述子，获取到的点云特征描述子更为准确。

(3)、本发明提出的误匹配剔除方法利用了相似三角形的性质，能够克服现实世界点云数据中混合变化导致的误匹配问题，本发明在误匹配比例达到百分之八十以上时仍能快速配准，而其他方法容易配准失败亦或非常耗时。

(4)、本发明对于模型的细节部分配准效果更佳，精度更高，本发明未来可用于实时三维重建任务中，并且本发明可以处理低重叠度点云配准任务，可以降低数据获取时的开销。

(5)、本发明使用ICP算法进行精配准，在此步骤提高采样比例，虽然与传统方法耗时接近，但本发明配准误差只有传统方法的五分之一左右，通过实验证明，在传统方法配准失败的情况下本发明能够配准成功。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提供的一种基于相似三角形的误匹配剔除的快速点云配准方法的整体流程示意图。

图2为本发明中使用的数据集示意图。

图3为本发明提出的一种基于相似三角形的误匹配剔除的快速点云配准方法与其他方法对不同点云数据集配准的结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

参见图1与图3，本实施例提供其技术方案为：一种基于相似三角形的误匹配剔除的快速点云配准方法，对两视角采集到的点云数据，通过计算两视角的坐标变换矩阵从而将这两个点云变换到同一坐标系下完成配准的任务。本实施例中，实验在Ubuntu18.04上进行，使用到的库有PCL1.12。

数据集与评估方法：

为本实施例采用斯坦福大学点云库中的Bunny，Dragon和Armadillo以及3DMatch数据集中的office和sofa模型，Stanford数据集是三维图形的计算机图形测试模型(GTM)，以Bunny为例，Bunny的原始模型是一种粘土兔子，通过使用范围扫描技术(由乔治亚理工学院的Greg Turk和斯坦福大学的Marc Levoy开发)来收集粘土兔子上的数据，图1为Bunny数据集的三维表示。

以欧式距离总和评分作为配准误差评判指标，欧式距离总合表示精配准后源点云到最近目标点云对应点对的距离平方和，距离平方和越小说明说明配准重合度越好、配准精度也越高，并且把配准所用的时间进行比较，用来衡量配准的效率。

具体实施过程如下：

获取到点云数据后，先去除NaN点，NaN点表明测量传感器距离到该点的距离值是有问题的，可能是因为传感器太近或太远，或者因为表面反射，那么当存在无效点云的NaN值作为算法的输入的时候，可能会引起很多问题，这里直接使用PCL库中函数进行去除，然后在粗配准过程中首先采用SIFT算法并选择合适的阈值来计算点云的关键点，既提取到点云的有效信息又降低了点云的数量从而加快整个配准过程，其次，在计算法向量时对其进行精细化操作从而提升对噪声点的抗干扰能力，接着引入了点云的特征描述子FPFH算法，快速的匹配点云特征获得初始匹配对，但此时匹配对中仍存在误匹配，使用基于相似三角的误匹配剔除方法，获得精确匹配用来计算变换矩阵，并将所得到的变换矩阵作为精配准的初始输入，解决了传统ICP算法在点云配准时由于两个点云初始位置不佳易陷入局部最优解的问题。在精配准中，采用ICP算法对两个点云进行配准，同时提高算法采样比例，进而提升对于特征信息不明显的点云的配准精度，提高了算法的鲁棒性。

表1不同阈值下检测到的特征点数量

表1为SIFT算法在不同阈值下检测到的特征点数量，为了减少算法的运行时间，特征点的数量一般为几千个但考虑到特征点太少会影响配准精度，因此将阈值设为0.1。

表2配准精度/m

表3配准时间/s

由上述表2、表3分别为本实施例提出的方法与其他方法在不同数据集下进行实验得出的结果，可以看出本发明平均时间消耗小于其他方法。同时，本实施例具有较高的准确率和较小的配准误差；图3为本实施例提出的方法与其他方法对不同点云数据集配准的结果图。可以看出迭代最近点法由于初始位姿不理想而导致配准失败，而本实施例配准成功，并且相比于其他基于特征的方法，本实施例在细节部分的配准效果较好，如Bunny模型的耳部以及腿部。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于相似三角形的误匹配剔除的快速点云配准方法，其特征在于，包括以下步骤：

步骤一、使用带有拓扑关系的二叉树KD-tree结构存储激光扫描仪，从两个角度扫描得到的源点云P和目标点云Q；

步骤二、使用尺度不变特征转换SIFT算法提取源点云P和目标点云Q中富有特征信息的关键点云，通过步骤一的处理，得到源点云P和目标点云Q，此时的点云数据量大，采用SIFT特征点提取点云简化算法，降低点云的数量，保留关键点云；

步骤三、计算关键点云的法向量以及快速点特征直方图

在步骤二中，获得了关键点云，之后将计算关键点云的法向量，法向量与立体空间局部曲面的切平面的法向量重合，由于点云是一种不规则的离散数据方法，利用主成分分析方法将局部点云空间视为光滑表面，并且利用最小二乘法原理拟合局部表面的最佳切平面，将切平面的法向量定义为采样点的法向量；

步骤四、基于三角相似性剔除误匹配

由于噪声的存在，点云特征描述子的结果存在误差，因此在初始匹配时会造成大量误匹配，为了在初始匹配中过滤这些误匹配，为后续计算变换矩阵提供一个良好的匹配集，提出基于相似三角的误匹配过滤算法；

步骤五、基于迭代最近点ICP算法进行精配准

经过粗配准之后，缩小源点云与目标点云的旋转平移误差，使得源点云和目标点云具有较好的初始位置，然后在粗配准的基础上使用ICP算法对点云进行精配准，经过ICP精配准后的结果达到预定的收敛阈值。

2.根据权利要求1所述的一种基于相似三角形的误匹配剔除的快速点云配准方法，其特征在于，所述步骤一中，首先使用激光扫描仪对物体进行两视角扫描，获取到的两个视角的点云分别为源点云P以及目标点云Q，然后使用带有拓扑关系的二叉树KD-tree结构存储这两片点云。

3.根据权利要求1所述的一种基于相似三角形的误匹配剔除的快速点云配准方法，其特征在于，所述步骤二中，采用SIFT特征点提取点云简化算法的步骤如下：

(1)构造尺度空间；构造一个尺度空间来寻找位置不变量点；使用对图像进行模糊下采样的高斯金字塔来表示尺度空间；三维点云的尺度空间表示为一个变化的高斯核函数与点云坐标的卷积，如下式(1)所示：

其中，L(x,y,z,σ)为点云尺度空间，G(x,y,z,σ)为高斯卷积核函数，I(x,y,z)为点云的坐标，x,y,z分别为点云的三维坐标，σ代表高斯卷积尺度因子，代表卷积操作；

同时，得三维的高斯卷积核函数如下式(2)所示

exp代表以自然常数e为底的指数函数；

(2)检测极值点；将乘因子k设置为不同尺度，得到点云的高斯金字塔；在实际计算过程中，减去高斯金字塔中两层相似的点云，形成点云的高斯差分图，进行极值检测；

设每个金字塔群的内层数为s，则设置ks＝2；构造高斯差尺度函数：DoG，检测稳定性极值；如下式(3)所示

D(x,y,z,kⁱσ)＝L(x,y,z,kⁱ⁺¹σ)-L(x,y,z,kⁱσ) (3)

其中，i∈[0,s+2]；将当前像素点与邻域点进行比较，确定其在周边区域是否是极值；如果该点是极值，那么这一点就是关键点，如果不是极值，则验证该点外的其他点；

(3)确定主方向；通过尺度不变性即在包含了所有尺度的尺度空间下都能找到那些稳定的极值点从而来确定关键点，使其具有可伸缩的不变性；为了满足关键点的旋转不变性，通过步骤(1)所得的关键点邻域内点的方向和梯度特征来确定关键点的主方向；设L^x,L^y,L^z的公式为下式(4)

得领域点方向以及梯度特征的计算公式，如下式(5)所示

式中，m(x,y,z)为关键点邻域窗口内振幅，θ(x,y,z)为方向角，为俯仰角；

方向和梯度特征计算完成后，利用梯度直方图统计方法计算某一区域邻域点像素的方向和梯度，确定关键点的主方向，经此提取的关键点即是SIFT算法提取的特征点。

4.根据权利要求1所述的一种基于相似三角形的误匹配剔除的快速点云配准方法，其特征在于，所述步骤三中，将切平面的法向量定义为采样点的法向量，具体步骤如下：

(1)确定领域点集；以每个采样点为中心，固定邻域r为半径，建立了一个局部球面邻域点集；

点云数据集P如下式(6)所示；

P＝{p_i＝(x_i,y_i,z_i)∈R³ i＝1,2,…,N} (6)

其中，N为点云总个数；i为点的索引；

给出采样点P_i∈P，其固定邻域r中的点p^r如下式(7)所示；

其中，j为邻域点的索引，δ表示邻域大小，n表示邻域点总数；

(2)拟合最优平面；以邻域点集p作为样本数据，利用最小二乘原理来拟合局部最优空间切平面；

以最小化样本数据与目标平面的平方距离为约束条件，构建目标函数J(v,d)用以求解目标平面参数，如下式(8)所示；

其中v表示目标平面的法向量，d表示原点到目标平面的距离；n表示邻域点总数；

(3)求解法向量；利用多变量统计方法主成分分析法计算空间平面的法向量，将其作为采样点的法向量；上式的求解过程转化为由局部邻域点集组成的协方差矩阵C的特征值分解，如下式(9)所示；

其中，P为邻域点集重心，T表示转置操作，e表示矩阵C的特征值，λ表示该特征值所对应的特征向量，m＝1,2,3表示矩阵C的三个特征值，且λ₃≤λ₂≤λ₁，则最小特征值λ₃对应的特征向量e₃即为采样点P的法向量n估算值；

(4)计算FPFH特征；在得到点的法向量后，计算每个待计算点M_q与所有邻域点之间的相对关系，从而建立简化的点特征直方图SPFH表示为S(M_q)，根据计算得到的SPFH特征再计算出FPFH特征F(M_q)，如下式(10)所示：

ω_i表示在已知度量空间内，样本点与邻域点之间的距离。

5.根据权利要求1所述的一种基于相似三角形的误匹配剔除的快速点云配准方法，其特征在于，所述步骤四中，基于相似三角的误匹配过滤算法，包括如下步骤；

(1)获取初始匹配集，通过步骤三中分别获得源点云与目标点云的特征描述子，并对其进行匹配从而获得初始匹配集；

(2)构造三角关系，从初始匹配集中随机选取三个匹配对，同时获取这三个匹配对在源点云和目标点云中分别代表的三个点所生成的三角形；

(3)计算误差值，分别计算这两个三角形的周长以及面积，通过如下公式(11)求出其代表的误差值dist；

dist_i表示第i次选取的三个匹配对的误差值，分别表示第i次选取的三个匹配对在源点云和目标点云中代表的三角形的周长，/>分别表示第i次选取的三个匹配对在源点云和目标点云中代表的三角形的面积；

(4)获取粗配准结果，步骤(3)得出的误差值如果小于给出的阈值，则用这三个匹配计算变换矩阵并获得粗配准结果，否则重复进行上述步骤(2)-(3)。

6.根据权利要求1所述的一种基于相似三角形的误匹配剔除的快速点云配准方法，其特征在于，所述步骤五中，ICP算法步骤如下：

(1)从源点云P中搜索与目标点云Q中点q_i相应的最近点p_i，生成对应点对；

(2)通过对应点对，求出点云的变换关系R，t；

其中：R为3*3的旋转矩阵，t为平移向量；

(3)通过变换关系更新源点云P，得到p′＝Rp_i+t；其中：p′为变换之后的点；

(4)求出均方误差：

其中：d_m+1为第m+1次迭代后的均方误差，R_m+1，t_m+1分别为第m+1次迭代后的旋转矩阵以及平移向量；

(5)当d_m-d_m+1小于预定的阈值或者迭代次数达到设定的上限时停止迭代，否则继续迭代上述步骤(1)-(4)。