CN112669359A - 一种三维点云配准方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及一种三维点云配准方法、装置、设备及存储介质，方法包括：获取源点云和目标点云；计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子；根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定若干个初始特征匹配对；根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵；将所述初始变换矩阵作为初始值，采用ICP算法进行精配准。本发明解决了目前由于在点云精配准时迭代次数较多而导致的精配准耗时较长，进而导致整个点云匹配过程较长的问题。

Description

一种三维点云配准方法、装置、设备及存储介质

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种三维点云配准方法、装置、设备及存储介质。

背景技术

随着计算机视觉的发展，三维激光扫描技术作为一种可以不接触被测物体得到被测物体表面大量的密度高的三维点信息以及反射率等信息，由于三维激光扫描的快速性、准确性，因此该技术被广泛的应用在逆向工程、虚拟现实、智能驾驶、古建筑保护与修复等领域上。

在实际的数据采集中，往往需要从不同的角度对一个物体进行数据采集，因为不同的角度下物体的位姿不同而导致采集仪器的坐标系不同，因此需要通过一定的变换对不同坐标系下的点云数据进行配准。即将不同坐标系下的点云数据统一到同一个坐标系下，才能获得被测物体的完整轮廓。他的本质是一个求解不同点云之间的旋转位移矩阵的数学计算问题。

针对于点云配准问题，在众多的算法中比较经典的算法是由BESL和MCKAY于1992年提出的最近点迭代法(iterative closestpoint，ICP)，该算法的配准效果在给定初始位置与相对姿态接近时较好；彭真等提出了一种基于关键点提取与优化ICP的点云配准算法在一定程度上解决了有噪声且密度不均的点云配准问题；Chen等采用了两阶段ICP(TICP，two-stage ICP)算法，利用第1阶段的ICP算法结果作为第2阶段ICP配准的初始状态，减少了配准中迭代循环的次数，降低了时间消耗，同时也有效缓解了ICP算法对待配准点云初始状态要求高的问题。

但是，上述算法在点云精配准时由于迭代次数较多，导致精配准时耗时仍然较长，最终使得整个点云匹配的过程较长。

发明内容

有鉴于此，有必要提供一种三维点云配准方法、装置、设备及存储介质，用以解决目前由于在点云精配准时迭代次数较多而导致的精配准耗时较长，进而导致整个点云匹配过程较长的问题。

第一方面，本发明提供一种三维点云配准方法，包括如下步骤：

获取源点云和目标点云；

计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子；

根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定若干个初始特征匹配对；

根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵；

将所述初始变换矩阵作为初始值，采用ICP算法进行精配准。

优选的，所述的三维点云配准方法中，所述计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子的步骤具体为：

计算出所述源点云和目标点云的每个点的法向量，根据源点云的法向量和目标点云的法向量分别计算出所述源点云的点特征直方图和所述目标点云的点特征直方图，根据所述源点云的点特征直方图和所述目标点云的点特征直方图得到所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子。

优选的，所述的三维点云配准方法中，所述根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定初始特征匹配对的步骤具体为：

根据所述源点云和目标点云的FPFH特征描述子，确定所述目标点云中与所述源点云的各个点的欧式距离最短的点，将所述源点云和目标点云中欧式距离最短的两个点作为一特征匹配对，以得到若干个初始特征匹配对。

优选的，所述的三维点云配准方法中，所述初始变换矩阵包括初始旋转矩阵和初始平移矩阵。

优选的，所述的三维点云配准方法中，所述根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵的步骤具体包括：

基于模拟退火算法确定出若干个所述初始特征匹配对中的若干个最优特征匹配对；

根据若干个所述最优特征匹配对，基于ICP算法进行点云粗配准，以确定出初始变换矩阵。

优选的，所述的三维点云配准方法中，所述根据若干个所述最优特征匹配对，基于ICP算法进行点云粗配准，以确定出初始变换矩阵的步骤具体为：

根据若干个所述最优特征匹配对，计算出各个最优特征匹配对的旋转矩阵和平移向量，并利用误差函数计算出各个旋转矩阵和平移矩阵的误差，以误差最小的旋转矩阵和平移矩阵作为最优的初始变换矩阵。

优选的，所述的三维点云配准方法中，所述误差函数为：

其中，n为最邻近点对的个数，p_i为目标点云中的一点，q_i为源点云中与p_i对应的最近点，R为旋转矩阵，T为平移矩阵。

第二方面，本发明还提供一种三维点云配准装置，包括：

点云获取模块，用于获取源点云和目标点云；

特征描述子获取模块，用于计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子；

初始特征匹配对获取模块，用于根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定若干个初始特征匹配对；

粗配准模块，用于根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵；

精配准模块，用于将所述初始变换矩阵作为初始值，采用ICP算法进行精配准。

第三方面，本发明还提供一种三维点云配准设备，包括：处理器和存储器；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述处理器执行所述计算机可读程序时实现如上所述的三维点云配准方法中的步骤。

第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的三维点云配准方法中的步骤。

相较于现有技术，本发明提供的三维点云配准方法、装置、设备及存储介质，通过采用模拟退火算法进行最优特征匹配对的寻找后再确定初始变换矩阵，然后通过ICP算法精配准。算法利用退火算法协调粗配准参数，提高了粗配准算法的精度和鲁棒性，为后续ICP精度配准提供了更好的初始位置，缩短了点云配准的时间。

附图说明

图1为本发明提供的三维点云配准方法的一较佳实施例的流程图；

图2为本发明提供的三维点云配准方法的一具体应用实施例的目标点云的示意图；

图3为本发明提供的三维点云配准方法的一具体应用实施例的源点云的示意图；

图4为本发明提供的三维点云配准方法的一具体应用实施例配准结果示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

请参阅图1，本发明实施例提供的三维点云配准方法，包括如下步骤：

S100、获取源点云和目标点云。

其中，所述源点云可采用测量仪器进行测量获取，所述目标点云可通过三维设计软件平台获取。

S200、计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子。

具体来说，FPFH是对PFH算法的改进，将PFH理论的时间复杂度nk的平方(n为点的数量，k是相邻点的个数)减少为nk，因此FPFH能快速地提取带有局部特征的描述子。同时FPFH具有较好的鲁棒性、时效性。具体的，所述步骤S200具体为：

计算出所述源点云和目标点云的每个点的法向量，根据源点云的法向量和目标点云的法向量分别计算出所述源点云的点特征直方图和所述目标点云的点特征直方图，根据所述源点云的点特征直方图和所述目标点云的点特征直方图得到所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子。

具体实施时，在进行FPFH特征描述子的获取时，采用以下算法步骤：

(1)输入点云P，迭代计算每个点的法向向量；

(2)遍历点云P内每个点Pi，搜索Pi附近数量为n个的相邻点，并保存Pi点及其相邻点命名为Pik；

(3)关联Pi及相邻点，对于Pik内一对点P1和P2，将法向量与P1和P2相连矢量夹角教小的一点定义为源点Pn，夹角较大的一点定义为目标点Pt；

(4)计算Pn和Ps两点之间的三元组(α，φ，θ)，并统计获得查询点Pi的简化特征直方图SPFH；

(5)将相邻的SPFH之间的值加权计算添加到Pi的SPFH中，构成FPFH，计算公式为：

S300、根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定若干个初始特征匹配对。

具体实施时，所述步骤S300具体为：

根据所述源点云和目标点云的FPFH特征描述子，确定所述目标点云中与所述源点云的各个点的欧式距离最短的点，将所述源点云和目标点云中欧式距离最短的两个点作为一特征匹配对，以得到若干个初始特征匹配对。

换而言之，对于源点云中的没一点，在目标点云中搜索出距离最近的带你作为最佳匹配点，组成初始特征匹配对。此时，获取的初始匹配对的数量较多，若直接进行初始配准，计算复杂度较高，故本发明基于此，还对所述初始特征匹配对进行协调处理。

S400、根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵。

具体的，模拟退火算法(Simulated Annealing，SA)是借鉴固体的退火原理，模拟一个固体从刚开始温度较高的时候，由于内能较大，固体内部粒子快速无序运动，随着温度不断降低，固体内部粒子运动不断减小，最终整体内部结构趋于稳定有序的过程。这就是模拟退火算法的原理。模拟退火算法从某一个较高的温度t0(初始温度)，伴随着温度系数a不断降温，最终到达某一指定温度tf(稳定温度)而趋近于稳定，但由于到达稳定状态时获得的可能是一个局部最优解，因此，模拟退火算法需要遵循一定的方法来跳出局部最优，以求最终获得的解可以更加靠近全局最优解。具体的，所述步骤S400具体包括：

基于模拟退火算法确定出若干个所述初始特征匹配对中的若干个最优特征匹配对；

根据若干个所述最优特征匹配对，基于ICP算法进行点云粗配准，以确定出初始变换矩阵。

具体来说，在采用模拟退火算法进行最优特征匹配对寻找时，具体步骤如下：

1)在解空间范围内随机给定一个可行解i，初始温度为t＝t0，温度系数为a，计算目标函数f(i)，其中，所述目标函数为计算特征匹配对的欧式距离的函数；

2)如果f(x)的值满足精度要求，则转(14)；

3)Begin

4)判断温度t是否到达平衡状态，若已经到达平衡(完成目标迭代次数)，则转14；

5)Begin

6)生成一个随机扰动，生成一个新解j；

7)计算f(j)函数值；

8)如果f(j)<f(i)，则，i＝j，f(i)＝f(j)，转到(4)；

9)计算Pt＝exp(-(f(j)-f(i))/t)；

10)判断Pt>Random(0，1)，则i＝j，f(i)＝f(j)；

11)End；

12)t＝t*a；

13)end。

通过模拟退火算法，可以极大地减少点云配准时的特征匹配对的数量，从而使后续精配准的特征匹配对的数量减少，不仅保证配准效果，而且节省了配准的时间。

进一步来说，所述根据若干个所述最优特征匹配对，基于ICP算法进行点云粗配准，以确定出初始变换矩阵的步骤具体为：

根据若干个所述最优特征匹配对，计算出各个最优特征匹配对的旋转矩阵和平移向量，并利用误差函数计算出各个旋转矩阵和平移矩阵的误差，以误差最小的旋转矩阵和平移矩阵作为最优的初始变换矩阵。

其中，所述误差函数为：

其中，n为最邻近点对的个数，p_i为目标点云中的一点，q_i为源点云中与p_i对应的最近点，R为旋转矩阵，T为平移矩阵。

具体的，ICP算法的本质是基于最小二乘法的最优匹配算法。通过模拟退火算法找到的最优特征匹配对，计算出两点的最优匹配参数旋转矩阵R和平移向量T，使得误差函数最小。具体实施时，ICP精配准的步骤如下：

1)寻找对应点.依据模拟退火算法计算出的特征匹配对结果，对浮动图像P进行变换，得到新的浮动图像1P，对于1P中的每一个点，在参考图像Q中找寻与之距离最近的点，即为对应点。

2)优化粗配准得到的转换矩阵。根据步骤1)得到的对应点求取旋转和平移的参数，由于对应点对数量庞大，而旋转和平移的参数只有6个，所以可以利用SVD奇异值分解算法来计算新的旋转平移参数。

3)算法迭代.。根据步骤2)得到的新的旋转矩阵R和平移向量T，更新点集：P₁＝R·P+T；

4)计算目标函数值：

如果结果大于规定的阈值，则返回步骤1)；如果结果陷入局部最优值或者迭代次数超过指定的次数，则停止计算。

S500、将所述初始变换矩阵作为初始值，采用ICP算法进行精配准。

具体来说，ICP算法配准精度高，适用面广泛，但是在不知道精确的对应点前提下，ICP算法只能一步一步迭代地求取最优的对应点对，迭代次数多计算代价大，所以ICP算法需要有一个良好的初始变换。初始变换的好坏直接影响配准结果的精确度，不好的初始变换会加大迭代所需次数，浪费配准时间，还有可能使点云数据局部收敛，影响配准效果。本发明实施例经过前面粗配准阶段对待配准点云的调整和处理，待配准点云已经拥有良好的位姿状态，可作为ICP算法的初始值，做基于ICP算法的精确配准。

在一个具体实施例中，获取在斯坦福大学官方开源库网站下载的由1组兔子数据，该点云模型是数据量较大的一组数据，如图3和图4所示。随后在MATLAB R2017a下完成实验。对点云数据运用FPFH算法进行关键点检测。在各个点处(设某一个特征点为Pi)将搜索数量为n个点(本实施例中搜索附近15个点)。并且先遍历此区域内的所有点，再计算P0与各点对应法向量的夹角偏差{(α1,Φ1,θ1),(α2,Φ2,θ2)…(αn,Φn,θn)}。将所有的α,Φ,θ关键要素各自分化成11个子统计区间，计算特征直方图然后得到一组33维的特征向量。

然后通过退火算法来选择特征匹配对，首先设定初始温度t0和温度系数a，随机提取上面生成的特征点，然后对特征点进行icp粗配准，保存误差结果及旋转平移矩阵，计算概率，来判断是否接受该次结果，接着降温进入下次迭代。结果显示，FPFH算法所提取的关键点均位于法向向量变化较大的关键位置上，十分适合应用于对各自物体点云进行精简。用最近点迭代法(ICP)进行迭代实现粗配准的过程中，每一次迭代都会生成一个新的旋转平移矩阵，相对应的待匹配点云也就一次一次地更加逼近目标点云，当迭代次数打到五十次或者陷入局部最优解后结束本次迭代。完成退火算法后选取的最小误差的旋转矩阵R和平移矩阵T分别为：

最后，将在微调阶段中获得的转换矩阵作为初始值，对数据做基于ICP算法的精确配准，如图4所示，通过上面的实验可以看出本发明实施例提供的算法可以获得一个较好的粗配准结果，同时能将多幅点云匹配到同一个坐标系。

因此，本发明通过退火算法来求出最好的粗配准旋转位移矩阵，最后通过ICP精配准。经过对比实验得到以下结论：在达到相同精度的情况下，本发明算法运行所耗时间更短，算法的鲁棒性更强，可以适应更多情况的点云匹配。

基于上述三维点云配准方法，本发明还相应的提供一种三维点云配准装置，包括：

点云获取模块，用于获取源点云和目标点云；

特征描述子获取模块，用于计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子；

初始特征匹配对获取模块，用于根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定若干个初始特征匹配对；

粗配准模块，用于根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵；

精配准模块，用于将所述初始变换矩阵作为初始值，采用ICP算法进行精配准。

由于上文已对三维点云配准方法进行详细描述，在此不再赘述。

基于上述三维点云配准方法，本发明还相应的提供一种三维点云配准设备，包括：处理器和存储器；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述处理器执行所述计算机可读程序时实现如上述各实施例所述的三维点云配准方法中的步骤。

由于上文已对三维点云配准方法进行详细描述，在此不再赘述。

基于上述三维点云配准方法，本发明还相应的提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述各实施例所述的三维点云配准方法中的步骤。

由于上文已对三维点云配准方法进行详细描述，在此不再赘述。

综上所述，本发明提供的三维点云配准方法、装置、设备及存储介质，通过采用模拟退火算法进行最优特征匹配对的寻找后再确定初始变换矩阵，然后通过ICP算法精配准。算法利用退火算法协调粗配准参数，提高了粗配准算法的精度和鲁棒性，为后续ICP精度配准提供了更好的初始位置，缩短了点云配准的时间。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种三维点云配准方法，其特征在于，包括如下步骤：

获取源点云和目标点云；

计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子；

根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定若干个初始特征匹配对；

根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵；

将所述初始变换矩阵作为初始值，采用ICP算法进行精配准。

2.根据权利要求1所述的三维点云配准方法，其特征在于，所述计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子的步骤具体为：

计算出所述源点云和目标点云的每个点的法向量，根据源点云的法向量和目标点云的法向量分别计算出所述源点云的点特征直方图和所述目标点云的点特征直方图，根据所述源点云的点特征直方图和所述目标点云的点特征直方图得到所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子。

3.根据权利要求1所述的三维点云配准方法，其特征在于，所述根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定初始特征匹配对的步骤具体为：

根据所述源点云和目标点云的FPFH特征描述子，确定所述目标点云中与所述源点云的各个点的欧式距离最短的点，将所述源点云和目标点云中欧式距离最短的两个点作为一特征匹配对，以得到若干个初始特征匹配对。

4.根据权利要求1所述的三维点云配准方法，其特征在于，所述初始变换矩阵包括初始旋转矩阵和初始平移矩阵。

5.根据权利要求4所述的三维点云配准方法，其特征在于，所述根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵的步骤具体包括：

基于模拟退火算法确定出若干个所述初始特征匹配对中的若干个最优特征匹配对；

根据若干个所述最优特征匹配对，基于ICP算法进行点云粗配准，以确定出初始变换矩阵。

6.根据权利要求5所述的三维点云配准方法，其特征在于，所述根据若干个所述最优特征匹配对，基于ICP算法进行点云粗配准，以确定出初始变换矩阵的步骤具体为：

根据若干个所述最优特征匹配对，计算出各个最优特征匹配对的旋转矩阵和平移向量，并利用误差函数计算出各个旋转矩阵和平移矩阵的误差，以误差最小的旋转矩阵和平移矩阵作为最优的初始变换矩阵。

7.根据权利要求6所述的三维点云配准方法，其特征在于，所述误差函数为：

其中，n为最邻近点对的个数，p_i为目标点云中的一点，q_i为源点云中与p_i对应的最近点，R为旋转矩阵，T为平移矩阵。

8.一种三维点云配准装置，其特征在于，包括：

点云获取模块，用于获取源点云和目标点云；

特征描述子获取模块，用于计算出所述源点云的FPFH特征描述子和所述目标点云的FPFH特征描述子；

初始特征匹配对获取模块，用于根据所述源点云的FPFH特征描述子和目标点云的FPFH特征描述子，确定若干个初始特征匹配对；

粗配准模块，用于根据若干个所述初始特征匹配对，基于模拟退火算法确定出初始变换矩阵；

精配准模块，用于将所述初始变换矩阵作为初始值，采用ICP算法进行精配准。

9.一种三维点云配准设备，其特征在于，包括：处理器和存储器；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的三维点云配准方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的三维点云配准方法中的步骤。

Images