CN109949350B - 一种基于形态不变特征的多时相点云自动配准方法 - Google Patents

Abstract

本专利公开了一种基于形态不变特征的多时相点云自动配准方法：针对多时相变化场景点云配准特点，通过形态不变点提取与匹配完成点云粗配准，进而搜索多时相点云中的形态不变区域，估计多时相点云间的旋转和平移参数，完成点云精配准。具体地，针对点云粗配准首先确定多时相点云中的近似同名四点对，然后以四点对为中心计算邻域内点特征描述子，通过特征匹配和空间几何约束确定多时相点云间的同名匹配点集，据此估计旋转和平移参数，完成点云粗配准；精配准阶段，本专利采用迭代策略提取多时相点云中的形态不变区域，据此进一步优化粗配准阶段得到的初始旋转和平移参数，最后将优化后的参数用于整体点云进行刚性转换，完成多时相点云的自动配准。

Description

一种基于形态不变特征的多时相点云自动配准方法

技术领域

本发明涉及空间信息应用技术领域，具体涉及一种变化场景的三维点云精配准方法。

背景技术

近年来，点云配准研究受到广泛关注。主流的点云获取方式可分为两种：其一是利用激光扫描技术主动发射电磁波，通过测距和测角的方式获取被测目标的三维信息；其二是使用影像重建技术，通过多视影像匹配和平差优化的方式恢复被摄目标的三维信息。研究表明，三维测量技术已被广泛用于文物保护、地形测绘、林业估产、矿产评估和地质调查等领域，且在三维变化检测与量化评估领域的应用探索逐渐加强。然而，为确保三维变化检测结果的量化精度，核心问题是解决变化场景多时相点云的高精度配准。

点云配准一般包括两个步骤，即全局粗配准和局部精配准。全局粗配方法可概况为三类，即基于特征的配准方法、基于空间几何关系约束的配准方法和两种技术组合的方法。其中，基于特征匹配方法中，

等采用比例不变特征转换描述符提取特征点，通过特征点的相似度匹配确定多站地面点云的同名匹配点，继而估计多站点云之间的配准参数；Dong^[2]等提出了基于二进制形状描述子的多站点云配准方法；与基于点特征匹配的配准方法类似，线特征、面特征和语义特征也多用于点云配准研究。基于空间几何关系约束的配准方法中，Aiger^[3]等提出了一种同名四点集合(4pcs)方法，用于检测点云重叠区域近似同名四点对，以解决小重叠，无特征和噪声多等相关问题；在此基础上，Mellado^[8]等采用高效的索引方法，提出了Super4PCS算法，大幅提高了点云配准的效率。基于上述研究，衍生出一系列相关算法，如基于特征匹配和空间几何关系联合约束的点云配准方法。在该类方法中，主流的算法有K-4PCS^[4]，K-Super4PCS^[9]，MSSF-4PCS^[10]等。局部精配准，是在粗配准基础上进一步优化多站点云间的配准参数的过程，最终达到多站点云高精度配准。在该类算法中，主流的方法有迭代最近点(ICP)^[5]算法和最小二乘算法^[11]等。然而，精配准的精度受限于全局粗配准的效果，即：如果全局粗配准位置较差，局部精配准误差会进一步增大导致配准失败。这种问题在变化检测应用中尤为明显。对此，Chen^[6]等建议使用光滑区域的点位进行ICP优化，以提高点云精配准的时间效率；Rusinkiewicz^[7]等引入了一种基于空间法向量的采样策略，该策略仅使用具有较大法向量的点进行ICP优化，提高点云精配准的精度。然而，针对变化检测应用，上述配准方法的自动化水平差，鲁棒性低，难以保证多时相点云配准的时间效率和可靠性。

本专利针对变化场景中多时相点云配准的难点，设计了一种基于形态不变特征的多时相点云自动配准方法。本专利采用由粗到精的点云配准策略。在粗配准阶段，联合点集空间几何拓扑特征和单点邻域空间特征，在提取全等4点集时构建全等点R半径邻域，计算并匹配邻域内点特征描述子，提高点云粗配精度；在精配准阶段，本专利提出迭代优化变化场景形态不变区的策略，在迭代过程中不断优化形态未发生变化区域，最终通过形态不变区高精度配准完成变化场景精配准。该专利可满足变化场景多时相点云自动、高精度配准的需求。

参考文献

[1]

J.；Becker,S.Automatic marker-free registration ofterrestrial laser scans using reflectance.In Proceedings of Proceedings ofthe Proceedings of 8th Conference on Optical 3D Measurement Techniques,Zurich,Switzerland；pp.9-12

[2]Dong,Z.；Yang,B.；Liang,F.；Huang,R.；Scherer,S.Hierarchicalregistration of unordered TLS point clouds based on binary shape contextdescriptor.ISPRS journal of photogrammetry and remote sensing 2018,144,61-79.

[3]Aiger,D.；Mitra,N.J.；Cohen-Or,D.4-points congruent sets for robustpairwise surface registration.ACM Transactions on Graphics 2008,27,1-10.

[4]Mellado,N.；Aiger,D.；Mitra,N.J.Super 4pcs fast global point cloudregistration via smart indexing.In Proceedings of Computer Graphics Forum；pp.205-215.

[5]Besl,P.J.；McKay,N.D.Method for registration of 3-D shapes.InProceedings of Sensor Fusion IV:Control Paradigms and Data Structures；pp.586-607.

[6]Chen,Y.；Medioni,G.Object modelling by registration of multiplerange images.Image and vision computing 1992,10,145-155.

[7]Rusinkiewicz,S.；Levoy,M.Efficient variants of the ICP algorithm.InProceedings of 3-D Digital Imaging and Modeling,2001.Proceedings.ThirdInternational Conference on；pp.145-152.

[8]Mellado N,Aiger D,Mitra N J.Super 4PCS Fast Global PointcloudRegistration via Smart Indexing[J].Computer Graphics Forum,2014,33(5):205-215.

[9]Ge,Xuming.Automatic markerless registration of point clouds withsemantic-keypoint-based 4-points congruent sets[J].ISPRS Journal ofPhotogrammetry and Remote Sensing,2017,130:344-357.

[10]Xu Z,Xu E,Zhang Z,et al.Multiscale Sparse Features Embedded 4-Points Congruent Sets for Global Registration of TLS Point Clouds[J].IEEEGeoscience and Remote Sensing Letters,2018,16(2):286-290.

[11]AdcockR J.Note on the Method of Least Squares[J].Analyst,1877,4(6):183-184.

三、发明内容

(一)解决的技术方案

本发明所要解决的技术问题是：针对多期变化场点云变化幅度大，配准效率低，精度差的问题，设计一种针对复杂变化场景的点云自动精配准方法。该发明采用由粗到精的点云配准策略。粗配准阶段以4PCS算法为基础，在提取全等4点对时构建局部邻域空间特征，在邻域中寻找形态不变点，通过特征匹配的方式增强粗配准鲁棒性；精配准阶段寻找形态不变区域，以迭代优化的方式对形态不变区进行精配准，计算多时相点云间的旋转和平移参数；最后将上述参数用于整体的多时相点云，完成配准。

(二)技术方案

1.基于形态不变点的多时相点云粗配准方法

4PCS及其衍生算法在三维空间中构建与匹配复杂四点拓扑结构，使用最大化配准覆盖度策略，寻找全等四点集完成点云粗配准。变化场景点云配准使用该策略同样能获得较好的粗配结果。然而4PCS算法采用降采样机制，得到的全等四点集只是空间几何约束下的相似，易导致较大的配准偏差。针对以上问题，本专利提出基于形态不变点的变化场景点云粗配准方法，粗配准框架以4PCS算法为基础，通过构建与匹配全等4点基邻域空间点特征，寻找形态不变点，从而完成变化场景点云粗配准工作。具体实现步骤如下：

1)使用仿射不变约束寻找基准点云和待配准点云中匹配的全等4点基对，分别记为J＝{p₁,p₂,p₃,p₄)和S＝{q₁,q₂,q₃,q₄)；

2)构建全等四点对R半径空间邻域特征。首先构建四点集R半径领域，R邻域内点记为

和

然后计算邻域内每个点的空间邻域特征，使用点邻域特征提取算法，如快速点特征直方图，旋转图像等构建每个点的空间特征描述子，J^R和S^R的空间点特征分别记为

和

3)基于随机采样一致性策略的点特征匹配优化。特征匹配过程分为点特征初匹配和采样一致优化两部分。首先进行初始特征相似度判断，计算J^RT每个特征向量距S^RT向量的欧式距离，保留匹配中最小距离与次小距离比值，将比值定义为欧式距离比例r，当r的值小于0.6时认为初始特征匹配成功，匹配结果记为

其中tn表示匹配总数；考虑到错匹配的存在，使用随机采样一致性方法优化初始匹配结果，提高特征匹配正确率。最终得到基于点邻域特征约束的形态不变点对

其中tN为特征匹配总数；

4)使用最小二乘模型对形态不变匹配点对配准。使用平差的方法计算匹配点对间的最优转换参数M_P,Q，使得待配准匹配点经过转换与基准对应点间欧式距离累加和最小。

2.基于形态不变区的多时相点云精配准方法

基于形态不变点的配准只能恢复变化场景待配准点云的初始姿态，为了获得高精度点云配准结果，需要借助迭代最近点配准方法。由于两期点云重叠区域存在大量形态变化区域，最终配准结果不能完全匹配到一起，直接使用迭代最近点精配准算法易造成局部最优，往往取得更差的配准结果。针对该问题，本专利提出了基于形态不变区的变化场景点云配准方法，首先确定形态未发生变化区域，然后使用迭代最近点算法进行局部配准，因初始形态不变区存在较多变化区域边缘，使用迭代的策略对形态不变区优化，最后使用最优形态不变区完成变化场景点云精配准，具体方法如下：

1)确定变化场景形态不变区域。基于形态不变点的粗配准大致恢复了点云相对位置，针对形态不变区的提取，首先搜索每个点位在另一点云中的最邻近点，然后滤除邻近距离超过δ的点位，保留距离较近的点作为初始形态不变区U＝{P_TIR，Q_TIR)，δ∈(5μ,10μ)，μ为点间平均距离；

2)使用迭代最近点算法配准形态不变区U，拉近形态不变区距离，同时记录第i次点云旋转和平移参数R_i和T_i；

3)进行迭代停止判断。当δ＜μ，且R_ICP中沿各轴旋转量不超过

同时T_i各平移量不差过l，或当总迭代次数超过50次时停止迭代，此时精配准结果趋于稳定，配准偏差在点间平均距离间震荡。否则重复1)～2)过程，更新δ＝δ-η，减小点邻近搜索半径，提高形态不变区搜索精度，这里η为单位邻域搜索减少量。形态不变区P_TIR和Q_TIR作为1)的输入数据求取最优形态不变区。

4)计算迭代形态不变区过程最终的旋转和平移参数R_final和T_final。将旋转和平移量应用到全局，最终得到两变化场景精配准结果。

(三)有益效果

1、利用本发明，能够实现变化场景多时相点云的高效自动配准。

2、利用本发明，能够实现高精度、高稳定的变化场景多时相点云配准。

四、附图说明

图1基于形态不变特征的多时相点云自动配准方法流程图。

图2基准点云与待配准点云全等四点对示意图。

图3全等四点对R半径空间邻域点位示意图。

图4基于采样一致限制优化的特征匹配示意图。

五、具体实施方式

1.基于形态不变点的多时相点云粗配准方法

以图2、图3和图4为例，详细说明了基于形态不变点的变化场景点云粗配准方法，图中圆点代表了全等四点对的位置，三角形代表四点基邻域点位，点间连线表示特征匹配对应关系。其具体实施方式如下：

步骤1：如图2所示，使用仿射不变约束寻找基准点云P和待配准点云Q全等四点对：针对P中共面四点构建，在式(1)约束下，4PCS算法第i次迭代从基准点云中随机寻找空间三点构成平面，记为(p_1i,p_2i,p_3i)，按式(2)计算满足条件的第四点坐标p_4i，组成四点集合Bⁱ＝(p_1i,p_2i,p_3i,p_4i)。寻找基准点云中所有满足条件的共面四点B＝{B¹,B²,...,Bⁿ),n为满足条件的共面四点总数。进而寻找基准点云和待配准点云全等四点对，首先针对基准点云中的任意一组4点J＝(p_1k,p_2k,p_3k,p_4k)∈B，按式(3)～(5)在待配准点云中寻找近似全等4点集合，重复该步骤直到完成B中所有共面4点的匹配，找到初始匹配4点对集合，记为S，其次，选取S中具有最大点云覆盖范围的组合作为全等4点对，分别记为J＝{p₁,p₂,p₃,p₄)和S＝{q₁,q₂,q₃,q₄)，如图2中虚线连线展示了对应点匹配关系；

其中，L为常数变量，表示4点集的最小点间隔，S为基准点云的最大覆盖长度，λ为常数，一般设为0.2～0.3，p_4i为4点基中第4个点的坐标，O为(p_1i,p_2i,p_3i)平面上的任意一点坐标，a，b，c为常数。

λ₁，λ₂，λ₃，λ₄为距离仿射不变比值，满足λ₁＝λ₃，λ₂＝λ₄。

ε为阈值，近似为零。

θ₁＝θ₂ (5)

θ₁和θ₂分别为J和S中4点基连线的夹角。

步骤2：构建全等四点对R半径空间邻域特征。首先搜寻全等四点对R邻域内部点集合

和

图3中三角形代表R邻域内空间点；其次计算邻域内所有点的局部特征，即利用点特征提取算法，如153维旋转图像特征,构建p∈J^R和q∈S^R的点特征描述子，用来描述点邻域分布属性信息，计算结果分别记为

和

5)步骤3：空间点特征匹配与优化。首先计算特征相似度完成初始匹配，按式(6)计算J^RT和S^RT间点特征相似度，相似度数值越小说明两特征向量的欧式距离越接近，特征相似度越高。计算最小值与次小值比值，将比值定义为欧式距离比例r，当r的值小于0.6时认为点特征匹配成功。遍历J^RT内所有特征向量在S^RT中寻找初始匹配点，匹配结果记为

tn表示初始特征匹配总数；考虑到错匹配的存在，使用随机采样一致策略优化初始匹配结果，提高特征匹配正确率。首先在tn个点对中随机选取3对点作为一个样本，计算三点间的刚性变化矩阵T，其次判断其余tn-3个点对在变化矩阵T下是否为正确匹配：

满足式(7)记为内点，否则记为外点。所有内点组成本次采样的一致集，然后根据内点数目更新采样次数上限。重复选点计算以及内点判断过程，直到循环次数达到采样次数上限，此时完成特征匹配优化过程，取一致集数目最多次迭代内点作为特征匹配优化点对，即形态不变匹配点对

其中tN为特征匹配总数，记全等四点对R邻域内形态不变点分别为

和

图4展示了形态不变点的匹配，虚线表征匹配点的对应关系。

N为特征向量维度，这里N＝153，

分别为两特征向量。

为特征匹配点对，δ_transform代表转化限制阈值，这里取2倍的点云采样间隔。

步骤4，利用式(8)计算最优匹配点对基于最小二乘优化的转换参数。使用平差的方法计算匹配点对间的最优转换参数M_P,Q，使得所有待配准点经过转换与基准对应点欧式距离累加和最小，记经过最优转换的待配准点云为Q'。

#N为最优匹配点总数，P(i)为基准点云P中第i个最优匹配点，Q(i)为待配准点云Q中第i个最优匹配点。

至此，完成基于形态不变点的变化场景点云粗配准工作，其中配准策略上在空间几何拓扑约束的基础上加入点邻域特征约束，该方法保证了点对匹配的准确性，提高了点云粗配准精度，为变化场景点云精配准准备了更为可靠的初始配准位置。

2.基于形态不变区的多时相点云精配准方法

本专利提出使用优化配准形态不变区策略来完成变化场景三维点云的精配准工作。基于形态不变点的配准只能恢复两变化场景点云的初始姿态，为了获得高精度点云配准结果，需首先确定形态未发生变化区域，然后使用迭代最近点算法进行局部配准，因初始形态不变区存在较多变化边缘区域，使用迭代的策略进行形态不变区优化，最终使用最优形态不变区完成变化场景点云精配准，具体方法如下：

步骤一：确定变化场景形态不变区域。基于形态不变点的粗配准获得了较好的初始配准位置，针对形态不变区的提取，基准点云P和待配准点云Q'作为首次形态不变区提取的输入数据，搜索数据中每个点位在另一点云中的最邻近点，并计算最近距离D_PQ'＝{d_PQ'1,d_PQ'2,...,d_PQ'n1}和D_Q'P＝{d_Q'P1,d_Q'P2,...,d_Q'Pn2}，n1，n2分别为P和Q'中总点数。删除D_PQ'和D_Q'P中距离值超过最大邻近搜索阈值δ的点位，这里δ取八倍采样间隔。保留较近的点作为临时形态不变区，记为U＝{P_TIR，Q_TIR)。

步骤二：使用迭代最近点法配准形态不变区U。按式(9)拉近形态不变区P_TIR和Q_TIR距离。

R_i和T_i分别代表待配准形态不变区Q_TIR配准到基准形态不变区P_TIR的最优旋转和平移参数，#k表示P_TIR和Q_TIR点数中的较小值，

为第i次算法迭代中使用最优旋转和平移量计算得到的点间最小欧式距离累积和。

步骤三：停止迭代条件判断。当δ＜μ时，且R_i中三个旋转量均不超过

同时||T_i||各平移量不差过l，或当总迭代次数超过50次时停止迭代，这里

此时精配准结果趋于稳定，配准偏差在点间平均距离间震荡。；否则重复步骤一和步骤二，更新δ＝δ-η，η为单位邻域搜索减少量，为了保证迭代次数这里

形态不变区P_TIR和Q_TIR作为步骤一的输入数据求取最优形态不变区。

步骤四：按式(9)计算迭代获取形态不变区过程最终的旋转和平移参数R_final和T_final。将旋转和平移量应用到全局，最终得到两变化场景精确配准结果。

#j为迭代优化形态不变区的总次数；

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于形态不变特征的多时相点云自动配准方法，其特征在于，该方法包括：

1)基于形态不变点的多时相点云粗配准，包含以下几个步骤：

(1)基于仿射不变约束寻找基准点云P和待配准点云Q全等四点对：针对P中共面四点构建，在式(1)约束下，4PCS算法第i次迭代从基准点云中随机寻找空间三点构成平面，记为(p_1i,p_2i,p_3i)，按式(2)计算满足条件的第四点坐标p_4i，组成四点集合Bⁱ＝(p_1i,p_2i,p_3i,p_4i)，寻找基准点云中所有满足条件的共面四点B＝{B¹,B²,...,Bⁿ),n为满足条件的共面四点总数，进而寻找基准点云和待配准点云全等四点对，针对基准点云中的任意一组4点J＝(p_1k,p_2k,p_3k,p_4k)∈B，按式(3)～(5)在待配准点云中寻找近似全等4点集合，重复该步骤直到完成B中所有共面4点的匹配，找到初始匹配4点对集合，记为S，其次，选取S中具有最大点云覆盖范围的组合作为全等4点对，分别记为J＝{p₁,p₂,p₃,p₄)和S＝{q₁,q₂,q₃,q₄)，

其中，L为常数变量，表示4点集的最小点间隔，S为基准点云的最大覆盖长度，λ为常数，p_4i为4点基中第4个点的坐标，O为(p_1i,p_2i,p_3i)平面上的任意一点坐标，a，b，c为常数，

λ₁，λ₂，λ₃，λ₄为距离仿射不变比值，满足λ₁＝λ₃，λ₂＝λ₄，

ε为阈值，

θ₁＝θ₂ (5)

θ₁和θ₂分别为J和S中4点基连线的夹角；

(2)构建全等四点对R半径空间邻域特征，首先搜寻全等四点对R邻域内部点集合

和

其次计算邻域内所有点的局部特征，即利用点特征提取算法，构建p∈J^R和q∈S^R的点特征描述子，用来描述点邻域分布属性信息，计算结果分别记为

和

(3)空间点特征匹配与优化，首先计算特征相似度完成初始匹配，按式(6)计算J^RT和S^RT间点特征相似度，相似度数值越小说明两特征向量的欧式距离越接近，特征相似度越高，计算最小值与次小值比值，将比值定义为欧式距离比例r，当r的值小于0.6时认为点特征匹配成功，遍历J^RT内所有特征向量在S^RT中寻找初始匹配点，匹配结果记为

tn表示初始特征匹配总数；考虑到错匹配的存在，使用随机采样一致策略优化初始匹配结果，提高特征匹配正确率，首先在tn个点对中随机选取3对点作为一个样本，计算三点间的刚性变化矩阵T，其次判断其余tn-3个点对在变化矩阵T下是否为正确匹配：

满足式(7)记为内点，否则记为外点，所有内点组成本次采样的一致集，然后根据内点数目更新采样次数上限，重复选点计算以及内点判断过程，直到循环次数达到采样次数上限，此时完成特征匹配优化过程，取一致集数目最多次迭代内点作为特征匹配优化点对，即形态不变匹配点对

其中tN为特征匹配总数，记全等四点对R邻域内形态不变点分别为

和

N为特征向量维度，

分别为两特征向量，

为特征匹配点对，δ_transform代表转化限制阈值，这里取2倍的点云采样间隔；

(4)利用式(8)计算最优匹配点对基于最小二乘优化的转换参数，使用平差的方法计算匹配点对间的最优转换参数M_P,Q，使得所有待配准点经过转换与基准对应点欧式距离累加和最小，记经过最优转换的待配准点云为Q'，

#N为最优匹配点总数，P(i)为基准点云P中第i个最优匹配点，Q(i)为待配准点云Q中第i个最优匹配点；

2)基于形态不变区的多时相点云精配准，包含以下几个步骤：

(1)确定变化场景形态不变区域，基于形态不变点的粗配准获得了较好的初始配准位置，针对形态不变区的提取，基准点云P和待配准点云Q'作为首次形态不变区提取的输入数据，搜索数据中每个点位在另一点云中的最邻近点，并计算最近距离D_PQ'＝{d_PQ'1,d_PQ'2,...,d_PQ'n1}和D_Q'P＝{d_Q'P1,d_Q'P2,...,d_Q'Pn2}，n1，n2分别为P和Q'中总点数，删除D_PQ'和D_Q'P中距离值超过最大邻近搜索阈值δ的点位，保留较近的点作为临时形态不变区，记为U＝{P_TIR，Q_TIR)；

(2)使用迭代最近点法配准形态不变区U，按式(9)拉近形态不变区P_TIR和Q_TIR距离，

R_i和T_i分别代表待配准形态不变区Q_TIR配准到基准形态不变区P_TIR的最优旋转和平移参数，#k表示P_TIR和Q_TIR点数中的较小值，

为第i次算法迭代中使用最优旋转和平移量计算得到的点间最小欧式距离累积和；

3)停止迭代条件判断，当δ＜μ时，且R_i中三个旋转量均不超过

同时||T_i||各平移量不差过l，此时精配准结果趋于稳定，配准偏差在点间平均距离间震荡；否则重复步骤一和步骤二，更新δ＝δ-η，η为单位邻域搜索减少量，为了保证迭代次数η的数值应小于点间平均距离，形态不变区P_TIR和Q_TIR作为步骤一的输入数据用来求取最优形态不变区；

(4)按式(9)计算迭代获取形态不变区过程最终的旋转和平移参数R_final和T_final，将旋转和平移量应用到全局，最终得到两变化场景精确配准结果，

#j为迭代优化形态不变区的总次数。

Images