CN116228825A - 一种基于显著锚点几何嵌入的点云配准方法 - Google Patents

Abstract

本发明属于点云数据处理技术领域，具体涉及一种基于显著锚点几何嵌入的点云配准方法，包括：获取获取相同场景下不同视角的两个点云；对两个点云数据进行核点卷积，将卷积后的特征输入到锚点模块和特征模块进行特征提取和优化，得到最优特征；计算最优特征的超点匹配，并查找全局对应点；计算各个区域的变换，根据全局对应点选择最优变换；对最优点云进行转换估计，得到估计结果；本发明将建立了锚点对应的点云间的联系，以此为桥梁可以利用几何交流模块充分交流两点云的信息；嵌入点与锚点的距离特征，能够有效检测区域在全局拓扑结构上的差异，从而减少低重叠率下非重叠相似区域的匹配，进而提高区域匹配的准确度。

Description

一种基于显著锚点几何嵌入的点云配准方法

技术领域

本发明属于点云数据处理技术领域，具体涉及一种基于显著锚点几何嵌入的点云配准方法。

背景技术

点云配准在图形学中扮演着重要的角色，它是许多任务的前提和基础，它广泛应用于场景重建、自动驾驶和同时定位与制图等领域。他的主要目的是求解一个变换矩阵将两个处于不同坐标系下的点云，对齐至同一个坐标系下。配准通常采取基于对应关系的点云配准和直接配准方法。基于对应关系的方法包括特征提取，关键点检测，离群值去除和姿态估计。最先提出了用于3维分类和分割的点集的深度学习等工作的网络以及度量空间中点集上的深度分层特征学习的网络，虽然为点云的特征提取提供了参考，但是这两项工作没有考虑点云的几何结构特征。后来又提出了三维点鲁棒匹配的全局上下文感知局部特征，点对特征与最先提出的网络相结合提高了特征对噪音的鲁棒性。之后提出的点对特征-折叠网在此基础上将折叠网整合进框架并利用无监督的方法获取特征。后来又出现了3维特征网利用一个弱监督的深度网络解决点云数据精确标注困难的问题，提高特征质量。接着又有人提出了三维平滑网，该网络利用孪生网络架构编码平滑密度值。然后边卷积操作横空出世，并因此构建了动态图形卷积神经网络捕获点之间的拓扑信息。后来出现的核点卷积来模拟二维卷积中的操作能够更好的捕获局部几何信息。此后又有人提出的自旋网通过估计的参考轴限制Z轴自由度，利用球形体素化消除XY平面旋转自由度提取高鲁棒性的特征。直接配准方法采用二维图像算法将点网得到的相对位姿和逆合成公式计算雅可比矩阵，最后用一个可微的卢卡斯和卡纳德算法计算刚性变换。后又出现了在迭代过程中预测源点云和目标点云的重叠掩码的网络，通过多层感知机从两者的全局特征中预测刚性变换。

综上，传统的点云配准方法包括提取点特征，然后在特征空间中寻找另一帧中的最近点作为对应点，接着过滤掉外点保留内点，最终利用一个鲁棒性评估器计算变换矩阵。这类方法通常会引入均匀采样或者关键点检测这类稀疏性方法。相较于均匀采样，关键点检测在稀疏点云时会考虑点的几何特征的显著性，从而减少匹配的模糊性。然而，稀疏性会对采样点的可重复性提出要求，当两点云间的重叠区域较小时，这将会进一步加深匹配的错误率。综上所述，现有的点云匹配算法存在匹配度低的问题。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于显著锚点几何嵌入的点云配准方法，该方法包括：获取获取相同场景下不同视角的两个点云；将两个点云数据输入到训练好的点云配准模型中，得到点云配准结果；

对点云配准模型进行训练的过程包括：

S1、获取训练数据集，该数据集中每个数据包括相同场景下不同视角的两个点云；

S2、将训练集中的两个不同视角的点云进行核点卷积，得到两个点云的超点特征；

S3、将超点特征输入到锚点模块中进行锚点对应查找，得到锚点对应点；将查找到的锚点对应点输入到特征模块中进行特征提取；采用迭代法对锚点对应点和提取的锚点对应点特征进行优化，得到最优特征；

S4、根据最优特征计算超点的匹配，通过超点匹配在对应区域中查找匹配的全局对应点；

S5、计算各个区域的变换，根据全局对应点选择最优变换；

S6、对最优点云进行转换估计，得到估计结果；

S7、根据估计结果计算模型的损失函数，当损失函数收敛时完成模型的训练。

优选的，对两个不同视角的点云进行核点卷积计算的过程包括：

N_x＝{x_i∈P|‖x_i-x‖≤r}

其中，x_i为P点云中的点，f_i为第i个点云对应的特征，F表示点的特征，g(.)表示核函数，N_x表示在x_i的r半径内选取临近点x。

优选的，采用锚点模块和特征模块对输入特征进行处理的过程包括：将核点卷积得到的超点特征输入锚点模块，采用NMS方法选择多个高质信度匹配作为锚点对应，具体步骤包括：

步骤1、从所有的对应关系中选出候选对应关系；

步骤2、计算所有候选对应关系的分数；

步骤3、根据分数的大小对候选对应关系进行排序，并选出最高分数所对应的候选对应关系；

步骤4、设置阈值，计算最高分数所对应的候选对应关系与其它对应关系的距离，并将计算出的距离与设置的阈值进行对比，删除小于阈值的对应关系，重复步骤4，直到候选对应关系筛选完成；

步骤5、将对应关系输入特征模块，引入结构嵌入分支，融入自身全局上下文信息同时嵌入点对距离，充分交流两点云的结构信息、增强特征的差异性，得到更好的特征。

进一步的，特征模块对输入的对应关系进行处理的过程包括：特征模块包括自注意模块和几何交流模块；选取一定量的对应关系建立点云之间的联系，将对应关系输入特征模块；采用自注意模块加强点云内部地交互，引入结构嵌入分支能够使得自注意模块具备拓扑结构编码功能；采用几何交流模块加强两个点云之间的交互，最后输出增强的特征。

优选的，将最优超点点云与目标点云进行匹配的过程包括：利用解码器模块解码超点特征；将解码器的最后一层将输出的分辨率恢复到各自点云的原始分辨率，同时获得源点云和目标点云的点的特征；对于每个点将按照最近匹配的方式将其分配给超点完成区域的划分；根据区域匹配结果在相应区域中利用Sinkhorn算法完成点匹配，获得该区域匹配的点匹配集。

本发明的有益效果

本发明将建立了锚点对应的点云间的联系，以此为桥梁可以利用几何交流模块充分交流两点云的信息；嵌入点与锚点的距离特征，能够有效检测区域在全局拓扑结构上的差异，从而减少低重叠率下非重叠相似区域的匹配，进而提高区域匹配的准确度；一方面考虑到点云具有明显的几何结构，可以通过几何嵌入的方式对点云的上下文结构信息进行编码，增加点特征之间的差异性，以减少相似区域间的误匹配；另一方面，在低重叠率的情况下，充分交换点云间的信息是区分相似非对齐区域的关键。

附图说明

图1为本发明的整体结构图；

图2为本发明的算法流程图；

图3为本发明的配准结果可视化图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于显著锚点几何嵌入的点云配准方法，该方法包括：获取获取相同场景下不同视角的两个点云；将两个点云数据输入到训练好的点云配准模型中，得到点云配准结果，其中，点云配准结果如图3所示。

如图2所示，对点云配准模型进行训练的过程包括：

S1、获取训练数据集，该数据集中每个数据包括相同场景下不同视角的两个点云；

S2、将训练集中的两个不同视角的点云进行核点卷积，得到两个点云的超点特征；

S3、将超点特征输入到锚点模块中进行锚点对应查找，得到锚点对应点；将查找到的锚点对应点输入到特征模块中进行特征提取；采用迭代法对锚点对应点和提取的锚点对应点特征进行优化，得到最优特征；

S4、根据最优特征计算超点的匹配，通过超点匹配在对应区域中查找匹配的全局对应点；

S5、计算各个区域的变换，根据全局对应点选择最优变换；

S6、对最优点云进行转换估计，得到估计结果；

S7、根据估计结果计算模型的损失函数，当损失函数收敛时完成模型的训练。

在本实施例中，对两个不同视角的点云进行核点卷积计算的公式包括：

N_x＝{x_i∈P|‖x_i-x‖≤r}

其中，x_i为P点云中的点，f_i为第i个点云对应的特征，F表示点的特征，g(.)表示核函数，N_x表示在x_i的r半径内选取临近点x。

在本实施例中，核函数g(.)将以x为中心的邻居位置作为输入，即其表达式为y_i＝x_i-x；核函数的邻域半径由r定义，则核函数的定义域为

由于核函数对这个域内的不同区域应用不同的权重，则将/>

作为核点，并且

为相关权重矩阵将特征从D_in维度映射到D_out维度。核函数定义为：

其中h(·)是

和y_i之间的相关性，当/>

距离y_i越近，相关性越高。受双线性插值的启发，引用线性相关性：

其中σ是核点的影响距离，将根据输入密度选择。

一种基于锚点对应建立点云联系的多粒度点云配准方法，以此交流点云间的结构信息获得重叠区域的超点对应。结构示意图如图1所示。在该结构中首先将两个原始相关特征提取出来。该网络层级间下一层超点以上一层1/2的分辨率采样，同时上一层超点的特征将聚合到欧氏空间中下一层距离最近的超点上。给定两个未对齐的原始点云，编码器模块将输出两点云超点的特征

表示如下：/>

随后将这些包含区域信息的超点特征输入到锚点模块和特征模块中，嵌入全局上下文信息的同时充分交流两点云的结构信息，寻找超点对应即粗对应。由于超点代表了局部区域，因此超点对应关系即区域对应关系，进而可以在对应区域内细化对应关系寻找点匹配。

当锚点对应正确时，该锚点对应的两点其实是同一点在不同视角下的投影，以其为基准点嵌入几何信息既能保证同一区域特征的一致性又能消除相似区域(非同一区域)模糊性。由上可知，寻找准确的的锚点对应方法有效的关键。采用NMS方式选取若干高置信度锚点对应。

具体过程包括：首先从所有的对应关系中圈出若干候选对应关系，这些对应关系各自的基准点或者说所代表的区域距离较近，保留最优的对应关系。假设有多个对应关系，每个对应关系有一个分数。然后每次选取一个最高分数的对应关系，之后剔除掉与该对应关系距离小于阈值的对应关系。重复上述过程，直至选取一定量的对应关系为止。

选取一定量的对应关系建立点云之间的联系，然后通过特征模块来获取重叠区域的超点对应。特征模块主要由自注意和几何交流模块构成。融合自身全局上下文信息最常用的模块就是自注意模块。引入结构嵌入分支能够使得自注意模块具备拓扑结构编码功能。以源点云为例，给定点云超点特征

与几何结构编码/>

利用三个可学习的矩阵W_q、W_k、W_v将超点特征/>

分别映射为/>

同时利用W_g将几何结构编码/>

映射为/>

随后

分别计算系数矩阵后按特定比例融合得到注意力分数矩阵。其中每一项值的计算如公式(1)所述：/>

其中，Score^(i,j)表示注意力分数，

表示利用可学习矩阵W_q将超点特征映射得来，/>

表示P点云中的第i个超点，/>

表示利用可学习矩阵W_k将超点特征映射得来，/>

表示几何结构编码，/>

表示P点云中的两个超点i和j，T表示矩阵的转置，/>

表示K的维度的平方根。

最终输出F特征矩阵由公式(2)计算得到：

其中，

表示通过特征模块得到的更新了的特征。

对于几何结构编码

采用点对距离嵌入。对于任意两点/>

其中/>

f(·)表示一个正弦函数，这个函数将一个标量映射为一个高维特征；/>

表示P点云中的第i个超点，/>

表示P点云中的第j个超点。

几何交流模块被用于与另一帧点云交互全局上下文信息，并且这在低重叠率的条件下是非常重要的。即使在经过自注意模块对自身拓扑结构编码后，依旧存在非对齐区域特征相似的情况。这个时候与另一帧点云交换信息，进行对比是一种简单朴素的想法-人类在对齐点云时往往会检查其他区域是否对齐。但是与自注意不同的是在几何交流模块中对几何结构编码、交流结构信息并不是一件容易的事。为此，本文提出一种基于锚点-对应关系的方法，在几何交流模块中也引入原点云和目标点云的结构嵌入分支，有效加强点云间的交流、增强特征差异性。

不失一般性，给定一定数量锚点对应关系，记

分别为锚点-对应关系中源点云和目标点云中的点，并且每个锚点对应都有一个分数。对于每个源点云超点/>

和目标点云超点/>

分别计算/>

其中d(.)表示两点距离的平方。随后利用f(·)对其进行编码，如公式(3)所示：

其中，

表示P点云中超点和锚点结构嵌入的特征矩阵，/>

表示Q点云中超点和锚点结构嵌入的特征矩阵。

然后得到源点云和目标点云中超点的几何结构编码特征，分别为：

/>

其中，K表示K个锚点对应，s_i表示第i个锚点对应关系相关性分数。

然后，几何交流模块权重矩阵的每一项可以按公式(4)计算：

与自注意的结构不同最终的输出为:

如前所述，两点云的超点特征以锚点对应为媒介不仅融合了各自本身的全局拓扑信息也充分对比了另一帧的结构，以此建立高置信度的超点对应。采用一个迭代循环的方式逐步优化整个流程，更好的锚点对应产生更好的超点特征，更好的超点特征进一步产生更好的锚点对应。在多次迭代过程中，选取的错误的锚点-对应关系对特征的不良影响将会降低是因为不具有一致性，而具有一致性的正确的锚点-对应关系将会在多次迭代过程中逐步增强。该过程有利于根据高置信度的锚点对应产生全局一致的超点对应。

在得到粗匹配之后，利用解码器模块解码超点特征，该过程与编码器过程对称。在解码器的最后一层将输出的分辨率恢复到各自点云的原始分辨率，同时获得源点云和目标点云的点的特征。对于每个点将按照最近匹配的方式将其分配给超点完成区域的划分，这样每个粗匹配的结果可以看作是区域匹配。随后根据区域匹配，在相应区域中利用Sinkhorn算法完成点匹配，获得该区域匹配的点匹配集。

以往工作通常采用随机抽样一致性算法这类鲁棒性评估器从原始的对应关系中计算位置评估。但是原始的对应关系往往具有大量的异常值，根据随即一致性采样公式可知该方法在这种情况下往往存在收敛速度慢的缺点。为此本发明采用一种假设验证的方法能够更高效更准确的预测变换矩阵，这依赖于此前模块产生的高置信度的区域匹配和对应区域匹配的点匹配。区域匹配提供原始的假设选择，随后能够从其对应的点匹配中预测各自的变换矩阵，如公式(5)所示：

其中C′_i是区域匹配

中的点匹配，并且/>

最后重新考虑所有变换矩阵，得到最终结果；w_j表示第i个超点区域中第j个点的权重，R表示旋转矩阵，/>

表示P点云第i个超点区域中第j个点，t表示平移矩阵，/>

表示Q点云第i个超点区域中第j个点；R,t的具体数学表达如公式(6)所示：

其中

C表示最终全局密集点对应集，C_i′表示超点区域匹配中的点匹配，τ_a表示距离阈值，/>

表示并集。/>

训练损失函数由两部分组成

包括监督区域匹配的/>

损失和监督点匹配的/>

损失。

在区域匹配尺度上，采用一个变形的循环损失去监督区域匹配矩阵优化超点特征。首先仅考虑源点云中与目标点云存在重叠区域的小块，并将目标点云中的小块分为正的和负的两类，其中积极的表示在源点云中存在一个小块与该块至少存在10％的重叠率。对于每个锚补丁，将其在目标点云中的正块集表示为

将其负块集表示为/>

然后将原点云上的重叠感知圆损失定义如公式(7)所示：

其中

是特征空间的距离，/>

和/>

代表了/>

和/>

之间的重叠率。正负权重分别计算每个样本的/>

和/>

边缘超参数设置为Δ_p＝0.1和Δ_n＝1.4。重叠感知循环损失根据重叠率重新加权/>

上的损失值，从而具有较高重叠的补丁对更重要了。目标点云上的损失/>

也是如此。总损失为如公式(8)所示：

真实有效的点对应关系相对稀疏，因为它们仅适用于下采样点云。只需在每个超点对应关系的赋值矩阵

上使用负对数似然损失。在训练过程中，随机采样N_g个真实有效的超点对应关系/>

而不是使用预测的对应关系。对于每个/>

提取一组具有匹配半径τ的真实有效的点对应M_i。两个补丁中的不匹配点的集合表示为I_i和J_i。/>

的单个点匹配损失计算如公式(9)所示:

最终损失是通过对所有采样的超点匹配的单个损失进行平均来计算的,如公式(10)所示：

其中，

模型损失函数，/>

表示P点云中的重叠感知循环损失，P表示P点云，A表示P中的补丁形成的锚补丁集合，/>

表示A集合的锚补丁，/>

表示点云中的正补丁集合，/>

表示P和Q中锚补丁的重叠率，/>

表示每个采样的正负权重，/>

和/>

表示P、Q对应点的特征空间的距离，Δ_p和Δ_n均表示边距超参数，/>

表示Q点云中的负补丁，/>

表示点云中的负补丁集合。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于显著锚点几何嵌入的点云配准方法，其特征在于，包括：获取获取相同场景下不同视角的两个点云；将两个点云数据输入到训练好的点云配准模型中，得到点云配准结果；

对点云配准模型进行训练的过程包括：

S1、获取训练数据集，该数据集中每个数据包括相同场景下不同视角的两个点云；

S2、将训练集中的两个不同视角的点云进行核点卷积，得到两个点云的超点特征；

S3、将超点特征输入到锚点模块中进行锚点对应查找，得到锚点对应点；将查找到的锚点对应点输入到特征模块中进行特征提取；采用迭代法对锚点对应点和提取的锚点对应点特征进行优化，得到最优特征；

S4、根据最优特征计算超点的匹配，通过超点匹配在对应区域中查找匹配的全局对应点；

S5、计算各个区域的变换，根据全局对应点选择最优变换；

S6、对最优点云进行转换估计，得到估计结果；

S7、根据估计结果计算模型的损失函数，当损失函数收敛时完成模型的训练。

2.根据权利要求1所述的一种基于显著锚点几何嵌入的点云配准方法，其特征在于，对两个不同视角的点云进行核点卷积计算的公式包括：

N_x＝{x_i∈P|‖x_i-x‖≤r}

其中，x_i为P点云中的点，f_i为第i个点云对应的特征，F表示点的特征，g(.)表示核函数，N_x表示在x_i的r半径内选取临近点x。

3.根据权利要求1所述的一种基于显著锚点几何嵌入的点云配准方法，其特征在于，采用锚点模块和特征模块对输入特征进行处理的过程包括：将核点卷积得到的超点特征输入锚点模块，采用NMS方法选择多个高质信度匹配作为锚点对应，具体步骤包括：

步骤1、从所有的对应关系中选出候选对应关系；

步骤2、计算所有候选对应关系的分数；

步骤3、根据分数的大小对候选对应关系进行排序，并选出最高分数所对应的候选对应关系；

步骤4、设置阈值，计算最高分数所对应的候选对应关系与其它对应关系的距离，并将计算出的距离与设置的阈值进行对比，删除小于阈值的对应关系，重复步骤4，直到候选对应关系筛选完成；

步骤5、将对应关系输入特征模块，引入结构嵌入分支，融入自身全局上下文信息同时嵌入点对距离，充分交流两点云的结构信息、增强特征的差异性，得到更好的特征。

4.根据权利要求3所述的一种基于显著锚点几何嵌入的点云配准方法，其特征在于，特征模块对输入的对应关系进行处理的过程包括：特征模块包括自注意模块和几何交流模块；选取一定量的对应关系建立点云之间的联系，将对应关系输入特征模块；采用自注意模块加强点云内部地交互，引入结构嵌入分支能够使得自注意模块具备拓扑结构编码功能；采用几何交流模块加强两个点云之间的交互，最后输出增强的特征。

5.根据权利要求4所述的一种基于显著锚点几何嵌入的点云配准方法，其特征在于，特征模块中自注意模块的计算注意力分数的公式为：

其中，

表示利用可学习矩阵W_q将超点特征映射得来，/>

表示P点云中的点，/>

表示利用可学习矩阵W_k将超点特征映射得来，/>

表示几何结构编码，/>

表示一对对应点中P点云的点，T表示矩阵的转置，/>

表示K的维度的平方根。

6.根据权利要求4所述的一种基于显著锚点几何嵌入的点云配准方法，其特征在于，特征模块中几何交流模块的权重计算公式为：

其中，

表示利用可学习矩阵W_q将P点云超点特征映射得来，/>

表示源点云，/>

表示P点云的几何结构编码，/>

表示利用可学习矩阵W_q将Q点云超点特征映射得来，/>

表示Q点云的超点，/>

表示Q点云的几何结构嵌入特征。

7.根据权利要求1所述的一种基于显著锚点几何嵌入的点云配准方法，其特征在于，将最优超点点云与目标点云进行匹配的过程包括：利用解码器模块解码超点特征；将解码器的最后一层将输出的分辨率恢复到各自点云的原始分辨率，同时获得源点云和目标点云的点的特征；对于每个点将按照最近匹配的方式将其分配给超点完成区域的划分；根据区域匹配结果在相应区域中利用Sinkhorn算法完成点匹配，获得该区域匹配的点匹配集。

8.根据权利要求1所述的一种基于显著锚点几何嵌入的点云配准方法，其特征在于，对最优点云进行转换估计的公式为：

其中，R表示旋转矩阵，t表示平移矩阵，

表示点云P中的点，/>

表示点云Q中与/>

对应的点，c表示对应点集，/>

表示/>

的对应点/>

与预测的对应点之间的距离平方。

9.根据权利要求1所述的一种基于显著锚点几何嵌入的点云配准方法，其特征在于，模型的损失函数为：

/>

其中，

模型损失函数，/>

表示P点云中的重叠感知循环损失，P表示P点云，A表示P中的补丁形成的锚补丁集合，/>

表示A集合的锚补丁，/>

表示点云中的正补丁集合，/>

表示P和Q中锚补丁的重叠率，/>

表示每个采样的正负权重，/>

和/>

表示P、Q对应点的特征空间的距离，Δ_p和Δ_n均表示边距超参数，/>

表示Q点云中的负补丁，/>

表示点云中的负补丁集合。/>

Images