CN116128944A - 一种基于特征交互和可靠对应关系估计的三维点云配准方法 - Google Patents

Abstract

本发明公开了一种基于特征交互和可靠对应关系估计的三维点云配准方法，包括：步骤1，通过三维扫描仪获取模型多个视角的三维点云；步骤2，利用图神经网络提取两片点云的特征，后利用带有位置编码的Transformer网络对目标点云和源点云的特征进行聚合；步骤3，通过基于注意力机制的重叠掩码网络来识别两片点云间的重叠区域，提取关键点；步骤4，利用两片点云的形状特征和三维坐标特征分别计算匹配矩阵；步骤5，采用三角描述符来区分内联点和异常点，并结合SVD算法来估计源点云与目标点云之间的变化矩阵，完成三维点云的配准；本发明提供的配准方法在两片点云间部分重叠、包含大量噪声等情况下仍能快速精确地完成三维点云配准任务。

Description

一种基于特征交互和可靠对应关系估计的三维点云配准方法

技术领域

本发明涉及三维点云模型配准技术，具体涉及一种基于特征交互和可靠对应关系估计的三维点云配准方法。

背景技术

随着三维点云的快速发展，刚性点云配准在许多领域都是一项至关重要的任务，如三维重建、自动驾驶、物体姿态估计、文物数字保护等。它的目标是找到使两个给定点云对齐的刚性变换。然而，在使用激光雷达扫描仪获取点云数据时，通常也会引入大量的噪声和异常值。噪声和异常值会在计算中产生误差，严重影响后续中点云的局部特征估计，进而导致点云配准失败。因此，如何处理噪声和异常值，并在两点云之间找到良好的对应关系仍然是点云配准的关键任务。

目前，流行的配准方法大多是基于优化的传统配准方法，其中较为经典的方法是迭代最近点(Iterative Closest Point)算法。迭代最接近点(ICP)是应用最广泛的传统配准方法。该算法包括对应搜索和变换估计两个步骤，迭代交替求解点云配准问题。但ICP对噪声敏感，容易收敛到局部最优。因此，提出了一些ICP变体，通过改进匹配或搜索更大的姿态空间来提高性能。此外，还设计了一些具有复杂优化策略的传统配准方法。然而，上述方法的配准精度在处理初始位置差异大、噪声干扰强以及重叠程度小的场景时会急剧下降。

近年来，随着深度学习的快速发展，许多基于深度学习方法的点云配准工作受到越来越多的关注。然而以往的工作主要尝试设计复杂的神经网络来克服大量噪声、异常值和点云部分重叠的问题。然而，这些方法虽然性能优于传统方法，但对离群值的鲁棒性较差，不能很好地处理局部配准问题，并且这些复杂的结构设计会降低点云配准的效率。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种在面对大量异常值和点云间部分重叠时能快速且精确处理的基于特征交互和可靠对应关系估计的三维点云配准方法。

为了实现上述目的，本发明采用以下技术方案予以实现：

一种基于特征交互和可靠对应关系估计的三维点云配准方法，包括如下步骤：

步骤1，通过三维扫描仪获取模型多个视角的三维点云；

步骤2，利用图神经网络提取两片点云的特征，后利用带有位置编码的Transformer网络对目标点云和源点云的特征进行聚合；

步骤3，通过基于注意力机制的重叠掩码模块来识别两片点云间的重叠区域，并根据区域的显著性分数进一步采样点云中的关键点；

步骤4，利用两片点云的形状特征和三维坐标特征分别计算匹配矩阵；

步骤5，采用三角描述符来进一步区分内联点和异常点，并结合SVD算法来估计源点云与目标点云之间的变化矩阵，完成三维点云的配准。

优选的，所述步骤2中利用图神经网络提取两片点云的特征的过程包括：

采用三维坐标表示初始特征，采用K近邻搜索相邻点，用N_i表示中最接近x_i点的K个点的集合，则计算GNN第n层的向量特征F_i表示为：

其中f和g分别表示单层多层感知器和两个隐层的MLP，并在每层MLP后使用BN和ReLU激活函数。

进一步的，将图神经网络的每层叠加5次，增加网络深度，每层输出特征的维数分别为64、64、128、256、512。

优选的，步骤2所述的位置编码网络由全连接层(FC)、sigmoid和ReLU激活组成，其处理过程和特征表示为：

P_X＝ReLU(FC(Sigmoid(FC(X))))

其中和分别表示通过GNN学习源点云和目标点云特征，P_X和P_Y表示学习到的位置编码；

通过Transformerφ对特征进行聚合，最终点云的特征可以表示为：

优选的，所述步骤3中两片点云间的重叠区域的识别过程包括：

基于注意力机制的重叠掩码模块使用一组通道交叉注意块在两个点云之间交换特征信息，通道交叉注意块输出特征的维数分别为512、256、512；

采用点云X和Y的两个特征向量作为对比度感知通道注意力的输入，然后将X的输入特征向量分为查询操作Q_X和值操作V_x；

将Y的输入特征向量划分为一个键操作K_y和一个值操作V_y；将Q_x和K_y相乘，再通过softmax函数得到交叉注意矩阵A_xy和A_yx；最后，计算出两个点云X和Y的基于注意力的全局特征和

优选的，点云中的关键点的采样过程包括：

使用一组大小为512、256、128、1的MLP的输出特征维数来估计两个点云的掩码，通过sigmoid层将深层特征转换为显著性评分，挑选Top K个关键点。

优选的，所述步骤4中两片点云的形状特征和三维坐标特征匹配矩阵计算过程包括：

点云关键点特征分别表示为f_X(i)∈F_X和f_Y(j)∈F_Y，则形状特征张量表示为：

三维点云坐标特征表示为c_X(i)∈C_X和c_Y(j)∈C_Y，则三维坐标张量表示为：

其中[；]表示拼接，[·]表示向量的模；

将两组具有BN和ReLU的MLP应用于三维坐标张量和关键点特征张量，得到坐标匹配矩阵和特征匹配矩阵；

最后，将两者相加得到融合匹配矩阵。

进一步的，用于获得所述的特征匹配矩阵的MLP输出的特征维度分别为256、128、128、1；

用于获得所述的坐标匹配矩阵的MLP输出的特征维度分别为32、32、32、1。

进一步的，所述步骤5中采用三角描述符来进一步区分内联点和异常点，并结合SVD算法来估计源点云与目标点云之间的变化矩阵的过程包括：

根据特征匹配矩阵M，选择Top p个点作为最终的代表点得到特征的相似矩阵M'；

利用KNN搜索C'_X中x_i的采样点Idx_X，并将Idx_X与x_i结合得到g_X，利用对应矩阵M'映射得到g_Y，用g_X和g_Y分别计算三角形的长度l_X和l_Y，则误差E_r(x_i,y_j)和{x_i,y_i}对应权值可计算为：

w(x_i,y_j)＝2×sigmoid(-λE_r(x_i,y_j))

其中min是取k个最小值的运算；λ是调整置信度估计的参数；

设置一个阈值τ来过滤对应关系，如果{x_i,y_i}对应的权值大于τ，则权重设为1，表明对应的三角形相似，该点对为内联点；否则，权重设置为0，表明该点对为离群点；

最后，将过滤后的对应关系结合奇异值分解(SVD)算法估计变换矩阵。

更进一步的，所述的阈值τ设置为0.6。

本发明与现有技术相比，具有如下技术效果：

本发明提出的三维点云配准网络模型由五个部分组成：点特征提取、关键点选取、匹配矩阵计算、可靠对应关系评估和奇异值分解(SVD)；具体来说，在简单图神经网络(GNN)提取点特征后，利用带有位置编码网络的Transformer来丰富点特征；此外，通过基于注意机制的重叠掩码来识别重叠区域，并根据区域的显著分数进一步采样一些兴趣点；最后，为了找到可靠的对应点，提高配准精度，采用了三角描述符来进一步区分内值和异常值；为了加快点云配准的速度，在第一阶段引入关键点选择模块，检测重叠区域并学习判别特征；利用局部特征和坐标特征计算相应的匹配矩阵，并将其融合得到最终的匹配矩阵；然后，在第二阶段通过三角描述符获得较高的对应关系；这使得本发明构建的点云配准网络在点云包含大量噪声、异常值以及点云间部分重叠的情况下仍能快速和准确地完成三维点云配准。

附图说明

图1为本发明的流程图；

图2为点云配准网络模型图；

图3为带有位置编码的Transformer的结构示意图；

图4为基于注意力的关键点选择模块的结构示意图；

图5为可靠对应关系估计模块的结构；

图6为秦俑点云配准效果图。

具体实施方式

以下结合实施例对本发明的具体内容做进一步详细解释说明。

参照图1-5，本实施例提供一种基于特征交互和可靠对应关系估计的三维点云配准方法，包括如下步骤：

步骤1，通过三维扫描仪获取模型多个视角的三维点云；

步骤2，利用图神经网络(Graph Neural Network,GNN)提取两片点云的特征，后利用带有位置编码的Transformer网络对目标点云和源点云的特征进行聚合；其中为了识别相邻结构的特征，采用K近邻法(K Nearest Neighbors,KNN)搜索相邻点，用N_i表示中最接近x_i点的K个点的集合，则计算GNN第n层的向量特征F_i为可以表示为

其中f和g分别表示单层多层感知器和两个隐层的MLP，并在每层MLP后使用BN和ReLU激活函数。利用点的三维坐标表示初始特征，将GNN网络的一层叠加5次，以增加网络深度，每层输出特征的维数分别为64、64、128、256、512。

位置编码网络由由全连接层(FC)、sigmoid和ReLU激活组成，用于来学习两云之间的关系；其处理过程和特征可以表示为：

P_X＝ReLU(FC(Sigmoid(FC(X))))

其中和分别表示通过GNN学习源点云和目标点云特征，P_X和P_Y表示学习到的位置编码。

通过Transformerφ对特征进行聚合，Transformer网络由几个堆叠的编码器和解码器层组成，其中编码器采用多头自注意机制，共享权重的MLP将特征编码到嵌入到特征空间中，该解码器主要利用一个多头交叉注意层来关联两个点云特征信息，最终点云的特征可以表示为：

步骤3，通过基于注意力机制的重叠掩码模块来识别两片点云间的重叠区域，并根据区域的显著性分数进一步采样点云中的关键点；其中首先使用一组通道交叉注意块在两个点云之间交换特征信息。通道注意输出特征的维数分别为512、256、512。采用点云X和Y的两个特征向量作为CCA块的输入。然后，我们将X的输入特征向量分为查询操作Q_X和值操作V_x。此外，我们还将Y的输入特征向量划分为一个键操作K_y和一个值操作V_y。将Q_x和K_y相乘，再通过softmax函数得到交叉注意矩阵A_xy和A_yx。最后，计算出两个点云X和Y的基于注意力的全局特征和

最后使用一组大小为(512,256,128,1)的MLP来估计两个点云的掩码，通过sigmoid层将深层特征转换为显著性评分，显著性得分越高，说明该点更有可能位于两点云的重叠区域。我们保留显著性得分最高的K个点，丢弃其余的点。

步骤4，利用两片点云的形状特征和三维坐标特征分别计算匹配矩阵；其中点云关键点特征分别表示为f_X(i)∈F_X和f_Y(j)∈F_Y，三维点云坐标特征表示为c_X(i)∈C_X和c_Y(j)∈C_Y，则形状特征张量和三维坐标张量可以表示为：

其中[；]表示拼接，[·]表示向量的模，形状特征张量融合了距离和特征的相对方向，三维坐标张量包含了源点云的三维坐标、点间的距离和方向。

最后，为了得到坐标和特征匹配矩阵，将两组具有BN和ReLU的mlp应用于三维坐标张量和关键点特征张量。然后，为了获得正确匹配点的对应关系，将两者相加得到融合匹配矩阵M。其中用于获得特征匹配矩阵的MLP输出的特征维度分别为256、128、128、1；用于获得坐标匹配矩阵的MLP输出的特征维度分别为32、32、32、1。

步骤5，为了找到两片点云可靠的对应关系，采用三角描述符来进一步区分内联点和异常点，并结合SVD算法来估计源点云与目标点云之间的变化矩阵，完成三维点云的配准。其中，可以去除C_X中一些没有显著特征的点，根据特征匹配矩阵M，选择Top p点作为最终的代表点 此外，得到了特征的相似矩阵M'。然后，为了进一步区分内联点和离群点，本发明采用三角描述符来捕获几何特征。通过判断两个三角形描述符的相似度来确定点之间的关系。如果{x_i,y_i}的对应关系是内联点对，则当{x_i,y_i}的置信值较高时，三角描述符将非常相似。首先利用KNN搜索C'_X中x_i的采样点Idx_X，并将Idx_X与x_i结合得到g_X。然后利用对应矩阵M'映射得到g_Y。然后用g_X和g_Y分别计算三角形的长度l_X和l_Y。最终误差E_r(x_i,y_j)和{x_i,y_i}对应权值可计算为：

w(x_i,y_j)＝2×sigmoid(-λE_r(x_i,y_j))

其中min是取k个最小值的运算；λ是调整置信度估计的参数。

设置一个阈值τ来过滤对应关系，如果{x_i,y_i}对应的权值大于τ，则权重设为1，表明对应的三角形相似，该点对为内联点；否则，权重设置为0，表明该点对为离群点；经过多次测试，本实验中阈值τ设置为0.6时达到最好的配准效果。

最后，将过滤后的对应关系结合奇异值分解(SVD)算法估计变换矩阵。

图6通过本发明所述方法进行配准后的点云配准结果图。由图可知本发明所述方法针对点云间部分重叠、包含噪声时仍能鲁棒地处理。

Claims (10)

1.一种基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，包括如下步骤：

步骤1，通过三维扫描仪获取模型多个视角的三维点云；

步骤2，利用图神经网络提取两片点云的特征，后利用带有位置编码的Transformer网络对目标点云和源点云的特征进行聚合；

步骤3，通过基于注意力机制的重叠掩码模块来识别两片点云间的重叠区域，并根据区域的显著性分数进一步采样点云中的关键点；

步骤4，利用两片点云的形状特征和三维坐标特征分别计算匹配矩阵；

步骤5，采用三角描述符来进一步区分内联点和异常点，并结合SVD算法来估计源点云与目标点云之间的变化矩阵，完成三维点云的配准。

2.如权利要求1所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，所述步骤2中利用图神经网络提取两片点云的特征的过程包括：

采用三维坐标表示初始特征，采用K近邻搜索相邻点，用N_i表示中最接近x_i点的K个点的集合，则计算GNN第n层的向量特征F_i表示为：

其中f和g分别表示单层多层感知器和两个隐层的MLP，并在每层MLP后使用BN和ReLU激活函数。

3.如权利要求2所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，将图神经网络的每层叠加5次，增加网络深度，每层输出特征的维数分别为64、64、128、256、512。

4.如权利要求1或3所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，步骤2所述的位置编码网络由全连接层(FC)、sigmoid和ReLU激活组成，其处理过程和特征表示为：

P_X＝ReLU(FC(Sigmoid(FC(X))))

其中和分别表示通过GNN学习源点云和目标点云特征，P_X和P_Y表示学习到的位置编码；

通过Transformerφ对特征进行聚合，最终点云的特征可以表示为：

5.如权利要求1所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，所述步骤3中两片点云间的重叠区域的识别过程包括：

基于注意力机制的重叠掩码模块使用一组通道交叉注意块在两个点云之间交换特征信息，通道交叉注意块输出特征的维数分别为512、256、512；

采用点云X和Y的两个特征向量作为对比度感知通道注意力的输入，然后将X的输入特征向量分为查询操作Q_X和值操作V_x；

将Y的输入特征向量划分为一个键操作K_y和一个值操作V_y。将Q_x和K_y相乘，再通过softmax函数得到交叉注意矩阵A_xy和A_yx，最后，计算出两个点云X和Y的基于注意力的全局特征和

6.如权利要求1或5所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，点云中的关键点的采样过程包括：

使用一组大小为512、256、128、1的MLP的输出特征维数来估计两个点云的掩码，通过sigmoid层将深层特征转换为显著性评分，挑选Top K个关键点。

7.如权利要求1所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，所述步骤4中两片点云的形状特征和三维坐标特征匹配矩阵计算过程包括：

点云关键点特征分别表示为f_X(i)∈F_X和f_Y(j)∈F_Y，则形状特征张量表示为：

三维点云坐标特征表示为c_X(i)∈C_X和c_Y(j)∈C_Y，则三维坐标张量表示为：

其中[；]表示拼接，[·]表示向量的模；

将两组具有BN和ReLU的MLP应用于三维坐标张量和关键点特征张量，得到坐标匹配矩阵和特征匹配矩阵；

最后，将两者相加得到融合匹配矩阵。

8.如权利要求7所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，用于获得所述的特征匹配矩阵的MLP输出的特征维度分别为256、128、128、1；

用于获得所述的坐标匹配矩阵的MLP输出的特征维度分别为32、32、32、1。

9.如权利要求8所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，所述步骤5中采用三角描述符来进一步区分内联点和异常点，并结合SVD算法来估计源点云与目标点云之间的变化矩阵的过程包括：

根据特征匹配矩阵M，选择Top p个点作为最终的代表点得到特征的相似矩阵M'；

利用KNN搜索C'_X中x_i的采样点Idx_X，并将Idx_X与x_i结合得到g_X，利用对应矩阵M'映射得到g_Y，用g_X和g_Y分别计算三角形的长度l_X和l_Y，则误差E_r(x_i,y_j)和{x_i,y_i}对应权值可计算为：

w(x_i,y_j)＝2×sigmoid(-λE_r(x_i,y_j))

其中min是取k个最小值的运算；λ是调整置信度估计的参数；

设置一个阈值τ来过滤对应关系，如果{x_i,y_i}对应的权值大于τ，则权重设为1，表明对应的三角形相似，该点对为内联点；否则，权重设置为0，表明该点对为离群点；经过多次测试，本实验中阈值τ设置为0.6时达到最好的配准效果。

最后，将过滤后的对应关系结合奇异值分解(SVD)算法估计变换矩阵。

10.如权利要求9所述的基于特征交互和可靠对应关系估计的三维点云配准方法，其特征在于，所述的阈值τ设置为0.6。

Images