CN111882593A - 结合注意力机制及三维图卷积网络的点云配准模型及方法 - Google Patents

Abstract

本发明涉及一种结合注意力机制及三维图卷积网络的点云配准模型及方法，该模型为一个三分支的暹罗(Siamese)架构，包括Detector模型和Descriptor模型。所述Detector模型用于提取点的注意力特征，构造注意力机制；所述Descriptor模型用于生成三维深度特征的表达式来表示点的三维深度特征，学习判别点云的深度特征。该方法先进行模型训练，利用feature alignment triplet loss构造损失函数训练该模型，有效地从点云中提取注意力特征和描述子(Descriptor)特征；模型训练后，进行点云配准。本发明可以自动提取关键点和每个关键点的三维深度特征，在三维图卷积网络中，将多层感知器MLP与图卷积网络GCN相结合，设计了一个新的点云特征提取模块，可以提取更多有鉴别意义的点云特征，提高了点云配准的准确性。

Description

结合注意力机制及三维图卷积网络的点云配准模型及方法

技术领域

本发明涉及计算机视觉及地球空间信息科学领域，具体地说是一种结合注意力机制及三维图卷积网络的点云配准模型及方法。

背景技术

三维点云可以提供丰富、密集的物体空间信息，在民用交通工程、隧道工程、数字城市、同步定位与测绘等领域发挥着重要作用。在这些应用中，点云配准是一个基本而关键的问题，由于定位传感器的误差或坐标系统的不一致性，使得空间数据的不同相位或视图存在一定的不匹配，又空间对象的复杂性和局部相似性，云点的自动高效配准面临挑战。

3D点云Descriptor包括3D Harris、3D尺度不变量特征变换(scale-invariantfeature transform，SIFT)、法线对齐径向特征(normal aligned radial feature，NARF)和局部表面特征(local surface patch feature)。此外，还有一些空间统计的Descriptor，如快速点特征直方图(FPFH)，点特征直方图(PFH)等。这些传统的点云Descriptor主要是手工设计的，三维特征已在点云库(PCL)中被模块化，在特征显著性和灵活性方面不强。

与人工设计的特征相比，利用端到端深度学习模型可以自动、高效地对特征进行构建。但是由于点云的离散性和不规则性，在深度学习中如何表达点云的特征具有一定的挑战性。2017年基于体素的点云深度学习模型3Dmatch的出现，让3D点云的配准也进入了深度学习的时代。其中，基于体素的深度学习特征Descriptor被设计用于点云注册，而3D孪生卷积神经网络则允许通过网络映射体素以获得512维深度Descriptor。PPFNet通过设计上下文感知的局部特征Descriptor来实现点云注册；3DFeat-Net使用PointNet模型学习旋转矩阵和点云深度特征，提高了PointNet模型的抗旋转能力。上述工作的骨干网络(PPFNet和3DFeatNet)都使用PointNet模型。

但仍然存在一些问题，如基于3D体素的深度学习方法计算时间较长，在体素化过程中会丢失部分数据精度，不适合高效注册；由于硬件设备的性能，体素的大小会受到很大的限制，这进一步影响了一些大场景中配准结果的质量；PointNet及其系列工作(例如PointNet++)在反旋转性能上有一些限制，并且在训练过程中需要许多数据增强操作(例如旋转)来满足模型的性能；由于训练样本的质量限制，模型变得不稳定，如果训练样本不足或者场景差异较大，模型的性能在注册过程中会下降。

在点云处理方面，有一些与图卷积网络(Graph Convolutional Network,GCN)相结合的研究，主要包括频谱域GCN、非频谱域GCN等。此外，用于大场景分类的超点图(Superpoint Graphs)网络和点云的过分割深度学习网络的出现，提高了点云分类的准确性。在这些方法中，GCN可以有效提高点云分类的精度，提高算法的鲁棒性。但是，这些方法的主干网络直接用于点云注册时存在时间复杂度高、训练时间长等问题。

因此，如何提供一种结构简单、效果良好的配准网络，使点云配准工作能在较少时间内完成且具有较好的结果，是目前本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种结合注意力机制及三维图卷积网络的点云配准模型及方法，以提取更多具有价值的点云特征，提高点云配准的准确性。

为了达到上述目的，本申请提供如下技术方案。

一种结合注意力机制及三维图卷积网络的点云配准模型，所述模型为一个三分支的暹罗(Siamese)架构，包括Detector模型和Descriptor模型，所述Detector模型用于提取点的注意力特征，构造注意力机制；所述Descriptor模型用于生成三维深度特征的表达式来表示点的三维深度特征，学习判别点云的深度特征。

优选地，所述Detector模型主要通过一个基于谱域的图卷积网络模块MLP_GCN提取生成点云的注意力特征，在Detector模型的MLP_GCN模块中使用5个完整的连接层(通道：64、64、128，滤波器：1×1)来提取初始点云特征，进一步实现点云特征提取功能。

优选地，所述Descriptor模型，首先使用PointNet++中点集提取的setabstraction(SA)模块来提取点云的初始特征，然后将两个基于谱域的图卷积网络模块MLP_GCN连接起来，从而提高网络的深度和性能，得到最终的三维深度特征。

优选地，两个基于谱域的图卷积网络模块MLP_GCN，其中，第一个MLP_GCN连接3个全连接层(节点:128-128-256),输出特征维数为n×128；第二个MLP_GCN连接3个全连接层(节点：256-256-512)，输出特征维数为n×256。

优选地，所述MLP_GCN结合了多层感知器MLP和图卷积网络GCN，能够有效地提取基于输入点云坐标的深度特征，提高特征的反旋转不变性和鉴别性。

优选地，所述MLP_GCN是使用PointNet++的采样和分组层来构建的，并连接3个完整的连接层(节点：64-64-128，过滤器：1×1)以提取点云特征X^n×128。

优选地，所述MLP_GCN的输入是点集，每个点集的点数为n，在一个点集中搜索每个点的最近K个点，并将每个点与其各自最近的K个点连接起来以形成边，从而建立了图G，再构造邻接矩阵A和深度矩阵D，计算拉普拉斯矩阵L^n×n；将卷积核的参数W设置为c_n×m，c_n为点云的特征长度，m为图卷积的输出特征维度，得到L·X·W值作为输出；最后，连接一个最大池层以获得点云的深度学习特征。

上述点云配准模型的配准方法，包括以下步骤：先进行模型训练，利用featurealignment triplet loss构造损失函数训练该模型，有效地从点云中提取注意力特征和描述子(Descriptor)特征；模型训练后，进行点云配准。

优选地，所述模型训练包括以下步骤：

自动构造匹配点对和非匹配点对，从一个数据集中选择一点，从另的一个数据集中取对应一点构成匹配点对，将配准前的点称为anchor，配准后的点称为positive，然后随机的选取一个不是anchor和positive的点称其为negative，使其与anchor点形成非匹配点对；

用K最近邻(K-Nearest Neighbor,KNN)算法分别搜索anchor点、positive点和negative点的K个最近邻，形成三个点集，作为深度学习网络的输入；

通过模型得到anchor、positive和negative的深度特征和注意力特征；

将上述特征加入到特征Feature Alignment Triplet Loss损失函数中以优化特征并训练模型。

优选地，所述点云配准包括以下步骤：

从两组点云的每组中均匀采样P_m点，并在P_m点中搜索每点最近的n个点，形成每组点云的P_m点集；将这些点集放入模型中，生成每个点集中每个点的深度特征和注意力特征；

每个点的注意力特征利用L₂-范数值来确定该点是否在其邻域内为最大值，如果是最大值，则将其添加到关键点(keypoint)队列，由此可以得到两组点云的关键点；

将得到的关键点的注意力值进行排序，选取前P_k个点为关键点；

根据每个最终的关键点搜索它们各自的n个最近邻点，以获得最终的P_k点集，将最终的点集输入模型，得到P_k点集中每个点的深度特征向量；

根据点集中每个点的深度特征，确定另一个点云中具有最接近欧几里德距离的对应深度特征，进而得到2×n×P_k点云匹配点对；

利用RANSAC算法去除匹配点集中的粗差；

采用最小二乘法计算旋转矩阵，得到配准结果。

本发明所获得的有益技术效果：

1)本发明解决了现有点云配准工作所存在的缺陷，设计了一个用于点云配准的弱监督三维图卷积网络，该网络可以自动提取关键点和每个关键点及其邻近点构成的点集的三维深度特征；在三维图卷积网络中，将多层感知器MLP与图卷积网络GCN相结合，设计了一个新的点云特征提取模块(命名为MLP_GCN)，该模块可以提取更多有鉴别意义的点云特征，提高了点云配准的准确性；

2)本发明将PointNet++和图卷积网络GCN结合成一个新的图深度学习模型，该模型充分利用了GCN在点集特征表达和高效计算方面的优势；

3)本发明根据注意力特征，采用非极大值抑制(non-maximum suppression,NMS)方法自动生成关键点及其深度特征，整个网络训练过程只需要建立匹配点对，不需要标注关键点；该机制是一种弱监督学习方法，可以节省大量手工标记匹配点对的时间；

4)本发明是基于深度学习的，有学习过程。与传统非深度学习的方法相比具有更好的性能，尤其在室外场景点云较为稀疏的时候；采用点集的方式，不像体素固定的立方体形状，具有更高的形状和大小灵活性，信息丢失减少，提取的特征更全面，从而最终配准效果更好；

5)本发明与同样采用点集却未使用GCN网络的方式相比，由于使用GCN网络，对空间旋转更敏感，配准效果更好；尤其在大场景中，由于现今的GPU内存有限，训练时使用的体素不能太小，最终匹配效果不佳，本发明很大程度上减轻了该问题。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，从而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下以本申请的较佳实施例并配合附图详细说明如后。

根据下文结合附图对本申请具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述及其他目的、优点和特征。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本公开实施例1中结合注意力机制及三维图卷积网络的点云配准模型的结构示意图；

图2是本公开实施例1中具有输入为C_n通道和输出为m个特征映射的图卷积网络GCN的结构示意图；

图3是本公开实施例2中点云配准的流程示意图；

图4是本公开实施例3中公开数据集((a)数据集Ⅰ和(b)数据集Ⅱ)；

图5是本公开实施例3中方法和现有的方法I-IV在数据集I中的测试结果图；

图6是本公开实施例3中方法和现有的方法I-IV在数据集Ⅱ中的测试结果图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

此外，本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身并不指示所讨论各种实施例和/或设置之间的关系。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。

实施例1

一种结合注意力机制及三维图卷积网络的点云配准模型，如附图1所示，所述模型为一个三分支的暹罗(Siamese)架构，包括Detector模型和Descriptor模型，所述Detector模型用于提取点的注意力特征，构造注意力机制；所述Descriptor模型用于生成三维深度特征的表达式来表示点的三维深度特征，学习判别点云的深度特征。

所述Detector模型主要通过一个基于谱域的图卷积网络模块MLP_GCN提取生成点云的注意力特征，在Detector模型的MLP_GCN模块中使用5个完整的连接层(通道：64、64、128，滤波器：1×1)来提取初始点云特征，进一步实现点云特征提取功能h(·)。然后，通过使用函数h(·)提取点云特征(X)，通过卷积运算求解拉普拉斯矩阵L(最近邻的数目设置为K＝32，矩阵L为n×n)。接着利用矩阵L和点云特征X对光谱域内的图像进行卷积，得到L·X·W。最后，L·X·W连接到最大池化层，其中W参数的维数为256×1，输出特征的维数为n×1。

上述Detector模型主要通过一个MLP_GCN模块提取生成点云的注意力特征。Detector模型可以表达点云中每个点特征的重要性。通过该模型，可以增强点云的特征表达效果，弱化点云的负面影响，体现区域的识别性。在配准过程中，通过搜索局部极大值的方法，自动检测关键点，实现点云注意力的特征表达。同时，通过设计弱监督学习方法而无需标记匹配点对，有效完成点云的配准。

所述Descriptor模型是利用卷积网络提取点云中各点深层特征。首先使用pointnet++中点集提取的set abstraction(SA)模块来提取点云的初始特征，然后将两个基于谱域的图卷积网络模块MLP_GCN连接起来，从而提高网络的深度和性能，得到最终的三维深度特征。

其中，SA模块的具体实现如下：首先连接三个全连接层(节点：64-64-128)，然后连接一个最大池层，接着设计两个全连接层(节点：128-256)，最后添加一个最大池层。SA生成的特征维数为n×256。

其中，两个基于谱域的图卷积网络模块MLP_GCN，其中，第一个MLP_GCN连接3个全连接层(节点:128-128-256)，其最近邻点数(K)是32，拉普拉斯矩阵L的维数n×n,卷积图的权重参数W的维数是256×128，输出特征X的维数为n×128；第二个MLP_GCN连接3个全连接层(节点：256-256-512)，其最近邻数(K)为32，拉普拉斯矩阵(L)的维数为n×n，图卷积权参数W的维数为512×256，输出特征维数为n×256。

上述MLP_GCN结合了多层感知器MLP和图卷积网络GCN，能够有效地提取基于输入点云坐标的深度特征，提高特征的反旋转不变性和鉴别性。MLP_GCN采用基于频谱的图卷积方法对点云进行深度特征提取，有效地增强了点云特征的重要性。

上述图卷积网络GCN利用由不规则点组成的点云来构造一个图结构，然后利用图结构来聚集相邻点的特征，如图2所示。在构造了图之后，设计了一个深度学习网络来处理点云的图结构，实现点云数据的特征提取。

具体如下：

构造点云的图结构。使用K最近邻(K-Nearest Neighbor,KNN)算法从点云生成一个点集，每个点集有n个点。定义间接图G＝(V,E)，其中V＝{v₁,v₂,v₃....v_n}是每个点集的集合，图的边集E表示点集中点之间的相邻关系。在点集V中找到每个顶点的K个最近邻点(K<n)，并将其连接到该顶点，从而建立顶点的边。由此完成构建V中每个顶点的所有边。矩阵A∈R^n×n定义为图的邻接矩阵。当两个顶点由一条边连接时，A(i,j)＝1；否则A(i,j)＝0。其中，i表示矩阵中该行的序列号，j表示矩阵中列的序列号。将矩阵D∈R^n×n定义为深度矩阵，当i＝j，

当i≠j，D(i,j)＝0。根据邻接矩阵和深度矩阵，可以求出拉普拉斯矩阵

构建图卷积模型，图卷积公式如下：

Output＝ReLU(LXW), (1)

式中，

每个点集提取的特征定义为

其中c_n表示生成的点云特征的长度；ReLU(·)代表了修正线性单位激活函数，X通过初始点集经过MLP(多层感知机)后获得；图卷积需要学习一个权值矩阵

其中m为图卷积的输出特征维数；输出(Output∈R^n×m)是图卷积后的输出特征。

MLP_GCN中设计了对称函数f(x₁,x₂,…x_n)＝G(h(x₁),h(x₂),…h(x_n))＝LXW，其中h(·)是由MLP的多层全连接层实现的点云特征提取功能。MLP使用多层全连接层，即多层2D卷积层(卷积内核为1×1)。通过这种方式，先提取点云特征，得到点云中的每个点特征。然后,使用公式(1)通过图卷积实现G(·)函数。通过卷积运算对有效点云特征进行聚类，增强特征的旋转不变性和识别性。

所述MLP_GCN是使用PointNet++的采样和分组层来构建的，并连接三个完整的连接层(节点：64-64-128，过滤器：1×1)以提取点云特征X^n×128。

所述MLP_GCN的输入是点集，每个点集的点数为n，为了在频谱域中对图形进行卷积，在一个点集中搜索每个点的最近K个点，并将每个点与其各自最近的K个点连接起来以形成边，从而建立了图G，再构造邻接矩阵A和深度矩阵D，计算拉普拉斯矩阵L^n×n；从公式(1)可以看出，将卷积核的参数W设置为c_n×m，c_n为点云的特征长度，m为图卷积的输出特征维度，得到L·X·W值作为输出；最后，连接一个最大池层以获得点云的深度学习特征。

实施例2

基于上述实施例1，上述点云配准模型的配准方法，包括以下步骤：先进行模型训练，利用feature alignment triplet loss构造损失函数训练该模型，有效地从点云中提取注意力特征和描述子(Descriptor)特征；模型训练后，进行点云配准。

在模型学习过程中，Detector模型生成anchor点a_anc＝(a₁,a₂,…,a_n)的注意力向量。Descriptor模型生成anchor的深度f_anc＝(f_{anc_1},f_{anc_2,fanc_3},...,f_{anc_n})，positive深度特征f_pos＝(f_{pos_1},f_{pos_2},f_{pos_3},...,f_{pos_n})，以及negative深度特征f_neg＝(f_{neg_1},f_{neg_2},f_{neg_3},...,f_{neg_n})。通过feature alignment triplet loss将四个特征向量组合起来以构建目标函数。

feature alignment triplet loss的构建基于Triplet Loss损失函数，TripletLoss损失函数公式如下：

式中，

式中，f_anc是anchor点的深度特征，f_pos是positive点的深度特征，f_neg是negative点的深度特征，a_anc是anchor点的注意力向量，a′_i为每个特征值与注意力向量中所有特征之和的比值，

Triplet Loss损失函数的输入包括anchor点特征(f_anc)、positive点特征(f_pos)和negative点特征(f_neg)。通过优化anchor点与positive点、anchor点与negative点之间的距离，可以缩短anchor点与positive点之间的距离(D_anc,pos)，增加anchor点与negative点之间的距离(D_anc,neg)。边距是正负的区间参数。在Triplet Loss损失函数的训练中，需要2对对应的点集，即匹配点集对：anchor点P_anc＝(p₁,p₂,…,p_n)和positive点P_pos＝(p₁,p₂,…,p_n)，以及不匹配点集对的集合：anchor点(P_anc)和negative点P_neg＝(p₁,p₂,…,p_n)。

在公式(2)中，通过计算欧几里得距离，使用anchor点、positive点和negative点来优化各自的特征。当点云P_anc和P_pos作为输入时(P_pos是通过P_anc的旋转和平移得到的)，深度特征是f_anc＝(f_{anc_1},f_{anc_2},f_{anc_3},...,f_{anc_n})和f_pos＝(f_{pos_1},f_{pos_2},f_{pos_3},...,f_{pos_n})。Triplet Loss的优化是通过计算欧几里得距离来实现，注重进行距离计算，得到更有效的优化模型。

基于公式(2)创新地将语义对齐引入模型的优化中，并再次设计FeatureAlignment Triplet Loss损失函数，其中用公式(3)和(4)替换公式(2)的D_anc,pos和D_anc,neg，以此计算三个点云P_pos，P_pos和P_neg之间的所有Descriptor对之间的距离。通过使用FeatureAlignment Triplet Loss，搜索P_pos中每个匹配点的特征，使其与P_anc中每个点的特征最接近。这样就排除了不相关的特征信息，并且点集中的点在语义上对齐。公式(4)是将注意力中的每个特征值与注意力中所有特征进行归一化。

模型训练包括以下步骤：

第一步，自动构造匹配点对和非匹配点对，从一个数据集中选择一点，从通过旋转和平移该数据集得到另的一个数据集中取对应一点构成匹配点对，将配准前的点称为anchor，配准后的点称为positive，然后随机的选取一个不是anchor和positive的点称其为negative，使其与anchor点形成非匹配点对。

第二步，用K最近邻(K-Nearest Neighbor,KNN)算法分别搜索anchor点、positive点和negative点的K个最近邻，形成三个点集，作为深度学习网络的输入。

第三步，通过模型得到anchor、positive和negative的深度特征和注意力特征。

在网络模型中，有一个Detector模型，该模型主要通过一个MLP_GCN模块提取生成点云的注意力特征。MLP_GCN模块的输入是点集，其中每个点集的点数为n。首先使用PointNet++的采样和分组层来构建MLP_GCN模型，并连接三个完整的连接层(节点：64-64-128，过滤器：1×1)以提取点云特征X^n×128。为了在频谱域中对图形进行卷积，在一个点集中搜索每个点的最近K个点，并将每个点与其各自最近的K个点连接起来以形成边，从而建立图G。接下来，构造邻接矩阵A和深度矩阵D，然后还计算拉普拉斯矩阵L^n×n。从公式(1)可以看出，将卷积核的参数W设置为c_n×m，c_n为点云的特征长度，m为图卷积的输出特征维度，得到L·X·W值作为输出。最后，连接一个最大池层以获得点云的深度学习特征。

Output＝ReLU(LXW) (5)

式中，

网络模型中还有一个利用卷积网络提取点云中各点深层特征的Descriptor模型，在该模型中，首先使用pointnet++中点集提取的set abstraction(SA)模块来提取点云的初始特征，然后将两个基于谱域的图卷积网络模块(MLP_GCNs)连接起来，从而提高网络的深度和性能，得到最终的三维深特征。SA模块的具体实现如下：首先连接三个全连接层(节点：64-64-128)，然后连接一个最大池层，接着设计两个全连接层(节点：128-256)，最后添加一个最大池层。SA生成的特征维数为n×256。除此之外,第一个MLP_GCN模块连接三个全连接层(节点:128-128-256)，其最近邻点数(K)是32，拉普拉斯矩阵L的维数n×n,卷积图的权重参数W的维数是256×128，输出特征X的维数为n×128。第二个MLP_GCN模块的参数包括三个全连接层(节点：256-256-512)，其最近邻数(K)为32，拉普拉斯矩阵(L)的维数为n×n，图卷积权参数W的维数为512×256，输出特征维数为n×256。

第四步，将上述特征加入到特征Feature Alignment Triplet Loss损失函数中以优化特征并训练模型。

Feature Alignment Triplet Loss的构建基于Triplet Loss损失函数，TripletLoss损失函数的输入包括anchor点特征(f_anc)、positive特征(f_pos)和negative特征(f_neg)。通过优化anchor点与positive点、anchor点与negative点之间的距离，可以缩短anchor点与positive点之间的距离(D_anc,pos)，增加anchor点与negative点之间的距离(D_anc,neg)。边距是anchor点与negative点的区间参数。在Triplet Loss损失函数的训练中，需要2对对应的点集，即匹配点集对：anchor点P_anc＝(p₁,p₂,…,p_n)和positive点P_pos＝(p₁,p₂,…,p_n)，以及不匹配点集对的集合：anchor点(P_anc)和negative点P_neg＝(p₁,p₂,…,p_n)。通过计算欧几里得距离，使用anchor点、positive点和negative点来优化各自的特征。当点云P_anc和P_pos作为输入时(P_pos是通过P_anc的旋转和平移得到的)，深度特征是f_anc＝(f_{anc_1},f_{anc_2},f_{anc_3},...,f_{anc_n})和f_pos＝(f_{pos_1},f_{pos_2},f_{pos_3},...,f_{pos_n})。Triplet Loss的优化是通过计算欧几里得距离来实现，注重进行距离计算，得到更有效的优化模型。

如图3所示，点云配准包括以下步骤：

第一步，从两组点云的每组中均匀采样P_m点，并在P_m点中搜索每点最近的n个点，形成每组点云的P_m点集；将这些点集放入模型中，生成每个点集的深度特征和每个点的注意力特征；

第二步，每个点的注意力特征利用L₂-范数值来确定该点是否在其邻域内为最大值，如果是最大值，则将其添加到关键点(keypoint)队列，由此可以得到两组点云的关键点；

第三步，将得到的关键点的注意力值进行排序，选取前P_k个点为关键点；

第四步，根据每个最终的关键点搜索它们各自的n个最近邻点，以获得最终的P_k点集，将最终的点集输入模型，得到P_k点集中每个点的深度特征向量；

第五步，根据点集中每个点的深度特征，确定另一个点云中具有最接近欧几里德距离的对应深度特征，进而得到2×n×P_k点云匹配点对；

第六步，利用RANSAC算法去除匹配点集中的粗差；

第七步，采用最小二乘法计算旋转矩阵，得到配准结果。

实施例3

基于上述实施例2，在某一环境下进行，使用的是两公开数据集，但并不表示该发明只能在此环境或者该数据集才有如此性能。本计算实例旨在具体表现本实施例与现有的其他四种点云配准方法的对比。

测试环境如下：Intel Xeon E5-2620 v4 CPU,Nvidia Quadro TITAN Xp GPU，12-GB RAM。训练过程是在Ubuntu 16.04上运行Tensorflow框架的下进行。

使用两个公开数据集((a)数据集Ⅰ和(b)数据集Ⅱ)来测试模型，如附图4所示，数据集来自ASL Datasets Repository。数据采集使用了Hokuyo UTM-30LX激光传感器，同时采用全站仪进行来测量绝对坐标，保证配准数据的正确性。

数据集Ⅰ是公共室内场景激光雷达点云数据集，它包括45个点云数据，包括一些复杂室内环境，如摆放及形状不规的桌子、椅子等，平均每个点云数量为365000个点，场景大小为17m×10m×3m。数据集I的训练数据在选取的30个点云场景中随机的采集40000个匹配点对，然后用剩下的15个点云场景数据进行验证实验。

数据集Ⅱ是室外激光扫描数据，该位置位于一个公园内，包括草地、小道和稀疏的树木等，主要建筑是一个由岩壁和覆盖着藤蔓的木质天花板组成的露台，数据集Ⅱ场景大小为72m×70m×19m，平均每个场景点云数量为153000个点。数据集Ⅱ一共有32个点云数据，计算实例用其中15个场景中随机采集15000个匹配点对作为训练，剩下的场景作为测试数据。数据集I和II都有配准后的真值数据用于配准结果的验证。

为了验证实施例方法的性能，将该方法与现有的4个方法作了比较。四种方法的异同如表1所示。

表1是对不同方法的对比

第一种方法是Super4pcs方法(方法I)，是利用共面四点的仿射不变性进行点云配准。第二种方法是Fast Global Registration(方法Ⅱ)，它使用全局优化方法计算旋转矩阵。第三种方法是体素化深度学习网络(方法Ⅲ)，它使用3DCNN的方式进行深度特征的提取，采用类似于Alexnet的网络结构，提取局部3D深度特征。第四种方法是3Dfeatnet方法(方法4)，它同样采用点集的方法，在使用PointNet++的SA模块的基础上，增加了一个类似于PointNet的t-net的结构来解决PointNet网络抗旋转能力差的问题。

数据集I

使用数据集I对方法I-IV和实施例方法进行了测试，测试结果如表2所示：

表2

由表2可知，本实施例提出的方法的RMSE值远低于比较方法的RMSE值，并且还获得了重叠率的稳健值。

如附图5所示，本实施例所提出的方法与其他方法进行比较，获得了更稳健和更低误差的结果。方法I和II是全局配准方法，它们没有学习的过程，但是这限制了这些方法的性能。作为同样采用深度学习的方法III，由于其基于体素深度学习方法来特征提取。体素需要设置大小的不灵活性及体素化过程中的信息丢失，容易造成配准的偏差。方法IV同样采用点集的方式，由于未使用GCN网络，其需要学习旋转矩阵，导致对旋转变换不敏感，容易造成匹配的错误。本实施例的方法可以较好的配准点云，得到的效果优于其它方法。本实施例的方法在匹配对上的表现优于其他方法，这是由于GCN网络能够更加适应于点云的旋转变换。

数据集II

使用数据集II对方法I-IV和实施例方法进行了测试，测试结果如表3所示：

表3

由表3可知，本实施例的方法由于在网络结构上解决了抗旋转的问题，又采用了基于点集的方式进行训练和配准，较好地解决了大场景中配准问题，得到了优于方法I-IV的配准效果。

如附图6所示，室外场景点云较为稀疏，方法I和方法II由于找到的匹配点数量少，难以完成配准工作。方法III由于体素的限制，在大场景中，受到GPU内存有限，不能以较小的体素去进行训练，这就导致了匹配效果不佳。方法IV能够看出其匹配效果，而且与该方法的提出论文中的结果一致。

通过上述在数据集I和数据集II的测试，可以显示出本发明提出的结合注意力机制及三维图卷积网络的点云配准模型与传统Super4pcs、Fast Global Registration、基于体素的点云深度学习配准模型、3DFeat-Net比较，无论从室内室外，本发明的算法结构都是最优的。通过改进对称函数，采用图卷积的方式，提升点云特征的抗旋转能力，是一种有效提升点云配准结果的方法。验证了本发明提出的算法在各个场景中的适应性和鲁棒性。

以上所述仅为本发明的优选实施例而已，其并非因此限制本发明的保护范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，通过常规的替代或者能够实现相同的功能在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和参数变更均落入本发明的保护范围内。

Claims (10)

1.一种结合注意力机制及三维图卷积网络的点云配准模型，其特征在于，所述模型为一个三分支的暹罗(Siamese)架构，包括Detector模型和Descriptor模型，所述Detector模型用于提取点的注意力特征，构造注意力机制；所述Descriptor模型用于生成三维深度特征的表达式来表示点的三维深度特征，学习判别点云的深度特征。

2.根据权利要求1所述的结合注意力机制及三维图卷积网络的点云配准模型，其特征在于，所述Detector模型主要通过一个基于谱域的图卷积网络模块MLP_GCN提取生成点云的注意力特征，在Detector模型的MLP_GCN模块中使用5个完整的连接层(通道：64、64、128，滤波器：1×1)来提取初始点云特征，进一步实现点云特征提取功能。

3.根据权利要求1所述的结合注意力机制及三维图卷积网络的点云配准模型，其特征在于，所述Descriptor模型，首先使用PointNet++中点集提取的set abstraction(SA)模块来提取点云的初始特征，然后将两个基于谱域的图卷积网络模块MLP_GCN连接起来，从而提高网络的深度和性能，得到最终的三维深度特征。

4.根据权利要求3所述的结合注意力机制及三维图卷积网络的点云配准模型，其特征在于，两个基于谱域的图卷积网络模块MLP_GCN，其中，第一个MLP_GCN连接3个全连接层(节点:128-128-256),输出特征维数为n×128；第二个MLP_GCN连接3个全连接层(节点：256-256-512)，输出特征维数为n×256。

5.根据权利要求2-4任一项所述的结合注意力机制及三维图卷积网络的点云配准模型，其特征在于，所述MLP_GCN结合了多层感知器MLP和图卷积网络GCN，能够有效地提取基于输入点云坐标的深度特征，提高特征的反旋转不变性和鉴别性。

6.根据权利要求2-4任一项所述的结合注意力机制及三维图卷积网络的点云配准模型，其特征在于，所述MLP_GCN是使用PointNet++的采样和分组层来构建的，并连接3个完整的连接层(节点：64-64-128，过滤器：1×1)以提取点云特征X^n×128。

7.根据权利要求2-4所述的结合注意力机制及三维图卷积网络的点云配准模型，其特征在于，所述MLP_GCN的输入是点集，每个点集的点数为n，在一个点集中搜索每个点的最近K个点，并将每个点与其各自最近的K个点连接起来以形成边，从而建立了图G，再构造邻接矩阵A和深度矩阵D，计算拉普拉斯矩阵L^n×n；将卷积核的参数W设置为c_n×m，c_n为点云的特征长度，m为图卷积的输出特征维度，得到L·X·W值作为输出；最后，连接一个最大池层以获得点云的深度学习特征。

8.根据权利要求1-7任一项所述点云配准模型的配准方法，其特征在于，包括以下步骤：先进行模型训练，利用feature alignment triplet loss构造损失函数训练该模型，有效地从点云中提取注意力特征和描述子(Descriptor)特征；模型训练后，进行点云配准。

9.根据权利要求8所述的结合注意力机制及三维图卷积网络的点云配准方法，其特征在于，所述模型训练包括以下步骤：

自动构造匹配点对和非匹配点对，从一个数据集中选择一点，从另的一个数据集中取对应一点构成匹配点对，将配准前的点称为anchor，配准后的点称为positive，然后随机的选取一个不是anchor和positive的点称其为negative，使其与anchor点形成非匹配点对；

用K最近邻(K-NearestNeighbor,KNN)算法分别搜索anchor点、positive点和negative点的K个最近邻，形成三个点集，作为深度学习网络的输入；

通过模型得到anchor、positive和negative的深度特征和注意力特征；

将上述特征加入到特征FeatureAlignment Triplet Loss损失函数中以优化特征并训练模型。

10.根据权利要求8所述的结合注意力机制及三维图卷积网络的点云配准方法，其特征在于，所述点云配准包括以下步骤：

从两组点云的每组中均匀采样P_m点，并在P_m点中搜索每点最近的n个点，形成每组点云的P_m点集；将这些点集放入模型中，生成每个点集中的深度特征和每个点注意力特征；

每个点的注意力特征利用L₂-范数值来确定该点是否在其邻域内为最大值，如果是最大值，则将其添加到关键点(keypoint)队列，由此可以得到两组点云的关键点；

将得到的关键点的注意力值进行排序，选取前P_k个点为关键点；

根据每个最终的关键点搜索它们各自的n个最近邻点，以获得最终的P_k点集，将最终的点集输入模型，得到P_k点集中每个点的深度特征向量；

根据点集中每个点的深度特征，确定另一个点云中具有最接近欧几里德距离的对应深度特征，进而得到2×n×P_k点云匹配点对；

利用RANSAC算法去除匹配点集中的粗差；

采用最小二乘法计算旋转矩阵，得到配准结果。

Images