CN114332176A - 一种端到端三维点云配准方法 - Google Patents

Abstract

本发明提供一种利用图神经网络和互相向量一致性的端到端三维点云配准方法，对部分重叠的点云进行配准。该方法主要包括四步：第一步，准备训练数据；第二步，搭建用于点云配准的端到端深度神经网络；第三步，对网络进行训练，第四步，将训练好的网络应用于实际配准中。其中端到端深度神经网络主要包括局部特征提取器，图神经网络层，以及互相向一致性模块。本发明在点云局部特征提取的基础上，增加了基于自我注意力和交叉注意力的特征聚合，使得提取的特征更具有辨识力。此外，本发明利用互相向量一致性对点云匹配结果进行修正，可以进一步剔除外点，获得更准确的匹配结果。

Description

一种端到端三维点云配准方法

技术领域

本发明属于点云配准技术领域，特别是涉及一种利用图神经网络和互相向量一致性的端到端三维点云配准技术方案及系统。

背景技术

点云配准的目的是找到一个精确的刚性变换矩阵来对齐两个点云。点云配准在计算机视觉和机器人领域有广泛的应用，如目标姿态估计、同时定位与建图等。最经典的点云配准方法——迭代最近点法及其各种变体通过最小化度量误差来迭代优化变换矩阵，度量误差通常定义为点对点的距离，然而这些方法严重依赖于初始参数，容易收敛到局部最小值。其他一些广泛使用的点云配准方法是基于特征的方法，然而这些方法需要人工设计用于特征点匹配的描述符，因此效率和灵活性相对较低。此外，如果待配准的两个点云中存在大量重复的几何结构，这些基于特征的方法可能配准效果较差。

随着点云深度神经网络的发展，出现了许多基于深度学习的点云配准方法。一般来说，这些方法可以分为两类：无对应的方法和基于对应的方法。无对应的方法通常先利用深度神经网络提取每个点云的全局特征，然后应用全连接层从两个点云的全局特征差异中直接回归出变换矩阵。这些无对应的方法既直接又快速，然而由于物理模型没有集成到他们的网络中，这些方法的泛化能力可能较差。此外，对于部分重叠的点云，这种方法的性能将过度依赖于特征提取网络。

基于对应的深度学习方法继承了传统方法的整体流程，它可以分为四个步骤：特征提取、特征匹配、异常值剔除和变换估计。一些基于深度学习的点云配准方法提出用深度神经网络代替传统方法中的一个或多个环节。例如，用深度神经网络提取特征描述符，之后结合RANSAC算法估计变换矩阵；或者利用传统算法进行特征提取和匹配，然后利用深度神经网络将初始匹配分为内点和外点，之后再估计变换矩阵。然而，这些基于对应的方法不是端到端的。最近，一些端到端的深度学习方法被提出来用于点云配准，输入待配准的两个点云，通过网络直接输出变换矩阵，这些端到端的深度学习方法的关键是获得准确的对应矩阵，然而当待配准的点云存在噪声或者部分重叠时，得到的对应矩阵可能存在大量异常值，从而导致无法得到准确的配准结果。

发明内容

为了实现端到端的更加准确的点云配准，本发明提供了一种利用图神经网络和互相向量一致性的端到端三维点云配准方法。互相向量一致性如图1所示，箭头表示点对应之间的位移向量，对于正确的对应，位移向量具有相同的长度和相反的方向(左)，这一约束在本发明中被定义为互相向量一致性；否则，位移向量不满足这个几何约束(右)。整体网络结构如图2所示。

假设待配准的两个点云分别表示为

和

其中X为源点云，Y为目标点云，N₁和N₂分别代表X和Y中点的数量。点云配准目的是得到输入数据之间的刚性变换{R，t}，其中R表示旋转矩阵，t表示平移向量。假设用大小为N₁×N₂的对应矩阵M来表示X和Y之间的点对应关系，如果x_i和y_j是一对对应，则M_i，j的值为1，否则为0。

本发明的技术方案为，一种端到端三维点云配准方法，包括如下步骤：

步骤1，训练样本数据和待配准数据的准备；

步骤2，端到端深度神经网络的搭建，包括以下子步骤；

步骤2.1，点云局部特征提取，使用共享权值的局部特征提取器分别为源点云X和目标点云Y提取局部特征描述符，

和

N₁和N₂分别代表X和Y中点的数量；

步骤2.2，基于图神经网络的特征聚合，得到最终用于匹配的特征描述符，进一步获得初始软对应矩阵

初始软对应矩阵表示两个点云的点之间的初始匹配概率；

步骤2.3，基于互相向量一致性的匹配结果修正，即对初始软对应矩阵

进行修正获得最终对应矩阵M；

步骤3，利用步骤1中的训练样本数据对步骤2搭建的深度神经网络进行训练；

步骤4，将待配准的两个点云输入到训练好的深度神经网络中，得到最终对应矩阵，利用最终对应矩阵求解得到最终的刚性变换矩阵{R，t}，利用最终的刚性变换矩阵{R，t}实现点云的配准，其中R表示旋转矩阵，t表示平移向量。

进一步的，步骤1中训练样本数据的准备包括；

对源点云X应用随机变换{ω₁，ω₂，ω₃，t₁，t₂，t₃}获得目标点云Y，其中ω₁、ω₂和ω₃是在[0，45]°范围内随机采样的三个旋转欧拉角，t₁、t₂和t₃是在[-0.5，0.5]范围内随机采样的三个位移量；为了模拟部分重叠的配准情况，对于每个点云，独立地创建一个随机的通过原点的平面，沿其法线平移，并保留70％的点；为了使得训练的模型更具有鲁棒性，对每个点独立随机地添加从均值为0且标准差为0.1的正态分布

中采样并裁剪到[-0.05，0.05]的高斯噪声。

进一步的，步骤2.1的具体实现方式如下；

使用共享权值的局部特征提取器将源点云X和目标点云Y嵌入到一个公共特征空间；在局部特征提取器中，首先使用点的坐标为每个点构建一个低维局部特征描述符，点x_i的低维局部特征描述符为：

其中

表示点x_i的邻近点；然后，利用非线性函数f_θ将低维局部特征描述符映射到高维特征空间

映射如下：

F⁽⁰⁾(x_i)＝f_θ(D(x_i))，

其中θ代表非线性函数的参数，非线性函数由共享多层感知器，池化层以及拼接操作组成；同样地，使用同一个局部特征提取器为点云Y提取局部特征描述符

进一步的，步骤2.2的具体实现方式如下；

先建立一个以点云中的原始点为节点的无向完全图，局部特征描述符作为节点的初始特征，图的边可以分为两类：自边ε_self和叉边ε_cross；ε_self＝{(x_i，x_j)|x_i，x_j∈X，i≠j，i，j＝1，2，…，N₁}∪{(y_i，y_j)|y_i，y_j∈Y，i≠j，i，j＝1，2，…，N₂}是点云中任一点到同一点云中所有其他点的边集，ε_cross＝{(x_i，y_j)|x_i∈X，y_j∈Y，i＝1，2，…，N₁，j＝1，2，…，N₂}是点云中任一点到另一个点云中所有点的边集；

然后利用图神经网络进行特征聚合，图神经网络共有A层，在每一层中通过聚合来自自边或叉边的消息传递来更新每个节点的中间特征表示；记点x_i在第l层的中间特征表示为F^(l)(x_i)，则点x_i在第l+1层的中间特征表示为：

其中Concat(·)表示拼接操作，ε∈{ε_cross，ε_self}，MLP代表多层感知器；如果l为偶数，ε＝ε_self，

表示点x_i从所有节点{x_j|(x_i，x_j)∈ε_self}聚合来的消息；否则如果l为奇数，ε＝ε_cross，

表示从所有节点{y_j|(x_i，y_j)∈ε_cross}聚合来的消息；为了实现远距离上下文信息聚合，沿自边进行的消息传递称为自我注意力，沿叉边进行的消息传递称为交叉注意力，应用自我注意力和交叉注意力机制来实现点云内和跨点云的消息传递；交叉注意力具体计算方式为：

其中softmax表示softmax函数，q_i表示查询，它是节点特征F^(l)(x_i)的线性映射，k_j和v_j分别表示键和值，他们是节点特征F^(l)(y_j)的线性映射，同样地可以得到自我注意力

的计算方式：

其中q_i同样表示节点特征F^(l)(x_i)的线性映射，需要注意的是，在自我注意力中k_j和v_j是节点特征F^(l)(x_j)的线性映射；

最后对图神经网络最后一层的特征进行线性映射，得到最终用于匹配的特征描述符：

其中W为权重矩阵，b为偏置；同样地，得到点云Y中点的特征F(y_j)，

和

分别表示点云X和点云Y的特征描述符；

在得到最终的匹配特征描述符后，首先计算F_X和F_Y的亲和矩阵、然后应用实例归一化把亲和矩阵转化为一个全为正数的矩阵，最后对该矩阵应用Sinkhorn算法得到初始对应矩阵

进一步的，步骤2.3的具体实现方式如下；

使用互相向量一致性原理来修正

并尽可能地过滤掉异常值，互相向量一致性的基本假设是两个匹配点之间的位移矢量长度相等，方向相反；具体实现过程如下：

首先对于源点云X中的每个点x_i，使用初始软对应矩阵

来计算它的加权平均对应点x′_i，计算方法为：

其中

表示点x_i和点y_j的匹配概率，那么点x_i的位移矢量

同样可以使用

计算得到点y_j的加权平均对应点y′_j，计算方法为：

对应的位移矢量

记

和

分别表示点云X和点云Y的所有位移矢量；

考虑到局部区域的位移矢量具有相似的模式，即邻域一致性，首先使用向量编码器模块对位移矢量

和

的局部信息进行编码，向量编码器的架构与步骤2.1中使用的局部特征提取器相同，然后可以得到两个输入点云的最终位移特征O_X和O_Y；计算O_X和O_Y的差值ΔO＝O_X-O_Y，其中ΔO_i，j度量点x_i和点y_j之间的互相向量一致性；然后更新初始软对应矩阵：

其中MLP代表多层感知器，然而，对应矩阵M′中的元素并不都是正数，所以使用实例归一化层对对应矩阵M′进行归一化，然后应用Sinkhorn算法得到最终对应矩阵M。

进一步的，步骤3中使用真实对应矩阵M_gt来训练步骤2中构建的端到端深度神经网络，为了得到M_gt，首先对源点云X应用真实变换{ω₁，ω₂，ω₃，t₁，t₂，t₃}得到变换后的源点云

计算点云

和点云Y之间的点对距离，如果点

和点y_j∈Y之间的距离小于0.1且满足以下公式：

则认为它们是一对对应点，并且下一轮它们不参与计算，然后再次根据以上公式在剩下的点中寻找对应点对；M_gt是大小为N₁×N₂的二进制矩阵，如果x_i和y_j是一对对应，则

否则等于0；

总损失函数

定义为：

其中α是权重系数，

表示初始对应矩阵

和真实对应矩阵M_gt之间的交叉熵损失，

表示最终对应矩阵M和真实对应矩阵M_gt之间的交叉熵损失。

进一步的，将待配准的两个点云输入到训练好的深度神经网络中，得到最终对应矩阵M″，为了得到硬对应矩阵

，首先计算M″每一行每一列的和，然后取出总和大于0.5的行和列组成一个临时矩阵C，对临时矩阵C应用基于匈牙利算法的线性指派问题求解器可以得到一个二进制矩阵C′；

首先设置为大小和M″一样的零矩阵，然后将C′中的元素按照它们在M″中的位置指派给

最后对

应用奇异值分解算法求解刚性变换矩阵；将上述步骤重复两次，每一次使用上一次得到的刚性变换矩阵对源点云进行变换再输入到深度神经网络中，实现由粗到精的配准，得到最终的刚性变换矩阵{R，t}。

与现有技术相比，本发明的优点和有益效果：本发明应用基于自我注意力和交叉注意力机制的图神经网络来探索点云内部和点云之间的上下文信息，因此可以学习输入点云更强有力的特征表示。此外本发明利用互相向量一致性对初始对应矩阵进行修正，从而得到更准确的对应。与现有技术相比，本发明的配准结果更加准确，在待配准点云有噪声以及部分重叠的情况下仍然能够达到较高的配准精度。

附图说明

图1为本发明使用的互相向量一致性示意图；

图2为本发明提出的网络整体结构示意图；

图3为局部特征提取器详细结构示意图；

图4为互相向量一致性模块详细结构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

互相向量一致性如图1所示，箭头表示点对应之间的位移向量，对于正确的对应，位移向量具有相同的长度和相反的方向(左)，这一约束在本发明中被定义为互相向量一致性；否则，位移向量不满足这个几何约束(右)。整体网络结构如图2所示。

假设待配准的两个点云分别表示为

和

其中X为源点云，Y为目标点云，N₁和N₂分别代表X和Y中点的数量。点云配准目的是得到输入数据之间的刚性变换{R，t}，其中R表示旋转矩阵，t表示平移向量。假设用大小为N₁×N₂的对应矩阵M来表示X和Y之间的点对应关系，如果x_i和y_j是一对对应，则M_i，j的值为1，否则为0。

步骤1，训练样本数据的准备

首先对原始点云进行归一化及下采样作为源点云X。然后，对点云X应用随机变换{ω₁，ω₂，ω₃，t₁，t₂，t₃}获得目标点云Y，其中ω₁、ω₂和ω₃是在[0，45]°范围内随机采样的三个旋转欧拉角，t₁、t₂和t₃是在[-0.5，0.5]范围内随机采样的三个位移量。为了模拟部分重叠的配准情况，对于每个点云，独立地创建一个随机的通过原点的平面，沿其法线平移，并保留70％的点。为了使得训练的模型更具有鲁棒性，对每个点独立随机地添加从均值为0且标准差为0.1的正态分布

中采样并裁剪到[-0.05，0.05]的高斯噪声。

步骤2，端到端深度神经网络的搭建

步骤2.1，点云局部特征提取。

为了建立两个点云之间的对应矩阵，本发明使用共享权值的局部特征提取器将源点云X和目标点云Y嵌入到一个公共特征空间。如图3所示，在局部特征提取器中，首先使用点的坐标为每个点构建一个低维局部特征描述符，点x_i的低维局部特征描述符为：

其中

表示点x_i的邻近点。然后，利用非线性函数f_θ将低维局部特征描述符映射到高维特征空间

映射如下：

F⁽⁰⁾(x_i)＝f_θ(D(x_i))，

其中θ代表非线性函数的参数，非线性函数由共享多层感知器，池化层以及拼接操作组成。同样地，本发明使用同一个局部特征提取器为点云Y提取局部特征描述符

步骤2.2，基于图神经网络的特征聚合

受感受野大小的限制，提取的局部特征可能不够具有辨识力。为了提高特征的显著性，本发明使用注意力图神经网络进行特征聚合。首先建立一个以点云中的原始点为节点的无向完全图，局部特征描述符

和

作为节点的初始特征，图的边可以分为两类：自边ε_self和叉边ε_cross。ε_self＝{(x_i，x_j)|x_i，x_j∈X，i≠j，i，j＝1，2，…，N₁}∪{(y_i，y_j)|y_i，y_j∈Y，i≠j，i，j＝1，2，…，N₂}是点云中任一点到同一点云中所有其他点的边集，ε_cross＝{(x_i，y_j)|x_i∈X，y_j∈Y，i＝1，2，…，N₁，j＝1，2，…，N₂}是点云中任一点到另一个点云中所有点的边集。

然后利用图神经网络进行特征聚合，图神经网络共有9层，在每一层中通过聚合来自自边或叉边的消息传递来更新每个节点的中间特征表示。记点x_i在第l层的中间特征表示为F^(l)(x_i)，则点x_i在第l+1层的中间特征表示为：

其中Concat(·)表示拼接操作，ε∈{ε_cross，ε_self}，MLP代表多层感知器。如果l为偶数，ε＝ε_self，

表示点x_i从所有节点{x_j|(x_i，x_j)∈ε_self}聚合来的消息；否则如果l为奇数，ε＝ε_cross，

表示从所有节点{y_j|(x_i，y_j)∈ε_cross}聚合来的消息。为了实现远距离上下文信息聚合，沿自边进行的消息传递称为自我注意力，沿叉边进行的消息传递称为交叉注意力，本发明应用自我注意力和交叉注意力机制来实现点云内和跨点云的消息传递。交叉注意力具体计算方式为：

其中softmax表示softmax函数，q_i表示查询，它是节点特征F^(l)(x_i)的线性映射，k_j和v_j分别表示键和值，他们是节点特征F^(l)(y_j)的线性映射，同样地可以得到自我注意力

的计算方式：

其中q_i同样表示节点特征F^(l)(x_i)的线性映射，需要注意的是，在自我注意力中k_j和v_j是节点特征F^(l)(x_j)的线性映射。

最后对网络最后一层的特征进行线性映射，得到最终用于匹配的特征描述符：

其中W为权重矩阵，b为偏置。同样地，可以得到点云Y中点的特征F(y_j)。

和

分别表示点云X和点云Y的特征描述集。

在得到最终的匹配描述符后，首先计算F_X和F_Y的亲和矩阵、然后应用实例归一化把亲和矩阵转化为一个全为正数的矩阵，最后对该矩阵应用Sinkhom算法得到初始软对应矩阵

初始软对应矩阵表示两个点云的点之间的初始匹配概率。

步骤2.3，基于互相向量一致性的匹配结果修正

尽管利用了自我和交叉注意力机制来获取点云内和跨点云的上下文信息，但在初始软对应矩阵

中仍然可能存在异常值。因此，本发明使用了一个互相向量一致性模块来修正

并尽可能地过滤掉异常值。所提出的互相向量一致性模块的详细架构见图4。基本的假设是两个匹配点之间的位移矢量长度相等，方向相反，如图1所示。

首先对于源点云X中的每个点x_i，使用初始软对应矩阵

来计算它的加权平均对应点x′_i，计算方法为：

其中

表示点x_i和点y_j的匹配概率，那么点x_i的位移矢量

同样可以使用

计算得到点y_j的加权平均对应点y′_j，计算方法为：

对应的位移矢量

记

和

分别表示点云X和点云Y的所有位移矢量。

考虑到局部区域的位移矢量具有相似的模式，即邻域一致性，首先使用向量编码器模块对位移矢量

和

的局部信息进行编码，向量编码器的架构与步骤2.1中使用的局部特征提取器相同，然后可以得到两个输入点云的最终位移特征O_X和O_Y。计算O_X和O_Y的差值ΔO＝O_X-O_Y，其中ΔO_i，j度量点x_i和点y_j之间的互相向量一致性。然后更新初始软对应矩阵：

其中MLP代表多层感知器。然而，对应矩阵M′中的元素并不都是正数，所以使用实例归一化层对对应矩阵M′进行归一化，然后应用Sinkhorn算法得到最终对应矩阵M。

步骤3，网络的训练

本发明中使用真实对应矩阵M_gt来训练步骤2中构建的端到端深度神经网络。为了得到M_gt，首先对源点云X应用真实变换{ω₁，ω₂，ω₃，t₁，t₂，t₃}得到变换后的源点云

计算点云

和点云Y之间的点对距离，如果点

和点yi∈Y之间的距离小于0.1且满足以下公式：

则认为x_i和y_j是一对对应点，并且下一轮它们不参与计算，然后再次根据以上公式在剩下的点中寻找对应点对。M_gt是大小为N₁×N₂的二进制矩阵，如果x_i和y_j是一对对应，则

否则等于0。

总损失函数

定义为：

其中α是权重系数，它被设置为0.5。

表示初始对应矩阵

和真实对应矩阵M_gt之间的交叉熵损失，

表示最终对应矩阵M和真实对应矩阵M_gt之间的交叉熵损失。使用随机梯度下降法(Stochastic Gradient Descent，SGD)优化器，初始学习率为0.001。

步骤4，实际配准中的应用

将待配准的两个点云输入到训练好的深度神经网络中，得到最终对应矩阵M。为了得到以二进制形式表示点之间的对应关系的硬对应矩阵

首先计算M每一行每一列的和，然后取出总和大于0.5的行和列组成一个临时矩阵C，对临时矩阵C应用基于匈牙利算法的线性指派问题(Linear Assignment Problem，LAP)求解器可以得到一个二进制矩阵C′。

首先设置为大小和M一样的零矩阵，然后将C′中的元素按照它们在M中的位置指派给

最后对

应用奇异值分解(SingularValue Decomposition，SVD)算法求解刚性变换矩阵{R，t}。将上述步骤重复两次，每一次使用上一次得到的刚性变换矩阵对源点云进行变换再输入到深度神经网络中，实现由粗到精的配准，得到最终的刚性变换矩阵{R，t}。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种端到端三维点云配准方法，其特征在于，包括以下步骤：

步骤1，训练样本数据和待配准数据的准备；

步骤2，端到端深度神经网络的搭建，包括以下子步骤；

步骤2.1，点云局部特征提取，使用共享权值的局部特征提取器分别为源点云X和目标点云Y提取局部特征描述符，

和

N₁和N₂分别代表X和Y中点的数量；

步骤2.2，基于图神经网络的特征聚合，得到最终用于匹配的特征描述符，进一步获得初始软对应矩阵

初始软对应矩阵表示两个点云的点之间的初始匹配概率；

步骤2.3，基于互相向量一致性的匹配结果修正，即对初始软对应矩阵

进行修正获得最终对应矩阵M；

步骤3，利用步骤1中的训练样本数据对步骤2搭建的深度神经网络进行训练；

步骤4，将待配准的两个点云输入到训练好的深度神经网络中，得到最终对应矩阵，利用最终对应矩阵求解得到最终的刚性变换矩阵{R,t}，利用最终的刚性变换矩阵{R,t}实现点云的配准，其中R表示旋转矩阵，t表示平移向量。

2.如权利要求1所述的一种端到端三维点云配准方法，其特征在于：步骤1中训练样本数据的准备包括；

对源点云X应用随机变换{ω₁,ω₂,ω₃,t₁,t₂,t₃}获得目标点云Y，其中ω₁、ω₂和ω₃是在[0,45]°范围内随机采样的三个旋转欧拉角，t₁、t₂和t₃是在[-0.5,0.5]范围内随机采样的三个位移量；为了模拟部分重叠的配准情况，对于每个点云，独立地创建一个随机的通过原点的平面，沿其法线平移，并保留70％的点；为了使得训练的模型更具有鲁棒性，对每个点独立随机地添加从均值为0且标准差为0.1的正态分布

中采样并裁剪到[-0.05,0.05]的高斯噪声。

3.如权利要求1所述的一种端到端三维点云配准方法，其特征在于：步骤2.1的具体实现方式如下；

使用共享权值的局部特征提取器将源点云X和目标点云Y嵌入到一个公共特征空间；在局部特征提取器中，首先使用点的坐标为每个点构建一个低维局部特征描述符，点x_i的低维局部特征描述符为：

其中

表示点x_i的邻近点；然后，利用非线性函数f_θ将低维局部特征描述符映射到高维特征空间

映射如下：

F⁽⁰⁾(x_i)＝f_θ(D(x_i))，

其中θ代表非线性函数的参数，非线性函数由共享多层感知器，池化层以及拼接操作组成；同样地，使用同一个局部特征提取器为点云Y提取局部特征描述符

4.如权利要求1所述的一种端到端三维点云配准方法，其特征在于：步骤2.2的具体实现方式如下；

先建立一个以点云中的原始点为节点的无向完全图，局部特征描述符作为节点的初始特征，图的边可以分为两类：自边ε_self和叉边ε_cross；ε_self＝{(x_i,x_j)|x_i,x_j∈X,i≠j,i,j＝1,2,…,N₁}∪{(y_i,y_j)|y_i,y_j∈Y,i≠j,i,j＝1,2,…,N₂}是点云中任一点到同一点云中所有其他点的边集，ε_cross＝{(x_i,y_j)|x_i∈X,y_j∈Y,i＝1,2,…,N₁,j＝1,2,…,N₂}是点云中任一点到另一个点云中所有点的边集；

然后利用图神经网络进行特征聚合，图神经网络共有A层，在每一层中通过聚合来自自边或叉边的消息传递来更新每个节点的中间特征表示；记点x_i在第l层的中间特征表示为F^(l)(x_i)，则点x_i在第l+1层的中间特征表示为：

其中Concat(·)表示拼接操作，ε∈{ε_cross,ε_self}，MLP代表多层感知器；如果l为偶数，ε＝ε_self，

表示点x_i从所有节点{x_j|(x_i,x_j)∈ε_self}聚合来的消息；否则如果l为奇数，ε＝ε_cross，

表示从所有节点{y_j|(x_i,y_j)∈ε_cross}聚合来的消息；为了实现远距离上下文信息聚合，沿自边进行的消息传递称为自我注意力，沿叉边进行的消息传递称为交叉注意力，应用自我注意力和交叉注意力机制来实现点云内和跨点云的消息传递；交叉注意力具体计算方式为：

其中softmax表示softmax函数，q_i表示查询，它是节点特征F^(l)(x_i)的线性映射，k_j和v_j分别表示键和值，他们是节点特征F^(l)(y_j)的线性映射，同样地可以得到自我注意力

的计算方式：

其中q_i同样表示节点特征F^(l)(x_i)的线性映射，需要注意的是，在自我注意力中k_j和v_j是节点特征F^(l)(x_j)的线性映射；最后对图神经网络最后一层的特征进行线性映射，得到最终用于匹配的特征描述符：

其中W为权重矩阵，b为偏置；同样地，得到点云Y中点的特征F(y_j)，

和

分别表示点云X和点云Y的特征描述符；

在得到最终的匹配特征描述符后，首先计算F_X和F_Y的亲和矩阵、然后应用实例归一化把亲和矩阵转化为一个全为正数的矩阵，最后对该矩阵应用Sinkhorn算法得到初始对应矩阵

5.如权利要求1所述的一种端到端三维点云配准方法，其特征在于：步骤2.3的具体实现方式如下；

使用互相向量一致性原理来修正

并尽可能地过滤掉异常值，互相向量一致性的基本假设是两个匹配点之间的位移矢量长度相等，方向相反；具体实现过程如下：

首先对于源点云X中的每个点x_i，使用初始软对应矩阵

来计算它的加权平均对应点x′_i，计算方法为：

其中

表示点x_i和点y_j的匹配概率，那么点x_i的位移矢量

同样可以使用

计算得到点y_j的加权平均对应点y′_j，计算方法为：

对应的位移矢量

记

和

分别表示点云X和点云Y的所有位移矢量；

考虑到局部区域的位移矢量具有相似的模式，即邻域一致性，首先使用向量编码器模块对位移矢量

和

的局部信息进行编码，向量编码器的架构与步骤2.1中使用的局部特征提取器相同，然后可以得到两个输入点云的最终位移特征O_X和O_Y；计算O_X和O_Y的差值ΔO＝O_X-O_Y，其中ΔO_i,j度量点x_i和点y_j之间的互相向量一致性；然后更新初始软对应矩阵：

其中MLP代表多层感知器，然而，对应矩阵M′中的元素并不都是正数，所以使用实例归一化层对对应矩阵M′进行归一化，然后应用Sinkhorn算法得到最终对应矩阵M。

6.如权利要求1所述的一种端到端三维点云配准方法，其特征在于：步骤3中使用真实对应矩阵M_gt来训练步骤2中构建的端到端深度神经网络，为了得到M_gt，首先对源点云X应用真实变换{ω₁,ω₂,ω₃,t₁,t₂,t₃}得到变换后的源点云

计算点云

和点云Y之间的点对距离，如果点

和点y_j∈Y之间的距离小于0.1且满足以下公式：

则认为x_i和y_j是一对对应点，并且下一轮它们不参与计算，然后再次根据以上公式在剩下的点中寻找对应点对；M_gt是大小为N₁×N₂的二进制矩阵，如果x_i和y_j是一对对应，则

否则等于0；

总损失函数

定义为：

其中α是权重系数，

表示初始对应矩阵

和真实对应矩阵M_gt之间的交叉熵损失，

表示最终对应矩阵M和真实对应矩阵M_gt之间的交叉熵损失。

7.如权利要求1所述的一种端到端三维点云配准方法，其特征在于：将待配准的两个点云输入到训练好的深度神经网络中，得到最终对应矩阵M″，为了得到以二进制形式表示点之间的对应关系的硬对应矩阵

首先计算M″每一行每一列的和，然后取出总和大于0.5的行和列组成一个临时矩阵C，对临时矩阵C应用基于匈牙利算法的线性指派问题求解器可以得到一个二进制矩阵C′；

首先设置为大小和M″一样的零矩阵，然后将C′中的元素按照它们在M″中的位置指派给

最后对

应用奇异值分解算法求解刚性变换矩阵；将上述步骤重复两次，每一次使用上一次得到的刚性变换矩阵对源点云进行变换再输入到深度神经网络中，实现由粗到精的配准，得到最终的刚性变换矩阵{R,t}。

Images