CN114972460A - 一种结合图特征上下文匹配的点云配准方法 - Google Patents

Abstract

本发明涉及一种结合图特征上下文匹配的点云配准方法，包括以下步骤：几何域图特征提取，得到图特征A；特征域图特征提取，根据源点云和目标点云的图特征A，得到图特征B；准确特征获取，根据图特征A和图特征B，得到完整的图特征C，根据图特征C进行特征上下文匹配，得到变换特征，根据变换特征和图特征C，得到准确特征；根据包含准确特征的源点云和目标点云构建特征差异匹配矩阵；根据特征差异匹配矩阵估计源点云到目标点云的刚性变换；将刚性变换作用于源点云，设定迭代次数N，进行迭代，得到细化的刚性变换；根据刚性变换进行点云配准。本发明基于深度学习的特征域配准受噪声与离群值的影响较小，对局部点云配准具有较好的鲁棒性。

Description

一种结合图特征上下文匹配的点云配准方法

技术领域

本发明涉及一种结合图特征上下文匹配的点云配准方法，属于点云配准技术领域。

背景技术

随着Lidar、Kinect等点云采集设备的快速发展，点云已成为表征三维世界的主要数据格式。点云配准是将采集设备在不同视角下获取的点云变换到同一参考系的处理技术。在同一坐标系下使用点云扫描设备对周围环境进行扫描时，由于环境的大小超过了扫描设备的测量范围、环境里的物体之间的遮挡问题而不能获得完整的点云数据，因而需要在多个角度进行扫描，运用点云配准技术将多个角度的点云数据统一到同一坐标系，得到完整的环境点云数据。

点云配准过程按照初始条件与精确度可以分为粗配准与精配准。粗配准是在点云变换未知时对点云进行配准，估计配准的初始变换；精配准是在已知初始变换的情况下进一步细化配准。传统方法根据采集点云的几何信息进行配准，容易受到噪声、离群值的影响，部分精配准方法还需要合适的初始值。

基于深度学习的特征域配准受噪声与离群值的影响较小，具有较好的鲁棒性，同时不需要考虑配准初始值。深度学习点云配准受特征准确性影响，通过图卷积提取准确的图特征，结合传统方法的匹配思路与刚性变换估计方法，既能提高点云配准的准确性，也能增强鲁棒性。

发明内容

为了克服上述问题，本发明提供一种结合图特征上下文匹配的点云配准方法，该点云配准方法基于深度学习的特征域配准受噪声与离群值的影响较小，具有较好的鲁棒性，同时不需要考虑配准初始值。深度学习点云配准受特征准确性影响，通过图卷积提取准确的图特征，结合传统方法的匹配思路与刚性变换估计方法，既能提高点云配准的准确性，也能增强鲁棒性。

本发明的技术方案如下：

一种结合图特征上下文匹配的点云配准方法，包括以下步骤：

几何域图特征提取，对输入的源点云和目标点云分别进行几何域图特征提取，得到所述源点云和所述目标点云的图特征A；

特征域图特征提取，根据所述源点云和所述目标点云的图特征A，对所述源点云和所述目标点云分别进行特征域图特征提取，得到所述源点云和所述目标点云的图特征B；

准确特征获取，根据所述图特征A和所述图特征B，得到所述源点云和所述目标点云的完整的图特征C，根据所述图特征C进行特征上下文匹配，得到变换特征，根据所述变换特征和所述图特征C，得到所述源点云和所述目标点云的准确特征；

根据包含准确特征的所述源点云和所述目标点云构建特征差异匹配矩阵；

根据所述特征差异匹配矩阵估计所述源点云到所述目标点云的刚性变换；

将所述刚性变换作用于源点云，设定迭代次数N，重复进行以上步骤N次，得到细化的刚性变换；

根据所述刚性变换进行点云配准。

进一步的，所述几何域图特征提取具体为：

设定球搜索半径与搜索点数K，对输入源点云和目标点云的每个点云用球半径搜索法(Ball query)寻找K个邻近点；

根据各所述邻近点，计算每个局部中心点与邻近点的K条图边，并计算局部结构信息PPF，所述局部结构信息PPF包括中心点法向量与图边的夹角、邻近点法向量与图边的夹角、中心点法向量与邻近点法向量的夹角和边长；

对每个局部根据中心点坐标、中心点法向量、邻近点坐标、图边(图的中心点与邻近点三维坐标的差值)和局部结构信息PPF建立局部几何域图结构，通过卷积提取每个所述局部几何域图结构的图特征A，将所述图特征A聚合至中心点，并通过MLP(多层感知机)映射至高维空间。

进一步的，所述特征域图特征提取具体为：

对源点云中和目标点云中的一点，根据目标点云的所述图特征A，运用K最邻近点法寻找目标点云中的K个特征邻近点，并计算中心点与邻近点的图边，建立局部特征域图结构；通过卷积提取每个所述局部特征域图结构的图特征B，将所述图特征B聚合至中心点，并通过MLP映射至高维空间。

进一步的，所述准确特征获取具体为：

将所述源点云的图特征A和图特征B进行拼接，得到所述源点云完整的图特征C；将所述目标点云的图特征A和图特征B进行拼接，得到所述目标点云完整的图特征C；

将所述源点云的图特征C作为编码输入，将所述目标点云的图特征C作为解码输入，通过Transformer网络对源点云到目标点云的点云图特征进行上下文匹配，学习源点云到目标点云的变换信息，并嵌入源点云中，得到所述源点云的准确特征；

将源点云的所述图特征C作为解码输入，将目标点云的所述图特征C作为编码输入，通过Transformer网络对目标点云到源点云的点云图特征进行上下文匹配，学习目标点云到源点云的变换信息，并嵌入源点云中，得到所述目标点云的准确特征。

进一步的，所述根据包含准确特征的所述源点云和所述目标点云构建特征差异匹配矩阵，具体为：

计算包含准确特征的源点云与目标点云之间的欧氏距离，输出为特征差异矩阵；

对所述特征差异矩阵加入离群值、局部最优限制参数，并运用Sinkhorn算法(改变矩阵概率分布的一种算法)对所述特征差异矩阵的每个元素进行数值优化；

运用指数函数将所述特征差异矩阵的每个元素归一化，用概率表现点之间的对应关系，输出特征差异匹配矩阵。

进一步的，所述根据所述特征差异匹配矩阵估计所述源点云到所述目标点云的刚性变换，具体为：

将所述特征差异匹配矩阵作用于目标点云获得虚拟点云，将所述特征差异匹配矩阵的每行的求和值作为权重，对所述源点云和所述虚拟点云运用权重SVD(奇异值分解)方法估计源点云到目标点云的刚性变换。

本发明具有如下有益效果：

本发明首先为了提高点云特征提取的准确性，采用几何域图卷积、特征域图卷积、单编解码器Transformer匹配特征上下文等步骤。为了实现点云配准方法的准确性和鲁棒性，采用特征差异匹配矩阵建立对应关系，并用权重SVD估计准确的刚性变换。因此可以实现配准的高准确性和强鲁棒性的双重优点。

附图说明

图1为本发明的总体框图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一

参考图1，一种结合图特征上下文匹配的点云配准方法，包括以下步骤：

几何域图特征提取，对输入的源点云和目标点云分别进行几何域图特征提取，得到所述源点云和所述目标点云的图特征A；

特征域图特征提取，根据所述源点云和所述目标点云的图特征A，对所述源点云和所述目标点云分别进行特征域图特征提取，得到所述源点云和所述目标点云的图特征B；

准确特征获取，根据所述图特征A和所述图特征B，得到所述源点云和所述目标点云的完整的图特征C，根据所述图特征C进行特征上下文匹配，得到变换特征，根据所述变换特征和所述图特征C，得到所述源点云和所述目标点云的准确特征；

根据包含准确特征的所述源点云和所述目标点云构建特征差异匹配矩阵；

根据所述特征差异匹配矩阵估计所述源点云到所述目标点云的刚性变换；

将所述刚性变换作用于源点云，设定迭代次数N，重复进行以上步骤N次，得到细化的刚性变换；

根据所述刚性变换进行点云配准。

实施例二

一种结合图特征上下文匹配的点云配准方法，在实施例一的基础上，所述几何域图特征提取具体为：

设定球搜索半径与搜索点数K，对输入源点云和目标点云的每个点云用球半径搜索法寻找K个邻近点；

根据各所述邻近点，计算每个局部中心点与邻近点的K条图边，并计算局部结构信息PPF，所述局部结构信息PPF包括中心点法向量与图边的夹角、邻近点法向量与图边的夹角、中心点法向量与邻近点法向量的夹角和边长；

对每个局部根据中心点坐标、中心点法向量、邻近点坐标、图边和局部结构信息PPF建立局部几何域图结构，通过卷积提取每个所述局部几何域图结构的图特征A，将所述图特征A聚合至中心点，并通过MLP映射至高维空间。

实施例三

一种结合图特征上下文匹配的点云配准方法，在实施例二的基础上，所述特征域图特征提取具体为：

对源点云中和目标点云中的一点，根据目标点云的所述图特征A，运用K最邻近点法寻找目标点云中的K个特征邻近点，并计算中心点与邻近点的图边，建立局部特征域图结构；通过卷积提取每个所述局部特征域图结构的图特征B，将所述图特征B聚合至中心点，并通过MLP映射至高维空间。

实施例四

一种结合图特征上下文匹配的点云配准方法，在实施例三的基础上，所述准确特征获取具体为：

将所述源点云的图特征A和图特征B进行拼接，得到所述源点云完整的图特征C；将所述目标点云的图特征A和图特征B进行拼接，得到所述目标点云完整的图特征C；

将所述源点云的图特征C作为编码输入，将所述目标点云的图特征C作为解码输入，通过Transformer网络对源点云到目标点云的点云图特征进行上下文匹配，学习源点云到目标点云的变换信息，并嵌入源点云中，得到所述源点云的准确特征；

将源点云的所述图特征C作为解码输入，将目标点云的所述图特征C作为编码输入，通过Transformer网络对目标点云到源点云的点云图特征进行上下文匹配，学习目标点云到源点云的变换信息，并嵌入源点云中，得到所述目标点云的准确特征。

实施例五

一种结合图特征上下文匹配的点云配准方法，在实施例四的基础上，所述根据包含准确特征的所述源点云和所述目标点云构建特征差异匹配矩阵，具体为：

计算包含准确特征的源点云与目标点云之间的欧氏距离，输出为特征差异矩阵；

对所述特征差异矩阵加入离群值、局部最优限制参数，并运用Sinkhorn算法对所述特征差异矩阵的每个元素进行数值优化；

运用指数函数将所述特征差异矩阵的每个元素归一化，用概率表现点之间的对应关系，输出特征差异匹配矩阵。

实施例六

一种结合图特征上下文匹配的点云配准方法，在实施例五的基础上，所述根据所述特征差异匹配矩阵估计所述源点云到所述目标点云的刚性变换，具体为：

将所述特征差异匹配矩阵作用于目标点云获得虚拟点云，将所述特征差异匹配矩阵的每行的求和值作为权重，对所述源点云和所述虚拟点云运用权重SVD方法估计源点云到目标点云的刚性变换。

通过对旋转矩阵与平移量分别计算各向同性误差(Isotropic Error,IE)来评估配准的准确性。对旋转矩阵与平移量也评估了各向异性误差(Anisotropic Error,AE)，即欧式角的旋转矩阵与平移向量的预测值与真实值的平均绝对误差。通过计算源点云P到目标点云Q的倒角距离(Chamfer Distance,CD)来评价两点云的相近程度。在最贴近真实环境中(缺失部分点云并加入噪声干扰)，各性能指标对比结果参见表1，以GCN-Net为本发明的方法。

表1

由表1可知，本发明的方法在点云配准的各项指标上均具有优异表现。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种结合图特征上下文匹配的点云配准方法，其特征在于，包括以下步骤：

几何域图特征提取，对输入的源点云和目标点云分别进行几何域图特征提取，得到所述源点云和所述目标点云的图特征A；

特征域图特征提取，根据所述源点云和所述目标点云的图特征A，对所述源点云和所述目标点云分别进行特征域图特征提取，得到所述源点云和所述目标点云的图特征B；

准确特征获取，根据所述图特征A和所述图特征B，得到所述源点云和所述目标点云的完整的图特征C，根据所述图特征C进行特征上下文匹配，得到变换特征，根据所述变换特征和所述图特征C，得到所述源点云和所述目标点云的准确特征；

根据包含准确特征的所述源点云和所述目标点云构建特征差异匹配矩阵；

根据所述特征差异匹配矩阵估计所述源点云到所述目标点云的刚性变换；

将所述刚性变换作用于源点云，设定迭代次数N，重复进行以上步骤N次，得到细化的刚性变换；

根据所述刚性变换进行点云配准。

2.根据权利要求1所述结合图特征上下文匹配的点云配准方法，其特征在于，所述几何域图特征提取具体为：

设定球搜索半径与搜索点数K，对输入源点云和目标点云的每个点云用球半径搜索法寻找K个邻近点；

根据各所述邻近点，计算每个局部中心点与邻近点的K条图边，并计算局部结构信息PPF，所述局部结构信息PPF包括中心点法向量与图边的夹角、邻近点法向量与图边的夹角、中心点法向量与邻近点法向量的夹角和边长；

对每个局部根据中心点坐标、中心点法向量、邻近点坐标、图边和局部结构信息PPF建立局部几何域图结构，通过卷积提取每个所述局部几何域图结构的图特征A，将所述图特征A聚合至中心点，并通过MLP映射至高维空间。

3.根据权利要求2所述结合图特征上下文匹配的点云配准方法，其特征在于，所述特征域图特征提取具体为：

对源点云中和目标点云中的一点，根据目标点云的所述图特征A，运用K最邻近点法寻找目标点云中的K个特征邻近点，并计算中心点与邻近点的图边，建立局部特征域图结构；通过卷积提取每个所述局部特征域图结构的图特征B，将所述图特征B聚合至中心点，并通过MLP映射至高维空间。

4.根据权利要求3所述结合图特征上下文匹配的点云配准方法，其特征在于，所述准确特征获取具体为：

将所述源点云的图特征A和图特征B进行拼接，得到所述源点云完整的图特征C；将所述目标点云的图特征A和图特征B进行拼接，得到所述目标点云完整的图特征C；

将所述源点云的图特征C作为编码输入，将所述目标点云的图特征C作为解码输入，通过Transformer网络对源点云到目标点云的点云图特征进行上下文匹配，学习源点云到目标点云的变换信息，并嵌入源点云中，得到所述源点云的准确特征；

将源点云的所述图特征C作为解码输入，将目标点云的所述图特征C作为编码输入，通过Transformer网络对目标点云到源点云的点云图特征进行上下文匹配，学习目标点云到源点云的变换信息，并嵌入源点云中，得到所述目标点云的准确特征。

5.根据权利要求4所述结合图特征上下文匹配的点云配准方法，其特征在于，所述根据包含准确特征的所述源点云和所述目标点云构建特征差异匹配矩阵，具体为：

计算包含准确特征的源点云与目标点云之间的欧氏距离，输出为特征差异矩阵；

对所述特征差异矩阵加入离群值、局部最优限制参数，并运用Sinkhorn算法对所述特征差异矩阵的每个元素进行数值优化；

运用指数函数将所述特征差异矩阵的每个元素归一化，用概率表现点之间的对应关系，输出特征差异匹配矩阵。

6.根据权利要求5所述结合图特征上下文匹配的点云配准方法，其特征在于，所述根据所述特征差异匹配矩阵估计所述源点云到所述目标点云的刚性变换，具体为：

将所述特征差异匹配矩阵作用于目标点云获得虚拟点云，将所述特征差异匹配矩阵的每行的求和值作为权重，对所述源点云和所述虚拟点云运用权重SVD方法估计源点云到目标点云的刚性变换。

Images