CN114708315A - 一种基于深度虚拟对应点生成的点云配准方法及系统 - Google Patents

一种基于深度虚拟对应点生成的点云配准方法及系统 Download PDF

Info

Publication number
CN114708315A
CN114708315A CN202210398269.4A CN202210398269A CN114708315A CN 114708315 A CN114708315 A CN 114708315A CN 202210398269 A CN202210398269 A CN 202210398269A CN 114708315 A CN114708315 A CN 114708315A
Authority
CN
China
Prior art keywords
point cloud
point
corresponding point
feature
constructing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210398269.4A
Other languages
English (en)
Inventor
柏正尧
许祝
李坤
陈舒平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202210398269.4A priority Critical patent/CN114708315A/zh
Publication of CN114708315A publication Critical patent/CN114708315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度虚拟对应点生成的点云配准方法及系统。所述方法包括：在特征空间中使用特征编码模块提取源点云和目标点云中关键点的特征向量，并构建全局特征注意力矩阵；构建虚拟对应点生成层，结合全局特征注意力矩阵得到对应点对；构建对应点加权层用于预测对应点对成为内点的置信度；构建离群点过滤模块将置信度低于内点阈值的对应点对进行剔除；使用加权奇异值分解方法以剩余对应点对作为输入，求解出源点云和所述目标点云之间的刚性变换信息；根据刚性变换信息将源点云和目标点云进行配准。本发明方法能够在缺少初始变换信息情况下快速有效地求解刚性变换近似解，提高点云配准的效率和鲁棒性。

Description

一种基于深度虚拟对应点生成的点云配准方法及系统
技术领域
本发明涉及三维点云配准技术领域，特别是涉及一种基于深度虚拟对应点生成的点云配准方法及系统。
背景技术
随着激光雷达(light detection and ranging,简称LiDAR)、RGB-D摄像头(RealSense、Kinect)和3D扫描仪等传感器的普及和价格的降低，最新的3D采集技术已经取得了巨大飞跃。与广泛使用的2D数据不同，3D数据具有丰富的尺度和几何信息，可以帮助机器更好的理解环境。点云配准是将不同视角下采集的点云数据统一到同一个坐标系下的过程，最终目的是获取物体表面完整的点云描述，问题的关键是如何求得点云坐标的刚性变换参数，使得不同视角下测得的对应点经坐标变换后距离最小。点云配准是自动化三维重建不可缺少的一环，更是虚拟显示技术的基础。
迭代最近点(Iterative Closest Point，简称ICP)是目前用于解决刚性配准问题最出名的算法，该算法交替地执行寻找对应点和最小二乘优化算法来更新配准状态。点与点代价函数使用点与点之间的坐标距离或者特征距离来寻找最近点对作为对应点。ICP算法的性能高度依赖于初始刚性变换估计的准确度，但是从计时器获得的初始估计值并不是那么可靠，这就导致ICP算法很容易陷入局部最优解。为了寻找一种最优变换方法，Yang等提出基于分支定界(Branch and Bound,简称BnB)的Go-ICP算法来确定全局最优位姿，点云配准在需要提供全局最优解决方案时，Go-ICP方法优于ICP算法。其它算法有基于凸松弛、黎曼优化、混合整数规划等方法来确定全局最优位姿估计，但这些方法计算成本比较大，不能很好地满足实际应用需求。
近年来，深度学习在点云配准姿态估计工作中的应用得到了长足的进步。PointNetLK使用PointNet来提取两个输入点云的全局特征，然后使用反向合成(inversecompositional，简称IC)算法来估计变换矩阵。通过估计变换矩阵，配准目标变为最小化两个特征之间的特征差异。深度最近点(Deep Closest Point，简称DCP)采用DGCNN网络来提取局部特征，然后在采用Kabsch算法估计刚性变换的参数之前率先计算出软对应点。PointDSC提出非局部特征聚合模块用于完成输入对应点的特征嵌入工作，然后采用神经光谱匹配方法来计算每个种子的刚性变换。深度全局配准(Deep Global Registration，简称DGR)提出了一个6维的卷积网络架构，用于对内点/离群点的似然预测。然而，以上方法在缺少初始刚性运动信息的场景下，普遍存在配准耗时较长、配准成功率较低等问题。
发明内容
本发明的目的是提供一种基于深度虚拟对应点生成的点云配准方法及系统，以在缺少初始变换信息情况下快速有效地求解刚性变换近似解，提高点云配准的效率和鲁棒性。
为实现上述目的，本发明提供了如下方案：
一种基于深度虚拟对应点生成的点云配准方法，包括：
构建特征编码模块；所述特征编码模块的输入为待配准的源点云和目标点云，输出包括特征向量和交叉注意力矩阵；
在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵；
构建虚拟对应点生成层，结合所述全局特征注意力矩阵得到对应点对；
构建对应点加权层用于预测所述对应点对成为内点的置信度；
构建离群点过滤模块将所述置信度低于内点阈值的所述对应点对进行剔除，得到剩余对应点对；
使用加权奇异值分解方法以所述剩余对应点对作为输入，求解出所述源点云和所述目标点云之间的刚性变换信息；所述刚性变换信息包括旋转矩阵和平移向量；
根据所述刚性变换信息将所述源点云和所述目标点云进行配准。
可选地，所述构建特征编码模块，具体包括：
构建由L层重复的交叉注意力网络组成的特征编码模块；每层所述交叉注意力网络中包含一个残差神经网络块
Figure BDA0003598354560000031
所述残差神经网络块
Figure BDA0003598354560000032
由4层完全相同的残差神经网络基本单元顺序连接组成。
可选地，所述在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵，具体包括：
所述特征编码模块中第l层交叉注意力网络的输入为第l-1层交叉注意力网络输出的特征向量
Figure BDA0003598354560000033
和
Figure BDA0003598354560000034
其中1<l≤L；
所述特征向量
Figure BDA0003598354560000035
和
Figure BDA0003598354560000036
分别经过相同的所述残差神经网络块
Figure BDA0003598354560000037
得到中间特征向量
Figure BDA0003598354560000038
和
Figure BDA0003598354560000039
根据所述中间特征向量
Figure BDA00035983545600000310
和
Figure BDA00035983545600000311
构建第l层交叉注意力矩阵A(l)；
根据所述第l层交叉注意力矩阵A(l)交换所述源点云和所述目标点云之间的信息，得到第l层交叉注意力网络输出的特征向量
Figure BDA00035983545600000312
和
Figure BDA00035983545600000313
对L个所述注意力矩阵A(l)进行累加运算操作，得到所述全局特征注意力矩阵A。
可选地，所述构建虚拟对应点生成层，结合所述全局特征注意力矩阵得到对应点对，具体包括：
构建虚拟对应点生成层，基于所述全局特征注意力矩阵A，采用公式
Figure BDA00035983545600000314
对所述目标点云中的关键点进行加权，得到所述源点云中每个关键点的虚拟对应点；其中
Figure BDA00035983545600000315
为归一化指针，规定了从源点云
Figure BDA00035983545600000316
中的关键点xi指向目标点云
Figure BDA00035983545600000317
中的虚拟对应点
Figure BDA00035983545600000318
的映射关系；M和N分别为所述源点云和所述目标点云中的关键点个数；Ai是所述全局特征注意力矩阵A的第i行；Aij是所述全局特征注意力矩阵A的第i行第j列元素；
将所述源点云
Figure BDA00035983545600000319
中的关键点xi与其虚拟对应点
Figure BDA00035983545600000320
构成对应点对(xi,
Figure BDA00035983545600000321
)。
可选地，所述构建对应点加权层用于预测所述对应点对成为内点的置信度，具体包括：
构建对应点加权层，所述对应点加权层由9层输出通道数不同的残差神经网络基本单元、多层感知机和Softmax函数依次连接构成；
利用所述对应点加权层预测所述对应点对(xi,
Figure BDA0003598354560000041
)成为内点的置信度pi。
一种基于深度虚拟对应点生成的点云配准系统，包括：
特征编码模块构建模块，用于构建特征编码模块；所述特征编码模块的输入为待配准的源点云和目标点云，输出包括特征向量和交叉注意力矩阵；
特征向量提取模块，用于在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵；
虚拟对应点生成层构建模块，用于构建虚拟对应点生成层，并结合所述全局特征注意力矩阵得到对应点对；
置信度预测模块，用于构建对应点加权层用于预测所述对应点对成为内点的置信度；
对应点对剔除模块，用于构建离群点过滤模块将所述置信度低于内点阈值的所述对应点对进行剔除，得到剩余对应点对；
刚性变换信息求解模块，用于使用加权奇异值分解方法以所述剩余对应点对作为输入，求解出所述源点云和所述目标点云之间的刚性变换信息；所述刚性变换信息包括旋转矩阵和平移向量；
点云配准模块，用于根据所述刚性变换信息将所述源点云和所述目标点云进行配准。
可选地，所述特征编码模块构建模块具体包括：
特征编码模块构建单元，用于构建由L层重复的交叉注意力网络组成的特征编码模块；每层所述交叉注意力网络中包含一个残差神经网络块
Figure BDA0003598354560000042
所述残差神经网络块
Figure BDA0003598354560000043
由4层完全相同的残差神经网络基本单元顺序连接组成。
可选地，所述特征向量提取模块具体包括：
交叉注意力矩阵构建单元，用于根据所述中间特征向量
Figure BDA0003598354560000044
和
Figure BDA0003598354560000045
构建第l层交叉注意力矩阵A(l)；所述特征编码模块中第l层交叉注意力网络的输入为第l-1层交叉注意力网络输出的特征向量
Figure BDA0003598354560000051
和
Figure BDA0003598354560000052
其中1<l≤L；所述特征向量
Figure BDA0003598354560000053
和
Figure BDA0003598354560000054
分别经过相同的所述残差神经网络块
Figure BDA0003598354560000055
得到中间特征向量
Figure BDA0003598354560000056
和
Figure BDA0003598354560000057
特征向量输出单元，用于根据所述第l层交叉注意力矩阵A(l)交换所述源点云和所述目标点云之间的信息，得到第l层交叉注意力网络输出的特征向量
Figure BDA0003598354560000058
和
Figure BDA0003598354560000059
全局特征注意力矩阵构建单元，用于对L个所述注意力矩阵A(l)进行累加运算操作，得到所述全局特征注意力矩阵A。
可选地，所述虚拟对应点生成层构建模块具体包括：
虚拟对应点生成层构建单元，用于构建虚拟对应点生成层，基于所述全局特征注意力矩阵A，采用公式
Figure BDA00035983545600000510
对所述目标点云中的关键点进行加权，得到所述源点云中每个关键点的虚拟对应点；其中
Figure BDA00035983545600000511
为归一化指针，规定了从源点云
Figure BDA00035983545600000512
中的关键点xi指向目标点云
Figure BDA00035983545600000513
中的虚拟对应点
Figure BDA00035983545600000514
的映射关系；M和N分别为所述源点云和所述目标点云中的关键点个数；Ai是所述全局特征注意力矩阵A的第i行；Aij是所述全局特征注意力矩阵A的第i行第j列元素；
对应点对生成单元，用于将所述源点云
Figure BDA00035983545600000515
中的关键点xi与其虚拟对应点
Figure BDA00035983545600000516
构成对应点对(xi,
Figure BDA00035983545600000517
)。
可选地，所述置信度预测模块具体包括：
对应点加权层构建单元，用于构建对应点加权层，所述对应点加权层由9层输出通道数不同的残差神经网络基本单元、多层感知机和Softmax函数依次连接构成；
置信度预测单元，用于利用所述对应点加权层预测所述对应点对(xi,
Figure BDA00035983545600000518
)成为内点的置信度pi。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于深度虚拟对应点生成的点云配准方法及系统，所述方法包括：构建特征编码模块；所述特征编码模块的输入为待配准的源点云和目标点云，输出为包括特征向量和交叉注意力矩阵；在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵；构建虚拟对应点生成层，结合所述全局特征注意力矩阵得到对应点对；构建对应点加权层用于预测所述对应点对成为内点的置信度；构建离群点过滤模块将所述置信度低于内点阈值的所述对应点对进行剔除，得到剩余对应点对；使用加权奇异值分解方法以所述剩余对应点对作为输入，求解出所述源点云和所述目标点云之间的刚性变换信息；所述刚性变换信息包括旋转矩阵和平移向量；根据所述刚性变换信息将所述源点云和所述目标点云进行配准。本发明方法能够在缺少初始变换信息情况下快速有效地求解刚性变换近似解，提高点云配准的效率和鲁棒性，适用于自动驾驶、文物数字化呈现、三维重建和机器人应用等众多领域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度虚拟对应点生成的点云配准方法的流程图；
图2为本发明点云配准方法采用的DeepVCG网络的结构示意图；
图3为本发明点云配准方法中采用的特征编码模块的结构示意图；
图4为本发明提供的特征编码模块中残差神经网络基本单元的结构示意图；
图5为本发明点云配准方法中采用的对应点加权层的结构示意图；
图6为本发明实施例提供的3DMatch数据集中旅馆(Hotel)场景的配准可视化比较示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度虚拟对应点生成的点云配准方法及系统，旨在缺少初始变换信息情况下快速有效地求解刚性变换近似解，该方法能够有效快速地将待配准的两片点云对齐，在配准耗时和配准成功率之间实现了一个很好的平衡。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于深度虚拟对应点生成的点云配准方法的流程图，图2为本发明一种基于深度虚拟对应点生成的点云配准方法采用的DeepVCG网络结构示意图。参见图2，本发明设计了一种新的点云鲁棒配准方法，基于深度虚拟对应点生成(deep virtualcorrespondences generation,简称DeepVCG)，该配准方法旨在提供一种缺少初始刚性运动信息的场景下正确恢复出映射关系和分类内点/离群点的方法。DeepVCG的具体网络结构如图2所示，DeepVCG整体结构由以下部分组成：特征编码模块、虚拟对应点生成层、对应点加权层和离群点过滤模块。其中虚拟对应点生成层构建了
Figure BDA0003598354560000071
的映射关系，这个映射关系规定了源点云
Figure BDA0003598354560000072
到目标点云
Figure BDA0003598354560000073
之间的对应点。对应点加权层和离群点过滤模块对每一个对应点对赋以内点权重并将权重值较小的对应点剔除出去，以免扩大刚性变换估计的误差。
参见图1，本发明一种基于DeepVCG的点云配准方法包括：
步骤101：构建特征编码模块。
本发明提出特征编码模块来提取源、目标点云中关键点的特征描述。特征编码模块的核心部分由残差神经网络块
Figure BDA0003598354560000074
组成，而残差神经网络块
Figure BDA0003598354560000075
是由4层完全一样的残差神经网络基本单元组成。
图3为本发明提供的特征编码模块的结构示意图。参见图3，本发明提出使用深度特征编码模块来提取源点云
Figure BDA0003598354560000076
和目标点云
Figure BDA0003598354560000077
中每个关键点的特征，其中
Figure BDA0003598354560000078
和
Figure BDA0003598354560000079
分别为M×3和N×3维的空间，M和N分别为源点云和目标点云中的关键点个数。深度特征编码模块的具体结构如图3所示，该模块以源点云
Figure BDA0003598354560000081
到目标点云
Figure BDA0003598354560000082
作为输入，输出包括特征向量和交叉注意力矩阵。
如图3所示，本发明特征编码模块由L层重复的交叉注意力网络组成，L的具体层数根据实际情况进行设定，在后续实验中具体讨论。每层交叉注意力网络中包含一个残差神经网络块
Figure BDA0003598354560000083
残差神经网络块
Figure BDA0003598354560000084
由4层完全相同的残差神经网络基本单元顺序连接组成。本发明残差神经网络基本单元建立在核点卷积(kernel point convolution，简称KPConv)和特征核卷积(feature-kernel alignment，简称FKAConv)的基础上，其具体结构如图4所示。参见图4，本发明残差神经网络基本单元依次由一层卷积Conv1D、一层k-近邻算法(KNearest Neighbor,简称kNN)和KPConv、两层FKAConv构成。其中，k取值40，Conv1D和FKAConv卷积层后面加入实例归一化(instance normalization,简称IN)和激活函数ReLU(rectified linear units)，KPConv卷积层后面加入IN和激活函数LeakyReLU，提高训练的稳定性。
步骤102：在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵。
在特征空间中使用本发明提出的特征编码模块提取源点云、目标点云中关键点的特征向量，同时根据得到的特征向量构建全局注意力矩阵。如图3所示，本发明特征编码模块中，第l层交叉注意力卷积网络的输入为上一层的输出特征向量
Figure BDA0003598354560000085
和
Figure BDA0003598354560000086
第l层交叉注意力卷积网络输出注意力矩阵
Figure BDA0003598354560000087
和新特征向量
Figure BDA0003598354560000088
和
Figure BDA0003598354560000089
具体地，残差神经网络块
Figure BDA00035983545600000810
将上一层的输出特征向量映射到高维特征空间中，即
Figure BDA00035983545600000821
和
Figure BDA00035983545600000811
分别经过相同的残差神经网络块
Figure BDA00035983545600000812
得到第l层的中间特征向量
Figure BDA00035983545600000813
和
Figure BDA00035983545600000814
为了方便描述，将该映射过程简述为：
Figure BDA00035983545600000815
其中，C(l-1)是第(l-1)层中残差神经网络块
Figure BDA00035983545600000816
的输出通道数量，特征向量
Figure BDA00035983545600000817
的维度数为(2C(l-1))。值得注意的是，第1层(l＝1)交叉注意力网络的输入为源点云
Figure BDA00035983545600000818
和目标点云
Figure BDA00035983545600000819
中的关键点，即
Figure BDA00035983545600000820
采用可微的近似表达方式来构建交叉注意力矩阵A(l)：
Figure BDA0003598354560000091
Figure BDA0003598354560000092
其中，
Figure BDA0003598354560000093
和
Figure BDA0003598354560000094
分别是中间特征向量
Figure BDA0003598354560000095
和
Figure BDA0003598354560000096
的L2-归一化(L2-normalization)特征向量。aij衡量关键点xi和yj之间的相似性概率、交换xi和yj之间的高层次语义信息。σ取0.2，是一个温度参数，用于控制对特征相似度的敏感性。[·]+是max(·,0)运算符号，用于保证aij的非负性。(A(l))ij为交叉注意力矩阵A(l)的第i行第j列元素，xi和yj分别为源点云
Figure BDA0003598354560000097
和目标点云
Figure BDA0003598354560000098
中的关键点。
通过交叉注意力矩阵A(l)交换所述源点云和所述目标点云之间的信息并得到关键点的新特征描述：
Figure BDA0003598354560000099
其中cat[·，·]表示逐通道融合函数，
Figure BDA00035983545600000910
同样可以通过类似方式获得。
Figure BDA00035983545600000911
和
Figure BDA00035983545600000912
表示第l层交叉注意力网络的输出特征向量，同时也是下一层网络的输入特征。
根据第l层交叉注意力网络输出的交叉注意力矩阵A(l)构建全局特征注意力矩阵A。第l层交叉注意力网络会输出注意力矩阵
Figure BDA00035983545600000913
本发明对L个注意力矩阵A(l)进行累加运算操作得到全局特征注意力矩阵A：
Figure BDA00035983545600000914
本发明提出使用特征编码模块来提取编码源、目标点云中关键点的特征，并根据这些关键点的特征构建出全局特征注意力矩阵A，特征注意力矩阵A可以充分辅助交换源、目标点云之间的上下文信息，增强点云的结构信息。
步骤103：构建虚拟对应点生成层，结合所述全局特征注意力矩阵得到对应点对。
构建虚拟对应点生成层，同时结合全局特征注意力矩阵合成得到虚拟对应点。本发明通过构建虚拟对应点生成层，为源点云中的每一个关键点xi生成相应的虚拟对应点
Figure BDA0003598354560000101
虚拟对应点生成层的结构如图2所示，已知全局特征注意力矩阵A，定义可微的软映射关系：
Figure BDA0003598354560000102
其中，
Figure BDA0003598354560000103
扮演着归一化指针的重要角色，该指针规定了从源点云
Figure BDA0003598354560000104
中关键点xi指向目标点云
Figure BDA0003598354560000105
中的对应点
Figure BDA0003598354560000106
的映射关系；Ai是矩阵A的第i行，Aij是矩阵A的第i行第j列元素。
通过加权运算预测一个虚拟目标点云
Figure BDA0003598354560000107
Figure BDA0003598354560000108
预测的虚拟目标点云
Figure BDA0003598354560000109
以一个大小为M×3的张量形式表示出来。式(7)估计虚拟对应点
Figure BDA00035983545600001010
的过程产生了一个从xi到
Figure BDA00035983545600001022
的匹配映射关系，
Figure BDA00035983545600001011
由位于目标点云
Figure BDA00035983545600001012
中的真实3D点的加权和产生。
本发明虚拟对应点生成层使用全局特征注意力矩阵对目标点云中的关键点进行加权，从而得到源点云中每个关键点的虚拟对应点。所述源点云
Figure BDA00035983545600001013
中的关键点xi与其虚拟对应点
Figure BDA00035983545600001014
即可构成对应点对
Figure BDA00035983545600001015
本发明提出虚拟对应点生成层来解决在目标点云中寻找确切对应点的困难，使用根据全局特征注意力矩阵对目标点云中的一系列候选关键点加权生成虚拟对应点。
步骤104：构建对应点加权层用于预测所述对应点对成为内点的置信度。
构建对应点加权层和离群点过滤模块，对应点加权层用于预测对应点对成为内点的概率(置信度)，离群点过滤模块根据对应点对的置信度大小将置信度较低的部分对应点对(离群点)剔除出去。上一个步骤103中的虚拟对应点生成层为点云
Figure BDA00035983545600001016
中的所有关键点xi生成了成对的对应点
Figure BDA00035983545600001017
由于点云
Figure BDA00035983545600001018
和
Figure BDA00035983545600001019
并非是完全重叠的，这意味着
Figure BDA00035983545600001020
和
Figure BDA00035983545600001021
中仅有一部分关键点能够成功匹配，因此有必要采取措施过滤掉匹配失败的对应点(离群点)。本发明构建了对应点加权层和离群点过滤模块对每一个对应点对赋以内点概率(置信度)权重并将权重值较小的部分对应点剔除出去。
图5为本发明提供的对应点加权层的结构示意图。参见图5，本发明对应点加权层的输入是M个对应点对
Figure BDA0003598354560000111
输出为每个对应点对的内点概率(即每个对应点对成为内点的置信度)
Figure BDA0003598354560000112
pi的值越大，对应点对(xi,
Figure BDA0003598354560000113
)成为内点的可能性越大。如图5所示，该对应点加权层由9层输出通道数不同的残差神经网络基本单元、多层感知机(multi-layer perception,简称MLP)和Softmax函数依次连接组成。每个残差神经网络基本单元的内部结构和图4完全一样，只有输出通道数不同，这9层残差神经网络基本单元的输出通道数具体依次为16、16、32、32、64、64、64、128、128，其中第1层残差神经网络基本单元的输入维度数等于6，表示输入对应点对(xi,
Figure BDA0003598354560000114
)的维度数。多层感知机MLP由三层全连接层构成，前两层由卷积函数Conv1D和激活函数ReLU组成，第三层仅由卷积函数Conv1D组成。Softmax函数将多层感知机的输出结果转化为概率估计值。
步骤105：构建离群点过滤模块将所述置信度低于内点阈值的所述对应点对进行剔除，得到剩余对应点对。
在对应点加权层中，为每一个对应点对(xi,
Figure BDA0003598354560000115
)预测了一个内点概率，即置信度pi，pi∈(0,1)表征某对应点对(xi,
Figure BDA0003598354560000116
)成为内点的可能性大小。离群点过滤模块将对应点对(xi,
Figure BDA0003598354560000117
)的置信度pi与内点阈值τ进行比较，当概率值pi小于给定阈值τ时，γi的值被置为0(此时相应的对应点对被分类为离群点)，反之，γi的值则等于pi(此时相应的对应点对被分类为内点)，对应点对从而被分类为内点/离群点：
Figure BDA0003598354560000118
其中，
Figure BDA0003598354560000119
是艾弗森括号(Iverson bracket)，γi是剩余对应点对(xi,
Figure BDA00035983545600001110
)的置信度。
每一个对应点对(xi,
Figure BDA00035983545600001111
)并行地执行上述比较运算，则可以将置信度较低的对应点滤除，有效提高配准的精确度。本发明中，离群点过滤模块仅在验证集上投入使用，且阈值τ设定为0.5，这样约有50％的对应点对被预处理为外点，剩余对应点作为内点。
步骤106：使用加权奇异值分解方法以所述剩余对应点对作为输入，求解出所述源点云和所述目标点云之间的刚性变换信息。
本发明对应点加权层由9层输出通道数不同的残差神经网络基本单元、多层感知机和Softmax函数依次构成，用于估计对应点对的内点概率值(置信度)；离群点过滤模块基于内点概率大小剔除部分置信度较低的对应点对，这部分对应点对称为离群点，剩余的对应点对称为内点。本发明采用的加权奇异值分解方法以内点和相应的内点概率值作为输入，求解源、目标点云的刚性变换信息。
具体地，本发明使用加权奇异值分解方法以剩余的对应点对(内点)作为输入，从而求解出两片点云之间的刚性变换预测。本发明和大多数配准算法类似，在得到匹配正确的对应点对(内点)后，使用加权奇异值分解方法求解出相对刚性变换预测值作为刚性变换信息；所述相对刚性变换预测值包括旋转矩阵和平移向量的预测值。已知每一个剩余对应点对的权重值(置信度)γi，使用最小二乘拟合法来估计旋转矩阵R*和平移向量t*：
Figure BDA0003598354560000121
式(9)可以采用加权奇异值分解方法来求解相对刚性变换信息(旋转矩阵R*和平移向量t*)的预测值。具体预测过程如下：
分别定义源点云
Figure BDA0003598354560000122
和虚拟目标点云
Figure BDA0003598354560000123
的加权形心
Figure BDA0003598354560000124
和
Figure BDA0003598354560000125
Figure BDA0003598354560000126
计算协方差矩阵H：
Figure BDA0003598354560000127
对矩阵H进行奇异值分解：
H＝USVT (12)
则旋转矩阵R＊和平移向量t＊可以通过式(13)和式(14)得到近似值：
R*＝Vdiag(1，1，…，det(VUT))UT (13)
Figure BDA0003598354560000131
步骤107：根据所述刚性变换信息将所述源点云和所述目标点云进行配准。
在得到旋转矩阵R＊和平移向量t＊的预测值后，根据点云坐标的刚性变换参数R＊和t＊将不同视角下采集的源点云和目标点云数据统一到同一个坐标系下，即可完成源点云和目标点云的配准。
本发明设计了一种新的点云刚性配准方法，设计目标是提供复杂场景、重叠率较低的情况下点云配准的解决方案。本发明所述配准方法总体流程为：首先，在特征空间中使用本发明提出的特征编码模块提取源点云
Figure BDA0003598354560000132
到目标点云
Figure BDA0003598354560000133
中每个关键点的特征向量，同时根据得到的特征向量构建注意力矩阵；其次，构建虚拟对应点生成层，同时结合全局特征注意力矩阵A合成得到虚拟对应点；然后，构建对应点加权层和离群点过滤模块，对应点加权层用于预测对应点对成为内点的概率(置信度)，离群点过滤模块根据对应点对的置信度大小将置信度较低的部分对应点对(离群点)剔除出去；最后，使用加权奇异值分解方法以剩余的对应点对(内点)作为输入，从而求解出两片点云之间刚性变换信息；根据所述刚性变换信息可以将所述源点云和所述目标点云进行配准。
下面提供实验验证本发明一种基于深度虚拟对应点生成的点云配准方法的技术效果。
为了与现有的方法进行公平比较，采用公开的3DMatch数据集和ModelNet40数据集用于评估本发明提出的DeepVCG配准网络的性能表现。本发明实施例采用的3DMatch和ModelNet40这两个数据集是大多数点云配准方法普遍采用的公开基准数据集。3DMatch数据集收集了来自62个室内场景的数据集，其中54个场景的数据用于训练，8个场景的数据用于评估，每片点云数据随机采样3000个点作为关键点，即M＝N＝3000。ModelNet40数据集包含40个合成的3D目标类别，共计12311个CAD模型(每个模型包含2048个点)。为了模拟局部点云，本发明采取了以下的采样策略：首先使用最远点采样(farthest-point sampling,简称FPS)方法从每一个CAD模型的外部表面采样前1024(M＝1024)个点构建源点云
Figure BDA0003598354560000141
然后为每一片源点云
Figure BDA0003598354560000142
执行随机刚性变换生成相应的目标点云
Figure BDA0003598354560000143
(N＝1024)：旋转角度(rotation)沿着三个轴在[0,45°]范围内任意设置，平移向量(translation)在[-0.5m,0.5m]范围内任意设置，最后从源点云
Figure BDA0003598354560000144
和目标点云
Figure BDA0003598354560000145
中分别任意地选择一个3D点，并在该3D点周围采样768个相邻点。
为了正确评估本发明提出的点云配准方法的性能，本发明实施例在3DMatch数据集上使用了以下三种评价指标：旋转误差(Rotation Error，简称RE)、平移误差(Translation Error,简称TE)和配准召回率(Registration Recall,简称RR)。其中，旋转误差RE和平移误差TE主要用于衡量估计位姿和地面真实位姿之间的误差，而配准召回率RR用于评估成功配准的点云对比例。当RE和TE小于给定阈值时，可以认为点云配准的结果是成功的。例如，对于3DMatch数据集而言,当RE<15°和TE<30cm时，3DMatch的成对配准结果可以认为是成功的。另外，针对ModelNet40数据集，本发明实施例采用均方根误差(root meansquare error,简称RMSE)和平均绝对误差(mean absolute error,简称MAE)两项评价指标评价旋转矩阵和平移向量的预测误差。
本发明基于深度学习框架Pytorch开发，两个数据集上的所有训练模型均使用AdamW优化器，权重衰减和初始学习率均设为0.001，批次(batchsize)设置为1。3DMatch数据集的实验运行在CPU为Intel i9-10900X、GPU为NVIDIA GeForce GTX 3090的图形工作站上，L＝6，每层交叉注意力网络中残差神经网络块
Figure BDA0003598354560000146
的输出通道数量C(l)如表1所示，共训练120个轮次，测试时使用随机采样一致性(random sample consensus，简称RANSAC)和ICP共同优化初始刚性变换预测。ModelNet40数据集的验证实验运行在CPU为Intel i9-10900X、GPU为NVIDIA GeForce GTX 3090的图形工作站上，L＝4，每层交叉注意力网络中残差神经网络块
Figure BDA0003598354560000147
的输出通道数量C(l)如表1所示，共训练20个轮次。
表1每个注意力层中残差神经网络块
Figure BDA0003598354560000148
的具体输出通道数C(l)
Figure BDA0003598354560000151
从图6的可视化结果(白色表示源点云、灰黑色表示目标点云)可以看出，本发明配准方法与传统配准方法(例如ICP、RANSAC)以及与基于学习的方法(例如DGR方法)相比，对于相同的源、目标点云输入而言，使用本发明提出的方法进行配准得到的图像更加完整细腻。
表2所示为在相同实验参数设置下4种传统方法(FGR、ICP、GC-RANSAC和RANSAC)以及2种基于学习的方法(DGR和PCAM)与本发明的方法在3DMatch数据集上评估得到的测试结果。
表2传统和基于学习的方法在3DMatch数据集的定量评估结果
Figure BDA0003598354560000152
从表2中可以得出这样的结论：本发明提出的基于虚拟对应点生成进行点云鲁棒配准的方法总体性能表现较为优越。其中配准召回率RR达到了最高的水平，与其它两种基于学习的配准方法DGR和PCAM-soft相比，本发明的方法高于DGR方法1.31％、高于PCAM-soft方法0.75％。此外，本发明提出的配准方法与表2中所列其他方法相比，旋转误差RE和平移误差TE两项评测指标均达到了最低水平，分别为1.57°和0.06m，这充分说明了本发明提出的配准方法在真实点云配准场景中具有较强的鲁棒性。
表3是传统配准方法、基于学习的方法DGR和本发明提出的配准方法在目标未见的局部点云数据(ModelNet40)的配准结果。
表3本发明与传统和基于学习的方法在目标未见的局部点云(ModelNet40)上的定量评估比较结果
Figure BDA0003598354560000161
从表3中结果可以看出,本发明的旋转矩阵和平移向量的RMSE指标达到了最低水平，较之于其他配准方法而言依旧具有很大优势,这表明本发明的方法在合成点云配准场景中依旧保持着很强劲的鲁棒性。
表4是传统配准方法、基于学习的方法DGR和本发明提出的配准方法在含噪的局部点云数据(ModelNet40)上的配准结果。
表4本发明与传统和基于学习的方法在含噪的局部点云(ModelNet40)上的定量评估比较结果
Figure BDA0003598354560000162
从表4中结果可以看出,本发明的旋转矩阵和平移向量的RMSE指标达到了最低水平，较之于其他配准方法而言依旧具有很大优势,这表明本发明的方法对噪声有着比较强的抵抗能力。
本发明提出了一种基于虚拟对应点生成的思想进行鲁棒点云配准的方法，该方法着重于解决寻找对应点困难的痛点，设计目标旨在提供待求解配准点云之间的刚性变换预测的近似解的解决方法。本发明在真实场景数据集3DMatch和合成数据集ModelNet40上进行了一系列对比实验以及定量或定性分析，表2-4中粗体表示不同指标上的最优值，表2-4的实验结果表明，本发明提出的基于虚拟对应点生成的配准方法比传统算法和基于学习的算法表现更为优异,本发明提出的配准算法拥有较强的鲁棒性，在自动驾驶、地理探测、三维重建和虚拟试衣等领域具有极其广阔的应用前景。
基于本发明提供的方法，本发明还提供一种基于深度虚拟对应点生成的点云配准系统，包括：
特征编码模块构建模块，用于构建特征编码模块；所述特征编码模块的输入为待配准的源点云和目标点云，输出包括特征向量和交叉注意力矩阵；
特征向量提取模块，用于在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵；
虚拟对应点生成层构建模块，用于构建虚拟对应点生成层，并结合所述全局特征注意力矩阵得到对应点对；
置信度预测模块，用于构建对应点加权层用于预测所述对应点对成为内点的置信度；
对应点对剔除模块，用于构建离群点过滤模块将所述置信度低于内点阈值的所述对应点对进行剔除，得到剩余对应点对；
刚性变换信息求解模块，用于使用加权奇异值分解方法以所述剩余对应点对作为输入，求解出所述源点云和所述目标点云之间的刚性变换信息；所述刚性变换信息包括旋转矩阵和平移向量；
点云配准模块，用于根据所述刚性变换信息将所述源点云和所述目标点云进行配准。
其中，所述特征编码模块构建模块具体包括：
特征编码模块构建单元，用于构建由L层重复的交叉注意力网络组成的特征编码模块；每层所述交叉注意力网络中包含一个残差神经网络块
Figure BDA00035983545600001811
；所述残差神经网络块
Figure BDA00035983545600001812
由4层完全相同的残差神经网络基本单元顺序连接组成。
所述特征向量提取模块具体包括：
交叉注意力矩阵构建单元，用于根据所述中间特征向量
Figure BDA00035983545600001810
和
Figure BDA00035983545600001815
构建第l层交叉注意力矩阵A(l)；所述特征编码模块中第l层交叉注意力网络的输入为第l-1层交叉注意力网络输出的特征向量
Figure BDA00035983545600001814
和
Figure BDA00035983545600001813
其中1<l≤L；所述特征向量
Figure BDA0003598354560000188
和
Figure BDA0003598354560000189
分别经过相同的所述残差神经网络块
Figure BDA00035983545600001817
得到中间特征向量
Figure BDA00035983545600001816
和
Figure BDA00035983545600001818
特征向量输出单元，用于根据所述第l层交叉注意力矩阵A(l)交换所述源点云和所述目标点云之间的信息，得到第l层交叉注意力网络输出的特征向量
Figure BDA00035983545600001819
和
Figure BDA00035983545600001820
全局特征注意力矩阵构建单元，用于对L个所述注意力矩阵A(l)进行累加运算操作，得到所述全局特征注意力矩阵A。
所述虚拟对应点生成层构建模块具体包括：
虚拟对应点生成层构建单元，用于构建虚拟对应点生成层，基于所述全局特征注意力矩阵A，采用公式
Figure BDA0003598354560000181
对所述目标点云中的关键点进行加权，得到所述源点云中每个关键点的虚拟对应点；其中
Figure BDA0003598354560000186
为归一化指针，规定了从源点云
Figure BDA0003598354560000182
中的关键点xi指向目标点云
Figure BDA0003598354560000185
中的虚拟对应点
Figure BDA00035983545600001821
的映射关系；M和N分别为所述源点云和所述目标点云中的关键点个数；Ai是所述全局特征注意力矩阵A的第i行；Aij是所述全局特征注意力矩阵A的第i行第j列元素；
对应点对生成单元，用于将所述源点云
Figure BDA0003598354560000183
中的关键点xi与其虚拟对应点
Figure BDA0003598354560000187
构成对应点对(xi,
Figure BDA0003598354560000184
)。
所述置信度预测模块具体包括：
对应点加权层构建单元，用于构建对应点加权层，所述对应点加权层由9层输出通道数不同的残差神经网络基本单元、多层感知机和Softmax函数依次连接构成；
置信度预测单元，用于利用所述对应点加权层预测所述对应点对(xi，
Figure BDA0003598354560000192
)成为内点的置信度pi。
本发明提出的一种基于深度虚拟对应点生成的点云配准方法及系统中，首先使用特征编码模块提取源、目标点云中的关键点的特征向量，根据得到的特征构向量构建全局特征注意力矩阵，特征注意力矩阵可以实现交换源、目标点云之间的上下文信息、增强结构信息的目标；其次，构建虚拟对应点生成层，结合全局特征注意力矩阵合成得到源点云中每个关键点的虚拟对应点；然后，构建对应点加权层和离群点过滤模块，对应点加权层用于预测对应点对成为内点的概率(置信度)，离群点过滤模块用于剔除置信度较低的部分对应点对；最后，使用加权奇异值分解方法(weighted singular value decomposition，简称weighted SVD)来求解源、目标点云刚性变换的预测信息。
本发明提出的算法在开源数据集3DMatch、ModelNet40数据集上的的评估实验表明，本发明方法在鲁棒性、精确度、配准质量等各方面优于以往的传统配准方法和基于深度学习的配准方法，在自动驾驶领域、文物数字化建模、智能家居等领域有着广阔的应用前景。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度虚拟对应点生成的点云配准方法，其特征在于，包括：
构建特征编码模块；所述特征编码模块的输入为待配准的源点云和目标点云，输出包括特征向量和交叉注意力矩阵；
在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵；
构建虚拟对应点生成层，结合所述全局特征注意力矩阵得到对应点对；
构建对应点加权层用于预测所述对应点对成为内点的置信度；
构建离群点过滤模块将所述置信度低于内点阈值的所述对应点对进行剔除，得到剩余对应点对；
使用加权奇异值分解方法以所述剩余对应点对作为输入，求解出所述源点云和所述目标点云之间的刚性变换信息；所述刚性变换信息包括旋转矩阵和平移向量；
根据所述刚性变换信息将所述源点云和所述目标点云进行配准。
2.根据权利要求1所述的方法，其特征在于，所述构建特征编码模块，具体包括：
构建由L层重复的交叉注意力网络组成的特征编码模块；每层所述交叉注意力网络中包含一个残差神经网络块
Figure FDA00035983545500000110
所述残差神经网络块
Figure FDA00035983545500000111
由4层完全相同的残差神经网络基本单元顺序连接组成。
3.根据权利要求2所述的方法，其特征在于，所述在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵，具体包括：
所述特征编码模块中第l层交叉注意力网络的输入为第l-1层交叉注意力网络输出的特征向量
Figure FDA0003598354550000011
和
Figure FDA0003598354550000012
其中1<l≤L；
所述特征向量
Figure FDA0003598354550000013
和
Figure FDA0003598354550000014
分别经过相同的所述残差神经网络块
Figure FDA0003598354550000015
得到中间特征向量
Figure FDA0003598354550000016
和
Figure FDA0003598354550000017
根据所述中间特征向量
Figure FDA0003598354550000018
和
Figure FDA0003598354550000019
构建第l层交叉注意力矩阵A(l)；
根据所述第l层交叉注意力矩阵A(l)交换所述源点云和所述目标点云之间的信息，得到第l层交叉注意力网络输出的特征向量
Figure FDA0003598354550000021
和
Figure FDA0003598354550000022
对L个所述注意力矩阵A(l)进行累加运算操作，得到所述全局特征注意力矩阵A。
4.根据权利要求3所述的方法，其特征在于，所述构建虚拟对应点生成层，结合所述全局特征注意力矩阵得到对应点对，具体包括：
构建虚拟对应点生成层，基于所述全局特征注意力矩阵A，采用公式
Figure FDA0003598354550000023
对所述目标点云中的关键点进行加权，得到所述源点云中每个关键点的虚拟对应点；其中
Figure FDA0003598354550000024
为归一化指针，规定了从源点云
Figure FDA0003598354550000025
中的关键点xi指向目标点云
Figure FDA0003598354550000026
中的虚拟对应点
Figure FDA0003598354550000027
的映射关系；M和N分别为所述源点云和所述目标点云中的关键点个数；Ai是所述全局特征注意力矩阵A的第i行；Aij是所述全局特征注意力矩阵A的第i行第j列元素；
将所述源点云
Figure FDA0003598354550000028
中的关键点xi与其虚拟对应点
Figure FDA0003598354550000029
构成对应点对
Figure FDA00035983545500000210
5.根据权利要求4所述的方法，其特征在于，所述构建对应点加权层用于预测所述对应点对成为内点的置信度，具体包括：
构建对应点加权层，所述对应点加权层由9层输出通道数不同的残差神经网络基本单元、多层感知机和Softmax函数依次连接构成；
利用所述对应点加权层预测所述对应点对
Figure FDA00035983545500000211
成为内点的置信度pi。
6.一种基于深度虚拟对应点生成的点云配准系统，其特征在于，包括：
特征编码模块构建模块，用于构建特征编码模块；所述特征编码模块的输入为待配准的源点云和目标点云，输出包括特征向量和交叉注意力矩阵；
特征向量提取模块，用于在特征空间中使用所述特征编码模块提取所述源点云和所述目标点云中关键点的特征向量，并根据所述特征向量构建全局特征注意力矩阵；
虚拟对应点生成层构建模块，用于构建虚拟对应点生成层，并结合所述全局特征注意力矩阵得到对应点对；
置信度预测模块，用于构建对应点加权层用于预测所述对应点对成为内点的置信度；
对应点对剔除模块，用于构建离群点过滤模块将所述置信度低于内点阈值的所述对应点对进行剔除，得到剩余对应点对；
刚性变换信息求解模块，用于使用加权奇异值分解方法以所述剩余对应点对作为输入，求解出所述源点云和所述目标点云之间的刚性变换信息；所述刚性变换信息包括旋转矩阵和平移向量；
点云配准模块，用于根据所述刚性变换信息将所述源点云和所述目标点云进行配准。
7.根据权利要求6所述的系统，其特征在于，所述特征编码模块构建模块具体包括：
特征编码模块构建单元，用于构建由L层重复的交叉注意力网络组成的特征编码模块；每层所述交叉注意力网络中包含一个残差神经网络块
Figure FDA0003598354550000031
所述残差神经网络块
Figure FDA0003598354550000032
由4层完全相同的残差神经网络基本单元顺序连接组成。
8.根据权利要求7所述的系统，其特征在于，所述特征向量提取模块具体包括：
交叉注意力矩阵构建单元，用于根据所述中间特征向量
Figure FDA0003598354550000033
和
Figure FDA0003598354550000034
构建第l层交叉注意力矩阵A(l)；所述特征编码模块中第l层交叉注意力网络的输入为第l-1层交叉注意力网络输出的特征向量
Figure FDA0003598354550000035
和
Figure FDA0003598354550000036
其中1<l≤L；所述特征向量
Figure FDA0003598354550000037
和
Figure FDA0003598354550000038
分别经过相同的所述残差神经网络块
Figure FDA0003598354550000039
得到中间特征向量
Figure FDA00035983545500000310
和
Figure FDA00035983545500000311
特征向量输出单元，用于根据所述第l层交叉注意力矩阵A(l)交换所述源点云和所述目标点云之间的信息，得到第l层交叉注意力网络输出的特征向量
Figure FDA00035983545500000312
和
Figure FDA00035983545500000313
全局特征注意力矩阵构建单元，用于对L个所述注意力矩阵A(l)进行累加运算操作，得到所述全局特征注意力矩阵A。
9.根据权利要求8所述的系统，其特征在于，所述虚拟对应点生成层构建模块具体包括：
虚拟对应点生成层构建单元，用于构建虚拟对应点生成层，基于所述全局特征注意力矩阵A，采用公式
Figure FDA0003598354550000041
对所述目标点云中的关键点进行加权，得到所述源点云中每个关键点的虚拟对应点；其中
Figure FDA0003598354550000042
为归一化指针，规定了从源点云
Figure FDA0003598354550000043
中的关键点xi指向目标点云
Figure FDA0003598354550000044
中的虚拟对应点
Figure FDA0003598354550000045
的映射关系；M和N分别为所述源点云和所述目标点云中的关键点个数；Ai是所述全局特征注意力矩阵A的第i行；Aij是所述全局特征注意力矩阵A的第i行第j列元素；
对应点对生成单元，用于将所述源点云
Figure FDA0003598354550000046
中的关键点xi与其虚拟对应点
Figure FDA0003598354550000047
构成对应点对
Figure FDA0003598354550000048
10.根据权利要求9所述的系统，其特征在于，所述置信度预测模块具体包括：
对应点加权层构建单元，用于构建对应点加权层，所述对应点加权层由9层输出通道数不同的残差神经网络基本单元、多层感知机和Softmax函数依次连接构成；
置信度预测单元，用于利用所述对应点加权层预测所述对应点对
Figure FDA0003598354550000049
成为内点的置信度pi。
CN202210398269.4A 2022-04-15 2022-04-15 一种基于深度虚拟对应点生成的点云配准方法及系统 Pending CN114708315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210398269.4A CN114708315A (zh) 2022-04-15 2022-04-15 一种基于深度虚拟对应点生成的点云配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210398269.4A CN114708315A (zh) 2022-04-15 2022-04-15 一种基于深度虚拟对应点生成的点云配准方法及系统

Publications (1)

Publication Number Publication Date
CN114708315A true CN114708315A (zh) 2022-07-05

Family

ID=82174075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210398269.4A Pending CN114708315A (zh) 2022-04-15 2022-04-15 一种基于深度虚拟对应点生成的点云配准方法及系统

Country Status (1)

Country Link
CN (1) CN114708315A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128941A (zh) * 2023-02-08 2023-05-16 西安电子科技大学 一种基于跳跃注意力机制的点云配准方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128941A (zh) * 2023-02-08 2023-05-16 西安电子科技大学 一种基于跳跃注意力机制的点云配准方法

Similar Documents

Publication Publication Date Title
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
CN109410307B (zh) 一种场景点云语义分割方法
CN110503680B (zh) 一种基于非监督的卷积神经网络单目场景深度估计方法
CN110009674B (zh) 基于无监督深度学习的单目图像景深实时计算方法
CN113870335B (zh) 一种基于多尺度特征融合的单目深度估计方法
CN108171249B (zh) 一种基于rgbd数据的局部描述子学习方法
CN113962858A (zh) 一种多视角深度获取方法
CN113284251B (zh) 一种自适应视角的级联网络三维重建方法及系统
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
CN113762358A (zh) 一种基于相对深度训练的半监督学习三维重建方法
CN111028273B (zh) 一种基于多流卷积神经网络的光场深度估计方法及其实现系统
CN113221647A (zh) 一种融合点云局部特征的6d位姿估计方法
CN110517309A (zh) 一种基于卷积神经网络的单目深度信息获取方法
CN114359509A (zh) 一种基于深度学习的多视图自然场景重建方法
CN114463492A (zh) 一种基于深度学习的自适应通道注意力三维重建方法
CN116681742A (zh) 基于图神经网络的可见光与红外热成像图像配准方法
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN115393404A (zh) 双光图像配准方法、装置及设备、存储介质
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114708315A (zh) 一种基于深度虚拟对应点生成的点云配准方法及系统
Chen et al. Leveraging neural radiance fields for uncertainty-aware visual localization
CN112116646A (zh) 一种基于深度卷积神经网络的光场图像深度估计方法
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN117132651A (zh) 一种融合彩色图像和深度图像的三维人体姿态估计方法
CN116168162A (zh) 一种多视角加权聚合的三维点云重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination