CN112581515A - 基于图神经网络的户外场景点云配准方法 - Google Patents

基于图神经网络的户外场景点云配准方法 Download PDF

Info

Publication number
CN112581515A
CN112581515A CN202011294196.1A CN202011294196A CN112581515A CN 112581515 A CN112581515 A CN 112581515A CN 202011294196 A CN202011294196 A CN 202011294196A CN 112581515 A CN112581515 A CN 112581515A
Authority
CN
China
Prior art keywords
point cloud
block
point
matching
point clouds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011294196.1A
Other languages
English (en)
Other versions
CN112581515B (zh
Inventor
李颢
李彦浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Publication of CN112581515A publication Critical patent/CN112581515A/zh
Application granted granted Critical
Publication of CN112581515B publication Critical patent/CN112581515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图神经网络的户外场景点云配准方法，该方法包括：S1：对待配准点云进行地面点滤除；S2：对点云进行欧几里得距离的点云聚类得到块状点云；S3：构建多对待配准点云并生成块状点云间的匹配关系；S4：对块状点云进行正则化处理，得到两组正则化后的块状点云、两组块状点云的重心以及标准差；S5：构建学习块状点云的局部几何描述符的图神经网络；S6：构建两组块状点云之间的信息交互网络；S7：构建用于描述符匹配的神经网络，使用最优传输模型求解匹配概率矩阵Γ，构建损失函数；S8：使用随机采样一致性方法筛选匹配对关系，求解相对变换矩阵T。本发明可以用以配准两个重叠度低、初始坐标系相差较大的户外场景点云。

Description

基于图神经网络的户外场景点云配准方法
技术领域
本发明涉及一种基于图神经网络的户外场景点云配准方法。
背景技术
点云配准方法在测绘行业的三维场景重建、机器人领域的实时建图与定位等有广泛应用。点云，也称为点集，是指在某个特定坐标系下的一组坐标点的集合。点云通常由点云扫描仪生成，常见的点云扫描仪有激光雷达、RGBD相机，此外双目相机通过立体视觉的方法也可以生成点云。给定一个目标点云和待配准点云，如何通过刚性变换使得待配准点云对齐至目标点云的过程，称为点云的配准。经过成功配准的两个点云将转换至同一坐标系下，且相同部分的点云将会相互重合。
在户外场景中，点云扫描仪通常只能扫描到在其周围可探测范围内的环境并生成相应的点云，而在同一环境的不同位置下扫描到的点云常常会有一定差别，这是由点云所在的坐标系的不一致、不同位置下探测到的环境的不一致以及点云的噪声造成的。当两个点云仅有部分重叠、且所在坐标系相差较远时，配准两个点云的难度较大。
总体上看，适用于户外场景的点云配准方法主要分为迭代最近点(ICP)方法、基于概率拟合的方法和基于点云特征匹配的方法。迭代最近点法匹配待配准点云的各个点与其对应的目标点云中的最近点，求解刚性变换，并迭代多次直至两个点云相互重合。该方法对重叠度高、初始坐标系相近的点云配准效果较好，对于重叠度低、或初始坐标系相差较大的点云配准往往会陷入局部错误解。基于概率拟合的方法通常将目标点云转化为栅格化的概率分布，将点云的配准问题转化为概率的最大似然问题，由于概率栅格是由多个目标点拟合而成的，因此待匹配的点与目标点是一对多的匹配关系。该方法对点云的噪声、离群值鲁棒性较好，但无法解决初始坐标系相差较大的点云配准问题。基于特征匹配的点云配准方法试图寻找两个点云的局部特征，如点云的块状特征或者特征点，计算所选特征的描述符，将相似的特征进行匹配从而实现两个点云的配准，该方法可以适用于重叠度低、初始坐标系相差较远的点云配准问题，但如何合理地选取点云的局部特征以及用于匹配的特征描述符是基于特征匹配方法的难点。
发明内容
本发明的目的在于提供一种基于图神经网络的户外场景点云配准方法。
为解决上述问题，本发明提供一种基于图神经网络的户外场景点云配准方法，包括：
S1.对目标点云
Figure BDA0002784707960000021
进行地面点滤除，得到不含地面的点云Cloud1，对待配准点云
Figure BDA0002784707960000022
进行地面点滤除，得到不含地面的点云Cloud2；
S2.对点云Cloud1进行基于欧几里得距离的点云聚类，得到一组块状点云
Figure BDA0002784707960000023
对点云Cloud2进行基于欧几里得距离的点云聚类，得到另一组块状点云
Figure BDA0002784707960000024
S3.构建用于训练局部几何描述符网络、块状点云信息交互网络和描述符匹配网络的块状点云数据集；
S4.对块状点云
Figure BDA0002784707960000025
进行正则化处理，得到对应的正则化后的块状点云
Figure BDA0002784707960000026
块状点云的重心
Figure BDA0002784707960000027
以及标准差
Figure BDA0002784707960000028
对块状点云
Figure BDA0002784707960000029
进行正则化处理，得到对应的正则化后的块状点云
Figure BDA00027847079600000210
块状点云的重心
Figure BDA00027847079600000211
以及标准差
Figure BDA00027847079600000212
S5.构建学习单个块状点云的局部几何描述符的图神经网络，基于单个块状点云的局部几何描述符的图神经网络，将每个正则化后的块状点
Figure BDA0002784707960000031
和
Figure BDA0002784707960000032
分别云映射为对应的d维的局部描述符向量；
S6.构建块状点云的信息交互网络，基于块状点云的信息交互网络，将每个块状点云对应的d维的局部描述符向量、重心和标准差与其他块状点云交互得到g维的匹配描述符；
S7.构建用于g维的匹配描述符的神经网络，使用最优传输模型求解匹配概率矩阵Γ，根据所述匹配概率矩阵Γ筛选置信度高的块状点云匹配对；
S8.在模型实际使用阶段使用随机采样一致性方法，以筛选出正确的块状点云匹配对关系，并根据匹配对关系求解两个点云的相对变换矩阵T，将相对变换矩阵T应用于待配准点云
Figure BDA0002784707960000033
完成目标点云
Figure BDA0002784707960000034
和待配准点云
Figure BDA0002784707960000035
间的配准。
进一步的，上述方法中，所述步骤S1，包括：
输入原始目标点云
Figure BDA0002784707960000036
和原始待配准点云
Figure BDA0002784707960000037
使用随机采样一致性算法拟合每个点云的最大平面P1和P2作为地平面，并滤除地平面点云得到不含地面的点云
Figure BDA0002784707960000038
Figure BDA0002784707960000039
α＞0。
进一步的，上述方法中，所述步骤S2，包括：
输入两个不含地面的点云Cloud1和Cloud2，使用基于欧几里得距离进行点云聚类算法分别对Cloud1和Cloud2进行聚类，得到两组块状点云
Figure BDA00027847079600000310
和
Figure BDA00027847079600000311
使两组块状点云
Figure BDA00027847079600000312
和
Figure BDA00027847079600000313
分别满足对于c＝1或c＝2，i≠j,有
Figure BDA00027847079600000314
并且
Figure BDA00027847079600000315
有
Figure BDA00027847079600000316
β＞0为预设欧几里得距离阈值。
进一步的，上述方法中，所述步骤S7，包括：
使用自监督的方法生成用于块状点云匹配网络训练的数据集，其中原始的全局点云由激光建图生成，然后将全局点云地图按建图的时间顺序切分成若干个点云用于配准，且相邻的点云的重叠率为60％，以得到用于块状点云匹配网络训练的数据集；
对每个切分好的点云使用步骤S2中的欧几里得距离的点云聚类的方法进行点云聚类得到若干个块状点云，其中，两个点云的块状点云的对应关系由激光建图轨迹给出；
若两个聚类得到的块状点云在全局点云中的重叠率大于80％则认为两个块状点云是匹配的，得到两组块状点云之间的匹配关系
Figure BDA0002784707960000041
Mi,j表示块状点云对
Figure BDA0002784707960000042
的匹配真值，1表示匹配，0表示不匹配。
进一步的，上述方法中，所述步骤S4，包括：
输入两组块状点云
Figure BDA0002784707960000043
和
Figure BDA0002784707960000044
其中Seg＝[X1 T,…,Xn T]T∈Rn×3，输出分别正则化后的两组块状点云
Figure BDA0002784707960000045
和
Figure BDA0002784707960000046
其中，正则化表示如下：
Figure BDA0002784707960000047
其中，
Figure BDA0002784707960000048
得到每个块状点云Seg的重心
Figure BDA0002784707960000049
标准差
Figure BDA00027847079600000410
和正则化后的块状点云Seg'＝[X′i T，…,X′m T]T∈Rn×3。
进一步的，上述方法中，所述步骤S5，包括：
单个块状点云的局部几何描述符的图神经网络的输入为一个正则化的块状点云Seg′∈Rm×3，输出为一个d维的局部描述符向量，其中，所述图神经网络由三层EdgeConv卷积层、一层Pooling池化层和三层多层感知机MLP组成，在相邻的神经网络层之间有LeakyReLU激活函数层，分别定义为：
S401：EdgeConv边缘卷积层是作用在由N个节点组成的图上的操作，每一层的图结构是根据当前层的特征向量之间的欧几里得距离构建的K最近邻图，图的节点对应着块状点云中的每一个点，每个点在每一层均有对应的特征向量EdgeConv的卷积操作表达式如下：
Figure BDA0002784707960000051
其中，
Figure BDA0002784707960000052
表示节点i的邻域，
Figure BDA0002784707960000053
表示节点i在第l层的特征向量，Θ和Φ为待学习的权重参数，ReLU为激活函数；
S402：Pooling池化层将n个点的特征向量的最大值和平均值串联成1个输出向量，表达式为：
Figure BDA0002784707960000054
进一步的，上述方法中，所述步骤S6，包括：
所述块状点云的信息交互网络的输入为两组块状点云分别对应的d维的局部描述符向量
Figure BDA0002784707960000055
和
Figure BDA0002784707960000056
两组块状点云分别对应的重心
Figure BDA00027847079600000512
和
Figure BDA0002784707960000057
和两组块状点云分别对应的标准差
Figure BDA0002784707960000058
和
Figure BDA0002784707960000059
输出为两组块状点云分别对应的匹配描述符
Figure BDA00027847079600000510
和
Figure BDA00027847079600000511
所述块状点云的信息交互网络包括特征编码层、3层点云内部的块状点云信息交互层和3层两点云间的块状点云信息交互层，其中，3层点云内部的块状点云信息交互层与3层两点云间的块状点云信息交互层交替地组成信息交互网络，分别定义为：
S501：块状点云的特征编码层的输入为单个块状点云的局部描述符Di、重心mi和标准差σi，输出为d维的特征向量，特征编码层将重心mi和标准差σi串联为[mi Tσi T]T，经过4层MLP多层感知机层得到d维的中间向量yi，yi与Di相加得到d维的特征向量zi；
S502：块状点云信息交互层为图神经网络，图的节点对应每个块状点云，每个节点在每一层均有一个特征向量，对于点云内部的块状点云信息交互层，每个节点的邻居为同一个点云内部其余块状点云对应的节点，对于两个点云间的块状点云信息交互层，每个节点的邻居为另一个点云内部所有块状点云对应的节点，每一层的信息交互层的表达式为：
Figure BDA0002784707960000061
Figure BDA0002784707960000062
进一步的，上述方法中，所述步骤S7，包括：
用于块状点云匹配描述符的匹配网络使用最优传输问题模型对匹配问题建模，其输入为匹配描述符
Figure BDA0002784707960000063
和
Figure BDA0002784707960000064
步骤为：
S601：构造匹配收益矩阵
Figure BDA0002784707960000065
满足
Figure BDA0002784707960000066
将匹配收益矩阵拓展为
Figure BDA0002784707960000067
其中
Figure BDA0002784707960000068
Figure BDA0002784707960000069
为待学习参数；
S602：构造最优传输问题，给定
Figure BDA00027847079600000610
设
Figure BDA00027847079600000611
求
Figure BDA00027847079600000612
Subject to
Figure BDA00027847079600000613
Figure BDA00027847079600000614
并使用Sinkhorn算法求解
Figure BDA00027847079600000615
S603：在训练阶段已知两组块状点云之间的匹配关系
Figure BDA00027847079600000616
Mi,j表示块状点云对
Figure BDA00027847079600000617
的匹配真值，1表示匹配，0表示不匹配，构造损失函数
Figure BDA00027847079600000618
并进行反向梯度传播训练网络的各个权重参数；
S604：在推导阶段根据输出的匹配概率矩阵
Figure BDA00027847079600000619
选取匹配概率大于一定阈值的匹配对(i,j)，
Figure BDA00027847079600000620
得到候选匹配对Candidates＝{(i1,j1),…,(ik,jk)}。
进一步的，上述方法中，所述步骤S8，包括：
在模型实际使用阶段使用随机采样一致性算法对候选块状点云匹配对进行筛选，随机对k个匹配结果进行N次采样，每次采样其中4个匹配对，根据4个匹配对的块状点云的重心求解两个点云间的变换矩阵T∈SE(3)，并计算相对变换矩阵T(R,t)的匹配成绩
Figure BDA0002784707960000071
Figure BDA0002784707960000072
预设阈值τ＞0，取N次采样中匹配成绩最好的相对变换矩阵T作为最终的相对变换矩阵，将最终的相对变换矩阵T应用于待配准点云
Figure BDA0002784707960000073
完成目标点云
Figure BDA0002784707960000074
和待配准点云
Figure BDA0002784707960000075
间的配准。
本发明的有益效果在于：本发明使用图神经网络学习单个块状点云的局部几何特征，使用图神经网络实现两个点云间的块状点云特征的交互，赋予块状点云的特征描述符自身的局部几何信息以及与其他块状点云间的空间拓扑信息，弥补了人工设计的点云局部描述符无法描述点云特征的拓扑结构信息的缺陷，并提出基于图神经网络进行块状点云匹配实现点云配准的一整套方法流程，完成仅有部分重叠、初始坐标系相差较大的两个点云的精确、鲁棒配准。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
图1为本发明方法的步骤流程图；
图2为用于生成块状点云局部几何描述符的图神经网络结构图；
图3为用于生成块状点云匹配描述符的图神经网络结构图；
图4为根据最优传输问题对描述符匹配问题建模的神经网络结构图；
图5为户外街道场景的两个激光雷达点云间的块状点云匹配效果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明是一种基于图神经网络的户外场景的点云配准方法，用以配准两个重叠度低、初始坐标系相差较大的户外场景点云，属于测绘、机器人等领域。该方法包括以下步骤：
S1.对目标点云
Figure BDA0002784707960000081
和待配准点云
Figure BDA0002784707960000082
进行地面点滤除，得到不含地面的点云Cloud1和Cloud2；
S2.对点云Cloud1和Cloud2进行基于欧几里得距离的点云聚类，得到两组块状点云
Figure BDA0002784707960000083
和
Figure BDA0002784707960000084
S3.对块状点云进行正则化处理，得到两组正则化后的块状点云
Figure BDA0002784707960000085
和
Figure BDA0002784707960000086
两组块状点云的重心
Figure BDA0002784707960000087
和
Figure BDA0002784707960000088
以及标准差
Figure BDA0002784707960000089
和
Figure BDA00027847079600000810
S4.构建学习单个块状点云的局部几何描述符的图神经网络，将每个块状点云映射为d维的局部描述符向量；
S5.构建两组块状点云之间的信息交互网络，将每个块状点云的d维局部描述符、重心与标准差与其他块状点云交互得到g维的匹配描述符；
S6.构建用于描述符匹配的神经网络，使用最优传输模型求解匹配概率矩阵Γ，根据匹配概率矩阵Γ筛选置信度高的块状点云匹配对；
S7.构建用于训练局部几何描述符网络、块状点云信息交互网络和描述符匹配网络的块状点云数据集；
S8.使用随机采样一致性方法筛选出正确的块状点云匹配对关系，并根据匹配对关系求解两个点云的相对变换矩阵T。
为使该方法得以清楚理解，用于神经网络训练的流程和神经网络实际使用时的步骤流程分别见图1和图2。
所述步骤S1中：输入原始目标点云
Figure BDA00027847079600000811
和原始待配准点云
Figure BDA0002784707960000091
使用随机采样一致性算法拟合每个点云的最大平面P1和P2作为地平面，并滤除地平面点云得到不含地面的点云
Figure BDA0002784707960000092
Figure BDA0002784707960000093
α＞0为预设的点到平面的距离，具体数值可以为5cm，或视具体实施效果设置。
此外，输入点云为为轮式机器人做激光雷达的实时建图与定位所得，则可以根据激光雷达相对于地面的高度求得地面在激光雷达坐标系中的平面方程，并滤除每一帧点云中距离地面α的点，以达到地面点云滤除的目的。
所述步骤S2中，输入两个不含地面的点云Cloud1和Cloud2，使用基于欧几里得距离进行点云聚类算法对Cloud1和Cloud2进行聚类，得到两组块状点云
Figure BDA0002784707960000094
和
Figure BDA0002784707960000095
使其满足对于c＝1或c＝2，i≠j,有
Figure BDA0002784707960000096
并且
Figure BDA0002784707960000097
有
Figure BDA0002784707960000098
β＞0为预设欧几里得距离阈值。
所述步骤S3中：使用自监督的方法生成用于块状点云匹配网络训练的数据集，原始的全局点云由激光建图生成，然后将全局点云地图按建图的时间顺序切分成若干个点云用于配准，且相邻的点云的重叠率为60％，对每个点云使用步骤S2中的欧几里得距离聚类方法进行点云聚类得到若干个块状点云，两个点云的块状点云的对应关系由激光建图轨迹给出，若两个块状点云在全局点云中的重叠率大于80％则认为两个块状点云是匹配的。在实际实施过程中，用于训练的两个待配准点云间可随机加入旋转和平移变换，以达到数据增强的目的。
所述步骤S4中，输入两组块状点云
Figure BDA0002784707960000099
和
Figure BDA00027847079600000910
其中Seg＝[X1 T,…,Xn T]T∈Rn×3，输出正则化后的两组块状点云
Figure BDA00027847079600000911
和
Figure BDA00027847079600000912
正则化表示如下：
Figure BDA00027847079600000913
其中，
Figure BDA0002784707960000101
该步骤得到每个块状点云Seg的重心
Figure BDA0002784707960000102
标准差
Figure BDA0002784707960000103
和正则化后的块状点云Seg’＝[X′i T,…,X′m T]T∈Rn×3。
所述步骤S5中，局部描述符神经网络的输入为一个正则化的块状点云Seg′∈Rm×3，输出为一个d维的向量，图神经网络由三层EdgeConv卷积层、一层Pooling池化层和三层多层感知机MLP组成，在相邻的神经网络层之间有LeakyReLU激活函数层，神经网络结构图见图2。各个神经网络层的分别定义为：
EdgeConv边缘卷积层是作用在由N个节点组成的图上的操作，每一层的图结构是根据当前层的特征向量之间的欧几里得距离构建的K最近邻图，图的节点对应着块状点云中的每一个点，每个点在每一层均有对应的特征向量EdgeConv的卷积操作表达式如下：
Figure BDA0002784707960000104
(i)表示节点i的邻域，
Figure BDA0002784707960000105
表示节点i在第l层的特征向量，Θ和Φ为待学习的权重参数，ReLU为激活函数
Pooling池化层将n个点的特征向量的最大值和平均值串联成1个输出向量，表达式为：
Figure BDA0002784707960000106
MLP多层感知机层由多层全连接网络构成，每层全连接层表达式为：
Figure BDA0002784707960000107
W和b为待学习的权重参数。
LeakyReLU激活函数层的表达式为：
Figure BDA0002784707960000108
k∈(0,1)，一般取较接近0的正实数，在实际操作中可以取0.1。
所述步骤S6中，用于块状点云的信息交互网络的输入为两组块状点云的局部描述符
Figure BDA0002784707960000111
和
Figure BDA0002784707960000112
两组块状点云的重心
Figure BDA0002784707960000113
和
Figure BDA0002784707960000114
和两组块状点云的标准差
Figure BDA0002784707960000115
和
Figure BDA0002784707960000116
输出为两组块状点云的匹配描述符
Figure BDA0002784707960000117
和
Figure BDA0002784707960000118
块状点云的信息交互网络包括特征编码层、点云内部的块状点云信息交互层和两点云间的块状点云信息交互层，其中3层点云内部的块状点云信息交互层与3层两点云间的块状点云信息交互层交替地组成信息交互网络，神经网络结构图见图3。各个神经网络层的分别定义为：
块状点云的特征编码层的输入为单个块状点云的局部描述符Di、重心mi和标准差σi，输出为d维的特征向量，特征编码层将重心mi和标准差σi串联为[mi Tσi T]T，经过4层MLP多层感知机层得到d维的中间向量yi，yi与Di相加得到d维的特征向量zi。
块状点云信息交互层为图神经网络，图的节点对应每个块状点云，每个节点在每一层均有一个特征向量，对于点云内部的块状点云信息交互层，每个节点的邻居为同一个点云内部其余块状点云对应的节点，对于两个点云间的块状点云信息交互层，每个节点的邻居为另一个点云内部所有块状点云对应的节点，每一层的信息交互层的表达式为：
Figure BDA0002784707960000119
所述步骤S7中，用于块状点云匹配描述符的匹配网络使用最优传输问题模型对匹配问题建模，其输入为匹配描述符
Figure BDA00027847079600001110
和
Figure BDA00027847079600001111
步骤为：
S601：构造匹配收益矩阵
Figure BDA00027847079600001112
满足
Figure BDA00027847079600001113
将匹配收益矩阵拓展为
Figure BDA00027847079600001114
其中
Figure BDA00027847079600001115
Figure BDA00027847079600001116
为待学习参数。
S602：构造最优传输问题。特征向量的匹配问题可以类比于求解如何以最大的收益将集合X中的元素传递至集合Y中。考虑有限集合
Figure BDA00027847079600001117
和
Figure BDA00027847079600001118
P和Q分别为两个集合所在的空间。设集合X＝{x1,…,xm}，集合Y＝{y1,…,yn}，给定传输收益函数：
Figure BDA0002784707960000121
设X与Y之间的传输函数
Figure BDA0002784707960000122
满足以下条件
Figure BDA0002784707960000123
Figure BDA0002784707960000124
目标是求X与Y之间的最优传输函数
Figure BDA0002784707960000125
使得：
Figure BDA0002784707960000126
如果将传输收益函数C和传输函数Γ表示为矩阵形式，
Figure BDA0002784707960000127
Figure BDA0002784707960000128
则上述问题可以转化为求：
Figure BDA0002784707960000129
Subject to
Γ·1n＝mX (i)，
ΓT·1m＝mY (ii)，
其中1n为由n个1组成的n维向量，
Figure BDA00027847079600001210
(i)和(ii)一般被称为“质量守恒条件“。而在我们的块状点云匹配问题中，两组块状点云间的匹配问题可以转化为最优传输问题：
Figure BDA00027847079600001211
Figure BDA00027847079600001212
Γij表示
Figure BDA00027847079600001213
和
Figure BDA00027847079600001214
相互匹配的概率，Cij表示
Figure BDA00027847079600001215
和
Figure BDA00027847079600001216
相互匹配所获得的收益。理想情况下，若X中的块状点云总能在Y中找到对应的块状点云，则
Figure BDA00027847079600001217
对应的匹配概率之和为1，可相应地构造质量守恒方程：
Γ·1n＝1m，
同理质量守恒方程可构造为：
ΓT·1m＝1n，
然而在块状点云匹配问题中，由于两个点云Cloud1和Cloud2之间往往不是完全重合的，X中的块状点云有可能无法在Y中找到对应的块状点云，因此我们为每个块状点云赋予一个额外的“无效匹配”选项，对应的概率称为“无效概率”，并相应地在最优传输问题中加入“无效匹配“的松弛项：
Figure BDA0002784707960000131
Figure BDA0002784707960000132
Figure BDA0002784707960000133
Figure BDA0002784707960000134
由于X中的“垃圾箱”可能对应着多个Y中的无效块状点云，因此Y中所有的块状点云都无效的概率之和最多为n：
Figure BDA0002784707960000135
同理
Figure BDA0002784707960000136
同时由于
Figure BDA0002784707960000137
项不具有任何意义，可作为松弛项，因此上述不等式可松弛为等式：
Figure BDA0002784707960000138
Figure BDA0002784707960000139
关于
Figure BDA00027847079600001310
的约束条件可最终整理为：
Figure BDA00027847079600001311
Figure BDA00027847079600001312
相应地匹配收益矩阵
Figure BDA00027847079600001313
也引入了每个块状点云被判为无效的收益值。最后引入了“无效匹配”概念后的块状点云匹配问题转换为最优传输问题的形式如下：
给定
Figure BDA00027847079600001314
设
Figure BDA00027847079600001315
求：
Figure BDA00027847079600001316
Subject to
Figure BDA00027847079600001317
Figure BDA0002784707960000141
给定
Figure BDA0002784707960000142
设
Figure BDA0002784707960000143
求：
Figure BDA0002784707960000144
Subject to
Figure BDA0002784707960000145
Figure BDA0002784707960000146
针对该最优传输问题使用可微的Sinkhorn算法求解
Figure BDA0002784707960000147
S603：在训练阶段已知两组块状点云之间的匹配关系
Figure BDA0002784707960000148
Mi,j表示块状点云对
Figure BDA0002784707960000149
的匹配真值，1表示匹配，0表示不匹配，构造损失函数
Figure BDA00027847079600001410
并进行反向梯度传播训练网络的各个权重参数；
S604：在推导阶段根据输出的匹配概率矩阵
Figure BDA00027847079600001411
选取匹配概率大于一定阈值的匹配对(i,j)，
Figure BDA00027847079600001412
得到候选匹配对Candidates＝{(i1,j1),…,(ik,jk)}。
所述步骤S7的具体网络结构与最终的损失函数示意图见图4。
所述步骤S8中，使用随机采样一致性算法对候选块状点云匹配对进行筛选，随机对k个匹配结果进行N次采样，每次采样其中4个匹配对，根据4对块状点云的重心求解两个点云间的变换矩阵T∈SE(3)，并计算变换矩阵T(R,t)的匹配成绩
Figure BDA00027847079600001413
Figure BDA00027847079600001414
预设阈值τ＞0，实际操作中τ可以取2米。取N次采样中匹配成绩最好的变换矩阵T作为最终的变换矩阵，将最终的变换矩阵T应用于原始点云
Figure BDA00027847079600001415
完成两个点云间的配准。
为了验证该方法对于重叠度不高、初始坐标系相差较大的点云配准问题的有效性，采用实际的街道场景的两个激光点云进行配准，配准结果见图5，其中左右分别为两个不同的点云，连线表示两个点云中成功匹配的块状点云。
本发明针对重叠度低、初始坐标系相差较大的户外场景点云配准问题，提供一种基于图神经网络的户外场景的点云配准方法，用以配准两个重叠度低、初始坐标系相差较大的户外场景点云。
本发明的有益效果在于：本发明使用图神经网络学习单个块状点云的局部几何特征，使用图神经网络实现两个点云间的块状点云特征的交互，赋予块状点云的特征描述符自身的局部几何信息以及与其他块状点云间的空间拓扑信息，弥补了人工设计的点云局部描述符无法描述点云特征的拓扑结构信息的缺陷，并提出基于图神经网络进行块状点云匹配实现点云配准的一整套方法流程，完成仅有部分重叠、初始坐标系相差较大的两个点云的精确、鲁棒配准。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种基于图神经网络的户外场景点云配准方法，其特征在于，包括：
S1.对目标点云
Figure FDA00027847079500000113
进行地面点滤除，得到不含地面的点云Cloud1，对待配准点云
Figure FDA00027847079500000114
进行地面点滤除，得到不含地面的点云Cloud2；
S2.对点云Cloud1进行基于欧几里得距离的点云聚类，得到一组块状点云
Figure FDA0002784707950000011
对点云Cloud2进行基于欧几里得距离的点云聚类，得到另一组块状点云
Figure FDA0002784707950000012
S3.构建用于训练局部几何描述符网络、块状点云信息交互网络和描述符匹配网络的块状点云数据集；
S4.对块状点云
Figure FDA0002784707950000013
进行正则化处理，得到对应的正则化后的块状点云
Figure FDA0002784707950000014
块状点云的重心
Figure FDA0002784707950000015
以及标准差
Figure FDA0002784707950000016
对块状点云
Figure FDA0002784707950000017
进行正则化处理，得到对应的正则化后的块状点云
Figure FDA0002784707950000018
块状点云的重心
Figure FDA0002784707950000019
以及标准差
Figure FDA00027847079500000110
S5.构建学习单个块状点云的局部几何描述符的图神经网络，基于单个块状点云的局部几何描述符的图神经网络，将每个正则化后的块状点
Figure FDA00027847079500000111
和
Figure FDA00027847079500000112
分别云映射为对应的d维的局部描述符向量；
S6.构建块状点云的信息交互网络，基于块状点云的信息交互网络，将每个块状点云对应的d维的局部描述符向量、重心和标准差与其他块状点云交互得到g维的匹配描述符；
S7.构建用于g维的匹配描述符的神经网络，使用最优传输模型求解匹配概率矩阵Γ，根据所述匹配概率矩阵Γ筛选置信度高的块状点云匹配对；
S8.在模型实际使用阶段使用随机采样一致性方法，以筛选出正确的块状点云匹配对关系，并根据匹配对关系求解两个点云的相对变换矩阵T，将相对变换矩阵T应用于待配准点云
Figure FDA0002784707950000021
完成目标点云
Figure FDA0002784707950000022
和待配准点云
Figure FDA0002784707950000023
间的配准。
2.根据权利要求1所述的一种基于图神经网络的户外场景点云配准方法，其特征在于：所述步骤S1，包括：
输入原始目标点云
Figure FDA0002784707950000024
和原始待配准点云
Figure FDA0002784707950000025
使用随机采样一致性算法拟合每个点云的最大平面P1和P2作为地平面，并滤除地平面点云得到不含地面的点云
Figure FDA0002784707950000026
Figure FDA0002784707950000027
Figure FDA0002784707950000028
Figure FDA0002784707950000029
3.根据权利要求1所述的一种基于图神经网络的户外场景点云配准方法，其特征在于：所述步骤S2，包括：
输入两个不含地面的点云Cloud1和Cloud2，使用基于欧几里得距离进行点云聚类算法分别对Cloud1和Cloud2进行聚类，得到两组块状点云
Figure FDA00027847079500000210
和
Figure FDA00027847079500000211
使两组块状点云
Figure FDA00027847079500000212
和
Figure FDA00027847079500000213
分别满足对于c＝1或c＝2，i≠j，有
Figure FDA00027847079500000214
并且
Figure FDA00027847079500000215
有
Figure FDA00027847079500000216
为预设欧几里得距离阈值。
4.根据权利要求1所述的一种基于图神经网络的户外场景点云配准方法，其特征在于：所述步骤S7，包括：
使用自监督的方法生成用于块状点云匹配网络训练的数据集，其中原始的全局点云由激光建图生成，然后将全局点云地图按建图的时间顺序切分成若干个点云用于配准，且相邻的点云的重叠率为60％，以得到用于块状点云匹配网络训练的数据集；
对每个切分好的点云使用步骤S2中的欧几里得距离的点云聚类的方法进行点云聚类得到若干个块状点云，其中，两个点云的块状点云的对应关系由激光建图轨迹给出；
若两个聚类得到的块状点云在全局点云中的重叠率大于80％则认为两个块状点云是匹配的，得到两组块状点云之间的匹配关系
Figure FDA0002784707950000031
Mi，j表示块状点云对
Figure FDA0002784707950000032
的匹配真值，1表示匹配，0表示不匹配。
5.根据权利要求1所述的一种基于图神经网络的户外场景点云配准方法，其特征在于：所述步骤S4，包括：
输入两组块状点云
Figure FDA0002784707950000033
和
Figure FDA0002784707950000034
其中Seg＝[X1 T，...，Xn T]T∈Rn×3，输出分别正则化后的两组块状点云
Figure FDA0002784707950000035
和
Figure FDA0002784707950000036
其中，正则化表示如下：
Figure FDA0002784707950000037
其中，
Figure FDA0002784707950000038
得到每个块状点云Seg的重心
Figure FDA0002784707950000039
标准差
Figure FDA00027847079500000310
和正则化后的块状点云
Seg’＝[X′i T，...，X′m T]T∈Rn×3。
6.根据权利要求1所述的一种基于图神经网络的户外场景点云配准方法，其特征在于：所述步骤S5，包括：
单个块状点云的局部几何描述符的图神经网络的输入为一个正则化的块状点云Seg′∈Rm×3，输出为一个d维的局部描述符向量，其中，所述图神经网络由三层EdgeConv卷积层、一层Pooling池化层和三层多层感知机MLP组成，在相邻的神经网络层之间有LeakyReLU激活函数层，分别定义为：
S401：EdgeConv边缘卷积层是作用在由N个节点组成的图上的操作，每一层的图结构是根据当前层的特征向量之间的欧几里得距离构建的K最近邻图，图的节点对应着块状点云中的每一个点，每个点在每一层均有对应的特征向量EdgeConv的卷积操作表达式如下：
Figure FDA00027847079500000311
其中，
Figure FDA0002784707950000041
表示节点i的邻域，
Figure FDA0002784707950000042
表示节点i在第l层的特征向量，Θ和Φ为待学习的权重参数，ReLU为激活函数；
S402：Pooling池化层将n个点的特征向量的最大值和平均值串联成1个输出向量，表达式为：
Figure FDA0002784707950000043
7.根据权利要求1所述的一种基于图神经网络的户外场景点云配准方法，其特征在于：所述步骤S6，包括：
所述块状点云的信息交互网络的输入为两组块状点云分别对应的d维的局部描述符向量
Figure FDA0002784707950000044
和
Figure FDA0002784707950000045
两组块状点云分别对应的重心
Figure FDA0002784707950000046
和
Figure FDA0002784707950000047
和两组块状点云分别对应的标准差
Figure FDA0002784707950000048
和
Figure FDA0002784707950000049
输出为两组块状点云分别对应的匹配描述符
Figure FDA00027847079500000410
和
Figure FDA00027847079500000411
所述块状点云的信息交互网络包括特征编码层、3层点云内部的块状点云信息交互层和3层两点云间的块状点云信息交互层，其中，3层点云内部的块状点云信息交互层与3层两点云间的块状点云信息交互层交替地组成信息交互网络，分别定义为：
S501：块状点云的特征编码层的输入为单个块状点云的局部描述符Di、重心mi和标准差σi，输出为d维的特征向量，特征编码层将重心mi和标准差σi串联为[mi T Gi T]T，经过4层MLP多层感知机层得到d维的中间向量yi，yi与Di相加得到d维的特征向量zi；
S502：块状点云信息交互层为图神经网络，图的节点对应每个块状点云，每个节点在每一层均有一个特征向量，对于点云内部的块状点云信息交互层，每个节点的邻居为同一个点云内部其余块状点云对应的节点，对于两个点云间的块状点云信息交互层，每个节点的邻居为另一个点云内部所有块状点云对应的节点，每一层的信息交互层的表达式为：
Figure FDA00027847079500000412
Figure FDA00027847079500000413
8.根据权利要求1所述的一种基于图神经网络的户外场景点云配准方法，其特征在于：所述步骤S7，包括：
用于块状点云匹配描述符的匹配网络使用最优传输问题模型对匹配问题建模，其输入为匹配描述符
Figure FDA0002784707950000051
和
Figure FDA0002784707950000052
步骤为：
S601：构造匹配收益矩阵
Figure FDA0002784707950000053
满足
Figure FDA0002784707950000054
将匹配收益矩阵拓展为
Figure FDA0002784707950000055
其中
Figure FDA0002784707950000056
Figure FDA0002784707950000057
为待学习参数；
S602：构造最优传输问题，给定
Figure FDA0002784707950000058
设
Figure FDA0002784707950000059
求
Figure FDA00027847079500000510
Subject to
Figure FDA00027847079500000511
Figure FDA00027847079500000512
并使用Sinkhorn算法求解
Figure FDA00027847079500000513
S603：在训练阶段已知两组块状点云之间的匹配关系
Figure FDA00027847079500000514
Mi，j表示块状点云对
Figure FDA00027847079500000515
的匹配真值，1表示匹配，0表示不匹配，构造损失函数
Figure FDA00027847079500000516
并进行反向梯度传播训练网络的各个权重参数；
S604：在推导阶段根据输出的匹配概率矩阵
Figure FDA00027847079500000517
选取匹配概率大于一定阈值的匹配对(i，j)，
Figure FDA00027847079500000518
得到候选匹配对Candidates＝{(i1，j1)，...，(ik，jk)}。
9.根据权利要求1所述的一种基于图神经网络的户外场景点云配准方法，其特征在于：所述步骤S8，包括：
在模型实际使用阶段使用随机采样一致性算法对候选块状点云匹配对进行筛选，随机对k个匹配结果进行N次采样，每次采样其中4个匹配对，根据4个匹配对的块状点云的重心求解两个点云间的变换矩阵T∈SE(3)，并计算相对变换矩阵T(R，t)的匹配成绩
Figure FDA0002784707950000061
Figure FDA0002784707950000062
预设阈值τ＞0，取N次采样中匹配成绩最好的相对变换矩阵T作为最终的相对变换矩阵，将最终的相对变换矩阵T应用于待配准点云
Figure FDA0002784707950000063
完成目标点云
Figure FDA0002784707950000064
和待配准点云
Figure FDA0002784707950000065
间的配准。
CN202011294196.1A 2020-11-13 2020-11-18 基于图神经网络的户外场景点云配准方法 Active CN112581515B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011273347 2020-11-13
CN2020112733475 2020-11-13

Publications (2)

Publication Number Publication Date
CN112581515A true CN112581515A (zh) 2021-03-30
CN112581515B CN112581515B (zh) 2022-12-13

Family

ID=75122923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011294196.1A Active CN112581515B (zh) 2020-11-13 2020-11-18 基于图神经网络的户外场景点云配准方法

Country Status (1)

Country Link
CN (1) CN112581515B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077501A (zh) * 2021-04-02 2021-07-06 浙江大学计算机创新技术研究院 一种基于特征学习的端到端点云配准方法
CN113160293A (zh) * 2021-05-13 2021-07-23 南京信息工程大学 一种基于特征概率的复杂场景地面站点云自动配准方法
CN113177969A (zh) * 2021-04-29 2021-07-27 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN113378074A (zh) * 2021-06-10 2021-09-10 电子科技大学 一种基于自监督学习的社交网络用户轨迹分析方法
CN113538535A (zh) * 2021-07-15 2021-10-22 电子科技大学 一种基于双分支特征交互的3d点云配准网络模型及配准方法
CN113658236A (zh) * 2021-08-11 2021-11-16 浙江大学计算机创新技术研究院 一种基于图注意力机制的残缺点云配准方法
CN114332176A (zh) * 2021-12-22 2022-04-12 武汉大学 一种端到端三维点云配准方法
CN114418852A (zh) * 2022-01-20 2022-04-29 哈尔滨工业大学 一种基于自监督深度学习的点云任意尺度上采样方法
CN115861563A (zh) * 2022-12-28 2023-03-28 无锡东如科技有限公司 一种图拓扑刚性点云配准的三维重建方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765475A (zh) * 2018-05-25 2018-11-06 厦门大学 一种基于深度学习的建筑物三维点云配准方法
CN109887028A (zh) * 2019-01-09 2019-06-14 天津大学 一种基于点云数据配准的无人车辅助定位方法
CN110827398A (zh) * 2019-11-04 2020-02-21 北京建筑大学 基于深度神经网络的室内三维点云自动语义分割算法
CN110910433A (zh) * 2019-10-29 2020-03-24 太原师范学院 一种基于深度学习的点云匹配方法
CN111028151A (zh) * 2019-12-03 2020-04-17 西安科技大学 基于图残差神经网络融合的点云数据拼接方法
CN111524168A (zh) * 2020-04-24 2020-08-11 中国科学院深圳先进技术研究院 点云数据的配准方法、系统、装置及计算机存储介质
CN111783838A (zh) * 2020-06-05 2020-10-16 东南大学 一种用于激光slam的点云特征空间表征方法
CN111798453A (zh) * 2020-07-06 2020-10-20 博康智能信息技术有限公司 用于无人驾驶辅助定位的点云配准方法及其系统
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765475A (zh) * 2018-05-25 2018-11-06 厦门大学 一种基于深度学习的建筑物三维点云配准方法
CN109887028A (zh) * 2019-01-09 2019-06-14 天津大学 一种基于点云数据配准的无人车辅助定位方法
CN110910433A (zh) * 2019-10-29 2020-03-24 太原师范学院 一种基于深度学习的点云匹配方法
CN110827398A (zh) * 2019-11-04 2020-02-21 北京建筑大学 基于深度神经网络的室内三维点云自动语义分割算法
CN111028151A (zh) * 2019-12-03 2020-04-17 西安科技大学 基于图残差神经网络融合的点云数据拼接方法
CN111524168A (zh) * 2020-04-24 2020-08-11 中国科学院深圳先进技术研究院 点云数据的配准方法、系统、装置及计算机存储介质
CN111783838A (zh) * 2020-06-05 2020-10-16 东南大学 一种用于激光slam的点云特征空间表征方法
CN111798453A (zh) * 2020-07-06 2020-10-20 博康智能信息技术有限公司 用于无人驾驶辅助定位的点云配准方法及其系统
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAHAO LI ET AL: "Iterative Distance-Aware Similarity Matrix Convolution with Mutual-Supervised Point Elimination for Efficient Point Cloud Registration", 《ARXIV》 *
YUE WANG ET AL: "Deep Closest Point: Learning Representations for Point Cloud Registration", 《ARXIV》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077501A (zh) * 2021-04-02 2021-07-06 浙江大学计算机创新技术研究院 一种基于特征学习的端到端点云配准方法
CN113177969A (zh) * 2021-04-29 2021-07-27 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN113160293B (zh) * 2021-05-13 2023-06-20 南京信息工程大学 一种基于特征概率的复杂场景地面站点云自动配准方法
CN113160293A (zh) * 2021-05-13 2021-07-23 南京信息工程大学 一种基于特征概率的复杂场景地面站点云自动配准方法
CN113378074A (zh) * 2021-06-10 2021-09-10 电子科技大学 一种基于自监督学习的社交网络用户轨迹分析方法
CN113538535A (zh) * 2021-07-15 2021-10-22 电子科技大学 一种基于双分支特征交互的3d点云配准网络模型及配准方法
CN113658236A (zh) * 2021-08-11 2021-11-16 浙江大学计算机创新技术研究院 一种基于图注意力机制的残缺点云配准方法
CN113658236B (zh) * 2021-08-11 2023-10-24 浙江大学计算机创新技术研究院 一种基于图注意力机制的残缺点云配准方法
CN114332176A (zh) * 2021-12-22 2022-04-12 武汉大学 一种端到端三维点云配准方法
CN114418852A (zh) * 2022-01-20 2022-04-29 哈尔滨工业大学 一种基于自监督深度学习的点云任意尺度上采样方法
CN114418852B (zh) * 2022-01-20 2024-04-12 哈尔滨工业大学 一种基于自监督深度学习的点云任意尺度上采样方法
CN115861563A (zh) * 2022-12-28 2023-03-28 无锡东如科技有限公司 一种图拓扑刚性点云配准的三维重建方法
CN115861563B (zh) * 2022-12-28 2023-10-03 无锡东如科技有限公司 一种图拓扑刚性点云配准的三维重建方法

Also Published As

Publication number Publication date
CN112581515B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN112581515B (zh) 基于图神经网络的户外场景点云配准方法
CN108510532B (zh) 基于深度卷积gan的光学和sar图像配准方法
CN108921893A (zh) 一种基于在线深度学习slam的图像云计算方法及系统
CN113254663B (zh) 一种融合图卷积与翻译模型的知识图谱联合表示学习方法
CN105469110B (zh) 基于局部线性迁移的非刚性变换图像特征匹配方法及系统
CN112200266B (zh) 基于图结构数据的网络训练方法、装置以及节点分类方法
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
CN113160287B (zh) 一种基于特征融合的复杂构件点云拼接方法及系统
CN105550649A (zh) 基于全耦合局部约束表示的极低分辨率人脸识别方法及系统
CN112905894B (zh) 一种基于增强图学习的协同过滤推荐方法
CN111027140A (zh) 基于多视角点云数据的飞机标准件模型快速重构方法
CN110517309A (zh) 一种基于卷积神经网络的单目深度信息获取方法
CN115331069A (zh) 一种基于联邦学习的个性化图像分类模型训练方法
CN110136017A (zh) 一种基于数据增强和非负矩阵稀疏分解的群组发现方法
CN108399268A (zh) 一种基于博弈论的增量式异构图聚类方法
CN111488498A (zh) 基于图神经网络的“节点-图”跨层图匹配方法及系统
CN113177592A (zh) 一种图像分割方法、装置、计算机设备及存储介质
Phillips et al. All graphs lead to rome: Learning geometric and cycle-consistent representations with graph convolutional networks
CN116385660A (zh) 室内单视图场景语义重建方法及系统
CN115439669A (zh) 基于深度学习的特征点检测网络及跨分辨率图像匹配方法
CN105488754B (zh) 基于局部线性迁移和仿射变换的图像特征匹配方法及系统
CN114648560A (zh) 分布式图像配准方法、系统、介质、计算机设备及终端
Dai et al. A novel two-stage algorithm for accurate registration of 3-D point clouds
CN117689702A (zh) 一种基于几何注意力机制的点云配准方法和装置
CN117853596A (zh) 无人机遥感测绘方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant