CN114332175A - 一种基于注意力机制的低重叠3d动态点云配准方法和系统 - Google Patents

一种基于注意力机制的低重叠3d动态点云配准方法和系统 Download PDF

Info

Publication number
CN114332175A
CN114332175A CN202111547748.XA CN202111547748A CN114332175A CN 114332175 A CN114332175 A CN 114332175A CN 202111547748 A CN202111547748 A CN 202111547748A CN 114332175 A CN114332175 A CN 114332175A
Authority
CN
China
Prior art keywords
point cloud
registration
features
local geometric
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111547748.XA
Other languages
English (en)
Inventor
王丰
胡江豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202111547748.XA priority Critical patent/CN114332175A/zh
Publication of CN114332175A publication Critical patent/CN114332175A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种基于注意力机制的低重叠3D动态点云配准方法和系统,涉及三维点云配准技术领域。配准流程为:提取局部几何特征;计算重叠相似度分数和显著相似度分数;采样相似度分数高的点作为关键点;结合局部几何特征和距离特征构建混合特征相似度矩阵;计算混合匹配分数,并进行SVD奇异值分解,得到配准矩阵和配准向量,对源点云的位置进行变换,使源点云与目标点云完成配准;本发明利用基于注意力机制的图神经网络和跨越注意力网络得到局部几何特征的相似度分数,采样这些相似度分数高的关键点来进行点云配准,能有效提高点云配准的准确性,同时,本发明结合关键点的局部几何特征和距离特征,进一步提高点云配准的性能。

Description

一种基于注意力机制的低重叠3D动态点云配准方法和系统
技术领域
本发明涉及三维点云配准技术领域,更具体地,涉及一种基于注意力机制的低重叠3D动态点云配准方法和系统。
背景技术
点云配准是计算机视觉中的一项重要任务,其目标是找到一个刚体变换,使一个三维源点云与另一个三维目标点云对齐。它在姿态估计、三维重建、目标定位等领域有着广泛的应用。传统的配准方法中应用最为广泛的是最近点迭代算法ICP(Iterative ClosestPoint),但该方法容易陷入局部最优。为了改善ICP算法的不足,基于深度学习的方法得到了广泛的应用。然而,当点云的重叠率较低时,无论是传统的配准方法还是基于深度学习的方法的配准性能都会下降,在低重叠情况下(即重叠比例小于1/3),如何提升点云的配准性能是当下亟待解决的问题。
传统的点云配准方法和基于深度学习的配准方法大多是在高重叠的场景下进行配准。当在低重叠场景时,无论是传统的配准方法还是基于深度学习的方法的配准性能都有待提升。对于两个部分重叠的点云,若能在两个点云的重叠部分采样特征点,可以有效的提高点云的配准性能。因此,本发明提出了一种基于注意力机制的重叠区域关键点采样方法,并且在迭代匹配过程中结合关键点的局部几何特征和距离特征,构建了一种端到端的点云配准网络,提高了配准的准确性。
现有技术的基于局部ICP的室内稀疏点云场景的配准方法,通过挑选出两帧重合度不高的点云场景中的少量重合部分,并对该少量重合部分进行局部ICP的配准,用以指导整个大场景的配准,采集数据量小,但该方法容易陷入局部最优,降低整体配准准确率。
发明内容
本发明为克服上述技术问题,提供对重叠率较低的点云配准效果好,不易陷入局部最优的一种基于注意力机制的低重叠3D动态点云配准方法。
本发明技术方案如下:
一种基于注意力机制的低重叠3D动态点云配准方法,包括以下步骤:
S1、将待配准的源点云和目标点云输入预先训练好的点云配准网络,提取源点云中所有点云点和目标点云中所有点云点的局部几何特征;
S2、计算源点云的局部几何特征和目标点云的局部几何特征之间的相似度分数;
S3、对相似度分数达到阈值的源点云的点云点和目标点云的点云点进行采样得到关键点;
S4、计算源点云和目标点云的关键点的距离特征,将距离特征和关键点的局部几何特征相结合构建混合特征相似度矩阵;
S5、根据混合特征相似度矩阵计算得到关键点的混合匹配分数,并对混合匹配分数进行SVD奇异值分解,得到配准矩阵和配准向量,利用配准矩阵和配准向量对源点云的位置进行变换,使源点云与目标点云完成配准;
其中,步骤S1提取所述局部几何特征通过点云配准网络中的基于注意力机制的图神经网络实现,步骤S2计算所述相似度分数通过点云配准网络中的基于注意力机制的图神经网络和跨越注意力网络实现。
本技术方案提出了一种基于注意力机制的低重叠3D动态点云配准方法,针对传统的ICP算法以及基于深度学习的方法在低重叠情况下配准效率低的问题,采取基于注意力机制的图神经网络提取局部几何特征,并利用基于注意力机制的图神经网络和跨越注意力网络局部几何特征的相似度分数,采样这些相似度分数高的关键点来进行点云配准,能有效提高点云配准的准确性,同时,本发明结合关键点的局部几何特征和距离特征,利用了不同点对特征的相互作用,进一步提高点云配准的性能。
进一步地,所述点云配准网络的训练方法是通过匹配损失函数进行监督学习,将步骤S5所述配准矩阵和配准向量均输入损失函数,若匹配损失函数收敛,则得到训练完成的点云配准网络,若匹配损失函数不收敛,则返回步骤S4,计算经过配准矩阵和配准向量位置调整后的源点云和目标点云的关键点的距离特征,然后执行步骤S5,直到损失函数收敛,点云配准网络训练完成。
进一步地,步骤S1所述局部几何特征的提取方法为:对源点云和目标点云每个点云点pi构建球形区域,在区域中用knn算法选取最邻近的k个点记为pe,其中e∈{1,2,…,k},通过hθ(pi,pe)得到点pi和pe的边缘特征,其中hθ是由可学习的参数θ构成的非线性函数,最后对k个边缘特征求和得到点pi的图特征
Figure BDA0003416205470000031
图特征经过若干个多层感知器MLP以及一层最大池化层得到输出的点云点的局部几何特征n×an,其中an为最后一层MLP的输出维度。
进一步地,步骤S2所述相似度分数的计算方法是将源点云中的每个局部几何特征和目标点云中的所有局部几何特征相连接进行逐一对比,得到重叠点的重叠相似度和特征突出的点的显著相似度,输出重叠相似度分数和显著相似度分数作为相似度分数。
进一步地,步骤S4所述距离特征的计算的公式为:
Figure BDA0003416205470000032
其中[;]表示连接操作,pi为源点云关键点,qj为目标点云关键点;
计算得到距离特征后将距离特征d(i,j)和关键点的局部几何特征Fp(i)、Fq(j)相连接得到混合特征H(n)(i,j)=[Fp(i);Fq(j);d(i,j)],对混合特征H(n)应用一系列的1×1的二维卷积将其映射到高维空间,然后将其输入多层感知器MLP,并对混合特征的每一行应用Softmax函数得到相似度矩阵S(n)(i,j),S(n)(i,j)表示源点云中的点pi和目标点云中的点pj的混合匹配分数。
一种基于注意力机制的低重叠3D动态点云配准系统,包括:点云获取模块、局部几何特征提取模块、相似度注意力模块、关键点采样模块、混合特征生成模块、混合匹配分数计算模块、配准模块;
点云获取模块获取待配准的源点云和目标点云;局部几何特征提取模块提取源点云中所有点云点和目标点云中所有点云点的局部几何特征;相似度注意力模块计算源点云的局部几何特征和目标点云的局部几何特征之间的相似度分数;关键点采样模块对相似度分数达到阈值的源点云的点云点和目标点云的点云点进行采样得到关键点;混合特征生成模块计算源点云和目标点云的关键点的距离特征,将距离特征和关键点的局部几何特征相结合构建混合特征相似度矩阵;混合匹配分数计算模块根据混合特征相似度矩阵计算得到关键点的混合匹配分数,并对混合匹配分数进行SVD奇异值分解,得到配准矩阵和配准向量;配准模块利用配准矩阵和配准向量对源点云的位置进行变换,使源点云与目标点云完成配准。
进一步地,局部几何特征提取模块提取所述局部几何特征的提取方法为:对源点云和目标点云每个点云点pi构建球形区域,在区域中用knn算法选取最邻近的k个点记为pe,其中e∈{1,2,…,k},通过hθ(pi,pe)得到点pi和pe的边缘特征,其中hθ是由可学习的参数θ构成的非线性函数,最后对k个边缘特征求和得到点pi的图特征
Figure BDA0003416205470000041
图特征经过若干个多层感知器MLP以及一层最大池化层得到输出的点云点的局部几何特征n×an,其中an为最后一层MLP的输出维度。
进一步地,相似度注意力模块计算所述相似度分数的方法是:将源点云中的每个局部几何特征和目标点云中的所有局部几何特征相连接进行逐一对比,得到重叠点的重叠相似度和特征突出的点的显著相似度,输出重叠相似度分数和显著相似度分数作为相似度分数。
进一步地,混合特征生成模块计算所述距离特征的公式为:
Figure BDA0003416205470000042
其中[;]表示连接操作,pi为源点云关键点,qj为目标点云关键点。
进一步地,混合特征生成模块计算得到距离特征后将距离特征d(i,j)和关键点的局部几何特征Fp(i)、Fq(j)相连接得到混合特征H(n)(i,j)=[Fp(i);Fq(j);d(i,j)],对混合特征H(n)应用一系列的1×1的二维卷积将其映射到高维空间,然后将其输入多层感知器MLP,并对混合特征的每一行应用Softmax函数得到相似度矩阵S(n)(i,j),S(n)(i,j)表示源点云中的点pi和目标点云中的点pj的混合匹配分数。
本技术方案提出了一种半监督学习的小样本文本分类方法和系统,与现有技术相比,本发明技术方案的有益效果是:本发明针对传统的ICP算法以及基于深度学习的方法在低重叠情况下配准效率低的问题,采取基于注意力机制的图神经网络提取局部几何特征,并利用基于注意力机制的图神经网络和跨越注意力网络局部几何特征的相似度分数,采样这些相似度分数高的关键点来进行点云配准,能有效提高点云配准的准确性,同时,本发明结合关键点的局部几何特征和距离特征,利用了不同点对特征的相互作用,进一步提高点云配准的性能。
附图说明
图1为本发明点云配准方法步骤示意图
图2为点云配准网络结构示意图;
图3为点云配准网络训练流程图;
图4为局部几何特征提取模块结构示意图;
图5为相似度注意力模块结构示意图。
具体实施方式
为清楚地说明本发明一种基于注意力机制的低重叠3D动态点云配准方法和系统,结合实施例和附图对本发明作进一步说明,但不应以此限制本发明的保护范围。
实施例1
一种基于注意力机制的低重叠3D动态点云配准方法,如图1所示,包括以下步骤:
S1、将待配准的源点云和目标点云输入预先训练好的点云配准网络,提取源点云中所有点云点和目标点云中所有点云点的局部几何特征;
S2、计算源点云的局部几何特征和目标点云的局部几何特征之间的相似度分数;
S3、对相似度分数达到阈值的源点云的点云点和目标点云的点云点进行采样得到关键点;
S4、计算源点云和目标点云的关键点的距离特征,将距离特征和关键点的局部几何特征相结合构建混合特征相似度矩阵;
S5、根据混合特征相似度矩阵计算得到关键点的混合匹配分数,并对混合匹配分数进行SVD奇异值分解,得到配准矩阵和配准向量,利用配准矩阵和配准向量对源点云的位置进行变换,使源点云与目标点云完成配准;
其中,步骤S1提取所述局部几何特征通过点云配准网络中的基于注意力机制的图神经网络实现,步骤S2计算所述相似度分数通过点云配准网络中的基于注意力机制的图神经网络和跨越注意力网络实现。
本实施例针对传统的ICP算法以及基于深度学习的方法在低重叠情况下配准效率低的问题,采取基于注意力机制的图神经网络提取局部几何特征,并利用基于注意力机制的图神经网络和跨越注意力网络局部几何特征的相似度分数,采样这些相似度分数高的关键点来进行点云配准,能有效提高点云配准的准确性,同时,本发明结合关键点的局部几何特征和距离特征,利用了不同点对特征的相互作用,进一步提高点云配准的性能。
实施例2
一种基于注意力机制的低重叠3D动态点云配准方法,包括以下步骤:
S1、将待配准的源点云和目标点云输入预先训练好的点云配准网络,提取源点云中所有点云点和目标点云中所有点云点的局部几何特征;
所述点云配准网络的训练方法是通过匹配损失函数进行监督学习,训练流程如图3所示,将步骤S5所述配准矩阵和配准向量均输入损失函数,若匹配损失函数收敛,则得到训练完成的点云配准网络,若匹配损失函数不收敛,则返回步骤S4,计算经过配准矩阵和配准向量位置调整后的源点云和目标点云的关键点的距离特征,然后执行步骤S5,直到损失函数收敛,点云配准网络训练完成。
所述匹配损失函数的计算公式为:
Figure BDA0003416205470000061
其中N为源点云中采样关键点的个数,j*为正确变换下目标点云采样点中最接近源点云采样点的点索引,r为超参数,表示源点云中的点和目标点云中点的距离,
Figure BDA0003416205470000062
为指标函数,当满足
Figure BDA0003416205470000063
中的条件时输出为1,否则输出为0。
所述局部几何特征的提取方法为:对源点云和目标点云每个点云点pi构建球形区域,在区域中用knn算法选取最邻近的k个点记为pe,其中e∈{1,2,…,k},通过hθ(pi,pe)得到点pi和pe的边缘特征,其中hθ是由可学习的参数θ构成的非线性函数,最后对k个边缘特征求和得到点pi的图特征
Figure BDA0003416205470000071
图特征经过若干个多层感知器MLP以及一层最大池化层得到输出的点云点的局部几何特征n×an,其中an为最后一层MLP的输出维度。
S2、计算源点云的局部几何特征和目标点云的局部几何特征之间的相似度分数;
所述相似度分数的计算方法是将源点云中的每个局部几何特征和目标点云中的所有局部几何特征相连接进行逐一对比,得到重叠点的重叠相似度和特征突出的点的显著相似度,输出重叠相似度分数和显著相似度分数作为相似度分数。
S3、对相似度分数达到阈值的源点云的点云点和目标点云的点云点进行采样得到关键点;
S4、计算源点云和目标点云的关键点的距离特征,将距离特征和关键点的局部几何特征相结合构建混合特征相似度矩阵;
所述距离特征的计算的公式为:
Figure BDA0003416205470000072
其中[;]表示连接操作,pi为源点云关键点,qj为目标点云关键点;
计算得到距离特征后将距离特征d(i,j)和关键点的局部几何特征Fp(i)、Fq(j)相连接得到混合特征H(n)(i,j)=[Fp(i);Fq(j);d(i,j)],对混合特征H(n)应用一系列的1×1的二维卷积将其映射到高维空间,然后将其输入多层感知器MLP,并对混合特征的每一行应用Softmax函数得到相似度矩阵S(n)(i,j),S(n)(i,j)表示源点云中的点pi和目标点云中的点pj的混合匹配分数。
S5、根据混合特征相似度矩阵计算得到关键点的混合匹配分数,并对混合匹配分数进行SVD奇异值分解,得到配准矩阵和配准向量,利用配准矩阵和配准向量对源点云的位置进行变换,使源点云与目标点云完成配准;
其中,步骤S1提取所述局部几何特征通过点云配准网络中的基于注意力机制的图神经网络实现,步骤S2计算所述相似度分数通过点云配准网络中的基于注意力机制的图神经网络和跨越注意力网络实现。
本实施例针对传统的ICP算法以及基于深度学习的方法在低重叠情况下配准效率低的问题,采取基于注意力机制的图神经网络提取局部几何特征,并利用基于注意力机制的图神经网络和跨越注意力网络局部几何特征的相似度分数,采样这些相似度分数高的关键点来进行点云配准,能有效提高点云配准的准确性,同时,本发明结合关键点的局部几何特征和距离特征,利用了不同点对特征的相互作用,进一步提高点云配准的性能。
实施例3
一种基于注意力机制的低重叠3D动态点云配准系统,系统结构如图2所示,包括:点云获取模块、局部几何特征提取模块、相似度注意力模块、关键点采样模块、混合特征生成模块、混合匹配分数计算模块、配准模块;
点云获取模块获取待配准的源点云和目标点云;局部几何特征提取模块结构如图4所示,局部几何特征提取模块提取源点云中所有点云点和目标点云中所有点云点的局部几何特征;
局部几何特征提取模块提取局部几何特征的方法为:对每个源点云中的每个点pi构建球形区域,在区域中用knn算法选取最邻近的k个点记为pe,其中e∈{1,2,…,k},通过hθ(pi,pe)得到点pi和pe的边缘特征,其中hθ是由可学习的参数θ构成的非线性函数,最后对k个边缘特征求和得到点pi的图特征
Figure BDA0003416205470000081
Figure BDA0003416205470000082
当输入点的维度为n×3时,得到图特征维度为n×k×3,图特征经过若干个多层感知器MLP以及一层最大池化层得到输出的局部几何特征n×an,其中an为最后一层MLP的输出维度。
局部几何特征提取模块结构如图4所示,包括若干个边缘卷积层、归一化层和最大池化层,每一层的结构相同,在最后一层前将之前每一层输出的局部几何特征相连接,再输入边缘卷积层;经过归一化和池化后得到源点云局部几何特征Fp(i)和目标点云局部几何特征Fq(j),局部几何特征提取模块中的每一层边缘卷积层均执行提取局部几何特征的方法全部流程,局部几何特征提取模块通过若干个边缘卷积层、归一化层和最大池化层的重复结构,增强模型表达能力;
相似度注意力模块计算源点云的局部几何特征和目标点云的局部几何特征之间的相似度分数;
相似度注意力模块结构如图5所示,计算相似度分数的方法为:首先将局部几何特征输入相似度注意力模块的基于注意力机制的图神经网络GNN构成的编码器中,以增强特征之间的联系,随后将编码后的特征输入跨越注意力网络,将源点云中的每个特征和目标点云中的所有特征相连接进行逐一对比,然后将比对结果在解码器中解码,输出重叠相似度分数和显著相似度分数,所述重叠相似度分数是指源点云和目标点云重叠点的相似度分数,所述显著相似度分数是指源点云和目标点云中特征突出的点的相似度分数。
关键点采样模块对相似度分数达到阈值的源点云的点云点和目标点云的点云点进行采样得到关键点,所述关键点是指源点云和目标点云中相似度较高的点;混合特征生成模块计算源点云和目标点云的关键点的距离特征,将距离特征和关键点的局部几何特征相结合构建混合特征相似度矩阵;混合匹配分数计算模块根据混合特征相似度矩阵计算得到关键点的混合匹配分数,并对混合匹配分数进行SVD奇异值分解,得到配准矩阵和配准向量;
混合特征生成模块计算得到配准矩阵和配准向量的方法为:首先计算源点云和目标点云关键点的距离特征
Figure BDA0003416205470000091
其中[;]表示连接操作,将距离特征和之前提取的局部几何特征Fp(i)、Fq(j)相连接,得到混合特征H(n)(i,j)=[Fp(i);Fq(j);d(i,j)],对H(n)应用一系列的1×1的二维卷积将其映射到高维空间,然后将其输入多层感知器MLP,并对混合特征的每一行应用Softmax函数得到相似度矩阵S(n)(i,j),S(n)(i,j)表示源点云中的点pi和目标点云中的点pj的匹配分数,我们选取S(n)(i,j)每一行中匹配分数最大的点对(i,j),记为一组对应点(pi,p* i)。将对应点带入下式运用SVD奇异值分解求解旋转矩阵R(n)和位移向量t(n)
Figure BDA0003416205470000092
得到旋转矩阵R(n)和位移向量t(n)即为配准矩阵和配准向量。
配准模块利用配准矩阵和配准向量对源点云的位置进行变换,使源点云与目标点云完成配准。
实施例4
一种基于注意力机制的低重叠3D动态点云配准系统,包括:点云获取模块、局部几何特征提取模块、相似度注意力模块、关键点采样模块、混合特征生成模块、混合匹配分数计算模块、配准模块;
点云获取模块获取待配准的源点云和目标点云;局部几何特征提取模块提取源点云中所有点云点和目标点云中所有点云点的局部几何特征;相似度注意力模块计算源点云的局部几何特征和目标点云的局部几何特征之间的相似度分数;关键点采样模块对相似度分数达到阈值的源点云的点云点和目标点云的点云点进行采样得到关键点;混合特征生成模块计算源点云和目标点云的关键点的距离特征,将距离特征和关键点的局部几何特征相结合构建混合特征相似度矩阵;混合匹配分数计算模块根据混合特征相似度矩阵计算得到关键点的混合匹配分数,并对混合匹配分数进行SVD奇异值分解,得到配准矩阵和配准向量;配准模块利用配准矩阵和配准向量对源点云的位置进行变换,使源点云与目标点云完成配准。
局部几何特征提取模块提取所述局部几何特征的提取方法为:对源点云和目标点云每个点云点pi构建球形区域,在区域中用knn算法选取最邻近的k个点记为pe,其中e∈{1,2,…,k},通过hθ(pi,pe)得到点pi和pe的边缘特征,其中hθ是由可学习的参数θ构成的非线性函数,最后对k个边缘特征求和得到点pi的图特征
Figure BDA0003416205470000101
图特征经过若干个多层感知器MLP以及一层最大池化层得到输出的点云点的局部几何特征n×an,其中an为最后一层MLP的输出维度。
相似度注意力模块计算所述相似度分数的方法是:将源点云中的每个局部几何特征和目标点云中的所有局部几何特征相连接进行逐一对比,得到重叠点的重叠相似度和特征突出的点的显著相似度,输出重叠相似度分数和显著相似度分数作为相似度分数。
混合特征生成模块计算所述距离特征的公式为:
Figure BDA0003416205470000111
其中[;]表示连接操作,pi为源点云关键点,qj为目标点云关键点。
进一步地,混合特征生成模块计算得到距离特征后将距离特征d(i,j)和关键点的局部几何特征Fp(i)、Fq(j)相连接得到混合特征H(n)(i,j)=[Fp(i);Fq(j);d(i,j)],对混合特征H(n)应用一系列的1×1的二维卷积将其映射到高维空间,然后将其输入多层感知器MLP,并对混合特征的每一行应用Softmax函数得到相似度矩阵S(n)(i,j),S(n)(i,j)表示源点云中的点pi和目标点云中的点pj的混合匹配分数。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于注意力机制的低重叠3D动态点云配准方法,其特征在于,包括以下步骤:
S1、将待配准的源点云和目标点云输入预先训练好的点云配准网络,提取源点云中所有点云点和目标点云中所有点云点的局部几何特征;
S2、计算源点云的局部几何特征和目标点云的局部几何特征之间的相似度分数;
S3、对相似度分数达到阈值的源点云的点云点和目标点云的点云点进行采样得到关键点;
S4、计算源点云和目标点云的关键点的距离特征,将距离特征和关键点的局部几何特征相结合构建混合特征相似度矩阵;
S5、根据混合特征相似度矩阵计算得到关键点的混合匹配分数,并对混合匹配分数进行SVD奇异值分解,得到配准矩阵和配准向量,利用配准矩阵和配准向量对源点云的位置进行变换,使源点云与目标点云完成配准;
其中,步骤S1提取所述局部几何特征通过点云配准网络中的基于注意力机制的图神经网络实现,步骤S2计算所述相似度分数通过点云配准网络中的基于注意力机制的图神经网络和跨越注意力网络实现。
2.根据权利要求1所述的一种基于注意力机制的低重叠3D动态点云配准方法,其特征在于,所述点云配准网络的训练方法是通过匹配损失函数进行监督学习,将步骤S5所述配准矩阵和配准向量均输入损失函数,若匹配损失函数收敛,则得到训练完成的点云配准网络,若匹配损失函数不收敛,则返回步骤S4,计算经过配准矩阵和配准向量位置调整后的源点云和目标点云的关键点的距离特征,然后执行步骤S5,直到损失函数收敛,点云配准网络训练完成。
3.根据权利要求1所述的一种基于注意力机制的低重叠3D动态点云配准方法,其特征在于,步骤S1所述局部几何特征的提取方法为:对源点云和目标点云每个点云点pi构建球形区域,在区域中用knn算法选取最邻近的k个点记为pe,其中e∈{1,2,…,k},通过hθ(pi,pe)得到点pi和pe的边缘特征,其中hθ是由可学习的参数θ构成的非线性函数,最后对k个边缘特征求和得到点pi的图特征
Figure FDA0003416205460000021
图特征经过若干个多层感知器MLP以及一层最大池化层得到输出的点云点的局部几何特征n×an,其中an为最后一层MLP的输出维度。
4.根据权利要求1所述的一种基于注意力机制的低重叠3D动态点云配准方法,其特征在于,步骤S2所述相似度分数的计算方法是将源点云中的每个局部几何特征和目标点云中的所有局部几何特征相连接进行逐一对比,得到重叠点的重叠相似度和特征突出的点的显著相似度,输出重叠相似度分数和显著相似度分数作为相似度分数。
5.根据权利要求1所述的一种基于注意力机制的低重叠3D动态点云配准方法,其特征在于,步骤S4所述距离特征的计算的公式为:
Figure FDA0003416205460000022
其中[;]表示连接操作,pi为源点云关键点,qj为目标点云关键点;
计算得到距离特征后将距离特征d(i,j)和关键点的局部几何特征Fp(i)、Fq(j)相连接得到混合特征H(n)(i,j)=[Fp(i);Fq(j);d(i,j)],对混合特征H(n)应用一系列的1×1的二维卷积将其映射到高维空间,然后将其输入多层感知器MLP,并对混合特征的每一行应用Softmax函数得到相似度矩阵S(n)(i,j),S(n)(i,j)表示源点云中的点pi和目标点云中的点pj的混合匹配分数。
6.用于执行权利要求1-5任一项所述的一种基于注意力机制的低重叠3D动态点云配准方法的基于注意力机制的低重叠3D动态点云配准系统,其特征在于,包括:点云获取模块、局部几何特征提取模块、相似度注意力模块、关键点采样模块、混合特征生成模块、混合匹配分数计算模块、配准模块;
点云获取模块获取待配准的源点云和目标点云;局部几何特征提取模块提取源点云中所有点云点和目标点云中所有点云点的局部几何特征;相似度注意力模块计算源点云的局部几何特征和目标点云的局部几何特征之间的相似度分数;关键点采样模块对相似度分数达到阈值的源点云的点云点和目标点云的点云点进行采样得到关键点;混合特征生成模块计算源点云和目标点云的关键点的距离特征,将距离特征和关键点的局部几何特征相结合构建混合特征相似度矩阵;混合匹配分数计算模块根据混合特征相似度矩阵计算得到关键点的混合匹配分数,并对混合匹配分数进行SVD奇异值分解,得到配准矩阵和配准向量;配准模块利用配准矩阵和配准向量对源点云的位置进行变换,使源点云与目标点云完成配准。
7.根据权利要求6所述的一种基于注意力机制的低重叠3D动态点云配准系统,其特征在于,局部几何特征提取模块提取所述局部几何特征的提取方法为:对源点云和目标点云每个点云点pi构建球形区域,在区域中用knn算法选取最邻近的k个点记为pe,其中e∈{1,2,…,k},通过hθ(pi,pe)得到点pi和pe的边缘特征,其中hθ是由可学习的参数θ构成的非线性函数,最后对k个边缘特征求和得到点pi的图特征
Figure FDA0003416205460000031
图特征经过若干个多层感知器MLP以及一层最大池化层得到输出的点云点的局部几何特征n×an,其中an为最后一层MLP的输出维度。
8.根据权利要求6所述的一种基于注意力机制的低重叠3D动态点云配准系统,其特征在于,相似度注意力模块计算所述相似度分数的方法是:将源点云中的每个局部几何特征和目标点云中的所有局部几何特征相连接进行逐一对比,得到重叠点的重叠相似度和特征突出的点的显著相似度,输出重叠相似度分数和显著相似度分数作为相似度分数。
9.根据权利要求6所述的一种基于注意力机制的低重叠3D动态点云配准系统,其特征在于,混合特征生成模块计算所述距离特征的公式为:
Figure FDA0003416205460000032
其中[;]表示连接操作,pi为源点云关键点,qj为目标点云关键点。
10.根据权利要求6所述的一种基于注意力机制的低重叠3D动态点云配准系统,其特征在于,混合特征生成模块计算得到距离特征后将距离特征d(i,j)和关键点的局部几何特征Fp(i)、Fq(j)相连接得到混合特征H(n)(i,j)=[Fp(i);Fq(j);d(i,j)],对混合特征H(n)应用一系列的1×1的二维卷积将其映射到高维空间,然后将其输入多层感知器MLP,并对混合特征的每一行应用Softmax函数得到相似度矩阵S(n)(i,j),S(n)(i,j)表示源点云中的点pi和目标点云中的点pj的混合匹配分数。
CN202111547748.XA 2021-12-16 2021-12-16 一种基于注意力机制的低重叠3d动态点云配准方法和系统 Pending CN114332175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111547748.XA CN114332175A (zh) 2021-12-16 2021-12-16 一种基于注意力机制的低重叠3d动态点云配准方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111547748.XA CN114332175A (zh) 2021-12-16 2021-12-16 一种基于注意力机制的低重叠3d动态点云配准方法和系统

Publications (1)

Publication Number Publication Date
CN114332175A true CN114332175A (zh) 2022-04-12

Family

ID=81053115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111547748.XA Pending CN114332175A (zh) 2021-12-16 2021-12-16 一种基于注意力机制的低重叠3d动态点云配准方法和系统

Country Status (1)

Country Link
CN (1) CN114332175A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128941A (zh) * 2023-02-08 2023-05-16 西安电子科技大学 一种基于跳跃注意力机制的点云配准方法
CN116188543A (zh) * 2022-12-27 2023-05-30 中国人民解放军61363部队 基于深度学习无监督的点云配准方法及系统
CN116401794A (zh) * 2023-06-09 2023-07-07 四川大学 基于注意力引导的深度点云配准的叶片三维精确重建方法
CN118154651A (zh) * 2024-05-11 2024-06-07 山东科技大学 一种由粗到精的室内场景点云自动配准方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188543A (zh) * 2022-12-27 2023-05-30 中国人民解放军61363部队 基于深度学习无监督的点云配准方法及系统
CN116188543B (zh) * 2022-12-27 2024-03-12 中国人民解放军61363部队 基于深度学习无监督的点云配准方法及系统
CN116128941A (zh) * 2023-02-08 2023-05-16 西安电子科技大学 一种基于跳跃注意力机制的点云配准方法
CN116401794A (zh) * 2023-06-09 2023-07-07 四川大学 基于注意力引导的深度点云配准的叶片三维精确重建方法
CN116401794B (zh) * 2023-06-09 2023-08-15 四川大学 基于注意力引导的深度点云配准的叶片三维精确重建方法
CN118154651A (zh) * 2024-05-11 2024-06-07 山东科技大学 一种由粗到精的室内场景点云自动配准方法

Similar Documents

Publication Publication Date Title
CN114332175A (zh) 一种基于注意力机制的低重叠3d动态点云配准方法和系统
CN109828251B (zh) 基于特征金字塔轻量卷积神经网络的雷达目标识别方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN101667292B (zh) 基于免疫克隆和投影寻踪的sar图像分割系统及分割方法
CN112381144B (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
Hou et al. Hitpr: Hierarchical transformer for place recognition in point cloud
CN111274905A (zh) 一种AlexNet和SVM相结合的卫星遥感影像土地利用变化检测方法
CN113505719A (zh) 基于局部-整体联合知识蒸馏算法的步态识别模型压缩系统及方法
CN113269099B (zh) 基于图匹配的异构无人系统下车辆重新识别方法
CN111325259A (zh) 一种基于深度学习和二进制编码的遥感图像分类方法
Fang et al. Learning decomposed spatial relations for multi-variate time-series modeling
CN117315481A (zh) 基于光谱-空间自注意力和Transformer网络的高光谱图像分类方法
CN112668652A (zh) 无人装备对抗中集群阵型和运动趋势的识别方法及系统
CN117011701A (zh) 一种层次化特征自主学习的遥感图像特征提取方法
CN114565774B (zh) 基于局部几何与全局结构联合学习的3d图卷积分类方法
Wang et al. CCAG: end-to-end point cloud registration
CN114863548B (zh) 基于人体运动姿态非线性空间特征的情绪识别方法及装置
CN112396089B (zh) 基于lfgc网络和压缩激励模块的图像匹配方法
CN115272696A (zh) 一种基于自适应卷积和局部几何信息的点云语义分割方法
CN110188692B (zh) 一种有效目标快速识别的强化循环级联方法
CN113658236A (zh) 一种基于图注意力机制的残缺点云配准方法
Lu et al. Separable Deep Graph Convolutional Network Integrated with CNN and Prototype Learning for Hyperspectral Image Classification
CN112801192B (zh) 一种基于深度神经网络的扩展LargeVis图像特征降维方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination