CN117237422A - 基于边缘增强的层次注意力点云匹配方法、装置及系统 - Google Patents
基于边缘增强的层次注意力点云匹配方法、装置及系统 Download PDFInfo
- Publication number
- CN117237422A CN117237422A CN202311078261.0A CN202311078261A CN117237422A CN 117237422 A CN117237422 A CN 117237422A CN 202311078261 A CN202311078261 A CN 202311078261A CN 117237422 A CN117237422 A CN 117237422A
- Authority
- CN
- China
- Prior art keywords
- local
- point cloud
- attention
- matching
- local neighborhood
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 31
- 230000002776 aggregation Effects 0.000 claims description 26
- 238000004220 aggregation Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 5
- 238000005728 strengthening Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及计算机视觉技术领域，具体涉及基于边缘增强的层次注意力点云匹配方法、装置及系统。利用增强边缘的KPConv模块对源点云和目标点云进行局部特征提取；以及利用局部层次注意力模块学习所述源点云和目标点云的局部邻域特征，以及串联所述局部邻域特征；以及所述局部特征使用全局交叉注意力层学习源点云和目标点云的上下文特征并输出；以及使用多层感知机还原点云坐标，并计算输出刚性变换矩阵，获得对齐的完整点云图。通过强化边缘特征完成局部相似区域对应，并将局部邻域串联进行全局点匹配，达到提高点云配准精度，降低训练推理时间的目的。
Description
技术领域
本申请涉及计算机视觉技术领域，具体涉及基于边缘增强的层次注意力点云匹配方法、装置及系统。
背景技术
三维点云配准任务是将采集时间、方向不同的两帧点云进行变换，得到两者最优匹配的过程。它是计算机视觉领域的一项基本任务，可以应用于点云分类、分割、三维重建等其他高级视觉任务，并在自动驾驶、虚拟现实、机器人控制等领域有巨大前景。
近年来，随着深度学习在点云分类、语义分割以及目标检测等研究中获得成功，涌现出一些基于深度学习的配准方法。该类方法使用深度卷积神经网络自适应地通过映射函数提取高维特征,其中一些算法采用非端到端的配准方法，主要利用深度特征计算源点云和目标点云的对应关系。该类方法通常使用奇异值分解的方式或随机采样一致性算法，对变换进行优化和估计。而另一些算法基于端到端的神经网络，通过特征直接预测源点云到目标点云的变换矩阵。
除此之外，由于源点云和目标点云的重叠区域更小，更难找到正确的特征匹配，因此导致低重叠度点云配准会出现更高的错配率。目前端到端的配准方法大都通过提取源点云和目标点云的重叠区域，匹配重叠区域或将重叠区域放大再做全局匹配。但随着重叠区域减小，这种通过重叠区域引导点云配准的方法匹配的成功率大大降低。
发明内容
有鉴于此，本申请提供了基于边缘增强的层次注意力点云匹配方法、装置及系统，通过强化边缘特征完成局部相似区域对应，并将局部邻域串联进行全局点匹配，达到提高点云配准精度，降低训练推理时间的目的。
第一方面，本申请提供了基于边缘增强的层次注意力点云匹配方法，包括基于增强边缘的KPConv模块对源点云和目标点云进行局部邻域特征提取；其中，所述增强边缘的KPConv模块中采用多项式核函数；以及利用局部层次注意力模块学习所述源点云和目标点云的局部邻域特征，以及串联所述局部邻域特征，形成全局特征；其中，局部层次注意力模块包括：局部邻域特征图构建、局部邻域特征聚合、局部邻域特征匹配、以及局部邻域特征串联；以及所述全局特征使用全局交叉注意力层学习源点云和目标点云的上下文特征并输出；以及使用多层感知机还原点云坐标，并计算输出刚性变换矩阵，获得完整点云图。
在第一方面中，使用增强边缘的KPConv模块对源点云和目标点云进行局部邻域特征提取。这个模块能够有效地捕捉点云的局部邻域特征，并生成对应的特征描述子。接下来，利用局部层次注意力模块学习并加权源点云和目标点云的局部邻域特征。这个模块能够对局部邻域特征进行加权融合，以提高匹配的准确性和鲁棒性。然后，使用全局交叉注意力层学习源点云和目标点云的上下文特征，并输出综合的局部邻域特征。这个层能够综合利用点云的全局信息，以进一步提高匹配的准确性。最后，使用多层感知机还原点云坐标，并计算输出刚性变换矩阵。这个矩阵可以用来将源点云对齐到目标点云，实现点云的匹配。
结合第一方面，在一种可能的实现方式中，所述增强边缘的KPConv模块的网络架构，包含两个子模块：局部邻域特征提取和特征融合；局部邻域特征提取：利用K最近邻算法计算输入点云邻居点局部，并使用多项式核函数计算每个邻居点与中心点之间的权重；特征融合：将每个邻居点的特征与权重相乘，并加权求和，得到聚合的特征表示，利用特征将与中心点的特征进行融合，得到最终的特征表示。
结合第一方面，在一种可能的实现方式中，所述多项式核函数为：
其中，xi、xj分别为关键点和对应中的点，λ1(·)项为拉普拉斯核，λ2(·)项为度量xi、xj的距离。λ1+λ2＝1，λ1和λ2为小于1的正数，σ表示关键点与局部距离范围。
结合第一方面，在一种可能的实现方式中，所述局部层次注意力模块包括：局部邻域特征图构件：利用K最近邻算法构建局部邻域特征图；局部邻域特征聚合：使用局部注意力模块学习点云局部之间的关系形成局部邻域特征聚合；局部邻域特征匹配：使用局部匹配模块计算两个点云相似分数，确定源点云和目标点云中具有相似特征的局部邻域，并进行局部特征匹配；局部邻域特征串联：串联各子层之间的局部邻域特征，输出带有位置编码和相似匹配加权的全局点云特征。
结合第一方面，在一种可能的实现方式中，所述局部邻域特征聚合包块：
更新节点i和与i相邻的节点j之间的关系，得到节点i和节点j的聚合特征fi′：
fi′＝αi,jfj+fi,j
其中，fi为节点i的特征，fi,j为节点i中最近邻节点j的特征；
αi,j为节点i和j之间的注意力得分，其计算公式如下：
其中，frp为节点i和近邻节点j的相对位置特征，每个维度的相对位置计算下式所示：
其中，d为特征值维度索引，分别为第d维特征向量。
结合第一方面，在一种可能的实现方式中，所述局部匹配模块包括：
先利用余弦距离计算相似性分数，将相似性分数最高的两个局部邻域特征作为最佳匹配；
其中，相似性分数计算如下式所示。
其中，sij表示源点云局部邻域聚合特征fi′和目标点云局部邻域聚合特征fj′的相似度分数；以及
使用该相似性分数更新聚合后的局部邻域特征；
其中，局部邻域特征fi的相似性权重由Wi＝max(sij)·fi得到，利用ReLU激活函数更新局部匹配特征计算公式如下：
其中，fi表示K最近邻算法采样的局部邻域特征，为局部邻域聚合特征。
结合第一方面，在一种可能的实现方式中，所述局部层次注意力模块还包括引入局部匹配损失函数，增强局部邻域特征匹配准确性；
其中局部匹配损失函数表示为：
其中，预测对应C，真实对应C*，局部对应损失Lc，i、j分别为源点云和目标点云节点索引，cij∈C表示预测局部对应，表示真实局部对应。
第二方面，本申请提供了一种基于边缘增强的层次注意力点云匹配系统，包括：特征数据模块：配置为准备源点云和目标点云的数据；局部层次注意力模块：配置为：包括：局部邻域特征图构建、局部邻域特征聚合、局部邻域特征匹配、以及局部邻域特征串联；全局交叉注意力：配置为：所述局部邻域特征使用全局交叉注意力层学习源点云和目标点云的上下文特征并输出；编码还原模块：配置为：使用多层感知机还原点云坐标，并计算输出刚性变换矩阵；显示模块，对完整的点云进行目标展示。
第三方面，本申请提供了一种基于边缘增强的层次注意力点云匹配装置，所述基于边缘增强的层次注意力点云匹配具有增强边缘特征的层次化注意力点云配准功能，所述基于边缘增强的层次注意力点云匹配装置与所述的基于边缘增强的层次注意力点云匹配系统连接。
第四方面，本申请提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时第一方面以及结合第一方面所述的方法。
与现有技术对比，本申请技术方案具备的有益效果为：
(1)多尺度特征提取：通过增强边缘的KPConv模块和局部层次注意力模块，该方法能够同时提取源点云和目标点云的多尺度特征。这有助于捕捉点云的细节和全局信息，提高匹配的准确性。
(2)层次化特征聚合：该方法利用局部层次注意力模块和全局交叉注意力层，层次化地聚合点云的局部邻域特征和上下文特征。这有助于综合利用点云的局部和全局信息，提高匹配的鲁棒性。
(3)点云匹配准确性：通过综合考虑局部特征和全局上下文特征，该方法可以提高点云匹配的准确性。同时，使用多层感知机还点云坐标可以进一步提高匹配的精度。
(4)网络端到端训练：该方法可以进行端到端的网络训练，通过最小化损失函数来优化网络参数。这样可以提高匹配的鲁棒性和泛化能力。
综上所述，基于边缘增强的层次注意力点云匹配方法通过综合利用局部和全局信息，提高点云匹配的准确性和鲁棒性。
附图说明
图1所示为本申请一实施例提供的基于边缘增强的层次注意力点云匹配方法网络框架图。
图2所示为本申请一实施例提供的基于边缘增强的层次注意力点云匹配方法局部层次注意力模块网络框架图。
图3所示为本申请一实施例提供的基于边缘增强的层次注意力点云匹配方法源点云、目标点云局部-全局注意力示意图。
图4所示为本申请预测的3DMatch配准结果利用Open 3D工具库可视化图；其中，(a)、(b)为3DMatch的可视化结果，(c)-(e)为3DLoMatch的可视化结果。
图5所示为三维模型数据集测试的结果图；其中，(a)、(b)为ModelNet-40的可视化结果，(c)-(e)为ModelLoNet-40的可视化结果。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
示例性基于边缘增强的层次注意力点云匹配方法如下：
包括：如图1所示，
基于边缘增强的层次注意力点云匹配方法，包括：基于增强边缘的KPConv模块对源点云和目标点云进行局部特征提取；其中，所述增强边缘的KPConv模块中采用多项式核函数；以及利用局部层次注意力模块学习所述源点云和目标点云的局部特征，以及串联所述局部特征；其中，局部层次注意力模块包括：局部特征图构建、局部特征聚合、局部特征匹配、以及局部特征串联；以及所述局部特征使用全局交叉注意力层学习源点云和目标点云的上下文特征并输出；以及使用多层感知机还原点云坐标，并计算输出刚性变换矩阵，获得完整点云图。
在本实施例中，包括以下几个关键点：增强边缘的KPConv模块：通过使用多项式核函数替代高斯核函数，对源点云和目标点云进行局部特征提取。多项式核函数能更好地捕捉点云的边缘特征，提高匹配的准确性和鲁棒性。
局部层次注意力模块：通过局部特征图构建、局部特征聚合、局部特征匹配和局部特征串联，学习并加权源点云和目标点云的局部特征。这个模块能够提取重要的局部特征，增强匹配的准确性。
全局交叉注意力层：利用局部特征，通过全局交叉注意力层学习源点云和目标点云的上下文特征，并输出加权后的全局特征。这个模块能够捕捉点云之间的全局关系，提高匹配的鲁棒性。
多层感知机还原点云坐标：使用多层感知机对点云的还原坐标，恢复点云的原始位置信息。
计算输出刚性变换矩阵：通过计算源点云和目标点云之间的刚性变换矩阵，实现点云的匹配。刚性变换矩阵能表示点云之间的平移、旋转等刚性变换关系。
本实施例的效果在于：利用多项式核函数替代高斯核函数，能更好地捕捉点云的边缘特征，提高点云特征的理解能力。通过局部层次注意力模块和全局交叉注意力层，能够优化局部邻域匹配并学习全局条件，提取重要的特征信息，增强匹配的准确性和鲁棒性。使用多层感知机还原点云坐标，能够恢复点云的原始位置信息。通过计算刚性变换矩阵，能够实现点云的匹配，描述点云之间的平移、旋转等刚性变换关系。
在另一实施例中，所述改进的KPConv模块的网络架构，包含两个子模块：局部特征提取和特征融合；
局部特征提取：利用K最近邻算法计算输入点云邻居点局部，并使用多项式核函数计算每个邻居点与中心点之间的权重；
特征融合：将每个邻居点的特征与权重相乘，并加权求和，得到聚合的特征表示，利用特征将与中心点的特征进行融合，得到最终的特征表示。
由于KPConv算法此前主要用于提取局部特征，对边缘特征不敏感。在KPConv的基础上设计了一种多项式核函数替代高斯核函数，实现边缘特征增强。具体操作如下：
将输入点云的N个点定义为xi表示第i个点。以xi为起始点，利用K最近邻算法(K-Nearest Neighbor,KNN)采样得到xi的局部邻域特征图。然后利用核函数计算新的权重矩阵，通过该矩阵对邻域特征进行变换。本文在拉普拉斯核函数的基础上设计了新的多项式核函数，如下式所示。
其中，xi、xj分别为关键点和对应邻域中的点，λ1(·)项为拉普拉斯核，λ2(·)项为度量xi、xj的距离。λ1+λ2＝1，λ1和λ2为小于1的正数，σ表示关键点与局部邻域距离范围。此外，通过在KPConv之间建立残差连接，然后结合ResNet块继续下采样。
已有的自注意力模块通常是学习局部上下文信息，实现对点特征的平均加权。对于点云配准任务，利用注意力模块在学习局部上下文特征时，只能学习每个点与其邻域的上下文特征，容易受到噪声和不同采样密度的影响，并且现有利用注意力的点云配准算法时间复杂度较高。本实施例利用局部聚合特征结合层次注意力结构设计了一种基于局部邻域特征的匹配模块，如图2所示。
首先，利用K最近邻算法构建局部邻域特征图；然后，使用局部注意力模块学习点云局部之间的关系形成局部邻域特征聚合；再次，使用局部匹配模块计算两个点云相似分数，明确两个点云的局部位置编码。利用上层局部注意力模块的输出，逐层将局部邻域特征输入给下层注意力模块；最后，串联各层之间的局部邻域特征，输出带有位置编码和相似匹配加权的全局点云特征。
局部邻域特征聚合
为了增强局部几何特征表达，本文利用注意力模块学习局部几何信息。更新节点i和与i相邻的节点j之间的关系，得到节点i和节点j的聚合特征fi′，如下式
fi′＝αi,jfj+fi,j (3)
其中，fi为节点i的特征，fi,j为节点i中最近邻节点j的特征，αi,j为节点i和j之间的注意力得分，其计算公式如下：
其中，frp为节点i和近邻节点j的相对位置特征，每个维度的相对位置计算如下式所示：
其中，d为特征值维度索引，分别为第d维特征向量。
在局部自注意力的聚合过程中，将特征差异位置引入计算注意力分数，能更好地处理两个点云的局部匹配。在计算局部匹配的过程中，可以提供具有邻域上下文信息的局部邻域特征。特别是对于点密度不均匀以及稀疏的数据，通过特征差异计算能更容易地区分最近邻的局部邻域特征。
局部匹配模块
为了增强聚合后源点云和目标点云的全局匹配能力，本算法先进行一次局部匹配加权，再进行全局点云匹配。在局部匹配加权中，首先利用余弦距离计算相似性分数，将相似性分数最高的两个局部邻域特征作为最佳匹配；然后，使用该相似性分数更新聚合后的局部邻域特征。相似性分数计算如下式所示。
其中，sij表示源点云局部邻域聚合特征fi′和目标点云局部邻域聚合特征fj′的相似度分数。局部邻域相似性分数sij的值越大，两个局部邻域越相似，反之亦然。
根据两点云局部邻域特征间相似性分数sij为局部邻域特征施加权重。局部邻域特征fi的相似性权重由Wi＝max(sij)·fi得到，利用ReLU激活函数更新局部匹配特征计算公式如下：
其中，fi表示K最近邻算法采样的局部邻域特征，为局部邻域聚合特征，表示更新局部相似匹配的结果。并且在每层局部自注意力层后将局部匹配特征串联为全局注意力特征如图3所示，源点云和目标点云的局部聚合特征矩阵/>和/>经过局部相似匹配后拼接所有局部邻域特征得到全局特征/>和/>并利用全局条件特征/>和
局部匹配损失函数
为预测局部邻域相似对应并减少因为匹配二义性导致的错误加权，本方案预测对应C与真实对应C*的局部对应损失Lc来更新训练，如式(8)所示。
其中，i、j分别为源点云和目标点云节点索引，cij∈C表示预测局部对应，表示真实局部对应。
此外，本文的损失函数还包含平移损失Lt、旋转损失Lr、以及REGTR[26]的特征损失Lf，总的损失函数L由以上损失函数线性叠加组成，即L＝Lr+Lt+λfLf+Lc，其中λf＝0.1。
示例性一种基于边缘增强的层次注意力点云匹配系统，包括：特征数据模块：配置为准备源点云和目标点云的数据；局部层次注意力模块：配置为：包括：局部邻域特征图构建、局部邻域特征聚合、局部邻域特征匹配、以及局部邻域特征串联；全局交叉注意力：配置为：所述局部邻域特征使用全局交叉注意力层学习源点云和目标点云的上下文特征并输出；编码还原模块：配置为：使用多层感知机还原点云坐标，并计算输出刚性变换矩阵；显示模块，对完整的点云进行目标展示。
示例性一种基于边缘增强的层次注意力点云匹配装置如下包括：
所述基于边缘增强的层次注意力点云匹配具有增强边缘特征的层次化注意力点云配准功能，所述基于边缘增强的层次注意力点云匹配装置与所述的基于边缘增强的层次注意力点云匹配系统连接。
示例性一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现基于边缘增强的层次注意力点云匹配方法。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。
Claims (10)
1.基于边缘增强的层次注意力点云匹配方法，其特征在于，包括
基于增强边缘的KPConv模块对源点云和目标点云进行局部邻域特征提取；
其中，所述增强边缘的KPConv模块中采用多项式核函数；以及
利用局部层次注意力模块学习所述源点云和目标点云的局部邻域特征，以及串联所述局部邻域特征，形成全局特征；
其中，局部层次注意力模块包括：局部邻域特征图构建、局部邻域特征聚合、局部邻域特征匹配、以及局部邻域特征串联；以及
所述全局特征使用全局交叉注意力层学习源点云和目标点云的上下文特征并输出；以及
使用多层感知机还原点云坐标，并计算输出刚性变换矩阵，获得完整点云图。
2.根据权利要求1所述的基于边缘增强的层次注意力点云匹配方法，其特征在于，所述增强边缘的KPConv模块的网络架构，包含两个子模块：局部邻域特征提取和特征融合；
局部邻域特征提取：利用K最近邻算法计算输入点云局部邻居点，并使用多项式核函数计算每个邻居点与中心点之间的权重；
特征融合：将每个邻居点的特征与权重相乘，并加权求和，得到聚合的特征表示，利用特征将与中心点的特征进行融合，得到最终的特征表示。
3.根据权利要求2所述的基于边缘增强的层次注意力点云匹配方法，其特征在于，所述多项式核函数为：
其中，xi、xj分别为关键点和对应中的点，λ1(·)项为拉普拉斯核，λ2(·)项为度量xi、xj的距离。λ1+λ2＝1，λ1和λ2为小于1的正数，σ表示关键点与局部距离范围。
4.根据权利要求1所述的基于边缘增强的层次注意力点云匹配方法，其特征在于，所述局部层次注意力模块包括：
局部邻域特征图构件：利用K最近邻算法构建局部邻域特征图；
局部邻域特征聚合：使用局部注意力模块学习点云局部之间的关系形成局部邻域特征聚合；
局部邻域特征匹配：使用局部匹配模块计算两个点云相似分数，确定源点云和目标点云中具有相似特征的局部邻域，并进行局部特征匹配；
局部邻域特征串联：串联各子层之间的局部邻域特征，输出带有位置编码和相似匹配加权的全局点云特征。
5.根据权利要求4所述的基于边缘增强的层次注意力点云匹配方法，其特征在于，所述局部邻域特征聚合包块：
更新局部邻域中节点i和与i相邻的节点j之间的关系，得到节点i和节点j的聚合特征fi′：
fi′＝αi,jfj+fi,j
其中，fi为节点i的特征，fi,j为节点i中最近邻节点j的特征；
αi,j为节点i和j之间的注意力得分，其计算公式如下：
其中，frp为节点i和近邻节点j的相对位置特征，每个维度的相对位置计算下式所示：
其中，d为特征值维度索引，分别为第d维特征向量。
6.根据权利要求4所述的基于边缘增强的层次注意力点云匹配方法，其特征在于，所述局部匹配模块包括：
先利用余弦距离计算相似性分数，将相似性分数最高的两个局部邻域特征作为最佳匹配；
其中，相似性分数计算如下式所示。
其中，sij表示源点云局部邻域聚合特征fi′和目标点云局部邻域聚合特征fj′的相似度分数；以及
使用该相似性分数更新聚合后的局部邻域特征；
其中，局部邻域特征fi的相似性权重由Wi＝max(sij)·fi得到，利用ReLU激活函数更新局部匹配特征fs i，计算公式如下：
fs i＝fi+ReLU(fiWi+bi)
其中，fi表示K最近邻算法采样的局部邻域特征，为局部邻域聚合特征。
7.根据权利要求1所述的基于边缘增强的层次注意力点云匹配方法，其特征在于，所述局部层次注意力模块还包括引入局部匹配损失函数，增强局部邻域特征匹配准确性；
其中局部匹配损失函数表示为：
其中，预测对应C，真实对应C*，局部对应损失Lc，i、j分别为源点云和目标点云节点索引，cij∈C表示预测局部对应，表示真实局部对应。
8.一种基于边缘增强的层次注意力点云匹配系统，其特征在于，包括：
特征数据模块：配置为准备源点云和目标点云的数据；
局部层次注意力模块：配置为：包括：局部邻域特征图构建、局部邻域特征聚合、局部邻域特征匹配、以及局部邻域特征串联；
全局交叉注意力：配置为：所述局部邻域特征使用全局交叉注意力层学习源点云和目标点云的上下文特征并输出
编码还原模块：配置为：使用多层感知机还原点云位置，并计算输出刚性变换矩阵；
显示模块，对完整的点云进行目标展示。
9.一种基于边缘增强的层次注意力点云匹配装置，其特征在于，
所述基于边缘增强的层次注意力点云匹配具有增强边缘特征的层次化注意力点云配准功能，所述基于边缘增强的层次注意力点云匹配装置与权利要求8所述的基于边缘增强的层次注意力点云匹配系统连接。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311078261.0A CN117237422A (zh) | 2023-08-25 | 2023-08-25 | 基于边缘增强的层次注意力点云匹配方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311078261.0A CN117237422A (zh) | 2023-08-25 | 2023-08-25 | 基于边缘增强的层次注意力点云匹配方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237422A true CN117237422A (zh) | 2023-12-15 |
Family
ID=89090235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311078261.0A Pending CN117237422A (zh) | 2023-08-25 | 2023-08-25 | 基于边缘增强的层次注意力点云匹配方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237422A (zh) |
-
2023
- 2023-08-25 CN CN202311078261.0A patent/CN117237422A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111489358B (zh) | 一种基于深度学习的三维点云语义分割方法 | |
| CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
| Xie et al. | Point clouds learning with attention-based graph convolution networks | |
| CN109858390B (zh) | 基于端到端时空图学习神经网络的人体骨架行为识别方法 | |
| CN113838109B (zh) | 一种低重合度点云配准方法 | |
| CN115908908B (zh) | 基于图注意力网络的遥感图像聚集型目标识别方法及装置 | |
| CN114780748A (zh) | 基于先验权重增强的知识图谱的补全方法 | |
| CN115222998B (zh) | 一种图像分类方法 | |
| CN113627440A (zh) | 一种基于轻量级神经网络的大规模点云语义分割方法 | |
| CN112149645A (zh) | 基于生成对抗学习和图神经网络的人体姿势关键点识别方法 | |
| CN114972794A (zh) | 基于多视图Pooling Transformer的三维对象识别方法 | |
| CN114066844A (zh) | 一种基于注意力叠加与特征融合的肺炎x光片图像分析模型及分析方法 | |
| Lv et al. | Memory‐augmented neural networks based dynamic complex image segmentation in digital twins for self‐driving vehicle | |
| CN111612046B (zh) | 特征金字塔图卷积神经网络及其在3d点云分类中的应用 | |
| CN116630975A (zh) | 一种基于特征表示分解和鸟瞰图融合的语义场景补全方法 | |
| CN115631341A (zh) | 一种基于多尺度特征投票的点云配准方法及系统 | |
| CN116030537A (zh) | 基于多分支注意力图卷积的三维人体姿态估计方法 | |
| CN115830707A (zh) | 一种基于超图学习的多视角人体行为识别方法 | |
| CN117237422A (zh) | 基于边缘增强的层次注意力点云匹配方法、装置及系统 | |
| An et al. | PointTr: Low-Overlap Point Cloud Registration with Transformer | |
| CN113222016A (zh) | 一种基于高层和低层特征交叉增强的变化检测方法及装置 | |
| Jiang et al. | DeepGCNs-Att: Point cloud semantic segmentation with contextual point representations | |
| CN116704552B (zh) | 基于主要次要特征的人体姿态估计方法 | |
| Yang et al. | Efficient adaptive upsampling module for real-time semantic segmentation | |
| Cao et al. | DIGCN: A Dynamic Interaction Graph Convolutional Network Based on Learnable Proposals for Object Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |