CN116152611B - 一种多级多尺度点云补全方法、系统、设备及存储介质 - Google Patents

一种多级多尺度点云补全方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116152611B
CN116152611B CN202310395014.7A CN202310395014A CN116152611B CN 116152611 B CN116152611 B CN 116152611B CN 202310395014 A CN202310395014 A CN 202310395014A CN 116152611 B CN116152611 B CN 116152611B
Authority
CN
China
Prior art keywords
point cloud
scale
level
point
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310395014.7A
Other languages
English (en)
Other versions
CN116152611A (zh
Inventor
杨纪冲
薛冰
徐龙生
庞先昂
庞士玺
孙振行
鲁凤香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Kailin Environmental Protection Equipment Co ltd
Original Assignee
Shandong Kailin Environmental Protection Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Kailin Environmental Protection Equipment Co ltd filed Critical Shandong Kailin Environmental Protection Equipment Co ltd
Priority to CN202310395014.7A priority Critical patent/CN116152611B/zh
Publication of CN116152611A publication Critical patent/CN116152611A/zh
Application granted granted Critical
Publication of CN116152611B publication Critical patent/CN116152611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种多级多尺度点云补全方法、系统、设备及存储介质，涉及3维计算机视觉、人工智能领域，对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；点云重建网络，包括多级多尺度融合模块、点云金字塔Transformer和判别器；判别器用于将预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云；本发明通过多级多尺度融合和点云金字塔Transformer，解决云补全中局部细节丢失和修复不完全的问题，提高残缺点云的补全质量和效率。

Description

一种多级多尺度点云补全方法、系统、设备及存储介质
技术领域
本发明属于3维计算机视觉、人工智能领域，尤其涉及一种多级多尺度点云补全方法、系统、设备及存储介质。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
传感器和深度学习技术的发展使得3维视觉技术越来越受关注，3维视觉技术在场景理解、数字化产品设计与制造、机器人等领域有重要意义；点云（point cloud）作为3维技术的重要的数据格式，因其具有保持几何和语义信息的作用而备受关注。
点云通常通过传感器、雷达等设备直接获取，但由于遮挡、反光、噪声等原因造成点云数据不完整；不完整的点云数据缺失了部分几何信息和语义信息，对后续的3维视觉任务影响颇大，尤其是对于巡检、安防等用途的机器人，可能造成严重后果，因此补全点云数据成为了一项重要的基础研究。
现有的点云补全方法往往关注点云的全局特征，尽管全局特征带来了具有判别力的语义信息，但容易忽略一些局部的细节，造成模型不鲁棒；而且从单一尺度上学习的特征难以全面地学习全局和局部特征，因此现有方法存在局部细节丢失和修复不完全的问题，整体补全效果不佳。
发明内容
为克服上述现有技术的不足，本发明提供了一种多级多尺度点云补全方法、系统、设备及存储介质，通过多级多尺度方法和点云金字塔Transformer，解决云补全中局部细节丢失和修复不完全的问题，提高残缺点云的补全质量和效率。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了一种多级多尺度点云补全方法；
一种多级多尺度点云补全方法，包括：
步骤S1：对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；
步骤S2：将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；
其中，所述点云重建网络，包括多级多尺度融合模块、点云金字塔Transformer和判别器；
所述多级多尺度融合模块，基于多尺度下的物体级点云，构建多尺度下的部位级点云，并对物体级点云和部位级点云进行多级多尺度融合，得到点云特征；
所述点云金字塔Transformer，基于点云特征，预测补全点云；
所述判别器，将点云金字塔Transformer预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云。
进一步的，所述预处理，具体为：
采用随机均匀采样，从待补全的残缺点云数据中采样预设个数个点，组成第一尺度的物体级点云；
对第一尺度的物体级点云进行多个尺度的降采样，得到多个尺度下的物体级点云。
进一步的，所述基于多尺度下的物体级点云，构建多尺度下的部位级点云，是将物体级点云分成预设个数个局部组，每个局部组作为一个部位级点云，具体步骤为：
计算物体级点云中任意两个点之间的距离；
依据距离，计算点密度和相对距离；
基于点密度和相对距离，计算点的密度峰值；
基于密度峰值和距离，对物体级点云中的点进行分组。
进一步的，所述对物体级点云和部位级点云进行多级多尺度融合，具体步骤为：
从每个尺度的物体级点云和部位级点云中分别提取全局特征和局部特征；
将提取的全局特征和局部特征进行交叉注意力融合，得到尺度特征；
将得到的多个尺度特征进行相加融合，得到点云特征。
进一步的，所述物体级点云，通过点云卷积PointConv提取全局特征，所述部位级点云，通过点云Transform提取局部特征。
进一步的，所述点云金字塔Transformer，包括三层Transformer编码器、两个点云卷积PointConv和感知机；
融合后的点云特征输入到Transformer 编码器中，每两个Transformer编码器之间连接一个点云卷积PointConv，用于调整编码后的点云数量，最后一个Transformer编码器连接到感知机，进行缺失部位预测重建，重建后的缺失部位与残缺点云数据组合，得到补全后的点云数据。
进一步的，所述判别器，由相互连接的编码器和感知机组成；
将预测的补全点云和真实完整点云分别输入到由点云卷积PointConv组成的编码器中，编码后的特征输入到感知机中，输出两个真假概率，基于真假概率，判别点云重建的效果。
本发明第二方面提供了一种多级多尺度点云补全系统。
一种多级多尺度点云补全系统，包括预处理模块和点云补全模块：
所述预处理模块，被配置为：对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；
所述点云补全模块，被配置为：将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；
其中，所述点云重建网络，包括多级多尺度融合模块、点云金字塔Transformer和判别器；
所述多级多尺度融合模块，基于多尺度下的物体级点云，构建多尺度下的部位级点云，并对物体级点云和部位级点云进行多级多尺度融合，得到点云特征；
所述点云金字塔Transformer，基于点云特征，预测补全点云；
所述判别器，将点云金字塔Transformer预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种多级多尺度点云补全方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种多级多尺度点云补全方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明构建包括点云金字塔Transformer和判别器的点云重建网络，点云金字塔Transformer用于对缺失部位的点云进行预测，而判别器用于对点云重建网络进行对抗训练，从而高质量高效率补全残缺点云数据。
本发明通过多级多尺度的点云构建、特征提取和特征融合方法，帮助点云重建网络学习有判别力的全局特征和局部保留几何信息的细节语义，逐渐学习高级语义，从而更好地预测缺失部位的点云。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图。
图2为第一个实施例点点云重建网络的结构图。
图3为第一个实施例多级多尺度融合模块的结构图。
图4为第二个实施例的系统结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
实施例一
本实施例公开了一种多级多尺度点云补全方法；
如图1所示，一种多级多尺度点云补全方法，包括：
步骤S1：对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云。
一个物体的点云数据通常数量庞大，若直接输入到后面的点云重建网络中，将会带来巨大的运算量，而且为了提高本实施例方法对局部细节的学习能力，将物体级点云作为第一尺度，从中重新采样多个粒度的点云，代表不同的尺度，粒度越粗越能学习有判别力的全局特征，粒度越细则局部细节越丰富，因此，对点云数据采用随机均匀采样，从物体的点云数据中采样n个点用于后面的处理，每个点包括x、y、z坐标，这n个点代表物体级点云，n是物体级点云的预设采样个数，本实施例中，n=2048。
具体的，对第一尺度的物体级点云进行降采样，使其点数分别下降到n/2和n/4，得到第二尺度和第三尺度的物体级点云，得到多尺度的物体级点云。
步骤S2：将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据。
图2是点云重建网络的结构图，具体的，如图2所示，点云重建网络包括依次连接的多级多尺度融合模块、点云金字塔Transformer和判别器，多级多尺度融合模块用于提取和融合点云特征，点云金字塔Transformer用于对缺失部位的点云进行预测，而判别器用于对点云重建网络进行对抗训练，下面对各个部分进行详细说明。
（1）多级多尺度融合模块
图3是多级多尺度融合模块的结构图，如图3所示，包括三个部分：部位级点云构建、特征提取和交互融合。
部位级点云构建
对于每个尺度来说，为了进一步提取局部细节的特征，在物体级点云的基础上，增加部位级点云这个级别，物体级点云用于学习全局特征，部位级点云用于学习局部特征；为了产生部位级点云，使用DPC-knn聚类算法，将相近的点云分为同一组，以此产生不同的部位，具体步骤为：
1）计算物体级点云中每个点i与点j之间的距离，对每个点的邻居节点按照两点距离从小到大排序，提取每个点的/>个最近邻居的距离，计算每个点的点密度/>，具体公式为：
其中，分别是点i与点j的坐标，/>表示预设的最近邻居个数，本实施例中，/>=20。
2）基于两点距离，计算每个点的相对距离。
如果点i是点密度最大的点，那么点i的相对距离是点i到其他点的最大距离，即密度最高点的相对距离为：
其中，表示点i与点j之间的距离，/>表示点i到其他点的最大距离。
如果点i不是点密度最大的点，那么点i的相对距离是点i到点密度大于i点的点密度/>的最小距离，即其他点的相对距离为：
其中，表示点i与点j之间的距离，/>表示点密度/>大于点密度/>的点中的最小距离。
3）根据每个点的相对距离和点密度/>，计算每个点的密度峰值/>，具体公式为：
4）挑选密度峰值最高的G个点，对于每个点，从该点的邻居中，依据两点距离，取出β×(n/G)个最近邻居，与该点构成一个局部组，作为一个部位级点云，总共得到G个部位级点云，其中，G是预设的分组个数，β用于防止因某个组数量不够而将远程的点纳入自己组内，本实施例中，β=0.8。
特征提取
物体级点云通过点云卷积PointConv提取特征，点云卷积PointConv会聚合周围的点云从而学习到具有判别力的全局特征，而部位级点云通过点云Transform（PointTransform）学习特征以保留几何信息。
具体的，如图2所示，每个尺度的物体级点云经过两个点云卷积PointConv得到全局特征，在此过程中削减点云数量，最终输出的特征的形状为(n/4, 512)，每个点云卷积PointConv的计算公式如下：
其中，是输出特征，/>是逆密度（密度越大，逆密度越小），/>(h,s)是权重函数，/>是输入，h和s是输入点数和特征维度。第一个尺度的三个点云卷积PointConv的输出形状分别是(n/2, 128), (n/4, 256), (n/4, 512)，第二个尺度的三个点云卷积PointConv的输出形状分别是(n/4, 128), (n/4, 256), (n/4, 512)，第三个尺度的点云卷积PointConv的输出形状分别是(n/4, 128), (n/4, 256), (n/4, 512)。
每个尺度的G个部位级特征使用PointNet的特征transform算法（点云Transform，即PointTransform）提取局部特征，输出的特征形状是(G, 512)。
点云经过某些几何变换，例如刚性变换，点云的语义标记可能会丢失；因此，期望提取的局部特征对于这些变换是不变的，而T-Net是用来模拟模型对特定空间转换的不变性，其输出的是k*k的变换矩阵，k是输入的点云的特征维度，然后k*k的变换矩阵与n,k的点云特征进行矩阵相乘得到仍然得到n,k的点云，其中的集合变换已经消除；所以本实施例在PointNet中引入T-Net和矩阵相乘，实现语义不变的要求。
交互融合
每个尺度下学习到的全局特征和局部特征通过交叉注意力融合，然后每个尺度输出的特征通过相加融合，来学习包含了多个尺度的全局信息和局部信息的融合特征，得到最终的点云特征，具体公式为：
其中，是第i个尺度的全局特征（物体级特征），/>是第i个尺度的局部特征（部位级特征），/>是第i个尺度的局部特征和全局特征的交互矩阵，D是特征维度，/>是第i个尺度的全局特征和局部特征的融合特征，三个尺度的点云数据都得到融合特征后进行相加融合得到点云特征/>。
（2）点云金字塔Transformer
为了充分让网络学习到点云间的语义，融合后的点云特征F被输入到点云金字塔Transformer中，点云金字塔Transformer由Transformer编码器和点云卷积PointConv交替组成，其中，Transformer编码器捕获点云中长程关系，点云卷积PointConv则聚合局部的点云，在点云金字塔Transformer的处理过程中逐渐学习高级语义，从而更好的预测缺失部位的点云。
具体的，如图3所示，具体的，点云金字塔Transformer，包括三层Transformer编码器、两个点云卷积PointConv和感知机；融合后的点云特征F输入到Transformer 编码器中，每两个Transformer编码器之间连接一个点云卷积PointConv，用于调整编码后的点云数量，最后一个Transformer编码器连接到感知机，进行缺失部位预测重建，重建后的部位与待补全的残缺点云数据组合，得到补全后的点云数据。
融合后的点云特征F可以视为一个（n/4, 512）的特征序列，符合Transformer的数据输入格式，且Transformer可对中长程关系进行学习，因此融合特征的每一个点云特征作为一个token，输入到Transformer 编码器网络中；值得注意的是这里的Transformer不需要添加分类token和位置编码，Transformer 编码器输出的特征再由一个点云卷积PointConv处理，聚合局部特征学习更高级语义；经过三个Transformer encoder 和两个点云卷积PointConv处理，得到最后输出的特征，其形状为（m, 512），m代表缺失的部位的点云数量。然后Transformer输出的特征输入到一个3层感知机中得到最终预测的缺失部位点云数据，其形状为（m, 3），3代表xyz坐标。
（3）判别器
点云金字塔Transformer预测的补全点云和真实完整点云输入到判别器中进行对抗训练，直到判别器无法分辨预测的点云和真实完整点云。
具体的，这里的“预测的补全点云”，是预测的缺失部位与原始的残缺点云数据结合，得到的伪完整物体。伪完整物体输入到由点云卷积PointConv组成的编码器中，得到形状为（1，512）的特征，该特征输入到一层感知机中用来输出真假概率。同时，真实完整点云也输入到由点云卷积PointConv组成的编码器中，得到形状为（1，512）的特征，然后由一层感知机输出真假的概率。由编码器和感知机MLP组成的网络结构被称为判别器。
对抗训练的目标是点云重建网络要输出尽可能迷惑判别器的结果，因此使用如下损失函数进行优化：
其中，Z表示输入到点云重建网络中的残缺点云数据，表示假样本集合，/>表示真样本集合，D表示判别器，T表示点云重建网络，/>表示真实的完整点云，/>是WGAN范式中的惩罚项，用来稳定训练过程。
实施例二
本实施例公开了一种多级多尺度点云补全系统；
如图4所示，一种多级多尺度点云补全系统， 包括预处理模块和点云补全模块：
所述预处理模块，被配置为：对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；
所述点云补全模块，被配置为：将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；
其中，所述点云重建网络，包括多级多尺度融合模块、点云金字塔Transformer和判别器；
所述多级多尺度融合模块，基于多尺度下的物体级点云，构建多尺度下的部位级点云，并对物体级点云和部位级点云进行多级多尺度融合，得到点云特征；
所述点云金字塔Transformer，基于点云特征，预测补全点云；
所述判别器，将点云金字塔Transformer预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种多级多尺度点云补全方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种多级多尺度点云补全方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种多级多尺度点云补全方法，其特征在于，包括：
步骤S1：对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；
步骤S2：将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；
其中，所述点云重建网络，包括多级多尺度融合模块、点云金字塔Transformer和判别器；
所述多级多尺度融合模块，基于多尺度下的物体级点云，构建多尺度下的部位级点云，并对物体级点云和部位级点云进行多级多尺度融合，得到点云特征；所述点云金字塔Transformer，基于点云特征，预测补全点云；所述判别器，用于将点云金字塔Transformer预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云；
其中，所述对物体级点云和部位级点云进行多级多尺度融合，具体步骤为：
从每个尺度的物体级点云和部位级点云中分别提取全局特征和局部特征；
将提取的全局特征和局部特征进行交叉注意力融合，得到尺度特征；
将得到的多个尺度特征进行相加融合，得到点云特征，具体公式为：
其中，是第i个尺度的全局特征，/>是第i个尺度的局部特征，/>是第i个尺度的局部特征和全局特征的交互矩阵，D是特征维度，/>是第i个尺度的全局特征和局部特征的融合特征，多个尺度的点云数据都得到融合特征后进行相加融合得到点云特征/>；
所述物体级点云，通过点云卷积PointConv提取全局特征，所述部位级点云，通过点云Transform提取局部特征；
所述点云金字塔Transformer，包括三层Transformer编码器、两个点云卷积PointConv和感知机；
融合后的点云特征输入到Transformer 编码器中，每两个Transformer编码器之间连接一个点云卷积PointConv，用于调整编码后的点云数量，最后一个Transformer编码器连接到感知机，进行缺失部位预测重建，重建后的缺失部位与残缺点云数据组合，得到补全后的点云数据。
2.如权利要求1所述的一种多级多尺度点云补全方法，其特征在于，所述预处理，具体为：
采用随机均匀采样，从待补全的残缺点云数据中采样预设个数个点，组成第一尺度的物体级点云；
对第一尺度的物体级点云进行多个尺度的降采样，得到多个尺度下的物体级点云。
3.如权利要求1所述的一种多级多尺度点云补全方法，其特征在于，所述基于多尺度下的物体级点云，构建多尺度下的部位级点云，是将物体级点云分成预设个数个局部组，每个局部组作为一个部位级点云，具体步骤为：
计算物体级点云中任意两个点之间的距离；
依据距离，计算点密度和相对距离；
基于点密度和相对距离，计算点的密度峰值；
基于密度峰值和距离，对物体级点云中的点进行分组。
4.如权利要求1所述的一种多级多尺度点云补全方法，其特征在于，所述判别器，由相互连接的编码器和感知机组成；
将预测的补全点云和真实完整点云分别输入到由点云卷积PointConv组成的编码器中，编码后的特征输入到感知机中，输出两个真假概率，基于真假概率，判别点云重建的效果。
5.一种多级多尺度点云补全系统，其特征在于，包括预处理模块和点云补全模块：
所述预处理模块，被配置为：对待补全的残缺点云数据进行预处理，得到多尺度下的物体级点云；
所述点云补全模块，被配置为：将多尺度下的物体级点云输入到训练好的点云重建网络中，得到最终补全后的点云数据；
其中，所述点云重建网络，包括多级多尺度融合模块、点云金字塔Transformer和判别器；
所述多级多尺度融合模块，基于多尺度下的物体级点云，构建多尺度下的部位级点云，并对物体级点云和部位级点云进行多级多尺度融合，得到点云特征；所述点云金字塔Transformer，基于点云特征，预测补全点云；所述判别器，用于将点云金字塔Transformer预测的补全点云和真实完整点云输入到判别器中对点云重建网络进行对抗训练，直到判别器无法分辨预测的补全点云和真实完整点云；
其中，所述对物体级点云和部位级点云进行多级多尺度融合，具体步骤为：
从每个尺度的物体级点云和部位级点云中分别提取全局特征和局部特征；
将提取的全局特征和局部特征进行交叉注意力融合，得到尺度特征；
将得到的多个尺度特征进行相加融合，得到点云特征，具体公式为：
其中，是第i个尺度的全局特征，/>是第i个尺度的局部特征，/>是第i个尺度的局部特征和全局特征的交互矩阵，D是特征维度，/>是第i个尺度的全局特征和局部特征的融合特征，多个尺度的点云数据都得到融合特征后进行相加融合得到点云特征/>；
所述物体级点云，通过点云卷积PointConv提取全局特征，所述部位级点云，通过点云Transform提取局部特征；
所述点云金字塔Transformer，包括三层Transformer编码器、两个点云卷积PointConv和感知机；
融合后的点云特征输入到Transformer 编码器中，每两个Transformer编码器之间连接一个点云卷积PointConv，用于调整编码后的点云数量，最后一个Transformer编码器连接到感知机，进行缺失部位预测重建，重建后的缺失部位与残缺点云数据组合，得到补全后的点云数据。
6.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-4任一项所述的方法。
7.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-4任一项所述方法的指令。
CN202310395014.7A 2023-04-14 2023-04-14 一种多级多尺度点云补全方法、系统、设备及存储介质 Active CN116152611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310395014.7A CN116152611B (zh) 2023-04-14 2023-04-14 一种多级多尺度点云补全方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310395014.7A CN116152611B (zh) 2023-04-14 2023-04-14 一种多级多尺度点云补全方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116152611A CN116152611A (zh) 2023-05-23
CN116152611B true CN116152611B (zh) 2023-08-25

Family

ID=86341042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310395014.7A Active CN116152611B (zh) 2023-04-14 2023-04-14 一种多级多尺度点云补全方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116152611B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274454B (zh) * 2023-08-29 2024-10-18 西交利物浦大学 一种基于部件信息的三维点云补全方法、设备及存储介质
CN117593224B (zh) * 2023-12-06 2024-08-27 北京建筑大学 古建筑点云缺失数据补全方法及装置
CN117495853B (zh) * 2023-12-28 2024-05-03 淘宝（中国）软件有限公司 视频数据处理方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
CN113255677A (zh) * 2021-05-27 2021-08-13 中国电建集团中南勘测设计研究院有限公司 一种岩体结构面及产状信息快速提取方法、设备及介质
CN113706686A (zh) * 2021-07-09 2021-11-26 苏州浪潮智能科技有限公司 一种三维点云重建结果补全方法及相关组件
CN114399743A (zh) * 2021-12-10 2022-04-26 浙江零跑科技股份有限公司 一种障碍物未来轨迹的生成方法
CN114612619A (zh) * 2022-03-16 2022-06-10 上海交通大学 基于点云补全技术的三维点云重建方法及系统
CN115131560A (zh) * 2022-06-28 2022-09-30 首都师范大学 基于全局特征学习和局部特征判别聚合的点云分割方法
CN115497085A (zh) * 2022-10-28 2022-12-20 云南大学 基于多分辨率双特征折叠的点云补全方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11281917B2 (en) * 2019-10-31 2022-03-22 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
CN113255677A (zh) * 2021-05-27 2021-08-13 中国电建集团中南勘测设计研究院有限公司 一种岩体结构面及产状信息快速提取方法、设备及介质
CN113706686A (zh) * 2021-07-09 2021-11-26 苏州浪潮智能科技有限公司 一种三维点云重建结果补全方法及相关组件
CN114399743A (zh) * 2021-12-10 2022-04-26 浙江零跑科技股份有限公司 一种障碍物未来轨迹的生成方法
CN114612619A (zh) * 2022-03-16 2022-06-10 上海交通大学 基于点云补全技术的三维点云重建方法及系统
CN115131560A (zh) * 2022-06-28 2022-09-30 首都师范大学 基于全局特征学习和局部特征判别聚合的点云分割方法
CN115497085A (zh) * 2022-10-28 2022-12-20 云南大学 基于多分辨率双特征折叠的点云补全方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李海鹏等.多尺度点云补全网络.《中国科技论文》.2023,第18卷(第3期),第292-303页. *

Also Published As

Publication number Publication date
CN116152611A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN116152611B (zh) 一种多级多尺度点云补全方法、系统、设备及存储介质
CN116152267B (zh) 基于对比性语言图像预训练技术的点云实例分割方法
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN111079683B (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN107220506A (zh) 基于深度卷积神经网络的乳腺癌风险评估分析系统
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN112633330A (zh) 点云分割方法、系统、介质、计算机设备、终端及应用
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN111291695B (zh) 人员违章行为识别模型训练方法、识别方法及计算机设备
CN109785409B (zh) 一种基于注意力机制的图像-文本数据融合方法和系统
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
Wang et al. Pst-net: Point cloud sampling via point-based transformer
CN114926734B (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN118351320B (zh) 基于三维点云的实例分割方法
CN115293986A (zh) 一种多时相遥感图像云区重建方法
CN113723294B (zh) 数据处理方法、装置及对象识别方法、装置
Xu et al. Scale-aware squeeze-and-excitation for lightweight object detection
CN117725966A (zh) 草图序列重建模型的训练方法、几何模型重建方法及设备
CN116500335B (zh) 基于一维特征和二维特征的智能电网窃电检测方法及系统
CN117372617A (zh) 一种基于GCN-Transformer模型的点云数据重建方法及电子设备
Zhao Image semantic segmentation method based on GAN network and FCN model
CN117671666A (zh) 一种基于自适应图卷积神经网络的目标识别方法
CN115953394B (zh) 基于目标分割的海洋中尺度涡检测方法及系统
CN117671480A (zh) 基于视觉大模型的滑坡自动识别方法、系统和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant