CN115439694A - 一种基于深度学习的高精度点云补全方法及装置 - Google Patents

一种基于深度学习的高精度点云补全方法及装置 Download PDF

Info

Publication number
CN115439694A
CN115439694A CN202211135259.8A CN202211135259A CN115439694A CN 115439694 A CN115439694 A CN 115439694A CN 202211135259 A CN202211135259 A CN 202211135259A CN 115439694 A CN115439694 A CN 115439694A
Authority
CN
China
Prior art keywords
point cloud
point
module
completion
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211135259.8A
Other languages
English (en)
Inventor
张登银
冯莹莹
黄丽
严伟丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211135259.8A priority Critical patent/CN115439694A/zh
Priority to PCT/CN2022/133946 priority patent/WO2024060395A1/zh
Publication of CN115439694A publication Critical patent/CN115439694A/zh
Priority to US18/094,867 priority patent/US20230206603A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的高精度点云补全方法及装置，包括：在特征提取模块引入动态核卷积PAConv，可以根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核。在特征融合模块添加了空间注意力机制，有助于解码器更好学到多种特征之间的相互关系，从而更好的表示这些特征信息。鉴别器模块包含全局和局部注意力鉴别器模块，利用多层全连接进行分类，分别从整体和局部来判断生成结果是否符合真实点云分布，进而优化生成结果。从而提高点云补全的精度，得到完整准确的点云补全结果，这也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。

Description

一种基于深度学习的高精度点云补全方法及装置
技术领域
本发明涉及计算机三维点云补全和深度学习技术领域，具体涉及一种基于深度学习的高精度点云补全方法及装置。
背景技术：
在3D计算机视觉应用中，由于遮挡和有限的传感器分辨率，3D扫描仪和深度相机捕获的原始点云通常是稀疏且不完整的。点云模型形状上的缺损，极大地限制了视觉和AI的感知能力。点云补全就是将一个残缺的点云，通过算法模型补全完整，它是3D视觉领域的一项基础技术。同时，它也是获取3D对象完整点云模型的必要步骤，是后续相关工作的基础。
现有的基于深度学习的点云补全方法可以推测出相对完整且合理的点云模型，但是往往在补全局部细节特征方面存在缺陷。
为此，弥补基于深度学习的点云补全方法在局部特征提取上的欠缺，将有益于表征点云空间复杂的变化关系以提高点云补全的精度。
发明内容
为了解决现有技术中存在的不足，解决当前点云补全方法存在局部特征提取不足的问题，本发明提供了一种基于深度学习的高精度点云补全方法，在特征提取模块引入动态核卷积PAConv，可以根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核。在特征融合模块添加了空间注意力机制，有助于解码器更好学到多种特征之间的相互关系，从而更好的表示这些特征信息。鉴别器模块包含全局和局部注意力鉴别器模块，利用多层全连接进行分类，分别从整体和局部来判断生成结果是否符合真实点云分布，进而优化生成结果。从而提高点云补全的精度，得到完整准确的点云补全结果，这也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
第一方面，提供一种基于深度学习的高精度点云补全方法，包括：
获取待处理的点云数据；
对所述点云数据进行预处理，得到预处理后的点云数据；
将预处理后的点云数据输入训练好的点云补全模型，其中所述点云补全模型包括多分辨率编码器模块、金字塔解码器模块和注意力鉴别器模块；
所述多分辨率编码器模块，被配置为：对输入的点云数据进行特征提取、融合，得到特征向量；
所述金字塔解码器模块，被配置为：对所述特征向量进行处理得到三个尺度的点云补全结果；
所述注意力鉴别器模块，被配置为：使用生成对抗网络的思想，通过生成模型和判别模型相互博弈学习来产生全局和局部特征一致性的结果；
根据所述点云补全模型的输出，确定高精度点云补全结果。
在一些实施例中，所述多分辨率编码器模块包括特征提取模块和特征融合模块，
特征提取模块中在共享权重的多层感知机MLP嵌入动态卷积层PAConv，根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核，提高局部细节特征提取能力；
在特征融合模块添加空间注意力机制，实现空间维度上的特征聚焦；
将最远点采样生成三个不同尺度的缺失点云输入多分辨率编码器模块；
使用嵌入动态核卷积PAConv的多层感知机的特征提取模块对三个不同尺度的缺失点云进行特征提取，生成多维特征向量V1，V2，V3；输出的多维特征向量V1，V2，V3输入由空间注意力机制构成的特征融合模块，空间注意力机制学习综合局部特征和全局信息的1024维抽象特征，输出加权后每个位置的特征；再以拼接数组将3个1024维度的抽象特征拼接，最后使用MLP将潜在特征映射整合到最终的特征向量V，维度为1024。
进一步地，所述动态核卷积PAConv的构建方法包括：
初始化一个由K个大小为Cin×Cout的权重矩阵组成的权重库W＝{Wk|k＝1，2，...，K}，其中Cin表示网络在当前层的输入维度，Cout表示网络在当前层的输出维度；
计算输入点云中每一个点pi与邻域点pj的相对位置关系，学习不同位置的权重系数
Figure BDA0003851719350000031
表示为：
Eij＝Softmax(θ(pi，pj))
其中θ是核大小为1×1的卷积实现的非线性函数；使用Softmax函数进行规范化操作确保输出分数在范围(0，1)之间；较高的分数意味着对应的位置具有更重要的局部信息；
PAConv的内核是通过组合权重矩阵Wk和从点位置学习到的权重系数
Figure BDA0003851719350000041
构成的，
Figure BDA0003851719350000042
至此，动态核卷积PAConv完成自适应地构建卷积内核的工作，用于捕获输入特征局部区域的信息，输出具有局部关联性的特征。
优选地，K取值为16。
在一些实施例中，对所述特征向量进行处理得到三个尺度的点云补全结果，包括：特征向量V经过全连接层得到三个不同分辨率的子特征向量U1，U2，U3，每个子特征向量负责补全不同分辨率的点云；利用U3预测初级点云P3，用U2预测次级点云P2距离P3中心点的相对坐标，使用重组和全连接操作根据P3生成次级点云P2；利用U1和P2预测最终点云P1距离P2中心点的相对坐标，以此补充最终点云P1。
在一些实施例中，所述注意力鉴别器模块包括全局注意力鉴别器和全局注意力鉴别器；全局鉴别器用于查看整个点云补全结果来评估其整体一致性，局部鉴别器模块查看以已完成区域为中心的小区域，以确保生成点云的局部一致性。
在一些实施例中，所述注意力鉴别器模块的处理过程包括：将整体或局部生成点云和真实点云送入注意力鉴别器，通过其中的自编码器获得维度为512的特征向量，再通过连续的全连接层降低维度[512-256-128-16-1]，输出最终fake或real的二值结果。
在一些实施例中，所述点云补全模型的训练方法，包括：
损失函数包括两个部分：生成损失和对抗损失；
利用倒角距离CD计算生成点云和地面真实点云之间平均最短点距离，计算公式为：
Figure BDA0003851719350000051
其中，x、y表示生成点云或真实点云中的某个点；||*||表示距离；CD计算了生成点云S1和真实点云S2之间的平均最近平方距离，最终的生成结果是三个不同尺度的生成点云P1、P2、P3，生成损失也由三部分构成，
Figure BDA0003851719350000052
分别对应三个不同尺度生成点云的CD值，其中α表示生成损失中的求和权重；
生成损失Lcom表达式为：
Figure BDA0003851719350000053
其中，P1gt、P2gt、P3gt分别为三个不同尺度的生成点云所对应的真实点云；
对抗损失借鉴对抗性网络GAN，对抗损失Ladv为：
Ladv＝∑1≤i≤Slog10(G(yi))+∑1≤j≤Slog10(1-G(E(D(xi))))
其中，yi和xi分别属于原始残缺点云和真实点云，S表示数据集尺寸；E、D、G分别表示多分辨率编码器、金字塔解码器和注意力鉴别器；
总损失函数L由生成损失和对抗损失共同构成：
L＝βLcom+λLadv
β和λ分别是生成损失Lcom和对抗损失Ladv的权重，满足以下条件：β+λ＝1；倒角距离CD也作为测试补全性能的评估指标。
第二方面，本发明提供了一种基于深度学习的高精度点云补全装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
本发明的优点在于：本发明提供的方法，与现技术相比，具有以下技术效果：(1)本发明在特征提取模块引入卷积层PAConv，可以根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核，所以可以灵活地捕获局部区域的信息。
(2)本发明在特征融合模块添加了空间注意力机制，使解码器更好学习各种特征之间的相互关系，提高点云补全的精度。
(3)本发明在鉴别器模块包含全局和局部鉴别器模块，利用多层全连接进行分类，分别从整体和局部来判断生成结果是否符合真实点云分布，进而优化生成结果。
本发明的优点是弥补了基于深度学习的点云补全方法在局部特征提取上的欠缺，通过引入PAConv卷积层和空间注意力机制，可以提高点云补全的精度，得到更为完整准确的点云补全结果；引入全局和局部注意力鉴别器模块，来保证生成点云与真实点云之间的整体和局部一致性。同时，点云补全也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
附图说明
图1为本发明实施例中整体网络框架示意图。
图2为本发明实施例中空间注意力机制示意图。
图3为本发明实施例中PAConv结构示意图。
图4为本发明实施例中缺失点云补全过程示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式进一步阐述本发明。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
实施例1
一种基于深度学习的高精度点云补全方法，包括：
获取待处理的点云数据；
对所述点云数据进行预处理，得到预处理后的点云数据；
将预处理后的点云数据输入训练好的点云补全模型，其中所述点云补全模型包括多分辨率编码器模块、金字塔解码器模块和注意力鉴别器模块；
所述多分辨率编码器模块，被配置为：对输入的点云数据进行特征提取、融合，得到特征向量；
所述金字塔解码器模块，被配置为：对所述特征向量进行处理得到三个尺度的点云补全结果；
所述注意力鉴别器模块，被配置为：使用生成对抗网络的思想，通过生成模型和判别模型相互博弈学习来产生全局和局部特征一致性的结果；
根据所述点云补全模型的输出，确定高精度点云补全结果。
在一些实施例中，一种基于深度学习的高精度点云补全方法，如图1所示，点云补全方法整体框架包括多分辨率编码器、金字塔解码器和注意力鉴别器三个部分。多分辨率编码器对输入点云的特征进行提取；金字塔解码器将融合后的特征向量进行处理得到三个尺度的点云补全结果；注意力鉴别器计算出对抗损失，通过相互博弈学习来产生好的输出，保证生成点云与真实点云之间的整体和局部一致性。以下详细叙述各模块实现方法及功能：
首先通过最远点采样，不断迭代地选择距离已有采样点集合的最远点，用于获取一组骨架点。这可以更均匀的表示点集的分布，并且不会破坏点云模型的结构。将最远点采样生成三个不同尺度的缺失点云输入多分辨率编码器进行特征提取，使用嵌入动态核卷积PAConv的多层感知机，生成多维特征向量V1，V2，V3。输出的多维特征向量V1，V2，V3输入由空间注意力机制构成的特征融合模块，结构如图2所示，空间注意力机制学习综合局部特征和全局信息的1024维抽象特征，实现空间维度上的特征聚焦，输出加权后每个位置的特征。再以拼接数组将3个1024维度的抽象特征拼接，最后使用MLP将潜在特征映射整合到最终的特征向量V，维度为1024。
其中，PAConv部分首先初始化了一个由K个大小为Cin×Cout的权重矩阵组成的权重库W＝{Wk|k＝1，2，...，K}，其中Cin表示网络在当前层的输入维度，Cout表示网络在当前层的输出维度。较大的K可以使得保证卷积内核的多样性，但也会增加模型的负担。因此，在我们的网络模型中，我们将K取值为16。接下来计算输入点云中每一个点pi与其邻域点pj的相对位置关系，学习不同位置的权重系数
Figure BDA0003851719350000091
这个过程可以表示为
Eij＝Softmax(θ(pi，pj))#(1)
其中θ是核大小为1×1的卷积实现的非线性函数。使用Softmax对其进行规范化操作可以确保输出分数在范围(0，1)之间。较高的分数意味着对应的位置具有更重要的局部信息。PAConv的内核是通过组合权重矩阵Wk和从点位置学习到的权重系数
Figure BDA0003851719350000101
构成的，
Figure BDA0003851719350000102
至此，PAConv完成了自适应地构建卷积内核的工作。它可以灵活地捕获输入特征局部区域的信息，输出具有局部关联性的特征。
金字塔解码器模由全连接层和重组层构成，采用特征金字塔网络思想，由粗到细逐步补全缺失点云，输入是多分辨率编码器的输出特征向量V，通过全连接层得到三个不同分辨率的子特征向量U1，U2，U3，维度为1024，512，256，每个子特征向量负责补全不同分辨率的点云。首先利用U3预测初级点云P3，然后用U2预测次级点云P2距离P3中心点的相对坐标，然后使用重组和全连接操作，根据P3生成次级点云P2。同理，利用U1和P2可以预测最终点云P1距离P2中心点的相对坐标，以此可以补充最终点云P1。
注意力鉴别器模块使用生成对抗网络的思想，由框架中的生成模型和判别模型相互博弈学习来产生好的输出。模块由全局注意力鉴别器和全局注意力鉴别器两部分组成，全局鉴别器查看整个点云补全结果来评估其整体一致性，局部鉴别器模块仅查看以已完成区域为中心的小区域，以确保生成点云的局部一致性。具体做法为：将整体或局部生成点云和真实点云送入鉴别器，通过其中的自编码器获得维度为512的特征向量，再通过连续的全连接层降低维度[512-256-128-16-1]，输出最终fake或real的二值结果。
本发明算法的损失函数包括两个部分：生成损失和对抗损失。
利用倒角距离CD计算生成点云和地面真实点云之间平均最短点距离，计算公式为：
Figure BDA0003851719350000111
式(3)中，CD计算了生成点云S1和真实点云S2之间的平均最近平方距离，由于我们最终的生成结果是三个不同尺度的生成点云P1、P2、P3，所以总损失也由三部分构成，
Figure BDA0003851719350000112
分别对应三个不同尺度生成点云的CD值，其中α表示生成损失中的求和权重。总损失表达式为：
Figure BDA0003851719350000113
式(4)中，P1gt、P2gt、P3gt分别为三个不同尺度的生成点云所对应的真实点云。本文中的对抗损失借鉴对抗性网络GAN，计算公式如下：
Ladv＝∑1≤i≤Slog10(G(yi))+∑1≤j≤Slog10(1-G(E(D(xi))))#(5)
式(5)中，yi和xi分别属于原始残缺点云和真实点云。E、D、G分别表示多分辨率编码器、金字塔解码器和注意力鉴别器。总损失是由生成损失和对抗损失共同构成，计算公式如式(6)所示：
L＝βLcom+λLadv#(6)
β和λ分别是生成损失Lcom和对抗损失Ladv的权重，满足以下条件：β+λ＝1；倒角距离CD也作为测试补全性能的评估指标。
本发明所提出的系统，其优点在于：
(1)为弥补了基于深度学习的点云补全方法在局部特征提取上的欠缺提出了可行方案。
(2)可以得到补全精度较高的点云模型，这为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
本发明公开的一种基于深度学习的点云补全方法，可以对点云全局和局部特征进行提取并综合关键点的局部关联性和全局信息，弥补了基于深度学习的点云补全方法在局部特征提取方面的不足，提升了点云补全的准确度，同时也为点云分割、分类、物体识别以及点云重建等诸多下游任务的顺利进行提供了保障。
实施例2
第二方面，本实施例提供了一种基于深度学习的高精度点云补全装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
实施例3
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种基于深度学习的高精度点云补全方法，其特征在于，包括：
获取待处理的点云数据；
对所述点云数据进行预处理，得到预处理后的点云数据；
将预处理后的点云数据输入训练好的点云补全模型，其中所述点云补全模型包括多分辨率编码器模块、金字塔解码器模块和注意力鉴别器模块；
所述多分辨率编码器模块，被配置为：对输入的点云数据进行特征提取、融合，得到特征向量；
所述金字塔解码器模块，被配置为：对所述特征向量进行处理得到三个尺度的点云补全结果；
所述注意力鉴别器模块，被配置为：使用生成对抗网络的思想，通过生成模型和判别模型相互博弈学习来产生全局和局部特征一致性的结果；
根据所述点云补全模型的输出，确定高精度点云补全结果。
2.根据权利要求1所述的基于深度学习的高精度点云补全方法，其特征在于，所述多分辨率编码器模块包括特征提取模块和特征融合模块，
特征提取模块中在共享权重的多层感知机MLP嵌入动态卷积层PAConv，根据每个点与其邻域点的位置关系学习权重系数，并组合权重矩阵自适应地构建卷积内核，提高局部细节特征提取能力；
在特征融合模块添加空间注意力机制，实现空间维度上的特征聚焦；
将最远点采样生成三个不同尺度的缺失点云输入多分辨率编码器模块；
使用嵌入动态核卷积PAConv的多层感知机的特征提取模块对三个不同尺度的缺失点云进行特征提取，生成多维特征向量V1，V2，V3；输出的多维特征向量V1，V2，V3输入由空间注意力机制构成的特征融合模块，空间注意力机制学习综合局部特征和全局信息的1024维抽象特征，输出加权后每个位置的特征；再以拼接数组将3个1024维度的抽象特征拼接，最后使用MLP将潜在特征映射整合到最终的特征向量V，维度为1024。
3.根据权利要求2所述的基于深度学习的高精度点云补全方法，其特征在于，所述动态核卷积PAConv的构建方法包括：
初始化一个由K个大小为Cin×Cout的权重矩阵组成的权重库W＝{Wk|k＝1，2，...，K}，其中Cin表示网络在当前层的输入维度，Cout表示网络在当前层的输出维度；
计算输入点云中每一个点pi与邻域点pj的相对位置关系，学习不同位置的权重系数
Figure FDA0003851719340000021
表示为：
Eij＝Softmax(θ(pi，pj))
其中θ是核大小为1×1的卷积实现的非线性函数；使用Softmax函数进行规范化操作确保输出分数在范围(0，1)之间；较高的分数意味着对应的位置具有更重要的局部信息；
PAConv的内核是通过组合权重矩阵Wk和从点位置学习到的权重系数
Figure FDA0003851719340000022
构成的，
Figure FDA0003851719340000031
至此，动态核卷积PAConv完成自适应地构建卷积内核的工作，用于捕获输入特征局部区域的信息，输出具有局部关联性的特征。
4.根据权利要求3所述的基于深度学习的高精度点云补全方法，其特征在于，K取值为16。
5.根据权利要求1所述的基于深度学习的高精度点云补全方法，其特征在于，对所述特征向量进行处理得到三个尺度的点云补全结果，包括：特征向量V经过全连接层得到三个不同分辨率的子特征向量U1，U2，U3，每个子特征向量负责补全不同分辨率的点云；利用U3预测初级点云P3，用U2预测次级点云P2距离P3中心点的相对坐标，使用重组和全连接操作根据P3生成次级点云P2；利用U1和P2预测最终点云P1距离P2中心点的相对坐标，以此补充最终点云P1。
6.根据权利要求1所述的基于深度学习的高精度点云补全方法，其特征在于，所述注意力鉴别器模块包括全局注意力鉴别器和全局注意力鉴别器；全局鉴别器用于查看整个点云补全结果来评估其整体一致性，局部鉴别器模块查看以已完成区域为中心的小区域，以确保生成点云的局部一致性。
7.根据权利要求6所述的基于深度学习的高精度点云补全方法，其特征在于，所述注意力鉴别器模块的处理过程包括：将整体或局部生成点云和真实点云送入注意力鉴别器，通过其中的自编码器获得维度为512的特征向量，再通过连续的全连接层降低维度[512-256-128-16-1]，输出最终fake或real的二值结果。
8.根据权利要求1所述的基于深度学习的高精度点云补全方法，其特征在于，所述点云补全模型的训练方法，包括：
损失函数包括两个部分：生成损失和对抗损失；
利用倒角距离CD计算生成点云和地面真实点云之间平均最短点距离，计算公式为：
Figure FDA0003851719340000041
其中，x、y表示生成点云或真实点云中的某个点；||*||表示距离；CD计算了生成点云S1和真实点云S2之间的平均最近平方距离，最终的生成结果是三个不同尺度的生成点云P1、P2、P3，生成损失也由三部分构成，
Figure FDA0003851719340000042
dCD3分别对应三个不同尺度生成点云的CD值，其中α表示生成损失中的求和权重；
生成损失Lcom表达式为：
Figure FDA0003851719340000043
其中，P1gt、P2gt、P3gt分别为三个不同尺度的生成点云所对应的真实点云；
对抗损失借鉴对抗性网络GAN，对抗损失Ladv为：
Ladv＝∑1≤i≤Slog10(G(yi))+∑1≤j≤Slog10(1-G(E(D(xi))))
其中，yi和xi分别属于原始残缺点云和真实点云，S表示数据集尺寸；E、D、G分别表示多分辨率编码器、金字塔解码器和注意力鉴别器；
总损失函数L由生成损失和对抗损失共同构成：
L＝βLcom+λLadv
β和λ分别是生成损失Lcom和对抗损失Ladv的权重，满足以下条件：β+λ＝1；倒角距离CD也作为测试补全性能的评估指标。
9.一种基于深度学习的高精度点云补全装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
CN202211135259.8A 2022-09-19 2022-09-19 一种基于深度学习的高精度点云补全方法及装置 Pending CN115439694A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202211135259.8A CN115439694A (zh) 2022-09-19 2022-09-19 一种基于深度学习的高精度点云补全方法及装置
PCT/CN2022/133946 WO2024060395A1 (zh) 2022-09-19 2022-11-24 一种基于深度学习的高精度点云补全方法及装置
US18/094,867 US20230206603A1 (en) 2022-09-19 2023-01-09 High-precision point cloud completion method based on deep learning and device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211135259.8A CN115439694A (zh) 2022-09-19 2022-09-19 一种基于深度学习的高精度点云补全方法及装置

Publications (1)

Publication Number Publication Date
CN115439694A true CN115439694A (zh) 2022-12-06

Family

ID=84249775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211135259.8A Pending CN115439694A (zh) 2022-09-19 2022-09-19 一种基于深度学习的高精度点云补全方法及装置

Country Status (2)

Country Link
CN (1) CN115439694A (zh)
WO (1) WO2024060395A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620001A (zh) * 2022-12-15 2023-01-17 长春理工大学 基于3d点云双边扩增算法的视觉辅助系统
CN115880183A (zh) * 2022-12-28 2023-03-31 广州极点三维信息科技有限公司 基于深度网络的点云模型修复方法、系统、装置及介质
CN116777848A (zh) * 2023-06-06 2023-09-19 北京师范大学 一种玉石器相似度分析方法及系统
CN117132501A (zh) * 2023-09-14 2023-11-28 武汉纺织大学 一种基于深度相机的人体点云空洞修复方法及系统
CN118172398A (zh) * 2024-05-14 2024-06-11 山东省计算中心（国家超级计算济南中心） 基于双层聚焦-注意力特征交互的点云配准方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135332A (zh) * 2024-04-22 2024-06-04 泉州景瀚科技有限公司 基于互联网的学习资源共享管理方法、装置和电子设备
CN118410416B (zh) * 2024-07-01 2024-09-03 国网山东省电力公司济宁供电公司 基于多模态双通道注意力的营销电费回收预警方法及系统
CN118470515B (zh) * 2024-07-10 2024-09-03 中国海洋大学 一种针对水下目标物的自监督三维点云补全方法
CN118521839B (zh) * 2024-07-24 2024-10-08 国网山东省电力公司微山县供电公司 基于色彩分布和神经网络的光伏板缺陷分类方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966696B (zh) * 2021-02-05 2023-10-27 中国科学院深圳先进技术研究院 一种处理三维点云的方法、装置、设备以及存储介质
CN113205104A (zh) * 2021-04-23 2021-08-03 广西大学 一种基于深度学习的点云补全方法
CN113706686B (zh) * 2021-07-09 2023-07-21 苏州浪潮智能科技有限公司 一种三维点云重建结果补全方法及相关组件
CN114638751A (zh) * 2022-02-24 2022-06-17 南京邮电大学 基于生成对抗网络的端到端点云补全方法
CN114842180B (zh) * 2022-07-06 2022-12-02 山东海量信息技术研究院 一种点云补全方法、装置、设备及介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620001A (zh) * 2022-12-15 2023-01-17 长春理工大学 基于3d点云双边扩增算法的视觉辅助系统
CN115620001B (zh) * 2022-12-15 2023-04-07 长春理工大学 基于3d点云双边扩增算法的视觉辅助系统
CN115880183A (zh) * 2022-12-28 2023-03-31 广州极点三维信息科技有限公司 基于深度网络的点云模型修复方法、系统、装置及介质
CN115880183B (zh) * 2022-12-28 2024-03-15 广州极点三维信息科技有限公司 基于深度网络的点云模型修复方法、系统、装置及介质
CN116777848A (zh) * 2023-06-06 2023-09-19 北京师范大学 一种玉石器相似度分析方法及系统
CN116777848B (zh) * 2023-06-06 2024-05-31 北京师范大学 一种玉石器相似度分析方法及系统
CN117132501A (zh) * 2023-09-14 2023-11-28 武汉纺织大学 一种基于深度相机的人体点云空洞修复方法及系统
CN117132501B (zh) * 2023-09-14 2024-02-23 武汉纺织大学 一种基于深度相机的人体点云空洞修复方法及系统
CN118172398A (zh) * 2024-05-14 2024-06-11 山东省计算中心（国家超级计算济南中心） 基于双层聚焦-注意力特征交互的点云配准方法及系统
CN118172398B (zh) * 2024-05-14 2024-07-26 山东省计算中心（国家超级计算济南中心） 基于双层聚焦-注意力特征交互的点云配准方法及系统

Also Published As

Publication number Publication date
WO2024060395A1 (zh) 2024-03-28

Similar Documents

Publication Publication Date Title
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
Qiu et al. Geometric back-projection network for point cloud classification
US20230206603A1 (en) High-precision point cloud completion method based on deep learning and device thereof
CN112927357B (zh) 一种基于动态图网络的3d物体重建方法
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN112801169B (zh) 一种基于改进yolo算法的伪装目标检测方法、系统、装置及存储介质
CN110569901A (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN111127538B (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN114972213A (zh) 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
Hong et al. USOD10K: a new benchmark dataset for underwater salient object detection
CN114757904A (zh) 一种基于ai深度学习算法的表面缺陷检测方法
CN110458178A (zh) 多模态多拼接的rgb-d显著性目标检测方法
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN116503399A (zh) 基于yolo-afps的绝缘子污闪检测方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN117523394A (zh) 一种基于聚合特征增强网络的sar船舰检测方法
CN115526863A (zh) 一种圆柱型锂电池表面缺陷检测方法及装置
CN118071805A (zh) 一种基于深度学习的工业场景点云多模态配准方法及系统
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination