CN116188882A - 融合自注意力和多路路径图卷积的点云上采样方法及系统 - Google Patents

融合自注意力和多路路径图卷积的点云上采样方法及系统 Download PDF

Info

Publication number
CN116188882A
CN116188882A CN202310201096.7A CN202310201096A CN116188882A CN 116188882 A CN116188882 A CN 116188882A CN 202310201096 A CN202310201096 A CN 202310201096A CN 116188882 A CN116188882 A CN 116188882A
Authority
CN
China
Prior art keywords
point cloud
layer
module
convolution
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310201096.7A
Other languages
English (en)
Inventor
柏正尧
肖霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202310201096.7A priority Critical patent/CN116188882A/zh
Publication of CN116188882A publication Critical patent/CN116188882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种融合自注意力和多路路径图卷积的点云上采样方法及系统，涉及点云数据处理领域，该方法包括获取目标物体的原始点云；将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云；所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的，本发明提高了点云上采样的质量。

Description

融合自注意力和多路路径图卷积的点云上采样方法及系统
技术领域
本发明涉及点云数据处理技术领域，特别是涉及一种融合自注意力和多路路径图卷积的点云上采样方法及系统。
背景技术
点云(Point Cloud)用来作为三维数据变得越来越流行。其促进了三维目标检测、3D点云补全等理论的研究兴起。对于新的应用如自动驾驶技术、机器人操控起到关键性的作用。通过三维激光雷达传感器获取的点云数据能为汽车自动驾驶的路径规划和导航定位提供可靠的支撑。然而由于硬件条件尤其是三维传感器芯片的限制，直接采集到的点云通常都是低分辨率的甚至是有噪声的。难以满足使用要求。点云上采样技术皆在将稀疏的、不均匀的点云转化为视觉质量更好、细节更精细的点云。因此点云上采样作为一种修正操作备受研究人员的关注。传统的点云上采样方法例如双边正则化项的序列深度图像上采样方法用多个点云数据之间的冗余，仅根据退化模型实现上采样，缺点在于只适用于静态的场景且多帧点云数据依赖精确的配准。基于单帧深度图像的点云上采样方法只需原始点云数据，系统效率高。其缺点是极度依赖先验信息，而非数据驱动，通常难以处理特征较多且携带噪声的点云数据。
近些年来深度学习技术的迅速发展，研究人员越来越积极地将深度学习技术运用在点云上采样上。并且相较于传统的点云上采样方法取得了更好的结果。而基于深度学习的点云上采样网络较大程度取决于特征提取器和上采样器。目前基于深度学习的点云上采样方法缺失对局部区域特征和全局特征的多尺度提取，导致输出点云存在异常值过多，细粒度不高。
发明内容
本发明的目的是提供一种融合自注意力和多路路径图卷积的点云上采样方法及系统，提高了点云上采样的质量。
为实现上述目的，本发明提供了如下方案：
一种融合自注意力和多路路径图卷积的点云上采样方法，包括：
获取目标物体的原始点云；
将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云；
所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。
可选地，所述特征提取器包括依次连接的第一k近邻算法模块、图卷积模块、第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块；所述第一融合特征提取模块、所述第二融合特征提取模块和所述第三融合特征提取模块结构相同，所述第一融合特征提取模块的输出、所述第二融合特征提取模块的输出与所述所述第三融合特征提取模块的输出合并作为所述特征提取器的输出；
所述第一融合特征提取模块包括瓶颈层、第二k近邻算法模块、第三k近邻算法模块、第一残差多层图卷积、第二残差多层图卷积、第三残差多层图卷积、自注意力模块、全局最大池化和拼接模块；所述瓶颈层的输出分别与所述第二k近邻算法模块、所述第三k近邻算法模块和第三残差多层图卷积的输入连接，所述第二k近邻算法模块的输出与所述第一残差多层图卷积的输入连接，所述第三k近邻算法模块的输出与所述第二残差多层图卷积的输入连接，所述第三残差多层图卷积的输出与所述自注意力模块的输入连接，所述瓶颈层的输入与所述全局最大池化的输入连接，所述第一残差多层图卷积、所述第二残差多层图卷积、所述自注意力模块和所述全局最大池化的输出均与所述拼接模块连接，所述拼接模块的输出与所述瓶颈层的输入合并得到所述第一融合特征提取模块的输出；所述第二k近邻算法模块和所述第三k近邻算法模块中k近邻算法的扩张率不同。
可选地，所述第一残差多层图卷积、所述第二残差多层图卷积和所述第三残差多层图卷积的结构相同；
所述第一残差多层图卷积中包括第四k近邻算法模块和顺次连接的多个图卷积运算层，所述第四k近邻算法模块的输出连接第一个图卷积运算层的输入；每个图卷积运算层均包括第一多层感知机和第二多层感知机；第一多层感知机和第二多层感知机均为32输出通道数的多层感知机；
当所述图卷积运算层为第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到当前图卷积运算层的输出；
当所述图卷积运算层不是第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到第一输出结果，将当前图卷积运算层的上一个图卷积运算层的输出结果的残差映射与第一输出结果相加，得到当前图卷积运算层输出。
可选地，所述自注意力模块包括第三多层感知机、第四多层感知机、第五多层感知机和第六多层感知机；所述第三多层感知机、所述第四多层感知机、所述第五多层感知机和所述第六多层感知机均为32输出通道数的多层感知机；
所述自注意力模块用于对输入特征经过第三多层感知机得到Q矩阵，对输入特征经过第四多层感知机得到K矩阵，对输入特征经过第五多层感知机得到V矩阵，将Q矩阵与K矩阵的转置进行矩阵相乘得到注意力权重，将注意力权重通过softmax函数归一化处理后得到的矩阵与V矩阵相乘后通过第六多层感知机得到所述自注意力模块的输出。
可选地，所述第二k近邻算法模块中k近邻算法的扩张率为2，所述第三k近邻算法模块中k近邻算法的扩张率为3。
可选地，所述上采样器用于通过瓶颈层对输入特征进行压缩，对压缩后的特征采用边缘图卷积进行拓展聚合，采用洗牌算子对拓展聚合后的特征重新排列，得到高级点云特征。
可选地，所述坐标重建器包括依次连接的第七多层感知机和第八多层感知机。
本发明还公开了一种融合自注意力和多路路径图卷积的点云上采样系统，包括：
原始点云获取模块，用于获取目标物体的原始点云；
原始点云上采样模块，用于将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云；
所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过多个残差多层图卷积对原始点云进行特征提取，融合更多层次的语义信息，采用自注意力模块，从而提取全局语义信息，对特征信息进行了充分利用，提高了点云上采样的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种融合自注意力和多路路径图卷积的点云上采样方法流程示意图；
图2为本发明实施例提供的点云上采样模型结构示意图；
图3为本发明实施例提供的第一融合特征提取模块结构示意图；
图4为本发明实施例提供的第一残差多层图卷积结构示意图；
图5为本发明实施例提供的自注意力模块结构示意图；
图6为本发明实施例提供的在一种融合自注意力和多路路径图卷积的点云上采样方法在PU-GAN数据集上的上采样可视化结果示意图；
图7为本发明实施例提供的本发明方法与传统方法在PU1K数据集上的上采样可视化对比结果示意图；
图8为本发明实施例提供的一种融合自注意力和多路路径图卷积的点云上采样系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种融合自注意力和多路路径图卷积的点云上采样方法及系统，提高了点云上采样的质量。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
本发明将输入原始稀疏的点云通过融合自注意力模块和多路经图卷积的特征提取器，提取输入图像的初级点云特征，通过采用图卷积方法的上采样器后将初级点云特征拓展聚合重新排列得到高级点云特征。最后高级点云特征通过坐标重建器回归三维空间，得到稠密点云。
本实施例提供了一种融合自注意力和多路路径图卷积的点云上采样方法，如图1所示，该方法包括以下步骤。
步骤101：获取目标物体的原始点云。
步骤102：将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云。
所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。数据集采用公开的合成数据集，数据集采用低分辨率点云的集合。
本实施例所用数据集为点云上采样任务专门创建的大规模3D数据集PU-GAN和PU1K。PU-GAN数据集包含120个训练样本和27个测试模型，点云模型多数为简单形状。PU1K数据集里面包含1147个3D模型，其中有训练样本模型1020个，测试样本模型127个。其中训练和测试的模型包括来自PU-GAN数据集的147个3D模型和来自ShapeNetCore的1000多个3D模型。PU1K数据集覆盖了更大的语义范围，点云模型包含了简单形状、复杂形状甚至组合体，在相关领域展示了其作为实验数据集的优越性。
在点云上采样网络的训练阶段，将每个3D模型裁剪为50个补丁，1020个训练样本共有51000个补丁。每个补丁有256个点作为低分辨率输入，1024个点作为真实点云，在训练阶段，以有256个点的低分辨率点云作为输入，1024个点的真实点云作为输出训练点云上采样网络。在测试阶段，输入点云由2048个点组成，真实点云由8192个点组成，上采样率r设置为固定值4，批量大小(batch size)设置为64，epoch设置为100。使用倒角距离(CD)，豪斯多夫距离(HD)，点面距离(P2F)三个度量指标评价本发明点云上采样网络的上采样性能。指标越低，性能越好。
特征提取器包括三个融合特征提取模块(FEM)，每个FEM并联三条加入残差设计的多层图卷积，融合更多层次的语义信息。
所述特征提取器包括依次连接的第一k近邻算法模块、图卷积模块、第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块；所述第一融合特征提取模块、所述第二融合特征提取模块和所述第三融合特征提取模块结构相同，所述第一融合特征提取模块的输出、所述第二融合特征提取模块的输出与所述所述第三融合特征提取模块的输出合并作为所述特征提取器的输出。
所述第一k近邻算法模块用于获取所述原始点云的近邻图，所述图卷积模块用于对所述近邻图中每个顶点与近邻点进行特征聚合，获得每个顶点的多维几何特征；所述第一融合特征提取模块包括瓶颈层、第二k近邻算法模块、第三k近邻算法模块、第一残差多层图卷积、第二残差多层图卷积、第三残差多层图卷积、自注意力模块、全局最大池化和拼接模块；所述瓶颈层的输出分别与所述第二k近邻算法模块、所述第三k近邻算法模块和第三残差多层图卷积的输入连接，所述第二k近邻算法模块的输出与所述第一残差多层图卷积的输入连接，所述第三k近邻算法模块的输出与所述第二残差多层图卷积的输入连接，所述第三残差多层图卷积的输出与所述自注意力模块的输入连接，所述瓶颈层的输入与所述全局最大池化的输入连接，所述第一残差多层图卷积、所述第二残差多层图卷积、所述自注意力模块和所述全局最大池化的输出均与所述拼接模块连接，所述拼接模块的输出与所述瓶颈层的输入合并得到所述第一融合特征提取模块的输出；所述第二k近邻算法模块和所述第三k近邻算法模块中k近邻算法的扩张率不同。
所述第二k近邻算法模块中k近邻算法的扩张率为2，所述第三k近邻算法模块中k近邻算法的扩张率为3。本发明并联使用多个带有残差设计的多层图卷积(第一残差多层图卷积、第二残差多层图卷积和第三残差多层图卷积)，将多条不同扩张率的图卷积并联，扩大了多路径图卷积的感受野。在图卷积中加入残差连接，加深图卷积的训练层数，更好地对高级特征信息进行提取。
所述第一残差多层图卷积、所述第二残差多层图卷积和所述第三残差多层图卷积的结构相同。
如图4所示，所述第一残差多层图卷积中包括第四k近邻算法模块和顺次连接的多个图卷积运算层，所述第四k近邻算法模块的输出连接第一个图卷积运算层的输入；每个图卷积运算层均包括第一多层感知机和第二多层感知机；第一多层感知机和第二多层感知机均为32输出通道数的多层感知机。
图3和图4中KNN均表示k近邻算法。
当所述图卷积运算层为第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到当前图卷积运算层的输出。
当所述图卷积运算层不是第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到第一输出结果，将当前图卷积运算层的上一个图卷积运算层的输出结果的残差映射与第一输出结果相加，得到当前图卷积运算层输出。
所述自注意力模块包括第三多层感知机、第四多层感知机、第五多层感知机和第六多层感知机；所述第三多层感知机、所述第四多层感知机、所述第五多层感知机和所述第六多层感知机均为32输出通道数的多层感知机。
所述自注意力模块用于对输入特征分别经过三个32输出通道数的多层感知机后得到Q矩阵、K矩阵和V矩阵，将Q矩阵与K矩阵的转置进行矩阵相乘得到注意力权重，将注意力权重通过softmax函数归一化处理后得到的矩阵与V矩阵相乘后通过多层感知机得到所述自注意力模块的输出。
如图2所示，原始点云作为输入点集
Figure BDA0004109066590000081
N表示点的数量，通过k近邻算法搜索每个点的空间近邻输入点云的三维坐标嵌入到潜在的特征空间中，用作后续特征学习。对每一个顶点，将其与近邻点的有向边进行特征映射，与欧式距离最近的10个点聚合，随后通过一个非线性激活函数，得到特征
Figure BDA0004109066590000082
Fi为对应中心点i的特征，维度为C。
第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块的结构均如图3所示。N×C维几何特征Fi首先通过单层1×1卷积瓶颈层减少计算量。将压缩后的特征输入3个并联的残差多层图卷积(RESGCN)块中，三个残差多层图卷积具有相同大小的卷积核，其中在两个RESGCN块之前使用扩张k近邻算法寻找邻居，d为扩张k近邻算法的不同扩张率。设N(d)为顶点V的扩张邻域，若n1为序列第一个近邻点，则
Figure BDA0004109066590000091
Figure BDA0004109066590000092
作为扩张k近邻算法的邻居点。经过不同扩张率图卷积后得到特征Fl并分别输入三条并行的带有残差设计的多层图卷积模块。
本发明全局最大池化模块，针对不同接受域与多路径图卷积一起提取全局上下文信息。如图3所示Fc为融合特征提取模块最终输出的聚合特征，形状为N×C。Fp为全局最大池化输出特征。Fc聚合了三条路径图卷积输出特征和全局池化层。
所述第一残差多层图卷积、所述第二残差多层图卷积和所述第三残差多层图卷积的结构相同，如图4所示。Fl为几何特征Fi通过1×1卷积层瓶颈层压缩后RESGCN的输入特征。
Figure BDA0004109066590000093
为邻居点j对应的特征，
Figure BDA0004109066590000094
为中心点i的特征。
所述第一残差多层图卷积中包括串联的多个图卷积运算层，每个的图卷积运算层中将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，表示为：
Gl′＝σ{MLP(Δfij)+MLP(fl)}；
其中，σ表示ReLU激活函数，MLP表示多层感知机，Δfij表示邻居点特征和中心点特征相关性，Δfij＝(fj-fi)，fj为邻居点对应的特征，fi为中心点对应的特征，fl表示当前图卷积运算层的输入特征，Gl′表示第l′个的图卷积运算层中卷积运算输出。
当所述图卷积运算层不是第一个图卷积运算层时，将当前图卷积运算层的上一个图卷积运算层的输出结果的残差映射与第一输出结果相加，得到当前图卷积运算层输出，表示为：
Figure BDA0004109066590000101
Gl′为残差多层图卷积中第l′个图卷积运算层的输出特征，
Figure BDA0004109066590000102
为残差映射，Wl′-1为固定参数，Gl′-1为上一个图卷积运算层的输出特征，最后一个图卷积运算层的输出即为Gl，每个残差多层图卷积中图卷积运算层的数量为3。图3中第三条RESGCN路径输出的特征Gl经过三个32输出通道数MLP后得到Q矩阵、K矩阵、V矩阵。嵌入的自注意力模块如图5所示，Fl为经过自注意力模块后输出的点云特征。Q矩阵与K矩阵的转置进行矩阵乘法，得到的矩阵作为注意力权重，后进行softmax进行归一化处理，得到的矩阵与V矩阵相乘，最后通过MLP运算得到Fl，Fl和Gl特征维度相同。
本发明将特征提取器的输出聚合特征Fc输经过一层1×1瓶颈层进行压缩，随后使用边缘图卷积拓展聚合特征Fc为N×rC，使用一个周期洗牌算子对拓展后的聚合特征重新排列，得到维度为rN×C'的高维点云特征Fd，C'表示使用周期洗牌算子对聚合特征N×rC重新排列后的特征维度。坐标重建器要从获取到的高维点云特征Fd中回归三维坐标。形状为rN×3的三维坐标通过两组MLP回归，得到的rN×3为所需上采样r倍的高分辨率点云。
本发明将自注意力机制模块融合到多路径图卷积中高效提取全局语义信息，输出充分利用图结构信息的点云特征，以利于生成高质量点云，解决了缺少区域之间关联性的问题。
所述上采样器用于通过瓶颈层对输入特征进行压缩，对压缩后的特征采用边缘图卷积进行拓展聚合，采用洗牌算子对拓展聚合后的特征重新排列，得到高级点云特征。
所述坐标重建器包括依次连接的两个多层感知机。
以往的点云上采样方法极度依赖先验信息，非数据驱动通常难以处理特征较多且携带噪声的点云数据。基于深度学习的点云上采样网络以数据作为驱动，低分辨率的点云数据作为输入，通过特征提取映射到高维特征空间，使用k近邻算法构建每个顶点及其领域点的图结构，使用融合特征提取模块对顶点图结构进行多尺度扩展融合。将获得的多尺度点云特征输入采用图卷积的上采样器聚合排列后输出高级点云特征。最后通过坐标重建器输出所需的高分辨率稠密点云。
本发明点云上采样模型首先给定一个N×3的原始点云输入该网络，送到加入带有残差结构连接的融合特征提取模块(第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块)提取所对应的N×C维点云特征。其次将提取到的特征输入上采样器得到rN×C维度的高级点云特征。最后高级特征通过坐标重建器输出维度为N×rC的稠密点云。本发明方法在合成数据集PU-GAN和PU1K上进行实验，结果生成了相较主流方法细粒度更高，形状更接近真实值的稠密点云。
本实施例在TensorFlow平台上进行实验，在InterCorei9-10900X CPU和NVIDIARTX3090 GPU上训练数据集PU-MGS，使用ADAM优化器，学习率为0.001，衰减率为0.9。使用上采样率×4，即r＝4报告实验结果，方便与其他主流点云上采样网络性能进行比较。
图6显示了本发明在PU-GAN数据集上的上采样性能的定性表现。随机选取四个点云模型，与它们的低分辨率输入点云进行比较。由于此数据集收录的模型多为形状简单，边缘光滑的物体。使用本发明方法生成的高分辨率点云具有较低的群点分布，边缘平滑接近真实点云形状。表1报告了本发明在PU-GAN数据集上随机选取的11个模型的量化评估指标，平均数据在主流方法中处于上流水平。
表2报告了本发明在PU1K合成数据集上与测试基准相比的性能。在三个评价指标上都有显著的改进。本发明在现阶段最有综合竞争力的PU-GCN上CD和HD分别提升7.863％和11.759％。由于本发明没有使用空间细化器调整输出点云的位置，使其接近网格面。P2F对比效果最好的PU-GACNet仅有3.2％的提升。由于加入了排斥损失，对比PU-GCN提升了13.285％。图7显示了本发明和主流方法在PU1K上生成的定性点云上采样对比结果。图7随机选择了4个不同类型的物体，分别对应不同的形状层次展示数据集的多样性。选取的物体包括第一排表面光滑的物体(焊枪)，第二排普通形状的物体(鸟)，第三排复杂细节的物体(摩托)，第四排组合体(人物雕像)。从图7中上采样输出点云及其放大图可观察到本发明生成的点云可视化保留了较高质量细粒度的细节，还原程度更接近真实点云形状。详细可见图7第二、三排特写(鸟的脚，摩托车的龙头)。能够保持分离结构的质量，而非倾向于合并原来分离的结构。如第一排物体特写(焊枪的手柄)。对于第三排多个物体组合而成的结构(人物雕像)，图7中(a)列为原始点云，(b)列为采用点云上采样网络PU-net进行上采样后的结果，(c)列为用于点云上采样的图注意力卷积网络(Graph Attention ConvolutionNetwork for Point Cloud Upsampling，PU-GACnet)进行上采样后的结果，(d)列为采用点云上采样网络PU-GCN进行上采样后的结果，(e)列为本发明点云上采样网络进行上采样后的结果，(f)列真实点云。本发明输出上采样点云的离群值相较基准方法明显减少，异常值的生成相较PU-GCN等先进网络有了显著减少。
实施例2
本实施例提供了一种融合自注意力和多路路径图卷积的点云上采样系统，如图8所示，该系统包括：
原始点云获取模块201，用于获取目标物体的原始点云。
原始点云上采样模块202，用于将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云。
所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种融合自注意力和多路路径图卷积的点云上采样方法，其特征在于，包括：
获取目标物体的原始点云；
将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云；
所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。
2.根据权利要求1所述的融合自注意力和多路路径图卷积的点云上采样方法，其特征在于，所述特征提取器包括依次连接的第一k近邻算法模块、图卷积模块、第一融合特征提取模块、第二融合特征提取模块和第三融合特征提取模块；所述第一融合特征提取模块、所述第二融合特征提取模块和所述第三融合特征提取模块结构相同，所述第一融合特征提取模块的输出、所述第二融合特征提取模块的输出与所述所述第三融合特征提取模块的输出合并作为所述特征提取器的输出；
所述第一融合特征提取模块包括瓶颈层、第二k近邻算法模块、第三k近邻算法模块、第一残差多层图卷积、第二残差多层图卷积、第三残差多层图卷积、自注意力模块、全局最大池化和拼接模块；所述瓶颈层的输出分别与所述第二k近邻算法模块、所述第三k近邻算法模块和第三残差多层图卷积的输入连接，所述第二k近邻算法模块的输出与所述第一残差多层图卷积的输入连接，所述第三k近邻算法模块的输出与所述第二残差多层图卷积的输入连接，所述第三残差多层图卷积的输出与所述自注意力模块的输入连接，所述瓶颈层的输入与所述全局最大池化的输入连接，所述第一残差多层图卷积、所述第二残差多层图卷积、所述自注意力模块和所述全局最大池化的输出均与所述拼接模块连接，所述拼接模块的输出与所述瓶颈层的输入合并得到所述第一融合特征提取模块的输出；所述第二k近邻算法模块和所述第三k近邻算法模块中k近邻算法的扩张率不同。
3.根据权利要求2所述的融合自注意力和多路路径图卷积的点云上采样方法，其特征在于，所述第一残差多层图卷积、所述第二残差多层图卷积和所述第三残差多层图卷积的结构相同；
所述第一残差多层图卷积中包括第四k近邻算法模块和顺次连接的多个图卷积运算层，所述第四k近邻算法模块的输出连接第一个图卷积运算层的输入；每个图卷积运算层均包括第一多层感知机和第二多层感知机；第一多层感知机和第二多层感知机均为32输出通道数的多层感知机；
当所述图卷积运算层为第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到当前图卷积运算层的输出；
当所述图卷积运算层不是第一个图卷积运算层时，当前图卷积运算层用于：将输入特征中的中心点特征输入第一多层感知机，将输入特征中的邻居点特征和中心点特征相关性输入第二多层感知机，所述第一多层感知机和所述第二多层感知机的输出相加后通过ReLU激活函数，得到第一输出结果，将当前图卷积运算层的上一个图卷积运算层的输出结果的残差映射与第一输出结果相加，得到当前图卷积运算层输出。
4.根据权利要求2所述的融合自注意力和多路路径图卷积的点云上采样方法，其特征在于，所述自注意力模块包括第三多层感知机、第四多层感知机、第五多层感知机和第六多层感知机；所述第三多层感知机、所述第四多层感知机、所述第五多层感知机和所述第六多层感知机均为32输出通道数的多层感知机；
所述自注意力模块用于对输入特征经过第三多层感知机得到Q矩阵，对输入特征经过第四多层感知机得到K矩阵，对输入特征经过第五多层感知机得到V矩阵，将Q矩阵与K矩阵的转置进行矩阵相乘得到注意力权重，将注意力权重通过softmax函数归一化处理后得到的矩阵与V矩阵相乘后通过第六多层感知机得到所述自注意力模块的输出。
5.根据权利要求2所述的融合自注意力和多路路径图卷积的点云上采样方法，其特征在于，所述第二k近邻算法模块中k近邻算法的扩张率为2，所述第三k近邻算法模块中k近邻算法的扩张率为3。
6.根据权利要求1所述的融合自注意力和多路路径图卷积的点云上采样方法，其特征在于，所述上采样器用于通过瓶颈层对输入特征进行压缩，对压缩后的特征采用边缘图卷积进行拓展聚合，采用洗牌算子对拓展聚合后的特征重新排列，得到高级点云特征。
7.根据权利要求1所述的融合自注意力和多路路径图卷积的点云上采样方法，其特征在于，所述坐标重建器包括依次连接的第七多层感知机和第八多层感知机。
8.一种融合自注意力和多路路径图卷积的点云上采样系统，其特征在于，包括：
原始点云获取模块，用于获取目标物体的原始点云；
原始点云上采样模块，用于将所述原始点云输入点云上采样模型，获得上采样处理后的稠密点云；所述点云上采样模型包括依次连接的特征提取器、上采样器和坐标重建器；所述特征提取器用于基于多个残差多层图卷积和自注意力模块对所述原始点云进行特征提取，获得初级点云特征；所述上采样器用于对所述初级点云特征进行拓展聚合及重新排列得到高级点云特征；所述坐标重建器用于将所述高级点云特征回归到三维空间，得到所述稠密点云；
所述点云上采样模型为通过数据集对点云上采样网络进行训练后获得的。
CN202310201096.7A 2023-03-06 2023-03-06 融合自注意力和多路路径图卷积的点云上采样方法及系统 Pending CN116188882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310201096.7A CN116188882A (zh) 2023-03-06 2023-03-06 融合自注意力和多路路径图卷积的点云上采样方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310201096.7A CN116188882A (zh) 2023-03-06 2023-03-06 融合自注意力和多路路径图卷积的点云上采样方法及系统

Publications (1)

Publication Number Publication Date
CN116188882A true CN116188882A (zh) 2023-05-30

Family

ID=86450531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310201096.7A Pending CN116188882A (zh) 2023-03-06 2023-03-06 融合自注意力和多路路径图卷积的点云上采样方法及系统

Country Status (1)

Country Link
CN (1) CN116188882A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824064A (zh) * 2023-07-14 2023-09-29 湖南大学 点云数据模型生成方法、装置、计算设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824064A (zh) * 2023-07-14 2023-09-29 湖南大学 点云数据模型生成方法、装置、计算设备及存储介质
CN116824064B (zh) * 2023-07-14 2024-06-04 湖南大学 点云数据模型生成方法、装置、计算设备及存储介质

Similar Documents

Publication Publication Date Title
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
WO2023025030A1 (zh) 一种三维点云上采样方法、系统、设备及介质
CN112396607B (zh) 一种可变形卷积融合增强的街景图像语义分割方法
CN113888744A (zh) 一种基于Transformer视觉上采样模块的图像语义分割方法
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111047515A (zh) 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN114091628B (zh) 基于双分支网络的三维点云上采样方法及系统
CN115115523B (zh) 一种融合CNN和Transformer的医学图像深度信息提取方法
CN112348959A (zh) 一种基于深度学习的自适应扰动点云上采样方法
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
US20230153946A1 (en) System and Method for Image Super-Resolution
Gendy et al. Lightweight image super-resolution based on deep learning: State-of-the-art and future directions
Chen et al. Remote sensing image super-resolution via residual aggregation and split attentional fusion network
CN115358932A (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN116188882A (zh) 融合自注意力和多路路径图卷积的点云上采样方法及系统
CN110866938A (zh) 一种全自动视频运动目标分割方法
CN110599495B (zh) 一种基于语义信息挖掘的图像分割方法
CN109146792A (zh) 基于深度学习的芯片图像超分辨率重建方法
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN112967296B (zh) 一种点云动态区域图卷积方法、分类方法及分割方法
Zeng et al. Point cloud up-sampling network with multi-level spatial local feature aggregation
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination