CN114266850A - 一种基于连续标准化流及对抗精细化网络的点云补全方法 - Google Patents

一种基于连续标准化流及对抗精细化网络的点云补全方法 Download PDF

Info

Publication number
CN114266850A
CN114266850A CN202111569119.7A CN202111569119A CN114266850A CN 114266850 A CN114266850 A CN 114266850A CN 202111569119 A CN202111569119 A CN 202111569119A CN 114266850 A CN114266850 A CN 114266850A
Authority
CN
China
Prior art keywords
point cloud
completion
network
incomplete
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111569119.7A
Other languages
English (en)
Inventor
李革
包蓉
任俞睿
李宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202111569119.7A priority Critical patent/CN114266850A/zh
Publication of CN114266850A publication Critical patent/CN114266850A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种基于连续标准化流及对抗精细化网络的点云补全方法，包括以下步骤：S1：将残缺点云Xi输入到基于连续流模型的点云补全网络中，生成残缺点云的完整形状作为粗粒度补全结果Xc；以及S2：将残缺点云Xi和粗粒度补全结果Xc输入到对抗精细化网络中，进一步精细化局部细节，生成具有高质量局部细节的细粒度补全结果Xf。本发明通过提出两个子网络基于流模型的点云补全网络和对抗精细化网络逐步生成具有精细化细节的点云补全结果，从而提高补全质量。

Description

一种基于连续标准化流及对抗精细化网络的点云补全方法
技术领域
本发明的技术领域涉及三维点云补全、连续标准化流和生成对抗网络，特别地涉及一种基于连续标准化流及对抗精细化网络的点云补全方法。
背景技术
随着计算机视觉领域的高速发展，三维数据的处理也受到广泛关注。相比于平面图像，三维数据可以全方位记录现实场景，储存更多的信息，同时避免了二维图像中的视点遮蔽问题，方便用户多角度观察。
点云是坐标系下的点的数据集，包含了丰富的信息，如三维坐标、颜色、强度值、时间等。点云在三维空间中保留了原始的几何信息，是许多三维数据采集设备的原始输出，并且十分简洁灵活,是三维数据的重要表示形式。
然而，由于有限的视角、遮挡、传感器分辨率等因素，现实世界中的点云数据往往是不完整的。由三维激光扫描仪采集得到的原始点云数据通常会出现数据点的稀疏和部分区域的缺失，极大阻碍了自动驾驶、场景理解和增强现实等下游应用。因此，补全残缺点云以获得高质量完整点云至关重要。
现有的基于深度学习的点云补全方法往往倾向于补全点云的整体形状，而补全局部细节的能力不足。此外，现有点云补全方法倾向于补全整体形状而缺失局部细节，一般现有方法依赖于没有概率保证的点集距离作为损失函数，而常见的点集距离如倒角距离约束精细化细节的能力不足，往往会进一步导致局部细节的缺失。
发明内容
本发明提出了基于连续标准化流及对抗精细化网络的点云补全方法，可以有效补全残缺点云，补偿结构损失，生成具有精细局部细节的高质量补全结果。
本发明的技术方案如下：
1.一种基于连续标准化流及对抗精细化网络的点云补全方法，包括以下步骤：S1：将残缺点云Xi输入到基于连续流模型的点云补全网络中，生成残缺点云的完整形状作为粗粒度补全结果Xc；以及S2：将残缺点云Xi和粗粒度补全结果Xc输入到对抗精细化网络中，进一步精细化局部细节，生成具有高质量局部细节的细粒度补全结果Xf。
优选的，在上述基于连续标准化流及对抗精细化网络的点云补全方法中，其中，步骤S1包括训练阶段和测试阶段，其中：在训练阶段，将残缺点云Xi和完整点云Xgt分别通过共享权重的编码器Qφ和Q′φ编码得到相应的形状表示z和z′，引入损失函数
Figure BDA0003422955690000027
约束二者的形状表示尽可能相似，之后根据残缺点云的形状表示，使用连续标准化流作为生成器
Figure BDA0003422955690000021
学习输入点云Xi到三维高斯分布Y的映射，并计算损失函数重建似然，公式如下：
Figure BDA0003422955690000022
在测试阶段，将残缺点云Xi通过编码器Qφ得到形状表示z，根据形状表示使用连续标准化流作为生成器
Figure BDA0003422955690000023
习得映射的拟映射从三维高斯分布Y出发生成完整点云作为粗糙补全结果Xc。
优选的，在上述基于连续标准化流及对抗精细化网络的点云补全方法中，在步骤S2中，以残缺点云Xi和粗粒度补全结果Xc作为生成器Ga的输入，生成器使用具有边池化层和边反池化层的U形网络(U-Net)作为架构，使用残差模块作为基础模块，残差模块使用自注意力机制可以自适应地提取和聚合不同尺度的局部特征。
优选的，在上述基于连续标准化流及对抗精细化网络的点云补全方法中，其中，在步骤S2中，对抗精细化网络采用倒角距离作为损失函数，对于细粒度补全结果Xf和完整点云真实值Xgt，损失函数公式如下：
Figure BDA0003422955690000024
判别器Da提取细粒度补全结果Xf和完整点云真实值Xgt相应分块的特征，引入对抗损失辅助倒角距离约束补全结果，其中，对抗损失函数公式如下
Figure BDA0003422955690000025
Figure BDA0003422955690000026
根据本发明的技术方案，产生的有益效果是:
本发明的基于连续标准化流及对抗精细化网络的点云补全方法，能够以粗粒度到细粒度的方式逐步生成具有精细局部细节的补全结果，从而提高补全结果的质量，在点云补全任务上本发明相较于基准模型有一定的提升。
为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明的基于连续标准化流及对抗精细化网络的点云补全方法的总体框架图；
图2是本发明的第一阶段的基于流模型的点云补全网络的示意图；
图3是本发明的对抗精细化网络的示意图；
图4是本发明结果与其他算法在点云补全任务上的结果对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本方面保护的范围。
本发明的基于连续标准化流及对抗精细化网络的点云补全方法是一个由粗粒度到细粒度的点云补全方法，共包含基于连续流模型的点云补全网络和对抗精细化网络两个阶段。
图1为本发明的基于连续标准化流及对抗精细化网络的点云补全方法的总体流程图。参见图1，本发明方法主要包含以下步骤：
S1：残缺点云Xi：将残缺点云Xi输入到基于连续流模型的点云补全网络中，生成残缺点云的完整形状作为粗粒度补全结果Xc。该步骤为本发明的方法的第一阶段，即，基于连续流模型的点云补全网络阶段。
图2为本发明第一阶段的基于流模型的点云补全网络阶段的示意图。参见图2，本发明基于流模型的点云补全网络阶段主要包含测试阶段和训练阶段，每个阶段具体包括以下步骤：在训练阶段，将残缺点云Xi和完整点云Xgt分别通过共享权重的编码器编码(残缺点云Xi通过编码器Q′φ，完整点云通过编码器Qφ)得到相应的形状表示z和z′，引入损失函数
Figure BDA0003422955690000031
约束二者的形状表示尽可能相似，之后根据残缺点云的形状表示，使用连续标准化流作为生成器
Figure BDA0003422955690000032
学习输入点云Xi到三维高斯分布Y的映射，并计算损失函数重建似然，公式如下：
Figure BDA0003422955690000033
在测试阶段，将残缺点云Xi通过编码器Qφ得到形状表示z，根据形状表示使用连续标准化流作为生成器
Figure BDA0003422955690000034
习得映射的拟映射从三维高斯分布Y出发生成完整点云作为粗糙补全结果Xc。
S2：将残缺点云Xi和步骤S1(第一阶段)得到的粗粒度补全结果Xc输入到对抗精细化网络中，进一步精细化局部细节，生成具有高质量局部细节的细粒度补全结果Xf。该步骤为本发明的方法的第二阶段，即，对抗精细化网络阶段。
图3为本发明第二阶段的对抗精细化网络的示意图。参见图3，本发明对抗精细化网络阶段主要包含以下步骤：
以残缺点云Xi和粗粒度补全结果Xc作为生成器Ga的输入，生成器使用具有边池化层和边反池化层的U形网络(U-Net)作为架构，使用残差模块作为基础模块，残差模块使用自注意力机制可以自适应地提取和聚合不同尺度的局部特征。网络采用倒角距离作为损失函数，对于细粒度补全结果Xf和完整点云真实值Xgt,公式如下：
Figure BDA0003422955690000041
判别器Da提取细粒度补全结果Xf和完整点云真实值Xgt相应分块的特征，引入对抗损失辅助倒角距离约束补全结果。对抗损失函数公式如下：
Figure BDA0003422955690000042
Figure BDA0003422955690000043
图4示出了本发明与其他算法在点云补全任务上的结果对比图。由图4可知，本发明的补全结果可以有效补全残缺点云的完整形状并且具有更为精确的局部细节。本发明提出的方法与现有点云补全方法相比，在客观评价指标上取得了更好的结果。
在点云补全中常用的客观评价指标有倒角距离(Chamfer Distance)和F-分数(F-Score)。
倒角距离衡量一个点云中的每个点到另一个点云中最近邻点的平均距离。对于两个点云X和Y,倒角距离公式如下：
Figure BDA0003422955690000044
其中，x和y分别表示点云X和Y中的点。
F-分数评估物体表面之间的距离，其定义为精确率和召回率之间的调和平均值。精确率P(d)通过计算距离真实点一定距离内的重建点的百分比来衡量重建的精确率。召回率R(d)通过计算距离重建点一定距离内的真实点的百分比来衡量重建的完整性。F-分数的严格程度可以通过改变距离阈值d来控制。对于重建点云R和真实点云T，相应公式如下：
Figure BDA0003422955690000045
Figure BDA0003422955690000051
Figure BDA0003422955690000052
其中，公式中的r和t分别表示是重建点云R和真实点云T中的点。
在点云补全任务中，本发明结果与其他算法的结果在8个常见类别上的对比结果如表1所示。由表1可以发现，本发明在倒角距离及F-分数指标上都取得了更好的结果。为了更清晰的展示结果，最好的结果用加粗黑体标出，倒角距离值被放大了104倍。倒角距离指标越小越好，F分数指标越大越好。
表1本发明结果与其他算法的结果在8个常见类别上的对比结果
Figure BDA0003422955690000053
本发明的基于连续标准化流及对抗精细化网络的点云补全方法，通过提出两个子网络基于流模型的点云补全网络和对抗精细化网络逐步生成具有精细化细节的点云补全结果，从而提高补全质量。
以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。

Claims (4)

1.一种基于连续标准化流及对抗精细化网络的点云补全方法，其特征在于，包括以下步骤：
S1：将残缺点云Xi输入到基于连续流模型的点云补全网络中，生成残缺点云的完整形状作为粗粒度补全结果Xc；以及
S2：将残缺点云Xi和所述粗粒度补全结果Xc输入到对抗精细化网络中，进一步精细化局部细节，生成具有高质量局部细节的细粒度补全结果Xf。
2.根据权利要求1所述的基于连续标准化流及对抗精细化网络的点云补全方法，其特征在于，其中，步骤S1包括训练阶段和测试阶段，其中：
在训练阶段，将残缺点云Xi和完整点云Xgt分别通过共享权重的编码器Qφ和Q′φ编码得到相应的形状表示z和z′，引入损失函数
Figure FDA0003422955680000017
约束二者的形状表示尽可能相似，之后根据残缺点云的形状表示，使用连续标准化流作为生成器
Figure FDA0003422955680000011
学习输入点云Xi到三维高斯分布Y的映射，并计算损失函数重建似然，公式如下：
Figure FDA0003422955680000012
在测试阶段，将残缺点云Xi通过编码器Qφ得到形状表示z，根据形状表示使用连续标准化流作为生成器
Figure FDA0003422955680000013
习得映射的拟映射从三维高斯分布Y出发生成完整点云作为粗糙补全结果Xc。
3.根据权利要求1所述的基于连续标准化流及对抗精细化网络的点云补全方法，其特征在于，其中，在步骤S2中，以残缺点云Xi和粗粒度补全结果Xc作为生成器Ga的输入，生成器使用具有边池化层和边反池化层的U形网络(U-Net)作为架构，使用残差模块作为基础模块，残差模块使用自注意力机制可以自适应地提取和聚合不同尺度的局部特征。
4.根据权利要求3所述的基于连续标准化流及对抗精细化网络的点云补全方法，其特征在于，其中，在步骤S2中，所述对抗精细化网络采用倒角距离作为损失函数，对于细粒度补全结果Xf和完整点云真实值Xgt，损失函数公式如下：
Figure FDA0003422955680000014
判别器Da提取细粒度补全结果Xf和完整点云真实值Xgt相应分块的特征，引入对抗损失辅助倒角距离约束补全结果，其中，对抗损失函数公式如下：
Figure FDA0003422955680000015
Figure FDA0003422955680000016
CN202111569119.7A 2021-12-21 2021-12-21 一种基于连续标准化流及对抗精细化网络的点云补全方法 Pending CN114266850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111569119.7A CN114266850A (zh) 2021-12-21 2021-12-21 一种基于连续标准化流及对抗精细化网络的点云补全方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111569119.7A CN114266850A (zh) 2021-12-21 2021-12-21 一种基于连续标准化流及对抗精细化网络的点云补全方法

Publications (1)

Publication Number Publication Date
CN114266850A true CN114266850A (zh) 2022-04-01

Family

ID=80828442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111569119.7A Pending CN114266850A (zh) 2021-12-21 2021-12-21 一种基于连续标准化流及对抗精细化网络的点云补全方法

Country Status (1)

Country Link
CN (1) CN114266850A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578265A (zh) * 2022-12-06 2023-01-06 中汽智联技术有限公司 点云增强方法、系统和存储介质
CN118644405A (zh) * 2024-08-09 2024-09-13 山东大学 一种用于激光雷达点云数据的补全方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578265A (zh) * 2022-12-06 2023-01-06 中汽智联技术有限公司 点云增强方法、系统和存储介质
CN118644405A (zh) * 2024-08-09 2024-09-13 山东大学 一种用于激光雷达点云数据的补全方法

Similar Documents

Publication Publication Date Title
Wynn et al. Diffusionerf: Regularizing neural radiance fields with denoising diffusion models
CN111860666A (zh) 一种基于点云与图像自注意力机制融合的3d目标检测方法
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN114266850A (zh) 一种基于连续标准化流及对抗精细化网络的点云补全方法
CN110288697A (zh) 基于多尺度图卷积神经网络的3d人脸表示与重建方法
WO2023082415A1 (zh) 一种点云补全方法和装置
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN111127538A (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN113379646A (zh) 一种利用生成对抗网络进行稠密点云补全的算法
CN102289784A (zh) 一种基于点云模型的数字几何图像简化方法
CN115409931A (zh) 一种基于图像与点云数据融合的三维重建方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN115272599A (zh) 一种面向城市信息模型的三维语义地图构建方法
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN115631223A (zh) 基于自适应学习和聚合的多视图立体重建方法
CN110546687B (zh) 图像处理装置及二维图像生成用程序
CN108986210B (zh) 三维场景重建的方法和设备
Akhyar et al. A beneficial dual transformation approach for deep learning networks used in steel surface defect detection
Zhu et al. 3DTA: No-Reference 3D Point Cloud Quality Assessment with Twin Attention
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
CN116977636A (zh) 一种三维点云的大规模点云语义分割方法
CN116485892A (zh) 一种弱纹理物体的六自由度位姿估计方法
CN116168162A (zh) 一种多视角加权聚合的三维点云重建方法
CN115147577A (zh) Vr场景生成方法、装置、设备及存储介质
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination