CN114862692A - 一种基于标准化流理论的三维点云去噪方法 - Google Patents

一种基于标准化流理论的三维点云去噪方法 Download PDF

Info

Publication number
CN114862692A
CN114862692A CN202210336827.4A CN202210336827A CN114862692A CN 114862692 A CN114862692 A CN 114862692A CN 202210336827 A CN202210336827 A CN 202210336827A CN 114862692 A CN114862692 A CN 114862692A
Authority
CN
China
Prior art keywords
point
point cloud
noise
module
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210336827.4A
Other languages
English (en)
Other versions
CN114862692B (zh
Inventor
毛爱华
杜梓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210336827.4A priority Critical patent/CN114862692B/zh
Publication of CN114862692A publication Critical patent/CN114862692A/zh
Application granted granted Critical
Publication of CN114862692B publication Critical patent/CN114862692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于标准化流理论的三维点云去噪方法，该方法首先处理三维网格并合成训练数据，设计、搭建并训练合适的维度增强模块、标准化流模块和噪声过滤模块。在去噪过程中，测试噪声点云会被分割成多个点块，点块输入到维度增强模块中提升特征维度，然后沿标准化流模块的正向传播，得到点块在隐空间下的表示。噪声过滤模块对隐空间下的点块过滤出噪声信息，将过滤后的点块沿标准化流模块的逆向传播，从而得到欧拉空间下的点块。最后，将点块合并即可得到去噪的点云数据。与现有的技术相比，本发明的点云去噪方法能在保留几何细节的同时，生成分布均匀的点云，同时该方法支持多种噪声类型和点云分辨率的去噪。

Description

一种基于标准化流理论的三维点云去噪方法
技术领域
本发明涉及计算机视觉的三维数据重建技术领域，具体涉及一种基于标准化流理论的三维点云去噪方法。
背景技术
点云作为一种常用的三维数据格式，被广泛应用在几何分析、机器人物体识别、自动驾驶等多种场景之中。从激光扫描仪、深度相机、LiDAR传感器等3D数据捕获设备获取的数据大都是点云的格式，但由于采样环境的复杂性和三维采样设备的硬件限制，捕获的原始点集经常是稀疏、非均匀且带有噪声的。而许多的三维分析的工作，如机器人感知、点云场景渲染、网格表面重建等，都对点云的质量提出了非常高的要求。因此，点云的去噪工作是实现点云数据分析的关键步骤之一。
点云的噪声类型和噪声层级是多样的，场景复杂的光照环境，扫描设备的硬件特性，扫描障碍物的阻挡等因素都是噪声产生的来源，而实际扫描的点云数据是以上多种噪声来源的综合作用的结果。这些因素都给点云去噪工作造成了困难和挑战。
现有的点云去噪方法大致可以分成两类：传统基于优化的方法和基于深度学习的方法。
传统基于优化的方法，如稀疏优化、隐式曲面投影、图优化等方法，在某些噪声环境下能取得不错的效果，但这类技术方案的去噪过程依赖于点云法线等额外数据的辅助，且往往需要预先了解点云噪声的分布特征与噪声水平以选取合适的去噪参数，导致其泛化能力较差。
基于深度学习的点云去噪方法大致可以分成两种思路。第一种技术方案是估计底层表面的属性，并通过神经网络给预测每个点对应的修正数据，如点坐标值、点偏移量、迭代的移动方向等。这种技术方案较为直观、易于理解，但每个点的特征都是单独地从其局部感知域提取，因此对于部分本身噪声程度较大的点，其对物体表面的估计可能与周围的点相差较大，导致出现异常值、陡峭的表面等现象。第二种技术方案是先从噪声点云去除噪声程度较大的点，再从点云表面上采样新的点集。这种技术方案倾向于从输入点云中移除较多点，因此不可避免地会丢弃较多的几何信息，导致细节的缺失。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于标准化流理论的三维点云去噪的方法。
本发明的目的可以通过采取如下技术方案达到：
一种基于标准化流理论的三维点云去噪方法，所述三维点云去噪方法包括以下步骤：
S1、合成三维物体表面的点云数据集，包括收集三维物体表面的三维网格数据，使用柏松碟采样算法从三维网格中采样点云数据，将点云分割成分辨率固定的点块；
S2、构建基于标准化流的点云去噪网络，包括依次顺序连接的维度增强模块
Figure BDA0003576934000000021
标准化流模块
Figure BDA0003576934000000022
和噪声过滤模块
Figure BDA0003576934000000023
S3、训练基于标准化流的点云去噪网络，该点云去噪网络利用最小化损失的思想，以端到端的方式训练；在训练的每次迭代中，从点云数据集中随机选取点块
Figure BDA0003576934000000024
先使用数据增强技术提高训练点块的多样性，再添加一种随机噪声到点块数据中，然后发送到点云去噪网络中训练；反复迭代训练过程，使用反向传播技术更新网络参数，直至点云去噪网络收敛；
S4、点云分割，在测试使用时先将噪声点云分割成分辨率固定的点块
Figure BDA0003576934000000031
并将点块
Figure BDA0003576934000000032
内的坐标值归一化到[-1,1]的范围内，并记录归一化时每个点块的坐标位移和缩放比例；
S5、点云去噪，将分割后的点块
Figure BDA0003576934000000033
发送到经过训练的点云去噪网络中，其中N表示点块的分辨率，点云去噪网络首先通过维度增强模块
Figure BDA0003576934000000034
提升点云数据的维度，过程表示为
Figure BDA0003576934000000035
其中函数
Figure BDA0003576934000000036
表示对点块
Figure BDA0003576934000000037
维度增强的过程，
Figure BDA0003576934000000038
表示维度增强后的点块数据，Da为增强的维度数；接着增强后的点块数据
Figure BDA0003576934000000039
发送到标准化流模块
Figure BDA00035769340000000310
中沿正向传播，得到点块在隐空间下的特征表示
Figure BDA00035769340000000312
过程表示为
Figure BDA00035769340000000311
其中
Figure BDA00035769340000000313
表示噪声点云在隐空间下对应的隐变量，函数
Figure BDA00035769340000000314
表示标准化流的正向传播过程，θ为标准化流模块
Figure BDA00035769340000000315
的参数，D＝Da+3为每个点的维度增强后特征数；隐变量
Figure BDA00035769340000000317
通过噪声过滤模块
Figure BDA00035769340000000316
将其中的噪声特征去除，得到去噪后的隐变量
Figure BDA00035769340000000318
过程表示为
Figure BDA00035769340000000319
其中
Figure BDA00035769340000000320
为噪声平滑函数；最后隐变量
Figure BDA00035769340000000321
发送到标准化流模块
Figure BDA00035769340000000324
中沿逆向传播，生成欧拉空间下的去噪点块
Figure BDA00035769340000000322
过程表示为
Figure BDA00035769340000000323
其中函数
Figure BDA00035769340000000325
是
Figure BDA00035769340000000326
的逆过程；
S6、点云合并，根据记录的点块坐标位移和缩放比例恢复去噪点块
Figure BDA00035769340000000327
在完整点云中的位置，然后合并所有的去噪点块
Figure BDA00035769340000000328
并使用最远点采样算法下采样到目标点云分辨率，得到去噪后的三维物体表面的完整点云。
进一步地，所述步骤S1中使用柏松碟采样算法从三维网格中采样点云数据的过程如下：首先在三维网格表面随机生成大量的候选点，然后将三维网格的包围盒均匀地切割多个三维体素，迭代地从各个三维体素中抽取点作为已选点并从候选点中移除与已选点相近的点，直到已选点数达到指定点云分辨率。柏松碟采样算法能有效地生成均匀分布和任意分辨率的点云数据，有利于更精确地计算点云去噪网络训练时的重构损失，提高点云去噪网络收敛能力。
进一步地，所述步骤S1和步骤S4中点块分割的过程如下：首先使用最远点采样(Farthest Point Sampling，FPS)算法从完整点云中采样出多个距离较远的点作为每个点块的初始点，然后以初始点为中心使用最近邻(K-Nearest Neighbors，KNN)搜索算法扩充点块到固定的分辨率大小N，得到分割后的多个点块(patch)。将点云分割成分辨率固定的点块来处理有利于将点云去噪网络的计算和内存开销维持在常量水平，且可以利用GPU的并行特性同时处理多个点块，大幅提升点云去噪速度。
进一步地，所述步骤S5中维度增强模块
Figure BDA0003576934000000041
包括依次顺序连接的采样模块
Figure BDA0003576934000000045
条件模块
Figure BDA0003576934000000044
和流变换模块
Figure BDA0003576934000000042
其中所述条件模块
Figure BDA0003576934000000043
由边卷积网络组成，流变换模块
Figure BDA0003576934000000046
由3个仿射耦合层和2个排列置换层级联而成，维度增强模块
Figure BDA0003576934000000047
中维度增强的过程如下：
采样增强特征：采样模块
Figure BDA0003576934000000048
从先验的标准正太分布
Figure BDA0003576934000000049
中采样出初始的维度增强特征，维度为N×Da，其中Da为增强的特征维度数；
提取逐点的条件特征：条件模块
Figure BDA00035769340000000410
使用边卷积网络从输入点云中提取逐点特征，上述逐点特征为增强特征的变换提供辅助信息；
变换增强特征：流变换模块
Figure BDA00035769340000000412
中仿射耦合层接收条件模块
Figure BDA00035769340000000411
输出的辅助信息，将初始的维度增强特征作分布变换，最后输出的特征经过sigmoid函数处理，并与输入点云的数据作拼接，得到输入点云的维度增强后的特征
Figure BDA00035769340000000413
维度增强后的点块特征
Figure BDA00035769340000000414
具有比输入点块
Figure BDA00035769340000000415
更强的特征表达能力，有利于提高标准化流模块
Figure BDA0003576934000000051
的分布变换能力，更多的维度数也为噪声过滤模块
Figure BDA0003576934000000052
中噪声去除操作提供了更多的自由度和灵活性。
进一步地，所述步骤S5中标准化流模块
Figure BDA0003576934000000053
使用离散的标准化流实现，标准化流模块由L个流层级联而成，其中每个流层由仿射耦合层、排列置换层和激活归一化层组成，各层都满足可逆性的要求，实现点云从欧拉空间到隐空间的变换，称该过程为正向传播；同时实现从隐空间到欧拉空间的变换，称该过程为逆向传播。标准化流模块
Figure BDA0003576934000000054
使统一和共享的网络结构和参数来实现点云的编码和解码过程，有利于减少网络的参数量，避免解码过程中产生的重构损失。
进一步地，所述步骤S5中噪声过滤模块
Figure BDA0003576934000000055
将噪声特征从隐变量
Figure BDA0003576934000000056
中剔除，采用固定的二元掩码、可学习的二元掩码、隐变量一致性三种实现方式。与传统点云去噪方法大多在欧拉空间下实现坐标的修正的技术方案相比，本发明的噪声过滤过程是在隐空间下进行的，具有操作简单、训练稳定的特性。
进一步地，所述步骤S3中数据增强技术包括点块的缩放、点序的扰乱、沿任意轴的随机旋转；添加随机噪声的类型包括各向同性和各向异性的高斯噪声、均匀噪声、离散噪声和方向性噪声、LiDAR扫描噪声。数据增强技术有利于提高点云去噪网络训练数据的多样性，避免过拟合现象。添加随机噪声有利于点云去噪网络适应多种噪声类型的输入数据，提高本发明多样的噪声点云时的泛化能力。
进一步地，将噪声点块依次经过维度增强模块
Figure BDA0003576934000000057
标准化流模块
Figure BDA0003576934000000058
的正向传播、噪声过滤模块
Figure BDA00035769340000000510
和标准化流模块
Figure BDA0003576934000000059
的逆向传播，最后将增强的维度截断，输出去噪后的点块
Figure BDA00035769340000000511
本发明的点云去噪过程是首先分离出干净点云和噪声的特征，然后对噪声特征作直接的过滤，与下采样去除异常值的方法相比，避免了几何细节的丢失，保持了与输入点块一直的分辨率、顺序和邻接关系。
进一步地，所述步骤S3中，训练过程所使用的损失函数是重构损失、先验损失和去噪损失的组合。重构损失有利于提高输出点块的精确度和均匀性，先验损失有利于提高点云去噪网络的分布变换能力，去噪损失有利于提高点云去噪网络的收敛速度和训练的稳定性。
本发明相对于现有技术具有如下的优点及效果：
1、适用范围广。本发明提出使用多样的噪声环境训练点云去噪网络，因此本发明能同时处理多种噪声类型，如模拟的LiDAR噪声、各向异性的高斯噪声(non-isotropicGaussian noise)、离散噪声(discrete noise)、方向性噪声(uni-directional noise)等。与传统基于优化的去噪算法需要针对噪声类型设计算法相比，本方法的泛用性更强。
2、去噪效果显著。本发明提出使用维度增强技术方案有效地提高了标准流模块的分布变换能力和特征表达能力，提升了噪声过滤的灵活性，本发明点云生成的质量与均匀性均要优异于现有的方法。
3、能还原真实的几何细节。本发明提出使用标准化流技术来实现点云特征的编码和解码过程，该技术方案在实现了分离噪声特征的同时，也保留了干净点云的几何细节与拓扑邻接关系，避免了直接移除异常值所造成的细节缺失和点云分布不均的问题，最大程度还原点云的几何特征。
4、可适配多种点云分辨率。本发明提出使用点块(patch)为单位进行去噪，该技术方案能使本发明的计算开销和内占用维持在常量水平，可以充分利用GPU并行特性加速去噪。本发明提出的分组去噪方法使去噪的性能不受点云分辨率的影响，可实现规模更大的点云场景的去噪。
5、用户使用方便。本发明能适应多种噪声水平，且不需要输入额外的辅助数据(如点云法线、物体表面属性、噪声分布模式等)，其去噪过程不需要用户的干预和监督，避免了繁琐的参数调节。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明中公开的点云去噪方法的实施例技术流程图，其中包含六个步骤，其中S1-S3属于训练过程，S4-S6属于测试使用过程；
图2是本发明中设计的点云去噪网络结构的一种实例图；
图3是本发明点云去噪效果的示意图；
图4是本发明所设计的点云去噪网络中维度增强模块的实施技术流程图；
图5是本发明所设计的点云去噪网络中标准化流模块的实施技术流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
噪声点云可以看作是关于干净点云与环境噪声的联合分布的采样结果，因此点云去噪问题可以看作是从噪声点云的特征中过滤出噪声因子的过程，该原理与信号处理中的低通滤波类似。本发明提出使用标准化流来拟合三维物体表面的点云数据的编码和解码过程。标准化流作为一种新型的生成模型，具有可解析的概率密度，可逆性分布变换，高效的推理和生成过程等特点。
由于标准化流结构本身需要满足可解析的可逆性，这导致标准化流层的输入和输出数据必须具有相同的维度，这一特点限制三维物体表面的点云数据在隐空间下的特征表达能力。为了解决这一问题，本发明提出使用维度增强模块给点云增加额外的通道数，以增强每个点的特征表达的自由度，从而提升去噪网络的分布变换能力。
标准化流具有能够把一个复杂的分布转化为一个特征分离的隐空间的特性，基于这一特性，本发明提出了三种噪声过滤方式来实现噪声因子的移除。与传统点云去噪方法大多在欧拉空间下实现坐标的修正的技术方案相比，本发明的噪声过滤是在在隐空间下进行，具有操作简单、易于优化的特性。
在去噪对象上，如果直接对完整点云去噪，则去噪方法的邻域搜索和内存占用开销会随着点云分辨率的增加而线性增长，这会导致去噪方法难以处理大规模的点云场景。为此，本发明提出以点块(patch)为单位进行去噪，这使得算法的搜索和内存开销维持在常量水平，降低本发明对三维物体表面属性的推理难度，且可以利用GPU并行特性提升去噪速度。
为了帮助理解本发明的技术方案，这里对本发明中涉及的标准化流方法进行解释。
标准化流(Normalizing flows，NFs)方法，也被称作流模型(flow models)是一种数据生成模型。标准化流由一系列可逆的分布变换组成，用于拟合数据在复杂的分布与简单的分布之间变换过程，其变换(传播)过程是可逆且无损的，这确保了数据在分布转换的过程中不会有信息的丢失。根据变量变换公式(change of variable formula)和链式法则(the chain rule)，使用标准化流拟合数据的概率密度可以精确地计算，因此标准化流模型可以使用极大似然估计方法来优化。标准化流能够把一个复杂的分布转化为一个特征分离的隐空间，即隐变量中噪声因子和干净点云的特征是分离的，这是本发明的理论基础。标准化流的定义和理论可参考论文《Nice:Non-linear independent componentsestimation》。
针对目前点云去噪算法存在的去噪结果过光滑、点云收缩、细节丢失等问题，本发明提出了一种基于标准化流神经网络的点云去噪方法来降低点云的噪声程度，该方法包含训练和测试使用两个阶段，在训练完毕后即可使用。具体来说，该方法包括以下步骤：
S1、合成三维物体表面的点云数据集，收集三维物体表面的三维网格数据，使用柏松碟采样算法从三维网格中采样点云数据，将点云分割成分辨率固定的点块(patch)。
该步骤中，柏松碟采样算法从三维网格中采样点云数据的具体过程如下：
首先在三维网格的表面上随机生成大量的点，直到完全覆盖三维网格的各个表面，生成的点组成候选点集SA。然后将三维网格的包围盒均匀地切割多个大小固定的三维体素，初始化已选点集SB为空集。在每一次迭代过程中，随机地选取一个三维体素，从中选取一个候选点放入已选点集SB，并将以选取的点为中心，半径为r的区域内的点从侯选点集SA中移除。重复地迭代点的选取过程，直到已选点集SB中的点数达到指定点云分辨率。柏松碟采样算法的具体理论和实现细节可参考论文《Efficient and Flexible Sampling withBlue Noise Properties of Triangular Meshes》。
该步骤中，完整点云分割成点块的具体过程如下：
首先使用最远点采样(Farthest Point Sampling，FPS)算法从完整点云中采样出多个距离较远的点作为每个点块的初始点。
以初始点为中心使用最近邻(K-Nearest Neighbors，KNN)搜索算法扩充点块到固定的分辨率大小N，得到分割后的多个点块(patch)。
该步骤中，最远点采样算法的基本原理是从点云中迭代地选取距离较远的点，具体过程为：首先将待采样的点云作为候选点集S1，初始化一个已选点集S2为空集；从候选点集S1中随机选取一个点放入已选点集S2。从候选点集S1中选取一个离已选点集S2中的点距离之和最大的点放入已选点集S2中。重复以上步骤，直到已选点集S2达到目标分辨率，则已选点集S2即为下采样后的点云。最远点采样算法的理论和实现细节可参考论文《Pointnet:Deep learning on point sets for 3d classification and segmentation》。
该步骤中，最近邻搜索算法的基本原理是把欧拉空间下距离最相近的点作为邻居，具体过程为：给定待查询的点q，遍历点集中的每个点p，计算点p与点q在欧拉空间下的距离，将距离作排序，选取距离值最小的k个点作为点q的邻居。
S2、构建基于标准化流的点云去噪网络，包括维度增强模块
Figure BDA0003576934000000101
标准化流模块
Figure BDA0003576934000000103
和噪声过滤模块
Figure BDA0003576934000000102
三个部分。
当前步骤下，维度增强模块
Figure BDA0003576934000000104
给用于点云增加额外的通道，以提高每个点的特征表达能力，该过程表示为
Figure BDA0003576934000000105
其中
Figure BDA0003576934000000106
和
Figure BDA0003576934000000107
分别表示噪声点云数据和维度增强后的点云数据。维度增强模块
Figure BDA0003576934000000108
包含三个子模块，其中采样模块
Figure BDA0003576934000000109
用于从先验的标准正太分布
Figure BDA00035769340000001011
中采样出初始的维度增强特征，其维度为N×Da，Da为增强的特征维度数；条件模块
Figure BDA00035769340000001010
由边卷积网络组成，用于提取逐点的条件特征，这些特征为增强特征的变换提供辅助信息；流变换模块
Figure BDA00035769340000001012
用于变换增强的特征，该模块由3个仿射耦合层和2个排列置换层级联而成，其中仿射耦合层接收条件模块
Figure BDA00035769340000001013
输出的辅助信息，将初始维度增强的特征作分布变换，最后输出的特征经过sigmoid函数处理，并与输入噪声点云拼接后，得到输入点云的维度增强特征
Figure BDA00035769340000001014
维度增强的流程可参考图4。
具体地，条件模块
Figure BDA0003576934000000111
使用边卷积(EdgeConv)网络来实现，该网络首先基于每个点的KNN邻域构建图结构的连接关系，然后对构建的图结构使用二维卷积层处理，最后使用最大池化操作从每个点的KNN邻域特征中提取关于该点高阶特征。边卷积网络的具体理论和实现细节可参考论文《Dynamic Graph CNN for Learning on Point Clouds》。
维度增强后标准化流是传统的标准化流的泛化和扩展，这使得增强后的流模型能拟合更复杂的函数，避免了流层频繁地重新从低维特征中提取高维特征。增强后的维度可以给噪声过滤模块中的去噪操作提供更多可操作的空间和灵活性。关于维度增强的理论，可参考论文《Vflow:More expressive generative flows with variational dataaugmentation》。
该步骤中，标准化流模块
Figure BDA0003576934000000112
使用了离散的标准化流层来实现，它由L个流层级联而成，其中每个流层由仿射耦合层、排列置换层和激活归一化层组成，这些层在结构上作了特别的设计，使其满足可逆性的要求，且其对应的雅可比行列式计算较为简单。标准化流模块的变换过程表示为
Figure BDA0003576934000000113
其中
Figure BDA0003576934000000114
表示含噪声点云对应的隐变量，
Figure BDA0003576934000000115
表示标准化流的正向传播过程，θ为标准化流网络的参数，D＝Da+3为每个点的维度增强后特征数。
具体地，仿射耦合层(Affine coupling layer)用于提取和聚合数据不同维度的信息，是实现标准化流分布变换的核心层。同时由于该层在结构上的特点，无论使用任意复杂的卷积算子都不会影响网络的可逆性，这简化了似然损失的计算，提高了标准化模型的分布转换的性能和灵活性。
具体地，排列置换层(Permutation layer)对变量的通道作置换，以确保标准化流变换过程中，处理数据的所有通道都能够被充分地处理，有利于增强标准化流层的非线性变换能力。
具体地，激活归一化层(Actnorm layer)使用一个可学习的缩放(scale)参数μ和偏移(bias)参数σ项对数据作逐通道作归一化。激活归一化层可以看作是针对数据的每一个通道做了一次线性缩放，有利于提高网络训练的稳定性。
当前步骤下，噪声过滤模块
Figure BDA0003576934000000121
将噪声特征从隐变量
Figure BDA0003576934000000122
中剔除，该过程表示为
Figure BDA0003576934000000125
其中
Figure BDA0003576934000000124
为噪声平滑函数，本发明提出函数
Figure BDA0003576934000000123
可采用固定的二元掩码、可学习的二元掩码、隐变量一致性三种实现方式。
具体地，固定的二元掩码(Fix Binary Mask,FBM)引入了一个D维向量
Figure BDA0003576934000000126
并显式地将隐变量的通道分为两组，即噪声的通道和干净点云的通道，其中
Figure BDA0003576934000000127
中噪声的通道设置为0，干净点云的通道设置为1。在实际操作中，该方法将向量
Figure BDA0003576934000000128
与隐变量逐元素相乘，得到去噪后的隐变量，其操作方法表示为
Figure BDA0003576934000000129
⊙表示逐元素相乘。
具体地，可学习的二元掩码(Learnable Binary Mask,LBM)的操作方式与固定的二元掩码方法类似，但在该方法中向量
Figure BDA00035769340000001210
是可学习的而不是固定的值，其操作方法表示为
Figure BDA00035769340000001211
具体地，隐变量一致性(Latent Code Consistency,LCC)使用一个可学习的D×D维矩阵来变换点云的隐变量表示，该过程可用公式表示为
Figure BDA00035769340000001212
其中W为可学习的矩阵。除此以外，本方法还计算参考点云
Figure BDA00035769340000001213
对应的隐变量
Figure BDA00035769340000001214
和噪声点云去噪后隐变量
Figure BDA00035769340000001215
的差异作为损失，称为去噪损失，该损失的思想与图像处理中评估高维度特征差异的感知损失(perceptual loss)类似。
S3、训练基于标准化流的点云去噪网络。该网络利用最小化损失的思想，以端到端的方式训练；在训练的每次迭代中，从点云数据集中随机选取点块
Figure BDA00035769340000001216
先使用数据增强技术提高训练点块的多样性，再添加一种随机噪声到点块数据中，然后发送到点云去噪网络中训练；反复迭代训练过程，使用反向传播技术更新网络参数，直至网络收敛。
该步骤中，数据增强技术包括点块的缩放、点序的扰乱、沿任意轴的随机旋转等操作方式，这些方式会联合应用到输入点块上。数据增强技术能提高训练数据的多样性，避免过拟合现象。
该步骤中，训练噪声的类型包括各向同性和各向异性的高斯噪声、均匀噪声、离散噪声、方向性噪声和LiDAR扫描噪声等。在每次迭代训练过程中，会随机选取一种噪声类型添加到输入点块
Figure BDA0003576934000000131
上。使用多种噪声同时训练有利于提高本发明的泛化能力。
该步骤中，本方法使用PyTorch深度学习框架实现点云去噪网络的结构，并使用Adam优化器来更新网络参数。网络训练损失为重构损失(Reconstruction loss)、先验损失(Prior loss)和去噪损失(Denoise loss)的组合。其中重构损失用于评估本方法预测点云与参考点云的相似性，使用推土机(Earth Mover's Distance,EMD)距离来实现。先验损失基于极大似然估计的方法尽可能地最大化噪声点云的似然概率，去噪损失作为损失函数正则项，用于将噪声过滤模块中学习的参数规范在合理的数值范围。
S4、点云分割。在测试使用时，需要先将噪声点云分割成分辨率固定的点块，并将点块内的坐标值归一化到[-1,1]的范围内，并记录归一化时每个点块在坐标位移和缩放比例。
S5、点云去噪。将分割后的点块
Figure BDA0003576934000000132
发送到训练好的点云去噪网络中，该网络首先通过维度增强模块
Figure BDA0003576934000000133
提升点云数据的维度；接着增强后的数据会被发送到标准化流模块
Figure BDA0003576934000000134
中沿正向传播，得到点块的在隐空间下的特征表示
Figure BDA0003576934000000135
隐变量
Figure BDA0003576934000000136
通过噪声过滤模块
Figure BDA0003576934000000137
将其中的噪声特征去除，得到去噪后的隐变量
Figure BDA00035769340000001311
最后隐变量
Figure BDA0003576934000000138
发送到标准化流模块
Figure BDA0003576934000000139
中沿逆向传播，生成欧拉空间下的去噪点块
Figure BDA00035769340000001312
S6、点云合并。根据记录的点块坐标位移和缩放比例将恢复去噪点块
Figure BDA00035769340000001313
在完整点云中的位置，然后合并所有的去噪点块
Figure BDA00035769340000001310
并使用最远点采样算法下采样到目标点云分辨率，即得到去噪后的完整点云。
以上便是本发明提出的点云去噪方法的具体步骤。对于基于点块(patch)为单位的去噪方法里，若输入的点云同时满足较高的分辨率和较高的噪声水平，例如分辨率N≥20000且3％的高斯噪声，该类方法的去噪性能可能会有所下降。这是由于以点块(patch)为单位的去噪时，点块的分辨率是固定的，因此若此时处理的点云的分辨率越高，则每个分割的点块所占的物体表面积的比例就越小。若对物体表面的感知域(respective field)越小，则噪声引起的相对表面波动越大，导致本发明就难以对表面的属性作准确的推理。针对这一问题，本发明提出分组去噪方法来处理，该技术方案的具体步骤如下：
首先在去噪前考察点云的分辨率，若该分辨率超过一定的阈值(例如N≥20000)，则使用最原点采样算法将输入点云中的点分成多组，使每一组所代表的点云形状与原始点云的形状保持一致。
然后分别对每一组采用步骤S4、S5和S6中所描述的过程去噪，得到多组去噪后的点云。
最后把多组点云合并成单个点云，并下采样到与原始点云输入相同的分辨率。
分组去噪的方法有效地扩大了本发明对物体表面的感知域，从而发挥出高效的去噪性能。分组去噪能有效地改善去噪性能受分辨率影响的问题。
实施例2
为了验证本发明的有效性，在含有20个各向同性的高斯噪声点云的数据集上进行对比评估。
由表1可以看到，与在欧拉空间下实现去噪的其它技术方案相比，本发明公开的三维点云去噪方法在生成去噪点云的精确度和均匀性上均优于现有去噪方案，去噪后产生的异常值要明显少于另外三种方案，证明本发明在隐空间下对噪声特征作直接的过滤方法的优越性。
表1.本发明与现有流行的去噪方案的点云生成质量对比表
Figure BDA0003576934000000151
由表2可以看到，随着维度增强的通道数Da的提升，生成去噪点云的损失也相应的较少，即生成的点云质量更高，说明了本发明所采用的维度增强的技术方案有效地提升了点云去噪网络的将干净点云和噪声特征相分离的能力。
表2.本发明选取不同的增强维度Da数下的性能对比表
Figure BDA0003576934000000152
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于标准化流理论的三维点云去噪方法，其特征在于，所述三维点云去噪方法包括以下步骤：
S1、合成三维物体表面的点云数据集，包括收集三维物体表面的三维网格数据，使用柏松碟采样算法从三维网格中采样点云数据，将点云分割成分辨率固定的点块；
S2、构建基于标准化流的点云去噪网络，包括依次顺序连接的维度增强模块
Figure FDA0003576933990000011
标准化流模块
Figure FDA0003576933990000012
和噪声过滤模块
Figure FDA0003576933990000013
S3、训练基于标准化流的点云去噪网络，点云去噪网络利用最小化损失的思想，以端到端的方式训练；在训练的每次迭代中，从点云数据集中随机选取点块
Figure FDA0003576933990000014
先使用数据增强技术提高训练点块的多样性，再添加一种随机噪声到点块数据中，然后发送到点云去噪网络中训练；反复迭代训练过程，使用反向传播技术更新网络参数，直至点云去噪网络收敛；
S4、点云分割，在测试使用时先将噪声点云分割成分辨率固定的点块
Figure FDA0003576933990000015
并将点块
Figure FDA0003576933990000016
内的坐标值归一化到[-1,1]的范围内，并记录归一化时每个点块的坐标位移和缩放比例；
S5、点云去噪，将分割后的点块
Figure FDA0003576933990000017
发送到经过训练的点云去噪网络中，其中N表示点块的分辨率，点云去噪网络首先通过维度增强模块
Figure FDA0003576933990000018
提升点云数据的维度，过程表示为
Figure FDA0003576933990000019
其中函数
Figure FDA00035769339900000110
表示对点块
Figure FDA00035769339900000111
维度增强的过程，
Figure FDA00035769339900000112
表示维度增强后的点块数据，Da为增强的维度数；接着增强后的点块数据
Figure FDA00035769339900000113
发送到标准化流模块
Figure FDA00035769339900000114
中沿正向传播，得到点块在隐空间下的特征表示
Figure FDA00035769339900000115
过程表示为
Figure FDA00035769339900000116
其中
Figure FDA0003576933990000021
表示噪声点云在隐空间下对应的隐变量，函数
Figure FDA0003576933990000022
表示标准化流的正向传播过程，θ为标准化流模块
Figure FDA0003576933990000023
的参数，D＝Da+3为每个点的维度增强后特征数；隐变量
Figure FDA0003576933990000024
通过噪声过滤模块
Figure FDA0003576933990000025
将其中的噪声特征去除，得到去噪后的隐变量
Figure FDA0003576933990000026
过程表示为
Figure FDA0003576933990000027
其中
Figure FDA0003576933990000028
为噪声平滑函数；最后隐变量
Figure FDA0003576933990000029
发送到标准化流模块
Figure FDA00035769339900000210
中沿逆向传播，生成欧拉空间下的去噪点块
Figure FDA00035769339900000211
过程表示为
Figure FDA00035769339900000212
其中函数
Figure FDA00035769339900000213
是
Figure FDA00035769339900000214
的逆过程；
S6、点云合并，根据记录的点块坐标位移和缩放比例恢复去噪点块
Figure FDA00035769339900000215
在完整点云中的位置，然后合并所有的去噪点块
Figure FDA00035769339900000216
并使用最远点采样算法下采样到目标点云分辨率，得到去噪后的三维物体表面的完整点云。
2.根据权利要求1所述的一种基于标准化流理论的三维点云去噪方法，其特征在于，所述步骤S1中使用柏松碟采样算法从三维网格中采样点云数据的过程如下：首先在三维网格表面随机生成大量的候选点，然后将三维网格的包围盒均匀地切割多个三维体素，迭代地从各个三维体素中抽取点作为已选点并从候选点中移除与已选点相近的点，直到已选点数达到指定点云分辨率。
3.根据权利要求1所述的一种基于标准化流理论的三维点云去噪方法，其特征在于，所述步骤S1和步骤S4中点块分割的过程如下：首先使用最远点采样算法从完整点云中采样出多个距离较远的点作为每个点块的初始点，然后以初始点为中心使用最近邻索算法扩充点块到固定的分辨率大小N，得到分割后的多个点块。
4.根据权利要求1所述的一种基于标准化流理论的三维点云去噪方法，其特征在于，所述步骤S5中维度增强模块
Figure FDA00035769339900000217
包括依次顺序连接的采样模块
Figure FDA0003576933990000031
条件模块
Figure FDA0003576933990000032
和流变换模块
Figure FDA0003576933990000033
其中所述条件模块
Figure FDA0003576933990000034
由边卷积网络组成，所述流变换模块
Figure FDA0003576933990000035
由3个仿射耦合层和2个排列置换层级联而成，维度增强模块
Figure FDA0003576933990000036
中维度增强的过程如下：
采样增强特征：采样模块
Figure FDA0003576933990000037
从先验标准正太分布
Figure FDA0003576933990000038
中采样出初始的维度增强特征，维度为N×Da，其中Da为增强的特征维度数；
提取逐点的条件特征：条件模块
Figure FDA0003576933990000039
使用边卷积网络从输入点云中提取逐点特征，上述逐点特征为增强特征的变换提供辅助信息；
变换增强特征：流变换模块
Figure FDA00035769339900000310
中仿射耦合层接收条件模块
Figure FDA00035769339900000311
输出的辅助信息，将初始的维度增强特征作分布变换，最后输出的特征经过sigmoid函数处理，并与输入点云的数据作拼接，得到输入点块的维度增强后的特征
Figure FDA00035769339900000312
5.根据权利要求1所述的一种基于标准化流理论的三维点云去噪方法，其特征在于，所述步骤S5中标准化流模块使用离散的标准化流实现，标准化流模块
Figure FDA00035769339900000313
由L个流层级联而成，其中每个流层由仿射耦合层、排列置换层和激活归一化层组成，各层都满足可逆性的要求，实现点云从欧拉空间到隐空间的变换，称该过程为正向传播；同时实现从隐空间到欧拉空间的变换，称该过程为逆向传播。
6.根据权利要求1所述的一种基于标准化流理论的三维点云去噪方法，其特征在于，所述步骤S5中噪声过滤模块
Figure FDA00035769339900000314
将噪声特征从隐变量
Figure FDA00035769339900000315
中剔除，采用固定的二元掩码、可学习的二元掩码、隐变量一致性三种实现方式。
7.根据权利要求1所述的一种基于标准化流理论的三维点云去噪方法，其特征在于，所述步骤S3中数据增强技术包括点块的缩放、点序的扰乱、沿任意轴的随机旋转；添加随机噪声的类型包括各向同性和各向异性的高斯噪声、均匀噪声、离散噪声、方向性噪声和LiDAR扫描噪声。
8.根据权利要求1所述的一种基于标准化流理论的三维点云去噪方法，其特征在于，所述步骤S5中，将噪声点块依次经过维度增强模块
Figure FDA0003576933990000041
标准化流模块
Figure FDA0003576933990000042
的正向传播、噪声过滤模块
Figure FDA0003576933990000043
和标准化流模块
Figure FDA0003576933990000044
的逆向传播，最后将增强的维度截断，输出去噪后的点块
Figure FDA0003576933990000045
9.根据权利要求1所述的一种基于标准化流理论的三维点云去噪方法，其特征在于，所述步骤S3中，训练过程所使用的损失函数是重构损失、先验损失和去噪损失的组合。
CN202210336827.4A 2022-04-01 2022-04-01 一种基于标准化流理论的三维点云去噪方法 Active CN114862692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210336827.4A CN114862692B (zh) 2022-04-01 2022-04-01 一种基于标准化流理论的三维点云去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210336827.4A CN114862692B (zh) 2022-04-01 2022-04-01 一种基于标准化流理论的三维点云去噪方法

Publications (2)

Publication Number Publication Date
CN114862692A true CN114862692A (zh) 2022-08-05
CN114862692B CN114862692B (zh) 2024-04-02

Family

ID=82629619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210336827.4A Active CN114862692B (zh) 2022-04-01 2022-04-01 一种基于标准化流理论的三维点云去噪方法

Country Status (1)

Country Link
CN (1) CN114862692B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129472A (zh) * 2023-04-07 2023-05-16 阿里巴巴（中国）有限公司 网格点生成方法、存储介质及系统
CN118229893A (zh) * 2024-05-24 2024-06-21 深圳魔视智能科技有限公司 一种稀疏点云三维重建方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160598A1 (en) * 2018-11-16 2020-05-21 Uatc, Llc Systems and Methods for Generating Synthetic Light Detection and Ranging Data via Machine Learning
CN112634149A (zh) * 2020-12-10 2021-04-09 浙江大学 一种基于图卷积网络的点云去噪方法
CN113191973A (zh) * 2021-04-29 2021-07-30 西北大学 一种基于无监督网络框架的文物点云数据去噪方法
CN114119690A (zh) * 2021-12-16 2022-03-01 左一帆 一种基于神经网络重建高斯混合模型的点云配准方法
US20220067943A1 (en) * 2018-12-17 2022-03-03 Promaton Holding B.V. Automated semantic segmentation of non-euclidean 3d data sets using deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160598A1 (en) * 2018-11-16 2020-05-21 Uatc, Llc Systems and Methods for Generating Synthetic Light Detection and Ranging Data via Machine Learning
US20220067943A1 (en) * 2018-12-17 2022-03-03 Promaton Holding B.V. Automated semantic segmentation of non-euclidean 3d data sets using deep learning
CN112634149A (zh) * 2020-12-10 2021-04-09 浙江大学 一种基于图卷积网络的点云去噪方法
CN113191973A (zh) * 2021-04-29 2021-07-30 西北大学 一种基于无监督网络框架的文物点云数据去噪方法
CN114119690A (zh) * 2021-12-16 2022-03-01 左一帆 一种基于神经网络重建高斯混合模型的点云配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
关柏良;周凡;林淑金;罗笑南;: "面向三维模型分割的边界感知点云神经网络", 计算机辅助设计与图形学学报, no. 01, 15 January 2020 (2020-01-15), pages 150 - 158 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129472A (zh) * 2023-04-07 2023-05-16 阿里巴巴（中国）有限公司 网格点生成方法、存储介质及系统
CN118229893A (zh) * 2024-05-24 2024-06-21 深圳魔视智能科技有限公司 一种稀疏点云三维重建方法及装置
CN118229893B (zh) * 2024-05-24 2024-09-27 深圳魔视智能科技有限公司 一种稀疏点云三维重建方法及装置

Also Published As

Publication number Publication date
CN114862692B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
Blake et al. Markov random fields for vision and image processing
CN114862692B (zh) 一种基于标准化流理论的三维点云去噪方法
CN113011329A (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN113657387B (zh) 基于神经网络的半监督三维点云语义分割方法
CN110348299B (zh) 三维物体的识别方法
Atapour-Abarghouei et al. Depthcomp: Real-time depth image completion based on prior semantic scene segmentation
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN112270332A (zh) 一种基于子流稀疏卷积的三维目标检测方法及系统
CN116543168A (zh) 一种基于多维度图像信息融合的垃圾图像去噪方法
CN115131245A (zh) 一种基于注意力机制的点云补全方法
CN115049054B (zh) 基于特征图响应的通道自适应分段动态网络剪枝方法
CN110782458A (zh) 一种非对称编码网络的物体图像3d语义预测分割方法
CN114742911A (zh) 图像压缩感知重建方法、系统、设备及介质
CN116912405A (zh) 一种基于改进MVSNet的三维重建方法及系统
CN110889868B (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
Xu et al. Graph convolutional networks in feature space for image deblurring and super-resolution
CN113643303A (zh) 基于双路注意力编解码网络的三维图像分割方法
CN109003247B (zh) 彩色图像混合噪声的去除方法
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法
CN117635488A (zh) 一种结合通道剪枝和通道注意力的轻量型点云补全方法
CN107798663B (zh) 一种基于偏微分方程和bm3d的无参数化图像恢复方法
CN112862723B (zh) 基于伪3d自相关网络的真实图像去噪方法
CN113191947B (zh) 一种图像超分辨率的方法及系统
Mujtaba et al. Automatic solar panel detection from high-resolution orthoimagery using deep learning segmentation networks
Rani et al. ELM-Based Shape Adaptive DCT Compression technique for underwater image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant