CN116152100A - 基于特征分析和尺度选择的点云去噪方法、装置及存储介质 - Google Patents
基于特征分析和尺度选择的点云去噪方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116152100A CN116152100A CN202310112492.2A CN202310112492A CN116152100A CN 116152100 A CN116152100 A CN 116152100A CN 202310112492 A CN202310112492 A CN 202310112492A CN 116152100 A CN116152100 A CN 116152100A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- scale
- denoising
- feature
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000006073 displacement reaction Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了基于多尺度特征分析和尺度选择的点云去噪方法、装置及存储介质，构建基于多尺度特征分析和尺度选择的点云去噪网络模型；点云去噪网络模型以从原始噪声点云选取的多个不同尺度的局部邻域作为输入；对各个尺度下的点云数据进行局部特征提取和增强，将不同尺度下的特征信息串联起来通过专家机制模块进行权重信息回归，通过得到的权重信息进行最佳逆位移的选取；将训练集输入到构建好的点云去噪网络模型中进行训练，优化去噪网络模型；将测试集输入至训练后生成的去噪网络模型中进行去噪，输出去噪后的点云数据。本发明通过多尺度特征分析和尺度选择的方式，能够更好地保留尖锐细节特征，解决了单一尺度下忽略局部几何特征的局限性。
Description
技术领域
本发明涉及三维数据处理技术领域，特别是涉及基于特征分析和尺度选择的点云去噪方法、装置及存储介质。
背景技术
随着自动驾驶技术的兴起，3D数据获取技术逐渐发展。3D数据通常可以用不同的格式表示，如深度图像、点云、网格和体积网格。其中，点云是从对象或场景的二维表面采样的三维点的无序集合，使其能够直接表示从立体视觉相机提取的三维信息以及由RGB-D生成的深度图。
然而，由于扫描设备的固有限制或图像重建中的匹配模糊性，它们经常受到噪声的污染，这严重影响了下游任务(如形状匹配、曲面重建、对象分割等)的性能。因此，点云去噪对于相关的三维视觉应用至关重要。
目前点云去噪方法大致分为传统方法和基于深度学习的方法。传统方法利用某些表面假设以去除噪声，如稀疏性或非局部相似度。然而，它们通常会出现过度锐化平滑的情况，或者不能够很好地保存尖锐特征。
基于深度学习的方法，通常采用局部邻域(patches)作为输入，对几何信息进行编码，并预测每个点的位移。但是大多是在单一尺度上进行学习，对邻域的特征信息学习不够充分，不能够对尖锐的细节特征进行保留。如，通过编码器-解码器建模的点云去噪网络，其通过编码器对点云数据进行特征提取和分析，再通过解码器对提取的特征进行聚合收集，最后预测噪声点云中每个点的逆位移，并将逆位移应用于每个点。该方法将单一尺度的点云数据作为输入，主要关注能够保留尖锐信息的损失函数。
已有技术所关注的特征信息局限于单一尺度下的邻域特征信息，没有充分考虑点的具体局部几何特性以调整邻居点的选取范围，使得网络对于模型的细节信息学习不充分、导致位移预测结果存在一定偏差，从而出现过度平滑的现象，以及对于一些薄且精细的几何细节，出现了失真的情况。
发明内容
有鉴于此，本发明提供了基于特征分析和尺度选择的点云去噪方法、装置及存储介质，能够实现对3D不规则点云数据进行去噪，生成高质量的点云数据。
为此，本发明提供了以下技术方案：
本发明提供了一种基于多尺度特征分析和尺度选择的点云去噪方法，所述方法包括：
获取添加高斯噪声的点云数据，形成噪声点云的训练集和测试集；
构建基于多尺度特征分析和尺度选择的点云去噪网络模型；所述点云去噪网络模型，以从原始噪声点云选取的多个不同尺度的局部邻域作为输入，对各个局部邻域在对齐空间中进行矫正操作；对各个尺度下的点云数据进行局部特征提取和增强，将不同尺度下的特征信息串联起来通过专家机制模块进行权重信息回归，通过得到的权重信息进行最佳逆位移的选取；输出去噪后的点云数据；
将训练集输入到构建好的点云去噪网络模型中进行训练，优化去噪网络模型；
将测试集输入至训练后生成的去噪网络模型中进行去噪，输出去噪后的点云数据。
进一步地，点云去噪网络模型包括：输入及对齐模块、特征提取模块和专家机制模块；
所述输入及对齐模块包括多个输入通道，每个输入通道包括对齐子模块，用于输入从原始噪声点云选取的多个不同尺度的局部邻域，并分别将各个邻域在对齐空间中进行矫正操作；
所述特征提取模块包括多个用于提取不同尺度特征的特征提取子模块，每个特征提取子模块包括多组特征提取器和点池化层；
所述专家机制模块包括一系列的全连接层和尺度管理网，用于对不同尺度下回归的逆位移进行赋权及最优选择；全连接层将不同尺度下特征提取模块的特征信息输出经过池化操作后串联起来，作为尺度管理网的输入进行权重信息计算，通过得到的权重信息进行最佳逆位移的选取；尺度管理网会得到每个分支单尺度的权重，根据权重的大小选取最佳逆位移。
进一步地，输入通道数量为3。
进一步地，对齐子模块采用主成分分析校准。
进一步地，特征提取器为Conv-BN-ReLU。
进一步地，点池化层的输入为初始尺度为s的局部邻域所有点的特征信息以及坐标信息，首先经过前一层的特征提取器获取代表当前局部邻域全局信息的特征张量fs，之后基于K-NN算法，对点进行选择，丢弃距离中心点较远的点，从而保留局部邻域最主要的形状，缩小邻域尺度为s1，而后将初始尺度的全局信息fs和邻域尺度为s1的邻域信息继续向下一层的特征提取器传输。
进一步地，训练所述点云去噪网络模型包括：
在每个单尺度分支下设置分支损失函数，以确保每个单尺度分支下得到的逆位移能够使得去噪后的点云尽量接近真值；
在训练过程中判断总损失是否达到最小值，若未达到，则反向传播优化网络参数，直至总损失函数达到最小值，训练结束。
本发明还提供了一种基于多尺度特征分析和尺度选择的点云去噪装置，所述装置包括：
数据获取单元，用于获取添加高斯噪声的点云数据，形成噪声点云的训练集和测试集；
模型构建单元，用于构建基于多尺度特征分析和尺度选择的点云去噪网络模型；所述点云去噪网络模型，以从原始噪声点云选取的多个不同尺度的局部邻域作为输入，对各个局部邻域在对齐空间中进行矫正操作；对各个尺度下的点云数据进行局部特征提取和增强，将不同尺度下的特征信息串联起来通过专家机制模块进行权重信息回归，通过得到的权重信息进行最佳逆位移的选取；输出去噪后的点云数据；
训练单元，用于将所述数据获取单元得到的训练集输入到所述模型构建单元构建好的点云去噪网络模型中进行训练，优化去噪网络模型；
测试单元，用于将所述数据获取单元得到的测试集输入至所述训练单元训练后生成的去噪网络模型中进行去噪，输出去噪后的点云数据。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现上述基于多尺度特征分析和尺度选择的点云去噪方法。
本发明的优点和积极效果：通过多尺度特征分析和尺度选择的方式，能够更好地保留尖锐细节特征，解决了单一尺度下忽略局部几何特征的局限性。此外，上述技术也将推动相关的三维模型处理和应用，如模型匹配、曲面重建、对象分割以及大型场景中的物体识别等应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中基于特征分析和尺度选择的点云去噪方法的流程示意图；
图2是本发明实施例中基于特征分析和尺度选择的点云去噪方法的网络结构图；
图3是本发明实施例中去噪网络结构中的特征提取模块示意图；
图4是本发明实施例中去噪网络结构中的专家机制模块算法示意图；
图5是本发明实施例中去噪前后的可视化效果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明实施例中的一种基于多尺度特征分析和尺度选择的点云去噪方法，包括以下具体步骤：
S1、获取添加高斯噪声的点云数据，形成噪声点云的训练集和测试集。
其中，训练集：从现有点云数据集PointFilter中获取22个具有精确坐标和法线的干净点云模型，其中包括11个CAD模型和11个非CAD模型，每个点云模型都从其原始表面随机抽取100k点。之后，为每个模型添加了5种不同级别的高斯噪声(添加标准偏差分别为干净模型边界框对角线长度的0.25％、0.5％、1％、1.5％和2.5％)，合成其对应的噪声模型。因此，本发明实施例中的训练数据集由110个带有噪声的点云模型和22个具有精确坐标和法线的干净点云模型组成。
测试集：为了进行定量评估，本发明实施例中使用了三个基准:PU-Net测试集(20个模型)、PointCleanNet测试集(10个模型)和PointFilter测试集(20个模型)。PU-Net、PointCleanNet和PointFilter均为现有点云数据集。类似地，本发明实施例中将点云模型归一化后，以0.5％、1％和1.5％的比例添加高斯噪声，从而合成对应的噪声点云。因此，本发明实施例中测试数据集由150个带有噪声的点云模型和50个具有精确坐标和法线的干净点云模型组成。
S2、构建基于多尺度特征分析和尺度选择的点云去噪网络模型。
在网络初始阶段，对原始噪声点云选取多个不同尺度的局部patches作为输入。由于点云数据本身是无序的，需要将其在对齐空间中进行矫正操作。随后，每个尺度下的点云数据会通过特征提取模块，对局部信息进行学习，对相应的局部特征进行分析和增强。然后通过Max-pooling对特征信息进行融合，同时经对应的Loss函数约束，回归得到不同尺度下的加性噪声向量。由于不同尺度学习到的特征信息有偏差，具体来说，对于平滑表面选择大尺度的话，特征会更接近于平滑，对于尖锐的细节部分，选择小尺度则会保留更多精细的细节，因此，本发明实施例中将不同尺度下的特征信息串联起来通过专家机制模块进行权重信息回归，通过得到的权重信息进行最佳逆位移的选取，从而达到更好地保持细节特征的去噪效果。
点云去噪网络模型的具体网络结构如图2所示，主要包括输入及对齐模块、特征提取模块和专家机制模块。其中，输入及对齐模块包括多个输入通道，每个输入通道包括对齐子模块，用于输入从原始噪声点云选取的多个不同尺度的局部patches，并分别将各个patches在对齐空间中进行矫正操作；优选地，输入通道数量为3，对齐子模块采用主成分分析校准(PCA Alignment)。特征提取模块包括特征提取器(MLP)和点池化层(CSA)，MLP具体为Conv-BN-ReLU，如图3所示，本发明实施例中特征提取模块包括3个特征提取子模块，每个特征提取子模块包括多组MLP和CSA，多个MLP分别用于提取不同尺度的特征，多个CSA分别用于对前一层MLP提取的特征进行增强处理。CSA的输入为初始尺度为s的局部邻域所有点的特征信息以及坐标信息，首先经过前一层的MLP获取代表当前局部邻域全局信息的特征张量fs，之后基于K-NN算法，对点进行选择，丢弃距离中心点较远的点，从而保留局部邻域最主要的形状，缩小邻域尺度为s1，而后将初始尺度的全局信息fs和邻域尺度为s1的邻域信息继续向下一层的MLP传输。
专家机制是深度学习领域内提出来的一种体系结构，但没有应用于点云去噪任务。专家机制的具体作用包括：
(1)不同尺度邻域包含不同的特征信息，小尺度感受野倾向于保留局部细节信息，而大尺度则倾向于保留全局信息。为了充分考虑点的具体局部几何特性以调整邻居点的选取范围，使得网络对于模型的细节信息学习更充分，本发明实施例中设计了专家机制架构，为每个分支单尺度网络分配不同的权重，使网络关注更重要的特征。
(2)点云去噪任务中也有基于多尺度的，例如三维点云去噪网络PointCleanNet的扩展，多个尺度进行去噪，但是它采用的体系结构更倾向于训练期间多个分支求平均，而采用专家机制架构，使得每个单分支更精准。
本发明实施例中设计的专家机制模块如图4所示。本发明实施例中专家机制模块包括一系列的全连接层和尺度管理网，用于对不同尺度下回归的逆位移di进行赋权及最优选择。其中，全连接层具体为Linear-BN-ReLU，将不同尺度下特征提取模块的特征信息输出经过池化操作后串联起来，作为尺度管理网(也就是图2中的Wi部分)的输入进行权重信息计算，通过得到的权重信息进行最佳逆位移di的选取。具体地，每个分支单尺度下，会学习到相对应的逆位移di，尺度管理网会得到每个分支单尺度的权重Wi，根据权重Wi的大小选取最佳逆位移di(选取Wi最大值所对应的分支单尺度下所求的逆位移di)。
本发明实施例中的网络架构中，n个分支单尺度下学习逆位移的网络被视为n个独立的“专家”网络，每个尺度的“专家”网络独立进行特征提取、学习和分析，充分挖掘不同尺度上的几何特征依赖关系，获取更有价值的特征信息，并得到相应的逆位移di。尺度管理网则相当于一个“管理者”，通过对每个分支进行赋权，调节各分支网络参数，并通过Wi值的大小对逆位移进行最佳选取，从而达到更好地保持细节特征的去噪效果。
上述点云去噪网络模型通过多尺度特征分析和尺度选择，可以充分挖掘多尺度上的几何特征依赖关系，从而得到更有价值的特征信息，更好地保持细节特征的去噪效果。具体公式如下：
(ω1，ω2，...，ωn)＝ρ(γ(f1，f2，...，fn))。
S3、将训练集输入到构建好的点云去噪网络模型中进行训练，优化去噪网络模型。
本发明实施例中在每个单尺度分支下设置分支损失函数，以确保每个单尺度分支下得到的逆位移能够使得去噪后的点云尽量接近真值，具体公式如下：
其中，
pgt是真值点，
是去噪后的点，/>
是点pgt的真实法向，/>
是一个高斯函数，对/>
附近的点赋予更大的权重。
专家机制模块设置总损失函数：Loss＝∑Lossk*ωk。
其中，Lossk为每个单尺度分支的损失函数，ωk为每个单尺度分支的权重值。
在训练过程中判断总损失是否达到最小值，若未达到，则反向传播优化网络参数，直至总损失函数达到最小值，训练结束。
S4、将噪声点云测试集输入至训练后生成的去噪网络模型中进行去噪，输出去噪后的点云数据。
上述实施例中的点云去噪方法是一个端到端的网络架构，它直接将每个噪声点以及其原始邻居点作为集合输入，通过网络深度学习后回归得到一个逆位移向量，从而将该噪声点移动到它原本的真实位置。
由于目前大多数的去噪方法都是在单一尺度下进行特征学习，对邻域的特征信息学习不够充分，不能够对尖锐的细节特征进行保留，削弱了它们在实际应用中的性能。所以，本发明实施例中的点云去噪网络模型采用多尺度邻域作为输入，对不同尺度下的特征信息进行充分地分析和学习，对局部特征进行增强，以解决邻域学习不充分的问题，保证得到的点云特征具备有效性。在此基础上，由于不同尺度学习到的特征信息有偏差，小尺度感受野倾向于保留局部细节信息，而大尺度则倾向于保留全局信息。具体来说，对于平滑表面选择大尺度的话，特征会更接近于平滑，对于尖锐的细节部分，选择小尺度则会保留更多精细的细节，所以本发明实施例中还采用了专家机制选择对不同尺度的特征进行赋权约束以及逆位移选取，充分考虑点云的具体局部几何特性，解决邻域选取的问题，从而达到更好地保持尖锐细节特征的去噪效果。
此外，现有技术中虽然也有基于多尺度输入，多个尺度进行特征提取的方案，但是，通常最后都进行多个尺度的特征融合，采用的体系结构倾向于训练期间多个分支求和，而本发明实施例中采用专家机制架构，使得每个单分支更专业化，最后取最佳而非求和，去噪更精准，更能保持尖锐细节。本发明实施例中在特征提取模块还添加了CSA，以减少点数，能够减小计算量和耗时。
对应本发明中的一种基于多尺度特征分析和尺度选择的点云去噪方法，本发明还提供了一种基于多尺度特征分析和尺度选择的点云去噪装置，包括：
数据获取单元，用于获取添加高斯噪声的点云数据，形成噪声点云的训练集和测试集；
模型构建单元，用于构建基于多尺度特征分析和尺度选择的点云去噪网络模型；所述点云去噪网络模型，以从原始噪声点云选取的多个不同尺度的局部patches作为输入，对各个局部patches在对齐空间中进行矫正操作；对各个尺度下的点云数据进行局部特征提取和增强，将不同尺度下的特征信息串联起来通过专家机制模块进行权重信息回归，通过得到的权重信息进行最佳逆位移的选取；输出去噪后的点云数据；
训练单元，用于将所述数据获取单元得到的训练集输入到所述模型构建单元构建好的点云去噪网络模型中进行训练，优化去噪网络模型；
测试单元，用于将所述数据获取单元得到的测试集输入至所述训练单元训练后生成的去噪网络模型中进行去噪，输出去噪后的点云数据。
对于本发明实施例的一种基于多尺度特征分析和尺度选择的点云去噪装置而言，由于其与上面实施例中的一种基于多尺度特征分析和尺度选择的点云去噪方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中一种基于多尺度特征分析和尺度选择的点云去噪方法部分的说明即可，此处不再详述。
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的基于多尺度特征分析和尺度选择的点云去噪方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于多尺度特征分析和尺度选择的点云去噪方法，其特征在于，所述方法包括：
获取添加高斯噪声的点云数据，形成噪声点云的训练集和测试集；
构建基于多尺度特征分析和尺度选择的点云去噪网络模型；所述点云去噪网络模型，以从原始噪声点云选取的多个不同尺度的局部邻域作为输入，对各个局部邻域在对齐空间中进行矫正操作；对各个尺度下的点云数据进行局部特征提取和增强，将不同尺度下的特征信息串联起来通过专家机制模块进行权重信息回归，通过得到的权重信息进行最佳逆位移的选取；输出去噪后的点云数据；
将训练集输入到构建好的点云去噪网络模型中进行训练，优化去噪网络模型；
将测试集输入至训练后生成的去噪网络模型中进行去噪，输出去噪后的点云数据。
2.根据权利要求1所述的一种基于多尺度特征分析和尺度选择的点云去噪方法，其特征在于，点云去噪网络模型包括：输入及对齐模块、特征提取模块和专家机制模块；
所述输入及对齐模块包括多个输入通道，每个输入通道包括对齐子模块，用于输入从原始噪声点云选取的多个不同尺度的局部邻域，并分别将各个邻域在对齐空间中进行矫正操作；
所述特征提取模块包括多个用于提取不同尺度特征的特征提取子模块，每个特征提取子模块包括多组特征提取器和点池化层；
所述专家机制模块包括一系列的全连接层和尺度管理网，用于对不同尺度下回归的逆位移进行赋权及最优选择；全连接层将不同尺度下特征提取模块的特征信息输出经过池化操作后串联起来，作为尺度管理网的输入进行权重信息计算，通过得到的权重信息进行最佳逆位移的选取；尺度管理网会得到每个分支单尺度的权重，根据权重的大小选取最佳逆位移。
3.根据权利要求2所述的一种基于多尺度特征分析和尺度选择的点云去噪方法，其特征在于，输入通道数量为3。
4.根据权利要求2所述的一种基于多尺度特征分析和尺度选择的点云去噪方法，其特征在于，对齐子模块采用主成分分析校准。
5.根据权利要求2所述的一种基于多尺度特征分析和尺度选择的点云去噪方法，其特征在于，特征提取器为Conv-BN-ReLU。
6.根据权利要求2所述的一种基于多尺度特征分析和尺度选择的点云去噪方法，其特征在于，点池化层的输入为初始尺度为s的局部邻域所有点的特征信息以及坐标信息，首先经过前一层的特征提取器获取代表当前局部邻域全局信息的特征张量fs，之后基于K-NN算法，对点进行选择，丢弃距离中心点较远的点，从而保留局部邻域最主要的形状，缩小邻域尺度为s1，而后将初始尺度的全局信息fs和邻域尺度为s1的邻域信息继续向下一层的特征提取器传输。
7.根据权利要求1所述的一种基于多尺度特征分析和尺度选择的点云去噪方法，其特征在于，训练所述点云去噪网络模型包括：
在每个单尺度分支下设置分支损失函数，以确保每个单尺度分支下得到的逆位移能够使得去噪后的点云尽量接近真值；
在训练过程中判断总损失是否达到最小值，若未达到，则反向传播优化网络参数，直至总损失函数达到最小值，训练结束。
8.一种基于多尺度特征分析和尺度选择的点云去噪装置，其特征在于，所述装置包括：
数据获取单元，用于获取添加高斯噪声的点云数据，形成噪声点云的训练集和测试集；
模型构建单元，用于构建基于多尺度特征分析和尺度选择的点云去噪网络模型；所述点云去噪网络模型，以从原始噪声点云选取的多个不同尺度的局部邻域作为输入，对各个局部邻域在对齐空间中进行矫正操作；对各个尺度下的点云数据进行局部特征提取和增强，将不同尺度下的特征信息串联起来通过专家机制模块进行权重信息回归，通过得到的权重信息进行最佳逆位移的选取；输出去噪后的点云数据；
训练单元，用于将所述数据获取单元得到的训练集输入到所述模型构建单元构建好的点云去噪网络模型中进行训练，优化去噪网络模型；
测试单元，用于将所述数据获取单元得到的测试集输入至所述训练单元训练后生成的去噪网络模型中进行去噪，输出去噪后的点云数据。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1～7任一项所述的基于多尺度特征分析和尺度选择的点云去噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310112492.2A CN116152100A (zh) | 2023-02-14 | 2023-02-14 | 基于特征分析和尺度选择的点云去噪方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310112492.2A CN116152100A (zh) | 2023-02-14 | 2023-02-14 | 基于特征分析和尺度选择的点云去噪方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152100A true CN116152100A (zh) | 2023-05-23 |
Family
ID=86361464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310112492.2A Pending CN116152100A (zh) | 2023-02-14 | 2023-02-14 | 基于特征分析和尺度选择的点云去噪方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152100A (zh) |
-
2023
- 2023-02-14 CN CN202310112492.2A patent/CN116152100A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3091035C (en) | Systems and methods for polygon object annotation and a method of training an object annotation system | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN109754417B (zh) | 从图像中无监督学习几何结构的系统与方法 | |
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| US10810435B2 (en) | Segmenting objects in video sequences | |
| Lee et al. | Robust exemplar-based inpainting algorithm using region segmentation | |
| CN111724478A (zh) | 一种基于深度学习的点云上采样方法 | |
| CN107818554B (zh) | 信息处理设备和信息处理方法 | |
| CN111931787A (zh) | 一种基于特征聚合的rgbd显著性检测方法 | |
| CN110730970B (zh) | 优化策略控制器的方法和系统 | |
| WO2015139574A1 (zh) | 一种静态物体重建方法和系统 | |
| EP3905194A1 (en) | Pose estimation method and apparatus | |
| CN109961407B (zh) | 基于人脸相似性的人脸图像修复方法 | |
| CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
| CN109685095B (zh) | 根据3d布置类型对2d图像进行分类 | |
| US20230130281A1 (en) | Figure-Ground Neural Radiance Fields For Three-Dimensional Object Category Modelling | |
| CN114339409A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN114429555A (zh) | 由粗到细的图像稠密匹配方法、系统、设备及存储介质 | |
| CN115131218A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| US11367206B2 (en) | Edge-guided ranking loss for monocular depth prediction | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Bapat et al. | The domain transform solver | |
| Lazcano et al. | Comparing different metrics on an anisotropic depth completion model | |
| CN115147426B (zh) | 基于半监督学习的模型训练与图像分割方法和系统 | |
| CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |