CN114240779A - 一种点云去噪方法、装置、设备及存储介质 - Google Patents
一种点云去噪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114240779A CN114240779A CN202111536671.6A CN202111536671A CN114240779A CN 114240779 A CN114240779 A CN 114240779A CN 202111536671 A CN202111536671 A CN 202111536671A CN 114240779 A CN114240779 A CN 114240779A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- neighborhood
- point
- patches
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000003062 neural network model Methods 0.000 claims abstract description 62
- 238000013508 migration Methods 0.000 claims abstract description 44
- 230000005012 migration Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 22
- 230000008569 process Effects 0.000 description 16
- 238000001914 filtration Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请的实施例公开一种点云去噪方法、装置、设备及存储介质，该方法包括：获取待去噪点云数据；构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片；将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量；根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。解决了现有方法仍然对点云的去噪效果不佳的技术问题，提高了对复杂点云数据的去噪效果。
Description
技术领域
本申请涉及飞机制造技术领域，尤其涉及发明名称一种点云去噪方法、装置、设备及存储介质。
背景技术
近些年来，三维激光扫描仪已经广泛应用于飞机制造领域中的数字化测量。由三维激光扫描仪获取的初始点云数据中，由于设备本身精度、现场环境复杂等原因，往往包含较多的噪声点。这些噪声点影响了数据质量，不利于后期的点云分析与特征计算。需要采用点云去噪算法，进行去噪。
常用的点云去噪方法可以分为两大类：1)针对有序点云，常用的方法有中值滤波、高斯滤波、均值滤波等。有序点云数据由于自身数据结构类似于图像数据，上述源自于图像滤波的方法，便可以直接应用于点云去噪。2)针对无序点云，有部分方法将点云数据转化为网络数据，再采用网格模型的方法去除噪点。但大部分方法还是直接处理点云数据，执行去噪操作。其中，常见的方法有：拉普拉斯去噪、双边滤波去噪、平均曲率流去噪、二次拉普拉斯去噪等。
但上述方法仍然对点云的去噪效果不佳。
发明内容
本申请的主要目的在于提供一种点云去噪方法、装置、设备及存储介质，旨在解决现有方法对点云的去噪效果不佳的技术问题。
为实现上述目的，本申请提供一种点云去噪方法，所述方法包括：
获取待去噪点云数据；
构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片；
将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量；其中，所述去噪神经网络模型中包括多重监督多重偏移模块，所述多重监督多重偏移模块用于根据每个邻域面片的拼接特征融合不同分辨率的多个面片的偏移量，以获得每个邻域面片的总偏移量，所述拼接特征由邻域面片中不同分辨率的多个面片的特征拼接获得；
根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。
可选地，所述构造所述点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片的步骤，包括：
对所述点云数据中的每个点，在点云模型的外接球内构造各点的面片邻域；其中，所述点云模型为所述点云数据构成的模型；
在每个点的面片邻域内随机选取多个选取点，并基于多个所述选取点在所述点云模型的内接球内构造多个不同分辨率的面片，以获得每个点的邻域面片。
可选地，所述去噪神经网络模型，还包括：
与每个点的邻域内不同分辨率的面片数量对应的多个训练获得的编码器，多个所述编码器用于分别提取不同分辨率的多个面片的特征；其中，所述编码器为多层感知机。
可选地所述获取待去噪点云数据的步骤之前，所述方法还包括：
获取训练集，所述训练集包括含噪点云数据；
对所述含噪点云数据进行预处理，获得处理后的点云数据，其中，所述处理后的点云数据中的每个样本点的邻域内包括不同分辨率的多个样本面片；
利用所述处理后的点云数据，对初始去噪神经网络模型进行训练，以获得去噪神经网络模型。
可选地，所述对所述含噪点云数据进行预处理，获得处理后的点云数据的步骤，包括：
对所述含噪点云数据中的每个点，在样本点云模型的外接球内构造各点的样本面片邻域；其中，所述样本点云模型为所述点云数据构成的模型；
在每个点的样本面片邻域内随机选取多个样本选取点，并基于多个所述样本选取点在所述样本点云模型的内接球内构造多个不同分辨率的样本面片，以获得处理后的点云数据。
可选地，所述初始去噪神经网络模型，包括：
与每个点的邻域内不同分辨率的样本面片数量对应的多个初始编码器，多个所述初始编码器用于分别提取不同分辨率的多个样本面片的特征；其中，所述初始编码器为多层感知机；
多重监督多重偏移模块，用于根据多个所述样本面片的拼接特征融合不同分辨率的多个样本面片的样本偏移量，以获得每个点的样本总偏移量。
此外，为实现上述目的，本申请还提供一种模型训练方法，包括：
获取训练集，所述训练集包括含噪点云数据；
对所述含噪点云数据进行预处理，获得处理后的点云数据，其中，所述处理后的点云数据中的每个样本点的邻域内包括不同分辨率的多个样本面片；
利用所述处理后的点云数据，对初始去噪神经网络模型进行训练，以获得去噪神经网络模型。
可选地，所述对所述含噪点云数据进行预处理，获得处理后的点云数据的步骤，包括：
对所述含噪点云数据中的每个点，在样本点云模型的外接球内构造各点的样本面片邻域；其中，所述样本点云模型为所述点云数据构成的模型；
在每个点的样本面片邻域内随机选取多个样本选取点，并基于多个所述样本选取点在所述样本点云模型的内接球内构造多个不同分辨率的样本面片，以获得处理后的点云数据。
可选地，所述初始去噪神经网络模型，包括：
与每个点的邻域内不同分辨率的样本面片数量对应的多个初始编码器，多个所述初始编码器用于分别提取不同分辨率的多个样本面片的特征；其中，所述初始编码器为多层感知机；
多重监督多重偏移模块，用于根据多个所述样本面片的拼接特征融合不同分辨率的多个样本面片的样本偏移量，以获得每个点的样本总偏移量。
此外，为实现上述目的，本申请还提供一种点云去噪装置，所述装置包括：
数据获取模块，用于获取待去噪点云数据；
面片构建模块，用于构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片；
偏移确定模块，用于将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量；其中，所述去噪神经网络模型中包括多重监督多重偏移模块，所述多重监督多重偏移模块用于根据每个邻域面片的拼接特征融合不同分辨率的多个面片的偏移量，以获得每个邻域面片的总偏移量，所述拼接特征由邻域面片中不同分辨率的多个面片的特征拼接获得；
偏移处理模块，用于根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。
此外，为实现上述目的，本申请还提供一种模型训练装置，包括：
训练集获取模块，用于获取训练集，所述训练集包括含噪点云数据；
数据预处理模块，用于对所述含噪点云数据进行预处理，获得处理后的点云数据，其中，所述处理后的点云数据中的每个样本点的邻域内包括不同分辨率的多个样本面片；
模型训练模块，用于利用所述处理后的点云数据，对初始去噪神经网络模型进行训练，以获得去噪神经网络模型。
此外，为实现上述目的，本申请还提供一种计算机设备，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现前述的方法。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现前述的方法。
此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品在被处理器时，实现前述的方法。
本申请所能实现的有益效果：
本申请实施例提出的一种点云去噪方法、装置、设备及存储介质，该方法包括：获取待去噪点云数据；构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片；将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量；其中，所述去噪神经网络模型中包括多重监督多重偏移模块，所述多重监督多重偏移模块用于根据每个邻域面片的拼接特征融合不同分辨率的多个面片的偏移量，以获得每个邻域面片的总偏移量，所述拼接特征由邻域面片中不同分辨率的多个面片的特征拼接获得；根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。也即，本申请的技术方案在采用神经网络方法的基础上，在模型训练中考虑点云的多分辨率的面片信息，避免了点云数据的细节信息丢失，使得训练获得的去噪神经网络模型获得的偏移量识别准确率更高，进而使得基于该偏移量的去噪效果更好；解决了现有方法仍然对点云的去噪效果不佳的技术问题，提高了对复杂点云数据的去噪效果。
附图说明
图1为本申请实施例方案涉及的硬件运行环境的计算机设备结构示意图；
图2为本申请实施例的一种点云去噪方法的流程示意图；
图3为本申请实施例的一种去噪神经网络模型结构示意图；
图4为本申请实施例的一种模型训练方法的流程示意图；
图5为本申请实施例的一种点云去噪装置的结构示意图；
图6为本申请实施例的一种模型训练装置的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：提出的一种点云去噪方法，该方法包括：获取待去噪点云数据；构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片；将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量；其中，所述去噪神经网络模型中包括多重监督多重偏移模块，所述多重监督多重偏移模块用于根据每个邻域面片的拼接特征融合不同分辨率的多个面片的偏移量，以获得每个邻域面片的总偏移量，所述拼接特征由邻域面片中不同分辨率的多个面片的特征拼接获得；根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。
三维激光扫描仪已经广泛应用于数字化测量等领域。由三维激光扫描仪获取的初始点云数据中，由于设备本身精度、现场环境复杂等原因，往往包含较多的噪声点。这些噪声点影响了数据质量，不利于后期的点云分析与特征计算。需要采用点云去噪算法，进行去噪。现有技术中，常用的点云去噪方法可以分为两大类：1)针对有序点云，常用的方法有中值滤波、高斯滤波、均值滤波等。有序点云数据由于自身数据结构类似于图像数据，上述源自于图像滤波的方法，便可以直接应用于点云去噪。2)针对无序点云，有部分方法将点云数据转化为网络数据，再采用网格模型的方法去除噪点。但大部分方法还是直接处理点云数据，执行去噪操作。其中，常见的方法有：拉普拉斯去噪、双边滤波去噪、平均曲率流去噪、二次拉普拉斯去噪等。上述方法虽然在一些简单模型中取得较好的效果，但不考虑点领域的多分辨率信息，导致数据细节丢失等问题，最终导致对点云数据的去噪效果不佳。
为此，本申请提供一种解决方案，在采用神经网络方法的基础上，在模型训练中考虑点云的多分辨率的面片信息，避免了点云数据的细节信息丢失，使得训练获得的去噪神经网络模型获得的偏移量识别准确率更高，进而使得基于该偏移量的去噪效果更好；解决了现有方法仍然对点云的去噪效果不佳的技术问题，提高了对复杂点云数据的去噪效果。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的计算机设备结构示意图。
如图1所示，该计算机设备可以包括：处理器1001，例如中央处理器 (CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘 (Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。
在图1所示的计算机设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明计算机设备中的处理器1001、存储器1005可以设置在计算机设备中，所述计算机设备通过处理器1001调用存储器1005中存储的点云去噪装置或模型训练装置，并执行本申请实施例提供的点云去噪方法或模型训练方法。
参照图2，本申请的实施例提供一种点云去噪方法，所述方法包括：
S20、获取待去噪点云数据。
在具体实施过程中，点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。是通过3D扫描仪获取的海量点数据，在飞机制造领域中，对于零部件通过3D扫描仪可以获得其点云数据。由于设备本身精度、现场环境复杂等原因，往往包含较多的噪声点。在本实施例中，待去噪点云数据是指由三维激光扫描仪获取的初始点云数据，可能包括噪声点，也可能不包括，但一般来说，由于设备本身精度、现场环境复杂等原因，往往包含较多的噪声点。
S40、构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片。
在具体实施过程中，待去噪点云数据中包括海量的点(即点云中的点)，要进行去噪，需要对每个点进行偏移量的预测。待去噪点云数据中每个点。
邻域是指集合上的一种基础的拓扑结构，具体指以点为中心的开区间，在本实施例中，是指以点为中心的三位球形区域。
面片，也称为面，通常表达为边信息的集合，而边表达两个点之间的连接关系信息，比如三边面表示面片中包含三组边信息，五边面表示面片中包含五组边信息。
分辨率决定了从点云中提取目标细节的能力，包括平面分辨率、距离分辨率和强度分辨率。
在本实施例中，对每个点构造不同分辨率的多个面片，是为了构造各种不同分辨率的面片，以在神经网络(也进行了多分辨率的考虑)识别过程中综合不同分辨率下偏移量，提高从点云中提取噪声相关细节信息的能力，最终得到更准确的点云偏移量。
因此，在本实施例的邻域面片中包括不同分辨率的多个面片。
作为一种可选的具体实施方式，所述构造所述点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片的步骤，包括：
对所述点云数据中的每个点，在点云模型的外接球内构造各点的面片邻域；其中，所述点云模型为所述点云数据构成的模型；
在每个点的面片邻域内随机选取多个选取点，并基于多个所述选取点在所述点云模型的内接球内构造多个不同分辨率的面片，以获得每个点的邻域面片。
在具体实施过程中，在点云模型的外接球内构造各点的面片邻域，可以以外接球半径的百分比进行构造，同样的，面片也可以以内接球半径的百分比进行构造。
举例来说，对于每一个点，取点云模型外接球半径的5％构造面片邻域，在邻域内随机选取三个点，以3％半径大小的内接球构造多分辨率面片。
S60、将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量。
在具体实施过程中，去噪神经网络模型是指利用点云样本训练获得的预测点云偏移量的神经网络模块，例如，CNN卷积神经网络模型、BP神经网络等。
参见图3，本实施例中，去噪神经网络模型包括：
面片特征提取模块，具体包括：与每个点的邻域内不同分辨率的面片数量对应的多个训练获得的编码器，多个所述编码器用于分别提取不同分辨率的多个面片的特征；其中，所述编码器为多层感知机；举例来说，编码器由五层共享多层感知机组成的定制PointNet网络提取三种不同邻域大小的特征，由于多分辨率面片点云信息来源于相同的点云邻域，因此采用五层共享多层感知机更适合编码相同的点云信息。由五层共享多层感知机编码输出的特征信息更加具有一致性。
多重监督多重偏移模块，包括多重所述多重监督多重偏移模块用于根据每个邻域面片的拼接特征融合不同分辨率的多个面片的偏移量，以获得每个邻域面片的总偏移量，所述拼接特征由邻域面片中不同分辨率的多个面片的特征拼接获得。多重监督多重偏移模块的作用是利用多分辨率面片信息，多次计算点云的偏移量，由此达到更好的去噪效果。
具体的，将所有邻域面片输入训练获得的去噪神经网络模型中，即可输出的每个邻域面片的总偏移量。
S80、根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。
在具体实施过程中，在输出每个邻域面片的总偏移量后，直接利用现有的方法，对待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。
由此可见，本实施例的方法在采用神经网络方法的基础上，在模型训练中考虑点云的多分辨率的面片信息，避免了点云数据的细节信息丢失，使得训练获得的去噪神经网络模型获得的偏移量识别准确率更高，进而使得基于该偏移量的去噪效果更好；解决了现有方法仍然对点云的去噪效果不佳的技术问题，提高了对复杂点云数据的去噪效果。
由于不同的分辨率的情况下，提取目标细节的能力不同，为了应对复杂点云数据的去噪，本实施例的在神经网络模型中构造多分辨率的点云识别结构，对不同分辨率的特征进行多次计算，最后得到综合的偏移量，避免针对不同的点云数据分别去获取最优的分辨率，对不同的点云都能有更好的去噪效果，泛化能力强。
参见图4，本申请的实施例还提供一种模型训练方法，本实施例的方法可以在前述实施例的方法之前实施，该方法具体包括：
S102、获取训练集，所述训练集包括含噪点云数据；
在具体实施过程中，训练集一般包括若干数据质量较差的点云数据，即含噪声的点云数据。在本实施例中，还可以划分出测试集，用于模型训练后的测试。
具体的，在本实施例中，对所述点云数据添加五个不同尺度的高斯噪声，分别为0.25％,0.5％,1％,1.5％和2.5％。取其中75％作为训练集，25％作为测试集。训练过程中，在每一片点云中采用最远点采样选取8000个点。
S104、对所述含噪点云数据进行预处理，获得处理后的点云数据，其中，所述处理后的点云数据中的每个样本点的邻域内包括不同分辨率的多个样本面片；
在具体实施过程中，预处理是为了构造多分辨率的样本面片。
在一种可选的实施方式中，所述对所述含噪点云数据进行预处理，获得处理后的点云数据的步骤，包括：对所述含噪点云数据中的每个点，在样本点云模型的外接球内构造各点的样本面片邻域；其中，所述样本点云模型为所述点云数据构成的模型；在每个点的样本面片邻域内随机选取多个样本选取点，并基于多个所述样本选取点在所述样本点云模型的内接球内构造多个不同分辨率的样本面片，以获得处理后的点云数据。
具体的，对于每一个点，取样本点云模型外接球半径的5％构造面片邻域，在邻域内随机选取三个点，以3％半径大小的内接球构造多分辨率的样本面片。取其中的500个点作为输入。对于多于500个点的面片，随机采样500 个点；对于少于500个点的面片，重采样至500个点。
S106、利用所述处理后的点云数据，对初始去噪神经网络模型进行训练，以获得去噪神经网络模型。
在具体实施过程中，初始去噪神经网络模型为参数初始化的噪神经网络模型，作为一种可选的实施方式，与去噪神经网络模型对应的，所述初始去噪神经网络模型，包括：
与每个点的邻域内不同分辨率的样本面片数量对应的多个初始编码器，多个所述初始编码器用于分别提取不同分辨率的多个样本面片的特征；其中，所述初始编码器为多层感知机；
多重监督多重偏移模块，用于根据多个所述样本面片的拼接特征融合不同分辨率的多个样本面片的样本偏移量，以获得每个点的样本总偏移量。
具体的，编码器由五层共享多层感知机组成的定制PointNet网络提取三种不同邻域大小的特征，五层共享多层感知机的参数分别为([3,64]、[64,128]、 [128,256]、[256,512]、[512,512])。由于多分辨率面片点云信息来源于相同的点云邻域，因此，采用五层共享多层感知机更适合编码相同的点云信息。由五层共享多层感知机编码输出的特征信息更加具有一致性。三种不同分辨率的面片特征在经过拼接，由一个多重监督多重偏移模块融合不同分辨率面片的偏移量，得到最终的偏移量。多重监督多重偏移模块的作用是利用多分辨率面片信息，多次计算点云的偏移量，由此达到更好的去噪效果。
在构建好初始去噪神经网络模型后，将训练集作为网络输入，进行训练；训练过程中，建立基于Pytorch深度学习库搭建的损失函数和亚当(Adam) 优化器，经向前传播后，采用随机梯度下降法及反向传播算法进行神经网络的权重更新；在本实施例中，预设最大迭代训练次数50次，直到所述网络模型的损失值趋于收敛，则停止训练，即得到点云去噪网络模型。
具体地，设计网络损失函数，总的损失函数包括三个损失度量函数：
Lf＝L1+L2+L3,
其中，L1，L2，L3形式相同，但为不同分辨率面片监督的损失函数。
具体地，三个损失度量函数均为：
其中，η取0.97，Lrep为：
其中，
其中，φ(·)为点与真实值对应面片的欧氏距离相关性，距离越小则重要性权重越大；θ(·)为两点法线方向差异，越大越不重要，保留更多的细节信息。
由此可见，本实施例的训练方法，在采用神经网络方法的基础上，在模型训练中考虑点云的多分辨率的面片信息，避免了点云数据的细节信息丢失，使得训练获得的去噪神经网络模型获得的偏移量识别准确率更高，进而使得基于该偏移量的去噪效果更好；解决了现有方法仍然对点云的去噪效果不佳的技术问题，提高了对复杂点云数据的去噪效果。
由于不同的分辨率的情况下，提取目标细节的能力不同，为了应对复杂点云数据的去噪，本实施例的在神经网络模型中构造多分辨率的点云识别结构，对不同分辨率的特征进行多次计算，最后得到综合的偏移量，避免针对不同的点云数据分别去获取最优的分辨率，对不同的点云都能有更好的去噪效果，泛化能力强。
参见图5，本申请的实施例还提供一种点云去噪装置，所述装置包括：
数据获取模块，用于获取待去噪点云数据；
面片构建模块，用于构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片；
偏移确定模块，用于将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量；其中，所述去噪神经网络模型中包括多重监督多重偏移模块，所述多重监督多重偏移模块用于根据每个邻域面片的拼接特征融合不同分辨率的多个面片的偏移量，以获得每个邻域面片的总偏移量，所述拼接特征由邻域面片中不同分辨率的多个面片的特征拼接获得；
偏移处理模块，用于根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。
需要说明的是，本实施例中点云去噪装置中各模块是与前述实施例中的点云去噪方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述点云去噪方法的实施方式，这里不再赘述。
参见图6，本申请的实施例还提供一种模型训练装置，包括：
训练集获取模块，用于获取训练集，所述训练集包括含噪点云数据；
数据预处理模块，用于对所述含噪点云数据进行预处理，获得处理后的点云数据，其中，所述处理后的点云数据中的每个样本点的邻域内包括不同分辨率的多个样本面片；
模型训练模块，用于利用所述处理后的点云数据，对初始去噪神经网络模型进行训练，以获得去噪神经网络模型。
需要说明的是，本实施例中模型训练装置中各模块是与前述实施例中的模型训练方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述模型训练方法的实施方式，这里不再赘述。
此外，在一种实施例中，本申请还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现前述实施例中方法的步骤。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、 EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (13)
1.一种点云去噪方法，其特征在于，包括：
获取待去噪点云数据；
构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片；
将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量；其中，所述去噪神经网络模型中包括多重监督多重偏移模块，所述多重监督多重偏移模块用于根据每个邻域面片的拼接特征融合不同分辨率的多个面片的偏移量，以获得每个邻域面片的总偏移量，所述拼接特征由邻域面片中不同分辨率的多个面片的特征拼接获得；
根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。
2.如权利要求1所述的方法，其特征在于，所述构造所述点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片的步骤，包括：
对所述点云数据中的每个点，在点云模型的外接球内构造各点的面片邻域；其中，所述点云模型为所述点云数据构成的模型；
在每个点的面片邻域内随机选取多个选取点，并基于多个所述选取点在所述点云模型的内接球内构造多个不同分辨率的面片，以获得每个点的邻域面片。
3.如权利要求1所述的方法，其特征在于，所述去噪神经网络模型，还包括：
与每个点的邻域内不同分辨率的面片数量对应的多个训练获得的编码器，多个所述编码器用于分别提取不同分辨率的多个面片的特征；其中，所述编码器为多层感知机。
4.如权利要求1所述的方法，其特征在于，所述获取待去噪点云数据的步骤之前，所述方法还包括：
获取训练集，所述训练集包括含噪点云数据；
对所述含噪点云数据进行预处理，获得处理后的点云数据，其中，所述处理后的点云数据中的每个样本点的邻域内包括不同分辨率的多个样本面片；
利用所述处理后的点云数据，对初始去噪神经网络模型进行训练，以获得去噪神经网络模型。
5.如权利要求4所述的方法，其特征在于，所述对所述含噪点云数据进行预处理，获得处理后的点云数据的步骤，包括：
对所述含噪点云数据中的每个点，在样本点云模型的外接球内构造各点的样本面片邻域；其中，所述样本点云模型为所述点云数据构成的模型；
在每个点的样本面片邻域内随机选取多个样本选取点，并基于多个所述样本选取点在所述样本点云模型的内接球内构造多个不同分辨率的样本面片，以获得处理后的点云数据。
6.如权利要求4所述的方法，其特征在于，所述初始去噪神经网络模型，包括：
与每个点的邻域内不同分辨率的样本面片数量对应的多个初始编码器，多个所述初始编码器用于分别提取不同分辨率的多个样本面片的特征；其中，所述初始编码器为多层感知机；
多重监督多重偏移模块，用于根据多个所述样本面片的拼接特征融合不同分辨率的多个样本面片的样本偏移量，以获得每个点的样本总偏移量。
7.一种模型训练方法，其特征在于，包括：
获取训练集，所述训练集包括含噪点云数据；
对所述含噪点云数据进行预处理，获得处理后的点云数据，其中，所述处理后的点云数据中的每个样本点的邻域内包括不同分辨率的多个样本面片；
利用所述处理后的点云数据，对初始去噪神经网络模型进行训练，以获得去噪神经网络模型。
8.如权利要求7所述的方法，其特征在于，所述对所述含噪点云数据进行预处理，获得处理后的点云数据的步骤，包括：
对所述含噪点云数据中的每个点，在样本点云模型的外接球内构造各点的样本面片邻域；其中，所述样本点云模型为所述点云数据构成的模型；
在每个点的样本面片邻域内随机选取多个样本选取点，并基于多个所述样本选取点在所述样本点云模型的内接球内构造多个不同分辨率的样本面片，以获得处理后的点云数据。
9.如权利要求7所述的方法，其特征在于，所述初始去噪神经网络模型，包括：
与每个点的邻域内不同分辨率的样本面片数量对应的多个初始编码器，多个所述初始编码器用于分别提取不同分辨率的多个样本面片的特征；其中，所述初始编码器为多层感知机；
多重监督多重偏移模块，用于根据多个所述样本面片的拼接特征融合不同分辨率的多个样本面片的样本偏移量，以获得每个点的样本总偏移量。
10.一种点云去噪装置，其特征在于，包括：
数据获取模块，用于获取待去噪点云数据；
面片构建模块，用于构造所述待去噪点云数据中每个点的邻域内不同分辨率的多个面片，获得每个点的邻域面片；
偏移确定模块，用于将所有邻域面片输入训练获得的去噪神经网络模型，获得所述去噪神经网络模型输出的每个邻域面片的总偏移量；其中，所述去噪神经网络模型中包括多重监督多重偏移模块，所述多重监督多重偏移模块用于根据每个邻域面片的拼接特征融合不同分辨率的多个面片的偏移量，以获得每个邻域面片的总偏移量，所述拼接特征由邻域面片中不同分辨率的多个面片的特征拼接获得；
偏移处理模块，用于根据每个邻域面片的总偏移量，对所述待去噪点云数据中的每个点进行偏移处理，获得去噪后的点云数据。
11.一种模型训练装置，其特征在于，包括：
训练集获取模块，用于获取训练集，所述训练集包括含噪点云数据；
数据预处理模块，用于对所述含噪点云数据进行预处理，获得处理后的点云数据，其中，所述处理后的点云数据中的每个样本点的邻域内包括不同分辨率的多个样本面片；
模型训练模块，用于利用所述处理后的点云数据，对初始去噪神经网络模型进行训练，以获得去噪神经网络模型。
12.一种计算机设备，其特征在于，该计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如权利要求1-6或中权利要求7-9任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-6或中权利要求7-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111536671.6A CN114240779B (zh) | 2021-12-15 | 2021-12-15 | 一种点云去噪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111536671.6A CN114240779B (zh) | 2021-12-15 | 2021-12-15 | 一种点云去噪方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114240779A true CN114240779A (zh) | 2022-03-25 |
| CN114240779B CN114240779B (zh) | 2024-03-19 |
Family
ID=80756536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111536671.6A Active CN114240779B (zh) | 2021-12-15 | 2021-12-15 | 一种点云去噪方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240779B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115293995A (zh) * | 2022-10-08 | 2022-11-04 | 南京航空航天大学 | 一种基于Transformer的点云逐点去噪方法 |
| CN117197000A (zh) * | 2023-11-06 | 2023-12-08 | 武汉中观自动化科技有限公司 | 一种快速网格去噪方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599129A (zh) * | 2016-12-02 | 2017-04-26 | 山东科技大学 | 一种顾及地形特点的多波束点云数据去噪方法 |
| CN109767391A (zh) * | 2018-12-03 | 2019-05-17 | 深圳市华讯方舟太赫兹科技有限公司 | 点云去噪方法、图像处理设备及具有存储功能的装置 |
| US20210048515A1 (en) * | 2019-04-22 | 2021-02-18 | Hesai Photonics Technology Co., Ltd. | Method for identification of a noise point used for lidar, and lidar system |
-
2021
- 2021-12-15 CN CN202111536671.6A patent/CN114240779B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599129A (zh) * | 2016-12-02 | 2017-04-26 | 山东科技大学 | 一种顾及地形特点的多波束点云数据去噪方法 |
| CN109767391A (zh) * | 2018-12-03 | 2019-05-17 | 深圳市华讯方舟太赫兹科技有限公司 | 点云去噪方法、图像处理设备及具有存储功能的装置 |
| US20210048515A1 (en) * | 2019-04-22 | 2021-02-18 | Hesai Photonics Technology Co., Ltd. | Method for identification of a noise point used for lidar, and lidar system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115293995A (zh) * | 2022-10-08 | 2022-11-04 | 南京航空航天大学 | 一种基于Transformer的点云逐点去噪方法 |
| CN115293995B (zh) * | 2022-10-08 | 2023-03-24 | 南京航空航天大学 | 一种基于Transformer的点云逐点去噪方法 |
| CN117197000A (zh) * | 2023-11-06 | 2023-12-08 | 武汉中观自动化科技有限公司 | 一种快速网格去噪方法、装置及电子设备 |
| CN117197000B (zh) * | 2023-11-06 | 2024-03-19 | 武汉中观自动化科技有限公司 | 一种快速网格去噪方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114240779B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020078236A1 (zh) | 二维码生成方法、装置、存储介质及电子设备 | |
| CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN107392865B (zh) | 一种人脸图像的复原方法 | |
| CN114240779B (zh) | 一种点云去噪方法、装置、设备及存储介质 | |
| CN113159143A (zh) | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 | |
| CN110796250A (zh) | 应用于卷积神经网络的卷积处理方法、系统及相关组件 | |
| CN111402131B (zh) | 基于深度学习的超分辨率土地覆被分类图的获取方法 | |
| CN114332182A (zh) | 基于多特征约束的sar图像配准方法、设备和介质 | |
| CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
| CN111967478B (zh) | 一种基于权重翻转的特征图重构方法、系统、存储介质及终端 | |
| CN113297986A (zh) | 手写字符识别方法、装置、介质及电子设备 | |
| CN116229419A (zh) | 一种行人检测方法及装置 | |
| CN116091893A (zh) | 一种基于U-net网络的地震图像反褶积方法及系统 | |
| CN115982965A (zh) | 去噪扩散样本增量学习的碳纤维材料损伤检测方法及装置 | |
| CN115393423A (zh) | 目标检测方法和装置 | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN114463764A (zh) | 表格线检测方法、装置、计算机设备和存储介质 | |
| CN115439179A (zh) | 训练试衣模型的方法、虚拟试衣方法及相关装置 | |
| CN113971738A (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN114581353A (zh) | 一种红外图像的处理方法、装置、介质及电子设备 | |
| CN114241044A (zh) | 回环检测方法、装置、电子设备和计算机可读介质 | |
| CN110648320A (zh) | 骨龄获取方法及系统、服务器、计算机设备及介质 | |
| CN113032071A (zh) | 页面元素定位方法、页面测试方法、装置、设备和介质 | |
| CN112328584B (zh) | 多维时空谱数据融合方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |