CN116503282A - 基于流形的挖掘机施工环境场点云去噪方法及系统 - Google Patents

基于流形的挖掘机施工环境场点云去噪方法及系统 Download PDF

Info

Publication number
CN116503282A
CN116503282A CN202310479030.4A CN202310479030A CN116503282A CN 116503282 A CN116503282 A CN 116503282A CN 202310479030 A CN202310479030 A CN 202310479030A CN 116503282 A CN116503282 A CN 116503282A
Authority
CN
China
Prior art keywords
manifold
point
noise
local
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310479030.4A
Other languages
English (en)
Inventor
李正磊
王书新
唐相猛
潘为刚
胡浩
王宁
虢力源
赵钰钰
刘子阳
高珅琦
董兴学
徐飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN202310479030.4A priority Critical patent/CN116503282A/zh
Publication of CN116503282A publication Critical patent/CN116503282A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Excavating Of Shafts Or Tunnels (AREA)

Abstract

本发明公开了基于流形的挖掘机施工环境场点云去噪方法及系统，属于挖掘机环境感知技术领域。本发明提出了一种在未知场景和未知噪声类型下，基于流形中逐点噪声水平的端到端自适应去噪网络，在K‑Nearest Neighbor(KNN)构造的局部流形中提取流形特征，以流形特征为输入，通过残差网络预测每个点不同噪声水平下的噪声偏移量。根据联合偏移函数，拟合流形中每个点周围K个邻居点噪声偏移量，拟合后的偏移量通过梯度上升，直到噪声点回到清洁表面完成去噪。能够对不规则和无序的高噪声点云进行降噪，且保留细节特征；解决了现有技术中存在“点云数据去噪容易丢失细节特征”的问题。

Description

基于流形的挖掘机施工环境场点云去噪方法及系统
技术领域
本发明涉及挖掘机环境感知技术领域，特别是涉及基于流形的挖掘机施工环境场点云去噪方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
为保障挖掘机在河滩、陡坡、洼地等复杂施工环境下的施工安全，不断提高施工作业精度与效率，智能化、自主化已成为挖掘机的主要发展趋势。针对传统挖掘机施工环境复杂，为保障人员安全，通过激光雷达对周围环境实时感知，然而受施工环境以及传感器本身影响，激光雷达采集的原始点云数据不可避免地包含噪声与异常值。
点云去噪对于复杂施工环境下的高精度环境感知具有不可或缺的重要作用，点云的不规则性和无序性使得点云去噪相比于二维图像更加困难。传统的去噪方法严重依赖于几何先验或噪声先验，同时在处理高噪声的点云时出现过平滑丢失细节特征现象，这对于挖掘机施工的复杂场景下环境感知极为不利。
随着第一个直接处理点云的深度学习框架PointNet出现，大量优秀的点云去噪方法得以实现，早期基于深度学习的点云去噪方法通常通过预测噪声点与潜在清洁表面的偏移量来去噪。但是这类方法往往会产生两类伪影，这是由于在高噪声水平下偏移量估计不准确造成的，即估计过度点云收缩，估计过少异常值残留。
发明内容
为了解决现有技术的不足，本发明提供了基于流形的挖掘机施工环境场点云去噪方法、系统、电子设备及计算机可读存储介质，在未知场景和未知噪声类型下，基于流形中逐点噪声水平的端到端自适应去噪网络，进行点云去噪。
第一方面，本发明提供了基于流形的挖掘机施工环境场点云去噪方法；
基于流形的挖掘机施工环境场点云去噪方法，包括：
获取挖掘机施工环境场点云数据，将挖掘机施工环境场点云数据分割为二维曲面流形，以二维曲面流形中每个点为中心，构造局部流形；
基于二维曲面流形，提取每个点的多尺度图特征和噪声级分数，基于局部流形，提取中心点的边缘特征和密度特征；
根据局部流形中中心点的多尺度图特征、噪声级分数、边缘特征和密度特征，计算局部流形中所有点的噪声偏移量；
根据噪声偏移量，构造联合偏移函数，基于联合偏移函数拟合得到局部流形中心点的噪声偏移量，通过多轮迭代获取去噪后的挖掘机施工环境场点云数据。
进一步的，所述基于二维曲面流形，提取每个点的多尺度图特征和噪声级分数包括：
为每个点在不同尺度上构建四层密集的动态图卷积堆栈，将二维曲面流形输入动态图卷积堆栈，提取不同尺度下的输出特征；其中，当前层的输出特征为下一层的输入；
将不同尺度下的输出特征进行拼接，获取每个点的多尺度图特征；
将二维曲面流形中每个点的多尺度图特征映射到一维，获取一维特征值；对一维特征值进行归一化处理，获取每个点的噪声级分数。
进一步的，所述基于局部流形，提取中心点的边缘特征和密度特征包括：
计算局部流形的中心点及其K个相邻点的相对坐标，根据相对坐标，通过多层感知机，提取中心点的边缘特征；
计算局部流形的中心点及其K个相邻点之间的距离及距离的平均值，根据距离的平均值，通过多层感知机，获取中心点的密度。
进一步的，所述局部流形中所有点的噪声偏移量表示为
其中，为预测的噪声偏移量，Vector为用于估计噪声偏移量的残差网络，γi为局部流形中心点的噪声级分数，ρi为局部流形中心点的密度特征，hi为局部流形中心点的多尺度图特征，eij为局部流形中心点的边缘特征。
进一步的，所述基于联合偏移函数，拟合得到局部流形中心点的噪声偏移量，通过多轮迭代获取去噪后的挖掘机施工环境场点云数据包括：
基于联合偏移函数，获取局部流形中心点的多个相邻点的噪声偏移量的均值；
使用相邻点噪声偏移量的均值代替中心点噪声偏移量，通过对所有局部流形中心点噪声偏移量进行梯度上升，更新二维曲面流形中每个点的位置，获取去噪后的挖掘机施工环境场点云数据。
进一步的，所述联合偏移函数为
其中，νi(x)为局部流形中心点的K个相邻点噪声偏移量的均值，KNN(xi)是中心点的K个相邻点，为中心点的K个相邻点的噪声偏移量。
进一步的，还包括：
计算局部流形中每个点到地面真值清洁点云的噪声偏移量，构造损失函数，以使噪声偏移量与地面真实噪声偏移量一致。
优选的，所述损失函数为
其中，L(i)为局部流形各点的预测偏移量与真实偏移量之间的损失，KNNN(xi)为三维点云空间中集中在xi的分布，V(Xi)表示点xi到地面真值清洁点云Y的噪声偏移量。
第二方面，本发明提供了基于流形的挖掘机施工环境场点云去噪系统；
基于流形的挖掘机施工环境场点云去噪系统，包括：
局部流形构造模块，用于获取挖掘机施工环境场点云数据，将挖掘机施工环境场点云数据分割为二维曲面流形，以二维曲面流形中每个点为中心，构造局部流形；
流形特征提取模块，用于基于二维曲面流形，提取每个点的多尺度图特征和噪声级分数，基于局部流形，提取中心点的边缘特征和密度特征；
流形自适应去噪模块，用于根据局部流形中中心点的多尺度图特征、噪声级分数、边缘特征和密度特征，计算局部流形中所有点的噪声偏移量；根据噪声偏移量，构造联合偏移函数，基于联合偏移函数拟合得到局部流形中心点的噪声偏移量，通过多轮迭代获取去噪后的挖掘机施工环境场点云数据。
第三方面，本发明提供了一种电子设备；
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述基于流形的挖掘机施工环境场点云去噪方法的步骤。
第四方面，本发明提供了一种计算机可读存储介质；
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于流形的挖掘机施工环境场点云去噪方法的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明提供的技术方案，给定噪声点云作为输入，首先使用点云聚类分割算法KMeans将点云变换为一组二维曲面流形，提取每个点的多尺度图特征、噪声级分数。以曲面流形中的每个点为中心构建局部流形，提取中心点的边缘特征、密度特征。以4种流形特征为输入，通过残差网络预测局部流形中不同噪声水平点的噪声偏移量。我们的网络针对局部流形中逐点进行预测学习噪声偏移量，而不是点云本身，从而缩小了3D几何表示的潜在空间，提升了网络对于不同形状点云噪声水准的预测准确性与泛化能力，确保下游任务去噪同时保留干净点云，最大程度保留了原始点云信息。
2、本发明提供的技术方案，提取了局部流形中心点的多尺度图特征、噪声水平分数、边缘特征和密度特征，这四个特征从不同角度描述了含有噪声的局部流形，以保证噪声偏移量的准确估计。
3、本发明提供的技术方案，使用联合偏移函数，即相邻点噪声偏移的均值替换当前局部流形中心点的位移，最后通过对所有局部流形中心点多轮迭代完成去噪，不同于之前方法基于单个点预测噪声偏移量，增强了鲁棒性，且减小估计偏差。
4、本发明提供的技术方案，计算局部流形中每个点到地面真值清洁点云的噪声偏移量，构造损失函数，以使预测噪声偏移量与地面真实噪声偏移量一致。
不同于以前方法只考虑单个点的损失，提出了中心点附近整个局部流形损失代替中心点损失，这使得本发明的方法对于噪声偏移量训练估计更加鲁棒。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例提供的自适应去噪网络结构示意图；
图2为本发明实施例提供的多尺度图特征提取示意图；
图3为本发明实施例提供的流形边缘特征提取示意图；
图4为本发明实施例提供的自适应去噪的流程示意图；
图5为本发明实施例提供的本实施例的方法与其他算法在受1％、2％、3％高斯噪声干扰的PU-Net数据集下去噪结果的视觉对比示意图；
图6为本发明实施例提供的本实施例的方法与其他算法在受10％、15％、20％离散噪声干扰的PU-Net数据集下去噪结果的视觉对比示意图；
图7为本发明实施例提供的本实施例的方法与其他算法在受5％、10％、15％均匀噪声干扰的PU-Net数据集去噪算法的视觉对比示意图；
图8为本发明实施例提供的本实施例的方法与其他算法在受2.5％、3.75％、5％拉普斯噪声干扰的PU-Net数据集去噪算法的视觉对比示意图；
图9为本发明实施例提供的本实施例的方法与其他算法在巴黎街道数据集Paris-rue-Madame去噪方法的视觉比较示意图；
图10为本发明实施例提供的本实施例的方法与其他算法在自动驾驶数据集KITTI去噪方法的视觉比较示意图
图11为本发明实施例提供的本实施例的方法与其他算法在高斯噪声下的去噪算法定量比较结果示例图；
图12为本发明实施例提供的本实施例的方法与其他算法在离散噪声的去噪算法定量比较结果示例图；
图13为本发明实施例提供的本实施例的方法与其他算法在均匀噪声的去噪算法定量比较结果示例图；
图14为本发明实施例提供的本实施例的方法与其他算法在拉普拉斯噪声下的去噪算法定量比较结果示例图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
现有技术中的点云去噪方法，通常通过预测噪声点与潜在清洁表面的偏移量来去噪，会导致点云过度收缩或异常值残留；因此，如图1所示，本发明提供了基于流形的挖掘机施工环境场点云去噪方法，将点云的去噪任务转化为曲面流形的重构。
接下来，结合图1-图14对本实施例公开的基于流形的挖掘机施工环境场点云去噪方法进行详细说明。基于流形的挖掘机施工环境场点云去噪方法，包括如下步骤：
S1、获取挖掘机施工环境场点云数据，将挖掘机施工环境场点云数据分割为二维曲面流形，以二维曲面流形中每个点为中心，构造局部流形。具体的，使用点云聚类分割算法Kmeans将挖掘机施工环境场点云数据变换为一组二维曲面流形，并以曲面流形中的每个点为中心，采用KNN(K-Nearest Neighbor)算法构建以曲面流形中每个点为中心包含附近K个点的局部流形。
S2、基于二维曲面流形，提取每个点的多尺度图特征和噪声级分数，基于局部流形，提取中心点的边缘特征和密度特征；这四个特征从不同角度描述了含有噪声的局部流形。具体步骤包括：
S201、为每个点在不同尺度上构建四层密集的动态图卷积堆栈，将二维曲面流形输入动态图卷积堆栈，提取不同尺度下的输出特征；其中，当前层的输出特征为下一层的输入。具体来说，如图2所示，从一组包含噪声的流形逐点学习多尺度图特征；为每个点利用KNN算法在不同尺度上构建了一个四层密集的动态图卷积(DGCNN)堆栈，当前层的输出特征/>是下一层的输入。特征计算如下:
其中，Xl表示当前层的输出特征，l表示当前层数，取值为1到4,G为DGCNN,X为包含噪声的二维曲面流形，RELU表示最大激活函数，max为最大池函数，N(i)表示xi的邻域，MLPθ为密连通多层感知器(MLP)，θ表示可学习权值和偏置参数矩阵。
为了提取具有更丰富上下文信息的特征，多个DGCNN密集连接:
Xl＝G([Xl-1,...X1])
其中，Xl,...X1表示逐层输出特征,[...]表示多层密集链接。
为了获取不同尺度下的信息，改变KNN聚合邻居数，重复上述操作提取不同尺度的特征
最后，对多个尺度下的特征进行拼接，得到多尺度图特征:
其中，H表示多尺度图特征，表示不同尺度下多层图卷积密集链接后的输出特征，[...]表示不同尺度下的特征链接。
S202、将二维曲面流形中每个点的多尺度图特征映射到一维，获取一维特征值；对一维特征值进行归一化处理，获取每个点的噪声级分数。
具体的，以二维曲面流形逐点的多尺度图特征作为输入来计算噪声级分数/>
首先，将特征值通过MLP映射到一维，然后对映射的特征值进行归一化，表示如下：
γi＝RELU(BatchNorm(MLPθ(H)))
其中，γi为逐点噪声级分数，MLPθ(H)为从H∈RN×F到H∈RN×3的特征映射，BatchNorm为特征归一化，归一化可以提高训练速度和模型精度。
S203、计算局部流形的中心点及其相邻点的相对坐标，根据相对坐标，获取中心点的边缘特征。
具体的，如图3所示，计算局部流形中心点与其相邻点之间的相对坐标xi-xj＝(xj-xi,yj-yi,zj-zi)，然后根据相对坐标MLP得到中心点的边缘特征：
eij＝MLPθ(xi,xj)
其中，eij为局部流形的中心点的边缘特征，xi为局部流形的中心点，xj为局部流形中心点的相邻点。
S204、计算局部流形的中心点及其相邻点之间距离，根据局部流形的中心点及其相邻点之间距离，获取中心点的密度特征。
具体的，首先，利用KNN计算局部流形中心点与其最近K个邻居点之间距离D，计算方法如下:
Xj＝KNN(xi,K)
ρi＝MLPθ(D)
其中，Xj为K个最近邻居,K为相邻点的数目,D为中心点与其相邻点之间的距离，ρi为中心点的密度。
S3、根据局部流形中中心点的多尺度图特征、噪声级分数、边缘特征和密度特征，计算局部流形中所有点的噪声偏移量。
具体的，为了保证噪声点移动到干净的下垫面，噪声偏移量计算如下:
其中，为预测的噪声偏移量，Vector为用于估计噪声偏移的残差网络，γi为中心点的噪声级分数，ρi为中心点的密度特征，hi为中心点的多尺度图特征，eij为中心点的边缘特征。
S4、根据噪声偏移量，构造联合偏移函数，基于联合偏移函数拟合得到局部流形中心点的噪声偏移量，通过多轮迭代获取去噪后的挖掘机施工环境场点云数据。
为了增强鲁棒性和减少估计偏差，使用联合偏移函数进行去噪，联合偏移函数如下：
其中，是中心点的K个相邻点的噪声偏移量，νi(x)为中心点K个相邻点噪声偏移量的均值，即中心点的噪声偏移量。
如图4所示，点云去噪相当于对噪声偏移量梯度上升更新每个点的位置，直到它上升到干净的下垫面:
其中，t表示梯度上升回合数,ηt表示第t步的步长，x(t) i表示点xi在梯度上升t次后的位置，x(t-1) i表示点xi在t-1次梯度上升后的位置。
进一步的，为了使网络的预测噪声偏移量与地面真实噪声偏移量一致，构造损失函数。
首先，计算局部流形中每个点到地面真相点云的噪声偏移量:
Vi(x)＝KNN(xi,Y)-xi
其中，V(xi)表示噪声点到地面真值点云的噪声偏移量，Y表示干净点云，KNN(xi,Y)表示Y中距离xi最近的点。
然后，构造损失函数：
其中，KNNN(xi)为局部流形中心点附近K个相邻点，V(Xi)为相邻点xi到地面真值清洁点云Y的噪声偏移量。L为局部流形最终损失，即中心点附近K个相邻点损失的均值。
为了更好的验证本实施例中方法的先进性，进行实验并与现存的去噪方法进行定性和定量的比较。
对于定量测试，使用PU-Net测试集(20个形状)，首先以10K和50K的分辨率对每个网格进行采样得到点云，然后使用K-means算法将点云分割成一组流形，并最后使用包括高斯在内的各种噪声模型噪声，拉普噪声，均匀噪声和离散噪声评估我们模型的性能。最终去噪效果如图11-图14所示，图11为高斯噪声下的去噪算法定量比较，CD乘以104，P2M乘以104，图12为离散噪声下的去噪算法定量比较，CD乘以104P2M乘以104，图13为均匀噪声的去噪算法定量比较，CD乘以104P2M乘以104，图14为拉普拉斯噪声下的去噪算法定量比较，CD乘以104P2M乘以104。
本实施例的结果在大多数情况下均优于基于深度学习的方法和传统方法。不同于以往的工作，本实施例不仅在标准差为1％-3％的低高斯噪声水平下进行了对比，还在其他噪声模型受更高噪声干扰的情况下进行了详细的对比实验。实验结果证明随着噪声水平增加时，效果依然显著，证明了基于流形学习的自适应去噪网络可以学习到更复杂的特征，在高噪声水平下去噪具有更强的鲁棒性。
对于定性测试，除了上面提到的各种合成噪声外，本实施例还使用了巴黎街道数据集和无人驾驶数据集KITTI进行视觉评价。这些数据集是用激光从现实世界中获得的。合成噪声的去噪结果如图5-图8所示，本实施例提出的方法与竞争算法在高斯噪声，拉普拉斯噪声，均匀噪声和离散噪声对比可以看出，本实施例的结果更清晰，更有视觉吸引力。值得注意的是，与其他算法相比，无论是深度学习还是传统算法，本实施例的方法在去噪时更好地保存细节，并且对异常值去除更为彻底。真实世界噪声的去噪结果如图9-图10所示，图9为巴黎街道数据集Paris-rue-Madame下去噪结果，与Score比，本实施例的方法在保留详细特征的同时实现了更完整的噪声去除。与DMR相比，本实施例的边，角和其他详细的几何特征得到了更好的预处理，不会过于光滑。图10为自动驾驶领域数据集KITTI下去噪结果，本实施例将本实施例的方法与Score进行比较，与巴黎街道数据集Paris-rue-Madame的结论是一致的，本实施例的方法更加完美了去噪。
实施例二
本实施例公开了基于流形的挖掘机施工环境场点云去噪系统，包括：
局部流形构造模块，用于获取挖掘机施工环境场点云数据，将挖掘机施工环境场点云数据分割为二维曲面流形，以二维曲面流形中每个点为中心，构造局部流形；
流形特征提取模块，用于基于二维曲面流形，提取每个点的多尺度图特征和噪声级分数，基于局部流形，提取中心点的边缘特征和密度特征；
流形自适应去噪模块，用于根据局部流形中中心点的多尺度图特征、噪声级分数、边缘特征和密度特征，计算局部流形中所有点的噪声偏移量；根据噪声偏移量，构造联合偏移函数，基于联合偏移函数拟合得到局部流形中心点的噪声偏移量，通过多轮迭代获取去噪后的挖掘机施工环境场点云数据。此处需要说明的是，上述局部流形构造模块、流形特征提取模块和流形自适应去噪模块对应于实施例一中的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述基于流形的挖掘机施工环境场点云去噪方法的步骤。
实施例四
本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述基于流形的挖掘机施工环境场点云去噪方法的步骤。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于流形的挖掘机施工环境场点云去噪方法，其特征在于，包括：
获取挖掘机施工环境场点云数据，将挖掘机施工环境场点云数据分割为二维曲面流形，以二维曲面流形中每个点为中心，构造局部流形；
基于二维曲面流形，提取每个点的多尺度图特征和噪声级分数，基于局部流形，提取中心点的边缘特征和密度特征；
根据局部流形中中心点的多尺度图特征、噪声级分数、边缘特征和密度特征，计算局部流形中所有点的噪声偏移量；
根据噪声偏移量，构造联合偏移函数，基于联合偏移函数拟合得到局部流形中心点的噪声偏移量，通过多轮迭代获取去噪后的挖掘机施工环境场点云数据。
2.如权利要求1所述的基于流形的挖掘机施工环境场点云去噪方法，其特征在于，所述基于二维曲面流形，提取每个点的多尺度图特征和噪声级分数包括：
为每个点在不同尺度上构建四层密集的动态图卷积堆栈，将二维曲面流形输入动态图卷积堆栈，提取不同尺度下的输出特征；其中，当前层的输出特征为下一层的输入；
将不同尺度下的输出特征进行拼接，获取每个点的多尺度图特征；
将二维曲面流形中每个点的多尺度图特征映射到一维，获取一维特征值；对一维特征值进行归一化处理，获取每个点的噪声级分数。
3.如权利要求1所述的基于流形的挖掘机施工环境场点云去噪方法，其特征在于，所述基于局部流形，提取中心点的边缘特征和密度特征包括：
计算局部流形的中心点及其K个相邻点的相对坐标，根据相对坐标，通过多层感知机，提取中心点的边缘特征；
计算局部流形的中心点及其K个相邻点之间的距离及距离的平均值，根据距离的平均值，通过多层感知机，获取中心点的密度。
4.如权利要求1所述的基于流形的挖掘机施工环境场点云去噪方法，其特征在于，所述局部流形中所有点的噪声偏移量表示为
其中，为预测的噪声偏移量，Vector为用于估计噪声偏移量的残差网络，γi为局部流形中心点的噪声级分数，ρi为局部流形中心点的密度特征，hi为局部流形中心点的多尺度图特征，eij为局部流形中心点的边缘特征。
5.如权利要求1所述的基于流形的挖掘机施工环境场点云去噪方法，其特征在于，所述基于联合偏移函数，拟合得到局部流形中心点的噪声偏移量，通过多轮迭代获取去噪后的挖掘机施工环境场点云数据包括：
基于联合偏移函数，获取相局部流形中心点的多个相邻点的噪声偏移量的均值；
使用相邻点噪声偏移量的均值代替中心点噪声偏移量，通过对所有局部流形中心点噪声偏移量进行梯度上升，更新二维曲面流形中每个点的位置，获取去噪后的挖掘机施工环境场点云数据；
进一步的，所述联合偏移函数为
其中，νi(x)为局部流形中心点的K个相邻点噪声偏移量的均值，KNN(xi)是中心点的K个相邻点，为中心点的K个相邻点的噪声偏移量。
6.如权利要求1所述的基于流形的挖掘机施工环境场点云去噪方法，其特征在于，计算局部流形中每个点到地面真值清洁点云的噪声偏移量，构造损失函数，以使噪声偏移量与地面真实噪声偏移量一致。
7.如权利要求6所述的基于流形的挖掘机施工环境场点云去噪方法，其特征在于，所述损失函数为
其中，L(i)为局部流形各点的预测偏移量与真实偏移量之间的损失，KNNN(xi)为三维点云空间中集中在xi的分布，V(Xi)表示点xi到地面真值清洁点云Y的噪声偏移量。
8.基于流形的挖掘机施工环境场点云去噪系统，其特征在于，包括：
局部流形构造模块，用于获取挖掘机施工环境场点云数据，将挖掘机施工环境场点云数据分割为二维曲面流形，以二维曲面流形中每个点为中心，构造局部流形；
流形特征提取模块，用于基于二维曲面流形，提取每个点的多尺度图特征和噪声级分数，基于局部流形，提取中心点的边缘特征和密度特征；
流形自适应去噪模块，用于根据局部流形中中心点的多尺度图特征、噪声级分数、边缘特征和密度特征，计算局部流形中所有点的噪声偏移量；根据噪声偏移量，构造联合偏移函数，基于联合偏移函数拟合得到局部流形中心点的噪声偏移量，通过多轮迭代获取去噪后的挖掘机施工环境场点云数据。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的步骤。
CN202310479030.4A 2023-04-24 2023-04-24 基于流形的挖掘机施工环境场点云去噪方法及系统 Pending CN116503282A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310479030.4A CN116503282A (zh) 2023-04-24 2023-04-24 基于流形的挖掘机施工环境场点云去噪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310479030.4A CN116503282A (zh) 2023-04-24 2023-04-24 基于流形的挖掘机施工环境场点云去噪方法及系统

Publications (1)

Publication Number Publication Date
CN116503282A true CN116503282A (zh) 2023-07-28

Family

ID=87317902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310479030.4A Pending CN116503282A (zh) 2023-04-24 2023-04-24 基于流形的挖掘机施工环境场点云去噪方法及系统

Country Status (1)

Country Link
CN (1) CN116503282A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117891160A (zh) * 2024-03-13 2024-04-16 陕西西高电气科技有限公司 一种开关柜智能控制系统及方法
CN117891160B (zh) * 2024-03-13 2024-05-31 陕西西高电气科技有限公司 一种开关柜智能控制系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117891160A (zh) * 2024-03-13 2024-04-16 陕西西高电气科技有限公司 一种开关柜智能控制系统及方法
CN117891160B (zh) * 2024-03-13 2024-05-31 陕西西高电气科技有限公司 一种开关柜智能控制系统及方法

Similar Documents

Publication Publication Date Title
CN111190981B (zh) 一种三维语义地图的构建方法、装置、电子设备及存储介质
US11274922B2 (en) Method and apparatus for binocular ranging
CN107369166B (zh) 一种基于多分辨率神经网络的目标跟踪方法及系统
CN107292234B (zh) 一种基于信息边缘和多模态特征的室内场景布局估计方法
CN104657740B (zh) 用于分割环境模型的占用栅格的方法和设备
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN110991444B (zh) 面向复杂场景的车牌识别方法及装置
EP3905194A1 (en) Pose estimation method and apparatus
CN108182695B (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN110838122B (zh) 点云的分割方法、装置及计算机存储介质
CN102169581A (zh) 一种基于特征向量的快速高精度鲁棒性匹配方法
CN114663502A (zh) 物体姿态估计、图像处理方法及相关设备
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
CN111008631A (zh) 图像的关联方法及装置、存储介质和电子装置
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN110472640B (zh) 一种目标检测模型预测框处理方法及装置
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN115631210A (zh) 一种边缘检测方法及装置
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN108492308B (zh) 一种基于相互结构引导滤波的变分光流的确定方法及系统
CN114820755B (zh) 一种深度图估计方法及系统
CN116403062A (zh) 一种点云目标检测方法、系统、设备及介质
CN116503282A (zh) 基于流形的挖掘机施工环境场点云去噪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination