CN117274072A - 一种基于二维多模态范围图像的点云去噪方法及装置 - Google Patents

一种基于二维多模态范围图像的点云去噪方法及装置 Download PDF

Info

Publication number
CN117274072A
CN117274072A CN202310953833.9A CN202310953833A CN117274072A CN 117274072 A CN117274072 A CN 117274072A CN 202310953833 A CN202310953833 A CN 202310953833A CN 117274072 A CN117274072 A CN 117274072A
Authority
CN
China
Prior art keywords
point cloud
offset
projection
processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310953833.9A
Other languages
English (en)
Inventor
王丽娟
李静
所辉
刘卓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Mechanical and Electrical College
Original Assignee
Guangdong Mechanical and Electrical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Mechanical and Electrical College filed Critical Guangdong Mechanical and Electrical College
Priority to CN202310953833.9A priority Critical patent/CN117274072A/zh
Publication of CN117274072A publication Critical patent/CN117274072A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于二维多模态范围图像的点云去噪方法及装置。其中，方法包括获取待去噪点云数据；对所述待去噪点云数据进行投影处理，得到投影图像；对所述投影图像进行特征信息插入处理，得到二维多模态范围图像；根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量；对所述预测偏移量进行反向投影处理，得到点云偏移；将所述点云偏移与所述去噪点云数据进行相加处理，得到目标点云数据。本发明实施例能够对完整的点云数据进行去噪处理，提高了点云去噪的处理效率，可广泛应用于点云去噪技术领域。

Description

一种基于二维多模态范围图像的点云去噪方法及装置
技术领域
本发明涉及点云去噪技术领域，尤其是一种基于二维多模态范围图像的点云去噪方法及装置。
背景技术
随着近年来传感器设备的飞速发展，点云数据在越来越多的领域中得到了广泛的应用。其中，点云去噪是一种常用的点云数据预处理方法，能够去除点云数据中的奇异噪点，为下游任务提供良好的数据支撑。相关技术中基于神经网络的点云去噪方法，需要将点云以逐点面片的形式输入到为网络模型中，大大增加了一片完整点云所需要的去噪时间。综合上述，相关技术中存在的技术问题亟需得到解决。
发明内容
有鉴于此，本发明实施例提供一种基于二维多模态范围图像的点云去噪方法及装置，以对点云数据进行快速去噪。
一方面，本发明提供了一种基于二维多模态范围图像的点云去噪方法，包括：
获取待去噪点云数据；
对所述待去噪点云数据进行投影处理，得到投影图像；
对所述投影图像进行特征信息插入处理，得到二维多模态范围图像；
根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量；
对所述预测偏移量进行反向投影处理，得到点云偏移；
将所述点云偏移与所述去噪点云数据进行相加处理，得到目标点云数据。
可选地，所述对所述待去噪点云数据进行投影处理，得到投影图像，包括：
获取所述去噪点云数据的三维坐标，并获取点云传感器的垂直视场；
根据所述点云传感器确定投影长度和投影宽度；
结合投影公式对所述三维坐标、垂直视场、投影长度和投影宽度进行投影计算处理，得到投影图像。
可选地，所述对所述投影图像进行特征信息插入处理，得到二维多模态范围图像，包括：
获取所述待去噪点云数据的强度信息；
对所述待去噪点云数据进行曲面拟合处理，得到法向信息；
对所述强度信息和所述法向信息进行结合处理，得到特征信息；
将所述特征信息插入到所述投影图像，得到二维多模态范围图像。
可选地，所述根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量，包括：
将所述二维多模态范围图像输入到所述二维卷积点云去噪模型，所述二维卷积点云去噪模型包括输入预处理卷积层、ResNet50神经网络和输出解码卷积层；
通过所述输入预处理卷积层对所述二维多模态范围图像进行特征更新处理，得到更新图像；
通过所述ResNet50神经网络对所述更新图像进行特征提取处理，得到图像特征；
通过所述输出解码卷积层对所述图像特征进行反卷积处理，得到预测偏移量。
可选地，所述对所述预测偏移量进行反向投影处理，得到点云偏移，包括：
获取点云传感器的焦距值，以及所述投影图像的像素坐标和深度值；
结合反向投影公式对所述预测偏移量、焦距值、像素坐标和深度值进行计算，得到点云偏移。
可选地，在所述根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理之前，所述方法还包括预先训练所述二维卷积点云去噪模型，具体包括：
获取预训练点云数据，并对所述预训练点云数据进行标注处理，得到训练数据集；
将所述训练数据集输入到所述二维卷积点云去噪模型，得到点云偏移量预测结果；
根据所述点云偏移量预测结果和所述训练数据集的标签确定训练的损失值；
根据所述损失值对所述二维卷积点云去噪模型的参数进行更新。
可选地，在所述通过所述ResNet50神经网络对所述更新图像进行特征提取处理之前，还包括对所述ResNet50神经网络进行预训练处理，包括：
通过ImageNet预训练模型对所述ResNet50神经网络进行初始化参数处理；
对所述ResNet50神经网络的全连接层进行去除处理。
另一方面，本发明实施例还提供了一种基于二维多模态范围图像的点云去噪装置，所述装置包括：
第一模块，用于获取待去噪点云数据；
第二模块，用于对所述待去噪点云数据进行投影处理，得到投影图像；
第三模块，用于对所述投影图像进行特征信息插入处理，得到二维多模态范围图像；
第四模块，用于根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量；
第五模块，用于对所述预测偏移量进行反向投影处理，得到点云偏移；
第六模块，用于将所述点云偏移与所述去噪点云数据进行相加处理，得到目标点云数据。
另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例通过将待去噪点云数据进行投影处理得到投影图像，通过二维卷积点云去噪模型对投影图像进行处理，能够对完整的点云数据进行去噪，提高了点云去噪的处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于二维多模态范围图像的点云去噪方法的流程图；
图2是本申请实施例提供的一种点云去噪神经网络模型的结构示意图；
图3是本申请实施例提供的一种二维卷积点云去噪模型的结构示意图；
图4是本申请实施例提供的一种基于二维多模态范围图像的点云去噪装置的结构示意图；
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先，对本申请中涉及的若干名词进行解析：
二维多模态范围图像：将三维点云通过球面投影，变换为二维图像储存，每个像素可以容纳多模态信息。
点云去噪：通过算法，去除原始点云中的奇异噪点，是一种点云数据预处理方法。
相关技术中的点云去噪方法分为两大类：第一类是传统的点云去噪方法，还可进一步细分为基于滤波、基于几何、基于统计等几小类。此类方法通常处理速度快，但难以适应多种类型的数据。第二类为基于深度学习模型的方法，此类方法相比传统方法去噪效果好，但也存在需要训练数据，通用性不强，处理速度慢等缺点。
有鉴于此，本申请实施例中提供一种基于二维多模态范围图像的点云去噪方法，本申请实施例中的点云去噪方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1，本发明实施例提供一种基于二维多模态范围图像的点云去噪方法，包括：
S101、获取待去噪点云数据；
S102、对所述待去噪点云数据进行投影处理，得到投影图像；
S103、对所述投影图像进行特征信息插入处理，得到二维多模态范围图像；
S104、根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量；
S105、对所述预测偏移量进行反向投影处理，得到点云偏移；
S106、将所述点云偏移与所述去噪点云数据进行相加处理，得到目标点云数据。
在本发明实施例中，通过点云传感器获取得到待去噪点云数据，点云传感器可包括激光雷达、立体摄像头、越渡时间相机。通过点云传感器采用自动化的方式测量在物体表面的大量的点的信息，然后通过数据文件输出得到待去噪的点云数据。然后对待去噪点云数据进行投影为2D多模态范围图像(2Dmultimodal range images)，其中，通过球面投影方法对待去噪点云数据进行投影处理得到投影图像，再在投影图像中加入特征信息得到二维多模态范围图像，以便于进一步提升神经网络的去噪效果。将二维多模态范围图像输入到二维卷积点云去噪模型，输出得到预测偏移量。最后对预测偏移量进行反向投影处理得到点云偏移，再将点云偏移与去噪点云数据进行相加处理，得到目标点云数据，该目标点云数据为经过点云去噪处理后的点云数据。
参照图2，输入点云去噪神经网络模型的待去噪点云，大小为N×3，其中N为点云点的数量，3为三个坐标(x,y,z)。对该待去噪点云进行投影得到大小为H×W×8的2D多模态范围图像，其中，H为二维多模态范围图像的高，W为二维多模态范围图像的宽。将2D多模态范围图像输入到2D卷积点云去噪神经网络，输出得得到大小为H×W×3的预测偏移，对该预测偏移进行反投影处理，得到大小为N×3的点云偏移，将该点云偏移与待去噪点云进行偏移相加，输出得到大小为N×3的已去噪点云。
进一步作为可选的实施方式，上述步骤S102中，所述对所述待去噪点云数
据进行投影处理，得到投影图像，包括：
获取所述去噪点云数据的三维坐标，并获取点云传感器的垂直视场；
根据所述点云传感器确定投影长度和投影宽度；
结合投影公式对所述三维坐标、垂直视场、投影长度和投影宽度进行投影计算处理，得到投影图像。
在本发明实施例中，获取去噪点云数据的三维坐标以及点云传感器的垂直视场，根据点云传感器能够确定投影长度和投影宽度。在一种可行的实施例中，点云传感器采用激光雷达，将该激光雷达的激光数量设置为投影图像的宽度，并根据该激光雷达的最大水平分辨率计算得到激光获取得到的点数，将该点数设置为投影图像的宽度。本发明实施例还可以对投影长度和投影宽度设置为2的倍数，以便后续神经网络进行处理。然后结合投影公式对所述三维坐标、垂直视场、投影长度和投影宽度进行投影计算处理，得到投影图像，投影公式如下所示：
其中，H,W分别表示生成的二维多模态范围图像的长度和宽度。f＝fu+fd，表示获取点云的传感器的垂直视场，fu表示最大视场，fd表示最小视场。u与v分别表示计算得到的二维投影图像坐标。d表示待去噪点云数据中每个点与原点的欧氏距离，计算过程如下：
本发明实施例通过该投影公式将待去噪点云数据投影至二维平面，得到投影图像，能够对该投影图像进行一次性去噪处理，从而提高了点云去噪的处理效率。
进一步作为可选的实施方式，上述步骤S103中，所述对所述投影图像进行特征信息插入处理，得到二维多模态范围图像，包括：
获取所述待去噪点云数据的强度信息；
对所述待去噪点云数据进行曲面拟合处理，得到法向信息；
对所述强度信息和所述法向信息进行结合处理，得到特征信息；
将所述特征信息插入到所述投影图像，得到二维多模态范围图像。
在本发明实施例中，特征信息为额外附加的信息，用于提升点云的去噪效果，该特征信息可以设置为(r,dx,dy,dz)，将该特征信息额外添加到待去噪点云数据中每一个点上。其中r为每一个点的强度信息，(dx,dy,dz)为每一个点的法向信息。本发明实施例采用基于曲面拟合的点云法矢方法求解得到法向信息，对所述强度信息和所述法向信息进行结合处理得到特征信息，再将所述特征信息插入到所述投影图像，得到二维多模态范围图像。法向信息指示了该点所在位置的表面的方向和朝向，而噪声点的法向信息通常较为突出，在二维多模态范围图像中加入法向信息，有助于进一步提升神经网络的去噪效果。本方法可以在二维多模态范围图像中插入任意额外特征信息，增强方法的鲁棒性。
进一步作为可选的实施方式，所述根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量，包括：
将所述二维多模态范围图像输入到所述二维卷积点云去噪模型，所述二维卷积点云去噪模型包括输入预处理卷积层、ResNet50神经网络和输出解码卷积层；
通过所述输入预处理卷积层对所述二维多模态范围图像进行特征更新处理，
得到更新图像；
通过所述ResNet50神经网络对所述更新图像进行特征提取处理，得到图像特征；
通过所述输出解码卷积层对所述图像特征进行反卷积处理，得到预测偏移量。
参照图3，所述二维卷积点云去噪模型包括输入预处理卷积层、ResNet50神经网络和输出解码卷积层。其中输入预处理卷积层是将点云二维多模态范围图像进行特征更新处理，通过所述输入预处理卷积层对所述二维多模态范围图像进行特征更新处理得到更新图像，将图像的特征处理作为适合ResNet50神经网络的输入。输入预处理卷积层由三层3×3大小的二维卷积构成。第二部分为ResNet50神经网络，Resnet50神经网络中包含了49个卷积层、一个全连接层。通过所述ResNet50神经网络对所述更新图像进行特征提取处理，得到图像特征。输出解码卷积层由五层反卷积构成，主要作用为将ResNet50神经网络的输出，重新处理为输入图像的大小，即H×W×3。通过所述输出解码卷积层对所述图像特征进行反卷积处理，得到预测偏移量。
进一步作为可选的实施方式，所述对所述预测偏移量进行反向投影处理，得到点云偏移，包括：
获取点云传感器的焦距值，以及所述投影图像的像素坐标和深度值；
结合反向投影公式对所述预测偏移量、焦距值、像素坐标和深度值进行计算，得到点云偏移。
在本发明实施例中，该点云传感器为立体相机，首先获取该立体相机的焦距值，以及投影图形的像素坐标和深度值，结合反向投影公式对所述预测偏移量、焦距值、像素坐标和深度值进行计算，得到点云偏移。其中，反向投影公式为：
z′＝z
其中，(x,y)是图像中的像素坐标，(x',y',z')是点云中的坐标，(cx,cy)是相机光心在图像中的坐标，(fx,fy)是相机的焦距，z是深度值。(x-cx)以及(y-cy)可以表示为预测偏移量。最后将将点云偏移与输入待去噪点云进行点对点相加，即完成了点云去噪处理。
进一步作为可选的实施方式，在所述根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理之前，所述方法还包括预先训练所述二维卷积点云去噪模型，具体包括：
获取预训练点云数据，并对所述预训练点云数据进行标注处理，得到训练数据集；
将所述训练数据集输入到所述二维卷积点云去噪模型，得到点云偏移量预测结果；
根据所述点云偏移量预测结果和所述训练数据集的标签确定训练的损失值；
根据所述损失值对所述二维卷积点云去噪模型的参数进行更新。
在本发明实施例中，获取预训练点云数据，并对所述预训练点云数据进行标注处理，得到训练数据集。需要注意的是，本发明实施例还可以对预训练点云数据进行标注处理后的数据集进行划分处理，得到训练集、验证集和测试集。其中，使用训练集训练基于二维多模态范围图像的点云去噪模型，直至模型损失值收敛，根据验证集性能保存模型参数，使用已训练好的基于二维多模态范围图像的点云去噪模型对测试集的点云数据进行去噪。可以将训练数据集输入到初始化后的点云杆塔识别模型中进行训练。具体地，将训练数据集中的数据输入到初始化后的二维卷积点云去噪模型后，可以得到模型输出的预测结果，即点云偏移量预测结果，可以根据点云偏移量预测结果和前述的标签来评估识别模型预测的准确性，从而对模型的参数进行更新。对于二维卷积点云去噪模型来说，模型预测结果的准确性可以通过损失函数(Loss Function)来衡量，损失函数是定义在单个训练数据上的，用于衡量一个训练数据的预测误差，具体是通过单个训练数据的标签和模型对该训练数据的预测结果确定该训练数据的损失值。而实际训练时，一个训练数据集有很多训练数据，因此一般采用代价函数(Cost Function)来衡量训练数据集的整体误差，代价函数是定义在整个训练数据集上的，用于计算所有训练数据的预测误差的平均值，能够更好地衡量出模型的预测效果。对于一般的机器学习模型来说，基于前述的代价函数，再加上衡量模型复杂度的正则项即可作为训练的目标函数，基于该目标函数便能求出整个训练数据集的损失值。常用的损失函数种类有很多，例如0-1损失函数、平方损失函数、绝对损失函数、对数损失函数、交叉熵损失函数等均可以作为机器学习模型的损失函数，在此不再一一阐述。本申请实施例中，可以采用均方误差损失函数或者从上述损失函数中任选一种损失函数来确定训练的损失值。基于训练的损失值，采用反向传播算法对模型的参数进行更新，迭代几轮即可得到训练好的点云杆塔识别模型。具体地迭代轮数可以预先设定，或者在测试集达到精度要求时认为训练完成。
进一步作为可选的实施方式，在所述通过所述ResNet50神经网络对所述更新图像进行特征提取处理之前，还包括对所述ResNet50神经网络进行预训练处理，包括：
通过ImageNet预训练模型对所述ResNet50神经网络进行初始化参数处理；
对所述ResNet50神经网络的全连接层进行去除处理。
在本发明实施例中，采用了ImageNet预训练模型初始化参数，并去除了ResNet50神经网络的全连接层。本发明实施例通过对预训练模型的使用，能够提高训练效果，使训练过程更快、更稳定。
另一方面，参照图4，本发明实施例还提供了一种基于二维多模态范围图像的点云去噪装置，所述装置包括：
第一模块401，用于获取待去噪点云数据；
第二模块402，用于对所述待去噪点云数据进行投影处理，得到投影图像；
第三模块403，用于对所述投影图像进行特征信息插入处理，得到二维多模态范围图像；
第四模块404，用于根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量；
第五模块405，用于对所述预测偏移量进行反向投影处理，得到点云偏移；
第六模块406，用于将所述点云偏移与所述去噪点云数据进行相加处理，得到目标点云数据。
参照图5,，本发明实施例还提供了一种电子设备，包括处理器501以及存储器502；所述存储器用于存储程序；所述处理器执行所述程序实现如前面所述的方法。
与图1的方法相对应，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
综上所述，本发明实施例具有以下优点：本发明实施例采用基于二维多模态范围图像的点云去噪模型，提高了点云数据去噪的通用性和实用性。另外，本发明实施例基于二维多模态范围图像的点云去噪模型中，将点云投影为2D多模态范围图像，能够进行整片点云一次性去噪处理，提高了点云去噪的效率。并且本发明实施例点云去噪模型的训练速度快，通过使用成熟的2D卷积预训练模型，更快得到训练稳定的点云去噪模型。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于二维多模态范围图像的点云去噪方法，其特征在于，所述方法包括：
获取待去噪点云数据；
对所述待去噪点云数据进行投影处理，得到投影图像；
对所述投影图像进行特征信息插入处理，得到二维多模态范围图像；
根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量；
对所述预测偏移量进行反向投影处理，得到点云偏移；
将所述点云偏移与所述去噪点云数据进行相加处理，得到目标点云数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述待去噪点云数据进行投影处理，得到投影图像，包括：
获取所述去噪点云数据的三维坐标，并获取点云传感器的垂直视场；
根据所述点云传感器确定投影长度和投影宽度；
结合投影公式对所述三维坐标、垂直视场、投影长度和投影宽度进行投影计算处理，得到投影图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述投影图像进行特征信息插入处理，得到二维多模态范围图像，包括：
获取所述待去噪点云数据的强度信息；
对所述待去噪点云数据进行曲面拟合处理，得到法向信息；
对所述强度信息和所述法向信息进行结合处理，得到特征信息；
将所述特征信息插入到所述投影图像，得到二维多模态范围图像。
4.根据权利要求1所述的方法，其特征在于，所述根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量，包括：
将所述二维多模态范围图像输入到所述二维卷积点云去噪模型，所述二维卷积点云去噪模型包括输入预处理卷积层、ResNet50神经网络和输出解码卷积层；
通过所述输入预处理卷积层对所述二维多模态范围图像进行特征更新处理，得到更新图像；
通过所述ResNet50神经网络对所述更新图像进行特征提取处理，得到图像特征；
通过所述输出解码卷积层对所述图像特征进行反卷积处理，得到预测偏移量。
5.根据权利要求1所述的方法，其特征在于，所述对所述预测偏移量进行反向投影处理，得到点云偏移，包括：
获取点云传感器的焦距值，以及所述投影图像的像素坐标和深度值；
结合反向投影公式对所述预测偏移量、焦距值、像素坐标和深度值进行计算，得到点云偏移。
6.根据权利要求1至5任一项所述的方法，其特征在于，在所述根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理之前，所述方法还包括预先训练所述二维卷积点云去噪模型，具体包括：
获取预训练点云数据，并对所述预训练点云数据进行标注处理，得到训练数据集；
将所述训练数据集输入到所述二维卷积点云去噪模型，得到点云偏移量预测结果；
根据所述点云偏移量预测结果和所述训练数据集的标签确定训练的损失值；
根据所述损失值对所述二维卷积点云去噪模型的参数进行更新。
7.根据权利要求4所述的方法，其特征在于，在所述通过所述ResNet50神经网络对所述更新图像进行特征提取处理之前，还包括对所述ResNet50神经网络进行预训练处理，包括：
通过ImageNet预训练模型对所述ResNet50神经网络进行初始化参数处理；
对所述ResNet50神经网络的全连接层进行去除处理。
8.一种基于二维多模态范围图像的点云去噪装置，其特征在于，所述装置包括：
第一模块，用于获取待去噪点云数据；
第二模块，用于对所述待去噪点云数据进行投影处理，得到投影图像；
第三模块，用于对所述投影图像进行特征信息插入处理，得到二维多模态范围图像；
第四模块，用于根据预先训练完成的二维卷积点云去噪模型对所述二维多模态范围图像进行偏移量预测处理，得到预测偏移量；
第五模块，用于对所述预测偏移量进行反向投影处理，得到点云偏移；
第六模块，用于将所述点云偏移与所述去噪点云数据进行相加处理，得到目标点云数据。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；
所述存储器用于存储程序；
所述处理器执行所述程序实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202310953833.9A 2023-07-31 2023-07-31 一种基于二维多模态范围图像的点云去噪方法及装置 Pending CN117274072A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310953833.9A CN117274072A (zh) 2023-07-31 2023-07-31 一种基于二维多模态范围图像的点云去噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310953833.9A CN117274072A (zh) 2023-07-31 2023-07-31 一种基于二维多模态范围图像的点云去噪方法及装置

Publications (1)

Publication Number Publication Date
CN117274072A true CN117274072A (zh) 2023-12-22

Family

ID=89201582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310953833.9A Pending CN117274072A (zh) 2023-07-31 2023-07-31 一种基于二维多模态范围图像的点云去噪方法及装置

Country Status (1)

Country Link
CN (1) CN117274072A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710243A (zh) * 2024-02-05 2024-03-15 法奥意威(苏州)机器人系统有限公司 点云去噪方法、装置、电子设备及可读存储介质
CN117934858A (zh) * 2024-03-21 2024-04-26 之江实验室 一种点云的处理方法、装置、存储介质及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710243A (zh) * 2024-02-05 2024-03-15 法奥意威(苏州)机器人系统有限公司 点云去噪方法、装置、电子设备及可读存储介质
CN117710243B (zh) * 2024-02-05 2024-05-28 法奥意威(苏州)机器人系统有限公司 点云去噪方法、装置、电子设备及可读存储介质
CN117934858A (zh) * 2024-03-21 2024-04-26 之江实验室 一种点云的处理方法、装置、存储介质及电子设备
CN117934858B (zh) * 2024-03-21 2024-06-04 之江实验室 一种点云的处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN117274072A (zh) 一种基于二维多模态范围图像的点云去噪方法及装置
Xu et al. Multi-scale geometric consistency guided and planar prior assisted multi-view stereo
CN107577979B (zh) DataMatrix型二维码快速识别方法、装置及电子设备
CN113221925B (zh) 一种基于多尺度图像的目标检测方法及装置
CN109063776B (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
Jeon et al. Ring difference filter for fast and noise robust depth from focus
CN110766708B (zh) 基于轮廓相似度的图像比较方法
CN110969089A (zh) 噪声环境下的轻量级人脸识别系统及识别方法
Kong et al. Local Stereo Matching Using Adaptive Cross‐Region‐Based Guided Image Filtering with Orthogonal Weights
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN113935925B (zh) 气动光学效应空变模糊图像复原方法及系统
Uddin et al. A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss
Mishkin et al. Two-view matching with view synthesis revisited
CN116817887B (zh) 语义视觉slam地图构建方法、电子设备及存储介质
Lin et al. Matching cost filtering for dense stereo correspondence
Qi et al. Fast and robust homography estimation method with algebraic outlier rejection
CN114626118A (zh) 建筑物室内模型生成方法及装置
CN114549429B (zh) 基于超图结构的深度数据质量评价方法及装置
CN113066165B (zh) 多阶段无监督学习的三维重建方法、装置和电子设备
CN114820755A (zh) 一种深度图估计方法及系统
CN114742868A (zh) 一种点云配准的方法、装置以及电子设备
López‐Quintero et al. Mixing body‐parts model for 2D human pose estimation in stereo videos
CN113051901A (zh) 一种身份证文本识别方法、系统、介质及电子终端
CN112084874A (zh) 一种物体检测方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination