CN115587943B - 点云数据的去噪方法、装置、电子设备及存储介质 - Google Patents
点云数据的去噪方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115587943B CN115587943B CN202211229751.1A CN202211229751A CN115587943B CN 115587943 B CN115587943 B CN 115587943B CN 202211229751 A CN202211229751 A CN 202211229751A CN 115587943 B CN115587943 B CN 115587943B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- target object
- image segmentation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000003709 image segmentation Methods 0.000 claims abstract description 73
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种点云数据的去噪方法、装置、电子设备及存储介质，该方法包括：获取多个第一点云数据及多个图像分割结果，多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；利用语义分割算法，在多个第一点云数据中，确定目标物体对应的第二点云数据；对第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据多个点云投影图像及多个图像分割结果，确定目标物体对应的目标点云数据。该方法用以解决现有的点云数据的去噪方法导致电子设备无法准确获取目标物体对应的点云数据的缺陷，实现借助点云数据与图像分割结果相互监督，降低对单一视角下图像分割精度的过度依赖，从而有效提高确定目标物体对应的目标点云数据的准确性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种点云数据的去噪方法、装置、电子设备及存储介质。
背景技术
近些年来计算机科学技术飞速发展，虚拟现实与计算机图形学等技术进一步推动了增强现实等技术的出现。这些新兴技术无一不对高质量的三维点云数据(简称：点云数据)有着迫切的需求，特别是在工业领域中，由于存在高精度等指标需求，更是对点云数据质量有着严格的限制。
电子设备利用相机获得的目标物体对应的点云数据容易受该相机、该目标物体所在环境和该目标物体表面特性等影响，不可避免存在一些噪声数据。现有的点云数据的去噪方法有两种，分别为有序点云去噪及散乱点云去噪。在前者方法中：点云数据在空间中的以有序结构组织，即是有序点云。目前常用的处理方法可以包括：滤波法、全局能量法、观察法、曲线检查法、弦高差法等。这些方法拥有各自的优势，但现有的电子设备收集的点云数据往往以无序点云居多。而后者方法包括的数据驱动去噪算法，由于引入了神经网络技术，得到了众多研究者的关注。电子设备可以从大量训练样本中学习点云数据的数据特征，从而优化该点云数据，这样就能够得到超越以往大部分方法的效果，然而，由于神经网络没有考虑多层次的数据信息，也会容易导致点云数据的去噪效果不佳。
综上，无论是哪种现有的点云数据的去噪方法，都会具有一定的局限性，从而容易导致电子设备无法准确获取到目标物体对应的点云数据。
发明内容
本发明提供一种点云数据的去噪方法、装置、电子设备及存储介质，用以解决现有的点云数据的去噪方法无法准确获取到目标物体对应的点云数据的缺陷，实现借助点云数据与图像分割结果相互监督，降低对单一视角下图像分割精度的过度依赖，从而有效提高确定目标物体对应的目标点云数据的准确性。
本发明提供一种点云数据的去噪方法，包括：
获取多个第一点云数据及多个图像分割结果，该多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；
利用语义分割算法，在该多个第一点云数据中，确定该目标物体对应的第二点云数据；
对该第二点云数据进行拼接及投影转换，得到多个点云投影图像；
根据该多个点云投影图像及该多个图像分割结果，确定该目标物体对应的目标点云数据。
根据本发明提供的一种点云数据的去噪方法，该对该第二点云数据进行拼接及投影转换，得到多个点云投影图像，包括：在世界坐标系下，将该第二点云数据进行拼接，得到拼接点云数据；将该拼接点云数据投影至该相机对应的图像坐标系下，得到多个点云投影图像。
根据本发明提供的一种点云数据的去噪方法，该根据该多个点云投影图像及该多个图像分割结果，确定该目标物体对应的目标点云数据，包括：确定该多个点云投影图像对应的第一像素及该多个图像分割结果对应的第二像素；对该第一像素及该第二像素求交集，得到目标像素，并确定该目标像素对应的第三点云数据；对该第三点云数据进行拼接，得到该目标物体对应的目标点云数据。
根据本发明提供的一种点云数据的去噪方法，该获取多个第一点云数据及多个图像分割结果，包括：获取多个第一点云数据及多个待处理图像，该多个待处理图像是该采集设备在不同角度下对该目标物体进行拍摄得到的；利用图像分割算法，对该多个待处理图像进行分割，得到多个图像分割结果。
根据本发明提供的一种点云数据的去噪方法，该利用图像分割算法，对该多个待处理图像进行分割，得到多个图像分割结果，包括：对该多个待处理图像进行去噪处理，得到多个去噪图像；利用图像分割算法，对该多个去噪图像进行分割，得到多个图像分割结果。
根据本发明提供的一种点云数据的去噪方法，该第二点云数据为该相机对应的相机坐标系下的点云数据，该在世界坐标系下，将该第二点云数据进行拼接，得到拼接点云数据，包括：根据坐标转换矩阵，将该第二点云数据从该相机坐标系转换到世界坐标系，并将该世界坐标系下的第二点云数据进行拼接，得到拼接点云数据。
根据本发明提供的一种点云数据的去噪方法，该将该第二点云数据进行拼接，得到拼接点云数据，包括：将该第二点云数据进行拼接，得到待处理点云数据；对该待处理点云数据进行去重处理，得到拼接点云数据。
本发明还提供一种点云数据的去噪装置，包括：
获取模块，用于获取多个第一点云数据及多个图像分割结果，该多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；
确定模块，用于利用语义分割算法，在该多个第一点云数据中，确定该目标物体对应的第二点云数据；对该第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据该多个点云投影图像及该多个图像分割结果，确定该目标物体对应的目标点云数据。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述点云数据的去噪方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述点云数据的去噪方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述点云数据的去噪方法。
本发明提供的点云数据的去噪方法、装置、电子设备及存储介质，通过获取多个第一点云数据及多个图像分割结果，所述多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；利用语义分割算法，在所述多个第一点云数据中，确定所述目标物体对应的第二点云数据；对所述第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据所述多个点云投影图像及所述多个图像分割结果，确定所述目标物体对应的目标点云数据。该方法用以解决现有的点云数据的去噪方法，都会具有一定的局限性，从而容易导致电子设备无法准确获取到目标物体对应的点云数据的缺陷，实现借助点云数据与图像分割结果相互监督，降低对单一视角下图像分割精度的过度依赖，从而有效提高确定目标物体对应的目标点云数据的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的点云数据的去噪方法的流程示意图；
图2是本发明提供的点云数据的去噪装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例涉及的电子设备可以包括：计算机、移动终端及可穿戴设备等。
本发明实施例涉及的采集设备可以是彩色-深度(Red Green Blue-Depth，RGB-D)相机。
该RGB-D相机不仅可以获取目标物体对应的彩色图像，还可以确定该彩色图像中每个像素与该RGB-D相机之间的实际距离值，也即，该RGB-D相机能够获取该目标物体对应的点云数据。
其中，点云数据是三维数据，可以包括至少一个三维向量；
目标物体可以是生物(例如：人、动物及植物等)，也可以是非生物(礼物：房屋、车辆及公路等)，此处不作具体限定。
可选的，RGB-D相机可以设于上述电子设备中，也可以与该电子设备通过无线通信技术进行连接，此处不作具体限定。
可选的，该无线通信技术可以包括但不限于以下其中一项：第四代通讯技术(the4Generation mobile communication technology，4G)、第五代通讯技术(the5Generation mobile communication technology，5G)及无线保真技术(WirelessFidelity，WiFi)等。
需要说明的是，本发明实施例涉及的执行主体可以是点云数据的去噪装置，也可以是电子设备，下面以电子设备为例对本发明实施例进行进一步地说明。
如图1所示，是本发明提供的点云数据的去噪方法的流程示意图，可以包括：
101、获取多个第一点云数据及多个图像分割结果。
其中，多个第一点云数据是采集设备在不同拍摄角度(简称：角度)下对目标物体进行拍摄得到的；
图像分割结果指的是电子设备将不同角度下的图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标数据。
可选的，相机的数量不限。
在相机的数量为1个的情况下，电子设备可以利用该采集设备在不同角度下对目标物体进行拍摄，得到多个第一点云数据。
其中，每个角度对应一个第一点云数据。也就是说，该采集设备在多少个角度下对该目标物体进行拍摄，电子设备就会得到多少个第一点云数据。
示例性的，电子设备可以利用采集设备在目标物体的正面对该目标物体进行拍摄，得到正视视角所对应的第一点云数据；该电子设备还可以利用该采集设备在该目标物体的俯视视角对该目标物体进行拍摄，得到该俯视视角所对应的第一点云数据，这样一来，该电子设备利用同一个相机能够获得该目标物体对应的两个第一点云数据。
在相机的数量为多个的情况下，这多个相机可以分别位于目标物体的不同角度，电子设备可以利用各个采集设备在对应角度下对目标物体进行拍摄，得到多个第一点云数据。
其中，每个相机对应一个角度，每个角度对应一个第一点云数据。也就是说，有多少个相机，电子设备就会获得多少个角度下的第一点云数据。
示例性的，有两个相机，分别为第一相机及第二相机，该第一相机位于目标物体的左面，该第二相机位于该目标物体的右面。然后，电子设备可以利用该第一相机对该目标物体进行拍摄，得到该目标物体的左面所对应的第一点云数据，同样的，该电子设备可以利用该第二相机获取该目标物体的右面所对应的第一点云数据，这样一来，该电子设备利用这两个不同的相机，可以获取两个角度下的第一点云数据，即获取两个第一点云数据。
可选的，每个第一点云数据中三维向量的数量可以是相同的，也可以是不同的，此处不作具体限定。
综上，无论相机的数量是多少个，电子设备都可以利用该相机，准确得到目标物体在不同角度下的第一点云数据。
需要说明的是，电子设备获取不同角度下的第一点云数据的时序不限；该电子设备获取不同角度下的图像分割结果的时序不限；该电子设备获取多个第一点云数据与获取多个图像分割结果的时序不限。
在一些实施例中，电子设备获取多个第一点云数据及多个图像分割结果，包括：电子设备获取多个第一点云数据及多个待处理图像；该电子设备利用图像分割算法，对多个待处理图像进行分割，得到多个图像分割结果。
其中，多个待处理图像是采集设备在不同角度下对目标物体进行拍摄得到的彩色图像；
图像分割算法指的是电子设备将不同角度下的待处理图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标数据的技术，该图像分割算法可以看作是对待处理图像进行标记的过程，即把属于同一区域的像素赋予相同的编号。
可选的，图像分割算法可以包括但不限于：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法及基于特定理论的分割方法等。
电子设备在获取了不同角度下的待处理图像之后，可以利用图像分割算法，分别对各个待处理图像中的像素进行标记，准确得到这些待处理图像分别对应的图像分割结果。
示例性的，假设待处理图像中包括大树和房屋。电子设备在获取该待处理图像之后，可以先确定该待处理图像中的像素，并对该像素进行划分，将属于大树的像素进行第一编号，将属于房屋的像素进行第二编号，最后，该电子设备基于该第一编号及该第二编号，就可以得到该待处理图像对应的图像分割结果。
需要说明的是，无论相机的数量是多少个，电子设备都可以利用该相机，得到目标物体在不同角度下的待处理图像，此外，相机获取了多少个待处理图像，电子设备就可以确定多少个图像分割结果。
在一些实施例中，电子设备利用图像分割算法，对多个待处理图像进行分割，得到多个图像分割结果，包括：电子设备对多个待处理图像进行去噪处理，得到多个去噪图像；该电子设备利用图像分割算法，对多个去噪图像进行分割，得到多个图像分割结果。
电子设备在获取了多个待处理图像之后，由于这多个待处理图像可能存在噪声，导致这多个待处理图像中的目标物体不够准确，所以，该电子设备可以利用预设滤波器对这多个待处理图像进行去噪处理，得到多个较为准确的去噪图像，该去噪图像中的目标物体也会较为准确；然后，该电子设备再利用图像分割算法，对这多个去噪图像进行分割，准确得到多个图像分割结果。
可选的，预设滤波器可以包括但不限于：均值滤波器、自适应维纳滤波器及形态学噪声滤波器等。
102、利用语义分割算法，在多个第一点云数据中，确定目标物体对应的第二点云数据。
其中，语义分割算法指的是电子设备对多个第一点云数据的不同语义像素进行分组或分割。
可选的，语义分割算法可以包括但不限于：全卷积神经网络(FullyConvolutional Neural Network，FCNN)及金字塔场景解析网络(Pyramid Scene Parsing-Network，PSP-Net)等。
由于第一点云数据中可能会存在不属于目标物体对应的点云数据，所以，电子设备利用语义分割算法，可以先确定该第一点云数据对应像素所表达的语义含义；然后，该电子设备可以将各个不同语义含义的像素进行分组，准确得到该目标物体对应的像素；接着，该电子设备基于该目标物体对应的像素，可以准确确定该目标物体对应的第二点云数据，以达到有效去除第一点云数据中噪点数据的目的。也就是说，该电子设备利用语义分割算法，在第一点云数据中，能够准确确定目标物体对应的第二点云数据。然后，该电子设备对每一个第一点云数据都进行像素分割，就可以得到该目标物体对应的多个第二点云数据。
需要说明的是，有多少个第一点云数据，电子设备利用语义分割算法，就可以得到多少个第二点云数据，每个第二点云数据都是较为准确的。
103、对第二点云数据进行拼接及投影转换，得到多个点云投影图像。
其中，点云投影图像是图像坐标系下的二维图像，也即，该点云投影图像是二维数据。
电子设备对第二点云数据进行拼接及投影转换的过程，就是将三维数据转换成二维数据的过程。
需要说明的是，有多少个第二点云数据，电子设备就可以得到多少个点云投影图像。
在一些实施例中，电子设备对第二点云数据进行拼接及投影转换，得到多个点云投影图像，包括：电子设备在世界坐标系下，将第二点云数据进行拼接，得到拼接点云数据；该电子设备将拼接点云数据投影至相机对应的图像坐标系下，得到多个点云投影图像。
其中，世界坐标系指的是场景中所有对象的通用坐标系，该对象可以包括：相机及目标物体等；
图像坐标系的原点为相机光轴与相机获取图像平面的交点，通常情况下是图像平面的中点(principal point)。该图像坐标系的单位是毫米(mm)，属于物理单位，该图像坐标系是一个二维坐标。
电子设备在获取不同角度下第二点云数据之后，需要将这多个第二点云数据在同一个坐标系下，即在世界坐标系下进行拼接，得到拼接点云数据，该拼接点云数据可以更为全面地体现目标物体的特征；然后，该电子设备再将该拼接点云数据投影至相机对应的图像坐标系下，得到不同图像坐标系下的点云投影图像。
在相机的数量为1个的情况下，可以将相机还原至获取第一点云数据的拍摄角度，这样一来，电子设备基于同一个相机，可以在不同角度下得到多个图像坐标系；该电子设备在获取拼接点云数据之后，就可以将该拼接点云数据分别投影至不同角度下的图像坐标系中，以得到多个点云投影图像；
在相机的数量为多个的情况下，电子设备可以直接将拼接点云数据分别投影至各个相机对应的图像坐标系下，得到多个点云投影图像。
在一些实施例中，第二点云数据为相机对应的相机坐标系下的点云数据，电子设备在世界坐标系下，将第二点云数据进行拼接，得到拼接点云数据，包括：电子设备根据坐标转换矩阵，将第二点云数据从相机坐标系转换到世界坐标系，并将世界坐标系下的第二点云数据进行拼接，得到拼接点云数据。
其中，相机坐标系的原点为相机光心；该相机坐标系的x轴与y轴分别与相机获取的图像的X、Y轴平行；该相机坐标系的z轴为相机光轴，z轴与上述图像平面垂直，该z轴与该图像平面的交点，即为图像坐标系的原点，构成的直角坐标系称为相机坐标系。
该世界坐标系及该相机坐标系都是三维坐标系。
由于第二点云数据为相机对应的相机坐标系下的点云数据，所以，该电子设备需要先基于坐标转换矩阵，将相机坐标系下的第二点云数据进行坐标转换，得到世界坐标系下的点云数据，并将该世界坐标系下的点云数据进行拼接，得到拼接点云数据。
然后，该电子设备再将该拼接点云数据进行坐标转换，得到各个相机坐标系下的点云数据，并将该各个相机坐标系下的点云数据，转换到图像坐标系下，即可得到二维的多个点云投影图像。
在一些实施例中，电子设备将第二点云数据进行拼接，得到拼接点云数据，包括：电子设备将第二点云数据进行拼接，得到待处理点云数据；该电子设备对待处理点云数据进行去重处理，得到拼接点云数据。
电子设备将第二点云数据进行拼接，得到待处理点云数据；由于该待处理点云数据可能存在重复的点云数据，导致该待处理点云数据不够准确，所以，该电子设备可以再对该待处理点云数据进行去重处理，得到较为准确的拼接点云数据。
104、根据多个点云投影图像及多个图像分割结果，确定目标物体对应的目标点云数据。
在一些实施例中，电子设备根据多个点云投影图像及多个图像分割结果，确定目标物体对应的目标点云数据，包括：电子设备确定多个点云投影图像对应的第一像素及多个图像分割结果对应的第二像素；该电子设备对第一像素及第二像素求交集，得到目标像素，并确定目标像素对应的第三点云数据；该电子设备对第三点云数据进行拼接，得到目标物体对应的目标点云数据。
其中，点云投影图像的数量与图像分割结果的数量是相同的。
电子设备在获取多个点云投影图像及多个图像分割结果之后，可以确定这多个点云投影图像对应的第一像素及这多个图像分割结果对应的第二像素；然后，该电子设备将该第一像素与该第二像素进行比对，确定相同的像素，即该电子设备对该第一像素及该第二像素求交集，得到不同角度下的目标像素，这样可以剔除不属于目标物体的噪点像素，从而准确确定目标物体对应的像素；接着，该电子设备再将不同角度下像素对应的第三点云数据进行拼接，准确得到该目标物体对应的目标点云数据。
可选的，电子设备对第三点云数据进行拼接，得到目标物体对应的目标点云数据，可以包括：电子设备在世界坐标系下，对第三点云数据进行拼接，得到目标物体对应的目标点云数据。
电子设备可以将各个相机坐标系下的第三点云数据进行坐标转换，得到世界坐标系下的第三点云数据，并将该世界坐标系下的第三点云数据进行拼接，就能够准确得到目标物体对应的目标点云数据。
在本发明实施例中，获取多个第一点云数据及多个图像分割结果，多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；利用语义分割算法，在多个第一点云数据中，确定目标物体对应的第二点云数据；对第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据多个点云投影图像及多个图像分割结果，确定目标物体对应的目标点云数据。该方法用以解决现有的点云数据的去噪方法，都会具有一定的局限性，从而容易导致电子设备无法准确获取到目标物体对应的点云数据的缺陷，实现借助点云数据与图像分割结果相互监督，降低对单一视角下图像分割精度的过度依赖，从而有效提高确定目标物体对应的目标点云数据的准确性。
下面对本发明提供的点云数据的去噪装置进行描述，下文描述的点云数据的去噪装置与上文描述的点云数据的去噪方法可相互对应参照。
如图2所示，是本发明提供的点云数据的去噪装置的结构示意图，可以包括：
获取模块201，用于获取多个第一点云数据及多个图像分割结果，该多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；
确定模块202，用于利用语义分割算法，在该多个第一点云数据中，确定该目标物体对应的第二点云数据；对该第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据该多个点云投影图像及该多个图像分割结果，确定该目标物体对应的目标点云数据。
可选的，确定模块202，具体用于在世界坐标系下，将该第二点云数据进行拼接，得到拼接点云数据；将该拼接点云数据投影至该相机对应的图像坐标系下，得到多个点云投影图像。
可选的，确定模块202，具体用于确定该多个点云投影图像对应的第一像素及该多个图像分割结果对应的第二像素；对该第一像素及该第二像素求交集，得到目标像素，并确定该目标像素对应的第三点云数据；对该第三点云数据进行拼接，得到该目标物体对应的目标点云数据。
可选的，获取模块201，具体用于获取多个第一点云数据及多个待处理图像，该多个待处理图像是该采集设备在不同角度下对该目标物体进行拍摄得到的；
确定模块202，具体用于利用图像分割算法，对该多个待处理图像进行分割，得到多个图像分割结果。
可选的，确定模块202，具体用于对该多个待处理图像进行去噪处理，得到多个去噪图像；利用图像分割算法，对该多个去噪图像进行分割，得到多个图像分割结果。
可选的，该第二点云数据为该相机对应的相机坐标系下的点云数据，确定模块202，具体用于根据坐标转换矩阵，将该第二点云数据从该相机坐标系转换到世界坐标系，并将该世界坐标系下的第二点云数据进行拼接，得到拼接点云数据。
可选的，确定模块202，具体用于将该第二点云数据进行拼接，得到待处理点云数据；对该待处理点云数据进行去重处理，得到拼接点云数据。
如图3所示，是本发明提供的电子设备的结构示意图，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行点云数据的去噪方法，该方法包括：获取多个第一点云数据及多个图像分割结果，该多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；利用语义分割算法，在该多个第一点云数据中，确定该目标物体对应的第二点云数据；对该第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据该多个点云投影图像及该多个图像分割结果，确定该目标物体对应的目标点云数据。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的点云数据的去噪方法，该方法包括：获取多个第一点云数据及多个图像分割结果，该多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；利用语义分割算法，在该多个第一点云数据中，确定该目标物体对应的第二点云数据；对该第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据该多个点云投影图像及该多个图像分割结果，确定该目标物体对应的目标点云数据。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的点云数据的去噪方法，该方法包括：获取多个第一点云数据及多个图像分割结果，该多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的；利用语义分割算法，在该多个第一点云数据中，确定该目标物体对应的第二点云数据；对该第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据该多个点云投影图像及该多个图像分割结果，确定该目标物体对应的目标点云数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种点云数据的去噪方法，其特征在于，包括：
获取多个第一点云数据及多个图像分割结果，所述多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的，每个所述图像分割结果是对待处理图像进行像素分割得到的，所述待处理图像是所述采集设备在不同角度下对所述目标物体进行拍摄得到的；
利用语义分割算法，在所述多个第一点云数据中，确定所述目标物体对应的第二点云数据；
对所述第二点云数据进行拼接及投影转换，得到多个点云投影图像；
根据所述多个点云投影图像及所述多个图像分割结果，确定所述目标物体对应的目标点云数据。
2.根据权利要求1所述的方法，其特征在于，所述对所述第二点云数据进行拼接及投影转换，得到多个点云投影图像，包括：
在世界坐标系下，将所述第二点云数据进行拼接，得到拼接点云数据；
将所述拼接点云数据投影至相机对应的图像坐标系下，得到多个点云投影图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述多个点云投影图像及所述多个图像分割结果，确定所述目标物体对应的目标点云数据，包括：
确定所述多个点云投影图像对应的第一像素及所述多个图像分割结果对应的第二像素；
对所述第一像素及所述第二像素求交集，得到目标像素，并确定所述目标像素对应的第三点云数据；
对所述第三点云数据进行拼接，得到所述目标物体对应的目标点云数据。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述获取多个第一点云数据及多个图像分割结果，包括：
获取多个第一点云数据及多个待处理图像，所述多个待处理图像是所述采集设备在不同角度下对所述目标物体进行拍摄得到的；
利用图像分割算法，对所述多个待处理图像进行分割，得到多个图像分割结果。
5.根据权利要求4所述的方法，其特征在于，所述利用图像分割算法，对所述多个待处理图像进行分割，得到多个图像分割结果，包括：
对所述多个待处理图像进行去噪处理，得到多个去噪图像；
利用图像分割算法，对所述多个去噪图像进行分割，得到多个图像分割结果。
6.根据权利要求2所述的方法，其特征在于，所述第二点云数据为所述相机对应的相机坐标系下的点云数据，所述在世界坐标系下，将所述第二点云数据进行拼接，得到拼接点云数据，包括：
根据坐标转换矩阵，将所述第二点云数据从所述相机坐标系转换到世界坐标系，并将所述世界坐标系下的第二点云数据进行拼接，得到拼接点云数据。
7.根据权利要求2或6所述的方法，其特征在于，所述将所述第二点云数据进行拼接，得到拼接点云数据，包括：
将所述第二点云数据进行拼接，得到待处理点云数据；
对所述待处理点云数据进行去重处理，得到拼接点云数据。
8.一种点云数据的去噪装置，其特征在于，包括：
获取模块，用于获取多个第一点云数据及多个图像分割结果，所述多个第一点云数据是采集设备在不同角度下对目标物体进行拍摄得到的，每个所述图像分割结果是对待处理图像进行像素分割得到的，所述待处理图像是所述采集设备在不同角度下对所述目标物体进行拍摄得到的；
确定模块，用于利用语义分割算法，在所述多个第一点云数据中，确定所述目标物体对应的第二点云数据；对所述第二点云数据进行拼接及投影转换，得到多个点云投影图像；根据所述多个点云投影图像及所述多个图像分割结果，确定所述目标物体对应的目标点云数据。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述点云数据的去噪方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述点云数据的去噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211229751.1A CN115587943B (zh) | 2022-10-09 | 2022-10-09 | 点云数据的去噪方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211229751.1A CN115587943B (zh) | 2022-10-09 | 2022-10-09 | 点云数据的去噪方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115587943A CN115587943A (zh) | 2023-01-10 |
| CN115587943B true CN115587943B (zh) | 2023-06-27 |
Family
ID=84779382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211229751.1A Active CN115587943B (zh) | 2022-10-09 | 2022-10-09 | 点云数据的去噪方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115587943B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115797444A (zh) * | 2023-02-06 | 2023-03-14 | 中国科学院自动化研究所 | 菠萝果眼定位方法、装置和电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111722245B (zh) * | 2020-06-22 | 2023-03-10 | 阿波罗智能技术(北京)有限公司 | 定位方法、定位装置和电子设备 |
| CN113409337A (zh) * | 2021-06-24 | 2021-09-17 | 北京极智嘉科技股份有限公司 | 一种检测方法、装置、计算机设备和存储介质 |
| CN113538264B (zh) * | 2021-06-30 | 2022-04-15 | 深圳大学 | 一种点云数据的去噪方法、装置及存储介质 |
| CN114529610A (zh) * | 2022-01-11 | 2022-05-24 | 浙江零跑科技股份有限公司 | 一种基于rgb-d相机的毫米波雷达数据标注方法 |
-
2022
- 2022-10-09 CN CN202211229751.1A patent/CN115587943B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115587943A (zh) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840477B (zh) | 基于特征变换的受遮挡人脸识别方法及装置 | |
| CN110008806B (zh) | 信息处理装置、学习处理方法、学习装置及物体识别装置 | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN110070610B (zh) | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 | |
| CN115587943B (zh) | 点云数据的去噪方法、装置、电子设备及存储介质 | |
| CN113706472A (zh) | 公路路面病害检测方法、装置、设备及存储介质 | |
| CN116433843A (zh) | 基于双目视觉重建路线的三维模型重建方法及装置 | |
| CN112489103B (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN113191189A (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 | |
| CN111126248A (zh) | 一种遮挡下的车辆识别方法及装置 | |
| CN112669346B (zh) | 一种路面突发状况确定方法及装置 | |
| CN109949383B (zh) | 一种高动态光学投影层析成像方法及装置 | |
| CN114626982A (zh) | 场景重构方法及装置、存储介质和计算机设备 | |
| CN108426566B (zh) | 一种基于多摄像机的移动机器人定位方法 | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
| CN109978986B (zh) | 一种三维模型的重建方法、装置、存储介质及终端设备 | |
| CN111986246A (zh) | 基于图像处理的三维模型重建方法、装置和存储介质 | |
| CN114418064B (zh) | 一种目标检测方法、终端设备及存储介质 | |
| CN110969651B (zh) | 3d景深估计方法、装置及终端设备 | |
| CN115760974A (zh) | 截断目标的检测方法及装置 | |
| CN113808202B (zh) | 一种多目标检测和空间定位方法及其系统 | |
| CN117649409B (zh) | 基于机器视觉的滑台自主限位系统、方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |