CN115249349B - 一种点云去噪方法、电子设备及存储介质 - Google Patents

一种点云去噪方法、电子设备及存储介质 Download PDF

Info

Publication number
CN115249349B
CN115249349B CN202111367938.3A CN202111367938A CN115249349B CN 115249349 B CN115249349 B CN 115249349B CN 202111367938 A CN202111367938 A CN 202111367938A CN 115249349 B CN115249349 B CN 115249349B
Authority
CN
China
Prior art keywords
point cloud
dimensional
noise
points
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111367938.3A
Other languages
English (en)
Other versions
CN115249349A (zh
Inventor
黄超
孟泽楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiantu Intelligent Technology Co Ltd
Original Assignee
Shanghai Xiantu Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiantu Intelligent Technology Co Ltd filed Critical Shanghai Xiantu Intelligent Technology Co Ltd
Priority to CN202111367938.3A priority Critical patent/CN115249349B/zh
Priority to PCT/CN2022/071296 priority patent/WO2023087526A1/zh
Publication of CN115249349A publication Critical patent/CN115249349A/zh
Application granted granted Critical
Publication of CN115249349B publication Critical patent/CN115249349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种点云去噪方法、电子设备及存储介质，所述方法包括：获取待去噪的三维点云；将从所述三维点云中提取的第一点云特征进行下采样处理；根据下采样后的第一点云特征进行形状特征统计，确定属于同一障碍物的第一点云特征；对所述属于同一障碍物的第一点云特征进行上采样处理，获取第二点云特征；所述第二点云特征的维度与所述第一点云特征的维度相同；将所述第一点云特征和所述第二点云特征进行融合处理，并使用融合后的点云特征进行噪声点识别；根据噪声点识别结果去除所述三维点云中的所述噪声点。本申请实施例实现对噪声点的准确识别及去除。

Description

一种点云去噪方法、电子设备及存储介质
技术领域
本申请涉及点云处理领域，尤其涉及一种点云去噪方法、电子设备及存储介质。
背景技术
随着激光雷达、深度相机、毫米波雷达等设备的广泛应用，三维点云广泛应用于不同的领域中，如自动驾驶领域、安检安防领域、巡检领域或者灾难救援领域等。
示例性的，三维点云成为了除图像数据之外另一种在自动驾驶领域广泛应用的数据形式。可以通过点云采集装置如激光雷达采集的三维点云进行障碍物检测，以便基于障碍物检测结果辅助车辆进行良好的路径规划或者驾驶控制。
然而，在一些场景中，点云采集装置如激光雷达采集的三维点云中可能存在噪声点，导致障碍物检测结果不准确。比如在环卫车执行洒水作业的场景中，三维点云中与水雾相关的三维点是一个需要去除的噪声点。又比如在雾霾或者沙尘天气中，三维点云中与雾霾、尘等细小颗粒相关的三维点是一个需要去除的噪声点。
因此，为了提高障碍物检测的准确性，需要对三维点云中的噪声点进行有效去除。
发明内容
有鉴于此，本申请提供一种点云去噪方法、电子设备及存储介质。
具体地，本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了一种点云去噪方法，所述方法包括：
获取待去噪的三维点云；
将从所述三维点云中提取的第一点云特征进行下采样处理；
根据下采样后的第一点云特征进行形状特征统计，确定属于同一障碍物的第一点云特征；
对所述属于同一障碍物的第一点云特征进行上采样处理，获取第二点云特征；所述第二点云特征的维度与所述第一点云特征的维度相同；
将所述第一点云特征和所述第二点云特征进行融合处理，并使用融合后的点云特征进行噪声点识别；
根据噪声点识别结果去除所述三维点云中的所述噪声点。
第二方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如第一方面所述的方法。
本申请实施例提供的点云去噪方法、电子设备及存储介质，在进行噪声点识别的过程中，为了节省电子设备的算力资源，在进行形状特征统计过程中，首先将从所述三维点云中提取的第一点云特征进行下采样处理，从而节省了形状特征统计过程的计算量，提高统计效率，进而考虑到下采样过程会造成低精度信息的损失，因此将第一点云特征和上采样得到的第二点云特征进行融合处理，利用所述第一点云特征弥补下采样过程中损失的低精度信息，进而使用融合后的点云特征进行噪声点识别，有利于提高噪声点识别的准确性，实现将所述三维点云中的所述噪声点进行良好去除。
附图说明
图1是本申请一示例性实施例示出的一种点云去噪方法的流程示意图。
图2是本申请一示例性实施例示出的一种噪声点识别模型的架构图。
图3是本申请一示例性实施例示出的人工标注过程框选噪声点的运行轨迹的示意图。
图4是本申请一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
针对于相关技术中的问题，本申请实施例提供了一种点云去噪方法，实现对待去噪的三维点云进行有效的噪声点识别，并进行噪声点去除。
本申请实施例提供的点云去噪方法可应用于电子设备。示例性的，所述电子设备可以包括有执行所述点云去噪方法的程序。示例性的，所述电子设备至少包括有存储器和处理器，所述存储器存储有所述点云去噪方法的可执行指令，所述处理器可被配置为执行所述可执行指令。
在一示例性的应用场景中，三维点云广泛应用于车辆驾驶领域中，可以通过点云采集装置如激光雷达采集的三维点云进行障碍物检测，以便基于障碍物检测结果辅助车辆进行良好的路径规划或者驾驶控制。考虑到点云采集装置采集的三维点云中存在噪声点导致障碍物检测结果不准确的问题，所述噪声点包括但不限于水雾、砂砾、灰尘或者等细颗粒物对应的三维点，因此，所述电子设备可以是车载终端，车载终端可以在接收点云采集装置采集的三维点云之后，使用本申请实施例提供的点云去噪方法去除所述三维点云中的噪声点，从而提高后续进行障碍物检测的准确性。
在另一示例性的应用场景中，三维点云也广泛应用于巡检领域，例如在仓库或者大型工厂等场所中，巡检机器人可以搭载有点云采集装置，通过点云采集装置如激光雷达采集的三维点云进行障碍物检测，以便基于障碍物检测结果辅助巡检机器人进行良好的巡检路径规划或者进行避障。考虑到点云采集装置采集的三维点云中存在噪声点导致障碍物检测结果不准确的问题，所述噪声点包括但不限于灰尘或者粉尘等细颗粒物对应的三维点，因此，所述电子设备可以是巡检机器人或者安装于巡检机器人上的终端，巡检机器人或者安装于巡检机器人上的终端可以在接收点云采集装置采集的三维点云之后，使用本申请实施例提供的点云去噪方法去除所述三维点云中的噪声点，从而提高后续进行障碍物检测的准确性。
当然，电子设备也可以是其他类型的设备，本实施例对此不做任何限制，比如电子设备可以是服务器，可以从其他设备(如自动驾驶车辆、巡检机器人)接收待去噪的三维点云，使用本申请实施例提供的点云去噪方法去除所述三维点云中的噪声点之后，并去噪后的三维点云返回给其他设备。
接下来对本申请实施例提供的点云去噪方法进行示例性说明，请参阅图1，图1为一种点云去噪方法的流程示意图，所述方法可应用于电子设备中，所述方法包括：
在步骤S101中，获取待去噪的三维点云。
在步骤S102中，将从所述三维点云中提取的第一点云特征进行下采样处理。
在步骤S103中，根据下采样后的第一点云特征进行形状特征统计，确定属于同一障碍物的第一点云特征。
在步骤S104中，对所述属于同一障碍物的第一点云特征进行上采样处理，获取第二点云特征；所述第二点云特征的维度与所述第一点云特征的维度相同。
在步骤S105中，将所述第一点云特征和所述第二点云特征进行融合处理，并使用融合后的点云特征进行噪声点识别。
在步骤S106中，根据噪声点识别结果去除所述三维点云中的所述噪声点。
本实施例中，在进行噪声点识别的过程中，为了节省电子设备的算力资源，在进行形状特征统计过程中，首先将从所述三维点云中提取的第一点云特征进行下采样处理，从而节省了形状特征统计过程的计算量，提高统计效率，进而考虑到下采样过程会造成低精度信息的损失，因此将第一点云特征和上采样得到的第二点云特征进行融合处理，利用所述第一点云特征弥补下采样过程中损失的低精度信息，进而使用融合后的点云特征进行噪声点识别，有利于提高噪声点识别的准确性，实现将所述三维点云中的所述噪声点进行良好去除。
在一些实施例中，所述待去噪的三维点云可由点云采集装置来采集，目前主流的点云采集装置分为两类：主动式和被动式。主动式传感器又可分为基于TOF(Time ofFlight)系统和三角测量系统两种，其中TOF系统通过测量所发射信号到达物体表面和返回接收器之间的时间间隔来确定传感器到物体表面的真实距离，而三角测量系统则通过两个传感器在不同地点对物体同一点之间的测量关系计算点的空间位置。被动式传感器依赖图像对或图像序列并根据相机参数来从二维图像数据中复原出三维数据。典型的主动式的点云采集装置包括但不限于激光雷达、深度相机(如RGB-D相机)、毫米波雷达或者双目视觉传感器等等；典型的被动式的点云采集装置包括但不限于立体相机、SFM(structure frommotion)系统、SFS(shape from shading)系统等。
示例性的，所述电子设备为安装于车辆上的车载终端，该车载终端与点云采集装置(如安装于车辆上的激光雷达)通信连接，搭载于车辆上的点云采集装置在车辆驾驶过程中采集三维点云，车载终端可以获取点云采集装置采集的待去噪的三维点云，并利用如步骤S101～S106的方法进行噪声点去除。示例性的，所述电子设备为巡检机器人，所述巡检机器人安装有点云采集装置，巡检机器人可以获取点云采集装置采集的待去噪的三维点云，并利用如步骤S101～S106的方法进行噪声点去除。
其中，所述三维点云中的噪声点包括但不限于至少一种细颗粒物对应的三维点：水雾、砂砾、灰尘或者粉尘等等。可以理解的是，本申请对于细颗粒物的类型不做任何限制。
在一些实施例中，在获取待去噪的三维点云之后，可以从待去噪的三维点云提取第一点云特征，以便进行后续处理。
作为一种可能的实现方式，所述第一点云特征包括所述三维点云中的若干三维点的特征，所述三维点的特征包括但不限于三维点的坐标、反射强度、三维点对应的光脉冲序列的标识(比如雷达线束ID)、深度信息(比如三维点与点云采集装置的距离)、高度信息或者角度信息(比如三维点与点云采集装置的连线的偏转角)。
作为另一种可能的实现方式，考虑到直接针对于三维点的特征获取第一点云特征的数据量比较大，需要耗费较多的计算资源，因此为了提高针对噪声点的识别效率，可以对待去噪的三维点云进行三维网格化处理，按照预设距离分割所述三维点云，获取三维网格化的三维点云；可以理解的是，所述预设距离可依据实际应用场景进行具体设置，本实施例对此不做任何限制，比如所述预设距离包括但不限于5cm、20cm或者1m等。在获取三维网格化的三维点云之后，可以对所述三维网格化的三维点云中的每个三维网格进行特征提取，比如可以根据该三维网格内的三维点的特征的统计值确定该三维网格的特征，从而基于所述三维点云中的所有三维网格的特征获取所述第一点云特征。其中，所述三维点的特征包括以下至少一种：三维点的坐标、反射强度、三维点对应的光脉冲序列的标识、深度信息、高度信息或者角度信息。所述统计值包括但不限于平均值、中位数、最大值或者最小值等等，例如可以根据该三维网格内的三维点的特征的平均值确定该三维网格的特征，可依据实际应用场景进行具体计算，本实施例对此不做任何限制。本实施例中，对待去噪的三维点云进行三维网格化处理，并提取三维网格的特征作为第一点云特征，有利于降低参与运算的数据量，提高了对于噪声点的识别效率。
在一些实施例中，在获取第一点云特征之后，为了节省后续进行形状特征统计过程的计算资源，另一方面也考虑到电子设备算力有限的场景，因此可以先对第一点云特征进行下采样处理，比如第一点云特征的维数为1024*1024*1024维，下采样后的第一点云特征的维数为256*256*256维，进而利用下采样后的第一点云特征进行形状特征统计，有利于节省计算资源，形状特征统计过程即检测三维点(或者三维网格)之间的相对关系，以确定是否属于同一障碍物，对下采样后的第一点云特征进行形状特征的划分统计可以确定属于各个障碍物的第一点云特征(或者说属于各个障碍物的各个三维点或者三维网格)，进而进行上采样处理得到第二点云特征，所述第二点云特征的维度与所述第一点云特征的维度相同，比如第二点云特征也是1024*1024*1024维，最后利用融合了所述第一点云特征和所述第二点云特征的点云特征进行噪声点识别，有利于提高噪声点识别的准确性。
在一些实施例中，可以预先构建一噪声点识别模型，用于识别待去噪的三维点云中的噪声点，例如在获取待去噪的三维点云之后，可以将所述三维点云输入预先建立的噪声点识别模型中，通过所述噪声点识别模型对所述三维点云进行处理后得到所述噪声点识别结果。
请参阅图2，图2示出了噪声点识别模型的架构图，所述噪声点识别模型至少包括特征提取层22、形状识别网络23和噪声点识别网络24等，以及所述噪声点识别模型还可以包括输入层21和输出层25。
所述输入层21用于获取输入的待去噪的三维点云。
所述特征提取层22用于对所述三维点云进行特征提取，例如可以按照预设距离分割所述三维点云，获取三维网格化的三维点云，然后对所述三维网格化的三维点云中的每个三维网格进行特征提取，获取所述第一点云特征；其中，每个三维网格的特征为该三维网格内的三维点的特征的统计值(比如平均值等)。本实施例中提取网格特征有利于减少后续参与运算的数据量，有利于提高运算效率。
所述形状识别网络23包括稀疏卷积层231、第一多层感知机网络232和上采样层233；所述稀疏卷积层231用于对所述第一点云特征进行下采样处理；所述第一多层感知机网络232用于根据下采样后的第一点云特征进行形状特征统计，比如根据三维网格之间的位置关系进行形状特征统计分析，确定属于同一障碍物的第一点云特征，即将所述第一点云特征按照障碍物进行划分统计；所述上采样层233用于将所述属于同一障碍物的第一点云特征进行上采样处理，获取第二点云特征。在所述形状识别网络23中，将第一点云特征进行下采样处理，从而节省了第一多层感知机网络232在进行形状特征统计过程的计算量，提高统计效率。
所述噪声点识别网络24包括特征融合层241和第二多层感知机网络242；所述特征融合层241用于融合所述第一点云特征和所述第二点云特征；所述第二多层感知机网络242用于对融合后的点云特征进行噪声点识别，以获取噪声点识别结果。在所述噪声点识别网络24，考虑到下采样过程会造成低精度信息的损失，因此将第一点云特征和上采样得到的第二点云特征进行融合处理，利用所述第一点云特征弥补下采样过程中损失的低精度信息，进而使用融合后的点云特征进行噪声点识别，有利于提高噪声点识别的准确性。
所述输出层25用于输出所述噪声点识别结果。本实施例中，所述噪声点识别模型在进行形状特征统计时，为了进一步减低运算量，节省计算资源，通过稀疏卷积层231对第一点云特征进行下采样处理，进而可以适用于运算资源有限的设备中，使得所述噪声点识别模型适用于更多的设备，具有广泛的适用性；并且考虑到下采样过程会造成低精度信息的损失，因此噪声点识别模型在形状识别网络23后半部分设计了上采样结构将点云特征恢复成下采样之前的大小，并将上采样得到的第二点云特征与第一点云特征进行融合，弥补了下采样过程中损失的低精度信息，进而第二多层感知机网络242对融合后的点云特征进行噪声点识别，有利于提高噪声点识别的准确性，实现了计算资源和精准度的权衡。
接下来对所述噪声点识别模型的训练过程进行示例性说明，使用有监督学习方式进行训练为例，所述噪声点识别模型基于若干标注有噪声点的三维点云样本训练得到。
首先，针对于训练样本的获取，可以将多个单帧三维点云样本融合成第一稠密点云，其中，所述多个单帧三维点云样本由搭载于可移动平台上的点云采集装置在移动过程中采集得到，所述可移动平台可以是车辆或者移动机器人等，以车辆为例，应用本申请实施例的点云去噪方法的电子设备可以是安装于所述车辆上的车载终端，所述多个单帧三维点云样本由搭载于车辆上的点云采集装置在车辆驾驶过程中采集得到。
示例性的，在融合过程中，首先可以通过点云配准方式确定点云采集装置在采集每帧三维点云样本时的位姿，进而基于点云采集装置在采集每帧三维点云样本时的位姿将多个单帧三维点云样本变换到同一三维坐标系下，在该三维坐标系中实现多个单帧三维点云样本的融合过程。
其中，在将多个单帧三维点云样本融合成第一稠密点云，静态障碍物(如树木，停止的车)会在第一稠密点云中表现为更稠密的状态(因为累积了多帧的三维点)，而动态障碍物(如行人，运动的车)会在第一稠密点云中呈现一条运动的轨迹，对应其相对于自身动态运动的方向。而水雾、砂砾、灰尘或者粉尘等细颗粒物由于体积、重量等都很小，因此会根据可移动平台(如车辆)的行驶状态，风向风力等等因素呈现不同的运动状态，则在第一稠密点云中，水雾、砂砾、灰尘或者粉尘等细颗粒物也会呈现一条运动的轨迹，对应其相对于自身动态运动的方向。
在一种可能的实现方式中，在获取第一稠密点云之后，可以将所述第一稠密点云中属于地面的三维点和属于所述可移动平台(比如车辆)的三维点去除，获取第二稠密点云；其中，属于地面的三维点是高度为0的三维点，而由于点云采集装置搭载在所述可移动平台(比如车辆)上，点云采集装置的位置可知，则属于所述可移动平台(比如车辆)的三维点也是可以确定的；在去除了属于地面的三维点和属于所述可移动平台(比如车辆)的三维点之后，则所述第二稠密点云中在所述可移动平台(比如车辆)周围的具有运动轨迹的三维点可以确定为水雾、砂砾、灰尘或者粉尘等细颗粒物对应的三维点，可以将该类三维点确定为噪声点并进行标注，进而可以根据标注的噪声点将所述第一稠密点云拆分得到多个标注有噪声点的单帧三维点云样本。本实施例中，实现噪声点的自动标注过程，并且将多个单帧三维点云样本融合成第一稠密点云一次性进行标注，有利于提高标注效率。
当然，另一种可能的实现方式中，为了提高噪声点标注的准确性，也可以由用户进行人工标注，比如将第二稠密点云投影到二维空间以得到标注图像，由用户根据经验在标注图像中框选水雾、砂砾、灰尘或者粉尘等细颗粒物的运动轨迹，比如可以简便地利用鼠标点按或者使用其他工具如触控笔的方式将细颗粒物的运动轨迹框住，比如如图3所示，图3中的黑色框示出了人工标注过程框选的噪声点的运行轨迹；并且设置固定的高度值，进而电子设备可以将标注图像中框选的区域反投影到三维空间，以获取标注的噪声点，最后根据标注的噪声点将所述第一稠密点云拆解得到多个标注有噪声点的单帧三维点云样本。本实施例中，人工标注过程有利于提高噪声点标注的准确性，并且将多个单帧三维点云样本融合成第一稠密点云进行标注，只需简单进行框选即可，无需每个点都进行标注，有利于提高人工标注效率。
进一步地，在另一种可能的实现方式中，在获取第一稠密点云之后，除了可以去除属于地面的三维点和属于所述可移动平台(比如车辆)的三维点，还可以根据所述第一稠密点云进行障碍物识别以获得障碍物识别结果，比如可以将所述第一稠密点云输入现有的障碍物检测模型，利用现有的障碍物检测模型进行障碍物识别，并获取障碍物检测模型输出的障碍物识别结果；然后根据所述障碍物识别结果将所述第一稠密点云中属于障碍物的三维点去除，获得所述第二稠密点云，本实施例中除了去除地面点和本车的三维点之外，还将属于其他障碍物(比如其他车辆、行人、摩托车、树)的三维点去除，进一步消除干扰因素，在可移动平台(比如车辆)的移动路径(比如道路)上的障碍物都被清除之后，则道路上剩下的具有运动轨迹的三维点可以确定为水雾、砂砾、灰尘或者粉尘等细颗粒物对应的三维点，因此可以将所述第二稠密点云中处于移动路径(比如道路)上的具有运动轨迹的三维点标注为噪声点，最后根据标注的所述噪声点将所述第一稠密点云拆分，得到多个标注有噪声点的单帧三维点云样本。本实施例中，将无关因素去除，消除了同样具有运动轨迹的障碍物的干扰，有利于进一步提高噪声点标注的准确性。
在一些实施例中，考虑到样本的数量也与模型训练的准确度有关，则为了提高模型训练的准确度，可以增加进行训练的样本的数量，则除了通过上述方式标注噪声点之外，还可以通过以下至少一种的数据增强方式来丰富训练样本集：
在第一种数据增强方式中，可以将所述标注有噪声点的单帧三维点云样本中的噪声点叠加到其他三维点云样本中，获取额外的标注有噪声点的单帧三维点云样本。比如在车辆驾驶场景中，考虑到水雾、砂砾、灰尘或者粉尘等细颗粒物相对于车身的距离是相似的，因此可以将已标注的噪声点叠加到不同场景下运行的不同车辆对应的三维点云中，以扩充训练数据集，增强多样性。
在第二种数据增强方式中，可以移动所述标注有噪声点的单帧三维点云样本中的噪声点的位置，获取额外的标注有噪声点的单帧三维点云样本。比如在车辆驾驶场景中，考虑到水雾、砂砾、灰尘或者粉尘等细颗粒物相对于车身的距离是相似的，则在确定属于车辆的三维点之后，可以将标注的噪声点移动到相对于车辆的不同位置，比如可以通过对称反转，或者调整某一个坐标轴的噪声点的数据，将噪声点对称或平移到其他相对于车辆不同的位置，这样可满足有一些车辆在左侧，或在车头，或在车身中间存在水雾、砂砾、灰尘或者粉尘等不同情况。
在第三种数据增强方式中，可以将所述标注有噪声点的单帧三维点云样本中的所有三维点旋转预设角度，获取额外的标注有噪声点的单帧三维点云样本。比如在车辆驾驶场景中，为了防止数据出现固定在东西南北某个固定方向行驶导致模型训练的结果可能出现的偏置，所述标注有噪声点的单帧三维点云样本中的所有三维点可以被顺时针或逆时针旋转预设角度以扩充训练数据集，增强多样性。
在第四种数据增强方式中，可以将表征障碍物的三维点集合添加到所述标注有噪声点的单帧三维点云样本中的噪声点附近，获取额外的标注有噪声点的单帧三维点云样本。比如在车辆驾驶场景中，可以将表征摩托车或者行人等障碍物的三维点集合添加到噪声点附近，从而可以验证噪声点识别模型在噪声点与其他物体交叉时的分别能力。
在第五种数据增强方式中，可以将所述标注有噪声点的单帧三维点云样本中的所有三维点进行随机偏移，可以在任意方向上偏移所述三维点，实现扩充训练数据集，增强多样性，而训练样本的增多可以提高模型的鲁棒性。
在一些实施例中，在获取了若干标注有噪声点的三维点云样本之后，可以基于若干标注有噪声点的三维点云样本进行模型训练，以获得所述噪声点识别模型。示例性的，请参阅图2所示的模型结构，所述电子设备在获取若干标注有噪声点的三维点云样本之后，可以将若干标注有噪声点的三维点云样本输入如图2所示的预设模型中：
然后通过预设模型的特征提取层进行特征提取，例如将三维点云样本进行三维网格化处理，按照预设距离将点云空间分割成三维网格，并提取该三维网格的特征以得到第一点云特征，例如该三维网格的特征可以是该三维网格内的三维点的特征的平均值。
进而由预设模型中的形状识别网络对第一点云特征进行处理，由稀疏卷积层对第一点云特征进行下采样处理，由第一多层感知机网络根据下采样后的第一点云特征进行形状特征统计以确定属于同一障碍物的第一点云特征，由上采样层对所述属于同一障碍物的第一点云特征进行上采样处理以得到第二点云特征。
接着由预设模型中的噪声点识别网络进行处理，由特征融合层融合所述第一点云特征和所述第二点云特征，由第二多层感知机网络对对融合后的点云特征进行噪声点识别以获取噪声点预测结果。
最后确定所述噪声点预测结果与所述三维点云样本标注好的噪声点之间的差异，根据所述差异反向调整用于构建所述预设模型的参数，获取训练好的噪声点识别模型。比如可以基于预设的损失函数计算所述噪声点预测结果与所述三维点云样本标注好的噪声点之间的差异对应的损失值，根据所述损失值反向调整用于构建所述指定模型的参数。
本实施例中，使用的第一点云特征为从网格化后的点云中提取的网格特征，有利于降低计算量；所述噪声点识别模型在进行形状特征统计时，为了进一步减低运算量，节省计算资源，通过稀疏卷积层对第一点云特征进行下采样处理，进而可以适用于运算资源有限的设备中，使得所述噪声点识别模型适用于更多的设备，具有广泛的适用性；并且考虑到下采样过程会造成低精度信息的损失，因此噪声点识别模型在形状识别网络后半部分设计了上采样结构将点云特征恢复成下采样之前的大小，并将上采样得到的第二点云特征与第一点云特征进行融合，弥补了下采样过程中损失的低精度信息，进而第二多层感知机网络对融合后的点云特征进行噪声点识别，有利于提高噪声点识别的准确性，实现了计算资源和精准度的权衡。
可以理解的是，所述噪声点识别模型的训练过程和应用过程可以由相同的电子设备来执行，也可以由不同的电子设备来执行，本实施例对此不做任何限制。
与上述点云去噪方法相对应，请参阅图4，本申请实施例还提供了一种电子设备30，包括存储器32、处理器31及存储在存储器32上并可在处理器31上运行的计算机程序33，所述处理器31执行所述程序时用于执行上述方法。
所述处理器31执行所述存储器32中包括的可执行指令，所述处理器31可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器32存储点云去噪方法的可执行指令，所述存储器32可以包括至少一种类型的存储介质，存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，设备可以与通过网络连接执行存储器的存储功能的网络存储设备协作。存储器32可以是设备30的内部存储单元，例如设备30的硬盘或内存。存储器32也可以是设备30的外部存储设备，例如设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器32还可以既包括设备30的内部存储单元也包括外部存储设备。存储器32用于存储计算机程序33以及设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
示例性的，所述电子设备包括车载终端，所述车载终端安装于车辆上，车辆还安装有点云采集装置，该车载终端与点云采集装置(如安装于车辆上的激光雷达)通信连接，搭载于车辆上的点云采集装置在车辆驾驶过程中采集三维点云，车载终端可以获取点云采集装置采集的待去噪的三维点云，并基于本申请实施例提供的点云去噪方法进行去噪处理。
示例性的，所述处理器执行所述程序时用于执行以下步骤：
获取待去噪的三维点云；
将从所述三维点云中提取的第一点云特征进行下采样处理；
根据下采样后的第一点云特征进行形状特征统计，确定属于同一障碍物的第一点云特征；
对所述属于同一障碍物的第一点云特征进行上采样处理，获取第二点云特征；所述第二点云特征的维度与所述第一点云特征的维度相同；
将所述第一点云特征和所述第二点云特征进行融合处理，并使用融合后的点云特征进行噪声点识别；
根据噪声点识别结果去除所述三维点云中的所述噪声点。
可选地，在所述获取待去噪的三维点云之后，所述处理器还用于：按照预设距离分割所述三维点云，获取三维网格化的三维点云；对所述三维网格化的三维点云中的每个三维网格进行特征提取，获取所述第一点云特征。
可选地，所述第一点云特征包括所述三维点云中的所有三维网格的特征。每个网格的特征由该三维网格内的三维点的特征的统计值确定。所述三维点的特征包括以下至少一种：三维点的坐标、反射强度、三维点对应的光脉冲序列的标识、深度信息、高度信息或者角度信息。
可选地，所述噪声点识别结果为将所述三维点云输入预先建立的噪声点识别模型中，通过所述噪声点识别模型对所述三维点云进行处理后得到。其中，所述噪声点识别模型包括特征提取层、形状识别网络和噪声点识别网络。所述第一点云特征通过所述特征提取层对所述三维点云进行特征提取得到。所述形状识别网络包括用于对第一点云特征进行下采样处理的稀疏卷积层、用于根据下采样后的第一点云特征进行形状特征统计的第一多层感知机网络、和用于对所述属于同一障碍物的第一点云特征进行上采样处理的上采样层。所述噪声点识别网络包括用于融合所述第一点云特征和所述第二点云特征的特征融合层、和用于对融合后的点云特征进行噪声点识别的第二多层感知机网络。
可选地，所述噪声点识别模型基于若干标注有噪声点的三维点云样本训练得到。
可选地，所述处理器还用于：将多个单帧三维点云样本融合成第一稠密点云；其中，所述多个单帧三维点云样本由搭载于车辆上的点云采集装置在车辆驾驶过程中采集得到；将所述第一稠密点云中属于地面的三维点和属于所述车辆的三维点去除，获取第二稠密点云；将所述第二稠密点云中在所述车辆周围的具有运动轨迹的三维点标注为噪声点；根据标注的所述噪声点将所述第一稠密点云拆分得到多个标注有噪声点的单帧三维点云样本。
可选地，所述处理器还用于：根据所述第一稠密点云进行障碍物识别以获得障碍物识别结果；根据所述障碍物识别结果将所述第一稠密点云中属于障碍物的三维点去除，获得所述第二稠密点云；将所述第二稠密点云中处于道路上的具有运动轨迹的三维点标注为噪声点。
可选地，所述处理器还用于：在所述获得多个标注有噪声点的单帧三维点云样本之后，通过以下至少一种方式获取标注有噪声点的三维点云样本：将所述标注有噪声点的单帧三维点云样本中的噪声点叠加到其他三维点云样本中；或，移动所述标注有噪声点的单帧三维点云样本中的噪声点的位置；或，将所述标注有噪声点的单帧三维点云样本中的所有三维点旋转预设角度；或，将表征障碍物的三维点集合添加到所述标注有噪声点的单帧三维点云样本中的噪声点附近；或，将所述标注有噪声点的单帧三维点云样本中的所有三维点进行随机偏移。
可选地，所述待去噪的三维点云由搭载于车辆上的点云采集装置在车辆驾驶过程中采集得到；所述噪声点包括以下至少一种细颗粒物对应的三维点：水雾、砂砾、灰尘或者粉尘。
可以理解的是，可以包括与图3所示更多或更少的部件，或者组合某些部件，或者不同的部件，例如设备还可以包括输入输出设备、网络接入设备、总线等。
相应的，在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述方法。
相应的，本申请实施例还提供了一种计算机程序产品，包括如上述任一所述方法的计算机程序。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如自动驾驶车辆、移动机器人等，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种点云去噪方法，其特征在于，所述方法包括：
获取待去噪的三维点云；
将从所述三维点云中提取的第一点云特征进行下采样处理；
根据下采样后的第一点云特征进行形状特征统计，确定属于同一障碍物的第一点云特征；
对所述属于同一障碍物的第一点云特征进行上采样处理，获取第二点云特征；所述第二点云特征的维度与所述第一点云特征的维度相同；
将所述第一点云特征和所述第二点云特征进行融合处理，并使用融合后的点云特征进行噪声点识别；
根据噪声点识别结果去除所述三维点云中的所述噪声点；
其中，所述噪声点识别结果为将所述三维点云输入预先建立的噪声点识别模型中，通过所述噪声点识别模型对所述三维点云进行处理后得到；
所述噪声点识别模型包括特征提取层、形状识别网络和噪声点识别网络；
所述第一点云特征通过所述特征提取层对所述三维点云进行特征提取得到；
所述形状识别网络包括用于对第一点云特征进行下采样处理的稀疏卷积层、用于根据下采样后的第一点云特征进行形状特征统计的第一多层感知机网络、和用于对所述属于同一障碍物的第一点云特征进行上采样处理的上采样层；
所述噪声点识别网络包括用于融合所述第一点云特征和所述第二点云特征的特征融合层、和用于对融合后的点云特征进行噪声点识别的第二多层感知机网络；
其中，所述噪声点识别模型基于若干标注有噪声点的三维点云样本训练得到。
2.根据权利要求1所述的方法，其特征在于，在所述获取待去噪的三维点云之后，还包括：
按照预设距离分割所述三维点云，获取三维网格化的三维点云；
对所述三维网格化的三维点云中的每个三维网格进行特征提取，获取所述第一点云特征。
3.根据权利要求2所述的方法，其特征在于，所述第一点云特征包括所述三维点云中的所有三维网格的特征；
所述三维网格的特征由该三维网格内的三维点的特征的统计值确定；
所述三维点的特征包括以下至少一种：三维点的坐标、反射强度、三维点对应的光脉冲序列的标识、深度信息、高度信息或者角度信息。
4.根据权利要求1所述的方法，其特征在于，还包括：
将多个单帧三维点云样本融合成第一稠密点云；其中，所述多个单帧三维点云样本由搭载于车辆上的点云采集装置在车辆驾驶过程中采集得到；
将所述第一稠密点云中属于地面的三维点和属于所述车辆的三维点去除，获取第二稠密点云；
将所述第二稠密点云中在所述车辆周围的具有运动轨迹的三维点标注为噪声点；
根据标注的所述噪声点将所述第一稠密点云拆分，得到多个标注有噪声点的单帧三维点云样本。
5.根据权利要求4所述的方法，其特征在于，还包括：
根据所述第一稠密点云进行障碍物识别以获得障碍物识别结果；
根据所述障碍物识别结果将所述第一稠密点云中属于障碍物的三维点去除，获得所述第二稠密点云；
所述将所述第二稠密点云中在所述车辆周围的具有运动轨迹的三维点标注为噪声点，包括：
将所述第二稠密点云中处于道路上的具有运动轨迹的三维点标注为噪声点。
6.根据权利要求4所述的方法，其特征在于，在所述得到多个标注有噪声点的单帧三维点云样本之后，还包括：
通过以下至少一种方式获取标注有噪声点的三维点云样本：
将所述标注有噪声点的单帧三维点云样本中的噪声点叠加到其他三维点云样本中；
或，移动所述标注有噪声点的单帧三维点云样本中的噪声点的位置；
或，将所述标注有噪声点的单帧三维点云样本中的所有三维点旋转预设角度；
或，将表征障碍物的三维点集合添加到所述标注有噪声点的单帧三维点云样本中的噪声点附近；
或，将所述标注有噪声点的单帧三维点云样本中的所有三维点进行随机偏移。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述待去噪的三维点云由搭载于车辆上的点云采集装置在车辆驾驶过程中采集得到；
所述噪声点包括以下至少一种细颗粒物对应的三维点：水雾、砂砾、灰尘或者粉尘。
8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法。
9.根据权利要求8所述的设备，其特征在于，所述电子设备包括车载终端。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202111367938.3A 2021-11-18 2021-11-18 一种点云去噪方法、电子设备及存储介质 Active CN115249349B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111367938.3A CN115249349B (zh) 2021-11-18 2021-11-18 一种点云去噪方法、电子设备及存储介质
PCT/CN2022/071296 WO2023087526A1 (zh) 2021-11-18 2022-01-11 用于点云去噪的方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111367938.3A CN115249349B (zh) 2021-11-18 2021-11-18 一种点云去噪方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115249349A CN115249349A (zh) 2022-10-28
CN115249349B true CN115249349B (zh) 2023-06-27

Family

ID=83698116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111367938.3A Active CN115249349B (zh) 2021-11-18 2021-11-18 一种点云去噪方法、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115249349B (zh)
WO (1) WO2023087526A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051427B (zh) * 2023-03-31 2023-07-04 季华实验室 点云去噪模型获取方法、点云融合方法及其相关设备
CN116129472B (zh) * 2023-04-07 2023-07-21 阿里巴巴（中国）有限公司 网格点生成方法、存储介质及系统
CN116453063B (zh) * 2023-06-12 2023-09-05 中广核贝谷科技有限公司 基于dr图像与投影图融合的目标检测识别方法及系统
CN117269940B (zh) * 2023-11-17 2024-03-15 北京易控智驾科技有限公司 点云数据生成方法、激光雷达的感知能力验证方法
CN117975202A (zh) * 2024-04-01 2024-05-03 之江实验室 模型训练方法、业务执行方法、装置、介质及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065354A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 点云优化方法及其装置
CN106846272A (zh) * 2017-01-18 2017-06-13 西安工程大学 一种点云模型的去噪精简方法
CN112101066B (zh) * 2019-06-17 2024-03-08 商汤集团有限公司 目标检测方法和装置及智能驾驶方法、设备和存储介质
US11592820B2 (en) * 2019-09-13 2023-02-28 The Boeing Company Obstacle detection and vehicle navigation using resolution-adaptive fusion of point clouds
CN111402161B (zh) * 2020-03-13 2023-07-21 北京百度网讯科技有限公司 点云障碍物的去噪方法、装置、设备和存储介质
CN111709343B (zh) * 2020-06-09 2023-11-10 广州文远知行科技有限公司 一种点云检测方法、装置、计算机设备和存储介质
CN111862171B (zh) * 2020-08-04 2021-04-13 万申(北京)科技有限公司 基于多视图融合的cbct与激光扫描点云数据牙齿配准方法
CN112508803B (zh) * 2020-11-03 2023-10-03 中山大学 一种三维点云数据的去噪方法、装置及存储介质
CN112733885A (zh) * 2020-12-23 2021-04-30 西人马帝言(北京)科技有限公司 点云识别模型的确定方法、点云识别的方法及装置
CN113516663B (zh) * 2021-06-30 2022-09-27 同济大学 点云语义分割方法及装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023087526A1 (zh) 2023-05-25
CN115249349A (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN115249349B (zh) 一种点云去噪方法、电子设备及存储介质
US10970871B2 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
WO2018020954A1 (ja) 機械学習用データベース作成システム
Pantilie et al. Real-time obstacle detection in complex scenarios using dense stereo vision and optical flow
Weon et al. Object Recognition based interpolation with 3d lidar and vision for autonomous driving of an intelligent vehicle
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
CN113640822B (zh) 一种基于非地图元素过滤的高精度地图构建方法
CN114862901A (zh) 一种露天矿山的路端多源传感器融合目标感知方法和系统
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
CN112740225B (zh) 一种路面要素确定方法及装置
Kellner et al. Road curb detection based on different elevation mapping techniques
CN115879060B (zh) 基于多模态的自动驾驶感知方法、装置、设备和介质
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN111814602A (zh) 一种基于视觉的智能车环境动态目标检测的方法
EP3555854B1 (en) A method of tracking objects in a scene
Zhang et al. A lane marking extraction approach based on random finite set statistics
CN113256595A (zh) 地图创建方法、装置、设备及计算机存储介质
Eraqi et al. Static free space detection with laser scanner using occupancy grid maps
CN112085101A (zh) 一种高性能高可靠的环境融合感知方法及系统
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
US20210110600A1 (en) System and method for generating terrain maps
Gehrig et al. A multi-cue approach for stereo-based object confidence estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant