CN118172616A - 点云噪点分类方法、可读存储介质及智能设备 - Google Patents

点云噪点分类方法、可读存储介质及智能设备 Download PDF

Info

Publication number
CN118172616A
CN118172616A CN202410599509.6A CN202410599509A CN118172616A CN 118172616 A CN118172616 A CN 118172616A CN 202410599509 A CN202410599509 A CN 202410599509A CN 118172616 A CN118172616 A CN 118172616A
Authority
CN
China
Prior art keywords
point
point cloud
noise
classification
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410599509.6A
Other languages
English (en)
Other versions
CN118172616B (zh
Inventor
孙正阳
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202410599509.6A priority Critical patent/CN118172616B/zh
Publication of CN118172616A publication Critical patent/CN118172616A/zh
Application granted granted Critical
Publication of CN118172616B publication Critical patent/CN118172616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及自动驾驶技术领域，具体提供一种点云噪点分类方法、可读存储介质及智能设备，旨在解决如何对点云的噪点进行准确的分类的问题。为此目的，本申请对原始点云数据进行多视角特征编码，获得多个视角的视角编码特征，根据多个视角的视角编码特征以及原始点云数据的反射特性数据，获取原始点云数据的融合逐点特征，根据融合逐点特征，获得原始点云数据中的噪点分类结果，能够将原始点云数据的多视角编码特征和反射特性数据结合，使得获得的融合逐点特征不仅包含原始点云数据的多个视角的特征数据，还包含原始点云数据的反射特性数据，有利于实现原始点云数据中的噪点分类，更为准确有效地实现对原始点云数据的噪点分类，提升噪点分类效果。

Description

点云噪点分类方法、可读存储介质及智能设备
技术领域
本申请涉及自动驾驶技术领域，具体提供一种点云噪点分类方法、可读存储介质及智能设备。
背景技术
自动驾驶的功能越来越受到用户和开发者的关注。而激光雷达作为实现自动驾驶功能的一个关键传感器，其作用也越来越大。现有的激光雷达受限于物理原理会在极端场景下不可避免的产生一些噪点。例如，针对雨天场景路面有积水的情况下，周边车辆溅起的水花可能会被激光雷达感知，导致误检出障碍物。还有，在高反射率的标志牌周围，由于激光雷达串扰的问题，会导致标志牌异常膨胀的问题，在高反射率周围会形成鬼影噪点导致误检。
现有的点云噪点分类方法不能够有效地区分激光雷达产生的噪点和正常目标，从而导致误检产生。
相应地，本领域需要一种新的点云噪点分类方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何对点云的噪点进行准确的分类的问题。
在第一方面，本申请提供种点云噪点分类方法，所述方法包括：
基于原始点云数据，进行多视角特征编码，获得多个视角的视角编码特征；
根据多个视角的所述视角编码特征和所述原始点云数据的反射特性数据，获取所述原始点云数据的融合逐点特征；
根据所述融合逐点特征，获取所述原始点云数据中的噪点分类结果
在上述点云噪点分类方法的一个技术方案中，所述基于原始点云数据，进行多视角特征编码，获得多个视角的视角编码特征，包括：
分别对所述原始点云数据进行距离视图特征编码、俯视图特征编码以及原始点云逐点特征编码，以分别获取距离视图特征、俯视图特征、和原始点云逐点特征。
在上述点云噪点分类方法的一个技术方案中，所述根据多个视角的所述视角编码特征和所述原始点云数据的反射特性数据，获取所述原始点云数据的融合逐点特征，包括：
根据所述距离视图特征，获取距离视图逐点特征；
根据所述俯视图特征，获取俯视图逐点特征；
根据所述原始点云逐点特征和所述反射特性数据，获得原始点云最终逐点特征；
根据所述距离视图逐点特征、所述俯视图逐点特征和所述原始点云最终逐点特征进行特征融合，获得所述融合逐点特征。
在上述点云噪点分类方法的一个技术方案中，所述反射特性数据包括反射率和二次回波信息。
在上述点云噪点分类方法的一个技术方案中，所述根据所述原始点云逐点特征和所述反射特性数据，获得原始点云最终逐点特征，包括：
将所述原始点云数据的反射率转换为反射率浮点数据；
根据所述原始点云数据每个点云的所述反射率浮点数据、所述二次回波信息和所述原始点云逐点特征，获得所述原始点云最终逐点特征。
在上述点云噪点分类方法的一个技术方案中，通过多视角特征编码模块进行所述多视角特征编码；通过特征融合模块获取所述融合逐点特征；通过噪点分类模块获得所述噪点分类结果；
所述方法还包括：
基于训练数据集，对所述多视角特征编码模块、所述特征融合模块和所述噪点分类模块进行联合训练；
其中，所述训练数据集中包含标注的用于训练的原始点云数据，标注的标签为所述用于训练的原始点云数据中的噪点的分类。
在上述点云噪点分类方法的一个技术方案中，所述原始点云数据为智能设备上设置的激光雷达采集的；所述分类包括雨雾噪点；所述方法还包括：
在对所述用于训练的原始点云数据进行标注时，当初步确定噪点的分类为雨雾噪点时，根据所述原始点云数据的俯视图判断所述噪点与所述智能设备之间的距离；
当所述距离大于预设距离阈值时，最终确定所述噪点的分类为雨雾噪点。
在上述点云噪点分类方法的一个技术方案中，所述分类包括鬼影噪点；所述方法还包括：
在对所述用于训练的原始点云数据进行标注时，当初步确定噪点的分类为鬼影噪点时，获取所述噪点的反射率和所述噪点的周围物体的反射率；
当所述噪点的反射率小于所述周围物体的反射率，最终确定所述噪点的分类为鬼影噪点。
在上述点云噪点分类方法的一个技术方案中，所述多视角编码包括俯视图特征编码以及原始点云逐点特征编码，所述视角编码特征包括俯视图特征和原始点云逐点特征；
所述基于训练数据集，对所述多视角特征编码模块、所述特征融合模块和所述噪点分类模块进行联合训练，包括：
在联合训练阶段，设置基于所述俯视图特征进行噪点分类的俯视图分类学习模块；
基于训练数据集，对所述多视角特征编码模块、所述特征融合模块、所述俯视图分类学习模块和所述噪点分类模块进行联合训练。
在上述点云噪点分类方法的一个技术方案中，所述基于训练数据集，对所述多视角特征编码模块、所述特征融合模块、所述俯视图分类学习模块和所述噪点分类模块进行联合训练，包括：
针对所述联合训练的每次迭代，基于所述俯视图分类学习模块的分结果、所述噪点分类模块的分类结果以及所述用于训练的原始点云数据的标签，分别获取所述俯视图分类学习模块和所述噪点分类模块的损失值；
根据所述损失值，进行梯度回传，以更新所述多视角特征编码模块、所述特征融合模块、所述俯视图分类学习模块和所述噪点分类模块的参数，并进行下一次迭代。
在上述点云噪点分类方法的一个技术方案中，所述联合训练的损失函数包括focal损失函数和lovasz损失函数；
所述方法还包括：
根据所述focal损失函数和lovasz损失函数进行加权计算，获取所述联合训练每次迭代的损失值。
在第二方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述点云噪点分类方法的技术方案中任一项技术方案所述的点云噪点分类方法。
在第三方面，提供一种智能设备，所述智能设备包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述点云噪点分类方法的技术方案中任一项技术方案所述的点云噪点分类方法。
本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本申请的技术方案中，本申请对原始点云数据进行多视角特征编码，获得多个视角的视角编码特征，根据多个视角的视角编码特征以及原始点云数据的反射特性数据，获取原始点云数据的融合逐点特征，根据融合逐点特征，获得原始点云数据中的噪点分类结果。通过上述配置方式，本申请能够将原始点云数据的多视角编码特征和反射特性数据结合，使得获得的融合逐点特征不仅包含原始点云数据的多个视角的特征数据，还包含原始点云数据的反射特性数据，更加有利于实现原始点云数据中的噪点分类，能够更为准确有效地实现对原始点云数据的噪点分类，有效提升噪点分类效果。
附图说明
参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：
图1是根据本申请的一个实施例的点云噪点分类方法的主要步骤流程示意图；
图2是现有技术中的对原始点云数据进行全场景语义标注和本申请实施例的一个实施方式的对用于训练的原始点云数据进行噪点分类标注的对比示意图；
图3是现有技术中的点云噪点分类方法主要实现架构示意图；
图4是根据本申请实施例的一个实施方式的点云噪点分类方法的主要实现架构示意图；
图5是根据本申请的一个实施例的智能设备的存储器和处理器的连接关系示意图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。
在本申请的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
这里先解释本申请涉及到的一些术语。
自动驾驶系统(Automated Driving Systems，ADS)，其是指系统在自身的设计运行范围(Operational Domain Design，ODD)内将持续执行全部的动态驾驶任务(DynamicDriving Task，DDT)。即，在规定的适当驾驶场景条件下才允许机器系统全部承担车辆自动操控的任务，即车辆满足 ODD 条件时系统被激活，该系统代替人类驾驶员作为车辆的驾驶主体。其中，动态驾驶任务 DDT 是指对车辆进行持续的横向(左、右转向)和纵向运动控制(加速，减速，匀速)以及对车辆行驶环境中的目标和事件进行探测和响应。设计运行范围ODD 是指自动驾驶系统可以安全运行的条件，其设置的条件可以包括地理位置、道路类型、速度范围、天气、时间等。
参阅附图1，图1是根据本申请的一个实施例的点云噪点分类方法的主要步骤流程示意图。如图1所示，本申请实施例中的点云噪点分类方法主要包括下列步骤S101-步骤S103。
步骤S101：基于原始点云数据，进行多视角特征编码，获得多个视角的视角编码特征。
在本实施例中，可以对激光雷达采集的原始点云数据进行多视角特征编码，获得多个视角的视角编码特征。
一个实施方式中，多个视角可以包括距离视图视角（Range View）、俯视图视角（Bird’s eye View，BEV）、前向视图（Front View）和原始点云视角（Point View）中的至少两种。可以应用现有技术中的多视角基础编码方法，实现多视角特征编码，如可以基于全连接网络（MLP，Multilayer Perceptron）来获得原始点云视角的原始点云最终逐点特征，或者是由PointNet来获得原始点云视角的原始点云最终逐点特征。本申请对此不进行限定。
一个实施方式中，可以通过多视角特征编码模块实现多视角特征编码。多视角特征编码模块可以通过骨干网络（network backbone）实现，骨干网络可以为resnet（Residual Network，残差网络），VGG（Visual Geometry Group，视觉几何小组）等。
步骤S102：根据多个视角的视角编码特征和原始点云数据的反射特性数据，获取原始点云数据的融合逐点特征。
在本实施例中，可以将多个视角的视角编码特征与原始点云数据的反射特性数据结合，以获得原始点云数据的融合逐点特征。其中，逐点特征为反应了原始点云数据中每个点云特性的特征。融合逐点特征为融合了的多个视角的视角编码特征和原始点云数据的反射特性的逐点特征。其中，反射特性数据为反映原始点云数据中的点云的反射特性的数据。反射特性可以包括回波强度、反射强度、反射率等。
一个实施方式中，反射特性数据可以包括反射率和二次回波信息。由于激光雷达产的产生的噪点的反射率和二次回波信息与其他障碍物的反射率和二次回波信息存在较大的差异，结合反射率和二次回波信息能够更好的区分噪点和真实的障碍物。其中，激光雷达的激光脉冲在传播过程中遇到距激光发射源不同距离的障碍物时会发生多次反射，只要回波信号的强度足以被接受并且回波信号的间距满足一定的条件，就可以被记录并获得该次反射所测得的距离，现实场景中，绝大多数常规场景下，主要产生的为二次回波。而二次回波信息是指是否产生二次回波、以及二次回波所测得的强度信息、距离信息和时间信息等。
一个实施方式中，可以通过特征融合模块来获取融合逐点特征。特征融合模块可以包含卷积层和特征拼接层，卷积层用于对各个视角的视角编码特征进行独立卷积，基于卷积结果，通过特征拼接层进行特征拼接，从而获得融合逐点特征。
步骤S103：根据融合逐点特征，获取原始点云数据中的噪点分类结果。
在本实施例中，可以根据融合逐点特征，来进行噪点分类结果的预测，从而获得噪点分类结果。
一个实施方式中，可以通过噪点分类模块来获得噪点分类结果。噪点分类模块可以为基于检测网络（detection head）构建的模块。
基于上述步骤S101-步骤S103，本申请实施例对原始点云数据进行多视角特征编码，获得多个视角的视角编码特征，根据多个视角的视角编码特征以及原始点云数据的反射特性数据，获取原始点云数据的融合逐点特征，根据融合逐点特征，获得原始点云数据中的噪点分类结果。通过上述配置方式，本申请实施例能够将原始点云数据的多视角编码特征和反射特性数据结合，使得获得的融合逐点特征不仅包含原始点云数据的多个视角的特征数据，还包含原始点云数据的反射特性数据，更加有利于实现原始点云数据中的噪点分类，能够更为准确有效地实现对原始点云数据的噪点分类，有效提升噪点分类效果。
下面分别对步骤S101、步骤S102以及对获得噪点分类结果的多个模块之间进行联合训练过程进行详细说明。
在本申请实施例的一个实施方式中，步骤S101可以进一步被配置为：
分别对原始点云数据进行距离视图特征编码、俯视图特征编码以及原始点云逐点特征编码，以分别获取距离视图特征、俯视图特征、和原始点云逐点特征。
在本实施方式中，可以分别从距离视图、俯视图和原始点云视图的多个视角来获取原始点云的特征表达，以分别获得距离视图特征、俯视图特征和原始点云逐点特征。
一个实施方式中，步骤S102可以进一步包括以下步骤S1021至步骤S1024：
步骤S1021：根据距离视图特征，获取距离视图逐点特征。
在本实施方式中，可以根据距离视图特征获得距离视图逐点特征。
步骤S1022：根据俯视图特征，获取俯视图逐点特征。
在本实施方式中，可以对俯视图特征进行独立卷积获得俯视图逐点特征。可以基于卷积神经网络来实现独立卷积操作。
步骤S1023：根据原始点云逐点特征和反射特性数据，获得原始点云最终逐点特征。
在本实施方式中，步骤S1023可以进一步包括以下步骤S10231和步骤S10232：
步骤S10231：将原始点云数据的反射率转换为反射率浮点数据。
在本实施方式中，可以将原始点云数据的反射率对应的值，通过tanh函数进行归一化映射，从而将反射率对应的值映射至0-1之间的反射率浮点数据。
步骤S10232：根据原始点云数据每个点云的反射率浮点数据、二次回波信息和原始点云逐点特征，获得原始点云最终逐点特征。
在本实施方式中，可以根据原始点云数据的每个点云反射率浮点数据、二次回波信息以及原始点云逐点特征进行卷积操作，以获得原始点云最终逐点特征，以使得原始点云最终逐点特征能够包含原始点云视角的特征表达和每个点云的反射特性的特征表达。同时，分别为俯视图逐点特征和原始点云最终逐点特征分别单独设置卷积操作，能够实现在联合训练过程中，增强俯视图逐点特征和原始点云最终逐点特征的学习能力和独立性。
步骤S1024：根据距离视图逐点特征、俯视图逐点特征和原始点云最终逐点特征进行特征融合，获得融合逐点特征。
在本实施方式中，可以将距离视图逐点特征、俯视图逐点特征和原始点云最终逐点特征进行特征拼接，从而实现特征融合，获得融合逐点特征。通过特征拼接的过程，能够保留全部原始信息的情况下，不额外引入计算量。
可以参阅附图3和附图4，图3是现有技术中的点云噪点分类方法主要实现架构示意图；图4是根据本申请实施例的一个实施方式的点云噪点分类方法的主要实现架构示意图。如图3所示，现有技术中，仅将原始点云数据输入至基于多视角基础编码部分，获得编码特征后输入至输出层，获得噪点分类结果。如图4所示，本申请中将原始点云数据输入多视角编码部分获得多个视角的视角编码特征，并结合了反射率和二次回波信息，进行原始点云数据中每个点云的独立特征提取，获得原始点云最终逐点特征，将原始点云最终逐点特征输入至输出层，获得噪点分类结果，结合了多个视角的视角编码特征以及反射率和二次回波信息，能够更为有效的区分原始点云数据的噪点数据和真实障碍物，获得更为准确的噪点分类结果。
在本申请实施例的一个实施方式中，通过多视角特征编码模块进行多视角特征编码；通过特征融合模块获取融合逐点特征；通过噪点分类模块获得噪点分类结果。本申请可以基于以下步骤S201对上述模块进行联合训练：
步骤S201：基于训练数据集，对多视角特征编码模块、特征融合模块和噪点分类模块进行联合训练；其中，训练数据集中包含标注的用于训练的原始点云数据，标注的标签为用于训练的原始点云数据中的噪点的分类。
在本实施方式中，在获取噪点分类结果的各个模块进行联合训练过程中，可以基于标注的原始点云数据构建训练数据集。标注的过程仅需要对原始点云数据的噪点数据进行标注。首先，可以对不同场景下的噪点的分类进行明确定义，以方便进行针对性的采集和标注。
一个实施方式中，噪点的分类可以包括溅起的水花噪点、尾气噪点、扬尘噪点、蒸汽噪点、洒水噪点、浓雾噪点、空中雨水噪点、空中雪花噪点、传感器噪声噪点、反射物体噪点、串扰鬼影噪点、高反膨胀噪点和二次回波鬼影噪点，以及其他未定义的模糊不清的点云则会被分类为无法判定类别的噪点。可以参阅附图2，图2是现有技术中的对原始点云数据进行全场景语义标注和本申请实施例的一个实施方式的对用于训练的原始点云数据进行噪点分类标注的对比示意图。如图2所示，图2左侧中为现有技术中对原始点云数据进行全场景语义标注的示意图，由于需要标注的点云数量大，存在着标注成本高的问题。图2右侧为本申请实施例中只针对噪点分类进行分类的示意图。图2中标识1对应的即为标注的溅起的水花噪点。从图2中也可以看出，由于在原始点云数据中噪点往往是较少的，本申请实施例中的标注方法能够实现低成本、大批量的标注过程，从而为联合训练过程提供更为充分的数据样本。进而，也能够通过数据闭环的方式，将智能设备实际运行过程中采集的原始点云数据进行回传，用于进行联合训练，从而不断提升噪点分类结果的准确度。
一个实施方式中，原始点云数据为智能设备上设置的激光雷达采集的。在对原始点云数据中的噪点进行标注时，针对水花噪点、洒水噪点、浓雾噪点、空中雨水噪点、空中雪花噪点等雨雾噪点。如果初步确定为上述雨雾噪点时，在标注过程中可以通过原始点云数据的俯视图来进行协助判断，通过俯视图判断噪点与智能设备（如，车辆）之间的距离，如果距离大于预设距离阈值时，可以最终判定噪点的分类为对应的雨雾噪点。通过俯视图进行辅助判断，可以防止将真实的物体的点云数据标注成噪点。
一个实施方式中，在对原始点云数据中的噪点进行标注时，针对串扰鬼影噪点、二次回波鬼影噪点等鬼影噪点，当初步确定为鬼影噪点时，可以结合反射率信息进行辅助判断，如果噪点的放射率小于周围物体的反射率时，可以最终判定为对应的鬼影噪点。
一个实施方式中，在进行联合训练过程中，可以增加基于俯视图特征进行噪点分类的俯视图分类学习模块，基于训练数据集，对多视角特征编码模块、特征融合模块、俯视图分类学习模块和噪点分类模块进行联合训练，从而实现训练过程中俯视图学习和逐点学习的过程。即，训练过程中，增加俯视图分类学习模块来辅助训练过程，但是在部署过程中，则无需部署俯视图分类学习模块。
一个实施方式中，步骤S201可以进一步包括以下步骤S2011和步骤S2012：
步骤S2011：针对联合训练的每次迭代，基于俯视图分类学习模块的分结果、噪点分类模块的分类结果以及用于训练的原始点云数据的标签，分别获取俯视图分类学习模块和噪点分类模块的损失值。
步骤S2012：根据损失值，进行梯度回传，以更新多视角特征编码模块、特征融合模块、俯视图分类学习模块和噪点分类模块的参数，并进行下一次迭代。
在本实施方式中，可以分别为俯视图分类学习模块和噪点分类模块设置损失函数，可以分别计算上述两个模块的分类结果的损失值，进行梯度回传，从而更新多视角特征编码模块、特征融合模块、俯视图分类学习模块和噪点分类模块的参数。
一个实施方式中，当满足迭代截止条件时，可以结束联合训练。其中，迭代截止条件可以为迭代次数达到次数阈值，或损失值小于预设的损失阈值等。本领域技术人员可以根据实际应用的需要对迭代截止条件进行设置。
一个实施方式中，损失函数可以包括focal损失函数和lovasz损失函数。可以根据focal损失函数和lovasz损失函数获得的损失值进行加权计算，获取联合训练每次迭代的损失值。如图4所示，辅助训练损失函数模块即实现根据损失值进行梯度回传的功能。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本申请的保护范围之内。
本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。
进一步，本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的点云噪点分类方法的程序，该程序可以由处理器加载并运行以实现上述点云噪点分类方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本申请的另一方面还提供了一种智能设备，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请实施例的智能设备，可以包括驾驶设备、智能车、机器人等设备。可以参阅附图5，图5是根据本申请的一个实施例的智能设备的存储器和处理器的连接关系示意图，图5中示例性的示出了存储器和处理器通过总线通信连接。
在本申请的一些实施例中，所述智能设备还包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本申请的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理，因此，拆分或合并之后的技术方案都将落入本申请的保护范围内。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (13)

1.一种点云噪点分类方法，其特征在于，所述方法包括：
基于原始点云数据，进行多视角特征编码，获得多个视角的视角编码特征；
根据多个视角的所述视角编码特征和所述原始点云数据的反射特性数据，获取所述原始点云数据的融合逐点特征；
根据所述融合逐点特征，获取所述原始点云数据中的噪点分类结果。
2.根据权利要求1所述的点云噪点分类方法，其特征在于，
所述基于原始点云数据，进行多视角特征编码，获得多个视角的视角编码特征，包括：
分别对所述原始点云数据进行距离视图特征编码、俯视图特征编码以及原始点云逐点特征编码，以分别获取距离视图特征、俯视图特征、和原始点云逐点特征。
3.根据权利要求2所述的点云噪点分类方法，其特征在于，
所述根据多个视角的所述视角编码特征和所述原始点云数据的反射特性数据，获取所述原始点云数据的融合逐点特征，包括：
根据所述距离视图特征，获取距离视图逐点特征；
根据所述俯视图特征，获取俯视图逐点特征；
根据所述原始点云逐点特征和所述反射特性数据，获得原始点云最终逐点特征；
根据所述距离视图逐点特征、所述俯视图逐点特征和所述原始点云最终逐点特征进行特征融合，获得所述融合逐点特征。
4.根据权利要求3所述的点云噪点分类方法，其特征在于，所述反射特性数据包括反射率和二次回波信息。
5.根据权利要求4所述的点云噪点分类方法，其特征在于，
所述根据所述原始点云逐点特征和所述反射特性数据，获得原始点云最终逐点特征，包括：
将所述原始点云数据的反射率转换为反射率浮点数据；
根据所述原始点云数据每个点云的所述反射率浮点数据、所述二次回波信息和所述原始点云逐点特征，获得所述原始点云最终逐点特征。
6.根据权利要求1所述的点云噪点分类方法，其特征在于，通过多视角特征编码模块进行所述多视角特征编码；通过特征融合模块获取所述融合逐点特征；通过噪点分类模块获得所述噪点分类结果；
所述方法还包括：
基于训练数据集，对所述多视角特征编码模块、所述特征融合模块和所述噪点分类模块进行联合训练；
其中，所述训练数据集中包含标注的用于训练的原始点云数据，标注的标签为所述用于训练的原始点云数据中的噪点的分类。
7.根据权利要求6所述的点云噪点分类方法，其特征在于，所述原始点云数据为智能设备上设置的激光雷达采集的；所述分类包括雨雾噪点；所述方法还包括：
在对所述用于训练的原始点云数据进行标注时，当初步确定噪点的分类为雨雾噪点时，根据所述原始点云数据的俯视图判断所述噪点与所述智能设备之间的距离；
当所述距离大于预设距离阈值时，最终确定所述噪点的分类为雨雾噪点。
8.根据权利要求6所述的点云噪点分类方法，其特征在于，所述分类包括鬼影噪点；所述方法还包括：
在对所述用于训练的原始点云数据进行标注时，当初步确定噪点的分类为鬼影噪点时，获取所述噪点的反射率和所述噪点的周围物体的反射率；
当所述噪点的反射率小于所述周围物体的反射率，最终确定所述噪点的分类为鬼影噪点。
9.根据权利要求6所述的点云噪点分类方法，其特征在于，所述视角特征编码包括俯视图特征编码以及原始点云逐点特征编码，所述视角编码特征包括俯视图特征和原始点云逐点特征；
所述基于训练数据集，对所述多视角特征编码模块、所述特征融合模块和所述噪点分类模块进行联合训练，包括：
在联合训练阶段，设置基于所述俯视图特征进行噪点分类的俯视图分类学习模块；
基于训练数据集，对所述多视角特征编码模块、所述特征融合模块、所述俯视图分类学习模块和所述噪点分类模块进行联合训练。
10.根据权利要求9所述的点云噪点分类方法，其特征在于，
所述基于训练数据集，对所述多视角特征编码模块、所述特征融合模块、所述俯视图分类学习模块和所述噪点分类模块进行联合训练，包括：
针对所述联合训练的每次迭代，基于所述俯视图分类学习模块的分结果、所述噪点分类模块的分类结果以及所述用于训练的原始点云数据的标签，分别获取所述俯视图分类学习模块和所述噪点分类模块的损失值；
根据所述损失值，进行梯度回传，以更新所述多视角特征编码模块、所述特征融合模块、所述俯视图分类学习模块和所述噪点分类模块的参数，并进行下一次迭代。
11.根据权利要求6至10中任一项所述的点云噪点分类方法，其特征在于，所述联合训练的损失函数包括focal损失函数和lovasz损失函数；
所述方法还包括：
根据所述focal损失函数和lovasz损失函数进行加权计算，获取所述联合训练每次迭代的损失值。
12.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至11中任一项所述的点云噪点分类方法。
13.一种智能设备，其特征在于，所述智能设备包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至11中任一项所述的点云噪点分类方法。
CN202410599509.6A 2024-05-15 2024-05-15 点云噪点分类方法、可读存储介质及智能设备 Active CN118172616B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410599509.6A CN118172616B (zh) 2024-05-15 2024-05-15 点云噪点分类方法、可读存储介质及智能设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410599509.6A CN118172616B (zh) 2024-05-15 2024-05-15 点云噪点分类方法、可读存储介质及智能设备

Publications (2)

Publication Number Publication Date
CN118172616A true CN118172616A (zh) 2024-06-11
CN118172616B CN118172616B (zh) 2024-07-30

Family

ID=91355202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410599509.6A Active CN118172616B (zh) 2024-05-15 2024-05-15 点云噪点分类方法、可读存储介质及智能设备

Country Status (1)

Country Link
CN (1) CN118172616B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275077A (zh) * 2020-01-13 2020-06-12 南京林业大学 多视角特征联合学习下的机载激光雷达点云语义标注方法
CN112912756A (zh) * 2019-09-17 2021-06-04 深圳市大疆创新科技有限公司 点云滤噪的方法、测距装置、系统、存储介质和移动平台
CN113610143A (zh) * 2021-08-02 2021-11-05 广州文远知行科技有限公司 一种点云噪点的分类方法、装置、设备及存储介质
CN113947552A (zh) * 2021-11-25 2022-01-18 中山大学 一种融合强度与时空几何特征的激光雷达去雪方法和系统
US20220214427A1 (en) * 2021-01-06 2022-07-07 Korea Advanced Institute Of Science And Technology Method and apparatus for removing lidar point cloud noise
CN114926356A (zh) * 2022-05-10 2022-08-19 大连理工大学 一种针对降雪影响的LiDAR点云无监督去噪方法
CN114998638A (zh) * 2022-04-14 2022-09-02 上海理工大学 基于动静态卷积融合神经网络的多视图三维点云分类方法
CN116879883A (zh) * 2023-08-16 2023-10-13 安徽蔚来智驾科技有限公司 激光雷达噪点数据采集处理方法、装置、介质及车辆
CN117496165A (zh) * 2024-01-03 2024-02-02 吉咖智能机器人有限公司 雨雪噪点过滤方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112912756A (zh) * 2019-09-17 2021-06-04 深圳市大疆创新科技有限公司 点云滤噪的方法、测距装置、系统、存储介质和移动平台
CN111275077A (zh) * 2020-01-13 2020-06-12 南京林业大学 多视角特征联合学习下的机载激光雷达点云语义标注方法
US20220214427A1 (en) * 2021-01-06 2022-07-07 Korea Advanced Institute Of Science And Technology Method and apparatus for removing lidar point cloud noise
CN113610143A (zh) * 2021-08-02 2021-11-05 广州文远知行科技有限公司 一种点云噪点的分类方法、装置、设备及存储介质
CN113947552A (zh) * 2021-11-25 2022-01-18 中山大学 一种融合强度与时空几何特征的激光雷达去雪方法和系统
CN114998638A (zh) * 2022-04-14 2022-09-02 上海理工大学 基于动静态卷积融合神经网络的多视图三维点云分类方法
CN114926356A (zh) * 2022-05-10 2022-08-19 大连理工大学 一种针对降雪影响的LiDAR点云无监督去噪方法
CN116879883A (zh) * 2023-08-16 2023-10-13 安徽蔚来智驾科技有限公司 激光雷达噪点数据采集处理方法、装置、介质及车辆
CN117496165A (zh) * 2024-01-03 2024-02-02 吉咖智能机器人有限公司 雨雪噪点过滤方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU W ET AL: "Multi-View Fusion Driven 3D Point Cloud Semantic Segmentation Based on Hierarchical Transformer", 《IEEE》, 6 November 2023 (2023-11-06), pages 31461 *
宋时德;李淼;张健;陈雷;袁媛;吴娜;: "面向以多视角立体匹配获取的植株三维点云的去噪方法", 计算机应用, no. 2, 20 December 2017 (2017-12-20), pages 146 - 150 *

Also Published As

Publication number Publication date
CN118172616B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
Nie et al. A multimodality fusion deep neural network and safety test strategy for intelligent vehicles
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
US10796201B2 (en) Fusing predictions for end-to-end panoptic segmentation
JP7040374B2 (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
Heidecker et al. An application-driven conceptualization of corner cases for perception in highly automated driving
WO2021226921A1 (en) Method and system of data processing for autonomous driving
Zakaria et al. Lane detection in autonomous vehicles: A systematic review
KR20170127036A (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
CN111753629A (zh) 车辆环境的环境数据处理
CN117557977B (zh) 环境感知信息获取方法、可读存储介质及智能设备
CN114972911A (zh) 自动驾驶感知算法模型的输出数据收集处理方法及设备
CN117237919A (zh) 跨模态监督学习下多传感器融合检测的卡车智驾感知方法
CN117495847B (zh) 路口检测方法、可读存储介质及智能设备
CN117784798B (zh) 目标跟踪方法、智能设备及计算机可读存储介质
US20210271979A1 (en) Method, a system, a storage portion and a vehicle adapting an initial model of a neural network
EP4009228A1 (en) Method for determining a semantic free space
CN118172616B (zh) 点云噪点分类方法、可读存储介质及智能设备
KR20210114530A (ko) 차량 주위에서의 타깃에 대한 신뢰점수를 결정하는 방법
CN113156440B (zh) 一种基于雷达和图像数据融合检测的防御方法及系统
EP4057183A1 (en) Methods and systems for object detection
EP4281945A1 (en) Static occupancy tracking
CN117952978B (zh) 路口检测方法、计算机可读存储介质及智能设备
CN112257486A (zh) 算力分配方法、装置、计算机设备和存储介质
CN117496476B (zh) 路网生成方法、可读存储介质及智能设备
CN117935173B (zh) 目标车辆的识别方法、场端服务器及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant