CN116704461A - 基于激光点云的地面检测方法、系统及计算机可读介质 - Google Patents

基于激光点云的地面检测方法、系统及计算机可读介质 Download PDF

Info

Publication number
CN116704461A
CN116704461A CN202310650580.8A CN202310650580A CN116704461A CN 116704461 A CN116704461 A CN 116704461A CN 202310650580 A CN202310650580 A CN 202310650580A CN 116704461 A CN116704461 A CN 116704461A
Authority
CN
China
Prior art keywords
point cloud
grid
sub
point
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310650580.8A
Other languages
English (en)
Inventor
张灿
宋文辉
潘奇
陈睿
赵天坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hozon New Energy Automobile Co Ltd
Original Assignee
Hozon New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hozon New Energy Automobile Co Ltd filed Critical Hozon New Energy Automobile Co Ltd
Priority to CN202310650580.8A priority Critical patent/CN116704461A/zh
Publication of CN116704461A publication Critical patent/CN116704461A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于激光点云的地面检测方法、系统及计算机可读介质，包括：步骤S1：将点云点输入语义分割神经网络模型，语义分割神经网络模型输出点云点的类别，其中类别包括地面和非地面；步骤S2：将类别为地面的点云点作为待处理点云点，并去除大于第一预设阈值的待处理点云点，获得剩余的候选点云点；步骤S3：栅格化处理候选点云点，获得栅格内候选点云点的坐标，其中栅格包括多个第一子栅格；步骤S4：遍历第一子栅格，计算第一子栅格的拟合平面方程；步骤S5：计算候选点云点与第一子栅格的拟合平面方程所对应拟合平面之间的第一距离，将第一距离小于第二预设阈值的候选点云点作为地面检测点云点。本发明可以提高地面点云点检测的准确度。

Description

基于激光点云的地面检测方法、系统及计算机可读介质
技术领域
本发明主要涉及激光雷达点云检测技术领域，具体地涉及一种基于激光点云的地面检测方法、系统及计算机可读介质。
背景技术
在车辆自动驾驶领域，车辆上通常会搭载激光雷达以感知周围环境，激光雷达具有探测分辨率高、抗干扰能力强、获取信息丰富以及可以全天时工作等特点。在车辆自动驾驶过程中需要对周围环境进行目标检测，例如当检测出行人、石头、土堆、栅栏等障碍物时，车辆需要进行相应的避让处置。在基于激光雷达的激光点云进行目标检测时，车辆上搭载的激光雷达的部分视场范围可能会覆盖地面，而地面点云会影响对障碍物尺寸的判断，地面点云对于目标检测任务来说是无效的传感器信息，因此需要根据地面检测方法筛选出地面点云点，再将地面点云点剔除，避免地面点云点对目标检测产生干扰。
现有的地面检测方法通常基于人工标注好的高精度地图来进行地面拟合，这些人工标注的高精度地图中包括道路边界等多种交通道路元素，地面检测方法会对已标出道路边界范围内的激光点云点进行地面拟合处理，从而筛选出地面点云点。现有的地面检测方法高度依赖于人工标注的高精度地图，而这些人工标注的高精度地图无法全面覆盖车辆行驶的所有场景，在车辆的部分行驶场景中存在地面点云点检测准确度不高的问题。
发明内容
本申请所要解决的技术问题是提供一种基于激光点云的地面检测方法、系统及计算机可读介质，可以提高地面点云点检测的准确度，适用于车辆行驶的大部分场景。
本申请为解决上述技术问题而采用的技术方案是一种基于激光点云的地面检测方法，激光点云包括至少一个点云点，该地面检测方法包括：步骤S1：将每个点云点输入语义分割神经网络模型，语义分割神经网络模型输出每个点云点的类别，其中，类别包括地面和非地面；步骤S2：将每个类别为地面的点云点作为待处理点云点，从待处理点云点中去除大于第一预设阈值的待处理点云点，获得剩余的至少一个候选点云点；步骤S3：栅格化处理每个候选点云点，获得栅格内每个候选点云点的坐标，其中，栅格包括多个第一子栅格；步骤S4：遍历每个第一子栅格，计算每个第一子栅格的拟合平面方程；以及步骤S5：计算每个候选点云点与每个第一子栅格的拟合平面方程所对应拟合平面之间的第一距离，将第一距离小于第二预设阈值的候选点云点作为地面检测点云点。
在本申请的一实施例中，在步骤S4中，计算每个第一子栅格的拟合平面方程的步骤包括：步骤S4a：在当前第一子栅格中随机选取不共线的多个候选点云点，根据多个候选点云点的坐标构建候选平面方程；步骤S4b：根据候选平面方程计算当前第一子栅格中的内点率；步骤S4c：根据当前第一子栅格中的内点率判断是否将候选平面方程作为当前第一子栅格的拟合平面方程。
在本申请的一实施例中，在步骤S4中，在遍历每个第一子栅格的过程中，重复步骤S4a～步骤S4c。
在本申请的一实施例中，第一子栅格中包括多个第二子栅格；步骤S4a进一步包括：在当前第一子栅格的任意个第二子栅格中随机选取不共线的三个候选点云点，根据三个候选点云点的坐标构建候选平面方程。
在本申请的一实施例中，第一子栅格包括低分辨率栅格，第二子栅格包括高分辨率栅格。
在本申请的一实施例中，在步骤S4b中，根据候选平面方程计算当前第一子栅格中的内点率的步骤包括：步骤S4ba：计算当前第一子栅格中每个候选点云点与候选平面方程所对应拟合平面之间的第二距离；步骤S4bb：判断第二距离是否小于第三预设阈值，若是，则将第二距离对应的候选点云点记为内点；若否，则将第二距离对应的候选点云点记为外点；步骤S4bc：计算当前第一子栅格中，内点的数量与候选点云点的数量的比值，得到当前第一子栅格中的内点率。
在本申请的一实施例中，在步骤S4c中，根据当前第一子栅格中的内点率判断是否将候选平面方程作为当前第一子栅格的拟合平面方程的步骤包括：判断当前第一子栅格中的内点率是否大于第四预设阈值；若是，则将候选平面方程作为当前第一子栅格的拟合平面方程；若否，则重复步骤S4a～步骤S4c并记录当前迭代次数，若当前迭代次数大于等于第五预设阈值，则结束遍历当前第一子栅格。
在本申请的一实施例中，在步骤S4之后，每个第一子栅格分别对应一个拟合平面方程；在步骤S5中，使用下面的公式计算每个候选点云点与每个第一子栅格的拟合平面方程所对应拟合平面之间的第一距离：
其中，Hi,表示第i行和第j列栅格中包括的候选点云点与当前拟合平面方程所对应拟合平面之间的第一距离，Wm,表示第m行和第n列的栅格权重，K表示当前栅格的邻域，当前栅格的邻域包括当前栅格周围其他第一子栅格的数量，i、j、m、n、K均为整数。
在本申请的一实施例中，语义分割神经网络模型基于卷积神经网络构建，语义分割神经网络模型包括鸟瞰视图模块和范围视图模块；在步骤S1中，将每个点云点输入语义分割神经网络模型，语义分割神经网络模型输出每个点云点的类别的步骤包括：步骤S1a：将每个点云点分别输入鸟瞰视图模块和范围视图模块，得到鸟瞰视角特征向量和范围视角特征向量；步骤S1b：使用多层卷积层分别对鸟瞰视角特征向量和范围视角特征向量进行降维处理，得到鸟瞰视角高阶特征向量和范围视角高阶特征向量；步骤S1c：使用多层反卷积层分别对鸟瞰视角高阶特征向量和范围视角高阶特征向量进行升维处理，得到鸟瞰视角升维特征向量和范围视角升维特征向量；步骤S1d：加权融合鸟瞰视角升维特征向量和范围视角升维特征向量，得到融合特征向量，根据融合特征向量输出每个点云点的类别。
在本申请的一实施例中，类别中的非地面包括：车辆、行人、骑行者、绿植、路沿中的一类或多类。
本申请为解决上述技术问题还提出一种基于激光点云的地面检测系统，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行指令以实现如上的基于激光点云的地面检测方法。
本申请为解决上述技术问题还提出一种存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现如上的基于激光点云的地面检测方法。
本申请的技术方案根据语义分割神经网络模型对点云点进行语义分割，获得地面类别的点云点和非地面类别的点云点，该语义分割神经网络模型可以自适应地识别点云点类别，可以提升激光点云分类的通用性；本申请在类别为地面的点云点中去除大于第一预设阈值的点云点后，将剩余的点云点作为候选点云点，栅格化处理候选点云点后，方便在栅格中进一步筛选需要的候选点云点；通过计算每个候选点云点与每个第一子栅格的拟合平面方程所对应拟合平面之间的第一距离，将第一距离小于第二预设阈值的候选点云点作为地面检测点云点，可以有效地筛选出实际的地面点云点，可以提高地面点云点检测的准确度，后续可以将筛选出的地面检测点云点剔除，从而避免地面点云点对目标检测任务产生干扰。本申请不依赖于人工标注的高精度地图，适用于车辆行驶的大部分场景。
附图说明
为让本申请的上述目的、特征和优点能更明显易懂，以下结合附图对本申请的具体实施方式作详细说明，其中：
图1是本申请一实施例的基于激光点云的地面检测方法的示例性流程图；
图2是本申请一实施例的语义分割神经网络模型的示例性示意图；
图3是本申请一实施例中栅格内的点云点的示例性示意图；
图4是本申请一实施例的基于激光点云的地面检测系统的系统框图。
具体实施方式
为让本申请的上述目的、特征和优点能更明显易懂，以下结合附图对本申请的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，因此本申请不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
本申请提出一种基于激光点云的地面检测方法，可以应用于设置有激光雷达的车辆中，为车辆自动驾驶的自主决策规划提供相应信息。本申请的基于激光点云的地面检测方法可以在车辆端运行，例如运行于车辆的控制器内，还可以在云平台中运行。当该基于激光点云的地面检测方法运行于云平台时，车辆端数据与云平台数据通过无线网络交互，示例性地，云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。本申请对该基于激光点云的地面检测方法的运行环境不做限制。
图1是本申请一实施例的基于激光点云的地面检测方法的示例性流程图，参考图1所示，该实施例的基于激光点云的地面检测方法包括以下步骤：
步骤S1：将每个点云点输入语义分割神经网络模型，语义分割神经网络模型输出每个点云点的类别，其中，类别包括地面和非地面。
步骤S2：将每个类别为地面的点云点作为待处理点云点，从待处理点云点中去除大于第一预设阈值的待处理点云点，获得剩余的至少一个候选点云点。
步骤S3：栅格化处理每个候选点云点，获得栅格内每个候选点云点的坐标，其中，栅格包括多个第一子栅格。
步骤S4：遍历每个第一子栅格，计算每个第一子栅格的拟合平面方程。
步骤S5：计算每个候选点云点与每个第一子栅格的拟合平面方程所对应拟合平面之间的第一距离，将第一距离小于第二预设阈值的候选点云点作为地面检测点云点。
下面详细说明上述的步骤S1至步骤S5：
在步骤S1中，将每个点云点输入语义分割神经网络模型，语义分割神经网络模型输出每个点云点的类别，其中，类别包括地面和非地面。在一些实施例中，类别中的非地面包括：车辆、行人、骑行者、绿植、路沿中的一类或多类，类别中的地面可以包括车道线。示例性地，语义分割神经网络模型输出的点云点类别相当于语义信息，本申请根据这些语义信息对点云点数据进行进一步处理。
图2是本申请一实施例的语义分割神经网络模型的示例性示意图，参考图2所示，在一些实施例中，语义分割神经网络模型基于卷积神经网络构建，语义分割神经网络模型包括鸟瞰视图(bird view)模块221和范围视图(range view)模块222；在步骤S1中，将每个点云点210输入语义分割神经网络模型，语义分割神经网络模型输出每个点云点的类别260的步骤包括：
步骤S1a：将每个点云点210分别输入鸟瞰视图模块221和范围视图模块222，得到鸟瞰视角特征向量和范围视角特征向量。
步骤S1b：使用多层卷积层231、232分别对鸟瞰视角特征向量和范围视角特征向量进行降维处理，得到鸟瞰视角高阶特征向量和范围视角高阶特征向量。
步骤S1c：使用多层反卷积层241、242分别对鸟瞰视角高阶特征向量和范围视角高阶特征向量进行升维处理，得到鸟瞰视角升维特征向量和范围视角升维特征向量。
步骤S1d：在特征向量融合模块250加权融合鸟瞰视角升维特征向量和范围视角升维特征向量，得到融合特征向量，根据融合特征向量输出每个点云点的类别260。
继续参考图2所示，示例性地，本申请的语义分割神经网络模型通过鸟瞰视图模块221和范围视图模块222处理点云点210，得到了多视角的点云特征向量，可以优化语义分割神经网络模型的整体性能。在前述步骤S1b中，多层卷积层231和多层卷积层232可以包括相同的卷积结构或者不同的卷积结构，多层卷积层231和多层卷积层232可以同步处理鸟瞰视图模块221输出的鸟瞰视角特征向量以及范围视图模块222输出的范围视角特征向量。经过前述步骤S1b的处理，可以根据特征向量的局部相关性，提取到点云点的高阶特征，相当于对原始的点云点特征进行编码。在前述步骤S1c中，多层反卷积层241和多层反卷积层242可以包括相同的反卷积结构或者不同的反卷积结构，多层反卷积层241和多层反卷积层242可以同步处理多层卷积层231输出的鸟瞰视角高阶特征向量以及多层卷积层232输出的范围视角高阶特征向量。经过前述步骤S1c的处理，相当于将高阶特征解码映射回原始的点云点特征。经过前述步骤S1d的处理，可以根据点云点之间的投影关系，得到不同视角下的点云点分割结果。本申请的语义分割神经网络模型可以自适应地识别点云点类别，可以提升激光点云分类的通用性。
在步骤S2中，将每个类别为地面的点云点作为待处理点云点，从待处理点云点中去除大于第一预设阈值的待处理点云点，获得剩余的至少一个候选点云点。示例性地，本申请将待处理点云点中的部分点云点剔除，将剩余的待处理点云点作为候选点云点，这些候选点云点保留了更多的地面信息，后续进一步处理这些候选点云点可以提高地面点云点检测的准确度。
图3是本申请一实施例中栅格内的点云点的示例性示意图，参考图3所示，图3中的小黑点表示候选点云点310，虚线框标出的栅格表示第一子栅格330，图3所示的实施例中共包括5行*6列，共30个第一子栅格330，本申请对第一子栅格的数量不做限制。在步骤S3中，栅格化处理每个候选点云点310，获得栅格320内每个候选点云点310的坐标，其中，栅格320包括多个第一子栅格330。示例性地，栅格化处理候选点云点310的过程包括初始化生成空栅格，将每个候选点云点310原始的三维坐标信息转换为对应于栅格320的坐标信息，根据转换后的坐标信息将每个候选点云点310分配至栅格320中，相当于为每个候选点云点310建立索引。
继续参考图3所示，在步骤S4中，遍历每个第一子栅格330，计算每个第一子栅格330的拟合平面方程。示例性地，该步骤S4相当于对栅格320进行随机一致性采样，后续基于每个第一子栅格330的拟合平面方程来进行地面拟合处理。
在一些实施例中，在步骤S4中，计算每个第一子栅格330的拟合平面方程的步骤包括：步骤S4a：在当前第一子栅格330中随机选取不共线的多个候选点云点310，根据多个候选点云点310的坐标构建候选平面方程。步骤S4b：根据候选平面方程计算当前第一子栅格330中的内点率。步骤S4c：根据当前第一子栅格330中的内点率判断是否将候选平面方程作为当前第一子栅格330的拟合平面方程。在一些实施例中，在步骤S4中，在遍历每个第一子栅格330的过程中，重复步骤S4a～步骤S4c。
继续参考图3所示，在一些实施例中，第一子栅格330中包括多个第二子栅格331，例如图3所示的实施例中，每个第一子栅格330中包括9个第二子栅格331，本申请对第二子栅格的数量不做限制。步骤S4a进一步包括：在当前第一子栅格330的任意个第二子栅格331中随机选取不共线的三个候选点云点310，根据三个候选点云点310的坐标构建候选平面方程。在一些实施例中，本申请在栅格化处理每个候选点云点310时，使用了多分辨率栅格化的处理方式，从而第一子栅格330包括低分辨率栅格，第二子栅格331包括高分辨率栅格。
在一些实施例中，在步骤S4b中，根据候选平面方程计算当前第一子栅格330中的内点率的步骤包括：步骤S4ba：计算当前第一子栅格330中每个候选点云点310与候选平面方程所对应拟合平面之间的第二距离。步骤S4bb：判断第二距离是否小于第三预设阈值，若是，则将第二距离对应的候选点云点310记为内点；若否，则将第二距离对应的候选点云点310记为外点。步骤S4bc：计算当前第一子栅格330中内点的数量与候选点云点310的数量的比值，得到当前第一子栅格330中的内点率。
继续参考图3所示，在一些实施例中，在步骤S4c中，根据当前第一子栅格330中的内点率判断是否将候选平面方程作为当前第一子栅格330的拟合平面方程的步骤包括：判断当前第一子栅格330中的内点率是否大于第四预设阈值；若是，则将候选平面方程作为当前第一子栅格330的拟合平面方程；若否，则重复步骤S4a～步骤S4c并记录当前迭代次数，若当前迭代次数大于等于第五预设阈值，则结束遍历当前第一子栅格330。示例性地，完整的随机一致性采样过程包括步骤S4a～步骤S4c，在当前第一子栅格330中的内点率大于第四预设阈值时，或者在当前迭代次数大于等于第五预设阈值时，相当于随机一致性采样结束，从而可以得到满足条件的拟合平面方程。
在步骤S5中，计算栅格320中每个候选点云点310与每个第一子栅格330的拟合平面方程所对应拟合平面之间的第一距离，将第一距离小于第二预设阈值的候选点云点310作为地面检测点云点。在一些实施例中，在前述步骤S4之后，每个第一子栅格330分别对应一个拟合平面方程；在步骤S5中，使用下面的公式(1)计算每个候选点云点310与每个第一子栅格330的拟合平面方程所对应拟合平面之间的第一距离：
其中，Hi,表示第i行和第j列栅格中包括的候选点云点310与当前拟合平面方程所对应拟合平面之间的第一距离，Wm,表示第m行和第n列的栅格权重，K表示当前栅格的邻域，当前栅格的邻域包括当前栅格周围其他第一子栅格330的数量，i、j、m、n、K均为整数。
示例性地，第一子栅格330相当于低分辨率栅格，在对粗粒度的第一子栅格330进行地面拟合处理计算其的拟合平面方程的过程中，需要考虑当前第一子栅格330的平面方程与周围相邻的其他第一子栅格330的平面方程之间的一致性，从而通过上述公式(1)对所有的拟合平面方程进行整体优化，可以使地面拟合的处理过程整体平滑，可以提高地面点云点检测的准确度。
本申请的技术方案根据语义分割神经网络模型对点云点进行语义分割，获得地面类别的点云点和非地面类别的点云点，该语义分割神经网络模型可以自适应地识别点云点类别，可以提升激光点云分类的通用性；本申请在类别为地面的点云点中去除大于第一预设阈值的点云点后，将剩余的点云点作为候选点云点310，栅格化处理候选点云点310后，方便在栅格320中进一步筛选需要的候选点云点310；通过计算每个候选点云点310与每个第一子栅格330的拟合平面方程所对应拟合平面之间的第一距离，将第一距离小于第二预设阈值的候选点云点310作为地面检测点云点，可以有效地筛选出实际的地面点云点，可以提高地面点云点检测的准确度，后续可以将筛选出的地面检测点云点剔除，从而避免地面点云点对目标检测任务产生干扰。本申请不依赖于人工标注的高精度地图，适用于车辆行驶的大部分场景。
本申请还包括一种基于激光点云的地面检测系统，包括存储器和处理器。其中，该存储器用于存储可由处理器执行的指令；处理器用于执行该指令以实现前文所述的基于激光点云的地面检测方法。
图4是本申请一实施例的基于激光点云的地面检测系统的系统框图。参考图4所示，该基于激光点云的地面检测系统400可包括车辆系统410和服务器计算机420，该车辆系统410通过通信网络430以无线方式和服务器计算机420交互数据。车辆系统410包括车辆通信端口411、车辆处理器412、只读存储器(ROM)413以及随机存取存储器(RAM)414，在一些实施例中，车辆处理器412可以由一个或多个处理器组成。车辆通信端口411可以实现该车辆系统410与外部的数据通信。该车辆系统410还可以包括不同形式的程序储存单元以及数据储存单元，例如只读存储器(ROM)413和随机存取存储器(RAM)414，能够存储车辆系统410处理和/或通信使用的各种数据文件，以及车辆处理器412所执行的可能的程序指令。车辆处理器412执行这些指令以实现方法的主要部分。车辆处理器412处理的结果可以通过车辆通信端口411传给用户设备，在用户界面上显示。
上述的基于激光点云的地面检测方法可以实施为处理器程序，保存在车辆系统410的程序储存单元中，并可加载到车辆处理器412中执行，以实施本申请的基于激光点云的地面检测方法。
本申请还包括一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现前文所述的基于激光点云的地面检测方法。
基于激光点云的地面检测方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理器可以在一个或者多个特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或设计为执行本文所述功能的其它电子单元或者其结合内实现。
本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘CD、数字多功能盘DVD……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述申请披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

Claims (12)

1.一种基于激光点云的地面检测方法，所述激光点云包括至少一个点云点，其特征在于，包括：
步骤S1：将每个点云点输入语义分割神经网络模型，所述语义分割神经网络模型输出所述每个点云点的类别，其中，所述类别包括地面和非地面；
步骤S2：将每个类别为地面的点云点作为待处理点云点，从所述待处理点云点中去除大于第一预设阈值的待处理点云点，获得剩余的至少一个候选点云点；
步骤S3：栅格化处理每个候选点云点，获得栅格内所述每个候选点云点的坐标，其中，所述栅格包括多个第一子栅格；
步骤S4：遍历每个第一子栅格，计算所述每个第一子栅格的拟合平面方程；以及
步骤S5：计算所述每个候选点云点与所述每个第一子栅格的拟合平面方程所对应拟合平面之间的第一距离，将所述第一距离小于第二预设阈值的候选点云点作为地面检测点云点。
2.如权利要求1所述的地面检测方法，其特征在于，在所述步骤S4中，计算所述每个第一子栅格的拟合平面方程的步骤包括：
步骤S4a：在当前第一子栅格中随机选取不共线的多个候选点云点，根据所述多个候选点云点的坐标构建候选平面方程；
步骤S4b：根据所述候选平面方程计算所述当前第一子栅格中的内点率；
步骤S4c：根据所述当前第一子栅格中的内点率判断是否将所述候选平面方程作为所述当前第一子栅格的拟合平面方程。
3.如权利要求2所述的地面检测方法，其特征在于，在所述步骤S4中，在遍历每个第一子栅格的过程中，重复所述步骤S4a～所述步骤S4c。
4.如权利要求2所述的地面检测方法，其特征在于，所述第一子栅格中包括多个第二子栅格；所述步骤S4a进一步包括：在当前第一子栅格的任意个第二子栅格中随机选取不共线的三个候选点云点，根据所述三个候选点云点的坐标构建候选平面方程。
5.如权利要求4所述的地面检测方法，其特征在于，所述第一子栅格包括低分辨率栅格，所述第二子栅格包括高分辨率栅格。
6.如权利要求2所述的地面检测方法，其特征在于，在所述步骤S4b中，根据所述候选平面方程计算所述当前第一子栅格中的内点率的步骤包括：
步骤S4ba：计算所述当前第一子栅格中所述每个候选点云点与所述候选平面方程所对应拟合平面之间的第二距离；
步骤S4bb：判断所述第二距离是否小于第三预设阈值，若是，则将所述第二距离对应的候选点云点记为内点；若否，则将所述第二距离对应的候选点云点记为外点；
步骤S4bc：计算所述当前第一子栅格中，所述内点的数量与所述候选点云点的数量的比值，得到所述当前第一子栅格中的内点率。
7.如权利要求2或6所述的地面检测方法，其特征在于，在所述步骤S4c中，根据所述当前第一子栅格中的内点率判断是否将所述候选平面方程作为所述当前第一子栅格的拟合平面方程的步骤包括：
判断所述当前第一子栅格中的内点率是否大于第四预设阈值；
若是，则将所述候选平面方程作为所述当前第一子栅格的拟合平面方程；
若否，则重复所述步骤S4a～所述步骤S4c并记录当前迭代次数，若所述当前迭代次数大于等于第五预设阈值，则结束遍历所述当前第一子栅格。
8.如权利要求1所述的地面检测方法，其特征在于，在所述步骤S4之后，每个第一子栅格分别对应一个拟合平面方程；在所述步骤S5中，使用下面的公式计算所述每个候选点云点与所述每个第一子栅格的拟合平面方程所对应拟合平面之间的第一距离：
其中，Hi,表示第i行和第j列栅格中包括的候选点云点与当前拟合平面方程所对应拟合平面之间的第一距离，Wm,表示第m行和第n列的栅格权重，K表示当前栅格的邻域，所述当前栅格的邻域包括当前栅格周围其他第一子栅格的数量，i、j、m、n、K均为整数。
9.如权利要求1所述的地面检测方法，其特征在于，所述语义分割神经网络模型基于卷积神经网络构建，所述语义分割神经网络模型包括鸟瞰视图模块和范围视图模块；在所述步骤S1中，将每个点云点输入语义分割神经网络模型，所述语义分割神经网络模型输出所述每个点云点的类别的步骤包括：
步骤S1a：将每个点云点分别输入所述鸟瞰视图模块和所述范围视图模块，得到鸟瞰视角特征向量和范围视角特征向量；
步骤S1b：使用多层卷积层分别对所述鸟瞰视角特征向量和所述范围视角特征向量进行降维处理，得到鸟瞰视角高阶特征向量和范围视角高阶特征向量；
步骤S1c：使用多层反卷积层分别对所述鸟瞰视角高阶特征向量和所述范围视角高阶特征向量进行升维处理，得到鸟瞰视角升维特征向量和范围视角升维特征向量；
步骤S1d：加权融合所述鸟瞰视角升维特征向量和所述范围视角升维特征向量，得到融合特征向量，根据所述融合特征向量输出所述每个点云点的类别。
10.如权利要求1所述的地面检测方法，其特征在于，所述类别中的非地面包括：车辆、行人、骑行者、绿植、路沿中的一类或多类。
11.一种基于激光点云的地面检测系统，其特征在于，包括：
存储器，用于存储可由处理器执行的指令；
处理器，用于执行所述指令以实现如权利要求1-10任一项所述的地面检测方法。
12.一种存储有计算机程序代码的计算机可读介质，其特征在于，所述计算机程序代码在由处理器执行时实现如权利要求1-10任一项所述的地面检测方法。
CN202310650580.8A 2023-06-02 2023-06-02 基于激光点云的地面检测方法、系统及计算机可读介质 Pending CN116704461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310650580.8A CN116704461A (zh) 2023-06-02 2023-06-02 基于激光点云的地面检测方法、系统及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310650580.8A CN116704461A (zh) 2023-06-02 2023-06-02 基于激光点云的地面检测方法、系统及计算机可读介质

Publications (1)

Publication Number Publication Date
CN116704461A true CN116704461A (zh) 2023-09-05

Family

ID=87844438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310650580.8A Pending CN116704461A (zh) 2023-06-02 2023-06-02 基于激光点云的地面检测方法、系统及计算机可读介质

Country Status (1)

Country Link
CN (1) CN116704461A (zh)

Similar Documents

Publication Publication Date Title
CN109447994B (zh) 结合完全残差与特征融合的遥感图像分割方法
CN109541634B (zh) 一种路径规划方法、装置和移动设备
US11288522B2 (en) Generating training data from overhead view images
US20210199446A1 (en) Overhead view image generation
CN110346808B (zh) 一种激光雷达的点云数据处理方法和系统
CN113850129A (zh) 一种旋转等变的空间局部注意力遥感图像目标检测方法
CN110598541A (zh) 一种提取道路边缘信息的方法及设备
CN112949519B (zh) 目标检测方法、装置、设备及存储介质
EP3842836A1 (en) Method, apparatus and storage medium for positioning object
CN115512175A (zh) 模型训练、点云数据处理方法、装置、设备及存储介质
CN115170978A (zh) 车辆目标检测方法、装置、电子设备及存储介质
US11727601B2 (en) Overhead view image generation
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN116343159B (zh) 一种非结构化场景可通行区域检测方法、装置及存储介质
CN113936109A (zh) 高精地图点云数据的处理方法、装置、设备以及存储介质
CN114868154A (zh) 包括多分辨率体素中的协方差的地图
CN110749325B (zh) 航迹规划方法和装置
CN116704461A (zh) 基于激光点云的地面检测方法、系统及计算机可读介质
CN116630912A (zh) 三维语义占用预测方法、系统、设备、介质及产品
CN116310681A (zh) 基于多帧点云融合的无人车可通行区域预测方法及系统
EP3690706A1 (en) Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
US20220398294A1 (en) Method and device for object tracking
CN115562344B (zh) 基于全球离散网格的无人机城市路径规划方法及设备
CN117649635B (zh) 狭窄水道场景影消点检测方法、系统及存储介质
CN110942513B (zh) 三维网格模型的空间填充方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination