CN116662930A - 一种基于地面移动激光雷达的道路标识生成方法和系统 - Google Patents

一种基于地面移动激光雷达的道路标识生成方法和系统 Download PDF

Info

Publication number
CN116662930A
CN116662930A CN202310649376.4A CN202310649376A CN116662930A CN 116662930 A CN116662930 A CN 116662930A CN 202310649376 A CN202310649376 A CN 202310649376A CN 116662930 A CN116662930 A CN 116662930A
Authority
CN
China
Prior art keywords
ground
point cloud
points
road
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310649376.4A
Other languages
English (en)
Inventor
张少彬
高志明
何翔
孙喜亮
沈贵熙
朱冬波
陶春夏
王爽
魏思铭
成颖霞
张晗
冯宇
张衡
吴芳芳
徐光彩
陈琳海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Lvtu Tujing Technology Co ltd
Beijing Digital Green Earth Technology Co ltd
Original Assignee
Wuhan Lvtu Tujing Technology Co ltd
Beijing Digital Green Earth Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Lvtu Tujing Technology Co ltd, Beijing Digital Green Earth Technology Co ltd filed Critical Wuhan Lvtu Tujing Technology Co ltd
Priority to CN202310649376.4A priority Critical patent/CN116662930A/zh
Publication of CN116662930A publication Critical patent/CN116662930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请提供了一种基于地面移动激光雷达的道路标识生成方法和系统，其中，道路标识生成方法包括：根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，得到地面点的三维点云；使用卷积神经网络编码地面点的三维点云，得到地面点特征图；使用注意力特征提取网络提取地面点特征图的高维特征；将地面点特征图的高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点；根据半径判别法生成道路标识点对应的轮廓信息，得到道路标识的矢量表示。本申请的技术方案能解决现有技术中点云数据计算量较大，计算效率低、过于依赖相机提供的RGB信息、采集时容易受到天气和时段影响的问题。

Description

一种基于地面移动激光雷达的道路标识生成方法和系统
技术领域
本申请涉及地图绘制技术领域，尤其涉及一种基于地面移动激光雷达的道路标识生成方法和系统。
背景技术
三维高精度地图能够准确模拟现实中的地理地貌，为无人机导航、无人驾驶路径规划以及增强现实场景绘制提供地理地貌的支撑。现有的三维高精度地图绘制过程大体包括以下四个步骤：1.三维地图采集；2.三维地图制作；3.三维地图标注；4.三维地图保存。在三维地图采集和制作过程中必须检测得到道路标识，因此检测道路标识是三维高精度地图绘制的必要工作。
现有的道路标识生成算法大多基于图像数据。近年来基于图像数据的道路标识生成算法得到了显著发展，此类道路标识生成算法以处理相机获取视频文件的二维图像为主。作为一种基于图像数据的道路标识生成算法，其步骤如下：首先确定待处理的视频文件，该视频文件中的关键帧用以确定含有目标道路标识的二维图像；将该目标道路标识的像素坐标转化为该像素坐标点对应的经纬度坐标；根据像素坐标点对应的经纬度坐标，得到与预设道路标识的相对位置以及与所述预设道路标识属于同一类型的道路标识的相对位置，这样每个道路标识与所述该像素坐标点的经纬度坐标之间就具有了相对位置关系；根据该相对位置关系能够生成若干个道路标识，用以在高精地图中进行加载。然而相机在采集视频数据时，其天气和时段可能不同，导致光照条件不同，相机的成像质量差异较大，致使道路标识难以识别且精度较低。
为解决上述问题，相关技术逐渐采用基于点云数据的道路标识生成算法，因为直接使用点云数据能够在各种光照的条件下稳健运行。然而点云数据存在数据量大、无序且特征难以提取等特点，直接处理大规模点云数据存在精度较低且速度较慢的问题。同时使用点云数据提取道路标识又严重依赖于通过相机所获取的RGB特征，因此直接使用点云数据进行道路标识提取既存在着较大的优势也面临较大的困难。
申请内容
本申请提供一种基于地面移动激光雷达的道路标识生成方案，能够解决现有技术中点云数据计算量较大，计算效率低、过于依赖相机提供的RGB信息、采集时容易受到天气和时段影响的问题。
为解决上述问题，根据本申请的第一方面，本申请提出了一种基于地面移动激光雷达的道路标识生成方法，包括：
根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，得到地面点的三维点云；
使用卷积神经网络编码地面点的三维点云，得到地面点特征图；
使用注意力特征提取网络提取地面点特征图的高维特征；
将地面点特征图的高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点；
根据半径判别法生成道路标识点对应的轮廓信息，得到道路标识的矢量表示。
优选的，上述道路标识生成方法中，根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据的步骤，包括：
读取地面移动激光雷达的原始点云数据；
按照预定采样尺寸对原始点云数据进行下采样；
使用预定网孔大小的网格对下采样后的点云数据进行分割，提取每个网孔中激光点的最小高程；
组合网格中所有网孔的最小高程，得到最小高程面；
按照预定分割阈值分割最小高程面，分别得到地面网格元素和非地面网格元素；
使用地面网格元素和非地面网格元素分割原始点云数据，得到地面点的三维点云。
优选的，上述道路标识生成方法中，使用卷积神经网络编码地面点的三维点云，得到地面点特征图的步骤，包括：
使用卷积神经网络的BEV编码地面点的三维点云中的三维坐标和点云强度，生成地面点的伪图像；
使用卷积神经网络，根据将地面点的伪图像转换为地面点特征图，其中，x,y,i分别为地面点的三维点云的横坐标、纵坐标和点云强度，Img为地面点的伪图像，θ为可学习参数，Resnet()为残差网络，Feature_map为地面点特征图。
优选的，上述道路标识生成方法中，使用注意力特征提取网络提取地面点特征图的高维特征的步骤，包括：
使用稀疏卷积网络的滑动窗口，对地面点特征图的特征信息进行分块提取，得到多个窗口块；
使用块间的交叉注意力机制，分别融合多个窗口块中任意相邻两窗口块的特征信息，得到地面点特征图的高维特征。
优选的，上述道路标识生成方法中，将地面点特征图的高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点的步骤，包括：
提取三维点云中的点云强度，使用多层感知机MLP和Relu函数对点云强度进行处理，得到地面点特征图的强度特征；
使用特征连接函数对强度特征和高维特征进行融合，得到融合后的地面点特征；
使用分类头对融合后的地面点特征进行分类，使用归一化函数计算地面点特征的分类概率，得到道路标识点。
优选的，上述道路标识生成方法中，根据半径判别法生成道路标识点对应的轮廓信息，得到道路标识的矢量表示的步骤，包括：
使用DBSCAN算法按照点云密度对道路标识点进行聚类，得到道路标识簇；
对每一道路标识簇的任意两道路标识点，绘制得到预设判别半径大小的圆形区域；
根据预设判别半径大小的圆形区域，生成道路标识簇的轮廓信息；
对道路标识簇的轮廓信息进行矢量化，得到道路标识的矢量表示。
优选的，上述道路标识生成方法中，根据预设判别半径大小的圆形区域，生成道路标识簇的轮廓信息的步骤，包括：
判断圆形区域内是否存在道路标识簇的其他道路标识点；
若判定圆形区域内不存在其他道路标识点，则连接两道路标识点作为边界线；
重复绘制圆形区域和判断圆形区域内是否存在其他道路标识点的步骤，直至得到由多条边界线闭合形成的多边形边界；
将道路标识簇对应的点云平均高度，作为道路标识的高度坐标。
根据本发明的第二方面，本发明还提供了一种基于地面移动激光雷达的道路标识生成系统，包括：
点云采样分割模块，用于根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，得到地面点的三维点云；
三维点云编码模块，用于使用卷积神经网络编码地面点的三维点云，得到地面点特征图；
高维特征提取模块，用于使用注意力特征提取网络提取地面点特征图的高维特征；
特征融合分类模块，用于将地面点特征图的高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点；
轮廓信息生成模块，用于根据半径判别法生成道路标识点对应的轮廓信息，得到道路标识的矢量表示。
优选的，上述道路标识生成系统中，点云采样分割模块，包括：
点云读取子模块，用于读取地面移动激光雷达的原始点云数据；
点云下采样子模块，用于按照预定采样尺寸对原始点云数据进行下采样；
第一点云分割子模块，用于使用预定网孔大小的网格对下采样后的点云数据进行分割，提取每个网孔中激光点的最小高程；
高程组合子模块，用于组合网格中所有网孔的最小高程，得到最小高程面；
高程面分割子模块，用于按照预定分割阈值分割最小高程面，分别得到地面网格元素和非地面网格元素；
第二点云分割子模块，用于使用地面网格元素和非地面网格元素分割原始点云数据，得到地面点的三维点云。
优选的，上述道路标识生成系统中，轮廓信息生成模块，包括：
道路标识聚类子模块，用于使用DBSCAN算法按照点云密度对道路标识点进行聚类，得到道路标识簇；
圆形区域绘制子模块，用于对每一道路标识簇的任意两道路标识点，绘制得到预设判别半径大小的圆形区域；
轮廓信息生成子模块，用于根据预设判别半径大小的圆形区域，生成道路标识簇的轮廓信息；
矢量化处理子模块，用于对道路标识簇的轮廓信息进行矢量化，得到道路标识的矢量表示。
综上，本申请提供的基于地面移动激光雷达的道路标识生成方案，通过根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，能够精确获得地面点的三维点云；使用纯点云数据进行道路标识的提取，能够有效避免天气和光照等因素的影响，使得实际生产中能够全天候作业。然后使用卷积神经网络编码地面点的三维点云，得到地面点特征图，从而能够更加精确地提取地面点特征，生成道路标识，进而提高算法的计算速度，大幅提高生成效率。再使用注意力特征提取网络提取地面点特征图的高维特征，将该高维特征输入至分类头进行融合和分类，这样通过神经网络的方式就能够快速高效地得到地面点中的道路标识点。最后使用半径判别法生成道路标识点对应的轮廓信息，从而最终快速精确地得到道路标识的矢量表示。通过上述方案，能够解决实际生产中点云数据计算量大、计算效率低、过于依赖相机提供的RGB信息、采集时容易受到天气和时段影响的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本申请实施例提供的第一种基于地面移动激光雷达的道路标识生成方法的流程示意图；
图2是图1所示实施例提供的一种原始点云数据的采样和分割方法的流程示意图；
图3是图1所示实施例提供的一种地面点的三维点云的编码方法的流程示意图；
图4是图1所示实施例提供的一种地面点特征图的高维特征的提取方法的流程示意图；
图5是图1所示实施例提供的一种地面点特征图的高维特征的融合和分类方法的流程示意图；
图6是图1所示实施例提供的一种道路标识点的轮廓信息的生成方法的流程示意图；
图7是图6所示实施例提供的一种道路标识的矢量表示的生成方法的流程示意图；
图8是本发明实施例提供的第二种基于地面移动激光雷达的道路标识生成方法的流程示意图；
图9是本申请实施例提供的一种基于地面移动激光雷达的道路标识生成系统的结构示意图；
图10是图9所示实施例提供的一种点云采样分割模块的结构示意图；
图11是图9所示实施例提供的一种轮廓信息生成模块的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决的技术问题是：
现有技术逐渐采用基于点云数据的道路标识生成算法，因为直接使用点云数据能够在各种光照的条件下稳健运行。然而点云数据存在数据量大、无序且特征难以提取等特点，直接处理大规模点云数据存在精度较低且速度较慢的问题。同时使用点云数据提取道路标识又严重依赖于通过相机所获取的RGB特征，因此直接使用点云数据进行道路标识提取既存在着较大的优势也面临较大的困难。
为了解决上述问题，本申请下述实施例提供了基于地面移动激光雷达的道路标识生成方案，通过采样和分割原始点云数据获得地面点的三维点云，然后使用卷积神经网络编码地面点的三维点云，得到地面点特征图；使用注意力特征提取网络提取地面点特征图的高维特征，将该高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点，最后根据半径判别法生成道路标识点对应的轮廓信息，从而得到道路标识的矢量表示。通过上述方案，能够达到降低点云数据计算量，提高计算效率，减少对RGB信息依赖，不易收天气和时段影响的目的。
为实现上述目的，参见图1，图1为本申请实施例提供的第一种基于地面移动激光雷达的道路标识生成方法的流程示意图。如图1所示，该道路标识生成方法包括：
S110：根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，得到地面点的三维点云。通常情况下，道路标识存在于地面点，因此在提取道路标识前需要提取地面点的原始点云数据后再提取和计算道路标识点的点云，进而提高计算效率。
具体地，作为一种优选的实施例，如图2所示，上述道路标识生成方法中，步骤S110：根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据的步骤，包括：
S111：读取地面移动激光雷达的原始点云数据。该原始点云数据包括三维坐标和点云强度，单个点云能够表示为P＝(x,y,z,i)，其中x,y,z为三维坐标，i为点云强度。
S112：按照预定采样尺寸对原始点云数据进行下采样。下采样能够降低点云密度，提高计算效率，其中预定采样尺寸能够选取0.015-0.025m之间的采样尺度，优先选用0.02m大小的采样尺寸对上述原始点云数据进行下采样，从而降低点云密度，提高计算效率。
S113：使用预定网孔大小的网格对下采样后的点云数据进行分割，提取每个网孔中激光点的最小高程。这里的网孔大小能够选用0.3-0.7m之间的任一网孔直径，具体能够选用网孔大小为0.5m的网格对下采样后的点云数据进行分割，从而找出每个网孔中最小高程Zmin。
S114：组合网格中所有网孔的最小高程，得到最小高程面。本申请实施例中选用网格对点云数据进行分割，分别得到每个网孔中的最小高程，将所有网孔的最小高程进行组合，就能够得到一个有多个最小高程组合得到的最小高程面。其中，由于不同网孔的最小高程不一致，因此高最小高程面也是高低不平的，后续会使用预定分割阈值进行水平分割，从而得到包括地面点的网格元素。
S115：按照预定分割阈值分割最小高程面，分别得到地面网格元素和非地面网格元素。这里的预定分割阈值能够选用0.2m。本申请实施例中将最小高程面按照预定分割阈值(例如0.2m)分割为地面网格元素和非地面网格元素，这样就能够得到大量地面点构成的面，方便提取道路标识。
S116：使用地面网格元素和非地面网格元素分割原始点云数据，得到地面点的三维点云。其中地面网格元素中的所有元素能够作为地面点，这样就能够得到所有地面点的三维点云。
具体地，作为一种优选的实施例，本发明实施例提供的技术方案首先读取输入原始点云数据的表示为P＝(x,y,z,i)，其中x,y,z为三维坐标，i为点云强度。然后按照0.02m的大小进行下采样，以降低点云密度，提高计算效率。再将下采样后的点云数据按照0.5m大小的网格对点云数据进行分割，找出每个网格中的最小高度值Zmin，将所有网格的最小高程Zmin组合成一个最小高程面。将最小高程面根据预设的0.2m阈值分割为地面和非地面网格元素。根据上述步骤中的分割结果再分割原始点云数据为地面点和非地面点；
图1所示实施例提供的技术方案提供的道路标识生成方法，还包括：
S120：使用卷积神经网络编码地面点的三维点云，得到地面点特征图。其中，能够选用基于卷积神经网络CNN的BEV编码，将上述地面点的三维点云编码为伪图像，然后将该伪图像转换为地面点特征图。通过上述方式能够快速准确地获得地面点特征图，从而提取地面点特征。
作为一种优选的实施例，如图3所示，上述道路标识生成方法中，步骤S120：使用卷积神经网络编码地面点的三维点云，得到地面点特征图的步骤，包括：
S121：使用卷积神经网络的BEV编码地面点的三维点云中的三维坐标和点云强度，生成地面点的伪图像。由于原始点云数据中包括三维坐标和点云强度，因此通过BEV编码上述三维坐标和点云强度就能够得到地面点对应的伪图像。为了提高神经网络的计算速率同时保持伪图像的分辨率，本发明实施例能够使用基于Resnet的神经网络将伪图像转换为特征图。具体如步骤S122所述。
S122：使用卷积神经网络，根据将地面点的伪图像转换为地面点特征图，其中，x,y,i分别为地面点的三维点云的横坐标、纵坐标和点云强度，Img为地面点的伪图像，θ为可学习参数，Resnet()为残差网络，Feature_map为地面点特征图。其中伪图像Img仅包括地面点的x和y坐标，以及点云强度。
本发明实施例中，地面点的伪图像包括地面点的三维坐标中的x和y坐标，以及点云强度信息。在得到地面点的伪图像后将该伪图像进一步使用残差网络转换为地面点特征图，从而进一步方便提取地面点的高维特征。这里的高维特征具体指伪图像或者说地面点特征图的逐像素特征，即各个块的特征汇总后的特征。
图1所示实施例提供的技术方案，在得到地面点伪图像后，还包括：
S130：使用注意力特征提取网络提取地面点特征图的高维特征。本发明实施例中将上述伪图像或地面点特征图输入到块件注意力Backbone特征提取网络中，从而能够提取得到点云的高维特征。
具体地，作为一种优选的实施例，如图4所示，该使用注意力特征提取网络提取地面点特征图的高维特征的步骤包括：
S131：使用稀疏卷积网络的滑动窗口，对地面点特征图的特征信息进行分块提取，得到多个窗口块。因为地面点的点云数据中道路标识所占的点数通常较少，所以需要使用高分辨率的伪图像进行进一步的特征提取。该伪图像的分辨率由BEV编码设置和点云密度决定，通过设置较高的分辨率和采样的点云密度，就能够得到高分辨率的伪图像。
本发明实施例使用专注于轻量级的系数卷积网络提取伪图像，或者地面点特征图的特征。同时由于单张图片的尺寸较大，所以需要使用滑动窗口的方式分块进行特征提取。然而，多个滑动窗口之间缺乏关联，因此需要使用块间注意力机制融合块件的特征信息。具体参见步骤S132。
S132：使用块间的交叉注意力机制，分别融合多个窗口块中任意相邻两窗口块的特征信息，得到地面点特征图的高维特征。具体的块件的交叉注意力机制如下：
其中，sparse_conv表示稀疏卷积，cross_attention表示深度自注意力变换网络Transformer中的交叉注意力机制，Patch_feature表示窗口块的特征，N表示当前块的相邻块。
由上述块间的交叉注意力机制可知，地面点特征图经过稀疏卷积处理后，能够得到窗口块的特征信息，在对第i个窗口块的特征信息和临近窗口块的特征信息使用交叉注意力机制进行分析后，分别对所有相邻块之间的高维特征进行组合，就能够准确得到地面点特征图的高维特征。
图1所示实施例提供的技术方案，在得到地面点特征图的高维特征后，还包括以下内容：
S140：将地面点特征图的高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点。本发明实施例中将上述地面点特征图的高维特征输入至分类头进行分类后，使用点云中的强度信息辅助对上述高维特征进行分类，就能够准确得到地面点中的道路标识点。
具体地，作为一种优选的实施例，如图5所示，上述道路标识生成方法中，步骤S140：将地面点特征图的高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点的步骤，包括：
S141：提取三维点云中的点云强度，使用多层感知机MLP和Relu函数对点云强度进行处理，得到地面点特征图的强度特征。由于道路标识的表面较为光滑，点云强度较大，所以使用强度的特征进行融合能够有效地提高边界分割质量。为了提高融合效率和准确率，本发明实施例中使用两层MLP和一个非线性激活函数ReLu提取点云的强度特征与伪图像的高维特征表示Feature进行融合。
S142：使用特征连接函数对强度特征和高维特征进行融合，得到融合后的地面点特征。
S143：使用分类头对融合后的地面点特征进行分类，使用归一化函数计算地面点特征的分类概率，得到道路标识点。
使用两层共享的全连接层MLP组成的分类头对点云进行分类，同时每个MLP中有一个非线性激活函数ReLu,最后经过分类器Softmax即可得到每个点所分类别的概率表示。具体如下所示：
其中，MLP表示多层感知机，ReLu表示非线性激活函数，其函数对应公式为F(x)＝max(0,x)，x为输入特征；Pi为点云的强度信息，cat()表示高维特征的连接，即上述特征连接函数，Softmax为归一化操作，将分类概率归一化到[0,1]之间，Class为最终的分类信息，Feature_i表示点云强度的特征。
通过上述方法能够对强度特征和高维特征进行融合，得到融合后的地面点特征，然后使用分类头对融合后的地面点特征进行分类，使用归一化函数计算分类概率，从而得到道路标识点。
图1所示实施例提供的技术方案，在将地面点特征图的高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点后，还包括以下步骤：
S150：根据半径判别法生成道路标识点对应的轮廓信息，得到道路标识的矢量表示。本发明实施例中在得到道路标识点的点云特征后，对道路标识点的点云进行分析判别，从而得到道路标识点的轮廓信息，进而得到道路标识点的矢量表示。
具体地，作为一种优选的实施例，如图6所示，上述道路标识生成方法中，步骤S150：根据半径判别法生成道路标识点对应的轮廓信息，得到道路标识的矢量表示的步骤，包括：
S151：使用DBSCAN算法按照点云密度对道路标识点进行聚类，得到道路标识簇。本发明实施例使用DBSCAN算法对每个点云类别进行聚类，将每个道路标识以一簇点云进行表示。DBSCAN的具体步骤如下：随机选择一个未聚簇点，找出与其距离小于预定距离阈值(例如：0.025m)的同类点，直至所有道路标识分类的点均已完成聚簇为止。
S152：对每一道路标识簇的任意两道路标识点，绘制得到预设判别半径大小的圆形区域。本发明实施例中，选用的预设判别半径R的范围为0.025-0.035m，具体能够为0.03m。
S153：根据预设判别半径大小的圆形区域，生成道路标识簇的轮廓信息该轮廓信息即道路标识的边界轮廓。本发明实施例中对于每一簇点云，过该簇点云中的任意两点p1和p2绘制半径为R的圆，若任一圆内每一其他点，则认为该任意两点为边界点，连接p1和p2成为一条边界线，该边界线即上述道路标识的一条边界。重复上述选取任意两点绘制半径为R的圆的步骤，就能够形成一条由多个边界线闭合而成的多边形，即得到该簇点云的边界轮廓。
S154：对道路标识簇的轮廓信息进行矢量化，得到道路标识的矢量表示。
另外，作为一种优选的实施例，如图7所示，该根据预设判别半径大小的圆形区域，生成道路标识簇的轮廓信息的步骤，包括：
S1531：判断圆形区域内是否存在道路标识簇的其他道路标识点。其中，其他道路标识点为道路标识簇中除上述任意两道路标识点外的其他点。
S1532：若判定圆形区域内不存在其他道路标识点，则连接两道路标识点作为边界线。
S1533：重复绘制圆形区域和判断圆形区域内是否存在其他道路标识点的步骤，直至得到由多条边界线闭合形成的多边形边界。
S1534：将道路标识簇对应的点云平均高度，作为道路标识的高度坐标。
具体地，设置预设判别半径R＝0.03m。过每一道路标识簇的任意两点p1和p2绘制半径为R的圆，如果任意一个圆内没有其他数据点则认为该点为边界点，其连接线(p1p2)为一条边界线。通过上述方式能够形成多条边界线，直至形成一个由多个边界线闭合的多边形，即可得到该道路标识簇点云的边界轮廓。另外，由于点云具有一定的厚度，所以使用该簇点云的平均z坐标作为最后道路标识的矢量的z坐标。
综上，本申请提供的基于地面移动激光雷达的道路标识生成方法，通过根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，能够精确获得地面点的三维点云；使用纯点云数据进行道路标识的提取，能够有效避免天气和光照等因素的影响，使得实际生产中能够全天候作业。然后使用卷积神经网络编码地面点的三维点云，得到地面点特征图，从而能够更加精确地提取地面点特征，生成道路标识，进而提高算法的计算速度，大幅提高生成效率。再使用注意力特征提取网络提取地面点特征图的高维特征，将该高维特征输入至分类头进行融合和分类，这样通过神经网络的方式就能够快速高效地得到地面点中的道路标识点。最后使用半径判别法生成道路标识点对应的轮廓信息，从而最终快速精确地得到道路标识的矢量表示。通过上述方案，能够解决实际生产中点云数据计算量大、计算效率低、过于依赖相机提供的RGB信息、采集时容易受到天气和时段影响的问题。
另外，参见图8，图8为本发明实施例提供的第二种基于地面移动激光雷达的道路标识生成方法的流程示意图。如图8所示，该道路标识生成方法包括：
S201：输入点云的三维表示(x,y,z,i)，其中，x,y和z分别为点云的三维坐标，i为点云的强度信息。
S202：形态学滤波地面点提取，即采用上述形态学滤波的方式提取地面点的三维坐标。
S203：基于CNN的BEV编码，对上述地面点的三维坐标进行BEV编码，生成伪图像。
S204：基于稀疏卷积的Backbone，对伪图像进行高维特征提取。
S205：块间注意力机制，采用块间注意力机制对块间的高维特征进行交叉注意力提取。
S206：输入点云强度(i)。
S207：强度的特征表示。
S208：分类Head。结合块间注意力机制提取的高维特征和强度的特征表示，输入至分类头Head进行融合
S209：道路标识点云DBSCAN聚簇，将融合得到的道路标识点进行聚类，得到若干簇道路标识簇。
S210：道路标识矢量化。
另外，基于上述方法实施例的同一构思，本申请实施例还提供了基于地面移动激光雷达的道路标识生成系统，用于实现本申请的上述方法，由于该系统实施例解决问题的原理与方法相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
参见图9，图9为本申请实施例提供的一种基于地面移动激光雷达的道路标识生成系统的结构示意图。如图9所示，该基于地面移动激光雷达的道路标识生成系统，包括：
点云采样分割模块110，用于根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，得到地面点的三维点云。
三维点云编码模块120，用于使用卷积神经网络编码地面点的三维点云，得到地面点特征图。
高维特征提取模块130，用于使用注意力特征提取网络提取地面点特征图的高维特征。
特征融合分类模块140，用于将地面点特征图的高维特征输入至分类头进行融合和分类，得到地面点中的道路标识点。
轮廓信息生成模块150，用于根据半径判别法生成道路标识点对应的轮廓信息，得到道路标识的矢量表示。
本申请提供的基于地面移动激光雷达的道路标识生成系统，点云采样分割模块110通过根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，能够精确获得地面点的三维点云；使用纯点云数据进行道路标识的提取，能够有效避免天气和光照等因素的影响，使得实际生产中能够全天候作业。然后三维点云编码模块120使用卷积神经网络编码地面点的三维点云，得到地面点特征图，从而能够更加精确地提取地面点特征，生成道路标识，进而提高算法的计算速度，大幅提高生成效率。高维特征提取模块130再使用注意力特征提取网络提取地面点特征图的高维特征，将该高维特征输入至分类头进行融合和分类，这样通过神经网络的方式就能够快速高效地得到地面点中的道路标识点。最后轮廓信息生成模块150使用半径判别法生成道路标识点对应的轮廓信息，从而最终快速精确地得到道路标识的矢量表示。通过上述方案，能够解决实际生产中点云数据计算量大、计算效率低、过于依赖相机提供的RGB信息、采集时容易受到天气和时段影响的问题。
作为一种优选的实施例，如图10所示，上述道路标识生成系统中，点云采样分割模块110，包括：
点云读取子模块111，用于读取地面移动激光雷达的原始点云数据。
点云下采样子模块112，用于按照预定采样尺寸对原始点云数据进行下采样。
第一点云分割子模块113，用于使用预定网孔大小的网格对下采样后的点云数据进行分割，提取每个网孔中激光点的最小高程。
高程组合子模块114，用于组合网格中所有网孔的最小高程，得到最小高程面。
高程面分割子模块115，用于按照预定分割阈值分割最小高程面，分别得到地面网格元素和非地面网格元素。
第二点云分割子模块116，用于使用地面网格元素和非地面网格元素分割原始点云数据，得到地面点的三维点云。
作为一种优选的实施例，如图11所示，上述道路标识生成系统中，轮廓信息生成模块150，包括：
道路标识聚类子模块151，用于使用DBSCAN算法按照点云密度对道路标识点进行聚类，得到道路标识簇。
圆形区域绘制子模块152，用于对每一道路标识簇的任意两道路标识点，绘制得到预设判别半径大小的圆形区域。
轮廓信息生成子模块153，用于根据预设判别半径大小的圆形区域，生成道路标识簇的轮廓信息。
矢量化处理子模块154，用于对道路标识簇的轮廓信息进行矢量化，得到道路标识的矢量表示。
综上，与现有技术相比本申请具有以下至少一种优点：
1、本申请使用基于CNN的BEV编码的特征图作为Backbone的输入数据，使用神经网络来获得道路标识的类别信息，其效率较高。
2、本申请在使用纯点云数据进行道路标识提取，能够有效避免天气和光照等影响，使得在实际生产中可以全天候作业。
3、本申请使用融合强度特征的策略，可以不使用带有RGB信息的点云即可得到较精确的结果。
4、本申请使用了稀疏卷积的方式作为网络的Backbone提取特征，可以在保证精度的同时较大的提高算法的计算速度，在实际生产中可以大幅提高效率。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于地面移动激光雷达的道路标识生成方法，其特征在于，包括：
根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，得到地面点的三维点云；
使用卷积神经网络编码所述地面点的三维点云，得到所述地面点特征图；
使用注意力特征提取网络提取所述地面点特征图的高维特征；
将所述地面点特征图的高维特征输入至分类头进行融合和分类，得到所述地面点中的道路标识点；
根据半径判别法生成所述道路标识点对应的轮廓信息，得到道路标识的矢量表示。
2.根据权利要求1所述的道路标识生成方法，其特征在于，所述根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据的步骤，包括：
读取所述地面移动激光雷达的原始点云数据；
按照预定采样尺寸对所述原始点云数据进行下采样；
使用预定网孔大小的网格对下采样后的点云数据进行分割，提取每个网孔中激光点的最小高程；
组合所述网格中所有网孔的最小高程，得到最小高程面；
按照预定分割阈值分割所述最小高程面，分别得到地面网格元素和非地面网格元素；
使用所述地面网格元素和非地面网格元素分割所述原始点云数据，得到所述地面点的三维点云。
3.根据权利要求1所述的道路标识生成方法，其特征在于，所述使用卷积神经网络编码所述地面点的三维点云，得到所述地面点特征图的步骤，包括：
使用所述卷积神经网络的BEV编码所述地面点的三维点云中的三维坐标和点云强度，生成所述地面点的伪图像；
使用所述卷积神经网络，根据将所述地面点的伪图像转换为所述地面点特征图，其中，x,y,i分别为所述地面点的三维点云的横坐标、纵坐标和点云强度，Img为所述地面点的伪图像，θ为可学习参数，Resnet()为残差网络，Feature_map为所述地面点特征图。
4.根据权利要求1所述的道路标识生成方法，其特征在于，所述使用注意力特征提取网络提取所述地面点特征图的高维特征的步骤，包括：
使用稀疏卷积网络的滑动窗口，对所述地面点特征图的特征信息进行分块提取，得到多个窗口块；
使用块间的交叉注意力机制，分别融合所述多个窗口块中任意相邻两窗口块的特征信息，得到所述地面点特征图的高维特征。
5.根据权利要求1所述的道路标识生成方法，其特征在于，所述将所述地面点特征图的高维特征输入至分类头进行融合和分类，得到所述地面点中的道路标识点的步骤，包括：
提取所述三维点云中的点云强度，使用多层感知机MLP和Relu函数对所述点云强度进行处理，得到所述地面点特征图的强度特征；
使用特征连接函数对所述强度特征和所述高维特征进行融合，得到融合后的地面点特征；
使用所述分类头对所述融合后的地面点特征进行分类，使用归一化函数计算地面点特征的分类概率，得到所述道路标识点。
6.根据权利要求1所述的道路标识生成方法，其特征在于，所述根据半径判别法生成所述道路标识点对应的轮廓信息，得到道路标识的矢量表示的步骤，包括：
使用DBSCAN算法按照点云密度对所述道路标识点进行聚类，得到道路标识簇；
对每一所述道路标识簇的任意两道路标识点，绘制得到预设判别半径大小的圆形区域；
根据所述预设判别半径大小的圆形区域，生成所述道路标识簇的轮廓信息；
对所述道路标识簇的轮廓信息进行矢量化，得到所述道路标识的矢量表示。
7.根据权利要求6所述的道路标识生成方法，其特征在于，所述根据所述预设判别半径大小的圆形区域，生成所述道路标识簇的轮廓信息的步骤，包括：
判断所述圆形区域内是否存在所述道路标识簇的其他道路标识点；
若判定所述圆形区域内不存在所述其他道路标识点，则连接所述两道路标识点作为边界线；
重复绘制所述圆形区域和判断所述圆形区域内是否存在其他道路标识点的步骤，直至得到由多条所述边界线闭合形成的多边形边界；
将所述道路标识簇对应的点云平均高度，作为所述道路标识的高度坐标。
8.一种基于地面移动激光雷达的道路标识生成系统，其特征在于，包括：
点云采样分割模块，用于根据形态学滤波算法采样和分割地面移动激光雷达的原始点云数据，得到地面点的三维点云；
三维点云编码模块，用于使用卷积神经网络编码所述地面点的三维点云，得到所述地面点特征图；
高维特征提取模块，用于使用注意力特征提取网络提取所述地面点特征图的高维特征；
特征融合分类模块，用于将所述地面点特征图的高维特征输入至分类头进行融合和分类，得到所述地面点中的道路标识点；
轮廓信息生成模块，用于根据半径判别法生成所述道路标识点对应的轮廓信息，得到道路标识的矢量表示。
9.根据权利要求8所述的道路标识生成系统，其特征在于，所述点云采样分割模块，包括：
点云读取子模块，用于读取所述地面移动激光雷达的原始点云数据；
点云下采样子模块，用于按照预定采样尺寸对所述原始点云数据进行下采样；
第一点云分割子模块，用于使用预定网孔大小的网格对下采样后的点云数据进行分割，提取每个网孔中激光点的最小高程；
高程组合子模块，用于组合所述网格中所有网孔的最小高程，得到最小高程面；
高程面分割子模块，用于按照预定分割阈值分割所述最小高程面，分别得到地面网格元素和非地面网格元素；
第二点云分割子模块，用于使用所述地面网格元素和非地面网格元素分割所述原始点云数据，得到所述地面点的三维点云。
10.根据权利要求8所述的道路标识生成系统，其特征在于，所述轮廓信息生成模块，包括：
道路标识聚类子模块，用于使用DBSCAN算法按照点云密度对所述道路标识点进行聚类，得到道路标识簇；
圆形区域绘制子模块，用于对每一所述道路标识簇的任意两道路标识点，绘制得到预设判别半径大小的圆形区域；
轮廓信息生成子模块，用于根据所述预设判别半径大小的圆形区域，生成所述道路标识簇的轮廓信息；
矢量化处理子模块，用于对所述道路标识簇的轮廓信息进行矢量化，得到所述道路标识的矢量表示。
CN202310649376.4A 2023-06-02 2023-06-02 一种基于地面移动激光雷达的道路标识生成方法和系统 Pending CN116662930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310649376.4A CN116662930A (zh) 2023-06-02 2023-06-02 一种基于地面移动激光雷达的道路标识生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310649376.4A CN116662930A (zh) 2023-06-02 2023-06-02 一种基于地面移动激光雷达的道路标识生成方法和系统

Publications (1)

Publication Number Publication Date
CN116662930A true CN116662930A (zh) 2023-08-29

Family

ID=87718581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310649376.4A Pending CN116662930A (zh) 2023-06-02 2023-06-02 一种基于地面移动激光雷达的道路标识生成方法和系统

Country Status (1)

Country Link
CN (1) CN116662930A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496464A (zh) * 2023-10-23 2024-02-02 广东灵锶智能科技有限公司 一种足式机器人地面探测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496464A (zh) * 2023-10-23 2024-02-02 广东灵锶智能科技有限公司 一种足式机器人地面探测方法及装置

Similar Documents

Publication Publication Date Title
CN110032962B (zh) 一种物体检测方法、装置、网络设备和存储介质
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
US10984659B2 (en) Vehicle parking availability map systems and methods
CN109165549B (zh) 基于三维点云数据的道路标识获取方法、终端设备及装置
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN110675408A (zh) 基于深度学习的高分辨率影像建筑物提取方法及系统
CN109711416B (zh) 目标识别方法、装置、计算机设备和存储介质
CN112613378B (zh) 3d目标检测方法、系统、介质及终端
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN111898627B (zh) 一种基于pca的svm云微粒子优化分类识别方法
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
Lin et al. CNN-based classification for point cloud object with bearing angle image
CN111783722B (zh) 一种激光点云的车道线提取方法和电子设备
CN116662930A (zh) 一种基于地面移动激光雷达的道路标识生成方法和系统
CN111383286B (zh) 定位方法、装置、电子设备及可读存储介质
CN116071720A (zh) 一种基于激光雷达的车道线及车辆检测方法、设备及介质
CN110636248B (zh) 目标跟踪方法与装置
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN114492619A (zh) 一种基于统计和凹凸性的点云数据集构建方法及装置
Li et al. 3D map system for tree monitoring in hong kong using google street view imagery and deep learning
CN116258820B (zh) 大规模城市点云数据集与建筑单体化构建方法及相关装置
CN112200248A (zh) 一种基于dbscan聚类的城市道路环境下的点云语义分割方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination