CN113095309B - 一种基于点云的道路场景地面标识物的提取方法 - Google Patents

一种基于点云的道路场景地面标识物的提取方法 Download PDF

Info

Publication number
CN113095309B
CN113095309B CN202110645435.1A CN202110645435A CN113095309B CN 113095309 B CN113095309 B CN 113095309B CN 202110645435 A CN202110645435 A CN 202110645435A CN 113095309 B CN113095309 B CN 113095309B
Authority
CN
China
Prior art keywords
point cloud
ground
marker
key points
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110645435.1A
Other languages
English (en)
Other versions
CN113095309A (zh
Inventor
郭晟
王若曦
蔡振东
张文俊
项俊平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leador Spatial Information Technology Co ltd
Original Assignee
Leador Spatial Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leador Spatial Information Technology Co ltd filed Critical Leador Spatial Information Technology Co ltd
Priority to CN202110645435.1A priority Critical patent/CN113095309B/zh
Publication of CN113095309A publication Critical patent/CN113095309A/zh
Application granted granted Critical
Publication of CN113095309B publication Critical patent/CN113095309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于点云的道路场景地面标识物的提取方法。首先将激光点云数据分段，分割出地面点云，接着按预设的分辨率将点云转换成图像，对图像进行目标检测与分类，得到地面标识物的位置和类别，然后利用卷积神经网络提取地面标识物的关键点，用标准的路面标识物关键点与提取出的关键点做尺度、方向和位置匹配，最后根据匹配结果将标准的路面标识物转换到地图坐标系。相比现有方法需要对提取结果进行进一步处理才能在高精度地图中使用，本发明在提取的过程中加入关键点提取和关键点匹配两步，使得最终的提取成果能直接输入高精度地图中，提高了生产效率；提取过程使用深度学习的方法，普适性好，可以处理不同激光设备的数据。

Description

一种基于点云的道路场景地面标识物的提取方法
技术领域
本发明属于移动测量领域，特别是涉及一种基于点云的道路场景地面标识物的提取方法。
背景技术
地面标识物是汽车驾驶过程中必须要遵守的交通规则之一，能为自动驾驶或辅助驾驶提供关键信息，是高精度地图中必不可少的要素。
目前基于点云的地面标识物的提取方法主要可以分为两个方向：基于人工特征的提取方法和基于深度学习的提取方法。基于人工特征的提取方法将点云数据构建人工特征，如点云强度，然后将点云数据进行阈值分割并进行聚类、过滤等操作，提取出地面标识物，该方法优点是处理速度快，但是由于不同的激光设备采集的点云数据强度信息可能差别较大，并且点云密度也不尽相同，因此该方法不能很好地适用各种激光设备；基于深度学习的提取方法先将点云转换成灰度图像，再利用深度学习技术对图像分割，然后将分割结果转换到点云坐标系中得到提取结果，该方法虽然能提取出路面标识物，但输出结果不是高精度地图的标准输入数据格式，还需再进行其他处理才能在高精度地图中使用，或者利用深度学习技术对图像分类，再进行人工标注生成地面标识物，增加了人力成本。
发明内容
本发明针对现有技术的不足，提供一种基于点云的道路场景地面标识物的提取方法。首先将激光点云数据分段，并分割出地面点云，接着按预设的分辨率将点云转换成图像，对图像进行目标检测与分类，得到地面标识物的位置和类别，然后利用卷积神经网络提取出地面标识物的关键点，再用标准的路面标识物关键点与提取出的关键点做尺度、方向和位置匹配，最后根据匹配结果将标准的路面标识物转换到地图坐标系，生成地面标识物部件。
为了达到上述目的，本发明提供的技术方案是一种基于点云的道路场景地面标识物的提取方法，包括以下步骤：
步骤1，对原始激光雷达点云数据进行预处理，分割出地面点云；
步骤2，将步骤1分割出的地面点云按照预设分辨率转换成图像；
步骤3，对步骤2转换成的图像进行目标检测与分类，得到路面标识物的位置和类别；
步骤4，利用卷积神经网络提取路面标识物的关键点；
步骤5，将标准的路面标识物关键点与步骤4提取的关键点做尺度、方向和位置匹配，进行关键点对齐；
步骤6，将标准的路面标识物坐标按照步骤5的匹配结果转换到地图坐标系中。
而且，所述步骤1是首先根据点云长度将原始激光雷达点云数据均匀分为n段，然后选用合适的点云滤波器(如半径滤波)去除原始点云的噪声点，接着根据轨迹的高程ZP，去掉高程ZP以上的点云，分割出地面点云。
而且，所述步骤2是在路面平面内，将步骤1分割出的地面点云按照预设分辨率划分网格，将每个网格中点云的强度信息映射成图像的像素灰度值。如果是彩色点云，可将点云RGB信息映射成图像中像素的RGB信息。没有点云数据的网格，图像灰度设置为0，并记录图像左上角像素点的物理坐标。
而且，所述步骤3是首先利用骨干网络提取步骤2转换得到的图像的特征图，分别在这些特征图上构造不同尺度大小的目标框，然后分别进行检测和分类，生成多个目标框，经过非极大抑制方法去除不正确的目标框，生成最终的检测与分类结果。
而且，所述步骤4是根据步骤3输出的路面标识物的类别，调用适用的卷积神经网络，输入目标图像经过卷积组生成特征图，特征图经过全连接层生成关键点坐标。
而且，所述步骤5是按照步骤3输出的路面标识物的类别，选用对应的标准地面标识物关键点，与步骤4提取的关键点做尺度、方向和位置匹配，代价函数可以表示为min∑i||xi-(sθx′i+t)||，其中，xi为步骤4提取的关键点坐标，x′i为标准地面标识物坐标，s为尺度因子，θ为二维旋转矩阵，t为平移向量。
而且，所述步骤6是利用步骤5匹配完成后得到的s、θ、t三个参数将标准的路面标识物坐标转换到地图坐标系中。
与现有技术相比，本发明的优点和有益效果：相比于现有方法需要对提取结果进行进一步处理才能在高精度地图中使用，本方法在提取的过程中加入关键点提取和关键点匹配两步，使得最终的提取成果能直接输入高精度地图中，减少人工成本，提高了生产效率；提取过程使用深度学习的方法，普适性更好，可以更好的处理不同激光设备的数据，提取精度比使用人工特征的传统方法高，而且精度可以随着样本的增加而提高。
附图说明
图1为本发明实施例路面标识物提取的流程图。
图2为本发明实施例由点云转换成的灰度图像。
图3为本发明实施例目标检测与分类网络流程图。
图4为本发明实施例目标检测与分类结果。
图5为本发明实施例关键点推理示意图。
图6为本发明实施例目标关键点提取结果。
图7为本发明实施例关键点对齐结果。
具体实施方式
本发明提供一种基于点云的道路场景地面标识物的提取方法。首先将激光点云数据分段，并分割出地面点云，接着按预设的分辨率将点云转换成图像，对图像进行目标检测与分类，得到地面标识物的位置和类别，然后利用卷积神经网络提取出地面标识物的关键点，再用标准的路面标识物关键点与提取出的关键点做尺度、方向和位置匹配，最后根据匹配结果将标准的路面标识物转换到地图坐标系，生成地面标识物部件。
下面结合附图和实施例对本发明的技术方案作进一步说明。
如图1所示，本发明实施例的流程包括如下步骤：
步骤1，对原始激光雷达点云数据进行预处理，分割出地面点云。首先根据点云长度将原始激光雷达点云数据均匀分为n段，然后选用合适的点云滤波器(如半径滤波)去除原始点云的噪声点，接着根据轨迹的高程ZP，去掉高程ZP以上的点云，分割出地面点云。
步骤2，将步骤1分割出的地面点云按照预设分辨率转换成图像。在路面平面内，将地面点云按照预设分辨率划分网格，将每个网格中点云的强度信息映射成图像的像素灰度值，如图2所示。如果是彩色点云，可将点云RGB信息映射成图像中像素的RGB信息。没有点云数据的网格，图像灰度设置为0，并记录图像左上角像素点的物理坐标。
步骤3，对步骤2转换成的图像进行目标检测与分类，得到路面标识物的位置和类别。首先利用骨干网络提取特征图，分别在这些特征图上构造不同尺度大小的目标框，然后分别进行检测和分类，生成多个目标框，经过非极大抑制方法去除不正确的目标框，生成最终的检测与分类结果。目标检测与分类网络流程图如图3所示。图4检测出来的路面标识物类别为直行箭头，分类编号为601，检测目标置信度为0.79。
步骤4，利用卷积神经网络提取路面标识物的关键点。根据步骤3输出的路面标识物的类别，调用适用的卷积神经网络，输入目标图像经过卷积组生成特征图，特征图经过全连接层生成关键点坐标。关键点推理过程如图5所示，路面标志直行箭头关键点坐标提取结果如图6所示。
步骤5，将标准的路面标识物关键点与步骤4提取的关键点做尺度、方向和位置匹配，进行关键点对齐。按照步骤3输出的路面标识物的类别，选用对应的标准地面标识物关键点，与步骤4提取的关键点做尺度、方向和位置匹配，代价函数可以表示为min∑i||xi-(sθx′i+t)||，其中xi为步骤4提取的关键点坐标，x′i为标准地面标识物坐标，s为尺度因子，θ为二维旋转矩阵，t为平移向量，匹配结果如图7所示。
步骤6，将标准的路面标识物坐标按照步骤5的匹配结果转换到地图坐标系中。步骤5匹配完成后可以得到s、θ、t三个参数，利用这三个参数将标准的路面标识物坐标转换到地图坐标系中。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于点云的道路场景地面标识物的提取方法，其特征在于，包括如下步骤：
步骤1，对原始激光雷达点云数据进行预处理，分割出地面点云；
步骤2，将步骤1分割出的地面点云按照预设分辨率转换成图像；
步骤3，对步骤2转换成的图像进行目标检测与分类，得到路面标识物的位置和类别；
步骤4，利用卷积神经网络提取路面标识物的关键点；
步骤5，将标准的路面标识物关键点与步骤4提取的关键点做尺度、方向和位置匹配，进行关键点对齐，按照步骤3输出的路面标识物的类别，选用对应的标准地面标识物关键点，与步骤4提取的关键点做尺度、方向和位置匹配，代价函数可以表示为min∑i‖xi-(sθx′i+t)‖，其中，xi为步骤4提取的关键点坐标，x′i为标准地面标识物坐标，s为尺度因子，θ为二维旋转矩阵，t为平移向量；
步骤6，将标准的路面标识物坐标按照步骤5的匹配结果转换到地图坐标系中。
2.如权利要求1所述的一种基于点云的道路场景地面标识物的提取方法，其特征在于：所述步骤1需根据点云长度将原始激光雷达点云数据均匀分为n段，然后选用半径滤波器，去除原始点云的噪声点，接着根据轨迹的高程ZP，去掉高程ZP以上的点云，分割出地面点云。
3.如权利要求1所述的一种基于点云的道路场景地面标识物的提取方法，其特征在于：所述步骤2是在路面平面内，将步骤1分割出的地面点云按照预设分辨率划分网格，将每个网格中点云的强度信息映射成图像的像素灰度值；如果是彩色点云，可将点云RGB信息映射成图像中像素的RGB信息；没有点云数据的网格，图像灰度设置为0，并记录图像左上角像素点的物理坐标。
4.如权利要求1所述的一种基于点云的道路场景地面标识物的提取方法，其特征在于：所述步骤3首先利用骨干网络提取步骤2转换得到的图像的特征图，分别在这些特征图上构造不同尺度大小的目标框，然后分别进行检测和分类，生成多个目标框，经过非极大抑制方法去除不正确的目标框，生成最终的检测与分类结果。
5.如权利要求1所述的一种基于点云的道路场景地面标识物的提取方法，其特征在于：所述步骤4是根据步骤3输出的路面标识物的类别，调用适用的卷积神经网络，输入目标图像经过卷积组生成特征图，特征图经过全连接层生成关键点坐标。
6.如权利要求1所述的一种基于点云的道路场景地面标识物的提取方法，其特征在于：所述步骤6是利用步骤5匹配完成后得到的s、θ、t三个参数将标准的路面标识物坐标转换到地图坐标系中。
CN202110645435.1A 2021-06-10 2021-06-10 一种基于点云的道路场景地面标识物的提取方法 Active CN113095309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110645435.1A CN113095309B (zh) 2021-06-10 2021-06-10 一种基于点云的道路场景地面标识物的提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110645435.1A CN113095309B (zh) 2021-06-10 2021-06-10 一种基于点云的道路场景地面标识物的提取方法

Publications (2)

Publication Number Publication Date
CN113095309A CN113095309A (zh) 2021-07-09
CN113095309B true CN113095309B (zh) 2021-09-14

Family

ID=76665012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110645435.1A Active CN113095309B (zh) 2021-06-10 2021-06-10 一种基于点云的道路场景地面标识物的提取方法

Country Status (1)

Country Link
CN (1) CN113095309B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332414A (zh) * 2022-01-07 2022-04-12 成都纵横大鹏无人机科技有限公司 一种基于关键点分割地面点的方法、系统及可读介质
CN114973910B (zh) * 2022-07-27 2022-11-11 禾多科技（北京）有限公司 地图生成方法、装置、电子设备和计算机可读介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607652B2 (en) * 2010-08-26 2017-03-28 Blast Motion Inc. Multi-sensor event detection and tagging system
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN111174777A (zh) * 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 定位方法、装置以及电子设备
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距系统及方法
CN111488421B (zh) * 2020-04-27 2024-04-16 立得空间信息技术股份有限公司 传统地图与高精度地图的数据融合方法

Also Published As

Publication number Publication date
CN113095309A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108519605B (zh) 基于激光雷达和摄像机的路沿检测方法
CN107045629B (zh) 一种多车道线检测方法
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
CN113095309B (zh) 一种基于点云的道路场景地面标识物的提取方法
CN109767454B (zh) 基于时-空-频显著性的无人机航拍视频运动目标检测方法
CN111160328B (zh) 一种基于语义分割技术的交通标线自动提取的方法
CN110084302B (zh) 一种基于遥感图像的裂缝检测方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN111354047A (zh) 一种基于计算机视觉的摄像模组定位方法及系统
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN115294066A (zh) 一种砂石粒径检测方法
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN114758002B (zh) 一种基于航拍图像的光伏组串位置确定方法及系统
CN111241916A (zh) 一种交通标志识别模型的建立方法
CN116309284A (zh) 坡面顶/底线提取系统及方法
CN115880322A (zh) 一种基于梯度复杂度的点云道路地标线提取方法
CN112950662B (zh) 一种交通场景空间结构提取方法
CN115017968A (zh) 一种基于U-Net模型的复杂建筑物分类提取方法
CN112884026B (zh) 一种图像识别辅助的输电线路激光LiDAR点云分类方法
CN110728723B (zh) 一种面向瓦片地图的道路自动提取方法
CN113920300A (zh) 一种可见光遥感图像船舶目标识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant