CN109271861A - 多尺度融合的点云交通标识牌自动提取方法 - Google Patents

多尺度融合的点云交通标识牌自动提取方法 Download PDF

Info

Publication number
CN109271861A
CN109271861A CN201810929814.1A CN201810929814A CN109271861A CN 109271861 A CN109271861 A CN 109271861A CN 201810929814 A CN201810929814 A CN 201810929814A CN 109271861 A CN109271861 A CN 109271861A
Authority
CN
China
Prior art keywords
traffic signboard
point cloud
planar
dimensional
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810929814.1A
Other languages
English (en)
Other versions
CN109271861B (zh
Inventor
李雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhonghai Data Technology Co Ltd
Original Assignee
Wuhan Zhonghai Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhonghai Data Technology Co Ltd filed Critical Wuhan Zhonghai Data Technology Co Ltd
Priority to CN201810929814.1A priority Critical patent/CN109271861B/zh
Publication of CN109271861A publication Critical patent/CN109271861A/zh
Application granted granted Critical
Publication of CN109271861B publication Critical patent/CN109271861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种多尺度融合的点云交通标识牌自动提取方法，包括以任意视角在三维场景下点选交通标识牌内的一基础点云；根据点选的所述基础点云收捕获在所述基础点云预设距离内的所有目标点云；根据所述目标点云拟合所述交通标识牌所在的三维平面，并将所述目标点云投影在所述三维平面，构建投影图像；通过直线检测算子提取所述投影图像的线段；对提取的线段进行排列组合，构建多个平面图形，将多个所述的平面图形在通用数据库中检索，在所述平面图形与所述数据库中的任意一交通标识牌信息匹配后确定所述平面图形为交通标识牌并提取二维角点；基于所述三维平面将二维角点反算为三维坐标。本发明用于在三维场景下对交通标识牌进行提取及自动识别，克服传统需要人工对交通标识牌进行手动标识等低效率的问题。

Description

多尺度融合的点云交通标识牌自动提取方法
技术领域
本发明涉及三维点云的高精度地图制作，具体而言，涉及一种多尺度融合的点云交通标识牌自动提取方法。
背景技术
高精度地图服务于无人驾驶系统，其包含大量行车辅助信息，例如道路网、车道网络、车道线和交通标识牌等数据的三维表征模型。
上述提及的三维表征模型部分需要从三维点云数据出发进行制作，如交通标识牌。
关于交通标识牌的制作，需要从三维点云中精确标定出交通标识牌的三维空间坐标信息，而在三维场景中进行人工手动标定，存在操作困难、费时等问题。
发明内容
本发明实施例至少提供一种多尺度融合的点云交通标识牌自动提取方法，能够代替对交通标识牌进行人工手动标定的低效率方式。
所述方法包括：
Step100、以任意视角在三维场景下点选交通标识牌内的一基础点云；
Step200、根据点选的所述基础点云收捕获在所述基础点云预设距离内的所有目标点云；
Step300、根据所述目标点云拟合所述交通标识牌所在的三维平面，并将所述目标点云投影在所述三维平面，构建投影图像；
Step400、通过直线检测算子提取所述投影图像的线段；
Step500、对提取的线段进行排列组合，构建多个平面图形，将多个所述的平面图形在通用数据库中检索，在所述平面图形与所述数据库中的任意一交通标识牌信息匹配后确定所述平面图形为交通标识牌并提取二维角点；
Step600、基于所述三维平面将二维角点反算为三维坐标。
在本发明较佳的实施例中，所述的Step400包括：
通过Hough算子、Freeman算子、尺蠖蠕行算子中的一种或多种提取所述投影图像的线段；
在本发明较佳的实施例中，所述交通标识牌为矩形，所述的Step500包括：
对提取线段进行排列组合构建多个平面矩形，对所述平面矩形进行尺寸核算；
将核算尺寸后的平面矩形与通用数据库中交通标识牌模型的尺寸进行比较；
提取与任意所述交通标识牌模型的尺寸近似的平面矩形表示交通标识牌；
提取确定为所述交通标识牌的平面矩形的四个二维角点。
在本发明较佳的实施例中，所述的提取与任意所述交通标识牌模型的尺寸近似的平面矩形表示交通标识牌：
提取与任意所述交通标识牌模型的尺寸比大于10:9且小于9:10的所述平面矩形表示交通标识牌。
在本发明较佳的实施例中，所述的Step300包括对所述目标点云进行点云密度的缩放并在多个尺度下拟合点云密度不同的三维平面，并将所述目标点云投影在对应的三维平面，构建多个尺度不同的投影图像；
所述的Step600包括基于每个尺度下的二维角点反算三维坐标。
在本发明较佳的实施例中，在所述的Step600包括根据一权重算法对所有尺度下的三维坐标进行融合，求取高精度三维坐标。
上述实施例的具体实现，如下所述。
针对上述方案，本发明通过以下参照附图对公开的示例性实施例作详细描述，亦使本发明实施例的其它特征及其优点清楚。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为实施例一的流程图；
图2为实施例二的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
Step100、基于架设在车辆的三维激光扫描仪捕获道路的点云数据，构建三维场景；
Step200、由高精度地图的制作人员在三维场景下，以任意视角点选交通标识牌上的任意一点为基础点云。
Step300、捕获当前基础点云在预设范围内的所有点云，快速拟合出交通标识牌所在的三维平面，并将所有点云投影到拟合的三维平面内，构成投影图像。
Step400、本实施例所指的交通标识牌一般牌面呈三角或矩形，本实施例以牌面呈矩形的交通标识牌示例。为了精确识别交通标识牌的四个角点，基于直线检测算子，比如Hough算子或Freeman算子或尺蠖蠕行算子对投影图像进行线段检测。
Step500、考虑到与交通标识牌连接有连接杆件等或出现对交通标识牌的扫描不完整或中间断裂等情况。本实施例通过直线检测算子对投影图像的线段提取会包括多余的线段。
本实施例对提取的线段进行排列组合，构建多个平面矩形，然后对前述的平面矩形进行尺寸核算，将算尺寸后的平面矩形在通用交通标识牌的数据库中进行检索，在尺寸相似度达到0.8乃至更高后视为匹配到通用交通标识牌，检索用的平面矩形为投影图像中的交通标识牌。
通过上述步骤，本实施例能够过滤掉对投影图像扫描过程中包括的连接杆件、以及扫描不完整或中间断裂等干扰，进而检测出二维角点。
Step600、基于Step300的三维平面，将二维角点反算为三维坐标，从而实现自动提取出交通标识牌的精确信息。
实施例二
Step100、基于架设在车辆的三维激光扫描仪捕获道路的点云数据，构建三维场景；
Step200、由高精度地图制作人员在三维场景下，以任意视角点选交通标识牌上的任意一点为基础点云。
本实施例考虑到在基于直线检测算子对投影图像进行线段检测时，由于扫描的点云不够密集，造成交通标识牌的边界点不够密集，通过直线检测算子是无法检测到交通标识牌的边界线段。
Step300、由上述本实施例相比实施例一是捕获当前基础点云在预设范围内的所有点云，快速拟合出交通标识牌所在的三维平面，检测单位面积内点云密度，并在多个尺度下对点云密度进行密集缩放后生成多个投影图像。
Step400、本实施例如实施例一以牌面呈矩形的交通标识牌示例。为了精确识别交通标识牌的四个角点，基于直线检测算子，比如Hough算子或Freeman算子或尺蠖蠕行算子分别对多个投影图像进行线段检测。
Step500、本实施例通过直线检测算子对多个投影图像分别进行线段提取，分别就每个投影图像检测的线段构建平面矩形，再由平面矩形的尺寸在通用交通标识牌中进行检索，求取二维角点；
Step600、基于Step300的三维平面，将每个尺寸下的二维角点反算为对应尺度下的三维坐标；再将所有尺寸下对应三维坐标根据不同权重进行融合，求取高精度的三维坐标，从而实现自动提取出交通标识牌的精确信息。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多尺度融合的点云交通标识牌自动提取方法，用于在三维场景下对提取交通标识牌，其特征在于，所述方法包括：
Step100、以任意视角在三维场景下点选交通标识牌内的一基础点云；
Step200、根据点选的所述基础点云收捕获在所述基础点云预设距离内的所有目标点云；
Step300、根据所述目标点云拟合所述交通标识牌所在的三维平面，并将所述目标点云投影在所述三维平面，构建投影图像；
Step400、通过直线检测算子提取所述投影图像的线段；
Step500、对提取的线段进行排列组合，构建多个平面图形，将多个所述的平面图形在通用数据库中检索，在所述平面图形与所述数据库中的任意一交通标识牌信息匹配后确定所述平面图形为交通标识牌并提取二维角点；
Step600、基于所述三维平面将二维角点反算为三维坐标。
2.如权利要求1所述的多尺度融合的点云交通标识牌自动提取方法，其特征在于，所述的Step400包括：
通过Hough算子、Freeman算子、尺蠖蠕行算子中的一种或多种提取所述投影图像的线段。
3.如权利要求1所述的多尺度融合的点云交通标识牌自动提取方法，其特征在于，所述交通标识牌为矩形，所述的Step500包括：
对提取线段进行排列组合构建多个平面矩形，对所述平面矩形进行尺寸核算；
将核算尺寸后的平面矩形与通用数据库中交通标识牌模型的尺寸进行比较；
提取与任意所述交通标识牌模型的尺寸近似的平面矩形表示交通标识牌；
提取确定为所述交通标识牌的平面矩形的四个二维角点。
4.如权利要求3所述的多尺度融合的点云交通标识牌自动提取方法，其特征在于，所述的提取与任意所述交通标识牌模型的尺寸近似的平面矩形表示交通标识牌：
提取与任意所述交通标识牌模型的尺寸比大于10:9且小于9:10的所述平面矩形表示交通标识牌。
5.根据权利要求1所述的多尺度融合的点云交通标识牌自动提取方法，其特征在于，
所述的Step300包括对所述目标点云进行点云密度的缩放并在多个尺度下拟合点云密度不同的三维平面，并将所述目标点云投影在对应的三维平面，构建多个尺度不同的投影图像；
所述的Step600包括基于每个尺度下的二维角点反算三维坐标。
6.根据权利要求5所述的多尺度融合的点云交通标识牌自动提取方法，其特征在于，在所述的Step600包括根据一权重算法对所有尺度下的三维坐标进行融合，求取高精度三维坐标。
CN201810929814.1A 2018-08-15 2018-08-15 多尺度融合的点云交通标识牌自动提取方法 Active CN109271861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810929814.1A CN109271861B (zh) 2018-08-15 2018-08-15 多尺度融合的点云交通标识牌自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810929814.1A CN109271861B (zh) 2018-08-15 2018-08-15 多尺度融合的点云交通标识牌自动提取方法

Publications (2)

Publication Number Publication Date
CN109271861A true CN109271861A (zh) 2019-01-25
CN109271861B CN109271861B (zh) 2021-08-17

Family

ID=65153446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810929814.1A Active CN109271861B (zh) 2018-08-15 2018-08-15 多尺度融合的点云交通标识牌自动提取方法

Country Status (1)

Country Link
CN (1) CN109271861B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192311A (zh) * 2019-12-31 2020-05-22 武汉中海庭数据技术有限公司 一种高精度地图制作中纵向减速标线自动提取方法和装置
CN111559314A (zh) * 2020-04-27 2020-08-21 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
CN111695486A (zh) * 2020-06-08 2020-09-22 武汉中海庭数据技术有限公司 一种基于点云的高精度方向标志牌目标提取方法
CN111695506A (zh) * 2020-06-11 2020-09-22 国网山东省电力公司电力科学研究院 一种输电线路风致异物短路故障预警方法及系统
CN113496145A (zh) * 2020-03-19 2021-10-12 武汉四维图新科技有限公司 标牌角点获取方法、装置及设备
CN115131459A (zh) * 2022-05-24 2022-09-30 中国科学院自动化研究所 平面布置图重建方法及装置
CN116704125A (zh) * 2023-06-02 2023-09-05 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备
CN117689832A (zh) * 2024-02-04 2024-03-12 腾讯科技（深圳）有限公司 交通标牌生成方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831101A (zh) * 2012-07-30 2012-12-19 河南工业职业技术学院 基于多个标志点自动识别的点云数据拼接方法
CN103500338A (zh) * 2013-10-16 2014-01-08 厦门大学 基于车载激光扫描点云的道路斑马线自动提取方法
CN106067003A (zh) * 2016-05-27 2016-11-02 山东科技大学 一种车载激光扫描点云中道路矢量标识线自动提取方法
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
US20180224863A1 (en) * 2016-01-18 2018-08-09 Tencent Technology (Shenzhen) Company Limited Data processing method, apparatus and terminal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831101A (zh) * 2012-07-30 2012-12-19 河南工业职业技术学院 基于多个标志点自动识别的点云数据拼接方法
CN103500338A (zh) * 2013-10-16 2014-01-08 厦门大学 基于车载激光扫描点云的道路斑马线自动提取方法
US20180224863A1 (en) * 2016-01-18 2018-08-09 Tencent Technology (Shenzhen) Company Limited Data processing method, apparatus and terminal
CN106067003A (zh) * 2016-05-27 2016-11-02 山东科技大学 一种车载激光扫描点云中道路矢量标识线自动提取方法
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192311A (zh) * 2019-12-31 2020-05-22 武汉中海庭数据技术有限公司 一种高精度地图制作中纵向减速标线自动提取方法和装置
CN111192311B (zh) * 2019-12-31 2022-05-17 武汉中海庭数据技术有限公司 一种高精度地图制作中纵向减速标线自动提取方法和装置
CN113496145A (zh) * 2020-03-19 2021-10-12 武汉四维图新科技有限公司 标牌角点获取方法、装置及设备
CN111559314A (zh) * 2020-04-27 2020-08-21 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
CN111695486B (zh) * 2020-06-08 2022-07-01 武汉中海庭数据技术有限公司 一种基于点云的高精度方向标志牌目标提取方法
CN111695486A (zh) * 2020-06-08 2020-09-22 武汉中海庭数据技术有限公司 一种基于点云的高精度方向标志牌目标提取方法
CN111695506A (zh) * 2020-06-11 2020-09-22 国网山东省电力公司电力科学研究院 一种输电线路风致异物短路故障预警方法及系统
CN111695506B (zh) * 2020-06-11 2023-04-25 国网山东省电力公司电力科学研究院 一种输电线路风致异物短路故障预警方法及系统
CN115131459A (zh) * 2022-05-24 2022-09-30 中国科学院自动化研究所 平面布置图重建方法及装置
CN115131459B (zh) * 2022-05-24 2024-05-28 中国科学院自动化研究所 平面布置图重建方法及装置
CN116704125A (zh) * 2023-06-02 2023-09-05 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备
CN116704125B (zh) * 2023-06-02 2024-05-17 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备
CN117689832A (zh) * 2024-02-04 2024-03-12 腾讯科技（深圳）有限公司 交通标牌生成方法、装置、设备和存储介质
CN117689832B (zh) * 2024-02-04 2024-05-17 腾讯科技（深圳）有限公司 交通标牌生成方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN109271861B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN109271861A (zh) 多尺度融合的点云交通标识牌自动提取方法
Morgenthal et al. Framework for automated UAS-based structural condition assessment of bridges
CN113034689B (zh) 基于激光点云的地形三维模型及地形图构建方法和系统、存储介质
WO2020052530A1 (zh) 一种图像处理方法、装置以及相关设备
US6453056B2 (en) Method and apparatus for generating a database of road sign images and positions
Rottensteiner et al. The ISPRS benchmark on urban object classification and 3D building reconstruction
CN104091168B (zh) 基于无人机影像的电力线自动提取定位方法
US8244026B2 (en) Apparatus and method for automatic airborne LiDAR data processing and mapping using data obtained thereby
US8144937B2 (en) System and method for airport mapping database automatic change detection
El-Halawany et al. Detection of road poles from mobile terrestrial laser scanner point cloud
Wen et al. Spatial-related traffic sign inspection for inventory purposes using mobile laser scanning data
Landa et al. Automatic road inventory using LiDAR
Champion et al. 2D building change detection from high resolution satelliteimagery: A two-step hierarchical method based on 3D invariant primitives
CN110781757B (zh) 一种机场道面异物识别定位方法及系统
CN107516077A (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
Gargoum et al. Virtual assessment of sight distance limitations using LiDAR technology: Automated obstruction detection and classification
JP6653361B2 (ja) 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム
Li Optimising detection of road furniture (pole-like objects) in mobile laser scanning data
You et al. Joint 2-D–3-D traffic sign landmark data set for geo-localization using mobile laser scanning data
Uzar et al. Automatic building extraction using LiDAR and aerial photographs
WO2017082774A1 (ru) Способ и система распознавания городских объектов
Gonçalves et al. Pole photogrammetry with an action camera for fast and accurate surface mapping
CN110944154B (zh) 一种高空瞭望摄像头图像中固定物体的标注与识别方法
CN112446343A (zh) 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法
EP3070459A1 (en) Inspection target object extraction apparatus and inspection target object extraction method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant