CN114494366B - 一种影像与点云配准的道路坑槽提取方法 - Google Patents

一种影像与点云配准的道路坑槽提取方法 Download PDF

Info

Publication number
CN114494366B
CN114494366B CN202210063283.9A CN202210063283A CN114494366B CN 114494366 B CN114494366 B CN 114494366B CN 202210063283 A CN202210063283 A CN 202210063283A CN 114494366 B CN114494366 B CN 114494366B
Authority
CN
China
Prior art keywords
road
pit
point cloud
point
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210063283.9A
Other languages
English (en)
Other versions
CN114494366A (zh
Inventor
张邵华
曾豆豆
何小飞
刘亚林
李丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway First Survey and Design Institute Group Ltd
Original Assignee
China Railway First Survey and Design Institute Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway First Survey and Design Institute Group Ltd filed Critical China Railway First Survey and Design Institute Group Ltd
Priority to CN202210063283.9A priority Critical patent/CN114494366B/zh
Publication of CN114494366A publication Critical patent/CN114494366A/zh
Application granted granted Critical
Publication of CN114494366B publication Critical patent/CN114494366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种影像与点云配准的道路坑槽提取方法。现有道路坑槽检测方法对路面病害检测的效率低，存在漏检等问题。本发明利用车载单目相机获取道路序列影像，通过激光断面扫描仪获取道路断面点云数据，并拼接制作大场景；由影像定位坑槽的平面信息，进行影像与点云配准，经八叉树索引完成坑槽点云的快速检索，并基于改进的泊松圆盘采样完成金字塔分层均匀采样，从三维点云信息中完成道路病害的提取检测。本发明大大加快了道路病害浏览效率，克服了单一传感器对道路病害检测的不足，提高了检测效率与自动化水平。

Description

一种影像与点云配准的道路坑槽提取方法
技术领域
本发明属于公路测量技术领域，具体涉及一种影像与点云配准的道路坑槽提取方法。
背景技术
随着城市道路交通运输的老龄化，路面受到挤压产生坑槽等病害，严重影响道路使用寿命，甚至会引发潜在的交通事故。传统的人工目视道路坑槽检测方法，存在需人工上线检测，临时封闭道路，具有作业工作量大、项目成本高、效率低、作业周期长和劳动强度大等问题。
目前出现了一些基于影像与点云数据的道路病害检测方法，如专利CN108149554B公开了一种基于双目视觉获取路面坑槽的方法与装置，不仅可检测坑槽的位置，还可通过双目相机计算坑槽的长度、宽度、深度等三维特征，但基于双目视差的方法需采集大量的图像，图像筛选较为耗时，图像质量也易受光照影响，且对路面病害检测的效率低，存在漏检等现象；专利CN109900338B公开了一种基于三维点云的路面坑槽体积量测方法，能准确还原坑槽的原始物理形态，但在对三维点云路面分割，准确定位坑槽区域三维点云时需要耗费较多时间、无法查看坑槽的现实情况等。
发明内容
为了弥补现有技术的不足，本发明提供一种影像与点云配准的道路坑槽提取方法，克服了单一传感器对道路病害检测的不足，提高了检测效率与自动化水平。
为了实现上述目的，本发明所采用的技术方案为：
一种影像与点云配准的道路坑槽提取方法，包括如下步骤：
步骤一：通过单目相机获取道路序列影像数据；
步骤二：通过激光断面扫描仪获取道路断面点云数据；
步骤三：对所述道路序列影像数据拼接制作大场景；
步骤四：对道路大场景影像及三维点云建立具有金字塔结构的八叉树索引；
步骤五：依据道路大场景影像检测坑槽大致位置，并包围坑槽选择四个角点构成平面四边形P1P2P3P4，即定位坑槽的粗略像素点；然后由边缘检测算法，计算坑槽的准确边界，从而定位道路坑槽平面位置信息；
步骤六：基于影像与点云配准搜索道路坑槽的三维点云数据
根据中心投影建立共线方程，获得坑槽边界像素点跟物方坐标系的关系，配准后的影像与点云数据具有一一映射关系，由四个角点像素平面四边形可定位到对应的物方平面四边形P1P2P3P4，并建立平面约束，从而完成点云与影像双向转换；
步骤七：三维点云道路坑槽提取
由坑槽物方平面坐标范围，经八叉树索引查询，获得路坑周围三维点云坐标，利用凸包检测算法，统计落入边界内的所有点云数据，计算坑槽中心、面积、深度、体积。
具体地，所述步骤三包括：
3.1切割提取道路表面点云，对点云抽稀处理，生成路面数字表面模型DSM；
3.2由相机的标定参数与影像采集时刻的高精度定位定姿参数，对序列影像进行数字微分纠正，并根据影像可视范围进行空间检索匹配、拼接，完成道路大场景影像的制作。
具体地，所述步骤四包括：
4.1读取道路大场景影像及三维点云数据，进行格网分块，建立八叉树结构索引；
4.2采用改进的泊松圆盘采样对八叉树结构索引从下往上分层均匀采样，完成金字塔多级索引构建；
所述改进的泊松圆盘采样，以读取的数组范围中心为枢纽，以点到中心的距离从小到大进行排序；对经过排序后数组中第一个点作为采样点，当候选点Pt到中心点center的距离与任何一个采样点到中心点的距离差值都大于指定采样半径r或当候选点与所有采样点的距离差均大于采样半径r时，将候选点添加到采样点数组中；反之，将候选点作为非采样点；对所有候选点重复以上步骤。
本发明的有益效果：
1)本发明基于道路点云数据与单目相机采集的序列影像，拼接制作道路大场景，并对影像与点云建立具有金字塔结构的八叉树索引，并基于改进的泊松圆盘采样完成金字塔分层均匀采样，大大加快了道路病害浏览效率等；
2)本发明提出了一种集成单目相机与扫描仪的多传感器道路坑槽检测方法，由影像快速定位道路坑槽位置，经八叉树索引高效查询坑槽的点云数据，基于点云数据提取坑槽的三维形态，克服了单一传感器对道路病害检测的不足，提高了检测效率与自动化水平。
附图说明
图1为本发明总技术流程示意图；
图2为道路大场景拼接示意图；
图3为基于道路大场景检测定位道路坑槽平面位置示意图；
图4为道路坑槽影像与点云检测示意图。
具体实施方式
下面结合具体实施方式对本发明进行详细的说明。
1.一种影像与点云配准的道路坑槽提取方法，其特征在于：包括如下步骤：
步骤一：通过单目相机获取道路序列影像数据；
步骤二：通过激光断面扫描仪获取道路断面点云数据；
步骤三：对所述道路序列影像数据拼接制作大场景；
3.1切割提取道路表面点云，对点云抽稀处理，生成路面数字表面模型DSM；
3.2由相机的标定参数与影像采集时刻的高精度定位定姿参数，对序列影像进行数字微分纠正，并根据影像可视范围进行空间检索匹配、拼接，完成道路大场景影像的制作，如图2所示。
相机获得的单张影像较多，浏览效率低，对采集的序列影像拼接制作大场景大大加速了道路检测的效率，本方法针对道路等范围有限、场景较为单一、序列影像具有明显的线性结构的情景具有较快的执行效率。
步骤四：对道路大场景影像及三维点云建立具有金字塔结构的八叉树索引；
4.1读取道路大场景影像及三维点云数据，进行格网分块，建立八叉树结构索引；
4.2采用改进的泊松圆盘采样对八叉树结构索引从下往上分层均匀采样，完成金字塔多级索引构建；
其中，改进的泊松圆盘采样，以读取的数组范围中心为枢纽，以点到中心的距离从小到大进行排序；对经过排序后数组中第一个点作为采样点，当候选点Pt到中心点center的距离与任何一个采样点到中心点的距离差值都大于指定采样半径r或当候选点与所有采样点的距离差均大于采样半径r时，将候选点添加到采样点数组中；反之，将候选点作为非采样点；对所有候选点重复以上步骤。
通过建立具有金字塔结构的八叉树索引，大大加速了数据查询效率，解决了影像以及点云数据量大、内存无法直接加载等问题。
步骤五：基于道路大场景检测定位道路坑槽平面位置信息
依据道路大场景影像检测坑槽大致位置，并包围坑槽选择四个角点构成平面四边形P1P2P3P4，即定位坑槽的粗略像素点；然后由边缘检测算法，计算坑槽的准确边界，从而定位道路坑槽平面位置信息；
步骤六：基于影像与点云配准搜索道路坑槽的三维点云数据
如图3所示，根据中心投影建立共线方程，获得坑槽边界像素点跟物方坐标系的关系，配准后的影像与点云数据具有一一映射关系，由四个角点像素平面四边形可定位到对应的物方平面四边形P1P2P3P4，并建立平面约束，从而完成点云与影像双向转换；
式中，(xo、yo、f)为相机的内方位元素，(x,y)为像点的像平面坐标，(XS、YS、ZS)为拍摄点的物方空间坐标，(X、Y、Z)为物点的物方空间坐标，((ai、bi、ci),i＝1,2,3)为影像的3个外方位角元素组成的9个方向余弦，(A、B、C、D)为物方平面四边形P1P2P3P4的平面方程系数。
步骤七：三维点云道路坑槽提取
由坑槽物方平面坐标范围，经八叉树索引查询，如图4所示，获得路坑周围三维点云坐标，利用凸包检测算法，统计落入边界内的所有点云数据，计算坑槽中心、面积、深度、体积。
在本发明的描述中，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。

Claims (1)

1.一种影像与点云配准的道路坑槽提取方法，其特征在于：包括如下步骤：
步骤一：通过单目相机获取道路序列影像数据；
步骤二：通过激光断面扫描仪获取道路断面点云数据；
步骤三：对所述道路序列影像数据拼接制作大场景；
步骤四：对道路大场景影像及三维点云建立具有金字塔结构的八叉树索引；
步骤五：依据道路大场景影像检测坑槽大致位置，并包围坑槽选择四个角点构成平面四边形P1P2P3P4，即定位坑槽的粗略像素点；然后由边缘检测算法，计算坑槽的准确边界，从而定位道路坑槽平面位置信息；
步骤六：基于影像与点云配准搜索道路坑槽的三维点云数据
根据中心投影建立共线方程，获得坑槽边界像素点跟物方坐标系的关系，配准后的影像与点云数据具有一一映射关系，由四个角点像素平面四边形可定位到对应的物方平面四边形P1P2P3P4 ，并建立平面约束，从而完成点云与影像双向转换；
步骤七：三维点云道路坑槽提取
由坑槽物方平面坐标范围，经八叉树索引查询，获得路坑周围三维点云坐标，利用凸包检测算法，统计落入边界内的所有点云数据，计算坑槽中心、面积、深度、体积；
所述步骤三包括：
3.1切割提取道路表面点云，对点云抽稀处理，生成路面数字表面模型DSM；
3.2由相机的标定参数与影像采集时刻的高精度定位定姿参数，对序列影像进行数字微分纠正，并根据影像可视范围进行空间检索匹配、拼接，完成道路大场景影像的制作；
所述步骤四包括：
4.1读取道路大场景影像及三维点云数据，进行格网分块，建立八叉树结构索引；
4.2采用改进的泊松圆盘采样对八叉树结构索引从下往上分层均匀采样，完成金字塔多级索引构建；
所述改进的泊松圆盘采样，以读取的数组范围中心为枢纽，以点到中心的距离从小到大进行排序；对经过排序后数组中第一个点作为采样点，当候选点Pt到中心点center的距离与任何一个采样点到中心点的距离差值都大于指定采样半径r或当候选点与所有采样点的距离差均大于采样半径r时，将候选点添加到采样点数组中；反之，将候选点作为非采样点；对所有候选点重复以上步骤。
CN202210063283.9A 2022-01-19 2022-01-19 一种影像与点云配准的道路坑槽提取方法 Active CN114494366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210063283.9A CN114494366B (zh) 2022-01-19 2022-01-19 一种影像与点云配准的道路坑槽提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210063283.9A CN114494366B (zh) 2022-01-19 2022-01-19 一种影像与点云配准的道路坑槽提取方法

Publications (2)

Publication Number Publication Date
CN114494366A CN114494366A (zh) 2022-05-13
CN114494366B true CN114494366B (zh) 2024-04-30

Family

ID=81472805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210063283.9A Active CN114494366B (zh) 2022-01-19 2022-01-19 一种影像与点云配准的道路坑槽提取方法

Country Status (1)

Country Link
CN (1) CN114494366B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063496B (zh) * 2022-08-19 2023-06-27 北京山维科技股份有限公司 一种点云数据快速处理方法及装置
CN115871622A (zh) * 2023-01-19 2023-03-31 重庆赛力斯新能源汽车设计院有限公司 基于落差路面的辅助驾驶方法、电子设备及存储介质
CN116503027B (zh) * 2023-06-27 2024-01-19 成都智达万应科技有限公司 一种公路资产智能化管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
CN108345822A (zh) * 2017-01-22 2018-07-31 腾讯科技（深圳）有限公司 一种点云数据处理方法及装置
CN109241978A (zh) * 2018-08-23 2019-01-18 中科光绘（上海）科技有限公司 地基三维激光点云中平面片的快速提取方法
CN109410256A (zh) * 2018-10-29 2019-03-01 北京建筑大学 基于互信息的点云与影像自动高精度配准方法
CN113870402A (zh) * 2021-09-13 2021-12-31 中铁第一勘察设计院集团有限公司 一种基于八叉树索引的海量点云分层实时渲染方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
CN108345822A (zh) * 2017-01-22 2018-07-31 腾讯科技（深圳）有限公司 一种点云数据处理方法及装置
CN109241978A (zh) * 2018-08-23 2019-01-18 中科光绘（上海）科技有限公司 地基三维激光点云中平面片的快速提取方法
CN109410256A (zh) * 2018-10-29 2019-03-01 北京建筑大学 基于互信息的点云与影像自动高精度配准方法
CN113870402A (zh) * 2021-09-13 2021-12-31 中铁第一勘察设计院集团有限公司 一种基于八叉树索引的海量点云分层实时渲染方法

Also Published As

Publication number Publication date
CN114494366A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114494366B (zh) 一种影像与点云配准的道路坑槽提取方法
CN110570428B (zh) 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及系统
CN107516077B (zh) 基于激光点云和影像数据融合的交通标牌信息提取方法
CN111931565B (zh) 一种基于光伏电站uav的自主巡检与热斑识别方法及系统
CN111709981A (zh) 特征线融合的激光点云与模拟图像的配准方法
CN111598823A (zh) 多源移动测量点云数据空地一体化融合方法、存储介质
KR102450019B1 (ko) 드론을 이용한 수질현황 모니터링 방법 및 시스템
CN110533768B (zh) 一种仿真交通场景生成方法及系统
CN106296814A (zh) 公路养护检测与可视化交互方法和系统
CN112465732A (zh) 一种车载激光点云与序列全景影像的配准方法
CN114332348B (zh) 一种融合激光雷达与图像数据的轨道三维重建方法
CN108846333A (zh) 标志牌地标数据集生成及车辆定位方法
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN117315146B (zh) 基于跨尺度多源数据的三维模型的重建方法及存储方法
Yadav et al. Identification of trees and their trunks from mobile laser scanning data of roadway scenes
CN114492070A (zh) 一种高精度测绘地理信息虚拟仿真技术与装置
CN114494385A (zh) 一种输水隧洞病害可视化预警方法
CN117152215A (zh) 一种复杂城市环境下快速车载激光点云自动配准方法
CN115854895A (zh) 一种基于目标立木形态的非接触式立木胸径测量方法
Fendi et al. An approach to produce a gis database for Road Surface Monitoring
Yang et al. Airborne LiDAR and photogrammetric point cloud fusion for extraction of urban tree metrics according to street network segmentation
CN115752432A (zh) 无人机采集道路交通图中虚线车道线自动提取方法及系统
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
CN110836661A (zh) 一种天坑参数测量方法
CN111323026B (zh) 一种基于高精度点云地图的地面过滤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant