CN112070756B - 一种基于无人机倾斜摄影的路面立体病害测量方法 - Google Patents
一种基于无人机倾斜摄影的路面立体病害测量方法 Download PDFInfo
- Publication number
- CN112070756B CN112070756B CN202010966513.3A CN202010966513A CN112070756B CN 112070756 B CN112070756 B CN 112070756B CN 202010966513 A CN202010966513 A CN 202010966513A CN 112070756 B CN112070756 B CN 112070756B
- Authority
- CN
- China
- Prior art keywords
- value
- disease
- pavement
- elevation
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 105
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000006378 damage Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000012423 maintenance Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 230000007547 defect Effects 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009525 mild injury Effects 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims 4
- 230000000994 depressogenic effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明为一种基于无人机倾斜摄影的路面立体病害测量方法，该方法包括以下过程：道路通车前对路面进行一次路面检测，此时路面无病害，将通车前采集的路面数据称之为母版数据；通车后根据道路养护需求再次进行路面检测，采集当前路面数据，路面检测时使用无人机对路面进行倾斜摄影分别构建出相应时期的数字表面模型以及数字高程模型；通过对不同时期的数字高程模型进行叠加计算，得到路面不同位置的高程变化，将每个位置高程的变化映射到每一个像素点的像素值，通过无监督学习和图像处理并结合工程规范判断路面破坏类型以及破坏等级、病害特征和病害位置，实现对立体病害的智能识别。该方法实现路面立体病害的识别分级和定位、病害直观展示。
Description
技术领域
本发明涉及无人机倾斜摄影和路面立体病害识别养护领域，具体是一种基于无人机倾斜摄影的路面立体病害测量方法。
背景技术
为了保证车辆在道路上的安全行驶以及延长道路的使用年限，需要定期对道路进行检测与养护，而对路面的立体病害进行检测识别是一项必要和基础的工作。路面的立体病害主要包括坑槽、车辙、沉陷和波浪拥包。
目前路面立体病害检测方法主要是使用道路检测车和人工检测两种方法。道路检测车安装有激光弯沉测定仪、车载式颠簸累积仪等激光传感设备，在道路上以一定车速行驶，或者专业检测人员使用3m直尺、连续式平整度仪、摆式仪等非车载设备对路面弯沉、平整度、渗水系数和抗滑性等指标进行检测以及对路面病害进行识别和相关数据的采集。
检测车和人工检测都会影响道路的正常使用，尤其是在高速公路上，人工检测甚至需要关闭使用道路，同时会耗费大量的人力物力财力，检测效率也难得到保障。人工检测易受主观判断影响，缺乏一致的判断标准。同时不能直观展示追踪立体病害特征，对后期养护造成困难。
建立科学高效的路面立体病害检测体系需要解决以下问题：1、减少检测过程交通阻断和堵塞2、实现病害智能识别分级与定位3、立体病害的三维模型构建。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于无人机倾斜摄影的路面立体病害测量方法，避免在路面病害检测时发生的路上交通堵塞与断交，同时通过机器学习方式实现路面立体病害的识别分级和定位，建立立体病害的三维模型实现病害直观展示。
本发明解决所述技术问题采用的技术方案是，提供一种基于无人机倾斜摄影的路面立体病害测量方法，该方法包括以下过程：
道路通车前对路面进行一次路面检测，此时路面无病害，将通车前采集的路面数据称之为母版数据；
通车后根据道路养护需求再次进行路面检测，采集当前路面数据，
路面检测时使用无人机对路面进行倾斜摄影，获取5个不同方向的图像，分别构建出相应时期的数字表面模型(DSM)以及数字高程模型(DEM)；
通过对不同时期的数字高程模型(DEM)进行叠加计算，得到路面不同位置的高程变化，将每个位置高程的变化映射到每一个像素点的像素值，通过无监督学习和图像处理并结合相关规范判断路面破坏类型以及破坏等级、病害特征和病害位置，实现对坑槽、沉陷、波浪拥包和车辙的智能识别。
所述病害特征包括病害长度、宽度、面积、深度或高度。
与现有技术相比，本发明有益效果在于：
本发明将无人机的倾斜摄影技术应用在路面立体病害检测中，使用无人机的倾斜摄影技术在空中采集路面影像及相关数据，利用采集到的当前路面数据与母版数据进行对比得到高程差，继而得到路面破损情况，避免了以往检测过程中对正常道路交通的影响，同时对于道路检测车检测的方法来说，无人机的工作成本远小于道路检测车，设备成本远低于道路检测车。对于人工检测方法来说，无人机飞行操作的人员远小于路面检测人员的数量，同时无人机操作门槛低，技术要求不高，可节省大量人员培训成本。另外，无人机倾斜摄影检测效率高，所需检测时间短且作业过程不易受地形影响。且无人机设备轻便，便于携带。
本发明中使用Pix4dmapper和ContextCapture Center软件进行数据处理，建立数字正射影像图和数字地形模型，通过对生成的黑白灰三色图像进行连通域分析的去噪操作以及使用均值漂移聚类实现的图像分割操作和通过阈值划分波浪拥包、车辙、坑槽和沉陷四种立体病害以及损坏程度识别，实现立体病害的识别、分类、分级和定位，能够精确输出四种路面立体病害的坐标，使立体病害的识别和信息分析智能化。同时加快数据处理和信息提取速度。
ContextCapture Center软件构建的数字地形模型可直接在模型上显示选取的任意位置的坐标、距离(长度、宽度、高度)和面积，可以对任意一处破坏进行测量和特征提取，可实现对程序检测结果的对照复核和精度检验，作为后期方案调整的依据和该检测路面检测效果的依据。
本发明方法将高程差数据转换成路面黑白灰三色图像，通过图像处理(连通域去噪、聚类图像分割、像素点统计)和设定阈值的方式进行路面立体病害的识别，不仅能实现判断路面是否有病害以及病害所在的位置，还能实现对具体病害种类进行识别以及破坏等级进行划分以及病害特征(面积、高程差绝对值的最大值、长度、宽度)的提取。
附图说明
图1为本发明流程图；
图2为本发明无人机正射航线示意图；
图3为本发明无人机倾斜航线示意图。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请的保护范围。
本发明基于无人机倾斜摄影的路面立体病害测量方法，包括以下过程：
道路通车前对路面进行一次路面检测，此时路面无病害，将通车前采集的路面数据称之为母版数据；
通车后根据道路养护需求再次进行路面检测，采集当前路面数据，
路面检测时使用无人机对路面进行倾斜摄影，获取5个不同方向的图像，分别构建出相应时期的数字表面模型(DSM)以及数字高程模型(DEM)；
通过对不同时期的数字高程模型(DEM)进行叠加计算，得到路面不同位置的高程变化，将每个位置高程的变化映射到每一个像素点的像素值，通过无监督学习和图像处理并结合相关规范判断路面破坏类型以及破坏等级、病害特征和病害位置，实现对坑槽、沉陷、波浪拥包和车辙的智能识别。
所述病害特征包括病害长度、宽度、面积、深度或高度。
本发明利用无人机倾斜摄影获取的五个方向的路面图像进行建模得到数字高程模型(DEM)，通过对路面通车前数据高程和路面通车后待检测的数据高程做减法运算得到高程变化，利用高程变化生成路面黑白灰三色图像，并且通过设定合理阈值对立体病害进行识别和破坏等级区分。
上述中的母版数据和当前路面数据，均包括路面每一个像素点的坐标和高程数据。
上述将每个位置高程的变化映射到每一个像素点的像素值的具体过程是，获得的高程差，将高程差按正值为灰度值为255的白色像素点表示，负值以灰度值为0的黑色像素值表示，高程差0值以灰度值为127的灰色像素表示，用每个坐标点对应的像素值构成检测道路路面的表面区域，生成有关于高程差的路面灰度图像。整个图像凸起部分为白色，凹陷部分为黑色，没有变化的部分为灰度值127的灰色。
所述无监督学习采用均值漂移聚类算法对图像进行分割，提取可能存在立体病害的感兴趣区域，将路面凹陷和凸起部分分割成独立的感兴趣区域。
所述图像处理的作用是对感兴趣区域添加外接矩形，遍历所有感兴趣区域，辨认区域内的像素点灰度值，统计像素点个数，计算外接矩形的长度和宽度，通过排序算法找到高程差绝对值的最大值。找到外接矩形中心点的坐标值。具体过程是：对这些感兴趣区域的像素进行遍历，首先判断像素点是黑色像素还是白色像素，其次通过排序找到感兴趣区域内所有像素点坐标下对应高程差绝对值的最大值；然后分别统计感兴趣区域内白色像素和黑色像素的个数；做感兴趣区域的外接矩形，得到外接矩形的长和宽，进而将像素表达的外接矩形的长度、宽度和面积转变为实际路面的长度、宽度和面积(转变规则与所使用的无人机的型号、飞行高度、相机等参数有关)。
所述智能识别的过程是：设定分级分类阈值，第一分级阈值(10mm)和第二分级阈值(25mm或15mm)，位于第一分级阈值和第二分级阈值之间的病害等级为轻级，大于第二分级阈值的病害等级为重度；不同病害种类两个分级阈值可以设置不同；第一分类阈值(390mm)和第二分类阈值(500mm)、第三分类阈值(975mm)、第四分类阈值(2000mm)，当外接矩形长和宽都不大于第二分类阈值，则为坑槽病害，当外接矩形长度不小于第四分类阈值，且宽度位于的第一分类阈值和第三分类阈值之间时，则为车辙病害，当外接矩形长宽都大于第二分类阈值，且不属于车辙病害则为沉陷病害。具体是：
首先判断高程差的正负，若高程差为正值，即像素灰度值为255时，则该区域为波浪拥包，进而再判断感兴趣区域内高程差绝对值的最大值的范围，若高程差绝对值的最大值在10mm到25mm之间时，此处病害等级为轻度；高程差绝对值的最大值大于25mm，病害等级为重度；
若高程差为负值，即像素灰度值为0，则进一步判断外接矩形的长度和宽度范围，若外接矩形的长度和宽度都不大于500mm时，则判断病害损坏类型为坑槽；当为坑槽病害时，进一步根据感兴趣区域内高程差绝对值的最大值的范围判断病害等级，当高程差绝对值的最大值在10mm到25mm为轻度损坏，高程差绝对值的最大值大于25mm时病害等级为重度；
若高程差为负值，且外接矩形宽度为390mm到975mm之间、长度大于等于2000mm时，判断损坏类型为车辙。当为车辙病害时，高程差绝对值的最大值在10mm到15mm为轻度损坏，高程差绝对值的最大值大于15mm时病害等级为重度。
若高程差为负值，不属于车辙病害的范围，且外接矩形的长度和宽度都大于500mm，则判断病害损坏类型为沉陷，当为沉陷病害时，进一步根据感兴趣区域内高程差绝对值的最大值的范围判断病害等级，当高程差绝对值的最大值在10mm到25mm为轻度损坏，高程差绝对值的最大值大于25mm时病害等级为重度。
若高程差为0，则表示无病害。
本发明的工作原理和工作流程是：
使用无人飞机的倾斜摄影技术采集道路通车前后路面图像数据，使用Pix4d和ContextCapture Center软件对采集到的图像进行处理，得到数字地形模型(DTM)、数字表面模型(DSM)和正射影像图，提取数字高程模型(DEM)数据。通过对通车前后数字高程模型(DEM)数据的运算得到道路表面的高程变化，将变化的数值通过坐标与像素点对应，生成路面黑白灰三色图像。使用无监督学习的均值漂移聚类的python程序对黑白灰三色图像进行图像分割，提取出黑色像素和白色像素聚集的感兴趣区域，遍历每个感兴趣区域的像素，统计感兴趣区域的像素点个数，做感兴趣区域的外接矩形。通过排序算法(冒泡排序算法)找到高程差绝对值的最大值。结合现行规范，设定合理参数阈值，判断路面立体病害种类、损坏等级、病害位置、特征参数等数据。
实施例
本发明提供了使用大疆精灵4RTK无人机，搭载的相机参数为：镜头FOV84°；8.8mm/24mm(35mm格式等效)；光圈f/2.8-f/11；带自动对焦(对焦距离1m-∞)，ISO范围视频：100-3200(自动)，100-6400(手动)；图像分辨率为4864×3648(4∶3)；5472×3648(3∶2)，照片的有效图幅为5472×3648。DNSS定位精度：多频多系统高精度RTK GNSS垂直1.5cm+1ppm(RMS)；水平1cm+1ppm(RMS)。该型号无人机连接网络可使用载波相位差分技术(RTK)，不需要测量相控点，操作简单。建图精度满足GB/T 7930-2008 1∶500地形图航空摄影测量内业规范。地面采样距离(GSD)计算公式为：
GSD＝(H/36.5)cm/pixel
其中H为无人机飞行高度，单位为米，地面采样距离(GSD)表示一个像素代表的实际地面大小，单位厘米/像素。在飞行高度为25米时，地面采样距离(GSD)为0.68cm/pixel。所以对应到每个像素点的实际区域大小为0.68cm*0.68cm的正方形区域，取该正方向区域的中心点坐标代表该像素点的坐标值。
使用图新地球4软件制作KML文件，使用工具栏中绘制面工具绘制要检测的路面范围，将绘制好的文件保存为KML文件，将其按照格式保存到无人机SD卡中，待无人机运行前会检测到该文件。
将无人机飞行高度设置为25米，航向重叠率80，旁向重叠率70。使用无人机五向模式进行路面图像采集，五向模式就是从五个不同的角度对路面进行拍摄，包括一条正射航线，云台倾角-90度(参见图2)，4条倾斜航线，云台倾角-30度(参见图3)。采集到的图像以World Geodetic System 1984为基准面，以WGS 84为坐标系，将采集到的图片按照拍摄日期分别保存。
待测道路建成后(无破损路面)使用无人机倾斜摄影对道路路面进行第一遍检测，采集原始图像数据并进行数据处理和建立模型，得到正射影像图和数字表面模型(DSM)数据，将通车前的数据保存为母版数据。
后期路面(后期路面是指道路通车后发生破损需要进行路面病害检测时的路面)发生破损后需要对路面立体病害进行检测识别和定位。
使用Pix4d对采集到的图像数据进行处理，输出坐标系为WGS 84，选用3Dmaps模板进行处理，处理结束可得到检测区域的正射影像图、数字表面模型(DSM)、3D纹理和点云数据。使用ContextCapture Center构建路面三维模型，在空间框架中选取自适应切块以满足RAM(随机存储器，是与电脑CPU直接交换数的内部存储器，也称内存)的使用量。得到数字地形模型(DTM)，使用Arcgis软件，添加生成的数字表面模型(DSM)文件，使用空间分析中的提取值到点功能，可以将高程数据提取到点上，提取出数字高程模型(DEM)。根据图像分辨率计算得到每个像素点对应路面实际距离6.8mm，表示区域为6.8mm*6.8mm的面积，取中心点坐标作为每个像素点的坐标。对初次检测得到路面图像的数字高程模型(DEM)数据和待检测时得到的同一路面不同时期的DEM数据进行叠加运算。得到同一坐标下的高程差。针对像素点对DEM数据进行减法运算，得到路面每个点位的高程变化值。
将得到的高程差按正值为灰度值为255的白色像素点表示，负值以灰度值为0的黑色像素值表示，高程差0值以灰度值为127的灰色像素表示，用每个坐标点对应的像素值构成检测道路路面的表面区域，生成有关于高程差的路面灰度图像。整个图像凸起部分为白色，凹陷部分为黑色，没有变化的部分为灰度值127的灰色。称经过上述处理得到的路面图像为路面黑白灰三色图像。
对得到的黑白灰三色图像进行去噪预处理，即通过检测连通域分析去除黑白灰三色图像中的独立的黑白噪点。
使用机器学习中的无监督学习对预处理后的路面黑白灰三色图像进行图像分割，具体使用均值漂移聚类算法，这种聚类算法最大的优点是不需要给出聚类的类别数量，可以对任意未知病害路面进行处理。均值漂移聚类也称为MeanShift，该算法实质上是基于密度的算法，通过计算每个点的漂移均值不断向高密度区域更新点的位置，基本原理为：随机选取某一点A，计算点A附近以R为半径的圆形区域内的其他点与点A的向量距离的平均值，计算出点A下一步的漂移方向，当点A不再漂移时，与周围其他的点形成一个点簇，形成的点簇即为一类，计算该点簇与上一步漂移前点簇的距离，距离小于阈值D(阈值D根据实际实况选取，本实施例中D为
个像素值)时中心点不再漂移。
在该均值漂移聚类算法中使用高斯核函数，核函数是一种内积运算，数学表达为：
其中N(x)为高斯核函数，h为带宽(bandwidth)，取值为2。X表示一个d维的欧式空间，其中x代表欧式空间中的一个点，x＝{x1，x2...xd}，其中x的模||x||2＝xxT。
对于给定的d维空间Rd中的n个样本点xi，i＝1...n，对于其中一个样本x，它的均值漂移向量表达为：
k表示在n个样本点中有k个样本点落入Sr中，其中Sr代表半径为r的高维球型空间满足以下关系的y点的集合。Mr(x)为均值漂移向量。Sr的定义为：
Sr(x)＝(y|((y-x)(y-x)T)≤r2)
使用核函数改进后的均值漂移算法公式为：
其中GH为单位核函数，H是一个正定的对称d×d矩阵，称为带宽矩阵，其是一个对角阵。ω(xi)≥0是每一个样本的权重。对角阵H的形式为：
其中G(x)为：
通过无监督学习算法将路面凹陷和凸起部分分割成独立的感兴趣区域，对这些感兴趣区域的像素进行遍历，首先判断像素点是黑色像素还是白色像素，其次通过排序找到感兴趣区域内所有像素点坐标下对应高程差绝对值的最大值。然后分别统计感兴趣区域内白色像素和黑色像素的个数(用于换算实际面积和长、宽)。做感兴趣区域的外接矩形，得到外接矩形的长和宽。
黑白灰三色图像中需要检测的感兴趣区域的外接矩形的长、宽、面积换算为：1像素长度和宽度为6.8mm、面积为46.24mm2。
针对于沥青路面，结合《公路技术评定标准》(JTG H20-2018)设定合理阈值，区分路面坑槽、车辙、沉陷和波浪拥包四种立体病害，通过python程序做如下病害识别：
1、所得高程差为正值，即像素灰度值为255时，该区域为波浪拥包，高程差绝对值的最大值在10mm到25mm之间时，病害等级为轻度；高程差绝对值的最大值大于25mm，病害等级为重度。
2、所得高程差为负值，即像素灰度值为0，且外接矩形宽度为390mm到975mm之间、长度大于等于2000mm时，判断损坏类型为车辙。高程差绝对值的最大值在10mm到15mm为轻度损坏，高程差绝对值的最大值大于15mm时病害等级为重度。
3、所得高程差为负值，即像素灰度值为0，且外接矩形宽度大于500mm、长度大于500mm时判断损坏类型为沉陷。高程差绝对值的最大值在10mm到25mm为轻度损坏，高程差绝对值的最大值大于25mm时病害等级为重度。
4、所得高程差为负值，即像素灰度值为0，且外接矩形宽度小于等于500mm、长度小于等于500mm时判断损坏类型为坑槽。高程差绝对值的最大值在10mm到25mm为轻度损坏，高程差绝对值的最大值大于25mm时病害等级为重度。
判断结束后，输出各感兴趣区域的立体病害类型、损坏程度、病害特征(外接矩形长和宽、高程差绝对值的最大值)、病害外接矩形中心点坐标。保存为文本格式。
最后进行准确率检验，在ContextCapture Center软件生成的数字地形模型(DTM)中使用测量工具对检测到的立体病害进行随机验证，在数字地形模型中可直观判断路面病害类别，随机选取若干个病害进行验证，使用测量工具可以得到路面立体病害的外接矩形的长度、宽度、最大高程差以及面积等特征。通过对比，误差较小。本实施例方法满足精度要求。
本发明未述及之处适用于现有技术。
Claims (10)
1.一种基于无人机倾斜摄影的路面立体病害测量方法，该方法包括以下过程：
道路通车前对路面进行一次路面检测，此时路面无病害，将通车前采集的路面数据称之为母版数据；
通车后根据道路养护需求再次进行路面检测，采集当前路面数据，
路面检测时使用无人机对路面进行倾斜摄影，获取5个不同方向的图像，分别构建出相应时期的数字表面模型(DSM)以及数字高程模型(DEM)；
通过对不同时期的数字高程模型(DEM)进行叠加计算，得到路面不同位置的高程变化，将每个位置高程的变化映射到每一个像素点的像素值，通过无监督学习和图像处理并结合工程规范判断路面破坏类型以及破坏等级、病害特征和病害位置，实现对立体病害的智能识别。
2.根据权利要求1所述的测量方法，其特征在于，所述病害特征包括病害长度、宽度、面积、深度或高度。
3.根据权利要求1所述的测量方法，其特征在于，所述母版数据和当前路面数据，均包括路面每一个像素点的坐标和高程数据。
4.根据权利要求1所述的测量方法，其特征在于，所述将每个位置高程的变化映射到每一个像素点的像素值的具体过程是，获得的高程差，将高程差按正值为灰度值为255的白色像素点表示，负值以灰度值为0的黑色像素值表示，高程差0值以灰度值为127的灰色像素表示，用每个坐标点对应的像素值构成检测道路路面的表面区域，生成有关于高程差的路面灰度图像；整个图像凸起部分为白色，凹陷部分为黑色，没有变化的部分为灰度值127的灰色。
5.根据权利要求1所述的测量方法，其特征在于，所述无监督学习采用均值漂移聚类算法对图像进行分割，提取可能存在立体病害的感兴趣区域，将路面凹陷和凸起部分分割成独立的感兴趣区域。
6.根据权利要求5所述的测量方法，其特征在于，所述图像处理的作用是对感兴趣区域添加外接矩形，遍历所有感兴趣区域，辨认区域内的像素点灰度值，统计感兴趣区域内白色像素和黑色像素的像素点个数，计算外接矩形的长度和宽度，通过排序算法找到高程差绝对值的最大值；找到外接矩形中心点的坐标值。
7.根据权利要求5所述的测量方法，其特征在于，设定分级分类阈值，第一分级阈值和第二分级阈值，位于第一分级阈值和第二分级阈值之间的病害等级为轻级，大于第二分级阈值的病害等级为重度；不同病害种类两个分级阈值可以设置不同；第一分类阈值和第二分类阈值、第三分类阈值、第四分类阈值，当外接矩形长和宽都不大于第二分类阈值，则为坑槽病害，当外接矩形长度不小于第四分类阈值，且宽度位于的第一分类阈值和第三分类阈值之间时，则为车辙病害，当外接矩形长宽都大于第二分类阈值，且不属于车辙病害则为沉陷病害。
8.根据权利要求7所述的测量方法，其特征在于，所述智能识别的具体过程是：
首先判断高程差的正负，若高程差为正值，则该区域为波浪拥包，进而再判断感兴趣区域内高程差绝对值的最大值的范围，若高程差绝对值的最大值在10mm到25mm之间时，此处病害等级为轻度；高程差绝对值的最大值大于25mm，病害等级为重度；
若高程差为负值，则进一步判断外接矩形的长度和宽度范围，若外接矩形的长度和宽度都不大于500mm时，则判断病害损坏类型为坑槽；当为坑槽病害时，进一步根据感兴趣区域内高程差绝对值的最大值的范围判断病害等级，当高程差绝对值的最大值在10mm到25mm为轻度损坏，高程差绝对值的最大值大于25mm时病害等级为重度；
若高程差为负值，且外接矩形宽度为390mm到975mm之间、长度大于等于2000mm时，判断损坏类型为车辙；当为车辙病害时，高程差绝对值的最大值在10mm到15mm为轻度损坏，高程差绝对值的最大值大于15mm时病害等级为重度；
若高程差为负值，不属于车辙病害的范围，且外接矩形的长度和宽度都大于500mm，则判断病害损坏类型为沉陷，当为沉陷病害时，进一步根据感兴趣区域内高程差绝对值的最大值的范围判断病害等级，当高程差绝对值的最大值在10mm到25mm为轻度损坏，高程差绝对值的最大值大于25mm时病害等级为重度。
9.根据权利要求4所述的测量方法，其特征在于，在进行无监督学习前对对得到的黑白灰三色图像进行去噪预处理，即通过检测连通域分析去除黑白灰三色图像中的独立的黑白噪点。
10.根据权利要求1所述的测量方法，其特征在于：所述无人机搭载的相机参数为：镜头FOV 84°；8.8mm/24mm(35mm格式等效)；光圈f/2.8-f/11；带自动对焦(对焦距离1m-∞)，ISO范围视频：100-3200(自动)，100-6400(手动)；图像分辨率为4864×3648(4:3)；5472×3648(3:2)，照片的有效图幅为5472×3648；DNSS定位精度：多频多系统高精度RTK GNSS垂直1.5cm+1ppm(RMS)；水平1cm+1ppm(RMS)；在飞行高度为25米时,地面采样距离GSD为0.68cm/pixel；对应到每个像素点的实际区域大小为0.68cm*0.68cm的正方形区域，取该正方形区域的中心点坐标代表该像素点的坐标值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966513.3A CN112070756B (zh) | 2020-09-15 | 2020-09-15 | 一种基于无人机倾斜摄影的路面立体病害测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966513.3A CN112070756B (zh) | 2020-09-15 | 2020-09-15 | 一种基于无人机倾斜摄影的路面立体病害测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070756A CN112070756A (zh) | 2020-12-11 |
| CN112070756B true CN112070756B (zh) | 2021-03-30 |
Family
ID=73695827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010966513.3A Active CN112070756B (zh) | 2020-09-15 | 2020-09-15 | 一种基于无人机倾斜摄影的路面立体病害测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070756B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800524A (zh) * | 2021-02-05 | 2021-05-14 | 河北工业大学 | 一种基于深度学习的路面病害三维重建方法 |
| CN112927204B (zh) * | 2021-02-25 | 2022-09-20 | 同济大学 | 一种基于关键渗水点识别的路面渗水性能评估方法 |
| CN115546747B (zh) * | 2022-08-29 | 2023-09-19 | 珠海视熙科技有限公司 | 一种路沿检测方法、装置、摄像设备以及存储介质 |
| CN115861548B (zh) * | 2023-02-27 | 2023-08-01 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种轨道交通接驳设施规划方案展示与交互平台及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261264A (zh) * | 2007-03-09 | 2008-09-10 | 郑州大学 | 半刚性基层路面病害检测与高聚物注浆快速维修技术 |
| CN205557277U (zh) * | 2016-03-15 | 2016-09-07 | 南京理工技术转移中心有限公司 | 一种路面裂缝病害检测系统 |
| CN107190621A (zh) * | 2016-03-15 | 2017-09-22 | 南京理工技术转移中心有限公司 | 一种路面裂缝病害检测系统和方法 |
| CN107201713A (zh) * | 2016-03-16 | 2017-09-26 | 南京理工技术转移中心有限公司 | 路面裂缝病害检测方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10311302B2 (en) * | 2015-08-31 | 2019-06-04 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| CN107064954A (zh) * | 2017-05-24 | 2017-08-18 | 云南省交通规划设计研究院 | 一种基于车载和机载点云的公路地形图测绘方法和系统 |
-
2020
- 2020-09-15 CN CN202010966513.3A patent/CN112070756B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261264A (zh) * | 2007-03-09 | 2008-09-10 | 郑州大学 | 半刚性基层路面病害检测与高聚物注浆快速维修技术 |
| CN205557277U (zh) * | 2016-03-15 | 2016-09-07 | 南京理工技术转移中心有限公司 | 一种路面裂缝病害检测系统 |
| CN107190621A (zh) * | 2016-03-15 | 2017-09-22 | 南京理工技术转移中心有限公司 | 一种路面裂缝病害检测系统和方法 |
| CN107201713A (zh) * | 2016-03-16 | 2017-09-26 | 南京理工技术转移中心有限公司 | 路面裂缝病害检测方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| 无人机影像在地震灾区道路损毁应急评估中的应用研究;常燕敏;《中国优秀硕士学位论文全文数据库 基础科学辑》;20131231;论文全文 * |
| 无人机的特点及其在公路工程建管养领域中的应用研究;王强 等;《广东公路交通》;20180228;11-17页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070756A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070756B (zh) | 一种基于无人机倾斜摄影的路面立体病害测量方法 | |
| Yang et al. | 3D local feature BKD to extract road information from mobile laser scanning point clouds | |
| Biçici et al. | An approach for the automated extraction of road surface distress from a UAV-derived point cloud | |
| Guan et al. | Using mobile LiDAR data for rapidly updating road markings | |
| CN102208013B (zh) | 风景匹配参考数据生成系统和位置测量系统 | |
| Chen et al. | Next generation map making: Geo-referenced ground-level LIDAR point clouds for automatic retro-reflective road feature extraction | |
| CN111179152B (zh) | 一种道路标识识别方法及装置、介质、终端 | |
| Díaz-Vilariño et al. | Automatic classification of urban pavements using mobile LiDAR data and roughness descriptors | |
| CN111784657A (zh) | 一种基于数字图像的水泥路面病害自动识别的系统及方法 | |
| Soheilian et al. | 3D road marking reconstruction from street-level calibrated stereo pairs | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN106978774A (zh) | 一种路面坑槽自动检测方法 | |
| Safaie et al. | Automated street tree inventory using mobile LiDAR point clouds based on Hough transform and active contours | |
| Zhang et al. | Rapid inspection of pavement markings using mobile LiDAR point clouds | |
| CN115717894A (zh) | 一种基于gps和普通导航地图的车辆高精度定位方法 | |
| Zhang et al. | A patch-based method for the evaluation of dense image matching quality | |
| CN114877838B (zh) | 一种基于车载激光扫描系统的道路几何特征检测方法 | |
| Schlichting et al. | Vehicle localization by lidar point correlation improved by change detection | |
| Che et al. | Efficient segment-based ground filtering and adaptive road detection from mobile light detection and ranging (LiDAR) data | |
| CN112749584A (zh) | 一种基于图像检测的车辆定位方法及车载终端 | |
| Dhiman et al. | A multi-frame stereo vision-based road profiling technique for distress analysis | |
| Wang et al. | Automatic estimation of road slopes and superelevations using point clouds | |
| Li et al. | Road Damage Evaluation via Stereo Camera and Deep Learning Neural Network | |
| CN113744393B (zh) | 一种多层级边坡滑坡变化监测方法 | |
| CN114299247A (zh) | 道路交通标志标线快速检测与问题排查方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |