CN110348308A - 一种基于深度学习的路面灌封裂缝检测方法 - Google Patents

一种基于深度学习的路面灌封裂缝检测方法 Download PDF

Info

Publication number
CN110348308A
CN110348308A CN201910498481.6A CN201910498481A CN110348308A CN 110348308 A CN110348308 A CN 110348308A CN 201910498481 A CN201910498481 A CN 201910498481A CN 110348308 A CN110348308 A CN 110348308A
Authority
CN
China
Prior art keywords
encapsulating
image
crack
road surface
crack detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910498481.6A
Other languages
English (en)
Inventor
孙朝云
沙爱民
李伟
郝雪丽
陈瑶
裴莉莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910498481.6A priority Critical patent/CN110348308A/zh
Publication of CN110348308A publication Critical patent/CN110348308A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的路面灌封裂缝检测方法：步骤1：采集路面灌封裂缝图像，进行图像增广得到路面图像；步骤2：对路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；步骤4：将待检测图像输入训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。本发明首次使用了深度学习的方法对路面图像中的灌封裂缝进行检测，并能够达到0.8994的检测精度。

Description

一种基于深度学习的路面灌封裂缝检测方法
技术领域
本发明属于道路工程领域，具体涉及一种基于改进的Faster R-CNN模型的路面灌封裂缝检测方法。
背景技术
灌封裂缝产生的原因主要是路面养护部门发现道路出现裂缝后使用路面裂缝灌封技术后形成的一种新的病害。灌封裂缝一旦出现表明这条路已经发生过破损，灌封裂缝的有效检测对延长路面的使用寿命有很大影响，如何对灌封裂缝进行实时、准确和高效的检测，成为公路管理养护部门十分关注的问题。
传统的灌封裂缝检测是基于主动特征提取的图像处理方法，这种方法有一定的局限性，在实时性和检测精度上都有所欠缺，无法进行实时、准确和高效的检测。因此，研究一种能够准确和高效的灌封裂缝检测方法是非常有必要的。
发明内容
针对上述传统路面灌封裂缝检测方法存在的不足，本发明的主要目的在于，提供一种基于改进的Faster R-CNN模型的路面灌封裂缝检测方法。该方法能够实现对路面灌封裂缝数据的高效、准确的定位，为进一步研究路面自动检测提供参考。
为了达到上述目的，本发明采用如下的技术方案：
一种基于深度学习的路面灌封裂缝检测方法，包括如下步骤：
步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N；
步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；
步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；
步骤4：将待检测图像输入经步骤3训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。
进一步的，所述步骤1中的数据增广处理是指通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。
进一步的，所述步骤3中所构建的路面灌封裂缝检测模型为Faster R-CNN模型；
所述Faster R-CNN模型中，保证anchor变换面积256不变，将该面积区域变换成横纵比分别为1:1、1:2、1:4、1:6、1:8、1:10、10:1、8:1、6:1、4:1、2:1的11个区域；然后将这11个区域的横向尺寸、纵向尺寸分别按8倍、16倍和32倍进行扩充，共得到11×3＝33个anchor。
进一步的，当将训练集输入所构建的灌封裂缝检测模型中，对灌封裂缝检测模型训练时，将Faster R-CNN网络模型中的激活函数设置为Relu函数，优化器设置为带动量的SGD优化器，训练次数设置为70000次，学习率设置为0.001，当训练次数大于等于50000时，学习率自动衰减为0.0001。
与现有技术相比，本发明的方法具有以下优点：
1.本发明采用了使用深度学习方法对路面灌封裂缝进行检测，并达到0.8994的检测精度。
2.本发明通过对Faster R-CNN方法中的候选区域的比例进行改进，能够更加适合本发明所处理的路面灌封裂缝，大大提高了检测精度，且能够实现对灌封裂缝的精确定位。
附图说明
图1是损失函数loss随训练次数变化曲线图；
图2是待检测的灌封裂缝图像；
图3是采用传统的FasterRCNN模型对图像进行灌封路面检测的效果图；
图4是采用本发明中改进后的FasterRCNN模型对图像进行灌封路面检测的效果图。
以下结合具体实施方式和附图对本发明进一步解释说明。
具体实施方式
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例：
本实施例给出一种基于改进的Faster R-CNN模型的路面灌封裂缝检测方法，包括如下步骤：
步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N。
作为本发明的一种具体实施方式，路面图像的采集方式可以采用检测车采集或者智能手机拍摄。
本发明中，数据增广处理具体通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。
本实施例中，图像增广后得到的样本数据集中共7116幅路面图像。
步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框(ground truth)；将所有标注后的路面灌封裂缝图像放缩为统一尺寸800×600)，得到放缩后的图像，作为训练集；
在具体实施中，采用最小外接矩形对灌封裂缝进行标注，裂缝区域框即裂缝的最小外接矩形。
在采集路面灌封裂缝图像时，可能由于拍摄所采用的设备不统一造成图像的尺寸、规格不统一，此处统一尺寸，以得到准确的处理结果。
步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重。
在具体实施时，在训练过程中当灌封裂缝检测模型中的损失函数曲线趋于稳定，且损失函数的值不再下降，则完成裂缝分类检测模型的训练。
步骤3中所构建的路面灌封裂缝检测模型为Faster R-CNN模型；
所述Faster R-CNN模型中，保证anchor变换面积256不变，将该面积区域变换成横纵比分别为1:1、1:2、1:4、1:6、1:8、1:10、10:1、8:1、6:1、4:1、2:1的11个区域；然后将这11个区域的横向尺寸、纵向尺寸分别按8倍、16倍和32倍进行扩充，共得到11×3＝33个anchor。
在传统的Faster R-CNN模型中，通常是保证基础区域256的面积不变，分别将该横纵比为1:1的正方形区域变换成横纵比为1:1、1:2、2:1的区域，之后将这3个区域的横、纵分别按8倍、16倍和32倍扩充，最终得到的特征图上的每一像素点都能在步骤3中缩放后的图像上生成3×3＝9个候选框。而本发明设置上述11个横纵比进行处理的原因是因为灌封裂缝的形态多样化，传统方法生成候选框的处理方式对灌封裂缝的处理并不适用，经试验发现，采用上述11个横纵比进行变换，得到的检测结果更加准确。
当将训练集输入所构建的灌封裂缝检测模型中，对灌封裂缝检测模型训练时，将Faster R-CNN网络模型中的激活函数设置为Relu函数，优化器设置为带动量的SGD优化器，训练次数设置为70000次，学习率设置为0.001，当训练次数大于等于50000时，学习率自动衰减为0.0001。在训练过程中，当损失函数曲线趋于稳定，且损失函数的值不再下降，则完成裂缝分类检测网络的训练。如图2为一种实施例下灌封裂缝检测模型训练损失函数曲线，可见当训练到第70000次时，损失函数的值基本趋于稳定，说明网络训练完成。
步骤4：将待检测图像输入经步骤3训练后得到的Faster R-CNN模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。
如图2所示的采集的某一幅原始路面灌封裂缝图像，图3是采用传统的FasterRCNN模型进行灌封路面检测的效果图，图4是采用本发明的方法(即本发明改进后的FasterRCNN模型)对该图像进行灌封路面检测的效果图，可以明显看出，相较于传统方法模型，本方法得到的检测框能够对图像中所有路面灌封裂缝进行更加精准地标注。从而使得检测结果精确度明显提高。另外，参见表1所示，用平均检测精度(AP)对实施例的结果进行了定量评价。从表中结果可以看出，本发明的基于深度学习的路面灌封裂缝检测方法比为传统的AP结果有所提升。
表1灌封裂缝检测效果评价
方法 AP
传统FasterRCNN模型 0.8994
本发明中的FasterRCNN模型 0.9070

Claims (4)

1.一种基于深度学习的路面灌封裂缝检测方法，其特征在于，包括如下步骤：
步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N；
步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；
步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；
步骤4：将待检测图像输入经步骤3训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。
2.如权利要求1所述的基于深度学习的路面灌封裂缝检测方法，其特征在于，所述步骤1中的数据增广处理是指通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。
3.如权利要求1所述的基于深度学习的路面灌封裂缝检测方法，其特征在于，所述步骤3中所构建的路面灌封裂缝检测模型为Faster R-CNN模型；
所述Faster R-CNN模型中，保证anchor变换面积256不变，将该面积区域变换成横纵比分别为1:1、1:2、1:4、1:6、1:8、1:10、10:1、8:1、6:1、4:1、2:1的11个区域；然后将这11个区域的横向尺寸、纵向尺寸分别按8倍、16倍和32倍进行扩充，共得到11×3＝33个anchor。
4.如权利要求3所述的基于深度学习的路面灌封裂缝检测方法，其特征在于，当将训练集输入所构建的灌封裂缝检测模型中，对灌封裂缝检测模型训练时，将Faster R-CNN网络模型中的激活函数设置为Relu函数，优化器设置为带动量的SGD优化器，训练次数设置为70000次，学习率设置为0.001，当训练次数大于等于50000时，学习率自动衰减为0.0001。
CN201910498481.6A 2019-06-10 2019-06-10 一种基于深度学习的路面灌封裂缝检测方法 Pending CN110348308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910498481.6A CN110348308A (zh) 2019-06-10 2019-06-10 一种基于深度学习的路面灌封裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910498481.6A CN110348308A (zh) 2019-06-10 2019-06-10 一种基于深度学习的路面灌封裂缝检测方法

Publications (1)

Publication Number Publication Date
CN110348308A true CN110348308A (zh) 2019-10-18

Family

ID=68181737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498481.6A Pending CN110348308A (zh) 2019-06-10 2019-06-10 一种基于深度学习的路面灌封裂缝检测方法

Country Status (1)

Country Link
CN (1) CN110348308A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009447A (zh) * 2021-03-05 2021-06-22 长安大学 基于深度学习和探地雷达的道路地下空洞检测预警方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN107610092A (zh) * 2017-08-01 2018-01-19 长安大学 基于视频流的路面裂缝动态检测方法
CN108765386A (zh) * 2018-05-16 2018-11-06 中铁科学技术开发公司 一种隧道裂缝检测方法、装置、电子设备及存储介质
CN109767423A (zh) * 2018-12-11 2019-05-17 西南交通大学 一种沥青路面图像的裂缝检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN107610092A (zh) * 2017-08-01 2018-01-19 长安大学 基于视频流的路面裂缝动态检测方法
CN108765386A (zh) * 2018-05-16 2018-11-06 中铁科学技术开发公司 一种隧道裂缝检测方法、装置、电子设备及存储介质
CN109767423A (zh) * 2018-12-11 2019-05-17 西南交通大学 一种沥青路面图像的裂缝检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIGE ZHANG等: "Efficient Dense-Dilation Network for Pavement Cracks Detection with Large Input Image Size", 《2018 21ST INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *
黄玲娥: "基于神经网络的物品识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009447A (zh) * 2021-03-05 2021-06-22 长安大学 基于深度学习和探地雷达的道路地下空洞检测预警方法

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
WO2019134252A1 (zh) 结构裂缝自动化描绘及宽度精准测量方法与设备
CN110175658A (zh) 一种基于YOLOv3深度学习的混凝土裂缝识别方法
US20190197340A1 (en) Object surface deformation feature extraction method based on line scanning three-dimensional point cloud
CN108960198A (zh) 一种基于残差ssd模型的交通标志检测与识别方法
CN107092877A (zh) 基于建筑物基底矢量的遥感影像屋顶轮廓提取方法
CN109712148A (zh) 基于盾构隧道影像的管片接缝位置自动识别方法
CN115393727B (zh) 一种路面线性裂缝识别方法、电子设备及存储介质
CN104021556A (zh) 一种基于几何结构相似性的异源遥感影像配准方法
CN108007374A (zh) 一种建筑物变形激光点云数据坐标偏差分析方法
CN110619258B (zh) 一种基于高分辨率遥感影像的道路轨迹核查方法
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN109886939A (zh) 基于张量投票的桥梁裂缝检测方法
CN109489623B (zh) 一种采用三维激光扫描仪测量桥头引道不均匀沉降的方法
CN106677037A (zh) 基于机器视觉的便携式沥青路面病害检测方法及装置
CN108978378A (zh) 一种激光雷达道路改扩建勘测设计方法
CN116399302B (zh) 基于双目视觉和神经网络模型实时监测强夯夯沉量的方法
CN115564717A (zh) 一种基于无人机影像的矿区地表裂缝参数提取方法
CN112699436A (zh) 基于三维激光扫描建模的建筑结构逆向工程分析方法
CN116503391A (zh) 一种隧道掌子面岩体节理裂隙识别方法及识别装置
CN110348308A (zh) 一种基于深度学习的路面灌封裂缝检测方法
CN104180794B (zh) 数字正射影像拉花区域的处理方法
CN106803075B (zh) 基于图像识别技术的地质信息智能化识别系统和方法
CN112147680A (zh) 岩石内部微裂缝提取和刻画方法及系统
CN106250687A (zh) 去扁化ipp的沉积砾石圆度计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018

RJ01 Rejection of invention patent application after publication