CN110348308A - 一种基于深度学习的路面灌封裂缝检测方法 - Google Patents

一种基于深度学习的路面灌封裂缝检测方法 Download PDF

Info

Publication number
CN110348308A
CN110348308A CN201910498481.6A CN201910498481A CN110348308A CN 110348308 A CN110348308 A CN 110348308A CN 201910498481 A CN201910498481 A CN 201910498481A CN 110348308 A CN110348308 A CN 110348308A
Authority
CN
China
Prior art keywords
potting
crack
pavement
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910498481.6A
Other languages
English (en)
Inventor
孙朝云
沙爱民
李伟
郝雪丽
陈瑶
裴莉莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910498481.6A priority Critical patent/CN110348308A/zh
Publication of CN110348308A publication Critical patent/CN110348308A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的路面灌封裂缝检测方法：步骤1：采集路面灌封裂缝图像，进行图像增广得到路面图像；步骤2：对路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；步骤4：将待检测图像输入训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。本发明首次使用了深度学习的方法对路面图像中的灌封裂缝进行检测，并能够达到0.8994的检测精度。

Description

一种基于深度学习的路面灌封裂缝检测方法
技术领域
本发明属于道路工程领域，具体涉及一种基于改进的Faster R-CNN模型的路面灌封裂缝检测方法。
背景技术
灌封裂缝产生的原因主要是路面养护部门发现道路出现裂缝后使用路面裂缝灌封技术后形成的一种新的病害。灌封裂缝一旦出现表明这条路已经发生过破损，灌封裂缝的有效检测对延长路面的使用寿命有很大影响，如何对灌封裂缝进行实时、准确和高效的检测，成为公路管理养护部门十分关注的问题。
传统的灌封裂缝检测是基于主动特征提取的图像处理方法，这种方法有一定的局限性，在实时性和检测精度上都有所欠缺，无法进行实时、准确和高效的检测。因此，研究一种能够准确和高效的灌封裂缝检测方法是非常有必要的。
发明内容
针对上述传统路面灌封裂缝检测方法存在的不足，本发明的主要目的在于，提供一种基于改进的Faster R-CNN模型的路面灌封裂缝检测方法。该方法能够实现对路面灌封裂缝数据的高效、准确的定位，为进一步研究路面自动检测提供参考。
为了达到上述目的，本发明采用如下的技术方案：
一种基于深度学习的路面灌封裂缝检测方法，包括如下步骤：
步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N；
步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；
步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；
步骤4：将待检测图像输入经步骤3训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。
进一步的，所述步骤1中的数据增广处理是指通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。
进一步的，所述步骤3中所构建的路面灌封裂缝检测模型为Faster R-CNN模型；
所述Faster R-CNN模型中，保证anchor变换面积256不变，将该面积区域变换成横纵比分别为1:1、1:2、1:4、1:6、1:8、1:10、10:1、8:1、6:1、4:1、2:1的11个区域；然后将这11个区域的横向尺寸、纵向尺寸分别按8倍、16倍和32倍进行扩充，共得到11×3＝33个anchor。
进一步的，当将训练集输入所构建的灌封裂缝检测模型中，对灌封裂缝检测模型训练时，将Faster R-CNN网络模型中的激活函数设置为Relu函数，优化器设置为带动量的SGD优化器，训练次数设置为70000次，学习率设置为0.001，当训练次数大于等于50000时，学习率自动衰减为0.0001。
与现有技术相比，本发明的方法具有以下优点：
1.本发明采用了使用深度学习方法对路面灌封裂缝进行检测，并达到0.8994的检测精度。
2.本发明通过对Faster R-CNN方法中的候选区域的比例进行改进，能够更加适合本发明所处理的路面灌封裂缝，大大提高了检测精度，且能够实现对灌封裂缝的精确定位。
附图说明
图1是损失函数loss随训练次数变化曲线图；
图2是待检测的灌封裂缝图像；
图3是采用传统的FasterRCNN模型对图像进行灌封路面检测的效果图；
图4是采用本发明中改进后的FasterRCNN模型对图像进行灌封路面检测的效果图。
以下结合具体实施方式和附图对本发明进一步解释说明。
具体实施方式
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例：
本实施例给出一种基于改进的Faster R-CNN模型的路面灌封裂缝检测方法，包括如下步骤：
步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N。
作为本发明的一种具体实施方式，路面图像的采集方式可以采用检测车采集或者智能手机拍摄。
本发明中，数据增广处理具体通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。
本实施例中，图像增广后得到的样本数据集中共7116幅路面图像。
步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框(ground truth)；将所有标注后的路面灌封裂缝图像放缩为统一尺寸800×600)，得到放缩后的图像，作为训练集；
在具体实施中，采用最小外接矩形对灌封裂缝进行标注，裂缝区域框即裂缝的最小外接矩形。
在采集路面灌封裂缝图像时，可能由于拍摄所采用的设备不统一造成图像的尺寸、规格不统一，此处统一尺寸，以得到准确的处理结果。
步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重。
在具体实施时，在训练过程中当灌封裂缝检测模型中的损失函数曲线趋于稳定，且损失函数的值不再下降，则完成裂缝分类检测模型的训练。
步骤3中所构建的路面灌封裂缝检测模型为Faster R-CNN模型；
所述Faster R-CNN模型中，保证anchor变换面积256不变，将该面积区域变换成横纵比分别为1:1、1:2、1:4、1:6、1:8、1:10、10:1、8:1、6:1、4:1、2:1的11个区域；然后将这11个区域的横向尺寸、纵向尺寸分别按8倍、16倍和32倍进行扩充，共得到11×3＝33个anchor。
在传统的Faster R-CNN模型中，通常是保证基础区域256的面积不变，分别将该横纵比为1:1的正方形区域变换成横纵比为1:1、1:2、2:1的区域，之后将这3个区域的横、纵分别按8倍、16倍和32倍扩充，最终得到的特征图上的每一像素点都能在步骤3中缩放后的图像上生成3×3＝9个候选框。而本发明设置上述11个横纵比进行处理的原因是因为灌封裂缝的形态多样化，传统方法生成候选框的处理方式对灌封裂缝的处理并不适用，经试验发现，采用上述11个横纵比进行变换，得到的检测结果更加准确。
当将训练集输入所构建的灌封裂缝检测模型中，对灌封裂缝检测模型训练时，将Faster R-CNN网络模型中的激活函数设置为Relu函数，优化器设置为带动量的SGD优化器，训练次数设置为70000次，学习率设置为0.001，当训练次数大于等于50000时，学习率自动衰减为0.0001。在训练过程中，当损失函数曲线趋于稳定，且损失函数的值不再下降，则完成裂缝分类检测网络的训练。如图2为一种实施例下灌封裂缝检测模型训练损失函数曲线，可见当训练到第70000次时，损失函数的值基本趋于稳定，说明网络训练完成。
步骤4：将待检测图像输入经步骤3训练后得到的Faster R-CNN模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。
如图2所示的采集的某一幅原始路面灌封裂缝图像，图3是采用传统的FasterRCNN模型进行灌封路面检测的效果图，图4是采用本发明的方法(即本发明改进后的FasterRCNN模型)对该图像进行灌封路面检测的效果图，可以明显看出，相较于传统方法模型，本方法得到的检测框能够对图像中所有路面灌封裂缝进行更加精准地标注。从而使得检测结果精确度明显提高。另外，参见表1所示，用平均检测精度(AP)对实施例的结果进行了定量评价。从表中结果可以看出，本发明的基于深度学习的路面灌封裂缝检测方法比为传统的AP结果有所提升。
表1灌封裂缝检测效果评价
方法 AP
传统FasterRCNN模型 0.8994
本发明中的FasterRCNN模型 0.9070

Claims (4)

1.一种基于深度学习的路面灌封裂缝检测方法，其特征在于，包括如下步骤：
步骤1：采集N幅路面灌封裂缝图像，对N幅路面灌封裂缝图像进行图像增广，得到M幅路面图像，M>N；
步骤2：对M幅路面图像进行图像标注，得到每一幅路面图像对应的裂缝区域框；将所有标注后的路面灌封裂缝图像放缩为统一尺寸，得到放缩后的图像，作为训练集；
步骤3：构建灌封裂缝检测模型，将训练集输入所构建的灌封裂缝检测模型中进行训练，得到灌封裂缝模型的最优权重；
步骤4：将待检测图像输入经步骤3训练后得到的灌封裂缝检测模型中，得到待检测图像中物体是灌封裂缝的置信度和检测框，将灌封裂缝置信度和检测框标注在待检测图像上。
2.如权利要求1所述的基于深度学习的路面灌封裂缝检测方法，其特征在于，所述步骤1中的数据增广处理是指通过图像镜像翻转、每隔45度进行角度旋转等方式进行数据增广。
3.如权利要求1所述的基于深度学习的路面灌封裂缝检测方法，其特征在于，所述步骤3中所构建的路面灌封裂缝检测模型为Faster R-CNN模型；
所述Faster R-CNN模型中，保证anchor变换面积256不变，将该面积区域变换成横纵比分别为1:1、1:2、1:4、1:6、1:8、1:10、10:1、8:1、6:1、4:1、2:1的11个区域；然后将这11个区域的横向尺寸、纵向尺寸分别按8倍、16倍和32倍进行扩充，共得到11×3＝33个anchor。
4.如权利要求3所述的基于深度学习的路面灌封裂缝检测方法，其特征在于，当将训练集输入所构建的灌封裂缝检测模型中，对灌封裂缝检测模型训练时，将Faster R-CNN网络模型中的激活函数设置为Relu函数，优化器设置为带动量的SGD优化器，训练次数设置为70000次，学习率设置为0.001，当训练次数大于等于50000时，学习率自动衰减为0.0001。
CN201910498481.6A 2019-06-10 2019-06-10 一种基于深度学习的路面灌封裂缝检测方法 Pending CN110348308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910498481.6A CN110348308A (zh) 2019-06-10 2019-06-10 一种基于深度学习的路面灌封裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910498481.6A CN110348308A (zh) 2019-06-10 2019-06-10 一种基于深度学习的路面灌封裂缝检测方法

Publications (1)

Publication Number Publication Date
CN110348308A true CN110348308A (zh) 2019-10-18

Family

ID=68181737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498481.6A Pending CN110348308A (zh) 2019-06-10 2019-06-10 一种基于深度学习的路面灌封裂缝检测方法

Country Status (1)

Country Link
CN (1) CN110348308A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009447A (zh) * 2021-03-05 2021-06-22 长安大学 基于深度学习和探地雷达的道路地下空洞检测预警方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN107610092A (zh) * 2017-08-01 2018-01-19 长安大学 基于视频流的路面裂缝动态检测方法
CN108765386A (zh) * 2018-05-16 2018-11-06 中铁科学技术开发公司 一种隧道裂缝检测方法、装置、电子设备及存储介质
CN109767423A (zh) * 2018-12-11 2019-05-17 西南交通大学 一种沥青路面图像的裂缝检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN107610092A (zh) * 2017-08-01 2018-01-19 长安大学 基于视频流的路面裂缝动态检测方法
CN108765386A (zh) * 2018-05-16 2018-11-06 中铁科学技术开发公司 一种隧道裂缝检测方法、装置、电子设备及存储介质
CN109767423A (zh) * 2018-12-11 2019-05-17 西南交通大学 一种沥青路面图像的裂缝检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAIGE ZHANG等: "Efficient Dense-Dilation Network for Pavement Cracks Detection with Large Input Image Size", 《2018 21ST INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *
黄玲娥: "基于神经网络的物品识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009447A (zh) * 2021-03-05 2021-06-22 长安大学 基于深度学习和探地雷达的道路地下空洞检测预警方法

Similar Documents

Publication Publication Date Title
CN108898085B (zh) 一种基于手机视频的道路病害智能检测方法
CN105547602B (zh) 一种地铁隧道管片渗漏水的远距离测量方法
CN111652853A (zh) 一种基于深度卷积神经网络的磁粉探伤检测方法
CN108287125A (zh) 一种基于图像处理的砂砾石材料级配快速分析系统及方法
CN114219773B (zh) 一种桥梁裂缝检测数据集预筛选与标定方法
CN111724358A (zh) 基于图像和卷积神经网络的混凝土质量检测方法及系统
CN109120230A (zh) 一种太阳能电池片el图像检测和缺陷识别方法
CN116597270B (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN110717900B (zh) 基于改进Canny边缘检测算法的受电弓磨耗检测方法
CN110276279A (zh) 一种基于图像分割的任意形状场景文本探测方法
CN107610092A (zh) 基于视频流的路面裂缝动态检测方法
CN117291913A (zh) 一种水工混凝土结构表观裂缝测量方法
CN115761439A (zh) 一种基于目标检测的锅炉内壁陷检测识别方法
CN115147646A (zh) 一种基于超分辨率重构和数据增强的园林工程小目标害虫检测方法
CN104881850B (zh) 一种多时相遥感影像的厚云自动去除方法
CN110348308A (zh) 一种基于深度学习的路面灌封裂缝检测方法
CN103617417A (zh) 植物自动识别方法和系统
CN111524061B (zh) 一种基于圆柱拟合的隧道附近点云去除方法
CN110059544B (zh) 一种基于道路场景的行人检测方法和系统
CN104239888A (zh) 一种基于水表表盘环形排布钢印字符定位方法
CN107146230A (zh) 基于k‑s距离合并代价的sar图像分割方法
WO2025054899A1 (zh) 一种基于视频图像的管道裂缝长度估计方法、介质及设备
CN110705568A (zh) 一种图像特征点提取的优化方法
CN107122783B (zh) 一种基于角点检测的装配连接件快速识别方法
CN115273009A (zh) 基于深度学习的道路裂纹检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018