CN111179244B - 一种基于空洞卷积的自动化裂缝检测方法 - Google Patents

一种基于空洞卷积的自动化裂缝检测方法 Download PDF

Info

Publication number
CN111179244B
CN111179244B CN201911372909.9A CN201911372909A CN111179244B CN 111179244 B CN111179244 B CN 111179244B CN 201911372909 A CN201911372909 A CN 201911372909A CN 111179244 B CN111179244 B CN 111179244B
Authority
CN
China
Prior art keywords
neural network
deep
training
crack
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911372909.9A
Other languages
English (en)
Other versions
CN111179244A (zh
Inventor
范衠
陈颖
李冲
卞新超
崔岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN201911372909.9A priority Critical patent/CN111179244B/zh
Publication of CN111179244A publication Critical patent/CN111179244A/zh
Application granted granted Critical
Publication of CN111179244B publication Critical patent/CN111179244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于空洞卷积的自动化裂缝检测方法，所述方法包括：用相机拍摄道路图像，创建道路裂缝图像的训练集和测试集；创建包含编码器、解码器、空洞卷积模块和跳跃连接结构的深度卷积神经网络；利用创建好的训练集训练深度卷积神经网络；利用测试集对训练好的深度卷积神经网络模型测试，并输出裂缝图像。本发明方法具有检测过程简单，检测效率高，劳动强度低，便于携带，可操作性强等优点。

Description

一种基于空洞卷积的自动化裂缝检测方法
技术领域
本发明涉及结构健康检测与评估领域，尤其是涉及一种基于空洞卷积的多尺度分层特征提取的自动化道路、桥梁的裂缝检测方法。
背景技术
随着中国经济的快速发展，中国公路网的普及和建设得到了迅速发展，路面的完好率和平整度是确保行车车辆在高速路上行驶的重要因素。裂缝是道路受损的重要标志，如果路面出现凹凸不平和裂缝等情况，会严重影响道路的寿命以及驾驶人的安全，需要定期的对其健康状况做出评估，因此对道路和桥梁裂缝进行检测有着至关重要的作用。
目前，道路桥梁的裂缝检测方法主要是基于传统的图像处理算法和人眼识别。单单依靠人眼进行裂缝检测与识别，效率不高。采用图像处理方法，主要是针对同一材质和纹理背景图像进行裂缝检测，无法对彩色图像直接进行裂缝检测。基于深度学习框架的道路裂缝检测可以实现对彩色图像的裂缝检测处理，可以实现端到端的图像处理，无需卷积神经网路的滑块处理。因此，基于深度学习框架的道路裂缝检测方法，可以实现道路裂缝的自动化检测。因此，如何提高路面裂缝检测的监测效率和效果，是路面裂缝检测领域需要攻克的技术难题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于空洞卷积的自动化裂缝检测方法。可可解决人眼观察和图像处理裂缝检测中定位精度不高，误差大等问题。
为了解决上述技术问题，本发明实施例提供了一种基于空洞卷积的自动化裂缝检测方法，该方法具体包括以下步骤：
S1、用相机拍摄道路图像，创建道路裂缝图像的训练集和测试集；
S2、创建包含编码器、解码器、空洞卷积模块和跳跃连接结构的深度卷积神经网络；
S3、利用创建好的训练集训练深度卷积神经网络；
S4、利用测试集对训练好的深度卷积神经网络模型测试，并输出裂缝图像。
进一步地，所述步骤S1具体包括：
S11、利用自己所有的智能终端拍摄裂缝图像，或者利用公共的裂缝图像数据集CFD和AigleRN以及其它的裂缝图像数据集，将裂缝图像分为训练集和测试集；
S12、将所采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，扩充数据集，将扩充后的裂缝图像库中的裂缝图像的裂缝区域实施人工标签标注，然后将裂缝图像库中的图像分为训练集和测试集。
更进一步地，所述步骤S2具体包括：
S21、搭建深度神经网络结构模型：确定所述深度卷积神经网络卷中编码器和解码器层个数，以及每个部分卷积层所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、反卷积层的层数和每个反卷积层所含有的特征图数量，跳跃连接的连接方式以及空洞卷积模块中空洞比率的大小；
S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、以及激活函数的Relu，同时，在损失代价函数中加入权值衰减正则化项，在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法SGD；
S23、所述深度卷积神经网络中编码器与解码器通过跳跃连接实现连接；
S24、所述深度卷积神经网络中，输入图像与编码器部分，以及各个编码器之间通过跳跃连接来实现连接，可以实现图像信息的传递；
S25、所述深度卷积神经网络中空洞卷积模块中，其输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块是由不同空洞率的卷积层组成的，其输出是通过不同空洞率卷积得到的特征图叠加融合得到的；
S26、所述深度卷积神经网络中使用深度学习库包：Caffe、Tensorflow、PyTorch实现以上所述深度神经网络结构，根据划分好的训练集和测试集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。
更进一步地，所述步骤S3具体包括：
S31、根据所述步骤S21、S22、S23、S24、S25和S26，利用训练集训练深度卷积神经网络，通过后向传播不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端训练。
更进一步地，所述步骤S4具体包括：
S41、根据所述步骤S31，利用测试集对训练好的的神经网络模型进行测试；
S42、对神经网络模型的输出值进行归一化，输出裂缝图像的概率图。
实施本发明实施例，具有如下有益效果：本发明方法具有检测过程简单，检测效率高，劳动强度低，便于携带，可操作性强等优点.
附图说明
图1是本发明一种基于空洞卷积的自动化裂缝检测方法的流程图；
图2是本发明一实施例的深度卷积神经网络模型流程图；
图3是本发明一实施例的深度卷积神经网络输出结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
本发明实施例的实验环境为某实验楼、墙壁以及某条公路中的路面，均为室外环境。在本实施例中，裂缝图像的选取为室外环境的公开区域。
本实施例中使用含有Nvidia显卡的PC。所采用的实施方法为Ubuntu方法，并搭建Tensorflow方法平台，采用Tensorflow中的开源软件库。
请参阅图1，本发明实施例提供的一种基于空洞卷积的自动化裂缝检测方法，包括如下步骤：
S1、用相机拍摄道路图像，创建道路裂缝图像的训练集和测试集。
本发明实例中采用公共的数据集CFD，此公共的数据集含有118张原始彩色图像和118张标签数据图像，将数据集划分为训练集合测试集，其中训练集中，每份含有100张原始彩色图像和相对应的100张标签数据图像，测试集中含有18张原始彩色图像和相对应的18张标签数据图像。
同时，为了扩充图像数据量，对CFD数据集中的裂缝图像进行数据增强，本发明实例中对已分好的每份数据中的原始彩色图像和标签数据图像进行旋转、剪切来增加裂缝图像的数量。
S2、创建包含编码器、解码器、空洞卷积模块和跳跃连接结构的深度卷积神经网络。
本发明实施例中所采用的深度卷积神经网络模型基础为U－net模型，对此网络模型进行改进。本发明实施例所使用的深度卷积神经网络模型流程图请参阅图2。
该深度神经网络模型结构建立包括确定所述深度卷积神经网络卷中编码器和解码器层个数，以及每个部分卷积层所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、反卷积层的层数和每个反卷积层所含有的特征图数量，跳跃连接的连接方式以及空洞卷积模块中空洞比率的大小。
选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、以及激活函数的Relu，同时，在损失代价函数中加入权值衰减正则化项，在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法SGD
本发明实施例中深度神经网络大模型中的卷积层所采用的激活函数为ReLU，最后一层输出中采用sigmoid激活函数来输出logit，本发明实施例使用的损失函数公式为：
Figure BDA0002335419200000041
其中α和β是超参数，yi是标签数据的真实值，
Figure BDA0002335419200000042
是原始图像经过深度网络的预测值。同时本发明实施例使用Adam优化算法进行优化，学习率为0.001，来最小化损失函数。
本发明实施例中深度卷积神经网络中U－net结构中的编码器部分与解码器部分通过条约来接实现相连，该跳跃连接功能可以实现将图像的质地信息传送给解码器，避免了因池化层或者下采样导致图像特征丢失。
同时，深度卷积神经网络中，输入图像与编码器部分，以及各个编码器之间通过跳跃连接来实现连接，可以实现图像信息的传递，这样可以保证输入图像在经过一系列卷积和池化后，通过来自跳跃连接输入仍然能保持输入图像原有的特征信息，避免图像质地信息的丢失。
本发明实例中所使用的深度神经网络的深度学习库为TensorFlow，利用该深度学习库，根据划分好的训练集和验证集来进行交叉验证，通过不断的减少损失函数来学习深度神经网络的参数，确定深度神经网络大模型中参数的值。
在本发明深度卷积神经网络中空洞卷积模块中，期输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块输出是通过不同空洞率卷积得到的特征图叠加融合得到的。
深度卷积神经网络中使用深度学习的库包括Caffe、Tensorflow实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。
S3、利用创建好的训练集训练深度卷积神经网络。
利用训练集训练深度卷积神经网络，通过后向传播不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端训练。
S4、利用测试集对训练好的深度卷积神经网络模型测试，并输出裂缝图像。
利用测试集对训练好的的神经网络模型进行测试，然后对神经网络模型的输出值进行归一化，输出裂缝图像的概率图，请参阅图3。
以上该实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (1)

1.一种基于空洞卷积的自动化裂缝检测方法，其特征在于，包括以下步骤：
S1、创建道路裂缝图像的训练集和测试集，使用相机拍摄裂缝图像，或者利用公共的裂缝图像数据集，将所得裂缝图像分为训练集和测试集；将所采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，扩充数据集，将扩充后的裂缝图像库中的裂缝图像的裂缝区域实施人工标签标注，然后将裂缝图像库中的图像分为训练集和测试集；
S2、创建包含编码器、解码器、空洞卷积模块和跳跃连接结构的深度卷积神经网络，通过以下步骤进行：
S21、搭建深度神经网络结构模型：确定所述深度卷积神经网络卷中编码器和解码器层个数，以及每个部分卷积层所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、反卷积层的层数和每个反卷积层所含有的特征图数量，跳跃连接的连接方式以及空洞卷积模块中空洞比率的大小；
S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、以及激活函数Relu，同时，在损失代价函数中加入权值衰减正则化项，在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法SGD；
S23、所述深度卷积神经网络中编码器与解码器通过跳跃连接实现连接；
S24、所述深度卷积神经网络中，输入图像与编码器部分，以及各个编码器之间通过跳跃连接来实现连接，实现图像信息的传递；
S25、所述深度卷积神经网络中空洞卷积模块中，其输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块是由不同空洞率的卷积层组成的，其输出是通过不同空洞率卷积得到的特征图叠加融合得到的；
S26、所述深度卷积神经网络中使用深度学习库包Caffe 、Tensorflow、PyTorch之一实现以上所述深度神经网络结构，根据划分好的训练集和测试集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值；
S3、利用创建好的训练集训练深度卷积神经网络，根据所述步骤S21、S22、S23、S24、S25和S26，利用训练集训练深度卷积神经网络，通过后向传播不断优化神经网络的参数，降低损失函数的值，使网络达到最优，实现端到端训练；
S4、根据所述步骤S31，利用测试集对训练好的神经网络模型进行测试，对神经网络模型的输出值进行归一化，输出裂缝图像的概率图。
CN201911372909.9A 2019-12-25 2019-12-25 一种基于空洞卷积的自动化裂缝检测方法 Active CN111179244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911372909.9A CN111179244B (zh) 2019-12-25 2019-12-25 一种基于空洞卷积的自动化裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911372909.9A CN111179244B (zh) 2019-12-25 2019-12-25 一种基于空洞卷积的自动化裂缝检测方法

Publications (2)

Publication Number Publication Date
CN111179244A CN111179244A (zh) 2020-05-19
CN111179244B true CN111179244B (zh) 2023-04-14

Family

ID=70655779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911372909.9A Active CN111179244B (zh) 2019-12-25 2019-12-25 一种基于空洞卷积的自动化裂缝检测方法

Country Status (1)

Country Link
CN (1) CN111179244B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666842B (zh) * 2020-05-25 2022-08-26 东华大学 一种基于双流空洞卷积神经元网络的阴影检测方法
CN111721770A (zh) * 2020-06-12 2020-09-29 汕头大学 一种基于分频卷积的自动化裂缝检测方法
CN111738324B (zh) * 2020-06-12 2023-08-22 汕头大学 一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法
CN112734734A (zh) * 2021-01-13 2021-04-30 北京联合大学 一种基于改进残差网络的铁路隧道裂缝检测方法
US20220222914A1 (en) * 2021-01-14 2022-07-14 Tata Consultancy Services Limited System and method for attention-based surface crack segmentation
CN112949783B (zh) * 2021-04-29 2023-09-26 南京信息工程大学滨江学院 一种基于改进U-Net神经网络的道路裂缝检测方法
CN113255569B (zh) * 2021-06-15 2021-10-01 成都考拉悠然科技有限公司 一种基于图空洞卷积编码器解码器的3d姿态估计方法
CN113506281B (zh) * 2021-07-23 2024-02-27 西北工业大学 一种基于深度学习框架的桥梁裂缝检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087305A (zh) * 2018-06-26 2018-12-25 汕头大学 一种基于深度卷积神经网络的裂缝图像分割方法
CN109816636A (zh) * 2018-12-28 2019-05-28 汕头大学 一种基于智能终端的裂缝检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087305A (zh) * 2018-06-26 2018-12-25 汕头大学 一种基于深度卷积神经网络的裂缝图像分割方法
CN109816636A (zh) * 2018-12-28 2019-05-28 汕头大学 一种基于智能终端的裂缝检测方法

Also Published As

Publication number Publication date
CN111179244A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111179244B (zh) 一种基于空洞卷积的自动化裂缝检测方法
CN111127449B (zh) 一种基于编码器-解码器的自动化裂缝检测方法
Ma et al. A real-time crack detection algorithm for pavement based on CNN with multiple feature layers
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN112613375B (zh) 一种轮胎受损检测识别方法和设备
CN107247952B (zh) 基于深层监督的循环卷积神经网络的视觉显著性检测方法
CN109919073B (zh) 一种具有光照鲁棒性的行人再识别方法
CN115713715B (zh) 一种基于深度学习的人体行为识别方法及识别系统
CN106372630A (zh) 一种基于深度学习的人脸方向检测方法
CN111199539A (zh) 一种基于集成神经网络的裂缝检测方法
CN115578693A (zh) 一种基于显著性神经网络模型的施工安全预警方法和装置
CN113537070A (zh) 一种检测方法、装置、电子设备及存储介质
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN111721770A (zh) 一种基于分频卷积的自动化裂缝检测方法
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN113378668A (zh) 积水类别的确定方法、装置、设备及存储介质
CN117576073A (zh) 一种基于改进YOLOv8模型的道路缺陷检测方法、装置和介质
CN112597996A (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN111738324B (zh) 一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法
CN111079811A (zh) 一种针对多标签分类数据不均衡问题的采样方法
CN116468994A (zh) 一种基于街景数据的村镇收缩模拟方法、系统和装置
CN116630683A (zh) 一种基于扩散的自适应特征提取的道路损伤检测方法
CN114581780A (zh) 一种改进U-Net网络结构的隧道表面裂缝检测方法
CN115272853A (zh) 基于人工智能技术与大数据的工业废弃地识别方法及产品
CN115170783A (zh) 一种使用街景图像的快速公路路面裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant