CN113762021A - 一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法 - Google Patents

一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法 Download PDF

Info

Publication number
CN113762021A
CN113762021A CN202110130853.7A CN202110130853A CN113762021A CN 113762021 A CN113762021 A CN 113762021A CN 202110130853 A CN202110130853 A CN 202110130853A CN 113762021 A CN113762021 A CN 113762021A
Authority
CN
China
Prior art keywords
layer
model
output
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110130853.7A
Other languages
English (en)
Inventor
李刚
代玉
方忠圆
陈永强
兰栋超
李喜媛
张帅龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202110130853.7A priority Critical patent/CN113762021A/zh
Publication of CN113762021A publication Critical patent/CN113762021A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法。具体公开了适用于公路路面的道路裂缝检测系统，所述方法包括以下步骤：创建用于本模型进行道路裂缝检测的道路裂缝图像训练集和测试集；基于U‑net,Resnet,RNN和注意力引导机制，搭建新的检测模型；通过创建的的训练集对模型进行训练，选择最优的参数，在测试集上进行测试，输出最终裂缝图像；使用同样的数据集在目前效果最好的几个模型上进行测试，与本发明的模型进行对比。路面裂缝特征的提取采用了一种新型的多融合网络模型，用于获得复杂路面的裂缝特征。本发明使用基于深度学习的图像处理技术实现了公路路面裂缝的高精度和高效率的检测。

Description

一种基于循环神经网络和注意力引导机制的复杂路面裂缝检 测方法
技术领域
本发明涉及公路路面裂缝检测领域，尤其是涉及一种基于U-Net,循环网络和残差网络的自动化裂缝检测方法。
背景技术
公路网的基本构建推动了我国交通运输行业的快速发展，给人们的出行带来了极大的便利。于此相对的是对于安全隐患路段治理以及提高国省道安全性和抗灾能力和行车舒适性的要求也在提高。由于道路使用年限的不断增加，道路路面在各型重载车辆的长期碾压下受损，导致路面内部的结构层难以承担负荷，主要以路面损伤初期的裂缝形式显现。强化干线公路养护，加强公路安全隐患治理在现今公路网建设“保量增质”的大环境下主体作用显著增强。若能够在公路路面破损初期就对其进行道路养护工作，将大大减少工作量并减少相关费用。对于道路养护工作者来说，若能够在路面损伤初期就进行及时的路况检测可以有效提高预防性养护的水平。相反，由于路面养护的封闭维修模式而导致损伤处理不及时，风险评估不到位，在各种外在因素的影响下会进而引发损伤二次加剧，严重干扰正常的交通秩序，危害驾驶人的安全。目前，随着我国公路里程数与日俱增，道路养护任务量不断加大，传统的养护方式严重依赖一些专业的养护和检测设备，价格高且操作专业性强，导致相关任务完成难度大。相比之下，自动路面检测系统在设计和应用得当的情况下，能够快速、准确地完成任务，同时降低人为主观性因素产生的影响。因此，公路养护工作应该朝着更加智能化、高效化的方向发展。
在公路的养护任务中，关键的一步便是对路面裂缝的检测和识别。传统的人工检测方式完全依赖于检测人员个人的相关经验和知识背景，在在定量分析中缺乏客观性。基于数字图像处理技术以及边缘检测算法的裂缝检测方法虽然相对于人工检测可以在一定程度上提高检测效率，但其处理模式单一，且没有考虑到实际环境下的路面噪声情况，其检测准确性不高。并且在实际情况下混凝土路面具有光照强度不均匀、拓扑结构复杂、对比度低、纹理背景复杂、噪声干扰大等特点。
综上所述，设计高效、准确的公路路面裂缝检测系统，成为路面裂缝检测领域亟待攻克的技术难题。
发明内容
针对这些问题，对现有检测算法进行优化或提出更有效的裂缝检测算法是非常必要的。与此同时，现有的裂缝数据集多是图像质量较好、目标清晰、背景单一的裂缝图像，这就导致在此基础上开发的检测算法缺乏对复杂背景的适应性，其难以满足工程实际需求。因此，此论文主要对路面裂缝分割算法进行研究，同时建立真实环境下的路面裂缝数据集，包含各种复杂背景，为开发出更加自动化、智能化的路面裂缝自动灌缝机提供相关的技术支持。
为实现上述目的，本发明提供一下技术方案：
一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法，包括：
S1，采用以U-Net为骨架进行搭建的卷积神经网络，所述模型融合循环神经网络，残差网络和注意力引导机制，构成编码-解码结构。
S2，整个模型分为五层，除了第五层外，每层除了上层的输出作为输入外还有一个图像输入，对应输出一个分隔结果；
S3，采用任意大小尺寸的数据集可以对模型进行训练，所用数据集为使用专用软件进行标注后的图像集合；
S4，当模型第一层的输入图像尺寸确定以后，后面三层的输入图像尺寸会自动缩小为它的上一层尺寸的一半；
S5，最终模型的输出结果是第一层输出经过softmax函数激活后取对数。
进一步，步骤S3中采用任意大小尺寸的数据集可以对模型进行训练，包括如下步骤：
S31，第一层输入原始图像，经过循环卷积模块(编码块)得到第一特征图，第一层的注意力引导模块叠加两次第一特征图后的结果作为第一层解码模块的一部分输入；
S32，第二层输入是第一特征图叠加原始图像卷积后结果，输出通道为64，第二层注意力引导模块将第二特征图和第二层原始图像卷积结果进行叠加输出到第二层解码模块；
S33，第三层和第四层处理同S32，不同是输出通道变为上一层的2倍，其中，这些卷积模块的卷积核都为3x3；
S34,第五层输入第四特征图，经过循环残差模块的输出作为第四层解码模块的另一部分输入。
S35，每一层(除第五层)的解码模块都是循环残差模块加上卷积模块。每一层的输出图像都是这一层卷积后结果。同时这一结果也作为下一层的另一部分输入。
进一步，模型的输入图像尺寸可以是任意的，对于输入尺寸没有特定要求。除了第一层是原始大小外，第二，三，四层的输入图像尺寸大小为上一层的一半，这一操作通过卷积模块实现，卷积模块的卷积核为3x3的，输入通道都为3，输出通道分别64,128和256。
进一步，所述模型的每一层(除第五层)都有一个输出，其大小与该层输入图像大小相对应。每次运行模型会有五个输出结果，除了上述四层的输出外，还有这四层输出的平均值。这五个输出通过一系列运算用来计算损失，第一层的输出通过运算后最终用来进行模型输出。四层平均输出计算公式如下：
Figure BDA0002923338910000031
模型损失计算公式如下：
Figure BDA0002923338910000032
其中loss(out)表示根据out计算的损失，loss(side)表示根据每层输出计算的损失。
所述编码器模块用于对输入的特征图像进行下采样，使得特征图的长度和宽度缩小至指定大小。
所述解码器模块用于对输入的特征图进行转置卷积操作，使得特征图的长度和宽度放大至指定大小。
附图说明：
图1是本发明一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法流程图；
图2是本发明一实施例的网络模型流程图；
图3是本发明一实施例的网络模型输出结果图；
具体实施方式：
为使本发明的目的，技术方案和优点更加明确，下面结合附图对本发明作进一步的详细描述。
本发明实施例的实验环境为室外水泥路面，所选区域为常见公共室外区域。同时应考虑到不同天气对本实验的影响，本实验实施天气为晴天。
本实施例中使用可以进行GPU加速的英伟达显卡高算平台，通过Xshell进行访问控制。通过在平台搭建Pytorch环境进行实验。
参阅图1，本发明实施例提供一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法，包括如下步骤：
S1，创建用于本模型进行道路裂缝检测的道路裂缝图像训练集和测试集。
本发明实例中采用Crack500和自采集的裂缝图像作为数据集，其中Crack500数据集包括有500张不同的道路裂缝图像，图像大小为2000x1500，每张图片都有像素级别的标签标注，经过裁剪后图像大小为640x360。自采集数据集使用无人机进行拍摄，截取后得到共3000张裂缝图像，图像大小为4608x3456，通过裁剪后大小为512x512。使用Labelme软件进行像素级标注。
S2，基于U-net,Resnet,RNN和注意力引导机制，搭建新的检测模型。
本发明所使用模型以U-net为骨架基础，融合残差网络，循环神经网络和注意力引导机制，构建一个新的神经网络模型。具体的网络模型图请参阅图2。
新的网络模型需要重新进行各项参数的优化选取，参考以前工作者的经验可以确定一部分参数，其余的则需要通过实验来选取。
通过实验，本模型最终确定网络学习率为0.00025，编码块卷积层数为3层，解码块卷积层数为4层，批量标准化的方法为组标准化。同时本发明采用Adam优化器进行模型优化，使用Relu函数作为每层的激活函数。最终模型的损失函数为：
Figure BDA0002923338910000041
其中N是像素值，K是类别种类，wk表示种类权重,p(k，i)和g(k，i)分别表示类别的预测概率和类别K的真实标签。
本发明实例中神经网络模型通过改进的注意力引导机制作为跳过连接结构连接编码器块和解码器块，该结构可以更好的进行信息传递，尤其是对于边缘结构信息有更好的传输效果，极大的避免了因结构信息丢失导致的效果差的问题。
本发明实例使用的深度学习库为Pytorch，利用该学习库，通过在训练集和数据集上对模型进行实验，可以确定模型的各项最优参数。
S3，通过创建的的训练集对模型进行训练，选择最优的参数，在测试集上进行测试，输出最终裂缝图像。
在训练中，神经网络的卷积层采用ReLU为激活函数，分层特征提取后，最后一层使用sigmod函数作为激活函数进行输出，每层的损失函数为：
Figure BDA0002923338910000051
其中αm是每个侧面输出层的损耗函数融合权重,在本发明中，它的值取为0.25，M是侧边输出数，本发明中值为4，
Figure BDA0002923338910000052
为第m侧边的输出损失。
S4,使用同样的数据集在目前效果最好的几个模型上进行测试，与本发明的模型进行对比。不同模型在同样数据集上的表现是不同的，各个模型的结果参阅图3。神经网络的结构变化是多种多样的，不同的参数对模型的影响也是很大的，更好更快的对裂缝图像进行分割识别是本发明的一大优点。从结果中也可以看到其他模型与本发明模型之间的差距。
以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作为若干变形和改动，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法，其特征在于，包括以下步骤：
S1，采用以U-Net为骨架进行搭建的卷积神经网络，所述模型结合循环神经网络，残差网络和注意力引导机制，构成编码-解码结构；
S2，整个模型分为五层，除了第五层外，每层除了上层的输出作为输入外还有一个图像输入，每层分别对应输出一个图像分割结果；
S3，采用任意大小尺寸的图像裂缝数据集可以对模型进行训练和测试，所用数据集为使用Labelme进行标注后的图像集合；
S4，当模型第一层的输入图像尺寸确定以后，后面三层的输入图像尺寸会自动缩小为它的上一层尺寸的一半；
S5，最终模型的输出结果结合四层输出经过softmax函数激活后取对数得到；
S6，模型所用的跳过连接使用注意力引导机制，注意引导模块可以通过融合不同分辨率的结构信息来恢复空间信息。
2.根据权利要求1所述的一种复杂路面裂缝检测方法，其特征在于，步骤S3中，采用标定数据集对所述神经网络模型进行训练，包括如下步骤：
S31，第一层输入原始图像，经过循环卷积模块(编码块)得到第一特征图，第一层的注意力引导模块叠加两次第一特征图后的结果作为第一层解码模块的一部分输入；
S32，第二层输入是第一特征图叠加原始图像卷积后结果，输出通道为64，第二层注意力引导模块将第二特征图和第二层原始图像卷积结果进行叠加输出到第二层解码模块；
S33，第三层和第四层处理同S32，不同是输出通道变为上一层的2倍，其中，这些卷积模块的卷积核都为3x3；
S34,第五层输入第四特征图，经过循环残差模块的输出作为第四层解码模块的另一部分输入；
S35，每一层(除第五层)的解码模块都是循环残差模块加上卷积模块。每一层的输出图像都是这一层卷积后结果。同时这一结果也作为下一层的另一部分输入。
3.根据权利要求1所述的一种复杂路面裂缝检测方法，其特征在于输入的图像尺寸可以是任意的，对于输入尺寸没有特定要求。除了第一层是原始大小外，第二，三，四层的输入图像尺寸大小为上一层的一半，这一操作通过卷积模块实现，卷积模块的卷积核为3x3的，输入通道都为3，输出通道分别64,128和256。
4.根据权利要求1所述的一种复杂路面裂缝检测方法，其特征在于每一层(除第五层)都有一个输出，其大小与该层输入图像大小相对应；每次运行模型会有五个输出结果，除了上述四层的输出外，还有这四层输出的平均值。这五个输出通过一系列运算用来计算损失，第一层的输出通过运算后最终用来进行模型输出。四层平均输出计算公式如下：
Figure FDA0002923338900000021
模型损失计算公式如下：
Figure FDA0002923338900000022
其中loss(out)表示根据out计算的损失，loss(side)表示根据每层输出计算的损失。
5.根据权利要求4所述的一种复杂路面裂缝检测方法，其特征在于在计算损失时加入扰动EPS，扰动值为1e-12。
6.根据权利要求6所述注意力引导机制，其特征在于通过对不同分辨率的特征图进行融合。其输入分别是引导特征图和过滤特征图，输出是高分辨率的特征图。
7.根据权利要求2所述的采用标定数据集对所述神经网络模型进行训练，其特征在于模型采用全局标准化的方式，深度学习训练策略是模型所用损失函数使用最大似然函数，激活函数使用softmax函数，使用Adam算法进行优化。
CN202110130853.7A 2021-01-30 2021-01-30 一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法 Pending CN113762021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110130853.7A CN113762021A (zh) 2021-01-30 2021-01-30 一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110130853.7A CN113762021A (zh) 2021-01-30 2021-01-30 一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法

Publications (1)

Publication Number Publication Date
CN113762021A true CN113762021A (zh) 2021-12-07

Family

ID=78786516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110130853.7A Pending CN113762021A (zh) 2021-01-30 2021-01-30 一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法

Country Status (1)

Country Link
CN (1) CN113762021A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147439A (zh) * 2022-07-11 2022-10-04 南京工业大学 基于深度学习与注意力机制的混凝土裂缝分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147439A (zh) * 2022-07-11 2022-10-04 南京工业大学 基于深度学习与注意力机制的混凝土裂缝分割方法及系统
CN115147439B (zh) * 2022-07-11 2023-12-29 南京工业大学 基于深度学习与注意力机制的混凝土裂缝分割方法及系统

Similar Documents

Publication Publication Date Title
CN109190481B (zh) 一种遥感影像道路材质提取方法和系统
CN110415516B (zh) 基于图卷积神经网络的城市交通流预测方法及介质
Ma et al. A real-time crack detection algorithm for pavement based on CNN with multiple feature layers
CN110705457A (zh) 一种遥感影像建筑物变化检测方法
CN111241994B (zh) 一种深度学习的遥感影像农村公路砂化路段的提取方法
CN111127449A (zh) 一种基于编码器-解码器的自动化裂缝检测方法
CN109657614B (zh) 航拍道路交通事故现场勘查中道路自动识别方法
CN114677507A (zh) 一种基于双向注意力网络的街景图像分割方法及系统
CN111179244A (zh) 一种基于空洞卷积的自动化裂缝检测方法
CN114596316A (zh) 一种基于语义分割的道路图像细节抓取方法
CN116227362A (zh) 一种基于图与深度学习的市政排水管网状态预测方法
CN116246169A (zh) 基于SAH-Unet的高分辨率遥感影像不透水面提取方法
CN113538385B (zh) 基于深度学习的隧道表观病害类型及等级判别方法
CN113762021A (zh) 一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法
CN114612803A (zh) 一种改进CenterNet的输电线路绝缘子缺陷检测方法
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
Wang et al. Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation
CN113744185A (zh) 一种基于深度学习和图像处理的混凝土表观裂缝分割方法
Aslan et al. Using artifical intelligence for automating pavement condition assessment
CN113762247A (zh) 一种基于显著实例分割算法的道路裂缝自动检测方法
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN115170783A (zh) 一种使用街景图像的快速公路路面裂缝检测方法
CN111738324B (zh) 一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法
CN115294774A (zh) 基于深度学习的非机动车道路违停检测方法及装置
CN111091061B (zh) 一种基于视频分析的车辆刮蹭检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication