CN112348770B - 一种基于多分辨率卷积网络的桥梁裂缝检测方法 - Google Patents

一种基于多分辨率卷积网络的桥梁裂缝检测方法 Download PDF

Info

Publication number
CN112348770B
CN112348770B CN202010938286.3A CN202010938286A CN112348770B CN 112348770 B CN112348770 B CN 112348770B CN 202010938286 A CN202010938286 A CN 202010938286A CN 112348770 B CN112348770 B CN 112348770B
Authority
CN
China
Prior art keywords
resolution
convolution
bridge crack
crack
bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010938286.3A
Other languages
English (en)
Other versions
CN112348770A (zh
Inventor
李良福
武彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202010938286.3A priority Critical patent/CN112348770B/zh
Publication of CN112348770A publication Critical patent/CN112348770A/zh
Application granted granted Critical
Publication of CN112348770B publication Critical patent/CN112348770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像目标检测技术领域，具体涉及一种基于多分辨率卷积网络的桥梁裂缝检测方法，包括步骤一、构建桥梁裂缝数据集；步骤二、对训练样本进行标注和分类；步骤三、搭建基于HRNet模型改进后的HRBCS桥梁裂缝语义分割模型；步骤四、对步骤三搭建的语义分割模型进行训练；步骤五、对步骤四训练后的语义分割模型进行测试；步骤六：实际检测。本方法相较于现有技术空间精确度有了极大的提升，能够得到高分辨率的分割结果，对于细小裂缝和复杂裂缝的分割有了巨大改进，可以检测出不同种类的裂缝，并将其分类，且能够生成的高质量桥梁裂缝分割掩膜，从而根据不同类型裂缝评价对桥梁的危害程度，制定相对应的维护方案。

Description

一种基于多分辨率卷积网络的桥梁裂缝检测方法
技术领域
本发明属于图像目标检测技术领域，具体涉及一种基于多分辨率卷积网络的桥梁裂缝检测方法。
背景技术
桥梁作为连接两跨度较大位置点的重要载体，为我国的道路运输发挥着重要的作用。但是桥梁在经过长期的日晒雨淋和负载作业中，所产生的内部应力也会沿着桥梁结构传递到一些薄弱部位，致使该位置结构表面易存在裂缝的产生和发展，而不同走向的表面裂缝对桥梁结构的危害程度也有所不同，若表面裂缝的延伸走向与结构承载面相垂直时，易引发不安全事故。
经工程实践和理论分析表明，大部分在役桥梁都是带裂缝工作的，而桥梁裂缝带来的潜在危害不容小觑。一旦混凝土桥梁出现较为严重的裂缝，外界空气和有害介质会很容易渗透到混凝土内部经过化学反应产生碳酸盐，造成其中钢筋的碱度环境降低，表面的纯化膜遭受破坏后更易产生锈蚀，此外，混凝土碳化也会加剧收缩开裂，对混凝土桥梁的安全使用产生严重危害。作为桥梁建设中最常见的病害特征，极为细小的裂缝(小于0.05mm)一般对结构性能影响不大，可以允许其存在；而较大裂缝则可能在荷载或外界物理、化学因素的作用下，会不断产生并扩展，形成贯穿缝、深缝，间接甚至直接影响梁体结构的使用寿命和安全性能；若裂缝宽度达到0.3mm以上，则会直接破坏结构的整体性，引起混凝土碳化、保护层剥落和钢筋腐蚀，在桥梁内部形成力学间断面，使桥梁承载能力大为降低，严重时甚至发生垮塌事故，危害结构的正常使用。
因此，若能在裂缝出现的初期就能发现，并做出相关的安全系数估计，以便在危险形成的初期对其进行维护。近年来，随着计算机图像技术的飞速发展为实现桥面裂缝的智能检测提供了巨大的帮助。传统的检测算法一般采用图像处理的方法。早期效果较好的方法是由Ikhlas Abdel-Qader等于2006年提出的利用Sobel算子和傅里叶变换的算法。近年来，也有学者一直在做传统图像方法对于解决桥梁裂缝检测相关的研究，Bu G P,Chanda S等于2015年提出了一种采用基于小波的图像特征以及支持向量机(SVM)来自动检测桥梁图像中的裂缝的方法，该方法分为两阶段方法，在第一阶段中，决定是否应对图像进行预处理(取决于图像特性)；在第二阶段，从图像中提取小波特征。Li等于2019年提出一种基于Bilateral-Frangi滤波的裂缝检测算法，可以更好的抑制噪声的干扰。He等于2020年提出了基于海森矩阵旋转矢量不变性的滤波去噪和局部区域裂缝走势生长方向连接的联合提取裂缝算法。各种运用图像处理中滤波的方法层出不穷，但是由于传统的图像方法往往仅能处理简单的裂缝类型，对于复杂背景或特征不明显的细小裂缝，均不能有效的进行检测，所以有一些研究者提出了将深度学习算法应用于桥梁裂缝检测领域。Zhang等于2016年在进行裂缝检测时运用了深度卷积神经网络，通过计算图像的块中心点为裂缝像素的概率，从而得到整幅图像中各像素为裂缝像素的概率。Fu-Chen Chen等于2018年提出可以定位细小裂缝的方法通过使用卷积神经网络和朴素贝叶斯数据融合的NB-CNN网络进行裂缝检测，但是并不能对裂缝实现有效地提取；ZHU等也于2019年提出了一种采用U-Net卷积网络的像素级语义分割算法用于桥梁裂缝检测，然而该方法仅对较为明显的单根粗大型裂缝检测效果较好，并不能有效的检测细小裂缝以及复杂的网状裂缝。
深度学习方法近些年在其他领域表现出了优异的性能，但是经典的深度学习模型直接应用于桥梁裂缝检测却存在着诸多问题，如训练周期长、无法直接实现端到端的输出以及空间精准度低等。在桥梁裂缝的分类与分割领域，经典的深度学习算法大多是使用先降低分辨率，然后再提升分辨率的方法，如U-Net，SegNet，DeconvNet等。然而对于桥梁裂缝检测工作来说，经典的分割模型得到的特征图分辨率较低，损失了空间结构信息，导致最终的结果空间精度偏低。
有鉴于此，本发明人经过大量实验探索研究后提供一种基于多分辨率卷积网络的桥梁裂缝检测方法，以解决上述问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种基于多分辨率卷积网络的桥梁裂缝检测方法，该方法通过对HRNet模型进行改进添加了不同种类的分类分支，不仅可以完成桥梁裂缝的分类，而且能够生成高质量分割掩膜来表示不同类型的裂缝，兼具了检测与分类的效果；另外通过用空洞卷积替换普通卷积，解决了全局感受野不足的问题，从而提升了检测结果的空间精度。
本发明要解决的技术问题通过以下技术方案实现：本发明提供了一种一种基于多分辨率卷积网络的桥梁裂缝检测方法，包括以下步骤：
步骤一、构建桥梁裂缝数据集
1)将采集的桥梁裂缝图像样本通过几何和线性变换进行数据集扩增；
2)使用多尺度图像增强算法提升扩增后桥梁裂缝图像数据集的裂缝特征；
3)将提升裂缝后的数据集划分为训练集、测试集和验证集；
步骤二、对训练样本进行标注和分类
对步骤一划分的训练集样本进行标注和分类；
步骤三、搭建基于HRNet模型改进后的HRBCS桥梁裂缝语义分割模型
1)用空洞卷积代替普通的步长为2的卷积；
2)用瓶颈模块代替普通的残差模块；
3)添加预测像素类别的语义分割分支；
步骤四、对步骤三搭建的语义分割模型进行训练
用步骤二中标注后的训练样本训练步骤三搭建好的HRBCS桥梁裂缝语义分割模型；
步骤五、对步骤四训练后的语义分割模型进行测试
训练完成后，用步骤一中的测试集样本测试训练完成后的HRBCS的桥梁裂缝语义分割模型，用于验证HRBCS语义分割模型的鲁棒性；
步骤六、实际检测
将待识别的桥梁裂缝图像输入到经测试后的HRBCS桥梁裂缝语义分割模型中，判别该图像中的裂缝类型，并将裂缝进行语义分割。
进一步地，所述步骤二使用labelme图像标注软件对训练集样本进行标注，并以JSON文件存储标注信息；另外在对训练集标注时进行概率为0.5的随机擦除，以防止过拟合。
进一步地，所述步骤二将训练集样本进行以下分类：
(1)单根细小裂缝：宽度小于10mm；
(2)单根粗壮裂缝：宽度大于等于10mm；
(3)交叉裂缝：几条单根细小裂缝和/或单根粗壮裂缝随机组合；
(4)网状裂缝：形状不规则的块状裂缝，裂缝之间相连，长边长度一般小于3m而短边长度大于40cm。
进一步地，所述步骤三中1)空洞卷积是具有一个因子的卷积层，用于扩展滤波器的视野，具体为：
首先根据扩张率对卷积滤波器进行扩张，选择扩张率为2；
然后用零填充空白空间，创建稀疏的类似滤波器，得到一个5x5的稀疏卷积核；
最后使用扩张的滤波器进行卷积运算，使其能够覆盖5x5的区域。
进一步地，所述步骤三中2)瓶颈模块包括三个堆叠的卷积层部分，具体为：
首先用1x1的卷积操作将通道数由256维降低到64维，接着连接BN层和ReLU层；
然后连接3x3的卷积层进行特征提取，使得中间的3x3的卷积可以在一个密度相对较低的特征向量上进行操作，之后再次连接BN层和ReLU层；
最后再次连接1x1卷积层以恢复维度。
进一步地，所述步骤三中3)预测像素类别的语义分割分支需要用到多种分辨率特征图的共同输出，具体为：
首先将HRNet模型得到的不同分辨率的特征图采用双线性插值的方法上采样到高分辨率，来增强高分辨率的表示；
接着通过连接操作得到多通道的高分辨率特征图；
最后采用两层1*1卷积层，卷积核个数分别为720和5来得到最终的分割结果。
进一步地，所述HRBCS桥梁裂缝语义分割模型具体搭建包括以下五个阶段：
第1阶段：首先通过使用两次空洞卷积操作，从而使得图像的高(H)和宽(W)变为H/4与W/4的大小，接着使用四个瓶颈模块初步提取图像特征并将通道数变为256，随后得到的输出(大小为[H/4，W/4，256])被输入到下一阶段中；
第2阶段：首先接收到了第一个阶段输入的高分辨率分支(大小为[H/4，W/4，256])，其次通过使用步长为2的3x3卷积层产生一个较低分辨率分支(大小为[H/4，W/4，256])，接着每一个分支分别利用4个瓶颈模块进行特征提取，最后进行重复的多尺度融合得到最后的输出，并将得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64])被输入到下一阶段中；
第3阶段：首先是接收第2个阶段输入的特征图，接着在第2个阶段的基础上通过使用步长为2的3x3卷积再产生一个较低分辨率的分支，每一个分支依然是分别利用4个瓶颈模块进行特征提取，最后进行重复多尺度的融合得到最后的输出，随后将得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64]，[H/16，W/16，128])被输入下一阶段中；
第4阶段：阶段4中的操作与第2阶段和第3阶段相似，得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64]，[H/16，W/16，128]，[H/32，W/32，256])并输入下一阶段中；
第5阶段：首先将三个并行的低分辨率子网的输出通过双线性插值和1x1卷积上采样到高分辨率子网的尺寸大小([H/4，W/4])，然后通过简单的连接操作连接同样尺寸大小的四个分支的结果(大小为[H/4，W/4，480])。最后将连接的结果通过1×1的卷积将通道数转变为语义分割的类别数目从而得到最后的结果(大小为[H/4，W/4，5])。
进一步地，所述步骤四的训练过程具体为：
1)将步骤二中标注后的训练样本送入到步骤三搭建好的HRBCS桥梁裂缝语义分割模型中，首先经过两层空洞卷积处理，以降低分辨率，接着使用四个瓶颈模块改变输入的通道数并用于初步提取裂缝特征；
2)将初步提取的裂缝特征结果输入到高分辨率分支，其次使用空洞卷积操作，得到的结果输入低分辨率分支，并同时在两个分支上使用瓶颈模块操作提取特征，接着将两个分支得到的结果采用多尺度融合方法进行融合，以便能够在多个尺度上表示裂缝的能力增强；
3)将2)的输出继续进行两次空洞卷积以及连续的瓶颈模块操作，接着进行重复的多尺度融合，得到四种不同分辨率的输出；
4)首先将三个并行的低分辨率子网的输出通过双线性插值和1x1卷积上采样到高分辨率子网的尺寸大小；然后通过连接操作连接同样尺寸大小的四个分支的结果(大小为[H/4，W/4，480])；最后将连接的结果通过1×1的卷积将通道数转变为语义分割的类别数目从而得到结果(大小为[H/4，W/4，5])，并通过双线性插值将分割结果上采样恢复到与输入图像同样大小。
进一步地，所述步骤一数据集的划分比例为训练集：测试集：验证集＝8:1:1。
与现有技术相比，本发明具有如下有益效果：
1、本发明一种基于多分辨率卷积网络的桥梁裂缝检测方法，由于桥梁裂缝不是简单的形态，其裂缝图像背景复杂、噪声干扰大，传统的数字图像处理算法和浅层机器学习算法不能鲁棒地检测裂缝，但是基于深度学习的裂缝检测方法经过学习得到的深层视觉结构特征则可以提高桥梁裂缝的检测结果，但是在深度学习中语义分割模型(比如DenseConvolutional Network)只是检测到原图像中的单一类型的裂缝，无法对多种裂缝进行分类，进而无法明确地通过不同类型裂缝对桥梁的危害程度对裂缝的损伤程度进行评估以及后续的处理，为了克服上述不足，本发明通过对HRNet模型改进，添加了不同种类的分类分支，不仅可以完成桥梁裂缝的分类，而且能够生成高质量的桥梁裂缝分割掩膜用于表示不同类型的裂缝，兼具了检测与分类的效果；通过用空洞卷积替换普通卷积，在保持卷积核参数大小不变的同时，增大卷积的视野，解决了全局感受野不足的问题，从而提升了检测结果的空间精度；本发明不但能够实现桥梁裂缝的精准检测，而且相比现有技术鲁棒性更强。
2、本发明一种基于多分辨率卷积网络的桥梁裂缝检测方法，现有的语义分割技术一般采用的是先通过多次卷积或其他下采样手段，连续的降低特征图的尺度，接着再使用简单的上采样恢复到与原始图像同样大小，但是在恢复的过程中，由于特征图过小，所以需要采用多次上采样，损失了大量的空间信息；另外现有方法基本上都是采用将特征图串联的方式，这样就不可避免地会用到多次上采样来恢复图像的尺度，其空间信息也就会不可避免地损失。本方法在HRNet模型基础上进行改进，由于HRNet模型原始的特点是在特征提取过程中始终保持高分辨率的表示，以此来保证空间精确度；并且产生多个低分辨率分支，通过多个分支间的多尺度融合来帮助促进特征提取的效果，HRNet不同于现有的语义分割技术中将特征图串联的方式，其采用的多分辨率并联的方法，在保证高分辨率表示贯穿模型的同时，通过低分辨率与高分辨率的并联，来增强特征提取效果。在并联的基础上，添加不同分辨率特征图之间的交互。最终可以得到一个高分辨率的特征图。由于桥梁裂缝一般会贯穿整张图像的特点，其对于空间精度的需求很高，本方法在HRNet的基础上，用瓶颈模块替换基础的残差模块，用空洞卷积替换普通卷积，并在最后一个阶段引入了语义分割模块，使得提取到的特征能清晰地转化为最终需要的裂缝掩膜。
3、本发明一种基于多分辨率卷积网络的桥梁裂缝检测方法，本方法是基于像素级别的预测分类，因此相比于现有技术(由于空间精度低，检测到的只是部分裂缝，不利于完整的得到裂缝长度宽度等信息)桥梁裂缝检测结果空间度极高，生成的桥梁裂缝分割掩膜质量高，能够方便得到裂缝的实际宽度和长度，从而及时发现和处理一些缺陷，以避免事故的发生，确保桥梁安全运营与延长使用寿命具有重要的意义，对桥梁裂缝损伤程度的等级进行划分，从而尽早发现桥梁病害，以便及时进行维修与加固，提前进行处理，进而节约桥梁维修费用，提高桥梁运营期的综合经济效益。
4、本发明一种基于多分辨率卷积网络的桥梁裂缝检测方法，本方法经过多次实验验证，在预测的各项指标，如精确率、召回率、F1分数、平均交互比等几个关键评测指标方面有了巨大的提升，并且本方法使用瓶颈模块，在保持了原本特征提取效果的基础上，本方法的参数量大大减少，以节省训练时间和降低对计算资源。
附图说明
图1为本发明方法的步骤流程图；
图2为本发明桥梁裂缝图像数据集扩增示意图；
图3为本发明部分桥梁裂缝图像标注的结果；
图4为本发明HRNet模型示意图；
图5为本发明融合操作示意图；
图6为本发明HRBCS桥梁裂缝语义分割模型示意图；
图7为本发明特征提取块示意图；
图8为本发明算法与传统裂缝检测算法的对比图；
图9为本发明有无数据集扩增实验结果的可视化对比图；
图10为本发明算法与主流分割算法对比图。
具体实施方式
为使本发明所解决的技术问题、技术方案及有益效果更加清晰，以下结合附图及实施例，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明，详细说明如下。
由于桥梁裂缝图像具有背景复杂、纹理多样、噪声繁多且分布无规律等特点，传统的检测算法难以处理种类复杂的噪声，使得检测效果不佳。深度学习领域中的语义分割算法具有非常优秀的特征提取能力，因此发明人通过大量实验论证，研究出了一种基于多分辨率卷积网络的桥梁裂缝检测方法，该方法基于HRNet思想改进的HRBCS语义分割模型，用于检测并分割桥梁裂缝。
如附图1所示，本发明提供一种基于多分辨率卷积网络的桥梁裂缝检测方法，其包括以下步骤：
步骤一、构建桥梁裂缝数据集
1)首先将采集的2000张桥梁裂缝图像进行归一化处理，归一化为512×512分辨率的桥梁裂缝图像；
2)采用几何变换和线性变换对归一化后的桥梁裂缝图像数量进行扩增；
3)使用多尺度图像增强算法提升扩增后桥梁裂缝图像的裂缝特征；
4)将提升裂缝后的桥梁裂缝图像数据集划分为训练集、测试集和验证集；
具体的，首先由于原始采集的图像中，无裂缝的桥梁图像较多，而本发明提出的语义分割算法需要较多的裂缝图像帮助网络模型中的参数学到桥梁裂缝的特征。所以从20300张原始图像中选取了2000张较为明显的裂缝图像，通过几何变换以及线性变换等数字图像处理领域的方法，将桥梁裂缝数据集扩充到了10000张。部分经过图像处理算法扩充之后的图像如图2所示，其中第一列为原图，第二至五列依次为经过90度旋转、180度旋转、水平翻转、竖直翻转后的图像。
另外为了使桥梁裂缝数据集的特征更明显，本发明使用了MSRCR(Multi-ScaleRetinex with Color Restoration)，即具有色彩恢复的多尺度图像增强算法。该算法利用彩色恢复因子C，调节原始图像中3个颜色通道之间的比例关系，从而把相对较暗区域的信息凸显出来，达到了消除图像色彩失真的缺陷，经过多尺度图像增强算法处理后的图像局部对比度提高，亮度与真实场景相似，在人们视觉感知下，图像显得更加逼真。最后将提升裂缝后的桥梁裂缝图像数据集，按训练集：测试集：验证集＝8:1:1的比例进行划分，即训练集样本数为8000张、测试集样本数为1000张以及验证集样本1000张图像。
步骤二、对训练样本进行标注和分类
对步骤一划分的训练集样本进行标注，在标注过程中，使用开源图像标注工具labelme对每一个训练数据样本进行标注，标注时，关注的是图像中的裂缝，并对图像中的每一条裂缝完成精准标注，标注同时分类并依次命名为Single small crack(单根细小裂缝：宽度小于10mm)；Single thick crack(单根粗壮裂缝：宽度大于等于10mm)；Crosscrack(交叉裂缝：几条单根细小裂缝和/或单根粗壮裂缝随机组合)；Reticular crack(网状裂缝：形状不规则的块状裂缝，裂缝之间相连，长边长度一般小于3m而短边长度大于40cm)等。每一张图像标注完会生成相应的.json文件，其中保存了标注的标签信息，但是对于图像语义分割任务，需要其对应的标注是.png/.bmp等格式的图像文件，单个.json文件的转化可以通过执行转换命令：labelme_json_to_dataset<文件名>.json，将相应的json文件生成一个文件夹，里面包含5个文件，分别为img.png(原图)、info.yaml、label.png、label_names.txt、label_viz.png，如图3所示。但在实际中由于训练集数据较大，故采用代码方式实现批量转换以及从文件夹中批量获取手工标注的图像文件。
裂缝标注原则：注重于标注裂缝边缘的细节与纹理，剔除伪裂缝以及污渍造成的视觉错觉。对于同一张裂缝图像上的不同类别裂缝采取不同的标签。(这个过程中的数据有8000张，标注工作量比较大)为了防止过拟合，选择对训练的数据集进行概率为0.5的随机擦除。
步骤三、搭建基于HRNet模型改进后的HRBCS桥梁裂缝语义分割模型
为了提高桥梁裂缝图像语义分割的精度，目前主流的趋势是先降低分辨率提取高级的语义特征，再采取多样的方法从低分辨率表示恢复到高分辨率表示。由较高的分辨率特征图开始，通过步长为2的卷积块，甚至是池化操作，来逐渐缩小特征图大小，丰富各个通道的信息，最后再通过一个全局池化，输出通道信息。例如经典的FCN，先进行下采样，再使用转置卷积进行上采样，不使用跳层连接；UNet系列模型采用对称结构，先下采样，再上采样，同时使用跳层连接恢复下采样丢失的信息；Deeplab系列的模型，应用编码-解码(encoder-decoder)模式，将空洞卷积用于替换分类网络中的常规卷积，以计算中等分辨率表示。这些模型在公共数据集和某些领域应用中产生了不错的效果，然而对于高分辨率图像的细节也丢失了很多，基于以上原因，本发明提出基于HRNet模型改进后的HRBCS桥梁裂缝语义分割模型。
HighResolution Net(HRNet)是一种能够在整个过程中保持高分辨率表示的网络模型。创新之处在于使用并行连接多分辨率子网以及重复的多尺度融合。下面介绍一下本模型采用的两种方法的具体实现以及优势所在：
并行连接多分辨率子网：HRNet的模型结构简单表示如图4所示。本模型的最上面一层特征图(feature map)均为高分辨率表示，可以看出网络中每一层均保持着高分辨率表示。下面的特征图为中低分辨率，在并联的基础上，通过添加不同分辨率特征图进行重复的融合。
优势：这种方法与大多数现有方法中采用的串联连接并不同。最主要的区别在于本方法能够保持高分辨率特征图，而不是通过从低到高的过程恢复分辨率。这使得低级的空间信息在该网络上得以充分的保留。因此采用本算法预测的热图在空间上可以保证更高的精确度。
重复的多尺度融合：在本模型中，多尺度融合需要用到的情形共有以下三种：第一种为将中低分辨率表示的分支融合使之为形成下一层的高分辨率特征图提供帮助。如图5中a所示，具体做法是：首先将两个中低分辨率表示的分支通过1×1的卷积变换到高分辨率同样的通道数。然后进行上采样，使得两个低分辨率表示的尺寸大小与高分辨率表示一致(H/4,W/4)。最后，将三个不同分辨率表示求和得到了最后融合后的高分辨率表示。第二种为将高低分辨率表示的分支融合使之为形成下一层的中分辨率特征图提供帮助。如图5中b所示，具体做法是：首先将高分辨率表示的分支通过步长为2的3×3的卷积变换到与中间分辨率表示的尺寸(H/8,W/8)与通道数一样大小。然后，将先后通过1×1卷积与上采样操作将最低分辨率表示同样调整到中间分辨率表示的尺寸与通道数一样大小。最后，将三个不同分辨率表示求和得到了最后融合后的中间分辨率表示。第三种为将中高分辨率表示的分支融合使之为形成下一层的低分辨率特征图提供帮助，如图5中c所示，首先将两个高分辨率表示的分支通过步长为2的3×3的卷积变换到与最低分辨率表示的尺寸(H/16,W/16)与通道数一样大小。最后，将三个不同分辨率表示求和得到了最后融合后的最低分辨率表示。
基于HRNet的思想，由于其主干网络对于语义分割而言，在空间上预测的精确度要优于其它的主干网络，而本发明要做的桥梁裂缝检测工作对于预测的空间精确度要求也比较高。因此本发明提出了HRBCS(HighResolution-Bridge-Crack-Image-Segmentation-Model)模型用于桥梁裂缝检测工作，主要框架如图6所示，具体为：
1)用空洞卷积代替普通的步长为2的卷积；
空洞卷积是具有一个因子的卷积层，用于扩展滤波器的视野。首先，根据扩张率对卷积滤波器进行扩张，本发明选择扩张率为2；然后，用零填充空白空间，创建稀疏的类似滤波器，得到一个5x5的稀疏卷积核；最后，使用扩张的滤波器进行卷积运算，使其能够覆盖5x5的区域。使用空洞卷积在保持卷积核参数大小不变的同时，能够增大卷积的视野。
2)用瓶颈模块代替普通的残差模块；
瓶颈(Bottleneck)模块是ResNet-50/101/152网络中所用到的经典的残差模块。Bottleneck模块搭建结构如图6所示：首先使用1×1的卷积降低通道数从而减少计算开销，再使用3×3的卷积进行特征提取，最后再使用1×1的卷积恢复通道数。需要注意的是，每个卷积块后面连接BN层进行归一化，残差连接前的1*1卷积之后只接入BN，避免加权之后的特征皆为正，保持特征的多样性。跳层连接也有两种情况，分别为：当输入模块和残差支路的通道数一致时，直接相加；当两种通道不一致时(一般发生在分辨率降低之后，同分辨率通道数一般为一致)，需要对模块输入特征使用1*1卷积，之后同样使用BN，而不使用relu层。
本发明瓶颈模块包括三个堆叠的卷积层部分。首先用1x1的卷积操作将通道数由256维降低到64维，接着连接BN层和ReLU层；然后连接3x3的卷积层进行特征提取，使得中间的3x3的卷积可以在一个密度相对较低的特征向量上进行操作，之后再次连接BN层和ReLU层；最后再次连接1x1卷积层恢复维度。由于瓶颈模块的特点，因此适合训练更深的模型，且需要的训练时间和计算资源更少。
3)添加预测像素类别的语义分割分支；
进行最后像素级别的类别预测需要用到多种分辨率特征图的共同输出。这里首先将得到的不同分辨率的特征图采用双线性插值的方法上采样到高分辨率，来增强高分辨率的表示；接着通过连接操作得到多通道的高分辨率特征图；最后采用两层1*1卷积层，卷积核个数分别为720和5来得到最终的分割结果。
HRBCS桥梁裂缝语义分割模型搭建包括以下阶段：
第1阶段：首先通过使用两次空洞卷积操作，从而使得图像的高(H)和宽(W)变为H/4与W/4的大小，接着使用四个瓶颈模块初步提取图像特征并将通道数变为256，随后得到的输出(大小为[H/4，W/4，256])被输入到下一阶段中；
第2阶段：首先接收到了第一个阶段输入的高分辨率分支(大小为[H/4，W/4，256])，其次通过使用步长为2的3x3卷积层产生一个较低分辨率分支(大小为[H/4，W/4，256])，接着每一个分支分别利用4个瓶颈模块进行特征提取，最后进行重复的多尺度融合得到最后的输出，并将得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64])被输入到下一阶段中；
第3阶段：首先是接收第2个阶段输入的特征图，接着在第2个阶段的基础上通过使用步长为2的3x3卷积再产生一个较低分辨率的分支，每一个分支依然是分别利用4个瓶颈模块进行特征提取，最后进行重复多尺度的融合得到最后的输出，随后将得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64]，[H/16，W/16，128])被输入下一阶段中；
第4阶段：阶段4中的操作与第2阶段和第3阶段相似，得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64]，[H/16，W/16，128]，[H/32，W/32，256])并输入下一阶段中；
第5阶段：首先将三个并行的低分辨率子网的输出通过双线性插值和1x1卷积上采样到高分辨率子网的尺寸大小([H/4，W/4])，然后通过简单的连接操作连接同样尺寸大小的四个分支的结果(大小为[H/4，W/4，480])。最后将连接的结果通过1×1的卷积将通道数转变为语义分割的类别数目从而得到最后的结果(大小为[H/4，W/4，5])。
在HRBCS桥梁裂缝语义分割模型中，本发明第1阶段只是降低分辨率并且通过1×1卷积将通道数变为256，中间的2、3、4阶段中通过产生低分辨率分支并且进行重复的多尺度融合，进一步提取图像特征。将产生低分辨分支的功能以及重复的多尺度融合功能进行了分离，产生低分辨率分支的功能在2、3、4阶段开头，重复的多尺度融合功能在2、3、4阶段的结尾。
步骤四、对步骤三搭建的语义分割模型进行训练
训练过程具体为：
1)将步骤二中标注后的训练样本送入到步骤三搭建好的HRBCS桥梁裂缝语义分割模型中，首先经过两层空洞卷积处理，以降低分辨率，接着使用四个瓶颈模块改变输入的通道数并用于初步提取裂缝特征。
这个实现使用空洞卷积和瓶颈模块作为特征提取器。3x3的间隔为0的空洞卷积，和普通的卷积操作一样，3x3的间隔为1的空洞卷积，实际的卷积核大小还是3x3，但是空洞为1，也就是对于一个待做卷积运算的区域，只有9个点和3x3的卷积核发生卷积操作，其余的点略过。也可以理解为卷积核的大小为5x5，但是只有9个点的权重不为0，其余都为0。可以看到虽然卷积核的大小只有3x3，但是这个卷积的感受野已经增大到了5x5。对比传统的卷积操作，3层3x3的卷积加起来，步长为1的话，只能达到7的感受野，也就是和层数成线性关系，而空洞卷积的感受野呈指数级增长。
空洞卷积的好处是不做池化损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。在图像需要全局信息的问题中，都能很好的应用空洞卷积。在计算交叉熵损失函数之前，本发明将分割逻辑调整为输入图像的大小。为了保持分辨率细节，调整分割逻辑的大小比调整真实标签的大小更好。
2)将初步提取的裂缝特征结果输入到高分辨率分支，其次使用空洞卷积操作，得到的结果输入低分辨率分支，并同时在两个分支上使用瓶颈模块操作提取特征，接着将两个分支得到的结果采用多尺度融合方法进行融合，以便能够在多个尺度上表示裂缝的能力增强；
这种策略能够保持高分辨率特征图，而不是通过从低到高的过程恢复分辨率，使得低级的空间信息在该网络上得以充分的保留。并且大多数现有的融合方案汇总了低级别和高级别的表示。相反，本发明在相同深度和相似水平的低分辨率表示的帮助下执行重复的多尺度融合以提升高分辨率表示，这使得高分辨率表示中也具有很强的高级语义特征。这样，分割结果与其他模型对比，在空间上的预测会更加准确。
3)将2)的输出继续进行两次空洞卷积以及连续的瓶颈模块操作，接着进行重复的多尺度融合，得到四种不同分辨率的输出。本发明使用瓶颈模块操作，在保持同样深度的卷积层时，大大减少了参数量。
4)首先将三个并行的低分辨率子网的输出通过双线性插值和1x1卷积上采样到高分辨率子网的尺寸大小；然后通过连接操作连接同样尺寸大小的四个分支的结果(大小为[H/4，W/4，480])；最后将连接的结果通过1×1的卷积将通道数转变为语义分割的类别数目从而得到结果(大小为[H/4，W/4，5])，并通过双线性插值将分割结果上采样恢复到与输入图像同样大小。
由于一般的分类网络只能处理单一的裂缝类型，但是对于不同的裂缝类型而言，危害程度也大不相同。因此，在进一步处理多分辨率特征提取网络的输出之前首先需要解决这个问题。本发明采用将多分辨率网络输出的结果通过双线性插值上采样到同样的高分辨率来解决这个问题，它是指首先把特征图的四个不同分辨率的分支通过重复的多尺度融合方法，得到四种不同分辨率的输出。接着将三个低分辨率的分支上采样到与高分辨率同样大小，具体操作是使用双线性插值方法。然后将四个相同分辨率的特征图进行拼接，得到多通道的特征图，这样也就实现了多种分辨率对结果的最终提升。接着使用两层1*1卷积层，得到对应于分类数量的分割结果，最终完成桥梁裂缝的语义分割。
步骤五、对步骤四训练后的语义分割模型进行测试
训练完成后，用步骤一中的测试集样本测试训练完成后的HRBCS的桥梁裂缝语义分割模型，用于验证HRBCS语义分割模型的鲁棒性；
步骤六、实际检测
将待识别的桥梁裂缝图像输入到经测试后的HRBCS桥梁裂缝语义分割模型中，判别该图像中的裂缝类型，并将裂缝进行语义分割。
为了验证本发明的可行性，发明人设计了以下三组对比实验从不同的角度进行验证：
实验配置：(1)数据集设置：通过比较数据集不同数量划分比例对最终模型精度的影响，本发明在多次试验后确定将数据集中10000张图片划分为三个部分：训练集8000张，占总数的90％，验证集和测试集各占1000张，分别为总数的10％。并且选择对训练的数据集进行概率为0.5的随机擦除，以达到数据增强的目的；此外，为避免偶然性，所有实验都是重复3次取均值，以保证结果的准确性与客观性。
(2)实验平台：本发明采用的实验平台配置如下：Intel i7处理器，NVIDIAGeForce GTX 1070显卡。本发明具体的运行软件环境：操作系统为Ubuntu20.04，深度学习框架采用pytorch1.5.0，python3.7，开发环境采用cuda11.0，torchvision0.6.0。
(3)参数设置：在训练过程中，本发明选择Adam优化器，Batch_size设置为64，初始学习率设置为0.01，在训练阶段，学习率的变化使用WarmUp方式，使网络有更好的表现，动量设置为0.9，权重衰减设置为0.0005，最大迭代次数设置为160000。
区别于传统的分割网络，本发明的分割目标共有五种类别，分别为：单根细小裂缝、单根粗壮裂缝、交叉裂缝、网状裂缝以及伪裂缝。为了验证本发明提出算法对于桥梁裂缝分割的准确行以及有效性，共设置了三大组对比实验。第一组是本发明算法与一些传统的分割算法的对比；第二组是本发明模型在原始数据集与扩增数据集上训练效果的差异；第三组为分别使用不同的语义分割算法对五类裂缝进行检测。
其中，第一组实验选择阈值分割算法、Canny算法作为传统裂缝检测算法代表。这里为了验证本发明算法对于背景的适应性，特选择了四类不同裂缝在不同条件的背景下的图片进行实验。实验的可视化结果如图8所示，第一列为原图，第二列为标签，第三列为阈值分割算法的结果，第四列为canny图像分割算法的结果，第五列为本发明提出的算法的结果。观察可视化结果容易发现，对比的两种传统方法，容易受到噪声的干扰，并且对于细小裂缝以及由细小裂缝线性组成的网状裂缝这种特征不明显的图像，更是难以检测分割。本发明提出的算法则能在不同的背景条件下，极为优异地对各类裂缝实现检测与分割。
第二组实验想要验证扩增数据集对于本发明算法模型的影响。我们分别在原始的数据集以及扩增的数据集上训练，并分别在测试集上进行测试。该实验的具体操作步骤如下：首先按照同样的比例将2000张未经过扩增以及增强处理的原始图像划分为：训练集中含有1800张，测试集和验证集各100张。接着进行两轮训练与测试，第一轮直接使用未经过扩增和增强的1800张桥梁裂缝图像进行训练，并在其划分出的100张的图片的测试集上进行测试；第二轮使用经过本发明提出的扩增及增强方法后的8000张图片进行训练，并在其1000张图片上的测试集进行测试。最后分别得出测试结果，从直观的可视化角度以及数据化的角度分别进行评价。首先是裂缝检测结果的直观可视化对比，如图9所示，其中第一列为原图，第二列为标签图，第三列为不扩充数据集检测结果，第四列为扩充数据集后的检测结果。
在进行量化评价之前先简单介绍一下语义分割中像素的分类，通常用TP(TruePositive)表示预测的类别与标签类别一致的像素；FN(False Negative)表示未被正确预测出的像素，即标签属于目标类别而预测结果相反；FP(False Positive)表示被错误预测为目标类别的像素。接着给出本发明中用于量化评价实验结果的指标：精确率(Pre)、召回率(Rec)以及平均交互比(mIOU)，计算公式如下：
mIOU＝TP/(TP+FP+FN) (1)
Pre＝TP/(TP+FP) (2)
Rec＝TP/(TP+FN) (3)
F1_score可以看作是模型精确率和召回率的一种加权平均，兼顾了精确率和召回率的查全和查准的作用。F1_Score的具体计算公式如(4)式所示：
接着本发明用四个量化指标来对比数据集对训练结果的影响。实验后得到的结果如下表1所示：
表1有无数据集扩增对BCISM的影响
通过直观的可视化结果图9以及表1中的量化结果对比，容易发现未扩增数据集的实验存在一定的欠拟合现象，而本发明提出的数据集扩增及增强方法起到了很好的效果。
第三组实验选择将一些在公共数据集上结果突出的分割算法用于桥梁裂缝数据集与本发明算法的结果进行对比。首先依然从几类裂缝图片的可视化结果来对比，图10中四行的第一列分别对应不同类别的裂缝：第一行为单根细小裂缝；第二行为单根粗大裂缝；第三行为交叉裂缝；第四行为复杂的网状裂缝。图中第二列为对应裂缝的标签；第三列为UNet++模型对四类裂缝的分割效果；第四列为deeplab-V3+模型对四类裂缝的分割效果；第五列为PSPNet模型的效果；最后一列为本发明提出的模型的分割效果。
首先可以观察到对于最容易检测到的单根粗大型裂缝，几种模型的检测结果均表现不错，完整将其检测分割。接着看单根细小型裂缝，这里可以看到只有本发明提出的算法表现较好，其余三种主流算法均不能得到有效的分割结果。最后可以看到由单根粗大型裂缝和单根细小型裂缝线性组合形成的块状裂缝与网状裂缝，由于其他三种主流分割算法在单根细小裂缝检测上的表现，已经可以预见到在复杂裂缝上也很难对细小裂缝的部分有好的表现。这里可以明显发现，本发明所提出的算法在处理单根细小裂缝以及复杂的网状裂缝的分割问题时，表现的极为突出。从宏观的角度分析，本发明算法始终保持高分辨率特征图，所以对于单根细小裂缝以及近乎由单根细小裂缝组成的复杂网状裂缝而言，在空间上的精确度可以更为准确。
其次本发明使用第二组实验中用到的几项评价指标对分割结果进行了更为直观的评估，评估结果如下表2所示：
表2本发明HRBCS与主流语义分割模型对比
对于不同形态的细小桥梁裂缝，对比结果如图10所示，在精确率、召回率、F1分数、平均交互比等几项指标中本发明算法明显高于其他三种主流的语义分割算法，进一步从数据角度论证了本文算法对于桥梁裂缝检测的有效性。接着可以看到表2中最后一列参数量(Parameter)的对比，在与PSPNet同样的参数量之下，本发明算法的平均交互比要高出近10个百分点。
本发明提出了一种高分辨率卷积神经网络的桥梁裂缝检测方法，本发明详细描述了该检测方法的数据集的采集以及预处理过程，并进一步的详细描述了HRBCS桥梁裂缝语义分割模型的搭建及训练过程，最终完成了对裂缝图像的精准检测。通过对不实验结果表明：数据集扩充有效缓解了由于数据不充足引起的欠拟合现象；与现有桥梁裂缝检测算法相比，本发明提出的方法在复杂背景下有更理想的检测效果；与现有的语义分割模型相比，本发明提出的桥梁裂缝图像分割模型在空间上的精确度更高。并且在相同的参数量下，本发明模型的检测效果更好。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于，包括以下步骤：
步骤一、构建桥梁裂缝数据集
1)将采集的桥梁裂缝图像样本进行归一化处理，归一化为512×512分辨率的桥梁裂缝图像；
2)采用几何变换和线性变换对归一化后的桥梁裂缝图像数量进行扩增；
3)使用多尺度图像增强算法提升扩增后桥梁裂缝图像的裂缝特征；
4)将提升裂缝后的桥梁裂缝图像数据集划分为训练集、测试集和验证集；
步骤二、对训练样本进行标注和分类
对步骤一划分的训练集样本进行标注和分类；
步骤三、搭建基于HRNet模型改进后的HRBCS桥梁裂缝语义分割模型
1)用空洞卷积代替普通的步长为2的卷积；
2)用瓶颈模块代替普通的残差模块；
3)添加预测像素类别的语义分割分支；
步骤四、对步骤三搭建的语义分割模型进行训练
用步骤二中标注后的训练样本训练步骤三搭建好的HRBCS桥梁裂缝语义分割模型；
步骤五、对步骤四训练后的语义分割模型进行测试
训练完成后，用步骤一中的测试集样本测试训练完成后的HRBCS的桥梁裂缝语义分割模型，用于验证HRBCS语义分割模型的鲁棒性；
步骤六、实际检测
将待识别的桥梁裂缝图像输入到经测试后的HRBCS桥梁裂缝语义分割模型中，判别该图像中的裂缝类型，并将裂缝进行语义分割。
2.根据权利要求1所述的一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于：所述步骤二使用labelme图像标注软件对训练集样本进行标注，并以JSON文件存储标注信息；另外在对训练集标注时进行概率为0.5的随机擦除，以防止过拟合。
3.根据权利要求1所述的一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于：所述步骤二将训练集样本进行以下分类：
(1)单根细小裂缝：宽度小于10mm；
(2)单根粗壮裂缝：宽度大于等于10mm；
(3)交叉裂缝：几条单根细小裂缝和/或单根粗壮裂缝随机组合；
(4)网状裂缝：形状不规则的块状裂缝，裂缝之间相连，长边长度一般小于3m而短边长度大于40cm。
4.根据权利要求1所述的一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于：所述步骤三中1)空洞卷积是具有一个因子的卷积层，用于扩展滤波器的视野，具体为：
首先根据扩张率对卷积滤波器进行扩张，选择扩张率为2；
然后用零填充空白空间，创建稀疏的类似滤波器，得到一个5x5的稀疏卷积核；
最后使用扩张的滤波器进行卷积运算，使其能够覆盖5x5的区域。
5.根据权利要求1所述的一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于：所述步骤三中2)瓶颈模块包括三个堆叠的卷积层部分，具体为：
首先用1x1的卷积操作将通道数由256维降低到64维，接着连接BN层和ReLU层；
然后连接3x3的卷积层进行特征提取，使得中间的3x3的卷积可以在一个密度相对较低的特征向量上进行操作，之后再次连接BN层和ReLU层；
最后再次连接1x1卷积层以恢复维度。
6.根据权利要求1所述的一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于：所述步骤三中3)预测像素类别的语义分割分支需要用到多种分辨率特征图的共同输出，具体为：
首先将HRNet模型得到的不同分辨率的特征图采用双线性插值的方法上采样到高分辨率，来增强高分辨率的表示；
接着通过连接操作得到多通道的高分辨率特征图；
最后采用两层1*1卷积层，卷积核个数分别为720和5来得到最终的分割结果。
7.根据权利要求1所述的一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于：所述HRBCS桥梁裂缝语义分割模型具体搭建包括以下五个阶段：
第1阶段：首先通过使用两次空洞卷积操作，从而使得图像的高(H)和宽(W)变为H/4与W/4的大小，接着使用四个瓶颈模块初步提取图像特征并将通道数变为256，随后得到的输出(大小为[H/4，W/4，256])被输入到下一阶段中；
第2阶段：首先接收到了第一个阶段输入的高分辨率分支(大小为[H/4，W/4，256])，其次通过使用步长为2的3x3卷积层产生一个较低分辨率分支(大小为[H/4，W/4，256])，接着每一个分支分别利用4个瓶颈模块进行特征提取，最后进行重复的多尺度融合得到最后的输出，并将得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64])被输入到下一阶段中；
第3阶段：首先是接收第2个阶段输入的特征图，接着在第2个阶段的基础上通过使用步长为2的3x3卷积再产生一个较低分辨率的分支，每一个分支依然是分别利用4个瓶颈模块进行特征提取，最后进行重复多尺度的融合得到最后的输出，随后将得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64]，[H/16，W/16，128])被输入下一阶段中；
第4阶段：阶段4中的操作与第2阶段和第3阶段相似，得到的输出(大小分别为[H/4，W/4，32]，[H/8，W/8，64]，[H/16，W/16，128]，[H/32，W/32，256])并输入下一阶段中；
第5阶段：首先将三个并行的低分辨率子网的输出通过双线性插值和1x1卷积上采样到高分辨率子网的尺寸大小([H/4，W/4])，然后通过简单的连接操作连接同样尺寸大小的四个分支的结果(大小为[H/4，W/4，480])；最后将连接的结果通过1×1的卷积将通道数转变为语义分割的类别数目从而得到最后的结果(大小为[H/4，W/4，5])。
8.根据权利要求1所述的一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于：所述步骤四的训练过程具体为：
1)将步骤二中标注后的训练样本送入到步骤三搭建好的HRBCS桥梁裂缝语义分割模型中，首先经过两层空洞卷积处理，以降低分辨率，接着使用四个瓶颈模块改变输入的通道数并用于初步提取裂缝特征；
2)将初步提取的裂缝特征结果输入到高分辨率分支，其次使用空洞卷积操作，得到的结果输入低分辨率分支，并同时在两个分支上使用瓶颈模块操作提取特征，接着将两个分支得到的结果采用多尺度融合方法进行融合，以便能够在多个尺度上表示裂缝的能力增强；
3)将2)的输出继续进行两次空洞卷积以及连续的瓶颈模块操作，接着进行重复的多尺度融合，得到四种不同分辨率的输出；
4)首先将三个并行的低分辨率子网的输出通过双线性插值和1x1卷积上采样到高分辨率子网的尺寸大小；然后通过连接操作连接同样尺寸大小的四个分支的结果(大小为[H/4，W/4，480])；最后将连接的结果通过1×1的卷积将通道数转变为语义分割的类别数目从而得到结果(大小为[H/4，W/4，5])，并通过双线性插值将分割结果上采样恢复到与输入图像同样大小。
9.根据权利要求1所述的一种基于多分辨率卷积网络的桥梁裂缝检测方法，其特征在于：所述步骤一数据集的划分比例为训练集：测试集：验证集＝8:1:1。
CN202010938286.3A 2020-09-09 2020-09-09 一种基于多分辨率卷积网络的桥梁裂缝检测方法 Active CN112348770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010938286.3A CN112348770B (zh) 2020-09-09 2020-09-09 一种基于多分辨率卷积网络的桥梁裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010938286.3A CN112348770B (zh) 2020-09-09 2020-09-09 一种基于多分辨率卷积网络的桥梁裂缝检测方法

Publications (2)

Publication Number Publication Date
CN112348770A CN112348770A (zh) 2021-02-09
CN112348770B true CN112348770B (zh) 2024-03-01

Family

ID=74357970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010938286.3A Active CN112348770B (zh) 2020-09-09 2020-09-09 一种基于多分辨率卷积网络的桥梁裂缝检测方法

Country Status (1)

Country Link
CN (1) CN112348770B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269718B (zh) * 2021-04-15 2022-09-16 安徽大学 一种基于深度学习的混凝土预制构件裂缝检测方法
CN113192084A (zh) * 2021-05-07 2021-07-30 中国公路工程咨询集团有限公司 一种基于机器视觉的公路边坡微小位移形变监测方法
CN113344094A (zh) * 2021-06-21 2021-09-03 梅卡曼德（北京）机器人科技有限公司 图像掩膜生成方法、装置、电子设备和存储介质
CN113610778B (zh) * 2021-07-20 2024-03-26 武汉工程大学 一种基于语义分割的桥梁表面裂纹检测方法与系统
CN113592828B (zh) * 2021-08-03 2023-06-30 南京市特种设备安全监督检验研究院 基于工业内窥镜的无损检测方法及系统
CN113686874B (zh) * 2021-08-16 2022-08-02 沭阳林冉塑业有限公司 一种基于人工智能的机械零件损伤检测方法及系统
CN113763358B (zh) * 2021-09-08 2024-01-09 合肥中科类脑智能技术有限公司 基于语义分割的变电站渗漏油和金属锈蚀检测方法及系统
CN114839192A (zh) * 2022-04-26 2022-08-02 哈尔滨理工大学 一种混凝土桥梁裂缝检测系统
CN115170001B (zh) * 2022-09-07 2023-03-21 保利长大工程有限公司 改进型肯特指数法的桥梁施工风险评估方法
CN115393725B (zh) * 2022-10-26 2023-03-07 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115631417A (zh) * 2022-11-11 2023-01-20 生态环境部南京环境科学研究所 一种基于卷积神经网络的蝴蝶图像识别方法
CN117333777B (zh) * 2023-12-01 2024-02-13 山东元明晴技术有限公司 一种坝体异常识别方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876780A (zh) * 2018-06-26 2018-11-23 陕西师范大学 一种复杂背景下桥梁裂缝图像裂缝检测方法
CN111274865A (zh) * 2019-12-14 2020-06-12 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876780A (zh) * 2018-06-26 2018-11-23 陕西师范大学 一种复杂背景下桥梁裂缝图像裂缝检测方法
CN111274865A (zh) * 2019-12-14 2020-06-12 深圳先进技术研究院 一种基于全卷积神经网络的遥感图像云检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep High-Resolution Representation Learning for Human Pose Estimation;Ke Sun等;2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR);20200109;全文 *
复杂背景下基于图像处理的桥梁裂缝检测算法;李良福;孙瑞;;激光与光电子学进展;20181020(第06期);全文 *

Also Published As

Publication number Publication date
CN112348770A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112348770B (zh) 一种基于多分辨率卷积网络的桥梁裂缝检测方法
Park et al. Patch-based crack detection in black box images using convolutional neural networks
CN110503112B (zh) 一种增强特征学习的小目标检测及识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110189255B (zh) 基于两级检测的人脸检测方法
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN108876780B (zh) 一种复杂背景下桥梁裂缝图像裂缝检测方法
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN106934795B (zh) 一种混凝土桥梁裂缝的自动检测方法和预测方法
CN110070091B (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN110059769B (zh) 用于街景理解的基于像素重排重建的语义分割方法及系统
CN113222904B (zh) 改进PoolNet网络结构的混凝土路面裂缝检测方法
CN109961416B (zh) 一种基于形态学梯度多尺度融合的营业执照信息提取方法
CN113706464A (zh) 一种印刷品外观质量检测方法及系统
CN114332008A (zh) 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN116563250A (zh) 一种复原式自监督疵点检测方法、装置及存储介质
CN116912130A (zh) 基于多感受野特征融合和混合注意力的图像去雾方法
CN117058377A (zh) 一种基于遥感图像的铁路沿线树林和湖泊分割方法
CN111738255A (zh) 一种基于深度学习的路牌文本检测与识别算法
CN115131244A (zh) 基于对抗学习的单幅图像去雨方法及系统
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
CN105241886A (zh) 一种基于hvs与引导滤波器的土遗址裂缝检测方法
CN117475262B (zh) 图像生成方法、装置、存储介质及电子设备
CN114972269B (zh) 一种基于铸件x射线图像的缺陷分割定位方法及系统
CN117173073A (zh) 一种基于fcn与多通道残差神经网络的大坝裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant