CN113744185A - 一种基于深度学习和图像处理的混凝土表观裂缝分割方法 - Google Patents
一种基于深度学习和图像处理的混凝土表观裂缝分割方法 Download PDFInfo
- Publication number
- CN113744185A CN113744185A CN202110854998.1A CN202110854998A CN113744185A CN 113744185 A CN113744185 A CN 113744185A CN 202110854998 A CN202110854998 A CN 202110854998A CN 113744185 A CN113744185 A CN 113744185A
- Authority
- CN
- China
- Prior art keywords
- upsampling
- crack
- image
- conv3
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 title claims abstract description 15
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000000137 annealing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习和图像处理的混凝土表观裂缝分割方法，包括如下步骤：获取混凝土表观带有裂缝的数字图像，对裂缝进行标注，对标注结果处理后得到裂缝掩码图；将掩码后的混凝土表观数字图像划分成训练集和验证集，然后切割成子图；构建表观裂粗分割模型，利用训练集对模型进行训练；将待检测混凝土表观数字图像切割成子图，输入到粗分割模型；对待检测原图和裂缝粗分割结果图进行插值，得到细化分割结果图；求取细化分割结果图的轮廓。本发明利用u2net分割模型完成混凝土表观裂缝的粗分割，对于微小裂缝，整图切割结合结果融合策略、组合损失以及通过像素聚类对粗分割结果细化，对微小裂缝具有较好的检测效果。
Description
技术领域
本发明涉及混凝土表观裂缝检测领域，特别涉及一种基于深度学习和图像处理的混凝土表观裂缝分割方法。
背景技术
混凝土结构是我国建筑领域中采用范围最广的建筑结构形式之一，而桥梁是交通基础设施的重要组成部分，对于混凝土桥梁而言，裂缝是最重要的病害之一。大多数桥梁都是带裂缝工作的，但是裂缝的出现会影响桥梁的安全性、耐久性，且当裂缝宽度值达到最大限值时，桥梁结构会遭到破坏，因此精准的掌握桥梁裂缝的形态、长度、宽度等特征信息对于判断评估桥梁的工作状态和安全状态具有重要意义，也可为后续的修复及加固工作提供指导依据。
原始的桥梁检测方法以人工目测为主，利用搭设支架、桥检车以及望远镜等辅助设备来检查混凝土桥梁表面开裂状况，此方法费时费力且准确率低、工作人员安全无法得到保障，对于一些目测死角，人工的方法无法进行识别检测。随着对于裂缝检测的安全度和精确度的要求不断提高，传统的人工方法的劣势愈加明显。近年来，随着无人机技术的进步以及高性能计算机的出现，大量基于无人机技术的桥梁检测工作开始得以研究，其核心为图像处理技术。
基于图像分析技术的混凝土结构表面裂缝宽度的确定，主要包括裂缝图像获取、图像处理分析以及裂缝宽度计算等内容，但是目前仍存在一些问题：从图像采集到分割处理全过程的系统连贯性与精准性难以得到保证，在裂缝识别过程中，由于桥梁是室外工作，使采集环境比如光照条件、加上采集工具不可避免的抖动等造成图像的模糊；且裂缝周围存在蜘蛛网、灰尘、蜂窝麻面气孔等杂质会带来干扰，降低了裂缝提取识别精度。
发明内容
发明目的：针对以上问题，本发明目的是提供一种基于深度学习和图像处理的混凝土表观裂缝分割方法，依次通过粗分割模型和细划分割实现微小裂缝的识别检测。
技术方案：本发明的一种基于深度学习和图像处理的混凝土表观裂缝分割方法，包括如下步骤：
(1)获取已有混凝土表观带有裂缝的数字图像，在数字图像上以像素为单位对裂缝进行标注，对标注结果处理后得到裂缝掩码图；
(2)将掩码后的混凝土表观数字图像划分成训练集和验证集，分别将训练集和验证集内的图像切割成子图，删除没有裂缝的子图；
(3)构建表观裂缝粗分割模型，利用训练集对粗分割模型进行训练，将验证集用于训练后的粗分割模型，保存在验证集上召回率最高时粗分割模型权重参数；
(4)将待检测混凝土表观数字图像切割成子图，将子图集合输入到步骤(3)中经过验证集后的粗分割模型，获得子图裂缝粗分割结果，将所有子图裂缝粗分割结果进行合并，得到整图的裂缝粗分割结果图；
(5)对待检测混凝土表观数字图像的原图和步骤(4)得到的裂缝粗分割结果图进行插值，得到粗分割结果的细化分割结果图；
(6)求取细化分割结果图的轮廓，将轮廓坐标除以放大倍数缩放到原始尺寸上，求得的轮廓为最终的裂缝轮廓。
进一步，所述步骤(2)中掩码为1时，表示当前子图存在裂缝，掩码为0时，表示当前子图无裂缝。
进一步，所述步骤(3)中粗分割模型为5个不同残差U型模块构成的两级嵌套U型结构；所述残差U型模块分别为RSU7、RSU6、RSU5、RSU4、RSU4F。
进一步，，所述粗分割模型包括编码结构和解码结构；
所述编码结构包括5个残差U型模块和相应的2倍降采样，编码结构包括依次顺序设置的RSU7、降采样、RSU6、降采样、RSU5、降采样、RSU4、降采样、RSU4F、降采样、RSU4F，图像输入到RSU7模块后，依次通过降采样、RSU6、降采样、RSU5、降采样、RSU4、降采样、RSU4F、降采样，最后从RSU4F模块输出；
所述解码结构包括5个残差U型结构以及相应的2倍上采样，解码结构包括依次顺序设置的上采样、RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样、RSU7，编码结构RSU4F模块输出作为上采样的输入，然后依次通过RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样后，最后从RSU7模块输出；所述编码结构和解码结构之间进行跳跃连接。
进一步，所述残差U型模块RSU7、RSU6、RSU5、RSU4包括编码结构和解码结构；所述编码结构为依次顺序设置conv3×3、(conv3×3+降采样)×n、conv3×3、conv3×3，RSU7、RSU6、RSU5、RSU4中的n分别为5、4、3、2；解码结构为依次顺序设置的conv3×3、(conv3×3+上采样)×n，其中乘以n表示重复n次；
RSU4F包括编码结构和解码结构：编码结构为依次顺序设置conv3×3、(conv3×3)×3、conv3×3；解码结构为依次顺序设置的(conv3×3)×3，其中乘以3表示重复3次；所述编码结构和解码结构之间进行跳跃连接所述编码结构和解码结构之间进行跳跃连接。
进一步，所述conv3×3模块包括3×3的卷积、批标准化和非线性激活组合。
进一步，在粗分割模块的解码结构中，对上采样、RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样、RSU7每一模块输出的特征图通过1×1卷积预测相应特征对应类别，并上采样到原图大小，通过激活函数Sigmoid得到对应存在裂缝的概率矩阵p1至p6，计算过程表示为：
Sigmoid(UpSampling32(Conv2D(RSU4F)))→p6,
Sigmoid(UpSampling16(Conv2D(RSU4F)))→p5,
Sigmoid(UpSampling8(Conv2D(RSU4)))→p4，
Sigmoid(UpSampling4(Conv2D(RSU5)))→p3，
Sigmoid(UpSampling2(Conv2D(RSU6)))→p2，
Sigmoid(Conv2D(RSU7))→p1，
将概率矩阵p1至p6通过卷积进行融合，通过激活函数Sigmoid得到融合的概率矩阵，所述融合后存在裂缝的概率矩阵p为粗分割模型的输出，计算过程为：
Sigmoid(Conv2D(Concatenate([p1,p2,p3,p4,p5,p6])))→p
其中UpSamplingk中的k表示上采样UpSampling系数。
进一步，步骤(3)训练过程中对图像数据进行增强操作，所述增强操作包括：左右翻转、上下翻转、分段仿射、裁剪、旋转90度、欢度变换，训练时从所述增强操作中任选一种进行；
所述训练过程中采用加权交叉熵损失以及杰卡德相似度组合损失，同时加上权重衰减，对于粗分割模型输出的每个概率矩阵，相应的损失损失函数表示为：
其中表达式等号后第一项weighted_binary_crossentropy表示加权交叉熵损失，第二项jaccard_loss表示杰卡德相似度损失，第三项
表示权重的L2范数惩罚项，m表示权重个数，λ表示惩罚系数，wj表示相应权重；
所述训练过程中，先采用学习率预热的方式进行模型训练，训练过程为：采用一个预先设置的学习率进行训练，然后逐步增大学习率，直到达到设定的较大学习率时结束；然后，利用学习率余弦退火调整方式进行训练，训练过程为：
对学习率进行调整，直到达到所设训练轮次结束模型训练，其中，公式中lrmin表示所设第一学习率，lrmax表示所设第二学习率，第二学习率大于第一学习率，学习率为步长，Tcur表示当前所在轮次，Tall表示设定轮次。
进一步，所述步骤(5)插值过程为：
(501)首先进行三倍双线性插值，计算插值后的粗分割结果连通域，在每个连通域内提取出粗分割结果对应的前景像素集，对应的标签等于1；
(502)根据像素强度将前景像素集分为两簇，较低像素强度的簇为裂缝前景像素，另一簇为背景簇；
(503)从插值后的粗分割结果将背景簇对应的标签置0，得到最终的细化分割结果图。
进一步，步骤(4)对于重合部分，合并原则为优先保留当前子图为裂缝的预测结果。
有益效果：本发明与现有技术相比，其显著优点是：
1、本发明利用u2net分割模型完成混凝土表观裂缝的粗分割，对于微小裂缝，整图切割结合结果融合策略、组合损失以及通过像素聚类对粗分割结果细化，解决微小裂缝分割问题，对微小裂缝具有较好的检测效果，可以辅助工程人员对混凝土的健康状况监测，提高监测的质量和效率；
2、在模型训练过程加入了特定的数据增强策略，如用分段仿射模拟拍摄抖动情况，用高斯模糊模拟图像模糊问题，提高了模型的泛化性，使之受环境的影响更小。
附图说明
图1为本发明训练流程图；
图2为本发明粗分割模型的基本结构图；
图3为本发明残差U型模块RSU7、RSU6、RSU5、RSU4基本结构图；
图4为本发明残差U型模块RSU4F基本结构图；
图5为发明检测流程图。
具体实施方式
本实施例所述的一种基于深度学习和图像处理的混凝土表观裂缝分割方法，包括如下步骤：
(1)获取已有混凝土表观带有裂缝的数字图像，在数字图像上以像素为单位对裂缝进行标注，对标注结果处理后得到裂缝掩码图；
(2)将掩码后的混凝土表观数字图像划分成训练集和验证集，其中90％作为训练集，10％作为验证集，分别将训练集和验证集内的图像切割成子图，子图大小为544x544像素，删除没有裂缝的子图，流程如图1所示。
子图掩码为1时，表示当前子图存在裂缝，掩码为0时，表示当前子图无裂缝。
(3)构建表观裂缝粗分割模型，利用训练集对粗分割模型进行训练，将验证集用于训练后的粗分割模型，保存在验证集上召回率最高时粗分割模型权重参数；
粗分割模型为5个不同残差U型模块构成的两级嵌套U型结构；残差U型模块分别为RSU7、RSU6、RSU5、RSU4、RSU4F。
粗分割模型包括编码结构和解码结构：
编码结构包括5个残差U型模块和相应的2倍降采样，编码结构包括依次顺序设置的RSU7、降采样、RSU6、降采样、RSU5、降采样、RSU4、降采样、RSU4F、降采样、RSU4F，图像输入到RSU7模块后，依次通过降采样、RSU6、降采样、RSU5、降采样、RSU4、降采样、RSU4F、降采样，最后从RSU4F模块输出；
解码结构包括5个残差U型结构以及相应的2倍上采样，解码结构包括依次顺序设置的上采样、RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样、RSU7，编码结构RSU4F模块输出作为上采样的输入，然后依次通过RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样后，最后从RSU7模块输出；所述编码结构和解码结构之间进行跳跃连接。
残差U型模块包括编码结构和解码结构：编码结构为依次顺序设置conv3×3、(conv3×3+降采样)×n、conv3×3、conv3×3，RSU7、RSU6、RSU5、RSU4、RSU4F中的n分别为5、4、3、2、3；残差U型模块中的解码结构为依次顺序设置的conv3×3、(conv3×3+上采样)×n，其中乘以n表示重复n次；所述编码结构和解码结构之间进行跳跃连接。
RSU7包括编码结构和解码结构：编码结构为依次顺序设置conv3×3、(conv3×3+降采样)×5、conv3×3、conv3×3；解码结构为依次顺序设置的conv3×3、(conv3×3+上采样)×5，其中乘以5表示重复5次；所述编码结构和解码结构之间进行跳跃连接，整体结构参考图3。
RSU6包括编码结构和解码结构：编码结构为依次顺序设置conv3×3、(conv3×3+降采样)×4、conv3×3、conv3×3；解码结构为依次顺序设置的conv3×3、(conv3×3+上采样)×4，其中乘以4表示重复4次；所述编码结构和解码结构之间进行跳跃连接，整体结构参考图3。
RSU5包括编码结构和解码结构：编码结构为依次顺序设置conv3×3、(conv3×3+降采样)×3、conv3×3、conv3×3；解码结构为依次顺序设置的conv3×3、(conv3×3+上采样)×3，其中乘以3表示重复3次；所述编码结构和解码结构之间进行跳跃连接，整体结构参考图3。
RSU4包括编码结构和解码结构：编码结构为依次顺序设置conv3×3、(conv3×3+降采样)×2、conv3×3、conv3×3；解码结构为依次顺序设置的conv3×3、(conv3×3+上采样)×2，其中乘以2表示重复2次；所述编码结构和解码结构之间进行跳跃连接，整体结构参考图3。
RSU4F包括编码结构和解码结构：编码结构为依次顺序设置conv3×3、(conv3×3)×3、conv3×3；解码结构为依次顺序设置的(conv3×3)×3，其中乘以3表示重复3次；所述编码结构和解码结构之间进行跳跃连接，整体结构参考图4。
conv3×3模块包括3×3的卷积、批标准化和非线性激活组合。
在粗分割模块的解码结构中，对上采样、RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样、RSU7每一模块输出的特征图通过1×1卷积预测相应特征对应类别，并上采样到原图大小，通过激活函数Sigmoid得到对应存在裂缝的概率矩阵p1至p6，计算过程表示为：
Sigmoid(UpSampling32(Conv2D(RSU4F)))→p6,
Sigmoid(UpSampling16(Conv2D(RSU4F)))→p5,
Sigmoid(UpSampling8(Conv2D(RSU4)))→p4，
Sigmoid(UpSampling4(Conv2D(RSU5)))→p3，
Sigmoid(UpSampling2(Conv2D(RSU6)))→p2，
Sigmoid(Conv2D(RSU7))→p1，
将概率矩阵p1至p6通过卷积进行融合，通过激活函数Sigmoid得到融合的概率矩阵，融合后存在裂缝的概率矩阵p为粗分割模型的输出，计算过程为：
Sigmoid(Conv2D(Concatenate([p1,p2,p3,p4,p5,p6])))→p
其中UpSamplingk中的k表示上采样UpSampling系数。
训练过程中对图像数据进行增强操作，所述增强操作包括：左右翻转、上下翻转、分段仿射、裁剪、旋转90度、欢度变换，训练时从所述增强操作中任选一种进行；
训练过程中采用加权交叉熵损失以及杰卡德相似度组合损失，同时加上权重衰减，对于粗分割模型输出的每个概率矩阵，相应的损失损失函数表示为：
其中表达式等号后第一项weighted_binary_crossentropy表示加权交叉熵损失，第二项jaccard_loss表示杰卡德相似度损失，第三项
表示权重的L2范数惩罚项，m表示权重个数，λ表示惩罚系数，wj表示相应权重；
训练过程中，先采用学习率预热的方式进行模型训练，训练过程为：采用一个预先设置的学习率进行训练，然后逐步增大学习率，直到达到设定的较大学习率时结束。然后，利用学习率余弦退火调整方式进行训练，训练过程为：
对学习率进行调整，直到达到所设训练轮次结束模型训练，其中，公式中lrmin表示所设第一学习率，lrmax表示所设第二学习率，第二学习率大于第一学习率，学习率为步长，Tcur表示当前所在轮次，Tall表示设定轮次。本实施例中预先设置第一学习率1*10-6，第二学习率参考1*10-3，根据实验数据和实验表现再对第一学习率和第二学习率进行调整。
(4)将待检测混凝土表观数字图像切割成子图，切割大小为544x544像素，将子图集合输入到步骤(3)中经过验证集后的粗分割模型，获得子图裂缝粗分割结果，将所有子图裂缝粗分割结果进行合并，得到整图的裂缝粗分割结果图；对于重合部分，合并原则为优先保留当前子图为裂缝的预测结果。
(5)对待检测混凝土表观数字图像的原图和步骤(4)得到的裂缝粗分割结果图进行插值，得到粗分割结果的细化分割结果图，流程图如图5所示。
插值过程为：
(501)首先进行三倍双线性插值，计算插值后的粗分割结果连通域，在每个连通域内提取出粗分割结果对应的前景像素集，对应的标签等于1；
(502)根据像素强度将前景像素集分为两簇，较低像素强度的簇为裂缝前景像素，另一簇为背景簇；
(503)从插值后的粗分割结果将背景簇对应的标签置0，得到最终的细化分割结果图。
(6)求取细化分割结果图的轮廓，将轮廓坐标除以放大倍数缩放到原始尺寸上，求得的轮廓为最终的裂缝轮廓。
Claims (8)
1.一种基于深度学习和图像处理的混凝土表观裂缝分割方法，其特征在于，包括如下步骤：
(1)获取已有混凝土表观带有裂缝的数字图像，在数字图像上以像素为单位对裂缝进行标注，对标注结果处理后得到裂缝掩码图；
(2)将掩码后的混凝土表观数字图像划分成训练集和验证集，分别将训练集和验证集内的图像切割成子图，删除没有裂缝的子图；
(3)构建表观裂缝粗分割模型，利用训练集对粗分割模型进行训练，将验证集用于训练后的粗分割模型，保存在验证集上召回率最高时粗分割模型权重参数；
(4)将待检测混凝土表观数字图像切割成子图，将子图集合输入到步骤(3)中经过验证集后的粗分割模型，获得子图裂缝粗分割结果，将所有子图裂缝粗分割结果进行合并，得到整图的裂缝粗分割结果图；
(5)对待检测混凝土表观数字图像的原图和步骤(4)得到的裂缝粗分割结果图进行插值，得到粗分割结果的细化分割结果图；
(6)求取细化分割结果图的轮廓，将轮廓坐标除以放大倍数缩放到原始尺寸上，求得的轮廓为最终的裂缝轮廓。
2.根据权利要求1所述的混凝土表观裂缝分割方法，其特征在于，所述步骤(2)中掩码为1时，表示当前子图存在裂缝；掩码为0时，表示当前子图无裂缝。
3.根据权利要求1所述的混凝土表观裂缝分割方法，其特征在于，所述步骤(3)中粗分割模型为5个不同残差U型模块构成的两级嵌套U型结构；所述残差U型模块包括RSU7、RSU6、RSU5、RSU4、RSU4F；
所述粗分割模型包括编码结构和解码结构；
所述编码结构包括5个残差U型模块和相应的2倍降采样，编码结构包括依次顺序设置的RSU7、降采样、RSU6、降采样、RSU5、降采样、RSU4、降采样、RSU4F、降采样、RSU4F，图像输入到RSU7模块后，依次通过降采样、RSU6、降采样、RSU5、降采样、RSU4、降采样、RSU4F、降采样，最后从RSU4F模块输出；
所述解码结构包括5个残差U型结构以及相应的2倍上采样，解码结构包括依次顺序设置的上采样、RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样、RSU7，编码结构RSU4F模块输出作为上采样的输入，然后依次通过RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样后，最后从RSU7模块输出；所述编码结构和解码结构之间进行跳跃连接；
所述残差U型模块RSU7、RSU6、RSU5、RSU4包括编码结构和解码结构；所述编码结构为依次顺序设置conv3×3、(conv3×3+降采样)×n、conv3×3、conv3×3，RSU7、RSU6、RSU5、RSU4中的n分别为5、4、3、2；解码结构为依次顺序设置的conv3×3、(conv3×3+上采样)×n，其中乘以n表示重复n次；
RSU4F包括编码结构和解码结构：编码结构为依次顺序设置conv3×3、(conv3×3)×3、conv3×3；解码结构为依次顺序设置的(conv3×3)×3，其中乘以3表示重复3次；
所述残差U型模块RSU7、RSU6、RSU5、RSU4、RSU4F编码结构和解码结构之间进行跳跃连接。
4.根据权利要求3所述的混凝土表观裂缝分割方法，其特征在于，所述conv3×3模块包括3×3的卷积、批标准化和非线性激活组合。
5.根据权利要求3所述的混凝土表观裂缝分割方法，其特征在于，在粗分割模块的解码结构中，对上采样、RSU4F、上采样、RSU4、上采样、RSU5、上采样、RSU6、上采样、RSU7中每一模块输出的特征图通过1×1卷积预测相应特征对应类别，并上采样到原图大小，通过激活函数Sigmoid得到对应存在裂缝的概率矩阵p1至p6，计算过程表示为：
Sigmoid(UpSampling32(Conv2D(RSU4F)))→p6,
Sigmoid(UpSampling16(Conv2D(RSU4F)))→p5,
Sigmoid(UpSampling8(Conv2D(RSU4)))→p4，
Sigmoid(UpSampling4(Conv2D(RSU5)))→p3，
Sigmoid(UpSampling2(Conv2D(RSU6)))→p2，
Sigmoid(Conv2D(RSU7))→p1，
将概率矩阵p1至p6通过卷积进行融合，通过激活函数Sigmoid得到融合的概率矩阵，融合后存在裂缝的概率矩阵p为粗分割模型的输出，计算过程为：
Sigmoid(Conv2D(Concatenate([p1,p2,p3,p4,p5,p6])))→p
其中UpSamplingk中的k表示上采样UpSampling系数。
6.根据权利要求1所述的混凝土表观裂缝分割方法，其特征在于，步骤3训练过程中对图像数据进行增强操作，所述增强操作包括：左右翻转、上下翻转、分段仿射、裁剪、旋转90度、欢度变换，训练时从所述增强操作中任选一种进行；
所述训练过程中采用加权交叉熵损失以及杰卡德相似度组合损失，同时加上权重衰减，对于粗分割模型输出的每个概率矩阵，相应的损失损失函数表示为：
其中表达式等号后第一项weighted_binary_crossentropy表示加权交叉熵损失，第二项jaccard_loss表示杰卡德相似度损失，第三项
表示权重的L2范数惩罚项，m表示权重个数，λ表示惩罚系数，wj表示相应权重；
所述训练过程中，先采用学习率预热的方式进行模型训练，训练过程为：采用一个预先设置的学习率进行训练，然后逐步增大学习率，直到达到设定的较大学习率时结束；然后，利用学习率余弦退火调整方式进行训练，训练过程为：
对学习率进行调整，直到达到所设训练轮次结束模型训练，其中，公式中lrmin表示所设第一学习率，lrmax表示所设第二学习率，第二学习率大于第一学习率，学习率为步长，Tcur表示当前所在轮次，Tall表示设定轮次。
7.根据权利要求1所述的混凝土表观裂缝分割方法，其特征在于，所述步骤(5)插值过程为：
(501)首先进行三倍双线性插值，计算插值后的粗分割结果连通域，在每个连通域内提取出粗分割结果对应的前景像素集，对应的标签等于1；
(502)根据像素强度将前景像素集分为两簇，较低像素强度的簇为裂缝前景像素，另一簇为背景簇；
(503)从插值后的粗分割结果将背景簇对应的标签置0，得到最终的细化分割结果图。
8.根据权利要求1所述的混凝土表观裂缝分割方法，其特征在于，步骤(4)对于重合部分，合并原则为优先保留当前子图为裂缝的预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110854998.1A CN113744185A (zh) | 2021-07-28 | 2021-07-28 | 一种基于深度学习和图像处理的混凝土表观裂缝分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110854998.1A CN113744185A (zh) | 2021-07-28 | 2021-07-28 | 一种基于深度学习和图像处理的混凝土表观裂缝分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113744185A true CN113744185A (zh) | 2021-12-03 |
Family
ID=78729261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110854998.1A Pending CN113744185A (zh) | 2021-07-28 | 2021-07-28 | 一种基于深度学习和图像处理的混凝土表观裂缝分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744185A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049356A (zh) * | 2022-01-17 | 2022-02-15 | 湖南大学 | 一种结构表观裂缝检测方法、装置及系统 |
| CN116052006A (zh) * | 2023-03-29 | 2023-05-02 | 山东建筑大学 | 基于多任务学习与对偶彩票假说的建筑物边缘优化方法 |
-
2021
- 2021-07-28 CN CN202110854998.1A patent/CN113744185A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049356A (zh) * | 2022-01-17 | 2022-02-15 | 湖南大学 | 一种结构表观裂缝检测方法、装置及系统 |
| CN114049356B (zh) * | 2022-01-17 | 2022-04-12 | 湖南大学 | 一种结构表观裂缝检测方法、装置及系统 |
| CN116052006A (zh) * | 2023-03-29 | 2023-05-02 | 山东建筑大学 | 基于多任务学习与对偶彩票假说的建筑物边缘优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222591B (zh) | 一种基于深度神经网络的车道线检测方法 | |
| CN111127449B (zh) | 一种基于编码器-解码器的自动化裂缝检测方法 | |
| CN109146944B (zh) | 一种基于深度可分卷积神经网络的视觉深度估计方法 | |
| CN110853057B (zh) | 基于全局和多尺度全卷积网络的航拍图像分割方法 | |
| CN113744185A (zh) | 一种基于深度学习和图像处理的混凝土表观裂缝分割方法 | |
| CN113610778B (zh) | 一种基于语义分割的桥梁表面裂纹检测方法与系统 | |
| CN110956196B (zh) | 一种城市建筑物窗墙比自动识别方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN114359130A (zh) | 一种基于无人机影像的道路裂缝检测方法 | |
| CN111241994A (zh) | 一种深度学习的遥感影像农村公路砂化路段的提取方法 | |
| CN111986164A (zh) | 一种基于多源Unet+Attention网络迁移的道路裂缝检测方法 | |
| CN111340080A (zh) | 一种基于互补卷积特征的高分辨率遥感影像融合方法及系统 | |
| CN112861700A (zh) | 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 | |
| CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
| CN114897790A (zh) | 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法 | |
| CN112597996B (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
| CN111047569B (zh) | 图像处理方法及装置 | |
| Xu et al. | Identification of corroded cracks in reinforced concrete based on deep learning SCNet model | |
| CN115661097A (zh) | 一种物体表面缺陷检测方法及系统 | |
| CN115512230A (zh) | 基于多头注意力的多尺度融合沥青路面裂缝识别方法 | |
| CN111738324B (zh) | 一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法 | |
| CN114863094A (zh) | 基于双支路网络的工业图像感兴趣区域分割算法 | |
| CN113762021A (zh) | 一种基于循环神经网络和注意力引导机制的复杂路面裂缝检测方法 | |
| CN116563538B (zh) | 图像分割方法及系统 | |
| CN112329603B (zh) | 一种基于图像级联的坝面裂纹缺陷定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |