CN114897790A - 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法 - Google Patents

基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法 Download PDF

Info

Publication number
CN114897790A
CN114897790A CN202210396195.0A CN202210396195A CN114897790A CN 114897790 A CN114897790 A CN 114897790A CN 202210396195 A CN202210396195 A CN 202210396195A CN 114897790 A CN114897790 A CN 114897790A
Authority
CN
China
Prior art keywords
model
image
reinforced concrete
deeplab
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210396195.0A
Other languages
English (en)
Inventor
洪丽
朱玲玲
张鹏
宇周亮
李明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210396195.0A priority Critical patent/CN114897790A/zh
Publication of CN114897790A publication Critical patent/CN114897790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法,涉及钢筋混凝土技术领域,本发明将基于深度学习理论的图像处理法与钢筋混凝土构件表面裂缝识别相融合,基于语义分割模型DeeplabV3+,在Deeplab算法的基础上引入Encoder‑Decoder结构,并且对像素进行分割预测,可在预测结果图上更加精确地显示识别结果,同时引入准确率Accuracy、交并比IoU和F1‑score指标评价体系。

Description

基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法
技术领域:
本发明涉及钢筋混凝土技术领域,具体涉及一种基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法。
背景技术:
混凝土构件的裂缝是结构损伤评估中的一个重要特征,在利用裂缝图像数据评估裂缝对结构的损伤程度之前需要对裂缝进行识别,由于混凝土结构所处环境复杂多变,采集图像过程中也会掺入许多干扰项,如污点、光照等,因此使用传统的图像处理法识别裂缝时有诸多限制。而对于深度学习来说,利用足够多的数据集可以尽可能的减少干扰项,因此本发明基于深度学习算法对混凝土构件表面的裂缝进行识别。
目前,利用深度学习技术识别混凝土构件表面损伤的研究越来越多。有学者利用语义分割网络DeepLabV3+、ConvNet神经网络、经改进的GoogLeNet的卷积神经网络等方法对钢筋混凝土桥梁或道路的裂缝识别进行研究,有的研究准确度高达97.95%。有关钢筋混凝土既有构件中的裂缝识别技术已经较多,但是所识别的裂缝通常具有非连续性,且识别范围较小,有待进一步完善。
为了解决这一问题,本发明提出了一种将DeepLab V3+网络应用于钢筋混凝土构件表面裂缝的快速识别方法。在目前的工作中,首先采用智能手机获取图像,对图像进行数据标记和划分;然后对预处理后的图像数据集进行训练和验证,得到裂缝分割图。在此基础上,对比选取的两组深度学习模型SegNet和U-Net。结果表明,该方法的识别更准确高效。
发明内容:
为了能够更加高效、准确地识别钢筋混凝土构件表面的裂缝,并将其应用于钢筋混凝土既有构件表面损伤的研究,本发明提供了一种基于DeepLab V3+网络的钢筋混凝土构件表面裂缝的图像分割和快速识别方法。
本发明所要解决的技术问题采用以下的技术方案来实现:
基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法,包括以下步骤:
步骤一、裂缝图像数据集获取及其预处理:
(1)采集裂缝原始图像;
(2)采用PS软件对原始图像中裂缝进行标记,并添加标签;
(3)将原始图像裁剪为像素大小一致的小图像,增加样本数量,并去除不含目标裂缝的图像,确定训练集、验证集和测试集的数量;
步骤二、深度学习网络模型的构建:
(1)选择DeeplabV3+语义分割模型建立框架;
(2)原始图像输入到Deeplab V3+模型的Encoder结构中,期间其主干网络Xception会从图像中抓取一个高尺度的特征图引入Decoder结构中,以提供边缘特性;另外经过一个1×1卷积核降维后,将降维后的特征图引入Decoder结构中,特征图在Decoder结构中与边缘特征进行融合,最后上采样到原始图像大小;
(3)将得到的计算结果与标签图像进行比较,分析计算误差后采用反向传播算法对网络中的权重进行优化,最终经过多次训练迭代得到最优化权重;
步骤三、模型结果验证与分析:
(1)模型采用DeeplabV3+语义分割算法,基于最佳初始学习率,对验证集进行结果预测,并采用准确率ACC、交并比IoU和F1-score三个指标来评价模型的预测效果;
(2)将所得的预测结果与传统分析方法进行比较,进一步验证本模型的高效性和准确性。
相比于现有的技术,本发明的有益效果是:
(1)本发明将基于深度学习理论的图像处理法与钢筋混凝土构件表面裂缝识别相融合,基于语义分割模型DeeplabV3+,在Deeplab算法的基础上引入Encoder-Decoder结构,并且对像素进行分割预测,可在预测结果图上更加精确地显示识别结果;
(2)本发明引入准确率Accuracy、交并比IoU和F1-score指标评价体系;
(3)过去的传统人工标记和图像处理的方法,效率和准确率较低,而深度学习在大型的数据集上预先训练好模型参数,再进行人工调参,选取最佳的初始学习率,可以快速有效地提高准确率。
附图说明:
图1为基于深度学习识别裂缝的具体过程图;
图2为DeeplabV3+结构图;
图3为主干网络Xception结构示意图;
图4为不同初始学习率下的指标数值;
图5为DeepLabV3+在验证集中不同指标变化曲线;
图6为不同模型的裂缝识别图;
图7为裂缝数据集分割结果。
具体实施方式:
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施例和图示,进一步阐述本发明。
本发明提供了一种基于DeepLab V3+网络的钢筋混凝土构件表面裂缝的图像分割和快速识别方法,具体过程如图1所示,将基于深度学习理论的图像处理法与钢筋混凝土构件表面裂缝的识别相融合,利用语义分割模型DeeplabV3+挑选出最佳的最初学习率,并且和其他网络经典模型进行对比,从而得到高准确率、高精度的裂缝识别图。具体的优选实例如下:
Python语言中的Keras作为一种开源的神经网络库,DeeplabV3+是在windows操作系统上使用Keras搭建的,所有的训练和验证都是在GPU(Graphic Processing Unit)上完成的,具体的软件版本和硬件型号如表1:
表1环境配置表
Figure BDA0003599074040000031
步骤一、裂缝图像数据集获取及其预处理:
(1)根据所采集的数据集选择含有裂缝的原始图像,共收集到193张像素为4032×3024的原始裂缝照片。
(2)将PS软件和Labelme软件标注时间对比,前者平均用时缩短21%,采用PS软件对原始图像中待识别部分进行标记。
(3)采用图像数据增强的方法对原始图像数据进行处理。将193张像素大小为4032×3024的原始图像裁剪为17040张像素大小为384×384的小图像,同时去除不包含目标裂缝的图像,剩余4990张包含裂缝的图像,其中2994张为训练集,998张为验证集,998张为测试集。
步骤二、深度学习网络模型的构建:
(1)选择DeeplabV3+语义分割模型建立框架,DeepLabV3+网络是一种多层卷积神经网络(CNN),利用卷积核提取特征,然后将图像恢复到原始大小。图2为该算法的网络结构图。
(2)原始图像输入到Deeplab V3+模型的Encoder结构中,期间其主干网络Xception会从图像中抓取一个高尺度的特征图,引入Decoder结构中,如图3,以提供边缘特性;另外,通过Atrous空间金字塔池化(ASPP)对得到的特征映射进行降维,该算法由一个1×1卷积、三个3×3卷积(速率分别为6、12和18)和图像池化组成,将降维后的特征图引入Decoder结构中。特征图在Decoder结构中与边缘特征进行融合,最后采样到原始图像大小。
(3)将得到的计算结果与标签图像进行比较,分析计算误差后,采用反向传播算法对网络中的权重进行优化,最终经过多次训练迭代得到最优化权重。
步骤三、模型结果验证与分析:
(1)模型采用DeeplabV3+语义分割算法,基于最佳初始学习率,对验证集进行结果预测,并采用准确率ACC、交并比IoU、和F1-score三个指标来评价模型的预测效果。
数据集中的训练集共2994张图像,每次传入模型2张图片,因此每个epoch需要1497次迭代才能遍历整个数据训练集。在每次迭代过程后都会计算网络的训练损失,样本每循环训练三次就保存一次权重文件。设定当验证集loss三次不下降时,下调学习率。激活函数为ReLU函数,损失函数为交叉熵,优化器选择Adam。参数设定完成后即可开始训练,以验证集的loss为基准,当loss连续十次不再下降时,停止训练。
为了得到更好的网络参数,设置了3组不同的初始学习率进行训练,通过对比试验找到一组损失下降快,训练精度上升快的初始学习率。
图4显示了训练损失函数loss、ACC和IoU在不同初始学习率下的变化情况。
不同的评价指标可以从不同角度评价训练效果,图5分别显示了在最佳初始学习率下多种指标Loss、IoU、F1-score和ACC在训练集和验证集中的变化情况。
(2)将所得的预测结果与传统分析方法进行比较,进一步验证本模型的高效性和准确性。
从原图和分割结果图的对比分析,DeeplabV3+模型对数据集的分割效果较好,因为DeeplabV3+模型拥有金字塔ASPP模块,可以从不同尺度方向上对裂缝的特征进行采集,所以在预测过程中较高的还原了裂缝的边界特征,使其保持高分割精度。
图6列出了比较SegNet、UNet和DeeplabV3+三种模型对本数据集中裂缝的分割识别效果。从附图6b可以看出,SegNet模型丢失了一些关于裂缝的信息,因为在分割时,它没有从池化层应用足够详细的信息。此外,U-Net结合了纹理信息的高频特征和结构信息的低频特征,在附图6c的第2和第5张图像中也未能分割出裂缝。这可能是由于浅层细节特征,这包括了U-Net模型中过多的背景干扰。可见,本发明提出的基于DeepLab V3+网络的模型在GFRC图像中对裂缝的识别效果更好,图像更加完整、且形状与原标签图高度吻合,如附图6d所示。
另外,表2列出了三种模型预测效果的评价指标ACC、IoU和F1-score。从表中可以看出,DeeplabV3+模型的预测效果明显优于SegNet及UNet模型。具体表现在,相比于SegNet和UNet,DeeplabV3+模型的准确率ACC分别提高了0.8%和0.3%,交并比IoU分别提高了5.9%、2.8%,F1-score分别提高了5.3%和1.2%。
表2测试集中不同模型的定量分析
Figure BDA0003599074040000051
此外,整段梁的识别需要分段进行。在采集原始图像过程中,发现压弯试验中的梁体裂缝相对于梁体过于细小,而且,如果将梁体采集到一张图像中,视角过远、裂缝会显示不清楚,造成识别失败。针对上述问题,实验将整个梁体分成15段,在每个需要采集的受力阶段中,从梁的一端开始分段采集,即一次完整的采集需要采集15次才可完成整段梁的采集。尽可能的清晰地采集裂缝,采集结束后通过图像拼接技术将15段梁体照片拼接成一个完整的梁,这样即可以保留裂缝信息,又可以获取一段完整的梁。
试验中梁体极限荷载为480KN,选取极限荷载的20%、40%和60%三个阶段进行图像采集。图像采集后,考虑识别效率,决定采用极限荷载的60%进行裂缝识别,这时的裂缝宽度适中,且图像采集效果较好。将整段梁体从左到右平均切分成四段,采用深色标记裂缝的位置与大致形状,并放大一部分裂缝图像,放大区域用红框标出。
将采集的图像代入网络,得到裂缝分割图像,如图7所示,(a)为整段梁体,同上图一样将识别结果切分成四部分,(b)为分割图的区域放大图,放大区域为(a)中红框部分。
经过计算整段梁识别的ACC和IoU分别为98.1%和68.7%,识别效果较好,证明了该方法在工程实践中的可行性。
本发明基于深度学习的图像识别方法可以广泛运用到具体的工程项目中,如本发明所示方法,利用训练集和验证集对DeeplabV3+网络模型进行训练,便可以对钢筋混凝土构件表面的裂缝进行快速识别。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法,其特征在于,包括以下步骤:
步骤一、裂缝图像数据集获取及其预处理:
(1)采集裂缝原始图像;
(2)采用PS软件对原始图像中裂缝进行标记,并添加标签;
(3)将原始图像裁剪为像素大小一致的小图像,增加样本数量,并去除不含目标裂缝的图像,确定训练集、验证集和测试集的数量;
步骤二、深度学习网络模型的构建:
(1)选择DeeplabV3+语义分割模型建立框架;
(2)原始图像输入到Deeplab V3+模型的Encoder结构中,期间其主干网络Xception会从图像中抓取一个高尺度的特征图引入Decoder结构中,以提供边缘特性;另外经过一个1×1卷积核降维后,将降维后的特征图引入Decoder结构中,特征图在Decoder结构中与边缘特征进行融合,最后上采样到原始图像大小;
(3)将得到的计算结果与标签图像进行比较,分析计算误差后采用反向传播算法对网络中的权重进行优化,最终经过多次训练迭代得到最优化权重;
步骤三、模型结果验证与分析:
(1)模型采用DeeplabV3+语义分割算法,基于最佳初始学习率,对验证集进行结果预测,并采用准确率ACC、交并比IoU和F1-score三个指标来评价模型的预测效果;
(2)将所得的预测结果与传统分析方法进行比较,进一步验证本模型的高效性和准确性。
CN202210396195.0A 2022-04-15 2022-04-15 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法 Pending CN114897790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210396195.0A CN114897790A (zh) 2022-04-15 2022-04-15 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210396195.0A CN114897790A (zh) 2022-04-15 2022-04-15 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法

Publications (1)

Publication Number Publication Date
CN114897790A true CN114897790A (zh) 2022-08-12

Family

ID=82717910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210396195.0A Pending CN114897790A (zh) 2022-04-15 2022-04-15 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法

Country Status (1)

Country Link
CN (1) CN114897790A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115900586A (zh) * 2022-11-24 2023-04-04 合肥工业大学 一种再生砂颗粒形貌实时监测装置及实时监测方法
CN117523470A (zh) * 2023-02-24 2024-02-06 西安建科大智慧运维科技有限公司 一种钢结构疲劳裂缝识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489019A (zh) * 2020-12-01 2021-03-12 合肥工业大学 一种基于深度学习的gfrc图像中短切纤维的快速识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489019A (zh) * 2020-12-01 2021-03-12 合肥工业大学 一种基于深度学习的gfrc图像中短切纤维的快速识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI HONG 等: ""Effective segmentation of short fibers in glass fiber reinforced concrete’s X-ray images using deep learning technology"", 《ELSEVIER》, 3 August 2021 (2021-08-03), pages 1 - 9 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115900586A (zh) * 2022-11-24 2023-04-04 合肥工业大学 一种再生砂颗粒形貌实时监测装置及实时监测方法
CN117523470A (zh) * 2023-02-24 2024-02-06 西安建科大智慧运维科技有限公司 一种钢结构疲劳裂缝识别方法及系统
CN117523470B (zh) * 2023-02-24 2024-06-07 西安建筑科技大学 一种钢结构疲劳裂缝识别方法及系统

Similar Documents

Publication Publication Date Title
CN114897790A (zh) 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法
CN111222580A (zh) 一种高精度的裂缝检测方法
CN114299066B (zh) 基于显著性特征预提取与图像分割的缺陷检测方法和装置
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN110956207B (zh) 一种光学遥感影像全要素变化检测方法
CN110956196B (zh) 一种城市建筑物窗墙比自动识别方法
CN110415250A (zh) 一种基于深度学习的重叠染色体分割方法及装置
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN112489019A (zh) 一种基于深度学习的gfrc图像中短切纤维的快速识别方法
CN115937693A (zh) 一种基于遥感图像的道路识别方法及系统
CN115147380A (zh) 一种基于YOLOv5的小型透明塑料制品缺陷检测方法
CN111062437A (zh) 一种基于深度学习的桥梁结构病害自动目标检测模型
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN112115817B (zh) 基于深度学习的遥感影像道路轨迹正确性核查方法及装置
CN114241309A (zh) 一种基于ShuffleNetV2-Unet的水稻纹枯病识别方法和系统
CN113744185A (zh) 一种基于深度学习和图像处理的混凝土表观裂缝分割方法
CN116452697B (zh) 继发性肺结核病灶检测方法和系统
CN112529003A (zh) 一种基于Faster-RCNN的仪表盘数字识别方法
CN109543716B (zh) 一种基于深度学习的k线形态图像识别方法
CN115761613B (zh) 一种基于卷积网络的隧道裂缝自动检测方法
CN116052110A (zh) 一种路面标线缺损智能定位方法及系统
CN116612382A (zh) 一种城市遥感图像目标检测方法和装置
CN112001359B (zh) 基于模式识别和最优分配的启发式多叉线修补方法
CN115273009A (zh) 基于深度学习的道路裂纹检测方法及系统
CN114463289A (zh) 一种钢轨损伤检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination