CN114581780A - 一种改进U-Net网络结构的隧道表面裂缝检测方法 - Google Patents

一种改进U-Net网络结构的隧道表面裂缝检测方法 Download PDF

Info

Publication number
CN114581780A
CN114581780A CN202210283169.7A CN202210283169A CN114581780A CN 114581780 A CN114581780 A CN 114581780A CN 202210283169 A CN202210283169 A CN 202210283169A CN 114581780 A CN114581780 A CN 114581780A
Authority
CN
China
Prior art keywords
network model
crack detection
improved
net network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210283169.7A
Other languages
English (en)
Inventor
周强
瞿中
鞠芳蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210283169.7A priority Critical patent/CN114581780A/zh
Publication of CN114581780A publication Critical patent/CN114581780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及裂缝检测技术领域，具体涉及一种改进U‑Net网络结构的隧道表面裂缝检测方法，包括采集隧道表面图像集；对图像集进行筛选，得到数据集；将数据集分解为训练集和测试集，并对训练集和测试集进行标注；使用隧道表面裂缝数据集来训练改进U‑Net网络模型，得到裂缝检测网络模型；将裂缝检测网络模型加载在训练集上，得到参数权重；使用裂缝检测网络模型基于参数权重在标注的测试集上进行测试，得到预测结果；通过预测结果对裂缝检测网络模型进行评估，通过评估合格的裂缝检测网络模型使用基于连通域标记分类算法对图像集中的裂缝进行分类和严重程度评估，解决数字图像处理技术对裂缝检测的准确率较低的问题。

Description

一种改进U-Net网络结构的隧道表面裂缝检测方法
技术领域
本发明涉及裂缝检测技术领域，尤其涉及一种改进U-Net网络结构的隧道表面裂缝检测方法。
背景技术
裂缝是隧道表面病害中最常见的表现形式，能够及时反映当前隧道的真实状况。在隧道日常的养护中，对隧道进行定期检测可以及时发现裂缝并对其进行修复，减少裂缝对隧道安全的影响，提高公路的使用寿命。
随着图像处理技术的不断发展，许多学者开始利用数字图像处理技术进行裂缝检测，但是由于裂缝形状复杂的背景条件，光照强度的不均匀，复杂的拓扑环境导致这些检测方法不能很好的检测出裂缝，造成裂缝检测的准确率较低。
发明内容
本发明的目的在于提供一种改进U-Net网络结构的隧道表面裂缝检测方法，旨在解决数字图像处理技术对裂缝检测的准确率较低的问题。
为实现上述目的，本发明提供了一种改进U-Net网络结构的隧道表面裂缝检测方法，包括以下步骤：
S1采集隧道表面图像集；
S2对所述图像集进行筛选，得到数据集；
S3将所述数据集分解为训练集和测试集，并对所述训练集和所述测试集进行标注；
S4使用隧道表面裂缝数据集来训练改进U-Net网络模型，得到裂缝检测网络模型；
S5将所述裂缝检测网络模型加载在所述训练集上，得到参数权重；
S6使用所述裂缝检测网络模型基于所述参数权重在标注的所述测试集上进行测试，得到预测结果；
S7通过所述预测结果对所述裂缝检测网络模型进行评估，评估合格，执行步骤S8，评估不合格，返回步骤S4；
S8通过所述裂缝检测网络模型使用基于连通域标记分类算法对所述图像集中的裂缝进行分类和严重程度评估。
其中，所述使用隧道表面裂缝数据集来训练改进U-Net网络模型，得到裂缝检测网络模型的具体方式为：
S41在U-Net网络模型中添加空洞卷积和侧边网络，得到改进U-Net网络模型；
S42将多尺度空洞卷积模块融入到编码器最后阶段，并为所述编码器设置不同的空洞率，得到改进编码器；
S43在解码器和所述改进编码器阶段采用跳层连接；
S44所述解码器通过所述改进编码器提取隧道表面裂缝数据集特征，并对所述特征进行侧边输出预测，得到多个侧边输出；
S45使用多尺度特征融合模块对多个所述侧边输出进行融合，得到最终预测图；
S46使用所述最终预测图对所述改进U-Net网络模型进行训练，得到裂缝检测网络模型。
其中，所述编码器的空洞率分别为6、12、18和24。
其中，所述编码器具有5个卷积块，每一所述卷积块采用连续的3个卷积层，所述编码器的通道数依次为64、128、256和1024，所述解码器的通道数依次为1024、256、128和64。
其中，所述使用所述最终预测图对所述改进U-Net网络模型进行训练，得到裂缝检测网络模型的具体方式为：
S461将所述改进U-Net网络模型导入学习库；
S462通过所述学习库设置所述改进U-Net网络的模型参数；
S463为所述改进U-Net网络配置服务器；
S464将所述最终预测图输入所述改进U-Net网络后在所述服务器上进行实验，得到实验结果；
S465基于所述实验结果对所述模型参数进行调整；
S466重复步骤S462至步骤S465，直至所述实验结果到达预设值。
本发明的一种改进U-Net网络结构的隧道表面裂缝检测方法，采集隧道表面图像集；对所述图像集进行筛选，得到数据集；将所述数据集分解为训练集和测试集，并对所述训练集和所述测试集进行标注；使用隧道表面裂缝数据集来训练改进U-Net网络模型，得到裂缝检测网络模型；将所述裂缝检测网络模型加载在所述训练集上，得到参数权重；使用所述裂缝检测网络模型基于所述参数权重在标注的所述测试集上进行测试，得到预测结果；通过所述预测结果对所述裂缝检测网络模型进行评估，通过评估合格的所述裂缝检测网络模型使用基于连通域标记分类算法对所述图像集中的裂缝进行分类和严重程度评估，通过所述裂缝检测网络模型实现了像素级别的裂缝检测，解决数字图像处理技术对裂缝检测的准确率较低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种改进U-Net网络结构的隧道表面裂缝检测方法。
图2是多尺度空洞卷积模块的示意图。
图3是多尺度特征融合模块的示意图。
图4是裂缝检测网络模型的示意图。
图5是DeepCrack测试数据集的测试结果。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1至图5，本发明提供一种改进U-Net网络结构的隧道表面裂缝检测方法，包括以下步骤：
S1采集隧道表面裂缝图像集；
具体的，使用车载或无人机等带有数字相机的设备，采集隧道表面图像集。
S2对所述图像集进行筛选，得到数据集；
具体的，对所述图像集进行筛选，将具有明显裂缝特征的图片作为数据集。
S3将所述数据集分解为训练集和测试集，并对所述训练集和所述测试集进行标注；
S4使用隧道表面裂缝数据集来训练改进U-Net网络模型，得到裂缝检测网络模型；具体方式为：
S41在U-Net网络模型中添加空洞卷积和侧边网络，得到改进U-Net网络模型；
S42将多尺度空洞卷积模块融入到编码器最后阶段，并为所述编码器设置不同的空洞率，得到改进编码器；
具体的，所述编码器的空洞率分别为6、12、18和24。所述编码器具有5个卷积块，每一所述卷积块采用连续的3个卷积层，所述编码器的通道数依次为64、128、256和1024。现有裂缝检测方法大都使用较深的网络对裂缝特征进行提取，但是网络都存在着感受野不够的情况，感受野太小会导致网络无法获取全局的信息。因此获取足够大的感受野对于网络模型来说十分重要，空洞卷积来能够在不增加参数量的情况扩大感受野。空洞卷积的引入能够增加网络的感受野，使用不同空洞率大小得到的卷积网络感受野。通过控制空洞率的大小能够获取不同大小的感受野，从而获取更加全局的信息。因此组合不同尺度的多尺度空洞卷积，能够有效提高网络的检测精度。对于裂缝检测而言，隧道表面环境复杂，裂缝宽度变化剧烈，因此需要使用不同尺度的感受野来提出不同尺度的特征。为解决该问题，本发明在特征提取的最后阶段引入一种新的空洞卷积策略即多尺度空洞卷积模块，可以在扩大网络感受域的同时减少局部信息的丢失，确保网络能够提取多尺度的特征。多尺度空洞卷积的空洞率排列方式采用由小到大的方式，因此能够覆盖不同尺度的特征信息。如图2所示，空洞率小的卷积可以提取本地信息，空洞率大的可以提取长距离信息，这样顶层卷积层可以从更大范围的像素中提取特征，确保网络能获取全局特征信息。多尺度空洞卷积在不增加额外的模块的情况下自然地扩大网络的感受野，而且能够自然地融入网络的原始层中，可以稳健地提取上下文语义信息和不同类型的裂缝特征。
S43在解码器和所述改进编码器阶段采用跳层连接；
具体的，所述解码器的通道数依次为1024、256、128和64。
S44所述解码器通过所述改进编码器提取隧道表面裂缝数据集特征，并对所述特征进行侧边输出预测，得到多个侧边输出；
具体的，在编码器和解码器中间采用了跳层连接的方式来保留网络的特征信息。在解码器特征处理阶段，使用1×1大小的卷积核去处理不同层次提取的裂缝特征，得到4个侧边输出。
S45使用多尺度特征融合模块对多个所述侧边输出进行融合，得到最终预测图；
具体的，在特征融合阶段，引入多尺度特征融合模块，首先对不同尺度大小的4个侧边输出使用卷积核大小为1×1卷积进行处理，分别得到四个输出特征图，然后分别将四个输出特征图上采样到与输入图像大小的尺寸，分别得到四个采样图，最后四个采样图进行拼接融合后在使用1×1的卷积进行处理得到最终预测图。在卷积神经网络中，融合不同尺度的特征对于提高网络的性能是十分重要的。网络中低层特征具有丰富的细节信息，高层特征拥有丰富的语义信息。因此融合不同尺度的信息对于裂缝检测任务十分重要。本发明采用多尺度特征融合的方式来提高裂缝检测的性能，如图3所示，首先利用1×1的卷积进行侧边输出，然后将其上采样到与输出图像大小相同的尺寸，最后将五层的特征图进行融合。多尺度特征融合模块集成多尺度、多层次的特征图，使最终预测结果更接近隧道表面真实状况。
S46使用所述最终预测图对所述改进U-Net网络模型进行训练，得到裂缝检测网络模型。具体方式为：
S461将所述改进U-Net网络模型导入学习库；
具体的，所述学习库为PyTorch。
S462通过所述学习库设置所述改进U-Net网络的模型参数；
具体的，设置模型参数：输入图像大小为256×256，学习率为le-4，五个侧边的权重分别为1、1、1、1、1，融合层权重设置为1，每100个epoch学习率降低10倍，权重衰减为2e-4，训练的epoch数量为700，并且每50个epoch保存一次模型。1个epoch表示过了1遍训练集中的所有样本。
S463为所述改进U-Net网络配置服务器；
具体的，所述服务器为Tesla-V100-SXM2-32GBGPU和4核Inter(R)Xeno(R)Sliver4214CPU的服务器。
S464将所述最终预测图输入所述改进U-Net网络后在所述服务器上进行实验，得到实验结果；
S465基于所述实验结果对所述模型参数进行调整；
S466重复步骤S462至步骤S465，直至所述实验结果到达预设值。
S5将所述裂缝检测网络模型加载在所述训练集上，得到参数权重；
S6使用所述裂缝检测网络模型基于所述参数权重在标注的所述测试集上进行测试，得到预测结果；
S7通过所述预测结果对所述裂缝检测网络模型进行评估，评估合格，执行步骤S8，评估不合格，返回步骤S4；
具体的，将所述预测结果与标签图像比较并计算Precision、Recall、F-score等指标来评价模型性能；若最终预测结果较好以及评估指标值较高则证明模型满足应用要求，则保存模型用于提取隧道表面裂缝，执行步骤S8，否则，返回步骤S4修改网络模型的超参数重新训练。
S8通过所述裂缝检测网络模型使用基于连通域标记分类算法对所述图像集中的裂缝进行分类和严重程度评估。
为了验证提出的裂缝检测方法的有效性，本发明在隧道表面裂缝数据集Tunnel200上进行验证。此外，为了验证所提出的方法能达到先进水平，与当前流行的边缘检测方法HED[3]和HACNet[4]、图像分割方法U-Net[2]、裂缝检测方法、TransU-net[1]、DeepCrack[5]、FPHBN[6]进行对比，并使用Precision、Recall、F-score进行评估。在Tunnel200的测试数据集上的测试结果如图5所示，从视觉角度来看，本发明所提取的裂缝特征清晰且特征图受噪声影响较小。从客观角度出发，本发明使用Precision、Recall、F-score对最终的预测结果进行评估，从表1可以看出本发明的各项指标大都高于其他方法，综上所述，本发明提出的裂缝检测方法效果优于其他方法，具有较好的效果。
表1在Tunnel200数据集上评价指标值
Figure BDA0003558846430000071
以上所揭露的仅为本发明一种改进U-Net网络结构的隧道表面裂缝检测方法较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (5)

1.一种改进U-Net网络结构的隧道表面裂缝检测方法，其特征在于，包括以下步骤：
S1采集隧道表面图像集；
S2对所述图像集进行筛选，得到数据集；
S3将所述数据集分解为训练集和测试集，并对所述训练集和所述测试集进行标注；
S4使用隧道表面裂缝数据集来训练改进U-Net网络模型，得到裂缝检测网络模型；
S5将所述裂缝检测网络模型加载在所述训练集上，得到参数权重；
S6使用所述裂缝检测网络模型基于所述参数权重在标注的所述测试集上进行测试，得到预测结果；
S7通过所述预测结果对所述裂缝检测网络模型进行评估，评估合格，执行步骤S8，评估不合格，返回步骤S4；
S8通过所述裂缝检测网络模型使用基于连通域标记分类算法对所述图像集中的裂缝进行分类和严重程度评估。
2.如权利要求1所述的改进U-Net网络结构的隧道表面裂缝检测方法，其特征在于，
所述使用隧道表面裂缝数据集来训练改进U-Net网络模型，得到裂缝检测网络模型的具体方式为：
S41在U-Net网络模型中添加空洞卷积和侧边网络，得到改进U-Net网络模型；
S42将多尺度空洞卷积模块融入到编码器最后阶段，并为所述编码器设置不同的空洞率，得到改进编码器；
S43在解码器和所述改进编码器阶段采用跳层连接；
S44所述解码器通过所述改进编码器提取隧道表面裂缝数据集特征，并对所述特征进行侧边输出预测，得到多个侧边输出；
S45使用多尺度特征融合模块对多个所述侧边输出进行融合，得到最终预测图；
S46使用所述最终预测图对所述改进U-Net网络模型进行训练，得到裂缝检测网络模型。
3.如权利要求2所述的改进U-Net网络结构的隧道表面裂缝检测方法，其特征在于，
所述编码器的空洞率分别为6、12、18和24。
4.如权利要求2所述的改进U-Net网络结构的隧道表面裂缝检测方法，其特征在于，
所述编码器具有5个卷积块，每一所述卷积块采用连续的3个卷积层，所述编码器的通道数依次为64、128、256和1024，所述解码器的通道数依次为1024、256、128和64。
5.如权利要求2所述的改进U-Net网络结构的隧道表面裂缝检测方法，其特征在于，
所述使用所述最终预测图对所述改进U-Net网络模型进行训练，得到裂缝检测网络模型的具体方式为：
S461将所述改进U-Net网络模型导入学习库；
S462通过所述学习库设置所述改进U-Net网络的模型参数；
S463为所述改进U-Net网络配置服务器；
S464将所述最终预测图输入所述改进U-Net网络后在所述服务器上进行实验，得到实验结果；
S465基于所述实验结果对所述模型参数进行调整；
S466重复步骤S462至步骤S465，直至所述实验结果到达预设值。
CN202210283169.7A 2022-03-22 2022-03-22 一种改进U-Net网络结构的隧道表面裂缝检测方法 Pending CN114581780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210283169.7A CN114581780A (zh) 2022-03-22 2022-03-22 一种改进U-Net网络结构的隧道表面裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210283169.7A CN114581780A (zh) 2022-03-22 2022-03-22 一种改进U-Net网络结构的隧道表面裂缝检测方法

Publications (1)

Publication Number Publication Date
CN114581780A true CN114581780A (zh) 2022-06-03

Family

ID=81782746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210283169.7A Pending CN114581780A (zh) 2022-03-22 2022-03-22 一种改进U-Net网络结构的隧道表面裂缝检测方法

Country Status (1)

Country Link
CN (1) CN114581780A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115060769A (zh) * 2022-06-07 2022-09-16 深圳大学 一种基于智能反演的隧道围岩裂隙及松动检测方法、系统、终端以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115060769A (zh) * 2022-06-07 2022-09-16 深圳大学 一种基于智能反演的隧道围岩裂隙及松动检测方法、系统、终端以及存储介质
CN115060769B (zh) * 2022-06-07 2024-04-02 深圳大学 一种基于智能反演的隧道围岩裂隙及松动检测方法、系统

Similar Documents

Publication Publication Date Title
CN107368787B (zh) 一种面向深度智驾应用的交通标志识别方法
CN111127449B (zh) 一种基于编码器-解码器的自动化裂缝检测方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN111222580A (zh) 一种高精度的裂缝检测方法
CN111179244B (zh) 一种基于空洞卷积的自动化裂缝检测方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN112927253B (zh) 基于卷积神经网络的岩心fib-sem图像分割方法
CN112633149B (zh) 一种域自适应雾天图像目标检测方法和装置
CN112613375A (zh) 一种轮胎受损检测识别方法和设备
CN110717886A (zh) 复杂环境下基于机器视觉的路面坑塘检测方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN116309485A (zh) 一种改进UNet网络结构的路面裂缝检测方法
CN113762396A (zh) 一种二维图像语义分割方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN112037225A (zh) 一种基于卷积神经的海洋船舶图像分割方法
CN114581780A (zh) 一种改进U-Net网络结构的隧道表面裂缝检测方法
Quan et al. CrackViT: a unified CNN-transformer model for pixel-level crack extraction
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN112597996B (zh) 基于任务驱动的自然场景中交通标志显著性检测方法
CN117540779A (zh) 一种基于双源知识蒸馏的轻量化金属表面缺陷检测方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN109284752A (zh) 一种车辆的快速检测方法
CN115393733B (zh) 一种基于深度学习的水体自动识别方法及系统
Chen Migration learning-based bridge structure damage detection algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination