CN111445446B - 一种基于改进的U-net的混凝土表面裂缝检测方法 - Google Patents

一种基于改进的U-net的混凝土表面裂缝检测方法 Download PDF

Info

Publication number
CN111445446B
CN111445446B CN202010182203.2A CN202010182203A CN111445446B CN 111445446 B CN111445446 B CN 111445446B CN 202010182203 A CN202010182203 A CN 202010182203A CN 111445446 B CN111445446 B CN 111445446B
Authority
CN
China
Prior art keywords
subunit
convolution
feature map
sampling
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010182203.2A
Other languages
English (en)
Other versions
CN111445446A (zh
Inventor
瞿中
谢钇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010182203.2A priority Critical patent/CN111445446B/zh
Publication of CN111445446A publication Critical patent/CN111445446A/zh
Application granted granted Critical
Publication of CN111445446B publication Critical patent/CN111445446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进的U‑net的混凝土表面裂缝检测方法，包括：获取待检测图像；利用预先训练好的基于改进的U‑net裂缝检测模型对待检测图像中的像素进行分类，得到分类结果；所述分类结果包括背景像素和裂缝像素。本发明提供一种基于改进的U‑net网络结构的裂缝自动化检测方法，能够实现完全依靠深度模型自动提取裂缝特征，实现混凝土裂缝的自动快速检测。

Description

一种基于改进的U-net的混凝土表面裂缝检测方法
技术领域
本发明涉及混凝土表面裂缝识别技术领域，具体涉及一种基于改进的U-net模型的混凝土表面裂缝检测方法。
背景技术
混凝土路面的损毁形式一般以裂缝的形式出现，早期的裂缝检测主要是以人工检测作为主体形式，人工检测一般通过专业设备到现场对裂缝的宽度以及损毁程度进行采集，那么人工检测就存在以下缺点：
1、人工检测不仅工作量大，对裂缝存在主观判断影响裂缝检测结果，从而影响裂缝检测的准确率与精确率，导致不能及时控制路面病害。
2、人工检测需要人员到现场采集路面情况，则会对交通造成一定影响，同时也不能保证人员的安全。
3、人工检测耗时耗钱。
传统的以人工检测作为主要方式裂缝检测已经不能够适应现代社会的发展需求。同时随着计算机技术的不断发展，硬件与软件技术不断突破，使得数字化裂缝提取技术的实现成为可能。由于裂缝提取又存在一定的难度，一般裂缝的灰度值小于其背景像素，但是在图像的采集过程中，一般会存在阴影遮蔽，甚至是存在光照不足的情况，诸如此类的噪声干扰，给裂缝的精确提取造成了一定的难度和影响。因此，研究并设计出能够精确、高效提取裂缝的算法具有重大的理论意义及应用价值。
随着科学技术的发展，深度学习发展迅速，深度学习技术也开始逐渐被应用到了裂缝检测中。国内外的专家学者提出了一系列检测方法，Zhang L.等人采用了深度卷积神经网络学习算法对路面裂缝进行自动检测，该方法在强噪声环境(包括车辆和树影等)中具有很好的识别效果。Yun Liu等人提出了一种使用多种卷积特征的边缘检测方法，该网络充分利用目标对象的多尺度和多级信息，通过融合所有卷积特征使训练图像接近目标图像。Yang Xincong等人通过全卷积神经网络来分割不同类型的裂缝，用单一像素表示预测裂缝骨架，该方法更够很好的识别图像裂缝。公开号为CN106910186A的专利文献，公开了一种基于CNN深度学习的桥梁裂缝检测方法，但是该方法使用的神经网络模板只有16像素大小，并不能满足不同宽度裂缝的检测需求。公开号为CN107133960A的专利文献，公开了一种基于全卷积神经网络(Fully Convolutional Networks，FCN)的图像裂缝分割方法，但是该方法忽略了裂缝的细节特征，没有对像素之间的关系没有充分考虑。
总的来说，裂缝状况是各类型结构健康状态评估的主要指标之一，人工勾画裂缝费时费力，传统的基于数字图像处理的裂缝检测技术适用性差、难以在复杂的工程环境中应用，基于深度学习的裂缝检测已经取得了一定的成果，但距离实际工程应用仍然有很大的提升空间。
总之，裂缝评价指标是裂缝维护的只要参考依据，传统的人工检测效率低下，传统的基于数字图像处理的裂缝检测技术适用性差、难以在复杂的工程环境中应用，基于深度学习的裂缝检测领域研究成果还不太多，仍然有很大的提升空间。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于改进的U-net的混凝土表面裂缝检测方法，用于解决现有技术的缺陷。
为实现上述目的及其他相关目的，本发明提供一种基于改进的U-net的混凝土表面裂缝检测方法，包括：
获取待检测图像；
利用预先训练好的基于改进的U-net裂缝检测模型对待检测图像中的像素进行分类，得到分类结果；所述分类结果包括背景像素和裂缝像素。
可选地，所述改进的U-net裂缝检测模型包括：
下采样模块，用于提取所述待检测图像中的特征信息，并逐步将特征信息由低维映射至高维；
上采样模块，用于逐步将特征信息由高维映射至低维，并且在将特征信息由高维映射至低维过程中，将与特征信息由低维映射至高维的过程中同维度相同的图像进行融合。
可选地，所述上采样模块包括：
第一卷积单元，包括依次连接的多个第一卷积组；
所述第一卷积组包括：
第一卷积子单元，用于对输入图像进行卷积操作；
第一池化子单元，用于对所述第一卷积子单元输出的特征图进行池化操作；
采样子单元，用于对所述第一池化子单元输出的特征图进行上采样；
第一融合子单元，用于对所述第一卷积子单元输出的特征图与所述采样子单元输出的特征图进行融合；
第二卷积子单元，用于对所述第一融合层输出的特征图进行卷积操作。
可选地，所述上采样模块还包括第三卷积单元，与所述第一卷积单元连接，包括：
Dropout层；
分别连接在Dropout层输入端和输出端的卷积层。
可选地，所述第二卷积单元包括：
第二融合子单元，用于对在下采样过程中和上采集过程中具有相同维度的图像进行融合；
第三卷积子单元，用于对所述第二融合层输出的特征图进行卷积操作。
可选地，所述下采样模块对待检测图像进行五次采样，所述上采样模块用于对相应的特征图进行五次采样。
可选地，在卷积过程中，通过零填充，使卷积过程尺度不变，卷积过程步长为1。
可选地，卷积后的特征图的大小通过下式计算：
Figure BDA0002412959880000031
其中，N表示经过卷积后的特征图的大小，O表示原图的大小，F表示卷积核大小，P表示填充数。
如上所述，本发明的一种基于改进的U-net的混凝土表面裂缝检测方法，具有以下有
益效果：
本发明提供一种基于改进的U-net网络结构的裂缝自动化检测方法，能够实现完全依靠深度模型自动提取裂缝特征，实现混凝土裂缝的自动快速检测。
附图说明
图1为本发明一实施例一种基于改进的U-net的混凝土表面裂缝检测方法的流程图；
图2为本发明一实施例0填充图像卷积示意图；
图3为本发明一实施例改进前的U-net网络示意图；
图4为本发明一实施例的改进的U-net网络示意图；
图5为本发明一实施例中的不同复杂环境背景下裂缝检测对比分析图，(1)为待检测图像，(2)为目标图像，(3)为运用改进前的U-net生成的图像，(4)为运用改进后的U-net生成的图像；
图6为本发明一实施例中的不同复杂环境背景下裂缝检测对比分析图，(1)为待检测图像，(2)为目标图像，(3)为运用改进前的U-net生成的图像，(4)为运用改进后的U-net生成的图像；
图7为本发明一实施例中的不同复杂环境背景下裂缝检测对比分析图，(1)为待检测图像，(2)为目标图像，(3)为运用改进前的U-net生成的图像，(4)为运用改进后的U-net生成的图像；
图8为本发明一实施例中的不同复杂环境背景下裂缝检测对比分析图，(1)为待检测图像，(2)为目标图像，(3)为运用改进前的U-net生成的图像，(4)为运用改进后的U-net生成的图像。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，一种基于改进的U-net的混凝土表面裂缝检测方法，包括：
S11获取待检测图像；
S12利用预先训练好的基于改进的U-net裂缝检测模型对待检测图像中的像素进行分类，得到分类结果；所述分类结果包括背景像素和裂缝像素。
本发明基于改进的U-net裂缝检测模型能够自动提取裂缝特征，完全依赖网络本身去识别裂缝，不需要人工干预，自动化程度高。
图3所示为改进前的U-net裂缝检测模型，其包括了4次上采样和4次下采样。图4为改进后的U-net裂缝检测模型，其包括了5次上采集和5次下采样，这样可以获得更深层次的裂缝细节信息。
如图2所示，对原卷积过程使用零填充，保证每次卷积过程尺度不变，保证边缘完整性。
本发明构造的U-Net结构在卷积过程中采用了零填充，同时卷积过程步长为1，如公式(1)，使卷积过后特征图的规格不会改变，最后得到的裂缝二值图像也不会受影响，保持输入输出图像规格一致。
Figure BDA0002412959880000041
其中N表示经过卷积后新的特征图规格大小，O表示原图的大小，F表示卷积核大小本发明设置为3，因为更小的步长使卷积效果更好，这里设步长S为1，P表示填充数。
在一实施例中，所述改进的U-net裂缝检测模型包括：
下采样模块，用于提取所述待检测图像中的特征信息，并逐步将特征信息由低维映射至高维；
上采样模块，用于逐步将特征信息由高维映射至低维，并且在将特征信息由高维映射至低维过程中，将与特征信息由低维映射至高维的过程中同维度相同的图像进行融合。
在一实施例中，所述上采样模块包括：
第一卷积单元，包括依次连接的多个第一卷积组；
所述第一卷积组包括：
第一卷积子单元11，用于对输入图像进行卷积操作；
第一池化子单元12，用于对所述第一卷积子单元输出的特征图进行池化操作；
采样子单元，用于对所述第一池化子单元输出的特征图进行上采样；
第一融合子单元17，用于对所述第一卷积子单元输出的特征图与所述采样子单元输出的特征图进行融合；
第二卷积子单元18，用于对所述第一融合层输出的特征图进行卷积操作。
在本实施例中包括了五个第一卷积组，此处构建网络以图像集400*400像素为例作为说明，具体如下所示。
首先输入经过归一化后的图像，图像经过第一个卷积子单元，特征图变为400×400×32，经过第一个池化子单元之后特征图的规格变为200×200×32。第一个池化子单元之后的特征图继续进行如原U-net结构一样卷积、池化操作。特征图经过第二个卷积组规格变为200×200×64，经过第二个池化子单元后规格变为100×100×64；特征图经过第三个卷积子单元规格变为100×100×128，经过第三个池化子单元后规格变为50×50×128；特征图经过第四个卷积子单元规格变为50×50×256，经过第四个池化子单元之后规格变为25×25×256；特征图经过第五个卷积子单元规格变为25×25×512，然后经过5×5的池化子单元将其尺寸变为5×5×512然后经过一个卷积层和一个Dropout层13与一个卷积层，将特征图规格变为5×5×1024，下采样阶段完成。
第一个采样子单元将特征图进行反卷积操作，特征图规格变为400×400×32。第一个卷积子单元之后的特征图尺寸为400×400×32，将其与第一个池化子单元，进行了反卷积操作之后的特征图进行融合，融合后的图为400×400×64，不能与上采样阶段的特征图进行融合，所以需经过一个卷积子单元(第二卷积子单元)，将其规格变为400×400×32。后面的每个采样子单元都进行如此的操作，第二个采样子单元输出的特征图的尺寸为200×200×64；第三个采样子单元输出的特征图的特征图尺寸为100×100×128；第四个采样子单元输出的特征图的尺寸为50×50×256，第五个采样子单元输出的特征图为25×25×512。
在一实施例中，所述第二卷积单元包括：
第二融合子单元14，用于对在下采样过程中和上采集过程中具有相同维度的图像进行融合；
第三卷积子单元15，用于对所述第二融合层输出的特征图进行卷积操作。
在上采样阶段，则是通过反卷积操作恢复与其对应的网络层的特征图尺寸。下采样将特征图尺寸变为25×25×1024，第五个第二融合子单元将25×25×1024的特征图与第五个第二卷积子单元输出的特征图进行融合后特征图变为25×25×512，第四个第二融合子单元将第四个第二卷积子单元输出的特征图与第五个第三卷积子单元输出的特征图进行融合，得到50×50×256的特征图，第三个第二融合子单元将第三个第二卷积子单元输出的特征图与第四个第三卷积子单元输出的特征图进行融合，第二个第二融合子单元将第二个第二卷积子单元输出的特征图与第三个第三卷积子单元输出的特征图进行融合，第一个第二融合子单元将第一个第二卷积子单元输出的特征图与第二个第三卷积子单元输出的特征图进行融合，得到尺寸恢为400×400×32的特征图。经过最后一个卷积层与一个Sigmoid激活层16，将图像中的每个像素都分为两类，背景像素与裂缝像素。
设置三个指标：精确率(precision)＝TP/(TP+FP)、召回率(recall)＝TP/(TP+FN)，F＝2×精确率×召回率/(精确率+召回率)。
如图5～8是本发明所述实例中的不同复杂环境背景下裂缝检测对比分析图结果示意图。其与原U-net的比较结果如表1精确率，表2召回率，表3F1。
表1精确率比较
Image U-net(％) 本章算法(％)
图5 80.65 86.63
图6 79.23 77.76
图7 85.20 88.37
图8 71.81 76.36
表2召回率比较
Image U-net(％) 本章算法(％)
图5 80.05 86.58
图6 80.34 84.58
图7 84.76 82.95
图8 74.03 77.61
表3 F1比较
Image U-net(％) 本章算法(％)
图5 81.19 86.31
图6 80.35 86.60
图7 79.78 81.02
图8 84.98 85.57
实验结果表明，本发明算法在精确率，召回率,F1综合评价指标，均优于U-net算法，改善了U-net存在裂缝像素缺失的问题，同时提高了裂缝检测的精确度，能够精确、快速地检测到混凝土表面裂缝，能够有效排除污点、掉块、渗漏水等多种干扰因素，具有较强的鲁棒性。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (4)

1.本发一种基于改进的U-net的混凝土表面裂缝检测方法，其特征在于，包括：
获取待检测图像；
利用预先训练好的基于改进的U-net裂缝检测模型对待检测图像中的像素进行分类，得到分类结果；所述分类结果包括背景像素和裂缝像素；
所述改进的U-net裂缝检测模型包括：
下采样模块，用于提取所述待检测图像中的特征信息，并逐步将特征信息由低维映射至高维；
上采样模块，用于逐步将特征信息由高维映射至低维，并且在将特征信息由高维映射至低维过程中，将与特征信息由低维映射至高维的过程中同维度相同的图像进行融合；
所述上采样模块包括：
第一卷积单元，包括依次连接的多个第一卷积组；
所述第一卷积组包括：
第一卷积子单元，用于对输入图像进行卷积操作；
第一池化子单元，用于对所述第一卷积子单元输出的特征图进行池化操作；
采样子单元，用于对所述第一池化子单元输出的特征图进行上采样；
第一融合子单元，用于对所述第一卷积子单元输出的特征图与所述采样子单元输出的特征图进行融合；
第二卷积子单元，用于对第一融合层输出的特征图进行卷积操作；
所述上采样模块还包括第三卷积单元，与所述第一卷积单元连接，包括：
Dropout层；
分别连接在Dropout层输入端和输出端的卷积层；
第二卷积单元包括：
第二融合子单元，用于对在下采样过程中和上采集过程中具有相同维度的图像进行融合；
第三卷积子单元，用于对第二融合层输出的特征图进行卷积操作；
首先输入经过归一化后的图像，图像经过第一个卷积子单元，特征图变为
Figure 655071DEST_PATH_IMAGE002
，经过第一个池化子单元之后特征图的规格变为
Figure 883796DEST_PATH_IMAGE004
；第一个池化子单元之后的特征图继续进行如原U-net结构一样卷积、池化操作；特征图经过第二个卷积组规格变为
Figure 991430DEST_PATH_IMAGE006
，经过第二个池化子单元后规格变为
Figure 199688DEST_PATH_IMAGE008
；特征图经过第三个卷积子单元规格变为
Figure 76377DEST_PATH_IMAGE010
，经过第三个池化子单元后规格变为
Figure 947775DEST_PATH_IMAGE012
；特征图经过第四个卷积子单元规格变为
Figure 277125DEST_PATH_IMAGE014
，经过第四个池化子单元之后规格变为
Figure 928555DEST_PATH_IMAGE016
；特征图经过第五个卷积子单元规格变为
Figure 659751DEST_PATH_IMAGE018
，然后经过
Figure 466164DEST_PATH_IMAGE020
的池化子单元将其尺寸变为
Figure 282810DEST_PATH_IMAGE022
然后经过一个卷积层和一个Dropout层13与一个卷积层，将特征图规格变为
Figure 346055DEST_PATH_IMAGE024
，下采样阶段完成；
第一个采样子单元将特征图进行反卷积操作，特征图规格变为
Figure DEST_PATH_IMAGE025
；第一个卷积子单元之后的特征图尺寸为
Figure 744806DEST_PATH_IMAGE026
，将其与第一个池化子单元，进行了反卷积操作之后的特征图进行融合，融合后的图为
Figure 236967DEST_PATH_IMAGE028
，不能与上采样阶段的特征图进行融合，所以需经过一个卷积子单元，将其规格变为
Figure 383653DEST_PATH_IMAGE026
；后面的每个采样子单元都进行如此的操作，第二个采样子单元输出的特征图的尺寸为
Figure 471826DEST_PATH_IMAGE006
；第三个采样子单元输出的特征图的特征图尺寸为
Figure 380876DEST_PATH_IMAGE010
；第四个采样子单元输出的特征图的尺寸为
Figure 30556DEST_PATH_IMAGE014
，第五个采样子单元输出的特征图为
Figure 87374DEST_PATH_IMAGE018
；
在上采样阶段，则是通过反卷积操作恢复与其对应的网络层的特征图尺寸，下采样将特征图尺寸变为
Figure 979238DEST_PATH_IMAGE030
，第五个第二融合子单元将
Figure DEST_PATH_IMAGE031
的特征图与第五个第二卷积子单元输出的特征图进行融合后特征图变为
Figure 70691DEST_PATH_IMAGE018
，第四个第二融合子单元将第四个第二卷积子单元输出的特征图与第五个第三卷积子单元输出的特征图进行融合，得到
Figure 153922DEST_PATH_IMAGE014
的特征图，第三个第二融合子单元将第三个第二卷积子单元输出的特征图与第四个第三卷积子单元输出的特征图进行融合，第二个第二融合子单元将第二个第二卷积子单元输出的特征图与第三个第三卷积子单元输出的特征图进行融合，第一个第二融合子单元将第一个第二卷积子单元输出的特征图与第二个第三卷积子单元输出的特征图进行融合，得到尺寸恢为
Figure 370140DEST_PATH_IMAGE026
的特征图；经过最后一个卷积层与一个Sigmoid激活层，将图像中的每个像素都分为两类，背景像素与裂缝像素。
2.根据权利要求1所述的基于改进的U-net的混凝土表面裂缝检测方法，其特征在于，所述下采样模块对待检测图像进行五次采样，所述上采样模块用于对相应的特征图进行五次采样。
3.根据权利要求1所述的基于改进的U-net的混凝土表面裂缝检测方法，其特征在于，在卷积过程中，通过零填充，使卷积过程尺度不变，卷积过程步长为1。
4.根据权利要求3所述的基于改进的U-net的混凝土表面裂缝检测方法，其特征在于，卷积后的特征图的大小通过下式计算：
Figure DEST_PATH_IMAGE033
其中，
Figure DEST_PATH_IMAGE035
表示经过卷积后的特征图的大小，
Figure DEST_PATH_IMAGE037
表示原图的大小，
Figure DEST_PATH_IMAGE039
表示卷积核大小，P表示填充数。
CN202010182203.2A 2020-03-16 2020-03-16 一种基于改进的U-net的混凝土表面裂缝检测方法 Active CN111445446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010182203.2A CN111445446B (zh) 2020-03-16 2020-03-16 一种基于改进的U-net的混凝土表面裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010182203.2A CN111445446B (zh) 2020-03-16 2020-03-16 一种基于改进的U-net的混凝土表面裂缝检测方法

Publications (2)

Publication Number Publication Date
CN111445446A CN111445446A (zh) 2020-07-24
CN111445446B true CN111445446B (zh) 2022-05-10

Family

ID=71650593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010182203.2A Active CN111445446B (zh) 2020-03-16 2020-03-16 一种基于改进的U-net的混凝土表面裂缝检测方法

Country Status (1)

Country Link
CN (1) CN111445446B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489023A (zh) * 2020-12-02 2021-03-12 重庆邮电大学 一种基于多尺度和多层次的路面裂缝检测方法
CN114842364A (zh) * 2022-07-04 2022-08-02 北京科技大学 一种露天矿山边坡图像裂隙参数提取方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276095A (ja) * 2008-05-12 2009-11-26 Jfe Civil Engineering & Construction Corp 非破壊探傷方法とその装置
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN110120038A (zh) * 2019-05-07 2019-08-13 重庆同济同枥信息技术有限公司 一种基于对抗生成网络的路面裂缝缺陷检测方法
CN110120041A (zh) * 2019-05-14 2019-08-13 郑州大学 路面裂缝图像检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276095A (ja) * 2008-05-12 2009-11-26 Jfe Civil Engineering & Construction Corp 非破壊探傷方法とその装置
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN110120038A (zh) * 2019-05-07 2019-08-13 重庆同济同枥信息技术有限公司 一种基于对抗生成网络的路面裂缝缺陷检测方法
CN110120041A (zh) * 2019-05-14 2019-08-13 郑州大学 路面裂缝图像检测方法

Also Published As

Publication number Publication date
CN111445446A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
Ali et al. Structural crack detection using deep convolutional neural networks
CN109493320B (zh) 基于深度学习的遥感影像道路提取方法及系统、存储介质、电子设备
CN112232391B (zh) 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
CN109978032B (zh) 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法
CN111445446B (zh) 一种基于改进的U-net的混凝土表面裂缝检测方法
CN106529550A (zh) 基于连通域分析的多维特征量提取方法及装置
US20220406090A1 (en) Face parsing method and related devices
CN113240623B (zh) 一种路面病害检测方法及装置
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN111986164A (zh) 一种基于多源Unet+Attention网络迁移的道路裂缝检测方法
CN113989287A (zh) 城市道路遥感图像分割方法、装置、电子设备和存储介质
CN116012653A (zh) 一种注意力残差单元神经网络高光谱图像分类方法及系统
CN115330703A (zh) 基于上下文信息融合的遥感影像云与云阴影检测方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN117876836A (zh) 基于多尺度特征提取和目标重建的图像融合方法
Jia et al. Sample generation of semi‐automatic pavement crack labelling and robustness in detection of pavement diseases
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN115456973A (zh) 渗漏水病害检测与识别模型的建立方法、装置及设备
CN115345859A (zh) 隧道渗漏水图像的智能检测方法、装置、设备及存储介质
CN115631370A (zh) 一种基于卷积神经网络的mri序列类别的识别方法及装置
CN115761613A (zh) 一种基于卷积网络的隧道裂缝自动检测方法
CN112183596B (zh) 结合局部网格约束和几何约束的直线段匹配方法与系统
CN114240924A (zh) 一种基于数字化技术的电网设备质量评估方法
CN109472766B (zh) 桥梁螺栓区域定位方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant