CN116416244A - 一种基于深度学习的裂缝检测方法及系统 - Google Patents

一种基于深度学习的裂缝检测方法及系统 Download PDF

Info

Publication number
CN116416244A
CN116416244A CN202310492746.8A CN202310492746A CN116416244A CN 116416244 A CN116416244 A CN 116416244A CN 202310492746 A CN202310492746 A CN 202310492746A CN 116416244 A CN116416244 A CN 116416244A
Authority
CN
China
Prior art keywords
deep
features
convolution
feature
crack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310492746.8A
Other languages
English (en)
Inventor
刘国良
石昌腾
田国会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310492746.8A priority Critical patent/CN116416244A/zh
Publication of CN116416244A publication Critical patent/CN116416244A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明提出了一种基于深度学习的裂缝检测方法及系统，涉及裂缝检测技术领域。包括获取裂缝原始图像；以包含编码器模块和解码器模块的Deeplab V3+模型为基础模型，其中编码器模块包括主干特征提取网络和金字塔部分，将编码器模块的金字塔部分融合SA‑Net注意力模块，同时将解码器的浅层特征和深层特征融合之后的卷积层替换为深度可分离卷积，搭建SA‑Deeplab V3+模型；将裂缝原始图像输入至SA‑Deeplab V3+模型中，进行特征提取并得到裂缝预测图像。本发明对于裂缝的检测准确率较高、效率更高、泛化能力更强。

Description

一种基于深度学习的裂缝检测方法及系统
技术领域
本发明属于裂缝检测技术领域，尤其涉及一种基于深度学习的裂缝检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
裂缝是常见灾害之一，不仅存在于建筑中，还存在于公路以及机场道路上。在建筑物上，一般的裂缝对于建筑的使用是没有影响的，但是如果裂缝的宽度超过一定的限值，就会变成有害裂缝，有害裂缝的存在会严重影响建筑物的使用年限。同样的，在公路以及机场道路上，较小的裂缝并不会影响公路和机场道路的使用，但是路面裂缝如果不及时进行修复，很有可能因为遭受荷载反复作用和受到恶劣天气影响而进一步加剧路面损害，甚至可能产生结构性损坏，进一步导致发生事故。因此，更加准确、及时、高效的将裂缝检测出来是十分必要的。
发明人发现，传统的检测方法虽然可以进行裂缝检测，但效率较低，局限性比较大，数据成本高，且准确率低。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于深度学习的裂缝检测方法及系统，让算法更加集中于裂缝像素，对于裂缝的检测准确率较高、效率更高、泛化能力更强。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了一种基于深度学习的裂缝检测方法。
一种基于深度学习的裂缝检测方法，包括以下步骤：
获取裂缝原始图像；
以包含编码器模块和解码器模块的Deeplab V3+模型为基础模型，其中编码器模块包括主干特征提取网络和金字塔部分，将编码器模块的金字塔部分融合SA-Net注意力模块，同时将解码器网路中的浅层特征和深层特征融合之后的卷积层替换为深度可分离卷积，搭建SA-Deeplab V3+模型，其中，浅层特征为网络中经过较少次数卷积提取得到的特征，深层特征为网络中经过较多次数卷积提取得到的特征；
将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像。
进一步的，将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像，具体为：
将裂缝原始图像输入至编码器的主干特征提取网络中，分别在经过主干特征提取网络3-5次卷积之后提取浅层特征，并经过主干特征提取网络14次以上卷积之后提取深层特征；
将深层特征输入至金字塔部分中，以不同采样率的空洞卷积对深层特征进行并行采样，以多个比例捕捉图像的上下文，得到并行采样后的特征图；
利用SA-Net注意力模块对并行采样后的特征图分配注意力权重，并将注意力权重与对应的特征图进行加权，从而得到特征加权后的深层特征；
将特征加权后的深层特征进行上采样，将上采样后的结果和浅层特征共同输入至解码器中进行堆叠，将堆叠之后的特征进行深度可分离卷积，得到有效特征图；
将有效特征图进行上采样，获得裂缝预测图像。
进一步的，利用SA-Net注意力模块对并行采样后的特征图分配注意力权重，并将注意力权重与对应的特征图进行加权，从而得到特征加权后的深层特征，具体为：
SA-Net首先将并行采样后的特征图分成G组，得到G个子特征，每个子特征被沿通道维度分成两个分支，一个分支被用于产生空间注意图，另一个分支被用于产生通道注意图，对每个子特征在训练过程中进行捕捉，通过SA-Net注意力模块为每个子特征生成相应的权重系数；
将每个子特征与对应的权重系数进行加权，得到加权后的子特征；
利用混洗机制，使得每个加权后的子特征在通道维度进行流动，并在最终将所有加权后的子特征进行通道维度整合，得到处理后的整体特征，即深层特征。
进一步的，深度可分离卷积由逐通道卷积和逐点卷积构成：
在逐通道卷积中，一个卷积核负责一个通道高，一个通道只被一个卷积核卷积，这个过程产生的特征图通道数和输入的通道数完全一样；
逐点卷积只在通道方向进行加权组合，生成有效特征图生成的特征图个数由卷积核的个数决定。
进一步的，所述SA-Deeplab V3+模型的损失函数采用Focal loss和Dice loss，其中Focal loss的计算公式为：
Figure BDA0004210895090000031
y和y’分别指代图像的标签值和预测值；a为平衡因子；γ为调节因子；Dice loss的计算公式为：
Figure BDA0004210895090000032
yi和yi′分别指代图像的标签值和预测值；N指代图像中像素的总数。
进一步的，对Focal loss融合动态补偿权重：
Figure BDA0004210895090000033
其中，y和y’分别指代图像的标签值和预测值，β1和β2是动态补偿权重系数。
进一步的，β1和β2通过以下公式进行计算：
Figure BDA0004210895090000041
Figure BDA0004210895090000042
其中，Fp为假阳性,Fn为假阴性，P为图像中裂纹像素点的总数；Sn为图像中像素的总数，
Figure BDA0004210895090000043
为整个图像中裂纹像素的百分比，/>
Figure BDA0004210895090000044
是整个图像中非裂缝像素的百分比。
本发明第二方面提供了一种基于深度学习的裂缝检测系统。
一种基于深度学习的裂缝检测系统，包括：
图像获取模块，被配置为：获取裂缝原始图像；
模型搭建模块，被配置为：以包含编码器模块和解码器模块的Deeplab V3+模型为基础模型，其中编码器模块包括主干特征提取网络和金字塔部分，将编码器模块的金字塔部分融合SA-Net注意力模块，同时将解码器网路中的浅层特征和深层特征融合之后的卷积层替换为深度可分离卷积，搭建SA-Deeplab V3+模型，其中，浅层特征为网络中经过较少次数卷积提取得到的特征，深层特征为网络中经过较多次数卷积提取得到的特征；
裂缝检测模块，被配置为：将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于深度学习的裂缝检测方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于深度学习的裂缝检测方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
本发明在SA-Deeplab V3+基础上使用了融合动态补偿权重之后的Focal loss与Dice loss的融合损失函数，构建了DWF+SA-Deeplab V3+的整体算法，在此算法基础上进行数据训练与测试，取得了较好的裂缝提取效果。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例SA-Deeplab V3+整体架构图。
图2为第一个实施例SA-Net注意力模块结构图。
图3为第一个实施例普通卷积结构示意图。
图4为第一个实施例逐通道卷积结构示意图。
图5为第一个实施例逐点卷积结构示意图。
图6(a)为第一个实施例裂缝原始图片。
图6(b)为第一个实施例裂缝标签图。
图6(c)为第一个实施例Deeplab V3+检测结果。
图6(d)为第一个实施例DWF+SA-Deeplab V3+检测。
图7为第二个实施例的系统结构图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
原有的Deeplab V3+神经网络的核心结构由两个模块组成，分别是空间金字塔池化模块和编解码模块。
具体特征提取过程如下：
将图像输入主干特征提取网络，通过主干特征提取网络获得浅层特征和深层特征，将深层特征输入到空洞金字塔池化模块ASPP，分别与四个空洞卷积层和一个池化层进行卷积和池化，得到五个特征层，然后将这些特征图拼接起来并送入一个1x1的卷积层进行运算后得到，再经过上采样得到新的特征层A。
浅层特征则直接经过1x1卷积得到降维特征B，然后与A进行拼接，再通过3x3卷积层以及上采样，最终输出与原图大小一致的预测结果。
在本发明中，经过主干特征提取网络较少次数卷积之后提取获取浅层特征，经过整个主干特征网络卷积之后提取深层特征。
本发明的整体构思：
传统的检测方法虽然可以进行裂缝检测，但效率较低，局限性比较大，数据成本高，且准确率低。随着计算机算力的发展，深度学习方法在裂缝检测上的应用逐渐增多，同时他们准确率较高，效率更高，泛化能力强。本发明根据此现状提出了一种基于深度学习的裂缝检测算法。
本发明主要基于现有深度学习网络框架提出了一种新的更为精确的裂缝检测算法，具体改进内容可以概括为一下几个方面：
1.在原有的Deeplab V3+神经网络金字塔模块中加入了Sa-Net注意力机制。
2.使用Dice loss和Focal loss融合的损失函数，减小了图像中裂缝前景占比较小而造成的损失计算干扰，提高网络对于裂缝关注。
3.提出了新的损失函数的动态补偿权重，可与焦点损失函数，交叉熵损失函数等损失函数结合使用，补偿裂缝检测过程中裂缝像素在整幅图像占比过小的问题。将动态补偿权重与Focal loss融合，并与Dice loss结合使用，替换原始的交叉熵损失函数，与SA-Deeplab V3+共同组成DWF+SA-Deeplab V3+算法模型。
本发明的算法改进主要为了让算法更加集中于裂缝像素,在数据上训练之后进行实际实验取得了很好的效果。
实施例一
本实施例公开了一种基于深度学习的裂缝检测方法。
如图1所示，一种基于深度学习的裂缝检测方法，包括以下步骤：
获取裂缝原始图像；
以包含编码器模块和解码器模块的Deeplab V3+模型为基础模型，其中编码器模块包括主干特征提取网络和金字塔部分，将编码器模块的金字塔部分融合SA-Net注意力模块，同时将解码器网路中的浅层特征和深层特征融合之后的卷积层替换为深度可分离卷积，搭建SA-Deeplab V3+模型，其中，浅层特征为网络中经过3-5次卷积提取得到的特征，深层特征为网络中经过14次以上次数卷积提取得到的特征；
将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像。
进一步的，将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像，具体为：
将裂缝原始图像输入至编码器的主干特征提取网络中，分别在经过主干特征提取网络较少次数卷积之后提取浅层特征，并经过主干特征提取网络较多次数卷积之后提取深层特征；
将深层特征输入至金字塔部分中，以不同采样率的空洞卷积对深层特征进行并行采样，以多个比例捕捉图像的上下文，得到并行采样后的特征图；
利用SA-Net注意力模块对并行采样后的特征图分配注意力权重，并将注意力权重与对应的特征图进行加权，从而得到特征加权后的深层特征；
将特征加权后的深层特征进行上采样，将上采样后的结果和浅层特征共同输入至解码器中进行堆叠，将堆叠之后的特征进行深度可分离卷积，得到有效特征图；
将有效特征图进行上采样，获得裂缝预测图像。
在本实施例中，浅层特征为网络中经过3-5次卷积提取得到的特征，深层特征为网络中经过14次以上次数卷积提取得到的特征。
具体的：
(一)整体网络框架SA-Deeplab V3+
为了降低上采样所造成的信息损失，把Deeplab V3+模型中的解码器部分浅层特征和深层特征融合之后的3x3卷积层换为深度可分离卷积。同时为了让算法更加关注裂缝像素，我们将模型中的金字塔部分(ASPP)融合了SA-Net注意力模块，具体网络结构如图1所示。
SA-Deeplab V3+的核心结构由编码器模块和解码器模块两部分组成。
其中编码器部分模型的主干网络为MobileNetV2，与常用的ResNet残差结构不同的是，MobileNetV2首先对输入特征矩阵，通过1x1卷积进行升维，增加channel的大小，然后通过3x3的深度卷积核(DW卷积)进行卷积处理，最后再通过1x1的卷积核进行降维。同时MobileNetV2采用Rectified Linear Unit 6(ReLU6)激活函数，当输入值小于0的时候，默认置零，同时输入值在[0,6]之间时保持不变，但是当输入值大于6时，输出值会被置为6。
同时对于编码器模块中的空间特征金字塔部分，我们融合了SA-Net。对于一个给定的特征图，SA-Net首先将给定的特征图分成G组，然后对每个子特征在训练过程中进行捕捉，通过注意力模块为每个子特征生成相应的权重系数。具体来说，就是每个子特征被沿通道维度分成两个分支，一个分支被用于产生空间注意图，另一个分支被用于产生通道注意图，使得模型可以更加集中关注有意义的部分。其中对于通道注意力机制的实现，SA-Net并未使用传统的Squeeze Excitation(SE),而是先进行全局池化，之后通过一对参数来移动和缩放通道向量，最后将该值进行sigmoid激活。SA-Net还加入了混洗机制，使得每组信息在通道维度进行流动，并在最终将所分组的信息·进行通道维度整合，从而到处理后的整体特征。SA-Net注意力模块结构如图2所示。
对于解码器部分，我们将普通的卷积替换为了深度可分离卷积。与普通卷积方式不同，深度可分离卷积由逐通道卷积和逐点卷积构成。在逐通道卷积中，一个卷积核负责一个通道高，一个通道只被一个卷积核卷积，这个过程产生的特征图通道数和输入的通道数完全一样。而逐点卷积只在通道方向进行加权组合，生成新的特征图,生成的特征图个数由卷积核的个数决定。因此与普通卷积相比，深度可分离卷积参数量和计算成本更小，且特征提取过程中的损失更小。普通卷积和深度可分离卷积中的逐通道卷积和逐点卷积结构示例图分别如图3、4、5所示。
(二)损失函数改进
通过大量裂缝图像的观察分析我们发现，对于裂缝使用语义分割的方法进行检测，与传统语义分割不同的是，裂缝往往在图像中只占很小的一部分，因此对于损失计算，如果使用交叉熵损失函数(Cross Entropy Loss)，往往会因为背景所占分量过大而造成训练干扰。
对于这种情况，焦点损失函数(Focal Loss)可以在一定程度上解决这种前景背景不均衡的问题，让小数量的目标类别增加权重，让分类错误的样本增加权重。焦点损失函数是在交叉熵损失函数基础上进行的修改，二分类交叉熵损失函数的计算公式如下：
Figure BDA0004210895090000091
Figure BDA0004210895090000101
y和y’分别指代图像的标签值和预测值；图像的标签值表示图像实际是否为裂缝的情况，若是裂缝则值为1，非裂缝值为0；图像的预测值表示经过本文所提出的检测算法输出的值。
Focal loss是在交叉熵损失函数的基础上进行的修改，在原有基础上加了一个因子γ，γ>0使得易分类样本的损失减少，使得模型更加关注困难的，错误的分类样本。同时改变γ的大小还可以调节简单样本权重降低的速度，当γ增加时，调整因子的影响增大。此外，还加入了平衡因子a，用来平衡正负样本本身的比例不均。Focal loss的计算公式如下：
Figure BDA0004210895090000102
y和y’分别指代图像的标签值和预测值。
同时，本发明还引入了Dice loss,它是一种适用于图像二值分割，同时可以在一定程度上缓解由于正负样本的数量不平衡问题。对于置信度较高的预测，会得到较低的Dice系数，从而使得Dice loss较小，而对于置信度较低的预测，会得到较高的Dice系数，从而使得Dice loss较大。Dice loss的计算公式如下：
Figure BDA0004210895090000103
yi和yi′分别指代图像的标签值和预测值，N指代图像中像素的总数。
单独使用Dice loss会有损失饱和问题，因此本专利将Focal loss和Dice loss混合使用。
除此之外，本发明提出了一种基于F1分数的动态补偿权重。主要根据模型训练过程中的假阳性和假阴性与真阳性的比值作为权重系数，从而进行模型预测结果较差时的损失补偿。融合该动态补偿权重之后的Focal loss计算公式如下：
Figure BDA0004210895090000111
同样的，y和y’分别指代图像的标签值和预测值，β1和β2是动态补偿权重系数。
β1和β2可以通过以下公式进行计算：
Figure BDA0004210895090000112
Figure BDA0004210895090000113
其中Fp指的是假阳性,Fn指的是假阴性，P指的是图像中裂纹像素点的总数。当预测的假阳性较多时，相应的系数增大，使得相应的关于真实裂纹像素的预测损失增大，当预测的假阴性较多时，即在预测过程中被误判为非裂纹像素的数量较多时，相应的背景像素的损失增大，当最终的预测结果逐渐变好时，β1逐渐接近于0。Sn为图像中像素的总数，
Figure BDA0004210895090000114
为整个图像中裂纹像素的百分比。/>
Figure BDA0004210895090000115
是整个图像中非裂缝像素的百分比。由于图像中非裂纹像素所占的百分比较大，这个系数可以补偿由于裂缝像素在整幅图像占比较小而造成预测损失占比较小的问题。
(三)总体算法结构DWF+SA-Deeplab V3+
本专利在SA-Deeplab V3+基础上使用了融合动态补偿权重之后的Focal loss与Dice loss的融合损失函数，构建了DWF+SA-Deeplab V3+的整体算法。在此算法基础上进行数据训练与测试，取得了较好的裂缝提取效果。公共数据集CrackForest上的原始图片、标签图、Deeplab V3+的检测结果以及DWF+SA-Deeplab V3+算法的检测结果如图6(a)、图6(b)、图6(c)、图6(d)所示。
本发明所提出的DWF+SA-Deeplab V3+算法可以有效地实现裂缝检测。我们将原始算法和DWF+SA-Deeplab V3+算法在CrackForest整个数据集上进行了训练与验证，并进行比较，得出结论：本发明所提出算法的裂缝检测效果更好，裂缝检测的结果更加完整，更加细致，更加接近标签图像，F1分数(F1 Score)提高了0.057，平均交并比(MIOU)提高了0.07，实际使用进行裂缝检测取得了较好的效果，可以很好的胜任裂缝检测任务。两种算法的量化结果比较如表1所示。
表1两种算法检测结果比较
Figure BDA0004210895090000121
实施例二
本实施例公开了一种基于深度学习的裂缝检测系统。
如图7所示，一种基于深度学习的裂缝检测系统，包括：
图像获取模块，被配置为：获取裂缝原始图像；
模型搭建模块，被配置为：以包含编码器模块和解码器模块的Deeplab V3+模型为基础模型，其中编码器模块包括主干特征提取网络和金字塔部分，将编码器模块的金字塔部分融合SA-Net注意力模块，同时将解码器网路中的浅层特征和深层特征融合之后的卷积层替换为深度可分离卷积，搭建SA-Deeplab V3+模型，其中，浅层特征为网络中经过较少次数卷积提取得到的特征，深层特征为网络中经过较多次数卷积提取得到的特征；
裂缝检测模块，被配置为：将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的基于深度学习的裂缝检测方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于深度学习的裂缝检测方法中的步骤。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于深度学习的裂缝检测方法，其特征在于，包括以下步骤：
获取裂缝原始图像；
以包含编码器模块和解码器模块的Deeplab V3+模型为基础模型，其中编码器模块包括主干特征提取网络和金字塔部分，将编码器模块的金字塔部分融合SA-Net注意力模块，同时将解码器网路中的浅层特征和深层特征融合之后的卷积层替换为深度可分离卷积，搭建SA-Deeplab V3+模型，其中，浅层特征为网络中经过较少次数卷积提取得到的特征，深层特征为网络中经过较多次数卷积提取得到的特征；
将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像。
2.如权利要求1所述的基于深度学习的裂缝检测方法，其特征在于，将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像，具体为：
将裂缝原始图像输入至编码器的主干特征提取网络中，分别在经过主干特征提取网络较少次数卷积之后提取浅层特征，并经过主干特征提取网络较多次数卷积之后提取深层特征；
将深层特征输入至金字塔部分中，以不同采样率的空洞卷积对深层特征进行并行采样，以多个比例捕捉图像的上下文，得到并行采样后的特征图；
利用SA-Net注意力模块对并行采样后的特征图分配注意力权重，并将注意力权重与对应的特征图进行加权，从而得到特征加权后的深层特征；
将特征加权后的深层特征进行上采样，将上采样后的结果和浅层特征共同输入至解码器中进行堆叠，将堆叠之后的特征进行深度可分离卷积，得到有效特征图；
将有效特征图进行上采样，获得裂缝预测图像。
3.如权利要求2所述的基于深度学习的裂缝检测方法，其特征在于，利用SA-Net注意力模块对并行采样后的特征图分配注意力权重，并将注意力权重与对应的特征图进行加权，从而得到特征加权后的深层特征，具体为：
SA-Net首先将并行采样后的特征图分成G组，得到G个子特征，每个子特征被沿通道维度分成两个分支，一个分支被用于产生空间注意图，另一个分支被用于产生通道注意图，对每个子特征在训练过程中进行捕捉，通过SA-Net注意力模块为每个子特征生成相应的权重系数；
将每个子特征与对应的权重系数进行加权，得到加权后的子特征；
利用混洗机制，使得每个加权后的子特征在通道维度进行流动，并在最终将所有加权后的子特征进行通道维度整合，得到处理后的整体特征，即深层特征。
4.如权利要求2所述的基于深度学习的裂缝检测方法，其特征在于，
深度可分离卷积由逐通道卷积和逐点卷积构成：
在逐通道卷积中，一个卷积核负责一个通道高，一个通道只被一个卷积核卷积，这个过程产生的特征图通道数和输入的通道数完全一样；
逐点卷积只在通道方向进行加权组合，生成有效特征图,生成的有效特征图的个数由卷积核的个数决定。
5.如权利要求1所述的基于深度学习的裂缝检测方法，其特征在于，所述SA-DeeplabV3+模型的损失函数采用Focal loss和Dice loss，其中Focal loss的计算公式为：
Figure FDA0004210895060000031
y和y’分别指代图像的标签值和预测值；a为平衡因子；γ为调节因子；Dice loss的计算公式为：
Figure FDA0004210895060000032
yi和yi′分别指代图像的标签值和预测值；N指代图像中像素的总数。
6.如权利要求5所述的基于深度学习的裂缝检测方法，其特征在于，对Focal loss融合动态补偿权重：
Figure FDA0004210895060000033
其中，y和y’分别指代图像的标签值和预测值，β1和β2是动态补偿权重系数。
7.如权利要求6所述的基于深度学习的裂缝检测方法，其特征在于，β1和β2通过以下公式进行计算：
Figure FDA0004210895060000034
Figure FDA0004210895060000035
其中，Fp为假阳性,Fn为假阴性，P为图像中裂纹像素点的总数；Sn为图像中像素的总数，
Figure FDA0004210895060000036
为整个图像中裂纹像素的百分比，/>
Figure FDA0004210895060000037
是整个图像中非裂缝像素的百分比。
8.一种基于深度学习的裂缝检测系统，其特征在于：包括：
图像获取模块，被配置为：获取裂缝原始图像；
模型搭建模块，被配置为：以包含编码器模块和解码器模块的Deeplab V3+模型为基础模型，其中编码器模块包括主干特征提取网络和金字塔部分，将编码器模块的金字塔部分融合SA-Net注意力模块，同时将解码器网路中的浅层特征和深层特征融合之后的卷积层替换为深度可分离卷积，搭建SA-Deeplab V3+模型，其中，浅层特征为网络中经过较少次数卷积提取得到的特征，深层特征为网络中经过较多次数卷积提取得到的特征；
裂缝检测模块，被配置为：将裂缝原始图像输入至SA-Deeplab V3+模型中，进行特征提取并得到裂缝预测图像。
9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于深度学习的裂缝检测方法中的步骤。
10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于深度学习的裂缝检测方法中的步骤。
CN202310492746.8A 2023-04-26 2023-04-26 一种基于深度学习的裂缝检测方法及系统 Pending CN116416244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310492746.8A CN116416244A (zh) 2023-04-26 2023-04-26 一种基于深度学习的裂缝检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310492746.8A CN116416244A (zh) 2023-04-26 2023-04-26 一种基于深度学习的裂缝检测方法及系统

Publications (1)

Publication Number Publication Date
CN116416244A true CN116416244A (zh) 2023-07-11

Family

ID=87059552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310492746.8A Pending CN116416244A (zh) 2023-04-26 2023-04-26 一种基于深度学习的裂缝检测方法及系统

Country Status (1)

Country Link
CN (1) CN116416244A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN116993739A (zh) * 2023-09-27 2023-11-03 中国计量大学 一种基于深度学习的混凝土裂缝深度预测模型、方法及应用
CN117274789A (zh) * 2023-11-21 2023-12-22 长江勘测规划设计研究有限责任公司 一种水工混凝土结构水下裂缝语义分割方法
CN117291913A (zh) * 2023-11-24 2023-12-26 长江勘测规划设计研究有限责任公司 一种水工混凝土结构表观裂缝测量方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116773534A (zh) * 2023-08-15 2023-09-19 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN116773534B (zh) * 2023-08-15 2024-03-05 宁德思客琦智能装备有限公司 一种检测方法及装置、电子设备、计算机可读介质
CN116993739A (zh) * 2023-09-27 2023-11-03 中国计量大学 一种基于深度学习的混凝土裂缝深度预测模型、方法及应用
CN116993739B (zh) * 2023-09-27 2023-12-12 中国计量大学 一种基于深度学习的混凝土裂缝深度预测模型、方法及应用
CN117274789A (zh) * 2023-11-21 2023-12-22 长江勘测规划设计研究有限责任公司 一种水工混凝土结构水下裂缝语义分割方法
CN117274789B (zh) * 2023-11-21 2024-04-09 长江勘测规划设计研究有限责任公司 一种水工混凝土结构水下裂缝语义分割方法
CN117291913A (zh) * 2023-11-24 2023-12-26 长江勘测规划设计研究有限责任公司 一种水工混凝土结构表观裂缝测量方法
CN117291913B (zh) * 2023-11-24 2024-04-16 长江勘测规划设计研究有限责任公司 一种水工混凝土结构表观裂缝测量方法

Similar Documents

Publication Publication Date Title
CN109800631B (zh) 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN116416244A (zh) 一种基于深度学习的裂缝检测方法及系统
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN115497005A (zh) 一种融合特征转移与注意力机制的yolov4遥感目标检测方法
CN111783819B (zh) 小规模数据集上基于感兴趣区域训练改进的目标检测方法
CN112348036A (zh) 基于轻量化残差学习和反卷积级联的自适应目标检测方法
CN115035295B (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN111798469A (zh) 基于深度卷积神经网络的数字图像小数据集语义分割方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN113822951A (zh) 图像处理方法、装置、电子设备及存储介质
CN113743505A (zh) 基于自注意力和特征融合的改进ssd目标检测方法
CN113781510A (zh) 边缘检测方法、装置及电子设备
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN111223087A (zh) 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN116012722A (zh) 一种遥感影像场景分类方法
CN113936299A (zh) 建筑工地中危险区域检测方法
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
CN116523875A (zh) 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法
CN114663654B (zh) 一种改进YOLOv4网络模型及小目标检测方法
CN116363629A (zh) 一种基于改进YOLOv5的交通标志检测方法
CN116452900A (zh) 一种基于轻量级神经网络的目标检测方法
CN116416534A (zh) 一种面向保护目标的无人机备降区域识别方法
CN116402761A (zh) 一种基于双通道多尺度注意力机制的光伏板裂缝检测方法
CN115035386A (zh) 一种基于定位蒸馏的yolox目标检测模型压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination