CN115035065A - 基于深度学习的道路裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的道路裂缝检测方法，包括：获取多个道路裂缝图片，将多个所述道路裂缝图片划分为训练集、验证集和测试集；搭建U‑Net网络，所述U‑Net网络具有编码部分和解码部分，编码部分和解码部分各有5层；利用边缘细化模块取代所述编码部分中传统的双层卷积结构，每层包含3个边缘细化模块，在所述U‑Net网络的底部设计基于注意力机制的多尺度融合模块，在所述解码部分的第2、3、4层分别设计融合优化模块，得到改进U‑Net网络；将训练集和验证集加载到所述改进U‑Net网络进行训练和验证，保存效果最好的模型；用所述效果最好的模型对所述测试集中的道路裂缝图片进行测试，得到测试结果。它可以减少道路裂缝漏检误检现象。

Description

基于深度学习的道路裂缝检测方法

技术领域

本发明涉及一种道路缺陷检测方法，具体涉及一种基于深度学习的道路裂缝检测方法。

背景技术

裂缝是最常见且危害性最大的路面病害类型，在影响路面美观的同时，会造成交通事故和缩短道路的使用寿命，因此，及时发现并修复道路裂缝至关重要。人工裂缝检测方法完全依赖于检测人员的经验，存在效率低、评估结果不客观、成本高、危险性高等缺点，而自动化检测裂缝可降低成本、提高检测效率、降低漏报率。

当前的裂缝检测方法主要有基于数字图像处理的裂缝检测方法和基于深度学习的裂缝检测方法。传统的裂缝检测方法有阈值分割、Gabor滤波器、直方图、随机结构森林等。虽然这些方法与人工检测相比，提高了检测效率，但是对于数据集质量要求较高，容易受到光线、水渍等外部环境影响，在噪声多的数据集上表现欠佳。近年来，随着人工智能的发展，深度学习的方法开始应用于图像裂缝检测的任务中。

在裂缝检测任务中，虽然深度学习方法与传统方法相比提高了检测的准确性，但是裂缝的完整性和连续性还需进一步提高，一方面,裂缝分布杂乱无规律，形状、尺寸不固定，目前的裂缝检测方法很难保证裂缝的连续性。另一方面,裂缝存在拓扑结构复杂，并且细小裂缝较多的特点，很多细小裂缝容易受噪声影响，造成漏检的现象。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种可以减少道路裂缝漏检误检现象的基于深度学习的道路裂缝检测方法。

为了解决上述技术问题，本发明的技术方案是：一种基于深度学习的道路裂缝检测方法，包括：

获取多个道路裂缝图片，将多个所述道路裂缝图片划分为训练集、验证集和测试集；

搭建U-Net网络，所述U-Net网络具有编码部分和解码部分，编码部分和解码部分各有5层；

利用边缘细化模块取代所述编码部分中传统的双层卷积结构，每层包含3个边缘细化模块，在所述U-Net网络的底部设计基于注意力机制的多尺度融合模块，在所述解码部分的第2、3、4层分别设计融合优化模块，得到改进U-Net网络；

将训练集和验证集加载到所述改进U-Net网络进行训练和验证，保存效果最好的模型；

用所述效果最好的模型对所述测试集中的道路裂缝图片进行测试，得到测试结果。进一步，在所述将多个所述道路裂缝图片划分为训练集、验证集和测试集前，还包括：

将所述道路裂缝图片裁剪为统一尺寸大小。

进一步，每个所述边缘细化模块的工作方法包括：

步骤A1：输入所述边缘细化模块的特征x∈R^H×W×C在经过1×1卷积后被均匀的分为n个特征子集x_i，其中第i个子集x_i∈{1,2,...,n}，每个子集x_i通道数均为C/n；

x_i∈{2,3,...,n}经过对应的3×3卷积，输出为y_i∈{1,2,...,n}：

其中，C指的是输入边缘细化模块的特征的通道数，Conv(·)表示进行卷积核为3×3的卷积操作；

步骤A2：y_i∈{1,2,...,n}组合后通过1X1的卷积恢复为原始通道数，并输出特征y∈R^H×W×C；

步骤A3：输出的特征y∈R^H×W×C经过通道注意力CAM模块，输出的特征y∈R^H×W×C在所述通道注意力CAM模块内进行以下处理：

先经过全局平均池化聚合全局特征；

然后卷积运算调整通道权重；

W＝σ(Con'(y_avg)) (3)

最后将权重W与输入通道注意力CAM模块的特征y∈R^H×W×C相乘；

其中，y_i,j∈R^C是全通道特征，Con'(·)代表大小为K的一维卷积，σ代表Sigmoid激活函数；

步骤A4：通过残差连接将所述通道注意力CAM模块输出特征与原始输入所述边缘细化模块的特征x∈R^H×W×C进行融合：

x＝W·y+x (4)。

进一步，所述基于注意力机制的多尺度融合模块的工作方法包括：

步骤B1：编码部分的前两层编码层输出的特征图分别经过1×1卷积操作变换通道后通过池化得到相同尺度和通道数的特征图，将两个所述具有相同尺度和通道数的特征图融合，得到融合特征图；

f₁'＝w(f(f₁)) (5)

f₂'＝w(f(f₂)) (6)

f₁₂＝Cat(f₁',f₂') (7)

其中，f₁，f₂分别表示前两个编码层的输出，f(·)表示用1×1的卷积核进行卷积操作，w(·)表示池化操作，Cat(·)表示特征在通道维度上的叠加；

步骤B2：将融合特征图与编码器的最后一层编码层输出的特征图融合，最后输出多尺度融合特征图f∈R^H×W×C:

f＝Cat(f₁₂,f₅) (8)

其中，f₅表示最后一层编码层的输出；

步骤B3：将输出的多尺度融合特征图经过三个卷积操作分别得到

f_φ、f_γ，其维度均为R^H×W×C,然后将

f_φ、f_γ分别进行reshape操作：

f_φ＝flat(W_φ(f)) (10)

f_γ＝flat(W_γ(f)) (11)

其中，

W_φ，W_γ为三个卷积操作，flat(·)表示将图像特征重塑；

步骤SB4：将

转置后与f_φ相乘得到矩阵，对矩阵的每个点进行softmax操作得到空间注意力特征S∈R^N×N：

其中，σ表示Softmax激活函数，N＝H×W；

步骤SB5：空间注意力特征S与f_γ相乘后重塑为R^C×H×W，与多尺度融合特征图f∈R^{H ×W×C}进行融合得到最终的解码部分输入特征图f_z：

f_Z＝σ(flat(f_γ·S))+f (13)。

进一步，每个所述融合优化模块的工作方法包括：

步骤SC1：特征F₁经过通道注意力模块CAM后与依次经过pixel-shuffle上采样、扩张率为2的空洞卷积和位置注意力模块PAM的特征F₂进行通道拼接，得到融合特征：

其中，特征F₁∈R^H×W×C是低层语义信息；特征F₂是高层语义信息，

为卷积核大小为3，扩张率为2的空洞卷积，P(·)表示特征通过位置注意力模块PAM进行操作，E(·)表示特征通过通道注意力模块CAM进行操作，pix(·)表示pixel-shuffle上采样，Cat(·)表示特征在通道维度上的叠加；

步骤SC2：将所述融合特征用扩张率为2的空洞卷积增大感受野后进行卷积操作输出F_Z：

其中，Conv(·)代表卷积核大小为3的卷积操作。

采用了上述技术方案后，本发明具有以下有益效果：

1、本发明在编码部分使用边缘细化模块来替换传统的双层卷积，提高了改进U-Net网络对于裂缝细节信息的提取能力，进而解决细小裂缝漏检现象；本发明在U-Net网络底部设计了基于注意力机制的多尺度融合模块，在解码部分设计多个融合优化模块，解决了裂缝检测易断裂的问题，本发明有效地减少了道路裂缝漏检误检现象；

2、本发明的边缘细化模块是利用残差网络和通道注意力机制设计而成的，可以捕捉更多的裂缝细节特征信息，抑制与裂缝检测任务无关的信息，进而增强有效提取特征的能力；

3、编码阶段通过卷积、池化操作提取图片信息，提取到的特征信息可以分为低层语义信息和高层语义信息，低层语义信息包含了图像的轮廓、纹理等低层信息，高层语义信息包含了更加抽象、高级的特征，但是，由于提取特征过程中多次使用池化操作中降低了特征图的分辨率并增大感受野，使得很多图像细节信息以及空间信息丢失，容易漏检某些细小裂缝，本发明的多尺度融合模块可将不同尺度的特征信息进行融合，即将低层语义信息与高层语义信息进行融合，使融合信息包含更丰富的裂缝特征信息；

4、本发明的融合优化模块在利用注意力机制保留裂缝细节信息的同时，采用空洞卷积来扩大感受野，兼顾了细小裂缝的检测和裂缝检测的连续性。

附图说明

图1为本发明的基于深度学习的道路裂缝检测方法的一实施例的流程图；

图2为本发明的基于深度学习的道路裂缝检测方法的一实施例的边缘细化模块的结构图；

图3为本发明的基于深度学习的道路裂缝检测方法的一实施例的基于注意力机制的多尺度融合模块的结构图；

图4为本发明基于深度学习的道路裂缝检测方法的一实施例的融合优化模块的结构图；

图5为本发明基于深度学习的道路裂缝检测方法的一实施例的总体网络架构图。

具体实施方式

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。

本发明首先提供了一种基于深度学习的道路裂缝检测方法，其流程图如图1所示。

步骤S1：获取多个道路裂缝图片，裁剪为统一尺寸大小大小，并将多个道路裂缝图片划分为训练集、验证集和测试集；

在本实施例中，将道路裂缝图片统一裁剪为320×320大小。

步骤S2：搭建U-Net网络，所述U-Net网络具有编码部分和解码部分，所述编码部分用于提取裂缝特征，所述解码部分用于对图像进行还原并输出最终特征图，编码部分和解码部分各有5层；

步骤S3：

步骤S31：针对细小裂缝漏检现象，利用边缘细化模块取代所述编码部分中传统的双层卷积结构，每层包含3个边缘细化模块；

裂缝边缘拓扑结构复杂、细小裂缝多，而在特征提取阶段，编码部分的卷积模块中的传统双层卷积层结构提取出的特征有限并且随着网络加深，多次的卷积和池化的操作导致提取图像特征过程中会损失图像的细节信息。为了提高网络对裂缝细节信息的提取能力，本实施例设计了边缘细化模块，即ER。

其中，同一层的三个边缘细化模块依次串联，尺寸为2H×2W×C₀的原始图像经过池化后变为H×W×C的特征，再输入编码部分的第一层编码层的第一个边缘细化模块，针对前四个编码层，每一层的最后一个边缘细化模块输出的特征池化后输入下一层的第一个边缘细化模块。

如图2所示，每个所述边缘细化模块的处理过程如下：

步骤SA1：输入所述边缘细化模块的特征x∈R^H×W×C在边缘细化模块中经过1×1卷积后被均匀的分为n个特征子集x_i，其中第i个子集x_i∈{1,2,...,n}，在本实施例中，i取4，每个子集x_i通道数均为C/n，x_i∈{2,3,...,n}又经过对应的3×3卷积，经过卷积的输出为y_i∈{1,2,...,n}：

其中，C指的是输入边缘细化模块的特征的通道数，Conv(·)表示进行卷积核为3×3的卷积操作；

步骤SA2：将y_i∈{1,2,...,n}组合后通过1×1的卷积恢复为原始通道数，并输出特征y∈R^H×W×C；

步骤SA3：输出的特征y∈R^H×W×C再经过通道注意力CAM模块，特征y∈R^H×W×C在通道注意力CAM模块内经过以下处理：

首先经过全局平均池化聚合全局特征；

然后卷积运算调整通道权重；

W＝σ(Con'(y_avg)) (3)

最后将权重W与输入注意力CAM模块的特征y∈R^H×W×C相乘；

其中，y_i,j∈R^C是全通道特征，所述卷积运算是在相同维度的条件下进行大小为k的一维卷积，其中卷积核的大小为k代表局部跨通道交互的覆盖范围，在本实施例中，k取3，决定了交互的覆盖范围，通过卷积后用Sigmoid函数计算激活值，得到权重W∈R^1×1×C表示每个通道的相关性和重要性，上式中Con'(·)代表大小为K的一维卷积，σ代表Sigmoid激活函数，将权重W与输入特征y相乘，完成每个通道特征的重新编码，从而为重要特征分配较大的权重，对非任务信息分配较小的权重来抑制；

步骤SA4：通过残差连接将所述通道注意力CAM模块输出特征与原始输入所述边缘细化模块的特征x∈R^H×W×C进行融合：

x＝W·y+x (4)

步骤S32：针对裂缝检测易断裂问题，设计基于注意力机制的多尺度融合模块；

多尺度融合模块对不同尺度特征进行融合并聚合每个位置的特征，编码部分最后一层的特征信息在经历了多次卷积池化后丢失了很多的裂缝细节信息，在一定程度上缺乏解决裂缝边缘信息丢失的能力。因此，本实施例提出了一种多层输出特征融合的金字塔结构，如图3所示，利用指定编码层的输出的特征进行融合，并通过注意力模块学习特征点间的位置关系，可以充分利用各层图像特征，既减少裂缝边缘信息的丢失，又保证裂缝信息的连续性。

编码部分分为5层，由E₁-E₅表示，第i层输出的特征图尺度为原始图像尺寸的1/2ⁱ，低层特征信息包含了裂缝的轮廓、边缘信息，高层特征信息包含了图像的空间信息。本实施例将前两层编码层输出的含有大量细节的低层语义信息与最后一层编码层输出的高层全局语义信息融合，由于特征图的尺度和通道数不相同，不能直接进行融合，因此，如图3所示，本实施例中的多尺度融合模块，即AMFF的处理过程如下：

步骤S321：编码部分的前两层编码层输出的特征图特征经过1×1卷积操作变换通道后通过池化得到相同尺度特征图，将两个所述相同尺度特征图融合，得到融合特征图；

f₁'＝w(f(f₁)) (5)

f₂'＝w(f(f₂)) (6)

f₁₂＝Cat(f₁',f₂') (7)

其中，f₁，f₂分别表示编码层E₁,E₂的输出，f(·)表示用1×1的卷积核进行卷积操作，w(·)表示池化操作，Cat(·)表示特征在通道维度上的叠加；

步骤S322：融合特征图与最后一层编码器E₅输出的特征图融合，最后输出多尺度融合特征图f∈R^H×W×C：

f＝Cat(f₁₂,f₅) (8)

其中，f₅表示编码层E₅的输出，将高层语义信息与低层语义信息融合虽然能够保证裂缝检测的完整性，但是缺乏裂缝像素之间的关联性。因此，很难维持裂缝分割的连贯性，导致断裂，于是在输出特征图后加入位置注意力PAM模块，通过位置注意力PAM模块来学习特征的空间相关性；

步骤S323：将输出的多尺度融合特征图经过三个卷积操作分别得到

f_φ、f_γ，其维度均为R^H×W×C,然后将

f_φ、f_γ分别进行reshape操作：

f_φ＝flat(W_φ(f)) (10)

f_γ＝flat(W_γ(f)) (11)

其中，

W_φ，W_γ为三个卷积操作，flat(·)表示将图像特征重塑成

N＝H×W；

步骤S324：将

转置后与f_φ相乘得到矩阵，对矩阵的每个点进行softmax得到空间注意力特征S∈R^N×N：

其中，σ表示Softmax激活函数；

步骤S:325：空间注意力特征S与f_γ相乘后重塑为R^C×H×W，与多尺度融合特征图f∈R^H×W×C进行融合得到最终的解码部分输入特征图f_z：

f_Z＝σ(flat(f_γ·S))+f (13)

其中，步骤S323、步骤S324及步骤S325是在所述位置注意力PAM模块内进行的。

本实施例的多尺度融合模块通过聚合不同区域的上下文信息，从全局角度提取裂缝信息，并提取每个特征像素点之间的相关性增强了路面裂缝检测的完整性和连续。

步骤S33：针对裂缝检测易断裂问题，进一步在解码部分设计多个融合优化模块；本实施例利用pixel-shuffle、空洞卷积和注意力机制连接思想设计了一个融合优化模块。现有的网络主要采用补零或双线性插值的方法进行上采样，由于裂缝分割是像素级别的分类任务，使用传统的上采样方法使特征像素点容易受到周围像素点的干扰，影响最终的检测结果。Pixel-suffle主要功能是将低分辨的特征图，通过卷积和多通道间的重组得到高分辨率的特征图，Pixel-shuffle是常用在超分辨率重建问题研究的上采样方法，与常规的上采样方法相比，能够减少信息损失，检测精度更高。本实施例中主要使用Pixel-shuffle卷积层代替常用的转置卷积操作；特征图经过Pixel-shuffle卷积后利用空洞卷积，在不降低特征图分辨率情况下实现感受野的增长，让每个卷积的输出都包含更大范围的信息；经过空洞卷积的特征图通过位置注意力模块捕获更多的裂缝位置关系，防止裂缝断裂。并在跳跃连接过程中加入CAM模块来筛选信息，凸显更多的裂缝细节信息。

如图4所示，为所述融合优化模块，即FO的结构，如图5所示，融合优化模块设有3个，自上而下分别为FO₁,FO₂,FO₃，处理过程如下：

步骤S331：设定i＝4；

步骤S332：特征

和特征F₁ ⁱ在融合优化模块FO_i-1中进行式(14-1)中的操作：

步骤S333：对F'在融合优化模块FO_i-1中进行式(15-1)中的操作：

步骤S334：i＝i-1；

步骤S335：判断i是否是1，如果是，处理过程结束，以

作为解码部分最终输出，如果否，返回步骤S332；

其中，F₁ ⁱ∈R^H×W×C(i＝1，…，4)是低层语义信息，分别由前四层编码层E1-E4输出，

是从融合优化模块(FO)输出或从所述多尺度融合模块输出，其中

由第i个融合优化模块FO_i(i＝1,2,3)输出,

从多尺度融合模块输出，

为卷积核大小为3，扩张率为2的空洞卷积，P(·)表示特征通过位置注意力PAM进行操作，E(·)表示特征通过通道注意力CAM进行操作，pix(·)表示pixel-shuffle上采样，Cat(·)表示特征在通道维度上的叠加；Conv(·)代表卷积核大小为3的卷积操作。

在本实施例中，对特征

进行pixel-shuffle上采样，目的是使其分辨率与F₁ ⁱ相同；经过扩张率为2的空洞卷积，是为了增大感受野；经过位置注意力模块PAM，是为了提取特征像素间的相关性；编码部分输出的特征F₁经过通道注意力模块CAM，是为了提取更多的裂缝细节信息。

在本实施例中，如图5所示，解码部分输出的特征图经pixel-shuffle上采样恢复原始图像尺寸大小，再经1X1卷积后作为总体网络的输出。

步骤S4：将训练集和验证集加载到所述改进U-Net网络进行训练和验证，保存效果最好的模型；

步骤S5：用所述效果最好的模型对所述测试集中的道路裂缝图片进行测试，得到测试结果，完成道路裂缝检测。

以上所述的具体实施例，对本发明解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的道路裂缝检测方法，其特征在于，

包括：

获取多个道路裂缝图片，将多个所述道路裂缝图片划分为训练集、验证集和测试集；

搭建U-Net网络，所述U-Net网络具有编码部分和解码部分，编码部分和解码部分各有5层；

利用边缘细化模块取代所述编码部分中传统的双层卷积结构，每层包含3个边缘细化模块，在所述U-Net网络的底部设计基于注意力机制的多尺度融合模块，在所述解码部分的第2、3、4层分别设计融合优化模块，得到改进U-Net网络；

将训练集和验证集加载到所述改进U-Net网络进行训练和验证，保存效果最好的模型；

用所述效果最好的模型对所述测试集中的道路裂缝图片进行测试，得到测试结果。

2.根据权利要求1所述的基于深度学习的道路裂缝检测方法，其特征在于，

在所述将多个所述道路裂缝图片划分为训练集、验证集和测试集前，还包括：

将所述道路裂缝图片裁剪为统一尺寸大小。

3.根据权利要求1所述的基于深度学习的道路裂缝检测方法，其特征在于，

每个所述边缘细化模块的工作方法包括：

步骤A1：输入所述边缘细化模块的特征x∈R^H×W×C在经过1×1卷积后被均匀的分为n个特征子集x_i，其中第i个子集x_i∈{1,2,...,n}，每个子集x_i通道数均为C/n；

x_i∈{2,3,...,n}经过对应的3×3卷积，输出为y_i∈{1,2,...,n}：

其中，C指的是输入边缘细化模块的特征的通道数，Conv(·)表示进行卷积核为3×3的卷积操作；

步骤A2：y_i∈{1,2,...,n}组合后通过1×1的卷积恢复为原始通道数，并输出特征y∈R^{H ×W×C}；

步骤A3：输出的特征y∈R^H×W×C经过通道注意力CAM模块，输出的特征y∈R^H×W×C在所述通道注意力CAM模块内进行以下处理：

先经过全局平均池化聚合全局特征；

然后卷积运算调整通道权重；

W＝σ(Con'(y_avg)) (3)

最后将权重W与输入通道注意力CAM模块的特征y∈R^H×W×C相乘；

其中，y_i,j∈R^C是全通道特征，Con'(·)代表大小为K的一维卷积，σ代表Sigmoid激活函数；

步骤A4：通过残差连接将所述通道注意力CAM模块输出特征与原始输入所述边缘细化模块的特征x∈R^H×W×C进行融合：

x＝W·y+x (4)。

4.根据权利要求1所述的基于深度学习的道路裂缝检测方法，其特征在于，

所述基于注意力机制的多尺度融合模块的工作方法包括：

步骤B1：将编码部分的前两层编码层输出的特征图分别经过1×1卷积操作变换通道后通过池化得到相同尺度和通道数的特征图，将两个所述具有相同尺度和通道数的特征图融合，得到融合特征图；

f₁'＝w(f(f₁)) (5)

f₂'＝w(f(f₂)) (6)

f₁₂＝Cat(f₁',f₂') (7)

其中，f₁，f₂分别表示前两个编码层的输出，f(·)表示用1×1的卷积核进行卷积操作，w(·)表示池化操作，Cat(·)表示特征在通道维度上的叠加；

步骤B2：将融合特征图与编码器的最后一层编码层输出的特征图融合，最后输出多尺度融合特征图f∈R^H×W×C:

f＝Cat(f₁₂,f₅) (8)

其中，f₅表示最后一层编码层的输出；

步骤B3：将输出的多尺度融合特征图经过三个卷积操作分别得到

f_φ、f_γ，其维度均为R^H×W×C,然后将

f_φ、f_γ分别进行reshape操作：

f_φ＝flat(W_φ(f)) (10)

f_γ＝flat(W_γ(f)) (11)

其中，

W_φ，W_γ为三个卷积操作，flat(·)表示将图像特征重塑；

步骤SB4：将

转置后与f_φ相乘得到矩阵，对矩阵的每个点进行softmax操作得到空间注意力特征S∈R^N×N：

其中，σ表示Softmax激活函数，N＝H×W；

步骤SB5：空间注意力特征S与f_γ相乘后重塑为R^C×H×W，与多尺度融合特征图f∈R^H×W×C进行融合得到最终的解码部分输入特征图f_z：

f_Z＝σ(flat(f_γ·S))+f (13)。

5.根据权利要求1所述的基于深度学习的道路裂缝检测方法，其特征在于，

每个所述融合优化模块的工作方法包括：

步骤SC1：特征F₁经过通道注意力模块CAM后与依次经过pixel-shuffle上采样、扩张率为2的空洞卷积和位置注意力模块PAM的特征F₂进行通道拼接，得到融合特征：

其中，特征F₁∈R^H×W×C是低层语义信息；特征F₂是高层语义信息，

为卷积核大小为3，扩张率为2的空洞卷积，P(·)表示特征通过位置注意力模块PAM进行操作，E(·)表示特征通过通道注意力模块CAM进行操作，pix(·)表示pixel-shuffle上采样，Cat(·)表示特征在通道维度上的叠加；

步骤SC2：将所述融合特征用扩张率为2的空洞卷积增大感受野后进行卷积操作输出F_Z：

其中，Conv(·)代表卷积核大小为3的卷积操作。

Images