CN111222580A

CN111222580A - 一种高精度的裂缝检测方法

Info

Publication number: CN111222580A
Application number: CN202010029718.9A
Authority: CN
Inventors: 李小霞; 顾书豪; 陈菁菁; 王学渊; 王顺利
Original assignee: Southwest University of Science and Technology
Current assignee: Southwest University of Science and Technology
Priority date: 2020-01-13
Filing date: 2020-01-13
Publication date: 2020-06-02

Abstract

针对现有路面裂缝检测算法精度低的问题，本发明提出一种高精度的裂缝检测方法。本方法包括如下步骤：步骤1、搭建级联扩张卷积（Cascade Dilated Conv，CDC）模块；步骤2、搭建基于注意力机制的特征融合（Attention‑based Feature Fusion，AFF）模块；步骤3、搭建基于编码器‑解码器结构的分割网络，在编码器部分引入级联扩张卷积模块，在解码器部分引入基于注意力机制的特征融合模块；步骤4、在公开的裂缝数据集上对提出的网络模型进行训练和测试；步骤5、将本发明方法的检测结果与目前先进的裂缝检测方法作比较分析。本发明方法在CRACK500公开数据集上取得了最高的平均交并比（IoU）和F1score，表明该方法有效提高了裂缝检测精度，可用于道路质量评估。

Description

一种高精度的裂缝检测方法

技术领域

本发明属于计算机视觉的图像处理领域，特别涉及一种高精度的裂缝检测方法。

背景技术

裂缝是最常见的路面缺陷之一，为保障行车安全，准确检测并修复路面裂缝具有重要的研究价值。在过去的几年中裂缝检测已成为道路养护系统研究的热点。传统的人工道路裂缝检测方法非常耗时且易受主观判断影响，随着计算机视觉技术的发展，人们开始致力于将计算机视觉技术应用于裂缝的自动检测。研究人员已提出了各种基于视觉的方法来检测道路裂缝，其中人工设计特征的裂缝检测算法，例如灰度特征、边缘特征、Gabor滤波器以及方向梯度直方图(Histogram of Oriented Gradient，HOG)。这些方法检测效果依赖于特征的选择，极容易出现空洞、相近特征区域之间相互“污染”以及误识等问题。同时，由于道路路面状况复杂多样，裂纹像素附近的对比度较差，给裂缝的识别和检测带来了极大挑战，因此，在这样复杂的情况下，人工设计单个或多个特征难以检测不同道路的图像裂缝。

最近，卷积神经网络(Convolutional Neural Network，CNN)已广泛应用于计算机视觉中的目标检测。不同于人工设计特征，CNN具有自动学习特征的能力，并且不同层次学习不同的特征：低层的卷积层能表达图像的细节信息，学习图像的局部区域特征，有利于图像中各目标区域边界的定位；高层的卷积层能表达图像的语义信息，学习深层次的抽象特征，有利于图像中各目标区域的分类。一些研究人员提出将基于CNN的目标检测算法用于道路路面、混凝土建筑等的裂缝自动检测，并取得了较好的效果，但是仅能定性分析裂缝的有无，难以对裂缝进行定量的分析与尺寸测量。Yang等人将全卷积网络 (FullyConvolutional Network，FCN)应用于像素级裂缝检测，FCN采用反卷积结构进行上采样弥补多次标准卷积和池化层引起的细节损失，但网络缺少局部细节信息和语义信息，出现较为严重的类内不一致现象。Ronneberger等人提出UNet模型，其编码器和解码器呈对称结构，结合底层和高层的信息逐级上采样恢复图像细节。Badrinarayanan等人提出SegNet模型，利用池化索引对高层特征进行细节修复，具有较好的图像分割效果，但其有效感受野较小，高层的语义信息不足。Chen等人提出DeepLab模型，利用扩张卷积(dilatedconvolution)扩大特征提取网络的有效感受野，提高高层语义信息，但缺失了图像的细节信息。Peng等人提出GCN将编码器-解码器结构与大卷积核相结合，以获取更大的感受野。

然而，上述方法中网络高层的感受野较小，高层特征图的语义信息不足，分割精度不高；同时，在卷积网络中多重池化下采样导致图像的细节信息丢失，加上网络高层与低层特征在特征表示级别上有所不同，简单的特征融合方式并不能有效恢复图像细节信息，使得网络难以有效提取裂缝特征进行精确的预测。

发明内容

针对现有裂缝检测算法精度低的问题，本发明提出了一种高精度的裂缝检测方法。对编码器-解码器结构的全卷积分割网络结构进行改进，在编码器部分引入级联的扩张卷积模块，扩大特征图有效感受野，整合图像上下文信息，增强特征语义表达能力，提高像素分类精度。在解码器部分提出了一种基于注意力机制的特征融合方法，利用全局注意力信息指导高层语义特征与低层细节特征融合，有利于恢复图像细节信息，进一步提升对于裂缝的分割效果。实验结果表明，在CRACK500公开数据集上训练的模型在测试集上取得72.5%的平均交并比（IoU）和96.8%的F1score，该模型直接用于CFD和Cracktree数据集测试，均取得了最高的平均IoU和F1score，表明模型具有很好的泛化性能，可用于道路质量评估等任务。

本发明的技术解决方案包括如下步骤：

步骤1、搭建级联扩张卷积（Cascade Dilated Conv，CDC）模块；

步骤2、搭建基于注意力机制的特征融合（Attention-based Feature Fusion，AFF）模块；

步骤3、搭建基于编码器-解码器结构的分割网络，在编码器部分引入级联的扩张卷积模块，在解码器部分引入基于注意力机制的特征融合模块；

步骤4、在公开的裂缝数据集上对提出的网络模型进行训练和测试；

步骤5、将本发明方法的检测结果与目前先进的裂缝检测方法作比较分析。

本发明与现有技术相比，其显著优点是：1）本发明方法设计的级联扩张卷积，能够扩大特征图有效感受野，整合图像上下文信息，增强特征语义表达能力，提高像素分类精度。2）本发明方法设计的基于注意力机制的特征融合模块利用全局注意力信息指导高层语义特征与低层细节特征的融合，切实有效的提高了上采样后对于图像细节信息的修复效果，进一步提升了图像中裂缝的分割精度，对细小的裂缝分割效果更好。3）本发明提出的网络模型具有很好的泛化能力，可广泛用于裂缝图像的自动标注以及道路质量评估等实际场景中。

附图说明

图1为本发明的级联扩张卷积模块结构图

图2为本发明的基于注意力的特征融合模块结构图

图3本发明的裂缝检测网络结构图

图4为本发明方法与其他算法在CRACK500测试集预测结果比较。

具体实施方式

下面结合附图及具体实施例对本发明方案作进一步说明。

步骤1、搭建级联扩张卷积（Cascade Dilated Conv，CDC）模块。扩张卷积的好处在于不使用池化层，避免损失图像细节信息的情况下，仍然能够增加卷积网络有效感受野，使每个卷积输出都包含较大范围的信息。在裂缝的分割任务中，采用扩张卷可以避免多重池化带来的细节信息丢失，同时能够有效的利用全局信息的相关性，增强高层特征的语义表达能力。基于此，本发明提出了级联扩张卷积模块，如图1所示，采用扩张率分别为1、2、5的扩张卷积进行级联，能够扩大有效感受野，整合图像上下文信息，保持图像细节，增强高层特征图语义表达能力，提高裂缝像素分类精度。同时为避免堆叠的扩张卷积引入太多零值，造成大范围信息不相关，出现孔洞或缺失边缘，需要对扩张率大小进行限制。

步骤2、搭建基于注意力机制的特征融合（Attention-based Feature Fusion，AFF）模块。在全卷积神经网络中，最终得分图y可以视为所有通道的特征图求和。如式(1)所示，x表示输入特征图，

表示卷积核权重，D表示图像像素区域，i,j表示像素位置：

(1)

最终各通道预测的概率

如式(2)：

(2)

表示通道数，C表示通道数总数。假设网络最后的预测结果为

，可以引入一个系数

改变最终的输出概率，使之更接近真实标签。如式(3)：

(3)

是改变后的预测结果。

由此，本发明提出了AFF模块。如图2所示，AFF模块首先将高层语义特征和低层细节特征串联起来；其次，利用批量归一化来平衡特征的数据分布；然后，将级联后的特征合并为特征向量，采用全局平均池化(Global Average Pooling，GAP)提取出全局平均向量，依次通过Relu激活函数和Sigmoid激活函数得到最终的权重向量，并利用该权重向量与低级特征相乘，对低级特征进行加权；最后，将高级特征与加权后的低级特征相加得到融合后的特征图，利用全局注意力信息指导高层语义特征与低层细节特征的融合，有利于上采样后恢复图像细节信息，进一步提升对裂缝的分割精度。

步骤3、搭建基于编码器-解码器结构的分割网络，编码器部分在网络高层引入级联的扩张卷积模块，解码器部分引入基于注意力机制的特征融合模块和上采样结构。图3是裂缝检测网络结构图，其中CB为标准卷积模块(Convolution Block)，由两层3×3的标准卷积构成；MaxPooling为最大池化下采样；Cascade Dilated Conv为级联扩张卷积模块，AFF为基于注意力机制的特征融合(Attention-based Feature Fusion)模块。

为了提取裂缝特征，将图像送入卷积网络后首先执行编码操作。编码器部分包括四组两层3×3标准卷积层（CB）与最大池化层（MaxPooling）组合成的卷积块（Conv1~Conv4），每个卷积块首先通过卷积产生裂缝多重卷积特征，然后由最大池化层对其进行下采样以捕获上下文信息，最后将下采样后的图像送入到下一个卷积块中。然而，多层池化容易丢失图像的细节信息，同时现有的编码器-解码器结构往往采用固定的卷积核提取上下文中的裂缝特征，感受野较小。因此，采用级联扩张卷积模块构成Conv5，在避免继续采用下采样丢失裂缝细节信息的情况下大大提高有效感受野。同时为了帮助语义分割网络恢复特征图的细节信息，在解码器部分设计了基于注意力机制的特征融合上采样模块，该结构融合具有丰富语义信息的高层特征图和具有丰富细节信息的低层特征图，同时提取全局信息作为注意力向量，指导恢复细节信息。

步骤4、在公开的裂缝数据集上对本提出的网络模型进行训练。本发明方法的训练具体过程如下：

（1）数据增强：由于裂缝图像数量较少，很容易导致训练过程中出现过拟合，同时为保留图像原有的色彩信息，仅采用随机逆时针旋转30°、60°、90°、水平和竖直翻转等数据增强手段。在训练时训练集图像大小缩放为256×256，验证和测试期间不使用数据扩充。使用二分类交叉熵(binary cross entropy，BCE)+骰子系数损失(Dice loss)作为训练过程中的损失函数。使用Momentum优化器训练100轮，学习率初始化为0.001。训练批次大小设置为8，动量为0.9，权重衰减为0.0005。

（2）损失函数：训练采用的损失函数为二分类交叉熵与骰子系数损失的组合。其中二分类交叉熵损失函数如式(4)：

(4)

为二分类交叉熵损失；N表示图像包含的像素数目；y _i和p _i分别为第i个像素点的标签值和预测概率。骰子系数损失函数表达式如式(5)，

为设置值，作用为防止过拟合，可设置为1：

(5)

综上，本发明采用的组合损失函数如式(6)所示：

(6)

组合损失函数能同时关注像素级别的分类正确率和图像前景的分割效果，使模型训练更加稳定，同时能有效克服正负样本不均衡的问题，从而获得更加精确的分割结果。

步骤5、将本发明方法的检测结果与目前先进的裂缝检测方法作比较分析。本发明实验所用深度学习框架为TensorFlow1.8，使用CuDNN V7和Cuda9.1版本。在CRACK500数据集上完成模型训练后，首先在CRACK500测试集上测试，为了进一步验证算法通用性能和可迁移性，用CRACK500训练后的模型直接在CFD和Cracktree数据集上测试，并与GCN等先进语义分割网络进行对比，实验结果如表1。F1score计算方法如式(7)：

(7)

其中，TP表示真阳率，FP表示假阳率，FN表示假阴率。交并比( Intersection overUnion，IoU )是广泛用于预测目标与标注样本之间分割准确度的评价指标，计算两个集合的交集与其并集的重合比例，IoU计算方式如式(8)：

(8)

平均交并比是对所有类别取平均值。

表1 不同裂缝数据集上模型性能指标对比

从表1中可以看出，在CRACK500测试集上测试，本发明方法明显优于现有的先进语义分割算法，平均IoU达到72.5%，F1score达到96.8，能够对裂缝图像进行更好的分割，且相比UNet与GCN等方法参数更少。在CRACK500数据集上训练的模型直接在CFD和Cracktree数据集上测试，本发明方法均取得了最高的IoU和F1score，平均IoU分别达到71.8%和55.6%，F1score分别达到95.2和94.2，表明模型具有很好的泛化性能。图4是本发明方法与其他方法在CRACK500测试集的预测结果对比，本发明方法在分割裂缝时准确度更高，对于图4中第三行的低对比度图像分割效果更好，而其他方法出现大量的误分类和漏分。实验结果表明本发明方法有效提高了裂缝检测的准确率，能够稳健地在图像中检测出裂缝。

Claims

1.一种高精度的裂缝检测方法，包括如下步骤：

步骤1、搭建级联扩张卷积（Cascade Dilated Conv，CDC）模块；

2.根据权利要求1所述方法，其特征在于，步骤1搭建的级联扩张卷积模块如图1，采用扩张率分别为1、2、5的扩张卷积进行级联，能够扩大特征图有效感受野，整合图像上下文信息，增强特征语义表达能力，提高裂缝像素分类精度。

3.根据权利要求1所述方法，其特征在于，步骤2搭建的基于注意力机制的特征融合模块如图2，首先，将高层语义特征和低层细节特征串联起来；其次，利用批量归一化来平衡特征的数据分布；然后，将级联后的特征合并为特征向量，采用全局平均池化提取出全局平均向量，依次通过Relu激活函数和Sigmoid激活函数得到最终的权重向量，并利用该权重向量与低级特征相乘，对低级特征进行加权；最后，将高级特征与加权后的低级特征相加得到融合后的特征图，利用全局注意力信息指导高层语义特征与低层细节特征的融合，有利于上采样后恢复图像细节信息，进一步提升对裂缝的分割精度。

4.根据权利要求1所述方法，其特征在于，步骤3搭建的基于编码器-解码器的分割网络如图3，编码器部分在网络高层引入级联的扩张卷积模块，解码器部分引入基于注意力机制的特征融合模块和上采样结构，编码器部分包括四组两层3×3标准卷积层（ConvolutionBlock，CB）与最大池化层（MaxPooling）组合成的卷积块（Conv1~Conv4），每个卷积块首先通过卷积产生裂缝多重卷积特征，然后由最大池化层对其进行下采样以捕获上下文信息，最后将下采样后的图像送入到下一个卷积块中，采用级联扩张卷积模块构成Conv5，在避免继续采用下采样丢失裂缝细节信息的情况下大大提高有效感受野，同时为了帮助语义分割网络恢复特征图的细节信息，在解码器部分设计了基于注意力机制的特征融合上采样模块。