CN112949783A - 一种基于改进U-Net神经网络的道路裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于改进U‑Net神经网络的道路裂缝检测方法，包括：1)采集道路裂缝图像，构建道路裂缝数据集，并进行预处理操作，形成训练集和测试集；2)构建改进U‑Net神经网络模型；3)基于所述训练集，对所述改进U‑Net神经网络模型进行训练；4)基于所述测试集，对训练完成的改进U‑Net神经网络模型进行测试，输出检测结果，并对模型进行评估，得出模型性能。本发明方法构建的改进U‑Net神经网络引入带扩张率的空洞卷积，可以减少卷积层的层数，减少模型的参数，同时节省了计算资源，降低了计算成本。本发明方法构建的改进U‑Net神经网络在每个卷积层后，加入BN层，加速模型的训练，防止梯度爆炸。

Description

一种基于改进U-Net神经网络的道路裂缝检测方法

技术领域

本发明属于计算机视觉和模式识别领域，具体涉及一种基于改进U-Net道路裂缝检测方法。

背景技术

道路裂缝是路面病害的主要初期表现形式之一，对行车安全造成威胁，及时发现并修复路面裂缝，保持路面状况良好是对于路面管理一项重要的工作。采用传统的人工方法检测不仅检测速度跟不上近年来道路发展的需要，而且人工方法往往会存在主观性，存在准确度不够等问题。随着深度学习技术的发展，用神经网络语义分割的方法可以很好的将道路裂缝提取出来。

然而受计算机性能因素的制约，庞大的神经网络在训练的过程中会耗费大量的时间，无法快速得出结果。然而，随着神经网络深度的增加，并没有给模型带来性能上很大的提升，反而极大的增加了计算成本。

发明内容

为解决现有技术中存在的问题，本发明提出一种基于改进U-Net道路裂缝检测方法，可以明显减少神经网络模型的参数，节省了计算资源，提升了速度。

本发明的技术方案如下：

一种基于改进U-Net神经网络的道路裂缝检测方法，包括

1)采集道路裂缝图像，构建道路裂缝数据集，并进行预处理操作，形成训练集和测试集；

2)构建改进U-Net神经网络模型，所述改进U-Net神经网络模型包括编码器和解码器，所述编码器和解码器采用的网络结构，包括1层64个3×3卷积核的卷积层、1层128个3×3卷积核的卷积层、1层256个3×3卷积核的卷积层、1层512个3×3卷积核的卷积层以及1层1024个3×3卷积核的卷积层，编码器与解码器通过卷积计算连接；其中，编码器的卷积层均连接2×2步长为2的最大池化层，解码器的卷积层均连接3×3步长为2的反卷积层；

所述卷积层采用带有扩张率r的空洞卷积，并且每个空洞卷积后依次加入了批归一化BN层，以及一个线性整流函数ReLu层；

3)基于所述训练集，对所述改进U-Net神经网络模型进行训练；

4)基于所述测试集，对训练完成的改进U-Net神经网络模型进行测试，输出检测结果，并对模型进行评估，得出模型性能。

优选地，步骤1)中，所述道路裂缝图像采用道路裂缝拍摄照片。

优选地，步骤1)中，所述预处理操作包括：对道路裂缝数据集中各道路裂缝图像进行分割，将图像统一为256*256大小，通道数为3的图像；

对分割后的子图像进行筛选并对各子图像中道路裂缝部分标注，其中，裂缝部分标注为白色，非裂缝部分标注为黑色，最后再按8:2的比例划分成训练集和测试集。

优选地，步骤2)中，所述线性整流函数ReLu层为：

式中，x为卷积中各元素的输入值；f(x)为卷积中各元素对应的输出值，若卷积中元素的输入值为负值，则对应的输出值为0，若为正值，则保持原有元素输出；

优选地，步骤2)中，所述空洞卷积为：

k'＝k+(k-1)×(r-1)

其中，k为标准卷积核的大小，r为空洞卷积的扩张率，k'为空洞卷积核的大小。

优选地，步骤3)中，训练过程采用二分类交叉熵BCE作为训练过程中的损失函数，使用Adam优化器训练20轮，学习率为0.001，训练批次的大小为4；其中，二分类交叉熵损失函数为：

其中，L_BCE为损失值，N为一张道路裂缝图像像素总数目，y_i和p_i分别为第i个像素点的标签值和预测概率。

优选地，步骤4)，采用总体像素准确率Acc和均交并比mIoU进行评价所述网络模型的性能；其中，总体像素准确率为：

其中，Acc为总像素准确率，指所有预测正确像素占全部像素的比例；TP为真正例，指模型将正类别样本正确预测为正类别；TN为真负例，指模型将负类别样本正确预测为负类别；FP为假正例，指将负类别样本错误的预测为正类别；FN为真负例，指将正类别样本错误的预测为负类别；

均交并比计算公式为：

其中，mIoU为均交并比，i为真实值，j为预测值，P_ij为将i预测为j，P_ji为将j预测为i，P_ii为将i预测为i，将上式进行转换，结果为：

本发明相比现有技术具有如下优点：

本发明方法构建的改进U-Net神经网络包括编码器和解码器，其中，编码器部分沿用经典的U-Net网络模型结构，利用下采样不断缩小图像的特征图，以此来提取更多的特征信息，解码器部分采用两个分支结构，一个分支结构是利用卷积相加特性，将下采样每个阶段的特征图与上采样对应阶段的特征图相加，另一个分支结构是将下采样每个阶段的特征图直接复制到上采样对应阶段，然后进行通道融合，最后得到和输入图像大小一致的作为输出。本发明在保留编码部分对特征提取的能力的同时，又利用相加特性对特征细节部分予以增强。解决原有结构特征提取能力不足的问题。

本发明方法构建的改进U-Net神经网络引入带扩张率的空洞卷积，可以减少卷积层的层数，减少模型的参数，同时节省了计算资源，降低了计算成本。

本发明方法构建的改进U-Net神经网络在每个卷积层后，加入BN层，加速模型的训练，防止梯度爆炸。

附图说明

图1是本发明改进的U-Net模型结构；

图2是空洞卷积的示意图；

图3是裂缝原始图像和对应的标注图，其中，图(a)为原始图像一和对应的标注图；图(b)为原始图像二和对应的标注图；图(c)为原始图像三和对应的标注图；

图4是模型训练的结果图；

图5是自制数据集的预测结果对比图，其中，图(a)为原图；图(b)为标签；图(c)为FCN2s预测图；图(d)为U-Net预测图；图(e)为改进U-Net预测图。

图6是公开数据集CRACK500的预测结果对比图，其中图(a)为原图；图(b)为标签；图(c)为FCN2s预测图；图(d)为U-Net预测图；图(e)为改进U-Net预测图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

本实施例的一种基于改进U-Net神经网络的道路裂缝检测方法，包括

1)采集道路裂缝图像，构建道路裂缝数据集，并进行预处理操作，形成训练集和测试集；上述道路裂缝图像采用道路裂缝拍摄照片。上述预处理操作包括：对道路裂缝数据集中各道路裂缝图像进行分割，将图像统一为256*256大小，通道数为3的图像；对分割后的子图像进行筛选并对各子图像中道路裂缝部分标注，其中，裂缝部分标注为白色，非裂缝部分标注为黑色，最后再按8:2的比例划分成训练集和测试集。

2)构建改进U-Net神经网络模型，如图1所示，改进U-Net神经网络模型包括编码器和解码器，编码器沿用经典的U-Net网络模型结构，利用下采样不断缩小图像的特征图，以此来提取更多的特征信息，解码器部分则分为两个分支结构，一个分支结构是利用卷积相加特性，将下采样每个阶段的特征图与上采样对应阶段的特征图相加，另一个分支结构是将下采样每个阶段的特征图直接复制到上采样对应阶段，然后进行通道融合，最后得到和输入图像大小一致的作为输出。

编码器进行下采样，输入图像通过下采样不断缩小，以此来提取更多的特征信息，解码器进行上采样，将将图像特征通过上采样不断扩大，最后得到和输入图像大小一样的图像作为输出；

编码器和解码器采用相同的结构，包括1层64个3×3卷积核的卷积层、1层128个3×3卷积核的卷积层、1层256个3×3卷积核的卷积层、1层512个3×3卷积核的卷积层以及1层1024个3×3卷积核的卷积层，编码器与解码器通过卷积计算连接；

其中，编码器的卷积层均连接2×2步长为2的最大池化层，解码器的卷积层均连接3×3步长为2的反卷积层；

卷积层采用带有扩张率r的空洞卷积，并且每个空洞卷积后依次加入了批归一化BN层，以及一个线性整流函数ReLu层；

线性整流函数ReLu激活函数为：

式中，x为卷积中各元素的输入值；f(x)为卷积中各元素对应的输出值，若卷积中元素的输入值为负值，则对应的输出值为0，若为正值，则保持原有元素输出；

上述空洞卷积为：

k'＝k+(k-1)×(r-1)

其中，k为标准卷积核的大小，r为空洞卷积的扩张率，k'为空洞卷积核的大小。

该空洞卷积减少的网络参数比例为：

其中，α为减少参数的比例，k为标准卷积核的大小，n为卷积层的个数。

3)基于训练集，对所述改进U-Net神经网络模型进行训练；

4)基于测试集，对训练完成的改进U-Net神经网络模型进行测试，输出检测结果，并对模型进行评估，得出模型性能。

实施例二：

本实施例的进一步设计在于：步骤3)中基于训练集对改进U-Net神经网络模型的训练过程采用二分类交叉熵BCE作为训练过程中的损失函数，使用Adam优化器训练20轮，学习率为0.001，训练批次的大小为4；其中，二分类交叉熵损失函数为：

其中，L_BCE为损失值，N为一张道路裂缝图像像素总数目，y_i和p_i分别为第i个像素点的标签值和预测概率。

实施例三：

本实施例的进一步设计在于：步骤4)采用总体像素准确率(Acc)和均交并比(mIoU)两个指标进行评价网络模型的性能；其中，总体像素准确率为：

其中，Acc为总像素准确率，指所有预测正确像素占全部像素的比例；TP为真正例，指模型将正类别样本正确预测为正类别；TN为真负例，指模型将负类别样本正确预测为负类别；FP为假正例，指将负类别样本错误的预测为正类别；FN为真负例，指将正类别样本错误的预测为负类别；

均交并比计算公式为：

其中，mIoU为均交并比，i表示真实值，j表示预测值，P_ij表示将i预测为j，P_ji表示将j预测为i，P_ii表示将i预测为i，将上式进行转换，结果为：

实施例四：

本实施例采用本发明基于改进U-Net道路裂缝检测方法对自制数据集进行道路裂缝检测，该自制数据集为通过手机拍摄得到的道路裂缝照片集，自制数据集中原始图像的大小为3024×4042，图片数量为300张。

本实施例中的道路裂缝检测方法包括以下步骤：

(1)道路裂缝数据集的构建和预处理。

(11)利用自制数据集构建道路裂缝数据集。

(12)道路裂缝数据集的预处理是对拍摄图像进行剪切分割，将一张图像划分为适合卷积神经网络输入的子图像。本例中在python下调用skimage库来实现图像的切分，将原始图像切分为256×256的子图像，子图像共3000张，作为神经网络的输入。

(13)对分割后的子图像进行筛选并标注，筛选的内容为含有裂缝的图像，对不含裂缝的图像，采取摒弃的处理方式，标注的内容为每张子图像中裂缝的部分，并做出具体区分，其中裂缝部分显示为白色部分，非裂缝部分显示为黑色部分。再将所有的子图像中80％作为训练集，20％作为测试集。经过标注和筛选得到子图像共3000张，其中2400张作为训练集，600张作为测试集。在本例中，利用labelme软件对上述子图像进行标注。如图3所示，为裂缝图像的原始图像以及其对应的标注图，其中图3(a)、图3(b)和图3(c)位于上方三张图为自制数据集中随机选取的原始图像一、原始图像二和原始图像三，位于下方三张图为原始图像对应的三张标注图。

(2)将图像数据送入改进U-Net神经网络模型进行训练。改进的U-Net神经网络模型包括以下部分：

(21)在编码器和解码器两个部分中，编码器沿用经典的U-Net网络模型结构，利用下采样不断缩小图像的特征图，以此来提取更多的特征信息，解码器部分则分为两个分支结构，一个分支结构是利用卷积相加特性，将下采样每个阶段的特征图与上采样对应阶段的特征图相加，另一个分支结构是将下采样每个阶段的特征图直接复制到上采样对应阶段，然后进行通道融合，最后得到和输入图像大小一致的作为输出。

编码器和解码器采用的网络结构，包括1层64个3×3卷积核的卷积层、1层128个3×3卷积核的卷积层、1层256个3×3卷积核的卷积层、1层512个3×3卷积核的卷积层以及1层1024个3×3卷积核的卷积层，编码器与解码器通过卷积计算连接；

编码器的卷积层均连接2×2步长为2的最大池化层，解码器的卷积层均连接3×3步长为2的反卷积层；

(22)减少的卷积层会使得模型提取到的裂缝信息减少，为了弥补这一缺陷，本发明将标准卷积核改为带有扩张率的空洞卷积。

(23)假设标准的卷积核大小为k×k，则扩张率为r的空洞卷积k'大小可计算得出：

k'＝k+(k-1)×(r-1)

其中，k为标准卷积核的大小，r为空洞卷积的扩张率，k'为空洞卷积核的大小。在本实施例中，k为3，r为2，则计算得出k'为5，即3×3的标准卷积核在使用了扩张率为2的空洞卷积后，其空洞卷积核大小为5×5。如图2所示，为普通3×3的卷积核和本发明应用的扩张率为2的空洞卷积图示。

(24)改为带扩张率的空洞卷积可以极大的减少模型的网络参数。假设标准的卷积核大小为k×k，则减少的参数可计算得出：

其中，α为减少参数的比例，k为标准卷积核的大小，n为卷积层的个数。在本实施例中，n为2,k为3，则α＝50％,即在使用了空洞卷积后，减少了一半的网络参数。

(25)在每一个卷积层后加入了批归一化(BN)层，加入BN层使得网络中每层输入数据的分布相对稳定，加速模型学习速度，可以缓解梯度消失的问题。随后为线性整流函数层(ReLu)。ReLu层的加入则是给模型增加了非线性元素，提高模型的泛化能力。ReLu激活函数的公式如下：

式中，x为卷积中各元素的值；f(x)为对应元素的输出值，若卷积中元素为负值，则输出为0，若为正值，则保持原有元素输出。

(3)根据训练集训练改进的U-Net神经网络模型：以Python语言，在tensorflow2.1框架进行训练，输入图像的大小为256×256，通道为3，该网络卷积层使用3×3，扩张率r为2的卷积核，步长为1；池化层使用2×2的卷积核，步长为2；反卷积层使用3×3的卷积核，步长为2。在最后的预测结果，采用sigmoid函数进行预测。使用二分类交叉熵(BCE)作为训练过程中的损失函数，使用Adam优化器训练20轮，学习率为0.001。训练批次的大小设置为4。其中二分类交叉熵损失函数:

其中，L_BCE表示损失值，N表示一张图像总的像素数目，yi和pi分别为第i个像素点的标签值和预测概率。

(4)为了更好的评估模型的性能，基于测试集采用总体像素准确率(Acc)和均交并比(mIoU)两个指标对模型性能进行评价。其中，总体像素准确率计算公式为：

其中，Acc为总像素准确率，指所有预测正确像素占全部像素的比例；TP为真正例，指模型将正类别样本正确预测为正类别；TN为真负例，指模型将负类别样本正确预测为负类别；FP为假正例，指将负类别样本错误的预测为正类别；FN为真负例，指将正类别样本错误的预测为负类别。

均交并比计算公式为：

其中，mIoU为均交并比，i表示真实值，j表示预测值，P_ij表示将i预测为j，P_ji表示将j预测为i，P_ii表示将i预测为i。可以将上式进行转换，结果为：

(5)在整个模型的训练过程中，为了明确模型没有出现过拟合的现象，需要监测模型训练过程中训练集和测试集的准确率和损失值的曲线，如图4所示，为20轮训练过程中的准确率和损失值的变化曲线，从图4中可以得出，训练集和测试集的曲线基本处于拟合状态，且没有出现震荡，说明模型在训练过程中达到了稳定状态，模型具有很好的鲁棒性。

(6)为了验证本发明方法的迁移性能，本例还对公开数据集CRACK500实施本发明的道路裂缝检测方法。

作为对比，本例还采用现有的基于U-Net检测方法以及基于FCN2s的检测方法对上述自制数据集和公开数据集CRACK500进行道路裂缝检测。

本发明方法、基于U-Net检测方法和基于FCN2s的检测方法分别对自制数据集、公开数据集CRACK500的预测结果对比图分别如图5和图6所示，

其中，图5(a)上、中、下三图分别为自制数据集中随机选取的三张原图，图5(b)上、中、下三图分别为原图对应的三张标签；图5(c)、图5(d)、图5(e)分别为采用基于FCN2s的检测方法、基于U-Net检测方法和本发明方法的对应的预测结果图。

图6(a)上、中、下三图分别为公开数据集CRACK500中随机选取的三张原图，图6(b)上、中、下三图分别为原图对应的三张标签；图5(c)、图5(d)、图5(e)分别为采用基于FCN2s的检测方法、基于U-Net检测方法和本发明方法的对应的预测结果图。

三种方法对应的评价指标以及网络模型参数数目，如下表所示。

表1

从神经网络模型的参数来看，本发明提出的基于改进U-Net道路裂缝检测方法中神经网络模型参数为15.3M，是三种方法最少的；从像素准确率和均交并比两项评价指标来看，在公开数据集CRACK500上本发明方法表现更好，而在自制数据集上也与现有的基于U-Net的方法没有明显的差距，但模型参数少了一半，节省了计算成本。

基于FCN2s的方法在模型参数上要少于U-Net模型，但无论是在自制数据集还是公开数据集CRACK500上，两项的评价指标均没有其他两种方法高。

从图5和图6的预测结果图上看，从实验结果表明，本发明基于改进U-Net道路裂缝检测方法在细小裂缝的预测结果更好，较少出现断裂。在公开数据集CRACK500上预测结果对比，可以看出基于FCN2s检测方法的分割效果图中出现较多像素点错分的情况，基于U-Net的检测方法和本发明基于改进U-Net道路裂缝检测方法在分割效果上不存在的明显差异性，从第一行的分割效果表明，本发明改进U-Net方法对细小裂缝预测结果更优。

Claims (7)

1.一种基于改进U-Net神经网络的道路裂缝检测方法，包括

1)采集道路裂缝图像，构建道路裂缝数据集，并进行预处理操作，形成训练集和测试集；

2)构建改进U-Net神经网络模型，所述改进U-Net神经网络模型包括编码器和解码器，所述编码器和解码器采用的网络结构，包括1层64个3×3卷积核的卷积层、1层128个3×3卷积核的卷积层、1层256个3×3卷积核的卷积层、1层512个3×3卷积核的卷积层以及1层1024个3×3卷积核的卷积层，编码器与解码器通过卷积计算连接；其中，编码器的卷积层均连接2×2步长为2的最大池化层，解码器的卷积层均连接3×3步长为2的反卷积层；

所述卷积层采用带有扩张率r的空洞卷积，并且每个空洞卷积后依次加入了批归一化BN层，以及一个线性整流函数ReLu层；

3)基于所述训练集，对所述改进U-Net神经网络模型进行训练；

4)基于所述测试集，对训练完成的改进U-Net神经网络模型进行测试，输出检测结果，并对模型进行评估，得出模型性能。

2.根据权利要求1所述的基于改进U-Net神经网络的道路裂缝检测方法，步骤1)中，所述道路裂缝图像采用道路裂缝拍摄照片。

3.根据权利要求1所述的基于改进U-Net神经网络的道路裂缝检测方法，步骤1)中，所述预处理操作包括：对道路裂缝数据集中各道路裂缝图像进行分割，将图像统一为256*256大小，通道数为3的图像；

对分割后的子图像进行筛选并对各子图像中道路裂缝部分标注，其中，裂缝部分标注为白色，非裂缝部分标注为黑色，最后再按8:2的比例划分成训练集和测试集。

4.根据权利要求1所述的基于改进U-Net神经网络的道路裂缝检测方法，步骤2)中，所述线性整流函数ReLu层为：

式中，x为卷积中各元素的输入值；f(x)为卷积中各元素对应的输出值，若卷积中元素的输入值为负值，则对应的输出值为0，若为正值，则保持原有元素输出。

5.根据权利要求1-4任一所述的基于改进U-Net神经网络的道路裂缝检测方法，步骤2)中，所述空洞卷积为：

k'＝k+(k-1)×(r-1)

其中，k为标准卷积核的大小，r为空洞卷积的扩张率，k'为空洞卷积核的大小。

6.根据权利要求1所述的基于改进U-Net神经网络的道路裂缝检测方法，步骤3)中，训练过程采用二分类交叉熵BCE作为训练过程中的损失函数，使用Adam优化器训练20轮，学习率为0.001，训练批次的大小为4；其中，二分类交叉熵损失函数为：

其中，L_BCE为损失值，N为一张道路裂缝图像像素总数目，y_i和p_i分别为第i个像素点的标签值和预测概率。

7.根据权利要求1所述的基于改进U-Net神经网络的道路裂缝检测方法，步骤4)，采用总体像素准确率Acc和均交并比mIoU进行评价所述网络模型的性能；其中，总体像素准确率为：

其中，Acc为总像素准确率，指所有预测正确像素占全部像素的比例；TP为真正例，指模型将正类别样本正确预测为正类别；TN为真负例，指模型将负类别样本正确预测为负类别；FP为假正例，指将负类别样本错误的预测为正类别；FN为真负例，指将正类别样本错误的预测为负类别；

均交并比计算公式为：

其中，mIoU为均交并比，i为真实值，j为预测值，P_ij为将i预测为j，P_ji为将j预测为i，P_ii为将i预测为i，将上式进行转换，结果为：

Images