CN111986164A - 一种基于多源Unet+Attention网络迁移的道路裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于多源Unet+Attention网络迁移的道路裂缝检测方法，该方法首先收集道路、墙壁、桥梁和大坝的裂缝数据集，并对这些数据集进行数据扩充，构建深度学习分割网络Unet模型，将大坝、墙壁和桥梁的数据集导入到模型中进行训练，并将生成的模型参数进行迁移学习。迁移后的模型在Unet的基础之上添加了Attention机制，提高裂缝检测的准确度，将之前的模型参数导入其中，并用道路裂缝数据集进行训练，生成多个模型，对这些模型进行模型融合计算，进一步提高道路裂缝检测的准确度。

Description

一种基于多源Unet+Attention网络迁移的道路裂缝检测方法

技术领域

本发明涉及一种多模型融合的道路裂缝检测方法，特别是涉及一种基于多源Unet+Attention网络迁移的道路裂缝检测方法，属于道路裂缝检测技术领域。

背景技术

道路作为国内最为基础的交通设施，在国家建设发展等方面有着不可代替的作用。因此道路裂缝的存在对于个人和国家来说都是一种极大的隐患，如何高效正确的将道路裂缝检测出来成了我们需要面对的一个难题。而且道路图像容易受到光、影等因素的干扰，这对于裂缝的检测无疑又增加了新的困难。

目前，对裂缝检测的方式主要分为两大类：传统检测与深度学习。赵芳等人在改进的Canny算子在裂缝检测中的应用一文中针对于噪声与边缘检测精度问题，提出了一种新的Canny边缘检测方法(将多尺度形态学和双边滤波结合)；周慧媛等人在基于对比度受限自适应直方图多种路面裂缝检测与识别一文中提出了一种新的路面检测与识别方法(利用CLAHE和中值滤波去噪，利用形态学去伪裂缝)；韦春桃等人在基于自适应阈值的细小裂缝与微灰度差异裂缝自动检测方法一文中针对路面各种噪声以及细小裂缝和微灰度差异问题，提出了一种基于自适应阈值的裂缝自动检测方法；姚立平等人在基于图像处理的路面裂缝检测系统设计与研究一文中针对于人工检测带来的各种问题，提出了一种基于Matlab的图像裂缝检测系统；卢小平等人在一种基于无人机影像的迭代二值化道路裂缝检测方法一文中针对于现有道路裂缝检测方法训练样本大、试验周期长等不足，提出了一种基于无人机影像检测道路裂缝的方法。

这些传统的方法虽然在一定程度上解决了人工检测的耗时、耗人力、效率低等问题，但是还是存在一定的局限性，如新数据的检测仍需要花费大量的时间，因此针对这些现象深度学习慢慢开始了兴起。

Zhun Fan等人在Automatic Pavement Crack Detection Based on StructuredPrediction with the Convolutional Neural Network一文中针对不同的路面状况检测裂缝，提出了一种基于深度学习的监督方法，该方法能够处理不同的路面状况(卷积神经网络(CNN)用于从原始图像中学习裂纹的结构，而无需任何预处理)；Young-Jin Cha等人在Deep Learning-Based Crack Damage Detection Using Convolutional NeuralNetworks一文中针对现实世界中各种各样的情况(例如，光线和阴影的变化)可能会对IPTs的广泛采用带来挑战，提出了一种基于视觉的卷积神经网络(CNNs)检测混凝土裂缝的方法；Shengyuan Li等人在Image-Based Concrete Crack Detection Using ConvolutionalNeural Network and Exhaustive Search Technique一文中针对薄裂缝、粗糙表面、阴影等等情况，提出了一种基于图像的深层卷积神经网络裂纹检测方法(CNN是通过修改AlexNet设计的)；李鹏等人在一种改进型的PCNN路面裂缝检测方法一文中针对传统脉冲耦合神经网络(PCNN)在路面图像分割中的参数选择以及迭代中最佳分割结果的选择问题，提出通过简化脉冲耦合神经网络的模型；杨晨曦在基于深度神经网络的遥感影像路面裂缝检测方法研究一文中针对道路裂缝检测过程中存在的问题构建了一种多视角卷积网络(Multi-PerNet)来提取遥感影像的特征，并基于Faster R-CNN框架，使用该网络训练遥感影像道路裂缝目标的检测模型。

发明内容

本发明所要解决的技术问题是：提供一种基于多源Unet+Attention网络迁移的道路裂缝检测方法，在Unet网络的基础之上，添加了Attention机制，同时引入了迁移学习的方法，最后，提出了多模型融合，为道路裂缝识别问题提供了一种高效的解决方案。

本发明为解决上述技术问题采用以下技术方案：

一种基于多源Unet+Attention网络迁移的道路裂缝检测方法，包括如下步骤：

步骤1，获取数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝的真实图片和与之对应的标签图片，并利用图像数据增强技术对数据集进行扩充，得到道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝样本集；

步骤2，构建深度学习分割网络模型；

步骤3，利用墙壁裂缝、桥梁裂缝及大坝裂缝样本集分别对深度学习分割网络模型进行训练，得到墙壁裂缝、桥梁裂缝及大坝裂缝样本集各自对应的模型参数；

步骤4，构建新的深度学习分割网络模型，并利用迁移学习分别将墙壁裂缝、桥梁裂缝及大坝裂缝样本集各自对应的模型参数进行迁移，得到三个迁移后的深度学习分割网络模型，对每个迁移后的深度学习分割网络模型的上采样部分加入Attention机制，得到三个新的模型；

步骤5，将道路裂缝样本集分为训练集和测试集，利用训练集依次对三个新的模型进行训练，得到三个训练好的模型；

步骤6，利用三个训练好的模型分别对测试集进行预测，得到三组预测图像，对三组预测图像进行二值化处理后，再进行融合操作，得到最终的预测图像。

作为本发明的一种优选方案，步骤1所述图像数据增强技术包括旋转、平移、投影变换、缩放、翻转和像素填充。

作为本发明的一种优选方案，步骤2所述深度学习分割网络模型包括收缩路径和扩展路径，其中，收缩路径具体为：对于输入的图像，在第1层使用两次卷积操作，对第1层输出的特征图进行池化后进入第2层，在第2层使用两次卷积操作，对第2层输出的特征图进行池化后进入第3层，在第3层使用两次卷积操作，对第3层输出的特征图进行池化后进入第4层，在第4层使用两次卷积操作，对第4层输出的特征图进行池化后进入第5层，在第5层使用两次卷积操作；扩展路径具体为：对第5层输出的特征图进行上采样后进入第6层，在第6层使用两次卷积操作，对第6层输出的特征图进行上采样后进入第7层，在第7层使用两次卷积操作，对第7层输出的特征图进行上采样后进入第8层，在第8层使用两次卷积操作，对第8层输出的特征图进行上采样后进入第9层，在第9层使用三次卷积操作后，得到输出结果；

其中，在第1层至第8层使用的卷积操作，选取的卷积核大小均为3*3，步长均为1；在第9层使用的三次卷积操作中，前两次选取的卷积核大小均为3*3，步长均为1，最后一次选取的卷积核大小为1*1；池化选取的卷积核大小均为2*2，上采样使用的是反卷积操作，且反卷积选取的卷积核大小均为2*2，第1层至第8层采用的过滤器的个数依次为64、128、256、512、1024、512、256、128，第9层采用的过滤器个数分别为64和2。

作为本发明的一种优选方案，步骤6所述二值化处理，公式如下：

其中，pi表示预测图像上第i个像素点的值。

作为本发明的一种优选方案，步骤6所述融合操作，公式如下：

其中，f(pi)表示最终的预测图像上第i个像素点的值，pi表示预测图像上第i个像素点的值，j表示第j个预测图像。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明使用Unet网络作为主体结构，能有效的改善少样本对训练带来的不便。

2、本发明使用Attention机制，能够加大图像中裂缝位置的权重，突出裂缝部分，从而使得模型训练的结果更加的准确。同时，使用模型融合的方法，进一步提高预测图像中裂缝位置与标签位置的重合度，即裂缝检测的准确度。

3、本发明利用大坝、墙壁和桥梁的裂缝数据集训练模型，并在此基础上进行迁移学习，有效的缓解了道路数据集在训练过程中由于样本少带来的问题，并且能够加快模型的收敛速度。

附图说明

图1是本发明基于多源Unet+Attention网络迁移的道路裂缝检测方法的流程框图。

图2是本发明基于多源Unet+Attention网络迁移的道路裂缝检测方法中的Unet+Attention结构图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

由于环境的复杂性，道路裂缝图像存在信噪比低、对比度低、光照不均匀、裂缝不规则等问题。为了解决这些问题，首先将道路数据集进行数据的扩充，增加其样本数，同时参考大坝、墙壁和桥梁的裂缝数据集，将这些数据集进行模型训练，并将训练出来的模型进行迁移学习。而且，为了提高实验结果的准确性，在迁移之后的模型中加入了Attention机制。最后得到多个迁移学习的Unet+attention模型，尝试对这些训练的模型数据进行融合，进一步得到更为精确的裂缝结果。基于这一想法，本发明提出一种基于多源Unet+Attention网络迁移的道路裂缝检测方法。

如图1所示，本发明基于多源Unet+Attention网络迁移的图像裂缝检测方法，包括以下步骤：

S1、收集数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝数据集的真实图片和与之对应的ground truth标签图片；并通过旋转、平移、投影变换、缩放、翻转和像素填充等方式对数据集进行扩充，以增加其样本总数，提高Unet网络模型的准确率。

旋转是指随机旋转图像一定角度，改变图像内容的朝向；平移的方式有两种，分别是水平方向和垂直方向，在图像平面上对图像以一定方式进行平移；投影变换就是让所有点的x坐标(或者y坐标)保持不变，而对应的y坐标(或者x坐标)则按比例发生平移，且平移的大小和该点到x轴(或者y轴)的垂直距离成正比；缩放就是按照一定的比例放大或者缩小图像；翻转是对图像进行水平或者垂直方向的翻转操作，而翻转的图像是随机进行选取的；像素填充是指当图像进行平移、缩放、投影等操作时，对图像中出现的一些缺失地方进行像素的补全，使之与原图像的尺寸保持不变。

S2、构建深度学习分割网络模型Unet，模型结构如图2所示，具体构建步骤如下：

(1)构建Unet模型；

Unet是基于FCNs做的改进。Unet结构由两部分组成，捕捉上下文信息的收缩路径(即特征提取)和对分割部分进行精确定位的对称扩展路径(即上采样)。网络整体结构呈现一个U型，上采样的扩展路径与特征提取的收缩路径一一对应，中间没有全连接层，利用每次卷积提取到的像素特征进行特征传递。

(2)在特征提取部分，对于每一层网络，先对图像进行两次卷积操作，并设置多个过滤器形成特征图组，将图像中的一些特征提取出来，其中使用的卷积核大小为3*3，步长为1，每一层使用的过滤器个数不同，分别为64、128、256、512、1024。对于卷积后的图像尺寸使用以下公式进行计算：

其中o为输出图片尺寸，i为输入图片的尺寸，k为卷积核的尺寸，s为步长，t为填充大小。

接着将特征图组进行池化，选取的池化大小为2*2，因此池化之后图的尺寸缩小一半。每经过一个池化层就有一个尺度，包括原图尺度在内一共有5个尺度。

随着网络层数的加深，能够提取的特征也由表层信息慢慢改变到深层信息；

(3)在扩展路径中，使用的操作与收缩路径基本相同，其使用卷积的卷积核大小也为3*3，唯一不同之处在于它的上采样。上采样的方式有多种，而在Unet模型中，使用了反卷积进行操作，其中反卷积的卷积核大小为2*2，对于上采样之后的图像尺寸使用以下公式进行计算：

i＝(o-1)×s+k-2×t

因此，在上采样之后，图像的尺寸增大一倍。之后几层的方法一样，但过滤器个数分别是512、256、128、64和2，最终输出一张与原始输入图像尺寸一样的结果。

为了更加精确的进行定位，除了扩展路径中生成的特征图外，还将收缩路径中生成的特征图加入到了其中。将收缩路径上提取出来的局部信息，在上采样的过程中与新的特征图(全局信息)进行结合，以最大程度的保留前面下采样过程中一些重要的特征信息。其中局部信息与全局信息的结合方法不同于FCN的对应点相加，Unet使用了channel维度拼接融合的方式。在该方法中，增加的是通道数，而通道对应的特征图则保持不变。

S3、基于步骤S1中扩充后的大坝裂缝、墙壁裂缝和桥梁裂缝数据集，进行模型训练。在训练过程中设置批次的数量、迭代的次数、每次迭代进行的步数，并使用二进制交叉熵作为模型的损失函数。根据损失函数的数值来不断地优化模型的参数，并间接地观察模型的可行性。最终能够得到一个比较完善的模型。

将三组数据集根据此方法进行训练，能够得到三组不同的模型参数，分别将这三组模型参数进行保存，以便后续实验的调用。

S4、重新构建一个新的Unet模型，在之前模型的基础之上添加一个Attention机制。在扩展路径之中，将上采样之前的特征图部分进行提取，将这些特征图进行尺寸变换，变换到与原始图像一样的尺寸。除了最后的输出层不需要Attention机制，在剩余的几层都加上该机制，一共有四个Attention机制。最后将这四个Attention图像与输出层的输出图像进行结合，根据层数越深所占据的比重越大的原则，重新整合出一张全新的图像，这就是模型输出的结果。

而训练该模型时，首先将之前保存的模型参数导入到新模型中，然后导入需要训练的道路裂缝数据集，训练的方法与之前的讲述基本相同。由于有三组模型参数，因此最终也会生成三个全新的模型。

接着，将道路裂缝的测试数据分别导入到这三个模型中进行模型预测，将生成的三组预测图像进行保存，以便后续实验的使用。

S5、为了突出预测图像的效果，对图像进行二值化处理，设定阈值为50：

处理之后的图像能够更明显的显示裂缝所在的位置。接着对图像进行融合操作，采用决策机制，对于同一张图像生成的预测图，根据图像相同位置的像素点值进行决策：

其中，j是第j组预测图像。

最后需要对模型进行评估，因此先计算出模型的正确率和召回率，其中正确率就是所有的预测正确(正类负类)的占总的比重，召回率就是真正正确的占所有实际为正类的比例。计算出这两个指标后，再根据公式得出最后的评价指标：

其中，β²取值为0.3，使准确率的权重高于召回率；p为正确率，r为召回率。

本发明基于多源Unet+Attention网络迁移的图像裂缝检测方法，通过图像数据扩充的方式，基于迁移学习的思想进行微调，解决小样本数据集潜在的问题，加入Attention机制突出裂缝所在位置，提升精确度，将模型的输出进行融合计算，进一步提高预测的准确程度。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于多源Unet+Attention网络迁移的道路裂缝检测方法，其特征在于，包括如下步骤：

步骤1，获取数据集，包括道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝的真实图片和与之对应的标签图片，并利用图像数据增强技术对数据集进行扩充，得到道路裂缝、墙壁裂缝、桥梁裂缝及大坝裂缝样本集；

步骤2，构建深度学习分割网络模型；

步骤3，利用墙壁裂缝、桥梁裂缝及大坝裂缝样本集分别对深度学习分割网络模型进行训练，得到墙壁裂缝、桥梁裂缝及大坝裂缝样本集各自对应的模型参数；

步骤4，构建新的深度学习分割网络模型，并利用迁移学习分别将墙壁裂缝、桥梁裂缝及大坝裂缝样本集各自对应的模型参数进行迁移，得到三个迁移后的深度学习分割网络模型，对每个迁移后的深度学习分割网络模型的上采样部分加入Attention机制，得到三个新的模型；

步骤5，将道路裂缝样本集分为训练集和测试集，利用训练集依次对三个新的模型进行训练，得到三个训练好的模型；

步骤6，利用三个训练好的模型分别对测试集进行预测，得到三组预测图像，对三组预测图像进行二值化处理后，再进行融合操作，得到最终的预测图像。

2.根据权利要求1所述基于多源Unet+Attention网络迁移的道路裂缝检测方法，其特征在于，步骤1所述图像数据增强技术包括旋转、平移、投影变换、缩放、翻转和像素填充。

3.根据权利要求1所述基于多源Unet+Attention网络迁移的道路裂缝检测方法，其特征在于，步骤2所述深度学习分割网络模型包括收缩路径和扩展路径，其中，收缩路径具体为：对于输入的图像，在第1层使用两次卷积操作，对第1层输出的特征图进行池化后进入第2层，在第2层使用两次卷积操作，对第2层输出的特征图进行池化后进入第3层，在第3层使用两次卷积操作，对第3层输出的特征图进行池化后进入第4层，在第4层使用两次卷积操作，对第4层输出的特征图进行池化后进入第5层，在第5层使用两次卷积操作；扩展路径具体为：对第5层输出的特征图进行上采样后进入第6层，在第6层使用两次卷积操作，对第6层输出的特征图进行上采样后进入第7层，在第7层使用两次卷积操作，对第7层输出的特征图进行上采样后进入第8层，在第8层使用两次卷积操作，对第8层输出的特征图进行上采样后进入第9层，在第9层使用三次卷积操作后，得到输出结果；

其中，在第1层至第8层使用的卷积操作，选取的卷积核大小均为3*3，步长均为1；在第9层使用的三次卷积操作中，前两次选取的卷积核大小均为3*3，步长均为1，最后一次选取的卷积核大小为1*1；池化选取的卷积核大小均为2*2，上采样使用的是反卷积操作，且反卷积选取的卷积核大小均为2*2，第1层至第8层采用的过滤器的个数依次为64、128、256、512、1024、512、256、128，第9层采用的过滤器个数分别为64和2。

4.根据权利要求1所述基于多源Unet+Attention网络迁移的道路裂缝检测方法，其特征在于，步骤6所述二值化处理，公式如下：

其中，pi表示预测图像上第i个像素点的值。

5.根据权利要求1所述基于多源Unet+Attention网络迁移的道路裂缝检测方法，其特征在于，步骤6所述融合操作，公式如下：

其中，f(pi)表示最终的预测图像上第i个像素点的值，pi表示预测图像上第i个像素点的值，j表示第j个预测图像。

Images