CN111127449A - 一种基于编码器-解码器的自动化裂缝检测方法 - Google Patents

Abstract

本发明实施例公开了一种基于编码器－解码器的自动化裂缝检测方法，所述方法包括：创建基于深度学习的道路裂缝图像的训练集和测试集；创建包含编码器、解码器、空洞卷积模块和分层特征提取模块的深度卷积神经网络；利用训练集和测试集训练深度卷积深度神经网络；将深度卷积神经网络中分层特征提取模块的结果叠加，并输出裂缝图像。本发明方法具有检测过程简单，检测效率高，劳动强度低，便于携带，可操作性强等优点。

Description

一种基于编码器-解码器的自动化裂缝检测方法

技术领域

本发明涉及道路结构健康检测与评估领域，尤其是涉及一种基于编码器－解码器的多尺度分层特征提取的自动化裂缝检测方法。

背景技术

随着全国范围内公路路网的建成，公路建设得到了迅速发展。车辆在路面上高速行驶过程中，路面的完好率和平整度是确保行车安全的重要因素。裂缝是道路受损的重要标志，如果路面出现凹凸和裂缝等情况，会严重影响道路的寿命以及行车的安全，需要定期的对其健康状况做出评估，因此对道路和桥梁裂缝进行检测有着至关重要的作用。

目前，道路桥梁的裂缝检测方法主要是基于传统的图像处理算法和人眼识别。单单依靠人眼进行裂缝检测与识别，效率不高。采用图像处理方法，主要是针对同一材质和纹理背景图像进行裂缝检测，无法对彩色图像直接进行裂缝检测。基于深度学习框架的道路裂缝检测可以实现对彩色图像的裂缝检测处理，可以实现端到端的图像处理，无需卷积神经网路的滑块处理。因此，基于深度学习框架的道路裂缝检测方法，可以实现道路裂缝的自动化检测。因此，如何提高路面裂缝检测的监测效率和效果，是路面裂缝检测领域需要攻克的技术难题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于编码器－解码器的自动化裂缝检测方法。该方法可解决人眼观察和图像处理裂缝检测中定位精度不高，误差大等问题。

为了解决上述现有技术问题，本发明实施例提供了一种基于编码器－解码器的自动化裂缝检测方法，该方法具体包括以下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和测试集；

S2、创建包含编码器、解码器、空洞卷积模块和分层特征提取模块的深度卷积神经网络；

S3、利用训练集和测试集训练深度卷积深度神经网络；

S4、将深度卷积神经网络中分层特征提取模块的结果叠加，并输出裂缝图像。

进一步地，所述步骤S1具体包括：

S11、利用公共的裂缝图像数据集CFD和AigleRN以及其它的裂缝图像数据集，将裂缝图像分为训练集和测试集；

S12、利用智能终端采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，将数据增强后的裂缝图像库中的裂缝图像的裂缝区域实施标签标注，然后将裂缝图像库中的图像分为训练集和测试集。

更进一步地，所述步骤S2具体包括：

S21、搭建深度神经网络结构模型：确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个部分卷积层所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、反卷积层的层数和每个反卷积层所含有的特征图数量、空洞卷积模块中空洞比率的大小和分层特征提取模块的卷积层和反卷积层的特征图数量；

S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择为交叉熵损失函数、平方损失函数等，以及激活函数的选择Relu，softmax， sigmoid等，在损失代价函数中加入权值衰减正则化项，同时在卷积层中加入 dropout来减少过拟合，所述深度神经网络中训练使用优化算法包括SGD，Adam 等其它优化算法；

S23、所述深度卷积神经网络中编码器与解码器通过跳连实现连接；

S24、所述深度卷积神经网络中空洞卷积模块中，期输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块输出是通过不同空洞率卷积得到的特征图叠加融合得到的；

S25、所述深度卷积神经网络中使用深度学习的库包括Caffe、Tensorflow 实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

更进一步地，所述步骤S3具体包括：

S31、根据所述步骤S21、S22、S23、S24、和S25，利用训练集和测试集训练深度卷积神经网络，深度卷积神经网络中的卷积层所采用的激活函数为 ReLU，分层特征提取模块最后一层输出中采用sigmoid激活函数来输出logit，其中每层损失函数公式为；

其中α和β是超参数，y_i是标签数据的真实值，

是原始图像经过深度网络预测值；

S32、分层特征提取模块最后融合损失函数L_fuse＝L_side；

S33、所述深度卷积神经网络中最后总的损失函数是，每个解码器层的输出损失函数和分层特征提取模块输出损失函数相加融合得到损失函数：

更进一步地，所述步骤S4具体包括：

S41、根据所述步骤S31，S32和S33，所述深度卷积神经网络中分层特征提取模块，其输入的特征图是每个解码器层的输出经过卷积和反卷积操作得到的，分层特征提取模块输出是所有解码器层的输入的特征图通过叠加融合后得到的特征图；

S42、所述深度卷积神经网络中，分层特征提取模块融合最后的输出的结果是神经网络最后的输出裂缝分割图像。

实施本发明实施例，具有如下有益效果：本发明方法具有检测过程简单，检测效率高，劳动强度低，便于携带，可操作性强等优点。

附图说明

图1是本发明一种基于编码器－解码器的自动化裂缝检测方法的流程图；

图2是本发明一实施例的深度卷积神经网络模型流程图；

图3是本发明一实施例的深度卷积神经网络输出结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明实施例的实验环境为某实验楼、墙壁以及某条公路中的路面，均为室外环境。在本实施例中，裂缝图像的选取为室外环境的公开区域。

本实施例中使用含有Nvidia显卡的PC。所采用的实施方法为Ubuntu方法，并搭建Tensorflow方法平台，采用Tensorflow中的开源软件库。

请参阅图1，本发明实施例提供的一种基于编码器－解码器的自动化裂缝检测方法，包括如下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和测试集。

本发明实例中采用公共的数据集CFD，此数据集含有118张原始彩色图像和118张标签数据图像，将数据集划分为训练集合测试集，其中训练集中，每份含有100张原始彩色图像和相对应的100张标签数据图像，测试集中含有18张原始彩色图像和相对应的18张标签数据图像。

同时，为了扩充图像数据量，对CFD数据集中的裂缝图像进行数据增强，本发明实例中对已分好的每份数据中的原始彩色图像和标签数据图像进行旋转、剪切来增加裂缝图像的数量。

S2、创建包含编码器、解码器、空洞卷积模块和分层特征提取模块的深度卷积神经网络。

本发明实施例中所采用的深度卷积神经网络模型基础为U－net模型，对此网络模型进行改进。本发明实施例所使用的深度卷积神经网络模型流程图请参阅图2。

该深度神经网络大模型结构建立包括确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个部分卷积层所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、反卷积层的层数和每个反卷积层所含有的特征图数量、空洞卷积模块中空洞比率的大小和分层特征提取模块的卷积层和反卷积层的特征图数量。

本发明实施例中深度神经网络大模型中的卷积层所采用的激活函数为 ReLU，最后一层输出中采用sigmoid激活函数来输出logit，本发明实施例使用的损失函数公式为：

其中α和β是超参数，y_i是标签数据的真实值，

是原始图像经过深度网络的预测值。同时本发明实施例使用Adam优化算法进行优化，学习率为0.001，来最小化损失函数。

本发明实施例中深度卷积神经网络中U－net结构中的编码器部分与解码器部分通过跳连实现连接，该跳连功能可以实现将图像的质地信息传送给解码器，避免了因池化层或者下采样导致图像特征丢失。

本发明实例中所使用的深度神经网络的深度学习库为TensorFlow，利用该深度学习库，根据划分好的训练集和验证集来进行交叉验证，通过不断的减少损失函数来学习深度神经网络的参数，确定深度神经网络大模型中参数的值。

在本发明深度卷积神经网络中空洞卷积模块中，期输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块输出是通过不同空洞率卷积得到的特征图叠加融合得到的。

深度卷积神经网络中使用深度学习的库包括Caffe、Tensorflow实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

S3、利用训练集和测试集训练深度卷积深度神经网络。

在训练过程中，深度卷积神经网络中的卷积层所采用的激活函数为ReLU，分层特征提取模块最后一层输出中采用sigmoid激活函数来输出logit，其中每层损失函数公式为；

其中α和β是超参数，y_i是标签数据的真实值，

是原始图像经过深度网络预测值。

分层特征提取模块最后融合损失函数L_fuse＝L_side。

深度卷积神经网络中最后总的损失函数是，每个解码器层的输出损失函数和分层特征提取模块输出损失函数相加融合得到损失函数：

S4、将深度卷积神经网络中分层特征提取模块的结果叠加，并输出裂缝图像。

深度卷积神经网络中分层特征提取模块，其输入的特征图是每个解码器层的输出经过卷积和反卷积操作得到的，分层特征提取模块输出是所有解码器层的输入的特征图通过叠加融合后得到的特征图。

分层特征提取模块融合最后的输出的结果是神经网络最后的输出裂缝分割图像，请参阅图3。

以上该实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于编码器－解码器的自动化裂缝检测方法，其特征在于，所述方法具体包括以下步骤：

S1、创建基于深度学习的道路裂缝图像的训练集和测试集；

S2、创建包含编码器、解码器、空洞卷积模块和分层特征提取模块的深度卷积神经网络；

S3、利用训练集和测试集训练深度卷积深度神经网络；

S4、将深度卷积神经网络中分层特征提取模块的结果叠加，并输出裂缝图像。

2.根据权利要求1所述的基于编码器－解码器的自动化裂缝检测方法，其特征在于，所述步骤S1具体包括：

利用公共的裂缝图像数据集CFD或AigleRN，将裂缝图像分为训练集和测试集。

3.根据权利要求1所述的基于编码器－解码器的自动化裂缝检测方法，其特征在于，所述步骤S1具体包括：

利用智能终端采集到的不同结构表面裂缝图像，构建裂缝图像数据库，对构建的裂缝图像库进行数据增强，将数据增强后的裂缝图像库中的裂缝图像的裂缝区域实施标签标注，然后将裂缝图像库中的图像分为训练集和测试集。

4.根据权利要求2或3所述的基于编码器－解码器的自动化裂缝检测方法，其特征在于，所述步骤S2具体包括：

S21、搭建深度神经网络结构模型：确定所述深度卷积神经网络卷中编码器和解码器层数，以及每个部分卷积层所含有的特征图的数量、池化层的层数、池化层中采样核的大小和训练步长、反卷积层的层数和每个反卷积层所含有的特征图数量、空洞卷积模块中空洞比率的大小和分层特征提取模块的卷积层和反卷积层的特征图数量；

S22、选择深度神经网络的训练策略：所述深度神经网络训练中代价函数的选择包括交叉熵损失函数、平方损失函数之一，以及激活函数的选择包括Relu，softmax，sigmoid之一，在损失代价函数中加入权值衰减正则化项，同时在卷积层中加入dropout来减少过拟合，所述深度神经网络中训练使用优化算法包括SGD，Adam算法之一；

S23、所述深度卷积神经网络中编码器与解码器通过跳连实现连接；

S24、所述深度卷积神经网络中空洞卷积模块中，期输入是编码器最后一层卷积层中特征图的输出，空洞卷积模块输出是通过不同空洞率卷积得到的特征图叠加融合得到的；

S25、所述深度卷积神经网络中使用深度学习的库包括Caffe、Tensorflow之一实现以上所述深度神经网络结构，根据划分好的训练集和验证集进行模型训练，通过不断地降低损失函数的函数值来学习深度神经网络的参数，确定深度神经网络模型中的参数值。

5.根据权利要求4所述的基于编码器－解码器的自动化裂缝检测方法，其特征在于，所述步骤S3具体包括：

S31、根据所述步骤S21、S22、S23、S24、和S25，利用训练集和测试集训练深度卷积神经网络，深度卷积神经网络中的卷积层所采用的激活函数为ReLU，分层特征提取模块最后一层输出中采用sigmoid激活函数来输出logit，其中每层损失函数公式为；

其中α和β是超参数，y_i是标签数据的真实值，

是原始图像经过深度网络预测值；

S32、分层特征提取模块最后融合损失函数L＿fuse＝L＿side；

S33、所述深度卷积神经网络中最后总的损失函数是，每个解码器层的输出损失函数和分层特征提取模块输出损失函数相加融合得到损失函数：

6.根据权利要求5所述的基于编码器－解码器的自动化裂缝检测方法，其特征在于，所述步骤S4具体包括：

S41、根据所述步骤S31，S32和S33，所述深度卷积神经网络中分层特征提取模块，其输入的特征图是每个解码器层的输出经过卷积和反卷积操作得到的，分层特征提取模块输出是所有解码器层的输入的特征图通过叠加融合后得到的特征图；

S42、所述深度卷积神经网络中，分层特征提取模块融合最后的输出结果是神经网络最后的输出裂缝分割图像。

Images