CN111223087B - 一种基于生成对抗网络的桥梁裂缝自动检测方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的桥梁裂缝自动检测方法。本发明的方法包括：步骤一：搭建基于生成对抗网络的卷积神经网络框架：步骤二：搭建数据库，采集桥梁裂缝信息，形成数据集；步骤三：基于全体数据集对分支网络进行预训练，同时保留每个训练批次的训练模型；步骤四：对步骤三的训练模型中选择效果最好的训练模型，将该效果最好的训练模型权重复原到整体网络的对应网络中；然后将全体数据集一分为二，开始对抗训练，每轮对抗训练中分支网络和判别网络2交替各训练1次，并交替更新分支网络和判别网络2的参数，使得判别网路1和判别网络2的损失函数最小化，更新网络权重。本发明具有网络参数少、处理速度快和识别精度高的优点。

Description

一种基于生成对抗网络的桥梁裂缝自动检测方法

技术领域：

本发明涉及一种基于生成对抗网络的桥梁裂缝自动检测方法，属于结构健康监测与图像处理领域。

背景技术：

桥梁结构在服役期限内，由于其使用环境的影响，性能不断退化，降低其使用寿命。近年来，仍在使用年限内的桥梁发生倒塌的事故屡见不鲜。桥梁结构的规律性健康监测和养护对于延迟桥梁使用寿命，保证桥梁安全性至关重要。裂缝是反映结构安全性和耐久性的重要特征，也是桥梁安全检测中的重要一环。根据表观裂缝的形态可以给结构整体安全性评估提供指导。传统的裂缝检测方法主要是基于人工拍照检测，这种检测方式费时费力，效率低下，同时检测盲区较大，人力成本较高。因此，桥梁结构裂缝的快速自动检测具有重大的工程需求和广阔的前景。

随着深度学习技术的发展，其在计算机视觉领域得到了广泛的应用。越来越多的专家学者也将深度学习技术引到土木工程结构检测领域当中。有很多专家学者都提出使用卷积神经网络来检测裂缝，在实验室环境下也得到了较好的测试结果，但是距离实际工程落地还有很长的路。究其根本原因，一方面是模型体量较大，难以实现实时检测，未考虑到自动检测设备的机载计算机的算力的局限性，难以有机结合；另一方面，所提模型的鲁棒性和泛化能力较差，特别是对于图像中的细微模糊裂缝，检测能力有限。因此，具备轻量化的、高检测精度和较好的泛化能力特点的模型，才能满足工程应用的需要。目前来看，这种模型由于构建难度较大，还有待进一步的研究。

发明内容

本发明的目的是提供一种基于生成对抗网络的桥梁裂缝自动检测方法，在保证检测精度的同时，兼顾检测速度。同时，具有较好的泛化能力以及工程适用性。

上述的目的通过以下技术方案实现：

一种基于生成对抗网络的桥梁裂缝自动检测方法，该方法包括如下步骤：

步骤一：搭建基于生成对抗网络的卷积神经网络框架：所述卷积神经网络框架由生成网络1、判别网络1和判别网络2组成，将生成网络1和判别网络1合称为“分支网络”，将生成网络1、判别网络1和判别网络2这三个子网络统称为“整体网络”，其中，生成网络1 用于提取图像特征，判别网络1用于预测裂缝，判别网络2用于增强判别网络1对裂缝的检测效果；

步骤二：搭建数据库，采集桥梁裂缝信息，形成数据集；

步骤三：基于全体数据集对分支网络进行预训练，同时保留每个训练批次的训练模型；

步骤四：对步骤三的训练模型中选择效果最好的训练模型，将该效果最好的训练模型权重复原到整体网络的对应网络中，即三个子网络中，其中判别网络2模型的参数进行随机初始化；然后将全体数据集一分为二，开始对抗训练，每轮对抗训练中分支网络和判别网络2 交替各训练1次，并交替更新分支网络和判别网络2的参数，使得判别网路1和判别网络2 的损失函数最小化，更新网络权重。

进一步地，步骤一中所述的卷积神经网络框架中，生成网络1为一种编码-解码网络，包括密集连接块、下采样层和上采样层三个个基本组成模块；所述密集连接块由多层卷积经过多次连接组成；所述下采样层由卷积层和最大池化层组成，每通过一次下采样，张量的x和 y维度均缩小1倍；所述上采样层由转置卷积构成，每通过一次上采样，张量的x和y维度均扩大1倍；所述卷积神经网络框架中，密集连接块有4个，层数分别为4、4、5和5层，所述下采样层和上采样层各有3个；所述判别网络1输出深度为1的张量，为模型预测结果；所述判别网络2输出为预测裂缝结果和真值在经过判别网络2映射后的差异。

进一步地，步骤一中所述的卷积神经网络框架中，生成网络1：每一个密集连接块中，张量通过每一个卷积层之前，都会先进行批标准操作和线性激活处理；每一个下采样层，张量都会经过批标准化→线性激活→卷积层→dropout操作→最大池化层；

判别网络1：张量的基本操作为：批标准化→线性激活→卷积层；

判别网络2：张量的基本操作为：批标准化→Leakyrelu函数→卷积层，最后为全连接层；

批标准化层的使得每层的神经网络的神经元输入值分布满足标准正态分布，其基本公式如下所示：

式中：x_i表示输入数据，μ_B表示均值，σ_B表示标准差，

为符合标准正态分布的结果，γ和β为可学习重构参数。

线性激活公式如下所示：

LeakyRelu是线性激活的一种变式，可以避免在x＜0时，不能学习的情况，其公式如下，α通常为非常小的正数，网络中取α＝0.2：

f(x)＝max(αx,x)

Dropout操作是指训练过程中，随机将一部分神经网络单元暂时从网络中丢弃，削弱神经元节点之间的联合适应性，防止过拟合，网络中，神经元暂时丢弃的比例为20％。

进一步地，步骤二中所述采集桥梁裂缝信息，形成数据集的过程中，首先对采样图像进行x和y方向的平移裁剪图像增强数据集，然后对50％的训练和测试图像进行均值滤波模糊处理，均值滤波的卷积核尺寸为4×4，下式中M(x_a+i,y_b+j)表示(x_a+i,y_b+j)处的滤波前的像素值，M₁(x_a,y_b)表示(x_a,y_b)处的滤波后的像素值，F(i,j)则表示卷积核系数：

进一步地，步骤三中所述预训练阶段，判别网络1通过交叉熵损失函数来衡量网络预测结果在统计意义上的精度，首先通过sigmoid非线性激活函数，将变量映射到(0,1)区间内， Sigmoid激活函数如下所示：

交叉熵损失函数表示如下：

其中，q_t表示样本的真实标签，

表示判别网络1的预测结果。

进一步地，步骤四中所述对抗训练阶段，判别网络2通过生成器的损失函数来衡量预测结果和真实结果在网络映射下的差异，使得二者在形态上更加接近，从而达到增加判别网络 1预测结果的，判别器损失函数如下：

其中，D₂(x)表示判别器，G(z)表示判别网络1的预测结果，G(z)＝D₁(G₁(z))，a＝1，b＝0；

生成器的损失函数如下：

其中，c＝1，λ也取为1，W为图片宽度，H为图像高度。其他参数的定义和取值与之前相同，因为对抗网络有判别器的存在，因此与原始网络相比，额外考虑了生成样本与标签之间的相似性，因此，具有更高的检测精度。

与现有技术相比，本发明具有下列技术效果：

1.本发明与传统语义分割模型相比，具有网络参数少、处理速度快和识别精度高的优点。对于模糊图片、细裂缝图片以及复杂背景图片均有较高的检测精度。还可以与无人机等自动化检测设备有机结合，进行结构裂缝的实时拍摄、处理和传输。

2.本发明的模型还可以与无人机等自动化检测设备有机结合，进行结构裂缝的实时拍摄、处理和传输。提高裂缝特别是模糊裂缝的检测效果，意味着可以有效的增大检测的视场，提高检测效率，可以有效减少检测盲区、降低检测过程中的操作难度和危险性，在提高检测效率的同时可以节省大量人力成本。本发明所提方法具有广阔的工程应用前景。

附图说明

图1本发明的整体框架示意图；

图2本发明的分支网络示意图；

图3本发明的判别网络2示意图；

图4本发明的框架细节表；

图5模糊前后图片示意图；

图6本发明的框架与FCN网络评价指标对比表；

图7本发明的框架与FCN网络测试结果对比表。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

一种基于生成对抗网络的桥梁裂缝自动检测方法，该方法包括如下步骤：

步骤一：搭建基于生成对抗网络的卷积神经网络框架：所述卷积神经网络框架由生成网络1、判别网络1和判别网络2组成，将生成网络1和判别网络1合称为“分支网络”，将生成网络1、判别网络1和判别网络2这三个子网络统称为“整体网络”，其中，生成网络1 用于提取图像特征，判别网络1用于预测裂缝，判别网络2用于增强判别网络1对裂缝的检测效果；

步骤二：搭建数据库，采集桥梁裂缝信息，形成数据集；

步骤三：基于全体数据集对分支网络进行预训练，同时保留每个训练批次的训练模型；

步骤四：对步骤三的训练模型中选择效果最好的训练模型，将该效果最好的训练模型权重复原到整体网络的对应网络中，即三个子网络中，其中判别网络2模型的参数进行随机初始化；然后将全体数据集一分为二，开始对抗训练，每轮对抗训练中分支网络和判别网络2 交替各训练1次，并交替更新分支网络和判别网络2的参数，使得判别网路1和判别网络2 的损失函数最小化，更新网络权重。

进一步地，步骤一中所述的卷积神经网络框架中，生成网络1为一种编码-解码网络，包括密集连接块、下采样层和上采样层三个个基本组成模块；所述密集连接块由多层卷积经过多次连接组成；所述下采样层由卷积层和最大池化层组成，每通过一次下采样，张量的x和 y维度均缩小1倍；所述上采样层由转置卷积构成，每通过一次上采样，张量的x和y维度均扩大1倍；所述卷积神经网络框架中，密集连接块有4个，层数分别为4、4、5和5层，所述下采样层和上采样层各有3个；所述判别网络1输出深度为1的张量，为模型预测结果；所述判别网络2输出为预测裂缝结果和真值在经过判别网络2映射后的差异。

进一步地，步骤一中所述的卷积神经网络框架中，生成网络1：每一个密集连接块中，张量通过每一个卷积层之前，都会先进行批标准操作和线性激活处理；每一个下采样层，张量都会经过批标准化→线性激活→卷积层→dropout操作→最大池化层；

判别网络1：张量的基本操作为：批标准化→线性激活→卷积层；

判别网络2：张量的基本操作为：批标准化→Leakyrelu函数→卷积层，最后为全连接层；

批标准化层的使得每层的神经网络的神经元输入值分布满足标准正态分布，其基本公式如下所示：

式中：x_i表示输入数据，μ_B表示均值，σ_B表示标准差，

为符合标准正态分布的结果，γ和β为可学习重构参数。

线性激活公式如下所示：

LeakyRelu函数是线性激活的一种变式，可以避免在x＜0时，不能学习的情况，其公式如下，α通常为非常小的正数，本发明的网络中取α＝0.2：

f(x)＝max(αx,x)

Dropout操作是指训练过程中，随机将一部分神经网络单元暂时从网络中丢弃，削弱神经元节点之间的联合适应性，防止过拟合，网络中，神经元暂时丢弃的比例为20％。

进一步地，步骤二中所述采集桥梁裂缝信息，形成数据集的过程中，首先对采样图像进行x 和y方向的平移裁剪图像增强数据集，然后对50％的训练和测试图像进行均值滤波模糊处理，均值滤波的卷积核尺寸为4×4，下式中M(x_a+i,y_b+j)表示(x_a+i,y_b+j)处的滤波前的像素值， M₁(x_a,y_b)表示(x_a,y_b)处的滤波后的像素值，F(i,j)则表示卷积核系数：

进一步地，步骤三中所述预训练阶段，判别网络1通过交叉熵损失函数来衡量网络预测结果在统计意义上的精度，首先通过sigmoid非线性激活函数，将变量映射到(0,1)区间内， Sigmoid激活函数如下所示：

交叉熵损失函数表示如下：

其中，q_t表示样本的真实标签，

表示判别网络1的预测结果。

进一步地，步骤四中所述对抗训练阶段，判别网络2通过生成器的损失函数来衡量预测结果和真实结果在网络映射下的差异，使得二者在形态上更加接近，从而达到增加判别网络 1预测结果的，判别器损失函数如下：

其中，D₂(x)表示判别器，G(z)表示判别网络1的预测结果，G(z)＝D₁(G₁(z))，a＝1，b＝0；

生成器的损失函数如下：

其中，c＝1，λ也取为1，W为图片宽度，H为图像高度。其他参数的定义和取值与之前相同，因为对抗网络有判别器的存在，因此与原始网络相比，额外考虑了生成样本与标签之间的相似性，因此，具有更高的检测精度。

实施例1

采集桥梁裂缝图像，采用图片水平变换和模糊图像的混合增强方法得到尺寸为128×96 像素的桥梁结构表面裂缝数据共7500张，其中训练图片有6000张，测试图片有1500张。图片均值滤波前后的对比图如附图5所示。基于我们的模型和广泛使用的FCN-VGG-19模型，分别进行训练和测试。

语义分割场景中，要对模型综合评价，广泛使用通过F_measure来评价模型。首先逐像素点计算每张测试结果的TP(True Positives),FN(False Negatives)and FP(FalsePositives)，然后计算1500张测试结果平均的TP,FN and FP。然后根据这三个参数计算出Precision and Recall，根据Precision and Recall计算出F_measure，以评估每一个卷积神经网络模型的性能。 F_measure与模型的识别效果正相关。相关计算公式如下。

两个模型参数对比结果如附图6所示，显然，本发明的模型在参数的得分上和用时上均优于传统的FCN-VGG-19语义分割网络。

两个模型的测试结果对比如附图7所示。可以看到，本发明模型对模糊图片、复杂背景图片和粗细不同的裂缝图片都有非常好的检测效果。效果全方位优于传统的FCN网络。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，该方法包括如下步骤：

步骤一：搭建基于生成对抗网络的卷积神经网络框架：所述卷积神经网络框架由生成网络1、判别网络1和判别网络2组成，将生成网络1和判别网络1合称为“分支网络”，将生成网络1、判别网络1和判别网络2这三个子网络统称为整体网络，其中，生成网络1用于提取图像特征，判别网络1用于预测裂缝，判别网络2用于增强判别网络1对裂缝的检测效果；

步骤二：搭建数据库，采集桥梁裂缝信息，形成数据集；

步骤三：基于全体数据集对分支网络进行预训练，同时保留每个训练批次的训练模型；

步骤四：对步骤三的训练模型中选择效果最好的训练模型，将该效果最好的训练模型权重复原到整体网络的对应网络中，即三个子网络中，其中判别网络2模型的参数进行随机初始化；然后将全体数据集一分为二，开始对抗训练，每轮对抗训练中分支网络和判别网络2交替各训练1次，并交替更新分支网络和判别网络2的参数，使得判别网路1和判别网络2的损失函数最小化，更新网络权重。

2.根据权利要求1所述的基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，步骤一中所述的卷积神经网络框架中，生成网络1为一种编码-解码网络，包括密集连接块、下采样层和上采样层三个个基本组成模块；所述密集连接块由多层卷积经过多次连接组成；所述下采样层由卷积层和最大池化层组成，每通过一次下采样，张量的x和y维度均缩小1倍；所述上采样层由转置卷积构成，每通过一次上采样，张量的x和y维度均扩大1倍；所述卷积神经网络框架中，密集连接块有4个，层数分别为4、4、5和5层，所述下采样层和上采样层各有3个；所述判别网络1输出深度为1的张量，为模型预测结果；所述判别网络2输出为预测裂缝结果和真值在经过判别网络2映射后的差异。

3.根据权利要求2所述的基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，步骤一中所述的卷积神经网络框架中，生成网络1：每一个密集连接块中，张量通过每一个卷积层之前，都会先进行批标准操作和线性激活处理；每一个下采样层，张量都会经过批标准化→线性激活→卷积层→dropout操作→最大池化层；

判别网络1：张量的基本操作为：批标准化→线性激活→卷积层；

判别网络2：张量的基本操作为：批标准化→Leakyrelu函数→卷积层，最后为全连接层；

批标准化层的使得每层的神经网络的神经元输入值分布满足标准正态分布，其基本公式如下所示：

式中：x_i表示输入数据，μ_B表示均值，σ_B表示标准差，

为符合标准正态分布的结果，γ和β为可学习重构参数，

线性激活公式如下所示：

LeakyRelu函数是线性激活的一种变式，用于避免在x＜0时，不能学习的情况，其公式如下，α通常为非常小的正数，网络中取α＝0.2：

f(x)＝max(αx,x)

Dropout操作是指训练过程中，随机将一部分神经网络单元暂时从网络中丢弃，削弱神经元节点之间的联合适应性，防止过拟合，网络中，神经元暂时丢弃的比例为20％。

4.根据权利要求1所述的基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，步骤二中所述采集桥梁裂缝信息，形成数据集的过程中，首先对采样图像进行x和y方向的平移裁剪图像增强数据集，然后对50％的训练和测试图像进行均值滤波模糊处理，均值滤波的卷积核尺寸为4×4，下式中M(x_a+i,y_b+j)表示(x_a+i,y_b+j)处的滤波前的像素值，M₁(x_a,y_b)表示(x_a,y_b)处的滤波后的像素值，F(i,j)则表示卷积核系数：

5.根据权利要求1所述的基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，步骤三中所述预训练阶段，判别网络1通过交叉熵损失函数来衡量网络预测结果在统计意义上的精度，首先通过sigmoid非线性激活函数，将变量映射到(0,1)区间内，Sigmoid激活函数如下所示：

交叉熵损失函数表示如下：

其中，q_t表示样本的真实标签，

表示判别网络1的预测结果。

6.根据权利要求1所述的基于生成对抗网络的桥梁裂缝自动检测方法，其特征在于，步骤四中所述对抗训练阶段，判别网络2通过生成器的损失函数来衡量预测结果和真实结果在网络映射下的差异，使得二者在形态上更加接近，从而达到增加判别网络1预测结果的，判别器损失函数如下：

其中，D₂(x)表示判别器，G(z)表示判别网络1的预测结果，G(z)＝D₁(G₁(z))，a＝1，b＝0；

生成器的损失函数如下：

其中，c＝1，λ也取为1，W为图像宽度，H为图像高度，其他参数的定义和取值与之前相同。

Images