CN110120038B - 一种基于对抗生成网络的路面裂缝缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于对抗生成网络的路面裂缝缺陷检测方法，包括如下步骤：S1、将图像数据X输入至生成器并生成与裂缝标签Y对应的赝品标签Y’；S2、将图像数据X和赝品标签Y’在通道上进行连接，传输至辨别器并输出第一结果G_n；S3、将图像数据X和裂缝标签Y在通道上进行连接，传输至辨别器并输出第二结果G_p；S4、训练辨别器判断G_p为真，G_n为假，并将判断假的部分反向传播调整生成器参数；S5、更换所述图像数据X并重复步骤S1‑S4对生成器和辨别器重复训练，直到辨别器无法判别G_p为真，G_n为假；S6、训练完成后，固定生成器参数，将要检测的图片输入生成器，输出一个1280*1280*1的得分矩阵，然后通过阀值进行过滤，得出检测结果。能够更清楚的辨别裂缝病害。

Description

一种基于对抗生成网络的路面裂缝缺陷检测方法

技术领域

本发明涉及桥梁病害检测，特别是涉及一种基于对抗生成网络的路面裂缝缺陷检测方法。

背景技术

生成对抗网络(GAN，Generative Adversarial Net)模型中分别由生成式模型(generative model)和判别式模型(discriminative model)组成。判别模型的任务是判断给定的图像看起来是自然的还是人为伪造的(图像来源于数据集)。生成模型的任务是生成看起来自然真实的、和原始数据相似的图像。

公路作为国家国民经济发展的一项重要基础设施，为我国社会经济发展做出了突出的贡献，它深刻地影响着社会、经济以及人民生活。2018年末，中国公路总里程达到485.95万公里，相比于20年前已翻了数倍。随着中国公路通车里程的不断增加和机动化进程的加快，公路使用时间和频率不断增长，路面常年承受的车轮碾压及冰雪雨天气等复杂自然因素的影响，很多公路表面已出现了或多或少的裂缝病害，这些裂缝大大降低了公路的服务能力。为此，及早发现裂缝并进行维护可以及时避免裂缝进一步发展造成的严重影响，具有重要的现实意义。

路面裂缝是评价路面质量最重要的参数之一，是大部分病害的早期表现形式，直接影响着公路使用寿命和行车安全，及早发现裂缝并进行维护可以及时避免裂缝进一步发展造成的严重影响。传统的人工检测方法，因其耗时费力、不精确、受个人主观影响大、户外作业危险、影响正常交通等缺点，愈来愈不能适应公路发展的要求。随着数字影像技术的成熟发展，数字相机以其高质量图片拍摄、快速数据存储等优点被广泛应用，路面裂缝图像数据呈爆发式增长，这对人工肉眼观察裂缝病害工作提出了更加严峻的挑战。

发明内容

针对上述现有技术的不足，本发明提供了一种基于对抗生成网络的路面裂缝缺陷检测方法，以解决上述问题中的不足之处。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于对抗生成网络的路面裂缝缺陷检测方法，包括如下步骤：

S1、将图像数据X输入至生成器并生成与裂缝标签Y对应的赝品标签Y’；

S2、将图像数据X和赝品标签Y’在通道上进行连接，传输至辨别器并输出第一结果G_n；

S3、将图像数据X和裂缝标签Y在通道上进行连接，传输至辨别器并输出第二结果G_p；

S4、训练辨别器判断G_p为真，G_n为假，并将判断假的部分反向传播调整生成器参数；

S5、更换所述图像数据X并重复步骤S1-S4对生成器和辨别器重复训练，直到辨别器无法判别G_p为真，G_n为假；

S6、训练完成后，固定生成器参数，将要检测的图片输入生成器，输出一个1280*1280*1的得分矩阵，然后通过阀值进行过滤，得出检测结果。

作为优化，在将图像数据X输入至生成器之前，先将所述图像数据X的大小调整为1280*1280。

作为优化，所述生成器是编解码器结构，包括编码器、解码器和瓶颈模块，所述编码器和所述解码器通过所述瓶颈模块连接。

作为优化，所述编码器均连续采用卷积核(kernel)为5*5、跨度(stride)为2、批标准化batchnorm函数和修正线性激活relu函数的方式进行特征提取和降维；所述解码器均连续采用卷积核(kernel)为5*5、跨度为2的反卷积、批标准化batchnorm函数和修正线性激活relu函数的方式进行特征解码和升维；瓶颈模块由8个残差模块级联组成，在所述解码器的输出位置接一个卷积核(kernel)为1*1，跨度(stride)为1的卷积层，在所述卷积层后接批标准化batchnorm函数和S型归一化激活sigmoid函数作为所述生成器的输出。

作为优化，所述步骤S1中图像数据X输入至生成器并生成与裂缝标签Y相对应的赝品标签Y’的具体过程为：

S1.1、将图像数据X输入至编码器，所述编码器对所述图像数据X进行连续卷积，以此提取特征和降维，生成特征图；

S1.2、将所述特征图通过U-NET架构的直连shortcut方法传递至所述解码器的相应解码层；

S1.3、所述解码器对所述瓶颈模块的输出或连接后的特征图进行连续反卷积，以对所述连接后的特征图解码和升维得到赝品标签Y’。

作为优化，所述辨别器为全卷积结构的分类器，连续采用卷积核(kernel)为5*5、跨度(stride)为2的卷积、批标准化batchnorm函数和修正线性激活relu函数的方式对所述辨别器的输入图像数据进行特征提取和降维得到特征图；当所述特征图形状为40*40*512时，采用卷积核(kernel)为1*1、跨度(stride)为1的卷积、批标准化batchnorm函数和S型归一化激活sigmoid函数的方式生成40*40*1分类矩阵，所述分类矩阵将所述输入图像数据等比例划分成40*40的patch单元，每个所述patch单元负责32*32的相关像素区域的真假。

作为优化，所述步骤S4中训练辨别器判断G_p为真，G_n为假，并将判断假的部分反向传播调整生成器参数的具体方法为：

S4.1、训练辨别器判断输入图像数据是图像数据X和赝品标签Y’对应的每个第一patch单元的输出为0，训练辨别器判断输入图像数据是图像数据X和裂缝标签Y对应的每个第二patch单元的输出为1；

S4.2、计算得到辨别器损失D_loss和生成器损失G_loss；

S4.3、固定生成器的参数，并采用自适应学习率的梯度下降算法(AdamOptimizer)反向传播，调整辨别器的参数来减少辨别器损失D_loss；

S4.4、固定辨别器的参数，并采用自适应学习率的梯度下降算法(AdamOptimizer)反向传播，调整生成器的参数减少生成器损失G_loss。

作为优化，所述生成器损失G_loss＝lambda*self_reg_loss+gan_loss，其中，lambda为训练比例，self_reg_loss为生成器的自调节损失，gan_loss为生成器的对抗损失；所述辨别器损失D_loss＝d_loss，其中，d_loss为辨别器的分类损失。

作为优化，所述训练比例为10，所述生成器的自调节损失

self_reg_loss＝mean(-Y*log(Y’)-(1-Y)*log(1-Y’))；所述生成器的对抗损失gan_loss＝mean(-log(G_n))；所述辨别器的分类损失

d_loss＝mean(-log(G_p)-log(1-G_n))。

本发明的有益效果是：

通过本发明所述的一种基于对抗生成网络的路面裂缝缺陷检测方法，能够更清楚的辨别出裂缝病害，更大的满足了现代化公路病害巡检及养护管理要求。

附图说明

图1为本发明所述的一种基于对抗生成网络的路面裂缝缺陷检测方法的方法流程图；

图2为本发明所述的一种基于对抗生成网络的路面裂缝缺陷检测方法的训练过程流程图；

图3为生成器和辨别器的结构图；

图4为训练生成器和辨别器的训练流程图；

图5、图6为运用本发明所述的一种基于对抗生成网络的路面裂缝缺陷检测方法所检测的路面裂缝图(左)和对比图(右)。

具体实施方式

下面结合附图对本发明作进一步的详细说明。

如图1-6所示，一种基于对抗生成网络的路面裂缝缺陷检测方法，包括如下步骤：

S1、将图像数据X输入至生成器并生成与裂缝标签Y对应的赝品标签Y’。

从训练集中随机采样一批图像数据X，裂缝标签Y用普通的标注工具标注出来。本申请运用的标注工具为Labelme,也可以用其他标注工具,这里就不再一一介绍了。

本实施例中，在将图像数据X输入至生成器之前，先将图像数据X的大小调整为1280*1280，并作归一化处理。这是因为由于我们使用的路面采集原始图像数据为4k高清的单通道图像数据，这样的图像数据作为模型输入会耗费大量算力。通过测试，我们将输入图像数据的大小调整为1280*1280，这样的大小能够达到保留人眼所识别的大量细节，同时也能达到常用GPU算力能满足的时间性能。归一化处理后，即将图像数据X通过(X-127.5)/127.5计算，将原本图像数据的灰度值范围0-255归一到(-1，1)，这样可以加快收敛。

如图3所示，生成器是一个编解码器架构，输入为真实图像，输出为像素级别的裂缝标注，为了更好的符合应用场景，我们对生成器做了如下的优化：生成器包括左边的编码器、右边的解码器和中间的瓶颈模块。编码器均连续采用卷积核(kernel)为5*5、跨度(stride)为2的卷积、批标准化batchnorm函数和修正线性激活relu函数的方式进行特征提取和降维；解码器均连续采用卷积核(kernel)为5*5、跨度为2的反卷积、批标准化batchnorm函数和修正线性激活relu函数的方式进行特征解码和升维；瓶颈模块由8个残差模块级联组成，在解码器的输出位置接一个卷积核为1*1，跨度为1的卷积层，在卷积层后接批标准化batchnorm函数和S型归一化激活sigmoid函数作为生成器的输出。采用卷积核(kernel)为5*5、跨度(stride)＝2的方式进行快速降维和升维，可以减少在底层特征图上的卷积层数和池化层数，提高计算速度。

一般的做法是先用两层stride＝1的卷积提取特征，然后再用maxpool来池化降维度才能变成1/2，这样就有三层计算，不适合本申请，因为输入是比较大的1280*1280，计算会很慢，因此就要减少层数快速降维，stride为2的卷积计算后就会把1280*1280变成640*640，通过一层卷积就能让size变成原来的1/2。

瓶颈模块由8个残差模块级联组成，以这样的形式连接编码器和解码器，可以让以编码器和解码器组成的架构在高层特征上做更多的非线性变换，而不至于梯度消失，感受野也更大。在论文《Deep Residual Learning for Image Recognition》有详细介绍，这里就不再赘述。

辨别器为全卷积结构的分类器，连续采用卷积核为5*5、跨度为2的卷积、批标准化batchnorm函数和修正线性激活relu函数的方式对辨别器的输入图像数据进行特征提取和降维得到特征图；当特征图形状为40*40*512时，采用卷积核为1*1、跨度为1的卷积、批标准化batchnorm函数和S型归一化激活sigmoid函数的方式生成40*40*1分类矩阵，分类矩阵将输入图像数据等比例划分成40*40的patch单元，每个patch单元负责32*32的相关像素区域的真假。这样的设计被证明可以让辨别器更加关注高层特征，同时可以让生成器生成更多高频信息，从而更好还原真实标签。同时辨别器的参数量也更少。

生成赝品标签Y’的具体步骤为：

S1.1、将图像数据X输入至编码器，编码器对图像数据X进行连续卷积，以此提取特征和降维，生成特征图；

S1.2、将特征图通过U-NET架构的直连shortcut方法传递至解码器的相应解码层；

S1.3、解码器对瓶颈模块的输出或连接后的特征图进行连续反卷积，以对连接后的特征图解码和升维得到赝品标签Y’。

本实施例中，解码器输出的赝品标签Y’是一个单通道的图片，通过sigmoid得到的生成器的输出在(0,1)的区间内，表示的是裂缝的概率，然后将生成器的输出*255等比例转换到区间(0,255)，可直观表示为1张灰度图片，即赝品标签Y’，0为黑，255为白，越白表示是裂缝概率越大。

由于编码器的快速降维，会丢失大量底层特征，因此通过U-NET架构的直连shortcut方法，将编码器的每个卷积层输出的特征图直接传递到相应解码器的解码层进行通道级别的连接，特征图的直接传递被证明能提高编解码性能。

本实施例中，如图3，编码器，越靠左，特征图越大。而编码器和解码器的对应可以这样算：编码器由(0，1，2，3，4)5层卷积构成，解码器(4，3，2，1，0)5层卷积构成，数字相同的层就是对应的层。

U-NET架构是一个基于CNN的图像分割网络，主要由卷积层、最大池化层(下采样)、反卷积层(上采样)以及ReLU非线性激活函数组成。通过U-NET架构的直连shortcut方法，进行通道级别的连接，特征图的直接传递被证明能提高编解码性能已经是现有技术，这里不再过多赘述。

S2、将图像数据X和赝品标签Y’在通道上进行连接，传输至辨别器并输出第一结果G_n。

将图像数据X和赝品标签Y’进行concatenate(连接)操作，作为辨别器输入传输至辨别器。

本实施例中，深度学习中图像的形状用(N,H,W,C)描述,N为张数，H为高度，W为宽度，C为通道数。常见的图片为3通道rgb彩色图片，和单通道黑白图片，在通道上连接可以理解为把两张高度和宽度相同的图重叠起来，比如一个通道的图片连接另一个通道的图片就变成两个通道。

S3、将图像数据X和裂缝标签Y在通道上进行连接，传输至辨别器并输出第二结果G_p。

同样将图像数据X和裂缝标签Y进行concatenate(连接)操作，作为辨别器输入传输至辨别器。

S4、训练辨别器判断G_p为真，G_n为假，并将判断假的部分反向传播调整生成器参数。

本实施例中，步骤S4中训练辨别器判断G_p为真，G_n为假，并将判断假的部分反向传播调整生成器参数的具体方法为：

S4.1、训练辨别器判断输入图像数据是图像数据X和赝品标签Y’对应的每个第一patch单元的输出为0，训练辨别器判断输入图像数据是图像数据X和裂缝标签Y对应的每个第二patch单元的输出为1。

训练辨别器判断每个所述第一patch单元输出为0，即第一patch单元的判断值为假，第一结果G_n向0回归；训练辨别器判断每个第二patch单元输出为1，即第二patch的判断值为真，第二结果G_p向1回归。

S4.2、计算得到辨别器损失D_loss和生成器损失G_loss。

本实施例中，生成器损失G_loss＝lambda*self_reg_loss+gan_loss，其中，lambda为训练比例，self_reg_loss为生成器的自调节损失，gan_loss为生成器的对抗损失；辨别器损失D_loss＝d_loss，其中，d_loss为辨别器的分类损失。

本实施例中，通过多次试验得出训练比例为10，生成器的自调节损失self_reg_loss＝mean(-Y*log(Y’)-(1-Y)*log(1-Y’))；生成器的对抗损失gan_loss＝mean(-log(G_n))；辨别器的分类损失

d_loss＝mean(-log(G_p)-log(1-G_n))。

Y、Y’为形状是(1280，1280，1)的矩阵、G_n、G_p为形状是(40，40，1)的矩阵，每个矩阵单元的取值范围为0到1，代表的都是得分。gan_loss、d_loss、self_reg_loss都是数值，是通过计算后mean对结果求平均得到的，可以理解为离真实的差异。

S4.3、固定生成器的参数，并采用自适应学习率的梯度下降算法(AdamOptimizer)反向传播，调整辨别器的参数来减少辨别器损失D_loss。

S4.4、固定辨别器的参数，并采用自适应学习率的梯度下降算法(AdamOptimizer)反向传播，调整生成器的参数减少生成器损失G_loss。

本实施例中，生成器的参数、辨别器的参数主要是指生成器和辨别器的卷积参数，例如生成器的卷积核为5*5，输入为32个通道，输出为64个通道，生成器的卷积参数就有5*5*32*64个。

自适应学习率的梯度下降算法，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，即梯度的反向传播，通过self_reg_loss、gan_loss、d_loss的调整对生成器和辨别器的参数，减少生成器和辨别器的损失。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。这是一种现有技术，这里就不再赘述。

S5、更换图像数据X并重复步骤S1-S4对生成器和辨别器重复训练，直到辨别器无法判别G_p为真，G_n为假。

当训练完随机抽取的一批图像数据后，然后又从训练集剩下的图像数据随机抽取相同数量的图像数据和裂缝标签进行训练，通过一直重复S1-S4进行反向传播，让赝品标签Y’与裂缝标签Y越来越接近，当G_n和G_p的值一样时，即辨别器无法判别G_p为真，G_n为假说明赝品标签Y’与裂缝标签Y达到一致。

S6、训练完成后，固定生成器参数，将要检测的图片输入生成器，输出一个1280*1280*1的得分矩阵，然后通过阀值进行过滤，得出检测结果。

将得分矩阵通过阈值进行过滤，大于阈值的就是1，小于阈值的就是0。例如，

的2*2的矩阵，通过阈值0.1进行过滤，得到过滤结果

再将过滤结果*255得到

的可视化的检测结果。

通过AUC得出理论最优阀值，然后通过粒度为0.01进行实验性微调，得出最终阀值。经过试验，本实施例中，本项目最终阈值为0.1。

本发明的工作原理：

生成器负责接受输入路面真实的图像数据X并生成和裂缝缺陷Y相同的赝品标签Y’。接收器负责辨别图像数据X的输出赝品标签Y’并不是真实的裂缝缺陷Y。通过对抗训练，可以让生成器能够学习到接受到真实路面图像后，如何生成更真实的缺陷位置。

最后应说明的是：本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等统计数的范围之内，则本发明也意图包含这些改动和变型。

Claims (8)

1.一种基于对抗生成网络的路面裂缝缺陷检测方法，其特征在于，包括如下步骤：

S1、将图像数据X输入至生成器并生成与裂缝标签Y对应的赝品标签Y’；

S2、将图像数据X和赝品标签Y’在通道上进行连接，传输至辨别器并输出第一结果G_n；

S3、将图像数据X和裂缝标签Y在通道上进行连接，传输至辨别器并输出第二结果G_p；

S4、训练辨别器判断G_p为真，G_n为假，并将判断假的部分反向传播调整生成器参数；

S5、更换所述图像数据X并重复步骤S1-S4对生成器和辨别器重复训练，直到辨别器无法判别G_p为真，G_n为假；

S6、训练完成后，固定生成器参数，将要检测的图片输入生成器，输出一个1280*1280*1的得分矩阵，然后通过阈 值进行过滤，得出检测结果；

所述步骤S4中训练辨别器判断G_p为真，G_n为假，并将判断假的部分反向传播调整生成器参数的具体方法为：

S4.1、训练辨别器判断输入图像数据是图像数据X和赝品标签Y’对应的每个第一patch单元的输出为0，判断输入图像数据是图像数据X和裂缝标签Y对应的每个第二patch单元的输出为1；

S4.2、计算得到辨别器损失D_loss和生成器损失G_loss；

S4.3、固定生成器的参数，并采用自适应学习率的梯度下降算法反向传播，调整辨别器的参数来减少辨别器损失D_loss；

S4.4、固定辨别器的参数，并采用自适应学习率的梯度下降算法反向传播，调整生成器的参数减少生成器损失G_loss。

2.根据权利要求1所述的一种基于对抗生成网络的路面裂缝缺陷检测方法，其特征在于，在将图像数据X输入至生成器之前，先将所述图像数据X的大小调整为1280*1280。

3.根据权利要求1所述的一种基于对抗生成网络的路面裂缝缺陷检测方法，其特征在于，所述生成器是编解码器结构，包括编码器、解码器和瓶颈模块，所述编码器和所述解码器通过所述瓶颈模块连接。

4.根据权利要求3所述的一种基于对抗生成网络的路面裂缝缺陷检测方法，其特征在于，所述编码器均连续采用卷积核为5*5、跨度为2的卷积、批标准化batchnorm函数和修正线性激活relu函数的方式进行特征提取和降维；所述解码器均连续采用卷积核为5*5、跨度为2的反卷积、批标准化batchnorm函数和修正线性激活relu函数的方式进行特征解码和升维；瓶颈模块由8个残差模块级联组成，在所述解码器的输出位置接一个卷积核为1*1，跨度为1的卷积层，在所述卷积层后接批标准化batchnorm函数和S型归一化激活sigmoid函数作为所述生成器的输出。

5.根据权利要求4所述的一种基于对抗生成网络的路面裂缝缺陷检测方法，其特征在于，所述步骤S1中图像数据X输入至生成器并生成与裂缝标签Y相对应的赝品标签Y’的具体过程为：

S1.1、将图像数据X输入至编码器，所述编码器对所述图像数据X进行连续卷积，以此提取特征和降维，生成特征图；

S1.2、将所述特征图通过U-NET架构的直连shortcut方法传递至所述解码器的相应解码层；

S1.3、所述解码器对所述瓶颈模块的输出或连接后的特征图进行连续反卷积，以对所述连接后的特征图解码和升维得到赝品标签Y’。

6.根据权利要求1所述的一种基于对抗生成网络的路面裂缝缺陷检测方法，其特征在于，所述辨别器为全卷积结构的分类器，连续采用卷积核为5*5、跨度为2的卷积、批标准化batchnorm函数和修正线性激活relu函数的方式对所述辨别器的输入图像数据进行特征提取和降维得到特征图；当所述特征图形状为40*40*512时，采用卷积核为1*1、跨度为1的卷积、批标准化batchnorm函数和S型归一化激活sigmoid函数的方式生成40*40*1分类矩阵，所述分类矩阵将所述输入图像数据等比例划分成40*40的patch单元，每个所述patch单元负责32*32的相关像素区域的真假。

7.根据权利要求1所述的一种基于对抗生成网络的路面裂缝缺陷检测方法，其特征在于，所述生成器损失G_loss＝lambda*self_reg_loss+gan_loss，其中，lambda为训练比例，self_reg_loss为生成器的自调节损失，gan_loss为生成器的对抗损失；所述辨别器损失D_loss＝d_loss，其中，d_loss为辨别器的分类损失。

8.根据权利要求7所述的一种基于对抗生成网络的路面裂缝缺陷检测方法，其特征在于，所述训练比例为10，所述生成器的自调节损失self_reg_loss＝mean(-Y*log(Y’)-(1-Y)*log(1-Y’))；所述生成器的对抗损失gan_loss＝mean(-log(G_n))；所述辨别器的分类损失d_loss＝mean(-log(G_p)-log(1-G_n))。

Images