CN109544555B - 基于生成式对抗网络的细小裂缝分割方法 - Google Patents

Abstract

本发明涉及一种基于生成式对抗网络的细小裂缝分割方法，包括以下步骤：步骤一、准备若干张裂缝图像；步骤二、训练生成器网络，计算像素损失；步骤三、训练判别器的分割分支，计算分割损失；步骤四、分别读取所述像素损失和分割损失，在此基础上共同训练生成器和判别器的判别分支，计算对抗损失；本发明细小裂缝分割方法，将生成式对抗网络的超分辨率图像重建和语义分割联系起来设计了一个新的分割生成式对抗网络，相比于传统的超分辨率图像生成算法，本发明的超分辨率细小裂缝图形质量更高，且与原高分辨率图像更为相似。

Description

基于生成式对抗网络的细小裂缝分割方法

技术领域

本发明属于计算机视觉、数字图像处理与机器学习技术领域，具体涉及一种基于生成式对抗网络的细小裂缝分割方法。

背景技术

随着交通运输业的发展，公路的养护工作变得十分的重要。桥梁作为当今社会交通枢纽的重要组成部分，不仅承担着运输重任还关系着运输人员的安危，但由于桥梁结构在长期使用中难免产生各种各样的损坏，造成桥梁结构抗力衰减和安全隐患，因此定期的检查和维护是必不可少的。裂缝是桥梁最常见的缺陷。桥梁裂缝产生的原因多种多样，主要是由于沥青路面的疲劳，再加上不利的大气条件，可能导致材料收缩，或由于沥青混合物质量差造成的结构路面阻力。桥梁路面缺陷的检测是后续维护和修理的前提。因此桥梁裂缝的检测工作必不可少。现实生活中，由于裂缝分布杂乱无规律，往往存在很多细小裂缝，容易被周边障碍物干扰造成漏检误检造成了极大的安全隐患。为了避免这一类情况的发生，对细小裂缝检测的研究变得十分重要。

随着计算机行业的飞速发展，一系列基于计算机视觉、数字图像处理的方法被应用于裂缝检测中。Li等人提出了一种基于相邻差分直方图的裂缝分割算法；这类基于阈值分割的裂缝识别方法受光照、噪声、纹理的影响，检测效果往往不稳定。针对这一问题，Landstrom等人结合形态学处理和逻辑回归算法对裂缝进行检测，利用统计学分类方法滤除噪声，提高检测精度。近几年，在物体检测和识别方向上取得重要成果的深度学习方法也逐渐被用到了桥梁裂缝的检测中。李良福等人提出使用卷积神经网络对裂缝进行检测，将裂缝图像切分成较小的元图像，结合窗口滑动算法完成对裂缝的检测。为了进一步将裂缝检测精确到像素，Evan Shelhamer等人提出的全卷积语义分割网络。该模型可以获得的更贴合裂缝本身分布的检测结果，但其将低分辨率分割图上采样至输入图像分辨率机制，花费了大量计算成本。针对这一问题，Vijay Badr等人在解码器中使用去池化操作，对特征图进行上采样，使得待分割图像可以保持高频细节的完整性。对于分布杂乱、特征相对不明显的细小裂缝而言，由于特征信息难提取、裂缝本身分布面积小于周围障碍物以及对应位置像素信息与周围接近等原因，使得上述传统的裂缝检测方法对细小裂缝的检测往往不佳。针对小目标检测问题，一个普遍的做法是增加输入图像的数量以提高小目标的分辨率，从而获得高分辨率的特征图。还有一些通过修改网络模型,将多个低层特征合成新的高层特征，以生成小目标的多尺度表示。

以上方法均试图通过数据增强或者增加特征维度来提高模型对小目标的检测能力。但是，通过数据增强的方法常常导致训练和测试耗费大量的时间。而由低级特征构造高级特征的方法，则不能保证所构造的特征对于最终的检测有效，且其对检测效果的贡献也仅限于偿还计算成本。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提供了以下技术方案：

基于生成式对抗网络的细小裂缝分割方法，包括以下步骤：

步骤一、准备若干张裂缝图像，作为高分辨率图像，使用拉普拉斯下采样得到对应的低分辨率图像；

步骤二、训练生成器网络，将所述低分辨率图像作为网络的输入，所述高分辨率图像作为标签，辅助生成器生成超分辨率图像，计算像素损失；

步骤三、训练判别器的分割分支，将高分辨率图像作为分割分支的输入，对应的语义分割结果作为分割分支的标签，计算分割损失；

步骤四、分别读取所述像素损失和分割损失，在此基础上共同训练生成器和判别器的判别分支，使用高分辨率图像和生成器生成的超分辨率图像作为判别器判别分支的输入，计算对抗损失，具体步骤如下：

1)使用真实样本训练判别分支；

2)保持生成器的参数不变，使用生成器生成的样本训练判别分支；

3)保持判别分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到判别分支中，计算判别分支的损失值，由此获得生成器网络更新超参数以及调整生成图像分布的梯度信息，并将梯度信息用来完成生成器网络的更新；

4)保持分割分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到分割分支中，计算分割分支的损失值后将该损失值返回给生成器，完成生成器网络的更新；

5)重复1)～4)，迭代若干次后完成对抗网络的更新。

作为本发明的进一步说明，所述对抗网络的损失函数表示为：

L＝L_adv+L_seg+L_P

其中，L_sdv表示对抗损失，L_seg表示分割损失，L_p表示像素损失。

作为本发明的进一步说明，所述对抗损失表示为：

在训练判别器时，损失函数为：

在训练生成器时，损失函数为：

作为本发明的进一步说明，所述分割损失表示为：

L_seg＝∑_ij(y_ijlogx_ij+(1-y_ij)log(1-x_ij)

其中L_seg表示分割损失，x_ij表示网络预测热图对应i、j位置的像素所属类别，y_ij为标签图对应i、j位置的像素所属类别。

作为本发明的进一步说明，所述像素损失表示为：

L_P＝|G(z)-x|

其中G(z)表示生成器生成的超分辨率裂缝图像。

与现有技术相比，本发明取得的有益效果为：

1、本发明细小裂缝分割方法，将生成式对抗网络的超分辨率图像重建和语义分割联系起来设计了一个新的分割生成式对抗网络(SE-GAN)，相比于传统的超分辨率图像生成算法，本发明的超分辨率细小裂缝图形质量更高，且与原高分辨率图像更为相似。

2、本发明引入了分割分支，因此本方法生成了易于被分割模型检测到并进行正确分割的细节特征，使得在生成的超分辨率图像中，原低分辨率图像的细节特征能够被更加精准的补充完整，从而使分割分支在处理分割任务时得到更多的有用信息。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是低分辨率子图切分示意图。

图2是判别器结构示意图。

图3是判别分支结构示意图。

图4是分割分支结构示意图。

图5是生成网络结构对比图。

图6是裂缝图像与手工标注的语义分割标签图。

图7是算法分割效果对比图。

图8是细小分裂分割效果图。

图9损失函数效果对比图。

图10是不同判别器生成超分辨率图像对比图。

具体实施方式

为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。

生成式对抗网络由生成器和判别器两个部分组成。判别器是一个简单地卷积神经网络模型，其以真实图像和生成器构造的虚假图像为输入，通过一系列卷积层、激励层、归一化层、池化层对输入数据进行特征提取，最终输出[0，1]区间的概率值；生成器则是一个反向的卷积神经网络模型，通过一系列反卷积层进行上采样，结合激励层，将低维向量转化为与真实图像维度相同的向量输出。其中生成器的输入是随机生成高斯白噪声，经过生成器网络的解码，最终输出一个与真实图像大小相同的向量，实类别对应标签之间的差距，直接将此误差作为反向传播的误差来更新参数以及最初的输入向量。生成式对抗网络采用交叉熵损失函数进行参数优化，公式如(1)所示，

其中D表示判别器(discriminator)，G表示生成器(genarator)，z是输入的随机噪声向量。判别器需要判别输入是真实图像还是生成器生成的图像，当输入是真实图像时，D(x)值趋近于一；当输入是生成器生成的图像时，D(x)值趋近于零。生成器则是尽可能的调整z的分布，使得G(z)与x的分布差异最小化，即D(G(z))趋近于一。由于生成式对抗网络具有两个子网络模型，因此采用逐步交叉训练方式。训练判别器时的损失函数为公式(2)所示，此时默认生成器性能已达到最优，故只需训练判别器的分类性能。

而训练生成器时的损失函数时，默认判别器具有最优的判别能力，即

部分始终为固定常数，不需要加入训练，故训练生成器时的损失函数如公式(3)所示。

语义分割网络与目标分类网络结构类似，同样由卷积层、池化层、激励层构成。不同的是，目标分类网络在卷积层特征提取之后得到一个长度等于分类类别数目的列向量，然后通过激活函数将列向量中的值映射到[0，1]区间，得到目标属于每个类的概率，概率值最大的类即为模型预测的类别。而语义分割网络在卷积层特征提取之后进行反卷积和分阶段特征融合操作，得到个数等于分类的类别数目，大小等于网络输入尺寸的热图，并根据输入图像对应的分割标签按局部区域像素点分类准确率计算损失值，实现梯度回传，计算公式如公式(4)所示。

L(x；θ)＝∑_ijl(x_ij；θ) (4)

x_ij为图像i行j列对应的像素值，θ为模型对应的超参数，l(x_ij；θ)为局部像素的分类损失函数，L(x；θ)为分割损失函数。

本实施例为了解决细小裂缝的检测问题，将生成式对抗网络运用到对小目标进行语义分割的任务中，并分别对生成式对抗网络的判别器结构和生成器结构进行了调整。在判别网络中，将传统的判别器结构保留并更名为判别分支，新增加分割分支，使得判别网络兼具判别图像真伪以及裂缝图像语义分割的功能，与此同时，为了可以学习到真实图像与生成图像间更多的潜在关系，本申请对判别分支的损失函数也进行了调整，将原本的二分类问题转换为差异程度分析问题；在生成器模型中，首先引入了更深的残差结构，在保证不会造成梯度消失问题发生的情况下，为网络增加了更多的非线性性，然后为了缩小生成图像与真实图像在视觉上的差异，引入了像素损失，保证两种图像从潜在分布到视觉分布均具有相似性。考虑到细小裂缝的形状大多细长无规律，且其对应的像素分布占图像整体像素的比例少的特性，本申请将细小裂缝图像进行四等分，得到十六个低分辨率子图，切分方法如图1所示。使用生成式对抗网络对子图依次进行超分辨率重建，并对重新后的裂缝图像进行语义分割，得到相应的检测结果图，将结果图按原切分顺序进行拼接，从而得到最终的检测结果。

本实施例的判别器与传统的判别器不同，本实施例的判别器由两个分支构成，分别是判别分支和语义分割分支，判别分支用传统的判别器功能相同，来判别输入是真实图像还是生成器生成的图像。语义分割分支作用有两个，一是生成裂缝的语义分割结果完成网络对裂缝检测，二是获得分割损失，与判别器得到的对抗损失共同调整生成器生成超分辨率图像的分布，判别器结构如图2所示，将真实的高分辨率裂缝图像对应的特征图和生成器生成的超分辨率特征图作为判别器结构的输入，经过特征提取分类，最终输出。

生成式对抗网络中，判别器用来鉴别输入的是真实图像还是生成器生成的图像。真实图像对应标签为一，生成器生成的图像对应标签为零。判别器通过对输入图像特征提取后，输出[0，1]区间的概率值，并依照概率值和输入图像对应的类别标签计算交叉熵来获取进行网络模型参数更新的梯度信息。此过程中真实图像和生成器生成的图像之间互不干扰，两者的潜在关系仅通过判别器逐个计算损失并把梯度信息回传给生成器，生成器根据判别器传递的梯度信息优化参数以及随机噪声的分布。本申请采用的判别分支结构如图3所示。分支的输入由两部分组成，G(z)表示生成器生成的超分辨率裂缝图像，HR表示真实的高分辨率裂缝图像。分支的结构主要由卷积层(Conv)、激活层(Leaky Relu)、归一化层(Batch Normalization)构成。

为了更好的挖掘真实图像分布与生成图像分布之间的潜在相关性，引导生成网络生成的图像可以更完美的拟合真实图像。考虑到高分辨率粗大型裂缝图像与生成器生成的超分辨率细小裂缝图像之间具有一定的相关性，并且真实的高分辨率图像的真实程度和生成器生成的超分辨率图像的虚假程度都是相对于判别器学习到的两者间的相对差异而言的，所以这两个之间的差异可以表示为:

传统的判别器输出经激活函数D＝σ(F(·))映射到[0，1]区间的概率值，其中F表示判别网络特征提取过程，σ表示激活函数。因此，公式(5)中F(x)表示真实高分辨率裂缝图像经过判别网络后提取到的特征，F(G(z))表示生成的超分辨率裂缝图像经过判别网络后提取到的特征,E()表示均值。对于真实的高分辨率图像判别器输出为D(dis(x,G(z))),对应生成的超分辨率图像判别器输出为D(dis(G(z),x)),经过激活函数映射，此时的判别器输出仍为[0，1]的概率值，与传统的判别器一样，真实图像相对生成图像的真实程度对应标签为一，生成器生成图像相对真实图像的虚假程度对应标签为零。此时生成式对抗网络的损失具有如下定义：

其中L_adv表示对抗损失。在训练判别器时，损失函数为：

训练生成器时，损失函数为：

分割分支使用独立的分割结构模型，本申请直接使用了FC-DenseNet103中的网络模型对的裂缝图像进行语义分割，具体的模型结构如图4所示，上排表示网络的大致结构，是由Dense Bloc结构、Transition Down结构、卷积层(conv)、反卷积层(Deconv)构成。其中Dense Block由layer结构构成，Dense Block、layer以及TransitionDown结构的组成如图4下排所示，箭头表示由箭头起点所在层的输出与箭头终点所在层的输出内容拼接，组成具有更厚结构的特征图，并将组合后的特征图作为下一层的输入。先由生成模型生成细小裂缝的超分辨率图像，将超分辨图像及其对应的语义分割标签图一起送入分割分支，随后生成对应热图，通过给定的语义分割标签图计算损失如公式(9)，将损失回传给生成器，生成器根据返回的梯度信息调整模型超参数以及对生成的超分辨图像进行细化，促使生成器生成更易于分割分支检测的细节信息。

L_seg＝∑_ij(y_ijlogx_ij+(1-y_ij)log(1-x_ij) (9)

其中L_seg表示分割损失，x_ij表示网络预测热图对应i、j位置的像素所属类别，yij为标签图对应i、j位置的像素所属类别。

生成器是生成式对抗网络中生成图像的结构单元，生成器结构的设置决定了生成式对抗网络生成图像的质量。在处理超分辨率生成问题中，往往在生成网络中加入残差结构来增加模型的复杂性，同时又防止因过拟合造成的泛化能力差的问题，提高了网络的生成能力和泛化能力，从而生成与高分辨率图像分布类似的超分辨率图像。SRGAN^[26]是典型在生成器中运用残差结构的方法，其在卷积神经网络的卷积层后增加残差结构，使得网络具有更深的层，增添了非线性性，从而使模型的学习性能大幅的提升。

为了进一步提高生成器生成超分辨率图像的能力，同时增加更多的非线性特征，使得深层卷积可以拟合浅层卷积输出的特征，并在防止网络出现梯度消失问题的同时将低级特征和高级特征融合从而形成多层残差融合模型，本申请将SRGAN中生成网络的16个残差块扩展成32个，具体结构如图5所示。网络由卷积层(conv)、激活层(Relu)、归一化层(Batch Normalization)、反卷积层(Deconv)构成,其中残差块(residual block)如图5所示。

生成式对抗网络中的对抗损失和分割损失均是从图像的特征分析角度来获得用于生成的超分辨率图像的优化梯度信息。实验中往往会出现网络最终的损失很低，但肉眼看到的结果却并不好。这是因为对于模型而言可以得到等价的像素分布，由于不同位置的取值不同，图像呈现的效果差距很大。因此，为了降低像素分布差异而造成的视觉缺憾，本申请在对生成器生成的超分辨率图像进行优化时，加入了像素损失L_p，

L_P＝|G(z)-x| (10)

结合对抗损失、分割损失共同控制超分辨率图像的分布。

L＝L_adv+L_seg+L_P (11)

其中，L为SE-GAN模型的损失函数。

本实施例的具体运行操作环境分为两部分：硬件部分和软件环境。(1)硬件部分：图像采集装置采用日本Panasonic公司的wv-BP330相机。计算机硬件采用Inter(R)Core(TM)i5-6600中央处理器，主频为3.31GHZ，主机内存为8G，硬盘大小为1024G。(2)软件环境：软件开发环境为Ubuntu16.04，深度学习框架Tensorflow1.0，python2.7。

本实施例提供的细小裂缝分割方法的具体实施过程如下：

为了提高分割准确率，本申请采用手工拍摄的10350张128*128大小的RGB彩色裂缝图像作为高分辨率输入图像。对采集的高分辨率图像作四倍下采样得到10350张32*32大小的RGB彩色裂缝图像作为生成网络的低分辨率输入图像。同时，在高分辨率图像中挑选3000张包含各种形态的高分辨率裂缝图像，制作对应的语义分割标签，将挑选的3000张裂缝图像及其对应的标签作为判别器的分割分支输入，辅助生成器生成超分辨率裂缝图像同时完成细小裂缝的语义分割。在分割分支中，数据集分为三个部分，包括训练集验证集和测试集，其中训练集2400张，占图片总数的80％，验证集和测试集分别300张，各占图片总数的10％。每一张图像都对应一张手工标注的语义分割标签，如图6所示，(a)为裂缝图像，(b)为手工标注的分割图像，其中绿色区域对应裂缝位置，黑色部分对应背景区域。

SE-GAN结构由两个部分构成，分别是生成器和判别器。本申请中生成器结构较深，因此采用分步训练的策略。第一步单独训练生成器网络，以下采样得到的低分辨率裂缝图像作为网络的输入，对应的高分辨率裂缝图像作为标签，计算像素损失L_p，L_p值越高说明生成器生成的超分辨图像与真实图像之间的差距越大，网络的训练过程即最小化像素损失的过程。在训练中，初始学习率learing-rate＝0.0001，学习率衰减decay-rate＝0.1，衰减步长decay-step＝500000，batch-size＝16，迭代1000000次后将训练结果保存；第二步单独训练判别器的分割分支，将挑选出的3000张裂缝图作为分割分支的输入，对应的由人工标注的语义分割结果作为分割分支的标签，计算分割损失L_seg，L_seg值越高说明分割分支对输入裂缝图像的分割越不准确，本申请使用adam梯度下降方式来寻求最优解，初始学习率learing-rate＝0.0005，动量项取值0.5，迭代100000次后将训练结果保存；第三步分别读取前两步的训练参数，在此基础上共同训练生成器和判别器的判别分支，使用人工采集的高分辨率裂缝图像和生成器G生成的超分辨率裂缝图像作为判别器判别分支的输入，其中生成样本的标签为零为零，真实样本的标签为一：

1)使用真实样本训练判别分支D_adv；

2)保持生成器G的参数不变，使用G生成的样本训练判别分支D_adv；

3)保持判别分支D_adv的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成图像输入到D_adv中，计算D_adv的损失值，由此获得G网络更新超参数以及调整生成图像分布的梯度信息，并将梯度信息用来完成G网络的更新；

4)保持分割分支D_seg的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成图像输入到D_seg中，计算D_seg的损失值后将值返回给G，完成G网络的更新；

5)重复1)～4)，迭代训练100000次后完成对抗网络的更新。

区别于传统的分割网络，本申请将裂缝的类型分为三种，分别为粗大型裂缝、中型裂缝以及细小裂缝，并分别使用不同的算法对这三中裂缝进行分割。细小裂缝不同于一般的小目标，由于裂缝本身具有细长不规则的特性，且当背景较为昏暗时，模型很难提取到明显的裂缝特征，而细小裂缝作为几种裂缝中特征最不明显的一类，检测与分割工作更是难上加难。各算法对不同类型的裂缝的分割结果如图7所示，第一行为粗大裂缝，第二行为中型裂缝，第三行为本申请重点研究的小型裂缝，图中每一列分别对应一种算法的分割效果。从图中可以看出，四种算法对于粗大型裂缝都具有较好的表现，对于中型裂缝效果稍差，对于细小裂缝，传统的算法出现了漏检以及误检的情况，由此可见，对于细小裂缝的语义分割仅使用传统的方法进行分割无法得到很好地检验效果。

本申请将当前分割效果比较好且主流的分割算法进行对比实验，可以看出本申请方法对细小裂缝分割具有明显的优势。图8中三行分别对应三张不同形态的细小裂缝图，第一列为原始的高分辨率图像，第二列为原始图像对应的标签图，第三列为AdaptSegNet方法对三张图的分割结果，从图中可以看出对于细小裂缝，该方法存在严重的漏检现象，第四列为FC-DenseNet103方法对三种图的分割结果，从图中可以看出FC-DenseNet对中型裂缝检测结果较好细小裂缝几乎检测不出，第五列对应PSPNet方法的分割结果，与前两种算法相比PSPNet可以检测出部分细小裂缝，但是检测效果不稳定且有误检的情况发生，最后一列为本申请算法的分割结果，从图中可以看出，较其他算法本申请算法对细小裂缝检测效果更好，几乎没有误检以及漏检的情况发生。同时，本申请使用精确度(precision)、召回率(recall)、F1分数对分割结果进行了更为直观的评估，评估结果如表1所示。对于不同形态的细小裂缝，对比结果如图所示，在召回率、F1分数、平均IU三项指标中本申请算法明显高于其他三种传统方法。

表1不同算法分割效果对比表

不同损失生成图片效果对比图如图9所示，第一列表示原高分辨率图像，第二列表示仅使用对抗损失对网络进行优化后生成的超分辨率图像，第三列表示使用对抗损失和像素损失对网络进行优化后生成的超分辨率图像，第四列表示本申请使用中使用对抗损失、像素损失以及分割损失对网络进行联合优化后生成的超分辨率图像。从图中可以明显的看出，仅使用对抗损失训练网络会出现较为明显的马赛克现象，即细节部分有许多多余的纹理特征，为后期裂缝的分割增添了许多噪声，因此大大影响了分割质量；而使用了对抗损失和像素损失训练的网络因为所有像素点具有相同的权重，因此更加的关注生成图像整体与原高分辨率图像的视觉一致性，改善了有对抗网络自动生成的纹理噪声，但使裂缝的细节信息有所丢失；本申请采用的损失函数既改善了生成网络生成纹理噪声的现象，又较高程度的还原了裂缝的特征。

为了防止一个评价指标不准确的情况发生，本申请还针对SSIM、MSE和PSNR指标共同给出具体的对比，对比情况如下表2所示。从表中可以看出，使用这三项指标对本申请算法生成的超分辨率图像进行评估得到的结果均优于另外两种方法。在综上所述，使用三种损失函数同时对生成式对抗网络的超参数和生成向量提供梯度信息可以得到生成能力更强、生成的超分辨率图像质量更高的网络模型。

表2不同损失函数对生成图像的影响对比表

为了进一步的改善生成超分辨率图像的质量，本申请对判别器中的判别分支结构进行了修改，考虑到原高分辨率图像与由低分辨率图像生成的超分辨率图像之间存在一定的关联，为了更近一步衡量的两者相似性，首先计算两者之间的特征差异后，将差异输入到判别分支进行判别。实验证明，改进的判别分支可以促使生成网络生成质量更高的超分辨率图像。实验对比结果如图10所示，每一行对应一张裂缝图像，第一列为原高分辨率图像，第二列为将原图进行四倍下采样后用于训练的低分辨率图像使用双线性插值上采样后得到的图像，第三列为使用传统的判别器结构生成的裂缝图像，第四列为使用本申请判别器结构生成的裂缝图像，从图中可以看出，使用传统的判别器生成的裂缝图像带有纵向格子，而本申请使用的判别器改善了这一问题，得到了更为清晰且真实的图片。与此同时，本申请使用了PSRN、MSE、SSIM三个图像质量评价指标对三种情况得到下的图像进行了评估，从数值中可以发现较传统判别器生成的超分辨率图像而言，使用本申请判别分支结构可以得到质量更高且与原高分辨率图像更为相似的超分辨率图像。

表3不同判别器生成超分辨图像质量对比表

本申请将生成式对抗网络首次运用到了对小目标进行语义分割的领域，将生成式对抗网络的超分辨率图像重建和语义分割联系起来设计了一个新的分割生成式对抗网络(SE-GAN)。相比传统的超分辨率图像生成算法，本申请生成的超分辨率细小裂缝图像质量更高，且与原高分辨率图像更为相似。与此同时，由于分割分支的引入，本申请方法更偏向于生成易于被分割模型检测到并进行正确分割的细节特征，使得在生成的超分辨率图像中，原低分辨率图像的细节特征能够被更加精准的补充完整，从而使分割分支在处理分割任务时得到更多的有用信息，实验结果证明，对于细小裂缝分割问题，较传统的分割算法，本申请具有更高的分割准确率。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.基于生成式对抗网络的细小裂缝分割方法，其特征在于，包括以下步骤：

步骤一、准备若干张裂缝图像，作为高分辨率图像，使用拉普拉斯下采样得到对应的低分辨率图像；

步骤二、训练生成器网络，将所述低分辨率图像作为网络的输入，所述高分辨率图像作为标签，辅助生成器生成超分辨率图像，计算像素损失；

步骤三、训练判别器的分割分支，将高分辨率图像作为分割分支的输入，对应的语义分割结果作为分割分支的标签，计算分割损失；

所述分割损失中：分割分支使用独立的分割结构模型，使用了FC-DenseNet103中的网络模型对裂缝图像进行语义分割，先由生成模型生成细小裂缝的超分辨率图像，将超分辨图像及其对应的语义分割标签图一起送入分割分支，随后生成对应热图，通过给定的语义分割标签图计算损失L_seg，将损失回传给生成器，生成器根据返回的梯度信息调整模型超参数以及对生成的超分辨图像进行细化，促使生成器生成更易于分割分支检测的细节信息；

步骤四、分别读取所述像素损失和分割损失，在此基础上共同训练生成器和判别器的判别分支，使用高分辨率图像和生成器生成的超分辨率图像作为判别器判别分支的输入，计算对抗损失，具体步骤如下：

1)使用真实样本训练判别分支；

2)保持生成器的参数不变，使用生成器生成的样本训练判别分支；

3)保持判别分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到判别分支中，计算判别分支的损失值，由此获得生成器网络更新超参数以及调整生成图像分布的梯度信息，并将梯度信息用来完成生成器网络的更新；

4)保持分割分支的参数不变，使用低分辨率图像作为输入生成超分辨率图像，将生成的超分辨率图像输入到分割分支中，计算分割分支的损失值后将该损失值返回给生成器，完成生成器网络的更新；

5)重复1)～4)，迭代若干次后完成对抗网络的更新。

2.根据权利要求1所述的细小裂缝分割方法，其特征在于：所述对抗网络的损失函数表示为：

L＝L_adv+L_seg+L_P

其中，L_adv表示对抗损失，L_seg表示分割损失，L_p表示像素损失。

3.根据权利要求2所述的细小裂缝分割方法，其特征在于：所述对抗损失表示为：

在训练判别器时，损失函数为：

在训练生成器时，损失函数为：

D表示判别器，F(x)表示真实高分辨率裂缝图像经过判别网络后提取到的特征；F(G(z))表示生成的超分辨率裂缝图像经过判别网络后提取到的特征,E()表示均值。

4.根据权利要求2所述的细小裂缝分割方法，其特征在于：所述分割损失表示为：

L_seg＝∑_ij(y_ijlogx_ij+(1-y_ij)log(1-x_ij))

其中L_seg表示分割损失，x_ij表示网络预测热图对应i、j位置的像素所属类别，y_ij为标签图对应i、j位置的像素所属类别。

5.根据权利要求2所述的细小裂缝分割方法，其特征在于：所述像素损失表示为：

L_P＝|G(z)-x|

其中G(z)表示生成器生成的超分辨率裂缝图像。

Images