CN108460760A - 一种基于生成式对抗网络的桥梁裂缝图像判别修复方法 - Google Patents

Abstract

本发明涉及具体涉及一种基于生成式对抗网络的桥梁裂缝图像判别修复方法，首先将含障碍物的裂缝图像进行障碍物位置标定，建立二进制掩膜M和反向掩膜(1‑M)，然后生成器对随机向量Z进行生成操作，得到候选修复样本集；再次，覆盖二进制掩膜M，记录语义损失，又将候选修复样本输入到判别器中得到感知损失。筛选最优向量，再对最优向量加反向掩膜后拼接。将拼接后的新图像重新输入到判别器中得到的全局损失回传，不断迭代完成循环修复操作。本发明的循环修复方法不仅考虑到了修复图像的整体真实性，同时不需要创立新的整体判别网络，降低了试验的复杂度并避免了不同网络结构间信息回传的问题。

Description

一种基于生成式对抗网络的桥梁裂缝图像判别修复方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于生成式对抗网络的桥梁裂缝图像判别修复方法。

背景技术

随着交通运输业的发展，公路的养护工作变得十分的重要。桥梁作为当今社会交通枢纽的重要组成部分，不仅承担着运输重任还关系着运输人员的安危，但由于桥梁结构在长期使用中难免产生各种各样的损坏，造成桥梁结构抗力衰减和安全隐患，因此定期的检查和维护是必不可少的。裂缝是桥梁最常见的缺陷。桥梁裂缝产生的原因多种多样，主要是由于沥青路面的疲劳，同时还有不利的大气条件，可能导致材料收缩，或由于沥青混合物质量差或由于沥青混合料的弱点结构路面阻力。桥梁路面缺陷的检测是后续维护和修理的前提。为了进行桥梁裂缝的检测和修补，需要定期地拍摄桥梁缺陷图像。

近几年，在物体检测和识别方向上取得重要成果的深度学习也逐渐被用到了桥梁裂缝的检测中。要训练一个对各种形式的裂缝识别精度都很高的神经网络，前期需要大量的数据作为支撑。受桥梁周围环境及采集条件如光照、相机拍摄角度及分辨率等因素的影响，采集到的图像中有很多障碍物会影响到裂缝的检测，因而取材难度大大增加。因此对原图像去除遮挡物变得十分有意义。由于人工手动对图像中含障碍物的区域擦除后再进行图像缺失部分补全的方式效率低，因此研究采用计算机视觉的方式自动进行障碍物图像的补全具有重要的应用前景。图像的补全属于图像修复的一种形式，其修复对象是纹理信息有部分缺失的图像。近年来国内外在此领域也开展了诸多相关研究。期刊ACM在2000年PP417–424页中发表了Bertalmio et al.的Image Inpainting中提出图像修复这一词；期刊IEEETransactions on Image Processing在2003年PP882-889中发表的Simultaneousstructure and texture image inpainting提出采用偏微分方程的方法进行图像修复，但是该算法缺少稳定性，修复结果往往不佳；随后2001年期刊SIAM Journal on AppliedMathematics在PP1019-1043发表的Mathematical models for local non-textureinpaintings是由Chan等人在此基础上提出基于能量最小化原则的统一修复模型，但由于该模型受到修复区域大小的限制，且不满足连续性原则，进而又于2001年在发表在期刊Journal of Visual Communication and Image Representation的PP436-449的文章Non-texture inpainting by curvature-driven diffusions(CDD)中提出一种基于曲率扩散模型，只是以上算法均只适用于非纹理图像的修复，当所需修复的图像是纹理图像时则没有办法完成修复任务；因此，criminisi等人于2004年在期刊IEEE Transactions on ImageProcessing.的PP1200-121上发表的Region filling and object removal by exemplar-based image inpainting将偏微分方程和纹理信息结合起来，提出基于样本块的图像修复算法，该算法以块为修复单位，可以保留图像的纹理特性，但该算法将两部分内容结合修复较慢，且无法修复含大型连续区域缺失的图像，Alec Radford等人2015年提出并于2016年收入国际表征会议(ICLR)的文献unsupervised representation learning with deepconvolutional generative adversarial networks中的网络结构中，修复图像的选择与受损图像的像素信息有关，生成器G在进行特征学习时会定向的学习某一部分的信息，而修复后的图像是由生成样本和受损图像结合生成的，这往往导致修复边缘的不连续，修复的图像看起来不真实，同时生成式对抗网络训练难度大，进行二次训练花费大量时间，也未考虑整体的真实性对修复后的图片的影响。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于生成式对抗网络的桥梁裂缝图像循环判别修复方法，不仅避开生成式对抗网络训练难度的问题，也避免了二次训练带来的时间花销，还能在搜索到最佳补全部分后，考虑到整体的真实性对修复后的图片进行优化，以得到最优修复结果。本发明要解决的技术问题通过以下技术方案实现：一种基于生成式对抗网络的桥梁裂缝图像判别修复方法，包括以下步骤：

步骤一、通过获取多张障碍物图像对Faster-RCNN进行训练，然后获取多张含有障碍物的裂缝图像，并通过训练完成的Faster-RCNN对含有障碍物的裂缝图像中的障碍物进行障碍物位置标定，并创建二进制掩膜M和反向掩膜1-M；

获取多张无障碍物的裂缝图像，通过多张无障碍物的裂缝图像对深度卷积对抗式生成网络进行训练；

步骤二、随机向量Z通过已训练完成的深度卷积对抗式生成网络的生成器G生成多个随机的生成向量G(z)，然后将生成向量G(z)输入已训练完成的深度卷积对抗式生成网络的判别器D中进行判别，将生成向量G(z)记录为候选修复样本集，并得到感知损失L_p＝log(1-D(G(z)))；

步骤三、将所述含有障碍物的裂缝图像和候选修复样本集均覆盖相同的二进制掩膜M，含有障碍物的裂缝图像覆盖二进制掩膜M后得到受损图像，并根据公式(1)计算语义损失L_s：

L_s＝||M⊙x-M⊙G(z)||₁ (1)

其中，x为含有障碍物的裂缝图像；

步骤四、将所述感知损失与语义损失加权求和，和值最小的候选样本对应的向量分布为最优向量然后将所述最优向量覆盖反向掩膜1-M；

步骤五、将所述覆盖反向掩膜1-M的最优向量与所述受损图像进行拼接得到修复图，然后将修复图输入已训练完成的深度卷积对抗式生成网络的判别器D中进行判别，并根据公式(2)计算全局损失L_g：

L_g(z)＝log(1-D((1-M)⊙G(z)+M⊙x)) (2)；

步骤六、根据公式(3)计算联合损失L，将联合损失输入所述已训练完成的深度卷积对抗式生成网络的生成器G，生成器G根据联合损失采用adam优化算法对最优向量的分布进行调整；

L＝L_s+λL_p+μL_g (3)

其中，λ为感知参数，μ为全局参数；

步骤七、重复步骤二至步骤六，多次迭代后得到裂缝修复图。

进一步的，所述步骤一的具体步骤为：

步骤1.1通过图像采集装置采集多张障碍物图像后，将障碍物图像添加标签后输入Faster-RCNN中进行训练；

步骤1.2另采集多张含有障碍物的裂缝图像，通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图像进行障碍物位置标定，并创建二进制掩膜M和反向掩膜1-M；

障碍物位置标定的障碍物标记矩形框的校准阈值T(θ)为：

其中accuracy为Faster-RCNN的单张图像识别准确率，当T(θ)＝1时，则获取障碍物标记矩形框顶点坐标，当T(θ)＝0.5时，则对障碍物标记矩形框上下左右均向外扩展10个像素点，当T(θ)＝0表示标定失败，则人工进行碍物标定；

1.3通过图像采集装置采集多张无障碍物的裂缝图像，通过将每张图像翻转后以扩增无障碍物的裂缝图片的数据集；

1.4将扩增后的无障碍物的裂缝图像输入深度卷积生成式对抗网络中进行生成模型的训练。

与现有技术相比，本发明的有益效果：发明的循环判别修复方法使用一整套生成式对抗网络就可以将所有的损失值进行整合优化，不仅避开生成式对抗网络难训练的问题，也避免了二次训练带来的时间花销和空间花销，整个修复过程一体化不必分步完成，降低了使用难度，同时使判别器既充当生成图像真伪的检测器，又在搜索到最佳补全部分后，考虑到整体的真实性对修复后的图片进行优化，以得到最优修复结果即充当了拼接图像的优化器。本发明的循环修复方法不仅考虑到了修复图像的整体真实性，同时不需要创立新的整体判别网络，降低了试验的复杂度并避免了不同网络结构间信息回传的问题。

附图说明

图1本发明含有障碍物的裂缝图片障碍物位置标定流程图。

图2是本发明裂缝图像修复效果图。

图3是本发明的流程图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

本发明以Alec Radford等人2015年提出并于2016年收入国际表征会议(ICLR)的文献unsupervised representation learning with deep convolutional generativeadversarial networks中的网络结构为基本框架。

如图1、图2、图3所示，本实施例提供一种基于生成式对抗网络的桥梁裂缝图像判别修复方法，包括以下步骤：

步骤一、通过获取多张障碍物图像对Faster-RCNN进行训练，然后获取多张含有障碍物的裂缝图像，并通过训练完成的Faster-RCNN对含有障碍物的裂缝图像中的障碍物进行障碍物位置标定，并创建二进制掩膜M和反向掩膜1-M；

获取多张无障碍物的裂缝图像，通过多张无障碍物的裂缝图像对深度卷积对抗式生成网络进行训练；

步骤一的具体步骤为：

步骤1.1通过图像采集装置采集多张障碍物图像后，将障碍物图像添加标签后输入Faster-RCNN中进行训练；

步骤1.2另采集多张含有障碍物的裂缝图像，通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图像进行障碍物位置标定，并创建二进制掩膜M和反向掩膜1-M；

Faster-RCNN是目标识别中识别精度比较高的网络，当采集的图像中含有障碍物的图像占大多数，人为手动标记会造成大量的人力消耗。因此使用特定方法来执行障碍物位置的标定变得十分有意义。本实施例对落叶、石子、电线作为障碍物的情况进行说明。

考虑到障碍物不能识别标记矩形完全包含的情形，故设置特定阈值，对障碍物标记矩形框进行校准。

障碍物位置标定的障碍物标记矩形框的校准阈值T(θ)为：

其中accuracy为Faster-RCNN的单张图像识别准确率，当T(θ)＝1时，则获取障碍物标记矩形框顶点坐标，当T(θ)＝0.5时，则对障碍物标记矩形框上下左右均向外扩展10个像素点，当T(θ)＝0表示标定失败，则人工进行碍物标定，具体实现过程如图1所示。

建立与含障碍物的裂缝图像同样尺寸大小的矩阵、对应的标定位置内的像素信息置零、非标定位置的像素置一的二进制掩膜M，和标定位置内像素信息置零，非标定位置的像素置一的反向掩膜1-M。

1.3通过图像采集装置采集多张无障碍物的裂缝图像，且将所有的图片调整为128*128大小，将统一大小的图片进行90°、180°、270°的翻转，通过将每张图片翻转后以扩增无障碍物的裂缝图像的数据集；

1.4将扩增后的无障碍物的裂缝图像输入深度卷积生成式对抗网络中进行生成模型的训练。

步骤二、随机向量Z通过已训练完成的深度卷积对抗式生成网络的生成器G生成多个随机的生成向量G(z)，然后将生成向量G(z)输入已训练完成的深度卷积对抗式生成网络的判别器D中进行判别，并得到感知损失L_p＝log(1-D(G(z)))，将生成向量G(z)记录为候选修复样本集；

生成器G对白噪声集合Z(n)＝{Z⁽¹⁾,Z⁽²⁾,...,Z⁽ⁿ⁾}进行生成操作，得到一系列与真实图片相同尺寸的向量分布作为含障碍物的图片对应的候选修复样本集。

步骤三、将含有障碍物的裂缝图像和候选修复样本集均覆盖相同的二进制掩膜M，含有障碍物的裂缝图像覆盖二进制掩膜M后得到受损图像，并根据公式(1)计算语义损失L_s：

L_s＝||M⊙x-M⊙G(z)||₁ (1)

其中，x为含有障碍物的裂缝图像；

步骤四、将感知损失与语义损失加权求和，和值最小的候选样本对应的向量分布为最优向量然后将最优向量覆盖反向掩膜1-M；

步骤五、将覆盖反向掩膜1-M的最优向量与受损图像进行拼接得到修复图，但此时仅考虑了生成图像的真实性，并没有考虑到拼接后图像的真实性，故将修复图输入已训练完成的深度卷积对抗式生成网络的判别器D中进行判别，将全局损失回传，并根据公式(2)计算全局损失L_g：

L_g(z)＝log(1-D((1-M)⊙G(z)+M⊙x)) (2)；

步骤六、根据公式(3)计算联合损失L，将联合损失输入已训练完成的深度卷积对抗式生成网络的生成器G，生成器G根据联合损失采用adam优化算法对最优向量的分布进行调整；

L＝L_s+λL_p+μL_g (3)

其中，λ为感知参数，μ为全局参数；

步骤七、重复步骤二至步骤六，直至3000次后完成迭代，得到裂缝修复图，修复效果如图2所示。

本发明具体工作过程如下：

本发明具体的运行操作环境分为两部分：硬件部分和软件环境。(1)硬件部分：本发明的图像采集装置采用日本Panasonic公司的wv-BP330相机。计算机硬件采用Inter(R)Core(TM)i5-6600中央处理器，主频为3.31GHZ，主机内存为8G，硬盘大小为1024G。(2)软件环境：本发明的软件开发环境具体为:采用的操作系统为Ubuntu14.04，采用的深度学习框架为tensorflow1.0，开发语言为shell语言，python2.7、C++以及matlab，采用的开源图像计算机视觉处理库为OpenCv2.4.9。

(1)利用图像采集装置采集1059张形态不同的落叶图片，并对采集到的落叶图片加leaf类标签。

(2)将加好标签的落叶图片作为输入数据放入Faster-RCNN中进行训练。另采集100张含有落叶的裂缝图片，并送入训练好的Faster-RCNN网络中进行测试，将网络标记好的落叶位置和单张图片的识别率写入配置文件。

(3)利用图像采集装置采集不同背景纹理、不同材质且不含落叶等其他物体的桥梁裂缝图片，采集的图片总数为10235张，并且将所有的图片调整为128*128大小，将统一大小的图片进行90°、180°、270°的翻转，共得到30705张裂缝图片。

(4)将30705张裂缝图片输入到深度卷积生成式对抗网络中，设置epoch＝25，batchsize＝64后开始模型的训练。

(5)将采集到的100张含有落叶的裂缝图像从配置文件中读入落叶的位置信息以及对应的识别率，依据识别率的大小确定标定位置是否准确或是否需要人为位置标定，并确认最终标定的障碍物位置。

(6)针对每张含落叶的裂缝图像中落叶位置的标定情况，创建对标定区域像素值置零，其余像素值置一的二进制掩膜。每张图片得到一个二进制掩膜和一个对标定区域像素值置一其余像素值置零的反向掩膜。

(7)构造值在[-1，1]区间内随机分布的100维随机向量Z，并送入步骤(4)中已经训练好的网络中，生成128*128*3大小的向量。

(8)随后将向量输入到判别器中判别真伪，并将判别损失记为感知损失回传，将经过判别器判别后的生成图像作为特定的待修复图像的候选修复样本集。

(9)将每一张含障碍物的裂缝图片和其对应的候选样本覆盖相同的二进制掩膜。含障碍物的裂缝图片覆盖二进制掩膜后得到受损图像。

(10)依次计算覆盖掩膜后的含障碍的裂缝图片与覆盖掩膜的其候选样本之间的差，并将差值的绝对值记为语义损失回传。

(11)将感知损失与语义损失加权求和，和值最小的候选样本为本轮最优补全图片。为本轮最优补全图片覆盖反向掩膜。

(12)将覆盖反向掩膜后的本轮最优补全图片与受损图像进行拼接得到修复图，但此时仅考虑了生成图像的真实性，并没有考虑到拼接后图像的真实性。故将修复图送入步骤(4)训练好的判别器中进行判别，并将判别得到的全局损失回传。

(13)整理回传的损失，进行加权求和，求出联合损失，具体操作如公式(3)所示。将联合损失回传给生成器，生成器根据损失值采用adam优化算法对最优补全图片的向量的分布进行调整。

(14)不断的重复步骤(7)至步骤(13)，直至3000次后完成迭代，落叶修复效果图如图2所示。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (2)

1.一种基于生成式对抗网络的桥梁裂缝图像判别修复方法，其特征在于：包括以下步骤：

步骤一、通过获取多张障碍物图像对Faster-RCNN进行训练，然后获取多张含有障碍物的裂缝图像，并通过训练完成的Faster-RCNN对含有障碍物的裂缝图像中的障碍物进行障碍物位置标定，并创建二进制掩膜M和反向掩膜1-M；

获取多张无障碍物的裂缝图像，通过多张无障碍物的裂缝图像对深度卷积对抗式生成网络进行训练；

步骤二、随机向量Z通过已训练完成的深度卷积对抗式生成网络的生成器G生成多个随机的生成向量G(z)，然后将生成向量G(z)输入已训练完成的深度卷积对抗式生成网络的判别器D中进行判别，并得到感知损失L_p＝log(1-D(G(z)))，将生成向量G(z)记录为候选修复样本集；

步骤三、将所述含有障碍物的裂缝图像和候选修复样本集均覆盖相同的二进制掩膜M，含有障碍物的裂缝图像覆盖二进制掩膜M后得到受损图像，并根据公式(1)计算语义损失L_s：

L_s＝||M⊙x-M⊙G(z)||₁ (1)

其中，x为含有障碍物的裂缝图像；

步骤四、将所述感知损失与语义损失加权求和，和值最小的候选样本对应的向量分布为最优向量然后将所述最优向量覆盖反向掩膜1-M；

步骤五、将所述覆盖反向掩膜1-M的最优向量与所述受损图像进行拼接得到修复图，然后将修复图输入所述已训练完成的深度卷积对抗式生成网络的判别器D中进行判别，并根据公式(2)计算全局损失L_g：

L_g(z)＝log(1-D((1-M)⊙G(z)+M⊙x)) (2)；

步骤六、根据公式(3)计算联合损失L，将联合损失输入所述已训练完成的深度卷积对抗式生成网络的生成器G，生成器G根据联合损失采用adam优化算法对最优向量的分布进行调整；

L＝L_s+λL_p+μL_g (3)

其中，λ为感知参数，μ为全局参数；

步骤七、重复步骤二至步骤六，多次迭代后得到裂缝修复图。

2.根据权利要求1所述的一种基于生成式对抗网络的桥梁裂缝图像判别修复方法，其特征在于：所述步骤一的具体步骤为：

步骤1.1通过图像采集装置采集多张障碍物图像后，将障碍物图像添加标签后输入Faster-RCNN中进行训练；

步骤1.2另采集多张含有障碍物的裂缝图像，通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图像进行障碍物位置标定，并创建二进制掩膜M和反向掩膜1-M；

障碍物位置标定的障碍物标记矩形框的校准阈值T(θ)为：

其中accuracy为Faster-RCNN的单张图像识别准确率，当T(θ)＝1时，则获取障碍物标记矩形框顶点坐标，当T(θ)＝0.5时，则对障碍物标记矩形框上下左右均向外扩展10个像素点，当T(θ)＝0表示标定失败，则人工进行碍物标定；

1.3通过图像采集装置采集多张无障碍物的裂缝图像，通过将每张图像翻转后以扩增无障碍物的裂缝图片的数据集；

1.4将扩增后的无障碍物的裂缝图像输入深度卷积生成式对抗网络中进行生成模型的训练。