CN111711820B - 一种基于生成对抗网络的裂缝图像压缩采样方法 - Google Patents

Abstract

本发明提出一种基于生成对抗网络的裂缝图像压缩采样方法，所述方法包括生成对抗网络的网络架构设计、表征裂缝图像与低维向量映射关系的裂缝图像生成器建模、对抗训练超参数的调优、压缩采样的压缩观测矩阵的设计、最优低维向量的求解等。本发明所述方法采用训练好的生成对抗网络的裂缝图像生成器作为物理约束实现图像的解压缩重构，无需传统压缩采样方法一样要求裂缝图像具有稀疏性，适用范围更广。在生成对抗网络学习到裂缝图像与低维向量的映射关系之后，基于梯度下降方法优化低维向量，实现图像解压缩重构的快速求解。所述方法在较高压缩率下裂缝图像重构的精度和重构速度等方面具有独特的优势，对噪声的鲁棒性也较强。

Description

一种基于生成对抗网络的裂缝图像压缩采样方法

技术领域

本发明属于信号处理和结构健康监测技术领域，特别是涉及一种基于生成对抗网络的裂缝图像压缩采样方法。

背景技术

目前各类基础设施在长期的荷载作用、环境侵蚀等因素影响下，不可避免地会产生损伤。损伤不断累积、发展下，导致结构的承载能力以及使用功能持续下降，直至危及结构的安全使用。因此对结构损伤进行实时监测，并通过理论分析评估结构的健康状态是结构健康监测的核心问题之一。结构表面的裂缝是经常监测的指标，其能反映出结构受到损伤的程度，并且对结构的功能有着很严重的影响，例如：钢结构表面的裂缝会加速锈蚀，降低结构承载能力；混凝土结构表面的裂缝会减小截面受力面积与钢筋保护层厚度，影响结构的安全性与耐久性；储气罐、储油罐以及防水构筑物表面的裂缝则可能会引发其气密性或水密性能的丧失。因此裂缝是结构受到损伤的重要标志，裂缝检测则是结构健康监测的重要任务。

近年来，得益于相机技术的发展，结构健康监测系统中裂缝检测的数据已经可以通过无人机、机器人、监控摄像头以及车载摄像头等各种视觉传感器实现自动化的采集。为了实现裂缝的实时检测，基于计算机视觉与机器学习的裂缝检测方法也大量应用于图像数据中。在无人机等无线采集平台中，数据的采集与传输是无线采集平台能量消耗的主要来源，受到无线采集平台自身能量及数据传输能力的限制，减少传输的数据量可以显著延长无线采集平台的工作时间，并降低其维护成本。然而，随着建筑结构和基础设施不断大型化、复杂化，对结构的实时监测需要使用大量的视觉传感器，不可避免地会产生海量的图像数据，并且采集到的图像数据所需要的存储空间、以及对数据传输系统的压力也远大于传统的加速度响应等一维信号。为了提升数据存储效率，并节省无线采集平台的数据采集及传输成本，必须对监测的裂缝图像进行压缩。考虑到无线采集平台有限的算力，本发明使用压缩采样方法中的线性压缩矩阵，通过简单的矩阵乘法对数据进行压缩，易于在无线采集平台实现。

压缩采样方法通过随机采样矩阵对采集信号进行线性投影，直接采集压缩格式的数据，从而显著减少数据采集量，降低了无线采集平台传输数据消耗的能量。在后续的数据解压缩重构环节中，传统压缩采样的理论研究表明，可以利用压缩前信号在某些特定空间中的高度稀疏性质，降低信号重构问题的不适定性，采用基于表达稀疏性约束的一范数的最小二乘拟合方法，实现以远低于奈奎斯特采样定理要求的采样率从压缩数据中直接实现高精度的信号解压缩重构。作为一种有效的数据压缩与重构方法，近年来压缩采样的研究大量出现在结构健康监测系统的一维传感器信号处理中，减轻数据采集、传输与存储压力，表现出了良好的应用前景。

传统压缩采样方法的解压缩重构的效果对原始信号的稀疏性有着严格的要求，然而对于实际的结构健康监测数据，特别是裂缝图像等数据，其在特定空间中的高度稀疏性并不能得到保证，在高压缩率下可能会引起解压缩重构精度不足，这严重限制了压缩采样方法的实用性，为其在结构健康监测中的应用带来较大的挑战。

生成对抗网络是一种基于机器学习的深度生成模型，其由生成器与判别器两部分组成，通过动态的对抗博弈实现网络的训练，进而学习数据集中的固有特征，并将这些特征与低维空间中的向量建立映射关系，从而可以通过随机采样的低维向量生成大量多样化的逼真数据。当生成对抗网络训练达到博弈平衡点时，生成数据的分布理论上可以等同于真实数据集的分布，因此其建立的映射关系有潜力作为压缩采样中数据解压缩重构的约束信息。

目前，基于生成对抗网络的压缩采样方法在结构健康监测中的研究及应用尚不存在，其利用裂缝图像生成器约束解压缩重构，实现的在较高压缩率下的重构精度、噪声鲁棒性、重构速度等方面的优越性没有得到挖掘。

发明内容

本发明目的是为了解决现有技术中的问题，提出了一种基于生成对抗网络的裂缝图像压缩采样方法。

本发明是通过以下技术方案实现的，本发明提出一种基于生成对抗网络的裂缝图像压缩采样方法，具体包括以下步骤：

步骤一、建立包含裂缝特征并且多样化的图像大数据集，用于训练生成对抗网络；

步骤二、建立生成对抗网络中生成器G_θ以及判别器D_θ的网络架构，选择初始的网络训练超参数，其中生成器G_θ输入从标准正态分布随机采样的低维向量z，训练生成对抗网络，通过网络调优，获得能生成逼真且多样化的裂缝图像的生成器G_θ，此后固定其网络参数θ不再改变；

步骤三、基于标准正态分布随机采样建立压缩采样的压缩观测矩阵A，通过压缩采样传感器将原始图像矩阵排列为向量数据s并进行压缩，获得压缩采样数据y＝As；其中压缩观测矩阵A的行数M小于列数N，即y的长度M小于原始图像向量数据s的长度N，实现数据压缩的效果；

步骤四、裂缝图像的解压缩重构通过迭代优化低维向量z实现：首次迭代时，i＝1，对于从标准正态分布中随机采样的初始低维向量z_i，通过生成器生成初始的重构裂缝图像G_θ(z_i)，根据压缩采样数据y、压缩采样的压缩观测矩阵A和初始重构数据G_θ(z_i)，基于优化低维向量z的损失函数

通过反向传播算法计算损失函数引起的z_i的梯度

进而利用梯度下降方法对z_i进行优化得到z_i+h；对于后续的迭代次数i，i＞1，重复首次迭代的处理过程直至损失函数收敛，得到最优的低维向量

将

代入生成器G_θ获得最优的解压缩重构裂缝图像

进一步地，所述步骤二具体为：

步骤2.1、对于裂缝图像生成任务，选择能有效提取图像特征的卷积神经网络来构建生成器G_θ以及判别器D_θ的网络架构；其中，生成器G_θ输入从标准正态分布中随机采样的低维向量z，所述低维向量z经由生成器网络投影为生成图像G_θ(z)；判别器D_θ输入真实数据集中的图像x或生成器生成的图像G_θ(z)，输入图像经由判别器网络输出一个概率值，代表输入图像来自于真实数据集的概率；

步骤2.2、使用对抗训练的方式训练生成对抗网络，其中，判别器网络以判断输入图像是否来自于真实数据集为目标，生成器网络以尽可能生成逼真的图像混淆判别器的判断为目标，基于生成对抗网络的训练误差函数为：

其中，

表示遍历裂缝图像大数据集的分布p_data(x)中的真实数据样本x，求得logD_θ(x)的数学期望，该数学期望的数值越大表明判别器对于真实裂缝数据的判别越准确；

表示遍历低维向量的分布p_z(z)中的样本z，求得log(1-D_θ(G_θ(z)))的数学期望，该数学期望的数值越小表明生成器的生成数据越逼真；

交替更新两部分网络的参数，通过动态的博弈过程进而不断提升网络对于真实数据集特征的学习程度；

步骤2.3、通过计算生成图像质量及多样性的指标，评估生成器G_θ对真实数据集中裂缝特征的学习程度，进而对生成对抗网络的网络架构及训练超参数进行调优，获得有效表征了裂缝图像特征的生成器G_θ。

进一步地，由于优化结果

对于其初始值敏感，所以在步骤四中需要完成以下操作：

步骤4.1、选择k组随机初始的低维向量z_ip，i＝1，p＝1，…，k，使用同一梯度下降方法分别进行最优化，获得

p＝1，…，k，及相应的损失函数收敛值

步骤4.2、选择其中损失函数收敛值最小的一组对应的优化结果作为最优低维向量

进而获得最优的解压缩重构裂缝图像

进一步地，所述压缩采样的解压缩重构约束为裂缝图像生成器G_θ，压缩观测矩阵A的维数为M×N，原始图像向量数据s的长度为N，低维向量z的维数为n，且n＜＜N。

本发明的有益效果为：

1.本发明所述的基于生成对抗网络的裂缝图像压缩采样方法与传统方法相比，不要求原始图像需要具有稀疏性特征，而是利用生成对抗网络对裂缝特征进行学习，将裂缝图像的生成器模型作为解压缩重构的物理约束，使得方法对于图像的适应范围更广，更适合应用于结构健康监测系统中。

2.本发明利用裂缝图像生成器作为物理约束，学习到低维向量与高维图像的映射关系，通过对低维向量进行优化实现裂缝图像的解压缩重构，显著降低了从压缩数据重构裂缝图像的反演问题的不适定性，只需要更少量的压缩观测数据就可以实现精确的裂缝特征重构。

3.本发明所述的方法利用裂缝检测监测任务只需要准确重构图像中裂缝特征的特点，建模学习了表征裂缝特征与低维向量关系的生成器，使得解压缩重构结果自动聚焦于具有裂缝特征的部位，进而可以忽略图像中与裂缝特征无关的信息，因此能实现结构健康监测系统中数据压缩率的大幅度提升，节省了无线采集平台下数据采集与传输消耗的能量，延长了无线采集平台的工作寿命。

4.本发明对噪声鲁棒性强，解压缩重构速度快，能应用于分辨率较高的裂缝图像的压缩与解压缩重构中，具有比传统压缩采样方法更好的性能。

附图说明

图1为本发明所涉及的裂缝图像压缩采样方法示意图；图中ε表示测量噪声；

图2为本发明的方法对应裂缝图像解压缩重构的流程图；

图3为本发明针对三个不同背景下的裂缝图像解压缩重构结果示意图；其中(a)为三个背景下的原始裂缝图像，(b)为原始裂缝图像的裂缝检测结果，(c)为压缩采样数据(压缩16倍，噪声水平5％)，(d)为解压缩重构裂缝图像，(e)为解压缩重构裂缝图像的裂缝检测结果示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是为了解决现有压缩采样方法要求原始数据在某一特定空间中具有高度稀疏性，当高度稀疏性得不到满足时，将导致在较高压缩率下的数据解压缩重构精度低、不够鲁棒等问题，而提出一种基于生成对抗网络学习图像特征，将图像生成器作为物理约束的图像压缩采样方法，无需稀疏约束即可实现高压缩率下的原始数据解压缩重构，并且重构结果中的特征更具有物理真实性，在实际工程中适用范围更广。如图1所示的裂缝图像的重排列、压缩采集和解压缩重构的过程原理。对于结构健康监测中的裂缝图像数据，由于数据本身的稀疏性无法得到保证，因此需要一种不依赖稀疏约束的解压缩重构方法，同时，实际土木工程结构的表面特征复杂多变，需要一种对裂缝特征敏感，能够精确重构图像中具有裂缝特征部分的信息，从而适用于本发明方法。

结合图2，本发明提出一种基于生成对抗网络的裂缝图像压缩采样方法，具体包括以下步骤：

步骤一、建立包含裂缝特征并且多样化的图像大数据集，用于训练生成对抗网络；

步骤二、建立生成对抗网络中生成器G_θ以及判别器D_θ的网络架构，选择初始的网络训练超参数，其中生成器G_θ输入从标准正态分布随机采样的低维向量z，训练生成对抗网络，通过网络调优，获得能生成逼真且多样化的裂缝图像的生成器G_θ，此后固定其网络参数θ不再改变；

步骤三、基于标准正态分布随机采样建立压缩采样的压缩观测矩阵A，通过压缩采样传感器将原始图像矩阵排列为向量数据s并进行压缩，获得压缩采样数据y＝As；其中压缩观测矩阵A的行数M小于列数N，即y的长度M小于原始图像向量数据s的长度N，实现数据压缩的效果；

步骤四、裂缝图像的解压缩重构通过迭代优化低维向量z实现。首次迭代时，i＝1，对于从标准正态分布中随机采样的初始低维向量z_i，通过生成器生成初始的重构裂缝图像G_θ(z_i)，根据压缩采样数据y、压缩采样的压缩观测矩阵A和初始重构数据G_θ(z_i)，基于优化低维向量z的损失函数

通过反向传播算法计算损失函数引起的z_i的梯度

进而利用梯度下降方法对z_i进行优化得到z_i+1；对于后续的迭代次数i，i＞1，重复首次迭代的处理过程直至损失函数收敛，得到最优的低维向量

将

代入生成器G_θ获得最优的解压缩重构裂缝图像

图3为本发明原始裂缝图像及其裂缝检测结果、压缩采样数据、解压缩重构裂缝图像及其裂缝检测结果示意图。

所述压缩采样的解压缩重构约束为裂缝图像生成器G_θ，压缩观测矩阵A的维数为M×N，原始图像向量数据s的长度为N，低维向量z的维数为n，且n＜＜N。

所述步骤二具体为：

步骤2.1、对于裂缝图像生成任务，选择能有效提取图像特征的卷积神经网络来构建生成器G_θ以及判别器D_θ的网络架构；其中，生成器G_θ输入从标准正态分布中随机采样的低维向量z(其包含的元素数目远少于生成图像矩阵)，所述低维向量z经由生成器网络投影为生成图像G_θ(z)；判别器D_θ输入真实数据集中的图像x或生成器生成的图像G_θ(z)，输入图像经由判别器网络输出一个概率值，代表输入图像来自于真实数据集的概率；

步骤2.2、使用对抗训练的方式训练生成对抗网络。其中，判别器网络以尽可能准确判断输入图像是否来自于真实数据集为目标，生成器网络以尽可能生成逼真的图像混淆判别器的判断为目标，基于生成对抗网络的训练误差函数为：

其中，

表示遍历裂缝图像大数据集的分布p_data(x)中的真实数据样本x，求得logD_θ(x)的数学期望，该数学期望的数值越大表明判别器对于真实裂缝数据的判别越准确；

表示遍历低维向量的分布p_z(z)中的样本z，求得log(1-D_θ(G_θ(z)))的数学期望，该数学期望的数值越小表明生成器的生成数据越逼真；p_data(x)：裂缝图像大数据集的分布；x：数据集中的裂缝图像；

遍历该分布，计算获得的期望值；p_z(z)：低维向量的分布，通常采用标准正态分布；z：低维向量；

遍历该分布，计算获得的期望值。

交替更新两部分网络的参数，通过动态的博弈过程进而不断提升网络对于真实数据集特征的学习程度；

步骤2.3、通过计算生成图像质量及多样性的指标(如Fréchet InceptionDistance，FID等)，评估生成器G_θ对真实数据集中裂缝特征的学习程度，进而对生成对抗网络的网络架构及训练超参数进行调优，获得有效学习了裂缝图像特征的生成器G_θ。

由于优化结果

对于其初始值敏感，所以在步骤四中需要完成以下操作：

步骤4.1、选择k组随机初始的低维向量z_ip，i＝1，p＝1，…，k，使用同一梯度下降方法分别进行最优化，获得

p＝1，…，k，及相应的损失函数收敛值

步骤4.2、选择其中损失函数收敛值最小的一组对应的优化结果作为最优低维向量

进而获得最优的解压缩重构裂缝图像

增加优化过程的对初值的鲁棒性，避免陷入局部最优。

实施例

结合图3，针对三个不同背景下的裂缝图像进行数据压缩，利用本发明基于生成对抗网络的图像压缩采样方法进行裂缝图像解压缩重构。

所使用的裂缝图像分辨率为128像素×128像素，数据压缩16倍，并在压缩后数据中考虑水平为5％的测量噪声。

下面利用本发明中基于生成对抗网络的裂缝图像压缩采样方法进行解压缩重构：

所述步骤一具体为：在不同背景的结构表面收集一定量的高分辨率裂缝图像，将图像中具有裂缝的区块裁剪并统一将分辨率缩放至128像素×128像素，制作多样化的裂缝图像大数据集。

所述步骤二具体为：得到上述数据集后，参照深度卷积生成对抗网络(DeepConvolution Generative Adversarial Networks，DCGAN)，构建生成器G_θ以及判别器D_θ。生成器由五层转置卷积层、批标准化层以及激活函数层组合而成，其中输入层输入的低维向量z从标准正态分布随机采样，其维数为100，输出图像的分辨率为128像素×128像素；判别器由五层卷积层、批标准化层以及激活函数层组合而成，其中输入层输入图像的分辨率为128像素×128像素，输出为一介于0到1的数值。使用Adam优化算法，初始化各项训练参数(批次大小、训练回合数、学习率等)，利用对抗训练方法训练生成对抗网络，并进行训练参数调优，获得有效学习了裂缝图像特征的生成器G_θ，固定其网络参数θ不再改变。

所述步骤三具体为：通过观测矩阵A对裂缝图像进行压缩，并考虑测量噪声的干扰，获得压缩数据y＝As+ε。其中，使用的裂缝图像分辨率为128像素×128像素，即原始图像数据s的长度为16384；压缩观测矩阵A的行数为1024，列数为16384，即数据压缩16倍；测量噪声ε从均值为0，方差为原始数据极差的5％的正态分布中随机采样，即测量噪声水平为5％。

所述步骤四具体为：取优化外循环次数k为10，从标准正态分布中随机采样10组维数为100的低维向量。设置各项优化参数(循环次数、学习率等)，使用基于梯度下降的Adam优化算法优化低维向量。基于以上算法信息，对于每一组低维向量，输入压缩数据y与裂缝图像生成器G_θ，分别利用Adam优化算法寻找损失函数

的最优解作为候选解，并记录低维向量候选解与对应的损失函数值。进一步选择损失函数值最小的一组候选解作为最优解，代入生成器获得裂缝图像的最优解压缩重构结果。对解压缩重构结果进行裂缝检测，与原始图像的裂缝检测结果对比，如图3所示。本发明方法可以在高压缩率下较精确地重建原始数据中的裂缝信息，解压缩重构结果具有较好的噪声鲁棒性。

本发明实现了一种基于生成对抗网络的裂缝图像压缩采样方法。该方法同样采用随机采样矩阵对数据进行压缩，但其解压缩重构过程使用基于生成对抗网络的“物理约束”取代传统的稀疏性约束，大大提高了压缩采样方法的实用性。通过训练生成对抗网络，学习到低维向量空间与包含裂缝特征的图像数据之间的映射关系，进而只需要将解压缩重构的求解空间限制在低维向量空间中，而无需对低维向量的稀疏性做出限制，同时，低维向量的元素数远小于图像数据，因此也降低了解压缩重构问题的不适应性。此外，本发明基于梯度下降方法进行优化，计算速度较快。

以上对本发明所提出的一种基于生成对抗网络的裂缝图像压缩采样方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于生成对抗网络的裂缝图像压缩采样方法，其特征在于：具体包括以下步骤：

步骤一、建立包含多样化的裂缝图像大数据集，用于训练生成对抗网络；

步骤二、建立生成对抗网络中生成器G_θ以及判别器D_θ的网络架构，选择初始的网络训练超参数，其中生成器G_θ输入从标准正态分布随机采样的低维向量z，训练生成对抗网络，通过网络调优，获得能生成逼真且多样化的裂缝图像的生成器G_θ，此后固定其网络参数θ不再改变；

步骤三、基于标准正态分布随机采样建立压缩采样的压缩观测矩阵A，通过压缩采样传感器将原始图像矩阵排列为向量数据s并进行压缩，获得压缩采样数据y＝As；其中压缩观测矩阵A的行数M小于列数N，即y的长度M小于原始图像向量数据s的长度N，实现数据压缩的效果；

步骤四、裂缝图像的解压缩重构通过迭代优化低维向量z实现：首次迭代时，i＝1，对于从标准正态分布中随机采样的初始低维向量z_i，通过生成器生成初始的重构裂缝图像G_θ(z_i)，根据压缩采样数据y、压缩采样的压缩观测矩阵A和初始的重构裂缝图像G_θ(z_i)，基于优化低维向量z的损失函数

通过反向传播算法计算损失函数引起的z_i的梯度

进而利用梯度下降方法对z_i进行优化得到z_i+1；对于后续的迭代次数i，i＞1，重复首次迭代的处理过程直至损失函数收敛，得到最优的低维向量

将

代入生成器G_θ获得最优的解压缩重构裂缝图像

2.根据权利要求1所述的方法，其特征在于：所述步骤二具体为：

步骤2.1、对于裂缝图像生成任务，选择能有效提取图像特征的卷积神经网络来构建生成器G_θ以及判别器D_θ的网络架构；其中，生成器G_θ输入从标准正态分布中随机采样的低维向量z，所述低维向量z经由生成器网络投影为生成图像G_θ(z)；判别器D_θ输入真实数据集中的图像x或生成器生成的图像G_θ(z)，输入图像经由判别器网络输出一个概率值，代表输入图像来自于真实数据集的概率；

步骤2.2、使用对抗训练的方式训练生成对抗网络，其中，判别器网络以判断输入图像是否来自于真实数据集为目标，生成器网络以尽可能生成逼真的图像混淆判别器的判断为目标，基于生成对抗网络的训练误差函数为：

其中，

表示遍历裂缝图像大数据集的分布p_data(x)中的真实数据样本x，求得logD_θ(x)的数学期望，该数学期望的数值越大表明判别器对于真实裂缝数据的判别越准确；

表示遍历低维向量的分布p_z(z)中的样本z，求得log(1-D_θ(G_θ(z)))的数学期望，该数学期望的数值越小表明生成器的生成数据越逼真；

交替更新两部分网络的参数，通过动态的博弈过程进而不断提升网络对于真实数据集特征的学习程度；

步骤2.3、通过计算生成图像质量及多样性的指标，评估生成器G_θ对真实数据集中裂缝特征的学习程度，进而对生成对抗网络的网络架构及训练超参数进行调优，获得有效表征了裂缝图像特征的生成器G_θ。

3.根据权利要求2所述的方法，其特征在于：由于优化结果

对于其初始值敏感，所以在步骤四中需要完成以下操作：

步骤4.1、选择k组随机初始的低维向量z_ip，i＝1，p＝1，...，k，使用同一梯度下降方法分别进行最优化，获得

及相应的损失函数收敛值

步骤4.2、选择其中损失函数收敛值最小的一组对应的优化结果作为最优低维向量

进而获得最优的解压缩重构裂缝图像

4.根据权利要求3所述的方法，其特征在于：所述压缩采样的解压缩重构约束为裂缝图像生成器G_θ，压缩观测矩阵A的维数为M×N，原始图像向量数据s的长度为N，低维向量z的维数为n，且n＜＜N。

Images