CN111711820B - 一种基于生成对抗网络的裂缝图像压缩采样方法 - Google Patents

一种基于生成对抗网络的裂缝图像压缩采样方法 Download PDF

Info

Publication number
CN111711820B
CN111711820B CN202010401866.9A CN202010401866A CN111711820B CN 111711820 B CN111711820 B CN 111711820B CN 202010401866 A CN202010401866 A CN 202010401866A CN 111711820 B CN111711820 B CN 111711820B
Authority
CN
China
Prior art keywords
image
network
generator
crack
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010401866.9A
Other languages
English (en)
Other versions
CN111711820A (zh
Inventor
黄永
张浩宇
李惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010401866.9A priority Critical patent/CN111711820B/zh
Publication of CN111711820A publication Critical patent/CN111711820A/zh
Application granted granted Critical
Publication of CN111711820B publication Critical patent/CN111711820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于生成对抗网络的裂缝图像压缩采样方法，所述方法包括生成对抗网络的网络架构设计、表征裂缝图像与低维向量映射关系的裂缝图像生成器建模、对抗训练超参数的调优、压缩采样的压缩观测矩阵的设计、最优低维向量的求解等。本发明所述方法采用训练好的生成对抗网络的裂缝图像生成器作为物理约束实现图像的解压缩重构，无需传统压缩采样方法一样要求裂缝图像具有稀疏性，适用范围更广。在生成对抗网络学习到裂缝图像与低维向量的映射关系之后，基于梯度下降方法优化低维向量，实现图像解压缩重构的快速求解。所述方法在较高压缩率下裂缝图像重构的精度和重构速度等方面具有独特的优势，对噪声的鲁棒性也较强。

Description

一种基于生成对抗网络的裂缝图像压缩采样方法
技术领域
本发明属于信号处理和结构健康监测技术领域，特别是涉及一种基于生成对抗网络的裂缝图像压缩采样方法。
背景技术
目前各类基础设施在长期的荷载作用、环境侵蚀等因素影响下，不可避免地会产生损伤。损伤不断累积、发展下，导致结构的承载能力以及使用功能持续下降，直至危及结构的安全使用。因此对结构损伤进行实时监测，并通过理论分析评估结构的健康状态是结构健康监测的核心问题之一。结构表面的裂缝是经常监测的指标，其能反映出结构受到损伤的程度，并且对结构的功能有着很严重的影响，例如：钢结构表面的裂缝会加速锈蚀，降低结构承载能力；混凝土结构表面的裂缝会减小截面受力面积与钢筋保护层厚度，影响结构的安全性与耐久性；储气罐、储油罐以及防水构筑物表面的裂缝则可能会引发其气密性或水密性能的丧失。因此裂缝是结构受到损伤的重要标志，裂缝检测则是结构健康监测的重要任务。
近年来，得益于相机技术的发展，结构健康监测系统中裂缝检测的数据已经可以通过无人机、机器人、监控摄像头以及车载摄像头等各种视觉传感器实现自动化的采集。为了实现裂缝的实时检测，基于计算机视觉与机器学习的裂缝检测方法也大量应用于图像数据中。在无人机等无线采集平台中，数据的采集与传输是无线采集平台能量消耗的主要来源，受到无线采集平台自身能量及数据传输能力的限制，减少传输的数据量可以显著延长无线采集平台的工作时间，并降低其维护成本。然而，随着建筑结构和基础设施不断大型化、复杂化，对结构的实时监测需要使用大量的视觉传感器，不可避免地会产生海量的图像数据，并且采集到的图像数据所需要的存储空间、以及对数据传输系统的压力也远大于传统的加速度响应等一维信号。为了提升数据存储效率，并节省无线采集平台的数据采集及传输成本，必须对监测的裂缝图像进行压缩。考虑到无线采集平台有限的算力，本发明使用压缩采样方法中的线性压缩矩阵，通过简单的矩阵乘法对数据进行压缩，易于在无线采集平台实现。
压缩采样方法通过随机采样矩阵对采集信号进行线性投影，直接采集压缩格式的数据，从而显著减少数据采集量，降低了无线采集平台传输数据消耗的能量。在后续的数据解压缩重构环节中，传统压缩采样的理论研究表明，可以利用压缩前信号在某些特定空间中的高度稀疏性质，降低信号重构问题的不适定性，采用基于表达稀疏性约束的一范数的最小二乘拟合方法，实现以远低于奈奎斯特采样定理要求的采样率从压缩数据中直接实现高精度的信号解压缩重构。作为一种有效的数据压缩与重构方法，近年来压缩采样的研究大量出现在结构健康监测系统的一维传感器信号处理中，减轻数据采集、传输与存储压力，表现出了良好的应用前景。
传统压缩采样方法的解压缩重构的效果对原始信号的稀疏性有着严格的要求，然而对于实际的结构健康监测数据，特别是裂缝图像等数据，其在特定空间中的高度稀疏性并不能得到保证，在高压缩率下可能会引起解压缩重构精度不足，这严重限制了压缩采样方法的实用性，为其在结构健康监测中的应用带来较大的挑战。
生成对抗网络是一种基于机器学习的深度生成模型，其由生成器与判别器两部分组成，通过动态的对抗博弈实现网络的训练，进而学习数据集中的固有特征，并将这些特征与低维空间中的向量建立映射关系，从而可以通过随机采样的低维向量生成大量多样化的逼真数据。当生成对抗网络训练达到博弈平衡点时，生成数据的分布理论上可以等同于真实数据集的分布，因此其建立的映射关系有潜力作为压缩采样中数据解压缩重构的约束信息。
目前，基于生成对抗网络的压缩采样方法在结构健康监测中的研究及应用尚不存在，其利用裂缝图像生成器约束解压缩重构，实现的在较高压缩率下的重构精度、噪声鲁棒性、重构速度等方面的优越性没有得到挖掘。
发明内容
本发明目的是为了解决现有技术中的问题，提出了一种基于生成对抗网络的裂缝图像压缩采样方法。
本发明是通过以下技术方案实现的，本发明提出一种基于生成对抗网络的裂缝图像压缩采样方法，具体包括以下步骤：
步骤一、建立包含裂缝特征并且多样化的图像大数据集，用于训练生成对抗网络；
步骤二、建立生成对抗网络中生成器Gθ以及判别器Dθ的网络架构，选择初始的网络训练超参数，其中生成器Gθ输入从标准正态分布随机采样的低维向量z，训练生成对抗网络，通过网络调优，获得能生成逼真且多样化的裂缝图像的生成器Gθ，此后固定其网络参数θ不再改变；
步骤三、基于标准正态分布随机采样建立压缩采样的压缩观测矩阵A，通过压缩采样传感器将原始图像矩阵排列为向量数据s并进行压缩，获得压缩采样数据y＝As；其中压缩观测矩阵A的行数M小于列数N，即y的长度M小于原始图像向量数据s的长度N，实现数据压缩的效果；
步骤四、裂缝图像的解压缩重构通过迭代优化低维向量z实现：首次迭代时，i＝1，对于从标准正态分布中随机采样的初始低维向量zi，通过生成器生成初始的重构裂缝图像Gθ(zi)，根据压缩采样数据y、压缩采样的压缩观测矩阵A和初始重构数据Gθ(zi)，基于优化低维向量z的损失函数
Figure BDA0002489774960000031
通过反向传播算法计算损失函数引起的zi的梯度
Figure BDA0002489774960000032
进而利用梯度下降方法对zi进行优化得到zi+h；对于后续的迭代次数i，i＞1，重复首次迭代的处理过程直至损失函数收敛，得到最优的低维向量
Figure BDA0002489774960000033
将
Figure BDA0002489774960000034
代入生成器Gθ获得最优的解压缩重构裂缝图像
Figure BDA0002489774960000035
进一步地，所述步骤二具体为：
步骤2.1、对于裂缝图像生成任务，选择能有效提取图像特征的卷积神经网络来构建生成器Gθ以及判别器Dθ的网络架构；其中，生成器Gθ输入从标准正态分布中随机采样的低维向量z，所述低维向量z经由生成器网络投影为生成图像Gθ(z)；判别器Dθ输入真实数据集中的图像x或生成器生成的图像Gθ(z)，输入图像经由判别器网络输出一个概率值，代表输入图像来自于真实数据集的概率；
步骤2.2、使用对抗训练的方式训练生成对抗网络，其中，判别器网络以判断输入图像是否来自于真实数据集为目标，生成器网络以尽可能生成逼真的图像混淆判别器的判断为目标，基于生成对抗网络的训练误差函数为：
Figure BDA0002489774960000036
其中，
Figure BDA0002489774960000037
表示遍历裂缝图像大数据集的分布pdata(x)中的真实数据样本x，求得logDθ(x)的数学期望，该数学期望的数值越大表明判别器对于真实裂缝数据的判别越准确；
Figure BDA0002489774960000038
表示遍历低维向量的分布pz(z)中的样本z，求得log(1-Dθ(Gθ(z)))的数学期望，该数学期望的数值越小表明生成器的生成数据越逼真；
交替更新两部分网络的参数，通过动态的博弈过程进而不断提升网络对于真实数据集特征的学习程度；
步骤2.3、通过计算生成图像质量及多样性的指标，评估生成器Gθ对真实数据集中裂缝特征的学习程度，进而对生成对抗网络的网络架构及训练超参数进行调优，获得有效表征了裂缝图像特征的生成器Gθ。
进一步地，由于优化结果
Figure BDA0002489774960000039
对于其初始值敏感，所以在步骤四中需要完成以下操作：
步骤4.1、选择k组随机初始的低维向量zip，i＝1，p＝1，…，k，使用同一梯度下降方法分别进行最优化，获得
Figure BDA00024897749600000310
p＝1，…，k，及相应的损失函数收敛值
Figure BDA00024897749600000311
步骤4.2、选择其中损失函数收敛值最小的一组对应的优化结果作为最优低维向量
Figure BDA00024897749600000312
进而获得最优的解压缩重构裂缝图像
Figure BDA0002489774960000041
进一步地，所述压缩采样的解压缩重构约束为裂缝图像生成器Gθ，压缩观测矩阵A的维数为M×N，原始图像向量数据s的长度为N，低维向量z的维数为n，且n＜＜N。
本发明的有益效果为：
1.本发明所述的基于生成对抗网络的裂缝图像压缩采样方法与传统方法相比，不要求原始图像需要具有稀疏性特征，而是利用生成对抗网络对裂缝特征进行学习，将裂缝图像的生成器模型作为解压缩重构的物理约束，使得方法对于图像的适应范围更广，更适合应用于结构健康监测系统中。
2.本发明利用裂缝图像生成器作为物理约束，学习到低维向量与高维图像的映射关系，通过对低维向量进行优化实现裂缝图像的解压缩重构，显著降低了从压缩数据重构裂缝图像的反演问题的不适定性，只需要更少量的压缩观测数据就可以实现精确的裂缝特征重构。
3.本发明所述的方法利用裂缝检测监测任务只需要准确重构图像中裂缝特征的特点，建模学习了表征裂缝特征与低维向量关系的生成器，使得解压缩重构结果自动聚焦于具有裂缝特征的部位，进而可以忽略图像中与裂缝特征无关的信息，因此能实现结构健康监测系统中数据压缩率的大幅度提升，节省了无线采集平台下数据采集与传输消耗的能量，延长了无线采集平台的工作寿命。
4.本发明对噪声鲁棒性强，解压缩重构速度快，能应用于分辨率较高的裂缝图像的压缩与解压缩重构中，具有比传统压缩采样方法更好的性能。
附图说明
图1为本发明所涉及的裂缝图像压缩采样方法示意图；图中ε表示测量噪声；
图2为本发明的方法对应裂缝图像解压缩重构的流程图；
图3为本发明针对三个不同背景下的裂缝图像解压缩重构结果示意图；其中(a)为三个背景下的原始裂缝图像，(b)为原始裂缝图像的裂缝检测结果，(c)为压缩采样数据(压缩16倍，噪声水平5％)，(d)为解压缩重构裂缝图像，(e)为解压缩重构裂缝图像的裂缝检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是为了解决现有压缩采样方法要求原始数据在某一特定空间中具有高度稀疏性，当高度稀疏性得不到满足时，将导致在较高压缩率下的数据解压缩重构精度低、不够鲁棒等问题，而提出一种基于生成对抗网络学习图像特征，将图像生成器作为物理约束的图像压缩采样方法，无需稀疏约束即可实现高压缩率下的原始数据解压缩重构，并且重构结果中的特征更具有物理真实性，在实际工程中适用范围更广。如图1所示的裂缝图像的重排列、压缩采集和解压缩重构的过程原理。对于结构健康监测中的裂缝图像数据，由于数据本身的稀疏性无法得到保证，因此需要一种不依赖稀疏约束的解压缩重构方法，同时，实际土木工程结构的表面特征复杂多变，需要一种对裂缝特征敏感，能够精确重构图像中具有裂缝特征部分的信息，从而适用于本发明方法。
结合图2，本发明提出一种基于生成对抗网络的裂缝图像压缩采样方法，具体包括以下步骤：
步骤一、建立包含裂缝特征并且多样化的图像大数据集，用于训练生成对抗网络；
步骤二、建立生成对抗网络中生成器Gθ以及判别器Dθ的网络架构，选择初始的网络训练超参数，其中生成器Gθ输入从标准正态分布随机采样的低维向量z，训练生成对抗网络，通过网络调优，获得能生成逼真且多样化的裂缝图像的生成器Gθ，此后固定其网络参数θ不再改变；
步骤三、基于标准正态分布随机采样建立压缩采样的压缩观测矩阵A，通过压缩采样传感器将原始图像矩阵排列为向量数据s并进行压缩，获得压缩采样数据y＝As；其中压缩观测矩阵A的行数M小于列数N，即y的长度M小于原始图像向量数据s的长度N，实现数据压缩的效果；
步骤四、裂缝图像的解压缩重构通过迭代优化低维向量z实现。首次迭代时，i＝1，对于从标准正态分布中随机采样的初始低维向量zi，通过生成器生成初始的重构裂缝图像Gθ(zi)，根据压缩采样数据y、压缩采样的压缩观测矩阵A和初始重构数据Gθ(zi)，基于优化低维向量z的损失函数
Figure BDA0002489774960000051
通过反向传播算法计算损失函数引起的zi的梯度
Figure BDA0002489774960000052
进而利用梯度下降方法对zi进行优化得到zi+1；对于后续的迭代次数i，i＞1，重复首次迭代的处理过程直至损失函数收敛，得到最优的低维向量
Figure BDA0002489774960000053
将
Figure BDA0002489774960000054
代入生成器Gθ获得最优的解压缩重构裂缝图像
Figure BDA0002489774960000055
图3为本发明原始裂缝图像及其裂缝检测结果、压缩采样数据、解压缩重构裂缝图像及其裂缝检测结果示意图。
所述压缩采样的解压缩重构约束为裂缝图像生成器Gθ，压缩观测矩阵A的维数为M×N，原始图像向量数据s的长度为N，低维向量z的维数为n，且n＜＜N。
所述步骤二具体为：
步骤2.1、对于裂缝图像生成任务，选择能有效提取图像特征的卷积神经网络来构建生成器Gθ以及判别器Dθ的网络架构；其中，生成器Gθ输入从标准正态分布中随机采样的低维向量z(其包含的元素数目远少于生成图像矩阵)，所述低维向量z经由生成器网络投影为生成图像Gθ(z)；判别器Dθ输入真实数据集中的图像x或生成器生成的图像Gθ(z)，输入图像经由判别器网络输出一个概率值，代表输入图像来自于真实数据集的概率；
步骤2.2、使用对抗训练的方式训练生成对抗网络。其中，判别器网络以尽可能准确判断输入图像是否来自于真实数据集为目标，生成器网络以尽可能生成逼真的图像混淆判别器的判断为目标，基于生成对抗网络的训练误差函数为：
Figure BDA0002489774960000061
其中，
Figure BDA0002489774960000062
表示遍历裂缝图像大数据集的分布pdata(x)中的真实数据样本x，求得logDθ(x)的数学期望，该数学期望的数值越大表明判别器对于真实裂缝数据的判别越准确；
Figure BDA0002489774960000063
表示遍历低维向量的分布pz(z)中的样本z，求得log(1-Dθ(Gθ(z)))的数学期望，该数学期望的数值越小表明生成器的生成数据越逼真；pdata(x)：裂缝图像大数据集的分布；x：数据集中的裂缝图像；
Figure BDA0002489774960000064
遍历该分布，计算获得的期望值；pz(z)：低维向量的分布，通常采用标准正态分布；z：低维向量；
Figure BDA0002489774960000065
遍历该分布，计算获得的期望值。
交替更新两部分网络的参数，通过动态的博弈过程进而不断提升网络对于真实数据集特征的学习程度；
步骤2.3、通过计算生成图像质量及多样性的指标(如Fréchet InceptionDistance，FID等)，评估生成器Gθ对真实数据集中裂缝特征的学习程度，进而对生成对抗网络的网络架构及训练超参数进行调优，获得有效学习了裂缝图像特征的生成器Gθ。
由于优化结果
Figure BDA00024897749600000610
对于其初始值敏感，所以在步骤四中需要完成以下操作：
步骤4.1、选择k组随机初始的低维向量zip，i＝1，p＝1，…，k，使用同一梯度下降方法分别进行最优化，获得
Figure BDA0002489774960000066
p＝1，…，k，及相应的损失函数收敛值
Figure BDA0002489774960000067
步骤4.2、选择其中损失函数收敛值最小的一组对应的优化结果作为最优低维向量
Figure BDA0002489774960000068
进而获得最优的解压缩重构裂缝图像
Figure BDA0002489774960000069
增加优化过程的对初值的鲁棒性，避免陷入局部最优。
实施例
结合图3，针对三个不同背景下的裂缝图像进行数据压缩，利用本发明基于生成对抗网络的图像压缩采样方法进行裂缝图像解压缩重构。
所使用的裂缝图像分辨率为128像素×128像素，数据压缩16倍，并在压缩后数据中考虑水平为5％的测量噪声。
下面利用本发明中基于生成对抗网络的裂缝图像压缩采样方法进行解压缩重构：
所述步骤一具体为：在不同背景的结构表面收集一定量的高分辨率裂缝图像，将图像中具有裂缝的区块裁剪并统一将分辨率缩放至128像素×128像素，制作多样化的裂缝图像大数据集。
所述步骤二具体为：得到上述数据集后，参照深度卷积生成对抗网络(DeepConvolution Generative Adversarial Networks，DCGAN)，构建生成器Gθ以及判别器Dθ。生成器由五层转置卷积层、批标准化层以及激活函数层组合而成，其中输入层输入的低维向量z从标准正态分布随机采样，其维数为100，输出图像的分辨率为128像素×128像素；判别器由五层卷积层、批标准化层以及激活函数层组合而成，其中输入层输入图像的分辨率为128像素×128像素，输出为一介于0到1的数值。使用Adam优化算法，初始化各项训练参数(批次大小、训练回合数、学习率等)，利用对抗训练方法训练生成对抗网络，并进行训练参数调优，获得有效学习了裂缝图像特征的生成器Gθ，固定其网络参数θ不再改变。
所述步骤三具体为：通过观测矩阵A对裂缝图像进行压缩，并考虑测量噪声的干扰，获得压缩数据y＝As+ε。其中，使用的裂缝图像分辨率为128像素×128像素，即原始图像数据s的长度为16384；压缩观测矩阵A的行数为1024，列数为16384，即数据压缩16倍；测量噪声ε从均值为0，方差为原始数据极差的5％的正态分布中随机采样，即测量噪声水平为5％。
所述步骤四具体为：取优化外循环次数k为10，从标准正态分布中随机采样10组维数为100的低维向量。设置各项优化参数(循环次数、学习率等)，使用基于梯度下降的Adam优化算法优化低维向量。基于以上算法信息，对于每一组低维向量，输入压缩数据y与裂缝图像生成器Gθ，分别利用Adam优化算法寻找损失函数
Figure BDA0002489774960000071
的最优解作为候选解，并记录低维向量候选解与对应的损失函数值。进一步选择损失函数值最小的一组候选解作为最优解，代入生成器获得裂缝图像的最优解压缩重构结果。对解压缩重构结果进行裂缝检测，与原始图像的裂缝检测结果对比，如图3所示。本发明方法可以在高压缩率下较精确地重建原始数据中的裂缝信息，解压缩重构结果具有较好的噪声鲁棒性。
本发明实现了一种基于生成对抗网络的裂缝图像压缩采样方法。该方法同样采用随机采样矩阵对数据进行压缩，但其解压缩重构过程使用基于生成对抗网络的“物理约束”取代传统的稀疏性约束，大大提高了压缩采样方法的实用性。通过训练生成对抗网络，学习到低维向量空间与包含裂缝特征的图像数据之间的映射关系，进而只需要将解压缩重构的求解空间限制在低维向量空间中，而无需对低维向量的稀疏性做出限制，同时，低维向量的元素数远小于图像数据，因此也降低了解压缩重构问题的不适应性。此外，本发明基于梯度下降方法进行优化，计算速度较快。
以上对本发明所提出的一种基于生成对抗网络的裂缝图像压缩采样方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种基于生成对抗网络的裂缝图像压缩采样方法，其特征在于：具体包括以下步骤：
步骤一、建立包含多样化的裂缝图像大数据集，用于训练生成对抗网络；
步骤二、建立生成对抗网络中生成器Gθ以及判别器Dθ的网络架构，选择初始的网络训练超参数，其中生成器Gθ输入从标准正态分布随机采样的低维向量z，训练生成对抗网络，通过网络调优，获得能生成逼真且多样化的裂缝图像的生成器Gθ，此后固定其网络参数θ不再改变；
步骤三、基于标准正态分布随机采样建立压缩采样的压缩观测矩阵A，通过压缩采样传感器将原始图像矩阵排列为向量数据s并进行压缩，获得压缩采样数据y＝As；其中压缩观测矩阵A的行数M小于列数N，即y的长度M小于原始图像向量数据s的长度N，实现数据压缩的效果；
步骤四、裂缝图像的解压缩重构通过迭代优化低维向量z实现：首次迭代时，i＝1，对于从标准正态分布中随机采样的初始低维向量zi，通过生成器生成初始的重构裂缝图像Gθ(zi)，根据压缩采样数据y、压缩采样的压缩观测矩阵A和初始的重构裂缝图像Gθ(zi)，基于优化低维向量z的损失函数
Figure FDA0002909775260000011
通过反向传播算法计算损失函数引起的zi的梯度
Figure FDA0002909775260000012
进而利用梯度下降方法对zi进行优化得到zi+1；对于后续的迭代次数i，i＞1，重复首次迭代的处理过程直至损失函数收敛，得到最优的低维向量
Figure FDA0002909775260000013
将
Figure FDA0002909775260000014
代入生成器Gθ获得最优的解压缩重构裂缝图像
Figure FDA0002909775260000015
2.根据权利要求1所述的方法，其特征在于：所述步骤二具体为：
步骤2.1、对于裂缝图像生成任务，选择能有效提取图像特征的卷积神经网络来构建生成器Gθ以及判别器Dθ的网络架构；其中，生成器Gθ输入从标准正态分布中随机采样的低维向量z，所述低维向量z经由生成器网络投影为生成图像Gθ(z)；判别器Dθ输入真实数据集中的图像x或生成器生成的图像Gθ(z)，输入图像经由判别器网络输出一个概率值，代表输入图像来自于真实数据集的概率；
步骤2.2、使用对抗训练的方式训练生成对抗网络，其中，判别器网络以判断输入图像是否来自于真实数据集为目标，生成器网络以尽可能生成逼真的图像混淆判别器的判断为目标，基于生成对抗网络的训练误差函数为：
Figure FDA0002909775260000016
其中，
Figure FDA0002909775260000017
表示遍历裂缝图像大数据集的分布pdata(x)中的真实数据样本x，求得logDθ(x)的数学期望，该数学期望的数值越大表明判别器对于真实裂缝数据的判别越准确；
Figure FDA0002909775260000021
表示遍历低维向量的分布pz(z)中的样本z，求得log(1-Dθ(Gθ(z)))的数学期望，该数学期望的数值越小表明生成器的生成数据越逼真；
交替更新两部分网络的参数，通过动态的博弈过程进而不断提升网络对于真实数据集特征的学习程度；
步骤2.3、通过计算生成图像质量及多样性的指标，评估生成器Gθ对真实数据集中裂缝特征的学习程度，进而对生成对抗网络的网络架构及训练超参数进行调优，获得有效表征了裂缝图像特征的生成器Gθ。
3.根据权利要求2所述的方法，其特征在于：由于优化结果
Figure FDA0002909775260000026
对于其初始值敏感，所以在步骤四中需要完成以下操作：
步骤4.1、选择k组随机初始的低维向量zip，i＝1，p＝1，...，k，使用同一梯度下降方法分别进行最优化，获得
Figure FDA0002909775260000022
及相应的损失函数收敛值
Figure FDA0002909775260000023
步骤4.2、选择其中损失函数收敛值最小的一组对应的优化结果作为最优低维向量
Figure FDA0002909775260000024
进而获得最优的解压缩重构裂缝图像
Figure FDA0002909775260000025
4.根据权利要求3所述的方法，其特征在于：所述压缩采样的解压缩重构约束为裂缝图像生成器Gθ，压缩观测矩阵A的维数为M×N，原始图像向量数据s的长度为N，低维向量z的维数为n，且n＜＜N。
CN202010401866.9A 2020-05-13 2020-05-13 一种基于生成对抗网络的裂缝图像压缩采样方法 Active CN111711820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010401866.9A CN111711820B (zh) 2020-05-13 2020-05-13 一种基于生成对抗网络的裂缝图像压缩采样方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010401866.9A CN111711820B (zh) 2020-05-13 2020-05-13 一种基于生成对抗网络的裂缝图像压缩采样方法

Publications (2)

Publication Number Publication Date
CN111711820A CN111711820A (zh) 2020-09-25
CN111711820B true CN111711820B (zh) 2021-03-30

Family

ID=72537072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010401866.9A Active CN111711820B (zh) 2020-05-13 2020-05-13 一种基于生成对抗网络的裂缝图像压缩采样方法

Country Status (1)

Country Link
CN (1) CN111711820B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257695B (zh) * 2020-12-22 2021-04-02 北京航空航天大学 一种利用稀疏约束生成对抗网络生成振动信号的方法
JP2022135347A (ja) * 2021-03-05 2022-09-15 浜松ホトニクス株式会社 形状測定装置
CN113052925A (zh) * 2021-04-02 2021-06-29 广东工业大学 一种基于深度学习的压缩感知重构方法和系统
CN113592000A (zh) * 2021-08-03 2021-11-02 成都理工大学 基于卷积对抗神经网络的裂缝识别技术
CN114462558A (zh) * 2022-04-13 2022-05-10 南昌工程学院 一种数据增广的监督学习图像缺陷分类方法与系统
CN114818548B (zh) * 2022-06-28 2022-09-06 南京大学 一种基于卷积生成对抗网络的含水层参数场反演方法
CN116188973B (zh) * 2022-12-16 2024-02-13 深圳大学 认知生成机制裂缝检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652565B1 (en) * 2017-10-12 2020-05-12 Amazon Technologies, Inc. Image compression and decompression using embeddings
CN108460760B (zh) * 2018-03-06 2020-08-25 陕西师范大学 一种基于生成式对抗网络的桥梁裂缝图像判别修复方法
CN108696331B (zh) * 2018-03-19 2020-06-30 西安电子科技大学 一种基于生成对抗网络的信号重构方法
CN109040763A (zh) * 2018-08-07 2018-12-18 北京飞搜科技有限公司 一种基于生成式对抗网络的图像压缩方法及系统
CN109544656B (zh) * 2018-11-23 2023-05-23 南京信息工程大学 一种基于生成对抗网络的压缩感知图像重建方法及系统

Also Published As

Publication number Publication date
CN111711820A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111711820B (zh) 一种基于生成对抗网络的裂缝图像压缩采样方法
CN112417954B (zh) 一种面向小样本数据集的轴承故障模式诊断方法及系统
CN116823664B (zh) 一种遥感图像云去除方法及系统
CN114332639B (zh) 一种非线性残差自注意力机制的卫星姿态视觉测量方法
Wang et al. Prediction model of natural gas pipeline crack evolution based on optimized DCNN-LSTM
CN112966667B (zh) 海面目标一维距离像降噪卷积神经网络识别方法
CN109084943B (zh) 一种基于子空间投影与稀疏正则化的结构损伤识别方法
CN111242351A (zh) 基于自编码器和gru神经网络的热带气旋轨迹预测方法
CN115984850A (zh) 基于改进Deeplabv3+的轻量级遥感影像语义分割方法
CN115046766A (zh) 基于二维灰度图像自适应子空间的小样本轴承故障诊断方法
CN111595541A (zh) 一种海量振动传递率数据卷积神经网络处理的多维结构损伤识别方法
Pan et al. A meta network pruning framework for remaining useful life prediction of rocket engine bearings with temporal distribution discrepancy
CN110311685B (zh) 时序贝叶斯压缩采样及信号解压缩重构方法及数据丢失恢复方法
CN115641263A (zh) 基于深度学习的单幅电力设备红外图像超分辨率重建方法
CN117651144A (zh) 基于深度学习的建筑物点云压缩方法及系统
CN116680988A (zh) 一种基于Transformer网络的多孔介质渗透率预测方法
Yang et al. Improving tropical cyclone precipitation forecasting with deep learning and satellite image sequencing
CN117421647A (zh) 一种基于图像化特征的滚动轴承rul预测方法
CN114048762B (zh) 双注意力引导的旋转机械健康评估方法
CN109168002B (zh) 基于压缩感知和卷积神经网络的视频信号测量域估计方法
CN114383845B (zh) 一种基于嵌入式零样本学习模型的轴承复合故障诊断方法
Huang et al. Tracking the location of bearing outer raceway defects using multidimensional synchronous signal fusion and tensor rank-1 decomposition
CN115017984A (zh) 一种航空发动机故障风险预警方法及系统
CN110533599B (zh) 提高污染气体浓度空间分布二维断层图像重建质量的方法
CN114417923A (zh) 一种基于卷积降噪自编码器的车致应力鲁棒关联映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant