CN112884671A - 一种基于无监督生成对抗网络的模糊图像复原方法 - Google Patents

一种基于无监督生成对抗网络的模糊图像复原方法 Download PDF

Info

Publication number
CN112884671A
CN112884671A CN202110215750.0A CN202110215750A CN112884671A CN 112884671 A CN112884671 A CN 112884671A CN 202110215750 A CN202110215750 A CN 202110215750A CN 112884671 A CN112884671 A CN 112884671A
Authority
CN
China
Prior art keywords
loss
image
network
layer
blurred image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110215750.0A
Other languages
English (en)
Other versions
CN112884671B (zh
Inventor
徐剑
董文德
徐贵力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110215750.0A priority Critical patent/CN112884671B/zh
Publication of CN112884671A publication Critical patent/CN112884671A/zh
Application granted granted Critical
Publication of CN112884671B publication Critical patent/CN112884671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于无监督生成对抗网络的模糊图像复原方法，步骤包括：在对偶生成对抗网络的框架下，采用两个生成器GA、GB分别对模糊图像的复原问题与清晰图像的模糊退化过程进行建模，其次，引入判别器用于配合对应的生成器进行对抗训练，判别器DA用于判定GA生成的图像是否清晰，判别器DB用于判定GB生成的图像是否模糊，同时，引入L2像素重构损失以及感知损失对目标损失函数进行建模；最后，利用非配对的模糊‑清晰图像数据集对网络进行训练，并采用Adam优化器对网络参数进行更新，最终得到上述模型的局部最优解。与传统的模糊图像复原方法相比，本发明的方法极大地减少了数据集构建的工作量，具有广泛的实用价值和应用前景。

Description

一种基于无监督生成对抗网络的模糊图像复原方法
技术领域
本发明涉及计算机数字图像处理领域，尤其涉及一种基于无监督生成对抗网络的模糊图像复原方法。
背景技术
在日常摄影、空间遥感观测、医学影像检测等应用领域中，经常会由于目标物体与成像系统之间的相对运动而造成图像模糊，影响到图像的细节分辨能力，降低其使用价值。因此，设计相应的模糊图像复原算法，提升图像的分辨率显得尤为重要。
传统的模糊图像复原方法一般通过对模糊核进行估计后与模糊图像进行反卷积操作进而得到清晰图像，但是此类方法估计的模糊核通常无法表现真实的模糊情况，并且对噪声敏感。此外，目前比较流行的基于条件生成对抗网络的有监督学习网络往往受限于训练数据集，大量地收集有监督的模糊-清晰训练数据集费时费力，且容易出现网络泛化性不足的问题。
发明内容
发明目的：本发明的目的是提供一种基于无监督生成对抗网络的模糊图像复原方法，能够利用无监督的训练数据集对本发明的网络进行充分训练，使得网络的生成器具备复原模糊图像的能力，实现对模糊图像的复原。
技术方案：一种基于无监督生成对抗网络的模糊图像复原方法，包括如下步骤：
步骤1：构建无监督数据集，分别为模糊图像域图像数据集、清晰图像域图像数据集，分别记为S1,S2，且两个集合中的数据并非一一对应关系；
步骤2：在生成对抗网络框架下，设置两条方向互逆的对偶生成路径，分别为：输入模糊图像-生成清晰图像-重构模糊图像(记为A方向)，输入清晰图像-生成模糊图像-重构清晰图像(记为B方向)，每条生成路径均使用生成器网络GA、GB分别对图像去模糊过程和清晰图像退化过程进行建模，即利用GA生成复原清晰图像，利用GB生成模糊图像；
步骤3：在上述的生成方向上引入各自的判别器DA和DB，所述DA用于A方向判断所述GA生成的图像是否属于清晰图像的类别，所述DB用于B方向判断所述GB生成的图像是否属于模糊图像的类别，并配合对应的生成器用于对抗训练；
步骤4：引入L2像素重构损失以及感知损失，配合步骤3中所述的对抗损失构建网络的整体目标损失函数，并随机初始化网络参数；
步骤5：利用无监督数据集对网络进行前向计算，得到生成器网络和判别器网络输出的损失值；
步骤6：固定判别器的网络参数，利用优化器更新生成器网络的参数；
步骤7：固定生成器的网络参数，利用优化器更新判别器的网络参数；
步骤8：循环执行步骤5、步骤6和步骤：直至步骤5中计算的损失值收敛，此时可得到生成器网络参数的局部最优解，利用该训练完备的生成器，即可解算出模糊图像的复原图像估计值。
进一步地，步骤2中，A方向与B方向处于同等的地位，均用于约束网络的参数学习。其中，生成器GA用于去模糊功能，由于该过程是一个典型的病态过程，本发明将GA设计成生成能力更强的网络。为此，在GA的结构设计中添加了用于拓宽网络宽度的inception模块、用于加深网络深度的res-block残差模块以及用于生成金字塔结构的FPN模块。具体的GA网络构建步骤如下：
进一步地，步骤2中GA网络构建步骤具体如下：
步骤2.1：为了使得网络具有更好的特征抽取能力，本网络采用了在ImageNet上预训练过的Inception-resnet-v2网络结构以及其训练好的参数作为特征抽取的骨干网络，进行迁移学习，Inception-resnet-v2中包含了上述提及的用于拓展网络宽度的inception模块以及用于加深网络深度的res-block模块；
步骤2.2：在特征金字塔的构造方面，将Inception-resnet-v2网络的特征输出从底层到顶层进行截取，共分成5段，构成金字塔的5个层级，分别命名为enc0，enc1，enc2，enc3，enc4。其中enc0的特征尺寸最大，但是通道数最少；enc4的特征尺寸最小，但是通道数最多。除了enc0，对其余各层级进行横向连接并在通道上串接，之后与enc0在进行叠加，继而通过上采样以及卷积操作得到尺寸、通道数与输入图像相同的学习图像；
步骤2.3：通过全局残差学习，将输入图像与学习图像在通道上进行叠加，得到最终的生成清晰图像。
进一步地，步骤2中，基于res-6-blocks网络改进得到生成器GB。
进一步地，GB网络构建具体如下：生成器GB用于生成图像的模糊退化图像，该过程对网络的生成能力要求不是很高，故本发明基于res-6-blocks网络改进得到了生成器GB，其网络结构主要包括三部分：特征提取卷积部分、深度堆积残差块部分、反卷积部分。特征提取卷积部分用于对输入图像的特征提取，由两个卷积模块组成。经过该部分后，图像的尺寸缩小4倍，通道数增加4倍。该部分的卷积模块由1个卷积层、1个归一化层以及1个激活函数层ReLU函数组成。其中，卷积层的的步长为2。此外，在该特征提取部分之前，还有一个卷积输入层，将输入图像的通道数调整到特征提取部分的输入通道数。深度堆积残差块部分由6个res-block堆叠而成，仅仅是用于加深网络的深度，而不会改变输入特征的通道数以及尺寸。每个res-block都由2个卷积层、2个归一化层以及1个激活函数层ReLU函数组成。反卷积部分由2个反卷积模块组成，用于增加图像的尺寸以及减少通道数。经过该部分后，网络将输出通道数、尺寸与原始输入图像的相同的输出图像。最后通过tanh函数将像素值限制在(0,1)区间中作为最终的重建图像。该部分的反卷积模块由1个反卷积层、1个归一化层以及1个激活函数层ReLU函数组成。其中反卷积层的步长为1/2。反卷积部分与特征提取部分的网络结构是高度对称的，二者作用刚好相反。
进一步地，步骤3中的判别器分为DA、DB；DA用于A方向判断GA生成的图像是否属于清晰图像的类别，DB用于B方向判断GB生成的图像是否属于模糊图像的类别，二者的功能类似。其网络结构主要包含三个部分，如下所述：
第一部分的作用是对输入图像进行尺寸减半、通道倍增操作。输入图像通过2个卷积模块后，尺寸缩减了4倍，通道的数量增加到原有的4倍。其中，每个卷积模块都包含了1个步长为2的卷积层、1个归一化层以及1个激活函数层LeakyReLU函数。
第二部分的作用是对输入图像进行通道倍增操作，尺寸基本不变。输入图像经过该卷积模块后，尺寸基本不变，而通道数翻倍。该卷积模块由1个步长为1的卷积层、1个归一化层以及1个激活函数层LeakyReLU函数。
第三部分的作用是将通道数量转换为1，得到一个通道数量为1的输出特征图。该部分仅由一个卷积层构成，其中的输出滤波器数量为1，步长为1。
进一步地，步骤4中A方向的损失函数主要由对抗损失与重构损失组成，计算步骤如下：
步骤4.1.1：对抗损失指的是生成器GA与判别器DA之间对抗训练时的损失，由GA的损失分量以及DA的损失分量组成。二者的损失函数采用了比较合理的ragan-ls损失函数，该损失函数计算的是真实的清晰图像相对于虚假的清晰图像更真实的程度。对于DA来说，应该能够区分出真伪的清晰图像，因此其ragan-ls损失函数的理想值是1；对于GA来说，应该能够愚弄判别器，不仅要使判别器错判虚假的清晰图像，还要让判别器把真实的清晰图像也错判，因此其ragan-ls损失函数的理想值是-1。
步骤4.1.2：重构损失用于衡量重构模糊图像与原始输入的模糊图像之间的损失值。传统的L1和L2损失无法使重构损失收敛到一个有意义的状态，因此此处采用内容损失作为其重构损失。内容损失由两部分损失分量组成：视觉感知损失和L2损失。其中，视觉感知损失是由在ImageNet数据集上训练过的VGG-16分类网络给出的，将GB生成的模糊图像与原始输入的模糊图像同时输入到VGG-16网络的前14层中，得到二者的特征值，继而计算二者特征值之间的L2损失值，此即视觉感知损失，可以缩小二者在分类网络中的隐层特征差距；L2损失用于缩小GB生成的图像与理想图像之间的色彩即像素值的差距。
进一步地，步骤4中B方向的损失函数主要由对抗损失与重构损失组成，具体计算步骤如下：
步骤4.1.2：此对抗损失指的是生成器GB与判别器DB之间对抗训练时的损失，由GB的损失分量以及DB的损失分量组成，二者的损失函数均采用ragan-ls损失函数，计算的是真实的模糊图像相对于虚假的模糊图像(指的是GB生成的图像)更真实的程度；DB的ragan-ls损失函数的理想值是1；GB的ragan-ls损失函数的理想值是-1；
步骤4.2.2：此重构损失用于衡量重构清晰图像与原始输入清晰图像之间的损失值，采用内容损失作为其重构损失，内容损失包括视觉感知损失、L2损失。其中，视觉感知损失是由在ImageNet数据集上训练过的VGG-16分类网络给出的，将GA生成的清晰图像与原始输入的清晰图像同时输入到VGG-16网络的前14层中，得到二者的特征值，然后计算二者特征值之间的L2损失值，视觉感知损失用于缩小二者在分类网络中的隐层特征差距；L2损失用于缩小GA生成的清晰图像与原始输入的清晰图像之间的色彩即像素值的差距。
进一步地，步骤5中的前向计算具体包括：将模糊数据集与清晰数据集分别输入到步骤2和步骤3中A和B方向上的网络中，直至计算出步骤4中对应的损失值。
有益效果：与现有技术相比，本发明具有如下显著的优点：本发明在构建数据集时，不需要费时费力地构建匹配的模糊-清晰训练数据集，只需构建两个不同风格的图像域：模糊图像域以及清晰图像域，两个域之间的图像不需要一一对应。利用该训练数据集，对本发明提出的无监督网络进行训练，最终得到训练完毕的去模糊生成器。将模糊图像输入到该生成器即可得到高质量的复原图像。本发明的方法极大地减少了数据集构建的工作量，具有切实的实用价值。
附图说明
图1为本发明基于无监督生成对抗网络的模糊图像复原方法的流程图；
图2为本发明中去模糊方法的框架原理图；
图3为本发明中去模糊生成器GA的网络结构图；
图4为本发明中模糊生成器GB的网络结构图；
图5为本发明中判别器的网络结构图；
图6为本发明中去模糊图像与模糊图像的效果对比图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步的详细说明。
如图1，本发明的一种基于无监督生成对抗网络的模糊图像复原方法，包括如下步骤：
步骤1，构建无监督数据集，分别为模糊图像域图像数据集、清晰图像域图像数据集，分别记为S1,S2，且两个集合中的数据并非一一对应关系。
步骤2，如图2所示，在生成对抗网络框架下，设置两条方向互逆的对偶生成路径，分别为：输入模糊图像-生成清晰图像-重构模糊图像(记为A方向)，输入清晰图像-生成模糊图像-重构清晰图像(记为B方向)。每条生成路径均使用生成器网络GA、GB分别对图像去模糊过程和清晰图像退化过程进行建模，即利用GA生成复原清晰图像，利用GB生成模糊图像。由于生成器GA用于去模糊功能，且该过程是一个典型的病态过程，本发明将GA设计成生成能力更强的网络。为此，如图3所示，在GA的结构设计中添加了用于拓宽网络宽度的inception模块、用于加深网络深度的res-block残差模块以及用于生成金字塔结构的FPN模块。具体的GA网络构建步骤如下：
步骤2-1，为了使得网络具有更好的特征抽取能力，本网络采用了在ImageNet上预训练过的Inception-resnet-v2网络结构以及其训练好的参数作为特征抽取的骨干网络，进行迁移学习，Inception-resnet-v2中包含了上述提及的用于拓展网络宽度的inception模块以及用于加深网络深度的res-block模块；
步骤2-2，在特征金字塔的构造方面，将Inception-resnet-v2网络的特征输出从底层到顶层进行截取，共分成5段，构成金字塔的5个层级，分别命名为enc0，enc1，enc2，enc3，enc4。其中enc0的特征尺寸最大，但是通道数最少；enc4的特征尺寸最小，但是通道数最多。除了enc0，对其余各层级进行横向连接并在通道上串接，之后与enc0在进行叠加，继而通过上采样以及卷积操作得到尺寸、通道数与输入图像相同的学习图像；
步骤2-3，通过全局残差学习，将输入图像与学习图像在通道上进行叠加，得到最终的生成清晰图像。
生成器GB用于生成图像的模糊退化图像，该过程对网络的生成能力要求不是很高，故本发明基于res-6-blocks网络改进得到了生成器GB，如图4所示，其网络结构主要包括三部分：特征提取卷积部分、深度堆积残差块部分、反卷积部分。特征提取卷积部分用于对输入图像的特征提取，由两个卷积模块组成。经过该部分后，图像的尺寸缩小4倍，通道数增加4倍。该部分的卷积模块由1个卷积层、1个归一化层以及1个激活函数层ReLU函数组成。其中，卷积层的的步长为2。此外，在该特征提取部分之前，还有一个卷积输入层，将输入图像的通道数调整到特征提取部分的输入通道数。深度堆积残差块部分由6个res-block堆叠而成，仅仅是用于加深网络的深度，而不会改变输入特征的通道数以及尺寸。每个res-block都由2个卷积层、2个归一化层以及1个激活函数层ReLU函数组成。反卷积部分由2个反卷积模块组成，用于增加图像的尺寸以及减少通道数。经过该部分后，网络将输出通道数、尺寸与原始输入图像的相同的输出图像。最后通过tanh函数将像素值限制在(0,1)区间中作为最终的重建图像。该部分的反卷积模块由1个反卷积层、1个归一化层以及1个激活函数层ReLU函数组成。其中反卷积层的步长为1/2。反卷积部分与特征提取部分的网络结构是高度对称的，二者作用刚好相反。
步骤3，在上述的生成方向上引入各自的判别器，用于图像所属域的判定，并配合生成器用于对抗训练。判别器分为DA、DB。DA用于A方向判断GA生成的图像是否属于清晰图像的类别，DB用于B方向判断GB生成的图像是否属于模糊图像的类别，二者的功能类似。其网络结构主要包含三个部分，如图5所示，详述如下：
第一部分的作用是对输入图像进行尺寸减半、通道倍增操作。输入图像通过2个卷积模块后，尺寸缩减了4倍，通道的数量增加到原有的4倍。其中，每个卷积模块都包含了1个步长为2的卷积层、1个归一化层以及1个激活函数层LeakyReLU函数。
第二部分的作用是对输入图像进行通道倍增操作，尺寸基本不变。输入图像经过该卷积模块后，尺寸基本不变，而通道数翻倍。该卷积模块由1个步长为1的卷积层、1个归一化层以及1个激活函数层LeakyReLU函数。
第三部分的作用是将通道数量转换为1，得到一个通道数量为1的输出特征图。该部分仅由一个卷积层构成，其中的输出滤波器数量为1，步长为1。
步骤4，引入L2像素重构损失以及感知损失，配合步骤2中所述的对抗损失构建网络的整体目标损失函数，并随机初始化网络各参数。损失包含A方向和B方向的损失，此处只以A方向的损失为例进行说明，B方向可以类推得到。A方向的损失函数主要由对抗损失与重构损失组成，其计算步骤如下：
步骤4-1，对抗损失指的是生成器GA与判别器DA之间对抗训练时的损失，由生成器的损失分量以及判别器的损失分量组成。二者的损失函数采用了比较合理的ragan-ls损失函数，该损失函数计算的是真实的图像相对于虚假的图像更真实的程度。对于判别器来说，应该能够区分出真伪，因此其ragan-ls损失函数的理想值是1；对于生成器来说，应该能够愚弄判别器，不仅要使判别器错判虚假的图像，还要让判别器把真实的图像也错判，因此其ragan-ls损失函数的理想值是-1。
步骤4-2，重构损失用于衡量重构图像与原始输入图像之间的损失值。传统的L1和L2损失无法使重构损失收敛到一个有意义的状态，因此此处采用内容损失作为其循环一致损失。内容损失由两部分损失分量组成：视觉感知损失和L2损失。其中，视觉感知损失是由在ImageNet数据集上训练过的VGG-16分类网络给出的，将生成图像与理想图像同时输入到VGG-16网络的前14层中，得到二者的特征值，继而计算二者特征值之间的L2损失值，此即视觉感知损失，可以缩小二者在分类网络中的隐层特征差距；L2损失用于缩小生成图像与理想图像之间的色彩即像素值的差距。上述重构损失的两个损失分量的系数分别是0.006和0.5。
步骤5，利用步骤1中构建的无监督数据集对网络进行前向计算，得到生成器网络和判别器网络输出的损失值。前向计算指的是将模糊数据集与清晰数据集分别输入到步骤2和步骤3所述A和B方向上的网络中，直至计算出步骤4中对应的损失值。网络将从两个循环生成方向进行前向计算。以A方向为例，将模糊图像输入到GA进行去模糊计算，得到伪清晰图像，此时DA将对真假图像进行判别计算得到对抗损失。下一步，伪清晰图像输入到GB中进行模糊化计算，得到重构图像，并计算重构损失。
步骤6，固定判别器的网络参数，利用Adam优化器更新生成器网络的参数，优化器的动量项为0.5，衰减率为0.999，初始学习率为0.0002，且学习率使用的是线性缩减策略，当达到100次训练次数时，学习率开始从0.0002线性缩减，直到200次训练时缩减为0。
步骤7，固定生成器的网络参数，利用Adam优化器更新判别器的网络参数，优化器与学习率参数设置与步骤6相同。
步骤8，循环执行步骤5、步骤6和步骤7，直至步骤5中计算的损失值收敛，此时可得到生成器网络参数的局部最优解，利用该训练完备的去模糊生成器GA，即可解算出模糊图像的复原图像估计值。本步骤的循环次数设定为200次。
本发明提出了一种基于无监督生成对抗网络的模糊图像复原方法，该方法能够利用无监督的数据集进行无监督训练，不仅省去了收集制作有监督数据集花费的大量时间，还能对模糊图像进行高质量复原，显著改善图像质量，提升图像细节的分辨能力。本发明实验结果如图6所示，其中(a)为输入的模糊图像，(b)为GA输出的去模糊图像，(c)为GB输出的重构模糊图像。通过对比可知GA能够有效去除模糊效应，图像细节得到有效恢复，同时GB也能学习到图像的模糊过程。

Claims (9)

1.一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，包括如下步骤：
步骤1：构建无监督数据集，包括模糊域图像集S1、清晰域图像集S2；
步骤2：在生成对抗网络框架下，设置两条方向互逆的生成路径，其中，A方向包括输入模糊图像-生成清晰图像-重构模糊图像；B方向包括输入清晰图像-生成模糊图像-重构清晰图像，利用生成器网络GA生成清晰图像，生成器网络GB生成模糊图像；
步骤3：在A方向中引入清晰域判别器DA，在B方向中引入模糊域判别器DB，并配合对应的生成器用于对抗训练；
步骤4：引入L2像素重构损失以及感知损失，配合步骤3中对抗损失构建网络的整体目标损失函数，并随机初始化网络参数；
步骤5：利用无监督数据集对网络进行前向计算，得到生成器网络和判别器网络输出的损失值；
步骤6：固定判别器的网络参数，利用优化器更新生成器网络的参数；
步骤7：固定生成器的网络参数，利用优化器更新判别器的网络参数；
步骤8：循环执行步骤5、步骤6和步骤7，直至步骤5中的损失值收敛，得到生成器网络参数的局部最优解，解算模糊图像的复原图像估计值。
2.根据权利要求1所述的一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，所述步骤2的GA结构中添加用于拓宽网络宽度的inception模块、用于加深网络深度的res-block残差模块以及用于生成金字塔结构的FPN模块。
3.根据权利要求2所述的一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，所述GA网络构建步骤具体如下：
步骤2.1：采用在ImageNet上预训练后的Inception-resnet-v2网络结构以及其训练后的参数作为特征抽取的骨干网络，进行迁移学习，其中，Inception-resnet-v2网络结构中包含inception模块以及res-block模块；
步骤2.2：将Inception-resnet-v2网络的特征输出从底层到顶层进行截取，构成金字塔的5个层级，分别为enc0，enc1，enc2，enc3，enc4；除enc0外，其余各层级横向连接并在通道上串接，之后与enc0再叠加，通过上采样以及卷积操作得到尺寸、通道数与输入图像相同的学习图像；
步骤2.3：通过全局残差学习，将输入图像与学习图像在通道上进行叠加，得到最终的生成清晰图像。
4.根据权利要求1所述的一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，所述步骤2中，基于res-6-blocks网络改进得到生成器GB，其网络结构包括特征提取卷积部分、深度堆积残差块部分、反卷积部分。
5.根据权利要求4所述的一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，所述特征提取卷积部分由两个卷积模块组成，得到的图像的尺寸缩小4倍，通道数增加4倍，该部分的卷积模块由1个卷积层、1个归一化层以及1个激活函数层ReLU函数组成，其中，卷积层的步长为2，在特征提取部分之前，还设有一个卷积输入层，将输入图像的通道数调整到特征提取部分的输入通道数；
深度堆积残差块部分由6个res-block堆叠组成，每个res-block由2个卷积层、2个归一化层以及1个激活函数层ReLU函数组成；
反卷积部分用于增加图像的尺寸以及减少通道数，由2个反卷积模块组成，输出通道数、尺寸与原始输入图像相同的输出图像，通过tanh函数将像素值限制在(0,1)区间中作为最终的重建图像，所述反卷积模块由1个反卷积层、1个归一化层以及1个激活函数层ReLU函数组成，其中，反卷积层的步长为1/2，反卷积部分与特征提取部分的网络结构高度对称。
6.根据权利要求1所述的一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，所述步骤3中的判别器DA和DB网络结构包含三个部分，具体如下：
第一部分：输入图像通过2个卷积模块后，尺寸缩减了4倍，通道的数量增加到原有的4倍，其中，每个卷积模块都包含了1个步长为2的卷积层、1个归一化层以及1个激活函数层LeakyReLU函数；
第二部分：输入图像经过该卷积模块后，尺寸不变，通道数翻倍，该卷积模块由1个步长为1的卷积层、1个归一化层以及1个激活函数层LeakyReLU函数；
第三部分：由1个卷积层构成，其中的输出滤波器数量为1，步长为1。
7.根据权利要求1所述的一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，所述步骤4中A方向的损失函数包括对抗损失、重构损失，具体步骤如下：
步骤4.1.1：生成器GA与判别器DA之间对抗训练时的对抗损失，由GA的损失分量以及DA的损失分量组成，均采用ragan-ls损失函数；DA的ragan-ls损失函数的理想值是1；GA的ragan-ls损失函数的理想值是-1；
步骤4.2.1：重构损失用于衡量重构模糊图像与原始输入模糊图像之间的损失值，采用内容损失作为其重构损失，内容损失包括视觉感知损失、L2损失，其中，由ImageNet数据集上训练过的VGG-16分类网络得出视觉感知损失，将GB重构生成的模糊图像与原始输入的模糊图像同时输入到VGG-16网络的前14层中，得到二者的特征值，计算二者特征值之间的L2损失值，视觉感知损失用于缩小二者在分类网络中的隐层特征差距；L2损失用于缩小GB生成的模糊图像与原始输入的模糊图像之间的色彩即像素值的差距。
8.根据权利要求1所述的一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，所述步骤4中B方向的损失函数主要由对抗损失与重构损失组成，具体计算步骤如下：
步骤4.1.2：生成器GB与判别器DB之间对抗训练时的对抗损失，由GB的损失分量以及DB的损失分量组成，均采用ragan-ls损失函数；DB的ragan-ls损失函数的理想值是1；GB的ragan-ls损失函数的理想值是-1；
步骤4.2.2：重构损失用于衡量重构清晰图像与原始输入清晰图像之间的损失值，采用内容损失作为其重构损失，内容损失包括视觉感知损失、L2损失，其中，由ImageNet数据集上训练过的VGG-16分类网络给出视觉感知损失，将GA重构生成的清晰图像与原始输入的清晰图像同时输入到VGG-16网络的前14层中，得到二者的特征值，计算二者特征值之间的L2损失值，视觉感知损失用于缩小二者在分类网络中的隐层特征差距；L2损失用于缩小GA生成的清晰图像与原始输入的清晰图像之间的色彩即像素值的差距。
9.根据权利要求1所述的一种基于无监督生成对抗网络的模糊图像复原方法，其特征在于，所述步骤5中的前向计算具体包括：将模糊数据集与清晰数据集分别输入到步骤2和步骤3中所述A和B方向上的网络中，直至计算出步骤4中对应的损失值。
CN202110215750.0A 2021-02-26 2021-02-26 一种基于无监督生成对抗网络的模糊图像复原方法 Active CN112884671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110215750.0A CN112884671B (zh) 2021-02-26 2021-02-26 一种基于无监督生成对抗网络的模糊图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110215750.0A CN112884671B (zh) 2021-02-26 2021-02-26 一种基于无监督生成对抗网络的模糊图像复原方法

Publications (2)

Publication Number Publication Date
CN112884671A true CN112884671A (zh) 2021-06-01
CN112884671B CN112884671B (zh) 2024-02-20

Family

ID=76054639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110215750.0A Active CN112884671B (zh) 2021-02-26 2021-02-26 一种基于无监督生成对抗网络的模糊图像复原方法

Country Status (1)

Country Link
CN (1) CN112884671B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434459A (zh) * 2021-06-30 2021-09-24 电子科技大学 基于生成对抗网络的片上网络任务映射方法
CN113628139A (zh) * 2021-08-10 2021-11-09 中国人民解放军陆军装甲兵学院 一种基于生成对抗网络的模糊图像复原方法及系统
CN113689348A (zh) * 2021-08-18 2021-11-23 中国科学院自动化研究所 多任务图像复原方法、系统、电子设备及存储介质
CN115861099A (zh) * 2022-11-24 2023-03-28 南京信息工程大学 一种引入物理成像先验知识约束的卫星云图图像复原方法
CN116912675A (zh) * 2023-09-13 2023-10-20 吉林大学 一种基于特征迁移的水下目标检测方法及系统
CN117315354A (zh) * 2023-09-27 2023-12-29 南京航空航天大学 基于多判别器复合编码gan网络的绝缘子异常检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111833267A (zh) * 2020-06-19 2020-10-27 杭州电子科技大学 一种进行运动模糊复原的双重生成对抗网络及其运行方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN111833267A (zh) * 2020-06-19 2020-10-27 杭州电子科技大学 一种进行运动模糊复原的双重生成对抗网络及其运行方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434459A (zh) * 2021-06-30 2021-09-24 电子科技大学 基于生成对抗网络的片上网络任务映射方法
CN113628139A (zh) * 2021-08-10 2021-11-09 中国人民解放军陆军装甲兵学院 一种基于生成对抗网络的模糊图像复原方法及系统
CN113628139B (zh) * 2021-08-10 2022-09-30 中国人民解放军陆军装甲兵学院 一种基于生成对抗网络的模糊图像复原方法及系统
CN113689348A (zh) * 2021-08-18 2021-11-23 中国科学院自动化研究所 多任务图像复原方法、系统、电子设备及存储介质
CN113689348B (zh) * 2021-08-18 2023-12-26 中国科学院自动化研究所 多任务图像复原方法、系统、电子设备及存储介质
CN115861099A (zh) * 2022-11-24 2023-03-28 南京信息工程大学 一种引入物理成像先验知识约束的卫星云图图像复原方法
CN115861099B (zh) * 2022-11-24 2024-02-13 南京信息工程大学 一种引入物理成像先验知识约束的卫星云图图像复原方法
CN116912675A (zh) * 2023-09-13 2023-10-20 吉林大学 一种基于特征迁移的水下目标检测方法及系统
CN116912675B (zh) * 2023-09-13 2023-11-28 吉林大学 一种基于特征迁移的水下目标检测方法及系统
CN117315354A (zh) * 2023-09-27 2023-12-29 南京航空航天大学 基于多判别器复合编码gan网络的绝缘子异常检测方法
CN117315354B (zh) * 2023-09-27 2024-04-02 南京航空航天大学 基于多判别器复合编码gan网络的绝缘子异常检测方法

Also Published As

Publication number Publication date
CN112884671B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112884671A (zh) 一种基于无监督生成对抗网络的模糊图像复原方法
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
CN106204467B (zh) 一种基于级联残差神经网络的图像去噪方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
Yin et al. Highly accurate image reconstruction for multimodal noise suppression using semisupervised learning on big data
CN111062872A (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN113658051A (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN104680491A (zh) 一种基于深度神经网络的图像非均匀运动模糊去除方法
Lin et al. Real photographs denoising with noise domain adaptation and attentive generative adversarial network
Kim et al. Deeply aggregated alternating minimization for image restoration
Sahu et al. Blind deblurring using deep learning: A survey
WO2016127271A1 (en) An apparatus and a method for reducing compression artifacts of a lossy-compressed image
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
Ye et al. Depth super-resolution via deep controllable slicing network
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
Wu et al. Dcanet: Dual convolutional neural network with attention for image blind denoising
WO2022043010A1 (en) Methods, systems and computer programs for processing image data and for generating a filter
Ge et al. Blind image deconvolution via salient edge selection and mean curvature regularization
CN111047537A (zh) 一种图像去噪中恢复细节的系统
CN114820389B (zh) 一种基于无监督解耦表征的人脸图像去模糊方法
Zhu et al. LLISP: Low-light image signal processing net via two-stage network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant