CN109191378A - 基于ergan网络单幅图像超分辨重建方法 - Google Patents

基于ergan网络单幅图像超分辨重建方法 Download PDF

Info

Publication number
CN109191378A
CN109191378A CN201810830164.5A CN201810830164A CN109191378A CN 109191378 A CN109191378 A CN 109191378A CN 201810830164 A CN201810830164 A CN 201810830164A CN 109191378 A CN109191378 A CN 109191378A
Authority
CN
China
Prior art keywords
image
resolution
super
ergan
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810830164.5A
Other languages
English (en)
Inventor
李孝杰
伍贤宇
何嘉
吴锡
周激流
史沧红
郭峰
罗超
张宪
刘书樵
李俊良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN201810830164.5A priority Critical patent/CN109191378A/zh
Publication of CN109191378A publication Critical patent/CN109191378A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于ERGAN网络单幅图像超分辨重建方法。本发明包括以下步骤：输入待重建图像I；将待重建图像I分为大小为m*m的图像块集合，每一个图像块用表示，i＝1，2，...，s；将处理成n*n大小的低分辨率图像将低分辨率图像输入到生成器G中进行训练；将生成器G输出的结果G(z)和一同输入到鉴别器D中；将需要重建的图像再经过生成器G网络超分辨重建。本发明提出了基于生成对抗网络，增强对称残差单位的单图像超分辨率(ERGAN)，在训练的过程中保留了高频特征，减轻深层网络训练的难度。

Description

基于ERGAN网络单幅图像超分辨重建方法
技术领域
本发明涉及图像重建技术领域，具体的说是一种基于ERGAN网络单幅图像超分辨重建方法。
背景技术
超分辨率(SR)技术用于从低分辨率(LR)图像或图像序列重建高分辨率(HR)图像。图像超分辨率重建的核心概念是利用时间带宽(同一场景的多帧图像序列)来实现时间分辨率到空间分辨率的转换。目前的图像超分辨率方法可分为三大类：基于插值的，基于的重建，以及基于学习的。虽然已有许多基于非神经网络的重建方法，但其效果不如基于深度学习的超分辨率技术。
基于生成对抗网络(GAN)由两部分组成：生成器G和鉴别器D。生成器G可以用来生成与原始图像接近的超分辨率图像G(z)。判别器D可以区分是来自生成网络或训练数据X上的图像。我们知道，生成器的目标是在训练数据X上学习分布pg。因此，生成器输入的是随机向量z满足高斯分布Pz(z)，然后将输入z映射到数据空间G(z；θg)。另一方面，鉴别器网络可以被认为是从图像数据映射到图像来自真实数据分布pg，而不是生成器分布的概率的函数。
深度学习为重建超分辨率图像提供了许多良好的训练方法。SRCNN是首次提出的用神经网络方法中。然而，SRCNN网络是不稳定的，很难以训练。此外，通过最小化均方误差(MSE)获得的图像太平滑，这也显著地降低了峰值信噪比(PSNR)。提出的MDSR，在传统的残差网络中去掉不必要的模块(例如，批归一化)，并设置了多尺度的深度超分辨率系统和训练方法。它对每个单尺度超分辨率图像的管理都有很好的效果。基于Laplacian金字塔的方法，提出了LapSRN图像超分辨率结构。金字塔的每一级以粗分辨率的特征映射作为输入，并使用反卷积以获得更精细的特征映射。此外，使用健壮的Charbonnier函数对网络进行训练，获得更好的超分辨效果。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种基于ERGAN网络单幅图像超分辨重建方法。
本发明为实现上述目的所采用的技术方案是：一种基于ERGAN网络单幅图像超分辨重建方法，包括以下步骤：
输入待重建图像I；
将待重建图像I分为大小为m*m的图像块集合，每一个图像块用表示，i＝1，2，...，s；
将处理成n*n大小的低分辨率图像
将低分辨率图像输入到生成器G中进行训练；
将生成器G输出的结果G(z)和一同输入到鉴别器D中；
将需要重建的图像再经过生成器G网络超分辨重建。
所述将低分辨率图像输入到生成器G中进行训练，包括以下步骤：
用大小为3×3的卷积核对低分辨率图像做卷积处理；
对上一步骤输出的特征图进行残差处理；
对上一步骤输出的特征图用大小为3×3的卷积核做卷积处理；
对上一步骤输出的特征图进行残差处理；
残差单元对称跳跃连接；
经过两层子像素卷积，生成结果G(z)。
所述卷积处理和残差处理循环16轮。
所述残差单元对称跳跃连接具体为：从低层残差输出的结果连接到对应的高层的残差结果。
所述将生成器G输出的结果G(z)和一同输入到鉴别器D中，包括以下步骤：
用大小为4*4的卷积核对图像做卷积处理；
将上一步得到的结果经过LeakyReLU激活函数；
经过降维处将数组返回一个折叠成一维的数组；
DenseLayer操作，构造一个全连接隐藏层，再经过一个denselayer全连接层；
将上一步得到的结果进行非线性激活；
输出结果，判断图像是来自生成器还是图像块
本发明具有以下优点及有益效果：
1、本发明提出了基于生成对抗网络，增强对称残差单位的单图像超分辨率(ERGAN)，在训练的过程中保留了高频特征，减轻深层网络训练的难度。
2、本发明构造了对称跳跃连接在残差单元中，重建出原始图像的长度和宽度的四倍大小的超分辨率图像，并表现出优异的视觉性能。
附图说明
图1为本发明的方法流程图；
图2为ERGAN网络在DIV2K数据集上超分辨重建的结果图与原始图像对比；
图3为ERGAN网络与现有的超分辨技术在BSD100数据集上超分辨重建的结果对比。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示，本发明提出的一种基于ERGAN网络单幅图像超分辨重建方法，在实施例中包括以下步骤：
(1)输入一张图像I。
(2)利用ERGAN结构对图像I进行超分辨重建。
a.将图像I分为大小为384*384的图像块集合，每一块用i＝1，2，...，s表示。
b.将处理成96*96大小的低分辨率图像
(3)将得到的输入到生成器G中进行训练。
c.用大小为3×3，步长为1，输出为64个特征图，每个卷积层的输出通过ReLU激活函数，ReLU函数如下表示：
f(x)＝max(0，x) (1)
当输入信号小于0时，输出为0，当输入信号大于0时，输出等于输入。ReLU的收敛速度大于其它激活函数的收敛速度。ReLU只需要一个阈值来获得激活值，并且计算复杂度较低。
d.上一步的输出进入一个残差单元，残差的操作包括CONV-BN-ReLU-CONV-BN，最后输出的结果加上输入。卷积操作也是大小为3×3，步长为1，最后残差输出的结果为64个特征图。残差的公式可以表示如下：
Rb＝F(Rb-1，W)+Rb-1 (2)
e.上一步输出的特征图进入下一个大小为3×3，步长为1的卷积操作。
f.残差单元对称连接，经过多次的残差，卷积操作以后，输出的特征图进入两层subpixel(子像素卷积，等同于普通卷积，最大好处是效率高)，输出结果G(z)。残差单元对称跳跃连接具体为：从低层残差输出的结果连接到对应的高层的残差结果，将学习到更多的高频信息。生成网络的损失函数为：
Gloss＝Gadv+GMSE+GVGG (3)
其中Gadv表示对抗损失，GMSE表示像素均方误差(mean squared error)，GVGG表示高维均方误差(high dimensional mean square error)。具体公式如下：
c-f步骤所述的卷积——残差处理需要经过若干轮，优选为16轮。
(4)将生成网络的输出结果G(z)和一起输入到鉴别网络。
g.用大小为4*4，步长为2，输出为64个特征图。
经过多次卷积操作以后，进入经过LeakyReLU激活函数。卷积操作包括8个卷积。鉴别网络D总共2000次迭代结束，生成网络同杆2000次迭代。LeakyReLU激活函数是Relu的改进版本，引入负的非零梯度，其数学表达式为：
其中，ai是1到正无穷区间内的固定参数，xi是输入，yi是输出结果。
h.经过Flantten(降维)处理，将数组返回一个折叠成一维的数组，一共有16*18432。
Dense操作，即构造一个全连接隐藏层，输出16*1024；再经过一个denselayer全连接层，输出16*1；
i.sigmoid操作；sigmoid操作是常用的非线性激活函数，输出结果是0和1，在这里用来判定输入的图像是来自生成器还是训练图像其数学表达式为：
其中，x是输入，y是输出结果。
j.输出结果，判断图像是来自生成器G还是训练数据鉴别网络的损失函数为对抗损失函数，如下表示：
如图2所示，左边是原图，右边是本发明在DIV2K数据集上4倍超分辨率的结果。可以看出，我们的结果能生成近似于原始图像的效果。
表1四种公共数据集(Set5，Set14，BSD100，Urban100)的测试结果
表1中，PSNR表示峰值信噪比，是一种评价图像的客观标准。SSIM表示结构相似性，是一种衡量两幅图像相似度的指标。两个指标越高越奸，越接近原图。A+，SRCNN，SelfExSR是现有的最先进的效果很好的图像超分辨技术，ERGAN是本发明提出的方法。由表1可见，通过与Bicubic，A+，SRCNN，SelfExSR方法相比，ERGAN在两种指标上的效果比它们都高。图2是ERGAN网络在DIV2K数据集上超分辨重建的结果图与原始图像对比，可以看出我们方法重建的结果近似原始图像，几乎难以分辨。图3为ERGAN网络与Bicubic，A+，SRCNN，SelfExSR在BSD100数据集上超分辨重建的结果对比，可以看出其他方法相对模糊，而ERGAN保留了更多的细节信息。
本发明可将低分辨率图像重建成原始图像的长度和宽度的四倍，并具有良好的视觉性能。实验结果表明，我们的方法在精度和视觉方面明显优于目前最先进的方法。在末来的工作中，我们可以进一步升级技术来训练我们的模型，来达到更好的视觉效果。

Claims (5)

1.一种基于ERGAN网络单幅图像超分辨重建方法，其特征在于，包括以下步骤：
输入待重建图像I；
将待重建图像I分为大小为m*m的图像块集合，每一个图像块用表示，i＝1，2，...，s；
将处理成n*n大小的低分辨率图像
将低分辨率图像输入到生成器G中进行训练；
将生成器G输出的结果G(z)和一同输入到鉴别器D中；
将需要重建的图像再经过生成器G网络超分辨重建。
2.根据权利要求1所述的基于ERGAN网络单幅图像超分辨重建方法，其特征在于，所述将低分辨率图像输入到生成器G中进行训练，包括以下步骤：
用大小为3×3的卷积核对低分辨率图像做卷积处理；
对上一步骤输出的特征图进行残差处理；
对上一步骤输出的特征图用大小为3×3的卷积核做卷积处理；
对上一步骤输出的特征图进行残差处理；
残差单元对称跳跃连接；
经过两层子像素卷积，生成结果G(z)。
3.根据权利要求2所述的基于ERGAN网络单幅图像超分辨重建方法，其特征在于，所述卷积处理和残差处理循环16轮。
4.根据权利要求2所述的基于ERGAN网络单幅图像超分辨重建方法，其特征在于，所述残差单元对称跳跃连接具体为：从低层残差输出的结果连接到对应的高层的残差结果。
5.根据权利要求1所述的基于ERGAN网络单幅图像超分辨重建方法，其特征在于，所述将生成器G输出的结果G(z)和一同输入到鉴别器D中，包括以下步骤：
用大小为4*4的卷积核对图像做卷积处理；
将上一步得到的结果经过LeakyReLU激活函数；
经过降维处将数组返回一个折叠成一维的数组；
DenseLayer操作，构造一个全连接隐藏层，再经过一个denselayer全连接层；
将上一步得到的结果进行非线性激活；
输出结果，判断图像是来自生成器还是图像块
CN201810830164.5A 2018-07-25 2018-07-25 基于ergan网络单幅图像超分辨重建方法 Pending CN109191378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810830164.5A CN109191378A (zh) 2018-07-25 2018-07-25 基于ergan网络单幅图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810830164.5A CN109191378A (zh) 2018-07-25 2018-07-25 基于ergan网络单幅图像超分辨重建方法

Publications (1)

Publication Number Publication Date
CN109191378A true CN109191378A (zh) 2019-01-11

Family

ID=64937442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810830164.5A Pending CN109191378A (zh) 2018-07-25 2018-07-25 基于ergan网络单幅图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN109191378A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111257A (zh) * 2019-05-08 2019-08-09 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110503110A (zh) * 2019-08-12 2019-11-26 北京影谱科技股份有限公司 特征匹配方法和装置
CN111062886A (zh) * 2019-12-10 2020-04-24 携程计算机技术（上海）有限公司 酒店图片的超分辨方法、系统、电子产品和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646283A (zh) * 2013-11-21 2014-03-19 中国民航大学 能量可控的连续Hopfield神经网络及优化求解方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107784308A (zh) * 2017-10-09 2018-03-09 哈尔滨工业大学 基于链式多尺度全卷积网络的显著性目标检测方法
CN107958246A (zh) * 2018-01-17 2018-04-24 深圳市唯特视科技有限公司 一种基于新型端到端人脸超分辨率网络的图像对齐方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646283A (zh) * 2013-11-21 2014-03-19 中国民航大学 能量可控的连续Hopfield神经网络及优化求解方法
CN107154023A (zh) * 2017-05-17 2017-09-12 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107784308A (zh) * 2017-10-09 2018-03-09 哈尔滨工业大学 基于链式多尺度全卷积网络的显著性目标检测方法
CN107958246A (zh) * 2018-01-17 2018-04-24 深圳市唯特视科技有限公司 一种基于新型端到端人脸超分辨率网络的图像对齐方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN LEDIG AT AL.: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《ARXIV:1609.04802V5》 *
JIANFENG DONG ET AL.: "Learning Deep Representations Using Convolutional Auto-encoders with Symmetric Skip Connections", 《ARXIV:1611.09119V2》 *
XIANYU WU ET AL.: "Generative Adversarial Networks with Enhanced Symmetric Residual Units for Single Image Super-Resolution", 《LECTURE NOTES IN COMPUTER SCIENCES》 *
XIAO-JIAO MAO ET AL.: "Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections", 《30TH CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NIPS 2016)》 *
崔淼: "基于生成式对抗网络（GAN）图像转换研究", 《中国硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111257A (zh) * 2019-05-08 2019-08-09 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110111257B (zh) * 2019-05-08 2023-01-03 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110503110A (zh) * 2019-08-12 2019-11-26 北京影谱科技股份有限公司 特征匹配方法和装置
CN111062886A (zh) * 2019-12-10 2020-04-24 携程计算机技术（上海）有限公司 酒店图片的超分辨方法、系统、电子产品和介质

Similar Documents

Publication Publication Date Title
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
Yu et al. Deep iterative down-up cnn for image denoising
CN109035142B (zh) 一种对抗网络结合航拍图像先验的卫星图像超分辨方法
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN110992262A (zh) 一种基于生成对抗网络的遥感图像超分辨重建方法
Kim et al. Deep residual network with enhanced upscaling module for super-resolution
CN110473142B (zh) 基于深度学习的单幅图像超分辨率重建方法
CN111080567A (zh) 基于多尺度动态卷积神经网络的遥感图像融合方法及系统
CN108921789A (zh) 基于递归残差网络的超分辨率图像重建方法
Tang et al. Deep inception-residual Laplacian pyramid networks for accurate single-image super-resolution
CN109191378A (zh) 基于ergan网络单幅图像超分辨重建方法
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
Chen et al. Single image super-resolution using deep CNN with dense skip connections and inception-resnet
CN109035146A (zh) 一种基于深度学习的低质量图像超分方法
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
CN113139904B (zh) 一种图像盲超分辨率方法及系统
CN109872326A (zh) 基于深度强化网络跳跃连接的轮廓检测方法
CN109064402A (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
Li Image super-resolution using attention based densenet with residual deconvolution
CN114187191B (zh) 一种基于高频-低频信息融合的图像去模糊方法
Wang et al. Transform domain based medical image super-resolution via deep multi-scale network
CN114283058A (zh) 基于对抗网络和最大互信息优化的图像超分辨率重建方法
CN109949334A (zh) 基于深度强化网络残差连接的轮廓检测方法
CN112200752A (zh) 一种基于er网络多帧图像去模糊系统及其方法
Rashid et al. Single MR image super-resolution using generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication