CN112396554A - 一种基于生成对抗网络的图像超分辨率算法 - Google Patents

一种基于生成对抗网络的图像超分辨率算法 Download PDF

Info

Publication number
CN112396554A
CN112396554A CN201910749648.1A CN201910749648A CN112396554A CN 112396554 A CN112396554 A CN 112396554A CN 201910749648 A CN201910749648 A CN 201910749648A CN 112396554 A CN112396554 A CN 112396554A
Authority
CN
China
Prior art keywords
image
network
layer
convolution
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910749648.1A
Other languages
English (en)
Other versions
CN112396554B (zh
Inventor
徐江涛
路凯歌
史兴萍
常宇慧
于子涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University Marine Technology Research Institute
Original Assignee
Tianjin University Marine Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University Marine Technology Research Institute filed Critical Tianjin University Marine Technology Research Institute
Priority to CN201910749648.1A priority Critical patent/CN112396554B/zh
Publication of CN112396554A publication Critical patent/CN112396554A/zh
Application granted granted Critical
Publication of CN112396554B publication Critical patent/CN112396554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于生成对抗网络的图像超分辨率算法，具有两个主要模块：生成网络与判别网络，生成网络要将模糊的低分辨率图像作为输入，并输出一个高分辨率的清晰图像。判别网络则要判断输入图像是真实图像还是生成网络生成的图像，生成网络得到判别网络的反馈之后继续进行图像生成，直到判别网络无法准确区分真实图像与生成图像，即达到理想的纳什均衡状态。从而实现将低分辨率图像转化为高分辨率图像。

Description

一种基于生成对抗网络的图像超分辨率算法
技术领域
本发明涉及图像超分辨率领域，尤其涉及一种基于GAN(生成对抗网络)的图像超分辨率算法。
背景技术
图像超分辨率（Super Resolution, SR）是将低分辨率（Low Resolution，LR）图像通过一定算法提升到高分辨率（High Resolution，HR）的技术。随着数字成像技术在卫星遥感、生物医疗、公共安全等领域的广泛应用，人们对数字图像质量的要求也越来越高，现有成像设备的分辨率往往不能满足实际需求。图像超分辨率重建技术能够在不改变现有成像设备的前提下，只采用合适的数字信号处理方法，即可提升图像的分辨率，在成本和易用性上具有很大的优势，因此近年来受到了广泛的关注。如今，神经网络技术的应用范围不断扩大，使用神经网络技术进行超分辨率重建具有较为重大的理论意义。
图像超分辨重建技术于 20 世纪 60 年代由 Harris 首次提出，传统图像超分辨率方法有基于插值的方法、基于重建的方法与基于学习的方法。其中基于插值的方法具有最简单的计算过程与最低的计算复杂度，经典方法包括最近邻插值、双线性插值和双三次插值；基于重建的方法也称为基于模型的方法，通常分为建模与重建两个步骤，经典方法包括迭代反投影法、凸集投影法与最大后验概率估计法。Dong 最早提出基于深度网络学习的方法，基于卷积神经网络的图像超分辨率方法：SRCNN（超分辨率卷积神经网络），这是首次使用深度学习解决图像超分辨率问题，之后不断有学者对其进行优化与改进。
但是，现有的利用卷积神经网络对图像进行超分辨率重建的方法在一定程度上损失了图像的信息,而损失掉的图像信息使得重建效果受到限制，影响了重建效果。
发明内容
针对现有技术存在的问题，本发明一种基于生成对抗网络的图像超分辨率算法，本算法具有两个主要模块：生成网络与判别网络，生成网络要将模糊的低分辨率图像作为输入，并输出一个高分辨率的清晰图像。判别网络则要判断输入图像是真实图像还是生成网络生成的图像，生成网络得到判别网络的反馈之后继续进行图像生成，直到判别网络无法准确区分真实图像与生成图像，即达到理想的纳什均衡状态。从而实现将低分辨率图像转化为高分辨率图像。
一种基于生成对抗网络的图像超分辨率算法，具体步骤为：
（1）生成网络模块设计：
输入的LR图像先经过一个采用ReLU函数做激活函数的卷积层，之后使用三个密集模块即dense block；在dense block 之间分别加入结构为BN层即批量归一化层，卷积核大小为1x1的卷积层，以及一个2x2的全局池化层，这三个层组成传输层，传输层可以优化denseblock输出的通道的数量；在第三个dense block 之后加上两个上采样层，上采样层采用亚像素卷积层来实现，每层将图像放大两倍，共放大四倍，最后通过一层卷积层将输出通道变为3，输出最终图像；
（2）判别网络模块设计：
判别网络相当于一个特征提取模块，激活函数选用 leak ReLU 函数，由四层卷积层组成；除在输入层之后不添加BN 层外，在之后的三层卷积之后都添加 BN 层，最后卷积降维到1，接入 sigmoid激活函数即s型函数，输出对输入图像的判断结果；
判别网络能够准确判断输出，对于输入的真实图像输出判别概率为真（1），对输入的生成图像判别概率为假（0）；随着训练的进行；
(3) 损失函数的设计与优化：
对生成网络定义的损失函数采用 GAN 网络的通用方法，生成网络损失函数见公式(1)：
Figure RE-477520DEST_PATH_IMAGE001
其分为两部分之和，
Figure RE-84082DEST_PATH_IMAGE002
是重建损失，也即 MSE函数，
Figure RE-952812DEST_PATH_IMAGE003
是对抗损失，其计算方法是计算判别网络返回的概率（0~1之间的值）与理想值1 之间的交叉熵，并在后者之前添加一个权值，以控制两类损失对于总损失的影响，初始值设为
Figure RE-389698DEST_PATH_IMAGE004
；
Figure RE-2076DEST_PATH_IMAGE005
判别网络损失函数见公式（2），其中
Figure RE-400827DEST_PATH_IMAGE006
是对输入真实图像（real）输出概率与理想值（1）的交叉熵，
Figure RE-706038DEST_PATH_IMAGE007
是输入生成图像（fake）输出概率与理想值（0）的交叉熵。
一种基于生成对抗网络的图像超分辨率算法，对其生成网络与判别网络模型进行深入探索，然后对基于GAN的图像超分辨率方法进行优化，通过使用Dense层提升网络的训练稳定性与收敛速度，同时改善梯度消失的情况并加强特征的传播，使特征重复利用，更有效的利用了特征，极大地减少了网络的参数量，使网络的计算量明显下降，同时也能达到优良的精度。
附图说明
图1是基于生成对抗网络的图像超分辨率算法整体设计流程图；
图2是dense block 结构图；
图3是生成模块结构图；
图4是判别模块结构图。
具体实施方式
下面结合本发明中的附图，对本发明中的技术方案进行进一步清楚完整的描述：
一种基于生成对抗网络的图像超分辨率算法，具体步骤为：
（1）生成网络模块设计：
输入的LR图像先经过一个采用ReLU函数做激活函数的卷积层，之后使用三个密集模块即dense block；在dense block 之间分别加入结构为BN层即批量归一化层，卷积核大小为1x1的卷积层，以及一个2x2的全局池化层，这三个层组成传输层，传输层可以优化denseblock输出的通道的数量；在第三个dense block 之后加上两个上采样层，上采样层采用亚像素卷积层来实现，每层将图像放大两倍，共放大四倍，最后通过一层卷积层将输出通道变为3，输出最终图像；
（2）判别网络模块设计：
判别网络相当于一个特征提取模块，激活函数选用 leak ReLU 函数，由四层卷积层组成；除在输入层之后不添加BN 层外，在之后的三层卷积之后都添加 BN 层，最后卷积降维到1，接入 sigmoid激活函数即s型函数，输出对输入图像的判断结果；
判别网络能够准确判断输出，对于输入的真实图像输出判别概率为真（1），对输入的生成图像判别概率为假（0）；随着训练的进行；
(3) 损失函数的设计与优化：
对生成网络定义的损失函数采用 GAN 网络的通用方法，生成网络损失函数见公式(1)：
Figure RE-823030DEST_PATH_IMAGE001
其分为两部分之和，
Figure RE-973519DEST_PATH_IMAGE002
是重建损失，也即 MSE函数，
Figure RE-554673DEST_PATH_IMAGE003
是对抗损失，其计算方法是计算判别网络返回的概率（0~1之间的值）与理想值1 之间的交叉熵，并在后者之前添加一个权值，以控制两类损失对于总损失的影响，初始值设为
Figure RE-765206DEST_PATH_IMAGE004
；
Figure RE-425951DEST_PATH_IMAGE005
判别网络损失函数见公式（2），其中
Figure RE-442449DEST_PATH_IMAGE006
是对输入真实图像（real）输出概率与理想值（1）的交叉熵，
Figure RE-815793DEST_PATH_IMAGE007
是输入生成图像（fake）输出概率与理想值（0）的交叉熵。
图3与图4中展示了生成模块与判别模块的网络结构，图2中的dense block 的细节如图1中所示，图4中在经过三个卷积层与BN层后，利用密集层（dense层）来降低数据的维度，最后得到判别网络的输出。
将训练数据输入到生成网络中，将得到的输出数据与真实数据一起放入到判别网络中，如图1所示。Loss函数的优化可以采用Adam算法，初始学习率设为0.0001，训练过程中学习率的下降可以采用余弦函数下降法来得到较好的结果。
根据现有的数据集，可采用将现有的高清图片数据降低分辨率，或者直接使用128×128分辨率的图像进行训练，在神经网络搭建过程中，选择谷歌开源的Tensorflow实现。由于由于 GAN 网络本身存在的缺陷，在实现过程中很难达到最理想状态，也即纳什均衡状态，具体表现为其在训练中十分不稳定，计算损失时高时低，而且训练最终也不一定能达到最低点，收敛不是很彻底，并且还可能出现模式崩溃（model collapse）问题，导致训练效果非常差，即使增加训练时间也无法改善，可以尝试使用转置卷积替换亚像素卷积进行上采样，亚像素卷积虽然被称为卷积，实际上没有卷积操作，而卷积在提取图像特征方面发挥着重要作用，所以使用转置卷积进行上采样也许会达到更好的效果。

Claims (1)

1.一种基于生成对抗网络的图像超分辨率算法，其特征在于：具体步骤为：
（1）生成网络模块设计：
输入的LR图像先经过一个采用ReLU函数做激活函数的卷积层，之后使用三个密集模块即dense block；在dense block 之间分别加入结构为BN层即批量归一化层，卷积核大小为1x1的卷积层，以及一个2x2的全局池化层，这三个层组成传输层，传输层可以优化denseblock输出的通道的数量；在第三个dense block 之后加上两个上采样层，上采样层采用亚像素卷积层来实现，每层将图像放大两倍，共放大四倍，最后通过一层卷积层将输出通道变3，输出最终图像；
（2）判别网络模块设计：
判别网络相当于一个特征提取模块，激活函数选用 leak ReLU 函数，由四层卷积层组成；除在输入层之后不添加BN 层外，在之后的三层卷积之后都添加 BN 层，最后卷积降维到1，接入 sigmoid激活函数即s型函数，输出对输入图像的判断结果；
判别网络能够准确判断输出，对于输入的真实图像输出判别概率为真（1），对输入的生成图像判别概率为假（0）；随着训练的进行；
(3) 损失函数的设计与优化：
对生成网络定义的损失函数采用 GAN 网络的通用方法，生成网络损失函数见公式(1)：
Figure 676737DEST_PATH_IMAGE001
其分为两部分之和，
Figure 344479DEST_PATH_IMAGE002
是重建损失，也即 MSE函数，
Figure 925940DEST_PATH_IMAGE003
是对抗损失，其计算方法是计算判别网络返回的概率（0~1之间的值）与理想值1 之间的交叉熵，并在后者之前添加一个权值，以控制两类损失对于总损失的影响，初始值设为
Figure 778359DEST_PATH_IMAGE004
；
判别网络损失函数见公式（2）：
Figure 1530DEST_PATH_IMAGE005
其中
Figure 332017DEST_PATH_IMAGE006
是对输入真实图像（real）输出概率与理想值（1）的交叉熵，
Figure 573511DEST_PATH_IMAGE007
是输入生成图像（fake）输出概率与理想值（0）的交叉熵。
CN201910749648.1A 2019-08-14 2019-08-14 一种基于生成对抗网络的图像超分辨率方法 Active CN112396554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910749648.1A CN112396554B (zh) 2019-08-14 2019-08-14 一种基于生成对抗网络的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910749648.1A CN112396554B (zh) 2019-08-14 2019-08-14 一种基于生成对抗网络的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN112396554A true CN112396554A (zh) 2021-02-23
CN112396554B CN112396554B (zh) 2023-04-25

Family

ID=74601377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910749648.1A Active CN112396554B (zh) 2019-08-14 2019-08-14 一种基于生成对抗网络的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN112396554B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法
CN113034361A (zh) * 2021-03-03 2021-06-25 深圳市数字城市工程研究中心 一种基于改进esrgan的遥感影像超分重建方法
CN113674154A (zh) * 2021-08-23 2021-11-19 北京印刷学院 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109785237A (zh) * 2019-01-25 2019-05-21 广东工业大学 一种太赫兹图像超分辨率重建方法、系统及相关装置
CN109785270A (zh) * 2019-01-18 2019-05-21 四川长虹电器股份有限公司 一种基于gan的图像超分辨率方法
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN109785270A (zh) * 2019-01-18 2019-05-21 四川长虹电器股份有限公司 一种基于gan的图像超分辨率方法
CN109785237A (zh) * 2019-01-25 2019-05-21 广东工业大学 一种太赫兹图像超分辨率重建方法、系统及相关装置
CN109934282A (zh) * 2019-03-08 2019-06-25 哈尔滨工程大学 一种基于sagan样本扩充和辅助信息的sar目标分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IRINA SÁNCHEZ , VERÓNICA VILAPLANA: "Brain MRI super-resolution using 3D generative adversarial networks", 《ARXIV:1812.11440V1》 *
翟中华: "基于生成对抗网络的自监督表示学习研究及应用", 《中国博士学位论文全文数据库》 *
高春波: "生成对抗网络的图像超分辨率重建", 《中国优秀硕士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034361A (zh) * 2021-03-03 2021-06-25 深圳市数字城市工程研究中心 一种基于改进esrgan的遥感影像超分重建方法
CN113034361B (zh) * 2021-03-03 2022-10-14 深圳市数字城市工程研究中心 一种基于改进esrgan的遥感影像超分重建方法
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法
CN113674154A (zh) * 2021-08-23 2021-11-19 北京印刷学院 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
CN113674154B (zh) * 2021-08-23 2023-10-27 北京印刷学院 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统

Also Published As

Publication number Publication date
CN112396554B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN109905624B (zh) 一种视频帧插值方法、装置及设备
CN111739078B (zh) 一种基于上下文注意力机制的单目无监督深度估计方法
CN113139907B (zh) 视觉分辨率增强的生成方法、系统、装置及存储介质
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111524068B (zh) 一种基于深度学习的变长输入超分辨率视频重建方法
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN110634105B (zh) 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN109118431A (zh) 一种基于多记忆及混合损失的视频超分辨率重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111915484A (zh) 基于密集匹配与自适应融合的参考图引导超分辨率方法
Singla et al. A review on Single Image Super Resolution techniques using generative adversarial network
CN112837224A (zh) 一种基于卷积神经网络的超分辨率图像重建方法
CN108921783B (zh) 一种基于混合损失函数约束的卫星影像超分辨率重建方法
CN112396554A (zh) 一种基于生成对抗网络的图像超分辨率算法
CN112288632B (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN114841859A (zh) 基于轻量神经网络和Transformer的单图像超分辨率重建方法
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
CN113487482B (zh) 一种基于元迁移学习的自适应超分辨率方法
Wu et al. Lightweight asymmetric convolutional distillation network for single image super-resolution
CN116385265B (zh) 一种图像超分辨率网络的训练方法及装置
CN110211059A (zh) 一种基于深度学习的图像重建方法
Zong et al. Single image super-resolution based on self-attention
CN115170402A (zh) 基于循环残差卷积和过度参数化卷积的帧插入方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant