CN111080522B - 一种基于双向对抗网络的图像超分辨率重建方法 - Google Patents

一种基于双向对抗网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN111080522B
CN111080522B CN201911282780.2A CN201911282780A CN111080522B CN 111080522 B CN111080522 B CN 111080522B CN 201911282780 A CN201911282780 A CN 201911282780A CN 111080522 B CN111080522 B CN 111080522B
Authority
CN
China
Prior art keywords
network
reconstruction
resolution
image
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911282780.2A
Other languages
English (en)
Other versions
CN111080522A (zh
Inventor
林志贤
李思平
郭太良
张永爱
周雄图
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911282780.2A priority Critical patent/CN111080522B/zh
Publication of CN111080522A publication Critical patent/CN111080522A/zh
Application granted granted Critical
Publication of CN111080522B publication Critical patent/CN111080522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双向对抗网络的图像超分辨率重建方法，首先对输入的图像数据进行数据增强；然后将数据增强后的图像数据进行预处理；接着搭建下采样网络与重建网络；然后训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；最后将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。本发明可以处理现实生活由于多种噪声及运动干扰产生的低分辨率图像，恢复出细节清晰的高分辨率图像。

Description

一种基于双向对抗网络的图像超分辨率重建方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于双向对抗网络的图像超分辨率重建方法。
背景技术
图像超分辨率(Super-Resolution，SR)重建技术旨在从一幅或多幅低分辨率图像重建出一幅高分辨率图像。超分辨率重建属于低层计算机视觉领域中的经典问题，对于给定的任何一个低分辨率像素图像存在多幅与之对应的高分辨率图像，这是一个典型的病态逆问题，具有严重不适定性，解决这个问题需要先验信息。
卷积神经网络(Convolutional neural network,CNNs)能够获得图像的高频特征、强化细节信息，并且特别擅长获取图像像素在小领域范围内的相关性信息。将卷积神经网络应用与图像超分辨率重建中，并取得了很好的效果。
基于深度学习的图像重建方法，如SRCNN、FSRCNN、VDSR等。这些方法生成的结果虽然都具有较高的PSNR等客观评测指标，但其生成的结果大多过于平滑致使缺少一些关键的图像细节信息，同时这些方法获取低分辨率图像的方法是简单的通过人为假定的下采样过程获得，比如双三次插值(Bicubic)，无法处理现实生活中由于各种模糊及运动干扰的低分辨率图像。
发明内容
有鉴于此，本发明的目的是提出一种基于双向对抗网络的图像超分辨率重建方法，可以处理现实生活由于多种噪声及运动干扰产生的低分辨率图像，恢复出细节清晰的高分辨率图像。
本发明采用以下方案实现：一种基于双向对抗网络的图像超分辨率重建方法，包括以下步骤：
对输入的图像数据进行数据增强；
将数据增强后的图像数据进行预处理，将处理后的数据分为训练集与测试集；
搭建下采样网络与重建网络；
训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；
将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。
进一步地，所述对输入的图像数据进行数据增强具体为：将原始训练图像集的图像切分成224x224的小图像，同时将小图像分别随机旋转90°、180°，再按比例分别缩放0.8、0.9倍，增强之后图片数量增加到原来的10倍。
进一步地，所述将数据增强后的图像数据进行预处理具体为：将每一张图像的像素值减去所有图像像素的均值并除以所有图像像素的标准差，其公式为：
x＝(x-μ)/σ；
式中，x为一张图像的像素值，μ为所有图像像素的均值，σ为所有图像像素的标准差。
进一步地，所述搭建下采样网络具体包括以下步骤：
构建下采样网络的生成器，该生成器由特征提取层、残差块、下采样层组成；
构建下采样网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。
进一步地，所述搭建重建网络具体包括以下步骤：
构建重建网络的生成器，该生成器由特征提取层、残差块、亚像素卷积层组成；
构建重建网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。
进一步地，所述训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络具体为：
将训练集中的高分辨率图片HR输入下采样网络的生成器，生成低分辨率图片LR，将生成的低分辨率图片LR输入重建网络的生成器得到重建的高分辨率图像SR，将生成的低分辨率图片LR与训练集中的低分辨率图片LR’输入下采样网络的判别器，将重建的高分辨率图像SR与训练集中的高分辨率图片HR输入重建网络的判别器；
其中，下采样网络采用对抗损失反向优化网络，其损失函数为：
Figure BDA0002317221530000031
式中，D表示下采样网络的判别器，G代表下采样网络的生成器，N代表了图像的数量，xi表示真实的标签高分辨率图片；
其中，重建网络采用像素损失及对抗损失反向优化网络，其损失函数为对抗损失与像素损失之和，其中像素损失函数L1与对抗损失函数L2分别为：
Figure BDA0002317221530000041
Figure BDA0002317221530000042
式中，N表示图像块数量，
Figure BDA0002317221530000043
表示重建的超分辨率图像，xi表示真实的标签高分辨率图片，D表示重建网络的判别器，G代表重建网络的生成器；
当下采样网络的损失函数与重建网络的损失函数均达到最小时训练结束，得到优化后的下采样网络与重建网络。
与现有技术相比，本发明有以下有益效果：本发明采用改进的双向生成对抗网络对低分辨率图片进行重建，使用下采样网络模拟生成现实生活的模糊低分辨率图片以取代人为假定的下采样过程，同时采用重建网络对生成的模糊低分辨率图片进行重建。本发明的方法可以处理现实生活由于多种噪声及运动干扰产生的低分辨率图像，恢复出细节清晰的高分辨率图像。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例的训练过程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于双向对抗网络的图像超分辨率重建方法，包括以下步骤：
对输入的图像数据进行数据增强；
将数据增强后的图像数据进行预处理；
搭建下采样网络与重建网络；
训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；
将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。
在本实施例中，所述对输入的图像数据进行数据增强具体为：将原始训练图像集的图像切分成224x224的小图像，同时将小图像分别随机旋转90°、180°，再按比例分别缩放0.8、0.9倍，增强之后图片数量增加到原来的10倍。
在本实施例中，所述将数据增强后的图像数据进行预处理具体为：将每一张图像的像素值减去所有图像像素的均值并除以所有图像像素的标准差，其公式为：
x＝(x-μ)/σ；
式中，x为一张图像的像素值，μ为所有图像像素的均值，σ为所有图像像素的标准差。
在本实施例中，所述搭建下采样网络具体包括以下步骤：
构建下采样网络的生成器，该生成器由特征提取层、残差块、下采样层组成；
构建下采样网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。
在本实施例中，所述搭建重建网络具体包括以下步骤：
构建重建网络的生成器，该生成器由特征提取层、残差块、亚像素卷积层组成；
构建重建网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。
如图2所示，在本实施例中，所述训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络具体为：
将训练集中的高分辨率图片HR输入下采样网络的生成器，生成低分辨率图片LR，将生成的低分辨率图片LR输入重建网络的生成器得到重建的高分辨率图像SR，将生成的低分辨率图片LR与训练集中的低分辨率图片LR’输入下采样网络的判别器，将重建的高分辨率图像SR与训练集中的高分辨率图片HR输入重建网络的判别器；
其中，下采样网络采用对抗损失反向优化网络，其损失函数为：
Figure BDA0002317221530000071
式中，D表示下采样网络的判别器，G代表下采样网络的生成器，N代表了图像的数量，xi表示真实的标签高分辨率图片；
其中，重建网络采用像素损失及对抗损失反向优化网络，其损失函数为对抗损失与像素损失之和，其中像素损失函数L1与对抗损失函数L2分别为：
Figure BDA0002317221530000072
Figure BDA0002317221530000073
式中，N表示图像块数量，
Figure BDA0002317221530000074
表示重建的超分辨率图像，xi表示真实的标签高分辨率图片，D表示重建网络的判别器，G代表重建网络的生成器；
当下采样网络的损失函数与重建网络的损失函数均达到最小时训练结束，得到优化后的下采样网络与重建网络。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (1)

1.一种基于双向对抗网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
对输入的图像数据进行数据增强；
将数据增强后的图像数据进行预处理，将处理后的数据分为训练集与测试集；
搭建下采样网络与重建网络；
训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；
将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像；
所述对输入的图像数据进行数据增强具体为：将原始训练图像集的图像切分成224x224的小图像，同时将小图像分别随机旋转90°、180°，再按比例分别缩放0.8、0.9倍，增强之后图片数量增加到原来的10倍；
所述将数据增强后的图像数据进行预处理具体为：将每一张图像的像素值减去所有图像像素的均值并除以所有图像像素的标准差，其公式为：
x＝(x-μ)/σ；
式中，x为一张图像的像素值，μ为所有图像像素的均值，σ为所有图像像素的标准差；
所述搭建下采样网络具体包括以下步骤：
构建下采样网络的生成器，该生成器由特征提取层、残差块、下采样层组成；
构建下采样网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数；
所述搭建重建网络具体包括以下步骤：
构建重建网络的生成器，该生成器由特征提取层、残差块、亚像素卷积层组成；
构建重建网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数；
所述训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络具体为：
将训练集中的高分辨率图片HR输入下采样网络的生成器，生成低分辨率图片LR，将生成的低分辨率图片LR输入重建网络的生成器得到重建的高分辨率图像SR，将生成的低分辨率图片LR与训练集中的低分辨率图片LR’输入下采样网络的判别器，将重建的高分辨率图像SR与训练集中的高分辨率图片HR输入重建网络的判别器；
其中，下采样网络采用对抗损失反向优化网络，其损失函数为：
Figure FDA0003346878130000021
式中，D表示下采样网络的判别器，G代表下采样网络的生成器，N代表了图像的数量，xi表示真实的标签高分辨率图片；
其中，重建网络采用像素损失及对抗损失反向优化网络，其损失函数为对抗损失与像素损失之和，其中像素损失函数L1与对抗损失函数L2分别为：
Figure FDA0003346878130000022
Figure FDA0003346878130000023
式中，N表示图像块数量，
Figure FDA0003346878130000024
表示重建的超分辨率图像，xi表示真实的标签高分辨率图片，D表示重建网络的判别器，G代表重建网络的生成器；
当下采样网络的损失函数与重建网络的损失函数均达到最小时训练结束，得到优化后的下采样网络与重建网络。
CN201911282780.2A 2019-12-13 2019-12-13 一种基于双向对抗网络的图像超分辨率重建方法 Active CN111080522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911282780.2A CN111080522B (zh) 2019-12-13 2019-12-13 一种基于双向对抗网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911282780.2A CN111080522B (zh) 2019-12-13 2019-12-13 一种基于双向对抗网络的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111080522A CN111080522A (zh) 2020-04-28
CN111080522B true CN111080522B (zh) 2022-03-25

Family

ID=70314291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911282780.2A Active CN111080522B (zh) 2019-12-13 2019-12-13 一种基于双向对抗网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111080522B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368849B (zh) * 2020-05-28 2020-08-28 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN111833248B (zh) * 2020-06-19 2023-06-16 西北大学 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统
CN111862253B (zh) * 2020-07-14 2023-09-15 华中师范大学 一种基于深度卷积生成对抗网络的草图着色方法及系统
CN111882556B (zh) * 2020-08-11 2023-11-21 北京小米松果电子有限公司 一种对抗网络的训练方法、装置和图像处理方法
CN112435162B (zh) * 2020-11-13 2024-03-05 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN113837945B (zh) * 2021-09-30 2023-08-04 福州大学 一种基于超分辨率重建的显示画质优化方法及系统
CN114331890B (zh) * 2021-12-27 2022-09-23 中南大学 基于深度学习的探地雷达B-scan图像特征增强方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109829855A (zh) * 2019-01-23 2019-05-31 南京航空航天大学 一种基于融合多层次特征图的超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
KR102184755B1 (ko) * 2018-05-31 2020-11-30 서울대학교 산학협력단 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법
CN109993702B (zh) * 2019-04-10 2023-09-26 大连民族大学 基于生成对抗网络的满文图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN109829855A (zh) * 2019-01-23 2019-05-31 南京航空航天大学 一种基于融合多层次特征图的超分辨率重建方法
CN109978762A (zh) * 2019-02-27 2019-07-05 南京信息工程大学 一种基于条件生成对抗网络的超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Blind Super-Resolution Kernel Estimation using an Internal-GAN;Sefi Bell-Kligler等;《33rd Conference on Neural Information Processing Systems 2019》;20190930;第1-10页 *
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network;Christian Ledig等;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171231;全文 *

Also Published As

Publication number Publication date
CN111080522A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111080522B (zh) 一种基于双向对抗网络的图像超分辨率重建方法
Wang et al. Optimized feature extraction for learning-based image steganalysis
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN113284051B (zh) 一种基于频率分解多注意力机制的人脸超分辨方法
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN111768340B (zh) 一种基于密集多路径网络的超分辨图像重构方法和系统
CN110033417A (zh) 一种基于深度学习的图像增强方法
CN116051428B (zh) 一种基于深度学习的联合去噪与超分的低光照图像增强方法
CN112614061A (zh) 基于双路编解码器的低照度图像亮度增强及超分辨率方法
CN110503608B (zh) 基于多视角的卷积神经网络的图像去噪方法
CN115631107A (zh) 边缘引导的单幅图像噪声去除
CN115526777A (zh) 一种盲超分网络建立方法、盲超分方法及存储介质
CN116977651B (zh) 一种基于双分支和多尺度特征提取的图像去噪方法
CN115861108A (zh) 一种基于小波自注意力生成对抗网络的图像修复方法
CN113012071B (zh) 一种基于深度感知网络的图像失焦去模糊方法
CN113326531B (zh) 一种鲁棒的高效分布式人脸图像隐写方法
CN115358952A (zh) 一种基于元学习的图像增强方法、系统、设备和存储介质
CN114565528A (zh) 一种基于多尺度和注意力机制的遥感影像降噪方法及系统
CN111369451B (zh) 一种基于复杂任务分解正则化的图像复原模型、方法及设备
Wang et al. High visual quality image steganography based on encoder-decoder model
CN113744152A (zh) 一种潮水图像去噪处理方法、终端及计算机可读存储介质
Shin et al. Image denoiser using convolutional neural network with deconvolution and modified residual network
Zhang et al. Image Super-Resolution Using a Wavelet-based Generative Adversarial Network
Liu et al. Soft-IntroVAE for Continuous Latent Space Image Super-Resolution
Gao et al. MUNet++: Multilevel wavelet nested UNet++ demoiréing residual network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant