CN110473142B - 基于深度学习的单幅图像超分辨率重建方法 - Google Patents

基于深度学习的单幅图像超分辨率重建方法 Download PDF

Info

Publication number
CN110473142B
CN110473142B CN201910431489.0A CN201910431489A CN110473142B CN 110473142 B CN110473142 B CN 110473142B CN 201910431489 A CN201910431489 A CN 201910431489A CN 110473142 B CN110473142 B CN 110473142B
Authority
CN
China
Prior art keywords
image
network
loss
layer
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910431489.0A
Other languages
English (en)
Other versions
CN110473142A (zh
Inventor
杜天文
张毅锋
束锋
刘林
桂林卿
张一晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910431489.0A priority Critical patent/CN110473142B/zh
Publication of CN110473142A publication Critical patent/CN110473142A/zh
Application granted granted Critical
Publication of CN110473142B publication Critical patent/CN110473142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的单幅图像超分辨率重建方法，针对网络架构，去除了残差模块的批归一化层，增加了紧密连接和作用于判别域的网络，针对损失函数，融合了多种不同损失函数。本发明节约了计算资源、增强了层与层之间的传播，使得生成的图像具有高频信息而不是高频噪声，提高了生成图片在不同数据集上的峰值信噪比、结构相似性以及视觉效果。

Description

基于深度学习的单幅图像超分辨率重建方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于深度学习的单幅图像超分辨率重建方法。
背景技术
单幅图像超分辨率是计算机视觉的重要分支，它旨在通过卷积神经网络将一张低分辨率图片生成对应的高分辨率图片，在行人检测、车辆检测、人脸识别等场景中有着广泛的应用。目前，超分辨率亟待解决的关键问题是高频纹理细节的恢复，从一幅低清图片推断出高清图片的关键，在于如何获取边缘纹理等高频知识。但低清图片包含的大多是低频知识，高频知识难以恢复，之前用GAN网络恢复出的大多数是高频噪声而不是高频信息。
本发明增加了作用于特征域的判别网络，使得恢复出的是高频信息而不是高频噪声。
发明内容
本发明的目的在于提供一种基于深度学习的单幅图像超分辨率重建方法，能够恢复出高频信息而不是高频噪声。
实现本发明目的的技术解决方案为：一种基于深度学习的单幅图像超分辨率重建方法，包括如下步骤：
步骤1、选取训练集；
步骤2、构建基于生成对抗网络的深层网络架构，对传统架构的生成网络和判别网络进行改进，包括：
(1)将生成网络残差模块的BN层去除；
(2)增加紧密连接，即每一层的输入等于之前所有层的输出，而不仅仅是前一层的输出；
(3)额外增加作用于特征域的判别网络，判别输入特征图时生成网络的输出是原图还是生成图；
(4)生成网络中增加长范围的跳跃连接，即最后一层的输入等于第一层的输出；
步骤3、构建融合损失函数，包括：
(1)感知损失
感知损失基于预训练图像分类网络来衡量图像语义之间的差异，将生成图像和真实图像分别输入到一个可微分的网络φ中，计φ的第l层为φ(l)(I)，则感知损失表达式如下：
Figure BDA0002069133850000011
其中，h、w、c分别是第l层特征图的高、宽和通道数目，
Figure BDA0002069133850000021
表示图像第l层第i行第j列第k个通道的特征图，不同于像素损失，感知损失的目标是使生成图像
Figure BDA0002069133850000022
在视觉感知上与原图像I更接近；
(2)纹理损失
纹理损失使得重建图像与原图在风格上具有相似性，首先定义一个Gram矩阵
Figure BDA0002069133850000023
Figure BDA0002069133850000024
其中，vec(·)是向量操作，
Figure BDA0002069133850000025
表示图像第l层第i行第j列第k个通道的特征图；
Figure BDA0002069133850000026
表示图像第l层第i行第j列第m个通道的特征图，则纹理损失表达式如下：
Figure BDA0002069133850000027
(3)全变分损失
全变分损失可用于增强空间平滑性，定义如下：
Figure BDA0002069133850000028
h、w、c分别是第l层特征图的高、宽和通道数目；
(4)对抗损失
对抗损失包括生成网络对抗损失和判别网络对抗损失，其中生成网络的对抗损失为：
LA＝-log(D(G(Z)))
其中Z为输入的低分辨率图像，G为生成网络，D为判别网络，通过最小化LA使得G生成的高分辨率图像与原图接近；
判别网络的对抗损失是：
LD＝-log(D(X))-log(1-D(G(Z)))
通过最小化LD判断输入的图像是原始的高分辨率图像还是G网络生成的图像；
融合损失函数的表达式为：
Figure BDA0002069133850000029
步骤4、利用梯度下降法来最优化融合损失函数，更新迭代网络权值，最终得到训练完成的网络模型；
步骤5、输入低分辨率图像，利用训练好的网络模型，得到高分辨率重建的图像。
本发明与现有技术相比，其显著优点在于：针对网络架构，去除了残差模块的批归一化层，增加了紧密连接和作用于判别域的网络，针对损失函数，融合了多种不同损失函数，从而节约了计算资源、增强了层与层之间的传播，使得生成的图像具有高频信息而不是高频噪声，进而提高了了生成图片在不同数据集上的峰值信噪比、结构相似性以及视觉效果。
附图说明
图1是本发明基于深度学习的单幅图像超分辨率重建方法的流程图。
图2是本发明与现有的3种方法对Set5中的图像进行重建的结果对比图。
图3是本发明与现有的3种方法对Set14中的图像行重建的结果对比图。
图4是本发明与现有的3种方法对BSD100中的图像行重建的结果对比图。
具体实施方
下面结合附图和具体实施例，进一步说明本发明方案。
基于深度学习的单幅图像超分辨率重建方法，包括如下步骤：
步骤1、选取训练集；
选取DIV2K数据集，该数据集包含有1000个图像对，每对有一张低分辨率图像，和一张相对应的高分辨率图像(原图)组成。为了增加训练图像的数目，可以对训练图像进行图像翻折、旋转、随机打乱等数据增广的操作，以得到更多的训练图像。
步骤2、构建基于生成对抗网络的深层网络架构，基本框架包括生成网络和判别网络，生成网络由卷积层、残差模块、次像素卷积层组成，先用卷积核提取低层次特征，然后用残差模块提取更高层次的特征，接着采用次像素卷积层放大从残差模块中获取的特征图，最后将次像素卷积层放大的特征图通过一卷积层后输出。判别网络由卷积层、ReLU激活函数层、BN层组成。本发明对生成网络和判别网络的结构做出如下改进：
(1)将生成网络残差模块的BN层去除。残差模块中BN层是批规范化层，在人脸识别、行人重检测、车辆重检测等任务中是有效的特征处理手段，但图像超分辨率需要尽可能恢复出图像的特征细节，将BN层去除，不仅可以降低计算量，节约GPU资源，而且可以更好地提取图像特征。
(2)增加紧密连接，即每一层的输入等于之前所有层的输出，而不仅仅是前一层的输出，这样可以促进信息传播，避免梯度消失的问题。
(3)额外增加作用于特征域的判别网络，判别输入特征图时生成网络的输出是原图还是生成图，这样可以使生成网络生成的图像具有高频信息，而不是高频噪声。
(4)生成网络中增加长范围的跳跃连接，即最后一层的输入等于第一层的输出，促进远层信息更有效地传播。
步骤3、构建融合损失函数，包括：
(1)感知损失
感知损失基于预训练图像分类网络来衡量图像语义之间的差异，将生成图像和真实图像分别输入到一个可微分的网络φ中，计φ的第l层为φ(l)(I)，则感知损失表达式如下：
Figure BDA0002069133850000041
其中，h、w、c分别是第l层特征图的高、宽和通道数目，
Figure BDA0002069133850000042
表示图像第l层第i行第j列第k个通道的特征图，不同于像素损失，感知损失的目标是使生成图像
Figure BDA0002069133850000043
在视觉感知上与原图像I更接近；
(2)纹理损失
纹理损失使得重建图像与原图在风格上具有相似性，首先定义一个Gram矩阵
Figure BDA0002069133850000044
Figure BDA0002069133850000045
其中，vec(·)是向量操作，
Figure BDA0002069133850000046
表示图像第l层第i行第j列第k个通道的特征图；
Figure BDA0002069133850000047
表示图像第l层第i行第j列第m个通道的特征图，则纹理损失表达式如下：
Figure BDA0002069133850000048
(3)全变分损失
全变分损失可用于增强空间平滑性，定义如下：
Figure BDA0002069133850000049
h、w、c分别是第l层特征图的高、宽和通道数目；
(4)对抗损失
对抗损失包括生成网络对抗损失和判别网络对抗损失，其中生成网络的对抗损失为：
LA＝-log(D(G(Z)))
其中Z为输入的低分辨率图像，G为生成网络，D为判别网络，通过最小化LA使得G生成的高分辨率图像与原图接近；
判别网络的对抗损失是：
LD＝-log(D(X))-log(1-D(G(Z)))
通过最小化LD判断输入的图像是原始的高分辨率图像还是G网络生成的图像；
融合损失函数的表达式为：
Figure BDA0002069133850000051
步骤4、利用梯度下降法来最优化融合损失函数，更新迭代网络权值，最终得到训练完成的网络模型；
步骤5、输入低分辨率图像，利用训练好的网络模型，得到高分辨率重建的图像。
实施例
为了验证本发明方案的有效性，本示例设置放大倍数为4，在三种标准的图像测试集Set5、Set14、BSD100上进行对比实验，超分辨率重建结果如图1-3所示，客观评价指标如表1所示。
通过对比本发明算法生成的图像和Bicubic、SelfEx、SRCNN生成的图像，可以直观地发现，其他方法的超分辨率结果缺乏高频信息，图像趋于模糊，但本发明算法可以较好地恢复出纹理细节等高频信息，图像也更清晰，在直观感受上具有明显的优越性。如图1所示，婴儿的眉毛、眼睫毛，蝴蝶翅膀的纹路、人侧脸的头发都能很好地被恢复出来。如图2所示，山魈的毛发、女孩的头饰、女郎帽子的装饰这些细节信息，可以被较好地恢复出来。如图3所示，划船者的脚、拿旗子人的头发、考拉的耳朵这些纹理信息，也可以被恢复出来。
通过对比本发明算法与Bicubic、SelfEx、SRCNN算法的峰值信噪比(Peak Signal-to-Noi se Ratio,PSNR)和结构相似性(Structural Similarity index，SSIM)，可以看出，本发明算法重建图像的质量越好。
表1本发明算法与Bicubic、SelfEx、SRCNN算法的评价指标对比表
Figure BDA0002069133850000052
表中，PSNR值越大、SSIM值越接近于1，重建图像的质量越好。

Claims (3)

1.基于深度学习的单幅图像超分辨率重建方法，其特征在于，包括如下步骤：
步骤1、选取训练集；
步骤2、构建基于生成对抗网络的深层网络架构，对传统架构的生成网络和判别网络进行改进，包括：
(1)将生成网络残差模块的BN层去除；
(2)增加紧密连接，即每一层的输入等于之前所有层的输出，而不仅仅是前一层的输出；
(3)额外增加作用于特征域的判别网络，判别输入特征图时生成网络的输出是原图还是生成图；
(4)生成网络中增加长范围的跳跃连接，即最后一层的输入等于第一层的输出；
步骤3、构建融合损失函数，包括：
(1)感知损失
感知损失基于预训练图像分类网络来衡量图像语义之间的差异，将生成图像和真实图像分别输入到一个可微分的网络φ中，计φ的第l层为φ(l)(I)，则感知损失表达式如下：
Figure FDA0003760070600000011
其中，h、w、c分别是第l层特征图的高、宽和通道数目，
Figure FDA0003760070600000012
表示图像第l层第i行第j列第k个通道的特征图；
(2)纹理损失
纹理损失使得重建图像与原图在风格上具有相似性，首先定义一个Gram矩阵
Figure FDA0003760070600000013
Figure FDA0003760070600000014
其中，vec(·)是向量操作，
Figure FDA0003760070600000015
表示图像第l层第i行第j列第k个通道的特征图；
Figure FDA0003760070600000016
表示图像第l层第i行第j列第m个通道的特征图，则纹理损失表达式如下：
Figure FDA0003760070600000017
(3)全变分损失
全变分损失可用于增强空间平滑性，定义如下：
Figure FDA0003760070600000018
h、w、c分别是第l层特征图的高、宽和通道数目；
(4)对抗损失
对抗损失包括生成网络对抗损失和判别网络对抗损失，其中生成网络的对抗损失为：
LA＝-log(D(G(Z)))
其中Z为输入的低分辨率图像，G为生成网络，D为判别网络，通过最小化LA使得G生成的高分辨率图像与原图接近；
判别网络的对抗损失是：
LD＝-log(D(X))-log(1-D(G(Z)))
通过最小化LD判断输入的图像是原始的高分辨率图像还是G网络生成的图像；
融合损失函数的表达式为：
Figure FDA0003760070600000021
步骤4、利用梯度下降法来最优化融合损失函数，更新迭代网络权值，最终得到训练完成的网络模型；
步骤5、输入低分辨率图像，利用训练好的网络模型，得到高分辨率重建的图像。
2.根据权利要求1所述的基于深度学习的单幅图像超分辨率重建方法，其特征在于，步骤1中，选取DIV2K数据集作为训练集。
3.根据权利要求1或2所述的基于深度学习的单幅图像超分辨率重建方法，其特征在于，步骤1中，对训练图像进行数据增广操作，包括图像翻折、旋转、随机打乱，得到更多的训练图像。
CN201910431489.0A 2019-05-22 2019-05-22 基于深度学习的单幅图像超分辨率重建方法 Active CN110473142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910431489.0A CN110473142B (zh) 2019-05-22 2019-05-22 基于深度学习的单幅图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910431489.0A CN110473142B (zh) 2019-05-22 2019-05-22 基于深度学习的单幅图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110473142A CN110473142A (zh) 2019-11-19
CN110473142B true CN110473142B (zh) 2022-09-27

Family

ID=68507368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910431489.0A Active CN110473142B (zh) 2019-05-22 2019-05-22 基于深度学习的单幅图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110473142B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179172B (zh) * 2019-12-24 2021-11-02 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN111951177B (zh) * 2020-07-07 2022-10-11 浙江大学 一种基于图像超分辨损失函数的红外图像细节增强方法
CN111915522A (zh) * 2020-07-31 2020-11-10 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的图像修复方法
CN112183460A (zh) * 2020-10-20 2021-01-05 武汉光谷联合集团有限公司 一种智能识别环境卫生的方法及装置
CN112330562B (zh) * 2020-11-09 2022-11-15 中国人民解放军海军航空大学 一种异构遥感图像变换方法及系统
CN112308781A (zh) * 2020-11-23 2021-02-02 中国科学院深圳先进技术研究院 一种基于深度学习的单幅图像三维超分辨率重构方法
CN112882382B (zh) * 2021-01-11 2022-03-29 大连理工大学 一种评价分类深度神经网络鲁棒性的几何方法
CN113436073B (zh) * 2021-06-29 2023-04-07 中山大学 一种基于频域的真实图像超分辨鲁棒方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387751B2 (en) * 2017-01-12 2019-08-20 Arizona Board Of Regents On Behalf Of Arizona State University Methods, apparatuses, and systems for reconstruction-free image recognition from compressive sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法

Also Published As

Publication number Publication date
CN110473142A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110473142B (zh) 基于深度学习的单幅图像超分辨率重建方法
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
Ren et al. Single image super-resolution using local geometric duality and non-local similarity
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN112001847A (zh) 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN113313657A (zh) 一种用于低光照图像增强的非监督学习方法和系统
CN107464217B (zh) 一种图像处理方法及装置
CN112446835B (zh) 图像恢复方法、图像恢复网络训练方法、装置和存储介质
CN113256494B (zh) 一种文本图像超分辨率方法
Chen et al. Single depth image super-resolution using convolutional neural networks
CN106504207A (zh) 一种图像数据处理方法
CN112541566B (zh) 一种基于重构损失的图像翻译方法
CN115293966A (zh) 一种人脸图像重建方法、装置以及存储介质
Liu et al. Facial image inpainting using multi-level generative network
CN111368977B (zh) 一种提高卷积神经网络精确性和鲁棒性的增强数据增强方法
CN110569763B (zh) 一种用于细粒度人脸识别的眼镜去除方法
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN117495718A (zh) 一种多尺度自适应的遥感图像去雾方法
CN115457568B (zh) 一种基于生成对抗网络的历史文档图像降噪方法及系统
Thuan et al. Edge-focus thermal image super-resolution using generative adversarial network
CN115761220A (zh) 一种基于深度学习的增强检测遮挡目标的目标检测方法
CN112907692B (zh) 一种基于sfrc-gan的从素描到人脸重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant