CN110473142A - 基于深度学习的单幅图像超分辨率重建方法 - Google Patents

基于深度学习的单幅图像超分辨率重建方法 Download PDF

Info

Publication number
CN110473142A
CN110473142A CN201910431489.0A CN201910431489A CN110473142A CN 110473142 A CN110473142 A CN 110473142A CN 201910431489 A CN201910431489 A CN 201910431489A CN 110473142 A CN110473142 A CN 110473142A
Authority
CN
China
Prior art keywords
image
network
loss
layer
confrontation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910431489.0A
Other languages
English (en)
Other versions
CN110473142B (zh
Inventor
杜天文
张毅锋
束锋
刘林
桂林卿
张一晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN201910431489.0A priority Critical patent/CN110473142B/zh
Publication of CN110473142A publication Critical patent/CN110473142A/zh
Application granted granted Critical
Publication of CN110473142B publication Critical patent/CN110473142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的单幅图像超分辨率重建方法，针对网络架构，去除了残差模块的批归一化层，增加了紧密连接和作用于判别域的网络，针对损失函数，融合了多种不同损失函数。本发明节约了计算资源、增强了层与层之间的传播，使得生成的图像具有高频信息而不是高频噪声，提高了生成图片在不同数据集上的峰值信噪比、结构相似性以及视觉效果。

Description

基于深度学习的单幅图像超分辨率重建方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于深度学习的单幅图像超分辨率重建方法。
背景技术
单幅图像超分辨率是计算机视觉的重要分支，它旨在通过卷积神经网络将一张低分辨率图片生成对应的高分辨率图片，在行人检测、车辆检测、人脸识别等场景中有着广泛的应用。目前，超分辨率亟待解决的关键问题是高频纹理细节的恢复，从一幅低清图片推断出高清图片的关键，在于如何获取边缘纹理等高频知识。但低清图片包含的大多是低频知识，高频知识难以恢复，之前用GAN网络恢复出的大多数是高频噪声而不是高频信息。
本发明增加了作用于特征域的判别网络，使得恢复出的是高频信息而不是高频噪声。
发明内容
本发明的目的在于提供一种基于深度学习的单幅图像超分辨率重建方法，能够恢复出高频信息而不是高频噪声。
实现本发明目的的技术解决方案为：一种基于深度学习的单幅图像超分辨率重建方法，包括如下步骤：
步骤1、选取训练集；
步骤2、构建基于生成对抗网络的深层网络架构，对传统架构的生成网络和判别网络进行改进，包括：
(1)将生成网络残差模块的BN层去除；
(2)增加紧密连接，即每一层的输入等于之前所有层的输出，而不仅仅是前一层的输出；
(3)额外增加作用于特征域的判别网络，判别输入特征图时生成网络的输出是原图还是生成图；
(4)生成网络中增加长范围的跳跃连接，即最后一层的输入等于第一层的输出；
步骤3、构建融合损失函数，包括：
(1)感知损失
感知损失基于预训练图像分类网络来衡量图像语义之间的差异，将生成图像和真实图像分别输入到一个可微分的网络φ中，计φ的第l层为φ(l)(I)，则感知损失表达式如下：
其中，h、w、c分别是第l层特征图的高、宽和通道数目，表示图像第l层第i行第j列第k个通道的特征图，不同于像素损失，感知损失的目标是使生成图像在视觉感知上与原图像I更接近；
(2)纹理损失
纹理损失使得重建图像与原图在风格上具有相似性，首先定义一个Gram矩阵
其中，vec(·)是向量操作，表示图像第l层第i行第j列第k个通道的特征图；表示图像第l层第i行第j列第m个通道的特征图，则纹理损失表达式如下：
(3)全变分损失
全变分损失可用于增强空间平滑性，定义如下：
h、w、c分别是第l层特征图的高、宽和通道数目；
(4)对抗损失
对抗损失包括生成网络对抗损失和判别网络对抗损失，其中生成网络的对抗损失为：
LA＝-log(D(G(Z)))
其中Z为输入的低分辨率图像，G为生成网络，D为判别网络，通过最小化LA使得G生成的高分辨率图像与原图接近；
判别网络的对抗损失是：
LD＝-log(D(X))-log(1-D(G(Z)))
通过最小化LD判断输入的图像是原始的高分辨率图像还是G网络生成的图像；
融合损失函数的表达式为：
步骤4、利用梯度下降法来最优化融合损失函数，更新迭代网络权值，最终得到训练完成的网络模型；
步骤5、输入低分辨率图像，利用训练好的网络模型，得到高分辨率重建的图像。
本发明与现有技术相比，其显著优点在于：针对网络架构，去除了残差模块的批归一化层，增加了紧密连接和作用于判别域的网络，针对损失函数，融合了多种不同损失函数，从而节约了计算资源、增强了层与层之间的传播，使得生成的图像具有高频信息而不是高频噪声，进而提高了了生成图片在不同数据集上的峰值信噪比、结构相似性以及视觉效果。
附图说明
图1是本发明基于深度学习的单幅图像超分辨率重建方法的流程图。
图2是本发明与现有的3种方法对Set5中的图像进行重建的结果对比图。
图3是本发明与现有的3种方法对Set14中的图像行重建的结果对比图。
图4是本发明与现有的3种方法对BSD100中的图像行重建的结果对比图。
具体实施方
下面结合附图和具体实施例，进一步说明本发明方案。
基于深度学习的单幅图像超分辨率重建方法，包括如下步骤：
步骤1、选取训练集；
选取DIV2K数据集，该数据集包含有1000个图像对，每对有一张低分辨率图像，和一张相对应的高分辨率图像(原图)组成。为了增加训练图像的数目，可以对训练图像进行图像翻折、旋转、随机打乱等数据增广的操作，以得到更多的训练图像。
步骤2、构建基于生成对抗网络的深层网络架构，基本框架包括生成网络和判别网络，生成网络由卷积层、残差模块、次像素卷积层组成，先用卷积核提取低层次特征，然后用残差模块提取更高层次的特征，接着采用次像素卷积层放大从残差模块中获取的特征图，最后将次像素卷积层放大的特征图通过一卷积层后输出。判别网络由卷积层、ReLU激活函数层、BN层组成。本发明对生成网络和判别网络的结构做出如下改进：
(1)将生成网络残差模块的BN层去除。残差模块中BN层是批规范化层，在人脸识别、行人重检测、车辆重检测等任务中是有效的特征处理手段，但图像超分辨率需要尽可能恢复出图像的特征细节，将BN层去除，不仅可以降低计算量，节约GPU资源，而且可以更好地提取图像特征。
(2)增加紧密连接，即每一层的输入等于之前所有层的输出，而不仅仅是前一层的输出，这样可以促进信息传播，避免梯度消失的问题。
(3)额外增加作用于特征域的判别网络，判别输入特征图时生成网络的输出是原图还是生成图，这样可以使生成网络生成的图像具有高频信息，而不是高频噪声。
(4)生成网络中增加长范围的跳跃连接，即最后一层的输入等于第一层的输出，促进远层信息更有效地传播。
步骤3、构建融合损失函数，包括：
(1)感知损失
感知损失基于预训练图像分类网络来衡量图像语义之间的差异，将生成图像和真实图像分别输入到一个可微分的网络φ中，计φ的第l层为φ(l)(I)，则感知损失表达式如下：
其中，h、w、c分别是第l层特征图的高、宽和通道数目，表示图像第l层第i行第j列第k个通道的特征图，不同于像素损失，感知损失的目标是使生成图像在视觉感知上与原图像I更接近；
(2)纹理损失
纹理损失使得重建图像与原图在风格上具有相似性，首先定义一个Gram矩阵
其中，vec(·)是向量操作，表示图像第l层第i行第j列第k个通道的特征图；表示图像第l层第i行第j列第m个通道的特征图，则纹理损失表达式如下：
(3)全变分损失
全变分损失可用于增强空间平滑性，定义如下：
h、w、c分别是第l层特征图的高、宽和通道数目；
(4)对抗损失
对抗损失包括生成网络对抗损失和判别网络对抗损失，其中生成网络的对抗损失为：
LA＝-log(D(G(Z)))
其中Z为输入的低分辨率图像，G为生成网络，D为判别网络，通过最小化LA使得G生成的高分辨率图像与原图接近；
判别网络的对抗损失是：
LD＝-log(D(X))-log(1-D(G(Z)))
通过最小化LD判断输入的图像是原始的高分辨率图像还是G网络生成的图像；
融合损失函数的表达式为：
步骤4、利用梯度下降法来最优化融合损失函数，更新迭代网络权值，最终得到训练完成的网络模型；
步骤5、输入低分辨率图像，利用训练好的网络模型，得到高分辨率重建的图像。
实施例
为了验证本发明方案的有效性，本示例设置放大倍数为4，在三种标准的图像测试集Set5、Set14、BSD100上进行对比实验，超分辨率重建结果如图1-3所示，客观评价指标如表1所示。
通过对比本发明算法生成的图像和Bicubic、SelfEx、SRCNN生成的图像，可以直观地发现，其他方法的超分辨率结果缺乏高频信息，图像趋于模糊，但本发明算法可以较好地恢复出纹理细节等高频信息，图像也更清晰，在直观感受上具有明显的优越性。如图1所示，婴儿的眉毛、眼睫毛，蝴蝶翅膀的纹路、人侧脸的头发都能很好地被恢复出来。如图2所示，山魈的毛发、女孩的头饰、女郎帽子的装饰这些细节信息，可以被较好地恢复出来。如图3所示，划船者的脚、拿旗子人的头发、考拉的耳朵这些纹理信息，也可以被恢复出来。
通过对比本发明算法与Bicubic、SelfEx、SRCNN算法的峰值信噪比(Peak Signal-to-Noi se Ratio,PSNR)和结构相似性(Structural Similarity index，SSIM)，可以看出，本发明算法重建图像的质量越好。
表1本发明算法与Bicubic、SelfEx、SRCNN算法的评价指标对比表
表中，PSNR值越大、SSIM值越接近于1，重建图像的质量越好。

Claims (3)

1.基于深度学习的单幅图像超分辨率重建方法，其特征在于，包括如下步骤：
步骤1、选取训练集；
步骤2、构建基于生成对抗网络的深层网络架构，对传统架构的生成网络和判别网络进行改进，包括：
(1)将生成网络残差模块的BN层去除；
(2)增加紧密连接，即每一层的输入等于之前所有层的输出，而不仅仅是前一层的输出；
(3)额外增加作用于特征域的判别网络，判别输入特征图时生成网络的输出是原图还是生成图；
(4)生成网络中增加长范围的跳跃连接，即最后一层的输入等于第一层的输出；
步骤3、构建融合损失函数，包括：
(1)感知损失
感知损失基于预训练图像分类网络来衡量图像语义之间的差异，将生成图像和真实图像分别输入到一个可微分的网络φ中，计φ的第l层为φ(l)(I)，则感知损失表达式如下：
其中，h、w、c分别是第l层特征图的高、宽和通道数目，表示图像第l层第i行第j列第k个通道的特征图，不同于像素损失，感知损失的目标是使生成图像在视觉感知上与原图像I更接近；
(2)纹理损失
纹理损失使得重建图像与原图在风格上具有相似性，首先定义一个Gram矩阵
其中，vec(·)是向量操作，表示图像第l层第i行第j列第k个通道的特征图；表示图像第l层第i行第j列第m个通道的特征图，则纹理损失表达式如下：
(3)全变分损失
全变分损失可用于增强空间平滑性，定义如下：
h、w、c分别是第l层特征图的高、宽和通道数目；
(4)对抗损失
对抗损失包括生成网络对抗损失和判别网络对抗损失，其中生成网络的对抗损失为：
LA＝-log(D(G(Z)))
其中Z为输入的低分辨率图像，G为生成网络，D为判别网络，通过最小化LA使得G生成的高分辨率图像与原图接近；
判别网络的对抗损失是：
LD＝-log(D(X))-log(1-D(G(Z)))
通过最小化LD判断输入的图像是原始的高分辨率图像还是G网络生成的图像；
融合损失函数的表达式为：
步骤4、利用梯度下降法来最优化融合损失函数，更新迭代网络权值，最终得到训练完成的网络模型；
步骤5、输入低分辨率图像，利用训练好的网络模型，得到高分辨率重建的图像。
2.根据权利要求1所述的基于深度学习的单幅图像超分辨率重建方法，其特征在于，步骤1中，选取DIV2K数据集作为训练集。
3.根据权利要求1或2所述的基于深度学习的单幅图像超分辨率重建方法，其特征在于，步骤1中，对训练图像进行数据增广操作，包括图像翻折、旋转、随机打乱，得到更多的训练图像。
CN201910431489.0A 2019-05-22 2019-05-22 基于深度学习的单幅图像超分辨率重建方法 Active CN110473142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910431489.0A CN110473142B (zh) 2019-05-22 2019-05-22 基于深度学习的单幅图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910431489.0A CN110473142B (zh) 2019-05-22 2019-05-22 基于深度学习的单幅图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110473142A true CN110473142A (zh) 2019-11-19
CN110473142B CN110473142B (zh) 2022-09-27

Family

ID=68507368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910431489.0A Active CN110473142B (zh) 2019-05-22 2019-05-22 基于深度学习的单幅图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110473142B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179172A (zh) * 2019-12-24 2020-05-19 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN111915522A (zh) * 2020-07-31 2020-11-10 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的图像修复方法
CN111951177A (zh) * 2020-07-07 2020-11-17 浙江大学 一种基于图像超分辨损失函数的红外图像细节增强方法
CN112183460A (zh) * 2020-10-20 2021-01-05 武汉光谷联合集团有限公司 一种智能识别环境卫生的方法及装置
CN112308781A (zh) * 2020-11-23 2021-02-02 中国科学院深圳先进技术研究院 一种基于深度学习的单幅图像三维超分辨率重构方法
CN112330562A (zh) * 2020-11-09 2021-02-05 中国人民解放军海军航空大学 一种异构遥感图像变换方法及系统
CN112882382A (zh) * 2021-01-11 2021-06-01 大连理工大学 一种评价分类深度神经网络鲁棒性的几何方法
CN113436073A (zh) * 2021-06-29 2021-09-24 中山大学 一种基于频域的真实图像超分辨鲁棒方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197046A1 (en) * 2017-01-12 2018-07-12 Arizona Board Of Regents On Behalf Of Arizona State University Methods, apparatuses, and systems for reconstruction-free image recognition from compressive sensors
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197046A1 (en) * 2017-01-12 2018-07-12 Arizona Board Of Regents On Behalf Of Arizona State University Methods, apparatuses, and systems for reconstruction-free image recognition from compressive sensors
CN109509152A (zh) * 2018-12-29 2019-03-22 大连海事大学 一种基于特征融合的生成对抗网络的图像超分辨率重建方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179172A (zh) * 2019-12-24 2020-05-19 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN111179172B (zh) * 2019-12-24 2021-11-02 浙江大学 基于无人机航拍数据的遥感卫星超分辨率实现方法、装置、电子设备及存储介质
CN111429355A (zh) * 2020-03-30 2020-07-17 新疆大学 一种基于生成对抗网络的图像超分辨率重建方法
CN111951177A (zh) * 2020-07-07 2020-11-17 浙江大学 一种基于图像超分辨损失函数的红外图像细节增强方法
CN111915522A (zh) * 2020-07-31 2020-11-10 天津中科智能识别产业技术研究院有限公司 一种基于注意力机制的图像修复方法
CN112183460A (zh) * 2020-10-20 2021-01-05 武汉光谷联合集团有限公司 一种智能识别环境卫生的方法及装置
CN112330562A (zh) * 2020-11-09 2021-02-05 中国人民解放军海军航空大学 一种异构遥感图像变换方法及系统
CN112330562B (zh) * 2020-11-09 2022-11-15 中国人民解放军海军航空大学 一种异构遥感图像变换方法及系统
CN112308781A (zh) * 2020-11-23 2021-02-02 中国科学院深圳先进技术研究院 一种基于深度学习的单幅图像三维超分辨率重构方法
CN112882382A (zh) * 2021-01-11 2021-06-01 大连理工大学 一种评价分类深度神经网络鲁棒性的几何方法
CN113436073A (zh) * 2021-06-29 2021-09-24 中山大学 一种基于频域的真实图像超分辨鲁棒方法及装置

Also Published As

Publication number Publication date
CN110473142B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110473142A (zh) 基于深度学习的单幅图像超分辨率重建方法
CN114140353B (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及系统
Ling et al. A saliency prediction model on 360 degree images using color dictionary based sparse representation
Guo et al. Channel attention residual u-net for retinal vessel segmentation
CN106558022B (zh) 一种基于边缘差异约束的单幅图像超分辨率重建方法
CN107153816A (zh) 一种用于鲁棒人脸识别的数据增强方法
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN109902558A (zh) 一种基于cnn-lstm的人体健康深度学习预测方法
CN110443768A (zh) 基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法
CN108280804A (zh) 一种多帧图像超分辨率重建方法
CN109035172A (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN110321805A (zh) 一种基于时序关系推理的动态表情识别方法
Liu et al. Deep image inpainting with enhanced normalization and contextual attention
CN113112416A (zh) 一种语义引导的人脸图像修复方法
Luo et al. Bi-GANs-ST for perceptual image super-resolution
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
Guo et al. Multifeature extracting CNN with concatenation for image denoising
CN112541566B (zh) 一种基于重构损失的图像翻译方法
Wang et al. RCA-CycleGAN: Unsupervised underwater image enhancement using Red Channel attention optimized CycleGAN
CN113052866B (zh) 基于局部二值拟合模型的超声图像舌轮廓提取方法
Li et al. Multiscale generative adversarial network based on wavelet feature learning for sar-to-optical image translation
CN106254720A (zh) 一种基于联合正则化的视频超分辨率重建方法
CN108090460A (zh) 基于韦伯多方向描述子的人脸表情识别特征提取算法
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant