CN111951164B - 一种图像超分辨率重建网络结构及图像重建效果分析方法 - Google Patents

一种图像超分辨率重建网络结构及图像重建效果分析方法 Download PDF

Info

Publication number
CN111951164B
CN111951164B CN202010804353.2A CN202010804353A CN111951164B CN 111951164 B CN111951164 B CN 111951164B CN 202010804353 A CN202010804353 A CN 202010804353A CN 111951164 B CN111951164 B CN 111951164B
Authority
CN
China
Prior art keywords
image
representing
convolution
resolution
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010804353.2A
Other languages
English (en)
Other versions
CN111951164A (zh
Inventor
纪鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010804353.2A priority Critical patent/CN111951164B/zh
Publication of CN111951164A publication Critical patent/CN111951164A/zh
Application granted granted Critical
Publication of CN111951164B publication Critical patent/CN111951164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像超分辨率重建网络结构及图像重建效果分析方法，所述网络结构由应用了改进残差块的特征提取部分和应用了加强上采样模块的上采样部分组成，在减少残差块参数量的同时充分利用了图像的多尺度信息，所述加强上采样模块由四个残差块组成，提高了网络的表示能力；同时以出一种图像重建效果分析，该分析方法表明，上述网络结构在参数量更小的同时重建结果较对比实验中其他残差网络模型有更好的视觉效果、更高的峰值信噪比(PSNR)和结构相似度（SSIM）。

Description

一种图像超分辨率重建网络结构及图像重建效果分析方法
技术领域：
本发明属于图像处理领域，尤其涉及一种图像超分辨率重建网络结构及图像重建效果分析方法。
背景技术：
单幅图像超分辨率重建是从单幅低分辨率图像中恢复高分辨率图像的计算机视觉处理基本问题。图像超分辨率重建技术在人脸识别、医学影像处理、卫星遥感成像等方面有广泛应用。一幅低分辨率图像对应着无数个高分辨率图像，因此图像超分辨率重建是个不适定问题。针对这一问题，人们提出了各种基于信号处理的传统超分辨率方法，比如利用低分辨率图像内部信息的方法和利用低分辨率图像与高分辨率图像对的外部信息的方法。近些年，深度卷积神经网络极大地促进了这一领域的进步。Dong等人首先提出了超分辨率卷积神经网络(SRCNN)，用三层卷积神经网络建立低分辨率图像与高分辨率图像之间的映射。Shi等人提出了高效亚像素卷积神经网络(ESPCN)，在低分辨率图像上进行卷积，通过亚像素卷积将特征图重新排列得到高分辨率图像。Kim等人提出了深度卷积神经网络(VDSR)，引入残差学习和自适应梯度裁剪来降低训练深层网络的难度。在深度递归卷积神经网络(DRCN)中，采用了递归网络来减少模型参数，并采用多监督策略来融合中间结果。Lim等人提出加强深度残差网络(EDSR)通过跳跃连接来减轻梯度消失问题，用残差块搭建出了超过160层的多尺度深度卷积神经网络(MDSR)。然而用加深和加宽网络的方法来取得更好的超分辨率重建效果，但即使用3×3的小卷积核，网络也会占用很大内存。
发明内容：
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本发明的一个目的在于提供一种图像超分辨率重建网络结构及图像重建效果分析方法，其特征在于：所述网络结构包含特征提取部分和上采样部分，滤波器数量为64，首先从原始低分辨率输入图像提取特征图的卷积过程表示如下：
M0＝Wfe1*ILR+bfe1
式中：Wfe1表示一组数量为64，大小为3×3的滤波器，*表示卷积操作，ILR表示输入网络的低分辨率图像，bfe1表示偏移项，M0表示卷积运算后得到的特征图，所述特征提取部分包含m个改进残差块，第i个残差块的输出表示为：
Mi＝Fi(Mi-1)
式中：i＝1,…,m，Fi表示第i个改进残差块函数，Mi表示第i个改进残差块输出的特征图，所述上采样部分通过加强上采样模块(EUM)和卷积得到网络的输出，表示如下：
ISR＝Wup*Fup(Wfe2*Mm+bfe2+M0)+bup
式中：Wfe2和Wup分别表示大小为1×1和3×3的滤波器，bfe2、bup表示偏移项，Fup表示上采样模块函数，ISR表示网络输出的高分辨图像。
作为优选，所述改进残差块结构采用了分组操作，把64个通道分为每组16通道的4组，对其中一组用3×3卷积提取线性特征，对其他组用3×3卷积加上修正线性单元(ReLU)提取非线性特征，其中的1×1的卷积用于学习通道间相关性，减少分组操作对特征的影响，所述改进残差块使用分组卷积在充分利用了图像的多尺度特征的同时相比于原残差块减少了超过三分之二的参数量。
作为优选，所述上采样模块为由加强上采样模块(EUM)组成，所述加强上采样模块(EUM)用四个残差块组成的具有相同结构的残差模块替换了亚像素卷积中输出特征图是输入四倍的复杂卷积层，所述残差模块中包含了ReLU激活函数，加强上采样模块(EUM)可以进行非线性计算，其非线性表示能力较好，连接多路径特征图之后，加强上采样模块(EUM)与亚像素卷积同样地执行像素重排操作，每个加强上采样模块(EUM)会使分辨率变为原来的2倍，尺度因子为2时的上采样部分由一个EUM构成，尺度因子为4时的上采样部分由两个加强上采样模块(EUM)连接构成。
作为优选，所述网络结构使用L1范式型的损失函数，如下所示：
Figure BDA0002627364720000021
式中：θ表示网络中各层参数的集合，
Figure BDA0002627364720000031
表示高分辨率重建图像，/>
Figure BDA0002627364720000032
表示原始高分辨率图像，n表示训练样本的数目。
一种图像重建效果分析方法，其特征在于：所述方法包括如下步骤
步骤1.实验环境及数据集建立
步骤1.1.使用Python在Tensorflow-gpu下搭建网络测试环境。
步骤1.2.使用800张2K分辨率图片的DIV2K作为训练集。
步骤1.3.使用Set5数据集、Set14数据集、BSD100数据集和Urban100这四个基准数据集作为测试集。
步骤2.训练设置，对DIV2K数据集的原始图像进行下采样，以不重叠采样的方式，把低分辨率图像裁剪成大小为32*32的图像块，并将其与相应的原始高分辨率图像块组成训练数据,将每个低分辨率RGB图像块转换到YCbCr色彩空间并将亮度通道Y作为网络的输入，色度通道Cb、Cr使用插值方法进行重建，在网络的最终结构中特征提取部分的改进残差块个数为16，上采样部分的每个残差模块中残差块个数为1，网络的batchsize为32，用He等的方法初始化权重，优化方法选择Adam，为了抑制振荡动量设置为0.9，设置初始学习率为0.0001，每隔20轮学习率减小一半，网络中的3×3卷积层在边界填充0来保证卷积操作不会改变特征图大小，网络经过大概60万次迭代得到最终结果。
步骤3.采用峰值信噪比(PSNR)，和结构相似度(SSIM)作为客观评价指标，PSNR基于图像像素点间误差评价图像相似性，计算公式如下：
Figure BDA0002627364720000033
Figure BDA0002627364720000034
式中：X和Y表示两张大小为m×n的图像，PSNR值越大表明图像超分辨率重建效果越好。SSIM评价指标从亮度、对比度和结构三个方面度量图像相似性，其计算公式如下：
Figure BDA0002627364720000035
Figure BDA0002627364720000041
Figure BDA0002627364720000042
Figure BDA0002627364720000043
Figure BDA0002627364720000044
Figure BDA0002627364720000045
SSIM(X,Y)＝l(X,Y)×c(X,Y)×s(X,Y)
式中：μX和
Figure BDA0002627364720000046
分别表示图像X的均值和方差，σXY表示图像X和Y的协方差，C1，C2，C3为常数，SSIM值越接近1说明重建的高分辨率图像与原始高分辨率图像相似度越高，图像重建效果越好。
步骤4.采用图像超分辨率重建领域常用的数据集Set5、Set14、BSD100和Urban100在PSNR和SSIM两个图像质量评价指标上进行实验，并从中取出2张边缘细节丰富的图像放大后进行细节分析。
附图说明
图1为发明实施例的网络整体结构图
图2为发明实施例的残差块结构图(a)EDSR中的残差块(b)改进残差块
图3为发明实施例的上采样方法图(a)亚像素卷积(b)加强上采样
图4为发明实施例的BSD100数据集中148089的4倍SR重建效果对比图
图5为发明实施例的Urban100数据集中img_005的4倍SR重建效果对比图
图6为发明实施例的BSD100测试集下4倍SR各网络的参数量与PSNR图
具体实施方式：
下面结合附图及实施例对本发明做进一步解释。
实施例1
参见图1，所述图像超分辨率重建网络结构包含特征提取部分和上采样部分，并有64滤波器，首先从原始低分辨率输入图像提取特征图的卷积过程表示如下：
M0＝Wfe1*ILR+bfe1
式中：Wfe1表示一组数量为64，大小为3×3的滤波器，*表示卷积操作，ILR表示输入网络的低分辨率图像，bfe1表示偏移项，M0表示卷积运算后得到的特征图，所述特征提取部分包含m个改进残差块，第i个残差块的输出表示为：
Mi＝Fi(Mi-1)
式中：i＝1,…,m，Fi表示第i个改进残差块函数，Mi表示第i个改进残差块输出的特征图，所述上采样部分通过加强上采样模块(EUM)和卷积得到网络的输出，表示如下：
ISR＝Wup*Fup(Wfe2*Mm+bfe2+M0)+bup
式中：Wfe2和Wup分别表示大小为1×1和3×3的滤波器，bfe2、bup表示偏移项，Fup表示上采样模块函数，ISR表示网络输出的高分辨图像。
参见图2，改进残差块结构采用了分组操作，把64个通道分为每组16通道的4组，对其中一组用3×3卷积提取线性特征，对其他组用3×3卷积加上修正线性单元(ReLU)提取非线性特征，其中的1×1的卷积用于学习通道间相关性，减少分组操作对特征的影响，所述改进残差块使用分组卷积在充分利用了图像的多尺度特征的同时相比于原残差块减少了超过三分之二的参数量。
参见图3，上采样模块为由加强上采样模块(EUM)组成，所述加强上采样模块(EUM)用四个残差块组成的具有相同结构的残差模块替换了亚像素卷积中输出特征图是输入四倍的复杂卷积层，所述残差模块中包含了ReLU激活函数，加强上采样模块(EUM)可以进行非线性计算，其非线性表示能力较好，连接多路径特征图之后，加强上采样模块(EUM)与亚像素卷积同样地执行像素重排操作，每个加强上采样模块(EUM)会使分辨率变为原来的2倍，尺度因子为2时的上采样部分由一个EUM构成，尺度因子为4时的上采样部分由两个加强上采样模块(EUM)连接构成。
在超分辨率重建任务中，所述网络结构使用L1范式型的损失函数，如下所示：
Figure BDA0002627364720000051
式中：θ表示网络中各层参数的集合，
Figure BDA0002627364720000061
表示高分辨率重建图像，/>
Figure BDA0002627364720000062
表示原始高分辨率图像，n表示训练样本的数目。
实施例2
运用本发明提出的图像重建效果分析方法证明发明实施例1的优越性，参照步骤1，本发明实施例实验环境为：win10操作系统，Intel Core i7处理器，显卡为NVDIAGeforce 1080Ti，使用Python作为编程语言在Tensorflow-gpu下搭建网络进行测试。为了增加训练样本，本文的训练集没有选用其他超分辨率重建工作通常使用的91张训练集以及包含200张图片的伯克利分割数据集，而选用了有800张2K分辨率图片的DIV2K作为训练集。得益于DIV2K的高分辨率，网络能学习到丰富的图像细节信息。测试集使用了4个广泛使用的基准数据集，分别为Set5数据集、Set14数据集、BSD100数据集和Urban100数据集。
参照步骤2，本发明实施例对DIV2K数据集的原始图像进行下采样，以不重叠采样的方式，把低分辨率图像裁剪成大小为32 32的图像块，并将其与相应的原始高分辨率图像块组成训练数据。由于人眼相较于色差对亮度变化更为敏感，因此本发明实施例将每个低分辨率RGB图像块转换到YCbCr色彩空间并将亮度通道Y作为网络的输入，色度通道Cb、Cr使用插值方法进行重建。
在网络的最终结构中特征提取部分的改进残差块个数为16，上采样部分的每个残差模块中残差块个数为1。网络的batchsize为32，用He等的方法初始化权重，优化方法选择Adam，为了抑制振荡动量设置为0.9，本发明实施例设置初始学习率为0.0001，每隔20轮学习率减小一半。此外，网络中的3×3卷积层在边界填充0来保证卷积操作不会改变特征图大小。网络经过大概60万次迭代得到最终结果。
参照步骤3，本发明实施例采用峰值信噪比(PSNR)，和结构相似度(SSIM)作为客观评价指标，PSNR基于图像像素点间误差评价图像相似性，计算公式如下：
Figure BDA0002627364720000063
Figure BDA0002627364720000064
式中：X和Y表示两张大小为m×n的图像，PSNR值越大表明图像超分辨率重建效果越好。SSIM评价指标从亮度、对比度和结构三个方面度量图像相似性，其计算公式如下：
Figure BDA0002627364720000071
Figure BDA0002627364720000072
Figure BDA0002627364720000073
Figure BDA0002627364720000074
Figure BDA0002627364720000075
Figure BDA0002627364720000076
SSIM(X,Y)＝l(X,Y)×c(X,Y)×s(X,Y)
式中：μX和
Figure BDA0002627364720000077
分别表示图像X的均值和方差，σXY表示图像X和Y的协方差，C1，C2，C3为常数，SSIM值越接近1说明重建的高分辨率图像与原始高分辨率图像相似度越高，图像重建效果越好。
参照步骤4，选择Bicubic、VDSR、EDSR以及EUSR与本发明实施例采用图像超分辨率重建领域常用的数据集Set5、Set14、BSD100和Urban100在PSNR和SSIM两个图像质量评价指标上进行对比实验，并从中取出2张边缘细节丰富的图像放大后进行细节比较。
参见图4、5，图中所示为各模型尺度因子为4的重建效果对比图，从主观视觉效果来看，其他重建方法恢复的图像边缘较为模糊，有的出现了严重的畸变。而本发明实施例重建出的图像边缘信息更加完整，细节比较清晰，辨识度更高。可见与其他方法相比，本发明实施例重建的图像结构边缘处理得较好，图像细节更加丰富，视觉效果更好。
参见表1，从客观评价指标来看，表1为Bicubic、VDSR、EDSR、EUSR以及本文方法在测试集Set5、Set14、BSD100和Urban100下的PSNR与SSIM的平均值，通过表中实验数据可以看出本发明实施例的PSNR、SSIM较高，表明本发明实施例恢复的图像更接近原始图像。
表1在测试集Set5、Set14、BSD100和Urban100下不同方法的PSNR(dB)与SSIM的平均值
Figure BDA0002627364720000081
参见图6，在BSD100测试集下进行尺度因子为4的超分辨率重建，对比了EDSR、EUSR两种残差网络结构算法与本文算法的参数量与PSNR的关系，可见本发明实施例相较于其他实施例在参数量不大的同时取得了较好的超分辨率重建效果。

Claims (2)

1.一种图像超分辨率重建网络结构，其特征在于：所述网络结构包含特征提取部分和上采样部分，滤波器数量为64，首先从原始低分辨率输入图像提取特征图的卷积过程表示如下：
M0＝Wfe1*ILR+bfe1
式中：Wfe1表示一组数量为64，大小为3×3的滤波器，*表示卷积操作，ILR表示输入网络的低分辨率图像，bfe1表示偏移项，M0表示卷积运算后得到的特征图，所述特征提取部分包含m个改进残差块，第i个残差块的输出表示为：
Mi＝Fi(Mi-1)
式中：i＝1,…,m，Fi表示第i个改进残差块函数，Mi表示第i个改进残差块输出的特征图，所述上采样部分通过加强上采样模块(EUM)和卷积得到网络的输出，表示如下：
ISR＝Wup*Fup(Wfe2*Mm+bfe2+M0)+bup
式中：Wfe2和Wup分别表示大小为1×1和3×3的滤波器，bfe2、bup表示偏移项，Fup表示上采样模块函数，ISR表示网络输出的高分辨图像；
所述上采样模块为由加强上采样模块(EUM)组成，所述加强上采样模块(EUM)用四个残差块组成的具有相同结构的残差模块替换了亚像素卷积中输出特征图是输入四倍的复杂卷积层，所述残差模块中包含了ReLU激活函数，加强上采样模块(EUM)进行非线性计算，其非线性表示能力好，连接多路径特征图之后，加强上采样模块(EUM)与亚像素卷积同样地执行像素重排操作，每个加强上采样模块(EUM)会使分辨率变为原来的2倍，尺度因子为2时的上采样部分由一个EUM构成，尺度因子为4时的上采样部分由两个加强上采样模块(EUM)连接构成；
在超分辨率重建任务中，所述网络结构使用L1范式型的损失函数，如下所示：
Figure FDA0004209795880000011
式中：θ表示网络中各层参数的集合，
Figure FDA0004209795880000012
表示高分辨率重建图像，/>
Figure FDA0004209795880000013
表示原始高分辨率图像，n表示训练样本的数目。
2.根据权利要求1所述的一种图像超分辨率重建网络结构，所述改进残差块结构采用了分组操作，把64个通道分为每组16通道的4组，对其中一组用3×3卷积提取线性特征，对其他组用3×3卷积加上修正线性单元(ReLU)提取非线性特征，其中的1×1的卷积用于学习通道间相关性，减少分组操作对特征的影响，所述改进残差块使用分组卷积在充分利用了图像的多尺度特征的同时相比于原残差块减少了超过三分之二的参数量。
CN202010804353.2A 2020-08-11 2020-08-11 一种图像超分辨率重建网络结构及图像重建效果分析方法 Active CN111951164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010804353.2A CN111951164B (zh) 2020-08-11 2020-08-11 一种图像超分辨率重建网络结构及图像重建效果分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010804353.2A CN111951164B (zh) 2020-08-11 2020-08-11 一种图像超分辨率重建网络结构及图像重建效果分析方法

Publications (2)

Publication Number Publication Date
CN111951164A CN111951164A (zh) 2020-11-17
CN111951164B true CN111951164B (zh) 2023-06-16

Family

ID=73332429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010804353.2A Active CN111951164B (zh) 2020-08-11 2020-08-11 一种图像超分辨率重建网络结构及图像重建效果分析方法

Country Status (1)

Country Link
CN (1) CN111951164B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509071B (zh) * 2021-01-29 2021-04-30 电子科技大学 一种亮度信息辅助的色度信息压缩重建方法
CN113012046B (zh) * 2021-03-22 2022-12-16 华南理工大学 一种基于动态分组卷积的图像超分辨率重构方法
CN113313632A (zh) * 2021-06-11 2021-08-27 展讯通信(天津)有限公司 一种图像重建方法、系统及相关设备
CN114025118A (zh) * 2022-01-06 2022-02-08 广东电网有限责任公司中山供电局 一种低码率视频重构方法、系统、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110675321A (zh) * 2019-09-26 2020-01-10 兰州理工大学 一种基于渐进式的深度残差网络的超分辨率图像重建方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358575A (zh) * 2017-06-08 2017-11-17 清华大学 一种基于深度残差网络的单幅图像超分辨率重建方法
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
CN109272452B (zh) * 2018-08-30 2020-12-22 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109410239B (zh) * 2018-11-07 2021-11-16 南京大学 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN110197468A (zh) * 2019-06-06 2019-09-03 天津工业大学 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN111047515B (zh) * 2019-12-29 2024-01-09 兰州理工大学 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN111161150B (zh) * 2019-12-30 2023-06-23 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111461983B (zh) * 2020-03-31 2023-09-19 华中科技大学鄂州工业技术研究院 一种基于不同频度信息的图像超分辨率重建模型及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146784A (zh) * 2018-07-27 2019-01-04 徐州工程学院 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN110675321A (zh) * 2019-09-26 2020-01-10 兰州理工大学 一种基于渐进式的深度残差网络的超分辨率图像重建方法

Also Published As

Publication number Publication date
CN111951164A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及系统
CN109146788B (zh) 基于深度学习的超分辨率图像重建方法和装置
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN109272452B (zh) 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN110415199B (zh) 基于残差学习的多光谱遥感图像融合方法及装置
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN113837946B (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN110689509B (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN116485934A (zh) 一种基于CNN和ViT的红外图像彩色化方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN113256494A (zh) 一种文本图像超分辨率方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统
CN115660955A (zh) 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质
CN113962882B (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant