CN111932456B - 一种基于生成对抗网络的单幅图像超分辨率重建方法 - Google Patents
一种基于生成对抗网络的单幅图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN111932456B CN111932456B CN202010758924.3A CN202010758924A CN111932456B CN 111932456 B CN111932456 B CN 111932456B CN 202010758924 A CN202010758924 A CN 202010758924A CN 111932456 B CN111932456 B CN 111932456B
- Authority
- CN
- China
- Prior art keywords
- srgan
- generator
- network
- super
- changed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 29
- 230000004913 activation Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 34
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 3
- 101100164980 Arabidopsis thaliana ATX3 gene Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 241000282693 Cercopithecidae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的单幅图像超分辨率重建方法，包括：将图像输入到预先训练好的改进SRGAN网络中，得到超分辨率重建结果；其中，所述改进的SRGAN的网络结构在现有的SRGAN的网络结构的基础上进行如下改进：生成器第一层卷积由原来的1个9x9卷积核变为4个3x3的卷积核；生成器的残差块的数量由16个变为24个；且残差块中去除了BN层；激活函数由原来的PReLU变为ReLU；生成器中残差块里的激活函数前的卷积核通道数由64变为96；判别器与现有的SRGAN中的判别器相比少了最后一层sigmod层。本发明提供的基于生成对抗网络的单幅图像超分辨率重建方法重建效果更好。
Description
技术领域
本发明涉及图像超分辨率重建技术领域，更具体的说是涉及一种基于生成对抗网络的单幅图像超分辨率重建方法。
背景技术
单幅图像超分辨率技术即从一幅低分辨率图像(LR)，通过相应技术手段来获得其对应的高分辨率图像(HR)。其在医学图像领域、公共安全领域、遥感图像领域、工业图像领域、互联网领域等场景拥有广泛应用。
目前超分辨率技术主要有3类，即基于插值、重建和学习的方法。基于插值的方法如双三次插值法(Bicubic)，Bicubic是基于图像中像素的灰度值是连续变化的这种假设为前提，要插入的像素灰度值以相邻区域像素点的灰度值计算得出，但实际中Bicubic的这种假设在大多数情况下并不符合。基于重建，如迭代反向投影法、最大后验概率方法、凸集投影法。基于重建的方法特别依赖高分辨率图像的先验知识。输入的图像大小如果过小或者放大倍数过大，重建效果都会大打折扣。基于学习的方法，以学习高、低分辨率图片之间的联系，重建出高分辨率图片。相比其他类的方法有更大优势。
由于近几年，在诸多领域深度学习都取得了很好的成绩，愈来愈多在超分辨率重建方面的学者开始研究深度学习。于2014年，Dong等人提出了将CNN引入超分辨率处理的开山之作：Super-Resolutionusing Convolutional Neural Network，简称(超分辨率卷积神经网络)SRCNN。SRCNN超越了很多传统的方法，以3层的卷积来学习，重建效果相比传统方法有很大提高。之后，Dong等又发表了Accelerating the super-resolution convolutionalneural network(加速超分辨卷积神经网络)，文中将SRCNN的3层卷积加深至8层，在最后一层使用反卷积层，相较于SRCNN，其速度更快。2017年，Ledig等人将提出生成对抗网络(Generative AdversarialNetwork，GAN)用于超分辨率的重建，提出了基于生成对抗网络的超分辨率(Super-Resolution using a Generative Adversarial Network，SRGAN)图像重建。定义假高分辨率图像由生成器通过低分辨率图像学习获得，之后判别器辨别输入的高分辨率图像来源是生成器生成的假高分辨率图像还是数据库中的原图像。当判别器无法辨别真假，就可以使用这个GAN完成超分辨率重建。SRGAN重建出来的图片，在视觉效果上更逼真。
但是，目前的SRGAN存在在训练中不稳定，性能也不稳定的问题，并不能对所有的图像都具有较好的放大效果，从而导致重建效果并不尽人意。
因此，如何提供一种重建效果更好的基于生成对抗网络的单幅图像超分辨率重建方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于生成对抗网络的单幅图像超分辨率重建方法，重建效果更好。
为了实现上述目的，本发明采用如下技术方案：
一种基于生成对抗网络的单幅图像超分辨率重建方法，包括：
将图像输入到预先训练好的改进SRGAN网络中，得到超分辨率重建结果；其中，所述改进的SRGAN的网络结构在现有的SRGAN的网络结构的基础上进行如下改进：
(1)生成器第一层卷积由原来的1个9x9卷积核变为4个3x3的卷积核；
(2)生成器的残差块的数量由16个变为24个；且残差块中去除了BN层；
(3)激活函数由原来的PReLU变为ReLU；
(4)生成器中残差块里的激活函数前的卷积核通道数由64变为96；
(5)判别器与现有的SRGAN中的判别器相比少了最后一层sigmod层。
优选的，改进SRGAN网络的训练过程包括：
采用ImageNet数据集作为训练数据集；
对每个真实高分辨率图片随机裁剪96x96的子图片；
对裁剪后的96x96的子图片使用双三次插值下采样4倍得到24x24图像；
将96x96子图片和对应的24x24图像输入到判别器和生成器网络中进行训练；其中，训练过程中的代价损失函数为：
其中，fw(x)表示以w为参数的函数，||fw(x)||L≤1表示函数fw(x)需要满足常数为1的Lipschitz连续条件，以限制函数最大的局部变动的幅度，Pdata是输入的随机样本点的概率分布，Pg表示生成器的输出的样本点的概率分布，x～Pdata表示x为服从输入随机样本点的概率分布的随机变量，x～Pg表示x为服从生成器输出样本点的概率分布的随机变量，
表示在x服从Pdata分布的条件下，fw(x)的数学期望；
表示在x服从Pg分布的条件下，fw(x)的数学期望；max表示求取最大值的操作。
优选的，还包括：利用峰值信噪比和结构相似性来对超分辨率重建结果进行评价。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于生成对抗网络的单幅图像超分辨率重建方法，采用了改进的SRGAN网络进行超分辨率重建，改进后的SRGAN网络结构与现有的SRGAN具有如下不同：
第一：生成器第一层卷积由原来的1个9x9卷积核变为4个3x3的卷积核。由原始的1个9x9的卷积核变为4个3x3的卷积核可以减小计算量。
第二：原始SRGAN生成器的残差块为16个，在本发明提供的技术方案中对其进行了增加，改为24个残差块，以增加网络深度，提取更深层次的信息。
第三：生成器网络中的残差块都去除了BN层。
第四：激活函数由原来的PReLU变为ReLU。
第五：生成器中残差块里的激活函数前的卷积核通道数由64变为96，以加宽这一层。
第六：更改了代价函数，而代价函数的更改需要删除sigmoid层，判别器和现有的SRGAN相比少了最后一层sigmoid层。
通过实验结果对比发现，相较于SRGAN方法，本发明所提出的方法在细节方面更优，且具有最高的PSNR值和SSIM值，在客观指标上，评价更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的生成器网络结构示意图；
图2为本发明提供的判别器网络结构示意图；
图3为本发明提供的不同超分辨率方法的效果对比图；其中，从左到右分别是(a)双三次插值法(Bicubic)、(b)卷积神经网络的超分辨率算法(SRCNN)、(c)基于生成对抗网络的超分辨率方法(SRGAN)、(d)原始高分辨率图、以及(e)本发明所提出方法的实验结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于生成对抗网络的单幅图像超分辨率重建方法，包括：
将图像输入到预先训练好的改进SRGAN网络中，得到超分辨率重建结果；其中，所述改进的SRGAN的网络结构在现有的SRGAN的网络结构的基础上进行如下改进：
生成器第一层卷积由原来的1个9x9卷积核变为4个3x3的卷积核；
生成器的残差块的数量由16个变为24个；且残差块中去除了BN层；
激活函数由原来的PReLU变为ReLU；
生成器中残差块里的激活函数前的卷积核通道数由64变为96；
判别器与现有的SRGAN中的判别器相比少了最后一层sigmod层。
优选的，改进SRGAN网络的训练过程包括：
采用ImageNet数据集作为训练数据集；
对每个真实高分辨率图片随机裁剪96x96的子图片；
对裁剪后的96x96的子图片使用双三次插值下采样4倍得到24x24图像；
将96x96子图片和对应的24x24图像输入到判别器和生成器网络中进行训练；其中，训练过程中的代价损失函数为：
其中，fw(x)表示以w为参数的函数，||fw(x)||L≤1表示函数fw(x)需要满足常数为1的Lipschitz连续条件，以限制函数最大的局部变动的幅度，Pdata是输入的随机样本点的概率分布，Pg表示生成器的输出的样本点的概率分布，x～Pdata表示x为服从输入随机样本点的概率分布的随机变量，x～Pg表示x为服从生成器输出样本点的概率分布的随机变量，
表示在x服从Pdata分布的条件下，fw(x)的数学期望；
表示在x服从Pg分布的条件下，fw(x)的数学期望，max表示求取最大值的操作。
优选的，还包括：利用峰值信噪比和结构相似性来对超分辨率重建结果进行评价，目前这两个指标被广泛地用在评价重建图像质量上。具体请参见后续提供的关于实验结果的对比上。
下面结合相关理论和具体实现方案对本发明提供的技术方案做进一步说明。
1、相关理论
1.1生成对抗网络
生成对抗网络(GAN)由Goodfellow等提出，它启发自博弈论中的二人零和博弈。GAN强大的图片生成能力，使其在图片合成、图像修补、超分辨率、草稿图复原等方面有直接的应用。
GAN的基本框架由两部分组成，生成器模型(Generative model，G)和判别器模型(Discriminative model，D)。
GAN过程:从真实的训练数据中采样x，作为判别器模型D(x)的输入，D(x)通过自身的训练学习，尽可能地使输出接近1；从先验分布中采样z，经生成器模型生成伪造样本G(z)，作为判别器的输入。判别器模型的目的尽量使D(G(z))接近0，即尽可能的判定图片为假。而生成器模型的目的尽量使它接近1，即尽可能的让判别器判定图片为真，最终在二者的互相博弈中达到平衡。
1.2残差网络
残差网络(Residual Network，ResNet)和快捷连接(Skip Connection)使得更深的网络更容易训练。
ResNet在原始的卷积层上增加快捷连接构成基本残差块，使原始要学习的H(x)被表示成H(x)＝F(x)+x。残差网络的残差结构使得对H(x)的学习转为对F(x)的学习，而对F(x)的学习较H(x)容易。残差网络通过层层累加的残差块结构，有效缓解了深层网络的退化问题，提高了网络性能。
2、本发明提供的图像超分辨方法
2.1所提出的方法的思想
影响网络性能的因素有网络结构、网络宽度和网络的深度等。
将网络中的批规范化处理(batch normalization,BN)层删除，其效果得到提高。BN在超分辨率方面，其表现并不好。加入BN层，反而会使得训练变慢，并变得不稳定。去除BN层后，在相同的计算资源下，就可以增加更多的网络层，每层提取更多的特征，从而提高效果。
同时，在SR网络中ReLU激活函数会阻止信息流的传递。因此，为了降低激活函数对信息流的影响，在原始残差块的基础上直接将激活函数之前的特征图数目进行了扩展。
同时，利用层数更多的网络，以极大提高网络精确性。
传统的GAN存在一个较为严重的问题，什么时候停止训练生成器，什么时候停止训练判决器。如果过度训练判决器，生成器就无法学习下去，反之也会导致模型效果差。如果能有一个代价函数指标来反映训练情况的话，训练的难度就会大大降低。
本发明所提出的方法在SRGAN网络结构上进行如下改进：
1.对SRGAN的生成器部分中的残差块部分进行改进，去除其BN层。
2.加深其网络，主要为增加残差块的数量。
3.增加激活函数之前的特征图channel数，使得具有更宽泛的特征图。
4.更改代价函数使得GAN更加稳定。
2.2所提出方法的网络结构及说明
改进后的网络结构与原始SRGAN有所不同。
第一：生成器第一层卷积由原来的1个9x9卷积核变为4个3x3的卷积核。由原始的1个9x9的卷积核变为4个3x3的卷积核可以减小计算量。
第二：原始SRGAN生成器的残差块为16个，这里对其进行了增加，改为24个残差块，以增加网络深度，提取更深层次的信息。
第三：生成器网络中的残差块都去除了BN层。
第四：激活函数由原来的PReLU变为ReLU。
第五：生成器中残差块里的激活函数前的卷积核通道数由64变为96，以加宽这一层，激活函数后的卷积核不变。
第六：因为代价函数的更改需要删除sigmoid层，判别器和原有的SRGAN相比少了最后一层sigmoid层。
本发明所提出的方法的网络结构如图1和图2所示。图1是生成器的网络结构，图2是判决器的网络结构。其中在生成器中，3x3x64表示进行卷积操作，卷积核的大小为3x3，卷积后的通道数为64，这里，一共有24个残差块层。在判决器中，Dense(1024)表示含有1024个节点的全连接的网络层，Dense(1)表示输出只有一个判决值的全连接层。
2.2代价函数
Wasserstein距离定义为：
公式中Π(pdata,pg)为一个集合，其内容是所有可能的pdata和pg的联合概率分布。γ(x,y)是pdata和pg的联合概率分布，γ(x,y)必须满足其边缘概率分布分别是pdata和pg的条件，Εγ(x,y)[||x-y||]是x和y距离的数学期望，inf为求下界操作。
由于(1)中无法直接求解，使用对偶性将(1)变为：
其中，x～Pdata表示x服从Pdata分布，x～Pg表示x服从Pg分布，E为求数学期望操作，sup为求上确界操作，其中||f||L≤1为f需要满足常数为1的Lipschitz连续条件。||f||L≤1限制了函数f的最大局部变动幅度。
用一组参数w来定义一系列可能的函数fw，此时公式(2)可以变为求解：
其中，
为生成器的损失函数，
为判别器损失函数。训练过程中的代价损失函数为公式(3)中两个数学期望之间的距离。训练中，使用样本点的函数的平均值来计算相应的数学期望。
2.3训练过程
本实验采用ImageNet数据集作为训练数据集。训练时，对每个真实高分辨率图片随机裁剪96x96的子图片(HR)，接着对裁剪后的96x96的子图片使用Bicubic下采样4倍得到24x24图像(LR)。之后将96x96子图片和对应的LR图片输入到判别器和生成器网络中进行训练。初始学习率设置为1x10-4，在50000次迭代后学习率变为初始的十分之一，在75000次迭代后变为初始学习率的百分之一，实验迭代100000次，每批训练的样本数设置为16。
3、实验仿真与结果分析
实验测试使用Windows10 x64系统，GTX 1050TI的GPU，显存4GB。Tensorflow1.13.1，CUDA 10.1.0，python3.7。
本次实验使用ImageNet数据集，从中挑选了高清晰度的50000张大小不一的高质量图片作为训练。
3.1评价指标
峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似性(StructuralSIMilarity，SSIM)被广泛地用在评价重建图像质量上。本发明的客观评价指标也使用PSNR和SSIM。
3.2实验结果
图3显示了不同方法的效果图，从左到右分别是双三次插值法(Bicubic)、卷积神经网络的超分辨率算法(SRCNN)、基于生成对抗网络的超分辨率方法(SRGAN)、原始高分辨率图、以及本发明所提出方法的实验结果图。
由实验结果图可以看出，Bicubic方法远差于SRCNN、SRGAN和本发明所提出的方法。SRCNN的局部相比于SRGAN和所提出的方法模糊一些。相较于SRGAN方法，本发明所提出的方法在细节方面更优。
图3中图(a),(b),(c),和(e)的PSNR值分别为21.59dB,23.53dB,21.15dB,和23.89dB,可以看出所提出的方法具有最好的性能，因为其PSNR值最高。图3中图(a),(b),(c),和(e)的SSIM值分别为0.6423,0.7532,0.6868,和0.7695。由此，也可以看出所提出的方法具有最好的性能，因为其SSIM值最高。
同时，实验也提供各方法在SET14中图像的客观评价值，如下表所示。在此表中的数据，符号“/”之前的值是PSNR，符号“/”之后的值是SSIM。从此表中可以看出，对这些测试图像，本发明所提出的方法具有最高的PSNR值和SSIM值，在客观指标上，评价最好。
表1.SET14客观评价值(PSNR/SSIM)
| 妇女图像 | 猴子图像 | 船图像 | 少女图像 | |
| SRGAN | 22.97/0.65 | 19.30/0.38 | 21.95/0.37 | 21.15/0.69 |
| 所提出的方法 | 23.99/0.70 | 20.31/0.41 | 22.24/0.42 | 23.89/0.77 |
本发明提供的基于SRGAN的网络结构，创建更深更宽的网络模型(WD-GAN)。在SRGAN基础上增加了更多的残差块，对残差块中的结构和参数做了更改。判别器中删除了最后的sigmoid层，使用新的代价函数代替。实验结果从主观方面可看出，WD-GAN生成的图像更加的清晰，从客观评价上WD-GAN的峰值信噪比和结构相似性与SRGAN相比较，均有一定的提高。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (2)
1.一种基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，包括：
将图像输入到预先训练好的改进SRGAN网络中，得到超分辨率重建结果；其中，所述改进的SRGAN的网络结构在现有的SRGAN的网络结构的基础上进行如下改进：
(1)生成器第一层卷积由原来的1个9x9卷积核变为4个3x3的卷积核；
(2)生成器的残差块的数量由16个变为24个；且残差块中去除了BN层；
(3)激活函数由原来的PReLU变为ReLU；
(4)生成器中残差块里的激活函数前的卷积核通道数由64变为96；
(5)判别器与现有的SRGAN中的判别器相比少了最后一层sigmod层；
改进SRGAN网络的训练过程包括：
采用ImageNet数据集作为训练数据集；
对每个真实高分辨率图片随机裁剪96x96的子图片；
对裁剪后的96x96的子图片使用双三次插值下采样4倍得到24x24图像；
将96x96子图片和对应的24x24图像输入到判别器和生成器网络中进行训练；其中，训练过程中的代价损失函数为：
其中，fw(x)表示以w为参数的函数，||fw(x)||L≤1表示函数fw(x)需要满足常数为1的Lipschitz连续条件，以限制函数最大的局部变动的幅度，Pdata是输入的随机样本点的概率分布，Pg表示生成器的输出的样本点的概率分布，x～Pdata表示x为服从输入随机样本点的概率分布的随机变量，x～Pg表示x为服从生成器输出样本点的概率分布的随机变量，
表示在x服从Pdata分布的条件下，fw(x)的数学期望；
表示在x服从Pg分布的条件下，fw(x)的数学期望；max表示求取最大值的操作。
2.根据权利要求1所述的基于生成对抗网络的单幅图像超分辨率重建方法，其特征在于，还包括：利用峰值信噪比和结构相似性来对超分辨率重建结果进行评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010758924.3A CN111932456B (zh) | 2020-07-31 | 2020-07-31 | 一种基于生成对抗网络的单幅图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010758924.3A CN111932456B (zh) | 2020-07-31 | 2020-07-31 | 一种基于生成对抗网络的单幅图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111932456A CN111932456A (zh) | 2020-11-13 |
| CN111932456B true CN111932456B (zh) | 2023-05-16 |
Family
ID=73315042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010758924.3A Active CN111932456B (zh) | 2020-07-31 | 2020-07-31 | 一种基于生成对抗网络的单幅图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932456B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298718A (zh) * | 2021-06-22 | 2021-08-24 | 云南大学 | 一种单幅图像超分辨率重建方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805809A (zh) * | 2018-05-28 | 2018-11-13 | 天津科技大学 | 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 |
| CN109727195A (zh) * | 2018-12-25 | 2019-05-07 | 成都元点智库科技有限公司 | 一种图像超分辨率重构方法 |
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
| CN110580682A (zh) * | 2019-09-16 | 2019-12-17 | 电子科技大学 | 一种基于优化生成对抗网络地震数据超分辨率重建方法 |
| CN111178499A (zh) * | 2019-12-10 | 2020-05-19 | 西安交通大学 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
| CN111210007A (zh) * | 2020-01-02 | 2020-05-29 | 国家电网有限公司 | 基于改进srgan模型的超分辨率螺栓图像生成方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201604672D0 (en) * | 2016-03-18 | 2016-05-04 | Magic Pony Technology Ltd | Generative methods of super resolution |
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| US10803378B2 (en) * | 2017-03-15 | 2020-10-13 | Samsung Electronics Co., Ltd | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
-
2020
- 2020-07-31 CN CN202010758924.3A patent/CN111932456B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805809A (zh) * | 2018-05-28 | 2018-11-13 | 天津科技大学 | 一种基于生成对抗网络的红外人脸图像超分辨率重建方法 |
| CN109727195A (zh) * | 2018-12-25 | 2019-05-07 | 成都元点智库科技有限公司 | 一种图像超分辨率重构方法 |
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
| CN110580682A (zh) * | 2019-09-16 | 2019-12-17 | 电子科技大学 | 一种基于优化生成对抗网络地震数据超分辨率重建方法 |
| CN111178499A (zh) * | 2019-12-10 | 2020-05-19 | 西安交通大学 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
| CN111210007A (zh) * | 2020-01-02 | 2020-05-29 | 国家电网有限公司 | 基于改进srgan模型的超分辨率螺栓图像生成方法 |
Non-Patent Citations (3)
| Title |
|---|
| Nathanaël Carraz Rakotonirina等.ESRGAN+ : FURTHER IMPROVING ENHANCED SUPER-RESOLUTION GENERATIVE ADVERSARIAL NETWORK.《ICASSP 2020》.2020,3637-3641. * |
| 端木春江等.基于投影矩阵的单幅图像超分辨率方法.《计算机时代》.2020,(第2期),1-5. * |
| 邹鹏辉等.基于SRGAN技术的图像超分辨率重建研究.《科技风》.2019,(第18期),98. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111932456A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yu et al. | Deep iterative down-up cnn for image denoising | |
| CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
| Liu et al. | Trident dehazing network | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN111681166B (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| Lahiri et al. | Lightweight modules for efficient deep learning based image restoration | |
| CN102915527A (zh) | 基于形态学成分分析的人脸图像超分辨率重建方法 | |
| Sahak et al. | Denoising diffusion probabilistic models for robust image super-resolution in the wild | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| Luo et al. | Bi-GANs-ST for perceptual image super-resolution | |
| CN111932456B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法 | |
| Thakur et al. | Multi scale pixel attention and feature extraction based neural network for image denoising | |
| CN114187191B (zh) | 一种基于高频-低频信息融合的图像去模糊方法 | |
| Xiao et al. | DMDN: Degradation model-based deep network for multi-focus image fusion | |
| Li et al. | Image reflection removal using end‐to‐end convolutional neural network | |
| CN114283058A (zh) | 基于对抗网络和最大互信息优化的图像超分辨率重建方法 | |
| Liang et al. | Variational Bayesian deep network for blind Poisson denoising | |
| CN109993701A (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN113205005B (zh) | 一种面向低光照低分辨率的人脸图像幻构方法 | |
| Tian et al. | Retinal fundus image superresolution generated by optical coherence tomography based on a realistic mixed attention GAN | |
| Yang et al. | Deep networks for image super-resolution using hierarchical features | |
| Ooi et al. | Enhanced dense space attention network for super-resolution construction from single input image | |
| Liu | Lightweight single image super-resolution by channel split residual convolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |