CN110189253A - 一种基于改进生成对抗网络的图像超分辨率重建方法 - Google Patents
一种基于改进生成对抗网络的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN110189253A CN110189253A CN201910304743.0A CN201910304743A CN110189253A CN 110189253 A CN110189253 A CN 110189253A CN 201910304743 A CN201910304743 A CN 201910304743A CN 110189253 A CN110189253 A CN 110189253A
- Authority
- CN
- China
- Prior art keywords
- network
- arbiter
- image
- training
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000005070 sampling Methods 0.000 claims abstract description 14
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 5
- 230000009977 dual effect Effects 0.000 claims abstract description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 239000012141 concentrate Substances 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 238000001727 in vivo Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- FKOQWAUFKGFWLH-UHFFFAOYSA-M 3,6-bis[2-(1-methylpyridin-1-ium-4-yl)ethenyl]-9h-carbazole;diiodide Chemical compound [I-].[I-].C1=C[N+](C)=CC=C1C=CC1=CC=C(NC=2C3=CC(C=CC=4C=C[N+](C)=CC=4)=CC=2)C3=C1 FKOQWAUFKGFWLH-UHFFFAOYSA-M 0.000 description 1
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009510 drug design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种基于改进生成对抗网络的图像超分辨率重建方法，包括如下步骤：1)收集大量2k像素高质量图片，从中截取大量HR块，通过4倍下采样的方式得到对应的LR块，以此构建训练数据集。2)建立生成对抗网络模型，生成器网络G采用残差网络，条件判别器D同样采用残差网络。3)用相对判别器的思想改进生成对抗网络的训练损失函数，并在生成器损失函数中加入内容损失，在判别器损失函数中加入基于假数据的梯度惩罚项，再使用处理好的的训练数据集并采用Adam优化器对网络进行对抗训练，直到其收敛。4)由训练好的生成器网络完成对低像素图像的4倍超分辨率重建。
Description
技术领域
本发明涉及图像处理和人工智能领域，特别涉及一种基于改进生成对抗网络的图像超分辨率重建方法。
背景技术
单幅图像超分辨率(Single Image Super-Resolution,SISR)是图像处理和计算机视觉领域中最难，最具有挑战性的技术之一。它的目标是将一幅低分辨率的图片(LR)重建成一幅高质量的高分辨图片(HR)。
在大量的电子图像应用领域，人们往往希望能得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。例如，高分辨率医疗图像对于医生做出正确的诊断是非常有帮助的；使用高分辨率卫星图像就很容易从相似物中区别相似的对象；如果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。因此，图像超分辨重建因其广泛的应用和实际的意义受到了越来越多研究人员的重视。
传统的图像超分辨率重建方法主要有基于插值的方法，基于重建的方法：凸集投影法(POCS)、迭代反投影法(IBP)、贝叶斯分析方法等，以及基于传统机器学习的方法：Exempble-based方法，支持向量回归方法等。然而，由于大量细节丢失，过于模糊等原因，传统方法在许多时候依然无法重建出令人们满意的高分辨率图像。近年来，随着人工智能技术的发展，深度学习的方法被广泛应用到图像超分辨率重建中。基于深度学习的超分辨率重建通过卷积神经网络(CNN)直接学习低分辨率图像到高分辨率图像的端到端的映射函数。Dong等人提出了基于卷积神经网络的超分辨率重建(SRCNN),是首个基于深度学习的图像超分辨率重建方法,以端对端的方法学习LR到HR之间的非线性映射关系；Kim等人受VGG网络启发提出一种非常深的卷积网络(VDSR)来得到高准确性的重建方法，该网络达到20层，为了加速收敛速度，使用非常高的学习率，运用残差学习与梯度裁剪来解决梯度爆炸问题；Ledig等人在2017年将生成式对抗网络(GAN)用于SISR问题，提出了一种超分辨率生成对抗网络(SRGAN)，实验表明该方法能够恢复出更多的高频细节。
尽管这些基于深度神经网络的超分辨率方法在图像重建质量上取得了很大的突破，但仍有许多不足之处。不采用对抗训练的深度神经网络(如：SRCNN,VDSR)会使得重建出的图像过于平滑，不符合人类对自然图片的感知。采用对抗神经网络的方法(如：SRGAN)，能够解决重建图像过于平滑的问题，更符合人类对自然图片的感知，但由于GAN训练非常不稳定的原因，使得重建出的图片出现噪声，影响了图片质量，降低了网络的泛化性能。
发明内容
本发明要克服现有技术的上述不足，提出一种基于改进生成对抗网络的图像超分辨率重建方法。
本发明设计了基于残差网络的生成器网络和条件判别器网络。通过基于假数据的梯度正则化项(L.Mescheder,A.Geiger and S.Nowozin.Which Training Methods forGANs do actually Converge？.In International Conference on Machine Learning,2018.)对判别器进行惩罚，解决生成对抗网络训练不稳定对重建图片造成的影响，保证重建图像质量。用相对判别器(A.Jolicoeur-Martineau.The relativistic discriminator:a key element missing from standard GAN.arXiv preprint arXiv:1807.00734,2018.)的理论改进训练损失函数，使重建图像具有更丰富的细节和更锐利的边缘。
实现本发明目的的技术方案是：
一种基于改进生成对抗网络的图像超分辨率重建方法，其特征包括以下步骤：
步骤1.收集大量2k像素高质量图片，从中截取大量HR图片块，通过4倍下采样的方式得到对应的LR图片块，以此构建训练数据集；
步骤2.建立生成对抗网络模型，生成器网络G采用残差网络，条件判别器D同样采用残差网络，并移除残差块中的归一化(BN)层；
生成器网络G采用残差网络的结构，条件判别器D同样采用残差网络结构，并均移除残差块中的归一化(BN)层；生成器网络G具有B1个相同结构的残差块；根据条件生成对抗网络(Conditional GAN)，判别器网络D包含两个输入，一个是HR图像，另一个是生成器生成的超分辨图像(SR)；使用kernel size＝2和stride＝2的两个卷积层对HR图像进行两次下采样，提取特征图，然后将其与从LR图像中提取的特征图连接起来，并在四次下采样之后将它们馈送到残差块；在判别器网络的最后，对特征映射进行平滑处理，利用全连接层进行logits运算；值得注意的是，由于训练时采用梯度惩罚，可以从判别器网络的残差块中去除BN层，并且使用LeakyReLU层来避免稀疏梯度；用B1和B2分别是产生器和判别器网络中的残差块数，用nF表示滤波器数；
步骤3.用相对判别器的思想改进了生成对抗网络的训练损失函数，并在生成器损失函数中加入内容损失，在判别器损失函数中加入基于假数据的梯度惩罚项；再使用处理好的的训练数据集并采用Adam优化器对网络进行对抗训练，直到其收敛；
所述的损失函数包含生成器损失函数和判别器损失函数 可以分别写成：
通过相对判别器来改进生成对抗网络的损失函数，相对判别器用于估计真实数据比生成的假数据更真实的概率或程度，通常的判别器是f(D(x))，而相对论判别器则被定义为f(D(xr)-D(xf))，其中f是实值函数，(xr,xf)是真/假数据对；相对判别器将学会区分“真实图像是否比生成的假图像更真实”而不是“一个图像是真实还是假的”；根据相对判别器的思想，可以定义：
其中f(t)＝-log(1+exp(-t))，表示参数为θG的生成器网络，表示参数为θD的生成器网络，IHR表示训练图片中的高分辨率图片，通过r倍下采样得到对应低分辨率图片ILR。具有C个色彩通道的ILR可以由尺寸为C×W×H的张量表示(W，H分别表示ILR的宽度和高度)，那么IHR的尺寸可以写成C×rW×rH，参数r设置为4；
使用Charbonnier损失作为内容损失，Charbonnier损失是L1范式的可微变体；因此，整体内容损失函数定义为：
其中是Charbonnier惩罚函数，参数ε设置为1e-6；
使用假数据的梯度来惩罚判别器损失，从而稳定GAN训练，保证重建图像质量；梯度正则化项写为：
该正则化器以当前生成器的假数据分布惩罚了判别器的梯度；
步骤4.由训练好的生成器网络完成对低像素图像的端到端超分辨率重建。
进一步，所述步骤1的训练数据集中截取的HR图片块分辨率为256×256，对应下采样后的LR图片块分辨率为64×64。
进一步，所述步骤3中训练网络时，将训练图片归一化至-1到1之间。
本发明的优点是：
1、本发明设计合理，将生成对抗网络应用于图像超分辨率重建，设计了基于简化残差网络的生成器网络和条件判别器网络。生成器网络有足够的潜力完成四倍的超分辨率图像重建，对抗的过程鼓励生成的样本以更高的概率朝向包含真实感图像的搜索空间的区域移动，从而使生成的结果更接近自然图像的流形。
2、本发明采用了一种基于假数据的梯度惩罚方法对判别器进行惩罚，极大的改善了GAN训练的稳定性，从而保证了高质量的图像重建。此外，通过相对判别器理论对训练损失函数进行改进，使重建图像具有更丰富的细节和更锐利的边缘。
附图说明
图1为本发明中的生成对抗网络示意图。
图2为本发明中的生成对抗网络结构图。
图3(a)为Set5数据集002号图的原图。
图3(b)为本发明中不采用基于假数据的梯度惩罚且使用标准判别器的方法在Set5数据集002号图上的重建结果。
图3(c)为本发明中采用了基于假数据的梯度惩罚且使用标准判别器的方法在Set5数据集002号图上的重建结果。
图4(a)为div2数据集0869号图的局部放大位置标记图。
图4(b)为div2数据集0869号图局部位置的原图。
图4(c)为本发明中采用了基于假数据的梯度惩罚且使用标准判别器的方法在div2数据集0869号图的重建结果。
图4(d)为本发明在div2数据集0869号图的重建结果。
图5(a)为div2数据集0828号图的局部放大位置标记图。
图5(b)为div2数据集0828号图的局部原图。
图5(c)为发明中采用了基于假数据的梯度惩罚且使用标准判别器的方法在div2数据集0828号图的局部重建结果。
图5(d)为本发明采用了基于假数据的梯度惩罚且使用相对判别器改进后在div2数据集0828号图的局部重建结果。
图6(a)为BSD100数据集098号图的局部放大位置标记图。
图6(b)为BSD100数据集098号图的局部原图。
图6(c)为发明中采用了基于假数据的梯度惩罚且使用标准判别器的方法在BSD100数据集098号图的局部重建结果。
图6(d)为本发明采用了基于假数据的梯度惩罚且使用相对判别器改进后在BSD100数据集098号图的局部重建结果。
图7为本发明中训练过程示意图。
具体实施方式
下面结合附图，进一步说明本发明的技术方案。
一种基于改进生成对抗网络的图像超分辨率重建方法，包括如下步骤：
步骤1.取div2k图片数据集(Timofte.Ntire 2017challenge on single imagesuper-resolution:Dataset and study.In IEEE Conference on Computer Vision andPattern Recognition Workshops,2017.)中的800张不同的2k像素训练图片，从每张图片中的随机位置截取256×256大小的HR块，通过4倍下采样的方式得到对应64×64大小的LR块，以此构建训练数据集。
步骤2.根据图2所示，建立生成对抗网络模型，生成器网络G具有B1个相同结构的残差块，判别器网络D的结构也如图2所示，根据条件生成对抗网络(Conditional GAN)，判别器网络D包含两个输入，一个是HR图像，另一个是生成器生成的超分辨图像(SR)。使用kernel size＝2和stride＝2的两个卷积层对HR图像进行两次下采样，提取特征图，然后将其与从LR图像中提取的特征图连接起来，并在四次下采样之后将它们馈送到残差块。在判别器的最后，对特征映射进行平滑处理，利用全连接层进行logits运算。在本实施例中，设定B1＝24，B2＝48，nF＝32。
步骤3.用相对判别器的理论改进了生成对抗网络的损失函数，并在生成器网络G的训练损失函数中加入内容损失，在判别器网络的训练损失函数中加入基于假数据的梯度惩罚项，所有训练图片被归一化到-1和1之间，并采用Adam方法对网络进行对抗训练，得到超分辨率生成器。本实施例中，参数损失函数中的α和γ分别设为2E-3和20，交替训练生成器和判别器，直到其收敛使用ADAM优化器训练网络，其中β1＝0.9，β2＝0.999。
步骤4.由训练好的生成器网络完成对低像素图像的4倍超分辨率重建，将公开图片数据集Set5(M.Bevilacqua,A.Roumy,C.Guillemot and M.L.Alberi-Morel.Low-complexity single-image super-resolution based on nonnegative neighborembedding,BMVC,2012.),Set14(R.Zeyde,M.Elad and M.Protter.On single imagescale-up using sparse-representations.In International Conference on Curvesand Surfaces,2010.),BSD100(D.Martin,C.Fowlkes,D.Tal and J.Malik.A database ofhuman segmented natural images and its application to evaluating segmentationalgorithms and measuring ecological statistics.In IEEE InternationalConference on Computer Vision,2001.),Urban100(J.B.Huang,A.Singh andN.Ahuja.Single image super-resolution from transformed self-exemplars.In IEEEConference on Computer Vision and Pattern Recognition,2015.)中的图片，以及100张div2k中的验证集图片进行4倍的下采样后，再通过训练好的生成器网络G对其进行4倍的超分辨率重建。
为了说明本发明的优越性，本实施例的重建结果如图3(a)～图3(c)，图4(a)～图4(d)，图5(a)～图5(d)和图6(a)～图6(d)所示。如图3(b)所示，没有使用梯度惩罚的方法由于训练不稳定，得到的重建图像会出现很多噪声，严重影响图像质量。如图7所示，没有使用梯度惩罚的方法SSRGAN训练不稳定，造成了内容损失波动，使用了梯度惩罚的方法SSRGAN-GP能够保持训练过程的稳定，从而保证了图像的重建质量(如图3(c)所示)。进一步，根据图4(c)，图5(c)和图6(c)与图4(d)，图5(d)和图6(d)的比较，使用相对判别器改进后的方法能使重建的图像具有更锐利的边缘，恢复更多细节内容。
Claims (3)
1.一种基于改进生成对抗网络的图像超分辨率重建方法，包括以下步骤：
步骤1.收集大量2k像素高质量图片，从中截取大量HR图片块，通过4倍下采样的方式得到对应的LR图片块，以此构建训练数据集；
步骤2.建立生成对抗网络模型，生成器网络G采用残差网络，条件判别器D同样采用残差网络，并移除残差块中的归一化(BN)层；
生成器网络G采用残差网络的结构，条件判别器D同样采用残差网络结构，并均移除残差块中的归一化(BN)层；生成器网络G具有B1个相同结构的残差块；根据条件生成对抗网络(Conditional GAN)，判别器网络D包含两个输入，一个是HR图像，另一个是生成器生成的超分辨图像(SR)；使用kernel size＝2和stride＝2的两个卷积层对HR图像进行两次下采样，提取特征图，然后将其与从LR图像中提取的特征图连接起来，并在四次下采样之后将它们馈送到残差块；在判别器网络的最后，对特征映射进行平滑处理，利用全连接层进行logits运算；值得注意的是，由于训练时采用梯度惩罚，可以从判别器网络的残差块中去除BN层，并且使用LeakyReLU层来避免稀疏梯度；用B1和B2分别是产生器和判别器网络中的残差块数，用nF表示滤波器数；
步骤3.用相对判别器的思想改进了生成对抗网络的训练损失函数，并在生成器损失函数中加入内容损失，在判别器损失函数中加入基于假数据的梯度惩罚项；再使用处理好的的训练数据集并采用Adam优化器对网络进行对抗训练，直到其收敛；
所述的损失函数包含生成器损失函数(对抗损失+内容损失Lc)和判别器损失函数(对抗损失+梯度惩罚项Rf)，分别写成：
通过相对判别器来改进生成对抗网络的损失函数，相对判别器用于估计真实数据比生成的假数据更真实的概率或程度，通常的判别器是f(D(x))，而相对论判别器则被定义为f(D(xr)-D(xf))，其中f是实值函数，(xr,xf)是真/假数据对；相对判别器将学会区分“真实图像是否比生成的假图像更真实”而不是“一个图像是真实还是假的”；根据相对判别器的思想，可以定义：
其中f(t)＝-log(1+exp(-t))，表示参数为θG的生成器网络，表示参数为θD的生成器网络，IHR表示训练图片中的高分辨率图片，通过r倍下采样得到对应低分辨率图片ILR；具有C个色彩通道的ILR可以由尺寸为C×W×H的张量表示(W，H分别表示ILR的宽度和高度)，那么IHR的尺寸可以写成C×rW×rH，参数r设置为4；
使用Charbonnier损失作为内容损失，Charbonnier损失是L1范式的可微变体；因此，整体内容损失函数定义为：
其中是Charbonnier惩罚函数，参数ε设置为1e-6；
使用假数据的梯度来惩罚判别器损失，从而稳定GAN训练，保证重建图像质量；梯度正则化项写为：
该正则化器以当前生成器的假数据分布惩罚了判别器的梯度；
步骤4.由训练好的生成器网络完成对低像素图像的端到端超分辨率重建。
2.根据权利要求1所描述的一种基于改进生成对抗网络的图像超分辨率重建方法，其特征在于：所述步骤1的训练数据集中截取的HR图片块分辨率为256×256，对应下采样后的LR图片块分辨率为64×64。
3.根据权利要求1所描述的一种基于改进生成对抗网络的图像超分辨率重建方法，其特征在于：所述步骤3中训练网络时，将训练图片归一化至-1到1之间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910304743.0A CN110189253B (zh) | 2019-04-16 | 2019-04-16 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910304743.0A CN110189253B (zh) | 2019-04-16 | 2019-04-16 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110189253A true CN110189253A (zh) | 2019-08-30 |
| CN110189253B CN110189253B (zh) | 2023-03-31 |
Family
ID=67714588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910304743.0A Active CN110189253B (zh) | 2019-04-16 | 2019-04-16 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110189253B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717857A (zh) * | 2019-09-29 | 2020-01-21 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
| CN110807762A (zh) * | 2019-09-19 | 2020-02-18 | 温州大学 | 一种基于gan的视网膜血管图像智能分割方法 |
| CN111080531A (zh) * | 2020-01-10 | 2020-04-28 | 北京农业信息技术研究中心 | 一种水下鱼类图像的超分辨率重建方法、系统及装置 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111160128A (zh) * | 2019-12-11 | 2020-05-15 | 中国资源卫星应用中心 | 一种基于对抗神经网络模型的遥感图像处理方法及系统 |
| CN111177757A (zh) * | 2019-12-27 | 2020-05-19 | 支付宝(杭州)信息技术有限公司 | 一种图片中隐私信息保护的处理方法及装置 |
| CN111311729A (zh) * | 2020-01-18 | 2020-06-19 | 西安电子科技大学 | 一种基于双向投影网络的自然场景三维人体姿态重建方法 |
| CN111507898A (zh) * | 2020-03-16 | 2020-08-07 | 徐州工程学院 | 基于自适应调整的图像超分辨率重建方法 |
| CN111563841A (zh) * | 2019-11-13 | 2020-08-21 | 南京信息工程大学 | 一种基于生成对抗网络的高分辨率图像生成方法 |
| CN111667004A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 数据生成方法、装置、设备以及存储介质 |
| CN111860975A (zh) * | 2020-06-30 | 2020-10-30 | 中国地质大学（武汉） | 一种基于生成对抗网络的临近降雨预测方法 |
| CN111966997A (zh) * | 2020-07-20 | 2020-11-20 | 华南理工大学 | 基于梯度惩罚的生成式对抗网络的密码破解方法及系统 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| CN112598581A (zh) * | 2020-12-30 | 2021-04-02 | 中国科学院信息工程研究所 | 一种rdn超分辨网络的训练方法及图像生成方法 |
| CN112734638A (zh) * | 2020-12-24 | 2021-04-30 | 桂林理工大学 | 一种遥感影像超分辨重建方法、装置及存储介质 |
| CN112749788A (zh) * | 2020-12-17 | 2021-05-04 | 郑州金惠计算机系统工程有限公司 | 超分辨率图片模型生成方法、装置、电子设备及存储介质 |
| CN113160055A (zh) * | 2021-04-07 | 2021-07-23 | 哈尔滨理工大学 | 一种基于深度学习的图像超分辨率重建方法 |
| CN113298718A (zh) * | 2021-06-22 | 2021-08-24 | 云南大学 | 一种单幅图像超分辨率重建方法及系统 |
| CN113763247A (zh) * | 2021-09-09 | 2021-12-07 | 中国矿业大学 | 基于流形判别的三维矿井图像超分辨率重建方法及系统 |
| CN113793397A (zh) * | 2021-07-30 | 2021-12-14 | 浙江大学 | 基于改进wgan的服装属性编辑方法 |
| US11232541B2 (en) * | 2018-10-08 | 2022-01-25 | Rensselaer Polytechnic Institute | CT super-resolution GAN constrained by the identical, residual and cycle learning ensemble (GAN-circle) |
| CN111667004B (zh) * | 2020-06-05 | 2024-05-31 | 孝感市思创信息科技有限公司 | 数据生成方法、装置、设备以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
-
2019
- 2019-04-16 CN CN201910304743.0A patent/CN110189253B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11232541B2 (en) * | 2018-10-08 | 2022-01-25 | Rensselaer Polytechnic Institute | CT super-resolution GAN constrained by the identical, residual and cycle learning ensemble (GAN-circle) |
| CN110807762A (zh) * | 2019-09-19 | 2020-02-18 | 温州大学 | 一种基于gan的视网膜血管图像智能分割方法 |
| CN110807762B (zh) * | 2019-09-19 | 2021-07-06 | 温州大学 | 一种基于gan的视网膜血管图像智能分割方法 |
| WO2021056969A1 (zh) * | 2019-09-29 | 2021-04-01 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
| CN110717857A (zh) * | 2019-09-29 | 2020-01-21 | 中国科学院长春光学精密机械与物理研究所 | 超分辨率图像重构方法和装置 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111091503B (zh) * | 2019-11-09 | 2023-05-02 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111563841A (zh) * | 2019-11-13 | 2020-08-21 | 南京信息工程大学 | 一种基于生成对抗网络的高分辨率图像生成方法 |
| CN111160128A (zh) * | 2019-12-11 | 2020-05-15 | 中国资源卫星应用中心 | 一种基于对抗神经网络模型的遥感图像处理方法及系统 |
| CN111177757A (zh) * | 2019-12-27 | 2020-05-19 | 支付宝(杭州)信息技术有限公司 | 一种图片中隐私信息保护的处理方法及装置 |
| CN111080531A (zh) * | 2020-01-10 | 2020-04-28 | 北京农业信息技术研究中心 | 一种水下鱼类图像的超分辨率重建方法、系统及装置 |
| CN111080531B (zh) * | 2020-01-10 | 2024-02-23 | 北京农业信息技术研究中心 | 一种水下鱼类图像的超分辨率重建方法、系统及装置 |
| CN111311729B (zh) * | 2020-01-18 | 2022-03-11 | 西安电子科技大学 | 一种基于双向投影网络的自然场景三维人体姿态重建方法 |
| CN111311729A (zh) * | 2020-01-18 | 2020-06-19 | 西安电子科技大学 | 一种基于双向投影网络的自然场景三维人体姿态重建方法 |
| CN111507898A (zh) * | 2020-03-16 | 2020-08-07 | 徐州工程学院 | 基于自适应调整的图像超分辨率重建方法 |
| CN111667004B (zh) * | 2020-06-05 | 2024-05-31 | 孝感市思创信息科技有限公司 | 数据生成方法、装置、设备以及存储介质 |
| CN111667004A (zh) * | 2020-06-05 | 2020-09-15 | 北京百度网讯科技有限公司 | 数据生成方法、装置、设备以及存储介质 |
| CN111860975A (zh) * | 2020-06-30 | 2020-10-30 | 中国地质大学（武汉） | 一种基于生成对抗网络的临近降雨预测方法 |
| CN111966997A (zh) * | 2020-07-20 | 2020-11-20 | 华南理工大学 | 基于梯度惩罚的生成式对抗网络的密码破解方法及系统 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
| CN112381716B (zh) * | 2020-11-18 | 2023-08-18 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| CN112749788A (zh) * | 2020-12-17 | 2021-05-04 | 郑州金惠计算机系统工程有限公司 | 超分辨率图片模型生成方法、装置、电子设备及存储介质 |
| CN112734638B (zh) * | 2020-12-24 | 2022-08-05 | 桂林理工大学 | 一种遥感影像超分辨重建方法、装置及存储介质 |
| CN112734638A (zh) * | 2020-12-24 | 2021-04-30 | 桂林理工大学 | 一种遥感影像超分辨重建方法、装置及存储介质 |
| CN112598581B (zh) * | 2020-12-30 | 2023-10-24 | 中国科学院信息工程研究所 | 一种rdn超分辨网络的训练方法及图像生成方法 |
| CN112598581A (zh) * | 2020-12-30 | 2021-04-02 | 中国科学院信息工程研究所 | 一种rdn超分辨网络的训练方法及图像生成方法 |
| CN113160055A (zh) * | 2021-04-07 | 2021-07-23 | 哈尔滨理工大学 | 一种基于深度学习的图像超分辨率重建方法 |
| CN113298718A (zh) * | 2021-06-22 | 2021-08-24 | 云南大学 | 一种单幅图像超分辨率重建方法及系统 |
| CN113793397A (zh) * | 2021-07-30 | 2021-12-14 | 浙江大学 | 基于改进wgan的服装属性编辑方法 |
| CN113793397B (zh) * | 2021-07-30 | 2023-11-03 | 浙江大学 | 基于改进wgan的服装属性编辑方法 |
| CN113763247A (zh) * | 2021-09-09 | 2021-12-07 | 中国矿业大学 | 基于流形判别的三维矿井图像超分辨率重建方法及系统 |
| CN113763247B (zh) * | 2021-09-09 | 2023-12-05 | 中国矿业大学 | 基于流形判别的三维矿井图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110189253B (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189253A (zh) | 一种基于改进生成对抗网络的图像超分辨率重建方法 | |
| CN106204449B (zh) | 一种基于对称深度网络的单幅图像超分辨率重建方法 | |
| CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
| CN109389556A (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| CN106683067A (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| CN107563965A (zh) | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 | |
| CN107369189A (zh) | 基于特征损失的医学图像超分辨率重建方法 | |
| CN104574336B (zh) | 基于自适应亚模字典选择的超分辨率图像重建系统 | |
| CN107341765A (zh) | 一种基于卡通纹理分解的图像超分辨率重建方法 | |
| CN108765280A (zh) | 一种高光谱图像空间分辨率增强方法 | |
| CN106157249A (zh) | 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法 | |
| CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
| CN109035146A (zh) | 一种基于深度学习的低质量图像超分方法 | |
| CN108416821A (zh) | 一种深度神经网络的ct图像超分辨重建方法 | |
| CN113516601A (zh) | 基于深度卷积神经网络与压缩感知的图像恢复技术 | |
| CN103279933A (zh) | 一种基于双层模型的单幅图像超分辨率重建方法 | |
| CN104021523B (zh) | 一种基于边缘分类的图像超分辨率放大的方法 | |
| CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
| Zhu et al. | Generative adversarial image super‐resolution through deep dense skip connections | |
| CN105550989A (zh) | 基于非局部高斯过程回归的图像超分辨方法 | |
| CN104504672B (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
| CN110276389A (zh) | 一种基于边缘修正的矿井移动巡检图像重建方法 | |
| CN111696042B (zh) | 基于样本学习的图像超分辨重建方法 | |
| CN114066729A (zh) | 一种可恢复身份信息的人脸超分辨率重建方法 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |