CN109146784B - 一种基于多尺度生成对抗网络的图像超分辨率重建方法 - Google Patents

一种基于多尺度生成对抗网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN109146784B
CN109146784B CN201810844163.6A CN201810844163A CN109146784B CN 109146784 B CN109146784 B CN 109146784B CN 201810844163 A CN201810844163 A CN 201810844163A CN 109146784 B CN109146784 B CN 109146784B
Authority
CN
China
Prior art keywords
image
network
scale
feature extraction
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810844163.6A
Other languages
English (en)
Other versions
CN109146784A (zh
Inventor
黄忠东
姜代红
鞠训光
戴磊
孙天凯
刘其开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou University of Technology
Original Assignee
Xuzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou University of Technology filed Critical Xuzhou University of Technology
Priority to CN201810844163.6A priority Critical patent/CN109146784B/zh
Publication of CN109146784A publication Critical patent/CN109146784A/zh
Priority to NL2022758A priority patent/NL2022758B1/en
Application granted granted Critical
Publication of CN109146784B publication Critical patent/CN109146784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度生成对抗网络的图像超分辨率重建方法，采用多尺度SENet模块作为生成器，最终形成多尺度生成对抗网络；然后确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；通过建立的多尺度生成对抗网络实现对LR输入图像的高频信息的特征提取，随后与经过双三次插值的输入的结果重构出HR图像，鉴别器来鉴别重构后输入的真伪，同时将重构的均方差损失与对抗损失进行加权，作为最终的调整目标函数，通过目标函数对输出的HR图像进行调整后，完成整个图像的重建过程。本发明能对LR输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的HR图像。

Description

一种基于多尺度生成对抗网络的图像超分辨率重建方法
技术领域
本发明涉及是一种基于多尺度生成对抗网络的图像超分辨率重建方法。
背景技术
图像超分辨率(Single image super-resolution，SISR)重建任务是指从低分辨率(Low-resolution，LR)图像输入学习出更多的图像细节来生成高分辨(High-resolution，HR)图像。由于HR的图像能够学习原始图像重要的细节信息，因此SISR技术应用广泛，包括视频监督、医疗诊断、人脸识别等。传统的图像超分辨率方法主要是插值算法，如双三次插值，近邻插值，通过采用固定或结构适应的核函数来估计SR图像中未知像素的值。尽管插值算法比较效率较高，但所得到的结果模糊，边缘细节比较平滑。
近几年，卷积神经网络(CNN)在图像识别中展现出极大的优势。基于深度卷积的方法在SISR取得了突破性的进展，在超分辨率(Super-resolution，SR)问题中峰值信噪比(peak signal-to-noise ratio，PSNR)指标的提升尤为突出。一些学者提出了基于深度卷积超分辨率方法，该方法主要分为三个阶段，LR输入图像的特征提取，非线性映射，重构HR图像。随后发展成将深度残差网络模块引入到深度卷积结构中，在SR上的表现进一步提升。然后还有使用多尺度残差模块来提取LR图像更加抽象的细节，学习细微的高频信息，在SR问题中的结构相似性(structural similaritymetric，SSIM)指标表现有一定的提升。
生成对抗网络是基于对抗思想的生成式深度学习算法，能够生成较为逼真的图像，在图像修复和生成方面表现较好。目前提出了感知损失加权的生成对抗网络的图像超分辨率方法，该方法能够学习到LR图像的更多细节，在结构相似性指标中取得了较好的表现。另外还有利用风格迁移中训练好的分类模型构建出感知损失，将感知损失与对抗损失作为模型训练最后的目标。、
但是上述这些方法对低分辨率输入图像的高频信息提取较差，从而对低分辨率输入图像进行图像超分辨率重建后其高频信息细节显示效果不好。
发明内容
针对上述现有技术存在的问题，本发明提供一种基于多尺度生成对抗网络的图像超分辨率重建方法，能对低分辨率输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的高分辨率图像。
为了实现上述目的，本发明采用的技术方案是：一种基于多尺度生成对抗网络的图像超分辨率重建方法，具体步骤为：
(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：
A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet(压缩激活)模块组成；
B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；
(2)多尺度生成对抗网络对图像超分辨率重建：
Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR(低分辨率)图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；
Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图，然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图；
Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ，直至最后一个单尺度特征提取子网络输出代表高频信息的特征图，即为重构层，然后该特征图与经过Bicubic插值上采样处理的LR图像进行像素加权，最终得到图像超分辨率重建的HR(高分辨率)图像。
进一步，所述训练多尺度生成对抗网络的具体步骤为：
a：将HR图像下采样对应为若干个LR图像，用于预训练所有由SENet模块组成的单尺度特征提取子网络，该训练过程采用均方差损失作为其目标函数；
b：将多个不同尺度的单尺度特征提取子网络搭建为金字塔式生成对抗网络，层数为L，即MSGAN生成器，用于完成LR图像到HR图像的映射；之后采用均方差损失对生成对抗网络进行调整，使生成对抗网络的整体参数达到局部最优；均方差损失的目标函数具体为：
Figure BDA0001746260110000031
其中，yi和xi为第i个LR和HR训练集对，F(yi；θ)为预测的高分辨率结果；
c：搭建鉴别器结构，输入生成的HR图像和真实HR的图像训练鉴别器，根据鉴别器的对抗损失，更新鉴别器网络；对抗损失的目标函数为：MSGAN生成器预学习出LR图像到HR图像的映射，鉴别器判断输入的真伪，因此，关于对抗损失表示为：
ladv(G,D)＝Ey,x～p(y,x)[logD(y,x)]+Ey～p(y)[log(1-D(y,G(y)))]
其中，
Figure BDA0001746260110000032
为预测的HR图像输出，y，x分别表示LR图像和HR图像训练对；
d：将对抗损失与均方差损失进行加权，作为生成器总的损失，更新生成器网络的参数；加权后的鉴别器和生成器的损失分别定义如下：
ld＝ladv
lg＝ladv+λlmse；
e：重复步骤c和步骤d，直到训练迭代次数达到初始设置的迭代次数。
进一步，所述每个单尺度特征提取子网络对图像处理过程为：设定LR输入图像为y，期望得到的HR图像为x；
假设第i个尺度对应的输入特征图为yi-1，则子网络经过上采样得到的特征图可表示为：
Figure BDA0001746260110000033
其中，Du(·)表示的是上采样卷积函数；输出的特征图
Figure BDA0001746260110000034
经过d个SENet模块，输出表示为：
Figure BDA0001746260110000035
其中，
Figure BDA0001746260110000036
和
Figure BDA0001746260110000037
为第d个SENet模块的输入和输出特征图，F(yi；θ)为预测的高分辨率输出。
进一步，所述鉴别器为已知鉴别器，其由三个卷积层和两个SENet模块以及一个全连接组成。
与现有技术相比，本发明采用多尺度SENet模块作为生成器，实现对LR输入图像的高频信息的特征提取，随后与经过双三次插值的输入的结果重构出HR图像，鉴别器来鉴别重构后输入的真伪，同时将重构的均方差损失与对抗损失进行加权，作为最终的调整目标函数，通过目标函数对输出的HR图像进行调整后，完成整个图像的重建过程。本发明能对LR输入图像的高频信息细节进行更多的提取，从而使图像超分辨率重建后生成显示效果更好的HR图像。
附图说明
图1是本发明的流程处理图；
图2是本发明中单尺度特征提取子网络的流程处理图；
图3是本发明中MSGAN鉴别器。
具体实施方式
下面将对本发明作进一步说明。
如图所示，一种基于多尺度生成对抗网络的图像超分辨率重建方法，具体步骤为：
(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：
A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet(压缩激活)模块组成；
B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；
(2)多尺度生成对抗网络对图像超分辨率重建：
Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR(低分辨率)图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；
Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图，然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图；
Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ，直至最后一个单尺度特征提取子网络输出代表高频信息的特征图，即为重构层，然后该特征图与经过Bicubic插值上采样处理的LR图像进行像素加权，最终得到图像超分辨率重建的HR(高分辨率)图像。
进一步，所述训练多尺度生成对抗网络的具体步骤为：
a：将HR图像下采样对应为若干个LR图像，用于预训练所有由SENet模块组成的单尺度特征提取子网络，该训练过程采用均方差损失作为其目标函数；
b：将多个不同尺度的单尺度特征提取子网络搭建为金字塔式生成对抗网络，层数为L，即MSGAN生成器，用于完成LR图像到HR图像的映射；之后采用均方差损失对生成对抗网络进行调整，使生成对抗网络的整体参数达到局部最优；均方差损失的目标函数具体为：
Figure BDA0001746260110000051
其中，yi和xi为第i个LR和HR训练集对，F(yi；θ)为预测的高分辨率结果；
c：搭建鉴别器结构，输入生成的HR图像和真实HR的图像训练鉴别器，根据鉴别器的对抗损失，更新鉴别器网络；对抗损失的目标函数为：MSGAN生成器预学习出LR图像到HR图像的映射，鉴别器判断输入的真伪，因此，关于对抗损失表示为：
ladv(G,D)＝Ey,x～p(y,x)[logD(y,x)]+Ey～p(y)[log(1-D(y,G(y)))]
其中，
Figure BDA0001746260110000052
为预测的HR图像输出，y，x分别表示LR图像和HR图像训练对；
d：将对抗损失与均方差损失进行加权，作为生成器总的损失，更新生成器网络的参数；加权后的鉴别器和生成器的损失分别定义如下：
ld＝ladv
lg＝ladv+λlmse；
e：重复步骤c和步骤d，直到训练迭代次数达到初始设置的迭代次数。
进一步，所述每个单尺度特征提取子网络对图像处理过程为：设定LR输入图像为y，期望得到的HR图像为x；
假设第i个尺度对应的输入特征图为yi-1，则子网络经过上采样得到的特征图可表示为：
Figure BDA0001746260110000061
其中，Du(·)表示的是上采样卷积函数；输出的特征图
Figure BDA0001746260110000062
经过d个SENet模块，输出表示为：
Figure BDA0001746260110000063
其中，
Figure BDA0001746260110000064
和
Figure BDA0001746260110000065
为第d个SENet模块的输入和输出特征图，F(yi；θ)为预测的高分辨率输出。
进一步，所述鉴别器为已知鉴别器，其由三个卷积层和两个SENet模块以及一个全连接组成。
试验证明：
实验主要是采用数据集BSD100、BSD500、SET5、SET14进行验证，在Ubuntu 14.04的操作系统下基于单块NVIDIA Titan X GPU的Tensorflow深度学习框架实现，实验评价指标主要为峰值信噪比PSNR和结构相似系数SSIM，分别比较多个重建尺度下(2x，3x，4x)的两个性能指标的变化。
为了公平地与其他算法进行比较，选取了91张照片以及来自数据集BSD500的200张照片。为了充分利用所有的训练样本，我们用以下方式进行了扩充：(1)每一个高分辨率的图像通过双三次插值下采样缩放至原来的0.9，0.8，0.7，0.6倍；(2)随后对所有的样本进行90，180，270度的旋转扩充；(3)进行水平方向和垂直方向的镜像翻转。因此，总的训练样本数是原来的5×4×3＝60倍。
训练过程中，将HR图像下采样为对应的若干个LR图像，来预训练不同尺度级别的子网络，该训练过程主要采用均方差作为训练的目标函数；当某一尺度的子网络预训练结束之后，去掉该尺度的重构卷积层，固定其他网络层的参数不变；当所有的子网络训练结束之后，再对整个子网络组成的MSGAN生成器进行微调，使整个训练的收敛速度得到提高。
显然整个网络的性能不仅和学习率以及优化算法有关，而且与网络的深度以及损失加权系数相关。网络的深度是指与生成器金字塔的层数L以及每一个尺度子网络下SENet模块数d这两个参数相关，为此，为了研究这两个参数对图像重建效果的影响，固定加权系数不变，设λ＝0.45，在SET5和SET14数据集上进行了测试。
为了体现金字塔的层数对重建效果指标的影响，设重建缩放因子为3，金字塔的层数为3，从峰值信噪比和时间两个指标进行对比，实验结果如表1所示。可以看出，增加金字塔的层数能提高PSNR重建性能，但重建速率会有所下降。
表1 3×缩放因子下金字塔层数对PSNR指标的影响
Figure BDA0001746260110000071
为了体现单一尺度下SENet模块个数对重建效果指标的影响，三倍的缩放因子以及三层金字塔的情况下，从峰值信噪比和时间两个指标进行对比验证；实验结果如表1所示。
表2 单一尺度子网络下SENet模块个数对PSNR指标的影响
Figure BDA0001746260110000072
为了讨论生成器均方差的加权系数λ对重建指标的影响，设缩放因子为3，金字塔层数为3，模块数d＝2，在PSNR和SSIM指标上进行了实验对比，对比结果如表3所示。可以看出当λ＝0.45时，两个指标相对较好。
表3 生成器中均方差的加极系数λ对重建指标的影响
Figure BDA0001746260110000073
当缩放因子为2时，在金字塔层数为3，模块数d＝3，加权系数为0.45的前提下，MSGAN的平均PSNR和SSMI指标与其他算法进行对比，实验结果如表4所示：从表中看出，当缩放因子为2时，重建指标均有上升趋势，其中，在SSMI指标上能够达到最好，而PSNR指标上，能达到相对较好的效果。
表4 MSGAN与其他算法在重建指标的对比结果
Figure BDA0001746260110000081

Claims (4)

1.一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，具体步骤为：
(1)搭建多尺度生成对抗网络结构及完成其生成器的预训练：
A、多尺度生成对抗网络的生成器由多个单尺度特征提取子网络组成，单尺度特征提取子网络采用多个SENet模块组成；
B、确定目标损失函数，完成生成器的预训练过程，提高多尺度生成对抗网络的收敛速度；
(2)多尺度生成对抗网络对图像超分辨率重建：
Ⅰ、将预重建的LR图像输入到第一个单尺度特征提取子网络的上采样层，单尺度特征提取子网络中的多个SENet模块对LR图像依次进行高频信息的特征提取，最终该单尺度特征提取子网络输出处理后的特征图；
Ⅱ、将第二个单尺度特征提取子网络的上采样层接收第一个单尺度特征提取子网络输出的特征图，然后第二个单尺度特征提取子网络重复步骤Ⅰ输出特征图；
Ⅲ、后续多个单尺度特征提取子网络依次重复步骤Ⅰ和Ⅱ，直至最后一个单尺度特征提取子网络输出代表高频信息的特征图，即为重构层，然后该特征图与经过上采样处理的LR图像进行像素加权，最终得到图像超分辨率重建的HR图像。
2.根据权利要求1所述的一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，所述步骤B的具体步骤为：
a：将HR图像下采样对应为若干个LR图像，用于预训练所有由SENet模块组成的单尺度特征提取子网络，该训练过程采用均方差损失作为其目标函数；
b：将多个不同尺度的单尺度特征提取子网络搭建为多层金字塔式生成对抗网络，即MSGAN生成器，用于完成LR图像到HR图像的映射；之后采用均方差损失对生成对抗网络进行调整，使生成对抗网络的整体参数达到局部最优；均方差损失的目标函数具体为：
Figure FDA0002581725950000011
其中，yi和xi为第i个LR和HR训练集对，F(yi；θ)为预测的高分辨率结果；
c：搭建鉴别器结构，输入生成的HR图像和真实HR的图像训练鉴别器，根据鉴别器的对抗损失，更新鉴别器网络；对抗损失的目标函数为：MSGAN生成器预学习出LR图像到HR图像的映射，鉴别器判断输入的真伪，因此，关于对抗损失表示为：
ladv(G,D)＝Ey,x～p(y,x)[log D(y,x)]+Ey～p(y)[log(1-D(y,G(y)))]
其中，
Figure FDA0002581725950000021
为预测的HR图像输出，y，x分别表示LR图像和HR图像训练对，G为MSGAN生成器，D为鉴别器；
d：将对抗损失与均方差损失进行加权，作为生成器总的损失，更新生成器网络的参数；加权后的鉴别器和生成器的损失分别定义如下：
ld＝ladv
lg＝ladv+λlmse；
其中，λ为加权系数；
e：重复步骤c和步骤d，直到训练迭代次数达到初始设置的迭代次数。
3.根据权利要求1所述的一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，所述每个单尺度特征提取子网络对图像处理过程为：设定LR输入图像为y，期望得到的HR图像为x；
假设第i个尺度对应的输入特征图为yi-1，则子网络经过上采样得到的特征图可表示为：
Figure FDA0002581725950000022
其中，Du(·)表示的是上采样卷积函数；输出的特征图
Figure FDA0002581725950000023
经过d个SENet模块，输出表示为：
Figure FDA0002581725950000024
其中，
Figure FDA0002581725950000025
和
Figure FDA0002581725950000026
为第d个SENet模块的输入和输出特征图，
Figure FDA0002581725950000027
为预测的高分辨率输出。
4.根据权利要求2所述的一种基于多尺度生成对抗网络的图像超分辨率重建方法，其特征在于，所述鉴别器由三个卷积层和两个SENet模块以及一个全连接组成。
CN201810844163.6A 2018-07-27 2018-07-27 一种基于多尺度生成对抗网络的图像超分辨率重建方法 Active CN109146784B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810844163.6A CN109146784B (zh) 2018-07-27 2018-07-27 一种基于多尺度生成对抗网络的图像超分辨率重建方法
NL2022758A NL2022758B1 (en) 2018-07-27 2019-03-18 Image Super-resolution Reconstruction Method Based on Multi-scale Generative Adversarial Network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810844163.6A CN109146784B (zh) 2018-07-27 2018-07-27 一种基于多尺度生成对抗网络的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN109146784A CN109146784A (zh) 2019-01-04
CN109146784B true CN109146784B (zh) 2020-11-20

Family

ID=64798318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810844163.6A Active CN109146784B (zh) 2018-07-27 2018-07-27 一种基于多尺度生成对抗网络的图像超分辨率重建方法

Country Status (2)

Country Link
CN (1) CN109146784B (zh)
NL (1) NL2022758B1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435529B (zh) * 2019-01-15 2023-06-20 中山大学 一种显微镜图像的处理方法
CN110060216A (zh) * 2019-04-17 2019-07-26 广东工业大学 一种基于生成对抗网络的图像修复方法、装置以及设备
US11048974B2 (en) * 2019-05-06 2021-06-29 Agora Lab, Inc. Effective structure keeping for generative adversarial networks for single image super resolution
CN110111257B (zh) * 2019-05-08 2023-01-03 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110223234A (zh) * 2019-06-12 2019-09-10 杨勇 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN110322403A (zh) * 2019-06-19 2019-10-11 怀光智能科技（武汉）有限公司 一种基于生成对抗网络的多监督图像超分辨重建方法
CN110321939A (zh) * 2019-06-21 2019-10-11 中国电子科技集团公司第二十八研究所 一种基于超分辨率重建的图像分类方法
CN110570363A (zh) * 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN110580728B (zh) * 2019-09-16 2022-11-25 中南大学 基于结构特征自增强的ct-mr模态迁移方法
CN110689558B (zh) * 2019-09-30 2022-07-22 清华大学 多传感器图像增强方法及装置
US11010871B1 (en) * 2019-11-05 2021-05-18 Moxa Inc. Device and method of handling image super-resolution
CN111383173B (zh) * 2020-02-12 2023-04-18 山东师范大学 一种基于基线的图像超分辨率重建方法及系统
CN111553861B (zh) * 2020-04-29 2023-11-24 苏州大学 一种图像超分辨率重构方法、装置、设备及可读存储介质
CN111583113A (zh) * 2020-04-30 2020-08-25 电子科技大学 一种基于生成对抗网络的红外图像超分辨率重建方法
CN111862251B (zh) * 2020-06-19 2024-05-03 中国科学院深圳先进技术研究院 医学图像重建技术的方法、装置、存储介质和电子设备
CN111951164B (zh) * 2020-08-11 2023-06-16 哈尔滨理工大学 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN112052899A (zh) * 2020-09-03 2020-12-08 上海无线电设备研究所 一种基于生成对抗网络的单幅舰船目标sar图像生成方法
CN112541864A (zh) * 2020-09-25 2021-03-23 中国石油大学(华东) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN112288629B (zh) * 2020-10-27 2024-03-01 河南威虎智能科技有限公司 一种跨尺度图神经网络的超分辨率方法
CN112329932A (zh) * 2020-10-30 2021-02-05 深圳市优必选科技股份有限公司 生成对抗网络的训练方法、装置及终端设备
CN112785499A (zh) * 2020-12-31 2021-05-11 马培峰 超分辨率重建模型训练方法及计算机设备
CN112991169B (zh) * 2021-02-08 2022-05-03 辽宁工业大学 基于图像金字塔和生成对抗网络的图像压缩方法及系统
CN113094972B (zh) * 2021-03-15 2022-08-02 西南大学 基于生成对抗网络和环境要素数据的基岩深度预测方法及系统
CN113096015B (zh) * 2021-04-09 2023-04-28 西安电子科技大学 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN113012049B (zh) * 2021-04-15 2022-08-02 山东新一代信息产业技术研究院有限公司 一种基于gan网络的遥感数据隐私保护方法
CN113191949B (zh) * 2021-04-28 2023-06-20 中南大学 多尺度超分辨率病理图像数字化方法、系统及存储介质
CN117934869A (zh) * 2024-03-22 2024-04-26 中铁大桥局集团有限公司 一种目标检测方法、系统、计算设备以及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN107886169A (zh) * 2017-11-14 2018-04-06 华南理工大学 一种基于文本‑图像生成对抗网络模型的多尺度卷积核方法
CN108182669A (zh) * 2018-01-02 2018-06-19 华南理工大学 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法
CN108242048A (zh) * 2018-02-09 2018-07-03 西安邮电大学 一种车牌图像超分辨率重建的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991646B (zh) * 2017-03-28 2020-05-26 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
CN107240066A (zh) * 2017-04-28 2017-10-10 天津大学 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN107154023B (zh) * 2017-05-17 2019-11-05 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610194A (zh) * 2017-08-14 2018-01-19 成都大学 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN107886169A (zh) * 2017-11-14 2018-04-06 华南理工大学 一种基于文本‑图像生成对抗网络模型的多尺度卷积核方法
CN108182669A (zh) * 2018-01-02 2018-06-19 华南理工大学 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法
CN108242048A (zh) * 2018-02-09 2018-07-03 西安邮电大学 一种车牌图像超分辨率重建的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Squeeze-and-Excitation Networks;Jie Hu 等;《https://arxiv.org/abs/1709.01507v2》;20180405;第1-11页 *
基于深度学习的图像超分辨率重建算法研究;黄冬冬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215(第2期);第I138-1596页 *

Also Published As

Publication number Publication date
CN109146784A (zh) 2019-01-04
NL2022758B1 (en) 2020-01-31

Similar Documents

Publication Publication Date Title
CN109146784B (zh) 一种基于多尺度生成对抗网络的图像超分辨率重建方法
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN107977932B (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN116168067B (zh) 基于深度学习的有监督多模态光场深度估计方法
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN116152061A (zh) 一种基于模糊核估计的超分辨率重建方法
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN111461978A (zh) 一种基于注意力机制的逐分辨率提升图像超分辨率复原方法
CN112184552B (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN111414988B (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN113487482A (zh) 一种基于元迁移学习的自适应超分辨率方法
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN112598604A (zh) 一种盲脸复原方法及系统
CN117315336A (zh) 花粉颗粒识别方法、装置、电子设备及存储介质
CN113744152A (zh) 一种潮水图像去噪处理方法、终端及计算机可读存储介质
CN117408893B (zh) 一种基于浅层神经网络的水下图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Huang Zhongdong

Inventor after: Jiang Daihong

Inventor after: Ju Xunguang

Inventor after: Dai Lei

Inventor after: Sun Tiankai

Inventor after: Liu Qikai

Inventor before: Jiang Daihong

Inventor before: Huang Zhongdong

Inventor before: Ju Xunguang

Inventor before: Dai Lei

Inventor before: Sun Tiankai

Inventor before: Liu Qikai

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant