CN111667407B - 一种深度信息引导的图像超分辨率方法 - Google Patents

一种深度信息引导的图像超分辨率方法 Download PDF

Info

Publication number
CN111667407B
CN111667407B CN202010421041.3A CN202010421041A CN111667407B CN 111667407 B CN111667407 B CN 111667407B CN 202010421041 A CN202010421041 A CN 202010421041A CN 111667407 B CN111667407 B CN 111667407B
Authority
CN
China
Prior art keywords
image
feature
resolution
network
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010421041.3A
Other languages
English (en)
Other versions
CN111667407A (zh
Inventor
姚剑
史海涛
蒋佳芹
涂静敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010421041.3A priority Critical patent/CN111667407B/zh
Publication of CN111667407A publication Critical patent/CN111667407A/zh
Application granted granted Critical
Publication of CN111667407B publication Critical patent/CN111667407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks

Abstract

本发明公开了一种深度信息引导的图像超分辨率方法，具体方法如下：S1、用预训练的特征提取模块提取低分辨率图像的高层特征；S2、采用预训练的单目深度预测网络获取低分辨率图像的深度图；S3、将图像的高层特征和深度图同时输入到带有自适应特征变换层的残差模块中，利用深度信息对图像进行自适应的特征变换；S4、融合后的特征输入到像素洗牌上采样模块中，输出与目标图像尺寸一致的特征图；S5、上采样后的特征图输入到重建模块中，输出超分重建的图像。本发明的方法可以有效解决基于生成对抗网络的超分辨率方法中存在较多高频噪声和伪影的问题，本方法可用于提升低分辨率图像的质量，产生清晰的高分辨率图像。

Description

一种深度信息引导的图像超分辨率方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种深度信息引导的单图像超分辨率方法。
背景技术
图像的分辨率指图像中每英寸有多少个像素点，分辨率越高，图像中包含的信息量就越大，细节信息就越丰富。图像超分辨率是指通过图像处理算法提升原图像的分辨率，从而提升图像质量的算法。图像超分辨率技术被广泛应用于监控视频、医学影像分析、卫星图像等领域。目前图像超分辨率方法主要为基于卷积神经网络的方法，采用普通网络会导致超分重建的图像过于平滑，在视觉效果上与真实图像有较大差异。一些研究表明采用生成对抗网络(GAN)可以生成视觉效果更好的图像，而采用GAN也会带来新的问题，GAN生成的图像有较多的高频噪声，同时生成的纹理的颗粒度与真实图像有较大差异。
发明内容
为了克服基于生成对抗网络的图像超分辨率方法的缺陷，本发明提供了一种深度信息引导的单图像超分辨率方法，在深度信息的引导下，GAN生成纹理的颗粒度更接近真实图像，从而有更好的视觉效果，在感知评价指标LPIPS上优于其他基于GAN的图像超分辨率算法。
为实现上述目的，本发明提供如下技术方案：一种深度信息引导的单图像超分辨率方法，具体方法如下：
S1、采用预训练的特征提取网络中的特征提取模块获取低分辨率图像的高层特征，所述特征提取网络由特征提取模块和上采样模块组成，其中特征提取模块包括多个卷积层和残差模块，特征提取网络训练具体步骤如下：
S1.1、采用3x3的卷积核提取低层特征，输出至残差模块；
S1.2、残差模块由若干个重复的残差块构成；
S1.3、采用L1损失函数，采用Adam优化器对特征提取网络进行训练；
S1.4、训练完成后，将低分辨率图像输入特征提取网络中，提取亚像素卷积上采样层之前的特征图，用于后续操作；
S2、采用预训练的单目深度预测网络获取低分辨率图像的深度图；
S3、将S1中获得的低分辨率图像的高层特征和S2中获得的深度图同时输入到带有自适应特征变换层的残差模块中，利用深度信息对图像进行自适应的特征变换，带有自适应特征变换层的残差模块重复2次，单次步骤如下：
S3.1、将S2中获得的深度图输入到深度信息预处理子网络中，输出处理后的深度信息；
S3.2、将深度信息输入到特征变换子网络中，输出两个特征变换参数γ、β；
S3.3、将S1中得到的高层特征输入到特征变换子网络中，利用特征变换参数γ、β进行特征变换，特征变换方式为，将原始特征图与γ逐元素相加，与β逐元素相乘；
S3.4、将特征变换后的特征与原始特征图进行通道连接后输入到相似性度量子网络中，输出归一化的相似度权重矩阵；
S3.5、将S3.4中输出的相似度权重矩阵与S3.3中得到的经过特征变换的特征图进行逐元素相乘，得到加权后的经过特征变换的特征；
S3.6、将S3.5中输出的加权后的经过特征变换的特征图与原始特征图进行通道连接，采用1x1的卷积后进行特征融合，输出融合后的特征；
S4、融合后的特征输入到亚像素卷积上采样模块中，输出与目标图像尺寸一致的特征图；
S5、上采样后的特征图输入到重建模块中，输出超分重建的图像。
进一步的，步骤S1.3中的L1损失函数公式如下，
Figure BDA0002496883960000021
其中ISR和IHR分别表示特征提取网络输出的图像和真实高分辨率图像，N表示训练集一个batch中图像的数量。
进一步的，步骤S2中深度预测网络为Monodepth2，其结构为U-Net结构。
进一步的，步骤S3.1中深度信息预处理子网络由4层3x3卷积核构成，每层卷积核个数为64。
进一步的，步骤S3.2中特征变换子网络由2层3x3卷积核构成，每层卷积核个数为64。
进一步的，步骤S3.4中相似性度量子网络由一个1x1卷积核和Sigmoid激活函数构成。
进一步的，步骤S5中重建模块由2层3x3卷积核构成，卷积核数目分别为64、3。
进一步的，步骤S1-步骤S5中整体采用生成对抗损失函数，并采用Adam优化器进行训练，其中生成对抗损失函数包括判别器损失函数和生成器损失函数，其中生成器损失函数中加入了VGG损失函数和L1损失函数；
生成对抗损失函数中采用的判别器为相对判别器，其中生成器和判别器损失函数公式如下，
Figure BDA0002496883960000031
Figure BDA0002496883960000032
其中xr表示真实高分辨率图像，xf表示生成器网络输出的图像，Exf[·]表示一个batch中生成器输出的期望，Exr[·]表示一个batch中真实高分辨率图像的期望，DRa表示判别器的输出，其公式如下：
DRa(xr，xf)＝σ(C(xr)-Exf[C(xf)])
DRa(xf，xr)＝σ(C(xf)-Exr[C(xr)])
其中C(·)表示判别器激活函数之前的输出值，σ表示sigmoid激活函数，Exf[·]表示一个batch中生成器输出的期望，Exr[·]表示一个batch中真实高分辨率图像的期望；
最终的生成器损失函数的计算公式如下：
Figure BDA0002496883960000033
其中，λ和η为超参数，Lvgg为VGG损失函数，L1为L1损失函数。
进一步的，VGG损失函数公式如下：
Figure BDA0002496883960000034
其中ISR和IHR分别表示特征提取网络输出的图像和真实高分辨率图像，Φ(·)为预训练的VGG19网络的第5个最大池化层前的第4个卷积层输出的特征图，C为该层输出特征图通道数，V为该层输出特征图像素点总数。
进一步的，两个超参数λ和η的值分别为：λ＝5×10-3，η＝1×10-4。
与现有技术相比，本发明的优点和有益效果：与现有方法相比，本发明超分重建出的图像层次更加分明，纹理颗粒度更符合实际情况，视觉效果更好。
附图说明
图1为本发明的特征提取网络示意图。
图2为本发明的特征提取网络中残差模块的示意图。
图3为本发明的整体网络示意图。
图4为本发明的自适应特征变换层示意图。
图5为本发明的特征变换残差模块示意图。
图6为本发明所采用的单目深度预测网络示意图。
图7为测试对比图一的测试结果图；其中，(a)为测试对比图一中的原始高分辨率图像；(b)为测试对比图一中的基于生成对抗网络的方法ESRGAN的超分辨率结果；(c)为测试对比图一中的本发明方法的超分辨率结果；
图8为测试对比图二的测试结果图；其中，(a)为测试对比图二中的原始高分辨率图像；(b)为测试对比图二中的基于生成对抗网络的方法ESRGAN的超分辨率结果；(c)为测试对比图二中的本发明方法的超分辨率结果。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
S1、采用预训练的特征提取网络中的特征提取模块获取低分辨率图像的高层特征，参照图1，特征提取网络由特征提取模块和上采样模块组成，其中特征提取模块包括2个卷积层和15个残差块，具体步骤如下：
S1.1、首先采用低层特征提取模块对输入图像提取低层特征，将提取的低层特征输出至残差模块，低层特征提取模块由一层3x3卷积层构成，卷积核个数为64；
S1.2、然后将低层特征输入到残差模块中，逐步提取高层特征，残差模块由15个重复的残差块构成，并采用8层的分层残差连接，采用1x1的卷积核对8个不同尺度的特征进行融合，如图2所示；
S1.3、采用L1损失函数，采用Adam优化器对网络进行训练，L1损失函数公式如下，其中ISR和IHR分别表示特征提取网络输出的图像和真实高分辨率图像，N表示训练集一个batch中图像的数量。
Figure BDA0002496883960000041
S1.4、训练完成后，将低分辨率图像输入网络中，提取亚像素卷积上采样层之前的特征图，用于后续操作。
S2、采用预训练的单目深度预测网络获取低分辨率图像的深度图，采用的深度预测网络为Monodepth2，其结构为U-Net结构，如图6所示；
S3、如图3所示，将S1中获得的低分辨率图像的高层特征和S2中获得的深度图同时输入到带有自适应特征变换层的残差模块中，该残差模块结构如图5所示，利用深度信息对图像进行自适应的特征变换，带有自适应特征变换层的残差模块重复2次，单次步骤如下：
S3.1、首先将S2中获得的深度图输入到深度信息预处理子网络中，输出处理后的深度信息，如图3所示，深度信息预处理子网络由4层3x3卷积核构成，每层卷积核个数为64。
S3.2、由S3.1得到的深度信息输入到特征变换子网络中，输出两个特征变换参数γ、β，如图4所示，特征变换子网络由2层3x3卷积核构成，每层卷积核个数为64；
S3.3、然后将S1中得到的高层特征输入到特征变换子网络中，利用特征变换参数γ、β进行特征变换，特征变换方式为，将原始特征图与γ逐元素相加，与β逐元素相乘，参照图4；
S3.4、将特征变换后的特征与原始特征图进行通道连接后输入到相似性度量子网络中，输出归一化的相似度权重矩阵，如图4所示，相似性度量子网络由一个1x1卷积核和Sigmoid激活函数构成；
S3.5、将S3.4中输出的相似度权重矩阵与S3.3中得到的经过特征变换的特征图进行逐元素相乘，得到加权后的经过特征变换的特征，参照图4；
S3.6、将S3.5中输出的加权后的经过特征变换的特征图与原始特征图进行通道连接，采用1x1的卷积后进行特征融合，输出融合后的特征，参照图4；
S4、融合后的特征输入到亚像素卷积上采样模块中，输出与目标图像尺寸一致的特征图，参照图3；
S5、上采样后的特征图输入到重建模块中，输出超分重建的图像，重建模块由2层3x3卷积核构成，卷积核数目分别为64、3。
S6、主网络采用生成对抗损失函数，并采用Adam优化器对主网络(步骤S1-步骤S5整体构成的网络为主网络，请参见图3)进行训练，其中生成对抗损失函数包括判别器损失函数和生成器损失函数，其中生成器损失函数中加入了VGG损失函数和L1损失函数。
生成对抗损失函数中采用的判别器为相对判别器，其中生成器和判别器损失函数公式如下：
Figure BDA0002496883960000051
Figure BDA0002496883960000052
其中xr表示真实高分辨率图像，xf表示生成器网络输出的图像，Exf[·]表示一个batch中生成器输出的期望，Exr[·]表示一个batch中真实高分辨率图像的期望，DRa表示判别器的输出，其公式如下：
DRa(xr，xf)＝σ(C(xr)-Exf[C(xf)])
DRa(xf，xr)＝σ(C(xf)-Exr[C(xr)])
其中C(·)表示判别器激活函数之前的输出值，σ表示sigmoid激活函数，Exf[·]表示一个batch中生成器输出的期望，Exr[·]表示一个batch中真实高分辨率图像的期望。
生成器损失函数联合VGG损失函数和L1损失函数的公式如下：
Figure BDA0002496883960000061
其中，两个超参数λ和η的值分别为：λ＝5×10-3，η＝1×10-4。
其中，VGG损失函数公式如下：
Figure BDA0002496883960000062
其中ISR和IHR分别表示特征提取网络输出的图像和真实高分辨率图像，Φ(·)为预训练的VGG19网络的第5个最大池化层前的第4个卷积层输出的特征图，C为该层输出特征图通道数，V为该层输出特征图像素点总数。
在公开测试集PIRM-val/test上进行四倍超分辨率测试。图7(a)～(c)为测试对比图一，其中，图7(a)为测试对比图一中的原始高分辨率图像，图7(b)为测试对比图一中的基于生成对抗网络的方法ESRGAN的超分辨率结果，图7(c)为测试对比图一中的本发明方法的超分辨率结果。可以看出，本方法相对于目前最优的超分辨率方法ESRGAN能够生成更加真实的纹理并且含有更少的高频噪声。
图8(a)～(c)为测试对比图二，其中，图8(a)为测试对比图二中的原始高分辨率图像，图8(b)为测试对比图二中的基于生成对抗网络的方法ESRGAN的超分辨率结果，图8(c)为测试对比图二中的本发明方法的超分辨率结果。可以看出，本方法生成的图像更接近原始高分辨率图像。
在公开测试集PIRM-val/test上与ESRGAN进行定量指标的对比，超分辨率倍数为四倍，所采用的评价指标为LPIPS，LPIPS值越低说明图像质量越高。在PIRM-val测试集上，本发明方法LPIPS值为0.1292，ESRGAN为0.1523；在PIRM-test测试集上，本发明方法LPIPS值为0.1224，ESRGAN为0.1443。本发明方法在两个测试集上的LPIPS指标均优于ESRGAN。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种深度信息引导的图像超分辨率方法，其特征在于，包括如下步骤：
S1、采用预训练的特征提取网络中的特征提取模块获取低分辨率图像的高层特征，所述特征提取网络由特征提取模块和上采样模块组成，其中特征提取模块包括多个卷积层和残差模块，特征提取网络训练具体步骤如下：
S1.1、采用3x3的卷积核提取低层特征，输出至残差模块；
S1.2、残差模块由若干个重复的残差块构成；
S1.3、采用L1损失函数，采用Adam优化器对特征提取网络进行训练；
S1.4、训练完成后，将低分辨率图像输入特征提取网络中，提取亚像素卷积上采样层之前的特征图，用于后续操作；
S2、采用预训练的单目深度预测网络获取低分辨率图像的深度图；
S3、将S1中获得的低分辨率图像的高层特征和S2中获得的深度图同时输入到带有自适应特征变换层的残差模块中，利用深度信息对图像进行自适应的特征变换，带有自适应特征变换层的残差模块重复2次，单次步骤如下：
S3.1、将S2中获得的深度图输入到深度信息预处理子网络中，输出处理后的深度信息；
S3.2、将深度信息输入到特征变换子网络中，输出两个特征变换参数γ、β；
S3.3、将S1中得到的高层特征输入到特征变换子网络中，利用特征变换参数γ、β进行特征变换，特征变换方式为，将原始特征图与γ逐元素相加，与β逐元素相乘；
S3.4、将特征变换后的特征与原始特征图进行通道连接后输入到相似性度量子网络中，输出归一化的相似度权重矩阵；
S3.5、将S3.4中输出的相似度权重矩阵与S3.3中得到的经过特征变换的特征图进行逐元素相乘，得到加权后的经过特征变换的特征；
S3.6、将S3.5中输出的加权后的经过特征变换的特征图与原始特征图进行通道连接，采用1x1的卷积后进行特征融合，输出融合后的特征；
S4、融合后的特征输入到亚像素卷积上采样模块中，输出与目标图像尺寸一致的特征图；
S5、上采样后的特征图输入到重建模块中，输出超分重建的图像。
2.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S1.3中的L1损失函数公式如下，
Figure FDA0002496883950000021
其中ISR和IHR分别表示特征提取网络输出的图像和真实高分辨率图像，N表示训练集一个batch中图像的数量。
3.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S2中深度预测网络为Monodepth2，其结构为U-Net结构。
4.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S3.1中深度信息预处理子网络由4层3x3卷积核构成，每层卷积核个数为64。
5.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S3.2中特征变换子网络由2层3x3卷积核构成，每层卷积核个数为64。
6.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S3.4中相似性度量子网络由一个1x1卷积核和Sigmoid激活函数构成。
7.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S5中重建模块由2层3x3卷积核构成，卷积核数目分别为64、3。
8.如权利要求1所述的一种深度信息引导的图像超分辨率方法，其特征在于：步骤S1-步骤S5中整体采用生成对抗损失函数，并采用Adam优化器进行训练，其中生成对抗损失函数包括判别器损失函数和生成器损失函数，其中生成器损失函数中加入了VGG损失函数和L1损失函数；
生成对抗损失函数中采用的判别器为相对判别器，其中生成器和判别器损失函数公式如下，
Figure FDA0002496883950000022
Figure FDA0002496883950000023
其中xr表示真实高分辨率图像，xf表示生成器网络输出的图像，Exf[·]表示一个batch中生成器输出的期望，Exr[·]表示一个batch中真实高分辨率图像的期望，DRa表示判别器的输出，其公式如下：
DRa(xr，xf)＝σ(C(xr)-Exf[C(xf)])
DRa(xf，xr)＝σ(C(xf)-Exr[C(xr)])
其中C(·)表示判别器激活函数之前的输出值，σ表示sigmoid激活函数，Exf[·]表示一个batch中生成器输出的期望，Exr[·]表示一个batch中真实高分辨率图像的期望；
最终的生成器损失函数的计算公式如下：
Figure FDA0002496883950000031
其中，λ和η为超参数，Lvgg为VGG损失函数，L1为L1损失函数。
9.如权利要求8所述的一种深度信息引导的图像超分辨率方法，其特征在于：VGG损失函数公式如下：
Figure FDA0002496883950000032
其中ISR和IHR分别表示特征提取网络输出的图像和真实高分辨率图像，Φ(·)为预训练的VGG19网络的第5个最大池化层前的第4个卷积层输出的特征图，C为该层输出特征图通道数，V为该层输出特征图像素点总数。
10.如权利要求8所述的一种深度信息引导的图像超分辨率方法，其特征在于：两个超参数λ和η的值分别为：λ＝5×10-3，η＝1×10-4。
CN202010421041.3A 2020-05-18 2020-05-18 一种深度信息引导的图像超分辨率方法 Active CN111667407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010421041.3A CN111667407B (zh) 2020-05-18 2020-05-18 一种深度信息引导的图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010421041.3A CN111667407B (zh) 2020-05-18 2020-05-18 一种深度信息引导的图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN111667407A CN111667407A (zh) 2020-09-15
CN111667407B true CN111667407B (zh) 2023-04-07

Family

ID=72383859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010421041.3A Active CN111667407B (zh) 2020-05-18 2020-05-18 一种深度信息引导的图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN111667407B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435160A (zh) * 2020-11-06 2021-03-02 上海航天控制技术研究所 一种基于生成式对抗网络的深度图超分辨率方法
CN112634135B (zh) * 2020-12-23 2022-09-13 中国地质大学（武汉） 基于超分辨率风格迁移网络的遥感影像超分辨率重建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492248A (zh) * 2018-01-30 2018-09-04 天津大学 基于深度学习的深度图超分辨率方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492248A (zh) * 2018-01-30 2018-09-04 天津大学 基于深度学习的深度图超分辨率方法
CN109903226A (zh) * 2019-01-30 2019-06-18 天津城建大学 基于对称残差卷积神经网络的图像超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法

Also Published As

Publication number Publication date
CN111667407A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN110717857A (zh) 超分辨率图像重构方法和装置
CN113962893A (zh) 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN111667407B (zh) 一种深度信息引导的图像超分辨率方法
CN113436076B (zh) 逐步融合特征的图像超分辨率重建方法及电子设备
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN115511767B (zh) 一种自监督学习的多模态图像融合方法及其应用
CN112288632A (zh) 基于精简esrgan的单图像超分辨率方法及系统
CN113487503A (zh) 一种基于通道注意力生成对抗网络的pet超分辨率方法
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
Cao et al. Research for face image super-resolution reconstruction based on wavelet transform and SRGAN
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN115631107A (zh) 边缘引导的单幅图像噪声去除
CN116051382A (zh) 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
Liu et al. Facial image inpainting using multi-level generative network
CN114187261A (zh) 一种基于多维注意力机制的无参考立体图像质量评价方法
CN116758120A (zh) 一种基于深度学习的3t mra到7t mra的预测方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN116029908A (zh) 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法
CN115880158A (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN114936977A (zh) 一种基于通道注意力和跨尺度特征融合的图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant