CN113379601A - 基于降质变分自编码器的真实世界图像超分辨方法及系统 - Google Patents

基于降质变分自编码器的真实世界图像超分辨方法及系统 Download PDF

Info

Publication number
CN113379601A
CN113379601A CN202110635893.7A CN202110635893A CN113379601A CN 113379601 A CN113379601 A CN 113379601A CN 202110635893 A CN202110635893 A CN 202110635893A CN 113379601 A CN113379601 A CN 113379601A
Authority
CN
China
Prior art keywords
resolution
image
low
super
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110635893.7A
Other languages
English (en)
Other versions
CN113379601B (zh
Inventor
凌强
张梦磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110635893.7A priority Critical patent/CN113379601B/zh
Priority claimed from CN202110635893.7A external-priority patent/CN113379601B/zh
Publication of CN113379601A publication Critical patent/CN113379601A/zh
Application granted granted Critical
Publication of CN113379601B publication Critical patent/CN113379601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于降质变分自编码器的真实世界图像超分辨方法及系统，其方法包括：S1：获取训练数据集，并对进行预处理，得到处理好的低分辨率图像和高分辨率图像；S2：将低分辨率图像输入超分辨网络，得到高清图像；将高清图像输入降质变分自编码网络，得到重建的低分辨率图像；S3：将高分辨率图像输入降质变分自编码网络，得到低清图像；将低清图像输入超分辨网络，得到重建的高分辨率图像；S4：构建循环一致损失函数，根据低分辨率图像和重建的低分辨率图像，以及高分辨率图像和重建的高分辨率图像计算循环一致损失函数，同时训练超分辨网络和降质变分自编码网络。本发明提供的方法实现对真实世界未知噪声和降质模式的图像超分辨率重建。

Description

基于降质变分自编码器的真实世界图像超分辨方法及系统
技术领域
本发明涉及图像重建领域，具体涉及一种基于降质变分自编码器的真实世界图像超 分辨方法及系统。
背景技术
随着智能移动设备的普及，人们越来越倾向于从图像中获取信息。图像分辨率是衡 量图像信息量的一个关键指标。图像分辨率越高，所包含的信息量也就越丰富，越能够更加真实详细的描述客观场景。但是现实生活中受到网络传输速度以及传感器水平等硬件条件的制约，呈现出的图像分辨率一般较低，很难满足人们的实际使用需求。
近些年针对普通图像超分辨率重建问题和人脸图像超分辨率重建问题已经进行了 非常深入的研究。随着深度卷积神经网络和生成对抗网络引入到图像超分辨率重建问题， 超分辨率重建算法性能越来越强大。但是大多数算法主要针对理论场景达到较好的效果， 很难应用于真实世界非限制场景。而现有少量针对非限制场景的算法大多使用条件较苛 刻或者时间复杂度较高、训练方法很难推广。
传统的基于深度卷积神经网络的图像超分辨率重建方法需要成对的低分辨率图像 和高分辨率图像来训练超分辨网络。当无法得到成对的真实世界低分辨率图像和高分辨 率图像时，模拟的降采样方法效果较差。而且，传统的模拟真实世界低分辨率图像降质模式的方法，通常基于生成对抗网络训练图像降质模型。基于生成对抗网络的无监督训 练方法容易训练效果不稳定，应用于图像超分辨效果并不理想。
因此，如何实现对真实世界未知噪声和降质模式的图像超分辨率重建，成为一个亟 待解决的问题。
发明内容
为了解决上述技术问题，本发明提供一种基于降质变分自编码器的真实世界图像超 分辨方法及系统。
本发明技术解决方案为：一种基于降质变分自编码器的真实世界图像超分辨方法， 包括：
步骤S1：获取训练数据集，并对所述数据集进行预处理，得到处理好的低分辨率图像和高分辨率图像；
步骤S2：将所述低分辨率图像输入超分辨网络，得到对应的高清图像；将所述高清图像输入降质变分自编码网络，得到重建的低分辨率图像；
步骤S3：将所述高分辨率图像输入所述降质变分自编码网络，得到对应的低清图像； 将所述低清图像输入超分辨网络，得到重建的高分辨率图像；
步骤S4：构建循环一致损失函数，根据所述低分辨率图像和重建的低分辨率图像，以及所述高分辨率图像和所述重建的高分辨率图像计算循环一致损失函数，同时训练所述超分辨网络和所述降质变分自编码网络。
本发明与现有技术相比，具有以下优点：
1、本发明提供的一种基于降质变分自编码器的真实世界图像超分辨方法，针对非成 对的真实世界低分辨率图像和高分辨率清晰图像，使用降质自编码器模拟真实世界低分 辨率图像降质模式，可以有效解决真实世界低分辨率图像超分辨率重建问题。
2、本发明提供的降质变分自编码器使用逐像素的重建损失函数进行训练，训练效果 稳定，对降质模式的模拟更加准确。
附图说明
图1为本发明实施例中一种基于降质变分自编码器的真实世界图像超分辨方法的流 程图；
图2为本发明实施例降质变分自编码网络结构示意图；
图3为本发明实施例中基于降质变分自编码器的超分辨网络的结构示意图；
图4A～图4D为本发明实施例中使用不同方法与使用本发明方法得到图像的效果对 比示意图；
图5为本发明实施例中一种基于降质变分自编码器的真实世界图像超分辨系统的结 构框图。
具体实施方式
本发明提供了一种基于降质变分自编码器的真实世界图像超分辨方法，实现对真实 世界未知噪声和降质模式的图像超分辨率重建。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图， 对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于降质变分自编码器的真实世界图像超分 辨方法，包括下述步骤：
步骤S1：获取训练数据集，并对数据集进行预处理，得到处理好的低分辨率图像和高分辨率图像；
步骤S2：将低分辨率图像输入超分辨网络，得到对应的高清图像；将高清图像输入降质变分自编码网络，得到重建的低分辨率图像；
步骤S3：将高分辨率图像输入降质变分自编码网络，得到对应的低清图像；将低清图像输入超分辨网络，得到重建的高分辨率图像；
步骤S4：构建循环一致损失函数，根据低分辨率图像和重建的低分辨率图像，以及高分辨率图像和重建的高分辨率图像计算循环一致损失函数，同时训练超分辨网络和降质变分自编码网络。
在一个实施例中，上述步骤S1：获取训练数据集，并对数据集进行预处理，得到处理好的低分辨率图像和高分辨率图像，具体包括：
获取多幅真实世界的低分辨率图像和高分辨率清晰图像，构建训练数据集，对数据 集中图片进行预处理，将真实世界低分辨率图像随机裁剪为32×32分辨率大小，将高分辨率清晰图像随机裁剪为128×128分辨率大小。将处理完成的低分辨率图像和高分 辨率图像用于训练后续的超分辨网络和降质变分自编码网络。
对于真实世界包含未知噪声分布和降质模式的低分辨率图像，传统方法一般假设噪 声和信号是相互独立的以及估计值和真实值之间的误差可以由线性或者非线性方法来优化。在真实世界场景中，噪声通常来自于相机传感器或者数据压缩，因此噪声与信号 信号是相关的。传统方法直接在低分辨率图像中添加高斯噪声和理想降采样核，但是无 法模拟真实世界噪声分布和降质类型。为了解决这一问题，本发明提出一种降质变分自 编码网络来模拟真实世界图像降质过程。通过对高分辨率清晰图像进行编码以及解码， 可以在解码过程中对图像添加噪声和降质，从而将高分辨率清晰图像从源域转换到目标 域。
在一个实施例中，上述步骤S2：将低分辨率图像输入超分辨网络，得到对应的高清图像；将所述高清图像输入降质变分自编码网络，得到重建的低分辨率图像；
首先，将低分辨率图像输入超分辨网络，得到对应的高清图像；本发明实施例中的超分辨网络学习从输入低分辨率图像到目标高分辨率图像之间的映射函数。将输入低分辨率图像表示为X，将对应的目标高分辨率目标图像表示为T，将生成的高清图像表示 为
Figure BDA0003105156890000041
从输入低分辨率图像到生成对应的高清图像具有参数θ的的超分辨网络s(·)可以 表示为
Figure BDA0003105156890000042
基于子像素卷积的超分辨网络包括特征提取模块、子像素卷积上采样模块和输出模 块。特征提取模块将低分辨率图像作为输入并提取用于上采样的图像特征。特征提取模块的卷积层的通道数逐渐增加。在特征提取模块中使用残差连接来完全混合底层和高层特征。残差连接作为单位映射，其保留来自先前层的信息并限制网络仅学习残差，并允 许通过跳转连接路径反向传播梯度，防止梯度消失。子像素卷积模块接收特征提取模块 提取到的图像特征作为输入，并计算出r2个子像素，r为放大倍数。这些子像素和输入低 分辨率人脸图像的尺寸W×H相同。最后使用子像素卷积操作将这r2个W×H尺寸的子 像素组合在一起以构建尺寸为rW×rH的超分辨率图像特征。最后使用输出模块将特征 通道数转为输入图像大小，输出最后的高清图像，即超分辨图像。
其次，将高清图像输入降质变分自编码网络，得到重建的低分辨率图像；如图2降质变分自编码网络结构示意图所示，本发明实施例的降质变分自编码网络包括编码器和解码器；其中，编码器如下述公式(1)所示：
P(Y|X)＝∫P(Y|X，z)P(z|X)dz (1)
其中，Y为输入的高清图像，X为输出的低清图像，向量z是从高斯分布N(0，I)中 采样得到；
将贝叶斯公式引入到公式(1)可以得到公式(2)：
Figure BDA0003105156890000043
其中，θ为编码器的参数，Qθ(z|X，Y)为已知X和Y的情况下使用参数θ估计得到 的z的分布；
引入KL散度后，公式(2)可以表示为公式(3)：
Figure BDA0003105156890000044
其中，KL[p|q]表示p和q两个分布之间的KL散度，其中，KL散度来表示估计分 布Qθ(z|X，Y)与真实分布Pθ(z|X)之间的分布差异；
利用重参数方法从估计分布Q0(z|X，Y)中随机采样，得到如公式(4)所示的隐变量z：
z＝μ(X，Y)+ε*σ0.5(X，Y) (4)
其中，z为编码器所输出的编码；
为了运用编码器进行图像降质，需要将后验概率P(Y|X)改为P(T|X)的形式，其中T为X对应的目标的清晰高分辨率图像。如图2所示，编码器包括降质编码器和内容编码 器，其中，内容编码器的目的是压缩清晰图像以学习图像包含的内容信息，即均值μ； 降质编码器的目的是摒弃图像中的内容信息，编码图像中的降质模式，即方差σ。然后 使用重参数方法合成隐变量z。编码器的训练过程数学定义为如下公式(5)：
Figure BDA0003105156890000051
其中，N为批次大小，n为批次中每张图像编号。
解码器的目的是从重参数后的隐变量z中合成将高分辨率清晰图像降质得到的低分 辨率图像。因此，将编码器的输出隐变量z输入解码器，则输出重建的低分辨率图像， 即降质的低分辨率图像。通过不同的重参数过程，可以使用同一张高分辨率清晰图像获 得不同的降质低分辨率图像。
本发明提供的降质变分自编码网络可以生成基于真实世界图像的低分辨率降质图 像，该基于降质变分自编码网络并不需要使用判别器来判断生成的图像是低分辨率降质 图像还是高分辨率清晰图像，以提高训练稳定性。本发明提出的降质变分自编码网络的编码器可以提取高分辨率清晰图像的内容信息并对图像内容进行编码，同时提取降质低分辨率图像的噪声分布以及降质模式等信息，并进行编码。然后解码器使用重参数策略 将降质编码与内容编码进行重参数得到隐向量，然后使用解码器解码，以重建低分辨率 图像。
传统的基于深度卷积神经网络的图像超分辨率重建方法需要成对的低分辨率图像 和高分辨率图像来训练超分辨网络。当无法得到成对的真实世界低分辨率图像和高分辨 率图像时，模拟的降采样方法效果较差。本发明提出的方法针对非成对的真实世界低分辨率图像和高分辨率清晰图像，使用降质变分自编码网络模拟真实世界低分辨率图像降质模式，可以有效解决真实世界低分辨率图像超分辨率重建问题。
在一个实施例中，上述步骤S3：将高分辨率图像输入降质变分自编码网络，得到对应的低清图像；将低清图像输入超分辨网络，得到重建的高分辨率图像；
本步骤具体实现方式同步骤S2，此处不再赘述。
在一个实施例中，上述步骤S4：构建循环一致损失函数，根据低分辨率图像和重建的低分辨率图像，以及高分辨率图像和重建的高分辨率图像计算循环一致损失函数，同 时训练超分辨网络和降质变分自编码网络；其中，循环一致损失函数如公式(5)所示：
Figure BDA0003105156890000061
其中，L1为模型训练的循环一致损失函数；C为图像通道数；H、W分别为输入图 像高和宽，而c、h、w即输入图像的像素坐标；X为低分辨率图像，Y为高分辨率图像 s表示超分辨网络，g表示降质变分自编码网络。
如图3所示，本发明实施例使用了基于循环一致损失函数的训练策略来训练降质变 分自编码网络和超分辨网络。降质变分自编码网络可以对高分辨率清晰图像进行降质处 理，生成降质的低分辨率图像。而超分辨网络可以对降质图像进行超分辨率重建，生成清晰的高分辨率图像。当引入循环训练策略后，首先使用超分辨网络对真实世界低分辨 率图像进行超分辨率重建，重建得到对应的高分辨率清晰图像。然后使用降质变分自编 码网络对重建的高分辨率清晰图像注入从原始低分辨率图像中提取的噪声和降质，重建 得到原始的降质低分辨率图像，计算循环一致损失函数。同时，使用降质变分自编码网 络对真实高分辨率图像进行降质操作，其中的噪声和降质是之前从真实低分辨率图像中 提取得到的。然后再使用超分辨网络重建恢复原始的高分辨率清晰图像，计算循环一致 损失函数。循环一致损失函数的引入可以在无监督不使用判别器的情况下，同时训练降 质变分自编码网络和超分辨网络。
由于L1损失函数容易造成模糊，使生成的超分辨率图像缺乏高频细节。因此需要添加对于高频信息的约束。为此，本发明实施例在超分辨网络中添加了判别器网络，其 将高分辨率清晰图像和超分辨率图像作为输入，用于区分真实图像和生成图像。对抗损 失函数的目的是区分真实高分辨率图像和超分辨率生成图像之间的高频区别。鉴于对于 真实低质量图像没有对应的高分辨率图像，因此只对真实高分辨率图像分支采用判别器 网络。为了进一步提高生成图像的纹理细节，本发明实施例使用预训练的VGG19模型 提取特征图用于计算语义损失。真实高分辨率图像分支和真实低质量图像分支都需要输 入到VGG19网络计算特征图，其中使用第4层卷积层最大值池化之前的特征图来计算 语义损失函数。最终训练完成的超分辨网络处理效果如图4A～图4D所示，其中，图4A 为真实世界低分辨率图像，图4B为基于高斯白噪声的数据训练数据方法生成的图像， 图4C为基于生成对抗网络的训练数据方法生成的图像，图4D为本发明提出的基于降 质变分自编码器的超分辨网络方法生成的图像。可见本发明提出方法可以恢复更真实的 图像纹理细节。
传统的模拟真实世界低分辨率图像降质模式的方法，通常基于生成对抗网络训练图 像降质模型。基于生成对抗网络的无监督训练方法容易训练效果不稳定，应用于图像超分辨效果并不理想。本发明提供的降质变分自编码网络来学习真实世界低分辨率图像降质模式。降质变分自编码网络使用逐像素的重建损失函数训练降质模型，对降质模式的 模拟更加准确，提高模拟效果。
实施例二
如图5所示，本发明实施例提供了一种基于降质变分自编码器的真实世界图像超分 辨系统，包括下述模块：
获取训练图像模块，用于获取训练数据集，并对数据集进行预处理，得到处理好的低分辨率图像和高分辨率图像；
获取重建的低分辨率图像模块，用于将低分辨率图像输入超分辨网络，得到对应的 高清图像；将高清图像输入降质变分自编码网络，得到重建的低分辨率图像；
获取重建的高分辨率图像模块，用于将高分辨率图像输入降质变分自编码网络，得 到对应的低清图像；将低清图像输入超分辨网络，得到重建的高分辨率图像；
训练超分辨网络和降质变分自编码网络模块，用于根据低分辨率图像和重建的低分 辨率图像，以及高分辨率图像和重建的高分辨率图像计算循环一致损失函数，同时训练超分辨网络和降质变分自编码网络。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发 明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修 改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于降质变分自编码器的真实世界图像超分辨方法，其特征在于，包括：
步骤S1：获取训练数据集，并对所述数据集进行预处理，得到处理好的低分辨率图像和高分辨率图像；
步骤S2：将所述低分辨率图像输入超分辨网络，得到对应的高清图像；将所述高清图像输入降质变分自编码网络，得到重建的低分辨率图像；
步骤S3：将所述高分辨率图像输入所述降质变分自编码网络，得到对应的低清图像；将所述低清图像输入超分辨网络，得到重建的高分辨率图像；
步骤S4：构建循环一致损失函数，根据所述低分辨率图像和重建的低分辨率图像，以及所述高分辨率图像和所述重建的高分辨率图像计算循环一致损失函数，同时训练所述超分辨网络和所述降质变分自编码网络。
2.根据权利要求1所述的基于降质变分自编码器的真实世界图像超分辨方法，其特征在于，所述步骤S2中所述降质变分自编码网络包括：编码器和解码器；
其中，所述编码器如下述公式(1)所示：
P(Y|X)＝∫P(T|X，z)P(z|X)dz (1)
其中，Y为输入的所述高清图像，X为输出低清图像，向量z是从高斯分布N(0,I)中采样得到；
将贝叶斯公式引入到公式(1)可以得到公式(2)：
Figure FDA0003105156880000011
其中，θ为所述编码器的参数，Qθ(z|X,Y)为已知X和Y的情况下使用所述参数θ估计得到的z的分布；
引入KL散度后，公式(2)可以表示为公式(3)：
Figure FDA0003105156880000012
其中，KL[p|q]表示p和q两个分布之间的KL散度，其中，所述KL散度来表示估计分布Qθ(z|X,Y)与真实分布Pθ(z|X)之间的分布差异；
利用重参数方法从所述估计分布Qθ(z|X,Y)中随机采样，得到如公式(4)所示的隐变量z：
z＝μ(X，Y)+ε*σ0.5(X，Y) (4)
其中，z为所述编码器所输出的编码；
将所述z输入所述解码器，输出所述重建的低分辨率图像。
3.根据权利要求1所述的基于降质变分自编码器的真实世界图像超分辨方法，其特征在于，所述步骤S4中循环一致损失函数如公式(5)所示：
Figure FDA0003105156880000021
其中，L1为模型训练的循环一致损失函数；C为图像通道数；H、W分别为输入图像高和宽，而c、h、w即所述输入图像的像素坐标；X为所述低分辨率图像，Y为所述高分辨率图像s表示所述超分辨网络，g表示所述降质变分自编码网络。
4.一种基于降质变分自编码器的真实世界图像超分辨系统，其特征在于，包括下述模块：
获取训练图像模块，用于获取训练数据集，并对所述数据集进行预处理，得到处理好的低分辨率图像和高分辨率图像；
获取重建的低分辨率图像模块，用于将所述低分辨率图像输入超分辨网络，得到对应的高清图像；将所述高清图像输入降质变分自编码网络，得到重建的低分辨率图像；
获取重建的高分辨率图像模块，用于将所述高分辨率图像输入所述降质变分自编码网络，得到对应的低清图像；将所述低清图像输入超分辨网络，得到重建的高分辨率图像；
训练超分辨网络和降质变分自编码网络模块，用于根据所述低分辨率图像和重建的低分辨率图像，以及所述高分辨率图像和所述重建的高分辨率图像计算循环一致损失函数，同时训练所述超分辨网络和所述降质变分自编码网络。
CN202110635893.7A 2021-06-08 基于降质变分自编码器的真实世界图像超分辨方法及系统 Active CN113379601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110635893.7A CN113379601B (zh) 2021-06-08 基于降质变分自编码器的真实世界图像超分辨方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110635893.7A CN113379601B (zh) 2021-06-08 基于降质变分自编码器的真实世界图像超分辨方法及系统

Publications (2)

Publication Number Publication Date
CN113379601A true CN113379601A (zh) 2021-09-10
CN113379601B CN113379601B (zh) 2024-05-28

Family

ID=

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387166A (zh) * 2022-01-14 2022-04-22 上海交通大学 基于频域感知的真实世界单幅图像超分辨的重建方法
CN115115512A (zh) * 2022-06-13 2022-09-27 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN115880158A (zh) * 2023-01-30 2023-03-31 西安邮电大学 一种基于变分自编码的盲图像超分辨率重建方法及系统
WO2023050587A1 (zh) * 2021-09-30 2023-04-06 深圳先进技术研究院 一种暗场超分辨率成像方法、模型评估方法及系统
CN116152054A (zh) * 2022-11-01 2023-05-23 海飞科(南京)信息技术有限公司 利用时间迭代方式来提高存储量和回忆精度的图像超分辨率方法
CN116823625A (zh) * 2023-08-30 2023-09-29 之江实验室 基于变分自编码器的跨对比度磁共振超分辨率方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815516A (zh) * 2020-07-08 2020-10-23 北京航空航天大学 一种弱监督红外遥感图像超分辨率重建方法
US20200356810A1 (en) * 2019-05-06 2020-11-12 Agora Lab, Inc. Effective Structure Keeping for Generative Adversarial Networks for Single Image Super Resolution
CN112288627A (zh) * 2020-10-23 2021-01-29 武汉大学 一种面向识别的低分辨率人脸图像超分辨率方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200356810A1 (en) * 2019-05-06 2020-11-12 Agora Lab, Inc. Effective Structure Keeping for Generative Adversarial Networks for Single Image Super Resolution
CN111815516A (zh) * 2020-07-08 2020-10-23 北京航空航天大学 一种弱监督红外遥感图像超分辨率重建方法
CN112288627A (zh) * 2020-10-23 2021-01-29 武汉大学 一种面向识别的低分辨率人脸图像超分辨率方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏健民;杨岚心;: "基于生成对抗网络的单帧遥感图像超分辨率", 计算机工程与应用, no. 12 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023050587A1 (zh) * 2021-09-30 2023-04-06 深圳先进技术研究院 一种暗场超分辨率成像方法、模型评估方法及系统
CN114387166A (zh) * 2022-01-14 2022-04-22 上海交通大学 基于频域感知的真实世界单幅图像超分辨的重建方法
CN115115512A (zh) * 2022-06-13 2022-09-27 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN115115512B (zh) * 2022-06-13 2023-10-03 荣耀终端有限公司 一种图像超分网络的训练方法及装置
CN116152054A (zh) * 2022-11-01 2023-05-23 海飞科(南京)信息技术有限公司 利用时间迭代方式来提高存储量和回忆精度的图像超分辨率方法
CN116152054B (zh) * 2022-11-01 2024-03-01 海飞科(南京)信息技术有限公司 利用时间迭代方式来提高存储量和回忆精度的图像超分辨率方法
CN115880158A (zh) * 2023-01-30 2023-03-31 西安邮电大学 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN115880158B (zh) * 2023-01-30 2023-10-27 西安邮电大学 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN116823625A (zh) * 2023-08-30 2023-09-29 之江实验室 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
CN116823625B (zh) * 2023-08-30 2023-12-12 之江实验室 基于变分自编码器的跨对比度磁共振超分辨率方法和系统

Similar Documents

Publication Publication Date Title
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN112085677A (zh) 一种图像处理方法、系统和计算机存储介质
CN112116601B (zh) 基于生成对抗残差网络的压缩感知采样重建方法及系统
CN111833277B (zh) 一种具有非配对多尺度混合编解码结构的海上图像去雾方法
CN111127325B (zh) 基于循环神经网络的卫星视频超分辨率重建方法及系统
CN108491836A (zh) 一种自然场景图像中中文文本整体识别方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN111797891A (zh) 基于生成对抗网络的非成对异质人脸图像生成方法、装置
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN116757955A (zh) 一种基于全维动态卷积多融合对比网络
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN112288626B (zh) 一种基于双路径深度融合的人脸幻构方法及系统
CN116523985B (zh) 一种结构和纹理特征引导的双编码器图像修复方法
CN115880158B (zh) 一种基于变分自编码的盲图像超分辨率重建方法及系统
CN113379601B (zh) 基于降质变分自编码器的真实世界图像超分辨方法及系统
CN113095991B (zh) 一种基于深度学习的高动态范围图像隐写和恢复方法
CN113379601A (zh) 基于降质变分自编码器的真实世界图像超分辨方法及系统
CN113298719B (zh) 基于特征分离学习的低分辨模糊人脸图像超分辨重建方法
CN113920421B (zh) 一种快速分类的全卷积神经网络模型
CN114936977A (zh) 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN114494387A (zh) 一种生成数据集网络模型及雾图生成方法
CN117173263B (zh) 基于增强型多尺度残差生成对抗网络的图像压缩方法
CN117893434A (zh) 基于小波分解与交叉窗口former结构的双解码器降噪算法
CN116416362A (zh) 基于生成对抗网络的高质量材质贴图获取方法及系统
Zou et al. 3D Reconstruction of Optical Building Images Based on Improved 3D-R2N2 Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant