CN115082296B - 一种基于小波域图像生成框架的图像生成方法 - Google Patents
一种基于小波域图像生成框架的图像生成方法 Download PDFInfo
- Publication number
- CN115082296B CN115082296B CN202210813730.8A CN202210813730A CN115082296B CN 115082296 B CN115082296 B CN 115082296B CN 202210813730 A CN202210813730 A CN 202210813730A CN 115082296 B CN115082296 B CN 115082296B
- Authority
- CN
- China
- Prior art keywords
- image
- image generation
- frequency
- loss
- wavelet domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 15
- 229910052739 hydrogen Inorganic materials 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 30
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 230000005012 migration Effects 0.000 description 12
- 238000013508 migration Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000013519 translation Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 101100285518 Drosophila melanogaster how gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于小波域图像生成框架的图像生成方法。本发明利用高斯核和小波变换在保留图像的频率信息方面的补充性，提出小波域图像生成框架WDIG，分别在像素空间和小波域空间构建损失函数。在像素空间，通过设定合适的高斯核，采用高斯模糊方法，得到信号的低频和高频特征信息，通过低频和高频特征信息构建L1范数空间域重构损失函数。在小波域空间，通过小波变换得到对应的通道子带系数，将图像分离为高频信息和低频信息，通过子带系数构建L1范数频域重构损失函数。本发明在训练过程中能更好地计算生成图像丢失的细节信息，更准确约束模型训练，以精确优化模型，提高基于深度学习的图像生成任务生成图像的质量。
Description
技术领域
本发明涉及深度学习及图像生成领域，具体涉及一种基于小波域图像生成框架的图像生成方法。
背景技术
图像生成是计算机视觉领域的一大关键任务，广义的图像生成包括图像的颜色生成、纹理生成以及内容生成等方面，目的是将人类的感知通过计算机以图像的形式进行表达，具有广泛的应用价值，可应用到艺术创作、工业设计、影视娱乐、数字化模拟、公共安全等领域。而通过图像处理软件手动创作设计实现图像生成耗时耗力，因此基于模型算法的图像生成由于其自动化、低成本的优势成为计算机视觉领域一大研究热点。
图像生成将原始图像或随机变量输入到生成模型生成图像，从纯粹的关系信息、稀疏或密集度量的深度信息到单个对象甚至多种场景。所以设计一种有效、兼容、稳定的框架，提升图像生成模型的性能，是一项非常有意义的研究。
基于深度学习的图像生成包括图像风格迁移、图像翻译、图像修复、图像编辑、GANInversion等，目前在这些任务中，依旧使用像素空间的传统损失函数，如逐像素损失、感知损失、对抗损失等来约束模型训练。然而，像素空间不能直接对图像中纹理、颜色等低频概貌信息及内容结构、身份等高频细节信息进行显示分离，因此像素空间的传统损失函数无法对损失的低频概貌及高频细节有针对地计算，无法约束模型训练过程中保持细节信息，导致生成图像质量存在缺陷。
现有基于深度学习的图像生成模型生成图像的质量存在如下缺陷：风格迁移存在风格化图像结构扭曲的问题，图像翻译存在翻译图像丢失源域身份信息的问题，GANInversion嵌入的隐变量不能准确代表输入图像。
因此提出一种适用于基于深度学习的图像生成任务的损失函数框架小波域图像生成框架，替代像素空间的传统损失函数，在图像生成模型训练过程中精确优化模型，最终提高图像生成模型生成图像的质量。
本发明利用高斯核和小波变换在保留图像的频率信息方面的补充性，提出小波域图像生成框架WDIG(wavelet domain image generation)，分别在像素空间和小波域空间构建损失函数，有针对地对图像生成任务中损失的低频概貌及高频细节进行计算。在像素空间，通过设定合适的高斯核，采用高斯模糊方法，得到信号的低频和高频特征信息，针对低频和高频特征信息构建L1范数空间域重构损失函数。在小波域空间，通过小波变换得到对应的通道子带系数，将图像显式分离为高频信息和低频信息，分别针对子带系数构建L1范数频域重构损失函数。WDIG在训练过程中更好地计算生成图像丢失的细节信息，更准确约束模型训练，以精确优化模型，提高图像生成模型生成图像的质量。
发明内容
本发明的目的在于提出一种基于小波域图像生成框架的图像生成方法；
本发明具体包括如下步骤：
步骤一、获取图像生成模型所需的多个数据集并进行预处理；
步骤二、输入图像X至任意图像生成模型，得到图像生成模型重建图像X’和图像生成模型生成图像XY；
步骤三、小波域图像生成框架搭建并应用到多种图像生成模型上进行训练；
3-1.搭建小波域图像生成框架：
在像素空间，通过设定高斯核，采用高斯模糊方法，得到图像X、图像生成模型重建图像X’和图像生成模型生成图像XY的低频和高频特征信息，根据低频和高频特征信息构建L1范数空间域重构损失函数；
在小波域空间，通过小波变换得到对应的通道子带系数，将图像X、图像生成模型重建图像X’和图像生成模型生成图像XY分离为高频信息和低频信息，根据子带系数构建L1范数频域重构损失函数。
考虑到所有上述损失以及图像生成模型本身的损失函数，从而计算整体的损失。
3-2.将小波域图像生成框架应用到多种图像生成模型中进行训练：
将步骤一预处理后训练集、步骤3-1构建的小波域图像生成框架输入相应图像生成模型中进行训练；在小波域图像生成框架得到的高频信息与低频信息上，利用重构损失函数计算图像生成模型生成图像与目标图像的损失值。通过损失值反向传播，网络迭代参数不断减小损失值以完成训练。
步骤四、输入图像到经步骤三训练的多种图像生成模型中，最终生成高质量的图像。
进一步的，所述像素空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，在X与X’的高频与低频上分别对应计算L1损失，然后相加；结构损失的计算对象为X与XY，在X与XY的高频上对应计算L1损失。
进一步的，在所述小波域空间，应用小波变换将图像X、图像生成模型重建图像X’和图像生成模型生成图像XY分别分解成子带图A,V,H,D，其中A对应低频信息、V代表垂直高频信息、H代表水平高频信息、D代表对角高频信息。
小波域空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，将代表高频与低频信息的四个子带图A,V,H,D拼接，在X与X’拼接的子带图[A,V,H,D]上计算L1损失；结构损失的计算对象为X和XY，将代表高频信息的子带图V,H,D拼接成矩阵[V,H,D]，计算L1损失。
进一步的所述高斯核卷积其中[i,j]表示图像的空间位置，σ 2表示高斯函数的方差，方差与高斯核大小成正比。
在图像X、图像生成模型重建图像X’和图像生成模型生成图像XY上使用高斯核的卷积，得到模糊的低频图像其中m，n是2D高斯核的索引，/>是卷积操作。
将输入图像X、图像生成模型重建图像X’和图像生成模型生成图像XY转换为灰度图，减去灰度图的低频信息，得到了表示输入图像边缘结构的高频图像xH＝rgb2gray(x)-(rgb2gray(x))L；其中rgb2gray表示将彩色图像转换到灰度图的方法。
本发明中在像素空间用高斯核分离高频和低频，在小波域空间用小波变换分离高频和低频，两者在保存频率信息方面是互补的。高斯核通过卷积来提取频率信息，表示局部的频率特征，小波变换利用来自整张图像所有像素的信息分解频率信息，能够表示全局的频率特征。
本发明改进在于模型训练过程中，计算损失的方式与传统方法发生了很大变化，使用所述小波域图像生成框架分离的图像高频信息与低频信息计算损失，替换传统的在图像像素值上计算损失；在图像的高频信息与低频信息上分离地计算损失，使得训练阶段用以优化多种图像生成模型的损失函数计算更加精确，从而提升训练得到的图像生成模型生成图像的质量。
本发明面向图像生成领域，利用高斯核和小波变换在保留图像的频率信息方面的补充性，分别在像素空间和小波域空间构建损失函数。通过使用小波域图像生成框架约束图像生成模型更精准地训练，提升了图像生成模型图像生成质量，解决了图像生成领域存在的以下问题：风格迁移中风格化图像结构扭曲且存在伪影的问题，图像翻译中翻译图像丢失源域身份信息的问题，GAN Inversion中嵌入的隐变量不能准确代表输入图像的问题。
附图说明
图1是本发明中小波域图像生成框架详细结构图。
图2是本发明中使用高斯核卷积得到的高频、低频效果图。
图3是本发明中使用小波变换得到的高频、低频子带图。
图4是AdaIN和StyTr2的风格迁移效果图，以及将FDIT框架与WDIG框架分别应用到AdaIN和StyTr2后的风格迁移效果图。
图5是Image2StyleGAN图像重建效果图，以及将FDIT框架与WDIG框架分别应用到Image2StyleGAN后的图像重建效果图。
具体实施方式
下面结合具体实施例对本发明做进一步分析。
一种基于小波域图像生成框架的图像生成方法，具体包括如下步骤：
步骤一、数据获取和预处理模块，用于获取图像，调整格式与大小，构建训练集；
数据来源为MSCOCO、WikiArt、CelebA-HQ公开数据集，对数据集中的图像数据进行预处理，预处理方法包括二维图像缩放、裁剪。
步骤二、输入经步骤一处理的任意图像X至任意图像生成模型，得到图像生成模型重建图像X’和图像生成模型生成图像XY；图像生成模型包括图像风格迁移、图像翻译、GANInversion等。
步骤三、小波域图像生成框架搭建并应用到多种图像生成模型上进行训练。
3-1.搭建小波域图像生成框架：
如图1所示，利用高斯核和小波变换在保留图像的频率信息方面的补充性，分别在像素空间和小波域空间构建损失函数。
在像素空间，使用高斯核卷积Guassian Filter将图像X、图像生成模型重建图像X’和图像生成模型生成图像XY各自分离为高频图像和低频图像。
在像素空间，通过设定合适的高斯核，采用高斯模糊方法，得到信号的低频和高频特征信息，针对低频和高频特征信息构建L1范数空间域重构损失函数，具体为：
所述高斯核卷积分离高频和低频时，设置不同的高斯核大小会达到不同的效果低频部分保留了图像的纹理和颜色信息；高频部分保留了图像的内容结构和身份信息，k为高斯核尺寸大小，高斯核尺寸越大，得到的低频图像越模糊，高频图像越清晰。为避免高频和低频区域的失真，本实施例设置高斯核的尺寸k＝21。高斯核卷积其中[i,j]表示图像的空间位置，σ 2表示高斯函数的方差，方差与高斯核大小成正比。
在输入图像(包括图像X、图像生成模型重建图像X’和图像生成模型生成图像XY)上使用高斯核的卷积，得到模糊的低频图像其中m，n是2D高斯核的索引，/>是卷积操作。
将输入图像(包括图像X、图像生成模型重建图像X’和图像生成模型生成图像XY)转换为灰度图，减去灰度图的低频信息，得到了表示输入图像边缘结构的高频图像xH＝rgb2gray(x)-(rgb2gray(x))L；其中rgb2gray表示将彩色图像转换到灰度图的方法，由于结构和身份信息与颜色和光照无关，因此将图像转到灰度图消除无关信息。
像素空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，在X与X’的高频与低频上分别对应计算L1损失，然后相加，像素空间的重建损失Lrec,pix＝||XL-X'L||1+||XH-X'H||1；结构损失的计算对象为X与XY，在X与XY的高频上对应计算L1损失，像素空间的结构损失Lstru,pix＝||XH-(XY)H||1；
在小波域空间，通过小波变换得到对应的通道子带系数，将图像X、图像生成模型重建图像X’和图像生成模型生成图像XY分离为高频信息和低频信息，分别针对子带系数构建L1范数频域重构损失函数。在小波域空间，应用小波变换将三者各自分解成子带图A,V,H,D，其中A对应低频信息、V代表垂直高频信息、H代表水平高频信息、D代表对角高频信息。
所述小波变换采用二维离散小波变换DWT，将图像从像素空间映射到小波域空间，如图3所示，DWT有4个卷积滤波器：低通滤波器fLL及高通滤波器fLH，fHL，fHH，能够将图像分解到4个子带图A,V,H,D，其中A对应低频信息、V代表垂直高频信息、H代表水平高频信息、D代表对角高频信息。本实施例中使用Haar小波，四个滤波器分别是：DWT的操作被定义为：/>其中/>是卷积操作，↓2表示因子为2的标准下采样操作，即DWT在数学上涉及四个步幅为2的固定卷积滤波器来实现下采样操作。
所述小波域空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，将代表高频与低频信息的四个子带图A,V,H,D拼接，在X与X’拼接的子带图[A,V,H,D]上计算L1损失，小波域空间的重建损失Lrec,wav＝||DWT(X)[A,V,H,D]-DWT(X')[A,V,H,D]||1；结构损失的计算对象为X和XY，将代表高频信息的子带图V,H,D拼接成矩阵[V,H,D]，计算L1损失，小波域空间的结构损失Lstru,wav＝||DWT(X)[V,H,D]-DWT(XY)[V,H,D]||1；
考虑到所有上述损失，整体的损失函数
LWDIG＝Lorg+λ1Lrec,pix+λ2Lstru,pix+λ3Lrec,wav+λ4Lstru,wav；
其中，Lorg是图像生成模型本身的损失函数，本实施例中设置各项损失权重λ1＝λ2＝λ3＝λ4＝1。
3-2.应用小波域图像生成框架到多类图像生成子任务模型进行训练
将训练集、步骤3-1构建的小波域图像生成框架应用到多种图像生成模型中进行训练。在小波域图像生成框架得到的高频信息与低频信息上，利用重构损失函数计算图像生成模型生成图像与目标图像的损失值。通过损失值反向传播，网络迭代参数不断减小损失值以完成训练。
步骤四、输入图像到经步骤三训练的多种图像生成模型中，最终生成高质量的图像。
在多种图像生成模型上，应用本发明训练的小波域图像生成框架模型，与不使用损失函数框架训练的模型，以及应用目前一种基于傅里叶变换分离高频低频的损失函数框架FDIT训练好的模型，对比其生成图像效果，计算相关定量指标。在图像风格迁移上的实验效果如图4，定量指标如表1；在图像翻译上的定量指标如表2；在GAN Inversion上的实验效果如图5，定量指标如表3和表4。本发明小波域图像生成框架WDIG在多种图像生成模型上均能取得效果提升，从视觉效果看，在风格迁移任务中应用WDIG框架可以使风格化图像结构扭曲以及存在伪影的问题减轻；在图像翻译任务中应用WDIG框架可以使翻译图像不丢失源域图像的身份信息，性别没有发生改变；在GAN Inversion任务中应用WDIG框架可以使嵌入的隐变量更准确，通过隐变量生成的图像与输入图像一致性高，没有发生色彩改变或模糊现象。在定量指标上，在风格迁移任务中应用了结构相似性SSIM指标以及峰值信噪比PSNR指标，SSIM是一种衡量两幅图像相似度的指标，SSIM值越接近于1代表结构越相似；PSNR通过均方差定义，表示图像质量的好坏，值越高代表生成图像质量越高。在图像翻译任务中应用了FID指标以及感知距离LPIPS指标，FID指标使用在ImageNet上预训练的Inception-V3的最后一个平均池化层输出的特征向量计算得到，用于测量两组图像之间的差异，FID值越低代表两组图像越相似，身份信息越接近；LPIPS值使用在ImageNet上预训练的AlexNet提取的特征向量计算得到，测量生成图像的多样性，越低代表生成图像与源域图像越相似。在GAN Inversion任务中应用了SSIM、PSNR、均方误差MSE、平均绝对误差MAE、FID指标，MSE与MAE也用来测量重建图像与原图像的差异，值越低代表两者越接近。在图像风格迁移模型AdaIN上，WDIG框架将SSIM指标提升了64.8％、PSNR指标提升了19.4％，在图像风格迁移模型StyTr2上，WDIG框架将SSIM指标提升了44.6％、PSNR指标提升了20.2％。在图像翻译模型StarGANv2上，WDIG框架将FID指标提升了16.3％，将LPIPS指标提升了33.3％。在GANInversion模型Image2StyleGAN上，WDIG在SSIM指标提升了1.5％、PSNR指标提升了4.3％、MSE指标提升了24.1％、MAE指标提升了17.8％、FID指标提升了9.7％。
本发明的小波域图像生成框架WDIG应用到大部分图像生成模型后，生成图像的视觉效果及定量指标优于FDIT框架，部分略低于FDIT框架。但基于傅里叶变换的FDIT框架需要设置掩码半径以区分图像的高频和低频，掩码半径的大小与图像尺寸紧密相关，若掩码半径设置不合理，则不能准确分离高低频信息。在图像生成领域，针对不同任务，训练图像的尺寸并不固定，掩码半径难以选取。而本发明的WDIG利用小波变换显式分离图像的高频和低频信息，无需考虑掩码半径的问题，更简单有效。
表1不同风格迁移模型生成的风格化图像与内容图像计算得到的SSIM值及PSNR值、风格化时间
表2不同图像翻译模型生成图像与源域图像计算得到的FID值及LPIPS值
表3不同GAN Inversion模型重建图像与输入图像计算得到的SSIM值、PSNR值、MSE值、MAE值
表4Image2StyleGAN上添加像素空间损失、傅里叶空间损失、小波域空间损失训练的FID值对比
Claims (4)
1.一种基于小波域图像生成框架的图像生成方法，其特征在于该方法包括以下步骤：
步骤一、获取图像生成模型所需的多个数据集并进行预处理；
步骤二、输入图像X至任意图像生成模型，得到图像生成模型重建图像X’和图像生成模型生成图像XY；
步骤三、小波域图像生成框架搭建并应用到多种图像生成模型上进行训练；
3-1.搭建小波域图像生成框架：
在像素空间，通过设定高斯核，采用高斯模糊方法，得到图像X、图像生成模型重建图像X’和图像生成模型生成图像XY的低频和高频特征信息，根据低频和高频特征信息构建L1范数空间域重构损失函数；
在小波域空间，通过小波变换得到对应的通道子带系数，将图像X、图像生成模型重建图像X’和图像生成模型生成图像XY分离为高频信息和低频信息，根据子带系数构建L1范数频域重构损失函数；
考虑到所有上述损失以及图像生成模型本身的损失函数，从而计算整体的损失；
3-2.将小波域图像生成框架应用到多种图像生成模型中进行训练：
将步骤一预处理后训练集、步骤3-1构建的小波域图像生成框架输入相应图像生成模型中进行训练；在小波域图像生成框架得到的高频信息与低频信息上，利用重构损失函数计算图像生成模型生成图像与目标图像的损失值；通过损失值反向传播，网络迭代参数不断减小损失值以完成训练；
步骤四、输入图像到经步骤三训练的多种图像生成模型中，最终生成高质量的图像。
2.根据权利要求1所述的一种基于小波域图像生成框架的图像生成方法，其特征在于：
所述像素空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，在X与X’的高频与低频上分别对应计算L1损失，然后相加；结构损失的计算对象为X与XY，在X与XY的高频上对应计算L1损失。
3.根据权利要求2所述的一种基于小波域图像生成框架的图像生成方法，其特征在于：在所述小波域空间，应用小波变换将图像X、图像生成模型重建图像X’和图像生成模型生成图像XY分别分解成子带图A,V,H,D，其中A对应低频信息、V代表垂直高频信息、H代表水平高频信息、D代表对角高频信息；
小波域空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，将代表高频与低频信息的四个子带图A,V,H,D拼接，在X与X’拼接的子带图[A,V,H,D]上计算L1损失；结构损失的计算对象为X和XY，将代表高频信息的子带图V,H,D拼接成矩阵[V,H,D]，计算L1损失。
4.根据权利要求1所述的一种基于小波域图像生成框架的图像生成方法，其特征在于：所述高斯核卷积其中[i,j]表示图像的空间位置，σ2表示高斯函数的方差，方差与高斯核大小成正比；
在图像X、图像生成模型重建图像X’和图像生成模型生成图像XY上使用高斯核的卷积，得到模糊的低频图像其中m，n是2D高斯核的索引， 是卷积操作；
将输入图像X、图像生成模型重建图像X’和图像生成模型生成图像XY转换为灰度图，减去灰度图的低频信息，得到了表示输入图像边缘结构的高频图像
xH＝rgb2gray(x)-(rgb2gray(x))L；其中rgb2gray表示将彩色图像转换到灰度图的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210813730.8A CN115082296B (zh) | 2022-07-11 | 2022-07-11 | 一种基于小波域图像生成框架的图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210813730.8A CN115082296B (zh) | 2022-07-11 | 2022-07-11 | 一种基于小波域图像生成框架的图像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082296A CN115082296A (zh) | 2022-09-20 |
| CN115082296B true CN115082296B (zh) | 2024-05-14 |
Family
ID=83260235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210813730.8A Active CN115082296B (zh) | 2022-07-11 | 2022-07-11 | 一种基于小波域图像生成框架的图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082296B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071268B (zh) * | 2023-03-01 | 2023-06-23 | 中国民用航空飞行学院 | 基于对比学习的图像去光照模型及其训练方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011069055A2 (en) * | 2009-12-04 | 2011-06-09 | Stc.Unm | System and methods of compressed sensing as applied to computer graphics and computer imaging |
| CN111612695A (zh) * | 2020-05-19 | 2020-09-01 | 华侨大学 | 一种低分辨率人脸图像超分辨重建方法 |
| WO2021185225A1 (zh) * | 2020-03-16 | 2021-09-23 | 徐州工程学院 | 基于自适应调整的图像超分辨率重建方法 |
| CN113808042A (zh) * | 2021-09-16 | 2021-12-17 | 沈阳工业大学 | 一种基于小波变换和生成对抗网络的sar图像去噪方法 |
| CN114581341A (zh) * | 2022-03-28 | 2022-06-03 | 杭州师范大学 | 一种基于深度学习的图像风格迁移方法及系统 |
| CN114677263A (zh) * | 2022-03-11 | 2022-06-28 | 深圳湾实验室 | Ct图像与mri图像的跨模态转换方法和装置 |
-
2022
- 2022-07-11 CN CN202210813730.8A patent/CN115082296B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011069055A2 (en) * | 2009-12-04 | 2011-06-09 | Stc.Unm | System and methods of compressed sensing as applied to computer graphics and computer imaging |
| WO2021185225A1 (zh) * | 2020-03-16 | 2021-09-23 | 徐州工程学院 | 基于自适应调整的图像超分辨率重建方法 |
| CN111612695A (zh) * | 2020-05-19 | 2020-09-01 | 华侨大学 | 一种低分辨率人脸图像超分辨重建方法 |
| CN113808042A (zh) * | 2021-09-16 | 2021-12-17 | 沈阳工业大学 | 一种基于小波变换和生成对抗网络的sar图像去噪方法 |
| CN114677263A (zh) * | 2022-03-11 | 2022-06-28 | 深圳湾实验室 | Ct图像与mri图像的跨模态转换方法和装置 |
| CN114581341A (zh) * | 2022-03-28 | 2022-06-03 | 杭州师范大学 | 一种基于深度学习的图像风格迁移方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于三通道多小波紧标架的图像曲率修复模型;吕慧显;赵志刚;郭银景;王福驰;;光电子・激光;20160115(第01期);81-90 * |
| 基于小波域的深度残差网络图像超分辨率算法;段立娟;武春丽;恩擎;乔元华;张韵东;陈军成;;软件学报;20190415(第04期);81-93 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082296A (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
| CN111583123A (zh) | 一种基于小波变换的融合高低频信息的图像增强算法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
| CN103093433B (zh) | 基于区域划分和字典学习的自然图像去噪方法 | |
| CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN107798661B (zh) | 一种自适应的图像增强方法 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN112150354B (zh) | 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法 | |
| Dharejo et al. | A deep hybrid neural network for single image dehazing via wavelet transform | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN106920214A (zh) | 空间目标图像超分辨率重建方法 | |
| CN111462002B (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
| CN108492270A (zh) | 一种基于模糊核估计和变分重构的超分辨率方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN115082296B (zh) | 一种基于小波域图像生成框架的图像生成方法 | |
| Lei et al. | Low-light image enhancement using the cell vibration model | |
| Wang et al. | No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning | |
| CN111915518A (zh) | 基于三重低秩模型的高光谱图像去噪方法 | |
| Thai et al. | Contrast enhancement and details preservation of tone mapped high dynamic range images | |
| Thai et al. | Performance evaluation of high dynamic range image tone mapping operators based on separable non-linear multiresolution families | |
| CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| Thai et al. | Image tone mapping approach using essentially non-oscillatory bi-quadratic interpolations combined with a weighting coefficients strategy | |
| CN115511722A (zh) | 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法 | |
| CN113205471A (zh) | 基于Log-Gabor变换与方向区域熵的引导滤波遥感影像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |