CN115082296A - 一种基于小波域图像生成框架的图像生成方法 - Google Patents

Abstract

本发明公开一种基于小波域图像生成框架的图像生成方法。本发明利用高斯核和小波变换在保留图像的频率信息方面的补充性，提出小波域图像生成框架WDIG，分别在像素空间和小波域空间构建损失函数。在像素空间，通过设定合适的高斯核，采用高斯模糊方法，得到信号的低频和高频特征信息，通过低频和高频特征信息构建L₁范数空间域重构损失函数。在小波域空间，通过小波变换得到对应的通道子带系数，将图像分离为高频信息和低频信息，通过子带系数构建L₁范数频域重构损失函数。本发明在训练过程中能更好地计算生成图像丢失的细节信息，更准确约束模型训练，以精确优化模型，提高基于深度学习的图像生成任务生成图像的质量。

Description

一种基于小波域图像生成框架的图像生成方法

技术领域

本发明涉及深度学习及图像生成领域，具体涉及一种基于小波域图像生成框架的图像生成方法。

背景技术

图像生成是计算机视觉领域的一大关键任务，广义的图像生成包括图像的颜色生成、纹理生成以及内容生成等方面，目的是将人类的感知通过计算机以图像的形式进行表达，具有广泛的应用价值，可应用到艺术创作、工业设计、影视娱乐、数字化模拟、公共安全等领域。而通过图像处理软件手动创作设计实现图像生成耗时耗力，因此基于模型算法的图像生成由于其自动化、低成本的优势成为计算机视觉领域一大研究热点。

图像生成将原始图像或随机变量输入到生成模型生成图像，从纯粹的关系信息、稀疏或密集度量的深度信息到单个对象甚至多种场景。所以设计一种有效、兼容、稳定的框架，提升图像生成模型的性能，是一项非常有意义的研究。

基于深度学习的图像生成包括图像风格迁移、图像翻译、图像修复、图像编辑、GANInversion等，目前在这些任务中，依旧使用像素空间的传统损失函数，如逐像素损失、感知损失、对抗损失等来约束模型训练。然而，像素空间不能直接对图像中纹理、颜色等低频概貌信息及内容结构、身份等高频细节信息进行显示分离，因此像素空间的传统损失函数无法对损失的低频概貌及高频细节有针对地计算，无法约束模型训练过程中保持细节信息，导致生成图像质量存在缺陷。

现有基于深度学习的图像生成模型生成图像的质量存在如下缺陷：风格迁移存在风格化图像结构扭曲的问题，图像翻译存在翻译图像丢失源域身份信息的问题，GANInversion嵌入的隐变量不能准确代表输入图像。

因此提出一种适用于基于深度学习的图像生成任务的损失函数框架小波域图像生成框架，替代像素空间的传统损失函数，在图像生成模型训练过程中精确优化模型，最终提高图像生成模型生成图像的质量。

本发明利用高斯核和小波变换在保留图像的频率信息方面的补充性，提出小波域图像生成框架WDIG(wavelet domain image generation)，分别在像素空间和小波域空间构建损失函数，有针对地对图像生成任务中损失的低频概貌及高频细节进行计算。在像素空间，通过设定合适的高斯核，采用高斯模糊方法，得到信号的低频和高频特征信息，针对低频和高频特征信息构建L₁范数空间域重构损失函数。在小波域空间，通过小波变换得到对应的通道子带系数，将图像显式分离为高频信息和低频信息，分别针对子带系数构建L₁范数频域重构损失函数。WDIG在训练过程中更好地计算生成图像丢失的细节信息，更准确约束模型训练，以精确优化模型，提高图像生成模型生成图像的质量。

发明内容

本发明的目的在于提出一种基于小波域图像生成框架的图像生成方法；

本发明具体包括如下步骤：

步骤一、获取图像生成模型所需的多个数据集并进行预处理；

步骤二、输入图像X至任意图像生成模型，得到图像生成模型重建图像X’和图像生成模型生成图像X_Y；

步骤三、小波域图像生成框架搭建并应用到多种图像生成模型上进行训练；

3-1.搭建小波域图像生成框架：

在像素空间，通过设定高斯核，采用高斯模糊方法，得到图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y的低频和高频特征信息，根据低频和高频特征信息构建L₁范数空间域重构损失函数；

在小波域空间，通过小波变换得到对应的通道子带系数，将图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y分离为高频信息和低频信息，根据子带系数构建L₁范数频域重构损失函数。

考虑到所有上述损失以及图像生成模型本身的损失函数，从而计算整体的损失。

3-2.将小波域图像生成框架应用到多种图像生成模型中进行训练：

将步骤一预处理后训练集、步骤3-1构建的小波域图像生成框架输入相应图像生成模型中进行训练；在小波域图像生成框架得到的高频信息与低频信息上，利用重构损失函数计算图像生成模型生成图像与目标图像的损失值。通过损失值反向传播，网络迭代参数不断减小损失值以完成训练。

步骤四、输入图像到经步骤三训练的多种图像生成模型中，最终生成高质量的图像。

进一步的，所述像素空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，在X与X’的高频与低频上分别对应计算L₁损失，然后相加；结构损失的计算对象为X与X_Y，在X与X_Y的高频上对应计算L₁损失。

进一步的，在所述小波域空间，应用小波变换将图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y分别分解成子带图A,V,H,D，其中A对应低频信息、V代表垂直高频信息、H代表水平高频信息、D代表对角高频信息。

小波域空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，将代表高频与低频信息的四个子带图A,V,H,D拼接，在X与X’拼接的子带图[A,V,H,D]上计算L₁损失；结构损失的计算对象为X和X_Y，将代表高频信息的子带图V,H,D拼接成矩阵[V,H,D]，计算L₁损失。

进一步的所述高斯核卷积

其中[i,j]表示图像的空间位置，σ²表示高斯函数的方差，方差与高斯核大小成正比。

在图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y上使用高斯核的卷积，得到模糊的低频图像

其中m，n是2D高斯核的索引，

是卷积操作。

将输入图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y转换为灰度图，减去灰度图的低频信息，得到了表示输入图像边缘结构的高频图像x_H＝rgb2gray(x)-(rgb2gray(x))_L；其中rgb2gray表示将彩色图像转换到灰度图的方法。

本发明中在像素空间用高斯核分离高频和低频，在小波域空间用小波变换分离高频和低频，两者在保存频率信息方面是互补的。高斯核通过卷积来提取频率信息，表示局部的频率特征，小波变换利用来自整张图像所有像素的信息分解频率信息，能够表示全局的频率特征。

本发明改进在于模型训练过程中，计算损失的方式与传统方法发生了很大变化，使用所述小波域图像生成框架分离的图像高频信息与低频信息计算损失，替换传统的在图像像素值上计算损失；在图像的高频信息与低频信息上分离地计算损失，使得训练阶段用以优化多种图像生成模型的损失函数计算更加精确，从而提升训练得到的图像生成模型生成图像的质量。

本发明面向图像生成领域，利用高斯核和小波变换在保留图像的频率信息方面的补充性，分别在像素空间和小波域空间构建损失函数。通过使用小波域图像生成框架约束图像生成模型更精准地训练，提升了图像生成模型图像生成质量，解决了图像生成领域存在的以下问题：风格迁移中风格化图像结构扭曲且存在伪影的问题，图像翻译中翻译图像丢失源域身份信息的问题，GAN Inversion中嵌入的隐变量不能准确代表输入图像的问题。

附图说明

图1是本发明中小波域图像生成框架详细结构图。

图2是本发明中使用高斯核卷积得到的高频、低频效果图。

图3是本发明中使用小波变换得到的高频、低频子带图。

图4是AdaIN和StyTr²的风格迁移效果图，以及将FDIT框架与WDIG框架分别应用到AdaIN和StyTr²后的风格迁移效果图。

图5是StarGANv2上的图像翻译效果图，以及将FDIT框架与WDIG框架分别应用到StarGANv2后的图像翻译效果图。

图6是Image2StyleGAN图像重建效果图，以及将FDIT框架与WDIG框架分别应用到Image2StyleGAN后的图像重建效果图。

具体实施方式

下面结合具体实施例对本发明做进一步分析。

一种基于小波域图像生成框架的图像生成方法，具体包括如下步骤：

步骤一、数据获取和预处理模块，用于获取图像，调整格式与大小，构建训练集；

数据来源为MSCOCO、WikiArt、CelebA-HQ公开数据集，对数据集中的图像数据进行预处理，预处理方法包括二维图像缩放、裁剪。

步骤二、输入经步骤一处理的任意图像X至任意图像生成模型，得到图像生成模型重建图像X’和图像生成模型生成图像X_Y；图像生成模型包括图像风格迁移、图像翻译、GANInversion等。

步骤三、小波域图像生成框架搭建并应用到多种图像生成模型上进行训练。

3-1.搭建小波域图像生成框架：

如图1所示，利用高斯核和小波变换在保留图像的频率信息方面的补充性，分别在像素空间和小波域空间构建损失函数。

在像素空间，使用高斯核卷积Guassian Filter将图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y各自分离为高频图像和低频图像。

在像素空间，通过设定合适的高斯核，采用高斯模糊方法，得到信号的低频和高频特征信息，针对低频和高频特征信息构建L₁范数空间域重构损失函数，具体为：

所述高斯核卷积分离高频和低频时，设置不同的高斯核大小会达到不同的效果低频部分保留了图像的纹理和颜色信息；高频部分保留了图像的内容结构和身份信息，k为高斯核尺寸大小，高斯核尺寸越大，得到的低频图像越模糊，高频图像越清晰。为避免高频和低频区域的失真，本实施例设置高斯核的尺寸k＝21。高斯核卷积

其中[i,j]表示图像的空间位置，σ²表示高斯函数的方差，方差与高斯核大小成正比。

在输入图像(包括图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y)上使用高斯核的卷积，得到模糊的低频图像

其中m，n是2D高斯核的索引，

是卷积操作。

将输入图像(包括图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y)转换为灰度图，减去灰度图的低频信息，得到了表示输入图像边缘结构的高频图像x_H＝rgb2gray(x)-(rgb2gray(x))_L；其中rgb2gray表示将彩色图像转换到灰度图的方法，由于结构和身份信息与颜色和光照无关，因此将图像转到灰度图消除无关信息。

像素空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，在X与X’的高频与低频上分别对应计算L₁损失，然后相加，像素空间的重建损失L_rec,pix＝||X_L-X'_L||₁+||X_H-X'_H||₁；结构损失的计算对象为X与X_Y，在X与X_Y的高频上对应计算L₁损失，像素空间的结构损失L_stru,pix＝||X_H-(X_Y)_H||₁；

在小波域空间，通过小波变换得到对应的通道子带系数，将图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y分离为高频信息和低频信息，分别针对子带系数构建L₁范数频域重构损失函数。在小波域空间，应用小波变换将三者各自分解成子带图A,V,H,D，其中A对应低频信息、V代表垂直高频信息、H代表水平高频信息、D代表对角高频信息。

所述小波变换采用二维离散小波变换DWT，将图像从像素空间映射到小波域空间，如图3所示，DWT有4个卷积滤波器：低通滤波器f_LL及高通滤波器f_LH，f_HL，f_HH，能够将图像分解到4个子带图A,V,H,D，其中A对应低频信息、V代表垂直高频信息、H代表水平高频信息、D代表对角高频信息。本实施例中使用Haar小波，四个滤波器分别是：

DWT的操作被定义为：

其中

是卷积操作，↓₂表示因子为2的标准下采样操作，即DWT在数学上涉及四个步幅为2的固定卷积滤波器来实现下采样操作。

所述小波域空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，将代表高频与低频信息的四个子带图A,V,H,D拼接，在X与X’拼接的子带图[A,V,H,D]上计算L₁损失，小波域空间的重建损失L_rec,wav＝||DWT(X)_[A,V,H,D]-DWT(X')_[A,V,H,D]||₁；结构损失的计算对象为X和X_Y，将代表高频信息的子带图V,H,D拼接成矩阵[V,H,D]，计算L₁损失，小波域空间的结构损失L_stru,wav＝||DWT(X)_[V,H,D]-DWT(X_Y)_[V,H,D]||₁；

考虑到所有上述损失，整体的损失函数

L_WDIG＝L_org+λ₁L_rec,pix+λ₂L_stru,pix+λ₃L_rec,wav+λ₄L_stru,wav；

其中，L_org是图像生成模型本身的损失函数，本实施例中设置各项损失权重λ₁＝λ₂＝λ₃＝λ₄＝1。

3-2.应用小波域图像生成框架到多类图像生成子任务模型进行训练

将训练集、步骤3-1构建的小波域图像生成框架应用到多种图像生成模型中进行训练。在小波域图像生成框架得到的高频信息与低频信息上，利用重构损失函数计算图像生成模型生成图像与目标图像的损失值。通过损失值反向传播，网络迭代参数不断减小损失值以完成训练。

步骤四、输入图像到经步骤三训练的多种图像生成模型中，最终生成高质量的图像。

在多种图像生成模型上，应用本发明训练的小波域图像生成框架模型，与不使用损失函数框架训练的模型，以及应用目前一种基于傅里叶变换分离高频低频的损失函数框架FDIT训练好的模型，对比其生成图像效果，计算相关定量指标。在图像风格迁移上的实验效果如图4，定量指标如表1；在图像翻译上的实验效果如图5，定量指标如表2；在GANInversion上的实验效果如图6，定量指标如表3和表4。本发明小波域图像生成框架WDIG在多种图像生成模型上均能取得效果提升，从视觉效果看，在风格迁移任务中应用WDIG框架可以使风格化图像结构扭曲以及存在伪影的问题减轻；在图像翻译任务中应用WDIG框架可以使翻译图像不丢失源域图像的身份信息，性别没有发生改变；在GAN Inversion任务中应用WDIG框架可以使嵌入的隐变量更准确，通过隐变量生成的图像与输入图像一致性高，没有发生色彩改变或模糊现象。在定量指标上，在风格迁移任务中应用了结构相似性SSIM指标以及峰值信噪比PSNR指标，SSIM是一种衡量两幅图像相似度的指标，SSIM值越接近于1代表结构越相似；PSNR通过均方差定义，表示图像质量的好坏，值越高代表生成图像质量越高。在图像翻译任务中应用了FID指标以及感知距离LPIPS指标，FID指标使用在ImageNet上预训练的Inception-V3的最后一个平均池化层输出的特征向量计算得到，用于测量两组图像之间的差异，FID值越低代表两组图像越相似，身份信息越接近；LPIPS值使用在ImageNet上预训练的AlexNet提取的特征向量计算得到，测量生成图像的多样性，越低代表生成图像与源域图像越相似。在GAN Inversion任务中应用了SSIM、PSNR、均方误差MSE、平均绝对误差MAE、FID指标，MSE与MAE也用来测量重建图像与原图像的差异，值越低代表两者越接近。在图像风格迁移模型AdaIN上，WDIG框架将SSIM指标提升了64.8％、PSNR指标提升了19.4％，在图像风格迁移模型StyTr2上，WDIG框架将SSIM指标提升了44.6％、PSNR指标提升了20.2％。在图像翻译模型StarGANv2上，WDIG框架将FID指标提升了16.3％，将LPIPS指标提升了33.3％。在GAN Inversion模型Image2StyleGAN上，WDIG在SSIM指标提升了1.5％、PSNR指标提升了4.3％、MSE指标提升了24.1％、MAE指标提升了17.8％、FID指标提升了9.7％。

本发明的小波域图像生成框架WDIG应用到大部分图像生成模型后，生成图像的视觉效果及定量指标优于FDIT框架，部分略低于FDIT框架。但基于傅里叶变换的FDIT框架需要设置掩码半径以区分图像的高频和低频，掩码半径的大小与图像尺寸紧密相关，若掩码半径设置不合理，则不能准确分离高低频信息。在图像生成领域，针对不同任务，训练图像的尺寸并不固定，掩码半径难以选取。而本发明的WDIG利用小波变换显式分离图像的高频和低频信息，无需考虑掩码半径的问题，更简单有效。

表1不同风格迁移模型生成的风格化图像与内容图像计算得到的SSIM值及PSNR值、风格化时间

表2不同图像翻译模型生成图像与源域图像计算得到的FID值及LPIPS值

表3不同GAN Inversion模型重建图像与输入图像计算得到的SSIM值、PSNR值、MSE值、MAE值

表4 Image2StyleGAN上添加像素空间损失、傅里叶空间损失、小波域空间损失训练的FID值对比

Claims (4)

1.一种基于小波域图像生成框架的图像生成方法，其特征在于该方法包括以下步骤：

步骤一、获取图像生成模型所需的多个数据集并进行预处理；

步骤二、输入图像X至任意图像生成模型，得到图像生成模型重建图像X’和图像生成模型生成图像X_Y；

步骤三、小波域图像生成框架搭建并应用到多种图像生成模型上进行训练；

3-1.搭建小波域图像生成框架：

在像素空间，通过设定高斯核，采用高斯模糊方法，得到图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y的低频和高频特征信息，根据低频和高频特征信息构建L₁范数空间域重构损失函数；

在小波域空间，通过小波变换得到对应的通道子带系数，将图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y分离为高频信息和低频信息，根据子带系数构建L₁范数频域重构损失函数；

考虑到所有上述损失以及图像生成模型本身的损失函数，从而计算整体的损失；

3-2.将小波域图像生成框架应用到多种图像生成模型中进行训练：

将步骤一预处理后训练集、步骤3-1构建的小波域图像生成框架输入相应图像生成模型中进行训练；在小波域图像生成框架得到的高频信息与低频信息上，利用重构损失函数计算图像生成模型生成图像与目标图像的损失值；通过损失值反向传播，网络迭代参数不断减小损失值以完成训练；

步骤四、输入图像到经步骤三训练的多种图像生成模型中，最终生成高质量的图像。

2.根据权利要求1所述的一种基于小波域图像生成框架的图像生成方法，其特征在于：

所述像素空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，在X与X’的高频与低频上分别对应计算L₁损失，然后相加；结构损失的计算对象为X与X_Y，在X与X_Y的高频上对应计算L₁损失。

3.根据权利要求2所述的一种基于小波域图像生成框架的图像生成方法，其特征在于：在所述小波域空间，应用小波变换将图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y分别分解成子带图A_,V_,H_,D，其中A对应低频信息、V代表垂直高频信息、H代表水平高频信息、D代表对角高频信息；

小波域空间的重构损失函数包括重建损失和结构损失，重建损失的计算对象为X与X’，将代表高频与低频信息的四个子带图A_,V_,H_,D拼接，在X与X’拼接的子带图[A,V,H,D]上计算L₁损失；结构损失的计算对象为X和X_Y，将代表高频信息的子带图V,H,D拼接成矩阵[V,H,D]，计算L₁损失。

4.根据权利要求1所述的一种基于小波域图像生成框架的图像生成方法，其特征在于：所述高斯核卷积

其中[i,j]表示图像的空间位置，_σ ²表示高斯函数的方差，方差与高斯核大小成正比；

在图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y上使用高斯核的卷积，得到模糊的低频图像

其中m，n是2D高斯核的索引，

是卷积操作；

将输入图像X、图像生成模型重建图像X’和图像生成模型生成图像X_Y转换为灰度图，减去灰度图的低频信息，得到了表示输入图像边缘结构的高频图像

x_H＝rgb2gray(x)-(rgb2gray(x))_L；其中rgb2gray表示将彩色图像转换到灰度图的方法。

Images