CN111275640A - 一种融合二维离散小波变换和生成对抗网络的图像增强方法 - Google Patents

Abstract

本发明公开了一种融合二维离散小波变换和生成对抗网络的图像增强方法，本发明结合了而维离散小波变换算法的不同子带可以在频域中为图像提供细节信息的特点，在生成器和判别器的特征学习过程中融合了而维离散小波变换算法，通过直接学习具有解释性且包含细节信息的特征，在避免对图像数据大量标注的过程的同时增强模型学习过程中细节信息特征的传递，最终在非结构化数据上完成富含细节的精细图像生成任务。

Description

一种融合二维离散小波变换和生成对抗网络的图像增强方法

技术领域

本发明属于图像处理技术领域，提出了一种融合二维离散小波变换和生成对抗网络的图像增强方法。

背景技术

近年来，生成对抗网络(Generative Adversarial Networks,GANs)作为人工智能学界的热门研究方向，在计算机视觉、自然语言处理、信息安全等领域中得到了广泛的应用。与通过复杂近似计算完成生成任务的传统生成模型不同，GANs由一个生成器和一个判别器构成，并通过生成器和判别器的对抗训练进行优化。具体地，GANs的基本思想源于博弈论中的二人零和博弈；生成器的目的是学习捕捉真实数据样本的分布，并生成新的样本；判别器作为一个二分类器判断输入的数据是来自真实数据还是来自生成器生成的数据。GANs通过对抗的方式同时优化生成器和判别器，最终达到生成器尽可能捕捉真实数据的潜在分布同时判别器难以区分生成分布和真实分布差异的纳什均衡状态。GANs结构框架展示如图1。

GANs的提出为无监督学习或半监督学习任务的发展提供了强有力的算法框架。它可以接受缺失训练数据或被用来预测缺失数据，从而可以有效地在大量易获取、无标签数据的基础上保证学习模型的泛化性能。然而，GANs的训练也存在神经网络训练的一般性缺陷等问题，面临非结构化数据难以收敛或即使收敛生成的图像也存在信息缺失等问题。图2展示了WGAN模型在汽车图像数据集上的生成结果，虽然生成的目标图像具有全局一致性，但是生成汽车的细节信息(如，轮胎，边缘等)比较模糊。

二维离散小波变换(Two-Dimensional Discrete Wavelet Transform,2D-DWT)算法在频域中具有较好的局部化性质，常被用作图像处理领域的特征提取方法。如图3所示，2D-DWT算法将图像每一层分解到一个低频子带(LL)和三个高频子带(LH，HL，HH)，其中每个子带的尺度为目标图像的一半，且低频子带LL可以继续分解生成4个子带。由于低频子带LL是对原始目标图像的近似表达，在四个子带中占据重要的地位并因此常被单独用作图像处理的特征。同时，鉴于独特的边缘表达能力，高频子带HL、LH、HH也被尝试以各种方式使用。

发明内容

为了弥补现有方法的缺陷，增强生成图像的质量，本方法提出了一种融合二维离散小波变换和生成对抗网络的图像增强方法，通过在生成器和判别器中添加逆小波变换和小波变换算法实现端对端的训练过程。

为实现本发明的目的，本发明提供的一种融合二维离散小波变换和生成对抗网络的图像增强方法，

建立生成对抗网络模型，包括生成器和判别器，

其中，所述生成器共包含三个部分，分别是G_o，G_l和G_h，生成器G_o首先将随机向量z∈Rⁿ通过反卷积生成基本图像G_o(z)∈R^w×h；对于生成器G_l和G_h的输入随机向量z_l和z_h,通过拆分随机向量z∈Rⁿ得到，即，z_l＝z[1：k]∈R^k和z_h＝z[k+1：n]∈R^n-k(1＜k＜n为超参数)；然后通过将z_l和z_h分别输入到生成器G_l和G_h中学习图像的一个低频子带图像

和3个高频子带图像

最后通过逆小波变换得到精细特征图像：

idwt(G_l(z_l)，G_h(z_h))(idwt表示逆小波变换算法)

将具有全局一致性的基本图像和精细图像求和得到最终输出的富含细节的图像：

l_target＝(1-λ)·G_o(z)+λ·idwt(G_l(z_l)，G_h(z_h))

其中，λ表示平衡图像域特征和频域特征的自适应超参数，且初始化为0，最终三个生成器G_o，G_l和G_h由同一个Hinge损失进行约束；

其中，所述判别器由三部分组成，分别是D_o，D_l和D_h，三个判别器分别对目标数据的图像域特征、低频特征和高频特征进行判别；

将生成或真实样本I输入到判别器D_o，通过判别器D_o最终得到输入样本是真实样本的概率值D_o(I)，在对样本图像域特征进行判别的同时，通过D_l和D_h分别对样本的频域信息进行约束，具体地，首先将图像通过2D-DWT算法生成低频图像I_l和高频图像I_h:

I_l，I_h＝dwt(I)

其中，高频图像I_h中包含三个子带信息，且三个高频子带的特征按通道连接之后的特征，通过将I_l和I_h分别输入到不同的判别器D_l和D_h中，得到判别器在不同子带特征空间中的判别结果，在训练过程中分别对三个判别器进行求Hinge损失。

其中，在训练过程中采用Adam算法进行优化，通过交替更新生成器和判别器的方式实现训练，并通过预设训练步长为终止条件结束训练。

其中，在G_o的卷积层特征中引入了自注意力机制，所述自注意力机制是指对于生成器的某一个卷积层特征分别通过3个卷积核为1×1的卷积变换，将其中两个特征映射输出值按对应元素求最大值，然后经过softmax函数实现归一化得到注意力映射，最后将注意力映射转换为同输入卷积层特征空间相同尺度后与第三个特征映射求和，得到对应输出卷积层映射。

与现有技术相比，本发明的有益效果为，

(1)相较于常用的仅通过图像域特征进行学习的GANs模型，本发明结合了样本在图像域和频域中特征具有不同表达能力的性质，通过在GANs模型中引入2D-DWT算法充分挖掘图像的细节特征，使得模型在处理非结构化数据时更稳定，生成的图像更接近真实图像。

(2)本发明的判别器同约束图像域特征和频域特征的判别性，使得判别器即能在全局一致性上区分真假同时还能洞察生成样本和真实样本的细节特征差异。通过联合监督加快了模型收敛性，且促使生成器生成更接近真实的样本与判别器进行对抗。

(3)本发明所构建的模型没有利用训练数据的标签信息，适用于更多的无标签数据集。同时，我们的方法不局限于无标签数据，对于有标签数据也可以仿照常用的conditional的模型将标签信息融合到模型中。这样使得模型的应用范围更广泛。

附图说明

图1所示为现有技术中GANs结构框架结构示意图；

图1中，G表示生成器，D表示判别器；

图2所示为WGAN模型在汽车图像数据集上的生成结果图；

图3所示为2D-DWT的塔式分解图；

图4所示为结合2D-DWT和GANs的图像增强方法的模型结构；

图5所示为自注意力机制算法图；

图6所示为本申请模型训练流程图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

针对非结构化数据模拟生成任务中数据细节缺失的问题，本发明利用图像的频域细节信息，将二维离散小波变换(2-Dimensional Discrete Wavelet Transform,2D-DWT)算法引入到GANs模型中，构建了基于2D-DWT的生成对抗模型，实现生成富含细节信息的高质量的图像。本发明结合了2D-DWT算法的不同子带可以在频域特征空间中为图像提供细节信息的特点，在生成器和判别器的特征学习过程中均融合了2D-DWT算法，通过直接学习具有解释性包含细节信息的特征，在避免对图像数据大量标注的过程的同时增强模型学习过程中细节信息特征的传递，最终完成富含细节的精细图像生成任务。

本发明的目的：构建在无标签的非结构化数据条件下生成富含细节图像的un-conditional的生成对抗模型。本发明在摒弃传统GANs模型对标签需求的同时，充分利用频域和图像域特征的融合进行训练提升优化过程，最终使得GANs模型可以在更多无标签的非结构化数据集上生成富含细节信息的全局一致性图像。

为了弥补现有方法的缺陷，增强生成图像的质量，本方法提出了融合2D-DWT和GANs的图像增强图像，通过在生成器和判别器中添加逆小波变换和小波变换算法实现端对端的训练过程。

本发明采用的技术方法包括以下内容：

1.建立生成对抗网络模型

1.1生成器

生成器部分共包含三个生成器，分别是G_o，G_l和G_h。生成器G_o首先将随机向量z∈Rⁿ通过反卷积(Deconvnet)生成的基本图像G_o(z)∈R^w×h。通常，由于GANs模型严重依赖卷积层来模拟图像不同区域之间的依赖关系，卷积运算具有局部感受域，因此只能在经过多个卷积层之后才能处理long-range特征。这样就会出现如下问题：a)如果模型较小则很难甚至无法找到不同区域特征之间的依赖关系，从而无法保证生成图像的全局一致性。b)如果模型较大，则优化算法很难协调好多个层以捕捉参数的依赖关系，从而导致模型训练不稳定性等问题。虽然可以考虑增大卷积核的大小来加强模型的表示能力，但此操作将会增加网络的参数削弱计算效率。因此，为了生成具有全局一致性的基本图像，在G_o的卷积层特征中引入了自注意力机制。如图5，自注意力机制是指对于生成器的某一个卷积层特征分别通过3个卷积核为1×1的卷积变换，将其中两个特征映射求最大值，然后经过softmax函数实现归一化得到注意力映射。最后将注意力映射转换为同输入卷积层特征空间相同尺度后与第三个特征映射求和，得到对应输出卷积层映射。

对于生成器G_l和G_h的输入随机向量z_l和z_h,通过拆分将随机向量z∈Rⁿ得到，即，z_l＝z[1：k]∈R^k和z_h＝z[k+1：n]∈R^n-k(1＜k＜n为超参数)。之所以这样初始化生成器G_l和G_h的输入是因为图像的高频子带和低频子带和整个图像是相关联的，并且图像的细节信息应该是在整个图像相对较低的流形中。然后通过将z_l和z_h分别输入到生成器G_l和G_h中学习图像的一个低频子带图像

和3个高频子带图像

(如图4)。最后通过逆小波变换得到精细特征图像：

idwt(G_l(z_l)，G_h(z_h))(idwt表示逆小波变换算法)

将具有全局一致性的基本图像和精细图像求和(按对应通道对应元素计算)得到最终输出的富含细节的图像：

I_target＝(1-λ)·G_o(z)+λ·idwt(G_l(z_l)，G_h(z_h))

其中，λ表示平衡图像域特征和频域特征权重的自适应超参数，且初始化为0。最终三个生成器G_o，G_l和G_h由同一个Hinge损失进行约束。

1.2判别器

判别器同样由三部分组成，分别是D_o，D_l和D_h。这三个判别器分别对目标数据的图像域特征、低频特征和高频特征进行判别。主要结构如下：

首先，将生成或真实样本I输入到判别器D_o，该判别器和常用的GANs中的判别器相似。通过判别器D_o最终得到输入样本是真实样本的概率值D_o(I)。由于在特征学习过程中缺少对细节信息直接判断，容易导致即使生成样本与真实样本在细节上差异较大而被误判的问题。因此，若在判别过程中同时监督图像的细节特征将大大提升判别器的判别能力，从而可以促使生成器生成更高质量的样本。因此，在对样本图像域特征进行判别的同时，我们还通过D_l和D_h分别对样本的频域信息进行约束。具体地，首先将图像通过2D-DWT算法生成低频图像I_l和高频图像I_h:

I_l，I_h＝dwt(I)

其中，高频图像I_h中包含三个子带信息。为了增加判别器的泛化能力并控制模型参数量，I_h表示三个高频子带的特征按通道连接之后的特征。通过将I_l和I_h分别输入到不同的判别器D_l和D_h中，得到判别器在不同子带特征空间中的判别结果。在训练过程中分别对三个判别器进行求Hinge损失。

通过上述操作，将图像进行2D-DWT算法分解之后，经过各子的判别器，从而可以使得生成的样本不仅要在全局一致性上经得起判别器的考验，同时要在图像的细节信息部分也能经得起判别器的判断。最终通过生成器和判别器的相互对抗的过程，使得生成器能够生成满足全局一致性的同时生成更加精细的图像。

2.算法流程

在学习过程中采用Adam算法进行优化。通过交替更新生成器和判别器的方式实现训练，并通过预设训练步长为终止条件结束训练。具体的学习流程如图6。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种融合二维离散小波变换和生成对抗网络的图像增强方法，其特征在于，

建立生成对抗网络模型，包括生成器和判别器，

其中，所述生成器共包含三个部分，分别是G_o，G_l和G_h，生成器G_o首先将随机向量z∈Rⁿ通过反卷积生成具有全局一致性的基本图像G_o(z)∈R^w×h；对于生成器G_l和G_h的输入随机向量z_l和z_h,通过拆分随机向量z∈Rⁿ得到，即，z_l＝z[1：k]∈R^k和z_h＝z[k+1：n]∈R^n-k(1＜k＜n为超参数)；然后通过将z_l和z_h分别输入到生成器G_l和G_h中学习图像的一个低频子带图像

和3个高频子带图像

最后通过逆小波变换得到精细特征图像：

idwt(G_l(zl)，G_h(zh)) (idwt表示逆小波变换算法)

将具有全局一致性的基本图像和精细图像求和得到最终输出的富含细节的图像：

I_target＝(1-λ)·G_o(z)+λ·idwt(G_l(z_l)，G_h(z_h))

λ表示平衡图像域特征和频域特征的自适应超参数，且初始化为0，最终三个生成器G_o，G_l和G_h由同一个Hinge损失进行约束；

其中，所述判别器由三部分组成，分别是D_o，D_l和，D_h，三个判别器分别对目标数据的图像域特征、低频特征和高频特征进行判别；

将生成或真实样本I输入到判别器D_o，通过判别器D_o最终得到输入样本是真实样本的概率值D_o(I)，在对样本图像域特征进行判别的同时，D_l和D_h分别对样本的频域信息进行约束，具体地，首先将图像通过2D-DWT算法生成低频图像I_l和高频图像I_h:

I_l，I_h＝dwt(I)

其中，I_l表示低频子带信息，I_h表示三个高频子带的特征按通道连接之后的特征，通过将I_l和I_h分别输入到不同的判别器D_l和D_h中，得到判别器在不同子带特征空间中的判别结果，在训练过程中分别对三个判别器进行求Hinge损失。

2.根据权利要求1所述的一种融合二维离散小波变换和生成对抗网络的图像增强方法，其特征在于，

在训练过程中采用Adam算法进行优化，通过交替更新生成器和判别器的方式实现训练，并通过预设训练步长为终止条件结束训练。

3.根据权利要求1所述的一种融合二维离散小波变换和生成对抗网络的图像增强方法，其特征在于，

在生成器G_o的卷积层特征中引入了自注意力机制，所述自注意力机制是指对于生成器的某一个卷积层特征分别通过3个卷积核为1×1的卷积变换，将其中两个特征映射输出结果按对应元素求最大值，然后经过softmax函数实现归一化得到注意力映射，最后将注意力映射转换为同输入卷积层特征空间相同尺度后与第三个特征映射求和，得到对应输出卷积层映射。

Images