CN107273936A - 一种gan图像处理方法及系统 - Google Patents

Abstract

本申请公开了一种GAN图像处理方法及系统，包括：接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，得到变换图像集；将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果。本申请通过将随机噪声输入到生成网络，得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道，进行特征的提取和融合，得到输出结果，使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图片。

Description

一种GAN图像处理方法及系统

技术领域

本发明涉及图像处理领域，特别涉及一种GAN图像处理方法及系统。

背景技术

GAN(Generative Adversarial Nets，生成式对抗网络)启发自博弈论中的二人零和博弈，自从Ian Goodfellow在14年发表了论文Generative Adversarial Nets以来，生成式对抗网络GAN广受关注，GAN成为近年来在机器学习领域的新宠。

现有技术中，GAN可以是使用sigmoid交叉熵损失函数作为分类器的辨别器，然而这种损失函数可能在学习过程中容易出现梯度消失，GAN模型训练不稳定，泛化能力不好，很难收敛等问题。

发明内容

有鉴于此，本发明的目的在于提供一种GAN图像处理方法及系统，以提高GAN模型的泛化能力，避免梯度消失现象。其具体方案如下：

一种GAN图像处理方法，包括：

接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；

接收真实图像，对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，保存所述真实图像和所述生成图像各自不同梯度的变换图像，得到变换图像集；

将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，所述判别网络基于改进的LSGAN制作。

可选的，所述基于改进的LSGAN的生成网络包括：

依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层。

可选的，所述基于改进的LSGAN和卷积神经网络制作的判别网络包括：

依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层、第一全连接层和最小二乘损失计算层。

可选的，所述对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，得到变换图像集的过程，包括：

对所述真实图像和所述生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。

可选的，将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合的过程，包括：

将所述变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；

其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。

本发明还公开了一种GAN图像处理系统，包括：

图像生成模块，用于接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；

梯度变换模块，用于接收真实图像，对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，保存所述真实图像和所述生成图像各自不同梯度的变换图像，得到变换图像集；

判别模块，用于将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，所述判别网络基于改进的LSGAN制作。

可选的，所述图像生成模块，包括：

生成网络单元，包括依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层。

可选的，所述判别模块，包括：

判别网络单元，包括依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层、第一全连接层和最小二乘损失计算层。

可选的，所述梯度变换模块，具体用于对所述真实图像和所述生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。

可选的，所述判别模块，包括：

特征提取融合单元，用于将所述变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；

其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。

本发明中，GAN图像处理方法，包括：接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，保存真实图像和生成图像各自不同梯度的变换图像，得到变换图像集；将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，判别网络基于改进的LSGAN制作。

本发明通过将随机噪声输入到生成网络中，从而得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，利用多通道卷积网络，进行特征的提取和融合，得到输出结果，利用多通道卷积网络更好的提取图像数据中的特征信息从而使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图片。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种GAN图像处理方法流程示意图；

图2为本发明实施例公开的一种GAN图像处理系统运行模型图；

图3为本发明实施例公开的一种Inception模型图；

图4为本发明实施例公开的一种GAN图像处理系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种GAN图像处理方法，参见图1所示和图2所示，该方法包括：

步骤S11：接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像。

具体的，基于改进的LSGAN(Loss Sensitive GAN，损失敏感生成式对抗网络)可以生成一个包括依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层的生成网络，其中，对每一层网络都进行批量归一化处理，同时每层微步幅卷积层滑动步长均为2或1交替处理，卷积核均为3x3；生成网络用于在接收到随机噪声后，生成生成图像。

步骤S12：接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，保存真实图像和生成图像各自不同梯度的变换图像，得到变换图像集。

具体的，可以对真实图像和生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，保存真实图像和生成图像各自不同梯度的十四个，七种变换图像，得到变换图像集。

步骤S13：将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，判别网络基于改进的LSGAN制作。

具体的，基于改进的LSGAN和卷积神经网络可以制作一个包括依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层、第一全连接层和最小二乘损失计算层的判别网络。

其中，参见图3所示，在判别网络中的inception层可以将四个通道的特征通过随机形式进行特征融合，特征融合过程中，将变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图，然后输入到全连接层和最小二乘损失计算层中，进行判别，得到输出结果。

可以理解的是，上述元素数、取特征图数、卷积数和通道数等具体参数，在此均不作限定，可以根据实际应用需求进行修正。

本发明实施例中的GAN图像处理方法，可以在OpenCL平台(Open ComputingLanguage，开放运算语言)上运行，创建设备运行环境的Context、创建Program和根据对应的算法编写核函数并创建命令队列，然后根据设立的内存对象，实现图像在CPU和GPU间的数据传递，编译完成后，将.cl内核程序编译成sof下载文件，并通过altera编译工具将文件下载进FPGA(Field Programmable Gate Array，现场可编程门阵列)，从而完成整个流程的性能加速。

可见，本发明实施例通过将随机噪声输入到生成网络中，从而得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，利用多通道卷积网络，进行特征的提取和融合，得到输出结果，利用多通道卷积网络更好的提取图像数据中的特征信息从而使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图片。

本发明实施例公开了一种具体的GAN图像处理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

本发明实施例中，生成网络的输入噪声维数可以为Input_z＝1024；

第一全连接层，神经元个数为7x7x256，并通过reshape函数，将输出变为256个大小为7x7的特征图，output_shape＝[batch_size,7,7,256]#输出特征图形状＝[批量块大小，输出特征图的高，输出特征图的宽，输出特征图的个数]；

第二微步幅卷积层，卷积核为3x3，步长为2，特征图个数为256，Output_shape＝[batch_size,14,14,256]；

第三微步幅卷积层，卷积核为3x3,步长为1，特征图个数为256，Output_shape＝[batch_size,14,14,256]；

第四微步幅卷积层，卷积核为3x3，步长为2，特征图个数为256，Output_shape＝[batch_size,28,28,256]；

第五微步幅卷积层，卷积核为3x3,步长为1，特征图个数为256，Output_shape＝[batch_size,28,28,256]；

第六微步幅卷积层，卷积核为3x3，步长为2，特征图个数为256，Output_shape＝[batch_size,56,56,256]；

第七微步幅卷积层，卷积核为3x3，步长为2，特征图个数为64，Output_shape＝[batch_size,112,112,64]；

第八微步幅卷积层，卷积核为3x3，步长为1，特征图个数为64，Output_shape＝[batch_size,112,112,64]；

第九全连接层，同时采用dropout处理，激活函数采用tanh函数，神经元个数为64x64x3,经过reshape函数使输出变为3通道的64x64的特征图，output_shape＝[batch_size,64,64,3]。

本发明实施例中，判别网络可以包括第一特征提取层为卷积核为1x1的卷积层；第一特征映射层为卷积核为5X5,卷积步长为2，输出为128个特征图的卷积层；第一Inception层为输出256个特征图的卷积层；第二特征提取层为卷积核为1x1的卷积层；第二特征映射层为卷积核为5x5,卷积步长为2，输出为256个特征图的卷积层；第二Inception层为输出512个特征图的卷积层；第一全连接层为输出1个特征图的全连接层。

本发明实施例，具体执行过程可以包括：输入1024维的随机噪声，通过生成器生成相应的3通道的64x64大小图片，同时将生成的图片和真实图片分别进行图像梯度变换得到变换图像集输入到多通道卷积神经网络的判别网络中，通过卷积网络后进行特征提取和融合，再输入到全连接层，最后通过最小二乘损失构建目标函数，对网络参数进行更新、优化，目标函数如下所示：

判别网络目标函数公式：

生成网络目标函数公式：

式中，Pdata(x)为真实图像数据，Pz(x)为随机噪声，G为生成网络，D为判别网络，V_LSGAN(D)为判别网络的优化目标函数，V_LSGAN(G)为生成网络的优化目标函数。

通过一定次数的迭代，更新，优化，使生成的图像越来越接近真实的图像，直到判别网络无法判别的地步。

可以理解的是，上述元素数、取特征图数、卷积数和通道数等具体参数，在此均不作限定，可以根据实际应用需求进行修正。

相应的，本发明实施例公开了一种GAN图像处理系统，参见图4所示，该系统包括：

图像生成模块11，用于接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；

梯度变换模块12，用于接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变换，保存真实图像和生成图像各自不同梯度的变换图像，得到变换图像集；

判别模块13，用于将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，判别网络基于改进的LSGAN制作。

可见，本发明实施例通过将随机噪声输入到生成网络中，从而得到生成图像，再接收真实图像，对真实图像和生成图像分别进行不同度数的图像梯度变化，得到变换图像集，将变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，利用多通道卷积网络，进行特征的提取和融合，得到输出结果，利用多通道卷积网络更好的提取图像数据中的特征信息从而使网络具有较好的泛化能力，避免梯度消失现象，能够输出质量更高更加真实的图片。

本发明实施例中，上述图像生成模块11，可以包括生成网络单元；其中，

生成网络单元，包括依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层。

上述判别模块13，可以包括判别网络单元和特征提取融合单元；其中，

判别网络单元，包括依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层、第一全连接层和最小二乘损失计算层。

特征提取融合单元，用于将变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；

其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。

本发明实施例中，上述梯度变换模块12，可以具体用于对真实图像和生成图像中的生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种GAN图像处理方法及系统.进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种GAN图像处理方法，其特征在于，包括：

接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；

接收真实图像，对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，保存所述真实图像和所述生成图像各自不同梯度的变换图像，得到变换图像集；

将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，所述判别网络基于改进的LSGAN制作。

2.根据权利要求1所述的GAN图像处理方法，其特征在于，所述基于改进的LSGAN的生成网络包括：

依次相连的第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层。

3.根据权利要求1所述的GAN图像处理方法，其特征在于，所述基于改进的LSGAN和卷积神经网络制作的判别网络包括：

依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层和第一全连接层和最小二乘损失计算层。

4.根据权利要求1至3任一项所述的GAN图像处理方法，其特征在于，所述对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，得到变换图像集的过程，包括：

对所述真实图像和所述生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。

5.根据权利要求4所述的GAN图像处理方法，其特征在于，将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合的过程，包括：

将所述变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；

其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。

6.一种GAN图像处理系统，其特征在于，包括：

图像生成模块，用于接收随机噪声，利用基于改进的LSGAN的生成网络，生成生成图像；

梯度变换模块，用于接收真实图像，对所述真实图像和所述生成图像分别进行不同度数的图像梯度变换，保存所述真实图像和所述生成图像各自不同梯度的变换图像，得到变换图像集；

判别模块，用于将所述变换图像集中的变换图像分别输入到判别网络的多通道卷积网络的各个通道中，进行特征的提取和融合，得到输出结果，其中，所述判别网络基于改进的LSGAN制作。

7.根据权利要求1所述的GAN图像处理系统，其特征在于，所述图像生成模块，包括：

生成网络单元，包括依次相连的第一全连接层、第一全连接层、第一微步幅卷积层、第二微步幅卷积层、第三微步幅卷积层、第四微步幅卷积层、第五微步幅卷积层、第六微步幅卷积层、第七微步幅卷积层和第二全连接层共九层。

8.根据权利要求1所述的GAN图像处理系统，其特征在于，所述判别模块，包括：

判别网络单元，包括依次相连的第一特征提取层、第一特征映射层、第一inception层、第二特征提取层、第二特征映射层、第二inception层和第一全连接层和最小二乘损失计算层。

9.根据权利要求5至7任一项所述的GAN图像处理系统，其特征在于，所述梯度变换模块，具体用于对所述真实图像和所述生成图像分别进行水平方向，四十五度方向，六十度方向，九十度方向，一百二十度方向，一百三十五度方向，一百五十度方向的图像梯度变换，得到变换图像集。

10.根据权利要求9所述的GAN图像处理系统，其特征在于，所述判别模块，包括：

特征提取融合单元，用于将所述变换图像集中的七种变换图像按照梯度变化度数相应的输入到判别网络的多通道卷积网络中的七个通道，每个通道提取相应的变换图像的特征，将七个通道的特征通过随机形式进行特征融合；

其中，通过随机形式进行特征融合的过程为每次取七个网络中相同位置的特征图，再取相同位置的七个元素，采用采样矩阵选取一个元素，进行随机化的特征融合，对七个通道的特征图进行特征融合得到一个新的特征图。