CN107944546A - 一种基于原始生成对抗网络模型的残差网络方法 - Google Patents

Abstract

本发明公开了一种基于原始生成对抗网络模型的残差网络方法，属于深度学习神经网络领域，包括以下步骤：S1、构造原始生成对抗网络模型；S2、构造神经网络充当生成器与判别器的功能；S3、初始化随机噪声，输入生成器中；S4、在神经网络中利用残差网络对图像进行卷积操作；S5、将残差网络操作得到的损失函数输入生成器进行后续训练。本方法构建的基于残差网络的原始生成对抗网络模型，改变了判别器、生成器接收图片后的卷积方式，让判别器、生成器能够以更大的范围对图像的特征进行学习，从而能够提高整个网络训练模型的鲁棒性。

Description

一种基于原始生成对抗网络模型的残差网络方法

技术领域

本发明涉及深度学习神经网络技术领域，具体涉及一种基于原始生成对抗网络模型的残差网络方法。

背景技术

生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的深度学习框架，它基于“博奕论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。

在传统的对抗网络模型中，判别器往往是通过原始的卷积核进行的操作，对生成器生成图像的特征进行解析，进行一种新特征的学习，往往需要在学习到一种旧的特征结束之后才能进行。在这种情况下，生成器所学习到的特征范围较小，学习效率较低。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于原始生成对抗网络模型的残差网络方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于原始生成对抗网络模型的残差网络方法，所述的残差网络方法包括下列步骤：

S1、构造原始生成对抗网络模型，通过生成器生成图像输入至判别器进行网络训练；

S2、构造神经网络充当生成器与判别器的功能；

S3、初始化随机噪声，输入生成器中；

S4、在神经网络中利用残差网络对图像进行卷积操作；

S5、将残差网络操作得到的损失函数输入生成器进行后续训练。

进一步地，所述的步骤S4具体过程如下：

S41、收集浅层神经网络的梯度；

S42、将浅层神经网络的梯度加到深层神经网络中去。

进一步地，所述的步骤S5具体过程如下：

S51、将卷积操作之后得到的图像特征图，输入判别器中进行判别；

S52、将残差网络操作之后得到的损失函数，输入生成器进行后续训练。

进一步地，所述的损失函数的表达式为：

其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度，E为取均值的操作符号。

本发明相对于现有技术具有如下的优点及效果：

高效性：本发明将残差网络运用到原始生成对抗网络模型中来，将浅层的梯度直接加到深层的神经网络中去，避免了梯度逐层传递而消失的情况，提高了网络训练的效率。

附图说明

图1是本发明中原始生成对抗网络通过残差网络进行训练的整体流程图；

图2是本发明中将浅层梯度加在深层网络的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于原始生成对抗网络模型的残差网络方法，具体包括下列步骤：

步骤S1、构造原始生成对抗网络模型，通过生成器生成图像输入至判别器进行网络训练。

步骤S2、构造神经网络充当生成器与判别器的功能；

不同的卷积核，体现在矩阵数值的不同、行列数的不同。

构造多个卷积核，在处理图像的过程中，不同的卷积核意味着能够在网络训练的过程中学习到生成图像的不同特征。

在传统的对抗网络模型中，卷积神经网络的梯度是逐层向深层传递的，在训练的过程中，梯度会随着卷积神经网络的深入而逐渐变小甚至消失，这种情况导致的结果是网络训练的效率低下。而本发明将残差网络运用到原始生成对抗网络模型中来，将浅层的梯度直接加到深层的神经网络中去，避免了梯度逐层传递而消失的情况，提高了网络训练的效率。

在实际应用中，应该根据数据集图像特征的复杂程度，设置卷积核的个数。

步骤S3、初始化随机噪声，输入生成器中。

步骤S4、在神经网络中利用残差网络对图像进行卷积操作。

具体过程如下：

S41、收集浅层神经网络的梯度；

S42、将浅层神经网络的梯度加到深层神经网络中去。

步骤S5、将残差网络操作得到的损失函数输入生成器进行后续训练。具体过程如下：

S51、将步骤S4中卷积之后的特征图，输入判别器进行判别；

S52、将残差网络操作得到的损失函数输入生成器进行后续训练。

损失函数的作用是衡量判别器对生成图像判断的能力。损失函数的值越小，说明在当前迭代中，判别器能够有较好的性能辨别生成器的生成图像；反之则说明判别器的性能较差。

损失函数的表达式为：

其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度。E为取均值的操作符号。

综上所述，本实施例公开了一种基于原始生成对抗网络模型的残差网络方法，相比于传统的原始对抗网络模型，改变了判别器接收图片后的对图像特征进行学习的方式。在传统的对抗网络模型中，卷积神经网络的梯度是逐层向深层传递的，在训练的过程中，梯度会随着卷积神经网络的深入而逐渐变小甚至消失，这种情况导致的结果是网络训练的效率低下。而本发明将残差网络运用到深度卷积对抗网络模型中来，将浅层的梯度直接加到深层的神经网络中去，避免了梯度逐层传递而消失的情况，提高了网络训练的效率。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于原始生成对抗网络模型的残差网络方法，其特征在于，所述的残差网络方法包括下列步骤：

S1、构造原始生成对抗网络模型，通过生成器生成图像输入至判别器进行网络训练；

S2、构造神经网络充当生成器与判别器的功能；

S3、初始化随机噪声，输入生成器中；

S4、在神经网络中利用残差网络对图像进行卷积操作；

S5、将残差网络操作得到的损失函数输入生成器进行后续训练。

2.根据权利要求1所述的一种基于原始生成对抗网络模型的残差网络方法，其特征在于，所述的步骤S4具体过程如下：

S41、收集浅层神经网络的梯度；

S42、将浅层神经网络的梯度加到深层神经网络中去。

3.根据权利要求1所述的一种基于原始生成对抗网络模型的残差网络方法，其特征在于，所述的步骤S5具体过程如下：

S51、将卷积操作之后得到的图像特征图，输入判别器中进行判别；

S52、将残差网络操作之后得到的损失函数，输入生成器进行后续训练。

4.根据权利要求3所述的一种基于原始生成对抗网络模型的残差网络方法，其特征在于，所述的损失函数的表达式为：

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>r</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>&amp;lambda;E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>X</mi> </mrow> </msub> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> </mrow>

其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度，E为取均值的操作符号。