CN107590531A - 一种基于文本生成的wgan方法 - Google Patents

Abstract

本发明公开了一种基于文本生成的WGAN方法，属于深度学习神经网络领域，该方法包括以下步骤：S1、构造沃瑟斯坦生成式对抗网络WGAN模型；S2、准备文本数据集进行训练；S3、利用编码器，对将文本数据进行编码；S4、构造随机噪声，获取生成器的输出文本；S5、将生成器的输出文本与数据集编码之后的文本输入判别器，进行网络训练。本方法根据生成对抗网络模型的特点，创造性地提出了深度卷积神经网络与WGAN相结合的构造方式，首次公开了生成文本的对抗网络训练方式，突破了以往的生成对抗网络模型都是完成生成图像的功能。

Description

一种基于文本生成的WGAN方法

技术领域

本发明涉及深度学习神经网络技术领域，具体涉及一种基于文本生成的WGAN方法。

背景技术

生成式对抗网络(Generative Adversarial Network,简称GAN)是由Goodfellow在2014年提出的框架，它基于“博奕论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。判别器每完成一次判断，将结果误差返回给生成器。

然而，在传统的GAN模型中，多数是让生成对抗网络模型完成生成图像的功能，并未任何涉及生成文本的对抗网络训练方式。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，公开了一种基于文本生成的WGAN方法，该方法创造性地提出了深度卷积神经网络与WGAN相结合的构造方式，实现了生成文本的对抗网络训练方式。

本发明的目的可以通过采取如下技术方案达到：

一种基于文本生成的WGAN方法，所述的方法包括下列步骤：

S1、构造沃瑟斯坦生成式对抗网络WGAN模型，模型包含生成器和判别器；

S2、准备文本数据集进行训练；

S3、利用编码器，对将文本数据进行编码；

S4、构造随机噪声，获取生成器的输出文本；

S5、将生成器的输出文本与数据集编码之后的文本输入判别器，进行网络训练。

进一步地，所述的步骤S2中的文本数据集要求是属于同一类型的内容，例如均描写景物或故事等。

进一步地，所述的步骤S4中构造随机噪声，获取生成器的输出文本，具体过程如下：

S41、将随机噪声输入至生成器中；

S42、生成器对输入的随机噪声进行深度学习，从而生成文本。

进一步地，所述的步骤S5中，将生成器的输出文本与数据集编码之后的文本输入判别器，进行网络训练。具体说明如下：

数据集应该是具有同一类型或相似特征文本的集合；并且，数据集的规模应尽可能大；

在训练的过程中，判别器接收数据集经编码之后的文本和生成器的输出文本，并作出判断。

本发明相对于现有技术具有如下的优点及效果：

本发明根据Wasserstein距离的概念构造了WGAN中判别器损失函数的形式，打破了以往只能通过对抗网络进行图像生成的操作，创造性地提出了深度卷积神经网络与WGAN相结合的构造方式，实现了生成文本的对抗网络训练方式。

附图说明

图1是基于WGAN网络生成文本的整体流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种基于文本生成的WGAN方法，具体包括下列步骤：

步骤S1、构造沃瑟斯坦生成式对抗网络WGAN模型，模型包含生成器和判别器。

其中，生成器的卷积网络层数与判别器的卷积网络层数相同，并且生成器的卷积核是判别器的卷积核的转置。

步骤S2、准备文本数据集进行训练；

文本的数据集要求是属于同一类型的内容，例如均描写景物或故事等。

步骤S3、利用编码器，对将文本数据进行编码。

步骤S4、构造随机噪声，获取生成器的输出文本。具体方法如下：

S41、将随机噪声输入至生成器中；

S42、生成器对输入的随机噪声进行深度学习，从而生成文本。

步骤S5、将生成器的输出文本与数据集编码之后的文本输入判别器，进行网络训练。具体说明如下：

数据集应该是具有同一类型或相似特征文本的集合；并且，数据集的规模应尽可能大；

在训练的过程中，判别器接收数据集经编码之后的文本和生成器的输出文本，并作出判断。

在WGAN中，判别器的损失函数为：

其中，D(x)表示判别器对文本的判别，pr表示数据集文本的分布，pg表示生成文本的分布，λ为超参数，为梯度。

综上所述，本实施例公开了一种基于文本生成的WGAN方法，该模型算法在传统WGAN模型的基础上，打破了在传统方法中，只用对抗网络处理图像的方式。另外，判别器的损失函数也能够指导网络训练的方向。该方法利用准备好的文本数据集，同时构造编码器对文本进行编码，通过生成器与判别器之间的对抗训练，最终达到生成器生成新颖且符合实际内容的文本。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于文本生成的WGAN方法，其特征在于，所述的方法包括下列步骤：

S1、构造沃瑟斯坦生成式对抗网络WGAN模型，该模型包含生成器和判别器；

S2、准备文本数据集进行训练；

S3、利用编码器，对文本数据进行编码；

S4、构造随机噪声，获取生成器的输出文本；

S5、将生成器的输出文本与数据集编码之后的文本输入判别器，进行网络训练。

2.根据权利要求1所述的一种基于文本生成的WGAN方法，其特征在于，所述的生成器的卷积网络层数与所述的判别器的卷积网络层数相同，并且生成器的卷积核是判别器的卷积核的转置。

3.根据权利要求1所述的一种基于文本生成的WGAN方法，其特征在于，所述的文本数据集是属于同一类型的内容。

4.根据权利要求1所述的一种基于文本生成的WGAN方法，其特征在于，所述的步骤S4具体如下：

S41、将随机噪声输入至生成器中；

S42、生成器对输入的随机噪声进行深度学习，从而生成文本。

5.根据权利要求1所述的一种基于文本生成的WGAN方法，其特征在于，所述的判别器的损失函数为：

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>r</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>p</mi> <mi>g</mi> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>D</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>+</mo> <msub> <mi>&amp;lambda;E</mi> <mrow> <mi>x</mi> <mo>~</mo> <mi>X</mi> </mrow> </msub> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> </mrow>

其中，D(x)表示判别器对文本的判别，pr表示数据集文本的分布，pg表示生成文本的分布，λ为超参数，为梯度。