CN109614611A - 一种融合生成非对抗网络与卷积神经网络的情感分析方法 - Google Patents

Abstract

本发明提供一种融合生成非对抗网络与卷积神经网络的情感分析方法，本发明首先是借鉴传统的生成对抗网络思想，构建了一个生成非对抗网络，用于生成文本的全局语义信息，经过验证，该语义信息具有较好的表征全局的效果。其次对传统卷积神经网络进行改进，使其更适合情感分析任务，并且将生成非对抗网络产生的全局语义信息融合进其中，进行模型训练与测试。过程中使用的数据集为MR与SST‑2数据集。

Description

一种融合生成非对抗网络与卷积神经网络的情感分析方法

技术领域

本发明涉及自然语言处理中的文本情感分析相关领域，更具体地，涉及一种融合生成非对抗网络与卷积神经网络的情感分析方法。

背景技术

情感分析，又称倾向性分析，意见抽取，意见挖掘，情感挖掘，主观分析，它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程，如从评论文本中分析用户对“数码相机”的“变焦、价格、大小、重量、闪光、易用性”等属性的情感倾向，而情感倾向，又可分为“正向、负向、中性”等。

随着社交网络的发展，情感分析有着越来越多的应用场景：如对于商家来说，整理提炼互联网中的海量口碑评价，确定用户对自家产品的满意程度，需要用到情感分析领域的内容；又如对于门户网站来说，全面分析网友对于热点事件的动态情绪，确定推送内容，也无疑需要使用情感分析。

情感分析从大类来说，属于文本分类的一种，但是又与传统的文本分类有着区别。举两句话作为例子：“这首歌真热”与“天气真热”，从情感分析的角度来看，同样是“热”，但前者的情感极性为正向，后者的情感极性为负向。这个例子说明了，在情感分析中，全局的语义信息对于确认情感极性是十分关键的一个信息；而在其它文本分类中，全局的语义信息并没有那么关键。

因此，如何提取到能够比较好的表征全局的语义信息，并且如何将其融合进模型中，就成为了提升情感分析效果的一个关键问题。

对于上述提到的问题，借鉴最近比较流行的生成对抗网络思路，我们设计了一个生成非对抗网络框架，以生成比较好的全局语义信息；此外，我们还设计了一个基于卷积神经网络的模型，将全局语义信息融入模型，并引入位置向量，以达到较好的情感分析效果。

发明内容

本发明提供一种融合生成非对抗网络与卷积神经网络的情感分析方法。为了达到上述技术效果，本发明的技术方案如下：

一种融合生成非对抗网络与卷积神经网络的情感分析方法，其特征在于，包括以下步骤：

S1：建立用于生成全局语义信息的生成非对抗网络；

S2：建立通过特征抽取融合局部语义信息的卷积神经网络；

S3：通过非对抗网络生成全局信息，结合卷积神经网络提取局部信息，最终进行融合生成非对抗网络与卷积神经网络的情感分析的模型训练与测试。

进一步的，所述步骤S1的具体过程是：

S11：我们借鉴了生成对抗网络的思想，为了让其可以生成能表征全局语义的向量，我们进行了一点改进，构建了一个生成器G，与一个判别器D，让二者呈现非对抗状态，其中这两个都是由3层全连接网络构成，将G与D随机初始化。

S12：首先将句子中所有单词的词向量拼接成为一个向量(记为A向量)经过生成器G，得到一个压缩之后的真实文本表达向量。其次随机生成一个与A向量维度一致的向量，也同样经过生成器G，得到一个压缩之后的非文本表达向量。

S13：固定生成器G，将真实文本表达向量与非文本表达向量分别输入判别器D，再经过一个softmax层，真实文本表达向量的label定为1，非文本表达向量的label定为0，使用交叉熵作为损失函数，以这个为分类目标训练判别器D。(此步骤目的是，让判别器可以准确判别压缩的向量是文本表示向量还是非文本表示向量)

S14：训练完判别器D之后固定判别器D，训练生成器G。(此步骤的目的是，在停止强化判别器后，强化生成器，使其可以生成更高质量的表示向量，可以让判别器更容易判别压缩向量是否是文本表示向量。)

S15：重复迭代S13与S14步骤，直到整个结果趋于收敛后停止训练，只取出生成器G。经过训练后，此时的生成器G具备了提取句子全局信息并将其压缩到低维表示的能力。之后将各个待预测句子输入G即可得到该句子的全局语义表达。由于在我们的训练过程中，我们的训练目标是使G与D相互协作，因此G与D之间不是对抗关系，但是G与D的结构以及相互联系与对抗网络一致，故此结构我们称为生成非对抗网络。

进一步地，所述步骤S2的具体过程是：

S21：给定一个句子，首先将句子中的每一个单词映射为词向量。但由于卷积神经网络无法很好地捕获到词序信息，因此我们需要对输入进行一些补充。

S22：位置向量是为了使卷积神经网络捕获到词序信息，位置向量的维度与词向量的维度一致。位置向量的公式为与 其中，pos为单词在句子中的位置，而i与词向量的维度相对应，也即根据公式可以将位置向量的每一维度的值算出。计算出位置向量后，将原有单词词向量与位置向量拼接，即最终每个单词向量的维度变为原来的两倍。

S22：使用多个不同宽度的卷积核依次对句子进行卷积操作，其中卷积核的大小跟拼接后的单词向量维度一致(即原始词向量的两倍)。

S23：将多个卷积核提取到的特征向量分别经过池化操作，并拼接起来，得到一个可以视做卷积神经网络提取出来的句子表示向量，并且将S1步骤中得到的全局语义信息与之拼接，得到我们最终的句子表示。

S24：将上一轮得到的句子表示经过前馈神经网络(前馈神经网络其实就是全连接网络，对输入进行线性变换)得到三元输出。

S25：将得到的三元输出经过softmax层，转换成对应的概率，对应的公式为

S26：使用交叉熵的作为损失函数，计算梯度，采取反向传播算法更新网络。

进一步地，所述步骤S3的具体过程如下：

S31：首先我们训练第一部分，非对抗网络，每一轮迭代有两个输入，一个是经过词嵌入将句子转换成的向量矩阵，一个是我们随机生成的非句子向量矩阵。我们采取生成器与判别器交替训练的方式，即先固定生成器训练判别器，在固定判别器训练生成器，依次交替，但是最后一轮必须是固定判别器训练生成器，之后将训练好的非对抗网络中的生成器取出。迭代次数大约为1000。

S32：接下来我们训练卷积神经网络的部分。经过词嵌入与位置向量的拼接将句子转为向量矩阵，输入卷积神经网络中，使用交叉熵作为损失函数。将数据集以8：1：1的比例分为训练集、验证集与测试集，使用训练集进行训练，batch_size设定为64，迭代1000个epoch，每隔一个epoch在验证集上进行准确率的验证。

S33：将训练好的模型保存，并用这个模型在情感分类测试集上进行测试，并使用正确率这一验证指标。

与现有技术相比，本发明技术方案的有益效果是：

情感分析任务比较依赖词序信息与全局语义。本发明提出的通过生成非对抗网络提取出来的全局语义信息，经过验证，能够较好地表征句子的全局语义信息。此外，相比于循环神经网络，卷积神经网络具有可并行化，训练速度较快的优点，但同时也存在着对词序捕捉能力不足的缺点。因此本发明引入的位置向量，将位置信息作为已知信息引入模型，弥补了这一缺点。

附图说明

图1为本发明流程示意图；

图2、图3为实施例1中的处理过程示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，本发明是一种融合生成非对抗网络与卷积神经网络的情感分析方法，首先我们要了解数据集。实验所用数据集为MR与SST-2数据集。MR与SST-2均为电影评论数据集。在实验中，我们采用的是句子级别(即预测一个句子的情感极性)的数据集。具体的数据集信息详见表1。

◆表1、实验所用数据集信息

数据集	数据集大小(句子数)	情感极性比例(正向/负向)
			MR	10662	5331/5331
SST-2	11434	5717/5717

在之前的方法中，效果较好的做法是采用LSTM、CNN及它们的一些变种，直接对句子文本进行建模，最终得到一个较好地表征句子的向量，再通过全连接层与softmax层进行分类，得到最终的结果。而出于对情感分析任务的理解(句子全局的信息对于情感分析任务十分重要)，本方法使用生成非对抗网络提取出的全局语义信息，融合进原有网络中，并且针对原有网络的不足进行了优化，最终提升了情感分析任务的准确率。

具体方法步骤如下：首先需要构建生成非对抗网络。使用预训练好的词向量，将句子中的单词对应的词向量拼接起来做为网络的一个输入，将随机生成的与拼接向量相等长度的向量做为网络的另一个输入，将这两个输入经过生成器G，分别得到两个向量，一个为文本表征向量，另一个为非文本表征向量。将这两个向量经过判别器D，文本表征向量我们的label定为1，而非文本表征向量我们的label定为0，先固定G，计算loss，通过反向传播训练D，接着再固定D，训练G，多次迭代直至网络收敛。然后我们将G取出，将每一个句子都经过G，即可得到句子的全局语义信息。接着我们使用卷积神经网络，使用多个卷积核对句子进行建模，同时引入位置向量。最终我们将卷积神经网络与生成非对抗网络得到的向量拼接，再经过全连接层与softmax函数，最终就能得到我们的分类结果，对网络进行训练即可。

细节如下：

1、由于实验所用的数据集均为英文数据集，因此我们在读入数据集之后无需进行分词操作，我们只需要以空格为分隔符，将每个句子切分为一个一个单词即可。实验中使用的词向量为预训练好的词向量，维度为50维。由于所有句子都需要经由同一个生成器G来生成对应的全局信息，因此我们G中的向量需要保持同样的维度。而数据集中句子单词数在10-50之间，因此我们将句子长度固定为50，也即，如果句子长度不够50，那么我们会对其进行补充。每一个句子中的单词都以查表的方式得到对应的词向量(如果是未登录词则视为全0向量)，然后将所有词向量拼接起来，如果单词数不够50，那么剩下的部分也以全0向量补充，即最终我们拼接后得到的向量维度为50*50＝2500。同样地，随机生成的非文本向量，维度也应为2500。而生成器D，我们采用两层全连接层，第一层神经元数为1000，第二层神经元数为50，也即，经过生成器D之后，我们会得到一个表示向量，维度为50维。而判别器D，为单层全连接层，节点为2(代表着正向与负向)，激活函数为softmax。

2、训练生成非对抗网络时，我们将文本生成的向量label设定为1，将非文本生成的向量label设定为0，送入判别器D中，固定住生成器G，通过反向传播更新参数。再固定D，训练G。重复这种训练方式500次，直至结果收敛为止。

3、取出网络中的生成器D，将每一个句子的拼接向量都经过D，得到句子对应的全局语义向量。

4、按照预训练好的词向量我们生成一个句子对应的词向量矩阵，其中行数为单词数，列数为词向量维度。在每一行之后拼接上位置向量，位置向量表示公式如式下：与因此每个句子的词向量矩阵维度应该为50*100。将词向量矩阵输入卷积神经网络，卷积核的宽度为2，3，5三种，长度固定为100，卷积核个数为50，采用max-pooling，因此最终经过卷积神经网络得到的向量维度也为50。得到此向量之后再与3中取出的全局语义信息拼接为最终的句子表示向量，维度为100。最终经过一层全连层进行分类，使用交叉熵作为损失函数，通过反向传播更新网络参数。

5、将数据集以8：1：1的比例分为训练集、验证集与测试集，使用训练集进行训练，batch_size设定为64，迭代1000个epoch，每隔一个epoch在验证集上进行准确率的验证。当结果收敛或达最终迭代次数后停止训练。在测试集上测试模型准确率。

由于我们在生成非对抗网络中，借鉴了传统了生成对抗网络的训练思想，同时又引入了label，使得训练任务变成了一个有监督任务。对于判别器D来说，我们的loss分为两部分，一部分是文本生成的表示向量L_文本，另一部分是随机生成的向量生成的表示向量L_非文本。

因此，在训练D时，我们的loss＝L_非文本+L_文本，这样定义损失函数的意义在于，我们的训练目的D的目的在于使D能够判别向量到底是来自于文本生成还是非文本生成。

而在训练生成器G时，我们的loss＝L_文本，这样定义的意义在于，我们训练目的在于使G生成的文本向量更容易被判别器D识别出来。在生成对抗网络中，生成器与判别器是互相对抗的，但在我们的网络中，G与D是非对抗状态，因此我们的网络称作生成非对抗网络。

为了和以前方法做对比，我们采用了之前一些表现效果较好的模型，并且在MR与SST数据集上以相同的迭代次数进行了训练与测试，最终到了如下的实验结果。

表2、各个模型在MR数据集上的准确率

模型	准确率
		RNN	77.7％
LSTM	77.4％
		CNN	81.5％
LR-Bi-LSTM	82.1％
		LR-LSTM	82.5％
本文模型(global-CNN)	84.2％

表3、各个模型在SST-2数据集上的准确率

模型	准确率
		RNN	80％
LSTM	81％
		CNN	81.5％
LR-Bi-LSTM	82.1％
		LR-LSTM	82.5％
本文模型(global-CNN)	85％

从结果可以看出我们的发明相较于以前方法不小的提升，本发明从生成对抗网络出发，构建了生成非对抗网络用于提取句子的全局信息，并且将全局信息融合进卷积神经网络中，同时还改进了卷积神经网络无法捕捉词序的缺点。本发明的具体结构如附图1所示。

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种融合生成非对抗网络与卷积神经网络的情感分析方法，其特征在于，包括以下步骤：

S1：建立用于生成全局语义信息的生成非对抗网络；

S2：建立通过特征抽取融合局部语义信息的卷积神经网络；

S3：通过非对抗网络生成全局信息，结合卷积神经网络提取局部信息，最终进行融合生成非对抗网络与卷积神经网络的情感分析的模型训练与测试。

2.根据权利要求1所述的融合生成非对抗网络与卷积神经网络的情感分析方法，其特征在于，所述步骤S1的具体过程是：

S11：构建一个生成器G，与一个判别器D，让二者呈现非对抗状态，其中这两个都是由3层全连接网络构成，将G与D随机初始化；

S12：首先将句子中所有单词的词向量拼接成为一个向量A，经过生成器G，得到一个压缩之后的真实文本表达向量，其次随机生成一个与A向量维度一致的向量，也同样经过生成器G，得到一个压缩之后的非文本表达向量；

S13：固定生成器G，将真实文本表达向量与非文本表达向量分别输入判别器D，再经过一个softmax层，真实文本表达向量的label定为1，非文本表达向量的label定为0，使用交叉熵作为损失函数，以这个为分类目标训练判别器D；

S14：训练完判别器D之后固定判别器D，训练生成器G；

S15：重复迭代S13与S14步骤，直到整个结果趋于收敛后停止训练，只取出生成器G；

经过训练后，此时的生成器G具备了提取句子全局信息并将其压缩到低维表示的能力，之后将各个待预测句子输入G即可得到该句子的全局语义表达；训练目标是使G与D相互协作，因此G与D之间不是对抗关系，但是G与D的结构以及相互联系与对抗网络一致，故此结构称为生成非对抗网络。

3.根据权利要求2所述的建立通过特征抽取融合全局语义信息的卷积神经网络，所述步骤S2的具体过程是：

S21：给定一个句子，首先将句子中的每一个单词映射为词向量，但由于卷积神经网络无法很好地捕获到词序信息，因此我们需要对输入进行一些补充；

S22：位置向量是为了使卷积神经网络捕获到词序信息，位置向量的维度与词向量的维度一致，位置向量的公式为与 其中，pos为单词在句子中的位置，而i与词向量的维度相对应，也即根据公式可以将位置向量的每一维度的值算出，计算出位置向量后，将原有单词词向量与位置向量拼接，即最终每个单词向量的维度变为原来的两倍；

S22：使用多个不同宽度的卷积核依次对句子进行卷积操作，其中卷积核的大小跟拼接后的单词向量维度一致；

S23：将多个卷积核提取到的特征向量分别经过池化操作，并拼接起来，得到一个可以视做卷积神经网络提取出来的句子表示向量，并且将S1步骤中得到的全局语义信息与之拼接，得到我们最终的句子表示；

S24：将上一轮得到的句子表示经过前馈神经网络(前馈神经网络其实就是全连接网络，对输入进行线性变换)得到三元输出；

S25：将得到的三元输出经过softmax层，转换成对应的概率，对应的公式为

S26：使用交叉熵的作为损失函数，计算梯度，采取反向传播算法更新网络。

4.根据权利要求3所述的通过非对抗网络生成全局信息，结合卷积神经网络提取局部信息，最终进行融合生成非对抗网络与卷积神经网络的情感分析的模型的训练与测试，所述步骤S3的具体过程如下：

S31：首先训练非对抗网络，每一轮迭代有两个输入，一个是经过词嵌入将句子转换成的向量矩阵，一个是随机生成的非句子向量矩阵，采取生成器与判别器交替训练的方式，即先固定生成器训练判别器，在固定判别器训练生成器，依次交替，但是最后一轮必须是固定判别器训练生成器，之后将训练好的非对抗网络中的生成器取出，迭代次数大约为1000；

S32：接下来训练卷积神经网络的部分，经过词嵌入与位置向量的拼接将句子转为向量矩阵，输入卷积神经网络中，使用交叉熵作为损失函数，将数据集以8：1：1的比例分为训练集、验证集与测试集，使用训练集进行训练，batch_size设定为128，迭代1000个epoch，每隔一个epoch在验证集上进行准确率的验证；

S33：将训练好的模型保存，并用这个模型在情感分类测试集上进行测试，并使用正确率这一验证指标。