CN109522548A - 一种基于双向交互神经网络的文本情感分析方法 - Google Patents

Abstract

本发明公开了一种基于双向交互神经网络的文本情感分析方法，包括以下步骤：搜集实体‑文本情感语料集，并将其分为训练集与测试集；对语料集中的实体和文本进行预处理；运用相对位置信息和全局词向量信息，构建词和句子表示；将训练语料集的实体和文本词向量输入到神经网络，训练出情感分类模型；将测试集实体和文本词向量输输入到神经网络模型中，从而计算出每个样本的预测概率；运用量子启发的多模态决策融合方法将文本预测概率和图像预测概率加权融合，最终得到更加准确且智能的多模态情感分类结果。

Description

一种基于双向交互神经网络的文本情感分析方法

技术领域

本发明涉及文本情感分类技术领域，具体讲，涉及一种基于双向交互神经网络的文本情感分析方法。

背景技术

随着互联网和社交网络的迅速发展，越来越多的用户喜欢在社交平台上(如微博、点评、 Facebook等)发表评论和分享自己的观点，成为用户日常生活中获取信息的主要来源之一。不同于单纯的文本情感分析，现在的社交媒体上出现的文本一般不单叙述一个事物，通常会变现为对一个或多个事物的评价，所以我们对文本的情感分析要做到分析具体针对某个实体情况下的情感极性，这使得我们可以知道一段文本描述的每个事物的情感是怎样的。因此，文本情感分析不仅具有重要的理论意义，而且蕴含巨大的社会价值。本发明主要研究社交平台中最普遍的实体文本情感，即实体-文本情感分析技术。

情感分析，也称为意见挖掘，是自然语言处理(NLP)中的一项重要任务。它根据文本的情感状态和主观信息将文本分为两类或更多类，受到业界和学术界的广泛关注。在本发明中，我们讨论了实体-文本情感分析技术，这是文本情感分析领域的细粒度任务。例如，一段文本是“菜单看起来很好，除了提供智利海鲈鱼，但服务不提供在外面写在板上的特价。”。对于实体词“菜单”，情感极性为正，但对于实体词“服务”，极性为负，而对于“特价”，极性为中性。

实体-文本分析旨在区分给定句子中每个特定实体的情感极性。工业界和学术界都意识到了实体与句子之间关系的重要性，并试图通过设计一系列注意力模型来建立他们之间的关系。然而，大多数现有方法通常忽略了位置信息对于识别实体的情感极性也是至关重要的事实。当一个实体出现在一个句子中时，其相邻的单词应该比其他距离更远的单词给予更多的关注。因此本发明关注到实体词与文本的位置信息关系，构建了一个可以利用位置信息的双向注意力交互神经网络模型来解决实体-文本情感分析问题。

现在，基于注意力的神经网络模型已经被研究者们用来建模一些自然语言处理任务，并且已经非常成功。然而，目前的方法大部分只采用全局词向量信息，没有用到位置信息。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于双向交互神经网络的文本情感分析方法，本发明是搭建一个基于社交平台的实体-文本情感语料集，分别构建文本和实体的词向量和相对位置信息，运用双向注意力神经网络模型训练文本情感分类模型，并利用反向传播、随机梯度下降优化方法训练网络模型得到最优模型在测试集上预测结果，最终得到更加准确的分类结果。

本发明的目的是通过以下技术方案来实现的，包括如下步骤：

(1)：构建一个实体-文本情感语料集，该语料集的总样本数为N，其中每条样本包含一段文本和一个实体词；

(2)：从(1)的文本情感语料集中，随机选取80％*N个样本作为训练集，10％*N个样本划分为验证集和剩余的10％*N个样本划分为测试集，并分别对训练集、验证集和测试集进行预处理，去除每个文本的停留词、标点符号；

(3)：对预处理之后的文本和实体词，根据实体词在文本中的位置构造文本中每个词的相对位置信息特征，并输入到一个双向交互的神经网络模型中，运用方法如下：

3.1：根据实体词的位置构造文本中每个词的相对位置索引，假设一个实体词出现在句子中，那么它的位置索引将被标记为“0”，而句子中的其他词的位置索引将被表示为与当前实体词的相对距离：

其中j_s和j_e分别代表实体词在句子中的起始和结束位置索引，p_i可以被看作是句子中第i 个词关于实体词的相对位置索引；

3.2：运用glove工具得到每个文本中单词的词向量w_i，同时建立一个位置信息的矩阵，每一个相对位置索引对应一个向量p_i，在这一步我们得到文本中的每个词的表示x_i＝concat(w_i,p_i)，以及实体词的表示e_i＝w_i。

3.3：把文本的每个词的词向量连同它的相对位置信息向量按其在句子中的顺序输入到一个BiLSTM(双向长短期记忆)网络中，同时把实体词本身也输入到另一个BiLSTM网络中，其中LSTM具体计算公式如下：

其中f代表遗忘门，i代表输入门，o代表输出门，σ代表sigmoid函数，W和b分别代表权重和偏置；双向的LSTM网络分为forward(前向)和backward(后向)，通过用上述的公式，输入每个词的表示x_t(或实体词表示e_t)，分别得到前向和后向的网络隐层状态表示和最后我们拼接两个隐层状态表示以得到对于实体词，我们以相同的方式得到隐层状态表示

3.4：根据上一步中得到的文本中每个词的网络隐层状态表示，和实体中每个词的网络隐层状态表示，计算基于双向注意力机制的交互信息，具体如下，

3.41实体到文本的注意力计算：

其中α_ij表示从实体中第i个词到句子中第j个词的注意力权重，W和b分别代表权重矩阵和偏置项；

3.4文本到实体的注意力计算：

其中γ_i表示从句子表示到实体中第i个词的注意力权重，代表文本句子隐层状态表示的平均池化；

3.5：将最终的文本表示h_R输入到一个非线性全连接神经网络层得到神经网络表示向量x，再将表示x输入到softmax分类层输出最终的类别y：

x＝tanh(W_Rh_R+b_R)

y＝softmax(W_sx+b_s)

(4)：定义(3)中的神经网络模型损失函数为：

其中y_i代表真是类别标签，代表预测结果，λ代表正则化系数，θ代表模型中所有的参数；

(5)：在训练集上训练模型，每间隔一定批次，在验证集上进行验证模型效果，记录保存在验证集上效果达到最优时的模型参数。

(6)：用上一步中保存的最优的模型去测试测试集上的样本，最终得到每个测试样本的预测结果，对比测试标签，计算出分类准确率。

本发明的有益效果是：

(1)搭建一个有效的实体文本情感语料集，克服了当前实体文本情感情感语料集匮乏的困境。

(2)利用实体词与文本的相对位置信息为特征，发展出一套基于位置信息的双向交互神经网络模型框架，进行情感分类任务。

(3)本发明克服了实体-文本情感语料集相对缺乏的现状，能够更充分的提取文本和实体的特征信息，融合实体和文本的位置信息与全局词向量信息，并运用双向的注意力交互增强文本表示，从而使得神经网络模型有较强的判别能力，为发展未来人工智能系统及实体-文本情感分析系统提供了新思路。

附图说明

图1为本发明的方法流程图。

图2为双向注意力交互神经网络模型图。

图3为不同分类算法的ROC曲线实验对比结果。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。图1显示了本方法提出的实体-文本情感分析方法的流程；图2显示了本发明设计的神经网络模型；图3显示了最终不同算法之间的情感分类的对比结果。具体步骤如下：

(1)：基于著名的情感词典SentiWordNet，选取127个蕴含正情感和负情感的关键词，构成情感词表，其中正情感词数是62，如happy(开心)、smiling(微笑)等，负情感词数65，如sad(悲伤)、murder(谋杀)等。

(2)：基于Flickr平台采集数据，建立多模态数据集，方法如下：

第一步：用这些情感词分别查询Flickr，运用beautifulsoup工具，在Flickr社交平台检索出的文本中，用相应情感词的极性标注检索的实体-文本对的极性，收集并构建实体-文本情感语料集，该语料集的总样本数为99000，包含99000个实体和一一对应的99000个句子，其中正情感样本总数为49700，负情感样本总数为49300。

第二步：从第一步中构建的多模态情感语料集中，随机选取80％*99000个实体和文本作为训练集，10％*99000个实体和文本划分为验证集集，剩下的10％*99000个实体和文本划分为测试集，并分别对训练集、验证集和测试集进行预处理，去除每个文本的停留词、标点符号等无用词汇。

(3)：对预处理之后的文本和实体词，根据实体词在文本中的位置构造文本中每个词的相对位置信息特征，并输入到一个双向交互的神经网络模型中，运用方法如下：

第一步：根据实体词的位置构造文本中每个词的相对位置索引，假设一个实体词出现在句子中，那么它的位置索引将被标记为“0”，而句子中的其他词的位置索引将被表示为与当前实体词的相对距离：

其中j_s和j_e分别代表实体词在句子中的起始和结束位置索引，p_i可以被看作是句子中第i 个词关于实体词的相对位置索引。

第二步：运用glove工具得到每个文本中单词的300维词向量w_i，同时建立一个位置信息的矩阵，每一个相对位置索引对应一个100维向量p_i，模型初始化阶段用均匀分布初始化该参数矩阵，并在模型训练过程中更新优化。在这一步我们得到文本中的每个词的表示x_i＝ concat(w_i,p_i)，以及实体词的表示e_i＝w_i。

第三步：把文本的每个词的词向量连同它的相对位置信息向量按其在句子中的顺序输入到一个BiLSTM(双向长短期记忆)网络中，同时把实体词本身也输入到另一个BiLSTM网络中，其中LSTM具体计算公式如下：

其中f代表遗忘门，i代表输入门，o代表输出门，σ代表sigmoid函数，W和b分别代表权重和偏置。双向的LSTM网络分为forward(前向)和backward(后向)，通过用上述的公式，输入每个词的表示x_t(或实体词表示e_t)，分别得到前向和后向的网络隐层状态表示和最后我们拼接两个隐层状态表示以得到对于实体词，我们以相同的方式得到隐层状态表示我们设置和各200维，所以得到的h_t和为400维。

第四步：根据上一步中得到的文本中每个词的网络隐层状态表示，和实体中每个词的网络隐层状态表示，计算基于双向注意力机制的交互信息，具体如下，其中实体到文本的注意力计算：

其中α_ij表示从实体中第i个词到句子中第j个词的注意力权重，W和b分别代表权重矩阵和偏置项。另一方面文本到实体的注意力计算：

其中γ_i表示从句子表示到实体中第i个词的注意力权重，代表文本句子隐层状态表示的平均池化。

第五步：将最终的文本表示h_R输入到一个非线性全连接神经网络层得到神经网络表示向量x，再将表示x输入到softmax分类层输出最终的类别y：

x＝tanh(W_Rh_R+b_R)

y＝softmax(W_sx+b_s)

(4)：定义(3)中的神经网络模型损失函数为：

其中y_i代表真是类别标签，代表预测结果，λ代表正则化系数，我们设置为0.0002，θ代表模型中所有的参数。通过反向传播算法、批量(mini-batch＝32)随机梯度下降法训练模型。

(5)：在训练集上训练模型，每间隔100个批次，在验证集上进行验证模型效果，记录保存在验证集上效果达到最优时的模型参数。

(6)：用上一步中保存的最优的模型去测试测试集上的样本，最终得到每个测试样本的预测结果，对比测试标签，计算出分类准确率。最终得到实体-文本每个样本的预测结果，对比测试标签，计算出分类准确率，对比逻辑回归模型、支持向量机模型、LSTM模型、记忆网络模型，统计出柱状图，可以非常直观的观察到本发明可以明显的提升多实体-文本情感分析模型的效果，如图3所示。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (2)

1.一种基于双向交互神经网络的文本情感分析方法，其特征在于：它包括如下步骤：

(1)：构建一个实体-文本情感语料集，该语料集的总样本数为N，其中每条样本包含一段文本和一个实体词；

(2)：从(1)的实体-文本情感语料集中，随机选取80％*N个样本作为训练集，10％*N个样本划分为验证集和剩余的10％*N个样本划分为测试集，并分别对训练集、验证集和测试集进行预处理；

(3)：对预处理之后的文本和实体词，构建神经网络模型框架；根据实体词在文本中的位置构造文本中每个词的相对位置信息特征，并输入到一个双向交互的神经网络模型中；运用方法如下：

3.1：根据实体词的位置构造文本中每个词的相对位置索引，假设一个实体词出现在句子中，那么它的位置索引将被标记为“0”，而句子中的其他词的位置索引将被表示为与当前实体词的相对距离；

其中j_s和j_e分别代表实体词在句子中的起始和结束位置索引，p_i可以被看作是句子中第i个词关于实体词的相对位置索引；

3.2：运用glove工具得到每个文本中单词的词向量w_i，同时建立一个位置信息的矩阵，每一个相对位置索引对应一个向量p_i；所述文本中的每个词的表示x_i＝concat(w_i,p_i)，以及实体词的表示e_i＝w_i；

3.3本的每个词的词向量连同它的相对位置信息向量按其在句子中的顺序输入到一个双向长短期记忆网络中，同时把实体词本身也输入到另一个双向长短期记忆网络网络中；

其中，f代表遗忘门，i代表输入门，o代表输出门，σ代表sigmoid函数，W和b分别代表权重和偏置；其中，双向的LSTM网络分为forward(前向)和backward(后向)，通过用上述的公式，输入每个词的表示x_t(或实体词表示e_t)，分别得到前向和后向的网络隐层状态表示和最后拼接两个隐层状态表示以得到对于实体词，以相同的方式得到隐层状态表示

3.4：根据上一步中得到的文本中每个词的网络隐层状态表示，和实体中每个词的网络隐层状态表示，计算基于双向注意力机制的交互信息；具体如下，

3.41实体到文本的注意力计算：

其中α_ij表示从实体中第i个词到句子中第j个词的注意力权重，W和b分别代表权重矩阵和偏置项；

3.4文本到实体的注意力计算：

其中γ_i表示从句子表示到实体中第i个词的注意力权重，代表文本句子隐层状态表示的平均池化；

3.5：将最终的文本表示h_R输入到一个非线性全连接神经网络层得到神经网络表示向量x，再将表示x输入到softmax分类层输出最终的类别y；

x＝tanh(W_Rh_R+b_R)

y＝softmax(W_sx+b_s)

(4)：定义(3)中的神经网络模型损失函数为：

其中y_i代表真是类别标签，代表预测结果，λ代表正则化系数，θ代表模型中所有的参数；

(5)：在训练集上训练神经网络模型，每间隔一定批次，在验证集上进行验证神经网络模型效果，记录保存在验证集上效果达到最优时的神经网络模型参数；

(6)：用上一步中保存的最优的神经网络模型模型去测试测试集上的样本，最终得到每个测试样本的预测结果，对比测试标签，计算出分类准确率。

2.根据权利要求1所述的一种基于双向交互神经网络的文本情感分析方法，其特征在于，实体-文本情感语料集是由文本和对应的实体组成的。