CN112527966A - 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 - Google Patents

Abstract

本发明涉及一种基于Bi‑GRU神经网络和自注意力机制的网络文本情感分析方法，属于信息技术领域。该方法包括：S1：获取网络文本信息，利用词嵌入向量对文本进行编码；S2：通过Bi‑GRU网络层对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并得到最终的隐含向量；S3：将得到的隐含向量输入到多层感知器中，得到新的隐含表示，然后计算单词的重要性词级上下文向量，在训练过程中随机初始化并且共同学习；S4：将每个单词的隐含向量乘以其通过自注意力层获得的对应权重，然后通过改进的softmax层进行文本情感分类。本发明能有效提高网络文本情感分类准确性。

Description

基于Bi-GRU神经网络和自注意力机制的网络文本情感分析 方法

技术领域

本发明属于信息技术领域，涉及一种基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法。

背景技术

人们通过文字在互联网下进行交流以传达各自的情感，借助这种广泛的沟通方式，实现了高效而又便捷的信息和价值观传递。故挖掘互联网环境下文字及其传递的情感关系，不仅仅是对促进NLP领域的研究和发展有着推动作用，还对人们实际的生活中有着实在的价值。

情感分析目前是自然语言处理中的一个重要的研究方向，是一个处理、分析、归纳和推理哪些具有情感因素的主观性文本的过程，能够反映人们的观点、情绪、评估对注入产品、服务、组织等实体的态度。对网络文本进行细致的情绪极性分类是文本情感分析中一个重要而又具有挑战性的课题。网络文本可以包含多个方面术语，不同方面术语会产生不同的情感表达。整个句子的极性与方面词和观点词高度相关。此外，如何有效地利用上下文信息和语义特征，以及如何建模方面词与包括意见词在内的上下文词之间的相互关系，是网络文本情感分类面临的两个挑战。

网络文本的情感分类任务大致可以分为三个阶段：数据收集及预处理，特征提取和特征学习。特征提取主要有人工提取和通过学习得到特征。在特征学习过程中，传统的机器学习算法在计算复杂度上优于深度学习算法，但是不能像深度学习算法一样能够学习文本的语义关系。LSTM神经网络在表示句子的语义组成方面有较好的表现，可以更好地捕捉较长的依赖关系。然而，LSTM神经网络只能捕捉句子的前向部分。有时一个句子中一个词的语义仅靠句子的历史信息是不能正确表达的，同时用于LSTM加入了多个门导致参数的增加从而导致计算量的大幅度上升。

因此，亟需一种计算量小且准确性高的文本清关分析方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法。实现了根据输入的网络文本对其进行向量化处理，利用带有自注意力机制的Bi-GRU神经网络提取文本中的重要特征，再通过改进的softmax层进行文本情绪分类，提高了文本情感分类的准确性。

为达到上述目的，本发明提供如下技术方案：

一种基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法，具体包括以下步骤：

S1：获取网络文本信息，使用Word2vec分布式词嵌入编码方式对输入文本进行编码，将词序列{wi₁,wi₂，…，wi_n}转换为计算机能够识别的词嵌入向量{w₁,w₂，…,w_n}；

S2：通过Bi-GRU网络层对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并得到最终的Bi-GRU模型的隐含向量；

S3：训练方面词向量，将方面词向量与隐含向量融合，将融合后得到的隐含向量作为输入输入到一个简单的多层感知器中，得到新的隐含表示，然后计算单词的重要性词级上下文向量作为判断句子中不同单词重要性的高维的表示，在训练过程中随机初始化并且共同学习；

S4：通过获得的每个单词的隐含向量乘以其通过自注意力层获得的对应的权重得到一个向量，再将该向量通过改进的softmax分类器中进行文本情感分类，整个过程使用Adam梯度下降的优化方案对损失函数进行优化。

进一步，步骤S2具体包括以下步骤：

S21：将步骤S1得到的词嵌入向量输入到网络中；

S22：构建两个独立的GRU，它们可以对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并，在这个模型中，两个相反方向的参数是独立的，但是它们共同拥有一个句子的词嵌入；

前向GRU根据前向隐含向量和嵌入输入词计算出一个隐含向量，后向GRU根据后向隐含向量和嵌入输入词计算出一个隐含向量；

S23：将得到的前向隐含向量和后向隐含向量合并到Bi-GRU模型的最终隐含向量中。

进一步，步骤S3具体包括以下步骤：

S31：构建一个简单的多层感知器；

S32：将隐含向量和随机初始向量输入到构建的简单的多层感知器共同学习得到新的隐藏表示u_t和上下文向量u_w；

S33：通过公式

计算每个词的注意力权重。

进一步，步骤S32中，将隐含向量和随机初始向量输入到构建的简单的多层感知器共同学习，具体包括：

S321：为每一个方面术语训练一个嵌入向量，假设有k个方面术语e₁,e₂,…e_k,则方面词向量表示为：

S322：将方面词向量和隐含向量进行融合得到新的隐含向量，融合的隐含向量表示为：

f_i＝h_i+v_at

其中，{h₁,h₂，…,h_n}为隐含向量；

S323：将融合后向量和随机初始向量输入到构建的简单的多层感知器共同学习得到新的隐藏表示u_t和上下文向量u_w。

进一步，步骤S4具体包括以下步骤：

S41：通过自注意力层获得注意力权重；

S42：通过注意力权重与对应隐含向量的加权和来计算句子向量，计算公式为：

S43：S表示一个句子向量，可以看作是带有注意力权重的情感特征，将s输入改进的softmax分类器中实现情感分类，改进的softmax函数如下：

其中，C′表示减去输入信号中的最大值从而实现溢出抑制。

S44：在模型训练过程中，采用反向传播算法，反向计算每个神经元的误差项值；采用Adam梯度下降的优化方案对损失函数进行优化。

本发明的有益效果在于：本发明在网络文本情感分类中通过Bi-GRU神经网络能够结合上下文对文本情感特征提取更加准确，同时相比于目前最主流的RNN模型LSTM来说，GRU作为LSTM的一种变体，将LSTM中的输入门、输出门和记忆门简化成了更新门和权重门，在继承了LSTM的处理自然语言能力的同时，更少的参数能够大大降低计算量，同时对于给定的一个句子，不是所有上下文词对一个句子的语义都有相同的作用。而且由于句子的情绪极性与句子中的方面词和意见词高度相关。因此，如何在情绪分析中集中注意这些方面的问题就显得尤为重要。然而，标准的Bi-GRU无法识别哪一个是情感分析中更重要的部分。所以加入了方面词的词嵌入向量，引入自我注意力机制，可以抓住句子的重要部分，提高这些部分的特征权重，使得情感分类更加准确。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法的框架图；

图2为Bi-GRU神经网络层模型；

图3为加入自注意力机制的Bi-GRU神经网络模型。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图3，图1所示为本发明的基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法的整体模型图，该方法具体包括以下步骤：

步骤S1：获取网络文本信息，使用Word2vec这种分布式词嵌入编码方式对输入文本进行编码，将词序列{wi₁,wi₂，…，wi_n}转换为计算机能够识别的词嵌入向量{w₁,w₂，…,w_n}。

步骤S2：通过Bi-GRU网络层对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并得到最终的Bi-GRU模型的隐含向量。

Bi-GRU神经网络层如图2所示，步骤S2具体包括以下步骤：

步骤S21：将得到的词嵌入向量{w₁,w₂，…,w_n}输入到网络中；

步骤S22：构建两个独立的GRU，对于单个GRU单元，其计算如下：

z_t＝σ(W_zx_t+U_Zh_t-1)

r_t＝σ(W_tx_t+U_th_t-1)

其中，z_t是更新门，决定了当前时刻状态和前一时刻状态对输出结构的影响程度，σ代表sigmoid函数；h_t表示输出；

表示当前的隐藏状态；r_t是重置门，受到上一时刻状态h_t-1的影响；

表示向量对应位置的元素相乘的运算。

构建的两个独立的GRU它们可以对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并,在这个模型中，两个相反方向的参数是独立的，但是它们共同拥有一个句子的词嵌入。

步骤S23：前向GRU根据前向隐含向量fh_t-1和嵌入输入词x_t计算出一个隐含向量fh_t，后向GRU根据后向隐含向量bh_t-1和嵌入输入词x_t计算出一个隐含向量bh_t。

步骤S24：将得到的前向隐含向量和后向隐含向量合并到Bi-GRU模型的最终隐含向量中,最终的Bi-GRU隐含向量h_t为：h_t＝[fh_t,bh_t]。

步骤S3：训练方面词向量，将方面词向量与隐含向量融合，将融合后得到的隐含向量作为输入输入到一个简单的多层感知器中，得到新的隐含表示，然后计算单词的重要性词级上下文向量作为判断句子中不同单词重要性的高维的表示，在训练过程中随机初始化并且共同学习。

基于自注意力的Bi-GRU神经网络模型如图3所示，步骤S3具体包括：

步骤S31：构建的一个简单的多层感知器。

步骤S32：由于句子的情绪极性与句子中的方面词和意见词高度相关。因此，如何在情绪分析中集中注意这些方面的问题就显得尤为重要。然而，标准的Bi-GRU无法识别哪一个是情感分析中更重要的部分。所以引入自我注意力机制，可以抓住句子的重要部分。图3中{w₁,w₂，…,w_n}表示句子的嵌入词，长度为n,{h₁,h₂，…,h_n}为隐含向量。

为注意力权重。为每一个方面术语训练一个嵌入向量，假设有k个方面术语e₁,e₂,…e_k,则方面词向量表示为：

步骤S33：将方面词向量和隐含向量进行融合得到新的隐含向量，融合的隐含向量表示为：f_i＝h_i+v_at。

步骤S34：将得到的隐含向量和随机初始向量输入到构建的简单的多层感知器共同学习得到新的隐藏表示u_t和上下文向量u_w。

步骤S35：通过公式

计算每个词的注意力权重。

步骤S4：通过获得的每个单词的隐含向量乘以其通过自注意力层获得的对应的权重得到一个向量，再将该向量通过改进的softmax层进行文本情感分类。

步骤S4具体包括以下步骤：

步骤S41：通过自注意力层获得注意力权重。

步骤S42：通过注意力权重与对应隐藏向量的加权和来计算句子向量，句子向量由公式

计算，S表示一个句子向量，可以看作是带有注意力权重的情感特征。

步骤S43：由于softmax函数的运算涉及到了指数计算，由于指数函数容易呈现爆照式的增长，故对于计算机而言会存在溢出的问题，所以对softmax函数进行改进，令改进的softmax函数如下：

其中，C′表示减去输入信号中的最大值从而实现溢出抑制。

步骤S44：将S输入的softmax分类器中实现情感分类。

步骤S45：在模型训练过程中，采用反向传播算法，反向计算每个神经元的误差项值，例如递归神经网络的反向传播，Bi-GRU的误差项包括两个方向：一个是沿时间反向传播，另一个是将误差项向上移动一层传播。采用Adam梯度下降的优化方案对损失函数进行优化，其更新迭代公式如下：

采用交叉熵误差作为目标函数：

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法，其特征在于，该方法具体包括以下步骤：

S1：获取网络文本信息，使用Word2vec分布式词嵌入编码方式对输入文本进行编码，将词序列{wi₁，wi₂，…，wi_n}转换为计算机能够识别的词嵌入向量{w₁，w₂，…，w_n}；

S2：通过Bi-GRU网络层对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并得到最终的Bi-GRU模型的隐含向量；

S3：训练方面词向量，将方面词向量与隐含向量融合，将融合后得到的隐含向量作为输入输入到多层感知器中，得到新的隐含表示，然后计算单词的重要性词级上下文向量作为判断句子中不同单词重要性的高维的表示，在训练过程中随机初始化并且共同学习；

S4：通过获得的每个单词的隐含向量乘以其通过自注意力层获得的对应的权重得到一个向量，再将该向量通过改进的softmax分类器中进行文本情感分类，整个过程使用Adam梯度下降的优化方案对损失函数进行优化。

2.根据权利要求1所述的网络文本情感分析方法，其特征在于，步骤S2具体包括以下步骤：

S21：将步骤S1得到的词嵌入向量输入到网络中；

S22：构建两个独立的GRU，对句子的前向和后向信息进行汇总，然后对来自这两个方向的信息进行合并；

前向GRU根据前向隐含向量和嵌入输入词计算出一个隐含向量，后向GRU根据后向隐含向量和嵌入输入词计算出一个隐含向量；

S23：将得到的前向隐含向量和后向隐含向量合并到Bi-GRU模型的最终隐含向量中。

3.根据权利要求1所述的网络文本情感分析方法，其特征在于，步骤S3具体包括以下步骤：

S31：构建一个简单的多层感知器；

S32：将隐含向量和随机初始向量输入到构建的简单的多层感知器共同学习得到新的隐藏表示u_t和上下文向量u_w；

S33：通过公式

计算每个词的注意力权重。

4.根据权利要求3所述的网络文本情感分析方法，其特征在于，步骤S32中，将隐含向量和随机初始向量输入到构建的简单的多层感知器共同学习，具体包括：

S321：为每一个方面术语训练一个嵌入向量，假设有k个方面术语e₁，e₂，...e_k，则方面词向量表示为：

S322：将方面词向量和隐含向量进行融合得到新的隐含向量，融合的隐含向量表示为：

f_i＝h_i+v_at

其中，{h₁，h₂，…，h_n}为隐含向量；

S323：将融合后向量和随机初始向量输入到构建的简单的多层感知器共同学习得到新的隐藏表示u_t和上下文向量u_w。

5.根据权利要求4所述的网络文本情感分析方法，其特征在于，步骤S4具体包括以下步骤：

S41：通过自注意力层获得注意力权重；

S42：通过注意力权重与对应隐含向量的加权和来计算句子向量，计算公式为：

S43：将s输入改进的softmax分类器中实现情感分类，改进的softmax函数如下：

其中，C′表示减去输入信号中的最大值；

S44：在模型训练过程中，采用反向传播算法，反向计算每个神经元的误差项值；采用Adam梯度下降的优化方案对损失函数进行优化。

Images