CN115374789A - 基于预训练模型bert的多粒度融合方面级情感分析方法 - Google Patents

Abstract

本发明涉及自然语言处理技术领域，公开了一种基于预训练模型BERT的多粒度融合方面级情感分析方法，步骤包括将文本输入到预训练模型中获取预训练词向量，并获取方面项的上下文信息s；通过LSTM长短期记忆网络来学习句子的上下文句子信息h；将双向LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；将u进行维度变换为与s一致，再将s与句子级的输出u进行调和得到最终的输出O；将O作为情感分类层的输入，计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。本发明能够防止上下文句子过多，影响当前句子方面的极性判断的问题，从而增强对当前句子方面的极性判断，提升方面情感预测的性能。

Description

基于预训练模型BERT的多粒度融合方面级情感分析方法

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于预训练模型BERT的多粒度融合方面级情感分析方法。

背景技术

方面级情感分析作为情感分析的子任务，一直是自然语言处理领域研究的热点之一。不同于文档级、句子级粗粒度的情感分析任务只需找出整个文档或者整个句子的情感，方面级情感分析这种细粒度的任务则需找出一句话中每个方面的情感。例如句子“Thefood is good but the service is slow.”，对于句子级别情感分析，关于这句话的情感极性则会识别为中性。而方面级情感分析，对于句子中两个不同的方面实体(food和service)，则会识别出对应的积极和消极两种不同的情感极性。

早期方面级情感分析主要基于规则的方法。基于规则的方法高度依赖大量的手动标注的特征，这会导致错误在这些方法中传播，并因此阻碍方面级情感分析任务的性能。为了解决基于规则的方法带来的弊端，深度学习中卷积神经网络与循环神经网络搭配注意力机制、记忆模块等方法被用于方面级情感分析领域并取得了不错的效果。为了应对这类问题，依存句法也被引入到方面级情感分析。依存句法是一种重要的句法结构，它可以远距离的建模修饰词与被修饰词之间的关系。

除了上述方法，另一种可行的方式便是基于神经网络的多粒度融合方面级情感分析方法，但目前这种方法，当句子中存在多个方面时，其只对单个句子进行上下文信息学习，这样就导致难以预测该句子中所有方面的情感极性。

发明内容

有鉴于此，本发明的目的是提供一种基于预训练模型BERT的多粒度融合方面级情感分析方法，能够防止上下文句子过多，影响当前句子方面的极性判断的问题，从而增强对当前句子方面的极性判断，提升方面情感预测的性能。

本发明通过以下技术手段解决上述技术问题：

基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：包括以下步骤，

S1、将文本输入到预训练模型中获取预训练词向量，并获取token-level的关于方面项的上下文信息s；

S2、通过LSTM长短期记忆网络来学习句子的上下文句子信息h；

S3、将LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；

S4、将句子级别的输出u进行维度变换为与方面级输出s一致，再将方面级的输出s与句子级别注意力层的输出u进行调和，得到最终的输出O；

S5、将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。

进一步，所述步骤S1中，将文本输入到预训练模型中获取预训练词向量的方法具体为：

E＝{e₁,e₂,L,e_l}

其中，E表示预训练词向量，e_i表示文档中的第i个词向量表示，l表示输入文本的长度。

进一步，所述步骤S1中，采用平均池化的方法获取所述token-level的关于方面项的上下文信息s。

进一步，所述S2步骤中，通过LSTM长短期记忆网络来学习句子的上下文句子信息h的具体方法为：

进一步，所述S3步骤中，将双向LSTM的输出作为句子级别注意力层的输入，计算每个句子重要程度的方法为：

s_h＝tanh(w_hh_s+b_h)

其中，w_h表示权重，b_h表示偏置，s_h表示注意力得分，a_h表示经过softmax函数之后得到的权重概率，u表示句子级别注意力层的输出。

进一步，所述步骤S4中，将句子级别的输出进行维度变换为与方面级输出s一致，再将方面级的输出与句子级的输出进行调和，得到最终的输出O的具体方法为：

z＝f(w_uu+b_u)

g_z＝σ(w_zz+b_z)

o＝g_ze z+(1-g_z)e s

其中，所述f表示全连接层，z表示全脸层的维度变换后的输出，w_u表示全连接层的权重，b_u表示全连接层的偏置，σ表示sigmoid激活函数，w_z表示sigmoid的权重，b_z表示sigmoid的偏置，g_z的输出在(0,1)区间。

如果将句子级别注意力层的输出直接作为情感分类层的输入，那么当前句子可能会过多的学习上下文句子信息，从而会影响当前句子方面级情感的极性判断。因此，我们设计了门控机制，首先将句子级别的输出进行维度变换与方面级输出s一致，然后将方面级的输出与句子级的输出进行调和，得到最终的输出。

进一步，所述步骤S5中，将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，具体为:

P＝Softmax(w_po+b_p)

其中，w_p表示情感分类层的权重，b_p表示情感分类层的偏置，P表示预测的情感概率。

本发明的有益效果：

本发明通过预训练模型强大的学习能力获取token-level的方面项的上下文信息，利用平均池化得到经过预训练模型的方面级输出；然后将获取的输出作为句子级别注意力层的输入，获取sentence-level级别的上下文句子信息，从而辅助方面级的情感极性判断；再将句子级输出与方面级输出进行门控机制调节，防止上下文句子过多从而影响当前句子方面的极性判断的问题，最后将门控机制调节后的输出作为情感分类层的输入进行情感极性判断，使得方面情感预测的性能得以提升。

附图说明

图1是本发明基于预训练模型BERT的多粒度融合方面级情感分析方法的流程图；

图2是本发明基于预训练模型BERT的多粒度融合方面级情感分析方法的网络结构图；

图3是实施例对上下文句子过多的句子采用本发明的方法进行方面级情感分析的举例图。

具体实施方式

以下将结合附图对本发明进行详细说明：

如图1-3所示：

本实施例的基于预训练模型BERT的多粒度融合方面级情感分析方法，采用图1所示处理流程；具体如下：

S1、将文本输入到预训练模型中获取预训练词向量，然后通过平均池化得到token-level的关于方面项的上下文信息s，其中将文本输入到预训练模型中得到预训练词向量：

E＝{e₁,e₂,L,e_l}

其中，e_i表示文档中的第i个词向量表示，l表示输入文本的长度；

S2、通过LSTM长短期记忆网络来学习句子的上下文句子信息h，其具体方法为：

S3：将双向LSTM的输出h作为句子级别注意力层的输入，用来计算每个句子的重要程度，得到句子级别的输出u，其中本实施例将双向LSTM的输出作为句子级别注意力层的输入，计算每个句子重要程度的方法为：

s_h＝tanh(w_hh_s+b_h)

其中，w_h表示权重，b_h表示偏置，s_h表示注意力得分，a_h表示经过softmax函数之后得到的权重概率，u表示句子级别注意力层的输出；

S4：将句子级别的输出进行维度变换与方面级输出s一致，然后将方面级的输出与句子级的输出进行调和，得到最终的输出O；具体方法为：

z＝f(w_uu+b_u)

g_z＝σ(w_zz+b_z)

o＝g_ze z+(1-g_z)e s

其中，所述f表示全连接层，z表示全脸层的维度变换后的输出，w_u表示全连接层的权重，b_u表示全连接层的偏置，σ表示sigmoid激活函数，w_z表示sigmoid的权重，b_z表示sigmoid的偏置，g_z的输出在(0,1)区间；

S5：将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P。并根据损失函数进行损失，并采用反向传播算法进行优化，具体为:

P＝Softmax(w_po+b_p)

其中，w_p表示情感分类层的权重，b_p表示情感分类层的偏置，P表示预测的情感概率。

本实施例所用数据集为SemEval 2014 Task 4和SemEval 2016 Task 5。

本实施例通过预训练模型强大的学习能力获取token-level的方面项的上下文信息，利用平均池化得到经过预训练模型的方面级输出；当句子中的方面情感难以捕捉时，句子级别的上下文句子信息则会提供很好的帮助。

如图3所示，来自Rest16数据集中的一个文档信息，其中，例1中描述了餐厅食物food和环境interior的情感极性；例2中描述了环境space的情感极性。如果只使用token-level单独预测例2中space的情感极性的话，很难得出消极的情感极性，但是结合上文例1句子中环境interior中描述的“could use some help”可以容易得出消极的情感极性，因此能够辅助例2中环境space的判断。

接着将获取的输出作为句子级别注意力层的输入，获取sentence-level级别的上下文句子信息，从而辅助方面级的情感极性判断；然后将句子级输出与方面级输出进行门控机制调节，防止上下文句子过多的影响当前句子方面的极性判断。最后将门控机制调节后的输出作为情感分类层的输入进行情感极性判断。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (7)

1.基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：包括以下步骤，

S1、将文本输入到预训练模型中获取预训练词向量，并获取token-level的关于方面项的上下文信息s；

S2、通过LSTM长短期记忆网络来学习句子的上下文句子信息h；

S3、将LSTM的输出h作为句子级别注意力层的输入，计算每个句子的重要程度，得到句子级别注意力层的输出u；

S4、将句子级别注意力层的输出u进行维度变换为与方面级输出s一致，再将方面级的输出s与句子级别注意力层的输出u进行调和，得到最终的输出O；

S5、将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，并根据损失函数进行损失，再采用反向传播算法进行优化。

2.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S1中，将文本输入到预训练模型中获取预训练词向量的方法具体为：

E＝{e₁,e₂,L,e_l}

其中，E表示预训练词向量，e_i表示文档中的第i个词向量表示，l表示输入文本的长度。

3.根据权利要求2所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S1中，采用平均池化的方法获取所述token-level的关于方面项的上下文信息s。

4.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述S2步骤中，通过LSTM长短期记忆网络来学习句子的上下文句子信息h的具体方法为：

5.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述S3步骤中，将双向LSTM的输出作为句子级别注意力层的输入，计算每个句子重要程度的方法为：

s_h＝tanh(w_hh_s+b_h)

其中，w_h表示权重，b_h表示偏置，s_h表示注意力得分，a_h表示经过softmax函数之后得到的权重概率，u表示句子级别注意力层的输出。

6.根据权利要求1所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S4中，将句子级别的输出进行维度变换为与方面级输出s一致，再将方面级的输出与句子级的输出进行调和，得到最终的输出O的具体方法为：

z＝f(w_uu+b_u)

g_z＝σ(w_zz+b_z)

o＝g_ze z+(1-g_z)e s

其中，所述f表示全连接层，z表示全脸层的维度变换后的输出，w_u表示全连接层的权重，b_u表示全连接层的偏置，σ表示sigmoid激活函数，w_z表示sigmoid的权重，b_z表示sigmoid的偏置，g_z的输出在(0,1)区间。

7.根据权利要求6所述的基于预训练模型BERT的多粒度融合方面级情感分析方法，其特征在于：所述步骤S5中，将最终的输出O作为情感分类层的输入，通过softmax计算情感极性的概率P，具体为:

P＝Soft max(w_po+b_p)

其中，w_p表示情感分类层的权重，b_p表示情感分类层的偏置，P表示预测的情感概率。

Images