CN110147452A

CN110147452A - 一种基于层级bert神经网络的粗粒度情感分析方法

Info

Publication number: CN110147452A
Application number: CN201910410332.XA
Authority: CN
Inventors: 张春霞; 孙现超; 王卓; 罗妹秋; 吕光奥
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2019-05-17
Filing date: 2019-05-17
Publication date: 2019-08-20
Anticipated expiration: 2039-05-17
Also published as: CN110147452B

Abstract

本发明涉及一种基于层级BERT神经网络的粗粒度情感分析方法，属于Web挖掘和智能信息处理技术领域；包括以下步骤：语料获取：获取粗粒度情感分析的语料；语料预处理：包括字符清理、从句切分以及从句向量构建；构建句子向量：利用双向长短期记忆网络、多层感知机和注意力机制对从句向量进行计算生成句子向量；梯度协调机制优化：引入梯度协调机制解决粗粒度情感分析中数据类别不平衡问题；采用层级BERT神经网络进行粗粒度情感分析。对比现有技术，本发明通过层级BERT神经网络对评论文本进行包含深层语义信息的句子向量的构建，提高了粗粒度情感分析任务的准确性，在信息推荐、舆情监控等领域具有广阔的应用前景。

Description

一种基于层级BERT神经网络的粗粒度情感分析方法

技术领域

本发明属于Web挖掘和智能信息处理技术领域，涉及一种基于层级BERT(基于变换器的双向编码表示，全称Bidirectional Encoder Representation from Transformers)神经网络的粗粒度情感分析方法。

背景技术

粗粒度的文本情感挖掘，简称为粗粒度情感分析。粗粒度情感分析旨在于对评论文本进行情感极性的类别判别。情感极性包括褒义、贬义和中性三种类别。评论文本分为篇章级评论文本和句子级评论文本。

目前，粗粒度情感分析方法主要包括基于规则和统计融合的方法、基于机器学习的方法，以及基于深度学习的方法。

基于规则和统计融合的粗粒度情感分析方法是指通过规则分析与统计方法相融合的策略来进行粗粒度情感分析。例如，闫晓东等在文献《基于情感词典的藏语文本句子情感分类》(中文信息学报，2018)中，首先，人工构建了极性词典，极性词典包括程度副词词典、转折词词典、否定词词典等；然后，构建由极性词与修饰词构成的极性短语；最后，基于极性短语及其极性强度判别句子情感极性。

基于机器学习的方法是指采用决策树、支持向量机和条件随机场等分类器进行粗粒度情感分析。例如，王义真等在文献《基于SVM的高维混合特征短文本情感分类》(计算机技术与发展，2018)中，首先，抽取了表情符号特征、词聚类特征、词性标注特征和否定特征等六种情感分类特征；然后，采用支持向量机SVM(全称Support Vector Machine)进行短文本的情感分类。

基于深度学习的方法是指通过深度神经网络模型进行粗粒度情感分析。例如，Liao等在文献《Perspective Level Microblog Sentiment Classification Based onConvolutional Memory Network》(Pattern Recognition Artificial Intelligence，2018)中，通过卷积运算扩展上下文词序进行注意力建模，设计了一种基于卷积神经网络的视角层次的微博情感分类方法。

现有的粗粒度情感分析方法主要存在如下问题：第一，粗粒度情感分析方法在进行文本情感极性分类时，主要采用Word2Vec等传统语言模型进行词、句子等文本向量模型的训练。传统语言模型多为浅层单向神经网络，难以深度描述或反映文本的语义信息。第二，现有粗粒度情感分析方法在生成文本向量表示时缺乏对文本语义信息深层次的挖掘，并且缺乏对分类数据类别不均衡问题的优化处理。

发明内容

本发明的目的是为了解决粗粒度情感分析中存在的上述问题，提供一种基于层级BERT神经网络的粗粒度情感分析方法。

本方法的特点是：(1)本发明将粗粒度情感分析任务转换为文本分类任务，采用层级BERT神经网络模型生成文本的分布式表示，然后通过Softmax方法进行句子级文本的情感极性分类。层级BERT神经网络模型包括BERT模型与层级神经网络模型。(2)本发明基于两种粒度的文本向量计算生成文本的分布式表示。两种粒度的文本向量包括从句级向量和句子级向量。句子级向量由从句级向量通过双向长短期记忆网络、多层感知机以及注意力机制计算生成。注意力机制使得在基于从句级向量生成句子级向量时，对不同从句进行了差异化处理，突出了构成句子级向量表示起关键作用的从句级向量。(3)本发明引入梯度协调机制以处理粗粒度情感分析数据不同类别样本数量不均衡的问题，提高了情感极性类别识别的准确性。

本发明的目的是通过以下技术方案实现的。

一种基于层级BERT神经网络的粗粒度情感分析方法，包括如下步骤：

步骤1，获取粗粒度情感分析的语料

作为优选，语料的获取通过以下过程完成：采集互联网评论网站文本信息，构建为粗粒度情感分析的语料；或采集现有的根据评论网站信息构建的评论文本数据集，作为粗粒度情感分析的语料。

步骤2，语料预处理构建从句向量

本步骤主要工作为对步骤1所获取的语料进行无用字符清理、基于修辞结构理论的从句切分工作以及从句向量的构建。

步骤3，构建句子向量

本步骤主要工作为对步骤2所构建的从句向量采用双向长短期记忆网络、多层感知机以及注意力机制计算生成表示原始句子的句向量，具体过程如下：

步骤3.1，对于步骤2生成的从句向量，进入编码层进行从句向量的编码计算。编码层包括双向长短期记忆网络和多层感知机。

步骤3.2，对于步骤3.1生成的从句向量，进入注意力层进行计算，生成句向量。通过注意力层区分不同从句对生成句向量的权重，以突出重要从句对生成句向量的贡献度。

步骤4，基于梯度协调机制优化的情感极性识别

本步骤主要工作为对步骤3生成的句向量v利用Softmax进行计算，并通过基于交叉熵损失函数设计的梯度协调机制，从梯度计算的角度对类别不均衡问题进行优化处理。

步骤5，采用层级BERT网络进行粗粒度情感分析

使用步骤4生成的粗粒度情感分析模型对输入语料在经步骤2、3处理后的句子向量进行情感极性识别。

至此，就完成了本方法的全部过程。

本发明的有益效果：

本发明的方法，针对粗粒度情感分析的情感极性识别问题，提供一种基于层级BERT神经网络的粗粒度情感分析方法。

(1)本发明采用一种基于层级BERT模型的句向量生成方法。首先，通过将评论文本切分为从句级文本，并利用BERT模型将其转换为包含深度语义信息的从句级文本向量；其次，采用双向长短期记忆网络(Bidirectional Long Short-Term Memory Network，简称Bi-LSTM)和多层感知机(Multi-Layer Perception，简称MLP)对从句级文本向量进行语义编码计算；最后，通过对从句编码向量进行注意力机制计算，在区分不同从句对句子向量生成的不同贡献度的基础上，计算生成包含更丰富语义信息的句级向量，作为原始句子的分布式表示进行情感极性的识别计算，提高了粗粒度情感分析的准确性。

(2)本发明采取梯度协调机制进行类别不均衡问题的优化。基于交叉熵损失函数设计的梯度协调机制可以从梯度计算的角度对类别不均衡问题进行优化处理。通过引入梯度协调机制，在层级BERT神经网络的基础上对情感极性类别识别问题的准确性进行了优化提高。

本发明提供的方法在舆情监控、主题检测、信息推荐和电子商务等领域具有广阔的应用前景。

附图说明

图1为本发明实施例一种基于层级BERT神经网络的粗粒度情感分析方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的说明。

实施例1

基于本发明方法的粗粒度情感分析方法，以Ubuntu 16.04操作系统为开发平台，开发语言选择the Debian Almquist Shell(dash)与python2.7，深度学习开发框架为TensorFlow 1.9。如图1所示为一种基于层级BERT神经网络的粗粒度情感分析方法，包含如下步骤：

步骤1，获取粗粒度情感分析的语料

作为优选，语料的获取通过以下过程完成：采集互联网评论网站文本信息，构建为粗粒度情感分析的语料；或采集现有的根据评论网站信息构建的评论文本数据集，作为粗粒度情感分析的语料。可以采集点评网站Yelp数据，Yelp包括了餐馆等场景下的用户评论，对于获取的数据采取Json的格式保存到本地计算机。

步骤2，语料预处理构建从句向量

语料预处理包括字符清理、从句切分，以及从句向量构建。

首先，对语料中的句子进行字符清理，包括过滤无用标点符号以及乱码字符。停用标点符号包括{,,.,:,；,’,～,`,！,@,#,$,&,*,(,),”}。例如，对于句子“The food isgreat and tasty and the#hot dogs are especially top notch:)”包含着无用的字符，如“#”和表情“:)”，需要在字符清理中进行过滤。经过字符清理完成的句子为“The food isgreat and tasty and the hot dogs are especially top notch”。

其次，对语料中的句子采用修辞结构理论进行从句切分。从句切分是指将句子切分为从句的序列。采用修辞结构理论(Rhetorical Structure Theory，简称RST)基于文本局部之间关系对句子进行从句切分。

对于上例中完成字符清理的句子“The food is great and tasty and the hotdogs are especially top notch”进行从句切分，从句切分的结果为“The food is greatand tasty”，“and the hot dogs are especially top notch”。

然后，采用BERT模型构建从句向量。根据情感分析语料对BERT模型进行再训练。BERT模型是上下文有关的双向语言模型。本发明基于完成预训练的BERT模型，利用情感分析语料库对模型进行再训练，生成满足粗粒度情感分析需求的BERT模型。进一步，通过再训练的BERT模型构建从句向量。

步骤3，构建句子向量

构建句向量是指采用双向长短期记忆网络、多层感知机以及注意力机制对从句向量进行计算生成句子向量。本实施例采用如下过程实现：

步骤3.1，对于步骤2生成的从句向量，进入编码层进行计算。编码层包括双向长短期记忆网络(Bidirectional Long Short-Term Memory Network，简称Bi-LSTM)和多层感知机(Multi-Layer Perception，简称MLP)。

首先，对于句子s及其通过步骤2生成的k个从句向量，采用双向长短期记忆网络对从句进行编码计算。将第i个从句经过双向长短期记忆网络的编码计算生成的向量表示为h_i。

然后，对由经过Bi-LSTM编码计算生成的向量h_i采用多层感知机进行进一步编码计算。将h_i经过多层感知机的编码计算生成的向量表示为u_i，下面式子给出了u_i的计算方法，其中W_s和b_s为权重，通过模型训练产生，tanh表示作为激活函数的反双曲正切函数。

u_i＝tanh(W_s×h_i+b_s)

注意力层的计算步骤包括：

首先，对于第i个从句经编码层编码计算生成的向量u_i，采取注意力机制计算向量u_i的权重。注意力机制旨在于度量每个从句在生成句向量中的重要程度。对于k个从句，设每个从句的注意力权重为a_i，a_i计算公式如下式所示，其中，u_s为权重，通过模型训练产生，表示对u_i的转置操作。

然后，根据注意力权重a_i(1≤i≤k)，生成句子s的句向量v，句向量v的计算方法如下式所示。

步骤4，基于梯度协调机制优化的情感极性识别

对于句子s的句向量v，计算情感极性类别的概率p＝Softmax(w_cv+b_c)，其中W_c和b_c为权重。对于句子s经过步骤3生成的句向量进行Softmax计算，生成对于褒义、贬义和中性三个类别的概率p₁,p₂,p₃，选取最大概率对应的极性类别为句子的粗粒度情感分析结果。

针对情感极性类别识别问题中的数据类别不均衡问题，本发明采取基于交叉熵损失函数设计的梯度协调机制从梯度计算的角度对类别不均衡问题进行优化处理。通过引入梯度协调机制，在层级BERT神经网络的基础上对情感极性类别识别问题的准确性进行优化提升。

步骤5，采用层级BERT网络进行粗粒度情感分析

经过步骤1-4完成了对基于层级BERT神经网络的粗粒度情感分析模型的训练，然后利用经过训练的模型对句子进行粗粒度情感分析，输出句子的粗粒度情感分析结果。

对于句子s，通过基于层级BERT神经网络模型的粗粒度情感分析结果为，判别出句子s的唯一情感极性标签L。具体来说,对于每一个句子，设由t个词组成，记为s＝{w_i1,w_i2,w_i3,…,w_it}，其中w_ij表示构成s的词语。通过本发明所提出的基于层级BERT神经网络的粗粒度情感分析模型，进行计算，判别出句子对应的唯一情感极性类别标签L，L∈{褒义,中性，贬义}。例如,针对用户评论s＝“I really love the fondant au chocolat！”，通过基于层级BERT神经网络模型进行粗粒度情感分析的结果为褒义，即这是一条褒义的评论文本。

为说明本发明的粗粒度情感分析效果，本实验是在同等条件下，以相同的训练集和测试集分别采用基于支持向量机、基于LSTM-GRNN模型，以及基于本发明的基于层级BERT神经网络模型的粗粒度情感分析方法进行粗粒度情感分析。LSTM-GRNN为利用LSTM(LongShort Term Memory，简称LSTM)计算句向量，并利用门控递归神经网络(Gated RecurrentNeural Network，简称GRNN)进行句向量分类的方法。采用Accuracy(准确率)作为评测指标对识别效果进行度量。

其中TP代表模型预测为真且用例真值为真，即正确接受；FN代表模型预测为假但用例真值为真，即错误拒绝；FP代表模型预测为真但用例真值为假，即错误接受；TN代表模型预测为假且用例真值为假，即正确拒绝。基于本发明方法的粗粒度情感分析的效果如下：基于支持向量机的粗粒度情感分析方法的准确率约为61.8％，基于LSTM-GRNN的粗粒度情感分析方法的准确率约为67.1％，本发明提出的基于层级BERT神经网络模型的粗粒度情感分析方法的准确率约为75.41％。本发明通过层级BERT神经网络对评论文本进行包含深层语义信息的句子向量的构建，提高了粗粒度情感分析任务的准确性，在信息推荐、舆情监控等领域具有广阔的应用前景。

为了说明本发明的内容及实施方式，本说明书给出了具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims

1.一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于：包括以下步骤：

步骤1，获取粗粒度情感分析的语料；

步骤2，对步骤1所获取的语料进行预处理构建从句向量；

步骤3，对步骤2得到的从句向量进行计算构建句子向量；

步骤4，利用步骤3构建的句子向量进行情感极性的识别计算，并采取梯度协调机制进行优化；

步骤5，使用步骤4生成的粗粒度情感分析模型对输入语料在经步骤2、3处理后的句子向量进行情感极性识别。

2.根据权利要求1所述的一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于，所述步骤1通过以下过程完成：

采集互联网评论网站文本信息，构建为粗粒度情感分析的语料；或采集现有的根据评论网站信息构建的评论文本数据集，作为粗粒度情感分析的语料。

3.根据权利要求1所述的一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于，所述步骤2通过以下过程完成：

首先，对语料中的句子进行字符清理，包括过滤无用标点符号以及乱码字符；

然后，对语料中的句子采用修辞结构理论进行从句切分；

最后，采用BERT模型构建从句向量。

4.根据权利要求1所述的一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于，所述步骤3通过双向长短期记忆网络、多层感知机以及注意力机制完成句子向量的计算，具体过程如下：

步骤3.1，对于步骤2生成的从句向量，进入如下编码层进行计算；编码层包括双向长短期记忆网络Bi-LSTM(Bidirectional Long Short-Term Memory Network)和多层感知机MLP(Multi-Layer Perception)：

首先，对于句子s及其通过步骤2生成的k个从句向量，采用Bi-LSTM对从句进行编码计算，将第i个从句经过Bi-LSTM的编码计算生成的向量表示为h_i；

然后，对h_i采用MLP进行编码计算，将h_i经过MLP的编码计算生成的向量表示为u_i，下面式子给出了u_i的计算方法，其中W_s和b_s为权重，tanh表示作为激活函数的反双曲正切函数：

u_i＝tanh(W_s×h_i+b_s)；

步骤3.2，对于步骤3.1生成的从句向量，进入注意力层进行计算，生成句向量；通过注意力层区分不同从句对生成句向量的权重，以突出重要从句对生成句向量的贡献度；

注意力层的计算步骤包括：

首先，对于第i个从句经编码层编码计算生成的向量u_i，采取注意力机制计算向量u_i的权重：对于k个从句，设每个从句的注意力权重为a_i，a_i计算公式如下式所示，其中，u_s为权重：

然后，根据注意力权重a_i(1≤i≤k)，生成句子s的句向量v，句向量v的计算方法如下式所示：

5.根据权利要求1-4任一所述的一种基于层级BERT神经网络的粗粒度情感分析方法，其特征在于，所述步骤4通过以下内容完成：

对于句子s的句向量v，计算情感极性类别的概率p＝Softmax(w_cv+b_c)，其中W_c和b_c为权重；对于句子s经过步骤3生成的句向量进行Softmax计算，生成对于褒义、贬义和中性三个类别的概率p₁,p₂,p₃，选取最大概率对应的极性类别为句子的粗粒度情感分析结果；

针对情感极性类别识别问题中的数据类别不均衡问题，采取基于交叉熵损失函数设计的梯度协调机制从梯度计算的角度对类别不均衡问题进行优化处理。