CN110765769A - 一种基于子句特征的实体属性依赖情感分析方法 - Google Patents

Abstract

本发明属于自然语言处理领域，涉及文本情感分析，具体为一种基于子句特征的实体属性依赖的情感分析方法，主要包括：1)实现句子级的话语分割，将一个长句切割为多个基础语篇单元EDUs；2)采用ELMo词嵌入模型，实现单词用法的复杂特性以及对单词的多义性建模；3)利用BiLSTM提取子句以及不同子句间的高级特征表示；4)运用多个注意力机制分别实现不同单词以及子句的权重加强。本发明充分考虑不同实体相关的子句信息，通过提取子句特征以及子句间的特征来增强情感分类的准确性，显著提高实体属性依赖的文本情感分析准确率。

Description

一种基于子句特征的实体属性依赖情感分析方法

技术领域

本发明属于自然语言处理领域，涉及文本情感分析，具体为一种基于子句特征的实体属性依赖的情感分析方法。

背景技术

随着Web2.0的出现，社交媒体网站论坛以及各类APP的数量不断增加，互联网上滋生出大量对人物、事件、产品等的评论信息，这些评论信息可以为人们的某些行为提供参考。例如：消费者购物时相比于广告推销往往更倾向于相信其他用户的评论意见；营销人员会通过用户评论意见得到对产品的不良评价，从而改善产品问题来满足消费者的需求等。而人工提取评论的情感表达是非常麻烦和费时的，因此智能分析文本情感状态的技术应运而生，称为情感分析SA(Sentiment Analysis)。

情感分析是自然语言处理领域中一个非常活跃的研究领域，它可以从一组文档中提取情感，其本质就是对带有情感色彩的主观性文本进行分析、处理、归纳和推理。目前文本情感分析研究根据粒度可分为以下三类：①文档级情感分析：此级别的任务是确定文档的总体意见；②句子级情感分析：此级别的任务是确定每个句子的情感极性，句子分为事实信息的客观句和表达观点的主观句，分析过程是评估主观句的情感极性；③实体属性依赖的情感分析: 该级别是情绪分析中的一项细粒度任务，目的是识别目标实体在上下文语境的情绪极性。在这种情况下，首先识别出句子中实体，然后提取特征评估每个实体的情感。

针对实体属性依赖的文本情感分析根据采用的技术主要分为三大类：

①基于词典的实体属性依赖情感分析，该类方法通过构建文本情感词典来计算句子的情绪分数，然后将该情绪与该句子中提到的目标实体联系起来从而确定属性情感分析；基于词典的文本情感分析，其中构建情感词典是关键。Hu等通过WordNet同义词/反义词图扩展已知基础词的情绪从而获得情感词典；详见文献：“S.Moghaddam,M.Ester.Opiniondigger:An unsupervised opinion miner from unstructured product reviews[C].in:Proceedings of the 19th ACM Int.Conf.Inf.Knowl.Manage.,pp.1825-1828,2010.”。

②基于传统机器学习的方法，该类方法使用大量人工设计的特征(如语言学特征、基于情感词典的特征等)，结合机器学习算法，如支持向量机算法(Support VectorMachine，SVM) 等，构建有监督的分类或回归模型，进行情感极性分类或情感强度预测。Jiang等抽取了词、标点符号、表情符号、主题标签等上下文特征和情感词典特征作为目标不相关特征，同时根据语法解析树识别句子中与目标相关的表达，抽取目标相关的特征，来构建目标依赖的情感分类模型；详见文献“L.Jiang,Y.Mo,M.Zhou,et al.Target-dependent twitter sentiment classification[C].in:Proceedings of theAssociation for Computational Linguistics:Human LanguageTechnologies.Association for Computational Linguistics,2012,pp.151-160.”。

③基于深度学习的属性情绪识别，近年来，深度学习在该领域得到大量的运用与实践； Tang等将语境分为带目标的左部和带目标的右部，分别使用两个长短时记忆网络(long short-term memory,LSTM)模型对两部分进行建模，然后将两部分的组合目标特定表示用于情感分类；详见文献“D.Tang,B.Qin,T.Liu.Aspect level sentimentclassification with deep memory network[C].in:Proceedings of the2016Conference on Empirical Methods in Natural Language Processing,2016,pp.214-224.”。

然而，上述实体属性依赖的文本情感分析方法中，都存在或多或少的问题，具体如下：

基于词典的方法在进行实体属性依赖的情感分析时，将每个句子的情绪分数与句子中的所有实体属性联系起来，这样无法正确处理包含不同情绪的实体属性的句子；例如：“The food is great and tasty,but the sitting space is too small.”，该句子中有两个实体属性，分别是food 和sitting space，对这两个实体属性的评论情绪分别在前后两个子句，而且评论情绪分别是正面和负面，基于词典的方法不能正确处理；

基于传统机器学习的方法，高度依赖人工抽取特征的质量，在做分类任务时，系统的泛化性和迁移性较差；另外，人工提取特征任务繁琐，耗时较大；

基于深度学习的研究方法存在如下问题：(1)目前研究仍然是从整个句子的角度提取特征，忽略了不同子句对实体依赖的情绪分析影响不同，导致识别精度受影响，目前基于实体属性依赖的文本情绪识别精度不高于80％；(2)为了实现模型特定长度的输入，均采用截断或补零的方式来使句子长度保持一致，但由于评论文本长度可能有较大差别，当句子长度方差过大时会导致大多句子丢失信息或者引入无用的噪声；(3)目前该领域采用词嵌入的方法主要还是采用word2vec，而该词嵌入方法忽略了单词用法中的复杂特性以及单词的多义性问题。

发明内容

本发明的目的在于针对所述的背景技术不足，提供一种基于子句特征的实体属性依赖情感分析方法；通过子句分割技术，将句子分割为不同大小的子句，并提取不同子句以及子句之间的特征，最终融合注意力机制实现实体属性依赖的情感分类；本发明能够有效弥补背景技术方案的缺陷。

为实现上述目的，本发明采用的技术方案如下：

一种基于子句特征的实体属性依赖情感分析方法，包括以下步骤：

步骤1：数据预处理

步骤1-1：子句分割：将句子切分为基本语篇单元(elementary discourse units,EDUs)，得到子句集合C；

步骤1-2：词嵌入：将子句集合C中的每一个子句分别输入到ELMo词嵌入模型中，得到词嵌入结果为

其中，

表示第i个子句中第l个单词的嵌入向量；同时，得到实体词嵌入向量为e_target；

步骤2：构建并训练分类模型

步骤2-1：BiLSTM特征提取

将子句集合C中的每一个子句对应的嵌入向量输入到BiLSTM模型中提取句子特征，得到最终高级特征为：

其中，h_ci,wl表示第i个子句中第l个单词的高级特征；同时，实体词的高级特征表示为H_target；

步骤2-2：基于实体属性依赖的注意力机制

1)对第i个子句c_i的第j个单词设置权重α_ci,j：

其中，

W_a、b_a代表单词注意力机制的权重和偏置；

进而得到第i个子句的高级特征表示为：

其中，

最终得到分配注意力后的句子特征向量表示：

2)将

重新输入到一个BiLSTM中，得到更抽象的子句特征

并对第i个子句设置权重β_i：

其中，W_c、b_c代表子句注意力机制中的权重和偏置；

进而得到最终提取的高级特征为：

R_final＝β·R

其中，β＝(β₁,β₂,...,β_m)；

将高级特征R_final输入softmax层进行分类，得到分类结果y；

步骤2-3：构建训练集，训练集中数据均采用步骤1进行预处理；设置损失函数，利用反向传播法来计算梯度并更新所有的参数，完成模型参数训练；所述损失函数为：

其中，Q为样本总数，g_q为真实标签，y_q为预测输出结果，λ_r为L2正则化的系数，θ代表参数集中的某一参数；

步骤3：情感分类

将待分析语句采用步骤1进行预处理后输入步骤2训练完成分类模型，得到分类结果。

本发明的有益效果在于：

本发明提供一种基于子句特征实现实体属性依赖情感分析的有效方法，主要包括：1)实现句子级的话语分割，将一个长句切割为多个基础语篇单元EDUs；2)采用ELMo词嵌入模型，实现单词用法的复杂特性以及对单词的多义性建模；3)利用BiLSTM提取子句以及不同子句间的高级特征表示；4)运用多个注意力机制分别实现不同单词以及子句的权重加强。本发明充分考虑不同实体相关的子句信息，通过提取子句特征以及子句间的特征来增强情感分类的准确性，显著提高实体属性依赖的文本情感分析准确率。

附图说明

图1为本发明基于子句特征的实体属性依赖情感分析方法流程示意图。

图2为本发明实施例中句子注意力权重可视化结果图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

本实施例提供一种基于子句特征的实体属性依赖情感分析方法，其流程如图1所示，主要分为子句分割模块、词嵌入模块、BiLSTM特征提取模块、子句注意力机制模块以及情感分类五个部分。首先实现句子级的话语分割，将一个长句切割为多个基础语篇单元EDUs；其次采用ELMo实现词嵌入；然后利用BiLSTM提取子句以及不同子句间的高级特征表示；运用多个注意力机制分别实现不同单词以及子句的权重加强；最后通过softmax层实现句子目标实体情感分类。具体过程如下：

步骤1：数据预处理

步骤1-1：子句分割：将句子切分为基本语篇单元(elementary discourse units,EDUs)，即将一个给定文本分割成非重叠的部分，EDUs代表着子句或类似子句的单位；子句分割以句子为输入，输出为句子的基本语篇单元边界；将长度(以单词为单位)为n的句子 S＝(w₁,w₂,...,w_n)输入到专门用于子句分割的模型，输出为：C＝(c₁,c₂,...,c_m)，c_i＝(w₁,w₂,…,w_l)，其中，w代表句子及子句中的单词，C代表输出的子句集合，c_i代表第i个子句，m表示子句的数量；l表示第i个子句的长度；

步骤1-2：词嵌入：本发明采用ELMo(Embeddings from Language Models)方法实现词嵌入，ELMo是从双向语言模型中训练得到的词嵌入，每一个词语的表征都是整个输入语句的函数，相同的词的词向量并不是一成不变的，会根据上下文环境来调整词向量表征；该模型不仅能够模拟使用词的语法和语义等复杂特性，同时还能考虑相同词在不同语境下的使用变化；模型具体细节如下：

双向语言模型biLM：

给定一个长度为N的单词序列(t₁,t₂,...,t_N)，前向语言模型基于(t₁,t₂,...,t_k-1)计算第t_k个单词出现的概率，计算公式如下：

后向语言模型与前向语言模型相似，不同的是将序列反转，基于(t_k+1,t_k+2,...,t_n)计算t_k个单词出现的概率：

biLM结合了前向和后向语言模型，其目标函数为最大似然函数，公式如下：

其中，Θ_x表示初始词向量表示过程中的参数，

和

分别代表语言模型正向和反向中的网络参数，Θ_s代表Softmax层的参数；

ELMo：

ELMo是语言模型的biLM运用L层的双向LSTM来计算新词向量；假设输入单词表示为

在每一个单词位置k，每一层LSTM上都输出相应的基于上下文的前向单词表示

及后向单词表示

其中，L代表双向LSTM的层数，顶层的LSTM 输出

因此，在本实施例中，对于每一个单词

一个拥有L层的biLM可以计算出2L+1个表示，如下：

其中，

表示单词层，对于每层BiLSTM：

则，ELMo最终将多层biLM的输出整合成一个单独向量ELMo_k：

其中，Θ^task代表整合中的参数集合，

表示softmax层第j层biLM训练迭代的权重，标量参数γ^task用于缩放ELMo向量、使最终输出向量为对应的向量维度；

本实施例中，将子句集合C中的每一个子句分别输入到ELMo词嵌入模型中，得到词嵌入结果为

其中，

表示第i个子句中第l个单词的嵌入向量；同时，得到实体词嵌入向量为e_target；

步骤2：构建并训练分类模型

步骤2-1：BiLSTM特征提取

双向LSTM同时考虑了过去的特征和未来的特征，过去特征通过前向过程提取，未来特征通过后向过程提取；双向LSTM本质相当于两个LSTM，一个正向输入序列，一个反向输入序列，再将两者的输出结合起来作为最终的结果；

LSTM是一种特殊的循环体结构，其相比单一tanh循环体结构拥有三个特殊的门控单元：输入门、遗忘门以及输出门；LSTM各部分的公式定义如下：

输入值：z＝tanh(W_z[h_t-1,x_t]+b_z)

输入门：i＝sigmoid(W_i[h_t-1,x_t]+b_i)

遗忘门：f＝sigmoid(W_f[h_t-1,x_t]+b_f)

输出门：o＝sigmoid(W_o[h_t-1,x_t]+b_o)

新状态：c_t＝f·c_t-1+i·z

输出：h_t＝o·tanc_t

其中，x_t表示LSTM当前输入，c_t-1表示上一时刻的状态，W_z、W_i、W_f、W_o分别代表LSTM中输入值、输入门、遗忘门和输出门的权重，b_z、b_i、b_f、b_o分别为LSTM中输入值、输入门、遗忘门和输出门的偏置；正向LSTM的特征输出为

反向LSTM的特征输出为

BiLSTM 最终的特征输出为

本实施例中，将子句集合C中的每一个子句对应的嵌入向量输入到BiLSTM模型中提取句子特征，得到最终高级特征为：

其中，表示第i 个子句中第l个单词的高级特征；同时，实体词的高级特征表示为H_target；

步骤2-2：基于实体属性依赖的注意力机制

在每一个句子中，不同单词对不同实体属性的情感分析拥有的信息量不同；同时在包含多个子句的句子中，不同子句所包含的信息量也是不一样的；例如“The food isgreat and tasty, but the sitting space is too small.”，该句子有两个子句，在进行“food”实体属性情感分析时，其信息主要包含在第一个子句“The food is great andtasty”中，而在句子“The food is great and tasty”中，影响“food”实体情感的主要单词集中在“great”和“tasty”中；因此，本发明针对不同实体属性引入了注意力机制，为不同子句的不同单词分配不同权重来提高结果准确度。

1)针对子句c_i，基于单词的注意力机制

为了区分子句中不同单词的重要程度，本发明运用基于单词的注意力机制计算不同单词表征的权重向量α，其中，第j个单词表征权重计算公式如下：

其中，

类似一个分数函数，用一个双层网络结构来计算单词表征在上下文中重要性，其计算公式如下：

其中，[,]表示括号内两个向量拼接；W_a、b_a代表单词注意力机制的权重和偏置，tanh是非线性激活函数；

本实施例中，将各个子句高级特征以及实体属性高级特征H_target作为输入，得到第i个子句的高级特征表示计算公式如下：

其中，

其他子句类似计算，最终得到分配注意力后的句子特征向量表示：

2)基于子句的注意力机制

将

重新输入到一个BiLSTM中，得到更抽象的子句特征

然后运用子句的注意力机制来区分不同子句的重要程度，不同的子句的注意力权重用β表示，其中，第i个子句表征权重计算公式如下：

其中，m为子句个数，另外

计算公式如下：

其中，W_c、b_c代表子句注意力机制中的权重和偏置；

则，本发明最终提取的高级特征表示为：

R_final＝β·R

其中，β＝(β₁,β₂,...,β_m)；

将高级特征R_final输入softmax层进行分类，得到分类结果y；

步骤2-3：构建训练集，训练集中数据均采用步骤1进行预处理；设置损失函数完成模型参数训练；所述损失函数为：

其中，g_q为真实标签，y_q为预测输出结果，λ_r为L2正则化的系数，θ代表参数集Θ中的某一参数；同时利用反向传播法来计算梯度并更新所有的参数，完成模型训练。

步骤3：情感分类

将待分析语句采用步骤1进行预处理后输入步骤2训练完成分类模型，得到分类结果。

与现有技术相比，本发明提出的技术方案中考虑了句子的子句信息对实体属性依赖的情感识别的影响，实验采用公开数据集SemEval2014 task4提供的关于餐厅和电脑的评论信息，其中识别准确率达到82％，高于背景技术方案的识别精度。另外，为了更好的观察分析实验结果，这里可视化了同一句子不同实体的子句及单词的权重分布图，如图2所示；其中红色区域代表子句，蓝色领域代表单词，颜色越深说明模型中对于相应子句以及单词的权重越大。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.一种基于子句特征的实体属性依赖情感分析方法，包括以下步骤：

步骤1：数据预处理

步骤1-1：子句分割：将句子切分为基本语篇单元(elementary discourse units,EDUs)，得到子句集合C；

步骤1-2：词嵌入：将子句集合C中的每一个子句分别输入到ELMo词嵌入模型中，得到词嵌入结果为

其中，

表示第i个子句中第l个单词的嵌入向量；同时，得到实体词嵌入向量为e_target；

步骤2：构建并训练分类模型

步骤2-1：BiLSTM特征提取

将子句集合C中的每一个子句对应的嵌入向量输入到BiLSTM模型中提取句子特征，得到最终高级特征为：

其中，

表示第i个子句中第l个单词的高级特征；同时，实体词的高级特征表示为H_target；

步骤2-2：基于实体属性依赖的注意力机制

1)对第i个子句c_i的第j个单词设置权重

其中，

W_a、b_a代表单词注意力机制的权重和偏置；

进而得到第i个子句的高级特征表示为：

其中，

最终得到分配注意力后的句子特征向量表示：

2)将重新输入到BiLSTM模型中，得到子句特征并对第i个子句设置权重β_i：

其中，

W_c、b_c代表子句注意力机制中的权重和偏置；

进而得到最终提取的高级特征为：

R_final＝β·R

其中，β＝(β₁,β₂,...,β_m)；

将高级特征R_final输入softmax层进行分类，得到分类结果y；

步骤2-3：构建训练集，训练集中数据均采用步骤1进行预处理；设置损失函数，利用反向传播法来计算梯度并更新所有的参数，完成模型参数训练；所述损失函数为：

其中，Q为样本总数，g_q为真实标签，y_q为预测输出结果，λ_r为L2正则化的系数，θ代表参数集中的某一参数；

步骤3：情感分类

将待分析语句采用步骤1进行预处理后输入步骤2训练完成分类模型，得到分类结果。

Images