CN109582764A - 基于依存句法的交互注意力情感分析方法 - Google Patents

Abstract

本发明公开了基于依存句法的交互注意力情感分析方法，该方法通过对句子进行依存句法分析和设计交互注意力来考虑目标集合和原始句子的整体相互影响，解决所给定的目标包含的信息量有限和基于拼接的简单方式不能充分建立起目标与上下文之间的关系，不足以准确分析文本评论的情感极性的问题。本发明通过设计一种基于依存句法的交互注意力，能够进一步提高细粒度情感分析准确率，准确地挖掘出电商行业中商品评论的情感倾向，不仅为用户在购买商品前提供更细致和更具有方向性的商品评价信息，而且可以使商家更加充分地了解消费者对某件商品的评论倾向，从而提高服务质量，具有很强的实际价值和现实意义。

Description

基于依存句法的交互注意力情感分析方法

技术领域

本发明涉及对电商行业中商品评论情感进行细粒度分析的方法，属于自然语言处理领域。

背景技术

随着淘宝Taobao、亚马逊Amazon等电子商务平台的发展，网上购物越来越得到人们的青睐，因此网络评论性文本数据也与日俱增。针对这些来自电商行业的海量非结构化的网络评论文本，迫切需要通过自然语言处理技术来对文本所表达的情感倾向进行判断和分类。一方面消费者在购买之前需要快速了解产品评论的情感倾向，根据其他消费者的经验信息来为自己提供购买决策支持；另一方面商家总结客户评论反馈中的情感信息，从而对商品和经营等方面进行改进。因此，如何对电商行业评论文本进行细粒度情感分类已经成为自然语言处理领域的一个重要研究课题。

情感分析指应用自然语言处理技术将文本划分为积极倾向和消极倾向，近年来被广泛应用于电商评论分析、信息检索、社交网络分析等领域。早期的情感分析主要是为了得到句子的整体情感倾向，却忽略了句子中的评价目标及其情感倾向。而特定目标的情感分析作为一个细粒度情感分析任务，目的是要判断句子在特定目标下的情感倾向。例如：Ilove the cell phone color,but the screen is too small.通过分析可知对于给定的目标cell phone color，句子的情感倾向为积极；对于给定的目标screen，句子的情感倾向为消极。

在特定目标的情感分析领域中，目标词对句子的最终情感分类具有非常重要的意义。传统方法主要通过基于情感词典和制定语言规则对目标和句子之间的关系进行建模，从而获得大量相关的特征，最终输入到分类器中得到情感分类结果。例如，江等人(Jiang,Long,Yu,et al.Target-dependent Twitter sentiment classification[C]//ACL 2011:Meeting of the Association for Computa-tional Linguistics:Human LanguageTechnologies.Associa-tion for Computational Linguistics.Stroudsburg,PA:ACL,2011:151-160)通过基于语言规则的方法，获得了特定目标在句子中的句法特征，同时人工制定多种规则以得到句子的上下文特征，然后将两者进行融合形成了更加全面的特征表示，最终输入到支持向量机SVM分类器中进行预测，在推特Twitter数据集上获得了较高的准确率；米切尔等人(Mitchell M,Aguilar J,Wilson T,et al.Open do-main targetedsentiment[C]//Proceedings of the 2013Conference on Empirical Methods inNatural Language Processing.2013:1643-1654)则将特定目标的情感分析视为序列标注任务，首先提取大量和目标词有关的人工特征，其中包括丰富的情感词典特征和统计特征，然后利用条件随机场模型CRF进行预测以得到最终结果。虽然这些传统方法都考虑了目标对情感分类的重要性，但是它们都高度依赖于所获得的特征质量，并且特征工程的工作量也十分庞大，从而使得人工成本较高。为了克服传统特征工程的不足，近几年学者们也开始研究基于深度学习的情感分析方法，因为神经网络可以高效地从目标和句子中自动提取特征表达，并且拥有更加丰富的语义信息，从而避免了人工设计特征的缺陷。

目前，基于深度学习的情感分析技术主要包含词向量，循环神经网络和卷积神经网络，并逐渐成为解决特定目标情感分析任务的主流模型。例如，唐等人(Tang D,Qin B,Liu T.Aspect Level Sentiment Classification with Deep Memory Network[J].2016:214-224)以目标词为中心点，将句子划分为左右两部分，并用两个独立的长短时记忆网络LSTM(Long short-term memory)分别对这两部分的句子进行建模，从而能够充分地利用目标的语义信息；黄等人(Wang Y,Huang M,Zhu X,et al.Attention-based LSTM forAspect-level Sentiment Classification[C]//EMNLP 2016:Conference on EmpiricalMethods in Natural Language Processing.Stroudsburg,PA:ACL,2016:606-615)则将目标词和句子中每一个词语分别进行拼接后输入LSTM，获得隐藏层输出后，再使用注意力机制考虑给定目标对句子的影响；王等人(Wang X,Chen G.Dependency-Attention-BasedLSTM for Target-Dependent Sentiment Analysis[C]//SMP 2017:Chinese NationalConference on Social Media Processing.Springer,Singapore,2017:206-217)则在黄等人工作的基础上引入了依存信息，捕捉到句子中每个词语的长距离依存信息，并将其与隐藏层输出直接进行拼接，从而增加了目标特征信息；马等人(Ma D,Li S,Zhang X,etal.Interactive Attention Networks for Aspect-Level Sentiment Classification[C]//IJCAI 2017:Twenty-Sixth International Joint Con-ference on ArtificialIntelligence.2017:4068-4074)则通过LSTM对目标词和句子分开进行建模，再利用各自隐藏层的输出进行注意力权重的计算。

尽管这些方法能够较好地解决特定目标的情感分析任务，但是它们仍然面临着两个挑战：一方面，任务中所给定的目标只是独立的词或者固定的词组，忽略了目标词与上下文之间的依存关系，从而使得目标包含的信息量变得很有限。另一方面，大部分基于拼接的简单方式不能充分建立起目标与上下文之间的关系。

发明内容

本发明提出了一种基于依存句法和交互注意力的细粒度情感分析方法，通过对句子进行依存句法分析和设计交互注意力来考虑目标集合和原始句子的整体相互影响，解决所给定的目标包含的信息量有限和基于拼接的简单方式不能充分建立起目标与上下文之间的关系，不足以准确分析文本评论的情感极性的问题。

本发明的目的至少通过如下技术方案之一实现。

基于依存句法的交互注意力情感分析方法，其包括以下步骤：

步骤一、获取电商行业中商品的原始评论数据；

步骤二、利用预训练好的GloVe词向量(Pennington J,Socher R,ManningC.Glove:Global Vectors for Word Representation[C]//EMNLP 2014:Conference onEmpirical Methods in Natural Language Processing.2014:1532-1543)对步骤一获取的原始评论数据中单词和目标词进行初始词向量构建；

步骤三、利用长短时记忆网络LSTM(Long short-term memory)来捕获步骤二得到的句子的单词初始词向量的语义表征，得到的隐藏层输出作为句子的初始语义表达；

步骤四、利用依存句法分析将语义相关但不与目标词相邻的单词直接联系起来，以找到目标词的依存信息，并筛选出含有情感的依存信息，再与步骤二得到的目标词初始词向量融合为目标集合，形成目标的初始特征表示；

步骤五、再利用交互注意力分别提取步骤三得到的句子的初始语义表达和步骤四得到的目标的初始特征表示的特征向量表示，从而完整捕捉到句子和目标中的情感信息；

步骤六、融合步骤五得到的句子与目标中的特征向量表示，同时考虑步骤三中LSTM隐藏层最后状态的输出h_N，形成最终的特征表示；

步骤七、将步骤六得到的最终的特征表示输入到归一化函数softmax分类层，并计算该句子在不同类别上的概率分布，以进行情感极性预测，概率最大的情感类别将作为最终的分类结果；所述不同类别包括积极、中性和消极的情感类别。

进一步的，步骤一中，每条原始评论数据由句子和目标共同组成，句子的情感极性包含了积极、消极、中性三个类别。

进一步地，所述步骤二具体包括：

采用预训练好的GloVe词向量对步骤一获取的原始评论数据中单词和目标词进行初始词向量构建，词向量维度为300；权重参数初始值由均匀分布产生；隐藏层大小设置为300；优化算法AdaGard对应的初始学习速率设置为0.01；同时为了防止过拟合，正则项的权重设置为0.001。

进一步地，所述步骤三具体包括：

LSTM中分别设计了输入门、遗忘门、输出门来控制句子信息的流入和流出，能够更好地学习句子中与目标词相邻的单词间的语义关系；采用LSTM对句子进行建模，将步骤二得到的句子中所有单词对应的初始词向量输入到LSTM，得到隐藏层H输出结果H＝[h₁,h₂,…,h_N]，其中d_D为隐藏层的大小，N为给定句子的长度，R为参数空间，h_N为第N个词的输出状态；将所得到的隐藏层输出H＝[h₁,h₂,…,h_N]作为句子的初始特征表示，从而捕获到句子中单词的语义表征，得到的隐藏层输出作为句子的初始语义表达。

进一步地，所述步骤四具体包括：

依存句法是为了表示句子中词语之间的依存关系，能将语义相关但不与目标词相邻的单词直接联系起来，以找到目标词的依存信息，并筛选出含有情感的依存信息，再与步骤二得到的目标词初始词向量融合为目标集合，形成目标的初始特征表示。所述依存句法采用了斯坦福大学句法分析工具包Stanford Parser(Schuster S,Manning C.EnhancedEnglish Universal Dependencies:An Improved Representation for NaturalLanguage Understanding Tasks)对句子进行分析，在相应句子中找出所有和目标词存在依存关系的词，得到目标的长距离依存信息；但考虑到并非所有依存关系都对情感分类有重要贡献，部分依存关系甚至会对最终分类造成一定的干扰；所以本发明制定了相应的语言规则对目标词的依存关系进行了筛选，所述语言规则包括名词性主语nsubj、直接宾语dobj、副词性修饰关系advmod、否定修饰关系neg、并列关系conj；得到扩充目标集合后，通过GloVe词向量将目标集合中的每一个词转化为词向量表示，最终得到目标集合对应的词向量矩阵T的结果T＝[t₁,t₂,…,t_M]，其中d_w为目标词向量的长度，M为给定目标词拓展后的集合大小，R为参数空间，t_M为第M个词的集合输出状态，直接将词向量矩阵T作为目标的特征表示以用于后续的交互注意力计算。

进一步地，所述步骤五具体包括：

得到隐藏层输出H＝[h₁,h₂,…,h_N]和目标集合矩阵表示T＝[t₁,t₂,…,t_M]后，再利用交互注意力分别提取目标集合与句子的特征向量表示，从而完整捕捉到目标和句子中的情感信息；

对于句子，将目标集合的全部信息用于训练句子的特征表示，以更充分地捕捉到句子中与目标相关的信息，得到句子的最终特征表示f_context：

f_context＝a_contextH^T

a_context＝softmax(H·tanh(W₁TW₂))

其中，句子对应的注意力权重向量a_context∈R^N，代表分配给句子中每一个词权重的大小；W₁∈R^N×M，均为注意力的参数矩阵；R为参数空间；tanh为双曲正切函数；

对于目标集合，也同样基于注意力，将句子输入LSTM得到的隐藏层信息用于目标集合的注意力权重计算，以充分利用句子与目标集合的相互关系，得到目标集合更好的表示形式，得到目标的最终特征表示f_target：

f_target＝a_targetT^T

a_target＝softmax(T·tanh(W₃HW₄))

其中，目标词的注意力权重a_target∈R^M，代表分配给目标集合中每一个词权重的大小；W₃∈R^M×N，均为注意力的参数矩阵；R为参数空间。

进一步地，所述步骤六具体包括：

为了形成最终的特征表示s，融合得到的目标集合与句子的特征向量表示，同时也考虑LSTM隐藏层最后状态的输出h_N，因为h_N包含了句子最丰富的语义信息，s的具体计算方式为：

s＝f_context+f_target+h_NW₅

其中，W₅∈R^M×N为LSTM隐藏层中的权重矩阵。

进一步地，所述步骤七具体包括：

将最终的特征表示s输入到归一化函数softmax分类层，从而计算出该句子在不同类别上的概率分布

其中，W_s和b_s为对应的权重矩阵和偏置项；概率最大的情感类别将作为最终的分类结果，从而预测出其情感类别。

具体地，所述步骤二的具体处理过程为：采用预训练好的GloVe词向量对步骤一获取的原始评论数据中单词和目标词进行初始词向量构建，词向量维度为300；权重参数初始值由均匀分布产生；隐藏层大小设置为300；优化算法AdaGard对应的初始学习速率设置为0.01；同时为了防止过拟合，正则项的权重设置为0.001。

具体地，所述步骤三的具体处理过程为：LSTM中分别设计了输入门、遗忘门、输出门来控制句子信息的流入和流出，能够更好地学习句子中与目标词相邻的单词间的语义关系；采用LSTM对句子进行建模，将步骤二得到的句子中所有单词对应的初始词向量输入到LSTM，得到隐藏层H输出结果H＝[h₁,h₂,…,h_N]，其中d_D为隐藏层的大小，N为给定句子的长度，R为参数空间，h_N为第N个词的输出状态；将所得到的隐藏层输出H＝[h₁,h₂,…,h_N]作为句子的初始特征表示，从而捕获到句子中单词的语义表征，得到的隐藏层输出作为句子的初始语义表达。

具体地，所述步骤四的具体处理过程为：依存句法是为了表示句子中词语之间的依存关系，能将语义相关但不与目标词相邻的单词直接联系起来，以找到目标词的依存信息，并筛选出含有情感的依存信息，再与步骤二得到的目标词初始词向量融合为目标集合，形成目标的初始特征表示。得到扩充目标集合后，通过语言模型将目标集合中的每一个词转化为词向量表示，最终得到目标集合对应的词向量矩阵T的结果T＝[t₁,t₂,…,t_M]，其中d_w为目标词向量的长度，M为给定目标词拓展后的集合大小，R为参数空间，t_M为第M个词的集合输出状态，直接将词向量矩阵T作为目标的特征表示以用于后续的交互注意力计算。

具体地，所述步骤五的具体处理过程为：得到隐藏层输出H＝[h₁,h₂,…,h_N]和目标集合矩阵表示T＝[t₁,t₂,…,t_M]后，再利用交互注意力分别提取目标集合与句子的特征向量表示，从而完整捕捉到目标和句子中的情感信息；

对于句子，将目标集合的全部信息用于训练句子的特征表示，以更充分地捕捉到句子中与目标相关的信息，得到句子的最终特征表示f_context：

f_context＝a_contextH^T

a_context＝softmax(H·tanh(W₁TW₂))

其中，句子对应的注意力权重向量a_context∈R^N，代表分配给句子中每一个词权重的大小；W₁∈R^N×M，均为注意力的参数矩阵；R为参数空间；tanh为双曲正切函数；

对于目标集合，也同样基于注意力，将句子输入LSTM得到的隐藏层信息用于目标集合的注意力权重计算，以充分利用句子与目标集合的相互关系，得到目标集合更好的表示形式，得到目标的最终特征表示f_target：

f_target＝a_targetT^T

a_target＝softmax(T·tanh(W₃HW₄))

其中，目标词的注意力权重a_target∈R^M，代表分配给目标集合中每一个词权重的大小；W₃∈R^M×N，均为注意力的参数矩阵；R为参数空间。

具体地，所述步骤六的具体处理过程为：为了形成最终的特征表示s，融合得到的目标集合与句子的特征向量表示，同时也考虑LSTM隐藏层最后状态的输出h_N，因为h_N包含了句子最丰富的语义信息，s的具体计算方式为：

s＝f_context+f_target+h_NW₅

其中，W₅∈R^M×N为LSTM隐藏层中的权重矩阵。

具体地，所述步骤七的具体处理过程为：本发明将最终的特征表示s输入到归一化函数softmax分类层，从而计算出该句子在不同类别上的概率分布

其中，W_s和b_s为对应的权重矩阵和偏置项；概率最大的情感类别将作为最终的分类结果，从而预测出其情感类别。

与现有技术相比，本发明具有如下优点和技术效果：由于在情感分析中目标包含的信息量有限，且基于拼接的简单方式不能充分建立起目标与上下文之间的关系，本发明提出了基于依存句法的交互注意力模型。首先通过对句子进行依存句法分析，捕捉到和给定目标词存在直接关联的依存信息，并根据依存关系类型筛选出含有情感信息的相关词，再将其与原有的目标词整合成目标集合，以表达更加完整的目标信息；之后进一步将目标集合和句子分别进行建模得到初始特征表示，然后设计交互注意力模型以考虑两者之间的整体相互影响，从而充分地挖掘目标和句子的语义关系，达到提高情感分析精度的目的。本发明相比于传统模型能取得更好的效果，不仅能够有效地提高情感分类的精度，而且能够充分捕捉文本评论上下文间的语义及情感信息，丰富文本特征的提取。

附图说明

图1是实施例中基于依存句法的交互注意力情感分析方法的流程图；

图2是依存句法的交互注意力(Dependency Inter-active Attention，DIA)结构图；

图3是样本注意力权重示意图。

具体实施方式

以下结合附图和个案实例对发明的具体实施方式进一步说明，但发明的实施和保护不限于此。

本发明公开了基于依存句法的交互注意力情感分析方法，涉及自然语言处理技术领域，用于电商行业中商品评论数据的细粒度情感分析。所述情感分析的方法包括以下步骤。

1、获取电商行业中商品的原始评论数据；

获取国际权威的词义消歧评测SemEval 2014任务4(Pontiki M,Galanis D,Pavlopoulos J,et al.SemEval-2014Task 4:Aspect Based Sentiment Analysis[J].Proceedings of International Workshop on Semantic Evaluation at,2014:27-35)中的笔记本电脑评论数据和餐厅评论数据，分别用于本实施例实验部分的方法验证；其中，每条评论数据由句子和目标共同组成，句子的情感极性包含了积极、消极、中性三个类别；将获取的评论数据分为笔记本电脑评论数据的训练集LPT-TR，笔记本电脑评论数据的测试集LPT-TE，餐厅评论数据的训练集RST-TR和餐厅评论数据的测试集RST-TE这4组数据集。具体的，LPT-TR数据集包括2313条数据，其中积极情感987条，消极情感866条，中性情感460条；LPT-TE数据集包括638条数据，其中积极情感341条，消极情感128条，中性情感169条；RST-TR数据集包括3602条数据，其中积极情感2164条，消极情感805条，中性情感633条；RST-TE数据集包括1120条数据，其中积极情感728条，消极情感196条，中性情感196条。

关于数据集的统计描述详见表1：

表1实验数据集

其中，LPT-TR为笔记本电脑评论数据的训练集，LPT-TE为测试集；RST-TR为餐厅评论数据的训练集，RST-TE为测试集。

2、利用预训练好的GloVe词向量对步骤一获取的原始评论数据中单词和目标词进行初始词向量构建；所述依存句法采用了斯坦福大学句法分析工具包Stanford Parser(Schuster S,Manning C.Enhanced English Universal Dependencies:An ImprovedRepresentation for Natural Language Understanding Tasks[C]//TenthInternational Conference on Language Resources and Evaluation.2016)对句子进行分析，在相应句子中找出所有和目标词存在依存关系的词，得到目标的长距离依存信息；但考虑到并非所有依存关系都对情感分类有重要贡献，部分依存关系甚至会对最终分类造成一定的干扰。所以实施例制定了相应的语言规则对目标词的依存关系进行了筛选，如表2所示：

表2语言规则实例

3、利用LSTM来捕获步骤二得到的句子的单词初始词向量的语义表征，得到的隐藏层输出作为句子的初始语义表达。

4、利用依存句法分析将语义相关但不与目标词相邻的单词直接联系起来，以找到目标词的依存信息，并筛选出含有情感的依存信息，再与步骤二得到的目标词初始词向量融合为目标集合，形成目标的初始特征表示。

5、再利用交互注意力分别提取步骤三得到的句子的初始语义表达和步骤四得到的目标的初始特征表示的特征向量表示，从而完整捕捉到句子和目标中的情感信息。

6、融合步骤五得到的句子与目标中的特征向量表示，同时考虑步骤三中LSTM隐藏层最后状态的输出h_N，形成最终的特征表示。

7、将步骤六得到的最终的特征表示输入到归一化函数softmax分类层，并计算该句子在不同类别上的概率分布，以进行情感极性预测，概率最大的情感类别将作为最终的分类结果。本发明相对于传统模型能取得更好的效果，不仅能够有效地提高情感分类的精度，而且能够充分捕捉文本评论上下文间的语义及情感信息，丰富文本特征的提取。

如图1、图2和图3所示，基于依存句法和交互注意力的情感分析方法具体过程为：

图1是基于依存句法的交互注意力的情感分析方法的流程示意图，具体描述如下：

首先是利用预训练好的GloVe词向量对原始评论数据中单词和目标词进行初始词向量构建；再利用LSTM来捕获句子的单词初始词向量的语义表征，得到的隐藏层输出作为句子的初始语义表达；同时利用依存句法分析将语义相关但不与目标词相邻的单词直接联系起来，以找到目标词的依存信息，并筛选出含有情感的依存信息，再与目标词初始词向量融合为目标集合，形成目标的初始特征表示；再利用交互注意力分别提取句子的初始语义表达和目标的初始特征表示的特征向量表示，从而完整捕捉到句子和目标中的情感信息；接着融合句子与目标的特征向量表示，同时考虑LSTM隐藏层最后状态的输出h_N，形成最终的特征表示；最后将最终的特征表示输入到归一化函数softmax分类层，并计算该句子在不同类别上的概率分布，以进行情感极性预测，概率最大的情感类别将作为最终的分类结果。

因此，针对本发明方法进而进行实验论证，具体实验过程为：

模型训练标准：本发明采用了所有句子分类结果的交叉熵总和作为损失函数loss，同时采用反向传播算法来对权重矩阵和参数进行更新，公式表示如下：

其中，i代表一个句子，j代表一种情感倾向类别；y为句子情感倾向的真实分布，则为预测分布；S代表训练数据，C则代表所有的情感倾向类别；λ为L₂正则项的权重参数。

实验语料：本实施例选取了SemEval 2014中任务4数据集来验证本实施例的实验效果。SemEval是国际权威的词义消歧评测，通过组织评测及相关活动验证词义消歧系统在不同的词、语言及语言的不同侧面上的优劣，它潜在的目标是增进人们对词义与多义现象的理解。其中，SemEval 2014中任务4数据集主要用于细粒度情感分析，所以本实施例选择了其中的笔记本电脑评论数据和餐厅评论数据分别进行了模型验证。其中，每个评论由句子和目标共同组成，句子的情感极性包含了积极、消极、中性三个类别，本发明的目标就是要将给定目标下的句子划分到正确的类别中，关于数据集的统计描述详见表1。

本实施例使用了深度学习框架tensorflow库来搭建网络结构，模型参数设置为：本发明实验中采用预训练好的GloVe词向量对句子中的词和目标词进行初始化，词向量维度为300；权重参数初始值由均匀分布U(-0.01,0.01)产生；隐藏层大小设置为300；优化算法AdaGard对应的初始学习速率设置为0.01；同时为了防止过拟合，正则项L₂的权重设置为0.001。本发明采用准确率作为评价指标，用于评估本发明模型和基准模型的性能，准确率的具体计算方式如下：

实验流程：为了更加全面的评估本发明方法的性能，因此选取了与本发明相关的4个基准方法进行比较，模型的描述如下：

LSTM:标准的单层LSTM，进行分类的时候没有利用目标的信息；

TD-LSTM:以目标为中心，分别从左右两个方向采用LSTM进行建模，从而能够得到目标的上下文信息；

ATAE-LSTM:在输入层中将每个词向量和目标词向量进行拼接，从而形成上下文输入，同时在隐藏层中将LSTM的输出和目标词向量进行拼接，然后使用注意力得到最终的特征表示；

DAT-LSTM:在ATAE-LSTM模型的基础上，引入了句子中词语之间的依存关系，以获得词语之间的长距离依存信息。

本发明的方法DIA和4个基准方法的实验结果如表3：

表3对比实验结果

从表3实验结果所示实验数据分析可发现，标准的单层LSTM在两个数据集上的准确率只有74.3％和66.5％，均为最低值。主要因为标准单层LSTM忽略了目标信息，无法根据不同的目标判断句子对应的情感倾向。相比之下，考虑了目标信息的4个模型平均准确率分别为77.4％和69.5％，领先标准单层LSTM 3.1％和3.0％，表明了目标信息对提高分类精度起到了重要的作用。ATAE-LSTM则在考虑目标信息的基础上引入了注意力机制，在两个数据集上分别实现了77.2％和68.7％的准确率，比TD-LSTM高1.6％和0.6％，主要是因为TD-LSTM仅考虑了目标信息，同等地对待每一个词在最终结果中起到的作用，不能识别出句子中具有重要信息的词语。DAT-LSTM在注意力上进一步引入了依存分析，并在餐厅评论数据和笔记本电脑评论上都取得了不错的分类效果，相比ATAE-LSTM分类准确率提升了0.9％和0.7％。

此外，本发明提出的DIA方法取得了当前实验中的最好结果，一方面是因为DIA扩展了目标信息，使得最终的目标集合包含了丰富的情感信息。同时另一方面通过引入了交互注意力，充分挖掘出目标集合和句子之间的语义关系。最终的实验结果证实了本发明方法的有效性和可行性。

另外，为了验证本发明方法DIA的有效性，本发明通过个案实例来进行验证，并且将句子和目标的注意力权重分布进行了可视化展示来更加更加直观地呈现结果(图3)。本实施例分别选择了“The ambience was nice，but service was not so great.”和“Service was slow,but the people were friendly.”作为研究例子。对于第一句话中的给定目标“ambience”，句子的情感标签为积极的；而对于第二句话中的给定目标“service”，句子的情感标签则为消极的。

首先对句子进行依存句法分析，以获得目标词“ambience”和“service”的直接依存信息，并根据依存关系进行筛选，可以分别形成两个目标集合{ambience，nice}和{service，slow}。在此基础上再使用DIA分别对句子和给定目标进行建模。

图3中的第一个例句显示，句子中的“nice”和“ambience”词所分到的注意力权重较大，而其他词的注意权重则较小。在第二个例子中则更为明显，“slow”的注意力权重远远高于句子中其他词的权重值。这表明本发明的DIA在进行情感分类时能够重点关注句子中和目标相关的信息，而其他相关程度较低的词所分配的权重则较小。同时，扩充后的目标集合中富含情感信息的词(“nice”和“slow”)也受到了较大的关注，符合人类的实际认知。因此，以上结果进一步验证了本发明DIA的有效性。

Claims (10)

1.基于依存句法的交互注意力情感分析方法，其特征在于，包括以下步骤：

步骤一、获取电商行业中商品的原始评论数据；

步骤二、利用预训练好的GloVe词向量对步骤一获取的原始评论数据中单词和目标词进行初始词向量构建；

步骤三、利用长短时记忆网络LSTM(Long short-term memory)来捕获步骤二得到的句子的单词初始词向量的语义表征，得到的隐藏层输出作为句子的初始语义表达；

步骤四、利用依存句法分析将语义相关但不与目标词相邻的单词直接联系起来，以找到目标词的依存信息，并筛选出含有情感的依存信息，再与步骤二得到的目标词初始词向量融合为目标集合，形成目标的初始特征表示；

步骤五、再利用交互注意力分别提取步骤三得到的句子的初始语义表达和步骤四得到的目标的初始特征表示的特征向量表示，从而完整捕捉到句子和目标中的情感信息；

步骤六、融合步骤五得到的句子与目标中的特征向量表示，同时考虑步骤三中LSTM隐藏层最后状态的输出h_N，形成最终的特征表示；

步骤七、将步骤六得到的最终的特征表示输入到归一化函数softmax分类层，并计算该句子在不同类别上的概率分布，以进行情感极性预测，概率最大的情感类别将作为最终的分类结果；所述不同类别包括积极、中性和消极的情感类别。

2.根据权利要求1所述的基于依存句法的交互注意力情感分析方法，其特征在于，步骤一中，每条原始评论数据由句子和目标共同组成，句子的情感极性包含了积极、消极、中性三个类别。

3.根据权利要求1所述的基于依存句法的交互注意力情感分析方法，其特征在于，步骤一中，将获取的评论数据分为笔记本电脑评论数据的训练集LPT-TR，笔记本电脑评论数据的测试集LPT-TE，餐厅评论数据的训练集RST-TR和餐厅评论数据的测试集RST-TE这4组数据集。

4.根据权利要求1所述的基于依存句法和交互注意力的情感分析方法，其特征在于，所述步骤二具体包括：

采用预训练好的GloVe词向量对步骤一获取的原始评论数据中单词和目标词进行初始词向量构建，词向量维度为300；权重参数初始值由均匀分布产生；隐藏层大小设置为300；优化算法AdaGard对应的初始学习速率设置为0.01；同时为了防止过拟合，正则项的权重设置为0.001。

5.根据权利要求1所述的基于依存句法和交互注意力的情感分析方法，其特征在于，所述步骤三具体包括：

LSTM中分别设计了输入门、遗忘门、输出门来控制句子信息的流入和流出；采用LSTM对句子进行建模，将步骤二得到的句子中所有单词对应的初始词向量输入到LSTM，得到隐藏层H输出结果H＝[h₁,h₂,…,h_N]，其中d_D为隐藏层的大小，N为给定句子的长度，R为参数空间，h_N为第N个词的输出状态；将所得到的隐藏层输出H＝[h₁,h₂,…,h_N]作为句子的初始特征表示，从而捕获到句子中单词的语义表征，得到的隐藏层输出作为句子的初始语义表达。

6.根据权利要求1所述的基于依存句法和交互注意力的情感分析方法，其特征在于，所述步骤四具体包括：

依存句法是为了表示句子中词语之间的依存关系，能将语义相关但不与目标词相邻的单词直接联系起来，以找到目标词的依存信息，并筛选出含有情感的依存信息，再与步骤二得到的目标词初始词向量融合为目标集合，形成目标的初始特征表示。

7.根据权利要求6所述的基于依存句法和交互注意力的情感分析方法，其特征在于，所述依存句法采用了斯坦福大学句法分析工具包Stanford Parser对句子进行分析，在相应句子中找出所有和目标词存在依存关系的词，得到目标的长距离依存信息；制定相应的语言规则对目标词的依存关系进行了筛选，所述语言规则包括名词性主语nsubj、直接宾语dobj、副词性修饰关系advmod、否定修饰关系neg、并列关系conj；得到扩充目标集合后，通过GloVe词向量将目标集合中的每一个词转化为词向量表示，最终得到目标集合对应的词向量矩阵T的结果T＝[t₁,t₂,…,t_M]，其中d_w为目标词向量的长度，M为给定目标词拓展后的集合大小，R为参数空间，t_M为第M个词的集合输出状态，直接将词向量矩阵T作为目标的特征表示以用于后续的交互注意力计算。

8.根据权利要求1所述的基于依存句法和交互注意力的情感分析方法，其特征在于，所述步骤五具体包括：

得到隐藏层输出H＝[h₁,h₂,…,h_N]和目标集合矩阵表示T＝[t₁,t₂,…,t_M]后，再利用交互注意力分别提取目标集合与句子的特征向量表示，从而完整捕捉到目标和句子中的情感信息；

对于句子，将目标集合的全部信息用于训练句子的特征表示，以更充分地捕捉到句子中与目标相关的信息，得到句子的最终特征表示f_context：

f_context＝a_contextH^T

a_context＝softmax(H·tanh(W₁TW₂))

其中，句子对应的注意力权重向量a_context∈R^N，代表分配给句子中每一个词权重的大小；W₁∈R^N×M，均为注意力的参数矩阵；R为参数空间；tanh为双曲正切函数；

对于目标集合，也同样基于注意力，将句子输入LSTM得到的隐藏层信息用于目标集合的注意力权重计算，以充分利用句子与目标集合的相互关系，得到目标集合更好的表示形式，得到目标的最终特征表示f_target：

f_target＝a_targetT^T

a_target＝softmax(T·tanh(W₃HW₄))

其中，目标词的注意力权重a_target∈R^M，代表分配给目标集合中每一个词权重的大小；W₃∈R^M×N，均为注意力的参数矩阵；R为参数空间。

9.根据权利要求1所述的基于依存句法和交互注意力的情感分析方法，其特征在于，所述步骤六具体包括：

为了形成最终的特征表示s，融合得到的目标集合与句子的特征向量表示，同时也考虑LSTM隐藏层最后状态的输出h_N，因为h_N包含了句子最丰富的语义信息，s的具体计算方式为：

s＝f_context+f_target+h_NW₅

其中，W₅∈R^M×N为LSTM隐藏层中的权重矩阵。

10.根据权利要求1所述的基于依存句法和交互注意力的情感分析方法，其特征在于，所述步骤七具体包括：

将最终的特征表示s输入到归一化函数softmax分类层，从而计算出该句子在不同类别上的概率分布

其中，W_s和b_s为对应的权重矩阵和偏置项；概率最大的情感类别将作为最终的分类结果，从而预测出其情感类别。