CN110489554A - 基于位置感知互注意力网络模型的属性级情感分类方法 - Google Patents

Abstract

本发明涉及基于位置感知互注意力网络模型的属性级情感分类方法，属于计算机及信息技术领域。本发明首先，利用两个LSTM网络对拼接位置信息的上下文和属性进行独立编码，然后，对上下文隐藏层的输出再次拼接位置信息，属性隐藏层的输出再次拼接属性的输入向量，接着，利用注意力机制让属性和上下文互作用学习获得更加有效的表示，最后，将上下文和属性进行拼接送入sofmax分类器中进行情感分类。该方法在SemEval 2014 Task4的Laptop和Restaurant两个不同领域的语料上进行了实验，均获得了比较好的结果。

Description

基于位置感知互注意力网络模型的属性级情感分类方法

技术领域

本发明涉及基于位置感知互注意力网络模型的属性级情感分类方法，属于计算机及信息技术领域。

背景技术

属性级情感分类中细粒度情感分类任务，旨在准确不同属性的情感极性。解决属性情感分类的传统机器学习方法包括语法规则和支持向量机(SVM)的方法，这些方法大多需要大量人工特征，包括情感词典、解析树等。这类方法的性能很大程度上受限于人工特征的质量。

近些年，随着深度学习的发展，神经网络在NLP中得到了广泛的应用。越来越多的学者提出利用深度学习技术。前期一些学者提出利用深度学习和传统的方法相结合处理属性级情感分类的思路。Nguyen和Shirai提出基于循环神经网络和句法分析树的方法进行属性情感分类。Dong等人提出一种自适应的循环神经网络应用于文本情感分类。这些方法均加入了深度学习的方法进行特征提取，相比于传统的方法取得了比较好的性能，但是，它们需要借助情感词典、句法分析树等方法的辅助，且网络结构相比比较复杂。为了克服这些缺陷，本发明提出了一种基于位置感知互注意力网络模型的属性级情感分类方法。

发明内容

本发明提供了基于位置感知互注意力网络模型的属性级情感分类方法，将属性和拼接位置向量的上下文向量进行独立编码，上下文隐藏层再次拼接位置向量，将隐层的输出经过初始化表示，计算得分、注意力权重计算，获得上下文和属性的最终有效表示；本发明能提升分类模型的准确性。

本发明的技术方案是：一种基于位置感知互注意力网络模型的属性级情感分类方法，首先进行语料预处理，针对英文语料，遍历全部语料查找出所有不同的词构建一个词典文件；然后，采用Google提供的Word2vec工具进行词向量300维的训练，上下文、属性、位置向量的计算；然后进行特征提取，利用两个LSTM网络对属性和拼接位置向量的上下文向量进行独立编码，上下文隐藏层再次拼接位置向量，强化位置信息的重要性；接着属性和上下文互动学习，计算它们各自的注意力权重，生成有效表示；最后，将属性和上下文生成的有效表示进行拼接作为最终的表示并送入softmax分类器中进行情感分类。

作为本发明的优选方案，所述基于位置感知互注意力网络模型的属性级情感分类方法的具体步骤如下：

Step1、词典的构建：英文文本不同于中文文本，它无需分词可以直接训练词向量，每个单词是一个独立的个体，表示独立的含义；将语料包含的所有词遍历后，去掉重复词，保证每个单词只出现一次，然后给每个单词赋予一个唯一的地址，保存到一个文本中，构成一个词典；供后续对应词向量的调用；

Step2、语料的数值化、位置信息的处理：将原始语料转化成数值方便后期的处理，将上下文和属性依次遍历，分别计算出它们各自的最长的长度max_context_len，max_aspect_len，然后利用词典将遍历到的词用它们的词典中对应的地址进行填充，达不到最长的长度的利用0进行填充，保证每条上下长度都为max_context_len，每条属性的长度都为max_aspect_len保持数据一致性，构成上下文和属性的序列，保存到文件中；

对位置信息的处理方法为：

1)检索到属性词所在的位置i，设置该位置的权重为0；

2)以属性词为中心，在属性词的两侧设置两个工作指针，分别依次计算属性词左右两侧单词和属性词之间的相对位置的值l_i；

3)将获得相对位置的序列进行处理，计算公式：获得上下文位置序列；

Step3、Word2vector词向量的训练：利用Google的开源工具Word2vec进行词向量的训练，将每一个词转化成一个1*300的向量；主要用到CBOW算法利用上下文的词向量预测特征词的词向量，利用窗口移动遍历所有词，获得语料中所有词的词向量。同时为每个位置信息训练一个唯一的300维的向量；

Step4、上下文向量、属性向量和位置向量的获取：通过步骤Step 2获得上下文序列、属性序列和位置序列；利用上下文序列检索出涉及的对应词向量构成上下文向量嵌入矩阵上下文不同单词对应的词向量乘上对应的D_i，获得位置向量矩阵将v^p和v^c拼接，得到上下文最终的输入；属性词向量矩阵的获取方式和上下文词向量矩阵的获取方式一样以上的d_p，d_c，d_t均表示向量维度，n、m分别表示上下文和属性的长度；

Step5、上下文和属性的初始表示：步骤Step 4获得的上下文向量、属性向量、位置向量，将上下文向量和位置向量拼接作为上下文最终的输入向量，利用两个LSTM网络对上下文最终的输入向量和属性向量分别进行独立编码，然后，上下文隐藏层的输出h^c再次拼接v^p获得h^cp，属性隐藏层的输出h^t拼接属性的输入v^t获得h^tt，对h^cp和h^tt作均值处理获得上下文和属性的初始表示：

Step6、上下文和属性单词得分γ的计算：步骤Step 5获得上下文和属性的初始表示T、C；上下文和属性互动学习挖掘和属性情感密切相关的信息，单词得分γ用来衡量单词在上下文和属性中的对属性情感信息的贡献度：

式中：W_c、W_t为权重，b_c、b_t为偏置，为上下文中第i个词的词向量，为属性中第i个词的词向量表示；

Step7、上下文和属性注意力权重的计算：利用注意力机制使得上下文和属性交互式学习，计算上下文和属性注意力权重α_i、β_i：

Step8、评论的最终有效表示：通过步骤Step 7获得上下文和属性的注意力权重α_i、β_i，利用上下文和属性隐藏层的输出与它们对应的注意力权重相乘获得上下文和属性有效表示，然后，将它们进行拼接获得评论最终有效表示S＝[C_f,T_f]用于属性情感分类，把最终有效表示送入softmax分类器中进行情感分类；

上述式子中：n、m分别为上下文和属性的长度，α_i、β_i为上下文和属性的注意力权重，为上下文中第i个词的词向量，为属性中第i个词的词向量表示。

本发明的有益效果是：

1、采用本发明提供的方法能够得到上下文和属性的有效表征语义和重要程度的向量，最大程度上强化重要特征，弱化次要特征；准确定位出特定属性的情感极性。在SemEval 2014语料上进行测试，laptop数据集上准确率为0.731，restaurant数据集上准确率为0.807；

2、本发明能实现自动属性级情感分类，达到比较好的结果。

3、本发明针对属性级情感分类任务不理想的问题，基于长短记忆网络(LSTM)算法，将互作用多注意力机制和位置信息相结合，在一定程度上取得了属性级情感分类比较好的结果；

附图说明

图1为本发明位置感知互作用注意力网络模型流程图；

图2为本发明位置嵌入示意图；

对于一条评论，属性可能不止一个，属性词统一用w_a表示，上下文共有n-1个词{w₁,w₂,w₃,…w_a-1,w_a+1,…w_n}；然后，上下文和属性的相对位置是d_p＝{1-a,2-a,…,-1,1,…,n-a}；

图3为本发明位置感知互作用注意力网络模型注意力权重热力图。

本发明位置感知互作用注意力网络模型(PEIAN)和交互式注意力网络模型(IAN)对同一个句子“startup are incredibly long:over two minutes.”计算的注意力权重进行了可视化，观察热力图很容易发现，PEIAN模型相比IAN模型能够更好的捕捉属性词的情感信息。

具体实施方式

实施例1：如图1-3所示，基于位置感知互注意力网络模型的属性级情感分类方法，对laptop语料，如图1所示，解决属性级情感分类方法的具体步骤为：

Step1、词典的构建：将语料包含的所有词遍历后，去掉重复词，保证每个单词只出现一次，然后给每个单词赋予一个唯一的地址，保存到一个文本中，构成一个词典；供后续对应词向量的调用；

Step2、语料的数值化、位置信息的处理：将原始语料转化成数值方便后期的处理，将上下文和属性依次遍历，分别计算出它们各自的最长的长度max_context_len，max_aspect_len，然后利用词典将遍历到的词用它们的词典中对应的地址进行填充，达不到最长的长度的利用0进行填充，保证每条上下长度都为max_context_len，每条属性的长度都为max_aspect_len保持数据一致性，构成上下文和属性的序列，保存到文件中；

对位置信息的处理方法为：

1)检索到属性词所在的位置i，设置该位置的权重为0；

2)以属性词为中心，在属性词的两侧设置两个工作指针，分别依次计算属性词左右两侧单词和属性词之间的相对位置的值l_i；

3)将获得相对位置的序列进行处理，计算公式：获得上下文位置序列；

Step3、Word2vector词向量的训练：利用Google的开源工具Word2vec进行词向量的训练，将每一个词转化成一个1*300的向量；

Step4、上下文向量、属性向量和位置向量的获取：通过步骤Step 2获得上下文序列、属性序列和位置序列；利用上下文序列检索出涉及的对应词向量构成上下文向量嵌入矩阵上下文不同单词对应的词向量乘上对应的D_i，获得位置向量矩阵将v^p和v^c拼接，得到上下文最终的输入；属性词向量矩阵的获取方式和上下文词向量矩阵的获取方式一样以上的d_p，d_c，d_t均表示向量维度，n、m分别表示上下文和属性的长度；

Step5、上下文和属性的初始表示：步骤Step 4获得的上下文向量、属性向量、位置向量，将上下文向量和位置向量拼接作为上下文最终的输入向量，利用两个LSTM网络对上下文最终的输入向量和属性向量分别进行独立编码，然后，上下文隐藏层的输出h^c再次拼接v^p获得h^cp，属性隐藏层的输出h^t拼接属性的输入v^t获得h^tt，对h^cp和h^tt作均值处理获得上下文和属性的初始表示：

Step6、上下文和属性单词得分γ的计算：步骤Step 5获得上下文和属性的初始表示T、C；上下文和属性互动学习挖掘和属性情感密切相关的信息，单词得分γ用来衡量单词在上下文和属性中的对属性情感信息的贡献度：

式中：W_c、W_t为权重，b_c、b_t为偏置，为上下文中第i个词的词向量，为属性中第i个词的词向量表示；

Step7、上下文和属性注意力权重的计算：利用注意力机制使得上下文和属性交互式学习挖掘和属性密切相关的情感信息，计算上下文和属性注意力权重α_i、β_i：

Step8、评论的最终有效表示：通过步骤Step 7获得上下文和属性的注意力权重α_i、β_i，利用上下文和属性隐藏层的输出h_i ^c、h_i ^t与它们对应的注意力权重相乘获得上下文和属性有效表示，然后，将它们进行拼接获得评论最终有效表示S＝[C_f,T_f]用于属性情感分类，把最终有效表示送入softmax分类器中进行情感分类；

上述式子中：n、m分别为上下文和属性的长度，α_i、β_i为上下文和属性的注意力权重，为上下文中第i个词的词向量，为属性中第i个词的词向量表示。

Step9、训练、测试模型。SemEval2014 Task4中Restaurant和laptop数据集已经分好训练集和测试集。将Step 8获得的评论的最终有效表示送入模型进行训练和测试，实验结果显示本发明对属性情感分类的有效性。

表1为本发明与基线模型结果的对比表

model	Restaurant	Laptop
			LSTM	0.743	0.665
TD-LSTM	0.756	0.681
			AE-LSTM	0.762	0.689
ATAE-LSTM	0.772	0.687
			GCAE	0.775	0.694
IAN	0.786	0.721
			PEIAN	0.807	0.731

LSTM：LSTM模型仅使用一个LSTM网络对上下文进行建模，然后将隐藏层的输出做均值处理视为最终的表示，并被送入softmax函数计算每个情感标签的概率。TD-LSTM：TD-LSTM采用两个LSTM网络分别对属性的左右两侧的上下文建模，左侧和右侧的上下文相关的表示拼接起来用以预测属性的情感极性。

AE-LSTM：AE-LSTM模型利用LSTM网络首先对上下文进行建模，然后将隐藏状态和属性词的嵌入相结合，计算注意力权重生成最终的表示。

ATAE-LSTM：ATAE-LSTM模型是在AE-LSTM模型上的一种扩展，在AE-LSTM模型的输入层拼接属性，然后送入LSTM网络，让模型能够选择性关注与当前关系密切的内容信息，从而生成更准确的属性情感特征表示。

GCAE：GCAE模型是建立在卷积和门控单元上，每个卷积滤波器分别从每个位置的嵌入向量计算不同粒度的n-gram特征，卷积层和最大池化层的顶部的选通单元可以准确选择和生成与属性相关的情感特征。

IAN：IAN模型对属性和上下文分别建模，利用交互式注意力网络使属性和上下文交互式学习挖掘和属性情感信息密切相关的信息，进行属性情感分类。

实验分析

从表1的结果可以看出，对于属性情感分类三分类任务，PEIAN模型在Restaurant和Laptop两个不同领域的数据集上均取得比较好的效果。模型ATAE-LSTM准确率明显高于模型TD-LSTM、AE-LSTM、LSTM。从实验结果和模型框架对比说明，在模型的输入层加入属性词向量可以很好地帮助模型挖掘不同属性和上下文中不同单词之间的语义关联信息，更加准确地将对应的情感信息识别。在Restaurant和Laptop语料上，ATAE-LSTM模型相比TD-LSTM、LSTM模型分类准确率分别提升1.6％、0.8％和2.7％、2.2％，相比TC-LSTM模型在Restaurant语料上提升0.9％，验证了注意力机制在属性情感分类任务中的有效性。同时也说明属性参与上下文的特征的提取的必要性。GCAE模型将卷积和门控单元相结合，对于情感特征的选择有一定的效果，但是相比ATAE-LSTM模型基本上没有大的提升。PEIAN模型相比ATAE-LSTM和IAN模型在Laptop和Restaurant语料上分别提升1.4％、3.5和3.4、4.4。验证了本发明对于解决属性级情感分类的有效性。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.基于位置感知互注意力网络模型的属性级情感分类方法，其特征在于：首先进行语料预处理，针对英文语料，遍历全部语料查找出所有不同的词构建一个词典文件；然后，采用Google提供的Word2vec工具进行词向量300维的训练，上下文、属性、位置向量的计算；然后进行特征提取，利用两个LSTM网络对属性和拼接位置向量的上下文向量进行独立编码，上下文隐藏层再次拼接位置向量，强化位置信息的重要性；接着属性和上下文互动学习，计算它们各自的注意力权重，生成有效表示；最后，将属性和上下文生成的有效表示进行拼接作为最终的表示并送入softmax分类器中进行情感分类。

2.根据权利要求1所述的基于位置感知互注意力网络模型的属性级情感分类方法，其特征在于：所述基于位置感知互注意力网络模型的属性级情感分类方法的具体步骤如下：

Step1、词典的构建：将语料包含的所有词遍历后，去掉重复词，保证每个单词只出现一次，然后给每个单词赋予一个唯一的地址，保存到一个文本中，构成一个词典；供后续对应词向量的调用；

Step2、语料的数值化、位置信息的处理：将原始语料转化成数值方便后期的处理，将上下文和属性依次遍历，分别计算出它们各自的最长的长度max_context_len，max_aspect_len，然后利用词典将遍历到的词用它们的词典中对应的地址进行填充，达不到最长的长度的利用0进行填充，保证每条上下长度都为max_context_len，每条属性的长度都为max_aspect_len保持数据一致性，构成上下文和属性的序列，保存到文件中；

对位置信息的处理方法为：

1)检索到属性词所在的位置i，设置该位置的权重为0；

2)以属性词为中心，在属性词的两侧设置两个工作指针，分别依次计算属性词左右两侧单词和属性词之间的相对位置的值l_i；

3)将获得相对位置的序列进行处理，计算公式：获得上下文位置序列；

Step3、Word2vector词向量的训练：利用Google的开源工具Word2vec进行词向量的训练，将每一个词转化成一个1*300的向量；

Step4、上下文向量、属性向量和位置向量的获取：通过步骤Step2获得上下文序列、属性序列和位置序列；利用上下文序列检索出涉及的对应词向量构成上下文向量嵌入矩阵上下文不同单词对应的词向量乘上对应的D_i，获得位置向量矩阵将v^p和v^c拼接，得到上下文最终的输入；属性词向量矩阵的获取方式和上下文词向量矩阵的获取方式一样以上的d_p，d_c，d_t均表示向量维度，n、m分别表示上下文和属性的长度；

Step5、上下文和属性的初始表示：步骤Step4获得的上下文向量、属性向量、位置向量，将上下文向量和位置向量拼接作为上下文最终的输入向量，利用两个LSTM网络对上下文最终的输入向量和属性向量分别进行独立编码，然后，上下文隐藏层的输出h^c再次拼接v^p获得h^cp，属性隐藏层的输出h^t拼接属性的输入v^t获得h^tt，对h^cp和h^tt作均值处理获得上下文和属性的初始表示：

Step6、上下文和属性单词得分γ的计算：步骤Step5获得上下文和属性的初始表示T、C；上下文和属性互动学习挖掘和属性情感密切相关的信息，单词得分γ用来衡量单词在上下文和属性中的对属性情感信息的贡献度：

式中：W_c、W_t为权重，b_c、b_t为偏置，为上下文中第i个词的词向量，为属性中第i个词的词向量表示；

Step7、上下文和属性注意力权重的计算：利用注意力机制使得上下文和属性交互式学习，计算上下文和属性注意力权重α_i、β_i：

Step8、评论的最终有效表示：通过步骤Step7获得上下文和属性的注意力权重α_i、β_i，利用上下文和属性隐藏层的输出与它们对应的注意力权重相乘获得上下文和属性有效表示，然后，将它们进行拼接获得评论最终有效表示S＝[C_f,T_f]用于属性情感分类，把最终有效表示送入softmax分类器中进行情感分类；

上述式子中：n、m分别为上下文和属性的长度，α_i、β_i为上下文和属性的注意力权重，为上下文中第i个词的词向量，为属性中第i个词的词向量表示。