CN109948165B - 基于混合注意力网络的细粒度情感极性预测方法 - Google Patents

Abstract

本发明公开了一种基于混合注意力网络的细粒度情感极性预测方法，旨在克服现有技术存在灵活性缺失、精度不足、难以获取全局结构信息、训练速度慢和注意力信息单一等问题。该方法的步骤为：1.根据评论文本句子确定文本上下文序列和特定方面目标词序列；2.通过glove词嵌入将序列映射成为两个多维的连续词向量矩阵；3.将两矩阵经过多次不同线性变换，得到相应的变换矩阵；4.使用变换矩阵计算文本上下文自注意力矩阵与特定方面目标词向量注意力矩阵，并将两矩阵拼接得到双注意力矩阵；5.对不同次线性变化后的双注意力矩阵进行拼接，然后再次进行线性变化得到最终注意力表示矩阵；6.通过平均池化操作，经过全连接层厚输入到softmax分类器中得到情感极性预测结果。

Description

基于混合注意力网络的细粒度情感极性预测方法

技术领域

本发明涉及一种自然语言处理领域的特定方面细粒度情感极性预测方法，更确切地说，本发明涉及一种基于混合注意力网络的细粒度情感极性预测方法。

背景技术

社交网络的迅猛发展为人们提供了发表和分享个人言论的广阔平台，各种网络数据迅速膨胀，越来越多的人在网络上发表意见和表达情感，用户在针对某实体发表观点时，除了在评论中给出总体评价外，通常也会针对该实体的多个方面发表观点评论，对用户评论的不同特定方面情感进行识别会帮助用户更好的做出决策，因此识别网络评论文本的特定方面情感极性成为重点和热点问题。

目前，实现文本特定方面情感极性的预测主要有四种方法：基于情感词典的方法、基于传统机器学习的方法、基于基础深度学习的方法和基于注意力机制与深度模型相结合的方法，但四种方法都在一定程度上存在不足：

1.前两类方法都需要依赖大量的人工标注，需要对文本进行大量的预处理和复杂的特征工程，且推广能力差，

基于词典的方法：其模式是“词典+规则”，即以情感词典作为判断评论情感极性的主要依据，同时兼顾评论数据中的语法结构，设计相应的判断规则。

基于传统机器学习的方法：通过人工标注一部分数据作为训练集，然后对训练集上的数据进行特征提取和学习来构建文本分类模型，最后使模型对未标注的数据进行预测，从而自动实现文本特定方面的情感极性预测；

2.第三种方法虽然降低了预处理和特征工程的工作量，但仍需要结合外部知识，对文中特定方面的关注度低，且通常使用的两种深度学习神经网络中，卷积神经网络在卷积层使用滤波器抽取文本特征，只能获取滤波器窗口内单词间的依赖关系，无法获取句子中所有单词间的依赖关系,进而无法获取整体结构信息.在图像处理领域，相邻像素点之间往往存在很大的相关程度，但在特定方面情感分析领域，由于修饰词、语法规则和表达习惯的影响，使得相邻单词的相关程度并不高，循环神经网络及其衍生网络的原理是基于“人的认知是基于过往经验和记忆”这一观点提出，与卷积神经网络不同，循环神经网络不仅考虑前一时刻的输入，而且赋予网络对前面内容的记忆功能，但循环神经网络及其衍生网络这类序列模型，难以实现并行计算，训练时间过慢，并且句子中单词间的依赖程度会随着距离增加而减弱，

基于深度学习的方法：使用卷积神经网络、循环神经网络等深度神经网络对文本进行训练，从而得到特定方面情感极性预测结果；

3.最后一类方法多数使用单一注意力机制与神经网络相结合，难以获取更深层次注意力信息，

虽然现有工作在一定程度上实现了文本特定方面情感极性的预测，但是都存在一定不足，基于情感词典和机器学习的方法过度依赖人工标注导致灵活性差，基于卷积神经网络的深度学习方法，难以获取全局结构信息导致预测精度低，基于循环神经网络的深度学习方法训练时间过长，基于注意力机制与神经网络相结合的方法，只考虑单一层面注意力信息，没有对文本间的注意力信息进行更深层次的挖掘，因此，为了弥补上述缺点，提出一种基于混合注意力网络的文本特定方面细粒度情感极性预测方法。

发明内容

本发明所要解决的技术问题是克服现有技术存在灵活性不足、精确度不够、模型训练时间过长、注意力机制单一等问题，提供了一种基于混合注意力网络的文本特定方面细粒度情感极性预测方法。

为解决上述技术问题，本发明所述的基于混合注意力网络的文本特定方面细粒度情感极性预测方法包括如下步骤：

1.确定数据集的文本上下文序列与特定方面目标词序列：

(1)将每一评论文本表示成为以词为单位的文本上下文序列：

S^c＝{w₁,w₂,···a₁,a₂,···a_m···w_n}

其中：S^c表示文本上下文序列，w_i(1≤i≤n)表示文本中的单词，a_j(1≤j≤m)表示文本中特定方面目标词；

(2)抽取S^c中特定方面目标词，组成特定方面目标词序列：

S^a＝{a₁,a₂,···a_m}

其中：S^a表示特定方面目标词序列，a_j(1≤j≤m)表示序列中的目标词。

2.使用glove词嵌入方法，将文本上下文序列和特定方面目标词序列的每一个单词映射成为一个多维的连续值词向量：

(1)文本上下文序列通过词嵌入操作得到文本上下文词向量矩阵：

E^c＝(x₁,x₂,···,x_n)

其中，E^c表示文本上下文词向量矩阵，x_i(1≤i≤n)表示第i文本上下文词向量。

(2)特定方面目标词序列通过词嵌入操作得到特定方面目标词向量矩阵：

E^a＝(t₁,t₂,···t_m)

其中，E^a表示特定方面目标词向量矩阵，t_j(1≤j≤m)表示第j个特定方面目

标词向量。

3.构建混合注意力网络：

(1)将文本上下文词向量矩阵进行三次不同的线性变换得到文本上下文线性变换矩阵Q^c、K^c和V^c；

(2)将特定方面目标词向量矩阵进行一次线性变换得到特定方面目标词线性变换矩阵P^a；

(3)利用矩阵Q^c、K^c和V^c计算文本上下文自注意力，得到文本上下文自注意力矩阵S^c；

(4)利用矩阵P^a、K^c和V^c计算特定方面注意力，得到特定方面词向量注意力矩阵D^a；

(5)对矩阵S^c和D^a进行拼接，得到双注意力矩阵；

(6)并行执行(1)(2)(3)(4)(5)，得到h个双注意力矩阵(h为线性变换次数)；

(7)对h个双注意力矩阵进行拼接操作，再次进行线性变化，得到最终的注意力表示矩阵；

(8)对注意力表示矩阵进行池化操作，经过全连接神经网络输入到softmax分类器中，得出最终的特定方面情感极性。

4.训练混合注意力网络：

(1)将混合注意力网络损失函数定义为交叉熵损失；

(2)使用方向传播法来优化混合注意力网络；

技术方案中所述矩阵线性变化方法如下：

(1)文本上下文矩阵线性变化：

Q^c＝E^c×W^Q

K^c＝E^c×W^K

V^c＝E^c×W^V

其中：Q^c、K^c、V^c为文本上下文线性变换矩阵，W^Q、W^k和W^V为线性变换参数矩阵。

(2)特定方面目标词矩阵线性变化：

P^a＝E^a×W^P

其中：P^a为特定方面目标词线性变换矩阵，W^P为线性变换参数矩阵。

技术方案中注意力计算采用如下方法：

(1)文本上下文自注意力相似度函数采用缩放点积相似度，公式如下：

其中：S^c为文本上下文自注意力矩阵，softmax(·)表示归一化函数，d_k为矩阵K^C的维度。

(2)特定方面目标词向量注意力相似度函数采用缩放点积相似度，公式如下：

其中：D^a为特定方面词向量注意力矩阵，d_k为矩阵K^c的维度。

技术方案中双注意力矩阵通过如下方法获得：

U_i＝concat(S^c,D^a)

Z＝concat(U₁,U₂,···U_h)W^o

其中：U_i表示双注意力矩阵(1≤i≤h)，concat(·)为矩阵拼接操作，W^o为线性变换参数矩阵，Z表示最终注意力表达矩阵。

技术方案中所述的softmax函数为：

y＝softmax(WZ+B)

其中：y表示情感极性预测结果，W为全连接层权重矩阵，B为全连接层偏置项矩阵。

技术方案中所述的训练混合注意力网络使用的交叉熵损失函数如下：

其中：loss为交叉熵损失函数，D为训练集数据量，即训练集合大小，C为数据集的类别数，y为待分类句子的预测类别，

为实际类别，λ||θ||²为交叉熵正则项。

与现有技术相比本发明的有益效果是：

1.与基于情感词典和传统机器学习法方法相比，本发明所述的基于混合注意力网络的文本特定方面细粒度情感极性预测方法采用在不依赖人工标注、语法结构及句法分析先验知识的情况下，能够更加精确的预测文本中特定方面的情感极性。

2.与基于深度学习的方法相比，首先本发明所述的基于混合注意力网络的文本特定方面细粒度情感极性预测方法采用文本上下文自注意力机制，通过计算文本中每一个单词与其他单词的相似度来获取单词间的依赖关系，弥补了卷积神经网络难以获取全局结构信息的缺点，同时单词间的依赖程度不会随着距离增加而减弱且自注意力机制可以实现大规模的并行化计算，弥补了循环神经网络训练速度过慢的缺点，本发明同时采用特定方面目标词向量注意力机制，给予句子中特定方面目标词更高的关注度，能够更有效的预测特定方面的情感极性，弥补现有方法精度不足的缺陷。

3.与基于注意力机制与神经网络相结合的模型相比，本发明所述的基于混合注意力网络的特定方面细粒度情感分析方法，采用多头注意力机制，通过将文本上下文和特定方面目标词进行多次不同的线性变换，从而获取更深层更多样化的注意力信息，弥补了基于注意力机制与神经网络相结合模型注意力信息单一的缺点。

综上所述，本发明是针对文本特定方面细粒度情感极性预测问题，通过采用多头注意力机制、文本上下文自注意力机制和特定方面目标词向量注意力机制来构建混合注意力网络，集合深度学习算法来完成情感极性预测任务。

附图说明

下面结合附图对本发明作进一步的说明：

图1是实施本发明所述的基于混合注意力网络的文本特定方面细粒度情感极性预测方法各组成模块的功能、连接关系示意框图；

图2是本发明所述的文本上下文词向量和特定方面目标词向量线性变换示意图；

图3是本发明所述文本上下文词向量矩阵和特定方面目标词向量矩阵线性变换示意图；

图4是本发明所述的特定方面目标词向量注意力机制示意图；

图5是本发明所述的文本上下文自注意力机制示意图；

具体实施方式

下面结合附图对本发明作详细的描述：

本发明所述的基于混合注意力网络的特定方面细粒度情感极性预测方法所要解决的技术问题是克服现有技术的不足，使用多头注意力机制、文本上下文自注意力机制和特定方面目标词向量注意力机制构建混合注意力网络，接受并行化输入，能够在不依赖外部知识的情况下获取文本的全局机构信息，实现并行化计算，既提升了训练速度，同时也提升了情感极性预测的准确度。

参阅图1，为实现基于混合注意力的文本特定方面细粒度情感极性预测方法这一目的自行编制了计算机程序，其包括有四个功能模块，即嵌入层模块、线性变换层模块、双注意力层模块和输出层模块，各个模块功能：

1.嵌入层模块

将输入看作以词为单位的词序列，通过本层将输入文本上下文序列和特定方面序列中的每一个词映射为一个多维的连续值词向量，从而得到两部分的词向量矩阵，本发明采用glove词嵌入方式，每个词向量维度为300维，词典大小为1.9MB.对于未登录词，采用均匀分布U(-0.01，0.01)随机初始化词向量。

2.线性变化层模块

通过对上下文和特定方面两部分词向量矩阵进行多次不同线性变换，得到两部分词向量矩阵在不同线性变换条件下的表示，从而使模型能够从多方面捕获上下文和特定方面的特征信息，本发明线性变换次数取为8。

3.双注意力层模块

(1)通过计算上下文部分的多头自注意力，捕获词与词间的依赖关系，获取文本的整体结构信息.然后，计算特定方面对于文本的注意力得分，以获取文本与特定方面间的依赖关系。

(2)将两部分注意力进行拼接并再次进行线性映射操作，利用池化操作获得不同线性映射条件下最重要的情感特征。

4.输出层模块

使用softmax函数得到输出结果，最终获取特定方面的情感极性，本发明交叉熵损失函数正则项系数设置为10^-4，Adam优化器初始学习率为0.01，随机失活率设置为0.5。

参阅图2，本发明所述的文本上下文词向量和特定方面目标词向量线性变换过程如下：

1)将文本上下文每一个词向量与三个线性变换参数矩阵相乘，得到三个相应的线性变换后的向量，用于参与之后的文本上下文自注意力计算和特定方面目标词向量注意力计算；

2)将特定方面每一个词向量与一个线性变换参数矩阵相乘，得到一个相应的线性变换后的向量，用于参与之后的特定方面目标词注意力计算。

参阅图3，本发明所述的文本上下文词向量矩阵和特定方面目标词向量矩阵线性变换过程，从矩阵的角度说明了线性变换过程。

参阅图4，本发明所述的特定方面目标词向量注意力机制如下：

(1)特定方面目标词向量与文本上下文矩阵中每一词向量计算相似度，得到相似度得分向量；

(2)对相似度得分向量进行归一化操作，得到权重向量；

(3)将权重向量中的权重值与文本上想问矩阵中对应位置的词向量进行加权求和，得到最终的特定方面目标词注意力表示向量；

参阅图5，本发明所述的文本上下文自注意力机制如下：

(1)将文本上下文中每一个词向量都与剩余词向量进行相似度计算得到相似度矩阵；

(2)对相似度矩阵进行归一化，得到权重矩阵；

(3)将权重矩阵中的权重与对应位置的词向量相乘求和，得到文本上下文自注意力表示矩阵。

实施例：

本发明所需解决的任务如下：给定长度为n的句子s＝{w₁,w₂,···,a₁,a₂,···a_m，···w_n}，即每个句子由一系列单词w_i(1≤i≤n)组成，其中a_j(1≤j≤m)为句子s中特定方面目标词，本发明的任务是根据给定的句子，预测句子中特定方面目标词的情感极性，包括积极、消极和中立三种。

本发明针对上述任务具体执行流程如下：

(1)根据给定句子，得到文本上下文单词序列和特定方面目标词序列：

S^c＝{w₁，w₂，…w_n}

S^a＝{a₁，a₂，…a_m}

(2)根据特定方面目标词数量，将给定句子进行分句：

句子	特定方面目标词
		{w1，w2，…wn}	a1
{w1，w2，…wn}	a2
		……	……
{w1，w2，…wn}	am

(3)通过线性映射层模块，将文本上下文序列和特定方面目标词序列中的每一个词通过glove词嵌入方法映射成为一个多维的连续值词向量，得到为文本上下文矩阵

和特定方面目标词向量矩阵

其中k为词向量维度，本发明中取k＝300，c′为文本上下文词向量数量，a′为特定方面目标词向量数量。

(4)通过线性变换层模块，将文本上下文矩阵进行三次线性变化并得到对应的变换矩阵，将特定方面目标词向量矩阵进行一次线性变化得到相应的变化矩阵，具体方式如下：

Q^c＝E^c×W^Q

K^c＝E^c×W^K

V^c＝E^c×W^V

P^a＝E^a×W^P

其中：W^Q、W^K和W^V为文本上下文线性变换参数矩阵，W^P为特定方面目标词向量线性变换参数矩阵。

(5)通过双注意力层模块，对步骤(4)获得的线性变化矩阵做如下操作：

1)使用缩放点积相似度函数计算文本上下文自注意力，首先计算矩阵Q^c和K^c的相似度得分，然后经过归一化操作得到对应权重向量，再与矩阵V^c相乘得到文本上下文自注意力矩阵S^c：

2)使用缩放点积相似度函数计算特定方面目标词向量注意力，首先计算P^a和K^c的相似度得分，然后经过归一化操作得到对应权重向量，再与矩阵V^c相乘得到特定方面目标词向量注意力矩阵D^a：

3)将得到的两个注意力矩阵进行拼接，得到双注意力矩阵：

U_i＝concat(S^c,D^a)

其中，1≤i≤h，h为线性映射次数，本发明中将h取为8。

4)使用不同线性变换参数矩阵重复8次1)2)3)过程，得到8个双注意力矩阵，对8个双注意力矩阵进行拼接，再经过线性变化，得到最终的注意力表示矩阵Z:

Z＝concat(U₁,U₂,···,U₈)W^o

其中，W^o为线性变换参数矩阵。

5)通过平均池化池化操作，得到最终的特征表达：

z^p＝pooling(Z)

其中：z^p表示最终注意力表示向量，pooling(·)表示平均池化操作。

(6)在输出层模块，将双注意力层输出作为输入，像传统的神经网络一样，经过全连接层输入到最终的softmax分类器中，得到特定方面情感极性预测结果：

y＝softmax(wz^p+b)

其中：w表示参数向量，b表示偏置项。

(7)本发明使用梯度下降算法对交叉熵损失函数进行优化：

注：本发明接受并行化输入，也就是说可以并行的对给定评论矩阵做上述操作。

Claims (1)

1.一种基于混合注意力网络的特定方面细粒度情感极性预测方法，其特征在于，所述的基于混合注意力网络的特定方面细粒度情感极性预测方法包括如下步骤：

(1)根据给定评论句子获取文本上下文序列和特定方面目标词序列：

1)依据给定评论句子，定义文本上下文序列：

T^c＝{w₁,w₂,…w_n}

其中：T^c表示文本上下文序列，n表示句中单词个数，对于任意的i∈[1,n]，w_i表示文本上下文序列中第i个词向量；

2)根据给定评论句子，抽取特定方面目标词并定义特定方面目标词序列：

S^a＝{a₁,a₂,…a_m}

其中：S^a表示特定方面目标词序列，m表示特定方面目标词个数，对于任意的j∈[1,m],a_j表示特定方面目标词序列中第j个词向量；

(2)根据特定目标词数量，将句子表示为m个分句；

(3)通过通过线性映射层模块，将文本上下文序列和特定方面目标词序列中的每一个词通过glove词嵌入方法映射成为一个多维的连续值词向量，得到为文本上下文矩阵

和特定方面目标词向量矩阵

其中：k为词向量维度，c′为文本上下文词向量数量，a′为特定方面目标词向量数量；

(4)通过线性变换层模块，将文本上下文矩阵进行三次线性变化并得到对应的变换矩阵，将特定方面目标词向量矩阵进行一次线性变化得到相应的变化矩阵，具体方式如下：

Q^c＝E^c×W^Q

K^c＝E^c×W^K

V^c＝E^c×W^V

P^a＝E^a×W^P

其中：Q^c、K^c、V^c为文本上下文线性变换矩阵，W^Q、W^K和W^V为文本上下文线性变换参数矩阵，W^P为特定方面目标词向量线性变换参数矩阵，P^a为特定方面目标词线性变换矩阵；

(5)通过双注意力层模块，对步骤(4)获得的线性变化矩阵做如下操作：

1)使用缩放点积相似度函数计算文本上下文自注意力，首先计算矩阵Q^c和K^c的相似度得分，然后经过归一化操作得到对应权重向量，再与矩阵V^c相乘得到文本上下文自注意力矩阵S^c：

其中：S^c为文本上下文自注意力矩阵，softmax(·)表示归一化函数，d_k为矩阵K^C的维度；

2)使用缩放点积相似度函数计算特定方面目标词向量注意力，首先计算P^a和K^c的相似度得分，然后经过归一化操作得到对应权重向量，再与矩阵V^c相乘得到特定方面目标词向量注意力矩阵D^a：

其中：D^a为特定方面词向量注意力矩阵，d_k为矩阵K^c的维度；

3)将得到的两个注意力矩阵进行拼接，得到双注意力矩阵：

U_i＝concat(S^c,D^a)

其中：对于任意的i∈[1,h]，U_i表示双注意力矩阵，concat(·)为矩阵拼接操作；

4)使用不同线性变换参数矩阵重复h次1)2)3)过程，得到h个双注意力矩阵，对h个双注意力矩阵进行拼接，再经过线性变化，得到最终的注意力表示矩阵Z：

Z＝concat(U₁,U₂,…,U₈)W^o

其中：Z表示最终注意力表示矩阵，W^o为线性变换参数矩阵；

5)通过平均池化池化操作，得到最终的特征表达：

z^p＝pooling(Z)

其中：z^p表示最终注意力表示向量，pooling(·)表示平均池化操作；

(6)在输出层模块，将双注意力层输出作为输入，像传统的神经网络一样，经过全连接层输入到最终的softmax分类器中，得到特定方面情感极性预测结果：

y＝softmax(wz^p+b)

其中：w表示参数向量，b表示偏置项；

(7)使用梯度下降算法对交叉熵损失函数进行优化：

其中：loss为交叉熵损失函数，D为训练集数据量，即训练集合大小，C为数据集的类别数，y为待分类句子的预测类别，

为实际类别，λ||θ||²为交叉熵正则项。

Images