CN112069320B - 一种基于跨度的细粒度情感分析方法 - Google Patents

Abstract

本发明提供一种基于跨度的细粒度情感分析方法，涉及情感分析技术领域。本发明通过选择情感分析的数据集，建立基于方面的情感分析模型，通过损失函数和训练数据集来训练基于方面的情感分析模型，将待进行情感分析的测试数据集通过训练好的基于方面的情感分析模型，实现文本的情感分析。本发明提出的网络模型来提取方面和对应的情感极性，该模型为情感分析任务构建一种简单有效的提取句子方面及相应情感极性的联合模型。该模型使用BERT作为词嵌入，然后使用循环控制单元来提取每个子任务的表示，以及使用交互层来考虑它们之间的关系，最后进行方面项提取和情感分析。

Description

一种基于跨度的细粒度情感分析方法

技术领域

本发明涉及情感分析技术领域，尤其涉及一种基于跨度的细粒度情感分析方法。

背景技术

随着互联网时代的发展，以网络平台为依托的社交成为人们生活中不可或缺的一部分。用户不再满足于单方面的获取信息，而是踊跃的创造信息。越来越多的用户热衷于在网络上发表自己的情感、观点和态度，例如在电影网站上分享某个电影的观影感受、在社交网络上发表自己对某件事情的看法、在购物网站上发表对于某件商品的评价等等。而针对大量的评论数据，人们很难从中快速抽取出对自己有效的信息。所以，情感分析(Sentimentanalysis)应运而生。情感分析又称为意见挖掘、主观性分析等，就是将主观态度挖掘出来的一个过程。由于在网络上产生的大量数据都是以文本的形式存在的，所以基于文本的情感分析是至关重要的。

情感分析已经应用于舆情监测、意见搜索、商业决策、信息预测、情绪管理、股票市场等各个领域中，并且很多互联网企业也推出自主研发的情感分析工具。目前，百度在其开放平台推出了情感分析应用。此应用能够对中文的文本判断情感极性并且给出相应的置信度，这为口碑分析、舆情分析等提供了一定的技术支持。高效的情感分析可以为用户提供更加精准的分析结果，为用户和带来极大的便利。所以，情感分析不仅为生活带来极大的便利，也具有较高的商业价值。

情感分析可以分为三个层次粒度：文档级别(document-level)、句子级别(sentence-level)和方面级别(aspect-level)。文档级别的情感分析是为含有一个意见的文档确定一个整体的情感极性。句子级别的情感分析是为一个句子确定一个情感极性。与文档级别和句子级别的情感分类不同的是，方面级别的情感分析既要考虑句子的内容，又考虑句子的目标信息，因为情感总是有目标的。方面级别的情感分析是一种细粒度的任务，包含方面项提取(ATE)和方面情感分类(ASC)这两项子任务。基于方面的情感分析的目标是提取句子的各个方面并且判断每个方面的情感极性。输入的句子可以是商品评论，社交网络评论等带有方面的句子。例如在句子“食物出奇的好吃，餐厅的装饰也很不错”中，“食物”和“装饰”就是句子的提到的两个方面。在这个句子中它们的情感极性都是积极的。

通常情况下，研究人员是分别对方面情感分析的两项基本的子任务进行研究。第一个子任务是意见方面项提取，它的目的是检测文本中提到的方面。研究人员在意见方面项提取的子任务上已经做了很多工作。第二个子任务是方面情感分类，它可以预测给定的意见方面的情感极性。近年来，该子任务也得到了广泛关注。通常情况下，研究人员对这些子任务进行单独的研究，但它们在实际应用中都是系统的有机组成部分，方面情感分类的实现是基于方面项提取中获取的方面项。因此，这两个子任务的分离将限制实际应用。

近年来，一些研究将方面项提取和方面情感分类对待为序列标记的任务来解决。这些研究为完成ABSA任务设计了一个统一的标记方案：{B,I,E,S}-{+,-,0}和标签O。{BIES}表示序列标签，{+,-,0}表示情感标签。也有一些研究使用{BIO}等更简单的序列标签。根据定义的标记，完整的方面情感分析任务转换为序列标记问题，并在相同的网络体系结构下使用管道模型、联合模型或折叠模型来解决。并且一个标记按顺序分配给输入语句中的每个单词。然而，基于序列标记的方面提取和情感分类的方法存在一些不足。在使用BIO标签进行抽取问题回答任务时，由于标签的组合性，模型必须考虑一个巨大的搜索空间，因此效率较低。当方面由多个单词组成时，现有的方法分别预测单词的标签，这样无法利用全局信息，导致方面项提取错误。并且分别预测单词标签，可能导致不同单词学习到的对某一方面的情感信息不同，无法保证方面的情感一致性。

发明内容

针对上述现有技术的不足，本发明提供一种基于跨度的细粒度情感分析方法，联合解决方面提取和方面情感分析这两项子任务，对文本实现方面级别的情感分析。

为解决上述技术问题，本发明所采取的技术方案是一种基于跨度的细粒度情感分析方法，包括以下步骤：

步骤1、选择待进行情感分析的数据集，给定一个输入的句子s＝{w₁,w₂,...,w_n}，其中w_n为词，n为句子的长度；

步骤2、对待分析数据集建立基于跨度的方面情感分析模型S-AESC；

所述基于跨度的方面情感分析模型S-AESC包括嵌入层，双GRU层，交互层，跨度提取和注意力机制分类；

所述嵌入层使用BERT作为嵌入层，将句子s＝{w₁,w₂,...,w_n}的开头和结尾分别连接[CLS]和[SEP]标记，其中句子的长度为n，使用词表将连接之后的句子转化成向量{e₁,...e_i,...,e_n}，其中e_i是结合了标记嵌入(token embedding)、位置嵌入(positionembedding)和段嵌入(segment embedding)的向量，i∈[1,n]；在层数为L层的Transformer中表示

在第l层的计算如公式(1)所示：

X^l＝Transformer(X^l-1),l∈[1,L] (1)

其中，X^l为在第l层的Transformer获得的表示，

为在第l层的Transformer获得的表示中的第n项；

所述的双GRU层接收嵌入层的输出，通过更新门z_i和重置门r_i来生成表示，更新门z_i控制前一时刻的状态信息被带入到当前状态中的程度，重置门r_i控制忽略前一时刻的状态信息的程度，如公式(2)-(5)所示：

其中，σ为激活函数，tanh为双曲正切函数，

和h_i分别表示新的门和隐藏表示，其中向量h_i的维度为d，W_r、W_z和

分别为重置门、更新门和新的门的参数矩阵；

所述交互层计算方面提取和方面情感分类之间的信息交互；

首先计算一个方面提取的复合张量

其中

为实数域的K维向量，即复合张量β_ap的维度为K，通过计算来编码h_a和h_p之间的关联程度，复合张量计算公式如下：

β_ap＝tanh((h_a)^TG^ah_p) (6)

其中，h_a和h_p分别为双GRU层的方面提取和方面情感分类的输出隐藏表示，

是一个三维的张量，其中

为三维张量的维度分别为K，d和d，a和p分别为方面提取和方面情感分类的索引；

获得复合张量β_ap之后，计算方面提取的注意力分数S_ap，注意力分数越高证明从第p个词捕捉到的情感与第a个方面之间有较高的相关性，计算公式如下：

其中，v_a为计算注意力分数S_ap的可训练的权重向量；

然后，所有的h_a聚集成矩阵h^A，S_ap聚集成矩阵S_A，通过计算来增强原始的方面提取特征，公式如下：

h^A＝h^A+softmax(S_A)h^P (8)

所述交互层利用方面提取和方面情感分类之间的相互作用，计算方面情感分类的复合张量

通过计算来编码h_p与h_a之间的关联程度；获得复合张量之后，计算方面情感分类的注意力分数S_pa；最后通过计算来增强原始的方面情感分类特征；如公式(9)-(11)所示：

β_pa＝tanh((h_p)^TG^ah_a) (9)

h^P＝h^P+softmax(S^P)h^A (11)

其中，v_p为计算注意力分数S_pa的可训练的权重向量；

所述跨度提取是通过预测方面在句子中的起始位置和终止位置来提取方面词，通过如下公式得到开始位置的概率分布p^s：

g^s＝v_sh^A (12)

p^s＝softmax(g^s) (13)

其中，g^s为开始位置的预测得分，v_s是计算g^s的可训练的权重向量；

通过如下公式得到结束位置的概率分布p^e：

g^e＝v_eh^A (14)

p^e＝softmax(g^e) (15)

其中，g^e为结束位置的预测得分，v_e是计算g^e的可训练的权重向量；

对于每个句子，首先从多个开始位置和结束位置的两种预测得分g^s和g^e中选取前M个分数，其中M为正整数，然后在结束位置不小于开始位置以及两个预测得分和相加超过阈值γ下，将所有候选跨度(s_i，e_j)及其启发式正则化分数y_l添加到一个列表Y中；由于方面为短实体，所以将启发式正则化的分数y_l计算为两个分数之和减去跨度长度，计算公式如下：

其中，

表示开始位置s_i的预测得分，

表示结束位置e_j的预测得分；

每次从列表Y中选出分数最大的方面作为提取出的方面，之后删去列表Y中与选出的方面有重叠词语的方面，直到列表Y为空或者已经提取出O个，其中O为超参数；

所述注意力机制分类是使用注意力机制的集成来进行情感分类；给定一个方面跨度(s_i，e_j)，其中s_i为开始位置，e_j为结束位置；

首先利用注意力机制对句子的方面提取的边界计算注意力分数α，然后计算所有单词关于提取边界的加权和x_r，计算如公式(17)、(18)所示：

其中，v_r为权重向量，

为跨度(s_i，e_j)的表示集合并且表示为交互层方面情感分类的输出；

为跨度的注意力分数；

利用方面情感分类的输出h_p计算注意力分数α_p，然后计算表示所有单词的加权和x_h，计算如公式(19)、(20)所示：

α_p＝softmax(v_hh_p) (19)

其中，v_h是计算α_p的可训练的权重向量；

将边界的加权和x_r、所有单词的加权和x_h集成连接起来，得到最终的加权表示x，计算如公式(21)所示：

x＝[x_r；x_h] (21)

将得到的最终的加权表示x经过公式(22)得到最终的极性概率p^p：

p^p＝softmax(W_ptanh(W_xx)) (22)

其中，W_p是进行tanh计算时定义的可训练的参数矩阵，W_x进行softmax计算时定义的可训练的参数矩阵。

步骤3、通过联合训练损失函数L对模型进行优化；

所述联合训练损失函数L包括方面提取的损失函数L_a以及方面情感分类的损失函数L_p，如公式(23)所示：

L＝L_a+L_p (23)

所述方面提取的损失函数L_a如公式(24)所示：

其中，

表示第i个词为一个方面的开始，

表示第j个词为方面的结束位置，

表示第i个词为一个方面的开始的概率，

表示第j个词为方面的结束位置的概率；

所述方面情感分类的损失函数L_p如公式(25)所示：

其中，y^p是真实极性的独热码(one-hot)向量，c是情感标签的数量。

步骤4、将待进行情感分析的数据集通过训练好的基于跨度的方面情感分析模型，提取出每个句子中的所有方面{a₁,...,a_t}，并预测出它们的情感极性，其中方面的数量为t，实现文本的情感分析。

采用上述技术方案所产生的有益效果在于：

本发明提供的一种基于跨度的细粒度情感分析方法，使用一个模型来联合两项任务，同时挖掘出评论中涉及的方面和对应的情感，增强了模型的实用性；其次融合了BERT、信息交互模块、启发式提取算法和注意力机制，使得提取和分类结果更加准确。高效的情感分析可以为用户提供更加精准的分析结果，为用户和带来极大的便利。在电商平台方面，通过将评价较好的产品推荐给消费者，可以提高消费者的满意度，增加商品的购买率；商家可以了解到用户的喜好，及时根据反馈做出调整。在社会舆论方面，可以帮助政府部门掌握热点事件的舆情倾向。在社交媒体方面，平台可以根据用户对话题的态度而判断是否向其推荐相关内容。所以情感分析模型的研究会对各个领域产生深远的影响。

附图说明

图1为本发明实施例提供的基于跨度的方面情感分析模型S-AESC的基本框架；

图2为本发明实施例提供的S-AESC模型中参数K的影响对比图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明所采取的技术方案是一种基于跨度的细粒度情感分析方法，包括以下步骤：

步骤1、选择待进行情感分析的数据集，给定一个输入的句子s＝{w₁,w₂,...,w_n}，其中w_n为词，n为句子的长度；

本实施例使用三个数据集。第一个数据集LAPTOP包含了来自SemEval2014的关于笔记本领域的评论。第二个数据集REST来自于SemEval2014，SemEval2015和SemEval2016，包含关于餐馆的评论，通过合并三年训练数据集和测试数据集，得到新的训练数据集和测试数据集。第三个数据集TWITTER是由Mitchell收集创建的，包含推特上的帖子，对于TWITTER数据集的结果使用的是十折交叉验证。每个数据集的情感极性标签都是分为“positive(+)”、“negative(-)”和“neutral(0)”这三类，数据集的划分细节如表1所示。

表1数据集

数据集	Targets	Positive	Negative	Neutral
					LAPtop	2936	1326	990	620
REST	6603	4134	1538	931
					TWITTER	3243	703	274	2266

步骤2、对待分析数据集建立基于跨度的方面情感分析模型S-AESC；

所述基于跨度的方面情感分析模型S-AESC包括嵌入层，双GRU层，交互层，跨度提取和注意力机制分类，如图1所示；

所述嵌入层使用BERT作为嵌入层，将句子s＝{w₁,w₂,...,w_n}的开头和结尾分别连接[CLS]和[SEP]标记，其中句子的长度为n，使用词表将连接之后的句子转化成向量{e₁,...e_i,...,e_n}，其中e_i是结合了标记嵌入(token embedding)、位置嵌入(positionembedding)和段嵌入(segment embedding)的向量，i∈[1,n]；在层数为L层的Transformer中表示

在第l层的计算如公式(1)所示：

X^l＝Transformer(X ^l-1),l∈[1,L] (1)

其中，X^l为在第l层的Transformer获得的表示，

为在第l层的Transformer获得的表示中的第n项；

所述的双GRU层接收嵌入层的输出，通过更新门z_i和重置门r_i来生成表示，更新门z_i控制前一时刻的状态信息被带入到当前状态中的程度，重置门r_i控制忽略前一时刻的状态信息的程度，如公式(2)-(5)所示：

其中，σ为激活函数，tanh为双曲正切函数，

和h_i|分别表示新的门和隐藏表示，其中向量h_i的维度为d，W_r、W_z和

分别为重置门、更新门和新的门的参数矩阵；

所述交互层计算方面提取和方面情感分类之间的信息交互；

首先计算一个方面提取的复合张量

其中

为实数域的K维向量，即复合张量β_ap的维度为K，通过计算来编码h_a和h_p之间的关联程度，复合张量计算公式如下：

β_ap＝tanh((h_a)^TG^ah_p) (6)

其中，h_a和h_p分别为双GRU层的方面提取和方面情感分类的输出隐藏表示，

是一个三维的张量，其中

为三维张量的维度分别为K，d和d，a和p分别为方面提取和方面情感分类的索引；

获得复合张量β_ap之后，计算方面提取的注意力分数S_ap，注意力分数越高证明从第p个词捕捉到的情感与第a个方面之间有较高的相关性，计算公式如下：

其中，v_a为计算注意力分数S_ap的可训练的权重向量；

然后，所有的h_a聚集成矩阵h^A，S_ap聚集成矩阵S_A，通过计算来增强原始的方面提取特征，公式如下：

h^A＝h^A+soft max(S_A)h^P (8)

所述交互层利用方面提取和方面情感分类之间的相互作用，计算方面情感分类的复合张量

通过计算来编码h_p与h_a之间的关联程度；获得复合张量之后，计算方面情感分类的注意力分数S_pa；最后通过计算来增强原始的方面情感分类特征；如公式(9)-(11)所示：

β_pa＝tanh((h_p)^TG^ah_a) (9)

h^P＝h^P+soft max(S^P)h^A (11)

其中，v_p为计算注意力分数S_pa的可训练的权重向量；

所述跨度提取是通过预测方面在句子中的起始位置和终止位置来提取方面词，通过如下公式得到开始位置的概率分布p^s：

g^s＝v_sh^A (12)

p^s＝softmax(g^s) (13)

其中，g^s为开始位置的预测得分，v_s是计算g^s的可训练的权重向量；

通过如下公式得到结束位置的概率分布p^e：

g^e＝v_eh^A (14)

p^e＝softmax(g^e) (15)

其中，g^e为结束位置的预测得分，v_e是计算g^e的可训练的权重向量；

对于每个句子，首先从多个开始位置和结束位置的两种预测得分g^s和g^e中选取前M个分数，其中M为正整数，然后在结束位置不小于开始位置以及两个预测得分和相加超过阈值γ下，将所有候选跨度(s_i，e_j)及其启发式正则化分数y_l添加到一个列表Y中；由于方面为短实体，所以将启发式正则化的分数y_l计算为两个分数之和减去跨度长度，计算公式如下：

其中，

表示开始位置s_i的预测得分，

表示结束位置e_j的预测得分；

每次从列表Y中选出分数最大的方面作为提取出的方面，之后删去列表Y中与选出的方面有重叠词语的方面，直到列表Y为空或者已经提取出O个，其中O为超参数；

所述注意力机制分类是使用注意力机制的集成来进行情感分类；给定一个方面跨度(s_i，e_j)，其中s_i为开始位置，e_j为结束位置；

首先利用注意力机制对句子的方面提取的边界计算注意力分数α，然后计算所有单词关于提取边界的加权和x_r，计算如公式(17)、(18)所示：

其中，v_r为权重向量，

为跨度(s_i，e_j)的表示集合并且表示为交互层方面情感分类的输出；

为跨度的注意力分数；

利用方面情感分类的输出h_p计算注意力分数α_p，然后计算表示所有单词的加权和x_h，计算如公式(19)、(20)所示：

α_p＝softmax(v_hh_p) (19)

其中，v_h是计算α_p的可训练的权重向量；

将边界的加权和x_r、所有单词的加权和x_h集成连接起来，得到最终的加权表示x，计算如公式(21)所示：

x＝[x_r；x_h] (21)

将得到的最终的加权表示x经过公式(22)得到最终的极性概率p^p：

p^p＝softmax(W_ptanh(W_xx)) (22)

其中，W_p是进行tanh计算时定义的可训练的参数矩阵，W_x进行softmax计算时定义的可训练的参数矩阵。

步骤3、通过联合训练损失函数L对模型进行优化；

所述联合训练损失函数L包括方面提取的损失函数L_a以及方面情感分类的损失函数L_p，如公式(23)所示：

L＝L_a+L_p (23)

所述方面提取的损失函数L_a如公式(24)所示：

其中，

表示第i个词为一个方面的开始，

表示第j个词为方面的结束位置，

表示第i个词为一个方面的开始的概率，

表示第j个词为方面的结束位置的概率；

所述方面情感分类的损失函数L_p如公式(25)所示：

其中，y^p是真实极性的独热码(one-hot)向量，c是情感标签的数量。

步骤4、将待进行情感分析的数据集通过训练好的基于跨度的方面情感分析模型，提取出每个句子中的所有方面{a₁,...,a_t}，并预测出它们的情感极性，其中方面的数量为t，实现文本的情感分析。

本实施例中，使用公开的预训练的“bert-base-uncased”模型作为嵌入层，其中Transformer的层数为12并且隐藏层的维度为768。使用Adam优化器并且学习率设置为2e-5。一次训练所选取的样本数是32。交互层的超参数K设置为3。候选跨度M的数值设置为20，方面提取的最大数量O设置为10，阈值γ设置为8。实验使用查准率、查全率和F1值作为评价指标，来测试模型的性能。当预测的结果与真正的方面词和相应的情感极性完全一致时，预测结果才为正确的。由于提取结合分类任务之后，模型就变为二分类问题，只有提取分类正确才是预测正确。所以使用的是二分类计算的查准率、查全率和F1值。

本实施例将本发明的基于方面的情感分析模型与一些现有的基于方面的情感分析的模型进行了比较。结果如表2所示，本发明的模型S-AESC的性能优于大部分的模型。在所有的基线模型中，前三个模型CRF-pipeline、NN-CRF-pipeline和HAST-TNet是流水线模型，它们是将一个模型的预测结果作为另一个模型的输入，并且这两个子模型是相互独立、分别训练的。其中，结果最优的是HAST-TNet模型，它是由两个子任务中非常先进的模型所组成的。本发明的模型S-AESC比HAST-TNet有更好的性能。

与现有的基于联合方式的模型相比，本发明的模型S-AESC也取得了实质性的进展。该结果显示了考虑两个相关任务之间相互作用的联合模型的潜力。使用BERT的模型SPAN-joint和S-AESC超越了现有的工作，这表明使用BERT来对任意两个单词之间的关联进行编码，在很大程度上缓解了上下文独立的问题。尽管基于序列基线模型已经超越了以前的最佳流水线模型，但是它们比基于跨度的方法SPAN-joint和S-AESC要差。与最佳的基于序列的基线模型Unified相比，本发明的模型S-AESC在三个数据集上表现都更好，这表明本发明的模型是有效的。

表2实验结果

表3不同方法方面提取的F1值比较

方法	LAPtop	REST1	TWITTER2
				HAST	79.52	-	-
SPAN-joint	83.35	82.38	75.28
				S-AESC	85.19	84.20	76.04

为了分析方面项提取子任务的性能，在三个数据集上运行了SPAN-joint和S-AESC模型。表3中报告了方面提取的F1分数。由于本发明的模型S-AESC是统一的模型，在方面提取和方面情感分类上都是同时训练的。所以在评价意见方面提取时，不管情感极性结果如何，只要预测的跨度与真实的跨度相匹配，就认为预测的跨度是正确的。通过对比可以发现，本发明的模型S-AESC在三个数据集上的表现都优于基模型。

影响模型性能的一个重要的参数是K的值。本实施例中，实验在REST数据集上进行，K的取值从1到8，F1值的结果如图2所示。当K的值为3时，模型的F1值达到最大，所以K为3是用于处理任务的最佳选择。由于图中所示的性能，为了简单起见，K被设置为3来完成其余所有实验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于跨度的细粒度情感分析方法，其特征在于，包括以下步骤：

步骤1、选择待进行情感分析的数据集，给定一个输入的句子s＝{w₁,w₂,...,w_n}，其中w_n为词，n为句子的长度；

步骤2、对待分析数据集建立基于跨度的方面情感分析模型S-AESC；

步骤2中所述基于跨度的方面情感分析模型S-AESC包括嵌入层，双GRU层，交互层，跨度提取和注意力机制分类；

所述嵌入层使用BERT作为嵌入层，将句子s＝{w₁,w₂,...,w_n}的开头和结尾分别连接[CLS]和[SEP]标记，其中句子的长度为n，使用词表将连接之后的句子转化成向量{e₁,...e_i,...,e_n}，其中e_i是结合了标记嵌入(token embedding)、位置嵌入(positionembedding)和段嵌入(segment embedding)的向量，i∈[1,n]；在层数为L层的Transformer中表示

在第l层的计算如公式(1)所示：

X^l＝Transformer(X^l-1),l∈[1,L] (1)

其中，X^l为在第l层的Transformer获得的表示，

为在第l层的Transformer获得的表示中的第n项；

所述的双GRU层接收嵌入层的输出，通过更新门z_i和重置门r_i来生成表示，更新门z_i控制前一时刻的状态信息被带入到当前状态中的程度，重置门r_i控制忽略前一时刻的状态信息的程度，如公式(2)-(5)所示：

其中，σ为激活函数，tanh为双曲正切函数，

和h_i分别表示新的门和隐藏表示，其中向量h_i的维度为d，W_r、W_z和

分别为重置门、更新门和新的门的参数矩阵；

所述交互层计算方面提取和方面情感分类之间的信息交互；

首先计算一个方面提取的复合张量

其中

为实数域的K维向量，即复合张量β_ap的维度为K，通过计算来编码h_a和h_p之间的关联程度，复合张量计算公式如下：

β_ap＝tanh((h_a)^TG^ah_p) (6)

其中，h_a和h_p分别为双GRU层的方面提取和方面情感分类的输出隐藏表示，

是一个三维的张量，其中

为三维张量的维度分别为K，d和d，a和p分别为方面提取和方面情感分类的索引；

获得复合张量β_ap之后，计算方面提取的注意力分数S_ap，注意力分数越高证明从第p个词捕捉到的情感与第a个方面之间有较高的相关性，计算公式如下：

其中，v_a为计算注意力分数S_ap的可训练的权重向量；

然后，所有的h_a聚集成矩阵h^A，S_ap聚集成矩阵S_A，通过计算来增强原始的方面提取特征，公式如下：

h^A＝h^A+soft max(S_A)h^P (8)

所述交互层利用方面提取和方面情感分类之间的相互作用，计算方面情感分类的复合张量

通过计算来编码h_p与h_a之间的关联程度；获得复合张量之后，计算方面情感分类的注意力分数S_pa；最后通过计算来增强原始的方面情感分类特征；如公式(9)-(11)所示：

β_pa＝tanh((h_p)^TG^ah_a) (9)

h^P＝h^P+soft max(S^P)h^A (11)

其中，v_p为计算注意力分数S_pa的可训练的权重向量；

所述跨度提取是通过预测方面在句子中的起始位置和终止位置来提取方面词，通过如下公式得到开始位置的概率分布p^s：

g^s＝v_sh^A (12)

p^s＝softmax(g^s) (13)

其中，g^s为开始位置的预测得分，v_s是计算g^s的可训练的权重向量；

通过如下公式得到结束位置的概率分布p^e：

g^e＝v_eh^A (14)

p^e＝softmax(g^e) (15)

其中，g^e为结束位置的预测得分，v_e是计算g^e的可训练的权重向量；

对于每个句子，首先从多个开始位置和结束位置的两种预测得分g^s和g^e中选取前M个分数，其中M为正整数，然后在结束位置不小于开始位置以及两个预测得分和相加超过阈值γ下，将所有候选跨度(s_i，e_j)及其启发式正则化分数y_l添加到一个列表Y中；由于方面为短实体，所以将启发式正则化的分数y_l计算为两个分数之和减去跨度长度，计算公式如下：

其中，

表示开始位置s_i的预测得分，

表示结束位置e_j的预测得分；

每次从列表Y中选出分数最大的方面作为提取出的方面，之后删去列表Y中与选出的方面有重叠词语的方面，直到列表Y为空或者已经提取出O个，其中O为超参数；

所述注意力机制分类是使用注意力机制的集成来进行情感分类；给定一个方面跨度(s_i，e_j)，其中s_i为开始位置，e_j为结束位置；

首先利用注意力机制对句子的方面提取的边界计算注意力分数α，然后计算所有单词关于提取边界的加权和x_r，计算如公式(17)、(18)所示：

其中，v_r为权重向量，

为跨度(s_i，e_j)的表示集合并且表示为交互层方面情感分类的输出；

为跨度的注意力分数；

利用方面情感分类的输出h_p计算注意力分数α_p，然后计算表示所有单词的加权和x_h，计算如公式(19)、(20)所示：

α_p＝softmax(v_hh_p) (19)

其中，v_h是计算α_p的可训练的权重向量；

将边界的加权和x_r、所有单词的加权和x_h集成连接起来，得到最终的加权表示x，计算如公式(21)所示：

x＝[x_r；x_h] (21)

将得到的最终的加权表示x经过公式(22)得到最终的极性概率p^p：

p^p＝softmax(W_ptanh(W_xx)) (22)

其中，W_p是进行tanh计算时定义的可训练的参数矩阵，W_x进行softmax计算时定义的可训练的参数矩阵；

步骤3、通过联合训练损失函数L对模型进行优化；

步骤4、将待进行情感分析的数据集通过训练好的基于跨度的方面情感分析模型，提取出每个句子中的所有方面{a₁,...,a_t}，并预测出它们的情感极性，其中方面的数量为t，实现文本的情感分析。

2.根据权利要求1所述的一种基于跨度的细粒度情感分析方法，其特征在于，步骤3中所述联合训练损失函数L包括方面提取的损失函数L_a以及方面情感分类的损失函数L_p，如公式(23)所示：

L＝L_a+L_p (23)

所述方面提取的损失函数L_a如公式(24)所示：

其中，

表示第i个词为一个方面的开始，

表示第j个词为方面的结束位置，

表示第i个词为一个方面的开始的概率，

表示第j个词为方面的结束位置的概率；

所述方面情感分类的损失函数L_p如公式(25)所示：

其中，y^p是真实极性的独热码(one-hot)向量，c是情感标签的数量。

Images