CN111488734A - 基于全局交互和句法依赖的情感特征表示学习系统及方法 - Google Patents

Abstract

本发明公开了一种基于全局交互和句法依赖的情感特征表示学习系统及方法，通过上下文和评价对象的信息交互、单词句法依赖关系的引入以及特征联合学习；本发明使用预训练的多层语言模型对单词进行嵌入表示，获取了单词更加语境化的表示；同时利用BERT结构的优越性使用期双句任务模式解决以往方法上下文和评价对象独立建模导致的交互不充分问题；本发明提出了图依赖注意力网络，解决了图注意力网络没有区分不同依赖关系影响的问题，同时合理的将评论的句法关系建模进模型中，使得单词表示带有句法依赖信息；本发明使用了特征联合学习方法，充分的使评论的交互信息和句法依赖信息相结合，从而提升了评价对象情感分析的准确性。

Description

基于全局交互和句法依赖的情感特征表示学习系统及方法

【技术领域】

本发明属于自然语言处理技术与情感判断领域，涉及一种基于全局交互和句法依赖的情感特征表示学习系统及方法。

【背景技术】

随着互联网的迅速发展，网络购物已经成为人们生活不可或缺的一部分，同时因网络购物而产生的网络产品在线评论数据也呈现指数性增长。这些评论数据大都是消费者使用产品后的真实感受与客观评价，不仅可以引导或促进其它消费者的购买兴趣，而且也可以帮助产品提供者获取产品存在的问题缺陷与不足，推动产品设计与服务的优化，因此，对在线评论数据的挖掘和利用蕴含着重要的商业价值。具体而言，从消费者角度来说，针对某位消费者想要关注的可能是产品的具体属性和特征，例如手机中的续航、分辨率、拍照质量等特征，或者是电脑的性能、故障率以及外观等特征，通过了解其他消费者对于这些属性或特征的情感极性分析从而可以分辨出哪款商品更好，可以有效的指导消费者购买产品；从商家角度来说，获取消费者对于产品的情感极性也是必要的，相比于积极的评论，商家更关注于消费者发表消极评论的方面，因为这样可以有效指导商家发现产品的不足和缺陷，确定下一步的产品改进方向。因此，面对海量的在线商品以及商品的在线评论信息，如何获取消费者针对这些商品的细粒度属性特征进行情感极性和观点倾向的深入挖掘，已成为亟需解决的重要问题。

基于评价对象的情感分析目前主要分为基于模板匹配、情感词典以及深度学习这三类方法。其中，模板匹配的方法是指根据单词之间的依赖关系，将常见的评价对象和评价词的的出现方式归类为不同的模板，使用模板从评论中抽取候选评价搭配<评价对象，评价词>，并根据评价词的情感极性来确定评价对象的情感极性，这类方法是无监督的方法，虽然取得了一定的效果，但是很难处理比较复杂的句子，同时会引入大量的噪声。基于情感词典的方法是指通过情感词典将评论中带有情感极性的单词全部提取出来，为每个情感词分配不同的分值，最后将评论的情感词总分作为区分情感极性的标准，这种方法无法处理句子中同时有相反情感极性评价对象的情况，从而导致准确率较低。基于深度学习的方法主要是利用深度神经网络自动特征工程的能力，分别对评论的上下文和评价对象建模，并使用两者的交互获取最终的情感特征，同时使用相对位置权重进行特征筛选，这种方法是目前基于评价对象的情感分析主流方法，虽然取得了很多成就，但是目前仍存在注意力机制噪声、相对位置权重导致的信息衰减、上下文和评价对象交互不充分、单词依赖关系没有得到充分利用等问题，这在很大程度上影响到产品的评价对象情感分析的准确性。

【发明内容】

本发明的目的在于解决现有技术中的问题，提供一种基于全局交互和句法依赖的情感特征表示学习系统及方法，通过上下文和评价对象的信息交互、单词句法依赖关系的引入以及特征联合学习，实现了对网络产品在线评论中的细粒度评价对象的情感与倾向分析。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于全局交互和句法依赖的情感特征表示学习系统，包括：

全局交互表示模块，所述全局交互表示模块利用预训练语言模型BERT的双句任务模式对评论上下文和所需要分析的评价对象进行语境化嵌入，并利用BERT本身结构进行上下文和评价对象的交互计算；同时，通过采用动态位置权重层来计算评价对象的相对语义距离；最后，使用多头自注意力机制实现信息的交互获取评论的全局交互特征表示；

句法依赖表示模块，句法依赖表示模块用于学习句子中的句法结构信息，使用依赖关系发现单词间的长距离影响或直接影响，从而生成评论的句法依赖特征表示；

特征联合学习模块，所述特征联合学习模块使用注意力机制计算评价对象的情感特征，并使用特征联合学习以融合全局交互特征表示、评价对象情感特征表示和句法依赖特征表示，从而完成评价对象情感分析的最佳优化。

一种基于全局交互和句法依赖的情感特征表示学习方法，包括以下步骤：

阶段0：数据预处理与标记

步骤0：将在线评论数据利用分词工具将句子分解为单词序列，并给出每条评论所对应的标签；

步骤1：给定长度为n的评论S，其中；评论S中评价对象为长度为m的短语S^a以及情感极性Y，其中，S＝{w₁,w₂,w₃,...,w_n}，

上标a为单词输入评价对象短语，w_n为评论中的一个单词，Y为该条评论对应情感极性，且Y＝{Positive,Negative,Neutral}；Positive、Negative和Neutral分别表示积极、消极和中立；

阶段1：全局交互特征表示学习

步骤2：采用预训练的语言模型BERT作为单词嵌入工具；

步骤3：使用BERT的双句任务模式输入当前评论的完整上下文以及需要进行情感分析的评价对象；通过BERT自身的多头自注意力机制计算上下文以及评价对象之间的初级交互表示：

其中，

为句子中第i个单词的输入，BERT^g为全局交互表示学习阶段所使用的语言模型，

为句子中第i个单词通过BERT生成的嵌入表示，上标g为全局交互特征模块的标记；

步骤4：将上下文和评价对象的嵌入表示输入到Bi-LSTM层中获取句子的序列信息，经过Bi-LSTM建模之后的单词隐藏层状态表示为：

其中，

为单词隐藏层状态；

步骤5：设置动态位置的权重，将句子分为权重保持窗口和权重衰减窗口，且在权重保持窗口内的单词都被认为是与评价对象相关的，即位置权重L_i为1；

定义语义相关距离SRD和权重保持阈值WKT来确定一个单词是否在该评价对象的权重保持窗口内；

针对评价对象短语，其权重设为1；经过位置权重加权的单词特征表示为：

其中，

为单词特征表示；

步骤6：计算深度全局交互表示，更新上下文与评价对象的相互影响来获取情感特征；采用多头自注意力机制，基于多头执行多个注意力操作，从不同的角度获取单词之间的联系，多头自注意力的计算方法如下：

其中，

分别是将

映射到不同向量空间中的权重矩阵得到的Q_h,K_h,V_h，每个注意力头的矩阵不共享参数，其中Q_h,K_h,V_h分别为第h个注意力头的Query，Key和Value；W^O为可训练的权重矩阵；head_h，1≤h≤H代表第h个注意力头的输出；

对于给定的

自注意力的计算方法如下：

其中，

为K_h的转置，上标T为转置操作，d_k为注意力头的输入维度；

获取全局交互的特征表示

其中包含了上下文在评价对象影响下的表示和评价对象在上下文影响下的表示；

阶段2：学习句法依赖特征表示

步骤7：基于上下文的初始表示，使用BERT作为词嵌入工具，只对评论内容进行嵌入；上下文嵌入被计算为：

其中，

为句子中第i个单词的输入，BERT^d为全局交互表示学习阶段使用的语言模型，在此步骤中，

和

为两模块同一单词的不同输入，BERT^d与BERT^g为不共享参数的两个不同BERT模型，

为句子中第i个单词通过BERT^d生成的嵌入表示，上标d为句法依赖表示模块；

步骤8：强化序列特征，使用Bi-LSTM强化上下文序列特征：

其中，

为强化后的上下文序列特征；

步骤9：生成句法依赖树，首先使用依存语法解析工具将评论句子处理成句法依赖树结构，采用StanfordCoreNlp作为依存句法解析工具；

步骤10：构成句法邻接矩阵A_ij，使用句法依赖树的无向图矩阵；若A_ij＝0，则表示节点i和节点j之间不存在句法依赖关系；若A_ij＝k，则节点i和节点j之间存在序号为k的依赖关系；

步骤11：依赖信息建模，采用基于图注意力网络改进的图依赖注意力网络进行计算；

阶段3：特征联合学习

步骤12：采用特征联合学习的方法，通过两种特征的交互融合来获取评价对象的情感特征表示；

步骤13：获取评价对象表示，全局交互特征中包括：上下文表示和评价对象表示，使用context mask机制掩盖上下文部分只保留评价对象部分，来获取评价对象的表示；

步骤14：获取评价对象情感特征，使用步骤13中获取的评价对象表示，并与句法依赖特征进行交互注意力计算获取注意力权重：

其中，W^r为权重矩阵，b^r为偏置项，

为评价对象短语中第i个单词的表示，

为上下文中第j个单词的句法依赖特征表示，

为单词i和单词j的注意力权重；

通过注意力权重加权获得评价对象第i个单词融合句法依赖信息的表示，并将整个短语进行均值池化后，获取最终的评价对象特征表示：

其中，

为评价对象短语中第i个单词的特征表示，α_ij为单词i和单词j的注意力权重，σ为非线性激活函数，M为评价对象短语的长度；

步骤15：最终情感特征表示，将全局交互特征及句法依赖特征均采用均值池化处理，并将其与评价对象情感特征表示拼接，获取最终用于分类的情感特征表示：

h＝(h′_g:h^a:h′_d) (10)

其中，h′_g为经过池化后的全局交互特征表示，h′_d为经过池化后的句法依赖特征表示；

步骤16：获取情感类别，将评价对象在当前上下文中的最终情感特征表示用于情感分类；然后，将h输入全连接层，并使用Softmax激活函数获取最终的预测情感标签：

其中，W^p和b^p为全连接层的参数矩阵，

为最终预测的情感标签；

使用交叉熵损失函数来迭代与更新参数，使用L2正则化避免梯度消失：

其中，

为评论的的真实情感标签，N为评论的长度，C为标签的种类，

为模型预测的情感标签，θ为模型的参数，λ为L2正则化的参数。

本发明进一步的改进在于：

所述步骤3中，输入格式表示为“[CLS]上下文[SEP]评价对象[SEP]”。

所述步骤5中，句子中的第i单词和评价对象的SRD_i计算方法如下：

其中，

和

分别为评价对象短语开头单词和结尾单词所在的位置，P_a为评价对象短语的中心位置，m为评价对象短语的长度；对于设定好的权重保持阈值WKT，若单词i的SRD_i小于或等于WKT，则单词位于权重保持窗口内，否则单词就位于权重衰减窗口内，并且单词的具体位置权重L_i能够分区间的表示为：

所述步骤7中，输入格式表示为“[CLS]上下文[SEP]”。

所述步骤11中，采用基于图注意力网络改进的图依赖注意力网络进行计算的具体方法如下：

步骤11-1，对于节点i，找出句法依赖树中其邻居节点集合

节点i属于邻居节点集合

步骤11-2，计算邻居节点集合

中节点j对于节点i的语义相似度e_ij：

其中，

为第j个节点的特征表示，公式(16)中使用的计算方法为加性注意力，且节点j的语义权重计算为：

初始化依赖权重矩阵C，初始化值均为1，在模型学习过程中不断更新依赖权重；所以能够根据邻接矩阵A_ij的值获取依赖权重C[A_ij]；

步骤11-3，根据语义权重、依赖权重以及节点i自身的特征加权和生成句法依赖相关的特征：

其中，

为经过图依赖注意力网络计算过后的第i个节点的表示，W_a为可训练的参数矩阵；使用K个不同注意力同时计算句法依赖特征，然后将获得的特征拼接起来取平均值：

其中，

为第k个注意力头计算出的权重，

为为第k个注意力头的参数矩阵；

步骤11-4，使用2层图依赖注意力网络以发现单词长距离依赖。

与现有技术相比，本发明具有以下有益效果：

本发明通过上下文和评价对象的信息交互、单词句法依赖关系的引入以及特征联合学习，克服了现有技术在实现网络产品评论中针对评价对象情感分析的缺点与不足；本发明使用预训练的多层语言模型对单词进行嵌入表示，获取了单词更加语境化的表示，解决了以往方法单词嵌入表示不够丰富，无法解决一词多义的问题；同时利用BERT结构的优越性使用期双句任务模式解决以往方法上下文和评价对象独立建模导致的交互不充分问题；本发明提出了动态位置权重层，为评论划分权重保持窗口和权重衰减窗口，从而解决了传统相对位置权重带来的有益信息衰减问题；本发明创新性地提出了图依赖注意力网络，解决了图注意力网络没有区分不同依赖关系影响的问题，同时合理的将评论的句法关系建模进模型中，使得单词表示带有句法依赖信息；本发明使用了特征联合学习方法，充分的使评论的交互信息和句法依赖信息相结合，从而提升了评价对象情感分析的准确性。

【附图说明】

图1为本发明的架构图；

图2为本发明中使用的BERT-SPC双句输入格式；

图3为本发明中动态位置权重示例图；

图4为本发明中使用的BERT单句输入格式；

图5为本发明中涉及到的句法依赖树示例图；

图6为本发明中涉及到的句法依赖树的无向图矩阵。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明基于全局交互和句法依赖的情感特征表示学习系统，包括全局交互表示模块，句法依赖表示模块，以及特征联合学习模块。

全局交互表示模块：利用预训练语言模型BERT的双句任务模式对评论上下文和所需要分析的评价对象进行语境化嵌入，从而解决了传统预训练语言模型方法无法区分单词的多义特征的问题，并利用BERT本身结构进行上下文和评价对象的交互计算。同时，通过采用动态位置权重层来计算评价对象的相对语义距离，从而减少情感无关特征的噪声影响；最后，使用多头自注意力机制来进一步实现信息的交互获取评论的全局交互特征表示。

句法依赖表示模块：提出了一种基于图依赖注意力网络的特征抽取器，该特征抽取器的作用是学习句子中的句法结构信息，使用依赖关系发现单词间的长距离影响或直接影响，从而生成评论的句法依赖特征表示。

特征联合学习模块：使用注意力机制计算评价对象的情感特征，并使用特征联合学习以融合全局交互特征表示、评价对象情感特征表示和句法依赖特征表示，从而完成评价对象情感分析的最佳优化。

如图2所示，本发明还公开了一种利用上述系统的基于全局交互和句法依赖的情感特征表示学习方法，包括以下步骤：

阶段0：数据预处理与标记

步骤0：将在线评论数据利用分词工具将句子分解为单词序列，并给出每条评论所对应的标签；

步骤1：给定长度为n的评论S＝{w₁,w₂,w₃,...,w_n}，评论中评价对象为长度为m的短语

以及情感极性Y，其中w_i代表评论中的一个单词，Y代表该条评论对应情感极性，且Y＝{Positive,Negative,Neutral}，分别代表积极、消极和中立。

阶段1：全局交互特征表示学习

步骤2：嵌入层是模型的基础层，目的是将每个单词通过嵌入层映射到向量空间中，采用预训练的语言模型BERT作为单词嵌入工具，相较传统的词嵌入方法可以获取单词情境化的嵌入语义表示；

步骤3：为了对上下文和评价对象进行建模，使用BERT的双句任务模式来输入当前评论的完整上下文以及需要进行情感分析的评价对象，输入格式可以表示为“[CLS]上下文[SEP]评价对象[SEP]”，具体样例如图2所示。通过BERT自身的多头自注意力机制计算上下文以及评价对象之间的初级交互表示：

其中，

表示句子中第i个单词的输入，BERT^g表示全局交互表示学习阶段所使用的语言模型，

表示句子中第i个单词通过BERT生成的嵌入表示；

步骤4：在获取上下文和评价对象的嵌入表示之后，将其输入到Bi-LSTM层中获取句子的序列信息，同时由于上下文和评价对象的联合输入，该层可以进一步加强两者之间的交互影响。经过Bi-LSTM建模之后的单词隐藏层状态可以表示为：

步骤5：动态位置的权重设置，此步骤将句子分为权重保持窗口和权重衰减窗口，且在权重保持窗口内的单词都被认为是与评价对象高度相关的，含有更加丰富的情感信息，所以会保留其全部表示，即位置权重为1；而在权重衰减窗口内单词由于其距离评价对象较远(具体样例如图3所示)，所以他们的特征会通过加权衰减来降低对评价对象的影响。

为了确定一个单词是否在该评价对象的权重保持窗口内，同时定义了语义相关距离(Semantic-Relative Distance,SRD)和权重保持阈值(Weight-Keep Threshold，WKT)。句子中的第i单词和评价对象的SRD_i计算方法如下：

其中，

和

分别表示评价对象短语开头单词和结尾单词所在的位置，P_a代表了评价对象短语的中心位置，m是评价对象短语的长度。对于设定好的WKT，若单词i的SRD_i小于或等于WKT，则单词位于权重保持窗口内，否则单词就位于权重衰减窗口内。并且单词的具体位置权重L_i可以分区间的表示为：

通过计算已经获取到了单词的位置权重，但是这些权重都是针对于上下文部分，而针对评价对象短语，本发明不对其特征进行改变，这是因为评价对象短语中一般都是名词，且这些名词不会因为所在位置不同而有显著的重要度区分，所以针对评价对象短语其权重直接设为1。经过位置权重加权的单词特征可以表示为：

步骤6：深度全局交互表示计算，经过动态位置权重层变换的单词特征表示已发生了变化，上下文中对于情感极性贡献较多的特征得到保留，贡献较少或者无关的特征被衰减，但是评价对象的表示没有发生变化，因此，再次更新上下文与评价对象的相互影响来获取更好的情感特征。

另外，此步骤采用多头自注意力机制实现，基于多头执行多个注意力操作，可以从不同的角度获取单词之间的联系，从而获得较普通注意力性能更好的效果，且多头自注意力的计算如下：

其中，

分别是将v_i映射到不同向量空间中的权重矩阵得到的Q_h,K_h,V_h，每个注意力头的矩阵不共享参数。W^O也是可训练的权重矩阵。

对于给定的

自注意力的计算方法如下：

经过本步骤的操作，获取了全局交互的特征表示

其中包含了上下文在评价对象影响下的表示和评价对象在上下文影响下的表示。

阶段2：句法依赖特征表示学习

步骤7：基于上下文的初始表示，在本步骤中仍使用BERT作为词嵌入工具，区别于步骤3，本步骤只对评论内容进行嵌入，输入格式可以表示为“[CLS]上下文[SEP]”，具体样例如图4所示。上下文嵌入被计算为：

其中，

代表句子中第i个单词的输入，BERT^d代表了全局交互表示学习阶段使用的语言模型，本步骤中使用的BERT与步骤3不共享参数，

代表句子中第i个单词通过BERT生成的嵌入表示；

步骤8：序列特征强化，使用Bi-LSTM强化上下文序列特征，为句法依赖信息的学习做准备：

步骤9：句法依赖树生成，为了合理的引入单词间的依赖关系，首先使用依存语法解析工具将评论句子处理成句法依赖树结构，具体样例如图5所示。在本步骤采用StanfordCoreNlp作为依存句法解析工具，并获得较高的解析准确率。

步骤10：句法邻接矩阵构成，句法依赖树也是一种特殊的图，且图中的每个节点是句子中的一个单词，图中的边是单词间的句法依赖关系，即可将句法依赖树使用图的邻接矩阵来表示。邻接矩阵一般分为有向图矩阵和无向图矩阵，考虑到句法依赖树的结构，使用有向图矩阵仅能对子节点对父节点的影响建模，而无法考虑父节点对子节点的影响，所以本步骤使用句法依赖树的无向图矩阵，且矩阵样例如图6所示。若A_ij＝0，则表示节点i和节点j之间不存在句法依赖关系；若A_ij＝n，则节点i和节点j之间存在序号为n的依赖关系。在本发明中使用了StanfordCoreNlp中出现的84种依赖关系，加上单词本身的关系，共85种，并为其标记序号。

步骤11：依赖信息建模，本步骤采用了基于图注意力网络改进的图依赖注意力网络进行计算。图注意力网络为每个邻居节点分配权重，但是忽略了节点之间的边(即节点间依赖关系)的影响。本步骤同样为不同的依赖关系分配了权重。

首先，对于节点i，找出句法依赖树中其邻居节点集合

在步骤中节点i同样属于

其次，计算

中节点j对于节点i的语义相似度：

其中，式中使用的计算方法为加性注意力。且节点j的语义权重可以计算为：

考虑到语义相似度没有引入不同依赖关系的影响，本发明在此步骤初始化84维可学习的依赖权重矩阵C，初始化值均为1，在模型学习过程中不断更新依赖权重。所以可根据邻接矩阵A_ij的值获取依赖权重C[A_ij]。

第三步，根据语义权重、依赖权重以及节点i自身的特征加权和生成句法依赖相关的特征：

其中，W_a是可训练的参数矩阵，σ是非线性激活函数。由于多头注意力机制具有丰富模型特征与稳定训练过程的能力，具体而言，使用K个不同注意力同时计算句法依赖特征，然后将获得的特征拼接起来取平均值：

最后，考虑到采用单层图依赖注意力网络可以捕获单词的直接依赖关系，而通过堆叠图依赖注意力网络的层数可以使得模型具有捕获长距离依赖关系的能力。因此，本发明中使用了2层图依赖注意力网络以发现单词长距离依赖。

阶段3：特征联合学习

步骤12：通过阶段2和阶段3已经获得了全局交互特征以及句法依赖特征，但由于两种特征之间彼此相对独立，因此，本阶段采用特征联合学习的方法，通过两种特征的交互融合来获取评价对象的情感特征表示。

步骤13：获取评价对象表示，全局交互特征中包括：上下文表示和评价对象表示，本发明使用context mask机制掩盖上下文部分只保留评价对象部分，来获取评价对象的表示。

步骤14：获取评价对象情感特征，使用步骤13中获取的评价对象表示，并与句法依赖特征进行交互注意力计算获取注意力权重：

其中，W^r是权重矩阵，b^r是偏置项，

代表评价对象短语中第i个单词的表示，

代表上下文中第j个单词的句法依赖特征表示。

然后，通过注意力权重加权获得评价对象第i个单词融合句法依赖信息的表示，并进一步将整个短语进行均值池化后，获取最终的评价对象特征表示。

步骤15：最终情感特征表示，将全局交互特征及句法依赖特征均采用均值池化处理，并将其与评价对象情感特征表示拼接，获取最终用于分类的情感特征表示：

h＝(h′_g:h^a:h′_d) (17)

步骤16：情感类别获取，通过步骤15已经获取评价对象在当前上下文中的最终情感特征表示，将其用于情感分类。然后，将h输入全连接层，并使用Softmax激活函数获取最终的预测标签：

其中，W^p和b^p是全连接层的参数矩阵，

代表最终预测的情感标签；

考虑到在本发明中评价对象挖掘过程中所有结构的参数都是可微的，因此使用交叉熵损失函数来迭代与更新参数，使用L2正则化避免梯度消失：

其中，

为评论的的真实情感标签，N代表评论的长度，C代表标签的种类，θ代表模型的参数，λ是L2正则化的参数。

本发明适用于网络环境，尤其是电商网站中的各类商品的在线评论中，能够准确、高效地从评论中自动化地为所评论的评价对象进行情感分析。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种基于全局交互和句法依赖的情感特征表示学习系统，其特征在于，包括：

全局交互表示模块，所述全局交互表示模块利用预训练语言模型BERT的双句任务模式对评论上下文和所需要分析的评价对象进行语境化嵌入，并利用BERT本身结构进行上下文和评价对象的交互计算；同时，通过采用动态位置权重层来计算评价对象的相对语义距离；最后，使用多头自注意力机制实现信息的交互获取评论的全局交互特征表示；

句法依赖表示模块，句法依赖表示模块用于学习句子中的句法结构信息，使用依赖关系发现单词间的长距离影响或直接影响，从而生成评论的句法依赖特征表示；

特征联合学习模块，所述特征联合学习模块使用注意力机制计算评价对象的情感特征，并使用特征联合学习以融合全局交互特征表示、评价对象情感特征表示和句法依赖特征表示，从而完成评价对象情感分析的最佳优化。

2.一种采用权利要求1所述系统的基于全局交互和句法依赖的情感特征表示学习方法，其特征在于，包括以下步骤：

阶段0：数据预处理与标记

步骤0：将在线评论数据利用分词工具将句子分解为单词序列，并给出每条评论所对应的标签；

步骤1：给定长度为n的评论S，其中；评论S中评价对象为长度为m的短语S^a以及情感极性Y，其中，S＝{w₁,w₂,w₃,...,w_n}，

上标a为单词输入评价对象短语，w_n为评论中的一个单词，Y为该条评论对应情感极性，且Y＝{Positive,Negative,Neutral}；Positive、Negative和Neutral分别表示积极、消极和中立；

阶段1：全局交互特征表示学习

步骤2：采用预训练的语言模型BERT作为单词嵌入工具；

步骤3：使用BERT的双句任务模式输入当前评论的完整上下文以及需要进行情感分析的评价对象；通过BERT自身的多头自注意力机制计算上下文以及评价对象之间的初级交互表示：

其中，

为句子中第i个单词的输入，BERT^g为全局交互表示学习阶段所使用的语言模型，

为句子中第i个单词通过BERT生成的嵌入表示，上标g为全局交互特征模块的标记；

步骤4：将上下文和评价对象的嵌入表示输入到Bi-LSTM层中获取句子的序列信息，经过Bi-LSTM建模之后的单词隐藏层状态表示为：

其中，

为单词隐藏层状态；

步骤5：设置动态位置的权重，将句子分为权重保持窗口和权重衰减窗口，且在权重保持窗口内的单词都被认为是与评价对象相关的，即位置权重L_i为1；

定义语义相关距离SRD和权重保持阈值WKT来确定一个单词是否在该评价对象的权重保持窗口内；

针对评价对象短语，其权重设为1；经过位置权重加权的单词特征表示为：

其中，

为单词特征表示；

步骤6：计算深度全局交互表示，更新上下文与评价对象的相互影响来获取情感特征；采用多头自注意力机制，基于多头执行多个注意力操作，从不同的角度获取单词之间的联系，多头自注意力的计算方法如下：

其中，

分别是将

映射到不同向量空间中的权重矩阵得到的Q_h,K_h,V_h，每个注意力头的矩阵不共享参数，其中Q_h,K_h,V_h分别为第h个注意力头的Query，Key和Value；W^O为可训练的权重矩阵；head_h，1≤h≤H代表第h个注意力头的输出；

对于给定的

自注意力的计算方法如下：

其中，

为K_h的转置，上标T为转置操作，d_k为注意力头的输入维度；

获取全局交互的特征表示

其中包含了上下文在评价对象影响下的表示和评价对象在上下文影响下的表示；

阶段2：学习句法依赖特征表示

步骤7：基于上下文的初始表示，使用BERT作为词嵌入工具，只对评论内容进行嵌入；上下文嵌入被计算为：

其中，

为句子中第i个单词的输入，BERT^d为全局交互表示学习阶段使用的语言模型，在此步骤中，

和

为两模块同一单词的不同输入，BERT^d与BERT^g为不共享参数的两个不同BERT模型，

为句子中第i个单词通过BERT^d生成的嵌入表示，上标d为句法依赖表示模块；

步骤8：强化序列特征，使用Bi-LSTM强化上下文序列特征：

其中，h_i ^λ为强化后的上下文序列特征；

步骤9：生成句法依赖树，首先使用依存语法解析工具将评论句子处理成句法依赖树结构，采用StanfordCoreNlp作为依存句法解析工具；

步骤10：构成句法邻接矩阵A_ij，使用句法依赖树的无向图矩阵；若A_ij＝0，则表示节点i和节点j之间不存在句法依赖关系；若A_ij＝k，则节点i和节点j之间存在序号为k的依赖关系；

步骤11：依赖信息建模，采用基于图注意力网络改进的图依赖注意力网络进行计算；

阶段3：特征联合学习

步骤12：采用特征联合学习的方法，通过两种特征的交互融合来获取评价对象的情感特征表示；

步骤13：获取评价对象表示，全局交互特征中包括：上下文表示和评价对象表示，使用context mask机制掩盖上下文部分只保留评价对象部分，来获取评价对象的表示；

步骤14：获取评价对象情感特征，使用步骤13中获取的评价对象表示，并与句法依赖特征进行交互注意力计算获取注意力权重：

其中，W^r为权重矩阵，b^r为偏置项，

为评价对象短语中第i个单词的表示，

为上下文中第j个单词的句法依赖特征表示，

为单词i和单词j的注意力权重；

通过注意力权重加权获得评价对象第i个单词融合句法依赖信息的表示，并将整个短语进行均值池化后，获取最终的评价对象特征表示：

其中，

为评价对象短语中第i个单词的特征表示，α_ij为单词i和单词j的注意力权重，σ为非线性激活函数，M为评价对象短语的长度；

步骤15：最终情感特征表示，将全局交互特征及句法依赖特征均采用均值池化处理，并将其与评价对象情感特征表示拼接，获取最终用于分类的情感特征表示：

h＝(h′_g:h^a:h′_d) (10)

其中，h′_g为经过池化后的全局交互特征表示，h′_d为经过池化后的句法依赖特征表示；

步骤16：获取情感类别，将评价对象在当前上下文中的最终情感特征表示用于情感分类；然后，将h输入全连接层，并使用Softmax激活函数获取最终的预测情感标签：

其中，W^p和b^p为全连接层的参数矩阵，

为最终预测的情感标签；

使用交叉熵损失函数来迭代与更新参数，使用L2正则化避免梯度消失：

其中，

为评论的的真实情感标签，N为评论的长度，C为标签的种类，

为模型预测的情感标签，θ为模型的参数，λ为L2正则化的参数。

3.根据权利要求2所述的基于全局交互和句法依赖的情感特征表示学习方法，其特征在于，所述步骤3中，输入格式表示为“[CLS]上下文[SEP]评价对象[SEP]”。

4.根据权利要求2所述的基于全局交互和句法依赖的情感特征表示学习方法，其特征在于，所述步骤5中，句子中的第i单词和评价对象的SRD_i计算方法如下：

其中，

和

分别为评价对象短语开头单词和结尾单词所在的位置，P_a为评价对象短语的中心位置，m为评价对象短语的长度；对于设定好的权重保持阈值WKT，若单词i的SRD_i小于或等于WKT，则单词位于权重保持窗口内，否则单词就位于权重衰减窗口内，并且单词的具体位置权重L_i能够分区间的表示为：

5.根据权利要求2所述的基于全局交互和句法依赖的情感特征表示学习方法，其特征在于，所述步骤7中，输入格式表示为“[CLS]上下文[SEP]”。

6.根据权利要求2所述的基于全局交互和句法依赖的情感特征表示学习方法，其特征在于，所述步骤11中，采用基于图注意力网络改进的图依赖注意力网络进行计算的具体方法如下：

步骤11-1，对于节点i，找出句法依赖树中其邻居节点集合

节点i属于邻居节点集合

步骤11-2，计算邻居节点集合

中节点j对于节点i的语义相似度e_ij：

其中，

为第j个节点的特征表示，公式(16)中使用的计算方法为加性注意力，且节点j的语义权重计算为：

初始化依赖权重矩阵C，初始化值均为1，在模型学习过程中不断更新依赖权重；所以能够根据邻接矩阵A_ij的值获取依赖权重C[A_ij]；

步骤11-3，根据语义权重、依赖权重以及节点i自身的特征加权和生成句法依赖相关的特征：

其中，

为经过图依赖注意力网络计算过后的第i个节点的表示，W_a为可训练的参数矩阵；使用K个不同注意力同时计算句法依赖特征，然后将获得的特征拼接起来取平均值：

其中，

为第k个注意力头计算出的权重，

为为第k个注意力头的参数矩阵；

步骤11-4，使用2层图依赖注意力网络以发现单词长距离依赖。

Images