CN116822504A - 基于情感知识和方面交互的方面级情感分析方法 - Google Patents

Abstract

本发明公开了基于情感知识和方面交互的方面级情感分析方法，属于文本情感分析领域，所述方法的步骤包括：词嵌入步骤、构建情感知识增强图步骤、图卷积计算步骤、方面交互计算步骤、门控动态融合步骤、方面掩码步骤、方面感知注意力计算步骤以及情感极性分类步骤，构建情感知识增强图步骤在构建句子依赖树的过程中引入情感词典获取方面与文本之间的情感知识信息，解决了目前的方面级情感分析方法中关注方面词与上下文之间的依赖关系而忽略了单词的情感知识的问题；方面交互计算步骤可以建模句子中不同方面项之间的依赖关系，解决了目前方面级情感分析方法将多方面句子中方面项拆分单独计算情感极性而忽略不同方面间依赖关系的问题。

Description

基于情感知识和方面交互的方面级情感分析方法

技术领域

本发明属于方面级文本情感分析领域，尤其涉及基于情感知识和方面交互的方面级情感分析方法。

背景技术

随着社交媒体的快速发展，文本情感分析已经成为自然语言处理领域的研究热点。与传统的篇章级和句子级预测文本整体情感的情感分析任务不同，方面级情感分析（ABSA）任务旨在检测句子中方面属性的情感极性（积极、消极或中性）。方面级情感分析任务能够将句子中更细粒度的方面属性的情感极性挖掘出来，对商品评论和微博短文等领域的舆情分析更有帮助。研究和运用方面级情感分析方法对完成文本情感分析任务具有重要的理论价值和现实意义。

传统的方面级情感分析任务主要基于规则的方法，需要耗费大量的人力财力，深度神经网络因其良好的训练能力从而在方面级情感分析任务中表现出极好的性能。最近，随着深度学习技术的深入研究，深度神经网络在方面级情感分析中得到了广泛的应用。RNN模型因其对时间序列数据的处理能力从而可以对方面与其上下文之间的语义关系隐式地建模。然而，并不是所有上下文信息都对目标方面有重要影响，注意力机制因其能够为句子中单词分配权重而能够更加关注序列中更重要的部分，基于自注意力机制的Transformer模型也解决了RNN模型的长期依赖问题。因此，基于Transformer模型提出的预训练语言模型BERT在11项NLP任务中取得了优越的效果，方面级情感分析任务也开始向BERT发展。然而以往的深度学习方法在处理欧式空间数据的特征方面效果显著但在处理非欧式空间数据上的表现却仍难以使人满意。图卷积神经网络直接使用邻居节点的特征对图中节点的表示进行编码和更新。通过利用句法依存关系树，图卷积网络能够将句法上相关的单词绘制到目标方面，并利用多层图卷积结构来提取长范围的多词关系和句法信息。

目前大部分方面级情感分析方法中，在建模上下文词和方面词之间的依赖关系的时候忽略了单词的情感知识信息，而单词往往有其特有的情感倾向，学习单词的情感知识有助于提高方法的情感分析能力。另一方面，一个句子中通常包含两个或两个以上的方面项，目前的方法大都将多方面句子中的方面项拆分，单独判别其情感极性，而目标方面项与句子中其他方面项的依赖关系也会对目标方面的情感极性产生影响。

发明内容

针对当前方面级情感分析方法的缺陷和不足，本发明提供了基于情感知识与方面交互的方面级情感分析方法。

所述基于情感知识与方面交互的方面级情感分析方法包括如下技术方案：

对于每个输入句子和方面集，生成上下文词嵌入表示和方面集词嵌入表示。

针对输入句子生成句子依赖树并构建情感知识依赖树和情感知识增强依赖树，将得到的上下文词嵌入表示输入到带有位置感知变换的图卷积网络中更新节点特征并捕获情感知识增强依赖树中的语义信息，得到情感知识特征表示。

针对得到的方面集词嵌入通过多头注意力模块得到方面交互特征表示。

将得到的情感知识特征表示和方面交互特征表示通过一个门控动态融合层得到融合特征表示。

针对得到的融合特征表示通过一种方面掩码机制舍弃方面无关信息保留目标方面信息，并通过一个注意力层计算上下文词和方面词的语义相关性得到最终方面表示。

针对得到的最终方面表示使用softmax函数计算标签概率，得到情感极性预测结果。

进一步的技术方案，给定一个由n个词组成的句子序列和m个方面组成的方面 集序列，为的子序列。对于每个输入句子和方面集，采用BERT预训练模型作为 词嵌入层分别得到上下文词嵌入表示和方面集词嵌入表示。

进一步的技术方案，在构建情感知识增强依赖树时首先使用SpaCy工具包为输入 句子生成句子依赖树D，其次基于普通依赖图的基础上构建情感知识邻接矩阵S，引入 SenticNet情感词典查询每个单词在词典中的情感分数s，合并SenticNet的情感分数计算 节点i和节点j的情感权重构建情感知识依赖树，最后结合句子依赖图和情感知识依赖树生 成情感知识增强依赖树。

进一步的技术方案，在图卷积网络中首先分别在单词的三个邻域中计算位置 权重，得到位置感知变换函数，其次将上下文词嵌入表示输入到位置感知的层图 卷积网络中更新节点特征表示并捕获情感知识增强依赖树的语义信息得到情感知识 特征表示。

进一步的技术方案，在捕获方面交互特征信息时，首先将自注意力机制分成多个 注意力头，其次同时对方面集词嵌入表示进行自注意力机制计算，最后将多个头的输 出信息合并得到方面交互特征表示。

进一步的技术方案，在合并情感知识特征信息和方面交互特征信息时，本发 明提供一种门控动态融合机制，首先基于情感知识特征表示和方面交互特征表示得 到门控单元表示G，其次基于门控单元将和做动态融合得到融合特征表示。

进一步的技术方案，方面掩码机制计算时首先将融合特征表示中序列索引对应 单词不属于方面词的特征向量的值置为0，其次其余向量保持不变得到方面掩码特征表示，并以方面掩码特征表示作为查询，上下文词嵌入表示作为键和值，最后采用注意 力机制计算上下文词和方面词之间的语义相关系性，得到最终的方面表示。

附图说明

进一步的技术方案，本发明的一部分说明书附图用来提供对本发明的进一步理解，本公开的实施例及其说明用于解释本发明，并不构成对本公开的不当限定。

图1为本发明实施例提供的基于情感知识和方面交互的方面级情感分析方法流程示意图。

图2为本发明实施例提供的基于情感知识和方面交互的方面级情感分析方法结构示意图。

具体实施方式

本实施例公开了基于情感知识和方面交互的方面级情感分析方法，主要流程如下所示。

S1：给定一个由n个词组成的句子序列：和m个方面组成的 方面集序列：。对于每个输入句子和方面词，利用BERT预训练模型作为词 嵌入层分别得到上下文词嵌入表示和方面集词嵌入表示。

S2：为S1中的句子序列构建句子依赖树D：

表示句子中第i个单词，表示单词与单词之间有依赖关系，此处 构造的为无向图，即。

S3：本发明通过引入SenticNet情感词典来利用上下文词和方面词之间的情感知识信息，并合并情感分数计算单词的情感权重，构建情感知识依赖树S：

表示单词节点i和j的情感知识权重，，分别表示依赖树单词节点i和j在 情感词典SenticNet中对应的情感分数，且。表示单词，在 SenticNet中是中性词或不存在于SenticNet词典中。节点单词之间的情感信息是由它们的 情感权重决定，方法倾向于从情感更强烈的单词中学习情感信息。

S4:合并S2得到的句子依赖树D和S3得到的情感知识依赖树S，得到情感知识增强 依赖树：

。

S5：分别在三个邻域中计算单词的位置权重，与上一层图卷积网络输出的隐 藏状态表示（第一层为S1得到的上下文词嵌入表示）相乘得到位置感知变换表示：

。

S6：以S4得到的情感知识增强依赖树作为输入，初始节点表示为S1得到的上 下文词嵌入表示，本发明设置l层图卷积网络结构，更新图卷积网络中的节点表示：

其中，是上一层图卷积网络输出的位置感知变换表示，是一个归一化的对 称邻接矩阵：，是节点的度，为位置感知变换函数， 由此得到情感知识特征信息矩阵。

S7：本发明提供了一种面向方面的多头注意力机制以建模方面间依赖关系，首先 将S1得到的方面集词嵌入表示作为查询矩阵Q、键矩阵K和值矩阵V输入到多头注意力 模块中，具体计算公式为：

其中表示拼接运算，是可训练参数矩阵，为第h个头注 意力的输出，为尺度因子，由此得到方面交互特征表示。

S8：将S6得到的情感知识特征表示和S7得到的方面交互特征表示输入到门 控网络得到门控单元表示G：

其中和分别是可训练参数矩阵和偏置项，为LeakyRelu激活函数，得到 融合特征表示：

。

S9：将S8得到的融合特征表示中序列索引对应单词不属于方面词的特征向量的 值置为0，其余向量保持不变：

其中，表示S8得到的融合特征表示中第t个词对应的特征向量，表示目标方 面的开始索引，k表示目标方面的长度，得到方面掩码特征矩阵。

S10：以S9得到的方面掩码特征表示作为查询，S1得到的上下文词嵌入矩阵 作为键和值计算权重系数：

。

S11：将S10得到的权重系数和S1得到的上下文词嵌入表示加权求和得到情 感表示：

。

S12：将S11得到的方面表示使用softmax函数计算标签概率，预测最终的情感极 性：

。

S13：得到情感极性概率分布y后，通过标准梯度下降算法进行模型训练，损失函数为带有L2正则项的交叉熵损失：

。

Claims (4)

1.一种基于情感知识和方面交互的方面级情感分析方法，其特征在于，所述基于情感知识和方面交互的方面级情感分析方法包括如下步骤：

词嵌入步骤，使用BERT预训练模型对输入句子文本和方面集合文本构建词嵌入矩阵；

构建情感知识增强图步骤，首先为输入句子文本构建语法依赖图邻接矩阵，其次本发明引入SenticNet情感词典计算语法依赖树节点的情感知识权重，构建情感知识图矩阵，最后构建情感知识增强图矩阵；

图卷积计算步骤，首先基于输入句子长度中的目标单词索引的三个邻域构建位置感知变换函数，其次以句子嵌入矩阵和情感知识增强图矩阵作为输入利用加入了位置感知变换函数的图卷积神经网络提取情感知识特征信息；

方面交互计算步骤，本发明提供一种面向方面的多头自注意力机制，以方面集合嵌入矩阵作为输入利用多头自注意力机制提取方面交互特征信息；

门控动态融合步骤，本发明提供了一种基于门控机制的方法以动态地融合情感知识特征信息和方面交互特征信息；

方面掩码步骤，将融合特征矩阵中序列索引对应单词不属于方面词的特征向量的值置为0，其余向量保持不变得到方面掩码特征矩阵；

方面感知注意力计算步骤，利用基于检索的注意机制来衡量上下文词和方面词之间的情感知识信息和语义关联性，得到最终的方面表示；

情感极性分类步骤，将最终方面表示使用softmax函数计算各标签概率，得到最终的情感极性。

2.根据权利要求1所述的基于情感知识和方面交互的方面级情感分析方法，其特征在于，所述构建情感知识增强图步骤包括：

首先为输入句子序列构建句子关系树，其邻接矩阵D的构建方式为：

表示句子中第i个单词，/>表示单词/>与单词/>之间有依赖关系，此处构造的为无向图，即/>，为了利用上下文词和方面词之间的情感信息，本方法通过合并SenticNet情感词典的情感分数计算上下文节点的情感权重，构建情感知识依赖树S：

，/>分别表示依赖树单词节点i和j在情感词典SenticNet中对应的情感分数，且，/>表示单词/>，/>在SenticNet中是中性词或不存在于SenticNet词典中，节点单词之间的情感信息是由它们的情感权重决定，方法倾向于从情感更强烈的单词中学习情感信息，合并句子依赖树D和情感知识依赖树S，得到情感知识增强依赖树。

3.根据权利要求1所述的基于情感知识和方面交互的方面级情感分析方法，所述方面交互计算步骤其特征在于：

在建模句子中不同方面间依赖关系的方法中，本发明提供一种面向方面的多头自注意力机制，提取输入句子中所有方面项构建方面集合矩阵，并使用预训练模型BERT为其构建嵌入矩阵，多头自注意力机制的计算方法为：

其中表示拼接运算，/>是可训练参数矩阵，/>为第h个头注意力的输出，/>为尺度因子，由此得到方面交互特征表示/>,本发明利用自注意力机制来获取不同方面项单词之间的依赖关系。

4.根据权利要求1所述的基于情感知识和方面交互的方面级情感分析方法，所述门控动态融合步骤其特征在于：

在特征信息的融合方法中，本发明提供一种门控动态融合机制，以门机制控制情感知识特征信息和方面交互特征信息/>的融合方法为：

其中和/>分别是可训练参数矩阵和偏置项，/>为LeakyRelu激活函数。