CN115374283A - 一种基于双图注意力网络的方面类别情感分类方法 - Google Patents

Abstract

本发明公开了一种基于双图注意力网络的方面类别情感分类方法，该方法充分考虑了用户评论数据中蕴含的序列上下文信息和句法依赖关系；其首先构建两个图网络来描述句子的序列上下文信息和句法结构信息，然后利用注意力机制在单个图内聚合来自邻域节点的信息，并使用双仿射模块来协调序列图和句法图之间的异构信息。最后，本文利用特定方面的屏蔽机制和基于检索的注意力机制，使模型更加关注特定方面类别下的句子情感信息，从而推断出特定方面类别的情绪极性。本申请能够挖掘出句子中更细粒度的信息，更能体现用户的真实想法，其不仅为用户提供了丰富的决策信息，还提醒平台对某一方面存在的缺陷进行改进，促进了互联网服务质量的提升。

Description

一种基于双图注意力网络的方面类别情感分类方法

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种基于双图注意力网络的方面类别情感分类方法。

背景技术

近年来，由于人们对消费需求的转型升级，国内互联网服务业飞速发展，积累了海量的用户评论信息。这些信息蕴含着巨大的商业价值和社会价值，能够从一定程度上呈现出用户对商品、环境或体验的一种主观看法和情感表达。对这些用户评论进行情感分类，可以了解到用户的情绪是积极还是消极的，从而获取诸多及时有效的信息。运用这些信息，医疗平台可以帮助患者有针对性地做出决策，帮助医生改进服务质量；电商平台可以了解用户的需求，对商品的缺陷进行改进；政府机关可以对某一新闻事件进行舆情监测。

然而，在现实生活场景中，一个用户评论可能涉及多个方面，传统情感分类太过于笼统，无法对一篇文档中的多个方面进行单独分析，不能区分一条用户评论中多个方面的情绪极性。例如，给定评论句“这个餐馆虽然位置很偏，但饭菜很可口”，可见“地理位置”和“食物”方面表达的情绪正好相反，模型有必要正确预测出每个方面对应的情感极性。方面级情感分类的出现和发展，不仅能够针对特定方面词找到相应的情感词，还能解决文本评论信息中存在的多个不同方面类别的不同情感极性问题，更能体现用户的真实想法。

目前的方面级情感分类研究主要集中在方面术语情感分类任务上，其直接检测到评论句中明确出现过的方面术语，并分析其所对应的情绪极性。然而，在实际生活中很多评论句缺乏明确的方面词，方面类别情感分类成了一个更具挑战性的问题。它需要通过不同的语境获取更加复杂的评论句特征，从而推断出评论句在隐式方面类别下的情感倾向。因此，需要设计一个强大的神经网络模型，它可以判断用户评论中特定方面类别的情感倾向，为用户快速的决策和平台的自我提升提供参考，从而提高整体的互联网服务水平。

发明内容

本申请的目的在于提供一种基于双图注意力网络的方面类别情感分类方法，其不仅可以帮助网络平台进行商品推荐、舆情监测、升级改进等活动，还使得其他用户更加全面地了解某个产品或事件，为快速决策提供参考，从而提升整体互联网服务水平。

为实现上述目的，本申请提出一种基于双图注意力网络的方面类别情感分类方法，包括：

步骤1：对评论文本进行去除停用词、特殊符号和无用字符等预处理操作，从嵌入查找表中获得词嵌入矩阵(其维度可以为300)，将预处理后的评论句和方面词进行词嵌入编码，使用BERT编码器提取出评论句和方面词的隐藏上下文表示；

步骤2：将所述隐藏上下文表示作为图网络中节点的初始化表示，然后利用评论句的序列上下文信息和句法结构信息分别获取节点之间的边权值，根据相同节点表示和不同边权值分别构建序列图和句法图；

步骤3：通过所述序列图和句法图进行消息传递，即在每个图内利用图注意力网络分别捕获单词节点与其邻近节点之间的关系，两图之间采用双仿射变换学习序列图和句法图蕴含的异构信息，并对节点矩阵进行维度变换，得到评论句特征表示；

步骤4：对所述评论句特征表示进一步处理，即利用特定方面的 Mask机制和注意力机制，来突出评论句中方面类别词的重要性，得到评论句中每个方面类别对应的情感极性。

进一步的，所述步骤2具体实现方式为：

步骤21：将每个单词节点与步骤1获得的相应隐藏上下文表示关联，使用逐点互信息描述两个单词在固定大小的滑动窗口内的序列关系，从而实现序列图中边信息的添加，每对节点之间的边权值为：

其中#N是评论句中滑动窗口的总数，#N(w_i,w_j)是单词对(w_i,w_j)在相同的滑动窗口内共现的次数，#N(w_i)和#N(w_j)分别是单词w_i和单词w_j在评论句的滑动窗口内出现的次数；

步骤22：将每个单词节点与步骤1获得的相应隐藏上下文表示关联，利用依赖解析器标注注意力层(Label Attention Layer,LAL) 对输入序列进行依赖解析，得到表示单词之间依赖关系的大小为n×n 的概率矩阵A^syn，并将单词之间的关系扩展为其所有子词之间的依赖关系；每对节点之间的边权值为：

其中A^syn(w_i,w_j)表示单词w_i和单词w_j之间的依赖解析矩阵，

表示第n个原始单词与其k个子单词的连接关系。

进一步的，所述步骤3具体实现方式为：

步骤31：针对步骤2构建的序列图和句法图，利用图注意力网络进行图内信息传递，从而捕获单词节点与其邻近节点之间的关系；具体来说，图注意力网络使用多头注意力来获取两个节点之间的注意力权重：

其中α_ij是节点v_i和节点v_j之间的注意力系数，N_i表示节点v_i的所有邻居节点集合，v_t是该集合中的一个邻居节点，h_i，h_j和h_t分别表示节点v_i，v_j和v_t的特征向量表示，f(·)是一个LeakyReLU非线性激活函数，[·||·]表示向量的串联操作，W和w是模型中可训练的参数；

获得每对节点v_i和v_j之间的注意分数α_ij后，第l个GAT层通过聚合邻域节点

表示，来迭代更新，产生针对节点v_i的新的节点表示

其中

是更新后的节点嵌入表示，σ(·)是一个ELU激活函数，b是网络中的偏置项；

步骤32：采用双仿射变换来学习两图节点之间的异构信息，并利用softmax函数对两图之间的关系进行评分，最后将输出的矩阵分布与图的原始信息进行线性变换，其过程用以下公式进行定义：

其中H_seq和H_syn分别表示序列图和句法图经过L个GAT层后产生的嵌入表示向量，

是模型中可训练的参数；

步骤33：交换完图的不同信息后，进行平均池化和串联操作，得到了方面类别情感分类任务的评论句特征表示：

其中a表示文本中出现的方面词a₁,a₂,…,a_k的集合，

和

分别是序列图和句法图中针对第k个方面词a_k的句子节点表示，p(·)是应用于节点表示的平均池化函数。

进一步的，所述步骤4具体实现方式为：

步骤41：将步骤33得到的评论句特征表示进行特定方面的Mask 操作，屏蔽掉无关词语的隐藏状态向量，并且突出评论句中方面类别词的重要性；

步骤42：通过基于检索的注意力机制对Mask操作后的评论句特征表示进行处理，从隐藏状态向量中检索出与语义相关的重要特征，从而在特定方面类别词和上下文表示之间捕捉重要的情感依赖关系：

其中h_t表示第t个单词节点的BERT隐藏状态向量，g_i是步骤41得到的与第i个方面词在语义上相关的向量表示，将两者进行点积操作后，可以获得基于检索的注意力权重λ_t和softmax归一化后的向量η_t。

步骤43：将获得的方面级情感表示r输入到一个线性层中，接着使用softmax函数来产生一个情感概率分布，具体过程如下：

y＝softmax(W_or+b_o) (14)

其中W_o和b_o都是可学习的权重和偏差；

步骤44：通过最小化预测值和真实值之间的交叉熵损失来训练分类器，损失函数表示为：

其中S是训练集的大小，C是方面类别的数量，

和y分别表示真实概率分布和预测概率分布，λ是L2正则化项的系数，Θ表示所有可训练的参数；

依据步骤43产生的情感概率分布，预测出用户评论句中每个方面类别对应的情绪极性，包括积极、消极和中性三种。

本发明由于采用以上技术方案，能够取得如下的技术效果：本发明充分考虑了评论句的序列上下文信息和句法结构信息，从多个不同的方面对网络平台上的用户评论进行细粒度分析，能够推断出文本序列中更全面、更深入的情感极性。本方法不仅让用户更加全面地了解某个产品或事件，为他们提供了丰富的决策信息，还能帮助平台充分理解用户需求，提醒平台对某一方面存在的缺陷进行改进，可以广泛应用于社会事件、生活服务、医疗保健等领域，从而有效地促进互联网服务质量的提升。

附图说明

图1为一种基于双图注意力网络的方面类别情感分类方法流程图；

图2为节点的图间信息传递过程图。

具体实施方式

本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。

实施例1

本发明提供了一种基于双图注意力网络的深度学习模型来处理方面类别情感分类任务，充分考虑了评论句在特定方面类别下的序列上下文信息和句法结构信息。该模型采用图内传播和图间传播相结合的方式对评论句表示进行编码，利用了单词之间的序列、句法和情感关系，还利用特定方面的掩码和注意力机制来减少无用信息产生的噪声影响，进而预测出评论句中特定方面类别对应的情绪极性。

模型在PyTorch框架上运行，并使用BERT-base模型作为评论句的基本编码器。所有的模型使用Adam优化器进行优化，学习率和批次大小分别设置为2e-5和16。Transformer的隐藏层大小为768，并且dropout的值为0.1。最大评论句长度设置为128，并迭代20次。当连续5个epoch的验证集损失没有改善时，模型将会提前停止训练。

以下结合实施例和附图对本发明做详细的说明，以使本领域普通技术人员参照本说明书后能够据以实施。

本实施例以Pycharm为开发平台，Python为开发语言，在SemEval 2015，SemEval2016和MAMS数据集上进行实验。以下为具体过程：

步骤1：对评论文本进行预处理操作，并对处理后的评论句和方面词进行BERT编码，提取它们的隐藏上下文表示；

步骤2：将步骤1提取的隐藏上下文表示作为图网络中节点的初始化表示，然后利用评论句的序列上下文信息和句法结构信息分别获取节点之间的边权值，从而构建序列图和句法图，具体为：

步骤21：将每个单词节点与步骤1获得的相应隐藏状态相关联，利用逐点互信息实现序列图中边信息的添加，从而构建出序列图；

步骤22：将每个单词节点与步骤1获得的相应隐藏状态相关联，利用LAL依赖解析器对输入序列进行依赖解析，将获取的依赖解析矩阵作为句法图中的边权值，从而构建出句法图；

步骤3：针对步骤2中得到的序列图和句法图进行图内和图间信息传递，得到最终评论句特征表示，具体为：

步骤31：利用图注意力网络分别在序列图和句法图内进行信息传递，通过聚合一个节点的邻域节点表示来迭代地更新该节点的表示；

步骤32：采用双仿射变换来学习序列图和句法图中蕴含的异构信息，实现两个图网络的相互作用与更新；

步骤33：将步骤32获取的图节点表示进行平均池化和串联操作，得到评论句特征表示；

步骤4：利用特定方面的Mask机制和注意力机制对步骤3得到的评论句特征表示进行处理，进而预测出评论句中每个方面类别对应的情感极性，具体为：

步骤41：将步骤33得到的评论句特征表示进行特定方面的Mask 操作，用来屏蔽掉无关词语的隐藏状态向量；

步骤42：通过基于检索的注意力机制对步骤41的评论句表示进行处理，从隐藏状态向量中检索出与语义相关的重要特征；

步骤43：将获得的方面级情感表示输入到一个线性层中，并使用softmax函数来产生评论句的情感概率分布，从而预测出评论句中每个方面类别对应的情感极性。

根据以上步骤，本发明进行了消融实验来进一步研究不同组件对模型整体效果的影响，如表1所示。实验证明，本发明中基于双图注意力网络的深度学习模型能够有效提高方面类别情感分类任务的准确率(Acc)和Macro-F1值。

表1模型在不同公共数据集上的消融实验结果

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (4)

1.一种基于双图注意力网络的方面类别情感分类方法，其特征在于，包括：

步骤1：对评论文本进行预处理操作，从嵌入查找表中获得词嵌入矩阵，将预处理后的评论句和方面词进行词嵌入编码，使用BERT编码器提取出评论句和方面词的隐藏上下文表示；

步骤2：将所述隐藏上下文表示作为图网络中节点的初始化表示，然后利用评论句的序列上下文信息和句法结构信息分别获取节点之间的边权值，根据相同节点表示和不同边权值分别构建序列图和句法图；

步骤3：通过所述序列图和句法图进行消息传递，即在每个图内利用图注意力网络分别捕获单词节点与其邻近节点之间的关系，两图之间采用双仿射变换学习序列图和句法图蕴含的异构信息，并对节点矩阵进行维度变换，得到评论句特征表示；

步骤4：对所述评论句特征表示进一步处理，即利用特定方面的Mask机制和注意力机制，来突出评论句中方面类别词的重要性，得到评论句中每个方面类别对应的情感极性。

2.根据权利要求1所述一种基于双图注意力网络的方面类别情感分类方法，其特征在于，所述步骤2具体实现方式为：

步骤21：将每个单词节点与步骤1获得的相应隐藏上下文表示关联，使用逐点互信息描述两个单词在固定大小的滑动窗口内的序列关系，从而实现序列图中边信息的添加，每对节点之间的边权值为：

其中#N是评论句中滑动窗口的总数，#N(w_i,w_j)是单词对(w_i,w_j)在相同的滑动窗口内共现的次数，#N(w_i)和#N(w_j)分别是单词w_i和单词w_j在评论句的滑动窗口内出现的次数；

步骤22：将每个单词节点与步骤1获得的相应隐藏上下文表示关联，利用依赖解析器标注注意力层对输入序列进行依赖解析，得到表示单词之间依赖关系的大小为n×n的概率矩阵A^syn，并将单词之间的关系扩展为其所有子词之间的依赖关系；每对节点之间的边权值为：

其中A^syn(w_i,w_j)表示单词w_i和单词w_j之间的依赖解析矩阵，

表示第n个原始单词与其k个子单词的连接关系。

3.根据权利要求2所述一种基于双图注意力网络的方面类别情感分类方法，其特征在于，所述步骤3具体实现方式为：

步骤31：针对步骤2构建的序列图和句法图，利用图注意力网络进行图内信息传递，从而捕获单词节点与其邻近节点之间的关系；具体来说，图注意力网络使用多头注意力来获取两个节点之间的注意力权重：

其中α_ij是节点v_i和节点v_j之间的注意力系数，N_i表示节点v_i的所有邻居节点集合，v_t是该集合中的一个邻居节点，h_i，h_j和h_t分别表示节点v_i，v_j和v_t的特征向量表示，f(·)是一个LeakyReLU非线性激活函数，[·||·]表示向量的串联操作，W和w是模型中可训练的参数；

获得每对节点v_i和v_j之间的注意分数α_ij后，第l个GAT层通过聚合邻域节点

表示，来迭代更新，产生针对节点v_i的新的节点表示

其中

是更新后的节点嵌入表示，σ(·)是一个ELU激活函数，b是网络中的偏置项；

步骤32：采用双仿射变换来学习两图节点之间的异构信息，并利用softmax函数对两图之间的关系进行评分，最后将输出的矩阵分布与图的原始信息进行线性变换，其过程用以下公式进行定义：

其中H_seq和H_syn分别表示序列图和句法图经过L个GAT层后产生的嵌入表示向量，

是模型中可训练的参数；

步骤33：交换完图的不同信息后，进行平均池化和串联操作，得到了方面类别情感分类任务的评论句特征表示：

其中a表示文本中出现的方面词a₁,a₂,…,a_k的集合，

和

分别是序列图和句法图中针对第k个方面词a_k的句子节点表示，p(·)是应用于节点表示的平均池化函数。

4.根据权利要求3所述一种基于双图注意力网络的方面类别情感分类方法，其特征在于，所述步骤4具体实现方式为：

步骤41：将步骤33得到的评论句特征表示进行特定方面的Mask操作，屏蔽掉无关词语的隐藏状态向量，并且突出评论句中方面类别词的重要性；

步骤42：通过基于检索的注意力机制对Mask操作后的评论句特征表示进行处理，从隐藏状态向量中检索出与语义相关的重要特征，从而在特定方面类别词和上下文表示之间捕捉重要的情感依赖关系：

其中h_t表示第t个单词节点的BERT隐藏状态向量，g_i是步骤41得到的与第i个方面词在语义上相关的向量表示，将两者进行点积操作后，获得基于检索的注意力权重λ_t和softmax归一化后的向量η_t；

步骤43：将获得的方面级情感表示r输入到一个线性层中，接着使用softmax函数来产生一个情感概率分布，具体过程如下：

y＝softmax(W_or+b_o) (14)

其中W_o和b_o都是可学习的权重和偏差；

步骤44：通过最小化预测值和真实值之间的交叉熵损失来训练分类器，损失函数表示为：

其中S是训练集的大小，C是方面类别的数量，

和y分别表示真实概率分布和预测概率分布，λ是L2正则化项的系数，Θ表示所有可训练的参数；

依据步骤43产生的情感概率分布，预测出用户评论句中每个方面类别对应的情绪极性，包括积极、消极和中性三种。

Images