CN115099219A - 一种基于增强图卷积神经网络的方面级情感分析方法 - Google Patents

Abstract

本发明公开了一种基于增强图卷积神经网络的方面级情感分析方法，该方法将方面感知注意力机制与自注意力机制相结合，方面感知注意力机制学习与方面词相关的语义信息，而自注意力机制学习句子的全局语义，并构造根据句法依赖树中词之间的不同距离计算的句法掩码矩阵以学习从局部到全局的结构信息，然后用以增强传统图卷积神经网络，最后通过多层图卷积操作获得用于方面词情感分类的特征，能更高效准确地进行方面级情感分析。

Description

一种基于增强图卷积神经网络的方面级情感分析方法

技术领域

本发明属于自然语言处理技术领域，具体涉及一种基于增强图卷积神经网络的方面级情感分析方法。

背景技术

文本情感分析按分析粒度可分为：篇章级情感分析、句子级情感分析和方面级情感分析。方面级情感分析(Aspect-based Sentiment Analysis，ABSA)是一个面向实体级的细粒度情感分析任务，旨在判断句子中给定的方面词的情感极性。与篇章级情感分析和句子级情感分析相比，方面级情感分析能进行更完整的情感分析。

由于待分析文本中方面的形式和数量都不确定，一方面，方面级情感分析不仅要对显式的语义表达进行分析，还要对隐式的语义表达进行深层理解；另一方面，方面级情感分析需要为每个评价对象确定对其表达情感的上下文范围。由于自然语言表达连贯，用语灵活，指代词等表达方式非常普遍，因此方面级情感分析常常会受到句中不相关词噪音的影响，导致最终分析结果不够准确。

例如，“The food is not as good as the service.”一句，对于方面词“food”，其情感极性是负面的，但对于方面词“service”来说，其情感极性是正面的。当句子当中有多个不同情感极性的方面词，会产生噪声问题，比如对于方面词“food”来说，形容它的词是“not”，但由于“good”的存在，会对其情感分析产生错误的判断。

有鉴于此，如何高效准确地进行方面级情感分析，成为本行业中较为迫切的技术课题。

发明内容

为此，本发明意在提供一种基于增强图卷积神经网络的方面级情感分析方法，该方法将句子的语义信息和句法结构融合在一起，能更准确地理解方面级和句子级的语义信息，正确界定对各方面进行情感表达的上下文范围，从而获得更为理想的情感分析结果。

为实现上述目的，本发明所提供的该种基于增强图卷积神经网络的方面级情感分析方法，其具体包括以下步骤：

步骤一、构建输入层，具体包括以下步骤：

11、基于待分析文本构建方面词句子对(a，s)；其中，s＝{w₁，w₂，......，w_n}，其为待分析的句子，包含n个词；a＝{a₁，a₂，......，a_m}，其为待分析句子中的方面词的集合。

本质上来讲，这里所获得的a＝{a₁，a₂，......，a_m}可以看作是s＝{w₁，w₂，......，w_n}的子序列。

12、基于s＝{w₁，w₂，......，w_n}生成对应的词嵌入序列x＝{x₁，x₂，......，x_n}；13、将词嵌入序列x＝{x₁，x₂，......，x_n}输入到双向长短期记忆网络中生成隐藏状态向量序列H＝{h₁，h₂，......，h_n}；其中，h∈R^2d是在时间步t时的隐藏状态向量，d是单向长短期记忆网络输出的隐藏状态向量的维度。

14、基于隐藏状态向量序列H＝{h₁，h₂，......，h_n}获得对应于a＝{a₁，a₂，......，a_m}的隐藏状态向量序列h_a＝{h_a1，h_a2，......，h_am}。

本质上来讲，这里所获得的隐藏状态向量h_a即是方面词的表示，其也是隐藏状态向量序列H的子序列。

步骤二、构建注意力层，具体包括以下步骤：

21、基于p头方面感知注意力机制，使用下述公式(1)计算方面感知注意力分数矩阵：

其中，i∈[1，p]，p为超参数，超参数就是人为定义的参数，方面感知注意力分数矩阵

表示它是通过第i个注意力头获得的；tanh为激活函数，H_a∈R^(n×d)为将隐藏状态向量序列h_a＝{h_a1，h_a2，......，h_am}均值池化后复制n次获得的结果，W^a∈R^(d×d)和W^k∈R^(d×d)均是可学习参数权重矩阵，其中的d为输入节点特征的维度，K为图卷积神经网络前一层的隐藏状态向量序列，T为转置，b为偏置项。

需要说明的是，与句子级别的情感分类任务不同，基于方面的情感分类旨在判断其上下文句子中一个特定方面的情感，因此需要根据不同的方面词对特定的语义相关性进行建模，故在这里，我们提出了方面感知注意力机制(aspect-aware attention)，将方面词的表示作为query计算方面感知注意力分数来学习方面词相关的特征。

本质上来讲，这里我们使用了p头方面感知注意力机制(aspect-awareattention)来获得一个句子的注意力分数矩阵，方面感知注意力分数矩阵

则表示它是通过第i个注意力头获得的，其中，p为一个人为定义的参数，即超参数。

22、基于p头自注意力机制，使用下述公式(2)计算自注意力分数矩阵：

其中，i∈[1，p]，p为上述超参数，自注意力分数矩阵

表示它是通过第i个注意力头获得的；Q和K均为图卷积神经网络前一层的隐藏状态向量序列，W^Q∈R^(d×d)和W^k∈R^(d×d)均是可学习参数权重矩阵，d为输入节点特征的维度，T为转置；

本质上来讲，这里我们使用了p头自注意力机制来获得一个句子的注意力分数矩阵，自注意力分数矩阵

则表示它是通过第i个注意力头获得的，这里的自注意力分数矩阵A_self可以通过利用p头的自注意力机制(self-attention)来构建，它捕获单个句子的两个任意单词之间的语义关系。

23、基于方面感知注意力分数矩阵和自注意力分数矩阵，使用下述公式(3)计算注意力分数矩阵：

其中，Aⁱ为注意力分数矩阵；

本质上来讲，在这里，我们将方面感知注意力机制与自注意力机制结合起来，Aⁱ∈R^(n×n)用于后面句法掩码层计算的输入，对于每个Aⁱ，它对应着一个全连接图。

步骤三、构建句法掩码层，具体包括以下步骤：

31、对于句法依赖树中的词节点v_i和v_j之间的路径距离d(v_i，v_j)，使用下述公式(4)计算v_i和v_j之间的最短路径距离：

D(i，j)＝mind(v_i，v_j) (4)

32、基于最短路径距离D(i，j)，使用下述公式(5)计算掩码矩阵：

其中，k∈[1，p]，p为上述超参数，M＝{M¹，......，M^p}。

需要说明的是，在句法掩码层，我们首先引入掩码矩阵M^k，然后针对不同的句法距离对每个全连接图进行掩码，我们将每个句法依赖树视为一个无向图，每个词都是一个节点。

在注意力层，p头注意力机制将获得p个注意力分数矩阵，因此我们将基于不同句法距离的句法掩码矩阵的数量设置为与注意力头的数量相同。当句法距离比较小时，可以学习局部信息，如果句法距离比较大，则考虑全局结构信息。

33、基于注意力分数矩阵和掩码矩阵，使用下述公式(6)计算句法掩码矩阵：

其中，softmax为归一化指数函数。

步骤四、计算方面词的最终隐藏状态向量，具体为使用下述公式(7)基于句法掩码矩阵对图卷积神经网络进行增强并进而获得方面词的最终隐藏状态向量：

其中，图卷积神经网络包含l层，l∈[1，L]；h^l为该图卷积神经网络第l层的输出，也即方面词的最终隐藏状态向量；h^l-1为该图卷积神经网络第l层的输入；σ为非线性函数，A_ij为句法掩码矩阵A_mask中第i行第j列那个元素，W^l为线性变换权重矩阵，b^l为偏置项，n等于上述步骤11中的n。

本质上来讲，在图卷积神经网络层，由于我们有p个不同的句法掩码矩阵，因此我们对句法掩码矩阵A_mask∈R^(p×n×n)进行了p次图卷积操作，p为上述超参数。

本质上来讲，基于上述公式(7)获得了最终隐藏状态向量h^l，这意味着第l层图卷积神经网络中的每个节点都根据其邻居节点的特征表示进行了更新，对于a＝{a₁，a₂，......，a_m}，则对应有更新后的隐藏状态向量序列h^l _a＝{h^l _a1，h^l _a2，......，h^l _am}。

步骤五、使用下述公式(8)对最终隐藏状态向量进行均值池化：

其中，f为均值池化函数，用于在图卷积神经网络层增强方面词的表示；

本质上来讲，在聚合来自每一层的节点表示后，我们得到最终的特征表示，通过掩码图卷积神经网络层的输出表示的非方面词，获得最终方面词的表示，然后通过均值池化操作以保留方面词表示h_aspect中的大部分信息。

步骤六、基于均值池化结果h_aspect使用下述公式(9)计算情感极性的概率分布：

p(a)＝softmax(W_ph_aspect+b_p) (9)

其中，softmax为归一化指数函数，W_p为可学习的权重矩阵，b_p为偏置项，不同值的概率分布p(a)对应于一方面词的不同情感极性，如正面、负面、中性。

本质上来讲，在这里，我们获得了方面词表示(即均值池化结果h_aspect)后，将它输入到一个全连接层，产生了一个关于不同情感极性的概率分布p(a)。

本发明所提供的该种基于增强图卷积神经网络的方面级情感分析方法，将句子的语义信息和句法结构融合在一起，为对不同方面词的特定语义相关性进行处理，将方面感知注意力机制(aspect-aware attention)与自注意力机制(self-attention)相结合，方面感知注意力机制学习与方面词相关的语义信息，而自注意力机制学习句子的全局语义，然后将获得的注意力分数矩阵作为图卷积神经网络(GCN)的初始邻接矩阵，为充分利用句法结构来补充语义信息，而不仅仅是学习一阶邻居节点信息，该方法继而构造根据句法依赖树中词之间的不同距离计算的句法掩码矩阵以学习从局部到全局的结构信息，然后结合邻接矩阵(注意力分数矩阵)和句法掩码矩阵来增强传统的图卷积神经网络，最后通过多层图卷积操作获得用于方面词情感分类的特征。

进一步地，本发明还提供了一种电子设备，该电子设备包括处理器和存储器；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述方面级情感分析方法的步骤。

进一步地，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述方面级情感分析方法的步骤。

与现有技术相比，本发明所提供的该种分析方法能更高效准确地进行方面级情感分析。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解。在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，用来提供对本发明的进一步理解，构成本申请的一部分，而不应将其视为是对本发明范围的限制。其中：

图1为本发明所提供的分析方法的原理框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不能理解为对本发明的限制。

本发明所提供的一种基于增强图卷积神经网络的方面级情感分析方法，如图1所示，其具体包括以下步骤：

步骤一、构建输入层，具体包括以下步骤：

11、基于待分析文本构建方面词句子对(a，s)；其中，s＝{w₁，w₂，......，w_n}，其为待分析的句子，包含n个词；a＝{a₁，a₂，......，a_m}，其为待分析句子中的方面词的集合。

本质上来讲，这里所获得的a＝{a₁，a₂，......，a_m}可以看作是s＝{w₁，w₂，......，w_n}的子序列。

12、基于s＝{w₁，w₂，......，w_n}生成对应的词嵌入序列x＝{x₁，x₂，......，x_n}；13、将词嵌入序列x＝{x₁，x₂，......，x_n}输入到双向长短期记忆网络中生成隐藏状态向量序列H＝{h₁，h₂，......，h_n}；其中，h∈R^2d是在时间步t时的隐藏状态向量，d是单向长短期记忆网络输出的隐藏状态向量的维度。

14、基于隐藏状态向量序列H＝{h₁，h₂，......，h_n}获得对应于a＝{a₁，a₂，......，a_m}的隐藏状态向量序列h_a＝{h_a1，h_a2，......，h_am}。

本质上来讲，这里所获得的隐藏状态向量h_a即是方面词的表示，其也是隐藏状态向量序列H的子序列。

步骤二、构建注意力层，具体包括以下步骤：

21、基于p头方面感知注意力机制，使用下述公式(1)计算方面感知注意力分数矩阵：

其中，i∈[1，p]，p为超参数，超参数就是人为定义的参数，方面感知注意力分数矩阵

表示它是通过第i个注意力头获得的；tanh为激活函数，H_a∈R^(n×d)为将隐藏状态向量序列h_a＝{h_a1，h_a2，......，h_am}均值池化后复制n次获得的结果，W^a∈R^(d×d)和W^k∈R^(d×d)均是可学习参数权重矩阵，其中的d为输入节点特征的维度，K为图卷积神经网络前一层的隐藏状态向量序列，T为转置，b为偏置项。

需要说明的是，与句子级别的情感分类任务不同，基于方面的情感分类旨在判断其上下文句子中一个特定方面的情感，因此需要根据不同的方面词对特定的语义相关性进行建模，故在这里，我们提出了方面感知注意力机制(aspect-aware attention)，将方面词的表示作为query计算方面感知注意力分数来学习方面词相关的特征。

本质上来讲，这里我们使用了p头方面感知注意力机制(aspect-awareattention)来获得一个句子的注意力分数矩阵，方面感知注意力分数矩阵

则表示它是通过第i个注意力头获得的，其中，p为一个人为定义的参数，即超参数。

22、基于p头自注意力机制，使用下述公式(2)计算自注意力分数矩阵：

其中，i∈[1，p]，p为上述超参数，自注意力分数矩阵

表示它是通过第i个注意力头获得的；Q和K均为图卷积神经网络前一层的隐藏状态向量序列，W^Q∈R^(d×d)和W^k∈R^(d×d)均是可学习参数权重矩阵，d为输入节点特征的维度，T为转置；

本质上来讲，这里我们使用了p头自注意力机制来获得一个句子的注意力分数矩阵，自注意力分数矩阵

则表示它是通过第i个注意力头获得的，这里的自注意力分数矩阵A_self可以通过利用p头的自注意力机制(self-attention)来构建，它捕获单个句子的两个任意单词之间的语义关系。

23、基于方面感知注意力分数矩阵和自注意力分数矩阵，使用下述公式(3)计算注意力分数矩阵：

其中，Aⁱ为注意力分数矩阵；

本质上来讲，在这里，我们将方面感知注意力机制与自注意力机制结合起来，Aⁱ∈R^(n×n)用于后面句法掩码层计算的输入，对于每个Aⁱ，它对应着一个全连接图。

步骤三、构建句法掩码层，具体包括以下步骤：

31、对于句法依赖树中的词节点v_i和v_j之间的路径距离d(v_i，v_j)，使用下述公式(4)计算v_i和v_j之间的最短路径距离：

D(i，j)＝mind(v_i，v_j)(4)

32、基于最短路径距离D(i，j)，使用下述公式(5)计算掩码矩阵：

其中，k∈[1，p]，p为上述超参数，M＝{M¹，......，M^p}。

需要说明的是，在句法掩码层，我们首先引入掩码矩阵M^k，然后针对不同的句法距离对每个全连接图进行掩码，我们将每个句法依赖树视为一个无向图，每个词都是一个节点。

在注意力层，p头注意力机制将获得p个注意力分数矩阵，因此我们将基于不同句法距离的句法掩码矩阵的数量设置为与注意力头的数量相同。当句法距离比较小时，可以学习局部信息，如果句法距离比较大，则考虑全局结构信息。

33、基于注意力分数矩阵和掩码矩阵，使用下述公式(6)计算句法掩码矩阵：

其中，softmax为归一化指数函数。

步骤四、计算方面词的最终隐藏状态向量，具体为使用下述公式(7)基于句法掩码矩阵对图卷积神经网络进行增强并进而获得方面词的最终隐藏状态向量：

其中，图卷积神经网络包含l层，l∈[1，L]；h^l为该图卷积神经网络第l层的输出，也即方面词的最终隐藏状态向量；h^l-1为该图卷积神经网络第l层的输入；σ为非线性函数，A_ij为句法掩码矩阵A_mask中第i行第j列那个元素，W^l为线性变换权重矩阵，b^l为偏置项，n等于上述步骤11中的n。

本质上来讲，在图卷积神经网络层，由于我们有p个不同的句法掩码矩阵，因此我们对句法掩码矩阵A_mask∈R^(p×n×n)进行了p次图卷积操作，p为上述超参数。

本质上来讲，基于上述公式(7)获得了最终隐藏状态向量h^l，这意味着第l层图卷积神经网络中的每个节点都根据其邻居节点的特征表示进行了更新，对于a＝{a₁，a₂，......，a_m}，则对应有更新后的隐藏状态向量序列h^l _a＝{h^l _a1，h^l _a2，......，h^l _am}。

步骤五、使用下述公式(8)对最终隐藏状态向量进行均值池化：

其中，f为均值池化函数，用于在图卷积神经网络层增强方面词的表示；

本质上来讲，在聚合来自每一层的节点表示后，我们得到最终的特征表示，通过掩码图卷积神经网络层的输出表示的非方面词，获得最终方面词的表示，然后通过均值池化操作以保留方面词表示h_aspect中的大部分信息。

步骤六、基于均值池化结果h_aspect使用下述公式(9)计算情感极性的概率分布：

p(a)＝softmax(W_ph_aspect+b_p) (9)

其中，softmax为归一化指数函数，W_p为可学习的权重矩阵，b_p为偏置项，不同值的概率分布p(a)对应于一方面词的不同情感极性，如正面、负面、中性。

本质上来讲，在这里，我们获得了方面词表示(即均值池化结果h_aspect)后，将它输入到一个全连接层，产生了一个关于不同情感极性的概率分布p(a)。

在又一实施例中，本发明还提供了本发明还提供了一种电子设备，该电子设备包括处理器和存储器；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述方面级情感分析方法的步骤。

在又一实施例中，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述方面级情感分析方法的步骤。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (3)

1.一种基于增强图卷积神经网络的方面级情感分析方法，其特征在于，该方法具体包括以下步骤：

步骤一、构建输入层，具体包括以下步骤：

11、基于待分析文本构建方面词句子对(a，s)；其中，s＝{w₁，w₂，......，w_n}，其为待分析的句子，包含n个词；a＝{a₁，a₂，......，a_m}，其为待分析句子中的方面词的集合；

12、基于s＝{w₁，w₂，......，w_n}生成对应的词嵌入序列x＝{x₁，x₂，......，x_n}；

13、将词嵌入序列x＝{x₁，x₂，......，x_n}输入到双向长短期记忆网络中生成隐藏状态向量序列H＝{h₁，h₂，......，h_n}；其中，h∈R^2d是在时间步t时的隐藏状态向量，d是单向长短期记忆网络输出的隐藏状态向量的维度；

14、基于隐藏状态向量序列H＝{h₁，h₂，......，h_n}获得对应于a＝{a₁，a₂，......，a_m}的隐藏状态向量序列h_a＝{h_a1，h_a2，......，h_am}；

步骤二、构建注意力层，具体包括以下步骤：

21、基于p头方面感知注意力机制，使用下述公式(1)计算方面感知注意力分数矩阵：

其中，i∈[1，p]，p为超参数，方面感知注意力分数矩阵

表示它是通过第i个注意力头获得的；tanh为激活函数，H_a∈R^(n×d)为将隐藏状态向量序列h_a＝{h_a1，h_a2，......，h_am}均值池化后复制n次获得的结果，W^a∈R^(d×d)和W^k∈R^(d×d)均是可学习参数权重矩阵，其中的d为输入节点特征的维度，K为图卷积神经网络前一层的隐藏状态向量序列，T为转置，b为偏置项；

22、基于p头自注意力机制，使用下述公式(2)计算自注意力分数矩阵：

其中，i∈[1，p]，p为上述超参数，自注意力分数矩阵

表示它是通过第i个注意力头获得的；Q和K均为图卷积神经网络前一层的隐藏状态向量序列，W^Q∈R^(d×d)和W^k∈R^(d×d)均是可学习参数权重矩阵，d为输入节点特征的维度，T为转置；

23、基于方面感知注意力分数矩阵和自注意力分数矩阵，使用下述公式(3)计算注意力分数矩阵：

其中，Aⁱ为注意力分数矩阵；

步骤三、构建句法掩码层，具体包括以下步骤：

31、对于句法依赖树中词节点v_i和v_j之间的路径距离d(v_i，v_j)，使用下述公式(4)计算词节点v_i和v_j之间的最短路径距离：

D(i，j)＝mind(v_i，v_j) (4)

32、基于最短路径距离D(i，j)，使用下述公式(5)计算掩码矩阵：

其中，k∈[1，p]，p为上述超参数，M＝{M¹，......，M^p}；

33、基于注意力分数矩阵和掩码矩阵，使用下述公式(6)计算句法掩码矩阵：

其中，softmax为归一化指数函数；

步骤四、计算方面词的最终隐藏状态向量，具体为使用下述公式(7)基于句法掩码矩阵对图卷积神经网络进行增强并进而获得方面词的最终隐藏状态向量：

其中，图卷积神经网络包含l层，l∈[1，L]；h^l为该图卷积神经网络第l层的输出，也即方面词的最终隐藏状态向量；h^l-1为该图卷积神经网络第l层的输入；σ为非线性函数，A_ij为句法掩码矩阵A_mask中第i行第j列那个元素，W^l为线性变换权重矩阵，b^l为偏置项，n等于上述步骤11中的n；

对于a＝{a₁，a₂，......，a_m}，则对应有更新后的隐藏状态向量序列

步骤五、使用下述公式(8)对最终隐藏状态向量进行均值池化：

其中，f为均值池化函数，用于在图卷积神经网络层增强方面词的表示；

步骤六、基于均值池化结果h_aspect使用下述公式(9)计算情感极性的概率分布：

p(a)＝softmax(W_ph_aspect+b_p) (9)

其中，softmax为归一化指数函数，W_p为可学习参数权重矩阵，b_p为偏置项，不同值的概率分布p(a)对应于方面词的不同情感极性。

2.一种电子设备，其特征在于，该电子设备包括处理器和存储器；所述存储器，用于存放计算机程序；所述处理器，用于执行存储器上所存放的程序时，实现权利要求1所述的方面级情感分析方法的步骤。

3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1所述的方面级情感分析方法的步骤。

Images