CN114218922A - 一种基于双通道图卷积网络的方面情感分析方法 - Google Patents

Abstract

本发明涉及自然语言处理技术领域，具体涉及一种基于双通道图卷积网络的方面情感分析方法，包括：获取待分析的目标文本；将目标文本输入经过预先训练的方面情感分析模型中；首先对目标文本进行文本编码，生成文本语义表示；然后基于目标文本构建文本序列图和增强句法依赖图，并基于两种图的结构信息进行建模；再通过多层的CoGCN以相互增强的方式融合两种图的结构信息，生成文本结构表示；最后分别从文本语义表示和文本结构表示中获取句子表示，合并生成最终的特定方面句子表示；基于特定方面句子表示生成情感标签上的预测概率分布，即为目标文本的方面情感分析结果。本发明方面情感分析方法能够提升方面情感分析的准确性和全面性。

Description

一种基于双通道图卷积网络的方面情感分析方法

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种基于双通道图卷积网络的方面情感分析方法。

背景技术

随着社交媒体和电商平台的快速发展，越来越多的网络用户愿意在网络发表自己对某件事情或商品的评价，这些看法中包含用户的情感信息。因此，对各大平台上带有情感倾向的言论和评价进行分析，可以带来多方面的效益，例如消费者可以根据购物网站的商品评价详细了解商品信息；企业可以通过监控社交媒体的用户评价修改营销信息、品牌定位、产品开发；股民根据评价选择是否买入股票。所以，情感分析是一种具有很大实际应用价值的文本分类技术，被广泛的应用于产品反馈、舆情监控、股市预测和电影票房预测等方面。

针对文本所涉及到的评价对象情感倾向性分析的问题，公开号为CN112115700A的中国专利公开了《一种基于依存句法树和深度学习的方面级情感分析方法》，其包括：对待分析的文本进行分词和嵌入训练处理，得到文本中的每个单词的词向量表达，输入到双向长短时神经网络中得到每个单词和文本的整合信息；利用文本中的所有单词构造依存句法树，利用依存句法树构造GCN图，将文本的整合信息与GCN图进行迭代处理，得到文本中的评价对象的依存句法树表示；对文本的整合信息和评价对象的依存句法树表示进行结合，对结合的结果使用CNN进行分析处理，得到文本对评价对象的情感预测结果。

上述现有方案的方面级情感分析方法通过依存句法树构造GCN图，进而利用文本的语义信息，并强调了评价对象在方面级情感分析的重要性。但是，现有基于GCN的方法通常只对一种结构信息(即句法依存结构)进行建模，而在很大程度上忽略了单词之间的其他丰富的结构信息，例如单词在一个时间窗口内的连续结构，或单词与单词之间在整个语料库上的共现结构，导致方面情感分析的全面性和准确性不好。因此，如何设计一种能够提升方面情感分析准确性和全面性的方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于双通道图卷积网络的方面情感分析方法，从而提升方面情感分析的准确性和全面性。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种基于双通道图卷积网络的方面情感分析方法，包括以下步骤：

S1：获取待分析的目标文本；

S2：将目标文本输入经过预先训练的方面情感分析模型中；

所述方面情感分析模型首先对目标文本进行文本编码，生成文本语义表示；然后基于目标文本构建文本序列图和增强句法依赖图，并基于两种图的结构信息进行建模；再通过多层的CoGCN以相互增强的方式融合两种图的结构信息，生成文本结构表示；最后分别从文本语义表示和文本结构表示中获取句子表示，合并生成最终的特定方面句子表示；

S3：基于特定方面句子表示生成情感标签上的预测概率分布，即为目标文本的方面情感分析结果。

优选的，通过如下步骤生成文本语义表示：

S201：将目标文本经过预训练词嵌入矩阵，得到对应的词嵌入表示矩阵；

S202：在目标文本中引入绝对距离，得到对应的位置序列；

S203：随机初始化位置的嵌入查询表，将位置序列映射到位置嵌入矩阵；

S204：通过双向LSTM学习目标文本中每个单词的嵌入表示，生成文本语义表示；

其中，单词的嵌入表示通过词嵌入表示和位置嵌入表示拼接得到。

优选的，文本语义表示

其中，

预训练词嵌入矩阵：

词嵌入表示矩阵：

位置序列：(a₁,…,a_τ+1,…,a_τ+m,…,a_n)

位置嵌入矩阵：

式中：

分别是前向和后向LSTM的表示；

d_w＝d_e+d_a；[；]表示拼接操作。

优选的，通过如下步骤生成文本结构表示：

S211：基于目标文本构建对应的文本序列图和增强句法依赖图；

S212：通过文本语义表示初始化文本序列图和增强句法依赖图的节点表示；

S213：通过文本序列结构通道和增强依赖结构通道从文本序列图和增强句法依赖图中获取对应的顺序结构信息和句法依赖结构信息并进行建模；

S214：CoGCN通过协同注意力整合顺序结构信息和句法依赖结构信息，计算和更新文本序列图和增强句法依赖图的表示；

S215：通过门控机制融合文本序列图和增强句法依赖图的表示，生成文本结构表示。

优选的，步骤S211中，构建的文本序列图表示为：

V＝{h_i|i∈[1,n]}；

E＝{e_ij|i∈[1,n]；j∈[i-p,i+p]}；

式中：h_i表示目标文本S第i个单词w_i的特征表示；V、E表示文本序列图的节点和边；p表示设置的用于收集目标文本S中不同窗口大小信息的阈值；n表示单词的数量；e_ij表示节点i和节点j之间边的权重。

优选的，步骤S211中，构建增强句法依赖图时，基于全局共现信息引入单词之间正相关信息，以丰富句法依赖结构。

优选的，文本结构表示的计算公式为：

H^g＝gH^s,(L)+(1-g)H^d,(L)；

其中，g＝σ(W_g[H^s,(L)；H^d,(L)])；

H^s,(L)、H^d,(L)分别为文本序列图和增强句法依赖图的表示；

和

分别为从第l层协同注意力层中文本序列图和增强依赖图学习到的表示；

H^s,(l)和H^d,(l)通过公式H^s,(l),H^d,(l)＝CoAttention(H^s,(l),H^d,(l))更新；

CoAttention表示执行以下公式：

A₁＝softmax(H^s,(l)W₁H^d,(l)T)；

A₂＝softmax(H^d,(l)W₂H^s,(l)T)；

H^s,(l)＝A₂H^d,(l)；

H^d,(l)＝A₁H^s,(l)；

式中：

分别表示从H^d,(l)到H^s,(l)以及H^s,(l)到H^d,(l)的临时对齐矩阵投影；σ表示激活函数；L表示CoGCN的层数；

均表示训练参数。

优选的，通过如下步骤生成特定方面句子表示：

S221：基于文本语义表示H生成对应的最终语义表示z_sem；

S222：基于文本结构表示H^g生成对应的最终结构表示z_stru；

S223：对最终语义表示z_sem和最终结构表示z_stru进行连接操作，生成特定方面句子表示r；

其中，

式中：

表示连接操作。

优选的，步骤S221中，首先基于文本语义表示H屏蔽非方面词并保持方面词不变，得到零掩码表示H_{mask_a}；然后在零掩码表示H_{mask_a}上进行最大池化操，得到方面表示

最后检索与方面语义相关的重要特征，并为每个单词设置基于检索的注意力权重，生成最终语义表示z_sem；

其中，H＝(h₁,…,h_τ+1,…,h_τ+m,…,h_n)；

H_{mask_a}＝(0,…,h_τ+1,…,h_τ+m,…,0)；

式中：式中：a_t表示第t个单词在方面的注意力分数，e_i表示第i个单词与方面词的语义相关度。

优选的，步骤S222中，首先基于文本结构表示H^g从结构角度检索与方面相关的上下文信息，得到零掩码表示H_{mask_b}；然后在H_{mask_b}上进行最大池化操作，得到方面表示

最后检索与方面语义相关的重要特征，并为每个单词设置基于检索的注意力权重，生成最终结构表示z_stru；

其中，

式中：a_t表示第t个单词在方面的注意力分数。

优选的，步骤S3中，将特定方面句子表示输入全连接层和softmax层，以输出情感标签上的预测概率分布p＝softmax(W_yr+b_y)，

式中：d_y表示情感标签的数量；r表示特定方面句子表示；

分别是可训练参数和偏置。

本发明中的方面情感分析方法与现有技术相比，具有如下有益效果：

本发明构建文本序列图和增强句法依赖图并基于两种图的结构信息进行建模，能够获取文本序列图的顺序结构信息和增强句法依赖图的句法依赖结构信息，并能够通过多层的CoGCN以相互增强的方式融合两种图的结构信息，即捕获和融合了更丰富的结构信息，从而能够提升方面情感分析的准确性和全面性。同时，本发明从文本语义表示和文本结构表示中获取句子表示的方式，能够从语义角度和结构两个角度去获取表示并合并生成特定方面句子表示，进而能够更好的反映和表示文本的方面情感极性，从而能够进一步提升方面情感分析的准确性。

附图说明

为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为方面情感分析方法的逻辑框图；

图2为方面情感分析模型的网络结构图；

图3为文本序列图和增强句法依赖图的构建过程示意图；

图4为CoGCN层数(L)的影响示意图；

图5为滑动窗口(Window size)大小的影响示意图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例：

本实施例中公开了一种基于双通道图卷积网络的方面情感分析方法。

如图1所示基于双通道图卷积网络的方面情感分析方法，包括以下步骤：

S1：获取待分析的目标文本；目标文本

具有n个单词w_i和m个单词的方面词(从τ+1开始)。本发明的目标是识别给定方面的目标文本S的情感极性。

S2：将目标文本输入经过预先训练的方面情感分析模型中；

所述方面情感分析模型首先对目标文本进行文本编码，生成文本语义表示；然后基于目标文本构建文本序列图和增强句法依赖图，并基于两种图的结构信息进行建模；再通过多层的CoGCN以相互增强的方式融合两种图的结构信息，生成文本结构表示；最后分别从文本语义表示和文本结构表示中获取句子表示，合并生成最终的特定方面句子表示；

其中，对于方面情感分析模型的训练，使用标准的梯度下降算法，并将损失函数定义为预测概率分布和真实标签的交叉熵。

损失函数

式中：

表示带标签的句子集合；Y表示真实标签矩阵；y_dk表示句子d是标签k的预测概率；λ表示L₂正则化的系数；Θ表示所有参数。

S3：基于特定方面句子表示生成情感标签上的预测概率分布，即为目标文本的方面情感分析结果。

本发明构建文本序列图和增强句法依赖图并基于两种图的结构信息进行建模，能够获取文本序列图的顺序结构信息和增强句法依赖图的句法依赖结构信息，并能够通过多层的CoGCN以相互增强的方式融合两种图的结构信息，即捕获和融合了更丰富的结构信息，从而能够提升方面情感分析的准确性和全面性。同时，本发明从文本语义表示和文本结构表示中获取句子表示的方式，能够从语义角度和结构两个角度去获取表示并合并生成特定方面句子表示，进而能够更好的反映和表示文本的方面情感极性，从而能够进一步提升方面情感分析的准确性。

结合图2所示，方面情感分析模型通过文本编码模块生成文本语义表示，具体通过如下步骤生成文本语义表示：

S201：将目标文本经过预训练词嵌入矩阵，得到对应的词嵌入表示矩阵；

S202：在目标文本中引入绝对距离，得到对应的位置序列；

S203：随机初始化位置的嵌入查询表，将位置序列映射到位置嵌入矩阵；

S204：通过双向LSTM学习目标文本中每个单词的嵌入表示，生成文本语义表示；

其中，单词的嵌入表示通过词嵌入表示和位置嵌入表示拼接得到。

具体的，文本语义表示

其中，

预训练词嵌入矩阵：

词嵌入表示矩阵：

位置序列：(a₁,…,a_τ+1,…,a_τ+m,…,a_n)

位置嵌入矩阵：

d_w＝d_e+d_a；

式中：

分别是前向和后向LSTM的表示，

d_w＝d_e+d_a；[；]表示拼接操作。

本发明通过文本编码的方式获取文本语义表示，能够从语义角度反映和表示文本的方面情感极性，从而能够辅助提升方面情感分析的准确性。

结合图2所示，方面情感分析模型通过双通道图编码模块生成文本结构表示，具体通过如下步骤生成文本结构表示：

S211：基于目标文本构建对应的文本序列图和增强句法依赖图；

S212：通过文本语义表示初始化文本序列图和增强句法依赖图的节点表示；

S213：通过文本序列结构通道和增强依赖结构通道从文本序列图和增强句法依赖图中获取对应的顺序结构信息和句法依赖结构信息并进行建模；

S214：CoGCN通过协同注意力整合顺序结构信息和句法依赖结构信息，计算和更新文本序列图和增强句法依赖图的表示；

S215：通过门控机制融合文本序列图和增强句法依赖图的表示，生成文本结构表示。

具体的，为每个目标文本序列构建一个文本序列图，在序列中的单词节点用一个小窗口连接，并且节点的表示将通过GCN在文本序列图中进行更新，即一个节点聚合来自其相邻节点的信息以更新其表示。本发明为给定的文本构建图，首先将文本中出现的所有单词视为图节点，如果两个单词在同一窗口中，则将它们连接起来，设置了一个阈值p来收集文本中不同窗口大小的信息。

构建的文本序列图表示为：

V＝{h_i|i∈[1,n]}；

E＝{e_ij|i∈[1,n]；j∈[i-p,i+p]}；

式中：h_i表示目标文本S第i个单词的特征表示；V、E表示文本序列图的节点和边；p表示设置的用于收集目标文本S中不同窗口大小信息的阈值；n表示单词的数量；e_ij表示节点i和节点j之间边的权重。

图3(a)显示了文本序列图的构图过程

形式上，节点i和节点j之间的权重计算如下：

向每个节点添加自循环，并通过非线性转换之前对图卷积中的激活进行归一化操作，这可以形式化如下：

其中，

为(l-1)层中第j个节点学习到的表示

σ表示非线性函数，如Relu；Norm(·)表示正则化层；

I表示n×n的单位矩阵；

表示第i个节点的度；W^s,(l)和b^s,(l)表示具体某层的可训练参数；l表示层数；i表示聚合的目标节点。

通过应用GCN在文本序列图上，得到第l层的表示：

构建增强句法依赖图时，基于全局共现信息引入单词之间正相关信息，以丰富句法依赖结构。现有基于GCN的方法主要侧重基于句法依赖树的结构来捕获单词的远距离关系，使得构建的句法图有时会过于稀疏，导致方面情感分析的准确性不好。本发明通过基于全局共现信息引入单词之间正相关信息来进一步丰富句法依赖结构，能够解决稀疏问题的影响，进而能够提升方面情感分析的准确性。

本发明考虑了全局词共现信息以获得具有高相关性的词对，例如点互信息(PMI)。

与直接利用句法依赖树的传统方法不同，本发明通过添加相对于全局词共现视角即具有高相关关系的边来进一步扩展句法依赖树，并获得增强的依赖图。

形式上，单词对(w_i,w_j)的PMI值计算如下：

其中，#W(i)表示整个语料中包含单词w_i的滑动窗口数量；#W(i；j)表示同时包含单词w_i和w_j的滑动窗口数量；#W是语料库中滑动窗口的总数。

只考虑其词对的PMI值为正的边，图3(b)表示增强依赖图的构建过程。

句法依赖树中边的权重是相等的(如默认为1)，而PMI值在一个很大的范围内，如[0,+∞]，如果直接将PMI值作为边的权重，这些句法边的影响将大大减弱。为此，本发明为每条PMI边分配一个边权重，而不是使用原始PMI值作为边权重。形式上，节点i和节点j之间的边的权重定义为：

由于增强依赖图中有两种类型的边(即PMI边和句法边)，采用基于异构图的图卷积网络来聚合来自不同类型边的信息。此时，每个节点首先聚合来自相同类型边的信息，然后将每个边类型的相应表示拼接起来作为节点的新表示：

其中，

为(l-1)层中第j个节点学习到的表示

σ表示非线性函数，如Relu；Norm(·)表示正则化层，

I表示n×n的单位矩阵，

表示第i个节点的度；W^d,(l)和b^d,(l)表示具体层的可训练参数；l表示层数；i表示聚合的目标节点。

通过应用GCN在增强句法依赖图上，可以得到第l层的表示：

文本结构表示的计算公式为：

H^g＝gH^s,(L)+(1-g)H^d,(L)；

其中，g＝σ(W_g[H^s,(L)；H^d,(L)])；

H^s,(L)、H^d,(L)分别为文本序列图和增强句法依赖图的表示；

和

分别为从第l层协同注意力层中文本序列图和增强依赖图学习到的表示；

H^s,(l)和H^d,(l)通过公式H^s,(l),H^d,(l)＝CoAttention(H^s,(l),H^d,(l))更新；

CoAttention表示执行以下公式：

A₁＝softmax(H^s,(l)W₁H^d,(l)T)；

A₂＝softmax(H^d,(l)W₂H^s,(l)T)；

H^s,(l)＝A₂H^d,(l)；

H^d,(l)＝A₁H^s,(l)；

式中：

分别表示从H^d,(l)到H^s,(l)以及H^s,(l)到H^d,(l)的临时对齐矩阵投影；σ表示激活函数；L表示CoGCN的层数；

均表示训练参数。

本发明构建文本序列图和增强句法依赖图并基于两种图的结构信息进行建模，能够获取文本序列图的顺序结构信息和增强句法依赖图的句法依赖结构信息，并能够通过多层的CoGCN以相互增强的方式融合两种图的结构信息，即捕获和融合了更丰富的结构信息，从而能够提升方面情感分析的准确性和全面性。同时，本发明能够从结构角度反映和表示文本的方面情感极性，从而能够辅助提升方面情感分析的准确性。最后，本发明通过基于全局共现信息引入单词之间正相关信息来进一步丰富句法依赖结构，能够解决稀疏问题的影响。

结合图2所示，方面情感分析模型通过特定方面的注意力模块生成特定方面句子表示，具体通过如下步骤生成特定方面句子表示：

S221：基于文本语义表示H生成对应的最终语义表示z_sem；

S222：基于文本结构表示H^g生成对应的最终结构表示z_stru；

S223：对最终语义表示z_sem和最终结构表示z_stru进行连接操作，生成特定方面句子表示r；

其中，

式中：

表示连接操作。

具体的，生成最终语义表示z_sem时，首先基于文本语义表示H屏蔽非方面词并保持方面词不变，得到零掩码表示H_{mask_a}；然后在零掩码表示H_{mask_a}上进行最大池化操，得到方面表示

最后检索与方面语义相关的重要特征，并为每个单词设置基于检索的注意力权重，生成最终语义表示z_sem；

其中，H＝(h₁,…,h_τ+1,…,h_τ+m,…,h_n)；

H_{mask_a}＝(0,…,h_τ+1,…,h_τ+m,…,0)；

式中：式中：a_t表示第t个单词在方面的注意力分数，e_i表示第i个单词与方面词的语义相关度。

生成最终结构表示z_stru时，首先基于文本结构表示H^g从结构角度检索与方面相关的上下文信息，得到零掩码表示H_{mask_b}；然后在H_{mask_b}上进行最大池化操作，得到方面表示

最后检索与方面语义相关的重要特征，并为每个单词设置基于检索的注意力权重，生成最终结构表示z_stru；

其中，

式中：a_t表示第t个单词在方面的注意力分数。

本发明提出了两种特定于方面的注意力机制，即特定于方面的语义注意力和特定于方面的结构注意力，使得能够从语义角度和结构两个角度去获取表示，并合并生成特定方面句子表示，进而能够更好的反映和表示文本的方面情感极性，从而能够进一步提升方面情感分析的准确性。

具体实施过程中，将特定方面句子表示输入全连接层和softmax层，以输出情感标签上的预测概率分布p＝softmax(W_yr+b_y)，

式中：d_y表示情感标签的数量；r表示特定方面句子表示；

分别是可训练参数和偏置。

为了更好的说明本发明方面情感分析方法的优势，本实施例公开了如下实验。

一、数据集

本实验在五个基准数据集上进行，分别是Twitter(来自Dong L,Wei F,Tan C,etal.《Adaptive recursive neural network for target-dependent twitter sentimentclassification》)、LAPTOP(来自Kirange D K,Deshmukh R R,Kirange M D K.《Aspectbased sentiment analysis SEMEVAL-2014task 4》)、REST14(来自Pontiki M,Galanis D,Papageorgiou H,et al.《Semeval-2015task 12:Aspect based sentiment analysis》)、REST15和REST16(来自Pontiki M,Galanis D,Papageorgiou H,et al.《Semeval-2016task5:Aspect based sentiment analysis》)。数据集由两类数据组成：笔记本电脑和餐厅。我们删除了具有冲突极性和句子中没有明确方面的样本。数据集的统计数据在表1中展示。

表1 数据统计

二、基线方法

本实验对比了以下8个先进的模型：

LSTM(来自Tang D,Qin B,Feng X,et al.《Effective LSTMs for target-dependent sentiment classification》)：它提出了一个依赖于目标的LSTMs来模拟目标和上下文词之间的交互。

MemNet(来自Tang D,Qin B,Liu T.《Aspect level sentiment classificationwith deep memory network》)：与序列神经模型(如LSTM)不同，该模型利用深度记忆网络进行方面级别的情感分类，在上下文词嵌入上使用多跳注意力层进行句子表示。

AOA(来自Huang B,Ou Y,Carley K M.《Aspect level sentimentclassification with attention-over-attention neural networks》)：它通过attention-over-attention模块捕获方面词和上下文词之间的交互。

IAN(来自Ma D,Li S,Zhang X,et al.《Interactive attention networks foraspect-level sentiment classification》)：它提出了一个交互式注意力网络来交互式地学习上下文和目标方面，并分别生成目标和上下文的表示。

TNet-LF(来自Li X,Bing L,Lam W,et al.《Transformation networks fortarget-oriented sentiment classification》)：它提出了一个特定于目标的转换组件，以更好地将目标方面信息集成到单词表示中。

ASGCN(来自Zhang C,Li Q,Song D.《Aspect-based sentiment classificationwith aspect-specific graph convolutional networks》)：为了利用远程单词依赖，这项工作通过在

句子的依赖树上应用图卷积网络(GCN)来考虑句法信息。

ASCNN(来自Zhang C,Li Q,Song D.《Aspect-based sentiment classificationwith aspect-specific graph convolutional networks》)：这是ASGCN的简化模型，在ASGCN中用2层CNN代替了2层GCN。

BiGCN(Zhang M,Qian T.《Convolution over Hierarchical Syntactic andLexical Graphs for Aspect Level Sentiment Analysis》)：它使用层次图结构来整合单词共现信息和依赖类型信息。

三、评估指标

对于评估，采用准确度(ACC)和宏观平均F1分数(F1)两个指标来衡量基于方面的情感分类的性能。

ACC：准确度衡量所有样本中正确预测样本的百分比。正式定义为：

其中T是预测正确的样本数量，N是总共的样本数量，更高的正确率表明更好的性能。

F1：在这项工作中，使用宏平均F1(来自Peng H,Li J,He Y,et al.《Large-scalehierarchical text classification with recursively regularized deep graph-cnn》)来评估所有不同类别标签的平均F1。它赋予每个标签相同的权重。形式上，宏观平均F1定义为：

其中

TP_t,FP_t,FN_t分别表示在标签集C中第t个标签的真阳性、假阳性和假阴性。

四、实验设置

对于SEDC-GCN，使用300维预训练的GloVe向量(来自Pennington J,Socher R,Manning C D.《Glove:Global vectors for word representation》)初始化词嵌入，位置(即句子中每个词相对于目标方面的相对位置)的维数设置为30。文本序列图中的阈值p设置为2，增强依赖图中PMI的滑动窗口大小设置为3，CoGCN层数设置为3，下面的实验将验证其影响。我们使用Adam作为优化器，学习率为0.003。L2正则化系数为10*5，batch size为16。所有实验均在配备Intel Core CPU I7-9700K 3.6GHz和NVIDIA GeForce RTX 2080TI的硬件上进行。

五、实验结果

性能对比结果如表2所示。本发明的方法(SEDC-GCN)在所有数据集上在评估指标ACC和F1都取得了最佳性能，这证明了我们模型的优越性。具体来说，LSTM方法在五个数据集上获得了最差的结果。MemNet实现了比LSTM更好的性能，因为它利用对上下文词嵌入的多跳注意力来进行句子表示。AOA和IAN这两种方法采用了类似的策略，即它们利用注意力机制来捕捉上下文和目标方面之间的交互信息，并且与MemNet相比，它们表现出更好和有竞争力的性能。TNet-LF方法建议利用特定于目标的转换组件来更好地将目标信息集成到单词表示中。它表现出比上述所有基线更好的性能。ASCNN是ASGCN-DG的简化版本，它使用CNN层代替ASGCN-DG中的GCN层。ASCNN和ASGCN-DG的不同表现表明ASCNN不擅长捕捉上下文词之间的长期依赖关系，而利用依赖树的ASGCN-DG可以有效地保留远程多词句法关系。性能最好的基线方法BiGCN利用分层图结构来集成单词共现信息和依赖树信息。

与所有基线相比，本发明的方法(SEDC-GCN)实现了最佳性能。主要原因是我们开发了一个双通道图编码，可以从两个不同的角度有效地捕捉丰富的结构信息。

表2 所有方法在准确性(ACC)和F1分数(F1)方面的性能比较

六、消融实验

我们进行了消融研究，以研究我们提出的模型中的不同组件如何对整体性能做出贡献。

我们将完整模型SEDC-GCN与其四个变体进行比较：

SEDC-GCN(w/oSeqGCN)：我们从双通道图编码中移除了文本序列图，其中利用文本序列图在一个相对小的窗口内通过相邻词学习表示。

SEDC-GCN(w/oEdepGCN)：我们丢弃了增强的依赖图，它探索从依赖树中提取的句法信息。请注意，增强依赖图的建模对于捕获单词之间的远距离关系很有用。

SEDC-GCN(w/oDual.)：这个变体没有考虑双通道图编码，它从两个不同的角度对结构信息进行建模，即文本序列结构通道和增强的依赖结构通道。

SEDC-GCN(w/oAtten.)：我们用简单的基于检索的注意力(来自Zhang C,Li Q,Song D.《Aspect-based sentiment classification with aspect-specific graphconvolutional networks》)替换了特定于方面的结构注意力。

表3展示了消融研究的结果。首先，从双通道图编码(即SEDC-GCN(w/oSeqGCN))中删除文本序列图会导致所有数据集的性能大幅下降。它验证了通过合理小窗口内的相邻词捕获文本序列信息的有效性。类似地，删除增强依赖图，即SEDC-GCN(w/oEdepGCN)，导致性能显着下降，这揭示了对增强依赖图建模的重要性。

此外，如果移除双通道图编码，性能将显着下降，尤其是在数据集LAPTOP、REST14和REST15上。这是合理的，因为双通道图编码利用了来自文本序列图和增强依赖图的结构信息，即SEDC-GCN(w/oSeqGCN)和SEDC-GCN(w/oEdepGCN)。它还表明，在双通道图编码中探索文本序列图和增强依赖图时，它们在某种程度上是互补的。

最后，移除特定于方面的结构注意力，即SEDC-GCN(w/oAtten.)，导致所有数据集的性能显着下降，这表明使用特定于方面的结构注意力模块的有效性。

表3 在五个数据集上的准确性(ACC)和F1分数(F1)的消融研究结果

七、协同注意力网络层数影响

为了研究双通道图编码中层数的影响，我们研究了SEDC-GCN在图4中从1到8层的性能。我们可以清楚地看到，数据集TWITTER上的性能，它会随着层数的增加而增加，在这两个指标方面都在第3层达到峰值。之后，当进一步增加层数时，它开始逐渐下降。在其他数据集上也观察到类似的结果。

这主要是因为如果我们选择的层数较少，则无法很好地探索来自两个通道(即文本序列通道和增强依赖通道)的结构信息。相反，当我们使用大量层时，可能会导致节点表示的可区分性降低，遭受过度平滑的问题。它表明我们的模型可以在相对较少的层数下实现好的性能。

八、滑动窗口(Window size)大小的影响

在增强依赖图的构建过程中，利用滑动窗口大小来计算单词共现，即如果两个单词出现在滑动窗口中，则将它们视为共现。较大的滑动窗口大小表明即使两个词在序列中彼此相距遥远，也将被认为是相关的。图5显示了SEDC-GCN在所有五个数据集上的性能，窗口大小从1到8不等。从图5可以看到滑动窗口大小影响SEDC-GCN在精度和F1方面的性能。

在五个数据集上，不同滑动窗口大小的精度和F1的变化具有相似的趋势。具体来说，随着滑动窗口大小的增加，SEDC-GCN的性能首先上升，直到窗口大小等于3时达到峰值。当我们不断增加滑动窗口大小时，它开始逐渐下降。这种变化趋势是合理的，因为当滑动窗口尺寸较小时，无法编码足够的词之间的相关信息，导致性能较差。当滑动窗口大小设置为较大值时，可能会引入更多不相关的相关信息，使其任务的效率降低。

九、案例分析

本实验还介绍了一个案例研究，其中包含几个随机抽样的案例。具体来说，我们在表4中将本发明提出的方法SEDC-GCN和两个性能最佳的基线(即ASGCN和BiGCN)生成的注意力分数可视化，以及它们对这些样本和真实标签的相应预测。背景色标表示每个样本中单词的注意力分数，颜色越深代表注意力分数越高。

对于第一个样本中的方面“chinesestyleindianfood”，ASGCN做出了错误的预测，因为它容易注意到与样本中的另一个方面“place”相关的意见词“not”。而BiGCN和我们提出的模型SEDC-GCN有效地关注了方面的相应意见词。

考虑到第二个样本，ASGCN和BiGCN两种基线方法都关注不正确的意见词，例如“bigger”，并且错误地将方面“cd/dvddrive”的情绪预测为“negative”。相比之下，SEDC-GCN主要关注方面词本身，并为给定的方面分配正确的标签“中性”。

最后一个样本“abeautifulatmosphere,perfectfordrinksandappetizers”，它包含两个方面(即“atmosphere”和“drinks”)，具有不同的情感态度。这三种方法都可以正确识别方面的情感“atmosphere”通过更多地关注意见词“beautiful”和“perfect”。但是，考虑到“drinks”方面，ASGCN和BiGCN都在关注“perfect”这个方面的意见时做出了错误的分类，这些词是对“atmosphere”方面的意见，而不是“drinks”。本发明的方法SEDC-GCN对“beautiful”和“perfect”等不相关的意见词给予较少的关注，并正确地将“drinks”方面的情感标签识别为“中性”。这一结果也与不同方面极性表现的实验分析一致，当多个方面的极性不同时，本发明的方法始终比ASGCN和BiGCN表现得更好。

通过上面的比较，我们可以看到本发明的方法SEDC-GCN通过对来自不同通道的丰富结构信息进行有效建模，可以正确地关注特定方面的意见词。

表4 案例分析

结论

本发明提出了方面情感分析模型(SEDC-GCN)其具有一个双通道图编码，从两个不同的角度对结构信息进行建模，即文本序列结构通道和增强依赖结构通道，然后，能够从两个不同的角度获得句子表示，即基于文本编码的语义角度和基于双通道图编码的结构角度。

在五个公开的数据集上进行了广泛的实验，实验结果表明，与最先进的基线方法相比，本发明提出的方法实现了最佳性能。

需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。同时，实施例中公知的具体结构及特性等常识在此未作过多描述。最后，本发明要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.一种基于双通道图卷积网络的方面情感分析方法，其特征在于，包括以下步骤：

S1：获取待分析的目标文本；

S2：将目标文本输入经过预先训练的方面情感分析模型中；

所述方面情感分析模型首先对目标文本进行文本编码，生成文本语义表示；然后基于目标文本构建文本序列图和增强句法依赖图，并基于两种图的结构信息进行建模；再通过多层的CoGCN以相互增强的方式融合两种图的结构信息，生成文本结构表示；最后分别从文本语义表示和文本结构表示中获取句子表示，合并生成最终的特定方面句子表示；

S3：基于特定方面句子表示生成情感标签上的预测概率分布，即为目标文本的方面情感分析结果。

2.如权利要求1所述的基于双通道图卷积网络的方面情感分析方法，其特征在于，通过如下步骤生成文本语义表示：

S201：将目标文本经过预训练词嵌入矩阵，得到对应的词嵌入表示矩阵；

S202：在目标文本中引入绝对距离，得到对应的位置序列；

S203：随机初始化位置的嵌入查询表，将位置序列映射到位置嵌入矩阵；

S204：通过双向LSTM学习目标文本中每个单词的嵌入表示，生成文本语义表示；

其中，单词的嵌入表示通过词嵌入表示和位置嵌入表示拼接得到。

3.如权利要求2所述的基于双通道图卷积网络的方面情感分析方法，其特征在于：

文本语义表示

其中，

预训练词嵌入矩阵：

词嵌入表示矩阵：

位置序列：(a₁,…,a_τ+1,…,a_τ+m,…,a_n)

位置嵌入矩阵：

式中：

分别是前向和后向LSTM的表示；

d_w＝d_e+d_a；[；]表示拼接操作。

4.如权利要求2所述的基于双通道图卷积网络的方面情感分析方法，其特征在于，通过如下步骤生成文本结构表示：

S211：基于目标文本构建对应的文本序列图和增强句法依赖图；

S212：通过文本语义表示初始化文本序列图和增强句法依赖图的节点表示；

S213：通过文本序列结构通道和增强依赖结构通道从文本序列图和增强句法依赖图中获取对应的顺序结构信息和句法依赖结构信息并进行建模；

S214：CoGCN通过协同注意力整合顺序结构信息和句法依赖结构信息，计算和更新文本序列图和增强句法依赖图的表示；

S215：通过门控机制融合文本序列图和增强句法依赖图的表示，生成文本结构表示。

5.如权利要求4所述的基于双通道图卷积网络的方面情感分析方法，其特征在于：步骤S211中，构建增强句法依赖图时，基于全局共现信息引入单词之间正相关信息，以丰富句法依赖结构。

6.如权利要求4所述的基于双通道图卷积网络的方面情感分析方法，其特征在于，文本结构表示的计算公式为：

H^g＝gH^s,(L)+(1-g)H^d,(L)；

其中，g＝σ(W_g[H^s,(L)；H^d,(L)])；

H^s,(L)、H^d,(L)分别为文本序列图和增强句法依赖图的表示；

和

分别为从第l层协同注意力层中文本序列图和增强依赖图学习到的表示；

H^s,(l)和H^d,(l)通过公式H^s,(l),H^d,(l)＝CoAttention(H^s,(l),H^d,(l))更新；

CoAttention表示执行以下公式：

A₁＝softmax(H^s,(l)W₁H^d,(l)T)；

A₂＝softmax(H^d,(l)W₂H^s,(l)T)；

H^s,(l)＝A₂H^d,(l)；

H^d,(l)＝A₁H^s,(l)；

式中：

分别表示从H^d,(l)到H^s,(l)以及H^s,(l)到H^d,(l)的临时对齐矩阵投影；σ表示激活函数；L表示CoGCN的层数；

均表示训练参数。

7.如权利要求4所述的基于双通道图卷积网络的方面情感分析方法，其特征在于，通过如下步骤生成特定方面句子表示：

S221：基于文本语义表示H生成对应的最终语义表示z_sem；

S222：基于文本结构表示H^g生成对应的最终结构表示z_stru；

S223：对最终语义表示z_sem和最终结构表示z_stru进行连接操作，生成特定方面句子表示r；

其中，

式中：

表示连接操作。

8.如权利要求7所述的基于双通道图卷积网络的方面情感分析方法，其特征在于：步骤S221中，首先基于文本语义表示H屏蔽非方面词并保持方面词不变，得到零掩码表示H_{mask_a}；然后在零掩码表示H_{mask_a}上进行最大池化操，得到方面表示

最后检索与方面语义相关的重要特征，并为每个单词设置基于检索的注意力权重，生成最终语义表示z_sem；

其中，H＝(h₁,…,h_τ+1,…,h_τ+m,…,h_n)；

H_{mask_a}＝(0,…,h_τ+1,…,h_τ+m,…,0)；

式中：a_t表示第t个单词在方面的注意力分数，e_i表示第i个单词与方面词的语义相关度。

9.如权利要求7所述的基于双通道图卷积网络的方面情感分析方法，其特征在于：步骤S222中，首先基于文本结构表示H^g从结构角度检索与方面相关的上下文信息，得到零掩码表示H_{mask_b}；然后在H_{mask_b}上进行最大池化操作，得到方面表示

最后检索与方面语义相关的重要特征，并为每个单词设置基于检索的注意力权重，生成最终结构表示z_stru；

其中，

式中：a_t表示第t个单词在方面的注意力分数。

10.如权利要求1所述的基于双通道图卷积网络的方面情感分析方法，其特征在于，步骤S3中，将特定方面句子表示输入全连接层和softmax层，以输出情感标签上的预测概率分布p＝softmax(W_yr+b_y)，

式中：d_y表示情感标签的数量；r表示特定方面句子表示；

分别是可训练参数和偏置。

Images