CN113641820A - 基于图卷积神经网络的视角级文本情感分类方法及系统 - Google Patents

Abstract

本发明涉及一种基于图卷积神经网络的视角级文本情感分类系统及方法，包括：文本预处理模块，用于对视角级文本进行特征化处理；文本语义信息获取模块，用于捕获文本的双向语义依赖关系；注意力编码模块，用于捕获文本单词序列的全局内部相关性，并进行进一步信息整合；图卷积神经网络模块，将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词；情感类别输出模块，用分类函数得到文本最终的情感分类结果。本发明可以有效发挥图卷积网络的作用，能够利用图卷积神经网络通过语义依赖树来建模句子结构，得到更好的文本情感特征表示。

Description

基于图卷积神经网络的视角级文本情感分类方法及系统

技术领域

本发明涉及文本分析领域，具体涉及一种基于图卷积神经网络的视角级文本情感分类方法及系统。

背景技术

以往的情感分析对象以句子或文档为主，并取得了很好的成果，但是在真实的应用场景中一段文本的情感简单使用(积极、消极和中立)无法准确表达文本的真实情感。以评论“这个手机价格很便宜，但是像素不高”为例，该评论是对一个手机进行了整体描述，但是从文档级或句子级做情感分析，无法判别评论的情感极性。视角级文本情感分析是情感分析中的一项细粒度任务，旨在研究每个视角词在文本中所表达的情感极性。上述评论对于两个不同的视角词“价格”和“像素”，所表现出来的情感极性分别是积极和消极。视角级文本情感分析可以准确把握用户针对不同方面的情感信息，能够提供比文档级或句子级更全面、更深入的分析。于是视角级文本情感分析逐渐受到了广泛关注，成为研究热点之一。

发明内容

有鉴于此，本发明的目的在于提供一种基于图卷积神经网络的视角级文本情感分类方法及系统，能够对视角级文本进行特征化处理，并从文本中提取语义特征，然后通过多层图卷积神经网络，得到最终的分类结果。

为实现上述目的，本发明采用如下技术方案：

一种基于图卷积神经网络的视角级文本情感分类方法，包括以下步骤：

步骤S1:获取待分类文本数据，并进行预处理；

步骤S2:采用BiLSTM捕获预处理后文本数据的双向语义依赖关系；

步骤S3:采用多头自注意力机制来捕获文本单词序列的全局内部相关性，并通过逐点卷积变换，进一步进行信息整合；

步骤S4:将GCN直接作用于句子依存关系树来建模句子结构，将视角词附近的知识信息聚合到视角词，再屏蔽掉非视角词的隐藏状态向量，通过平均池化操作来保留视角词向量中的信息，得到最终的文本情感特征向量表示；

步骤S5:采用softmax函数对得到的最终的文本情感特征向量表示进行处理，将概率最大的类别作为该文本表示的情感类别预测值。

进一步的，所述步骤S1具体为：

步骤S11:对待分类文本数据进行分词处理，接着通过Glove将文本数据从文本形式映射成低维稠密向量；

步骤S12:采用斯坦福的句法分析器对文档中的句子进行依存句法分析并进行词性标注；

步骤S13:将通过Glove得到的词嵌入向量与词性标签嵌入向量以及位置嵌入向量拼接起来作为初始文本向量。

进一步的，所述步骤S3具体为：通过以下公式计算多头自注意力机制的输出H^intra：

H^intra＝MHA(H^*，H^*)；

式中，H^*表示BiLSTM的输出，；表示向量连接，

表示第i个注意力头的输出，W_mh表示待学习的权重参数矩阵；

通过以下公式计算注意力头的输出：

Attention(k，q)＝softmax(f_s(k，q))k；

f_s(k_i，q_j)＝tanh([k_i；q_j]·W_att)；

式中，f_s表示学习k_i和q_j之间语义相关性的得分函数，W_att表示待学习的权重参数矩阵；

逐点卷积变换(PCT)可以变换多头自注意力收集到的上下文信息；逐点卷积变换的计算公式如下：

式中，σ(·)表示ELU激活函数，*表示卷积运算，

表示两个卷积核待学习的权重参数矩阵，

表示两个卷积核待学习的权重参数向量；

将逐点卷积变换应用于多头自注意力的输出H^intra，得到向量表示H^c：

H^c＝PCT(H^intra)；

进一步的，所述步骤S4具体为：将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词；

设任意句子的依存关系树G都表示为n*n的邻接矩阵A，若节点i到节点j有边，则A_ij＝1，否则A_ij＝0；再者将每个单词都设置为与其自身相邻，即A_ii＝1；如图3所示为句子的邻接矩阵示例，邻接矩阵为二维对称矩阵，行和列的长度为句子的长度；

单个节点嵌入更新计算公式如下所示:

其中，

cⁱ＝1/d_i；

式中，A_ij表示句子的邻接矩阵，d_i表示节点i的度数，cⁱ表示归一化常数，

表示ReLU激活函数，

表示节点j在第k层GCN的隐藏向量表示，W^(k)表示第k层GCN待学习的权重参数矩阵，b^(k)表示第k层GCN待学习的权重参数向量。注意，GCN的初始输入

为注意力编码模块的输出向量，

表示节点i在第k层的最终输出；

进一步屏蔽掉非视角词的隐藏状态向量，

计算公式如下所示：

式中，t表示视角词的位置，m表示视角词的长度，n表示句子长度。

再通过平均池化操作来保留视角词向量中大部分信息，得到最终的文本情感特征向量表示h_a，计算公式如下所示：

式中，f(·)表示平均池化函数。

进一步的，所述步骤S5具体为:采用softmax函数对最终的文本情感特征向量表示h_a进行处理，将概率最大的类别作为对应文本表示的情感类别预测值，计算公式如下：

y＝softmax(W_oh_a+b_o)；

式中，y表示情感类别预测值，W_o表示需要学习的权重参数矩阵，b_o表示需要学习的权重参数向量。

一种基于图卷积神经网络的视角级文本情感分类系统，包括：

文本预处理模块，用于对视角级文本进行特征化处理；

文本语义信息获取模块，用于捕获文本的双向语义依赖关系；

注意力编码模块，用于捕获文本单词序列的全局内部相关性，并进行进一步信息整合；

图卷积神经网络模块，将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词；

情感类别输出模块，用分类函数得到文本最终的情感分类结果。

本发明与现有技术相比具有以下有益效果：

本发明基于依赖树，可以有效发挥图卷积网络的作用，能够利用图卷积神经网络通过语义依赖树来建模句子结构，得到更好的文本情感特征表示。

附图说明

图1是本发明一实施例中系统框架示意图；

图2是本发明一实施例中依存句法分析示例图

图3是本发明一实施例中句子的邻接矩阵示例表。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于图卷积神经网络的视角级文本情感分类系统，包括：

文本预处理模块，用于对视角级文本进行特征化处理；

文本语义信息获取模块，用于捕获文本的双向语义依赖关系；

注意力编码模块，用于捕获文本单词序列的全局内部相关性，并进行进一步信息整合；

图卷积神经网络模块，将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词；

情感类别输出模块，用分类函数得到文本最终的情感分类结果。

优选的，在本实施例中，文本预处理模块得到初始文本向量具体如下：

首先对源文本进行分词处理，接着通过Glove将文本数据从文本形式映射成低维稠密向量。

再采用斯坦福的句法分析器对文档中的句子进行依存句法分析并进行词性标注。

依存句法分析是按照依存关系对句子中的词语进行分析，句子中的任意两个词之间都存在着某种支配(head)和被支配关系。这种词语之间的关系按照依赖关系按层递进，直到根节点。由于词语之间的关系是有向的，因此句法分析的结果是有向的依存关系图。词性标注是为分词结果中的每个单词标注一个正确的词性，即确定每个词是名词、动词、形容词或其他词性的过程。因为不同词性的单词对文本语义含义的贡献是不同的。如图2所示为依存句法分析得到的结果，句子下方的标注为词性标签，如形容词horrible就比限定词the对文本语义的贡献更大。连线则表示词语之间存在着依存关系。通常认为一个更靠近视角词的上下文词应该比一个更远的上下文词更重要，对视角级情感分类起到的作用更大。传统的方法通常根据上下文词到视角的相对距离来生成位置信息，而本发明根据依存关系树得到词之间的位置信息，可以看到视角词staff与观点词horrible之间的距离大大缩短，有利于视角级文本情感分类。

最后将通过Glove得到的词嵌入向量与词性标签嵌入向量以及位置嵌入向量拼接起来作为初始文本向量。

优选的，在本实施例中，文本语义信息获取模块利用BiLSTM从文本提取语义特征，解决长短时记忆网络(LSTM)无法编码从后到前的信息的问题，从而更好的捕捉双向的语义依赖。BiLSTM模型通过输入门、遗忘门和输出门进行参数化，控制递归操作中的信息流。为了简洁起见，下面省略了BiLSTM的技术细节，这些细节可以在许多相关的工作中找到，简洁操作描述如下：

其中

和

分别为单词向量w_i的前向隐藏状态和后向隐藏状态。H^*为隐藏向量序列，其中n表示句子长度。

优选的，在本实施例中，注意力编码模块采用多头自注意力机制来捕获文本单词序列的全局内部相关性，再通过PCT逐点卷积变换，进行进一步信息整合。

具体而言，通过以下公式计算多头自注意力机制的输出H^intra：

H^intra＝MHA(H^*，H^*)；

式中，H^*表示BiLSTM的输出，；表示向量连接，

表示第i个注意力头的输出，W_mh表示待学习的权重参数矩阵；

通过以下公式计算注意力头的输出：

Attention(k，q)＝softmax(f_s(k，q))k；

f_s(k_i，q_j)＝tanh([k_i；q_j]·W_att)；

式中，f_s表示学习k_i和q_j之间语义相关性的得分函数，W_att表示待学习的权重参数矩阵；

逐点卷积变换(PCT)可以变换多头自注意力收集到的上下文信息。逐点意味着卷积核大小为1，并且相同的转换应用于输入的每个向量。逐点卷积变换的计算公式如下：

式中，σ(·)表示ELU激活函数，*表示卷积运算，

表示两个卷积核待学习的权重参数矩阵，

表示两个卷积核待学习的权重参数向量。

将逐点卷积变换应用于多头自注意力的输出H^intra，得到最终的向量表示H^c：

H^c＝PCT(H^intra)；

优选的，在本实施例中，图卷积神经网络模块将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词。依存关系树可以解释为一个有着n个节点的图G，其中节点代表句子中的单词，边代表图中单词之间的依存路径。依存关系树是有向图，但本发明研究无向图，因此不考虑词语之间支配关系的方向。此模块依存关系树的节点为上一模块注意力编码模块的输出向量。这种结构使得GCN可以直接在图上操作，以模拟单词之间存在的依赖关系。

任意句子的依存关系树G都可以表示为n*n的邻接矩阵A。若节点i到节点j有边，则A_ij＝1，否则A_ij＝0。再者将每个单词都设置为与其自身相邻，即A_ii＝1。如图3所示为句子的邻接矩阵示例，邻接矩阵为二维对称矩阵，行和列的长度为句子的长度。

GCN能够有效地利用依赖路径来转换和传播路径上的信息，并通过聚合传播的信息来更新节点嵌入。在这样的操作中，GCN在建模其嵌入时只考虑节点的一阶邻域。然而，k个连续的GCN运算导致信息在k阶邻域内传播。单个节点嵌入更新计算公式如下所示:

其中，

cⁱ＝1/d_u；

式中，A_ij表示句子的邻接矩阵，d_i表示节点i的度数，Cⁱ表示归一化常数，

表示ReLU激活函数，

表示节点j在第k层GCN的隐藏向量表示，W^(k)表示第k层GCN待学习的权重参数矩阵，b^(k)表示第k层GCN待学习的权重参数向量。注意，GCN的初始输入

为注意力编码模块的输出向量，

表示节点i在第k层的最终输出。

在提取分类任务的最终文本情感特征表示时，我们选择屏蔽掉非视角词的隐藏状态向量，因为通过多层GCN已经将视角词附近的知识信息聚合到了视角词，若再选取其他部分可能会增加不必要的噪声。计算公式如下所示：

式中，t表示视角词的位置，m表示视角词的长度，n表示句子长度。

再通过平均池化操作来保留视角词向量中大部分信息，得到最终的向量表示h_a，计算公式如下所示：

式中，f(·)表示平均池化函数。

优选的，在本实施例中，情感类别输出模块采用softmax函数对得到的视角级文本情感特征表示h_a进行处理，将概率最大的类别作为对应文本表示的情感类别预测值，计算公式如下：

y＝softmax(W_oh_a+b_o)；

式中，y表示情感类别预测值，W_o表示需要学习的权重参数矩阵，b_o表示需要学习的权重参数向量。

优选的，在本实施例中，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算预测结果与实际情感标签的误差，利用随机梯度下降法和反向传播对整个系统的参数进行更新与优化；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。

优选的，在本实施例中，还提供一种基于图卷积神经网络的视角级文本情感分类方法，包括以下步骤：

步骤S1:获取待分类文本数据，并进行预处理；

步骤S2:采用BiLSTM捕获预处理后文本数据的双向语义依赖关系；

步骤S3:采用多头自注意力机制来捕获文本单词序列的全局内部相关性，并通过逐点卷积变换，进一步进行信息整合；

步骤S4:将GCN直接作用于句子依存关系树来建模句子结构，将视角词附近的知识信息聚合到视角词，再屏蔽掉非视角词的隐藏状态向量，通过平均池化操作来保留视角词向量中的信息，得到最终的文本情感特征向量表示；

步骤S5:采用softmax函数对得到的最终的文本情感特征向量表示进行处理，将概率最大的类别作为该文本表示的情感类别预测值。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于图卷积神经网络的视角级文本情感分类方法，其特征在于，包括以下步骤：

步骤S1:获取待分类文本数据，并进行预处理；

步骤S2:采用BiLSTM捕获预处理后文本数据的双向语义依赖关系；

步骤S3:采用多头自注意力机制来捕获文本单词序列的全局内部相关性，并通过逐点卷积变换，进一步进行信息整合；

步骤S4:将GCN直接作用于句子依存关系树来建模句子结构，将视角词附近的知识信息聚合到视角词，再屏蔽掉非视角词的隐藏状态向量，通过平均池化操作来保留视角词向量中的信息，得到最终的文本情感特征向量表示；

步骤S5:采用softmax函数对得到的最终的文本情感特征向量表示进行处理，将概率最大的类别作为该文本表示的情感类别预测值。

2.根据权利要求1所述的基于图卷积神经网络的视角级文本情感分类方法，其特征在于，所述步骤S1具体为：

步骤S11:对待分类文本数据进行分词处理，接着通过Glove将文本数据从文本形式映射成低维稠密向量；

步骤S12:采用斯坦福的句法分析器对文档中的句子进行依存句法分析并进行词性标注；

步骤S13:将通过Glove得到的词嵌入向量与词性标签嵌入向量以及位置嵌入向量拼接起来作为初始文本向量。

3.根据权利要求1所述的基于图卷积神经网络的视角级文本情感分类方法，其特征在于，所述步骤S3具体为：通过以下公式计算多头自注意力机制的输出H^intra：

H^intra＝MHA(H^*，H^*)；

式中，H^*表示BiLSTM的输出，；表示向量连接，

表示第i个注意力头的输出，W_mh表示待学习的权重参数矩阵；

通过以下公式计算注意力头的输出：

Attention(k，q)＝softmax(f_s(k，q))k；

f_s(k_i，q_j)＝tanh([k_i；q_j]·W_att)；

式中，f_s表示学习k_i和q_j之间语义相关性的得分函数，W_att表示待学习的权重参数矩阵；

逐点卷积变换(PCT)可以变换多头自注意力收集到的上下文信息；逐点卷积变换的计算公式如下：

式中，σ(·)表示ELU激活函数，*表示卷积运算，

表示两个卷积核待学习的权重参数矩阵，

表示两个卷积核待学习的权重参数向量；

将逐点卷积变换应用于多头自注意力的输出H^intra，得到向量表示H^c：

H^c＝PCT(H^intra)；

4.根据权利要求1所述的基于图卷积神经网络的视角级文本情感分类方法，其特征在于，所述步骤S4具体为：将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词；

设任意句子的依存关系树G都表示为n*n的邻接矩阵A，若节点i到节点j有边，则A_ij＝1，否则A_ij＝0；再者将每个单词都设置为与其自身相邻，即A_ii＝1；邻接矩阵为二维对称矩阵，行和列的长度为句子的长度；

单个节点嵌入更新计算公式如下所示:

其中，

cⁱ＝1/d_i；

式中，A_ij表示句子的邻接矩阵，d_i表示节点i的度数，cⁱ表示归一化常数，

表示ReLU激活函数，

表示节点j在第k层GCN的隐藏向量表示，W^(k)表示第k层GCN待学习的权重参数矩阵，b^(k)表示第k层GCN待学习的权重参数向量。注意，GCN的初始输入

为注意力编码模块的输出向量，

表示节点i在第k层的最终输出；

进一步屏蔽掉非视角词的隐藏状态向量，

计算公式如下所示：

式中，t表示视角词的位置，m表示视角词的长度，n表示句子长度。

再通过平均池化操作来保留视角词向量中大部分信息，得到最终的文本情感特征向量表示h_a，计算公式如下所示：

式中，f(·)表示平均池化函数。

5.根据权利要求1所述的基于图卷积神经网络的视角级文本情感分类方法，其特征在于，所述步骤S5具体为:采用softmax函数对最终的文本情感特征向量表示h_a进行处理，将概率最大的类别作为对应文本表示的情感类别预测值，计算公式如下：

y＝softmax(W_oh_a+b_o)；

式中，y表示情感类别预测值，W_o表示需要学习的权重参数矩阵，b_o表示需要学习的权重参数向量。

6.一种基于图卷积神经网络的视角级文本情感分类系统，其特征在于，包括：

文本预处理模块，用于对视角级文本进行特征化处理；

文本语义信息获取模块，用于捕获文本的双向语义依赖关系；

注意力编码模块，用于捕获文本单词序列的全局内部相关性，并进行进一步信息整合；

图卷积神经网络模块，将GCN直接作用于句子依存关系树来建模句子结构，可将上下文和依赖信息从观点词传播到视角词；

情感类别输出模块，用分类函数得到文本最终的情感分类结果。

Images