CN115238075A - 一种基于超图池化的文本情感分类方法 - Google Patents

Abstract

本发明公开了基于超图池化的文本情感分类方法，将文本数据转化为文本超图，然后输入到超图模型中；超图模型设置有三个模块，每个模块均分为卷积层、池化层和读出层，且前一个模块输出的超图数据输入到后一个模块继续计算；超图卷积层通过超图卷积更新节点特征；超图池化层通过多层感知器线性变换得到节点重要度评分，并通过PageRank算法得到超边重要度评分，然后根据综合得分过滤节点；超图读出层读取每个维度节点特征的最大值和平均值，并进行求和；最后，将三个模块的读出层数值求和得到最终的文本超图特征表示，然后送入线性层进行文本情感分类。本发明采用上述文本情感分类方法，能够得到准确的文本情感信息，在情感分类任务中得到良好的表现效果。

Description

一种基于超图池化的文本情感分类方法

技术领域

本发明涉及深度学习技术领域，尤其是涉及基于超图池化的文本情感分类方法。

背景技术

近年来，基于图的深度学习方法受到了研究人员的广泛关注，图神经网络方法也在诸多任务上取得了良好的成绩。在文本情感分类任务中，也有人提出了将文本建模成图结构，然后应用图神经网络的方法实现情感分类。该类方法往往是以单词为节点，将一个句子内的单词两两相连，容易因边数过多消耗巨大内存。还有些研究设定了滑动窗口，将窗口内的单词两两相连，减少了内存消耗，但这样又会割裂句子本身的结构，使得情感信息不准确。

随着超图概念的提出，文本表示有了新的突破。超图由一个节点集和一个超边集组成。其中,每一个超边包含两个及以上的节点，使得超图更适合于表示非两两关系的数据结构。在超图中，仍然以单词为节点，把每个自然句视为一条超边，进而将一个文本用一个超图来进行表达。

传统的图卷积神经网络方法基于图的拉普拉斯矩阵实现卷积运算，该方法并不能直接迁移到超图结构中。最近，超图神经网络(Hypergraph Neural Network， HGNN)使用超图结构进行表示学习，该模型重新定义了在超图上的拉普拉斯矩阵，通过节点和超边卷积运算分别进行特征聚合，进而更好地利用高阶数据相关性学习节点嵌入，在引文网络和视觉对象等超图节点分类任务上取得了良好的效果。此外，还有很多关于超图的研究工作，如动态超图结构学习(Dynamic Hypergraph Structure Learning，DHSL)研究了基于普通图实现的超图结构的构建与动态更新学习；动态超图神经网络框架(Dynamic HypergraphNeural Networks，DHGNN)在每一层上动态地更新超图结构，结合超图卷积运算，对高阶数据关系进行编码。

然而，这些超图神经网络技术都是基于节点维度的研究。在情感分类任务中，若将文本数据建模成超图，本质上只是对文本中所有单词的特征进行一个更新，对于文本超图的特征往往是所有节点特征的简单聚合，这样基于所有单词去分析文本情感的操作，既不利于文本情感的判断，在长文本中又造成数据庞大的问题。因此，目前在情感分类任务中，并没有一种合理有效的方法可以对整个文本超图进行特征表示。

发明内容

为解决上述问题，本发明在超图池化过程中引入评分环节，以对节点进行筛选，在提高分析效率的同时，更准确的找到文本的高阶信息，提高文本超图的情感分类准确度。

为实现上述目的，本发明提出了如下技术方案：

基于超图池化的文本情感分类方法，包括：

S1、超图构建；确定文本数据的单词节点和超边，利用独热向量编码的方式得到单词节点的初始特征矩阵，并确定单词节点与超边的关联矩阵；

S2、超图卷积；对超图的初始特征矩阵和关联矩阵执行卷积操作，从而得到单词节点的更新特征矩阵，即超图的高阶信息；

S3、超图池化；对更新特征矩阵执行池化操作，以确定节点评分；采用节点选择机制保留排名最高的若干个单词节点，并更新超图的特征矩阵和关联矩阵；

S4、超图读出；提取特征矩阵中单词节点在每一特征维度的最大值和平均值的和，来表示池化超图在该维度的特征信息；

S5、情感分类；将超图特征信息送入线性层变换，并输出文本情感分类。

进一步的，超图池化从超图的更新特征矩阵和关联矩阵角度对超图重要度分析；通过多层感知器对更新特征矩阵线性变换得到单词节点的重要度评分，并通过PageRank算法对关联矩阵处理得到超边重要度评分，结合两种分数得到每个节点的最终评分。

进一步的，超图卷积、超图池化、超图读出共同构成超图模型的一个模块，且该模块设置有三个；前一个模块输出的特征矩阵和关联矩阵作为下一个模块的输入，最后通过对三个超度读出的特征信息求和，然后再输入情感分类的线性层进行判断。

本发明采用上述基于超图池化的文本情感分类方法，针对文本超图数据进行下采样操作，通过超图结构传递更新高阶信息，通过池化算法有效提取关键信息，最终得到准确的文本情感信息，在情感分类任务中得到良好的表现效果。

附图说明

图1为本发明实施例的整体流程框架；

图2为本发明实施例中文本超图及其对应的特征矩阵和关联矩阵；

图3为本发明实施例中超图卷积过程的处理示意图；

图4为本发明实施例中超图池化过程的评分示意图；

图5为本发明实施例中节点筛选和筛选后的特征矩阵和关联矩阵；

图6为本发明实施例中超图读出过程的处理示意图。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步说明。

如图所示的基于超图池化的文本情感分类方法，共分为五个阶段进行。

一、超图构建

首先定义超图，超图由一个节点集和一个超边集组成，表示为G＝(V；E)，它包括一个大小为|V|的节点集V和一个大小为|E|的超边集E，其中每一条超边可以连接两个或多个节点。整个超图的结构可以用关联矩阵H表示：

即，对于v∈V的节点v和e∈E的超边e，H(v,e)＝1表示节点v与超边e相连； H(v,e)＝0表示节点v与超边e不相连。

根据上述超图定义，本实施例采取如下方式定义并构建超图：针对每一个文本数据，一个单词表示一个节点，一个句子视为一条超边，超边连接该句子中所有的单词节点，这样每一个文本就构成了一个超图，我们的任务即对文本超图进行情感分类。

例如，文本“这是一部引人入胜的成长题材电影。该影片讲述了一个敏感的小女孩经历了一系列寄养家庭的艰辛历程。电影十分精彩！”，是一篇情感类别为积极的电影影评文本，该文本构造的超图可以由图2(a)表示。首先将中文文本利用分词技术分成单词节点，图中用v0～v24表示，并采取独热向量编码的方式得到单词节点的初始特征矩阵X∈R^n*D，如图2(b)所示，其中n＝|V|＝25,D＝25，即每个节点的输入特征维度为25，X＝{x₀,x₁,x₂,...,x₂₄},x_i∈R^D，x_i表示节点v_i的特征。由于该文本有三个自然句，因此在文本超图中有三条超边，即|E|＝3，分别为e0，e1和e2。该文本超图的关联矩阵H∈R^n*|E|可以表示为图2(c)。

二、超图卷积

根据构造的文本超图，关联矩阵H表示其结构信息，特征矩阵X表示节点的初始特征信息，X和H即为模型的输入。

采用超图神经网络HGNN中定义的超图卷积操作，整个过程可以看作信息在节点-超边-节点上的聚合和传递，因此能够有效地提取超图上的高阶信息，具体表示为：

其中，W∈R^|E|是超边权值的对角矩阵，W表示超边e的权值，W初始化为单位 矩阵；节点v∈V的度数为d(v)＝∑_e∈EW(e)H(v,e)，超边e∈E的度数为 σ(e)＝∑_v∈VH(v,e)。进而所有节点的度矩阵表示为D_v∈R^n*n，所有超边的度矩阵表 示为D_e∈R^|E|*|E|，D_v和D_e都是对角矩阵。

表示超图拉普 拉斯矩阵，Θ∈R^D*D'是模型参数，D'是输出特征维度，通常令D'＜D，σ是校正 线性单元(Rectified Linear Units，ReLU)激活函数，能够有效防止模型过拟合。

针对图2的文本示例，超图卷积层的输出为更新的节点特征表示 X'＝{x'₀,x'₁,x'₂,...,x'₂₄},x'_i∈R^D'表示节点v_i更新后的特征。图3展示了超图卷积层实现根据文本超图结构更新单词节点的特征信息的过程，降低了单词特征维度可以避免模型参数过多，同时使特征表示更贴近文本的含义，并融合其句子内部的信息。

三、超图池化

在超图池化层采用节点选择机制进行节点的筛选，进一步得到池化超图。本实施例采用两种评分函数来进行节点重要度分析，分别是基于节点特征信息的节点评分和基于拓扑结构的超边评分，使得最终评分能够同时考虑超图的节点特征和拓扑结构。

首先，将超图卷积层得到的更新节点特征矩阵X'送入多层感知器(MultilayerPerception，MLP)进行线性变换，计算得到每个节点特征信息的重要度评分：

Score_node＝σ(MLP(X')) (3)

其中，X'∈R^n*D'是超图卷积层的输出，σ是softmax激活函数，目的是使得评分结果分布在0-1之间。Score_node∈R^n*1表示基于节点特征信息的节点评分。

除此之外，进一步根据超图拓扑结构得到超边评分，本实施例采用PageRank 算法来计算，具体流程如下：

首先，利用一维的超图卷积网络得到初始的pr值：

其中，Θ_pr∈R^D'^*1是一维超图卷积网络的参数，σ是sigmoid激活函数，使pr₀分布在[0,1]之间，并相对集中分布。pr₀∈R^n*1表示所有节点的初始pr值。

接下来，分别以每个节点为起点，从该节点开始游走，每游走到一个节点都以一定的概率γ停止游走并从原节点重新开始，或者以1-γ的概率从当前节点连接的节点中按照均匀分布随机选择一个节点继续游走。经过多轮游走之后，每个节点的pr值会趋于稳定，该值表示每一个节点在结构上与其他节点的关联程度。我们令游走轮数为k轮k≥1，假设第k-1轮得到的pr值为pr_k-1，则有：

其中，γ表示停止游走并返回原节点的概率，pr_k-1∈R^n*1为最终经过k轮游走得到的收敛的pr值。

一个节点在结构上与其他节点的关联程度能够反映该节点在结构上的重要程度。为了更好地融合特征重要性和结构重要性，我们根据pr_k和关联矩阵H，进一步得到超边重要度评分Score_edge∈R^|E|*1，每条超边重要性定义为该超边内所有节点pr值的和，因此有：

Score_edge＝sum(H^T*pr_k) (6)

最后，每个节点的最终得分表示为Score_edge和Score_node的结合：

Score＝Score_node⊙sum(H*Score_edge) (7)

其中，⊙表示元素按位相乘，Score∈R^n*1，整个过程意味着每个节点的得分由其自身的特征得分和该节点所在的超边重要性得分之和的乘积表示。

在图2示例文本中，Score_node∈R^25*1表示25个单词特征的重要性得分， Score_edge∈R^3*1表示3个句子在结构上的重要性得分，分值越高意味着该单词或句子对文本情感的判断越重要。Score∈R^25*1表示25个单词在特征和结构上的综合得分，整个得分计算过程如图4所示。

接下来，采用节点选择机制，根据总分Score的值选择保留排名最高的[kn]个节点：

idx＝topk(Score,[kn]) (8)

其中，池化比率k∈(0，1)，它决定池化要保留的节点比率，topk函数返回Score 中分数最高的[kn]个节点的索引id，索引id对应的节点将保留下来，其余节点得分较低，意味着重要度不高，将予以删除。

由于删除节点使得原超图的拓扑结构和节点数发生变化，因此需要根据索引 id更新节点特征和超图拓扑结构，描述为：

其中，X_id，：和Score_id，：分别为根据索引id保留的节点特征矩阵和评分向量，⊙为元素的哈达玛乘积，两者相乘能够对保留节点的重要程度加以区分，进而更好地表示超图。H_id，：为保留节点的关联矩阵，process(·)操作针对以下情况做出不同的处理：

(1)若删除未保留节点，将使池化后的超边不包含任何节点，则池化后的关联矩阵中删除该超边；

(2)其他情况下，只在关联矩阵的对应边中删除未保留节点；

最终，X^out∈R^[kn]*D′和H^out∈R^[kn]*|E|′分别表示池化后超图的特征矩阵和相应的关联矩阵，其中|E|′是池化超图的超边数。

在图2的示例文本中，若选择k＝0.5，则根据Score排名保留前50％的节点，结果如图5(a)所示，其中置灰的单词节点由于对文本情感贡献度不大将被删除。池化超图表示为图5(b)，对应的单词节点数为[kn]＝13，超边数|E|′＝3。其更新的特征矩阵X^out∈R^[kn]*D′和关联矩阵H^out∈R^[kn]*|E|′分别如图5(c)(d)。

四、超图读出

读出层用于聚合池化超图的节点特征信息以生成固定大小的表示。本文采用最大值和平均值操作，提取池化超图中节点在每一特征维度的最大值和平均值的和，来表示池化超图在该维度的特征信息。读出层的输出特性如下式：

其中，N′∈[kn]为池化超图的节点数，

为池化超图第i个节点的特征，h∈R^D′是读出层的输出，即池化超图的特征表示。

针对图2和图5示例文本的超图池化层输出X^out进行最大值和平均值的计算，最终得到池化超图表示h∈R^D′，如图6所示。

五、情感分类(线性层)

本文采用三个模块相连接的架构，连续进行三次超图卷积-池化-读出操作。读出层提取三次池化超图的特征表示，最后对三个读出层的输出求和，以获得最终超图表示：

z＝h₁+h₂+h₃ (11)

其中，h_i表示第i个读出层的输出，z∈R^D′是最终的超图特征表示。

最后将超图特征z送入线性层变换超图特征表示维度为输出类别数，进而进行文本情感分类任务：

Y＝softmax(z*W+b) (12)

其中，W∈R^D′*C和b∈R^C是线性层参数，C是情感分类的类别数目，softmax函数将结果映射到[0,1]区间，Y∈R^C是最终的模型输出，其第i维度的数值表示该文本超图属于C个情感类别中的第i类的概率，进而我们合理地判断每个文本的类别为概率最大的那一类。

图2的示例文本是影评文本，我们可以将情感分为积极和消极两种类别，令积极的情感类别标签为1，消极的标签为0，则该文本标签应为1。模型输出 Y∈R²，当Y[1]的数值大于Y[0]时，判定该文本为积极情感。

以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。

Claims (3)

1.基于超图池化的文本情感分类方法，其特征在于，包括：

S1、超图构建；确定文本数据的单词节点和超边，利用独热向量编码的方式得到单词节点的初始特征矩阵，并确定单词节点与超边的关联矩阵；

S2、超图卷积；对超图的初始特征矩阵和关联矩阵执行卷积操作，从而得到单词节点的更新特征矩阵，即超图的高阶信息；

S3、超图池化；对更新特征矩阵执行池化操作，以确定节点评分；采用节点选择机制保留排名最高的若干个单词节点，并更新超图的特征矩阵和关联矩阵；

S4、超图读出；提取特征矩阵中单词节点在每一特征维度的最大值和平均值的和，来表示池化超图在该维度的特征信息；

S5、情感分类；将超图特征信息送入线性层变换，并输出文本情感分类。

2.根据权利要求1所述的文本情感分类方法，其特征在于，超图池化从超图的更新特征矩阵和关联矩阵角度对超图重要度分析；通过多层感知器对更新特征矩阵线性变换得到单词节点的重要度评分，并通过PageRank算法对关联矩阵处理得到超边重要度评分，结合两种分数得到每个节点的最终评分。

3.根据权利要求2所述的文本情感分类方法，其特征在于，超图卷积、超图池化、超图读出共同构成超图模型的一个模块，且该模块设置有三个；前一个模块输出的特征矩阵和关联矩阵作为下一个模块的输入，最后通过对三个超度读出的特征信息求和，然后再输入情感分类的线性层进行判断。

Images