CN112862015A - 一种基于超图神经网络的论文分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于超图神经网络的论文分类方法及系统。该方法包括：获取向量数据X＝[x₁,x₂,…,x_|v|]；其中，向量数据为目标论文的特征向量，|v|为目标论文作者的数量，x₁,x₂,x_|v|表示目标论文的不同作者；将向量数据输入经训练的超图神经网络模型，得到分类结果，分类结果表示目标论文的类别；其中，超图神经网络模型包括依次连接的若干超图卷积‑池化网络模块和分类模块，超图卷积‑池化网络模块包括超图卷积层和与超图卷积层的输出连接的池化层；超图神经网络模型的训练样本为特征向量样本，标签为论文样本的类别，特征向量样本为由论文样本的作者构成的向量数据。本发明提高了论文分类的效率，同时保障了准确度。

Description

一种基于超图神经网络的论文分类方法及系统

技术领域

本发明涉及论文分类领域，特别是涉及一种基于超图神经网络的论文分类方法及系统。

背景技术

在论文领域，对发表论文内容的具体领域分类是一项十分重要的工作。确定论文的具体类别往往通过人工进行分类，但整个领域内的论文具有数量庞大和结构复杂的特点，使得论文的分类工作异常困难。

发明内容

本发明的目的是提供一种基于超图神经网络的论文分类方法及系统，以提高论文分类的效率。

为实现上述目的，本发明提供了如下方案：

一种基于超图神经网络的论文分类方法，包括：

获取向量数据X＝[x₁,x₂,…,x_|v|]；其中，所述向量数据为目标论文的特征向量，|v|为所述目标论文作者的数量，x₁,x₂,x_|v|表示所述目标论文的不同作者；

将所述向量数据输入经训练的超图神经网络模型，得到分类结果，所述分类结果表示所述目标论文的类别；

其中，所述超图神经网络模型包括依次连接的若干超图卷积-池化网络模块和一个分类模块，所述超图卷积-池化网络模块包括超图卷积层和与所述超图卷积层的输出连接的池化层；所述超图神经网络模型的训练样本为特征向量样本，标签为论文样本的类别，所述特征向量样本为由所述论文样本的作者构成的向量数据。

可选的，所述分类模块包括：分别用于对若干所述超图卷积-池化网络模块的输出进行读取的若干读出层、用于对各所述读出层的输出进行汇聚操作的求和汇聚层以及用于对汇聚层的输出进行分类的线性变换层。

可选的，所述基于超图神经网络的论文分类方法还包括：

获取特征向量样本和所述特征向量样本的标签；

采用所述特征向量样本以及所述标签对所述超图神经网络模型进行训练。

可选的，所述超图卷积层中的超图关联矩阵H中的元素

其中，v表示作者，e表示论文，H(v,e)＝1表示作者v属于论文e，H(v,e)＝0表示作者v不属于论文e。

可选的，所述超图卷积层中的超图拉普拉斯矩阵

其中，D_v为顶点度矩阵，D_e为超边度矩阵，W为权重矩阵，D_v中元素d(v)＝∑_e∈EW(e)H(v,e)，D_e中元素σ(e)＝∑_v∈VH(v,e)，E为超边的集合，V为顶点的集合，W(e)为超边e的权重。

本发明还提供了一种基于超图神经网络的论文分类系统，包括：

向量数据获取单元，用于获取向量数据X＝[x₁,x₂,…,x_|v|]；其中，所述向量数据为目标论文的特征向量，|v|为所述目标论文作者的数量，x₁,x₂,x_|v|表示所述目标论文的不同作者；

分类单元，用于将所述向量数据输入经训练的超图神经网络模型，得到分类结果，所述分类结果表示所述目标论文的类别；其中，所述超图神经网络模型包括依次连接的若干超图卷积-池化网络模块和分类模块，所述超图卷积-池化网络模块包括超图卷积层和与所述超图卷积层的输出连接的池化层；所述超图神经网络模型的训练样本为特征向量样本，标签为论文样本的类别，所述特征向量样本为由所述论文样本的作者构成的向量数据。

可选的，所述分类模块包括：分别用于对若干所述超图卷积-池化网络模块的输出进行读取的若干读出层、用于对各所述读出层的输出进行汇聚操作的求和汇聚层以及用于对汇聚层的输出进行分类的线性变换层。

可选的，向量数据获取单元还用于获取特征向量样本和所述特征向量样本的标签；

所述基于超图神经网络的论文分类系统还包括：

训练单元，用于采用所述特征向量样本以及所述标签对所述超图神经网络模型进行训练。

可选的，所述超图卷积层中的超图关联矩阵H中的元素

其中，v表示作者，e表示论文，H(v,e)＝1表示作者属于论文，H(v,e)＝0表示作者不属于论文。

可选的，所述超图卷积层中的超图拉普拉斯矩阵

其中，D_v为顶点度矩阵，D_e为超边度矩阵，W为权重矩阵，D_v中元素d(v)＝∑_e∈EW(e)H(v,e)，D_e中元素σ(e)＝∑_v∈VH(v,e)，E为超边的集合，V为顶点的集合，W(e)为超边e的权重。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于超图神经网络的论文分类方法及系统，采用超图神经网络对论文进行分类，一方面，实现了对论文的计算机分类，相较于现有技术中的人工分类，提高了分类效率；另一方面，相较于普通的图结构，超图结构能够对论文网络进行更为合适的表示，进而保障了分类的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的基于超图神经网络的论文分类方法的流程示意图；

图2(a)为普通图结构示意图，图2(b)为超图结构示意图；

图3为本发明实施例1中超图神经网络模型的结构示意图；

图4为本发明实施例2提供的基于超图神经网络的论文分类系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于超图神经网络的论文分类方法及系统，以提高论文分类的效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

对本发明涉及到的专业术语进行解释

HGNN：Hypergraph Neural Network，超图神经网络

CNN：Convolutional Neural Network，卷积神经网络

GCN：Graph Convolutional Network，图卷积网络

ReLU：Rectified Linear Units，校正线性单元

topk(X,k)：该函数选择X中最大的k个值，并返回其索引

softmax：该函数对所有数值归一化，映射到0-1区间

实施例1

参见图1，本实施例提供了一种基于超图神经网络的论文分类方法，该方法通过论文作者对论文类别进行分类，具体包括以下步骤：

步骤101：获取向量数据X＝[x₁,x₂,…,x_|v|]；其中，所述向量数据为目标论文的特征向量，|v|为所述目标论文作者的数量，x₁,x₂,x_|v|表示所述目标论文的不同作者。

比如，需要进行分类的目标论文具有5名作者，该目标论文的特征向量则可以表示为X＝[x₁,x₂,x₃,x₄,x₅]，x₁,x₂,x₃,x₄,x₅分别表示该目标论文的5个作者，在该目标论文的超图结构中，x₁,x₂,x₃,x₄,x₅为超图结构的顶点，这五个顶点属于同一个超边，即该目标论文。

步骤102：将所述向量数据输入经训练的超图神经网络模型，得到分类结果，所述分类结果表示所述目标论文的类别。目标论文的类别包括但不限于自然语言处理、图像处理、图神经网络中的一种或几种。

其中，所述超图神经网络模型包括依次连接的若干超图卷积-池化网络模块和一个分类模块，所述超图卷积-池化网络模块包括超图卷积层和与所述超图卷积层的输出连接的池化层；所述超图神经网络模型的训练样本为特征向量样本，标签为论文样本的类别，所述特征向量样本为由所述论文样本的作者构成的向量数据。

本发明采用超图神经网络对论文进行分类，一方面，实现了对论文的计算机分类，相较于现有技术中的人工分类，提高了分类效率，另一方面，采用超图神经网络对论文进行分类保障了分类的准确度，原因是，传统的图卷积神经网络方法(如，GCN)采用的数据结构形式是数据之间的成对连接，但是，对于论文，其数据结构并不是两两关系，比如，一篇5名作者的论文，采用以往图结构在表示论文网络时，由于一条边只能连接两个顶点，参见图2(a)，需要5名作者顶点两两相连，这其中存在两个问题：1)表示整个论文网络的边数将极大，不利于模型训练；2)每条边的含义模糊不清。而超图是由一个顶点集和一个超边集组成的，其中每一个超边包含两个及以上的顶点，如图2(b)所示。超边可以对非两两关系进行建模，也就是说，在超图结构中可以编码高阶的数据相关性。超图结构能够对论文网络进行意义更为明确的表示：同一论文的作者可以用属于同一超边的顶点来表示，超边为该论文，属于这一超边的顶点为该论文的各个作者。由于超图结构能够对论文更合适的表示，因此，基于基于超图神经网络的论文分类的准确度会更有保障。

本发明给出了由于分类的超图神经网络模型的结构形式：超图神经网络模型包括依次连接的若干超图卷积-池化网络模块和分类模块，所述超图卷积-池化网络模块包括超图卷积层和与所述超图卷积层的输出连接的池化层。填补了现有技术中采用超图神经网络在分类问题上的空白。即首先需要通过超图结构和节点、超边的特征，经过卷积网络进行降维运算，然后有效地进行特征聚合(即，池化)，最终输出整个超图的表示，进而得到超图的类别信息。

进一步的，超图神经网络模型具体可如图3所示，超图神经网络模型包括依次连接的若干超图卷积-池化网络模块和分类模块，其中超图卷积-池化网络模块包括超图卷积层和与所述超图卷积层的输出连接的池化层，分类模块可以包括：分别用于对若干所述超图卷积-池化网络模块的输出进行读取的若干读出层、用于对各所述读出层的输出进行汇聚操作的求和汇聚层以及用于对汇聚层的输出进行分类的线性变换层。

作为本实施例的一种实施方式，基于超图神经网络的论文分类方法还包括对超图神经网络模型的训练过程：获取特征向量样本和所述特征向量样本的标签；采用所述特征向量样本以及所述标签对所述超图神经网络模型进行训练。

下面对本发明用于论文分类的神经网络模型的构建过程进行具体的说明：

1)超图构建

定义每篇论文为一个超图，并为其构造类别标签。

构建超图为G＝(V；E；W)，它包括一个大小为|V|的顶点集V，一个大小为|E|的超边集E，每个超边由W分配一个权值，W是边权值的对角矩阵，W(e)表示超边e的权值，初始化为1。接着，构建大小为|V|*|E|的超图关联矩阵H，在H中：

上式中如果顶点v∈V属于超边e∈E，则H(v,e)＝1表示顶点v与超边e相连；如果顶点v不属于超边e，则H(v,e)＝0表示顶点v与超边e不相连。

2)构建超图拉普拉斯矩阵

顶点v∈V的度数为d(v)＝∑_e∈EW(e)H(v,e)，超边e∈E的度数为σ(e)＝∑_v∈VH(v,e)，进而构造出所有顶点的度矩阵D_v∈R^|V|x|V|和所有超边的度矩阵D_e∈R^|E|x|E|，D_v和D_e都是对角矩阵。

表示超图拉普拉斯矩阵，Δ∈R^|V|*|V|，其中H^T表示关联矩阵H的转置。

采用独热向量的方式为整个超图中的每个顶点(即作者)进行初始编码作为原始特征。这里用X＝[x₁,x₂,…,x_|v|]表示超图中的顶点特征，其中X∈R^|V|*d，每个顶点都有d维的特征，x_i表示顶点i的特征，i∈{1,2…,|V|}。顶点特征X和超图拉普拉斯矩阵Δ作为输入送到超图卷积网络层，再经过非线性变换，得到输出X’：

其中，Θ是可学习的参数，σ是ReL激活函数，输出的X’∈R^|V|*d’，d’是输出维度。

3)超图池化

在池化层，同时考虑了超图的顶点特征和拓扑结构。首先利用图卷积来计算衡量顶点重要程度的自注意分数：

其中，X∈R^|V|*d’是上一层式(2)中得到的超图卷积层的输出，Θ_att∈R^d’*1是自注意卷积网络的可学习参数，σ是ReLU激活函数，得到分数Z∈R^|V|*1。

设置池化比率k∈(0,1)是一个超参数，它决定每一次池化要保留的节点比率。根据分数Z的值选择排名最高的[kN]个节点。

idx＝topk(Z,[kN]) (4)

其中，topk函数返回Z中分数最高的kN个顶点的索引idx。

由于池化操作使顶点特征和拓扑结构发生了改变，因此在输入到下一层卷积之前，需要对顶点特征X和关联矩阵H进行更新。

X_out＝X_idx,：⊙Z_mask,H_out＝H_idx,idx (5)

其中X_idx,:为行向(即节点向)索引特征矩阵，⊙为元素的哈达玛乘积，Z_mask是指对所有顶点分数Z通过idx进行索引操作之后得到的特征注意掩码，X_out即更新后的特征矩阵。H_idx,idx表示根据idx进行索引操作之后得到的关联矩阵，具体来说：在关联矩阵中，若顶点不在被选择的idx中，则删除该顶点的一行；若超边中包含idx之外的顶点，为了不改变超边的实际含义，删除整条超边。H_out即更新后的关联矩阵。

4)读出层、求和汇聚和线性变换层

读出层用于聚合超图卷积-池化后的节点特征以生成固定大小的表示。读出层的输出特性如下式：

其中N为该层节点数，x_i为第i个节点的特征向量，||为连接操作，连接该层输出节点特征的平均值和最大值。

将每一个超图卷积-池化模块的输出结果特征X_out(由式(5)得出)分别送入一个读出层，然后作求和汇聚操作，即对三个张量按位求和：

上式定义三个读出层的输出为

得到汇总后的特征

最后，将

输入到线性变换层，得到用于分类的输出特征表示：

其中W和b是可学习的参数，Y∈R^|V|*C，C是分类的类别数目，softmax函数将结果映射到0-1区间，表示最终超图的分类类别概率。

实施例2

参见图4，本实施例提供的基于超图神经网络的论文分类系统包括：

向量数据获取单元401，用于获取向量数据X＝[x₁,x₂,…,x_|v|]；其中，所述向量数据为目标论文的特征向量，|v|为所述目标论文作者的数量，x₁,x₂,x_|v|表示所述目标论文的不同作者；

分类单元402，用于将所述向量数据输入经训练的超图神经网络模型，得到分类结果，所述分类结果表示所述目标论文的类别；其中，所述超图神经网络模型包括依次连接的若干超图卷积-池化网络模块和分类模块，所述超图卷积-池化网络模块包括超图卷积层和与所述超图卷积层的输出连接的池化层；所述超图神经网络模型的训练样本为特征向量样本，标签为论文样本的类别，所述特征向量样本为由所述论文样本的作者构成的向量数据。

其中，所述分类模块包括：分别用于对若干所述超图卷积-池化网络模块的输出进行读取的若干读出层、用于对各所述读出层的输出进行汇聚操作的求和汇聚层以及用于对汇聚层的输出进行分类的线性变换层。超图卷积层中的超图关联矩阵H中的元素

其中，v表示作者，e表示论文，H(v,e)＝1表示作者属于论文，H(v,e)＝0表示作者不属于论文。超图卷积层中的超图拉普拉斯矩阵

其中，D_v为顶点度矩阵，D_e为超边度矩阵，W为权重矩阵，D_v中元素d(v)＝∑_e∈EW(e)H(v,e)，D_e中元素σ(e)＝∑_v∈VH(v,e)，E为超边的集合，V为顶点的集合，W(e)为超边e的权重

作为本实施例的一种实施方式，所述基于超图神经网络的论文分类系统还包括：训练单元，所述训练单元在向量数据获取单元401获取特征向量样本和所述特征向量样本的标签之后，采用所述特征向量样本以及所述标签对所述超图神经网络模型进行训练。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于超图神经网络的论文分类方法，其特征在于，包括：

获取向量数据X＝[x₁,x₂,…,x_|v|]；其中，所述向量数据为目标论文的特征向量，|v|为所述目标论文作者的数量，x₁,x₂,x_|v|表示所述目标论文的不同作者；

将所述向量数据输入经训练的超图神经网络模型，得到分类结果，所述分类结果表示所述目标论文的类别；

其中，所述超图神经网络模型包括依次连接的若干超图卷积-池化网络模块和一个分类模块，所述超图卷积-池化网络模块包括超图卷积层和与所述超图卷积层的输出连接的池化层；所述超图神经网络模型的训练样本为特征向量样本，标签为论文样本的类别，所述特征向量样本为由所述论文样本的作者构成的向量数据。

2.根据权利要求1所述的基于超图神经网络的论文分类方法，其特征在于，所述分类模块包括：分别用于对若干所述超图卷积-池化网络模块的输出进行读取的若干读出层、用于对各所述读出层的输出进行汇聚操作的求和汇聚层以及用于对汇聚层的输出进行分类的线性变换层。

3.根据权利要求1所述的基于超图神经网络的论文分类方法，其特征在于，所述基于超图神经网络的论文分类方法还包括：

获取特征向量样本和所述特征向量样本的标签；

采用所述特征向量样本以及所述标签对所述超图神经网络模型进行训练。

4.根据权利要求1所述的基于超图神经网络的论文分类方法，其特征在于，所述超图卷积层中的超图关联矩阵H中的元素

其中，v表示作者，e表示论文，H(v,e)＝1表示作者v属于论文e，H(v,e)＝0表示作者v不属于论文e。

5.根据权利要求4所述的基于超图神经网络的论文分类方法，其特征在于，所述超图卷积层中的超图拉普拉斯矩阵

其中，D_v为顶点度矩阵，D_e为超边度矩阵，W为权重矩阵，D_v中元素d(v)＝∑_e∈EW(e)H(v,e)，D_e中元素σ(e)＝∑_v∈VH(v,e)，E为超边的集合，V为顶点的集合，W(e)为超边e的权重。

6.一种基于超图神经网络的论文分类系统，其特征在于，包括：

向量数据获取单元，用于获取向量数据X＝[x₁,x₂,…,x_|v|]；其中，所述向量数据为目标论文的特征向量，|v|为所述目标论文作者的数量，x₁,x₂,x_|v|表示所述目标论文的不同作者；

分类单元，用于将所述向量数据输入经训练的超图神经网络模型，得到分类结果，所述分类结果表示所述目标论文的类别；其中，所述超图神经网络模型包括依次连接的若干超图卷积-池化网络模块和分类模块，所述超图卷积-池化网络模块包括超图卷积层和与所述超图卷积层的输出连接的池化层；所述超图神经网络模型的训练样本为特征向量样本，标签为论文样本的类别，所述特征向量样本为由所述论文样本的作者构成的向量数据。

7.根据权利要求6所述的基于超图神经网络的论文分类系统，其特征在于，所述分类模块包括：分别用于对若干所述超图卷积-池化网络模块的输出进行读取的若干读出层、用于对各所述读出层的输出进行汇聚操作的求和汇聚层以及用于对汇聚层的输出进行分类的线性变换层。

8.根据权利要求6所述的基于超图神经网络的论文分类系统，其特征在于，向量数据获取单元还用于获取特征向量样本和所述特征向量样本的标签；

所述基于超图神经网络的论文分类系统还包括：

训练单元，用于采用所述特征向量样本以及所述标签对所述超图神经网络模型进行训练。

9.根据权利要求6所述的基于超图神经网络的论文分类系统，其特征在于，所述超图卷积层中的超图关联矩阵H中的元素

其中，v表示作者，e表示论文，H(v,e)＝1表示作者属于论文，H(v,e)＝0表示作者不属于论文。

10.根据权利要求9所述的基于超图神经网络的论文分类系统，其特征在于，所述超图卷积层中的超图拉普拉斯矩阵

其中，D_v为顶点度矩阵，D_e为超边度矩阵，W为权重矩阵，D_v中元素d(v)＝∑_e∈EW(e)H(v,e)，D_e中元素σ(e)＝∑_v∈VH(v,e)，E为超边的集合，V为顶点的集合，W(e)为超边e的权重。

Images