CN109492691A

CN109492691A - 一种超图卷积网络模型及其半监督分类方法

Info

Publication number: CN109492691A
Application number: CN201811318538.1A
Authority: CN
Inventors: 孙玉宝; 徐宏伟; 刘青山; 陈基伟; 陈逸
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2018-11-07
Filing date: 2018-11-07
Publication date: 2019-03-19

Abstract

本发明提供一种超图卷积网络模型及其半监督分类方法包括如下步骤：包括如下步骤：步骤1：对非欧式结构的样本数据特征进行稀疏编码，形成样本表示系数矩阵；步骤2：依据样本的相似性构建超边，计算超边权重，构建超图模型；步骤3：借助于超图谱理论，定义超图上的卷积运算，构建超图卷积网络模型；步骤4：定义超图卷积网络上的半监督学习方法，设计损失函数，旨在利用少量标定样本的类别信息，预测所有样本的类别标签；步骤5：分别制作训练、验证和测试的半给定标签矩阵，设置网络超参数，训练网络模型，依据随机梯度下降算法学习网络的卷积核以及正则性因子参数；步骤6：对于给定数据，用训练好的模型预测未知的样本类别，实现半监督分类。

Description

一种超图卷积网络模型及其半监督分类方法

技术领域

本发明属于数据信息处理技术领域，具体的涉及一种超图卷积网络模型及其半监督分类方法。

背景技术

最近深度卷积神经网络在机器学习、计算机视觉等任务中取得了很大的成功，其中主要原因是各网络层其中定义的离散卷积操作，计算中心像素点以及相邻像素点的加权和来实现图像空间特征的提取，通过在训练过程中优化各层的卷积核参数，使得网络能够自适应学习图像的深度特征，所以卷积神经网络能够在各种识别任务中得到广泛的应用。

经典的深度卷积网络处理的通常是具有规整近邻结构的欧式结构数据，如图像、视频等，然而在现实问题中，还有很多具有非规整近邻结构的数据，比如社交网络，信息网络、基因数据、蛋白质结构、交通路网等等，往往具有复杂的拓扑结构，不同样本具有不同的近邻个数，经典的卷积神经网络并不能够有效分析这类非欧式结构数据。

超图模型将数据样本间的拓扑结构表示为顶点及其多个关联顶点间的超边连接，是表示非欧结构数据间关联关系的一个有效工具。相比于两两连接的图模型而言，超图模型将具有相似属性的顶点共同纳入一个超边，比如在科技论文引用关系网络中，可将当前论文和所有引用该论文的其他论文共同纳入一个超边，从而可以有效表示样本间的高阶复杂关联关系。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种超图卷积网络模型及其半监督分类方法，建立超图上的深度学习模式，形成多层的自适应特征学习与表示方法。

为达成上述目的，本发明采用如下技术方案：一种超图卷积网络模型及其半监督分类方法包括如下步骤：

步骤1：对非欧式结构的样本数据特征进行稀疏编码，形成样本表示系数矩阵；

步骤2：依据样本的相似性构建超边，计算超边权重，构建超图模型；

步骤3：借助于超图谱理论，定义超图上的卷积运算，构建超图卷积网络模型；

步骤4：定义超图卷积网络上的半监督学习方法，设计损失函数，利用少量标定样本的类别信息，预测所有样本的类别标签；

步骤5：分别制作训练、验证和测试的半给定标签矩阵，设置超参数，利用随机梯度下降算法训练网络模型的卷积核参数以及正则性因子参数；

步骤6：对于给定数据，用训练好的模型预测未知的样本类别，实现半监督分类。

优选地，步骤3包括如下步骤：

步骤3.1：借助于超图谱理论，在频域定义超图上的卷积预算，并进一步简化卷积运算操作，只需中心节点以及一阶近邻节点参与卷积操作，以有效降低运算复杂度；

步骤3.2：在超图上级联卷积滤波操作，引入非线性激活函数，定义超图上的深度卷积操作，通过多个卷积层的叠加处理，形成样本特征的逐层抽象表达，实现特征的自适应学习与表示。

优选地，步骤4包括如下步骤：

步骤4.1：定义超图卷积网络上的半监督学习方法，在网络的最后级联softmax层输出分类结果，

步骤4.2：建立半监督分类任务定义损失函数，如交叉熵，约束在标定样本上网络预测的分类标签与真实标签保持一致。

优选地，在步骤2中，依据样本的表示系数矩阵计算样本间的相似性，构建超边，计算超边权重，进而构建超图模型G＝(V,E,w)，其中V为顶点集合，E为超边集合，w为超边权重，计算超图的拉普拉斯矩阵其中D_v为顶点的度矩阵，D_e为超边的度矩阵，H为超图的入射矩阵，表示各超边的构成，A为超边权重构成的对角矩阵。

相较于现有技术，本发明提供的技术方案具有如下有益效果：

本发明提出的超图卷积网络模型及其半监督分类方法中，对于非欧式结构的数据构建超边，拟建超图模型，借助图谱理论定义超图上的卷积运算，构建深度超图卷积网络，在网络中设计图形结构化数据的半监督分类方法，对于超图中的每个节点，首先将该节点原始的特征转化为所有包含该节点的超边内的所有节点的融合特征，通过层级的卷积运算提取节点的高阶特征，再结合半监督学习任务构建损失函数并进行训练，最终训练完的模型可用于实现目标数据集的半监督分类。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明提供的超图卷积网络模型及其半监督分类方法的流程示意图；

图2是半监督节点分类的超图卷积模型的示意图。

图3是超图卷积模型中实现节点半监督分类的形象示意图。

图4是本方法(HGCN)与其他方法分别在Citeseer、Cora和Pubmed数据集上的比较示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的权利要求书、说明书及上述附图中，除非另有明确限定，如使用术语“第一”、“第二”或“第三”等，都是为了区别不同对象，而不是用于描述特定顺序。

本发明的权利要求书、说明书及上述附图中，如使用术语“包括”、“具有”以及它们的变形，意图在于“包含但不限于”。

如图1所示，本发明提供的超图卷积网络模型及其半监督分类方法包括以下步骤：

S101、对非欧式结构的样本数据特征进行稀疏编码形成样本表示系数矩阵。

具体地，不同于经典的卷积深度网络模型，只能够处理具有规整近邻结构的欧式空间数据，本发明所建立的超图卷积网络可有效处理非欧结构数据，如社交网络，论文引用网络等。

以Citeseer数据集为例，它是一个使用Citeseer数据库构建的论文引用说明数据集。具体包括3327篇计算机领域的论文，可以分为6类，每篇论文出现个数少于10次的单词将被剔除，最终统计出3703个独立的特定词汇。在进行编码时，样本总数为3327，每个样本有3703维特征，特征值为每个特定词汇在论文中出现的二进制值(出现为1，不出现为0)，可得样本矩阵X∈R^3327×3703。

S102、依据样本的相似性构建超边，计算超边权重，构建超图模型。

具体地，依据样本的真实标签构建超边，拟建超图模型G＝(V,E,w)，其中V为顶点集合，E为超边集合，w为超边权重，计算超图的拉普拉斯矩阵其中D_v为顶点的度矩阵，D_e为超边的度矩阵，H为超图的入射矩阵，表示各超边的构成，A为超边权重构成的对角矩阵。

以Citeseer数据集为例，将当前论文与所有引用该论文的其余论文共同建立一个超边，超边权重记为当前超边的节点个数的倒数。例如，记共有论文a～g分别对应超图的顶点v1～v7,其中论文b、c、f均引用了论文a,则可将针对顶点v1，将v1，v2，v3和v6建立为超边e1，本专利针对每个顶点建立一个超边。在Citeseer数据集中，共有3327篇论文，按上述方式，可建3327条超边，可得关联矩阵H∈R³³²⁷×³³²⁷。

S103、借助于超图谱理论，定义超图上的卷积运算，构建超图卷积网络模型。

具体的，步骤S103包括：

S1031、借助于超图谱理论，在频域定义超图上的卷积预算，并进一步简化卷积运算操作，只需中心节点以及一阶近邻节点参与卷积操作，以有效降低运算复杂度。

具体地，在步骤S1031中，针对超图上的卷积运算问题，借助于超谱图理论，在频域定义超图上的卷积为X*G_θ＝U(U^TC_θ⊙U^Tx)，其中x∈R^N为定义在超图模型上的特征矩阵，U为超图拉普拉斯矩阵L的特征向量组成的矩阵，为相应特征值构成的对角矩阵，U^Tx为x的超图傅里叶变换。

根据卷积定理，G_θ为超图拉普拉斯矩阵特征值的函数，可表示为为了避免特征值分解带来的复杂运算，可以通过截断的K阶Chebyshev多项式T_k(x)进行有效逼近，如下：

其中λ_max为超图拉普拉斯矩阵L的最大特征值。由于因此卷积过程可表示为

其中当k＝1，取近似λ_max＝2时，

g_θ′*_x＝θ₀′x+θ₁′(L-I_N)x

为了进一步减少参数个数，假设θ＝θ₀′/α＝-θ₁′，则上式可表示为：

其中α为正则性因子，取值范围为0≤α≤1。当输入数据x∈R^N×C具有C个通道，应用F个滤波器时，可以进一步拓展超图卷积运算为：

其中Θ∈R^C×F为F个滤波器核参数，Z∈R^N×F为卷积运算输出。基于该逼近可实现局部化的卷积运算，只需中心节点的一阶近邻节点参与卷积操作。

也就是说，在步骤S1031中，针对超图上的卷积运算问题，借助于超谱图理论，在频域定义超图上的卷积为X*G_θ＝U(U^TG_θ⊙U^Tx)，其中三维张量x为定义在超图模型上的特征矩阵，U为超图拉普拉斯矩阵的特征向量组成的矩阵，为相应特征值构成的对角矩阵，U^Tx为x的超图傅里叶变换。根据卷积定理，G_θ为超图拉普拉斯矩阵特征值的函数，可表示为为了避免特征值分解带来的复杂运算，可以通过截断的阶K的Chebyshev多项式T_k(x)进行有效逼近。基于该逼近可实现局部化的卷积运算，只需中心节点的K个近邻节点参与卷积操作。本发明在中心节点的空域超边与时域超边内选择K个最为相关的顶点，实现时空卷积滤波。

S1032、对于超图应用层级的卷积滤波操作，引入非线性激活函数，定义超图上的深度卷积操作为：

其中H为表示超边连接关系的关联矩阵，D_v为由顶点的度构成的对角矩阵，D_e表示超边的度构成的对角矩阵，A表示超边权重构成的对角矩阵，F^(l)为前一层输出，F⁽⁰⁾＝X，σ为激活函数，α^(l)为正则性因子，Θ^(l)为卷积核参数矩阵，F^(l+1)为卷积输出，通过多个卷积层的叠加处理，形成时空特征的逐层抽象表达，实现特征的自适应学习与表示。

S104、定义超图卷积网络上的半监督学习方法，设计损失函数，以各层的卷积核参数Θ和正则性因子α作为优化变量，旨在利用少量标定样本的类别信息，预测所有样本的类别标签。

具体地，步骤S104包括如下步骤：

S1041、构建半监督节点分类的超图卷积模型，图2给出了半监督节点分类的超图卷积模型的示意图，并且在网络的最后级联softmax层输出分类结果；

S1042、对于半监督多类别分类任务，构建损失函数为已知标签样本的预测值与真实值的交叉熵损失，公式如下：

其中y_L是有标签样本的类别索引。

S105、分别制作训练、验证和测试的半给定标签矩阵，设置超参数，利用Adam随机梯度下降算法训练网络模型。

具体的，所述S105包括：

S1051、以Citeseer数据集为例，制作训练的半给定标签矩阵，所有样本可分为6类，对其前150个样本给予标签，其余样本标签未知。具体使用one-hot的编码方式，例如：假设第1个样本属于第三类，其标签记为[0,0,1,0,0,0]，第200个样本标签未知，记为[0,0,0,0,0,0]，可得训练的半给定标签矩阵train_labels∈R^3327×6。

S1052、以Citeseer数据集为例，制作验证的半给定标签矩阵,因为采用的是半监督学习策略，验证时同样需要对部分样本进行标记，同样采用one-hot编码方式将第1001～2001个样本进行标记，可得验证的半给定标签矩阵val_labels∈R^332×7×6。

S1053、以Citeseer数据集为例，由于Citeseer数据集较小，在测试时使用与训练一样的样本矩阵X，制作半给定标签矩阵时同样采用one-hot编码方式将前2000个样本进行标记，可得测试的半给定标签矩阵test_labels∈R^3327×6。

S1054、设置网络模型中的超参数，其中网络具有两个隐藏层，第一个隐藏层节点个数(即卷积核个数)设置为16，第二个隐藏层节点个数设为6(共有6个类别)，dropout比率设置为0.45，学习率设为0.014，训练迭代次数设为200。然后将特征矩阵X、训练集标签矩阵train_labels和验证集标签矩阵val_labels作为网络输入，训练模型。图3给出了超图卷积模型中实现节点半监督分类的形象示意图，其中C表示输入层每个节点具有C维特征，F表示输出层每个节点有F维特征。

S106、对于给定数据，用训练好的模型预测出未知的样本类别，实现半监督分类。

以Citeseer数据集为例，因为数据集较小的缘故，把测试集作为目标数据集，将特征矩阵X和测试标签矩阵test_labels输入网络中，加载训练完的权重，对未知类别的样本进行预测，实现样本分类。

为了评估本方法的性能，将本方法与其他方法分别在Citeseer、Cora和Pubmed数据集上进行了比较，评估指标precision定义为：

其中Labels_pred为在未知标签的样本中，预测类别正确的样本个数，Labels_all为未知标签的样本总数。图4给出了对比结果。

上述说明示出并描述了本发明的优选实施例，如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种超图卷积网络模型及其半监督分类方法，其特征在于：包括如下步骤：

步骤4：定义超图卷积网络上的半监督学习方法，设计损失函数，旨在利用少量标定样本的类别信息，预测所有样本的类别标签；

步骤5：分别制作训练、验证和测试的半给定标签矩阵，设置超参数，利用Adam随机梯度下降算法训练网络模型；

2.根据权利要求1所述的超图卷积网络模型及其半监督分类方法，其特征在于：步骤3包括如下步骤：

3.根据权利要求1所述的超图卷积网络模型及其半监督分类方法，其特征在于：步骤4包括如下步骤：

步骤4.2：建立半监督分类任务定义损失函数，如交叉熵，并设定卷积核参数以及正则性因子为待学习的变量参数，损失函数约束在标定样本上网络预测的分类标签与真实标签趋于一致。

4.根据权利要求1所述的超图卷积网络模型及其半监督分类方法，其特征在于：在步骤2中，依据样本的系数矩阵，计算样本间的相似性进而构建超边，计算超边权重，进而构建超图模型G＝(V,E,w)，其中V为顶点集合，E为超边集合，w为超边权重，计算超图的拉普拉斯矩阵其中D_v为顶点的度矩阵，D_e为超边的度矩阵，H为超图的入射矩阵，表示各超边的构成，A为超边权重构成的对角矩阵。