CN113869424A - 基于双通道图卷积网络的半监督节点分类方法 - Google Patents
基于双通道图卷积网络的半监督节点分类方法 Download PDFInfo
- Publication number
- CN113869424A CN113869424A CN202111151744.XA CN202111151744A CN113869424A CN 113869424 A CN113869424 A CN 113869424A CN 202111151744 A CN202111151744 A CN 202111151744A CN 113869424 A CN113869424 A CN 113869424A
- Authority
- CN
- China
- Prior art keywords
- gcn
- node
- graph
- feature
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims description 82
- 230000007246 mechanism Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000000465 moulding Methods 0.000 claims 1
- 230000000644 propagated effect Effects 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 55
- 238000002474 experimental method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000010206 sensitivity analysis Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011157 data evaluation Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及半监督节点分类技术领域,具体涉及基于双通道图卷积网络的半监督节点分类方法,包括:建立具有拓扑图GCN和特征图GCN的双通道GCN模型;训练双通道GCN模型时:首先生成增强的节点特征表示,然后使得增强的节点特征表示在拓扑图GCN和特征图GCN中同时传播;双通道GCN模型基于原始拓扑图构造对应的特征图,然后分别将原始拓扑图和特征图输入拓扑图GCN和特征图GCN中,最后将拓扑图GCN和特征图GCN最后一层的所有输出进行动态结合得到对应的最终节点表示;基于最终节点表示进行分类得到各个节点的预测标签,将各个节点的预测标签作为对应的半监督节点分类结果。本发明中基于双通道图卷积网络的半监督节点分类方法能够兼顾分类准确性和分类稳定性。
Description
技术领域
本发明涉及半监督节点分类技术领域,具体涉及基于双通道图卷积网络的半监督节点分类方法。
背景技术
图是描述实体之间的成对关系的基本数据结构,如社交网络、学术网络以及蛋白质网络等。学习和挖掘图数据可以帮助解决各类现实应用问题,其中,半监督学习的节点分类是图数据挖掘的一项重要任务,其通过给定图中一小部分节点的标签,来预测图中其他节点的标签。图卷积网络(Graph Convolutional Network,GCN)通过聚合邻居节点的特征来生成节点的新表示,实现从图数据中提取有效特征,近年来已经被广泛应用于许多领域,包括节点分类、图分类、链路预测和推荐系统等。
针对现有半监督节点分类任务中,因节点的邻域存在大量噪声而导致错误信息被引入的问题,公开号为CN113159160A的中国专利公开了《一种基于节点注意力的半监督节点分类方法》,其包括:先经过1-2层的图卷积网络提取节点特征,作为后序操作的数据准备;节点自适应调整:首先对每个节点平均聚合其一阶邻居的特征,再将节点自身的特征信息和平均聚合后的特征拼接起来,获得所需局部表征;然后把提取出来的局部表征送入一个单层的全连接网络,并将全连接网络的输出结果和节点特征输入门控单元进行特征融合;最后分类预测以及准确率度量。
上述现有方案中的半监督节点分类方法在图卷积网络中插入节点注意力模块,使得能够对每个节点自适应调整,进而能够在一定程度上解决错误信息引入的问题。但是,申请人发现,现有的图卷积网络不能充分融合节点特征和拓扑结构来提取出相关的信息,然而,仅通过节点特征在原始拓扑图上的传播,无法学习到可以有效区分节点类别的表示,导致半监督节点分类的准确性偏低。同时,当图卷积网络的层数叠加过多后,节点的表示都倾向收敛于某一个值,即“过度平滑”,固定的传播结构使得每个结点高度依赖于它的邻居,使得结点更容易被潜在的数据噪音误导,并且容易受到对抗扰动的影响,导致半监督节点分类的稳定性不好。因此,如何设计一种能够兼顾分类准确性和分类稳定性的半监督节点分类方法是亟需解决的技术问题。
发明内容
针对上述现有技术的不足,本发明所要解决的技术问题是:如何提供一种基于双通道图卷积网络且能够兼顾分类准确性和分类稳定性的半监督节点分类方法,从而保证半监督节点分类的效果。
为了解决上述技术问题,本发明采用了如下的技术方案:
基于双通道图卷积网络的半监督节点分类方法,包括以下步骤:
S1:建立具有拓扑图GCN和特征图GCN的双通道GCN模型;
S2:训练所述双通道GCN模型时:首先生成增强的节点特征表示,然后使得增强的节点特征表示在拓扑图GCN和特征图GCN中同时传播,使得拓扑图GCN和特征图GCN中每个节点的特征随机地与其邻居的特征结合在一起;
S3:将待分类的原始拓扑图输入经过训练的双通道GCN模型中;所述双通道GCN模型首先基于原始拓扑图构造对应的特征图,然后分别将原始拓扑图和特征图输入拓扑图GCN和特征图GCN中,最后将拓扑图GCN和特征图GCN最后一层的所有输出进行动态结合得到对应的最终节点表示;
S4:基于所述最终节点表示进行分类得到各个节点的预测标签,将各个节点的预测标签作为对应的半监督节点分类结果。
优选的,所述双通道GCN模型中引入了层级注意力机制;所述层级注意力机制用于通过注意力机制将拓扑图GCN和特征图GCN在每个对应隐藏层输出的节点表示进行动态融合以生成新节点表示,并将新节点表示分别作为拓扑图GCN和特征图GCN下一层的输入。
优选的,步骤S2中,通过如下步骤训练所述双通道GCN模型:
S201:基于用于训练的原始拓扑图Gt=(At,X)构造对应的特征图Gf=(Af,X);
S204:在每一次传播中,将拓扑图GCN和特征图GCN每个隐藏层对应输出的节点表示通过注意力机制进行动态融合以生成新节点表示,并将新节点表示分别作为拓扑图GCN和特征图GCN下一层的输入;
S205:将拓扑图GCN和特征图GCN最后一层的所有输出进行动态结合得到对应的最终节点表示Z;
优选的,通过如下步骤构造特征图:
计算n个节点间的余弦相似度Sij以得到相似度矩阵S;
为每个节点选择余弦相似度最大的k个相似节点邻居节点,以组成特征图邻接矩阵Af的边,进而得到特征图邻接矩阵Af;
基于特征图邻接矩阵Af和节点特征矩阵X生成对应的特征图Gf=(Af,X);
上述式中:At表示原始拓扑图邻接矩阵;ReLU表示激活函数;It表示单位矩阵;表示的度矩阵;表示拓扑图GCN第l层的权重矩阵;表示拓扑图GCN和特征图GCN第l-1层经过注意力机制更新后的新节点表示。
优选的,通过如下步骤得到对应的最终节点表示:
通过注意力权重对角矩阵结合2H个节点表示,得到对应的最终节点表示Z;
优选的,通过如下步骤计算训练损失:
本发明中的半监督节点分类方法与现有技术相比,具有如下有益效果:
本发明通过设置的拓扑图GCN和特征图GCN,更好的利用了拓扑空间和特征空间的信息,使得双通道GCN模型能够关注到节点特征不同方面的信息,从而能够提高模型的分类准确性。
本发明通过生成增强节点特征表示并在拓扑图GCN和特征图GCN中传播的方式训练双通道GCN模型,使得每个节点的特征能够随机的与其邻居的特征结合在一起,模型能够关注到节点不同方面的信息,这增强了数据和模型的鲁棒性,降低了节点对邻居的依赖性,降低了噪音的影响,从而能够提高模型的分类稳定性,保证半监督节点分类的效果。
本发明通过生成特征图的方式充分利用了节点特征中的信息,能够有效、准确的区分出节点类别,这同样有利于提高模型的分类准确性。同时,本发明将拓扑图GCN和特征图GCN最后一层所有的输出进行动态结合,进而得到更精简的最终节点表示用于半监督节点分类,从而能够保证半监督节点分类的效果。
本发明通过层级注意力机制将拓扑图GCN和特征图GCN在每个对应隐藏层输出的节点表示进行动态融合,并将生成的新节点表示分别作为拓扑图GCN和特征图GCN下一层的输入,使得能够有效突出GCN隐藏层以及节点表示中更有价值的信息,进而降低了噪音特征和噪音边的影响,从而能够进一步提高模型的分类准确性。
附图说明
为了使发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详细描述,其中:
图1为半监督节点分类方法的逻辑框图;
图2为双通道GCN模型的网络结构图;
图3为DC-GRCN在5个数据集上的消融实验结果示意图;
图4为在BlogCatalog数据集上学习的节点表示的可视化结果示意图;
图5为参数k的研究结果示意图;
图6为参数γ的研究结果示意图;
图7为参数H和δ的结果示意图。
具体实施方式
下面通过具体实施方式进一步详细的说明:
实施例:
本实施例中公开了一种基于双通道图卷积网络的半监督节点分类方法。
如图1和图2所示,基于双通道图卷积网络的半监督节点分类方法,包括:
S1:建立具有拓扑图GCN和特征图GCN的双通道GCN模型;
S2:训练双通道GCN模型时:首先生成增强的节点特征表示,然后使得增强的节点特征表示在拓扑图GCN和特征图GCN中同时传播,使得拓扑图GCN和特征图GCN中每个节点的特征随机地与其邻居的特征结合在一起;
S3:将待分类的原始拓扑图输入经过训练的双通道GCN模型中;双通道GCN模型首先基于原始拓扑图构造对应的特征图,然后分别将原始拓扑图和特征图输入拓扑图GCN和特征图GCN中,最后将拓扑图GCN和特征图GCN最后一层的所有输出进行动态结合得到对应的最终节点表示;
S4:基于最终节点表示进行分类得到各个节点的预测标签,将各个节点的预测标签作为对应的半监督节点分类结果。
在本发明中,通过设置的拓扑图GCN和特征图GCN,更好的利用了拓扑空间和特征空间的信息,使得双通道GCN模型能够关注到节点特征不同方面的信息,从而能够提高模型的分类准确性。同时,本发明通过生成增强节点特征表示并在拓扑图GCN和特征图GCN中传播的方式训练双通道GCN模型,使得每个节点的特征能够随机的与其邻居的特征结合在一起,模型能够关注到节点不同方面的信息,这增强了数据和模型的鲁棒性,降低了节点对邻居的依赖性,降低了噪音的影响,从而能够提高模型的分类稳定性,保证半监督节点分类的效果。此外,本发明通过生成特征图的方式充分利用了节点特征中的信息,能够有效、准确的区分出节点类别,这同样有利于提高模型的分类准确性。最后,本发明将拓扑图GCN和特征图GCN最后一层所有的输出进行动态结合,进而得到更精简的最终节点表示用于半监督节点分类,从而能够保证半监督节点分类的效果。
具体实施过程中,双通道GCN模型中引入了层级注意力机制;层级注意力机制用于通过注意力机制将拓扑图GCN和特征图GCN在每个对应隐藏层输出的节点表示进行动态融合以生成新节点表示,并将新节点表示分别作为拓扑图GCN和特征图GCN下一层的输入。
在本发明中,通过层级注意力机制将拓扑图GCN和特征图GCN在每个对应隐藏层输出的节点表示进行动态融合,并将生成的新节点表示分别作为拓扑图GCN和特征图GCN下一层的输入,使得能够有效突出GCN隐藏层以及节点表示中更有价值的信息,进而降低了噪音特征和噪音边的影响,从而能够进一步提高模型的分类准确性。
具体实施过程中,步骤S2中,通过如下步骤训练双通道GCN模型:
S201:基于用于训练的原始拓扑图Gt=(At,X)构造对应的特征图Gf=(Af,X);
S204:在每一次传播中,将拓扑图GCN和特征图GCN每个隐藏层对应输出的节点表示通过注意力机制进行动态融合以生成新节点表示,并将新节点表示分别作为拓扑图GCN和特征图GCN下一层的输入;
S205:将拓扑图GCN和特征图GCN最后一层的所有输出进行动态结合得到对应的最终节点表示Z;
在本发明中,通过生成增强节点特征表示并在拓扑图GCN和特征图GCN中传播的方式训练双通道GCN模型,使得每个节点的特征能够随机的与其邻居的特征结合在一起,模型能够关注到节点不同方面的信息,这增强了数据和模型的鲁棒性,降低了节点对邻居的依赖性,降低了噪音的影响,从而能够提高模型的分类稳定性。
具体实施过程中,通过如下步骤构造特征图:
通过余弦相似度(其他优选方案中,也可使用欧氏距离或其他距离度量函数)计算n个节点间的余弦相似度Sij以得到相似度矩阵S:对于节点对(vi,vj),特征向量分别为xi和xj,对应的余弦相似度为Sij;
为每个节点选择余弦相似度最大的k个相似节点邻居节点,以组成特征图邻接矩阵Af的边,进而得到特征图邻接矩阵Af;
基于特征图邻接矩阵Af和节点特征矩阵X生成对应的特征图Gf=(Af,X);
在本发明中,通过上述方法生成特征图,能够充分利用节点特征中的信息,进而能够有效、准确的区分出节点类别,从而能够提高模型的分类准确性。
上述式中:At表示原始拓扑图邻接矩阵;ReLU表示激活函数;It表示单位矩阵;表示的度矩阵;表示拓扑图GCN第l层的权重矩阵;表示拓扑图GCN和特征图GCN第l-1层经过注意力机制更新后的新节点表示。为了共享信息,拓扑图GCN的每一层各节点特征表示共享相同的权重矩阵
上述式中:Af表示特征图邻接矩阵;ReLU表示激活函数;If表示单位矩阵;表示的度矩阵;表示特征图GCN第l层的权重矩阵;表示拓扑图GCN和特征图GCN第l-1层经过注意力机制更新后的新节点表示。为了共享信息,特征图GCN的每一层各节点特征表示共享相同的权重矩阵
为了计算层级注意力,首先,使用注意力机制学习对应节点表示相应的重要性:
wfi=vT·tanh(W1·(zfi)T+b1);
αfi=softmax(wfi);
最后,注意力权重对角矩阵为:
具体实施过程中,通过如下步骤得到对应的最终节点表示:
通过注意力权重对角矩阵结合2H个节点表示,得到对应的最终节点表示Z;
具体实施过程中,通过如下步骤计算训练损失:
尽管在特征传播过程中层级注意力机制使拓扑图GCN和特征图GCN的节点表示进行了交互,但为了进一步增强它们的相关性,本发明设计了一个一致性正则化损失,以约束GCN最后一层输出的一共2H个节点表示的分布距离。
在本发明中,在交叉熵损失的基础上进一步设计了一致性约束损失,使得拓扑图GCN和特征图GCN最后一层的多个节点表示之间的分布距离能够保持一致性,进而更好的实现拓扑图GCN和特征图GCN最后一层所有输出的动态结合,从而能够提高模型的分类准确性,保证半监督节点分类的效果。
为了更好的说明本发明中半监督节点分类方法的优势,本实施例还公开了如下实验。
一、实验设置
1、本实验在5个真实数据集上评估了本发明的方法,数据集统计汇总如表1所示。
ACM(是指Shi M,Tang Y,Zhu X,et al.《Multi-class imbalanced graphconvolutional network learning》中公开的数据集):是从ACM数据集中提取的,其中节点代表论文;如果两篇论文的作者相同,那么它们之间有一条边;论文分为数据库、无线通信、数据挖掘3类;其特征是论文关键词的词袋表示。
BlogCatalog(是指Zhao T,Liu Y,Neves L,et al.《Data augmentation forgraph neural networks》中公开的数据集):是一个博客社区社交网络的数据集,其包含了5196个用户节点,171743条边表示用户交互;用户可以将他们的博客注册到6个不同的预定义类中,这些类为节点的标签。
CiteSeer(是指Yoo J,Ahn N,Sohn K A.《Rethinking data augmentation forimage super-resolution:A comprehensive analysis and a new strategy》中公开的数据集):是一个论文引用网络,记录了论文之间引用或被引用信息,节点表示论文,共分为6类;节点属性是论文的词袋表示。
Flickr是指Zhao T,Liu Y,Neves L,et al.《Data augmentation for graphneural networks》中公开的数据集):是一个包含7575个节点的基准社交网络数据集;每个节点表示一个用户,边代表用户之间的关系;根据用户的兴趣组将所有节点划分为9类。
UAI2010(是指Bo D,Wang X,Shi C,et al.《Structural deep clusteringnetwork》中公开的数据集):其包括3067个节点和28311条边。
2、基线(用于对比的方法)
为了验证本发明所提出模型的优势,将本发明的方法与一些最先进的基线(方法)进行了比较。本实验使用的基线结果来自AM-GCN(是指Wang X,Zhu M,Bo D,et al.《Am-gcn:Adaptive multi-channel graph convolutional networks》中公开的模型)。
DeepWalk(是指Wang X,Ji H,Shi C,et al.《Heterogeneous graph attentionnetwork》中公开的模型)是一种网络嵌入方法,使用随机游走来获取节点序列,然后借助自然语言处理的思想,将生成的节点序列看作由单词组成的句子,所有的序列可以看作一个大的语料库,最后利用word2vec将每一个顶点表示为一个相同维度的向量。
LINE(是指Meng Z,Liang S,Bao H,et al.《Co-embedding attributednetworks》中公开的模型)是一种大规模的网络嵌入方法,分别保持网络的一阶和二阶邻近性,针对经典随机梯度下降算法的局限性,提出了一种边缘采样算法,提高了推理的效率和效果。
Chebyshev(是指Yoo J,Ahn N,Sohn K A.《Rethinking data augmentation forimage super-resolution:A comprehensive analysis and a new strategy》中公开的模型)是利用切比雪夫滤波器在谱域实现图卷积神经网络的方法。
GCN(是指Wang Y,Wang W,Liang Y,et al.《Nodeaug:Semi-supervised nodeclassification with data augmentation》中公开的模型)是一种半监督图卷积网络模型,它通过聚合邻居的信息来学习节点表示。
kNN-GCN:使用由特征矩阵得到的特征图代替传统的拓扑图作为GCN的输入图。
GAT(是指P,Cucurull G,Casanova A,et al.《Graph attentionnetworks》中公开的模型)在GCN的基础上引入注意力机制,在图卷积过程中为不同的邻居节点分配不同的权重。
DEMO-Net(是指Xu B B,Cen K T,Huang J J.《A Survey on graphconvolutional neural network》中公开的模型)是一个具体度的图神经网络,提出多任务图卷积,即为不同度的节点使用不同的图卷积,从而保持具体度的图结构。
MixHop(是指Estrach J B,Zaremba W,Szlam A,et al.《Spectral networks anddeep locally connected networks on graphs》中公开的模型)针对GCN在图卷积过程中只能使用邻居节点的信息的缺点,提出多阶邻域的卷积,对不同的邻域采用不同的聚合方式,然后将结果拼接或用其他方式结合。
AM-GCN(是指Wang X,Zhu M,Bo D,et al.《Am-gcn:Adaptive multi-channelgraph convolutional networks》中公开的模型)同时从节点特征、拓扑结构及其组合中提取两个特定节点表示的和一个共同的节点表示,并利用注意机制学习这三种不同节点表示的重要性权重,将这些节点表示自适应地融合为最终的节点表示。
3、参数设置在实验中,数据集采用AM-GCN相同的划分方式,即为训练集选择三种标签率(每类有20、40、60个标签节点),测试集包含1000个节点。数据增强层中,数据增强次数H∈{1,2,…,5},伯努利概率δ∈{0.1,0.2,…,0.5}。同时训练两个具有相同隐藏层数nhid1和相同输出维数nhid2的两层GCN网络,其中nhid1∈{512,768}、nhid2∈{128,256},dropout概率设为0.5。Adam优化器的学习率和权重衰减范围为{0.0001,0.0005,0.001,0.005}。特征图中k近邻的k∈{2,3,…,20}。另外,一致性约束超参数取值范围为γ∈{0.0001,0.001,0.01,0.1,1}。对于所有方法,使用随机初始化运行实验5次,然后取平均作为最终的结果。
表1数据集统计
二、节点分类
节点分类的结果如表2所示,L/C为每类标记节点的数量。
实验结果分析如下:
1、与所有的基线相比,DC-GRCN(是指本发明中的双通道GCN模型)在所有的数据集上均达到了最优水平。与最优的基线AM-GCN相比,本发明的模型在BlogCatalog数据集上准确率最大提升6.34个百分点,macro F1-score最大提升6.57个百分点;在Flickr数据集上准确率最大提升9.14个百分点,macro F1-score最大提升9.63个百分点。实验结果表明了本发明中DC-GRCN的有效性,DC-GRCN能够更加充分地融合拓扑结构和节点特征间更深层次的信息,进一步有效地利用节点特征中的信息。
2、通过对比kNN-GCN和GCN的结果,可以发现拓扑图和特征图确实存在结构差异。并且,对于数据集BlogCatalog、Flickr和UAI2010三个数据集上,kNN-GCN的结果要明显优于GCN,进一步说明了引入特征图的重要性。
3、在所有数据集上,DC-GRCN始终优于GCN和kNN-GCN,这说明DC-GRCN中注意力机制的有效性,其可以自适应地从拓扑空间和特征空间中提取出最有用的信息。
4、对于同一个数据集,标签率越高,模型的性能越高,表明DC-GRCN能够有效地使用节点的标签指导信息,从而更好地进行分类任务。
表2节点分类结果(%)。(粗体:最优结果;下划线:次优结果)
三、消融实验
研究层级注意力、一致性约束和图数据增强对DC-GRCN的贡献。主要包括3部分:
1)w/oLA。移除层级注意力模块,在进行GCN过程中,不对拓扑图GCN和特征图GCN的隐藏层节点表示进行交互。
2)w/oCC。移除一致性约束,在损失函数中不对GCN最后一层的各节点表示进行一致性约束。
3)w/oDA。移除图数据增强层,只使用节点原始特征参与训练和推理。
如图3为消融实验的结果,其中ALL为不做消融的DC-GRCN。
根据实验结果得到的结论为:
1)与完整的DC-GRCN相比,所有移除了某组件的DC-GRCN变体的性能都明显下降,这表明DC-GRCN中每个组件都起到了积极的作用。
2)删除了层级注意力模块后,在5个数据集上的实验结果均有较大程度的下降。可以看出,层级注意力模块可以自适应地融合从拓扑空间和特征空间中得到的信息,降低噪音信息的影响,从而获取更有用的节点表示,对于分类任务帮助较大。
3)一致性约束能够使多种节点表示尽可能的保持一致,加强了各节点表示的相关性,突出了它们的共同信息。
4)图数据增强模块将原始节点特征转换成多种表示,在图卷积过程中形成多通道,可以让模型关注到不同方面的信息,有助于模型学习到更丰富的信息。
四、可视化
为了更直观的比较本发明方法的有效性,在标签率为20的BlogCatalog数据集上执行可视化任务。将最后得到的节点嵌入使用t-SNE(是指Van der Maaten L,Hinton G.《Visualizing data using t-SNE》中公开的降维方法)进行降维,得到图4所示的可视化图。
从图4中可以看出,GCN学习到的节点表示把不同标签的节点都混到一起,不能很好地区分出各节点的类别;AM-GCN学习到的节点嵌入相对于GCN来说虽然能较为明显的区分各类,但类内相似性不够高;DC-GRCN能够学习到更为紧凑、类内相似性高、类间边界清晰的节点嵌入。
五、参数敏感性实验
1、特征图参数k的敏感性分析
为了测试特征图中k近邻的超参数k的影响,实验测试了k从2到20之间的DC-GRCN的性能,结果如图5所示。可以看出,随着k值的增加,DC-GRCN的性能呈现逐渐上升然后缓慢下降的趋势。例如,在数据集ACM标签率为60时,随着k值从2开始增加,准确率逐渐上升,当k为7时,准确率达到最高,然后准确率随着k值的增加缓慢下降。其他数据集也呈现与ACM相同的趋势。这说明,在一定范围内,特征图中增加的大多数是有助于分类的高质量的边。但随着边的增加,特征图越来越稠密,引入的噪音边就越多,从而导致分类性能下降。
2、一致性系数γ的敏感性分析
分析了一致性约束系数γ的影响,γ越大,一致性约束损失占比就越大。取值范围为γ∈{0,0.0001,0.001,0.01,0.1,1,10},结果如图6所示。从实验结果中可以观察到,随着γ的增加,准确率呈现先缓慢上升然后急速下降的趋势。例如,在数据集BlogCatalog中,随着γ从0开始增加,准确率先缓慢上升,当γ为0.1时模型达到最佳性能,当γ的值大于1后,模型性能开始下降。其他数据集也呈现与BlogCatalog数据集相同的趋势,这说明,一致性约束能够在一定程度上进一步提高本文提出模型的表达能力。
3、图数据增强层超参数敏感性分析
分析了分析图数据增强层中的超参数对模型的性能影响,主要的参数一个是特征增强个数H,另一个是Bernoulli概率δ。参数敏感性结果如图7所示,可以观察到,H和δ对模型的性能影响都起着积极的作用。对于ACM数据集,当δ固定时,对于不同的H相对来说比较稳定;当H固定时,不同的δ对模型性能影响较大。对于Flickr数据来说,当δ取值较大时(δ≥0.3),不同的H对模型性能产生影响较大。实验结果表明,图数据增强层能够有效地提升模型的性能。
六、实验总结
在五个真实数据集上的大量的实验表明,本发明提出的基于双通道图卷积的半监督节点分类方法优于现有其他的最先进方法。
需要说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管通过参照本发明的优选实施例已经对本发明进行了描述,但本领域的普通技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离所附权利要求书所限定的本发明的精神和范围。同时,实施例中公知的具体结构及特性等常识在此未作过多描述。最后,本发明要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.基于双通道图卷积网络的半监督节点分类方法,其特征在于,包括以下步骤:
S1:建立具有拓扑图GCN和特征图GCN的双通道GCN模型;
S2:训练所述双通道GCN模型时:首先生成增强的节点特征表示,然后使得增强的节点特征表示在拓扑图GCN和特征图GCN中同时传播,使得拓扑图GCN和特征图GCN中每个节点的特征随机地与其邻居的特征结合在一起;
S3:将待分类的原始拓扑图输入经过训练的双通道GCN模型中;所述双通道GCN模型首先基于原始拓扑图构造对应的特征图,然后分别将原始拓扑图和特征图输入拓扑图GCN和特征图GCN中,最后将拓扑图GCN和特征图GCN最后一层的所有输出进行动态结合得到对应的最终节点表示;
S4:基于所述最终节点表示进行分类得到各个节点的预测标签,将各个节点的预测标签作为对应的半监督节点分类结果。
2.如权利要求1所述的基于双通道图卷积网络的半监督节点分类方法,其特征在于:所述双通道GCN模型中引入了层级注意力机制;所述层级注意力机制用于通过注意力机制将拓扑图GCN和特征图GCN在每个对应隐藏层输出的节点表示进行动态融合以生成新节点表示,并将新节点表示分别作为拓扑图GCN和特征图GCN下一层的输入。
3.如权利要求2所述的基于双通道图卷积网络的半监督节点分类方法,其特征在于,步骤S2中,通过如下步骤训练所述双通道GCN模型:
S201:基于用于训练的原始拓扑图Gt=(At,X)构造对应的特征图Gf=(Af,X);
S204:在每一次传播中,将拓扑图GCN和特征图GCN每个隐藏层对应输出的节点表示通过注意力机制进行动态融合以生成新节点表示,并将新节点表示分别作为拓扑图GCN和特征图GCN下一层的输入;
S205:将拓扑图GCN和特征图GCN最后一层的所有输出进行动态结合得到对应的最终节点表示Z;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111151744.XA CN113869424A (zh) | 2021-09-29 | 2021-09-29 | 基于双通道图卷积网络的半监督节点分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111151744.XA CN113869424A (zh) | 2021-09-29 | 2021-09-29 | 基于双通道图卷积网络的半监督节点分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113869424A true CN113869424A (zh) | 2021-12-31 |
Family
ID=78992833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111151744.XA Pending CN113869424A (zh) | 2021-09-29 | 2021-09-29 | 基于双通道图卷积网络的半监督节点分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113869424A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114692976A (zh) * | 2022-04-01 | 2022-07-01 | 重庆大学 | 基于半监督图嵌入框架的出行意图预测方法 |
CN114842247A (zh) * | 2022-04-19 | 2022-08-02 | 西北大学 | 基于特征累加的图卷积网络半监督节点分类方法 |
CN115205306A (zh) * | 2022-08-02 | 2022-10-18 | 吉林建筑大学 | 一种基于图卷积的医疗图像分割方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378913A (zh) * | 2021-06-08 | 2021-09-10 | 电子科技大学 | 一种基于自监督学习的半监督节点分类方法 |
-
2021
- 2021-09-29 CN CN202111151744.XA patent/CN113869424A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378913A (zh) * | 2021-06-08 | 2021-09-10 | 电子科技大学 | 一种基于自监督学习的半监督节点分类方法 |
Non-Patent Citations (4)
Title |
---|
FENG WENZHENG 等: "Graph Random Neural Networks for Semi-Supervised Learning on Graphs", 《ARXIV:2005.11079V4 [CS.LG]》 * |
TANG ZHENGZHENG 等: "Data Augmentation for Graph Convolutional Network on Semi-Supervised Classifcation", 《ARXIV:2106.08848V1 [CS.LG]》 * |
WANG XIAO 等: "AM-GCN: Adaptive Multi-channel Graph Convolutional Networks", 《ARXIV:2007.02265V2 [CS.LG]》 * |
ZHAO TONG 等: "Data Augmentation for Graph Neural Networks", 《ARXIV:2006.06830V2 [CS.LG]》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114692976A (zh) * | 2022-04-01 | 2022-07-01 | 重庆大学 | 基于半监督图嵌入框架的出行意图预测方法 |
CN114692976B (zh) * | 2022-04-01 | 2024-05-07 | 重庆大学 | 基于半监督图嵌入框架的出行意图预测方法 |
CN114842247A (zh) * | 2022-04-19 | 2022-08-02 | 西北大学 | 基于特征累加的图卷积网络半监督节点分类方法 |
CN114842247B (zh) * | 2022-04-19 | 2024-02-27 | 西北大学 | 基于特征累加的图卷积网络半监督节点分类方法 |
CN115205306A (zh) * | 2022-08-02 | 2022-10-18 | 吉林建筑大学 | 一种基于图卷积的医疗图像分割方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112529168B (zh) | 一种基于gcn的属性多层网络表示学习方法 | |
Wang et al. | Learning graph representation with generative adversarial nets | |
Yang et al. | From properties to links: Deep network embedding on incomplete graphs | |
Ma et al. | Hybrid embedding-based text representation for hierarchical multi-label text classification | |
CN113869424A (zh) | 基于双通道图卷积网络的半监督节点分类方法 | |
Wang et al. | Multi-modal knowledge graphs representation learning via multi-headed self-attention | |
CN109389151A (zh) | 一种基于半监督嵌入表示模型的知识图谱处理方法和装置 | |
CN110659363B (zh) | 基于膜计算的Web服务混合进化聚类方法 | |
Yu et al. | A comparative study on data mining algorithms for individual credit risk evaluation | |
Rajamohana et al. | An effective hybrid cuckoo search with harmony search for review spam detection | |
CN109614611B (zh) | 一种融合生成非对抗网络与卷积神经网络的情感分析方法 | |
Yao et al. | Knowledge enhanced person-job fit for talent recruitment | |
Xie et al. | Contrastive graph clustering with adaptive filter | |
CN117349494A (zh) | 空间图卷积神经网络的图分类方法、系统、介质及设备 | |
CN110910235A (zh) | 一种基于用户关系网络的贷中异常行为检测方法 | |
Zhao et al. | Synthetic over-sampling for imbalanced node classification with graph neural networks | |
Baboo et al. | Sentiment analysis and automatic emotion detection analysis of twitter using machine learning classifiers | |
Ge et al. | A semisupervised framework for automatic image annotation based on graph embedding and multiview nonnegative matrix factorization | |
Vamvourellis et al. | Learning Mutual Fund Categorization using Natural Language Processing | |
CN114842247B (zh) | 基于特征累加的图卷积网络半监督节点分类方法 | |
Sun et al. | Graph embedding with rich information through heterogeneous network | |
Xing et al. | Federated Neuro-Symbolic Learning | |
Alshamsan et al. | Machine learning algorithms for privacy policy classification: A comparative study | |
Hu et al. | Adaptive cross-stitch graph convolutional networks | |
Zhen et al. | Frequent words and syntactic context integrated biomedical discontinuous named entity recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211231 |
|
RJ01 | Rejection of invention patent application after publication |