CN117251779A - 基于全局感知神经网络的节点分类方法 - Google Patents

基于全局感知神经网络的节点分类方法 Download PDF

Info

Publication number
CN117251779A
CN117251779A CN202311170498.1A CN202311170498A CN117251779A CN 117251779 A CN117251779 A CN 117251779A CN 202311170498 A CN202311170498 A CN 202311170498A CN 117251779 A CN117251779 A CN 117251779A
Authority
CN
China
Prior art keywords
network
path
node
global
heterogeneous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311170498.1A
Other languages
English (en)
Inventor
赵翔
曹悦航
陈东
吴继冰
徐浩
刘丽华
黄宏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202311170498.1A priority Critical patent/CN117251779A/zh
Publication of CN117251779A publication Critical patent/CN117251779A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于全局感知神经网络的节点分类方法，包括以下步骤：利用单路径将多路异构属性网络分解成多个单路径网络；构建一个基础网络以集成每个单路径网络的结构关系；使用一个带有单路径网络嵌入和全局感知消息传递策略的全局感知图卷积模块，感知多路异构属性网络的全局信号；使用聚合模块，通过加权求和单路径网络的隐藏层嵌入来获取节点嵌入，并引入最终的卷积运算符；为每个节点学习一个低维向量将学习到的表示用于节点分类任务，并输出结果。本发明自动感知全局并给出了嵌入在多路异构属性网络中的节点的局部拓扑信号，融合了网络结构和节点属性网络表示学习。

Description

基于全局感知神经网络的节点分类方法
技术领域
本发明属于网络表示学习技术领域，尤其涉及基于全局感知神经网络的节点分类方法。
背景技术
网络表示学习(NRL)是一种有效的方法，可将信息网络编码至低维连续空间，同时保持节点在网络拓扑结构和内在属性中的相似性。通过NRL，更广泛的下游任务可以从以嵌入形式的网络中受益，例如链接预测、节点分类、推荐系统和社区检测。特别地，DeepWalk、LINE和node2vec是将深度学习应用于NRL的先驱工作。这些方法基于同质图研究NRL。
近年来，引入了各种模型来处理异构NRL，包括基于元路径的方法如metapath2vec，基于图神经网络的方法如HAN等。然而，值得注意的是，它们仅设计用于单视图的异构网络，忽略了多类节点和/或边的存在。
在现实世界中，大多数网络不仅包含多类型节点和/或边，还具有丰富的属性信息。将这种具有多通道网络结构、包含多类型节点及其属性信息的网络称为多路异构属性网络(Attributed Multiplex Heterogeneous Network,AMHEN)。
如一个简化的学术AMHEN，该网络是从DBLP构建而成的。以论文P4为例，有两位作者A2和A3共同撰写了该论文，并且该论文是在会议C2上发表的。此外，论文P2引用了论文P4。简而言之，与论文P4相关联的有三种类型的边。此外，提供了具有各自属性向量的多类型节点。
随后，最近的研究趋势是探索多路异构属性网络，其中GATNE是首个将AMHEN引入NRL的重要工作。
为了进一步提高在多路异构属性网络中NRL的性能，DMGI引入了一种自监督方法，并设计了一种一致性正则化方案来考虑类型特定节点嵌入之间的关系。GTN利用Transformer结构的优势，自动生成元路径而无需领域知识，并可以基于边类型的软选择和组合生成各种元路径。
作为最新的进展，MHGCN被提出，它提出了一个用于AMHEN表示学习的图卷积网络。它设计通过一个简化的图卷积模块，并通过可学习参数β聚合邻接矩阵以获得最终的嵌入。
尽管这些研究在多路异构属性网络的表示学习方面取得了一定程度的进展，但由于网络的多样性存在两个限制。
异构性建模：回顾一下，在AMHEN中存在多类型的节点和边。当前的图神经网络方法通过手动构建元路径来对AMHEN进行建模，难以考虑网络的多样性。对于AMHEN中的NRL来说，建模异构性是很重要的。
多路信息融合：获得带属性的多路异构网络的多个子网络的每个嵌入，大多数先前的工作旨在聚合元路径或邻接矩阵，然而，这些信息融合策略可能是简单的。
发明内容
有鉴于此，本发明提出了一种新颖的方法，它依赖于单路径(Unipath)的思想，并构思了一种基于单路径的全局感知神经网络，即UAN，以更好地处理多路异构属性网络的表示学习问题。单路径是复合结构中的一个通道，而单路径网络是多路异构属性网络的一个子网络，它通过连接具有单一边属性的元路径进行聚合。因此，单路径网络旨在捕捉局部特性。基于这些概念，首先通过利用一些代表性的单路径将多路异构属性网络分解成多个单路径网络。同时，本发明构建一个基础网络，集成每个单路径网络的结构关系。为了解决异构模型问题，感知多路异构属性网络的全局信号，本发明设计了一个带有单路径网络嵌入和全局感知消息传递策略的全局感知图卷积模块。消息传递策略能够有效地感知基础网络与每个单路径网络之间的相关性。为了有效地融合多路信息并提高模型性能，本发明提出了一个聚合模块，通过加权求和单路径网络的隐藏层嵌入来获取节点嵌入，并引入最终的卷积运算符。通过实验证明了UAN相比于现有NRL模型的有效性。
本发明公开的基于全局感知神经网络的节点分类方法，包括以下步骤：
获取包含多类型节点及其属性信息的多通道网络结构的多路异构属性网络其中，/>为节点和的集合，ε是节点间的边的集合，每个节点/>都关联一个属性向量/>其中，节点集/>和属性向量的维度分别表示为n和m；
利用单路径将多路异构属性网络分解成多个单路径网络；
构建一个基础网络以集成每个单路径网络的结构关系；为解决异构模型问题，使用一个带有单路径网络嵌入和全局感知消息传递策略的全局感知图卷积模块，感知多路异构属性网络的全局信号；所述消息传递策略感知基础网络与每个单路径网络之间的相关性；
为了有效地融合多路信息并提高模型性能，使用聚合模块，通过加权求和单路径网络的隐藏层嵌入来获取节点嵌入，并引入最终的卷积运算符；
为每个节点学习一个低维向量/>其中/> 为网络G中的属性向量维度，将学习到的表示输入分类器进行节点分类，并输出分类结果。
进一步地，所述多路异构属性网络的每条边eij＝(vi，vj)∈ε表示vi和vj之间的连接，由于节点和边的一致性，节点种类和边种类的映射函数为φ:和ψ:/>其中/>和/>分别为节点种类数和边种类数；每个节点/> 和边e∈ε都分别关联一个在/>和中的特定种类；此外，/>其中εi表示边类型i∈k，k表示网络G中的边种类数，且/>这意味着同一对节点/>通过多类型边连接起来。
进一步地，单路径网络定义如下：给定一个已定义的多路异构属性网络则单路径网络/>这意味着该单路径网络是一个多路异构属性网络的单通道，它聚合了具有单个边缘属性连接的元路径。
进一步地，构造一个集合单路径网络和基础网络如下：
Gs＝(G1′,G2′,…,Gk′,Gbase)，
G1′,G2′,…,Gk′分别表示第1个、第2个、第k个单路径网络；所有的单路径网络共享同一个节点集特殊网络Gbase∈Gs，/>εi表示多路异构属性网络中的第i条边类型；Gbase拥有多路异构属性网络的结构信息。
进一步地，通过多通道的全局感知图卷积模块以快速学习所有通过Gbase的元路径，对于单个通道层而言：
其中是网络的隐藏状态，σ为非线性激活函数，/>为第i个单路径网络的邻接矩阵，/>为多路异构属性网络中的属性矩阵，/>是第1层的可学习参数，b1是第1层的偏置项。
进一步地，为了更好地聚合全局信号，构建基础网络，并使用全局感知消息传递策略，以增强模型表示能力和维护模型中每个通道的输入数量级，所述全局感知消息传递策略包括：
通过一个额外的图卷积层对基础网络进行嵌入，并从学习中吸收信息Gbase到每个单路径网络，其中第一层基础网络的嵌入表示为如下：
为基础网络的邻接矩阵；
因此，全局感知信息传递策略遵循以下等式：
其中l为模型的第l层，是第l-1层基础网络的嵌入表示。
进一步地，结合所述全局感知消息传递策略，使用双层图卷积网络GCN如下：
其中是第二层的可学习权值，b2是第2层的偏置项；
此外，模型使用不同数量的图卷积层来捕获不同长度的元路径单路径网络和基础网络；在多次卷积操作之后，模型获取多个信息并且对多路异构属性网络有更好的表示。
进一步地，获得每个单路径网络的嵌入后，使用聚合模块将这些嵌入聚合到一起，步骤包括：
考虑到单路径网络之间的不同连接，首先对嵌入进行加权求和，然后将基础网络的邻接矩阵融合到最后的图卷积层；
通过聚合模块，对节点嵌入进行非线性变换和特征提取，以提取更有代表性的和可区分的节点表示，如下公式所示：
其中，
是单路径网络嵌入的加权和，/>为基本网络的邻接矩阵，p是图卷积模块最后一层的数量，β是可学习的参数，用来测量每个通道的图形控制卷积模块，/>是最后一层的可学习权值，bfinal是最后一层的偏置项；这样，得到最终的嵌入/>
进一步地，在链接预测中使用无监督学习进行训练：
通过负抽样最小化以下二元交叉熵损失函数来优化模型参数：
其中，为节点vi的表示，/>为节点vj的表示，/>为节点v′i的表示，/>为节点v′j的表示，T为矩阵转置，σ(·)为LogSigmoid函数，Ω为正节点对的集合，Ω-是从所有未观察到的节点对中求出的负节点对采样的集合，因此利用损失函数以增加正样本中节点表示之间的相似度，同时降低负样本中节点表示之间的相似度。
进一步地，在节点分类中使用半监督学习来进行训练：
通过最小化交叉熵来优化模型的参数反向传播和梯度下降，所述交叉熵损失在基础真值与预测之间的所有标记节点上，表示为：
其中是有标签的节点指标集合，Yi∈Rn为第i个节点的标签，C为节点分类器参数，/>是第i个节点的嵌入；
在一部分标记节点的指导下，优化模型，然后学习节点的嵌入进行分类。
进一步地，所述网络数据集为学术、电子商务、电影行业的真实世界的公共数据集，至少包括Alibaba，DBLP，IMDB，Amazon数据集之一
与现有技术相比，本发明的有益效果如下：
对本发明提出了基于单路径的全局感知神经网络工作，即UAN，它可以自动感知全局并给出了嵌入在多路异构属性网络中的节点的局部拓扑信号。
本发明融合了网络结构和节点属性网络表示学习，通过聚合模块，模型可以有效地融合多重信息。
在几个公共数据集上进行了广泛的实验，实验结果证明了该方法在链路预测和节点分类方面的优越性，UAN优于最先进的竞争手。
附图说明
图1本发明的框架图；
图2网络层数对参数敏感性的影响评估图；
图3维度对参数敏感性的影响评估图；
图4轮数对参数敏感性的影响评估图；
图5网络层数对超参数的影响评估图；
图6维度对超参数的影响评估图；
图7轮数对超参数的影响评估图；
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
定义网络其中/>为节点和的集合ε是节点间的边的集合。每条边eij＝(vi，vj)∈ε表示vi和vj之间的连接。符号如表1所示。
表1：符号与描述。从上到下的三个块列举了描述AMHEN、单路径网络构建和图卷积模块中变量的符号。
定义1(多路异构属性网络])。给定一个网络每个节点/>都关联一个属性向量/>其中，节点集/>和属性向量的维度分别表示为n和m。由于节点和边的一致性，定义节点种类和边种类的映射函数为φ:/>和ψ:/>其中/>和分别为节点种类数和边种类数。每个节点/>和边e∈ε都分别关联一个在/>和/>中的特定种类。此外，/>其中εi表示边类型i∈k，且/>这意味着同一对节点/>能够通过多类型边连接起来。
定义2(元路径)。元路径Φ定义为的形式，描述对象U1和Ul+1之间的复合关系/>其中/>表示关系上的复合算子。
定义3(单路径网络)。给定一个已定义的多路异构属性网络则单路径网络/>这意味着该单路径网络是一个多路异构属性网络的单通道。在不同的单路径网络实例中，节点和属性保持不变，但是边是不同的。从另一个角度来看，单路径网络是多路异构属性网络的子图，它聚合了具有单个边缘属性连接的元路径。
问题1(多路异构属性网络的表示学习)。给定一个具有属性的多路异构属性网络本发明的网络表示的任务是为每个节点/>学习一个低维向量其中/>这些学习到的表示可以用于下游任务，包括但不限于节点分类和链路预测。
在本部分中，用图1所示的总体体系结构描述本发明的UAN框架。
单路径网络构造
不同于普通的异构网络，多路异构属性网络具有以下特点:一个多路异构属性网络可以看作是一组单路径网络，其中表示每个单路径网络的节点都是固定的，但每个节点可以在不同的单路径网络上互操作。为了更好地捕捉这些节点之间的交互关系，现在展示如何将多路异构属性网络转换为单路径网络以及如何构建基础网络。本发明构造一个集合单路径网络和基础网络:
Gs＝(G1,G2,…,Gk,Gbase)，
参考定义3，εi表示多路异构属性网络中的第i条边类型，注意所有的单路径网络共享同一个节点集/>一个特殊网络Gbase∈Gs定义为
Gbase拥有多路异构属性网络的结构信息，易于构建。因此，该构造方法易于分解多路异构属性网络并扩展到大输入。
全局注意图卷积模块
多路异构属性网络包含不同类型的节点和边。而且，相同的节点在AMHEN的不同单路径网络可能具有潜在连接。指定类型的边和节点组成元路径，它对表示有明显的影响异构网络的学习。现有技术要求手动定义元路径和学习节点表示在采样的异构元路径上。然而，设置人工采样元路径是一项复杂的任务。在一个大规模的网络中，采样大量的元路径需要很长一段时间。同时，将元路径聚合到元路径网络也需要大量的内存开销。本发明通过多通道的全局感知图卷积模块有效地解决了这一问题，可以很容易地学习所有通过单路径网络集Gbase的元路径。
如图1所示，多通道的全局感知图卷积层用于网络搜索信息AMHEN。对于单个通道层而言:
其中网络的隐藏状态是σ为非线性激活函数(即ReLU函数)，
为第i个单路径网络的邻接矩阵，/>为AMHEN中的属性矩阵，是第1层的可学习参数。为使本发明的模型关注的是AMHEN本身的结构信息和属性，注意本发明使用了一个简化的图卷积层，即不使用度数矩阵。
虽然可以通过卷积层获得单图嵌入，但是层间交互信息的丢失会导致模型产生次优的结果。因此，单路径的简单建模是不够的，应该考虑节点之间的相互作用在不同的单路径网络之间。请注意这里为了更好地聚合全局信号，本发明构建了基础网络，并在模型中设计了一个消息传递策略步骤:全局信息表示和集成消息传递。
全局感知。虽然图卷积算子能够对单路径网络建模，但它们不能处理拓扑不平衡问题。因此，本发明提出全局感知消息传递策略用于聚合所有信息，以增强模型表示能力和维护本发明模型中每个通道的输入数量级。本发明通过一个额外的图卷积层对基础网络进行嵌入，并从学习中吸收信息Gbase到每个单路径网络。以第一层基础网络的嵌入表示为例:
因此，第一步是全局感知信息传递策略遵循以下等式:
其中l为模型的第l层。
综合策略。结合全局感知消息传递策略，可以使用双层GCN作为示例如下：
其中是第二层的可学习权值。此外，模型可以使用不同数量的图卷积层来捕获不同长度的元路径单路径网络和基础网络。在多次卷积操作之后，模型可以获取多个信息并且对多路异构属性网络有更好的表示网络。
聚合模块
当获得每个单路径网络的嵌入时，使用聚合模块将这些嵌入聚合到一起。考虑到单路径网络之间的不同连接，首先对嵌入进行加权求和，然后将基础网络的邻接矩阵融合到最后的图卷积层。通过聚合模块，可以对节点嵌入进行非线性变换和特征提取，以提取更有代表性的和可区分的节点表示。如下公式所示:
其中，
是单路径网络嵌入的加权和。/>为基本网络的邻接矩阵。k是图卷积模块最后一层的数量。β是可学习的参数，用来测量每个通道的图形控制卷积模块。这样，就可以得到最终的嵌入/>模型优化
本模块引入定义的目标函数进行训练本发明的模型学习到最后的节点表示。根据不同下游任务的要求和节点标签的利用能力，可以采用两种学习模式来训练UAN:即无监督学习和半监督学习。链接预测中的无监督学习和节点分类中的半监督学习。
无监督学习。在无监督学习中，本发明通过负抽样最小化以下二元交叉熵损失函数来优化模型参数:
其中为节点vi的表示，T为矩阵转置，σ(·)为LogSigmoid函数，Ω为正节点对的集合，Ω-是从所有未观察到的节点对中求出的负节点对采样的集合。也就是说，本发明利用损失函数可以增加正样本中节点表示之间的相似度，同时降低负样本中节点表示之间的相似度。
半监督学习。在半监督学习中通过最小化交叉熵来优化UAN参数反向传播和梯度下降。交叉熵损失在基础真值与预测之间的所有标记节点上，表示为:
其中是有标签的节点指标集合，Yi∈Rn为第i个节点的标签，C为节点分类器参数，/>是第i个节点的嵌入。在一部分标记节点的指导下，可以优化UAN，然后学习节点的嵌入进行分类。
实验
表2：实验中网络的统计数据。其中，“n-type”(分别为“e-type”)表示节点类型(分别为边类型)
数据集 节点数 边数 节点类型数 边类型数 属性维度
Alibaba 21,318 41,676 2 4 19
DBLP 26,128 119,783 4 3 4,635
IMDB 12,772 18,644 3 2 1,256
Amazon 7,621 1,384,799 4 3 2,000
数据集和实验介绍
本发明使用了四个来自不同领域(学术、电子商务、电影)的真实世界的公共数据集，它们是Alibaba，DBLP，IMDB，Amazon。详细数据统计说明可在表2中找到。此外，为了评估本发明的有效性，本发明进行了两个下游任务(链接预测和节点分类)。在本实验使用了两个数据集(Alibaba和DBLP)链接预测任务和三个数据集(DBLP、IMDB和Amazon)用于节点分类任务。
基线模型
将本发明与以下19个网络学习基线进行比较，这些基线分为三类。
同构网络嵌入方法:
node2vec是一种代表性的方法，通过利用随机游走在图上生成节点序列来进行网络表示学习。
通过迭代方式进行投影过程，捕捉高阶图结构，并使用矩阵分解目标函数。该方法生成相似性矩阵，用于建模节点之间的传递关系。然后，利用稀疏随机投影降低维度。
SGC提出了简化图卷积网络的方法，在层间信息传播过程中移除非线性投影。AM-GNN是一种先进的图卷积网络，它是一个自适应多通道图卷积网络用于节点分类任务。
异构网络嵌入方法：
R-GCN考虑不同边类型的影响，并使用权重共享方法和系数约束应用于异构网络。
HAN在异构网络上应用图注意力网络，考虑了网络内部和网络间的相互作用，并利用手动选择的元路径学习节点嵌入。
NARS将异构网络按照边的类型进行解耦，并在解耦的子图上聚合邻居的特征。
MAGNN是一种基于聚合元路径的图神经网络，用于处理异构图。
HPN设计了一个语义传播机制来缓解语义混淆，然后整合丰富的语义信息。多路异构网络嵌入方法：
PMNE包含三种不同的模型，用于合并多重网络以生成每个节点的整体嵌入，分别称为PMNE-n、PMNE-r和PMNE-c。
MNE通过结合高维度的通用嵌入和低维度的分层嵌入来获取网络嵌入。GATNE提出使用基础嵌入、边嵌入和属性表示来生成整体节点嵌入。
GTN通过识别具有高阶关系的有效元路径来学习网络表示任务。
DMGI开发了一种共识正则化方案，考虑了类型特定节点嵌入之间的关系。此外，通过注意力机制，聚合了每个关系上下文信号。
FAME使用谱图转换捕捉元路径，并使用随机投影提高模型的效率。
HGSL是一种最先进的异构图神经网络，它同时进行异构图结构学习和图神经网络参数学习以进行分类。
DualHGCN使用双超图卷积网络来学习多重二部网络的节点嵌入。
HDMI提出了基于高阶互信息的监督信号和基于注意力的融合模块，用于融合多重网络的不同通道的节点嵌入。
MHGCN利用超参数在AMHEN中对单路径网络的邻接矩阵进行求和，然后使用简化的图卷积网络进行节点表示。
实验设置
在实验设置方面，本发明保持与其他方法进行比较，并且其他参数设置遵循已发表论文中的原始实现。对于本发明的UAN模型，将卷积层的数量l设置为2。为了公平比较，在链接预测任务中统一设置500轮训练，节点分类任务中设置200轮训练。通过调整学习率和权重衰减从5e-2到5e-4来获得最佳性能。根据表2，Alibaba、DBLP、IMDB和亚马逊的单路径网络数量分别为4、3、2和3。其他部分结果来自先前发表的工作。
所有实验在一台配备有一块GPU(Tesla A100)和一块CPU(Intel(R)Xeon(R)Gold6240CPU@2.60GHz)的Linux服务器上进行，操作系统为Ubuntu 18.04.6LTS。使用Python和深度学习库PyTorch实现了提出的UAN模型。Python和PyTorch的版本分别是3.9.13和1.13.0。
此外，使用双尾t检验报告了统计显著性，并在时用/>标记UAN相对于MHGCN的显著改进。
链路预测广泛用于评估不同方法得到的网络嵌入质量。对于链接预测，将网络中连接的节点视为正节点对，将所有未连接的节点视为负节点对。对于每种边类型，按照80％、10％和10％的比例将正节点对划分为训练集、验证集和测试集。首先以无监督的方式评估模型在链接预测任务上与十六个基线方法的性能。使用常用的评估指标之一，ROC曲线下面积(ROC-AUC)和PR曲线下面积(PR-AUC)进行实验评估。还使用F1分数作为另一个评估指标。结果如表3所示，最佳结果以粗体显示。前7个基线方法是同质或异质网络表示学习方法，后9个是多路网络表示学习方法。
表3：在不同数据集上进行链接预测的模型性能比较。
可以看到，UAN在两个数据集上在所有评估指标上显著优于所有基线方法。本发明的UAN模型在所有数据集(Alibaba和DBLP)上实现了很高的准确性，尤其在电子商务网络(Alibaba)上达到了100％的预测性能。这是因为UAN通过基于单路径网络构建的图卷积和全局感知传递策略捕捉到了有效的多单路径拓扑结构。与GATNE和MAGNN相比，本发明的模型取得了更好的结果，显示手动设置元路径不如模型自然地意识到元路径。
MHGCN可以自动捕捉元路径，但UAN在这两个数据集上的性能优于MHGCN。这是因为两个模型在信息聚合方法上的差异。在MHGCN中，它使用可学习的超参数β来求和邻接矩阵。但在UAN中，计算了额外的嵌入，并利用最终的聚合层使模型能够更好地融合跨层信息。
在节点分类任务中，与最先进的方法进行了比较，评估了UAN的有效性。结果如表4和表5所示，最佳结果以粗体显示。在表4中，前8个基线方法是无监督嵌入方法，而后面的是半监督嵌入方法。
表4：在不同数据集上进行节点分类的模型性能比较。
/>
可以看到，在两个数据集上，UAN在所有评估指标上显著优于所有基线方法。特别是在IMDB数据集上，相对于最先进的GNN模型MHGCN，本发明的UAN在Macro-F1和Mirco-F1方面分别提高了8.00％和7.91％。在DBLP数据集上，与MHGCN相比，本发明的模型提高了2.47％和2.25％。此外，本发明还添加了Amazon数据集上的额外节点分类任务，表5中的实验结果显示了UAN相对于两个最先进基线方法的更好性能。可能的原因是UAN通过基于基本消息传递策略的每个元路径交互来有效地学习用于分类的节点表示，从而感知AMHEN中的全局信息。实验结果充分证明了本发明在UAN中设计的两个模块的有效性。
表5：在Amazon数据集上进行节点分类的模型性能比较。
消融实验
为了验证本发明模型的每个组件的有效性，进一步对不同的UAN变体进行了实验。其中，UAN-G移除了UAN中的全局感知消息传递策略，UAN-L移除了UAN的聚合模块。在表6和表7中得到了UAN-G和UAN-L的对应结果。
表6：链路预测中的消融研究。
表7：节点分类中的消融研究。
从表6和表7中可以看出，全局感知消息传递策略和聚合模块都对整体性能有积极贡献。UAN-G和UAN之间的比较凸显了不同关系的重要性。
可以观察到，在两个实验中，UAN-G在所有数据集上的表现都不如UAN，DBLP数据集中的F1分数达到9.19％，宏观F1分数下降23.5％。这证明了本发明设计的全局感知消息传递策略模块在聚合所有信息以增强模型表示能力和保持链路预测学习和节点表示学习中每个通道的输入量级方面的关键作用。
UAN-L和UAN之间的比较反映了聚合模块的重要性。与UAN-L相比，UAN在阿里巴巴和DBLP的链接预测任务中的F1分别提高了1.83％和4.55％，在IMDB和DBLP的节点分类任务中的微观F1分别提高了6.86％和5.96％。这个结果表明本发明提出的聚合模块可以有效地聚合AMHEN中不同通道的所有嵌入表示。
参数敏感性分析
本发明还评估了UAN在关键参数(网络层数l，嵌入的隐藏维度大小和训练轮数)方面的敏感性。在图2-图7中，报告了两个数据集上节点分类任务的宏观F1分数和微观F1分数与不同参数设置的结果。
从图2和图5的结果可以看出，使用两层可以达到最佳性能。这表明考虑到网络中两跳的元路径交互已经足够，因为过多的图卷积层的消息传递可能会增加模型的噪音。
此外，从图3和图6可以看出，设置维度d＝200可以得到最佳结果。这是因为AMHEN的特征的更大维度会拉平所有嵌入之间的距离，而较低的维度可能会使模型难以关联所有节点对的特征相似性。
再者，图4和图7说明了UAN在模型学习中的训练轮次的性能。这表明UAN具有出色的收敛性，并在DBLP数据集中大约40轮次和IMDB数据集中大约80轮次内快速稳定地收敛到稳定的性能。
本发明的有益效果如下：
本发明提出了一种用于多路异构属性网络的网络表示学习模型UAN。本发明的模型主要分为两个关键组件：全局感知图卷积模块和聚合模块。通过全局感知图卷积模块，本发明可以区分多路异构属性网络中不同节点之间的关系的重要性并且捕捉跨多个关系的任意长度元路径交互，并在训练阶段通过模型参数学习来学习有意义的节点嵌入。在四个真实世界的异构网络上的实验结果显示了UAN在两个网络表示任务中的优越性。
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于全局感知神经网络的节点分类方法，其特征在于，包括以下步骤：
获取网络数据集，数据集中包含多类型节点及其属性信息的多通道网络结构的多路异构属性网络其中，/>为节点和的集合，ε是节点间的边的集合，每个节点都关联一个属性向量/>其中，节点集/>和属性向量的维度分别表示为n和m；
利用单路径将多路异构属性网络分解成多个单路径网络；
构建一个基础网络以集成每个单路径网络的结构关系；为解决异构模型问题，使用一个带有单路径网络嵌入和全局感知消息传递策略的全局感知图卷积模块，感知多路异构属性网络的全局信号；所述消息传递策略感知基础网络与每个单路径网络之间的相关性；
为了有效地融合多路信息并提高模型性能，使用聚合模块，通过加权求和单路径网络的隐藏层嵌入来获取节点嵌入，并引入最终的卷积运算符；
为每个节点学习一个低维向量/>其中/> 为网络G中的属性向量维度，将学习到的表示输入分类器进行节点分类，并输出分类结果。
2.根据权利要求1所述的基于全局感知神经网络的节点分类方法，其特征在于，所述多路异构属性网络的每条边eij＝(vi，vj)∈ε表示vi和vj之间的连接，由于节点和边的一致性，节点种类和边种类的映射函数为φ:和ψ:/>其中/>和/>分别为节点种类数和边种类数；每个节点/>和边e∈ε都分别关联一个在/>和/>中的特定种类；此外，其中εi表示边类型i∈k，k表示网络G中的边种类数，且/>即将同一对节点/>通过多类型边连接起来。
3.根据权利要求2所述的基于全局感知神经网络的节点分类方法，其特征在于，单路径网络定义如下：给定一个已定义的多路异构属性网络则单路径网络这意味着该单路径网络是一个多路异构属性网络的单通道，它聚合了具有单个边缘属性连接的元路径。
4.根据权利要求3所述的基于全局感知神经网络的节点分类方法，其特征在于，构造一个集合单路径网络和基础网络如下：
Gs＝(G1′,G2′,…,Gk′,Gbase)，
G1′,G2′,…,Gk′分别表示第1个、第2个、第k个单路径网络；所有的单路径网络共享同一个节点集特殊网络Gbase∈Gs，/> εi表示多路异构属性网络中的第i条边类型；Gbase拥有多路异构属性网络的结构信息。
5.根据权利要求4所述的基于全局感知神经网络的节点分类方法，其特征在于，通过多通道的全局感知图卷积模块以快速学习所有通过Gbase的元路径，对于单个通道层而言：
其中是网络的隐藏状态，σ为非线性激活函数，/>为第i个单路径网络的邻接矩阵，/>为多路异构属性网络中的属性矩阵，/>是第1层的可学习参数，b1是第1层的偏置项。
6.根据权利要求5所述的基于全局感知神经网络的节点分类方法，其特征在于，为了更好地聚合全局信号，构建基础网络，并使用全局感知消息传递策略，以增强模型表示能力和维护模型中每个通道的输入数量级，所述全局感知消息传递策略包括：
通过一个额外的图卷积层对基础网络进行嵌入，并从学习中吸收信息Gbase到每个单路径网络，其中第一层基础网络的嵌入表示为如下：
为基础网络的邻接矩阵；
因此，全局感知信息传递策略遵循以下等式：
其中l为模型的第l层，是第l-1层基础网络的嵌入表示。
7.根据权利要求6所述的基于全局感知神经网络的节点分类方法，其特征在于，结合所述全局感知消息传递策略，使用双层图卷积网络GCN如下：
其中是第二层的可学习权值，b2是第2层的偏置项；
此外，模型使用不同数量的图卷积层来捕获不同长度的元路径单路径网络和基础网络；在多次卷积操作之后，模型获取多个信息并且对多路异构属性网络有更好的表示。
8.根据权利要求7所述的基于全局感知神经网络的节点分类方法，其特征在于，获得每个单路径网络的嵌入后，使用聚合模块将这些嵌入聚合到一起，步骤包括：
考虑到单路径网络之间的不同连接，首先对嵌入进行加权求和，然后将基础网络的邻接矩阵融合到最后的图卷积层；
通过聚合模块，对节点嵌入进行非线性变换和特征提取，以提取更有代表性的和可区分的节点表示，如下公式所示：
其中，
是单路径网络嵌入的加权和，/>为基本网络的邻接矩阵，p是图卷积模块最后一层的数量，β是可学习的参数，用来测量每个通道的图形控制卷积模块，/>是最后一层的可学习权值，bfinal是最后一层的偏置项；这样，得到最终的嵌入/>
9.根据权利要求8所述的基于全局感知神经网络的节点分类方法，其特征在于，在节点分类中使用半监督学习来进行训练：
通过最小化交叉熵来优化模型的参数反向传播和梯度下降，所述交叉熵损失在基础真值与预测之间的所有标记节点上，表示为：
其中是有标签的节点指标集合，Yi∈Rn为第i个节点的标签，C为节点分类器参数，/>是第i个节点的嵌入；
在一部分标记节点的指导下，优化模型，然后学习节点的嵌入进行分类。
10.根据权利要求1所述的基于全局感知神经网络的节点分类方法，其特征在于，所述网络数据集为学术、电子商务、电影行业的真实世界的公共数据集，至少包括Alibaba，DBLP，IMDB，Amazon数据集之一。
CN202311170498.1A 2023-09-12 2023-09-12 基于全局感知神经网络的节点分类方法 Pending CN117251779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311170498.1A CN117251779A (zh) 2023-09-12 2023-09-12 基于全局感知神经网络的节点分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311170498.1A CN117251779A (zh) 2023-09-12 2023-09-12 基于全局感知神经网络的节点分类方法

Publications (1)

Publication Number Publication Date
CN117251779A true CN117251779A (zh) 2023-12-19

Family

ID=89134193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311170498.1A Pending CN117251779A (zh) 2023-09-12 2023-09-12 基于全局感知神经网络的节点分类方法

Country Status (1)

Country Link
CN (1) CN117251779A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591675A (zh) * 2024-01-19 2024-02-23 常熟理工学院 学术引用网络的节点分类预测方法、系统及存储介质
CN117909910A (zh) * 2024-03-19 2024-04-19 成都工业学院 基于图注意力网络的系统异常日志自动检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117591675A (zh) * 2024-01-19 2024-02-23 常熟理工学院 学术引用网络的节点分类预测方法、系统及存储介质
CN117591675B (zh) * 2024-01-19 2024-05-14 常熟理工学院 学术引用网络的节点分类预测方法、系统及存储介质
CN117909910A (zh) * 2024-03-19 2024-04-19 成都工业学院 基于图注意力网络的系统异常日志自动检测方法

Similar Documents

Publication Publication Date Title
Wei et al. A review on evolutionary multitask optimization: Trends and challenges
Sun et al. Sugar: Subgraph neural network with reinforcement pooling and self-supervised mutual information mechanism
Xia et al. Self-supervised hypergraph transformer for recommender systems
Yin et al. DHNE: Network representation learning method for dynamic heterogeneous networks
Yang et al. Friend or frenemy? Predicting signed ties in social networks
CN117251779A (zh) 基于全局感知神经网络的节点分类方法
Guo et al. Trust-aware recommendation based on heterogeneous multi-relational graphs fusion
Wu et al. Simplifying and empowering transformers for large-graph representations
Zhao et al. A novel link prediction algorithm based on inductive matrix completion
Jiang et al. Adaptive graph contrastive learning for recommendation
Xiao et al. Link prediction based on feature representation and fusion
Wang et al. Exploring graph capsual network for graph classification
CN113869424A (zh) 基于双通道图卷积网络的半监督节点分类方法
Chen et al. Heterogeneous graph convolutional network with local influence
Zhang et al. Bipartite graph capsule network
Li et al. Self-supervised nodes-hyperedges embedding for heterogeneous information network learning
Giamphy et al. A survey on bipartite graphs embedding
Sun et al. Graph embedding with rich information through heterogeneous network
CN117319285A (zh) 基于多路网络表示学习的链路预测方法
Han et al. An effective heterogeneous information network representation learning framework
Deng et al. Representation separation adversarial networks for cross-modal retrieval
Peng et al. Unsupervised Multiplex Graph Learning with Complementary and Consistent Information
Guo et al. Explainable recommendation systems by generalized additive models with manifest and latent interactions
Hou et al. DINE: A Framework for Deep Incomplete Network Embedding
Peng et al. Heterogeneous graph attention network-enhanced web service classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination