CN116306834A - 一种基于全局路径感知图神经网络模型的链路预测方法 - Google Patents

一种基于全局路径感知图神经网络模型的链路预测方法 Download PDF

Info

Publication number
CN116306834A
CN116306834A CN202310289221.4A CN202310289221A CN116306834A CN 116306834 A CN116306834 A CN 116306834A CN 202310289221 A CN202310289221 A CN 202310289221A CN 116306834 A CN116306834 A CN 116306834A
Authority
CN
China
Prior art keywords
node
attribute
nodes
reachable
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310289221.4A
Other languages
English (en)
Inventor
陈东明
沈樾
赵嘉欣
王冬琦
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202310289221.4A priority Critical patent/CN116306834A/zh
Publication of CN116306834A publication Critical patent/CN116306834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于全局路径感知图神经网络模型的链路预测方法,涉及复杂网络中链路预测技术领域。本发明结合了属性信息和结构信息,解决了GNN仅仅依赖于平滑的节点特征,忽略图的结构特征问题,同时解决了浅层Embedding学习无法结合节点自身属性的问题。使用欧氏距离度量连边节点间的相似度,很好的将潜在属性信息融合到结构信息提取中。使用结构表示生成器为节点进行结构初始化,解决了启发式方法的局限性。使用了基于路径感知的聚合方案,对短的路径赋予较大权重,对长的路径赋予较小的权重,改善了链路预测任务存在的简并现象,灵活计算目标节点对之间所有路径信息的得分。

Description

一种基于全局路径感知图神经网络模型的链路预测方法
技术领域
本发明涉及复杂网络中链路预测技术领域,尤其涉及一种基于全局路径感知图神经网络模型的链路预测方法。
背景技术
近些年来,计算机科学快速发展,各种实体(人或物)之间形成的各种复杂的关系组成了很多复杂网络。并且图结构具有强大的表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)将深度学习应用于图结构数据并取得了良好的性能。在复杂网络中,链接预测任务是长期存在的主要问题之一,包括预测已存在但未发现或者丢失的边和不久的将来将会出现的边。其主要对网络的节点的附加属性信息以及拓扑结构等进行学习,充分利用这些关联因素进行预测。链路预测的研究不仅可以有助于加快网络科学的发展和演变,同时有着广泛的应用场景,例如用于指导生物实验以提高实验成功率,对社交网络中的朋友推荐和敌友关系进行预测,电子商务网站上的商品推荐,以及通过识别隐藏的链边和虚假的链边对信息不完全或含有噪音的网络进行重构等等。
由于GNN在很大程度上依赖于平滑的节点特征,没有考虑链接预测任务独有的性质,忽略了图的结构特征,从而在链接预测下游任务中,GNN通常比简单启发式方法性能更差。但图的结构信息,例如共同邻居信息、节点的度和节点间的路径信息对链路预测至关重要。启发式方法如CN、AA、RA往往需要人为设计,存在很大局限性。浅层Embedding如DeepWalk、LINE、Node2Vec等,则通过得到两个节点的结构信息的向量表示,然后通过两个向量的相似度来判断两个节点的连边概率(分数),相比于启发式,对结构信息的捕捉更有效。但是大部分浅层的embedding学习无法结合节点自身的属性。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足,提供一种基于全局路径感知图神经网络模型的链路预测方法,融合网络的属性信息和结构信息,从邻接矩阵中学习节点间的全部路径信息作为节点间的分数,并通过计算待预测节点对的共同邻居得分进行链接预测。
为解决上述技术问题,本发明所采取的技术方案是:
一种基于全局路径感知图神经网络模型的链路预测方法,对静态属性网络进行结构信息和属性信息的提取,通过链路预测函数进行打分,再将两分数进行融合,得到最终预测结果;通过拟合预测值和真实值的差距进行模型训练和参数更新。
其中结构信息的提取包括:权重提取,学习节点属性的潜在信息;节点初始结构表示提取;路径感知聚合。最终得到节点的结构表示。
属性信息的提取是将初始属性表示放入图神经网络得到节点属性的表示;
所述链路预测函数进行打分包括:对待预测的节点对的结构表示进行Hadamard积得到链路预测的结构得分;对待预测的节点对的属性表示先相乘后输入多层感知机MLP得到链路预测的属性得分。
所述融合过程为对链路预测函数得到的结构得分和属性得分分配可学习的权重并加和,作为最终链路预测的评分。
模型训练和参数更新是使用二元交叉熵损失函数,分别以不同的权重从结构、属性、结构属性混合三个方面,来拟合预测值和真实数据,再反向传播更新模型参数。
进一步地,所述权重提取,将节点的初始属性潜在信息添加到结构信息提取子模型中,使得提取到的信息更加完整,具体方法为:
步骤1:对于给定的图,对于存在边的节点对,利用节点的初始属性表示X∈RN×F信息,其中xi∈RF(i∈(1,2i,...,N)),N为节点数量,计算两节点间属性表示的欧式距离作为相似性,用于度量两节点的分歧程度,并将其作为边权,公式如下:
Figure BDA0004140784950000021
其中,eij表示通过节点初始属性信息计算相似性得到的边的权重;
步骤2:归一化,将得到的边的权重eij使用sigmoid函数进行归一化,使得预测效果更加稳定。将邻接矩阵A∈RN×N中存在边的节点对,即Aij=1,使用归一化的边权a′ij替换,得到加权邻接矩阵A′;归一化的边权a′ij公式如下:
Figure BDA0004140784950000022
进一步地,所述节点初始结构表示提取,对网络中的结构信息进行学习,作为节点的初始结构信息,即根据节点的不同结构信息计算节点在链路预测时的贡献分数;使用多层感知机MLP动态地学习节点的初始结构表示,包括以下步骤:
步骤3:输入加权邻接矩阵A′,使用由两个MLP组成的初始结构表示生成器动态学习每个节点的初始结构表示,其作用是当节点作为待链路预测节点对的公共可达节点时,对链路预测任务的贡献分数,公式如下:
Figure BDA0004140784950000023
其中,
Figure BDA0004140784950000024
为节点i的初始结构表示,即贡献分数;Fθ(·)为初始结构表示提取器;fθnode(·)、fθedge(·)表示两个MLP;N(i)表示节点i的邻居节点;A′ij的值:节点间若存在边则为权重a′ij,不存边在则为0;
步骤4:将得到的节点初始结构表示构造对角矩阵Xstruct∈RN×N,公式如下:
Xstruct=diag(xstruct)。
进一步地,所述路径感知聚合,即对网络中节点之间的路径信息进行提取,使用Katz指数计算两节点间全部路径信息作为节点间的可达权重,节点i的所有可达节点的贡献分数乘以对应的可达权重作为贡献度,并聚合到N维的向量作为节点的结构表示,包括如下步骤:
步骤5:计算待链路预测目标节点的可达节点k的可达权重;
邻接矩阵A中aij看作节点i和节点j之间路径的长度为1的路径条数,延伸到更高阶An,An
Figure BDA0004140784950000031
看作节点对之间路径的长度为n的路径的条数;节点i和节点j之间路径数量看作两节点之间路径可达性分数,但节点对之间的短路径相较于长路径对于衡量节点对之间的可达性更具影响力,因此将每条较短长度的路径赋予较大的权重,将较长的路径赋予较小的权重;
长度为t的路径数量与长度为t路径的权重相乘就得到长度t的路径对于节点对间可达权重,计算所有长度路径的可达权重的总和,作为衡量节点对间的可达权重;
步骤6:输入加权邻接矩阵A′,通过Neumann级数降低时间复杂度为O(n3),得到可达权重矩阵S∈RN×N,公式如下:
S=βA′+β2A′23A′3+...=(I-βA′)-1-I,
其中,β为权重,其取值范围在
Figure BDA0004140784950000032
λmax为加权邻接矩阵A′的最大特征值;这里保证了β<1,则β>β2>…;I表示单位矩阵,Si中包含了节点i的所有可达节点的可达权重;若节点i与节点k不可达,则可达权重为Sik为0;
步骤7:将节点的贡献分数对角矩阵Xstruct乘以可达权重矩阵S聚合为节点结构表示矩阵Z∈RN×N,Zi为节点i的结构表示,Zik为可达节点k对节点i的贡献度,节点结构表示矩阵公式如下:
Z=gΦ(SXstruct),
其中,gΦ为一个MLP;
进一步地,所述属性信息的提取中,对网络中的属性信息进行学习;给定的属性图G,以及节点的初始属性表示集合矩阵X,输入到多层图神经网络GNN模型,在每层GNN中通过迭代聚合邻居节点转换后的表示来学习有意义的节点表示;选择使用图卷积神经网络GCN来学习节点属性信息。
GCN卷基层在第l层以邻接矩阵A和节点表示矩阵H(l)作为输入,同时使用可训练的权重矩阵,更新节点表示,得到第l层的输出H(l+1),并作为下一层的输入,GCN卷积的总体公式如下:
H(l+1)=GCONV(A,H(l),W(l)),
其中,W(l)为可学习的权重矩阵、GCONV为GCN卷积函数;
具体包括以下步骤:
步骤8:对于第一层,H(0)的输入为原始的属性表示X,并对W(l)权重矩阵进行随机初始化;
步骤9:获取归一化邻接矩阵
Figure BDA0004140784950000041
不同GNN以不同方式归一化的邻接矩阵,GCN卷积层的归一化的邻接矩阵公式如下:
Figure BDA0004140784950000042
其中,
Figure BDA0004140784950000043
为加自环的邻接矩阵,/>
Figure BDA0004140784950000044
Figure BDA0004140784950000045
为度矩阵,/>
Figure BDA0004140784950000046
其中/>
Figure BDA0004140784950000047
表示节点i与节点j之间是否存在连边,存在则为1,不存在则为0;
步骤10:将A替换为
Figure BDA0004140784950000048
在最外层使用ReLU激活函数,获得当前层节点属性表示H(l +1),公式如下:
Figure BDA0004140784950000049
其中σ为非线性激活函数ReLU。
使用的GCN层数为3,所以循环执行3次步骤11,得到最终的节点属性表示H;
进一步地,所述链路预测打分过程中,对于待预测链路的节点对,通过链路预测函数对两节点的表示进行打分,包括为结构表示打分与为属性表示打分。具体方法为:
步骤11:结构表示链路预测分数计算:
计算节点i和节点j结构表示的Hadamard积,那么只有公共可达的节点才能计算出分数,公式如下:
Figure BDA00041407849500000410
其中,P(·)表示节点的所有可达节点,Sik为节点k对节点i的可达权重;
步骤12:计算属性表示链路预测的得分,对于待预测链路的节点对,先计算两节点表示的乘积,然后输入到MLP预测最终得分。
进一步地,所述融合,对于待预测链路的节点对,通过可学习的参数α对属性相似度与结构相似度加权组合,作为最终预测结果,公式如下:
Figure BDA0004140784950000051
其中,
Figure BDA0004140784950000052
表示预测值,Hi表示节点i的属性表示,s(·)为MLP,来计算属性表示的节点对的得分。
进一步地,所述模型训练与参数更新,使用二元交叉熵函数计算损失,来拟合预测值和真实值,反向传播更新模型的参数;
其中分别对属性得分、结构得分以及属性结构融合的得分计算二元交叉熵,并分配不同权重联合训练模型;损失公式如下:
Figure BDA0004140784950000053
其中,L为损失,wi为权重,BCE(·)为二元交叉熵函数,D表示训练数据集,yij表示真实值。
采用上述技术方案所产生的有益效果在于:本发明提供的基于全局路径感知图神经网络模型的链路预测方法,提出了一种全局路径感知图神经网络(APOA-GNNs),该模型融合网络的属性信息和结构信息,解决了浅层Embedding学习无法结合节点自身的属性的问题。本发明结合了属性信息和结构信息,解决了GNN仅仅依赖于平滑的节点特征,忽略图的结构特征问题,同时解决了浅层Embedding学习无法结合节点自身的属性的问题。使用欧氏距离度量连边节点间的相似度,很好的将潜在属性信息融合到结构信息提取中。使用结构表示生成器为节点进行结构初始化,解决了启发式方法的局限性。使用了基于路径感知的聚合方案,对短的路径赋予较大权重,对长的路径赋予较小的权重,改善了链路预测任务存在的简并现象,灵活计算节点对之间所有路径信息的得分。在属性网络如Cora、Citeseer、Texas、Wisconsin等开放数据集上的大量实验表明,本发明的APOA-GNNs在链路预测方面整体上达到最先进的性能。
附图说明
图1为本发明实施例提供的基于全局路径感知图神经网络模型的链路预测方法的框架图;
图2为本发明实施例提供的APOA与基线方法做链路预测的AUC值对比图;
图3为本发明实施例提供的APOA、APOA-w与APOA-Katz分别在Citeseer和Wisconsin数据集上做的消融实验对比图;其中,图(3a)为在Citeseer数据集上做的消融实验对比,图(3b)为在Wisconsin数据集上做的消融实验对比。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
本实施例提供一种基于全局路径感知图神经网络模型的链路预测方法,对静态属性网络进行结构信息和属性信息的提取,通过链路预测函数进行打分,再将两分数进行融合,得到最终预测结果;通过拟合预测值和真实值的差距进行模型训练和参数更新。如图1所示,为本实施例方法的框架图。
其中结构信息的提取包括:权重提取,学习节点属性的潜在信息;节点初始结构表示提取;路径感知聚合。最终得到节点的结构表示。
属性信息的提取将初始属性表示放入图神经网络得到节点属性的表示;
链路预测:对待预测的节点对的结构表示进行Hadamard积得到链路预测的结构得分;对待预测的节点对的属性表示先相乘后输入多层感知机MLP得到链路预测的属性得分。
融合对链路预测函数得到的结构得分和属性得分分配可学习的权重并加和,作为最终链路预测的评分。
模型训练和参数更新是使用二元交叉熵损失函数,分别以不同的权重从结构、属性、结构属性混合三个方面,来拟合预测值和真实数据,再反向传播更新模型参数。
所述权重提取,将节点的初始属性潜在信息添加到结构信息提取子模型中,使得提取到的信息更加完整,具体方法为:
步骤1:对于给定的图,对于存在边的节点对,利用节点的初始属性表示X∈RN×F信息,其中xi∈RF(i∈(1,2,…,N)),N为节点数量,计算两节点间属性表示的欧式距离作为相似性,用于度量两节点的分歧程度,并将其作为边权,公式如下:
Figure BDA0004140784950000061
其中,eij表示通过节点初始属性信息计算相似性得到的边的权重;
步骤2:归一化,将得到的边的权重eij使用sigmoid函数进行归一化,使得预测效果更加稳定。将邻接矩阵A∈RN×N中存在边的节点对,即Aij=1,使用归一化的边权a′ij替换,得到加权邻接矩阵A′;归一化的边权a′ij公式如下:
Figure BDA0004140784950000062
所述节点初始结构表示提取,对网络中的结构信息进行学习,作为节点的初始结构信息,即根据节点的不同结构信息计算节点在链路预测时的贡献分数;使用多层感知机MLP动态地学习节点的初始结构表示,包括以下步骤:
步骤3:输入加权邻接矩阵A′,使用由两个MLP组成的初始结构表示生成器动态学习每个节点的初始结构表示,其作用是当节点作为待链路预测节点对的公共可达节点时,对链路预测任务的贡献分数,公式如下:
Figure BDA0004140784950000071
其中,
Figure BDA0004140784950000072
为节点i的初始结构表示,即贡献分数;Fθ(·)为初始结构表示提取器;fθnode(·)、fθedge(·)表示两个MLP;N(i)表示节点i的邻居节点;A′ij的值:节点间若存在边则为权重a′ij,不存边在则为0;
步骤4:将得到的节点初始结构表示构造对角矩阵Xstruct∈RN×N,公式如下:
Xstruct=diag(xstruct)。
所述路径感知聚合,即对网络中节点之间的路径信息进行提取,使用Katz指数计算两节点间全部路径信息作为节点间的可达权重,节点i的所有可达节点的贡献分数乘以对应的可达权重作为贡献度,并聚合到N维的向量作为节点的结构表示,包括如下步骤:
步骤5:计算待链路预测目标节点的可达节点k的可达权重;
邻接矩阵A中aij看作节点i和节点j之间路径的长度为1的路径条数,延伸到更高阶An,An
Figure BDA0004140784950000073
看作节点对之间路径的长度为n的路径的条数;节点i和节点j之间路径数量看作两节点之间路径可达性分数,但节点对之间的短路径相较于长路径对于衡量节点对之间的可达性更具影响力,因此将每条较短长度的路径赋予较大的权重,将较长的路径赋予较小的权重;
长度为t的路径数量与长度为t路径的权重相乘就得到长度t的路径对于节点对间可达权重,计算所有长度路径的可达权重的总和,作为衡量节点对间的可达权重;
步骤6:输入加权邻接矩阵A′,通过Neumann级数降低时间复杂度为O(n3),得到可达权重矩阵S∈RN×N,公式如下:
S=βA′+β2A′23A′3+…=(I-βA′)-1-I,
其中,β为权重,其取值范围在
Figure BDA0004140784950000074
λmax为加权邻接矩阵A′的最大特征值;这里保证了β<1,则β>β2>...;I表示单位矩阵,Si中包含了节点i的所有可达节点的可达权重;若节点i与节点k不可达,则可达权重为Sik为0;
步骤7:将节点的贡献分数对角矩阵Xstruct乘以可达权重矩阵S聚合为节点结构表示矩阵Z∈RN×N,Zi为节点i的结构表示,Zik为可达节点k对节点i的贡献度,节点结构表示矩阵公式如下:
Z=gΦ(SXstruct),
其中,gΦ为一个MLP;
所述属性信息的提取中,对网络中的属性信息进行学习;给定的属性图G,以及节点的初始属性表示集合矩阵X,输入到多层图神经网络GNN模型,在每层GNN中通过迭代聚合邻居节点转换后的表示来学习有意义的节点表示;选择使用图卷积神经网络GCN来学习节点属性信息。
GCN卷基层在第l层以邻接矩阵A和节点表示矩阵H(l)作为输入,同时使用可训练的权重矩阵,更新节点表示,得到第l层的输出H(l+1),并作为下一层的输入,GCN卷积的总体公式如下:
H(l+l)=GCONV(A,H(l),W(l)),
其中,W(l)为可学习的权重矩阵、GCONV为GCN卷积函数;
具体包括以下步骤:
步骤8:对于第一层,H(0)的输入为原始的属性表示X,并对W(l)权重矩阵进行随机初始化;
步骤9:获取归一化邻接矩阵
Figure BDA0004140784950000081
不同GNN以不同方式归一化的邻接矩阵,GCN卷积层的归一化的邻接矩阵公式如下:
Figure BDA0004140784950000082
其中,
Figure BDA0004140784950000083
为加自环的邻接矩阵,/>
Figure BDA0004140784950000084
Figure BDA0004140784950000085
为度矩阵,/>
Figure BDA0004140784950000086
其中/>
Figure BDA0004140784950000087
表示节点i与节点j之间是否存在连边,存在则为1,不存在则为0;
步骤10:将A替换为
Figure BDA0004140784950000088
在最外层使用ReLU激活函数,获得当前层节点属性表示H(l +1),公式如下:
Figure BDA0004140784950000089
其中σ为非线性激活函数ReLU。
使用的GCN层数为3,所以循环执行3次步骤11,得到最终的节点属性表示H;
所述链路预测打分过程为,对于待预测链路的节点对,通过链路预测函数对两节点的表示进行打分,包括为结构表示打分与为属性表示打分。
步骤11:结构表示链路预测分数计算:
计算节点i和节点j结构表示的Hadamard积,那么只有公共可达的节点才能计算出分数,公式如下:
Figure BDA0004140784950000091
其中,P(·)表示节点的所有可达节点,Sik为节点k对节点i的可达权重。
步骤12:计算属性表示链路预测的得分,对于待预测链路的节点对,先计算两节点表示的乘积,然后输入到MLP预测最终得分。
所述融合过程,对于待预测链路的节点对,通过可学习的参数α对属性相似度与结构相似度加权组合,作为最终预测结果,公式如下:
Figure BDA0004140784950000092
其中,
Figure BDA0004140784950000093
表示预测值,Hi表示节点i的属性表示,s(·)为MLP,来计算属性表示的节点对的得分。
所述模型训练与参数更新,使用二元交叉熵函数计算损失,来拟合预测值和真实值,反向传播更新模型的参数;
其中分别对属性得分、结构得分以及属性结构融合的得分计算二元交叉熵,并分配不同权重联合训练模型;损失公式如下:
Figure BDA0004140784950000094
其中,L为损失,wi为权重,BCE(·)为二元交叉熵函数,D表示训练数据集,yij表示真实值。
下面根据本实施例路径感知图神经网络模型,与各类基线方法进行对比,包括如下步骤:
步骤1:选取实验数据集,包括Cora、Citeseer、Chameleon、Texas、Wisconsin。
步骤2:选取基线方法包括VGAE、ARGVA、ARGVA、WP和NEO。
步骤3:超参数设置。
对于所有基于GNN的模型,层数设置为3,隐层维度设置为256,使用GCN。所有MLP模型都由2个全连接的层组成。实验结果取10次独立运行的平均值和标准差,seed从0-9,每次进行40个epoch。数据集的训练集、测试集、验证集的比例为8∶1∶1。参数的设置,
Figure BDA0004140784950000101
其中λmax为加权邻接矩阵A′的最大特征值,γ的取值范围为0.1~0.3。
步骤4:在运行本实施例的APOA方法和其他各类基线方法以AUC和AP作为评价指标评估效果。
步骤5:对AUC值进行可视化,并对比分析,结果如图2所示。
可以看到APOA方法在大多数数据集上都达到了最先进的效果。对比VGAE、ARGAE、GIC这三个方法,本实施例的方法考虑了结构信息,而不仅仅局限于属性表示的提取,从而有更好的效果。
对比WP增强的各个图神经网络,本实施例的方法在Chameleon数据集中比WP方法较低的原因可能是APOA考虑了更长的路径信息,所以更适合异配性、网络密度和平均聚集系数都较低的网络。
对比NEO方法,本实施例的方法在结构信息提取时,增加了属性潜在信息,并且在聚合可达节点的贡献分数时,考虑到了更高阶的全部路径可达的节点的信息,其将会起到缓解简并现象的作用。即基于局部的相似性链路预测方法,其相似性指标的区分粒度不够精细,从而造成众多节点对具有相同的节点相似性,从而无法排出有效的先后顺序。因此本实施例的方法有更好的效果。
根据路径感知图神经网络模型,对比消去各个主体部分后与当前方法比较的效果,包括如下步骤:
步骤1:对模型去掉权重提取部分,命名为APOA-w;替换全局路径信息聚合为邻接矩阵A聚合方式,命名为APOA-Katz。
步骤2:选取实验数据集Citeseer、Wisconsin。
步骤3:超参数设置。
步骤4:在运行原方法和各消去各模块后的模型进行比较,得出不同基线方法下的AUC值和AP值。
步骤5:对AUC、AP值进行可视化,并对比分析,结果如图3所示。
可以看到,在Citeseer、Wisconsin数据集上,对模型去掉权重提取部分APOA-w的效果低于增加权重的APOA;使用邻接矩阵A聚合初始结构表示APOA-Katz的效果低于使用全局路径信息聚合初始结构表示APOA的效果。证明了方法的权重提前模块、全局路径信息聚合模块的有效性。
本实施例提出了一种全局路径感知图神经网络(APOA-GNNs),该模型融合网络的属性信息和结构信息,解决了浅层Embedding学习无法结合节点自身的属性的问题。
在结构信息提取时,使用欧氏距离度量连边节点间的相似度,将潜在属性信息融合到结构信息提取中。并且使用了基于路径感知的聚合方案,从邻接矩阵中学习节点间的全部路径信息作为节点间的可达权重,对短的路径赋予较大权重,对长的路径赋予较小的权重,改善了链路预测任务存在的简并现象,灵活计算目标节点对之间所有路径信息的得分。同时结合结构表示生成器学习到的节点初始结构得分,将其聚合为节点的结构表示,并通过Hadamard积计算目标节点对的共同邻居得分进行链接预测。不用额外提取待预测节点对的邻域子图,降低复杂度,同时可以学习到更高阶的路径信息。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (8)

1.一种基于全局路径感知图神经网络模型的链路预测方法,其特征在于:该方法对静态属性网络进行结构信息和属性信息的提取,通过链路预测函数进行打分,再将两分数进行融合,得到最终预测结果;通过拟合预测值和真实值的差距进行模型训练和参数更新;
其中结构信息的提取包括:权重提取,学习节点属性的潜在信息;节点初始结构表示提取;路径感知聚合,最终得到节点的结构表示;
所述属性信息的提取是将初始属性表示放入图神经网络得到节点属性的表示;
所述链路预测函数进行打分包括:对待预测的节点对的结构表示进行Hadamard积得到链路预测的结构得分;对待预测的节点对的属性表示先相乘后输入多层感知机MLP得到链路预测的属性得分;
所述融合过程为对链路预测函数得到的结构得分和属性得分分配可学习的权重并加和,作为最终链路预测的评分;
所述模型训练和参数更新是使用二元交叉熵损失函数,分别以不同的权重从结构、属性、结构属性混合三个方面,来拟合预测值和真实数据,再反向传播更新模型参数。
2.根据权利要求1所述的基于全局路径感知图神经网络模型的链路预测方法,其特征在于:所述权重提取,将节点的初始属性潜在信息添加到结构信息提取子模型中,使得提取到的信息更加完整,具体方法为:
步骤1:对于给定的图,对于存在边的节点对,利用节点的初始属性表示X∈RN×F信息,其中xi∈RF(i∈(1,2i,...,N)),N为节点数量,计算两节点间属性表示的欧式距离作为相似性,用于度量两节点的分歧程度,并将其作为边权,公式如下:
Figure FDA0004140784940000011
其中,eij表示通过节点初始属性信息计算相似性得到的边的权重;
步骤2:归一化,将得到的边的权重eij使用sigmoid函数进行归一化,使得预测效果更加稳定;将邻接矩阵A∈RN×N中存在边的节点对,即Aij=1,使用归一化的边权a′ij替换,得到加权邻接矩阵A′;归一化的边权a′ij公式如下:
Figure FDA0004140784940000012
3.根据权利要求2所述的基于全局路径感知图神经网络模型的链路预测方法,其特征在于:所述节点初始结构表示提取,对网络中的结构信息进行学习,作为节点的初始结构信息,即根据节点的不同结构信息计算节点在链路预测时的贡献分数;使用多层感知机MLP动态地学习节点的初始结构表示,包括以下步骤:
步骤3:输入加权邻接矩阵A′,使用由两个MLP组成的初始结构表示生成器动态学习每个节点的初始结构表示,其作用是当节点作为待链路预测节点对的公共可达节点时,对链路预测任务的贡献分数,公式如下:
Figure FDA0004140784940000021
其中,
Figure FDA0004140784940000022
为节点i的初始结构表示,即贡献分数;Fθ(·)为初始结构表示提取器;fθnode(·)、fθedge(·)表示两个MLP;N(i)表示节点i的邻居节点;A′ij的值:节点间若存在边则为权重a′ij,不存边在则为0;
步骤4:将得到的节点初始结构表示构造对角矩阵Xstruct∈RN×N,公式如下:
Xstruct=diag(xstruct)。
4.根据权利要求3所述的基于全局路径感知图神经网络模型的链路预测方法,其特征在于:所述路径感知聚合,即对网络中节点之间的路径信息进行提取,使用Katz指数计算两节点间全部路径信息作为节点间的可达权重,节点i的所有可达节点的贡献分数乘以对应的可达权重作为贡献度,并聚合到N维的向量作为节点的结构表示,包括如下步骤:
步骤5:计算待链路预测目标节点的可达节点k的可达权重;
邻接矩阵A中aij看作节点i和节点j之间路径的长度为1的路径条数,延伸到更高阶An,An
Figure FDA0004140784940000023
看作节点对之间路径的长度为n的路径的条数;节点i和节点j之间路径数量看作两节点之间路径可达性分数,但节点对之间的短路径相较于长路径对于衡量节点对之间的可达性更具影响力,因此将每条较短长度的路径赋予较大的权重,将较长的路径赋予较小的权重;
长度为t的路径数量与长度为t路径的权重相乘就得到长度t的路径对于节点对间可达权重,计算所有长度路径的可达权重的总和,作为衡量节点对间的可达权重;
步骤6:输入加权邻接矩阵A′,通过Neumann级数降低时间复杂度为O(n3),得到可达权重矩阵S∈RN×N,公式如下:
S=βA′+β2A′23A′3+...=(I-βA′)-1-I
其中,β为权重,其取值范围在
Figure FDA0004140784940000024
λmax为加权邻接矩阵A′的最大特征值;这里保证了β<1,则β>β2>…;I表示单位矩阵,Si中包含了节点i的所有可达节点的可达权重;若节点i与节点k不可达,则可达权重为Sik为0;
步骤7:将节点的贡献分数对角矩阵Xstruct乘以可达权重矩阵S聚合为节点结构表示矩阵Z∈RN×N,Zi为节点i的结构表示,Zik为可达节点k对节点i的贡献度,节点结构表示矩阵公式如下:
Z=gΦ(SXstruct)
其中,gΦ为一个MLP。
5.根据权利要求4所述的基于全局路径感知图神经网络模型的链路预测方法,其特征在于:所述属性信息的提取中,对网络中的属性信息进行学习;给定的属性图G,以及节点的初始属性表示集合矩阵X,输入到多层图神经网络GNN模型,在每层GNN中通过迭代聚合邻居节点转换后的表示来学习有意义的节点表示;选择使用图卷积神经网络GCN来学习节点属性信息;
GCN卷基层在第l层以邻接矩阵A和节点表示矩阵H(l)作为输入,同时使用可训练的权重矩阵,更新节点表示,得到第l层的输出H(l+l),并作为下一层的输入,GCN卷积的总体公式如下:
H(l+l)=GCONV(A,H(l),W(l))
其中,W(l)为可学习的权重矩阵、GCONV为GCN卷积函数;
具体包括以下步骤:
步骤8:对于第一层,H(0)的输入为原始的属性表示X,并对W(l)权重矩阵进行随机初始化;
步骤9:获取归一化邻接矩阵
Figure FDA0004140784940000031
不同GNN以不同方式归一化的邻接矩阵,GCN卷积层的归一化的邻接矩阵公式如下:
Figure FDA0004140784940000032
其中,
Figure FDA0004140784940000033
为加自环的邻接矩阵,/>
Figure FDA0004140784940000034
Figure FDA0004140784940000035
为度矩阵,/>
Figure FDA0004140784940000036
其中/>
Figure FDA0004140784940000037
表示节点i与节点j之间是否存在连边,存在则为1,不存在则为0;
步骤10:将A替换为
Figure FDA0004140784940000038
在最外层使用ReLU激活函数,获得当前层节点属性表示H(l+1),公式如下:
Figure FDA0004140784940000039
其中σ为非线性激活函数ReLU;
所使用的GCN层数为3,故循环执行3次步骤11,得到最终的节点属性表示H。
6.根据权利要求5所述的基于全局路径感知图神经网络模型的链路预测方法,其特征在于:所述链路预测打分过程中,对于待预测链路的节点对,通过链路预测函数对两节点的表示进行打分,包括为结构表示打分和为属性表示打分;具体方法为:
步骤11:结构表示链路预测分数计算:
计算节点i和节点j结构表示的Hadamard积,那么只有公共可达的节点才能计算出分数,公式如下:
Figure FDA0004140784940000041
其中,P(·)表示节点的所有可达节点,Sik为节点k对节点i的可达权重;
步骤12:计算属性表示链路预测的得分,对于待预测链路的节点对,先计算两节点表示的乘积,然后输入到MLP预测最终得分。
7.根据权利要求6所述的基于全局路径感知图神经网络模型的链路预测方法,其特征在于:所述融合,对于待预测链路的节点对,通过可学习的参数α对属性相似度与结构相似度加权组合,作为最终预测结果,公式如下:
Figure FDA0004140784940000042
其中,
Figure FDA0004140784940000043
表示预测值,Hi表示节点i的属性表示,s(·)为MLP,来计算属性表示的节点对的得分。
8.根据权利要求7所述的基于全局路径感知图神经网络模型的链路预测方法,其特征在于:所述模型训练与参数更新,使用二元交叉熵函数计算损失,来拟合预测值和真实值,反向传播更新模型的参数;
其中分别对属性得分、结构得分以及属性结构融合的得分计算二元交叉熵,并分配不同权重联合训练模型;损失公式如下:
Figure FDA0004140784940000044
其中,L为损失,wi为权重,BCE(·)为二元交叉熵函数,D表示训练数据集,yij表示真实值。
CN202310289221.4A 2023-03-23 2023-03-23 一种基于全局路径感知图神经网络模型的链路预测方法 Pending CN116306834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310289221.4A CN116306834A (zh) 2023-03-23 2023-03-23 一种基于全局路径感知图神经网络模型的链路预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310289221.4A CN116306834A (zh) 2023-03-23 2023-03-23 一种基于全局路径感知图神经网络模型的链路预测方法

Publications (1)

Publication Number Publication Date
CN116306834A true CN116306834A (zh) 2023-06-23

Family

ID=86832113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310289221.4A Pending CN116306834A (zh) 2023-03-23 2023-03-23 一种基于全局路径感知图神经网络模型的链路预测方法

Country Status (1)

Country Link
CN (1) CN116306834A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582480A (zh) * 2023-07-12 2023-08-11 厦门大学 一种寻找最少失效链路使得路由不可达的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116582480A (zh) * 2023-07-12 2023-08-11 厦门大学 一种寻找最少失效链路使得路由不可达的方法
CN116582480B (zh) * 2023-07-12 2023-10-24 厦门大学 一种寻找最少失效链路使得路由不可达的方法

Similar Documents

Publication Publication Date Title
CN111931062B (zh) 一种信息推荐模型的训练方法和相关装置
CN111368074B (zh) 一种基于网络结构和文本信息的链路预测方法
CN112861967B (zh) 基于异构图神经网络的社交网络异常用户检测方法及设备
CN111881350B (zh) 一种基于混合图结构化建模的推荐方法与系统
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
Yin et al. An anomaly detection model based on deep auto-encoder and capsule graph convolution via sparrow search algorithm in 6G internet-of-everything
CN113065974A (zh) 一种基于动态网络表示学习的链路预测方法
US20180336482A1 (en) Social prediction
CN112364236A (zh) 目标对象推荐系统、方法、装置、数据处理方法及装置
CN115270007A (zh) 一种基于混合图神经网络的poi推荐方法及系统
Zhou et al. Betweenness centrality-based community adaptive network representation for link prediction
CN116306834A (zh) 一种基于全局路径感知图神经网络模型的链路预测方法
Wu et al. Heterogeneous representation learning and matching for few-shot relation prediction
CN116992151A (zh) 一种基于双塔图卷积神经网络的在线课程推荐方法
Wang et al. Online course recommendation algorithm based on multilevel fusion of user features and item features
CN115481215A (zh) 一种基于时态合作者知识图谱的合作者预测方法和预测系统
CN117194771B (zh) 一种图模型表征学习的动态知识图谱服务推荐方法
Wu et al. Hierarchical attention signed network
Wu et al. A unified generative adversarial learning framework for improvement of skip-gram network representation learning methods
Le et al. Enhancing Anchor Link Prediction in Information Networks through Integrated Embedding Techniques
CN115564013B (zh) 提高网络表示学习表示能力的方法、模型训练方法和系统
Tang et al. Graph convolutional networks against degree-related biases
Cheng et al. BHONEM: Binary high-order network embedding methods for networked-guarantee loans
CN113010772A (zh) 一种数据处理方法、相关设备及计算机可读存储介质
Yechuri et al. Semantic Web Mining for Analyzing Retail Environment Using Word2Vec and CNN-FK.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination