CN115658971A - 基于注意力机制的多层异质网络节点重要度评估方法 - Google Patents

基于注意力机制的多层异质网络节点重要度评估方法 Download PDF

Info

Publication number
CN115658971A
CN115658971A CN202211275840.XA CN202211275840A CN115658971A CN 115658971 A CN115658971 A CN 115658971A CN 202211275840 A CN202211275840 A CN 202211275840A CN 115658971 A CN115658971 A CN 115658971A
Authority
CN
China
Prior art keywords
node
nodes
layer
network
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211275840.XA
Other languages
English (en)
Inventor
崔辉
刘琳岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202211275840.XA priority Critical patent/CN115658971A/zh
Publication of CN115658971A publication Critical patent/CN115658971A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于注意力机制的多层异质网络节点重要度评估方法,特征聚合采用图卷积模型以及注意力机制对同种类型节点以及不同类型的节点特征进行聚合,得到节点的嵌入向量,之后将嵌入向量输入到多层感知机当中拟合H‑index排名。本发明为异质网络构建了特征矩阵,从拓扑结构以及语义结构上聚合节点的特征,发挥了神经网络的优势,提取节点的高阶信息,通过注意力机制对不同类型的节点赋予不同的权重,以此提高节点重要度评估的有效性以及准确性。

Description

基于注意力机制的多层异质网络节点重要度评估方法
技术领域
本发明涉及异质网络关键节点技术领域,特别是涉及一种基于注意力机制的多层异质网络节点重要度评估方法。
背景技术
现实世界中很多复杂系统都可以抽象成复杂网络的形式,为了表达出现实世界中实体与关系的不同,可以将现实世界中的复杂系统建模为异质网络,如移动通信网络、蛋白质结构网络、电子商务网络、学术网络、社交网络等,这些抽象而成的网络覆盖到了人们生活的方方面面,研究复杂网络的过程也就是在研究现实生活中的实际系统。
异质网络是融合信息的有效工具,不仅可以融合不同类型对象及其交互,而且可以融合异构数据源的信息。异质网络中多类型对象和关系并存,包含丰富的结构和语义信息,因此,从丰富的信息当中挖掘有价值的数据是一个值得研究的领域,抓住这些隐藏的、有价值的信息可以推动一个行业的发展。快速解决上述问题的关键就是在网络中找到对信息传播起到关键作用的节点或说对信息的扩散最有影响力的节点,这类节点被称作“关键节点”。关键节点一般数量较少,但其影响力却可以快速地波及到整个网络。在异质信息网络分析中,准确的进行节点重要度评估,对于维持整个网络的稳定有着重要的意义。重要度高的节点受到破坏影响到的是整个系统,可能致使整个网络崩溃。对重要节点进行额外防护,就能降低系统受到破坏的风险。总的来说,衡量节点在异质网络中的重要度,是网络科学的一个重要研究方向,拥有重大的理论和现实意义。
现有的一些异质网络节点重要度评估方法多为对同质网络方法的改进或是设计了基于元路径的评价指标,往往会忽略了异质网络中的语义信息或高阶特征,影响了节点重要度评估的有效性和准确性。
发明内容
针对上述问题,本发明的目的在于提出一种基于注意力机制的多层异质网络节点重要度评估方法,将深度学习与节点重要度评估相结合,提高节点重要度评估的有效性和准确性。
本发明采用的技术方案如下:
一种基于注意力机制的多层异质网络节点重要度评估方法,应用于异质网络,技术方案如下:首先根据节点类型将异质网络建模为多层网络,得到层内邻接矩阵;通过计算节点的度、K-shell以及节点类型编码等特征,构造异质网络特征矩阵;同一层内节点,通过图卷积神经网络对节点特征进行聚合,以表征同类型节点间影响力;通过基于元路径的随机游走,得到包含语义的节点序列,利用注意力机制进行层间特征聚合,以表征不同节点间影响力,特征聚合过程即可得到节点的嵌入向量;将节点嵌入向量输入到多层感知机当中,拟合引文网络中H-index指标。该方法具体包括如下步骤:
S1,根据节点类型将异质网络建模为多层网络,同一层内节点类型相同,不同层内节点类型不同,层内节点对间权重由通过元路径所产生的连接次数决定,层间节点对间权重则表达节点间是否存在连接关系,通过分层网络建立层内邻接矩阵以及特征矩阵,所选取特征将应用于特征聚合过程;
S2,选择一条覆盖节点类型最多的元路径,通过基于元路径的随机游走对节点进行采样,通过图卷积对同一层内的节点特征进行聚合,图卷积层的层数将影响聚合的邻居深度,对随机游走采样到的节点设置窗口大小,得到多组训练数据,通过注意力机制对不同类型节点特征进行聚合,得到节点的嵌入向量;
S3,提取引文网络数据集中的H-index指标,将节点的嵌入向量输入到多层感知机中拟合H-index指标,训练节点重要度评估模型。
上述基于注意力机制的多层异质网络节点重要度评估方法,其中,步骤S1 中,根据节点类型将异质网络建模为多层网络,通过节点对之间的连接关系设置权重,构建层内邻接矩阵,选择节点类型编码、节点主题词编码、节点的度以及节点的K-shell值作为节点特征,构建每一层的特征矩阵。
上述基于注意力机制的多层异质网络节点重要度评估方法,其中,步骤S1 具体包括:
S11,设G=(V,E,φ,ψ)为给定的异质网络,其中,
Figure BDA0003896587490000031
表示节点集,
Figure BDA0003896587490000032
表示边集合,k=1,2,3...表示为第k层网络,
Figure BDA0003896587490000033
表示第k 层网络中的具体节点,
Figure BDA0003896587490000034
表示第k层网络中的具体的边,Nk为第k层网络中的节点个数,Mk为第k层网络中的边的条数,φ:V→A为节点类型映射,V为节点集合,A为节点类型集合,φ为映射函数,表示V中的某个节点的类型可以映射到节点类型集合A,ψ:E→R为边类型映射,E为边集合,R为边类型集合,ψ为映射函数,表示E中的某条边的类型可以映射到边类型集合R,对于异质网络|A|+|R|>2;定义权重矩阵W,元路径P,
Figure BDA0003896587490000035
表示第k层节点i,j之间的权重,
Figure BDA0003896587490000036
的值即为元路径P下的连接路径数;定义连接状态矩阵
Figure BDA0003896587490000037
Ci,j表示连接状态矩阵C第i行第j列的元素即节点i,j的连接状态,Ci,j∈{0,1},若节点i,j间存在连边,则Ci,j=1,否则Ci,j=0;
S12,为每一层内网络构建特征矩阵,选择节点度中心性、K-shell指标、节点类型编码以及节点主题词编码作为节点特征;第k层网络第i个节点的度中心性用
Figure BDA0003896587490000038
表示,第k层网络第i个节点的K-shell值用
Figure BDA0003896587490000039
表示,将度中心性以及 K-shell标准化作为节点的拓扑特征,异质网络中节点类型不唯一,因此需要提取出网络中所有节点类型,另外对于每个节点都有相应的主题词(比如引文网络中作者以及文章的研究领域),使用独热编码(onehot)对节点类型以及节点主题词进行编码,作为节点的语义特征。结合上述特征,构建第k层网络的特征矩阵,用Xk表示。
上述基于注意力机制的多层异质网络节点重要度评估方法,其中,步骤S2 中,选择一条覆盖节点类型最多的元路径,通过基于元路径的随机游走进行采样,得到采样节点集合,对每一层网络中的节点采用图卷积进行特征聚合,图卷积层的层数记为NConv,图卷积层的层数即为聚合邻居的深度,根据采样节点集合提取出图卷积层聚合之后的特征向量,使用注意力机制对节点集合中不同类型的节点进行特征聚合,聚合后的特征向量作为节点的嵌入向量。
上述基于注意力机制的多层异质网络节点重要度评估方法,其中,步骤S2 具体包括:
S21,给定一个元路径集合P,元路径应覆盖尽可能多的节点类型,以考虑更丰富的语义信息,采用基于元路径的随机游走进行节点采样,通过采样会将节点间的跨层连接考虑在内,进而考虑到异质网络中存在的语义信息,采样的邻居节点集合Ut+1(vt)中的节点首先要满足跨层间存在连接,其次待采样节点应该满足元路径所限定的节点类型,即t+1类型,节点的采样转移概率如下式所示:
Figure BDA0003896587490000041
其中,待采样节点为t+1类型,
Figure BDA0003896587490000042
表示邻居节点中类型为t+1的节点集合,即若下一节点vi+1在集合
Figure BDA0003896587490000043
中,且与当前节点vi有连接,则可以被采样,采样概率为
Figure BDA0003896587490000044
若下一节点vi+1与当前节点vi无连接或者下一节点vi+1与当前节点vi有连接但节点类型不是t+1,则节点vi+1不能被采样,通过上述采样过程,即可得到元路径P下的采样节点集合VP,设置窗口大小ws,则在后续的注意力聚合中每次聚合ws个不同类型节点的特征;
S22,通过图卷积层对同一层内的节点特征进行聚合,对于第k层网络,有度矩阵Dk以及权重矩阵Wk,考虑到节点自身特征的重要性,在度矩阵以及权重矩阵中加入自连接,令
Figure BDA0003896587490000045
I为单位矩阵,则图卷积层特征聚合的方式如公式所示:
Figure BDA0003896587490000051
若要聚合多阶邻居,则需要多个图卷积层,图卷积层数为NConv,根据小世界理论,一般情况下取NConv<5;
S23,完成层内特征聚合之后,从采样节点集合当中根据ws大小选择节点,保证所选择的每一组节点的首个节点与待评估的节点类型一致,假设在某条元路径下所选择的一组节点为{v1,v2,...,vws},从图卷积层的结果Z中选择节点所对应的特征向量H={h1,h2,...,hws},使用键值对注意力机制进行不同类型节点间特征聚合,使用查询向量q和相应的键keyi来计算注意力系数ai,计算方式描述为下式:
Figure BDA0003896587490000052
将节点的特征向量输入到神经网络线性层中,可以得到查询向量q和相应的键值向量keyi,其中,s(ki,q)为计算键值向量和查询向量的相似性函数,一般选择为预先相似性,计算节点i的特征向量与其他节点特征向量的相似性后,通过 softmax归一化后得到注意力系数,将对应的值进行加权融合,得到节点vi聚合之后的特征向量evi即为节点的嵌入向量,计算方式如下:
Figure BDA0003896587490000053
对于待排序类型的节点,每个节点都能够得到节点的嵌入向量,嵌入向量即包含了结构特征和语义特征。
上述基于注意力机制的多层异质网络节点重要度评估方法,其中,步骤S3 中,提取引文网络数据集中的H-index指标作为节点重要度值,将节点的嵌入向量输入到多层感知机当中拟合H-index指标得到节点重要度评估模型。
上述基于注意力机制的多层异质网络节点重要度评估方法,其中,步骤S3 具体包括:
S31,提取引文网络数据集当中的H-index指标作为节点重要度真实值,对引文网络中的作者类型节点进行重要度评估,将作者类型节点的嵌入向量输入到多层感知机当中,拟合H-index指标;
S32,多层感知机的输出拟合的H-index值yi',损失函数采用均方误差,即
Figure BDA0003896587490000061
其中,yi为节点i的H-index真实值,yi'为节点i的H-index拟合值,以H-index 真实值和拟合值的均方误差最小化为优化目标,通过反向传播更新图卷积层的权重矩阵以及注意力机制中的权重矩阵,得到最终的节点重要度评估模型。
根据本发明提供的基于注意力机制的多层异质网络节点重要度评估方法,特征聚合采用图卷积模型以及注意力机制对同种类型节点以及不同类型的节点特征进行聚合,得到节点的嵌入向量,之后将嵌入向量输入到多层感知机当中拟合H-index排名。本发明为异质网络构建了特征矩阵,从拓扑结构以及语义结构上聚合节点的特征,发挥了神经网络的优势,提取节点的高阶信息,通过注意力机制对不同类型的节点赋予不同的权重,以此提高节点重要度评估的有效性以及准确性。
附图说明
图1为本发明整体流程示意图;
图2为异质网络分层建模示意图;
图3为节点嵌入及节点重要度模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种基于注意力机制的多层异质网络节点重要度评估方法,整体流程图如图1所示,首先根据节点类型将异质网络建模为多层网络,得到层内邻接矩阵;通过计算节点的度、K-shell以及节点类型编码等特征,构造异质网络特征矩阵;同一层内节点,通过图卷积神经网络对节点特征进行聚合,以表征同类型节点间影响力;通过基于元路径的随机游走,得到包含语义的节点序列,利用注意力机制进行层间特征聚合,以表征不同节点间影响力,特征聚合过程即可得到节点的嵌入向量;将节点嵌入向量输入到多层感知机当中,拟合引文网络中H-index指标,得到节点重要度评估模型。使用模型评估数据集中的节点重要度,使用SIR模型进行模型有效性的验证。本发明中将以引文网络为例阐述具体实施方式,引文网络中包含作者、论文以及会议三种类型节点,该方法具体包括步骤S1~S3:
S1,将异质网络建模为多层网络,同一层内节点类型相同,不同层内节点类型不同,如图2所示的引文网络中(图2中以引文网络为例,author1、author2 等表示作者类型节点,paper1、paper2等表示作者类型节点,conference1、 conference 2表示会议类型节点,建模为分层网络后,从上至下依次为作者类型节点网络层、论文类型节点网络层以及会议类型节点网络层),根据作者、文章和会议三种节点类型将网络分层。层内节点对间权重由通过元路径所产生的连接次数决定,层间节点对间权重则表达节点间是否存在连接关系。通过分层网络建立层内邻接矩阵以及特征矩阵,所选取特征将应用于特征聚合过程;
S2,特征聚合部分的流程如图3所示,图3中(a)为个网络层同层内特征聚合过程,图3中(b)为对采样节点进行注意力聚合的过程,图3中(c)表示多层感知机拟合H-index指标的过程。通过图卷积对同一层内的节点特征进行聚合,图卷积层的层数将影响聚合的邻居深度。选择一条覆盖节点类型最多的元路径,通过基于元路径的随机游走对节点进行采样。对随机游走采样到的节点设置窗口大小,得到多组训练数据,通过注意力机制对不同类型节点特征进行聚合,得到节点的嵌入向量。
S3,如图3中(c)所示提取引文网络数据集中的H-index指标,将节点的嵌入向量输入到多层感知机中拟合H-index指标,训练节点重要度评估模型。
S4,使用得到的模型对数据集中的节点重要度进行评估,通过SIR实验验证节点重要度评估的有效性。
其中,在步骤S1中,根据节点类型将异质网络建模为多层网络,通过节点对之间的连接关系设置权重,构建层内邻接矩阵,选择节点类型编码、节点主题词编码、节点的度以及节点的K-shell值作为节点特征,构建每一层的特征矩阵。
步骤S1具体包括:
S11,设G=(V,E,φ,ψ)为数据集中的网络结构,,根据φ(vi)的不同将G建模为多层网络,其中,
Figure BDA0003896587490000081
表示节点集,E={e1,e2,e3,...,eM}表示边集合,k=1,2,3... 表示为第k层网络,
Figure BDA0003896587490000082
表示第k层网络中的具体节点,
Figure BDA0003896587490000083
表示第k层网络中的具体的边,Nk为第k层网络中的节点个数,Mk为第k层网络中的边的条数,φ:V→A为节点类型映射,V为节点集合,A为节点类型集合,φ为映射函数,表示V中的某个节点的类型可以映射到节点类型集合A,ψ:E→R为边类型映射,E为边集合,R为边类型集合,ψ为映射函数,表示E中的某条边的类型可以映射到边类型集合R,对于异质网络|A|+|R|>2。定义权重矩阵W,元路径P,
Figure BDA0003896587490000091
表示第k层节点i,j之间的权重,
Figure BDA0003896587490000092
的值即为元路径P下的连接路径数。定义连接状态矩阵
Figure BDA0003896587490000093
Ci,j表示连接状态矩阵C第i行第j列的元素即节点i,j的连接状态,Ci,j∈{0,1},若节点i,j间存在连边,则Ci,j=1,否则Ci,j=0。
S12,为每一层内网络构建特征矩阵,选择节点度中心性、K-shell指标、节点类型编码以及节点主题词编码作为节点特征。第k层网络第i个节点的度中心性用
Figure BDA0003896587490000094
表示,第k层网络第i个节点的K-shell值用
Figure BDA0003896587490000095
表示,将度中心性以及 K-shell标准化作为节点的拓扑特征。异质网络中节点类型不唯一,因此需要提取出网络中所有节点类型,另外对于每个节点都有相应的主题词(比如引文网络中作者以及文章的研究领域),使用onehot对节点类型以及节点主题词进行编码,作为节点的语义特征。结合上述特征,构建第k层网络的特征矩阵,用Xk表示。
在步骤S2中,对每一层网络中的节点采用图卷积进行特征聚合,图卷积层的层数记为NConv,图卷积层的层数即为聚合邻居的深度。选择一条覆盖节点类型最多的元路径P,比如在引文网络Aminer数据集当中,可以选择APCPA作为采样过程中的元路径,通过基于元路径的随机游走进行采样,得到采样节点集合。根据采样节点集合提取出图卷积层聚合之后的特征向量,使用注意力机制对节点集合中不同类型的节点进行特征聚合,聚合后的特征向量作为节点的嵌入向量。
步骤S2具体包括:
S21,给定一个元路径集合P,元路径应覆盖尽可能多的节点类型,以考虑更丰富的语义信息,采用基于元路径的随机游走进行节点采样,通过采样会将节点间的跨层连接考虑在内,进而考虑到异质网络中存在的语义信息,采样的邻居节点集合Ut+1(vt)中的节点首先要满足跨层间存在连接,其次待采样节点应该满足元路径所限定的节点类型,即t+1类型,节点的采样转移概率如公式所示:
Figure BDA0003896587490000101
其中,待采样节点为t+1类型,
Figure BDA0003896587490000102
表示邻居节点中类型为t+1的节点集合,即若下一节点vi+1在集合
Figure BDA0003896587490000103
中,且与当前节点vi有连接,则可以被采样,采样概率为
Figure BDA0003896587490000104
若下一节点vi+1与当前节点vi无连接或者下一节点vi+1与当前节点vi有连接但节点类型不是t+1,则节点vi+1不能被采样。通过上述采样过程,即可得到元路径P下的采样节点集合VP,设置窗口大小ws,则在后续的注意力聚合中每次聚合ws个不同类型节点的特征。
S22,通过图卷积层对同一层内的节点特征进行聚合,对于第k层网络,有度矩阵Dk以及权重矩阵Wk,考虑到节点自身特征的重要性,在度矩阵以及权重矩阵中加入自连接,令
Figure BDA0003896587490000105
I为单位矩阵,则图卷积层特征聚合的方式如公式所示:
Figure BDA0003896587490000106
若要聚合多阶邻居,则需要多个图卷积层,图卷积层数为NConv,根据小世界理论,一般情况下取NConv<5。
S23,完成层内特征聚合之后,从采样节点集合当中根据ws大小选择节点,保证所选择的每一组节点的首个节点与待评估的节点类型一致,假设在某条元路径下所选择的一组节点为{v1,v2,...,vws},从图卷积层的结果Z中选择节点所对应的特征向量H={h1,h2,...,hws},使用键值对注意力机制进行不同类型节点间特征聚合,使用查询向量q和相应的键keyi来计算注意力系数ai,计算方式描述为下式:
Figure BDA0003896587490000107
将节点的特征向量输入到神经网络线性层中,可以得到查询向量查询向量q和相应的键值向量keyi,其中,s(ki,q)为计算键值向量和查询向量的相似性函数,一般选择为预先相似性,计算节点i的特征向量与其他节点特征向量的相似性后,通过softmax归一化后得到注意力系数,将对应的值进行加权融合,可以得到节点vi聚合之后的特征向量evi即为节点的嵌入向量,计算方式如下:
Figure BDA0003896587490000111
对于待排序类型的节点,每个节点都能够得到节点的嵌入向量,嵌入向量即包含了结构特征和语义特征。
在步骤S3中,提取引文网络数据集中的H-index指标作为节点重要度值,将节点的嵌入向量输入到多层感知机当中拟合H-index指标得到节点重要度评估模型。
步骤S3具体包括:
S31,提取引文网络数据集当中的H-index指标作为节点重要度真实值,对引文网络中的作者类型节点进行重要度评估,将作者类型节点的嵌入向量输入到多层感知机当中,拟合H-index指标。
S32,多层感知机输出拟合的H-index值yi',损失函数采用均方误差,即
Figure BDA0003896587490000112
其中,yi为节点i的H-index真实值,yi'为节点i的H-index拟合值,以H-index 真实值和拟合值的均方误差最小化为优化目标,通过反向传播更新图卷积层的权重矩阵以及注意力机制中的权重矩阵,得到最终的节点重要度评估模型,模型中的权重矩阵以及超参数也将确定。
S33,将新的数据集中的数据输入到节点重要度评估模型中,即可得到待评估类型节点的节点重要度排序。
在步骤S4中,使用SIR模型对节点重要度排序的有效性进行验证。选择节点重要度排序中的重要度前K(top-K)节点,为其设置感染率、恢复率等参数,通过SIR传播模型模拟信息传播的过程,得到信息从top-K节点出发对整个网络的覆盖率。
通过上述的基于注意力机制的多层异质网络节点重要度评估方法,首先对异质网络进行合理的建模,为节点选择不同的特征构建特征矩阵,通过特征聚合过程对同类型以及不同类型的节点特征进行聚合,得到节点的嵌入向量,将节点的嵌入向量输入到多层感知机当中拟合H-index指标得到节点重要度评估模型,该方法将深度学习与节点重要度评估任务相结合,提高了节点重要度评分的有效性以及准确性。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于注意力机制的多层异质网络节点重要度评估方法,其特征在于,包括如下步骤:
S1,根据节点类型将异质网络建模为多层网络,同一层内节点类型相同,不同层内节点类型不同,层内节点对间权重由通过元路径所产生的连接次数决定,层间节点对间权重则表达节点间是否存在连接关系,通过分层网络建立层内邻接矩阵以及特征矩阵,所选取特征将应用于特征聚合过程;
S2,选择一条覆盖节点类型最多的元路径,通过基于元路径的随机游走对节点进行采样,通过图卷积对同一层内的节点特征进行聚合,图卷积层的层数将影响聚合的邻居深度,对随机游走采样到的节点设置窗口大小,得到多组训练数据,通过注意力机制对不同类型节点特征进行聚合,得到节点的嵌入向量;
S3,提取引文网络数据集中的H-index指标,将节点的嵌入向量输入到多层感知机中拟合H-index指标,训练节点重要度评估模型。
2.根据权利要求1所述的基于注意力机制的多层异质网络节点重要度评估方法,其特征在于,步骤S1中,根据节点类型将异质网络建模为多层网络,通过节点对之间的连接关系设置权重,构建层内邻接矩阵,选择节点类型编码、节点主题词编码、节点的度以及节点的K-shell值作为节点特征,构建每一层的特征矩阵。
3.根据权利要求2所述的基于注意力机制的多层异质网络节点重要度评估方法,其特征在于,步骤S1具体包括:
S11,设G=(V,E,φ,ψ)为给定的异质网络,其中,
Figure FDA0003896587480000011
表示节点集,
Figure FDA0003896587480000012
表示边集合,k=1,2,3...表示为第k层网络,
Figure FDA0003896587480000013
表示第k层网络中的具体节点,
Figure FDA0003896587480000014
表示第k层网络中的具体的边,Nk为第k层网络中的节点个数,Mk为第k层网络中的边的条数,φ:V→A为节点类型映射,V为节点集合,A为节点类型集合,φ为映射函数,表示V中的某个节点的类型可以映射到节点类型集合A,ψ:E→R为边类型映射,E为边集合,R为边类型集合,ψ为映射函数,表示E中的某条边的类型可以映射到边类型集合R,对于异质网络|A|+|R|>2;定义权重矩阵W,元路径P,
Figure FDA0003896587480000021
表示第k层节点i,j之间的权重,
Figure FDA0003896587480000022
的值即为元路径P下的连接路径数;定义连接状态矩阵
Figure FDA0003896587480000023
Ci,j表示连接状态矩阵C第i行第j列的元素即节点i,j的连接状态,Ci,j∈{0,1},若节点i,j间存在连边,则Ci,j=1,否则Ci,j=0;
S12,为每一层内网络构建特征矩阵,选择节点度中心性、K-shell指标、节点类型编码以及节点主题词编码作为节点特征;第k层网络第i个节点的度中心性用
Figure FDA0003896587480000024
表示,第k层网络第i个节点的K-shell值用
Figure FDA0003896587480000025
表示,将度中心性以及K-shell标准化作为节点的拓扑特征,结合上述特征,构建第k层网络的特征矩阵,用Xk表示。
4.根据权利要求3所述的基于注意力机制的多层异质网络节点重要度评估方法,其特征在于,步骤S2中,选择一条覆盖节点类型最多的元路径,通过基于元路径的随机游走进行采样,得到采样节点集合,对每一层网络中的节点采用图卷积进行特征聚合,图卷积层的层数记为NConv,图卷积层的层数即为聚合邻居的深度,根据采样节点集合提取出图卷积层聚合之后的特征向量,使用注意力机制对节点集合中不同类型的节点进行特征聚合,聚合后的特征向量作为节点的嵌入向量。
5.根据权利要求4所述的基于注意力机制的多层异质网络节点重要度评估方法,其特征在于,步骤S2具体包括:
S21,给定一个元路径集合P,采用基于元路径的随机游走进行节点采样,通过采样会将节点间的跨层连接考虑在内,进而考虑到异质网络中存在的语义信息,采样的邻居节点集合Ut+1(vt)中的节点首先要满足跨层间存在连接,其次待采样节点应该满足元路径所限定的节点类型,即t+1类型,节点的采样转移概率如下式所示:
Figure FDA0003896587480000026
其中,待采样节点为t+1类型,
Figure FDA0003896587480000031
表示邻居节点中类型为t+1的节点集合,即若下一节点vi+1在集合
Figure FDA0003896587480000032
中,且与当前节点vi有连接,则可以被采样,采样概率为
Figure FDA0003896587480000033
若下一节点vi+1与当前节点vi无连接或者下一节点vi+1与当前节点vi有连接但节点类型不是t+1,则节点vi+1不能被采样,通过上述采样过程,即可得到元路径P下的采样节点集合VP,设置窗口大小ws,则在后续的注意力聚合中每次聚合ws个不同类型节点的特征;
S22,通过图卷积层对同一层内的节点特征进行聚合,对于第k层网络,有度矩阵Dk以及权重矩阵Wk,考虑到节点自身特征的重要性,在度矩阵以及权重矩阵中加入自连接,令
Figure FDA0003896587480000034
I为单位矩阵,则图卷积层特征聚合的方式如公式所示:
Figure FDA0003896587480000035
若要聚合多阶邻居,则需要多个图卷积层,图卷积层数为NConv
S23,完成层内特征聚合之后,从采样节点集合当中根据ws大小选择节点,保证所选择的每一组节点的首个节点与待评估的节点类型一致,假设在某条元路径下所选择的一组节点为{v1,v2,...,vws},从图卷积层的结果Z中选择节点所对应的特征向量H={h1,h2,...,hws},使用键值对注意力机制进行不同类型节点间特征聚合,使用查询向量q和相应的键keyi来计算注意力系数ai,计算方式描述为下式:
Figure FDA0003896587480000036
将节点的特征向量输入到神经网络线性层中,可以得到查询向量q和相应的键值向量keyi,其中,s(ki,q)为计算键值向量和查询向量的相似性函数,计算节点i的特征向量与其他节点特征向量的相似性后,通过softmax归一化后得到注意力系数,将对应的值进行加权融合,得到节点vi聚合之后的特征向量evi即为节点的嵌入向量,计算方式如下:
Figure FDA0003896587480000041
对于待排序类型的节点,每个节点都能够得到节点的嵌入向量,嵌入向量即包含了结构特征和语义特征。
6.根据权利要求5所述的基于注意力机制的多层异质网络节点重要度评估方法,其特征在于,步骤S3中,提取引文网络数据集中的H-index指标作为节点重要度值,将节点的嵌入向量输入到多层感知机当中拟合H-index指标得到节点重要度评估模型。
7.根据权利要求6所述的基于注意力机制的多层异质网络节点重要度评估方法,其特征在于,步骤S3具体包括:
S31,提取引文网络数据集当中的H-index指标作为节点重要度真实值,对引文网络中的作者类型节点进行重要度评估,将作者类型节点的嵌入向量输入到多层感知机当中,拟合H-index指标;
S32,多层感知机的输出拟合的H-index值yi',损失函数采用均方误差,即
Figure FDA0003896587480000042
其中,yi为节点i的H-index真实值,yi'为节点i的H-index拟合值,以H-index真实值和拟合值的均方误差最小化为优化目标,通过反向传播更新图卷积层的权重矩阵以及注意力机制中的权重矩阵,得到最终的节点重要度评估模型。
CN202211275840.XA 2022-10-18 2022-10-18 基于注意力机制的多层异质网络节点重要度评估方法 Pending CN115658971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211275840.XA CN115658971A (zh) 2022-10-18 2022-10-18 基于注意力机制的多层异质网络节点重要度评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211275840.XA CN115658971A (zh) 2022-10-18 2022-10-18 基于注意力机制的多层异质网络节点重要度评估方法

Publications (1)

Publication Number Publication Date
CN115658971A true CN115658971A (zh) 2023-01-31

Family

ID=84989442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211275840.XA Pending CN115658971A (zh) 2022-10-18 2022-10-18 基于注意力机制的多层异质网络节点重要度评估方法

Country Status (1)

Country Link
CN (1) CN115658971A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117352189A (zh) * 2023-12-06 2024-01-05 中南大学 基于高阶拓扑结构的异常行为评估方法、系统及设备
CN117454145A (zh) * 2023-10-23 2024-01-26 四川大学 一种基于多模态传感器的航空发动机故障诊断方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454145A (zh) * 2023-10-23 2024-01-26 四川大学 一种基于多模态传感器的航空发动机故障诊断方法
CN117352189A (zh) * 2023-12-06 2024-01-05 中南大学 基于高阶拓扑结构的异常行为评估方法、系统及设备
CN117352189B (zh) * 2023-12-06 2024-03-15 中南大学 基于高阶拓扑结构的异常行为评估方法、系统及设备

Similar Documents

Publication Publication Date Title
CN115658971A (zh) 基于注意力机制的多层异质网络节点重要度评估方法
Liu et al. Discovery of transition rules for geographical cellular automata by using ant colony optimization
CN112036445B (zh) 基于神经张量网络的跨社交网络用户身份识别方法
CN113762334B (zh) 一种采用深度强化学习评估异质社交网络关键节点的方法
Pan et al. Clustering of designers based on building information modeling event logs
CN113762595A (zh) 通行时间预测模型训练方法、通行时间预测方法及设备
CN115270007B (zh) 一种基于混合图神经网络的poi推荐方法及系统
CN118013135B (zh) 基于关系图卷积神经网络的图对比学习推荐方法
CN114639483A (zh) 一种基于图神经网络的电子病历检索方法及装置
CN107295537A (zh) 一种测评无线传感器网络可靠性的方法及系统
CN112580902A (zh) 对象数据处理方法、装置、计算机设备和存储介质
Pal et al. Deep learning for network analysis: problems, approaches and challenges
CN114265913A (zh) 工业物联网边缘设备上基于联邦学习的空时预测算法
CN115376318A (zh) 一种基于多属性融合神经网络的交通数据补偿方法
CN116485029A (zh) 油田开发动态数据准确性检测方法、装置、设备及介质
Nasiri et al. A node representation learning approach for link prediction in social networks using game theory and K-core decomposition
CN113868537B (zh) 一种基于多行为会话图融合的推荐方法
Sarkar et al. Genetic algorithm-based deep learning models: a design perspective
Liao et al. Traj2Traj: A road network constrained spatiotemporal interpolation model for traffic trajectory restoration
CN117194742A (zh) 一种工业软件组件推荐方法及系统
CN115828882B (zh) 面向大坝安全知识库风险联动的实体对齐方法和系统
Gong et al. Detecting malicious accounts in online developer communities using deep learning
Sun Enhancing Power Grid Data Analysis with Fusion Algorithms for Efficient Association Rule Mining in Large-Scale Datasets
Zhang et al. Graph-Enhanced Spatio-Temporal Interval Aware Network for Next POI Recommendation in Mobile Environment
Harish Kumar et al. Landslide Type Prediction using Random Forest Classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination