CN115660882A - 社交网络中用户间关系预测方法及多头混合聚合图卷积网络 - Google Patents

社交网络中用户间关系预测方法及多头混合聚合图卷积网络 Download PDF

Info

Publication number
CN115660882A
CN115660882A CN202211279277.3A CN202211279277A CN115660882A CN 115660882 A CN115660882 A CN 115660882A CN 202211279277 A CN202211279277 A CN 202211279277A CN 115660882 A CN115660882 A CN 115660882A
Authority
CN
China
Prior art keywords
node
edge
social
nodes
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211279277.3A
Other languages
English (en)
Inventor
丁爽
李美颖
曹沐雨
苏旭轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202211279277.3A priority Critical patent/CN115660882A/zh
Publication of CN115660882A publication Critical patent/CN115660882A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种社交网络中用户间关系预测方法及多头混合聚合图卷积网络。该方法包括:将社交网络存储为有向图数据;预处理有向图数据以得到节点初始特征和边初始特征;针对任一节点,将邻居节点初始特征和相关的边初始特征做有向图卷积操作以得到节点融合特征;针对任一节点,将节点融合特征经两次残差处理以得到节点混合聚合特征;针对任一节点,并行执行l个前一个步骤,再将结果连接以得到节点最终特征;针对任意不存在边的节点对,将两个节点的最终特征连接以得到节点间的预测边特征,再将结果变换处理以得到对应的用户间社交关系预测值。该方法可实现端到端的用户间关系预测,提高预测准确率,降低模型训练的时空复杂度。

Description

社交网络中用户间关系预测方法及多头混合聚合图卷积网络
技术领域
本发明涉及图神经网络技术领域,尤其涉及一种社交网络中用户间关系预测方法及多头混合聚合图卷积网络。
背景技术
随着互联网技术和通讯技术的发展,社交网络成为现代社会人进行商务交易、信息传递和社会交往的重要空间。社交用户间的关系,例如,信任关系、交互关系等,蕴藏着巨大的社会价值和商业价值。因此,用户间的社交关系预测成为社交网络领域的热点研究问题。
社交关系预测问题可采用图表示学习中的边预测方法解决。图表示学习范畴内的社交关系预测方法均基于以下两个基本共识:(1)社交网络可以被表示为图数据;(2)社交关系具有传播和聚合两个自然属性。早期的社交关系预测方法基于矩阵分解或自设计的矩阵计算方法,例如Matri、OpinionWalk、NeuralWalk等。该类方法需要人工制定社交关系的传播和聚合规则,且矩阵计算依赖于完整的社交网络图数据,预测所需的时间和空间复杂度均较高,不适用于大型的社交网络场景。近年来,基于图卷积神经网络的社交关系预测方法受到广泛关注,例如Guardian等。该类方法主要利用节点特征来表示邻域社交网络子图信息,然后通过不断地更新节点特征来学习社交关系的传播和聚合规则,最终利用更新后的节点特征预测节点对之间的社交关系。此类方法可直接架构于社交网络图数据之上,仅依赖用户的局部社交子图就能实现端到端的社交关系预测,具有预测准确率高,时间和空间复杂度低等优点。
基于图卷积神经网络的社交关系预测方法的性能主要取决于以下两个方面:一是节点特征的更新效率;二是节点特征的表达能力。对于节点特征的更新操作,充足社交网络信息的注入有利于提高更新后节点特征的表达能力。而社交网络被表示为图数据后,其包含的信息主要嵌入在节点特征或边特征中。因此,现有的预测方法在每次更新节点特征时,都会同时输入节点特征和边特征。然而,这种做法会造成重复冗余的社交信息多次参与节点特征更新,增加更新操作的计算成本,降低预测方法对社交关系传播与聚合规则的学习效率。另外,现有的预测方法主要采用堆叠卷积的方式来抽象节点对邻域社交子图信息的表达,然而,随着堆叠卷积层数的增加,更新后的节点特征将逐渐丧失多样性,这会造成模型的过拟合,不利于对社交关系传播与聚合规则的充分学习。
发明内容
本发明的目的是提供一种社交网络中用户间关系预测方法及多头混合聚合图卷积网络,实现端到端的用户间关系预测,提高预测准确率,降低模型训练的时间和空间复杂度。
一方面,本发明提供一种社交网络中用户间关系预测方法,所述方法包括:
步骤1:将社交网络存储为有向图数据;
步骤2:预处理有向图数据以得到节点初始特征和边初始特征;
步骤3:针对任一节点,将邻居节点初始特征和相关的边初始特征做有向图卷积操作以得到节点融合特征;
步骤4:针对任一节点,将节点融合特征经残差处理以得到节点混合聚合特征;
步骤5:针对任一节点,并行执行l个前一个步骤,再将结果连接以得到节点最终特征;
步骤6:针对任意不存在边的节点对,将两个节点的最终特征连接以得到节点间的预测边特征,再将结果变换处理以得到对应的用户间社交关系预测值。
进一步地,步骤1具体包括:
抽取社交网络中的用户间社交联系和社交关系值,构建有向社交图G=(V,E,W);其中,vi∈V表示社交网络中的第i个用户;eij=<vi,vj>,eij∈E表示用户vi与用户vj之间存在直接社交关系,vi称为eij的弧尾节点,vj称为eij的弧头节点;wij∈Ws.t.eij∈E表示用户vi对其与用户vj直接社交关系的度量值。
进一步地,步骤2具体包括:
步骤2.1:针对任一节点vi,采用图嵌入方法将其局部图结构映射到一维向量以得到节点初始特征x[i],其中,x[i]∈RD×1,D是节点初始特征向量的长度;
步骤2.2:针对任一边权重wij,采用特征编码、升维转换操作将边权重转化为稠密权重向量,作为边eij的初始特征ewij,其中,ewij∈RD×1,D是边初始特征向量的长度。
进一步地,步骤3具体包括:
步骤3.1:针对任一节点vi,基于其邻居节点初始特征和相关的边初始特征,计算其所有的邻接边点融合特征Rij和Rji
步骤3.2:针对任一节点vi,基于其所有的邻接边点融合特征Rij和Rji做有向图卷积操作,以得到节点vi的融合特征x1[i];
进一步地,步骤3.1具体包括:
针对任一节点vi,按照公式(1)计算其作为弧尾的所有邻接边点融合特征Rij
Figure BDA0003898012270000031
其中,x[j]表示节点vj的节点初始特征,节点vj是节点vi的弧头邻居节点;ewji表示边eji的初始特征,
Figure BDA0003898012270000032
表示连接操作;
针对任一节点vi,按照公式(2)计算其作为弧头的所有邻接边点融合特征Rji
Figure BDA0003898012270000033
其中,x[j]表示节点vj的节点初始特征,节点vj是节点vi的弧尾邻居节点;ewji表示边eji的初始特征,
Figure BDA0003898012270000034
表示连接操作。
进一步地,步骤3.2具体包括:
针对任一节点vi,按照公式(3)做有向图卷积操作,得到节点融合特征x1[i]:
Figure BDA0003898012270000035
其中,Rij和Rji是节点vi的邻接边点融合特征,NH(i)是节点vi的弧头邻居节点集,NT(i)是节点vi的弧尾邻居节点集,
Figure BDA0003898012270000041
是可训练的变换矩阵,D是节点初始特征向量的长度,D1是节点融合特征向量的长度,
Figure BDA0003898012270000042
表示可学习的偏差,σ表示激活函数。
进一步地,步骤4具体包括:
步骤4.1:针对任一节点vi,基于其所有邻接边点融合特征做有向图卷积操作,得到节点vi的融合更新特征x2[i];
步骤4.2:针对任一节点vi,对其融合更新特征x2[i]和节点融合特征x1[i]经两次残差处理以得到节点混合聚合特征xhead[i];
进一步地,步骤4.1具体包括:
针对任一节点vi,按照公式(4)做有向图卷积操作,得到节点融合更新特征x2[i];
Figure BDA0003898012270000043
其中,x1[j]是节点vj的融合特征,NH(i)是节点vi的弧头邻居节点集,NT(i)是节点vi的弧尾邻居节点集,
Figure BDA0003898012270000044
是可训练的变换矩阵,D1是节点融合特征向量的长度,D2是节点融合更新特征向量的长度,
Figure BDA0003898012270000045
表示可学习的偏差,σ表示激活函数。
进一步地,步骤4.2具体包括:
针对任一节点vi,按照公式(5)做第一次残差处理,得到第一次残差连接处理结果x3[i]:
x3[i]=normlization(x2[i]+x1[i]) (5)
其中,x1[i]是节点融合特征,x2[i]是节点融合更新特征,normlization为归一化函数;
针对任一节点vi,按照公式(6)做第二次残差处理,得到节点混合聚合特征xhead[i]:
xhead[i]=σ(nomalization(linear(x3[i])+x3[i])) (6)
其中,x3[i]是第一次残差连接处理结果,linear为线性函数,normlization为归一化函数。
进一步地,步骤5具体包括:
步骤5.1:针对任一节点vi,并行执行l个步骤4以得到l个节点混合聚合特征,记为
Figure BDA0003898012270000051
步骤5.2:针对任一节点vi,将上述l个节点混合聚合特征连接以得到节点最终特征xf[i]。
进一步地,步骤5.2具体包括:
针对任一节点vi,按照公式(7)将l个节点混合聚合特征连接以得到节点最终特征xf[i]:
Figure BDA0003898012270000052
其中,
Figure BDA0003898012270000053
表示第l个节点混合聚合特征。
进一步地,步骤6具体包括:
步骤6.1:针对任意不存在边的节点对
Figure BDA0003898012270000054
将两个节点的最终特征连接以得到节点间的预测边特征
Figure BDA0003898012270000055
步骤6.2:针对任意不存在边的节点对
Figure BDA0003898012270000056
将节点间的预测边特征
Figure BDA0003898012270000057
做多分类任务输出处理以得到对应的用户间社交关系预测值
Figure BDA0003898012270000058
进一步地,步骤6.1具体包括:
针对任意不存在边的节点对
Figure BDA0003898012270000059
按照公式(8)将两个节点的最终特征连接以得到节点间的预测边特征
Figure BDA0003898012270000061
Figure BDA0003898012270000062
其中,xf[i]和xf[j]分别表示节点vi和vj的最终特征。
进一步地,步骤6.2具体包括:
针对任意不存在边的节点对
Figure BDA0003898012270000063
按照公式(9)将节点间的预测边特征
Figure BDA0003898012270000064
依次经全连接层、softmax和argmax处理以得到对应的用户间社交关系预测值
Figure BDA0003898012270000065
Figure BDA0003898012270000066
其中,
Figure BDA0003898012270000067
表示全连接层中的可训练权重矩阵,D2表示节点的最终特征向量的长度,D3表示社交关系值的类别数量;
Figure BDA0003898012270000068
Figure BDA0003898012270000069
argmax(f(x))的功能是获得使f(x)取最大值的自变量x。
另一方面,本发明提供一种用于社交网络中用户间关系预测的多头混合聚合图卷积网络,包括:预处理层、融合卷积层、多头混合聚合卷积层和预测层;
所述预处理层,用于将社交网络对应的有向图数据进行预处理以得到节点初始特征和边初始特征;其中,社交网络的有向图数据是通过将社交网络中的全部用户和社交信息存储为图数据得到的,社交网络中一个用户对应有向图数据中的一个节点,用户间的直接社交关系对应有向图数据中的边,用户间的直接社交关系值对应边权重;
所述融合卷积层,用于针对任一节点,利用其邻居节点初始特征和相关的边初始特征得到所述节点的所有邻接边点融合特征后,再利用所述邻接边点融合特征做有向图卷积操作以得到节点融合特征;
所述多头混合聚合卷积层,用于针对任一节点,并行执行l次有向图卷积操作后,再经两次残差连接、归一化处理和线性变换操作以得到l个节点混合聚合特征,然后将l个节点混合聚合特征连接以得到节点最终特征;
所述预测层,用于针对任意不存在边的节点对,将两个节点的最终特征连接以得到节点间的预测边特征后,再经全连接层、softmax和argmax处理以得到对应的用户间社交关系预测值。
本发明的有益效果:
第一,控制边特征参与节点特征更新操作的次数,从而避免冗余社交网络信息重复参与节点特征更新,以提高预测方法对社交关系传播和聚合规则的学习效率。具体方法是:在第一次节点特征更新时,同时输入节点特征和边特征,使两者携带的社交结构和社交值信息协同影响节点特征的更新,这样本次更新获得的节点融合特征就包含了完整的社交子图信息。而在其它各次节点特征更新操作中,仅将节点融合特征,或其变换后的节点特征作为输入,从而有效提高了节点特征的更新效率。
第二,采用残差操作和并行卷积结构来丰富节点特征,使得预测方法能够充分学习节点邻域社交子图中包含的社交关系信息。具体方法是:首先利用连续的两次残差操作,获得包含混合邻域社交子图信息的节点特征,以加强节点特征的多样性。然后利用并行卷积结构,获得多个从不同角度表达邻域社交子图信息的节点特征,再将结果连接以构成节点最终特征,从而进一步丰富节点的表达能力。
附图说明
图1为本发明实施例提供的社交网络有向图示意图;
图2为本发明实施例提供的一种社交网络中用户间关系预测方法的流程示意图;
图3为本发明实施例提供的一种用于社交网络中用户间关系预测的多头混合聚合图卷积网络(简称MHAGCN)的架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,实线边eim表示节点vi与节点vm存在直接社交关系,wim表示节点vi对其与节点vm的直接社交关系的度量值。虚线边
Figure BDA0003898012270000081
表示节点vi与vj不存在直接社交关系,
Figure BDA0003898012270000082
表示需要预测的节点vi对其与节点vj的社交关系的度量值。本发明旨在基于社交网络中存在的直接社交关系和对应的社交关系值,自动学习社交关系的传播和聚合规则,以预测不存在直接社交关系的节点对之间的社会关系度量值。
实施例1
如图2所示,本发明实施例提供一种社交网络中用户间关系预测方法,所述方法包括:
S101:将社交网络存储为有向图数据;
具体地,由于本发明实施例所要处理的社交网络中用户间的社交关系是非对称的,例如:对于用户间的信任关系,存在“你信任的人不一定信任你”的事实原则,因此,将社交网络存储为有向图数据G=(V,E,W)。其中,vi∈V表示社交网络中的用户;eij=<vi,vj>,eij∈E表示用户vi与用户vj之间存在直接社交关系,vi称为eij的弧尾节点,vj称为eij的弧头节点;wij∈Ws.t.eij∈E表示用户vi对其与用户vj直接社交关系的度量值。
S102:预处理有向图数据以得到节点初始特征和边初始特征;
对有向图数据的预处理具体包括:采用经典图嵌入方法将节点的局部结构信息映射到一个连续的向量空间中,作为节点的初始特征。此时,节点初始特征包含以节点为中心的局部图结构信息。
例如,本发明实施例中,采用经典图嵌入方法node2vec处理有向图数据,得到由节点初始特征x[i]构成的节点初始特征矩阵x,其中,x[i]表示节点vi的初始特征,位于矩阵x的第i行,满足x[i]∈RD×1,D是将局部图信息嵌入后的节点初始特征向量的长度。可以理解的是,经典图嵌入方法还可以采用DeepWalk、LINE等方法。
并且,采用经典特征编码、升维转换等操作,将边权重转化为稠密权重向量,作为边的初始特征。
例如,本发明实施例中,首先根据边权重的类型,将节点对之间的边权重表示为one-hot编码。例如,如果边权重代表四种不同的社交关系类别,则边权重为以下one-hot编码:[0,0,0,1]T,[0,0,1,0]T,[0,1,0,0]T和[1,0,0,0]T。然后对one-hot编码进行线性变换,拉伸边特征以得到稠密权重向量,作为边的初始化特征,记作ewij,其中,ewij∈RD×1,D是边初始特征向量的长度。
S103:针对任一节点,将邻居节点初始特征和相关的边初始特征做有向图卷积操作以得到节点融合特征;
具体地,经过步骤S102的预处理后,与社交关系预测相关的两类信息,用户间的社交联系和对应的社交关系值被分别嵌入节点初始特征和边初始特征。为使上述两类信息能够协同影响社交关系预测,需要将节点初始特征和边初始特征进行融合。
作为一种可实施方式,本步骤包括以下子步骤:
S1031:针对任一节点vi,基于其邻居节点初始特征和相关的边初始特征,计算其所有的邻接边点融合特征;
具体地,由于社交网络图是一个有向图,每个节点可能既是弧尾节点,又是弧头节点。因此,在本发明实施例中,分别计算节点作为弧尾节点和弧头节点的邻接边点融合特征。
在本发明实施例中,针对任一节点vi,按照公式(1)计算其作为弧尾的所有邻接边点融合特征Rij
Figure BDA0003898012270000091
其中,x[j]表示节点vj的节点初始特征,节点vj是节点vi的弧头邻居节点;ewij表示边eij的初始特征,
Figure BDA0003898012270000092
表示连接操作。
针对任一节点vi,按照公式(2)计算其作为弧头的所有邻接边点融合特征Rji
Figure BDA0003898012270000101
其中,x[j]表示节点vj的节点初始特征,节点vj是节点vi的弧尾邻居节点;ewji表示边eji的初始特征,
Figure BDA0003898012270000102
表示连接操作;
S1032:针对任一节点vi,基于所有的邻接边点融合特征做有向图卷积操作,得到节点融合特征;
具体地,由于社交网络图是一个有向图,每个节点既有弧头邻居节点,又有弧尾邻居节点。如图1所示,对于节点vm,节点vi是其弧尾邻居节点,节点vj是其弧头邻居节点。在对节点vi做有向图卷积操作时,首先将其弧头邻居节点集NH(i)的边点融合特征Rij做平均聚合操作,然后对其弧尾邻居节点集NT(i)的边点融合特征Rji做平均聚合操作,再将结果拼接,以得到节点融合特征x1[i]。
作为一种可实施方式,按照公式(3)更新节点vi的特征,得到其节点融合特征x1[i];
Figure BDA0003898012270000103
其中,Rij和Rji是节点vi的邻接边点融合特征,NH(i)是节点vi的弧头邻居节点集,NT(i)是节点vi的弧尾邻居节点集,
Figure BDA0003898012270000104
是可训练的变换矩阵,D是节点初始特征向量的长度,D1是节点融合特征向量的长度,
Figure BDA0003898012270000105
表示可学习的偏差,σ表示激活函数,本发明实施例中,σ采用tanh激活函数。
S104:针对任一节点,将节点融合特征经两次残差处理以得到节点混合聚合特征;
具体地,预测过程通过更新节点特征不断学习社交关系的传播和聚合规则。保证充分无冗余的社交图数据参与节点特征更新是高效更新节点特征的保证。在步骤S103中,节点融合特征是通过融合节点初始特征和边特征得到的,其已经捕获到了完整的一阶邻居的局部图信息。另外,边特征在传播过程是不变的,因此本步骤只采用节点融合特征进一步更新节点特征,这样能有效避免冗余的社交信息再次参与卷积操作,从而提高节点特征的更新效率。
作为一种可实施方式,本步骤采用有向图卷积操作,按照公式(3)更新节点特征,得到节点融合更新特征x2[i]:
Figure BDA0003898012270000111
其中,x1[j]是节点vj的融合特征,NH(i)是节点vi的弧头邻居节点集,NT(i)是节点vi的弧尾邻居节点集,
Figure BDA0003898012270000112
是可训练的变换矩阵,D1是节点融合特征向量的长度,D2是节点融合更新特征向量的长度,
Figure BDA0003898012270000113
表示可学习的偏差,σ表示激活函数,本发明实施例中,σ采用relu激活函数。
为了避免模型拟合能力下降,在上述步骤的基础上,还可以进一步对所述节点融合更新特征x2[i]和节点融合特征x1[i]经两次残差处理以得到节点混合聚合特征。
作为一种可实施方式,本步骤首先根据公式(5)对节点融合更新特征x2[i]做第一次残差处理,得到第一次残差连接处理结果x3[i];
x3[i]=normlization(x2[i]+x1[i]) (5)
优选地,为了进一步加深学习,在上述步骤的基础上,还可以进一步按照公式(6)对x3[i]线性化后的处理后结果做第二次残差处理,得到节点混合聚合特征xhead[i]:
xhead[i]=σ(nomalization(linear(x3[i])+x3[i])) (6)
其中,linear为线性函数,normlization为归一化函数,σ表示激活函数,本发明实施例中,σ采用relu激活函数。
S105:针对任一节点,并行执行l次步骤S104,得到l个节点混合聚合特征,再将l个节点混合聚合特征进行连接得到所述节点的最终特征向量;
具体地,构建多头模型,将l个并行执行的步骤S104的结果进行拼接,有助于模型从多角度关注邻域社交子图信息,增强对社交关系聚合规则的学习。
作为一种可实施方式,按照公式(7)将l个节点混合聚合特征进行连接作为所述节点的最终特征向量xf[i]:
Figure BDA0003898012270000121
其中,
Figure BDA0003898012270000122
表示第l个节点混合聚合特征。本发明实施例中,设置l=3。
S106:针对任意不存在边的节点对,将两个节点的最终特征连接以得到节点间的预测边特征,再将结果变换处理以得到对应的用户间社交关系预测值;
作为一种可实施方式,本步骤包括以下子步骤:
S1061:将两个节点的最终特征连接以得到节点间的预测边特征。
具体地,在社交网络图数据中,一对确定的节点对与一条确定的边相对应,因此,可以从边两端的节点特征来学习边的特征。
作为一种可实施方式,按照公式(8)连接两个节点的边特征以得到节点间的预测边特征:
Figure BDA0003898012270000123
其中,xf[i]和xf[j]分别表示节点vi和vj的最终特征。
S1062:针对任意不存在边的节点对,将节点间的预测边特征做经典的多分类任务输出处理以得到对应的用户间社交关系预测值。
具体地,将预测边特征拟合到一个全连接层作降维处理,经过softmax和argmax函数处理以预测边特征对应的社交关系预测值。
作为一种可实施方式,按照公式(9)预测两个节点之间的社交关系预测值:
Figure BDA0003898012270000124
其中,argmax(f(x))表示使f(x)取最大值的自变量x;
Figure BDA0003898012270000125
Figure BDA0003898012270000126
表示全连接层中的可训练权重矩阵,D2表示节点的最终特征向量的长度,D3表示社交关系值的类别数量。
实施例2
如图3所示,本发明实施例提供一种用于社交网络中用户间关系预测的多头混合聚合图卷积网络(MHAGCN),所述MHAGCN包括:预处理层、融合卷积层、多头混合聚合卷积层和预测层;
其中,所述预处理层用于将社交网络对应的有向图数据进行预处理以得到节点初始特征和边初始特征;其中,社交网络的有向图数据是通过将社交网络中的全部用户和社交信息存储为图数据得到的,社交网络中一个用户对应有向图数据中的一个节点,用户间的直接社交关系对应有向图数据中的边,用户间的直接社交关系值对应边权重。所述融合卷积层用于针对任一节点,利用相关的边初始特征和邻居节点初始特征得到所述节点的所有邻接边点融合特征后,再利用上述邻接边点融合特征做有向图卷积操作以得到节点融合特征。所述多头混合聚合卷积层,用于针对任一节点,并行执行l次有向图卷积操作后,再经两次残差连接、归一化处理和线性变换等操作以得到l个节点混合聚合特征,然后将上述l个节点混合聚合特征连接以得到节点最终特征。所述预测层,用于针对任意不存在边的节点对,将两个节点的最终特征连接以得到节点间的预测边特征后,再经全连接层、softmax和argmax处理以得到对应的用户间社交关系预测值。
具体地,社交网络存储为有向图数据,使得社交网络信息转化为适用于图神经网络学习和训练的形式,作为MHAGCN的输入。预处理层的目的是对图数据进行预处理,将社交网络图中节点和边特征表示为向量形式。融合卷积层主要实现第一次节点特征更新,完成节点与其邻居节点和对应边的特征融合,使得社交网络的图结构和社交关系值能够协同影响节点特征的更新。多头混合聚合卷积层是本网络模型的核心层,在这一层中,主要通过并行执行有向图卷积操作、连续残差操作等,在进一步扩大节点对社交关系的传播和聚合规则学习范围的同时,丰富节点对邻域社交子图信息的表达。预测层利用节点对的特征来预测两点之间未知的边特征,具体为:将未知边两端的节点特征连接后,经过全连接模块降维处理,用softmax激活函数将结果转化为预测边属于每个社交关系类型的概率值,再用argmax处理得到概率值最大的社交关系类型,并作为最终的边预测类别,即两用户间的社交关系预测结果。
需要说明的是,本发明实施例提供的社交网络中用户间关系预测的多头混合聚合图卷积网络是为了实现上述方法实施例的,其功能具体可参考上述方法实施例,此处不再赘述。
为了验证本发明实施例提供的预测方法和多重连接图卷积网络的有效性,本发明还提供下述实例进行实验验证。
(1)数据准备
本实施例中的数据集来源于一个1999年推出的面向自由软件开发者的在线社区平台Advogato。这个数据集中包含所有用户到用户链接的列表,有5280个节点和54382条边,其中节点代表用户,有向边代表用户间的直接信任关系。一个用户到用户的信任链接在Advogato上称为“认证”,在Advogato上共有四种不同级别的信任认证:观察者、学徒、旅行和大师。因此,对于本实施例,社交网络是指Advogato的信任网络,用户间的社交关系值是指由用户间的信任认证转化的数值,本实施例的目标是预测未知的用户间直接信任关系。
将Advogato的信任网络数据集整理为有向图数据,使社交网络信息转化为适用于图神经网络学习和训练的形式,主要包括以下两个数据文件:一个存储邻接图数据,其中,图中的节点代表信任网络中的用户;边代表用户间的是否存在直接信任关系,当用户间的存在直接信任关系时,对应的边用1表示,否则,用0表示。另一个存储用户间的直接信任关系值,包含成对的节点及其对应的信任关系值,具体为0,1,2,3,所有节点对的表示形式均为由弧尾节点指向弧头节点。
(2)数据集预处理
在预处理模块中:邻接图中包含5280个节点,经过node2vec处理以得到每个节点的初始化向量表示(即节点初始特征),具体的,将所有节点的初始化向量存储为一个5280×128的节点初始特征矩阵,其中,第i行表示节点vi的初始特征向量,长度为128。
对于54382对节点对之间的直接信任关系值采用one-hot编码表示,具体的,将用户间的直接信任关系值0,1,2,3分别编码为[0,0,0,1]T、[0,0,1,0]T、[0,1,0,0]T和[1,0,0,0]T;然后采用线性变换得到边的初始特征,特征向量长度为128。
(3)模型训练
将所有用户间的直接信任关系值划分为训练集和测试集两部分,具体的,训练集设置为40%,其余为测试集。实验仿真硬件环境如下:Intel CORE i7-11700K 3.6GHz CPU,16GB RAM,954GB SSD,and GeForce RTX 3070 Ti GPU。
首先将训练集输入多头混合聚合图卷积网络训练以获得预测模型,再将测试集中的节点对输入训练后的预测模型获得节点对间的预测关系值,最后将预测结果与测试集中对应的真实结果比较以验证模型效果。
在融合卷积层中:首先,对于任一节点,将其所有弧头邻居节点的初始特征分别与对应边初始特征作连接操作(即按照公式(1)处理);将其所有弧尾邻居节点的初始特征分别与对应边初始特征作连接操作(即按照公式(2)处理);得到节点邻接边点融合特征,特征向量长度为256。
然后,将节点作为弧头节点和弧尾节点的所有邻接边点融合特征分别做加和平均,再连接得到该节点的特征,特征长度为512。再将节点特征作线性计算,并用tanh激活函数处理(即按照公式(3)处理)得到节点融合特征,特征长度压缩为128。
在多头混合聚合卷积层中:将节点的所有弧头邻居的节点融合特征加和平均,同时将其所有弧尾邻居的节点融合特征加和平均,再将上述两个加和平均结果连接得到该节点的特征,特征长度为256。接着作线性计算,并用relu激活函数处理(即按照公式(4)处理)得到节点融合更新特征,特征长度压缩为128。
节点的融合更新特征包含其所有弧尾邻居和弧头邻居的节点融合特征。
将每个节点的融合更新特征和对应的融合卷积层中输出的该节点融合特征相加,并作正则化处理(即按照公式(5)处理),得到节点特征,特征向量长度不变。
将每个节点的上述处理结果和对其线性化后的结果相加,再作正则化处理(即按照公式(6)处理)得到节点混合聚合特征,特征向量长度不变。
即多头混合聚合卷积层中输出结果包含有5280个节点的节点混合聚合特征,每个特征长度为128,构成5280×128的节点混合聚合特征矩阵。
设定多头混合聚合卷积层中,l=3,即重复3次上述全部的多头混合聚合卷积层中的操作,得到3个5280×128的节点混合聚合特征矩阵。
将最终得到的上述的3个节点混合聚合特征矩阵作连接操作(即按照公式(7)处理),得到节点最终特征矩阵5280×384,其中,第i行表示节点vi的最终特征向量,长度为384。
在预测层中:对于训练集中的节点对<vi,vj>,从节点最终特征矩阵中提取节点vi和节点vj的特征向量作连接操作(即按照公式(8)处理),得到节点间的预测边特征。将预测边特征拟合到一个全连接层作降维处理,经过softmax和argmax函数处理(即按照公式(9)处理),得到节点对<vi,vj>之间的预测边权重,即用户间的信任关系值。
将预测的边权重和训练集中对应的真实边权重经过nll_loss函数计算损失值,反向传播,更新模型参数。
(4)重复200轮上述的模型训练过程。
(5)模型性能评价
取训练后的最优模型,输入测试集获得预测效果,以评价MHAGCN模型的性能。对于测试集中的节点对<vi,vj>,从训练后的最优模型获得节点最终特征矩阵,提取节点vi和节点vj的最终特征向量作连接操作以得到节点对间的预测边特征。将预测边特征经由训练后的最优模型中的全连接层作降维处理,再经过softmax和argmax函数处理以得到节点对<vi,vj>的预测信任关系值。
为了验证本发明提出的MHAGCN模型的有效性,本发明还提供了下述实验对比分析结果:
表1将本发明提出的MHAGCN模型和已存在的Guardian模型、Matri模型在Advogato数据集上做了性能对比。对于所有模型,训练集设置为40%,其余为测试集;所有实验结果基于20次运行结果的平均值。评价时采用F1_score和MAE作为模型的性能评价指标。其中,F1-score是精确率和召回率的调和平均数,最大为1,最小为0,F1_score取值越大,意味着模型越稳健;MAE是平均绝对值误差,它表示预测值和观测值之间绝对误差的平均值,MAE值越小,说明预测精度越高。
Figure BDA0003898012270000171
如表1所示,MHAGCN的F1_score比最先进的Guardian提高了0.5%,比Matri提高了11.8%。同时MHAGCN的MAE也优于Guardian和Matri。
实验结果验证了本发明提出的多头混合聚合图卷积神经网络能够表征用户间社交关系的潜在因素,从而建立有效的社交关系值预测模型。综上表明本发明提供的预测方法和多头混合聚合图卷积网络可以有效预测社交网络中用户间的社交关系值。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种社交网络中用户间关系预测方法,其特征在于,所述方法包括:
步骤1:将社交网络存储为有向图数据;
步骤2:预处理有向图数据以得到节点初始特征和边初始特征;
步骤3:针对任一节点,将邻居节点初始特征和相关的边初始特征做有向图卷积操作以得到节点融合特征;
步骤4:针对任一节点,将节点融合特征经残差处理以得到节点混合聚合特征;
步骤5:针对任一节点,并行执行l个前一个步骤,再将结果连接以得到节点最终特征;
步骤6:针对任意不存在边的节点对,将两个节点的最终特征连接以得到节点间的预测边特征,再将结果变换处理以得到对应的用户间社交关系预测值。
2.根据权利要求1所述的一种社交网络中用户间关系预测方法,其特征在于,步骤1具体包括:
抽取社交网络中的用户间社交联系和社交关系值,构建有向社交图G=(V,E,W);其中,vi∈V表示社交网络中的第i个用户;eij=<vi,vj>,eij∈E表示用户vi与用户vj之间存在直接社交关系,vi称为eij的弧尾节点,vj称为eij的弧头节点;wij∈Ws.t.eij∈E表示用户vi对其与用户vj直接社交关系的度量值。
3.根据权利要求1所述的一种社交网络中用户间关系预测方法,其特征在于,步骤2具体包括:
步骤2.1:针对任一节点vi,采用图嵌入方法将其局部图结构映射到一维向量以得到节点初始特征x[i],其中,x[i]∈RD×1,D是节点初始特征向量的长度;
步骤2.2:针对任一边权重wij,采用特征编码、升维转换操作将边权重转化为稠密权重向量,作为边eij的初始特征ewij,其中,ewij∈RD×1,D是边初始特征向量的长度。
4.根据权利要求1所述的一种社交网络中用户间关系预测方法,其特征在于,步骤3具体包括:
步骤3.1:针对任一节点vi,基于其邻居节点初始特征和相关的边初始特征,计算其所有的邻接边点融合特征Rij和Rji
步骤3.2:针对任一节点vi,基于其所有的邻接边点融合特征Rij和Rji做有向图卷积操作,以得到节点vi的融合特征x1[i]。
5.根据权利要求4所述的一种社交网络中用户间关系预测方法,其特征在于,步骤3.1具体包括:
针对任一节点vi,按照公式(1)计算其作为弧尾的所有邻接边点融合特征Rij
Figure FDA0003898012260000021
其中,x[j]表示节点vj的节点初始特征,节点vj是节点vi的弧头邻居节点;ewji表示边eji的初始特征,
Figure FDA0003898012260000022
表示连接操作;
针对任一节点vi,按照公式(2)计算其作为弧头的所有邻接边点融合特征Rji
Figure FDA0003898012260000023
其中,x[j]表示节点vj的节点初始特征,节点vj是节点vi的弧尾邻居节点;ewji表示边eji的初始特征,
Figure FDA0003898012260000024
表示连接操作。
6.根据权利要求4所述的一种社交网络中用户间关系预测方法,其特征在于,步骤3.2具体包括:
针对任一节点vi,按照公式(3)做有向图卷积操作,得到节点融合特征x1[i]:
Figure FDA0003898012260000025
其中,Rij和Rji是节点vi的邻接边点融合特征,NH(i)是节点vi的弧头邻居节点集,NT(i)是节点vi的弧尾邻居节点集,
Figure FDA0003898012260000026
是可训练的变换矩阵,D是节点初始特征向量的长度,D1是节点融合特征向量的长度,
Figure FDA0003898012260000027
表示可学习的偏差,σ表示激活函数。
7.根据权利要求1所述的一种社交网络中用户间关系预测方法,其特征在于,步骤4具体包括:
步骤4.1:针对任一节点vi,基于其所有邻接边点融合特征做有向图卷积操作,得到节点vi的融合更新特征x2[i];
步骤4.2:针对任一节点vi,对其融合更新特征x2[i]和节点融合特征x1[i]经两次残差处理以得到节点混合聚合特征xhead[i]。
8.根据权利要求7所述的一种社交网络中用户间关系预测方法,其特征在于,步骤4.1具体包括:
针对任一节点vi,按照公式(4)做有向图卷积操作,得到节点融合更新特征x2[i];
Figure FDA0003898012260000031
其中,x1[j]是节点vj的融合特征,NH(i)是节点vi的弧头邻居节点集,NT(i)是节点vi的弧尾邻居节点集,
Figure FDA0003898012260000032
是可训练的变换矩阵,D1是节点融合特征向量的长度,D2是节点融合更新特征向量的长度,
Figure FDA0003898012260000033
表示可学习的偏差,σ表示激活函数。
9.根据权利要求7所述的一种社交网络中用户间关系预测方法,其特征在于,步骤4.2具体包括:
针对任一节点vi,按照公式(5)做第一次残差处理,得到第一次残差连接处理结果x3[i]:
x3[i]=normlization(x2[i]+x1[i]) (5)
其中,x1[i]是节点融合特征,x2[i]是节点融合更新特征,normlization为归一化函数;
针对任一节点vi,按照公式(6)做第二次残差处理,得到节点混合聚合特征xhead[i]:
xhead[i]=σ(nomalization(linear(x3[i])+x3[i])) (6)
其中,x3[i]是第一次残差连接处理结果,linear为线性函数,normlization为归一化函数。
10.根据权利要求1所述的一种社交网络中用户间关系预测方法,其特征在于,步骤5具体包括:
步骤5.1:针对任一节点vi,并行执行l个步骤4以得到l个节点混合聚合特征,记为
Figure FDA0003898012260000041
步骤5.2:针对任一节点vi,将上述l个节点混合聚合特征连接以得到节点最终特征xf[i]。
11.根据权利要求10所述的一种社交网络中用户间关系预测方法,其特征在于,步骤5.2具体包括:
针对任一节点vi,按照公式(7)将l个节点混合聚合特征连接以得到节点最终特征xf[i]:
Figure FDA0003898012260000042
其中,
Figure FDA0003898012260000043
表示第l个节点混合聚合特征。
12.根据权利要求1所述的一种社交网络中用户间关系预测方法,其特征在于,步骤6具体包括:
步骤6.1:针对任意不存在边的节点对<vi,vj>s.t.
Figure FDA0003898012260000044
将两个节点的最终特征连接以得到节点间的预测边特征
Figure FDA0003898012260000045
步骤6.2:针对任意不存在边的节点对<vi,vj>s.t.
Figure FDA0003898012260000046
将节点间的预测边特征
Figure FDA0003898012260000047
做多分类任务输出处理以得到对应的用户间社交关系预测值
Figure FDA0003898012260000048
13.根据权利要求12所述的一种社交网络中用户间关系预测方法,其特征在于,步骤6.1具体包括:
针对任意不存在边的节点对<vi,vj>s.t.
Figure FDA0003898012260000051
按照公式(8)将两个节点的最终特征连接以得到节点间的预测边特征
Figure FDA0003898012260000052
Figure FDA0003898012260000053
其中,xf[i]和xf[j]分别表示节点vi和vj的最终特征。
14.根据权利要求12所述的一种社交网络中用户间关系预测方法,其特征在于,步骤6.2具体包括:
针对任意不存在边的节点对<vi,vj>s.t.
Figure FDA0003898012260000054
按照公式(9)将节点间的预测边特征
Figure FDA0003898012260000055
依次经全连接层、softmax和argmax处理以得到对应的用户间社交关系预测值
Figure FDA0003898012260000056
Figure FDA0003898012260000057
其中,
Figure FDA0003898012260000058
表示全连接层中的可训练权重矩阵,D2表示节点的最终特征向量的长度,D3表示社交关系值的类别数量;
Figure FDA0003898012260000059
Figure FDA00038980122600000510
argmax(f(x))的功能是获得使f(x)取最大值的自变量x。
15.一种用于社交网络中用户间关系预测的多头混合聚合图卷积网络,其特征在于,包括:预处理层、融合卷积层、多头混合聚合卷积层和预测层;
所述预处理层,用于将社交网络对应的有向图数据进行预处理以得到节点初始特征和边初始特征;其中,社交网络的有向图数据是通过将社交网络中的全部用户和社交信息存储为图数据得到的,社交网络中一个用户对应有向图数据中的一个节点,用户间的直接社交关系对应有向图数据中的边,用户间的直接社交关系值对应边权重;
所述融合卷积层,用于针对任一节点,利用相关的边初始特征和邻居节点初始特征得到所述节点的所有邻接边点融合特征后,再利用所述邻接边点融合特征做有向图卷积操作以得到节点融合特征;
所述多头混合聚合卷积层,用于针对任一节点,并行执行l次有向图卷积操作后,再经两次残差连接、归一化处理和线性变换操作以得到l个节点混合聚合特征,然后将l个节点混合聚合特征连接以得到节点最终特征;
所述预测层,用于针对任意不存在边的节点对,将两个节点的最终特征连接以得到节点间的预测边特征后,再经全连接层、softmax和argmax处理以得到对应的用户间社交关系预测值。
CN202211279277.3A 2022-10-19 2022-10-19 社交网络中用户间关系预测方法及多头混合聚合图卷积网络 Pending CN115660882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211279277.3A CN115660882A (zh) 2022-10-19 2022-10-19 社交网络中用户间关系预测方法及多头混合聚合图卷积网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211279277.3A CN115660882A (zh) 2022-10-19 2022-10-19 社交网络中用户间关系预测方法及多头混合聚合图卷积网络

Publications (1)

Publication Number Publication Date
CN115660882A true CN115660882A (zh) 2023-01-31

Family

ID=84990102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211279277.3A Pending CN115660882A (zh) 2022-10-19 2022-10-19 社交网络中用户间关系预测方法及多头混合聚合图卷积网络

Country Status (1)

Country Link
CN (1) CN115660882A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563049A (zh) * 2023-04-24 2023-08-08 华南师范大学 一种有向带权符号社交网络社区发现方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563049A (zh) * 2023-04-24 2023-08-08 华南师范大学 一种有向带权符号社交网络社区发现方法

Similar Documents

Publication Publication Date Title
Sun et al. Learning structured weight uncertainty in bayesian neural networks
CN112508085B (zh) 基于感知神经网络的社交网络链路预测方法
Cavalcanti et al. Combining diversity measures for ensemble pruning
CN112905900A (zh) 基于图卷积注意力机制的协同过滤推荐算法
Ma et al. Learn to forget: Machine unlearning via neuron masking
CN113628059B (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
Keriven et al. On the universality of graph neural networks on large random graphs
CN111210002B (zh) 一种基于生成对抗网络模型的多层学术网络社区发现方法、系统
CN116403730A (zh) 一种基于图神经网络的药物相互作用预测方法及系统
JP7381814B2 (ja) マルチタスク向けの予めトレーニング言語モデルの自動圧縮方法及びプラットフォーム
CN113268993B (zh) 基于互信息的属性异构信息网络无监督网络表示学习方法
CN115660882A (zh) 社交网络中用户间关系预测方法及多头混合聚合图卷积网络
CN117272195A (zh) 基于图卷积注意力网络的区块链异常节点检测方法及系统
CN111310918A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN114679372A (zh) 一种基于节点相似性的图注意力网络的链路预测方法
CN111831955A (zh) 一种锂离子电池剩余寿命预测方法及系统
CN113704570B (zh) 基于自监督学习式进化的大规模复杂网络社区检测方法
CN114842247B (zh) 基于特征累加的图卷积网络半监督节点分类方法
CN115131605A (zh) 一种基于自适应子图的结构感知图对比学习方法
CN113111308B (zh) 基于数据驱动遗传编程算法的符号回归方法及系统
Manoju et al. Conductivity based agglomerative spectral clustering for community detection
Wang et al. Heterogeneous defect prediction algorithm combined with federated sparse compression
CN114139674A (zh) 行为克隆方法、电子设备、存储介质和程序产品
Altundogan et al. Genetic algorithm based fuzzy cognitive map concept relationship determination and sigmoid configuration
CN114330672A (zh) 多信息聚合的图残差生成模型、分类方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination