CN109523012B - 基于变分解耦合方式对符号有向网络的表达学习方法 - Google Patents

基于变分解耦合方式对符号有向网络的表达学习方法 Download PDF

Info

Publication number
CN109523012B
CN109523012B CN201811184604.0A CN201811184604A CN109523012B CN 109523012 B CN109523012 B CN 109523012B CN 201811184604 A CN201811184604 A CN 201811184604A CN 109523012 B CN109523012 B CN 109523012B
Authority
CN
China
Prior art keywords
node
expression
representing
network
undirected graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811184604.0A
Other languages
English (en)
Other versions
CN109523012A (zh
Inventor
张娅
陈旭
姚江超
李茂森
王延峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811184604.0A priority Critical patent/CN109523012B/zh
Publication of CN109523012A publication Critical patent/CN109523012A/zh
Application granted granted Critical
Publication of CN109523012B publication Critical patent/CN109523012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于变分解耦合方式对符号有向网络的表达学习方法，读取社交网站的符号有向网络数据，符号有向网络数据主要包括节点间边正负和方向的网络数据；令符号有向网络数据根据符号进行分离，得到正无向图、负无向图，所述正无向图用邻接矩阵A+表示，所述负无向图用邻接矩阵A‑表示；令邻接矩阵A+、A‑输入至变分解耦合编码器，进行节点编码后的向量表达学习，记为学习后向量表达；基于符号有向网络中节点间的关系构建结构解码器，依照目标损失函数进行修正，得到优化后向量表达；令优化后向量表达应用于设定的数据挖掘任务。通过分离符号有向网络形成正无向网络、负无向网络，学习节点的符号化局部连续性特征，充分挖掘节点间的依赖性模式，适合于社交网络中用户推荐。

Description

基于变分解耦合方式对符号有向网络的表达学习方法
技术领域
本发明涉及社交网络领域，具体地，涉及一种基于变分解耦合方式对符号有向网络的表达学习方法，尤其是涉及一种结合贝叶斯方法和图卷积方法，基于变分解耦合，以一种解耦合的方式学习网络中节点的表达，用于社交网络中用户间关系的预测以及用户推荐。
背景技术
图作为一种非规则的，非欧式空间的数据类型，广泛存在于现实生活中。例如，基因图谱，社交网络，知识图谱等。故而图(网络)数据中节点的表达学习成为近年来的研究热点。网络节点表达是网络分析中的基础任务，良好的节点表达有利于许多其他数据挖掘的任务，例如节点间边的预测，节点的分类，社区检测等。
现实中的有些社交网络的边既存在方向，又存在正负。如Epinions和Slashdot网站。这种网络称为符号有向网络。有研究证明，负向的边包含额外的信息，该信息有利于其他任务的建模解决。网络中的边的方向代表了两个节点间不对称信息。这种非对称信息对某些非对称任务如用户推荐有着重要作用。例如社交网络中的知名用户往往不会关注普通用户，但是普通用户更倾向于关注知名用户。如何编码符号有向网络中的丰富信息主要有两点挑战：1、建模节点的局部连续性特征的时候，如何将节点的边的正负性考虑进去；2、如何更好的利用带符号的有向边重构图的拓扑结构。
至于第一点，在图结构的数据中捕捉节点的局部连续性特征存在必须性。因为图谱数据中的各个节点之间相互依赖，并且形成了一种更为复杂的模式，即局部连续性。在符号有向网络中，不同符号的边拥有不同的传播影响力，故而局部连续性特征因边的符号而产生耦合，更难建模。虽然目前已有工作在建模节点的局部连续性特征，但他们均忽略了不同符号的边的不同传播力。同时，这些工作都是分步进行，不能端到端的训练学习。
关于第二点，目前的工作着重于对符号邮箱网络中的正边和负边关系建模。但无边作为网络结构的一部分，也包含有重要信息，却被现有工作忽略。在社交网络结构平衡理论中，便指出符号有向社交网络中无边较于正边和负边三者之间，均有相对关系。
如何克服上述两点挑战，并让这个模型端到端训练以学习到更充分的节点表达对下游许多数据挖掘任务均有重要意义。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于变分解耦合方式对符号有向网络的表达学习方法。
根据本发明提供的一种基于变分解耦合方式对符号有向网络的表达学习方法，包括以下步骤：
符号有向网络数据收集步骤：读取社交网站的符号有向网络数据，所述符号有向网络数据主要包括节点间边正负和方向的网络数据；
符号有向网络分离步骤：令符号有向网络数据根据符号进行分离，得到正无向图、负无向图，所述正无向图用邻接矩阵A+表示，所述负无向图用邻接矩阵A-表示；
变分解耦合编码器步骤：令邻接矩阵A+、A-输入至变分解耦合编码器，进行节点编码后的向量表达学习，记为学习后向量表达；
结构解码器步骤：基于符号有向网络中节点间的关系构建结构解码器，令学习后向量表达依照目标损失函数进行修正，得到目标优化损失函数作为优化后向量表达；
数据挖掘任务应用步骤：令优化后向量表达应用于设定的数据挖掘任务。
优选地，所述变分解耦合编码器步骤包括：
建立概率密度表达步骤：所述节点的向量表达解耦合成源节点表达Zs和目标节点表达Zt，令符号有向边D，建立如下的概率密度表达：
p(D)＝p(D|Zs,Zt)p(Zs|θs)p(Zt|θt) (1)
式中，p(A|B)是条件概率公式，表示在事件B已经发生条件下事件A的发生概率；
D表示观测到的符号有向边集合；
p(D)表示D的概率密度表达；
p(D|Zs,Zt)表示根据Zs,Zt重构出有向边D的概率；
θs为源节点表达参数；
θt为目标节点表达参数；
Zs表示源节点表达；
Zt表示目标节点表达；
p(Zs|θs)表示根据θs得出源节点表达Zs的编码学习的概率；
p(Zt|θt)表示根据θs得出目标节点表达Zt的编码学习的概率；
建立变分图卷积表示步骤：令源节点表达Zs解耦合成正无向图中的表达
Figure BDA0001825888750000031
和负无向图中的表达
Figure BDA0001825888750000032
对于Zs在正无向图中的表达
Figure BDA0001825888750000033
和Zs在负无向图中的表达
Figure BDA0001825888750000034
用如下所示的两层变分图卷积网络表示：
Figure BDA0001825888750000035
Figure BDA0001825888750000036
式中，q(A|B)是变分分布q的条件概率公式，表示事件B发生条件下事件A发生的概率分布；
Figure BDA0001825888750000037
表示源节点在正无向图中的向量表达；
Figure BDA0001825888750000038
表示源节点在负无向图中的向量表达；
A+是正无向图的邻接矩阵，A-为负无向图的邻接矩阵；
令X∈RN×F，X为节点的特征输入值，若节点无特征输入值，则设定X＝IN，其中IN为大小为N的单位矩阵，N表示矩阵R的行数，F表示矩阵R的列数，R表示特征输入矩阵；
下标i＝1,2，…表示网络中节点编号；
下标s表示源节点；
上标p表示正无向图；
上标n表示负无向图；
Figure BDA0001825888750000039
表示第i个节点作为源节点在正无向图中的向量表达；
Figure BDA00018258887500000310
表示第i个节点作为源节点在负无向图中的向量表达；
Figure BDA00018258887500000311
和
Figure BDA00018258887500000312
服从如下的高斯分布：
Figure BDA00018258887500000313
Figure BDA00018258887500000314
变分网络分布参数
Figure BDA00018258887500000315
由下式定义：
Figure BDA0001825888750000041
Figure BDA0001825888750000042
Figure BDA0001825888750000043
Figure BDA0001825888750000044
式中，D+、D-分别是对角化的A+、A-的度矩阵；
N(A|B)表示均值是A，方差为B的高斯分布；
Figure BDA0001825888750000045
表示第i个节点作为源节点在正无向图中的变分分布参数的均值向量；
Figure BDA0001825888750000046
表示第i个节点作为源节点在负无向图中的变分分布参数的均值向量；
Figure BDA0001825888750000047
表示第i个节点作为源节点在正无向图中的变分分布参数的标准差向量；
Figure BDA0001825888750000048
表示第i个节点作为源节点在负无向图中的变分分布参数的标准差向量；
GCN表示图卷积网络；
Figure BDA0001825888750000049
分别表示变分网络分布参数
Figure BDA00018258887500000410
的图卷积网络；
Figure BDA00018258887500000411
和
Figure BDA00018258887500000412
分别为对称归一化后的邻接矩阵；
h(·)＝max(0,·)为非线性激活函数ReLU；
Figure BDA00018258887500000413
和
Figure BDA00018258887500000414
是
Figure BDA00018258887500000415
的神经网络参数，
Figure BDA00018258887500000416
和
Figure BDA00018258887500000417
是
Figure BDA00018258887500000418
的神经网络参数；
Figure BDA00018258887500000419
表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标0表示第1层网络；
Figure BDA00018258887500000420
表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标0表示第1层网络；
F表示节点输入特征X的维度数；
Figure BDA00018258887500000421
表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标1表示第2层网络；
Figure BDA00018258887500000422
表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标1表示第2层网络；
Figure BDA0001825888750000051
和
Figure BDA0001825888750000052
是
Figure BDA0001825888750000053
的神经网络参数，
Figure BDA0001825888750000054
和
Figure BDA0001825888750000055
是
Figure BDA0001825888750000056
的神经网络参数；
Figure BDA0001825888750000057
表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标0表示第1层网络；
Figure BDA0001825888750000058
表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标0表示第1层网络；
Figure BDA0001825888750000059
表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标1表示第2层网络；
Figure BDA00018258887500000510
表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标1表示第2层网络；
d1表示第一层GCN网络的隐空间维度；d表示第二层GCN网络的隐空间维度；
建立变分解耦合编码器的KL散度步骤：源节点表达Zs的变分解耦合编码器的KL散度Ls由下式表示：
Figure BDA00018258887500000511
目标节点表达Zt的变分解耦合编码器的KL散度Lt由下式表示：
Figure BDA00018258887500000512
KL[A||B]是描述两个分布A，B的差异大小的度量方式，公式如下：
Figure BDA00018258887500000513
x表示分布的随机变量；
X表示原始图数据的特征表达输入；
源节点表达Zs解耦合成正无向图中的表达
Figure BDA00018258887500000514
和负无向图中的表达
Figure BDA00018258887500000515
目标节点表达Zt解耦合成正无向图中的表达
Figure BDA00018258887500000516
和负无向图中的表达
Figure BDA00018258887500000517
优选地，所述结构解码器步骤包括：
目标损失函数表达步骤：
Figure BDA0001825888750000061
式中，α＞0,β＞0分别是控制相对正边存在概率，eij＝1表示节点i指向节点j的边为正边；eik＝0表示节点i和节点k之间无边；eis＝-1表示节点i指向节点s的边为负边；λ1≥0、λ2≥0是控制模型参数正则化程度的超参；模型参数表示模型通过学习获得的，超参表示控制参数学习程度的人为设定的参数；
符号～表示变量服从何种分布；
Zs、Zt分别采样于p(Zs)和p(Zt)；
LBPWR表示BPWR损失函数的表达符号；
Zs,i表示节点i作为源节点的向量表达；
Zt,j表示节点j作为目标节点的向量表达；
Zt,k表示节点k作为目标节点的向量表达；
Zt,s表示节点s作为目标节点的向量表达；
Figure BDA0001825888750000062
表示对参数θ1的正则项；
Figure BDA0001825888750000063
表示对参数θ2的正则项；
F表示节点特征输入X的特征维度；
Zs表示节点作为源节点的表达；
p(Zs)表示节点作为源节点Zs的概率密度；
Zt表示节点作为目标节点的表达；
p(Zt)表示节点作为目标节点Zt的概率密度；
其中，i,j,k,s分别为社交网络中的四个用户，四者之间的边关系为eij＝1，eik＝0，eis＝-1，即i,j之间为正边，i,k之间无边，i,s之间为负边；
i,j,k,s关系如下：
Figure BDA0001825888750000064
Figure BDA0001825888750000071
j＞i k表示i,j间的连接边关系大于i,k间的连接边关系；
k＞i s表示k,i间的连接边关系大于i,s间的连接边关系；
∝表示正相关于；
定义f(i,j)为用户i,j之间存在正边的得分函数，f(i,k)为用户i,k之间存在正边的得分函数，f(i,s)为用户i,s之间存在正边的得分函数，i,j,k,s四者之间满足下式关系：
f(i,j)＞f(i,k)＞f(i,s) (12)
θ1，θ2分别为对应参数；
函数f(i,j)＝Zs,iZt,j，即由变量Zs,i、变量Zt,j的内积得到，变量Zs,i为节点i作为源节点的向量表达，变量Zt,j为节点j作为目标节点的向量表达；
p(j＞i k|θ1)和p(k＞i s|θ2)分别由下式表示：
p(j＞i k|θ1)＝σ(f(i,j)-f(i,k)) (15)
p(k＞i s|θ2)＝σ(f(i,k)-f(i,s)) (16)
其中σ为非线性激活sigmoid函数；参数θ1和θ2均服从高斯分布
Figure BDA0001825888750000072
Figure BDA0001825888750000073
I1表示与参数θ1维度对应的单位矩阵；I2表示与参数θ2维度对应的单位矩阵；λ1表示参数θ1的正则项系数；λ2表示参数θ2的正则项系数。
优选地，所述结构解码器步骤包括：
优化损失函数表达步骤：目标优化损失函数如下：
Figure BDA0001825888750000074
式中，θs是源节点变分解耦合编码器的参数，θt是目标节点变分解耦合编码器的参数；
设置超参α＝β＝1，λ1＝λ2＝0；
Ls源节节点解耦合编码器的KL散度表达式；
Lt目标节点解耦合编码器的KL散度表达式；
～表示变量服从何种分布；
i,j,k,s分别为社交网络中的四个用户，每个用户在社交网络中以节点表示；
Zs,i表示节点i作为源节点的向量表达；
Zt,j表示节点j作为目标节点的向量表达；
Zt,k表示节点k作为目标节点的向量表达；
Zt,s表示节点s作为目标节点的向量表达；
θs为源节点表达参数；
θt为目标节点表达参数；
Zs表示源节点表达；
Zt表示目标节点表达；
Figure BDA0001825888750000081
表示对参数θ1的正则项；
Figure BDA0001825888750000082
表示对参数θ2的正则项；
F表示节点特征输入的特征维度；
Zs表示源节点表达；
Zt表示目标节点表达；
Figure BDA0001825888750000083
表示源节点在正无向图中的向量表达；
Figure BDA0001825888750000084
表示源节点在负无向图中的向量表达；
Figure BDA0001825888750000085
表示拼接操作；
Figure BDA0001825888750000086
表示目标节点在正无向图中的表达
Figure BDA0001825888750000087
的变分概率密度；
Figure BDA0001825888750000088
表示源节点在正无向图中的表达
Figure BDA0001825888750000089
的变分概率密度；
Figure BDA00018258887500000810
表示源节点在负无向图中的表达
Figure BDA00018258887500000811
的变分概率密度；
Figure BDA00018258887500000812
表示目标节点在负无向图中的表达
Figure BDA00018258887500000813
的变分概率密度。
优选地，所述数据挖掘任务主要包括用户关系预测任务；
用户关系预测任务将优化后向量表达Z定义为
Figure BDA00018258887500000814
其中
Figure BDA00018258887500000815
表示拼接操作，利用现有用户的边的符号信息训练逻辑回归模型，得到已训练逻辑回归模型，所述逻辑回归模型基于优化后向量表达对用户间边的正负进行预测；对于Zs、Zt中的未知符号信息的节点x,y，将x,y对应的优化后向量表达分别从Z中抽取并利用已训练逻辑回归模型进行预测。
优选地，所述数据挖掘任务主要包括用户推荐任务；
用户推荐任务对由逻辑回归模型训练的用户表达Zs 1、Zt 1，给定一个待推荐的用户i，从Zs 1抽取用户i的表达，将所述用户i的表达与Zt 1中的每一个用户做内积得出得分，按得分将Zt 1中的用户按从大到小排序，取前k个用户可推荐给用户i。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过分离符号有向网络形成正无向网络、负无向网络，设计变分解耦合编码器模块学习节点的符号化局部连续性特征，更充分挖掘节点间的依赖性模式；
2、本发明基于社交网络结构平衡理论提出BPWR损失函数作为结构解码器，能够充分的挖掘符号有向网络中正边、负边和无边的三者关系，更适合于社交网络中用户推荐任务。
3、解耦合编码器和结构解码器协端到端协同训练，充分建模符号有向网络中节点的局部连续性特征和各个符号有向边之间的相互关系。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明框架流程图；
图2为变分解耦合模型(DVE)结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明的目的在于提出一种端到端的能够同时捕捉节点的符号化局部连续性特征，以解耦合的方式将边的符号在建模节点局部连续性特征时考虑在内，并能更充分利用正边，负边和无边三者关系的方法DVE。通过DVE方法对符号有向边的学习，以学习到更具有表达能力的节点向量，为后续数据挖掘任务提供帮助。
根据本发明提供的一种基于变分解耦合方式对符号有向网络的表达学习方法，包括以下步骤：
符号有向网络数据收集步骤：读取社交网站的符号有向网络数据，所述符号有向网络数据主要包括节点间边正负和方向的网络数据；
符号有向网络分离步骤：令符号有向网络数据根据符号进行分离，得到正无向图、负无向图，所述正无向图用邻接矩阵A+表示，所述负无向图用邻接矩阵A-表示；
变分解耦合编码器步骤：令邻接矩阵A+、A-输入至变分解耦合编码器，进行节点编码后的向量表达学习，记为学习后向量表达；
结构解码器步骤：基于符号有向网络中节点间的关系构建结构解码器，令学习后向量表达依照目标损失函数进行修正，得到目标优化损失函数作为优化后向量表达；
数据挖掘任务应用步骤：令优化后向量表达应用于设定的数据挖掘任务。
具体地，变分解耦合编码器步骤包括：
建立概率密度表达步骤：所述节点的向量表达解耦合成源节点表达Zs和目标节点表达Zt，令符号有向边D，建立如下的概率密度表达：
p(D)＝p(D|Zs,Zt)p(Zs|θs)p(Zt|θt) (1)
式中，p(A|B)是条件概率公式，表示在事件B已经发生条件下事件A的发生概率；
D表示观测到的符号有向边集合；
p(D)表示D的概率密度表达；
p(D|Zs,Zt)表示根据Zs,Zt重构出有向边D的概率；
θs为源节点表达参数；
θt为目标节点表达参数；
Zs表示源节点表达；
Zt表示目标节点表达；
p(Zs|θs)表示根据θs得出源节点表达Zs的编码学习的概率；
p(Zt|θt)表示根据θs得出目标节点表达Zt的编码学习的概率；
建立变分图卷积表示步骤：令源节点表达Zs解耦合成正无向图中的表达
Figure BDA0001825888750000101
和负无向图中的表达
Figure BDA0001825888750000102
对于Zs在正无向图中的表达
Figure BDA0001825888750000103
和Zs在负无向图中的表达
Figure BDA0001825888750000104
用如下所示的两层变分图卷积网络表示：
Figure BDA0001825888750000111
Figure BDA0001825888750000112
式中，q(A|B)是变分分布q的条件概率公式，表示事件B发生条件下事件A发生的概率分布；
Figure BDA0001825888750000113
表示源节点在正无向图中的向量表达；
Figure BDA0001825888750000114
表示源节点在负无向图中的向量表达；
A+是正无向图的邻接矩阵，A-为负无向图的邻接矩阵；
令X∈RN×F，X为节点的特征输入值，若节点无特征输入值，则设定X＝IN，其中IN为大小为N的单位矩阵，N表示矩阵R的行数，F表示矩阵R的列数，R表示特征输入矩阵；
下标i＝1,2，…表示网络中节点编号；
下标s表示源节点；
上标p表示正无向图；
上标n表示负无向图；
Figure BDA0001825888750000115
表示第i个节点作为源节点在正无向图中的向量表达；
Figure BDA0001825888750000116
表示第i个节点作为源节点在负无向图中的向量表达；
Figure BDA0001825888750000117
和
Figure BDA0001825888750000118
服从如下的高斯分布：
Figure BDA0001825888750000119
Figure BDA00018258887500001110
变分网络分布参数
Figure BDA00018258887500001111
由下式定义：
Figure BDA00018258887500001112
Figure BDA00018258887500001113
Figure BDA00018258887500001114
Figure BDA00018258887500001115
式中，D+、D-分别是对角化的A+、A-的度矩阵；
N(A|B)表示均值是A，方差为B的高斯分布；
Figure BDA0001825888750000121
表示第i个节点作为源节点在正无向图中的变分分布参数的均值向量；
Figure BDA0001825888750000122
表示第i个节点作为源节点在负无向图中的变分分布参数的均值向量；
Figure BDA0001825888750000123
表示第i个节点作为源节点在正无向图中的变分分布参数的标准差向量；
Figure BDA0001825888750000124
表示第i个节点作为源节点在负无向图中的变分分布参数的标准差向量；
GCN表示图卷积网络；
Figure BDA0001825888750000125
分别表示变分网络分布参数
Figure BDA0001825888750000126
的图卷积网络；
Figure BDA0001825888750000127
和
Figure BDA0001825888750000128
分别为对称归一化后的邻接矩阵；
h(·)＝max(0,·)为非线性激活函数ReLU；
Figure BDA0001825888750000129
和
Figure BDA00018258887500001210
是
Figure BDA00018258887500001211
的神经网络参数，
Figure BDA00018258887500001212
和
Figure BDA00018258887500001213
是
Figure BDA00018258887500001214
的神经网络参数；
Figure BDA00018258887500001215
表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标0表示第1层网络；
Figure BDA00018258887500001216
表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标0表示第1层网络；
F表示节点输入特征X的维度数；
Figure BDA00018258887500001217
表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标1表示第2层网络；
Figure BDA00018258887500001218
表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标1表示第2层网络；
Figure BDA00018258887500001219
和
Figure BDA00018258887500001220
是
Figure BDA00018258887500001221
的神经网络参数，
Figure BDA00018258887500001222
和
Figure BDA00018258887500001223
是
Figure BDA00018258887500001224
的神经网络参数；
Figure BDA00018258887500001225
表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标0表示第1层网络；
Figure BDA0001825888750000131
表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标0表示第1层网络；
Figure BDA0001825888750000132
表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标1表示第2层网络；
Figure BDA0001825888750000133
表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标1表示第2层网络；
d1表示第一层GCN网络的隐空间维度；d表示第二层GCN网络的隐空间维度；
建立变分解耦合编码器的KL散度步骤：源节点表达Zs的变分解耦合编码器的KL散度Ls由下式表示：
Figure BDA0001825888750000134
目标节点表达Zt的变分解耦合编码器的KL散度Lt由下式表示：
Figure BDA0001825888750000135
KL[A||B]是描述两个分布A，B的差异大小的度量方式，公式如下：
Figure BDA0001825888750000136
x表示分布的随机变量；
X表示原始图数据的特征表达输入；
源节点表达Zs解耦合成正无向图中的表达
Figure BDA0001825888750000137
和负无向图中的表达
Figure BDA0001825888750000138
目标节点表达Zt解耦合成正无向图中的表达
Figure BDA0001825888750000139
和负无向图中的表达
Figure BDA00018258887500001310
具体地，所述结构解码器步骤包括：
目标损失函数表达步骤：
Figure BDA00018258887500001311
式中，α＞0,β＞0分别是控制相对正边存在概率，eij＝1表示节点i指向节点j的边为正边；eik＝0表示节点i和节点k之间无边；eis＝-1表示节点i指向节点s的边为负边；λ1≥0、λ2≥0是控制模型参数正则化程度的超参；模型参数表示模型通过学习获得的，超参表示控制参数学习程度的人为设定的参数；
～变量服从何种分布；
Zs、Zt分别采样于p(Zs)和p(Zt)；
LBPWR表示BPWR损失函数的表达符号；
Zs,i表示节点i作为源节点的向量表达；
Zt,j表示节点j作为目标节点的向量表达；
Zt,k表示节点k作为目标节点的向量表达；
Zt,s表示节点s作为目标节点的向量表达；
Figure BDA0001825888750000141
表示对参数θ1的正则项；
Figure BDA0001825888750000142
表示对参数θ2的正则项；
F表示节点特征输入X的特征维度；
Zs表示节点作为源节点的表达；
p(Zs)表示节点作为源节点Zs的概率密度；
Zt表示节点作为目标节点的表达；
p(Zt)表示节点作为目标节点Zt的概率密度；
其中，i,j,k,s分别为社交网络中的四个用户，四者之间的边关系为eij＝1，eik＝0，eis＝-1，即i,j之间为正边，i,k之间无边，i,s之间为负边；
i,j,k,s关系如下：
Figure BDA0001825888750000143
Figure BDA0001825888750000144
j＞i k表示i,j间的连接边关系大于i,k间的连接边关系；
k＞i s表示k,i间的连接边关系大于i,s间的连接边关系；
∝表示正相关于；
定义f(i,j)为用户i,j之间存在正边的得分函数，f(i,k)为用户i,k之间存在正边的得分函数，f(i,s)为用户i,s之间存在正边的得分函数，i,j,k,s四者之间满足下式关系：
f(i,j)＞f(i,k)＞f(i,s) (12)
θ1，θ2分别为对应参数；
函数f(i,j)＝Zs,iZt,j，即由变量Zs,i、变量Zt,j的内积得到，变量Zs,i为节点i作为源节点的向量表达，变量Zt,j为节点j作为目标节点的向量表达；
p(j＞i k|θ1)和p(k＞i s|θ2)分别由下式表示：
p(j＞i k|θ1)＝σ(f(i,j)-f(i,k)) (15)
p(k＞i s|θ2)＝σ(f(i,k)-f(i,s)) (16)
其中σ为非线性激活sigmoid函数；参数θ1和θ2均服从高斯分布
Figure BDA0001825888750000151
Figure BDA0001825888750000152
I1表示与参数θ1维度对应的单位矩阵；I2表示与参数θ2维度对应的单位矩阵；λ1表示参数θ1的正则项系数；λ2表示参数θ2的正则项系数。
具体地，所述结构解码器步骤包括：
优化损失函数表达步骤：目标优化损失函数如下：
Figure BDA0001825888750000153
式中，θs是源节点变分解耦合编码器的参数，θt是目标节点变分解耦合编码器的参数；
设置超参α＝β＝1，λ1＝λ2＝0；
Ls源节节点解耦合编码器的KL散度表达式(公式10)；
Lt目标节点解耦合编码器的KL散度表达式(公式11)；
～表示变量服从何种分布；
i,j,k,s分别为社交网络中的四个用户，每个用户在社交网络中以节点表示；
Zs,i表示节点i作为源节点的向量表达；
Zt,j表示节点j作为目标节点的向量表达；
Zt,k表示节点k作为目标节点的向量表达；
Zt,s表示节点s作为目标节点的向量表达；
θs为源节点表达参数；
θt为目标节点表达参数；
Zs表示源节点表达；
Zt表示目标节点表达；
Figure BDA0001825888750000161
表示对参数θ1的正则项；
Figure BDA0001825888750000162
表示对参数θ2的正则项；
F表示节点特征输入的特征维度；
Zs表示源节点表达；
Zt表示目标节点表达；
Figure BDA0001825888750000163
表示源节点在正无向图中的向量表达；
Figure BDA0001825888750000164
表示源节点在负无向图中的向量表达；
Figure BDA0001825888750000165
表示拼接操作；
Figure BDA0001825888750000166
表示目标节点在正无向图中的表达
Figure BDA0001825888750000167
的变分概率密度；
Figure BDA0001825888750000168
表示源节点在正无向图中的表达
Figure BDA0001825888750000169
的变分概率密度；
Figure BDA00018258887500001610
表示源节点在负无向图中的表达
Figure BDA00018258887500001611
的变分概率密度；
Figure BDA00018258887500001612
表示目标节点在负无向图中的表达
Figure BDA00018258887500001613
的变分概率密度。
具体地，所述数据挖掘任务主要包括用户关系预测任务；
用户关系预测任务将优化后向量表达Z定义为
Figure BDA00018258887500001614
其中
Figure BDA00018258887500001615
表示拼接操作，利用现有用户的边的符号信息训练逻辑回归模型，得到已训练逻辑回归模型，所述逻辑回归模型基于优化后向量表达对用户间边的正负进行预测；对于Zs、Zt中的未知符号信息的节点x,y，将x,y对应的优化后向量表达分别从Z中抽取并利用已训练逻辑回归模型进行预测。
具体地，所述数据挖掘任务主要包括用户推荐任务；
用户推荐任务对由逻辑回归模型训练的用户表达Zs 1、Zt 1，给定一个待推荐的用户i，从Zs 1抽取用户i的表达，将所述用户i的表达与Zt 1中的每一个用户做内积得出得分，按得分将Zt 1中的用户按从大到小排序，取前k个用户可推荐给用户i。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述方法的步骤。
下面针对优选例对本发明做进一步的阐述。
如图1所示的框架流程图中，整个框架能够端对端地训练，包含五个步骤：符号有向网络数据收集，符号有向网络分离，变分解耦合编码器，结构解码器和数据挖掘任务引用。
(1)符号有向网络数据收集步骤：运用网络爬虫技术获取社交网络的用户以及边的方向符号信息；
(2)符号有向网络分离步骤：对收集到的符号有向网络数据根据符号分离成正无向图和负无向图，分别用邻接矩阵A+,A-表示；
(3)变分解耦合编码器步骤：对得到的邻接矩阵,均输入到变分解耦合编码器中，以学习每个节点编码后的向量表达；
(4)结构解码器步骤：利用符号有向网络中节点间的相对关系构建结构解码器，对编码器中学习到的向量表达做目标损失函数优化修正；
(5)数据挖掘任务应用步骤：利用模型中学到的节点向量表达，用于特定的数据挖掘任务。
如图2所示的模型结构图中，其中101对应于上述步骤中的(1)、(2)，102对应于上述步骤中的(3)，103对应于上述步骤中的(4)。上述步骤中(1)(2)旨在获得符号有向图的正无向图邻接矩阵A+和负无向图邻接矩阵A-。获得解耦合的两个邻接矩阵后，则可以利用上述的变分解耦合编码器步骤对节点的结构信息进行编码。
变分解耦合编码器步骤：在一个有向关系中，根据方向一个节点既可能作为源节点，有可能作为目标节点。故，可将一个节点的表达解耦合成源节点表达Zs和目标节点表达Zt。对于所观察到的符号有向边D，可以建立如下的概率密度表达：
p(D)＝p(D|Zs,Zt)p(Zs|θs)p(Zt|θt) (1)
上式中p(D|Zs,Zt)表示根据隐变量表达Zs,Zt重构出观测边D。而p(Zs|θs)和p(Zt|θt)则分别表示源节点表达Zs和目标节点表达Zt的编码学习，θs和θt为对应的参数。两种表达应该捕捉到节点的符号化的局部连续性特征。以源节点表达Zs为例，我们将该表达解耦合成在正无向图中的表达
Figure BDA0001825888750000171
和负无向图中的表达
Figure BDA0001825888750000172
最后的源节点表达Zs可以通过
Figure BDA0001825888750000173
和
Figure BDA0001825888750000174
的拼接获得。通过这种方式，带耦合的局部连续性特征的概率表达p(Zs)可以间接由解耦合的
Figure BDA0001825888750000175
和
Figure BDA0001825888750000176
表示。假设A+是正无向图的邻接矩阵，A-为负无向图的邻接矩阵。D+和D-分别是对角化的A+，A-的度矩阵。节点的特征输入矩阵X∈RN×F(如果没有节点特征可直接设定X＝IN，IN为大小是N的单位矩阵)。对于正无向图中的表达
Figure BDA0001825888750000181
和负无向图中的表达
Figure BDA0001825888750000182
可用如下所示的两层变分图卷积网络(GCN)表示：
Figure BDA0001825888750000183
Figure BDA0001825888750000184
其中，
Figure BDA0001825888750000185
分别表示源节点在正无向图和负无向图中的变分分布。
Figure BDA0001825888750000186
和
Figure BDA0001825888750000187
服从如下的高斯分布：
Figure BDA0001825888750000188
Figure BDA0001825888750000189
重参参数
Figure BDA00018258887500001810
由下式定义：
Figure BDA00018258887500001811
Figure BDA00018258887500001812
Figure BDA00018258887500001813
Figure BDA00018258887500001814
其中，
Figure BDA00018258887500001815
和
Figure BDA00018258887500001816
分别为对称归一化后的邻接矩阵。h(·)＝max(0,·)为非线性激活函数ReLU。
Figure BDA00018258887500001817
和
Figure BDA00018258887500001818
是
Figure BDA00018258887500001819
的重参参数，
Figure BDA00018258887500001820
和
Figure BDA00018258887500001821
是
Figure BDA00018258887500001822
的重参参数。源节点的向量表达由
Figure BDA00018258887500001823
和
Figure BDA00018258887500001824
拼接表示。此过程是源节点的才部分，对应的KL散度由下式表示：
Figure BDA00018258887500001825
同样的，目标节点Zt的表达由
Figure BDA00018258887500001826
和
Figure BDA00018258887500001827
的拼接表达得到。目标节点的变分耦合编码器部分，对应的KL散度如下式：
Figure BDA00018258887500001828
结构解码器步骤：所述结构解码器中，即符号有向边的观测边D的重构p(D|Zs,Zt)。根据社交网络结构平衡理论提出的BPWR(Balance Pair-wise Ranking)损失函数可有效建模符号有向网络中正边，负边和无边的关系。BPWR的原理设计过程简述如下：
假设社交网络中有四个用户，i,j,k,s,四者之间的边关系为eij＝1，eik＝0，eis＝-1。即i,j之间为正边，i,k之间无边，i,s之间为负边。则定义f(i,j)为用户i,j之间存在正边的得分函数，得分越高，则表示存在正向关系的可能性越高，i,j,k,s四者之间满足下式关系：
f(i,j)＞f(i,k)＞f(i,s) (12)
由此可导出如下极大似然：
Figure BDA0001825888750000191
Figure BDA0001825888750000192
其中θ1，θ2分别为对应的参数。假设函数f(i,j)＝Zs,iZt,j，即由两个变量的内积得到。则p(j＞i k|θ1)和p(k＞i s|θ2)可分别由下式表示：
p(j＞i k|θ1)＝σ(f(i,j)-f(i,k)) (15)
p(k＞i s|θ2)＝σ(f(i,k)-f(i,s)) (16)
其中σ为非线性激活sigmoid函数。参数θ1和θ2均服从高斯分布
Figure BDA0001825888750000193
Figure BDA0001825888750000194
最终BPWR损失函数的表达式可从(13)(14)(15)(16)中导出得：
Figure BDA0001825888750000195
其中α＞0,β＞0分别是控制相对正边存在概率eij＝1，eik＝0和eik＝0，eis＝-1。λ1≥0和λ2≥0分别是控制模型参数正则化程度的超参。隐变量Zs和Zt分别是采样于p(Zs)和p(Zt)。
结合上式(10)(11)(17)，可得到本发明的变分解耦合方法的最终优化损失函数如下：
Figure BDA0001825888750000201
其中θs和θt分别是源节点变分解耦合编码器和目标节点变分解耦合编码器的参数。为简化可直接设置超参α＝β＝1，λ1＝λ2＝0并在网络的每层使用Dropout防止过拟合。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，包括以下步骤：
符号有向网络数据收集步骤：读取社交网站的符号有向网络数据，所述符号有向网络数据主要包括节点间边正负和方向的网络数据；
符号有向网络分离步骤：令符号有向网络数据根据符号进行分离，得到正无向图、负无向图，所述正无向图用邻接矩阵A+表示，所述负无向图用邻接矩阵A-表示；
变分解耦合编码器步骤：令邻接矩阵A+、A-输入至变分解耦合编码器，进行节点编码后的向量表达学习，记为学习后向量表达；
结构解码器步骤：基于符号有向网络中节点间的关系构建结构解码器，令学习后向量表达依照目标损失函数进行修正，得到目标优化损失函数作为优化后向量表达；
数据挖掘任务应用步骤：令优化后向量表达应用于设定的数据挖掘任务。
2.根据权利要求1所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，变分解耦合编码器步骤包括：
建立概率密度表达步骤：所述节点的向量表达解耦合成源节点表达Zs和目标节点表达Zt，令符号有向边D，建立如下的概率密度表达：
p(D)＝p(D|Zs,Zt)p(Zs|θs)p(Zt|θt) (1)
式中，p(A|B)是条件概率公式，表示在事件B已经发生条件下事件A的发生概率；
D表示观测到的符号有向边集合；
p(D)表示D的概率密度表达；
p(D|Zs,Zt)表示根据Zs,Zt重构出有向边D的概率；
θs为源节点表达参数；
θt为目标节点表达参数；
Zs表示源节点表达；
Zt表示目标节点表达；
p(Zs|θs)表示根据θs得出源节点表达Zs的编码学习的概率；
p(Zt|θt)表示根据θt得出目标节点表达Zt的编码学习的概率；
建立变分图卷积表示步骤：令源节点表达Zs解耦合成正无向图中的表达
Figure FDA0003005858990000021
和负无向图中的表达
Figure FDA0003005858990000022
对于Zs在正无向图中的表达
Figure FDA0003005858990000023
和Zs在负无向图中的表达
Figure FDA0003005858990000024
用如下所示的两层变分图卷积网络表示：
Figure FDA0003005858990000025
Figure FDA0003005858990000026
式中，q(A|B)是变分分布q的条件概率公式，表示事件B发生条件下事件A发生的概率分布；
Figure FDA0003005858990000027
表示源节点在正无向图中的向量表达；
Figure FDA0003005858990000028
表示源节点在负无向图中的向量表达；
A+是正无向图的邻接矩阵，A-为负无向图的邻接矩阵；
令X∈RN×F，X为节点的特征输入值，若节点无特征输入值，则设定X＝IN，其中IN为大小为N的单位矩阵，N表示矩阵R的行数，F表示矩阵R的列数，R表示特征输入矩阵；
下标i＝1,2，…表示网络中节点编号；
下标s表示源节点；
上标p表示正无向图；
上标n表示负无向图；
Figure FDA0003005858990000029
表示第i个节点作为源节点在正无向图中的向量表达；
Figure FDA00030058589900000210
表示第i个节点作为源节点在负无向图中的向量表达；
Figure FDA00030058589900000211
和
Figure FDA00030058589900000212
服从如下的高斯分布：
Figure FDA00030058589900000213
Figure FDA00030058589900000214
变分网络分布参数
Figure FDA00030058589900000215
由下式定义：
Figure FDA00030058589900000216
Figure FDA00030058589900000217
Figure FDA00030058589900000218
Figure FDA0003005858990000031
Figure FDA0003005858990000032
和
Figure FDA0003005858990000033
分别为对称归一化后的邻接矩阵；
式中，D+、D-分别是对角化的A+、A-的度矩阵；
N(A|B)表示均值是A，方差为B的高斯分布；
Figure FDA0003005858990000034
表示第i个节点作为源节点在正无向图中的变分分布参数的均值向量；
Figure FDA0003005858990000035
表示第i个节点作为源节点在负无向图中的变分分布参数的均值向量；
Figure FDA0003005858990000036
表示第i个节点作为源节点在正无向图中的变分分布参数的标准差向量；
Figure FDA0003005858990000037
表示第i个节点作为源节点在负无向图中的变分分布参数的标准差向量；
GCN表示图卷积网络；
Figure FDA0003005858990000038
分别表示变分网络分布参数、
Figure FDA0003005858990000039
的图卷积网络；
h(·)＝max(0,·)为非线性激活函数ReLU；
Figure FDA00030058589900000310
和
Figure FDA00030058589900000311
是
Figure FDA00030058589900000312
的神经网络参数，
Figure FDA00030058589900000313
和
Figure FDA00030058589900000314
是
Figure FDA00030058589900000315
的神经网络参数；
Figure FDA00030058589900000316
表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标0表示第1层网络；
Figure FDA00030058589900000317
表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标0表示第1层网络；
F表示节点输入特征X的维度数；
Figure FDA00030058589900000318
表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标1表示第2层网络；
Figure FDA00030058589900000319
表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标1表示第2层网络；
Figure FDA00030058589900000320
和
Figure FDA00030058589900000321
是
Figure FDA00030058589900000322
的神经网络参数，
Figure FDA00030058589900000323
和
Figure FDA00030058589900000324
是
Figure FDA00030058589900000325
的神经网络参数；
Figure FDA0003005858990000041
表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标0表示第1层网络；
Figure FDA0003005858990000042
表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标0表示第1层网络；
Figure FDA0003005858990000043
表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标1表示第2层网络；
Figure FDA0003005858990000044
表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标1表示第2层网络；
d1表示第一层GCN网络的隐空间维度；d表示第二层GCN网络的隐空间维度；
建立变分解耦合编码器的KL散度步骤：源节点表达Zs的变分解耦合编码器的KL散度Ls由下式表示：
Figure FDA0003005858990000045
目标节点表达Zt的变分解耦合编码器的KL散度Lt由下式表示：
Figure FDA0003005858990000046
KL[A||B]是描述两个分布A，B的差异大小的度量方式，公式如下：
Figure FDA0003005858990000047
x表示分布的随机变量；
X表示原始图数据的特征表达输入；
源节点表达Zs解耦合成正无向图中的表达
Figure FDA0003005858990000048
和负无向图中的表达
Figure FDA0003005858990000049
目标节点表达Zt解耦合成正无向图中的表达
Figure FDA00030058589900000410
和负无向图中的表达
Figure FDA00030058589900000411
3.根据权利要求1所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，所述结构解码器步骤包括：
目标损失函数表达步骤：
Figure FDA00030058589900000412
式中，α＞0,β＞0分别是控制相对正边存在概率，eij＝1表示节点i指向节点j的边为正边；eik＝0表示节点i和节点k之间无边；eis＝-1表示节点i指向节点s的边为负边；λ1≥0、λ2≥0是控制模型参数正则化程度的超参；模型参数表示模型通过学习获得的，超参表示控制参数学习程度的人为设定的参数；
符号～表示变量服从何种分布；
Zs、Zt分别采样于p(Zs)和p(Zt)；
LBPWR表示BPWR损失函数的表达符号；
Zs,i表示节点i作为源节点的向量表达；
Zt,j表示节点j作为目标节点的向量表达；
Zt,k表示节点k作为目标节点的向量表达；
Zt,s表示节点s作为目标节点的向量表达；
Figure FDA0003005858990000051
表示对参数θ1的正则项；
Figure FDA0003005858990000052
表示对参数θ2的正则项；
F表示节点特征输入X的特征维度；
Zs表示节点作为源节点的表达；
p(Zs)表示节点作为源节点Zs的概率密度；
Zt表示节点作为目标节点的表达；
p(Zt)表示节点作为目标节点Zt的概率密度；
其中，i,j,k,s分别为社交网络中的四个用户，四者之间的边关系为eij＝1，eik＝0，eis＝-1，即i,j之间为正边，i,k之间无边，i,s之间为负边；
i,j,k,s关系如下：
Figure FDA0003005858990000053
Figure FDA0003005858990000054
j＞ik表示i,j间的连接边关系大于i,k间的连接边关系；
k＞is表示k,i间的连接边关系大于i,s间的连接边关系；
∝表示正相关；
定义f(i,j)为用户i,j之间存在正边的得分函数，f(i,k)为用户i,k之间存在正边的得分函数，f(i,s)为用户i,s之间存在正边的得分函数，i,j,k,s四者之间满足下式关系：
f(i,j)＞f(i,k)＞f(i,s) (12)
θ1，θ2分别为对应参数；
函数f(i,j)＝Zs,iZt,j，即由变量Zs,i、变量Zt,j的内积得到，变量Zs,i为节点i作为源节点的向量表达，变量Zt,j为节点j作为目标节点的向量表达；
p(j＞ik|θ1)和p(k＞is|θ2)分别由下式表示：
p(j＞ik|θ1)＝σ(f(i,j)-f(i,k)) (15)
p(k＞is|θ2)＝σ(f(i,k)-f(i,s)) (16)
其中σ为非线性激活sigmoid函数；参数θ1和θ2均服从高斯分布θ1～N(0,λ1I1),θ2～N(0,λ2I2)；I1表示与参数θ1维度对应的单位矩阵；I2表示与参数θ2维度对应的单位矩阵；λ1表示参数θ1的正则项系数；λ2表示参数θ2的正则项系数。
4.根据权利要求1所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，所述结构解码器步骤包括：
优化损失函数表达步骤：目标优化损失函数如下：
Figure FDA0003005858990000061
式中，θs是源节点变分解耦合编码器的参数，θt是目标节点变分解耦合编码器的参数；
设置超参α＝β＝1，λ1＝λ2＝0；
Ls源节节点解耦合编码器的KL散度表达式；
Lt目标节点解耦合编码器的KL散度表达式；
～表示变量服从何种分布；
i,j,k,s分别为社交网络中的四个用户，每个用户在社交网络中以节点表示；
Zs,i表示节点i作为源节点的向量表达；
Zt,j表示节点j作为目标节点的向量表达；
Zt,k表示节点k作为目标节点的向量表达；
Zt,s表示节点s作为目标节点的向量表达；
θs为源节点表达参数；
θt为目标节点表达参数；
Zs表示源节点表达；
Zt表示目标节点表达；
Figure FDA0003005858990000071
表示对参数θ1的正则项；
Figure FDA0003005858990000072
表示对参数θ2的正则项；
F表示节点特征输入的特征维度；
Zs表示源节点表达；
Zt表示目标节点表达；
Figure FDA0003005858990000073
表示源节点在正无向图中的向量表达；
Figure FDA0003005858990000074
表示源节点在负无向图中的向量表达；
Figure FDA0003005858990000075
表示拼接操作；
Figure FDA0003005858990000076
表示目标节点在正无向图中的表达
Figure FDA0003005858990000077
的变分概率密度；
Figure FDA0003005858990000078
表示源节点在正无向图中的表达
Figure FDA0003005858990000079
的变分概率密度；
Figure FDA00030058589900000710
表示源节点在负无向图中的表达
Figure FDA00030058589900000711
的变分概率密度；
Figure FDA00030058589900000712
表示目标节点在负无向图中的表达
Figure FDA00030058589900000713
的变分概率密度。
5.根据权利要求1所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，所述数据挖掘任务主要包括用户关系预测任务；
用户关系预测任务将优化后向量表达Z定义为
Figure FDA00030058589900000714
其中
Figure FDA00030058589900000715
表示拼接操作，利用现有用户的边的符号信息训练逻辑回归模型，得到已训练逻辑回归模型，所述逻辑回归模型基于优化后向量表达对用户间边的正负进行预测；对于Zs、Zt中的未知符号信息的节点x,y，将x,y对应的优化后向量表达分别从Z中抽取并利用已训练逻辑回归模型进行预测。
6.根据权利要求4所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，所述数据挖掘任务主要包括用户推荐任务；
用户推荐任务对由逻辑回归模型训练的用户表达Zs 1、Zt 1，给定一个待推荐的用户i，从Zs 1抽取用户i的表达，将所述用户i的表达与Zt 1中的每一个用户做内积得出得分，按得分将Zt 1中的用户按从大到小排序，取前k个用户可推荐给用户i。
CN201811184604.0A 2018-10-11 2018-10-11 基于变分解耦合方式对符号有向网络的表达学习方法 Active CN109523012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811184604.0A CN109523012B (zh) 2018-10-11 2018-10-11 基于变分解耦合方式对符号有向网络的表达学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811184604.0A CN109523012B (zh) 2018-10-11 2018-10-11 基于变分解耦合方式对符号有向网络的表达学习方法

Publications (2)

Publication Number Publication Date
CN109523012A CN109523012A (zh) 2019-03-26
CN109523012B true CN109523012B (zh) 2021-06-04

Family

ID=65772284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811184604.0A Active CN109523012B (zh) 2018-10-11 2018-10-11 基于变分解耦合方式对符号有向网络的表达学习方法

Country Status (1)

Country Link
CN (1) CN109523012B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210988B (zh) * 2019-05-31 2021-04-27 北京理工大学 一种基于深度哈希的符号社交网络嵌入方法
CN111259745B (zh) * 2020-01-09 2022-07-12 西安交通大学 一种基于分布独立性的3d人脸解耦表示学习方法
CN111310996B (zh) * 2020-02-13 2023-06-20 山东师范大学 基于图自编码网络的用户信任关系预测方法及系统
CN111858958B (zh) * 2020-07-22 2024-02-02 武汉理工大学 基于隐空间邻域聚合的智能网联汽车产业图谱融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077417A (zh) * 2014-07-18 2014-10-01 中国科学院计算技术研究所 社交网络中的人物标签推荐方法和系统
CN105631751A (zh) * 2015-12-25 2016-06-01 上海交通大学 定向局部群体发现方法
CN106934494A (zh) * 2017-02-28 2017-07-07 深圳信息职业技术学院 符号预测方法及装置
CN108573062A (zh) * 2018-04-27 2018-09-25 山东理工大学 一种基于异构社交关系的个性化推荐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077417A (zh) * 2014-07-18 2014-10-01 中国科学院计算技术研究所 社交网络中的人物标签推荐方法和系统
CN105631751A (zh) * 2015-12-25 2016-06-01 上海交通大学 定向局部群体发现方法
CN106934494A (zh) * 2017-02-28 2017-07-07 深圳信息职业技术学院 符号预测方法及装置
CN108573062A (zh) * 2018-04-27 2018-09-25 山东理工大学 一种基于异构社交关系的个性化推荐方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Model-based Approach to Attributed Graph Clustering;Zhiqiang Xu 等;《ACM》;20120524;第505-516页 *
Predicting Positive and Negative Links;Jure Leskovec 等;《arXiv》;20100311;第1-10页 *
Signed Networks in Social Media;Jure Leskovec 等;《arXiv》;20100311;第1-10页 *
Variational Graph Auto-Encoders;Thomas N. Kipf 等;《arXiv》;20161121;第1-3页 *

Also Published As

Publication number Publication date
CN109523012A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN109523012B (zh) 基于变分解耦合方式对符号有向网络的表达学习方法
Li et al. A perspective survey on deep transfer learning for fault diagnosis in industrial scenarios: Theories, applications and challenges
CN111881350B (zh) 一种基于混合图结构化建模的推荐方法与系统
CN111079931A (zh) 一种基于图神经网络的状态空间概率性多时间序列预测方法
Cao et al. Bidirectional stochastic configuration network for regression problems
Du et al. A deep learning method for data recovery in sensor networks using effective spatio-temporal correlation data
CN112699953A (zh) 基于多信息路径聚合的特征金字塔神经网络架构搜索方法
Delgado et al. A multiobjective genetic algorithm for obtaining the optimal size of a recurrent neural network for grammatical inference
Rahman et al. Predicting human design decisions with deep recurrent neural network combining static and dynamic data
CN112529071B (zh) 一种文本分类方法、系统、计算机设备和存储介质
CN114925205B (zh) 基于对比学习的gcn-gru文本分类方法
CN114880479B (zh) 基于多级交互和图重构的异构图卷积谣言检测方法
CN115310837A (zh) 基于因果图注意力神经网络的复杂机电系统故障检测方法
CN116052254A (zh) 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法
Wang et al. Multi-task multimodal learning for disaster situation assessment
CN115631504A (zh) 一种基于双模态图网络信息瓶颈的情感识别方法
Zhao et al. KE-X: Towards subgraph explanations of knowledge graph embedding based on knowledge information gain
CN113989544A (zh) 一种基于深度图卷积网络的群体发现方法
CN115481215A (zh) 一种基于时态合作者知识图谱的合作者预测方法和预测系统
CN116935128A (zh) 一种基于可学习提示的零样本异常图像检测方法
Jiang et al. Dynamic adaptive and adversarial graph convolutional network for traffic forecasting
Zhou et al. Online recommendation based on incremental-input self-organizing map
CN114297498B (zh) 一种基于关键传播结构感知的意见领袖识别方法和装置
CN116630777A (zh) 一种信息瓶颈图压缩的医疗指标缺失数据补全方法
CN114779739A (zh) 基于概率图模型的云边端协同下工业过程的故障监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant