CN109523012A - 基于变分解耦合方式对符号有向网络的表达学习方法 - Google Patents

Abstract

本发明提供一种基于变分解耦合方式对符号有向网络的表达学习方法，读取社交网站的符号有向网络数据，符号有向网络数据主要包括节点间边正负和方向的网络数据；令符号有向网络数据根据符号进行分离，得到正无向图、负无向图，所述正无向图用邻接矩阵A⁺表示，所述负无向图用邻接矩阵A^‑表示；令邻接矩阵A⁺、A^‑输入至变分解耦合编码器，进行节点编码后的向量表达学习，记为学习后向量表达；基于符号有向网络中节点间的关系构建结构解码器，依照目标损失函数进行修正，得到优化后向量表达；令优化后向量表达应用于设定的数据挖掘任务。通过分离符号有向网络形成正无向网络、负无向网络，学习节点的符号化局部连续性特征，充分挖掘节点间的依赖性模式，适合于社交网络中用户推荐。

Description

基于变分解耦合方式对符号有向网络的表达学习方法

技术领域

本发明涉及社交网络领域，具体地，涉及一种基于变分解耦合方式对符号有向网络的表达学习方法，尤其是涉及一种结合贝叶斯方法和图卷积方法，基于变分解耦合，以一种解耦合的方式学习网络中节点的表达，用于社交网络中用户间关系的预测以及用户推荐。

背景技术

图作为一种非规则的，非欧式空间的数据类型，广泛存在于现实生活中。例如，基因图谱，社交网络，知识图谱等。故而图(网络)数据中节点的表达学习成为近年来的研究热点。网络节点表达是网络分析中的基础任务，良好的节点表达有利于许多其他数据挖掘的任务，例如节点间边的预测，节点的分类，社区检测等。

现实中的有些社交网络的边既存在方向，又存在正负。如Epinions和Slashdot网站。这种网络称为符号有向网络。有研究证明，负向的边包含额外的信息，该信息有利于其他任务的建模解决。网络中的边的方向代表了两个节点间不对称信息。这种非对称信息对某些非对称任务如用户推荐有着重要作用。例如社交网络中的知名用户往往不会关注普通用户，但是普通用户更倾向于关注知名用户。如何编码符号有向网络中的丰富信息主要有两点挑战：1、建模节点的局部连续性特征的时候，如何将节点的边的正负性考虑进去；2、如何更好的利用带符号的有向边重构图的拓扑结构。

至于第一点，在图结构的数据中捕捉节点的局部连续性特征存在必须性。因为图谱数据中的各个节点之间相互依赖，并且形成了一种更为复杂的模式，即局部连续性。在符号有向网络中，不同符号的边拥有不同的传播影响力，故而局部连续性特征因边的符号而产生耦合，更难建模。虽然目前已有工作在建模节点的局部连续性特征，但他们均忽略了不同符号的边的不同传播力。同时，这些工作都是分步进行，不能端到端的训练学习。

关于第二点，目前的工作着重于对符号邮箱网络中的正边和负边关系建模。但无边作为网络结构的一部分，也包含有重要信息，却被现有工作忽略。在社交网络结构平衡理论中，便指出符号有向社交网络中无边较于正边和负边三者之间，均有相对关系。

如何克服上述两点挑战，并让这个模型端到端训练以学习到更充分的节点表达对下游许多数据挖掘任务均有重要意义。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于变分解耦合方式对符号有向网络的表达学习方法。

根据本发明提供的一种基于变分解耦合方式对符号有向网络的表达学习方法，包括以下步骤：

符号有向网络数据收集步骤：读取社交网站的符号有向网络数据，所述符号有向网络数据主要包括节点间边正负和方向的网络数据；

符号有向网络分离步骤：令符号有向网络数据根据符号进行分离，得到正无向图、负无向图，所述正无向图用邻接矩阵A⁺表示，所述负无向图用邻接矩阵A^-表示；

变分解耦合编码器步骤：令邻接矩阵A⁺、A^-输入至变分解耦合编码器，进行节点编码后的向量表达学习，记为学习后向量表达；

结构解码器步骤：基于符号有向网络中节点间的关系构建结构解码器，令学习后向量表达依照目标损失函数进行修正，得到目标优化损失函数作为优化后向量表达；

数据挖掘任务应用步骤：令优化后向量表达应用于设定的数据挖掘任务。

优选地，所述变分解耦合编码器步骤包括：

建立概率密度表达步骤：所述节点的向量表达解耦合成源节点表达Z_s和目标节点表达Z_t，令符号有向边D，建立如下的概率密度表达：

p(D)＝p(D|Z_s,Z_t)p(Z_s|θ_s)p(Z_t|θ_t) (1)

式中，p(A|B)是条件概率公式，表示在事件B已经发生条件下事件A的发生概率；

D表示观测到的符号有向边集合；

p(D)表示D的概率密度表达；

p(D|Z_s,Z_t)表示根据Z_s,Z_t重构出有向边D的概率；

θ_s为源节点表达参数；

θ_t为目标节点表达参数；

Z_s表示源节点表达；

Z_t表示目标节点表达；

p(Z_s|θ_s)表示根据θ_s得出源节点表达Z_s的编码学习的概率；

p(Z_t|θ_t)表示根据θ_s得出目标节点表达Z_t的编码学习的概率；

建立变分图卷积表示步骤：令源节点表达Z_s解耦合成正无向图中的表达和负无向图中的表达对于Z_s在正无向图中的表达和Z_s在负无向图中的表达用如下所示的两层变分图卷积网络表示：

式中，q(A|B)是变分分布q的条件概率公式，表示事件B发生条件下事件A发生的概率分布；

表示源节点在正无向图中的向量表达；

表示源节点在负无向图中的向量表达；

A⁺是正无向图的邻接矩阵，A^-为负无向图的邻接矩阵；

令X∈R^N×F，X为节点的特征输入值，若节点无特征输入值，则设定X＝I_N，其中I_N为大小为N的单位矩阵，N表示矩阵R的行数，F表示矩阵R的列数，R表示特征输入矩阵；

下标i＝1,2，…表示网络中节点编号；

下标s表示源节点；

上标p表示正无向图；

上标n表示负无向图；

表示第i个节点作为源节点在正无向图中的向量表达；

表示第i个节点作为源节点在负无向图中的向量表达；

和服从如下的高斯分布：

变分网络分布参数由下式定义：

式中，D⁺、D^-分别是对角化的A⁺、A^-的度矩阵；

N(A|B)表示均值是A，方差为B的高斯分布；

表示第i个节点作为源节点在正无向图中的变分分布参数的均值向量；

表示第i个节点作为源节点在负无向图中的变分分布参数的均值向量；

表示第i个节点作为源节点在正无向图中的变分分布参数的标准差向量；

表示第i个节点作为源节点在负无向图中的变分分布参数的标准差向量；

GCN表示图卷积网络；

分别表示变分网络分布参数的图卷积网络；

和分别为对称归一化后的邻接矩阵；

h(·)＝max(0,·)为非线性激活函数ReLU；

和是的神经网络参数，和是的神经网络参数；

表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标0表示第1层网络；

F表示节点输入特征X的维度数；

表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标1表示第2层网络；

表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标1表示第2层网络；

和是的神经网络参数，和是的神经网络参数；

表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标1表示第2层网络；

表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标1表示第2层网络；

d₁表示第一层GCN网络的隐空间维度；d表示第二层GCN网络的隐空间维度；

建立变分解耦合编码器的KL散度步骤：源节点表达Z_s的变分解耦合编码器的KL散度L_s由下式表示：

目标节点表达Z_t的变分解耦合编码器的KL散度L_t由下式表示：

KL[A||B]是描述两个分布A，B的差异大小的度量方式，公式如下：

x表示分布的随机变量；

X表示原始图数据的特征表达输入；

源节点表达Z_s解耦合成正无向图中的表达和负无向图中的表达

目标节点表达Z_t解耦合成正无向图中的表达和负无向图中的表达

优选地，所述结构解码器步骤包括：

目标损失函数表达步骤：

式中，α＞0,β＞0分别是控制相对正边存在概率，e_ij＝1表示节点i指向节点j的边为正边；e_ik＝0表示节点i和节点k之间无边；e_is＝-1表示节点i指向节点s的边为负边；λ₁≥0、λ₂≥0是控制模型参数正则化程度的超参；模型参数表示模型通过学习获得的，超参表示控制参数学习程度的人为设定的参数；

符号～表示变量服从何种分布；

Z_s、Z_t分别采样于p(Z_s)和p(Z_t)；

L_BPWR表示BPWR损失函数的表达符号；

Z_s,i表示节点i作为源节点的向量表达；

Z_t,j表示节点j作为目标节点的向量表达；

Z_t,k表示节点k作为目标节点的向量表达；

Z_t,s表示节点s作为目标节点的向量表达；

表示对参数θ₁的正则项；

表示对参数θ₂的正则项；

F表示节点特征输入X的特征维度；

Z_s表示节点作为源节点的表达；

p(Z_s)表示节点作为源节点Z_s的概率密度；

Z_t表示节点作为目标节点的表达；

p(Z_t)表示节点作为目标节点Z_t的概率密度；

其中，i,j,k,s分别为社交网络中的四个用户，四者之间的边关系为e_ij＝1，e_ik＝0，e_is＝-1，即i,j之间为正边，i,k之间无边，i,s之间为负边；

i,j,k,s关系如下：

j＞_i k表示i,j间的连接边关系大于i,k间的连接边关系；

k＞_i s表示k,i间的连接边关系大于i,s间的连接边关系；

∝表示正相关于；

定义f(i,j)为用户i,j之间存在正边的得分函数，f(i,k)为用户i,k之间存在正边的得分函数，f(i,s)为用户i,s之间存在正边的得分函数，i,j,k,s四者之间满足下式关系：

f(i,j)＞f(i,k)＞f(i,s) (12)

θ₁，θ₂分别为对应参数；

函数f(i,j)＝Z_s,iZ_t,j，即由变量Z_s,i、变量Z_t,j的内积得到，变量Z_s,i为节点i作为源节点的向量表达，变量Z_t,j为节点j作为目标节点的向量表达；

p(j＞_i k|θ₁)和p(k＞_i s|θ₂)分别由下式表示：

p(j＞_i k|θ₁)＝σ(f(i,j)-f(i,k)) (15)

p(k＞_i s|θ₂)＝σ(f(i,k)-f(i,s)) (16)

其中σ为非线性激活sigmoid函数；参数θ₁和θ₂均服从高斯分布 I₁表示与参数θ₁维度对应的单位矩阵；I₂表示与参数θ₂维度对应的单位矩阵；λ₁表示参数θ₁的正则项系数；λ₂表示参数θ₂的正则项系数。

优选地，所述结构解码器步骤包括：

优化损失函数表达步骤：目标优化损失函数如下：

式中，θ_s是源节点变分解耦合编码器的参数，θ_t是目标节点变分解耦合编码器的参数；

设置超参α＝β＝1，λ₁＝λ₂＝0；

L_s源节节点解耦合编码器的KL散度表达式；

L_t目标节点解耦合编码器的KL散度表达式；

～表示变量服从何种分布；

i,j,k,s分别为社交网络中的四个用户，每个用户在社交网络中以节点表示；

Z_s,i表示节点i作为源节点的向量表达；

Z_t,j表示节点j作为目标节点的向量表达；

Z_t,k表示节点k作为目标节点的向量表达；

Z_t,s表示节点s作为目标节点的向量表达；

θ_s为源节点表达参数；

θ_t为目标节点表达参数；

Z_s表示源节点表达；

Z_t表示目标节点表达；

表示对参数θ₁的正则项；

表示对参数θ₂的正则项；

F表示节点特征输入的特征维度；

Z_s表示源节点表达；

Z_t表示目标节点表达；

表示源节点在正无向图中的向量表达；

表示源节点在负无向图中的向量表达；

表示拼接操作；

表示目标节点在正无向图中的表达的变分概率密度；

表示源节点在正无向图中的表达的变分概率密度；

表示源节点在负无向图中的表达的变分概率密度；

表示目标节点在负无向图中的表达的变分概率密度。

优选地，所述数据挖掘任务主要包括用户关系预测任务；

用户关系预测任务将优化后向量表达Z定义为其中表示拼接操作，利用现有用户的边的符号信息训练逻辑回归模型，得到已训练逻辑回归模型，所述逻辑回归模型基于优化后向量表达对用户间边的正负进行预测；对于Z_s、Z_t中的未知符号信息的节点x,y，将x,y对应的优化后向量表达分别从Z中抽取并利用已训练逻辑回归模型进行预测。

优选地，所述数据挖掘任务主要包括用户推荐任务；

用户推荐任务对由逻辑回归模型训练的用户表达Z_s ¹、Z_t ¹，给定一个待推荐的用户i，从Z_s ¹抽取用户i的表达，将所述用户i的表达与Z_t ¹中的每一个用户做内积得出得分，按得分将Z_t ¹中的用户按从大到小排序，取前k个用户可推荐给用户i。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过分离符号有向网络形成正无向网络、负无向网络，设计变分解耦合编码器模块学习节点的符号化局部连续性特征，更充分挖掘节点间的依赖性模式；

2、本发明基于社交网络结构平衡理论提出BPWR损失函数作为结构解码器，能够充分的挖掘符号有向网络中正边、负边和无边的三者关系，更适合于社交网络中用户推荐任务。

3、解耦合编码器和结构解码器协端到端协同训练，充分建模符号有向网络中节点的局部连续性特征和各个符号有向边之间的相互关系。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明框架流程图；

图2为变分解耦合模型(DVE)结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明的目的在于提出一种端到端的能够同时捕捉节点的符号化局部连续性特征，以解耦合的方式将边的符号在建模节点局部连续性特征时考虑在内，并能更充分利用正边，负边和无边三者关系的方法DVE。通过DVE方法对符号有向边的学习，以学习到更具有表达能力的节点向量，为后续数据挖掘任务提供帮助。

根据本发明提供的一种基于变分解耦合方式对符号有向网络的表达学习方法，包括以下步骤：

符号有向网络数据收集步骤：读取社交网站的符号有向网络数据，所述符号有向网络数据主要包括节点间边正负和方向的网络数据；

符号有向网络分离步骤：令符号有向网络数据根据符号进行分离，得到正无向图、负无向图，所述正无向图用邻接矩阵A⁺表示，所述负无向图用邻接矩阵A^-表示；

变分解耦合编码器步骤：令邻接矩阵A⁺、A^-输入至变分解耦合编码器，进行节点编码后的向量表达学习，记为学习后向量表达；

结构解码器步骤：基于符号有向网络中节点间的关系构建结构解码器，令学习后向量表达依照目标损失函数进行修正，得到目标优化损失函数作为优化后向量表达；

数据挖掘任务应用步骤：令优化后向量表达应用于设定的数据挖掘任务。

具体地，变分解耦合编码器步骤包括：

建立概率密度表达步骤：所述节点的向量表达解耦合成源节点表达Z_s和目标节点表达Z_t，令符号有向边D，建立如下的概率密度表达：

p(D)＝p(D|Z_s,Z_t)p(Z_s|θ_s)p(Z_t|θ_t) (1)

式中，p(A|B)是条件概率公式，表示在事件B已经发生条件下事件A的发生概率；

D表示观测到的符号有向边集合；

p(D)表示D的概率密度表达；

p(D|Z_s,Z_t)表示根据Z_s,Z_t重构出有向边D的概率；

θ_s为源节点表达参数；

θ_t为目标节点表达参数；

Z_s表示源节点表达；

Z_t表示目标节点表达；

p(Z_s|θ_s)表示根据θ_s得出源节点表达Z_s的编码学习的概率；

p(Z_t|θ_t)表示根据θ_s得出目标节点表达Z_t的编码学习的概率；

建立变分图卷积表示步骤：令源节点表达Z_s解耦合成正无向图中的表达和负无向图中的表达对于Z_s在正无向图中的表达和Z_s在负无向图中的表达用如下所示的两层变分图卷积网络表示：

式中，q(A|B)是变分分布q的条件概率公式，表示事件B发生条件下事件A发生的概率分布；

表示源节点在正无向图中的向量表达；

表示源节点在负无向图中的向量表达；

A⁺是正无向图的邻接矩阵，A^-为负无向图的邻接矩阵；

令X∈R^N×F，X为节点的特征输入值，若节点无特征输入值，则设定X＝I_N，其中I_N为大小为N的单位矩阵，N表示矩阵R的行数，F表示矩阵R的列数，R表示特征输入矩阵；

下标i＝1,2，…表示网络中节点编号；

下标s表示源节点；

上标p表示正无向图；

上标n表示负无向图；

表示第i个节点作为源节点在正无向图中的向量表达；

表示第i个节点作为源节点在负无向图中的向量表达；

和服从如下的高斯分布：

变分网络分布参数由下式定义：

式中，D⁺、D^-分别是对角化的A⁺、A^-的度矩阵；

N(A|B)表示均值是A，方差为B的高斯分布；

表示第i个节点作为源节点在正无向图中的变分分布参数的均值向量；

表示第i个节点作为源节点在负无向图中的变分分布参数的均值向量；

表示第i个节点作为源节点在正无向图中的变分分布参数的标准差向量；

表示第i个节点作为源节点在负无向图中的变分分布参数的标准差向量；

GCN表示图卷积网络；

分别表示变分网络分布参数的图卷积网络；

和分别为对称归一化后的邻接矩阵；

h(·)＝max(0,·)为非线性激活函数ReLU；

和是的神经网络参数，和是的神经网络参数；

表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标0表示第1层网络；

F表示节点输入特征X的维度数；

表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标1表示第2层网络；

表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标1表示第2层网络；

和是的神经网络参数，和是的神经网络参数；

表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标1表示第2层网络；

表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标1表示第2层网络；

d₁表示第一层GCN网络的隐空间维度；d表示第二层GCN网络的隐空间维度；

建立变分解耦合编码器的KL散度步骤：源节点表达Z_s的变分解耦合编码器的KL散度L_s由下式表示：

目标节点表达Z_t的变分解耦合编码器的KL散度L_t由下式表示：

KL[A||B]是描述两个分布A，B的差异大小的度量方式，公式如下：

x表示分布的随机变量；

X表示原始图数据的特征表达输入；

源节点表达Z_s解耦合成正无向图中的表达和负无向图中的表达

目标节点表达Z_t解耦合成正无向图中的表达和负无向图中的表达

具体地，所述结构解码器步骤包括：

目标损失函数表达步骤：

式中，α＞0,β＞0分别是控制相对正边存在概率，e_ij＝1表示节点i指向节点j的边为正边；e_ik＝0表示节点i和节点k之间无边；e_is＝-1表示节点i指向节点s的边为负边；λ₁≥0、λ₂≥0是控制模型参数正则化程度的超参；模型参数表示模型通过学习获得的，超参表示控制参数学习程度的人为设定的参数；

～变量服从何种分布；

Z_s、Z_t分别采样于p(Z_s)和p(Z_t)；

L_BPWR表示BPWR损失函数的表达符号；

Z_s,i表示节点i作为源节点的向量表达；

Z_t,j表示节点j作为目标节点的向量表达；

Z_t,k表示节点k作为目标节点的向量表达；

Z_t,s表示节点s作为目标节点的向量表达；

表示对参数θ₁的正则项；

表示对参数θ₂的正则项；

F表示节点特征输入X的特征维度；

Z_s表示节点作为源节点的表达；

p(Z_s)表示节点作为源节点Z_s的概率密度；

Z_t表示节点作为目标节点的表达；

p(Z_t)表示节点作为目标节点Z_t的概率密度；

其中，i,j,k,s分别为社交网络中的四个用户，四者之间的边关系为e_ij＝1，e_ik＝0，e_is＝-1，即i,j之间为正边，i,k之间无边，i,s之间为负边；

i,j,k,s关系如下：

j＞_i k表示i,j间的连接边关系大于i,k间的连接边关系；

k＞_i s表示k,i间的连接边关系大于i,s间的连接边关系；

∝表示正相关于；

定义f(i,j)为用户i,j之间存在正边的得分函数，f(i,k)为用户i,k之间存在正边的得分函数，f(i,s)为用户i,s之间存在正边的得分函数，i,j,k,s四者之间满足下式关系：

f(i,j)＞f(i,k)＞f(i,s) (12)

θ₁，θ₂分别为对应参数；

函数f(i,j)＝Z_s,iZ_t,j，即由变量Z_s,i、变量Z_t,j的内积得到，变量Z_s,i为节点i作为源节点的向量表达，变量Z_t,j为节点j作为目标节点的向量表达；

p(j＞_i k|θ₁)和p(k＞_i s|θ₂)分别由下式表示：

p(j＞_i k|θ₁)＝σ(f(i,j)-f(i,k)) (15)

p(k＞_i s|θ₂)＝σ(f(i,k)-f(i,s)) (16)

其中σ为非线性激活sigmoid函数；参数θ₁和θ₂均服从高斯分布 I₁表示与参数θ₁维度对应的单位矩阵；I₂表示与参数θ₂维度对应的单位矩阵；λ₁表示参数θ₁的正则项系数；λ₂表示参数θ₂的正则项系数。

具体地，所述结构解码器步骤包括：

优化损失函数表达步骤：目标优化损失函数如下：

式中，θ_s是源节点变分解耦合编码器的参数，θ_t是目标节点变分解耦合编码器的参数；

设置超参α＝β＝1，λ₁＝λ₂＝0；

L_s源节节点解耦合编码器的KL散度表达式(公式10)；

L_t目标节点解耦合编码器的KL散度表达式(公式11)；

～表示变量服从何种分布；

i,j,k,s分别为社交网络中的四个用户，每个用户在社交网络中以节点表示；

Z_s,i表示节点i作为源节点的向量表达；

Z_t,j表示节点j作为目标节点的向量表达；

Z_t,k表示节点k作为目标节点的向量表达；

Z_t,s表示节点s作为目标节点的向量表达；

θ_s为源节点表达参数；

θ_t为目标节点表达参数；

Z_s表示源节点表达；

Z_t表示目标节点表达；

表示对参数θ₁的正则项；

表示对参数θ₂的正则项；

F表示节点特征输入的特征维度；

Z_s表示源节点表达；

Z_t表示目标节点表达；

表示源节点在正无向图中的向量表达；

表示源节点在负无向图中的向量表达；

表示拼接操作；

表示目标节点在正无向图中的表达的变分概率密度；

表示源节点在正无向图中的表达的变分概率密度；

表示源节点在负无向图中的表达的变分概率密度；

表示目标节点在负无向图中的表达的变分概率密度。

具体地，所述数据挖掘任务主要包括用户关系预测任务；

用户关系预测任务将优化后向量表达Z定义为其中表示拼接操作，利用现有用户的边的符号信息训练逻辑回归模型，得到已训练逻辑回归模型，所述逻辑回归模型基于优化后向量表达对用户间边的正负进行预测；对于Z_s、Z_t中的未知符号信息的节点x,y，将x,y对应的优化后向量表达分别从Z中抽取并利用已训练逻辑回归模型进行预测。

具体地，所述数据挖掘任务主要包括用户推荐任务；

用户推荐任务对由逻辑回归模型训练的用户表达Z_s ¹、Z_t ¹，给定一个待推荐的用户i，从Z_s ¹抽取用户i的表达，将所述用户i的表达与Z_t ¹中的每一个用户做内积得出得分，按得分将Z_t ¹中的用户按从大到小排序，取前k个用户可推荐给用户i。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述方法的步骤。

下面针对优选例对本发明做进一步的阐述。

如图1所示的框架流程图中，整个框架能够端对端地训练，包含五个步骤：符号有向网络数据收集，符号有向网络分离，变分解耦合编码器，结构解码器和数据挖掘任务引用。

(1)符号有向网络数据收集步骤：运用网络爬虫技术获取社交网络的用户以及边的方向符号信息；

(2)符号有向网络分离步骤：对收集到的符号有向网络数据根据符号分离成正无向图和负无向图，分别用邻接矩阵A⁺,A^-表示；

(3)变分解耦合编码器步骤：对得到的邻接矩阵,均输入到变分解耦合编码器中，以学习每个节点编码后的向量表达；

(4)结构解码器步骤：利用符号有向网络中节点间的相对关系构建结构解码器，对编码器中学习到的向量表达做目标损失函数优化修正；

(5)数据挖掘任务应用步骤：利用模型中学到的节点向量表达，用于特定的数据挖掘任务。

如图2所示的模型结构图中，其中101对应于上述步骤中的(1)、(2)，102对应于上述步骤中的(3)，103对应于上述步骤中的(4)。上述步骤中(1)(2)旨在获得符号有向图的正无向图邻接矩阵A⁺和负无向图邻接矩阵A^-。获得解耦合的两个邻接矩阵后，则可以利用上述的变分解耦合编码器步骤对节点的结构信息进行编码。

变分解耦合编码器步骤：在一个有向关系中，根据方向一个节点既可能作为源节点，有可能作为目标节点。故，可将一个节点的表达解耦合成源节点表达Z_s和目标节点表达Z_t。对于所观察到的符号有向边D，可以建立如下的概率密度表达：

p(D)＝p(D|Z_s,Z_t)p(Z_s|θ_s)p(Z_t|θ_t) (1)

上式中p(D|Z_s,Z_t)表示根据隐变量表达Z_s,Z_t重构出观测边D。而p(Z_s|θ_s)和p(Z_t|θ_t)则分别表示源节点表达Z_s和目标节点表达Z_t的编码学习，θ_s和θ_t为对应的参数。两种表达应该捕捉到节点的符号化的局部连续性特征。以源节点表达Z_s为例，我们将该表达解耦合成在正无向图中的表达和负无向图中的表达最后的源节点表达Z_s可以通过和的拼接获得。通过这种方式，带耦合的局部连续性特征的概率表达p(Z_s)可以间接由解耦合的和表示。假设A⁺是正无向图的邻接矩阵，A^-为负无向图的邻接矩阵。D⁺和D^-分别是对角化的A⁺，A^-的度矩阵。节点的特征输入矩阵X∈R^N×F(如果没有节点特征可直接设定X＝I_N，I_N为大小是N的单位矩阵)。对于正无向图中的表达和负无向图中的表达可用如下所示的两层变分图卷积网络(GCN)表示：

其中，分别表示源节点在正无向图和负无向图中的变分分布。和服从如下的高斯分布：

重参参数由下式定义：

其中，和分别为对称归一化后的邻接矩阵。h(·)＝max(0,·)为非线性激活函数ReLU。和是的重参参数，和是的重参参数。源节点的向量表达由和拼接表示。此过程是源节点的才部分，对应的KL散度由下式表示：

同样的，目标节点Z_t的表达由和的拼接表达得到。目标节点的变分耦合编码器部分，对应的KL散度如下式：

结构解码器步骤：所述结构解码器中，即符号有向边的观测边D的重构p(D|Z_s,Z_t)。根据社交网络结构平衡理论提出的BPWR(Balance Pair-wise Ranking)损失函数可有效建模符号有向网络中正边，负边和无边的关系。BPWR的原理设计过程简述如下：

假设社交网络中有四个用户，i,j,k,s,四者之间的边关系为e_ij＝1，e_ik＝0，e_is＝-1。即i,j之间为正边，i,k之间无边，i,s之间为负边。则定义f(i,j)为用户i,j之间存在正边的得分函数，得分越高，则表示存在正向关系的可能性越高，i,j,k,s四者之间满足下式关系：

f(i,j)＞f(i,k)＞f(i,s) (12)

由此可导出如下极大似然：

其中θ₁，θ₂分别为对应的参数。假设函数f(i,j)＝Z_s,iZ_t,j，即由两个变量的内积得到。则p(j＞_i k|θ₁)和p(k＞_i s|θ₂)可分别由下式表示：

p(j＞_i k|θ₁)＝σ(f(i,j)-f(i,k)) (15)

p(k＞_i s|θ₂)＝σ(f(i,k)-f(i,s)) (16)

其中σ为非线性激活sigmoid函数。参数θ₁和θ₂均服从高斯分布 最终BPWR损失函数的表达式可从(13)(14)(15)(16)中导出得：

其中α＞0,β＞0分别是控制相对正边存在概率e_ij＝1，e_ik＝0和e_ik＝0，e_is＝-1。λ₁≥0和λ₂≥0分别是控制模型参数正则化程度的超参。隐变量Z_s和Z_t分别是采样于p(Z_s)和p(Z_t)。

结合上式(10)(11)(17)，可得到本发明的变分解耦合方法的最终优化损失函数如下：

其中θ_s和θ_t分别是源节点变分解耦合编码器和目标节点变分解耦合编码器的参数。为简化可直接设置超参α＝β＝1，λ₁＝λ₂＝0并在网络的每层使用Dropout防止过拟合。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，包括以下步骤：

符号有向网络数据收集步骤：读取社交网站的符号有向网络数据，所述符号有向网络数据主要包括节点间边正负和方向的网络数据；

符号有向网络分离步骤：令符号有向网络数据根据符号进行分离，得到正无向图、负无向图，所述正无向图用邻接矩阵A⁺表示，所述负无向图用邻接矩阵A^-表示；

变分解耦合编码器步骤：令邻接矩阵A⁺、A^-输入至变分解耦合编码器，进行节点编码后的向量表达学习，记为学习后向量表达；

结构解码器步骤：基于符号有向网络中节点间的关系构建结构解码器，令学习后向量表达依照目标损失函数进行修正，得到目标优化损失函数作为优化后向量表达；

数据挖掘任务应用步骤：令优化后向量表达应用于设定的数据挖掘任务。

2.根据权利要求1所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，变分解耦合编码器步骤包括：

建立概率密度表达步骤：所述节点的向量表达解耦合成源节点表达Z_s和目标节点表达Z_t，令符号有向边D，建立如下的概率密度表达：

p(D)＝p(D|Z_s,Z_t)p(Z_s|θ_s)p(Z_t|θ_t) (1)

式中，p(A|B)是条件概率公式，表示在事件B已经发生条件下事件A的发生概率；

D表示观测到的符号有向边集合；

p(D)表示D的概率密度表达；

p(D|Z_s,Z_t)表示根据Z_s,Z_t重构出有向边D的概率；

θ_s为源节点表达参数；

θ_t为目标节点表达参数；

Z_s表示源节点表达；

Z_t表示目标节点表达；

p(Z_s|θ_s)表示根据θ_s得出源节点表达Z_s的编码学习的概率；

p(Z_t|θ_t)表示根据θ_s得出目标节点表达Z_t的编码学习的概率；

建立变分图卷积表示步骤：令源节点表达Z_s解耦合成正无向图中的表达和负无向图中的表达对于Z_s在正无向图中的表达和Z_s在负无向图中的表达用如下所示的两层变分图卷积网络表示：

式中，q(A|B)是变分分布q的条件概率公式，表示事件B发生条件下事件A发生的概率分布；

表示源节点在正无向图中的向量表达；

表示源节点在负无向图中的向量表达；

A⁺是正无向图的邻接矩阵，A^-为负无向图的邻接矩阵；

令X∈R^N×F，X为节点的特征输入值，若节点无特征输入值，则设定X＝I_N，其中I_N为大小为N的单位矩阵，N表示矩阵R的行数，F表示矩阵R的列数，R表示特征输入矩阵；

下标i＝1,2，…表示网络中节点编号；

下标s表示源节点；

上标p表示正无向图；

上标n表示负无向图；

表示第i个节点作为源节点在正无向图中的向量表达；

表示第i个节点作为源节点在负无向图中的向量表达；

和服从如下的高斯分布：

变分网络分布参数由下式定义：

式中，D⁺、D^-分别是对角化的A⁺、A^-的度矩阵；

N(A|B)表示均值是A，方差为B的高斯分布；

表示第i个节点作为源节点在正无向图中的变分分布参数的均值向量；

表示第i个节点作为源节点在负无向图中的变分分布参数的均值向量；

表示第i个节点作为源节点在正无向图中的变分分布参数的标准差向量；

表示第i个节点作为源节点在负无向图中的变分分布参数的标准差向量；

GCN表示图卷积网络；

分别表示变分网络分布参数的图卷积网络；

和分别为对称归一化后的邻接矩阵；

h(·)＝max(0,·)为非线性激活函数ReLU；

和是的神经网络参数，和是的神经网络参数；

表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标0表示第1层网络；

F表示节点输入特征X的维度数；

表示源节点学习变分分布中的μ在正无向图中的神经网络参数，上标1表示第2层网络；

表示源节点学习变分分布中的μ在负无向图中的神经网络参数，上标1表示第2层网络；

和是的神经网络参数，和是的神经网络参数；

表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标0表示第1层网络；

表示源节点学习变分分布中的σ在正无向图中的神经网络参数，上标1表示第2层网络；

表示源节点学习变分分布中的σ在负无向图中的神经网络参数，上标1表示第2层网络；

d₁表示第一层GCN网络的隐空间维度；d表示第二层GCN网络的隐空间维度；

建立变分解耦合编码器的KL散度步骤：源节点表达Z_s的变分解耦合编码器的KL散度L_s由下式表示：

目标节点表达Z_t的变分解耦合编码器的KL散度L_t由下式表示：

KL[A||B]是描述两个分布A，B的差异大小的度量方式，公式如下：

x表示分布的随机变量；

X表示原始图数据的特征表达输入；

源节点表达Z_s解耦合成正无向图中的表达和负无向图中的表达

目标节点表达Z_t解耦合成正无向图中的表达和负无向图中的表达

3.根据权利要求1所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，所述结构解码器步骤包括：

目标损失函数表达步骤：

式中，α＞0,β＞0分别是控制相对正边存在概率，e_ij＝1表示节点i指向节点j的边为正边；e_ik＝0表示节点i和节点k之间无边；e_is＝-1表示节点i指向节点s的边为负边；λ₁≥0、λ₂≥0是控制模型参数正则化程度的超参；模型参数表示模型通过学习获得的，超参表示控制参数学习程度的人为设定的参数；

符号～表示变量服从何种分布；

Z_s、Z_t分别采样于p(Z_s)和p(Z_t)；

L_BPWR表示BPWR损失函数的表达符号；

Z_s,i表示节点i作为源节点的向量表达；

Z_t,j表示节点j作为目标节点的向量表达；

Z_t,k表示节点k作为目标节点的向量表达；

Z_t,s表示节点s作为目标节点的向量表达；

表示对参数θ₁的正则项；

表示对参数θ₂的正则项；

F表示节点特征输入X的特征维度；

Z_s表示节点作为源节点的表达；

p(Z_s)表示节点作为源节点Z_s的概率密度；

Z_t表示节点作为目标节点的表达；

p(Z_t)表示节点作为目标节点Z_t的概率密度；

其中，i,j,k,s分别为社交网络中的四个用户，四者之间的边关系为e_ij＝1，e_ik＝0，e_is＝-1，即i,j之间为正边，i,k之间无边，i,s之间为负边；

i,j,k,s关系如下：

j＞_ik表示i,j间的连接边关系大于i,k间的连接边关系；

k＞_is表示k,i间的连接边关系大于i,s间的连接边关系；

∝表示正相关于；

定义f(i,j)为用户i,j之间存在正边的得分函数，f(i,k)为用户i,k之间存在正边的得分函数，f(i,s)为用户i,s之间存在正边的得分函数，i,j,k,s四者之间满足下式关系：

f(i,j)＞f(i,k)＞f(i,s) (12)

θ₁，θ₂分别为对应参数；

函数f(i,j)＝Z_s,iZ_t,j，即由变量Z_s,i、变量Z_t,j的内积得到，变量Z_s,i为节点i作为源节点的向量表达，变量Z_t,j为节点j作为目标节点的向量表达；

p(j＞_ik|θ₁)和p(k＞_is|θ₂)分别由下式表示：

p(j＞_ik|θ₁)＝σ(f(i,j)-f(i,k)) (15)

p(k＞_is|θ₂)＝σ(f(i,k)-f(i,s)) (16)

其中σ为非线性激活sigmoid函数；参数θ₁和θ₂均服从高斯分布 I₁表示与参数θ₁维度对应的单位矩阵；I₂表示与参数θ₂维度对应的单位矩阵；λ₁表示参数θ₁的正则项系数；λ₂表示参数θ₂的正则项系数。

4.根据权利要求1所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，所述结构解码器步骤包括：

优化损失函数表达步骤：目标优化损失函数如下：

式中，θ_s是源节点变分解耦合编码器的参数，θ_t是目标节点变分解耦合编码器的参数；

设置超参α＝β＝1，λ₁＝λ₂＝0；

L_s源节节点解耦合编码器的KL散度表达式；

L_t目标节点解耦合编码器的KL散度表达式；

～表示变量服从何种分布；

i,j,k,s分别为社交网络中的四个用户，每个用户在社交网络中以节点表示；

Z_s,i表示节点i作为源节点的向量表达；

Z_t,j表示节点j作为目标节点的向量表达；

Z_t,k表示节点k作为目标节点的向量表达；

Z_t,s表示节点s作为目标节点的向量表达；

θ_s为源节点表达参数；

θ_t为目标节点表达参数；

Z_s表示源节点表达；

Z_t表示目标节点表达；

表示对参数θ₁的正则项；

表示对参数θ₂的正则项；

F表示节点特征输入的特征维度；

Z_s表示源节点表达；

Z_t表示目标节点表达；

表示源节点在正无向图中的向量表达；

表示源节点在负无向图中的向量表达；

表示拼接操作；

表示目标节点在正无向图中的表达的变分概率密度；

表示源节点在正无向图中的表达的变分概率密度；

表示源节点在负无向图中的表达的变分概率密度；

表示目标节点在负无向图中的表达的变分概率密度。

5.根据权利要求1所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，所述数据挖掘任务主要包括用户关系预测任务；

用户关系预测任务将优化后向量表达Z定义为其中表示拼接操作，利用现有用户的边的符号信息训练逻辑回归模型，得到已训练逻辑回归模型，所述逻辑回归模型基于优化后向量表达对用户间边的正负进行预测；对于Z_s、Z_t中的未知符号信息的节点x,y，将x,y对应的优化后向量表达分别从Z中抽取并利用已训练逻辑回归模型进行预测。

6.根据权利要求4所述的基于变分解耦合方式对符号有向网络的表达学习方法，其特征在于，所述数据挖掘任务主要包括用户推荐任务；

用户推荐任务对由逻辑回归模型训练的用户表达Z_s ¹、Z_t ¹，给定一个待推荐的用户i，从Z_s ¹抽取用户i的表达，将所述用户i的表达与Z_t ¹中的每一个用户做内积得出得分，按得分将Z_t ¹中的用户按从大到小排序，取前k个用户可推荐给用户i。