CN110347932A - 一种基于深度学习的跨网络用户对齐方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的跨网络用户对齐方法。本方法为：1)利用已知标签的用户对集合及用户对的结构信息训练深度学习框架；其中为已对齐的用户对，即社交网络G_A中第i个用户与社交网络G_B中第m个用户是同一用户；2)根据社交网络的结构信息分别从社交网络G_A、社交网络G_B中提取待对齐用户的结构信息以及并将其以用户对为单位输入训练后的深度学习框架，确定该用户对是否属于同一个真实人进行分类预测。本发明大大提高了跨网络用户对齐的准确性。

Description

一种基于深度学习的跨网络用户对齐方法

技术领域

本发明涉及一种基于深度学习的跨网络用户对齐方法，属于计算机软件技术领域。

背景技术

随着在线社交网络的普及，规模庞大的用户在社交网络中表达、交流和传播观点。产生海量高度多样化的社交信息。跨网络用户对齐这一问题就是利用这些信息对多网络的用户进行关联。围绕着虚拟的账号，每个网名在不同的社交网站有不同的主页信息，主页中包含用户的个人属性(用户名、年龄、星座、家乡等等)，用户产生的上下文内容(分享的新鲜事、发表的状态、签到的地点等等)，用户的好友信息(社交网络的结构信息)等。这些都构成了一个完整的虚拟个人形象及其行为。现有的跨网络用户对齐算法围绕用户的这些信息建立相应的监督、半监督以及无监督模型去解决跨网络用户对齐问题。

因社交网络的虚拟性，用户的好友信息相对于用户的个人属性以及用户产生的上下文信息更不容易伪造，更具真实性，更易获取。现有的基于用户的好友信息(社交网络的结构信息)的跨网络用户对齐的无监督算法通常将问题转换为NP-难的图对齐问题(参考Singh R,Xu J,Berger B.Pairwise global alignment of protein interactionnetworks by matching neighborhood topology[C]//Annual InternationalConference on Research in Computational Molecular Biology.Springer,Berlin,Heidelberg,2007:16-31；Klau G W.A new graph-based method for pairwise globalnetwork alignment[J].BMC bioinformatics,2009,10(1):S59.)，而目前相关的半监督、监督学习方法在标签数量足够时都能获得不错的效果，但是这些方法对标签信息的依赖度较高，当标签数量较低时无法获得较好的预测效果(参考Man T,Shen H,Liu S,etal.Predict Anchor Links across Social Networks via an Embedding Approach[C]//IJCAI.2016,16:1823-1829.)。

目前的跨网络用户对齐方法需要利用用户的属性及文本信息以及足够的标签信息，所以在使用中存在问题：

1.现有的方法大多数会利用用户的属性信息、上下文信息，而虚拟的社交网络中这类信息易伪造且不易获取。

2.在标签信息不足的情况下，现有的技术无法有效地解决跨网络用户对齐问题。

3.现有的方法没有关注跨网络用户对的联合表示信息。这导致模型不能获取跨网络用户对的隐式表示。

发明内容

本发明的目的在于提供一种基于深度学习的跨网络用户对齐方法。本方法重点在于利用社交网络的结构信息，对用户对进行联合表示，获取用户对的隐式信息，实现在已知标签数据稀疏的情况下，完成跨网络用户对齐的任务，提高跨网络用户对齐的准确性。

本发明利用深度学习将多个网络的结构信息同时嵌入到同一欧式空间中，以此完成跨网络用户对齐任务；利用参数共享的神经网络对用户对进行联合表示学习，获取跨网络用户对的隐式表示。

本发明的技术方案为：

一种基于深度学习的跨网络用户对齐方法，其步骤包括：

1)利用已知标签的用户对集合及用户对的结构信息训练深度学习框架；其中为已对齐的用户对，即社交网络G_A中第i个用户与社交网络G_B中第m个用户是同一用户；

2)根据社交网络的结构信息分别从社交网络G_A、社交网络G_B中提取待对齐用户的结构信息以及并将其以用户对为单位输入训练后的深度学习框架，确定该用户对是否属于同一个真实人进行分类预测。

进一步的，参数共享的卷积网络和反卷积网络构成所述深度学习框架。

进一步的，所述深度学习框架包括一对自编码器，每个自编码器包括依次连接的编码器和解码器，依次连接的若干卷积层和一全连接层构成编码器，依次连接的一层全连接层和若干反卷积层构成解码器；其中反卷积层的层数与卷积层的层数一致，且两自编码器的卷积层之间共享参数、两自编码器的反卷积层之间共享参数；第一自编码器对用户对中社交网络G_A中的用户特征进行处理，第二自编码器对用户对中社交网络G_B中的用户特征进行处理，设表示用户对中用户的输入特征，则第l层卷积层的输出特征为： 再经过全连接层之后得到用户的低维表示 通过对应的解码器得到关于输入特征的重构的表示其中，Conv(·)是卷积操作，f(·)是非线性激活函数，W^(l)是第l层卷积的权重即卷积核，b^l是第l层卷积的偏置，是全连接层。

进一步的，卷积层的共享参数包括卷积的权重和偏置，反卷积层的共享参数包括反卷积的权重和偏置。

进一步的，训练深度学习框架过程中的损失函数为L＝L_single+λ₁L_cross+λ₂L_c+λ₃L_reg；其中，重构误差其中为输入特征的重构表示，为输入特征的重构的表示；跨网络用户对的相似度度量损失 其中S(·)为相似度度量函数，L⁺为已知标签的集合L中的正样本，L^-为已知标签的集合L中的负样本，∈是超参数；其中是跨网络用户对的真实标签，c为预测标签；λ₁,λ₂,λ₃是超参数。

进一步的，所述结构信息由多个s步的重启随机游走向量p^(i,s)加和构成，向量p^(i,s)的每个元素表示经过s步的重启随机游走后待对齐用户转移到社交网络G_A中每个用户的概率；所述结构信息由多个s步的重启随机游走向量p^(i,s)加和构成，向量p^(i,s)的每个元素表示经过s步的重启随机游走后待对齐用户转移到社交网络G_B中每个用户的概率。

进一步的，p^(i,s)＝(1-c)·p^(i,s-1)D_A+c·p^(i,0)；其中D_A表示社交网络G_A的正则化的权重矩阵，c∈(0,1)是在每一步转移时回到初始节点的概率，p^(i,0)的第i个元素为1，其它元素都为0是初始向量表示。

一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述任一所述方法中各步骤的指令。

一种计算机可读存储介质，其特征在于，存储一计算机程序，所述计算机程序包括用于执行上述任一所述方法中各步骤的指令。

与现有技术相比，本发明的积极效果为：

本发明仅利用用户产生的社交网络结构信息，在标签信息稀疏的情况下依旧能够有效地解决跨网络用户对齐任务，提高跨网络用户对齐的准确性。

附图说明

图1是基于深度学习的跨网络用户对齐解决方法流程图；

图2是不同的锚用户比率下所有方法效果对比图；

(a)与所有对比方法的精确率(Precision)@30对比，(b)与所有对比方法的MAP@30对比。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明。

本发明利用参数共享的卷积网络实现多网络的联合表示学习，获取跨网络用户对的隐式表示，以此提出一种跨网络用户对齐的方法。

给定：1)两个社交网络G_A＝(V_A,E_A)和G_B＝(V_B,E_B)，其中V_A表示社交网络G_A中虚拟用户集，V_B表示社交网络G_B中虚拟用户集，E_A表示社交网络G_A社交关系集合，E_B表示社交网络G_B社交关系集合；2)已知标签的用户对集合其中，社交网络G_A中第i个用户与社交网络G_B中第m个用户是同一用户，即为已对齐的用户对。跨网络用户对齐任务需要判断虚拟跨网络用户对是否属于同一个真实人(也称为锚用户)。如图1所示，本发明解决跨网络用户对齐问题的方案是：首先根据社交网络的结构信息提取用户的结构信息以及将结构信息以用户对为单位输入由参数共享的卷积网络和反卷积网络构成的深度学习框架得到用户的隐式表示和以及用户对的表示v(i,m)，进而对用户对是否属于同一个真实人做分类预测。

基于深度学习的跨网络用户对齐方法详细介绍

1.参数共享的深度学习框架

本方法中参数共享的深度学习框架由一对自编码器构成，每个自编码器都由多层卷积层一层全连接层作为编码器，而每个解码器都由一层全连接层和多层反卷积层构成。其中反卷积层数和卷积层数一致且每层卷积层和反卷积层都和对应的卷积层和反卷积层共享参数，卷积层的共享参数包括卷积的权重(卷积核)和偏置，反卷积层的共享参数包括反卷积的权重(卷积核)和偏置。以提取网络G_A用户特征的编码器为例，用表示用户的输入特征，则第l层卷积的输出特征可以表示为：

其中l＝1,2…,k是卷积层标识，Conv(·)是卷积操作，f(·)是非线性激活函数Sigmoid函数，W^(l)是第l层卷积的权重即卷积核，b^l是第l层卷积的偏置。再经过一层全连接之后就能得到用户的低维表示数学表示为：

其中是全连接层，全连接层的权重和偏置参数集合θ^A＝{W_A,b_A}。通过对应的解码器得到关于输入的重构的表示W_A,b_A以及网络G_B中全连接参数W_B,b_B都是神经网络的参数，具体更新是根据损失计算梯度反向传播。

提取社交网络G_A用户特征的解码器结构是一层全连接层后接多层反卷积层构成，其中反卷积层的层数和编码器的卷积层数一致。通过解码器操作得到输入特征的重构表示

提取网络G_B用户特征的自编码器通过全连接参数θ^B＝{W_B,b_B}以及共享的卷积参数也能够获得用户的低维向量表示和重构表示

2.社交网络用户的结构特征提取

以社交网络G_A中用户为例，其结构特征由多个s步的重启随机游走向量p^(i,s)加和构成(参考Tong H,Faloutsos C,Pan J Y.Fast random walk with restart and itsapplications[C]//Sixth International Conference on Data Mining(ICDM'06).IEEE,2006:613-622.)。其中，向量p^(i,s)的每个元素表示经过s步的重启随机游走后节点转移到网络G_A中每个节点的概率。具体的，可根据如下公式计算：

p^(i,s)＝(1-c)·p^(i,s-1)D_A+c·p^(i,0) (3)

公式(3)中，D_A表示网络G_A的正则化的权重矩阵，c∈(0,1)是在每一步转移时回到初始节点的概率，p^(i,0)的第i个元素为1，其它元素都为0是初始的向量表示。假设一共需要S次的s步的重启随机游走，节点的节点特征可可计算为：

利用同样的计算过程，可得到网络G_B中节点的结构特征提取出的特征和将作为输入参数共享的深度学习框架以获取单个用户以及跨网络用户对的低维向量表示。

3.跨网络用户对的表示

在跨网络用户对的表示过程中，保留单个社交网络结构信息的同时需要学习到跨网络的结构信息。为保留单个网络结构信息，在对单个用户进行表示学习的过程中加入重构误差L_single，数学描述为：

其中和是对应输入特征和的重构表示。

假设对应于同一个真实人的跨网络用户对在低纬向量空间中的表示更相似，而不属于同一个真实人的跨网络用户对在低纬向量空间中的表示更不相似。学习跨网络用户对低维向量表示相似度信息的过程可以通过最小化跨网络用户对的相似度损失完成，其中，跨网络用户对的相似度度量损失L_cross的数学描述为：

其中S(·)为相似度度量函数，这里定义为余弦相似度，表示已知标签的集合L中的正样本，即属于同一个真实人的跨网络用户对，表示负样本，∈是超参数，当小于∈时认为用户对不属于同一个人。

在保留单个用户社交信息以及捕获跨网络社交相似度之后，跨网络用户对的低纬向量表示可以数学描述为：其中concat(·)表示向量拼接。

4.跨网络用户对的分类预测

假设当跨网络用户对对应一个真实人时，用户对的标签c＝1，否则，c＝0。为对跨网络用户对进行分类，本发明构造了如下分类器：

其中h_θ(·)是全连接层，全连接层的权重W和偏置b参数集合θ＝{W,b}，训练分类器需要最小化损失：

其中是跨网络用户对的真实标签。

5.方法总结

综合上述跨网络用户对齐方法的流程，方法可总结为优化以下损失函数：

L＝L_single+λ₁L_cross+λ₂L_c+λ₃L_reg (9)

其中，是L-2正则项，为防止模型过拟合。λ₁,λ₂,λ₃是模型超参数用以平衡不同部分损失。通过优化公式(9)描述的总体损失能够学习到跨网络用户对的低维向量表示，并对其进行分类预测。

算法效果比较

1.实验数据

本实验所用的数据集Twitter、Foursquare均为社交网络，所有的对应于同一个真实人的跨网络用户对(锚用户)均为已知，数据集的详细信息如表1所示。

在训练过程中，本发明利用下采样方法(参考Japkowicz N,Stephen S.The classimbalance problem:A systematic study[J].Intelligent data analysis,2002,6(5):429-449)获取负样本去平衡训练集的正负样本比率，本发明的实验中正负样本比率为2:1。

表1.数据集Twitter和Foursquare的详细信息

2.对比方法

为了全面地验证本发明的实验效果，本发明将在同样只使用社交网络中用户社交结构信息的情况下，分别与方法DW(参考Perozzi B,Al-Rfou R,Skiena S.Deepwalk:Online learning of social representations[C]//Proceedings of the 20th ACMSIGKDD international conference on Knowledge discovery and data mining.ACM,2014:701-710)、PALE(参考Man T,Shen H,Liu S,et al.Predict Anchor Links acrossSocial Networks via an Embedding Approach[C]//IJCAI.2016,16:1823-1829)、IONE(参考Liu L,Cheung W K,Li X,et al.Aligning Users across Social Networks UsingNetwork Embedding[C]//IJCAI.2016:1774-1780.)三种用户对齐方法进行比较，上述三种方法分别为无监督、半监督以及监督学习方法。方法DW首先对两个网络的用户分别学习其结构表示然后再计算用户对的cosine相似度以判断其是否属于同一个真实人。方法PALE首先根据已知的锚用户对两个网络进行扩充，然后在此基础上分别进行单网络的用户结构表示学习以及跨网络的用户对分类。方法IONE学习对齐的跨网络用户表示然后计算用户对的cosine相似度预测跨网络用户对的标签。

3.评价指标

本实验的评价指标采用Precision@N、MAP@N，指标的具体计算数学描述如下：

其中T是测试集的锚用户数量，跨网络用户对(v_s,v_t)分别来自两个社交网络。本发明中N＝30。

4.结果分析

在实验中，将所有已知的锚用户按照比率{0.1,0.15,0.2,…,0.9}采样用于训练。所有方法下，用户低维表示的向量维度均设置为56，实验结果如图2所示。从图2中可以明显地观察到本发明提出的方法AUP在所有锚用户比率下，指标Precision@30和MAP@30都优于其他方法。特别当已知锚用户数量较低时，本发明的方法也能够获得非常好的效果，如锚用户比率为0.2时，AUP方法下的Precision@30和MAP@30分别为59.5％和51.1％远远优于其他方法。而当锚用户比率到达0.5时，AUP分别能获得95.2％和93.1％的Precision@30和MAP@30，但是其它方法中效果最好的IONE也只能获得48.2％和19.0％的Precision@30和MAP@30。

实验结果证明了本发明的方法AUP在跨网络用户对齐任务上的有效性。相对去利用标签信息去扩展网络或者去学习对齐的用户表示而言，利用跨网络的结构信息学习跨网络用户对的低维向量表示能更加有效地解决跨网路用户对齐问题。

尽管为说明目的公开了本发明的具体内容、实施算法以及附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书最佳实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种基于深度学习的跨网络用户对齐方法，其步骤包括：

1)利用已知标签的用户对集合及用户对的结构信息训练深度学习框架；其中为已对齐的用户对，即社交网络G_A中第i个用户与社交网络G_B中第m个用户是同一用户；

2)根据社交网络的结构信息分别从社交网络G_A、社交网络G_B中提取待对齐用户的结构信息以及并将其以用户对为单位输入训练后的深度学习框架，确定该用户对是否属于同一个真实人进行分类预测。

2.如权利要求1所述的方法，其特征在于，参数共享的卷积网络和反卷积网络构成所述深度学习框架。

3.如权利要求1或2所述的方法，其特征在于，所述深度学习框架包括一对自编码器，每个自编码器包括依次连接的编码器和解码器，依次连接的若干卷积层和一全连接层构成编码器，依次连接的一层全连接层和若干反卷积层构成解码器；其中反卷积层的层数与卷积层的层数一致，且两自编码器的卷积层之间共享参数、两自编码器的反卷积层之间共享参数；第一自编码器对用户对中社交网络G_A中的用户特征进行处理，第二自编码器对用户对中社交网络G_B中的用户特征进行处理，设表示用户对中用户的输入特征，则第l层卷积层的输出特征为：再经过全连接层之后得到用户的低维表示 通过对应的解码器得到关于输入特征的重构的表示其中，Conv(·)是卷积操作，f(·)是非线性激活函数，W^(l)是第l层卷积的权重即卷积核，b^l是第l层卷积的偏置，h_θA(·)是全连接层。

4.如权利要求3所述的方法，其特征在于，卷积层的共享参数包括卷积的权重和偏置，反卷积层的共享参数包括反卷积的权重和偏置。

5.如权利要求3所述的方法，其特征在于，训练深度学习框架过程中的损失函数为L＝L_single+λ₁L_cross+λ₂L_c+λ₃L_reg；其中，重构误差 其中为输入特征的重构表示，为输入特征的重构的表示；跨网络用户对的相似度度量损失 其中S(·)为相似度度量函数，L⁺为已知标签的集合L中的正样本，L^-为已知标签的集合L中的负样本，∈是超参数；其中是跨网络用户对的真实标签，c为预测标签；λ₁，λ₂，λ₃是超参数。

6.如权利要求1所述的方法，其特征在于，所述结构信息由多个s步的重启随机游走向量p^(i，s)加和构成，向量p^(i，s)的每个元素表示经过s步的重启随机游走后待对齐用户转移到社交网络G_A中每个用户的概率；所述结构信息由多个s步的重启随机游走向量p^(i，s)加和构成，向量p^(i，s)的每个元素表示经过s步的重启随机游走后待对齐用户转移到社交网络G_B中每个用户的概率。

7.如权利要求6所述的方法，其特征在于，p^(i，s)＝(1-c)·p^(i，s-1)D_A+c·p^(i，0)；其中D_A表示社交网络G_A的正则化的权重矩阵，c∈(0，1)是在每一步转移时回到初始节点的概率，p^(i，0)的第i个元素为1，其它元素都为0是初始向量表示。

8.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至7任一所述方法中各步骤的指令。

9.一种计算机可读存储介质，其特征在于，存储一计算机程序，所述计算机程序包括用于执行权利要求1至7任一所述方法中各步骤的指令。