CN111859454B - 防御基于图神经网络链路预测的隐私保护方法 - Google Patents

Abstract

本发明公开一种防御基于图神经网络链路预测的隐私保护方法，首先划分敏感链接的闭合子图作为扰动范围，然后分别计算闭合子图中每个链接的集成梯度，衡量修改闭合子图中每个链接对敏感链接的损失函数的影响，之后按照集成梯度的绝对值从大到小排序，确定扰动链接的顺序；然后按照扰动顺序，根据当前扰动链接对象的梯度符号和对应邻接矩阵值进行修改链接，同时每扰动一次就比较敏感链接在扰动图中的预测值和在原图中的真实值，当敏感链接在扰动图中的预测值和原图中的真实值不同时结束扰动。本发明所生成的发布图具有通用性，并能够保护社交网络中的敏感链接。

Description

防御基于图神经网络链路预测的隐私保护方法

技术领域

本发明涉及社交网络技术领域，具体涉及一种防御基于图神经网络链路预测的隐私保护方法。

背景技术

作为连接网络科学与信息科学的重要桥梁之一，链接预测处理的是信息科学中最基本的问题——缺失信息的还原与预测。该问题从已观察到的网络结构入手，预测存在但未被观察到，或者未来可能会出现的链路。链路预测有着广泛的应用场景。例如，对社交网络中的朋友推荐，电子商务网站上的商品推荐。目前，链路预测算法主要分为基于相似性和机器学习的链路预测。基于相似度的链路预测方法是最流行的链路预测方法之一，根据计算相似性分数所需的邻居的最大跳数进行分类，它假定两个节点越相似，它们越有可能产生联系。基于机器学习的链路预测方法又分为传统机器学习方法和深度学习方法。基于传统机器学习利用支持向量机等机器学习方法进行链路预测。近年来，随着深度学习模型的发展，嵌入模型已经实现了在许多网络任务中具有显著的性能。受语言模型word2vec的发展的启发，一些无监督的网络嵌入方法，如DeepWalk、LINE和node2vec等取得了巨大的成功，这些模型所学到的嵌入可以直接应用于链路预测。最近有人提出一种基于图神经网络的链路预测方法，其采用DGCNN(深度图卷积神经网络)模型，不考虑特定的链路形成机制(如公共邻居)，通过对闭合子图的分类来预测敏感链接是否存在，提高了基于相似性的预测链接的准确度和通用性，准确率明显高于之前的基于深度学习的链路预测方法。但是链路预测算法也可能增加链接隐私泄露的风险，即使数据所有者在发布网络数据集中删除了敏感链接，链接预测方法仍然可以预测出敏感链接，从而导致隐私泄露。

发明内容

本发明所要解决的是现有链路预测方法预测出敏感链接导致隐私泄露的问题，提供一种防御基于图神经网络链路预测的隐私保护方法。

为解决上述问题，本发明是通过以下技术方案实现的：

防御基于图神经网络链路预测的隐私保护方法，包括步骤如下：

步骤1、将社交网络的原图的指定的敏感链接的节点对的直接和间接邻居节点以及它们之间的链接构成的闭合子图，并将闭合子图中所有的链接作为扰动链接集合；

步骤2、构造敏感链接的交叉熵损失函数，并据此计算扰动链接集合中除敏感链接外的所有链接的集成梯度；

步骤3、根据集成梯度对扰动链接集合中除敏感链接外的所有链接进行从大到小的排序；

步骤4、按照集成梯度的绝对值从大到小的顺序，对社交网络的原图进行迭代扰动，在每一次迭代扰动过程中：

如果当前最大集成梯度小于0，且当前最大集成梯度所对应的链接在当前迭代扰动前的社交网络图中存在，则从当前迭代扰动前的社交网络图中删除当前最大集成梯度所对应的链接，得到当前迭代扰动后的社交网络图，同时将当前最大集成梯度置0；

如果当前最大集成梯度大于0，且当前最大集成梯度所对应的链接在当前迭代扰动前的社交网络图中不存在，则在当前迭代扰动前的社交网络图中增加当前最大集成梯度所对应的链接，得到当前迭代扰动后的社交网络图，同时将当前最大集成梯度置0；

步骤5、在每一次迭代扰动后，将所得到的当前迭代扰动后的社交网络图的邻接矩阵输入到深度图卷积神经网络模型中，得到敏感链接在扰动图中的预测值；

步骤6、判断敏感链接在扰动图中的预测值和敏感链接在原图中的真实值是否相同：

若相同，则返回步骤4继续进行下一次迭代扰动；

若不同，则结束扰动，当前迭代扰动后的社交网络图即为保护敏感链接的发布图。

上述步骤2中，敏感链接(i’,j’)的交叉熵损失函数如下：

其中：A_i’j’为原图的邻接矩阵A中敏感链接(i’,j’)的邻接矩阵值即敏感链接(i’,j’)在原图中的真实值；A^h为敏感链接(i’,j’)的闭合子图的邻接矩阵，Y_i’j’(A^h)为将邻接矩阵A^h输入到深度图卷积神经网络模型得到敏感链接(i’,j’)在原图中的预测值。

上述步骤2中，链接(i,j)的集成梯度IG(i,j)为：

其中：A_i’j’为原图的邻接矩阵A中敏感链接(i’,j’)的邻接矩阵值即敏感链接(i’,j’)在原图中的真实值；为将敏感链接(i’,j’)的闭合子图的邻接矩阵A^h中链接(i,j)的邻接矩阵值/>缩放/>倍所得到的邻接矩阵，m为集成梯度的步数，k为缩放系数；/>为将邻接矩阵/>输入到深度图卷积神经网络模型得到敏感链接(i’,j’)在原图中的预测值；A_ij为原图的邻接矩阵A中链接(i,j)的邻接矩阵值即链接(i,j)在原图中的真实值。

与现有技术相比，本发明提出一种防御基于图神经网络链路预测的隐私保护方法：首先划分敏感链接的闭合子图作为扰动范围，然后分别计算闭合子图中每个链接的集成梯度，衡量修改闭合子图中每个链接对敏感链接的损失函数的影响，之后按照集成梯度的绝对值从大到小排序，确定扰动链接的顺序；然后按照扰动顺序，根据当前扰动链接对象的梯度符号和对应邻接矩阵值进行修改链接，同时每扰动一次就比较敏感链接在扰动图中的预测值和在原图中的真实值，当敏感链接在扰动图中的预测值和原图中的真实值不同时结束扰动。本发明所生成的发布图具有通用性，并能够保护社交网络中的敏感链接。

附图说明

图1为防御基于图神经网络链路预测的隐私保护方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

本发明假设数据发布者对DGCNN模型有的充分的了解，针对DGCNN模型提出一种对抗攻击方法生成发布图，保护敏感链接不被DGCNN模型预测出来。

DGCNN模型介绍如下：

1、DGCNN模型的图卷积层

(1)通过图卷积用连续WL颜色提取闭合子图G^h中的节点子结构特征，用WL颜色表示节点子结构特征，不同WL颜色代表不同特征。

图卷积层：

其中：A^h＝A+I为闭合子图的邻接矩阵，I是单位矩阵，是A^h的对角度矩阵，W是图卷积参数矩阵，f是非线性激活函数，Z是输出激活矩阵。

(2)为了提取多尺度子结构特征，用三个图卷积层迭代提取特征：

其中：Z⁰＝X，Z^t是第t个图卷积层的输出。

(3)添加第四个图卷积层来连接之前的每个图卷积层的输出Z^t(t＝1，2，...，h)，其中h为图卷积层个数，从所有迭代中连接WL颜色，水平连接起来形成一个级联输出Z^1：h，每一行都可以看作是节点的“特征描述符”，编码节点的多尺度局部子结构信息。

2、Softmax输出层

进行闭合子图的二分类，得到链接存在和不存在的概率。

softmax函数如下：

其中：z_i为第i个神经网络输出层的节点的输出值，i∈{1，2}，通过Softmax函数可以将二分类的输出值归一化，转换为范围在[0，1]并且和为1的概率分布[p1，p2]。

(2)softmax的交叉熵损失函数

其中：ω是加权交叉熵的权重。因为在现实世界的网络中，不存在的链接通常比现有的链接多得多，换句话说，负样本比正样本多得多。首先，我们选择这里的加权交叉熵作为我们的损失函数，以防止对负样本的过度拟合。A_ij代表邻接矩阵真实值，P_ij代表DGCNN模型对节点对(i,j)的预测值。

参见图1，一种防御基于图神经网络链路预测的隐私保护方法，其具体包括如下步骤：

步骤1：将社交网络的原图G的某一个指定的敏感链接(i’,j’)的节点对i’和j’的直接和间接邻居节点以及它们之间的链接构成的闭合子图作为扰动范围，将闭合子图中所有的链接作为扰动链接集合。

社交网络的原图G中的链接分为存在链接和不存在链接，而存在链接又分为敏感链接和非敏感链接。敏感链接是指会泄露隐私的链接，是本发明所要保护的对象，敏感链接需要提前确定，关于确定敏感链接不在本发明的范围之内。而非敏感链接是可以直接发布不需要保护的链接。

要保护敏感链接，就需要对原图进行扰动，扰动之前需要确定扰动范围。本发明将指定的敏感链接(i’,j’)节点对的直接和间接邻居节点以及它们(即敏感链接的2个节点i’和j’，节点i’的直接和间接邻居节点、节点j’的直接和间接邻居节点)之间的链接构成的闭合子图G^h作为扰动范围，将闭合子图G^h中所有的链接作为扰动链接集合，可以修改闭合子图中任意的链接。

在本发明中，社交网络的原图G的邻接矩阵表示为A，A_ij为原图的邻接矩阵A中链接(i,j)的邻接矩阵值，代表链接(i,j)在原图中是否存在，A_ij∈{0,1}，0代表不存在，1代表存在。敏感链接(i’,j’)的闭合子图的邻接矩阵表示A^h，为原图的邻接矩阵A中链接(i,j)的邻接矩阵值，代表链接(i,j)在原图中是否存在，/>0代表不存在，1代表存在。

步骤2：构造敏感链接的交叉熵损失函数。

DGCNN模型的损失函数考虑到A中的所有链接，而隐私保护只需要考虑一个敏感链接，所以需要构造敏感链接的交叉熵损失函数表示DGCNN模型对敏感链接存在的预测概率与敏感链接的真实标签的误差，交叉熵损失函数越大，说明DGCNN模型预测的越不准确。本发明保护敏感链接，就要最大化敏感链接的交叉熵损失函数，则敏感链接(i’,j’)的交叉熵损失函数/>如下：

其中：A_i’j’为原图的邻接矩阵A中敏感链接(i’,j’)的邻接矩阵值即敏感链接(i’,j’)在原图中的真实值，A_i’j’∈{0,1}，0代表敏感链接(i’,j’)在原图中真实不存在，1代表敏感链接(i’,j’)在原图中真实存在；A^h为敏感链接(i’,j’)的闭合子图的邻接矩阵，Y_i’j’(A^h)为将邻接矩阵A^h输入到深度图卷积神经网络模型得到敏感链接(i’,j’)在原图中的预测值；Y_i’j’(A^h)∈{0,1}，其中0代表敏感链接(i’,j’)在原图中预测不存在，1代表敏感链接(i’,j’)在原图中预测存在。

步骤3：计算扰动链接集合中除敏感链接(i’,j’)外的所有链接(i,j)的集成梯度。

集成梯度用于衡量修改闭合子图中特定链接对敏感链接的损失函数的影响。闭合子图中某个链接的集成梯度越大，说明这个链接对敏感链接的损失函数的影响越大。链接(i,j)的集成梯度IG(i,j)为：

其中：为敏感链接(i’,j’)的交叉熵损失函数；A_i’j’为原图的邻接矩阵A中敏感链接(i’,j’)的邻接矩阵值即敏感链接(i’,j’)在原图中的真实值，A_i’j’∈{0,1}，0代表敏感链接(i’,j’)在原图中真实不存在，1代表敏感链接(i’,j’)在原图中真实存在；/>为将敏感链接(i’,j’)的闭合子图的邻接矩阵A^h中链接(i,j)的邻接矩阵值/>缩放/>倍所得到的邻接矩阵，m为集成梯度的步数，k为缩放系数；/>为将邻接矩阵输入到深度图卷积神经网络模型得到敏感链接(i’,j’)在原图中的预测值；其中0代表敏感链接(i’,j’)在原图中预测不存在，1代表敏感链接(i’,j’)在原图中预测存在；A_ij为原图的邻接矩阵A中链接(i,j)的邻接矩阵值，A_ij∈{0,1}，0代表链接(i,j)在原图中真实不存在，1代表链接(i,j)在原图中真实存在。

步骤4：根据集成梯度对敏感链接的闭合子图中除敏感链接外的链接进行从大到小排序。

步骤5：因为集成梯度有正负，所以按照集成梯度的绝对值从大到小排序，对社交网络的原图进行迭代扰动，在每一次迭代扰动过程中：

如果当前最大集成梯度小于0即IG(i,j)_max＜0，且当前最大集成梯度所对应的链接(i,j)_max在当前迭代扰动前的社交网络图存在，则从当前迭代扰动前的社交网络图中删除当前最大集成梯度所对应的链接(i,j)_max，得到当前迭代扰动后的社交网络图，同时将当前最大集成梯度置0；

如果当前最大集成梯度大于0即IG(i,j)_max＞0，且当前最大集成梯度所对应的链接(i,j)_max在当前迭代扰动前的社交网络图不存在，则在当前迭代扰动前的社交网络图中增加当前最大集成梯度所对应的链接(i,j)_max，得到当前迭代扰动后的社交网络图，同时将当前最大集成梯度置0；

在第一次迭代时，当前迭代扰动前的社交网络图为社交网络的原图，第二次迭代开始，当前迭代扰动前的社交网络图为上一次迭代所得到的社交网络的扰动图。

步骤6、在每一次迭代扰动后，将所得到的当前迭代扰动后的社交网络图的邻接矩阵输入到深度图卷积神经网络模型中，得到敏感链接(i’,j’)在扰动图中的预测值。

在本发明中，敏感链接(i’,j’)的预测值为0或1，其中0代表预测敏感链接(i’,j’)在其所对应的图中不存在，1代表预测敏感链接(i’,j’)在其所对应的图中存在。

步骤7、判断敏感链接在扰动图中的预测值和敏感链接在原图中的真实值是否相同：

若两者相同，则返回步骤5继续进行下一次迭代扰动；

若两者不同，则结束扰动，当前迭代扰动后的社交网络图即为保护敏感链接的发布图。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (1)

1.防御基于图神经网络链路预测的隐私保护方法，其特征是，包括步骤如下：

步骤1、将社交网络的原图的指定的敏感链接的节点对的直接和间接邻居节点以及它们之间的链接构成的闭合子图，并将闭合子图中所有的链接作为扰动链接集合；

步骤2、构造敏感链接的交叉熵损失函数，并据此计算扰动链接集合中除敏感链接外的所有链接的集成梯度；

敏感链接(i’,j’)的交叉熵损失函数为：

链接(i,j)的集成梯度IG(i,j)为：

其中：A_ij为原图的邻接矩阵A中链接(i,j)的邻接矩阵值即链接(i,j)在原图中的真实值，A_i’j’为原图的邻接矩阵A中敏感链接(i’,j’)的邻接矩阵值即敏感链接(i’,j’)在原图中的真实值，A^h为敏感链接(i’,j’)的闭合子图的邻接矩阵，Y_i’j’(A^h)为将邻接矩阵A^h输入到深度图卷积神经网络模型得到敏感链接(i’,j’)在原图中的预测值，为将敏感链接(i’,j’)的闭合子图的邻接矩阵A^h中链接(i,j)的邻接矩阵值/>缩放/>倍所得到的邻接矩阵，/>为将邻接矩阵/>输入到深度图卷积神经网络模型得到敏感链接(i’,j’)在原图中的预测值，m为集成梯度的步数，k为缩放系数；

步骤3、根据集成梯度对扰动链接集合中除敏感链接外的所有链接进行从大到小的排序；

步骤4、按照集成梯度的绝对值从大到小的顺序，对社交网络的原图进行迭代扰动，在每一次迭代扰动过程中：

如果当前最大集成梯度小于0，且当前最大集成梯度所对应的链接在当前迭代扰动前的社交网络图中存在，则从当前迭代扰动前的社交网络图中删除当前最大集成梯度所对应的链接，得到当前迭代扰动后的社交网络图，同时将当前最大集成梯度置0；

如果当前最大集成梯度大于0，且当前最大集成梯度所对应的链接在当前迭代扰动前的社交网络图中不存在，则在当前迭代扰动前的社交网络图中增加当前最大集成梯度所对应的链接，得到当前迭代扰动后的社交网络图，同时将当前最大集成梯度置0；

步骤5、在每一次迭代扰动后，将所得到的当前迭代扰动后的社交网络图的邻接矩阵输入到深度图卷积神经网络模型中，得到敏感链接在扰动图中的预测值；

步骤6、判断敏感链接在扰动图中的预测值和敏感链接在原图中的真实值是否相同：

若相同，则返回步骤4继续进行下一次迭代扰动；

若不同，则结束扰动，当前迭代扰动后的社交网络图即为保护敏感链接的发布图。