CN115146312A - 基于异构图神经网络隐私保护的社会影响预测方法和系统 - Google Patents

Abstract

本发明公开了一种基于异构图神经网络隐私保护的社会影响预测方法，包括如下步骤：步骤一：定义异构图中代表语义信息的元路径，根据元路径游走将异构图上的多关联信息规约生成到同构图中；步骤二：基于差分隐私引入注意力敏感度以生成高斯噪声，将噪声同节点学习结果聚合到节点嵌入中；步骤三：将受保护的节点特征与原始图结构一起用于异构图的结构隐私保护学习，为每个类型的边生成关系子图；步骤四：扰动图拓扑学习的梯度，切割边界设置为梯度均值；步骤五：利用双层优化机制分配隐私保护力度，以保障社会影响预测的效果；步骤六：重新构建图拓扑结构，输出重构的图。这种方法能够在异构图神经网络中保护用户隐私并获得较好的模型性能。

Description

基于异构图神经网络隐私保护的社会影响预测方法和系统

技术领域

本发明涉及深度学习以及隐私保护领域，具体是一种基于异构图神经网络隐私保护的社会影响预测方法和系统。

背景技术

社交网络(Social Network)作为最贴近人们生活的网络之一，推荐系统常常根据社交网络中的用户的依赖关系来预测用户的行为以及推测用户的潜在倾向。异构信息网络(Heterogeneous Information Network，简称HIN)是一种特殊的信息网络，这样的图上存在多种类型的节点和多种类型的关系，正是由于其富含了各类信息，因此被广泛的应用于推荐系统中。为了适应HIN的非欧数据，许多工作利用了高阶节点信息和语义信息来提升异构图学习性能。然而，高效的学习在提升推荐效果的同时也带来额外的隐私泄露风险。

图神经网络作为一种流行且强大的图表示模型被广泛使用，人们在得益于推荐便利的同时，也面临行为数据被记录、被学习，甚至被泄露的风险。这表现在社会影响预测中，系统注重于提升图的表示能力而忽略了对敏感图数据的保护，使得恶意用户从中获取用户的身份证号、手机号、家庭地址等敏感信息。

近年来，差分隐私(Differential Privacy，简称DP)保护是机器学习隐私保护技术中的支柱，拥有严格的数学证明。例如同构图中只要向用户节点添加满足差分隐私要求的噪声，保护用户及其相关联用户依赖关系，那么无论攻击者拥有多少先验知识都无法重构原始数据集，亦无法通过社会影响力来预测邻居信息。在异构神经网络中，保护方法需要接纳数据的异质性，否则恶意用户仍可以通过用户之外的其他类型节点或拓扑关系获得信息增益，推断各类节点间的依赖程度，从而得到节点间的影响关系。因此，需要一种新的异构图神经网络隐私保护机制，来保护敏感信息的同时最大化社会影响预测。

发明内容

本发明的目的主要针对异构图神经网络中，现有的隐私保护方法难以适应并保护异构图数据隐私，甚至保护能力失效，防止攻击者通过多类型节点和关系、异构网络拓扑来预测用户敏感信息，而提供一种基于异构图神经网络隐私保护的社会影响预测方法和系统。这种方法能够在异构图神经网络中保护用户隐私并获得较好的模型性能。

实现本发明目的的技术方案是：

一种基于异构图神经网络隐私保护的社会影响预测方法，包括如下步骤：

步骤一：定义异构图中代表语义信息的元路径，根据元路径游走将异构图上的多关联信息规约生成到同构图中，学习节点邻居和语义关系图的注意力系数：

在社交网络中，为了捕获异构图G＝(V，E，φ，ψ)上的语义信息，节点序列将根据头尾节点类型相同的元路径m完全游走，只要节点在服从元路径的同时有边，则将头尾节点视为有关联性，G中V为节点集，每个节点v∈V属于节点类型集合A；E为边集，每条边e∈E属于边类型集合R；φ(v)：V→A是节点的关系映射函数，表示节点与节点类型的对应，ψ(e)：E→R是边的关系映射函数，表示边与边类型的对应，G的节点类型a_i∈A(i＝1,2，...，N)和边类型r_i∈R(i＝1,2，...，N)构成的序列称为元路径

其中a_i＝φ(v_i)，r_i＝ψ(e_i)＝ψ(<v_i，v_i+1>)；

节点和语义的多方面注意力学习具体为：

首先，各类型节点特征向量映射到统一的空间后，第l层的向量表示为：

其次，在同构图上利用注意力机制Multi-Head(x，y，m)学习用户类型节点间各节点及其邻居的依赖程度，其中每个head_i(i＝1,2，...，8)分别关注不同方面的信息，经过聚合各方面学习到在元路径m上关于节点x和节点y之间的权重W_(uv；m)，最后并将注意力系数量化得到注意力得分：

为了让节点学习能注意到更多方面的信息，K头注意力信息拼接作为在节点注意力的向量表示以减少信息损失，获得K头注意力系数和节点在第l+1层的表征：

最后，拼接M个语义关系图上学习到的节点表示：

通过多层感知机，即MLP计算子图的向量表示作为语义注意力，并归一化：

步骤二：基于差分隐私引入注意力敏感度以生成高斯噪声，将噪声同节点学习结果聚合到节点嵌入中以保护节点特征：

基于差分隐私的定义，两个邻居数据集D和D′只相差一条记录，任意一个查询函数

对于查询该记录的注意力敏感度为：

在定义的噪声生成方式中，特征融合了邻居和语义的影响力，Gaussian噪声满足(∈_f,δ)-DP加入到特征学习中为：

步骤三：将受保护的节点特征与原始图结构一起用于异构图的结构隐私保护学习，为每个类型的边生成关系子图，学习节点在该关系上的嵌入和关系图中每条边的得分：

这一部分将通过编码器的学习，完成对图拓扑结构的隐私保护，定义一个简单的关系图卷积网络模型来适应异质数据，即每类边对应一个关系卷积网络模型来学习节点表示，输入各个类型扰动的节点的特征矩阵和关系矩阵，模型及节点在每个关系子图第l+1层的表示为：

最后通过聚合得到节点在异构图下的向量表示，为了能够让模型学到已知知识以外的信息，编码器学习中结合了重参数技巧，模型将学到一种样本分布，学习到的样本表征服从高斯分布Pn，期望为μ_r＝HeteGCN_μ(X,A_r)，标准差为

编码器的输入为节点特征

和r个关系矩阵A_r，解码器用于计算关系图中每条边的得分，编码器和解码器定义为：

为了挖掘各类型节点间的内在依赖关系，计算各边得分时结合了无监督学习，故解码时同时计算了负样本边的得分，负采样机制将为图中某一节点对(u,v)从任意分布Pn(v)中采样k个负样本v′形成负样本对(u,v′)，并希望(u,v)的得分要高于(u,v′)，故负采样函数和计算训练中的交叉熵损失为：

损失计算进一步融合了KL散度，在计算真实图与生成图之间的差异时降低计算损失，最终损失函数为：

步骤四：扰动图拓扑学习的梯度，切割边界即噪声敏感度设置为梯度均值：

每次训练反向传播后得到梯度

在以切割边界为C的梯度切割后向梯度中注入满足(∈_s,δ)-DP的拓扑Gaussian噪声，其中敏感度

扰动后的梯度为：

步骤五：利用双层优化机制分配隐私保护力度，以保障社会影响预测的效果，隐私预算分配要求整体异构图上的保护机制满足∈＝∈_f+∈_s，分别通过固定∈_s调整∈_f和固定∈_f调整∈_s来最大化社会影响预测即最小化训练损失：

步骤六：重新构建图拓扑结构，其中拓扑上的用户与物品间的边则意味着模型将物品推荐给用户，输出重构的图，降低节点特征和图拓扑的隐私泄露风险。

一种基于异构图神经网络隐私保护的社会影响预测系统，包括并连的节点特征隐私保护模块、拓扑结构隐私保护模块、双层优化模块和社会影响预测模块；所述系统执行上述基于异构图神经网络隐私保护的社会影响预测方法。

本技术方案的优点或有益效果：

1.本技术方案保护了节点特征和网络拓扑中的敏感信息，防止攻击者通过收集异构图中多类型节点和边的信息对目标的隐私进行推测；

2.本技术方案利用Multi-Head Attention和MLP学习到节点和语义的注意力系数，为节点隐私提供更个性的保护；

3.本技术方案相比同构图中基于统计的方法设定隐私预算，利用双层优化机制学习隐私预算分配，进一步优化噪声给模型带来影响；

4.本技术方案在异构神经网络学习中，结合了元路径以保留图上丰富的语义信息，从节点和语义多方位的学习节点表示，利用重参数技巧和无监督学习进一步提高社交影响预测的性能。

这种方法能够在异构图神经网络中保护用户隐私并获得较好的模型性能。

附图说明

图1为实施例的流程示意图；

图2为实施例的系统框架图。

具体实施方式

下面结合附图及具体实施例对发明作进一步的详细描述，但不是对本发明的限定。

实施例：

本例主要针对异构图神经网络中，现有的隐私保护方法难以适应并保护异构图数据隐私，甚至保护能力失效，防止攻击者通过多类型节点和关系、异构网络拓扑来预测用户敏感信息。

参照图1，一种基于异构图神经网络隐私保护的社会影响预测方法，包括如下步骤：

步骤一：定义异构图中代表语义信息的元路径，根据元路径游走将异构图上的多关联信息规约生成到同构图中，学习节点邻居和语义关系图的注意力系数：

在社交网络中，为了捕获异构图G＝(V，E，φ，ψ)上的语义信息，节点序列将根据头尾节点类型相同的元路径m完全游走，只要节点在服从元路径的同时有边，则将头尾节点视为有关联性，G中V为节点集，每个节点v∈V属于节点类型集合A；E为边集，每条边e∈E属于边类型集合R；φ(v)：V→A是节点的关系映射函数，表示节点与节点类型的对应，ψ(e)：E→R是边的关系映射函数，表示边与边类型的对应，G的节点类型a_i∈A(i＝1,2，...，N)和边类型r_i∈R(i＝1,2，...，N)构成的序列称为元路径

其中a_i＝φ(v_i)，r_i＝ψ(e_i)＝ψ(<v_i，v_i+1>)，例如社交影响预测中，用户类型节点有M＝2条元路径，m₁＝“用户1-物品1-用户2”意味着两个用户都购买过物品1，m₂＝“用户1-物品1-商家1-物品2-用户2”意味着两个用户都购买过商家1中的物品，根据该语义生成2个同构图gs_m；

节点和语义的多方面注意力学习具体为：

首先，各类型节点特征向量映射到统一的空间后，第l层的向量表示为：

其次，在同构图上利用注意力机制Multi-Head(x，y，m)学习用户类型节点间各节点及其邻居的依赖程度，其中每个head_i(i＝1,2，...，8)分别关注不同方面的信息，经过聚合各方面学习到在元路径m上关于节点x和节点y之间的权重W_(uv；m)，最后并将注意力系数量化得到注意力得分：

为了让节点学习能注意到更多方面的信息，K头注意力信息拼接作为在节点注意力的向量表示以减少信息损失，获得K头注意力系数和节点在第l+1层的表征：

最后，拼接M个语义关系图上学习到的节点表示：

通过多层感知机，即MLP计算子图的向量表示作为语义注意力，并归一化：

步骤二：基于差分隐私引入注意力敏感度以生成高斯噪声，将噪声同节点学习结果聚合到节点嵌入中以保护节点特征：

基于差分隐私的定义，两个邻居数据集D和D′只相差一条记录，任意一个查询函数

对于查询该记录的注意力敏感度为：

在定义的噪声生成方式中，特征融合了邻居和语义的影响力，Gaussian噪声满足(∈_f,δ)-DP加入到特征学习中为：

步骤三：将受保护的节点特征与原始图结构一起用于异构图的结构隐私保护学习，为每个类型的边生成关系子图，学习节点在该关系上的嵌入和关系图中每条边的得分：

这一部分将通过编码器的学习，完成对图拓扑结构的隐私保护，定义一个简单的关系图卷积网络模型来适应异质数据，即每类边对应一个关系卷积网络模型来学习节点表示，输入各个类型扰动的节点的特征矩阵和关系矩阵，模型及节点在每个关系子图第l+1层的表示为：

最后通过聚合得到节点在异构图下的向量表示，为了能够让模型学到已知知识以外的信息，编码器学习中结合了重参数技巧，模型将学到一种样本分布，学习到的样本表征服从高斯分布Pn，期望为μ_r＝HeteGCN_μ(X,A_r)，标准差为

编码器的输入为节点特征

和r个关系矩阵A_r，解码器用于计算关系图中每条边的得分，编码器和解码器定义为：

为了挖掘各类型节点间的内在依赖关系，计算各边得分时结合了无监督学习，故解码时同时计算了负样本边的得分，负采样机制将为图中某一节点对(u,v)从任意分布Pn(v)中采样k个负样本v′形成负样本对(u,v′)，并希望(u,v)的得分要高于(u,v′)，故负采样函数和计算训练中的交叉熵损失为：

损失计算进一步融合了KL散度，在计算真实图与生成图之间的差异时降低计算损失，最终损失函数为：

步骤四：扰动图拓扑学习的梯度，切割边界即噪声敏感度设置为梯度均值：

每次训练反向传播后得到梯度

在以切割边界为C的梯度切割后向梯度中注入满足(∈_s,δ)-DP的拓扑Gaussian噪声，其中敏感度

扰动后的梯度为：

步骤五：利用双层优化机制分配隐私保护力度，以保障社会影响预测的效果，隐私预算分配要求整体异构图上的保护机制满足∈＝∈_f+∈_s，分别通过固定∈_s调整∈_f和固定∈_f调整∈_s来最大化社会影响预测即最小化训练损失：

步骤六：重新构建图拓扑结构，其中拓扑上的用户与物品间的边则意味着模型将物品推荐给用户，输出重构的图，降低了节点特征和图拓扑的隐私泄露风险。

如图2所示，一种基于异构图神经网络隐私保护的社会影响预测系统，包括并连的节点特征隐私保护模块、拓扑结构隐私保护模块、双层优化模块和社会影响预测模块；所述系统执行上述基于异构图神经网络隐私保护的社会影响预测方法，执行过程如下：

该系统的输入为异构数据即异构图上各类型的节点和关系；

在节点特征隐私保护模块中，首先对异构节点数据进行处理：各类型节点特征向量被投影到统一特征空间中，根据各类型节点间关系和定义的元路径进行游走生成每类型节点对应的同构图；

其次，根据同构图学习注意力系数和节点特征，其中注意力包含节点邻居影响力和语义关系影响力；

最后，利用注意力的高斯机制扰动节点特征，从而学习到含隐私保护的节点特征；

在拓扑结构隐私保护模块中，首先处理各类型节点关系数据生成关系图，由节点特征隐私保护模块得到的含隐私保护的节点特征也一同融入拓扑结构学习中；

其次，基于异构卷积网络的编码器在关系图中学习拓扑结构，并对学习到的节点特征进行解码；

最后，向该深度学习过程的梯度进行扰动，达到拓扑结构保护的效果；

在双层优化模块中，分别优化上述的特征学习和拓扑学习，以达到隐私保护和社会影响预测的学习最佳权衡效果。

系统的最后将由社会影响预测模块，输出本例的图重构效果即由社会影响引导的推荐结果。

Claims (2)

1.一种基于异构图神经网络隐私保护的社会影响预测方法，其特征在于，包括如下步骤：

步骤一：定义异构图中代表语义信息的元路径，根据元路径游走将异构图上的多关联信息规约生成到同构图中，学习节点邻居和语义关系图的注意力系数：

在社交网络中，为了捕获异构图G＝(V,E,φ,ψ)上的语义信息，节点序列将根据头尾节点类型相同的元路径m完全游走，只要节点在服从元路径的同时有边，则将头尾节点视为有关联性，G中V为节点集，每个节点v∈V属于节点类型集合A；E为边集，每条边e∈E属于边类型集合R；φ(v):V→A是节点的关系映射函数，表示节点与节点类型的对应，ψ(e):E→R是边的关系映射函数，表示边与边类型的对应，G的节点类型a_i∈A(i＝1,2,...,N)和边类型r_i∈R(i＝1,2,...,N)构成的序列称为元路径

其中a_i＝φ(v_i)，r_i＝ψ(e_i)＝ψ(<v_i,v_i+1>)；

节点和语义的多方面注意力学习具体为：

首先，各类型节点特征向量映射到统一的空间后，第l层的向量表示为：

其次，在同构图上利用注意力机制Multi-Head(x,y,m)学习用户类型节点间各节点及其邻居的依赖程度，其中每个head_i(i＝1,2,...,8)分别关注不同方面的信息，经过聚合各方面学习到在元路径m上关于节点x和节点y之间的权重W_(uv；m)，最后并将注意力系数量化得到注意力得分：

为了让节点学习能注意到更多方面的信息，K头注意力信息拼接作为在节点注意力的向量表示以减少信息损失，获得K头注意力系数和节点在第l+1层的向量表示：

最后，拼接M个语义关系图上学习到的节点表示：

通过多层感知机计算子图的向量表示作为语义注意力，并归一化：

步骤二：基于差分隐私引入注意力敏感度以生成高斯噪声，将噪声同节点学习结果聚合到节点嵌入中以保护节点特征：

基于差分隐私的定义，两个邻居数据集D和D′只相差一条记录，任意一个查询函数

对于查询该记录的注意力敏感度为：

在定义的噪声生成方式中，特征融合了邻居和语义的影响力，Gaussian噪声满足(∈_f,δ)-DP加入到特征学习中为：

步骤三：将受保护的节点特征与原始图结构一起用于异构图的结构隐私保护学习，为每个类型的边生成关系子图，学习节点在该关系上的嵌入和关系图中每条边的得分：

这一部分将通过编码器的学习，完成对图拓扑结构的隐私保护，定义一个简单的关系图卷积网络模型来适应异质数据，即每类边对应一个关系卷积网络模型来学习节点表示，输入各个类型扰动的节点的特征矩阵和关系矩阵，模型及节点在每个关系子图第l+1层的表示为：

最后通过聚合得到节点在异构图下的向量表示，为了能够让模型学到已知知识以外的信息，编码器学习中结合了重参数技巧，模型将学到一种样本分布，学习到的样本表征服从高斯分布Pn，期望为μ_r＝HeteGCN_μ(X,A_r)，标准差为

编码器的输入为节点特征

和r个关系矩阵A_r，解码器用于计算关系图中每条边的得分，编码器和解码器定义为：

为了挖掘各类型节点间的内在依赖关系，计算各边得分时结合了无监督学习，故解码时同时计算了负样本边的得分，负采样机制将为图中某一节点对(u,v)从任意分布Pn(v)中采样k个负样本v′形成负样本对(u,v′)，并希望(u,v)的得分要高于(u,v′)，故负采样函数和计算训练中的交叉熵损失为：

损失计算进一步融合了KL散度，在计算真实图与生成图之间的差异时降低计算损失，最终损失函数为：

步骤四：扰动图拓扑学习的梯度，切割边界即噪声敏感度设置为梯度均值：

每次训练反向传播后得到梯度

在以切割边界为C的梯度切割后向梯度中注入满足(∈_s,δ)-DP的拓扑Gaussian噪声，其中敏感度

扰动后的梯度为：

步骤五：利用双层优化机制分配隐私保护力度，以保障社会影响预测的效果，隐私预算分配要求整体异构图上的保护机制满足∈＝∈_f+∈_s，分别通过固定∈_s调整∈_f和固定∈_f调整∈_s来最大化社会影响预测即最小化训练损失：

步骤六：重新构建图拓扑结构，其中拓扑上的用户与物品间的边则意味着模型将物品推荐给用户，输出重构的图，降低节点特征和图拓扑的隐私泄露风险。

2.一种基于异构图神经网络隐私保护的社会影响预测系统，其特征在于，包括并连的节点特征隐私保护模块、拓扑结构隐私保护模块、双层优化模块和社会影响预测模块；所述系统执行权利要求1所述的基于异构图神经网络隐私保护的社会影响预测方法。

Images