CN113298267B - 一种基于节点嵌入差异检测的垂直联邦模型防御方法 - Google Patents

Abstract

本发明公开了一种基于节点嵌入差异检测的垂直联邦模型防御方法，包括：(1)训练参与方利用本地数据和服务器下发的梯度信息对边缘图卷积模型进行训练，获得模型更新的节点嵌入向量；(2)训练参与方利用本地数据新建一个基准图卷积模型并进行训练，获得模型更新的节点嵌入向量；(3)分别计算两个模型更新的节点嵌入向量之间的节点相似度，并计算两者的相似度差异矩阵；(4)将节点的相似度差异作为节点特征，对节点进行聚类，并筛选出目标节点；(5)根据目标节点和与邻居节点的相似度，对上传服务器的节点嵌入向量进行修正。本发明可以有效地减弱由恶意参与方进行的对抗攻击带来的影响，提高图数据上的垂直联邦模型对对抗攻击的鲁棒性。

Description

一种基于节点嵌入差异检测的垂直联邦模型防御方法

技术领域

本发明属于网络安全技术领域，尤其是涉及一种基于节点嵌入差异检测的垂直联邦模型防御方法。

背景技术

随着深度学习的兴起，AI在生产生活中有了更广泛的应用，而一个好的AI需要大量优质数据进行学习。然而在大多数领域中，AI面临着两大困境：(1)数据孤岛问题：大多数企业所拥有的数据是有限的或者质量较差；(2)数据隐私问题：人们对数据的保护意识也在逐渐加强，对用户数据隐私和安全管理的日趋严格。如果将训练数据汇集起来，存储在一台机器或数据中心中，随着数据量的增加，需要不断增加基础设施建设，此外，在数据汇集的过程中也存在数据泄露的风险以及出现数据垄断的风险，面对以上问题，谷歌提出的联邦学习模型能较好地解决。

通过联邦学习，不同的数据拥有者可以在数据不出本地的前提下通过交换一些中间结果，达到共同训练模型的目的。该技术实际上是一种加密的分布式机器学习技术，可以有效地解决数据孤岛问题并保护了数据的隐私。联邦学习模型的潜在应用有：移动电话用户的活动、对人类的情绪或语义学习、可穿戴设备预测心脏病发作风险等。根据数据分布的方式可以将联邦学习分为垂直联邦、水平联邦和迁移联邦。在基于图数据的垂直联邦的数据分布方式下，多个训练参与方将各自的本地数据用于边缘模型训练，并将由训练的得到的节点嵌入向量上传至服务器，服务器对各参与方发送的节点嵌入向量进行聚合操作，并根据真实标签对服务器模型进行训练，完成节点分类、链路预测等下游任务。服务器将训练中的模型参数、梯度信息等分发至各训练参与方，帮助其完成边缘模型的训练，从而达到联合训练的目的。

然而，在该场景下，由于服务器依赖于各训练参与方发送的节点嵌入向量，因此，服务器所接收到的节点嵌入向量的质量决定了模型训练的质量。在此场景下，如果存在恶意训练方，通过注入错误数据或使用对抗样本对节点嵌入过程进行攻击，上传质量较差的节点嵌入向量，从而使服务器模型出错，即该联邦模型易受到对抗攻击的影响，可能会造成不良后果。

针对常见的对抗攻击的防御方式主要有：一方面是对抗训练，即通过对抗训练的方式使模型具有对对抗攻击的防御能力，但是这种策略需要生成大量的对抗样本用以训练，成本代价较高，不适合实际场景的应用。另一方面是对输入数据进行纯化，通过删除可疑连边来保证模型的性能。这种方法虽然简单有效，但是在垂直联邦场景中，由于数据不离开本地，因此这种方法显然不适用。因此，如何使训练参与方增强对对抗攻击的鲁棒性，对扰动带来的影响进行有效检测并修正，对于提高整体联邦模型的鲁棒性具有重要的现实意义。

发明内容

鉴于垂直联邦模型在多方模型在图数据上进行联合训练的场景下存在容易受到恶意参与方的攻击的风险，本发明提供了一种基于节点嵌入差异检测的垂直联邦模型防御方法，通过利用已知信息对参与训练的受攻击模型生成的节点嵌入向量在训练参与方进行检测及替代，可以有效地减弱恶意参与方的对抗攻击带来的影响，从而起到提高图数据上的垂直联邦模型对对抗攻击的鲁棒性。

一种基于节点嵌入差异检测的垂直联邦模型防御方法，包括以下步骤：

(1)训练参与方利用本地的图数据和服务器下发的梯度信息对边缘图卷积模型进行训练，获得边缘图卷积模型更新的节点嵌入向量；

(2)训练参与方利用本地的图数据新建一个基准图卷积模型并进行训练，获得基准图卷积模型更新的节点嵌入向量；

(3)分别计算边缘图卷积模型更新的节点嵌入向量之间和基准图卷积模型更新的节点嵌入向量之间的节点相似度，并对两个模型生成的节点相似度作差得到相似度差异矩阵；

(4)将节点的相似度差异作为节点特征，对节点进行聚类，并筛选出目标节点；

(5)根据目标节点和与邻居节点的相似度，在节点特征聚合时为每一个邻居节点赋予权重，得到修正节点嵌入向量；

(6)将修正节点嵌入向量X'_t替代边缘图卷积模型中对应节点的嵌入向量上传至服务器，完成服务器模型的联合训练，最终训练好的服务器模型用于对节点进行分类。

进一步地，步骤(1)中，边缘图卷积模型更新的节点嵌入向量表达式为：

其中，I_N为N阶单位矩阵，网络中节点的度矩阵为/>X^l代表第l层的节点嵌入向量，当第l层为输入层时，X为输入节点特征向量；W^l为第l层的权重矩阵；σ(·)为非线性激活函数；定义由边缘图卷积模型得到的节点i的嵌入向量为f(i)。

进一步地，步骤(2)中，所述的基准图卷积模型与边缘图卷积模型的结构相同，定义由基准图卷积模型得到的节点i的嵌入向量为g(i)，基准图卷积模型的训练目标函数定义为：

其中，|N_L|为带有标签的节点数，F＝[τ₁,···,τ_|F|]是网络中节点的标签集合，则|F|为节点的总标签数，Y为真实的标签矩阵；如果节点n_l属于类别τ_k，则Y_lk＝1，如果节点n_l不属于类别τ_k，则Y_lk＝0；Y′为图卷积网络的输出；l表示第l个节点，k表示第l个节点的真实标签Y或者图卷积网络的输出Y′的第k维。

进一步地，步骤(3)中，所述的节点相似度采用余弦相似度进行计算，公式为：

其中，X_i和X_j分别代表节点i和节点j的嵌入向量；具体地，在边缘图卷积模型中，X_i＝f(i)，X_j＝f(j)；在基准图卷积模型中，X_i＝g(i)，X_j＝g(j)；

所述的相似度差异矩阵定义为：

D(i,j)＝d(f(i),f(j))-d(g(i),g(j))

其中，D为一个N×N大小的矩阵，N为图数据中节点的数量，D矩阵中每个值代表节点对之间的相似度差异。

进一步地，步骤(4)的具体过程为：

(4-1)将相似度差异矩阵的每一行作为对应节点的特征，采用K-means聚类方法对其进行聚类；

(4-2)从节点样本中随机选择2个样本作为初始均值向量{μ₁,μ₂},设置输出簇划分初始化为并计算每个样本到均值向量的距离：

dist_ij＝||X_i-μ_j||₂,(1≤i≤N,1≤j≤2)

将X_i标记为dist_ij最小距离所对应的类别λ_i，更新簇：

重新计算质心：

(4-3)迭代至2个质心均不再发生变化，输出簇划分C＝{C₁,C₂}；根据聚类结果，将节点相似度差异较大的一簇节点作为疑似受到攻击的节点，即目标节点。

进一步地，步骤(5)中，修正的节点嵌入向量被定义为：

w_n＝e^{-λd(f(n),g(t))}

其中，N_t为目标节点t的邻居节点集合，d(·)为余弦相似度公式，f(n)为邻居节点n在边缘图卷积模型中的节点嵌入向量，g(t)为目标节点t在基准图卷积模型中的节点嵌入向量,λ为可调节的超参，用于调节每个节点分配到的权重大小。

与现有技术相比，本发明具有以下有益效果：

本发明的方法，通过计算经过联合训练的边缘图卷积模型更新的节点嵌入向量相似度和本地建立的基准图卷积模型更新的节点嵌入向量相似度，从而获得两者之间的相似度差异并利用聚类方法对可能存在的被攻击的目标节点进行检测，最后对其上传服务器的节点嵌入向量进行修正，可以有效地减弱由恶意参与方进行的对抗攻击带来的影响，提高图数据上的垂直联邦模型对对抗攻击的鲁棒性。

附图说明

图1为本发明一种基于节点嵌入差异检测的垂直联邦模型防御方法的整体框架示意图；

图2为本发明实施例中节点嵌入向量修正示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本实施例的应用场景为金融网络中的客户风险评估模型的联邦训练。本地数据为各个金融机构拥有的客户数据，包括客户的转账记录、好友关系、收入等隐私信息。以每个客户作为一个节点，将转账记录或好友关系等作为连边，构建为邻接矩阵，将其他隐私信息作为节点的特征构建为特征矩阵，将邻接矩阵和节点特征矩阵输入边缘图卷积模型获得每个节点的节点嵌入向量上传至服务器模型，最终完成服务器模型的联合训练，该最终训练的服务器模型可用于对客户节点进行分类或信用评估，为参与训练的金融机构提供可靠的评估结果，防止恶意借贷以及其他非法交易行为的发生。

如图1和图2所示，一种基于节点嵌入差异检测的垂直联邦模型防御方法，包括以下步骤：

1)获得边缘图卷积模型更新的节点嵌入向量；

如图1所示，训练参与方利用本地数据和边缘图卷积模型获得节点的嵌入向量，向服务器上传获得的节点的嵌入向量，进行多方参与联合训练，并根据服务器返回的梯度信息训练边缘图卷积模型，迭代更新节点的嵌入向量。节点嵌入向量的表达式为：

其中，I_N为N阶单位矩阵，网络中节点的度矩阵为/>X^l代表第l层的节点嵌入向量，当第l层为输入层时，X为输入节点特征向量；W^l为第l层的权重矩阵。σ(·)为非线性激活函数。定义由边缘图卷积模型得到的节点i的嵌入向量为f(i)。

2)获得基准图卷积模型更新的节点嵌入向量；

如图1所示，训练参与方新建一个基准图卷积模型，并利用本地数据单独训练该基准图卷积模型，获得节点的嵌入向量。由于基准图卷积模型与边缘图卷积模型的结构相同，因此节点嵌入向量的表达式与公式(1)相同。定义由边缘图卷积模型得到的节点i的嵌入向量为g(i)。基准图卷积模型的训练目标函数被定义为：

其中，|N_L|为带有标签的节点数，F＝[τ₁,···,τ_|F|]是网络中节点的标签集合，则|F|为节点的总标签数，Y为真实的标签矩阵。如果节点n_l属于类别τ_k，则Y_lk＝1，如果节点n_l不属于类别τ_k，则Y_lk＝0。Y′为图卷积网络的输出。

3)计算节点对之间的相似度差异矩阵；

如图1所示，根据步骤1和步骤2所得的节点嵌入向量计算节点对(i,j)之间的相似度矩阵d₁(f(i),f(j))和d₂(g(i),g(j))。对两个模型生成的节点相似度作差得到相似度差异矩阵。相似度采用余弦相似度，即s：

其中，X_i和X_j分别代表节点i和节点j的嵌入向量。具体地，在边缘图卷积模型中，X_i＝f(i)；基准图卷积模型中，X_i＝g(i)。则两者的相似度差异矩阵D被定义为：

D(i,j)＝d(f(i),f(j))-d(g(i),g(j)) (4)

其中，D为一个N×N大小的矩阵，N为图数据中节点的数量，D矩阵中每个值代表节点对之间的相似度差异。

4)基于相似度差异矩阵进行聚类并筛选目标节点；

如图1所示，将相似度差异矩阵的每一行作为对应节点的特征，即将节点与其他节点之间相似度差异作为聚类的输入特征。此处采用K-means聚类方法对其进行聚类。从节点样本中随机选择2个样本作为初始均值向量{μ₁,μ₂},设置输出簇划分初始化为并计算每个样本到均值向量的距离：

dist_ij＝||X_i-μ_j||₂,(1≤i≤N,1≤j≤2) (5)

将X_i标记为dist_ij最小距离所对应的类别λ_i，更新簇：

重新计算质心：

迭代至2个质心均不再发生变化，输出簇划分C＝{C₁,C₂}。根据聚类结果，将节点相似度差异较大的一簇节点作为疑似受到攻击的节点，即目标节点，完成检测步骤。

5)基于筛选的目标节点进行节点嵌入向量修正；

如图2所示，令步骤4获得目标节点为t。修正的节点嵌入向量被定义为：

w_n＝e^{-λ(f(n),g(t))} (9)

其中，N_t为目标节点t的邻居节点集合，d(·)用公式(3)表示，f(n)为邻居节点n在边缘图卷积模型中的节点嵌入向量，g(t)为目标节点t在基准图卷积模型中的节点嵌入向量,λ为可调节的超参，用于调节每个节点分配到的权重大小。

将修正节点嵌入向量X′_t替代边缘图卷积模型中对应节点的嵌入向量，上传至服务器，完成防御。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于节点嵌入差异检测的垂直联邦模型防御方法，其特征在于，包括以下步骤：

(1)训练参与方利用本地的图数据和服务器下发的梯度信息对边缘图卷积模型进行训练，获得边缘图卷积模型更新的节点嵌入向量；

(2)训练参与方利用本地的图数据新建一个基准图卷积模型并进行训练，获得基准图卷积模型更新的节点嵌入向量；

(3)分别计算边缘图卷积模型更新的节点嵌入向量之间和基准图卷积模型更新的节点嵌入向量之间的节点相似度，并对两个模型生成的节点相似度作差得到相似度差异矩阵；

所述的节点相似度采用余弦相似度进行计算，公式为：

其中，X_i和X_j分别代表节点i和节点j的嵌入向量；具体地，在边缘图卷积模型中，X_i＝f(i)，X_j＝f(j)；在基准图卷积模型中，X_i＝g(i)，X_j＝g(j)；

所述的相似度差异矩阵定义为：

D(i,j)＝d(f(i),f(j))-d(g(i),g(j))

其中，D为一个N×N大小的矩阵，N为图数据中节点的数量，D矩阵中每个值代表节点对之间的相似度差异；

(4)将节点的相似度差异作为节点特征，对节点进行聚类，并筛选出目标节点；

(5)根据目标节点和与邻居节点的相似度，在节点特征聚合时为每一个邻居节点赋予权重，得到修正节点嵌入向量；

(6)将修正节点嵌入向量X'_t替代边缘图卷积模型中对应节点的嵌入向量上传至服务器，完成服务器模型的联合训练，最终训练好的服务器模型用于对节点进行分类。

2.根据权利要求1所述的基于节点嵌入差异检测的垂直联邦模型防御方法，其特征在于，步骤(1)中，边缘图卷积模型更新的节点嵌入向量表达式为：

其中，I_N为N阶单位矩阵，网络中节点的度矩阵为/>X^l代表第l层的节点嵌入向量，当第l层为输入层时，X为输入节点特征向量；W^l为第l层的权重矩阵；σ(·)为非线性激活函数；定义由边缘图卷积模型得到的节点i的嵌入向量为f(i)。

3.根据权利要求1所述的基于节点嵌入差异检测的垂直联邦模型防御方法，其特征在于，步骤(2)中，所述的基准图卷积模型与边缘图卷积模型的结构相同，定义由基准图卷积模型得到的节点i的嵌入向量为g(i)，基准图卷积模型的训练目标函数定义为：

其中，|N_L|为带有标签的节点数，F＝[τ₁,…,τ_|F|]是网络中节点的标签集合，则|F|为节点的总标签数，Y为真实的标签矩阵；如果节点n_l属于类别τ_k，则Y_lk＝1，如果节点n_l不属于类别τ_k，则Y_lk＝0；Y′为图卷积网络的输出；l表示第l个节点，k表示第l个节点的真实标签Y或者图卷积网络的输出Y′的第k维。

4.根据权利要求1所述的基于节点嵌入差异检测的垂直联邦模型防御方法，其特征在于，步骤(4)的具体过程为：

(4-1)将相似度差异矩阵的每一行作为对应节点的特征，采用K-means聚类方法对其进行聚类；

(4-2)从节点样本中随机选择2个样本作为初始均值向量{μ₁,μ₂},设置输出簇划分初始化为并计算每个样本到均值向量的距离：

将X_i标记为dist_ij最小距离所对应的类别λ_i，更新簇：

重新计算质心：

(4-3)迭代至2个质心均不再发生变化，输出簇划分C＝{C₁,C₂}；根据聚类结果，将节点相似度差异较大的一簇节点作为疑似受到攻击的节点，即目标节点。

5.根据权利要求4所述的基于节点嵌入差异检测的垂直联邦模型防御方法，其特征在于，步骤(5)中，修正的节点嵌入向量被定义为：

w_n＝e^{-λd(f(n),g(t))}

其中，N_t为目标节点t的邻居节点集合，d(·)为余弦相似度公式，f(n)为邻居节点n在边缘图卷积模型中的节点嵌入向量，g(t)为目标节点t在基准图卷积模型中的节点嵌入向量,λ为可调节的超参，用于调节每个节点分配到的权重大小。