CN113297575B - 一种基于自编码器的多通道图垂直联邦模型防御方法 - Google Patents

Abstract

本发明公开了一种基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，包括：根据接收本地数据以及标签，对自编码器进行训练，获得第一节点嵌入向量；对第一节点嵌入向量进行解码得到图拓扑结构，采用相关系统计算公式得到第一节点特征；根据图拓扑结构，第一节点特征，采用softmax函数，ReLU激活函数，构建多通道图卷积模型，同时获得多个节点嵌入向量，将多个节点嵌入向量进行聚合得到鲁棒节点嵌入向量；将鲁棒节点嵌入向量输入至服务器，用于防御输入至服务器的对抗扰动数据对服务器的攻击。该方法能够有效地减弱恶意对抗攻击带来的不利影响，提高图垂直联邦模型对对抗攻击的鲁棒性。

Description

一种基于自编码器的多通道图垂直联邦模型防御方法

技术领域

本发明属于网络安全技术领域，具体涉及一种基于自编码器的多通道图垂直联邦模型防御方法。

背景技术

图数据是现实生活中常见的数据格式，许多数据都能被建模为网络，例如社交网络、金融网络、生物分子网络等。而由于图数据结构的独特性，常用的深度学习模型(如CNN模型)不能被直接用于图数据，因此研究者提出了图神经网络模型，可以高效地对图数据进行分析和处理，以便于在下游应用(如节点分类、图分类、社区发现等)的使用。而图卷积模型是其中较为常用的一种。具有丰富的节点特征和完整连边信息的高质量图数据是高性能图卷积模型的重要组成部分，但是在现实中，这一类信息可能会被不同的数据持有者分隔，这就是数据隔离。由于竞争关系和监管机制的存在，不同数据持有者所拥有的这些数据往往不能被直接共享，因此形成了数据孤岛问题。为了在破解数据孤岛问题的同时兼顾数据的隐私性网通，谷歌公司提出了联邦学习模型。而在图数据领域，图垂直联邦模型则可以较好地解决这一问题。不同的数据持有者可以在图垂直联邦模型的框架上，通过交换中间结果来共同训练模型，达到在数据不出本地，保护数据隐私的前提下，提高边缘模型的质量，获得更好的结果。

然而在该场景下，由于服务器的数据来源依赖于各个训练参与方提交的节点嵌入向量，因此图垂直联邦模型存在易受对抗攻击影响的潜在风险。即当训练参与方拥有的数据中存在一定的经过精心设计的对抗扰动时，导致训练好的模型难以辨认这些对抗样本，对受攻击目标产生了错误预测，从而降低模型性能，导致不良后果。

对于常见的对抗攻击，研究者为增强模型的鲁棒性，提出了不同的防御策略：一方面有对抗训练，通过使模型不断地学习对抗样本的特点，从而提高模型对对抗攻击的防御能力，但是对抗训练存在，对抗样本生成代价高的特点，在实际场景中难以得到广泛应用；一方面是对输入数据进行预处理，通过对对抗扰动的检测和删减来对数据进行纯化，但是这类方法虽然简单易行，但是需要提前具有一定的知识，在联邦场景下，由于存在数据隔离而不能总是获得所需要的背景知识，因此较为受限。因此，如何在知识受限的情况下，提高图卷积网络对对抗攻击的鲁棒性，从而保证图垂直联邦模型的性能，增强模型的安全性具有重要的现实意义。

发明内容

鉴于图垂直联邦模型在进行多方联合训练的场景下，其中可能存在一些训练方易受到对抗攻击的风险，本发明提供了一种基于自编码器的多通道图垂直联邦模型防御方法，通过利用本地数据拟合潜在的图拓扑结构及节点特征，生成更为鲁棒的节点嵌入向量，可以有效地降低恶意对抗攻击的影响，从而提高图垂直联邦模型对对抗攻击的鲁棒性。

一种基于自编码器的多通道图垂直联邦模型防御方法，包括：

(1)根据接收本地数据以及标签，采用softmax函数，ReLU激活函数，构建自编码器，利用交叉熵损失函数，对自编码器进行训练，同时获得第一节点嵌入向量；

其中，对抗样本数据是指被攻击的社交网络图，构建的图神经网络模型用于某些社交行为预测。

(2)通过可训练参数矩阵，采用sigmoid函数，对第一节点嵌入向量进行解码得到图拓扑结构，并利用目标函数训练图拓扑结构，根据第一节点嵌入向量，采用相关系统计算公式得到第一节点特征；

(3)根据图拓扑结构，第一节点特征，采用softmax函数，ReLU激活函数，构建多通道图卷积模型，利用交叉熵损失函数，对多通道图卷积模型进行训练，同时获得多个节点嵌入向量，将多个节点嵌入向量进行聚合得到鲁棒节点嵌入向量；

(4)第二终端利用第二本地数据对本地图卷积模型进行训练，同时得到第二节点嵌入向量，将第二节点嵌入向量与鲁棒节点嵌入向量进行聚合后输入服务端，服务器利用聚合后的嵌入信息对全局模型进行训练，训练后反馈梯度信息至各终端，以使各终端依据反馈的梯度信息对图卷积模型进行再训练；在测试阶段，服务端向各终端发送置信度信息，使得各终端调整图卷积模型参数得到满足置信度的图卷积模型。

所述的本地数据包括原始图结构，第二节点特征，根据接收的原始图结构，第二节点特征，标签，采用softmax函数，ReLU激活函数，构建自编码器。

所述的自编码器为：

所述的第一节点嵌入向量为：

其中，

代表加入自连接的邻接矩阵；

是度值矩阵，即

σ(·)为ReLU激活函数，ReLU激活函数和softmax函数都是逐行使用的；θ₁∈R^C×H和θ₂∈R^H×|F|分别是每一层GCN模型的可训练参数矩阵，C代表输入的节点特征矩阵的维数，H代表隐藏层的特征映射数，|F|代表图中节点的标签总数，i代表节点i，j代表节点j，R为实数，X为节点特征，A代表图对应的邻接矩阵。

所述的交叉熵损失函数为：

其中，|N_L|是带标签的节点集合的节点数，N_L＝[v₁,...v_|F|]；|F|代表图中节点的标签总数，F＝[τ₁,...τ_|F|]。Y为节点的真实标签矩阵，当节点v_l属于类别τ_k时，Y_lk＝1；当节点v_l不属于类别τ_k时，Y_lk＝0，E(·)为自编码器，输出结果为预测概率。

所述的图拓扑结构为：

其中，W∈R^|F|×N为可训练参数矩阵，|F|代表图中节点的标签总数，N代表图中节点总数。·^T代表转置操作，sigmoid函数是逐元素使用的，R为实数。

所述的目标函数为：

其中，y和

分别为本地数据的原始图结构和图拓扑结构中的元素，M为矩阵中元素的数量，当连边存在时y＝1，当连边不存在时，y＝0；

所述第二节点嵌入向量Z'_t通过将图拓扑结构和第二节点特征输入至自编码器中得到的，N为图中节点总数，n为第n个节点，Z_n为原始图第n个节点的节点嵌入向量，Z'_n为可训练邻接矩阵的第n个节点的节点嵌入向量。

第一节点特征为：

其中，

和

分别代表节点i和节点j的嵌入向量的样本均值，c(·)为相关系数函数，Z_i,Z_j分别为节点i和节点j的嵌入向量。

所述的将多个节点嵌入向量进行聚合的聚合方式包括取均值，加权求，以及根据多通道图卷积模型赋予贡献值进行聚合。

所述的根据多通道图卷积模型赋予贡献值进行聚合，得到的节点嵌入向量为：

Z_robust＝w₁⊙Z₁+w₂⊙Z₂+w₃⊙Z₃+w₄⊙Z₄

其中，w₁,w₂,w₃,w₄为可训练参数，自动为不同的节点嵌入向量分配权重，用于体现不同输入通道的贡献程度，将生成的鲁棒节点嵌入向量Z_robust上传至服务器。

与现有技术相比，本发明的有益效果为：

本发明提供的基于自编码器的多通道图垂直联邦模型防御方法，通过本地数据构造自编码器获得节点嵌入向量，基于该节点嵌入向量拟合潜在的图拓扑结构及节点特征，将得到的图拓扑结构、节点特征以及本地原有数据作为多通道图卷积模型的输入，获得不同的节点嵌入向量，聚合不同的节点嵌入向量，获得鲁棒的节点嵌入向量，上传服务器完成联合训练，可以有效地减弱恶意对抗攻击带来的不利影响，提高图垂直联邦模型对对抗攻击的鲁棒性。

附图说明

图1是基于自编码器的多通道图垂直联邦模型防御方法的整体框架示意图片。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，下面结合附图对本发明作进一步详细描述。

参照图1，一种基于自编码器的多通道垂直联邦模型防御方法，包括以下步骤：

针对如何保护联合训练过程中数据的隐私安全和尽量减少对模型联合训练效果的影响，同时针对场景是攻击者可以获取服务器部分全局模型的背景知识，本发明提出了一种基于自编码器的垂直联邦学习防御方法，在攻击者通过部分全局模型可以推测出其他参与者输出编码后的节点嵌入信息时，基于自编码器的方法会使得攻击者获取表示相似的编码信息，最终通过这些分布相似的编码信息进行区分，从而无法获取其他参与者上传给中心服务器的真实节点嵌入信息。具体技术构思为：首先各个用户根据本地数据集在本地图神经网络上提取嵌入信息，然后将嵌入信息进行编码，使得每个节点输出的嵌入信息都尽可能相似，其次在服务器端部署解码器，对上传的嵌入节点编码信息进行解码，最后通过聚合各个用户上传的节点嵌入表示，在全局模型上进行训练，在每一次迭代过程中，模型参数不断更新，达到训练效果的目的。

1)获得自编码器模型更新得到的节点嵌入向量；

如图1所示，训练参与方利用本地数据及标签构造本地自编码器模型，此处自编码器使用双层GCN模型，获得节点的嵌入向量Z。自编码器的表达式为：

其中，

代表加入自连接的邻接矩阵；

是度值矩阵(即

σ(·)使用ReLU激活函数，它和softmax函数都是逐行使用的；θ₁∈R^C×H和θ₂∈R^H×|F|分别是每一层GCN模型的可训练参数矩阵，C代表输入的节点特征矩阵的维数，H代表隐藏层的特征映射数，|F|代表图中节点的标签总数，i代表节点i，j代表节点j，R为实数，X为节点特征，A代表图对应的邻接矩阵。

以节点分类任务为例，自编码器训练的损失函数可以用交叉熵损失来定义：

其中|N_L|是带标签的节点集合的节点数；|F|代表图中节点的标签总数(F＝[τ₁,…τ_|F|])。Y为节点的真实标签矩阵，当节点v_l属于类别τ_k时，Y_lk＝1；当节点v_l不属于类别τ_k时，Y_lk＝0。E为自编码器的输出的预测概率。

2)根据自编码器拟合出潜在的图拓扑结构；

如图1所示，根据步骤1)获得节点嵌入向量Z以及训练好的自编码器模型E(A,X)。对获得的节点嵌入向量进行解码操作：

其中W∈R^|F|×N是一个可训练参数矩阵，|F|代表图中节点的标签总数，N代表图中节点总数。·^T代表转置操作，sigmoid函数是逐元素使用的，R为实数。

根据公式(1)，将获得的可训练邻接矩阵A'和节点特征X输入到训练好的自编码器中获得节点嵌入向量Z'：

对公式(4)中的可训练参数W的训练目标函数为：

其中y和

分别为本地数据的邻接矩阵A和可训练的邻接矩阵A'中的元素，M为矩阵中元素的数量，当连边存在时y＝1，当连边不存在时，y＝0；

N为图中节点总数，n为第n个节点，Z_n为原始图第n个节点的节点嵌入向量，Z'_n为可训练邻接矩阵的第n个节点的节点嵌入向量。

3)根据获得的节点嵌入向量得到新的节点特征；

如图1所示，根据步骤1)获得节点嵌入向量Z，基于相关系数计算节点对(i,j)之间的相似度矩阵作为新的节点特征X'：

其中，

和

分别代表节点i和节点j的嵌入向量的样本均值，c(·)为相关系数函数，Z_i,Z_j分别为节点i和节点j的嵌入向量。

4)利用多通道图卷积模型获得鲁棒的节点嵌入向量；

如图1所示，利用本地数据，步骤2)获得的潜在的图拓扑结构A'以及新的节点特征X'建立多通道图卷积模型，根据公式(1)分别建立4个图卷积模型，获得不同的节点嵌入向量：

Z₁＝GCN₁(A,X) (8)

Z₂＝GCN₂(A,X') (9)

Z₃＝GCN₃(A',X) (10)

Z₄＝GCN₄(A',X') (11)

对公式(8)-公式(11)获得的不同通道的节点嵌入向量(Z₁，Z₂，Z₃，Z₄)，可以进行如下方式聚合：

将不同通道的节点嵌入向量的贡献视为相同时，该公式表示对不同通道的节点嵌入向量取均值。

当考虑不同通道的节点嵌入向量的贡献不同时，鲁棒的节点嵌入向量可以为：

Z_robust＝w₁⊙Z₁+w₂⊙Z₂+w₃⊙Z₃+w₄⊙Z₄ (13)

其中w₁,w₂,w₃,w₄为可训练参数，自动为不同的节点嵌入向量分配权重，用于体现不同输入通道的贡献程度。将生成的鲁棒节点嵌入向量Z_robust上传至服务器。当输入的测试数据存在对抗扰动时，鲁棒节点嵌入向量对这种攻击具有防御效果，保证模型的正常性能。

5)服务器模型的训练与测试；

以多层感知机作为服务器模型，则服务器模型输出置信度Y_server为：

Y_server＝softmax(W_m·ρ(…ρ(W₀·(Z₀||Z₁||…||Z_p)))) (14)

其中W_m是服务器模型第m层的权重参数，ρ(·)为ReLU激活函数。||为服务器对p个参与方上传的节点嵌入向量的拼接操作，p为参与者的数量。Z_p为第p个参与方上传的节点嵌入向量。

服务器模型训练的交叉熵损失函数为：

其中，|N_L|是带标签的节点集合的节点数，N_L＝[v₁,…v_|F|]；|F|代表图中节点的标签总数，F＝[τ₁,…τ_|F|]。Y为存储在服务器中的节点真实标签矩阵，当节点v_l属于类别τ_k时，Y_lk＝1；当节点v_l不属于类别τ_k时，Y_lk＝0。对于训练过程，服务器将训练产生的梯度信息发送给各训练参与方；对于测试过程，服务器将测试的输出置信度发送给各训练参与方，完成测试任务。

Claims (9)

1.一种基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，包括：

(1)第一终端利用第一本地数据，采用softmax函数和ReLU激活函数，构建自编码器，利用交叉熵损失函数，对自编码器进行训练，同时获得第一节点嵌入向量；

(2)通过可训练参数矩阵，采用sigmoid函数，对第一节点嵌入向量进行解码得到图拓扑结构，并利用目标函数训练图拓扑结构，根据第一节点嵌入向量，采用相关系数计算公式得到第一节点特征；

(3)根据图拓扑结构，对第一节点特征，采用softmax函数和ReLU激活函数，构建多个图卷积模型，利用交叉熵损失函数，对多通道图卷积模型进行训练，同时获得多个节点嵌入向量，将多个节点嵌入向量进行聚合得到鲁棒节点嵌入向量；

(4)第二终端利用第二本地数据对本地图卷积模型进行训练，同时得到第二节点嵌入向量，将第二节点嵌入向量与鲁棒节点嵌入向量进行聚合后输入服务端，服务端利用聚合后的嵌入信息对全局模型进行训练，训练后反馈梯度信息至各终端，以使各终端依据反馈的梯度信息对图卷积模型进行再训练；在测试阶段，服务端向各终端发送置信度信息，使得各终端调整图卷积模型参数得到满足置信度的图卷积模型。

2.根据权利要求1所述的基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，第一本地数据结构包括第二节点标签和第二节点特征，根据接收的第二节点特征和第二节点标签，采用softmax函数和ReLU激活函数，构建自编码器。

3.根据权利要求1所述的基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，所述的自编码器为：

所述的第一节点嵌入向量为：

其中，

代表加入自连接的邻接矩阵；

是度值矩阵，即

σ(·)为ReLU激活函数，ReLU激活函数和softmax函数都是逐行使用的；θ₁∈R^C×H和θ₂∈R^H×|F|分别是每一层GCN模型的可训练参数矩阵，C代表输入的节点特征矩阵的维数，H代表隐藏层的特征映射数，|F|代表图中节点的标签总数，i代表节点i，j代表节点j，R为实数，X为节点特征，A代表图对应的邻接矩阵。

4.根据权利要求1所述的基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，所述的交叉熵损失函数为：

其中，|N_L|是带标签的节点集合的节点数，

|F|代表图中节点的标签总数，F＝[τ₁,…τ_|F|]，Y为节点的真实标签矩阵，当节点v_l属于类别τ_k时，Y_lk＝1；当节点v_l不属于类别τ_k时，Y_lk＝0，E_lk(·)为自编码器，输出结果为预测概率。

5.根据权利要求1所述的基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，所述的图拓扑结构为：

其中，W∈R^|F|×N为可训练参数矩阵，|F|代表图中节点的标签总数，N代表图中节点总数，·^T代表转置操作，sigmoid函数是逐元素使用的，R为实数，Z为第一节点嵌入向量。

6.根据权利要求1所述的基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，所述的目标函数为：

其中，y和

分别为本地数据的原始图结构和图拓扑结构中的元素，M为矩阵中元素的数量，当连边存在时y＝1，当连边不存在时，y＝0；

所述第二节点嵌入向量Z’_t通过将图拓扑结构和第二节点特征输入至自编码器中得到的，N为图中节点总数，n为第n个节点，Z_n为原始图第n个节点的节点嵌入向量，Z’_n为可训练邻接矩阵的第n个节点的节点嵌入向量。

7.根据权利要求1所述的基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，第一节点特征为：

其中，

和

分别代表节点i和节点j的嵌入向量的样本均值，c(·)为相关系数函数，Z_i,Z_j分别为节点i和节点j的嵌入向量。

8.根据权利要求1所述的基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，所述的将多个节点嵌入向量进行聚合的聚合方式包括取均值，加权求，以及根据多通道图卷积模型赋予贡献值进行聚合。

9.根据权利要求8所述的基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，所述的根据多通道图卷积模型赋予贡献值进行聚合，得到的节点嵌入向量为：

Z_robust＝w₁⊙Z₁+w₂⊙Z₂+w₃⊙Z₃+w₄⊙Z₄

其中，w₁,w₂,w₃,w₄为可训练参数，自动为不同的节点嵌入向量分配权重，用于体现不同输入通道的贡献程度，将生成的鲁棒节点嵌入向量Z_robust上传至服务器。

Images