CN115081003B - 一种采样聚合框架下的梯度泄露攻击方法 - Google Patents

Abstract

本发明公开了一种采样聚合框架下的梯度泄露攻击方法，实现步骤为：初始化联邦学习系统；联邦服务器判断客户端A_z上传的梯度形式；联邦服务器还原客户端A_z的近似梯度；联邦服务器更新客户端A_z的近似梯度符号；联邦服务器获取梯度泄露攻击结果。本发明通过客户端上传的多轮采样位置向量，结合联邦服务器本地训练的梯度重构出客户端的近似梯度，进一步通过聚合后的梯度符号更新梯度符号，从而实现了在采样聚合框架下既能从客户端上传的明文梯度中攻击出客户端真实图像数据，也能从客户端上传的密文梯度中攻击出客户端真实图像数据，从而拓宽了梯度泄露攻击的攻击范围。

Description

一种采样聚合框架下的梯度泄露攻击方法

技术领域

本发明属于机器学习中联邦学习技术领域，涉及一种梯度泄露攻击方法，具体涉及一种采样聚合框架下的梯度泄露攻击方法，可用于获取客户端本地数据。

背景技术

作为一种分布式机器学习框架，联邦学习可以在不共享数据的情况下实现联合建模。具体来说，联邦服务器首先初始化模型并将其发送给各客户端，各客户端利用本地数据作为模型输入训练得到模型梯度发送回联邦服务器，最终联邦服务器聚合梯度并更新模型。不断循环得到更精准的全局模型。现实中，联邦学习经常被部署在网络性能有限的设备上，于是针对梯度进行采样的联邦学习应运而生，即采样聚合框架。然而，梯度泄露攻击表明传统的联邦学习框架下的明文梯度会泄露客户端本地数据，于是安全聚合被引入到联邦学习框架中保护梯度数据，即客户端向联邦服务器发送梯度之前对梯度值进行加密。

Zhu,Ligeng等2019年在“Advances in Neural Information ProcessingSystems”期刊上发表的论文文献“Deep Leakage from Gradients”中公布了一种从公开共享的梯度中获取本地数据的梯度泄露攻击方法。该方法不依赖任何生成模型或任何数据的额外先验知识，可以通过公开共享的梯度对模型的输入和损失函数的输入进行更新，从而还原本地数据。梯度泄露攻击的核心思想在于通过优化随机数据使数据得到的模型梯度匹配客户端真实梯度，不断迭代以接近客户端本地数据。

然而，上述梯度泄露攻击方法仅能从公开共享的梯度中获取客户端本地数据，安全聚合算法的引入导致无法获取明文梯度，实现梯度泄露攻击。

发明内容

本发明的目的是克服上述现有技术中的不足，提出了一种采样聚合框架下的梯度泄露攻击方法，既能从客户端上传的明文梯度中攻击出客户端真实图像数据，也能从客户端上传的密文梯度中攻击出客户端真实图像数据，从而拓宽梯度泄露攻击的攻击范围。

为了实现上述目的，本发明采取的技术方案包括如下步骤：

(1)初始化联邦学习系统：

初始化包括联邦服务器S和N个客户端A＝{A₁,A₂,…,A_n,…,A_N}的联邦学习系统，联邦服务器S的全局卷积神经网络模型M⁰，联邦服务器S从客户端A中随机选择的客户端A_z作为受害者，联邦服务器S与客户端A_z的当前通信轮数为r，最大通信轮数为R，联邦服务器S与其余客户端通信轮数r＝1，其中A_n表示第n个客户端，N≥2，M⁰的参数为ω＝<ω₁,ω₂,…,ω_m,…,ω_M>，M表示M⁰的参数量，M≥2，ω_m表示M⁰的第m个参数，A_z∈A，R≥2；

(2)联邦服务器判断客户端A_z上传的梯度形式：

联邦服务器S判断客户端A_z上传的梯度是否为密文，若是，执行步骤(3)，否则，将客户端A_z上传的梯度/>依据其上传的采样位置向量/>得到客户端A_z的梯度g_z′，并执行步骤(5)；

(3)联邦服务器还原客户端A_z的近似梯度：

(3a)联邦服务器S通过客户端A_z的R轮通信上传的采样位置向量计算每个索引m的采样次数θ_m，得到M维索引采样次数向量θ＝<θ₁,θ₂,…,θ_m,…,θ_M>，其中，/>表示客户端A_z向联邦服务器S上传的第r轮通信轮数的采样位置向量，/> 表示第r轮中客户端A_z第m个采样位置标志符，取值为{0,1}，0表示此索引m未采样，1表示此索引m被采样，θ_m的计算公式为：

其中∑表示求和操作；

(3b)拥有图像数据D_s＝{x_s,y_s}的联邦服务器S将数据特征x_s作为全局卷积神经网络模型M⁰的输入进行模型训练，得到预测结果Y_s；采用交叉熵损失函数，计算Y_s与标签y_s之间的损失值L_s；通过L_s对模型M⁰的参数ω求偏导，得到梯度g_s＝<g_s1,g_s2,…,g_sm,…g_sM>，其中，x_s、y_s表示联邦服务器S本地图像数据特征和标签，g_sm表示联邦服务器S的第m个梯度元素；

(3c)联邦服务器S将g_s的绝对值依据θ_m的大小顺序得到客户端A_z的近似梯度向量g_z＝<g_z1,g_z2,…,g_zm,…,g_zM>，其中，g_zm表示客户端A_z的第m个梯度元素；

(4)联邦服务器更新客户端A_z的近似梯度符号：

(4a)联邦服务器S对每个客户端A_n上传的一轮的采样梯度向量进行聚合，得到聚合梯度G＝<G₁,G₂,…,G_m,…,G_M>，其中，r＝1，/>表示客户端A_n向联邦服务器S上传的采样梯度向量，/> 表示客户端A_n加密后的第k个采样梯度值，K表示客户端A_n根据通信网络情况选择的压缩率，0＜K≤M，G_m表示联邦服务器S聚合后的第m个梯度元素；

(4b)联邦服务器S将步骤(3)中得到的客户端A_z的近似梯度向量与聚合梯度G_m符号不同的索引位置的符号取反，得到更新后的客户端A_z的近似梯度g_z′，其中，g_z′＝<g_z1′,g_z2′,…,g_zm′,…,g_zM′＞，其中g_zm′表示更新符号后客户端A_z近似梯度的第m个梯度元素；

(5)联邦服务器获取梯度泄露攻击结果：

(5a)联邦服务器S初始化本地迭代训练轮数为t，t＝1，最大迭代训练轮数为T；

(5b)联邦服务器S随机生成一组图像数据并将数据特征/>作为全局卷积神经网络模型M⁰的输入进行模型训练，得到预测结果/>采用交叉熵损失函数，计算/>与标签/>之间的损失值/>通过损失值/>对模型M⁰的参数ω求偏导，得到梯度/>然后通过g_z′与/>的距离/>对模型的输入/>进行更新，得到/>的更新结果/>其中/>分别表示图像数据特征、标签，/>与/>满足标准正态分布；

(5c)联邦服务器S判断迭代训练次数t＝T是否成立，若是，得到的更新结果即为梯度泄露攻击的结果，否则，令t＝t+1，/>并执行步骤(5b)。

本发明与现有技术相比，具有以下优点：

本发明通过客户端上传的多轮采样位置向量，结合联邦服务器本地训练的梯度重构出客户端的近似梯度，进一步通过聚合后的梯度符号更新梯度符号；实现了在采样聚合框架下既能从客户端上传的明文梯度中攻击出客户端真实图像数据，也能从客户端上传的密文梯度中攻击出客户端真实图像数据，从而拓宽了梯度泄露攻击的攻击范围。

附图说明

图1是本发明的实现流程图。

图2是本发明获取梯度泄露攻击结果的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细描述。

参照附图1，本发明包括如下步骤：

步骤1)初始化联邦学习系统：

初始化包括联邦服务器S和N个客户端A＝{A₁,A₂,…,A_n,…,A_N}的联邦学习系统，联邦服务器S的全局卷积神经网络模型M⁰，联邦服务器S从客户端A中随机选择的客户端A_z作为受害者，联邦服务器S与客户端A_z的当前通信轮数为r，最大通信轮数为R，联邦服务器S与其余客户端通信轮数r＝1，其中A_n表示第n个客户端，N≥2，M⁰的参数为ω＝<ω₁,ω₂,…,ω_m,…,ω_M>，M表示M⁰的参数量，M≥2，ω_m表示M⁰的第m个参数，A_z∈A，R≥2。

本实例中客户端数量N＝10，并选择客户端A₁为受害者，联邦服务器S和客户端A_n的通信轮数R＝100。所述的全局卷积神经网络模型M⁰结构包括顺次连接的第一卷积层、激活函数层、第二卷积层、激活函数层、第三卷积层、激活函数层、全连接层；第一卷积层的输入通道数为3，输出通道数为10，卷积核尺寸为5*5；第二卷积层的输入通道数为10，输出通道数为20，卷积核尺寸为5*5；第三卷积层的输入通道数为20，输出通道数为10，卷积核尺寸为5*5；激活函数层采用Sigmoid函数；全连接层的输入维数为4000，输出维数为10。所述的全局卷积神经网络模型M⁰的参数量M计算公式为：M＝3×M_cov+3×M_sig+M_fc，其中卷积层参数量M_cov计算公式为：M_cov＝size²×C_i×C₀+C，其中，size表示卷积核大小，C_i表示输入通道数，C₀表示输出通道数，C表示偏置项的参数量；激活函数层参数量M_sig计算公式为：M_sig＝2×C_i，全连接层参数量M_fc计算公式为：M_fc＝T_i×T₀+T，其中，T_i表示输入向量的长度，T₀表示输出向量的长度，T表示偏置项的参数量，经过计算本实例中全局卷积神经网络模型M⁰参数量为35900。

步骤2)联邦服务器判断客户端A_z上传的梯度形式：

联邦服务器S判断客户端A_z上传的梯度是否为密文，若是，执行步骤(3)，否则，将客户端A_z上传的梯度/>依据其上传的采样位置向量/>得到客户端A_z的梯度g_z′，并执行步骤(5)。

步骤3)联邦服务器还原客户端A_z的近似梯度：

步骤3a)联邦服务器S通过客户端A_z的R轮通信上传的采样位置向量计算每个索引m的采样次数θ_m，得到M维索引采样次数向量θ＝<θ₁,θ₂,…,θ_m,…,θ_M>，其中，/>表示客户端A_z向联邦服务器S上传的第r轮通信轮数的采样位置向量，/> 表示第r轮中客户端A_z第m个采样位置标志符，取值为{0,1}，0表示此索引m未采样，1表示此索引m被采样，θ_m的计算公式为：

其中∑表示求和操作。

步骤3b)拥有图像数据D_s＝{x_s,y_s}的联邦服务器S将数据特征x_s作为全局卷积神经网络模型M⁰的输入，得到预测结果Y_s；采用交叉熵损失函数，计算Y_s与标签y_s之间的损失值L_s：

L_s＝loss(Y_s,y_s)

其中，loss(·)表示交叉熵损失函数；通过L_s对模型M⁰的参数ω求偏导：

其中，表示偏导操作；得到联邦服务器S的本地梯度g_s＝<g_s1,g_s2,…,g_sm,…g_sM>，其中，x_s、y_s表示联邦服务器S本地图像数据特征和标签，g_sm表示联邦服务器S的第m个梯度元素；

所述的本地图像数据集为MNIST数据集以及Fashion-MNIST数据集，本实例中选择MNIST数据集。

步骤3c)联邦服务器S将g_s的绝对值依据θ_m的大小顺序得到客户端A_z的近似梯度向量g_z＝<g_z1,g_z2,…,g_zm,…,g_zM>，其中，g_zm表示客户端A_z的第m个梯度元素；

步骤4)联邦服务器更新客户端A_z的近似梯度符号：

步骤4a)联邦服务器S对每个客户端A_n上传的一轮的采样梯度向量进行聚合，得到聚合梯度G＝<G₁,G₂,…,G_m,…,G_M>，其中，r＝1，/>表示客户端A_n向联邦服务器S上传的采样梯度向量，/> 表示客户端A_n加密后的第k个采样梯度值，K表示客户端A_n根据通信网络情况选择的压缩率，0＜K≤M，G_m表示联邦服务器S聚合后的第m个梯度元素；

本实例中压缩率K＝32310。联邦服务器S将每个客户端A_n上传的采样梯度向量依据采样位置向量/>得到客户端A_n的M维梯度g_n′＝<g_n1′,g_n2′,…,g_nm′,…,g_nM′>，然后对N个客户端A的M维梯度g_n′进行安全聚合，得到聚合后梯度G＝<G₁,G₂,…,G_m,…,G_M>，其中，g_nm′表示联邦服务器S接收到的客户端A_n第m个梯度元素，G_m计算公式为：

其中∑表示求和操作。

步骤4b)联邦服务器S将步骤(3)中得到的客户端A_z的近似梯度向量与聚合梯度G_m符号不同的索引位置的符号取反，得到更新后的客户端A_z的近似梯度g_z′，其中，g_z′＝<g_z1′,g_z2′,…,g_zm′,…,g_zM′>，其中g_zm′表示更新符号后客户端A_z近似梯度的第m个梯度元素；

步骤5)联邦服务器获取梯度泄露攻击结果：

步骤5a)联邦服务器S初始化本地迭代训练轮数为t，t＝1，最大迭代训练轮数为T；

参照附图二，对本发明获取梯度泄露攻击结果的流程作进一步详细说明。本实例中联邦服务器S最大迭代训练轮数T＝100。

步骤5b)联邦服务器S随机生成一组图像数据并将数据特征/>作为全局卷积神经网络模型M⁰的输入进行模型训练，得到预测结果/>采用交叉熵损失函数，计算与标签/>之间的损失值/>

其中，loss(·)表示交叉熵损失函数；通过损失值对模型M⁰的参数ω求偏导：

其中，表示偏导操作；得到梯度/>然后通过g_z′与/>的距离/>对模型的输入/>进行更新，更新公式为：

其中，η表示学习率。得到的更新结果/>其中/>分别表示图像数据特征、标签，/>与/>满足标准正态分布；

所述的本地图像数据集为MNIST数据集以及Fashion-MNIST数据集，本实例中选择MNIST数据集。

步骤5c)联邦服务器S判断迭代训练次数t＝T是否成立，若是，得到的更新结果即为梯度泄露攻击的结果，否则，令t＝t+1，/>并执行步骤(5b)。

Claims (4)

1.一种采样聚合框架下的梯度泄露攻击方法，其特征在于，包括如下步骤：

(1)初始化联邦学习系统：

初始化包括联邦服务器S和N个客户端A＝{A₁,A₂,…,A_n,…,A_N}的联邦学习系统，联邦服务器S的全局卷积神经网络模型M⁰，联邦服务器S从客户端A中随机选择的客户端A_z作为受害者，联邦服务器S与客户端A_z的当前通信轮数为r，最大通信轮数为R，联邦服务器S与其余客户端通信轮数r＝1，其中A_n表示第n个客户端，N≥2，M⁰的参数为ω＝<ω₁,ω₂,…,ω_m,…,ω_M>，M表示M⁰的参数量，M≥2，ω_m表示M⁰的第m个参数，A_z∈A，R≥2；

(2)联邦服务器判断客户端A_z上传的梯度形式：

联邦服务器S判断客户端A_z上传的梯度是否为密文，若是，执行步骤(3)，否则，将客户端A_z上传的梯度/>依据其上传的采样位置向量/>得到客户端A_z的梯度g_z′，并执行步骤(5)；

(3)联邦服务器还原客户端A_z的近似梯度：

(3a)联邦服务器S通过客户端A_z的R轮通信上传的采样位置向量计算每个索引m的采样次数θ_m，得到M维索引采样次数向量θ＝<θ₁,θ₂,…,θ_m,…,θ_M>，其中，/>表示客户端A_z向联邦服务器S上传的第r轮通信轮数的采样位置向量，/> 表示第r轮中客户端A_z第m个采样位置标志符，取值为{0,1}，0表示此索引m未采样，1表示此索引m被采样，θ_m的计算公式为：

其中∑表示求和操作；

(3b)拥有图像数据D_s＝{x_s,y_s}的联邦服务器S将数据特征x_s作为全局卷积神经网络模型M⁰的输入进行模型训练，得到预测结果Y_s；采用交叉熵损失函数，计算Y_s与标签y_s之间的损失值L_s；通过L_s对模型M⁰的参数ω求偏导，得到梯度g_s＝<g_s1,g_s2,…,g_sm,…g_sM>，其中，x_s、y_s表示联邦服务器S本地图像数据特征和标签，g_sm表示联邦服务器S的第m个梯度元素；

(3c)联邦服务器S将g_s的绝对值依据θ_m的大小顺序得到客户端A_z的近似梯度向量g_z＝<g_z1,g_z2,…,g_zm,…,g_zM>，其中，g_zm表示客户端A_z的第m个梯度元素；

(4)联邦服务器更新客户端A_z的近似梯度符号：

(4a)联邦服务器S对每个客户端A_n上传的一轮的采样梯度向量进行聚合，得到聚合梯度G＝<G₁,G₂,…,G_m,…,G_M>，其中，r＝1，/>表示客户端A_n向联邦服务器S上传的采样梯度向量，/> 表示客户端A_n加密后的第k个采样梯度值，K表示客户端A_n根据通信网络情况选择的压缩率，0＜K≤M，G_m表示联邦服务器S聚合后的第m个梯度元素；

(4b)联邦服务器S将步骤(3)中得到的客户端A_z的近似梯度向量与聚合梯度G_m符号不同的索引位置的符号取反，得到更新后的客户端A_z的近似梯度g_z′，其中，g_z′＝<g_z1′,g_z2′,…,g_zm′,…,g_zM′>，其中g_zm′表示更新符号后客户端A_z近似梯度的第m个梯度元素；

(5)联邦服务器获取梯度泄露攻击结果：

(5a)联邦服务器S初始化本地迭代训练轮数为t，t＝1，最大迭代训练轮数为T；

(5b)联邦服务器S随机生成一组图像数据并将数据特征/>作为全局卷积神经网络模型M⁰的输入进行模型训练，得到预测结果/>采用交叉熵损失函数，计算/>与标签/>之间的损失值/>通过损失值/>对模型M⁰的参数ω求偏导，得到梯度/>然后通过g_z′与/>的距离/>对模型的输入/>进行更新，得到/>的更新结果/>其中/> 分别表示图像数据特征、标签，/>与/>满足标准正态分布；

(5c)联邦服务器S判断迭代训练次数t＝T是否成立，若是，得到的更新结果即为梯度泄露攻击的结果，否则，令t＝t+1，/>并执行步骤(5b)。

2.根据权利要求1所述的一种采样聚合框架下的梯度泄露攻击方法，其特征在于，步骤(1)中所述的全局卷积神经网络模型结构，包括顺次连接的第一卷积层、激活函数层、第二卷积层、激活函数层、第三卷积层、激活函数层、全连接层，所述的全局卷积神经网络模型参数量M计算公式为：

M＝3×M_cov+3×M_sig+M_fc

M_cov＝size²×C_i×C₀+C

M_sig＝2×C_i

M_fc＝T_i×T₀+T

其中，M_cov表示卷积层参数量，size表示卷积核大小，C_i表示输入通道数，C₀表示输出通道数，C表示偏置项的参数量，M_sig表示激活函数层参数量，M_fc表示全连接层参数量，T_i表示输入向量的长度，T₀表示输出向量的长度，T表示偏置项的参数量。

3.根据权利要求1所述的一种采样聚合框架下的梯度泄露攻击方法，其特征在于，步骤(4a)中所述的联邦服务器S对每个客户端A_n上传的一轮的采样梯度向量进行聚合，实现步骤为：

(4a1)联邦服务器S将每个客户端A_n上传的采样梯度向量依据采样位置向量/>得到客户端A_n的M维梯度g_n′＝<g_n1′,g_n2′,…,g_nm′,…,g_nM′>，其中，g_nm′表示联邦服务器S接收到的客户端A_n第m个梯度元素；

(4a2)联邦服务器对N个客户端A的M维梯度g_n′进行安全聚合，得到聚合后梯度G＝<G₁,G₂,…,G_m,…,G_M>，其中，G_m表示联邦服务器S聚合后的第m个梯度元素：

其中∑表示求和操作。

4.根据权利要求1所述的一种采样聚合框架下的梯度泄露攻击方法，其特征在于，步骤(5b)中所述的通过g_z′与的距离/>对模型的输入/>进行更新，更新公式为：

其中，表示偏导操作，η表示学习率。