CN113361694B - 一种应用差分隐私保护的分层联邦学习方法及系统 - Google Patents

Abstract

一种应用差分隐私保护的分层联邦学习方法及系统，涉及联邦学习技术领域，用以解决现有的端‑边‑云分层联邦学习方法不能有效且严格地减少训练数据的隐私泄露风险。本发明技术要点包括：客户端进行本地模型训练、求解本地模型参数与隐私保护；边缘服务器对多个包含扰动保护的本地模型参数进行端‑边聚合与隐私保护；云服务器对多个包含扰动保护的边缘聚合参数进行边‑云聚合计算，获得全局模型参数；迭代执行上述步骤直至每个客户端的本地更新次数达到其预设的本地更新总次数后停止执行，完成分层联邦学习模型训练。本发明实现了在分层联邦学习景下有效且严格地减少训练数据的隐私泄露风险。

Description

一种应用差分隐私保护的分层联邦学习方法及系统

技术领域

本发明涉及联邦学习技术领域，具体涉及一种应用差分隐私保护的分层联邦学习方法及系统。

背景技术

近年来，存储在终端设备中的大量个人隐私数据通过相关算法进行分析与应用，进而加重了大数据驱动应用程序的隐私泄露程度。通过建立联合模型而不共享本地数据的联邦学习(Federated Learning,FL)方法，在一定程度上可以缓解隐私问题，避免用户的本地元数据泄露。其中，端-边-云分层联邦学习(Hierarchical Federated Learning,HFL)结合了端-边、端-云两层联邦学习的优点，辅以高效的客户端更新，减少了与云服务器的通信次数、运行时间和本地迭代次数，降低了参数聚合服务器单点故障的影响，训练数据集规模的增大可提高模型的推理性能。HFL更适合应用于实际的复杂异构系统，可同时考虑跨设备(cross device)和跨孤岛(cross silo)两种联邦学习模式。

尽管FL提供了改善客户端隐私的功能，但它没有从交互的数据层面实施安全保护，不能提供严格的隐私保证，恶意的服务器和客户端依然可以针对未保护的交互数据进行隐私攻击。例如，在训练过程期间交换的模型参数以及训练后模型的输出都是隐私攻击的目标。通过分析客户端训练和上传的参数的差异，在一定程度上敌手可以获取隐私信息。与FL传统架构一样，HFL架构也面临着隐私泄漏的隐患，不足以保护基础训练数据的隐私免受一些已知的推理攻击。因此，在HFL场景下，如何有效且严格地减少训练数据的隐私泄露风险这一问题更具有挑战性。

目前，隐私保护技术主要使用数据扰动和数据加密，其中，差分隐私(Differential Privacy,DP)的数据扰动技术被许多研究人员普遍视为隐私保护黄金标准技术，无论是从定性理论分析的角度，还是从各种DP实现机制的角度来看，将DP应用于复杂的分层体系结构以获取严格的隐私保证具有挑战性。

发明内容

鉴于以上问题，本发明提出一种应用差分隐私保护的分层联邦学习方法及系统，用以解决现有的端-边-云分层联邦学习方法不能有效且严格地减少训练数据的隐私泄露风险。

根据本发明一方面，提出一种应用差分隐私保护的分层联邦学习方法，分层联邦学习中包括云服务器、边缘服务器和客户端，所述云服务器连接多个边缘服务器，每个边缘服务器连接多个以树形结构组织的客户端；所述分层联邦学习方法包括下述步骤：

步骤一、客户端进行本地更新与隐私保护

首先，客户端利用本地训练数据集训练深度学习模型，对所述深度学习模型求解获得本地模型参数；

然后，对本地模型参数进行差分隐私处理，获得包含扰动保护的本地模型参数；

最后，将包含扰动保护的本地模型参数发送至相应的边缘服务器；

步骤二、边缘服务器进行端-边聚合与隐私保护

首先，边缘服务器对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算，获得边缘聚合参数，并将所述边缘聚合参数广播下发至客户端；

然后，对边缘聚合参数进行差分隐私处理，获得包含扰动保护的边缘聚合参数；

最后，将包含扰动保护的边缘聚合参数发送至云服务器；

步骤三、云服务器进行边-云聚合与全局模型参数下发

首先，云服务器对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算，获得全局模型参数；

然后，将所述全局模型参数广播下发至客户端；

步骤四、迭代执行上述步骤一至步骤三直至每个客户端的本地更新次数达到其预设的本地更新总次数后停止执行，完成分层联邦学习模型训练。

进一步地，步骤一中所述深度学习模型为卷积神经网络模型；对所述深度学习模型求解采用小批量随机梯度下降训练方法。

进一步地，步骤一中对本地模型参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据本地隐私参数计算客户端所添加噪声的本地标准差；然后，将所述本地标准差加入到求解获得的本地模型参数中，从而获得包含扰动保护的本地模型参数。

进一步地，步骤一中根据本地隐私参数计算客户端所添加噪声的本地标准差

的具体公式为：

其中，

表示端-边聚合过程的敏感度；q^l表示端-边聚合的客户端选择率；K表示客户端内本地更新总次数；k₁表示一轮端-边聚合内的本地更新次数；

表示本地隐私参数。

进一步地，步骤二中边缘服务器根据客户端本地训练数据集在对应的边缘服务器的总训练数据集的占比，以不同的权重对多个包含扰动保护的本地模型参数进行端-边聚合计算。

进一步地，步骤二中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差；然后，将所述边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中，从而获得包含扰动保护的边缘聚合参数。

进一步地，步骤二中根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σl的具体公式为：

其中，

是边-云聚合过程的敏感度；q^c表示边-云聚合的边缘服务器选择率；k₂表示一轮边-云聚合内的端-边聚合轮数；∈^l，δ^l表示边缘隐私参数。

根据本发明另一方面，提出一种应用差分隐私保护的分层联邦学习系统，所述分层联邦学习系统包括云服务器、边缘服务器和客户端，所述云服务器连接多个边缘服务器，每个边缘服务器连接多个以树形结构组织的客户端；其中，

所述客户端包括本地更新模块、本地隐私处理模块和第一通信模块；所述本地更新模块用于利用本地训练数据集训练深度学习模型，并对所述深度学习模型求解获得本地模型参数；所述本地隐私处理模块用于对本地模型参数进行差分隐私处理，获得包含扰动保护的本地模型参数；第一通信模块用于将包含扰动保护的本地模型参数发送至相应的边缘服务器，并接收边缘服务器下发的边缘聚合参数和云服务器下发的全局模型参数；

所述边缘服务器包括端-边聚合模块、边缘隐私处理模块和第二通信模块；所述端-边聚合模块用于对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算，获得边缘聚合参数；所述边缘隐私处理模块用于对边缘聚合参数进行差分隐私处理，获得包含扰动保护的边缘聚合参数；所述第二通信模块用于接收包含扰动保护的本地模型参数、将边缘聚合参数广播下发至客户端以及将包含扰动保护的边缘聚合参数发送至云服务器；

所述云服务器包括边-云聚合模块和第三通信模块；所述边-云聚合模块对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算，获得全局模型参数；所述第三通信模块用于接收包含扰动保护的边缘聚合参数和将所述全局模型参数广播下发至客户端。

进一步地，所述本地更新模块中所述深度学习模型为卷积神经网络模型，对所述深度学习模型求解采用小批量随机梯度下降训练方法；

所述本地隐私处理模块中对本地模型参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据本地隐私参数计算客户端所添加噪声的本地标准差

其具体公式为：

其中，

表示端-边聚合过程的敏感度；q^l表示端-边聚合的客户端选择率；K表示客户端内本地更新总次数；k₁表示一轮端-边聚合内的本地更新次数；

表示本地隐私参数；然后，将所述本地标准差加入到求解获得的本地模型参数中，从而获得包含扰动保护的本地模型参数；

进一步地，所述边缘隐私处理模块中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σ^l，其具体公式为：

其中，

是边-云聚合过程的敏感度；q^c表示边-云聚合的边缘服务器选择率；k₂表示一轮边-云聚合内的端-边聚合轮数；∈^l，δ^l表示边缘隐私参数；然后，将所述边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中，从而获得包含扰动保护的边缘聚合参数。

本发明的有益技术效果是：

本发明针对HFL场景确定威胁模型，通过松弛的雷尼差分隐私方法，分别在客户端和边缘端实施本地化差分隐私，量化隐私损失进行隐私分析，界定隐私泄露概率，设计了一种面向HFL的隐私保护方法。本发明实现了在HFL场景下有效且严格地减少了训练数据的隐私泄露风险，能够通过差分隐私保护实现用户端和边缘端的隐私保护，防止敌手在边缘聚合时或者云端聚合时从上传的模型参数数据逆向推理出用户端和边缘段的隐私信息；针对边缘域l中的客户端i及边缘端l，通过添加噪声实现可调节的隐私保护，避免隐私信息泄露，选取适合的隐私参数和相关超参数，提高分层联邦所训练模型的推理效用。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。

图1是本发明端-边-云分层联邦学习系统的通信示意图；

图2是本发明一种应用差分隐私保护的分层联邦学习方法的流程图；

图3是本发明中HFL-DP训练模型的效用对比图；

图4是本发明中隐私预算对于模型效用的影响对比图；

图5是本发明中随机选择率对于模型效用的影响对比图；

图6是本发明中客户端和边缘服务器的数量对于模型效用的影响对比图；

图7是本发明中聚合轮次对于模型效用的影响对比图；

图8是本发明中学习率及batch大小对于模型效用的影响对比图；

图9是本发明一种应用差分隐私保护的分层联邦学习系统的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。

在分层联邦学习系统中，三种实体位于三个逻辑层中，如图1所示，云服务器作为根节点连接中间层的多个边缘服务器，每个边缘服务器都连接到以树形结构组织的客户端。根据不同的存储和计算要求，客户端可以是移动终端设备或笔记本。客户端的本地模型更新将发送到边缘层，并由相应的边缘服务器进行聚合，聚合过程在云服务器及边缘层上迭代继续。在将模型更新发送到上层之前，不同层之间的聚合数可以不同。聚合后，全局模型参数沿着层次结构从云向下传输到客户端。

在HFL系统中，有一个云服务器，由l索引的L个边缘服务器具有不相交的客户端集合

由i和l索引的N个客户端分布着训练数据集

表示为边缘域l中的聚合数据集，每个边缘服务器从其域内的客户端聚合模型。表1总结了本发明HFL-DP中使用的主要符号。

表1主要符号表

HFL实际上要分别在两个不同层面进行FL，但两层FL又不是完全独立的，而是协同完成的。首先简单对FL进行形式化表示，w是所学习模型的参数向量，第m个输入样本用x_m表示，相应的标签用y_m表示，训练数据集用

表示，训练样本的总数为

损失函数计算第m个数据样本训练模型后的预测误差，表示为f(x_m,y_m,w)或f_m(w)。根据训练数据集使总损失F(w)最小化的训练过程如公式(1)所示。

损失函数F(w)可以是凸函数，也可以是非凸函数，这里使用梯度下降法，梯度下降法通常可以解决复杂的学习问题。用k表示每个客户端上的本地更新次数的索引，用g(k)表示在第k个更新中损失函数F(w(k))的梯度，梯度下降步长(学习率)为η，然后更新模型参数过程如公式(2)所示。

聚合服务器无法直接访问客户端数据集，将数据集以

分配给个N客户端，其中

由于数据分布无法直接计算全局损失F(w)，但是可以通过加权平均局部损失函数F_i(w)来计算它。F(w)和F_i(w)如公式(3)和(4)所示。

特别地，w是第k个局部更新中的全局模型参数，如公式(5)表示。

依照上述FL的形式化表示，HFL过程的形式化表示如公式(6)所示。

在上述过程的威胁模型中，客户端、边缘服务器和云服务器都是半诚实的(Semi-honest)，这意味着它们将严格遵循分层联邦学习的协议过程，但可能会从训练数据集中推断出隐私信息。如果好奇的对手具有复杂的技术能力和大量的计算资源，则可以进行推理攻击。具体而言，通过观察模型更新的差异，对手可以发起隐私攻击，推断出大量的隐私信息，例如成员推理攻击和属性推理攻击。更严重的攻击是好奇的攻击者无需任何有关训练集的先验知识，就可以从更新的梯度中推断出标签并恢复原始训练样本。但是，三种实体不会合谋进行攻击。

因此，本发明提出一种应用差分隐私保护的分层联邦学习方法，实际上是一种面向分层联邦学习的差分隐私保护方法设计，即在分层联邦学习中，为了保护上传参数中的隐私信息，提出图2所示的HFL-DP方法。

基于雷尼差分隐私(Rényi Differential Privacy,RDP)的矩统计(MomentAccounting，MA)方法，使用

保护边缘域l中的客户端i的隐私信息，使用(∈^l,δ^l)-DP保护边缘服务器l的隐私信息，在算法1中概述了HFL-DP过程，以训练有效的全局模型。可以注意到，使用本地差分隐私(Local DP,LDP)的隐私保护思路，所有客户端都有自己的本地隐私参数

和

每个边缘服务器l也都有边缘隐私参数∈^l和δ^l。算法1的伪代码如下所示。

HFL-DP方法根据模型参数在不同位置主要有三大步骤：客户端本地更新与隐私保护、边缘服务器进行端-边聚合与隐私保护、云服务器进行边-云聚合与新全局模型参数下发。

(1)客户端本地更新与隐私保护

首先，云服务器通过边缘服务器向所有客户端广播w(0)和K。在每个本地更新中，客户端都会在本地数据集中训练模型。在边缘域l中的客户端i上训练第k次(当k是k₁的倍数)本地更新时，本地更新的梯度会用过阈值

进行剪裁，梯度扰动将被执行实现LDP。裁剪本地梯度后，客户端

将为经训练的平均梯度添加噪声，根据隐私参数

客户端和边缘服务器之间的客户端选择率q^c，以及[K/k₁](边缘聚合的总次数)，由公式(11)计算本地扰动噪声的标准差(本地标准差)

在每个客户端上，每k₁个本地更新之后，S^l个客户端模型的模型参数将在每个边缘服务器上聚合。受保护的参数

在完成聚合之前由所有选定的客户端上传到边缘服务器。

(2)边缘服务器进行端-边聚合与隐私保护

接下来，根据客户端训练数据集在边缘域中总训练数据集的占比，边缘服务器以不同的权重聚合客户端本地模型参数，聚合计算边缘域l内的模型参数(边缘聚合参数)w^l(k)，并将其广播下发给其域内的客户端。在边-云聚合之前，边缘服务器上传的模型参数将再次添加噪声，实现LDP保护，根据隐私参数(∈^l,δ^l)，边缘服务器l、云服务器之间的边缘聚合节点选择率q^l，以及[K/k₁k₂](边-云聚合的总次数)，由公式(12)计算边缘层扰动噪声的标准差(边缘标准差)σ^l。

(3)云服务器进行边-云聚合与全局模型参数下发

在每k₂次边缘层中的端-边聚合完成之后，根据边缘域内训练数据集在总训练数据集中的占比，云服务器以不同的权重聚合边缘节点的模型参数，计算聚合参数即全局模型参数w(k)，并将其广播下发给客户端，这也意味着每进行k₁k₂次的本地更新，客户端和云之间的通信就进行一次。

在选取适当的隐私参数和相关超参数的条件下，迭代执行上述三个步骤直至每个客户端完成K次本地更新后停止执行，完成分层联邦学习模型训练。

由于两次噪声干扰，诚实但好奇的敌手很难在边缘域l中推断出客户端i的隐私信息。这种情况下，为了有效地保护边缘域l和边缘服务器l中的客户端i的隐私，

和σ^l将在以下部分中根据松弛DP的矩统计方法进行量化与分析。

在计算随机噪声的标准差

σ^l之前，由于矩统计方法是该分析过程的指导理论基础，因此简单概述一下其内容。

为了限制DP组成的累积隐私丢失，受松弛DP定义的启发，Abadi提出了矩统计方法。矩统计方法可以视为RDP的一个实例应用方法，实际上，约束矩的定义与Rényi散度相似。因为在进行DP组成时，矩统计方法可以在不同时刻跟踪确定隐私损失随机变量的界限值。隐私损失实际上就是在邻居数据集输出结果的两次分布差异量，该差异通过Rényi散度进行量化，是一个满足亚高斯分布的随机变量；然后计算该随机变量的矩母函数的对数值，结合马尔可夫不等式，推出矩母函数；进一步再次计算隐私损失超过隐私预算∈的概率值，这个概率值要求不能超过DP隐私泄露概率δ，通过计算矩母函数的最小值进而确定δ的界限，而δ决定了加入噪声σ的大小，最终通过高斯机制函数敏感度的二范数和δ来计算噪声的大小σ。

使用高斯机制，可以在t(t≤[K/k1])轮客户端和边缘服务器通信之后，在边缘域l中定义客户端i的隐私丢失，如公式(7)所示，其中公式(8)是矩生成函数α(λ)的计算方法。

公式(8)中，λ是正整数，v₀表示

的高斯概率密度函数，v₁表示两个高斯分布的叠加，表示为

表示本地训练过程

的敏感度，q是随机选择率。

和

的表达式如公式(9)和(10)。

但是，只有满足严格的约束条件

α(λ)≤q²λ(λ+1)/(1-q)σ²+O(q³/σ³)才成立。为了放松q的约束条件，使得

和

满足

可以推导出来

基于此，可以通过限制

来计算隐私损失的边界值。

基于矩统计的限制和联邦学习过程的敏感度，根据q(q＝q^l)和通信轮数t(t≤[K/k₁])，可以为边缘域l中的客户端i设计高斯机制

满足

要求。在端-边聚合过程中，客户端需要在上传模型参数前添加噪声，给定客户选择率q^l和通信回合数[K/k₁]，以保证边缘域l中的客户端i的

经过推导，高斯机制的

可以由公式(11)计算。

其中，

是端-边聚合过程的敏感度，

表示客户端本地训练过程。因此，可以选择

来保证

在边缘服务器聚合过程中的隐私安全。

同理，可以推导出边-云聚合过程中隐私保护噪声的标准差σ^l，如公式(12)所示。

其中，

是边-云聚合过程的敏感度。

函数敏感度的计算公式如公式(13)所示，其中，

是联邦学习机制，数据集D和D′相差一条数据。

假设训练样本的数量等于本地训练的batch大小，可以得到两个聚合过程的函数敏感度界限值，如公式(14)所示。

进一步通过下述实验对本发明技术效果进行验证。

将本发明HFL-DP方法应用于图像分类任务进行测试，分别在MNIST和CIFAR-10上进行了卷积神经网络(Convolutional Neural Networks,CNN)的训练，MNIST数据集包含70000张灰度的手写体数字图像；CIFAR-10数据集包含10类RGB彩色图像，这10类图像为飞机、汽车、鸟、鹿、猫、狗、青蛙、马、船和卡车。实验中的CNN由两个卷积层组成，包含ReLU和10类的softmax，使用交叉熵损失函数。客户端本地更新使用小批量随机梯度下降(mini-batch SGD)的训练方法，在数据分布上，客户端中的数据是独立同分布的。在该仿真实验中，假设在所有同一层的客户端和边缘服务器上，其参数相同。对于MNIST数据集，设置其batch大小为50，学习率为0.01；设置N＝100，L＝10，K＝120，k₁＝3，k₂＝2，

∈^l＝0.01，

以及q^l＝q^c＝1。对于CIFAR-10数据集，设置其batch大小为10，学习率为0.001。

实验从HFL-DP训练模型的模型效用测试与不同参数对于HFL-DP模型效用的探讨，检验HFL-DP训练模型的可用性，并进行优化。

将本发明方法所训练的模型与非隐私保护模型在两个数据集上进行了比较，以说明隐私保护的有效性以及模型效用的损失。图3展现了不同训练轮次的全局模型效用结果，这也证明了HFL-DP是可收敛的，并且隐私保护效果存在；MNIST和CIFAR-10数据集分别经过120次本地训练和180次本地训练，表2展示了其全局模型的效用损失，经过HFL-DP训练，模型损失分别为4.68％和7.15％。

表2 HFL-DP训练模型的效用损失

接下来，希望尽可能在隐私保护的前提下，提高训练模型的效用，所以通过控制变量法来探讨不同的因素参数对于隐私保护模型效用的影响，包括隐私预算、随机选择率、客户端和边缘节点的数量、聚合轮次、训练batch大小以及学习率六个方面。

全局模型的效用由多个因素决定，需要仔细分析以获得更好的效用。该实验由于训练任务庞大，所以主要在MNIST数据集上进行模型训练，以缩短训练任务成本和时间损耗。图4展现了两层隐私保护的模型效用情况，随着∈的增大，全局模型的效用会变得更好，这符合基本理论。特别地，

的值不能太小，否则噪声扰动严重，模型将不会收敛。需要注意的是，隐私预算∈的取值与学习率η成正比。例如，当

时，为了获得良好的模型效用，η＝0.01，当

η＝0.001。

图5展示了客户端和边缘服务器的随机选择率对于模型效用的影响，其中，客户端选择率的影响程度大于边缘服务器的影响程度，并且随着客户端选择率的增大，有更多的客户端参与训练，训练数据集规模增大，训练后的模型可以快速地达到更好的效用。

图6展示了客户端和边缘服务器数量对模型效用的影响，分析其变化，可以推断出，在保护隐私有信息的同时，在训练集规模大小固定的情况下，固定客户端层和边缘层其中的一层数量，节点数量越少，训练全局模型的全局模型效用越好。

k₁和k₂也会影响全局模型的性能，如图7所示，较大的k₁和较小的k₂可以实现效用更好的全局模型，这意味着本地客户可以有更多机会进行本地更新学习且避免有更多的噪音干扰。

最后，图8显示了学习率及batch大小对于模型效用的影响，由图8可以发现较小的剪裁阈值和batch有助于提高全局模型的性能。

综上所述，本发明中首先确定威胁模型，选取适当的松弛差分隐私方法，量化隐私损失，提高模型的推理精准度，设计了一种面向HFL的隐私保护方法，进行隐私分析；同时，综合考虑隐私相关参数，并探讨了隐私相关参数和模型推理性能的平衡关系，以达到最优的模型推理效果。

根据本发明另一实施例，提出一种应用差分隐私保护的分层联邦学习系统，如图9所示，分层联邦学习系统包括云服务器1、边缘服务器2和客户端3，云服务器1连接多个边缘服务器2，每个边缘服务器2连接多个以树形结构组织的客户端3；其中，

客户端3包括本地更新模块31、本地隐私处理模块32和第一通信模块33；本地更新模块31用于利用本地训练数据集训练深度学习模型，并对深度学习模型求解获得本地模型参数；本地隐私处理模块32用于对本地模型参数进行差分隐私处理，获得包含扰动保护的本地模型参数；第一通信模块33用于将包含扰动保护的本地模型参数发送至相应的边缘服务器2，并接收边缘服务器2下发的边缘聚合参数和云服务器1下发的全局模型参数；

边缘服务器2包括端-边聚合模块21、边缘隐私处理模块22和第二通信模块23；端-边聚合模块21用于对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算，获得边缘聚合参数；边缘隐私处理模块22用于对边缘聚合参数进行差分隐私处理，获得包含扰动保护的边缘聚合参数；第二通信模块23用于接收包含扰动保护的本地模型参数、将边缘聚合参数广播下发至客户端3以及将包含扰动保护的边缘聚合参数发送至云服务器1；

云服务器1包括边-云聚合模块11和第三通信模块12；边-云聚合模块11对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算，获得全局模型参数；第三通信模块12用于接收包含扰动保护的边缘聚合参数和将全局模型参数广播下发至客户端3。

进一步地，本地更新模块31中深度学习模型为卷积神经网络模型，对深度学习模型求解采用小批量随机梯度下降训练方法；

本地隐私处理模块32中对本地模型参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据本地隐私参数计算客户端所添加噪声的本地标准差

其具体公式为：

其中，

表示端-边聚合过程的敏感度；q^l表示端-边聚合的客户端选择率；K表示客户端内本地更新总次数；k1表示一轮端-边聚合内的本地更新次数；

表示本地隐私参数；然后，将本地标准差加入到求解获得的本地模型参数中，从而获得包含扰动保护的本地模型参数；

进一步地，边缘隐私处理模块22中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σ^l，其具体公式为：

其中，

是边-云聚合过程的敏感度；q^c表示边-云聚合的边缘服务器选择率；k₂表示一轮边-云聚合内的端-边聚合轮数；∈^l，δ^l表示边缘隐私参数；然后，将边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中，从而获得包含扰动保护的边缘聚合参数。

本发明实施例一种应用差分隐私保护的分层联邦学习系统的功能可以由前述一种应用差分隐私保护的分层联邦学习方法说明，因此系统实施例未详述部分，可参见以上方法实施例，在此不再赘述。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (6)

1.一种应用差分隐私保护的分层联邦学习方法，其特征在于，分层联邦学习中包括云服务器、边缘服务器和客户端，所述云服务器连接多个边缘服务器，每个边缘服务器连接多个以树形结构组织的客户端；所述分层联邦学习方法包括下述步骤：

步骤一、客户端进行本地更新与隐私保护

首先，客户端利用本地训练数据集训练深度学习模型，采用小批量随机梯度下降训练方法对所述深度学习模型求解获得本地模型参数；所述深度学习模型为卷积神经网络模型；

然后，基于雷尼差分隐私的矩统计方法对本地模型参数进行差分隐私处理，获得包含扰动保护的本地模型参数；具体包括：根据本地隐私参数计算客户端所添加噪声的本地标准差；将所述本地标准差加入到求解获得的本地模型参数中，从而获得包含扰动保护的本地模型参数；其中，本地标准差

的具体公式为：

其中，

表示端-边聚合过程的敏感度；q^l表示端-边聚合的客户端选择率；K表示客户端内本地更新总次数；k₁表示一轮端-边聚合内的本地更新次数；

表示本地隐私参数；最后，将包含扰动保护的本地模型参数发送至相应的边缘服务器；

步骤二、边缘服务器进行端-边聚合与隐私保护

首先，边缘服务器对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算，获得边缘聚合参数，并将所述边缘聚合参数广播下发至客户端；

然后，对边缘聚合参数进行差分隐私处理，获得包含扰动保护的边缘聚合参数；

最后，将包含扰动保护的边缘聚合参数发送至云服务器；

步骤三、云服务器进行边-云聚合与全局模型参数下发

首先，云服务器对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算，获得全局模型参数；

然后，将所述全局模型参数广播下发至客户端；

步骤四、迭代执行上述步骤一至步骤三直至每个客户端的本地更新次数达到其预设的本地更新总次数后停止执行，完成分层联邦学习模型训练。

2.根据权利要求1所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤二中边缘服务器根据客户端本地训练数据集在对应的边缘服务器的总训练数据集的占比，以不同的权重对多个包含扰动保护的本地模型参数进行端-边聚合计算。

3.根据权利要求2所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤二中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差；然后，将所述边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中，从而获得包含扰动保护的边缘聚合参数。

4.根据权利要求3所述的一种应用差分隐私保护的分层联邦学习方法，其特征在于，步骤二中根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σ^l的具体公式为：

其中，

是边-云聚合过程的敏感度；q^c表示边-云聚合的边缘服务器选择率；k₂表示一轮边-云聚合内的端-边聚合轮数；∈^l，δ^l表示边缘隐私参数。

5.一种应用差分隐私保护的分层联邦学习系统，其特征在于，所述分层联邦学习系统包括云服务器、边缘服务器和客户端，所述云服务器连接多个边缘服务器，每个边缘服务器连接多个以树形结构组织的客户端；其中，

所述客户端包括本地更新模块、本地隐私处理模块和第一通信模块；

所述本地更新模块用于利用本地训练数据集训练深度学习模型，并采用小批量随机梯度下降训练方法对所述深度学习模型求解获得本地模型参数；所述深度学习模型为卷积神经网络模型；

所述本地隐私处理模块用于基于雷尼差分隐私的矩统计方法对本地模型参数进行差分隐私处理，获得包含扰动保护的本地模型参数；具体包括：首先，根据本地隐私参数计算客户端所添加噪声的本地标准差

其具体公式为：

其中，

表示端-边聚合过程的敏感度；q^l表示端-边聚合的客户端选择率；K表示客户端内本地更新总次数；k₁表示一轮端-边聚合内的本地更新次数；

表示本地隐私参数；然后，将所述本地标准差加入到求解获得的本地模型参数中，从而获得包含扰动保护的本地模型参数；

第一通信模块用于将包含扰动保护的本地模型参数发送至相应的边缘服务器，并接收边缘服务器下发的边缘聚合参数和云服务器下发的全局模型参数；

所述边缘服务器包括端-边聚合模块、边缘隐私处理模块和第二通信模块；

所述端-边聚合模块用于对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算，获得边缘聚合参数；所述边缘隐私处理模块用于对边缘聚合参数进行差分隐私处理，获得包含扰动保护的边缘聚合参数；所述第二通信模块用于接收包含扰动保护的本地模型参数、将边缘聚合参数广播下发至客户端以及将包含扰动保护的边缘聚合参数发送至云服务器；

所述云服务器包括边-云聚合模块和第三通信模块；

所述边-云聚合模块对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算，获得全局模型参数；所述第三通信模块用于接收包含扰动保护的边缘聚合参数和将所述全局模型参数广播下发至客户端。

6.根据权利要求5所述的一种应用差分隐私保护的分层联邦学习系统，其特征在于，所述边缘隐私处理模块中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法，具体步骤包括：首先，根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σ^l，其具体公式为：

其中，

是边-云聚合过程的敏感度；q^c表示边-云聚合的边缘服务器选择率；k₂表示一轮边-云聚合内的端-边聚合轮数；∈^l，δ^l表示边缘隐私参数；

然后，将所述边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中，从而获得包含扰动保护的边缘聚合参数。

Images