CN113361694A - 一种应用差分隐私保护的分层联邦学习方法及系统 - Google Patents
一种应用差分隐私保护的分层联邦学习方法及系统 Download PDFInfo
- Publication number
- CN113361694A CN113361694A CN202110740543.7A CN202110740543A CN113361694A CN 113361694 A CN113361694 A CN 113361694A CN 202110740543 A CN202110740543 A CN 202110740543A CN 113361694 A CN113361694 A CN 113361694A
- Authority
- CN
- China
- Prior art keywords
- edge
- local
- aggregation
- privacy
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000002776 aggregation Effects 0.000 claims abstract description 140
- 238000004220 aggregation Methods 0.000 claims abstract description 140
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 24
- 238000013136 deep learning model Methods 0.000 claims description 20
- 230000035945 sensitivity Effects 0.000 claims description 16
- 238000007619 statistical method Methods 0.000 claims description 13
- 238000006116 polymerization reaction Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 241000269350 Anura Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Bioethics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种应用差分隐私保护的分层联邦学习方法及系统,涉及联邦学习技术领域,用以解决现有的端‑边‑云分层联邦学习方法不能有效且严格地减少训练数据的隐私泄露风险。本发明技术要点包括:客户端进行本地模型训练、求解本地模型参数与隐私保护;边缘服务器对多个包含扰动保护的本地模型参数进行端‑边聚合与隐私保护;云服务器对多个包含扰动保护的边缘聚合参数进行边‑云聚合计算,获得全局模型参数;迭代执行上述步骤直至每个客户端的本地更新次数达到其预设的本地更新总次数后停止执行,完成分层联邦学习模型训练。本发明实现了在分层联邦学习景下有效且严格地减少训练数据的隐私泄露风险。
Description
技术领域
本发明涉及联邦学习技术领域,具体涉及一种应用差分隐私保护的分层联邦学习方法及系统。
背景技术
近年来,存储在终端设备中的大量个人隐私数据通过相关算法进行分析与应用,进而加重了大数据驱动应用程序的隐私泄露程度。通过建立联合模型而不共享本地数据的联邦学习(Federated Learning,FL)方法,在一定程度上可以缓解隐私问题,避免用户的本地元数据泄露。其中,端-边-云分层联邦学习(Hierarchical Federated Learning,HFL)结合了端-边、端-云两层联邦学习的优点,辅以高效的客户端更新,减少了与云服务器的通信次数、运行时间和本地迭代次数,降低了参数聚合服务器单点故障的影响,训练数据集规模的增大可提高模型的推理性能。HFL更适合应用于实际的复杂异构系统,可同时考虑跨设备(cross device)和跨孤岛(cross silo)两种联邦学习模式。
尽管FL提供了改善客户端隐私的功能,但它没有从交互的数据层面实施安全保护,不能提供严格的隐私保证,恶意的服务器和客户端依然可以针对未保护的交互数据进行隐私攻击。例如,在训练过程期间交换的模型参数以及训练后模型的输出都是隐私攻击的目标。通过分析客户端训练和上传的参数的差异,在一定程度上敌手可以获取隐私信息。与FL传统架构一样,HFL架构也面临着隐私泄漏的隐患,不足以保护基础训练数据的隐私免受一些已知的推理攻击。因此,在HFL场景下,如何有效且严格地减少训练数据的隐私泄露风险这一问题更具有挑战性。
目前,隐私保护技术主要使用数据扰动和数据加密,其中,差分隐私(Differential Privacy,DP)的数据扰动技术被许多研究人员普遍视为隐私保护黄金标准技术,无论是从定性理论分析的角度,还是从各种DP实现机制的角度来看,将DP应用于复杂的分层体系结构以获取严格的隐私保证具有挑战性。
发明内容
鉴于以上问题,本发明提出一种应用差分隐私保护的分层联邦学习方法及系统,用以解决现有的端-边-云分层联邦学习方法不能有效且严格地减少训练数据的隐私泄露风险。
根据本发明一方面,提出一种应用差分隐私保护的分层联邦学习方法,分层联邦学习中包括云服务器、边缘服务器和客户端,所述云服务器连接多个边缘服务器,每个边缘服务器连接多个以树形结构组织的客户端;所述分层联邦学习方法包括下述步骤:
步骤一、客户端进行本地更新与隐私保护
首先,客户端利用本地训练数据集训练深度学习模型,对所述深度学习模型求解获得本地模型参数;
然后,对本地模型参数进行差分隐私处理,获得包含扰动保护的本地模型参数;
最后,将包含扰动保护的本地模型参数发送至相应的边缘服务器;
步骤二、边缘服务器进行端-边聚合与隐私保护
首先,边缘服务器对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算,获得边缘聚合参数,并将所述边缘聚合参数广播下发至客户端;
然后,对边缘聚合参数进行差分隐私处理,获得包含扰动保护的边缘聚合参数;
最后,将包含扰动保护的边缘聚合参数发送至云服务器;
步骤三、云服务器进行边-云聚合与全局模型参数下发
首先,云服务器对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算,获得全局模型参数;
然后,将所述全局模型参数广播下发至客户端;
步骤四、迭代执行上述步骤一至步骤三直至每个客户端的本地更新次数达到其预设的本地更新总次数后停止执行,完成分层联邦学习模型训练。
进一步地,步骤一中所述深度学习模型为卷积神经网络模型;对所述深度学习模型求解采用小批量随机梯度下降训练方法。
进一步地,步骤一中对本地模型参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法,具体步骤包括:首先,根据本地隐私参数计算客户端所添加噪声的本地标准差;然后,将所述本地标准差加入到求解获得的本地模型参数中,从而获得包含扰动保护的本地模型参数。
进一步地,步骤二中边缘服务器根据客户端本地训练数据集在对应的边缘服务器的总训练数据集的占比,以不同的权重对多个包含扰动保护的本地模型参数进行端-边聚合计算。
进一步地,步骤二中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法,具体步骤包括:首先,根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差;然后,将所述边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中,从而获得包含扰动保护的边缘聚合参数。
进一步地,步骤二中根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σl的具体公式为:
根据本发明另一方面,提出一种应用差分隐私保护的分层联邦学习系统,所述分层联邦学习系统包括云服务器、边缘服务器和客户端,所述云服务器连接多个边缘服务器,每个边缘服务器连接多个以树形结构组织的客户端;其中,
所述客户端包括本地更新模块、本地隐私处理模块和第一通信模块;所述本地更新模块用于利用本地训练数据集训练深度学习模型,并对所述深度学习模型求解获得本地模型参数;所述本地隐私处理模块用于对本地模型参数进行差分隐私处理,获得包含扰动保护的本地模型参数;第一通信模块用于将包含扰动保护的本地模型参数发送至相应的边缘服务器,并接收边缘服务器下发的边缘聚合参数和云服务器下发的全局模型参数;
所述边缘服务器包括端-边聚合模块、边缘隐私处理模块和第二通信模块;所述端-边聚合模块用于对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算,获得边缘聚合参数;所述边缘隐私处理模块用于对边缘聚合参数进行差分隐私处理,获得包含扰动保护的边缘聚合参数;所述第二通信模块用于接收包含扰动保护的本地模型参数、将边缘聚合参数广播下发至客户端以及将包含扰动保护的边缘聚合参数发送至云服务器;
所述云服务器包括边-云聚合模块和第三通信模块;所述边-云聚合模块对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算,获得全局模型参数;所述第三通信模块用于接收包含扰动保护的边缘聚合参数和将所述全局模型参数广播下发至客户端。
进一步地,所述本地更新模块中所述深度学习模型为卷积神经网络模型,对所述深度学习模型求解采用小批量随机梯度下降训练方法;
其中,表示端-边聚合过程的敏感度;ql表示端-边聚合的客户端选择率;K表示客户端内本地更新总次数;k1表示一轮端-边聚合内的本地更新次数;表示本地隐私参数;然后,将所述本地标准差加入到求解获得的本地模型参数中,从而获得包含扰动保护的本地模型参数;
进一步地,所述边缘隐私处理模块中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法,具体步骤包括:首先,根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σl,其具体公式为:
其中,是边-云聚合过程的敏感度;qc表示边-云聚合的边缘服务器选择率;k2表示一轮边-云聚合内的端-边聚合轮数;∈l,δl表示边缘隐私参数;然后,将所述边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中,从而获得包含扰动保护的边缘聚合参数。
本发明的有益技术效果是:
本发明针对HFL场景确定威胁模型,通过松弛的雷尼差分隐私方法,分别在客户端和边缘端实施本地化差分隐私,量化隐私损失进行隐私分析,界定隐私泄露概率,设计了一种面向HFL的隐私保护方法。本发明实现了在HFL场景下有效且严格地减少了训练数据的隐私泄露风险,能够通过差分隐私保护实现用户端和边缘端的隐私保护,防止敌手在边缘聚合时或者云端聚合时从上传的模型参数数据逆向推理出用户端和边缘段的隐私信息;针对边缘域l中的客户端i及边缘端l,通过添加噪声实现可调节的隐私保护,避免隐私信息泄露,选取适合的隐私参数和相关超参数,提高分层联邦所训练模型的推理效用。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明端-边-云分层联邦学习系统的通信示意图;
图2是本发明一种应用差分隐私保护的分层联邦学习方法的流程图;
图3是本发明中HFL-DP训练模型的效用对比图;
图4是本发明中隐私预算对于模型效用的影响对比图;
图5是本发明中随机选择率对于模型效用的影响对比图;
图6是本发明中客户端和边缘服务器的数量对于模型效用的影响对比图;
图7是本发明中聚合轮次对于模型效用的影响对比图;
图8是本发明中学习率及batch大小对于模型效用的影响对比图;
图9是本发明一种应用差分隐私保护的分层联邦学习系统的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然,所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例,而不是全部的。基于本发明中的实施方式或实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例,都应当属于本发明保护的范围。
在分层联邦学习系统中,三种实体位于三个逻辑层中,如图1所示,云服务器作为根节点连接中间层的多个边缘服务器,每个边缘服务器都连接到以树形结构组织的客户端。根据不同的存储和计算要求,客户端可以是移动终端设备或笔记本。客户端的本地模型更新将发送到边缘层,并由相应的边缘服务器进行聚合,聚合过程在云服务器及边缘层上迭代继续。在将模型更新发送到上层之前,不同层之间的聚合数可以不同。聚合后,全局模型参数沿着层次结构从云向下传输到客户端。
在HFL系统中,有一个云服务器,由l索引的L个边缘服务器具有不相交的客户端集合由i和l索引的N个客户端分布着训练数据集 表示为边缘域l中的聚合数据集,每个边缘服务器从其域内的客户端聚合模型。表1总结了本发明HFL-DP中使用的主要符号。
表1主要符号表
HFL实际上要分别在两个不同层面进行FL,但两层FL又不是完全独立的,而是协同完成的。首先简单对FL进行形式化表示,w是所学习模型的参数向量,第m个输入样本用xm表示,相应的标签用ym表示,训练数据集用表示,训练样本的总数为损失函数计算第m个数据样本训练模型后的预测误差,表示为f(xm,ym,w)或fm(w)。根据训练数据集使总损失F(w)最小化的训练过程如公式(1)所示。
损失函数F(w)可以是凸函数,也可以是非凸函数,这里使用梯度下降法,梯度下降法通常可以解决复杂的学习问题。用k表示每个客户端上的本地更新次数的索引,用g(k)表示在第k个更新中损失函数F(w(k))的梯度,梯度下降步长(学习率)为η,然后更新模型参数过程如公式(2)所示。
聚合服务器无法直接访问客户端数据集,将数据集以分配给个N客户端,其中由于数据分布无法直接计算全局损失F(w),但是可以通过加权平均局部损失函数Fi(w)来计算它。F(w)和Fi(w)如公式(3)和(4)所示。
特别地,w是第k个局部更新中的全局模型参数,如公式(5)表示。
依照上述FL的形式化表示,HFL过程的形式化表示如公式(6)所示。
在上述过程的威胁模型中,客户端、边缘服务器和云服务器都是半诚实的(Semi-honest),这意味着它们将严格遵循分层联邦学习的协议过程,但可能会从训练数据集中推断出隐私信息。如果好奇的对手具有复杂的技术能力和大量的计算资源,则可以进行推理攻击。具体而言,通过观察模型更新的差异,对手可以发起隐私攻击,推断出大量的隐私信息,例如成员推理攻击和属性推理攻击。更严重的攻击是好奇的攻击者无需任何有关训练集的先验知识,就可以从更新的梯度中推断出标签并恢复原始训练样本。但是,三种实体不会合谋进行攻击。
因此,本发明提出一种应用差分隐私保护的分层联邦学习方法,实际上是一种面向分层联邦学习的差分隐私保护方法设计,即在分层联邦学习中,为了保护上传参数中的隐私信息,提出图2所示的HFL-DP方法。
基于雷尼差分隐私(Rényi Differential Privacy,RDP)的矩统计(MomentAccounting,MA)方法,使用保护边缘域l中的客户端i的隐私信息,使用(∈l,δl)-DP保护边缘服务器l的隐私信息,在算法1中概述了HFL-DP过程,以训练有效的全局模型。可以注意到,使用本地差分隐私(Local DP,LDP)的隐私保护思路,所有客户端都有自己的本地隐私参数和每个边缘服务器l也都有边缘隐私参数∈l和δl。算法1的伪代码如下所示。
HFL-DP方法根据模型参数在不同位置主要有三大步骤:客户端本地更新与隐私保护、边缘服务器进行端-边聚合与隐私保护、云服务器进行边-云聚合与新全局模型参数下发。
(1)客户端本地更新与隐私保护
首先,云服务器通过边缘服务器向所有客户端广播w(0)和K。在每个本地更新中,客户端都会在本地数据集中训练模型。在边缘域l中的客户端i上训练第k次(当k是k1的倍数)本地更新时,本地更新的梯度会用过阈值进行剪裁,梯度扰动将被执行实现LDP。裁剪本地梯度后,客户端将为经训练的平均梯度添加噪声,根据隐私参数客户端和边缘服务器之间的客户端选择率qc,以及[K/k1](边缘聚合的总次数),由公式(11)计算本地扰动噪声的标准差(本地标准差)在每个客户端上,每k1个本地更新之后,Sl个客户端模型的模型参数将在每个边缘服务器上聚合。受保护的参数在完成聚合之前由所有选定的客户端上传到边缘服务器。
(2)边缘服务器进行端-边聚合与隐私保护
接下来,根据客户端训练数据集在边缘域中总训练数据集的占比,边缘服务器以不同的权重聚合客户端本地模型参数,聚合计算边缘域l内的模型参数(边缘聚合参数)wl(k),并将其广播下发给其域内的客户端。在边-云聚合之前,边缘服务器上传的模型参数将再次添加噪声,实现LDP保护,根据隐私参数(∈l,δl),边缘服务器l、云服务器之间的边缘聚合节点选择率ql,以及[K/k1k2](边-云聚合的总次数),由公式(12)计算边缘层扰动噪声的标准差(边缘标准差)σl。
(3)云服务器进行边-云聚合与全局模型参数下发
在每k2次边缘层中的端-边聚合完成之后,根据边缘域内训练数据集在总训练数据集中的占比,云服务器以不同的权重聚合边缘节点的模型参数,计算聚合参数即全局模型参数w(k),并将其广播下发给客户端,这也意味着每进行k1k2次的本地更新,客户端和云之间的通信就进行一次。
在选取适当的隐私参数和相关超参数的条件下,迭代执行上述三个步骤直至每个客户端完成K次本地更新后停止执行,完成分层联邦学习模型训练。
由于两次噪声干扰,诚实但好奇的敌手很难在边缘域l中推断出客户端i的隐私信息。这种情况下,为了有效地保护边缘域l和边缘服务器l中的客户端i的隐私,和σl将在以下部分中根据松弛DP的矩统计方法进行量化与分析。
为了限制DP组成的累积隐私丢失,受松弛DP定义的启发,Abadi提出了矩统计方法。矩统计方法可以视为RDP的一个实例应用方法,实际上,约束矩的定义与Rényi散度相似。因为在进行DP组成时,矩统计方法可以在不同时刻跟踪确定隐私损失随机变量的界限值。隐私损失实际上就是在邻居数据集输出结果的两次分布差异量,该差异通过Rényi散度进行量化,是一个满足亚高斯分布的随机变量;然后计算该随机变量的矩母函数的对数值,结合马尔可夫不等式,推出矩母函数;进一步再次计算隐私损失超过隐私预算∈的概率值,这个概率值要求不能超过DP隐私泄露概率δ,通过计算矩母函数的最小值进而确定δ的界限,而δ决定了加入噪声σ的大小,最终通过高斯机制函数敏感度的二范数和δ来计算噪声的大小σ。
使用高斯机制,可以在t(t≤[K/k1])轮客户端和边缘服务器通信之后,在边缘域l中定义客户端i的隐私丢失,如公式(7)所示,其中公式(8)是矩生成函数α(λ)的计算方法。
基于矩统计的限制和联邦学习过程的敏感度,根据q(q=ql)和通信轮数t(t≤[K/k1]),可以为边缘域l中的客户端i设计高斯机制满足要求。在端-边聚合过程中,客户端需要在上传模型参数前添加噪声,给定客户选择率ql和通信回合数[K/k1],以保证边缘域l中的客户端i的经过推导,高斯机制的可以由公式(11)计算。
同理,可以推导出边-云聚合过程中隐私保护噪声的标准差σl,如公式(12)所示。
假设训练样本的数量等于本地训练的batch大小,可以得到两个聚合过程的函数敏感度界限值,如公式(14)所示。
进一步通过下述实验对本发明技术效果进行验证。
将本发明HFL-DP方法应用于图像分类任务进行测试,分别在MNIST和CIFAR-10上进行了卷积神经网络(Convolutional Neural Networks,CNN)的训练,MNIST数据集包含70000张灰度的手写体数字图像;CIFAR-10数据集包含10类RGB彩色图像,这10类图像为飞机、汽车、鸟、鹿、猫、狗、青蛙、马、船和卡车。实验中的CNN由两个卷积层组成,包含ReLU和10类的softmax,使用交叉熵损失函数。客户端本地更新使用小批量随机梯度下降(mini-batch SGD)的训练方法,在数据分布上,客户端中的数据是独立同分布的。在该仿真实验中,假设在所有同一层的客户端和边缘服务器上,其参数相同。对于MNIST数据集,设置其batch大小为50,学习率为0.01;设置N=100,L=10,K=120,k1=3,k2=2,∈l=0.01,以及ql=qc=1。对于CIFAR-10数据集,设置其batch大小为10,学习率为0.001。
实验从HFL-DP训练模型的模型效用测试与不同参数对于HFL-DP模型效用的探讨,检验HFL-DP训练模型的可用性,并进行优化。
将本发明方法所训练的模型与非隐私保护模型在两个数据集上进行了比较,以说明隐私保护的有效性以及模型效用的损失。图3展现了不同训练轮次的全局模型效用结果,这也证明了HFL-DP是可收敛的,并且隐私保护效果存在;MNIST和CIFAR-10数据集分别经过120次本地训练和180次本地训练,表2展示了其全局模型的效用损失,经过HFL-DP训练,模型损失分别为4.68%和7.15%。
表2 HFL-DP训练模型的效用损失
接下来,希望尽可能在隐私保护的前提下,提高训练模型的效用,所以通过控制变量法来探讨不同的因素参数对于隐私保护模型效用的影响,包括隐私预算、随机选择率、客户端和边缘节点的数量、聚合轮次、训练batch大小以及学习率六个方面。
全局模型的效用由多个因素决定,需要仔细分析以获得更好的效用。该实验由于训练任务庞大,所以主要在MNIST数据集上进行模型训练,以缩短训练任务成本和时间损耗。图4展现了两层隐私保护的模型效用情况,随着∈的增大,全局模型的效用会变得更好,这符合基本理论。特别地,的值不能太小,否则噪声扰动严重,模型将不会收敛。需要注意的是,隐私预算∈的取值与学习率η成正比。例如,当时,为了获得良好的模型效用,η=0.01,当η=0.001。
图5展示了客户端和边缘服务器的随机选择率对于模型效用的影响,其中,客户端选择率的影响程度大于边缘服务器的影响程度,并且随着客户端选择率的增大,有更多的客户端参与训练,训练数据集规模增大,训练后的模型可以快速地达到更好的效用。
图6展示了客户端和边缘服务器数量对模型效用的影响,分析其变化,可以推断出,在保护隐私有信息的同时,在训练集规模大小固定的情况下,固定客户端层和边缘层其中的一层数量,节点数量越少,训练全局模型的全局模型效用越好。
k1和k2也会影响全局模型的性能,如图7所示,较大的k1和较小的k2可以实现效用更好的全局模型,这意味着本地客户可以有更多机会进行本地更新学习且避免有更多的噪音干扰。
最后,图8显示了学习率及batch大小对于模型效用的影响,由图8可以发现较小的剪裁阈值和batch有助于提高全局模型的性能。
综上所述,本发明中首先确定威胁模型,选取适当的松弛差分隐私方法,量化隐私损失,提高模型的推理精准度,设计了一种面向HFL的隐私保护方法,进行隐私分析;同时,综合考虑隐私相关参数,并探讨了隐私相关参数和模型推理性能的平衡关系,以达到最优的模型推理效果。
根据本发明另一实施例,提出一种应用差分隐私保护的分层联邦学习系统,如图9所示,分层联邦学习系统包括云服务器1、边缘服务器2和客户端3,云服务器1连接多个边缘服务器2,每个边缘服务器2连接多个以树形结构组织的客户端3;其中,
客户端3包括本地更新模块31、本地隐私处理模块32和第一通信模块33;本地更新模块31用于利用本地训练数据集训练深度学习模型,并对深度学习模型求解获得本地模型参数;本地隐私处理模块32用于对本地模型参数进行差分隐私处理,获得包含扰动保护的本地模型参数;第一通信模块33用于将包含扰动保护的本地模型参数发送至相应的边缘服务器2,并接收边缘服务器2下发的边缘聚合参数和云服务器1下发的全局模型参数;
边缘服务器2包括端-边聚合模块21、边缘隐私处理模块22和第二通信模块23;端-边聚合模块21用于对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算,获得边缘聚合参数;边缘隐私处理模块22用于对边缘聚合参数进行差分隐私处理,获得包含扰动保护的边缘聚合参数;第二通信模块23用于接收包含扰动保护的本地模型参数、将边缘聚合参数广播下发至客户端3以及将包含扰动保护的边缘聚合参数发送至云服务器1;
云服务器1包括边-云聚合模块11和第三通信模块12;边-云聚合模块11对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算,获得全局模型参数;第三通信模块12用于接收包含扰动保护的边缘聚合参数和将全局模型参数广播下发至客户端3。
进一步地,本地更新模块31中深度学习模型为卷积神经网络模型,对深度学习模型求解采用小批量随机梯度下降训练方法;
其中,表示端-边聚合过程的敏感度;ql表示端-边聚合的客户端选择率;K表示客户端内本地更新总次数;k1表示一轮端-边聚合内的本地更新次数;表示本地隐私参数;然后,将本地标准差加入到求解获得的本地模型参数中,从而获得包含扰动保护的本地模型参数;
进一步地,边缘隐私处理模块22中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法,具体步骤包括:首先,根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差σl,其具体公式为:
其中,是边-云聚合过程的敏感度;qc表示边-云聚合的边缘服务器选择率;k2表示一轮边-云聚合内的端-边聚合轮数;∈l,δl表示边缘隐私参数;然后,将边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中,从而获得包含扰动保护的边缘聚合参数。
本发明实施例一种应用差分隐私保护的分层联邦学习系统的功能可以由前述一种应用差分隐私保护的分层联邦学习方法说明,因此系统实施例未详述部分,可参见以上方法实施例,在此不再赘述。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (10)
1.一种应用差分隐私保护的分层联邦学习方法,其特征在于,分层联邦学习中包括云服务器、边缘服务器和客户端,所述云服务器连接多个边缘服务器,每个边缘服务器连接多个以树形结构组织的客户端;所述分层联邦学习方法包括下述步骤:
步骤一、客户端进行本地更新与隐私保护
首先,客户端利用本地训练数据集训练深度学习模型,对所述深度学习模型求解获得本地模型参数;
然后,对本地模型参数进行差分隐私处理,获得包含扰动保护的本地模型参数;
最后,将包含扰动保护的本地模型参数发送至相应的边缘服务器;
步骤二、边缘服务器进行端-边聚合与隐私保护
首先,边缘服务器对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算,获得边缘聚合参数,并将所述边缘聚合参数广播下发至客户端;
然后,对边缘聚合参数进行差分隐私处理,获得包含扰动保护的边缘聚合参数;
最后,将包含扰动保护的边缘聚合参数发送至云服务器;
步骤三、云服务器进行边-云聚合与全局模型参数下发
首先,云服务器对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算,获得全局模型参数;
然后,将所述全局模型参数广播下发至客户端;
步骤四、迭代执行上述步骤一至步骤三直至每个客户端的本地更新次数达到其预设的本地更新总次数后停止执行,完成分层联邦学习模型训练。
2.根据权利要求1所述的一种应用差分隐私保护的分层联邦学习方法,其特征在于,步骤一中所述深度学习模型为卷积神经网络模型;对所述深度学习模型求解采用小批量随机梯度下降训练方法。
3.根据权利要求2所述的一种应用差分隐私保护的分层联邦学习方法,其特征在于,步骤一中对本地模型参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法,具体步骤包括:首先,根据本地隐私参数计算客户端所添加噪声的本地标准差;然后,将所述本地标准差加入到求解获得的本地模型参数中,从而获得包含扰动保护的本地模型参数。
5.根据权利要求4所述的一种应用差分隐私保护的分层联邦学习方法,其特征在于,步骤二中边缘服务器根据客户端本地训练数据集在对应的边缘服务器的总训练数据集的占比,以不同的权重对多个包含扰动保护的本地模型参数进行端-边聚合计算。
6.根据权利要求5所述的一种应用差分隐私保护的分层联邦学习方法,其特征在于,步骤二中对边缘聚合参数进行差分隐私处理的方法为基于雷尼差分隐私的矩统计方法,具体步骤包括:首先,根据边缘隐私参数计算边缘服务器所添加噪声的边缘标准差;然后,将所述边缘标准差加入到经过端-边聚合计算后获得的边缘聚合参数中,从而获得包含扰动保护的边缘聚合参数。
8.一种应用差分隐私保护的分层联邦学习系统,其特征在于,所述分层联邦学习系统包括云服务器、边缘服务器和客户端,所述云服务器连接多个边缘服务器,每个边缘服务器连接多个以树形结构组织的客户端;其中,
所述客户端包括本地更新模块、本地隐私处理模块和第一通信模块;所述本地更新模块用于利用本地训练数据集训练深度学习模型,并对所述深度学习模型求解获得本地模型参数;所述本地隐私处理模块用于对本地模型参数进行差分隐私处理,获得包含扰动保护的本地模型参数;第一通信模块用于将包含扰动保护的本地模型参数发送至相应的边缘服务器,并接收边缘服务器下发的边缘聚合参数和云服务器下发的全局模型参数;
所述边缘服务器包括端-边聚合模块、边缘隐私处理模块和第二通信模块;所述端-边聚合模块用于对接收到的多个包含扰动保护的本地模型参数进行端-边聚合计算,获得边缘聚合参数;所述边缘隐私处理模块用于对边缘聚合参数进行差分隐私处理,获得包含扰动保护的边缘聚合参数;所述第二通信模块用于接收包含扰动保护的本地模型参数、将边缘聚合参数广播下发至客户端以及将包含扰动保护的边缘聚合参数发送至云服务器;
所述云服务器包括边-云聚合模块和第三通信模块;所述边-云聚合模块对接收到的多个包含扰动保护的边缘聚合参数进行边-云聚合计算,获得全局模型参数;所述第三通信模块用于接收包含扰动保护的边缘聚合参数和将所述全局模型参数广播下发至客户端。
9.根据权利要求8所述的一种应用差分隐私保护的分层联邦学习系统,其特征在于,所述本地更新模块中所述深度学习模型为卷积神经网络模型,对所述深度学习模型求解采用小批量随机梯度下降训练方法;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110740543.7A CN113361694B (zh) | 2021-06-30 | 2021-06-30 | 一种应用差分隐私保护的分层联邦学习方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110740543.7A CN113361694B (zh) | 2021-06-30 | 2021-06-30 | 一种应用差分隐私保护的分层联邦学习方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113361694A true CN113361694A (zh) | 2021-09-07 |
CN113361694B CN113361694B (zh) | 2022-03-15 |
Family
ID=77537619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110740543.7A Active CN113361694B (zh) | 2021-06-30 | 2021-06-30 | 一种应用差分隐私保护的分层联邦学习方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361694B (zh) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113850272A (zh) * | 2021-09-10 | 2021-12-28 | 西安电子科技大学 | 基于本地差分隐私的联邦学习图像分类方法 |
CN114169010A (zh) * | 2021-12-13 | 2022-03-11 | 安徽理工大学 | 一种基于联邦学习的边缘隐私保护方法 |
CN114398635A (zh) * | 2021-11-30 | 2022-04-26 | 北京邮电大学 | 分层安全联邦学习方法、装置、电子设备及存储介质 |
CN114462090A (zh) * | 2022-02-18 | 2022-05-10 | 北京邮电大学 | 一种针对联邦学习中差分隐私预算计算的收紧方法 |
CN114564747A (zh) * | 2022-02-28 | 2022-05-31 | 福建工程学院 | 基于语义和预测的轨迹差分隐私保护方法及系统 |
CN114595831A (zh) * | 2022-03-01 | 2022-06-07 | 北京交通大学 | 融合自适应权重分配和个性化差分隐私的联邦学习方法 |
CN114595830A (zh) * | 2022-02-21 | 2022-06-07 | 武汉大学 | 一种面向边缘计算场景下的隐私保护联邦学习方法 |
CN114639174A (zh) * | 2021-12-10 | 2022-06-17 | 大连理工大学 | 联邦协作下的隐私型深度伪造检测方法 |
CN114723074A (zh) * | 2022-03-22 | 2022-07-08 | 中国人民解放军国防科技大学 | 聚类联邦学习框架下的主动学习客户选择方法和装置 |
CN114841364A (zh) * | 2022-04-14 | 2022-08-02 | 北京理工大学 | 一种满足个性化本地差分隐私需求的联邦学习方法 |
CN115037618A (zh) * | 2022-06-06 | 2022-09-09 | 电子科技大学 | 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台 |
CN115081003A (zh) * | 2022-06-29 | 2022-09-20 | 西安电子科技大学 | 一种采样聚合框架下的梯度泄露攻击方法 |
CN115130119A (zh) * | 2022-06-01 | 2022-09-30 | 南京航空航天大学 | 一种基于本地差分隐私的效用优化集合数据保护方法 |
CN115225575A (zh) * | 2022-06-08 | 2022-10-21 | 香港理工大学深圳研究院 | 一种基于元数据辅助和联邦学习的未知网络流量分类方法 |
CN115277175A (zh) * | 2022-07-25 | 2022-11-01 | 重庆邮电大学 | 一种工业互联网数据隐私保护方法 |
CN115329388A (zh) * | 2022-10-17 | 2022-11-11 | 南京信息工程大学 | 一种面向联邦生成对抗网络的隐私增强方法 |
CN115424079A (zh) * | 2022-09-30 | 2022-12-02 | 深圳市大数据研究院 | 基于联邦边缘学习的图像分类方法以及相关设备 |
CN115439026A (zh) * | 2022-11-08 | 2022-12-06 | 山东大学 | 基于嵌套联邦学习的多智能体自组织需求响应方法及系统 |
CN115510472A (zh) * | 2022-11-23 | 2022-12-23 | 南京邮电大学 | 一种面向云边聚合系统的多重差分隐私保护方法及系统 |
CN116049862A (zh) * | 2023-03-13 | 2023-05-02 | 杭州海康威视数字技术股份有限公司 | 基于异步分组联邦学习的数据保护方法、装置及系统 |
CN116128164A (zh) * | 2023-04-13 | 2023-05-16 | 南京邮电大学 | 一种基于隐私保护的电力负荷短期预测系统及方法 |
CN116611115A (zh) * | 2023-07-20 | 2023-08-18 | 数据空间研究院 | 基于联邦学习的医疗数据诊断模型、方法、系统和存储器 |
CN117033947A (zh) * | 2023-10-08 | 2023-11-10 | 国网四川省电力公司电力科学研究院 | 一种隐私保护的云边协同的频繁项目挖掘方法 |
CN117294460A (zh) * | 2022-11-28 | 2023-12-26 | 四川省公安科研中心 | 一种边缘计算下的轻量级联邦学习隐私保护方法 |
CN117332846A (zh) * | 2022-11-28 | 2024-01-02 | 四川省公安科研中心 | 一种体联网环境下的边缘智能协同隐私保护方法 |
CN117540829A (zh) * | 2023-10-18 | 2024-02-09 | 广西壮族自治区通信产业服务有限公司技术服务分公司 | 一种知识共享的大语言模型协同优化方法和系统 |
CN114723074B (zh) * | 2022-03-22 | 2024-10-18 | 中国人民解放军国防科技大学 | 聚类联邦学习框架下的主动学习客户选择方法和装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140081932A1 (en) * | 2008-12-16 | 2014-03-20 | Clinton A. Krislov | Method and system for secure automated document registration from social media networks |
CN106657267A (zh) * | 2016-11-15 | 2017-05-10 | 华中科技大学 | 基于边缘服务器的云存储系统 |
CN108810170A (zh) * | 2018-07-19 | 2018-11-13 | 中国联合网络通信集团有限公司 | 资源配置方法及系统 |
CN110300168A (zh) * | 2019-06-28 | 2019-10-01 | 常州工学院 | 一种基于多边缘服务器协作的并发任务优化方法 |
CN111091199A (zh) * | 2019-12-20 | 2020-05-01 | 哈尔滨工业大学(深圳) | 一种基于差分隐私的联邦学习方法、装置及存储介质 |
CN111754000A (zh) * | 2020-06-24 | 2020-10-09 | 清华大学 | 质量感知的边缘智能联邦学习方法及系统 |
CN112241331A (zh) * | 2020-11-19 | 2021-01-19 | 西北大学 | 一种基于深度神经网络的移动Web任务动态迁移方法 |
WO2021014204A1 (en) * | 2019-07-22 | 2021-01-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Domain name system-over-hypertext transfer protocol secure with edge cloud or content delivery network localization |
CN112380572A (zh) * | 2021-01-14 | 2021-02-19 | 之江实验室 | 一种多方数据协同场景下的隐私保护量化评估方法和系统 |
CN112668726A (zh) * | 2020-12-25 | 2021-04-16 | 中山大学 | 一种高效通信且保护隐私的个性化联邦学习方法 |
CN112817653A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 一种基于云边端的联邦学习计算卸载计算系统及方法 |
CN112865974A (zh) * | 2021-01-20 | 2021-05-28 | 杨雯雯 | 一种基于边缘计算接入设备的安全防护系统 |
US20210173674A1 (en) * | 2019-12-09 | 2021-06-10 | Evan Chase Rose | Distributed Terminals Network Management, Systems, Interfaces and Workflows |
CN113052326A (zh) * | 2021-03-26 | 2021-06-29 | 天津大学 | 一种基于分层联邦学习的轻量级激励模型的训练方法 |
-
2021
- 2021-06-30 CN CN202110740543.7A patent/CN113361694B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140081932A1 (en) * | 2008-12-16 | 2014-03-20 | Clinton A. Krislov | Method and system for secure automated document registration from social media networks |
CN106657267A (zh) * | 2016-11-15 | 2017-05-10 | 华中科技大学 | 基于边缘服务器的云存储系统 |
CN108810170A (zh) * | 2018-07-19 | 2018-11-13 | 中国联合网络通信集团有限公司 | 资源配置方法及系统 |
CN110300168A (zh) * | 2019-06-28 | 2019-10-01 | 常州工学院 | 一种基于多边缘服务器协作的并发任务优化方法 |
WO2021014204A1 (en) * | 2019-07-22 | 2021-01-28 | Telefonaktiebolaget Lm Ericsson (Publ) | Domain name system-over-hypertext transfer protocol secure with edge cloud or content delivery network localization |
US20210173674A1 (en) * | 2019-12-09 | 2021-06-10 | Evan Chase Rose | Distributed Terminals Network Management, Systems, Interfaces and Workflows |
CN111091199A (zh) * | 2019-12-20 | 2020-05-01 | 哈尔滨工业大学(深圳) | 一种基于差分隐私的联邦学习方法、装置及存储介质 |
CN111754000A (zh) * | 2020-06-24 | 2020-10-09 | 清华大学 | 质量感知的边缘智能联邦学习方法及系统 |
CN112241331A (zh) * | 2020-11-19 | 2021-01-19 | 西北大学 | 一种基于深度神经网络的移动Web任务动态迁移方法 |
CN112668726A (zh) * | 2020-12-25 | 2021-04-16 | 中山大学 | 一种高效通信且保护隐私的个性化联邦学习方法 |
CN112380572A (zh) * | 2021-01-14 | 2021-02-19 | 之江实验室 | 一种多方数据协同场景下的隐私保护量化评估方法和系统 |
CN112865974A (zh) * | 2021-01-20 | 2021-05-28 | 杨雯雯 | 一种基于边缘计算接入设备的安全防护系统 |
CN112817653A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 一种基于云边端的联邦学习计算卸载计算系统及方法 |
CN113052326A (zh) * | 2021-03-26 | 2021-06-29 | 天津大学 | 一种基于分层联邦学习的轻量级激励模型的训练方法 |
Non-Patent Citations (3)
Title |
---|
李欣姣等: ""机器学习安全攻击与防御机制研究进展和未来挑战"", 《软件学报》 * |
程俊宏等: ""基于联邦学习的差分隐私保护方法"", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
袁丹妮: ""基于差分隐私的分布式深度学习隐私保护研究"", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113850272A (zh) * | 2021-09-10 | 2021-12-28 | 西安电子科技大学 | 基于本地差分隐私的联邦学习图像分类方法 |
CN114398635B (zh) * | 2021-11-30 | 2024-10-18 | 北京邮电大学 | 分层安全联邦学习方法、装置、电子设备及存储介质 |
CN114398635A (zh) * | 2021-11-30 | 2022-04-26 | 北京邮电大学 | 分层安全联邦学习方法、装置、电子设备及存储介质 |
CN114639174A (zh) * | 2021-12-10 | 2022-06-17 | 大连理工大学 | 联邦协作下的隐私型深度伪造检测方法 |
CN114169010A (zh) * | 2021-12-13 | 2022-03-11 | 安徽理工大学 | 一种基于联邦学习的边缘隐私保护方法 |
CN114462090A (zh) * | 2022-02-18 | 2022-05-10 | 北京邮电大学 | 一种针对联邦学习中差分隐私预算计算的收紧方法 |
CN114462090B (zh) * | 2022-02-18 | 2023-06-27 | 北京邮电大学 | 一种针对联邦学习中差分隐私预算计算的收紧方法 |
CN114595830A (zh) * | 2022-02-21 | 2022-06-07 | 武汉大学 | 一种面向边缘计算场景下的隐私保护联邦学习方法 |
CN114595830B (zh) * | 2022-02-21 | 2024-07-05 | 武汉大学 | 一种面向边缘计算场景下的隐私保护联邦学习方法 |
CN114564747A (zh) * | 2022-02-28 | 2022-05-31 | 福建工程学院 | 基于语义和预测的轨迹差分隐私保护方法及系统 |
CN114564747B (zh) * | 2022-02-28 | 2024-04-23 | 福建工程学院 | 基于语义和预测的轨迹差分隐私保护方法及系统 |
CN114595831A (zh) * | 2022-03-01 | 2022-06-07 | 北京交通大学 | 融合自适应权重分配和个性化差分隐私的联邦学习方法 |
CN114595831B (zh) * | 2022-03-01 | 2022-11-11 | 北京交通大学 | 融合自适应权重分配和个性化差分隐私的联邦学习方法 |
CN114723074B (zh) * | 2022-03-22 | 2024-10-18 | 中国人民解放军国防科技大学 | 聚类联邦学习框架下的主动学习客户选择方法和装置 |
CN114723074A (zh) * | 2022-03-22 | 2022-07-08 | 中国人民解放军国防科技大学 | 聚类联邦学习框架下的主动学习客户选择方法和装置 |
CN114841364A (zh) * | 2022-04-14 | 2022-08-02 | 北京理工大学 | 一种满足个性化本地差分隐私需求的联邦学习方法 |
CN115130119A (zh) * | 2022-06-01 | 2022-09-30 | 南京航空航天大学 | 一种基于本地差分隐私的效用优化集合数据保护方法 |
CN115130119B (zh) * | 2022-06-01 | 2024-04-12 | 南京航空航天大学 | 一种基于本地差分隐私的效用优化集合数据保护方法 |
CN115037618A (zh) * | 2022-06-06 | 2022-09-09 | 电子科技大学 | 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台 |
CN115037618B (zh) * | 2022-06-06 | 2023-11-07 | 电子科技大学 | 一种基于KubeEdge的轻量级边缘智能协同联邦学习平台 |
CN115225575B (zh) * | 2022-06-08 | 2023-11-24 | 香港理工大学深圳研究院 | 一种基于元数据辅助和联邦学习的未知网络流量分类方法 |
CN115225575A (zh) * | 2022-06-08 | 2022-10-21 | 香港理工大学深圳研究院 | 一种基于元数据辅助和联邦学习的未知网络流量分类方法 |
CN115081003B (zh) * | 2022-06-29 | 2024-04-02 | 西安电子科技大学 | 一种采样聚合框架下的梯度泄露攻击方法 |
CN115081003A (zh) * | 2022-06-29 | 2022-09-20 | 西安电子科技大学 | 一种采样聚合框架下的梯度泄露攻击方法 |
CN115277175B (zh) * | 2022-07-25 | 2023-07-25 | 重庆邮电大学 | 一种工业互联网数据隐私保护方法 |
CN115277175A (zh) * | 2022-07-25 | 2022-11-01 | 重庆邮电大学 | 一种工业互联网数据隐私保护方法 |
CN115424079B (zh) * | 2022-09-30 | 2023-11-24 | 深圳市大数据研究院 | 基于联邦边缘学习的图像分类方法以及相关设备 |
CN115424079A (zh) * | 2022-09-30 | 2022-12-02 | 深圳市大数据研究院 | 基于联邦边缘学习的图像分类方法以及相关设备 |
CN115329388A (zh) * | 2022-10-17 | 2022-11-11 | 南京信息工程大学 | 一种面向联邦生成对抗网络的隐私增强方法 |
JP2024068611A (ja) * | 2022-11-08 | 2024-05-20 | 中国電力科学研究院有限公司 | ネストされた連合学習によるマルチエージェント自己組織化デマンドレスポンス方法及びシステム |
JP7382045B1 (ja) | 2022-11-08 | 2023-11-16 | 中国電力科学研究院有限公司 | ネストされた連合学習によるマルチエージェント自己組織化デマンドレスポンス方法及びシステム |
CN115439026A (zh) * | 2022-11-08 | 2022-12-06 | 山东大学 | 基于嵌套联邦学习的多智能体自组织需求响应方法及系统 |
CN115510472A (zh) * | 2022-11-23 | 2022-12-23 | 南京邮电大学 | 一种面向云边聚合系统的多重差分隐私保护方法及系统 |
CN115510472B (zh) * | 2022-11-23 | 2023-04-07 | 南京邮电大学 | 一种面向云边聚合系统的多重差分隐私保护方法及系统 |
CN117332846A (zh) * | 2022-11-28 | 2024-01-02 | 四川省公安科研中心 | 一种体联网环境下的边缘智能协同隐私保护方法 |
CN117294460A (zh) * | 2022-11-28 | 2023-12-26 | 四川省公安科研中心 | 一种边缘计算下的轻量级联邦学习隐私保护方法 |
CN116049862A (zh) * | 2023-03-13 | 2023-05-02 | 杭州海康威视数字技术股份有限公司 | 基于异步分组联邦学习的数据保护方法、装置及系统 |
CN116128164A (zh) * | 2023-04-13 | 2023-05-16 | 南京邮电大学 | 一种基于隐私保护的电力负荷短期预测系统及方法 |
CN116611115A (zh) * | 2023-07-20 | 2023-08-18 | 数据空间研究院 | 基于联邦学习的医疗数据诊断模型、方法、系统和存储器 |
CN117033947B (zh) * | 2023-10-08 | 2023-12-22 | 国网四川省电力公司电力科学研究院 | 一种隐私保护的云边协同的频繁项目挖掘方法 |
CN117033947A (zh) * | 2023-10-08 | 2023-11-10 | 国网四川省电力公司电力科学研究院 | 一种隐私保护的云边协同的频繁项目挖掘方法 |
CN117540829A (zh) * | 2023-10-18 | 2024-02-09 | 广西壮族自治区通信产业服务有限公司技术服务分公司 | 一种知识共享的大语言模型协同优化方法和系统 |
CN117540829B (zh) * | 2023-10-18 | 2024-05-17 | 广西壮族自治区通信产业服务有限公司技术服务分公司 | 一种知识共享的大语言模型协同优化方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113361694B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113361694B (zh) | 一种应用差分隐私保护的分层联邦学习方法及系统 | |
CN113408743B (zh) | 联邦模型的生成方法、装置、电子设备和存储介质 | |
CN113762530B (zh) | 面向隐私保护的精度反馈联邦学习方法 | |
CN114186237A (zh) | 一种基于真值发现的鲁棒性联邦学习模型聚合方法 | |
CN112115469B (zh) | 基于Bayes-Stackelberg博弈的边缘智能移动目标防御方法 | |
Shi et al. | HFL-DP: Hierarchical federated learning with differential privacy | |
Wang et al. | Why batch normalization damage federated learning on non-iid data? | |
Shi et al. | Privacy-aware edge computing based on adaptive DNN partitioning | |
CN114363043B (zh) | 一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法 | |
CN115907029B (zh) | 面向联邦学习投毒攻击的防御方法及系统 | |
Wang et al. | Efficient participant contribution evaluation for horizontal and vertical federated learning | |
CN115563650A (zh) | 基于联邦学习实现医疗数据的隐私保护系统 | |
Hallaji et al. | Label noise analysis meets adversarial training: A defense against label poisoning in federated learning | |
CN114863226A (zh) | 一种网络物理系统入侵检测方法 | |
CN113691594A (zh) | 一种基于二阶导数解决联邦学习中数据不平衡问题的方法 | |
CN117574429A (zh) | 一种边缘计算网络中隐私强化的联邦深度学习方法 | |
CN117875455A (zh) | 一种基于数据增强的联邦学习数据投毒防御方法 | |
Hackett et al. | Implementation and on-orbit testing results of a space communications cognitive engine | |
Galli et al. | Group privacy for personalized federated learning | |
Chaudhary et al. | Federated continual learning for text classification via selective inter-client transfer | |
Shi et al. | Signal modulation recognition method based on differential privacy federated learning | |
Li et al. | An Adaptive Communication‐Efficient Federated Learning to Resist Gradient‐Based Reconstruction Attacks | |
CN117994635A (zh) | 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统 | |
Shi et al. | Scale-mia: A scalable model inversion attack against secure federated learning via latent space reconstruction | |
CN117150566A (zh) | 面向协作学习的鲁棒训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |