CN117808082B - 抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质 - Google Patents
抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117808082B CN117808082B CN202410225003.9A CN202410225003A CN117808082B CN 117808082 B CN117808082 B CN 117808082B CN 202410225003 A CN202410225003 A CN 202410225003A CN 117808082 B CN117808082 B CN 117808082B
- Authority
- CN
- China
- Prior art keywords
- client
- central server
- model
- local
- clients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002776 aggregation Effects 0.000 claims abstract description 51
- 238000004220 aggregation Methods 0.000 claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 10
- 239000000654 additive Substances 0.000 claims description 8
- 230000000996 additive effect Effects 0.000 claims description 8
- 238000006116 polymerization reaction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009509 drug development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明提供了抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质，采用双服务器架构，包括：中央服务器广播初始全局模型；客户端本地训练，采用秘密共享分发本地模型；辅助服务器添加差分隐私噪声保护本地模型隐私；中央服务器在带噪声的本地模型上检测拜占庭客户端；中央服务器和辅助服务器通过安全计算实现合法客户端本地模型安全聚合。本发明创新性地提出了安全多方计算与差分隐私相结合的方法，有效降低了在保护隐私的同时检测联邦学习拜占庭客户端的计算通信开销，提高了联邦学习的安全性与算法效率。
Description
技术领域
本发明涉及人工智能与信息安全技术领域，具体涉及抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质。
背景技术
联邦学习是一种新兴的分布式机器学习范式，其定义为多个用户（客户端）在中央服务器的协调下合作进行机器学习。在联邦学习中，各个用户向中央服务器上传本地模型，而不直接共享本地数据，中央服务器对用户的本地模型聚合得到全局模型，从而实现“数据可用不可见”，保护用户的本地数据隐私。随着训练人工智能应用模型所需要的数据量不断增长，同时公众和政府对数据安全和隐私越来越重视，联邦学习在越来越多的领域得到关注和应用。例如，金融机构可以通过联邦学习进行联合信贷风控建模，制药公司可以使用联邦学习进行协同药物研发。
然而，现研究表明，联邦学习无法“完美”解决分布式机器学习中的数据安全与隐私问题。一方面，虽然用户的训练数据存储在本地，但是用户的本地模型仍然会泄露训练数据的隐私信息；另一方面，在联邦学习中可能存在拜占庭客户端，通过注入恶意的本地模型破坏全局模型的性能，这种攻击方式称为拜占庭攻击。在联邦学习隐私保护方面，目前主要采用同态加密（Homomorphic Encryption，HE）或安全多方计算（Secure Multi-PartyComputation，MPC）技术对本地模型进行加密处理，在密文域实现安全聚合；或采用差分隐私（Differential Privacy, DP）技术对本地模型进行加噪处理，但添加的噪声在会影响聚合模型性能。在抗拜占庭攻击方面，目前主要有两类防御策略，一类是通过综合分析所有用户的本地模型之间的统计信息（例如中值、平均值、欧式距离等）筛选出合法用户的本地模型，典型代表如Krum和Multi-Krum算法；另一类方法独立检测每个用户的本地模型，例如计算本地模型与全局模型之间的余弦相似度，或依赖第三方公开数据集进行检测，这类方法也被称为单客户端更新检测（Per-Client Update Check），典型代表如Zeno++算法。
近年来，现有的一些综合考虑隐私保护和抗拜占庭攻击的联邦学习方法被相继提出。但是，大部分基于HE或MPC的方案因为计算或通信开销较大，在抗拜占庭攻击方面存在仅支持单客户端更新检测算法的问题，少部分支持Krum和Multi-Krum算法的方案存在会泄露用户的本地模型之间的距离信息的问题；而基于DP的方案存在会降低联邦学习模型的性能的问题。
有鉴于此，提出本申请。
发明内容
有鉴于此，本发明的目的在于提供抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质，能够更加安全、高效地保障联邦学习的用户隐私，抵抗拜占庭攻击，且不影响模型性能。
本发明公开了抗拜占庭攻击隐私保护联邦学习方法, 包括：
调用预设的中央服务器，将预设的初始全局模型广播至参与训练的联邦学习客户端；
所述参与训练的联邦学习客户端根据预设的本地数据集对接收到的初始全局模型进行训练更新处理，采用加法秘密共享技术将预设的本地模型划分成两个部分，并分别发送给所述中央服务器和预设的辅助服务器；
控制所述辅助服务器进行计算处理，计算生成满足预设差分隐私的噪声，将所述满足预设差分隐私的噪声添加至客户端的所述本地模型共享上，并将带有噪声的本地模型共享发送至所述中央服务器，所述中央服务器恢复生成每个参加训练的客户端的带噪声的本地模型；
调用所述中央服务器在每一所述客户端的带噪声的本地模型上，进行拜占庭客户端检测算法处理，并将合法客户端的名单发送给所述辅助服务器；
所述辅助服务器根据所述合法客户端的名单，将所有合法客户端的本地模型的共享部分进行聚合处理，生成聚合结果，并将所述聚合结果发送至所述中央服务器，所述中央服务器对所述聚合结果进行进一步的聚合处理，聚合所有合法客户端的本地模型，生成新一轮全局模型，并将所述新一轮全局模型广播给所有的客户端，以用于下一轮的联邦学习模型更新；
重复以上步骤，直至所述新一轮全局模型达到预设标准，以完成全局模型的抗拜占庭攻击的隐私保护联邦学习。
优选地，采用加法秘密共享技术将预设的本地模型划分成两个部分，具体为：
在第轮迭代中，客户端/>根据所述本地数据集/>对第/>轮接收到的全局模型进行训练更新处理，得到第/>轮的本地模型/>；
采用加法秘密共享技术将所述第轮的本地模型/>分为第一部分/>和第二部分/>，其中，/>；
将所述第一部分和所述第二部分/>分别发送给所述中央服务器和所述辅助服务器。
优选地，控制所述辅助服务器进行计算处理，计算生成满足预设差分隐私的噪声，将所述满足预设差分隐私的噪声添加至客户端的所述本地模型共享上，并将带有噪声的本地模型共享发送至所述中央服务器，所述中央服务器恢复生成每个参加训练的客户端的带噪声的本地模型，具体为：
控制所述辅助服务器进行计算处理；
在所述辅助服务器计算客户端的本地模型共享/>之后，按照公式进行扰动处理，其中，/>是满足差分隐私的噪声；
将带噪声的本地模型共享发送给所述中央服务器，其中/>，/>是客户端的数量；
所述中央服务器按照公式计算得到客户端/>的带噪声的本地模型/>。
优选地，调用所述中央服务器在每一所述客户端的带噪声的本地模型上，进行拜占庭客户端检测算法处理，并将合法客户端的名单发送给所述辅助服务器，具体为：
控制所述中央服务器在所有客户端的带噪声的本地模型上执行拜占庭客户端检测算法处理，其中，所述拜占庭客户端检测算法处理包含Multi-Krum算法；
选出参与本轮模型聚合的个合法客户端/>，并将这些客户端的ID发送给所述辅助服务器，其中/>。
优选地，所述辅助服务器根据所述合法客户端的名单，将所有合法客户端的本地模型的共享部分进行聚合处理，生成聚合结果，并将所述聚合结果发送至所述中央服务器，所述中央服务器对所述聚合结果进行进一步的聚合处理，聚合所有合法客户端的本地模型，生成新一轮全局模型，并将所述新一轮全局模型广播给所有的客户端，以用于下一轮的联邦学习模型更新，具体为：
所述辅助服务器根据所述中央服务器发送的合法客户端名单，按照公式进行聚合处理，聚合所有合法客户端的本地模型共享部分，生成聚合结果/>，并把所述聚合结果/>发送给所述中央服务器；
所述中央服务器按照公式对所述聚合结果/>进行进一步的聚合处理，聚合所有合法客户端的本地模型，得到第/>轮的全局模型/>，并将所述第/>轮的全局模型/>广播给所有客户端，以用于下一轮联邦学习模型更新。
本发明还公开了抗拜占庭攻击隐私保护联邦学习装置，包括：
广播单元，用于调用预设的中央服务器，将预设的初始全局模型广播至参与训练的联邦学习客户端；
训练更新单元，用于所述参与训练的联邦学习客户端根据预设的本地数据集对接收到的初始全局模型进行训练更新处理，采用加法秘密共享技术将预设的本地模型划分成两个部分，并分别发送给所述中央服务器和预设的辅助服务器；
噪声添加单元，用于控制所述辅助服务器进行计算处理，计算生成满足预设差分隐私的噪声，将所述满足预设差分隐私的噪声添加至客户端的所述本地模型共享上，并将带有噪声的本地模型共享发送至所述中央服务器，所述中央服务器恢复生成每个参加训练的客户端的带噪声的本地模型；
拜占庭客户端检测算法单元，用于调用所述中央服务器在每一所述客户端的带噪声的本地模型上，进行拜占庭客户端检测算法处理，并将合法客户端的名单发送给所述辅助服务器；
聚合单元，用于所述辅助服务器根据所述合法客户端的名单，将所有合法客户端的本地模型的共享部分进行聚合处理，生成聚合结果，并将所述聚合结果发送至所述中央服务器，所述中央服务器对所述聚合结果进行进一步的聚合处理，聚合所有合法客户端的本地模型，生成新一轮全局模型，并将所述新一轮全局模型广播给所有的客户端，以用于下一轮的联邦学习模型更新；
隐私保护联邦学习单元，用于重复以上步骤，直至所述新一轮全局模型达到预设标准，以完成全局模型的抗拜占庭攻击的隐私保护联邦学习。
优选地，所述训练更新单元具体用于：
在第轮迭代中，客户端/>根据所述本地数据集/>对第/>轮接收到的全局模型进行训练更新处理，得到第/>轮的本地模型/>；
采用加法秘密共享技术将所述第轮的本地模型/>分为第一部分/>和第二部分/>，其中，/>；
将所述第一部分和所述第二部分/>分别发送给所述中央服务器和所述辅助服务器。
优选地，所述噪声添加单元具体用于：
控制所述辅助服务器进行计算处理；
在所述辅助服务器计算客户端的本地模型共享/>之后，按照公式进行扰动处理，其中，/>是满足差分隐私的噪声；
将带噪声的本地模型共享发送给所述中央服务器，其中/>，/>是客户端的数量；
所述中央服务器按照公式计算得到客户端/>的带噪声的本地模型/>。
本发明还公开了抗拜占庭攻击隐私保护联邦学习设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的抗拜占庭攻击隐私保护联邦学习方法。
本发明还公开了可读存储介质，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项所述的抗拜占庭攻击隐私保护联邦学习方法。
综上所述，本实施例提供的抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质，采用双服务器架构，包括：中央服务器广播初始全局模型；客户端本地训练，采用秘密共享分发本地模型；辅助服务器添加差分隐私噪声保护本地模型隐私；中央服务器在带噪声的本地模型上检测拜占庭客户端；中央服务器和辅助服务器通过安全计算实现合法客户端本地模型安全聚合。
与现有技术相比，本发明具有如下有益效果：
本发明技术方案创新性地提出了基于安全多方计算与差分隐私的抗拜占庭攻击隐私保护联邦学习方法。在抗拜占庭攻击方面，采用差分隐私技术保护本地模型隐私，相比于基于同态加密、安全多方计算的抗拜占庭攻击方案，在带差分隐私噪声的本地模型上执行拜占庭客户端检测算法大大降低了检测开销，且不泄露本地模型及模型间距离等原始信息，具体实施效果表明添加的噪声对拜占庭客户端检测效果几乎没有影响；在安全聚合方面，在双服务器架构中采用秘密共享技术实现安全聚合，该过程只涉及轻量的加法运算，且不影响联邦学习模型性能。本发明思想可应用于任意拜占庭客户端检测算法，具有高度的可扩展性。
附图说明
图1是本发明第一方面提供的抗拜占庭攻击隐私保护联邦学习方法的流程示意图。
图2是本发明第二方面提供的抗拜占庭攻击隐私保护联邦学习方法的流程示意图。
图3是本发明实施例提供采用Logistic回归、Multi-Krum算法、MNIST数据集时，抗拜占庭攻击隐私保护联邦学习方法在不同差分隐私预算下的联邦学习预测准确率效果图。
图4是本发明实施例提供采用Logistic回归、Multi-Krum算法、MNIST数据集时，抗拜占庭攻击隐私保护联邦学习方法在不同拜占庭攻击者比例下的联邦学习预测准确率效果图。
图5是本发明实施例提供的抗拜占庭攻击隐私保护联邦学习装置的模块示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
以下结合附图对本发明的具体实施例做详细说明。
请参阅图1至图4，本发明的第一实施例提供了抗拜占庭攻击隐私保护联邦学习方法,其可由隐私保护联邦学习设备（以下学习设备）来执行，特别的，由学习设备内的一个或者多个处理器来执行，以实现如下步骤：
S101，调用预设的中央服务器，将预设的初始全局模型广播至参与训练的联邦学习客户端；
具体地，在本实施例中，如图2所示，所述抗拜占庭攻击隐私保护联邦学习方法主要应用于跨机构的、多方合作参与的分布式机器学习；可适用于需要强鲁棒性以及强隐私保护需求的场景，例如不同金融公司之间、不同行政部门之间的合作任务。所述抗拜占庭攻击隐私保护联邦学习方法以Logistic回归模型作为目标训练模型，以及使用Multi-Krum算法作为抗拜占庭攻击算法为例：
首先，中央服务器将初始全局模型广播给/>个参与训练的联邦学习客户端。
S102，所述参与训练的联邦学习客户端根据预设的本地数据集对接收到的初始全局模型进行训练更新处理，采用加法秘密共享技术将预设的本地模型划分成两个部分，并分别发送给所述中央服务器和预设的辅助服务器；
具体地，步骤S102包括：在第轮迭代中，客户端/>根据所述本地数据集/>对第轮接收到的全局模型/>进行训练更新处理，得到第/>轮的本地模型/>；
采用加法秘密共享技术将所述第轮的本地模型/>分为第一部分/>和第二部分/>，其中，/>；
将所述第一部分和所述第二部分/>分别发送给所述中央服务器和所述辅助服务器。
具体地，在本实施例中，其次，参与训练的客户端使用本地数据集对上一轮接收到的全局模型进行训练更新。使用加法秘密共享技术将本地模型分为两个共享部分，再分别发送给中央服务器和辅助服务器。
在本实施例中，在第轮迭代中，客户端/>输入其本地数据集/>，其中/>表示为/>维的特征向量，/>为分类标签。设置学习率为/>，计算出随机梯度/>，其中/>是上一轮的全局模型，是回归算法。随机梯度进行裁剪，/>，使得/>，其中/>为梯度裁剪函数。计算出本轮的本地逻辑回归模型/>。使用加法秘密共享技术将/>分为/>和/>两个部分，使得/>。具体计算步骤为：从整数环/>中选择一个随机向量作为本地模型的一个共享部分/>。需要注意的是，加法秘密共享技术仅支持整数输入，因此客户端需要先将/>中的浮点数转换为/>中的整数，再对/>做秘密共享。
再按照公式，计算出本地模型的另一个共享部分；将/>和/>分别发送给中央服务器和辅助服务器。
S103，控制所述辅助服务器进行计算处理，计算生成满足预设差分隐私的噪声，将所述满足预设差分隐私的噪声添加至客户端的所述本地模型共享上，并将带有噪声的本地模型共享发送至所述中央服务器，所述中央服务器恢复生成每个参加训练的客户端的带噪声的本地模型；
具体地，步骤S103包括：控制所述辅助服务器进行计算处理；
在所述辅助服务器计算客户端的本地模型共享/>之后，按照公式进行扰动处理，其中，/>是满足差分隐私的噪声；
将带噪声的本地模型共享发送给所述中央服务器，其中/>，/>是客户端的数量；
所述中央服务器按照公式计算得到客户端/>的带噪声的本地模型/>。
具体地，在本实施例中，从次，辅助服务器计算满足差分隐私的噪声，将该噪声添加到受到客户端的本地模型共享上，然后把带噪声的本地模型共享发送给中央服务器。中央服务器最后恢复出每个参加训练的客户端的带噪声的本地模型。
在本实施例中，辅助服务器计算客户端的本地模型共享/>后，按照公式对其进行扰动处理，其中/>是满足差分隐私的噪声，具体生成公式为：/>，/>为噪声的敏感度，/>是隐私预算，/>表示拉普拉斯分布，在本实施例中梯度已裁剪至/>之间，因此敏感度/>。然后把带噪声的本地模型共享发送给中央服务器。中央服务器按照公式/>计算得到客户端的带噪声的本地模型/>。
S104，调用所述中央服务器在每一所述客户端的带噪声的本地模型上，进行拜占庭客户端检测算法处理，并将合法客户端的名单发送给所述辅助服务器；
具体地，步骤S104包括：控制所述中央服务器在所有客户端的带噪声的本地模型上执行拜占庭客户端检测算法处理，其中，所述拜占庭客户端检测算法处理包含Multi-Krum算法；
选出参与本轮模型聚合的个合法客户端/>，并将这些客户端的ID发送给所述辅助服务器，其中/>。
具体地，在本实施例中，再次，中央服务器在所有客户端的带噪声的本地模型上执行拜占庭客户端检测算法，并将合法客户端的名单发送给辅助服务器。
在本实施例中，中央服务器在所有客户端的带噪声的本地模型上执行拜占庭客户端检测算法，在本实施例中使用基于欧氏距离的Multi-Krum算法作为拜占庭客户端检测算法。假定参与训练的客户端数量为/>，拜占庭攻击者数量为/>，Multi-Krum需要筛选出的合法客户端数量为/>。创建距离矩阵，用于存储每个客户端中带噪声的本地模型之间的欧氏距离：
其中表示第/>个客户端与第/>个客户端的带噪声的本地模型之间的欧氏距离。
对于每个客户端的带噪声的本地模型，中央服务器筛选出距离/>最近的前个其它客户端的带噪声的本地模型，并计算出/>与这/>个其它客户端的带噪声的本地模型之间的欧式距离之和，得到/>的距离分数/>。中央服务器得到所有客户端的带噪声的本地模型的距离分数：/>。中央服务器将距离分数从大到小进行排列，选取分数集合中前/>个客户端/>，其中/>，这些客户端被视为合法的客户端。最后，中央服务器将这些客户端的ID/>发送给辅助服务器。
S105，所述辅助服务器根据所述合法客户端的名单，将所有合法客户端的本地模型的共享部分进行聚合处理，生成聚合结果，并将所述聚合结果发送至所述中央服务器，所述中央服务器对所述聚合结果进行进一步的聚合处理，聚合所有合法客户端的本地模型，生成新一轮全局模型，并将所述新一轮全局模型广播给所有的客户端，以用于下一轮的联邦学习模型更新；
具体地，步骤S105包括：所述辅助服务器根据所述中央服务器发送的合法客户端名单，按照公式进行聚合处理，聚合所有合法客户端的本地模型共享部分，生成聚合结果/>，并把所述聚合结果/>发送给所述中央服务器；
所述中央服务器按照公式对所述聚合结果/>进行进一步的聚合处理，聚合所有合法客户端的本地模型，得到第/>轮的全局模型/>，并将所述第/>轮的全局模型/>广播给所有客户端，以用于下一轮联邦学习模型更新。
具体地，在本实施例中，辅助服务器聚合所有合法客户端的本地模型共享部分，并把聚合结果发送给中央服务器。中央服务器聚合所有合法客户端的本地模型，得到新一轮全局模型，广播给所有客户端，用于下一轮联邦学习模型更新。
在本实施例中，辅助服务器根据中央服务器发送的合法客户端名单，按照公式聚合所有合法客户端的本地模型共享部分，并把聚合结果/>发送给中央服务器。中央服务器按照公式/>聚合所有合法客户端的本地模型，得到第/>轮的全局模型/>，广播给所有客户端，用于下一轮联邦学习模型更新。
S106，重复以上步骤，直至所述新一轮全局模型达到预设标准，以完成全局模型的抗拜占庭攻击的隐私保护联邦学习。
具体地，在本实施例中，最后，中央服务器、辅助服务器、所有客户端重复以上训练步骤，直至完成全局模型的训练。
综上，在上述技术方案中，假设中央服务器和辅助服务器均是诚实但好奇的，即它们会正确地执行算法，但是企图推测出用户的本地数据隐私信息，同时假设中央服务器与辅助服务器不会共谋。这种双服务器架构已广泛应用于隐私保护机器学习领域。简单来说，所述抗拜占庭攻击隐私保护联邦学习方法创新性地提出了安全多方计算与差分隐私相结合的方法，有效降低了在保护隐私的同时检测联邦学习拜占庭客户端的计算通信开销，提高了联邦学习的安全性与算法效率。
请参阅图5，发明的第二实施例提供了抗拜占庭攻击隐私保护联邦学习装置，包括：
广播单元201，用于调用预设的中央服务器，将预设的初始全局模型广播至参与训练的联邦学习客户端；
训练更新单元202，用于所述参与训练的联邦学习客户端根据预设的本地数据集对接收到的初始全局模型进行训练更新处理，采用加法秘密共享技术将预设的本地模型划分成两个部分，并分别发送给所述中央服务器和预设的辅助服务器；
噪声添加单元203，用于控制所述辅助服务器进行计算处理，计算生成满足预设差分隐私的噪声，将所述满足预设差分隐私的噪声添加至客户端的所述本地模型共享上，并将带有噪声的本地模型共享发送至所述中央服务器，所述中央服务器恢复生成每个参加训练的客户端的带噪声的本地模型；
拜占庭客户端检测算法单元204，用于调用所述中央服务器在每一所述客户端的带噪声的本地模型上，进行拜占庭客户端检测算法处理，并将合法客户端的名单发送给所述辅助服务器；
聚合单元205，用于所述辅助服务器根据所述合法客户端的名单，将所有合法客户端的本地模型的共享部分进行聚合处理，生成聚合结果，并将所述聚合结果发送至所述中央服务器，所述中央服务器对所述聚合结果进行进一步的聚合处理，聚合所有合法客户端的本地模型，生成新一轮全局模型，并将所述新一轮全局模型广播给所有的客户端，以用于下一轮的联邦学习模型更新；
隐私保护联邦学习单元206，用于重复以上步骤，直至所述新一轮全局模型达到预设标准，以完成全局模型的抗拜占庭攻击的隐私保护联邦学习。
优选地，所述训练更新单元202具体用于：
在第轮迭代中，客户端/>根据所述本地数据集/>对第/>轮接收到的全局模型进行训练更新处理，得到第/>轮的本地模型/>；
采用加法秘密共享技术将所述第轮的本地模型/>分为第一部分/>和第二部分/>，其中，/>；
将所述第一部分和所述第二部分/>分别发送给所述中央服务器和所述辅助服务器。
优选地，所述噪声添加单元203具体用于：
控制所述辅助服务器进行计算处理；
在所述辅助服务器计算客户端的本地模型共享/>之后，按照公式进行扰动处理，其中，/>是满足差分隐私的噪声；
将带噪声的本地模型共享发送给所述中央服务器，其中/>，/>是客户端的数量；
所述中央服务器按照公式计算得到客户端/>的带噪声的本地模型/>。
本发明的第三实施例提供了抗拜占庭攻击隐私保护联邦学习设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的抗拜占庭攻击隐私保护联邦学习方法。
本发明的第四实施例提供了可读存储介质，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项所述的抗拜占庭攻击隐私保护联邦学习方法。
示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述抗拜占庭攻击隐私保护联邦学习设备中的执行过程。例如，本发明第二实施例中所述的装置。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述抗拜占庭攻击隐私保护联邦学习方法的控制中心，利用各种接口和线路连接整个所述抗拜占庭攻击隐私保护联邦学习方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现抗拜占庭攻击隐私保护联邦学习方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、文字转换功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、文字消息数据等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。
Claims (4)
1.抗拜占庭攻击隐私保护联邦学习方法, 其特征在于，包括：
调用预设的中央服务器，将预设的初始全局模型广播至参与训练的联邦学习客户端；
所述参与训练的联邦学习客户端根据预设的本地数据集对接收到的初始全局模型进行训练更新处理，采用加法秘密共享技术将预设的本地模型划分成两个部分，并分别发送给所述中央服务器和预设的辅助服务器；
控制所述辅助服务器进行计算处理，计算生成满足预设差分隐私的噪声，将所述满足预设差分隐私的噪声添加至客户端的所述本地模型共享上，并将带有噪声的本地模型共享发送至所述中央服务器，所述中央服务器恢复生成每个参加训练的客户端的带噪声的本地模型；
调用所述中央服务器在每一所述客户端的带噪声的本地模型上，进行拜占庭客户端检测算法处理，并将合法客户端的名单发送给所述辅助服务器；
所述辅助服务器根据所述合法客户端的名单，将所有合法客户端的本地模型的共享部分进行聚合处理，生成聚合结果，并将所述聚合结果发送至所述中央服务器，所述中央服务器对所述聚合结果进行进一步的聚合处理，聚合所有合法客户端的本地模型，生成新一轮全局模型，并将所述新一轮全局模型广播给所有的客户端，以用于下一轮的联邦学习模型更新；
重复以上步骤，直至所述新一轮全局模型达到预设标准，以完成全局模型的抗拜占庭攻击的隐私保护联邦学习；其中，
采用加法秘密共享技术将预设的本地模型划分成两个部分，具体为：
在第轮迭代中，客户端/>根据所述本地数据集/>对第/>轮接收到的全局模型/>进行训练更新处理，得到第/>轮的本地模型/>；
采用加法秘密共享技术将所述第轮的本地模型/>分为第一部分/>和第二部分，其中，/>；
将所述第一部分和所述第二部分/>分别发送给所述中央服务器和所述辅助服务器；
控制所述辅助服务器进行计算处理，计算生成满足预设差分隐私的噪声，将所述满足预设差分隐私的噪声添加至客户端的所述本地模型共享上，并将带有噪声的本地模型共享发送至所述中央服务器，所述中央服务器恢复生成每个参加训练的客户端的带噪声的本地模型，具体为：
控制所述辅助服务器进行计算处理；
在所述辅助服务器计算客户端的本地模型共享/>之后，按照公式进行扰动处理，其中，/>是满足预设差分隐私的噪声；
将带噪声的本地模型共享发送给所述中央服务器，其中/>，/>是客户端的数量；
所述中央服务器按照公式计算得到客户端/>的带噪声的本地模型/>；
调用所述中央服务器在每一所述客户端的带噪声的本地模型上，进行拜占庭客户端检测算法处理，并将合法客户端的名单发送给所述辅助服务器，具体为：
控制所述中央服务器在所有客户端的带噪声的本地模型上执行拜占庭客户端检测算法处理，其中，所述拜占庭客户端检测算法处理包含Multi-Krum算法；
选出参与本轮模型聚合的个合法客户端/>，并将这些客户端的ID发送给所述辅助服务器，其中/>；
所述辅助服务器根据所述合法客户端的名单，将所有合法客户端的本地模型的共享部分进行聚合处理，生成聚合结果，并将所述聚合结果发送至所述中央服务器，所述中央服务器对所述聚合结果进行进一步的聚合处理，聚合所有合法客户端的本地模型，生成新一轮全局模型，并将所述新一轮全局模型广播给所有的客户端，以用于下一轮的联邦学习模型更新，具体为：
所述辅助服务器根据所述中央服务器发送的合法客户端名单，按照公式进行聚合处理，聚合所有合法客户端的本地模型共享部分，生成聚合结果/>，并把所述聚合结果/>发送给所述中央服务器；
所述中央服务器按照公式对所述聚合结果/>进行进一步的聚合处理，聚合所有合法客户端的本地模型，得到第/>轮的全局模型/>，并将所述第/>轮的全局模型/>广播给所有客户端，以用于下一轮联邦学习模型更新。
2.抗拜占庭攻击隐私保护联邦学习装置，用于实现如权利要求1所述的抗拜占庭攻击隐私保护联邦学习方法，其特征在于，包括：
广播单元，用于调用预设的中央服务器，将预设的初始全局模型广播至参与训练的联邦学习客户端；
训练更新单元，用于所述参与训练的联邦学习客户端根据预设的本地数据集对接收到的初始全局模型进行训练更新处理，采用加法秘密共享技术将预设的本地模型划分成两个部分，并分别发送给所述中央服务器和预设的辅助服务器；
噪声添加单元，用于控制所述辅助服务器进行计算处理，计算生成满足预设差分隐私的噪声，将所述满足预设差分隐私的噪声添加至客户端的所述本地模型共享上，并将带有噪声的本地模型共享发送至所述中央服务器，所述中央服务器恢复生成每个参加训练的客户端的带噪声的本地模型；
拜占庭客户端检测算法单元，用于调用所述中央服务器在每一所述客户端的带噪声的本地模型上，进行拜占庭客户端检测算法处理，并将合法客户端的名单发送给所述辅助服务器；
聚合单元，用于所述辅助服务器根据所述合法客户端的名单，将所有合法客户端的本地模型的共享部分进行聚合处理，生成聚合结果，并将所述聚合结果发送至所述中央服务器，所述中央服务器对所述聚合结果进行进一步的聚合处理，聚合所有合法客户端的本地模型，生成新一轮全局模型，并将所述新一轮全局模型广播给所有的客户端，以用于下一轮的联邦学习模型更新；
隐私保护联邦学习单元，用于重复以上步骤，直至所述新一轮全局模型达到预设标准，以完成全局模型的抗拜占庭攻击的隐私保护联邦学习。
3.抗拜占庭攻击隐私保护联邦学习设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的抗拜占庭攻击隐私保护联邦学习方法。
4.可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被该存储介质所在设备的处理器执行，以实现如权利要求1所述的抗拜占庭攻击隐私保护联邦学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410225003.9A CN117808082B (zh) | 2024-02-29 | 2024-02-29 | 抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410225003.9A CN117808082B (zh) | 2024-02-29 | 2024-02-29 | 抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117808082A CN117808082A (zh) | 2024-04-02 |
| CN117808082B true CN117808082B (zh) | 2024-05-14 |
Family
ID=90431943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410225003.9A Active CN117808082B (zh) | 2024-02-29 | 2024-02-29 | 抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117808082B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114595830A (zh) * | 2022-02-21 | 2022-06-07 | 武汉大学 | 一种面向边缘计算场景下的隐私保护联邦学习方法 |
| CN115660050A (zh) * | 2022-11-07 | 2023-01-31 | 南开大学 | 一种高效隐私保护的鲁棒联邦学习方法 |
| EP4149134A1 (en) * | 2021-09-09 | 2023-03-15 | Telefonica Digital España, S.L.U. | Method and system for providing differential privacy using federated learning |
| WO2023132791A2 (en) * | 2022-01-04 | 2023-07-13 | Nanyang Technological University | Method and system for variable on-demand privacy- preserving federated learning using multiparty computation |
| CN116502708A (zh) * | 2023-04-28 | 2023-07-28 | 西安电子科技大学 | 基于性能评估和委员会投票的抗拜占庭攻击的dfl方法 |
| CN116644800A (zh) * | 2023-04-28 | 2023-08-25 | 西安电子科技大学 | 一种基于lstm的联邦学习拜占庭节点检测方法 |
| CN116861994A (zh) * | 2023-07-10 | 2023-10-10 | 淮阴工学院 | 一种抗拜占庭攻击的隐私保护联邦学习方法 |
| CN117395067A (zh) * | 2023-11-08 | 2024-01-12 | 西安电子科技大学 | 面向拜占庭鲁棒联邦学习的用户数据隐私保护系统及方法 |
| CN117556460A (zh) * | 2023-11-13 | 2024-02-13 | 广州芳禾数据有限公司 | 一种鲁棒且安全的联邦聚合方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220255764A1 (en) * | 2021-02-06 | 2022-08-11 | SoterOne, Inc. | Federated learning platform and machine learning framework |
-
2024
- 2024-02-29 CN CN202410225003.9A patent/CN117808082B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4149134A1 (en) * | 2021-09-09 | 2023-03-15 | Telefonica Digital España, S.L.U. | Method and system for providing differential privacy using federated learning |
| WO2023132791A2 (en) * | 2022-01-04 | 2023-07-13 | Nanyang Technological University | Method and system for variable on-demand privacy- preserving federated learning using multiparty computation |
| CN114595830A (zh) * | 2022-02-21 | 2022-06-07 | 武汉大学 | 一种面向边缘计算场景下的隐私保护联邦学习方法 |
| CN115660050A (zh) * | 2022-11-07 | 2023-01-31 | 南开大学 | 一种高效隐私保护的鲁棒联邦学习方法 |
| CN116502708A (zh) * | 2023-04-28 | 2023-07-28 | 西安电子科技大学 | 基于性能评估和委员会投票的抗拜占庭攻击的dfl方法 |
| CN116644800A (zh) * | 2023-04-28 | 2023-08-25 | 西安电子科技大学 | 一种基于lstm的联邦学习拜占庭节点检测方法 |
| CN116861994A (zh) * | 2023-07-10 | 2023-10-10 | 淮阴工学院 | 一种抗拜占庭攻击的隐私保护联邦学习方法 |
| CN117395067A (zh) * | 2023-11-08 | 2024-01-12 | 西安电子科技大学 | 面向拜占庭鲁棒联邦学习的用户数据隐私保护系统及方法 |
| CN117556460A (zh) * | 2023-11-13 | 2024-02-13 | 广州芳禾数据有限公司 | 一种鲁棒且安全的联邦聚合方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| PPBR-FL：A Privacy-Preserving and Byzantine-Robust Federated Learning System;Ying Lin et al.;《International Conference on Knowledge Science, Engineering and Management》;20220719;全文 * |
| Siyao Cheng et al..FBL-BP：Byzantine-Resilient and Privacy-Preserving Federated Broad Learning.《2023IEEE International Conference on Systems,Man,and Cybernetics (SMC)》.2024,全文. * |
| TFPA：A traceable federated privacy aggregation protocol;Xingyu Li et al.;《World Wide Web》;20230717;第26卷;全文 * |
| 抗拜占庭攻击的隐私保护联邦学习;穆旭彤 等;《计算机学报》;20240110;全文 * |
| 隐私保护的拜占庭鲁棒联邦学习算法;李海洋 等;《西安电子科技大学学报》;20230831;第50卷(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117808082A (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109684855B (zh) | 一种基于隐私保护技术的联合深度学习训练方法 | |
| Dong et al. | FLOD: Oblivious defender for private Byzantine-robust federated learning with dishonest-majority | |
| TW202009776A (zh) | 多方安全計算方法及裝置、電子設備 | |
| CN113239404A (zh) | 一种基于差分隐私和混沌加密的联邦学习方法 | |
| CN112073196B (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
| CN113095826A (zh) | 基于区块链多签名的隐蔽通信方法及系统 | |
| CN115270145A (zh) | 一种基于联盟链和联邦学习的用户窃电行为检测方法及系统 | |
| CN112734426A (zh) | 一种基于区块链技术的多方私密数据计算方法 | |
| CN114945920A (zh) | 使用安全多方计算来提高内容选择过程完整性 | |
| CN113792890B (zh) | 一种基于联邦学习的模型训练方法及相关设备 | |
| Cheng et al. | SecureAD: A secure video anomaly detection framework on convolutional neural network in edge computing environment | |
| Azimy et al. | Preventing proof-of-work mining attacks | |
| Tian et al. | DIVRS: Data integrity verification based on ring signature in cloud storage | |
| CN117808082B (zh) | 抗拜占庭攻击隐私保护联邦学习方法、装置、设备及介质 | |
| Bhattacharjee et al. | Affine Boolean classification in secret image sharing for progressive quality access control | |
| CN113158253A (zh) | 一种隐私求并集方法及装置 | |
| CN117216779A (zh) | 基于余弦相似度和同态加密的联邦学习安全聚合方法 | |
| CN117349685A (zh) | 一种通信数据的聚类方法、系统、终端及介质 | |
| CN117034287A (zh) | 基于隐私计算互联互通技术的多方联合建模安全增强方法 | |
| Almutairi et al. | A cryptographic ensemble for secure third party data analysis: collaborative data clustering without data owner participation | |
| Li et al. | An enhanced media ciphertext-policy attribute-based encryption algorithm on media cloud | |
| Kanso et al. | A trapdoor one-way function for verifiable secret sharing | |
| CN113114454B (zh) | 一种高效隐私的外包k均值聚类方法 | |
| Zhao et al. | Local differentially private federated learning with homomorphic encryption | |
| Wang et al. | Research on the application of LDPC code in chaotic sequence image encryption |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |