CN116151369A - 一种公共审计的拜占庭鲁棒联邦学习系统及方法 - Google Patents
一种公共审计的拜占庭鲁棒联邦学习系统及方法 Download PDFInfo
- Publication number
- CN116151369A CN116151369A CN202211470114.3A CN202211470114A CN116151369A CN 116151369 A CN116151369 A CN 116151369A CN 202211470114 A CN202211470114 A CN 202211470114A CN 116151369 A CN116151369 A CN 116151369A
- Authority
- CN
- China
- Prior art keywords
- federal learning
- client
- iterative optimization
- model
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012550 audit Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002776 aggregation Effects 0.000 claims abstract description 56
- 238000004220 aggregation Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims description 100
- 239000013598 vector Substances 0.000 claims description 95
- 238000011156 evaluation Methods 0.000 claims description 40
- 238000010606 normalization Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 2
- 238000012935 Averaging Methods 0.000 abstract 1
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 206010004142 Bartholinitis Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000008025 hordeolum Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000572 poisoning Toxicity 0.000 description 1
- 230000000607 poisoning effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提出了一种公共审计的拜占庭鲁棒联邦学习系统及方法。本发明通过引入第三方审计服务器来对联邦学习训练过程进行审计。首先，聚合服务器向每个联邦学习客户端和审计服务器发送初始化模型参数；其次，联邦学习客户端在本地数据集上进行模型训练，并将本地模型更新上传给聚合服务器；然后，第三方审计服务器进行模型训练得到审计服务器的模型更新，并采用随机采样方法结合余弦相似度计算每个客户端与审计服务器的相似度；最后，聚合服务器将相似度作为每个客户端的权重，通过加权求平均获得全局模型更新。本发明一直执行上述流程直到达到最大训练次数。本发明在有拜占庭客户端参与时，依然可以训练出准确的模型。
Description
技术领域
本发明属于人工智能领域，尤其涉及一种公共审计的拜占庭鲁棒联邦学习系统及方法。
背景技术
随着网络技术的发展，互联网产生了越来越多的数据。如何通过数据挖掘技术更好地利用这些数据，已成为一个迫切需要研究的课题。传统上来说，我们先收集数据，然后把数据放在服务器上集中训练。然而，这种方法有明显的缺点。数据所有者可能不愿意共享数据，或者用户可能因为网络带宽限制而无法及时有效地收集数据。例如，在智能医疗中，由于患者数据的敏感性，医院不能直接与第三方共享数据。
为了缓解这些问题，谷歌提出了联邦学习的概念，其主要思想是在聚合服务器的帮助下，由数据所有者在本地协作训练模型，而不共享原始数据。具体来说，在联邦学习中，有多个客户端，即数据所有者，和一个聚合服务器，即服务提供者。客户端拥有本地训练数据集，服务提供者允许客户端联合训练一个模型，即全局模型。由于它的潜在用途，许多公司使用它来开发实际应用程序。例如，谷歌为安卓键盘单词预测提出了一种联邦学习方法。
然而，最近的研究表明联邦学习面临拜占庭攻击的威胁。例如，恶意客户端可以通过毒害本地训练数据集或发送虚假的模型更新来破坏全局模型。被破坏的全局模型可以做出错误的预测，甚至可以预测对手选择的目标标签。或者，客户端可能只想通过参加联邦学习训练获得全局模型，而不想或不能提供其局部模型。由于上述问题，许多拜占庭鲁棒方法被提出。这些方法主要分为两类。第一类是利用统计学知识对每个客户端上传的模型更新进行比较和分析，在更新全局模型之前排除异常更新。这些解决方案的本质是，它们只在特定的威胁假设下工作。当对手不满足威胁假设时，防御可能失败。第二种方法假设服务器保留一个部分干净的数据集，然后使用该数据集作为识别异常更新和排除性能较差的更新的基础。这些解决方案需要一个聚合服务器来维护一个干净的数据集并在其上训练模型。
尽管拜占庭鲁棒的联邦学习已经得到了广泛的研究，但它仍然面临以下问题。首先，大多数方法通过比较模型更新、去除异常来实现拜占庭鲁棒性。这种方法具有有限的防御效果，当大多数客户端都是恶意的时候，就不能有效地工作。其次，大多数现有方法不支持公共审计，通常依赖于聚合服务器的聚合规则来实现拜占庭鲁棒。这些解决方案对聚合服务器有很大的计算开销，不能应用于聚合服务器计算资源有限的情况。此外，许多聚合服务器不希望过多地关注恶意客户端的防御，而更希望关注如何训练准确的全局模型。如果能够提供第三方拜占庭健壮性服务，将会非常有用。这是本发明关注的重点。
发明内容
为了解决上述技术问题，本发明提出了一种公共审计的拜占庭鲁棒联邦学习系统及方法。
本发明系统的技术方案为一种公共审计的拜占庭鲁棒联邦学习系统，包括：
多个联邦学习客户端、第三方审计服务器、聚合服务器；
所述聚合服务器与多个联邦学习客户端依次连接；所述聚合服务器与所述第三方审计服务器连接；
构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型、本次迭代优化中第三方审计服务器的初始化局部联邦学习模型；通过联邦学习梯度算法进行联邦学习模型训练得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数，以上传至聚合服务器、第三方审计服务器；结合联邦学习梯度算法进行联邦学习模型训练得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；聚合服务器通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，并作为下一次迭代优化中的联邦学习模型的初始化参数向量；迭代优化得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型。
本发明方法的技术方案为一种公共审计的拜占庭鲁棒联邦学习方法，具体步骤如下：
步骤1：聚合服务器向每个联邦学习客户端、第三方审计服务器依次下发本次迭代优化中联邦学习模型的初始化参数向量，每个联邦学习客户端根据本次迭代优化中联邦学习模型的初始化参数向量构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型，第三方审计服务器根据本次迭代优化中联邦学习模型的初始化参数向量构建本次迭代优化中第三方审计服务器的第三方审计服务器的初始化局部联邦学习模型；
步骤2：每个联邦学习客户端采用本地数据集作为训练集，并结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量即梯度，并上传至聚合服务器，聚合服务器将本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量传输至第三方审计服务器；
步骤3：第三方审计服务器采用多个未污染的样本构建训练集，结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；
步骤4：聚合服务器结合本次迭代优化中每个联邦学习客户端的训练后联邦学习模型更新向量、可信度评估值、规范化因子通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，聚合服务器将联邦学习全局模型参数向量向作为下一次迭代优化中的联邦学习模型的初始化参数向量；
步骤5：迭代优化执行步骤1至步骤4直至达到最大迭代优化次数，得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；
步骤6：每个联邦学习客户端根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型。
作为优选，步骤2所述本地数据集由多个污染的样本、多个未污染的样本构成；
作为优选，步骤3所述根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，具体如下：
通过随机采样法若未选中本次迭代优化，通过上一次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子；
通过随机采样法，若选中本次迭代优化，则结合第三方审计服务器的训练后模型参数更新向量与每个联邦学习客户端的训练后联邦学习模型参数更新向量进行每个客户端的可信度评估值、规范化因子计算；
通过余弦相似度计算模型计算得到本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子；
所述通过余弦相似度计算模型计算得到本次迭代优化中每个联邦学习客户端的参数向量权重，具体如下：
i∈[1,n]，r∈[1,R]
其中，
表示第r轮迭代第i个联邦学习客户端的余弦度，/>
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，/>
表示第三方审计服务器在第r轮迭代中的模型更新参数，||·||表示l2范式计算，R表示最大迭代次数，n为联邦学习客户端的数量；
计算每个联邦学习客户端的可信度评估值，具体如下：
其中，RELU(*)表示裁剪计算，x表示裁剪计算的变量，
表示第r轮迭代第i个联邦学习客户端的可信度评估值；
计算每个联邦学习客户端的规范化因子，具体如下：
其中，
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，/>
表示第三方审计服务器在第r轮迭代中的模型更新参数，/>
表示第r轮迭代第i个联邦学习客户端的规范化因子；
将
发送到聚合服务器；
作为优选，步骤4所述通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，具体如下：
其中，n为联邦学习训练客户端的数量，
表示第r轮迭代第i个联邦学习客户端的可信度评估值，/>
表示第r轮迭代第i个联邦学习客户端的规范化因子，/>
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，Wr+1为第r次迭代优化中联邦学习全局模型参数向量，将作为下一次迭代优化中的联邦学习模型的初始化参数向量即第r+1的迭代优化中的联邦学习模型的初始化参数向量；
本发明与现有技术相比具有如下优点和有益效果：
与其他联邦学习方法不同的是，本发明通过引入第三方审计服务器对联邦学习训练过程进行审计，从而降低了拜占庭攻击检测任务对聚合服务器的负担。
本发明提出的高效的拜占庭鲁棒联邦学习方法，可以在大多数客户端是恶意时快速的训练出一个高精度的全局模型。
与其他联邦学习方法不同的是，本发明提出的抽样审计方法，可以极大的缓解现有拜占庭鲁棒方法开销过大的问题。
附图说明
图1：本发明实施例的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
本发明实施例系统的技术方案为一种公共审计的拜占庭鲁棒联邦学习系统，包括：
多个联邦学习客户端、第三方审计服务器、聚合服务器；
所述聚合服务器与多个联邦学习客户端依次连接；所述聚合服务器与所述第三方审计服务器连接。
所述多个联邦学习客户端的选型均为电脑终端；
所述放入第三方审计服务器、聚合服务器选型均为IBM X3850 X5服务器；
所述联邦学习客户端的数量为20。
下面结合图1介绍本发明实施例提供的一种公共审计的拜占庭鲁棒联邦学习方法，具体如下：
本发明实施例的应用场景为每个联邦学习客户端受到访问请求，通过BP神经网络对访问请求进行分类，以判定访问请求中是否存在攻击。
步骤1：聚合服务器向每个联邦学习客户端、第三方审计服务器依次下发本次迭代优化中联邦学习模型的初始化参数向量，每个联邦学习客户端根据本次迭代优化中联邦学习模型的初始化参数向量构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型，第三方审计服务器根据本次迭代优化中联邦学习模型的初始化参数向量构建本次迭代优化中第三方审计服务器的第三方审计服务器的初始化局部联邦学习模型；
步骤2：每个联邦学习客户端采用本地数据集作为训练集，并结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量即梯度，并上传至聚合服务器，聚合服务器将本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量传输至第三方审计服务器；
步骤2所述本地数据集由多个污染的样本、多个未污染的样本构成；
多个污染的样本包括：50个包含攻击的请求，每个包含攻击的请求的标签为不包含攻击；50个不包含攻击的请求，每个不包含攻击的请求的标签为包含攻击；
多个未污染的样本包括：500个包含攻击的请求，每个包含攻击的请求的标签为包含攻击；500个不包含攻击的请求，每个不包含攻击的请求的标签为不包含攻击；
步骤3：第三方审计服务器采用多个未污染的样本构建训练集，结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；
步骤3所述根据随机采样法更新本次迭代优化中每个联邦学习客户端的参数向量权重，具体如下：
通过随机采样法若未选中本次迭代优化，通过上一次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子；
通过随机采样法，若选中本次迭代优化，则结合第三方审计服务器的训练后模型参数更新向量与每个联邦学习客户端的训练后联邦学习模型参数更新向量进行每个客户端的可信度评估值、规范化因子计算，即通过余弦相似度计算模型计算得到本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子；
所述通过余弦相似度计算模型计算得到本次迭代优化中每个联邦学习客户端的参数向量权重，具体如下：
i∈[1,n]，r∈[1,R]
其中，
表示第r轮迭代第i个联邦学习客户端的余弦度，/>
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，/>
表示第三方审计服务器在第r轮迭代中的模型更新参数，||·||表示l2范式计算，R表示最大迭代次数，n＝20为联邦学习客户端的数量；/>
计算每个联邦学习客户端的可信度评估值，具体如下：
其中，RELU(*)表示裁剪计算，x表示裁剪计算的变量，
表示第r轮迭代第i个联邦学习客户端的可信度评估值；
计算每个联邦学习客户端的规范化因子，具体如下：
其中，
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，/>
表示第三方审计服务器在第r轮迭代中的模型更新参数，/>
表示第r轮迭代第i个联邦学习客户端的规范化因子；
将
发送到聚合服务器；
步骤4：聚合服务器结合本次迭代优化中每个联邦学习客户端的训练后联邦学习模型更新向量、可信度评估值、规范化因子通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，聚合服务器将联邦学习全局模型参数向量向作为下一次迭代优化中的联邦学习模型的初始化参数向量；
步骤4所述通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，具体如下：
其中，n为联邦学习训练客户端的数量，
表示第r轮迭代第i个联邦学习客户端的可信度评估值，/>
表示第r轮迭代第i个联邦学习客户端的规范化因子，/>
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，Wr+1为第r次迭代优化中联邦学习全局模型参数向量，将作为下一次迭代优化中的联邦学习模型的初始化参数向量即第r+1的迭代优化中的联邦学习模型的初始化参数向量；
步骤5：迭代优化执行步骤1至步骤4直至达到最大迭代优化次数，得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；
步骤6：每个联邦学习客户端根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型，即优化后BP神经网络；
步骤7：联邦学习客户端接收访问请求，将访问请求通过优化后BP神经网络进行预测得到访问请求的类型，若访问请求不包含攻击则允许访问，否则拒绝访问。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
尽管本文较多地使用了联邦学习客户端、第三方审计服务器、聚合服务器等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种公共审计的拜占庭鲁棒联邦学习系统，其特征在于，包括：
多个联邦学习客户端、第三方审计服务器、聚合服务器；
所述聚合服务器与多个联邦学习客户端依次连接；所述聚合服务器与所述第三方审计服务器连接；
构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型、本次迭代优化中第三方审计服务器的初始化局部联邦学习模型；通过联邦学习梯度算法进行联邦学习模型训练得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数，以上传至聚合服务器、第三方审计服务器；结合联邦学习梯度算法进行联邦学习模型训练得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；聚合服务器通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，并作为下一次迭代优化中的联邦学习模型的初始化参数向量；迭代优化得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型。
2.一种利用权利要求1所述的公共审计的拜占庭鲁棒联邦学习系统进行公共审计的拜占庭鲁棒联邦学习方法，其特征在于，包括以下步骤：
步骤1：构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型、本次迭代优化中第三方审计服务器的第三方审计服务器的初始化局部联邦学习模型；
步骤2：每个联邦学习客户端采用本地数据集作为训练集，并结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量即梯度，并上传至聚合服务器，聚合服务器将本次迭代优化中每个联邦学习客户端的训练后联邦学习模型参数更新向量传输至第三方审计服务器；
步骤3：第三方审计服务器采用多个未污染的样本构建训练集，结合联邦学习梯度算法进行联邦学习模型训练，得到本次迭代优化中第三方审计服务器的训练后联邦学习模型参数更新向量，根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，并传输至聚合服务器；
步骤4：聚合服务器结合本次迭代优化中每个联邦学习客户端的训练后联邦学习模型更新向量、可信度评估值、规范化因子通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，聚合服务器将联邦学习全局模型参数向量向作为下一次迭代优化中的联邦学习模型的初始化参数向量；
步骤5：迭代优化执行步骤1至步骤4直至达到最大迭代优化次数，得到每个联邦学习客户端的迭代优化后联邦学习模型参数向量、第三方审计服务器的迭代优化后联邦学习模型参数向量、聚合服务器的迭代优化后联邦学习全局模型参数向量；
步骤6：每个联邦学习客户端根据迭代优化后联邦学习模型参数向量构建对应的迭代优化后联邦学习模型。
3.根据权利要求2所述的公共审计的拜占庭鲁棒联邦学习方法，其特征在于，
步骤1所述构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型，具体如下：
聚合服务器向每个联邦学习客户端下发本次迭代优化中联邦学习模型的初始化参数向量，每个联邦学习客户端根据本次迭代优化中联邦学习模型的初始化参数向量构建本次迭代优化中每个联邦学习客户端的初始化局部联邦学习模型；
步骤1所述构建本次迭代优化中第三方审计服务器的第三方审计服务器的初始化局部联邦学习模型，具体如下：
聚合服务器向第三方审计服务器依次下发本次迭代优化中联邦学习模型的初始化参数向量，第三方审计服务器根据本次迭代优化中联邦学习模型的初始化参数向量构建本次迭代优化中第三方审计服务器的第三方审计服务器的初始化局部联邦学习模型。
4.根据权利要求3所述的公共审计的拜占庭鲁棒联邦学习方法，其特征在于，
步骤2所述本地数据集由多个污染的样本、多个未污染的样本构成。
5.根据权利要求4所述的公共审计的拜占庭鲁棒联邦学习方法，其特征在于，
步骤3所述根据随机采样法更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子，具体如下：
通过随机采样法若未选中本次迭代优化，通过上一次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子更新本次迭代优化中每个联邦学习客户端的可信度评估值、规范化因子；
通过随机采样法，若选中本次迭代优化，则结合第三方审计服务器的训练后模型参数更新向量与每个联邦学习客户端的训练后联邦学习模型参数更新向量进行每个客户端的可信度评估值、规范化因子计算，即通过余弦相似度计算模型计算得到本次迭代优化中每个联邦学习客户端的可信度评估值，结合每个联邦学习客户端的可信度评估值计算得到每个联邦学习客户端的规范化因子。
6.根据权利要求5所述的公共审计的拜占庭鲁棒联邦学习方法，其特征在于，
所述通过余弦相似度计算模型计算得到本次迭代优化中每个联邦学习客户端的可信度评估值，具体如下：
i∈[1,n]，r∈[1,R]
其中，
表示第r轮迭代第i个联邦学习客户端的余弦度，/>
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，/>
表示第三方审计服务器在第r轮迭代中的模型更新参数，/>
表示l2范式计算，R表示最大迭代次数，n为联邦学习客户端的数量；
计算每个联邦学习客户端的可信度评估值，具体如下：
其中，RELU(*)表示裁剪计算，x表示裁剪计算的变量，
表示第r轮迭代第i个联邦学习客户端的可信度评估值。
7.根据权利要求6所述的公共审计的拜占庭鲁棒联邦学习方法，其特征在于，
所述结合每个联邦学习客户端的可信度评估值计算得到每个联邦学习客户端的规范化因子，具体如下：
其中，
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，
表示第三方审计服务器在第r轮迭代中的模型更新参数，/>
表示第r轮迭代第i个联邦学习客户端的规范化因子；
将
发送到聚合服务器。
8.根据权利要求7所述的公共审计的拜占庭鲁棒联邦学习方法，其特征在于，
步骤4所述通过加权均值计算得到本次迭代优化中联邦学习全局模型参数向量，具体如下：
其中，n为联邦学习训练客户端的数量，
表示第r轮迭代第i个联邦学习客户端的可信度评估值，/>
表示第r轮迭代第i个联邦学习客户端的规范化因子，/>
表示第r轮迭代第i个联邦学习客户端的局部模型更新即模型参数更新向量，Wr+1为第r次迭代优化中联邦学习全局模型参数向量，将作为下一次迭代优化中的联邦学习模型的初始化参数向量即第r+1的迭代优化中的联邦学习模型的初始化参数向量。/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211470114.3A CN116151369A (zh) | 2022-11-23 | 2022-11-23 | 一种公共审计的拜占庭鲁棒联邦学习系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211470114.3A CN116151369A (zh) | 2022-11-23 | 2022-11-23 | 一种公共审计的拜占庭鲁棒联邦学习系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116151369A true CN116151369A (zh) | 2023-05-23 |
Family
ID=86339697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211470114.3A Pending CN116151369A (zh) | 2022-11-23 | 2022-11-23 | 一种公共审计的拜占庭鲁棒联邦学习系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116151369A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117560229A (zh) * | 2024-01-11 | 2024-02-13 | 吉林大学 | 一种联邦非介入式负荷监测用户验证方法 |
-
2022
- 2022-11-23 CN CN202211470114.3A patent/CN116151369A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117560229A (zh) * | 2024-01-11 | 2024-02-13 | 吉林大学 | 一种联邦非介入式负荷监测用户验证方法 |
| CN117560229B (zh) * | 2024-01-11 | 2024-04-05 | 吉林大学 | 一种联邦非介入式负荷监测用户验证方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399550B (zh) | 一种信息推荐方法及装置 | |
| CN107330731B (zh) | 一种识别广告位点击异常的方法和装置 | |
| TW202139045A (zh) | 基於隱私保護確定目標業務模型的方法及裝置 | |
| Liu et al. | Keep your data locally: Federated-learning-based data privacy preservation in edge computing | |
| He et al. | MTAD‐TF: Multivariate Time Series Anomaly Detection Using the Combination of Temporal Pattern and Feature Pattern | |
| CN112446310A (zh) | 基于区块链的年龄识别系统、方法及装置 | |
| CN110889759A (zh) | 信用数据的确定方法、装置及存储介质 | |
| CN116151369A (zh) | 一种公共审计的拜占庭鲁棒联邦学习系统及方法 | |
| Akter et al. | Edge intelligence-based privacy protection framework for iot-based smart healthcare systems | |
| CN110825589A (zh) | 用于微服务系统的异常检测方法及其装置和电子设备 | |
| CN112200684B (zh) | 一种检测医保欺诈的方法、系统及存储介质 | |
| CN113436006A (zh) | 基于区块链的贷款风险预测方法及装置 | |
| CN117540336A (zh) | 时间序列预测方法、装置及电子设备 | |
| CN116662904A (zh) | 数据类型的变异检测方法、装置、计算机设备及介质 | |
| CN116720214A (zh) | 一种用于隐私保护的模型训练方法及装置 | |
| Zhang et al. | Causal direction inference for network alarm analysis | |
| CN114329099B (zh) | 重叠社区识别方法、装置、设备、存储介质及程序产品 | |
| US11468191B2 (en) | Method and apparatus for identifying applets of risky content based on differential privacy preserving | |
| CN115146292A (zh) | 一种树模型构建方法、装置、电子设备及存储介质 | |
| Satyanegara et al. | Implementation of CNN-MLP and CNN-LSTM for MitM attack detection system | |
| US20210286105A1 (en) | Methods and systems for facilitating forecasting of in-situ environmental conditions using nonlinear artificial neural networks-based models | |
| CN111291196B (zh) | 知识图谱的完善方法及装置、数据处理方法及装置 | |
| CN114677584A (zh) | 一种双注意力机制配电站水浸识别方法及系统 | |
| CN115204888A (zh) | 一种目标账户识别方法、装置、存储介质和电子设备 | |
| CN112613055A (zh) | 基于分布式云服务器和数图转换的图像处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |