CN117454381B - 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 - Google Patents
一种非独立同分布数据下面向联邦学习的渐进性攻击方法 Download PDFInfo
- Publication number
- CN117454381B CN117454381B CN202311800375.1A CN202311800375A CN117454381B CN 117454381 B CN117454381 B CN 117454381B CN 202311800375 A CN202311800375 A CN 202311800375A CN 117454381 B CN117454381 B CN 117454381B
- Authority
- CN
- China
- Prior art keywords
- model
- local
- round
- client
- attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000750 progressive effect Effects 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000007123 defense Effects 0.000 claims description 3
- 230000008260 defense mechanism Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 6
- 231100000572 poisoning Toxicity 0.000 description 5
- 230000000607 poisoning effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000004260 weight control Methods 0.000 description 1
Abstract
本发明属于信息安全的技术领域，更具体地，涉及一种非独立同分布数据下面向联邦学习的渐进性攻击方法。所述方法服务器端随机初始化一个全局模型作为第一轮全局模型，下发到各个客户端，攻击者选用该全局模型作为攻击模型；所述客户端收到全局模型后在本地执行训练形成局部模型，并将局部模型上传到服务器端；所述服务器端将局部模型更新聚合，形成新一轮全局模型，继续下发至客户端；在每轮训练中，客户端使用接收到的全局模型更新其局部模型并在本地数据集上进行训练；结束训练。本发明解决了现有技术中攻击者为隐藏其攻击操作导致控制模型性能逐渐下降并导致数据非独立同分布联邦学习中的攻击检测变得更加困难的问题。
Description
技术领域
本发明属于信息安全的技术领域，更具体地，涉及一种非独立同分布数据下面向联邦学习的渐进性攻击方法。
背景技术
大数据时代的到来为人工智能的发展提供了机会，但是，人工智能系统的协作训练和数据共享可能导致隐私泄露以及大量的通信开销。联邦学习作为一种独特的分布式机器学习方式，通过服务端协作各客户端学习全局模型而无需共享数据，对于保护数据隐私和减少数据传输带来的隐私泄露风险具有重要作用。
中国发明专利CN114764499A公开了一种面向联邦学习的对抗样本投毒攻击方法，包括假设有m个参与者参与训练，m>＝2，假设第k个参与方是攻击者，其攻击的目标是其本地模型参数在参与聚合后，使得联邦学习全局模型在测试集上的性能尽可能差；首先，攻击者通过给本地私有训练样本添加一些人眼无法察觉的对抗扰动以生成“有毒”的对抗样本，并基于这些样本进行本地训练；其次，为了主导全局模型的训练过程，攻击者在本地训练过程中提高训练学习率以加速恶意模型参数的生成；最后，攻击者将其本地模型参数上传至服务器端参与聚合以影响全局模型。
然而，由于联邦学习涉及客户端和服务端之间的模型传输，引入了潜在的攻击威胁。攻击者为隐藏其攻击操作不会导致训练突然失败，而是控制模型性能逐渐下降，这使得攻击很难被发现。因此，渐进性攻击采取逐步迭代的方式逐渐改变攻击强度以规避安全防御系统的检测措施。尤其是在数据非独立同分布环境下，各客户端局部模型更新方向不同产生的“客户漂移”现象，也会带来模型性能下降问题，导致数据非独立同分布联邦学习中的攻击检测变得更加困难。
在数据非独立同分布的环境下，联邦学习攻击是一种挑战性的问题，数据的非独立同分布性增加了攻击的复杂性和不确定性，同时，个性化联邦学习的出现，需要攻击者克服更强大的机制达到攻击目的。因此，在非独立同分布数据环境下，尚缺乏有效攻击联邦学习的投毒模型攻击方法。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种非独立同分布数据下面向联邦学习的渐进性攻击方法，以解决现有技术中在非独立同分布数据环境下，尚缺乏有效攻击联邦学习的投毒模型攻击方法等问题。
本发明详细的技术方案如下：
本发明涉及一种结合反向对比学习思想和渐进性攻击的联邦学习模型投毒攻击方法，该方法启发于对比学习的思想，从模型投毒攻击的角度在客户端的局部训练阶段，操纵局部模型的更新方向，阻止其向着全局模型方向收敛，将不正确的局部模型信息上传到服务端参与聚合，进而导致全局模型的准确度下降，并在下一轮训练中通过广播的全局模型破坏其他客户端局部模型的准确性。同时，利用数据非独立同分布环境造成的联邦学习系统性能下降带来的天然条件，设计动态权重将攻击效果隐藏在该条件下以躲避攻击检测，实现非独立同分布数据下对联邦学习系统的渐进性攻击。
在本地训练时，通过注入攻击模型参数来阻止客户端使用全局模型参数更新其局部模型；为实现渐进性攻击的目的，本发明通过动态权重渐进性控制攻击强度，实现对联邦学习系统的逐渐渗透，同时降低被检测的风险；
在训练早期阶段，受数据非独立同分布的影响，模型本身便性能较差，此时，赋予攻击模型参数较大比例，全局模型参数较小比例来更新局部模型也不易被检测出；
在训练后期阶段，由于未被攻击的模型已逐渐实现收敛，所以，需逐渐减小攻击模型参数的比例，来隐藏攻击的存在。不过，全局模型的比例在逐渐增加，但由于前面攻击效果的累积导致其已经逐渐偏离未受攻击状态，所以攻击模型比例的降低不会对攻击效果产生太大的影响，仍能保证攻击有效性，同时又实现攻击隐蔽性。
一种非独立同分布数据下面向联邦学习的渐进性攻击方法具体包括：
S1、服务器端在训练开始时，随机初始化一个全局模型作为第一轮全局模型，下发到各个客户端，攻击者选用该全局模型作为攻击模型；
在渐进性攻击中，为保证攻击有效性，本发明选用随机初始化的全局模型作为攻击模型，该模型由于未在本地数据集下训练，所以精度低、性能差。因此，选用该模型作为攻击模型取代局部模型上传至服务端参与聚合可以有效影响全局模型的性能；并且，为避免随机攻击下模型更新方向不稳定导致的多次迭代攻击效果相互抵消的情况，本专利在每轮训练中均使用同一攻击模型，确保每次攻击的切实有效性。
S2、所述客户端包括攻击者和良性客户端；
所述攻击者和良性客户端收到全局模型后分别在本地执行训练形成各自的局部模型更新，并将形成各自的局部模型更新上传到服务器端；
所述服务器端将接收到的客户端的局部模型更新聚合，形成新一轮全局模型，继续下发至客户端；在每轮训练中，客户端使用接收到的全局模型更新其局部模型并在本地数据集上进行训练；
全局模型为客户端带来全局知识，是局部模型收敛至全局最优的关键，也是个性化联邦学习以增加局部模型与全局模型相似度为目标优化性能的原因。在个性化联邦学习中，为了削弱非独立同分布数据带来的困难，一般使用对比学习的思想，对比学习的目的是使局部模型的特征输出向全局模型靠近，因此，攻击模型应该以降低局部模型与全局模型的相似度为目标，并通过该操作进一步影响全局模型与最优全局模型的相似度。
S3、根据设定的总共训练轮次，重复S2，得到最终全局模型以及攻击者的目标函数，结束训练。
所述S2具体包括：
S21、攻击者局部模型的训练过程：
前面轮次指总共训练轮次之前，全局模型进入收敛状态时的轮次；
同时，为实现攻击隐蔽性，本发明基于迭代训练轮次设计动态权重控制局部模型的更新对联邦学习系统发起渐进性攻击，具体的，以训练轮次为前面轮次设计动态权重p：
；
公式（1）中，t指的是当前训练轮次，T是总共训练轮次，攻击者使用动态比例学习全局模型和局部模型的权重来规避检测，提高隐蔽性；
攻击者收到攻击模型后，使用随机梯度下降并用被攻击的客户端的局部数据/>更新局部模型，期望绕过防御机制检测的同时实现局部攻击最大化，目标函数表示为：
；
目标函数对在被攻击模型的参数上进行最大化操作，目标是使期望值最大；
公式（2）中，表示对数据分布/>中的所有样本/>取期望，/>是指第/>个客户端的本地数据集，（x，y）表示从数据集/>中采样得到的样本，其中x是输入，y是相应的标签，/>是第t轮从服务器端接收到的全局模型/>使用客户端本地训练集得到的全损失函数，/>是使用攻击模型根据本地训练集计算出的攻击损失函数，是攻击者第/>轮上传到服务器端的局部模型，/>是第t轮攻击者接收到的全局模型；
接着，得出攻击者在第t轮计算的局部损失以及局部模型更新：
；
；
公式（3）-（4）中，指的是学习率。
S22、良性客户端局部模型的训练过程：
每个良性客户端接收到服务器端下发的全局模型后，使用自己的本地数据集计算良性局部损失，良性局部损失包括本地模型损失和正则化项损失：
；
公式（5）中，是良性客户端在第/>轮计算的局部损失，/>是第t轮根据本地数据集训练的本地模型损失，/>是该良性客户端的本地模型，/>是一个调整不同损失项之间平衡的超参数，来权衡联邦学习目标中不同损失项的相对重要性，/>是个性化联邦学习方法添加的正则化项损失，以此来减小非独立同分布数据为全局模型训练带来的影响，FedAvg方法中不添加此项。损失计算完成后，计算良性客户端第t轮上传到服务器端的局部模型更新/>：
；
S23、服务器端将接收到的客户端的局部模型更新聚合包括：
服务器端接收到各客户端上传的局部模型更新后，使用FedAvg方法进行平均聚合：
；
公式（7）中，k指的是每轮训练中服务器端随机选择的客户端子集，有可能同时包括了良性客户端和攻击者，或者只包含良性客户端，c是服务器端选择在本轮参与训练的客户端数量，服务器端计算平均值当作第t+1轮全局模型更新，继续下发给下一轮随机选择的客户端子集重复此过程，直到全局模型收敛或达到训练设置的轮数得到最终的全局模型；
通过上述训练过程，攻击者的目标函数表达式如下：
；
公式（8）中，是未被攻击时全部使用良性客户在第t轮训练的全局模型，/>是使用本发明方法攻击后第t轮训练的全局模型，/>代表/>范数，攻击者通过动态权重控制攻击强度，实现对联邦学习系统的隐蔽性攻击。
服务器端将接收到的局部模型更新聚合后，攻击者的局部模型更新影响全局模型的性能，进行下一轮训练时会将被攻击后的全局模型下发给各客户端，进而影响其他客户端的局部模型，经过多轮训练后，攻击者可以降低全局模型的性能，干扰全局模型的收敛。
与现有技术相比，本发明的有益效果为：
本发明提供的一种非独立同分布数据下面向联邦学习的渐进性攻击方法，可应对非独立同分布数据给模型性能提升带来的挑战，可以阻止局部模型向着全局模型更新，攻击者选用随机初始化的全局模型作为攻击模型来影响全局模型的性能，同时通过动态权重渐进性控制攻击强度，达到了在保证攻击有效性的同时躲避检测机制实现攻击隐蔽性；攻击者设计攻击方法来探测、发现和利用联邦学习中的漏洞和弱点，有助于改进现有的安全防御方法，使联邦学习更加具有鲁棒性，免受攻击威胁。
附图说明
图1是本发明所述攻击方法框架示意图。
图2是本发明所述攻击方法原理简示图。
图3是本发明实施例1中渐进性攻击示例图。
图4是本发明实施例1中被攻击后的全局模型更新示意图。
图5是本发明实施例1中在MNIST的独立同分布数据集对FedAvg方法进行攻击效果图。
图6是本发明实施例1中在MNIST的非独立同分布数据集上对FedAvg方法进行攻击效果图。
图7是本发明实施例1中在非独立同分布数据环境下攻击个性化联邦学习MOON方法效果图。
具体实施方式
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例 1
本实施例提供一种非独立同分布数据下面向联邦学习的渐进性攻击方法，如图1、图2所示：
S1、服务器端在训练开始时，随机初始化一个全局模型作为第一轮全局模型，下发到各个客户端，攻击者选用该全局模型作为攻击模型/>；
服务器端在训练开始时，随机初始化一个全局模型并下发到各个客户端，攻击者选用该模型/>作为攻击模型/>，复制/>的参数到/>模型中，使攻击模型和全局模型的框架保持一致，提高隐蔽性：
；
S2、客户端在训练阶段的计算：
所述客户端包括攻击者和良性客户端，所述攻击者和良性客户端分别在本地执行训练形成各自的局部模型更新，并将形成各自的局部模型更新上传到服务器端；
所述服务器端将接收到的客户端的局部模型更新聚合，形成新一轮全局模型，继续下发至客户端。
在本发明中，包含两类客户端，分别为攻击者和良性客户端，可包括多个攻击者或者多个良性客户端，如图1所示，包括良性客户端1、良性客户端2、......、攻击者、良性客户端k；在联邦学习框架下，这些客户端在本地执行训练，分别形成各自的局部模型更新和/>，随后，他们将局部模型上传到服务器端进行聚合，服务器端再将更新后的全局模型/>下发到各个客户端，循环到模型收敛或达到指定轮数；
所述S2具体包括：
S21、攻击者局部模型的训练过程：
大量研究已证明，随着训练轮次的增加，模型性能也在不断提升，并且，前面轮次的模型收敛速度要远高于后面轮次，也就是说，前面轮次是收敛速度提升的关键。经过分析，本专利以训练轮次为前面轮次设计动态权重p：
；
公式（1）中，t指的是当前训练轮次，T是总共训练轮次，攻击者使用动态比例学习全局模型和局部模型的权重来规避检测，提高隐蔽性；
随着迭代训练轮数的增加，改变攻击者的攻击强度，慢慢减小攻击模型对全局模型的影响以增强攻击的隐蔽性，从而降低被检测的风险，如图3所示。
攻击者收到攻击模型后，使用随机梯度下降并用被攻击的客户端的局部数据/>更新局部模型，期望绕过防御机制检测的同时实现局部攻击最大化，目标函数表示为：
；
目标函数对在被攻击模型的参数上进行最大化操作，目标是使期望值最大；
公式（2）中，表示对数据分布/>中的所有样本/>取期望，/>是指第/>个客户端的本地数据集，（x，y）表示从数据集/>中采样得到的样本，其中x是输入，y是相应的标签，/>是第/>轮从服务器端接收到的全局模型/>使用客户端本地训练集得到的全损失函数，/>是使用攻击模型根据本地训练集计算出的攻击损失函数，是攻击者第t轮上传到服务器端的局部模型，/>是第t轮攻击者接收到的全局模型；
攻击者通过最大化关于攻击者局部模型参数的期望损失，使得攻击者能够在攻击中取得最大优势，同时尽量减小被检测的风险。接着，得出攻击者在第轮计算的局部损失以及局部模型更新；
通过以上分析，得出攻击者在第t轮计算的局部损失以及局部模型更新：
；
；
公式（3）-（4）中，指的是学习率。
S22、良性客户端局部模型的训练过程：
每个良性客户端接收到服务器端下发的全局模型后，使用自己的本地数据集计算良性局部损失，良性局部损失由两部分组成，分别是本地模型损失和正则化项损失：
；
公式（5）中，是良性客户端在第t轮计算的局部损失，/>是第/>轮根据本地数据集训练的本地模型损失，/>是该良性客户端的本地模型，/>是一个调整不同损失项之间平衡的超参数，来权衡联邦学习目标中不同损失项的相对重要性，/>是个性化联邦学习方法添加的正则化项损失，以此来减小非独立同分布数据为全局模型训练带来的影响，FedAvg方法中不添加此项，如果使用MOON方法，则在客户端训练时加正则项。损失计算完成后，计算良性客户端第t轮上传到服务器端的局部模型更新/>：
；
S23、服务器端将接收到的客户端的局部模型更新聚合包括：
服务器端接收到各客户端上传的局部模型更新后，使用FedAvg方法进行平均聚合：
；
公式（7）中，k指的是每轮训练中服务器端随机选择的客户端子集，有可能同时包括了良性客户端和攻击者，或者只包含良性客户端，c是服务器端选择在本轮参与训练的客户端数量，服务器端计算平均值当作第t+1轮全局模型更新，继续下发给下一轮随机选择的客户端子集重复此过程，直到全局模型收敛或达到训练设置的轮数得到最终的全局模型；
如图4所示，被攻击后的全局模型更新，攻击模型，/>、/>、/>分别是第t-1、t、t+1轮的全局模型，/>是未被攻击时训练的全局模型。可以看出，即使强度慢慢降低也可以逐步将全局模型拉向攻击模型。
通过上述训练过程，攻击者的目标函数表达式如下：
；
公式（8）中，是未被攻击时全部使用良性客户在第t轮训练的全局模型，/>是使用本发明方法攻击后第t轮训练的全局模型，/>代表/>范数，攻击者通过动态权重控制攻击强度，实现对联邦学习系统的隐蔽性攻击；
如图3所示，为攻击模型，/>、/>、/>分别是第t-1、t、t+1轮的全局模型，是未被攻击时训练的全局模型，可以看出，即使强度慢慢降低也可以逐步将全局模型拉向攻击模型，并且远离未被攻击时训练的全局模型。
服务器端将接收到的局部模型更新聚合后，攻击者的局部模型更新影响全局模型的性能，进行下一轮训练时会将被攻击后的全局模型下发给各客户端，进而影响其他客户端的局部模型，经过多轮训练后，攻击者可以降低全局模型的性能，干扰全局模型的收敛。
S3、根据设定的总共训练轮次，得到最终全局模型以及攻击者的目标函数。
具体的，图5和图6分别为在MNIST的独立同分布数据集和非独立同分布数据集上对FedAvg方法进行攻击，通信200次，使用学习率为0.01的SGD优化器，批量大小设置为64，局部epoch数为10，攻击比率设为0.5；
通过实验对比了攻击后的两种环境下的模型精准度的均值和离散程度，发现该方法攻击非独立同分布数据集时效果更佳：
图5和图6均为全局模型攻击情况下与未攻击情况下的模型测试时精准度对比，在两种情况下进行攻击都降低了全局模型的准确度，并影响了全局模型的收敛；
图7为在非独立同分布数据环境下攻击个性化联邦学习MOON方法效果图，在CIFAR-100数据集上，通信50次，使用学习率为0.01的SGD优化器，批量大小设置为64，局部epoch数为5，攻击比率设为0.5；
在MOON方法中使用该攻击时与未使用攻击的全局模型测试精准度对比，由图可以看出MOON方法被攻击后模型的收敛性变低，收敛后的模型测试准确度也比未被攻击时下降了10%左右。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (2)
1.一种非独立同分布数据下面向联邦学习的渐进性攻击方法，其特征在于，包括；
S1、服务器端在训练开始时，随机初始化一个全局模型作为第一轮全局模型，下发到各个客户端，攻击者选用该全局模型作为攻击模型；
S2、所述客户端包括攻击者和良性客户端；
所述攻击者和良性客户端收到全局模型后分别在本地执行训练形成各自的局部模型更新，并将形成各自的局部模型更新上传到服务器端；
所述服务器端将接收到的客户端的局部模型更新聚合，形成新一轮全局模型，继续下发至客户端；在每轮训练中，客户端使用接收到的全局模型更新其局部模型并在本地数据集上进行训练；
S3、根据设定的总共训练轮次，得到最终全局模型以及攻击者的目标函数，攻击者设计攻击方法来探测、发现和利用联邦学习中的漏洞和弱点，有助于改进现有的安全防御方法，使联邦学习更加具有鲁棒性，免受攻击威胁；
所述S2具体包括：
S21、攻击者局部模型的训练过程；
以训练轮次为前面轮次设计动态权重p，前面轮次指总共训练轮次之前，全局模型进入收敛状态时的轮次;
；
公式（1）中，t指的是当前训练轮次，T是总共训练轮次；
攻击者收到攻击模型后，使用随机梯度下降并用被攻击的客户端的局部数据（x，y）更新局部模型，期望绕过防御机制检测的同时实现局部攻击最大化：
；
公式（2）中，表示对数据分布/>中的所有样本/>取期望，/>是指第i个客户端的本地数据集，/>表示从数据集/>中采样得到的样本，其中x是输入，y是相应的标签；是第t轮从服务器端接收到的全局模型/>使用客户端本地训练集得到的全局损失函数，/>是使用攻击模型根据本地训练集计算出的攻击损失函数，/>是攻击者第t轮上传到服务器端的局部模型，/>是第t轮攻击者接收到的全局模型；
接着，得出攻击者在第t轮计算的局部损失以及局部模型更新：
；
；
公式（3）-（4）中，指的是学习率；
S22、良性客户端局部模型的训练过程：
每个良性客户端接收到服务器端下发的全局模型后，使用自己的本地数据集计算良性局部损失，良性局部损失包括本地模型损失和正则化项损失：
；
公式（5）中，是良性客户端在第t轮计算的局部损失，/>是第t轮根据本地数据集训练的本地模型损失，/>是该良性客户端的本地模型，/>是一个调整不同损失项之间平衡的超参数，/>是个性化联邦学习方法添加的正则化项损失；
计算良性客户端第t轮上传到服务器端的局部模型更新：
；
S23、服务器端将接收到的客户端的局部模型更新聚合得到全局模型，具体包括：
所述服务器端接收到各客户端上传的局部模型更新后，使用FedAvg方法进行平均聚合：
；
公式（7）中，k指的是每轮训练中服务器端随机选择的客户端子集，所述客户端子集同时包括良性客户端和攻击者，或只包括良性客户端；c是服务器端选择在本轮参与训练的客户端数量，服务器端计算平均值当作第t+1轮全局模型更新，继续下发给下一轮随机选择的客户端子集重复此过程，直到全局模型收敛或达到训练设置的轮数得到最终的全局模型；
所述S3具体包括：
攻击者的目标函数表达式如下：
；
公式（8）中，是未被攻击时全部使用良性客户在第t轮训练的全局模型，/>是攻击后第t轮训练的全局模型，/>代表/>范数，攻击者通过动态权重控制攻击强度。
2.根据权利要求1所述的一种非独立同分布数据下面向联邦学习的渐进性攻击方法，其特征在于，所述良性客户端局部模型的训练过程中，若使用FedAvg方法训练良性客户端局部模型，则不添加个性化联邦学习方法添加的正则化项损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311800375.1A CN117454381B (zh) | 2023-12-26 | 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311800375.1A CN117454381B (zh) | 2023-12-26 | 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117454381A CN117454381A (zh) | 2024-01-26 |
| CN117454381B true CN117454381B (zh) | 2024-06-04 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021190638A1 (zh) * | 2020-11-24 | 2021-09-30 | 平安科技（深圳）有限公司 | 基于非均匀分布数据的联邦建模方法及相关设备 |
| CN114764499A (zh) * | 2022-03-21 | 2022-07-19 | 大连理工大学 | 一种面向联邦学习的对抗样本投毒攻击方法 |
| CN115374479A (zh) * | 2022-08-31 | 2022-11-22 | 南京理工大学 | 一种非独立同分布数据场景下的联邦学习隐私保护方法 |
| CN116029369A (zh) * | 2023-02-10 | 2023-04-28 | 中国海洋大学 | 一种基于联邦学习的后门攻击防御方法及系统 |
| CN117272306A (zh) * | 2023-11-23 | 2023-12-22 | 太原理工大学 | 基于交替最小化的联邦学习半目标投毒攻击方法及系统 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021190638A1 (zh) * | 2020-11-24 | 2021-09-30 | 平安科技（深圳）有限公司 | 基于非均匀分布数据的联邦建模方法及相关设备 |
| CN114764499A (zh) * | 2022-03-21 | 2022-07-19 | 大连理工大学 | 一种面向联邦学习的对抗样本投毒攻击方法 |
| CN115374479A (zh) * | 2022-08-31 | 2022-11-22 | 南京理工大学 | 一种非独立同分布数据场景下的联邦学习隐私保护方法 |
| CN116029369A (zh) * | 2023-02-10 | 2023-04-28 | 中国海洋大学 | 一种基于联邦学习的后门攻击防御方法及系统 |
| CN117272306A (zh) * | 2023-11-23 | 2023-12-22 | 太原理工大学 | 基于交替最小化的联邦学习半目标投毒攻击方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Zhao,B. .Federal learning for security and privacy protection. Proceedings of SPIE.2023,第1-9页. * |
| 贾延延 ; 张昭 ; 冯键 ; 王春凯 ; .联邦学习模型在涉密数据处理中的应用.中国电子科学研究院学报.2020,(01),第47-53页. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gan et al. | Decorate the newcomers: Visual domain prompt for continual test time adaptation | |
| CN111464465B (zh) | 一种基于集成神经网络模型的信道估计方法 | |
| Zhou et al. | Generative adversarial network-based electromagnetic signal classification: A semi-supervised learning framework | |
| CN108197561B (zh) | 人脸识别模型优化控制方法、装置、设备及存储介质 | |
| CN109151332B (zh) | 基于适应度函数的相机编码曝光最优码字序列搜索方法 | |
| CN116029369A (zh) | 一种基于联邦学习的后门攻击防御方法及系统 | |
| CN114764499A (zh) | 一种面向联邦学习的对抗样本投毒攻击方法 | |
| CN117454381B (zh) | 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 | |
| CN117253072A (zh) | 一种基于个性化联邦学习的图像分类方法 | |
| CN112487431A (zh) | 基于非完全信息的入侵检测系统最优稳态策略求解方法 | |
| CN117272306A (zh) | 基于交替最小化的联邦学习半目标投毒攻击方法及系统 | |
| Shi et al. | Data poisoning attacks on federated learning by using adversarial samples | |
| CN117454381A (zh) | 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 | |
| CN111988415B (zh) | 基于模糊博弈的移动传感设备计算任务安全卸载方法 | |
| CN116824232A (zh) | 一种数据填充式的深度神经网络图像分类模型对抗训练方法 | |
| Zhou et al. | FedAegis: Edge-based Byzantine-robust federated learning for heterogeneous data | |
| CN116187432A (zh) | 基于生成对抗网络的non-IID联邦学习模型后门鲁棒性评估方法 | |
| Wei et al. | Model cloaking against gradient leakage | |
| CN116017463A (zh) | 基于动态信任机制的无线传感器网络恶意节点识别方法 | |
| Zhang et al. | A differential privacy federated learning framework for accelerating convergence | |
| CN115695429A (zh) | 面向Non-IID场景的联邦学习客户端选择方法 | |
| Yang et al. | DeMAC: Towards detecting model poisoning attacks in federated learning system | |
| Liu et al. | Assisting backdoor federated learning with whole population knowledge alignment in mobile edge computing | |
| CN117994635B (zh) | 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统 | |
| CN117807597A (zh) | 面向后门攻击的鲁棒个性化联邦学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |