CN114764499A - 一种面向联邦学习的对抗样本投毒攻击方法 - Google Patents
一种面向联邦学习的对抗样本投毒攻击方法 Download PDFInfo
- Publication number
- CN114764499A CN114764499A CN202210276358.1A CN202210276358A CN114764499A CN 114764499 A CN114764499 A CN 114764499A CN 202210276358 A CN202210276358 A CN 202210276358A CN 114764499 A CN114764499 A CN 114764499A
- Authority
- CN
- China
- Prior art keywords
- training
- sample
- model
- local
- attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 231100000572 poisoning Toxicity 0.000 title description 8
- 230000000607 poisoning effect Effects 0.000 title description 8
- 238000012549 training Methods 0.000 claims abstract description 100
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000002776 aggregation Effects 0.000 claims abstract description 18
- 238000004220 aggregation Methods 0.000 claims abstract description 18
- 241000700605 Viruses Species 0.000 claims abstract description 13
- 231100000331 toxic Toxicity 0.000 claims abstract description 12
- 230000002588 toxic effect Effects 0.000 claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims description 16
- 230000003321 amplification Effects 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 239000002574 poison Substances 0.000 claims description 8
- 231100000614 poison Toxicity 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 40
- 230000000694 effects Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer And Data Communications (AREA)
Abstract
一种面向联邦学习的对抗样本投毒攻击方法，定义如下场景，假设有m个参与者参与训练，m>＝2，假设第k个参与方是攻击者，其攻击的目标是其本地模型参数在参与聚合后，使得联邦学习全局模型在测试集上的性能尽可能差；首先，攻击者通过给本地私有训练样本
添加一些人眼无法察觉的对抗扰动
以生成“有毒”的对抗样本，并基于这些样本进行本地训练；其次，为了主导全局模型的训练过程，攻击者在本地训练过程中提高训练学习率以加速恶意模型参数的生成；最后，攻击者将其本地模型参数上传至服务器端参与聚合以影响全局模型。在本发明的攻击下联邦全局模型性能显著下降，本发明的攻击方法显示出良好地泛化性能。
Description
技术领域
本发明属于联邦学习安全技术领域，具体涉及一种面向联邦学习的对抗样本投毒攻击方法。
背景技术
尽管机器学习技术已经广泛应用于各个领域，然而数据孤岛和数据隐私问题仍然是阻碍其发展的两大挑战，如:在医疗应用方面，要训练一个性能良好的机器学习模型，需要各个医疗机构或者部门提供大量可以描述患者症状的信息，而医疗数据往往具有很强的隐私性和敏感性。同样，在一个城市的应急、后勤和安保等信息部门中会产生大量的异构数据，这些数据以数据孤岛的形式存在，无法整合利用。为了解决上述问题，联邦学习技术应运而生，不同于机器学习模型，它采用分布式的架构，不需将数据集中存储后再进行模型训练，而是将该过程转移至本地训练参与方，通过向中心服务器提交本地模型参数的方式保护用户隐私。
然而，研究表明，尽管联邦学习有效的解决了机器学习中的数据孤岛和数据隐私问题，但是其仍然存在很多安全问题，如:恶意参与方在训练阶段对联邦学习系统进行攻击，这会导致联邦学习全局模型失效和参与方隐私泄露等问题。根据恶意参与方的攻击目的不同，可分为推理攻击和投毒攻击。恶意参与方对联邦学习进行推理攻击旨在推理训练过程的信息，如:其他参与方的训练样本和标签等；恶意参与方通过控制本地模型参数更新或者本地训练样本实现对联邦学习系统的投毒攻击，使得全局模型进行错误预测。具体地，可分为模型投毒攻击和数据投毒攻击。目前，对联邦学习的数据投毒攻击的研究主要集中在标签反转攻击和后门攻击，它们都是针对联邦学习的有目标攻击，目的是使全局模型实现对特定目标的预测。另一种对训练样本进行修改以实现攻击的方法是在训练样本中加入噪声，但是此类攻击主要是在模型测试阶段进行。目前，将此类攻击应用在联邦学习的训练阶段的研究相对较少。
发明内容
为了解决上述存在的问题，本发明提出：包括如下步骤：
S1、攻击者通过给本地私有训练样本
添加一些人眼无法察觉的对抗扰动
以生成“有毒”的对抗样本，并基于这些样本进行本地训练；
S2、为了主导全局模型的训练过程，攻击者在本地训练过程中提高训练学习率以加速恶意模型参数的生成；
S3、攻击者将其本地模型参数上传至服务器端参与聚合以影响全局模型。
本发明的有益效果为：
不同于传统的机器学习，在联邦学习系统中，一方面，在服务器端需要对各个本地参数进行联邦平均聚合，这会对恶意参与方的参数进行缩小，从而削弱了恶意端的毒性。另一方面，聚合过程中其他非恶意参与方也会使得最终模型参数偏移攻击者的模型参数，进一步削弱攻击效果。
本发明针对联邦学习系统的对抗样本的投毒攻击证明了对抗样本不仅在测试阶段可以攻击联邦学习系统，在训练阶段也会对联邦学习系统造成巨大的威胁。此外，本发明研究发现，学习率是影响攻击成功率的一个重要的因素，实验表明恶意参与方使用对抗样本和较大的学习率进行本地训练可以有效的攻击连联邦学习系统，使得全局模型的测试准确率显著下降。同时，实验结果显示，本发明的攻击方法具有很好地泛化性能，当训练参与方的模型发生改变时仍然具有很好的攻击效果。在本发明的攻击下，相比机器学习，联邦学习系统更加脆弱。
附图说明
图1为本发明CIFAR10数据集中的目标攻击和无目标攻击下的原始图像和对抗样本图像，图中第一行:原始样本；第二行:有目标攻击下对抗样本；第三行:无目标攻击下对抗样本；
图2为本发明的基于MNIST数据集中的目标攻击和无目标攻击下的原始图像和对抗样本图像，图中第一行:原始样本；第二行:有目标攻击下对抗样本；第三行:无目标攻击下对抗样本；
图3为本发明基于CIFAR10数据集在IID场景下使用有目标攻击生成对抗样本，不同数量恶意参与方参与训练时全局模型的测试结果条形图；
图4为本发明基于MNIST数据集在IID场景下使用有目标攻击生成对抗样本，不同数量恶意参与方参与训练时全局模型的测试结果条形图；
图5为本发明基于CIFAR10数据集在IID场景下使用无目标攻击生成对抗样本，不同数量恶意参与方参与训练时全局模型的测试结果条形图；
图6为本发明基于MNIST数据集在IID场景下使用无目标攻击生成对抗样本，不同数量恶意参与方参与训练时全局模型的测试结果条形图；
图7为本发明基于CIFAR10数据集在Non-IID场景下使用有目标攻击生成对抗样本，不同数量恶意参与方参与训练时全局模型的测试结果条形图；
图8为本发明基于MNIST数据集在Non-IID场景下使用有目标攻击生成对抗样本，不同数量恶意参与方参与训练时全局模型的测试结果条形图；
图9为本发明基于CIFAR10数据集恶意参与方本地训练学习率进行不同程度的放大后全局模型的测试准确率折线图；
图10为本发明基于MNIST数据集恶意参与方本地训练学习率进行不同程度的放大后全局模型的测试准确率折线图；
图11为本发明基于CIFAR10数据集非恶意参与方在不同的本地训练学习率下全局模型的测试准确率折线图；
图12为本发明基于MNIST数据集非恶意参与方在不同的本地训练学习率下全局模型的测试准确率折线图；
具体实施方式
一种面向联邦学习的对抗样本投毒攻击方法，包括如下步骤：
S1、攻击者通过给本地私有训练样本
添加一些人眼无法察觉的对抗扰动
以生成“有毒”的对抗样本，并基于这些样本进行本地训练；
S2、为了主导全局模型的训练过程，攻击者在本地训练过程中提高训练学习率以加速恶意模型参数的生成；
S3、攻击者将其本地模型参数上传至服务器端参与聚合以影响全局模型。
其中，所述步骤1中，定义如下场景，假设有m个参与者参与训练，m>＝2，假设第k个参与方是攻击者，联邦学习系统中，每个参与方的本地训练看作是一个传统的机器学习模型训练过程，攻击者通过解决以下双层优化问题训练得到恶意本地模型参数，实现针对联邦学习系统的投毒攻击：
其中，xi和yi分别表示Dk中的每个训练样本和对应的标签，x＝{xi}是所有训练样本的集合，y＝{yi}是标签集合，S为攻击者选取符合扰动限制条件的可选噪声集合，对Dk中每个样本xi添加的扰动δi，限制扰动||δi||∞≤ε，ε为扰动上限.δ＝{δi}为给所有训练样本添加的扰动集合，η为恶意参与方的本地训练学习率，
为损失函数，θ为模型参数，对于每个δ，都会有一个对应的在“有毒”的对抗样本下训练得到的最优模型参数θ(δ)，攻击者的目标是在集合S中找到一组最优的扰动集合δ使得其对应的最优分类器F(θ(δ))在Dk的样本空间分布
上的泛化性能尽可能差。
其中，所述步骤1中，通过以下过程实现针对联邦学习的对抗样本投毒攻击：
首先，用原始干净样本进行模型训练，该模型用于生成对抗样本，在对抗样本生成的过程中模型参数固定不变，
基于上述固定的训练好的模型，生成对抗样本作为“有毒”的训练样本，使用经典的对抗样本生成方法PGD生成“有毒”的对抗样本，在生成对抗样本之前引入初始化噪声以打乱原始图像的分布，然后进行多步梯度更新以生成对抗样本，以下优化分别是以无目标攻击和有目标攻击方式生成对抗样本，
其中，
表示经过t迭代攻击后生成的样本，α表示单步扰动程度，
表示在ε-ball球上的投影，即当扰动幅度过大时就会将其限制在球内，
其中，g(yi)是目标标签生成函数,g(yi)的选择不是固定的，根据样本、模型和联邦学习数据分布有所不同，实验中定义g(yi)＝yi+1，
恶意参与方使用对抗样本进行本地训练,得到恶意的本地模型参数，将该参数上传至服务器端参与聚合实现对全局模型的攻击，
其中，
为对抗样本集。
其中，所述步骤2中，采用学习率放大的思想，在本地训练过程中恶意提高本地训练的学习率，以加速梯度下降，促进本地恶意模型参数快速地生成，从而在每轮聚合过程中向服务器端提交更强的“毒药”，在每轮聚合过程中让全局模型更加依赖恶意参与方的本地模型；
其中，γ为恶意参与方本地训练学习率放大因子。
详细过程如算法1所示，
实验设置
本发明分别在MNIST和CIFAR10数据集上进行了实验，MNIST中包含10类大小为28x28的灰度图，其中训练集60000张，测试集10000张。CIFAR10数据集中包含了10类为32x32的彩色图，其中训练集50000张，测试集10000张。在联帮学习场景中，对于CIFAR10数据集，非恶意参与者学习率设定为0.01，每个参与者本地训练轮数为5，全局聚合60次；对于MNIST数据集，非恶意参与者学习率设定为0.001，本地训练轮数为1，全局聚合100次。本文中，在CIAFAR10和MNIST上的ε分别为设置为0.032和0.3。
本发明分别讨论了在联邦学习数据独立同分布(IID)与非独立同分布(Non-IID)的场景下攻击的有效性。我们考虑在训练参与方分别为2、3和4的情况下，不同数量的恶意参与方参与训练时的攻击效果。在IID场景中，每个参与方拥有全部类别，每个类别被平均分配给各个参与方，对于MNIST与CIFAR10数据集均使用ResNet18作为分类网络。在Non-IID场景中，为了与冯霁等人提出的Fed-DeepConfuse方法进行公平比较，采用了与其相同的数据划分方式和分类网络，MNIST数据集使用一个简单的卷积神经网络，具有两个卷积层，通道数分别是20和50，数据划分方式见表1。
表1联邦学习Non-IID场景数据分布
(一)本发明的投毒攻击方法的性能，在联邦独立同分布(IID)与非独立同分布(Non-IID)场景下，不同数量的恶意参与方参与训练时的攻击性能；
对抗样本投毒攻击性能
在联邦学习IID与Non-IID场景考虑不同数量攻击者参与训练时对全局模型的性能影响，图1和图2展示了分别在有目标攻击和无目标攻击下的原始图像和对抗样本图像。
在联邦数据IID分布下，恶意参与方使用有目标攻击方法生成对抗样本的攻击结果如图3和图4所示，本发明中，恶意参与方的本地训练学习率设为0.3。图3与图4分别是在CIFAR10数据集上和MNIST数据集上的实验结果的，可以发现，即使只有少数的恶意参与方参与训练，全局模型的测试性能会显著降低，具体地，在共有2、3和4个训练参与方的联邦系统中，只有一个恶意参与方时，全局模型的测试性能在CIFAR10数据集上分别降低了78.23％、77.48％和65.54％，在MNIST数据集上分别降低了67.33％、61.15％和48.56％。值得注意是，在CIFAR10数据集上，所有参与方均为恶意参与方时，全局模型的准确率会低于随机猜测。
可以发现，相比MNIST数据集，本发明的攻击方法和策略对基于CIFAR10数据集训练的联邦系统的威胁更大，如:在共有4个训练参与方的联邦系统中，只有一个恶意参与方时，在CIFAR10数据集上训练的全局模型的测试性能比在MNIST数据集上训练的全局模型测试性能多下降16.98％。
经分析，针对联邦系统的攻击成功率取决于:
(1)恶意参与方本地模型的测试性能。使用有目标对抗样本投毒攻击，在CIFAR10数据集上，恶意参与方的测试性能会低至6％，而在MNIST数据上，恶意参与方的测试性能在25％左右。
(2)模型本身的训练特性。我们希望通过学习率放大，加速恶意训练参与方的“毒药”生成，使得全局模型“更早”且“更多”的依赖恶意参与方的本地模型。然而，在相同的设置下对于CIFAR10数据集，在5个epoch内正常训练参与方的测试性能为69.47％，而在MNIST数据集上，5个epoch内正常训练参与方的测试性能已经达到97.89％，这也意味着在聚合时，相比CIFAR10数据集，在MNIST数据集上训练的联邦学习系统，非恶意训练参与方对于全局模型的性能影响更大。
图5和图6所示是在联邦IID场景下，恶意参与方使用无目标攻击方法生成对抗样本对联邦学习系统进行投毒攻击的实验结果。对比图3和图4，可以看出，其攻击性能比使用有目标攻击方法生成对抗样本的攻击性能弱。然而其仍然使得联邦系统性能显著下降，只有一个攻击者参与训练的多参与方联邦场景中，在CIFAR10数据集中全局模型的测试性能分别降低了48.19％、38.88％、26.14％，在MNIST数据集上分别降低了38.04％、41.52％、17.10％。
我们在如表1所示的联邦学习Non-IID场景下，使用有目标攻击生成对抗本对联邦学习系统进行投毒攻击，结果如图7和图8所示，对CIFAR10数据集而言，当只有一个恶意参与方参与训练时全局模型的测试准确率下降至接近随机猜测。对MNIST数据集而言，全局模型的测试性能也会显著下降。
表2只有一个恶意参与方时，不同的攻击方法下全局模型测试准确率下降程度
在相同的联邦学习场景下，我们将本发明的攻击方法与Fed-DeepConfuse方法的进行了对比，在共有2、3和4个参与方的联邦系统中，考虑只有一个恶意参与方时全局模型的测试准确率下降程度，从表2所示结果来看，本文的攻击方法对联邦学习系统的危害远远大于Fed-DeepConfuse，如:在有两个参与方的联邦学习系统中，对CIAFR0数据集而言，在Fed-DeepConfuse攻击下，全局模型测试性能下降了18.99％，在本文的有目标攻击下，全局模型的测试准确率下降了72.43％，无目标攻击下，全局模型测试准确率下降了60.23％。采用无目标攻击生成对抗样本的攻击具有不稳定性，相同设置下，在IID场景下的攻击性能比Non-IID场景攻击性能弱，这与被攻击模型和攻击时“毒药”的初始化有关系。
此外，值得注意的是，相比FedDeepConfuse，本发明的方法可以更快速的生成“有毒"的对抗样本本文在生成对抗样本的过程中采用一个固定的预训练好的网络，训练该网络仅需要1-2小时，Fed-DeepConfuse训练一个自动编码器作为噪声生成器，该过程在简单的数据集上需要花费5-7天的时间。
(二)学习率对本发明攻击方法的攻击效果的影响，具体地分别讨论攻击者使用不同的学习率放大因子的攻击效果以及非恶意参与者的学习率对攻击性能的影响；
实验发现，学习率是影响攻击成功率的一个重要因素，本节我们研究在本文的攻击和不同的学习率组合下联邦学习系统的性能。
我们固定了非恶意参与方在CIFAR10与MNIST数据集上的学习率，分别为0。01和0。001，对恶意参与方本地训练学习率进行不同程度的放大。实验结果如图9和图10所示，随着恶意参与方本地训练学习率放大程度的增加，攻击成功率会不断提高，并且攻击成功率会在某个学习率区间内相对趋于稳定。
此外，考虑非恶意参与方的本地训练学习率对攻击成功的影响。在共有2个参与方的联邦学习系统中，考虑有一个恶意参与方，其学习率设定为0.3，非恶意参与方的学习率分别设置为0.1，0.01，0.001，0.0001。在MNIST与CIFAR10数据集上的实验结果图11和图12所示，从实验结果可以发现，当本地学习率较大时，全局模型会有比较大的震荡，且在相同的学习率设置下，MNIST数据集上的震荡程度更大。我们分析，全局模型经过第t轮聚合，当其模型参数与非恶意参与方的最优解相差更大时，在t+1聚合前，训练参与方获得第t轮全局模型参数，分别在本地进行梯度下降，由于非恶意参与方的最优解与全局模型参数相差更大，所以其本地梯度下降程度更大，在t+1轮聚合后，全局模型参数更偏向非恶意参与方。而在下一轮聚和前，恶意参与方梯度下降程度更大。所以，全局模型会在某个范围内处于一个震荡的状态。
(三)对抗样本的泛化性能，具体地讨论针对某个特定模型生成的对抗样本用于攻击其他联邦学习模型是否同样有效；
对训练参与方使用A模型的联邦学习系统生成对抗样本，当训练参与方使用的模型结构改变时，上述对抗样本是否具有攻击效果？在共有两个参与方的联邦系统中，其中一方为恶意参与方的场景中，我们在CIFAR10数据集上进行了实验，基于ResNet18使用有目标攻击生成对抗样本，并且在VGG19和MobieNetV2上进行测试，对MNIST数据集，基于Non-IID场景中所用的CNN网络使用有目标攻击生成对抗样本，对其通道数分别加倍和减半，记为CNNlarge，CNNsmall，如表3结果所示，对抗样本具有良好的泛化性能。
表3本文攻击下，采用不同结构的本地训练模型时联邦学习模型测试性能
(四)在本发明的投毒攻击下，研究联邦学习系统与机器学习系统的鲁棒性，联邦学习系统与机器学习系统的鲁棒性对比：
当相同比例的训练样本被毒害时联邦学习与机器学习的鲁棒性。实验中考虑共有10个参与方的联邦学习系统，为了公平比较，对联邦学习与机器学习“毒害”相同比例的训练数据，结果如表4所示。从实验结果来看，联邦学习系统更加脆弱，当有20％的对抗样本参与训练时，在CIFAR10数据集上，机器学习模型测试准确率有91.39％，而联邦学习全局模型测试准确率仅有45.90％。
表4联邦学习系统与机器学习系统的鲁棒性对比，0.2，0.5，0.8，0.9分别代表对抗样本的比例
本发明针对联邦学习系统的对抗样本的投毒攻击。证明了对抗样本不仅在测试阶段可以攻击联邦学习系统，在训练阶段也会对联邦学习系统造成巨大的威胁。此外，本发明研究发现，学习率是影响攻击成功率的一个重要的因素，实验表明恶意参与方使用对抗样本和较大的学习率进行本地训练可以有效的攻击连联邦学习系统，使得全局模型的测试准确率显著下降。同时，实验结果显示，本发明的攻击方法具有很好地泛化性能，当训练参与方的模型发生改变时仍然具有很好的攻击效果。在本发明的攻击下，相比机器学习，联邦学习系统更加脆弱。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种面向联邦学习的对抗样本投毒攻击方法，其特征在于，包括如下步骤：
S1、攻击者通过给本地私有训练样本
添加一些人眼无法察觉的对抗扰动
以生成“有毒”的对抗样本，并基于这些样本进行本地训练；
S2、为了主导全局模型的训练过程，攻击者在本地训练过程中提高训练学习率以加速恶意模型参数的生成；
S3、攻击者将其本地模型参数上传至服务器端参与聚合以影响全局模型。
2.如权利要求1所述的面向联邦学习的对抗样本投毒攻击方法，其特征在于，所述步骤1中，定义如下场景，假设有m个参与者参与训练，m>＝2，假设第k个参与方是攻击者，联邦学习系统中，每个参与方的本地训练看作是一个传统的机器学习模型训练过程，攻击者通过解决以下双层优化问题训练得到恶意本地模型参数，实现针对联邦学习系统的投毒攻击：
其中，xi和yi分别表示Dk中的每个训练样本和对应的标签，x＝{xi}是所有训练样本的集合，y＝{yi}是标签集合，
为攻击者选取符合扰动限制条件的可选噪声集合，对Dk中每个样本xi添加的扰动δi，限制扰动||δi||∞≤ε，ε为扰动上限.δ＝{δi}为给所有训练样本添加的扰动集合，η为恶意参与方的本地训练学习率，
为损失函数，θ为模型参数，对于每个δ，都会有一个对应的在“有毒”的对抗样本下训练得到的最优模型参数θ(δ)，攻击者的目标是在集合
中找到一组最优的扰动集合δ使得其对应的最优分类器F(θ(δ))在Dk的样本空间分布
上的泛化性能尽可能差。
3.如权利要求2所述的面向联邦学习的投毒攻击方法，其特征在于，所述步骤1中，通过以下过程实现针对联邦学习的对抗样本投毒攻击：
首先，用原始干净样本进行模型训练，该模型用于生成对抗样本，在对抗样本生成的过程中模型参数固定不变，
基于上述固定的训练好的模型，生成对抗样本作为“有毒”的训练样本，使用经典的对抗样本生成方法PGD生成“有毒”的对抗样本，在生成对抗样本之前引入初始化噪声以打乱原始图像的分布，然后进行多步梯度更新以生成对抗样本，以下优化分别是以无目标攻击和有目标攻击方式生成对抗样本，
其中，
表示经过t迭代攻击后生成的样本，α表示单步扰动程度，
表示在ε-ball球上的投影，即当扰动幅度过大时就会将其限制在球内，
其中，g(yi)是目标标签生成函数,g(yi)的选择不是固定的，根据样本、模型和联邦学习数据分布有所不同，实验中定义g(yi)＝yi+1，
恶意参与方使用对抗样本进行本地训练,得到恶意的本地模型参数，将该参数上传至服务器端参与聚合实现对全局模型的攻击，
其中，
为对抗样本集。
4.如权利要求2所述的面向联邦学习的对抗样本投毒攻击方法，其特征在于，所述步骤2中，采用学习率放大的思想，在本地训练过程中恶意提高本地训练的学习率，以加速梯度下降，促进本地恶意模型参数快速地生成，从而在每轮聚合过程中向服务器端提交更强的“毒药”，在每轮聚合过程中让全局模型更加依赖恶意参与方的本地模型；
其中，γ为恶意参与方本地训练学习率放大因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210276358.1A CN114764499A (zh) | 2022-03-21 | 2022-03-21 | 一种面向联邦学习的对抗样本投毒攻击方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210276358.1A CN114764499A (zh) | 2022-03-21 | 2022-03-21 | 一种面向联邦学习的对抗样本投毒攻击方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114764499A true CN114764499A (zh) | 2022-07-19 |
Family
ID=82365435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210276358.1A Pending CN114764499A (zh) | 2022-03-21 | 2022-03-21 | 一种面向联邦学习的对抗样本投毒攻击方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114764499A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115442103A (zh) * | 2022-08-29 | 2022-12-06 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
| CN115907029A (zh) * | 2022-11-08 | 2023-04-04 | 北京交通大学 | 面向联邦学习投毒攻击的防御方法及系统 |
| CN116248249A (zh) * | 2023-04-23 | 2023-06-09 | 东南大学 | 一种联邦学习中基于间隙的组混淆攻击方法 |
| CN116739114A (zh) * | 2023-08-09 | 2023-09-12 | 山东省计算中心（国家超级计算济南中心） | 一种对抗模型投毒攻击的鲁棒联邦学习聚合方法及装置 |
| CN116842577A (zh) * | 2023-08-28 | 2023-10-03 | 杭州海康威视数字技术股份有限公司 | 联邦学习模型投毒攻击检测及防御方法、装置及设备 |
| CN117372839A (zh) * | 2023-10-18 | 2024-01-09 | 贵州师范大学 | 图像分类领域联邦学习场景下的成员推理攻击方法 |
| CN117454381A (zh) * | 2023-12-26 | 2024-01-26 | 山东省计算中心（国家超级计算济南中心） | 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 |
-
2022
- 2022-03-21 CN CN202210276358.1A patent/CN114764499A/zh active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115442103A (zh) * | 2022-08-29 | 2022-12-06 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
| CN115442103B (zh) * | 2022-08-29 | 2024-05-31 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
| CN115907029A (zh) * | 2022-11-08 | 2023-04-04 | 北京交通大学 | 面向联邦学习投毒攻击的防御方法及系统 |
| CN116248249A (zh) * | 2023-04-23 | 2023-06-09 | 东南大学 | 一种联邦学习中基于间隙的组混淆攻击方法 |
| CN116248249B (zh) * | 2023-04-23 | 2023-12-08 | 东南大学 | 一种联邦学习中基于间隙的组混淆攻击方法 |
| CN116739114A (zh) * | 2023-08-09 | 2023-09-12 | 山东省计算中心（国家超级计算济南中心） | 一种对抗模型投毒攻击的鲁棒联邦学习聚合方法及装置 |
| CN116739114B (zh) * | 2023-08-09 | 2023-12-19 | 山东省计算中心（国家超级计算济南中心） | 部署在服务器上对抗模型投毒攻击的联邦学习方法及装置 |
| CN116842577A (zh) * | 2023-08-28 | 2023-10-03 | 杭州海康威视数字技术股份有限公司 | 联邦学习模型投毒攻击检测及防御方法、装置及设备 |
| CN116842577B (zh) * | 2023-08-28 | 2023-12-19 | 杭州海康威视数字技术股份有限公司 | 联邦学习模型投毒攻击检测及防御方法、装置及设备 |
| CN117372839A (zh) * | 2023-10-18 | 2024-01-09 | 贵州师范大学 | 图像分类领域联邦学习场景下的成员推理攻击方法 |
| CN117454381A (zh) * | 2023-12-26 | 2024-01-26 | 山东省计算中心（国家超级计算济南中心） | 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 |
| CN117454381B (zh) * | 2023-12-26 | 2024-06-04 | 山东省计算中心（国家超级计算济南中心） | 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114764499A (zh) | 一种面向联邦学习的对抗样本投毒攻击方法 | |
| Zhang et al. | Exploiting defenses against gan-based feature inference attacks in federated learning | |
| Lin et al. | Free-riders in federated learning: Attacks and defenses | |
| Wu et al. | A transfer learning approach for network intrusion detection | |
| Ingre et al. | Performance analysis of NSL-KDD dataset using ANN | |
| KR102304661B1 (ko) | 견고한 적대적 방어를 위한 공격 기술에 독립적인 적대적 훈련 방법 | |
| Liu et al. | Backdoor attacks and defenses in feature-partitioned collaborative learning | |
| CN115333825B (zh) | 针对联邦学习神经元梯度攻击的防御方法 | |
| Wang et al. | Poisoning-assisted property inference attack against federated learning | |
| Liu et al. | Adversaries or allies? Privacy and deep learning in big data era | |
| CN112883874A (zh) | 针对深度人脸篡改的主动防御方法 | |
| Sarkar et al. | Facehack: Attacking facial recognition systems using malicious facial characteristics | |
| Xue et al. | Use the spear as a shield: An adversarial example based privacy-preserving technique against membership inference attacks | |
| Mei et al. | Privacy inference-empowered stealthy backdoor attack on federated learning under non-iid scenarios | |
| CN115687758A (zh) | 一种用户分类模型训练方法、用户检测方法 | |
| Xie et al. | A survey on vulnerability of federated learning: A learning algorithm perspective | |
| Li et al. | Few pixels attacks with generative model | |
| Liotta et al. | From here to there: the strategy and force planning framework | |
| Wu et al. | Defense against privacy leakage in federated learning | |
| Wang et al. | ECLIPSE: Expunging clean-label indiscriminate poisons via sparse diffusion purification | |
| Feng et al. | DPFLA: Defending Private Federated Learning Against Poisoning Attacks | |
| Wang et al. | MITDBA: Mitigating Dynamic Backdoor Attacks in Federated Learning for IoT Applications | |
| Zhang et al. | Backdoor Attack through Machine Unlearning | |
| Liu et al. | SPFL: A Self-purified Federated Learning Method Against Poisoning Attacks | |
| Liu et al. | An advanced collusion attack against user friendship privacy in OSNs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |