CN113360897A - 一种横向联邦学习架构下的Free Rider攻击方法 - Google Patents
一种横向联邦学习架构下的Free Rider攻击方法 Download PDFInfo
- Publication number
- CN113360897A CN113360897A CN202110620214.9A CN202110620214A CN113360897A CN 113360897 A CN113360897 A CN 113360897A CN 202110620214 A CN202110620214 A CN 202110620214A CN 113360897 A CN113360897 A CN 113360897A
- Authority
- CN
- China
- Prior art keywords
- model
- model parameters
- global model
- noise
- free rider
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000002474 experimental method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 6
- 238000005242 forging Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提出了一种横向联邦学习架构下的Free Rider攻击方法，属于人工智能安全领域。本发明首先，接收参数服务器发送的全局模型，并对接收的全局模型进行伪装处理，通过对全局模型进行加噪，并添加差分时变扰动处理获取Free rider攻击模型参数，最后将伪装成自己训练得到的模型参数返回给参数服务器。随着迭代轮次的增加，噪声水平呈现一定的收敛性，在实验中，我们调整的噪声水平系数m以及衰减参数γ，用来躲避检测。解决了Free rider攻击方法很容易被参数服务器检测出的技术问题。
Description
技术领域
本申请涉及一种攻击方法，尤其涉及一种横向联邦学习架构下的Free Rider攻击方法，属于人工智能安全领域。
背景技术
联邦学习是近年来提出的一种机器学习范式，它能够使多个客户能够合作训练并获得一个联合的最终模型。而针对联邦学习的Free Rider攻击是指某个或某些客户在不提供本地数据的情况下提供伪造的模型参数参与联邦学习，目的是获取最终的模型的一种攻击手段。横向联邦学习中的Free Rider攻击对于第t轮参数服务器A发送的全局参数θ(t)，有以下两种朴素的攻击策略，参照图3；
1、获取全局模型输出层矩阵的维度Dsoftmax，生成新的维度为Dsoftmax的高维矩阵，用固定值R填充这个新的矩阵，将该矩阵作为全局模型更新θi(t)返回给参数服务器A。
2、获取全局模型输出层矩阵的维度Dsoftmax，生成新的维度为Dsoftmax的高维矩阵，用范围在[R1,R2]的随机生成数填充这个新的矩阵，将该矩阵作为全局模型更新θi(t)返回给参数服务器A。
如果客户端设置了一些简单的防御检测手段，例如检测θi(t)是否为全相等的张量，或者计算参与者返回的本地模型更新参数的平均方差std等，那么朴素的攻击策略将比较容易检测出。
发明内容
为解决现有技术中存在的Free Rider攻击方法很容易被参数服务器检测出的技术问题，本发明提供了一种横向联邦学习架构下的Free Rider攻击方法，在训练过程中，攻击者很难猜测每一轮其他用户梯度更新的标准差，我们假设一名狡猾的攻击者有训练过程的先验知识，其可能知道良性参与者的每一轮梯度更新的近似标准差，由于存在一定的收敛性，攻击者通过添加差分时变扰动的方式处理获取的全局模型参数，并伪装成自己训练得到的模型参数返回给参数服务器。解决了Free Rider攻击方法很容易被参数服务器检测出的技术问题。
一种横向联邦学习架构下的Free Rider攻击方法，包括以下步骤：
S1.参数服务器发送全局模型给每一名参与者；
S2.接收参数服务器发送的全局模型；
S3.对全局模型进行伪装处理；
S4.将伪装成训练得到的模型参数返回给参数服务器。
优选的，步骤S3所述对全局模型进行伪装处理具体包括以下步骤：
S3.1.对接收到的全局模型进行加噪；
S3.2.增加差分时变扰动处理获取的全局模型参数。
优选的，步骤S3.1所述对接收到的全局模型进行加噪的具体方法是：
θi f(t)＝f(θ(t))＝θ(t)+ρjζj(t)
其中，f(·)为伪造本地模型更新的伪装函数，θi f(t)为Free Rider攻击者本地更新的模型参数，ρj(t)是噪声扰动过程，ζj(t)为σ相关单位方差高斯白噪声，整个噪声表示为由参数ρj调制的σ相关单位方差高斯白噪声。
优选的，步骤S3.2所述增加差分时变扰动处理获取的全局模型参数具体包括增加线性时变扰动和增加指数性时变扰动。
优选的，步骤S3.2所述增加线性时变扰动的具体方法是：
假设其扰动模型ζ(t)＝O(t-γ)，衰减参数γ＞0，则Free Rider攻击者模型参数更新为：
θi f(t)＝θ(t)+mσt-γ
其中，m为噪声水平σ的系数，t为训练轮次，衰减参数γ视实验中攻击效果而定,γ越大则攻击者模型参数收敛速度越快。
优选的，步骤S3.2所述增加指数性时变扰动的具体是：
假设其扰动模型ζ(t)＝O(e-(t-1)γ)，衰减参数γ＞0，则Free Rider攻击者模型参数更新为：
θi f(t)＝θ(t)+mσe-(t-1)γ
其中，m为噪声水平σ的系数，e为自然对数基底，衰减参数γ视实验中攻击效果而定,γ越大则攻击者模型参数收敛速度越快。
本发明的有益效果如下：一种横向联邦学习架构下的Free Rider攻击方法，该方法通过在参数服务器发送的全局模型中增加差分时变扰动，并将增加了Free Rider攻击的模型参数重新返回给参数服务器，随着迭代轮次的增加，噪声水平呈现一定的收敛性，在实验中，我们调整的噪声水平系数m以及衰减参数γ，用来躲避检测。解决了Free Rider攻击方法很容易被参数服务器检测出的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明所述的Free Rider攻击方法流程示意图；
图2为本发明所述的对全局模型进行伪装处理的流程示意图；
图3为本发明现有技术所述现有Free Rider攻击方法示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例、参照图1，说明本实施例，本实施例的一种横向联邦学习架构下的FreeRider攻击方法，包括以下步骤：
步骤一、参数服务器发送全局模型给每一名参与者；
具体的，参数服务器发送全局模型给每一名参与者前，需要获取每一轮联邦训练中更新的全局模型参数，具体方法是：在横向联邦学习的训练中，假设有m个参与者客户端参与多轮迭代训练，分别用C1,C2,...,Cm表示。在迭代训练的过程中，我们用θ(t)表示第t轮参数服务器传输给所有参与者客户端的全局模型；参与者客户端各自本地更新的模型，用(θ1(t),θ2(t),...,θm(t))表示。第t轮所有的参与者客户端训练完毕后，参数服务器接收到所有参与者客户端本地更新的模型，通过联邦平均算法(FVG)生成第t+1轮的全局模型θm(t+1)，具体计算公式如下：
参数服务器端将得到的全局模型θm(t+1)作为第t+1轮的全局模型，发送给所有参与者客户端。
假设共有n轮训练，每一轮迭代训练都会生成一个系列的客户端的局部梯度更新[θ1(1),θ2(1),...,θm(1)],[θ1(2),θ2(2),...,θm(2)],…,[θ1(n),θ2(n),...,θm(n)]，以及一系列的全局模型[θ1,θ2,...,θn]。我们在每一轮横向联邦训练结束之前，我们收集全局模型参数θ(t)，以及客户端的本地局部更新模型参数集合{θ1(t),θ2(t),...,θm(t)}。
步骤二、接收参数服务器发送的全局模型；
步骤三、对全局模型进行伪装处理；对全局模型进行伪装处理具体包括以下步骤：
步骤三一、对接收到的全局模型进行加噪，具体方法是：
θi f(t)＝f(θ(t))＝θ(t)+ρjζj(t)
其中，f(·)为伪造本地模型更新的伪装函数，θi f(t)为Free Rider攻击者本地更新的模型参数，ρj(t)是噪声扰动过程，ζj(t)为σ相关单位方差高斯白噪声，整个噪声表示为由参数ρj调制的σ相关单位方差高斯白噪声。
步骤三二、增加差分时变扰动处理获取的全局模型参数，具体包括增加线性时变扰动和增加指数性时变扰动。
加线性时变扰动的具体方法是：
假设其扰动模型ζ(t)＝O(t-γ)，衰减参数γ＞0，则Free Rider攻击者模型参数更新为：
θi f(t)＝θ(t)+mσt-γ
其中，m为噪声水平σ的系数，t为训练轮次，衰减参数γ视实验中攻击效果而定,γ越大则攻击者模型参数收敛速度越快。
增加指数性时变扰动的具体方法是：
假设其扰动模型ζ(t)＝O(e-(t-1)γ)，衰减参数γ＞0，则Free Rider攻击者模型参数更新为：
θi f(t)＝θ(t)+mσe-(t-1)γ
其中，m为噪声水平σ的系数，e为自然对数基底，衰减参数γ视实验中攻击效果而定,γ越大则攻击者模型参数收敛速度越快。
步骤四、将伪装成训练得到的模型参数返回给参数服务器。
需要说明的是，在以上实施例中，只要不矛盾的技术方案都能够进行排列组合，本领域技术人员能够根据排列组合的数学知识穷尽所有可能，因此本发明不再对排列组合后的技术方案进行一一说明，但应该理解为排列组合后的技术方案已经被本发明所公开。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (6)
1.一种横向联邦学习架构下的Free Rider攻击方法，其特征在于，包括以下步骤：
S1.参数服务器发送全局模型给每一名参与者；
S2.接收参数服务器发送的全局模型；
S3.对全局模型进行伪装处理；
S4.将伪装成训练得到的模型参数返回给参数服务器。
2.根据权利要求1所述的方法，其特征在于，步骤S3所述对全局模型进行伪装处理具体包括以下步骤：
S3.1.对接收到的全局模型进行加噪；
S3.2.增加差分时变扰动处理获取的全局模型参数。
3.根据权利要求2所述的方法，其特征在于，步骤S3.1所述对接收到的全局模型进行加噪的具体方法是：
θi f(t)＝f(θ(t))＝θ(t)+ρjζj(t)
其中，f(·)为伪造本地模型更新的伪装函数，θi f(t)为Free Rider攻击者本地更新的模型参数，ρj(t)是噪声扰动过程，ζj(t)为σ相关单位方差高斯白噪声，整个噪声表示为由参数ρj调制的σ相关单位方差高斯白噪声。
4.根据权利要求3所述的方法，其特征在于，步骤S3.2所述增加差分时变扰动处理获取的全局模型参数具体包括增加线性时变扰动和增加指数性时变扰动。
5.根据权利要求4所述的方法，其特征在于，步骤S3.2所述增加线性时变扰动的具体方法是：
假设其扰动模型ζ(t)＝O(t-γ)，衰减参数γ＞0，则Free Rider攻击者模型参数更新为：
θi f(t)＝θ(t)+mσt-γ
其中，θi f(t)为Free Rider攻击者模型参数，θ(t)为全局模型，m为噪声水平σ的系数，t为训练轮次，衰减参数γ视实验中攻击效果而定,γ越大则攻击者模型参数收敛速度越快。
6.根据权利要求5所述的方法，其特征在于，步骤S3.2所述增加指数性时变扰动的具体方法是：
假设其扰动模型ζ(t)＝O(e-(t-1)γ)，衰减参数γ＞0，则Free Rider攻击者模型参数更新为：
θi f(t)＝θ(t)+mσe-(t-1)γ
其中，θi f(t)为Free Rider攻击者模型参数，θ(t)为全局模型，m为噪声水平σ的系数，e为自然对数基底，衰减参数γ视实验中攻击效果而定,γ越大则攻击者模型参数收敛速度越快。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110620214.9A CN113360897A (zh) | 2021-06-03 | 2021-06-03 | 一种横向联邦学习架构下的Free Rider攻击方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110620214.9A CN113360897A (zh) | 2021-06-03 | 2021-06-03 | 一种横向联邦学习架构下的Free Rider攻击方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113360897A true CN113360897A (zh) | 2021-09-07 |
Family
ID=77531718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110620214.9A Pending CN113360897A (zh) | 2021-06-03 | 2021-06-03 | 一种横向联邦学习架构下的Free Rider攻击方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113360897A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310938A (zh) * | 2020-02-10 | 2020-06-19 | 深圳前海微众银行股份有限公司 | 基于半监督的横向联邦学习优化方法、设备及存储介质 |
| US20200285980A1 (en) * | 2019-03-08 | 2020-09-10 | NEC Laboratories Europe GmbH | System for secure federated learning |
| CN112434758A (zh) * | 2020-12-17 | 2021-03-02 | 浙江工业大学 | 基于聚类的联邦学习搭便车攻击防御方法 |
| CN112446025A (zh) * | 2020-11-23 | 2021-03-05 | 平安科技（深圳）有限公司 | 联邦学习防御方法、装置、电子设备及存储介质 |
| CN112528281A (zh) * | 2020-12-11 | 2021-03-19 | 浙江工业大学 | 联邦学习的中毒攻击检测方法、装置及设备 |
-
2021
- 2021-06-03 CN CN202110620214.9A patent/CN113360897A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200285980A1 (en) * | 2019-03-08 | 2020-09-10 | NEC Laboratories Europe GmbH | System for secure federated learning |
| CN111310938A (zh) * | 2020-02-10 | 2020-06-19 | 深圳前海微众银行股份有限公司 | 基于半监督的横向联邦学习优化方法、设备及存储介质 |
| CN112446025A (zh) * | 2020-11-23 | 2021-03-05 | 平安科技（深圳）有限公司 | 联邦学习防御方法、装置、电子设备及存储介质 |
| CN112528281A (zh) * | 2020-12-11 | 2021-03-19 | 浙江工业大学 | 联邦学习的中毒攻击检测方法、装置及设备 |
| CN112434758A (zh) * | 2020-12-17 | 2021-03-02 | 浙江工业大学 | 基于聚类的联邦学习搭便车攻击防御方法 |
Non-Patent Citations (4)
| Title |
|---|
| BONAWITZ K等: ""Practical secure aggregation for privacy-preserving machine learning"", 《PROCEEDINGS OF THE 2017 ACM SIGSAC CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY》 * |
| 毛耀如: ""针对分布式联邦深度学习的攻击模型及隐私对策研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 陈兵 等: ""联邦学习安全与隐私保护综述"", 《 南京航空航天大学学报》 * |
| 黄茜茜: ""基于差分隐私保护的不均衡数据联邦学习方法"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112668044B (zh) | 面向联邦学习的隐私保护方法及装置 | |
| CN114462090B (zh) | 一种针对联邦学习中差分隐私预算计算的收紧方法 | |
| CN111625820A (zh) | 一种基于面向AIoT安全的联邦防御方法 | |
| CN107612878A (zh) | 基于博弈论的动态窗口选择方法及无线网络信任管理系统 | |
| CN114363043B (zh) | 一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法 | |
| CN113298267B (zh) | 一种基于节点嵌入差异检测的垂直联邦模型防御方法 | |
| CN114764499A (zh) | 一种面向联邦学习的对抗样本投毒攻击方法 | |
| Yazdinejad et al. | Ap2fl: auditable privacy-preserving federated learning framework for electronics in healthcare | |
| CN115952532A (zh) | 一种基于联盟链联邦学习的隐私保护方法 | |
| CN115481441A (zh) | 面向联邦学习的差分隐私保护方法及装置 | |
| CN115114988A (zh) | 一种面向不均衡数据分布的隐私保护k均值聚类方法 | |
| Ye et al. | Crowddefense: A trust vector-based threat defense model in crowdsourcing environments | |
| CN113360897A (zh) | 一种横向联邦学习架构下的Free Rider攻击方法 | |
| CN117494123A (zh) | 一种联邦学习中二维的投毒攻击防御方法 | |
| CN115510472B (zh) | 一种面向云边聚合系统的多重差分隐私保护方法及系统 | |
| CN112528281A (zh) | 联邦学习的中毒攻击检测方法、装置及设备 | |
| CN116502708A (zh) | 基于性能评估和委员会投票的抗拜占庭攻击的dfl方法 | |
| CN116796864A (zh) | 一种基于数据相似度聚合的电力数据分布式联邦学习系统及方法 | |
| CN116050546A (zh) | 一种数据非独立同分布下的拜占庭鲁棒的联邦学习方法 | |
| Hatamizadeh et al. | Towards understanding the risks of gradient inversion in federated learning | |
| Yoshikawa et al. | A fake news dissemination model based on updating reliability and doubt among individuals | |
| CN113360896A (zh) | 一种横向联邦学习架构下的Free Rider攻击检测方法 | |
| Yang et al. | DeMAC: Towards detecting model poisoning attacks in federated learning system | |
| Yao et al. | Finding trustworthy neighbors: Graph aided federated learning for few-shot industrial fault diagnosis with data heterogeneity | |
| CN117454381B (zh) | 一种非独立同分布数据下面向联邦学习的渐进性攻击方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |