CN115879108A - 基于神经网络特征提取的联邦学习模型攻击防御方法 - Google Patents
基于神经网络特征提取的联邦学习模型攻击防御方法 Download PDFInfo
- Publication number
- CN115879108A CN115879108A CN202310042424.3A CN202310042424A CN115879108A CN 115879108 A CN115879108 A CN 115879108A CN 202310042424 A CN202310042424 A CN 202310042424A CN 115879108 A CN115879108 A CN 115879108A
- Authority
- CN
- China
- Prior art keywords
- model
- feature extraction
- server
- client
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 230000007123 defense Effects 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 30
- 238000004220 aggregation Methods 0.000 claims abstract description 13
- 230000002776 aggregation Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 231100000572 poisoning Toxicity 0.000 abstract description 3
- 230000000607 poisoning effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
一种基于神经网络特征提取的联邦学习模型攻击防御方法,在每轮进行联邦学习全局聚合之前,预先在安全环境下构建神经网络特征提取模型,并采用公开数据集对其进行训练,由服务器本身引导对局部参数的信任;在在线阶段利用训练后的神经网络特征提取模型对各个客户端上传的局部参数进行特征提取并输出至服务器,由服务器采用具有噪声的基于密度的聚类方法(DBSCAN)对特征向量进行分类并剔除对应的恶意局部参数,实现安全聚合。本发明每次迭代时通过在安全环境下预先训练神经网络,使得在线阶段对抗各类模型中毒攻击,从而有效防止恶意客户端对全局模型的损坏。
Description
技术领域
本发明涉及的是一种信息安全领域的技术,具体是一种基于神经网络特征提取的联邦学习模型攻击防御方法。
背景技术
联邦学习作为一种解决方案出现并得到快速的发展和广泛的应用。但其分布式特点以及其自身协议的脆弱性也使其容易受到各种攻击,模型攻击就是一种常见的攻击方法。对于模型攻击,任何恶意客户都可以攻击全局模型。由于服务器无法访问客户的私有数据和其本地模型训练的过程,因此恶意客户可以通过向服务器发送精心构造的恶意参数,从而误导全局模型学习过程,导致模型在测试阶段的分类错误。一个中毒的参数更新甚至可能会控制模型的整个训练过程,最终导致共同学习的全局模型无效。
现有联邦学习中的模型攻击的防御方法比较有限。基于鲁棒聚合规则的方法要求服务器提前知晓恶意客户端数量等信息。从修正传输的局部或全局参数角度出发的防御方法在全局模型的训练过程中仍存在一定的修正参数误差,并且会带来存储空间、计算和通信资源的大量消耗。
发明内容
本发明针对联邦学习中恶意客户端的恶意参数容易误导全局模型学习过程的问题以及只能针对预设的特定攻击方式,对于多种攻击融合的场景无法提供防御支持,且针对特定攻击方式的攻击参数设定具有主观性的不足,提出一种基于神经网络特征提取的联邦学习模型攻击防御方法,每次迭代时通过在安全环境下预先训练神经网络,使得在线阶段对抗各类模型中毒攻击,从而有效防止恶意客户端对全局模型的损坏。
本发明是通过以下技术方案实现的:
本发明涉及一种基于神经网络特征提取的联邦学习模型攻击防御方法,在每轮进行联邦学习全局聚合之前,预先在安全环境下构建神经网络特征提取模型,并采用公开数据集对其进行训练,由服务器本身引导对局部参数的信任;在在线阶段利用训练后的神经网络特征提取模型对各个客户端上传的局部参数进行特征提取并输出至服务器,由服务器采用具有噪声的基于密度的聚类方法(DBSCAN)对特征向量进行分类并剔除对应的恶意局部参数,实现安全聚合。
所述的神经网络特征提取模型,通过服务器预先在安全环境下构建用于对客户端上传的局部参数进行特征提取,其具体结构为全连接神经网络模型,共有k层,fi表示该全连接网络的第i层,i=1,…,k,层与层之间激活函数为Sigmoid,J表示训练的损失函数,采用MSE(Mean Squared Error)均方误差函数;特征提取模型训练的目标是对于正常的特征向量输入x使其预测输出最大化的接近于1。
所述的特征提取模型构建,具体包括:
步骤A1:在联合学习之前,服务器为该学习任务收集一个未被攻击篡改的小型干净公开数据集Dopen,并在此数据集的基础上维护一个服务器模型Mserver来引导信任;特别地,该服务器模型的参数同当前轮次训练过程中的全局模型Mglobal;
步骤A2:服务器将步骤A1中公开数据集Dopen按设定的批次数据集大小bserver输入到服务器模型Mserver中进行模型训练,从而得到特征提取模型的训练参数集并设置训练标签label为其中:num表示特征提取模型训练集数据总数量;
步骤A3:服务器初始化一个全连接神经网络作为特征提取模型Ffc;设各客户端上传的局部特征参数展开后维度为d且d的最高位数字为p,则全连接网络每层的维度分别设为……、(p)、1;其中:若p≠1,则全连接网络中包含维度为p的隐藏层;
步骤A4:服务器将步骤A2得到的Wserver作为特征提取模型Ffc的训练集输入到模型中;特征提取模型的训练是为得到最优的网络参数,即解决优化问题:
所述的局部参数特征提取,具体包括:
步骤B1:根据服务器接收到的n个客户端的局部参数为w={w1,w2,…,wn};每个客户端上传的m个局部参数wj={vj1,vj2,…,vjm},j∈[1,n];对于客户端上传的每种局部参数{v1i,v2i,…,vni}输入通过训练后的神经网络特征提取模型i∈[1,m],得到预测输出{p1i,p2i,…,pni};其中:pji即为客户端j的第i种参数的特征提取值,进而得到代表每个客户端的特征向量组其中:j表示客户端标号。
所述的对各客户端特征向量进行分类,具体包括:
步骤C2:根据聚类标签labelcount将客户端分为诚实客户端和恶意客户端;聚类标签为-1的特征向量组表示噪声,将其代表的客户端直接归为恶意类;对于其他聚类标签,采用均值比较法确定诚实类。
所述的均值比较法是指:对特征向量组按聚类标签l(l∈labelcount,l≠-1)求平均值:其中:jlabel表示客户端j的聚类标签,countl表示聚类标签为l的特征向量组的个数,meanl代表聚类标签l的平均值;对于每个聚类标签l(l∈labelcount,l≠-1),服务器计算Mean[l]=|meanl-1|;选取Mean中最小数据值所对应的聚类标签为诚实类,对于其他聚类标签则划分为恶意类。
所述的剔除对应的恶意局部参数是指:根据均值比较法将划分为恶意类的聚类标签所对应的客户端编号添加到Malicious列表中。在服务器进行全局聚合时,剔除Malicious列表中代表的模型局部参数,只将诚实的模型局部参数进行安全聚合。
技术效果
本发明利用神经网络模型来对局部参数进行特征提取,从而实现联邦学习中模型攻击的防御。该方案创新性地引入服务器数据集,设计了一个由服务器本身引导对局部参数信任的防御方案,同时将神经网络的高特征提取性和无监督聚类相结合,以应用于联邦学习恶意客户端的检测和全局聚合中。本方法由于完成了对恶意客户端的模型攻击的检测,因此解决了恶意客户端通过向服务器发送精心构造的恶意参数所导致的服务器全局模型被误导、训练效果被削弱以及训练过程难以收敛的问题。总的来说,本方法保证了在模型攻击下联合模型高准确率的同时,也实现了全局模型的快速收敛。
附图说明
图1为本发明流程示意图;
图2为实施例训练示意图;
图3为实施例特征提取示意图;
图4为实施例恶意客户端检测的流程示意图。
具体实施方式
如图1所示,为本实施例涉及一种基于神经网络特征提取的联邦学习模型攻击防御方法,包括:
步骤1:在联合学习之前,服务器为该学习任务收集一个未被攻击篡改的小型干净公开数据集Dopen,并利用此数据集来引导信任,而不是完全依赖于客户端的局部参数。
特别地,服务器可以通过手工标记等方式来收集干净的数据集Dopen。
如图2所示,服务器将公开数据集Dopen按设定的批次数据集大小bserver输入到服务器当前全局模型中进行模型训练,以模拟客户端的局部模型训练过程,从而得到特征提取模型的训练参数集并设置训练标签label为即可得训练参数对,i∈[1,num];其中:num表示特征提取模型训练集数据总数量。
特别地,一般设置bserver等于各客户端局部模型训练地批次大小,以便更好地模拟局部训练过程;
步骤2:服务器初始化一个全连接神经网络作为特征提取模型Ffc;设各客户端上传的局部特征参数展开后维度为d且d的最高位数字为p,则全连接网络每层的维度分别设为……、(p)、1;其中:若p≠1,则全连接网络中包含维度为p的隐藏层;如:若存在卷积神经网络的卷积局部参数则对应于wCNN的全连接网络特征提取模型共两层,每层维度分别为10和1。
服务器将步骤1得到的Wserver作为特征提取模型Ffc的训练集输入到模型中;特征提取模型的训练是为得到最优的网络参数,即解决优化问题:
其中:设该特征提取全连接网络模型共有k层,fi表示该全连接网络的第i层,i=1,…,k,层与层之间激活函数为Sigmoid,J表示训练的损失函数,采用MSE(Mean Squared Error)均方误差函数;特征提取模型训练的目标是对于正常的特征向量输入x使其预测输出最大化的接近于1。
所述的全连接网络结构组成直观简洁,能够发现梯度权重这类看似随机无序的参数内部的规律。此外,小型的公开数据集得到的全连接网络的训练参数集也较少,故而训练耗时相较于CNN等复杂网络并不会高出很多,且RNN、LSTM等时空序列神经网络的参数量也较大。
步骤3:局部参数特征提取过程:如图3所示,实施例联邦学习框架中包括n个客户端,分别为客户端1,客户端2、……、客户端n,与之对应的局部参数为w={w1,w2,…,wn}。实施例提供的对各客户端局部参数的特征提取包括以下步骤:
对于每个客户端上传的每种局部参数,均利用上述步骤,可得到代表每个客户端的特征向量组;其中:设表示客户端j的特征向量组;如:若某全局模型中需要各客户端上传的局部参数种数为4,则服务器最终将各客户端每轮迭代的4个高维参数转换成一个1×4的4元组,即各客户端的特征向量组。
步骤6:服务器将根据聚类标签labelcount将客户端分为诚实客户端和恶意客户端;聚类标签为-1的特征向量组表示噪声,将其代表的客户端直接归为恶意类;对于其他聚类标签,采用均值比较法来确定哪一类为诚实类,具体为:对步骤5得到的Pro的特征向量组按聚类标签l(l∈labelcount,l≠-1)求平均值:其中:jlabel表示客户端j的聚类标签,countl表示聚类标签为l的特征向量组的个数,meanl代表聚类标签l的平均值;
由于在特征提取模型的训练过程中,设置诚实参数的训练标签为1,故而通过比较meanl与1之间的距离大小即可划分出诚实和恶意类。对于每个聚类标签l(l∈labelcount,l≠-1),服务器计算Mean[l]=|meanl-1|;选取Mean中最小数据值所对应的聚类标签为诚实类,对于其他聚类标签则划分为恶意类;服务器将恶意类聚类标签所对应的客户端编号添加到Malicious列表中。
步骤7:服务器剔除恶意客户端集合Malicious对应的模型局部参数,将诚实客户端的模型局部参数进行FedAvg聚合,完成联邦学习模型的全局模型更新其中:c表示恶意客户端数量,即Malicious中元素的个数。
经过具体实际实验,设定客户端总数为50,在流行的图像数据集MNIST上开展了攻击比例高达50%的针对高斯攻击、符号翻转攻击、零梯度攻击、标签翻转攻击、后门攻击及自适应局部模型中毒攻击等六种攻击的防御效果评估,并对比了现有主流的Krum、FLTrust等防御方案,部分实验结果如下表所示。
FedAvg | Median | Krum | FLTrust | 本方法 | |
安全环境下无攻击 | 97.2% | 97.2% | 95.9% | 95.7% | 97.3% |
高斯攻击 | 9.7% | 96.9% | 96.8% | 95.9% | 97.0% |
符号翻转攻击 | 95.9% | 10.1% | 96.7% | 95.7% | 97.1% |
零梯度攻击 | 10.3% | 8.9% | 96.4% | 95.0% | 97.1% |
标签翻转攻击 | 9.8% | 9.8% | 9.8% | 96.0% | 96.9% |
后门攻击 | 9.8% | 9.8% | 9.8% | 95.7% | 96.9% |
结果显示,本方法可以抵御实验中测试的六种主流攻击方法,最高可达97.1%的全局模型准确率。而相同实验条件下的FLTrust的准确率最高仅为95.9%,收敛速度较慢。Krum方案甚至无法抵御标签翻转攻击、后门攻击以及自适应局部模型中毒攻击。因此,本方法保证了联合模型高准确率的同时,也实现了全局模型的快速收敛。
与现有技术相比,本发明基于神经网络的高特征提取性能,每轮迭代都由特征提取模型自主学习并判别诚实参数特征,因此不需要假设攻击者每一轮都执行攻击,攻击者数量等信息也无需提前知晓,即攻击者数量可以动态变化;由于由服务器本身的干净数据集引导局部参数信任,因此当系统中存在大量甚至达到一半的攻击者时该方法也完全适用;由于已经剔除恶意客户端,FedAvg聚合可以充分融合和学习各诚实客户端的局部参数,使得全局模型在快速收敛的同时,能够达到较高的准确率。因此,与传统方法相比,本发明在保证较高的攻击者检测准确率的同时,更适用于实际情况。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (6)
1.一种基于神经网络特征提取的联邦学习模型攻击防御方法,其特征在于,在每轮进行联邦学习全局聚合之前,预先在安全环境下构建神经网络特征提取模型,并采用公开数据集对其进行训练,由服务器本身引导对局部参数的信任;在在线阶段利用训练后的神经网络特征提取模型对各个客户端上传的局部参数进行特征提取并输出至服务器,由服务器采用具有噪声的基于密度的聚类方法(DBSCAN)对特征向量进行分类并剔除对应的恶意局部参数,实现安全聚合;
所述的神经网络特征提取模型,通过服务器预先在安全环境下构建用于对客户端上传的局部参数进行特征提取,其具体结构为全连接神经网络模型,共有k层,fi表示该全连接网络的第i层,i=1,…,k,层与层之间激活函数为Sigmoid,J表示训练的损失函数,采用MSE(Mean Squared Error)均方误差函数;特征提取模型训练的目标是对于正常的特征向量输入x使其预测输出最大化的接近于1。
2.根据权利要求1所述的基于神经网络特征提取的联邦学习模型攻击防御方法,其特征是,所述的特征提取模型构建,具体包括:
步骤A1:在联合学习之前,服务器为该学习任务收集一个未被攻击篡改的小型干净公开数据集Dopen,并在此数据集的基础上维护一个服务器模型Mserver来引导信任;特别地,该服务器模型的参数同当前轮次训练过程中的全局模型Mglobal;
步骤A2:服务器将步骤A1中公开数据集Dopen按设定的批次数据集大小bserver输入到服务器模型Mserver中进行模型训练,从而得到特征提取模型的训练参数集并设置训练标签label为其中:num表示特征提取模型训练集数据总数量;
步骤A3:服务器初始化一个全连接神经网络作为特征提取模型Ffc;设各客户端上传的局部特征参数展开后维度为d且d的最高位数字为p,则全连接网络每层的维度分别设为 ……、(p)、1;其中:若p≠1,则全连接网络中包含维度为p的隐藏层;
6.根据权利要求1所述的基于神经网络特征提取的联邦学习模型攻击防御方法,其特征是,所述的剔除对应的恶意局部参数是指:根据均值比较法将划分为恶意类的聚类标签所对应的客户端编号添加到Malicious列表中,在服务器进行全局聚合时,剔除Malicious列表中代表的模型局部参数,只将诚实的模型局部参数进行安全聚合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310042424.3A CN115879108A (zh) | 2023-01-28 | 2023-01-28 | 基于神经网络特征提取的联邦学习模型攻击防御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310042424.3A CN115879108A (zh) | 2023-01-28 | 2023-01-28 | 基于神经网络特征提取的联邦学习模型攻击防御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115879108A true CN115879108A (zh) | 2023-03-31 |
Family
ID=85758475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310042424.3A Pending CN115879108A (zh) | 2023-01-28 | 2023-01-28 | 基于神经网络特征提取的联邦学习模型攻击防御方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115879108A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116527393A (zh) * | 2023-06-06 | 2023-08-01 | 北京交通大学 | 面向联邦学习投毒攻击的防御方法、装置、设备及介质 |
CN118504622A (zh) * | 2024-07-17 | 2024-08-16 | 中电科新型智慧城市研究院有限公司 | 基于联邦学习的参数聚合方法、系统、设备及存储介质 |
-
2023
- 2023-01-28 CN CN202310042424.3A patent/CN115879108A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116527393A (zh) * | 2023-06-06 | 2023-08-01 | 北京交通大学 | 面向联邦学习投毒攻击的防御方法、装置、设备及介质 |
CN116527393B (zh) * | 2023-06-06 | 2024-01-16 | 北京交通大学 | 面向联邦学习投毒攻击的防御方法、装置、设备及介质 |
CN118504622A (zh) * | 2024-07-17 | 2024-08-16 | 中电科新型智慧城市研究院有限公司 | 基于联邦学习的参数聚合方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Adversarial examples detection in deep networks with convolutional filter statistics | |
Fan et al. | Attacking black-box recommendations via copying cross-domain user profiles | |
CN115879108A (zh) | 基于神经网络特征提取的联邦学习模型攻击防御方法 | |
Aïvodji et al. | Gamin: An adversarial approach to black-box model inversion | |
CN113901448B (zh) | 基于卷积神经网络和轻量级梯度提升机的入侵检测方法 | |
Zhao et al. | CLPA: Clean-label poisoning availability attacks using generative adversarial nets | |
Yu et al. | The defense of adversarial example with conditional generative adversarial networks | |
CN113821793B (zh) | 基于图卷积神经网络的多阶段攻击场景构建方法及系统 | |
CN113688387A (zh) | 基于服务器和客户端双重检测的联邦学习中毒攻击的防御方法 | |
CN116318928A (zh) | 一种基于数据增强和特征融合的恶意流量识别方法及系统 | |
CN116187469A (zh) | 一种基于联邦蒸馏学习框架的客户端成员推理攻击方法 | |
CN109660522B (zh) | 面向综合电子系统的基于深层自编码器的混合入侵检测方法 | |
Zhuang et al. | Deperturbation of online social networks via bayesian label transition | |
Ramadevi et al. | Deep Learning Based Distributed Intrusion Detection in Secure Cyber Physical Systems. | |
Li et al. | Few pixels attacks with generative model | |
Zhang et al. | Adversarial learning in transformer based neural network in radio signal classification | |
Xie et al. | GAME: Generative-based adaptive model extraction attack | |
CN116523078A (zh) | 一种横向联邦学习系统防御方法 | |
Ma et al. | DIHBA: Dynamic, invisible and high attack success rate boundary backdoor attack with low poison ratio | |
CN114760104A (zh) | 一种物联网环境下的分布式异常流量检测方法 | |
CN114067176A (zh) | 一种无需样本数据的对抗贴片生成方法 | |
Chen et al. | A meta approach to defend noisy labels by the manifold regularizer PSDR | |
Purohit et al. | LearnDefend: Learning to Defend against Targeted Model-Poisoning Attacks on Federated Learning | |
Weng et al. | Learning transferable targeted universal adversarial perturbations by sequential meta-learning | |
Yang et al. | LpAdvGAN: Noise Optimization Based Adversarial Network Generation Adversarial Example |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |