CN114330750A - 一种联邦学习毒化攻击检测方法 - Google Patents
一种联邦学习毒化攻击检测方法 Download PDFInfo
- Publication number
- CN114330750A CN114330750A CN202111668344.6A CN202111668344A CN114330750A CN 114330750 A CN114330750 A CN 114330750A CN 202111668344 A CN202111668344 A CN 202111668344A CN 114330750 A CN114330750 A CN 114330750A
- Authority
- CN
- China
- Prior art keywords
- participants
- curve
- participant
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种联邦学习毒化攻击检测方法,本发明在客户端使用非独立同分布数据前提下,能够对联邦学习系统中的恶意参与方进行检测。通过形成各参与方模型的历史距离函数曲线,观察各曲线变化情况,不聚合单次异常模型,剔除长期异常的恶意参与方,从而保证联邦学习最终全局模型的准确性。本发明能够在服务器无法确定各参与方真实身份的情况下,通过长期检测客户端模型变化,从非独立同分布的本地模型中检测异常,从而保证全局模型性能,实现安全、可靠的联邦学习。
Description
技术领域
本发明涉及网络空间安全领域,具体涉及一种联邦学习毒化攻击检测方法。
背景技术
数据是作为生产资料,是近几年推动产业智能化发展的重要因素。但当前的数据合作同样存在着一些困境,一是跨企业间数据合作受阻,数据安全存在风险,担心泄漏数据隐私,跨企业间存在信任危机。二是企业内跨部门间数据共享建立困难重重,即各部门虽知道数据的价值,寻求和其他部门进行数据合作,但又都不愿意泄露自身业务的核心数据。传统的机器学习方法需要将所有的数据集中到一个地方(如数据中心),然后进行机器学习模型的训练,但这种基于集中数据的做法无疑会严重侵害用户隐私和数据安全。联邦学习能有效帮助参与方在满足用户隐私保护、数据安全和政府法规的要求下进行数据使用和机器学习建模,其特点是参与方在服务器管理下通过模型的传递、聚合共同训练全局模型。具体过程为参与方利用本地数据训练本地模型后上传至服务器,服务器在接收所有参与方模型后以特定算法进行聚合得到全局模型,如此迭代直至模型收敛,所有参与方共同享有最终的全局模型。参与方通过传递模型代替数据共享,从而保证了用户隐私及数据安全。
目前,多数联邦学习服务器的聚合算法均以各参与方是诚实的这一假设为前提。若参与方中出现恶意参与方,可以轻松修改本地数据并上传异常模型,通过服务器聚合算法污染全局模型,从而影响到所有参与的客户端模型性能。因此在众多参与方中检测恶意参与方,保证最终全局模型的性能,是联邦学习能否广泛应用的重要前提。
发明内容
针对现有技术中的上述不足,本发明提供的一种联邦学习毒化攻击检测方法可以在联邦学习过程中检测出恶意参与方,避免学习失败。
为了达到上述发明目的,本发明采用的技术方案为:
提供一种联邦学习毒化攻击检测方法,其包括以下步骤:
S1、确定参与方的个数,将参与方初始化为正常状态,并初始化全局模型和参与方的信誉值;
S2、在每轮训练后,获取各个参与方上传的模型,并计算各参与方的模型与上轮全局模型之间的距离,以及所有参与方在本轮训练的平均距离;
S3、在第T轮训练后,将获取的各参与方的模型与上轮全局模型之间的距离通过最小二乘法进行拟合,得到若干第一曲线;将平均距离进行拟合,得到第二曲线;
S4、对第一曲线进行求导,得到若干第三曲线;对第二曲线进行求导,得到第四曲线;获取每条第三曲线与第四曲线的余弦相似度;
S5、将余弦相似度大于等于1/2的参与方加入当前轮次聚合集合;根据余弦相似度调整对应参与方的信誉值;
S6、将信誉值低于信誉阈值的参与方认定为恶意参与方并拒绝其加入训练,并将当前轮次聚合集合中符合信誉要求的参与方上传的模型进行聚合,得到新的全局模型;
S7、判断新的全局模型是否收敛,若是则结束;否则进入步骤S8;
S8、将新的全局模型下发至所有参与方,将训练轮数加1,重复步骤S2至 S7。
进一步地,步骤S1中参与方信誉值的初始值为100。
进一步地,步骤S2中计算各参与方的模型与上轮全局模型之间的距离的具体方法为:
根据公式:
进一步地,步骤S2中计算所有参与方在本轮训练的平均距离的具体方法为:
根据公式:
获取所有参与方在第t轮训练的平均距离avgDist;其中N表示第t轮训练的参与方数量。
进一步地,步骤S3中T的数值为5。
进一步地,步骤S4中获取第三曲线与第四曲线的余弦相似度的具体方法为:
根据公式:
进一步地,步骤S5中根据余弦相似度调整对应参与方的信誉值的具体方法为:
其中,cosθ为余弦相似度;creditt为参与方更新后的信誉值;creditt-1为参与方更新前的信誉值。
进一步地,步骤S6中信誉阈值为60。
本发明的有益效果为:本发明在客户端使用非独立同分布数据前提下,能够对联邦学习系统中的恶意参与方进行检测。通过形成各参与方模型的历史距离函数曲线,观察各曲线变化情况,不聚合单次异常模型,剔除长期异常的恶意参与方,从而保证联邦学习最终全局模型的准确性。本发明能够在服务器无法确定各参与方真实身份的情况下,通过长期检测客户端模型变化,从非独立同分布的本地模型中检测异常,从而保证全局模型性能,实现安全、可靠的联邦学习。
附图说明
图1为本方法的流程示意图;
图2为实施例中本发明与常规联邦学习聚合算法在面对毒化攻击下对于 MNIST数据集的分类进度。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,该联邦学习毒化攻击检测方法包括以下步骤:
S1、确定参与方的个数,将参与方初始化为正常状态,并初始化全局模型和参与方的信誉值;参与方信誉值的初始值为100;
S2、在每轮训练后,获取各个参与方上传的模型,并计算各参与方的模型与上轮全局模型之间的距离,以及所有参与方在本轮训练的平均距离;
S3、在第T轮训练后,将获取的各参与方的模型与上轮全局模型之间的距离通过最小二乘法进行拟合,得到若干第一曲线;将平均距离进行拟合,得到第二曲线;T的数值为5;
S4、对第一曲线进行求导,得到若干第三曲线;对第二曲线进行求导,得到第四曲线;获取每条第三曲线与第四曲线的余弦相似度;
S5、将余弦相似度大于等于1/2的参与方加入当前轮次聚合集合;根据余弦相似度调整对应参与方的信誉值;
S6、将信誉值低于信誉阈值的参与方认定为恶意参与方并拒绝其加入训练,并将当前轮次聚合集合中符合信誉要求的参与方上传的模型进行聚合,得到新的全局模型;
S7、判断新的全局模型是否收敛,若是则结束;否则进入步骤S8;
S8、将新的全局模型下发至所有参与方,将训练轮数加1,重复步骤S2至 S7。
步骤S2中计算各参与方的模型与上轮全局模型之间的距离的具体方法为:根据公式:
步骤S2中计算所有参与方在本轮训练的平均距离的具体方法为:根据公式:
获取所有参与方在第t轮训练的平均距离avgDist;其中N表示第t轮训练的参与方数量。
步骤S4中获取第三曲线与第四曲线的余弦相似度的具体方法为:根据公式:
步骤S5中根据余弦相似度调整对应参与方的信誉值的具体方法为:
其中,cosθ为余弦相似度;creditt为参与方更新后的信誉值;creditt-1为参与方更新前的信誉值。步骤S6中信誉阈值为60。
在本发明的一个实施例中,为了验证本方法的有效性,实验环境为Ubun tu 20.04操作系统。编程环境为Python 3.7.4,pytorch 1.9.0,CUDA 10.2。所有实验采用数据为MNIST数据集,为了模拟非独立同分布环境,我们将MNIST所有数据分布在1000个用户上,每台设备只分配2种标签的样本,每个用户拥有的样本数遵循幂律(即样本大的用户数量小,样本小的用户数量大),随机抽取其中200客户端(客户端即参与方)完成训练。各参与方利用其拥有的数据进行逻辑回归模型训练。
图2示出了本发明与常规联邦学习聚合算法在面对毒化攻击下对于MNIST 数据集的分类进度,其中accuracy表示准确率,noAttack表示无攻击,noDefence 表示无防御(即常规联邦学习聚合算法),Defence表示本方法。从图2中可以看出,在面对毒化攻击时本发明可以显著提升模型精度,保证最终训练模型的准确性。
综上所述,本发明在客户端使用非独立同分布数据前提下,能够对联邦学习系统中的恶意参与方进行检测。通过形成各参与方模型的历史距离函数曲线,观察各曲线变化情况,不聚合单次异常模型,剔除长期异常的恶意参与方,从而保证联邦学习最终全局模型的准确性。本发明能够在服务器无法确定各参与方真实身份的情况下,通过长期检测客户端模型变化,从非独立同分布的本地模型中检测异常,从而保证全局模型性能,实现安全、可靠的联邦学习。
Claims (8)
1.一种联邦学习毒化攻击检测方法,其特征在于,包括以下步骤:
S1、确定参与方的个数,将参与方初始化为正常状态,并初始化全局模型和参与方的信誉值;
S2、在每轮训练后,获取各个参与方上传的模型,并计算各参与方的模型与上轮全局模型之间的距离,以及所有参与方在本轮训练的平均距离;
S3、在第T轮训练后,将获取的各参与方的模型与上轮全局模型之间的距离通过最小二乘法进行拟合,得到若干第一曲线;将平均距离进行拟合,得到第二曲线;
S4、对第一曲线进行求导,得到若干第三曲线;对第二曲线进行求导,得到第四曲线;获取每条第三曲线与第四曲线的余弦相似度;
S5、将余弦相似度大于等于1/2的参与方加入当前轮次聚合集合;根据余弦相似度调整对应参与方的信誉值;
S6、将信誉值低于信誉阈值的参与方认定为恶意参与方并拒绝其加入训练,并将当前轮次聚合集合中符合信誉要求的参与方上传的模型进行聚合,得到新的全局模型;
S7、判断新的全局模型是否收敛,若是则结束;否则进入步骤S8;
S8、将新的全局模型下发至所有参与方,将训练轮数加1,重复步骤S2至S7。
2.根据权利要求1所述的联邦学习毒化攻击检测方法,其特征在于,步骤S1中参与方信誉值的初始值为100。
5.根据权利要求1所述的联邦学习毒化攻击检测方法,其特征在于,步骤S3中T的数值为5。
8.根据权利要求7所述的联邦学习毒化攻击检测方法,其特征在于,步骤S6中信誉阈值为60。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111668344.6A CN114330750B (zh) | 2021-12-31 | 2021-12-31 | 一种联邦学习毒化攻击检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111668344.6A CN114330750B (zh) | 2021-12-31 | 2021-12-31 | 一种联邦学习毒化攻击检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114330750A true CN114330750A (zh) | 2022-04-12 |
CN114330750B CN114330750B (zh) | 2022-08-16 |
Family
ID=81020026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111668344.6A Active CN114330750B (zh) | 2021-12-31 | 2021-12-31 | 一种联邦学习毒化攻击检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114330750B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115333825A (zh) * | 2022-08-10 | 2022-11-11 | 浙江工业大学 | 针对联邦学习神经元梯度攻击的防御方法 |
CN115442103A (zh) * | 2022-08-29 | 2022-12-06 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
CN115766169A (zh) * | 2022-11-08 | 2023-03-07 | 贵州大学 | 一种联邦学习中恶意节点检测方法 |
CN115865642A (zh) * | 2023-03-03 | 2023-03-28 | 中南大学 | 一种招募可信节点完成计算任务的方法和装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909219A (zh) * | 2017-12-06 | 2018-04-13 | 广东工业大学 | 一种基于双重聚类的日售电量预测方法及系统 |
JP2019028737A (ja) * | 2017-07-31 | 2019-02-21 | 東京電力ホールディングス株式会社 | 類似度算出装置、類似度算出方法、及びプログラム |
CN111460443A (zh) * | 2020-05-28 | 2020-07-28 | 南京大学 | 一种联邦学习中数据操纵攻击的安全防御方法 |
CN112188495A (zh) * | 2020-09-01 | 2021-01-05 | 大连理工大学 | 超密集网络下基于联邦学习的缓存污染攻击检测方法 |
CN112231570A (zh) * | 2020-10-26 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 推荐系统托攻击检测方法、装置、设备及存储介质 |
WO2021095044A1 (en) * | 2019-11-15 | 2021-05-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Apparatuses, methods, and computer programs for detecting an impostor system |
CN113301017A (zh) * | 2021-04-22 | 2021-08-24 | 西安电子科技大学 | 基于联邦学习的攻击检测与防御方法、装置及存储介质 |
CN113553582A (zh) * | 2021-07-14 | 2021-10-26 | 中国人民解放军战略支援部队信息工程大学 | 恶意攻击检测方法、装置及电子设备 |
US20210374617A1 (en) * | 2020-06-02 | 2021-12-02 | Lingyang CHU | Methods and systems for horizontal federated learning using non-iid data |
CN113780344A (zh) * | 2021-08-05 | 2021-12-10 | 中山大学 | 一种基于层次聚类的联邦学习方法及系统 |
CN113806735A (zh) * | 2021-08-20 | 2021-12-17 | 北京工业大学 | 一种执行与评价双网络个性化联邦学习入侵检测方法及系统 |
-
2021
- 2021-12-31 CN CN202111668344.6A patent/CN114330750B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019028737A (ja) * | 2017-07-31 | 2019-02-21 | 東京電力ホールディングス株式会社 | 類似度算出装置、類似度算出方法、及びプログラム |
CN107909219A (zh) * | 2017-12-06 | 2018-04-13 | 广东工业大学 | 一种基于双重聚类的日售电量预测方法及系统 |
WO2021095044A1 (en) * | 2019-11-15 | 2021-05-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Apparatuses, methods, and computer programs for detecting an impostor system |
CN111460443A (zh) * | 2020-05-28 | 2020-07-28 | 南京大学 | 一种联邦学习中数据操纵攻击的安全防御方法 |
US20210374617A1 (en) * | 2020-06-02 | 2021-12-02 | Lingyang CHU | Methods and systems for horizontal federated learning using non-iid data |
CN112188495A (zh) * | 2020-09-01 | 2021-01-05 | 大连理工大学 | 超密集网络下基于联邦学习的缓存污染攻击检测方法 |
CN112231570A (zh) * | 2020-10-26 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 推荐系统托攻击检测方法、装置、设备及存储介质 |
CN113301017A (zh) * | 2021-04-22 | 2021-08-24 | 西安电子科技大学 | 基于联邦学习的攻击检测与防御方法、装置及存储介质 |
CN113553582A (zh) * | 2021-07-14 | 2021-10-26 | 中国人民解放军战略支援部队信息工程大学 | 恶意攻击检测方法、装置及电子设备 |
CN113780344A (zh) * | 2021-08-05 | 2021-12-10 | 中山大学 | 一种基于层次聚类的联邦学习方法及系统 |
CN113806735A (zh) * | 2021-08-20 | 2021-12-17 | 北京工业大学 | 一种执行与评价双网络个性化联邦学习入侵检测方法及系统 |
Non-Patent Citations (4)
Title |
---|
CLEMENT FUNG: "Mitigating Sybils in Federated Learning Poisoning", 《ARXIV》 * |
ZHAOSEN SHI: "Mitigation of Poisoning Attack in Federated Learning by using Historical Distance Detection", 《2021 5TH CYBER SECURITY IN NETWORKING CONFERENCE》 * |
刘飚: "基于矩阵映射的拜占庭鲁棒联邦学习算法", 《计算机研究与发展》 * |
周传鑫: "联邦学习研究综述", 《网络与信息安全学报》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115333825A (zh) * | 2022-08-10 | 2022-11-11 | 浙江工业大学 | 针对联邦学习神经元梯度攻击的防御方法 |
CN115333825B (zh) * | 2022-08-10 | 2024-04-09 | 浙江工业大学 | 针对联邦学习神经元梯度攻击的防御方法 |
CN115442103A (zh) * | 2022-08-29 | 2022-12-06 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
CN115442103B (zh) * | 2022-08-29 | 2024-05-31 | 成都安恒信息技术有限公司 | 一种群体学习抗毒化攻击方法、系统、设备及存储介质 |
CN115766169A (zh) * | 2022-11-08 | 2023-03-07 | 贵州大学 | 一种联邦学习中恶意节点检测方法 |
CN115865642A (zh) * | 2023-03-03 | 2023-03-28 | 中南大学 | 一种招募可信节点完成计算任务的方法和装置 |
CN115865642B (zh) * | 2023-03-03 | 2023-05-09 | 中南大学 | 一种招募可信节点完成计算任务的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114330750B (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114330750B (zh) | 一种联邦学习毒化攻击检测方法 | |
CN112434280B (zh) | 一种基于区块链的联邦学习防御方法 | |
Man et al. | Intelligent Intrusion Detection Based on Federated Learning for Edge‐Assisted Internet of Things | |
Jiang et al. | A trust cloud model for underwater wireless sensor networks | |
CN109617706B (zh) | 工业控制系统防护方法及工业控制系统防护装置 | |
CN108182536B (zh) | 一种基于有限理性的配电网cps安全防御方法 | |
CN111935193B (zh) | 基于伪装代理与动态技术相关联的自动化安全防护方法 | |
CN115333825A (zh) | 针对联邦学习神经元梯度攻击的防御方法 | |
Ibrahem et al. | Electricity-theft detection for change-and-transmit advanced metering infrastructure | |
CN112560059B (zh) | 一种基于神经通路特征提取的垂直联邦下模型窃取防御方法 | |
Li et al. | Retracted: Design of multimedia blockchain privacy protection system based on distributed trusted communication | |
CN115687758A (zh) | 一种用户分类模型训练方法、用户检测方法 | |
CN110298170B (zh) | 一种考虑盲目攻击因子的电力scada系统安全性评估方法 | |
CN116187469A (zh) | 一种基于联邦蒸馏学习框架的客户端成员推理攻击方法 | |
Lv et al. | Research on modeling of e-banking fraud account identification based on federated learning | |
CN113886817A (zh) | 主机入侵检测方法及装置、电子设备、存储介质 | |
Zhou et al. | Novel defense schemes for artificial intelligence deployed in edge computing environment | |
Jiao et al. | A blockchain federated learning scheme based on personalized differential privacy and reputation mechanisms | |
Lin | Financial performance management system and wireless sharing network optimization of listed enterprises under BPNN | |
CN113010909A (zh) | 一种科学数据共享平台数据安全分级方法和装置 | |
CN111988184B (zh) | 一种基于态势感知的广播风暴检测与处理方法 | |
Dong et al. | Blockchain-Assisted Reputation Mechanism for Distributed Cloud Storage | |
Zhang et al. | Multi-round data poisoning attack and defense against truth discovery in crowdsensing systems | |
Zhang | Analysis of Network Security Countermeasures From the Perspective of Improved FS Algorithm and ICT Convergence | |
Zhu et al. | A Blockchain-Based Federated Learning for Smart Homes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |