CN113837398A - 一种基于联邦学习的图分类任务中毒攻击方法 - Google Patents

一种基于联邦学习的图分类任务中毒攻击方法 Download PDF

Info

Publication number
CN113837398A
CN113837398A CN202111147352.6A CN202111147352A CN113837398A CN 113837398 A CN113837398 A CN 113837398A CN 202111147352 A CN202111147352 A CN 202111147352A CN 113837398 A CN113837398 A CN 113837398A
Authority
CN
China
Prior art keywords
model
clients
local
sets
federal learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111147352.6A
Other languages
English (en)
Inventor
谢家豪
鲁鸣鸣
易贤康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202111147352.6A priority Critical patent/CN113837398A/zh
Publication of CN113837398A publication Critical patent/CN113837398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于联邦学习的图分类任务中毒攻击方法本发明方法。从数据中毒攻击的角度出发，探索联邦学习的图分类任务下的模型鲁棒性，然后通过标签翻转攻击让模型的整体性能下降了10.5％左右，有效的验证了模型的脆弱性和不安全性。

Description

一种基于联邦学习的图分类任务中毒攻击方法
技术领域
本发明属于联邦学习对抗攻击研究领域，尤其涉及图网络模型应用在联邦学习领域的鲁棒性分析。
背景技术
图神经网络在很多领域都取得了成功，并衍生出在现实行业中的各种研究和应用。然而，在一些隐私敏感场景(如金融、医疗保健)中，由于分布式数据孤岛，集中式训练图神经网络模型面临着一定挑战。
联邦学习是一种新颖的分布式学习框架，可以让数千名参与者协同构建深度学习模型。为了保护训练数据的机密性，服务器和客户端之间的共享参数仅限于模型参数，是分布式图神经网络训练的合理解决方案。
然而图神经网络的黑盒特性导致其在安全性和稳定性上存在隐患。在传统的集中式任务上，即使给图神经网络添加一个微小的扰动，也会对模型的最终决策造成巨大影响；此外，联邦学习也像其他机器学习模型一样容易受到攻击，联邦学习任务也易因数据中毒攻击而造成性能下降。
发明内容
发明目的：为反映联邦学习下图网络的鲁棒性，设计了不同的对抗分析方法，测试了联邦学习系统下图分类模型的鲁棒性。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于目标攻击的鲁棒性分析，包括以下步骤：
步骤1)设置联邦学习框架参数，设置为50个参与者，一个中央服务器，并随机划分数据集到不同的客户端。
步骤2)确定本地模型，并设置本地模型参数。
步骤3)确定本轮联邦学习任务中参与训练的N个参与者，每个参与者拥有其本地数据集和本地模型。
步骤4)通过随机指定m个参与者为恶意客户端，其余部分为良性客户端，所有客户端都参与模型的参数更新。
步骤5)为本次参与训练的数据集实行标签翻转攻击设置，代表了对抗性攻击的不同条件。
有益效果：
1)本发明提出针对联邦图学习模型的对抗。使用目标中毒攻击测试了联邦学习框架下图分类任务的鲁棒性
2)本发明过对抗攻击实验验证了图分类任务在联邦学习模式下的脆弱性，在遭到恶意攻击者的破坏下，模型的性能会大幅下降，验证了了模型在训练阶段和测试都会因攻击者对客户端的恶意中毒破坏从而导致模型的性能大幅下降。
附图说明
图1为本发明方法具体实施流程图；
图2为本发明方法的总体结构图
图3为本发明方法本地客户端模型的结构图；
图4为本发明使用的无攻击模型准确率示意图；
图5为本发明使用的攻击后模型准确率示意图。
具体实施方式
本发明给出了可解释的基于联邦学习下图分类任务的中毒攻击方法实施用例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：
本发明方法具体实施流程图如图1所示，其过程如下：
步骤1)设置联邦学习框架参数，设置参数聚合算法，设置为50个参与者，一个中央服务器，并随机划分数据集到不同的客户端。其中联邦学习算法的参数聚合方式如下：
对于一个回合t，服务器向所有客户端发送共享的全局模型参数wt，并从所有客户端(假设客户端总数为K)中随机选取m个客户端集合St。每个选定的客户端k∈St使用其私有数据集Dk来更新本地参数，其中
Figure BDA0003285942710000021
是使用参数
Figure BDA0003285942710000022
和数据集Dk计算的损失值，η是学习率。从而得到更新后的本地参数
Figure BDA0003285942710000023
随后客户端将更新后的参数提交给服务端，最后服务端来平均聚合收到的模型更新，其中 nk是客户端k中数据集的样本数量，从而总的数据量
Figure BDA0003285942710000024
(假设客户端之间数据没有重复)
Figure BDA0003285942710000031
Figure BDA0003285942710000032
Figure BDA0003285942710000033
图2是联邦学习框架的整体架构，每个客户端都拥有本地的图神经网络模型。
步骤2)设置本地图神经网络模型，每个模型架构一致。如图3所示，图神经网络一般采取领域聚合方式来学习节点特征Xv(v∈V)的嵌入向量hv，或者整个图的向量表达hG。给定图的输入特征Xv，经过k次聚合计算后，节点的表示向量会捕获到该节点的k跳节点邻域内的结构信息。GNN的k次迭代计算方式如下所示，
Figure BDA0003285942710000034
表示节点v在第k次迭代的特征向量，一般初始化
Figure BDA0003285942710000035
则是节点v的邻接节点集合。整个式子中最重要的是算子AGGREGATE(k)(·)和 COMBINE(k)(·)，通过设计不同的算子从而衍生出许多GNN模型，
Figure BDA0003285942710000036
Figure BDA0003285942710000037
步骤3)确定本轮联邦学习任务中参与训练的N个参与者，每个参与者拥有其本地数据集和本地模型。
步骤4)通过随机指定m个参与者为恶意客户端，其余部分为良性客户端，所有客户端都参与模型的参数更新。
步骤5)为本次参与训练的数据集实行标签翻转攻击设置，代表了对抗性攻击的不同条件。其中攻击设置依据数据集的不同而更改。
本发明在三个数据集上进行了种模型的对抗训练，最终准确率对比结果如图 4和图5所示，本发明提出的目标攻击方法能有效的降低模型的准确率。
参考文献
[1]Baracaldo,N.,Chen,B.,Ludwig,H.,Safavi,J.A.:Mitigating poisoningattacks on machine learning models:A data provenance based approach.In:10thACM Workshop on Artificial Intelligence and Security.pp.103–110(2017)
[2]Bhagoji,A.N.,Chakraborty,S.,Mittal,P.,Calo,S.:Analyzing federatedlearning through an adversarial lens.In:International Conference on MachineLearning. pp.634–643(2019).
[3]Fang,M.,Cao,X.,Jia,J.,Gong,N.Z.:Local model poisoning attacks tobyzantine-robust federated learning.In:To appear in USENIX Security Symposium(2020).
[4]Fang,M.,Yang,G.,Gong,N.Z.,Liu,J.:Poisoning attacks to graph-basedrecom- mender systems.In:Proceedings of the 34th Annual Computer SecurityApplica- tions Conference.pp.381–392(2018).
[5]Khazbak,Y.,Tan,T.,Cao,G.:Mlguard:Mitigating poisoning attacks inprivacy preserving distributed collaborative learning(2020).

Claims (6)

1.一种基于联邦学习的图分类任务中毒攻击方法，其特征在于包括下列步骤：
步骤1)设置联邦学习框架参数，设置为50个参与者，一个中央服务器，并随机划分数据集到不同的客户端。
步骤2)确定本地模型，并设置本地模型参数。
步骤3)确定本轮联邦学习任务中参与训练的N个参与者，每个参与者拥有其本地数据集和本地模型。
步骤4)通过随机指定m个参与者为恶意客户端，其余部分为良性客户端，所有客户端都参与模型的参数更新。
步骤5)为本次参与训练的数据集实行标签翻转攻击设置，代表了对抗性攻击的具体方式。
2.根据权利要求1所述，其特征为所述步骤1)设置联邦学习模型参数，以及联邦学习客户端的参数聚合算法。
3.根据权利要求1所述，其特征为所述步骤2)为每个本地模型设置相同架构的图神经网络模型，并设置本地数据集、本地模型参数以及其他初始化设置。
4.根据权利要求1所述，其特征为所述步骤3)设置参与联邦学习任务的客户端模型。
5.根据权利要求1所述，其特征为所述步骤4)设置恶意攻击者的模型数量，其余部分则为良性客户端，一起参与模型的训练与参数更新。
6.根据权利要求1所述，其特征为所述步骤5)为恶意攻击者客户端数据集应用标签翻转攻击设置，然后所有客户端一起依据本地数据集和本地模型训练，最终将参数上传服务器。
CN202111147352.6A 2021-09-29 2021-09-29 一种基于联邦学习的图分类任务中毒攻击方法 Pending CN113837398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111147352.6A CN113837398A (zh) 2021-09-29 2021-09-29 一种基于联邦学习的图分类任务中毒攻击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111147352.6A CN113837398A (zh) 2021-09-29 2021-09-29 一种基于联邦学习的图分类任务中毒攻击方法

Publications (1)

Publication Number Publication Date
CN113837398A true CN113837398A (zh) 2021-12-24

Family

ID=78967405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111147352.6A Pending CN113837398A (zh) 2021-09-29 2021-09-29 一种基于联邦学习的图分类任务中毒攻击方法

Country Status (1)

Country Link
CN (1) CN113837398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI814213B (zh) * 2022-01-17 2023-09-01 國立清華大學 資料中毒方法及裝置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI814213B (zh) * 2022-01-17 2023-09-01 國立清華大學 資料中毒方法及裝置

Similar Documents

Publication Publication Date Title
Macas et al. A survey on deep learning for cybersecurity: Progress, challenges, and opportunities
Haghighi et al. On the race of worms and patches: Modeling the spread of information in wireless sensor networks
Khan Rule based network intrusion detection using genetic algorithm
CN111625820A (zh) 一种基于面向AIoT安全的联邦防御方法
CN113645197B (zh) 一种去中心化的联邦学习方法、装置及系统
CN106375331A (zh) 一种攻击组织的挖掘方法及装置
US11418528B2 (en) Dynamic best path determination for penetration testing
CN113779563A (zh) 联邦学习的后门攻击防御方法及装置
CN113810406B (zh) 一种基于动态防御图与强化学习的网络空间安全防御方法
Thonnard et al. On a multicriteria clustering approach for attack attribution
Ding et al. Research on intrusion detection technology based on deep learning
Hallaji et al. Label noise analysis meets adversarial training: A defense against label poisoning in federated learning
Zheng et al. WMDefense: Using watermark to defense Byzantine attacks in federated learning
Matta et al. Cyber-threat mitigation exploiting the birth–death–immigration model
Li et al. FIDS: Detecting DDoS through federated learning based method
Reddy et al. A hybrid neural network architecture for early detection of DDOS attacks using deep learning models
CN113837398A (zh) 一种基于联邦学习的图分类任务中毒攻击方法
Zhu et al. Effective defense strategies in network security using improved double dueling deep Q-network
Garcia-Lebron et al. A framework for characterizing the evolution of cyber attacker-victim relation graphs
Ding et al. PATROL: Privacy-Oriented Pruning for Collaborative Inference Against Model Inversion Attacks
Aljammal et al. Performance Evaluation of Machine Learning Approaches in Detecting IoT-Botnet Attacks.
Chen et al. Avoid attacks: A Federated Data Sanitization Defense in IoMT Systems
CN115296830A (zh) 基于博弈论的网络协同攻击建模和危害定量分析方法
Li et al. Image restoration using improved particle swarm optimization
Yan et al. SkyMask: Attack-agnostic Robust Federated Learning with Fine-grained Learnable Masks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination