CN115333825B - 针对联邦学习神经元梯度攻击的防御方法 - Google Patents

针对联邦学习神经元梯度攻击的防御方法 Download PDF

Info

Publication number
CN115333825B
CN115333825B CN202210955513.2A CN202210955513A CN115333825B CN 115333825 B CN115333825 B CN 115333825B CN 202210955513 A CN202210955513 A CN 202210955513A CN 115333825 B CN115333825 B CN 115333825B
Authority
CN
China
Prior art keywords
gradient
client
model
attacker
federal learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210955513.2A
Other languages
English (en)
Other versions
CN115333825A (zh
Inventor
陈晋音
刘嘉威
郑海斌
陈铁明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210955513.2A priority Critical patent/CN115333825B/zh
Publication of CN115333825A publication Critical patent/CN115333825A/zh
Application granted granted Critical
Publication of CN115333825B publication Critical patent/CN115333825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种针对联邦学习神经元梯度攻击的防御方法，基于强化学习的联邦系统偏见中毒防御，以保护模型免受梯度中毒攻击，可以应用于水平联邦学习。本发明方法在服务器端记录5个回合的参与者上传的梯度信息，统计神经元参数的变化趋势，计算每个用户每个神经元参数变化趋势，与其他用户该神经元参数变化趋势的Jaccard相似度，查找企图进行梯度攻击的恶意用户，一旦确定了恶意客户端，服务器将从记录的5个回合的梯度信息中剔除恶意用户，重新聚合生成新的全局模型，在保证联邦学习正常进行的情况下，提高学习系统的安全鲁棒性。本发明能够检测哪一个是攻击者操控的客户端，并且通过模型回档的方式避免整个联邦学习系统遭到毒害。

Description

针对联邦学习神经元梯度攻击的防御方法
技术领域
本发明属于面向联邦学习的防御领域，尤其涉及一种针对联邦学习神经元梯度攻击的防御方法。
背景技术
联邦学习是近年来人工智能备受关注的方向之一，随着联邦学习的快速发展和应用，它能够以协作的方式在数千名参与者中训练深度学习模型。联邦学习的主要目的是在本地化数据集上建立联合机器学习模型，同时提供隐私保证，这对于许多新兴场景来说是一种有吸引力的技术，例如边缘计算和众包系统。不同于其他集中式的深度学习，联邦学习需要多个分布式学习者共同学习，学习过程由中央服务器协调。在整个过程中，客户端的数据只保存在本地，只有模型参数通过参数服务器在客户端之间进行通信。与集中式深度学习不同，联邦学习只需要用户上传本地训练的模型生成的梯度，服务器端的全局模型将与本地客户端模型共享相同的结构。联邦学习用户之间的本地数据集不完全相同。对于每次迭代，用户将从服务器端下载全局模型的参数，然后通过每个客户端的本地数据集训练模型，并将训练好的模型梯度等参数重新上传到服务器，服务器收集到所有客户端发送的梯度信息，通过联邦平均算法聚合新的全局模型。理论上全局模型比使用任何单个客户端的数据训练的模型具有更好的性能。因此联邦全局模型与每个客户端都有很高的相关性。
然而联邦学习系统容易受到恶意客户端的攻击。中央服务器无法访问客户端的数据，因此无法验证来自客户端的模型更新，尤其是当系统增加了安全聚合协议以进一步保护客户端的隐私时。实际上，恶意客户端可以向服务器发送任何更新，如果没有有效的保护来识别对神经网络学习权重的恶意更新，服务器很容易受到损害。
恶意客户端发送恶意模型到服务器是联邦学习中最常见的攻击之一，攻击者可以修改其本地模型的个别神经元梯度，提升模型对特定属性的偏见。这些神经元与某些敏感属性具有很强的相关性，在客户端修改这些神经元发送到联邦学习系统参与聚合后，联邦学习系统的全局模型将会受到偏见中毒。由于服务器端无法访问客户端的数据，因此很难分辨恶意的模型更新。特别的，最近出现了一种基于修改恶意客户端某个神经元的中毒攻击：攻击者潜伏在联邦学习客户端中，正常参与联邦训练，而在上传梯度更新到服务器的过程中，篡改个别神经元的梯度更新，以达到攻击的目的，在经典联邦学习场景下，如果此时采用联邦平均聚合，攻击者在几轮联邦学习后就能使全局模型中毒，相比于其他攻击方法，这种梯度投毒更加隐蔽。
发明内容
本发明的目的在于针对现有技术的不足，提供一种针对联邦学习神经元梯度攻击的防御方法。
本发明的目的是通过以下技术方案来实现的：一种针对联邦学习神经元梯度攻击的防御方法，包括：
(1)服务器调用全局模型，分发给各个客户端；
(2)客户端接收服务器下发的全局模型，并使用本地数据对全局模型进行训练，得到客户端梯度更新；
(3)客户端将梯度更新发送至服务器，服务器接收梯度更新；为每个客户端创建一个梯度存储器，存储设定轮数的客户端所上传的梯度信息，同时创建神经元梯度变化向量记录客户端i第a个神经元第b个参数的变化；i＝1～N，a＝1～A，b＝1～B；每次当前联邦学习回合数t达到设定轮数的倍数时，根据客户端梯度向量之间的广义Jaccard相似度，判断是否存在攻击者并找到攻击者客户端，一旦发现攻击者的存在，最近设定轮数的联邦学习将被作废，并重新聚合一个全局模型，发放到客户端；
(4)重复步骤(2)～(3)，直至联邦学习结束。
进一步地，步骤(1)包括：
联邦学习的训练目标：
其中，G(w)表示全局模型，w表示模型参数，Rd表示所有模型参数集合；N代表存在N个参与方，分别处理N个本地模型Li(w)，每一方基于私有数据集进行训练，其中，数据集i样本数量ai＝|Di|，/>表示数据集i第j个数据样本以及相应的标签；
联邦学习的目标是获得一个全局模型，该模型对来自N方的分布式训练结果进行聚合；具体来说，在第t轮，中央服务器将当前共享模型Gt发送给N个客户端，客户端i通过使用自己的数据集Di和学习率lr，运行本地轮次的优化算法，以获得新的局部模型然后，客户端将模型更新/>-Gt发送到中央服务器，中央服务器将以其自身的学习率η对所有更新进行平均，以生成新的全局模型Gt+1：
进一步地，步骤(2)包括：
对于良性客户端来说，联邦学习参与者会在使用本地数据对服务器下发的全局模型进行正常训练，表示为：
其中，为数据样本，/>表示样本对应的样本标签；函数P为对应的训练优化函数，通过对数据的学习，可以得到当前轮t客户端i从数据中获得的模型梯度更新wi；
对于攻击者客户端而言，在正常训练本地模型之外，在梯度更新上传阶段，攻击者会篡改梯度更新，具体为：
其中，表示攻击者的恶意篡改梯度；/>与wi具有相同的网络结构，/>中非攻击目标的神经元参数值都为0，目标神经元参数值随着攻击者的攻击目的变化，得到中毒客户端梯度/>
进一步地，步骤(3)包括：
(3.1)如果当前联邦学习回合数t为设定轮数的倍数，将应用神经元参数中毒防御机制进行聚合；包括：
(3.1.1)计算所有联邦学习参与者相同梯度变化向量间的广义Jaccard相似度危险系数Dri、攻击者可能性Atti；/>代表客户端i与客户端i’相同梯度变化向量之间的相似度，i＝1～N，i’＝1～N，i≠i’；
(3.1.2)判断是否存在攻击者；
存在Atti大于攻击者可能性阈值时，服务器将该客户端i标记为攻击者，启动模型保护策略，并舍弃当前全局模型，为安全起见，从梯度存储器中调取最近设定轮数的联邦学习第一次接收到的客户端上传的梯度更新，其中不包括被标记为恶意客户端的梯度，重新聚合一个全局模型，并发放到客户端；
Atti均小于等于攻击者可能性阈值时，不存在攻击者，直接执行步骤(3.2.2)；
(3.2)如果当前联邦学习回合数t不为设定轮数的倍数，进行联邦平均聚合；服务器聚合所有客户端的梯度更新得到全局模型；
(3.2.1)保存当前客户端梯度更新到梯度存储器；
(3.2.2)执行联邦平均聚合，获得新的全局模型，并发放到客户端。
进一步地，步骤(3.1.1)中，广义Jaccard相似度的，数学表达为：
式中，相似度JA是一个介于0到1之间的数，越接近1，说明相似度越高，反之相似度越低。
进一步地，步骤(3.1.1)中，危险系数Dri越高，代表该客户端越有可能是攻击者；
其中，函数1表示若满足条件，则返回值为1，若不满足条件则返回值为0。
进一步地，步骤(3.1.1)中，将危险系数Dri换算为攻击者可能性Atti：
本发明的有益效果如下：
(1)本发明在联邦学习过程中及时分辨潜在攻击者，防止全局模型被毒害；
(2)本发明提高了联邦学习系统的安全鲁棒性。
附图说明
图1为本发明针对联邦学习神经元梯度攻击的防御方法的示意图。
图2为本发明针对联邦学习神经元梯度攻击的防御方法的具体流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细描述。
目前，联邦学习的应用领域越来越广泛，但随之而来的是多种不同的损害模型性能问题。例如，恶意客户端通过在每轮联邦学习中，修改上传到服务器的个别神经元的梯度，试图在几轮联邦学习后，操控联邦学习全局模型特定神经元的参数，达到模型投毒的目的，使联邦学习模型在特定任务上分类出错。
首先本发明先对最近出现的针对联邦学习的神经元梯度攻击进行深入的研究。针对神经元的梯度攻击是联邦学习所特有的，这是由于以下三个原因造成的：
1)联邦学习系统的参与者众多，服务器难以分辨恶意攻击者；
2)由于联邦学习的隐私保护条例，参与者的本地数据和训练过程对服务器是不可见的，因此无法验证某个参与者更新的真实性；
3)由于联邦学习的固有特性，服务器的全局模型结构和所有客户端的模型结构是统一的。
另外一个已经被证实的问题是在深度学习中，通过修改深度学习模型特定神经元的参数值，可以影响深度模型的分类性能、鲁棒性、公平性，甚至能够植入后门，因此联邦学习成为了针对神经元的梯度攻击者最喜爱的温床。作为发动梯度攻击的恶意客户端，他们在联邦学习的初始阶段就获得了本次联邦学习的模型结构，进而攻击者通过操控训练数据和模型等方法就能确定攻击者的攻击目标，即需要修改的目标神经元参数和数值；攻击者下一步要做的是设法使联邦学习全局模型的目标神经元参数值从正常值偏离到攻击者的目标值，本发明考虑攻击者采取最隐蔽的攻击方法：攻击者控制联邦学习恶意客户端适应本地数据正常训练模型，在客户端上传模型阶段，修改目标神经元参数，并且为了增加隐蔽性，攻击者并不会在一次联邦学习过程中大幅修改目标神经元参数值，而是将这一过程分散在多轮联邦学习过程中。
本发明针对水平联邦学习个别神经元参数的投毒攻击；这种攻击不同于数据投毒攻击，攻击者使用正常的数据训练模型，但是在上传梯度更新时，会修改部分神经元的参数，目的是在经过联邦学习的聚合后，使该神经元的参数值偏移到攻击者的目标值，进行模型投毒，而且攻击者为了更加隐蔽地实施攻击，会在多个联邦学习中逐步修改对应的神经元参数值，避免在聚合时出现离群值，企图伪装成正常的联邦学习参与者。但是这种攻击方法可以被有效防御；攻击者试图发动梯度攻击，必须要修改对应的神经元参数，虽然攻击者会将攻击分散到多轮联邦学习中，但是本发明仍然能够从攻击者上传的梯度更新中发现神经元参数的变化趋势，并且攻击者在将攻击分散到不同的联邦学习轮次中时，并不能中途停止，因为一旦停止中毒攻击，作为联邦学习中的少数恶意客户端，攻击者之前的投毒攻击所修改的全局模型神经元参数将很快被正常训练的良性客户端神经元参数覆盖掉，这不是攻击者所期望看到的，因此本发明在服务器端保存了每个联邦学习参与者上传的5次梯度信息，并组成梯度向量，这些梯度向量直接映射了相应联邦学习参与者对应神经元参数的变化趋势信息，计算每两个参与者所有梯度向量的广义Jaccard相似度；在水平联邦学习中，不同良性客户端相同神经元参数之间的相似度随着联邦学习的进行是很高的，而攻击者为了达到攻击目标，神经元参数的相似度会降低，并标记相似度低的联邦学习参与者，通过计算所有神经元参数的相似度，找到所有神经元参数标记者的交集，就能够筛选出联邦学习的攻击者。
因此，本发明通过计算广义Jaccard相似度保证联邦学习的正常进行。首先，服务器在接收到5次客户端上传的模型后，对每个客户端的模型神经元的参数建立梯度向量和危险积分，计算每两个客户端梯度向量之间的广义Jaccard相似度，并将相似度低于0.3的客户端标记为潜在的攻击者，危险积分加1，当计算完所有的神经元参数值相似度，危险积分明显高于其他客户端的被当做攻击者，服务器使用保存的5次客户端梯度更新中的第一轮梯度重新聚合全局模型，当然，被标记为攻击者的客户端并不会参与全局模型的聚合。然后服务器将重新聚合的联邦全局模型下发到客户端，重新开始联邦学习。因此，一旦发现攻击者的存在，最近5次的联邦学习将被作废，但为了保障联邦学习的安全，这是值得的。
为了保护联邦学习的安全进行，本发明一种针对联邦学习神经元梯度攻击的防御方法，如图1所示，具体步骤如下：
(1)服务器调用全局模型，分发给各个客户端。
联邦学习的训练目标可以归结为一个有限的优化：
其中，G(w)表示全局模型，w表示模型参数，Rd表示所有模型参数集合；N代表存在N个参与方，分别处理N个本地模型Li(w)，每一方基于私有数据集进行训练，其中，数据集i样本数量ai＝|Di|，/>表示数据集i第j个数据样本以及相应的标签。
联邦学习的目标是获得一个全局模型，该模型在对来自N方的分布式训练结果进行聚合后，可以很好地概括测试数据。具体来说，在第t轮，中央服务器将当前共享模型Gt发送给N个客户端，其中[N]表示整数集{1,2,…,N}。客户端i通过使用自己的数据集Di和学习率lr，运行E个本地轮次的优化算法，以获得新的局部模型然后，客户端将模型更新/>-Gt发送到中央服务器，中央服务器将以其自身的学习率η对所有更新进行平均，以生成新的全局模型Gt+1：
(2)客户端接收服务器下发的全局模型，并使用本地数据对全局模型进行训练，得到客户端梯度更新。
对于良性客户端来说，联邦学习参与者会在使用本地数据对服务器下发的全局模型进行正常训练，可以表示为：
其中，为数据样本，/>表示样本对应的样本标签；函数P为对应的训练优化函数，通过对数据的学习，可以得到当前轮t客户端i从数据中获得的模型梯度更新wi。
但对于攻击者而言，在正常训练本地模型之外，在梯度更新上传阶段，攻击者会篡改梯度更新，具体可以概括为：
其中，表示攻击者的恶意篡改梯度；/>与wi具有相同的网络结构，/>中非攻击目标的神经元参数值都为0，目标神经元参数值随着攻击者的攻击目的变化，得到中毒客户端梯度/>
(3)如图2所示，客户端将梯度更新发送至服务器端，服务器接收梯度更新，判断当前联邦学习回合数t是否为5的倍数。防御机制将周期性的应用于联邦学习系统，本发明方法将为每个客户端创建一个梯度存储器，存储5轮(设定轮数)用户所上传的梯度信息，同时创建神经元梯度变化向量记录客户端i第a个神经元第b个参数的变化，并假设每个客户端都有A个神经元,每个神经元B个参数。
(3.1)如果当前联邦学习回合数t为5的倍数，将应用神经元参数中毒防御机制进行聚合。
(3.1.1)计算所有联邦学习参与者相同梯度变化向量间的广义Jaccard相似度。
广义Jaccard相似度可以很好的反应两个集合间的相关性，数学表达为：
式中，代表客户端i与客户端i’相同梯度变化向量之间的相似度，i＝1～N，i’＝1～N，i≠i’；相似度JA是一个介于0到1之间的数，越接近1，说明相似度越高，反之相似度越低；当JA＜0.3(危险系数阈值)时，就认为两个梯度变化向量相关性很差。
然后，计算危险系数Dri(i＝1,2,…,N)，危险系数越高，代表该客户端越有可能是攻击者。
其中，函数1表示若满足条件，则返回值为1，若不满足条件则返回值为0。
进一步，将危险系数换算为攻击者可能性Atti：
(3.1.2)判断是否存在攻击者。
Atti大于50％(攻击者可能性阈值)时，服务器将该客户端i标记为攻击者，启动模型保护策略，并舍弃当前全局模型，为安全起见，从梯度存储器中调取本5轮联邦学习第一次接收到的客户端上传的梯度更新，其中不包括被标记为恶意客户端的梯度，重新聚合一个全局模型，并发放到客户端。
Atti均小于等于50％(攻击者可能性阈值)时，不存在攻击者，直接执行步骤(3.2.2)。
(3.2)如果当前联邦学习回合数t不为5的倍数，进行联邦平均聚合；服务器聚合所有客户端的梯度更新得到全局模型。
(3.2.1)保存当前客户端梯度更新到梯度存储器。
(3.2.2)执行联邦平均聚合，获得新的全局模型，并发放到客户端。
(4)重复步骤(2)～(3)，直至模型收敛或达到最大学习轮数，联邦学习结束。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (5)

1.一种针对联邦学习神经元梯度攻击的防御方法，其特征在于，包括：
(1)服务器调用全局模型，分发给各个客户端；
(2)客户端接收服务器下发的全局模型，并使用本地数据对全局模型进行训练，得到客户端梯度更新；
对于良性客户端来说，联邦学习参与者会在使用本地数据对服务器下发的全局模型进行正常训练，表示为：
其中，为数据样本，/>表示样本对应的样本标签；函数P为对应的训练优化函数，通过对数据的学习，得到当前轮t客户端i从数据中获得的模型梯度更新wi；
对于攻击者客户端而言，在正常训练本地模型之外，在梯度更新上传阶段，攻击者会篡改梯度更新，具体为：
其中，wi表示攻击者的恶意篡改梯度；wi与wi具有相同的网络结构，wi中非攻击目标的神经元参数值都为0，目标神经元参数值随着攻击者的攻击目的变化，得到中毒客户端梯度
(3)客户端将梯度更新发送至服务器，服务器接收梯度更新；为每个客户端创建一个梯度存储器，存储设定轮数的客户端所上传的梯度信息，同时创建神经元梯度变化向量记录客户端i第a个神经元第b个参数的变化；i＝1～N，a＝1～A，b＝1～B；每次当前联邦学习回合数t达到设定轮数的倍数时，根据客户端梯度向量之间的广义Jaccard相似度，判断是否存在攻击者并找到攻击者客户端，一旦发现攻击者的存在，最近设定轮数的联邦学习将被作废，并重新聚合一个全局模型，发放到客户端；
(3.1)如果当前联邦学习回合数t为设定轮数的倍数，将应用神经元参数中毒防御机制进行聚合；包括：
(3.1.1)计算所有联邦学习参与者相同梯度变化向量间的广义Jaccard相似度危险系数Dri、攻击者可能性Atti；/>代表客户端i与客户端i’相同梯度变化向量之间的相似度，i＝1～N，i’＝1～N，i≠i’；
(3.1.2)判断是否存在攻击者；
存在Atti大于攻击者可能性阈值时，服务器将该客户端i标记为攻击者，启动模型保护策略，并舍弃当前全局模型，为安全起见，从梯度存储器中调取最近设定轮数的联邦学习第一次接收到的客户端上传的梯度更新，其中不包括被标记为恶意客户端的梯度，重新聚合一个全局模型，并发放到客户端；
Atti均小于等于攻击者可能性阈值时，不存在攻击者，直接执行步骤(3.2.2)；
(3.2)如果当前联邦学习回合数t不为设定轮数的倍数，进行联邦平均聚合；服务器聚合所有客户端的梯度更新得到全局模型；
(3.2.1)保存当前客户端梯度更新到梯度存储器；
(3.2.2)执行联邦平均聚合，获得新的全局模型，并发放到客户端；
(4)重复步骤(2)～(3)，直至联邦学习结束。
2.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(1)包括：
联邦学习的训练目标：
其中，G(w)表示全局模型，w表示模型参数，Rd表示所有模型参数集合；N代表存在N个参与方，分别处理N个本地模型Li(w)，每一方基于私有数据集进行训练，其中，数据集i样本数量ai＝|Di|，/>表示数据集i第j个数据样本以及相应的标签；
联邦学习的目标是获得一个全局模型，该模型对来自N方的分布式训练结果进行聚合；具体来说，在第t轮，中央服务器将当前共享模型Gt发送给N个客户端，客户端i通过使用自己的数据集Di和学习率lr，运行本地轮次的优化算法，以获得新的局部模型然后，客户端将模型更新/>发送到中央服务器，中央服务器将以其自身的学习率η对所有更新进行平均，以生成新的全局模型Gt+1：
3.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(3.1.1)中，广义Jaccard相似度的，数学表达为：
式中，相似度JA是一个介于0到1之间的数，越接近1，说明相似度越高，反之相似度越低。
4.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(3.1.1)中，危险系数Dri越高，代表该客户端越有可能是攻击者；
其中，函数1表示若满足条件，则返回值为1，若不满足条件则返回值为0。
5.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(3.1.1)中，将危险系数Dri换算为攻击者可能性Atti：
CN202210955513.2A 2022-08-10 2022-08-10 针对联邦学习神经元梯度攻击的防御方法 Active CN115333825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210955513.2A CN115333825B (zh) 2022-08-10 2022-08-10 针对联邦学习神经元梯度攻击的防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210955513.2A CN115333825B (zh) 2022-08-10 2022-08-10 针对联邦学习神经元梯度攻击的防御方法

Publications (2)

Publication Number Publication Date
CN115333825A CN115333825A (zh) 2022-11-11
CN115333825B true CN115333825B (zh) 2024-04-09

Family

ID=83921026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210955513.2A Active CN115333825B (zh) 2022-08-10 2022-08-10 针对联邦学习神经元梯度攻击的防御方法

Country Status (1)

Country Link
CN (1) CN115333825B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115834409A (zh) * 2022-11-22 2023-03-21 上海交通大学 面向联邦学习的安全聚合方法及系统
CN115758365B (zh) * 2022-12-07 2023-07-14 浙江大学 基于神经元激活依赖图的联邦学习模型毒化攻击检测方法
CN116010944B (zh) * 2023-03-24 2023-06-20 北京邮电大学 联邦计算网络保护方法及相关设备
CN117094410B (zh) * 2023-07-10 2024-02-13 西安电子科技大学 一种面向投毒受损联邦学习的模型修复方法
CN116739114B (zh) * 2023-08-09 2023-12-19 山东省计算中心（国家超级计算济南中心） 部署在服务器上对抗模型投毒攻击的联邦学习方法及装置
CN117313898B (zh) * 2023-11-03 2024-06-14 湖南恒茂信息技术有限公司 基于关键周期识别的联邦学习恶意模型更新检测方法
CN117875455A (zh) * 2024-03-08 2024-04-12 南京信息工程大学 一种基于数据增强的联邦学习数据投毒防御方法
CN117896187B (zh) * 2024-03-15 2024-07-05 东北大学 一种基于多目标优化的联邦学习多攻击者后门攻击方法
CN118094566B (zh) * 2024-03-28 2024-09-17 南开大学 基于历史信息的无目标模型中毒攻击动态联合学习防御框架
CN118332547B (zh) * 2024-04-16 2024-10-18 大连理工大学 基于异步联邦学习模型的防御医疗图像后门攻击的方法
CN118250098B (zh) * 2024-05-27 2024-08-09 泉城省实验室 基于分组聚合的抵御恶意客户端投毒攻击的方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3033014A1 (en) * 2018-02-07 2019-08-07 Royal Bank Of Canada Robust pruned neural networks via adversarial training
CN112528281A (zh) * 2020-12-11 2021-03-19 浙江工业大学 联邦学习的中毒攻击检测方法、装置及设备
CN113297572A (zh) * 2021-06-03 2021-08-24 浙江工业大学 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置
CN113411329A (zh) * 2021-06-17 2021-09-17 浙江工业大学 基于dagmm的联邦学习后门攻击防御方法
WO2021196701A1 (zh) * 2020-03-31 2021-10-07 深圳前海微众银行股份有限公司 一种应对攻击的方法及联邦学习装置
CN113553582A (zh) * 2021-07-14 2021-10-26 中国人民解放军战略支援部队信息工程大学 恶意攻击检测方法、装置及电子设备
CN113792331A (zh) * 2021-08-30 2021-12-14 北京理工大学 一种基于对抗性干扰的联邦学习成员推理攻击防御方法
CN113919513A (zh) * 2021-10-22 2022-01-11 全球能源互联网研究院有限公司南京分公司 一种联邦学习安全聚合方法、装置及电子设备
CN113965359A (zh) * 2021-09-29 2022-01-21 哈尔滨工业大学（深圳） 面向联邦学习数据投毒攻击的防御方法及装置
KR20220025455A (ko) * 2020-08-24 2022-03-03 주식회사 케이티 적대적 공격에 대한 방어 방법 및 그 장치
CN114330750A (zh) * 2021-12-31 2022-04-12 西南民族大学 一种联邦学习毒化攻击检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733292B2 (en) * 2018-07-10 2020-08-04 International Business Machines Corporation Defending against model inversion attacks on neural networks

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3033014A1 (en) * 2018-02-07 2019-08-07 Royal Bank Of Canada Robust pruned neural networks via adversarial training
WO2021196701A1 (zh) * 2020-03-31 2021-10-07 深圳前海微众银行股份有限公司 一种应对攻击的方法及联邦学习装置
KR20220025455A (ko) * 2020-08-24 2022-03-03 주식회사 케이티 적대적 공격에 대한 방어 방법 및 그 장치
CN112528281A (zh) * 2020-12-11 2021-03-19 浙江工业大学 联邦学习的中毒攻击检测方法、装置及设备
CN113297572A (zh) * 2021-06-03 2021-08-24 浙江工业大学 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置
CN113411329A (zh) * 2021-06-17 2021-09-17 浙江工业大学 基于dagmm的联邦学习后门攻击防御方法
CN113553582A (zh) * 2021-07-14 2021-10-26 中国人民解放军战略支援部队信息工程大学 恶意攻击检测方法、装置及电子设备
CN113792331A (zh) * 2021-08-30 2021-12-14 北京理工大学 一种基于对抗性干扰的联邦学习成员推理攻击防御方法
CN113965359A (zh) * 2021-09-29 2022-01-21 哈尔滨工业大学（深圳） 面向联邦学习数据投毒攻击的防御方法及装置
CN113919513A (zh) * 2021-10-22 2022-01-11 全球能源互联网研究院有限公司南京分公司 一种联邦学习安全聚合方法、装置及电子设备
CN114330750A (zh) * 2021-12-31 2022-04-12 西南民族大学 一种联邦学习毒化攻击检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Analyzing User-Level Privacy Attack Against Federated Learning;Mengkai Song; Zhibo Wang; Zhifei Zhang; Yang Song; Qian Wang; Ju Ren; Hairong Qi;《IEEE Journal on Selected Areas in Communications》;20200605;第第38卷卷(第第10期期);2430 - 2444页 *
Junxiao Wang ; Song Guo ; Xin Xie ; Heng Qi.Protect Privacy from Gradient Leakage Attack in Federated Learning.《IEEE INFOCOM 2022 - IEEE Conference on Computer Communications》.2022,580-589页. *
李晓豪 ; 郑海斌 ; 陈晋音 ; 谢欣怡 ; 张龙源.面向联邦学习的神经通路中毒攻击方法.《小型微型计算机系统》:.2022,1578-1585页. *
面向联邦学习的投毒与隐私推理攻击及其防御方法研究;任远歌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220215;I138-25页 *

Also Published As

Publication number Publication date
CN115333825A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN115333825B (zh) 针对联邦学习神经元梯度攻击的防御方法
CN111460443A (zh) 一种联邦学习中数据操纵攻击的安全防御方法
CN114186237A (zh) 一种基于真值发现的鲁棒性联邦学习模型聚合方法
CN114757351B (zh) 一种深度强化学习模型对抗攻击的防御方法
CN111625820A (zh) 一种基于面向AIoT安全的联邦防御方法
CN116029369A (zh) 一种基于联邦学习的后门攻击防御方法及系统
CN114764499A (zh) 一种面向联邦学习的对抗样本投毒攻击方法
Hahn et al. Emergent escape-based flocking behavior using multi-agent reinforcement learning
CN112560059B (zh) 一种基于神经通路特征提取的垂直联邦下模型窃取防御方法
CN112597993A (zh) 基于补丁检测的对抗防御模型训练方法
CN117454381B (zh) 一种非独立同分布数据下面向联邦学习的渐进性攻击方法
CN116739114B (zh) 部署在服务器上对抗模型投毒攻击的联邦学习方法及装置
CN115081002B (zh) 用于去中心化联邦学习的聚合服务器选择方法
CN107517200A (zh) 一种Web服务器的恶意爬虫防御策略选择方法
CN117540376A (zh) 一种支持抗投毒和推理攻击的联邦学习方法及系统
CN117875455A (zh) 一种基于数据增强的联邦学习数据投毒防御方法
CN111881439A (zh) 一种基于对抗性正则化的识别模型设计方法
CN112528281B (zh) 联邦学习的中毒攻击检测方法、装置及设备
CN117521777A (zh) 一种支持隐私保护个性化的可信联邦图神经网络框架构建方法
CN116187432A (zh) 基于生成对抗网络的non-IID联邦学习模型后门鲁棒性评估方法
CN116050546A (zh) 一种数据非独立同分布下的拜占庭鲁棒的联邦学习方法
CN116502708A (zh) 基于性能评估和委员会投票的抗拜占庭攻击的dfl方法
CN116028933A (zh) 一种基于特征训练的联邦学习中毒防御方法和装置
CN114239049A (zh) 基于参数压缩的面向联邦学习隐私推理攻击的防御方法
CN111988184B (zh) 一种基于态势感知的广播风暴检测与处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant