CN115456192A - 一种联邦学习模型投毒防御方法、终端及存储介质 - Google Patents

一种联邦学习模型投毒防御方法、终端及存储介质 Download PDF

Info

Publication number
CN115456192A
CN115456192A CN202211000977.4A CN202211000977A CN115456192A CN 115456192 A CN115456192 A CN 115456192A CN 202211000977 A CN202211000977 A CN 202211000977A CN 115456192 A CN115456192 A CN 115456192A
Authority
CN
China
Prior art keywords
model
increment
local
global
local model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211000977.4A
Other languages
English (en)
Inventor
刘洋
刘亲博
田宇琛
王轩
张伟哲
漆舒汉
蒋琳
吴宇琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202211000977.4A priority Critical patent/CN115456192A/zh
Publication of CN115456192A publication Critical patent/CN115456192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种联邦学习模型投毒防御方法、终端及存储介质，方法包括：根据各局部模型增量的范数及对应的数据集选择匹配的裁剪阈值，并根据选择的裁剪阈值对对应的局部模型增量进行自适应裁剪；根据裁剪后的局部模型增量确定当前全局模型增量的符号特征，并根据确定的当前全局模型增量的符号特征计算裁剪后的局部模型对应的选择系数；根据计算的选择系数将各裁剪后的局部模型进行选择性聚合，得到全局模型；本发明可以有效地防御标签翻转缩放攻击、符号翻转攻击、最小化最大距离攻击等模型投毒攻击手段，能够帮助中心服务器在不收集客户端原始数据、不加剧客户端本地计算量的情况下完成对本地模型的聚合，增强联邦学习框架的可靠性和鲁棒性。

Description

一种联邦学习模型投毒防御方法、终端及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及的是一种联邦学习模型投毒防御方法、终端及存储介质。
背景技术
人工智能技术无疑拥有巨大的潜力和价值，有望给各行各业、甚至人类社会的发展带来巨大变革。但是目前各个企业或机构提供的服务和数据大多是相互独立的，每个企业或机构所拥有的数据量级可能并不足以训练出一个实用的人工智能模型。有效的数据往往以“数据孤岛”的形式分散在各个企业或机构之间，数据之间难以互通，价值难以进一步挖掘。与此同时，社会各界对数据隐私和安全的担忧为数据的充分利用带来了更大挑战。
联邦学习为此提供了一种可行的解决方案，它的架构通常由一个中心服务器和若干个客户端组成，每个客户端对本地数据具有绝对自治权，中心服务器无权访问或调度这些数据。当客户端们共同训练一个全局模型时，这些客户端只会与服务器进行参数交互。然而，由于传统联邦学习框架的特殊性和复杂性，恶意攻击者可以通过模型投毒攻击使得模型训练走向错误方向。特别地，在联邦学习的默认架构下，中心服务器对客户端难以检测和监管。这些特性赋予了攻击者更强大的能力，恶意攻击者的存在更加难以被察觉，模型投毒攻击更容易达成。
联邦学习作为一种隐私计算框架，有望成为下一代人工智能协作网络架构的基础。在实际应用中，联邦学习框架自身的安全性也尤为重要。然而，目前针对模型投毒攻击的防御方法都面向传统的集中式机器学习或者分布式学习而提出，在联邦学习的环境下会出现无法适用、效果有限等问题。例如，在分布式学习的框架中可以设计一些检测和过滤恶意模型的机制，从而抵御潜在的攻击者。但是联邦学习环境下的数据通常是非独立同分布的，容易让这些机制出现误判或漏判的情况。近年来，最常见的方法是设计拜占庭鲁棒聚合器，根据收集到的所有本地模型估计一个具有拜占庭弹性的全局模型。但分布式学习中客户端上传的是梯度，而联邦学习中客户端上传的是模型，这给予了恶意模型相对更大的隐藏空间。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种联邦学习模型投毒防御方法、终端及存储介质，以解决传统的防御方法难以对恶意模型进行检测的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种联邦学习模型投毒防御方法，包括：
根据各局部模型增量的范数及对应的数据集选择匹配的裁剪阈值，并根据选择的裁剪阈值对对应的局部模型增量进行自适应裁剪；
根据裁剪后的局部模型增量确定当前全局模型增量的符号特征，并根据确定的当前全局模型增量的符号特征计算裁剪后的局部模型对应的选择系数；
根据计算的选择系数将各裁剪后的局部模型进行选择性聚合，得到全局模型。
在一种实现方式中，所述根据各局部模型增量的范数及对应的数据集选择匹配的裁剪阈值，并根据选择的裁剪阈值对对应的局部模型增量进行自适应裁剪，包括：
根据训练后的各局部模型及对应的数据集，获取各局部模型的训练模型增量；
根据获取的训练模型增量自适应生成裁剪阈值，并根据所述裁剪阈值对对应的局部模型增量进行自适应裁剪。
在一种实现方式中，所述根据获取的训练模型增量自适应生成裁剪阈值，并根据所述裁剪阈值对对应的局部模型增量进行自适应裁剪，包括：
对获取的训练模型增量的二范数取中位数，并根据所取的中位数自适应生成裁剪阈值；
对各局部模型的训练模型增量按预设算法进行范数裁剪，以限制各局部模型对全局模型的贡献程度。
在一种实现方式中，所述根据裁剪后的局部模型增量确定当前全局模型增量的符号特征，并根据确定的当前全局模型增量的符号特征计算裁剪后的局部模型对应的选择系数，包括：
根据所述裁剪后的局部模型增量确定对应客户端的当前模型增量；
根据所述当前模型增量提取各维度参数值的符号信息；
根据提取的符号信息及期望的全局增量的符号特征，计算所述裁剪后的局部模型对应的选择系数。
在一种实现方式中，所述根据当前模型增量提取各维度参数值的符号信息，包括：
定义符号函数；
将所述当前模型增量作为输入参数输入至所述符号函数中；
根据所述符号函数提取各维度参数值的符号信息。
在一种实现方式中，所述根据提取的符号信息及期望的全局增量的符号特征，计算裁剪后的局部模型对应的选择系数，包括：
定义所述期望的全局增量的符号特征；
根据所述全局增量的符号特征及所述提取的符号信息，计算所述当前模型增量与所述全局增量的符号一致性参数比例，得到所述裁剪后的局部模型对应的选择系数。
在一种实现方式中，所述根据计算的选择系数将各裁剪后的局部模型进行选择性聚合，得到全局模型，包括：
将所述选择系数作为各裁剪后的局部模型的聚合概率；
根据所述聚合概率及聚合算法各裁剪后的局部模型进行选择性聚合。
在一种实现方式中，所述根据所述聚合概率及聚合算法各裁剪后的局部模型进行选择性聚合，包括：
根据所述聚合概率判断对应的裁剪后的局部模型增量是否满足聚合条件；
若为是，则选择满足条件的裁剪后的局部模型增量；
根据选择的裁剪后的局部模型增量及所述聚合算法进行选择性聚合，得到所述全局模型。
第二方面，本发明还提供一种终端，包括：处理器以及存储器，所述存储器存储有联邦学习模型投毒防御程序，所述联邦学习模型投毒防御程序被所述处理器执行时用于实现如第一方面所述的联邦学习模型投毒防御方法的操作。
第三方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有联邦学习模型投毒防御程序，所述联邦学习模型投毒防御程序被处理器执行时用于实现如第一方面所述的联邦学习模型投毒防御方法的操作。
本发明采用上述技术方案具有以下效果：
本发明利用了以破坏恶意模型特征为思路的模型投毒防御策略，避免了对范数和余弦相似度检测的局限性；并基于选择性聚合的防御方法防御效果更加稳定，对标签翻转缩放攻击、符号翻转攻击、最小化最大距离攻击等多种模型投毒攻击方式都有良好的抵御作用，为抵御模型投毒攻击提供了另一种有效的思路；以及利用自适应范数裁剪方法对各个客户端的局部模型进行了剪切，能够动态地限制恶意模型对中心服务器全局模型的影响力；本发明以局部模型更新增量的符号为依据，实时考察局部模型的更新增量和中心服务器所期望的全局更新增量之间的一致性，从而对模型参数进行选择性聚合，进一步增强了联邦学习框架的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中联邦学习模型投毒防御方法的流程图。
图2是本发明的一种实现方式中基于选择性聚合的联邦学习模型投毒防御的基本框架图。
图3是本发明的一种实现方式中基于选择性聚合的联邦学习模型投毒防御的算法示意图。
图4是本发明的一种实现方式中终端的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
联邦学习技术能够在避免收集原始数据的前提下，联合利用多个参与方的数据来建立机器学习模型。这种机制很自然地解决了数据收集、处理敏感数据等问题，能够保护用户的隐私，有望桥接数据孤岛。然而，恶意攻击者可以通过篡改本地模型的学习结果来影响全局模型的性能，导致模型错误地决策或者危害数据隐私。这种模型投毒攻击对当前的联邦学习架构具有重大威胁，因此，防御联邦学习中的模型投毒攻击从而增强联邦学习的鲁棒性具有重大意义。
针对上述技术问题，本发明实施例提供一种联邦学习模型投毒防御方法，利用以消除恶意特征为主的扰动机制，使得联邦学习架构中的中心服务器可以在聚合各客户端本地模型的阶段破坏恶意模型的结构，降低恶意模型对全局模型的负面影响。中心服务器可以在保护训练数据的同时，可靠、鲁棒地完成对全局模型的训练。
本发明实施例有别于此前传统的防御方式，可以有效地防御标签翻转缩放攻击、符号翻转攻击、最小化最大距离攻击等多种针对联邦学习的模型投毒攻击手段。是一种面向客户端-服务器架构的联邦学习通用聚合方法，能够帮助中心服务器在不收集客户端原始数据、不加剧客户端本地计算量的情况下完成对本地模型的聚合，旨在增强联邦学习框架的可靠性和鲁棒性。
如图1所示，本发明实施例提供一种联邦学习模型投毒防御方法，包括以下步骤：
步骤S100，根据各局部模型增量的范数及对应的数据集选择匹配的裁剪阈值，并根据选择的裁剪阈值对对应的局部模型增量进行自适应裁剪。
在本实施例中，所述联邦学习模型投毒防御方法应用于终端中，所述终端包括但不限于：计算机以及移动终端等设备。
在本实施例中，要解决的技术问题在于：首先以最小化最大距离这类攻击方法为例，来说明目前防御方法抵御模型投毒攻击的困难性，以及本发明要解决的技术难点。目前通用的防御方法大多数是基于对模型参数的二范数及余弦相似度进行检测，可能绕过这种传统防御方法的恶意模型Wf往往会满足如下两个条件：
1、二范数上的隐藏性。恶意局部模型Wf与正常全局模型
Figure BDA0003807386210000061
之间的欧氏距离比其它正确的局部模型Wi到
Figure BDA0003807386210000062
的距离最大值更小，即存在一个正确局部模型Wi，它到
Figure BDA0003807386210000063
的欧氏距离比Wf到
Figure BDA0003807386210000064
的欧氏距离更大。形式化描述如公式(1)所示：
Figure BDA0003807386210000065
2、余弦相似度上的隐藏性。如果Wf与Wi之间的夹角比Wi和
Figure BDA0003807386210000066
之间夹角更小，即存在Wi，它与
Figure BDA0003807386210000067
的余弦夹角比Wf和
Figure BDA0003807386210000068
的余弦夹角更大，则认为该局部模型在余弦相似度上可以隐藏，形式化描述如公式(2)所示：
Figure BDA0003807386210000069
由最小化最大距离攻击的实施方式可知，恶意攻击者可以根据已有信息，计算出一个全局模型的估计值
Figure BDA00038073862100000610
来逼近
Figure BDA00038073862100000611
在此基础上，攻击者通过对恶意模型参数的缩放，能够使Wf的设计同时满足公式(1)和公式(2)，这表明恶意模型既有可能躲避对模型范数的检测，也有可能躲避对模型余弦相似度的检测。由于攻击者在模型投毒威胁模型下的能力更强，且攻击方式多样，利用传统的防御方法对恶意模型进行检测是非常困难的。
由于恶意攻击者能够针对性地构造恶意模型从而巧妙躲避常规的检测手段，因此，本发明实施例没有像传统的防御方法一样借助范数或者余弦相似度来检测和抵御恶意模型。本发明实施例的核心思想是考虑只选择各个客户端的一部分参数进行聚合，通过降低局部模型完整性的方式来破坏恶意模型的特征。在一般的分布式学习中，如果服务器仅仅使用各客户端梯度向量的符号去更新全局模型，最终也会使全局模型达到收敛。根据这个研究结果可知，模型更新的方向在更新模型时起着更重要的作用。自适应模型裁剪可以在二范数层面有效抑制恶意模型的效果，但不会改变模型增量ΔW的符号，所以本发明实施例以模型增量的符号作为参数选择标准，来完成对模型参数的选择性聚合。
具体地，在本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，获取训练后的各局部模型；
步骤S102，根据训练后的各局部模型及对应的数据集，获取各局部模型的训练模型增量；
步骤S103，根据获取的训练模型增量自适应生成裁剪阈值，并根据所述裁剪阈值对对应的局部模型增量进行自适应裁剪。
在本实施例中，基于选择性聚合的联邦学习模型投毒防御的基本框架如图2所示，本方法主要包括以下三大流程：
1.局部模型自适应裁剪；
2.选择系数β的计算；
3.局部模型参数选择性聚合。
在本实施例中，在局部模型自适应裁剪的过程中，考虑到攻击者可通过对局部模型参数进行缩放来增强攻击效果，中心服务器需要对局部模型进行范数裁剪，以限制局部模型对全局模型的贡献。由于联邦学习是将计算集中在客户端本地，通过ΔW来快速调整全局模型的，这样会降低通信开销并且加速模型收敛。所以，对模型裁剪过度会影响模型的收敛，降低最终的模型准确率。
具体地，在本实施例的一种实现方式中，步骤S103包括以下步骤：
步骤S103a，对获取的训练模型增量的二范数取中位数，并根据所取的中位数自适应生成裁剪阈值；
步骤S103b，对各局部模型的训练模型增量按预设算法进行范数裁剪，以限制各局部模型对全局模型的贡献程度。
在本实施例中，对于不同的模型和数据集，客户端i在训练过程中，模型增量ΔWi的平均二范数变化情况是不同的；对于同一模型和数据集，如果客户端数据分布情况不同，二范数变化情况也不同。因此，选择合适的裁剪阈值C变得很关键，阈值越小则对模型限制越好，但模型收敛可能会变慢；阈值越大则模型收敛更快，但存在无法抑制恶意信息的风险。在投毒攻防的背景下，阈值C的取值应该是自适应的。由于威胁模型中的攻击者数量通常占少数，本发明实施例采用公式(3)的方案，即对ΔWi的二范数取中位数，来自适应生成裁剪阈值。
C＝med(||ΔWi||∣i∈[k]})#(3)
随后，中心服务器对每个局部模型的更新增量按公式(4)进行范数裁剪，限制它们对全局模型的贡献程度。
Figure BDA0003807386210000081
本发明利用了以破坏恶意模型特征为思路的模型投毒防御策略，避免了对范数和余弦相似度检测的局限性，具体设计了一种新的基于选择性聚合的防御方法；利用自适应范数裁剪方法对各个客户端的局部模型进行了剪切，能够动态地限制恶意模型对中心服务器全局模型的影响力。
如图1所示，在本发明实施例的一种实现方式中，联邦学习模型投毒防御方法还包括以下步骤：
步骤S200，根据裁剪后的局部模型增量确定当前全局模型增量的符号特征，并根据确定的当前全局模型增量的符号特征计算裁剪后的局部模型对应的选择系数。
在本实施例中，在选择性聚合之前引入自适应的模型裁剪流程，可以显著降低攻击者通过参数缩放手段对攻击的增强效果。再以模型增量的符号作为依据，通过汉明距离从各客户端提交的本地模型中决定选择比例，对这些本地模型进行选择性的参数聚合，在最后的模型聚合阶段高效地破坏恶意模型参数的完整性，从而达到对模型投毒攻击的防御目的。
具体地，在本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，根据所述裁剪后的局部模型增量确定对应客户端的当前模型增量；
步骤S202，根据所述当前模型增量提取各维度参数值的符号信息；
步骤S203，根据提取的符号信息及期望的全局增量的符号特征，计算所述裁剪后的局部模型对应的选择系数。
在本实施例中，在选择系数β的计算过程中，利用客户端中裁剪后的局部模型的当前模型增量，提取各局部模型的符号特征，即提取各维度参数值的符号信息，根据符号信息及期望的全局增量的符号特征，确定各局部模型对应的选择系数，从而确定各局部模型对全局模型的贡献度。
具体地，在本实施例的一种实现方式中，步骤S202包括以下步骤：
步骤S202a，定义符号函数；
步骤S202b，将所述当前模型增量作为输入参数输入至所述符号函数中；
步骤S202c，根据所述符号函数提取各维度参数值的符号信息。
在本实施例中，经过局部模型自适应裁剪之后，得到各个客户端的模型增量
Figure BDA0003807386210000091
定义符号函数sign(·)，它接受模型增量作为参数，提取各维度参数值的符号信息，如果参数大于0，则对应返回值为+1，否则返回值为-1。最终的返回结果记作ΔWi sign＝sign(ΔWi c)，它和输入参数有相同的结构。定义全局模型增量的符号掩码Wmask，它表示正常情况下我们期望的全局增量的符号特征，由公式(5)进行计算。
Figure BDA0003807386210000092
最后通过公式(6)求出每个局部模型的选择系数βi。该βi反映了ΔWi和Wmask的符号一致的参数比例，其值越小说明ΔWi各参数的符号与估计值越一致。按维度异或的计算过程可以看做求ΔWi和Wmask的汉明距离。
Figure BDA0003807386210000093
具体地，在本实施例的一种实现方式中，步骤S203包括以下步骤：
步骤S203a，定义所述期望的全局增量的符号特征；
步骤S203b，根据所述全局增量的符号特征及所述提取的符号信息，计算所述当前模型增量与所述全局增量的符号一致性参数比例，得到所述裁剪后的局部模型对应的选择系数。
本实施例中基于选择性聚合的防御方法防御效果更加稳定，对标签翻转缩放攻击、符号翻转攻击、最小化最大距离攻击等多种模型投毒攻击方式都有良好的抵御作用，为抵御模型投毒攻击提供了另一种有效的思路；并且，以局部模型更新增量的符号为依据，实时考察局部模型的更新增量和中心服务器所期望的全局更新增量之间的一致性，从而对模型参数进行选择性聚合，进一步增强了联邦学习框架的安全性。
如图1所示，在本发明实施例的一种实现方式中，联邦学习模型投毒防御方法还包括以下步骤：
步骤S300，根据计算的选择系数将各裁剪后的局部模型进行选择性聚合，得到全局模型。
在本实施例中，关注联邦学习中抵御模型投毒攻击的防御方法来研究联邦学习框架的安全问题，以提高联邦学习框架的可靠性与鲁棒性。模型投毒攻击是联邦学习场景下特有的威胁模型，合理和有效的防御方法需要考虑到模型投毒攻击的隐蔽性、灵活性、复杂性等特点，具有针对性地设计防御机制。恶意客户端通过投毒手段设计的恶意模型往往会携带特定的恶意特征，选择性的聚合机制可以破坏这种恶意特征，从而实现对模型投毒攻击的防御效果。
具体地，在本实施例的一种实现方式中，步骤S300包括以下步骤：
步骤S301，将所述选择系数作为各裁剪后的局部模型的聚合概率；
步骤S302，根据所述聚合概率及聚合算法各裁剪后的局部模型进行选择性聚合。
在本实施例中，在局部模型参数选择性聚合的过程中，计算出每个局部模型的选择系数βi以后，以它作为概率来决定局部模型每一维的参数是否参与最终聚合，如公式(7)所示。
Figure BDA0003807386210000101
其中，r是每次生成的一个随机数，它服从0到1之间的均匀分布。*表示一个占位符号，表示当前位置的参数不参与最终的模型聚合计算。
具体地，在本实施例的一种实现方式中，步骤S302包括以下步骤：
步骤S302a，根据所述聚合概率判断对应的裁剪后的局部模型增量是否满足聚合条件；
步骤S302b，若为是，则选择满足条件的裁剪后的局部模型增量；
步骤S302c，根据选择的裁剪后的局部模型增量及所述聚合算法进行选择性聚合，得到所述全局模型。
在本实施例中，对选择出来的模型参数进行聚合，作为全局模型
Figure BDA0003807386210000102
如公式(8)所示。
Figure BDA0003807386210000103
综合上述三大流程，本发明所设计的基于选择性聚合的联邦学习模型投毒防御方法的算法如图3所示。
如下表所示，本实施例在FASHION-MNIST公共数据集上验证了不同的联邦学习聚合机制对于常见模型投毒攻击的防御效果。
Figure BDA0003807386210000104
Figure BDA0003807386210000111
其中，No Defense表示不设置任何防御，Krum、Median、TrimmedMean分别表示三种公认的常用防御方法，Selective表示本发明提出的基于选择性聚合的联邦学习模型投毒防御方法。No attack表示不设置模型投毒攻击的情况，Sign-flipping表示符号翻转攻击，Min-Max表示最小化最大距离攻击，Label-flipping+Scaling表示标签翻转缩放攻击。
从上表可见，对于符号翻转攻击，因为该攻击直接将模型更新整体进行反向，所以它会严重降低模型的准确率，以模型符号作为特征的Selective表现出了最佳的防御效果；对于最小化最大距离攻击，使用Krum防御方法后的模型准确率要比不使用防御方法的模型准确率更低，这说明这种攻击成功绕过了防御方法从而躲避了检测，Selective实现了最佳的防御；对于标签翻转缩放攻击，Krum取得了异常优越的防御，但它会带来非常严重的模型准确率损失，Selective依然能起到一定的防御效果。综合上述分析结果，Selective的防御效果更加均衡，对大多数攻击方法都有一定的抵御作用。此外，本发明设计的方法在没有模型投毒攻击的情况下可以提升全局模型的准确率。
本实施例通过上述技术方案达到以下技术效果：
本实施例利用了以破坏恶意模型特征为思路的模型投毒防御策略，避免了对范数和余弦相似度检测的局限性；并基于选择性聚合的防御方法防御效果更加稳定，对标签翻转缩放攻击、符号翻转攻击、最小化最大距离攻击等多种模型投毒攻击方式都有良好的抵御作用，为抵御模型投毒攻击提供了另一种有效的思路；以及利用自适应范数裁剪方法对各个客户端的局部模型进行了剪切，能够动态地限制恶意模型对中心服务器全局模型的影响力；本实施例以局部模型更新增量的符号为依据，实时考察局部模型的更新增量和中心服务器所期望的全局更新增量之间的一致性，从而对模型参数进行选择性聚合，进一步增强了联邦学习框架的安全性。
示例性设备
基于上述实施例，本发明还提供一种终端，包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，所述处理器用于提供计算和控制能力；所述存储器包括存储介质以及内存储器；所述存储介质存储有操作系统和计算机程序；所述内存储器为所述存储介质中的操作系统和计算机程序的运行提供环境；所述接口用于连接外部设备，例如，移动终端以及计算机等设备；所述显示屏用于显示相应的信息；所述通讯模块用于与云端服务器或移动终端进行通讯。
所述计算机程序被所述处理器执行时用以实现一种联邦学习模型投毒防御方法的操作。
本领域技术人员可以理解的是，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，所述存储器存储有联邦学习模型投毒防御程序，所述联邦学习模型投毒防御程序被所述处理器执行时用于实现如上所述的联邦学习模型投毒防御方法的操作。
在一个实施例中，提供了一种存储介质，其中，所述存储介质存储有联邦学习模型投毒防御程序，所述联邦学习模型投毒防御程序被所述处理器执行时用于实现如上所述的联邦学习模型投毒防御方法的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种联邦学习模型投毒防御方法、终端及存储介质，方法包括：根据各局部模型增量的范数及对应的数据集选择匹配的裁剪阈值，并根据选择的裁剪阈值对对应的局部模型增量进行自适应裁剪；根据裁剪后的局部模型增量确定当前全局模型增量的符号特征，并根据确定的当前全局模型增量的符号特征计算裁剪后的局部模型对应的选择系数；根据计算的选择系数将各裁剪后的局部模型进行选择性聚合，得到全局模型；本发明可以有效地防御标签翻转缩放攻击、符号翻转攻击、最小化最大距离攻击等多种针对联邦学习的模型投毒攻击手段，能够帮助中心服务器在不收集客户端原始数据、不加剧客户端本地计算量的情况下完成对本地模型的聚合，增强联邦学习框架的可靠性和鲁棒性。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种联邦学习模型投毒防御方法，其特征在于，包括：
根据各局部模型增量的范数及对应的数据集选择匹配的裁剪阈值，并根据选择的裁剪阈值对对应的局部模型增量进行自适应裁剪；
根据裁剪后的局部模型增量确定当前全局模型增量的符号特征，并根据确定的当前全局模型增量的符号特征计算裁剪后的局部模型对应的选择系数；
根据计算的选择系数将各裁剪后的局部模型进行选择性聚合，得到全局模型。
2.根据权利要求1所述的联邦学习模型投毒防御方法，其特征在于，所述根据各局部模型增量的范数及对应的数据集选择匹配的裁剪阈值，并根据选择的裁剪阈值对对应的局部模型增量进行自适应裁剪，包括：
根据训练后的各局部模型及对应的数据集，获取各局部模型的训练模型增量；
根据获取的训练模型增量自适应生成裁剪阈值，并根据所述裁剪阈值对对应的局部模型增量进行自适应裁剪。
3.根据权利要求2所述的联邦学习模型投毒防御方法，其特征在于，所述根据获取的训练模型增量自适应生成裁剪阈值，并根据所述裁剪阈值对对应的局部模型增量进行自适应裁剪，包括：
对获取的训练模型增量的二范数取中位数，并根据所取的中位数自适应生成裁剪阈值；
对各局部模型的训练模型增量按预设算法进行范数裁剪，以限制各局部模型对全局模型的贡献程度。
4.根据权利要求1所述的联邦学习模型投毒防御方法，其特征在于，所述根据裁剪后的局部模型增量确定当前全局模型增量的符号特征，并根据确定的当前全局模型增量的符号特征计算裁剪后的局部模型对应的选择系数，包括：
根据所述裁剪后的局部模型增量确定对应客户端的当前模型增量；
根据所述当前模型增量提取各维度参数值的符号信息；
根据提取的符号信息及期望的全局增量的符号特征，计算所述裁剪后的局部模型对应的选择系数。
5.根据权利要求4所述的联邦学习模型投毒防御方法，其特征在于，所述根据当前模型增量提取各维度参数值的符号信息，包括：
定义符号函数；
将所述当前模型增量作为输入参数输入至所述符号函数中；
根据所述符号函数提取各维度参数值的符号信息。
6.根据权利要求4所述的联邦学习模型投毒防御方法，其特征在于，所述根据提取的符号信息及期望的全局增量的符号特征，计算裁剪后的局部模型对应的选择系数，包括：
定义所述期望的全局增量的符号特征；
根据所述全局增量的符号特征及所述提取的符号信息，计算所述当前模型增量与所述全局增量的符号一致性参数比例，得到所述裁剪后的局部模型对应的选择系数。
7.根据权利要求1所述的联邦学习模型投毒防御方法，其特征在于，所述根据计算的选择系数将各裁剪后的局部模型进行选择性聚合，得到全局模型，包括：
将所述选择系数作为各裁剪后的局部模型的聚合概率；
根据所述聚合概率及聚合算法各裁剪后的局部模型进行选择性聚合。
8.根据权利要求7所述的联邦学习模型投毒防御方法，其特征在于，所述根据所述聚合概率及聚合算法各裁剪后的局部模型进行选择性聚合，包括：
根据所述聚合概率判断对应的裁剪后的局部模型增量是否满足聚合条件；
若为是，则选择满足条件的裁剪后的局部模型增量；
根据选择的裁剪后的局部模型增量及所述聚合算法进行选择性聚合，得到所述全局模型。
9.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有联邦学习模型投毒防御程序，所述联邦学习模型投毒防御程序被所述处理器执行时用于实现如权利要求1-8中任意一项所述的联邦学习模型投毒防御方法的操作。
10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质存储有联邦学习模型投毒防御程序，所述联邦学习模型投毒防御程序被处理器执行时用于实现如权利要求1-8中任意一项所述的联邦学习模型投毒防御方法的操作。
CN202211000977.4A 2022-08-19 2022-08-19 一种联邦学习模型投毒防御方法、终端及存储介质 Pending CN115456192A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211000977.4A CN115456192A (zh) 2022-08-19 2022-08-19 一种联邦学习模型投毒防御方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211000977.4A CN115456192A (zh) 2022-08-19 2022-08-19 一种联邦学习模型投毒防御方法、终端及存储介质

Publications (1)

Publication Number Publication Date
CN115456192A true CN115456192A (zh) 2022-12-09

Family

ID=84298781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211000977.4A Pending CN115456192A (zh) 2022-08-19 2022-08-19 一种联邦学习模型投毒防御方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN115456192A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432781A (zh) * 2023-04-23 2023-07-14 中国工商银行股份有限公司 联邦学习防御方法、装置、计算机设备和存储介质
CN116739114A (zh) * 2023-08-09 2023-09-12 山东省计算中心（国家超级计算济南中心） 一种对抗模型投毒攻击的鲁棒联邦学习聚合方法及装置
CN117875455A (zh) * 2024-03-08 2024-04-12 南京信息工程大学 一种基于数据增强的联邦学习数据投毒防御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116432781A (zh) * 2023-04-23 2023-07-14 中国工商银行股份有限公司 联邦学习防御方法、装置、计算机设备和存储介质
CN116739114A (zh) * 2023-08-09 2023-09-12 山东省计算中心（国家超级计算济南中心） 一种对抗模型投毒攻击的鲁棒联邦学习聚合方法及装置
CN116739114B (zh) * 2023-08-09 2023-12-19 山东省计算中心（国家超级计算济南中心） 部署在服务器上对抗模型投毒攻击的联邦学习方法及装置
CN117875455A (zh) * 2024-03-08 2024-04-12 南京信息工程大学 一种基于数据增强的联邦学习数据投毒防御方法

Similar Documents

Publication Publication Date Title
US11522873B2 (en) Detecting network attacks
CN115456192A (zh) 一种联邦学习模型投毒防御方法、终端及存储介质
Yan et al. PPCL: Privacy-preserving collaborative learning for mitigating indirect information leakage
Alghanam et al. An improved PIO feature selection algorithm for IoT network intrusion detection system based on ensemble learning
Xu et al. Hierarchical bidirectional RNN for safety-enhanced B5G heterogeneous networks
Li et al. LNNLS‐KH: A Feature Selection Method for Network Intrusion Detection
Xia et al. Poisoning attacks in federated learning: A survey
Hou et al. Mitigating the backdoor attack by federated filters for industrial IoT applications
Lv et al. Secure deep learning in defense in deep-learning-as-a-service computing systems in digital twins
CN112968872B (zh) 基于自然语言处理的恶意流量检测方法、系统、终端
CN111475838A (zh) 基于深度神经网络的图数据匿名方法、装置、存储介质
Tao et al. An efficient method for network security situation assessment
CN111783085A (zh) 一种对抗样本攻击的防御方法、装置及电子设备
CN115907029A (zh) 面向联邦学习投毒攻击的防御方法及系统
Mahalaxmi et al. Data Analysis with Blockchain Technology: A Review
Jia et al. Improving fast adversarial training with prior-guided knowledge
Yang et al. Dependable federated learning for IoT intrusion detection against poisoning attacks
Cao et al. SRFL: A Secure & Robust Federated Learning framework for IoT with trusted execution environments
Zheng et al. WMDefense: Using watermark to defense Byzantine attacks in federated learning
Liu et al. Fishing for Fraudsters: Uncovering Ethereum Phishing Gangs With Blockchain Data
CN117424754A (zh) 针对集群联邦学习攻击的防御方法、终端及存储介质
Löbner et al. Enhancing privacy in federated learning with local differential privacy for email classification
Wang et al. An intrusion detection algorithm based on joint symmetric uncertainty and hyperparameter optimized fusion neural network
Xu et al. BASS: A Blockchain-Based Asynchronous SignSGD Architecture for Efficient and Secure Federated Learning
He et al. Backdoor Attack Against Split Neural Network-Based Vertical Federated Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination