CN115333825A - 针对联邦学习神经元梯度攻击的防御方法 - Google Patents

Abstract

本发明公开了一种针对联邦学习神经元梯度攻击的防御方法，基于强化学习的联邦系统偏见中毒防御，以保护模型免受梯度中毒攻击，可以应用于水平联邦学习。本发明方法在服务器端记录5个回合的参与者上传的梯度信息，统计神经元参数的变化趋势，计算每个用户每个神经元参数变化趋势，与其他用户该神经元参数变化趋势的Jaccard相似度，查找企图进行梯度攻击的恶意用户，一旦确定了恶意客户端，服务器将从记录的5个回合的梯度信息中剔除恶意用户，重新聚合生成新的全局模型，在保证联邦学习正常进行的情况下，提高学习系统的安全鲁棒性。本发明能够检测哪一个是攻击者操控的客户端，并且通过模型回档的方式避免整个联邦学习系统遭到毒害。

Description

针对联邦学习神经元梯度攻击的防御方法

技术领域

本发明属于面向联邦学习的防御领域，尤其涉及一种针对联邦学习神经元梯度攻击的防御方法。

背景技术

联邦学习是近年来人工智能备受关注的方向之一，随着联邦学习的快速发展和应用，它能够以协作的方式在数千名参与者中训练深度学习模型。联邦学习的主要目的是在本地化数据集上建立联合机器学习模型，同时提供隐私保证，这对于许多新兴场景来说是一种有吸引力的技术，例如边缘计算和众包系统。不同于其他集中式的深度学习，联邦学习需要多个分布式学习者共同学习，学习过程由中央服务器协调。在整个过程中，客户端的数据只保存在本地，只有模型参数通过参数服务器在客户端之间进行通信。与集中式深度学习不同，联邦学习只需要用户上传本地训练的模型生成的梯度，服务器端的全局模型将与本地客户端模型共享相同的结构。联邦学习用户之间的本地数据集不完全相同。对于每次迭代，用户将从服务器端下载全局模型的参数，然后通过每个客户端的本地数据集训练模型，并将训练好的模型梯度等参数重新上传到服务器，服务器收集到所有客户端发送的梯度信息，通过联邦平均算法聚合新的全局模型。理论上全局模型比使用任何单个客户端的数据训练的模型具有更好的性能。因此联邦全局模型与每个客户端都有很高的相关性。

然而联邦学习系统容易受到恶意客户端的攻击。中央服务器无法访问客户端的数据，因此无法验证来自客户端的模型更新，尤其是当系统增加了安全聚合协议以进一步保护客户端的隐私时。实际上，恶意客户端可以向服务器发送任何更新，如果没有有效的保护来识别对神经网络学习权重的恶意更新，服务器很容易受到损害。

恶意客户端发送恶意模型到服务器是联邦学习中最常见的攻击之一，攻击者可以修改其本地模型的个别神经元梯度，提升模型对特定属性的偏见。这些神经元与某些敏感属性具有很强的相关性，在客户端修改这些神经元发送到联邦学习系统参与聚合后，联邦学习系统的全局模型将会受到偏见中毒。由于服务器端无法访问客户端的数据，因此很难分辨恶意的模型更新。特别的，最近出现了一种基于修改恶意客户端某个神经元的中毒攻击：攻击者潜伏在联邦学习客户端中，正常参与联邦训练，而在上传梯度更新到服务器的过程中，篡改个别神经元的梯度更新，以达到攻击的目的，在经典联邦学习场景下，如果此时采用联邦平均聚合，攻击者在几轮联邦学习后就能使全局模型中毒，相比于其他攻击方法，这种梯度投毒更加隐蔽。

发明内容

本发明的目的在于针对现有技术的不足，提供一种针对联邦学习神经元梯度攻击的防御方法。

本发明的目的是通过以下技术方案来实现的：一种针对联邦学习神经元梯度攻击的防御方法，包括：

(1)服务器调用全局模型，分发给各个客户端；

(2)客户端接收服务器下发的全局模型，并使用本地数据对全局模型进行训练，得到客户端梯度更新；

(3)客户端将梯度更新发送至服务器，服务器接收梯度更新；为每个客户端创建一个梯度存储器，存储设定轮数的客户端所上传的梯度信息，同时创建神经元梯度变化向量

记录客户端i第a个神经元第b个参数的变化；i＝1～N，a＝1～A，b＝1～B；每次当前联邦学习回合数t达到设定轮数的倍数时，根据客户端梯度向量之间的广义Jaccard相似度，判断是否存在攻击者并找到攻击者客户端，一旦发现攻击者的存在，最近设定轮数的联邦学习将被作废，并重新聚合一个全局模型，发放到客户端；

(4)重复步骤(2)～(3)，直至联邦学习结束。

进一步地，步骤(1)包括：

联邦学习的训练目标：

其中，G(w)表示全局模型，w表示模型参数，R^d表示所有模型参数集合；N代表存在N个参与方，分别处理N个本地模型L_i(w)，每一方基于私有数据集

进行训练，其中，数据集i样本数量a_i＝|D_i|，

表示数据集i第j个数据样本以及相应的标签；

联邦学习的目标是获得一个全局模型，该模型对来自N方的分布式训练结果进行聚合；具体来说，在第t轮，中央服务器将当前共享模型G^t发送给N个客户端，客户端i通过使用自己的数据集D_i和学习率lr，运行本地轮次的优化算法，以获得新的局部模型

然后，客户端将模型更新

-G^t发送到中央服务器，中央服务器将以其自身的学习率η对所有更新进行平均，以生成新的全局模型G^t+1：

进一步地，步骤(2)包括：

对于良性客户端来说，联邦学习参与者会在使用本地数据对服务器下发的全局模型进行正常训练，表示为：

其中，

为数据样本，

表示样本对应的样本标签；函数P为对应的训练优化函数，通过对数据的学习，可以得到当前轮t客户端i从数据中获得的模型梯度更新w_i；

对于攻击者客户端而言，在正常训练本地模型之外，在梯度更新上传阶段，攻击者会篡改梯度更新，具体为：

其中，

表示攻击者的恶意篡改梯度；

与w_i具有相同的网络结构，

中非攻击目标的神经元参数值都为0，目标神经元参数值随着攻击者的攻击目的变化，得到中毒客户端梯度

进一步地，步骤(3)包括：

(3.1)如果当前联邦学习回合数t为设定轮数的倍数，将应用神经元参数中毒防御机制进行聚合；包括：

(3.1.1)计算所有联邦学习参与者相同梯度变化向量间的广义Jaccard相似度

危险系数Dr_i、攻击者可能性Att_i；

代表客户端i与客户端i’相同梯度变化向量之间的相似度，i＝1～N，i’＝1～N，i≠i’；

(3.1.2)判断是否存在攻击者；

存在Att_i大于攻击者可能性阈值时，服务器将该客户端i标记为攻击者，启动模型保护策略，并舍弃当前全局模型，为安全起见，从梯度存储器中调取最近设定轮数的联邦学习第一次接收到的客户端上传的梯度更新，其中不包括被标记为恶意客户端的梯度，重新聚合一个全局模型，并发放到客户端；

Att_i均小于等于攻击者可能性阈值时，不存在攻击者，直接执行步骤(3.2.2)；

(3.2)如果当前联邦学习回合数t不为设定轮数的倍数，进行联邦平均聚合；服务器聚合所有客户端的梯度更新得到全局模型；

(3.2.1)保存当前客户端梯度更新到梯度存储器；

(3.2.2)执行联邦平均聚合，获得新的全局模型，并发放到客户端。

进一步地，步骤(3.1.1)中，广义Jaccard相似度的，数学表达为：

式中，相似度JA是一个介于0到1之间的数，越接近1，说明相似度越高，反之相似度越低。

进一步地，步骤(3.1.1)中，危险系数Dr_i越高，代表该客户端越有可能是攻击者；

其中，函数1表示若满足条件，则返回值为1，若不满足条件则返回值为0。

进一步地，步骤(3.1.1)中，将危险系数Dr_i换算为攻击者可能性Att_i：

本发明的有益效果如下：

(1)本发明在联邦学习过程中及时分辨潜在攻击者，防止全局模型被毒害；

(2)本发明提高了联邦学习系统的安全鲁棒性。

附图说明

图1为本发明针对联邦学习神经元梯度攻击的防御方法的示意图。

图2为本发明针对联邦学习神经元梯度攻击的防御方法的具体流程图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细描述。

目前，联邦学习的应用领域越来越广泛，但随之而来的是多种不同的损害模型性能问题。例如，恶意客户端通过在每轮联邦学习中，修改上传到服务器的个别神经元的梯度，试图在几轮联邦学习后，操控联邦学习全局模型特定神经元的参数，达到模型投毒的目的，使联邦学习模型在特定任务上分类出错。

首先本发明先对最近出现的针对联邦学习的神经元梯度攻击进行深入的研究。针对神经元的梯度攻击是联邦学习所特有的，这是由于以下三个原因造成的：

1)联邦学习系统的参与者众多，服务器难以分辨恶意攻击者；

2)由于联邦学习的隐私保护条例，参与者的本地数据和训练过程对服务器是不可见的，因此无法验证某个参与者更新的真实性；

3)由于联邦学习的固有特性，服务器的全局模型结构和所有客户端的模型结构是统一的。

另外一个已经被证实的问题是在深度学习中，通过修改深度学习模型特定神经元的参数值，可以影响深度模型的分类性能、鲁棒性、公平性，甚至能够植入后门，因此联邦学习成为了针对神经元的梯度攻击者最喜爱的温床。作为发动梯度攻击的恶意客户端，他们在联邦学习的初始阶段就获得了本次联邦学习的模型结构，进而攻击者通过操控训练数据和模型等方法就能确定攻击者的攻击目标，即需要修改的目标神经元参数和数值；攻击者下一步要做的是设法使联邦学习全局模型的目标神经元参数值从正常值偏离到攻击者的目标值，本发明考虑攻击者采取最隐蔽的攻击方法：攻击者控制联邦学习恶意客户端适应本地数据正常训练模型，在客户端上传模型阶段，修改目标神经元参数，并且为了增加隐蔽性，攻击者并不会在一次联邦学习过程中大幅修改目标神经元参数值，而是将这一过程分散在多轮联邦学习过程中。

本发明针对水平联邦学习个别神经元参数的投毒攻击；这种攻击不同于数据投毒攻击，攻击者使用正常的数据训练模型，但是在上传梯度更新时，会修改部分神经元的参数，目的是在经过联邦学习的聚合后，使该神经元的参数值偏移到攻击者的目标值，进行模型投毒，而且攻击者为了更加隐蔽地实施攻击，会在多个联邦学习中逐步修改对应的神经元参数值，避免在聚合时出现离群值，企图伪装成正常的联邦学习参与者。但是这种攻击方法可以被有效防御；攻击者试图发动梯度攻击，必须要修改对应的神经元参数，虽然攻击者会将攻击分散到多轮联邦学习中，但是本发明仍然能够从攻击者上传的梯度更新中发现神经元参数的变化趋势，并且攻击者在将攻击分散到不同的联邦学习轮次中时，并不能中途停止，因为一旦停止中毒攻击，作为联邦学习中的少数恶意客户端，攻击者之前的投毒攻击所修改的全局模型神经元参数将很快被正常训练的良性客户端神经元参数覆盖掉，这不是攻击者所期望看到的，因此本发明在服务器端保存了每个联邦学习参与者上传的5次梯度信息，并组成梯度向量，这些梯度向量直接映射了相应联邦学习参与者对应神经元参数的变化趋势信息，计算每两个参与者所有梯度向量的广义Jaccard相似度；在水平联邦学习中，不同良性客户端相同神经元参数之间的相似度随着联邦学习的进行是很高的，而攻击者为了达到攻击目标，神经元参数的相似度会降低，并标记相似度低的联邦学习参与者，通过计算所有神经元参数的相似度，找到所有神经元参数标记者的交集，就能够筛选出联邦学习的攻击者。

因此，本发明通过计算广义Jaccard相似度保证联邦学习的正常进行。首先，服务器在接收到5次客户端上传的模型后，对每个客户端的模型神经元的参数建立梯度向量和危险积分，计算每两个客户端梯度向量之间的广义Jaccard相似度，并将相似度低于0.3的客户端标记为潜在的攻击者，危险积分加1，当计算完所有的神经元参数值相似度，危险积分明显高于其他客户端的被当做攻击者，服务器使用保存的5次客户端梯度更新中的第一轮梯度重新聚合全局模型，当然，被标记为攻击者的客户端并不会参与全局模型的聚合。然后服务器将重新聚合的联邦全局模型下发到客户端，重新开始联邦学习。因此，一旦发现攻击者的存在，最近5次的联邦学习将被作废，但为了保障联邦学习的安全，这是值得的。

为了保护联邦学习的安全进行，本发明一种针对联邦学习神经元梯度攻击的防御方法，如图1所示，具体步骤如下：

(1)服务器调用全局模型，分发给各个客户端。

联邦学习的训练目标可以归结为一个有限的优化：

其中，G(w)表示全局模型，w表示模型参数，R^d表示所有模型参数集合；N代表存在N个参与方，分别处理N个本地模型L_i(w)，每一方基于私有数据集

进行训练，其中，数据集i样本数量a_i＝|D_i|，

表示数据集i第j个数据样本以及相应的标签。

联邦学习的目标是获得一个全局模型，该模型在对来自N方的分布式训练结果进行聚合后，可以很好地概括测试数据。具体来说，在第t轮，中央服务器将当前共享模型G^t发送给N个客户端，其中[N]表示整数集{1,2,…,N}。客户端i通过使用自己的数据集D_i和学习率lr，运行E个本地轮次的优化算法，以获得新的局部模型

然后，客户端将模型更新

-G^t发送到中央服务器，中央服务器将以其自身的学习率η对所有更新进行平均，以生成新的全局模型G^t+1：

(2)客户端接收服务器下发的全局模型，并使用本地数据对全局模型进行训练，得到客户端梯度更新。

对于良性客户端来说，联邦学习参与者会在使用本地数据对服务器下发的全局模型进行正常训练，可以表示为：

其中，

为数据样本，

表示样本对应的样本标签；函数P为对应的训练优化函数，通过对数据的学习，可以得到当前轮t客户端i从数据中获得的模型梯度更新w_i。

但对于攻击者而言，在正常训练本地模型之外，在梯度更新上传阶段，攻击者会篡改梯度更新，具体可以概括为：

其中，

表示攻击者的恶意篡改梯度；

与w_i具有相同的网络结构，

中非攻击目标的神经元参数值都为0，目标神经元参数值随着攻击者的攻击目的变化，得到中毒客户端梯度

(3)如图2所示，客户端将梯度更新发送至服务器端，服务器接收梯度更新，判断当前联邦学习回合数t是否为5的倍数。防御机制将周期性的应用于联邦学习系统，本发明方法将为每个客户端创建一个梯度存储器，存储5轮(设定轮数)用户所上传的梯度信息，同时创建神经元梯度变化向量

记录客户端i第a个神经元第b个参数的变化，并假设每个客户端都有A个神经元,每个神经元B个参数。

(3.1)如果当前联邦学习回合数t为5的倍数，将应用神经元参数中毒防御机制进行聚合。

(3.1.1)计算所有联邦学习参与者相同梯度变化向量间的广义Jaccard相似度。

广义Jaccard相似度可以很好的反应两个集合间的相关性，数学表达为：

式中，

代表客户端i与客户端i’相同梯度变化向量之间的相似度，i＝1～N，i’＝1～N，i≠i’；相似度JA是一个介于0到1之间的数，越接近1，说明相似度越高，反之相似度越低；当JA＜0.3(危险系数阈值)时，就认为两个梯度变化向量相关性很差。

然后，计算危险系数Dr_i(i＝1,2,…,N)，危险系数越高，代表该客户端越有可能是攻击者。

其中，函数1表示若满足条件，则返回值为1，若不满足条件则返回值为0。

进一步，将危险系数换算为攻击者可能性Att_i：

(3.1.2)判断是否存在攻击者。

Att_i大于50％(攻击者可能性阈值)时，服务器将该客户端i标记为攻击者，启动模型保护策略，并舍弃当前全局模型，为安全起见，从梯度存储器中调取本5轮联邦学习第一次接收到的客户端上传的梯度更新，其中不包括被标记为恶意客户端的梯度，重新聚合一个全局模型，并发放到客户端。

Att_i均小于等于50％(攻击者可能性阈值)时，不存在攻击者，直接执行步骤(3.2.2)。

(3.2)如果当前联邦学习回合数t不为5的倍数，进行联邦平均聚合；服务器聚合所有客户端的梯度更新得到全局模型。

(3.2.1)保存当前客户端梯度更新到梯度存储器。

(3.2.2)执行联邦平均聚合，获得新的全局模型，并发放到客户端。

(4)重复步骤(2)～(3)，直至模型收敛或达到最大学习轮数，联邦学习结束。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (7)

1.一种针对联邦学习神经元梯度攻击的防御方法，其特征在于，包括：

(1)服务器调用全局模型，分发给各个客户端；

(2)客户端接收服务器下发的全局模型，并使用本地数据对全局模型进行训练，得到客户端梯度更新；

(3)客户端将梯度更新发送至服务器，服务器接收梯度更新；为每个客户端创建一个梯度存储器，存储设定轮数的客户端所上传的梯度信息，同时创建神经元梯度变化向量

记录客户端i第a个神经元第b个参数的变化；i＝1～N，a＝1～A，b＝1～B；每次当前联邦学习回合数t达到设定轮数的倍数时，根据客户端梯度向量之间的广义Jaccard相似度，判断是否存在攻击者并找到攻击者客户端，一旦发现攻击者的存在，最近设定轮数的联邦学习将被作废，并重新聚合一个全局模型，发放到客户端；

(4)重复步骤(2)～(3)，直至联邦学习结束。

2.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(1)包括：

联邦学习的训练目标：

其中，G(w)表示全局模型，w表示模型参数，R^d表示所有模型参数集合；N代表存在N个参与方，分别处理N个本地模型L_i(w)，每一方基于私有数据集

进行训练，其中，数据集i样本数量a_i＝|D_i|，

表示数据集i第j个数据样本以及相应的标签；

联邦学习的目标是获得一个全局模型，该模型对来自N方的分布式训练结果进行聚合；具体来说，在第t轮，中央服务器将当前共享模型G^t发送给N个客户端，客户端i通过使用自己的数据集D_i和学习率lr，运行本地轮次的优化算法，以获得新的局部模型

然后，客户端将模型更新

发送到中央服务器，中央服务器将以其自身的学习率η对所有更新进行平均，以生成新的全局模型G^t+1：

3.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(2)包括：

对于良性客户端来说，联邦学习参与者会在使用本地数据对服务器下发的全局模型进行正常训练，表示为：

其中，

为数据样本，

表示样本对应的样本标签；函数P为对应的训练优化函数，通过对数据的学习，可以得到当前轮t客户端i从数据中获得的模型梯度更新w_i；

对于攻击者客户端而言，在正常训练本地模型之外，在梯度更新上传阶段，攻击者会篡改梯度更新，具体为：

其中，

表示攻击者的恶意篡改梯度；

与w_i具有相同的网络结构，

中非攻击目标的神经元参数值都为0，目标神经元参数值随着攻击者的攻击目的变化，得到中毒客户端梯度

4.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(3)包括：

(3.1)如果当前联邦学习回合数t为设定轮数的倍数，将应用神经元参数中毒防御机制进行聚合；包括：

(3.1.1)计算所有联邦学习参与者相同梯度变化向量间的广义Jaccard相似度

危险系数Dr_i、攻击者可能性Att_i；

代表客户端i与客户端i’相同梯度变化向量之间的相似度，i＝1～N，i’＝1～N，i≠i’；

(3.1.2)判断是否存在攻击者；

存在Att_i大于攻击者可能性阈值时，服务器将该客户端i标记为攻击者，启动模型保护策略，并舍弃当前全局模型，为安全起见，从梯度存储器中调取最近设定轮数的联邦学习第一次接收到的客户端上传的梯度更新，其中不包括被标记为恶意客户端的梯度，重新聚合一个全局模型，并发放到客户端；

Att_i均小于等于攻击者可能性阈值时，不存在攻击者，直接执行步骤(3.2.2)；

(3.2)如果当前联邦学习回合数t不为设定轮数的倍数，进行联邦平均聚合；服务器聚合所有客户端的梯度更新得到全局模型；

(3.2.1)保存当前客户端梯度更新到梯度存储器；

(3.2.2)执行联邦平均聚合，获得新的全局模型，并发放到客户端。

5.如权利要求4所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(3.1.1)中，广义Jaccard相似度的，数学表达为：

式中，相似度JA是一个介于0到1之间的数，越接近1，说明相似度越高，反之相似度越低。

6.如权利要求4所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(3.1.1)中，危险系数Dr_i越高，代表该客户端越有可能是攻击者；

其中，函数1表示若满足条件，则返回值为1，若不满足条件则返回值为0。

7.如权利要求4所述针对联邦学习神经元梯度攻击的防御方法，其特征在于，步骤(3.1.1)中，将危险系数Dr_i换算为攻击者可能性Att_i：

Images