CN112257063B - 一种基于合作博弈论的联邦学习中后门攻击的检测方法 - Google Patents

Abstract

本发明属于隐私保护的技术领域，公开了一种基于合作博弈论的联邦学习中后门攻击的检测方法，通过联邦学习中央服务器采集各个用户上传的每一轮训练轮次的模型梯度数据，然后利用合作博弈论中的Shapley值改进算法对每个用户的模型梯度数据进行计算，获得其对整体全局模型贡献程度的度量值，最后基于绝对离差中位数的离群检测算法，定量对得到的度量值进行后门攻击异常检测，从而判断对应的用户是否为攻击者。本发明的方法能在可以接受的时间开销范围内，准确检测出各种攻击配置下的针对联邦学习的隐蔽后门攻击，消除其对于整个联邦学习机制训练的影响，从而保证训练过程的安全和鲁棒性。

Description

一种基于合作博弈论的联邦学习中后门攻击的检测方法

技术领域

本发明涉及隐私保护的技术领域，尤其涉及一种基于合作博弈论的联邦学习中后门攻击的检测方法。

背景技术

随着机器学习技术的普及与泛用化，机器学习模型所需要的数据成了对于其使用者至关重要的资源。在实际生活中，移动互联网企业的机器学习相关产品，常常面临着数据量不足、数据质量差等困境，为了解决这一问题，自然需要更多的用户数据获取与流动，然而用户数据的获取与流动，势必会带来相关的隐私保护问题。因此，一个能够解决数据的获取和流通问题，同时能够保护数据所有者的个人隐私的机器学习机制是多方的迫切需要。

联邦学习(Federated Learning)机制就是在这样的背景下产生的，是一种在保证训练数据去中心化的前提下，使多个用户(移动设备拥有者或者组织与企业)在一个中央服务器的协调下，共同训练一个机器学习模型的框架。与传统的机器学习框架相比，联邦学习能够有效地减少数据隐私的泄露并能降低获取数据的成本。

然而，由于联邦学习机制是一个分布式的机器学习框架，由多方来合作完成同一个机器学习任务，其所得到的机器学习模型的质量与安全性就应该得到我们的关注。事实上，由于联邦学习特有的分布式数据聚合操作的存在以及训练场景特点的影响，潜在的攻击者很有可能利用这种特有的去中心化，来对共同训练的模型进行破坏，手段包括但不限于对抗样本攻击、数据集污染毒化以及本文主要研究的针对联邦学习机制的后门攻击(backdoor attack)，从而在联邦学习框架的场景下，利用一系列针对用户上传数据的运算与分析操作，最终检测出攻击者的存在性、数量等信息，从而保护联邦学习模型的质量与安全性的检测机制就显得尤为重要。

发明内容

本发明是为了在联邦学习框架的运行过程中及时发现并处理攻击者带来的数据异常，从而降低或去除异常带来的风险和危害，提供一种基于合作博弈论的联邦学习中后门攻击的检测方法。

本发明可通过以下技术方案实现：

一种基于合作博弈论的联邦学习中后门攻击的检测方法，通过联邦学习中央服务器采集各个用户上传的每一轮训练轮次的模型梯度数据，然后利用合作博弈论中的Shapley值改进算法对每个用户的模型梯度数据进行计算，获得其对整体全局模型贡献程度的度量值，最后基于绝对离差中位数的离群检测算法，定量对得到的度量值进行后门攻击异常检测，从而判断对应的用户是否为攻击者。

进一步，定义上传模型梯度数据的所有用户组成原始用户集合，判断所述原始用户集合内部的用户数量和是否大于阈值，若是，利用蒙特卡洛方法对原始用户集合进行采样，构成新集合M，计算所述新集合M中各个用户的边际贡献度，取其平均值作为Shapley估计值，再计算每一个用户从训练开始到当前轮次的Shapley估计值的累加值，以所述累加值作为其对整体全局模型贡献程度的度量值；

否则，利用合作博弈论中的Shapley值算法对各个用户进行Shapley值计算，再计算每一个用户从训练开始到当前轮次的Shapley值的累加值，以所述累加值作为其对整体全局模型贡献程度的度量值。

进一步，假设将联邦学习系统抽象建模成一个合作博弈系统(N,v)，其中，N表示每一个参与联邦学习的用户集合，v表示效用函数，

利用如下方程式，计算第i个用户的Shapley值

其中，v表示效用函数，R表示所有参与联邦学习的用户的某一种排列，所有的排列共有π(N)＝|N|！种，P_i ^R表示以i结尾的按R排列的用户集合；

从所有参与联邦学习的用户的所有排列集合π(N)中等概率地抽取m个样本，构成新集合M，利用如下方程式，计算新集合中各个用户的Shapley估计值，

其中，

表示新集合M中每个样本O中的每i个用户的边际贡献度。

进一步，所述阈值设置为五。

进一步，将第i个用户的所述累加值代入如下方程式，判断其结果

是否大于设定值，若是，则判定第i个用户为攻击者，否则第i个用户不是攻击者，

其中，

表示第i个用户在第t轮次时Shapley值的累加值，N和v分别表示用户集合和所用的效用函数，median表示中位数操作。

本发明有益的技术效果在于：

本发明首先通过在联邦学习中央服务器上部署的框架采集各个用户上传的每一轮训练轮次的模型梯度信息作为检测的原料，然后利用本发明提出的累加Shapley值对每个用户的梯度数据进行计算，从而得出其对整体全局模型贡献程度的科学的度量值，最后再基于绝对离差中位数的离群检测算法，定量对得到的度量值进行后门攻击的异常检测。如果异常程度在阈值范围之内，则判断不存在攻击者，继续进行正常的模型训练；若异常程度超出阈值，则报告攻击者的数量、攻击强度等信息，将攻击者的相关数据去除后再进行训练。同时本发明还对检测方法的时间性能进行了优化，使其更具实用性，能在可以接受的时间开销范围内，准确检测出各种攻击配置下的针对联邦学习的隐蔽后门攻击，消除其对于整个联邦学习机制训练的影响，从而保证训练过程的安全和鲁棒性。

附图说明

图1为本发明的总体流程框图；

图2为将本发明的异常检测方法应用于联邦学习系统中的架构示意图。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

参加附图1和2，本发明提供了一种基于合作博弈论的联邦学习中后门攻击的检测方法，针对联邦学习系统框架的特点，利用一系列针对用户上传数据的运算与分析操作，最终检测出攻击者的存在性、数量等信息，向联邦学习中央服务器的管理人员及时报告攻击者的相关情况，从而保护联邦学习系统的质量与安全性。本方法通过分析联邦学习机制的特点，借助对各类后门攻击原理和性质的分析，提出用累加的长期Shapley值进行用户上传梯度数据的度量，从而科学而有效地衡量了每个参与用户对整体模型的贡献程度，再基于这种贡献度度量运行离群检测算法，从检测的结果判断模型受后门攻击的情况。

整个检测算法部署在联邦学习的中央服务器上，并通过采样估计算法进行了性能优化，能在有效检测出攻击者的同时对系统性能产生最小影响。

该检测方法主要由四个步骤，分别为数据采集、贡献度分析、异常检测和性能优化，具体如下：

数据采集：

由联邦学习中央服务器上算法接收到的各个用户上传的每一轮训练轮次的模型梯度数据，以此为基准，进行后续的相关分析。

后门攻击异常检测系统被设计为在每一个联邦学习轮次自动读取上传至中央服务器的用户梯度数据并且在中央服务器上进行分析和异常检测的系统。为了进行后续的分析综合，首先需要有效地取得作为分析原材料的模型梯度数据，通过部署在联邦学习中央服务器上的数据收集模块，能够在服务器还没有进行模型聚合的时刻提前取得各用户的数据。这部分取得的数据会首先进入本发明中提出的异常检测系统，进入异常检测系统之后，程序算法会依次进行贡献程度的度量和异常值检测的算法流程，最后根据得到的贡献度量值是否超过阈值来给出一个分析结果，连同用户的梯度数据一同发送给联邦学习中央服务器的聚合模块。联邦学习中央服务器会根据这个分析结果来确定是否有攻击者的存在以及攻击的方式和具体设置，从而调整模型聚合的策略，如此就能保证整体模型不受到攻击者的破坏和渗透。

贡献度分析：

对前期收集到的模型梯度数据利用合作博弈论中Shapley值以及相关的累加改进算法作为衡量贡献程度的指标，分析上传数据的历史性长期表现，构建出累加Shapley值随训练轮数变化的关系模型，并做出变化关系图。

贡献度分析基于的主要假设是将联邦学习系统抽象建模成一个合作博弈系统(N,v)，其中，N指的是每一个联邦学习的参与者集合，包括正常的用户和潜在的攻击者，v则是效用函数，定义为一组用户S如果进行合作，联邦学习中央服务器单独只通过聚合算法将它们上传的参数权重即训练后本地模型数据进行聚合后更新整体模型时，整体模型在中央服务器的测试集上所取得的准确率数值，即

v(S)＝accuracy(aggregate(S))， (2)

其中，accuracy代表模型的测试集准确率，而aggregate代表中央服务器的聚合操作。此处的效用函数v和合作学习初始定义中的要求有些许不同，因为此时空集的效用函数并不等于0，而我们采用这种效用函数的原因是联邦学习实际需要的要求。在联邦学习中，能够衡量用户对于整体模型贡献程度最直观的方式就是在整体模型测试集上所取得的准确率，而准确率的数值在系统运行起来之后整体会呈现出上升的趋势。因此，在开始联邦学习后，空集，也就是不进行模型聚合操作的整体模型准确率必然不可能为0，此时的效用函数就是一个根据实际需要引入了以初始准确率为基准的偏移量的效用函数。

接下来，我们就可以进行每一个用户的Shapley值计算了。在第t轮次的训练中，用户i的Shapley值

可计算如下：

同时，基于Shapley值的等价定义，也可以计算如下：

其中，v为式(2)中定义的效用函数，R是所有参与联邦学习的用户的某一种排列，所有的排列共有π(N)＝|N|！种，而P_i ^R则是以i结尾的按R排列的用户集合。利用Shapley值和合作学习模型的优点是合理应用了联邦学习与合作学习之间的相似性和概念的类比，科学且公平地衡量了每个用户的贡献值，准确地表达出了在繁杂训练过程下隐藏的真正贡献程度。

随后，我们会计算每一个用户从训练开始到当前轮次的Shapley值的累加值，以这个累加值为衡量其贡献程度的指标。第i个用户在第t轮的累加Shapley值，假设累加开始轮次为t₀，可以计算如下：

这种操作的优点在于，可以有效防止联邦学习中的随机性和不稳定性对贡献度量带来的影响。这种影响具体表现在，虽然直观的Shapley值虽然可以在某种程度上体现出每一个用户在该轮训练中对整体模型的贡献程度，但是数值会非常小，攻击者和正常用户彼此之间的差别也会很细微，同时在联邦学习刚刚开始的若干轮中，每个用户上传的梯度数据受到本身本地模型的初始化随机性的影响较大，所以在开始几轮中用户数据往往会呈现出很大的波动性，不是很有代表性，因此我们会在某一个特定轮次t₀，一般为5到10轮后，再进行累加的操作。

经过这样的操作，我们就可以将微小的差异通过累加的方式加以放大，得到一个较为清晰的衡量指标。同时基于衡量值结果，此时我们会将每个用户的Shapley值的累加值关于训练轮次做一个折线图，在图中，我们可以直观地看出攻击者具有和正常用户完全不同的折线。

异常检测：

针对后门攻击的异常检测系统，使用前面步骤中计算所得的累加值来进行绝对离差中位数离群检测算法，得出一个基于该算法的异常度值，将该异常度值与设定好的异常阈值进行对比，通过是否超过阈值来判断联邦学习系统中是否有后门攻击者的存在。

异常检测模块的主要算法是绝对离差中位数离群检测算法即MAD算法。在统计学中，绝对离差中位数是对于量化数据的单变量样本变异性的一种稳健度量，在实际操作中，我们所用到的基于绝对离差中位数得到的样本点距中心度量距离值

可以计算如下：

在特定的几个训练轮次(一般是训练后期的轮次)时，例如t＝30,40,…时，我们以每个用户Shapley值的累加值作为输入样本，执行MAD离群检测，计算出公式(6)中的度量值。得到了这些距离值后，中央服务器就可以检测是否有在阈值(一般为2左右)之外的离群样本点，若发现有扎样的异常点存在，就可以将其标记为攻击者，从而将该用户的上传数据从之后的模型聚合操作中去除，以实现对于后门攻击的防御。

这种异常检测机制的优点在于，准确地、定量地给出了每个用户异常程度的度量值。在贡献度分析步骤中，我们只可以直观地从图中看出攻击者的存在，而在异常检测算法的加持下，攻击者的异常程度度量能够清晰地被检测出来，也为之后去除攻击者的影响提供了较为牢靠的理论依据，从而大大提升了异常检测的准确率和模型的鲁棒性。

性能优化：

在进行贡献度分析的过程中，我们会采取基于蒙特卡洛采样的方法对算法的时间复杂度进行优化，保证该算法能够在联邦学习的中央服务器上正常高效地运行并能有效地检测出攻击者的存在。

在贡献度分析步骤中，我们需要计算每一个用户的Shapley值，但是注意到式(4)中的Shapley值计算过程中需要用到阶乘和全排列操作，其中阶乘操作的结果会很大，而全排列操作会带来O(N！)的阶乘时间复杂度，这在对性能要求严格地联邦学习机制中是不可接受的，于是我们需要通过对Shapley值的运算加以改进，提出对Shapley值的近似计算方法，从而降低计算的时间复杂度。

在实际操作中，我们采用蒙特卡洛采样的方式来解决计算复杂度问题。对于合作博弈(N,v)，我们首先准备好采样来源，即N个参与者的全排列集合π(N)，从其中等概率地取m个样本，构成新集合M，然后对于每个样本O，计算每一个参与者i的边际贡献度

最后对于所有的样本，将每个参与者的边际贡献度取平均，得到每个参与者近似的Shapley值：

可以证明，这种估计是无偏且一致的。通过这种方式，我们可以在较短的时间内(取决于取样数量)，得到Shapley值的估计值。在我们的算法中，在用户数少于5个时，不进行取样，而是直接计算准确地Shapley值，而在用户数大于等于5个时，将取样数量设为用户数的平方根和100中较小的值，即

技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (2)

1.一种基于合作博弈论的联邦学习中后门攻击的检测方法，其特征在于：通过联邦学习中央服务器采集各个用户上传的每一轮训练轮次的模型梯度数据，然后利用合作博弈论中的Shapley值改进算法对每个用户的模型梯度数据进行计算，获得其对整体全局模型贡献程度的度量值，最后基于绝对离差中位数的离群检测算法，对得到的度量值进行后门攻击异常检测，从而判断对应的用户是否为攻击者；

定义上传模型梯度数据的所有用户组成原始用户集合，判断所述原始用户集合内部的用户数量和是否大于阈值，若是，利用蒙特卡洛方法对原始用户集合进行采样，构成新集合M，计算所述新集合M中各个用户的边际贡献度，取其平均值作为Shapley估计值，再计算每一个用户从训练开始到当前轮次的Shapley估计值的累加值，以所述累加值作为其对整体全局模型贡献程度的度量值；

否则，利用合作博弈论中的Shapley值算法对各个用户进行Shapley值计算，再计算每一个用户从训练开始到当前轮次的Shapley值的累加值，以所述累加值作为其对整体全局模型贡献程度的度量值。

假设将联邦学习系统抽象建模成一个合作博弈系统(N,v)，其中，N表示参与联邦学习的用户集合，v表示效用函数，利用如下方程式，计算第i个用户的Shapley值

其中，v表示效用函数，R表示所有参与联邦学习的用户的某一种排列，所有的排列共有π(N)＝|N|！种，P_i ^R表示以i结尾的按R排列的用户集合；

从所有参与联邦学习的用户的所有排列集合π(N)中等概率地抽取m个样本，构成新集合M，利用如下方程式，计算新集合中各个用户的Shapley估计值：

其中，

表示新集合M中每个样本O中的每i个用户的边际贡献度；

将第i个用户的所述累加值代入如下方程式，判断其结果

是否大于设定值，若是，则判定第i个用户为攻击者，否则第i个用户不是攻击者：

其中，

表示第i个用户在第t轮次时Shapley值的累加值，N和v分别表示用户集合和所用的效用函数，median表示中位数操作。

2.根据权利要求1所述的基于合作博弈论的联邦学习中后门攻击的检测方法，其特征在于：所述阈值设置为五。

Images