CN116596062A - 一种基于变分贝叶斯网络的联邦学习对抗样本检测方法 - Google Patents
一种基于变分贝叶斯网络的联邦学习对抗样本检测方法 Download PDFInfo
- Publication number
- CN116596062A CN116596062A CN202310361132.6A CN202310361132A CN116596062A CN 116596062 A CN116596062 A CN 116596062A CN 202310361132 A CN202310361132 A CN 202310361132A CN 116596062 A CN116596062 A CN 116596062A
- Authority
- CN
- China
- Prior art keywords
- sample
- participating
- gradient information
- federal learning
- bayesian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000009826 distribution Methods 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 11
- 238000000342 Monte Carlo simulation Methods 0.000 claims description 7
- 230000008685 targeting Effects 0.000 claims description 3
- VCNTUJWBXWAWEJ-UHFFFAOYSA-J aluminum;sodium;dicarbonate Chemical compound [Na+].[Al+3].[O-]C([O-])=O.[O-]C([O-])=O VCNTUJWBXWAWEJ-UHFFFAOYSA-J 0.000 claims 4
- 229910001647 dawsonite Inorganic materials 0.000 claims 4
- 239000000523 sample Substances 0.000 description 134
- 238000000034 method Methods 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000013531 bayesian neural network Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005290 field theory Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，包括以下步骤：向联邦学习的各参与对象下发训练模型；各参与对象两两发起私密求交操作，使得各参与对象分别获得各自的样本交集；对各参与对象获得的样本交集进行求交，得到共有样本空间；各参与对象根据共有样本空间从各自的本地样本中筛选目标本地样本，使用各参与对象各自的目标本地样本对模型进行训练，得到各参与对象各自的梯度信息；接收各参与对象发送的梯度信息，计算梯度信息分布密度的不确定度；根据梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本。本发明能够在不直接访问私有训练数据的情况下，完成联邦学习系统中的对抗样本检测任务。
Description
技术领域
本发明涉及联邦学习技术领域，尤其是一种基于变分贝叶斯网络的联邦学习对抗样本检测方法。
背景技术
联邦学习是一类分布式机器学习，但在学习过程中，各个参与对象不会共享自身的训练数据，而是每个参与方利用多个计算节点进行联合训练，最终形成一个性能较好的全局模型。联邦学习中的角色包括服务器和参与方，参与方会将训练产生的更新发送给服务器，而服务器会以某种策略将这些更新聚合，并利用聚合的结果来更新全局模型。
用于联邦学习的训练样本中通常包含一定数量的对抗样本。对抗样本是指在对抗攻击的作用下样本中被添加了人类感官难以察觉的微小扰动，但是全局模型学习过程中在对抗样本上和在与对抗样本对应的正常样本上所输出的判断结果不同。由于联邦学习中各个参与对象不会共享自身的训练数据，因此在全局服务器上无法直接辨别哪些训练样本是对抗样本，而需要采用一定的方法检测训练样本中的对抗样本。
现有对抗样本检测方法一般需要遍历整个数据集才能进行相关计算，而联邦学习系统一般有较大的数据量，遍历整个数据集而进行相关计算的时空代价都是巨大的，因此不能实现对抗样本的实时检测。且由于联邦学习中不能直接访问客户端的原始数据，因此这样的检测方法违背了联邦学习的隐私保护特性。
发明内容
有鉴于此，本发明实施例提供一种基于变分贝叶斯网络的联邦学习对抗样本检测方法。
本发明提供了一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，包括以下步骤：
服务器向联邦学习的各参与对象下发训练模型；各参与对象使用本地样本对所述训练模型进行训练，得到样本空间；所述训练模型中包括用于检测对抗样本的贝叶斯子层；
各参与对象两两发起私密求交操作，使得各参与对象分别获得各自的样本交集；
服务器对各参与对象获得的样本交集进行求交，得到共有样本空间；所述共有样本空间指联邦学习中全部参与对象共有的样本交集；
各参与对象根据所述共有样本空间从各自的本地样本中筛选出位于所述共有样本空间内的本地样本作为目标本地样本，使用各参与对象各自的目标本地样本对所述训练模型进行训练，得到各参与对象各自的梯度信息；
服务器接收各参与对象发送的梯度信息，计算所述梯度信息分布密度的不确定度；
根据所述梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本。
进一步地，在所述服务器向联邦学习的各参与对象下发训练模型步骤之前，还包括以下步骤：
服务器在训练模型中集成贝叶斯子层。
进一步地，所述联邦学习的各参与对象包括第一参与对象和第二参与对象；所述第一参与对象和第二参与对象之间的私密求交操作，具体包括以下步骤：
第一参与对象向第二参与对象发送私密求交请求；
第二参与对象生成包括公钥、大素数和私钥的秘钥；将秘钥中的公钥和大素数发送给第一参与对象；
第一参与对象在本地样本中添加第一随机数后，通过所述公钥和大素数加密本地样本，得到第一映射样本，将第一映射样本发送给第二参与对象；
第二参与对象使用私钥解密所述第一映射样本和第二参与对象的本地样本，并对第一映射样本和第二参与对象的本地样本进行盲签名，得到第一签名样本和第二签名样本，将第一签名样本和第二签名样本发送给第一参与对象；
第一参与对象使用公钥和大素数验证所述第一签名样本和第二签名样本后，通过第一随机数反推所述第一签名样本，得到第一样本集合；第一参与对象求得第一样本集合和第二签名样本的交集，作为第一样本空间发送给第二参与对象；
第一参与对象和第二参与对象分别使用公钥解密所述第一样本空间，得到第一参与对象和第二参与对象各自的样本交集。
进一步地，所述服务器对各参与对象获得的样本交集进行求交，得到共有样本空间之后，还包括以下步骤：
服务器对齐所述共有样本空间。
进一步地，所述计算所述梯度信息分布密度的不确定度，具体包括以下步骤：
寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用K-L散度表征所述梯度信息分布密度和贝叶斯分布的差异性；
以最小化K-L散度为目标，使用最大化证据下界表征所述最小化K-L散度；
基于蒙特卡洛方法对各个参与对象进行随机抽样，计算被抽样参与方梯度信息的先验概率，求取所述被抽样参与方梯度信息的先验概率平均值作为全局先验概率；
使用所述全局先验概率计算最大化证据下界，并求取最大化证据下界的梯度作为ELBO梯度；
利用贝叶斯公式计算后验概率，计算所述ELBO梯度的方差，略去噪声方差项后作为所述梯度信息分布密度的不确定度。
进一步地，所述寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用K-L散度表征所述梯度信息分布密度和贝叶斯分布的差异性，具体通过以下公式实现：
式中，P表示梯度信息分布密度，q表示近似的变分贝叶斯分布，θ为所述训练模型贝叶斯子层的参数，w为训练模型参数，D为梯度信息数据集，Eq(ω|θ)表示近似的变分贝叶斯分布的均值。
进一步地，所述以最小化K-L散度为目标，使用最大化证据下界表征所述最小化K-L散度，通过以下公式实现：
ELBO＝Eq(w|θ)lnp(D|w)-KL(q(w|θ)||p(w))
KL(q(w|θ)||p(w|D))＝-ELBO+lnp(D)
式中，ELBO表示证据下界，表示最大化证据下界。
进一步地，所述不确定度通过如下公式计算：
式中，U为不确定度，M为蒙特卡洛方法所抽样的样本数，xm为蒙特卡洛抽样后的数据中的一条，x为抽样后的数据。
进一步地，所述根据梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本，具体包括以下步骤：
对各参与对象进行抽样，计算被抽样参与对象本地样本的不确定度和最大化证据下界；
将不确定度大于预设不确定度阈值且最大化证据下界小于预设ELBO阈值的参与对象本地样本视作对抗样本。
进一步地，还包括以下步骤：
删除对抗样本数量大于预设阈值的参与对象；
使用剩余参与对象的梯度信息更新所述训练模型。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例具有如下方面有益效果：本发明所提供一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，通过减小对抗样本检测方法的计算代价，使其能够应用于联邦学习系统之中，使得在遵守联邦学习隐私保护特性的前提之下，不直接访问客户端的训练数据而实现实时的对抗样本检测。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于变分贝叶斯网络的联邦学习对抗样本检测方法的基本实施流程图；
图2是本发明一种基于变分贝叶斯网络的联邦学习对抗样本检测方法中私密求交流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本发明实施例所涉及部分概念如下：
1.联邦学习(Federated Learning)：联邦学习是一类分布式机器学习，但在学习过程中，各个参与方不会共享自身的训练数据，而是每个参与方利用多个计算节点进行联合训练，最终形成一个性能较好的全局模型。联邦学习中的角色包括服务器和参与方，参与方会将训练产生的更新发送给服务器，而服务器会以某种策略将这些更新聚合，并利用聚合的结果来更新全局模型。
2.对抗攻击(Adversarial Attack)：对抗攻击是一类针对机器学习系统的攻击方法。该攻击方法发生在模型的测试阶段，通过对原始数据添加一些难以被人类感官察觉的微小的扰动，使学习器产生与以往不同的判断结果。
3.聚合算法(Aggregation Algorithm)：联邦学习系统中服务器端用来将参与方提供的更新整合为一个总体的更新的算法。在联邦学习系统的全局更新阶段，服务器端会采用聚合算法，将参与方发送来的更新聚合为全局更新，并以此更新全局模型。常见的聚合算法有联邦平均(Federated Averaging,FedAvg)等。
4.对抗样本(Adversarial Samples)：通过在正常样本上实施对抗攻击而产生的样本。这类样本已在对抗攻击的作用下被添加了人类感官难以察觉的微小扰动，但是学习器在对抗样本上和在与之对应的正常样本的判断结果不同。
5.K-L散度(Kullback-Leibier Divergence)：也称为相对熵(RelativeEntropy)。一种衡量两个不同概率分部之间的的差异的非对称度量手段。
6.贝叶斯神经网络(Bayesian Neural Network)：是一类除给出预测结果，还可以给出预测不确定度的神经网络。其参数不是定值，而是服从一定分布的随机变量。
7.同态加密(Homomorphic Encryption)：是一类密码学加密技术。在这种加密技术之下，对密文进行某种运算以后得到的密文，等价于对明文进行相同操作后所对应的密文。
8.变分推断(Variational Inference)：一种确定性近似推理方法，以最小化相对熵为优化目标，将一个难以计算的后验概率分布近似为一个可变分布。
9.平均场理论(Mean Field Theory)：将随机过程模型中一个单体受到的所有影响近似为一个外部场(External Field)，从而将多体问题(Many-body Problem)分解为多个单体问题(One-body Problem)进行求解的范式和理论。
10.蒙特卡洛(Monte Carlo)方法：又称随机抽样或统计试验方法，是以概率和统计理论方法为基础的一种计算方法。该方法使用随机数(或更常见的伪随机数)来解决很多计算问题，将所求解的问题同一定的概率模型相联系，用电子计算机实现模拟或抽样，以获得问题的近似解。
目前对抗样本检测的方法基本包括特征学习和基于分布的检测。特征学习主要针对对抗样本和正常样本特征的差异，并尝试将高维数据转化为低维数据而降低检测难度；例如主成分分析(Principle Components Analysis,PCA)法通过学习信息量低的维度的特征和白化操作来降低数据冗余性，且对抗样本往往强调PCA排名较低的部分，因而可以被PCA检测出来。然而，PCA法需要预先从训练数据中计算特征空间，并且需要具体计算特征才能确认信息量大小，因此不适用于数据量较大的情况。基于分布的检测方法主要通过比较对抗样本和正常样本数字特征的不同，从而达到检测对抗样本的目的。例如，可以通过核密度估计(Kernel Density Estimation,KDE)的方法来检测对抗样本。这样的方法通过遍历数据，将数据分布通过一个可微的分布函数拟合出来，通过比较正常样本和对抗样本区别而达到对抗样本检测的目的。然而，基于分布的对抗样本检测方法往往依赖于正常样本和对抗样本所占的比例，若对抗样本占据多数比例，则往往正常样本会被误认为对抗样本。而且，此类方法仍需遍历整个数据集，导致计算复杂度较高，并且违反联邦学习不能访问私有数据的隐私保护特性，难以应用到联邦学习之中。
本发明实施例的目的在于克服现有对抗样本检测方法的不足，提供一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，减小对抗样本检测方法的计算代价，使其能够应用于联邦学习系统之中，使得在遵守联邦学习隐私保护特性的前提之下，不直接访问客户端的训练数据而实现实时的对抗样本检测。
如图1所示，本发明实施例所提供基于变分贝叶斯网络的联邦学习对抗样本检测方法，包括以下步骤：
S101：服务器向联邦学习的各参与对象下发训练模型；各参与对象使用本地样本对训练模型进行训练，得到样本空间；训练模型中包括用于检测对抗样本的贝叶斯子层。步骤S101中，由于本实施例需要进行贝叶斯计算，因此需要在训练模型中集成贝叶斯子层。本实施例中是直接对服务器端的全局训练模型进行转化的，在各个参与对象具有部署轻量级贝叶斯网络的条件下，也可以将模型转化过程置于参与对象处进行，转化过程中需保持模型原有的参数不变。
S102.各参与对象两两发起私密求交操作，使得各参与对象分别获得各自的样本交集。
步骤S102中，参考图2，以参与对象A、参与对象B为例说明私密求交的基本流程。
S102-1.参与对象A向参与对象B发送私密求交请求。
S102-2.参与对象B生成包括公钥、大素数和私钥的秘钥；将秘钥中的公钥和大素数发送给参与对象A。本实施例中参与对象B的秘钥是基于RSA生成的。RSA算法是一种非对称加密算法，参与方B基于RSA生成一个包括公钥e、大素数n和私钥d的秘钥，将公钥e和大素数n发送给参与对象A。
S102-3.参与对象A在本地样本中添加第一随机数后，通过公钥和大素数加密本地样本，得到第一映射样本，将第一映射样本发送给参与对象B。在RSA条件下参与对象A所生成的第一映射样本YA＝{(ri e％n*H(ui))％n|ui∈UA，ri∈r}，其中r为第一随机数，H(u)为哈希函数，UA为参与对象A的本地样本，其中r可能为一个或一组随机数，ri表示随机数的编号。参与对象A将第一映射样本YA发送给参与对象B。
S102-4.参与对象B使用私钥解密第一映射样本和参与对象B的本地样本，并对第一映射样本和参与对象B的本地样本进行盲签名，得到第一签名样本和第二签名样本，将第一签名样本和第二签名样本发送给参与对象A。由于参与对象B并不知道YA的具体内容，而只能使用YA的内容进行计算，参与对象B对自身的本地样本和第一映射样本使用私钥d进行盲签名，得到第一签名样本ZA和第二签名样本ZB，ZA和ZB都是两层哈希运算，参与对象B将ZA和ZB发送给参与对象A。
S102-5.参与对象A使用公钥和大素数验证第一签名样本和第二签名样本后，通过第一随机数反推第一签名样本，得到第一样本集合；参与对象A求得第一样本集合和第二签名样本的交集，作为第一样本空间发送给参与对象B。参与对象A通过随机数r计算经参与对象B盲化处理的ZA，求解得到将盲签名ZA去盲以后形成的集合DA。进一步求得DA和ZB的交集I，将I作为第一样本空间发送给参与对象B。
S102-6.参与对象A和参与对象B分别使用公钥解密第一样本空间，得到参与对象A和参与对象B各自的样本交集。
S103.服务器对各参与对象获得的样本交集进行求交，得到共有样本空间；共有样本空间指联邦学习中全部参与对象共有的样本交集。
步骤S103中通过以下公式求得共有样本空间：
I＝ZB∩DA
DA＝H(ri*H(ui)d/ri)|ri*H(ui)d∈ZA
此处求交利用哈希函数实现，求得共有样本空间后，服务器进行样本特征空间的对齐。
S104.各参与对象根据共有样本空间从各自的本地样本中筛选出位于共有样本空间内的本地样本作为目标本地样本，使用各参与对象各自的目标本地样本对训练模型进行训练，得到各参与对象各自的梯度信息。步骤S104中，根据S103中求得的样本特征空间，各参与方将该交集解密，并选择交集中的数据作为目标本地样本进行训练而产生相同的特征空间，所产生各参与对象各自的梯度信息将被发送至服务器。
S105.服务器接收各参与对象发送的梯度信息，计算梯度信息分布密度的不确定度；
步骤S105中，服务器利用一个变分分布近似计算对齐后的梯度信息的分布密度。假设P为原始数据集的概率分布，q为近似后的变分分布，则该变分分布的计算公式是一个优化问题：
S105-1.寻找近似于梯度信息分布密度的一个贝叶斯分布，使用K-L散度表征梯度信息分布密度和贝叶斯分布的差异性。
服务器端根据求得的共有样本空间，读取各参与对象所传送的梯度信息，求解该优化问题，即可得到近似的变分分布。
K-L散度(相对熵)是一种衡量两个概率分布的匹配程度的指标，两个分布差异越大，K-L散度越大。
式中，P表示梯度信息分布密度，q表示近似的变分贝叶斯分布，θ为训练模型贝叶斯子层的参数，w为训练模型参数，D为梯度信息数据集，Eq(ω|θ)表示近似的变分贝叶斯分布的均值。
本实施例中因为上式q和P都是概率分布，所以作积分都是里面ln的值，当q和P接近时K-L散度就会越发接近于0，所以当q和P差异越小时K-L散度就越小。而之所以不直接计算P，是因为计算P虽然方法简单(遍历整个数据集即可)，但数据量很大时，时间复杂度会非常高。
S105-2.以最小化K-L散度为目标，使用最大化证据下界(Evidence Lower Bound，ELBO)表征最小化K-L散度。
关于ELBO的计算，有下列公式成立：
ELBO＝Eq(w|θ)lnp(D|w)-KL(q(w|θ)||p(w))
而原优化问题又是：
KL(q(w|θ)||p(w|D))＝ln p(D)
+KL(q(w|θ)||p(w))-Eq(w|θ)ln p(D|w)
＝ln p(D)-ELBO
对于同一数据集，Inp(D)是确定的常数，所以argminK-L等价于argmaxELBO，只是相当于加个符号把argmin问题变成argmax问题，即：
KL(q(w|θ)||p(w|D))＝-ELBO+lnp(D)
式中，ELBO表示证据下界，表示最大化证据下界。
由数学计算可知K-L散度大于0，所以从ELBO＝Eq(w|θ)lnp(D|w)-KL(q(w|θ)||p(w))推断出ELBO≤Eq(w|θ)ln p(D|w).而ln p(D|w)可以在样本中观测，称为“证据”，其条件期望不小于ELBO。
S105-3.基于蒙特卡洛方法对各个参与对象进行随机抽样，计算被抽样参与方梯度信息的先验概率，求取被抽样参与方梯度信息的先验概率平均值作为全局先验概率。蒙特卡洛方法是指从目标分布中采样大量的样本，并用抽取的样本去分析目标分布的性质。本实施例中将各个参与对象的梯度信息集合为累积分布，通过随机抽样抽取多个梯度信息，通过统计方法得到多个被抽样参与方梯度信息的先验概率P(Y)i，同时求得多个先验概率P(Y)i的平均为全局先验概率。
示例性地，设随机抽样参与对象为M，则服务器首先计算第m个客户端所上传的梯度信息分类概率p(Dm；wm)；其中D表示梯度信息数据集，w表示参与对象m的样本。
服务器将梯度信息分类概率映射至[0，1]区间，得到先验概率p(D|w)：
S105--4.使用全局先验概率计算最大化证据下界，并求取最大化证据下界的梯度作为ELB0梯度；
将上述先验概率p(D|w)代入ELBO＝Eq(w|θ)ln p(D|w)-KL(q(w|θ)||p(w))公式即可得到ELBO梯度。
S105-5.利用贝叶斯公式计算后验概率，计算ELBO梯度的方差，略去噪声方差项后作为梯度信息分布密度的不确定度。
贝叶斯公式表示为p(w|D)＝p(D|w)×p(w)/p(D)；通过贝叶斯公式计算梯度信息的后验概率p(w|D)；
本实施例中不确定度通过如下公式计算：
式中，U为不确定度，M为蒙特卡洛方法所抽样的样本数，xm为蒙特卡洛抽样后的数据中的一条，x为抽样后的数据，代入梯度D即可。由于本实施例中梯度D都是向量，所以乘二次方可采用向量点乘运算，即计算为模长的平方。
S106.根据梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本。
步骤S106具体包括以下步骤：
S106-1.对各参与对象进行抽样，计算被抽样参与对象本地样本的不确定度和最大化证据下界；
S106-2.将不确定度大于预设不确定度阈值且最大化证据下界小于预设ELBO阈值的参与对象本地样本视作对抗样本。本实施例中将不确定度进行排序，根据模型的参数确定ELB0阈值和不确定度阈值，将将不确定度大于预设不确定度阈值且最大化证据下界小于预设ELBO阈值的参与对象本地样本评选为对抗样本。
在一部分实施例中，在步骤S106之后，还包括以下步骤：
S107.删除对抗样本数量大于预设阈值的参与对象。由于对抗样本数量过多的参与对象对训练模型进行训练时会出现模型将对抗样本误认为正常样本的情况，因此在一部分实施例中，服务器当对抗样本数量大于样本数量的一半时会将该参与对象删除，以保证模型的训练效果。
S108.使用剩余参与对象的梯度信息更新训练模型。服务器利用剩余参与对象的梯度信息进行聚合而更新全局模型。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，包括以下步骤：
服务器向联邦学习的各参与对象下发训练模型；各参与对象使用本地样本对所述训练模型进行训练，得到样本空间；所述训练模型中包括用于检测对抗样本的贝叶斯子层；
各参与对象两两发起私密求交操作，使得各参与对象分别获得各自的样本交集；
服务器对各参与对象获得的样本交集进行求交，得到共有样本空间；所述共有样本空间指联邦学习中全部参与对象共有的样本交集；
各参与对象根据所述共有样本空间从各自的本地样本中筛选出位于所述共有样本空间内的本地样本作为目标本地样本，使用各参与对象各自的目标本地样本对所述训练模型进行训练，得到各参与对象各自的梯度信息；
服务器接收各参与对象发送的梯度信息，计算所述梯度信息分布密度的不确定度；
根据所述梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本。
2.根据权利要求1所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，在所述服务器向联邦学习的各参与对象下发训练模型步骤之前，还包括以下步骤：
服务器在训练模型中集成贝叶斯子层。
3.根据权利要求1所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述联邦学习的各参与对象包括第一参与对象和第二参与对象；所述第一参与对象和第二参与对象之间的私密求交操作，具体包括以下步骤：
第一参与对象向第二参与对象发送私密求交请求；
第二参与对象生成包括公钥、大素数和私钥的秘钥；将秘钥中的公钥和大素数发送给第一参与对象；
第一参与对象在本地样本中添加第一随机数后，通过所述公钥和大素数加密本地样本，得到第一映射样本，将第一映射样本发送给第二参与对象；
第二参与对象使用私钥解密所述第一映射样本和第二参与对象的本地样本，并对第一映射样本和第二参与对象的本地样本进行盲签名，得到第一签名样本和第二签名样本，将第一签名样本和第二签名样本发送给第一参与对象；
第一参与对象使用公钥和大素数验证所述第一签名样本和第二签名样本后，通过第一随机数反推所述第一签名样本，得到第一样本集合；第一参与对象求得第一样本集合和第二签名样本的交集，作为第一样本空间发送给第二参与对象；
第一参与对象和第二参与对象分别使用公钥解密所述第一样本空间，得到第一参与对象和第二参与对象各自的样本交集。
4.根据权利要求1所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述服务器对各参与对象获得的样本交集进行求交，得到共有样本空间之后，还包括以下步骤：
服务器对齐所述共有样本空间。
5.根据权利要求1所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述计算所述梯度信息分布密度的不确定度，具体包括以下步骤：
寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用K-L散度表征所述梯度信息分布密度和贝叶斯分布的差异性；
以最小化K-L散度为目标，使用最大化证据下界表征所述最小化K-L散度；
基于蒙特卡洛方法对各个参与对象进行随机抽样，计算被抽样参与方梯度信息的先验概率，求取所述被抽样参与方梯度信息的先验概率平均值作为全局先验概率；
使用所述全局先验概率计算最大化证据下界，并求取最大化证据下界的梯度作为ELBO梯度；
利用贝叶斯公式计算后验概率，计算所述ELBO梯度的方差，略去噪声方差项后作为所述梯度信息分布密度的不确定度。
6.根据权利要求5所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述寻找近似于所述梯度信息分布密度的一个贝叶斯分布，使用K-L散度表征所述梯度信息分布密度和贝叶斯分布的差异性，具体通过以下公式实现：
式中，P表示梯度信息分布密度，q表示近似的变分贝叶斯分布，θ为所述训练模型贝叶斯子层的参数，w为训练模型参数，D为梯度信息数据集，Eq(ω|θ)表示近似的变分贝叶斯分布的均值。
7.根据权利要求6所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述以最小化K-L散度为目标，使用最大化证据下界表征所述最小化K-L散度，通过以下公式实现：
ELBO＝Eq(w|θ)In p(D|w)-KL(q(w|θ)||p(w))
KL(q(w|θ)||p(w|D))＝-ELBO+ln p(D)
式中，ELBO表示证据下界，表示最大化证据下界。
8.根据权利要求7所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述不确定度通过如下公式计算：
式中，U为不确定度，M为蒙特卡洛方法所抽样的样本数，xm为蒙特卡洛抽样后的数据中的一条，x为抽样后的数据。
9.根据权利要求8所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，所述根据梯度信息分布密度的不确定度测定各参与对象本地样本中的对抗样本，具体包括以下步骤：
对各参与对象进行抽样，计算被抽样参与对象本地样本的不确定度和最大化证据下界；
将不确定度大于预设不确定度阈值且最大化证据下界小于预设ELBO阈值的参与对象本地样本视作对抗样本。
10.根据权利要求1-9任一项所述的一种基于变分贝叶斯网络的联邦学习对抗样本检测方法，其特征在于，还包括以下步骤：
删除对抗样本数量大于预设阈值的参与对象；
使用剩余参与对象的梯度信息更新所述训练模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310361132.6A CN116596062A (zh) | 2023-04-06 | 2023-04-06 | 一种基于变分贝叶斯网络的联邦学习对抗样本检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310361132.6A CN116596062A (zh) | 2023-04-06 | 2023-04-06 | 一种基于变分贝叶斯网络的联邦学习对抗样本检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116596062A true CN116596062A (zh) | 2023-08-15 |
Family
ID=87598011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310361132.6A Pending CN116596062A (zh) | 2023-04-06 | 2023-04-06 | 一种基于变分贝叶斯网络的联邦学习对抗样本检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596062A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173750A (zh) * | 2023-09-14 | 2023-12-05 | 中国民航大学 | 生物信息处理方法、电子设备及存储介质 |
-
2023
- 2023-04-06 CN CN202310361132.6A patent/CN116596062A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173750A (zh) * | 2023-09-14 | 2023-12-05 | 中国民航大学 | 生物信息处理方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fereidooni et al. | SAFELearn: Secure aggregation for private federated learning | |
| Hao et al. | Towards efficient and privacy-preserving federated deep learning | |
| CN111600707B (zh) | 一种在隐私保护下的去中心化联邦机器学习方法 | |
| CN108964926B (zh) | 一种用户信任协商建立方法、用户行为数据存储方法及介质 | |
| CN112101403B (zh) | 基于联邦少样本网络模型的分类方法、系统及电子设备 | |
| Yazdinejad et al. | Hybrid privacy preserving federated learning against irregular users in next-generation Internet of Things | |
| Niu et al. | Toward verifiable and privacy preserving machine learning prediction | |
| CN114363043B (zh) | 一种对等网络中基于可验证聚合和差分隐私的异步联邦学习方法 | |
| CN112101404A (zh) | 基于生成对抗网络的图像分类方法、系统及电子设备 | |
| Hao et al. | Asymmetric cryptographic functions based on generative adversarial neural networks for Internet of Things | |
| Aramoon et al. | Meta-federated learning | |
| CN116596062A (zh) | 一种基于变分贝叶斯网络的联邦学习对抗样本检测方法 | |
| Akter et al. | Edge intelligence-based privacy protection framework for iot-based smart healthcare systems | |
| Wan et al. | Towards privacy-preserving and verifiable federated matrix factorization | |
| CN117521151B (zh) | 一种基于区块链的去中心化联邦学习数据共享方法 | |
| Zhou et al. | VDFChain: Secure and verifiable decentralized federated learning via committee-based blockchain | |
| Wang et al. | FRNet: An MCS framework for efficient and secure data sensing and privacy protection in IoVs | |
| CN112085051B (zh) | 基于加权投票的图像分类方法、系统及电子设备 | |
| Liu et al. | Privacy-preserving multi-task learning | |
| CN117375898A (zh) | 一种用于5g工业物联网中支持可信评估的匿名认证系统 | |
| Zhang et al. | Causal direction inference for network alarm analysis | |
| Li et al. | SVFLC: Secure and Verifiable Federated Learning With Chain Aggregation | |
| Wang et al. | Dual-blockchain based multi-layer grouping federated learning scheme for heterogeneous data in industrial IoT | |
| Yin et al. | PVFL: Verifiable federated learning and prediction with privacy-preserving | |
| Xu et al. | FedG2L: a privacy-preserving federated learning scheme base on “G2L” against poisoning attack |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |