CN112714106B - 一种基于区块链的联邦学习搭便车攻击防御方法 - Google Patents

Abstract

本发明公开一种基于区块链的联邦学习搭便车攻击防御方法，包括：在区块链中任务发布机构与客户端之间依据算力证明构建智能合约，基于智能合约实现搭便车攻击客户端的第一次筛选滤除；任务发布机构依据客户端的更新模型参数相对于WGAN‑GP模型的损失值的分布状态，进行搭便车攻击客户端的第二次筛选滤除；根据客户端训练模型的硬件信息实现搭便车攻击客户端的第三次筛选滤除；经过三次筛选剩下的客户端的更新模型被聚合得到全局模型，该全局模型被广播到区块链中用于下一次联邦学习训练。该方法防止搭便车攻击客户端参与聚合获得聚合模型，实现对联邦学习搭便车攻击的防御，进而保护客户端的隐私和全局模型的泄露。

Description

一种基于区块链的联邦学习搭便车攻击防御方法

技术领域

本发明属于面向联邦学习的防御领域，具体涉及一种基于区块链的联邦学习搭便车攻击防御方法。

背景技术

机器学习(ML)中的一个常见问题是训练模型需要收集大量的培训数据，这些数据通常集中用于分析。然而，当在多方设置中训练ML模型时，用户必须与集中式服务共享其潜在的敏感信息。联邦学习是高规模安全多方ML的一个突出解决方案：客户端与中央聚合器训练共享模型，而不揭示其底层数据或计算。但是，这样做会带来一个微妙的威胁：以前作为被动数据贡献者的客户现在积极参与培训过程。这带来了新的隐私和安全挑战。

在这种情况下，通过聚合训练得到的模型可能具有非常高的商业价值。这一关键方面可能导致联合学习中机会主义行为的出现，在这种情况下，恶意的客户可能参与到获取联邦模型的训练中，而在培训过程中没有实际贡献任何数据。特别地，攻击者或搭便车者的目的是伪装其参与联合学习，同时确保迭代训练过程最终收敛到期望的目标：获得参与者的聚合模型。这类客户端被称为搭便车攻击者，这样的攻击被称为搭便车攻击。免费搭车者提交虚假更新可能主要有两个动机：第一、客户可能没有本次训练的数据，无法通过正常的训练得要模型去上传更新。第二、客户端可能没有足够的算力去参与训练或者希望节省本地CPU与其他计算资源。

在目前联邦学习搭便车攻击中，最强劲的攻击策略为增量权重攻击。对于增量权重攻击，考虑一个复杂的攻击者，它通过减去两个先前接收的全局模型并添加高斯噪声来生成假的梯度更新。搭便车者可能试图通过添加具有零均值和某个标准差的高斯噪声来避免检测，使得所得的梯度更新矩阵具有与其他客户端相似的标准差。

区块链作为一个去中心化的、不可变的、共享的分布式账本和数据库，它非常拟合目前联邦学习中存在的隐私安全问题。区块链中的信息具有不可篡改和可以追溯的特性，这从一定程度上避免了搭便车攻击者对系统的破坏。因此，区块链在联邦学习上的应用可以加强模型的隐私性和系统的安全稳定性。

由于搭便车攻击已经对联邦学习的隐私安全造成了重大的威胁，因此保护联邦学习隐私安全，使其有效安全地在现实生活中应用已经日益成为了人们关注的重点。

发明内容

鉴于上述，本发明的目的是提供一种基于区块链的联邦学习搭便车攻击防御方法，通过区块链技术实现对联邦学习搭便车攻击的防御，以防止不同用户的隐私以及全局模型被泄露。

为了实现上述发明目的，本发明提供以下技术方案：

一种基于区块链的联邦学习搭便车攻击防御方法，包括以下步骤：

在区块链中动态为客户端构建区块节点，同时构建任务发布机构，任务发布机构与客户端之间依据算力证明构建智能合约，智能合约构建过程中，认为算力证明差的客户端为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第一次筛选；

建立智能合约的客户端依据下载的模型进行本地训练，获得更新模型并上传至区块链，任务发布机构将更新模型参数作为WGAN-GP模型的输入数据，并计算WGAN-GP模型的损失值，统计所有更新模型参数对应损失值的分布状态，将突兀损失值对应的更新模型参数所属的客户端作为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第二次筛选；

客户端上传更新模型的同时还要求上传本地训练时的硬件信息，任务发布机构统计硬件信息，将未上传硬件信息的客户端作为为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第三次筛选；

经过三次筛选剩下的客户端的更新模型被聚合得到全局模型，该全局模型被广播到区块链中用于下一次联邦学习训练。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的基于区块链的联邦学习搭便车攻击防御方法，在算力方面，通过区块链中工作量证明机制，要求参与训练的客户端能够进行自证，实现搭便车攻击客户端的第一次筛选；同时，在模型参数方面，采用通过WGAN-GP技术对将要参与聚合的更新模型进行依据损失值的异常检测，从而找出异常的搭便车客户端，实现搭便车攻击客户端的第二次筛选；再者，在是否真实训练方面，根据硬件信息实现搭便车攻击客户端的第三次筛选；通过这三次筛选从三个方面尽可能地滤除掉搭便车攻击者，止搭便车攻击客户端参与聚合获得聚合模型，实现对联邦学习搭便车攻击的防御，进而保护客户端的隐私和全局模型的泄露。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于区块链的联邦学习搭便车攻击防御方法的流程图；

图2是本发明实施例提供的基于区块链的联邦学习搭便车攻击防御方法的算法流程图；

图3是本发明实施例提供的SHA256算法序列计算示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

针对联邦学习的隐私安全问题，尤其是搭便车攻击通过提交虚假更新来欺骗中央服务器，从而免费获得聚合完的全局模型造成的隐私泄露问题。实施例提供了一种基于区块链的联邦学习搭便车攻击防御方法，以保护模型不被泄露。

图1是本发明实施例提供的基于区块链的联邦学习搭便车攻击防御方法的流程图；图2是本发明实施例提供的基于区块链的联邦学习搭便车攻击防御方法的算法流程图。如图1和图2所示，实施例提供的基于区块链的联邦学习搭便车攻击防御方法，包括以下步骤：

步骤1，在区块链中动态为客户端构建区块节点，同时构建任务发布机构，任务发布机构与客户端之间依据算力证明构建智能合约，基于智能合约实现搭便车攻击客户端的第一次筛选滤除。

实施例中，客户端通过算力证明与任务发布机构构建智能合约。区块链系统中，工作量证明PoW是指系统为达到某一目标而设置的度量方法。简单理解就是一份证明，用来确认做过的工作量。监测工作的整个过程通常是极为低效的，而通过对工作的结果进行认证来证明完成了相应的工作量，则是一种非常高效的方式。PoW是按劳分配，算力决定一起，谁的算力多谁记账的概率就越大，可理解为力量型比较。

本实施例中，在PoW的基础上提出了算力证明PoC，任务发布机构与客户端之间依据算力证明构建智能合约，在构建智能合约时，任务发布机构将加入区块链的公钥分到区块链的第一个区块节点中，之后动态构建的每个区块节点均依据上一个区块节点的哈希值采用散列算法进行加密计算获得当前区块节点的哈希值；

每个区块节点对应的客户端依据区块节点的哈希值进行解码，当客户端解码成功获得公钥时，则表明客户端的算力证明满足联邦学习要求，与任务发布机构成功建立智能合约，当客户端解码不成功不能获得公钥时，则表面客户端的算力证明差且不满足联邦学习要求，这样的客户端作为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第一次筛选。

实施例中，算力证明的具体内容为：算力证明PoC通过计算一个数值(nonce)，使得拼揍上参与更新数据后内容的Hash值满足规定的上限，从而得到加入联盟链的公钥，具体步骤过程为：

任务发布机构会将加入联盟链所需的公钥进行加密，采用SHA256算法，该算法又称散列算法，是一种从任何一种数据中创建小的数字“指纹”的方法。散列函数把消息或数据压缩成摘要，使得数据量变小，将数据的格式固定下来。该函数将数据打乱混合，重新创建一个叫做散列值(或哈希值)的指纹。散列值通常用一个短的随机字母和数字组成的字符串来代表。

首先，对任意长度的公钥信息，SHA256算法都会产生一个256位的哈希值，称作信息摘要。这个摘要相当于是个长度为32个字节的数组，通常有一个长度为64的十六进制字符串来表示。然后对信息摘要进行补位处理，确保最终长度是512位的倍数，接着以512位为单位对信息摘要进行分块为M⁽¹⁾,M⁽²⁾,...,M^(N)，并采用Bigendian约定对数据进行编码，即认为第一个字节是最高位字节，因此，对于每一个32位字节，最左边的比特是最大的比特位。之后区块节点将进行逐一处理：从一个固定的初始哈希H⁽⁰⁾开始，进行以下序列的计算：

其中，C(·)为SHA256算法的压缩函数，如图3所示，

表示对区块节点M⁽ⁱ⁾的压缩处理，H⁽ⁱ⁾为第i个区块节点的哈希值，初始哈希值H⁽⁰⁾取自然数中前8个素数平方根的小数部分，并且取前32位，mod(·)表示压缩函数值取余数。

由于SHA256算法是已知答案验证正确很容易，但是要得到答案非常麻烦，需要一个一个数字去试。因此，所有客户端想要得到区块链的公钥需要进行一定的算力运算，该算力运算不会太过复杂而消耗极大的资源。这样，那些本地没有足够算力的搭便车攻击客户端就无法获得参与训练的公钥，从而排除这一类的攻击者。

步骤2，建立智能合约的客户端依据下载的模型进行本地训练，获得更新模型并上传至区块链。

建立智能合约之后，任务发布机构会将初始模型、训练轮数等初始信息公布到区块链中，客户端会从对应的区块节点中下载初始模型和训练轮数等初始信息，然后调用本地样本数据进行模型训练，得到更新模型并上传到对应的区块节点中并广播到区块链。

步骤3，任务发布机构依据更新模型参数相对于WGAN-GP模型的损失值的分布状态，进行搭便车攻击客户端的第二次筛选滤除。

实施例中，对于建立智能合约的具有本地算力的搭便车攻击客户端，任务发布机构将使用WGAN-GP技术进行更新模型的异常检测。即任务发布机构将更新模型参数作为WGAN-GP模型的输入数据，并计算WGAN-GP模型的损失值，统计所有更新模型参数对应损失值的分布状态，将突兀损失值对应的更新模型参数所属的客户端作为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第二次筛选滤除。

生成对抗网络GAN训练策略是定义两个竞争网络之间的博弈。生成器G将噪声源映射到输入空间。判别器D将接收生成的样本或真实数据样本，并且必须区分两者。训练了生成器以欺骗判别器D。正式地，生成器G和判别器D之间的博弈是最小极大目标：

其中，P_r是数据的真实分布，而E是输出期望值，D(·)表示判别器D的预测置信度，如果在每个生成器参数更新之前将判别器训练到最佳状态，则最小化值函数就等于最小化P_r和E之间的JS散度。

但由于GAN训练中一直面临着一些挑战：训练困难，需要精心设计模型结构，并小心协调G和D的训练程度；G和D的损失函数无法指示训练过程，缺乏一个有意义的指标和生成图片的质量相关联；模式崩坏，生成的图片虽然看起来像是真的，但是缺乏多样性。因此选用WGAN-GP进行搭便车攻击检测。于是WGAN-GP模型的损失值L为：

其中，x表示更新模型参数，P_r是真实的数据分布，P_g是定义的生成器模型分布，

是从数据分布P_r与生成器分布P_g中对点直线采样得到的分布。x～P_r表示从数据分布P_r中均匀采样x，

表示将x输入至生成器G得到的重建值，

表示从数据分布P_g中均匀采样

D(·)表示判别器D的预测置信度，E(·)表示联合分布下数据对距离的期望，

表示从数据分布

中均匀采样

λ表示比例因子，

表示梯度的L2范数。与WGAN模型相比，WGAN-GP模型增加了一个正则项

这个正则项即为WGAN-GP中的GP(梯度约束)，1表示为Lipschitz的K值，理由是在实践中需要利用梯度信息来指导生成分布向真实分布靠拢，所以梯度不至于过小，可以有效的加快收敛速度。

实施例中，假设搭便车攻击者接收到了第j-1轮的全局模型M_j-1和第j轮的全局模型M_j，因此搭便车攻击客户端的更新为：

这表明，在第j轮构建的假梯度更新G_i,j ^f，在第j轮构建，本质上是所有客户在前一轮j-1提交的平均梯度更新，n为缩放因子。

因此，根据所有更新模型参数相对于WGAN-GP模型的损失值的分布状态，由于搭便车攻击客户端的更新模型参数是通过添加随机噪声获得的，对应的损失值会与正常客户端的更新模型参数的损失值相差大，因此，直接将损失值与所有损失值的均值之差大于设定阈值的损失值对应的客户端作为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第二次筛选。

具体地，将多个客户端的更新模型参数投入WGAN-GP模型中进行训练，得到各个客户端训练后的损失，由于搭便车攻击是添加随机噪声，因此损失会与正常更新有较大的差别，基于此便可进行异常检测，筛选出搭便车攻击者。实施例中，还根据区块链记账的特性，将每次检测的损失记录在账本上。在特定的某一轮，可以统计每轮更新损失的变化情况，去观察是否存在异常的客户端，进行二轮检测。

步骤4，根据客户端训练模型的硬件信息实现搭便车攻击客户端的第三次筛选滤除。

实施例中，还采用硬件信息滤除的方式，即客户端上传更新模型的同时还要求上传本地训练时的硬件信息，任务发布机构统计硬件信息，将未上传硬件信息的客户端作为为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第三次筛选滤除。

具体实施时，可以采用SGX技术记录客户端训练模型时的硬件信息。其中，硬件信息包括运行内存信息和运行处理器信息。例如GPU信息和CPU信息等。

具体实施时，任务发布机构会要求各个客户端通过SGX技术记录训练时的硬件信息，从而排查搭便车攻击者，具体流程如下：任务发布机构在发布信息时，可以添加要求，让客户端上传训练时的硬件信息；各个客户端在进行本地训练的同时，通过Intel的SGX技术记录硬件信息，同时上传训练模型以及SGX技术记录的硬件信息，若是没有本地数据的搭便车客户，则记录的信息会与正常客户有明显区别，任务发布机构借此可以进行检测筛选。

步骤5，经过三次筛选剩下的客户端的更新模型被聚合得到全局模型，该全局模型被广播到区块链中用于下一次联邦学习训练。

实施例中，每轮训练时，任务发布机构均进行三次筛选，对经过三次筛选剩下的客户端的更新模型进行聚合得到全局模型。筛选结束后，任务发布机构采用以下两种方式对经过三次筛选剩下的客户端的更新模型进行聚合得到全局模型：

方式一：平均聚合方式，即对所有客户端的更新模型参数取平均值获得全局模型参数；

方式二：加权聚合方式，即为每个客户端的更新模型参数赋予权重，然后加权求和所有客户端的更新模型参数获得全局模型参数。

更新的全局模型参数被广播到区块链中，下一轮的客户端会从对应的区块节点中下载全局模型进行下一轮的联邦学习训练。

上述实施例提供的基于区块链的联邦学习搭便车攻击防御方法，利用WGAN-GP与区块链记账特性来进行联邦学习搭便车攻击的防御。首先，利用将客户端的更新模型投入WGAN-GP中，WGAN-GP能够从良性客户端提交的类似权重中学习一些重要的特性，从而对搭便车更新产生不一样的重建误差。因此可以根据各个客户端更新的重建损失，筛检异常的客户；其次将每轮更新的重建损失记录在区块链的账本上，按照时间域进行异常筛除；最后确保没有搭便车攻击者，完成更新聚合得到全局模型。

基于此，上述实施例提供的基于区块链的联邦学习搭便车攻击防御方法有益效果主要表现在：1)各个客户端在参与训练之前，需要通过本地设备进行算力证明，解出参与联盟链的公钥2)利用WGAN-GP进行搭便车检测，保护模型的隐私，提高鲁棒性；3)在联邦学习过程中，利用区块链记账和可回溯性特性收集多轮更新重构损失的信息，筛选出异常的更新，从而消除联邦学习中的搭便车攻击者，保护模型的隐私不会被泄露。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于区块链的联邦学习搭便车攻击防御方法，其特征在于，包括以下步骤：

在区块链中动态为客户端构建区块节点，同时构建任务发布机构，任务发布机构与客户端之间依据算力证明构建智能合约，任务发布机构将加入区块链的公钥分到区块链的第一个区块节点中，之后动态构建的每个区块节点均依据上一个区块节点的哈希值采用散列算法进行加密计算获得当前区块节点的哈希值；

每个区块节点对应的客户端依据区块节点的哈希值进行解码，当客户端解码成功获得公钥时，则表明客户端的算力证明满足联邦学习要求，与任务发布机构成功建立智能合约，当客户端解码不成功不能获得公钥时，则表面客户端的算力证明差且不满足联邦学习要求，这样的客户端作为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第一次筛选；其中，算力证明的具体内容包括：通过计算一个数值，使得拼揍上参与更新数据后内容的Hash值满足规定的上限，从而得到加入联盟链的公钥；

建立智能合约的客户端依据下载的模型进行本地训练，获得更新模型并上传至区块链，任务发布机构将更新模型参数作为WGAN-GP模型的输入数据，并计算WGAN-GP模型的损失值，统计所有更新模型参数对应损失值的分布状态，直接将损失值与所有损失值的均值之差大于设定阈值的损失值对应的客户端作为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第二次筛选；

客户端上传更新模型的同时还要求上传由SGX技术记录的本地训练时的内存信息和运行处理器信息，任务发布机构统计内存信息和运行处理器信息，将未上传内存信息和运行处理器信息的客户端作为搭便车攻击客户端并滤除，实现搭便车攻击客户端的第三次筛选；

每轮训练时，经过三次筛选剩下的客户端的更新模型被聚合得到全局模型，该全局模型被广播到区块链中用于下一次联邦学习训练。

2.如权利要求1所述的基于区块链的联邦学习搭便车攻击防御方法，其特征在于，将更新模型参数作为输入数据输入WGAN-GP模型时，WGAN-GP模型的损失值L为：

其中，x表示更新模型参数，P_r是真实的数据分布，P_g是定义的生成器模型分布，

是从数据分布P_r与生成器分布P_g中对点直线采样得到的分布，x～P_r表示从数据分布P_r中均匀采样x，

表示将x输入至生成器G得到的重建值，

表示从数据分布P_g中均匀采样

D(·)表示判别器D的预测置信度，E(·)表示联合分布下数据对距离的期望，

表示从数据分布

中均匀采样

λ表示比例因子，

表示梯度的L2范数。

3.如权利要求1所述的基于区块链的联邦学习搭便车攻击防御方法，其特征在于，任务发布机构采用以下两种方式对经过三次筛选剩下的客户端的更新模型进行聚合得到全局模型：

方式一：平均聚合方式，即对所有客户端的更新模型参数取平均值获得全局模型参数；

方式二：加权聚合方式，即为每个客户端的更新模型参数赋予权重，然后加权求和所有客户端的更新模型参数获得全局模型参数。

Images