CN115983409A - 基于差分隐私的联邦学习训练方法、装置、系统及设备 - Google Patents

Abstract

本发明提供一种基于差分隐私的联邦学习训练方法、装置、系统及设备，包括：客户端基于服务器发送的模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值；获取部分第一梯度值的索引信息，并对部分第一梯度值进行自适应裁剪，获取第二梯度值；对第二梯度值进行扰动加噪处理，将加噪后的第二梯度值与索引信息进行加密处理，获取密文；将密文发送给洗牌器，洗牌器混洗后发送给服务器，服务器对密文解密和中值填充聚合还原第一梯度值，对全局模型的模型参数进行更新。实现客户端消息匿名化，有效防止梯度攻击，并产生隐私放大效应，降低本地隐私预算及降低添加的噪声，增强数据的效用性，增强模型的准确性，降低了联邦学习的通信量。

Description

基于差分隐私的联邦学习训练方法、装置、系统及设备

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于差分隐私的联邦学习训练方法、装置、系统及设备。

背景技术

机器学习(Machine Learning，ML)与深度学习(Deep Learning，DL)是当前十分流行的人工智能算法技术，这两个技术相关的模型训练往往需要大量的数据支持。这些数据通常来自众多大型机构，例如银行、医院或公司等，而这些机构间的数据交流，由于政策、隐私协议或数据格式等通常存在一定的屏障，因此打破数据孤岛的联邦学习(FederatedLearning，FL)技术应运而生。联邦学习利用参与的各客户端在本地训练模型，通过将本地梯度更新上传到服务器进行聚合，来训练获得全局模型，而无需共享各客户端的隐私或敏感数据。

尽管联邦学习的训练过程保证了参与训练的数据本身并不会从客户端泄露，但是，一些研究表明仅使用联邦学习架构来进行隐私保护的方式已经不再安全，因为模型梯度信息本身也会泄露参与训练的用户隐私数据。因此，提出拥有隐私保护能力的联邦学习方案有着迫切的需求。

差分隐私(Differential Privacy，DP)是近20年发展起来的一种强大的隐私模型，与早期隐私模型相比，能够提供更好的隐私保证水平。其中，本地差分隐私(LocalDifferential Privacy，LDP)是由各客户端完成对本地数据的编码和扰动，随后将其发送给服务器并由服务器完成对扰动后数据的学习，从而实现细粒度更高的记录级别的差分隐私保证。所以，即使服务器遭受破坏，由于数据扰动的存在，用户的隐私仍然能够得到保障。

尽管本地差分隐私技术已经有了众多研究，但目前，本地差分隐私仍面临两大主要挑战：数据的效用性和协议的安全性。由于差分隐私加噪的方式必然带来数据与真实值的偏移，而联邦学习训练梯度是否准确直接决定着整体模型的准确度。

发明内容

本发明提供一种基于差分隐私的联邦学习训练方法、装置、系统及设备，用以解决现有的本地差分隐私技术中数据与真实值偏移导致模型准确度较低的缺陷，实现在保证数据隐私保护的同时提高模型的准确度。

本发明提供一种基于差分隐私的联邦学习训练方法，应用于客户端，包括：

基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的；

获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；

对所述第二梯度值进行扰动加噪处理，将加噪后的所述第二梯度值与所述索引信息进行加密处理，获取密文；

将所述密文发送给洗牌器，其中，所述密文用于经所述洗牌器对各所述客户端的所述密文进行混洗操作后发送给所述服务器，所述服务器对混洗后的所述密文进行解密和中值填充聚合处理后还原所述第一梯度值，并基于所述第一梯度值对全局模型的所述模型参数进行更新。

根据本发明提供的一种基于差分隐私的联邦学习训练方法，所述预设超参数包括预设的Top-k参数，所述Top-k参数用于利用Top-k机制对所述第一梯度值进行采样，选取部分所述第一梯度值，并获取部分所述第一梯度值的所述索引信息。

根据本发明提供的一种基于差分隐私的联邦学习训练方法，所述对所述第二梯度值进行扰动加噪处理，将加噪后的所述第二梯度值与所述索引信息进行加密处理，获取密文的步骤包括：

利用转换函数对所述第二梯度值进行转换，获取预设转换范围的第三梯度值；

将所述第三梯度值进行扰动加噪处理，将加噪后的所述第三梯度值与所述索引信息进行加密处理，获取所述密文。

本发明提供另一种基于差分隐私的联邦学习训练方法，应用于洗牌器，包括：

接收客户端发送的密文并进行混洗操作；

将经过混洗操作后的所述密文发送给服务器，以使所述服务器对完成全局的模型参数进行更新；

其中，所述密文为所述客户端对第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

本发明还提供另一种基于差分隐私的联邦学习训练方法，应用于服务器，包括：

接收洗牌器发送的经过混洗操作后的各客户端的密文；

对每个所述密文进行解密，获取第二梯度值和索引信息；

利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值；

基于所述第一梯度值对全局模型的模型参数进行更新；

其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

本发明还提供一种基于差分隐私的联邦学习训练系统，包括：服务器、洗牌器及至少一个客户端，所述服务器与所述客户端分别与所述洗牌器通信连接；

所述客户端用于基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为所述服务器发送的；获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和所述索引信息进行加密处理，获取密文；将所述密文发送给洗牌器；

所述洗牌器用于接收所述客户端发送的密文并进行混洗操作；将经过混洗操作后的所述密文发送给所述服务器；

所述服务器用于对接收到的所述密文进行解密，获取所述第二梯度值和所述索引信息；利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为所述第一梯度值；基于所述第一梯度值对全局模型的所述模型参数进行更新。

本发明还提供一种基于差分隐私的联邦学习训练装置，包括：

第一获取模块，用于基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的；

第二获取模块，用于获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；

第三获取模块，用于对所述第二梯度值进行扰动加噪处理，将加噪处理后的所述第二梯度值与所述索引信息进行加密处理，获取密文；

发送模块，用于将所述密文发送给洗牌器，其中，所述密文用于经所述洗牌器进行混洗操作后发送给所述服务器，所述服务器对混洗后的所述密文进行解密和中值填充聚合处理后还原所述第一梯度值，并基于所述第一梯度值对全局模型的所述模型参数进行更新。

本发明还提供一种基于差分隐私的联邦学习训练装置，包括：

接收模块，用于接收洗牌器发送的经过混洗操作后的客户端的密文；

解密模块，用于对所述密文进行解密，获取第二梯度值和索引信息；

聚合模块，用于利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值；

更新模块，用于基于所述第一梯度值对全局模型的模型参数进行更新；

其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于差分隐私的联邦学习训练方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于差分隐私的联邦学习训练方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于差分隐私的联邦学习训练方法。

本发明提供的一种基于差分隐私的联邦学习训练方法、装置、系统及设备，通过在客户端本地模型进行训练获取梯度值，选取部分梯度值，获取部分梯度值的索引信息，并结合对部分梯度值进行自适应梯度裁剪，客户端对裁剪后的梯度值进行扰动加噪和加密处理形成密文，通过洗牌器对客户端发送的密文进行混洗操作再发送给服务器，服务器接收并解密密文，获取各客户端训练得到的梯度值进行中值填充聚合处理，得到原始的梯度值对全局模型模型参数进行更新。整个基于差分隐私的联邦学习训练过程，实现客户端消息的匿名化，可以有效防止梯度攻击，并且产生隐私放大效应，可以降低本地隐私预算以及降低添加的噪声，增强数据的效用性，从而增强模型的准确性，也降低了联邦学习的通信量。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的基于差分隐私的联邦学习训练方法的流程示意图之一；

图2是本发明提供的基于差分隐私的联邦学习训练方法的流程示意图之二；

图3是本发明提供的基于差分隐私的联邦学习训练方法的流程示意图之三；

图4是本发明提供的基于差分隐私的联邦学习训练方法中的中值填充聚合方案与其他填充聚合方案的模型准确度对比示意图；

图5是本发明提供的基于差分隐私的联邦学习训练系统的交互流程示意图之一；

图6是本发明提供的基于差分隐私的联邦学习训练系统的交互流程示意图之二；

图7是本发明提供的基于差分隐私的联邦学习训练方法与其他联邦学习训练方法的模型准确度对比示意图；

图8是本发明提供的基于差分隐私的联邦学习训练方法与其他联邦学习训练方法的梯度攻击测试结果对比示意图；

图9是本发明提供的基于差分隐私的联邦学习训练装置的结构示意图之一；

图10是本发明提供的基于差分隐私的联邦学习训练装置的结构示意图之二；

图11是本发明提供的基于差分隐私的联邦学习训练装置的结构示意图之三；

图12是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合图1-图7描述本发明提供的基于差分隐私的联邦学习训练方法。所述方法包括三个参与方：客户端、洗牌器和服务器。其中，客户端可以有一个，也可以有多个，每个客户端分别拥有大量数据并负责在本地完成模型训练，从而可以获取所需的梯度值等训练数据，对训练数据进行加密、数据扰动加噪等操作。洗牌器位于客户端和服务器之间，接收各客户端发送的消息并负责对消息进行混洗操作，随后将混洗后的消息发送给服务器，从而实现客户端消息的匿名化。服务器则负责推送训练模型参数、超参数，分配加密公钥与隐私预算等，同时接收由洗牌器上传的打乱后的消息，并完成解密、聚合以及模型参数更新等工作。下面分别从不同参与方的角度对本发明的基于差分隐私的联邦学习训练方法进行详细描述。

图1为本发明提供的一种基于差分隐私的联邦学习训练方法的流程示意图之一，如图1所示，所述方法应用于客户端，具体包括：

步骤110，基于所述初始模型参数、所述预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的。

具体地，客户端可以根据服务器下发的模型参数、预设超参数，结合本地数据对本地模型的损失函数进行优化，得到本轮训练损失函数的原始梯度参数即第一梯度值，完成本地模型的一轮训练。

在客户端对本地模型进行第一轮训练之前，服务器可以初始化全局模型的模型参数，生成初始模型参数，并将初始模型参数和预设超参数一同分发给各个客户端。

在一个实施例中，所述预设超参数包括公钥

Top-k参数k、自适应梯度裁剪率η和各客户端梯度的各维度的隐私预算ε_k。服务器可以将这些参数一同分发给各个客户端。其中，服务器可以生成公私钥对

和

将公钥

发送给各客户端，客户端后续可以根据公钥进行加密。

在一个实施例中，Top-k参数k、自适应梯度裁剪率η可以是用户指定的参数。

需要理解的是，在第一轮训练之后，在每一轮训练迭代中，服务器则只需向各个客户端分发上一次训练更新的模型参数w^t-1。客户端则根据更新的模型参数、预设超参数，结合本地数据完成本地模型的每一轮迭代训练。

在一个实施例中，所述预设超参数还包括预设的动量修正系数，所述动量修正系数用于对训练得到的梯度值进行动量修正，得到所述第一梯度值。

在机器学习算法中，梯度下降算法由于训练数据、批次大小等因素，往往会呈现震荡式下降。因此，为了尽量保持梯度下降方向的一致性，或者说为了避免突然产生的梯度爆炸现象，本实施例引入动量修正机制。以Momentum算法为代表，在保持原有梯度下降方向的基础上，利用训练获得的梯度下降方向进行微调，从而实现梯度更新。

具体地，动量修正机制的形式化公式可以如下公式所示：

其中，g^t为第t轮训练的梯度下降值，β为动量修正系数，w^t为第t轮训练的模型参数，x和y为训练数据与标记，函数

为损失函数。

本实施例引入动量修正算法的优势在于：训练初期，模型参数急剧变化，每轮迭代的梯度下降方向较为一致，动量修正算法会加速这一过程，使得模型更快收敛。训练末期，模型参数逐渐进入平台期，微小的数据差异就可能引起巨大的梯度下降方向差异，导致模型参数的震荡，此时动量修正算法有利于约束梯度下降方向，从而增加训练的稳定性，避免梯度爆炸的产生。

在一个实施例中，预设的动量修正系数可以是由用户指定的参数。

步骤120，获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值。

具体地，由于第一梯度值的数量较多，可以只上传具有代表性的第一梯度值给服务器，用于服务器进行全局模型的训练，因此，客户端可以选取部分第一梯度值，并获取这些第一梯度值的索引信息。

在一个实施例中，所述预设超参数包括预设的Top-k参数，所述Top-k参数用于利用Top-k机制对所述第一梯度值进行采样，选取部分所述第一梯度值，并获取部分所述第一梯度值的索引信息。

具体地，服务器下发的预设超参数可以包括预设的Top-k参数k。客户端可以根据服务器下发的Top-k参数k，对训练获取的第一梯度值进行Top-k采样，选取出k个用于上传服务器的第一梯度值，并获取这部分第一梯度值的索引信息。

在一个实施例中，利用Top-k机制对所述第一梯度值按照绝对值从高到低的顺序进行Top-k采样，得到k个用于上传服务器的第一梯度值。例如，选取绝对值从高到低顺序中的前k个第一梯度值，这些第一梯度值往往具有较高的代表性。

需要理解的是，传统的本地差分隐私方案往往会选择为梯度中各维度数据添加噪声，但是根据差分隐私的组合原理可以看出，随着数据量的增加隐私预算会逐渐积累，最终可能导致隐私预算爆炸(即较大的隐私预算、较低的隐私保护水平)。在联邦学习的每轮训练中，服务器从客户端获取梯度更新值的过程可以看作是服务器对客户端数据的查询，而模型梯度的维度大小可以看作是数据量大小的反映，因此从直觉上分析，随着训练模型参数复杂度的提升，传统差分隐私方案的隐私预算也会在组合原理下激增，最终导致隐私预算爆炸和差分隐私失效。换句话说，随着联邦学习模型参数的维度的增加，模型的噪声也会急剧增加，这不但降低了差分隐私保护水平，还导致了数据效用性的严重降低。因此，对梯度值进行随机采样来减少添加噪声的数据量成为一个直观的解决办法。

但是，考虑到联邦学习中梯度下降值对模型训练准确度的特殊意义和重要作用，随机采样的方式可能导致参数更新严重偏离最优的梯度下降方向，从而极大地减缓模型收敛速度甚至导致模型的失效，因此本方案选取了绝对值最大的k个梯度值进行模型更新。

另一方面，在分布式的随机梯度下降算法中(联邦学习算法也可以看作是一种特殊的分布式随机梯度下降算法)，99.9％的梯度交换是冗余的，并且在一些特殊基准数据集和算法上，稀疏梯度训练的Top-1损失甚至比具有相同训练损失的基准下降得更快。

综上，本发明引入了Top-k机制，对客户端本地训练获得的梯度值按照绝对值从高到低进行Top-k采样，得到用于上传的梯度值的索引信息。

具体而言，Top-k机制的优势包括：第一，极大地降低了隐私预算积累，避免了隐私预算随着模型参数维度的增加而激增。第二，在降低隐私预算的同时保证了模型梯度选择的“代表性”。第三，降低了添加的噪声，增强了数据的效用性，有利于进一步增强模型的准确性。第四，上传梯度信息的减少有效降低了联邦学习的通信量，起到了与数据压缩相同的效果。

在选取出需要上传至服务器的k个第一梯度值之后，客户端还根据接收到的自适应梯度裁剪率对选取出的k个第一梯度值进行自适应裁剪，获取第二梯度值。

需要理解的是，第二梯度值的数量也是k个，自适应梯度裁剪的过程是根据自适应裁剪率，将k个第一梯度值裁剪至合适的裁剪范围，得到第二梯度值，每个第二梯度值在裁剪范围内，输出第二梯度值的数量保持不变。由此，还可以得到裁剪上下界信息。

具体地，梯度裁剪是机器学习算法中常用的一项技术，其目的在于解决梯度爆炸和梯度消失问题，即如果梯度因为训练而突然变得异常偏离原有梯度方向(例如，模型的损失函数中存在如悬崖一般的斜率较大的区域)，梯度裁剪将有效避免梯度爆炸和梯度消失的产生。目前，机器学习领域常用的梯度裁剪方法有两种：一种根据模型设置的裁剪阈值，对超过阈值的梯度进行梯度裁剪，将梯度限制在一定的范围内。另一种则根据模型梯度向量的L₂范数进行裁剪。

但是，应用差分隐私的联邦学习模型中的梯度裁剪还有另一个重要作用——提供合适的敏感度。以常用在本地差分隐私中的Laplace机制为例，为了使敏感度为Δf的函数满足ε-差分隐私，则需要添加满足Lap(Δf/ε)的Laplace噪声。因此，为了使用Laplace噪声来实现本地差分隐私保障，需要为训练模型选择合适的梯度裁剪范围来限制敏感度。

自适应梯度裁剪的优势在于，机器学习模型通常包含多个层，而每层的参数范围通常会有较大的差异，因此，选择单一的梯度裁剪阈值会影响模型的准确度和精度。此时一个直观的解决办法是为每层设置独立的梯度裁剪阈值或每层单独实现L₂范数的梯度裁剪。但是，由用户指定各层梯度裁剪阈值的方式不适合较大的模型，导致模型准确度可能与用户选择高度相关；而各层独立使用L₂范数的梯度裁剪方案又导致模型过分依赖于数据、人为不可修正，同样不利于模型训练的普适化。自适应梯度裁剪方案结合了上述两种解决办法的优势并摒弃了它们的缺点，根据数据本身范围和用户指定的自适应梯度裁剪率协同完成梯度裁剪，从而实现数据导向和人为导向的结合。

步骤130，对所述第二梯度值进行扰动加噪处理，将加噪处理后的所述第二梯度值与所述索引信息进行加密处理，获取密文。

具体地，可以根据接收到的隐私预算ε_k利用满足Lap(1/ε_k)的Laplace机制进行扰动加噪处理，使梯度的各维度满足ε_k-差分隐私。然后使用公钥

对处理后的梯度值、索引信息进行加密，生成密文发送给洗牌器。

在一个实施例中，所述对所述第二梯度值进行扰动加噪处理，将加噪后的所述第二梯度值与所述索引信息进行加密处理，获取密文的步骤包括：利用转换函数对所述第二梯度值进行转换，获取预设转换范围的第三梯度值；将所述第三梯度值进行扰动加噪处理，将加噪后的所述第三梯度值与所述索引信息进行加密处理，获取所述密文。

本实施例在对第二梯度值进行扰动加噪之前，利用转换函数(Trans(·)函数)对第二梯度值进行转换，例如，将第二梯度值转换到[0,1]区间，获取第三梯度值。这样，自适应梯度裁剪结合转换函数的范围转换将梯度值限制在[0,1]区间内，可以提供合理的敏感度，也减小了客户端、洗牌器以及服务器之间的通信开销。

在一个实施例中，可以利用RC4、AES、TEA、RC2、IDEA、RSA等加密算法进行加密处理。

在一个实施例中，利用RSA加密算法对加噪后的所述第三梯度值与所述索引信息进行加密处理。利用RSA加密算法加密的密文长度较小，能够进一步地减小计算量和通信开销。

在一个实施例中，所述密文还包括裁剪上下界信息。这样，以便后续服务器可以根据裁剪上下界信息还原出原始的第一梯度值。

步骤140，将所述密文发送给洗牌器，其中，所述密文用于经所述洗牌器进行混洗操作后发送给服务器，所述服务器对混洗后的所述密文进行解密和中值填充聚合处理后还原所述第一梯度值，并基于所述第一梯度值对全局模型的所述模型参数进行更新。

本发明提供的基于差分隐私的联邦学习训练方法，通过客户端对本地模型进行训练获取梯度值，利用Top-k机制对梯度值进行Top-k采样，获取索引信息，并结合对梯度值进行自适应梯度裁剪，客户端对裁剪后的梯度值进行扰动加噪和加密处理形成密文，通过洗牌器对客户端发送的密文进行混洗操作再发送给服务器，服务器接收并解密密文，获取各客户端训练得到的梯度值进行中值填充聚合处理，得到原始的梯度值对全局模型的模型参数进行更新，更新后的模型参数再下发至客户端，客户端根据更新后的模型参数和本地数据对本地模型再次训练。由此，客户端可以对本地模型完成多轮迭代训练，并由服务器更新全局模型的模型参数，直至模型参数收敛至指定范围内后可以停止训练，从而完成对全局模型的训练。整个基于差分隐私的联邦学习训练过程，实现客户端消息的匿名化，可以有效防止梯度攻击，并且产生隐私放大效应，可以降低本地隐私预算以及降低添加的噪声，增强数据的效用性，从而增强模型的准确性，也降低了联邦学习的通信量。

图2为本发明提供的一种基于差分隐私的联邦学习训练方法的流程示意图之二。如图2所示，所述方法应用于洗牌器，包括：

步骤210，接收客户端发送的密文并进行混洗操作。

步骤220，将经过混洗操作后的所述密文发送给所述服务器，以使所述服务器对全局模型的模型参数进行更新。

其中，所述密文为所述客户端对第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

具体地，本发明引入洗牌器具有以下优势：第一，为联邦学习的本地差分隐私模型引入洗牌器可以产生隐私放大效应，从而可以在相同全局差分隐私预算的情况下，为本地分配更小的本地隐私预算，以达到减小噪声添加、增强数据效用的作用。第二，洗牌器的混洗过程使得客户端对于服务器具有匿名性，从而避免了服务器对单一客户端数据的积累，进一步避免了隐私预算爆炸的问题。第三，洗牌器可以提供用户匿名性，进一步促进了服务器与采样功能的分离。

另一方面，洗牌器结合客户端、服务器的加解密过程也具有一定的必要性：第一，清楚知晓客户端身份信息的洗牌器不适合同时掌握客户端的数据，否则洗牌器等效于传统本地差分隐私中的服务器角色，从而导致洗牌器的引入失效。换句话说，服务器与客户端之间加解密过程的引入，保证了即使洗牌器知道各客户端的身份，也无法获取各客户端的明文数据，从而保护了用户的隐私。第二，加解密过程的引入使得洗牌器可以保持诚实但好奇的安全假设，不需要完全可信任，从而避免了本发明降级为本地差分隐私级别。

图3为本发明提供的一种基于差分隐私的联邦学习训练方法的流程示意图之三。如图3所示，所述方法应用于服务器，包括：

步骤310，接收洗牌器发送的经过混洗操作后的客户端的密文。

步骤320，对所述密文进行解密，获取第二梯度值和索引信息。

步骤330，利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值。

步骤340，基于所述第一梯度值对全局模型的模型参数进行更新。

其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

具体地，考虑到裁剪转换后的数据在区间[0,1]内，除去Top-k采样的梯度值外，其余梯度值不被上传，因此为了更好地完成在服务器上的聚合，需要对其余梯度进行填充处理。本发明的服务器利用了中值填充聚合算法，即将其余未被选中的梯度值全部填充为中值0.5并完成多个客户端的聚合，随后可以结合裁剪上下界信息计算出裁剪平均上下界，并使用Trans(·)函数将中值填充聚合后的梯度值转换回原始的第一梯度值。

需要理解的是，本发明先将各个客户端的第二梯度值进行聚合，再统一将各第二梯度值还原为第一梯度值。这样，第一，可以避免对每个客户端的每个梯度值都进行转换，在有大量客户端参与训练的情况下，极大地提高了聚合速度。第二，实验结果表明，先聚合后利用裁剪平均上下界进行梯度值转换的方式，能够得到更高的模型准确度。这一点的直观解释是，先中值填充聚合后利用均值转换的方式避免了因个别异常梯度数据先转换回原始范围后，导致对整体梯度产生极大的偏移影响，从而可以有效纠正模型动荡，进一步增加了模型的准确度。

应当理解的是，服务器还原出的第一梯度值是客户端在本地对本地模型进行训练所获取的所有的原始的第一梯度值。即利用中值填充聚合算法，结合部分第一梯度值的索引信息，可以从第二梯度值中还原出客户端本轮训练得到的所有的第一梯度值。

在一个实施例中，在有多个客户端发送密文的情况下，服务器可以对还原出的各个客户端的第一梯度值进行均值计算，获取平均第一梯度值；基于平均第一梯度值对全局模型的模型参数进行更新。

为了证明本发明采用的中值填充聚合方案与无填充先转换后均值聚合方案、中值填充先转换后均值聚合方案、[0,1]区间内中值附近随机填充先均值聚合后转换方案、[0,1]区间内随机填充先均值聚合后转换方案等相比，能够为模型提供更高的准确度，在基准数据集MNIST上在保持训练模型其他超参数(动量修正系数β、Top-k参数k、自适应梯度裁剪率η和隐私预算ε_k)一致的情况下，对本发明方案和上述几种方案进行了准确度的测试。

具体地，在数据集的准备与划分上，将MNIST的60000个数据样本进行了分类，其中80％用于训练、20％用于测试。联邦学习模型包含6000个客户端，其中各客户端拥有10个数据样本。在客户端本地训练模型的设置上，采用了单层神经网络结构，模型输入为784维的矩阵；输出为数字0到9之一；参数为784维向量对应的784维权重矩阵和1个修正偏移权重(bias)到10个输出的映射，即d＝(784+1)×10＝7850维的全连接层参数矩阵。在模型的每轮全局迭代中，有1000个客户端参与，且客户端内的训练批次大小设置为8。

本次测试得到的对比结果如图4所示，其中菱形节点的曲线为本发明中值填充聚合方案的准确度曲线，可以从图4看出，本发明的中值填充聚合方案的准确度最高。

得到如图4的对比结果的主要原因是：随机值填充的方案可能导致在梯度被恢复到原有范围后发生梯度爆炸，从而影响训练模型的收敛速度和准确度。而不进行填充直接聚合的方案显然会导致部分维度的梯度严重偏离原始数值，尽管这些梯度信息的重要性较低，但是仍不可避免地会对模型的收敛速度和准确度产生影响。

本发明还提供一种基于差分隐私的联邦学习训练系统，所述系统包括：服务器、洗牌器及至少一个客户端，所述服务器与所述客户端分别与所述洗牌器通信连接。

具体地，所述客户端用于基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为所述服务器发送的；获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和所述索引信息进行加密处理，获取密文；将所述密文发送给洗牌器；

所述洗牌器用于接收所述客户端发送的密文并进行混洗操作；将经过混洗操作后的所述密文发送给所述服务器；

所述服务器用于对接收到的所述密文进行解密，获取所述第二梯度值和所述索引信息；利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为所述第一梯度值；基于所述第一梯度值对全局模型的所述模型参数进行更新。

图5是本发明提供的基于差分隐私的联邦学习训练系统的交互流程示意图之一。如图5所示：

所述服务器用于向所述客户端分发初始模型参数和预设超参数；

所述客户端用于基于接收到的所述初始模型参数、所述预设超参数和本地数据对本地模型进行训练，获取第一梯度值；利用Top-k机制获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和所述索引信息进行加密处理，获取密文；将所述密文发送给洗牌器；

所述洗牌器用于接收各所述客户端发送的密文并进行混洗操作；将经过混洗操作后的各所述密文发送给所述服务器；

所述服务器还用于对接收到的每个所述密文进行解密，获取所述第二梯度值和所述索引信息；利用中值填充聚合算法并结合所述索引信息将各所述第二梯度值还原为所述第一梯度值；根据各所述第一梯度值对全局模型的初始模型参数进行更新。

图5展示了客户端对本地模型进行第一轮训练时与洗牌器、服务器之间的交互过程。

图6是本发明提供的基于差分隐私的联邦学习训练系统的交互流程示意图之二。如图6所示，由服务器分发初始模型参数和预设超参数后，各客户端分别在本地利用本地数据库的数据，应用动量修正算法完成本地模型的训练。得到初始的本地训练梯度值后，应用Top-k算法选取出最具代表性的梯度值并完成自适应梯度裁剪。随后对选取的裁剪后的梯度值添加噪声并加密发送给洗牌器完成混洗操作。接着由服务器完成解密与中值填充聚合操作，对全局模型的模型参数进行更新，并分发更新后的模型参数给各个客户端，由此完成多轮训练迭代。

可以理解的是，在进行后续的每一轮迭代训练中，服务器只需向客户端下发更新后的模型参数，客户端则根据更新后的模型参数、预设超参数，结合本地数据对本地模型进行训练，以此类推，本文不再赘述。

本发明提供的基于差分隐私的联邦学习训练方法，可以通过三个方面评估其技术优势：隐私保护水平、准确度和安全性。

1、隐私保护水平评估优势：

本发明针对客户端所选中的k个梯度值添加噪声，噪声分布满足差分隐私的Laplace机制。为对其所满足的隐私保护水平进行评估，本发明以全局差分隐私水平作为评价标准，并从各客户端选取的k维梯度数据和参与的客户端数量n中抽象出本发明的中心差分隐私水平。

首先，根据差分隐私的朴素组合原理(ε-差分隐私机制类在k折适应性组合下满足kε-差分隐私)，可以得到如下推论1。

推论1对于每个客户端，当为梯度值的各维度数据分配ε_k的差分隐私时，整体客户端满足k·ε_k-本地差分隐私。

其次，考虑到本发明引入了洗牌器，从而产生了隐私放大效应，因此在此引入洗牌模型隐私放大理论，如定理1所示。

定理1(隐私放大理论)在洗牌模型中，如果随机算法

满足ε_l-本地差分隐私，其中ε_l≤log(n/log(1/δ_c))/2，则洗牌机制

满足(ε_c,δ_c)-差分隐私，有：

其中，(a∧b)＝min(a,b)。

因此根据推论1和定理1，可以得到本发明的全局差分隐私保护水平，如推论2所示。

推论2(本发明的全局差分隐私水平)对于本发明，如果随机算法

满足k·ε_k-本地差分隐私，其中

则洗牌机制

满足(ε_c,δ_c)-差分隐私，有：

综上，对本发明全局差分隐私水平理论评估结果表明，在n个客户端各选取k个梯度值并分配ε_k本地差分隐私预算与δ_c全局错误率的情况下，本发明能提供

差分隐私的隐私保护水平。

2、准确度评估优势

(1)设置

本发明采用了基准数据集MNIST和逻辑回归模型对本发明的方案进行了准确度的测试。在数据集的准备与划分上，将MNIST的60000个数据样本进行了分类，其中80％用于训练、20％用于测试。联邦学习模型包含6000个客户端，其中各客户端拥有10个数据样本。在客户端本地训练模型的设置上，采用了单层神经网络结构，模型输入为784维的矩阵；输出为数字0到9之一；参数为784维向量对应的784维权重矩阵和1个修正偏移权重(bias)到10个输出的映射，即d＝(784+1)×10＝7850维的全连接层参数矩阵。在模型的每轮全局迭代中，有1000个客户端参与，且客户端内的训练批次大小设置为8。

(2)与同类型方案的对比

为了与其他相关的先进方案进行对比，本发明首先确定了一些基准算法：无噪声的联邦学习模型(NP-FL)、使用高斯机制的深度学习差分隐私方案(DP-FL)以及应用高斯机制的传统差分隐私方案(LDP-FL)。基准算法的本地训练中均使用了动量修正技术。其次，本发明还与SS-Simple、SS-Double和SS-Topk方案进行了对比。

上述对比在相同的数据集划分与设置下完成：基准算法及本发明的本地训练模型中的动量修正系数均选取β＝0.9；需要进行梯度采样的算法中，采样个数(或Topk值)均选取k＝157；DP-FL采用了L₂范数梯度裁剪的方法，LDP-FL、SS-Simple、SS-Double和SS-Topk的梯度裁剪范围为[-0.01,0.01]，本发明的自适应梯度裁剪率η＝0.1；需要分配隐私预算的算法均采用了ε_k＝0.5的本地隐私预算。结果具体如图7所示，在图7中，三角形节点的曲线为本发明的方案的准确度曲线。

从图7可以明显观察到：

第一，尽管为本发明的方案分配了较大的隐私预算，使得本发明的方案添加了较大的数据噪声，但是与未添加噪声的基准算法(NP-FL)89.28％的准确性相比，本发明的方案具有85.28％的差距极小的准确性，且这一准确性远高于SS-Topk的68.38％的准确性。

第二，本发明的方案的准确度曲线随着迭代次数的增加，仍呈现上升的趋势，这一特点与未添加噪声的NP-FL算法基本一致。而SS-Topk算法的曲线则随着迭代轮次的增加出现了明显的震荡现象，甚至出现了明显的准确度下降问题。这一现象的直观解释是，SS-Topk方案没有对梯度值进行修正、梯度裁剪阈值与数据的适应性欠妥、且由于在聚合过程中的填充方案二次分配了隐私预算，从而造成聚合数据产生较大偏移。另外，DP-FL、LDP-FL、SS-Simple和SS-Double算法的准确度都随着迭代轮次的增加出现了明显的下降趋势。这一现象表明，噪声的添加已经严重影响了模型梯度的原始数据。

上述结果直观地说明了本发明的方案引入的动量修正算法、自适应梯度裁剪和中值填充聚合方案的重要性。动量修正算法使得模型迅速收敛并始终保持准确度的稳定，避免出现模型动荡。自适应梯度裁剪使得裁剪范围可以随着数据做出调整，避免拘泥的数值选择。中值填充聚合算法则对未上传的缺失梯度信息进行了填充，使得梯度更新值更接近原始梯度。以上三者相辅相成，使得本方案达到了极为优异的准确度。

3、安全性评估优势

当前联邦学习所面临的最主要的安全性挑战是梯度泄露问题，而针对梯度泄露的主要攻击手段是梯度攻击。梯度攻击针对单次梯度值构建初始随机训练数据，并利用神经网络不断调整训练数据来使得构建的数据通过原始梯度模型后可以得到或接近原始梯度值，从而实现用户训练数据的恢复。

为了测试本发明的方案进行加噪处理后的梯度是否具有抵抗梯度攻击的安全性，本次使用DLG攻击、R-GAP攻击、IG攻击以及BICR攻击对本发明方案的安全性进行了系统的测试。

(1)设置

本次安全性测试使用了Breaching框架，并在基准数据集CIFAR-10上完成了梯度攻击测试。在对各攻击的整体测试中，数据集的划分采用了“unique-class”模式。

(2)整体安全性评估

本次分别使用了DLG、R-GAP、IG和BICR算法完成对本发明方案的攻击，图8中详细展示了攻击结果，包括：参与训练的原始图片、未添加噪声的梯度攻击结果(即梯度攻击恢复出的参与训练的图像)和对本发明方案上传的梯度进行攻击的结果。

根据图8的攻击结果可以明显看出，在无噪声时四种梯度攻击都十分有效，几乎可以恢复出与原始图像完全相同的图像信息；但当对本发明方案产生的梯度值进行梯度攻击时，上述目前最先进的梯度攻击均失效，这表明了本发明方案在抵抗现有梯度攻击上具有更高的安全性。

下面对本发明提供的基于差分隐私的联邦学习训练装置进行描述，下文描述的基于差分隐私的联邦学习训练装置与上文描述的基于差分隐私的联邦学习训练方法可相互对应参照。

图9为本发明提供的一种基于差分隐私的联邦学习训练装置的结构示意图，如图9所示，所述装置包括：

第一获取模块910，用于和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的；

第二获取模块920，用于获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；

第三获取模块930，用于对所述第二梯度值进行扰动加噪处理，将加噪处理后的所述第二梯度值与所述索引信息进行加密处理，获取密文；

发送模块940，用于将所述密文发送给洗牌器，其中，所述密文用于经所述洗牌器进行混洗操作后发送给所述服务器，所述服务器对混洗后的所述密文进行解密和中值填充聚合处理后还原所述第一梯度值，并基于所述第一梯度值对全局模型的所述模型参数进行更新。

图10为本发明提供的另一种基于差分隐私的联邦学习训练装置的结构示意图，如图10所示，所述装置包括：

混洗模块1010，用于接收客户端发送的密文并进行混洗操作；

发送模块1020，用于将经过混洗操作后的所述密文发送给服务器，以使所述服务器对全局模型的模型参数进行更新。

其中，所述密文为所述客户端对第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

图11为本发明提供的另一种基于差分隐私的联邦学习训练装置的结构示意图，如图11所示，所述装置包括：

接收模块1110，用于接收洗牌器发送的经过混洗操作后的客户端的密文；

解密模块1120，用于对所述密文进行解密，获取第二梯度值和索引信息；

聚合模块1130，用于利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值；

更新模块1140，用于基于所述第一梯度值对全局模型的模型参数进行更新；

其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行基于差分隐私的联邦学习训练方法，该方法包括：基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的；获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；对所述第二梯度值进行扰动加噪处理，将加噪处理后的所述第二梯度值与所述索引信息进行加密处理，获取密文；将所述密文发送给洗牌器，其中，所述密文用于经所述洗牌器进行混洗操作后发送给所述服务器，所述服务器对混洗后的所述密文进行解密和中值填充聚合处理后还原所述第一梯度值，并基于所述第一梯度值对全局模型所述模型参数进行更新。

此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明还提供另一种电子设备，所述电子设备可以包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行基于差分隐私的联邦学习训练方法，该方法包括：接收客户端发送的密文并进行混洗操作；将经过混洗操作后的所述密文发送给服务器，以使所述服务器对全局模型的模型参数进行更新；其中，所述密文为所述客户端对第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

本发明还提供另一种电子设备，所述电子设备可以包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行基于差分隐私的联邦学习训练方法，该方法包括：接收洗牌器发送的经过混洗操作后的客户端的密文；对所述密文进行解密，获取第二梯度值和索引信息；利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值；基于所述第一梯度值对全局模型的模型参数进行更新；其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端利获取的部分所述第一梯度值的索引信息。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于差分隐私的联邦学习训练方法，该方法包括：基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的；获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；对所述第二梯度值进行扰动加噪处理，将加噪处理后的所述第二梯度值与所述索引信息进行加密处理，获取密文；将所述密文发送给洗牌器，所述密文用于经所述洗牌器进行混洗操作后发送给所述服务器，所述服务器对所述密文进行解密和中值填充聚合处理后还原所述第一梯度值，并基于所述第一梯度值对全局模型的模型参数进行更新。

本发明还提供另一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于差分隐私的联邦学习训练方法，该方法包括：接收客户端发送的密文并进行混洗操作；将经过混洗操作后的所述密文发送给服务器，以使所述服务器对全局模型的模型参数进行更新；其中，所述密文为所述客户端对第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

本发明还提供另一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于差分隐私的联邦学习训练方法，该方法包括：接收洗牌器发送的经过混洗操作后的客户端的密文；对所述密文进行解密，获取第二梯度值和索引信息；利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值；基于所述第一梯度值对全局模型的模型参数进行更新；其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于差分隐私的联邦学习训练方法，该方法包括：基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的；获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；对所述第二梯度值进行扰动加噪处理，将加噪处理后的所述第二梯度值与所述索引信息进行加密处理，获取密文；将所述密文发送给洗牌器，所述密文用于经所述洗牌器进行混洗操作后发送给所述服务器，所述服务器对所述密文进行解密和中值填充聚合处理后还原所述第一梯度值，并基于所述第一梯度值对全局模型的所述模型参数进行更新。

本发明还提供另一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于差分隐私的联邦学习训练方法，该方法包括接收客户端发送的密文并进行混洗操作；将经过混洗操作后的所述密文发送给服务器，以使所述服务器对全局模型的模型参数进行更新；其中，所述密文为所述客户端对第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

本发明还提供另一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于差分隐私的联邦学习训练方法，该方法包括：接收洗牌器发送的经过混洗操作后的客户端的密文；对所述密文进行解密，获取第二梯度值和索引信息；利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值；基于所述第一梯度值对全局模型的模型参数进行更新；其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于差分隐私的联邦学习训练方法，其特征在于，应用于客户端，包括：

基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的；

获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；

对所述第二梯度值进行扰动加噪处理，将加噪处理后的所述第二梯度值与所述索引信息进行加密处理，获取密文；

将所述密文发送给洗牌器，其中，所述密文用于经所述洗牌器进行混洗操作后发送给所述服务器，所述服务器对混洗后的所述密文进行解密和中值填充聚合处理还原所述第一梯度值，并基于所述第一梯度值对全局模型的所述模型参数进行更新。

2.根据权利要求1所述的基于差分隐私的联邦学习训练方法，其特征在于，所述预设超参数包括预设的Top-k参数，所述Top-k参数用于利用Top-k机制对所述第一梯度值进行采样，选取部分所述第一梯度值，并获取部分所述第一梯度值的所述索引信息。

3.根据权利要求1所述的基于差分隐私的联邦学习训练方法，其特征在于，所述对所述第二梯度值进行扰动加噪处理，将加噪后的所述第二梯度值与所述索引信息进行加密处理，获取密文的步骤包括：

利用转换函数对所述第二梯度值进行转换，获取预设转换范围的第三梯度值；

将所述第三梯度值进行扰动加噪处理，将加噪后的所述第三梯度值与所述索引信息进行加密处理，获取所述密文。

4.一种基于差分隐私的联邦学习训练方法，其特征在于，应用于洗牌器，包括：

接收客户端发送的密文并进行混洗操作；

将经过混洗操作后的所述密文发送给服务器，以使所述服务器对全局模型的模型参数进行更新；

其中，所述密文为所述客户端对第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

5.一种基于差分隐私的联邦学习训练方法，其特征在于，应用于服务器，包括：

接收洗牌器发送的经过混洗操作后的客户端的密文；

对所述密文进行解密，获取第二梯度值和索引信息；

利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值；

基于所述第一梯度值对全局模型的模型参数进行更新；

其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端对部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

6.一种基于差分隐私的联邦学习训练系统，其特征在于，包括：服务器、洗牌器及至少一个客户端，所述服务器与所述客户端分别与所述洗牌器通信连接；

所述客户端用于基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为所述服务器发送的；获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和所述索引信息进行加密处理，获取密文；将所述密文发送给洗牌器；

所述洗牌器用于接收所述客户端发送的密文并进行混洗操作；将经过混洗操作后的所述密文发送给所述服务器；

所述服务器用于对接收到的所述密文进行解密，获取所述第二梯度值和所述索引信息；利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为所述第一梯度值；基于所述第一梯度值对全局模型的所述模型参数进行更新。

7.一种基于差分隐私的联邦学习训练装置，其特征在于，包括：

第一获取模块，用于基于模型参数、预设超参数和本地数据对本地模型进行训练，获取第一梯度值，其中，所述模型参数、所述预设超参数为服务器发送的；

第二获取模块，用于获取部分所述第一梯度值的索引信息，并对部分所述第一梯度值进行自适应裁剪，获取第二梯度值；

第三获取模块，用于对所述第二梯度值进行扰动加噪处理，将加噪处理后的所述第二梯度值与所述索引信息进行加密处理，获取密文；

发送模块，用于将所述密文发送给洗牌器，其中，所述密文用于经所述洗牌器进行混洗操作后发送给所述服务器，所述服务器对混洗后的所述密文进行解密和中值填充聚合处理后还原所述第一梯度值，并基于所述第一梯度值对全局模型的所述模型参数进行更新。

8.一种基于差分隐私的联邦学习训练装置，其特征在于，包括：

接收模块，用于接收洗牌器发送的经过混洗操作后的客户端的密文；

解密模块，用于对所述密文进行解密，获取第二梯度值和索引信息；

聚合模块，用于利用中值填充聚合算法并结合所述索引信息将所述第二梯度值还原为第一梯度值；

更新模块，用于基于所述第一梯度值对全局模型的模型参数进行更新；

其中，所述密文为所述客户端对所述第二梯度值进行扰动加噪处理，并将加噪处理后的所述第二梯度值和索引信息进行加密处理而成的；所述第二梯度值为所述客户端部分所述第一梯度值进行自适应裁剪获取的；所述第一梯度值为所述客户端基于所述模型参数、预设超参数和本地数据对本地模型进行训练获取的，其中，所述模型参数、所述预设超参数为所述服务器发送的；所述索引信息为所述客户端获取的部分所述第一梯度值的索引信息。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于差分隐私的联邦学习训练方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于差分隐私的联邦学习训练方法。

Images