CN115952539A

CN115952539A - 多数恶意下鲁棒隐私性联邦学习方法、系统、设备及介质

Info

Publication number: CN115952539A
Application number: CN202211684903.7A
Authority: CN
Inventors: 苗银宾; 匡达; 杨丽; 李兴华
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2022-12-27
Filing date: 2022-12-27
Publication date: 2023-04-11

Abstract

本申请实施例涉及信息安全技术领域，特别涉及一种多数恶意下鲁棒隐私性联邦学习方法、系统、设备及介质，该方法包括：使用本地数据训练本地模型，计算模型梯度和根梯度；对模型梯度、根梯度进行量化和编码；使用抽样的秘密共享方法生成模型梯度和根梯度的秘密份额：基于模型梯度和根梯度的秘密份额，计算汉明距离份额；基于汉明距离份额，计算客户端权重份额；使用相关不经意乘积高效的生成乘法三元组，并对模型份额进行加权，得到本地加权份额；基于本地加权份额，更新全局模型。本申请能够在多数恶意环境下实现抗模型投毒攻击和保护客户端数据隐私，且使用抽样的秘密共享技术可以高效的计算汉明距离和模型加权平均，降低了总体的计算开销。

Description

多数恶意下鲁棒隐私性联邦学习方法、系统、设备及介质

技术领域

本申请实施例涉及信息安全技术领域，特别涉及一种多数恶意下鲁棒隐私性联邦学习方法、系统、设备及介质。

背景技术

联邦学习的数据安全性问题是联邦学习应用、发展过程中的关键因素，它已引起了国内外政府、工业界和学术界的广泛关注和重视。然而，由于联邦学习分布式的特点，恶意敌手容易实施模型投毒攻击来降低全局模型的性能，甚至导致模型不可用。且传统的隐私保护机制在防御模型投毒攻击时会带来较大的计算开销，即在密文下执行鲁棒聚合会引入大量的加密操作，使得计算过程更加冗余复杂，影响联邦学习模型训练的安全性、高效性及可用性。

发明内容

本申请实施例提供一种多数恶意下鲁棒隐私性联邦学习方法、系统、设备及介质，在多数恶意环境下实现抗模型投毒攻击和保护客户端数据隐私，且使用抽样的秘密共享技术可以高效的计算汉明距离和模型加权平均，避免从布尔共享到算术共享转化的过程，大大降低了总体的计算开销。

为解决上述技术问题，第一方面，本申请实施例提供一种多数恶意下鲁棒隐私性联邦学习方法，包括以下步骤：使用本地数据训练本地模型，分别计算模型梯度和根梯度；分别对模型梯度、根梯度进行量化和编码；使用抽样的秘密共享方法生成模型梯度的秘密份额和根梯度的秘密份额：基于模型梯度的秘密份额、根梯度的秘密份额，计算汉明距离份额；基于汉明距离份额，计算客户端权重份额；使用相关不经意乘积高效生成乘法三元组，并对模型梯度进行加权，得到本地加权份额；基于本地加权份额，更新全局模型。

在一些示例性实施例中，使用本地数据训练本地模型，分别计算模型梯度和根梯度，包括：每个参与本轮聚合的客户端加载当前的全局模型，并使用本地数据训练本地模型，得到训练后的本地模型；客户端通过训练后的本地模型，计算得到模型梯度；主服务器使用本地数据集训练根模型，并基于训练后的根模型，计算得到根梯度；主服务器为在本地维持一个干净的数据集的服务器。

在一些示例性实施例中，分别对模型梯度、根梯度进行量化和编码，包括：客户端对模型梯度进行量化和编码；主服务器对所述根梯度进行量化和编码；量化对梯度进行归一化处理；编码是将梯度转成0，1的二进制值。

在一些示例性实施例中，生成所述模型梯度的秘密份额，包括：客户端对零向量初始化处理，作为所述模型梯度的其中一个份额；采用随机算法选取一个零向量的一半位置赋值为模型梯度相对应的值，再将模型梯度其他位置赋值为0作为所述模型梯度的秘密份额；客户端将所述模型梯度的其中一个份额发送至主服务器，将所述模型梯度的秘密份额发送至次服务器。

在一些示例性实施例中，生成根梯度的秘密份额，包括：主服务器对零向量初始化处理，作为根梯度的其中一个份额；采用随机算法选取一个零向量的一半位置赋值为根梯度相对应的值，再将根梯度其他位置赋值为0作为所述根梯度的秘密份额；主服务器将根梯度的其中一个份额保留，将根梯度的秘密份额发送至次服务器。

在一些示例性实施例中，基于模型梯度的秘密份额、根梯度的秘密份额，计算汉明距离份额，包括：主服务器在本地根据模型梯度的秘密份额和根梯度的秘密份额，计算模型梯度的秘密份额与根梯度的秘密份额之间汉明距离的份额；次服务器在本地根据模型梯度的秘密份额和根梯度的秘密份额，计算模型梯度的秘密份额与根梯度的秘密份额之间汉明距离的另一个份额；计算汉明距离份额的公式如下所示：

其中，

指异或；H()为输入的值的二进制形式中0的个数；

为所述模型梯度的其中一个份额；

为所述模型梯度的秘密份额。

在一些示例性实施例中，基于汉明距离份额，计算客户端权重份额，包括：主服务器和次服务器通过共同执行混淆电路计算客户端权重值的份额；对模型梯度进行加权，得到本地加权份额，包括：主服务器和次服务器分别在本地对所述模型梯度的秘密份额、所述根梯度的秘密份额进行解码；主服务器在离线阶段使用相关不经意乘积高效生成乘法三元组；主服务器和次服务器对所述模型梯度和所述根梯度进行加权平均。

第二方面，本申请实施例还提供了一种多数恶意下鲁棒隐私性联邦学习系统，包括依次连接的本地训练模块、量化和编码模块、秘密份额生成模块、计算模块以及全局模型更新模块；本地训练模块用于使用本地数据训练本地模型，分别计算模型梯度和根梯度；量化和编码模块用于分别对所述模型梯度、所述根梯度进行量化和编码；秘密份额生成模块用于使用抽样的秘密共享方法生成所述模型梯度的秘密份额和所述根梯度的秘密份额；计算模块包括汉明距离份额计算模块、客户端权重份额计算模块以及加权计算模块；所述汉明距离份额计算模块用于根据所述模型梯度的秘密份额、所述根梯度的秘密份额，计算汉明距离份额；客户端权重份额计算模块用于根据所述汉明距离份额，计算客户端权重份额；加权计算模块用于对所述模型梯度进行加权，得到本地加权份额；全局模型更新模块用于根据所述本地加权份额，更新全局模型。

另外，本申请还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述多数恶意下鲁棒隐私性联邦学习方法。

另外，本申请还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述多数恶意下鲁棒隐私性联邦学习方法。

本申请实施例提供的技术方案至少具有以下优点：

本申请实施例提供一种多数恶意下鲁棒隐私性联邦学习方法、系统、设备及介质，该方法包括以下步骤：使用本地数据训练本地模型，分别计算模型梯度和根梯度；分别对模型梯度、根梯度进行量化和编码；分别生成模型梯度的秘密份额、根梯度的秘密份额：基于模型梯度的秘密份额、根梯度的秘密份额，计算汉明距离份额；基于汉明距离份额，计算客户端权重份额；使用相关不经意乘积高效生成乘法三元组，并对模型梯度进行加权，得到本地加权份额；基于本地加权份额，更新全局模型。

本申请实施例提供的多数恶意下鲁棒隐私性联邦学习方法，首先利用量化编码技术使得客户端模型梯度和根梯度适于计算汉明距离；其次利用抽样的秘密共享将模型梯度生成梯度份额，并由两个非共谋服务器在本地计算汉明距离份额；然后在服务器之间利用混淆电路技术计算客户端权重的份额；最后服务器对梯度份额进行解码，并对梯度份额进行加权平均以更新全局模型。

本申请提供的方法，可在多数恶意环境下高效的抵抗模型投毒攻击且保护客户端本地隐私不会泄露。由于本申请基于信任根和汉明距离相似度计算准则来克服多数诚实环境的限制，并通过自适应放大非恶意客户端的权重来弥补在恶意多数条件下用于模型聚合的有效信息严重缺失，从而进一步提高模型性能。此外，由于本申请利用汉明距离按位进行异或的特性，设计了一种基于抽样的秘密共享的两方计算框架，既能够在抗模型投毒攻击的过程中保护客户端隐私，且能够避免由密文下计算汉明距离和加权平均所会带来的额外复杂运算，大大降低计算开销。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。

图1为本申请一实施例提供的一种多数恶意下鲁棒隐私性联邦学习方法的流程示意图；

图2为本申请一实施例提供的混淆电路的结构示意图；

图3为本申请一实施例提供的一种多数恶意下鲁棒隐私性联邦学习系统的结构示意图；

图4为本申请一实施例提供的一种电子设备的结构示意图。

具体实施方式

由背景技术可知，目前现有隐私保护联邦学习方法，由于联邦学习分布式的特点，恶意敌手容易实施模型投毒攻击来降低全局模型的性能，甚至导致模型不可用。且传统的隐私保护机制在防御模型投毒攻击时会带来较大的计算开销，使得计算过程更加冗余复杂，影响联邦学习模型训练的安全性、高效性及可用性。

相关技术提出了一种基于信任机制的在多数恶意环境下抗模型投毒攻击的方法。该方法首先利用服务器对一个小型干净的数据集进行训练，得到一个根梯度来引导模型聚合；其次服务器通过使用余弦距离来计算客户端上传的模型梯度与根梯度之间的相似度；然后根据相似度给不同客户端赋予不同的权重值；最后通过权重值对客户端模型梯度进行加权平均来更新全局模型。该方法存在的不足之处是：客户端的模型直接以原文的形式暴露给服务器，客户端隐私容易受到泄露。且该方案它需要复杂的计算操作，如余弦距离、重缩放和比较，在安全计算中进行评估时，这些操作非常昂贵。

此外，还有一相关技术提出了一种基于汉明距离和两方安全计算实现多数恶意环境下的抗模型投毒攻击和保护客户端隐私的联邦学习方法。该方法使用两个非共谋服务器构建隐私框架来共同更新全局模型。具体的，客户端通过使用布尔共享生成模型梯度的份额发送给两个服务器；其次两个服务器在本地计算汉明距离份额；然后使用同态加密将布尔共享转化成算法共享以支持后续的加权平均计算；最后更新全局模型。其中该方法存在的不足之处是：该方案为使用汉明距离来代替余玄相似度以减少计算开销，引入了一种Boolean/Arithmetic Sharing转换方法来支持在密文情况下计算汉明距离，但该转化方法任然存在计算复杂冗余，较大计算开销的问题。

为解决上述技术问题，本申请实施例提供一种多数恶意下鲁棒隐私性联邦学习方法，包括以下步骤：使用本地数据训练本地模型，分别计算模型梯度和根梯度；分别对模型梯度、根梯度进行量化和编码；分别生成模型梯度的秘密份额、根梯度的秘密份额：基于模型梯度的秘密份额、根梯度的秘密份额，计算汉明距离份额；基于汉明距离份额，计算客户端权重份额；对模型梯度进行加权，得到本地加权份额；基于本地加权份额，更新全局模型。本申请实施例提供一种多数恶意下鲁棒隐私性联邦学习方法，在多数恶意环境下实现抗模型投毒攻击和保护客户端数据隐私，且使用抽样的秘密共享技术可以高效的计算汉明距离和模型加权平均，避免从布尔共享到算术共享转化的过程，大大降低了总体的计算开销。

下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。

参看图1，本申请实施例提供了一种多数恶意下鲁棒隐私性联邦学习方法，包括以下步骤：

步骤S1、使用本地数据训练本地模型，分别计算模型梯度和根梯度。

步骤S2、分别对模型梯度、根梯度进行量化和编码。

步骤S3、使用抽样的秘密共享方法生成模型梯度的秘密份额和根梯度的秘密份额。

步骤S4、基于模型梯度的秘密份额、根梯度的秘密份额，计算汉明距离份额。

步骤S5、基于汉明距离份额，计算客户端权重份额。

步骤S6、对模型梯度进行加权，得到本地加权份额。

步骤S7、基于本地加权份额，更新全局模型

在一些实施例中，步骤S1中使用本地数据训练本地模型，分别计算模型梯度和根梯度，包括：每个参与本轮聚合的客户端加载当前的全局模型，并使用本地数据训练本地模型，得到训练后的本地模型；客户端通过训练后的本地模型，计算得到模型梯度；主服务器使用本地数据集训练根模型，并基于训练后的根模型，计算得到根梯度；主服务器为在本地维持一个干净的数据集的服务器。

步骤S1主要是本地训练的过程。首先，每个参与本轮聚合的客户端先加载当前的全局模型，并使用本地数据训练本地模型。然后客户端通过训练出的本地模型计算出模型梯度。

所述计算根梯度的公式如下：

其中，

表示第t轮第i个客户端所计算的模型梯度，w_i为当前轮次的全局模型，

为第i个客户端的本地模型。

主服务器(即在本地维持一个干净的数据集的服务器)的本地训练的过程与客户端本地训练的过程一致，主服务器使用本地数据集训练根模型，并计算根梯度

在一些实施例中，步骤S2中分别对模型梯度、根梯度进行量化和编码，包括：客户端对模型梯度进行量化和编码；主服务器对所述根梯度进行量化和编码；量化对梯度进行归一化处理；编码是将梯度转成0，1的二进制值。

步骤S2是对模型梯度、根梯度进行量化和编码的过程。为了方便计算汉明距离，客户端需要对模型梯度进行量化和编码。量化是将梯度进行归一化，可以通过降低模型梯度的精度来降低计算成本。编码是将梯度转成0，1的二进制值。

其中量化规则为，当

时，量化的模型更新

否则

为客户端量化后的模型梯度。所述编码公式如下：

为客户端编码后的模型梯度。

主服务器对根梯度

进行量化和编码的步骤与客户端对模型梯度进行量化和编码的过程相同，得到主服务器编码后的根梯度

在一些实施例中，步骤S3中生成所述模型梯度的秘密份额，包括：客户端对零向量初始化处理，作为所述模型梯度的其中一个份额；采用随机算法选取一个零向量的一半位置赋值为模型梯度相对应的值，再将模型梯度其他位置赋值为0作为所述模型梯度的秘密份额；客户端将所述模型梯度的其中一个份额发送至主服务器，将所述模型梯度的秘密份额发送至次服务器。

在一些实施例中，步骤S3中生成根梯度的秘密份额，包括：主服务器对零向量初始化处理，作为根梯度的其中一个份额；采用随机算法选取一个零向量的一半位置赋值为根梯度相对应的值，再将根梯度其他位置赋值为0作为所述根梯度的秘密份额；主服务器将根梯度的其中一个份额保留，将根梯度的秘密份额发送至次服务器。

需要说明的是，步骤S3中生成所述模型梯度的秘密份额与生成根梯度的秘密份额的方法相同。步骤S3主要是生成模型梯度的秘密份额与生成根梯度的秘密份额的过程。

首先，客户端初始化一个长度为k的零向量作为梯度的其中一个份额

其中，k为模型梯度的向量长度。

然后，客户端使用随机算法从[0,k]中选取k/2个位置，并将零向量所对应的k/2个位置赋值为梯度相对应的值，再将梯度其他位置赋值为0作为另外一个秘密份额

最后，客户端将

发送给主服务器，另一个

发送给次服务器(即另外一个非共谋服务器)。

主服务器采用同上方法生成根梯度的秘密份额，将

自己保留，将

发送给次服务器，其中随机算法由主服务器和客户端共同协商。

在一些实施例中，步骤S4基于模型梯度的秘密份额、根梯度的秘密份额，计算汉明距离份额，包括：主服务器在本地根据模型梯度的秘密份额和根梯度的秘密份额，计算模型梯度的秘密份额与根梯度的秘密份额之间汉明距离的份额；次服务器在本地根据模型梯度的秘密份额和根梯度的秘密份额，计算模型梯度的秘密份额与根梯度的秘密份额之间汉明距离的另一个份额。

主服务器在本地通过根梯度份额

和客户端梯度份额

计算两者间汉明距离的份额Hd₀。次服务器同上计算出汉明距离的另一个份额Hd₁。

在一些实施例中，计算汉明距离份额的公式如下所示：

其中，

指异或；H()为输入的值的二进制形式中0的个数；

为所述模型梯度的其中一个份额；

为所述模型梯度的秘密份额。

在一些实施例中，步骤S5中基于汉明距离份额，计算客户端权重份额，包括：主服务器和次服务器通过共同执行混淆电路计算客户端权重值的份额。

步骤S5主要是计算客户端权重份额。首先设置一个阈值τ来判断客户端模型梯度是否为恶意值，当τ-Hd_i＜0时被认为恶意值。

主服务器和次服务器通过共同执行混淆电路计算客户端权重值的份额。

采用GMW协议来完成混淆电路，具体如图2所示。

主服务器和次服务器分别以

和

作为混淆电路的输入，然后分别获得第i个客户端的权重值份额

其中：

r为主服务器生成的一个随机数；

MUX()是二选一数据选择器，当输入的参数大于0时，返回值为τ-Hd_i，否则输出为0。

步骤S6中对模型梯度进行加权，得到本地加权份额，包括：主服务器和次服务器分别在本地对所述模型梯度的秘密份额、所述根梯度的秘密份额进行解码；主服务器在离线阶段生成乘法三元组；主服务器和次服务器对所述模型梯度和所述根梯度进行加权平均。

步骤S6主要是对模型梯度进行加权平均。

主服务器和次服务器分别在本地对梯度份额

进行解码以方便进行加权计算。

所述解码公式如下：

主服务器在离线阶段生成乘法三元组，以支持秘密共享乘法计算，其中需要用到相关不经意乘积(Correlated Oblivious Product Evaluation，COPE)算法和不经意传输协议OT。

所述COPE算法如下：

假设现有两个参与方P₀，P₁且分别持有a，b∈F_p，其中P是一个大素数，长k比特，F_p是一个模P的整数域，计算c＝a*b的秘密份额。

第一步，P₀以a作为输入，P₁先将b转为二进制流(b₀,b₁...b_k-1)∈(0,1)^k，

再将二进制流作为输入。

第二步，P₀与P₁执行k次OT协议，P₀作为发送发，P₁作为接收方。如下公式所示，其中r_i为每轮OT协议中，P₀从F_p中选取的一个随机值。

q_i＝OT(r_i,r_i+a,b_i)

第三步，在执行完k次OT协议后，P₀,P₁如下公式所示计算c的秘密份额c₀,c₁，其中t_i＝r_i。

所述生成乘法三元组方法步骤如下：

第一步，主服务器和次服务器随机生成随机数a_i,b_i∈F_p，且a_i,b_i分别作为参与方a,b的秘密份额，其中i＝0,1。

第二步，主服务器和次服务器共执行两次COPE算法，每次分别以a₀,b₁，a₁,b₀作为输入，每次输出t_0,1,q_1,0，t_1,0,q_0,1。

其中主服务器持有t_0,1,q_0,1，次服务器持有t_1,0,q_1,0

第三步，主服务器和次服务器分别在本地计算c的秘密份额。即：

c₀＝a₀*b₀+t_0,1+q_0,1,c₁＝a₁*b₁+t_1,0+q_1,0

主服务器和次服务器对模型梯度进行加权，公式如下所示：

所述加权计算的步骤如下：

第一步，主服务器和次服务器分别在本地计算，如下式所示：

第二步，主服务器和次服务器分享∈，ρ的秘密份额，得到公开的∈，ρ。

第三步，主服务器和次服务器分别在本地计算加权的份额，如下式所示：

步骤S7主要是用于更新全局模型。主服务器和次服务器在本地分别更新全局模型的份额，并发送给每个客户端。

所述更新公式如下所示：

其中，α为全局学习率。

参看图3，本申请实施例还提供了一种多数恶意下鲁棒隐私性联邦学习系统，包括依次连接的本地训练模块101、量化和编码模块102、秘密份额生成模块103、计算模块104以及全局模型更新模块105；本地训练模块101用于使用本地数据训练本地模型，分别计算模型梯度和根梯度；量化和编码模块102用于分别对所述模型梯度、所述根梯度进行量化和编码；秘密份额生成模块103用于使用抽样的秘密共享方法生成所述模型梯度的秘密份额和所述根梯度的秘密份额；计算模块104包括汉明距离份额计算模块1041、客户端权重份额计算模块1042以及加权计算模块1043；所述汉明距离份额计算模块1041用于根据所述模型梯度的秘密份额、所述根梯度的秘密份额，计算汉明距离份额；客户端权重份额计算模块1042用于根据所述汉明距离份额，计算客户端权重份额；加权计算模块1043用于对所述模型梯度进行加权，得到本地加权份额；全局模型更新模块105用于根据所述本地加权份额，更新全局模型。

参看图4，本申请另一实施例提供了一种电子设备，包括：至少一个处理器110；以及，与至少一个处理器通信连接的存储器111；其中，存储器111存储有可被至少一个处理器110执行的指令，指令被至少一个处理器110执行，以使至少一个处理器110能够执行上述任一方法实施例。

其中，存储器111和处理器110采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器110和存储器111的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器110。

处理器110负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器111可以被用于存储处理器110在执行操作时所使用的数据。

本申请另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

由以上技术方案，本申请实施例提供一种多数恶意下鲁棒隐私性联邦学习方法、系统、设备及介质，该方法包括以下步骤：使用本地数据训练本地模型，分别计算模型梯度和根梯度；分别对模型梯度、根梯度进行量化和编码；分别生成模型梯度的秘密份额、根梯度的秘密份额：基于模型梯度的秘密份额、根梯度的秘密份额，计算汉明距离份额；基于汉明距离份额，计算客户端权重份额；使用相关不经意乘积高效生成乘法三元组，并对模型梯度进行加权，得到本地加权份额；基于本地加权份额，更新全局模型。

由于本申请基于信任根和汉明距离相似度计算准则来克服多数诚实环境的限制，并通过自适应放大非恶意客户端的权重来弥补在恶意多数条件下用于模型聚合的有效信息严重缺失，从而进一步提高模型性能。此外，由于本申请利用汉明距离按位进行异或的特性，设计了一种基于抽样的秘密共享的两方计算框架，既能够在抗模型投毒攻击的过程中保护客户端隐私，且能够避免由密文下计算汉明距离和加权平均所会带来的额外复杂运算，大大降低计算开销。

本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。

Claims

1.一种多数恶意下鲁棒隐私性联邦学习方法，其特征在于，包括：

使用本地数据训练本地模型，分别计算模型梯度和根梯度；

分别对所述模型梯度、所述根梯度进行量化和编码；

使用抽样的秘密共享方法生成所述模型梯度的秘密份额和所述根梯度的秘密份额：

基于所述模型梯度的秘密份额、所述根梯度的秘密份额，计算汉明距离份额；

基于所述汉明距离份额，计算客户端权重份额；

使用相关不经意乘积高效生成乘法三元组，并对所述模型梯度份额进行加权，得到本地加权份额；

基于所述本地加权份额，更新全局模型。

2.根据权利要求1所述的多数恶意下鲁棒隐私性联邦学习方法，其特征在于，所述使用本地数据训练本地模型，分别计算模型梯度和根梯度，包括：

每个参与本轮聚合的客户端加载当前的全局模型，并使用本地数据训练本地模型，得到训练后的本地模型；

所述客户端通过训练后的本地模型，计算得到模型梯度；

主服务器使用本地数据集训练根模型，并基于训练后的根模型，计算得到根梯度；

所述主服务器为在本地维持一个干净的数据集的服务器。

3.根据权利要求1所述的多数恶意下鲁棒隐私性联邦学习方法，其特征在于，所述分别对所述模型梯度、所述根梯度进行量化和编码，包括：

客户端对所述模型梯度进行量化和编码；

主服务器对所述根梯度进行量化和编码；

所述量化对梯度进行归一化处理；所述编码是将梯度转成0，1的二进制值。

4.根据权利要求1所述的多数恶意下鲁棒隐私性联邦学习方法，其特征在于，生成所述模型梯度的秘密份额，包括：

客户端对零向量初始化处理，作为所述模型梯度的其中一个份额；

采用随机算法选取一个零向量的一半位置赋值为模型梯度相对应的值，再将模型梯度其他位置赋值为0作为所述模型梯度的秘密份额；

客户端将所述模型梯度的其中一个份额发送至主服务器，将所述模型梯度的秘密份额发送至次服务器。

5.根据权利要求1所述的多数恶意下鲁棒隐私性联邦学习方法，其特征在于，生成所述根梯度的秘密份额，包括：

主服务器对零向量初始化处理，作为所述根梯度的其中一个份额；

采用随机算法选取一个零向量的一半位置赋值为根梯度相对应的值，再将根梯度其他位置赋值为0作为所述根梯度的秘密份额；

主服务器将所述根梯度的其中一个份额保留，将所述根梯度的秘密份额发送至次服务器。

6.根据权利要求4所述的多数恶意下鲁棒隐私性联邦学习方法，其特征在于，所述基于所述模型梯度的秘密份额、所述根梯度的秘密份额，计算汉明距离份额，包括：

主服务器在本地根据所述模型梯度的秘密份额和所述根梯度的秘密份额，计算所述模型梯度的秘密份额与所述根梯度的秘密份额之间汉明距离的份额；

次服务器在本地根据所述模型梯度的秘密份额和所述根梯度的秘密份额，计算所述模型梯度的秘密份额与所述根梯度的秘密份额之间汉明距离的另一个份额；

所述计算汉明距离份额的公式如下所示：

其中，

指异或；H()为输入的值的二进制形式中0的个数；

为所述模型梯度的其中一个份额；

为所述模型梯度的秘密份额。

7.根据权利要求1所述的多数恶意下鲁棒隐私性联邦学习方法，其特征在于，所述基于所述汉明距离份额，计算客户端权重份额，包括：

主服务器和次服务器通过共同执行混淆电路计算客户端权重值的份额；

对所述模型梯度份额进行加权，得到本地加权份额，包括：

主服务器和次服务器分别在本地对所述模型梯度的秘密份额、所述根梯度的秘密份额进行解码；

主服务器在离线阶段使用相关不经意乘积高效生成乘法三元组；

主服务器和次服务器对所述模型梯度和所述根梯度进行加权平均。

8.一种多数恶意下鲁棒隐私性联邦学习系统，其特征在于，包括依次连接的本地训练模块、量化和编码模块、秘密份额生成模块、计算模块以及全局模型更新模块；

所述本地训练模块用于使用本地数据训练本地模型，分别计算模型梯度和根梯度；

所述量化和编码模块用于分别对所述模型梯度、所述根梯度进行量化和编码；

所述秘密份额生成模块用于使用抽样的秘密共享方法生成所述模型梯度的秘密份额和所述根梯度的秘密份额；

所述计算模块包括汉明距离份额计算模块、客户端权重份额计算模块以及加权计算模块；所述汉明距离份额计算模块用于根据所述模型梯度的秘密份额、所述根梯度的秘密份额，计算汉明距离份额；

所述客户端权重份额计算模块用于根据所述汉明距离份额，计算客户端权重份额；

所述加权计算模块用于对所述模型梯度进行加权，得到本地加权份额；

所述全局模型更新模块用于根据所述本地加权份额，更新全局模型。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的多数恶意下鲁棒隐私性联邦学习方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述的多数恶意下鲁棒隐私性联邦学习方法。