CN116049897A - 基于线性同态哈希和签密的可验证隐私保护联邦学习方法 - Google Patents

Abstract

本发明提出了基于线性同态哈希和签密的可验证隐私保护联邦学习方法，步骤S1：首先进行初始化操作，每个用户P _i 通过签密技术将会话密钥sk _i 传递至聚合服务器，同时完成聚合服务器对用户的身份认证，聚合服务器生成私钥x _AS 和公钥y _AS ，更新服务器生成加法同态的私钥sk _U 和公钥pk _U ；S2：用户P _i 训练出模型参数

后，对其分别使用对称密钥sk _i 和同态公钥pk _U 进行双重加密，之后发送至聚合服务器，同时使用线性同态哈希计算模型参数的哈希值

发送至更新服务器;S3:聚合服务器对密文解密，对一重密文进行聚合，发送聚合结果至更新服务器;S4:更新服务器解密后得到新的全局模型

，发送至每个用户，完成一轮训练。

Description

基于线性同态哈希和签密的可验证隐私保护联邦学习方法

技术领域

本发明属于隐私计算领域，特别涉及联邦学习框架下的隐私计算、完整性验证和身份认证方法。

背景技术

联邦学习是一类机器学习方法，它可以让参与者协作训练模型，同时只收集每个参与者的模型参数或梯度，在一定程度上保护其原始数据的隐私。然而，联邦学习存在如下安全需求：（1）参与者上传的参数或梯度在一定程度上可以暴露其相关信息，服务器能够从中推断出参与者的原始训练数据，隐私性受到威胁。因此，保证参数的机密性是联邦学习的重要安全求。（2）恶意服务器可能篡改聚合结果，将不正确的聚合结果返回给参与者，从而操纵全局模型。因此，能够对模型聚合的正确性进行验证是联邦学习的另一个重要安全要求。（3）联邦学习框架中的用户身份复杂，可能存在恶意方冒充合法用户，上传毒化的本地模型信息，从而降低全局模型的可用性。因此，联邦学习需要对用户进行身份鉴别，以保证各参与方的身份真实性。

为了实现以上安全性需求，目前已经有大量的研究工作。对于机密性问题，常见的方法是使用差分隐私、同态加密、秘密共享和安全多方计算等技术来实现。差分隐私是给数据添加相应的噪声，具有效率高的特点，但会导致模型精度降低。同态加密具有很强的隐私保护能力，但会导致巨大的计算成本和通信开销。秘密共享和安全多方计算的特点是交互多，通信开销大。对于验证性问题，现有的解决方案是使用零知识证明或专门设计的交互协议，这往往会带来的额外的计算或通信成本。对于身份认证问题，经常使用数字签名技术来解决。目前，一些相关场景下的机器学习和联邦学习方案主要有：

2017年Ghodsi 等人[Z. Ghodsi, T. Gu, S. Garg. Safetynets: Verifiableexecution of deep neural networks on an untrusted cloud. 31st AnnualConference on Neural Information Processing Systems (NIPS 2017), pp. 4673-4682, 2017.]提出一种可验证的神经网络框架。该方法利用一种专门的交互式证明协议，使不受信任的服务器为客户端提供一个数学证明，以表明他们代表客户端执行的推理任务是正确的。

2019年，Tramer 等人[F. Tramer, D. Boneh. Slalom: Fast, verifiable andprivate execution of neural networks in trusted hardware. 7th InternationalConference on Learning Representations (ICLR 2019),2019.]提出一种高性能的隐私保护神经网络框架，将深度神经网络中所有线性层的执行从可信执行环境(TrustedExecution Environment, TEE)安全委托给一个更快但不受信任的处理器中，在保证隐私性和完整性的同时提高了运行效率。

2020年，Xu等人[G. Xu, H. Li, S. Liu, K. Yang, X. Lin. Verifynet:Secure and verifiable federated learning. IEEE Transactions on InformationForensics and Security, 2020, 15 (1): 911-926.] 提出了一种隐私保护和可验证的联邦学习框架——VerifyNet。该框架利用双重掩蔽协议来保证联邦学习过程中用户局部梯度的机密性。此外，服务器需要向每个参与者提供关于其聚合结果正确性的证明，防止服务器修改或伪造聚合结果。该方法的通信成本与梯度向量的维数密切相关，其通信成本较高，使用的零知识证明技术也增加了计算成本。

2021年，Xu等人[X. Guo, Z. Liu, J. Li, J. Gao, B. Hou, C. Dong, T.Baker. VeriFL: Communication-Efficient and Fast Verifiable Aggregation forFederated Learning. IEEE Transactions on Information Forensics and Security,2020, 16:1736–1751.]利用同态Hash函数和承诺体制，设计了一种可验证聚合方案——VeriFL，其通信开销与梯度向量维数无关，但与参与者的个数成线性增长关系。

另外，中国专利申请CN115168902A公开了一种分组可验证的链式隐私保护联邦学习方法。该方法首先提出一种分组的链式学习机制来保证用户在训练阶段的隐私，然后提出了可验证的安全聚合协议来保证全局模型的可验证性。中国专利申请CN114841363A公开了一种基于零知识证明的隐私保护与可验证隐私的联邦学习方法，实现了在不泄露训练者的隐私数据的情况下向发布者证明训练过程的正确性。中国专利申请CN115203751A公开了一种基于区块链和联邦学习的隐私安全计算验证方法，利用差分隐私高斯机制保护隐私，利用区块链实现可审计性。中国专利申请CN114978533A公开了一种基于有权重分层异步联邦学习的可验证安全聚合方法，服务器可以在不得到其他用户明文参数时，依然从聚合的密文中恢复出正确的聚合参数，同时，服务器只需生成并验证一个短签名，便可判断每个客户端的待聚合参数是否被恶意篡改。中国专利申请CN114785510A公开了一种可验证的轻量化隐私保护联邦学习方法，将Paillier同态密码体制和分布式选择性随机梯度下降方法应用至局部训练中，并使用带边缘计算框架的签名方法，实现对数据完整性的轻量级局部梯度验证。中国专利申请CN115238251A公开了一种基于模型匹配的联邦学习用户身份持续认证方法，通过衡量边缘用户在联邦学习连续两个训练中上传的模型间的匹配度进行持续性身份认证。

发明内容

本发明提出基于线性同态哈希和签密的可验证隐私保护联邦学习方法，双服务器下的联邦学习方法，提供参数机密性、聚合结果可验证性和身份认证服务。使用同态加密技术实现对本地模型的安全聚合，只要两台服务器不共谋，其机密性就可得到保证；使用签密技术在进行密钥传递的同时实现身份认证；使用线性同态哈希技术，可以让每个参与者独立验证聚合结果的正确性。

本发明的技术方案是这样实现的：S1：首先进行初始化操作，每个用户P _i 通过签密技术将会话密钥sk _i 传递至聚合服务器，同时完成聚合服务器对用户的身份认证，聚合服务器生成私钥x _AS 和公钥y _AS ，更新服务器生成加法同态的私钥sk _U 和公钥pk _U ；S2：用户P _i 训练出模型参数

后，对其分别使用对称密钥sk _i 和同态公钥pk _U 进行双重加密，之后发送至聚合服务器，同时使用线性同态哈希计算模型参数的哈希值

，发送至更新服务器;S3:聚合服务器对密文解密，对一重密文进行聚合，发送聚合结果至更新服务器;S4:更新服务器解密后得到新的全局模型

，发送至每个用户，完成一轮训练。

本申请文件中采用的一种基于线性同态哈希和签密的可验证隐私保护联邦学习方法，包含聚合服务器(Aggregation Server, AS)、更新服务器(Update Server, US)和训练用户Pi (i∈{1,2,…,n}，n为用户数量)三类角色，方法包括：

初始化：聚合服务器生成私钥x _AS 和公钥y _AS ，更新服务器生成加法同态的私钥sk _U 和公钥pk _U ，以及初始模型w ⁰，用户生成对称密钥sk _i 。

签密阶段：用户P _i 和聚合服务器通过签密技术进行对密钥sk _i 的传递，同时完成聚合服务器对用户P _i 的身份认证。

训练阶段：在每一轮训练t中，用户P _i 对自己训练的模型参数

分别使用对称密钥sk _i 和同态公钥pk _U 进行双重加密，之后发送至聚合服务器，待其解密后对一重密文进行聚合，之后发送至更新服务器解密。更新服务器解密得到新的全局模型

后，将其发送至每个用户，完成一轮训练。期间，用户P _i 会使用线性同态哈希函数，将本地模型参数的哈希值

发送至更新服务器。

验证阶段：在整个联邦训练结束后，用户P _i 向更新服务器请求其他用户每轮发送的哈希值

，使用它们计算一个评估值，同时使用每轮收到的全局模型计算一个哈希值，验证两个结果是否相等。如果相等，那么用户P _i 认为自己每轮收到的全局模型都是正确的。

作为一优选的实施方式，在完成步骤S4的一轮训练后，进入步骤S5进行验证；S5：进行若干轮训练，在完成整个训练过程结束后，用户Pi向更新服务器请求其他用户每轮发送的哈希值

，之后计算验证等式，判断整个聚合过程是否被正确地执行。

作为一优选的实施方式，使用了线性同态哈希技术进行聚合过程的完整性验证。l轮联邦训练结束后，用户P _i 向更新服务器请求

(j≠i; t=1,2,…,l)，生成{h ^t =Eval

，选择l个随机数α ₁,α ₂,…,α _l ，计算是否有H(

)=Eval(h ¹, h ²,…, h ^l ,α ₁,α ₂,…,α _l )，其中Eval(h ₁,h ₂,…,h _l ,α ₁,α ₂,…,α _l )=

，如果成立，P _i 判断整个聚合过程都被正确地执行，否则拒绝聚合结果。

作为一优选的实施方式，所述步骤S2中的线性同态哈希计算模型参数包括记KHk为带密钥k的Hash函数、AES的加密和解密算法和Paillier密码体制的加密和解密算法，同态哈希其公开参数为

，其中G是阶为素数q的循环群，q为素数，g是群G生成元，

是群G中的d个不同的元素。

作为一优选的实施方式，更新服务器产生Paillier体制的私钥skU、公钥pkU和初始模型w0；用户Pi同时还生成AES密钥ski。

作为一优选的实施方式，聚合服务器产生私钥x _AS 和公钥y _AS ，满足1≤x _AS ≤q，y _AS =

mod p，用户P _i 产生私钥x _i 和公钥y _i ，满足1≤x _i ≤q，y _i =

mod p，其中p为大素数且q|(p-1)，

是

中的一个q阶元素，所述

整数模p下的有限域，即

={1,2,…,p-1}。

作为一优选的实施方式，用户P _i 随机选择整数x，1≤x≤q，计算k=

mod p，随后将k分成不同长度的k ₁和k ₂，然后计算

，s=x/(r+x _i ) mod q，以及AES密钥sk _i 的密文

，得到密钥sk _i 的签密密文(c, r, s)，然后将其发送至聚合服务器。

作为一优选的实施方式，聚合服务器收到(c, r, s)，计算k=

modp，将k分成不同长度的k ₁和k ₂，计算

，若

，完成身份认证，接受

，否则拒绝该用户。

作为一优选的实施方式，所述步骤S2中，用户Pi训练出模型参数

中，计算二重密文以及哈希值，并将二重密文发送至聚合服务器，将哈希值发送至更新服务器。用户P _i 训练出本地模型

，计算二重密文

以及哈希值

，将

发送至聚合服务器，将

发生至更新服务器。聚合服务器计算

，之后计算聚合密文

，将

发送至更新服务器。更新服务器计算

，将新全局模型发送至所有用户。

采用了上述技术方案后，本发明的有益效果是：保证了联邦学习中本地参数的机密性，完成了参与用户对聚合结果的正确性验证和服务器对参与用户的身份认证。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的系统结构图；

图2是本发明的交互过程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参见图1，方案包括聚合服务器(Aggregation Server, AS)、更新服务器(UpdateServer, US)和n个用户。参见图2，本发明具体流程如下：

(1)初始化

记KH _k 为带密钥k的Hash函数，E和D分别为AES密码体制的加密和解密算法，Enc和Dec分别为Paillier密码体制的加密和解密算法。对于同态哈希，其公开参数为

，其中G是阶为素数q的循环群，g是群G生成元

是群G中的d个不同的元素，H为线性同态哈希函数，

,其中x为d维向量，x=[x[1], x[2],…, x[d]]。

聚合服务器生成私钥x _AS 和公钥y _AS ，满足1≤x _AS ≤q，y _AS =

mod p；用户Pi (i∈{1,2,…,n})生成一个AES密钥ski，同时也生成私钥xi和公钥yi，满足1≤xi≤q，yi=

modp，其中p为大素数且q|(p-1)，

是

中的一个q阶元素；更新服务器生成Paillier体制的私钥skU和公钥pkU，产生初始模型w0并发送至所有用户。

签密阶段

(2.1)签密。用户Pi执行：随机选择整数x，1≤x≤q，计算k=

mod p，将k分成适当长度的k1和k2，然后计算

，s=x/(r+xi) mod q，

，得到密钥ski的签密密文(c, r, s)，然后将其发送至聚合服务器。

2.2)解签密。聚合服务器收到密文(c, r, s)时，执行：计算k=

modp，将k分成适当长度的k1和k2，计算

，如果

，则接受

；否则拒绝该用户的密文。

(3)训练阶段

在第t轮(1≤t≤l)训练中，用户Pi使用自己的数据训练本地模型

，然后计算密文

，

，同时计算

，将

发送至聚合服务器，将

发生至更新服务器。聚合服务器计算

(i=1,2,…,n)，然后计算聚合密文：

=

，并将

发送至更新服务器。更新服务器计算

，将

发送至每个用户。

(4)验证阶段

在l轮联邦训练结束后，用户Pi希望验证聚合过程的正确性。首先向更新服务器请求

(j≠i; t=1,2,…,l)，生成{ht=Eval(

,

,…,

,1,1,…,1) | t∈{1,2,…,l}}，选择l个随机数α1,α2,…,αl，计算是否有H(

)=Eval(h1, h2,…, hl,α1,α2,…,αl)，其中Eval(h1,h2,…,hl,α1,α2,…,αl) =

，如果等式成立，那么Pi认为整个聚合过程都被正确地执行，否则拒绝聚合结果。

下面对该发明方法进行分析。

正确性：如果相关各方诚实执行协议，那么参与方可以获得正确的聚合值

，因为有：

。

机密性：无论服务器是否与其他用户共谋，只要双服务器不共谋，该发明方法就可以保护其他用户的本地模型隐私。同态加密的私钥和签密私钥分别由更新服务器和聚合服务器持有，对称密钥由用户和聚合服务器共享。用户的模型参数首先由同态公钥加密，聚合服务器没有私钥，无法对其进行解密。更新服务器只能获取二重密文，同时由于没有签密私钥，无法在初始化阶段拦截信息解密获取对称密钥，因而无法获取可解密的一重密文。同时，即使更新服务器和其他用户勾结，也无法获得目标用户的对称密钥。因此，该方法保护了参与用户模型参数的机密性。

聚合结果可验证性：如果参与者Pi在所有轮次中接收到正确的聚合值，则哈希值满足：

聚合服务器和更新服务器都不能独立地伪造用户发给更新服务器的验证信息，并且随机数

由每个用户产生。如果聚合服务器和更新服务器想要通过验证，那么他们必须保证H(

)=H(

)，其中

为伪造值。由于哈希是抗碰撞的，因此在计算上是不可行的。该方法可以有效验证聚合结果的正确性，即完整性得到了保障。

身份认证性：每个用户拥有一个签密私钥，只有他自己可以生成签密密文，别人无法伪造该用户的密文。当聚合服务器接受了

，则对用户进行了身份认证。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于线性同态哈希和签密的可验证隐私保护联邦学习方法，通过服务器、更新服务器和训练用户进行三方数据交互，其特征在于，所述方法包括如下步骤：

S1：首先进行初始化操作，每个用户P _i 通过签密技术将会话密钥sk _i 传递至聚合服务器，同时完成聚合服务器对用户的身份认证，聚合服务器生成私钥x _AS 和公钥y _AS ，更新服务器生成加法同态的私钥sk _U 和公钥pk _U ；

S2：用户P _i 训练出模型参数

后，对其分别使用对称密钥sk _i 和同态公钥pk _U 进行双重加密，之后发送至聚合服务器，同时使用线性同态哈希计算模型参数的哈希值

，发送至更新服务器;

S3:聚合服务器对密文解密，对一重密文进行聚合，发送聚合结果至更新服务器;

S4:更新服务器解密后得到新的全局模型

，发送至每个用户，完成一轮训练。

2.如权利要求1所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于：在完成步骤S4的一轮训练后，进入步骤S5进行验证；

S5：进行若干轮训练，在完成整个训练过程结束后，用户P _i 向更新服务器请求其他用户每轮发送的哈希值

，之后计算验证等式，判断整个聚合过程是否被正确地执行。

3.如权利要求2所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于，使用了线性同态哈希技术进行聚合过程的完整性验证。

4.如权利要求1所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于：所述步骤S2中的线性同态哈希计算模型参数包括记KH _k 为带密钥k的Hash函数、AES的加密和解密算法和Paillier密码体制的加密和解密算法，同态哈希其公开参数为

，其中G是阶为素数q的循环群，q

是群G生成元，

是群G中的d个不同的元素。

5.如权利要求4所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于，更新服务器产生Paillier体制的私钥私钥私钥skU、公钥pk _U 和初始模型w ⁰；用户P _i 同时还生成AES密钥sk _i 。

6.如权利要求4所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于：聚合服务器产生私钥x _AS 和公钥y _AS ，满足1≤x _AS ≤q，y _AS =

mod p，用户P _i 产生私钥x _i 和公钥y _i ，满足1≤x _i ≤q，y _i =

mod p，其中p为大素数且q|(p-1)，

是

中的一个q阶元素，所述

整数模p下的有限域，即

={1,2,…,p-1}。

7.如权利要求5或6其中任意一项所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于，用户P _i 随机选择整数x，1≤x≤q，计算k=

mod p，随后将k分成不同长度的k ₁和k ₂，然后计算

，s=x/(r+x _i ) mod q，以及AES密钥sk _i 的密文

，得到密钥sk _i 的签密密文(c, r, s)，然后将其发送至聚合服务器。

8.如权利要求7所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于，聚合服务器收到(c, r, s)，计算k=

mod p，将k分成不同长度的k ₁和k ₂，计算

，若

，完成身份认证，接受

，否则拒绝该用户。

9.如权利要求1所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于：所述步骤S2中，用户P _i 训练出模型参数

中，计算二重密文以及哈希值，并将二重密文发送至聚合服务器，将哈希值发送至更新服务器。

Images