CN116049897B

CN116049897B - 基于线性同态哈希和签密的可验证隐私保护联邦学习方法

Info

Publication number: CN116049897B
Application number: CN202310326043.8A
Authority: CN
Inventors: 黄民; 黄小刚; 潘军; 冯杨
Original assignee: Beijing Huayin Entropy Data Technology Co ltd
Current assignee: Beijing Huayin Entropy Data Technology Co ltd
Priority date: 2023-03-30
Filing date: 2023-03-30
Publication date: 2023-12-01
Anticipated expiration: 2043-03-30
Also published as: CN116049897A

Abstract

本发明提出了基于线性同态哈希和签密的可验证隐私保护联邦学习方法，步骤S1：首先进行初始化操作，每个用户P _i通过签密技术将AES密钥sk _i传递至聚合服务器，同时完成聚合服务器对用户的身份认证，聚合服务器生成私钥x _AS和公钥y _AS，更新服务器生成加法同态的私钥sk _U和公钥pk _U；S2：用户P _i训练出模型参数后，对其分别使用AES密钥sk _i和公钥pk _U进行双重加密，之后发送至聚合服务器，同时使用线性同态哈希计算模型参数的哈希值，发送至更新服务器;S3:聚合服务器对密文解密，对一重密文进行聚合，发送聚合结果至更新服务器;S4:更新服务器解密后得到新的全局模型，发送至每个用户，完成一轮训练。

Description

基于线性同态哈希和签密的可验证隐私保护联邦学习方法

技术领域

本发明属于隐私计算领域，特别涉及联邦学习框架下的隐私计算、完整性验证和身份认证方法。

背景技术

联邦学习是一类机器学习方法，它可以让参与者协作训练模型，同时只收集每个参与者的模型参数或梯度，在一定程度上保护其原始数据的隐私。然而，联邦学习存在如下安全需求：(1)参与者上传的参数或梯度在一定程度上可以暴露其相关信息，服务器能够从中推断出参与者的原始训练数据，隐私性受到威胁。因此，保证参数的机密性是联邦学习的重要安全求。(2)恶意服务器可能篡改聚合结果，将不正确的聚合结果返回给参与者，从而操纵全局模型。因此，能够对模型聚合的正确性进行验证是联邦学习的另一个重要安全要求。(3)联邦学习框架中的用户身份复杂，可能存在恶意方冒充合法用户，上传毒化的本地模型信息，从而降低全局模型的可用性。因此，联邦学习需要对用户进行身份鉴别，以保证各参与方的身份真实性。

为了实现以上安全性需求，目前已经有大量的研究工作。对于机密性问题，常见的方法是使用差分隐私、同态加密、秘密共享和安全多方计算等技术来实现。差分隐私是给数据添加相应的噪声，具有效率高的特点，但会导致模型精度降低。同态加密具有很强的隐私保护能力，但会导致巨大的计算成本和通信开销。秘密共享和安全多方计算的特点是交互多，通信开销大。对于验证性问题，现有的解决方案是使用零知识证明或专门设计的交互协议，这往往会带来的额外的计算或通信成本。对于身份认证问题，经常使用数字签名技术来解决。目前，一些相关场景下的机器学习和联邦学习方案主要有：

2017年Ghodsi等人[Z.Ghodsi,T.Gu,S.Garg.Safetynets:Verifiable executionof deep neural networks on an untrusted cloud.31st Annual Conference onNeural Information Processing Systems(NIPS2017),pp.4673-4682,2017.]提出一种可验证的神经网络框架。该方法利用一种专门的交互式证明协议，使不受信任的服务器为客户端提供一个数学证明，以表明他们代表客户端执行的推理任务是正确的。

2019年，Tramer等人[F.Tramer,D.Boneh.Slalom:Fast,verifiable and privateexecution of neural networks in trusted hardware.7th International Conferenceon Learning Representations(ICLR 2019),2019.]提出一种高性能的隐私保护神经网络框架，将深度神经网络中所有线性层的执行从可信执行环境(Trusted ExecutionEnvironment,TEE)安全委托给一个更快但不受信任的处理器中，在保证隐私性和完整性的同时提高了运行效率。

2020年，Xu等人[G.Xu,H.Li,S.Liu,K.Yang,X.Lin.Verifynet:Secure andverifiable federated learning.IEEE Transactions on Information Forensics andSecurity,2020,15(1):911-926.]提出了一种隐私保护和可验证的联邦学习框架——VerifyNet。该框架利用双重掩蔽协议来保证联邦学习过程中用户局部梯度的机密性。此外，服务器需要向每个参与者提供关于其聚合结果正确性的证明，防止服务器修改或伪造聚合结果。该方法的通信成本与梯度向量的维数密切相关，其通信成本较高，使用的零知识证明技术也增加了计算成本。

2021年，Xu等人[X.Guo,Z.Liu,J.Li,J.Gao,B.Hou,C.Dong,T.Baker.VeriFL:Communication-Efficient and Fast Verifiable Aggregation for FederatedLearning.IEEE Transactions on Information Forensics and Security,2020,16:1736–1751.]利用同态Hash函数和承诺体制，设计了一种可验证聚合方案——VeriFL，其通信开销与梯度向量维数无关，但与参与者的个数成线性增长关系。

另外，中国专利申请CN115168902A公开了一种分组可验证的链式隐私保护联邦学习方法。该方法首先提出一种分组的链式学习机制来保证用户在训练阶段的隐私，然后提出了可验证的安全聚合协议来保证全局模型的可验证性。中国专利申请CN114841363A公开了一种基于零知识证明的隐私保护与可验证隐私的联邦学习方法，实现了在不泄露训练者的隐私数据的情况下向发布者证明训练过程的正确性。中国专利申请CN115203751A公开了一种基于区块链和联邦学习的隐私安全计算验证方法，利用差分隐私高斯机制保护隐私，利用区块链实现可审计性。中国专利申请CN114978533A公开了一种基于有权重分层异步联邦学习的可验证安全聚合方法，服务器可以在不得到其他用户明文参数时，依然从聚合的密文中恢复出正确的聚合参数，同时，服务器只需生成并验证一个短签名，便可判断每个客户端的待聚合参数是否被恶意篡改。中国专利申请CN114785510A公开了一种可验证的轻量化隐私保护联邦学习方法，将Paillier同态密码体制和分布式选择性随机梯度下降方法应用至局部训练中，并使用带边缘计算框架的签名方法，实现对数据完整性的轻量级局部梯度验证。中国专利申请CN115238251A公开了一种基于模型匹配的联邦学习用户身份持续认证方法，通过衡量边缘用户在联邦学习连续两个训练中上传的模型间的匹配度进行持续性身份认证。

发明内容

本发明提出一种基于线性同态哈希和签密的可验证隐私保护联邦学习方法，双服务器下的联邦学习方法，提供参数机密性、聚合结果可验证性和身份认证服务。使用同态加密技术实现对本地模型的安全聚合，只要两台服务器不共谋，其机密性就可得到保证；使用签密技术在进行密钥传递的同时实现身份认证；使用线性同态哈希技术，可以让每个参与者独立验证聚合结果的正确性。

本发明的技术方案是这样实现的：S1：首先进行初始化操作，每个用户P_i通过签密技术将会话密钥sk_i传递至聚合服务器，同时完成聚合服务器对用户的身份认证，聚合服务器生成私钥x_AS和公钥y_AS，更新服务器生成加法同态的私钥sk_U和公钥pk_U；S2：用户P_i训练出模型参数后，对其分别使用对称密钥sk_i和同态公钥pk_U进行双重加密，之后发送至聚合服务器，同时使用线性同态哈希计算模型参数的哈希值/>发送至更新服务器；S3:聚合服务器对密文解密，对一重密文进行聚合，发送聚合结果至更新服务器；S4:更新服务器解密后得到新的全局模型/>发送至每个用户，完成一轮训练。

本申请文件中采用的一种基于线性同态哈希和签密的可验证隐私保护联邦学习方法，包含聚合服务器(Aggregation Server,AS)、更新服务器(Update Server,US)和训练用户Pi(i∈{1,2,…,n}，n为用户数量)三类角色，方法包括：

初始化：聚合服务器生成私钥x_AS和公钥y_AS，更新服务器生成加法同态的私钥sk_U和公钥pk_U，以及初始模型w⁰，用户生成对称密钥sk_i。

签密阶段：用户P_i和聚合服务器通过签密技术进行对密钥sk_i的传递，同时完成聚合服务器对用户P_i的身份认证。

训练阶段：在每一轮训练t中，用户P_i对自己训练的模型参数分别使用对称密钥sk_i和同态公钥pk_U进行双重加密，之后发送至聚合服务器，待其解密后对一重密文进行聚合，之后发送至更新服务器解密。更新服务器解密得到新的全局模型/>后，将其发送至每个用户，完成一轮训练。期间，用户P_i会使用线性同态哈希函数，将本地模型参数的哈希值/>发送至更新服务器。

验证阶段：在整个联邦训练结束后，用户P_i向更新服务器请求其他用户每轮发送的哈希值使用它们计算一个评估值，同时使用每轮收到的全局模型计算一个哈希值，验证两个结果是否相等。如果相等，那么用户P_i认为自己每轮收到的全局模型都是正确的。

作为一优选的实施方式，在完成步骤S4的一轮训练后，进入步骤S5进行验证；S5：进行若干轮训练，在完成整个训练过程结束后，用户Pi向更新服务器请求其他用户每轮发送的哈希值之后计算验证等式，判断整个聚合过程是否被正确地执行。

作为一优选的实施方式，使用了线性同态哈希技术进行聚合过程的完整性验证。l轮联邦训练结束后，用户P_i向更新服务器请求生成选择l个随机数α₁,α₂,…,α_l，计算是否有/>其中如果成立，P_i判断整个聚合过程都被正确地执行，否则拒绝聚合结果。

作为一优选的实施方式，所述步骤S2中的线性同态哈希计算模型参数包括记KHk为带密钥k的Hash函数、AES的加密和解密算法和Paillier密码体制的加密和解密算法，同态哈希其公开参数为{G,q,g,g₁g₂,...,g_d}，其中G是阶为素数q的循环群，q为素数，g是群G生成元，g₁g₂,...,g_d是群G中的d个不同的元素。

作为一优选的实施方式，更新服务器产生Paillier体制的私钥skU、公钥pkU和初始模型w0；用户Pi同时还生成AES密钥ski。

作为一优选的实施方式，聚合服务器产生私钥x_AS和公钥y_AS，满足用户P_i产生私钥x_i和公钥y_i，满足1≤x_i≤q，/>其中p为大素数且q|(p-1)，g₀是/>中的一个q阶元素，所述/>为整数模p下的有限域，即/>

作为一优选的实施方式，用户P_i随机选择整数x，1≤x≤q，计算随后将k分成不同长度的k₁和k₂，然后计算/>以及AES密钥sk_i的密文/>，得到密钥sk_i的签密密文(c,r,s)，然后将其发送至聚合服务器。

作为一优选的实施方式，聚合服务器收到(c,r,s)，计算将k分成不同长度的k₁和k₂，计算/>若/>完成身份认证，接受sk_i，否则拒绝该用户。

作为一优选的实施方式，所述步骤S2中，用户Pi训练出模型参数中，计算二重密文以及哈希值，并将二重密文发送至聚合服务器，将哈希值发送至更新服务器。用户P_i训练出本地模型/>计算二重密文/>以及哈希值/>将/>发送至聚合服务器，将/>发生至更新服务器。聚合服务器计算/>之后计算聚合密文/>将/>发送至更新服务器。更新服务器计算/>将新全局模型发送至所有用户。

采用了上述技术方案后，本发明的有益效果是：保证了联邦学习中本地参数的机密性，完成了参与用户对聚合结果的正确性验证和服务器对参与用户的身份认证。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的系统结构图；

图2是本发明的交互过程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

参见图1，方案包括聚合服务器(Aggregation Server,AS)、更新服务器(UpdateServer,US)和n个用户。参见图2，本发明具体流程如下：

(1)初始化

记KH_k为带密钥k的Hash函数，E和D分别为AES密码体制的加密和解密算法，Enc和Dec分别为Paillier密码体制的加密和解密算法。对于同态哈希，其公开参数为{G,q,g,g₁g₂,...,g_d}，其中G是阶为素数q的循环群，g是群G生成元，g₁g₂,...,g_d是群G中的d个不同的元素，H为线性同态哈希函数，其中x为d维向量，x＝[x[1],x[2],…,x[d]]。

聚合服务器生成私钥x_AS和公钥y_AS，满足1≤x_AS≤q，用户P_i(i∈{1,2,…,n})生成一个AES密钥sk_i，同时也生成私钥x_i和公钥y_i，满足1≤xi≤q，/>其中p为大素数且q|(p-1)，g₀是/>中的一个q阶元素；更新服务器生成Paillier体制的私钥skU和公钥pkU，产生初始模型w0并发送至所有用户。

签密阶段

(2.1)签密。用户Pi执行：随机选择整数x，1≤x≤q，计算将k分成适当长度的k1和k2，然后计算/> 得到密钥ski的签密密文(c,r,s)，然后将其发送至聚合服务器。

(2.2)解签密。聚合服务器收到密文(c,r,s)时，执行：计算将k分成适当长度的k1和k2，计算/>如果/>则接受sk_i；否则拒绝该用户的密文

(3)训练阶段

在第t轮(1≤t≤l)训练中，用户P_i使用自己的数据训练本地模型然后计算密文同时计算/>将/>发送至聚合服务器，将/>发生至更新服务器。聚合服务器计算/>然后计算聚合密文：/>并将/>发送至更新服务器。更新服务器计算/>将w^t发送至每个用户。

(4)验证阶段

在l轮联邦训练结束后，用户P_i希望验证聚合过程的正确性。首先向更新服务器请求生成/> 选择l个随机数α₁,α₂,…,α_l，计算是否有/> 其中/>如果等式成立，那么P_i认为整个聚合过程都被正确地执行，否则拒绝聚合结果。

下面对该发明方法进行分析。

正确性：如果相关各方诚实执行协议，那么参与方可以获得正确的聚合值因为有：

机密性：无论服务器是否与其他用户共谋，只要双服务器不共谋，该发明方法就可以保护其他用户的本地模型隐私。同态加密的私钥和签密私钥分别由更新服务器和聚合服务器持有，对称密钥由用户和聚合服务器共享。用户的模型参数首先由同态公钥加密，聚合服务器没有私钥，无法对其进行解密。更新服务器只能获取二重密文，同时由于没有签密私钥，无法在初始化阶段拦截信息解密获取对称密钥，因而无法获取可解密的一重密文。同时，即使更新服务器和其他用户勾结，也无法获得目标用户的对称密钥。因此，该方法保护了参与用户模型参数的机密性。

聚合结果可验证性：如果参与者Pi在所有轮次中接收到正确的聚合值，则哈希值满足：

聚合服务器和更新服务器都不能独立地伪造用户发给更新服务器的验证信息，并且随机数α_t由每个用户产生。如果聚合服务器和更新服务器想要通过验证，那么他们必须保证其中x为伪造值。由于哈希是抗碰撞的，因此在计算上是不可行的。该方法可以有效验证聚合结果的正确性，即完整性得到了保障。

身份认证性：每个用户拥有一个签密私钥，只有他自己可以生成签密密文，别人无法伪造该用户的密文。当聚合服务器接受了sk_i，则对用户进行了身份认证。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一基于线性同态哈希和签密的可验证隐私保护联邦学习方法，通过服务器、更新服务器和训练用户进行三方数据交互，其特征在于，所述方法包括如下步骤：

S1：首先进行初始化操作，每个用户Pi通过签密技术将AES密钥ski传递至聚合服务器，同时完成聚合服务器对用户的身份认证，聚合服务器生成私钥xAS和公钥yAS，更新服务器生成Paillier密码体制中加法同态的私钥skU和公钥pkU；

S2：用户Pi训练出模型参数后，对其分别使用AES密钥ski和公钥pkU进行双重加密，之后发送至聚合服务器，同时使用线性同态哈希计算模型参数的哈希值/>发送至更新服务器；

S3:聚合服务器对密文解密，对一重密文进行聚合，发送聚合结果至更新服务器；

S4:更新服务器解密后得到新的全局模型参数发送至每个用户，完成一轮训练；

所述步骤S2中，用户Pi训练出模型参数中，计算二重密文以及哈希值，并将二重密文发送至聚合服务器，将哈希值发送至更新服务器，用户Pi训练出模型参数/>计算二重密文以及哈希值/>将/>发送至聚合服务器，将/>发送至更新服务器，聚合服务器计算/>之后计算聚合密文/>将/>发送至更新服务器，更新服务器计算/> 将新全局模型发送至所有用户；

所述步骤S2中的线性同态哈希计算模型参数包括Hash函数记作KHk(·)，k为函数密钥参数、AES的加密、解密算法记作Ek(·)和Dk(·)，k为函数密钥参数和Paillier密码体制的加密和解密算法，同态哈希公开参数为{G，q，g，g₁g₂，...，g_d}，其中G是阶为素数q的循环群，q为素数，g是循坏群G生成元，g₁，g₂，...，g_d是循坏群G中的d个不同的元素。

2.如权利要求1所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于：在完成步骤S4的一轮训练后，进入步骤S5进行验证；

S5：进行若干轮训练，在完成整个训练过程结束后，用户Pi向更新服务器请求其他用户每轮发送的哈希值之后计算验证等式，判断整个聚合过程是否被正确地执行。

3.如权利要求2所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于，使用了线性同态哈希技术进行聚合过程的完整性验证。

4.如权利要求1所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于，更新服务器产生Paillier密码体制的私钥skU、公钥pkU和初始模型w0；用户Pi同时还生成AES密钥ski。

5.如权利要求1所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于：聚合服务器产生私钥xAS和公钥yAS，满足1≤xAS≤q，用户Pi产生私钥xi和公钥yi，满足1≤xi≤q，/>其中p为大素数且满足q能整除p-1，g₀是中的一个q阶元素，所述/>为有限域，该有限域/>中的元素为{1,2,…,p-1}。

6.如权利要求4或5其中任意一项所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于，用户Pi随机选择整数x，1≤x≤q，计算随后将k分成不同长度的k1和k2，然后计算/>s＝x/(r+xi)mod q，以及AES密钥ski的密文/>得到密钥ski的签密密文(c,r,s)，然后将其发送至聚合服务器。

7.如权利要求6所述的基于线性同态哈希和签密的可验证隐私保护联邦学习方法，其特征在于，聚合服务器收到(c,r,s)，计算将k分成不同长度的k1和k2，计算/>若/>完成身份认证，接受ski，否则拒绝该用户。