CN118118152A - 一种基于多密钥同态加密的联邦学习方法和系统 - Google Patents

一种基于多密钥同态加密的联邦学习方法和系统 Download PDF

Info

Publication number
CN118118152A
CN118118152A CN202410280365.8A CN202410280365A CN118118152A CN 118118152 A CN118118152 A CN 118118152A CN 202410280365 A CN202410280365 A CN 202410280365A CN 118118152 A CN118118152 A CN 118118152A
Authority
CN
China
Prior art keywords
ciphertext
key
participant
public key
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410280365.8A
Other languages
English (en)
Inventor
杨天若
路万里
赵若男
刘德彬
崔金华
邓贤君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202410280365.8A priority Critical patent/CN118118152A/zh
Publication of CN118118152A publication Critical patent/CN118118152A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)

Abstract

本发明公开了一种基于多密钥同态加密的联邦学习方法和系统，属于深度学习训练技术领域，所述方法在联邦训练过程中本地待训练模型均以密文的形式在参与者和云服务器之间传输从而保证隐私性要求。每个参与者收到来自云服务器的密文参数后使用自己的私钥解密，并使用解密后的参数更新本地待训练模型，在保证算法高安全性的同时降低联邦学习训练过程中的通信开销；为不同参数者集合分发不同的公私钥，可以在不影响模型性能的前提下满足不同参与者的不同安全级别要求，通信传输过程中均采用密文可以抵抗外部恶意攻击者和半可信服务器攻击。此外，每个参与者在每次迭代时，利用其当前本地待训练模型参数参与全局模型聚合，可以提高联邦效率。

Description

一种基于多密钥同态加密的联邦学习方法和系统
技术领域
本发明属于数据安全和隐私保护技术领域，更具体地，涉及一种基于多密钥同态加密的联邦学习方法和系统。
背景技术
随着物联网的发展，工业物联网在智能工厂、智能制造等众多的领域得到了广泛应用，有效的提升了工厂的生产水平，实现了高效管理的目标。通过智能设备收集、处理数据，采用深度学习进行分析优化的方式为智能工厂提供了新的方向。但是，由于单个的工厂所提供的数据规模有限，无法支撑其单独训练出一个高质量的模型。此外由于数据安全和用户的隐私问题，不同工厂之间的数据通常无法共享，所以就产生了数据孤岛现象。
联邦学习作为一种新式的保护隐私的深度学习训练方法，它可以允许各个工厂将自己的数据保存在本地，将模型上传的到服务器来达到协同训练的目的。这种训练方式有效的打破了数据孤岛现象，同时很大程度上保护了数据安全性。然而，训练大规模的模型通常需要参与训练的工厂和联邦云平台之间进行多轮传输，每次传输高达数百万甚至数十亿的参数，这将会在通信受限环境中造成通信瓶颈。除此之外，尽管训练数据保存在每个工厂，但是外部恶意的攻击者或者半可信服务器也可以通过模型的参数信息推断用户的隐私信息。
基于差分隐私的技术通过在模型中加入噪声保护隐私，但会造成模型精度的损失。利用同态加密抵御外部恶意攻击和半可信服务器的推理，虽然不会影响模型精度但是会增大通信开销。同态加密技术需要所有用户使用相同的密钥，对隐私性要求较高的用户会担心其他用户通过解密自己的本地模型来窃取的隐私。因此，如何构建一个可信的学习算法同时降低通信的开销是当前极为关注的一个问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多密钥同态加密的联邦学习方法和系统，其目的在于以多密钥同态加密技术作为隐私保护框架，不仅显著降低联邦学习训练过程中的通信开销，同时避免用户模型参数明文传输造成的信息泄露问题。此外，还可以抵御恶意用户和半可信服务器的推理攻击，由此解决现有联邦学习算法通信开销大安全性低的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于多密钥同态加密的联邦学习方法，包括：
S1：密钥生成中心生成个人公钥和个人私钥分发给第一集合Ψ中各参与者，还生成通用公钥和通用私钥分发给第一集合Ψ以及第二集合Φ中的各个参与者；密钥生成中心还将部分个人私钥、所述个人公钥和所述通用公钥发送给云服务器；所述第一集合Ψ和所述第二集合Φ对应的安全级别不同；
S2：所述云服务器将训练模型分发给所述第一集合Ψ和所述第二集合Φ中的各参与者作为其本地待训练模型；
S3：所述第一集合Ψ中各参与者利用所述私有公钥对自己的本地待训练模型进行加密得到第一密文参数，并上传给所述云服务器；所述第二集合Φ中各参与者利用所述通用公钥对自己的本地待训练模型进行加密得到第二密文参数，并上传给所述云服务器；
S4：所述云服务器与所述第一集合Ψ中各参与者通过交互利用所述个人公钥和所述通用私钥将所述第一密文参数进行转化为新的第一密文参数；所述新的第一密文参数是采用所述通用公钥加密得到的；
S5：所述云服务器聚合所述新的第一密文参数和所述第二密文参数得到迭代模型参数；若所述迭代模型参数满足预设要求则结束训练，反之则将所述迭代模型参数下发给所述第一集合Ψ和所述第二集合Φ中各参与者以使其利用所述迭代模型参数对各自的本地待训练模型进行更新，并转入S3。
在其中一个实施例中，所述S1包括：所述密钥生成中心KGC执行如下步骤：
S11：对于所述第一集合Ψ中的第j个参与者TCj，生成所述个人公钥和个人私钥并将下发给对应的TCj；/>表示所述个人公钥，/>分别表示所述第一子私钥和所述第二子私钥，二者是TCj,j∈Ψ的个人私钥拆分的；
S12：对于所述第一集合Ψ和所述第二集合Φ中的各参与者，生成所述通用公钥和通用私钥(Pk,Sk)并下发给各参与者；
S13：将每个TCj,j∈Ψ的所述第一子私钥所述个人公钥/>和每个TCi,i∈Φ的所述通用公钥Pk发送给所述云服务器。
在其中一个实施例中，所述S3包括：
S31：对TCj,j∈Ψ，利用所述个人公钥对自己本地待训练模型进行加密得到所述第一密文参数/>并将/>上传到所述云服务器；
S32：对TCi,i∈Φ，使用所述通用公钥Pk对自己本地待训练模型进行加密，得到所述第二密文参数并将数/>上传到所述云服务器。
在其中一个实施例中，所述S4包括：
所述云服务器对所述第一密文参数进行盲化得到盲化密文参数，再利用第一子私钥对所述盲化密文参数进行部分解密得到第一中间密文并下发给所述第一集合中各参与者；
所述第一集合中各参与者利用第二子私钥对所述盲化密文参数进行部分解密得到第二中间密文，对所述第一中间密文和所述第二中间密文进行联合解密得到盲化明文；所述第一子私钥和第二子私钥是所述第一集合中参与者的个人私钥拆分的；
所述第一集合中各参与者利用所述通用公钥加密所述盲化明文以获取通用盲化密文，所述云服务器对通用盲化密文去盲化得到所述新的第一密文参数。
在其中一个实施例中，所述S4包括：
S41：所述云服务器利用所述第一集合Ψ中的第j个参与者TCj的公钥加密盲化因子r得到/>对TCj上传的所述第一密文参数/>盲化计算得到中间模型参数利用第一子私钥/>对盲化后的密文/>进行部分解密得到所述第一中间密文CT1 j并返还给TCj；
S42：参与者TCj,j∈Ψ使用第二子私钥对所述第一密文/>进行部分解密得到所述第二中间密文CT2 j，对所述第一中间密文CT1 j和第二中间密文CT2 j进行联合恢复得到所述盲化明文/>利用所述通用公钥Pk加密所述盲化明文/>得到通用盲化密文/>并上传到所述云服务器；
S43：所述云服务器对所述通用盲化密文参数进行去盲化得到所述新的第一密文参数/>
在其中一个实施例中，所述S42中对所述第一中间密文CT1 j和第二中间密文CT2 j进行联合恢复得到所述盲化明文包括：
针对所述第一集合Ψ中的第j个参与者TCj，计算和/>为TCj的私钥/>拆分的，/>p',q'为两个素数，p＝2p'+1,q＝2q'+1，参量r为加密过程中所使用的随机数，参量N＝pq；m表示明文，代表所述盲化明文/>
化简公式得到最终明文m＝L(CT1·CT2modN2)，L(.)表示解密函数。
在其中一个实施例中，所述训练模型为基于张量链-张量奇异值分解改进门控循环单元模型，通过将传统的网络模型转化为张量网络并利用张量分解技术进行低秩近似得到。
在其中一个实施例中，所述训练模型为基于张量链-张量奇异值分解TR-TSVD改进门控循环单元模型，通过将传统的网络模型转化为张量网络并利用张量分解技术进行低秩近似得到。
在其中一个实施例中，基于TR-TSVD改进门控循环单元模型的表达式为：
其中，表示复位门，/>表示更新门，/>表示候选隐藏层，/>表示t时刻的隐藏层，σ()表示激活函数，x<t>表示t时刻的输入向量，W<x,S>表示S的权重向量，其他的W也是同样的含义，/>表示网络中的偏置值，⊙表示哈达玛积，TR-TSVDL()表示改进的张量网络上的运算。
按照本发明的另一方面，提供了一种基于多密钥同态加密的联邦学习系统，包括：密钥生成中心、云服务器和用户端；
所述密钥生成中心，用于生成个人公钥和个人私钥分发给第一集合Ψ中各参与者，还生成通用公钥和通用私钥分发给第一集合Ψ以及第二集合Φ中的各个参与者；密钥生成中心还将部分个人私钥、所述个人公钥和所述通用公钥发送给云服务器；所述第一集合Ψ和所述第二集合Φ对应的安全级别不同；
所述云服务器，用于将训练模型分发给所述第一集合Ψ和所述第二集合Φ中的各参与者作为其本地待训练模型；
所述用户端，用于所述第一集合Ψ中各参与者利用所述私有公钥对自己的本地待训练模型进行加密得到第一密文参数，并上传给所述云服务器；所述第二集合Φ中各参与者利用所述通用公钥对自己的本地待训练模型进行加密得到第二密文参数，并上传给所述云服务器；
所述云服务器与所述第一集合Ψ中各参与者通过交互利用所述个人公钥和所述通用私钥将所述第一密文参数进行转化为新的第一密文参数；所述新的第一密文参数是采用所述通用公钥加密得到的；
所述云服务器聚合所述新的第一密文参数和所述第二密文参数得到迭代模型参数；若所述迭代模型参数满足预设要求则结束训练，反之则将所述迭代模型参数下发给所述第一集合Ψ和所述第二集合Φ中各参与者以使其利用所述迭代模型参数对各自的本地待训练模型进行更新，并开启新一轮的训练。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提供的基于多密钥同态加密的联邦学习方法，联邦训练过程中本地待训练模型均以密文的形式在TC和FLP之间传输从而保证隐私性要求。每个TC收到来自FLP下发的密文参数之后使用自己的私钥SK解密，同时使用解密后的参数更新本地待训练模型，可以在保证算法高安全性的同时降低联邦学习训练过程中的通信开销；为不同参数者集合分发不同的公私钥，可以在不影响模型性能的前提下满足不同参与者的不同安全级别要求，通信传输过程中均采用密文可以抵抗外部恶意攻击者和半可信服务器攻击。此外，每个参与者在每次迭代时，利用其当前本地待训练模型参数参与全局模型聚合，可以提高联邦效率和准确率。
(2)本实施例提供的基于多密钥同态加密的联邦学习方法，对于所述第一集合Ψ中的第j个参与者生成所述个人公钥和个人私钥两个/>是/>拆分的；如此，可以保证密文只有在两个密钥的共同参与下才能恢复，具备较高的安全性。
(3)本实施例提供的基于多密钥同态加密的联邦学习方法，对TCj,j∈Ψ，使用所述个人公钥公钥对自己本地待训练模型进行加密得到所述第一密文参数/>对TCi,i∈Φ，使用所述通用公钥Pk对自己本地待训练模型进行加密得到所述第二密文参数不同公钥加密的密文降低隐私泄露风险。
(4)本实施例提供的基于多密钥同态加密的联邦学习方法，由于同态加密的密钥不同则无法完成密文的融合，所述云服务器与所述第一集合Ψ中各参与者利用多密钥解密方案将Ψ中的TCj的密文转为公共公钥Pk加密的形式，同时确保用户的隐私不被泄露。最后，FLP将所有密文融合在一起得到新的全局模型参数，然后将新的密文形式全局模型参数下发给所有的TC。算法在保证通信安全的同时通信开销也低。在利用多密钥解密方案将Ψ中的TCj的密文转为公共公钥Pk加密的形式之前先对密文进行盲化，该算法完毕后再进行去盲，可以进一步提高安全性。
(5)本实施例提供的基于多密钥同态加密的联邦学习方法，利用公式对两个中间密文进行联合恢复，计算复杂度低，可以提升整个算法的安全性。
(6)为了减少通信开销，提出了一种基于张量分解的联邦深度计算模型，将具有高维张量空间本地待训练模型转化到低维子空间，以减少训练时的带宽和存储需求。
附图说明
图1是本发明实施例1提供的基于多密钥同态加密的联邦学习方法的流程图。
图2是本发明实施例1提供的基于多密钥同态加密的联邦学习方法的原理图。
图3是本发明实施例1提供的密钥分发示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
首先说明本申请中基础算法的举例说明。
密钥生成算法：密钥生成中心KGC生成两个大素数p',q'，使N＝pq，同时满足p＝2p′+1，q＝2q′+1。计算和g＝N+1，同时定义函数/>即可以得到公钥Pk：(N,g)，私钥SK：(λ)。
加密算法：对于明文消息选择一个随机数/>并同时计算c＝gMxNmod N2，记为：/>
解密算法：对于密文消息c，明文信息通过计算可以获得，记为：/>
密钥sk1解密算法：使用sk1对密文进行部分解密，得到中间解密的结果记为：/>
密钥sk2解密算法：使用sk2对密文进行部分解密，得到中间的计算结果记为：/>
实施例1
基于多密钥同态加密的联邦学习方法的流程图和原理图分别如图1和图2所示，该方法包括：
S1：密钥生成中心生成个人公钥和个人私钥分发给第一集合Ψ中各参与者，还生成通用公钥和通用私钥分发给第一集合Ψ以及第二集合Φ中的各个参与者；密钥生成中心还将部分个人私钥、个人公钥和通用公钥发送给云服务器；第一集合Ψ和第二集合Φ对应的安全级别不同；
S2：云服务器将训练模型分发给第一集合Ψ和第二集合Φ中的各参与者作为其本地待训练模型；
S3：第一集合Ψ中各参与者利用私有公钥对自己的本地待训练模型进行加密得到第一密文参数，并上传给云服务器；第二集合Φ中各参与者利用通用公钥对自己的本地待训练模型进行加密得到第二密文参数，并上传给云服务器；
S4：云服务器与第一集合Ψ中各参与者通过交互利用个人公钥和通用私钥将第一密文参数进行转化为新的第一密文参数；新的第一密文参数是采用通用公钥加密得到的；
S5：云服务器聚合新的第一密文参数和第二密文参数得到迭代模型参数；若迭代模型参数满足预设要求则结束训练，反之则将迭代模型参数下发给第一集合Ψ和第二集合Φ中各参与者以使其利用迭代模型参数对各自的本地待训练模型进行更新，并转入S3。
优选的，步骤S1具体包括：所有参与联邦学习的n个TC根据需要选定一个安全参数；KGC设定安全参数κ，进而生成一组的公共同态密钥(Pk,Sk)；对于每个TCi,i∈Φ，KGC将(Pk,Sk)分发给他们；对于每个TCj，KGC为其生成一组单独的密钥并将密钥对/>下发给对应的TCj；KGC将每个TCj,j∈Ψ的密钥对/>和公共同态密钥Pk分发给FLP。密钥分发示意图如图3所示。
优选的，步骤S3具体包括：每个TC设置自己模型训练的超参数，包括学习率、训练轮数和批大小；TCi完成本轮的训练过程，得到第t轮训练好的本地待训练模型参数对TCi,i∈Φ，使用同态公钥Pk对自己本地待训练模型进行加密，得到/>将密文参数上传到FLP。对TCj，使用自己的公钥/>对自己本地待训练模型进行加密，得到将密文参数/>上传到FLP。
优选的，步骤S4具体包括：FLP选择一个盲化因子r，并使用加密得到/>对于TCj,j∈Ψ上传的密文/>进行盲化计算得到/>FLP使用私钥/>对盲化后的密文/>进行部分1解密操作得到CT1 j，并返还给TCj,j∈Ψ；对于参与者TCj,j∈Ψ使用/>对盲化后的密文/>进行部分2解密得到CT2 j，同时联合恢复得到/>最后使用公钥Pk对/>加密得到/>并上传到FLP；FLP对进行去盲化操作得到/>
优选的，步骤S5具体包括：对于所有TCj,j∈{Ψ∪Φ}，FLP可以得到统一形式的密文FLP计算：/>得到聚合后的密文形式的全局参数；FLP将密文参数/>发送给每个TC；联邦学习是一个多轮迭代的训练过程，因此需要进行多轮的迭代，直至模型收敛。
优选的，为了能够压缩训练模型的规模，有效的降低联邦学习中各个TC与FLP的通信开销，本发明设计了基于TR-TSVD的GRU模型，通过将传统的网络模型转化为张量网络，并利用张量分解技术进行低秩近似，降低模型的参数规模。
TR-TSVD层：对于一个输入向量输入向量/>以及他们对应的参数矩阵/>他们可以分别被转化为张量的形式，输入张量为输出张量为/>权重张量为同时满足如下公式：
其中，N,M,G分别代表张量模型的参数。输出的张量由输入张量/>与权重张量/>乘积得到，如/>但是，在资源有限的TC和通信有效的联邦训练环境中，过量的参数会阻碍GRU训练的过程。为了解决这个问题，TR-TSVD为GRU的低秩特性提供了一个紧凑的结构。具体地说，权重张量可以分解为M+G的核心张量的TR-TSVD格式，可以表示为/>其中，/>表示张量权重/>在TR-TSVD格式下的第α个张量。
之后，输出张量可以通过3个步骤计算得到：
步骤一：将所有输入张量和输出张量相关的核心张量分别连接起来，得到CoreJ和CoreK：其中，两个核心张量分别满足
同时
步骤二：用核心张量CoreJ处理输入张量X，通过张量多模积得到WJ，其中，/>
步骤三：合并WJ和CoreG获得输出张量
其中，/>
具体地，将输入张量X和权重矩阵W转化为张量形式，然后将W分解为对应的TR-TSVD格式的矩阵综上，可以将这个分解过程表示为：
优选的，关于本申请提供的基于TR-TSVD的轻量级GRU是将TR-TSVDL应用到GRU模型，得到改进的TR-TSVD-GRU模型，表示为：
其中，表示复位门，/>表示更新门，/>表示候选隐藏层，/>表示t时刻的隐藏层。
实施例2
本实施例提供了一种基于多密钥同态加密的联邦学习系统，包括：密钥生成中心、云服务器和用户端；该联邦学习系统用于执行上述实施例的联邦学习方法。
密钥生成中心，用于生成个人公钥和个人私钥分发给第一集合Ψ中各参与者，还生成通用公钥和通用私钥分发给第一集合Ψ以及第二集合Φ中的各个参与者；密钥生成中心还将部分个人私钥、个人公钥和通用公钥发送给云服务器；第一集合Ψ和第二集合Φ对应的安全级别不同。
云服务器，用于将训练模型分发给第一集合Ψ和第二集合Φ中的各参与者作为其本地待训练模型。
用户端，用于第一集合Ψ中各参与者利用私有公钥对自己的本地待训练模型进行加密得到第一密文参数，并上传给云服务器；第二集合Φ中各参与者利用通用公钥对自己的本地待训练模型进行加密得到第二密文参数，并上传给云服务器。
云服务器与第一集合Ψ中各参与者通过交互利用个人公钥和通用私钥将第一密文参数进行转化为新的第一密文参数；新的第一密文参数是采用通用公钥加密得到的。
云服务器聚合新的第一密文参数和第二密文参数得到迭代模型参数；若迭代模型参数满足预设要求则结束训练，反之则将迭代模型参数下发给第一集合Ψ和第二集合Φ中各参与者以使其利用迭代模型参数对各自的本地待训练模型进行更新，并开启新一轮的训练。
实施例3
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多密钥同态加密的联邦学习方法，其特征在于，包括：
S1：密钥生成中心生成个人公钥和个人私钥分发给第一集合Ψ中各参与者，还生成通用公钥和通用私钥分发给第一集合Ψ以及第二集合Φ中的各个参与者；密钥生成中心还将部分个人私钥、所述个人公钥和所述通用公钥发送给云服务器；所述第一集合Ψ和所述第二集合Φ对应的安全级别不同；
S2：所述云服务器将训练模型分发给所述第一集合Ψ和所述第二集合Φ中的各参与者作为其本地待训练模型；
S3：所述第一集合Ψ中各参与者利用所述私有公钥对自己的本地待训练模型进行加密得到第一密文参数，并上传给所述云服务器；所述第二集合Φ中各参与者利用所述通用公钥对自己的本地待训练模型进行加密得到第二密文参数，并上传给所述云服务器；
S4：所述云服务器与所述第一集合Ψ中各参与者通过交互利用所述个人公钥和所述通用私钥将所述第一密文参数转化为新的第一密文参数；所述新的第一密文参数是采用所述通用公钥加密得到的；
S5：所述云服务器聚合所述新的第一密文参数和所述第二密文参数得到迭代模型参数；若所述迭代模型参数满足预设要求则结束训练，反之则将所述迭代模型参数下发给所述第一集合Ψ和所述第二集合Φ中各参与者以使其利用所述迭代模型参数对各自的本地待训练模型进行更新，并转入S3。
2.如权利要求1所述的基于多密钥同态加密的联邦学习方法，其特征在于，所述S1包括：所述密钥生成中心KGC执行如下步骤：
S11：对于所述第一集合Ψ中的第j个参与者TCj，生成所述个人公钥和个人私钥并将下发给对应的TCj；/>表示所述个人公钥，/>分别表示所述第一子私钥和所述第二子私钥，二者是TCj,j∈Ψ的所述个人私钥拆分的；
S12：对于所述第一集合Ψ和所述第二集合Φ中的各参与者，生成所述通用公钥和通用私钥(Pk,Sk)并下发给各参与者；
S13：将每个TCj,j∈Ψ的所述第一子私钥所述个人公钥/>和每个TCi,i∈Φ的所述通用公钥Pk发送给所述云服务器。
3.如权利要求2所述的基于多密钥同态加密的联邦学习方法，其特征在于，所述S3包括：
S31：对TCj,j∈Ψ，利用所述个人公钥对自己本地待训练模型进行加密得到所述第一密文参数/> 为加密算符，并将/>上传到所述云服务器；
S32：对TCi,i∈Φ，使用所述通用公钥Pk对自己本地待训练模型进行加密，得到所述第二密文参数并将数/>上传到所述云服务器。
4.如权利要求1所述的基于多密钥同态加密的联邦学习方法，其特征在于，所述S4包括：
所述云服务器对所述第一密文参数进行盲化得到盲化密文参数，再利用所述部分个人私钥对所述盲化密文参数进行部分解密得到第一中间密文并下发给所述第一集合中各参与者；
所述第一集合中各参与者利用第二子私钥对所述盲化密文参数进行部分解密得到第二中间密文，对所述第一中间密文和所述第二中间密文进行联合解密得到盲化明文；所述第一子私钥和第二子私钥是所述第一集合中参与者的个人私钥拆分的；
所述第一集合中各参与者利用所述通用公钥加密所述盲化明文以获取通用盲化密文，所述云服务器对通用盲化密文去盲化得到所述新的第一密文参数。
5.如权利要求4所述的基于多密钥同态加密的联邦学习方法，其特征在于，所述S4包括：
S41：所述云服务器利用所述第一集合Ψ中的第j个参与者TCj的公钥加密盲化因子r得到/> 为加密算符；对TCj上传的所述第一密文参数/>盲化计算得到中间模型参数/>利用第一子私钥/>对盲化后的密文/>进行部分解密得到所述第一中间密文CT1 j并返还给TCj；
S42：参与者TCj,j∈Ψ使用第二子私钥对所述第一密文/>进行部分解密得到所述第二中间密文CT2 j，对所述第一中间密文CT1 j和第二中间密文CT2 j进行联合恢复得到所述盲化明文/>利用所述通用公钥Pk加密所述盲化明文/>得到通用盲化密文并上传到所述云服务器；
S43：所述云服务器对所述通用盲化密文参数进行去盲化得到所述新的第一密文参数/>
6.如权利要求5所述的基于多密钥同态加密的联邦学习方法，其特征在于，所述S42中对所述第一中间密文CT1 j和第二中间密文CT2 j进行联合恢复得到所述盲化明文包括：
针对所述第一集合Ψ中的第j个参与者TCj，计算 和/>为TCj的私钥/>拆分的，/>p',q'为两个素数，p＝2p'+1,q＝2q'+1，参量r为加密过程中所使用的随机数，参量N＝pq；m表示明文，代表所述盲化明文/>
化简公式得到CTj 1·CTj 2＝(1+m·N)mod N2，最终明文m＝L(CT1·CT2 mod N2)，L(.)表示解密函数。
7.如权利要求1所述的基于多密钥同态加密的联邦学习方法，其特征在于，所述训练模型为基于张量链-张量奇异值分解TR-TSVD改进门控循环单元模型，通过将传统的网络模型转化为张量网络并利用张量分解技术进行低秩近似得到。
8.如权利要求7所述的基于多密钥同态加密的联邦学习方法，其特征在于，基于TR-TSVD改进门控循环单元模型的表达式为：
其中，表示复位门，/>表示更新门，/>表示候选隐藏层，/>表示t时刻的隐藏层，σ()表示激活函数，x<t>表示t时刻的输入向量，W<x,S>表示S的权重向量，其他的W也是同样的含义，/>表示网络中的偏置值，⊙表示哈达玛积，TR-TSVDL()表示改进的张量网络上的运算。
9.一种基于多密钥同态加密的联邦学习系统，其特征在于，包括：密钥生成中心、云服务器和用户端；
所述密钥生成中心，用于生成个人公钥和个人私钥分发给第一集合Ψ中各参与者，还生成通用公钥和通用私钥分发给第一集合Ψ以及第二集合Φ中的各个参与者；密钥生成中心还将部分个人私钥、所述个人公钥和所述通用私钥发送给云服务器；所述第一集合Ψ和所述第二集合Φ对应的安全级别不同；
所述云服务器，用于将训练模型分发给所述第一集合Ψ和所述第二集合Φ中的各参与者作为其本地待训练模型；
所述用户端，用于所述第一集合Ψ中各参与者利用所述私有公钥对自己的本地待训练模型进行加密得到第一密文参数，并上传给所述云服务器；所述第二集合Φ中各参与者利用所述通用公钥对自己的本地待训练模型进行加密得到第二密文参数，并上传给所述云服务器；
所述云服务器与所述第一集合Ψ中各参与者通过交互利用所述个人公钥和所述通用私钥将所述第一密文参数进行转化为新的第一密文参数；所述新的第一密文参数是采用所述通用公钥加密得到的；
所述云服务器聚合所述新的第一密文参数和所述第二密文参数得到迭代模型参数；若所述迭代模型参数满足预设要求则结束训练，反之则将所述迭代模型参数下发给所述第一集合Ψ和所述第二集合Φ中各参与者以使其利用所述迭代模型参数对各自的本地待训练模型进行更新，并开启新一轮的训练。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202410280365.8A 2024-03-12 2024-03-12 一种基于多密钥同态加密的联邦学习方法和系统 Pending CN118118152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410280365.8A CN118118152A (zh) 2024-03-12 2024-03-12 一种基于多密钥同态加密的联邦学习方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410280365.8A CN118118152A (zh) 2024-03-12 2024-03-12 一种基于多密钥同态加密的联邦学习方法和系统

Publications (1)

Publication Number Publication Date
CN118118152A true CN118118152A (zh) 2024-05-31

Family

ID=91213699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410280365.8A Pending CN118118152A (zh) 2024-03-12 2024-03-12 一种基于多密钥同态加密的联邦学习方法和系统

Country Status (1)

Country Link
CN (1) CN118118152A (zh)

Similar Documents

Publication Publication Date Title
Xu et al. Privacy-preserving federated deep learning with irregular users
CN113518092B (zh) 实现多方隐私的集合交集方法
CN109962769B (zh) 基于门限盲签名的数据安全去重方法
Wu et al. Towards efficient secure aggregation for model update in federated learning
CN106375346A (zh) 一种云环境下基于条件广播代理重加密的数据保护方法
CN104320393A (zh) 重加密可控的高效属性基代理重加密方法
CN114219483B (zh) 基于lwe-cpabe的区块链数据共享方法、设备和存储介质
CN111967514B (zh) 一种基于数据打包的隐私保护决策树的样本分类方法
CN110209994B (zh) 基于同态加密的矩阵分解推荐方法
CN115983409A (zh) 基于差分隐私的联邦学习训练方法、装置、系统及设备
CN117421762A (zh) 基于差分隐私和同态加密的联邦学习隐私保护方法
CN113869499A (zh) 一种高效的不经意神经网络转化方法
CN111581648A (zh) 在不规则用户中保留隐私的联邦学习的方法
CN114697042A (zh) 一种基于区块链的物联网安全数据共享代理重加密方法
CN106888213A (zh) 云密文访问控制方法及系统
CN110661771B (zh) 一种抵抗差分攻击的安全智能电网访问控制方法及系统
CN117093869A (zh) 一种安全的模型复用方法及系统
CN118118152A (zh) 一种基于多密钥同态加密的联邦学习方法和系统
Yang et al. Implementing efficient attribute encryption in IoV under cloud environments
Ma et al. Development of video encryption scheme based on quantum controlled dense coding using GHZ state for smart home scenario
Zhou et al. A survey of security aggregation
CN111581663B (zh) 面向非规则用户的保护隐私的联邦深度学习方法
Zhu et al. Malicious-Resistant Non-Interactive Verifiable Aggregation for Federated Learning
CN111614456B (zh) 一种针对sm4算法的多方协同加密方法
Yang et al. Event-triggered privacy-preserving bipartite consensus for multi-agent systems based on encryption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination