CN114900283A - 基于多方安全计算的深度学习用户梯度聚合方法 - Google Patents

基于多方安全计算的深度学习用户梯度聚合方法 Download PDF

Info

Publication number
CN114900283A
CN114900283A CN202210349291.XA CN202210349291A CN114900283A CN 114900283 A CN114900283 A CN 114900283A CN 202210349291 A CN202210349291 A CN 202210349291A CN 114900283 A CN114900283 A CN 114900283A
Authority
CN
China
Prior art keywords
user
gradient vector
gradient
ciphertext
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210349291.XA
Other languages
English (en)
Other versions
CN114900283B (zh
Inventor
罗雪
王保仓
陈艳格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210349291.XA priority Critical patent/CN114900283B/zh
Publication of CN114900283A publication Critical patent/CN114900283A/zh
Application granted granted Critical
Publication of CN114900283B publication Critical patent/CN114900283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/08—Randomization, e.g. dummy operations or using noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/46—Secure multiparty computation, e.g. millionaire problem
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于多方安全计算的深度学习用户梯度聚合方法，在深度学习中用户对梯度向量添加随机数后，使用多密钥同态加密算法对用户梯度向量进行加密。同时利用可验证秘密共享算法对通过验证的用户添加的随机数求和，参数服务器拿到梯度密文向量之后使用主密钥进行解密，对用户梯度向量去除随机数后求平均。这样既能够解决多方深度学习中单一密钥环境中的梯度聚合会泄露用户隐私的问题，防止梯度聚合过程中参数服务器获取用户隐私的同时，使用添加随机数后去除随机数的方式，而不是添加无法去除的噪声，保护了梯度的真实性和完整性，最终的聚合结果准确性将不受影响。

Description

基于多方安全计算的深度学习用户梯度聚合方法
技术领域
本发明属于计算技术领域，更进一步涉及电数字数据处理技术领域中的一种基于多方安全计算的深度学习用户梯度聚合方法。本发明可用于多方协作的深度学习中，通过对用户上传的梯度数据加密并进行多方安全计算，获得用户梯度聚合结果。
背景技术
深度学习的日渐发展和大规模应用于金融、电网、广告、投资，大数据与深度学习结合下的数据挖掘变得更加普及。深度学习的价值在于其可以对海量的用户数据进行分析和预测，但是海量数据交互会带来巨大的隐私风险。比如深度学习的服务提供商能获取到用户数据，从而泄露用户的隐私。目前针对深度学习上的隐私保护方法有下列两种：基于加密的隐私保护技术和基于数据扰动机制的隐私保护技术。数据扰动技术也即差分隐私是指在对原始数据进行噪声添加，外部敌手即使获得数据也不能对该数据进行分析，从而无法得到用户的敏感信息，但数据的真实性和完整性会遭受破坏。而同态加密和安全多方计算均为加密技术，对用户的数据进行加密，防止隐私泄露。安全多方计算在用户不提供个人数据的情况，多方联合计算结果。同态加密提供了在加密数据上的计算操作，无需解密，且不影响数据的精确性。
LeTrieuPhong在其发表的论文“Privacy-Preserving Deep Learning viaAdditively Homomorphic Encryption”(Journal：IEEE Transactions on InformationForensics and Security 2018，Volume:13,Page:1333-1345)中提出了一个使用同态加密对深度学习系统进行隐私保护的方法。该方法应用于神经网络的异步梯度下降算法。参与者在本地使用自己的数据进行模型训练，之后将获得的梯度参数加密之后存储在云服务器上。由于同态特性，加密之后的数据可以进行密文下的计算。之后将获得的计算结果返回给参与者。参与者解密之后获得更新的梯度数据，用于更新本地模型。该方法虽然通过同态加密实现了对参与者数据的隐私保护。但是，该方法仍然存在的不足之处是，所有参与者使用的密钥都是一样的，当有参与者被攻击或者有参与者退出模型训练，其余参与者梯度聚合过程中将会有隐私泄露的风险，云服务器可能会获得用户隐私。
武汉理工大学在其申请的专利文献“一种基于深度学习的差分隐私保护方法及装置”(申请号CN202110663663.1，公布号CN113468592A)中公开了一种基于深度学习的差分隐私保护方法。该方法根据训练模型梯度确定梯度累计平方和矩阵；从而多种模型参数的隐私预算以及自适应学习率；对梯度进行梯度裁剪,获得多个裁剪梯度，基于隐私预算添加噪声，获得噪声梯度；基于梯度下降公式和噪声梯度对模型参数进行迭代更新,获得目标深度学习模型。通过该方法可以进行模型训练，也可以达到个体隐私保护的目的。该方法存在的不足之处是，由于对梯度裁剪之后获得噪声梯度，破坏了梯度的真实性和完整性，影响梯度聚合的准确性。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种基于多方安全计算的深度学习用户梯度聚合方法，用于解决现有技术中存在的单一密钥环境中梯度聚合会泄露用户隐私，以及上传梯度中添加噪声导致的最终聚合结果准确性不足的技术问题。
为实现上述目的，本发明的技术思路是，在深度学习中用户对梯度向量添加随机数后，使用多密钥同态加密算法对用户梯度向量进行加密。同时利用可验证秘密共享算法对通过验证的用户添加的随机数求和，参数服务器拿到梯度密文向量之后使用主密钥进行解密，对用户梯度向量去除随机数后求平均。这样既能够解决多方深度学习中单一密钥环境中的梯度聚合会泄露用户隐私的问题，防止梯度聚合过程中参数服务器获取用户隐私的同时，使用添加随机数后去除随机数的方式，而不是添加无法去除的噪声，保护了梯度的真实性和完整性，最终的聚合结果准确性将不受影响。
本发明采取的技术方法包括如下步骤：
步骤1，生成并分发公共参数和密钥：
步骤1.1，密钥生成中心利用同态BCP密码密钥生成算法，生成公共参数N和g与主密钥mk；密钥生成中心利用利用FeldmanVSS参数生成算法，生成公共参数p″,q″,g′,n和集合X；
步骤1.2，密钥生成中心将公共参数N,g和p″,q″,g′,n发给每个用户和参数服务器；
步骤1.3，密钥生成中心将密钥mk和集合X分别发给每个用户和参数服务器；
步骤2，生成用户公私钥对；
步骤2.1，每个用户利用密钥生成中心发送的同态BCP密码的公共参数，生成该用户的公钥参数hi；
步骤2.2，每个用户将公共参数N和g、整数bi、公钥参数hi组成该用户的公钥pki＝(N,g,hi)，私钥ski＝bi，得到该用户的公私钥对(pki,ski)；
步骤3，用户在梯度向量中添加随机数：
每个用户将随机数u添加到其梯度向量的每一个元素中，得到每个用户对应添加随机数后梯度向量。
步骤4，加密并传输用户数据：
步骤4.1，利用同态BCP密码算法，每个用户使用其公钥对添加随机数后梯度向量进行加密，得到由A和B两部分组成的每个用户密文梯度向量；
步骤4.2，每个用户将其密文梯度向量发送给同一个参数服务器；
步骤5，生成份额，设置门限值：
步骤5.1，参数服务器统计接收到的每个用户发送的密文梯度向量的总数n1，设定接受到密文梯度向量的用户随机数秘密恢复门限值k；
步骤5.2，参数服务器公开n1、门限值k以及接受到密文梯度向量的每个用户；
步骤6，用户分发共享值和广播值：
每个发送密文梯度向量的用户均生成其共享值和承诺广播值；每个发送密文梯度向量用户将其共享值发送给对应用户，将承诺广播值进行广播；
步骤7，发送秘密份额：
步骤7.1，每个发送密文梯度向量的用户，利用承诺广播值验证其收到的共享值，将所有通过验证的用户的共享值之和作为秘密份额，并公开未通过共享值验证的用户；
步骤7.2，每个发送密文梯度向量的用户，将其秘密份额发送给每个通过共享值验证的用户和参数服务器。
步骤8，验证秘密份额：
步骤8.1，每个通过共享值验证的用户，利用承诺广播值验证其收到的秘密份额，公开未通过秘密份额验证的用户。
步骤8.2，利用拉格朗日插值法，参数服务器计算通过秘密份额验证的用户的秘密。
步骤9，参数服务器得到全局梯度向量：
步骤9.1，利用同态BCP密码算法，参数服务器用其主密钥mk，解密每个通过秘密份额验证的用户的密文梯度向量；
步骤9.2，参数服务器将解密后的秘密份额，去除每个通过验证用户的密文梯度向量中的随机数后，再将所有去除随机数的密文梯度向量加和求均值，生成全局梯度向量；
步骤10，加密并传输全局梯度向量；
步骤10.1，利用同态BCP密码算法，参数服务器对每个通过秘密份额验证的用户的全局梯度向量行加密，得到由A'，B'两个部分组成的密文全局梯度向量。
步骤10.2，参数服务器将密文全局梯度向量发送给每个通过秘密份额验证的用户；
步骤11，用户得到全局梯度向量：
每个通过秘密份额验证的用户，使用其公钥对密文全局梯度向量进行解密，得到全局梯度向量。
本发明与现有技术相比，具有以下优点：
第一，本发明加密并传输用户待聚合梯度向量，用户添加随机数后对数据进行加密，解决了现有技术对梯度添加噪声进行聚合，破坏了数据的真实性和完整性，影响梯度聚合结果的准确性的问题，使得本发明具有梯度聚合准确性更好的优点。
第二，本发明加密并传输用户待聚合梯度向量，在不泄露用户添加到梯度向量中的随机数的情况下对所有用户随机数求和，克服了现有技术中无法解决单一密钥对用户隐私泄露的问题，使得本发明能支持多密钥环境，防止梯度聚合过程中参数服务器获取用户隐私。
附图说明
附图1为本发明的流程图。
具体实施方式
下面结合附图1，对本发明实现的步骤作进一步的详细描述。
步骤1，分发生成的公共参数和主密钥。
步骤1.1，密钥生成中心利用同态BCP密码的密钥生成算法，分别生成公共参数(N,g)与主密钥mk，其中，N表示模数，N＝pq，p和q分别表示均匀且随机选取的两个安全大素数。g表示随机数，在剩余类环
Figure BDA0003578747130000051
中选取且阶为2p′q′。mk＝(p',q')。其中p′、q′也是素数，满足p＝2p′+1，q＝2q′+1。
利用FeldmanVSS参数生成算法，分别生成公共参数(p″,q″,g′,n)和正整数集合X。其中，p″表示均匀且随机选取的大素数。g'表示随机数，在正整数群
Figure BDA0003578747130000052
上均匀随机选取且阶为q″，q″满足q″|p″-1。n表示用户的总数。X表示在正整数群
Figure BDA0003578747130000053
均匀随机选取的m个元素组成的正整数集合，m＝n。
步骤1.2，密钥生成中心将公共参数(N,g)和(p″,q″,g′,k,n)发给每个用户和参数服务器
步骤1.3，密钥生成中心将密钥mk和集合X分别发给每个用户和参数服务器；
步骤2，生成用户公私钥对。
步骤2.1，利用密钥生成中心发送的同态BCP密码的公共参数，每个用户生成公钥参数：
Figure BDA0003578747130000054
其中，hi表示第i个用户的公钥参数，≡表示符号左侧表达式同余于符号右侧表达式，1≤i≤n，bi表示第i个用户随机选取的一个整数bi∈[1,Np′q′]，mod表示取模操作。
步骤2.2，每个用户将公共参数N和g、整数bi、公钥参数hi组成该用户的公钥pki＝(N,g,hi)，私钥ski＝bi，得到该用户的公私钥对(pki,ski)。
步骤3，用户在梯度向量中添加随机数。
为了保护梯度以及梯度聚合的真实性和完整性，每个用户将随机数u添加到其梯度向量的每一个元素中，得到每个用户对应添加随机数后梯度向量。
步骤4，加密并传输用户数据
步骤4.1，为了防止参数服务器在对每个用户的密文梯度向量进行聚合的过程获得该用户的隐私，利用同态BCP密码算法，每个用户使用其公钥对添加随机数后梯度向量进行加密，得到由A和B两部分组成的每个用户密文梯度向量如下：
Figure BDA0003578747130000061
其中，W'表示添加随机数后的梯度向量，ri表示第i个用户随机选取的一个整数且ri∈[1,N/4]。
步骤4.2，每个用户将其密文梯度向量发送给同一个参数服务器。
步骤5，生成份额，设置门限值。
步骤5.1，为了排除参数服务器可能未接收到用户的密文梯度的情况，参数服务器统计接收到的用户发送的密文梯度向量的总数n1，设定接受到密文梯度向量的用户随机数秘密恢复门限值k＝n1 2/n。
步骤5.2，参数服务器公开份额n1、门限值k、接受到密文梯度向量的每个用户。
步骤6，用户分发共享值和广播值。
步骤6.1，为了在不泄露用户添加到梯度向量中的随机数的情况下对所有用户随机数求和，利用FeldmanVSS算法，每个发送密文梯度向量的用户均生成其共享值和承诺广播值：
Figure BDA0003578747130000062
其中，fi'(xj')表示第i'个发送密文梯度向量用户的共享值，承诺广播值表示
Figure BDA0003578747130000071
ai'z表示第i'个发送密文梯度向量用户的随机多项式中的第z个系数，0≤z≤k，ai'0＝ui'，ui'第i'个发送密文梯度向量用户的随机数，xj'表示集合X的第j'个元素，1≤j'≤n1。
步骤6.2，每个发送密文梯度向量用户将其fi'(xj')发送给对应用户，将承诺广播值
Figure BDA0003578747130000072
进行广播。
步骤7，发送秘密份额：
步骤7.1，利用FeldmanVSS算法，每个发送密文梯度向量的用户，利用承诺广播值验证其收到的共享值指的是下述等式是否成立：
Figure BDA0003578747130000073
其中，fj'(xi')表示第j'个发送密文梯度向量用户的共享值，xi'表示集合X的第i'个元素，1≤i'≤n1，Π表示连乘操作，当该等式不成立，共享值不正确，验证不通过。将所有通过验证的用户的共享值之和作为秘密份额Ki，并公开未通过共享值验证的用户。
步骤7.2，每个发送密文梯度向量的用户将其秘密份额Ki'发送给每个通过共享值验证的用户和参数服务器。
步骤8，验证秘密份额
步骤8.1，利用FeldmanVSS算法，每个通过共享值验证的用户，利用承诺广播值验证其收到的秘密份额指的是下述等式是否成立：
Figure BDA0003578747130000074
其中，
Figure BDA0003578747130000075
表示第i'个通过共享值验证的个用户的第z'个广播值，0≤z'≤k，Kj'表示表示第j'个通过共享值验证的用户的秘密份额。n2表示秘密份额通过验证的用户总数。当该等式不成立，共享值不正确，验证不通过，公开未通过秘密份额验证的用户
步骤8.2，利用拉格朗日插值法，参数服务器计算通过秘密份额验证的用户的秘密K。
步骤9，参数服务器得到全局梯度向量
步骤9.1，利用同态BCP密码算法，参数服务器用其主密钥mk，解密每个通过秘密份额验证的用户的密文梯度向量：
Figure BDA0003578747130000081
其中，ν＝(B/gχ)2p′q′,χ＝bi″ri″modN，(·)-1表示模逆操作，Wi″'表示第i″个通过秘密份额验证的用户的解密后的密文梯度向量，1≤i″≤n2，bi″表示第i″个通过秘密份额验证的用户随机选取的一个整数bi″∈[1,Np′q′]，ri″表示参数服务器针对第i″个通过秘密份额验证的用户随机选取的一个整数且ri″∈[1,N/4]。
步骤9.2，为了保护聚合得到的全局梯度向量的真实性和完整性，参数服务器将解密后的秘密份额，去除每个通过验证用户的密文梯度向量中的随机数后，再将所有去除随机数的密文梯度向量加和求均值，生成全局梯度向量。
步骤10，加密并传输全局梯度向量
步骤10.1，利用同态BCP密码算法，参数服务器使用秘密份额通过验证的每个用户的公钥对全局梯度向量行加密，得到A'，B'两个部分组成的密文全局梯度向量如下：
Figure BDA0003578747130000082
其中，其中，A'表示密文全局梯度向量的第一部分，B'表示密文全局梯度向量的第二部分，Wg表示全局梯度向量。
步骤10.2，参数服务器将密文全局梯度向量发送给每个通过秘密份额验证的用户。
步骤11，用户得到全局梯度向量
利用同态BCP密码算法，每个通过秘密份额验证的用户，使用其公钥对密文全局梯度向量进行解密，得到全局梯度向量：
Figure BDA0003578747130000091
其中，Wg表示全局梯度向量，/表示除法操作。

Claims (9)

1.一种基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，在用户参与多方协作的深度学习场景下，使用多方安全计算为隐私保护的手段，对用户上传的梯度向量进行加密，在多方安全计算中利用多密钥同态和可验证秘密共享实现用户安全且准确的梯度数据聚合；该方法的具体步骤包括如下：
步骤1，生成并分发公共参数和密钥：
步骤1.1，密钥生成中心利用同态BCP密码密钥生成算法，生成公共参数N和g与主密钥mk；密钥生成中心利用利用Feldman VSS参数生成算法，生成公共参数p″,q″,g′,n和集合X；
步骤1.2，密钥生成中心将公共参数N,g和p″,q″,g′,n发给每个用户和参数服务器；
步骤1.3，密钥生成中心将密钥mk和集合X分别发给每个用户和参数服务器；
步骤2，生成用户公私钥对；
步骤2.1，每个用户利用密钥生成中心发送的同态BCP密码的公共参数，生成该用户的公钥参数hi；
步骤2.2，每个用户将公共参数N和g、整数bi、公钥参数hi组成该用户的公钥pki＝(N,g,hi)，私钥ski＝bi，得到该用户的公私钥对(pki,ski)；
步骤3，用户在梯度向量中添加随机数：
每个用户将随机数u添加到其梯度向量的每一个元素中，得到每个用户对应添加随机数后梯度向量；
步骤4，加密并传输用户数据：
步骤4.1，利用同态BCP密码算法，每个用户使用其公钥对添加随机数后梯度向量进行加密，得到由A和B两部分组成的每个用户密文梯度向量；
步骤4.2，每个用户将其密文梯度向量发送给同一个参数服务器；
步骤5，生成份额，设置门限值：
步骤5.1，参数服务器统计接收到的每个用户发送的密文梯度向量的总数n1，设定接受到密文梯度向量的用户随机数秘密恢复门限值k；
步骤5.2，参数服务器公开n1、门限值k以及接受到密文梯度向量的每个用户；
步骤6，用户分发共享值和广播值：
每个发送密文梯度向量的用户均生成其共享值和承诺广播值；每个发送密文梯度向量用户将其共享值发送给对应用户，将承诺广播值进行广播；
步骤7，发送秘密份额：
步骤7.1，每个发送密文梯度向量的用户，利用承诺广播值验证其收到的共享值，将所有通过验证的用户的共享值之和作为秘密份额，并公开未通过共享值验证的用户；
步骤7.2，每个发送密文梯度向量的用户，将其秘密份额发送给每个通过共享值验证的用户和参数服务器；
步骤8，验证秘密份额：
步骤8.1，每个通过共享值验证的用户，利用承诺广播值验证其收到的秘密份额，公开未通过秘密份额验证的用户；
步骤8.2，利用拉格朗日插值法，参数服务器计算通过秘密份额验证的用户的秘密；
步骤9，参数服务器得到全局梯度向量：
步骤9.1，利用同态BCP密码算法，参数服务器用其主密钥mk，解密每个通过秘密份额验证的用户的密文梯度向量；
步骤9.2，参数服务器将解密后的秘密份额，去除每个通过验证用户的密文梯度向量中的随机数后，再将所有去除随机数的密文梯度向量加和求均值，生成全局梯度向量；
步骤10，加密并传输全局梯度向量；
步骤10.1，利用同态BCP密码算法，参数服务器对每个通过秘密份额验证的用户的全局梯度向量行加密，得到由A'，B'两个部分组成的密文全局梯度向量；
步骤10.2，参数服务器将密文全局梯度向量发送给每个通过秘密份额验证的用户；
步骤11，用户得到全局梯度向量：
每个通过秘密份额验证的用户，使用其公钥对密文全局梯度向量进行解密，得到全局梯度向量。
2.根据权利要求1所述的基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，步骤2.1中所述每个用户利用密钥生成中心发送的同态BCP密码的公共参数，生成该用户的公钥参数的步骤如下：
Figure FDA0003578747120000031
其中，hi表示第i个用户的公钥参数，≡表示符号左侧表达式同余于符号右侧表达式，1≤i≤n，bi表示第i个用户随机选取的一个整数bi∈[1,Np′q′]，mod表示取模操作。
3.根据权利要求2所述的基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，步骤4.1中所述由A和B两部分组成的每个用户密文梯度向量如下：
Figure FDA0003578747120000032
B≡gr mod N2
其中，W'表示添加随机数后的梯度向量，ri表示第i个用户随机选取的一个整数且ri∈[1,N/4]。
4.根据权利要求3所述的基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，步骤6中所述每个发送密文梯度向量的用户均生成其共享值和承诺广播值如下：
Figure FDA0003578747120000033
其中，fi'(xj')表示第i'个发送密文梯度向量用户的共享值，aiz表示第i'个发送密文梯度向量用户的随机多项式中的第z个系数，0≤z≤k，ai'0＝ui'，ui'第i'个发送密文梯度向量用户的随机数，xj'表示集合X的第j'个元素，1≤j'≤n1。
5.根据权利要求4所述的基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，步骤7.1中所述每个发送密文梯度向量的用户，利用承诺广播值验证其收到的共享值指的是下述等式是否成立：
Figure FDA0003578747120000041
其中，fj'(xi')表示第j'个发送密文梯度向量用户的共享值，xi'表示集合X的第i'个元素，1≤i'≤n1，Π表示连乘操作，当该等式不成立，共享值不正确，验证不通过。
6.根据权利要求5所述的基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，步骤8.1中所述每个通过共享值验证的用户，利用承诺广播值验证其收到的秘密份额指的是下述等式是否成立：
Figure FDA0003578747120000042
其中，
Figure FDA0003578747120000043
表示第i'通过共享值验证的个用户的第z'个广播值，0≤z'≤k，Kj'表示表示第j'个通过共享值验证的用户的秘密份额，当该等式不成立，秘密份额不正确，验证不通过，n2表示秘密份额通过验证的用户总数。
7.根据权利要求6所述的基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，步骤9.1中所述参数服务器用其主密钥mk，解密每个通过秘密份额验证的用户的密文梯度向量：
Figure FDA0003578747120000044
其中，ν＝(B/gχ)2p′q′,χ＝bi”ri”mod N，(·)-1表示模逆操作，Wi”'表示第i”个通过秘密份额验证的用户的解密后的密文梯度向量，1≤i”≤n2，bi”表示第i”个通过秘密份额验证的用户随机选取的一个整数bi”∈[1,Np′q′]，ri”表示参数服务器针对第i”个通过秘密份额验证的用户随机选取的一个整数且ri”∈[1,N/4]。
8.根据权利要求7所述的基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，步骤10.1中所述的A'，B'两个部分组成的密文全局梯度向量如下：
Figure FDA0003578747120000051
其中，A'表示密文全局梯度向量的第一部分，B'表示密文全局梯度向量的第二部分，Wg表示全局梯度向量。
9.根据权利要求8所述的基于多方安全计算的深度学习用户梯度聚合方法，其特征在于，步骤11中所述全局梯度向量如下：
Figure FDA0003578747120000052
其中，Wg表示全局梯度向量，/表示除法操作。
CN202210349291.XA 2022-04-01 2022-04-01 基于多方安全计算的深度学习用户梯度聚合方法 Active CN114900283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210349291.XA CN114900283B (zh) 2022-04-01 2022-04-01 基于多方安全计算的深度学习用户梯度聚合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210349291.XA CN114900283B (zh) 2022-04-01 2022-04-01 基于多方安全计算的深度学习用户梯度聚合方法

Publications (2)

Publication Number Publication Date
CN114900283A true CN114900283A (zh) 2022-08-12
CN114900283B CN114900283B (zh) 2024-07-26

Family

ID=82716327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210349291.XA Active CN114900283B (zh) 2022-04-01 2022-04-01 基于多方安全计算的深度学习用户梯度聚合方法

Country Status (1)

Country Link
CN (1) CN114900283B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719116A (zh) * 2022-11-21 2023-02-28 重庆大学 一种电力负荷预测方法、装置及终端设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108712260A (zh) * 2018-05-09 2018-10-26 曲阜师范大学 云环境下保护隐私的多方深度学习计算代理方法
US10630468B1 (en) * 2019-01-11 2020-04-21 Alibaba Group Holding Limited Distributed multi-party security model training framework for privacy protection
US20200304293A1 (en) * 2017-08-30 2020-09-24 Inpher, Inc. High-Precision Privacy-Preserving Real-Valued Function Evaluation
CN112052466A (zh) * 2020-08-28 2020-12-08 西安电子科技大学 基于多方安全计算协议的支持向量机用户数据预测方法
US20210143987A1 (en) * 2019-11-13 2021-05-13 International Business Machines Corporation Privacy-preserving federated learning
CN112949741A (zh) * 2021-03-18 2021-06-11 西安电子科技大学 基于同态加密的卷积神经网络图像分类方法
CN114239862A (zh) * 2021-12-23 2022-03-25 电子科技大学 一种保护用户数据隐私的抗拜占庭攻击的联邦学习方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200304293A1 (en) * 2017-08-30 2020-09-24 Inpher, Inc. High-Precision Privacy-Preserving Real-Valued Function Evaluation
CN108712260A (zh) * 2018-05-09 2018-10-26 曲阜师范大学 云环境下保护隐私的多方深度学习计算代理方法
US10630468B1 (en) * 2019-01-11 2020-04-21 Alibaba Group Holding Limited Distributed multi-party security model training framework for privacy protection
US20210143987A1 (en) * 2019-11-13 2021-05-13 International Business Machines Corporation Privacy-preserving federated learning
CN112052466A (zh) * 2020-08-28 2020-12-08 西安电子科技大学 基于多方安全计算协议的支持向量机用户数据预测方法
CN112949741A (zh) * 2021-03-18 2021-06-11 西安电子科技大学 基于同态加密的卷积神经网络图像分类方法
CN114239862A (zh) * 2021-12-23 2022-03-25 电子科技大学 一种保护用户数据隐私的抗拜占庭攻击的联邦学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LE TRIEU PHONG ECT.: "Privacy-Preserving Deep Learning via Additively Homomorphic Encryption", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》, 29 December 2017 (2017-12-29) *
YANGE CHEN, BAOCANG WANG ECT.: "Privacy-Preserving Classification Scheme Based on Support Vector Machine", 《IEEE SYSTEMS JOURNAL, VOL. 16, NO. 4, DECEMBER 2022》, 10 March 2022 (2022-03-10) *
蒋瀚;刘怡然;宋祥福;王皓;郑志华;徐秋亮;: "隐私保护机器学习的密码学方法", 电子与信息学报, no. 05, 15 May 2020 (2020-05-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115719116A (zh) * 2022-11-21 2023-02-28 重庆大学 一种电力负荷预测方法、装置及终端设备

Also Published As

Publication number Publication date
CN114900283B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
CN113037460B (zh) 基于同态加密和秘密共享的联邦学习隐私保护方法
WO2021042685A1 (zh) 一种区块链的交易方法、装置及系统
US6298153B1 (en) Digital signature method and information communication system and apparatus using such method
CN105406967B (zh) 一种分层属性加密方案
CN104168108B (zh) 一种泄露密钥可追踪的属性基混合加密方法
CN112906030B (zh) 基于多方全同态加密的数据共享方法和系统
CN110113155B (zh) 一种高效无证书公钥加密方法
CN107154845B (zh) 一种基于属性的bgn型密文解密外包方案
CN105763528B (zh) 一种混合机制下多重接收者匿名的加密装置
CN110120873B (zh) 基于云外包交易数据的频繁项集挖掘方法
CN112733163B (zh) 基于离散对数相等性证明的可监管零知识证明方法及装置
CN111277412B (zh) 基于区块链密钥分发的数据安全共享系统及方法
CN110730064B (zh) 一种群智感知网络中基于隐私保护的数据融合方法
CN106878322B (zh) 一种基于属性的定长密文与密钥的加密、解密方法
CN105721146B (zh) 一种面向云存储基于smc的大数据共享方法
CN115442050B (zh) 一种基于sm9算法的隐私保护的联邦学习方法
CN103493428A (zh) 数据加密
CN113132104A (zh) 一种主动安全的ecdsa数字签名两方生成方法
CN114900283B (zh) 基于多方安全计算的深度学习用户梯度聚合方法
CN110740034B (zh) 基于联盟链的qkd网络认证密钥生成方法及系统
CN114070549B (zh) 一种密钥生成方法、装置、设备和存储介质
CN107241191A (zh) 一种抗密钥克隆、密钥滥用的基于属性加密方法
JP2006227411A (ja) 通信システム、暗号化装置、鍵生成装置、鍵生成方法、復元装置、通信方法、暗号化方法、暗号復元方法
CN110880969B (zh) 基于联盟链和隐式证书的qkd网络认证密钥生成方法及系统
CN101889412B (zh) 在Boneh-Franklin方案中生成私钥的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant