CN111581648A - 在不规则用户中保留隐私的联邦学习的方法 - Google Patents

在不规则用户中保留隐私的联邦学习的方法 Download PDF

Info

Publication number
CN111581648A
CN111581648A CN202010262316.3A CN202010262316A CN111581648A CN 111581648 A CN111581648 A CN 111581648A CN 202010262316 A CN202010262316 A CN 202010262316A CN 111581648 A CN111581648 A CN 111581648A
Authority
CN
China
Prior art keywords
server
user
encrypted
intermediate value
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010262316.3A
Other languages
English (en)
Other versions
CN111581648B (zh
Inventor
李洪伟
徐婕妤
徐国文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010262316.3A priority Critical patent/CN111581648B/zh
Publication of CN111581648A publication Critical patent/CN111581648A/zh
Application granted granted Critical
Publication of CN111581648B publication Critical patent/CN111581648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0877—Generation of secret information including derivation or calculation of cryptographic keys or passwords using additional device, e.g. trusted platform module [TPM], smartcard, USB or hardware security module [HSM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种在不规则用户中保留隐私的联邦学习的方法，包括步骤：1)系统初始化；2)加密的汇总结果初始化；3)更新加密的用户的可靠性；4)更新加密的汇总结果：服务器利用更新得到的加密的用户的可靠性作为汇总结果的权重来更新各梯度的加密的汇总结果使得可靠性越低的用户对汇总结果的影响越小。本发明保护所有用户相关信息的隐私，并且减少用户在训练过程中因使用低质量数据的影响，同时确保用户相关信息的真实性。由服务器完成大部分计算，对于计算能力有限的终端用户来说非常友好，且对用户在整个训练过程中由于各种不可预知的原因而中途退出也具有鲁棒性。

Description

在不规则用户中保留隐私的联邦学习的方法
技术领域
本发明具体涉及一种在云环境下面向非规则用户的保护隐私的联邦深度学习方法，属于信息安全技术领域。
技术背景
传统的集中式深度学习通常需要一个数据处理中心(如云服务器)来收集大量的用户数据，并训练深度神经网络。深度学习作为人工智能的一个有前途的分支，已经渗透到电子健康的各个领域，如疾病预测、分析、预防和远程医疗等。此外，日益流行的网络链接设备提供了大量的电子健康记录，如可穿戴设备和智能手机等，在这些记录上进行深度学习模型可以显著提高医疗服务的质量。虽然将深度学习应用到电子健康有显而易见的好处，但收集大量的电子健康记录可能会泄露参与者隐私敏感信息，如疾病历史和医疗记录。为了解决这个问题，联邦学习被广泛应用于电子健康，因为它只通过在神经网络之间共享参数来支持神经网络优化，而不是共享用户的原始数据。用户只需要将本地完成一次训练iteration之后的训练模型(深度神经网络)梯度发送给云服务器，云服务器收集梯度计算汇总结果再下发至用户，用户根据接收到的汇总结果对本地的下一次的训练时使用的模型参数进行调整，直至完成训练。
然而，最新的研究表明，对手(如云服务器)仍然可以利用共享的梯度和汇总结果恢复目标数据(如数据标签、成员关系等)。为了解决联合训练过程中的隐私泄露问题，人们提出了许多出色的解决方案，并将其应用于各种场景。
在真实的场景中，每个用户所持有的原始数据的质量通常是不均匀的。拥有高级专业知识或终端设备的用户通常生成高质量的数据，而其他人可能持有低质量的数据。在本文中，我们将这些低质量数据的用户视为不规则用户。显然，在联合训练过程中，不规则用户共享的参数可能会影响训练的准确性，甚至导致最终模型的无用性。
综上，目前的联邦学习机制存在以下不足:1)当模型的准确性是可接受的时，对手仍然可以很容易地恢复用户的敏感数据。2)要求成功完成私有训练任务的服务器是可信的，这与许多实际场景中不可信服务器设置的假设相矛盾。3)服务器可以访问每个用户的可靠性，即每个用户的“数据质量”信息(称为用户的可靠性)未进行保密。
发明内容
本发明所要解决的技术问题是，提供一种考虑到不规则用户的可靠性并能保留数据隐私的联邦深度学习方法。
本发明为解决上述技术问题所采用的技术方案是，在不规则用户中保留隐私的联邦学习的方法，包括以下步骤：
1)系统初始化：被指定的两台服务器S0、S1，服务器S1保存有第三方为其生成一对非对称密钥(pk1,sk1)，pk1为公钥，sk1为私钥；服务器S0用于接收用户发送的使用公钥pk1加密的梯度
Figure BDA0002439907700000021
其中，
Figure BDA0002439907700000022
为用户i第m次迭代的梯度，i为用户序号i＝1,…,N，N为系统内用户总数；
2)加密的汇总结果初始化：服务器S0初始化各次迭代的汇总结果
Figure BDA0002439907700000023
并使用公钥pk1加密
Figure BDA0002439907700000024
后发送至各用户；其中，
Figure BDA0002439907700000025
表示使用公钥pk1对A加密，
Figure BDA0002439907700000026
为第m次迭代中使用的汇总结果，m∈[1,M]，M表示完成一代训练epoch时所进行的迭代Iteration的总次数，m表示迭代次数序号；
3)更新加密的用户的可靠性：服务器S0利用给定加密的梯度
Figure BDA0002439907700000027
和加密的汇总结果
Figure BDA0002439907700000028
和S1保存的私钥sk1一起进行各用户i的可靠性更新，由服务器S0生成加密的用户的可靠性更新值
Figure BDA0002439907700000029
其中，Ti为用户i的可靠性，Ti与用户i本地梯度与汇总结果之间的距离呈负相关；
4)更新加密的汇总结果：服务器S0利用更新得到的加密的用户的可靠性
Figure BDA00024399077000000210
作为汇总结果的权重来更新各梯度m的加密的汇总结果
Figure BDA00024399077000000211
使得可靠性越低的用户对汇总结果的影响越小，可靠性越高的用户对汇总结果的影响越大，并将更新各梯度m的加密的汇总结果
Figure BDA00024399077000000212
发送至各用户。
本发明的有益效果是：提出的不规则用户中保留隐私的联邦学习方法，保护所有用户相关信息的隐私，包括每个用户的梯度、可靠性以及汇总结果，在将本地梯度上传到云中之前，每个用户都使用附加的同态加密对其进行加密，并且减少用户在训练过程中因使用低质量数据的影响，同时确保用户相关信息的真实性。本发明方法的大部分计算都是由服务器完成的，对于计算能力有限的终端用户来说非常友好，且对用户在整个训练过程中由于各种不可预知的原因而中途退出也具有鲁棒性。
附图说明
图1为联邦学习系统的示意图。
如图1所示，在系统模型中包括服务器S0、S1和N个用户共同实现保护隐私的联合训练。所有参与的用户首先同意一个统一的深度神经网络DNN。然后，在每一代训练epoch的每一次训练iteration中，每个用户使用其本地数据集训练DNN，并计算训练样本对应的梯度。为了加快收敛速度和提高训练的准确性，每个用户都对其本地梯度加密并将其提交给云。接下来，两个没有勾结的云服务器S0和S1交互执行本发明参数传递方法以获取密文(梯度的汇总结果)并将汇总结果返回给所有用户。最后，每个用户对密文进行解密，并更新本地DNN的参数。为了获得满意的网络结构，两个服务器和所有用户反复执行上述操作，直到DNN满足预定义的优化条件。
本发明方法，包括以下步骤：
步骤1系统初始化：一个可信的第三方TA利用Paillier密码系统为服务器生成一对非对称密钥。同样地，TA也为每个用户生成一对共享密钥，用户完成一次训练后得到训练模型的梯度，再将梯度加密，并将加密后的梯度发送给服务器S0：
步骤1.1TA利用Paillier密码系统为服务器S1生成一对非对称密钥(pk1,sk1)，其中pk1为公钥，sk1为私钥，由服务器S1保存；本文中
Figure BDA0002439907700000031
表示使用公钥pk1对A加密，
Figure BDA0002439907700000035
表示使用私钥sk1对A解密。
步骤1.2TA利用Paillier密码系统为每个用户,生成一对共享密钥(pku,sku)；
步骤1.3用户i将他们的梯度
Figure BDA0002439907700000032
利用公钥pk1加密为
Figure BDA0002439907700000033
并将
Figure BDA0002439907700000034
发送至云服务器；，i为用户序号i＝1,…,N，M表示完成一代训练epoch时所进行的迭代Iteration的总次数，m表示迭代次数序号；
步骤2加密的汇总结果初始化：在迭代执行加密的算法之前，服务器S0需要初始化第一次迭代中使用的汇总结果
Figure BDA0002439907700000041
并发送至用户，加密的汇总结果被初始化为所有用户梯度之和的平均值，具体包括以下步骤：
步骤2.1服务器S0根据同态加法准则计算
Figure BDA0002439907700000042
步骤2.2每一个汇总结果
Figure BDA0002439907700000043
被初始化为
Figure BDA0002439907700000044
步骤3更新加密用户的可靠性：给定加密的梯度
Figure BDA0002439907700000045
和加密的汇总结果
Figure BDA0002439907700000046
服务器S0和S1一起对每个用户i进行安全可靠性更新，在S0端生成加密的每个用户的可靠性。更新加密的用户的可靠性，具体包括以下步骤：
步骤3.1服务器S0计算
Figure BDA0002439907700000047
m∈[1,M]，其中
Figure BDA0002439907700000048
为用户i的第m个梯度与的与第m个汇总结果之间的距离，
Figure BDA0002439907700000049
μi反应了用户i的差异度，
Figure BDA00024399077000000410
步骤3.2服务器S0和S1共同执行本发明新提出的SecMul协议使得S0获得加密的用户差异度
Figure BDA00024399077000000411
其中S0拥有
Figure BDA00024399077000000412
的值，S1拥有私钥sk1。SecMul协议具体包括以下步骤：
步骤3.2.1服务器S0随机选取2个整数，记为h1,h2，并给出中间值
Figure BDA00024399077000000413
最后将x′1和x′2发送给服务器S1；
步骤3.2.2服务器S1收到中间值x′1和x′2后，首先对接收到的中间值利用私钥sk1进行解密
Figure BDA00024399077000000414
其中j＝1,2，接下来令d＝d1·d2，再使用公钥pk1加密d得到中间值
Figure BDA00024399077000000415
最后发送d′的值给S0；
步骤3.2.3服务器S0收到中间值d′，计算中间值
Figure BDA00024399077000000416
Figure BDA00024399077000000417
得到
Figure BDA00024399077000000418
步骤3.3服务器S0计算
Figure BDA00024399077000000419
步骤3.4服务器S0与S1共同执行SecDiv协议，使得S0得到
Figure BDA00024399077000000420
其中Ti为用户i的可靠性，即用户的可靠性与各用户本地梯度与汇总结果之间的距离呈负相关:
Figure BDA0002439907700000051
C为服务器S1预设的一个可靠性系数，SecDiv协议具体包括以下步骤：
步骤3.4.1服务器S0随机选取2个整数，记为h3,h4，并计算中间值
Figure BDA0002439907700000052
其中最后将x′3和x′4的值发送给服务器S1；
步骤3.4.2服务器S1收到中间值x′3和x′4后，首先利用私钥sk1对中间值进行解密
Figure BDA0002439907700000053
其中j＝3,4，接着再随机选择的整数r与解密得到的d3,d4一起构造混乱电路GC，最后将GC、随机选择的整数r和
Figure BDA0002439907700000054
的值发送到S0；
步骤3.4.3S0和S1共同执行不经意传输协议OT协议使得S1获得h3,h4的混淆值，为下一步运行GC做准备；
步骤3.4.4S0运行GC来得到
Figure BDA0002439907700000055
根据所得结果计算得到加密后的用户i的可靠性
Figure BDA0002439907700000056
步骤4更新加密的汇总结果：在获得每个用户i的
Figure BDA0002439907700000057
之后，S0端在加密的域中相应地更新每个梯度m的加密的汇总结果
Figure BDA0002439907700000058
其中每个梯度m加密的汇总结果
Figure BDA0002439907700000059
是在S0端生成的。更新加密的汇总结果，具体包括以下步骤：
步骤4.1服务器S0和S1共同执行SecMul协议使得S0获得加密的加权梯度
Figure BDA00024399077000000510
其中S0拥有
Figure BDA00024399077000000511
和
Figure BDA00024399077000000512
的值，S1拥有私钥sk1。SecMul协议具体包括以下步骤：
步骤4.1.1服务器S0随机选取2个整数，记为h5,h6并定义中间值
Figure BDA00024399077000000513
最后将x′5和x′6的值发送给服务器S1；
步骤4.1.2服务器S1接收到中间值x′5和x′6后，首先使用私钥解密收到的中间值得到
Figure BDA00024399077000000514
其中j＝5,6，接下来令d＝d5·d6以及
Figure BDA00024399077000000515
最后发送d′的值给S0；
步骤4.1.3服务器S0计算
Figure BDA0002439907700000061
得到
Figure BDA0002439907700000062
步骤4.2S0计算
Figure BDA0002439907700000063
和
Figure BDA0002439907700000064
步骤4.3服务器S0与S1共同执行SecDiv协议，使得S0得到更新后的加密的汇总结果
Figure BDA0002439907700000065
其中
Figure BDA0002439907700000066
使用各用户的可靠性作为汇总结果的权重，使得可靠性低的用户对汇总结果的影响小，SecDiv协议具体包括以下步骤：
步骤4.3.1由步骤4.2知：服务器S0拥有
Figure BDA0002439907700000067
和
Figure BDA0002439907700000068
的值，服务器S1拥有sk1，服务器S0随机选取2个整数，记为h7,h8并计算
Figure BDA0002439907700000069
Figure BDA00024399077000000610
最后将x′7和x′8的值发送给服务器S1；
步骤4.3.2S1首先计算
Figure BDA00024399077000000611
其中j＝7,8，接着根据d7,d8,r构造混乱电路GC，其中r是S1随机选择的整数，最后将GC和混淆的d7、d8、r和
Figure BDA00024399077000000616
的值发送到S0；
步骤4.3.3S0和S1共同执行OT协议使得S1获得h7,h8的混淆值；
步骤4.3.4S0运行GC来得到
Figure BDA00024399077000000612
根据所得结果作为更新后的加密的汇总结果
Figure BDA00024399077000000613
并发送至各用户。
步骤5用户利用接收到的服务器S0发送的加密的汇总结果
Figure BDA00024399077000000614
对训练模型的参数进行调整后再次进行训练，再将模型梯度加密
Figure BDA00024399077000000615
发送至服务器S0，重复步骤3至步骤5直至用户完成训练。
整个过程中两个服务器分工不同，只有服务器S1有私钥，只有服务器S0有用户的可靠性以及更新后的加密的汇总结果，以防止服务器恶意解密用户数据。

Claims (5)

1.在不规则用户中保留隐私的联邦学习的方法，其特征在于，云服务器方执行以下步骤：
1)系统初始化：被指定的两台服务器S0、S1，服务器S1保存有第三方为其生成一对非对称密钥(pk1，sk1)，pk1为公钥，sk1为私钥；服务器S0用于接收用户发送的使用公钥pk1加密的梯度
Figure FDA0002439907690000011
其中，
Figure FDA0002439907690000012
为用户i第m次迭代的梯度，i为用户序号i＝1，...，N，N为系统内用户总数；
2)加密的汇总结果初始化：服务器S0初始化各次迭代的汇总结果
Figure FDA0002439907690000013
并使用公钥pk1加密
Figure FDA0002439907690000014
后发送至各用户；其中，
Figure FDA0002439907690000015
表示使用公钥pk1对A加密，
Figure FDA0002439907690000016
为第m次迭代中使用的汇总结果，m∈[1，M]，M表示完成一代训练epoch时所进行的迭代Iteration的总次数，m表示迭代次数序号；
3)更新加密的用户的可靠性：服务器S0利用给定加密的梯度
Figure FDA0002439907690000017
和加密的汇总结果
Figure FDA0002439907690000018
和S1保存的私钥sk1一起进行各用户i的可靠性更新，由服务器S0生成加密的用户的可靠性更新值
Figure FDA0002439907690000019
其中，Ti为用户i的可靠性，Ti与用户i本地梯度与汇总结果之间的距离呈负相关；
4)更新加密的汇总结果：服务器S0利用更新得到的加密的用户的可靠性
Figure FDA00024399076900000110
作为汇总结果的权重来更新各梯度m的加密的汇总结果
Figure FDA00024399076900000111
使得可靠性越低的用户对汇总结果的影响越小，可靠性越高的用户对汇总结果的影响越大，并将更新各梯度m的加密的汇总结果
Figure FDA00024399076900000112
发送至各用户。
2.如权利要求1所述方法，其特征在于，初始化的加密的第m次迭代的汇总结果
Figure FDA00024399076900000113
为所有用户第m次迭代得到的梯度之和的平均值。
3.如权利要求1所述方法，其特征在于，步骤2)具体包括以下步骤：
服务器S0根据同态加法准则计算所有用户第m次迭代得到的梯度之和的平均值
Figure FDA0002439907690000021
步骤2.2加密的第m次迭代的汇总结果被初始化为
Figure FDA0002439907690000022
4.如权利要求1所述方法，其特征在于，步骤3)具体包括以下步骤：
步骤3.1服务器S0计算
Figure FDA0002439907690000023
其中
Figure FDA0002439907690000024
为用户i的第m个梯度与的与第m个汇总结果之间的距离，
Figure FDA0002439907690000025
μi为用户i的差异度，
Figure FDA0002439907690000026
步骤3.2服务器S0和S1共同执行SecMul协议，使得S0获得加密的用户差异度
Figure FDA0002439907690000027
SecMul协议具体包括以下步骤：
步骤3.2.1服务器S0随机选取2个整数，记为h1，h2，并给出中间值
Figure FDA0002439907690000028
最后将x′1和x′2发送给服务器S1；
步骤3.2.2服务器S1收到中间值x′1和x′2后，首先对接收到的中间值利用私钥sk1进行解密得到
Figure FDA0002439907690000029
其中j＝1，2，接下来令中间值d＝d1·d2，再使用公钥pk1加密中间值d得到中间值
Figure FDA00024399076900000210
最后发送d′的值给S0；
步骤3.2.3服务器S0收到中间值d′，计算中间值
Figure FDA00024399076900000211
得到
Figure FDA00024399076900000212
步骤3.3服务器S0计算
Figure FDA0002439907690000031
步骤3.4服务器S0与S1共同执行SecDiv协议，使得S0得到
Figure FDA0002439907690000032
其中Ti为用户i的可靠性，
Figure FDA0002439907690000033
C为服务器S1预设的一个可靠性系数，SecDiv协议具体包括以下步骤：
步骤3.4.1服务器S0随机选取2个整数，记为h3，h4，并计算中间值
Figure FDA0002439907690000034
其中最后将x′3和x′4的值发送给服务器S1；
步骤3.4.2服务器S1收到中间值x′3和x′4后，首先利用私钥sk1对中间值进行解密得到
Figure FDA0002439907690000035
其中j＝3，4，接着再随机选择的整数r并对r进行加密得到
Figure FDA0002439907690000036
将r、
Figure FDA0002439907690000037
与解密得到的d3，d4一起构造混乱电路GC，最后将GC、r和
Figure FDA0002439907690000038
发送到S0；
步骤3.4.3 S0和S1共同执行不经意传输协议OT协议使得S1获得h3，h4的混淆值；
步骤3.4.4 S0运行GC得到
Figure FDA0002439907690000039
计算得到加密后的用户i的可靠性
Figure FDA00024399076900000310
5.如权利要求1所述方法，其特征在于，步骤4)具体包括以下步骤：
步骤4.1服务器S0和S1共同执行SecMul协议使得S0获得加密的加权梯度
Figure FDA00024399076900000311
SecMul协议具体包括以下步骤：
步骤4.1.1服务器S0随机选取2个整数，记为h5，h6并定义中间值
Figure FDA00024399076900000312
最后将x′5和x′6发送给服务器S1；
步骤4.1.2服务器S1接收到中间值x′5和x′6后，首先使用私钥解密收到的中间值得到
Figure FDA0002439907690000041
其中j＝5，6，接下来计算中间值d＝d5·d6以及中间值
Figure FDA0002439907690000042
最后发送d′的值给S0；
步骤4.1.3服务器S0计算中间值
Figure FDA0002439907690000043
得到加密的加权梯度
Figure FDA0002439907690000044
步骤4.2 S0计算
Figure FDA0002439907690000045
和
Figure FDA0002439907690000046
步骤4.3服务器S0与S1共同执行SecDiv协议，使得S0得到更新后的加密的汇总结果
Figure FDA0002439907690000047
SecDiv协议具体包括以下步骤：
步骤4.3.1由步骤4.2知：服务器S0拥有
Figure FDA0002439907690000048
和
Figure FDA0002439907690000049
的值，服务器S1拥有sk1，服务器S0随机选取2个整数，记为h7，h8并计算
Figure FDA00024399076900000410
Figure FDA00024399076900000411
最后将x′7和x′8的值发送给服务器S1；
步骤4.3.2 S1首先解密接收到的中间值得到
Figure FDA00024399076900000412
其中j＝7，8，接着再随机选择的整数r并对r进行加密得到
Figure FDA00024399076900000413
根据d7，d8，r构造混乱电路GC，最后将GC和混淆的d7、d8、r和
Figure FDA0002439907690000051
发送到S0；
步骤4.3.3 S0和S1共同执行OT协议使得S1获得h7，h8的混淆值；
步骤4.3.4 S0运行GC来得到
Figure FDA0002439907690000052
根据所得结果作为更新后的加密的汇总结果
Figure FDA0002439907690000053
并发送至各用户。
CN202010262316.3A 2020-04-06 2020-04-06 在不规则用户中保留隐私的联邦学习的方法 Active CN111581648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010262316.3A CN111581648B (zh) 2020-04-06 2020-04-06 在不规则用户中保留隐私的联邦学习的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010262316.3A CN111581648B (zh) 2020-04-06 2020-04-06 在不规则用户中保留隐私的联邦学习的方法

Publications (2)

Publication Number Publication Date
CN111581648A true CN111581648A (zh) 2020-08-25
CN111581648B CN111581648B (zh) 2022-06-03

Family

ID=72118588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010262316.3A Active CN111581648B (zh) 2020-04-06 2020-04-06 在不规则用户中保留隐私的联邦学习的方法

Country Status (1)

Country Link
CN (1) CN111581648B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935168A (zh) * 2020-08-19 2020-11-13 四川大学 面向工业信息物理系统的入侵检测模型建立方法
CN112506753A (zh) * 2020-12-14 2021-03-16 德清阿尔法创新研究院 一种联邦学习场景中高效的贡献评估方法
CN114186202A (zh) * 2021-12-16 2022-03-15 中国科学技术大学 一种隐私保护联邦学习中的不可靠用户追踪与撤销方法
CN114239070A (zh) * 2021-12-23 2022-03-25 电子科技大学 在联邦学习中移除非规则用户的隐私保护方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049163A1 (en) * 2013-03-15 2015-02-19 James Paul Smurro Network system apparatus and method of use adapted for visual neural networking with multi-channel multiplexed streaming medical imagery and packetized clinical informatics
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110197285A (zh) * 2019-05-07 2019-09-03 清华大学 基于区块链的安全协作深度学习方法及装置
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法
CN110874484A (zh) * 2019-10-16 2020-03-10 众安信息技术服务有限公司 基于神经网络和联邦学习的数据处理方法和系统
CN110929870A (zh) * 2020-02-17 2020-03-27 支付宝(杭州)信息技术有限公司 图神经网络模型训练方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049163A1 (en) * 2013-03-15 2015-02-19 James Paul Smurro Network system apparatus and method of use adapted for visual neural networking with multi-channel multiplexed streaming medical imagery and packetized clinical informatics
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110197285A (zh) * 2019-05-07 2019-09-03 清华大学 基于区块链的安全协作深度学习方法及装置
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法
CN110874484A (zh) * 2019-10-16 2020-03-10 众安信息技术服务有限公司 基于神经网络和联邦学习的数据处理方法和系统
CN110929870A (zh) * 2020-02-17 2020-03-27 支付宝(杭州)信息技术有限公司 图神经网络模型训练方法、装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHAOYUE NIU 等: "Secure Federated Submodel Learning", 《MACHINE LEARNING》 *
刘俊旭 等: "机器学习的隐私保护研究综述", 《计算机研究与发展》 *
王亚珅: "面向数据共享交换的联邦学习技术发展综述", 《无人系统技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935168A (zh) * 2020-08-19 2020-11-13 四川大学 面向工业信息物理系统的入侵检测模型建立方法
CN112506753A (zh) * 2020-12-14 2021-03-16 德清阿尔法创新研究院 一种联邦学习场景中高效的贡献评估方法
CN112506753B (zh) * 2020-12-14 2022-06-28 德清阿尔法创新研究院 一种联邦学习场景中高效的贡献评估方法
CN114186202A (zh) * 2021-12-16 2022-03-15 中国科学技术大学 一种隐私保护联邦学习中的不可靠用户追踪与撤销方法
CN114186202B (zh) * 2021-12-16 2024-09-24 中国科学技术大学 一种隐私保护联邦学习中的不可靠用户追踪与撤销方法
CN114239070A (zh) * 2021-12-23 2022-03-25 电子科技大学 在联邦学习中移除非规则用户的隐私保护方法

Also Published As

Publication number Publication date
CN111581648B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN110572253B (zh) 一种联邦学习训练数据隐私性增强方法及系统
CN111581648B (zh) 在不规则用户中保留隐私的联邦学习的方法
CN108712260B (zh) 云环境下保护隐私的多方深度学习计算代理方法
CN112822005B (zh) 基于同态加密的安全迁移学习系统
CN108040056B (zh) 基于物联网的安全医疗大数据系统
CN113221105B (zh) 一种基于部分参数聚合的鲁棒性联邦学习算法
CN113761557A (zh) 一种基于全同态加密算法的多方深度学习隐私保护方法
CN115549888A (zh) 一种基于区块链与同态加密的联邦学习隐私保护方法
CN111585990B (zh) 基于安全求和的移动群智感知隐私保护真值发现方法
WO2021106077A1 (ja) ニューラルネットワークの更新方法、端末装置、計算装置及びプログラム
CN112787809B (zh) 一种高效的群智感知数据流隐私保护真值发现方法
CN117077192B (zh) 一种隐私保护的联邦学习中搭便车攻击防御方法及装置
Sun et al. A privacy-aware and traceable fine-grained data delivery system in cloud-assisted healthcare IIoT
CN117421762A (zh) 基于差分隐私和同态加密的联邦学习隐私保护方法
CN116340986A (zh) 一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及系统
CN116523074A (zh) 动态化公平性的隐私保护联邦深度学习方法
CN118445844A (zh) 一种联邦学习数据隐私保护方法、装置及可读存储介质
Zhang et al. Privacyeafl: Privacy-enhanced aggregation for federated learning in mobile crowdsensing
CN113204788B (zh) 一种细粒度属性匹配隐私保护方法
Prajapat et al. A privacy preserving quantum authentication scheme for secure data sharing in wireless body area networks
Hu et al. MASKCRYPT: Federated Learning with Selective Homomorphic Encryption
CN116865938A (zh) 基于秘密共享和同态加密的多服务器联邦学习方法
CN111581663B (zh) 面向非规则用户的保护隐私的联邦深度学习方法
CN110933050A (zh) 一种隐私保护的位置共享系统及方法
CN114900283A (zh) 基于多方安全计算的深度学习用户梯度聚合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant