CN111581663B - 面向非规则用户的保护隐私的联邦深度学习方法 - Google Patents

面向非规则用户的保护隐私的联邦深度学习方法 Download PDF

Info

Publication number
CN111581663B
CN111581663B CN202010360559.0A CN202010360559A CN111581663B CN 111581663 B CN111581663 B CN 111581663B CN 202010360559 A CN202010360559 A CN 202010360559A CN 111581663 B CN111581663 B CN 111581663B
Authority
CN
China
Prior art keywords
server
user
reliability
encrypted
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010360559.0A
Other languages
English (en)
Other versions
CN111581663A (zh
Inventor
李洪伟
徐婕妤
徐国文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010360559.0A priority Critical patent/CN111581663B/zh
Publication of CN111581663A publication Critical patent/CN111581663A/zh
Application granted granted Critical
Publication of CN111581663B publication Critical patent/CN111581663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0869—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving random numbers or seeds

Abstract

本发明提供一种面向非规则用户的保护隐私的联邦深度学习方法，包括步骤：1)系统设置步骤；2)迭代初始化步骤；3)更新加密的用户的可靠性；4)更新加密的汇总信息：服务器利用更新得到的加密的用户的可靠性信息为汇总结果的权重来更新各梯度的加密的汇总结果使得可靠性越低的用户对汇总结果的影响越小。本发明保护所有用户相关信息的隐私，并且减少用户在训练过程中因使用低质量数据的影响，同时确保用户相关信息的真实性。由服务器完成大部分计算，对于计算能力有限的终端用户来说非常友好，且对用户在整个训练过程中由于各种不可预知的原因而中途退出也具有鲁棒性。

Description

面向非规则用户的保护隐私的联邦深度学习方法
技术领域
本发明具体涉及一种在云环境下面向非规则用户的保护隐私的联邦深度学习方法，属于信息安全技术领域。
技术背景
传统的集中式深度学习通常需要一个数据处理中心(如云服务器)来收集大量的用户数据，并训练深度神经网络。深度学习作为人工智能的一个有前途的分支，已经渗透到电子健康的各个领域，如疾病预测、分析、预防和远程医疗等。此外，日益流行的网络链接设备提供了大量的电子健康记录，如可穿戴设备和智能手机等，在这些记录上进行深度学习模型可以显著提高医疗服务的质量。虽然将深度学习应用到电子健康有显而易见的好处，但收集大量的电子健康记录可能会泄露参与者隐私敏感信息，如疾病历史和医疗记录。为了解决这个问题，联邦学习被广泛应用于电子健康，因为它只通过在神经网络之间共享参数来支持神经网络优化，而不是共享用户的原始数据。用户只需要将本地完成一次训练iteration之后的训练模型(深度神经网络)梯度发送给云服务器，云服务器收集梯度计算汇总结果再下发至用户，用户根据接收到的汇总结果对本地的下一次的训练时使用的模型参数进行调整，直至完成训练。
然而，最新的研究表明，对手(如云服务器)仍然可以利用共享的梯度和汇总结果恢复目标数据(如数据标签、成员关系等)。为了解决联合训练过程中的隐私泄露问题，人们提出了许多出色的解决方案，并将其应用于各种场景。
在真实的场景中，每个用户所持有的原始数据的质量通常是不均匀的。拥有高级专业知识或终端设备的用户通常生成高质量的数据，而其他人可能持有低质量的数据。在本文中，我们将这些低质量数据的用户视为不规则用户。显然，在联合训练过程中，不规则用户共享的参数可能会影响训练的准确性，甚至导致最终模型的无用性。
综上，目前的联邦学习机制存在以下不足:1)当模型的准确性是可接受的时，对手仍然可以很容易地恢复用户的敏感数据。2)要求成功完成私有训练任务的服务器是可信的，这与许多实际场景中不可信服务器设置的假设相矛盾。3)服务器可以访问每个用户的可靠性，即每个用户的“数据质量”信息(称为用户的可靠性)未进行保密。
发明内容
本发明所要解决的技术问题是，提供一种考虑到不规则用户的可靠性并能保留数据隐私的联邦深度学习方法。
本发明为解决上述技术问题所采用的技术方案是，面向非规则用户的保护隐私的联邦深度学习方法包括以下步骤：
1)系统设置步骤：被指定的两台服务器S0、S1，服务器S1保存有第三方为其生成一对非对称密钥(pk1,sk1)，pk1为公钥，sk1为私钥；
服务器S0用于接收用户发送的使用随机值与公钥pk1进行加密处理后的梯度信息
Figure BDA0002474853090000021
其中，
Figure BDA0002474853090000022
为用户i第m次迭代的梯度，i为用户序号i＝1,…,N，N为系统内用户总数，
Figure BDA0002474853090000023
为用户i第m次迭代时生成的用户随机数，
Figure BDA0002474853090000024
表示使用公钥pk1对A加密，m表示迭代次数序号，m∈[1,M]，M表示完成一代训练epoch时所进行的迭代Iteration的总次数；服务器S1用于接收用户发送的随机数
Figure BDA0002474853090000025
2)迭代初始化步骤：服务器S0初始化各次迭代的使用随机值与公钥pk1进行加密处理后的汇总信息
Figure BDA0002474853090000026
其中，
Figure BDA0002474853090000028
为汇总结果
Figure BDA0002474853090000027
的初始值，
Figure BDA0002474853090000029
为加密后的第m次迭代中生成的汇总随机数
Figure BDA00024748530900000210
的初始值；服务器S1使用与服务器S0相同的方式设置第m次迭代中生成的汇总随机数
Figure BDA00024748530900000211
的初始值
Figure BDA00024748530900000212
3)更新加密的用户的可靠性：服务器S0利用给定的加密处理后的梯度信息
Figure BDA00024748530900000213
加密处理后的汇总信息
Figure BDA00024748530900000214
和服务器S1给定的汇总随机数
Figure BDA00024748530900000215
以及保存的私钥sk1一起进行各用户i的可靠性更新：由服务器S0生成加密的用户的可靠性信息
Figure BDA00024748530900000216
其中，Ti为用户i的可靠性，Ti与用户i本地梯度与汇总结果之间的距离呈负相关，
Figure BDA00024748530900000217
为生成的用户i的可靠性随机数；服务器S1获得用户i的可靠性随机数
Figure BDA00024748530900000218
4)更新加密的汇总结果：服务器S0利用更新得到的加密的用户的可靠性信息
Figure BDA0002474853090000031
作为权重，以及服务器S1获得每个用户的可靠性随机数
Figure BDA0002474853090000032
和用户随机数
Figure BDA0002474853090000033
来更新各梯度m的加密的汇总信息
Figure BDA0002474853090000034
使得可靠性越低的用户对汇总结果的影响越小，可靠性越高的用户对汇总结果的影响越大，并将更新的各梯度m的加密的汇总信息发送至各用户。
本发明的有益效果是：提出的不规则用户中保留隐私的联邦学习方法，保护所有用户相关信息的隐私，包括每个用户的梯度、可靠性以及汇总结果，在将本地梯度上传到云中之前，每个用户都使用附加的同态加密对其进行加密，并且减少用户在训练过程中因使用低质量数据的影响，同时确保用户相关信息的真实性。本发明方法的大部分计算都是由服务器完成的，对于计算能力有限的终端用户来说非常友好，且对用户在整个训练过程中由于各种不可预知的原因而中途退出也具有鲁棒性。
附图说明
图1为联邦学习系统的示意图。
如图1所示，在系统模型中包括服务器S0、S1和N个用户共同实现保护隐私的联合训练。所有参与的用户首先同意一个统一的深度神经网络DNN。然后，在每一代训练epoch的每一次训练iteration中，每个用户使用其本地数据集训练DNN，并计算训练样本对应的梯度。为了加快收敛速度和提高训练的准确性，每个用户都对其本地梯度加密并将其提交给云。接下来，两个没有勾结的云服务器S0和S1交互执行本发明参数传递方法以获取密文(梯度的汇总结果)并将汇总结果返回给所有用户。最后，每个用户对密文进行解密，并更新本地DNN的参数。为了获得满意的网络结构，两个服务器和所有用户反复执行上述操作，直到DNN满足预定义的优化条件。
本发明方法，包括以下步骤：
1)系统设置步骤：被指定的两台服务器S0、S1，服务器S1保存有第三方为其生成一对非对称密钥(pk1,sk1)，pk1为公钥，sk1为私钥；
服务器S0用于接收用户发送的使用随机值与公钥pk1进行加密处理后的梯度信息
Figure BDA0002474853090000035
其中，
Figure BDA0002474853090000036
为用户i第m次迭代的梯度，i为用户序号i＝1,…,N，N为系统内用户总数，
Figure BDA0002474853090000037
为用户i第m次迭代时生成的用户随机数，
Figure BDA0002474853090000041
表示使用公钥pk1对A加密，m表示迭代次数序号，m∈[1,M]，M表示完成一代训练epoch时所进行的迭代Iteration的总次数；服务器S1用于接收用户发送的随机数
Figure BDA0002474853090000042
2)迭代初始化步骤：服务器S0初始化各次迭代的使用随机值与公钥pk1进行加密处理后的汇总信息
Figure BDA0002474853090000043
其中，
Figure BDA0002474853090000045
为汇总结果
Figure BDA0002474853090000044
的初始值，
Figure BDA0002474853090000046
为加密后的第m次迭代中生成的汇总随机数
Figure BDA0002474853090000047
的初始值；服务器S1使用与服务器S0相同的方式设置第m次迭代中生成的汇总随机数
Figure BDA0002474853090000049
的初始值
Figure BDA0002474853090000048
具体的，服务器S0利用所有用户梯度与用户随机数之差的和的平均值初始化
Figure BDA00024748530900000410
利用所有用户产生的随机数初始化加密后的汇总随机数
Figure BDA00024748530900000411
服务器S1利用所有用户梯度之和的平均值初始化随机数
Figure BDA00024748530900000412
3)更新加密的用户的可靠性：服务器S0利用给定的加密处理后的梯度信息
Figure BDA00024748530900000413
加密处理后的汇总信息
Figure BDA00024748530900000414
和服务器S1给定的汇总随机数
Figure BDA00024748530900000415
以及保存的私钥sk1一起进行各用户i的可靠性更新：由服务器S0生成加密的用户的可靠性信息
Figure BDA00024748530900000416
其中，Ti为用户i的可靠性，Ti与用户i本地梯度与汇总结果之间的距离呈负相关，
Figure BDA00024748530900000417
为生成的用户i的可靠性随机数；服务器S1获得用户i的可靠性随机数
Figure BDA00024748530900000418
具体的：
3-1)服务器S0首先计算
Figure BDA00024748530900000419
Figure BDA00024748530900000420
其中，
Figure BDA00024748530900000421
为用户i的第m个梯度与的与第m个汇总结果之间的距离；接着计算
Figure BDA00024748530900000422
Figure BDA00024748530900000423
Figure BDA00024748530900000424
通过同态性质计算
Figure BDA00024748530900000425
其中μi，为用户i梯度与汇总结果之间的距离，
Figure BDA00024748530900000426
3-2)服务器S1计算
Figure BDA0002474853090000051
接着发送
Figure BDA0002474853090000052
给服务器S0；
3-3)服务器S0计算
Figure BDA0002474853090000053
Figure BDA0002474853090000054
3-4)服务器S0与服务器S1共同执行SecDiv协议得到用户i的可靠性Ti，服务器S0获得加密处理后的用户i的可靠性信息
Figure BDA0002474853090000055
服务器S1获得的用户i的可靠性随机数
Figure BDA0002474853090000056
其中同执行SecDiv协议的具体方法为：
3-4-1)服务器S0随机选取2个整数h1,h2并预设一个可靠性系数C，计算中间值x′1和x′2，
Figure BDA0002474853090000057
再将x′1和x′2的值发送给服务器S1；
3-4-2)服务器S1收到中间值x′1和x′2后，首先对接收到的中间值利用私钥sk1进行解密得到
Figure BDA0002474853090000058
接着随机选择整数
Figure BDA0002474853090000059
根据d1,d2,
Figure BDA00024748530900000510
构造混乱电路GC，再使用公钥pk1加密随机选择的整数
Figure BDA00024748530900000511
得到
Figure BDA00024748530900000512
最后将GC和混淆的d1、d2、
Figure BDA00024748530900000513
和
Figure BDA00024748530900000514
发送到服务器S0；
3-4-3)服务器S0和S1共同执行不经意传输协议OT协议使得服务器S1来获得d1、d2的混淆值；
3-4-4)服务器S0运行GC来得到
Figure BDA00024748530900000515
其中
Figure BDA00024748530900000516
再计算得到加密后的用户i的可靠性
Figure BDA00024748530900000517
计算得到加密处理后的用户i的可靠性信息
Figure BDA00024748530900000518
4)更新加密的汇总结果：服务器S0利用更新得到的加密的用户的可靠性信息
Figure BDA00024748530900000519
作为权重，以及服务器S1获得每个用户的可靠性随机数
Figure BDA00024748530900000520
和用户随机数
Figure BDA00024748530900000521
来更新各梯度m的加密的汇总信息
Figure BDA00024748530900000522
使得可靠性越低的用户对汇总结果的影响越小，可靠性越高的用户对汇总结果的影响越大，并将更新的各梯度m的加密的汇总信息发送至各用户；
具体的：
4-1)服务器S0计算
Figure BDA0002474853090000061
Figure BDA0002474853090000062
再计算
Figure BDA0002474853090000063
Figure BDA0002474853090000064
4-2)服务器S1计算
Figure BDA0002474853090000065
后发送
Figure BDA0002474853090000066
给S0；
4-3)服务器S0计算：
Figure BDA0002474853090000067
Figure BDA0002474853090000068
4-4)服务器S0和服务器S1共同执行SecDiv协议，使得服务器S0获得更新的梯度m对应的加密的汇总结果
Figure BDA0002474853090000069
服务器S1获得更新的汇总随机数
Figure BDA00024748530900000610
其中同执行SecDiv协议的具体方法为：
4-4-1)服务器S0随机选取2个整数h3,h4，并计算中间值x′3和x′4，
Figure BDA00024748530900000611
Figure BDA00024748530900000612
然后将中间值x′3和x′4的值发送给服务器S1；
4-4-2)服务器S1收到中间值x′3和x′4后，首先对接收到的中间值利用私钥sk1进行解密得到
Figure BDA00024748530900000613
接着随机选择整数作为更新的汇总随机数
Figure BDA00024748530900000614
根据d3,d4,
Figure BDA00024748530900000615
构造混乱电路GC，最后将GC和混淆的d3、d4、
Figure BDA00024748530900000616
和
Figure BDA00024748530900000617
的值发送到服务器S0；
4-4-3)S0和S1共同执行OT协议来获得d3、d4的混淆值；
4-4-4)S0运行GC来得到
Figure BDA00024748530900000618
更新加密后的汇总结果
Figure BDA00024748530900000619
Figure BDA00024748530900000620
由于
Figure BDA00024748530900000621
最后计算得到加密处理后的用户i的汇总信息
Figure BDA00024748530900000622
并发送至用户i；
5)用户利用接收到的服务器S0发送的加密处理后的用户i的汇总信息对训练模型的参数进行调整后再次进行训练，得到当前的第m次迭代训练的训练模型的梯度
Figure BDA0002474853090000071
并生成对应此次迭代训练的用户随机数
Figure BDA0002474853090000072
对
Figure BDA0002474853090000073
与
Figure BDA0002474853090000074
进行加密处理得到加密处理后的梯度信息
Figure BDA0002474853090000075
并发送至S0，同时将
Figure BDA0002474853090000076
发送至S1，重复步骤3)至步骤5)直至用户完成训练。
整个过程中两个服务器分工不同，只有服务器S1拥有私钥，只有服务器S0有用户的可靠性以及更新后的加密的汇总结果，以防止服务器恶意解密用户数据。

Claims (4)

1.面向非规则用户的保护隐私的联邦深度学习方法，其特征在于，云服务器方执行以下步骤：
1)系统设置步骤：被指定的两台服务器S0、S1，服务器S1保存有第三方为其生成一对非对称密钥(pk1，sk1)，pk1为公钥，sk1为私钥；
服务器S0用于接收用户发送的使用随机值与公钥pk1进行加密处理后的梯度信息
Figure FDA00024748530800000119
其中，
Figure FDA00024748530800000120
为用户i第m次迭代的梯度，i为用户序号i＝1，...，N，N为系统内用户总数，
Figure FDA0002474853080000013
为用户i第m次迭代时生成的用户随机数，
Figure FDA0002474853080000014
表示使用公钥pk1对A加密，m表示迭代次数序号，m∈[1，M]，M表示完成一代训练epoch时所进行的迭代Iteration的总次数；服务器S1用于接收用户发送的随机数
Figure FDA00024748530800000118
2)迭代初始化步骤：服务器S0初始化各次迭代的使用随机值与公钥pk1进行加密处理后的汇总信息
Figure FDA0002474853080000015
其中，
Figure FDA0002474853080000016
为汇总结果
Figure FDA0002474853080000017
的初始值，
Figure FDA0002474853080000018
为加密后的第m次迭代中生成的汇总随机数
Figure FDA0002474853080000019
的初始值；服务器S1使用与服务器S0相同的方式设置第m次迭代中生成的汇总随机数
Figure FDA00024748530800000110
的初始值
Figure FDA00024748530800000111
3)更新加密的用户的可靠性信息：服务器S0利用给定的加密处理后的梯度信息
Figure FDA00024748530800000112
加密处理后的汇总信息
Figure FDA00024748530800000113
和服务器S1给定的汇总随机数
Figure FDA00024748530800000114
以及保存的私钥sk1一起进行各用户i的可靠性更新：由服务器S0生成加密的用户的可靠性信息
Figure FDA00024748530800000115
其中，Ti为用户i的可靠性，Ti与用户i本地梯度与汇总结果之间的距离呈负相关，
Figure FDA00024748530800000116
为生成的用户i的可靠性随机数；服务器S1获得用户i的可靠性随机数
Figure FDA00024748530800000117
4)更新加密的汇总信息：服务器S0利用更新得到的加密的用户的可靠性信息
Figure FDA0002474853080000021
作为权重，以及服务器S1获得每个用户的可靠性随机数
Figure FDA0002474853080000022
和用户随机数
Figure FDA0002474853080000023
来更新各梯度m的加密的汇总信息
Figure FDA0002474853080000024
使得可靠性越低的用户对汇总结果的影响越小，可靠性越高的用户对汇总结果的影响越大，并将更新的各梯度m的加密的汇总信息发送至各用户。
2.如权利要求1所述方法，其特征在于，步骤2)具体包括以下步骤：
服务器S0利用所有用户梯度与用户随机数之差的和的平均值初始化
Figure FDA0002474853080000025
利用所有用户产生的随机数初始化加密后的汇总随机数
Figure FDA0002474853080000026
服务器S1利用所有用户梯度之和的平均值初始化随机数
Figure FDA0002474853080000027
3.如权利要求1所述方法，其特征在于，步骤3)的具体方法是：
3-1)服务器S0首先计算
Figure FDA0002474853080000028
其中，
Figure FDA0002474853080000029
为用户i的第m个梯度与的与第m个汇总结果之间的距离；接着计算
Figure FDA00024748530800000210
，通过同态性质计算
Figure FDA00024748530800000211
其中μi，为用户i梯度与汇总结果之间的距离，
Figure FDA00024748530800000212
3-2)服务器S1计算
Figure FDA00024748530800000213
接着发送
Figure FDA00024748530800000214
给服务器S0；
3-3)服务器S0计算
Figure FDA0002474853080000031
3-4)服务器S0与服务器S1共同执行SecDiv协议得到用户i的可靠性Ti，服务器S0获得加密处理后的用户i的可靠性信息
Figure FDA0002474853080000032
服务器S1获得的用户i的可靠性随机数
Figure FDA0002474853080000033
其中同执行SecDiv协议的具体方法为：
3-4-1)服务器S0随机选取2个整数h1，h2并预设一个可靠性系数C，计算中间值x′1和x′2，
Figure FDA0002474853080000034
再将x′1和x′2的值发送给服务器S1；
3-4-2)服务器S1收到中间值x′1和x′2后，首先对接收到的中间值利用私钥sk1进行解密得到
Figure FDA0002474853080000035
接着随机选择整数
Figure FDA0002474853080000036
根据d1，d2，
Figure FDA0002474853080000037
构造混乱电路GC，再使用公钥pk1加密随机选择的整数
Figure FDA0002474853080000038
得到
Figure FDA0002474853080000039
最后将GC和混淆的d1、d2、
Figure FDA00024748530800000310
和
Figure FDA00024748530800000311
发送到服务器S0；
3-4-3)服务器S0和S1共同执行不经意传输协议OT协议使得服务器S1来获得d1、d2的混淆值；
3-4-4)服务器S0运行GC来得到
Figure FDA00024748530800000312
其中
Figure FDA00024748530800000313
再计算得到加密后的用户i的可靠性
Figure FDA00024748530800000314
最后计算得到加密处理后的用户i的可靠性信息
Figure FDA00024748530800000315
4.如权利要求1所述方法，其特征在于，步骤4)具体包括以下步骤：
4-1)服务器S0计算
Figure FDA0002474853080000041
，再计算
Figure FDA0002474853080000042
4-2)服务器S1计算
Figure FDA0002474853080000043
后发送
Figure FDA0002474853080000044
给S0；
4-3)服务器S0计算：
Figure FDA0002474853080000045
Figure FDA0002474853080000046
4-4)服务器S0和服务器S1共同执行SecDiv协议，使得服务器S0获得更新的梯度m对应的加密的汇总结果
Figure FDA0002474853080000047
服务器S1获得更新的汇总随机数
Figure FDA0002474853080000048
其中同执行SecDiv协议的具体方法为：
4-4-1)服务器S0随机选取2个整数h3，h4，并计算中间值x′3和x′4，
Figure FDA0002474853080000049
然后将中间值x′3和x′4的值发送给服务器S1；
4-4-2)服务器S1收到中间值x′3和x′4后，首先对接收到的中间值利用私钥sk1进行解密得到
Figure FDA00024748530800000410
j＝3，4；接着随机选择整数作为更新的汇总随机数
Figure FDA00024748530800000411
根据d3，d4，
Figure FDA00024748530800000412
构造混乱电路GC，最后将GC和混淆的d3、d4、
Figure FDA00024748530800000413
和
Figure FDA0002474853080000054
的值发送到服务器S0；
4-4-3)S0和S1共同执行OT协议来获得d3、d4的混淆值；
4-4-4)S0运行GC来得到
Figure FDA0002474853080000051
更新加密后的汇总结果
Figure FDA0002474853080000052
最后计算得到加密处理后的用户i的汇总信息
Figure FDA0002474853080000053
并发送至用户i。
CN202010360559.0A 2020-04-30 2020-04-30 面向非规则用户的保护隐私的联邦深度学习方法 Active CN111581663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010360559.0A CN111581663B (zh) 2020-04-30 2020-04-30 面向非规则用户的保护隐私的联邦深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010360559.0A CN111581663B (zh) 2020-04-30 2020-04-30 面向非规则用户的保护隐私的联邦深度学习方法

Publications (2)

Publication Number Publication Date
CN111581663A CN111581663A (zh) 2020-08-25
CN111581663B true CN111581663B (zh) 2022-05-03

Family

ID=72111952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010360559.0A Active CN111581663B (zh) 2020-04-30 2020-04-30 面向非规则用户的保护隐私的联邦深度学习方法

Country Status (1)

Country Link
CN (1) CN111581663B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782176B (zh) * 2022-06-23 2022-10-25 浙江数秦科技有限公司 一种基于联邦学习的信贷业务推荐方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359588A (zh) * 2018-10-15 2019-02-19 电子科技大学 一种新的隐私保护下非交互式的k近邻分类方法
CN109543445A (zh) * 2018-10-29 2019-03-29 复旦大学 一种基于条件概率分布的隐私保护数据发布方法
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
EP3477527A1 (en) * 2017-10-31 2019-05-01 Twinpeek Privacy management
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法
CN110796267A (zh) * 2019-11-12 2020-02-14 支付宝(杭州)信息技术有限公司 数据共享的机器学习方法和机器学习装置
CN110874491A (zh) * 2020-01-16 2020-03-10 支付宝(杭州)信息技术有限公司 基于机器学习的隐私数据处理方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049163A1 (en) * 2013-03-15 2015-02-19 James Paul Smurro Network system apparatus and method of use adapted for visual neural networking with multi-channel multiplexed streaming medical imagery and packetized clinical informatics
US11475350B2 (en) * 2018-01-22 2022-10-18 Google Llc Training user-level differentially private machine-learned models

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3477527A1 (en) * 2017-10-31 2019-05-01 Twinpeek Privacy management
CN109359588A (zh) * 2018-10-15 2019-02-19 电子科技大学 一种新的隐私保护下非交互式的k近邻分类方法
CN109543445A (zh) * 2018-10-29 2019-03-29 复旦大学 一种基于条件概率分布的隐私保护数据发布方法
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法
CN110796267A (zh) * 2019-11-12 2020-02-14 支付宝(杭州)信息技术有限公司 数据共享的机器学习方法和机器学习装置
CN110874491A (zh) * 2020-01-16 2020-03-10 支付宝(杭州)信息技术有限公司 基于机器学习的隐私数据处理方法、装置及电子设备

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Achieving efficient and privacy-preserving truth discovery in crowd sensing systems;Guowen Xu;《http://dx.doi.org/doi: 10.1016/j.cose.2016.11.014》;20170831;第1-36页 *
Data Security Issues in Deep Learning:Attacks, Countermeasures, and Opportunities;Guowen Xu;《IEEE Communications Magazine》;20191121;第57卷(第11期);第116-122页 *
PTAS: Privacy-preserving Thin-client Authentication Scheme in Blockchain-based PKI;Wenbo Jiang;《Future Generation Computer Systems》;20190123;全文 *
Towards Efficient and Privacy-preserving Federated Deep Learning;Meng Hao;《ICC 2019》;20190715;全文 *
一种隐私保护关联规则挖掘的混合算法;刘峰;《计算机应用研究》;20120331;第29卷(第3期);第1107-1110页 *
多数据源下机器学习的隐私保护研究;张铭凯等;《网络空间安全》;20200425(第04期);全文 *
联邦学习模型在涉密数据处理中的应用;贾延延等;《中国电子科学研究院学报》;20200120(第01期);全文 *

Also Published As

Publication number Publication date
CN111581663A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN110572253B (zh) 一种联邦学习训练数据隐私性增强方法及系统
Zhou et al. PPDM: A privacy-preserving protocol for cloud-assisted e-healthcare systems
CN111581648B (zh) 在不规则用户中保留隐私的联邦学习的方法
CN109347829B (zh) 一种基于隐私保护的群智感知网络真值发现方法
CN113836556B (zh) 面向联邦学习的去中心化函数加密隐私保护方法及系统
DE112019001441T5 (de) Vergessliche pseudozufallsfunktion in einem schlüsselverwaltungssystem
CN114219483B (zh) 基于lwe-cpabe的区块链数据共享方法、设备和存储介质
CN111931249B (zh) 支持传输容错机制的医疗密态数据统计分析方法
CN113221105B (zh) 一种基于部分参数聚合的鲁棒性联邦学习算法
Zhao et al. Practical private aggregation in federated learning against inference attack
Sun et al. A privacy-aware and traceable fine-grained data delivery system in cloud-assisted healthcare IIoT
CN110765485B (zh) 一种基于nizk的条件匿名支付装置
CN116957064A (zh) 基于知识蒸馏的联邦学习隐私保护模型训练方法及系统
CN111581663B (zh) 面向非规则用户的保护隐私的联邦深度学习方法
CN114239862A (zh) 一种保护用户数据隐私的抗拜占庭攻击的联邦学习方法
Zhang et al. Privacyeafl: Privacy-enhanced aggregation for federated learning in mobile crowdsensing
CN116865938A (zh) 基于秘密共享和同态加密的多服务器联邦学习方法
CN116506154A (zh) 安全可验证的联邦学习方案
CN113204788B (zh) 一种细粒度属性匹配隐私保护方法
CN113472524B (zh) 一种抗恶意传输数据攻击的数据聚合签名系统及方法
Zhou et al. A survey of security aggregation
Yang et al. Federated Medical Learning Framework Based on Blockchain and Homomorphic Encryption
CN116451275B (zh) 一种基于联邦学习的隐私保护方法及计算设备
CN116822661B (zh) 基于双服务器架构的隐私保护可验证联邦学习方法
Nampalle et al. Medical image security and authenticity via dual encryption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant