CN117421762A - 基于差分隐私和同态加密的联邦学习隐私保护方法 - Google Patents
基于差分隐私和同态加密的联邦学习隐私保护方法 Download PDFInfo
- Publication number
- CN117421762A CN117421762A CN202311049045.3A CN202311049045A CN117421762A CN 117421762 A CN117421762 A CN 117421762A CN 202311049045 A CN202311049045 A CN 202311049045A CN 117421762 A CN117421762 A CN 117421762A
- Authority
- CN
- China
- Prior art keywords
- participants
- model parameters
- server
- participant
- privacy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 2
- 238000012217 deletion Methods 0.000 abstract description 2
- 230000037430 deletion Effects 0.000 abstract description 2
- 230000001066 destructive effect Effects 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioethics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了基于差分隐私和同态加密的联邦学习隐私保护方法，属于网络安全数据信息隐私保护技术领域。本发明通过在本地模型训练过程中向梯度添加少量噪声，有效的抵御了成员推断攻击以及其他可能的隐私攻击方法，能够保护隐私数据。通过使用门限同态加密算法对训练过程中的模型参数进行加密，各参与方拥有不同的私钥，相较于传统的同态加密算法，大大降低了因某参与方密钥泄露而对整个联邦学习隐私造成毁灭性打击的风险。本方法中的各参与方节点对框架基本架构没有结构性影响，参与方的增删只影响门限参数的设定，能够灵活适应参与方数目的动态调整情况。本发明为充分实现联邦学习数据隐私、实现数据信息的安全交流与整合，提供了有效技术方案。
Description
技术领域
本发明涉及一种基于差分隐私和同态加密的联邦学习数据隐私保护方法，属于网络安全数据信息隐私保护技术领域。
背景技术
近年来，随着数字化技术的高速发展，大数据、人工智能等技术迎来了爆发式发展，已经走进了人们的日常生产生活。经过大量数据训练出来的机器学习模型已经应用在各类场景中，正在深刻改变着世界，例如精准医疗、临床辅助诊断、新药研发、人像识别、声纹识别、千人千面推荐算法、图片、语音、自然语言等。传统的机器学习需要大量的数据集用于训练，这些数据中很有可能包含有用户隐私数据，而隐私数据的泄露会给用户带来威胁，使得用户不愿分享数据。同时，各企业、各部门之间存在数据不互通的情况，这种数据孤岛现状与数据融合需求之间的矛盾日益凸显。
针对数据孤岛和数据隐私的两难问题，为了实现数据信息的安全交流与整合，技术人员提出了联邦学习技术(Federated Learning)，能够帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，有效进行数据使用、机器学习建模等。
在联邦学习中，各个参与方拥有不同的训练数据，其共同执行一个深度学习任务。其训练过程为：各个参与方首先在本地训练得到本地模型，然后将本地模型上传给中心服务器，由中心服务器进行聚合，得到最终的全局模型。
相较于传统的集中式机器学习过程，联邦学习由于是先交由参与方进行本地训练，并不直接交换数据，有效地降低了数据隐私泄露的风险。但是，随着研究的深入，人们发现，联邦学习本身并没有提供全面充分的隐私保护。尤其在联邦学习过程中的参数交换阶段，极容易遭受攻击，从被捕获的参数中推断出模型信息甚至原始数据信息。因此，为了满足联邦学习对隐私保护的迫切需要，必须要采用相应的隐私保护措施。
隐私保护技术是一项防御敏感信息泄露的技术，能够为信息的隐私提供严格的保护。目前，隐私保护技术包括两大方向：信息模糊和过程加密。其中，信息模糊机制是针对数据内容,通过处理数据或参数，使相关信息不易关联到具体的用户上(如k-匿名算法、差分隐私机制等)；过程加密机制是面向数据传输,通过改变数据交换的形式以保护数据，防止其被攻击者识别，如各种加密算法。
目前，在联邦学习中，通常采用以下隐私保护机制：
1.基于差分隐私的隐私保护方法。常见的差分隐私保护方法包括中心差分隐私和本地差分隐私。其中，中心差分隐私主要作用在服务器端，对训练得到的模型参数注入满足差分隐私的噪声扰动，进而保护联邦学习在推理过程中存在的数据隐私。本地差分隐私主要在本地参与方训练的过程中注入噪声扰动进而保护参与方原始数据隐私安全，使得服务器无法获得参与方的原始数据。
但是，上述方案存在如下技术缺点：
(1)安全性低：若仅对中心服务器进行差分隐私保护操作，所能达到的隐私保护效果较低。如果参与方在训练或者上传模型参数的过程中被攻击，攻击者能够很容易通过获取到的未受保护的数据进行成员推断攻击，从而引发严重的隐私泄露危机。
(2)模型精度低：若在参与方本地添加噪声以保护参与方原始数据，注入的噪声量通常较大，在模型参数聚合时会带来较大的误差，使得训练得到的模型精度较低。
2.基于单密钥同态加密的隐私保护方法。同态加密方法是一种常见的隐私保护机制，能够为训练过程中加密的对象提供严格的保护,在联邦学习中,中心服务器仅对密文做聚合运算的场景下,可以达到较好的训练效果。
但是，上述方案存在如下技术缺点：
(1)计算代价高：相较于其他隐私保护方案，同态加密解密运算的复杂带来了高昂的计算代价。
(2)效率低：密文数据量更大，相较于明文传输，传输效率降低，这也相当程度上影响了模型训练的效率。
(3)安全性低：同态加密密文计算函数中，密文之间可以相互计算的前提是使用了相同的密钥进行加密。在多方参与的隐私计算中，如果多方使用一套公私钥，系统安全性会大大下降，系统中只要有一方被成功攻击，私钥就会泄露，存在较大的安全风险。
发明内容
本发明的目的是为了解决数据孤岛和数据隐私保护的两难问题，为实现数据信息的安全交流与整合，针对联邦学习隐私保护时，现有的单一隐私保护方法存在计算精度差、效率低、安全性低等技术问题，创造性地提出一种基于差分隐私和同态加密的联邦学习数据隐私保护方法。
为了达到上述目的，本发明采取如下技术方案。
首先，对相关定义进行说明：
定义1：联邦学习
是指拥有本地数据的各方在不暴露本地数据的情况下，协同实现训练模型。本方法中的联邦学习架构为参与方-服务器架构。其中包含参与方和服务器，参与方主要是参与本地模型训练，服务器主要作用是进行模型参数聚合和最终模型发布。
定义2：参与方
是指拥有本地数据且参与联邦学习训练的参与方。
定义3：服务器
是指联邦学习框架中的中心服务器，在本方法中假设服务器是诚实但好奇的，即服务器不会伪造数据，不会破坏模型训练过程，但其会对参与方的原始数据有一定程度的好奇，并且可能会绕过一些安全措施直接访问参与方的原始数据。
定义3：密钥中心
是指负责密钥生成与分发的可信机构。生成同态密码系统所需要的密钥对，通过可信通道将其分发给联邦学习框架中的参与方与中心服务器。
定义4：差分隐私
对于一个算法M，其输出的任意一个子集为Ω，算法M在两个相邻数据集D和D′上的输出都满足下式，则称算法M提供(ε，δ)-差分隐私保护：
Pr(M(D)∈Ω)≤eεPr(M(D′)∈Ω)+δ
其中，Pr()表示随机算法的输出为某个给定生成数据集的概率；非负参数ε为隐私预算，表示隐私保护程度，ε越小则隐私保护程度越高；非负参数δ表示算法M在D和D′上输出结果差异超过eε的概率，即：违背差分隐私保护的概率。
定义5：噪声
为实现差分隐私，需要向数据中添加噪声以进行扰动。常见的噪声机制有拉普拉斯机制、高斯机制等。
定义6：阈值同态密码系统
指本方法中对模型参数进行加密所使用的密码系统。使用安全多方计算以及Shamir门限秘密共享思想，使得联邦学习各参与方使用不同的私钥，提高隐私保护程度。解密时，需要若干参与方进行协同运算。
本发明采用以下技术方案实现。
一种基于差分隐私和同态加密的联邦学习隐私保护方法，包括以下步骤：
步骤1：系统初始化，包括搭建联邦学习框架和密钥分发。
其中，由各参与方、中心服务器、密钥中心搭建形成横向联邦学习框架；密钥中心生成密钥对，并分发给各参与方以及服务器；由服务器生成初始模型参数。
具体地，步骤1包括以下步骤：
步骤1.1：参与方与中心服务器建立信息传递通道。该通道可信但并不隐蔽，意味着通过该通道传递的信息并不会被篡改，但是会被窃听。
步骤1.2：密钥中心生成密钥对，并通过可信通道分发给各参与方。
其中，密钥的发送经由可信通道，无需考虑密钥在发送过程中是否被篡改或捕获。
步骤1.3：服务器初始模型参数。
步骤2：服务器将初始模型参数发送给参与本轮训练的参与方。
包括选择N个参与本轮训练的参与方，服务器将初始模型参数发送给N个参与方。
具体地，步骤2包括以下步骤：
步骤2.1：服务器以设定采样率a，随机从所有的参与方中选取N个参与本轮训练的参与方。
步骤2.2：服务器将初始模型参数发送给N个参与方。
步骤3：参与方并行进行本地模型参数训练。
具体地，步骤3包括以下步骤：
步骤3.1：参与方获得初始模型参数。
步骤3.2：参与方选取参与训练的本地数据集。
参与方随机从所拥有的数据集中选取若干数据集，组成参与本轮训练批次的数据集。
步骤3.3：参与方采用梯度下降法实现本地模型参数更新。
具体地，步骤3.3包括以下步骤：
步骤3.3.1：对批数据集中的每个数据，计算对应的损失函数梯度值。
步骤3.3.2：在训练梯度中注入满足差分隐私的噪声，由此保护本地模型参数。
步骤3.3.3：参与方使用具有扰动的梯度，实现本地模型参数的更新。
步骤3.4：各个参与方重复执行步骤3.2至步骤3.4，直到训练得到满足精度的本地模型参数。
步骤4：各参与方将本地模型参数上传到服务器。
具体地，步骤4包括以下步骤：
步骤4.1：参与方使用公钥对本地模型参数进行加密。
步骤4.2：参与方将密文本地模型参数的密文发送给服务器。
步骤5：服务器使用聚合算法对密文本地模型参数进行聚合。
其中，本地模型参数为密文。聚合操作在密文空间中进行，服务器无法得知模型参数的明文信息，无法从中推断得出参与方训练数据。
具体地，步骤5包含以下步骤：
步骤5.1：服务器接收训练参与方发送的本地模型参数密文。
步骤5.2：服务器使用同态加法对各本地模型参数求和，得到中间参数。
步骤5.3：服务器对中间参数标量乘以参与方数量的倒数，得到密文态的全局模型参数。
步骤5.4：服务器将密文全局模型参数发送给参与方。
步骤6：参与方对密文全局模型进行解密。
参与解密的参与方协同执行解密算法，将服务器发放的全局模型参数密文解密得到明文，以用于之后的模型训练。
具体地，步骤6包含以下步骤：
步骤6.1：服务器以采样率a随机从所有的参与方中选取N个参与方，参与解密。
步骤6.2：参与解密的参与方使用自己的私钥对模型参数密文进行解密，得到部分明文模型参数。
步骤6.3：参与方将自己的部分明文广播给其他参与解密的参与方。
步骤6.4：所有参与解密的参与方执行解密算法，得到明文全局模型参数。
至此，实现了基于差分隐私和同态加密的联邦学习隐私保护。
有益效果
本发明方法，与现有技术相比，具有以下优点：
1.本方法具有良好的安全性，具体为：通过在本地模型训练过程中向梯度添加少量噪声，这有效的抵御了成员推断攻击以及其他可能的隐私攻击方法，有效的保护了隐私数据。使用门限同态加密算法对训练过程中的模型参数进行加密，各参与方拥有不同的私钥，相较于传统的同态加密算法，大大降低了因某参与方密钥泄露而对整个联邦学习隐私造成毁灭性打击的风险。
2.本方法具有良好的扩展性，具体为：本方法中，各参与方节点对框架基本架构没有结构性影响，参与方的增删只影响门限参数的设定，能够灵活适应参与方数目的动态调整情况。
附图说明
图1为本发明方法的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例详细阐述了在常见联邦学习实例中的具体应用。
在常见的联邦学习应用场景中，设存在一个中心服务器，三个参与训练的参与方P1、P2、P3，可信第三方密钥中心。在应用场景中，最初，可信第三方密钥中心生成各方所拥有的密钥对并交付给各方。服务器发布初始模型参数给参与方P1、P2、P3，参与方进行本地训练，更新本地模型参数，再将本地模型参数发送给服务器，由服务器聚合更新得到新全局模型参数再发送给参与方P1、P2、P3，此为一轮训练结束，再进行新一轮训练，直至达到训练轮次要求。上述过程如图1所示。在该训练过程中，隐私保护手段，如差分隐私、同态加密，将分别在参与方本地模型训练、参数上传和接收过程中应用。
一种基于差分隐私和同态加密的联邦学习隐私保护方法，用于对上述联邦学习训练过程的数据信息隐私保护，包括以下步骤：
步骤1：系统初始化。
参与方P1、P2、P3，中心服务器，密钥中心，共同搭建形成横向联邦学习框架。由密钥中心生成密钥对并分发给各参与方。由服务器生成初始模型参数。
步骤1.1：在各方之间搭建信息通道。
其中，参与方之间的信息通道用于多方计算解密操作；服务器与参与方之间的信息通道用于传递模型参数；密钥中心与参与方之间的信息通道用于传递密钥；
步骤1.2：密钥中心生成密钥。
具体方法如下：
步骤1.2.1：随机选取两个大素数p、q，并令n＝pq；
选择p′、q′，使p＝2p′+1，q＝2q′+1，其中/> 表示n、/>这两个数的最大公约数；/>表示欧拉函数。
步骤1.2.2：令m＝p′q′；随机选择 表示有n个元素的整数集合，获取密钥sk＝mβ；Zn＝{0，1，2，...，n-1}，/>a表示属于n个元素整数集合中的一个整数且与n的最大公约数为1。
步骤1.2.3：将密钥sk在上进行分享；
具体地，采用Shamir秘密共享方法：si＝f(xi)mod mn，将si发送给对应的Pi，1≤i≤l，l为参与方数目，本实施例中l＝3，然后销毁sk。其中，f为一个随机的N-1次多项式，解密时必须要有N个参与方参加。
步骤1.2.4：随机选择
其中，a表示n个元素整数集合中的一个元素，b表示n个整数集合中的一个元素。令g表示生成元，g＝(1+n)abn mod n2，b在中的阶为δ，g在/>中的阶为nδ，计算θ＝αβm modn，θ表示公钥的一部分，β表示从有n个元素的整数集合中随机选择一个元素，则公钥为(g，n，θ)，将公钥发送给所有参与方。
步骤1.3：服务器根据训练模型，随机初始化模型参数w0。
步骤2：服务器将初始模型参数发送给本轮参与训练的参与方。其中，包括服务器对本轮训练参与方的选择，初始模型参数的分发。
步骤2.1：服务器以设定的采样率μ，随机选取N＝μl个参与方参与训练，本实施例中N＝2，设为P1、P2。
步骤2.2：服务器将初始模型模型参数w0发送给本轮训练的参与方P1、P2。
步骤3：参与方P1、P2进行本地模型参数训练。
步骤3.1：参与方P1、P2获得初始模型参数w0。
步骤3.2：参与方Pi随机从其所拥有的训练数据Di中选取数据量大小为BZ的数据，组成训练批次数据集Di，j，i∈{1，2}，j表示当前本地训练轮次。
步骤3.3：参与方Pi采用随机梯度下降算法，实现本地模型参数更新。
步骤3.3.1：对于Di，j中的每个数据d，根据损失函数L计算梯度值gj(d)，并对根据设定的阈值c对梯度进行裁剪更新，得到裁剪后梯度值
步骤3.3.2：当数据集Di，j中所有数据对应梯度值计算完毕后，对所有梯度值注入参数为c2σ2/N的高斯噪声进行求和并平均，得到该批次加噪后的平均梯度c表示阈值，σ表示方差，N表示参与方的总数量；
步骤3.3.3：使用平均梯度进行模型参数更新：/>其中，wi为参与方Pi拥有的模型参数，η为学习率；
步骤3.4：各个参与方重复执行步骤3.2至步骤3.4，直到训练得到满足精度的本地模型参数，或者本地训练次数达到所设定的T次。
本实施例中，给出了步骤3.2至步骤3.4的一个实现算法，具体如下：
算法1
步骤4：参与方将本地模型参数上传到服务器。
步骤4.1：参与方Pi使用公钥pk对本地模型参数wi加密。
加密方法为：参与方Pi选择随机数计算/>获得密文形式的模型参数[wi]；
步骤4.2：参与方Pi将密文模型参数[wi]发送给中心服务器；
步骤5：服务器接收本次参与训练的参与方P1、P2所发送的本地模型参数[w1]、[w2]后，进行聚合操作。
由于服务器聚合操作在密文空间中进行，服务器无法得知模型参数的明文信息。
步骤5.1：服务器接收本轮次训练中参与方P1、P2所更新的本地模型参数[w1]、[w2]；
步骤5.2：服务器使用同态加法，对本地模型参数[w1]、[w2]求和，得到中间参数z，
步骤5.3：服务器对中间参数标量乘上即：本轮参与训练的参与方数目的倒数，得到密文态的全局模型参数[w]，/>N表示参与方的数量。
步骤5.4：将新全局模型参数[w]分发给框架内所有参与方Pi，1≤i≤l；
步骤6：参数解密。所有参与方Pi均收到服务器发送的新全局参数密文[w]，参与方需要对其进行解密获得参数明文w，才能够进行下一轮模型训练。
步骤6.1：服务器以采样率μ随机选取N＝μl个参与方参与解密。本实施例中，N＝2。
步骤6.2：参与解密的参与方Pi使用自己的私钥si对模型参数密文[w]进行部分解密，得到所对应的部分明文di，
步骤6.3：参与方Pi向其他参与方广播di；
步骤6.4：参与解密过程的参与方共同执行解密算法，恢复明文态的全局模型参数w：
其中，函数x为变量；λ表示安全参数的密钥位数，i表示其中参与解密的某个参与方。l！表示l的阶乘。
Claims (9)
1.基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，包括以下步骤：
步骤1：系统初始化，包括搭建联邦学习框架和密钥分发；
其中，由各参与方、中心服务器、密钥中心搭建形成横向联邦学习框架；密钥中心生成密钥对，并分发给各参与方以及服务器；由服务器生成初始模型参数；
步骤2：服务器将初始模型参数发送给参与本轮训练的参与方，包括选择N个参与本轮训练的参与方，服务器将初始模型参数发送给N个参与方；
步骤3：参与方并行进行本地模型参数训练；
步骤3.1：参与方获得初始模型参数；
步骤3.2：参与方选取参与训练的本地数据集；
参与方随机从所拥有的数据集中选取若干数据集，组成参与本轮训练批次的数据集；
步骤3.3：参与方采用梯度下降法实现本地模型参数更新；
步骤3.3.1：对批数据集中的每个数据，计算对应的损失函数梯度值；
步骤3.3.2：在训练梯度中注入满足差分隐私的噪声，由此保护本地模型参数；
步骤3.3.3：参与方使用具有扰动的梯度，实现本地模型参数的更新；
步骤3.4：各个参与方重复执行步骤3.2至步骤3.4，直到训练得到满足精度的本地模型参数；
步骤4：各参与方将本地模型参数上传到服务器；
步骤5：服务器使用聚合算法对密文本地模型参数进行聚合；
其中，本地模型参数为密文；聚合操作在密文空间中进行，服务器无法得知模型参数的明文信息，无法从中推断得出参与方训练数据；
步骤6：参与方对密文全局模型进行解密；
参与解密的参与方协同执行解密算法，将服务器发放的全局模型参数密文解密得到明文。
2.如权利要求1所述的基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，步骤1包括以下步骤：
步骤1.1：参与方与中心服务器建立信息传递通道；
其中，参与方之间的信息通道用于多方计算解密操作；服务器与参与方之间的信息通道用于传递模型参数；密钥中心与参与方之间的信息通道用于传递密钥；
步骤1.2：密钥中心生成密钥对，并通过可信通道分发给各参与方；
其中，密钥的发送经由可信通道，无需考虑密钥在发送过程中是否被篡改或捕获；
步骤1.3：服务器根据训练模型，随机初始化模型参数。
3.如权利要求2所述的基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，步骤1.2包括以下步骤：
步骤1.2.1：随机选取两个大素数p、q，并令n＝pq；
选择p′、q′，使p＝2p′+1，q＝2q′+1，其中/> 表示n、/>这两个数的最大公约数；/>表示欧拉函数；
步骤1.2.2：令m＝p′q′；随机选择 表示有n个元素的整数集合，获取密钥sk＝mβ；Zn＝{0,1,2,…,n-1}，/>a表示属于n个元素整数集合中的一个整数且与n的最大公约数为1；
步骤1.2.3：将密钥sk在上进行分享；
采用Shamir秘密共享方法：si＝f(xi)mod mn，将si发送给对应的Pi，1≤i≤l，l为参与方数目，本实施例中l＝3，然后销毁sk；其中，f为一个随机的N-1次多项式，解密时要有N个参与方参加；
步骤1.2.4：随机选择
其中,a表示n个元素整数集合中的一个元素，b表示n个整数集合中的一个元素；令g表示生成元，g＝(1+n)abnmod n2，b在中的阶为δ，g在/>中的阶为nδ，计算θ＝αβm mod n，θ表示公钥的一部分，β表示从有n个元素的整数集合中随机选择一个元素，则公钥为(g,n,θ)，将公钥发送给所有参与方。
4.如权利要求1所述的基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，步骤2包括以下步骤：
步骤2.1：服务器以设定采样率a，随机从所有的参与方中选取N个参与本轮训练的参与方；
步骤2.2：服务器将初始模型参数发送给N个参与方。
5.如权利要求1所述的基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，步骤3.3包括以下步骤：
步骤3.3.1：对于Di,j中的每个数据d，根据损失函数L计算梯度值gj(d)，并对根据设定的阈值c对梯度进行裁剪更新，得到裁剪后梯度值
步骤3.3.2：当数据集Di,j中所有数据对应梯度值计算完毕后，对所有梯度值注入参数为c2σ2/N的高斯噪声进行求和并平均，得到该批次加噪后的平均梯度c表示阈值，σ表示方差；N表示参与方，即参与方的总数量；
步骤3.3.3：使用平均梯度进行模型参数更新：/>其中，wi为参与方Pi拥有的模型参数，η为学习率。
6.如权利要求1所述的基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，步骤4包括以下步骤：
步骤4.1：参与方Pi使用公钥pk对本地模型参数wi加密；
加密方法为：参与方Pi选择随机数计算/>获得密文形式的模型参数[wi]；/>表示有n个元素的整数集合；wi为参与方Pi拥有的模型参数；g表示生成元；
步骤4.2：参与方Pi将密文模型参数[wi]发送给中心服务器。
7.如权利要求1所述的基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，步骤5包括以下步骤：
步骤5.1：服务器接收本轮次训练中参与方所更新的本地模型参数[wi]；
步骤5.2：服务器使用同态加法，对本地模型参数[wi]求和，得到中间参数z，ri为随机数，/> 表示有n个元素的整数集合；
步骤5.3：服务器对中间参数标量乘上即：本轮参与训练的参与方数目的倒数，得到密文态的全局模型参数[w]，/>N表示参与方的数量；
步骤5.4：将新全局模型参数[w]分发给框架内所有参与方Pi，1≤i≤l。
8.如权利要求1所述的基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，步骤6包括以下步骤：
步骤6.1：服务器以采样率a随机从所有的参与方中选取N个参与方，参与解密；
步骤6.2：参与解密的参与方使用自己的私钥对模型参数密文进行解密，得到所对应的部分明文模型参数；
步骤6.3：参与方将自己的部分明文广播给其他参与解密的参与方；
步骤6.4：所有参与解密的参与方执行解密算法，得到明文全局模型参数。
9.如权利要求8所述的基于差分隐私和同态加密的联邦学习隐私保护方法，其特征在于，步骤6.4中,恢复明文态的全局模型参数w：
其中，函数x为变量；λ表示安全参数的密钥位数，i表示其中参与解密的某个参与方；l！表示l的阶乘；N为参与方的数量；di为对应的部分明文，
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311049045.3A CN117421762A (zh) | 2023-08-21 | 2023-08-21 | 基于差分隐私和同态加密的联邦学习隐私保护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311049045.3A CN117421762A (zh) | 2023-08-21 | 2023-08-21 | 基于差分隐私和同态加密的联邦学习隐私保护方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117421762A true CN117421762A (zh) | 2024-01-19 |
Family
ID=89527339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311049045.3A Pending CN117421762A (zh) | 2023-08-21 | 2023-08-21 | 基于差分隐私和同态加密的联邦学习隐私保护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117421762A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117811722A (zh) * | 2024-03-01 | 2024-04-02 | 山东云海国创云计算装备产业创新中心有限公司 | 全局参数模型构建方法、秘钥生成方法、装置及服务器 |
-
2023
- 2023-08-21 CN CN202311049045.3A patent/CN117421762A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117811722A (zh) * | 2024-03-01 | 2024-04-02 | 山东云海国创云计算装备产业创新中心有限公司 | 全局参数模型构建方法、秘钥生成方法、装置及服务器 |
| CN117811722B (zh) * | 2024-03-01 | 2024-05-24 | 山东云海国创云计算装备产业创新中心有限公司 | 全局参数模型构建方法、秘钥生成方法、装置及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113037460B (zh) | 基于同态加密和秘密共享的联邦学习隐私保护方法 | |
| CN109495465B (zh) | 基于智能合约的隐私集合交集方法 | |
| CN109684855B (zh) | 一种基于隐私保护技术的联合深度学习训练方法 | |
| CN112149160B (zh) | 基于同态伪随机数的联邦学习隐私保护方法及系统 | |
| CN112583575B (zh) | 一种车联网中基于同态加密的联邦学习隐私保护方法 | |
| CN109189727A (zh) | 一种基于属性代理重加密的区块链密文云存储共享方法 | |
| Chang et al. | Privacy in neural network learning: Threats and countermeasures | |
| CN111563265A (zh) | 一种基于隐私保护的分布式深度学习方法 | |
| CN113221105B (zh) | 一种基于部分参数聚合的鲁棒性联邦学习算法 | |
| CN115549888A (zh) | 一种基于区块链与同态加密的联邦学习隐私保护方法 | |
| CN111104968B (zh) | 一种基于区块链的安全svm训练方法 | |
| CN111581648B (zh) | 在不规则用户中保留隐私的联邦学习的方法 | |
| Zhao et al. | Practical private aggregation in federated learning against inference attack | |
| Mou et al. | A verifiable federated learning scheme based on secure multi-party computation | |
| CN117421762A (zh) | 基于差分隐私和同态加密的联邦学习隐私保护方法 | |
| CN116628744A (zh) | 一种具有轻量级验证机制的隐私保护联邦学习方法 | |
| CN115442050A (zh) | 一种基于sm9算法的隐私保护的联邦学习方法 | |
| CN116011014A (zh) | 一种隐私计算方法和隐私计算系统 | |
| CN110890961B (zh) | 一种新型安全高效的多授权属性基密钥协商协议 | |
| CN116865938A (zh) | 基于秘密共享和同态加密的多服务器联邦学习方法 | |
| CN117034287A (zh) | 基于隐私计算互联互通技术的多方联合建模安全增强方法 | |
| CN113472524B (zh) | 一种抗恶意传输数据攻击的数据聚合签名系统及方法 | |
| CN116340986A (zh) | 一种基于区块链的抗联邦学习梯度攻击的隐私保护方法及系统 | |
| CN114900283A (zh) | 基于多方安全计算的深度学习用户梯度聚合方法 | |
| CN111581663B (zh) | 面向非规则用户的保护隐私的联邦深度学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |