CN114239070A - 在联邦学习中移除非规则用户的隐私保护方法 - Google Patents
在联邦学习中移除非规则用户的隐私保护方法 Download PDFInfo
- Publication number
- CN114239070A CN114239070A CN202111588461.1A CN202111588461A CN114239070A CN 114239070 A CN114239070 A CN 114239070A CN 202111588461 A CN202111588461 A CN 202111588461A CN 114239070 A CN114239070 A CN 114239070A
- Authority
- CN
- China
- Prior art keywords
- user
- cloud server
- users
- belongs
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Storage Device Security (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种在联邦学习中移除非规则用户的隐私保护方法,属于信息安全技术领域。本发明包括不规则用户删除算法TrustIU和保护用户的敏感信息的加权聚合协议两个部分;TrustIU利用余弦相似度进行聚合,减少了不规则用户的负面影响,从而确保全局模型主要来源于高质量的数据;在TrustIU的基础上,本发明采用安全加权的定制密码协议聚合;此聚合方案通过使用双隐蔽隐私保护技术,确保了服务器只学习用户的梯度信息,而不会泄露其他隐私。本发明在具有良好的训练精度和效率的同时,对整个培训过程中对用户退出具有鲁棒性。
Description
技术领域
本发明属于信息安全技术领域,具体涉及一种在联邦学习中移除非规则用户的隐私保护方法。
技术背景
联邦学习FL(Federated learning)已经被广泛应用于语音自动识别、自动驾驶、智能医疗等各个领域。在FL中,多个用户通过交换局部计算更新来协作训练全局预测模型,而不泄露他们的私有数据集。
尽管目前存在许多保护隐私的FL协议,这我们经常忽略FL中存在威胁模型可用性的不规则用户。例如,在现实的应用中,不同的用户(包括资源有限的物联网设备和强大的云服务器)可能具有不同的收集训练样本的能力,即强大的用户通常持有高质量的数据,而其他用户(称为不规则用户)可能获得低质量的数据。在训练过程中,这些不规则用户持有低质量的数据,可能会降低收敛速度,甚至损害模型的可用性。
因此,设计一种来消除不规则用户在负面影响的方案是有必要的。据我们所知,只有少数作品同时考虑了隐私和不规则用户问题。然而,这些方案存在以下不足:1)复杂的密码算法增大了通信和计算开销;2)无法准确排除不规则用户的影响。同时这两个问题存在矛盾,即保护隐私的FL方法旨在混淆梯度,而删除不规则用户则需要访问梯度进行统计分析。
发明内容
本发明提出了一种在联邦学习中移除非规则用户的隐私保护方法,在保护用户隐私的同时,消除了非规则用户的负面影响。此外,本发明解决移除非规则用户过程中所有用户必须一直保持在线状态的问题,容忍用户在计算过程中有意或无意的退出。
本发明采用的技术方案如下:
一种在联邦学习中移除非规则用户的隐私保护方法,具体包括以下步骤:
1)密钥生成:每个用户i利用Diffie-Hellman生成技术密钥对,用作伪随机生成器的种子值,并将其公钥信息发送给云服务器;云服务器检测在线用户列表,将当前用户列表和收到的公钥信息发送给用户i的全体邻居用户;
2)生成用户参数:用户根据自己与上一轮全局梯度间的余弦距离更新个人权重,利用Shamir方法和Diffie-Hellman方法分别生成种子的子秘密和加密私钥的交换密钥,并对所有子秘密进行加密,最后将加密结果发送给云服务器;云服务器检测在线用户列表,并将收到的加密结果转发给用户i的全体邻居用户;
3)数据加密:用户首先利用Diffie-Hellman方法生成种子,接着把该种子应用在双掩码方法中对用户的梯度信息及权重信息进行加密,并将加密后数据发送给云服务器;云服务器检测在线用户列表,并将当前用户列表发送给用户i的全体邻居用户;
4)解密并计算全局梯度:用户收到云服务器发送的在线用户列表,并发送掉线用户的子秘密给云服务器。云服务器利用Shamir方法重构掉线用户参数,并用该技术对加密后数据进行解密处理,最后将收到的加密数据进行聚合运算,得到新一轮的全局梯度。
本发明具有如下特点:
1)用户和云服务器使用本发明提供的不规则用户删除算法TrustIU计算用户数据权重,实现更加准确及高效的聚合。即,用户根据服务器发送的全局梯度计算自己的权重,权重与局部模型梯度与服务器模型梯度之间的余弦距离有关。服务器根据用户权重判断用户是否为非规则用户,并消除他们的负面影响。
2)利用双掩码技术实现密文环境下高效的聚合运算和保护用户传感数据隐私的机密性;
3)利用Diffie-Hellman和Shamir技术解决所有用户必须一直保持在线状态的问题,容忍用户在计算过程中有意或无意的退出。
附图说明
图1为本实施例的系统框架示意图。
具体实施方式
如图1所示,是本发明的系统框架图,每个用户拥有本地数据集,每个用户首先利用本地数据集训练本地模型,上传模型参数。服务器根据上传的参数更新全局模型。此外,用户和云服务器使用本发明提供的不规则用户删除算法TrustIU计算用户数据权重,实现更加准确及高效的聚合。
本实施例具体包括以下步骤:
步骤1密钥生成:每个用户i利用Diffie-Hellman方法生成密钥对,用作伪随机生成器的种子值,并将其公钥信息发送给云服务器;云服务器检测在线用户列表,将当前用户列表和收到的公钥信息发送给用户i的k个邻居用户,用NG(i)表示用户i的k个邻居用户的集合。
步骤1.1用户i(i∈U)利用Diffie-Hellman方法在本地生成公私密钥对 其中U表示包含所有用户的列表,和表示用户i的公钥信息,表示用户i的私钥信息,用作认证加密AE的密钥,和用作伪随机生成器PRG的种子值。
步骤1.3云服务器检测当前用户列表为U1(|U1|≥t,U1∈U),其中t表示在线用户数的最低阈值,即如果|U1|<t,云服务器终止。
步骤2生成用户参数:用户根据自己与上一轮全局梯度间的余弦距离更新个人权重,利用Shamir方法和Diffie-Hellman方法分别生成种子的子秘密和加密私钥的交换密钥,并对所有子秘密进行加密,最后将加密结果发送给云服务器;云服务器检测在线用户列表,并将收到的加密结果转发给用户i的k个邻居用户,具体包括以下步骤:
步骤2.3用户i∈U1利用认证加密技术对产生的所有子秘密进行加密:
步骤2.5云服务器检测当前用户列表为U2(|U2|≥t,U2∈U1),即如果|U2|<t,服务器终止。
步骤3.数据加密:用户首先利用Diffie-Hellman方法生成种子,接着把该种子应用在双掩码方法中对用户的梯度信息及权重信息进行加密,并将加密后数据发送给云服务器;云服务器检测在线用户列表,并将当前用户列表发送给用户i的k个邻居用户,具体包括以下步骤:
步骤3.2用户i∈U2计算两个向量pi,j=Δi,j·PRG(si,j)和p′i,j=Δi,j·PRG(s′i,j),其中当i>j时,△i,j=-1;当i<j时,△i,j=1;当i=j时,△i,j=0。
步骤3.2对所有j∈NG(i),重复步骤3.1和步骤3.2。
步骤3.3用户i∈U2计算个人掩码pi=PRG(bi)和p′i=PRG(b′i)。
步骤3.5用户i∈U2将yi和y′i发送给云服务器。
步骤3.6云服务器检测当前用户列表为U3(|U3|≥t,U3∈U2),即如果|U3|<t,服务器终止。
步骤3.7云服务器向U2发送当前在线用户列表U3。
4)解密并计算全局梯度:用户收到云服务器发送的在线用户列表,并发送掉线用户的子秘密给服务器。服务器利用Shamir技术重构掉线用户参数,并用该技术对加密后数据进行解密处理,最后将收到的加密数据进行聚合运算,得到新一轮的全局梯度;具体包括以下步骤:
步骤4.1用户i∈U3检测当前用户列表为U3(|U3|≥t,U3∈U2),若|U3|<t,中止并重新开始步骤1。
Claims (5)
1.一种在联邦学习中移除非规则用户的隐私保护方法,其特征在于,包括以下步骤:
1)密钥生成:每个用户i利用Diffie-Hellman方法生成密钥对,用作伪随机生成器的种子值,并将其公钥信息发送给云服务器;云服务器检测在线用户列表,将当前用户列表和收到的公钥信息发送给用户i的全体邻居用户;
2)生成用户参数:用户根据自己与上一轮全局梯度间的余弦距离更新个人权重,利用Shamir方法和Diffie-Hellman方法分别生成种子的子秘密和加密私钥的交换密钥,并对所有子秘密进行加密,最后将加密结果发送给云服务器;云服务器检测在线用户列表,并将收到的加密结果转发给用户i的全体邻居用户;
3)数据加密:用户首先利用Diffie-Hellman方法生成种子,接着把该种子应用在双掩码方法中对用户的梯度信息及权重信息进行加密,并将加密后数据发送给云服务器;云服务器检测在线用户列表,并将当前用户列表发送给用户i的全体邻居用户。
4)解密并计算全局梯度:用户收到云服务器发送的在线用户列表,并发送掉线用户的子秘密给云服务器;云服务器利用Shamir方法重构掉线用户参数,并用该技术对加密后数据进行解密处理,最后将收到的加密数据进行聚合运算,得到新一轮的全局梯度。
2.如权利要求1所述的一种在联邦学习中移除非规则用户的隐私保护方法,其特征在于,步骤1密钥生成的具体步骤为:
步骤1.1.用户i(i∈U)利用Diffie-Hellman方法在本地生成公私密钥对其中U表示包含所有用户的列表,和表示用户i的公钥信息,表示用户i的私钥信息,用作认证加密AE的密钥,和用作伪随机生成器PRG的种子值;
步骤1.3.云服务器检测当前用户列表为U1(|U1|≥t,U1∈U),其中t表示在线用户数的最低阈值,当|U1|<t,云服务器终止;
3.如权利要求2所述的一种在联邦学习中移除非规则用户的隐私保护方法,其特征在于,步骤2生成用户参数的具体步骤为:
步骤2.3.用户i∈U1利用认证加密技术对产生的所有子秘密进行加密:
步骤2.5.云服务器检测当前用户列表为U2(|U2|≥t,U2∈U1),当|U2|<t,服务器终止;
4.如权利要求3所述的一种在联邦学习中移除非规则用户的隐私保护方法,其特征在于,步骤3数据加密的具体步骤为:
步骤3.2用户i∈U2计算两个向量pi,j=Δi,j·PRG(si,j)和p'i,j=Δi,j·PRG(s'i,j),其中当i>j时,△i,j=-1;当i<j时,△i,j=1;当i=j时,Δi,j=0;
步骤3.2对所有j∈NG(i),重复步骤3.1和步骤3.2;
步骤3.3用户i∈U2计算个人掩码pi=PRG(bi)和p'i=PRG(b'i);
步骤3.5用户i∈U2将yi和y'i发送给云服务器;
步骤3.6云服务器检测当前用户列表为U3(|U3|≥t,U3∈U2),当|U3|<t,服务器终止;
步骤3.7云服务器向U2发送当前在线用户列表U3。
5.如权利要求4所述的一种在联邦学习中移除非规则用户的隐私保护方法,其特征在于,步骤4数据加密的具体步骤为:
步骤4.1.用户i∈U3检测当前用户列表为U3(|U3|≥t,U3∈U2),若|U3|<t,中止并重新开始步骤1;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111588461.1A CN114239070B (zh) | 2021-12-23 | 2021-12-23 | 在联邦学习中移除非规则用户的隐私保护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111588461.1A CN114239070B (zh) | 2021-12-23 | 2021-12-23 | 在联邦学习中移除非规则用户的隐私保护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114239070A true CN114239070A (zh) | 2022-03-25 |
CN114239070B CN114239070B (zh) | 2023-07-21 |
Family
ID=80761815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111588461.1A Active CN114239070B (zh) | 2021-12-23 | 2021-12-23 | 在联邦学习中移除非规则用户的隐私保护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114239070B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684855A (zh) * | 2018-12-17 | 2019-04-26 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
CN110719158A (zh) * | 2019-09-11 | 2020-01-21 | 南京航空航天大学 | 基于联合学习的边缘计算隐私保护系统及保护方法 |
CN111552986A (zh) * | 2020-07-10 | 2020-08-18 | 鹏城实验室 | 基于区块链的联邦建模方法、装置、设备及存储介质 |
CN111563265A (zh) * | 2020-04-27 | 2020-08-21 | 电子科技大学 | 一种基于隐私保护的分布式深度学习方法 |
CN111581648A (zh) * | 2020-04-06 | 2020-08-25 | 电子科技大学 | 在不规则用户中保留隐私的联邦学习的方法 |
CN111600707A (zh) * | 2020-05-15 | 2020-08-28 | 华南师范大学 | 一种在隐私保护下的去中心化联邦机器学习方法 |
US20200358599A1 (en) * | 2019-05-07 | 2020-11-12 | International Business Machines Corporation | Private and federated learning |
CN112632620A (zh) * | 2020-12-30 | 2021-04-09 | 支付宝(杭州)信息技术有限公司 | 一种增强隐私保护的联邦学习方法和系统 |
US11017322B1 (en) * | 2021-01-28 | 2021-05-25 | Alipay Labs (singapore) Pte. Ltd. | Method and system for federated learning |
CN113051590A (zh) * | 2021-03-19 | 2021-06-29 | 华为技术有限公司 | 一种数据处理方法和相关设备 |
CN113434873A (zh) * | 2021-06-01 | 2021-09-24 | 内蒙古大学 | 一种基于同态加密的联邦学习隐私保护方法 |
CN113434898A (zh) * | 2021-05-22 | 2021-09-24 | 西安电子科技大学 | 一种非交互式的隐私保护逻辑回归联邦训练方法及系统 |
CN113505882A (zh) * | 2021-05-14 | 2021-10-15 | 深圳市腾讯计算机系统有限公司 | 基于联邦神经网络模型的数据处理方法、相关设备及介质 |
WO2021247448A1 (en) * | 2020-06-01 | 2021-12-09 | Intel Corporation | Federated learning optimizations |
-
2021
- 2021-12-23 CN CN202111588461.1A patent/CN114239070B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684855A (zh) * | 2018-12-17 | 2019-04-26 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
US20200358599A1 (en) * | 2019-05-07 | 2020-11-12 | International Business Machines Corporation | Private and federated learning |
CN110719158A (zh) * | 2019-09-11 | 2020-01-21 | 南京航空航天大学 | 基于联合学习的边缘计算隐私保护系统及保护方法 |
CN111581648A (zh) * | 2020-04-06 | 2020-08-25 | 电子科技大学 | 在不规则用户中保留隐私的联邦学习的方法 |
CN111563265A (zh) * | 2020-04-27 | 2020-08-21 | 电子科技大学 | 一种基于隐私保护的分布式深度学习方法 |
CN111600707A (zh) * | 2020-05-15 | 2020-08-28 | 华南师范大学 | 一种在隐私保护下的去中心化联邦机器学习方法 |
WO2021247448A1 (en) * | 2020-06-01 | 2021-12-09 | Intel Corporation | Federated learning optimizations |
CN111552986A (zh) * | 2020-07-10 | 2020-08-18 | 鹏城实验室 | 基于区块链的联邦建模方法、装置、设备及存储介质 |
CN112632620A (zh) * | 2020-12-30 | 2021-04-09 | 支付宝(杭州)信息技术有限公司 | 一种增强隐私保护的联邦学习方法和系统 |
US11017322B1 (en) * | 2021-01-28 | 2021-05-25 | Alipay Labs (singapore) Pte. Ltd. | Method and system for federated learning |
CN115485700A (zh) * | 2021-01-28 | 2022-12-16 | 支付宝实验室(新加坡)有限公司 | 用于联邦学习的方法和系统 |
CN113051590A (zh) * | 2021-03-19 | 2021-06-29 | 华为技术有限公司 | 一种数据处理方法和相关设备 |
CN113505882A (zh) * | 2021-05-14 | 2021-10-15 | 深圳市腾讯计算机系统有限公司 | 基于联邦神经网络模型的数据处理方法、相关设备及介质 |
CN113434898A (zh) * | 2021-05-22 | 2021-09-24 | 西安电子科技大学 | 一种非交互式的隐私保护逻辑回归联邦训练方法及系统 |
CN113434873A (zh) * | 2021-06-01 | 2021-09-24 | 内蒙古大学 | 一种基于同态加密的联邦学习隐私保护方法 |
Non-Patent Citations (3)
Title |
---|
JIEYU XU; HONGWEI LI ET.AL: ""Efficient and Privacy-Preserving Federated Learning with Irregular Users"", pages 534 - 539 * |
舒志鸿 等: ""在不平衡数据中进行高效通信的联邦学习"", vol. 31, no. 31, pages 33 - 38 * |
路宏琳等: ""一种新的参数掩盖联邦学习隐私保护方案"", 信息网络安全, vol. 21, no. 08, pages 26 - 34 * |
Also Published As
Publication number | Publication date |
---|---|
CN114239070B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108712260B (zh) | 云环境下保护隐私的多方深度学习计算代理方法 | |
CN110969431B (zh) | 区块链数字币私钥的安全托管方法、设备和系统 | |
EP3032775B1 (en) | Homomorphic cryptographic processing method and cryptographic processing device for randomized pattern matching | |
EP3046286A1 (en) | Information processing method, program, and information processing apparatus | |
JP6384314B2 (ja) | 情報処理方法、情報処理プログラムおよび情報処理装置 | |
EP3459202A1 (en) | Method and system for secure data transmission | |
US11870891B2 (en) | Certificateless public key encryption using pairings | |
CN113435592B (zh) | 一种隐私保护的神经网络多方协作无损训练方法及系统 | |
CN112084525B (zh) | 一种分布式密钥加密方法、装置、电子设备和存储介质 | |
JP7183242B2 (ja) | 格子ベースの暗号鍵生成方法及び電子署名方法 | |
CN105339995B (zh) | 解密装置、解密能力提供装置、其方法、以及记录介质 | |
CN111581648B (zh) | 在不规则用户中保留隐私的联邦学习的方法 | |
WO2017200791A1 (en) | Method and system for secure data transmission | |
CN111159727B (zh) | 一种面向多方协同的贝叶斯分类器安全生成系统及方法 | |
WO2014030706A1 (ja) | 暗号化データベースシステム、クライアント装置およびサーバ、暗号化データ加算方法およびプログラム | |
JP4450969B2 (ja) | 鍵共有システム,秘密鍵生成装置,共通鍵生成システム,暗号通信方法,暗号通信システム及び記録媒体 | |
CN114301677B (zh) | 秘钥协商方法、装置、电子设备及存储介质 | |
WO2024044837A1 (en) | Methods, devices and systems for securely transmitting and receiving data and for replenishing pre-shared keys | |
US20220038267A1 (en) | Methods and devices for secured identity-based encryption systems with two trusted centers | |
CN114205144B (zh) | 数据传输方法、装置、设备、存储介质及程序产品 | |
CN114745111B (zh) | 基于键控链式受控非和硬币算子的量子短密钥密码方法 | |
CN114239070A (zh) | 在联邦学习中移除非规则用户的隐私保护方法 | |
US20190109828A1 (en) | Data processing method, device and system, and storage medium | |
Wang et al. | Secure multi-party convex hull protocol based on quantum homomorphic encryption | |
CN114900283A (zh) | 基于多方安全计算的深度学习用户梯度聚合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |