CN110399738B - 具有隐私保护的分布式在线优化算法 - Google Patents

具有隐私保护的分布式在线优化算法 Download PDF

Info

Publication number
CN110399738B
CN110399738B CN201910680822.1A CN201910680822A CN110399738B CN 110399738 B CN110399738 B CN 110399738B CN 201910680822 A CN201910680822 A CN 201910680822A CN 110399738 B CN110399738 B CN 110399738B
Authority
CN
China
Prior art keywords
individual
privacy protection
variables
working
individuals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910680822.1A
Other languages
English (en)
Other versions
CN110399738A (zh
Inventor
汪伟
李德权
姜颖
申修宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Original Assignee
Anhui University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology filed Critical Anhui University of Science and Technology
Priority to CN201910680822.1A priority Critical patent/CN110399738B/zh
Publication of CN110399738A publication Critical patent/CN110399738A/zh
Application granted granted Critical
Publication of CN110399738B publication Critical patent/CN110399738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Abstract

本发明涉及一种具有隐私保护的分布式在线优化算法,适用于分布式网络的通信安全和数据隐私保护。该算法涉及个体权重值的分解、工作变量的交互和状态变量的更新。通过权重分解和工作变量的交互，保证个体的真实状态在交互过程中始终受到严格的隐私保护。个体对其工作变量进行Paillier同态加密，并结合子权重值，与邻居个体进行交互。在该算法中，个体产生的子权重值和私钥仅存储于个体自身，而公钥会随着加密后的工作变量传递给邻居个体。通过对自身的工作变量进行投影，得到个体的状态变量。本发明提出的具有隐私保护的分布式在线优化算法，有效的解决了个体敏感信息在分布式网络通信过程中易发生隐私泄露的问题，保证了通信安全。

Description

具有隐私保护的分布式在线优化算法
技术领域
本发明属于电子信息通信技术领域，具体涉及分布式网络中为通信个体敏感信息提供隐私保护的一种方法，包括个体权重值分解、工作变量的交互和状态变量的更新方法。
背景技术
分布式优化近年来在多智能体系统，机器学习，通讯网络和智能电网等多个领域得到了广泛的应用。近十年来,计算机系统向网络化和微型化的发展日趋明显，传统的集中式处理模型已经逐渐不能满足人们的需求,相比而言,分布式处理方案在某些方面更具有优越性。多智能体网络系统通常处于动态变化和不确定的环境下，如无人机编队控制、可再生能源系统的调度以及智能电网中的资源分配等，目前研究的多智能体分布式网络优化通常假设节点数据是静态的，且需要网络中所有节点的数据都被收集后才能进行数据处理，这种离线的优化方式导致通信代价过于高昂，在高维数据处理上，应用效果较差，有很大的局限性。
然而，大多数分布式在线优化方案都要求个体在迭代过程中向邻居个体显式地交互它们的估计(状态)。例如，在信号源定位中，节点之间的信息交流可能导致泄露彼此之间的位置信息，在安防系统中会带来很大的安全隐患。在一致性问题中，节点间需要交换彼此的信息，达成一致，节点间的信息很容易被敌对者窃听，继而对系统进行攻击
发明内容
本发明的目的是提供一种具有隐私保护的分布式在线优化算法，在保护个体隐私信息的基础上，对数据进行在线优化处理。
为解决以上技术问题，本发明采用如下的技术方案：
一种具有隐私保护的分布式在线优化算法，包括个体间权重值的分解、工作变量的交互和状态变量的更新；其特征在于：根据个体间的权重值，对其进行分解，产生各自唯一的子权重值，个体的子权重值仅存储于自身；通过Paillier同态加密对其工作变量进行加密，并结合子权重与邻居个体进行信息交互；个体对自身的工作变量进行投影操作得出状态变量，重复更新状态变量，随着迭代次数的增加，即可得出准确的优化结果。
进一步，本发明提供一种个体之间权重分解的方法，权重值wij(t)需要分解为子权重值wi→j(t)和wj→i(t)，并且满足：wij(t)＝wi→j(t)*wj→i(t)；对于产生的子状态wi→j(t)仅存储于个体i，wj→i(t)仅存储于个体j，除了个体自身外，其它个体均不可访问。
进一步，本发明提供一种在加密状态下交互工作变量的方法，通过Paillier同态加密，对个体的工作变量zi(t)进行加密得到εi(-zi(t))，密钥ksi仅存储于个体i，公钥kpi和εi(-zi(t))传递至邻居个体，结合个体的子权重进行信息交互。随着迭代次数的增加，所有个体的工作变量收敛到相同值。
进一步，本发明提供一种状态变量的更新方法，在分布式网络中，个体i通过对自身的工作变量zi(t)进行投影操作，更新状态变量xi(t)，重复更新操作,随着迭代次数的增加，最终得到准确的优化结果。
本发明与现有技术相比，其有益效果体现在：
分解产生的子权重和加密状态的工作变量，可以确保在分布式网络中，个体间的信息交互始终受到严格的隐私保护，不会造成敏感数据的泄露，对于个体的状态变量，不需要与邻居个体进行交互，同样受到严格的隐私保护，并且该优化算法的遗憾界为
Figure BDA0002144716430000021
附图说明
图1是本发明的个体权重分解的示意图。
图2是本发明的工作变量的交互示意图。
图3是本发明的状态变量的更新示意图。
具体实施方式
本发明在分布式网络中，对多个体的信息交流进行隐私保护，确保在不泄露个体真实状态的前提下，得到准确的优化结果。
具有隐私保护的分布式在线优化算法：
1.输入：个体数n,最大迭代次数T，步长参数{α(t)}
2.for t＝1,2,...,T do
3.观察局部即时损失函数ft(t)＝{fi,t(t)}，计算次梯度gi(t)
4.for Each Agent i do
5.个体i用公钥kpi将-zi(t)加密，得到εi(-zi(t))
6.个体i将εi(-zi(t))和公钥kpi传递给邻居个体j
7.个体j利用公钥kpi加密zj(t)得到εi(zj(t))
8.个体j通过Paillier加密得到：εi(zj(t)-zi(t))＝εi(zj(t))·εi(-zi(t))
9.个体j通过Paillier加密得到：
Figure BDA0002144716430000035
10.个体j将εi(wj→i(t)(zj(t)-zi(t))传递回个体i
11.个体i用私钥将εi(wj→i(t)(zj(t)-zi(t))解密，并乘上wi→j(t)，得到wij(t)(zj(t)-zi(t))
12.
Figure BDA0002144716430000031
13.
Figure BDA0002144716430000032
14.
Figure BDA0002144716430000033
15.end
16.end
该算法加密的是个体i的工作变量信息zi(t)和交互信息wj→i(t)(zj(t)-zi(t))。个体j的工作变量zj(t)并没有泄露给个体i，因为传递的交互信息为wj→i(t)(zj(t)-zi(t))，而在每次迭代中wj→i(t)仅仅为个体j所知。
以下结合附图对本发明作进一步的说明。
图1是本发明的个体权重分解的示意图。通过对个体的权重值wij(t)进行分解，得到子权重wi→j(t)和wj→i(t)。其中，wij(t)＝wi→j(t)*wj→i(t)，并且，取值范围为
Figure BDA0002144716430000034
η为常数，n为分布式网络中个体数。对于产生的子状态wi→j(t)仅存储于个体i，wj→i(t)仅存储于个体j，除了个体自身外，其它个体无法获知。
图2是本发明的工作变量的交互示意图，通过Paillier同态加密，对个体的工作变量zi(t)进行加密得到εi(-zi(t))，密钥ksi仅存储于个体i，公钥kpi和εi(-zi(t))传递至邻居个体，结合个体的子权重进行信息交互。
图3是本发明的状态变量的更新示意图，个体i通过对自身的工作变量zi(t)进行投影操作，投影步长为
Figure BDA0002144716430000041
k为常数，t为迭代次数。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (1)

1.一种具有隐私保护的分布式在线优化算法，包括个体间权重值的分解、工作变量的交互和状态变量的更新，其特征在于：个体i和个体j在时刻t的权重值wij(t)分解为子权重值wi→j(t)和wj→i(t)，wi→j(t)和wj→i(t)取值范围为
Figure FDA0003611265210000011
η为常数，n为分布式网络中个体数，并且满足：wij(t)＝wi→j(t)*wj→i(t)，wi→j(t)仅存储于个体i，wj→i(t)仅存储于个体j，除了个体自身外，其它个体均不可访问，通过Paillier同态加密，对个体的工作变量zi(t)进行加密得到εi(-zi(t))，密钥ksi仅存储于个体i，公钥kpi和εi(-zi(t))传递至邻居个体，结合个体的子权重进行信息交互，个体i通过对自身在时刻t的工作变量zi(t)进行投影操作，更新状态变量xi(t)，重复更新状态变量，随着迭代次数的增加，最终得到准确的优化结果。
CN201910680822.1A 2019-07-26 2019-07-26 具有隐私保护的分布式在线优化算法 Active CN110399738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910680822.1A CN110399738B (zh) 2019-07-26 2019-07-26 具有隐私保护的分布式在线优化算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910680822.1A CN110399738B (zh) 2019-07-26 2019-07-26 具有隐私保护的分布式在线优化算法

Publications (2)

Publication Number Publication Date
CN110399738A CN110399738A (zh) 2019-11-01
CN110399738B true CN110399738B (zh) 2022-06-24

Family

ID=68325084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910680822.1A Active CN110399738B (zh) 2019-07-26 2019-07-26 具有隐私保护的分布式在线优化算法

Country Status (1)

Country Link
CN (1) CN110399738B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415013B (zh) * 2020-03-20 2024-03-22 矩阵元技术（深圳）有限公司 隐私机器学习模型生成、训练方法、装置及电子设备
CN113312635B (zh) * 2021-04-19 2022-07-05 浙江理工大学 一种基于状态隐私保护的多智能体容错一致性方法
CN114138021B (zh) * 2021-11-29 2024-06-18 北京航空航天大学 一种有向通讯网络下多飞行器集群隐私保护系统及方法
CN115442023B (zh) * 2022-08-30 2024-03-19 大连海事大学 一种基于同态加密机制的分布式网络在线优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259158A (zh) * 2018-01-11 2018-07-06 西安电子科技大学 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN109345331A (zh) * 2018-08-21 2019-02-15 中国科学技术大学苏州研究院 一种带隐私保护的群智感知系统任务分配方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030190045A1 (en) * 2002-04-03 2003-10-09 Huberman Bernardo A. Apparatus and method for protecting privacy while revealing data
EP2709028A1 (en) * 2012-09-14 2014-03-19 Ecole Polytechnique Fédérale de Lausanne (EPFL) Privacy-enhancing technologies for medical tests using genomic data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259158A (zh) * 2018-01-11 2018-07-06 西安电子科技大学 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN109345331A (zh) * 2018-08-21 2019-02-15 中国科学技术大学苏州研究院 一种带隐私保护的群智感知系统任务分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Enabling Privacy-Preservation in Decentralized Optimization;Chunlei Zhang等;《IEEE Transactions on Control of Network Systems》;20181001;第6卷(第2期);全文 *
具有隐私保护的分布式共轭对偶梯度算法;吕净阁等;《长沙理工大学学报（自然科学版）》;20180630;第41卷(第3期);全文 *

Also Published As

Publication number Publication date
CN110399738A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110399738B (zh) 具有隐私保护的分布式在线优化算法
Li et al. DeepFed: Federated deep learning for intrusion detection in industrial cyber–physical systems
US12001569B2 (en) Model training method, model using method, system, trusted node and device
Li et al. Privacy-preserving federated learning framework based on chained secure multiparty computing
Li et al. Federated learning: Challenges, methods, and future directions
Zhang et al. Enabling privacy-preservation in decentralized optimization
Ergun et al. Sparsified secure aggregation for privacy-preserving federated learning
CN110247767A (zh) 雾计算中可撤销的属性基外包加密方法
Chen et al. PDLHR: Privacy-preserving deep learning model with homomorphic re-encryption in robot system
Erdogdu et al. Privacy-Utility Trade-Off for Time-Series with Application to Smart-Meter Data.
WO2020199784A1 (zh) 输入数据的计算方法、计算引擎及存储介质
CN115442023B (zh) 一种基于同态加密机制的分布式网络在线优化方法
Liu et al. A comprehensive privacy-preserving federated learning scheme with secure authentication and aggregation for internet of medical things
Wang et al. Federated learning‐based privacy‐preserving electricity load forecasting scheme in edge computing scenario
CN110213279B (zh) 基于隐私保护的动态网络平均共识方法
Jiang et al. On distributed optimization using generalized gossip
Yan et al. Privacy preservation of optimization algorithm over unbalanced directed graph
Farooqi et al. Differential privacy based federated learning techniques in IoMT: A review
Guo et al. Privacy-preserving multi-label propagation based on federated learning
CN110691071A (zh) 一种具有隐私保护的海量数据处理系统及方法
CN114462626A (zh) 联邦模型训练方法、装置、终端设备以及存储介质
Yang Application of Mobile Technology in Enterprise Management: From Mobile Office to Intelligent Decision Support.
Sánchez et al. A Probabilistic Trust Model and Control Algorithm to Protect 6G Networks against Malicious Data Injection Attacks in Edge Computing Environments.
Rani et al. Quantum-Secure Data Transmission in Smart Grid
Sun et al. Gradient privacy-preserving in federated learning via proxy re-encryption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant