CN115378813A - 一种基于差分隐私机制的分布式在线优化方法 - Google Patents

一种基于差分隐私机制的分布式在线优化方法 Download PDF

Info

Publication number
CN115378813A
CN115378813A CN202210969813.6A CN202210969813A CN115378813A CN 115378813 A CN115378813 A CN 115378813A CN 202210969813 A CN202210969813 A CN 202210969813A CN 115378813 A CN115378813 A CN 115378813A
Authority
CN
China
Prior art keywords
node
nodes
state
iteration
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210969813.6A
Other languages
English (en)
Other versions
CN115378813B (zh
Inventor
李莉莉
李茜
李铁山
岳伟
庹玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202210969813.6A priority Critical patent/CN115378813B/zh
Publication of CN115378813A publication Critical patent/CN115378813A/zh
Application granted granted Critical
Publication of CN115378813B publication Critical patent/CN115378813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种基于差分隐私机制的分布式在线优化方法，包括获取分布式网络中相互通信的智能体集合，将智能体集合建模为通信拓扑图，智能体视为节点，智能体之间的通信关系视为边；初始化节点状态，设置迭代次数；对于每次迭代，对于每一个节点，计算节点的可信节点邻居集，根据节点及其可信节点邻居集构建临时节点集合，获取临时节点集合中所有节点的状态最大值和最小值，根据临时节点集合及其所有节点的状态构建节点的弹性约束集；分别将弹性约束集中所有节点的节点状态加入噪声，并对加入噪声后的状态进行求和，实现隐私保护；更新节点的状态，同时生成梯度跟踪项，用恒定步长代替衰减步长，加快收敛速度。

Description

一种基于差分隐私机制的分布式在线优化方法
技术领域
本发明涉及隐私保护领域，尤其涉及一种基于差分隐私机制的分布式在线优化方法。
背景技术
随着计算机科学、人工智能等领域的蓬勃发展，网络化系统分布式优化具有极强的鲁棒性和适应性，节点之间数据共享变得越来越便捷与频繁，引发了人们对隐私泄露的担忧。同时，数据挖掘技术的高速发展，也为隐私的保护带来了新的挑战。在进行信息交互过程中，若个体状态含有隐私信息时可能会存在两个缺陷：
一、这种信息交互可能会造成参与个体的隐私泄露问题；
二、黑客容易窃取以明文信息存储或交换的数据。
为了有效解决分布式计算过程存在的缺陷，国内外学者研究了很多隐私保护算法。差分隐私(differential privacy，简称DP)，是最常见且被学术界广泛认可的隐私保护模型，它通过在状态上添加精心设计的干扰噪声来掩盖敏感信息，能够从数据源头保护隐私，近年来逐渐被接受并成为事实上的非加密数据隐私标准。起初，DP主要用于在可信数据库中查询隐私数据的结果，即改变数据库中的一条任意的数据，均可以保证输出的结果不可区分。具体来说，考虑两个仅相差一条数据的数据库，向两个数据库的查询结果中添加所设计的随机噪声，保证两个结果足够近似，从而使隐私攻击者无法判断两个数据库的区别。在DP中，发布结果的近似程度用参数e表示，其大小直接反映隐私保护强弱。在现有文献中，常用的DP保护方法包括拉普拉斯噪声扰动和高斯噪声扰动。特别地，控制和网络系统的隐私保护问题也开始使用DP技术。然而增加的噪声不可避免地会影响数据的可用性，导致隐私水平和计算精度之间的权衡。
在很多工程应用、视频推荐应用等实际应用中，由于数据中可能包含一些不能暴露的敏感信息，这些信息往往都要求不暴露出来。在前述实际应用中，可以将所求问题建模为一个分布式优化问题，分布式优化发生的场景可能是动态的。譬如，在动态目标跟踪问题中，由目标位置、速度以及加速度等信息决定的目标函数往往随着时间的推移而改变，并且这些改变是无法预知的，因此传统的分布式离线优化算法无法处理此类动态问题，需使用分布式在线算法解决此问题，而现有分布式的在线优化算法中往往存在节点之间信息会暴露的问题。因此，在每个智能体希望保持隐私的情况下，为了解决智能体的隐私性问题，可采用DP机制。
近年来，一些工作集中于分布式优化问题，其代价函数是非时变的。值得注意的是，在目前许多实际应用场景中，为适应实际需要，代价函数是要求随时间变化的。综上所述，在动态环境中，由于节点之间的状态信息直传导致的节点隐私暴露问题。传统差分隐私的分布式在线优化算法由于使用衰减步长而导致收敛速度较慢。
发明内容
本发明提供一种基于差分隐私机制的分布式在线优化方法，以克服上述技术问题。
一种基于差分隐私机制的分布式在线优化方法，包括
S1、获取分布式网络中相互通信的智能体集合，将具有通信关系的智能体集合建模为由节点和边组成的通信拓扑图G，G＝(V，E)，智能体为节点，V＝{1，2，...，n}代表节点的集合，将V划分为普通节点集合Vn、可信节点集合Vt、恶意节点集合Va，智能体之间的通信关系为边，E＝{(i，j)|i，j∈V}表示通信边的集合，(i，j)表示智能体i与智能体j相互通信；
S2、各智能体分别根据当前时刻需进行通信的数据更新节点的状态，节点i的状态表示为wi(1)，i∈V，节点i的状态用于表示智能体i待进行通信的数据，设置迭代次数为T，[T]为整数集合{1，....，T}，当前迭代次数为t，t＝1；
S3、对于第t次迭代，t∈[T]，对于V中每一个节点i，计算节点i的可信节点邻居集，根据节点i及其可信节点邻居集的状态构建节点i的弹性约束集；
S4、将节点i的弹性约束集中所有节点的状态增加噪声，并计算增加噪声后所有节点状态的总和；
S5、更新节点i的状态，同时生成梯度跟踪项；
S6、令t＝t+1，若t不等于T，则返回执行S3，若t等于T，迭代结束，将节点i的状态更新为第i个智能体待通信的数据，第i个智能体根据待通信的数据进行通信，分别计算各个节点的遗憾，根据节点的遗憾判断优化程度。
优选地，所述S3包括对于第t次迭代，t∈[T]，对于V中每一个节点i，计算节点i的可信节点邻居集Ti,Ti＝Ni∩Vt，Ni为与节点i相邻的所有节点集合，所述与节点i相邻是指两个节点之间有一条边，根据节点i及其可信节点邻居集构建临时节点集合P，即P＝Ti∪{i}，获取临时节点集合P中所有节点的状态最大值wMi(t)和最小值wmi(t)，根据临时节点集合P及P中所有节点的状态构建节点i的弹性约束集Si(t)，Si(t)＝j∈Ti∪{i}|wmi(t)≤wj(t)≤wMi(t)，wj(t)表示节点j的状态。
优选地，所述S4包括分别将Si(t)中所有节点的节点状态wj(t)加入噪声σj(t)，对于Si(t)中的所有节点，根据公式(1)对加入噪声后的状态进行求和并表示为bi(t)，
Figure BDA0003796119760000031
其中，σj(t)为Laplace噪声，服从w位置参数为0、尺度参数为u的Laplace分布Lap(u)。
优选地，所述S5包括根据公式(2)更新节点i的状态，根据公式(3)生成梯度跟踪项yi(t)，
Figure BDA0003796119760000032
Figure BDA0003796119760000033
其中，
Figure BDA0003796119760000034
|Si(t)|表示Si(t)中节点的数量，αt表示迭代步长，
Figure BDA0003796119760000035
为梯度，pΩ(·)为Ω上的投影算子，Ω是wmi(t)的定义域。
优选地，所述计算各个节点的遗憾包括根据公式(4)进行计算，
Figure BDA0003796119760000041
Figure BDA0003796119760000042
Figure BDA0003796119760000043
其中，ft i(·)为第t轮迭代时节点i的代价函数，n0为临时节点集合P中节点的数量，xi(t)＝wi(t)。
本发明提供一种基于差分隐私机制的分布式在线优化方法，通过对状态变量加入拉斯噪声达到隐私保护效果，利用梯度跟踪技术使得方法的步长为恒值，克服衰减步长带来的收敛速度较慢的问题，达到加快收敛速度的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法流程图；
图2是本发明方法具体执行流程；
图3是本发明通信拓扑图；
图4是本发明方法梯度跟踪项影响效果；
图5是本发明噪声对带梯度跟踪方法影响效果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明方法流程图，如图1所示，本实施例可以包括：
基于多智能体网络中智能体之间的局部通信协议，通常将参与通信，计算以及决策的节点视为智能体，每个智能体有仅自己知道的代价函数。智能体间的通信关系通常被建模成由节点和边组成的通信拓扑图。网络中每个智能体被视为图中的一个节点，而智能体间的局部通信关系对应图中有方向的边。
S1、获取分布式网络中相互通信的智能体集合，将具有通信关系的智能体集合建模为由节点和边组成的通信拓扑图G，G＝(V，E)，智能体为节点，V＝{1，2，...，n}代表节点的集合，将V划分为普通节点集合Vn、可信节点集合Vt、恶意节点集合Va，智能体之间的通信关系为边，E＝{(i，j)|i，j∈V}表示通信边的集合，(i，j)表示智能体i与智能体j相互通信；
Figure BDA0003796119760000051
表示由V0中所有节点组成的拓扑图的邻接矩阵，其中aij表示边(i，j)的权重，且对于标量0＜H＜1，当且仅当(i，j)∈E时，H≤aij＜1，否则aij＝0，标量H为存在的一个常数，用于说明aij存在一个下界。
称Φ(T，t)为状态转移矩阵，即Φ(T，t)＝A(T)×A(T-1).....×A(t)。t为当前迭代轮次，T为最终迭代的总轮次。
对所有i，j∈V，(i，j)∈E当且仅当(j，i)∈E，则称图G是无向图，否则称G是有向图。此外，若(j，i)∈E，则称节点j为节点i的一个内邻居，而称节点i为节点j的一个外邻居。
记
Figure BDA0003796119760000052
和
Figure BDA0003796119760000053
分别表示节点i的所有内邻居和所有外邻居所构成的集合，显然，对于无向图有
Figure BDA0003796119760000054
此时
Figure BDA0003796119760000055
和
Figure BDA0003796119760000056
可统称为Ni。
另外，记
Figure BDA0003796119760000057
和
Figure BDA0003796119760000058
分别表示节点i的入度和出度，其定义分别为
Figure BDA0003796119760000059
和
Figure BDA00037961197600000510
即
Figure BDA00037961197600000511
则称该图为权平衡图，否则称图G为权非平衡图。显然，无向图通常是权平衡图，而有向图则不一定。在有向图G中，从节点j到节点i的一条有向路是形如{(j，j1)，(j1，j2)，....，(js，i)}的有向边序列，其中(j，j1)，(j1，j2)，…，(js，i)∈E。若有向图G的任意两个节点间都存在一条有向路，则称图G为强联通。若无向图满足上述条件，则称其为连通图。
给定两个数据集D＝{w1，....，wn}和D′＝{w′1，....，w′n}，如果存在i，j∈{1，....，n}，xi≠x′i且对所有j≠i，xi＝x′i则称数据集D与D′邻近。用Adj(D,D′)表示两个数据集D与D′的临近关系。
用R表示差分隐私分布式在线优化算法，给定ε＞0，Ω是节点迭代的输出集，如果满足P[R(Dt)∈Ω]≤eεP[R(Dt′)∈Ω]，表示算法R就是可以保证ε-DP的算法，即对于相似的输入不会产生明显差异的输出，从而确保恶意节点难以从多次窃听中推测出敏感信息，ε越小表示隐私保护级别越高，P为将R(Dt)投影到区间Ω，Dt表示随时间变化的数据集，Ω为约束区间。ε为度量算法可实现的隐私保护水平的量。
Figure BDA0003796119760000061
其中Dt和D′t为在t轮的输入数据集。
Q(t)为敏感度，敏感度表示数据集带来的输出到底有多大的差别，一个具有高敏感度的算法往往需要更大幅度的噪声来维持隐私。但较大的噪声又会使得系统性能变差。
S2、各智能体分别根据当前时刻需进行通信的数据更新节点的状态，节点i的状态表示为wi(1)，i∈V，节点i的状态用于表示智能体i待进行通信的数据，设置迭代次数为T，[T]为整数集合{1，....，T}，当前迭代次数为t，t＝1；
S3、对于第t次迭代，t∈[T]，对于V中每一个节点i，计算节点i的可信节点邻居集Ti,Ti＝Ni∩Vt，Ni为与节点i相邻的所有节点集合，所述与节点i相邻是指两个节点之间有一条边，根据节点i及其可信节点邻居集构建临时节点集合P，即P＝Ti∪{i}，获取临时节点集合P中所有节点的状态最大值wMi(t)和最小值wmi(t)，根据临时节点集合P及P中所有节点的状态构建节点i的弹性约束集Si(t)，Si(t)＝j∈Ti∪{i}|wmi(t)≤wj(t)≤wMi(t)，wj(t)表示节点j的状态,弹性约束集即可信节点用于生成过滤恶意节点信息的约束集合；
S4、分别将Si(t)中所有节点的节点状态wj(t)加入噪声σj(t)，对于Si(t)中的所有节点，根据公式(1)对加入噪声后的状态进行求和并表示为bi(t)，
Figure BDA0003796119760000071
其中，σj(t)为Laplace噪声，服从w位置参数为0、尺度参数为u的Laplace分布Lap(u)；
S5、根据公式(2)更新节点i的状态，根据公式(3)生成梯度跟踪项yi(t)，
Figure BDA0003796119760000072
Figure BDA0003796119760000073
其中，
Figure BDA0003796119760000074
|Si(t)|表示Si(t)中节点的数量，αt表示迭代步长，
Figure BDA0003796119760000075
为梯度，pΩ(·)为Ω上的投影算子，Ω是wmi(t)的定义域；
S6、令t＝t+1，若t不等于T，则返回执行S3，若t等于T，迭代结束，将节点i的状态更新为第i个智能体待通信的数据，第i个智能体根据待通信的数据进行通信，分别计算各个节点的遗憾，根据节点的遗憾判断优化程度。
所述计算各个节点的遗憾根据公式(4)进行计算，
Figure BDA0003796119760000076
Figure BDA0003796119760000077
Figure BDA0003796119760000078
其中，ft i(·)为第t轮迭代时节点i的代价函数，n0为临时节点集合P中节点的数量，xi(t)＝wi(t)。
在任意一轮迭代，节点i利用历史迭代的节点信息做出决策，更新其定义域Ω内的状态xi(t)，该状态决定后，当前时刻的目标函数才被揭示，所以对于每次迭代t∈[T]，其中[T]为整数集合{1，....，T}。局部代价函数
Figure BDA0003796119760000079
在xi(t)∈Ω确定后才可知，在每一轮迭代节点之间的信息相互交流，目标是解决优化问题(7)，使得经过所有迭代之后代价最小，
Figure BDA00037961197600000710
其中，ft i(·)为第t轮迭代时节点i的代价函数。
在线优化算法的性能通常可以用遗憾来衡量，具体定义如(8)所示(属于节点i的遗憾)，
Figure BDA0003796119760000081
如算法满足
Figure BDA0003796119760000082
则该在线算法有效，其中xi(t)∈Ω，T是的迭代总数，对于每次迭代t∈[T]，局部代价函数
Figure BDA0003796119760000083
在xi(t)∈Ω确定后才可知，
Figure BDA0003796119760000084
x*为分布式优化问题最终的节点状态收敛的最优值。
本实施例针对的算法为抗拜占庭攻击的弹性在线分布式优化算法(ResilientOnline Distributed Optimization Algorithm against Byzantine Attacks,RODO-T)，在这种攻击下，目标问题变为(9)和(10)，
Figure BDA0003796119760000085
Figure BDA0003796119760000086
由于节点只能计算自己的噪声梯度，而噪声梯度是一种随机变量。因此，节点的其他变量也是随机变量。所以，采用期望遗憾作为算法有效性的判断依据，其定义如下：
Figure BDA0003796119760000087
其中ψ(·)代表期望，期望遗憾越小表示优化程度越高。
本实施例的方法具体流程如图2所示，包括，根据环境揭示自身节点函数，并在自身状态中加入噪声，相邻正常节点的变量利用恶意节点特性形成抗攻击区间，节点根据当前迭代与上一时刻迭代轮次的梯度生成梯度跟踪项，根据当前节点状态与隐私等级要求生成敏感度大小，利用梯度跟踪处理梯度，计算出节点下次迭代的变量值，判断是否满足遗憾条件，若满足，则输出节点信息，若不满足，则再次循环执行上述流程。
最后，通过数值结果研究本方法的有效性。考虑由三个敌对节点、三个可信节点和两个普通节点组成的网络。将这些节点标记为1～8，其通信图如图3所示。每个节点的局部代价函数定义为
Figure BDA0003796119760000088
恶意节点的其状态更新规则为x6(t)＝3sin(t)，x7(t)＝3cos(t)，x8(t)＝3.5。从Ω中选择正常和可信节点的初始值，给定x的约束区间为Ω＝[0，10]，从中随机选择初始状态。图4展示了所提方法的梯度跟踪项对遗憾产生的影响。明显地，带梯度跟踪且步长为常值项的方法相比无梯度跟踪项且步长为衰减项时收敛速度快。明显地，带梯度跟踪且步长为常值项的方法相比无梯度跟踪项且步长为衰减项时收敛速度快。这是由于迭代次数较小时，步长对收敛速度影响较大，方法步长为常值相比步长随时间衰减时的收敛速度明显变快。随着迭代次数增大，方法有无梯度跟踪项均可收敛到最优值，是由于梯度跟踪项克服了常值步长导致的遗憾快速增大，使得其遗憾的增长速率仍低于无梯度跟踪项时的方法。图5展示了方法在不同隐私保护程度下迭代过程中产生的遗憾。明显地，不加入噪声时方法的遗憾收敛速度最快，随着隐私级别的上升需要的噪声也越来越多。同时隐私级别的上升会导致需要的噪声也越来越多，这样导致方法的遗憾在非隐私的曲线上逐级升高。
整体的有益效果：本发明提供一种基于差分隐私机制的分布式在线优化方法，通过对状态变量加入拉斯噪声达到隐私保护效果，利用梯度跟踪技术使得方法的步长为恒值，克服衰减步长带来的收敛速度较慢的问题，达到加快收敛速度的效果，给出步长与隐私保护级别对遗憾界的影响，仿真实验证明梯度跟踪项的有效性和不同隐私保护程度对遗憾界的影响。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于差分隐私机制的分布式在线优化方法，其特征在于，包括
S1、获取分布式网络中相互通信的智能体集合，将具有通信关系的智能体集合建模为由节点和边组成的通信拓扑图G，G＝(V，E)，智能体为节点，V＝{1，2，...，n}代表节点的集合，将V划分为普通节点集合Vn、可信节点集合Vt、恶意节点集合Va，智能体之间的通信关系为边，E＝{(i，j)|i，j∈V}表示通信边的集合，(i，j)表示智能体i与智能体j相互通信；
S2、各智能体分别根据当前时刻需进行通信的数据更新节点的状态，节点i的状态表示为wi(1)，i∈V，节点i的状态用于表示智能体i待进行通信的数据，设置迭代次数为T，[T]为整数集合{1，....，T}，当前迭代次数为t，t＝1；
S3、对于第t次迭代，t∈[T]，对于V中每一个节点i，计算节点i的可信节点邻居集，根据节点i及其可信节点邻居集的状态构建节点i的弹性约束集；
S4、将节点i的弹性约束集中所有节点的状态增加噪声，并计算增加噪声后所有节点状态的总和；
S5、更新节点i的状态，同时生成梯度跟踪项；
S6、令t＝t+1，若t不等于T，则返回执行S3，若t等于T，迭代结束，将节点i的状态更新为第i个智能体待通信的数据，第i个智能体根据待通信的数据进行通信，分别计算各个节点的遗憾，根据节点的遗憾判断优化程度。
2.根据权利要求1所述的一种基于差分隐私机制的分布式在线优化方法，其特征在于，所述S3包括对于第t次迭代，t∈[T]，对于V中每一个节点i，计算节点i的可信节点邻居集Ti，Ti＝Ni∩Vt，Ni为与节点i相邻的所有节点集合，所述与节点i相邻是指两个节点之间有一条边，根据节点i及其可信节点邻居集构建临时节点集合P，即P＝Ti∪{i}，获取临时节点集合P中所有节点的状态最大值wMi(t)和最小值wmi(t)，根据临时节点集合P及P中所有节点的状态构建节点i的弹性约束集Si(t)，Si(t)＝j∈Ti∪{i}|wmi(t)≤wj(t)≤wMi(t)，wj(t)表示节点j的状态。
3.根据权利要求2所述的一种基于差分隐私机制的分布式在线优化方法，其特征在于，所述S4包括分别将Si(t)中所有节点的节点状态wj(t)加入噪声σj(t)，对于Si(t)中的所有节点，根据公式(1)对加入噪声后的状态进行求和并表示为bi(t)，
Figure FDA0003796119750000021
其中，σj(t)为Laplace噪声，服从w位置参数为0、尺度参数为u的Laplace分布Lap(u)。
4.根据权利要求3所述的一种基于差分隐私机制的分布式在线优化方法，其特征在于，所述S5包括根据公式(2)更新节点i的状态，根据公式(3)生成梯度跟踪项yi(t)，
Figure FDA0003796119750000022
Figure FDA0003796119750000023
其中，
Figure FDA0003796119750000024
|Si(t)|表示Si(t)中节点的数量，at表示迭代步长，
Figure FDA0003796119750000025
为梯度，pΩ(·)为Ω上的投影算子，Ω是wmi(t)的定义域。
5.根据权利要求1所述的一种基于差分隐私机制的分布式在线优化方法，其特征在于，所述计算各个节点的遗憾包括根据公式(4)进行计算，
Figure FDA0003796119750000026
Figure FDA0003796119750000027
Figure FDA0003796119750000028
其中，
Figure FDA0003796119750000029
为第t轮迭代时节点i的代价函数，n0为临时节点集合P中节点的数量，xi(t)＝wi(t)。
CN202210969813.6A 2022-08-12 2022-08-12 一种基于差分隐私机制的分布式在线优化方法 Active CN115378813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210969813.6A CN115378813B (zh) 2022-08-12 2022-08-12 一种基于差分隐私机制的分布式在线优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210969813.6A CN115378813B (zh) 2022-08-12 2022-08-12 一种基于差分隐私机制的分布式在线优化方法

Publications (2)

Publication Number Publication Date
CN115378813A true CN115378813A (zh) 2022-11-22
CN115378813B CN115378813B (zh) 2023-08-15

Family

ID=84066560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210969813.6A Active CN115378813B (zh) 2022-08-12 2022-08-12 一种基于差分隐私机制的分布式在线优化方法

Country Status (1)

Country Link
CN (1) CN115378813B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028727A (zh) * 2023-03-30 2023-04-28 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116090014A (zh) * 2023-04-07 2023-05-09 中国科学院数学与系统科学研究院 一种面向智能电网的差分隐私分布式随机优化方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278571A (zh) * 2019-06-21 2019-09-24 东北大学秦皇岛分校 一种基于简单预测-校正环节的分布式信号跟踪方法
CN112583633A (zh) * 2020-10-26 2021-03-30 东北大学秦皇岛分校 一种基于粗糙信息的有向多智能体网络的分布式优化方法
CN114818257A (zh) * 2022-03-11 2022-07-29 北京航空航天大学杭州创新研究院 一种具有隐私保护作用的智能微网分布式动态跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278571A (zh) * 2019-06-21 2019-09-24 东北大学秦皇岛分校 一种基于简单预测-校正环节的分布式信号跟踪方法
CN112583633A (zh) * 2020-10-26 2021-03-30 东北大学秦皇岛分校 一种基于粗糙信息的有向多智能体网络的分布式优化方法
CN114818257A (zh) * 2022-03-11 2022-07-29 北京航空航天大学杭州创新研究院 一种具有隐私保护作用的智能微网分布式动态跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LILI LI, ET AL.: "Resilient online distributed optimization algorithm against Byzantine attacks", IEEE *
吕净阁;李德权;: "具有隐私保护的分布式共轭对偶梯度算法", 长春理工大学学报(自然科学版), no. 03 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028727A (zh) * 2023-03-30 2023-04-28 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116028727B (zh) * 2023-03-30 2023-08-18 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116090014A (zh) * 2023-04-07 2023-05-09 中国科学院数学与系统科学研究院 一种面向智能电网的差分隐私分布式随机优化方法及系统
CN116090014B (zh) * 2023-04-07 2023-10-10 中国科学院数学与系统科学研究院 一种面向智能电网的差分隐私分布式随机优化方法及系统

Also Published As

Publication number Publication date
CN115378813B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN115378813A (zh) 一种基于差分隐私机制的分布式在线优化方法
Yi et al. Asynchronous distributed algorithms for seeking generalized Nash equilibria under full and partial-decision information
Yan et al. Resilient output regulation in heterogeneous networked systems under Byzantine agents
CN112668044B (zh) 面向联邦学习的隐私保护方法及装置
Liu et al. A stochastic evolutionary coalition game model of secure and dependable virtual service in sensor-cloud
Liu et al. Cooperative stabilization of a class of LTI plants with distributed observers
CN112749392A (zh) 一种联邦学习中异常节点的检测方法及系统
WO2023035691A1 (zh) 一种数据处理方法、系统、存储介质及电子设备
Ming et al. Mixed H 2/H∞ control with dynamic event-triggered mechanism for partially unknown nonlinear stochastic systems
Lü et al. Event-triggered discrete-time distributed consensus optimization over time-varying graphs
Wu et al. RNN-K: A reinforced Newton method for consensus-based distributed optimization and control over multiagent systems
CN114851198A (zh) 一种多单连杆式机械臂的一致跟踪固定时间稳定控制方法
Guo et al. Event-based resilient distributed estimation under multiple heterogeneous cyber-attacks
Meng et al. Consensus of second-order multi-agent systems under unknown but bounded measurement noises
Mousavi et al. A distributed FDI cyber-attack detection in discrete-time nonlinear multi-agent systems using neural networks
Xu et al. Observer-based event-triggered circle formation control for first-and second-order multiagent systems
Gao et al. Privacy-preserving dynamic average consensus via random number perturbation
Hien et al. Exponential stability of positive neural networks in bidirectional associative memory model with delays
Jithish et al. Towards ensuring trustworthiness in cyber-physical systems: A game-theoretic approach
CN115442023A (zh) 一种基于同态加密机制的分布式网络在线优化方法
Fioravanti et al. Private consensus using chaotic oscillator-based encryption
Rezvani et al. A collaborative reputation system based on credibility propagation in wsns
CN116226897A (zh) 一种结合训练损失和隐私损失的改进Prim区块链网络传输优化方法
Michalek et al. Federated learning on android-highlights from recent developments
Li et al. The design of distributed filtering based on lattice rule

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant