CN110458293B - 一种优化网络延迟的分布式admm机器学习方法 - Google Patents

一种优化网络延迟的分布式admm机器学习方法 Download PDF

Info

Publication number
CN110458293B
CN110458293B CN201910410046.3A CN201910410046A CN110458293B CN 110458293 B CN110458293 B CN 110458293B CN 201910410046 A CN201910410046 A CN 201910410046A CN 110458293 B CN110458293 B CN 110458293B
Authority
CN
China
Prior art keywords
node
bridge
nodes
network
working
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910410046.3A
Other languages
English (en)
Other versions
CN110458293A (zh
Inventor
曾帅
王爽胜
张毅
周瑜民
肖俊
张烨
赵国峰
段洁
刘亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910410046.3A priority Critical patent/CN110458293B/zh
Publication of CN110458293A publication Critical patent/CN110458293A/zh
Application granted granted Critical
Publication of CN110458293B publication Critical patent/CN110458293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明请求保护一种优化网络延迟的分布式ADMM机器学习方法。一个凸优化问题可以分解成许多子凸优化问题，每个子凸优化问题可以通过ADMM算法在对应的子节点解决。针对基于桥节点和工作节点的分布式ADMM算法的整体运行速度受限于网络连接延迟的影响，本发明提出了一种优化网络延迟的分布式ADMM机器学习算法，即在进行ADMM迭代运算前，考虑网络延迟的影响，动态地规划桥节点的位置以及个数，在相当程度上可以克服网络延迟、动态性、拓扑形态、带宽限制、数据分布化存储等网络特性对算法性能造成的影响。

Description

一种优化网络延迟的分布式ADMM机器学习方法
技术领域
本发明属于一种优化网络延迟的分布式ADMM机器学习方法，涉及到凸优化 问题的分布式求解。
背景技术
分布式优化问题可以应用于各种网络，如无线传感器网络，电网，数据中 心机器集群和机器主板上的芯片。在这样的网络中，在实现全局优化目标的同 时，分布式优化有助于节省通信带宽和能量，这是网络中的稀缺资源。
在基于数据的应用程序的特殊情况下，由于来自互联网的大规模数据的可 用性，一台机器无法存储所有数据，并且数据分布在多台机器上。由于传输如 此大量的数据会产生很高的通信成本，甚至可能不可行。因此建议使用分布式 优化算法在本地机器上执行优化。更具体地说，我们将专注于解决优化问题， 其中目标函数由具有其的可分离凸函数的和，每个凸函数都有其对应的一组约束。
解决此类问题的一类方法是子梯度方法，其中节点使用其目标函数的子梯 度和来自其相邻节点的最新迭代来计算其迭代。对于这些方法的收敛率为
Figure SMS_1
其中k为迭代次数。另一类方法涉及交替解决原始和对偶问题。最常见的是交 替方向乘子法(ADMM)。其收敛速度为/>
Figure SMS_2
与子梯度方法相比，ADMM算法与迭 代次数的收敛速度更快。ADMM和子梯度方法之间的一个区别是使用求解原始和 前者交替出现双重问题。ADMM算法可用于各种领域，如图像处理，机器学习， 大规模数据处理，广域网等应用。它特别适用于需要在不同机器上以分散方式解决优化问题的应用。
在常规ADMM算法中，存在一个主节点，主节点与工作节点进行通信，但工 作节点节点不相互通信。在这种情况下，一个节点的失败或它的回复延迟都会 降低整个算法的速度。
为了缓解这个问题，算法以并行和分布式方式执行计算，其中网络中的一 组节点充当主节点并且其相邻节点充当工作节点。这些主节点称为桥节点，桥 节点与其相邻的工作节点进行通信，但工作节点仅与桥节点进行通信，这样节 省了网络开销。本发明针对网络链路中的延迟和故障对上述分布式算法的影响， 提出了一种优化网络延迟的分布式ADMM机器学习算法。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种使分布式ADMM算法更加 适应网络连接延迟的影响的优化网络延迟的分布式ADMM机器学习方法。本发明 的技术方案如下：
一种优化网络延迟的分布式ADMM机器学习方法，其针对ad-hoc网络将凸 优化问题分解成子凸优化问题进行求解，为得到凸优化问题的全局最优解，机 器学习方法包括以下步骤：
针对网络延迟对基于桥节点和工作节点的分布式ADMM算法运行时间的影响， 对网络节点进行初始化，并根据网络中节点连接延迟的情况，动态地规划桥节 点的位置和个数。
进一步的，在ad-hoc网络中，设网络中有J个节点，定义节点j的邻居节 点为Nj，目标是根据在节点j处的到的观察值
Figure SMS_3
估计一个Rp×1向量s； Lj表示xj的维数，/>
Figure SMS_4
表示Lj维列向量的集合，xj表示在第j个节点得到的数据， p表示p维，Rp×1表示p维列向量的集合，即表示向量s是一个p维的列向量；
Figure SMS_5
表示在节点j针对xj的 目标优化函数；
引入一个辅助变量sj并以下列方式表示问题。
Figure SMS_6
Subject to：
Figure SMS_7
Figure SMS_8
表示网络中所有桥节点都拥有的本地向量，B表示网络中的所有桥节点的集合，b表示网络中的桥节点b，Nb表示与桥节点b相邻的所 有工作节点的集合；
Figure SMS_9
是桥节点的集合，其拥有本地向量/>
Figure SMS_10
针对上述优化问题的拉格 朗日表达式如下：
Figure SMS_11
其中
Figure SMS_12
是一个大于0的常量，v 表示网络上所有/>
Figure SMS_13
的集合，/>
Figure SMS_14
表示针对节点j与所对应的桥节点b的拉格朗日乘 子，cj表示为节点j所对应的拉格朗日惩罚系数，/>
Figure SMS_15
表示表示网络中所有桥节点 都拥有的本地向量，针对上述优化问题采用基于桥节点和工作节点的分布式 ADMM算法进行求解。
进一步的，所述对网络节点进行初始化具体包括步骤：对于节点i，如果其 相邻的节点中存在桥节点，则将节点i设置为工作节点，如果与节点i相邻的 所有节点中没有桥节点，则将节点i设置为桥节点。
进一步的，为保证分布式算法的收敛性，针对网络中工作节点j，如果工作 节点j与其相邻的工作节点间不存在共同的桥节点，就将工作节点j设置为与 其相邻的工作节点的桥节点。
进一步的，定义如下参数：
latencybridge(b)：节点i与和节点i相邻的第b个相邻的桥节点之间的延迟；
B(i)：与节点i相邻的所有桥节点的集合；
NB(b,i)：表示与节点i相邻的节点中，同时与和节点i相邻的第b个相邻的桥节点相邻的节点；
SNB(b,i)：集合NB(b,i)中节点的个数；
Lmax(i)：表示与节点i相邻的所有节点到节点i的延迟中的最大值；
Lmax(j)：表示在NB(b,i)中的第j个节点，与第j个节点相邻的所有节点中到 第j个节点的最大值；
min LmaxNeigh(i)：与节点i相邻的所有节点中的Lmax值中的最小值；
Lmaxno-bridge(i)：表示与节点i相连的所有工作节点到节点i的延迟的最大值；
所述针对网络延迟，动态地规划桥节点的位置和个数具体包括以下步骤： 遍历与节点i相连的所有桥节点，首先判断latencybridge(b)是否大于允许的最大延 迟并且
Figure SMS_16
如果成立，则判断节点i是否为桥节点，如果节点i是桥 节点，则将B(i)中第b个桥节点移除；如果节点i不是桥节点则判断Lmaxno-bridge(i) 是否小于min LmaxNeigh(i)，如果成立，则将节点i设置为桥节点，并告知其所有 与节点i相连的节点，并将B(i)中第b个桥节点移除；如果不成立则遍历NB(b,i) 中的所有节点，判断以下一组条件是否同时满足：
Lmaxno-bridge(i)>＝Lmax(j)，
Lmax(j)<latencybridge(b)
Lmax(j)<latencylimit，
SNB(b,i)>0，如果同时满足将NB(b,i)中的第j个节点设置为桥节点。
进一步的，所述ADMM的迭代算法具体包括以下步骤：首先进行初始化工作， 即对
Figure SMS_19
赋初值以及设定最大迭代次数，然后判断迭代次数是否超过最大迭 代次数，没有超过就进行迭代运算：工作节点接收到来自其桥节点的/>
Figure SMS_21
并 结合本地的sj(k)和
Figure SMS_25
通过迭代公式/>
Figure SMS_18
得到 更新值/>
Figure SMS_22
得到更新值/>
Figure SMS_24
后通过迭代公式/>
Figure SMS_26
得到更新值sj(k+1)，然后工作节点将sj(k+1) 给对应的桥节点，桥节点根据迭代公式
Figure SMS_17
得到 更新值/>
Figure SMS_20
并将/>
Figure SMS_23
发送给对应的工作节点；
当迭代次数超过最大迭代次数时停止迭代计算，得到
Figure SMS_27
的近似最优解。
本发明的优点及有益效果如下：
由于基于桥节点与工作节点的ADMM优化算法仅依赖于相邻节点之间的通信， 较集中式算法更加节能，同时针对高延迟网络，本算法根据网络中节点连接延 迟的情况，动态地规划桥节点的位置和个数。本算法在相当程度上可以克服网 络延迟、动态性、拓扑形态、带宽限制、数据分布化存储等网络特性对算法性能造成的影响。
附图说明
图1是本发明提供优选实施例针对ad-hoc的网络拓扑图；
图2为桥节点初始化的第一算法流程图；
图3为桥节点初始化的第二算法流程图；
图4为桥节点动态规划的算法流程图；
图5为ADMM算法的迭代运算流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明实现解决上述技术问题的技术方案如下：针对优化问题，其目标函 数由具有可分离凸函数的和组成，每个凸函数都有其对应的一组约束。本发明 通过基于桥节点和工作节点的分布式ADMM算法求解凸优化问题的优化解，同时 考虑到网络连接延迟对算法的影响，本发明对基于桥节点和工作节点的分布式 ADMM算法中的桥节点位置进行了动态规划，使分布式ADMM算法更加适应网络连接延迟的影响。
针对ad-hoc无线传感器网络，设网络中有j个节点。我们定义其邻居节点为 Nj，由于节点连接是对称的，节点i能与节点j通信，则节点j也能与节点i通信， 我们的目标是根据在节点j处得到的观察值
Figure SMS_28
估计一个Rp×1向量s。Lj表示xj的维数。/>
Figure SMS_29
表示Lj维列向量的集合，xj表示在第j个节点得到的数据， p表示p维，Rp×1表示p维列向量的集合(即表示向量s是一个p维的列向量)，
Figure SMS_30
表示在节点j针对xj的 目标优化函数，
本发明提出分散迭代算法，仅使用单跳通信来解决上述优化问题。我们做 出以下两个假设，这将有助于我们以分散的方式解决问题。
假设1：节点的通信图是连接的。有一条连接任意两个节点的路径。
假设2：函数fj(xj；s)相对网络参数是凸的。
假设1确保网络连接，这反过来确保所有观察都用于计算最优解。假设2 确保对全局问题存在唯一的最优解，并且全局问题是严格凸的。本算法引入一 个辅助变量sj：
Figure SMS_31
Subject to：
Figure SMS_32
Figure SMS_33
表示网络中所有桥节点都拥有的本地向量(这一点是为了保证分布式算法的收敛性)，B表示网络中的所有桥节点的集合，b表示网络 中的桥节点b，Nb表示与桥节点b相邻的所有工作节点的集合，
Figure SMS_34
是桥节点的集合，其拥有本地向量/>
Figure SMS_35
这些向量有助于保持相邻节 点之间的一致性。桥节点与它们各自相邻的工作节点通信。它们将sb的值传递 给其工作节点，并从其工作节点接收xj的值。网络中的每个节点具有作为桥节 点的邻居，并且网络中的任何一对节点共享桥节点。本算法收敛必须满足以下 条件：
条件1：网络中的每个节点必须有一个桥节点。
条件2：任何一对单跳相邻节点必须共享一个桥节点。
可以写出等式上述优化问题的的拉格朗日函数如下：
Figure SMS_36
其中
Figure SMS_37
是一个大于0的常量，v表示网络上所有/>
Figure SMS_38
的集合，/>
Figure SMS_39
表示针对节点j与所对应的桥节点b的拉格朗日乘子， cj表示为节点j所对应的拉格朗日惩罚系数，/>
Figure SMS_40
表示表示网络中所有桥节点都拥 有的本地向量，为解决上述拉格朗日对偶问题采用分布式ADMM算法求解，首先， 对网络中的节点进行初始化，然后针对网络延迟对分布式算法的影响，采取动态规划桥节点的方案，即当一个节点在与网桥节点的链路中检测到高延迟值时， 将该工作节点的邻居设置成桥节点或自身成为桥节点。在找到新的网桥节点后， 该节点停止与具有延迟问题的网桥节点通信。
当桥节点的动态规划工作完成后，在对应的桥节点与工作节点上进行迭代运 算，其迭代公式如下：
Figure SMS_41
Figure SMS_42
Figure SMS_43
随着迭代次数的增加，
Figure SMS_44
逐渐收敛为为近似最优解。
具体的，本发明提出一种优化网络延迟的分布式ADMM机器学习算法。
如图1所示，ad hoc无线传感器网络的网络拓扑图，其中网络中的白色节点 为工作节点，而黑色的节点为桥节点，桥节点自身也要完成工作节点的计算任 务。工作节点可以得到观测值xj，而桥节点可以得到观测值xb，(接下来部分是 不是与“具体实施方案”里面的前面部分重复，，，)设网络中有j个节点。我们 定义其邻居节点为Nj，本发明的目标是根据在节点j处得到的观察值
Figure SMS_45
估计一个Rp×1向量s。
Figure SMS_46
本发明引入一个辅助变量sj，如下式：
Figure SMS_47
Subject to：
Figure SMS_48
/>
Figure SMS_49
是桥节点的集合，其拥有本地向量/>
Figure SMS_50
针对上述优化问题的拉格朗 日表达式如下：
Figure SMS_51
Figure SMS_52
是一个大于0的常量，为求得拉格朗日的解，可通过多层迭代快速收敛到优化解。
这些迭代计算被分配到网络中各个桥节点与工作节点中进行运算。
针对图1中的ad hoc无线传感器网络中的优化问题，本发明提出的针对网 络连接延迟的分布式优化算法，首先需要对网络中的节点进行初始化，并根据 网络时延情况对桥节点进行动态规划。图2和图3为桥节点初始化算法流程图图4为桥节点动态规划算法流程图，图中各个参数说明如下：
Bridge(i)：该值为1时表示节点i为桥节点，为0时表示节点i为工作节点；
SNB：网络中所有工作节点的个数；
SNB(j)：与网络中第j个工作节点相邻的所有工作节点的个数；
B(j,k)：工作节点j与其相邻的第k个工作节点所共有的桥节点的集合；
N(i)：表示与节点i相邻的所有节点；
SN(i)：表示与节点i相邻的所有节点的个数；
latencybridge(b)：节点i与和节点i相邻的第b个相邻的桥节点之间的延迟；
B(i)：与节点i相邻的所有桥节点的集合；
latencylimit：允许的与桥节点延迟的最大值；
NB(b,i)：表示与节点i相邻的节点中，同时与和节点i相邻的第b个相邻的 桥节点相邻的节点；
Lmax(i)：表示与节点i相邻的所有节点到节点i的延迟中的最大值；
Lmax(j)：表示在NB(b,i)中的第j个节点，与第j个节点相邻的所有节点中到 第j个节点的最大值；
min LmaxNeigh(i)：与节点i相邻的所有节点中的Lmax值中的最小值；
Lmaxno-bridge(i)：表示与节点i相连的所有工作节点到节点i的延迟的最大值。
SNB(b,i)：集合NB(b,i)中节点的个数；
SB(i):集合B(i)中节点的个数；
图2和图3所示为桥节点的初始化流程图，图2算法对于节点i，如果其相 邻的节点中存在桥节点，则将节点i设置为工作节点。如果与节点i相邻的所 有节点中没有桥节点，则将节点i设置为桥节点。图3算法为保证桥节点初始 化能满足分布式算法的收敛性条件，针对网络中工作节点j，如果工作节点j与 其相邻的工作节点间不存在共同的桥节点，就将工作节点j设置为与其相邻的 工作节点的桥节点。
图4所示为针对网络延迟的桥节点动态规划流程图，遍历与节点i相连的所 有桥节点，首先判断latencybridge(b)是否大于允许的最大延迟并且
Figure SMS_53
如 果成立，则判断节点i是否为桥节点，如果节点i是桥节点，则将B(i)中第b个 桥节点移除。如果节点i不是桥节点则判断Lmaxno-bridge(i)是否小于min LmaxNeigh(i)， 如果成立，则将节点i设置为桥节点，并告知其所有与节点i相连的节点，并 将B(i)中第b个桥节点移除。
如果不成立则遍历NB(b,i)中的所有节点，判断以下一组条件是否同时满足：
Lmaxno-bridge(i)>＝Lmax(j)
Lmax(j)<latencybridge(b)
Lmax(j)<latencylimit
SNB(b,i)>0
如果同时满足则将NB(b,i)中的第j个节点设置为桥节点。
图5是ADMM的迭代算法流程，首先进行初始化工作，即对
Figure SMS_55
赋初值 以及设定最大迭代次数，然后判断迭代次数是否超过最大迭代超过，没有超过 就进行迭代运算，具体流程如下为工作节点接收到来自其桥节点的/>
Figure SMS_58
并结 合本地的sj(k)和/>
Figure SMS_62
通过迭代公式/>
Figure SMS_56
得到更 新值/>
Figure SMS_59
得到更新值
Figure SMS_61
后通过迭代公式/>
Figure SMS_63
得到更新值sj(k+1)，然后工作节点将sj(k+1)给对应的桥节点，桥节点根据迭代 公式
Figure SMS_54
得到更新值/>
Figure SMS_57
并将/>
Figure SMS_60
发送 给对应的工作节点。
当迭代次数超过最大迭代次数时停止迭代计算，得到
Figure SMS_64
的近似最优解。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，针对ad-hoc网络将凸优化问题分解成子凸优化问题进行求解，为得到凸优化问题的全局最优解，机器学习方法包括以下步骤：
针对网络延迟对基于桥节点和工作节点的分布式ADMM算法运行时间的影响，对网络节点进行初始化，并根据网络中节点连接延迟的情况，动态地规划桥节点的位置和个数；
定义如下参数：
latencybridge(b)：节点i与和节点i相邻的第b个相邻的桥节点之间的延迟；
B(i)：与节点i相邻的所有桥节点的集合；
NB(b,i)：表示与节点i相邻的节点中，同时与和节点i相邻的第b个相邻的桥节点相邻的节点；
SNB(b,i)：集合NB(b,i)中节点的个数；
Lmax(i)：表示与节点i相邻的所有节点到节点i的延迟中的最大值；
Lmax(j)：表示在NB(b,i)中的第j个节点，与第j个节点相邻的所有节点中到第j个节点的最大值；
min LmaxNeigh(i)：与节点i相邻的所有节点中的Lmax值中的最小值；
Lmaxno-bridge(i)：表示与节点i相连的所有工作节点到节点i的延迟的最大值；
所述针对网络延迟，动态地规划桥节点的位置和个数具体包括以下步骤：遍历与节点i相连的所有桥节点，首先判断latencybridge(b)是否大于允许的最大延迟并且
Figure FDA0004045263860000011
如果成立，则判断节点i是否为桥节点，如果节点i是桥节点，则将B(i)中第b个桥节点移除；如果节点i不是桥节点则判断Lmaxno-bridge(i)是否小于min LmaxNeigh(i)，如果成立，则将节点i设置为桥节点，并告知其所有与节点i相连的节点，并将B(i)中第b个桥节点移除；如果不成立则遍历NB(b,i)中的所有节点，判断以下一组条件是否同时满足：
Lmaxno-bridge(i)>＝Lmax(j)，
Lmax(j)＜latencybridge(b)
Lmax(j)＜latencylimit，
SNB(b,i)＞0，如果同时满足将NB(b,i)中的第j个节点设置为桥节点。
2.根据权利要求1所述的一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，在ad-hoc网络中，设网络中有J个节点，定义节点j的邻居节点为Nj，目标是根据在节点j处的到的观察值
Figure FDA0004045263860000021
估计一个Rp×1向量s；Lj表示xj的维数，/>
Figure FDA0004045263860000022
表示Lj维列向量的集合，xj表示在第j个节点得到的数据，p表示p维，Rp×1表示p维列向量的集合，即表示向量s是一个p维的列向量；
Figure FDA0004045263860000023
表示在节点j针对xj的目标优化函数；
引入一个辅助变量sj并以下列方式表示问题；
Figure FDA0004045263860000024
/>
Subject to：
Figure FDA0004045263860000025
Figure FDA0004045263860000026
表示网络中所有桥节点都拥有的本地向量，B表示网络中的所有桥节点的集合，b表示网络中的桥节点b，Nb表示与桥节点b相邻的所有工作节点的集合；
Figure FDA0004045263860000027
是桥节点的集合，其拥有本地向量/>
Figure FDA0004045263860000028
针对上述优化问题的拉格朗日表达式如下：
Figure FDA0004045263860000029
其中
Figure FDA00040452638600000210
是一个大于0的常量，v表示网络上所有/>
Figure FDA0004045263860000031
的集合，/>
Figure FDA0004045263860000032
表示针对节点j与所对应的桥节点b的拉格朗日乘子，cj表示为节点j所对应的拉格朗日惩罚系数，/>
Figure FDA0004045263860000033
表示网络中所有桥节点都拥有的本地向量，针对上述优化问题采用基于桥节点和工作节点的分布式ADMM算法进行求解。
3.根据权利要求2所述的一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，所述对网络节点进行初始化具体包括步骤：对于节点i，如果其相邻的节点中存在桥节点，则将节点i设置为工作节点，如果与节点i相邻的所有节点中没有桥节点，则将节点i设置为桥节点。
4.根据权利要求3所述的一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，为保证分布式算法的收敛性，针对网络中工作节点j，如果工作节点j与其相邻的工作节点间不存在共同的桥节点，就将工作节点j设置为与其相邻的工作节点的桥节点。
5.根据权利要求1所述的一种优化网络延迟的分布式ADMM机器学习方法，其特征在于，所述ADMM的迭代算法具体包括以下步骤：首先进行初始化工作，即对
Figure FDA0004045263860000034
sj，/>
Figure FDA0004045263860000035
赋初值以及设定最大迭代次数，然后判断迭代次数是否超过最大迭代次数，没有超过就进行迭代运算：工作节点接收到来自其桥节点的/>
Figure FDA0004045263860000036
并结合本地的sj(k)和/>
Figure FDA0004045263860000037
通过迭代公式
Figure FDA0004045263860000038
得到更新值/>
Figure FDA0004045263860000039
得到更新值/>
Figure FDA00040452638600000310
后通过迭代公式/>
Figure FDA00040452638600000311
得到更新值sj(k+1)，然后工作节点将sj(k+1)给对应的桥节点，桥节点根据迭代公式/>
Figure FDA00040452638600000312
得到更新值
Figure FDA00040452638600000313
并将/>
Figure FDA00040452638600000314
发送给对应的工作节点；
当迭代次数超过最大迭代次数时停止迭代计算，得到
Figure FDA00040452638600000315
sj，/>
Figure FDA00040452638600000316
的近似最优解。/>
CN201910410046.3A 2019-05-16 2019-05-16 一种优化网络延迟的分布式admm机器学习方法 Active CN110458293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910410046.3A CN110458293B (zh) 2019-05-16 2019-05-16 一种优化网络延迟的分布式admm机器学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910410046.3A CN110458293B (zh) 2019-05-16 2019-05-16 一种优化网络延迟的分布式admm机器学习方法

Publications (2)

Publication Number Publication Date
CN110458293A CN110458293A (zh) 2019-11-15
CN110458293B true CN110458293B (zh) 2023-03-31

Family

ID=68480989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910410046.3A Active CN110458293B (zh) 2019-05-16 2019-05-16 一种优化网络延迟的分布式admm机器学习方法

Country Status (1)

Country Link
CN (1) CN110458293B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408741B (zh) * 2021-06-22 2022-12-27 重庆邮电大学 一种自适应网络拓扑的分布式admm机器学习方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105552940A (zh) * 2015-12-22 2016-05-04 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于交替方向乘子算法的分布式全局最优能量管理系统
CN107370802A (zh) * 2017-07-10 2017-11-21 中国人民解放军国防科学技术大学 一种基于交替方向乘子法的协同存储调度方法
CN108462607A (zh) * 2018-03-20 2018-08-28 武汉大学 一种网络功能虚拟化(nfv)服务链成本最小化的可扩展和分布式方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633315B2 (en) * 2012-04-27 2017-04-25 Excalibur Ip, Llc Method and system for distributed machine learning
US9760534B2 (en) * 2014-02-20 2017-09-12 Mitsubishi Electric Research Laboratories, Inc. Optimal parameter selection and acceleration in ADMM for multi-stage stochastic convex quadratic programs
US9864731B2 (en) * 2014-06-16 2018-01-09 Massachusetts Institute Of Technology Systems and methods for distributed solution of optimization problems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105552940A (zh) * 2015-12-22 2016-05-04 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于交替方向乘子算法的分布式全局最优能量管理系统
CN107370802A (zh) * 2017-07-10 2017-11-21 中国人民解放军国防科学技术大学 一种基于交替方向乘子法的协同存储调度方法
CN108462607A (zh) * 2018-03-20 2018-08-28 武汉大学 一种网络功能虚拟化(nfv)服务链成本最小化的可扩展和分布式方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Energy-Efficient Edge Computing Service Provisioning for Vehicular Networks: A Consensus ADMM Approach;Zhenyu Zhou等;《 IEEE Transactions on Vehicular Technology》;20190315;第5087-5099页 *
基于交替方向乘子法的电―气互联系统分布式协同规划;王旭等;《电力系统自动化》;20180918(第22期);第154-167页 *
微电网多目标随机动态优化调度算法;王雅平等;《电工技术学报》;20171206(第10期);第34-45页 *
快速在线分布式对偶平均优化算法;李德权等;《计算机应用》;20180411(第08期);第203-208页 *
网络化分布式凸优化算法研究进展;谢佩等;《控制理论与应用》;20180711(第07期);第35-44页 *

Also Published As

Publication number Publication date
CN110458293A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
Osamy et al. An information entropy based-clustering algorithm for heterogeneous wireless sensor networks
Prasanth et al. Implementation of efficient intra-and inter-zone routing for extending network consistency in wireless sensor networks
CN111836327B (zh) 一种水下传感器网络路由数据传输方法及水下传感器网络
CN112600699B (zh) 基于区块链跨链交互的动态覆盖网络拓扑构建方法及装置
Ghosh et al. A cognitive routing framework for reliable communication in IoT for industry 5.0
Ji et al. Particle swarm optimization for mobile ad hoc networks clustering
CN114697229A (zh) 一种分布式路由规划模型的构建方法及应用
Mani Kandan et al. Fuzzy hierarchical ant colony optimization routing for weighted cluster in MANET
Aboubakar et al. Using machine learning to estimate the optimal transmission range for RPL networks
CN110458293B (zh) 一种优化网络延迟的分布式admm机器学习方法
Suzuki et al. Multi-agent deep reinforcement learning for cooperative offloading in cloud-edge computing
Baek et al. FLoadNet: Load Balancing in Fog Networks With Cooperative Multiagent Using Actor–Critic Method
CN111371572B (zh) 一种网络节点的选举方法及节点设备
Chen et al. SOFM neural network based hierarchical topology control for wireless sensor networks
Murugeswari et al. Discrete multi-objective differential evolution algorithm for routing in wireless mesh network
Xie et al. A Novel Clustering Strategy-Based Sink Path Optimization for Wireless Sensor Network
Kasturi et al. An Improved Energy Efficient Solution for Routing in IoT
Molose et al. Data aggregation schemes for maximal network lifetime
Hasegawa et al. Decentralized optimization of wireless sensor network lifetime based on neural network dynamics
Mohammadi et al. A new algorithm inspired by Impala Mexican Wave with variable stride for relay node placement as a nested reverse p-median problem in disjoint wireless sensor networks
Baalamurugan et al. An Energy-Efficient Quasi-Oppositional Krill Herd Algorithm-Based Clustering Protocol for Internet of Things Sensor Networks
Cen et al. Resource Allocation Strategy Using Deep Reinforcement Learning in Cloud-Edge Collaborative Computing Environment
CN110536374B (zh) 一种无线传感器网络中基于功率需求的分簇方法
Manimegalai et al. Accessible residual energy based efficient routing in MANET
US20240146798A1 (en) Method and device for decentralized edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant