CN111988185A - 一种基于Barzilai-Borwein步长的多步通信分布式优化方法 - Google Patents

一种基于Barzilai-Borwein步长的多步通信分布式优化方法 Download PDF

Info

Publication number
CN111988185A
CN111988185A CN202010900277.5A CN202010900277A CN111988185A CN 111988185 A CN111988185 A CN 111988185A CN 202010900277 A CN202010900277 A CN 202010900277A CN 111988185 A CN111988185 A CN 111988185A
Authority
CN
China
Prior art keywords
node
communication
variable
optimization method
distributed optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010900277.5A
Other languages
English (en)
Inventor
程婕
程胡强
许国良
李天骄
伍荣森
王臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010900277.5A priority Critical patent/CN111988185A/zh
Publication of CN111988185A publication Critical patent/CN111988185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1042—Peer-to-peer [P2P] networks using topology management mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于BB步长的多步通信分布式优化方法，属于大规模机器学习及信息处理技术领域。该方法包括：1)确定问题目标函数及其强凸系数和光滑系数；2)搭建有向强连通非平衡通信网络，并根据网络拓扑的邻接矩阵，采用均匀权值策略生成行列随机权重矩阵；3)将系统所有变量进行初始化；4)利用节点当前所储存的变量信息计算BB步长；5)系统根据相关参数计算内循环次数P；6)节点接收邻居节点的信息，并结合自身所储存的信息，对变量进行更新，直到变量收敛，得到问题目标函数的最优值。本发明能够在有向强连通非平衡通信网络下解决无约束优化问题；提高所提算法收敛速率和梯度估计精确性。

Description

一种基于Barzilai-Borwein步长的多步通信分布式优化方法
技术领域
本发明属于大规模机器学习及信息处理技术领域，涉及一种基于BB步长的多步通信分布式优化方法。
背景技术
随着互联网、计算机、人工智能的发展，造成了数据的泛滥，如何有效处理数据正成为各行业亟待解决的难题。当前，存在两种有效的数据处理方法：集中式优化算法和分布式优化算法。集中式优化算法主要是凭借中心处理器的计算能力对数据进行分析和处理。当数据简单且网络规模不大时，集中式优化算法可以高效地对数据进行处理。然而，由于中心处理器受物理硬件发展受限约束，其计算能力极为有限。因此，集中式优化算法对于大规模网络数据处理无能为力。同时，由于集中式算法对于信息的收集、分析以及处理都是由中心处理器完成，因此其也存在单点失效与鲁棒性差的问题。分布式优化算法是将一个复杂的任务分解成多个易处理的子任务，再采用分布式计算方式对所有子任务进行有效处理。由于分布式优化在资源分配、智能电网、控制系统等领域中展现出巨大的应用价值，分布式优化的研究受到人们越来越多的重视。在分布式优化算法中，网络中的节点解决分布式优化问题，仅仅只需通过与邻居节点进行通信，且不会泄露节点自身的信息。分布式优化算法通常由两个部分组成：通信和计算。具体描述就是，在每一次迭代(或每多次迭代)中，节点进行变量更新需要通过与邻居节点交换信息(通信)，而计算步骤主要是与(次)梯度相关(计算)。当前，判断分布式优化算法优势的标准仅仅只是通过迭代次数，忽略了与迭代计算相关联的复杂度。而且，不同的应用问题对通信成本和计算成本的要求比例是不同的。例如：在大规模机器学习领域中，计算成本比例要比通信成本比例更高，而在电源驱动机器人应用中，通信成本比例比计算成本更高。因此，对一个算法的评价应该从迭代次数、通信成本、计算成本以及总成本三个方面考虑。当前热门的分布式优化算法大致有三类：分布式梯度下降法、分布式对偶分解、分布式交替方向乘子法(ADMM)。尽管这三类算法都已经发展到了快速的线性收敛率，但是分布式梯度下降法相比于后两者不会付出太多计算成本。还需要说明的是，现有的分布式优化算法大都采用常数步长，且在理论上都要求常数步长足够小，这是一个十分保守的结果。另外，常数步长往往取决于网络拓扑参数以及范数等价转换参数。因此，在实际应用中，步长是无法计算的，需要通过不断地手动调制来使得算法达到一个好的表现，但是这样所获得的步长不一定是最优的。相反地，BB(Barzilai-Borwein)步长不占用太多的存储和计算资源，且在分布式优化算法中，BB步长是自动计算，不取决于任何网络参数。另外，分布式优化算法几乎没有采用多步通信机制的，这也导致了梯度估计误差较大。
综上所述，现有技术存在的问题是：1)现有的集中式算法不能胜任大规模网络任务处理，且存在鲁棒性差、单点失效等问题；2)现有的分布式优化算法仅仅通过迭代次数来判断算法的优势，这种评价方式过于片面；3)现有的分布式优化算法大都采用常数步长，这只能通过手动调制来确保理论推导成果；4)现有的分布式优化算法对于梯度估计误差没有给出解决办法。
解决上述技术问题的难度：如何将BB步长应用到分布式优化算法中以及如何对多步通信机制下的分布式优化算法进行理论分析，给出内循环迭代次数的一个下界。同时，还需要解决基于有向强连通非平衡有向通信网络下的分布式优化问题。通常来说，无向网络是有向网络的特殊情形，基于有向网络的分布式算法设计比基于无向网络的分布式算法设计更加困难。
发明内容
有鉴于此，本发明的目的在于提供一种基于BB步长的多步通信分布式优化方法，解决如何将BB步长应用到分布式优化算法中以及如何对多步通信机制下的分布式优化算法进行理论分析，给出内循环迭代次数的一个下界。同时，本发明还解决了基于有向强连通非平衡有向通信网络下的分布式优化问题。
相比于集中式优化算法，分布式优化算法具有更好的鲁棒性和保密性，且能够处理大规模网络问题，能够有效地避免单点故障问题。研究有向非平衡网络下的分布式优化算法更具有一般性和应用性。采用BB步长降低了算法的计算成本，且避免了常数步长手动调制的尴尬处境。利用多步通信机制提高了梯度估计精确性，从而获得更好地计算性能，进而提高分布式优化算法的可应用性，扩大其应用范围。
为达到上述目的，本发明提供如下技术方案：
一种基于Barzilai-Borwein步长的多步通信分布式优化方法，具体包括以下步骤：
S1：确定问题目标函数及其强凸系数和光滑系数；
S2：搭建有向强连通非平衡通信网络，并根据网络拓扑的邻接矩阵，采用均匀权值策略生成行列随机权重矩阵；
S3：将系统所有变量进行初始化；
S4：利用节点当前所储存的变量信息计算BB(Barzilai-Borwein)步长；
S5：系统根据相关参数计算内循环迭代次数P；
S6：节点接收邻居节点的信息，并结合自身所储存的信息，对变量进行更新，直到变量收敛，得到问题目标函数的最优值。
进一步，所述步骤S1具体包括：确定优化问题为：
Figure BDA0002659585560000031
其中
Figure BDA0002659585560000032
其中，x*表示最优解；每个局部目标函数
Figure BDA0002659585560000033
只有节点i可以访问，其中，
Figure BDA0002659585560000034
表示全体实数集，
Figure BDA0002659585560000035
表示n维实数向量，
Figure BDA0002659585560000036
表示节点集；每个局部目标函数fi是强凸且光滑的，强凸系数和光滑系数分别为μ和l，满足l≥μ＞0，即：对于所有的节点
Figure BDA0002659585560000037
以及
Figure BDA0002659585560000038
有
Figure BDA0002659585560000039
Figure BDA00026595855600000310
其中，
Figure BDA00026595855600000311
表示局部目标函数fi的梯度；需要说明的是，强凸性的设定也保证了最优值x*的存在性和唯一性。
进一步，所述步骤S2具体包括：搭建含有m个节点的有向强连通非平衡通信网络
Figure BDA00026595855600000312
其中
Figure BDA00026595855600000313
表示节点集，
Figure BDA00026595855600000314
表示有向边集，即：对于任意
Figure BDA00026595855600000315
如果
Figure BDA00026595855600000316
表示节点i可以给节点j发送信息；定义：
Figure BDA00026595855600000317
表示节点i的入-邻居节点集合；
Figure BDA00026595855600000318
表示节点i的出-邻居节点集合；根据网络拓扑相应的邻接矩阵，构建行列随机权重矩阵
Figure BDA00026595855600000319
和
Figure BDA00026595855600000320
其中，
Figure BDA00026595855600000321
Figure BDA00026595855600000322
进一步，所述步骤S3具体包括：所有节点
Figure BDA00026595855600000323
设置k＝0以及最大迭代次数kmax；每个节点持有变量信息：xi和yi，变量xi是对局部最优解的估计值，辅助变量yi追踪局部梯度的均值
Figure BDA00026595855600000324
在第k次迭代时，变量的值分别表示为
Figure BDA00026595855600000325
和
Figure BDA00026595855600000326
然后，所有节点对所持的所有变量进行初始化设置，即：
Figure BDA0002659585560000041
以及
Figure BDA0002659585560000042
且
Figure BDA0002659585560000043
Figure BDA0002659585560000044
进一步，所述步骤S4具体包括：在第k次迭代时，所有节点
Figure BDA0002659585560000045
利用自身所携带的信息计算BB步长，表达式如下：
Figure BDA0002659585560000046
或者
Figure BDA0002659585560000047
其中，
Figure BDA0002659585560000048
根据目标函数的强凸性和光滑性，推断出：
Figure BDA0002659585560000049
进一步，所述步骤S5中，多步通信机制下的内循环迭代次数P的计算表达式为：
Figure BDA00026595855600000410
其中P需要大于一个下界，即：p需要足够大；
函数
Figure BDA00026595855600000411
的定义为：
Figure BDA00026595855600000412
其中，
Figure BDA00026595855600000413
表示正整数集合，
Figure BDA00026595855600000414
取决于问题目标函数的性质以及实际分析中一些数学上的代数关系参数。
进一步，所述步骤S6具体包括：
S61：任意节点
Figure BDA00026595855600000415
计算主变量
Figure BDA00026595855600000416
S62：任意节点
Figure BDA00026595855600000417
计算辅助变量
Figure BDA00026595855600000418
S63：每个节点i设置迭代次数k＝k+1，再返回步骤S4继续运行，直到终止条件满足，即：k≥kmax。
更进一步，所述步骤S61具体包括：任意节点
Figure BDA00026595855600000419
根据自身变量信息对主变量
Figure BDA00026595855600000420
进行局部计算：
Figure BDA00026595855600000421
然后，节点i接收来自邻居节点的信息
Figure BDA00026595855600000422
且为了使得梯度估计更为精准，引入多步通信机制，设计内循环策略，如下：
Figure BDA00026595855600000423
其中，p＝1，2，…，p表示内循环次数，且设置
Figure BDA0002659585560000051
更进一步，所述步骤S62具体包括：任意节点
Figure BDA0002659585560000052
根据自身变量信息对辅助变量
Figure BDA0002659585560000053
进行局部计算：
Figure BDA0002659585560000054
然后，节点i接收来自邻居节点的信息
Figure BDA0002659585560000055
采用内循环策略，如下：
Figure BDA0002659585560000056
设置
Figure BDA0002659585560000057
进一步，该方法适用于一种大规模机器学习系统、能源领域资源分配系统或者智能电网优化调度系统。
本发明的有益效果在于：本发明采用BB步长且结合多步通信机制，提供了一种分布式梯度下降法类的优化方法用于解决有向强连通非平衡有向网络下的分布式优化问题。整个通信网络是一种P2P(对等)网络，不需要中心节点对数据进行收集、分析与处理，能够避免单点失效，且具有更强的鲁棒性和安全性。同时，本发明采用的分布式计算方式，可以有效避免单点故障，且保护用户隐私。采用的BB步长是由系统自动计算，避免了手动调制带来的数据偏差，而且BB步长还节省了存储和计算资源。本发明结合多步通信机制，提高了算法的收敛速率和梯度估计精确性，具有较好的实际应用效能。本发明为有向强连通非平衡通信网络下的分布式优化的应用奠定了理论基础，扩大了其应用范围。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明基于BB步长的多步通信分布式优化方法的流程图；
图2为本发明仿真实验中采用的有向通信网络图；
图3为本发明仿真实验中内循环迭代次数P对所提算法的影响；
图4为本发明仿真实验中有向通信网络下实施例与各对比例以迭代次数为标准的性能对比图；
图5为本发明仿真实验中有向通信网络下实施例与各对比例以通信成本为标准的性能对比图；
图6为本发明仿真实验中有向通信网络下实施例与各对比例以计算成本为标准的性能对比图；
图7为本发明仿真实验中有向通信网络下实施例与各对比例以总成本为标准的性能对比图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图7，本发明优选了一种基于BB步长的多步通信分布式优化方法，算法流程如图1所示，具体包括以下步骤：
第一步：本发明研究一种常用的分布式优化问题，如下：
Figure BDA0002659585560000061
其中
Figure BDA0002659585560000062
其中，x*表示最优解；每个局部目标函数
Figure BDA0002659585560000063
只有节点i可以访问，其中
Figure BDA0002659585560000064
表示全体实数集，
Figure BDA0002659585560000065
表示n维实数向量，
Figure BDA0002659585560000066
表示节点集。每个局部目标函数fi是强凸且光滑的，强凸系数和光滑系数分别为μ和l，满足l≥μ＞0，即：对于所有的
Figure BDA0002659585560000067
以及
Figure BDA0002659585560000068
有
Figure BDA0002659585560000069
以及
Figure BDA00026595855600000610
这里，
Figure BDA00026595855600000611
表示局部目标函数fi的梯度。需要说明的是，强凸性的设定也保证了最优值x*的存在性和唯一性。
面向实际问题时，通常只需在上述优化问题的基础上引入一个实际约束，以智能电网中的电力分配为例，该问题可描述为：
Figure BDA00026595855600000612
其中
Figure BDA00026595855600000613
满足
Figure BDA00026595855600000614
其中，xi表示供电局分配给用户i的电量；mf(x)表示给所有用户发电量的总成本函数；fi(xi)表示用户i的发电量的成本函数；
Figure BDA0002659585560000071
表示节点i需要满足的一个实际凸、封闭约束集，这里
Figure BDA0002659585560000072
di表示用户i所需的电量；
Figure BDA0002659585560000073
表示分配给所有用户使得发电总成本最低的最优发电量。需要强调的是不同的实际问题，引入的约束是不同的。
第二步：搭建含有m个节点的有向强连通非平衡通信网络
Figure BDA0002659585560000074
其中
Figure BDA0002659585560000075
表示节点集，
Figure BDA0002659585560000076
表示有向边集，即：对于任意
Figure BDA0002659585560000077
如果
Figure BDA0002659585560000078
就表示节点i可以给节点j发送信息。定义：
Figure BDA0002659585560000079
表示节点i的入-邻居节点集合；
Figure BDA00026595855600000710
表示节点i的出-邻居节点集合。根据网络拓扑相应的邻接矩阵，构建行列随机权重矩阵
Figure BDA00026595855600000711
和
Figure BDA00026595855600000712
具体地，如下：
Figure BDA00026595855600000713
Figure BDA00026595855600000714
第三步：所有节点
Figure BDA00026595855600000715
设置k＝0以及最大迭代次数kmax。每个节点持有变量信息：xi和yi。变量xi是对局部最优解的估计值，辅助变量yi追踪局部梯度的均值
Figure BDA00026595855600000716
在第k次迭代时，变量的值分别表示为
Figure BDA00026595855600000717
和
Figure BDA00026595855600000718
然后，所有节点对所持的所有变量进行初始化设置，即：
Figure BDA00026595855600000719
以及
Figure BDA00026595855600000720
需要说明的是
Figure BDA00026595855600000721
第四步：在第k次迭代时，所有节点
Figure BDA00026595855600000722
利用自身所携带的信息计算BB步长，具体表达式如下：
Figure BDA00026595855600000723
或者
Figure BDA00026595855600000724
其中，
Figure BDA00026595855600000725
根据目标函数的强凸性和光滑性，可以推断出：
Figure BDA00026595855600000726
第五步：首先，介绍下列符号：lm表示m维的全1向量；In表示n×n维的单位矩阵；
Figure BDA00026595855600000727
表示克罗内克积；||·||用于向量时表示Euclidean范数，用于矩阵时表示谱范数。对于行随机矩阵A，它的特征值1对应的左右特征向量分别为1m和πr，即：
Figure BDA00026595855600000728
对于列随机矩阵B，它的特征值1对应的左右特征向量分别为πc和1m，即：
Figure BDA0002659585560000081
对于任意矩阵X，有X∞＝limk→∞xk。根据Perron-Frobenius定理，可以得到
Figure BDA0002659585560000082
和
Figure BDA0002659585560000083
定义：
Figure BDA0002659585560000084
然后，系统根据下列式子计算内循环迭代次数P(P需要大于一个下界，即P需要足够大)：
Figure BDA0002659585560000085
Figure BDA0002659585560000086
取决于电力分配问题目标函数的性质以及实际分析中一些数学上的代数关系参数，具体地，
Figure BDA0002659585560000087
其中函数
Figure BDA0002659585560000088
的定义为：
Figure BDA0002659585560000089
其中，
Figure BDA00026595855600000810
表示正整数集合。式中相关参数定义如下：
Figure BDA00026595855600000811
Figure BDA00026595855600000812
Figure BDA00026595855600000813
Figure BDA00026595855600000814
其中，μ和l分别表示目标函数的强凸系数和光滑系数，ω1＞0，ω3＞0，
Figure BDA00026595855600000815
第六步:任意节点
Figure BDA00026595855600000816
按照下列方式计算主变量
Figure BDA00026595855600000817
首先，任意节点
Figure BDA00026595855600000818
根据自身变量信息对主变量
Figure BDA00026595855600000819
进行局部计算：
Figure BDA00026595855600000820
然后，节点i接收来自邻居节点的信息
Figure BDA00026595855600000821
且为了使得梯度估计更为精准，引入多步通信机制，设计内循环策略，如下：
Figure BDA00026595855600000822
其中，p＝1，2，…，p表示内循环次数，且设置
Figure BDA0002659585560000091
求解下列的局部辅助优化问题：
Figure BDA0002659585560000092
该问题是根据实际约束且利用拉格朗日乘子法创建的，以此来保证所求算法的最优解满足实际约束。需要说明的是该辅助优化问题仅限于本实施例(即电力分配问题)，不同的应用实例所创建的局部辅助优化问题是不同的。
第七步：任意节点
Figure BDA0002659585560000093
按照下列方式计算辅助变量
Figure BDA0002659585560000094
首先，任意节点
Figure BDA0002659585560000095
根据自身变量信息对辅助变量
Figure BDA0002659585560000096
进行局部计算：
Figure BDA0002659585560000097
然后，节点i接收来自邻居节点的信息
Figure BDA0002659585560000098
同样地，采用内循环策略，如下：
Figure BDA0002659585560000099
设置
Figure BDA00026595855600000910
第八步：每个节点i设置迭代次数k＝k+1，再返回到第四步继续运行，直到终止条件满足，即：k≥kmax。
本发明方法可以应用到电力分配、经济分配、智能电网等实际问题的处理上，可以通过实际约束且利用拉格朗日乘子法创建具体的局部辅助优化问题，再将该问题与本发明方法相结合，就可以确保本发明的算法的最优解满足这些实际约束，从而有效的解决这些实际问题。
下面结合仿真实验验证本发明方法的有效性。
以机器学习中热门的逻辑回归问题为例，说明本发明的有效性和前沿性。该问题被描述如下：
Figure BDA00026595855600000911
其中
Figure BDA00026595855600000912
其中，log(·)表示以10为底的对数函数，exp(·)表示以e为底的指数函数。每个节点i可以访问mi个训练样本对
Figure BDA00026595855600000913
其中，cij表示特征向量，yij是相应的二分类标签。另外，λ||x||2的作用是防止数据过度拟合。在本实验设置中，m＝100，n＝50，mi＝20，
Figure BDA0002659585560000101
以及λ＝0.01。至于训练样本，采用如下方式生成：首先，利用标准正态分布
Figure BDA0002659585560000102
生成向量v和特征向量cij。然后，相应的二分类标签yij以概率1/(1+exp(-vTcij))设置为。否则，设置为-1。此外，如图2所示，本实验构建了一个含100个节点的有向强连通通信网络。具体构建方式如下：首先，同向有序连接所有网络节点，以确保网络的强连通性。其次，每个节点再任意选择三个节点进行连接，即：网络中每个节点有4个出-邻居节点。最后，根据网络拓扑对应的邻接矩阵，利用均匀权重策略生成行列随机矩阵A和B。需要说明的是，该网络仅仅用于解释本发明。在实际应用中，该网络可以随机生成，只需保证其强连通性，就可以采用本发明提出的方法。
在仿真实验中，首先探究了内循环迭代次数P对本发明提出的算法的影响，如图3所示。然后，将本发明所提算法与ADD-OPT、FROST、
Figure BDA0002659585560000103
以及
Figure BDA0002659585560000104
四个已经公开的前沿算法进行性能比较。所有实验均采用
Figure BDA0002659585560000105
作为最优性精度测量。为了更为全面地体现所提算法的优势，本实验从迭代次数、通信成本、计算成本以及总成本四个方面比较算法性能。所有算法中的相关参数都已经过最优调制，具体的参数设置情况如下：
实施例1：本发明的算法运行情况，其中参数设置为：P＝4。
实施例2：本发明的算法运行情况，其中参数设置为：P＝1。
对比例1：现有技术中已经公开的
Figure BDA0002659585560000106
算法运行情况，其中参数设置为：α＝0.1，β＝0.3。
对比例2：现有技术中已经公开的
Figure BDA0002659585560000107
算法运行情况，其中参数设置为：α＝0.1。
对比例3：现有技术中已经公开的FROST算法运行情况，其中参数设置为：α＝0.0001。
对比例4：现有技术中已经公开的ADD-OPT算法运行情况，其中参数设置为：α＝0.0005。
算法性能比较情况如图4～图7所示。实验结果表明：与现有算法比较，本发明所提出的算法在消耗较少的总成本基础上，达到ε-精确度仅需更少的迭代更新计算。尽管
Figure BDA0002659585560000108
算法相比于本发明的算法消耗的总成本更少，但是本发明的算法的收敛速率却远远大于
Figure BDA0002659585560000109
算法的收敛速率，因而本发明的算法的具有更好的性价比。此外，如图3所示，内循环迭代次数P可以提升本发明提出的算法的计算性能，但是随着P的增大，性能提升效果逐渐降低，因而在实际应用中应该从迭代次数、通信成本、计算成本以及总成本四个方面确定最优P值。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于Barzilai-Borwein步长的多步通信分布式优化方法，其特征在于，该方法具体包括以下步骤：
S1：确定问题目标函数及其强凸系数和光滑系数；
S2：搭建有向强连通非平衡通信网络，并根据网络拓扑的邻接矩阵，采用均匀权值策略生成行列随机权重矩阵；
S3：将系统所有变量进行初始化；
S4：利用节点当前所储存的变量信息计算BB步长；
S5：系统根据相关参数计算内循环迭代次数P；
S6：节点接收邻居节点的信息，并结合自身所储存的信息，对变量进行更新，直到变量收敛，得到问题目标函数的最优值。
2.根据权利要求1所述的多步通信分布式优化方法，其特征在于，所述步骤S1具体包括：确定优化问题为：
Figure FDA0002659585550000011
其中
Figure FDA0002659585550000012
其中，x*表示最优解；每个局部目标函数
Figure FDA0002659585550000013
其中，
Figure FDA0002659585550000014
表示全体实数集，
Figure FDA0002659585550000015
表示n维实数向量，
Figure FDA00026595855500000117
表示节点集；每个局部目标函数fi是强凸且光滑的，强凸系数和光滑系数分别为μ和l，满足l≥μ＞0，即：对于所有的节点
Figure FDA00026595855500000116
以及
Figure FDA0002659585550000016
有
Figure FDA0002659585550000017
Figure FDA0002659585550000018
其中，
Figure FDA0002659585550000019
表示局部目标函数fi的梯度。
3.根据权利要求2所述的多步通信分布式优化方法，其特征在于，所述步骤S2具体包括：搭建含有m个节点的有向强连通非平衡通信网络
Figure FDA00026595855500000110
其中
Figure FDA00026595855500000115
表示节点集，ε表示有向边集，即：对于任意
Figure FDA00026595855500000118
，如果(i，j)∈ε，表示节点i可以给节点j发送信息；定义：
Figure FDA00026595855500000111
表示节点i的入-邻居节点集合；
Figure FDA00026595855500000112
表示节点i的出-邻居节点集合；根据网络拓扑相应的邻接矩阵，构建行列随机权重矩阵
Figure FDA00026595855500000113
和
Figure FDA00026595855500000114
其中，
Figure FDA0002659585550000021
Figure FDA0002659585550000022
4.根据权利要求3所述的多步通信分布式优化方法，其特征在于，所述步骤S3具体包括：所有节点
Figure FDA00026595855500000220
设置k＝0以及最大迭代次数kmax；每个节点持有变量信息：xi和yi，变量xi是对局部最优解的估计值，辅助变量yi追踪局部梯度的均值
Figure FDA0002659585550000023
在第k次迭代时，变量的值分别表示为
Figure FDA0002659585550000024
和
Figure FDA0002659585550000025
然后，所有节点对所持的所有变量进行初始化设置，即：
Figure FDA0002659585550000026
以及
Figure FDA0002659585550000027
且
Figure FDA0002659585550000028
5.根据权利要求4所述的多步通信分布式优化方法，其特征在于，所述步骤S4具体包括：在第k次迭代时，所有节点
Figure FDA00026595855500000221
利用自身所携带的信息计算BB步长，表达式如下：
Figure FDA0002659585550000029
或者
Figure FDA00026595855500000210
其中，
Figure FDA00026595855500000211
根据目标函数的强凸性和光滑性，推断出：
Figure FDA00026595855500000212
6.根据权利要求5所述的多步通信分布式优化方法，其特征在于，所述步骤S5中，多步通信机制下的内循环迭代次数P的计算表达式为：
Figure FDA00026595855500000213
其中P需要大于一个下界，即P需要足够大；
函数
Figure FDA00026595855500000214
的定义为：
Figure FDA00026595855500000215
其中，
Figure FDA00026595855500000216
表示正整数集合，
Figure FDA00026595855500000217
取决于问题目标函数的性质。
7.根据权利要求6所述的多步通信分布式优化方法，其特征在于，所述步骤S6具体包括：
S61：任意节点
Figure FDA00026595855500000222
计算主变量
Figure FDA00026595855500000218
S62：任意节点
Figure FDA00026595855500000223
计算辅助变量
Figure FDA00026595855500000219
S63：每个节点i设置迭代次数k＝k+1，再返回步骤S4继续运行，直到终止条件满足，即：k≥kmax。
8.根据权利要求7所述的多步通信分布式优化方法，其特征在于，所述步骤S61具体包括：任意节点
Figure FDA00026595855500000311
根据自身变量信息对主变量
Figure FDA0002659585550000031
进行局部计算：
Figure FDA0002659585550000032
然后，节点i接收来自邻居节点的信息
Figure FDA0002659585550000033
引入多步通信机制，设计内循环策略，如下：
Figure FDA0002659585550000034
其中，p＝1，2，…，P表示内循环次数，且设置
Figure FDA0002659585550000035
9.根据权利要求7所述的多步通信分布式优化方法，其特征在于，所述步骤S62具体包括：任意节点
Figure FDA00026595855500000312
根据自身变量信息对辅助变量
Figure FDA0002659585550000036
进行局部计算：
Figure FDA0002659585550000037
然后，节点i接收来自邻居节点的信息
Figure FDA0002659585550000038
采用内循环策略，如下：
Figure FDA0002659585550000039
设置
Figure FDA00026595855500000310
10.根据权利要求1～9中任意一项所述的多步通信分布式优化方法，其特征在于，该方法适用于一种大规模机器学习系统、能源领域资源分配系统或者智能电网优化调度系统。
CN202010900277.5A 2020-08-31 2020-08-31 一种基于Barzilai-Borwein步长的多步通信分布式优化方法 Pending CN111988185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010900277.5A CN111988185A (zh) 2020-08-31 2020-08-31 一种基于Barzilai-Borwein步长的多步通信分布式优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010900277.5A CN111988185A (zh) 2020-08-31 2020-08-31 一种基于Barzilai-Borwein步长的多步通信分布式优化方法

Publications (1)

Publication Number Publication Date
CN111988185A true CN111988185A (zh) 2020-11-24

Family

ID=73446923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010900277.5A Pending CN111988185A (zh) 2020-08-31 2020-08-31 一种基于Barzilai-Borwein步长的多步通信分布式优化方法

Country Status (1)

Country Link
CN (1) CN111988185A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714165A (zh) * 2020-12-22 2021-04-27 声耕智能科技(西安)研究院有限公司 一种基于组合机制的分布式网络协作策略优化方法和装置
CN113064726A (zh) * 2021-04-01 2021-07-02 北京理工大学 基于稀疏性和Burer-Monteiro分解的分布式图像分割方法
CN113408741A (zh) * 2021-06-22 2021-09-17 重庆邮电大学 一种自适应网络拓扑的分布式admm机器学习方法
CN114386769A (zh) * 2021-12-14 2022-04-22 东南大学 智能电网中基于隐私保护的电能输出确定方法及设备
CN114662932A (zh) * 2022-03-24 2022-06-24 重庆邮电大学 一种节点分级的工作流类定时任务调度方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714165A (zh) * 2020-12-22 2021-04-27 声耕智能科技(西安)研究院有限公司 一种基于组合机制的分布式网络协作策略优化方法和装置
CN112714165B (zh) * 2020-12-22 2023-04-04 声耕智能科技(西安)研究院有限公司 一种基于组合机制的分布式网络协作策略优化方法和装置
CN113064726A (zh) * 2021-04-01 2021-07-02 北京理工大学 基于稀疏性和Burer-Monteiro分解的分布式图像分割方法
CN113064726B (zh) * 2021-04-01 2022-07-29 北京理工大学 基于稀疏性和Burer-Monteiro分解的分布式图像分割方法
CN113408741A (zh) * 2021-06-22 2021-09-17 重庆邮电大学 一种自适应网络拓扑的分布式admm机器学习方法
CN114386769A (zh) * 2021-12-14 2022-04-22 东南大学 智能电网中基于隐私保护的电能输出确定方法及设备
CN114386769B (zh) * 2021-12-14 2024-05-03 东南大学 智能电网中基于隐私保护的电能输出确定方法及设备
CN114662932A (zh) * 2022-03-24 2022-06-24 重庆邮电大学 一种节点分级的工作流类定时任务调度方法

Similar Documents

Publication Publication Date Title
CN111988185A (zh) 一种基于Barzilai-Borwein步长的多步通信分布式优化方法
Uribe et al. A dual approach for optimal algorithms in distributed optimization over networks
Bhimani et al. Accelerating K-Means clustering with parallel implementations and GPU computing
Liu et al. Multi-block ADMM for big data optimization in smart grid
Hinrichs et al. Distributed hybrid constraint handling in large scale virtual power plants
Graf et al. Distributed reinforcement learning with ADMM-RL
Mahdavi-Amiri et al. An effective nonsmooth optimization algorithm for locally Lipschitz functions
Zhang et al. On the convergence of event-triggered distributed algorithm for economic dispatch problem
Ayache et al. Private weighted random walk stochastic gradient descent
Pan Distributed optimization and statistical learning for large-scale penalized expectile regression
Li et al. Research and implementation of parallel artificial fish swarm algorithm based on ternary optical computer
Shi et al. Multi-cluster distributed optimization via random sleep strategy
Zarandi et al. A fuzzy reinforcement learning algorithm for inventory control in supply chains
Wu et al. Distributed safe resource allocation using barrier functions
Arabneydi et al. Reinforcement learning in deep structured teams: Initial results with finite and infinite valued features
Liu et al. A power reformulation continuous-time algorithm for nonconvex distributed constrained optimization over multi-agent systems
Ramadevi et al. Chaotic Sandpiper Optimization Based Virtual Machine Scheduling for Cyber-Physical Systems.
Li et al. D-SOP: Distributed second order proximal method for convex composite optimization
CN111817298B (zh) 含随机风能的多调度区间分布式能源调度方法及系统
Gratton et al. Distributed learning over networks with non-smooth regularizers and feature partitioning
CN116128019A (zh) Transformer模型的并行训练方法及装置
CN110414043B (zh) 一种基于离散迭代的双事件驱动分布式优化方法
Drąg et al. A chain smoothing Newton method for heat and mass transfer control with discrete variability DAE models
Wenzel et al. Quadratic approximation in price-based coordination of constrained systems-of-systems
Zhang et al. An accelerated algorithm for distributed optimization with Barzilai-Borwein step sizes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201124

RJ01 Rejection of invention patent application after publication