CN114827783B - 一种基于聚合树的跨域分布式机器学习的带宽调度方法 - Google Patents

一种基于聚合树的跨域分布式机器学习的带宽调度方法 Download PDF

Info

Publication number
CN114827783B
CN114827783B CN202210765251.3A CN202210765251A CN114827783B CN 114827783 B CN114827783 B CN 114827783B CN 202210765251 A CN202210765251 A CN 202210765251A CN 114827783 B CN114827783 B CN 114827783B
Authority
CN
China
Prior art keywords
wavelength
node
aggregation tree
link
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210765251.3A
Other languages
English (en)
Other versions
CN114827783A (zh
Inventor
刘玲
陈曦
吴涛
周攀
陈飞
曾锐
虞红芳
孙罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Minzu University
Original Assignee
Southwest Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Minzu University filed Critical Southwest Minzu University
Priority to CN202210765251.3A priority Critical patent/CN114827783B/zh
Publication of CN114827783A publication Critical patent/CN114827783A/zh
Application granted granted Critical
Publication of CN114827783B publication Critical patent/CN114827783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/0001Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062Network aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J14/00Optical multiplex systems
    • H04J14/02Wavelength-division multiplex systems
    • H04J14/0201Add-and-drop multiplexing
    • H04J14/0202Arrangements therefor
    • H04J14/021Reconfigurable arrangements, e.g. reconfigurable optical add/drop multiplexers [ROADM] or tunable optical add/drop multiplexers [TOADM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/0001Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062Network aspects
    • H04Q2011/0064Arbitration, scheduling or medium access control aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/0001Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062Network aspects
    • H04Q2011/0086Network resource allocation, dimensioning or optimisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/0001Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062Network aspects
    • H04Q2011/009Topology aspects
    • H04Q2011/0096Tree

Abstract

本发明提供了一种基于聚合树的跨域分布式机器学习的带宽调度方法,属于带宽调度技术领域,该方法包括如下步骤:步骤1:建立聚合树;步骤2:初始化波长;步骤3:获取每条链路的变量;步骤4:计算出波长;步骤5:检测聚合树上所有边的波长约束;步骤6:对于经过边e的任意链路,更新波长,并转至步骤5;步骤7:检测聚合树上所有节点的波长约束;步骤8:对于经过节点v的任意链路,更新波长,并转至步骤7;步骤9:获得聚合树上所有链路的波长分配集合后,对于网络中的其它边,随机分配波长,得到新拓扑;步骤10:返回波长分配集合及新拓扑。本发明可以定制化最适合的网络拓扑并为聚合树分配适合的带宽。

Description

一种基于聚合树的跨域分布式机器学习的带宽调度方法
技术领域
本发明涉及带宽调度技术领域,尤其是涉及一种基于聚合树的跨域分布式机器学习的带宽调度方法。
背景技术
机器学习已被广泛地应用于各种场景,如语音处理、计算机视觉和区块链等。在语音处理方面,机器学习可用于语音情感的识别、英语语音识别等场景;在计算机视觉方面,机器学习可用于图像识别、视频监控等场景;在区块链方面,机器学习可用于交易行为识别等场景。目前很多的机器学习应用需要使用跨越广域网的数据进行训练,以得到更精确的机器学习模型,这种训练场景被称为跨域分布式机器学习(Geo-Distributed MachineLearning,Geo-DML)。然而,受到稀缺的广域网带宽及数据隐私等限制,不可能把所有数据都跨越广域网传输到一个数据中心进行集中训练。因此,Geo-DML一般采用分层的训练架构,包含数据中心内部的本地模型同步(Local Model Synchronization,LMS)阶段和数据中心间的全局模型同步(Global Model Synchronization,GMS)阶段。首先,在数据中心内,多个计算节点共同完成本地模型训练,可以使用参数服务器架构或All-Reduce架构,其中一个节点(称为本地模型同步节点(Local Model Synchronization Node,LMSN))负责与其它数据中心交互本数据中心内的参数;接着,LMSN节点间跨广域网相互通信完成全局模型同步,每个LMSN节点再把新模型分发给本地数据中心内的计算节点。Geo-DML需要跨广域网执行模型同步,与高速的局域网带宽相比,稀缺的广域网带宽已成为Geo-DML训练的性能瓶颈。
虽然已有研究是针对稀缺的广域网带宽去加速Geo-DML,如减少跨域的全局模型同步频率、减少跨域传输的参数量等,但这些方法获得的性能提升始终受限于底层的网络带宽。因为广域网带宽相差可达12倍,具有最小带宽的链路就会阻碍GMS过程,从而延长训练时间。
近些年,越来越多的学者提出结合可重构的光广域网来加速上层应用。实际上,随着智能光器件——可重构的光分插复用器(Reconfigurable Optical Add DropMultiplexer,ROADM)的使用,现代广域网拓扑都是建立在可重构光层上,每个数据中心面向网络的路由器通过标准短波长连接到ROADM,数据中心间使用光纤进行连接。通过重新配置ROADM,可以改变光纤中承载的波长,从而改变网络层路由器端口的连通性,进而改变了网络层拓扑。另外,软件定义网络也广泛应用于广域网的设计中,它使光广域网可以利用完整的网络信息对网络拓扑进行全局重新配置。然而,大多数现有加速Geo-DML训练的方案都没有利用广域网拓扑的可重构性。目前已有结合可重构的光广域网拓扑来调度数据传输的方案,但它们是针对普通的批量数据传输或多播数据传输,数据传输起点和终点都是确定的,而对于Geo-DML训练来说,LMSN节点间没有固定的数据传输模式,且模型参数在传输过程中还可执行聚合操作以减少网络中的数据量,这样更有得于参数的同步。因此,现有针对批量数据或多播数据的传输算法也并不适用于Geo-DML。
针对光广域网中批量数据传输的调度方案。在传统方案中,数据传输的起点和目的节点都是提前确定的,需要确定拓扑结构,并为每一条数据流确定路径、速率等,目标一般是最小化所有流的传输时间。如Owan使用模拟退火算法最小化数据传输时间。在每一次迭代训练中,网络中传输的模型参数或更新都可以经过简单加法操作以减少网络中的数据量,这样可大大减少网络拥塞,加快参数同步。然而,这些方案中并没有有效利用DML训练的特点,性能提升受限。
针对光广域网中多播数据传输的调度方案。在传统方案中,针对每一个多播数据传输需求,建立多棵斯坦纳树,通过建立整数线性规划模型,使用松弛等技术求解每棵树的速率及拓扑的构建,目标是最大化满足时间要求的多播数据传输需求。Geo-DML训练的目标是尽快地收敛到理想模型精度,在训练之前,并不能确定训练结束的时间。对于每一次迭代,目的是加快模型的同步,以尽快进入下一次迭代,并没有规定完成每一次迭代的截止时间。因此,这些最大化满足时间需求的多播数据传输并不适合Geo-DML。
因此,有必要提供一种基于聚合树的跨域分布式机器学习的带宽调度方法。
发明内容
本发明提供了一种基于聚合树的跨域分布式机器学习的带宽调度方法,结合可执行数据聚合的聚合树和可重构光广域网拓扑,提出了RATree(ReconfigurableAggregation Tree)带宽调度方法,即对于每一个Geo-DML训练任务,定制化最适合的网络拓扑并为聚合树分配适合的带宽。
为实现上述目的,本发明采用了如下技术方案:
一种基于聚合树的跨域分布式机器学习的带宽调度方法,包括如下步骤:
步骤1:建立包含所有LMSN节点的聚合树;
步骤2:初始化聚合树上每条链路的初始波长为0,即链路的波长
Figure 836239DEST_PATH_IMAGE002
步骤3:基于聚合树获取聚合树上每条链路的变量
Figure 972953DEST_PATH_IMAGE004
步骤4:基于变量
Figure 487111DEST_PATH_IMAGE006
计算出波长
Figure 351162DEST_PATH_IMAGE008
骤5:检测聚合树上所有边的波长约束;若所有边都检测完成,则转至步骤7,否则,对于未检测的边e,计算经过边e的所有链路的波长之和,若经过边e的所有链路的波长之和小于或等于边e的波长容量,则转至步骤5,否则转至步骤6;
步骤6:对于经过边e的任意链路
Figure 899955DEST_PATH_IMAGE009
,更新波长
Figure 191259DEST_PATH_IMAGE010
Figure 176402DEST_PATH_IMAGE011
并转至步骤5;
其中,
Figure 844143DEST_PATH_IMAGE012
为波长;
Figure 247443DEST_PATH_IMAGE013
为边e的波长容量;
步骤7:检测聚合树上所有节点的波长约束,若所有节点都检测完成,则转至步骤9,否则,对于未检测的节点v,计算经过节点v的所有链路的波长之和,若经过节点v的所有链路的波长之和小于或等于节点v的波长容量,则转至步骤7,否则转至步骤8;
步骤8:对于经过节点v的任意链路
Figure 975227DEST_PATH_IMAGE014
,更新波长
Figure 198398DEST_PATH_IMAGE015
Figure 669831DEST_PATH_IMAGE016
并转至步骤7;
其中,
Figure 409861DEST_PATH_IMAGE017
为波长;
Figure 574126DEST_PATH_IMAGE018
为节点v的波长容量;
步骤9:获得聚合树上所有链路的波长分配集合
Figure 550172DEST_PATH_IMAGE019
后,对于网络中的其它边,在 满足节点和边的波长容量约束下,给所述其它边随机分配波长,从而得到新拓扑
Figure 294137DEST_PATH_IMAGE020
其中,节点
Figure 672029DEST_PATH_IMAGE021
和边
Figure 741616DEST_PATH_IMAGE022
分别代表ROADM及ROADM间的光纤,
Figure 188647DEST_PATH_IMAGE023
是指给网络中所有边分配 的波长集合;
步骤10:返回波长分配集合
Figure 1882DEST_PATH_IMAGE024
及新拓扑
Figure 968701DEST_PATH_IMAGE025
,至此,带宽调度 完成。
本发明公开的一个实施例中,步骤3中,使用线性规划求解器求解如下公式:
Figure 474769DEST_PATH_IMAGE027
Figure 894249DEST_PATH_IMAGE029
Figure 261907DEST_PATH_IMAGE031
Figure 83233DEST_PATH_IMAGE033
Figure 760202DEST_PATH_IMAGE035
Figure 932557DEST_PATH_IMAGE036
Figure 822016DEST_PATH_IMAGE037
得到聚合树上每条链路的变量
Figure 12694DEST_PATH_IMAGE038
其中,
Figure 860565DEST_PATH_IMAGE039
为聚合树上节点v的完成时间,即节点v上准备好数据的时间;
Figure 254637DEST_PATH_IMAGE040
为聚合 树上节点
Figure 213366DEST_PATH_IMAGE041
的完成时间,即节点
Figure 743704DEST_PATH_IMAGE042
上准备好数据的时间;
Figure 762476DEST_PATH_IMAGE043
为模型大小;
Figure 415084DEST_PATH_IMAGE044
为波长的带宽;
Figure 911925DEST_PATH_IMAGE045
为节点v的父节点和子节点的数量之和;
Figure 827928DEST_PATH_IMAGE046
为节点v的波长容量;
Figure 752022DEST_PATH_IMAGE047
为边e的波长容 量;
Figure 120686DEST_PATH_IMAGE048
为经过边e的所有链路总数;
Figure 670485DEST_PATH_IMAGE049
为从节点
Figure 440995DEST_PATH_IMAGE050
Figure 535990DEST_PATH_IMAGE051
的有向链路;
Figure 391950DEST_PATH_IMAGE052
为指示 函数,是指链路
Figure 496173DEST_PATH_IMAGE053
是否包含节点v;
Figure 606342DEST_PATH_IMAGE054
为指示函数,是指链路
Figure 137818DEST_PATH_IMAGE055
是否经过边e。
本发明公开的一个实施例中,步骤4中,根据
Figure 215495DEST_PATH_IMAGE056
计算出波长
Figure 123408DEST_PATH_IMAGE057
;其中,
Figure 602931DEST_PATH_IMAGE057
为波长;
Figure 305308DEST_PATH_IMAGE058
为模型大小;
Figure 385128DEST_PATH_IMAGE059
为波长的带宽;
Figure 565574DEST_PATH_IMAGE060
为链路的 变量。
本发明公开的一个实施例中,步骤5中,检测聚合树上所有边的波长约束;若所有边都检测完成,则转至步骤7,否则,对于未检测的边e,计算经过边e的所有链路的波长之和
Figure 165183DEST_PATH_IMAGE061
Figure 772881DEST_PATH_IMAGE062
则转至步骤5,否则转至步骤6;
其中,
Figure 90730DEST_PATH_IMAGE057
为波长;
Figure 557090DEST_PATH_IMAGE063
为边e的波长容量;
Figure 11205DEST_PATH_IMAGE064
为指示函数,是指边
Figure 55385DEST_PATH_IMAGE065
是否包 含节点v。
本发明公开的一个实施例中,步骤7中,检测聚合树上所有节点的波长约束,若所有节点都检测完成,则转至步骤9,否则,对于未检测的节点v,计算经过节点v的所有链路的波长之和
Figure 860530DEST_PATH_IMAGE066
Figure 382778DEST_PATH_IMAGE067
则转至步骤7,否则转至步骤8;
其中,
Figure 956979DEST_PATH_IMAGE068
为波长;
Figure 155748DEST_PATH_IMAGE069
为指示函数,是指链路
Figure 182610DEST_PATH_IMAGE070
是否包含节点v;
Figure 508549DEST_PATH_IMAGE071
为节点v 的波长容量。
综上所述,本发明至少具有以下有益效果:
本发明在全局模型同步阶段,使用了聚合树结构,可有效减少跨广域网传输的参数量,加快参数同步;
本发明可以针对不同训练任务,为聚合树的每条边分配适合的带宽,促进参数聚合和分发,提升训练效率;
本发明可以利用光广域网的可重构特性,根据不同训练任务的不同聚合树,重新配置适合该训练任务的广域网拓扑,根据训练任务信息定制化拓扑结构,提高了带宽利用率;
本发明结合可执行数据聚合的聚合树和可重构光广域网拓扑,提出了RATree(Reconfigurable Aggregation Tree)方案,即对于每一个Geo-DML训练任务,定制化最适合的网络拓扑并为聚合树分配适合的带宽。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一些实施例中所涉及的基于聚合树的跨域分布式机器学习的带宽调度方法的方法步骤示意图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明实施例的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
下文的公开提供了许多不同的实施方式或例子用来实现本发明实施例的不同结构。为了简化本发明实施例的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明实施例。此外,本发明实施例可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。
下面结合附图对本发明的实施例进行详细说明。
如图1所示,本实施例提供了一种基于聚合树的跨域分布式机器学习的带宽调度方法,包括如下步骤:
步骤1:建立包含所有LMSN节点的聚合树;
步骤2:初始化聚合树上每条链路的初始波长为0,即链路的波长
Figure 937256DEST_PATH_IMAGE072
步骤3:基于聚合树获取聚合树上每条链路的变量
Figure 57659DEST_PATH_IMAGE073
步骤4:基于变量
Figure 588128DEST_PATH_IMAGE074
计算出波长
Figure 452179DEST_PATH_IMAGE075
步骤5:检测聚合树上所有边的波长约束;若所有边都检测完成,则转至步骤7,否则,对于未检测的边e,计算经过边e的所有链路的波长之和,若经过边e的所有链路的波长之和小于或等于边e的波长容量,则转至步骤5,否则转至步骤6;
步骤6:对于经过边e的任意链路
Figure 735393DEST_PATH_IMAGE076
,更新波长
Figure 292276DEST_PATH_IMAGE077
Figure 293730DEST_PATH_IMAGE078
并转至步骤5;
其中,
Figure 210740DEST_PATH_IMAGE079
为波长;
Figure 348460DEST_PATH_IMAGE080
为边e的波长容量;
步骤7:检测聚合树上所有节点的波长约束,若所有节点都检测完成,则转至步骤9,否则,对于未检测的节点v,计算经过节点v的所有链路的波长之和,若经过节点v的所有链路的波长之和小于或等于节点v的波长容量,则转至步骤7,否则转至步骤8;
步骤8:对于经过节点v的任意链路
Figure 76244DEST_PATH_IMAGE081
,更新波长
Figure 564995DEST_PATH_IMAGE082
Figure 770848DEST_PATH_IMAGE083
并转至步骤7;
其中,
Figure 28654DEST_PATH_IMAGE084
为波长;
Figure 675143DEST_PATH_IMAGE085
为节点v的波长容量;
步骤9:获得聚合树上所有链路的波长分配集合
Figure 120030DEST_PATH_IMAGE086
后,对于网络中的其它边, 在满足节点和边的波长容量约束下,给所述其它边随机分配波长,从而得到新拓扑
Figure 395154DEST_PATH_IMAGE087
其中,节点
Figure 773046DEST_PATH_IMAGE089
和边
Figure 577054DEST_PATH_IMAGE091
分别代表ROADM及ROADM间的光纤,
Figure 289664DEST_PATH_IMAGE092
是指给网络中所有边 分配的波长集合;
步骤10:返回波长分配集合
Figure 837320DEST_PATH_IMAGE093
及新拓扑
Figure 804139DEST_PATH_IMAGE095
,至此,带宽 调度完成。
在一些实施例中,步骤3中,使用线性规划求解器求解如下公式:
Figure 44627DEST_PATH_IMAGE096
Figure 995266DEST_PATH_IMAGE097
Figure 97345DEST_PATH_IMAGE098
Figure 184250DEST_PATH_IMAGE099
Figure 595639DEST_PATH_IMAGE100
Figure 767995DEST_PATH_IMAGE101
Figure 657453DEST_PATH_IMAGE102
得到聚合树上每条链路的变量
Figure 864444DEST_PATH_IMAGE104
其中,
Figure 696002DEST_PATH_IMAGE106
为聚合树上节点v的完成时间,即节点v上准备好数据的时间;
Figure 90075DEST_PATH_IMAGE107
为聚合 树上节点
Figure 48803DEST_PATH_IMAGE108
的完成时间,即节点
Figure 844721DEST_PATH_IMAGE109
上准备好数据的时间;
Figure 863493DEST_PATH_IMAGE110
为模型大小;
Figure 492664DEST_PATH_IMAGE111
为波长的带宽;
Figure 989504DEST_PATH_IMAGE112
为节点v的父节点和子节点的数量之和;
Figure 639928DEST_PATH_IMAGE113
为节点v的波长容量;
Figure 829601DEST_PATH_IMAGE114
为边e的波长容量;
Figure 463845DEST_PATH_IMAGE115
为经过边e的所有链路总数;
Figure 498797DEST_PATH_IMAGE116
为从节点
Figure 518574DEST_PATH_IMAGE117
Figure 613569DEST_PATH_IMAGE119
的有向链路;
Figure 735109DEST_PATH_IMAGE121
为指示函 数,是指链路
Figure 308173DEST_PATH_IMAGE122
是否包含节点v;
Figure 198769DEST_PATH_IMAGE123
为指示函数,是指链路
Figure 215397DEST_PATH_IMAGE122
是否经过边e。
在一些实施例中,步骤4中,根据
Figure 558654DEST_PATH_IMAGE124
计算出波长
Figure 466567DEST_PATH_IMAGE125
;其中,
Figure 946090DEST_PATH_IMAGE126
为波长;
Figure 648467DEST_PATH_IMAGE127
为模型大小;
Figure 213440DEST_PATH_IMAGE128
为波长的带宽;
Figure 643153DEST_PATH_IMAGE129
为链路的 变量。
在一些实施例中,步骤5中,检测聚合树上所有边的波长约束;若所有边都检测完成,则转至步骤7,否则,对于未检测的边e,计算经过边e的所有链路的波长之和
Figure 242762DEST_PATH_IMAGE130
Figure 116040DEST_PATH_IMAGE131
则转至步骤5,否则转至步骤6;
其中,
Figure 433889DEST_PATH_IMAGE132
为波长;
Figure 152446DEST_PATH_IMAGE133
为边e的波长容量;
Figure 354364DEST_PATH_IMAGE134
为指示函数,是指边
Figure 398543DEST_PATH_IMAGE135
是否 包含节点v。
在一些实施例中,步骤7中,检测聚合树上所有节点的波长约束,若所有节点都检测完成,则转至步骤9,否则,对于未检测的节点v,计算经过节点v的所有链路的波长之和
Figure 938109DEST_PATH_IMAGE136
Figure 725937DEST_PATH_IMAGE137
则转至步骤7,否则转至步骤8;
其中,
Figure 34558DEST_PATH_IMAGE138
为波长;
Figure 249639DEST_PATH_IMAGE139
为指示函数,是指链路
Figure 525768DEST_PATH_IMAGE140
是否包含节点v;
Figure 851707DEST_PATH_IMAGE141
为节点v 的波长容量。
综上,本发明的发明构思如下:
本方案主要针对跨域的全局模型同步阶段GMS,不关注数据中心内部的局部模型同步LMS。由于树结构可以有效减少网络中传输的数据量,本方案结合可重构的光广域网拓扑和树结构来优化全局模型同步时间(Global Model Synchronization Time,GMST)。对于节点固定的树结构,不同的网络拓扑结构和不同的波长分配都会使得聚合树上的边的带宽不同,则模型参数经聚合树执行全局同步的完成时间也不同。因此,需要合理地规划网络拓扑及聚合树上边的带宽。对于每一个Geo-DML训练任务,首先建立一棵包含所有LMSN节点的聚合树,然后建立数学模型,经过等式变换等操作最后求解出新拓扑的结构及树上每条边分配的带宽。本发明所要解决的问题:在光广域网中,如何配置树中每条边的带宽才能最小化每一轮迭代的全局模型同步时间。
首先,网络模型中,把整个光广域网抽像成一个无向图
Figure 280415DEST_PATH_IMAGE142
,其中 节点
Figure 400818DEST_PATH_IMAGE143
和边
Figure 180555DEST_PATH_IMAGE144
分别代表ROADM及ROADM间的光纤,
Figure 795338DEST_PATH_IMAGE145
表示为光纤分配的初始波长。受光学技 术和光应答器数量的限制,每条光纤和ROADM上能承载的波长数量是有限的,即边和节点的 波长约束。假设每一个节点
Figure 78552DEST_PATH_IMAGE146
和每一条边
Figure 635435DEST_PATH_IMAGE147
分配的最大波长数量分别为
Figure 636889DEST_PATH_IMAGE148
Figure 39052DEST_PATH_IMAGE149
。另 外,一条边可以允许在两个方向上传输数据,因此为每条边引入两条虚拟定向链路,且这两 条定向链路上分配的波长总数不超过边的最大波长容量。
接着,数学模型中,本方案的目标是通过利用可重构拓扑来重新构建Geo-DML任务的聚合树来减少GMST,这涉及到为树的每条边分配波长。对于每一棵树,由于没有其它树共享同一条边或链路,则为该树的每条边分配波长就相当于分配带宽。因此,给定训练任务的聚合树,本方案需要根据当前广域网状态,同时考虑ROADM(节点)和光纤(边)约束,确定树中每条边的波长分配,然后将剩余的波长分配给其他光纤,从而得到一个新的拓扑结构。假设全局模型同步过程中的参数聚合和分发使用相同的路径和速率,则本方案只需要优化参数聚合阶段。
建立数学模型如下:
Figure 442351DEST_PATH_IMAGE150
(1)
Figure 684982DEST_PATH_IMAGE151
Figure 111416DEST_PATH_IMAGE152
(1a)
Figure 582848DEST_PATH_IMAGE153
Figure 840654DEST_PATH_IMAGE154
(1b)
Figure 221564DEST_PATH_IMAGE155
Figure 197610DEST_PATH_IMAGE156
Figure 472733DEST_PATH_IMAGE157
Figure 319467DEST_PATH_IMAGE158
Figure 654633DEST_PATH_IMAGE159
(1c)
Figure 852396DEST_PATH_IMAGE160
(1d)
Figure 914899DEST_PATH_IMAGE161
Figure 147297DEST_PATH_IMAGE162
(1e)
其中,公式(1)是模型的目标,即最小化聚合阶段的完成时间。当根节点收到所有 子节点的数据后,执行数据聚合并更新参数,并把新参数按原路径分发到每个LMSN节点。约 束(1a)是节点约束,对于聚合树上的任意节点v,它到父节点和到子节点的所有链路上分配 的波长总数不能大于节点v的最大波长容量。其中指示函数
Figure 122207DEST_PATH_IMAGE163
是指链路
Figure 807266DEST_PATH_IMAGE164
是否包含 节点v。约束(1b)是指每条边上的链路分配的波长总和要满足边的波长约束。其中指示函数
Figure 909345DEST_PATH_IMAGE165
代表边
Figure 996250DEST_PATH_IMAGE164
是否经过边e。约束(1c)表示对于每个具有子节点的节点,其完成时间等 于最慢的子节点传输时间。
Figure 142060DEST_PATH_IMAGE167
表示从节点
Figure 314416DEST_PATH_IMAGE168
到v的有向链路。约束(1d)表示当所有节 点完成数据聚合时参数聚合阶段才完成。
由于约束(1c)不是线性的,不能使用线性规划(Linear Programming,LP)求解器进行求解。因此,引入新变量
Figure 469454DEST_PATH_IMAGE169
则约束(1a)、约束(1b)、约束(1c)依次变为:
Figure 410865DEST_PATH_IMAGE170
(1f)
Figure 242423DEST_PATH_IMAGE171
(1g)
Figure 902075DEST_PATH_IMAGE172
(1h)
注意,约束(1f)不是线性的,根据平均值不等式
Figure 860804DEST_PATH_IMAGE173
可得:
Figure 656721DEST_PATH_IMAGE174
其中,
Figure 675493DEST_PATH_IMAGE175
是指节点v的父节点和子节点的数量之和,进而可得:
Figure 39085DEST_PATH_IMAGE176
(1i)
同样地,约束(1g)可变为:
Figure 801504DEST_PATH_IMAGE177
(1j)
其中,
Figure 451929DEST_PATH_IMAGE178
表示经过边e的所有链路总数。
经过上述变换,公式(1)可变为:
Figure 641601DEST_PATH_IMAGE179
(2)
Figure 275845DEST_PATH_IMAGE180
Figure 310797DEST_PATH_IMAGE181
Figure 330575DEST_PATH_IMAGE182
(1h)
Figure 425570DEST_PATH_IMAGE183
(1i)
Figure 281530DEST_PATH_IMAGE184
(1j)
Figure 120173DEST_PATH_IMAGE185
Figure 10769DEST_PATH_IMAGE186
(1d)
至此,公式(2)的约束全部是线性的,可以用LP求解器直接求解。当得到
Figure 542244DEST_PATH_IMAGE187
后,可 以通过
Figure 370654DEST_PATH_IMAGE188
计算出
Figure 12988DEST_PATH_IMAGE189
。然而,得到的
Figure 492511DEST_PATH_IMAGE190
并不总能满足约束(1a)和(1b),约束(1i)和(1j)扩展 并改变了初始的
Figure 194888DEST_PATH_IMAGE191
,因此需要调整
Figure 759861DEST_PATH_IMAGE192
以满足约束。
虽然根据
Figure 455154DEST_PATH_IMAGE191
得到的
Figure 54762DEST_PATH_IMAGE193
不能总是满足节点和边的约束,但得到的值也能反映链 路上波长分配的趋势。因此,从聚合树的根节点开始,对于每条链路
Figure 131303DEST_PATH_IMAGE194
,RATree根据
Figure 665796DEST_PATH_IMAGE195
按比 例逐个修正
Figure 915512DEST_PATH_IMAGE195
值,直到所有节点和边都满足波长约束,具体步骤如下:
输入:
1、模型大小S
2、节点的波长容量
Figure 369627DEST_PATH_IMAGE196
3、边的波长容量
Figure 413806DEST_PATH_IMAGE197
4、波长的带宽C
5、子节点集合
Figure 687793DEST_PATH_IMAGE198
输出:聚合树上链路波长
Figure 475620DEST_PATH_IMAGE199
以及新拓扑
Figure 299088DEST_PATH_IMAGE200
步骤1:建立一棵包含所有LMSN节点的聚合树;
步骤2:初始化聚合树上每条链路的初始波长为0,即链路波长
Figure 248590DEST_PATH_IMAGE201
步骤3:使用LP求解器求解公式(2),得到聚合树上每条链路的
Figure 541031DEST_PATH_IMAGE202
步骤4:根据
Figure 601391DEST_PATH_IMAGE203
计算出
Figure 295677DEST_PATH_IMAGE204
步骤5:检测聚合树上所有边的波长约束,若所有边都检测完成,则转至步骤7,否 则对于未检测的边e,计算经过边e的所有链路的波长之和
Figure 166813DEST_PATH_IMAGE205
,若
Figure 680970DEST_PATH_IMAGE206
,则转至步骤5,否则转至步骤6;
步骤6:对于经过边e的任意链路
Figure 545021DEST_PATH_IMAGE207
,更新
Figure 93814DEST_PATH_IMAGE208
,转至步骤5;
步骤7:检测聚合树上所有节点的波长约束,若所有节点都检测完成,则转至步骤 9,否则对于未检测的节点v,计算经过节点v的所有链路的波长之和
Figure 385118DEST_PATH_IMAGE209
,如果
Figure 386572DEST_PATH_IMAGE210
,则转至步骤7,否则转至步骤8;
步骤8:对于经过节点v的任意链路
Figure 303582DEST_PATH_IMAGE211
,更新
Figure 706881DEST_PATH_IMAGE212
,转至步骤7;
步骤9:获得聚合树上所有链路的波长分配
Figure 169087DEST_PATH_IMAGE213
后,对于网络中的其它边,在满足 节点和边的波长容量约束下,给这些边随机分配波长,从而得到新拓扑
Figure 392258DEST_PATH_IMAGE214
, 其中
Figure 129269DEST_PATH_IMAGE215
是指给网络中所有边分配的波长集合,其中每一个元素
Figure 892736DEST_PATH_IMAGE216
代表为边e分 配的
Figure 525843DEST_PATH_IMAGE217
个波长;
步骤10:返回
Figure 501889DEST_PATH_IMAGE218
Figure 511434DEST_PATH_IMAGE219
至此,配置完树中每条边的带宽,以及得到新的网络拓扑结构。
本发明中所用到的符号定义:
Geo-DML:跨域分布式机器学习(Geo-Distributed Machine Learning);
DML:分布式机器学习(Distributed Machine Learning);
RATree:可重构聚合树算法(Reconfigurable Aggregation Tree);
GMS:全局模型同步(Global Model Synchronization);
LMS:本地模型同步(Local Model Synchronization);
LMSN:本地模型同步节点(Local Model Synchronization Node);
ROADM:可重构的光分插复用器(Reconfigurable Optical Add DropMultiplexer);
GMST:全局模型同步时间(Global Model Synchronization Time);
Figure 607434DEST_PATH_IMAGE220
:节点v的波长容量;
Figure 942601DEST_PATH_IMAGE221
:边e的波长容量;
Figure 874785DEST_PATH_IMAGE222
:聚合树上的链路集合;
Figure 953599DEST_PATH_IMAGE223
:聚合树上的节点集合;
Figure 654839DEST_PATH_IMAGE224
:聚合树上的边集合;
Figure 160907DEST_PATH_IMAGE225
:模型大小;
Figure 331119DEST_PATH_IMAGE226
:一个波长的带宽;
Figure 948045DEST_PATH_IMAGE227
:聚合树上节点v的子节点集合;
Figure 769371DEST_PATH_IMAGE228
:有向链路
Figure 446340DEST_PATH_IMAGE229
上分配的波长;
Figure 353116DEST_PATH_IMAGE230
:全局模型同步阶段的聚合过程的完成时间;
Figure 23000DEST_PATH_IMAGE231
:聚合树上节点v的完成时间,即节点v上准备好数据的时间;
Figure 964412DEST_PATH_IMAGE232
:线性规划(Linear Programming)。
为了进一步说明本发明的技术方案,下面简单列举本发明在实际中的应用:
一是本发明在套现风险评估中的应用示例
套现,套取现金的简称,一般是指用违法或虚假的手段交换取得现金利益。排查套现的效率和准确率已成为银行关注的风控热点问题之一。目前,很多银行在全球各个地方都有分行,每个银行为当地用户服务,当地银行系统中也存储着用户相关数据信息,如交易记录。银行风控人员通过分析这些交易记录,可以排查套现风险。但通过人工分析或传统套现规则识别套现行为容易发生误判、漏判。使用机器学习可以帮助风控人员分析、挖掘出隐藏更深的非法套现行为,有效提升套现风险评估的效率和准确率。为了建立一个更加高效、完整的套现判定模型,需要使用这些分布在全球的各个银行的交易数据,但受制于隐私、数据保护等约束,不可能把所有数据跨越广域网集中到一个银行的数据中心执行机器学习模型训练。因此,这些银行分支可以通过广域网共同训练套现判定模型。
本发明的技术方案在此进行应用的使用步骤如下:
(1.1)根据RATree计算出全局模型传输相关的新拓扑及聚合树带宽分配方案X,通过调整可重构的光分插复用器(ROADM)为每条光纤分配波长,使得原拓扑变成新拓扑;
(1.2)为每个银行分配一个初始套现判定模型;
(1.3)每个银行根据本地的交易数据及分配到的模型进行训练;
(1.4)本地银行被称为LMSN的节点把训练好的本地模型的参数或更新按照方案X发送到父节点或者等待其子节点的数据,当父节点执行完数据聚合后,再把新数据发送到它的父节点,直到根节点执行完数据聚合;
(1.5)最后根节点把更新后的模型沿聚合树原路发送给每个银行,再重复步骤(1.3-1.5)。
按照上述步骤迭代多次到模型收敛。最后,每个银行就拥有了一个比较完整的套现判定模型,通过输入交易信息,通过该模型可以判定是否存在套现风险。
二是本发明在运营商客户行为分析中的应用示例
目前,很多地区同时存在多家运营商,每个用户都可以从中选择一家或多家运营商,运营商之间的竞争也越来越激烈。为了有效维护在网用户或减少用户的流失,对运营商客户行为进行分析是非常有必要的。对于每一家运营商,为了建立一个更加高效、完整的客户行为分析判定模型,需要使用这些分布在全球的各个运营商分支的用户信息,但受制于隐私、数据保护等约束,不可能把所有数据跨越广域网集中到一个运营商分支的数据中心执行机器学习模型训练。因此,这些运营商分支可以通过广域网共同训练客户行为判定模型。
本发明的技术方案在此进行应用的使用步骤如下:
(2.1)根据RATree计算出全局模型传输相关的新拓扑及聚合树带宽分配方案X,通过调整可重构的光分插复用器(ROADM)为每条光纤分配波长,使得原拓扑变成新拓扑;
(2.2)为每个运营商分支分配一个初始套现判定模型;
(2.3)每个运营商分支根据本地的用户数据及分配到的模型进行训练;
(2.4)本地运营商分支被称为LMSN的节点把训练好的本地模型的参数或更新按照方案X发送到父节点或者等待其子节点的数据,当父节点执行完数据聚合后,再把新数据发送到它的父节点,直到根节点执行完数据聚合;
(2.5)最后根节点把更新后的模型沿聚合树原路发送给每个运营商分支,再重复步骤(2.3-2.5)。
按照上述步骤迭代多次到模型收敛。最后,每个运营商分支就拥有了一个比较完整的客户行为判定模型,通过输入用户相关信息,通过该模型可以判定用户行为,比如是否存在离网意愿。
综上,本发明技术方案带来的有益效果为:
(1)在全局模型同步阶段,使用了聚合树结构,可有效减少跨广域网传输的参数量,加快参数同步。
(2)针对不同训练任务,为聚合树的每条边分配适合的带宽,促进参数聚合和分发,提升训练效率。
(3)利用光广域网的可重构特性,根据不同训练任务的不同聚合树,重新配置适合该训练任务的广域网拓扑。根据训练任务信息定制化拓扑结构,提高了带宽利用率。
值得注意的是,将本发明应用在除上述涉及的其他领域外时,只需要更换相关训练数据即可。
以上所述实施例是用以说明本发明,并非用以限制本发明,所以举例数值的变更或等效元件的置换仍应隶属本发明的范畴。
由以上详细说明,可使本领域普通技术人员明了本发明的确可达成前述目的,实已符合专利法的规定。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,应当指出的是,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
应当注意的是,上述有关流程的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
上文已对基本概念做了描述,显然,对于阅读此申请后的本领域的普通技术人员来说,上述发明披露仅作为示例,并不构成对本申请的限制。虽然此处并未明确说明,但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例有关的某一特征、结构或特性。因此,应当强调并注意的是,本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域的普通技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的过程、机器、产品或物质的组合,或对其任何新的和有用的改进。因此,本申请的各个方面可以完全由硬件实施、可以完全由软件(包括固件、常驻软件、微代码等)实施、也可以由硬件和软件组合实施。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外,本申请的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式,其中计算机可读程序代码包含在其中。
本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写,包括如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等的面向对象程序设计语言、如C程序设计语言、VisualBasic、Fortran2103、Perl、COBOL2102、PHP、ABAP的常规程序化程序设计语言、如Python、Ruby和Groovy的动态程序设计语言或其它程序设计语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,尽管上述各种组件的实现可以体现在硬件设备中,但是它也可以实现为纯软件解决方案,例如,在现有服务器或移动设备上的安装。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请的实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。然而,本申请的该方法不应被解释为反映所申明的客体需要比每个权利要求中明确记载的更多特征的意图。相反,发明的主体应具备比上述单一实施例更少的特征。

Claims (3)

1.一种基于聚合树的跨域分布式机器学习的带宽调度方法,其特征在于,包括如下步骤:
步骤1:建立包含所有本地模型同步节点的聚合树;
步骤2:初始化聚合树上每条链路的初始波长为0,即链路的波长wl=0;
步骤3:基于聚合树获取聚合树上每条链路的变量pl
步骤4:基于变量pl计算出波长wl
步骤5:检测聚合树上所有边的波长约束;若所有边都检测完成,则转至步骤7,否则,对于未检测的边e,计算经过边e的所有链路的波长之和∑lwlI(v∈e);
若∑lwlI(v∈e)≤Re,则转至步骤5,否则转至步骤6;
其中,wl为波长;Re为边e的波长容量;I(v∈e)为指示函数,是指边e是否包含节点v;
步骤6:对于经过边e的任意链路l,更新波长wl
Figure FDA0003754967630000011
并转至步骤5;
其中,wl为波长;Re为边e的波长容量;
步骤7:检测聚合树上所有节点的波长约束,若所有节点都检测完成,则转至步骤9,否则,对于未检测的节点v,计算经过节点v的所有链路的波长之和∑lwlI(v∈l);
若∑lwlI(v∈l)≤Qv,则转至步骤7,否则转至步骤8;
其中,wl为波长;I(v∈l)为指示函数,是指链路l是否包含节点v;Qv为节点v的波长容量;
步骤8:对于经过节点v的任意链路l,更新波长wl
Figure FDA0003754967630000012
并转至步骤7;
其中,wl为波长;Qv为节点v的波长容量;
步骤9:获得聚合树上所有链路的波长分配集合[wl]后,对于网络中的其它边,在满足节点和边的波长容量约束下,给所述其它边随机分配波长,从而得到新拓扑G=(D,F,W);
其中,节点D和边F分别代表可重构的光分插复用器及可重构的光分插复用器间的光纤,W是指给网络中所有边分配的波长集合;
步骤10:返回波长分配集合[wl]及新拓扑G=(D,F,W)。
2.根据权利要求1所述的基于聚合树的跨域分布式机器学习的带宽调度方法,其特征在于,步骤3中,使用线性规划求解器求解如下公式:
mint
tv-tv′≥pl,l=(v′,v);
Figure FDA0003754967630000021
Figure FDA0003754967630000022
Figure FDA0003754967630000023
得到聚合树上每条链路的变量pl
其中,tv为聚合树上节点v的完成时间,即节点v上准备好数据的时间;tv′为聚合树上节点v′的完成时间,即节点v′上准备好数据的时间;S为模型大小;C为波长的带宽;nv为节点v的父节点和子节点的数量之和;Qv为节点v的波长容量;Re为边e的波长容量;ne为经过边e的所有链路总数;(v′,v)为从节点v′到v的有向链路;I(v∈l)为指示函数,是指链路l是否包含节点v;I(l∈e)为指示函数,是指链路l是否经过边e。
3.根据权利要求1所述的基于聚合树的跨域分布式机器学习的带宽调度方法,其特征在于,步骤4中,根据
Figure FDA0003754967630000024
计算出波长wl;其中,wl为波长;S为模型大小;C为波长的带宽;pl为链路的变量。
CN202210765251.3A 2022-07-01 2022-07-01 一种基于聚合树的跨域分布式机器学习的带宽调度方法 Active CN114827783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210765251.3A CN114827783B (zh) 2022-07-01 2022-07-01 一种基于聚合树的跨域分布式机器学习的带宽调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210765251.3A CN114827783B (zh) 2022-07-01 2022-07-01 一种基于聚合树的跨域分布式机器学习的带宽调度方法

Publications (2)

Publication Number Publication Date
CN114827783A CN114827783A (zh) 2022-07-29
CN114827783B true CN114827783B (zh) 2022-10-14

Family

ID=82522491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210765251.3A Active CN114827783B (zh) 2022-07-01 2022-07-01 一种基于聚合树的跨域分布式机器学习的带宽调度方法

Country Status (1)

Country Link
CN (1) CN114827783B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04234243A (ja) * 1990-12-28 1992-08-21 Nec Corp 光ローカルエリアネットワークシステムの媒体アクセス方式
CN105827322A (zh) * 2016-05-09 2016-08-03 中国联合网络通信集团有限公司 波长分配方法及装置
CN111279742A (zh) * 2017-11-06 2020-06-12 T移动美国公司 电信网络流量的频谱共享系统
CN113392863A (zh) * 2020-03-13 2021-09-14 深圳云天励飞技术有限公司 一种机器学习训练数据集的获取方法、获取装置及终端
CN113641462A (zh) * 2021-10-14 2021-11-12 西南民族大学 基于强化学习的虚拟网络层次化分布式部署方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057907B2 (en) * 2018-11-26 2021-07-06 T-Mobile Usa, Inc. Spectrum sharing optimization within a base station node

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04234243A (ja) * 1990-12-28 1992-08-21 Nec Corp 光ローカルエリアネットワークシステムの媒体アクセス方式
CN105827322A (zh) * 2016-05-09 2016-08-03 中国联合网络通信集团有限公司 波长分配方法及装置
CN111279742A (zh) * 2017-11-06 2020-06-12 T移动美国公司 电信网络流量的频谱共享系统
CN113392863A (zh) * 2020-03-13 2021-09-14 深圳云天励飞技术有限公司 一种机器学习训练数据集的获取方法、获取装置及终端
CN113641462A (zh) * 2021-10-14 2021-11-12 西南民族大学 基于强化学习的虚拟网络层次化分布式部署方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Andrew Tanny Liem ; Green Arther Sandag ; I-Shyan Hwang ; AliAkbar Nik.Delay analysis of dynamic bandwidth allocation for triple-play-services in EPON.《2017 5th International Conference on Cyber and IT Service Management (CITSM)》.2017, *
杜鑫乐 ; 徐恪 ; 李彤 ; 郑凯 ; 付松涛.数据中心网络的流量控制:研究现状与趋势.《计算机学报》.2021, *
邓伟健 ; 陈曦.基于时变资源的容器化虚拟网络映射算法.《计算机应用》.2021, *

Also Published As

Publication number Publication date
CN114827783A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN109768940B (zh) 多业务sdn网络的流量分配方法及装置
US11153229B2 (en) Autonomic resource partitions for adaptive networks
EP2742648B1 (en) Network capacity management system and method
CN110033078A (zh) 一种基于树状拓扑的计算系统及方法
JP5427640B2 (ja) 決定木生成装置、決定木生成方法、及びプログラム
CN109543726A (zh) 一种训练模型的方法及装置
CN113341712B (zh) 无人机自主控制系统智能分层递阶控制选择方法
CN108111335A (zh) 一种调度和链接虚拟网络功能的方法及系统
Rkhami et al. On the use of graph neural networks for virtual network embedding
Wang et al. QoS-aware virtual SDN network planning
CN110830570A (zh) 软件定义网络中鲁棒的有限控制器资源均衡部署方法
Klinkowski et al. A simulated annealing heuristic for a branch and price-based routing and spectrum allocation algorithm in elastic optical networks
Lee et al. Accurate and fast federated learning via IID and communication-aware grouping
Zhu et al. Double-agent reinforced vNFC deployment in EONs for cloud-edge computing
WO2017215440A1 (zh) 一种通信系统设计方法、装置及通信系统
Chen et al. A routing optimization method for software-defined optical transport networks based on ensembles and reinforcement learning
Pinyoanuntapong et al. Toward scalable and robust AIoT via decentralized federated learning
CN114827783B (zh) 一种基于聚合树的跨域分布式机器学习的带宽调度方法
Basu et al. Drive: Dynamic resource introspection and vnf embedding for 5g using machine learning
Tolosana-Calasanz et al. End-to-end qos on shared clouds for highly dynamic, large-scale sensing data streams
CN107204998A (zh) 处理数据的方法和装置
US11816548B2 (en) Distributed learning using ensemble-based fusion
CN110958192A (zh) 一种基于虚拟交换机的虚拟数据中心资源分配系统及方法
CN116074403A (zh) 一种多协议融合通信方法、装置及架构
CN110662272A (zh) 一种基于蜂群无人机的最少数量领航者选取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant