CN118158092A - 一种算力网络调度方法、装置及电子设备 - Google Patents
一种算力网络调度方法、装置及电子设备 Download PDFInfo
- Publication number
- CN118158092A CN118158092A CN202410579727.3A CN202410579727A CN118158092A CN 118158092 A CN118158092 A CN 118158092A CN 202410579727 A CN202410579727 A CN 202410579727A CN 118158092 A CN118158092 A CN 118158092A
- Authority
- CN
- China
- Prior art keywords
- scheduling
- computing power
- path
- determining
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000011156 evaluation Methods 0.000 claims abstract description 181
- 238000005259 measurement Methods 0.000 claims abstract description 154
- 238000004364 calculation method Methods 0.000 claims abstract description 105
- 238000007906 compression Methods 0.000 claims description 76
- 230000006835 compression Effects 0.000 claims description 76
- 230000006399 behavior Effects 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 3
- 238000013439 planning Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000013468 resource allocation Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/12—Shortest path evaluation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/24—Multipath
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种算力网络调度方法、装置及电子设备,涉及信息网络技术领域,以解决现有技术不能够实现“算+网”资源的最优化配置的问题。该方法包括:确定满足业务需求的算力资源集;根据算力资源集中各算力资源的度量因子的衡量指标确定各算力资源的第一评价值,确定第一评价值最高的K个算力资源为候选算力资源集;确定从每一原点到每一目标点的路径集,得到N个路径集;将从N个路径集内的路径之间进行组合得到多个调度路径集;根据每个调度路径集的相交度和各条路径上度量因子的衡量指标,确定每个调度路径集的综合评价值,确定综合评价值最高的调度路径集为推荐调度路径集;根据算力需求总量和推荐调度路径集,进行算力网络调度。
Description
技术领域
本申请涉及信息网络技术领域,尤其涉及一种算力网络调度方法、装置及电子设备。
背景技术
构建新型算力网络是指根据业务需求实现算力和网络资源的最优配置,达到资源的精细化运营。目前业界在这方面的研究还处于探索建设阶段,现有的一些资源调度方案,一类主要是侧重于对云计算的算力资源,进行资源池内或者跨资源池的算力分配,由于不考虑网络因素,对于算力和网络缺少统一的调度系统,难以实现“算+网”资源的最优化配置;另一类是针对资源需求,基于网络最短路径选取算力资源,但由于可能选择相同路径而造成链路利用率不均衡,通过引入多路负载虽然可以提升网络的利用率,但同时又破坏了业务对网络的差异化需求,如时延、抖动、可靠性等。
可见,现有单纯基于算力最优或者网络最优原则设计调度方案,会导致算力分配不均,且缺少统一的算网调度系统,不能够实现“算+网”资源的最优化配置,即不能保证算力和网络的利用率同时达到最优化。
发明内容
本申请实施例提供一种算力网络调度方法、装置及电子设备,以解决现有技术不能够实现“算+网”资源的最优化配置的问题。
第一方面,本申请实施例提供了一种算力网络调度方法,包括:
确定满足业务需求的算力资源集;
根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;
分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;
将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;
根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;
根据算力需求总量和所述推荐调度路径集,进行算力网络调度。
可选地,所述根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,包括:
根据第一算力资源的各项度量因子的衡量指标,确定所述第一算力资源的各项度量因子对应的初始评价值,其中,所述第一算力资源为所述算力资源集中任一算力资源;
利用所述各项度量因子分配的权重,对所述第一算力资源的各项度量因子对应的初始评价值进行加权,确定所述第一算力资源的第一评价值。
可选地,所述根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,包括:
对第一调度路径集中每两条路径的相交度进行累加求和,确定所述第一调度路径集的总体相交度,所述第一调度路径集为所述多个调度路径集中任一调度路径集;
利用反比函数对所述第一调度路径集的总体相交度进行转换,确定所述第一调度路径集的第二评价值;
确定所述多个调度路径集中的L个调度路径集为候选调度路径集,其中,所述L个调度路径集的第二评价值均高于所述多个调度路径集中除所述L个调度路径集外的其他调度路径集的第二评价值,L为正整数;
根据各所述候选调度路径集中各条路径上的各项度量因子的衡量指标对应的初始评价值,确定各所述候选调度路径集的第三评价值;
利用所述第二评价值和所述第三评价值各自分配的权重,对各所述候选调度路径集的第二评价值和第三评价值进行加权,确定各所述候选调度路径集的综合评价值;
确定综合评价值最高的候选调度路径集为推荐调度路径集。
可选地,所述根据算力需求总量和所述推荐调度路径集,进行算力网络调度,包括:
根据算力需求总量和所述候选算力资源集中各候选算力资源的第一评价值在所述候选算力资源集的第一评价值总和中的占比,对所述各候选算力资源进行算力均衡分配,确定所述各候选算力资源的算力分配结果;
根据所述各候选算力资源的算力分配结果和所述推荐调度路径集,进行算力网络调度。
可选地,所述以所述候选算力资源集中的各候选算力资源对应的各云资源池为目标点,确定从每一原点到每一所述目标点的路径集之前,所述方法还包括:
以各云资源池和网络中的各路由设备作为节点,节点之间的路径作为边,构建所述云网地图,其中,所述云网地图中的各节点和边上均关联有对应的属性信息。
可选地,所述根据算力需求总量和所述推荐调度路径集,进行算力网络调度之后,所述方法还包括:
定期采集预设调度因子的指标数据,其中,所述预设调度因子包括当前调度的算力资源的度量因子和当前调度路径集中各条路径上的度量因子;
按照预设的压缩窗口,对每个压缩窗口期内采集的指标数据集进行压缩,得到每个压缩窗口的压缩值;
确定所述每个压缩窗口的压缩值对应的权重,其中,压缩窗口的压缩值对应的权重与该压缩窗口距离当前时间的距离负相关;
根据所述每个压缩窗口的压缩值对应的权重,对所述每个压缩窗口的压缩值进行加权计算,确定所述预设调度因子的预测值;
将所述预设调度因子的预测值作为所述预设调度因子的当前衡量指标,返回执行所述根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值。
可选地,所述根据算力需求总量和所述推荐调度路径集,进行算力网络调度之后,所述方法还包括:
根据当前调度的算力网络资源和当前系统参数,确定系统初始状态;
根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果,其中,所述行为记录表中记录有各系统状态及其对应的补偿行为,以及在各系统状态下选择对应补偿行为的概率;
根据当前补偿结果,调整在当前系统状态下选择当前补偿行为的概率,并返回执行所述根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果的步骤,直至达到预设的迭代终止条件,得到在各系统状态下选择对应补偿行为的目标概率;
根据所述目标概率,修正系统调度参数,其中,所述调度参数包括各算力资源的各项度量因子的权重,以及各网络资源的各条路径上的各项度量因子的权重。
第二方面,本申请实施例还提供一种算力网络调度装置,包括:
第一确定模块,用于确定满足业务需求的算力资源集;
第二确定模块,用于根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;
第三确定模块,用于分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;
第一处理模块,用于将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;
第四确定模块,用于根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;
调度模块,用于根据算力需求总量和所述推荐调度路径集,进行算力网络调度。
第三方面,本申请实施例还提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的算力网络调度方法中的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的算力网络调度方法中的步骤。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如上所述的算力网络调度方法中的步骤。
在本申请实施例中,确定满足业务需求的算力资源集;根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;根据算力需求总量和所述推荐调度路径集,进行算力网络调度。这样,通过结合业务需求和各算力资源的算力情况,确定出候选算力资源,再通过对各网络路径的相交状态和网络状态的分析,确定出最优的候选调度路径,进而能够实现算力和网络资源的均衡调度,避免资源分配不均衡导致部分资源负载过高,而空闲资源又得不到有效利用,从而提高云网资源的全局利用率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的算力网络调度方法的流程图;
图2是本申请实施例提供的算力网络调度架构的示意图;
图3是本申请实施例提供的基于属性图模型构建云网地图的示意图;
图4是本申请实施例提供的资源需求解析映射原理示意图;
图5是本申请实施例提供的算力网络调度装置的结构图;
图6是本申请实施例提供的电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为使本申请实施例更为清楚,下面先对本申请实施例涉及的相关技术知识进行如下介绍:
如何构建新型算力网络,是当前新型数字基础设施建设的重大课题。新型算力网络的一个重要特征,是要能够根据业务需求实现算网资源的最优配置,达到资源的精细化运营。目前业界在这方面的研究还处于探索建设阶段,现有的一些资源调度方案,一类主要是侧重于对云计算的算力资源,例如云原生算力和通用算力,进行资源池内或者跨资源池的算力分配,由于不考虑网络因素,对于算力和网络缺少统一的调度系统,难以实现“算+网”资源的最优化配置;另一类是针对资源需求,基于网络最短路径选取算力资源,由于可能选择相同路径造成链路利用率不均衡。通过引入多路负载虽然可以提升网络的利用率,但同时又破坏了业务对网络的差异化需求,如时延、抖动、可靠性等。在面对例如“东数西算”、“东数西存”等多集群跨地域的大规模计算和数据交换的场景时,如果不能够做到算网协同调度,多数据中心并行计算的潜力就无法得到发挥,甚至出现“1+1远小于2”的业界难题。
可见,现有技术方案存在以下缺点:
1)单纯基于算力最优或者网络最优原则设计调度方案,例如基于传统的网络最短路径算法选择云计算资源,导致算力分配不均;缺少统一的算网调度系统,不能够实现“算+网”资源的最优化配置,即保证算力和网络的利用率同时达到最优化;例如现有技术方案实际上仅针对算力资源建立评价模型生成调度结果,不涉及网络资源的协同调度;
2)在设计优化调度方案时,仅考虑当前的算力和网络状态指标,缺少一种合理的资源预测模型,导致调度方案无法准确预估资源趋势,实际的资源调度结果不能够反映云环境下资源的动态变化对调度方案和调度系统的影响。例如现有技术方案针对算力应用需求生成静态调度方案,仅考虑了算力应用自身的资源需求,不能够提供基于云网协同的均衡调度方案,也无法解决云环境下公有资源动态变化导致调度结果偏差的优化问题。
本申请提案旨在提供一种面向云网协同的算力网络调度方法,弥补算力网络领域对于算网资源一体化调度的不足,实现算力和网络资源的均衡调度和自动调优,避免资源分配不均衡导致部分资源负载过高,而空闲资源又得不到有效利用,从而提高云网资源的全局利用率。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的算力网络调度方法进行详细地说明。
参见图1,图1是本申请实施例提供的算力网络调度方法的流程图,如图1所示,包括以下步骤:
步骤101、确定满足业务需求的算力资源集。
本申请实施例中,可根据特定业务场景下的业务需求,确定需要满足的算力资源情况,具体地,不同的业务场景对算力资源的需求不同,可将实际业务需求根据算力处理效能转换成对算力资源的约束条件,进而可基于该约束条件,过滤掉不满足业务需求的算力资源,得到满足业务需求的算力资源集。
例如,在视频渲染场景下,用户填写需要处理的视频素材大小和帧数,渲染服务根据算力处理效能转换成对算力度量因子的一组约束条件,如根据资源标签、算力规格、资源池存量情况等条件过滤掉不满足业务需求的地域和算力规格。
步骤102、根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数。
本申请实施例可通过资源调度策略分配云计算资源,生成资源池、可用区和算力规格的分配方案,即确定目标点,该过程具体可以描述为一个调度流水线。
具体实现时,首先需要根据资源类别建立统一的度量标准,然后根据业务场景建立对应的需求解析映射算法。如图2所示,针对算力资源,首先可定义各项算力度量因子,如包括中央处理器(Central Processing Unit,CPU)、内存、图形处理器(GraphicsProcessing Unit,GPU)、存储等,针对不同的算力度量因子可设定通用的衡量指标,例如CPU的衡量指标采用每秒浮点运算次数FLOPS。针对网络资源,同样可以定义时延、带宽、丢包率等各项网络度量因子,针对不同的网络度量因子设定衡量指标,从而建立起资源度量模型。
算力度量因子的衡量指标的高低反应了对应算力的性能,因此,可以根据所述算力资源集中各算力资源的度量因子的衡量指标,来评估各算力资源,具体可以综合算力资源的各项度量因子的衡量指标将其转换为第一评价值,所述第一评价值可以是分值、等级或其他形式的评价值。如某个算力资源的CPU指标越高、内存和存储越大,则其第一评价值越高,表示该算力资源的性能越好。
本申请实施例中,可以对所述算力资源集中各算力资源按第一评价值从高至低的顺序,选取第一评价值排名前K的K个算力资源作为候选算力资源集。
可选地,所述步骤102包括:
根据第一算力资源的各项度量因子的衡量指标,确定所述第一算力资源的各项度量因子对应的初始评价值,其中,所述第一算力资源为所述算力资源集中任一算力资源;
利用所述各项度量因子分配的权重,对所述第一算力资源的各项度量因子对应的初始评价值进行加权,确定所述第一算力资源的第一评价值。
再针对云资源池不同的算力规格,根据相应指标计算得到各项分值;通过资源需求解析映射过程,得到不同规格、不同类别的资源的打分排序。
在一些实施例中,可以先根据各算力资源的各项度量因子的衡量指标,转换为对各算力资源的各项度量因子的初始评价值,如分值,具体原则可以是某项度量因子的衡量指标越高或越好,其分值越高。如图2所示,各算力资源的各项度量因子根据衡量指标进行打分,转换为了度量得分,最终得到了不同规格、不同类别的算力资源的各项度量因子的打分排序。
对于不同的度量因子,可以分配有不同的权重,并且各项度量因子可以分配有初始权重,然后可利用各项度量因子分配的权重,对各算力资源的各项度量因子对应的初始评价值进行加权累加计算,得到各算力资源的第一评价值,也即打分结果。
例如,某个算力资源存在度量因子集合R = { ,/> ,/> ...,/>},对应的初始评价值为/>,对应的初始权重分别为{/> ,/>},/>为算力资源索引标识,/>为度量因子索引标识,/>表示第/>个算力资源的打分结果,那计算公式如下:
上述公式中的权重存在约束。
这样,该实施方式中,能够通过对算力资源的各项度量因子的衡量指标进行打分,再采用加权计算的方式,计算得到能够准确评估算力资源的性能的评价值,进而确保基于算力资源评价值筛选出合适的算力资源进行调度。
步骤103、分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数。
上述云网地图可以是预先根据算力网络资源进行构建得到的,具体地,可以各云资源池和网络中的各路由设备作为节点,节点之间的路径作为边,构建所述云网地图,其中,所述云网地图中的各节点和边上均关联有对应的属性信息。
即两个节点之间的连线代表一段网络路径,可采用属性图模型将云资源池和网络抽象映射成一张图数据。如图3所示,图中每个节点可以包含不同属性,其中云资源池包含地域、可用规格列表、资源池利用率等属性,每条边包含时延、带宽、丢包率、利用率等属性,每个节点和边还可以打上不同的标签属性。
该步骤中,可以进行网络路径规划,其思想是在满足业务需求对应的多个约束条件的情况下,选择若干条不共享(或者共享程度较低)的路径集合,从而提高全局的网络资源利用率。具体可以所述云网地图中各候选算力资源对应的云资源池所在的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,其中,从一个原点到一个目标点的所有路径构成一个路径集,即从一个原点到n个目标点可得到n个路径集,分别从m个原点到n个原点则可得到m×n个路径集。
步骤104、将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径。
具体地,从所述N个路径集中的每个路径集中分别选取1个路径组合即可构成一个调度路径集,也可称为网络规划方案,这样,以不同的选法每次从所述N个路径集中分别选取不同的路径集组合即可构成多个不同的调度路径集。
步骤105、根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关。
本申请实施例中,可以尽量选取相交度低、网络指标好的路径作为最终调度路径,因此,可以通过计算每个调度路径集中每两条路径的相交度,并综合相交度与路径上的度量因子的衡量指标,来评估各调度路径集,也即计算各调度路径集的第二评价值,所述第二评价值可以是分值、等级或其他形式的评价值,所述相交度可以是表征与其他路径存在重合的路径段数。如某个网络路径的相交度越低、时延越短、带宽越高、利用率越高,则其第二评价值越高,表示该网络路径的性能越好。
本申请实施例中,可以选取综合评价值最高的调度路径集作为推荐调度路径集,也即最优推荐网络规划方案。
可选地,所述步骤105包括:
对第一调度路径集中每两条路径的相交度进行累加求和,确定所述第一调度路径集的总体相交度,所述第一调度路径集为所述多个调度路径集中任一调度路径集;
利用反比函数对所述第一调度路径集的总体相交度进行转换,确定所述第一调度路径集的第二评价值;
确定所述多个调度路径集中的L个调度路径集为候选调度路径集,其中,所述L个调度路径集的第二评价值均高于所述多个调度路径集中除所述L个调度路径集外的其他调度路径集的第二评价值,L为正整数;
根据各所述候选调度路径集中各条路径上的各项度量因子的衡量指标对应的初始评价值,确定各所述候选调度路径集的第三评价值;
利用所述第二评价值和所述第三评价值各自分配的权重,对各所述候选调度路径集的第二评价值和第三评价值进行加权,确定各所述候选调度路径集的综合评价值;
确定综合评价值最高的候选调度路径集为推荐调度路径集。
在一些实施例中,可以基于边不相交(Edge-Disjoint)和K最短路径(K-shortestpaths,KSP)的思想来进行网络路径规划,以提高全局的网络资源利用率。
具体地,可先基于各调度路径集中每两条路径的重合情况,计算各调度路径集中每两条路径的相交度,再对每个调度路径集中所有路径的相交度进行累加求和,作为该调度路径集的总体相交度,再鉴于相交度越低网络路径越优的思想,将各调度路径集的总体相交度通过反比函数转换为对应的第二评价值,也即Edge-Disjoint分值。最后再结合各调度路径集中各条路径上的度量因子也即附加业务因子(如时延、带宽、网络抖动等)的衡量指标对应的初始评价值,通过加权的方式计算各候选调度路径集的综合评价值,并确定出综合评价值最高的候选调度路径集为推荐调度路径集。
本实施例中所采用的网络路径规划算法可称为Edge-Disjoint KSP智能选路算法,其具体计算过程可示例性描述如下:
步骤一、首先寻找原点到目的点/>的路径集合,每条路径记为R(/>);假设已经标记出原点/>和多个目的点[/>, />, />],则寻找/>>/>的所有路径集合,具体过程为:
1)寻找>/>的所有路径集合 [ R1(/>), R2(/>), R3(/>) ];
2)寻找>/>的所有路径集合 [ R1(/>), R2(/>), R3(/>) ];
3)寻找>/>的所有路径集合 [ R1(/>), R2(/>), R3(/>) ];
上述每一条路径,需要标记其经过的所有网格点也即云网地图中的节点,例如R1() = (/>-> /> -> /> -> /> -> /> );
步骤二、选取任意路径组合生成规划方案(也即前述调度路径集),得到规划方案集合{},其中,每个规划方案包含一个路径集合,如;
步骤三、针对生成的每种规划方案计算Edge-Disjoint分值,这里以规划方案为例,具体计算过程如下:
1)定义函数为两条路径r1和r2的相交度,假设该云网地图结构中共有S段路径,其中r1和r2存在k段重和路径,则相交度/>记为:
其中,表示该段路径附加的相交度权值,可默认为1。
2)计算规划方案中两两路径的相交度并累加求和,得到该方案的总体相交度的计算结果,记为,则/>;
3)定义一个反比函数 ,其中K和A分别为一个大于0的常量,通过反比函数可得到该方案的Edge-Disjoint分值。
步骤四、对于所有方案{},均按上述方式求得Edge-Disjoint分值,选取Top L规划方案为候选方案;
步骤五、采用多权重求和计算方法,结合方案中每条边的附加业务因子(例如时延、带宽、网络抖动)计算Top L方案的最终得分;将Top L方案的Edge-Disjoint分值与附加因子的打分结果进行带权重求和,计算公式如下:
其中,为第l个方案的最后得分,/>和/>分别为Edge-Disjoint分值权重和附加因子得分权重,/>为第j个附加因子的分值权重,/>为第j个附加因子的分值。
上述过程为了方便描述,仅采用了单原点到多个目的点[/>, />, />],同时完全适用于选定多原点[/>... />]到多目的点进行规划的情况。
步骤六、最终选取上述Top L方案中得分最高的规划方案即为当前生成的最优推荐方案。根据该规划方案中的图数据映射关系,即可获得云资源池算力和云间网络的协同调度结果。
通过该实施方式,能够充分结合各网络规划路径的相交度和网络度量因子指标,确定出最优推荐路径,进而实现网络资源的优化配置。
步骤106、根据算力需求总量和所述推荐调度路径集,进行算力网络调度。
上述算力需求总量即是对算力资源需求的总量,也即对各云资源池的算力需求分配。本申请实施例中,可以基于算力需求总量,对所述候选算力资源进行均衡化分配,即在各候选算力资源之间均衡分配算力,并使用推荐的调度路径集,进行算力和网络资源的调度,也即采用各候选算力资源,并且使用各自分配的算力,通过推荐调度路径集进行业务数据传输。
可选地,所述步骤106包括:
根据算力需求总量和所述候选算力资源集中各候选算力资源的第一评价值在所述候选算力资源集的第一评价值总和中的占比,对所述各候选算力资源进行算力均衡分配,确定所述各候选算力资源的算力分配结果;
根据所述各候选算力资源的算力分配结果和所述推荐调度路径集,进行算力网络调度。
在一些实施例中,可以根据各候选算力资源的第一评价值在候选算力资源集的第一评价值总和中的占比,结合算力需求总量对各候选算力资源之间均衡分配算力,得到各候选算力资源的算力分配结果。
示例性地,基于上述公式(1)计算得到的各算力资源的打分结果后,可选取Top K打分结果的算力资源作为候选算力资源集,记为,假设算力需求总量为C,对各候选算力资源进行均衡化分配,最终得到云网地图上的多个目标点,/>为算力资源索引标识,/>表示第/>个算力资源的打分结果,/>为选取的Top数量,/>表示第/>个算力资源的分配结果,则有如下公式:
通过该实施方式,能够根据算力需求总量和各候选算力资源的第一评价值,对各候选算力资源均衡分配算力,实现算力资源的优化配置。
根据上述介绍的资源调度过程,可以得到当前条件下云资源池和网络多要素负载均衡的分配方案,但是云环境下尤其是网络环境的状态是动态变化的,对于一些实时要求较高的业务场景(例如云游戏、云直播等)精细化调度,还需要根据资源的动态变化对调度方案进行动态优化。因此在一些实施例中,还可以引入云网资源画像,并提出一种资源预测模型,通过监控资源状态的动态变化预测算网调度因子,并动态更新算网调度方案。
因此,所述步骤106之后,所述方法还可以包括:
定期采集预设调度因子的指标数据,其中,所述预设调度因子包括当前调度的算力资源的度量因子和当前调度路径集中各条路径上的度量因子;
按照预设的压缩窗口,对每个压缩窗口期内采集的指标数据集进行压缩,得到每个压缩窗口的压缩值;
确定所述每个压缩窗口的压缩值对应的权重,其中,压缩窗口的压缩值对应的权重与该压缩窗口距离当前时间的距离负相关;
根据所述每个压缩窗口的压缩值对应的权重,对所述每个压缩窗口的压缩值进行加权计算,确定所述预设调度因子的预测值;
将所述预设调度因子的预测值作为所述预设调度因子的当前衡量指标,返回执行所述步骤102。
具体地,可以预先设置需要监控的调度因子,该调度因子也即当前调度的算力资源的相关度量因子,和当前调度的网络路径上的相关度量因子,如包括(,/>,/>....),还可以设置采样周期p,从而可以按照该采样周期,定期采集这些调度因子的指标数据。
以云网络为例,可以设定调度因子包含带宽、水位(负载)、时延、丢包等网络因子,按照时间序列采集这些因子的指标数据,针对每个调度因子的每个t时刻时间序列的采集结果记作v(, t)。
为了对各采集结果使用聚合值表示,可以对采集结果设置数据压缩窗口s,针对窗口期内的指标数据集α={},可以采取多种计算策略γ对窗口期内的指标数据集取压缩值,例如使用采样峰值、加权平均、分位值等方式求出该窗口期的压缩值,记作s(γ,α)。
该实施例中,可以对每个压缩窗口的压缩值按距离当前时间远近分配对应的权重,以对每个压缩窗口的压缩值进行加权计算,并且为了增加时间维度对计算结果的影响,可以引入一个半衰期滑动窗口,获取该窗口期压缩值计算权重,目的是根据数据对应时间对其权重因子进行衰减,从而使距离当前时间越近的数据对计算模型的影响越大,假设时间序列记为/>,则各压缩窗口的压缩值的权重计算公式为:
其中,为当前最大时间序列。
接着可根据权重结果和压缩数据集求出各调度因子的下一时刻的预测值,其中预测值计算公式为:
最后可根据各调度因子预测值集合R={...},重新应用前述资源调度流程获得修正方案,也即以各调度因子的预测值,重新计算候选资源和推荐规划方案,进而更新算网调度方案。具体为对于算力资源重新应用调度流水线对各候选算力资源进行重新打分,获得新的目标点集合;对于网络资源则重新应用Edge-DisjointKSP选路算法,最终生成新的调度方案,从而修正调度结果。
这样,该实施方式能够通过监控资源状态的动态变化预测算网调度因子,实现根据算网资源的动态变化对调度方案进行动态优化,进一步提高云网资源的全局利用率。
根据上述资源预测模型,可以通过资源画像预测算网调度因子来动态的修正调度结果,但是对于系统本身的调度参数(例如针对算力因子的调度权重),还需要引入自适应算法,基于业务资源画像的采集数据评价调度结果,通过训练来修正系统参数,从而在全局视角为每个业务提供最佳的调度系统。因此,可选地,所述步骤106之后,所述方法还包括:
根据当前调度的算力网络资源和当前系统参数,确定系统初始状态;
根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果,其中,所述行为记录表中记录有各系统状态及其对应的补偿行为,以及在各系统状态下选择对应补偿行为的概率;
根据当前补偿结果,调整在当前系统状态下选择当前补偿行为的概率,并返回执行所述根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果的步骤,直至达到预设的迭代终止条件,得到在各系统状态下选择对应补偿行为的目标概率;
根据所述目标概率,修正系统调度参数,其中,所述调度参数包括各算力资源的各项度量因子的权重,以及各网络资源的各条路径上的各项度量因子的权重。
该实施例中,可以定义一个系统状态函数G,用来衡量算力和网络资源的均衡度,和/>分别为云网地图中第/>个云资源池的利用率(或者售卖率)和第/>段分段网络的带宽利用率,/>为所有云资源池的利用率均值,/>为所有分段网络的带宽利用率均值,/>为云资源池总数,/>为网络分段总数,状态函数G定义如下:
其中U和V分别为评价权重。
并可创建行为记录表,也可叫行为驱动表,用来规划系统状态变化和对应的补偿行为,该表至少包含各系统状态及其对应的补偿行为,以及在各系统状态下选择对应补偿行为的概率,在一些实施例中,该表可包含五个要素{, />, />, />, />};其中/>表示当前系统状态,/>表示在当前状态下对应的补偿行为,/>表示在/>状态下选择行为/>的概率权重,初始值均记为1/>记录当前状态下的最优结果,/>记录了最差结果。
针对某个业务的云网资源画像,可选择某次调度结果如当前调度结果和当前系统参数,作为初始条件,根据上述状态函数G计算系统初始值;并可设定迭代终止条件,例如迭代上限或者相邻两次迭代值之差的绝对值所满足的函数。
接着可开始第一次计算过程,根据当前系统初始状态,根据行为驱动表和概率权重选择执行对应的补偿行为/>,并计算得到新的系统状态/>和补偿结果作为当次计算周期的调优结果/>。
根据当前补偿结果,可调整在当前系统状态下选择当前补偿行为的概率,具体地,可以定义一个偏差函数,根据每次的调度反馈结果调整/>,如将/>作为调整后的/>,该函数表示如下:
其中,P为增益系数,用来调节自适应过程对动作选择的影响程度。
根据上述计算得到系统状态变化和权重变化/>,判断是否达到迭代终止条件,若没有则继续基于更新后的系统状态重复上述补偿迭代计算过程,否则退出训练过程得到最终的优化结果,即得到在各系统状态下选择对应补偿行为的目标概率。
最后可根据所述目标概率,修正系统调度参数,也即修正各算力资源和网络资源的各项度量因子的权重。
这样,该实施方式通过引入自适应训练算法修正调度系统参数,增强了调度系统对不同业务的适应性,实现算力和网络资源的均衡调度和自动调优。
综合以上实施方式介绍,本申请实施例提出了一种面向云网协同的算力网络调度方法,调度过程中结合资源预测模型和系统自适应算法,实现算力和网络资源的均衡调度和自动调优,避免资源分配不均衡导致部分资源负载过高、而空闲资源又得不到有效利用,从而提高云网资源的全局利用率。本申请实施例可基于如图4所示的算力网络调度架构实现,并主要解决了以下问题:
1)基于算力网络资源构建云网地图,通过资源抽象建立一种算力网络调度模型,调度过程提出一种Edge-Disjoint KSP调度算法,该算法融合了网络时延、带宽、可靠性等网络因子和资源池的算力负载、资源存量、成本等云因子进行云网地图建模,根据不同的业务需求转换成对于算力因子与网络因子的约束条件,计算生成多目标(云资源)和多路径(网资源)的调度方案,最终实现多源到多目标的云网资源负载均衡;
2)引入云网资源画像并提出一种资源预测模型,通过监控资源状态的动态变化预测算网调度因子来修正调度结果;另一方面将调度结果反馈到调度系统,引入智能算法构建调度评价机制,提出一种自适应算法来修正调度系统,通过感知云网资源的动态变化灵活调配资源,实现云池资源和网络选路分配的“削峰填谷”,充分提升资源利用率。
本申请实施例相比现有技术方案,具有如下优点:
1)针对传统的调度结果导致资源分配不均衡的问题,通过构建云网地图,提出了一种算力网络一体化调度方法,通过算力资源调度流水线和Edge-Disjoint KSP调度算法,融合了网络时延、带宽、可靠性等网络因子和资源池的算力负载、资源存量、成本等云因子进行云网地图建模,输出多源到多目标的云网资源全局负载均衡调度方案;
2)针对云环境下资源动态变化造成的调度偏差问题,提出一种资源预测模型,通过感知云网资源状态的动态变化预测算网调度因子来修正调度方案;
3)针对调度系统自身对于不同业务应用的适应性问题,通过将调度结果反馈到调度系统,构建调度评价机制,并且提出了一种自适应训练算法来修正调度系统,增强了调度系统对不同业务的适应性。
本申请实施例的算力网络调度方法方法,确定满足业务需求的算力资源集;根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;根据算力需求总量和所述推荐调度路径集,进行算力网络调度。这样,通过结合业务需求和各算力资源的算力情况,确定出候选算力资源,再通过对各网络路径的相交状态和网络状态的分析,确定出最优的候选调度路径,进而能够实现算力和网络资源的均衡调度,避免资源分配不均衡导致部分资源负载过高,而空闲资源又得不到有效利用,从而提高云网资源的全局利用率。
本申请实施例还提供了一种算力网络调度装置。参见图5,图5是本申请实施例提供的算力网络调度装置的结构图。由于算力网络调度装置解决问题的原理与本申请实施例中算力网络调度方法相似,因此该算力网络调度装置的实施可以参见方法的实施,重复之处不再赘述。
如图5所示,算力网络调度装置500包括:
第一确定模块501,用于确定满足业务需求的算力资源集;
第二确定模块502,用于根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;
第三确定模块503,用于分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;
第一处理模块504,用于将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;
第四确定模块505,用于根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;
调度模块506,用于根据算力需求总量和所述推荐调度路径集,进行算力网络调度。
可选地,第二确定模块502包括:
第一确定单元,用于根据第一算力资源的各项度量因子的衡量指标,确定所述第一算力资源的各项度量因子对应的初始评价值,其中,所述第一算力资源为所述算力资源集中任一算力资源;
加权单元,用于利用所述各项度量因子分配的权重,对所述第一算力资源的各项度量因子对应的初始评价值进行加权,确定所述第一算力资源的第一评价值。
可选地,第四确定模块505包括:
第二确定单元,用于对第一调度路径集中每两条路径的相交度进行累加求和,确定所述第一调度路径集的总体相交度,所述第一调度路径集为所述多个调度路径集中任一调度路径集;
第三确定单元,用于利用反比函数对所述第一调度路径集的总体相交度进行转换,确定所述第一调度路径集的第二评价值;
第四确定单元,用于确定所述多个调度路径集中的L个调度路径集为候选调度路径集,其中,所述L个调度路径集的第二评价值均高于所述多个调度路径集中除所述L个调度路径集外的其他调度路径集的第二评价值,L为正整数;
第五确定单元,用于根据各所述候选调度路径集中各条路径上的各项度量因子的衡量指标对应的初始评价值,确定各所述候选调度路径集的第三评价值;
第六确定单元,用于利用所述第二评价值和所述第三评价值各自分配的权重,对各所述候选调度路径集的第二评价值和第三评价值进行加权,确定各所述候选调度路径集的综合评价值;
第七确定单元,用于确定综合评价值最高的候选调度路径集为推荐调度路径集。
可选地,调度模块506包括:
第五确定模块,用于根据算力需求总量和所述候选算力资源集中各候选算力资源的第一评价值在所述候选算力资源集的第一评价值总和中的占比,对所述各候选算力资源进行算力均衡分配,确定所述各候选算力资源的算力分配结果;
调度单元,用于根据所述各候选算力资源的算力分配结果和所述推荐调度路径集,进行算力网络调度。
可选地,算力网络调度装置500包括:
采集模块,用于定期采集预设调度因子的指标数据,其中,所述预设调度因子包括当前调度的算力资源的度量因子和当前调度路径集中各条路径上的度量因子;
压缩模块,用于按照预设的压缩窗口,对每个压缩窗口期内采集的指标数据集进行压缩,得到每个压缩窗口的压缩值;
第六确定模块,用于确定所述每个压缩窗口的压缩值对应的权重,其中,压缩窗口的压缩值对应的权重与该压缩窗口距离当前时间的距离负相关;
加权模块,用于根据所述每个压缩窗口的压缩值对应的权重,对所述每个压缩窗口的压缩值进行加权计算,确定所述预设调度因子的预测值;
执行模块,用于将所述预设调度因子的预测值作为所述预设调度因子的当前衡量指标,返回执行所述根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值。
可选地,算力网络调度装置500包括:
第七确定模块,用于根据当前调度的算力网络资源和当前系统参数,确定系统初始状态;
第二处理模块,用于根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果,其中,所述行为记录表中记录有各系统状态及其对应的补偿行为,以及在各系统状态下选择对应补偿行为的概率;
调整模块,用于根据当前补偿结果,调整在当前系统状态下选择当前补偿行为的概率,并返回执行所述根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果的步骤,直至达到预设的迭代终止条件,得到在各系统状态下选择对应补偿行为的目标概率;
修正模块,用于根据所述目标概率,修正系统调度参数,其中,所述调度参数包括各算力资源的各项度量因子的权重,以及各网络资源的各条路径上的各项度量因子的权重。
本申请实施例提供的算力网络调度装置500,可以执行上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
本申请实施例的算力网络调度装置500,确定满足业务需求的算力资源集;根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;根据算力需求总量和所述推荐调度路径集,进行算力网络调度。这样,通过结合业务需求和各算力资源的算力情况,确定出候选算力资源,再通过对各网络路径的相交状态和网络状态的分析,确定出最优的候选调度路径,进而能够实现算力和网络资源的均衡调度,避免资源分配不均衡导致部分资源负载过高,而空闲资源又得不到有效利用,从而提高云网资源的全局利用率。
本申请实施例还提供了一种电子设备。由于电子设备解决问题的原理与本申请实施例中算力网络调度方法相似,因此该电子设备的实施可以参见方法的实施,重复之处不再赘述。如图6所示,本申请实施例的电子设备,包括:处理器600,用于读取存储器620中的程序,执行下列过程:
确定满足业务需求的算力资源集;
根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;
分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;
将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;
根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;
根据算力需求总量和所述推荐调度路径集,进行算力网络调度。
其中,在图6中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器600负责管理总线架构和通常的处理,存储器620可以存储处理器600在执行操作时所使用的数据。
可选地,处理器600还用于读取存储器620中的程序,执行如下步骤:
根据第一算力资源的各项度量因子的衡量指标,确定所述第一算力资源的各项度量因子对应的初始评价值,其中,所述第一算力资源为所述算力资源集中任一算力资源;
利用所述各项度量因子分配的权重,对所述第一算力资源的各项度量因子对应的初始评价值进行加权,确定所述第一算力资源的第一评价值。
可选地,处理器600还用于读取存储器620中的程序,执行如下步骤:
对第一调度路径集中每两条路径的相交度进行累加求和,确定所述第一调度路径集的总体相交度,所述第一调度路径集为所述多个调度路径集中任一调度路径集;
利用反比函数对所述第一调度路径集的总体相交度进行转换,确定所述第一调度路径集的第二评价值;
确定所述多个调度路径集中的L个调度路径集为候选调度路径集,其中,所述L个调度路径集的第二评价值均高于所述多个调度路径集中除所述L个调度路径集外的其他调度路径集的第二评价值,L为正整数;
根据各所述候选调度路径集中各条路径上的各项度量因子的衡量指标对应的初始评价值,确定各所述候选调度路径集的第三评价值;
利用所述第二评价值和所述第三评价值各自分配的权重,对各所述候选调度路径集的第二评价值和第三评价值进行加权,确定各所述候选调度路径集的综合评价值;
确定综合评价值最高的候选调度路径集为推荐调度路径集。
可选地,处理器600还用于读取存储器620中的程序,执行如下步骤:
根据算力需求总量和所述候选算力资源集中各候选算力资源的第一评价值在所述候选算力资源集的第一评价值总和中的占比,对所述各候选算力资源进行算力均衡分配,确定所述各候选算力资源的算力分配结果;
根据所述各候选算力资源的算力分配结果和所述推荐调度路径集,进行算力网络调度。
可选地,处理器600还用于读取存储器620中的程序,执行如下步骤:
以各云资源池和网络中的各路由设备作为节点,节点之间的路径作为边,构建所述云网地图,其中,所述云网地图中的各节点和边上均关联有对应的属性信息。
可选地,处理器600还用于读取存储器620中的程序,执行如下步骤:
定期采集预设调度因子的指标数据,其中,所述预设调度因子包括当前调度的算力资源的度量因子和当前调度路径集中各条路径上的度量因子;
按照预设的压缩窗口,对每个压缩窗口期内采集的指标数据集进行压缩,得到每个压缩窗口的压缩值;
确定所述每个压缩窗口的压缩值对应的权重,其中,压缩窗口的压缩值对应的权重与该压缩窗口距离当前时间的距离负相关;
根据所述每个压缩窗口的压缩值对应的权重,对所述每个压缩窗口的压缩值进行加权计算,确定所述预设调度因子的预测值;
将所述预设调度因子的预测值作为所述预设调度因子的当前衡量指标,返回执行所述根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值。
可选地,处理器600还用于读取存储器620中的程序,执行如下步骤:
根据当前调度的算力网络资源和当前系统参数,确定系统初始状态;
根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果,其中,所述行为记录表中记录有各系统状态及其对应的补偿行为,以及在各系统状态下选择对应补偿行为的概率;
根据当前补偿结果,调整在当前系统状态下选择当前补偿行为的概率,并返回执行所述根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果的步骤,直至达到预设的迭代终止条件,得到在各系统状态下选择对应补偿行为的目标概率;
根据所述目标概率,修正系统调度参数,其中,所述调度参数包括各算力资源的各项度量因子的权重,以及各网络资源的各条路径上的各项度量因子的权重。
本申请实施例提供的电子设备,可以执行上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
此外,本申请实施例的计算机可读存储介质,用于存储计算机程序,所述计算机程序可被处理器执行实现上述方法实施例中的各个步骤。
本申请实施例提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如上述算力网络调度方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述收发方法的部分步骤。而前述的存储介质包括:U 盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种算力网络调度方法,其特征在于,包括:
确定满足业务需求的算力资源集;
根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;
分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;
将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;
根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;
根据算力需求总量和所述推荐调度路径集,进行算力网络调度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,包括:
根据第一算力资源的各项度量因子的衡量指标,确定所述第一算力资源的各项度量因子对应的初始评价值,其中,所述第一算力资源为所述算力资源集中任一算力资源;
利用所述各项度量因子分配的权重,对所述第一算力资源的各项度量因子对应的初始评价值进行加权,确定所述第一算力资源的第一评价值。
3.根据权利要求1所述的方法,其特征在于,所述根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,包括:
对第一调度路径集中每两条路径的相交度进行累加求和,确定所述第一调度路径集的总体相交度,所述第一调度路径集为所述多个调度路径集中任一调度路径集;
利用反比函数对所述第一调度路径集的总体相交度进行转换,确定所述第一调度路径集的第二评价值;
确定所述多个调度路径集中的L个调度路径集为候选调度路径集,其中,所述L个调度路径集的第二评价值均高于所述多个调度路径集中除所述L个调度路径集外的其他调度路径集的第二评价值,L为正整数;
根据各所述候选调度路径集中各条路径上的各项度量因子的衡量指标对应的初始评价值,确定各所述候选调度路径集的第三评价值;
利用所述第二评价值和所述第三评价值各自分配的权重,对各所述候选调度路径集的第二评价值和第三评价值进行加权,确定各所述候选调度路径集的综合评价值;
确定综合评价值最高的候选调度路径集为推荐调度路径集。
4.根据权利要求1所述的方法,其特征在于,所述根据算力需求总量和所述推荐调度路径集,进行算力网络调度,包括:
根据算力需求总量和所述候选算力资源集中各候选算力资源的第一评价值在所述候选算力资源集的第一评价值总和中的占比,对所述各候选算力资源进行算力均衡分配,确定所述各候选算力资源的算力分配结果;
根据所述各候选算力资源的算力分配结果和所述推荐调度路径集,进行算力网络调度。
5.根据权利要求1所述的方法,其特征在于,所述根据算力需求总量和所述推荐调度路径集,进行算力网络调度之后,所述方法还包括:
定期采集预设调度因子的指标数据,其中,所述预设调度因子包括当前调度的算力资源的度量因子和当前调度路径集中各条路径上的度量因子;
按照预设的压缩窗口,对每个压缩窗口期内采集的指标数据集进行压缩,得到每个压缩窗口的压缩值;
确定所述每个压缩窗口的压缩值对应的权重,其中,压缩窗口的压缩值对应的权重与该压缩窗口距离当前时间的距离负相关;
根据所述每个压缩窗口的压缩值对应的权重,对所述每个压缩窗口的压缩值进行加权计算,确定所述预设调度因子的预测值;
将所述预设调度因子的预测值作为所述预设调度因子的当前衡量指标,返回执行所述根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述根据算力需求总量和所述推荐调度路径集,进行算力网络调度之后,所述方法还包括:
根据当前调度的算力网络资源和当前系统参数,确定系统初始状态;
根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果,其中,所述行为记录表中记录有各系统状态及其对应的补偿行为,以及在各系统状态下选择对应补偿行为的概率;
根据当前补偿结果,调整在当前系统状态下选择当前补偿行为的概率,并返回执行所述根据预先创建的行为记录表,选择执行与当前系统状态对应的补偿行为,并计算得到更新后的系统状态和当前补偿结果的步骤,直至达到预设的迭代终止条件,得到在各系统状态下选择对应补偿行为的目标概率;
根据所述目标概率,修正系统调度参数,其中,所述调度参数包括各算力资源的各项度量因子的权重,以及各网络资源的各条路径上的各项度量因子的权重。
7.一种算力网络调度装置,其特征在于,包括:
第一确定模块,用于确定满足业务需求的算力资源集;
第二确定模块,用于根据所述算力资源集中各算力资源的度量因子的衡量指标,确定所述各算力资源的第一评价值,并确定所述算力资源集中的K个算力资源为候选算力资源集;其中,所述K个算力资源的第一评价值均高于所述算力资源集中除所述K个算力资源外的其他算力资源的第一评价值,K为正整数;
第三确定模块,用于分别以云网地图中与所述候选算力资源集中的各候选算力资源对应的节点为目标点,以业务接入云网的起始节点为原点,确定从每一原点到每一所述目标点的路径集,得到N个路径集;其中,所述云网地图中的节点包括多个云资源池或多个路由设备,所述云网地图中的边表示节点之间的网络路径;每个所述路径集包括从一个所述原点到一个所述目标点的所有路径,N为正整数;
第一处理模块,用于将从所述N个路径集内的路径之间进行组合,得到多个调度路径集,其中,每个所述调度路径集包括所述N个路径集中每个路径集中的一个路径;
第四确定模块,用于根据每个所述调度路径集中每两条路径的相交度,和每个所述调度路径集中各条路径上的度量因子的衡量指标,确定每个所述调度路径集的综合评价值,并确定综合评价值最高的调度路径集为推荐调度路径集,其中,综合评价值与相交度负相关,与衡量指标正相关;
调度模块,用于根据算力需求总量和所述推荐调度路径集,进行算力网络调度。
8.一种通信设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;其特征在于,所述处理器,用于读取存储器中的程序实现如权利要求1至6中任一项所述的算力网络调度方法中的步骤。
9.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的算力网络调度方法中的步骤。
10.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的算力网络调度方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410579727.3A CN118158092B (zh) | 2024-05-11 | 2024-05-11 | 一种算力网络调度方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410579727.3A CN118158092B (zh) | 2024-05-11 | 2024-05-11 | 一种算力网络调度方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118158092A true CN118158092A (zh) | 2024-06-07 |
CN118158092B CN118158092B (zh) | 2024-08-02 |
Family
ID=91301279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410579727.3A Active CN118158092B (zh) | 2024-05-11 | 2024-05-11 | 一种算力网络调度方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118158092B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020067693A1 (en) * | 2000-07-06 | 2002-06-06 | Kodialam Muralidharan S. | Dynamic backup routing of network tunnel paths for local restoration in a packet network |
CN113079218A (zh) * | 2021-04-09 | 2021-07-06 | 网络通信与安全紫金山实验室 | 一种面向服务的算力网络系统、工作方法及存储介质 |
CN116263701A (zh) * | 2022-11-29 | 2023-06-16 | 中移(苏州)软件技术有限公司 | 算力网络任务调度方法、装置、计算机设备及存储介质 |
CN116319522A (zh) * | 2023-03-15 | 2023-06-23 | 北京邮电大学 | 一种算力网络中的多路径转发方法及系统 |
CN116828538A (zh) * | 2023-07-10 | 2023-09-29 | 中国电信股份有限公司 | 算力资源分配方法、装置、存储介质及电子设备 |
CN117221251A (zh) * | 2023-09-15 | 2023-12-12 | 中国人民解放军军事科学院系统工程研究院 | 面向软件定义算力网络的算力感知及路由方法、架构 |
CN117675939A (zh) * | 2023-11-27 | 2024-03-08 | 杭州东方通信软件技术有限公司 | 调度算力资源和网络路径的方法 |
CN117749697A (zh) * | 2023-12-26 | 2024-03-22 | 网络通信与安全紫金山实验室 | 云网融合预调度方法、装置、系统及存储介质 |
-
2024
- 2024-05-11 CN CN202410579727.3A patent/CN118158092B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020067693A1 (en) * | 2000-07-06 | 2002-06-06 | Kodialam Muralidharan S. | Dynamic backup routing of network tunnel paths for local restoration in a packet network |
CN113079218A (zh) * | 2021-04-09 | 2021-07-06 | 网络通信与安全紫金山实验室 | 一种面向服务的算力网络系统、工作方法及存储介质 |
CN116263701A (zh) * | 2022-11-29 | 2023-06-16 | 中移(苏州)软件技术有限公司 | 算力网络任务调度方法、装置、计算机设备及存储介质 |
CN116319522A (zh) * | 2023-03-15 | 2023-06-23 | 北京邮电大学 | 一种算力网络中的多路径转发方法及系统 |
CN116828538A (zh) * | 2023-07-10 | 2023-09-29 | 中国电信股份有限公司 | 算力资源分配方法、装置、存储介质及电子设备 |
CN117221251A (zh) * | 2023-09-15 | 2023-12-12 | 中国人民解放军军事科学院系统工程研究院 | 面向软件定义算力网络的算力感知及路由方法、架构 |
CN117675939A (zh) * | 2023-11-27 | 2024-03-08 | 杭州东方通信软件技术有限公司 | 调度算力资源和网络路径的方法 |
CN117749697A (zh) * | 2023-12-26 | 2024-03-22 | 网络通信与安全紫金山实验室 | 云网融合预调度方法、装置、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN118158092B (zh) | 2024-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104283946B (zh) | 一种单物理机下多虚拟机的资源自适应调整系统及方法 | |
US6125105A (en) | Method and apparatus for forecasting future values of a time series | |
CN105700948A (zh) | 一种用于在集群中调度计算任务的方法与设备 | |
CN113037877B (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
CN110119399B (zh) | 基于机器学习的业务流程优化方法 | |
CN117349026B (zh) | 一种用于aigc模型训练的分布式算力调度系统 | |
CN118467186B (zh) | 多租户无服务器平台资源管理方法及系统 | |
CN113191533A (zh) | 仓库用工预测方法、装置、设备及存储介质 | |
CN114995964A (zh) | 一种组合服务重构方法、装置、设备和计算机可读介质 | |
CN117203944A (zh) | 算力网络的资源调度方法 | |
CN117707763A (zh) | 分层算力调度方法、系统、设备及存储介质 | |
CN117540822A (zh) | 跨移动边缘网络的联邦类增量学习方法、设备和存储介质 | |
CN118158092B (zh) | 一种算力网络调度方法、装置及电子设备 | |
CN116541128A (zh) | 一种负载调节方法、装置、计算设备、及存储介质 | |
CN110267717B (zh) | 在多租户环境中按不同单独租户自动生成自动缩放呼叫规则的方法及装置 | |
CN116827951A (zh) | 一种基于可用性预测的边缘云集群任务调度方法及装置 | |
CN114581220B (zh) | 数据处理方法、设备及分布式计算系统 | |
CN115314500A (zh) | 基于改进topsis模型的动态负载均衡方法 | |
CN104778636B (zh) | 船舶装备维修保障信息服务推荐方法 | |
CN110135747B (zh) | 基于神经网络的流程定制方法 | |
CN118396140B (zh) | 一种分布式模型训练系统及方法 | |
CN116016224B (zh) | 基于折损率预测的边缘云资源动态调度方法及装置 | |
CN118394534B (zh) | 集群应用服务的扩缩容方法、系统、产品、装置及介质 | |
CN113313313B (zh) | 一种面向城市感知的移动节点任务规划方法 | |
CN116155835B (zh) | 一种基于排队论的云资源服务质量评估方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |