CN115550370A - 一种基于多因素策略的算力资源最优调度分配方法 - Google Patents

一种基于多因素策略的算力资源最优调度分配方法 Download PDF

Info

Publication number
CN115550370A
CN115550370A CN202211523737.2A CN202211523737A CN115550370A CN 115550370 A CN115550370 A CN 115550370A CN 202211523737 A CN202211523737 A CN 202211523737A CN 115550370 A CN115550370 A CN 115550370A
Authority
CN
China
Prior art keywords
strategy
resource pool
resource
scheduling
factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211523737.2A
Other languages
English (en)
Other versions
CN115550370B (zh
Inventor
田野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Whale Cloud Technology Co Ltd
Original Assignee
Whale Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Whale Cloud Technology Co Ltd filed Critical Whale Cloud Technology Co Ltd
Priority to CN202211523737.2A priority Critical patent/CN115550370B/zh
Publication of CN115550370A publication Critical patent/CN115550370A/zh
Application granted granted Critical
Publication of CN115550370B publication Critical patent/CN115550370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多因素策略的算力资源最优调度分配方法，该算力资源最优调度分配方法包括以下步骤：S1、预先根据算力资源调度分配时所需考虑的因素进行分析，并提取出策略因子；S2、利用策略因子构建对应的算力调度策略，并通过策略模型库实现对算力调度策略的管理；S3、对算力需求进行解析，并通过算力调度策略对资源池进行评估，将所需的资源调度分配到最优匹配的资源池上；S4、利用水平拆分将算力需求中的算力要求能力按照比例拆分到不同的资源池中。本发明不仅可以支撑实现在多个资源池中选择最优的资源池分配算力资源，还可以支撑将调度任务按照能力类型拆分后调度分配到多个最优的资源池。

Description

一种基于多因素策略的算力资源最优调度分配方法
技术领域
本发明涉及调度分配技术领域，具体来说，涉及一种基于多因素策略的算力资源最优调度分配方法。
背景技术
算力网络一体化服务指出，通过算、网、数、智等多原子的灵活组合，实现算力服务从传统简单的云网组合服务，向多要素深度融合的一体化服务转变，算力网络的服务模式逐渐从“资源式”向“任务式”转变，为用户提供智能、极简、无感的算网服务。
而当前对算力资源的调度分配还是由申请人员依赖以往的经验，进行资源式订购。首先选择运营商，在选择提供资源的Region，然后在从云服务提供商提供的上百种云产品中根据经验选择自己需要的，最后填写复杂的规格参数来完成订购。
该模式不仅过程操作繁琐，并且及其依赖于个人的经验和认知准确率，面对越来越丰富的场景支撑诉求，很容易出现选择资源不合适的情况。而且对于运营商而言，为了效益最大化以及确定性的服务保障，也需要能够灵活调节对客户申请资源的分配。而如果由客户按当前模式申请资源，是无法很好的实现这一目标的，因此，该模式不论是对客户还是对运营商，都存在很大的弊端，迫切需要一种新的方案能够改变算网资源的调度分配方式，能够智能推荐与客户需求匹配的算力分配方案，从而提高客户的使用体验和算力的使用价值
当前算力资源的人工填写、资源式订购模式，存在的缺陷如下：
1、操作体验差：客户在申请算力资源时，需要对很多与业务无关或是非常明确的要求进行选择或填写，导致操作繁琐耗时，体验感差。
2、学习成本高，增加客户使用难度：由于算力资源在申请往往需要填写很多技术类参数，需要一定的专业知识。并且现在算力网络开始进入快速发展期，提供算力资源的服务商日益增多，其产品也都存在一定的差异，也导致了客户学习成本过高，申请使用算力资源存在门槛。
3、灵活度不够，运营商无法精准管控：对于运营商而言，由于资源分布在多个资源池内，并且随着算力的发展，新的资源池也在不断的建设，因此为了效益最大化以及确定性的服务保障，需要能够灵活调度分配算力资源，实现全局资源负载均衡，或是能够基于能耗、成本、健康度等因子进行资源的分配，实现对算力资源的精准管控。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于多因素策略的算力资源最优调度分配方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种基于多因素策略的算力资源最优调度分配方法，该算力资源最优调度分配方法包括以下步骤：
S1、预先根据算力资源调度分配时所需考虑的因素进行分析，并提取出策略因子；
S2、利用策略因子构建对应的算力调度策略，并通过策略模型库实现对算力调度策略的管理；
S3、对算力需求进行解析，并通过算力调度策略对资源池进行评估，将所需的资源调度分配到最优匹配的资源池上；
S4、利用水平拆分将算力需求中的算力要求能力按照比例拆分到不同的资源池中。
进一步的，所述策略模型库是实现对算力调度策略的管理，策略模型库在使用中根据调度分配倾向进行策略配置，其主要信息包括策略类型、最多拆分数量、拆分策略及策略因子信息；
其中，所述策略类型包括智能推荐、分配最优、成本最优及距离最优类型；
所述最多拆分数量及所述拆分策略表示在计算资源池时，若涉及到算力能力需要拆分到资源池，当前策略允许拆分的最大数量以及所使用的拆分策略，可配置平均分配及贪心分配策略；
所述策略因子表示当前策略下用于计算选择资源池时所用到的各因子，可根据实际需要进行配置，配置各因子在当前策略中所占权重以及因子结果的限制范围。
进一步的，所述对算力需求进行解析，并通过算力调度策略对资源池进行评估，将所需的资源调度分配到最优匹配的资源池上包括以下步骤：
S31、将调度任务按照算力能力分组维度拆分为多个子调度任务，依次轮询进行调度分配计算；
S32、根据解构出算力能力分组所需的算力能力分组、算力能力类型、算力数据格式及算力能力范围，并对可用资源池进行过滤，获取满足要求的资源池集合；
S33、根据预先配置好的产品能力关系权重及规则，选择需要进行计算的产品能力及顺序；
S34、按照产品能力依次轮询资源池集合，计算每个资源池在当前策略下每个策略因子的得分，并过滤掉因子结果范围外的资源池；
S35、基于因子结果范围中的资源池，利用多属性决策计算出产品能力所对应的最优匹配资源池；
S36、根据产品能力的权重计算出总得分，并将总得分作为算力能力分组对应资源池的得分；
S37、基于调度任务中资源池的垂直拆分，计算出资源池交集范围，并根据资源池交集范围得到可调度分配资源池排序。
进一步的，所述算力能力分组表示为实现相同业务目标必须将所要求的资源分配在同一资源池的服务请求；
所述算力能力类型表示通用算力、智能算力及超算算力；
所述算力数据规格表示为INT8、FP16、及FP32；
所述算力能力范围表示具体到能力类型及数据规格所要求具备的算力值大小。
进一步的，所述多属性群决策的计算包括以下步骤：
将资源池的策略因子集合，并形成决策矩阵；
计算策略因子标准化得分；
基于策略因子标准化得分，计算策略因子权重得分；
基于策略因子权重得分，计算最优资源池。
进一步的，所述基于调度任务中资源池的垂直拆分，计算出资源池交集范围，并根据资源池交集范围得到可调度分配资源池排序包括以下步骤：
S371、若调度任务不允许资源池进行垂直拆分，则在计算完第一个算力能力分组后，将得到的资源池范围作为第二个算力能力分组用于过滤资源池的初始值；
S372、若调度任务允许资源池进行垂直拆分，则在计算完第一个算力能力分组后，将第二个算力能力分组用于过滤资源池的初始值；
S373、根据每个算力能力分组计算出资源池交集范围的得分；
S374、基于资源池交集范围的得分计算出平均分，并对平均分进行排序得到调度任务最终的可调度分配资源池排序。
进一步的，所述基于策略因子权重得分，计算最优资源池包括以下步骤：
基于策略因子权重得分，将策略因子权重得分替换至对应决策矩阵中；
采用TOPSIS法对资源池优劣进行排序，得到最优资源池。
进一步的，所述TOPSIS法是根据有限个评价对象与理想化目标的接近程度进行排序的方法，在现有的对象中进行相对优劣的评价；
其中，TOPSIS法基本原理是通过检测评价对象与最优解及最劣解的距离进行排序。
进一步的，所述采用TOPSIS法来对资源池优劣进行排序，得到最优资源池包括以下步骤：
利用决策矩阵取出正理想解集合及负理想解集合；
计算资源池与正理想解的欧式距离，其计算公式为：
Figure 548634DEST_PATH_IMAGE001
式中，
Figure 31568DEST_PATH_IMAGE002
表示资源池i与正理想解的欧式距离；
j、m表示策略因子的序号，从j=1开始直到序号的最大值m；
Figure 504138DEST_PATH_IMAGE003
表示第i个资源池及第j个策略因子的标准得分；
Figure 352008DEST_PATH_IMAGE004
中的
Figure 277239DEST_PATH_IMAGE005
表示正理想解集合；
Figure 566793DEST_PATH_IMAGE006
表示正理想解集合中的第j个策略因子的正理想解；
计算资源池与负理想解的欧式距离，其计算公式为：
Figure 178220DEST_PATH_IMAGE008
式中，
Figure 590747DEST_PATH_IMAGE009
表示资源池i与负理想解的欧式距离；
j、m表示策略因子的序号，从j=1开始直到序号的最大值m；
Figure 477801DEST_PATH_IMAGE010
表示第i个资源池及第j个策略因子的标准得分；
Figure 659383DEST_PATH_IMAGE011
中的
Figure 114635DEST_PATH_IMAGE012
表示负理想解集合；
Figure 14458DEST_PATH_IMAGE013
表示负理想解集合中的第j个策略因子的负理想解；
计算定义资源池与正理想解的相对接近度，其计算公式为：
Figure 642886DEST_PATH_IMAGE014
式中，
Figure 678975DEST_PATH_IMAGE015
表示资源池与正理想解的相对接近度，若
Figure 305128DEST_PATH_IMAGE016
越大，则资源池匹配度越高；
Figure 692247DEST_PATH_IMAGE017
表示资源池i与正理想解的欧式距离；
Figure 858786DEST_PATH_IMAGE018
表示资源池i与负理想解的欧式距离。
进一步的，所述水平拆分通过拆分策略确定拆分比例；
其中，拆分策略包括平均分配策略及贪心分配策略；
所述平均分配策略的拆分比例和能力模板指定的拆分比例为相对固定值，并在拆分计算时遵循同一处理逻辑；
所述贪心分配策略的拆分比例为不固定值，并在拆分计算时遵循另一种处理逻辑。
本发明的有益效果为：
1、本发明主要针对在多提供方、多资源池、多产品的情况下，算力资源选择申请与分配需要基于人为经验进行，导致算力资源申请复杂、使用不均衡等问题；本发明通过建立一套多因子策略的调度分配模型与调度分配方法，自动根据算力需求匹配在某种策略场景下最为合适的资源池并分配资源，并能够在单个资源池无法满足某类算力需求时，能够将同类型算需求分配到多个资源池，提高算力资源调度的灵活性、可控性，提升算力资源利用率。
2、本发明的关键点在于多因子策略模型的建立以及根据通用的算力能力描述，将能力需求自动调度分配到单个或多个最优适配的资源池；运营商能够通过对算力发展使用的需要，建立合理的多因子策略模型库，实现对多资源池下算力资源调度分配的自动化、精细化、准确化。
3、本发明具有很强的实用性，应用不限于电信行业场景，同样适用于其他行业，如互联网算力服务提供商等，本发明不仅仅是一种对当前算力业务资源调度分配的方法，还是对未来算力网络发展后“云边端协同”，“社会算力并网”等新场景下，如何实现算力需求精准调度分配的支撑思路，可带给运营商、社会更好的服务，具有很强的复制性和推广性。
4、本发明提供的分配方法和技术，是一套完整的科学、合理、精准的调度分配方案，通过构建策略因子以及不同调度分配倾向的策略模型，可灵活实现对多资源池的算力资源分配进行调节，并且整个框架可支持人工输入迭代和更新，且扩展性强，可根据需要灵活调整策略因子、策略模型、因子权重、策略算法等内容，为算力泛在接入实现算力资源的按需最优分配。
5、本发明不仅可以支撑实现在多个资源池中选择最优的资源池分配算力资源，还可以支撑将调度任务按照能力类型拆分后调度分配到多个最优的资源池，并且还可实现将其中某个能力类型在继续拆分后调度分配到多个资源池，可有效支撑算力调度分配中遇到的各种复杂场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于多因素策略的算力资源最优调度分配方法的主要流程图；
图2是根据本发明实施例的一种基于多因素策略的算力资源最优调度分配方法的分配过程示例图。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
根据本发明的实施例，提供了一种基于多因素策略的算力资源最优调度分配方法。
现结合附图和具体实施方式对本发明进一步说明，如图1-图2所示，根据本发明实施例的基于多因素策略的算力资源最优调度分配方法，包括该算力资源最优调度分配方法包括以下步骤：
S1、预先根据算力资源调度分配时所需考虑的因素进行分析，并提取出策略因子；
具体的，在使用时，会自动根据配置好的计算规则生成，也可根据需要进行修改。在每个策略中可以对需要用到策略因子的因子权重和因子结果限制范围进行配置，在调度分配计算时使用，可使用的策略因子如表1所示：
表1：可使用的策略因子
Figure 14961DEST_PATH_IMAGE019
S2、利用策略因子构建对应的算力调度策略，并通过策略模型库实现对算力调度策略的管理；
其中，所述策略模型库是实现对算力调度策略的管理，策略模型库在使用中根据调度分配倾向进行策略配置，其主要信息包括策略类型、最多拆分数量、拆分策略及策略因子信息；
其中，所述策略类型包括智能推荐、分配最优、成本最优及距离最优类型；
所述最多拆分数量及所述拆分策略表示在计算资源池时，若涉及到算力能力需要拆分到资源池，当前策略允许拆分的最大数量以及所使用的拆分策略，可配置平均分配及贪心分配等策略；
所述策略因子表示当前策略下用于计算选择资源池时所用到的各因子，可根据实际需要进行配置，配置各因子在当前策略中所占权重以及因子结果的限制范围；
策略算法是指当前策略下用于计算选择资源池时所用到的算法，通过对应算法可获得各个备选资源池与算力需求的匹配指数。实际使用中可根据调度分配框架所要求的出参入参自定义算法逻辑，接收框架的调用，根据输入的算力需求以及备选资源池，包括备选资源池与因子相关的信息进行计算，并返回最终各个资源池的匹配指数。
S3、对算力需求进行解析，并通过算力调度策略对资源池进行评估，将所需的资源调度分配到最优匹配的资源池上；
具体的，多因素策略计算是根据算力需求，按照对应的调度策略及其算法，获得各个资源池的匹配指数，将所需的资源调度分配到最优匹配的某个资源池或多个资源池上；
具体的，多因素策略计算遵循规则为：
在进行调度分配时，一个算力能力分组的能力可能会水平拆分到不同的资源池，但不会垂直拆分到不同的资源池；
在进行调度分配时，如果没有指定必须要进行拆分，那么优先按将所需算力能力都调度分配到一个池进行处理；
在进行调度分配时，是按具体的产品能力来计算需要选择的资源池的，但是在计算时不需要将所有的产品能力都用来进行计算，会根据产品能力的关系权重来进行判断。例如，在某个算力能力分组中需要开通云主机及云磁盘时，是根据云主机来计算需要选择的资源池，云磁盘只会用来进行资源池过滤。
其中，所述对算力需求进行解析，并通过算力调度策略对资源池进行评估，将所需的资源调度分配到最优匹配的资源池上包括以下步骤：
S31、将调度任务按照算力能力分组维度拆分为多个子调度任务，依次轮询进行调度分配计算；
S32、根据解构出算力能力分组所需的算力能力分组、算力能力类型、算力数据格式及算力能力范围，并对可用资源池进行过滤，获取满足要求的资源池集合n1；
其中，所述算力能力分组表示为实现相同业务目标必须将所要求的资源分配在同一资源池的服务请求；
所述算力能力类型表示通用算力（CPU芯片所提供的算力）、智能算力（GPU、NPU等面向AI推理、AI训练的芯片所提供的算力）及超算算力（高性能计算集群所提供的算力）；
所述算力数据规格表示为INT8（8位整型）、FP16（半精度浮点）及FP32（双精度浮点）；
所述算力能力范围表示指具体到某种能力类型及某种数据规格所要求具备的算力值大小。
S33、根据预先配置好的产品能力关系权重及规则，选择需要进行计算的产品能力及顺序；
S34、按照产品能力c，依次轮询资源池集合n1，计算每个资源池在当前策略下每个策略因子的得分，并过滤掉因子结果范围外的资源池；
S35、基于因子结果范围中的资源池，利用多属性决策计算出产品能力所对应的最优匹配资源池；
具体的，多属性群决策，是现代决策科学的一个重要研究领域，其理论和方法已广泛应用于城市规划、经济管理、投资风险等领域。
其中，所述多属性群决策的计算包括以下步骤：
将资源池的策略因子集合，并形成决策矩阵；
具体的，在当前资源池选择问题中，可将符合条件的备选资源池集合表示为P= {P1，P2，……，Pn}，每个资源池的策略因子集合表示为C={C1，C2，……，Cm}，资源池Pn对策略 因子m的取值表示为
Figure 998967DEST_PATH_IMAGE020
，通过上述集合形成决策矩阵V，其表达式为：
Figure 791976DEST_PATH_IMAGE021
式中，
Figure 842757DEST_PATH_IMAGE022
表示决策矩阵；
Figure 938889DEST_PATH_IMAGE023
表示对资源池对策略因子的取值。
计算策略因子标准化得分；
具体的，由于各策略因子之间的单位和量级存在差异，无法直接进行评估计算，需要通过无量纲数学标准化，来消除指标差异性，形成标准化得分。
具体的，采用区间值映射法，通过将每类策略因子按属性值范围进行划分，将属性取值区间[Omin，Omax]上每个数映射到1~100中的某个区间[Nmin，Nmax]上；
计算出N区间[Nmin，Nmax]长度除以O区间[Omin，Omax]长度，得出O区间上单位长度对应于N区间上的大小，再将O区间上每个数减去O区间最小值后乘以单位区间对应的长度，最后加上N区间的最小值，实现投射到N区间上，其表达式为：
Figure 384914DEST_PATH_IMAGE024
式中，
Figure 515681DEST_PATH_IMAGE025
表示根据区间值映射法计算后得到的分数；
Figure 779172DEST_PATH_IMAGE026
表示区间值映射法中选取分数区间的最大值；
Figure 362600DEST_PATH_IMAGE027
表示区间值映射法中选取分数区间的最小值；
Figure 612316DEST_PATH_IMAGE028
表示需要计算数据区间中的最大值，这里对应备选资源池集合根据某个策 略因子计算后得到属性值集合中的最大值；
Figure 659906DEST_PATH_IMAGE029
表示需要计算数据区间中的最小值，这里对应备选资源池集合根据某个策略 因子计算后得到属性值集合中的最小值；
Figure 969665DEST_PATH_IMAGE030
表示需要计算数据区间中当前需要计算数据，
Figure 40389DEST_PATH_IMAGE031
经过计算后得到
Figure 156112DEST_PATH_IMAGE032
；
基于策略因子标准化得分，计算策略因子权重得分；
具体的，在计算得到策略因子标准化得分后，获取当前计算所用策略中的策略因子权重，通过D=策略因子标准化得分×策略因子权重，计算得到策略因子权重得分D。
基于策略因子权重得分，计算最优资源池；
其中，所述基于策略因子权重得分，计算最优资源池包括以下步骤：
基于策略因子权重得分，将策略因子权重得分替换至对应决策矩阵中；
采用TOPSIS法对资源池优劣进行排序，得到最优资源池。
其中，所述TOPSIS法是根据有限个评价对象与理想化目标的接近程度进行排序的方法，在现有的对象中进行相对优劣的评价；
其中，TOPSIS法基本原理是通过检测评价对象与最优解及最劣解的距离进行排序。
具体的，TOPSIS（Technique for Order Preference by Similarity to anIdeal Solution）法是C.L.Hwang和K.Yoon于1981年首次提出，TOPSIS法根据有限个评价对象与理想化目标的接近程度进行排序的方法，是在现有的对象中进行相对优劣的评价；
TOPSIS法的基本原理是通过检测评价对象与最优解、最劣解的距离来进行排序，若评价对象最靠近最优解同时又最远离最劣解，则为最好；否则不为最优。其中最优解的各指标值都达到各评价指标的最优值。最劣解的各指标值都达到各评价指标的最差值。
其中，所述采用TOPSIS法来对资源池优劣进行排序，得到最优资源池包括以下步骤：
首先通过决策矩阵取出正理想解集合（由每列向量中最大元素构成），记为V+，负理想解集合（由每列向量中最小元素构成），记为V-；
计算资源池Pi与正理想解的欧式距离
Figure 995892DEST_PATH_IMAGE033
，其计算公式为：
Figure 476552DEST_PATH_IMAGE034
式中，
Figure 768993DEST_PATH_IMAGE035
表示资源池i与正理想解的欧式距离；
j、m表示策略因子的序号，从j=1开始直到序号的最大值m；
Figure 688408DEST_PATH_IMAGE003
表示第i个资源池及第j个策略因子的标准得分；
Figure 382694DEST_PATH_IMAGE036
中的
Figure 286453DEST_PATH_IMAGE037
表示正理想解集合；
Figure 394086DEST_PATH_IMAGE006
表示正理想解集合中的第j个策略因子的正理想解；
计算资源池Pi与负理想解的欧式距离
Figure 789295DEST_PATH_IMAGE038
，其计算公式为：
Figure 426130DEST_PATH_IMAGE039
式中，
Figure 755480DEST_PATH_IMAGE040
表示资源池i与负理想解的欧式距离；
j、m表示策略因子的序号，从j=1开始直到序号的最大值m；
Figure 997456DEST_PATH_IMAGE041
表示第i个资源池及第j个策略因子的标准得分；
Figure 790969DEST_PATH_IMAGE042
中的
Figure 49912DEST_PATH_IMAGE043
表示负理想解集合；
Figure 600979DEST_PATH_IMAGE044
表示负理想解集合中的第j个策略因子的负理想解；
计算定义资源池Pi与正理想解的相对接近度，其计算公式为：
Figure 603570DEST_PATH_IMAGE045
式中，
Figure 126955DEST_PATH_IMAGE046
表示资源池与正理想解的相对接近度，若
Figure 415854DEST_PATH_IMAGE047
越大，则资源池匹配度越高；
Figure 657479DEST_PATH_IMAGE048
表示资源池i与正理想解的欧式距离；
Figure 322816DEST_PATH_IMAGE049
表示资源池i与负理想解的欧式距离。
S36、根据产品能力的权重计算出总得分，并将总得分作为算力能力分组对应资源池的得分；
具体的，如果一个算力能力分组中需要计算的产品能力大于一个，根据产品能力权重计算总得分=Σ（产品能力c对应资源池匹配度×产品能力权重），作为这个算力能力分组对应资源池的得分。
S37、基于调度任务中资源池的垂直拆分，计算出资源池交集范围，并根据资源池交集范围得到可调度分配资源池排序；
其中，所述基于调度任务中资源池的垂直拆分，计算出资源池交集范围，并根据资源池交集范围得到可调度分配资源池排序包括以下步骤：
S371、若调度任务不允许资源池进行垂直拆分，则在计算完第一个算力能力分组后，将得到的资源池范围作为第二个算力能力分组用于过滤资源池的初始值，并重复以上过程；
S372、若调度任务允许资源池进行垂直拆分，则在计算完第一个算力能力分组后，将第二个算力能力分组用于过滤资源池的初始值，并重复以上过程；
S373、根据每个算力能力分组计算出资源池交集范围的得分；
S374、基于资源池交集范围的得分计算出平均分，并对平均分进行排序得到调度任务最终的可调度分配资源池排序；
具体的，如果某几个算力能力分组要求必须在一个资源池内，那么这几个算力能力分组在对第一个算力能力分组进行资源池计算时，遵循垂直拆分的逻辑，在对第二个算力能力分组进行资源池计算时，遵循水平拆分的逻辑。
S4、利用水平拆分将算力需求中的算力要求能力按照比例拆分到不同的资源池中；
其中，所述水平拆分通过拆分策略确定拆分比例；
其中，拆分策略包括平均分配策略及贪心分配策略；
所述平均分配策略的拆分比例和能力模板指定的拆分比例为相对固定值，并在拆分计算时遵循同一处理逻辑；
所述贪心分配策略的拆分比例为不固定值，并在拆分计算时遵循另一种处理逻辑；
具体的，水平拆分是指将算力能力分组中的算力要求能力按比例拆分到不同的资源池中。水平拆分的触发有两种情况，一种是因为能力模板在封装时要求必须按比例进行水平拆分，比如将一个服务拆分到多个边缘云池；一种是因为当前调度任务所要求的能力，没有一个资源池能完全满足，必须拆分到多个资源池共同来满足。
在进行水平拆分时，首先需要确定拆分比例，拆分比例支持可以来自于能力模板配置时指定，也可以是在调度任务中按单个资源池全部满足的条件进行计算后发现无解，根据拆分策略来确定拆分比例。目前，可支持的拆分策略是平均分配策略和贪心分配策略，其中平均分配策略的拆分比例和能力模板指定的拆分比例是相对固定值，在进行拆分计算时遵循同一处理逻辑，而贪心分配策略的拆分比例是不固定，在进行拆分计算时遵循一种处理逻辑。
具体的，拆分比例固定时的处理逻辑如下：
对于平均分配拆分策略，拆分比例T从二分之一开始，上限根据调度策略中的“最多拆分数量”来决定，如果按照T进行拆分后，还是没有资源池能满足，那就继续增加拆分比例，直到找到有满足的资源池或是达到拆分上限。而能力模板指定的拆分比例可以认为只有一个拆分比例的平均分配特例；
在确定一种拆分比例后，按照拆分比例计算产品要求容量拆分后的值（向上取整）；
使用这个计算后的容量进行多因子调度过程的计算，在按资源池排序后，按拆分比例取对应数量的资源池；
如果当前拆分比例无法找到满足的资源池，那么继续增加拆分比例，重复进行计算。
具体的，拆分比例不固定时的处理逻辑如下：
对于贪心分配拆分策略，需要先按产品的空闲容量（未达到预警值）对备选资源池集合n按从大到小的顺序进行排序；
依次计算备选资源池下除“分配率”和“分配率增长值”其余策略因子，并增加对“空闲率”因子的计算，过滤掉不在因子结果范围中的资源池，得到备选资源池集合n1；
对备选资源池集合n1，在满足拆分上限资源池数量的前提下，从大到小进行依次分配。例如，要求算力100T，备选资源池n1为[（A，60T），（B，25T），（C，20T），（D，18T），（E，15T）]，那么最终选择资源池为A（分配60T），B（分配25T），C（分配15T）。
综上所述，借助于本发明的上述技术方案，本发明主要针对在多提供方、多资源池、多产品的情况下，算力资源选择申请与分配需要基于人为经验进行，导致算力资源申请复杂、使用不均衡等问题；本发明通过建立一套多因子策略的调度分配模型与调度分配方法，自动根据算力需求匹配在某种策略场景下最为合适的资源池并分配资源，并能够在单个资源池无法满足某类算力需求时，能够将同类型算需求分配到多个资源池，提高算力资源调度的灵活性、可控性，提升算力资源利用率。
本发明的关键点在于多因子策略模型的建立以及根据通用的算力能力描述，将能力需求自动调度分配到单个或多个最优适配的资源池；运营商能够通过对算力发展使用的需要，建立合理的多因子策略模型库，实现对多资源池下算力资源调度分配的自动化、精细化、准确化。
本发明具有很强的实用性，应用不限于电信行业场景，同样适用于其他行业，如互联网算力服务提供商等，本发明不仅仅是一种对当前算力业务资源调度分配的方法，还是对未来算力网络发展后“云边端协同”，“社会算力并网”等新场景下，如何实现算力需求精准调度分配的支撑思路，可带给运营商、社会更好的服务，具有很强的复制性和推广性。
本发明提供的分配方法和技术，是一套完整的科学、合理、精准的调度分配方案，通过构建策略因子以及不同调度分配倾向的策略模型，可灵活实现对多资源池的算力资源分配进行调节，并且整个框架可支持人工输入迭代和更新，且扩展性强，可根据需要灵活调整策略因子、策略模型、因子权重、策略算法等内容，为算力泛在接入实现算力资源的按需最优分配。
本发明不仅可以支撑实现在多个资源池中选择最优的资源池分配算力资源，还可以支撑将调度任务按照能力类型拆分后调度分配到多个最优的资源池，并且还可实现将其中某个能力类型在继续拆分后调度分配到多个资源池，可有效支撑算力调度分配中遇到的各种复杂场景。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多因素策略的算力资源最优调度分配方法，其特征在于，该算力资源最优调度分配方法包括以下步骤：
S1、预先根据算力资源调度分配时所需考虑的因素进行分析，并提取出策略因子；
S2、利用策略因子构建对应的算力调度策略，并通过策略模型库实现对算力调度策略的管理；
S3、对算力需求进行解析，并通过算力调度策略对资源池进行评估，将所需的资源调度分配到最优匹配的资源池上；
S4、利用水平拆分将算力需求中的算力要求能力按照比例拆分到不同的资源池中。
2.根据权利要求1所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述策略模型库是实现对算力调度策略的管理，策略模型库在使用中根据调度分配倾向进行策略配置，其主要信息包括策略类型、最多拆分数量、拆分策略及策略因子信息；
其中，所述策略类型包括智能推荐、分配最优、成本最优及距离最优类型；
所述最多拆分数量及所述拆分策略表示在计算资源池时，若涉及到算力能力需要拆分到资源池，当前策略允许拆分的最大数量以及所使用的拆分策略，可配置平均分配及贪心分配策略；
所述策略因子表示当前策略下用于计算选择资源池时所用到的各因子，可根据实际需要进行配置，配置各因子在当前策略中所占权重以及因子结果的限制范围。
3.根据权利要求1所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述对算力需求进行解析，并通过算力调度策略对资源池进行评估，将所需的资源调度分配到最优匹配的资源池上包括以下步骤：
S31、将调度任务按照算力能力分组维度拆分为多个子调度任务，依次轮询进行调度分配计算；
S32、根据解构出算力能力分组所需的算力能力分组、算力能力类型、算力数据格式及算力能力范围，并对可用资源池进行过滤，获取满足要求的资源池集合；
S33、根据预先配置好的产品能力关系权重及规则，选择需要进行计算的产品能力及顺序；
S34、按照产品能力依次轮询资源池集合，计算每个资源池在当前策略下每个策略因子的得分，并过滤掉因子结果范围外的资源池；
S35、基于因子结果范围中的资源池，利用多属性决策计算出产品能力所对应的最优匹配资源池；
S36、根据产品能力的权重计算出总得分，并将总得分作为算力能力分组对应资源池的得分；
S37、基于调度任务中资源池的垂直拆分，计算出资源池交集范围，并根据资源池交集范围得到可调度分配资源池排序。
4.根据权利要求3所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述算力能力分组表示为实现相同业务目标必须将所要求的资源分配在同一资源池的服务请求；
所述算力能力类型表示通用算力、智能算力及超算算力；
所述算力数据规格表示为INT8、FP16、及FP32；
所述算力能力范围表示具体到能力类型及数据规格所要求具备的算力值大小。
5.根据权利要求4所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述多属性群决策的计算包括以下步骤：
将资源池的策略因子集合，并形成决策矩阵；
计算策略因子标准化得分；
基于策略因子标准化得分，计算策略因子权重得分；
基于策略因子权重得分，计算最优资源池。
6.根据权利要求5所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述基于调度任务中资源池的垂直拆分，计算出资源池交集范围，并根据资源池交集范围得到可调度分配资源池排序包括以下步骤：
S371、若调度任务不允许资源池进行垂直拆分，则在计算完第一个算力能力分组后，将得到的资源池范围作为第二个算力能力分组用于过滤资源池的初始值；
S372、若调度任务允许资源池进行垂直拆分，则在计算完第一个算力能力分组后，将第二个算力能力分组用于过滤资源池的初始值；
S373、根据每个算力能力分组计算出资源池交集范围的得分；
S374、基于资源池交集范围的得分计算出平均分，并对平均分进行排序得到调度任务最终的可调度分配资源池排序。
7.根据权利要求6所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述基于策略因子权重得分，计算最优资源池包括以下步骤：
基于策略因子权重得分，将策略因子权重得分替换至对应决策矩阵中；
采用TOPSIS法对资源池优劣进行排序，得到最优资源池。
8.根据权利要求7所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述TOPSIS法是根据有限个评价对象与理想化目标的接近程度进行排序的方法，在现有的对象中进行相对优劣的评价；
其中，TOPSIS法基本原理是通过检测评价对象与最优解及最劣解的距离进行排序。
9.根据权利要求8所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述采用TOPSIS法来对资源池优劣进行排序，得到最优资源池包括以下步骤：
利用决策矩阵取出正理想解集合及负理想解集合；
计算资源池与正理想解的欧式距离，其计算公式为：
Figure 568324DEST_PATH_IMAGE001
式中，
Figure 827267DEST_PATH_IMAGE002
表示资源池i与正理想解的欧式距离；
j、m表示策略因子的序号，从j=1开始直到序号的最大值m；
Figure 581596DEST_PATH_IMAGE003
表示第i个资源池及第j个策略因子的标准得分；
Figure 380925DEST_PATH_IMAGE004
中的
Figure 904310DEST_PATH_IMAGE005
表示正理想解集合；
Figure 334154DEST_PATH_IMAGE006
表示正理想解集合中的第j个策略因子的正理想解；
计算资源池与负理想解的欧式距离，其计算公式为：
Figure 913220DEST_PATH_IMAGE008
式中，
Figure 556691DEST_PATH_IMAGE009
表示资源池i与负理想解的欧式距离；
j、m表示策略因子的序号，从j=1开始直到序号的最大值m；
Figure 891858DEST_PATH_IMAGE010
表示第i个资源池及第j个策略因子的标准得分；
Figure 683096DEST_PATH_IMAGE011
中的
Figure 761911DEST_PATH_IMAGE012
表示负理想解集合；
Figure 259888DEST_PATH_IMAGE013
表示负理想解集合中的第j个策略因子的负理想解；
计算定义资源池与正理想解的相对接近度，其计算公式为：
Figure 765956DEST_PATH_IMAGE014
式中，
Figure 44490DEST_PATH_IMAGE015
表示资源池与正理想解的相对接近度，若
Figure 926996DEST_PATH_IMAGE016
越大，则资源池匹配度越高；
Figure 279480DEST_PATH_IMAGE017
表示资源池i与正理想解的欧式距离；
Figure 222028DEST_PATH_IMAGE018
表示资源池i与负理想解的欧式距离。
10.根据权利要求1所述的一种基于多因素策略的算力资源最优调度分配方法，其特征在于，所述水平拆分通过拆分策略确定拆分比例；
其中，拆分策略包括平均分配策略及贪心分配策略；
所述平均分配策略的拆分比例和能力模板指定的拆分比例为相对固定值，并在拆分计算时遵循同一处理逻辑；
所述贪心分配策略的拆分比例为不固定值，并在拆分计算时遵循另一种处理逻辑。
CN202211523737.2A 2022-12-01 2022-12-01 一种基于多因素策略的算力资源最优调度分配方法 Active CN115550370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211523737.2A CN115550370B (zh) 2022-12-01 2022-12-01 一种基于多因素策略的算力资源最优调度分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211523737.2A CN115550370B (zh) 2022-12-01 2022-12-01 一种基于多因素策略的算力资源最优调度分配方法

Publications (2)

Publication Number Publication Date
CN115550370A true CN115550370A (zh) 2022-12-30
CN115550370B CN115550370B (zh) 2023-03-31

Family

ID=84722267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211523737.2A Active CN115550370B (zh) 2022-12-01 2022-12-01 一种基于多因素策略的算力资源最优调度分配方法

Country Status (1)

Country Link
CN (1) CN115550370B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089046A (zh) * 2023-01-31 2023-05-09 安徽航天联志科技有限公司 基于软件定义算力网络的调度方法、装置、设备及介质
CN116382926A (zh) * 2023-06-05 2023-07-04 支付宝(杭州)信息技术有限公司 针对推荐系统的算力优化的方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932279A (zh) * 2012-10-30 2013-02-13 北京邮电大学 一种云环境数据中心多维资源调度系统及方法
CN105450684A (zh) * 2014-08-15 2016-03-30 中国电信股份有限公司 云计算资源调度方法和系统
CN111679905A (zh) * 2020-05-11 2020-09-18 天津大学 算网融合网络模型
CN113448721A (zh) * 2020-03-27 2021-09-28 中国移动通信有限公司研究院 算力处理的网络系统及算力处理方法
CN114090253A (zh) * 2021-11-23 2022-02-25 中国电信股份有限公司 网络算力资源的分配方法、装置、电子设备和可读介质
CN114253704A (zh) * 2020-09-25 2022-03-29 华为技术有限公司 一种分配资源的方法及装置
CN114416352A (zh) * 2021-12-29 2022-04-29 中国电信股份有限公司 算力资源分配方法、装置、电子设备及储存介质
CN114579296A (zh) * 2021-12-27 2022-06-03 天翼云科技有限公司 一种服务器闲置算力调度方法、装置及电子设备
CN115134371A (zh) * 2022-06-15 2022-09-30 中国电力科学研究院有限公司 包含边缘网络算力资源的调度方法、系统、设备及介质
CN115328663A (zh) * 2022-10-10 2022-11-11 亚信科技（中国）有限公司 基于PaaS平台进行资源调度的方法、装置、设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932279A (zh) * 2012-10-30 2013-02-13 北京邮电大学 一种云环境数据中心多维资源调度系统及方法
CN105450684A (zh) * 2014-08-15 2016-03-30 中国电信股份有限公司 云计算资源调度方法和系统
CN113448721A (zh) * 2020-03-27 2021-09-28 中国移动通信有限公司研究院 算力处理的网络系统及算力处理方法
CN111679905A (zh) * 2020-05-11 2020-09-18 天津大学 算网融合网络模型
CN114253704A (zh) * 2020-09-25 2022-03-29 华为技术有限公司 一种分配资源的方法及装置
CN114090253A (zh) * 2021-11-23 2022-02-25 中国电信股份有限公司 网络算力资源的分配方法、装置、电子设备和可读介质
CN114579296A (zh) * 2021-12-27 2022-06-03 天翼云科技有限公司 一种服务器闲置算力调度方法、装置及电子设备
CN114416352A (zh) * 2021-12-29 2022-04-29 中国电信股份有限公司 算力资源分配方法、装置、电子设备及储存介质
CN115134371A (zh) * 2022-06-15 2022-09-30 中国电力科学研究院有限公司 包含边缘网络算力资源的调度方法、系统、设备及介质
CN115328663A (zh) * 2022-10-10 2022-11-11 亚信科技（中国）有限公司 基于PaaS平台进行资源调度的方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邱勤等: ""算力网络安全应用需求与关键技术研究"", 《技术热点》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116089046A (zh) * 2023-01-31 2023-05-09 安徽航天联志科技有限公司 基于软件定义算力网络的调度方法、装置、设备及介质
CN116382926A (zh) * 2023-06-05 2023-07-04 支付宝(杭州)信息技术有限公司 针对推荐系统的算力优化的方法和装置
CN116382926B (zh) * 2023-06-05 2023-08-22 支付宝(杭州)信息技术有限公司 针对推荐系统的算力优化的方法和装置

Also Published As

Publication number Publication date
CN115550370B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN115550370B (zh) 一种基于多因素策略的算力资源最优调度分配方法
CN109167835A (zh) 一种基于kubernetes的物理资源调度方法及系统
CN110096349A (zh) 一种基于集群节点负载状态预测的作业调度方法
CN111124689A (zh) 一种集群中容器资源动态分配方法
CN104065745A (zh) 云计算动态资源调度系统和方法
CN111489095A (zh) 一种风险用户管理方法、装置、计算机设备和存储介质
CN110119876A (zh) 工单处理方法及装置
CN106202092A (zh) 数据处理的方法及系统
WO2023087658A1 (zh) 一种任务调度方法、装置、设备及可读存储介质
CN112232863B (zh) 一种基于云边端协同的虚拟资源管理方法及系统
CN111901145A (zh) 一种电力物联网异构共享资源分配系统和方法
CN105743985A (zh) 一种基于模糊逻辑的虚拟服务迁移方法
CN115220916B (zh) 视频智能分析平台的自动算力调度方法、装置及系统
CN113992677A (zh) 一种延迟与能耗联合优化的mec计算卸载方法
Mahan et al. A novel resource productivity based on granular neural network in cloud computing
Nazeri et al. Energy aware resource provisioning for multi-criteria scheduling in cloud computing
CN114938372A (zh) 一种基于联邦学习的微网群请求动态迁移调度方法及装置
CN108650191B (zh) 一种虚拟化网络中映射策略的决策方法
Zhu et al. A multi-resource scheduling scheme of Kubernetes for IIoT
CN112882805A (zh) 一种任务资源约束的利润优化调度方法
CN108073449B (zh) 一种虚拟机动态放置方法
CN115981843A (zh) 云边协同电力系统中任务调度方法、装置和计算机设备
CN110297694A (zh) 一种基于资源分类和任务优先级的启发式云计算调度方法
CN116321189A (zh) 一种面向边缘计算中基于深度强化学习的服务器部署方法
CN115116879A (zh) 一种面向晶圆表面缺陷检测的动态权值优化负载均衡算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant