CN113138849B - 一种计算资源调度和迁移方法、相关装置及系统 - Google Patents
一种计算资源调度和迁移方法、相关装置及系统 Download PDFInfo
- Publication number
- CN113138849B CN113138849B CN202010066610.7A CN202010066610A CN113138849B CN 113138849 B CN113138849 B CN 113138849B CN 202010066610 A CN202010066610 A CN 202010066610A CN 113138849 B CN113138849 B CN 113138849B
- Authority
- CN
- China
- Prior art keywords
- resource
- scheduling
- equipment
- attribute
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 280
- 230000005012 migration Effects 0.000 title claims abstract description 280
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000013507 mapping Methods 0.000 claims abstract description 73
- 238000005457 optimization Methods 0.000 claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 58
- 238000004364 calculation method Methods 0.000 claims abstract description 39
- 238000007726 management method Methods 0.000 claims description 86
- 238000013468 resource allocation Methods 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 24
- 238000012790 confirmation Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims description 18
- 230000007717 exclusion Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013506 data mapping Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 230000009471 action Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 238000013439 planning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 208000036829 Device dislocation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种计算资源调度和迁移系统、相关方法及装置。所述调度方法包括:将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。能够针对复杂目标约束进行计算机资源编排调度,方便、快捷的实现资源的合理调度。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种计算资源调度和迁移方法、相关装置及系统。
背景技术
资源提供设备向资源使用设备(或说资源使用设备)提供的资源,如处理器、内存、网络带宽等都可以称之为计算资源,当有多个资源使用设备使用资源提供设备提供的计算资源时,为了更合理的利用计算资源,通常需要对计算资源进行编排,在进行计算资源编排时,考虑到用户需求、容灾备份、集群运维等方方面面的原因,通常会需要复杂的目标和约束来满足不同方面的具体要求。例如:资源使用设备排布约束、资源提供设备计算资源均衡使用的优化目标和排布约束、资源使用设备迁移约束等等。
现有的调度规划工具在进行计算资源编排时,通常只支持简单的场景,比如对计算资源使用设备进行简单的均匀排布或随机排布,又比如基于计算资源的最小可用额度等简单目标进行计算资源的编排,这些调度规划工具仅适用于调度目标单一的调度任务编排,无法适用于复杂的目标约束计算,比如不能同时考虑选项binpack和spread,而且也不能支持任务在实例中的迁移约束,不能均衡不同实例之间的资源使用率等。因此。对于需要复杂的目标和约束的编排需求,无法实现合理的计算资源编排调度。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种计算资源调度和迁移方法、相关系统及装置。
本发明实施例提供一种计算资源调度系统,包括:
管控服务器,用于收集集群设备的与调度相关的属性信息,所述集群设备包括资源提供设备和资源使用设备;
接口单元,用于基于资源调度指令从管控服务器获取集群设备的与调度相关的属性信息和设置的调度约束条件,提供给调度服务器;
调度服务器,用于将资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案,通过接口单元返回给管控服务器;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
在一些可选的实施例中,所述接口单元,具体用于:
接收管控服务器监控到设备集群中可用计算资源数量低于设定阈值发送的集群整理指令,或接收管控服务器发送或用户输入的资源提供设备清空指令,或接收管控服务器监控到新接入的资源使用设备时发送的资源分配指令;
根据接收到的指令,确定需要涉及到的集群设备,获取相应集群设备的状态描述信息和设置的调度约束条件。
在一些可选的实施例中,所述调度服务器,具体用于:
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性;
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性;
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。
在一些可选的实施例中,所述调度服务器,具体用于:
根据item属性、box属性和当前资源分配状态X0,使用选择的资源优化算法进行资源优化计算,确定满足约束条件的优化后的资源分配状态Xn,根据优化后的资源分配状态Xn和当前资源分配状态X0,确定需要迁移的资源使用设备和所要迁移到的目标资源提供设备,得到资源迁移方案。
在一些可选的实施例中,所述调度服务器,还用于:
将所述box属性、item属性和configure属性输入计算求解模型之前,执行如下操作:
对资源使用设备及其与调度相关的属性信息进行等价变换处理,合并相同的item,以及进行有效性筛选处理并去除无效的item;以及
对资源提供设备及其与调度相关的属性信息进行等价变换处理,合并相同的box,以及进行有效性筛选处理并去除无效的box。
在一些可选的实施例中,所述管控服务器,还用于:
接收调度服务器发送的资源迁移方案,根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
在一些可选的实施例中,所述管控服务器,还用于:
将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;
接收资源使用设备和资源提供设备返回的迁移确认信息;所述迁移确认信息包括是否接受迁移方案和迁移方式,以及执行迁移的时间。
在一些可选的实施例中,上述系统中的资源使用设备和资源提供设备还用于,完成资源迁移后,更新各自的与调度相关的属性信息;以及
管控服务器还用于更新相关资源使用设备和资源提供设备的与调度相关的属性信息。
本发明实施例还提供一种计算资源调度方法,包括:
将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;
将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
在一些可选的实施例中,上述方法还包括:基于资源调度指令获取管控服务器收集的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息和设置的调度约束条件。
在一些可选的实施例中,基于资源调度指令获取管控服务器收集的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息和设置的调度约束条件,包括:
接收管控服务器监控到设备集群中可用计算资源数量低于设定阈值发送的集群整理指令,或接收管控服务器发送或用户输入的资源提供设备清空指令,或接收管控服务器监控到新接入的资源使用设备时发送的资源分配指令;
根据接收到的指令,确定需要涉及到的集群设备,获取相应集群设备的状态描述信息和设置的调度约束条件。
在一些可选的实施例中,将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性,包括:
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性;
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性;
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。
在一些可选的实施例中,将所述box属性、item属性和configure属性输入计算求解模型之前之前,还包括:
对资源使用设备及其与调度相关的属性信息进行等价变换处理,合并相同的item,以及进行有效性筛选处理并去除无效的item;以及
对资源提供设备及其与调度相关的属性信息进行等价变换处理,合并相同的box,以及进行有效性筛选处理并去除无效的box。
在一些可选的实施例中,所述采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案,包括:
根据item属性、box属性和当前资源分配状态X0,使用选择的资源优化算法进行资源优化计算,确定满足调度约束条件的优化后的资源分配状态Xn,根据优化后的资源分配状态Xn和当前资源分配状态X0,确定需要迁移的资源使用设备和所要迁移到的目标资源提供设备,得到资源迁移方案。
本发明实施例还提供一种计算资源调度装置,包括:
信息获取模块,用于获取资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件;
预处理模块,用于将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;
资源调度模块,用于将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
本发明实施例还提供一种计算资源数据映射方法,包括:
获取集群设备的与调度相关的属性信息和设置的调度约束条件,所述集群设备包括资源提供设备和资源使用设备;
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性;
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性;
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。
在一些可选的实施例中,获取集群设备的与调度相关的属性信息和设置的调度约束条件,包括:
获取资源提供设备的下列属性信息中的至少一项:名称、初始位置、资源需求、亲近收益、互斥规则、排布范围、迁移代价;
获取资源使用设备的下列属性信息中的至少一项:能够提供的总资源和可用资源、需要资源使用设备付出的使用代价、所在资源分组、资源分组的总资源、资源分组的可用资源和分组标识;
获取下列调度约束条件中的至少一项:计算求解模型的求解时间上限、总迁移代价要求、迁移跳数要求、选择的资源优化算法、资源优化目标、资源提供者的排布约束、资源使用设备的排布约束、迁移方式和迁移规则约束。
本发明实施例还提供一种用于资源调度的DSL领域模型,包括:
项目item,用于表示资源使用设备与调度相关的属性信息,包括多项item属性,每项item属性包括属性描述和属性值,每项item属性通过收集资源使用设备与调度相关的属性信息映射得到;
箱box,用于表示资源提供设备与调度相关的属性信息,包括多项box属性,每项box属性包括属性描述和属性值,每项item属性通过收集资源提供设备与调度相关的属性信息映射得到;
约束条件configure,用于表示调度优化目标,包括多项configure属性,每项configure属性包括属性描述和属性值,每项configure属性设置的调度约束条件映射得到。
本发明实施例还提供一种用于资源调度的装箱调度模型,包括上述的DSL领域模型和计算求解模型;
所述DSL模型,用于将资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;
计算求解模型,用于将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
本发明实施例还提供一种计算资源迁移实现方法,包括:
管控服务器接收调度服务器发送的资源迁移方案,所述资源迁移方案为调度服务器采用上述的方法确定的;
管控服务器根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
在一些可选的实施例中,所述采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备之前,还包括:
管控服务器将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;
接收资源使用设备和资源提供设备返回的迁移确认信息;所述迁移确认信息包括是否执行迁移、用户选择的迁移方案和迁移方式、执行迁移的时间中的至少一项。
在一些可选的实施例中,所述采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备,包括:
将源资源提供设备上的需要迁移的资源使用设备关闭,在目标资源提供设备上重新创建需要迁移的资源使用设备;或
将需要迁移的资源使用设备在源资源提供设备上的数据复制到目标资源提供设备上。
本发明实施例还提供一种计算资源迁移实现系统,包括:
调度服务器,用于向接口单元发送确定出的资源迁移方案,所述资源迁移方案采用上述的方法确定;
接口单元,用于将所述资源迁移方案转发给管控服务器;
管控服务器,用于接收调度服务器发送的资源迁移方案,根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
在一些可选的实施例中,所述管控服务器,还用于:
采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备之前,将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;
接收资源使用设备和资源提供设备返回的迁移确认信息;所述迁移确认信息包括是否执行迁移、用户选择的迁移方案和迁移方式、执行迁移的时间中的至少一项。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述的计算资源调度方法或上述的计算资源迁移实现方法。
本发明实施例还提供一种计算资源调度系统,包括:资源使用设备、资源提供设备和上述的计算资源调度装置。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现上述的计算资源调度方法。
本发明实施例提供的上述技术方案的有益效果至少包括:
上述计算资源调度系统,通过管控服务器收集集群设备的与调度相关的属性信息,并通过接口单元提供给调度服务器,由调度服务器将资源提供设备和资源使用设备之间的复杂目标的资源分配问题,统一建模成基于item和box的广义装箱问题,将资源使用设备的与调度相关的属性信息作为item的属性、资源提供设备的与调度相关的属性信息作为box的属性,通过预先建立的计算求解模型,采用选择的资源优化算法进行资源排布,获取合理的资源排布结果,最终确定满足调度约束条件的资源迁移方案,即便是针对多个资源提供设备和多个资源使用设备之间具有复杂的约束条件和目标的资源调度也能够合理的进行排布,因此在资源编排时能够考虑用户需求、容灾备份、集体运维、排布和迁移约束等等方方面面的要求,将其转化为建模求解的问题,调度过程方便、快捷,且实现了更合理的资源编排分配。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例一中计算资源调度系统的结构示意图;
图2为本发明实施例一中计算资源调度系统的一种具体架构示例图;
图3为本发明实施例二中计算资源调度方法的流程图;
图4为本发明实施例三中计算资源调度方法的具体实现流程图;
图5为本发明实施例三中计算资源调度的原理示意图;
图6为本发明实施例中计算资源调度装置的结构示意图;
图7为本发明实施例五中计算资源数据映射方法的流程图;
图8为本发明实施例八中计算资源迁移实现方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的无法实现复杂目标和约束的资源调度编排需求的问题,本发明实施例提供一种计算资源调度系统、方法和装置,能够基于调度目标和调度约束对资源提供设备的资源进行有效合理的编排调度,即便是对于复杂的目标约束也能实现准确、合理的调度,满足不同资源使用者对调度资源的需求。
其中,计算资源是指计算机向应用程序提供的资源,如处理器、内存、网络带宽等。计算资源调度是把计算资源的资源使用设备(也可以称为资源使用者,如作业、容器或虚拟机等)调度到资源提供设备(也可以成为资源提供者,如虚拟机或物理机)上,实现降低资源浪费、节约成本等目标。
计算资源编排调度问题因为用户需求、容灾备份、集群运维等原因,往往存在较为复杂的目标和约束,例如:
1、容器排布约束:两个给定名称的容器不能排布到同一台物理机;
2、物理机优化目标:均衡物理机的计算资源使用率;
3、物理机排布约束:某五台物理机中最多有三台物理机可以被清空;
4、迁移约束:最多迁移十个容器,每台物理机不能同时迁入或者迁出容器;
由于现有的调度规划工具无法适用于这类复杂问题,因此,本发明实施例提供一种调度规划工具,能够让用户通过该调度规划工具的领域特定语言准确建模计算资源调度问题并得到满足要求的调度方案。
下面通过具体的实施例进行详细描述。
实施例一
本发明实施例一提供一种计算资源调度系统,其结构如图1所示,包括:管控服务器11、接口单元12和调度服务器13;其中,
管控服务器11,用于收集集群设备14的与调度相关的属性信息,集群设备包括资源提供设备111和资源使用设备112;
接口单元12,用于基于资源调度指令从管控服务器11获取集群设备的与调度相关的属性信息和设置的调度约束条件,提供给调度服务器13;
调度服务器13,用于将资源提供设备111的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;将box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足调度约束条件的资源迁移方案,通过接口单元12返回给管控服务器11;资源迁移方案中包括需要迁移的资源使用设备112、源资源提供设备和所要迁移到的目标资源提供设备。
上述资源提供设备可以是物理机、虚拟机等设备中的一个或多个,上述资源使用设备可以是虚拟机、容器、作业进程中的一个或多个。在本发明实施例中,资源提供设备和资源使用设备是指提供计算资源的资源提供者和使用计算资源的资源使用者,不一定是具体的实体设备,也可以是虚拟设备、作业任务或进程。
上述系统的一个具体架构可以如图2所示,其中:
集群设备中包括的资源提供设备为物理机、资源使用设备为虚拟机,多个物理机为多个虚拟机提供计算资源。
管控服务器可与集群设备进行信息交互,实现对集群设备的资源监控、实现虚拟机调度以及数据存储等功能。管控服务器会监控集群设备的可用计算资源数量,并在设定条件下出发指定任务,比如,计算资源数量小于指定阈值时出发集群整理任务,整理集群设备的计算资源。管控设备还会对集群设备中的虚拟机进行调度,将其分配到不同的物理机上,以便由物理机为虚拟机提供计算资源。管控服务器还会将收集的集群设备的数据进行持久化存储,比如物理机的信息、虚拟机的信息和资源使用情况等。
接口单元可与管控服务器进行信息交互,也可以与调度服务器进行信息交互,还提供与用户交互的界面。如图2所示的,可以在管控服务器资源监控满足设定条件的情况下或用户指令下触发集群整理、物理机清空、虚拟机分配等任务。集群整理任务通过调整虚拟机在物理机上的排布实现增加可利用的计算资源。物理机清空任务实现将指定物理机上的虚拟机迁出,从而将该物理机腾空。虚拟机分配任务实现为待分配虚拟机分配物理机,并将待分配虚拟机迁移到目标物理机上。
调度服务器中包括收集用户调度问题的模块和达灵DSL模块,根据接口单元的指令进行用户调度问题的处理,将收集到的集群设备的与调度相关的属性信息和设定的调度约束条件处理成DSL语言,调度服务器中还包括计算求解模型,对DSL处理后的数据进行计算求解得到资源迁移方案。
在一个可选的实施例中,接口单元具体用于接收管控服务器监控到设备集群中可用计算资源数量低于设定阈值发送的集群整理指令,或接收管控服务器发送或用户输入的资源提供设备清空指令,或接收管控服务器监控到新接入的资源使用设备时发送的资源分配指令;根据接收到的指令,确定需要涉及到的集群设备,获取相应集群设备的状态描述信息和设置的调度约束条件。
接口单元实现为管控服务器、调度服务器和用户提供信息交互接口,例如用户可以通过接口单元输入集群整理指令、设备清空指令、资源分配指令中的一个或多个,也可以输入其他指令,比如虚拟机迁移或调整的指令等等,接口单元接收到用户的指令时,会向管控服务器请求执行该指令所需的数据并提供给调度服务器进行处理。又例如:管控服务器在监控集群设备的使用情况确定需要进行集群整理时,或监控到有新的虚拟机接入需要进行资源分配可以发送相应的指令调度给接口单元。又例如:调度服务器在产生了迁移方案时可以发送给接口单元,并通过接口单元转达至管控服务器以便控制集群设备进行资源迁移。
在一个可选的实施例中,调度服务器13实现DSL映射时,具体包括:
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性;
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性;
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。
调度服务器13,实现资源迁移方案的求解时,具体包括:根据item属性、box属性和当前资源分配状态X0,使用选择的资源优化算法进行资源优化计算,确定满足约束条件的优化后的资源分配状态Xn,根据优化后的资源分配状态Xn和当前资源分配状态X0,确定需要迁移的资源使用设备和所要迁移到的目标资源提供设备,得到资源迁移方案。
如图2所示,DSL映射由达灵DSL模块实现,将用户调度问题模块收集到的用户调度相关的数据映射为通过DSL表示,使求解计算模型能够识别并进行求解,返回迁移方案。
可选的,调度服务器在将box属性、item属性和configure属性输入计算求解模型之前,还可以执行如下操作:
对资源使用设备及其与调度相关的属性信息进行等价变换处理,合并相同的item,以及进行有效性筛选处理并去除无效的item;以及对资源提供设备及其与调度相关的属性信息进行等价变换处理,合并相同的box,以及进行有效性筛选处理并去除无效的box。
对资源使用设备、资源提供设备及其属性信息进行等价变换是为了去除采用不同形式表示的重复信息,避免不必要的重复计算,减少计算资源浪费。
在一个可选的实施例中,管控服务器可以实现监控集群设备的计算资源使用情况并存储。还可以接收调度服务器发送的资源迁移方案,根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。例如,不同的资源使用设备可以采用不同的迁移方案和迁移方式,比如,虚拟机A迁移到物理机B上,采用冷迁移或者热迁移的方式。
可选的,管控服务器11确定迁移方案后,还可以与集群设备进行信息交互,实现迁移方案和迁移方式的确认。具体的,将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;接收资源使用设备和资源提供设备返回的迁移确认信息;迁移确认信息包括是否接受迁移方案和迁移方式,以及执行迁移的时间。
可选的,资源使用设备和资源提供设备完成资源迁移后,更新各自的与调度相关的属性信息;以及管控服务器更新相关资源使用设备和资源提供设备的与调度相关的属性信息。以便能够及时监控集群设备中的计算资源使用情况,及时进行调整资源使用情况,优化系统性能。
实施例二
基于同一发明构思,本发明实施例二提供一种计算资源调度方法,其流程如图3所示,包括如下步骤:
步骤S101:将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性。
可以针对多个资源提供设备或多组资源提供设备提供的资源,为多个资源使用设备进行分配,分配时可以考虑各种调度约束条件,因此,需要收集资源使用设备的属性信息、资源提供设备的属性信息和配置的调度约束条件。可以基于资源调度指令获取管控服务器收集的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息和设置的调度约束条件。
例如:收集资源使用设备的下列属性信息中的至少一项:名称、初始位置、资源需求、亲近收益、互斥规则、排布范围、迁移代价;
例如:收集资源提供设备的下列属性信息中的至少一项:能够提供的总资源和可用资源、需要资源使用设备付出的使用代价、所在资源分组、资源分组的总资源、资源分组的可用资源和分组标识;
例如:收集下列约束条件中的至少一项:装箱调度模型的求解时间上限、总迁移代价要求、迁移跳数要求、选择的资源优化算法、资源优化目标、资源提供者的排布约束、资源使用设备的排布约束、迁移方式和迁移规则约束。
为了便于后续统一建模,需要将收集到的信息转化成装箱调度模型能够识别的领域特定语言(Domain Specific Language,DSL)。
其中,资源提供设备可以是虚拟机、物理机、计算机或其他各种计算资源提供者,计算资源使用设备可以是容器、虚拟机、作业任务等各种计算资源使用者。
步骤S102:将得到的box属性、item属性和configure属性输入计算求解模型。
将容器、虚拟机、作业任务等计算资源使用设备对应到item,将虚拟机、物理机等计算资源提供者对应到box,将计算资源使用设备排布到计算提供使用设备被抽象为将item放置到box中,即可以通过装箱调度模型解决资源调度的问题。
资源使用设备的各种与调度相关的属性(如名称、资源需求、初始位置、迁移代价等)对应到item属性。
资源提供设备的各种与调度相关的属性对应到box属性,当有资源提供者分组时,资源提供者分组的调度相关的属性对应到box group的属性。
设置的各个调度约束条件对应到configure属性。
可选的,将预处理后的资源使用设备的属性信息作为item属性、资源提供者的属性信息作为box属性、调度约束条件作为configure属性输入计算求解模型中之前,还包括:对item的属性和box属性进行等价变换处理和有效性筛选处理。
对资源使用设备及其与调度相关的属性信息进行等价变换处理,合并相同的item,以及进行有效性筛选处理并去除无效的item;以及对资源提供设备及其与调度相关的属性信息进行等价变换处理,合并相同的box,以及进行有效性筛选处理并去除无效的box。从而减少无效的box属性、item属性和configure属性,减少数据处理量和求解计算量。
步骤S103:采用选择的资源优化算法,确定满足调度约束条件的资源迁移方案;其中,资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
最长求解时间、迁移代价上限等与资源编排相关的限制条件被设置为调度约束条件(configure),资源编排相关的限制条件可以根据实际业务需要设定。在满足这些资源编排相关的限制条件的情况下,采用选择的资源优化算法进行求解,获取满足限制条件的分配方案,即根据item属性、box属性和当前资源分配状态X0,使用选择的资源优化算法进行资源优化计算,确定满足调度约束条件的优化后的资源分配状态Xn,根据优化后的资源分配状态Xn和当前资源分配状态X0,确定需要迁移的资源使用使用设备和所要迁移到的目标资源提供设备,得到资源迁移方案。比如:资源使用设备A1迁移或分配到资源提供设备B1,资源使用设备A2迁移或分配到资源提供设备B1,资源使用设备A3迁移或分配到资源提供设备B2,……,等等。
可选的,可以选择综合求解的方式进行分配求解,可以通过逐个为item分配box的方式进行分配求解,逐个求解时,在已有item排布的基础上增加新的item排布,直至都排布完成,不再产生迁移行为(action)为止,得到资源迁移方案,可以将产生的资源迁移方案反馈给资源提供设备和资源使用设备。
本实施例中,在步骤S101利用达灵DSL产生模型所能识别的语言后,利用模型工具进行求解,产生迁移方案的过程,可以包括:
1)等价变换:在预处理层,对用户输入的原始问题进行等价变换,转换为最高效的等价建模,这里可以合并属性完全相同的item和box,比如:有两个完全相同的容器但是最初建模为两个item,等价变换将它们合并为一个item。
2)模型解析:将资源调度问题由DSL表示的原始数据,构建为数学规划语言表示的数学模型及内部高效数据结构。
这里的数学模型的形式可以采用混合整数规划的方式,数学模型的形式可以是:
minimize c x(表示要最小化x)
subject to Ax<=b,x>=0(表示约束目标是x大于0,且Ax小于b)
其中,x为整数变量或者连续变量;c、A、b均为预设参数,可以是矩阵形式。
可以通过高效数据结构记录item和box的各种属性,从而具有较高的索引效率,便于用来构建所规划的资源调度问题。
3)维护求解状态:建立马尔可夫决策过程(MDP)状态X,记录当前资源分配状态。
4)利用模型进行分配状态求解。
根据用户输入或者默认配置选择优化算法并求解,支持混合整数规划(mixedinteger programming,MIP)、近似算法等多种求解算法,利用产生的action优化状态X;比如可以调用混合整数规划求解器进行求解
5)当状态X到达资源分配状态的终态时,产生迁移方案返回给用户。
当所有item都分配完毕之后,产生迁移方案,例如:item从某个box迁移到另一个box。
本实施例的上述方法中,将资源提供设备和资源使用设备之间的复杂目标的资源分配问题,统一建模成基于item和box的广义装箱问题,将资源使用设备的与调度相关的属性信息作为item属性、资源提供者的与调度相关的属性信息作为box属性,调度约束条件作为configure属性,通过预先建立的求解计算模型,采用选择的资源优化算法进行资源排布,获取合理的资源排布结果,最终确定满足调度约束条件的资源迁移方案,即便是针对多个资源提供设备和多个资源使用设备之间具有复杂的约束条件和目标的资源调度也能够合理的进行排布,因此在资源编排时能够考虑用户需求、容灾备份、集体运维、排布和迁移约束等等方方面面的要求,将其转化为建模求解的问题,调度过程方便、快捷,且实现了更合理的资源编排分配。
实施例三
本发明实施例三提供计算资源调度方法的一种具体实现过程,其流程如图4所示,其实现原理框图如图5所示,该方法包括如下步骤:
步骤S201:收集资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件。
可以基于资源调度指令获取管控服务器收集的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息和设置的调度约束条件。具体的,接收管控服务器监控到设备集群中可用计算资源数量低于设定阈值发送的集群整理指令,或接收管控服务器发送或用户输入的资源提供设备清空指令,或接收管控服务器监控到新接入的资源使用设备时发送的资源分配指令;根据接收到的指令,确定需要涉及到的集群设备,获取相应集群设备的状态描述信息和设置的调度约束条件。
图5详细示出了调度服务器中用户调度问题、达灵DSL和求解计算模型等模块所实现的功能,其中,用户调度问题部分中,收集容器/虚拟机等资源使用设备的名称、初始位置、资源需求、亲近收益、互斥规则、排布范围、迁移代价等属性信息。其中,初始位置是指资源使用设备当前所在的资源提供设备,资源需求是指资源使用设备需要多少资源,亲近收益是指资源使用设备使用资源所获得的收益,互斥规则是指资源使用设备之间的排斥性约束,比如不能分配给同一个资源提供设备,排布范围是指资源使用设备需要在哪些资源提供设备中进行分配,迁移代价是指资源使用设备从一个资源提供设备迁移到另一个资源提供设备时所要付出的代价。
收集虚拟机\物理机等资源提供设备的总资源、使用代价、分组等信息,其中,总资源是指资源提供设备所能提供的资源总量,使用代价是指需要资源使用设备付出的使用代价,分组包括资源提供设备所在的资源分组,还可以包括分组ID、资源分组的总资源等。
收集求解设定,即调度约束条件,包括求解时间上限、迁移总代价、一跳迁移、优化算法等。求解时间上限是指求解的反馈时间不能超过的时间界限,迁移总代价是指所有资源使用设备的总的迁移代价,一跳迁移是指只能允许迁移跳数为一跳的迁移发生,优化算法是只选择的资源优化算法。
步骤S202:将资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性。
参见图5所示的达灵DSL部分所示,识别出收集的信息中哪些是资源提供设备的属性信息,哪些是资源使用设备的属性信息,哪些是设置的约束条件后,分别进行DSL映射。
例如:
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性。例如:集容器/虚拟机转化为item,其属性信息诸如初始位置、资源需求、亲近收益、互斥规则、排布范围、迁移代价……分别转化为item的属性in_box、resources、costly_mix_item、conditional_mutex_item、box_enforce、migrate_cost……。
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性。例如:虚拟机\物理机转化为box,其属性信息诸如总资源、使用代价、分组……分别转化为box的属性resources、cost、box_group……。当虚拟机\物理机有分组时,转化为box_group,分组的属性转化为box_group的属性,比如group_id、group_resources……。
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。调度约束条件可以称为求解设定,例如:求解设定转化为configure,其具体约束内容诸如求解时间上限、迁移总代价、一跳迁移、……转化为configure的属性timeLimitInMins、mxTotalMigrateCost、oneJumpMigration、……。
步骤S203:对资源使用设备、资源提供设备及其与调度相关的属性信息进行等价变换处理和有效性筛选处理。
参见图5中达灵求解框架部分的模型等价变换,根据预处理后的资源使用设备的属性信息,对资源使用设备进行等价变换处理并合并相同的item,以及进行有效性筛选处理并去除无效的item;以及根据预处理后的资源提供设备的属性信息,对资源提供设备进行等价变换处理并合并相同的box,以及进行有效性筛选处理并去除无效的box。例如:一个资源使用设备有两个名称时,对其进行统一,一个资源提供设备的某一个属性信息有两种不同的表述时,对其进行统一,一个资源使用设备或一个资源提供设备的某一个属性信息收集到两条信息时对其进行合并,等等。
步骤S204:将box属性、item属性和configure属性输入计算求解模型中。
以计算资源使用设备作为item,计算资源提供设备作为box进行建模;将资源调度问题转化为item是否能装入box的问题。参见图5中达灵求解框架部分的模型解析
步骤S205:根据item属性、box属性和configure属性,并结合当前资源分配状态X0,采用选择的资源优化算法进行资源优化计算,确定满足调度约束条件的优化后的资源分配状态X1。
例如:设置一个状态变量X,将优化问题的求解过程建模为马尔可夫决策过程(MDP),状态变量X(其中xij表示item i是否装入box j)的取值情况对应于MDP的状态(state),优化算法得到的部分或全部状态变量的取值对应于MDP的行为(action)。
初始情况下,MDP的状态为X=X0,即所有的item都没有决定放入哪个box,决策变量尚未确定取值,进入循环,开始为item分配box;为一个或几个item分配box之后,可以得到优化后的资源分配状态X1。参见图5中达灵求解框架部分的调用优化算法,比如MIP、近似算法或其他算法、产生action。当然还可以加入其它的求解算法,如约束规划、遗传算法、PSO、黑盒优化算法等。
在第k轮循环,根据MDP状态变量X构建优化问题,第k轮奥求解的变量X*的下界是MDP上一轮的状态X,即优化结果是在已有的item排布基础上增加新的item排布,并调用具体的求解算法。
步骤S206:根据优化后的资源分配状态X1和当前资源分配状态X0产生需要迁移的item和所要迁移到的box,即产生action。
参见图5中达灵求解框架部分的产生action。
求解算法得到解X*后,根据X*-X产生action,用于优化MDP状态X,当没有action产生时,退出循环。
步骤S207:判断分配状态是否更新完毕。
参见图5中达灵求解框架部分的分配状态X更新完毕?若是,执行步骤S208;若否,返回继续执行步骤205,继续为其他的item分配box,重复上述过程,直至都分配完毕则认为分配状态更新完毕。
步骤S208:向资源使用设备和/或资源提供设备返回资源迁移方案。
当item都分配完毕后,产生一个迁移序列,包括各个需要迁移的资源使用者所需要迁移到的资源提供者。即根据MDP的最终状态X产生迁移序列,返回给资源使用设备和/或资源提供设备。
可选的,调度服务器确定资源迁移方案反馈给管控服务器,管控服务器可以根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
此外还可以将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;接收资源使用设备和资源提供设备返回的迁移确认信息;所述迁移确认信息包括是否接受迁移方案和迁移方式,以及执行迁移的时间。例如:资源使用设备或资源提供设备可以选择接收迁移方案和迁移方式,立即进行迁移,也可以选择一段时间后在进行迁移,或满足一定条件时进行迁移,比如设备关闭时。
也可以将产生的资源迁移方案和迁移方式通过接口单元反馈给用户,由用户进行选择确认。例如:用户可以判断是否进行迁移并选择迁移时间,通过接口单元将用户的选择反馈给管控服务器,由管控服务器执行相应操作。
上述均是以管控服务器控制实现迁移为例进行描述的,在实际应用中,可以为系统中的部分和全部节点赋予相应的权限,使其也能够实现迁移的执行。
上述用于资源调度的求解框架将整个优化问题求解分为多个阶段,每个阶段只需要确定部分状态变量的取值,当全部状态变量都被确定时,优化问题求解完成。此框架的优势在于:提供了统一的优化算法调用接口,优化算法的主要输入参数是MDP的当前状态X,输出是action;可以灵活切换优化算法,支持真实场景的需求;可配置不同优化算法的组合,例如先使用贪心算法求解部分变量,然后使用MIP算法求解剩下问题;具有良好的可扩展性,可根据具体问题定制其它求解算法插件,在统一的接口下被调用。
举一个最简单的的例子:
原始问题:服务器0有64核CPU,服务器1有48核CPU,容器0需要16核CPU,初始情况容器0在服务器0,容器0在服务器0的收益是1,在服务器1的收益是2,要求优化容器0在两台服务器上的排布。
DSL表示这个问题:
服务器0:box0
服务器1:box1
容器0:item0
服务器0有64核CPU:box0.resources[“CPU”]=64
服务器1有48核CPU:box1.resources[“CPU”]=48
容器0需要16核CPU:item0.resources[“CPU”]=16
容器0在服务器0的收益是1:item0.assign_cost[“box0”]=1
容器0在服务器1的收益是2:item0.assign_cost[“box1”]=2
转化成的数学规划问题:
maximize 1*x_00+2*x_01(最大化收益)
subject to 16*x_00<=64
16*x_01<=48
x_00+x_01=1
x_00>=0,x_01>=0
上述subject包括:将容器0分配到服务器1上需满足不超过服务器1的总资源,将容器0分配到服务器2上需满足不超过服务器2的总资源,且不能重复分配。
求解:调用混合整数规划求解器:
产生action:item0到box1
初始状态X:x_00=1,x_01=0
最终状态X:x_00=0,x_01=1
迁移方案:item0从box0迁移到box1
上述初始状态中的x_00=1表示容器0在服务器0上,最终状态中的x_01=1表示容器0在服务器1上。
本发明实施例的上述方法和装置,通过一种建模求解工具实现资源提供者的计算资源的分配。资源编排服务可以封装在docker内部,并部署到资源提供者的服务器上。上述方法首先提供了便于用户理解的领域特定语言(DSL),将计算资源调度问题统一建模成基于item和box的广义装箱问题:首先定义了可实践的广义装箱问题领域模型,其次构建了可集联多种优化算法的可拓展求解框架。
在进行达灵建模时,通过合理抽象,适用场景广泛。在云计算领域,计算资源的提供者和使用者名称可能重叠,例如AWS的实例(虚拟机)和任务(容器)分别是提供者和使用者,同时物理机和虚拟机也可以分别看作提供者和使用者。采用item和box分别抽象使用者和提供者避免了潜在的名称混淆,同时能够完全涵盖传统的装箱问题,具有很好的普适性。
且使用的达灵DSL为声明式语言,语言表达能力强,对用户友好,提供了丰富的字段以表达计算资源调度的实际需求。用户只需通过DSL描述调度目标和约束,例如清空机器数量的上界,不需要调度领域的专业知识和建立调度问题的数学表达式。达灵自动完成从用户输入到高效数学模型的变换和翻译过程。
该方法可以跨平台、跨语言、后向兼容。采用Protocol Buffers/gPRC实现DSL,跨平台、跨语言,并可以灵活增加消息字段表达新的调度需求,不影响旧版本用户的使用。
本实施例提出的拓展装箱问题API能够准确描述复杂的调度目标,并支持API描述问题的求解。例如“在满足任务打散的前提下最小化使用的实例数”这一目标(以两个任务A和B为例),可通过API表达为:
item.id=“A”
item.conditional_mutex_item[“B”]=0
configure.boxCostWeight=1
并可以通过MIP等优化算法精确求解,确保任务A和任务B打散(不放在一个实例中)的前提下最小化使用的实例数。
实施例四
基于同一发明构思,本发明实施例四提供一种计算资源调度装置,可以设置在调度服务器中,也可以资源提供设备中或设置在其他节点设备中,该装置的结构如图6所示,包括:
信息获取模块101,用于获取资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件;
预处理模块102,用于将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;
资源调度模块103,用于将box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
在一个可选的实施例中,信息获取模块101,具体用于基于资源调度指令获取管控服务器收集的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息和设置的调度约束条件。
所述信息获取模块101,用于基于资源调度指令获取管控服务器收集的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息和设置的调度约束条件,包括:
接收管控服务器监控到设备集群中可用计算资源数量低于设定阈值发送的集群整理指令,或接收管控服务器发送或用户输入的资源提供设备清空指令,或接收管控服务器监控到新接入的资源使用设备时发送的资源分配指令;
根据接收到的指令,确定需要涉及到的集群设备,获取相应集群设备的状态描述信息和设置的调度约束条件。
在一个可选的实施例中,预处理模块102,具体用于:
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性;
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性;
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。
在一个可选的实施例中,预处理模块102,还用于将所述box属性、item属性和configure属性输入计算求解模型之前之前,对资源使用设备及其与调度相关的属性信息进行等价变换处理,合并相同的item,以及进行有效性筛选处理并去除无效的item;以及对资源提供设备及其与调度相关的属性信息进行等价变换处理,合并相同的box,以及进行有效性筛选处理并去除无效的box。
在一个可选的实施例中,资源调度模块103,具体用于根据item属性、box属性和当前资源分配状态X0,使用选择的资源优化算法进行资源优化计算,确定满足调度约束条件的优化后的资源分配状态Xn,根据优化后的资源分配状态Xn和当前资源分配状态X0,确定需要迁移的资源使用设备和所要迁移到的目标资源提供设备,得到资源迁移方案。
本发明实施例还提供一种计算资源调度系统,包括:资源使用设备、资源提供设备和上述的计算资源调度装置。
实施例五
本发明实施例五提供一种计算资源数据映射方法,其流程如图7所示,包括:
步骤S301:获取集群设备的与调度相关的属性信息和设置的调度约束条件,其中,集群设备包括资源提供设备和资源使用设备;
参照图5所示的,获取集群设备的与调度相关的属性信息和设置的调度约束条件,包括:
获取资源提供设备的下列属性信息中的至少一项:名称、初始位置、资源需求、亲近收益、互斥规则、排布范围、迁移代价;
获取资源使用设备的下列属性信息中的至少一项:能够提供的总资源和可用资源、需要资源使用设备付出的使用代价、所在资源分组、资源分组的总资源、资源分组的可用资源和分组标识;
获取下列调度约束条件中的至少一项:计算求解模型的求解时间上限、总迁移代价要求、迁移跳数要求、选择的资源优化算法、资源优化目标、资源提供者的排布约束、资源使用设备的排布约束、迁移方式和迁移规则约束。
参照图5所示的,用户调度部分获取到信息后,对信息进行识别,识别出属于资源使用设备的属性信息、属于资源提供设备的属性信息和属于调度约束条件的信息。
步骤S302:查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性。
参照图5所示的,达灵DSL部分会根据预先建立的对应关系对获取到的信息进行转换,例如对于属于资源提供设备的属性信息,可以查找预先建立的资源提供设备的属性信息与box属性的对应关系,在对应关系中找到与获取到的资源提供设备的属性信息相对应的对应关系信息项,得到该项属性信息对应的box属性并为其赋值。例如:物理机的总资源对应的box属性为resources,获取到的总资源数量为256G,则box属性中的resources=256,以此类推,将每个属性信息进行转化。
步骤S303:查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性。
参照图5所示的,与步骤S302类似,例如:虚拟机的资源需求对应的item属性为resources,资源需求数量为16G,则item属性中的resources=16,以此类推,将每个属性信息进行转化。
步骤S304:查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。
参照图5所示的,与步骤S302类似,例如:约束条件中的总迁移代价对应的configure属性为mxTotalMigrateCost,资源需求数量为100,则configure属性中的mxTotalMigrateCost=100,以此类推,将每个属性信息进行转化。
上述步骤S302、步骤S303、步骤S304的执行顺序不分先后可以同时执行。
用户调度问题到DSL的映射转化:
本实施例中描述的用户调度问题要收集的信息主要包括两方面:当前集群状态的描述和调度目标设置。其中,集群状态指的是虚拟机在物理机上的分布,各个虚拟机和物理机的资源,以及虚拟机和物理机之间的匹配关系,可以通过上述的资源提供设备的属性信息、资源使用设备的属性信息里的信息项来表征。调度目标则可以通过调度约束条件的中的各约束条件来表示。由于真实的虚拟机和物理机等实体可以直接映射到达灵DSL的item和box属性,所以集群状态可以方便的转化为DSL语言。
例如:一段集群状态描述为:虚拟机a处在物理机A中,使用32核cpu和256GB内存,可以调度到的物理机器是A、B。物理机A的资源是64核cpu和320GB内存,使用的代价是100。物理机B的资源是48核cpu和256GB内存,使用的代价是50。
可以用DSL表示为:
item_id="a"
in_box["A"]=1
resources["cpu"]=32
resources["memory"]=256
enforce_box=["A","B"]
box_id="A"
resources["cpu"]=64
resources["memory"]=320
cost=100
box_id="B"
resources["cpu"]=48
resources["memory"]=256
cost=50
用户调度问题中的调度目标设置直接映射到DSL的目标函数权值。比如集群整理这一调度目标对应:
box_cost_weight=1
这样在最终转化得到的DSL输入到秋季计算模型后,目标函数就包括了物理机的使用代价之和。通过最小化目标函数可以求解出降低集群的使用费用、提高物理机资源利用率的虚拟机排布方法。
实施例六
本发明实施例五提供一种用于资源调度的DSL领域模型,参照图5所示的,该模型包括:
项目item,用于表示资源使用设备与调度相关的属性信息,包括多项item属性,每项item属性包括属性描述和属性值,每项item属性通过收集资源使用设备与调度相关的属性信息映射得到;
箱box,用于表示资源提供设备与调度相关的属性信息,包括多项box属性,每项box属性包括属性描述和属性值,每项item属性通过收集资源提供设备与调度相关的属性信息映射得到;
约束条件configure,用于表示调度优化目标,包括多项configure属性,每项configure属性包括属性描述和属性值,每项configure属性设置的调度约束条件映射得到。
具体参见上面实施例中的相关描述。
实施例七
本发明实施例七提供一种用于资源调度的装箱调度模型,参见图5所示的,包括上述的DSL领域模型和计算求解模型;
DSL模型,用于将资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;
计算求解模型,用于将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
具体参见上面实施例中的相关描述。
实施例八
本发明实施例八提供一种计算资源迁移实现方法,其流程如图8所示,包括:
步骤S401:管控服务器接收调度服务器发送的资源迁移方案,所述资源迁移方案是调度服务器采用上述的计算资源调度方法确定的。
调度服务器中的计算求解模型得到资源迁移方案后会通过接口单元提供给管控服务器。资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
步骤S402:管控服务器根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备时,可以将源资源提供设备上的需要迁移的资源使用设备关闭,在目标资源提供设备上重新创建需要迁移的资源使用设备;或将需要迁移的资源使用设备在源资源提供设备上的数据复制到目标资源提供设备上。
例如:迁移方案中可以包括每个待迁移虚拟机的源物理机和目标物理机。这一信息提交到管控服务器后,管控服务器会根据虚拟机的类型执行冷迁移或者热迁移。其中,冷迁移先将源物理机上的待迁移虚拟机关闭,然后在目标物理机上重新创建待迁移虚拟机。热迁移直接将待迁移物理机的内存等信息从源头物理机复制到目标物理机。
管控服务器可以在确定迁移方案和迁移方式后,自动执行资源使用设备从源资源提供设备到目标资源提供设备的迁移,可选的,也可以先和资源使用设备、资源提供设备、用户等中的一个或多个进行确认迁移方案和迁移方式,在确认后或得到用户指令后,再执行迁移。即采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备之前,管控服务器将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;接收资源使用设备和资源提供设备返回的迁移确认信息;迁移确认信息包括是否执行迁移、用户选择的迁移方案和迁移方式、执行迁移的时间中的至少一项。
实施例九
基于同一发明构思,本发明实施例九提供一种计算资源迁移实现系统,参见图1和图2所示的,包括:
调度服务器13,用于向接口单元12发送确定出的资源迁移方案,资源迁移方案采用上述的计算资源调度方法确定;
接口单元12,用于将资源迁移方案转发给管控服务器11;
管控服务器11,用于接收调度服务器13发送的资源迁移方案,根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
可选的,管控服务器11,还用于采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备之前,将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;接收资源使用设备和资源提供设备返回的迁移确认信息;所述迁移确认信息包括是否执行迁移、用户选择的迁移方案和迁移方式、执行迁移的时间中的至少一项。
上述计算资源迁移实现系统中各设备之间连接和交互关系以及实现的功能在实施例一中已有描述,此处不再赘述。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述的计算资源调度方法。
本发明实施例还提供一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的计算资源调度和/或计算资源迁移实现方法。
关于上述实施例中的方法、系统和装置,其中已在某一部分进行了详细描述的内容在其他部分将不做详细阐述说明。
除非另外具体陈述,术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程,所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如,在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解,结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性,上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件,取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用,以变通的方式实现所描述的功能,但是,这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然,处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现,本申请中描述的技术可用执行本申请所述功能的模块(例如,过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内,也可以实现在处理器外,在后一种情况下,它经由各种手段以通信方式耦合到处理器,这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
Claims (26)
1.一种计算资源调度系统,包括:
管控服务器,用于收集集群设备的与调度相关的属性信息,所述集群设备包括资源提供设备和资源使用设备;
接口单元,用于基于资源调度指令从管控服务器获取集群设备的与调度相关的属性信息和设置的调度约束条件,提供给调度服务器;
调度服务器,用于将资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案,通过接口单元返回给管控服务器;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
2.如权利要求1所述的系统,所述接口单元,具体用于:
接收管控服务器监控到设备集群中可用计算资源数量低于设定阈值发送的集群整理指令,或接收管控服务器发送或用户输入的资源提供设备清空指令,或接收管控服务器监控到新接入的资源使用设备时发送的资源分配指令;
根据接收到的指令,确定需要涉及到的集群设备,获取相应集群设备的状态描述信息和设置的调度约束条件。
3.如权利要求1所述的系统,所述调度服务器,具体用于:
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性;
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性;
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。
4.如权利要求1所述的系统,所述调度服务器,具体用于:
根据item属性、box属性和当前资源分配状态X0,使用选择的资源优化算法进行资源优化计算,确定满足约束条件的优化后的资源分配状态Xn,根据优化后的资源分配状态Xn和当前资源分配状态X0,确定需要迁移的资源使用设备和所要迁移到的目标资源提供设备,得到资源迁移方案。
5.如权利要求1所述的系统,所述调度服务器,还用于:
将所述box属性、item属性和configure属性输入计算求解模型之前,执行如下操作:
对资源使用设备及其与调度相关的属性信息进行等价变换处理,合并相同的item,以及进行有效性筛选处理并去除无效的item;以及
对资源提供设备及其与调度相关的属性信息进行等价变换处理,合并相同的box,以及进行有效性筛选处理并去除无效的box。
6.如权利要求1所述的系统,所述管控服务器,还用于:
接收调度服务器发送的资源迁移方案,根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
7.如权利要求6所述的系统,所述管控服务器,还用于:
将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;
接收资源使用设备和资源提供设备返回的迁移确认信息;所述迁移确认信息包括是否接受迁移方案和迁移方式,以及执行迁移的时间。
8.如权利要求1-7任一所述的系统,还包括:
资源使用设备和资源提供设备完成资源迁移后,更新各自的与调度相关的属性信息;以及
管控服务器更新相关资源使用设备和资源提供设备的与调度相关的属性信息。
9.一种计算资源调度方法,包括:
将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;
将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
10.如权利要求9所述的方法,包括:
基于资源调度指令获取管控服务器收集的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息和设置的调度约束条件。
11.如权利要求10所述的方法,基于资源调度指令获取管控服务器收集的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息和设置的调度约束条件,包括:
接收管控服务器监控到设备集群中可用计算资源数量低于设定阈值发送的集群整理指令,或接收管控服务器发送或用户输入的资源提供设备清空指令,或接收管控服务器监控到新接入的资源使用设备时发送的资源分配指令;
根据接收到的指令,确定需要涉及到的集群设备,获取相应集群设备的状态描述信息和设置的调度约束条件。
12.如权利要求9所述的方法,将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性,包括:
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性;
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性;
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性。
13.如权利要求9所述的方法,将所述box属性、item属性和configure属性输入计算求解模型之前之前,还包括:
对资源使用设备及其与调度相关的属性信息进行等价变换处理,合并相同的item,以及进行有效性筛选处理并去除无效的item;以及
对资源提供设备及其与调度相关的属性信息进行等价变换处理,合并相同的box,以及进行有效性筛选处理并去除无效的box。
14.如权利要求9-13任一所述的方法,所述采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案,包括:
根据item属性、box属性和当前资源分配状态X0,使用选择的资源优化算法进行资源优化计算,确定满足调度约束条件的优化后的资源分配状态Xn,根据优化后的资源分配状态Xn和当前资源分配状态X0,确定需要迁移的资源使用设备和所要迁移到的目标资源提供设备,得到资源迁移方案。
15.一种计算资源调度装置,包括:
信息获取模块,用于获取资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件;
预处理模块,用于将获取的资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;
资源调度模块,用于将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
16.一种计算资源调度系统,包括:资源使用设备、资源提供设备和如权利要求15所述的计算资源调度装置。
17.一种计算资源数据映射方法,包括:
获取集群设备的与调度相关的属性信息和设置的调度约束条件,所述集群设备包括资源提供设备和资源使用设备;
查找资源提供设备的属性信息项与box属性的对应关系,将资源提供设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的box属性;
查找资源使用设备的属性信息项与item属性的对应关系,将资源使用设备的与调度相关的属性信息包括的属性信息项分别映射为DSL表示的item属性;
查找约束条件和configure属性的对应关系,将设置的调度约束条件分别映射为DSL表示的configure属性;
将所述 box 属性、item 属性和 configure 属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案。
18.如权利要求17所述的方法,获取集群设备的与调度相关的属性信息和设置的调度约束条件,包括:
获取资源提供设备的下列属性信息中的至少一项:名称、初始位置、资源需求、亲近收益、互斥规则、排布范围、迁移代价;
获取资源使用设备的下列属性信息中的至少一项:能够提供的总资源和可用资源、需要资源使用设备付出的使用代价、所在资源分组、资源分组的总资源、资源分组的可用资源和分组标识;
获取下列调度约束条件中的至少一项:计算求解模型的求解时间上限、总迁移代价要求、迁移跳数要求、选择的资源优化算法、资源优化目标、资源提供者的排布约束、资源使用设备的排布约束、迁移方式和迁移规则约束。
19.一种用于资源调度的DSL领域模型装置,包括:
项目item,用于表示资源使用设备与调度相关的属性信息,包括多项item属性,每项item属性包括属性描述和属性值,每项item属性通过收集资源使用设备与调度相关的属性信息映射得到;
箱box,用于表示资源提供设备与调度相关的属性信息,包括多项box属性,每项box属性包括属性描述和属性值,每项item属性通过收集资源提供设备与调度相关的属性信息映射得到;
约束条件configure,用于表示调度优化目标,包括多项configure属性,每项configure属性包括属性描述和属性值,每项configure属性设置的调度约束条件映射得到;
所述box 属性、所述item 属性和所述 configure 属性,用于在计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案。
20.一种用于资源调度的装箱调度模型装置,包括如权利要求19所述的DSL领域模型和计算求解模型;
所述DSL领域模型,用于将资源提供设备的与调度相关的属性信息、资源使用设备的与调度相关的属性信息、设置的调度约束条件进行领域特定语言DSL映射,分别映射为用于计算求解模型的box属性、item属性和configure属性;
计算求解模型,用于将所述box属性、item属性和configure属性输入计算求解模型中,采用选择的资源优化算法,确定满足所述调度约束条件的资源迁移方案;所述资源迁移方案中包括需要迁移的资源使用设备、源资源提供设备和所要迁移到的目标资源提供设备。
21.一种计算资源迁移实现方法,包括:
管控服务器接收调度服务器发送的资源迁移方案,所述资源迁移方案为调度服务器采用如权利要求9-14任一所述的方法确定的;
管控服务器根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
22.如权利要求21所述的方法,所述采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备之前,还包括:
管控服务器将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;
接收资源使用设备和资源提供设备返回的迁移确认信息;所述迁移确认信息包括是否执行迁移、用户选择的迁移方案和迁移方式、执行迁移的时间中的至少一项。
23.如权利要求21或22所述的方法,所述采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备,包括:
将源资源提供设备上的需要迁移的资源使用设备关闭,在目标资源提供设备上重新创建需要迁移的资源使用设备;或
将需要迁移的资源使用设备在源资源提供设备上的数据复制到目标资源提供设备上。
24.一种计算资源迁移实现系统,包括:
调度服务器,用于向接口单元发送确定出的资源迁移方案,所述资源迁移方案采用如权利要求9-14任一所述的方法确定;
接口单元,用于将所述资源迁移方案转发给管控服务器;
管控服务器,用于接收调度服务器发送的资源迁移方案,根据资源使用设备的类型确定采用的迁移方式,采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备。
25.如权利要求24所述的系统,所述管控服务器,还用于:
采用相应的迁移方式将资源使用设备从源资源提供设备迁移到目标资源提供设备之前,将确定出的资源迁移方案和迁移方式提供给涉及到的资源使用设备和资源提供设备;
接收资源使用设备和资源提供设备返回的迁移确认信息;所述迁移确认信息包括是否执行迁移、用户选择的迁移方案和迁移方式、执行迁移的时间中的至少一项。
26.一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如权利要求9-14任一项所述的计算资源调度方法和/或权利要求21-23任一项所述的计算资源迁移实现方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010066610.7A CN113138849B (zh) | 2020-01-20 | 2020-01-20 | 一种计算资源调度和迁移方法、相关装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010066610.7A CN113138849B (zh) | 2020-01-20 | 2020-01-20 | 一种计算资源调度和迁移方法、相关装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113138849A CN113138849A (zh) | 2021-07-20 |
CN113138849B true CN113138849B (zh) | 2024-04-26 |
Family
ID=76809152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010066610.7A Active CN113138849B (zh) | 2020-01-20 | 2020-01-20 | 一种计算资源调度和迁移方法、相关装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113138849B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117527795A (zh) * | 2022-07-28 | 2024-02-06 | 维沃移动通信有限公司 | 算力任务迁移方法及通信设备 |
CN116090183B (zh) * | 2022-12-12 | 2023-11-17 | 南京航空航天大学 | 一种面向scr需求模型的数字化模拟方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104679595A (zh) * | 2015-03-26 | 2015-06-03 | 南京大学 | 一种面向应用的IaaS层动态资源分配方法 |
CN105359489A (zh) * | 2013-08-08 | 2016-02-24 | 华为技术有限公司 | 一种资源调度方法、装置及系统 |
CN105843678A (zh) * | 2016-03-17 | 2016-08-10 | 国网山东省电力公司信息通信公司 | 一种基于最优化理论的虚拟机的资源调度迁移方法及系统 |
CN107621980A (zh) * | 2016-07-13 | 2018-01-23 | 阿里巴巴集团控股有限公司 | 一种虚拟机迁移方法、集群控制系统和控制装置 |
WO2018177042A1 (zh) * | 2017-03-27 | 2018-10-04 | 中兴通讯股份有限公司 | 一种实现资源调度的方法及装置 |
-
2020
- 2020-01-20 CN CN202010066610.7A patent/CN113138849B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105359489A (zh) * | 2013-08-08 | 2016-02-24 | 华为技术有限公司 | 一种资源调度方法、装置及系统 |
CN104679595A (zh) * | 2015-03-26 | 2015-06-03 | 南京大学 | 一种面向应用的IaaS层动态资源分配方法 |
CN105843678A (zh) * | 2016-03-17 | 2016-08-10 | 国网山东省电力公司信息通信公司 | 一种基于最优化理论的虚拟机的资源调度迁移方法及系统 |
CN107621980A (zh) * | 2016-07-13 | 2018-01-23 | 阿里巴巴集团控股有限公司 | 一种虚拟机迁移方法、集群控制系统和控制装置 |
WO2018177042A1 (zh) * | 2017-03-27 | 2018-10-04 | 中兴通讯股份有限公司 | 一种实现资源调度的方法及装置 |
Non-Patent Citations (1)
Title |
---|
面向多目标的云计算资源调度算法;廖大强;;计算机系统应用;20160215(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113138849A (zh) | 2021-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103309946B (zh) | 多媒体文件处理方法、装置及系统 | |
CN104050042B (zh) | Etl作业的资源分配方法及装置 | |
US20130091180A1 (en) | Tool for managing computer resources and infrastructures and networks | |
CN112783649A (zh) | 一种面向云计算的交互感知的容器化微服务资源调度方法 | |
CN101820428B (zh) | 基于协议组合机制的组合服务优化方法和装置 | |
CN105159736B (zh) | 一种支持性能分析的SaaS软件部署方案的构建方法 | |
CN110213369A (zh) | 一种服务功能链自动编排系统及其编排方法 | |
US20160315817A1 (en) | Tool for managing computer resources and infrastructures and networks | |
CN102375734B (zh) | 应用产品开发系统、方法、装置和运行系统、方法、装置 | |
CN105373432B (zh) | 一种基于虚拟资源状态预测的云计算资源调度方法 | |
CN113138849B (zh) | 一种计算资源调度和迁移方法、相关装置及系统 | |
US20130132546A1 (en) | Tool for managing resources and computer infrastructures and networks | |
CN115421930B (zh) | 任务处理方法、系统、装置、设备及计算机可读存储介质 | |
CN107317836A (zh) | 一种混合云环境下时间可感知的请求调度方法 | |
CN115134371A (zh) | 包含边缘网络算力资源的调度方法、系统、设备及介质 | |
Al-Sinayyid et al. | Job scheduler for streaming applications in heterogeneous distributed processing systems | |
CN115033340A (zh) | 一种宿主机的选择方法及相关装置 | |
Kousiouris et al. | Functionalities, Challenges and Enablers for a Generalized FaaS based Architecture as the Realizer of Cloud/Edge Continuum Interplay. | |
CN105406983A (zh) | 一种基于用户需求的云计算网络管理控制方法 | |
Vecchiola et al. | Multi-objective problem solving with offspring on enterprise clouds | |
Gowri et al. | An agent based resource provision for iot through machine learning in fog computing | |
CN103828326B (zh) | 基于交付点的实时资源供应流程控制系统和方法 | |
CN112579293B (zh) | 一种分布计算系统的综合验证方法 | |
Volckaert et al. | Network aware scheduling in grids | |
CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |