CN103970587B - 一种资源调度的方法、设备和系统 - Google Patents
一种资源调度的方法、设备和系统 Download PDFInfo
- Publication number
- CN103970587B CN103970587B CN201410161028.3A CN201410161028A CN103970587B CN 103970587 B CN103970587 B CN 103970587B CN 201410161028 A CN201410161028 A CN 201410161028A CN 103970587 B CN103970587 B CN 103970587B
- Authority
- CN
- China
- Prior art keywords
- time
- cluster
- resource
- load
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种资源调度的方法、设备和系统,属于计算机领域。方法包括:获取集群在第一时间的第一负载参数和第二时间的第二负载参数;根据所述第一负载参数和所述第二负载参数,预测所述集群在第三时间的负载值,所述第三时间为所述当前时间之后的时间;根据所述第三时间的负载值,确定调度策略;根据所述调度策略,进行资源调度。采用本发明,缩短了对集群资源的调度时间,提高了效率。
Description
技术领域
本发明涉及计算机领域,特别涉及一种资源调度的方法、设备和系统。
背景技术
当前,随着时代的发展,需要处理的数据量迅速增加,同时对数据处理速度也提出了更高的要求,大规模的服务器集群在处理业务时,会由于不能充分预测资源使用情况,导致部分计算资源被集中占用,剩余部分资源却处于空闲的不平衡使用状态。
在现有技术中,针对资源预测并没有针对性的方法,仅仅是监测服务器集群中的若干负载值,根据这些负载值与预设标准的大小关系,判断服务器集群的工作状态,例如当这些负载值高于预设的标准时,意味着该服务器集群处于过载状态,会触发资源占用报警,接下来通过将空闲资源调度至处于过载状态的服务器集群,达到降低这些服务器集群负载的效果。
显而易见的,现有技术只能在检测到过载时,才能进行资源的调度。这样延长了对服务器集群资源的调度时间,降低服务器集群的工作效率。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种资源预测的方法、设备和系统,用于缩短了对服务器资源的调度时间,提高了工作效率。所述技术方案如下:
第一方面,提供了一种资源调度的方法,所述方法包括:
获取集群在第一时间的第一负载参数和第二时间的第二负载参数,所述第一时间为当前时间,所述第二时间为所述当前时间之前的时间;
根据所述第一负载参数和所述第二负载参数,预测所述集群在第三时间的负载值,所述第三时间为所述当前时间之后的时间;
根据所述第三时间的负载值,确定调度策略;
根据所述调度策略,进行资源调度。
可选的,根据所述第三时间的负载值,确定调度策略包括:
根据所述第一负载参数,确定所述集群在所述第一时间的负载值;
根据所述第一时间的负载值以及所述第三时间的负载值,确定所述调度策略。
可选的,根据所述第一负载参数和所述第二负载参数,预测所述集群在第三时间的负载值包括:
根据所述第一负载参数和所述第二负载参数,预测所述集群在所述第三时间的第三负载参数;
根据所述第三负载参数,确定所述第三时间的负载值。
可选的,根据所述第一时间的负载值和所述第三时间的负载值,确定所述调度策略包括:
当所述第三时间的负载值小于所述第一时间的负载值时,则所述集群处于空闲状态;或者
当所述第三时间的负载值大于所述第一时间的负载值时,则所述集群处于过载状态。
可选的,根据调度策略,进行资源调度包括:
当所述集群处于空闲状态时,将所述集群中的空闲资源存入资源池;或者
当所述集群处于过载状态时,将所述资源池中的空闲资源转移至所述集群。
可选的,所述集群处于空闲状态时,将所述集群中的空闲资源存入资源池包括:
当所述集群处于所述空闲状态时,获取所述集群的空闲资源,从所述集群中移除所述空闲资源;
当在预设时间内,所述集群没有处于过载状态,则将所述空闲资源存入所述资源池;或者
当在所述预设时间内,所述集群处于过载状态,则将所述空闲资源移回所述集群。
可选的,所述集群处于过载状态时,将所述资源池中的空闲资源转至所述集群包括:
接收所述集群的调度请求;
根据所述调度请求的请求数量,将所述资源池中符合所述请求数量的空闲资源转移至所述集群;或者
检测到处于所述过载状态的所述集群,确定所述集群恢复至非过载状态的空闲资源的数量;
将所述资源池中符合所述数量的空闲资源转移至所述集群。
可选的,所述预测所述集群在第三时间的负载值具体包括:
利用预设的梯度算法,根据所述第一负载参数和所述第二负载参数,结合与所述第一负载参数对应的第一权重参数以及与所述第二负载参数对应的第二权重参数,确定第三负载参数以及与所述第三负载参数对应的第三权重参数;
根据所述第三负载参数和所述第三权重参数,确定所述第三时间的负载值。
第二方面,提供了一种资源调度的设备,所述设备包括:
获取单元,用于获取集群在第一时间的第一负载参数和第二时间的第二负载参数,所述第一时间为当前时间,所述第二时间为所述当前时间之前的时间;
预测单元,用于根据所述第一负载参数和所述第二负载参数,预测所述集群在第三时间的负载值,所述第三时间为所述当前时间之后的时间;
确定单元,用于根据所述第三时间的负载值,确定调度策略;
执行单元,用于根据所述调度策略,进行资源调度。
可选的,所述确定单元包括:
第一确定子单元,用于根据所述第一负载参数,确定所述集群在所述第一时间的负载值;
第二确定子单元,用于根据所述第一时间的负载值以及所述第三时间的负载值,确定所述调度策略。
可选的,所述预测单元具体用于:
根据所述第一负载参数和所述第二负载参数,预测所述集群在所述第三时间的第三负载参数;
根据所述第三负载参数,确定所述第三时间的负载值。
可选的,所述第二确定子单元具体用于:
当所述第三时间的负载值小于所述第一时间的负载值时,则所述集群处于空闲状态;或者
当所述第三时间的负载值大于所述第一时间的负载值时,则所述集群处于过载状态。
可选的,所述执行单元用于:
当所述集群处于空闲状态时,将所述集群中的空闲资源存入资源池;或者
当所述集群处于过载状态时,将所述资源池中的空闲资源转移至所述集群。
可选的,所述执行单元包括:
转移子单元,用于当所述集群处于所述空闲状态时,获取所述集群的空闲资源,从所述集群中移除所述空闲资源;
所述转移子单元,还用于当在预设时间内,所述集群没有处于过载状态,则将所述空闲资源存入所述资源池;或者
当在所述预设时间内,所述集群处于过载状态,则将所述空闲资源移回所述集群。
可选的,所述集群处于过载状态时,所述转移子单元具体用于:
接收所述集群的调度请求;
根据所述调度请求的请求数量,将所述资源池中符合所述请求数量的空闲资源转移至所述集群;或者
检测到处于所述过载状态的所述集群,确定所述集群恢复至非过载状态的空闲资源的数量;
将所述资源池中符合所述数量的空闲资源转移至所述集群。
可选的,所述预测单元还用于:
利用预设的梯度算法,根据所述第一负载参数和所述第二负载参数,结合与所述第一负载参数对应的第一权重参数以及与所述第二负载参数对应的第二权重参数,确定第三负载参数以及与所述第三负载参数对应的第三权重参数;
根据所述第三负载参数和所述第三权重参数,确定所述第三时间的负载值。
第三方面,提供一种资源调度的系统,所述系统包括:
至少一个如第二方面所述的设备。
本发明实施例提供的技术方案带来的有益效果是:
本公开实施例中,根据集群在第一时间和第二时间的负载值,预测在第三时间的参数值,并判断集群在第三时间的负载状态,当集群在第三时间处于过载状态时,从资源池向其分配资源,最终缩短了对集群资源的调度时间,提高了效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种资源调度方法流程图;
图2是本发明实施例提供的一种资源调度的详细方法流程图;
图3是本发明实施例提供的一种资源调度的详细方法示意图;
图4是本发明实施例提供的一种资源调度的详细方法示意图;
图5是本发明实施例提供的一种资源调度的详细方法示意图;
图6是本发明实施例提供的一种资源调度的详细方法示意图;
图7是本发明实施例提供的一种资源调度的详细方法示意图;
图8是本发明实施例提供的资源调度的设备结构示意图;
图9是本发明实施例提供的资源调度的设备结构示意图;
图10是本发明实施例提供的资源调度的设备结构示意图;
图11是本发明实施例提供的资源调度的装置结构示意图;
图12是本发明实施例提供的资源调度的系统结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本公开做进一步详细说明。在此,本公开的示意性实施方式及其说明用于解释本公开,但并不作为对本公开的限定。
本公开实施例提供一种跨域数据获取的方法和装置,以下结合附图对本公开进行详细说明。
本公开实施例提供一种资源调度的方法和设备,如图1所示,该方法的处理流程可以包括如下步骤:
在步骤101中,获取集群在第一时间的第一负载参数和第二时间的第二负载参数,第一时间为当前时间,第二时间为当前时间之前的时间;
在步骤102中,根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间;
在步骤103中,根据第三时间的负载值,确定调度策略;
在步骤104中,根据调度策略,进行资源调度。
本公开实施例中,通过获取集群在第一时间的第一负载参数和第二时间的第二负载参数;根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间;根据第三时间的负载值,确定调度策略;根据调度策略,进行资源调度。根据集群在第一时间和第二时间的负载值,预测在第三时间的参数值,并判断集群在第三时间的负载状态,当集群在第三时间处于过载状态时,从资源池向其分配资源,最终缩短了对集群资源的调度时间,提高了效率。
本公开实施例提供了一种资源调度的方法,该方法的执行主体可以为服务器集群中的一控制设备,也可以为服务器集群中的任一台服务器,或者为一具有控制功能的客户端。本实施例以终端作为执行主体为例来进行方案的详细说明,其它执行主体的情况下与此类似,本实施例中不再赘述。
下边结合具体的实施方式,对图1所示的处理流程进行详细的说明,具体内容如下:
在步骤101中,获取集群在第一时间的第一负载参数和第二时间的第二负载参数,第一时间为当前时间,第二时间为当前时间之前的时间。
其中,这里的集群可以为一个单独的服务器实体,也可以为至少两个服务器实体或其他具有类似功能的设备所组成的集群。
其中的负载参数,具体指的是上述服务器在不同装置上的参数值,可以为中央处理器CPU、内存、IO设备等具体装置上的参数值,通过设置在上述具体装置上的收集装置,来收集不同时间段的参数值。
在实施中,存在若干集群,每个集群中都有大量的服务器,其中的每个服务器的CPU使用率、内存占用率以及每个端口的I/O的数据量等均是步骤101中的需要获取的负载参数。在具体的应用场景中,获取上述负载参数的途径主要有两种方式。
方式一、通过安装的硬件模块读取每个服务器中的上述负载参数,并且每隔预设的周期将读取到的负载参数发送至控制模块或者调度中心,以便于在控制模块或者调度中心处进行处理。
方式二、控制模块或调度中心向集群中的需要监控的服务器发送指令,根据指令服务器按照指令中规定的周期上报自身的负载参数,以便于在控制模块或者调度中心处进行处理。
在步骤102中,根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间。
其中,如图2所示,包括:
步骤201、根据第一负载参数和第二负载参数,预测集群在第三时间的第三负载参数;
步骤202、根据第三负载参数,确定第三时间的负载值。
上述第一负载参数和第二负载参数是集群中的服务器在不同时间的负载参数,在本实施例中将第一时间定义为当前时间,将第二时间定义为当前时间之前的时间,对应的第一负载参数和第二负载参数分别为集群中的服务器在当前时间的负载参数和在当前时间之间时间的负载参数。其中的第一时间和第二时间可以为一个时刻也可以为长度为预设值的一个时间段,根据实际的应用场景而定,这里不做具体的限定。
在实施中,负载参数并不仅限于一个参数值,而是例如CPU使用率、内存占用率以及每个端口的I/O的数据量等一系列的数值。
例如,第一负载参数为:CPU使用率52%、内存使用率29%、端口一的I/O的数据量为929MB、端口二的I/O的数据量为654MB;
第二负载参数为:CPU使用率44%、内存使用率35%、端口一的I/O的数据量为1024MB、端口二的I/O的数据量为852MB。
根据上述第一时间的第一负载参数和第二时间的第二负载参数,预测在第三时间的负载参数,以及根据第三时间的负载参数确定第三时间的负载值的具体的预测步骤在下文给出,此处不再赘述。
在步骤103中,根据第三时间的负载值,确定调度策略。
其中,如图3所示,包括:
步骤301、根据第一负载参数,确定集群在第一时间的负载值;
在本实施例的应用场景中,预设的存在如下关系:负载值=负载参数×权重值。
其中负载参数为步骤101中获取到的集群中服务器的例如CPU使用率的参数值,权重值则是根据上述参数值在全部负载参数中重要性不同定义的一个参数,根据负载参数和与负载参数对应的权重值确定对应负载参数的负载值。
例如,根据已经获取到的第一负载参数,结合与第一负载参数对应的权重值从而确定第一时间的负载值。
步骤302、根据第一时间的负载值以及第三时间的负载值,确定调度策略。
步骤303、当第三时间的负载值小于第一时间的负载值时,则集群处于空闲状态;或者
当第三时间的负载值大于第一时间的负载值时,则集群处于过载状态。
这里为了方便描述,将上述负载参数、权重值以及负载值进行符号化:
例如将负载参数定义为P,权重值定义为ω,负载值定义为S,则第一负载参数为P1,与第一负载参数对应的权重值为ω1,第一时间的负载值为S1;第二负载参数为P1,与第二负载参数对应的权重值为ω2,第二时间的负载值为S2;第三负载参数为P3,与第三负载参数对应的权重值为ω3,第三时间的负载值为S3。
因此,当S3<S1时,表明该集群处于空闲状态;当S3>S1时,表明该集群处于过载状态。
在步骤104中,根据调度策略,进行资源调度。
其中,如图4所示,包括:
步骤401、当集群处于空闲状态时,将集群中的空闲资源存入资源池;或者
步骤402、当集群处于过载状态时,将资源池中的空闲资源转移至集群。
其中,这里的资源池并不是物理意义上的池,而是收集集群中空闲资源的逻辑地址,存储并对上述逻辑地址进行集中管理的程序。将空闲资源存入资源池即将空闲资源的逻辑地址存储在该程序中,同时将该空闲资源的标记为不可使用,防止其他程序对该部分空闲资源进行调用。
进一步的,如图5所示,在步骤401中包括:
步骤501、当集群处于空闲状态时,获取集群的空闲资源,从集群中移除空闲资源;
当根据步骤303中的判断标准,集群处于空闲状态时,将第三时间的负载值与第一时间的负载值做减法,即:空闲资源的大小为S3-S1所得的数值。
控制模块或调度中心从处于空闲状态的集群获取与上述运算结果对应的空闲资源,并将该部分空闲资源从处于空闲状态的集群中移除,即处于空闲状态的集群可使用的资源中不再包括该部分空闲资源。
步骤502、当在预设时间内,集群没有处于过载状态,则将空闲资源存入资源池;
控制模块或调度中心依然会对已经移除部分空闲资源的集群的负载进行监控,若该集群在移除部分空闲资源后的预设时间内,依然没有处于过载的状态,则控制模块或调度中心将步骤501中移除的部分空闲资源存到资源池内。
与步骤502对应的,
步骤503、当在预设时间内,集群处于过载状态,则将空闲资源移回集群。
若该集群在移除部分空闲资源后的预设时间内,处于过载的状态,则将步骤501中移除的部分空闲资源移回该集群。
更进一步的,如图6所示,针对将空闲资源移回上述集群的步骤503具体包括:
步骤601、接收集群的调度请求;
当从上述集群将空闲资源移除后,上述集群在预设时间内处于过载状态时,发送调度请求,控制模块或调度中心会接收到上述集群发送的调度请求,该请求中包括集群脱离过载状态所需的空闲资源的请求数量。
步骤602、根据调度请求的请求数量,将资源池中符合请求数量的空闲资源转移至集群;
控制模块或调度中心根据接收到的调度请求中的请求数量,从资源池中转移与请求数量相符的空闲资源至发送调度请求的集群。
上文中已经提到,资源池中存储的只是空闲资源的逻辑地址,并且上述空闲资源标记为不可使用的状态,在该步骤中,控制模块或调度中心将符合请求数量的空闲资源转移至发送调度请求的集群,同时还将该部分空闲资源的状态修改为可使用,以便于上述集群能够使用该部分空闲资源。
上述步骤601-602是一种向处于过载状态的集群移回空闲资源的方法,是根据处于过载状态的集群发送调度请求实现的,与此方法对应的,还有另一种实现方式,即:
步骤603、检测到处于过载状态的集群,确定集群恢复至非过载状态的空闲资源的数量;
控制模块或调度中心通过检测集群负载参数,确定集群中处于过载状态的集群,并根据该集群当前的过载情况,确定该集群恢复至非过载状态的空闲资源的数量。
步骤604、将资源池中符合数量的空闲资源转移至集群。
从资源池中将已经确定数量的空闲资源转移至处于过载状态的集群,从而让该集群从过载状态恢复至非过载状态。
结合上述描述,如图7所示,步骤102中的预测集群在第三时间的负载值具体包括:
步骤701、利用预设的梯度算法,根据第一负载参数和第二负载参数,结合与第一负载参数对应的第一权重参数以及与第二负载参数对应的第二权重参数,确定第三负载参数以及与第三负载参数对应的第三权重参数;
步骤702、根据第三负载参数和第三权重参数,确定第三时间的负载值。
其中,本方法基于综合回归算法、梯度下降算法来评估与业务量相关的多个指标评价整体业务量。
回归在数学上来说是给定一个点集,能够用一条曲线去与之拟合,如果这个曲线是一条直线,那就被称为线性回归,如果曲线是一条二次曲线,就被称为二次回归,回归还有很多的变种,如locally weighted回归,logistic回归。
在本实施例中,采用梯度下降的算法,用于根据已有的若干组数据预测出在下一时间的数据,即通过集群的第一负载参数和第二负载参数预测出集群在第三时间的第三负载参数,通过集群的第一时间的第一权重参数和第二时间的第二权重参数预测出集群在第三时间的第三权重参数,并根据负载值=负载参数×权重参数的关系,最终预测出集群在第三时间的负载值。
详细的,首先,获取集群在第一时间的负载参数和对应该时间的权重参数。
这里沿用前述符号定义将负载参数定义为P,权重值定义为ω,负载值定义为S,即多个第一时间负载参数依次为:P1(t)、P2(t)、P3(t)、P4(t)、···Pn-1(t)、Pn(t),其中的n表示此处共列举出集群中n个负载参数,同样的,多个第一时间的权重参数依次为:ω1(t)、ω2(t)、ω3(t)、ω4(t)、···ωn-1(t)、ωn(t),其中下角标中的t表示相当前时间。
其次,获取集群在第二时间的负载参数和对应该时间的权重参数。
多个第二时间负载参数依次为:P1(t-1)、P2(t-1)、P3(t-1)、P4(t-1)、···Pn-1(t-1)、Pn(t-1),其中的n表示此处共列举出集群中n个负载参数,同样的,多个第二时间的权重参数依次为:ω1(t-1)、ω2(t-1)、ω3(t-1)、ω4(t-1)、ωn-1(t-1)、ωn(t-1),其中下角标中的(t-1)表示相对于当前时间t,这里的参数均是第二时间的也就是当前时间的之前时间。
再次,根据已经获取到的第一时间和第二时间的负载参数以及权重参数,根据综合回归算法,分别预测出集群在第三时间的负载参数以及权重参数。
即根据已有的P1(t-1)、P2(t-1)、P3(t-1)、P4(t-1)、···Pn-1(t-1)、Pn(t-1),P1(t)、P2(t)、P3(t)、P4(t)、···Pn-1(t)、Pn(t),预测得到P1(t+1)、P2(t+1)、P3(t+1)、P4(t+1)、···Pn-1(t+1)、Pn(t+1),ω1(t+1)、ω2(t+1)、ω3(t+1)、ω4(t+1)、···ωn-1(t+1)、ωn(t+1)。
接着,通过得到的第三时间的多个负载参数以及权重参数,确定集群在第三时间的负载值。
S(t+1)=P1(t+1)*ω1(t+1)+P2(t+1)*ω2(t+1)+P3(t+1)*ω3(t+1)+P4(t+1)*ω4(t+1)+Pn-1(t+1)*ωn-1(t+1)+Pn(t+1)*ωn(t+1)。
根据上述公式得到S(t+1)后,还需要根据梯度算法以及预设的精度,优化各业务当前时间以后的资源占用情况,即优化P1(t+1)*ω1(t+1)+P2(t+1)*ω2(t+1)+P3(t+1)*ω3(t+1)+P4(t+1)*ω4(t+1)+Pn-1(t+1)*ωn-1(t+1)+Pn(t+1)*ωn(t+1),从而能够得到更准确的S(t+1)。
依据梯度下降方法来更新θ(梯度算法中的因素),可以使用J函数,这个函数称为损失函数或者错误函数。θ会向着梯度最小的方向进行减少,θn表示更新之前的值,-后面的部分表示按梯度方向减少的量,α表示步长,也就是每次按照梯度减少的方向变化多少。用简单的数学语言向量和矩阵进行描述如公式1、2所示:(倒三角形表示梯度)
以及
其中,倒三角形表示梯度。这里的表示某个点的梯度,就是代表预测时间点的偏差方向,θ代表预测新点,如果结果的绝对值小于精度则停止。
这里表示下一个预测点所需要调配的资源,这里通过梯度公式求的新点的最小偏差值θ(这里的目的是求得ω1(t+1)、ω2(t+1)…ωn(t+1)各参数影响值的最合理数据)。
通过上述算法将S(t+1)优化后,得到较优化前更为准确的S(t+1),以便于更为准确的进行预测及资源调度。
本公开实施例中,通过获取集群在第一时间的第一负载参数和第二时间的第二负载参数;根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间;根据第三时间的负载值,确定调度策略;根据调度策略,进行资源调度。根据集群在第一时间和第二时间的负载值,预测在第三时间的参数值,并判断集群在第三时间的负载状态,当集群在第三时间处于过载状态时,从资源池向其分配资源,最终缩短了对集群资源的调度时间,提高了效率。
基于相同的技术构思,本公开实施例还提供了一种资源调度的设备,如图8所示,设备包括:
获取单元801,用于获取集群在第一时间的第一负载参数和第二时间的第二负载参数,第一时间为当前时间,第二时间为当前时间之前的时间;
预测单元802,用于根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间;
确定单元803,用于根据第三时间的负载值,确定调度策略;
执行单元804,用于根据调度策略,进行资源调度。
优选的,如图9所示,确定单元803包括:
第一确定子单元8031,用于根据第一负载参数,确定集群在第一时间的负载值;
第二确定子单元8032,用于根据第一时间的负载值以及第三时间的负载值,确定调度策略。
优选的,预测单元802具体用于:
根据第一负载参数和第二负载参数,预测集群在第三时间的第三负载参数;
根据第三负载参数,确定第三时间的负载值。
优选的,第二确定子单元8032具体用于:
当第三时间的负载值小于第一时间的负载值时,则集群处于空闲状态;或者
当第三时间的负载值大于第一时间的负载值时,则集群处于过载状态。
优选的,执行单元804用于:
当集群处于空闲状态时,将集群中的空闲资源存入资源池;或者
当集群处于过载状态时,将资源池中的空闲资源转移至集群。
优选的,如图10所示,执行单元804包括:
转移子单元8041,用于当集群处于空闲状态时,获取集群的空闲资源,从集群中移除空闲资源;
转移子单元8041,还用于当在预设时间内,集群没有处于过载状态,则将空闲资源存入资源池;或者
当在预设时间内,集群处于过载状态,则将空闲资源移回集群。
优选的,集群处于过载状态时,转移子单元8041具体用于:
接收集群的调度请求;
根据调度请求的请求数量,将资源池中符合请求数量的空闲资源转移至集群;或者
检测到处于过载状态的集群,确定集群恢复至非过载状态的空闲资源的数量;
将资源池中符合数量的空闲资源转移至集群。
优选的,预测单元802还用于:
利用预设的梯度算法,根据第一负载参数和第二负载参数,结合与第一负载参数对应的第一权重参数以及与第二负载参数对应的第二权重参数,确定第三负载参数以及与第三负载参数对应的第三权重参数;
根据第三负载参数和第三权重参数,确定第三时间的负载值。
本公开实施例中,通过获取集群在第一时间的第一负载参数和第二时间的第二负载参数;根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间;根据第三时间的负载值,确定调度策略;根据调度策略,进行资源调度。根据集群在第一时间和第二时间的负载值,预测在第三时间的参数值,并判断集群在第三时间的负载状态,当集群在第三时间处于过载状态时,从资源池向其分配资源,最终缩短了对集群资源的调度时间,提高了效率。
基于相同的技术构思,本发明实施例还提供一种资源调度的装置9,如图11所示,该装置9包括存储器91,用于存储相关指令,还包括:总线92,接收器93,处理器94,发射器95,其中总线92用于连接各个模块,接收器93用于获取集群在第一时间的第一负载参数和第二时间的第二负载参数,第一时间为当前时间,第二时间为当前时间之前的时间;处理器94,用于根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间;处理器94,用于根据第三时间的负载值,确定调度策略;处理器94还用于根据调度策略,进行资源调度。
在本实施例中,可选的,处理器94根据根据第三时间的负载值,确定调度策略包括:
根据第一负载参数,确定集群在第一时间的负载值;
根据第一时间的负载值以及第三时间的负载值,确定调度策略。
在本实施例中,可选的,处理器94还用于根据第一负载参数和第二负载参数,预测集群在第三时间的负载值包括:
根据第一负载参数和第二负载参数,预测集群在第三时间的第三负载参数;
根据第三负载参数,确定第三时间的负载值。
在本实施例中,可选的,处理器94用于根据第一时间的负载值和第三时间的负载值,确定调度策略包括:
当第三时间的负载值小于第一时间的负载值时,则集群处于空闲状态;或者
当第三时间的负载值大于第一时间的负载值时,则集群处于过载状态。
在本实施例中,可选的,处理器94用于根据调度策略,进行资源调度包括:
当集群处于空闲状态时,将集群中的空闲资源存入资源池;或者
当集群处于过载状态时,将资源池中的空闲资源转移至集群。
在本实施例中,可选的,处理器94用于当集群处于空闲状态时,将集群中的空闲资源存入资源池包括:
当集群处于空闲状态时,获取集群的空闲资源,从集群中移除空闲资源;
当在预设时间内,集群没有处于过载状态,则将空闲资源存入资源池;或者
当在预设时间内,集群处于过载状态,则将空闲资源移回集群。
在本实施例中,可选的,处理器94用于集群处于过载状态时,将资源池中的空闲资源转至集群包括:
接收集群的调度请求;
根据调度请求的请求数量,将资源池中符合请求数量的空闲资源转移至集群;或者
检测到处于过载状态的集群,确定集群恢复至非过载状态的空闲资源的数量;
将资源池中符合数量的空闲资源转移至集群。
在本实施例中,可选的,处理器94用于预测集群在第三时间的负载值具体包括:
利用预设的梯度算法,根据第一负载参数和第二负载参数,结合与第一负载参数对应的第一权重参数以及与第二负载参数对应的第二权重参数,确定第三负载参数以及与第三负载参数对应的第三权重参数;
根据第三负载参数和第三权重参数,确定第三时间的负载值。
本公开实施例中,通过获取集群在第一时间的第一负载参数和第二时间的第二负载参数;根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间;根据第三时间的负载值,确定调度策略;根据调度策略,进行资源调度。根据集群在第一时间和第二时间的负载值,预测在第三时间的参数值,并判断集群在第三时间的负载状态,当集群在第三时间处于过载状态时,从资源池向其分配资源,最终缩短了对集群资源的调度时间,提高了效率。
基于相同的技术构思,本发明实施例还提供一种资源调度的系统10,如图12所示,该系统包括:
至少一个如图8所示的用于资源调度的设备。
本公开实施例中,通过获取集群在第一时间的第一负载参数和第二时间的第二负载参数;根据第一负载参数和第二负载参数,预测集群在第三时间的负载值,第三时间为当前时间之后的时间;根据第三时间的负载值,确定调度策略;根据调度策略,进行资源调度。根据集群在第一时间和第二时间的负载值,预测在第三时间的参数值,并判断集群在第三时间的负载状态,当集群在第三时间处于过载状态时,从资源池向其分配资源,最终缩短了对集群资源的调度时间,提高了效率。
需要说明的是:上述实施例提供的进行资源调度的装置在进行资源调度业务时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的资源调度的方法和资源调度的设备实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种资源调度的方法,其特征在于,所述方法包括:
获取集群在第一时间的第一负载参数和第二时间的第二负载参数,所述第一时间为当前时间,所述第二时间为所述当前时间之前的时间,负载参数为服务器的中央处理器CPU使用率、内存占用率以及每个端口的输入输出I/O的数据量;
根据所述第一负载参数和所述第二负载参数,预测所述集群在第三时间的负载值,所述第三时间为所述当前时间之后的时间;
根据所述第一负载参数,确定所述集群在所述第一时间的负载值;
根据所述第一时间的负载值以及所述第三时间的负载值,确定调度策略;
当所述调度策略指示所述集群处于空闲状态时,将所述集群中的空闲资源存入资源池,并将所述空闲资源标记为不可使用,所述资源池用于管理空闲资源的逻辑地址;
当调度策略指示所述集群处于过载状态时,将所述资源池中的空闲资源转移至所述集群。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一负载参数和所述第二负载参数,预测所述集群在第三时间的负载值包括:
根据所述第一负载参数和所述第二负载参数,预测所述集群在所述第三时间的第三负载参数;
根据所述第三负载参数,确定所述第三时间的负载值。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一时间的负载值和所述第三时间的负载值,确定所述调度策略包括:
当所述第三时间的负载值小于所述第一时间的负载值时,则所述集群处于所述空闲状态;或者
当所述第三时间的负载值大于所述第一时间的负载值时,则所述集群处于所述过载状态。
4.根据权利要求1所述的方法,其特征在于,所述集群处于空闲状态时,将所述集群中的空闲资源存入资源池包括:
当所述集群处于所述空闲状态时,获取所述集群的空闲资源,从所述集群中移除所述空闲资源;
当在预设时间内,所述集群没有处于过载状态,则将所述空闲资源存入所述资源池;或者
当在所述预设时间内,所述集群处于过载状态,则将所述空闲资源移回所述集群。
5.根据权利要求1所述的方法,其特征在于,所述集群处于过载状态时,将所述资源池中的空闲资源转至所述集群包括:
接收所述集群的调度请求;
根据所述调度请求的请求数量,将所述资源池中符合所述请求数量的空闲资源转移至所述集群;或者
检测到处于所述过载状态的所述集群,确定所述集群恢复至非过载状态的空闲资源的数量;
将所述资源池中符合所述数量的空闲资源转移至所述集群。
6.根据权利要求1至5任意一项所述的方法,其特征在于,所述预测所述集群在第三时间的负载值具体包括:
利用预设的梯度算法,根据所述第一负载参数和所述第二负载参数,结合与所述第一负载参数对应的第一权重参数以及与所述第二负载参数对应的第二权重参数,确定第三负载参数以及与所述第三负载参数对应的第三权重参数;
根据所述第三负载参数和所述第三权重参数,确定所述第三时间的负载值。
7.一种资源调度的设备,其特征在于,所述设备包括:
获取单元,用于获取集群在第一时间的第一负载参数和第二时间的第二负载参数,所述第一时间为当前时间,所述第二时间为所述当前时间之前的时间,负载参数为服务器的中央处理器CPU使用率、内存占用率以及每个端口的输入输出I/O的数据量;
预测单元,用于根据所述第一负载参数和所述第二负载参数,预测所述集群在第三时间的负载值,所述第三时间为所述当前时间之后的时间;
确定单元,包括第一确定子单元和第二确定子单元:
所述第一确定子单元,用于根据所述第一负载参数,确定所述集群在所述第一时间的负载值;
所述第二确定子单元,用于根据所述第一时间的负载值以及所述第三时间的负载值,确定所述调度策略;
执行单元,用于当所述调度策略指示所述集群处于空闲状态时,将所述集群中的空闲资源存入资源池,并将所述空闲资源标记为不可使用,所述资源池用于管理空闲资源的逻辑地址;当所述调度策略指示所述集群处于过载状态时,将所述资源池中的空闲资源转移至所述集群。
8.根据权利要求7所述的设备,其特征在于,所述预测单元具体用于:
根据所述第一负载参数和所述第二负载参数,预测所述集群在所述第三时间的第三负载参数;
根据所述第三负载参数,确定所述第三时间的负载值。
9.根据权利要求7所述的设备,其特征在于,所述第二确定子单元具体用于:
当所述第三时间的负载值小于所述第一时间的负载值时,则所述集群处于空闲状态;或者
当所述第三时间的负载值大于所述第一时间的负载值时,则所述集群处于过载状态。
10.根据权利要求7所述的设备,其特征在于,所述执行单元包括:
转移子单元,用于当所述集群处于所述空闲状态时,获取所述集群的空闲资源,从所述集群中移除所述空闲资源;
所述转移子单元,还用于当在预设时间内,所述集群没有处于过载状态,则将所述空闲资源存入所述资源池;或者
当在所述预设时间内,所述集群处于过载状态,则将所述空闲资源移回所述集群。
11.根据权利要求7所述的设备,其特征在于,所述集群处于过载状态时,所述转移子单元具体用于:
接收所述集群的调度请求;
根据所述调度请求的请求数量,将所述资源池中符合所述请求数量的空闲资源转移至所述集群;或者
检测到处于所述过载状态的所述集群,确定所述集群恢复至非过载状态的空闲资源的数量;
将所述资源池中符合所述数量的空闲资源转移至所述集群。
12.根据权利要求7至11任意一项所述的设备,其特征在于,所述预测单元还用于:
利用预设的梯度算法,根据所述第一负载参数和所述第二负载参数,结合与所述第一负载参数对应的第一权重参数以及与所述第二负载参数对应的第二权重参数,确定第三负载参数以及与所述第三负载参数对应的第三权重参数;
根据所述第三负载参数和所述第三权重参数,确定所述第三时间的负载值。
13.一种资源调度的系统,其特征在于,所述系统包括:
至少一个如权利要求7至12任意一项所述的设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410161028.3A CN103970587B (zh) | 2014-04-21 | 2014-04-21 | 一种资源调度的方法、设备和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410161028.3A CN103970587B (zh) | 2014-04-21 | 2014-04-21 | 一种资源调度的方法、设备和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103970587A CN103970587A (zh) | 2014-08-06 |
CN103970587B true CN103970587B (zh) | 2018-02-13 |
Family
ID=51240123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410161028.3A Active CN103970587B (zh) | 2014-04-21 | 2014-04-21 | 一种资源调度的方法、设备和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103970587B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104768022A (zh) * | 2014-12-31 | 2015-07-08 | 安科智慧城市技术(中国)有限公司 | 一种视频转码系统的资源调度方法及装置 |
CN106161485B (zh) * | 2015-03-23 | 2019-03-26 | 腾讯科技(深圳)有限公司 | 一种基础服务集群的资源调度方法、装置和系统 |
CN106155802B (zh) * | 2015-03-30 | 2020-03-13 | 阿里巴巴集团控股有限公司 | 任务调度方法、装置及控制节点 |
CN106533730B (zh) * | 2015-09-15 | 2020-07-31 | 南京中兴软件有限责任公司 | Hadoop集群组件指标的采集方法及装置 |
CN105760224A (zh) * | 2016-01-06 | 2016-07-13 | 杭州华三通信技术有限公司 | 一种资源的动态调整方法和装置 |
US11153223B2 (en) * | 2016-04-07 | 2021-10-19 | International Business Machines Corporation | Specifying a disaggregated compute system |
CN106330558A (zh) * | 2016-08-31 | 2017-01-11 | 哈尔滨工业大学(威海) | 应用于软件定义网络的控制器负载预测系统及方法 |
CN106331150B (zh) * | 2016-09-18 | 2018-05-18 | 北京百度网讯科技有限公司 | 用于调度云服务器的方法和装置 |
CN110609747A (zh) * | 2019-08-29 | 2019-12-24 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
CN111158909B (zh) * | 2019-12-27 | 2023-07-25 | 中国联合网络通信集团有限公司 | 集群资源分配处理方法、装置、设备及存储介质 |
CN111611074A (zh) * | 2020-05-14 | 2020-09-01 | 北京达佳互联信息技术有限公司 | 一种集群资源的调度方法及装置 |
CN111880914A (zh) * | 2020-07-20 | 2020-11-03 | 北京百度网讯科技有限公司 | 资源调度方法、资源调度装置、电子设备和存储介质 |
CN114189482A (zh) * | 2021-12-14 | 2022-03-15 | 郑州阿帕斯数云信息科技有限公司 | 一种集群资源的控制方法、装置和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103401939A (zh) * | 2013-08-08 | 2013-11-20 | 中国航天科工集团第三研究院第八三五七研究所 | 一种采用混合调度策略的负载均衡方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050027500A1 (en) * | 2003-08-01 | 2005-02-03 | Cornhill Dennis Thomas | Real-time software scheduler for personal computers |
CN101706743B (zh) * | 2009-12-07 | 2012-09-05 | 北京航空航天大学 | 一种多核环境下的虚拟机调度方法 |
CN102662754A (zh) * | 2012-04-20 | 2012-09-12 | 浙江大学 | 一种支持多场景的虚拟机调度装置和方法 |
-
2014
- 2014-04-21 CN CN201410161028.3A patent/CN103970587B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103401939A (zh) * | 2013-08-08 | 2013-11-20 | 中国航天科工集团第三研究院第八三五七研究所 | 一种采用混合调度策略的负载均衡方法 |
Non-Patent Citations (2)
Title |
---|
"基于主机负载预测的机群动态任务调度策略研究";陈荣征;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080915(第9期);第I137-33页 * |
"基于云计算的弹性负载均衡方案";朱志祥 等;《西安邮电大学学报》;20131130;第18卷(第06期);第43-47页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103970587A (zh) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103970587B (zh) | 一种资源调度的方法、设备和系统 | |
US9870270B2 (en) | Realizing graph processing based on the mapreduce architecture | |
WO2018076791A1 (zh) | 一种资源负载均衡控制方法及集群调度器 | |
CN103118124B (zh) | 一种基于分层多代理的云计算负载均衡方法 | |
CN104375897B (zh) | 基于最小相对负载不均衡度的云计算资源调度方法 | |
CN104601664B (zh) | 一种云计算平台资源管理与虚拟机调度的控制系统 | |
Yi et al. | Toward efficient compute-intensive job allocation for green data centers: A deep reinforcement learning approach | |
CN113168569A (zh) | 去中心化分布式深度学习 | |
US10367719B2 (en) | Optimized consumption of third-party web services in a composite service | |
EP3238002A1 (en) | Holistic global performance and power management | |
CN103995735A (zh) | 用于调度工作流作业的设备和方法 | |
CN104679591A (zh) | 用于在云环境中进行资源分配的方法和装置 | |
CN109831524A (zh) | 一种负载均衡处理方法及装置 | |
CN109614227A (zh) | 任务资源调配方法、装置、电子设备及计算机可读介质 | |
CN108768716A (zh) | 一种微服务路径选择方法及装置 | |
CN105094982A (zh) | 一种多星遥感数据处理系统 | |
Li et al. | An effective scheduling strategy based on hypergraph partition in geographically distributed datacenters | |
Ubarhande et al. | Novel data-distribution technique for Hadoop in heterogeneous cloud environments | |
US9471383B2 (en) | Task allocation in a computing environment | |
Thakkar et al. | Renda: resource and network aware data placement algorithm for periodic workloads in cloud | |
Paul Martin et al. | CREW: Cost and Reliability aware Eagle‐Whale optimiser for service placement in Fog | |
US20230164088A1 (en) | Low Latency Queuing System | |
CN108769162A (zh) | 分布式消息均衡处理方法、装置、电子设备、存储介质 | |
EP2829972B1 (en) | Method and apparatus for allocating stream processing unit | |
CN103677996B (zh) | 用于平衡工作负荷分布的协作方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211224 Address after: 450046 Floor 9, building 1, Zhengshang Boya Plaza, Longzihu wisdom Island, Zhengdong New Area, Zhengzhou City, Henan Province Patentee after: Super fusion Digital Technology Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |