CN105468458A - 计算机集群的资源调度方法及系统 - Google Patents
计算机集群的资源调度方法及系统 Download PDFInfo
- Publication number
- CN105468458A CN105468458A CN201510846500.1A CN201510846500A CN105468458A CN 105468458 A CN105468458 A CN 105468458A CN 201510846500 A CN201510846500 A CN 201510846500A CN 105468458 A CN105468458 A CN 105468458A
- Authority
- CN
- China
- Prior art keywords
- resource
- resource allocation
- allocation cycle
- computing node
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5019—Workload prediction
Abstract
本发明提供一种计算机集群的资源调度方法及系统，所述方法包括：监控计算机节点运行的负载在第t个资源分配周期内的资源占用量及计算节点的空余资源量；根据监控获得的负载在第t个资源分配周期内的资源占用量预测各个负载在第t+1个资源分配周期内的资源占用量；根据预测得到的负载在所述第t+1个资源分配周期内的资源占用量及监控得到的空余资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；将所述计算节点在所述第t+1个资源分配周期内的可用资源量发送给资源管理器，使资源管理器根据所述可用资源量分配资源。本发明提供的计算机集群的资源调度方法及系统，能够提高所述计算机节点的资源利用率及负载的服务质量。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种计算机集群的资源调度方法及系统。
背景技术
计算机集群是一种计算机系统，通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。计算机集群系统中的单个计算机通常称为计算节点，通常通过局域网连接。计算机集群系统通过计算机集群资源管理器对计算机集群的资源进行监控与分配。
现有技术中，常用的计算机集群管理系统资源管理器都是采用静态调度，即在每个负载运行前，由应用管理器向资源管理器进行资源申请，为要启动的负载申请CPU、内存等资源。资源管理器根据调度算法，选择能够满足负载所需资源的计算节点并将资源分配给所述负载。每个负载在其运行生命周期内占用的资源不变。
但是，采用现有技术中的资源管理器对计算机集群的资源进行分配的方法，当负载占用的资源发生变化时，不能根据资源的变化情况动态地给负载分配资源，当负载占用的资源降低时，造成了资源浪费；当负载占用的资源上升时，无法保证服务质量。
发明内容
本发明实施例提供一种计算机集群的资源调度方法及系统，用于解决现有技术中计算机集群资源调度方法不能根据资源的变化情况分配资源的问题。
第一方面，本发明实施例提供一种计算机集群的资源调度方法，包括：
监控计算机节点运行的各个负载在第t个资源分配周期内的资源占用量及所述计算节点的空余资源量；t为大于等于1的整数；
根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量；
根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；
根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；
将所述计算节点在所述第t+1个资源分配周期内的可用资源量发送给资源管理器，使所述资源管理器根据所述可用资源量分配资源。
另一实施例中，所述根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量包括：
根据
Mt+1＝Nt+(1-λ)△t+λ△’t-1
预测每个负载在所述第t+1个资源分配周期内的资源占用量；
其中，Mt+1表示每个负载在所述第t+1个资源分配周期内的资源占用量的预测值；Nt表示每个负载在所述第t个资源分配周期内的资源占用量的实际值；λ为遗忘系数，决定每个负载以前资源占用量数据对所述预测值的减小程度；△t为每个负载在所述第t个资源分配周期与所述第t-1个资源分配周期内资源实际使用量变动差值；△’t-1为所述第t个资源分配周期之前的所有资源分配周期内的资源实际使用量衰减值，△’t＝(1-λ)△a+λ△’t-1。
另一实施例中，所述根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量包括：
根据
St+1＝∑Mj*α
确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；
其中，j表示负载的标号，j为大于等于1的整数，St+1表示所述计算节点在所述第t+1个资源分配周期内的预留资源量，α表示需要为长时间运行的负载预留的资源的百分比。
另一实施例中，所述根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量包括：
根据At+1＝T–St+1确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；其中，A表示所述计算节点在所述第t+1个资源分配周期内的可用资源量，T表示监控获得的所述计算节点的空余资源量。
第二方面，本发明实施例还提供一种计算机集群的资源调度方法，包括：
接收应用管理器发送的资源申请信息，所述资源申请信息包括在第t+1个资源分配周期内运行负载所需的资源量数据，t为大于等于1的整数；
接收计算节点发送的所述计算节点在所述第t+1个资源分配周期内的可用资源量；其中，所述计算节点在所述第t+1个资源分配周期内的可用资源量根据以下方式获得：监控所述计算节点中运行的各个负载在资源分配周期t内的资源占用量及空余资源量，根据所述各个负载在资源分配周期t内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量，根据所述计算节点在资源分配周期t内的空余资源量及预测得到的所述各个负载在第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；
根据接收到的所述资源申请信息及所述计算节点在第t+1个资源分配周期内的可用资源量，向所述应用管理器分配在所述第t+1个资源分配周期内运行所述负载的资源。
另一实施例中，所述方法还包括：
接收所述计算节点发送的所述计算节点中运行的各个负载在资源分配周期t内的资源占用量；
记录每个资源分配周期内所述各个负载的资源占用量的变化量。
第三方面，本发明实施例提供一种计算机集群的资源调度系统，包括：
计算节点、资源管理器及应用管理器，所述计算节点与所述资源管理器通信连接，所述应用管理器分别与所述计算节点及所述资源管理器通信连接；
所述计算节点用于，监控计算机节点运行的各个负载在第t个资源分配周期内的资源占用量及所述计算节点的空余资源量，t为大于等于1的整数；根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量；根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；及根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；并用于将所述计算节点在所述第t+1个资源分配周期内的可用资源量发送给所述资源管理器；
所述应用管理器用于，向所述资源管理器发送资源申请信息，所述资源申请信息包括在第t+1个资源分配周期内运行负载所需的资源量数据；
所述资源管理器用于，接收所述应用管理器发送的资源申请信息及所述计算节点发送的所述计算节点在所述第t+1个资源分配周期内的可用资源量，并根据所述资源申请信息及所述计算节点在第t+1个资源分配周期内的可用资源量，给所述应用管理器分配在所述第t+1个资源分配周期内运行所述负载的资源。
另一实施例中，所述应用管理器还用于，调用所述资源管理器分配的在所述第t+1个资源分配周期内运行所述负载的资源运行所述负载。
另一实施例中，所述计算节点与所述资源管理器通过心跳协议通信连接。
本发明提供的计算机集群的资源调度方法及系统，通过动态监控计算机节点运行的各个负载在当前资源分配周期的资源占用量预测下一个资源分配周期内的资源占用量，根据预测得到的下一个资源分配周期的资源占用量及监控得到的所述计算机节点的空余资源量确定所述计算节点在所述下一个资源分配周期内的可用资源量，并将所述计算节点在所述下一个资源分配周期内的可用资源量发送给资源管理器，使所述资源管理器可以根据所述可用资源量分配资源，从而提高所述计算机节点的资源利用率及所述计算机节点内运行的负载的服务质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为实现本发明实施例计算机集群的资源调度方法的系统架构示意图；
图2为本发明实施例计算机集群的资源调度方法的流程示意图；
图3为本发明另一实施例计算机集群的资源调度方法的流程示意图；
图4为本发明实施例计算机集群的资源调度系统的结构示意图；
图5为现有技术中计算节点运行负载时的CPU资源申请量和实际CPU利用率的对比图；
图6为现有技术中计算节点运行负载时的内存资源申请量和实际内存利用率的对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种计算机集群的资源调度方法，用于对计算机集群的资源进行动态调配，以提高计算机集群系统的资源利用率及服务质量。图1为实现本发明实施例计算机集群的资源调度方法的系统架构示意图。请参阅图1，所述系统包括计算节点10，资源管理器20及应用管理器30。所述计算节点10包括监控模块11、可用资源确定模块12、远程通讯模块13及容器管理通讯模块14。所述资源管理器20包括资源分配模块21、远程通讯模块22及应用管理通讯模块23。所述计算节点10的通讯模块13及所述资源管理器22的通讯模块13通过心跳协议实现通讯连接。所述资源管理器20的所述应用管理通讯模块23通过应用管理协议与所述应用管理器30通讯，向所述应用管理器30分配资源，所述应用管理器30与所述计算节点10的容器管理通讯模块14通过容器管理协议通讯，调用所述计算节点10内的资源。
图2为本发明实施例计算机集群的资源调度方法的流程示意图。请参阅图2，所述方法有计算机节点执行，包括：
S101：监控计算机节点运行的各个负载在第t个资源分配周期内的资源占用量及所述计算节点的空余资源量；t为大于等于1的整数；
具体地，所述计算机节点内设置有监控模块，用于监控所述计算机节点运行的各个负载在第t个资源分配周期内的资源占用量及所述计算节点的空余资源量。
S102：根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量；
所述根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量包括：
根据
Mt+1＝Nt+(1-λ)△t+λ△’t-1
预测每个负载在所述第t+1个资源分配周期内的资源占用量；
其中，Mt+1表示每个负载在所述第t+1个资源分配周期内的资源占用量的预测值；Nt表示每个负载在所述第t个资源分配周期内的资源占用量的实际值；λ为遗忘系数，决定每个负载以前资源占用量数据对所述预测值的减小程度；△t为每个负载在所述第t个资源分配周期与所述第t-1个资源分配周期内资源实际使用量变动差值；△’t-1为所述第t个资源分配周期之前的所有资源分配周期内的资源实际使用量衰减值，△’t＝(1-λ)△a+λ△’t-1。具体地，由于每个集群中运行的负载不同，每个负载的资源变动曲线也不同，λ的值是根据负载资源变动的统计结果人工指定的。针对每个负载，可以先以单机操作的方式运行一段时间，选择不同的λ值，看看预测值和实际值的差异，选择使得预测和实际差异最小的那个λ值，使得预测尽可能的贴近实际变化。
S103；根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；
所述根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量包括：
根据
St+1＝∑Mj*α
确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；
其中，j表示负载的标号，j为大于等于1的整数，St+1表示所述计算节点在所述第t+1个资源分配周期内的预留资源量，α表示需要为长时间运行的负载预留的资源的百分比。假设α定为0.1，比如我们预测出下一个周期，所有的长时间运行的负载需要内存资源为2GB，则需要为他预留2GB*0.1＝200MB内存。同样α是个人工指定值，过大造成资源浪费，过小会影响负载运行的服务质量，这个需要根据对每个集群进行模拟得到。
S104：根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；
所述根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量包括：
根据At+1＝T–St+1确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；其中，A表示所述计算节点在所述第t+1个资源分配周期内的可用资源量，T表示监控获得的所述计算节点的空余资源量。
S105：将所述计算节点在所述第t+1个资源分配周期内的可用资源量发送给资源管理器，使所述资源管理器根据所述可用资源量分配资源。
本发明实施例提供的计算机集群的资源调度方法，通过动态监控计算机节点运行的各个负载在当前资源分配周期的资源占用量预测下一个资源分配周期内的资源占用量，根据预测得到的下一个资源分配周期的资源占用量及监控得到的所述计算机节点的空余资源量确定所述计算节点在所述下一个资源分配周期内的可用资源量，并将所述计算节点在所述下一个资源分配周期内的可用资源量发送给资源管理器，使所述资源管理器可以根据所述可用资源量分配资源，从而提高所述计算机节点的资源利用率及所述计算机节点内运行的负载的服务质量。
图3为本发明另一实施例计算机集群的资源调度方法的流程示意图。请参阅图2，所述方法由资源管理器执行，包括：
S201：接收应用管理器发送的资源申请信息，所述资源申请信息包括在第t+1个资源分配周期内运行负载所需的资源量数据，t为大于等于1的整数；
具体地，当用户需要运行一项负载(例如：运行应用程序)时，通过所述应用管理器提交负载运行申请。所述应用管理器计算运行所述负载所需要的资源量数据，并将所述资源量数据以资源申请信息的方式提交给所述资源管理器。
S202：接收计算节点发送的所述计算节点在所述第t+1个资源分配周期内的可用资源量；其中，所述计算节点在所述第t+1个资源分配周期内的可用资源量根据以下方式获得：监控所述计算节点中运行的各个负载在资源分配周期t内的资源占用量及空余资源量，根据所述各个负载在资源分配周期t内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量，根据所述计算节点在资源分配周期t内的空余资源量及预测得到的所述各个负载在第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；
S203：根据接收到的所述资源申请信息及所述计算节点在第t+1个资源分配周期内的可用资源量，向所述应用管理器分配在所述第t+1个资源分配周期内运行所述负载的资源。
具体地，所述资源管理器接收到所述计算节点发送的所述计算节点在所述第t+1个资源分配周期内的可用资源量之后，根据贪婪算法选择能够运行所述负载的计算节点，并将所述计算节点的资源分配给所述应用管理器。
本发明实施例提供的计算机集群的资源调度方法，通过动态地接收计算机节点发送的所述计算节点在所述第t+1个资源分配周期内的可用资源量，并根据接收到的所述应用管理器提交的第t+1个资源分配周期内运行负载所需的资源量数据信息，可以动态地向所述应用管理器分配在所述第t+1个资源分配周期内运行所述负载的资源，从而提高所述计算机节点的资源利用率及所述计算机节点内运行的负载的服务质量。
进一步地，为了便于根据所述计算节点在各个资源分配周期内的资源可用量的变化情况合理地分配资源，所述方法还包括：
接收所述计算节点发送的所述计算节点中运行的各个负载在资源分配周期t内的资源占用量；
记录每个资源分配周期内所述各个负载的资源占用量的变化量。
本发明实施例还提供一种计算机集群的资源调度系统。图4为本发明实施例计算机集群的资源调度系统的结构示意图。请参阅图4，所述系统包括：
计算节点10、资源管理器20及应用管理器30，所述计算节点10与所述资源管理器20通信连接，所述应用管理器20分别与所述计算节点10及所述资源管理器30通信连接；具体地，所述计算节点10与所述资源管理器20通过心跳协议通信连接。
所述计算节点10用于，监控计算机节点运行的各个负载在第t个资源分配周期内的资源占用量及所述计算节点的空余资源量，t为大于等于1的整数；根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量；根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；及根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；并用于将所述计算节点在所述第t+1个资源分配周期内的可用资源量发送给所述资源管理器20；
所述应用管理器30用于，向所述资源管理器20发送资源申请信息，所述资源申请信息包括在第t+1个资源分配周期内运行负载所需的资源量数据；
所述资源管理器20用于，接收所述应用管理器30发送的资源申请信息及所述计算节点10发送的所述计算节点10在所述第t+1个资源分配周期内的可用资源量，并根据所述资源申请信息及所述计算节点10在第t+1个资源分配周期内的可用资源量，给所述应用管理器30分配在所述第t+1个资源分配周期内运行所述负载的资源。
本发明实施例提供的计算机集群的资源调度系统，通过动态监控计算机节点运行的各个负载在当前资源分配周期的资源占用量预测下一个资源分配周期内的资源占用量，根据预测得到的下一个资源分配周期的资源占用量及监控得到的所述计算机节点的空余资源量确定所述计算节点在所述下一个资源分配周期内的可用资源量，并将所述计算节点在所述下一个资源分配周期内的可用资源量发送给资源管理器，使所述资源管理器可以根据所述可用资源量分配资源，从而提高所述计算机节点的资源利用率及所述计算机节点内运行的负载的服务质量。
进一步地，为了便于对负载的运行情况进行管理，所述应用管理器30还用于，调用所述资源管理器20分配的在所述第t+1个资源分配周期内运行所述负载的资源运行所述负载。
本发明实施例提供的计算机集群的资源调度系统，用以执行上述方法实施例中的计算机集群的资源调度方法，其实现原理及技术效果类似，在此不再赘述。
图5为现有技术中计算节点运行负载时的中央处理器(CentralProcessingUnit，CPU)资源申请量和实际CPU利用率的对比图。请参阅图4，其中直线1表示计算节点的CPU资源申请量，曲线2表示计算节点的实际CPU利用率。现有技术中，一个长时间作业的计算节点的CPU的实际利用率只有申请量的35％，并且在大部分相邻的多个监控周期中CPU的占用率变化不大，完全可以部署部分短时间任务。在现有的资源调度方法中，因为计算节点的CPU资源已经被申请占用，导致该部分资源浪费。而采用本发明实施例计算机集群的资源调度方法，使得未实际使用的部分资源得到充分利用，其效率可以比原来提高1.6倍。
图6为现有技术中计算节点运行负载时的内存资源申请量和实际内存利用率的对比图。请参阅图6，其中直线3表示计算节点的内存资源申请量，曲线4表示计算节点的实际内存利用率。现有技术中，一个长时间作业的计算节点的实际内存使用量为申请量的47％，通过本发明实施例计算机集群的资源调度方法对资源进行实时动态调度，实际内存利用率可以提高1.1倍。
综上所述，长时间作业的计算节点的CPU和内存资源抖动非常大，在现有技术的调度模式下，如果按照负载运行所需资源的峰值进行申请，虽然可以保证服务质量，但是将严重降低节点的实际资源利用率。采用本发明实施例提供的计算机集群的资源调度方法可以有效提高系统资源利用率。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种计算机集群的资源调度方法，其特征在于，包括：
监控计算机节点运行的各个负载在第t个资源分配周期内的资源占用量及所述计算节点的空余资源量；t为大于等于1的整数；
根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量；
根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；
根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；
将所述计算节点在所述第t+1个资源分配周期内的可用资源量发送给资源管理器，使所述资源管理器根据所述可用资源量分配资源。
2.根据权利要求1所述的方法，其特征在于，所述根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量包括：
根据
Mt+1＝Nt+(1-λ)△t+λ△’t-1
预测每个负载在所述第t+1个资源分配周期内的资源占用量；
其中，Mt+1表示每个负载在所述第t+1个资源分配周期内的资源占用量的预测值；Nt表示每个负载在所述第t个资源分配周期内的资源占用量的实际值；λ为遗忘系数，决定每个负载以前资源占用量数据对所述预测值的减小程度；△t为每个负载在所述第t个资源分配周期与所述第t-1个资源分配周期内资源实际使用量变动差值；△’t-1为所述第t个资源分配周期之前的所有资源分配周期内的资源实际使用量衰减值，△’t＝(1-λ)△a+λ△’t-1。
3.根据权利要求2所述的方法，其特征在于，所述根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量包括：
根据
St+1＝∑Mj*α
确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；
其中，j表示负载的标号，j为大于等于1的整数，St+1表示所述计算节点在所述第t+1个资源分配周期内的预留资源量，α表示需要为长时间运行的负载预留的资源的百分比。
4.根据权利要求3所述的方法，其特征在于，所述根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量包括：
根据At+1＝T–St+1确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；其中，A表示所述计算节点在所述第t+1个资源分配周期内的可用资源量，T表示监控获得的所述计算节点的空余资源量。
5.一种计算机集群的资源调度方法，其特征在于，包括：
接收应用管理器发送的资源申请信息，所述资源申请信息包括在第t+1个资源分配周期内运行负载所需的资源量数据，t为大于等于1的整数；
接收计算节点发送的所述计算节点在所述第t+1个资源分配周期内的可用资源量；其中，所述计算节点在所述第t+1个资源分配周期内的可用资源量根据以下方式获得：监控所述计算节点中运行的各个负载在资源分配周期t内的资源占用量及空余资源量，根据所述各个负载在资源分配周期t内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量，根据所述计算节点在资源分配周期t内的空余资源量及预测得到的所述各个负载在第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；
根据接收到的所述资源申请信息及所述计算节点在第t+1个资源分配周期内的可用资源量，向所述应用管理器分配在所述第t+1个资源分配周期内运行所述负载的资源。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收所述计算节点发送的所述计算节点中运行的各个负载在资源分配周期t内的资源占用量；
记录每个资源分配周期内所述各个负载的资源占用量的变化量。
7.一种计算机集群的资源调度系统，其特征在于，包括：
计算节点、资源管理器及应用管理器，所述计算节点与所述资源管理器通信连接，所述应用管理器分别与所述计算节点及所述资源管理器通信连接；
所述计算节点用于，监控计算机节点运行的各个负载在第t个资源分配周期内的资源占用量及所述计算节点的空余资源量，t为大于等于1的整数；根据监控获得的所述各个负载在第t个资源分配周期内的资源占用量预测所述各个负载在第t+1个资源分配周期内的资源占用量；根据预测得到的所述各个负载在所述第t+1个资源分配周期内的资源占用量确定所述计算节点在所述第t+1个资源分配周期内的预留资源量；及根据监控得到的所述计算节点的所述空余资源量和确定得到的所述预留资源量确定所述计算节点在所述第t+1个资源分配周期内的可用资源量；并用于将所述计算节点在所述第t+1个资源分配周期内的可用资源量发送给所述资源管理器；
所述应用管理器用于，向所述资源管理器发送资源申请信息，所述资源申请信息包括在第t+1个资源分配周期内运行负载所需的资源量数据；
所述资源管理器用于，接收所述应用管理器发送的资源申请信息及所述计算节点发送的所述计算节点在所述第t+1个资源分配周期内的可用资源量，并根据所述资源申请信息及所述计算节点在第t+1个资源分配周期内的可用资源量，给所述应用管理器分配在所述第t+1个资源分配周期内运行所述负载的资源。
8.根据权利要求7所述的系统，其特征在于，所述应用管理器还用于，调用所述资源管理器分配的在所述第t+1个资源分配周期内运行所述负载的资源运行所述负载。
9.根据权利要求7或8所述的系统，其特征在于，所述计算节点与所述资源管理器通过心跳协议通信连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510846500.1A CN105468458B (zh) | 2015-11-26 | 2015-11-26 | 计算机集群的资源调度方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510846500.1A CN105468458B (zh) | 2015-11-26 | 2015-11-26 | 计算机集群的资源调度方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105468458A true CN105468458A (zh) | 2016-04-06 |
| CN105468458B CN105468458B (zh) | 2019-04-19 |
Family
ID=55606193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510846500.1A Active CN105468458B (zh) | 2015-11-26 | 2015-11-26 | 计算机集群的资源调度方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105468458B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598737A (zh) * | 2016-12-13 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种实现硬件资源分配的方法及装置 |
| CN106991012A (zh) * | 2017-04-11 | 2017-07-28 | 广东浪潮大数据研究有限公司 | 一种计算机资源压缩预留和动态调度方法 |
| CN107291550A (zh) * | 2017-06-22 | 2017-10-24 | 华中科技大学 | 一种针对迭代应用的Spark平台资源动态分配方法及系统 |
| CN107368372A (zh) * | 2017-07-25 | 2017-11-21 | 郑州云海信息技术有限公司 | 一种基于云海os平台的资源展示方法与装置 |
| CN108073453A (zh) * | 2016-11-11 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 分布式集群中cpu资源的调度方法以及装置 |
| CN108307206A (zh) * | 2017-12-25 | 2018-07-20 | 北京奇艺世纪科技有限公司 | 一种直播编码任务的分配方法及装置 |
| CN108429704A (zh) * | 2017-02-14 | 2018-08-21 | 中国移动通信集团吉林有限公司 | 一种节点资源分配方法及装置 |
| CN108509268A (zh) * | 2018-02-24 | 2018-09-07 | 宁波诺信睿聚投资有限责任公司 | 集群资源分配方法、装置、设备及计算机可读存储介质 |
| CN109298949A (zh) * | 2018-12-04 | 2019-02-01 | 国网辽宁省电力有限公司大连供电公司 | 一种分布式文件系统的资源调度系统 |
| CN110888733A (zh) * | 2018-09-11 | 2020-03-17 | 北京奇虎科技有限公司 | 集群资源使用情况处理方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101090359A (zh) * | 2006-06-13 | 2007-12-19 | 中兴通讯股份有限公司 | 基于不连续发送预测的流控方法 |
| CN101159699A (zh) * | 2007-11-27 | 2008-04-09 | 杭州华三通信技术有限公司 | 分布式设备交换网带宽动态分配方法及装置 |
| CN103593242A (zh) * | 2013-10-15 | 2014-02-19 | 北京航空航天大学 | 基于Yarn框架的资源共享控制系统 |
| CN103685563A (zh) * | 2013-12-31 | 2014-03-26 | 湖南师范大学 | 一种基于移动通信网络的云计算系统及其资源管理方法 |
-
2015
- 2015-11-26 CN CN201510846500.1A patent/CN105468458B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101090359A (zh) * | 2006-06-13 | 2007-12-19 | 中兴通讯股份有限公司 | 基于不连续发送预测的流控方法 |
| CN101159699A (zh) * | 2007-11-27 | 2008-04-09 | 杭州华三通信技术有限公司 | 分布式设备交换网带宽动态分配方法及装置 |
| CN103593242A (zh) * | 2013-10-15 | 2014-02-19 | 北京航空航天大学 | 基于Yarn框架的资源共享控制系统 |
| CN103685563A (zh) * | 2013-12-31 | 2014-03-26 | 湖南师范大学 | 一种基于移动通信网络的云计算系统及其资源管理方法 |
Non-Patent Citations (3)
| Title |
|---|
| 王文峰等: "YarnPlus：基于Yarn的异构任务资源共享框架", 《中国计算机大会》 * |
| 田东等: "网格资源提前预留中用户资源需求量预测模型", 《华中科技大学学报（自然科学版）》 * |
| 董西成: "《Hadoop技术内幕 深入解析YARN架构设计与实现原理》", 31 January 2014, 机械工业出版社 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073453B (zh) * | 2016-11-11 | 2022-05-10 | 阿里巴巴集团控股有限公司 | 分布式集群中cpu资源的调度方法以及装置 |
| CN108073453A (zh) * | 2016-11-11 | 2018-05-25 | 阿里巴巴集团控股有限公司 | 分布式集群中cpu资源的调度方法以及装置 |
| CN106598737A (zh) * | 2016-12-13 | 2017-04-26 | 腾讯科技（深圳）有限公司 | 一种实现硬件资源分配的方法及装置 |
| CN108429704A (zh) * | 2017-02-14 | 2018-08-21 | 中国移动通信集团吉林有限公司 | 一种节点资源分配方法及装置 |
| CN108429704B (zh) * | 2017-02-14 | 2022-01-25 | 中国移动通信集团吉林有限公司 | 一种节点资源分配方法及装置 |
| CN106991012A (zh) * | 2017-04-11 | 2017-07-28 | 广东浪潮大数据研究有限公司 | 一种计算机资源压缩预留和动态调度方法 |
| CN107291550B (zh) * | 2017-06-22 | 2019-11-12 | 华中科技大学 | 一种针对迭代应用的Spark平台资源动态分配方法及系统 |
| CN107291550A (zh) * | 2017-06-22 | 2017-10-24 | 华中科技大学 | 一种针对迭代应用的Spark平台资源动态分配方法及系统 |
| CN107368372B (zh) * | 2017-07-25 | 2021-02-23 | 苏州浪潮智能科技有限公司 | 一种基于云海os平台的资源展示方法与装置 |
| CN107368372A (zh) * | 2017-07-25 | 2017-11-21 | 郑州云海信息技术有限公司 | 一种基于云海os平台的资源展示方法与装置 |
| CN108307206A (zh) * | 2017-12-25 | 2018-07-20 | 北京奇艺世纪科技有限公司 | 一种直播编码任务的分配方法及装置 |
| CN108509268A (zh) * | 2018-02-24 | 2018-09-07 | 宁波诺信睿聚投资有限责任公司 | 集群资源分配方法、装置、设备及计算机可读存储介质 |
| CN110888733A (zh) * | 2018-09-11 | 2020-03-17 | 北京奇虎科技有限公司 | 集群资源使用情况处理方法、装置及电子设备 |
| CN110888733B (zh) * | 2018-09-11 | 2023-12-26 | 三六零科技集团有限公司 | 集群资源使用情况处理方法、装置及电子设备 |
| CN109298949A (zh) * | 2018-12-04 | 2019-02-01 | 国网辽宁省电力有限公司大连供电公司 | 一种分布式文件系统的资源调度系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105468458B (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105468458A (zh) | 计算机集群的资源调度方法及系统 | |
| CN110858161B (zh) | 资源分配方法、装置、系统、设备和介质 | |
| US8423998B2 (en) | System and method for virtual machine multiplexing for resource provisioning in compute clouds | |
| US8656404B2 (en) | Statistical packing of resource requirements in data centers | |
| EP3015981B1 (en) | Networked resource provisioning system | |
| US20130346614A1 (en) | Workload adaptive cloud computing resource allocation | |
| WO2017166643A1 (zh) | 一种任务资源的量化方法和装置 | |
| JP2015532992A (ja) | リソース使用の自動プロファイル化 | |
| CN102075425B (zh) | 一种业务分配方法和负载均衡器 | |
| JP2004062911A (ja) | コンピュータ資源の割り当てを管理するシステム | |
| US10423217B1 (en) | Dynamic power capping of multi-server nodes in a chassis based on real-time resource utilization | |
| JP5616523B2 (ja) | 情報処理システム | |
| JP2020127182A (ja) | 制御装置、制御方法及びプログラム | |
| KR20140089749A (ko) | 클러스터의 부하 할당 제어 장치 및 그 방법 | |
| US20150146521A1 (en) | Dynamic resource pooling and trading mechanism in network virtualization | |
| CN112219191A (zh) | 数据中心中的服务和服务器的自配置 | |
| CN116467082A (zh) | 一种基于大数据的资源分配方法及系统 | |
| CN116932220A (zh) | 服务集群的资源调整方法、装置、电子设备和存储介质 | |
| CN114253663A (zh) | 一种虚拟机资源的调度方法和装置 | |
| CN114741160A (zh) | 一种基于平衡能耗与服务质量的动态虚拟机整合方法和系统 | |
| JP6191361B2 (ja) | 情報処理システム、情報処理システムの制御方法及び制御プログラム | |
| CN114546631A (zh) | 任务调度方法、控制方法、核心、电子设备、可读介质 | |
| CN114546630A (zh) | 任务处理方法及分配方法、装置、电子设备、介质 | |
| CN113127289A (zh) | 一种基于yarn集群的资源管理方法、计算机设备和存储介质 | |
| US11853800B2 (en) | Power management method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210203 Address after: 100085 Digital Technology Plaza, 9 shangdijiu street, Haidian District, Beijing Patentee after: DIGITAL CHINA HOLDINGS Ltd. Address before: 100191 Beijing University of Aeronautics and Astronautics, Haidian District, Beijing Patentee before: BEIHANG University |