CN102708011A - 一种面向云计算平台任务调度的多级负载评估方法 - Google Patents

Abstract

本发明公开了一种面向云计算平台任务调度的多级负载评估方法。本发明方法充分考虑任务节点自身负载的动态变化、不同任务节点性能的差异以及不同任务负载需求的差异，选取了运行队列平均进程数、平均CPU利用率、平均内存利用率、平均网络带宽利用率作为评估所需的负载参数，并对其赋予不同的优先级，为大规模服务器集群的任务调度提供一种多级负载评估方法。本发明还公开了一种云计算平台自适应任务调度方法。相比现有技术，本发明具有高精度，低消耗的优点，充分满足了云计算平台任务调度策略的需求。

Description

一种面向云计算平台任务调度的多级负载评估方法

技术领域

本发明涉及一种负载评估方法，主要用于实现云计算平台任务调度中集群节点的负载评估，属于计算机网络技术领域。

背景技术

云计算（Cloud Computing）是目前计算机领域研究的热点，具有高可扩展性和高可用性等优点。云计算平台部署在大规模服务器集群上，为云计算提供可信赖的计算能力。在大规模服务器集群中，负责作业的调度和任务的分配节点称为管理节点；负责任务具体执行的集群节点称为任务节点。

云计算平台在实现任务的调度时，受限于任务节点有限的资源和计算能力，不能无限制的分配任务。一种有效而简单的方法是通过设定任务节点最大可并行执行的任务总数。但可能导致发生以下两种情况：

（1）若任务节点属于高性能计算节点，当正在执行任务数已经等于最大可并行执行任务数时，该任务节点将无权继续获取任务，而此时，若该任务节点的负载仍然较轻，表明还有能力执行更多的任务，这样就会产生“饥饿”现象，造成空闲资源的浪费。

（2）若任务节点属于低性能计算节点，当正在执行任务数小于最大可并行执行任务数时，该任务节点将继续申请新任务，而此时，若该任务节点的负载已经很重，表明已无能力执行更多的任务，就会出现“饱和”现象，造成节点宕机，发生灾难性事故。

这不仅很大程度上影响集群的性能，还会造成集群资源的浪费。考虑任务节点自身实际负载的动态变化、不同任务节点性能的差异以及不同任务负载需求的差异，一种更加可靠且高效的方法是基于动态负载自适应调节最大可并行执行的任务数。因此，对集群节点的负载大小作出合理的评估是实现高效、可靠的任务调度策略的前提。

发明内容

本发明所要解决的技术问题在于克服现有云计算平台负载评估机制存在的不足，提供一种面向云计算平台任务调度的多级负载评估方法，在尽可能提高负载评估精度的同时，减少负载评估方法本身带来的系统开销。

本发明具体采用以下技术方案解决上述技术问题。

一种面向云计算平台任务调度的多级负载评估方法，包括以下步骤：

步骤A、任务节点计算当前采集周期内自身的运行队列平均进程数，并与预设的进程数饱和阈值进行比较：如运行队列平均进程数＜进程数饱和阈值，转至步骤B；否则，判断该任务节点处于饱和态，即负载超出承受范围；

步骤B、任务节点计算当前采集周期内自身的平均CPU利用率和平均内存利用率，并分别与预设的CPU利用率饱和阈值，内存利用率饱和阈值进行比较：如平均CPU利用率＜CPU利用率饱和阈值，且平均内存利用率＜内存利用率饱和阈值，则转步骤C；否则，判断该任务节点处于饱和态；

步骤C、任务节点计算当前采集周期内自身的平均网络带宽利用率，并与预设的网络带宽利用率饱和阈值进行比较：如平均网络带宽利用率＜网络带宽利用率饱和阈值，则转

步骤D；否则，判断该任务节点处于饱和态；

步骤D、将运行队列平均进程数、平均CPU利用率、平均内存利用率、平均网络带宽利用率分别与预先设置的进程数最优阈值、CPU利用率最优阈值、内存利用率最优阈值、网络带宽利用率最优阈值比较，其中，进程数最优阈值＜进程数饱和阈值，CPU利用率最优阈值＜CPU利用率饱和阈值，内存利用率最优阈值＜内存利用率饱和阈值，网络带宽利用率最优阈值＜网络带宽利用率饱和阈值：当运行队列平均进程数＜进程数最优阈值、平均CPU利用率＜CPU利用率最优阈值、平均内存利用率＜内存利用率最优阈值，以及＜网络带宽利用率最优阈值同时得到满足，则判断该任务节点处于饥饿态，即负载较轻，可以继续承担新任务；否则，判断该任务节点处于最优态，即负载合理。

本发明选取运行队列平均进程数、平均CPU利用率、平均内存利用率、平均网络带宽利用率作为评估所需的负载参数主要基于以下考量：

（1）运行队列平均进程数：服务器的调度器会不断让队列中的任务运行，但是当任务队列过长时，由于各个任务对资源的竞争，可能使得CPU处于未响应状态，此时节点处于超负荷的工作状态。运行队列平均进程数的选择能够有效避免这种情况的发生。

（2）平均CPU利用率、平均内存利用率：任务队列存在多个正在执行的任务，平均CPU利用率以及平均内存利用率能够可靠的反映正在执行任务占用系统资源的大小，判断当前节点有无足够大的资源去执行新的任务。

（3）平均网络带宽利用率：反映节点带宽负荷的大小，判断当前节点有无足够网络带宽接受接收新的任务。如果不考虑网络带宽的因素，会造成网络阻塞现象的发生。

本发明还为所选取的负载参数设定了不同的优先级，当高优先级的负载参数>预设的阀值时，判断该任务节点处于饱和态，无需再采集较低优先级的负载参数，这样能够有效减少系统开销。

进一步地，所述当前采集周期内的运行队列平均进程数、平均CPU利用率、平均内存利用率、平均网络带宽利用率，按照以下方法得到：在当前采集周期内多次读取该任务节点中相应的系统内核文件，获得一组运行队列进程数、CPU利用率、内存利用率、网络带宽利用率，然后分别取其平均值。

根据本发明的发明思路，还可得到一种云计算平台自适应任务调度方法，包括以下步骤：

步骤1、各任务节点在当前心跳周期内计算本任务节点正在执行的任务数，同时采用以上任一技术方案所述负载评估方法进行负载评估；当前心跳周期结束时，如该任务节点正在执行的任务数小于该任务节点的最大可并行执行的任务数，且其状态为饥饿态或最优态，则向管理节点索取任务；否则，不向管理节点索取任务；

步骤2、各任务节点根据连续k个心跳周期内的自身的负载状态及正在执行的任务数对任务进行动态配置，k为预设的大于1的自然数，具体配置方法如下：

当出现连续k个心跳周期内的负载状态都处于饥饿态时，若正在执行的任务数小于当前最大可并行执行的任务数，则不对最大可并行执行的任务数进行调整；否则，将最大可并行执行的任务数增大；

当出现连续k个心跳周期内的负载状态都处于饱和态时，首先杀死超时未得到响应的任务，并将此任务汇报给管理节点，请求管理节点将该任务重新分配给合适的任务节点；然后判断正在执行的任务数是否小于当前最大可并行执行的任务数，如是，则将最大可并行执行的任务数调整为正在执行的任务数；如否，则将最大可并行执行的任务数减小；在其它情况下，不采取任何措施；

步骤3、各任务节点按照心跳周期重复执行步骤1、步骤2。

上述方案的步骤2中所述将最大可并行执行的任务数增大/减小，可以根据实际情况确定每次增大/减小的数值，本发明优选将当前最大可并行执行的任务数加/减1。

相比现有技术，本发明具有以下有益效果：

（1）负载评估结果准确可靠。对于节点的负载实际开销，本发明提出了完整的系统评估模型来分析节点状态。为了规避系统性能的抖动，影响采集节点信息的准确度与精度，引入了负载信息队列方法，统计时间段内的负载均值，动态把握节点任务执行的全过程。

（2）为了规避传统评估模型“采集机制”给管理节点带来的庞大压力，本发明采取任务节点“自行评估，自行管理”策略评估方法，评估实时性强，能够实时动态把握节点负载变化。

（3）高评估精度，低评估系统开销。本发明所采集的负载信息均是通过读取系统内核文件获得，故不会产生过大的系统开销。

（4）本发明可实现任务节点在运行的过程中根据负载的变化，按照计算能力获取任务，实现各个节点自适应调节；本发明的任务调度算法具有良好的加速比，能够有效的减少任务响应的总时间。

附图说明

图1为云计算平台的系统结构示意图；

图2为本发明的多级负载评估方法的流程图；

图3为任务节点的状态转换示意图；

图4为本发明的云计算平台自适应任务调度方法的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的思路是从集群节点的运行队列平均进程数、CPU和内存利用率、网络带宽利用率等方面考虑，采用多级负载评估方法，实现集群节点负载评估的高效性和可靠性。

1、评估模型

（1）节点模型

云计算平台的集群节点，从功能上分为两类：管理节点（Master Node）和任务节点（Task Node），如图1所示，当作业提交给云计算平台后，由管理节点负责将作业切分成若干个任务后选择合适的任务节点部署任务。节点定义如下:

定义1管理节点（Master Node）,云计算平台的管理节点，负责整个集群系统的管理和任务的调度。

定义2任务节点（Task Node）,云计算平台的任务节点，负责任务的执行。

（2）负载模型

对任务节点进行合理的负载评估，实现任务节点在运行的过程中根据负载评估的结果，动态调节最大可并行执行任务数，实现按照计算能力获取任务。同时避免因采用复杂调度算法对管理节点带来的庞大压力。按照上述要求，本发明引入负载优先级的概念，首先选取运行队列平均长度（LoadAverage）作为高优先级的负载参数，它反应了在特定时间间隔内运行队列中的平均进程数；其次，选取CPU利用率（CpuUsage）和内存利用率（MemoryUsage）作为中优先级的负载参数，它们反应了当前运行任务占用系统资源的大小；最后，选取网络带宽利用率（NetworkBandwidthUsage）作为低优先级的负载参数，它是衡量网络使用情况的一个重要指标，体现当前节点网络负载的大小。各个负载参数定义如下：

定义3运行队列平均长度（LoadAverage，LA），在某段时间内的运行队列平均进程数。

定义4CPU利用率（CpuUsage,CU），当前采集周期内的平均CPU利用率。

定义5内存利用率（MemoryUsage,MU），当前采集周期内的平均内存利用率。

定义6网络带宽利用率（NetworkBandwidthUsage,NBU），当前采集周期内的平均带宽利用率。

(3)状态模型

根据上述三级负载指标，统计任务节点当前已使用的系统开销。根据开销的大小，为任务节点定义当前所处状态。本发明中将节点分为三种状态，每个任务节点都可能处在下列三种状态之一：

状态A（饥饿态，HUNGER）：任务节点的负载较轻，可以继续承担新任务。

状态B（最优态,OPTIMAL）：任务节点的负载合理，当前并行执行任务数合理。

状态C（饱和态,SATURATION）：任务节点的负载较重，当前并行执行任务数超出承受范围。

为了描述和判断节点状态的属性，本发明中为每个负载参数分别定义了最优阈值（OptimalValue,OV）和饱和阈值（ThresholdValue,TV），最优阈值小于饱和阈值。当前任务节点各负载参数均小于相应的最优值时，该节点处于“饥饿态”；当前任务节点的任一负载参数大于相应的饱和阈值时，该节点处于“饱和态”；其它情况下，节点处于“最优态”。

为了避免系统性能的抖动，影响采集节点信息的准确度与精度，本发明引入了负载信息队列，包括：运行队列平均长度、CPU利用率、内存利用率、网络带宽利用率（LoadAverageQueue、CpuQueue、MemoryQueue、NetworkBandwidthQueue）。每个任务节点维护一个长度为N的负载信息队列，当进入下一个采集周期时，重新采集节点信息，取代上一个周期的数据。

下面以采用Linux系统的云计算平台为例来对对本发明的技术方案进行说明：本发明的面向云计算平台任务调度的多级负载评估方法，如图2所示，按照以下步骤：

步骤1：初始化相关参数：包括各负载参数的最优阈值（OV）、饱和阈值（TV），以及负载信息队列长度N，OV₁—OV₄、TV₁—TV₄分别表示运行队列平均长度、CPU利用率、内存利用率、网络带宽利用率的最优阈值、饱和阈值；

步骤2：在采集周期内，首先通过多次读取系统内核文件/proc/loadavg获得一组运行队列进程数，并将其写入负载信息队列LoadAverageQueue；

步骤3：根据负载信息队列LoadAverageQueue计算当前采集周期内的运行队列平均进程数LA，即：

$\mathrm{LA}=\frac{\mathrm{\ΣLoadAverageQueue}}{N},$ （i＝0，1，...，N-1）                                         （1）

判断LA大小，若LA<TV₁，则进入步骤4，否则跳转至步骤8；

步骤4：分别通过多次读取系统内核文件/proc/stat和/proc/meminfo，获得一组CPU利用率和一组内存利用率，并分别写入负载信息队列CpuQueue和MemoryQueue；

步骤5：根据负载队列CpuQueue和MemoryQueue计算当前采集周期内的平均CPU利用率CU和内存利用率MU，即：

$\mathrm{CU}\frac{\mathrm{\&Sigma;CpuQueue}}{N},$ (i=0，1，...，N-1）                    （2）

$\mathrm{MU}=\frac{\mathrm{\&Sigma;MemoryQueue}}{N},$ （i=0，1，...，N-1）                         （3）

判断CU和MU大小，若CU<TV₂且MU<TV₃，则进入步骤6，否则跳转至步骤8；

步骤6：通过多次读取系统内核文件/proc/net/dev获得一组网络带宽利用率，写入负载信息队列NetworkBandwidthQueue；

步骤7：根据负载队列NetworkBandwidthQueue计算当前采集周期内的平均网络带宽利用率NBU，即：

IF(LA>=TV₁||CU>=TV₂||BU>=TV₃||NBU>=TV₄)

STATE=SATURATION

ELSE IF(LA<OV₁&&CU<OV₂&&BU<OV₃&&NBU<OV₄)

STATE=HUNGER

ELSE STATE=OPTIMAL

通过上述过程，各任务节点实现了对自身的负载状态进行准确评估，根据该评估结果，即可如图3所示，对任务节点的相关参数及节点的任务进行自适应调整，使各任务节点尽可能处于最优态，从而降低集群资源的浪费，提高集群的性能。本具体实施方式中的云计算平台自适应任务调度方法(Adaptive Task Scheduling，简称ATS)，其流程如图4所示，具体包括以下步骤：

步骤1：各任务节点初始化最大可并行执行的任务数（MaxTasksCapacity），两个负载计量值（OverLoadStatusCount，LightLoadStatusCount），负载状态计量周期k；

步骤2：各任务节点在心跳周期内（HeartBeatTime）计算任务节点正在执行的任务数（RunningTasks），同时采用本发明负载评估方法进行负载评估；在该心跳周期内，若STATE为饥饿态，则LightLoadStatusCount值加1，同时将OverLoadStatusCount清零；若STATE为饱和态，则OverLoadStatusCount值加1，同时将LightLoadStatusCount清零；若STATE为最优态，同时将LightLoadStatusCount和OverLoadStatusCount清零；

步骤3：任务节点达到心跳时间后，根据RunningTasks、MaxTasksCapacity和负载评估的结果（STATE）决定是否向管理节点索取新任务，若RunningTasks<MaxTasksCapacity且该任务节点处于饥饿态或最优态时，置AskForNewTask为TRUE，向管理节点索取任务；否则置AskForNewTask为FALSE，不向管理节点索取新任务；

步骤4：比较负载计量值（OverLoadStatusCount，LightLoadStatusCount）和负载计量值阈值k之间的关系，具体如下：

(1)、当LightLoadStatusCount==k，表明连续k个心跳周期内的负载状态都处于饥饿态，若RunningTasks<MaxTasksCapacity，则置MaxTasksCapacity的值保持不变；否则置MaxTasksCapacity=RunningTasks+1；将比较负载计量值（OverLoadStatusCount，LightLoadStatusCount）都清零；

(2)、当OverLoadStatusCount==k，表明连续k个心跳周期内的负载状态都处于饱和态，杀死超时未得到响应的任务，并将此任务汇报给管理节点，请求管理节点对该任务重新分配给合适的任务节点；若RunningTasks<MaxTasksCapacity，则置MaxTasksCapacity=RunningTasks；否则置MaxTasksCapacity=MaxTasksCapacity-1；将比较负载计量值（OverLoadStatusCount，LightLoadStatusCount）都清零。

（3）、当两个负载计量值（OverLoadStatusCount，LightLoadStatusCount）都不等于k，则不采取任何措施，任务节点进一步的监控自己负载的变换；

步骤5：任务节点以HeartBeatTime时间周期性地向管理节点发送心跳包；转步骤2，进行循环调度。

Claims (4)

1.一种面向云计算平台任务调度的多级负载评估方法，其特征在于，包括以下步骤：

步骤A、任务节点计算当前采集周期内自身的运行队列平均进程数，并与预设的进程数饱和阈值进行比较：如运行队列平均进程数＜进程数饱和阈值，转至步骤B；否则，判断该任务节点处于饱和态，即负载超出承受范围；

步骤B、任务节点计算当前采集周期内自身的平均CPU利用率和平均内存利用率，并分别与预设的CPU利用率饱和阈值，内存利用率饱和阈值进行比较：如平均CPU利用率＜CPU利用率饱和阈值，且平均内存利用率＜内存利用率饱和阈值，则转步骤C；否则，判断该任务节点处于饱和态；

步骤C、任务节点计算当前采集周期内自身的平均网络带宽利用率，并与预设的网络带宽利用率饱和阈值进行比较：如平均网络带宽利用率＜网络带宽利用率饱和阈值，则转步骤D；否则，判断该任务节点处于饱和态；

步骤D、将运行队列平均进程数、平均CPU利用率、平均内存利用率、平均网络带宽利用率分别与预先设置的进程数最优阈值、CPU利用率最优阈值、内存利用率最优阈值、网络带宽利用率最优阈值比较，其中，进程数最优阈值＜进程数饱和阈值，CPU利用率最优阈值＜CPU利用率饱和阈值，内存利用率最优阈值＜内存利用率饱和阈值，网络带宽利用率最优阈值＜网络带宽利用率饱和阈值：当运行队列平均进程数＜进程数最优阈值、平均CPU利用率＜CPU利用率最优阈值、平均内存利用率＜内存利用率最优阈值，以及＜网络带宽利用率最优阈值同时得到满足，则判断该任务节点处于饥饿态，即负载较轻，可以继续承担新任务；否则，判断该任务节点处于最优态，即负载合理。

2.如权利要求1所述面向云计算平台任务调度的多级负载评估方法，其特征在于，所述当前采集周期内的运行队列平均进程数、平均CPU利用率、平均内存利用率、平均网络带宽利用率，按照以下方法得到：在当前采集周期内多次读取该任务节点中相应的系统内核文件，获得一组运行队列进程数、CPU利用率、内存利用率、网络带宽利用率，然后分别取其平均值。

3.一种云计算平台自适应任务调度方法，其特征在于，包括以下步骤：

步骤1、各任务节点在当前心跳周期内计算本任务节点正在执行的任务数，同时采用权利要求1或2所述负载评估方法进行负载评估；当前心跳周期结束时，如该任务节点正在执行的任务数小于该任务节点的最大可并行执行的任务数，且其状态为饥饿态或最优态，则向管理节点索取任务；否则，不向管理节点索取任务； 

步骤2、各任务节点根据连续k个心跳周期内的自身的负载状态及正在执行的任务数对任务进行动态配置，k为预设的大于1的自然数，具体配置方法如下：

当出现连续k个心跳周期内的负载状态都处于饥饿态时，若正在执行的任务数小于当前最大可并行执行的任务数，则不对最大可并行执行的任务数进行调整；否则，将最大可并行执行的任务数增大； 

当出现连续k个心跳周期内的负载状态都处于饱和态时，首先杀死超时未得到响应的任务，并将此任务汇报给管理节点，请求管理节点将该任务重新分配给合适的任务节点；然后判断正在执行的任务数是否小于当前最大可并行执行的任务数，如是，则将最大可并行执行的任务数调整为正在执行的任务数；如否，则将最大可并行执行的任务数减小；

在其它情况下，不采取任何措施；

步骤3、各任务节点按照心跳周期重复执行步骤1、步骤2。

4.如权利要求3所述云计算平台自适应任务调度方法，其特征在于，步骤2中所述将最大可并行执行的任务数增大/减小，具体是指将当前最大可并行执行的任务数加/减1。

Images