CN103763373A - 一种基于云计算的调度方法和调度器 - Google Patents

Abstract

一种基于云计算的调度方法和调度器，涉及计算机应用领域，包括：确定待分配任务的安全需求；确定满足所述待分配任务安全需求的含有所述任务输入数据的第一计算节点和满足所述待分配任务安全需求的不含有所述任务输入数据的第二计算节点；判断所述第一计算节点和第二计算节点负载的大小，将所述待分配的任务t的调度任务映射到所述两个计算节点中负载小的一个计算节点；将所述待分配的任务t的备份任务映射到满足所述待分配任务t安全需求的除第一计算节点和第二计算节点以外的第三计算节点。本发明在兼顾数据本地性的同时，采用任务备份来实现系统的容错。提高任务调度的容错性能，降低调度失败的概率。

Description

一种基于云计算的调度方法和调度器

技术领域

本发明涉及计算机应用领域，具体涉及一种基于云计算的调度方法和调度器。

背景技术

随着人们对云计算的接受程度，云服务面对的客户群体越来越庞大。同时后台公共服务器资源池中的节点规模也不断的扩大，任务执行的时间增长，导致故障率的增加。面对成千上万的访问量，虚拟机的调度无疑成为云计算的重点与难点。由于资源的异构性和弹性伸缩性，导致云计算平台相比传统的计算机平台有更大的出错概率。因此，在云计算任务调度过程中，必须考虑容错这一问题，以确保任务调度具有容错性。传统云计算任务调度方法如延迟调度方法、基于最小代价流的调度方法，这些方法只考虑了节点资源的CPU、内存、网络指标，只关注了数据的本地性和任务的公平性，忽略了任务的容错机制，安全、调度可靠性等问题。

发明内容

为了提高任务调度的容错性能，降低调度失败的概率，本发明提供一种基于云计算的调度方法和调度器，

为了解决上述技术问题，本发明提供了一种基于云计算的调度方法，包括：

1）确定待分配任务t的安全需求；

2）确定满足所述待分配任务t安全需求的含有所述任务输入数据的第一计算节点nod1和满足所述待分配任务t安全需求的不含有所述任务输入数据的第二计算节点nod2；

3）判断所述第一计算节点nod1和第二计算节点nod2负载的大小，将所述待分配的任务t的调度任务映射到所述两个计算节点中负载小的一个计算节点；

4）将所述待分配的任务t的备份任务映射到满足所述待分配任务t安全需求的除第一计算节点nod1和第二计算节点nod2以外的第三计算节点nod3。

进一步地，步骤2）中所述第一计算节点nod1为满足所述任务安全需求的负载最小的含有所述任务输入数据的计算节点；所述第二计算节点nod2为满足所述任务安全需求的负载最小的不含有所述任务输入数据的计算节点。

进一步地，任务输入数据包括：所述待分配任务t的任务执行时间

可靠性β、消耗γ，其中，

并且

进一步地，步骤1）中的确定待分配任务t的安全需求包括：根据所述待分配任务t的任务类型确定待分配任务t的安全需求。

进一步地，步骤2）中的判断计算节点满足安全需求的步骤为：

根据计算节点反馈的节点信任等级T，判断计算节点是否满足所述待分配任务t安全需求，当计算节点反馈的节点信任等级T高于所述待分配任务t安全需求是，满足安全需求，否则，不满足安全需求。

进一步地，步骤4）中所述第三计算节点nod3为满足所述待分配任务t安全需求的除第一计算节点nod1含有所述任务输入数据的计算节点。

为了解决上述技术问题，本发明还提供了一种基于云计算的调度器，包括：安全需求划分模块、节点计算模块、调度任务分配模块和备份任务分配模块；

所述安全需求划分模块，用于确定待分配任务t的安全需求；

所述节点计算模块，用于确定满足所述待分配任务t安全需求的含有所述任务输入数据的第一计算节点nod1和满足所述待分配任务t安全需求的不含有所述任务输入数据的第二计算节点nod2；

所述调度任务分配模块，用于判断所述第一计算节点nod1和第二计算节点nod2负载的大小，将所述待分配的任务t的调度任务映射到所述两个计算节点中负载小的一个计算节点；

所述备份任务分配模块，用于将所述待分配的任务t的备份任务映射到满足所述待分配任务t安全需求的除第一计算节点nod1和第二计算节点nod2以外的第三计算节点nod3。

优选地，所述节点计算模块确定的所述第一计算节点nod1为满足所述任务安全需求的负载最小的含有所述任务输入数据的计算节点；所述第二计算节点nod2为满足所述任务安全需求的负载最小的不含有所述任务输入数据的计算节点。

优选地，所述安全需求划分模块根据所述待分配任务t的任务类型确定待分配任务t的安全需求。

优选地，所述节点计算模块根据计算节点反馈的节点信任等级T，判断计算节点是否满足所述待分配任务t安全需求，当计算节点反馈的节点信任等级T高于所述待分配任务t安全需求是，满足安全需求，否则，不满足安全需求。

优选地，所述备份任务分配模块确定的所述第三计算节点nod3为满足所述待分配任务t安全需求的除第一计算节点nod1含有所述任务输入数据的计算节点。

与现有技术相比，本发明的基于云计算的调度方法和装置，在兼顾数据本地性的同时，采用任务备份来实现系统的容错。将任务映射到含有该任务输入数据且负载最小的计算节点，根据云计算的安全等级将任务进行备份，并重新调度失败任务，提高任务调度的容错性能，降低调度失败的概率。

附图说明

图1为本发明实施例的基于云计算的调度方法的流程图；

图2为本发明实施例的基于云计算的调度器的结构示意图；

图3为本发明实施例的待分配任务和节点的分配关系示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

如图1所示，一种基于云计算的调度方法，包括：

1）确定待分配任务t的安全需求；

2）确定满足所述待分配任务t安全需求的含有所述任务输入数据的第一计算节点nod1和满足所述待分配任务t安全需求的不含有所述任务输入数据的第二计算节点nod2；

3）判断所述第一计算节点nod1和第二计算节点nod2负载的大小，将所述待分配的任务t的调度任务映射到所述两个计算节点中负载小的一个计算节点；

4）将所述待分配的任务t的备份任务映射到满足所述待分配任务t安全需求的除第一计算节点nod1和第二计算节点nod2以外的第三计算节点nod3。

本发明实施例中，

某一应用程序的若干待分配任务t之间相互独立。

计算节点的实时状态已知和待分配任务t的执行时间已知。

在同一个计算节点上执行的子任务遵循FCFS(First-Come,First-Served，先来先服务)原则，任务一旦执行，就不能被抢断。

调度器维护一个任务列表，其中保存各任务的运行状态及计算节点对的相关信息。计算节点每隔一段时间向调度器发送自己的运行状态，所述运行状态包括节点信任等级T。计算节点指的是在云资源池中用来做计算的物理主机；是区别与存储节点、管理节点的一种说法。

进一步地，步骤2）中所述第一计算节点nod1为满足所述任务安全需求的负载最小的含有所述任务输入数据的计算节点；所述第二计算节点nod2为满足所述任务安全需求的负载最小的不含有所述任务输入数据的计算节点。

任务输入数据包括：所述待分配任务t的任务执行时间可靠性β、消耗γ，其中， $\∂,\mathrm{\β},\mathrm{\γ}\∈\left(\mathrm{0,1}\right)$ 并且 $\∂+\mathrm{\β}+\mathrm{\γ}=1.$

步骤1）中的确定待分配任务t的安全需求包括：根据所述待分配任务t的任务类型确定待分配任务t的安全需求。

步骤2）中的判断计算节点满足安全需求的步骤为：

根据计算节点反馈的节点信任等级T，判断计算节点是否满足所述待分配任务t安全需求，当计算节点反馈的节点信任等级T高于所述待分配任务t安全需求是，满足安全需求，否则，不满足安全需求。

步骤4）中所述第三计算节点nod3为满足所述待分配任务t安全需求的除第一计算节点nod1含有所述任务输入数据的计算节点。

如图2所示，一种基于云计算的调度器，包括：安全需求划分模块、节点计算模块、调度任务分配模块和备份任务分配模块；

所述安全需求划分模块，用于确定待分配任务t的安全需求；

所述节点计算模块，用于确定满足所述待分配任务t安全需求的含有所述任务输入数据的第一计算节点nod1和满足所述待分配任务t安全需求的不含有所述任务输入数据的第二计算节点nod2；

所述调度任务分配模块，用于判断所述第一计算节点nod1和第二计算节点nod2负载的大小，将所述待分配的任务t的调度任务映射到所述两个计算节点中负载小的一个计算节点；

所述备份任务分配模块，用于将所述待分配的任务t的备份任务映射到满足所述待分配任务t安全需求的除第一计算节点nod1和第二计算节点nod2以外的第三计算节点nod3。

所述节点计算模块确定的所述第一计算节点nod1为满足所述任务安全需求的负载最小的含有所述任务输入数据的计算节点；所述第二计算节点nod2为满足所述任务安全需求的负载最小的不含有所述任务输入数据的计算节点。

所述安全需求划分模块根据所述待分配任务t的任务类型确定待分配任务t的安全需求。

所述节点计算模块根据计算节点反馈的节点信任等级T，判断计算节点是否满足所述待分配任务t安全需求，当计算节点反馈的节点信任等级T高于所述待分配任务t安全需求是，满足安全需求，否则，不满足安全需求。

所述备份任务分配模块确定的所述第三计算节点nod3为满足所述待分配任务t安全需求的除第一计算节点nod1含有所述任务输入数据的计算节点。

实施例

如图3所示，一个应用程序包括7个待分配任务，云资源池中包括3个计算节点，其中，每个任务都有2块输入数据。

对每个待分配任务ti，i=1,2，……7，确定安全需求，并确定所有节点的信任等级。

本发明实施中还可以进一步确定任务备份数active。

将Nt和Ni按负载由小到大排序，其中含有任务ti输入数据的节点集合为Nt，其余节点集合为Ni，

将Nt和Ni按负载从小到大依次排序，从Nt和Ni别找到第1个满足任务ti安全需求的节点nod1和nod2，计算将任务ti分配给节点Nod1和节点Nod2的负载pL和RL

If pL≤rL

将任务ti的调度任务分配给节点Nod1

Else

将任务ti的调度任务分配给节点Nod2

将备份任务优先分配给集合N t中其他满足任务安全需求的节点，如节点不够，则再分配给其余集合节点N i中满足任务安全需求的节点；

运行备份任务的计算节点每隔一段时间向调度器发送自己的运行状态。如果调度器接收到某备份任务完成的消息，就通知所有其他正在运行该备份任务的节点，终止该备份任务的执行，更新任务列表；反之如调度器在一定时间内没有接收到某节点的报告信息，则认为该节点已失效。

任务备份数active大于1时，则调度器从所有未运行该备份任务且满足任务的安全需求的节点中，选择active个负载最小的节点，将任务备份调度到这些节点上。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (11)

1.一种基于云计算的调度方法，其特征在于：所述方法包括：

1）确定待分配任务t的安全需求；

2）确定满足所述待分配任务t安全需求的含有所述任务输入数据的第一计算节点nod1和满足所述待分配任务t安全需求的不含有所述任务输入数据的第二计算节点nod2；

3）判断所述第一计算节点nod1和第二计算节点nod2负载的大小，将所述待分配的任务t的调度任务映射到所述两个计算节点中负载小的一个计算节点；

4）将所述待分配的任务t的备份任务映射到满足所述待分配任务t安全需求的除第一计算节点nod1和第二计算节点nod2以外的第三计算节点nod3。

2.如权利要求1所述的调度方法，其特征在于：步骤2）中所述第一计算节点nod1为满足所述任务安全需求的负载最小的含有所述任务输入数据的计算节点；所述第二计算节点nod2为满足所述任务安全需求的负载最小的不含有所述任务输入数据的计算节点。

3.如权利要求1所述的调度方法，其特征在于：任务输入数据包括：所述待分配任务t的任务执行时间

可靠性β、消耗γ，其中，

,β,γ∈(0,1)并且 $\∂+\mathrm{\β}+\mathrm{\γ}=1$

4.如权利要求1所述的调度方法，其特征在于：步骤1）中的确定待分配任务t的安全需求包括：根据所述待分配任务t的任务类型确定待分配任务t的安全需求。

5.如权利要求4所述的调度方法，其特征在于：步骤2）中的判断计算节点满足安全需求的步骤为：

根据计算节点反馈的节点信任等级T，判断计算节点是否满足所述待分配任务t安全需求，当计算节点反馈的节点信任等级T高于所述待分配任务t安全需求是，满足安全需求，否则，不满足安全需求。

6.如权利要求1所述的调度方法，其特征在于：步骤4）中所述第三计算节点nod3为满足所述待分配任务t安全需求的除第一计算节点nod1含有所述任务输入数据的计算节点。

7.一种基于云计算的调度器，其特征在于：包括：安全需求划分模块、节点计算模块、调度任务分配模块和备份任务分配模块；

所述安全需求划分模块，用于确定待分配任务t的安全需求；

所述节点计算模块，用于确定满足所述待分配任务t安全需求的含有所述任务输入数据的第一计算节点nod1和满足所述待分配任务t安全需求的不含有所述任务输入数据的第二计算节点nod2；

所述调度任务分配模块，用于判断所述第一计算节点nod1和第二计算节点nod2负载的大小，将所述待分配的任务t的调度任务映射到所述两个计算节点中负载小的一个计算节点；

所述备份任务分配模块，用于将所述待分配的任务t的备份任务映射到满足所述待分配任务t安全需求的除第一计算节点nod1和第二计算节点nod2以外的第三计算节点nod3。

8.如权利要求7所述的调度器，其特征在于：所述节点计算模块确定的所述第一计算节点nod1为满足所述任务安全需求的负载最小的含有所述任务输入数据的计算节点；所述第二计算节点nod2为满足所述任务安全需求的负载最小的不含有所述任务输入数据的计算节点。

9.如权利要求7所述的调度器，其特征在于：所述安全需求划分模块根据所述待分配任务t的任务类型确定待分配任务t的安全需求。

10.如权利要求7所述的调度器，其特征在于：所述节点计算模块根据计算节点反馈的节点信任等级T，判断计算节点是否满足所述待分配任务t安全需求，当计算节点反馈的节点信任等级T高于所述待分配任务t安全需求是，满足安全需求，否则，不满足安全需求。

11.如权利要求7所述的调度器，其特征在于：所述备份任务分配模块确定的所述第三计算节点nod3为满足所述待分配任务t安全需求的除第一计算节点nod1含有所述任务输入数据的计算节点。

Images