CN101227500A

CN101227500A - 基于光网格的任务调度方法

Info

Publication number: CN101227500A
Application number: CNA2008100337325A
Authority: CN
Inventors: 王正宇; 郭薇; 孙震宇
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2008-02-21
Filing date: 2008-02-21
Publication date: 2008-07-23
Anticipated expiration: 2028-02-21
Also published as: CN101227500B

Abstract

一种计算机应用技术领域的基于光网格的任务调度方法，包括：步骤一，任务调度服务器接收用户向任务调度服务器提交的任务集；步骤二，根据实时的网格资源与光网络资源的性能，对用户提交的任务进行优化分派，得到分派结果；步骤三，得到优化的分派结果后，任务调度服务器按照该网格资源分配结果把每个任务分派到已确定的网格资源上去执行；步骤四，在任务执行过程中，按照光网络资源分配结果建立光路，传输任务之间的网格数据，在传输完毕后将光路拆除以备其它传输之需；步骤五，在步骤一到步骤四的过程中，实时地监测网格资源和光网络资源的性能。本发明弥补了光网格领域任务调度方法的空白，实现简单，效率高，应用范围比较广泛。

Description

基于光网格的任务调度方法

技术领域

本发明涉及一种计算机应用技术领域的方法，具体是一种基于光网格的任务调度方法。

背景技术

光网络可以提供上百Gbps的传输速率，能够对传输链路提供保护与恢复，也能够按照用户的请求动态地建立与拆除光路，因而光网络被越来越多地应用于网格中，满足其数据传输要求。“光网格”就是用高速率的光网络将分布式的网格资源互联在一起，以满足网格应用的数据传输需求。在光网格中，由于光网络上的数据传输是基于端到端的电路交换的光路，所以光网格上的任务分派不仅需要分配网格资源，所以还应该对所有数据传输进行光网络路由，并按照路由分配光纤资源给所有数据传输，最小化传输时间，继而最小化任务的执行时间。任务分派结果包括两方面：网格资源分配结果、光网络资源分配结果。在获得分派结果之后，需要按照此结果将任务在光网格上执行，即需要按照网格资源分配结果在网格资源上执行任务，同时根据光网络资源分配结果在光网络中建立光路并传输任务之间的数据。由于光网格是一个分布式的计算机与光网络共存的系统，它需要将以分派任务到各个网格资源上、通过光网络控制平面来在光网络中建立与拆除光路，同时实时地监控网格资源与光网络的运行状况。

综上所述，任务分派与任务执行在光网格中是紧密结合的，分派的目的是为了更快的完成任务，同时任务执行根据需要优化的分派方案。同时，光网格由于其光路端到端电路交换连通性、光路建立与拆除等特性对任务分派算法与执行有着特殊的要求，因此，一种专门针对的光网格的结合了优化任务分派与管理任务执行的任务调度方法对于当前快速发展的光网格是十分必要的。

经对现有技术文献的检索发现，Haluk Topcuoglu(哈鲁克.托普楚格鲁)在“Proceedings of The Sixth IEEE International Symposium on HighPerformance Distributed Computing”，1997(第六届国际高性能计算研讨会)上发表了其关于网格及分布式计算系统架构的论文“The SoftwareArchi tecture of a Virtual Distributed Computing Environment”(一种虚拟分布式计算环境的软件架构)，该文中定义了对资源以及任务的描述方式，并提出了将各个任务优化分配到可用资源以最小化其总完成时间的方法，同时设计了任务调度器完成网格资源管理、任务调度和任务执行的功能。但是该调度器不是基于光网格，没有考虑光网络中端到端数据传输、光路建立与拆除等特性。该调度方案单纯分派网格资源而认为光网络透明，在实际运行时会出现光路资源冲突、死锁等情况，可能使得执行结果与分派结果相差甚远。同时，该调度方案在任务执行过程中也没有考虑到对光网络进行光路建立与拆除的操作，以传输任务之间的网格数据。

发明内容

本发明针对上述现有技术的不足，提供了一种基于光网格的任务调度方法，使光网格任务调度服务器从网格用户处接收到任务之后，根据光网格所有资源运行能力进行优化任务分派，在获得分派结果之后，按照网格资源分配结果将所有任务分派到预定的资源上去，并按照光网络资源分配结果在适当的时候建立光路传输网格数据，最终完成用户提交的所有任务。本发明采用了针对光网格的任务分派策略，同时根据分派结果在任务执行过程中将任务执行与光路数据传输紧密地联系在一起。

本发明是通过如下技术方案实现的，包括如下步骤：

步骤一，任务调度服务器接收用户向任务调度服务器提交的任务集；

所述的任务集，包括任务的集合和任务之间数据传输的集合，任务是网格资源能够完成的工作，有任务类型、运行时间等指标，用一定的数据结构来表示，并且通过通信网络以序列化对象、XML文本等方式进行传递，任务需要输入数据，也会生成输出数据。

所述任务调度服务器，其基于连接用户与任务调度服务器的信令网接收任务集。

步骤二，根据实时的网格资源与光网络资源的性能，对用户提交的任务进行优化分派，得到分派结果；

所述优化分派，其分派策略为最小化任务的完成时间和数据的传输时间。

所述优化分派，具体为：按任务集的内容与实时的网格资源和光网络资源的性能，对用户提交的任务集进行任务完成时间和数据传输时间的预算，对于各个任务，预算各个网格资源完成任务执行的时间，并将其中最早的时间所对应的网格资源分派给该任务；对于各个数据传输，预算各条光路完成数据传输的时间中，将其中最早的时间所对应的光路资源分派给该数据传输，分派结果包括任务集中所有任务的资源，以及任务之间数据传输所用的光路。

所述进行任务执行时间的预算，采用穷举法，将各个任务分别放在每个可用的资源上，比较该任务的在各个资源上的完成时间，并将该完成时间最早的资源确定为执行该任务的网格资源。

所述进行数据传输时间的预算，采用光网络路由算法，如迪杰斯特拉(Dijkstra)最短路径优先算法，在光网络中找到一条跳数最短的光路，传输任务之间交换的数据，并将该光路确定为传输该数据的光网络资源。

步骤三，得到优化的分派结果后，任务调度服务器按照该网格资源分配结果把每个任务分派到已确定的网格资源上去执行；

所述任务调度服务器依次将每个任务通过信令网传递给已确定的网格资源进行执行。

步骤四，在任务执行过程中，按照光网络资源分配结果建立光路，传输任务之间的网格数据，在传输完毕后将光路拆除；

所述步骤四，具体为：任务调度服务器通过程序接口或系统调用向光网络控制平面请求，在分别执行两个需要交换数据的任务的两个不同资源之间建立光路，而后通知上述资源进行数据传输；资源结束数据传输之后网格资源将通过信令网通知任务调度服务器，任务调度服务器通过程序接口或系统调用指令光网络控制平面拆除上述资源间的光路。

步骤五，在步骤一到步骤四的过程中，实时地监测网格资源和光网络资源的性能；

所述实时监测网格资源，是指：通过SNMP(简单网络管理协议)的网络管理系统对网络资源进行实时监测，SNMP协议监控基于IP协议的通信网络与网格计算机资源，具体包括监控通信网络连通性、网格计算机软硬件信息、运行状况、空闲状况等；

所述实时监测光网络资源，是指：由现有的光网络控制器或控制平面对光网络资源进行实时监测，通过程序接口或系统调用进行通信，监控光网络拓扑结构、连通性、可用带宽等信息。

与现有技术相比，本发明具有如下有益效果：本发明一方面可以在光网格中对用户的任务集进行优化调度；另一方面，在建立与拆除光路、监控光网络等步骤中，本发明直接用系统调用来实现与已有的光网络控制平面的耦合，实现非常方便，并且开销较小。本发明填补了光网格领域任务调度服务器的空白，同时所提出的方案是一种轻量级的解决方案，容易实现，重用性强，因而应用范围广泛。

附图说明

图1是本发明的实施例中对任务T的执行时间的预算过程的流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例中的任务调度服务器运行于已联网的计算机上。

本实施例中的信令网，是基于局域网或城域网的IP交换网络，能够支持小数据量的消息与信令传输。本实施例中的光网络，是基于GMPLS(通用多协议标志交换协议)的自动交换光网络(ASON)，该光网络的数据传输是通过基于光路的电路交换。该网络有一个控制平面(Control Plane)对光网络进行监控管理，包括：控制光交叉连接(OXC)转换其内部光开光(Optical Switch)的状态，以建立或拆除光路；监控光网络运行状态，其中光网络运行状态包括光路连通性、传输带宽、实际拓扑结构等。

本实施例具体包括以下步骤：

本实施例使用采用对象请求代理(ORB)模型进行传输，其中，对象请求代理是一个中间件，它在对象间建立客户-服务器的关系，通过对象请求代理，一个客户可以很简单地使用服务器对象的方法而不论服务器是在同一机器上还是通过一个网络访问。对象请求代理截获调用然后负责找到一个对象实现这个请求，传递参数和方法，最后返回结果。客户不用知道对象在哪里，是什么语言实现的，它的操作系统以及其他和对象接口无关的东西。本实施例中定义了一个ORB类，该类抽象了任务，同时，该类的成员变量抽象了该任务的参数。该类的申明如下：

class Task{int taskID：int type：string functionalitylong taskLength；……}；

其中，整型变量taskID表明该任务的编号，整型变量type表明该任务的类型，字符型变量functionality表明执行该任务需要的功能，长整型变量taskLength表明该任务的执行时间长度。

在用户向任务调度服务器提交其任务时，它将该ORB类实例化，创建一个ORB对象，并用该ORB对象的成员变量表示其任务信息。而后，将使用ORB技术将该ORB对象发送给任务调度服务器。该对象发送的调用接口由开发人员自己申明，如下：

module TaskSubmit{interface TaskSubmittor{void submitTask(Task task)；}：}；

在申明方法后，ORB技术自动生成该方法的下层传输协议和代码。用户端只需继承该接口，实现一个类，并以上述实例化的ORB对象的task为参数调用该类的void submitTask(Task task)(提交任务)方法，就可以把任务发送至任务调度服务器。同时，任务调度服务器运行一个系统服务，时时刻刻监听可能到来的任务。收到任务对象后，将分析该任务对象，从中提取出各个任务信息。本实施例不对ORB技术进行更深入的说明，本领域的一般技术人员可以理解，该任务提交方式并不局限于ORB方式一种。

该任务还可以通过Socket(套接字)方式，以序列化对象的形式提交和接收，例如用Java、C++等支持序列化的编程语言进行实现，也可以通过Web Service(网络服务)的方式用XML文档来描述任务并进行提交与处理。

所述优化分派，在分派策略为最小化任务的完成时间和数据的传输时间的情况下，具体为：按任务集的内容与实时的网格资源和光网络资源的性能，对用户提交的任务集进行任务完成时间和数据传输时间的预算，对于各个任务，预算各个网格资源完成任务执行的时间，并将其中最早的时间所对应的网格资源分派给该任务；对于各个数据传输，预算各条光路完成数据传输的时间中，将其中最早的时间所对应的光路资源分派给该数据传输，分派结果包括任务集中所有任务的资源，以及任务之间数据传输所用的光路。

所述进行任务执行时间的预算，根据所有网格资源的可用时间，可用时间为该网格资源完成其所有被分配的任务的完成时间，若该网格资源当前没有传输执行任何任务，则其可用时间为当前时间。

如图1所示，是对任务T的执行时间的预算过程的流程图，其中当前时间以0s记。网格资源1、2和3已经被分配给其它任务，其各自的可用时间为50s、40s和50s，同时根据任务T的信息和网格资源1、2和3的执行能力，调度器预测任务T在网格资源1、2和3上的执行时间分别为60s、50s和50s。则任务T在网格资源1、2和3上预测完成时间分别为110s、90s和100s，其中最早的90s所对应的网格资源2被选择该任务T的执行资源，同时网格资源2的可用时间将更新为90s。

在本实施例中，任务的分派同样可以使用在步骤一中使用的ORB方式进行。具体的，任务使用步骤一中的ORB类进行描述。同时，定义向网格资源发送任务并命令其执行该任务的调用接口由开发人员自己申明，如下：

module TaskExecution{interface TaskExecutor{void executeTask(Task task)；}；}；

在申明方法后，ORB技术自动生成该方法的下层传输协议和代码。任务调度服务器继承该接口，实现一个类，并以上述ORB对象的task为参数调用该类的void executeTask(Task task)(执行任务)方法，就可以把任务发送至网格资源。同时，网格资源运行一个系统服务，时时刻刻监听可能到来的任务。收到任务对象后，将分析该任务对象，从中提取出各个任务信息，进行任务执行。本领域的一般技术人员可以理解，该任务提交方式并不局限于ORB方式一种。也可以通过Web Service的方式用XML文档来描述任务并进行提交与处理。

所述步骤四，具体为任务调度服务器通过程序接口或系统调用向光网络控制平面请求在分别执行两个需要交换数据的任务的两个不同资源之间建立光路，而后通知上述资源进行数据传输；资源结束数据传输之后网格资源将通过信令网通知任务调度服务器，任务调度服务器通过程序接口或系统调用指令光网络控制平面拆除上述资源间的光路。

在本实施例中，控制平面使用RSVP(资源预留协议)对自动交换光网络出光路建立与拆除的请求。RSVP对于光网络领域的一般技术人员是熟知的，本说明书不进行更深入的说明。

步骤五，在步骤一到步骤四的过程中，任务调度服务器实时地监测网格资源和光网络资源的性能；本步骤可以周期性运行，维护网格资源信息和光网络资源信息以供任务分派优化时使用，使其能够做出针对实时环境的符合实际运行能力的优化。

所述实时监测网格资源，是指：通过SNMP(简单网络管理协议)的网络管理系统对网络资源进行实时监测，SNMP协议可以监控基于IP协议的通信网络与网格计算机资源，具体包括监控通信网络连通性、网格计算机软硬件信息、运行状况、空闲状况等；

本实施例一方面可以接收用户的任务集，并按光网格的任务执行和数据传输要求进行优化调度；另一方面，在建立与拆除光路、监控光网络等步骤中，本实施例直接用系统调用来实现与已有的光网络控制平面的耦合，实现非常方便，并且开销较小。本实施例填补了光网格领域任务调度服务器的空白，同时所提出的方案是一种轻量级的解决方案，容易实现，重用性强，有较广泛的应用范围。

Claims

1.一种基于光网格的任务调度方法，其特征在于，包括如下步骤：

步骤五，在步骤一到步骤四的过程中，实时地监测网格资源和光网络资源的性能。

2.根据权利要求1所述的基于光网格的任务调度方法，其特征是，所述的任务集，包括任务的集合和任务之间数据传输的集合，任务是网格资源能够完成的工作，包括任务类型、运行时间指标，用数据结构来表示，并且通过通信网络以序列化对象、XML文本方式进行传递，任务需要输入数据，也会生成输出数据。

3.根据权利要求1所述的基于光网格的任务调度方法，其特征是，所述任务调度服务器，其基于连接用户与任务调度服务器的信令网接收任务集。

4.根据权利要求1所述的基于光网格的任务调度方法，其特征是，所述优化分派，其分派策略为最小化任务的完成时间和数据的传输时间。

5.根据权利要求1或4所述的基于光网格的任务调度方法，其特征是，所述优化分派，具体为：按任务集的内容与实时的网格资源和光网络资源的性能，对用户提交的任务集进行任务完成时间和数据传输时间的预算，对于各个任务，预算各个网格资源完成任务执行的时间，并将其中最早的时间所对应的网格资源分派给该任务；对于各个数据传输，预算各条光路完成数据传输的时间中，将其中最早的时间所对应的光路资源分派给该数据传输，分派结果包括任务集中所有任务的资源，以及任务之间数据传输所用的光路。

6.根据权利要求5所述的基于光网格的任务调度方法，其特征是，所述进行任务完成时间的预算，采用穷举法，将各个任务分别放在每个可用的资源上，比较该任务的在各个资源上的完成时间，并将该完成时间最早的资源确定为执行该任务的网格资源。

7.根据权利要求5中所述的基于光网格的任务调度方法，其特征是，所述进行数据传输时间的预算，采用光网络路由方法，具体是迪杰斯特拉最短路径优先方法，在光网络中找到一条跳数最短的光路，传输任务之间交换的数据，并将该光路确定为传输该数据的光网络资源。

8.根据权利要求1所述的基于光网格的任务调度方法，其特征是，所述步骤四，具体为任务调度服务器通过程序接口或系统调用向光网络控制平面，请求在分别执行两个需要交换数据的任务的两个资源之间建立光路，而后通知上述资源进行数据传输，资源结束数据传输之后网格资源将通过信令网通知任务调度服务器，任务调度服务器通过程序接口或系统调用指令光网络控制平面拆除上述资源间的光路。

9.根据权利要求1所述的基于光网格的任务调度方法，其特征是，所述实时监测网格资源，是指：通过简单网络管理协议的网络管理系统对网络资源进行实时监测，简单网络管理协议监控基于IP协议的通信网络与网格计算机资源，包括监控通信网络连通性、网格计算机软硬件信息、运行状况、空闲状况。

10.根据权利要求1所述的基于光网格的任务调度方法，其特征是，所述实时监测光网络资源，是指：由现有的光网络控制器或控制平面对光网络资源进行实时监测，通过程序接口或系统调用进行通信，监控光网络拓扑结构、连通性、可用带宽信息。