CN101308464A - 一种基于模块化的移动代理的网格作业迁移方法 - Google Patents

Abstract

一种基于模块化的移动代理的网格作业迁移方法，是一种基于模块化的移动代理，通过将作业代码进行合理分割或按功能进行模块化设计，有计划的迁移代码中各个模块的方案。基于模块化的移动代理，通过将作业代码进行合理分割或按功能进行模块化设计，有计划的迁移代码中各个模块，可以有效的减少数据的传输量，同时还可以使无数据相关的代码模块在各个站点上并发执行，提高了网格资源的利用率和作业执行的效率。

Description

一种基于模块化的移动代理的网格作业迁移方法

技术领域

本发明是一种基于模块化的移动代理的网格作业迁移方案。主要用于解决大规模网格环境中作业的迁移问题，属于分布式计算技术和计算机网络技术的交叉领域。

背景技术

网格是继万维网之后出现的一种新型网络计算平台，目的是为用户提供一种全面共享包括网页在内的各种资源的基础设施。通过这种基础设施，用户不需要了解这个基础设施上资源的具体细节就可以使用自己需要的资源。网格上的计算资源是一种需要用户提供代码使用的资源，通过执行用户代码，处理用户数据给用户提供计算周期。大多数情况下，用户都是以提交作业的方式使用网格上的资源。作业是用户代码、数据及相应资源描述信息所组成的集合。网格作业一般在远程节点上执行，但由于用户对远程设备的控制能力有限，因而需要网格作业管理机制管理整个作业的运行过程。因此，作业管理既要保证用户所需的服务质量，为用户作业在远程节点上的运行提供透明支持，又要帮助用户有效、合理地使用网格资源

移动代理技术是随着Internet(因特网)的发展而出现的一种新兴技术，它较好的适应了Internet的特点，有效简化分布式系统的设计、实现和维护。一般来讲，移动代理(mobile agent)是一个代替人或其它程序执行某种任务的程序，它在复杂的网络系统中能自主地从一台主机移动到另一台主机，该程序能够选择何时、何地移动。在移动时，该程序可以根据要求挂起，然后转移到网络的其它地方重新开始或继续执行，最后返回结果和消息。移动代理的优势主要有三点：第一，节约网络带宽：移动代理直接在数据端执行处理，和客户端没有中间数据结果的传递，只返回最后的结果。因而，在要处理的数据量特别大、网络带宽不足的情况下，移动代理可以有效地节约网络带宽；第二，支持离线计算：用户派遣出代理程序后，可以断开网络连接。而代理将在网络上自主运行。代理完成任务后，当它发现用户设备重新连上网络时，就返回计算结果；第三，增加应用的强壮性：移动代理的工作方式减少了应用对网络连接可靠性的要求，它的自主性又使它具备对环境的反应能力，因此能建立更容错的分布系统。由于移动代理的诸多优点，它在电子商务、网络管理、移动计算等方面都有较好的应用前景，对移动代理技术的研究正成为学术界和工业界的热点之一。

在未来的计算机发展趋势中，两种技术值得关注：网格技术与移动代理技术。作为未来计算新模式的网格技术侧重在分布式和高性能计算，而作为网络软件的新兴技术移动代理则着重于分布式计算和人工智能。我们可以将移动代理技术正确的引入到网格计算中，在网格环境下发挥移动代理的优势。在网格计算中引用Agent技术，可以使在物理上分布的网格计算环境能自主的将计算任务从一个节点迁移到另一节点，并与其他Agent交互以实现作业和资源的管理，而Agent也使网格环境具有更好的弹性以实现安全。

当前网格环境下的作业迁移大多数是人为控制的，增加了用户的负担；也有少数科研机构将Agent引入网格计算中，将作业迁移交给Agent来负责，一定程度上方便了用户。然而，上述方法是将Agent上的作业代码作为一个整体迁移，对于某些比较复杂的可以分解成多个可并行执行的子作业的作业，以及无法在一个站点上全部执行而需要几个站点合作执行的作业来说，单纯的将作业交由Agent来迁移，不能充分的利用网格资源，降低了作业执行的效率。总的来说，现有的研究或发明没能充分发挥网格资源的利用率，影响了作业执行的效率。

发明内容

技术问题：本发明的目的是提供一种基于模块化的移动代理的网格作业迁移方法，来解决网格环境下的作业迁移没能充分利用网格资源导致作业执行效率低下的问题。通过使用本发明提出的方案可以提高网格资源的利用率，进而提高作业执行的效率。

技术方案：本发明是一种策略性的方案，基于模块化的移动代理，通过将作业代码进行合理分割或按功能进行模块化设计，有计划的迁移代码中各个模块，可以有效的减少数据的传输量，同时还可以使无数据相关的代码模块在各个站点上并发执行，提高了网格资源的利用率和作业执行的效率。

基于模块化的移动代理的网格作业迁移方法，通过将作业代码进行合理分割或按功能进行模块化设计，有计划的迁移代码中各个模块，可以有效的减少数据的传输量，同时还可以使无数据相关的代码模块在各个站点上并发执行，提高了网格资源的利用率和作业执行的效率。具体如下：

步骤1.分解作业代码：

作业代码在网格上可以用以下三种方式进行分解，用户根据具体情况选择一种方式对作业代码进行分解：

a.按步骤分解：如果应用由一系列处理构成，可以将这些处理分布到网格上的不同节点上去执行，就像工厂的流水线一样；

b.按功能分解：如果计算任务能够分解成相互基本独立的不同功能单元，它们相互之间传输不是很频繁；

c.按数据分解：如果应用的数据量很大，可以将该应用的数据分解成多个数据块，把不同数据块分配到不同的计算机上处理；

步骤2.设计迁移序列：

用户将作业代码分解为各个模块后，需要设计一个迁移序列，来指定每个作业代码模块将被哪个站点资源来执行，该迁移序列由若干个段(segment)组成，其中每个段的基本组成如图2所示。

步骤3.向移动代理构造服务器发送请求：

用户完成任务分解，设计好迁移序列之后，向代理构造服务器发出一个请求原语，请求移动代理服务器为其生成一个代理，请求原语格式如下：

Request-Create-Agent{

ServerIp IpAddress 1；

UserIp IpAddress 2；

UserTask TaskId；

ScheduleQueue schedule_queue；}

步骤4.生成一个移动代理：

移动代理服务模块收到上述的请求原语后，分析该请求中的迁移序列是否存在错误，如果没有发现错误，就将用户所设计的迁移序列存入迁移序列记录表中，并在代理记录表中进行登记，生成一个代理，等待代理派遣器按照迁移序列将该代理发往它所要去的站点，

步骤5.代理的迁移：

移动代理派遣器从代理登记表中取出等待发送代理的序号，依据该序号从迁移序列记录表中读取该代理的迁移序列，将代理内核和迁移序列发往各段所指示的目的站点，然后分析迁移序列，从作业代码模块库中取出所需的模块并发往各段所指示的站点，

步骤6.代理的执行：

当目标站点接收到某个代理的内核后，则启动内核模块工作，由代理内核中的线程ModuleScheduling(schedule_queue)首先判断该代理的迁移序列是否已经到达该站点；如果尚未到达，则等待，若迁移序列已经到达，则从迁移序列中读取需启动的第1个模块名、执行条件及其相关关系；如果该模块的执行条件不满足，则跳过该模块；如果执行条件得以满足，检查该模块是否已经到达以及该模块是否等待别的某个作业代码模块的处理结果，当该模块的代码已经到达并且所需的数据也已准备好，则启动该模块工作，否则等待；一个模块启动后，再分析作业代码模块迁移序列，重复上述过程，直至按迁移序列的要求将各作业代码模块全部启动执行为止；

步骤7.数据相关的模块之间的通信及结果的返回：

代理内核中的线程ModuleListening负责监测所有正在执行的模块，当某个作业代码模块执行完毕后，该线程按照迁移序列中的数据相关关系的需要，将作业代码模块的执行结果发往相应的站点。

有益效果：使用该方案有如下优点：

(1)将移动Agent引入网格计算中，利用移动Agent来进行网格作业的迁移。由于移动Agent的自主性，使得用户只需将作业提交给移动Agent便可等待获取作业的执行结果，大大减轻了用户的负担。

(2)利用移动Agent的模块化，将作业代码进行合理分割或按功能进行模块化设计，有计划的迁移代码中各个模块，有效的减少了数据的传输量，同时还使无数据相关的代码模块能在各个站点上并发执行，提高了网格资源的利用率和作业执行的效率。

附图说明

图1是移动Agent模块化结构模型的基本组成。

图2是组成作业代码模块迁移序列的段的结构图。

图3是移动Agent构造服务器的结构图。

具体实施方式

一、体系结构

为了尽可能的减少Agent迁移过程中的数据传输量，提高Agent设计的灵活性，本系统为移动Agent设计了如图1所示的模块化结构模型。

Agent由内核、作业代码模块迁移序列的规范描述(下面简称迁移序列)、消息及数据缓冲区和一系列作业代码模块组成。为了使移动Agent适合于各种平台，整个系统采用Java语言进行编写，其中每个作业代码模块作为一个线程来实现。

Agent内核的作用是对迁移序列进行分析，并根据它来迁移各个作业代码模块。

作业代码模块迁移序列是描述移动Agent工作过程的主体，由若干个段(segment)组成，其中每个段的基本组成如图2所示。

一个段描述了Agent在一个站点上所应做的工作。每个段以一个保留字开始，紧接着是段序号，然后是Agent所应到达的目标站点，后面是Agent在该站点上应执行的若干个作业代码模块的描述。作业代码模块的描述分为模块序号、模块执行条件、模块名、模块的源站点、模块在源站点上的编号、初始参数、数据相关性。模块序号用于指示模块在该段中的序号；条件部分给出执行本模块所需的条件，只有该条件被满足，才启动此模块，否则跳过本模块；模块名给出作业代码模块的名称；模块的源站点和模块在源站点上的编号给出该作业代码模块的源代码所在的位置；后面是模块执行时需用到的初始参数；数据相关性用于描述本作业代码模块与哪些作业代码模块相关联，即该作业代码模块需用到哪些作业代码模块的执行结果，当存在数据相关时，该作业代码模块则需等到所需数据到达后才能启动执行。

当某个作业代码模块执行完毕后，将其执行结果写入消息及数据缓冲区，供其他作业代码模块使用或作为Agent执行的最终结果传送给用户。当所有作业代码模块按迁移序列的要求执行完毕后，则表示该Agent执行完毕。

系统设置了一个Agent构造服务器，协助用户自动的生成移动Agent。该构造服务器包括作业代码模块库、移动Agent服务模块、迁移序列记录表、Agent登记表和Agent派遣器。如图3所示。

作业代码模块库用来存放用户提交的作业所分解成的作业代码模块。移动Agent服务模块的作用是接收来自于用户站点的请求，为用户生成Agent，该请求中包括用户所设计的迁移序列。服务模块收到该请求后，分析其中的迁移序列是否存在错误，如果没有发现错误，就将用户所设计的迁移序列存入迁移序列记录表中，并在Agent记录表中进行登记，等待Agent派遣器按照迁移序列将该Agent发往它所要去的站点。

二、方法流程

1)作业代码的分解：

任务分解的主要功能是将提交的任务分解成多个尽可能高并行度的子任务。对一个具有普遍性的任务分解问题，已有不少学者对此进行了卓有成效的研究，如McCornock提出的基于聚簇的方法，Niizuna和Kitahachi提出的基于状态和等价关系的方法等。作业问题在网格上可以用三种方式进行分解。

(a)按步骤分解。某些应用由一系列处理构成，可以将这些处理分布到网格上的不同节点上，就像工厂的流水线一样。

(b)按功能分解。某些计算任务能够分解成相互基本独立的不同功能单元，它们相互之间传输不是很频繁。

(c)按数据分解。有许多应用的数据量很大，需要把不同数据块分配到不同的计算机上处理。如果数据块之间的耦合度很小，就能充分体现网格并行计算的优势。

2)生成Agent：

用户完成任务分解，设计好这些作业代码模块的迁移序列之后，向Agent构造服务器发送生成Agent的请求，该请求中包括了迁移序列和作业代码模块。服务器收到请求后，将作业代码模块存入作业代码模块库中，移动Agent服务模块分析请求中的迁移序列是否存在错误，如果没有发现错误，就将用户所设计的迁移序列存入迁移序列记录表中，并在Agent记录表中进行登记，生成一个Agent，等待Agent派遣器按照迁移序列将该Agent发往它所要去的站点。

3)Agent的迁移和执行：

在传统的方法中，Agent一般要携带所有作业代码按照它的旅行路线依次在各个站点上移动，但对于那些需要几个站点合作执行的作业来说，在Agent移动过程中这些作业代码每次都要进行传输，这样不但进行了不必要的数据传输，而且还影响了程序的并发性。

因此我们采用下述方法来实现Agent的迁移过程。移动Agent派遣器从Agent登记表中取出等待发送Agent的序号，依据该序号从迁移序列记录表中读取该Agent的迁移序列，将Agent内核和迁移序列发往各段所指示的目的站点，然后分析迁移序列，从作业代码模块库中取出所需的模块并发往各段所指示的站点。

当目标站点接收到某个Agent的内核后，则启动内核模块工作。Agent内核由两个线程组成，分别是ModuleScheduling和ModuleListening。

线程ModuleScheduling的作用是：首先判断该Agent的迁移序列是否已经到达该站点。如果尚未到达，则等待。若迁移序列已经到达，则从迁移序列中读取需启动的第1个模块名、执行条件及其相关关系；如果该模块的执行条件不满足，则跳过该模块。如果执行条件得以满足，检查该模块是否已经到达以及该模块是否等待别的某个作业代码模块的处理结果。当该模块的代码已经到达并且所需的数据也已准备好，则启动该模块工作，否则等待。一个模块启动后，再分析作业代码模块迁移序列，重复上述过程，直至按迁移序列的要求将各作业代码模块全部启动执行为止。

线程ModuleListening的作用是监测所有正在执行的模块。当某个作业代码模块执行完毕后，该线程按照迁移序列中的数据相关关系的需要，将作业代码模块的执行结果发往相应的站点。

本发明具体实施的步骤如下：

1)用户根据具体情况选择按步骤、功能或数据对作业代码进行分解，将其分解为多个作业代码模块；

2)用户设计一个作业代码模块迁移序列，来指定每个作业代码模块将被哪个站点资源来执行；

3)用户向Agent构造服务器发出一个请求原语，其格式如下：

Request-Create-Agent{

ServerIp IpAddress1；

UserIp IpAddress2；

UserTask TaskId；

ScheduleQueue schedule_queue；}

4)移动Agent服务模块收到上述的请求原语后，分析该请求中的迁移序列是否存在错误；

5)如果没有发现错误，就将用户所设计的迁移序列存入迁移序列记录表中；

6)服务模块在Agent记录表中进行登记，生成一个Agent；

7)移动Agent派遣器从Agent登记表中取出等待发送Agent的序号；

8)依据该序号从迁移序列记录表中读取该Agent的迁移序列，将Agent内核和迁移序列发往各段所指示的目的站点；

9)移动Agent派遣器分析该迁移序列，从作业代码模块库中取出所需的模块并发往各段所指示的站点；

10)目标站点接收到某个Agent的内核后，则启动内核模块工作；

11)Agent内核中的线程ModuleScheduling首先判断该Agent的迁移序列是否已经到达该站点；

12)如果迁移序列尚未到达，则等待。若已经到达，则从迁移序列中读取需启动的第1个模块名、执行条件及其相关关系；

13)如果该模块的执行条件不满足，则跳过该模块；

14)如果执行条件得以满足，检查该模块是否已经到达以及该模块是否等待别的某个作业代码模块的处理结果；

15)当该模块的代码已经到达并且所需的数据也已准备好，则启动该模块工作，否则等待；

16)一个模块启动后，再分析作业代码模块迁移序列，重复上述过程，直至按迁移序列的要求将各作业代码模块全部启动执行为止；

17)Agent内核中的线程ModuleListening负责监测所有正在执行的模块。当某个作业代码模块执行完毕后，该线程按照迁移序列中的数据相关关系的需要，将作业代码模块的执行结果发往相应的站点；

18)当所有作业代码模块都执行完毕后，则由该线程将执行结果返还给用户。

Claims (1)

1、一种基于模块化的移动代理的网格作业迁移方法，其特征在于基于模块化的移动代理，通过将作业代码进行合理分割或按功能进行模块化设计，有计划的迁移代码中各个模块，可以有效的减少数据的传输量，同时还可以使无数据相关的代码模块在各个站点上并发执行，提高了网格资源的利用率和作业执行的效率。具体如下：

步骤1.分解作业代码：

作业代码在网格上可以用以下三种方式进行分解，用户根据具体情况选择一种方式对作业代码进行分解：

a.按步骤分解：如果应用由一系列处理构成，可以将这些处理分布到网格上的不同节点上去执行，就像工厂的流水线一样；

b.按功能分解：如果计算任务能够分解成相互基本独立的不同功能单元，它们相互之间传输不是很频繁；

c.按数据分解：如果应用的数据量很大，可以将该应用的数据分解成多个数据块，把不同数据块分配到不同的计算机上处理；

步骤2.设计迁移序列：

用户将作业代码分解为各个模块后，需要设计一个迁移序列，来指定每个作业代码模块将被哪个站点资源来执行，该迁移序列由若干个段组成，

步骤3.向移动代理构造服务器发送请求：

用户完成任务分解，设计好迁移序列之后，向代理构造服务器发出一个请求原语，请求移动代理服务器为其生成一个代理；

步骤4.生成一个移动代理：

移动代理服务模块收到上述的请求原语后，分析该请求中的迁移序列是否存在错误，如果没有发现错误，就将用户所设计的迁移序列存入迁移序列记录表中，并在代理记录表中进行登记，生成一个代理，等待代理派遣器按照迁移序列将该代理发往它所要去的站点，

步骤5.代理的迁移：

移动代理派遣器从代理登记表中取出等待发送代理的序号，依据该序号从迁移序列记录表中读取该代理的迁移序列，将代理内核和迁移序列发往各段所指示的目的站点，然后分析迁移序列，从作业代码模块库中取出所需的模块并发往各段所指示的站点，

步骤6.代理的执行：

当目标站点接收到某个代理的内核后，则启动内核模块工作，由代理内核中的线程ModuleScheduling首先判断该代理的迁移序列是否已经到达该站点；如果尚未到达，则等待，若迁移序列已经到达，则从迁移序列中读取需启动的第1个模块名、执行条件及其相关关系；如果该模块的执行条件不满足，则跳过该模块；如果执行条件得以满足，检查该模块是否已经到达以及该模块是否等待别的某个作业代码模块的处理结果，当该模块的代码已经到达并且所需的数据也已准备好，则启动该模块工作，否则等待；一个模块启动后，再分析作业代码模块迁移序列，重复上述过程，直至按迁移序列的要求将各作业代码模块全部启动执行为止；

步骤7.数据相关的模块之间的通信及结果的返回：

代理内核中的线程ModuleListening负责监测所有正在执行的模块，当某个作业代码模块执行完毕后，该线程按照迁移序列中的数据相关关系的需要，将作业代码模块的执行结果发往相应的站点。

Images