CN101957780A - 一种基于资源状态信息的网格任务调度处理器及方法 - Google Patents

Abstract

本发明公开一种基于资源状态信息的网格任务调度处理器，包括分布式的多个网格调度节点，每个网格调度节点都通过配置的方式与其它若干个网格调度节点相连；所述网格调度节点为两层结构，顶层为虚拟调度管理器，底层为多个并列的调度执行器。本发明还提供一种网格任务调度处理方法。本发明建立了分布式网格资源调度系统，通过采用二级调度节点管理方法，统一对本地调度执行器的管理和协同，可以避免某一个调度执行器的失效，同时避免调度任务在某一个调度执行器上过长时间的等待；通过采用基于资源节点性能的分析和评估方法，采用本地的资源状态反馈收集，可以降低通过网络获取资源状态的延迟，进一步提高网格计算任务调度的效率。

Description

一种基于资源状态信息的网格任务调度处理器及方法

技术领域

本发明涉及的一种基于资源状态信息的网格任务调度处理器及调度任务的方法，尤其是一种分布式调度模式并支持对不同节点上调度器的统一管理、均衡各个调度节点负载的系统，以及一种通过获取的资源状态信息，评估资源节点的综合性能值，最终通过基于概率空间的服务资源分配调度方法。

背景技术

随着计算机和通信网络技术的迅猛发展，特别是Internet的广泛应用，并行与分布计算技术将朝着基于高速网络的、面向大区域的高性能并行和分布计算-计算网格的技术方向发展。。2000年初，在Web技术趋于成熟、集群技术高度发展的基础上，对网格计算的研究、开发和应用快速发展起来，出现了计算网格技术，计算网格着重研究分布的高端资源(如集群)的集成和利用。网格计算是利用网络中一些闲置的处理能力来解决复杂问题的计算模式，即利用互联网技术，把分散在不同地理位置的计算机组成虚拟超级计算机。每一台参与的计算机就是其中的一个“节点”，所有的计算机就组成了一张节点网-网格，网格的计算能力强且费用低。在实质上来说“网格计算”是一种分布式应用，网格中的每一台计算机只是完成工作的一个小部分，虽然计算机的运算能力有限，但成千上万台计算机组合起来的计算能力就可以达到超级计算机的计算能力。在网格技术中，有效进行网格任务调度和资源管理是网格技术必须要解决的问题。美国、加拿大、澳大利亚、日本等许多国家的重要科研机构都开展了网格计算技术的相关研究。具有代表性的研究项目和成果主要有Globus。Globus是美国多家研究机构的合作项目，其核心是一个工具集，包括一组执行基本服务的组件，如安全控制、资源获取、资源管理、资源预约、数据管理和通信等。Globus提供了调度组件作为其工具集的一部分，但没有提供具体的调度策略，它依赖高层调度器执行任务调度。Globus包含的调度器中间件没有提供具体的资源调度策略，在执行资源调度过程中缺乏收集网络上的资源实时状态的能力，而且调度节点之间缺乏协同能力，容易出现单点失效的问题。

现有技术中，在OMII支持下，英国帝国理工大学开发出的网格作业调度器中采用了一个标准的基于web服务的作业提交和监控GridSAM模块，有效实现了对作业提交和监控，但利用该网格作业调度器调度作业时存在调度作业类型简单化、无法实现负载均衡以及难以实现全网络环境下的作业信息监控和管理能力等缺陷。

目前，围绕着网格中的任务调度问题，国内外已经做了大量的研究，先后提出了各种调度算法。这些算法按照调度策略可以分为在线模式和批模式两种。在线模式是当任务到达调度器后尽量使它尽快匹配一个任务，通常采用先来先服务的策略，不考虑整个任务集合的特点和要求，只是考虑目前到达的任务。批处理模式是当任务到达之后并不立即分配，而是收集一个集合，根据一定的时间周期或者一定的系统事件触发，然后对于这个任务集合按照预先调度方法进行处理。这两种方法各有优缺点，对于在线模式，由于当任务到达时就考虑分配，尽可能及时地将任务进行调度，因此反应快、任务的延迟时间短，但是可能导致资源的分配不够优化。而批处理方式则能够考虑更多的请求和资源状况，潜在的能得到更有效的网格资源利用率，但对于单个任务来说，延迟时间可能较长，对于某些服务质量没有办法实施。在线调度算法的环境适应性好，在多种环境下操作性能良好，算法灵活，因此在线模式更适合网格环境。许多网格中间件，如ChinaGrid支撑平台CGSP、VEGA和CROWN，均采用的是在线调度模式。但目前的在线调度算法在如下几个方面未作有效考虑：首先，网格环境下资源的性能与可用性均处在变化之中。目前的网格调度系统需要访问信息服务获取资源的信息。但是信息服务中的服务信息更新周期长，而且访问信息学服务会产生延迟。如果网格调度器单纯根据信息服务的信息进行调度，可能导致某些服务负载过重，而另外一些服务利用率不高。之所以存在这些问题，主要是由于网格调度器没有有效地根据资源节点的状态信息，而是根据信息服务中的非实时服务信息来进行任务调度。其次，目前网格调度系统通常部署在服务器端，容易出现单点故障或者负载过重的现象。这使得现有的网格任务调度算法在调度任务的执行效率和适用性方面存在一定的缺陷。

任务调度是将计算任务合理地分配到资源上去，达到负载均衡和高吞吐率。任务调度遵循以下两个分配原则：(1)调度任务等待时间尽可能短；(2)调度任务执行调度时间尽可能少。

发明内容

发明目的：本发明的第一目的是针对现有技术中网格任务调度存在的缺陷和不足，提供一种基于资源状态信息的网格任务调度处理器，该网格任务调度处理器通过采用两级结构，实现多个调度器之间协同和统一管理，能够保证更多的利用空闲服务资源，同时实现对多个调度器统一管理，避免出现在单一节点上的资源局部化和单点故障的问题。

本发明的第二目的是针对无法实现快捷的资源状态收集与传递的缺陷，提供一种优化的网格计算任务调度方法：该方法采用独立的资源状态采集模块，预先收集服务资源的状态，当资源状态发生改变时，同步更新本地的资源状态信息；同时，提供基于资源节点综合性能评估值的调度方法，既考虑了资源节点的计算性能又兼容了资源节点的可靠性。

技术方案：为实现本发明第一目的，本发明所述的基于资源状态信息的网格任务调度处理器，包括分布式的多个网格调度节点，每个网格调度节点都通过配置的方式与其它若干个网格调度节点相连；

所述网格调度节点为两层结构，顶层为虚拟调度管理器，底层为多个并列的调度执行器；所述虚拟调度管理器由调度器管理模块和调度器协同模块组成，所述调度器管理模块负责对同一个网格节点上多个运行的调度执行器进行统一管理、调度任务分配和执行器之间的协同；调度执行器负责每个网格任务的实际调度处理，它实时收集资源的当前状态数据，并评估资源当前的性能参数指标；同时，利用保存的资源节点处理任务的历史记录和已执行过的任务的基本信息，综合推断当前的资源节点状态，从而实现对网格计算任务的调度；每个调度执行器在启动时向所述虚拟调度管理器注册，在退出时向所述虚拟调度管理器注销，定期向所述虚拟调度管理器上报状态信息。

所述调度执行器包括调度请求接收模块、调度请求处理模块、调度器协同模块、调度任务执行模块、调度任务监控模块、调度任务管理模块、调度线程管理模块、服务资源状态反馈收集模块、服务资源查询模块；

所述的调度请求接收模块与所述调度请求处理模块相连，调度请求接收模块用于接收所有的调度任务请求消息，并送入不同的消息队列中；当有新的调度消息到达时，调度请求处理模块将根据调度消息的类型统一生成调度任务数据模型，并送入就绪任务队列；

所述调度任务管理模块与调度器协同模块、任务状态监控模块相连，用于获取、存储和提交调度任务的状态信息，根据每个调度执行器内部的任务队列长度以及调度执行器的实时负载状态，为调度器执行器分配调度任务；

所述服务资源状态反馈收集模块与所述调度任务执行模块连接，用于获取、存储各类服务资源的实时状态信息，提供任务调度执行模块查询和分析；所述的服务资源状态反馈收集模块是本地部署、本地查询，实时收集所管理的各类服务资源的实时状态信息，可以为所述调度任务执行模块提供最新的服务资源状态，降低对服务资源状态的查询时间；所述调度任务执行模块可以根据所述的服务资源状态反馈收集模块中实际的服务资源实时状态为依据，实现对网格任务的调度；

所述调度线程管理模块与所述调度任务执行模块连接，用于管理本地用于调度任务执行的多线程池，监控每个线程的状态；所述调度任务执行模块中包含有多个执行不同调度算法模型的调度模型线程池，所述调度模型线程池中包含多个调度策略模型，以支持多个调度任务的并发，线程池数量可以根据本机的性能灵活配置。

所述服务资源查询模块，与所述的调度任务执行模块连接，用于查询当前所有可用的服务资源列表。

为实现本发明的第二目的，本发明所述的网格任务调度处理方法，分析每个资源节点的历史状态信息，降低收集资源实时状态信息的难度，缩短资源调度选择的时间开销，提高任务调度的响应速度，其具体包含以下步骤：

步骤1：调度执行器通过调度器协同模块向调度器管理模块发送接入请求，同时发送本节点的最大容纳任务队列长度、本节点计算性能等基本信息，并定期上报本调度节点的任务队列的长度；

步骤2：用户向所述调度器管理模块提交网格调度任务请求，并提交该请求所需要服务资源特征信息；

步骤3：所述调度器管理模块将提交的调度任务请求的基本信息保存，比较当前已经接入的所有调度执行器的就绪任务队列长度，然后将该调度请求转发给调度任务等待队列长度最小的调度执行器；

Node＝Min(Node_i，1≤i≤n)其中，n为调度器数量                    (4)

步骤4：所述调度执行器中的调度请求接收模块接收到调度请求信息后，对该请求信息进行解析，生成调度任务，并更新该调度任务状态为就绪；

步骤5：所述调度执行器中的调度任务管理模块监控到调度执行线程池中有空闲线程时，如果就绪任务队列不为空，则通知调度执行线程获取调度任务并执行；调度线程管理模块将该任务送入空闲线程，开始执行任务调度流程；如果调度任务有可用资源分配，则跳转至步骤7；否则，执行步骤6；

步骤6：所述调度执行器中的调度任务执行模块通知调度任务管理模块无可用资源返回，调度任务管理模块则向相邻的调度执行器发送任务调度请求；

步骤7：所述调度执行器中的调度任务执行模块根据调度模型线程池中的调度模型算法将调度任务分配给选中的资源，并通知调度任务管理模块该调度任务执行成功，更新调度任务的状态；

步骤8：调度器管理模块判断是否有新的调度请求到来，如果有，则返回步骤3，直到所有网格任务调度执行器关闭。

步骤3具体为：

步骤31：所述调度执行器接收用户提交的网格任务调度请求后，所述调度器管理模块将收集所管理的所有网格调度执行器状态信息，包括每个调度执行器当前的任务列表；

步骤32：所述调度器管理模块根据下层每个调度执行器上的调度任务等待数量，选择等待队列中任务数量最小的调度执行器；

步骤33：所述调度器管理模块记录该调度请求基本信息以及分配的调度执行器的基本信息，将调度任务请求转发给所选调度执行器。

步骤4具体为：

步骤41：所述调度请求接收模块接收到由调度器管理模块发送的任务调度请求，送入调度请求消息队列；

步骤42：所述调度请求接收模块对任务调度请求进行分析并创建调度任务，同时通知调度任务监控模块已创建一个新的调度任务；

步骤43：所述调度请求接收模块将新创建的调度任务送入调度任务等待队列，通过任务状态监控模块更新该调度任务状态为就绪，等待调度任务执行模块处理。

步骤5具体为：

步骤51：所述调度任务执行模块等待调度模型线程池中是否有线程空闲，如果有，则从等待任务队列中就绪调度任务，将该任务送入调度模型线程池中的空闲线程；若没有空闲线程，则该调度任务继续等待；

步骤52：调度策略模型根据调度请求消息中包含的服务资源特征信息，与服务资源状态反馈收集模块交互，通过资源信息服务查询获取所有满足该特征信息的服务资源列表；

步骤53：调度任务执行模块中保存所有满足特征信息的服务资源列表，并与服务资源状态反馈收集模块交互，获取列表中所有资源的实时状态信息；

步骤54：所述调度任务执行模块根据可用资源列表中每个资源的实时状态，计算资源的综合负载，综合负载包含两个要素：资源节点的可靠性和资源节点的性能；

步骤55：所述调度任务执行模块根据每个服务资源的提供的服务质量，选择一个或者多个资源提供服务，将调度任务分配给该资源；如果无可用资源，则通知调度任务管理模块无可用资源；反之，通知调度任务管理模块调度成功。

上述技术方案中，所述步骤7中，调度任务执行模块建立调度任务与资源节点映射关系的方法，与现有技术相结合，采用基于资源节点历史状态信息的方法，包括如下步骤：

①对于每个资源节点，调度器收集其在一定时间周期内的性能参数值，设置观测获得的资源节点性能参数值序列

取某一时间段τ＝t_n-t_l作为计算周期；

②调度器根据公式(5)计算每个资源节点的性能指标的预估值，性能指标包括CPU利用率和内存利用率；

由于CPU利用率瞬时波动较大，因此为了获得较为平滑的整体系统负载信息，使用低通滤波算法对CPU负载数据进行预处理，低通滤波器的传递函数为G(s)＝1/(0.5·s+1)，相应的递推公式为：

y(t_n)＝0.998×y(t_n-1)+0.000999×(u(t_n)+u(t_n-1))(5)

其中t_n代表采样时刻，y(t_n)为t_n时刻的平滑值，u(t_n)为t_n时刻的实际观测值；

对观测序列依次采用公式(5)计算每个时刻的平滑值，直到计算得到当前时刻t_n的平滑值为止；

内存使用率计算方法与CPU负载计算方法一样，参照公式(5)即可；

③调度器根据公式(6)计算该资源节点的性能综合评估值；

在得到当前时刻t_n的CPU使用率和内存使用率后，可以采用向量Q_i(q₁，q₂)表示该资源节点r_i的性能参数向量，q₁，q₂分别代表CPU利用率和内存利用率；资源节点r_i的性能综合值计算公式如下：

其中，的计算公式如下：

其中c₁，c₂∈[0，1]，c_i代表性能参数q_i在时刻t_n的平滑值转换后得到贡献值，转换公式如下：

$C\left(q_i\right)=\frac{y\left(q_i\right)-0.5}{0.5}---\left(8\right)$

其中y(q_i)代表性能参数q_i在时刻t_n的平滑值；

④对于每一个需要调度的服务资源，调度执行器计算其在布置了该服务的每个资源节点上运行的可靠性R，计算方法是，

$R\left(x\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{suc}}_i^p}{n}---\left(9\right)$

其中，

公式(9)中，

代表在资源节点^-X上运行的服务实例P是否成功；

⑤根据公式(10)计算每个资源节点X的综合评估值；

M_x＝ρ·R(x)+(1-ρ)·(1-f(Q(x))，0≤ρ≤1  (10)

其中R(x)代表资源节点X的可靠性，f(Q(x))代表资源节点X的性能综合评估值；

⑥按照概率选择调度节点运行所需的服务；

为了解决在分配过程中产生单点负载过于集中的现象，采用基于概率的方法为计算任务分配服务资源，其具体方法为：

假设每个资源节点的综合负载w＝{w_i，i∈[1，m]}，如果资源r_i的综合负载越小，则应该优先将任务分配给该资源r_i，即资源r_i接受任务的概率越大，这里使用资源r_i的综合负载w_i的倒数作为该资源的分配权值ass_i，即：

${\mathrm{ass}}_i=\frac{1}{w_i}---\left(1\right)$

根据公式(1)，可以得到每个资源r_i的分配权值ass＝{ass_i，i∈[1，m]}，如果资源r_j的负载过重，则将衰减因子引入，重新计算资源r_j的分配权值ass′_j，

ass′_j＝ass_j*β      (2)

在得到每个资源的分配权值ass_i后，进行归一化处理，得到每个资源分配任务的概率poss_i，

${\mathrm{poss}}_i=\frac{{\mathrm{ass}}_i}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{ass}}_i}---\left(3\right)$

将每个资源的分配权值映射到区间[0，1]中的某一个子区间，为任务t_i分配资源时，随机产生一个[0，1]之间的随机数，判断该随机数落入的子区间，根据该区间查找对应的资源r_i。

本发明与现有技术相比，其有益效果为：本发明建立了分布式网格资源调度系统，通过采用二级调度节点管理方法，统一对本地调度执行器的管理和协同，可以避免某一个调度执行器的失效，同时避免调度任务在某一个调度执行器上过长时间的等待；通过采用基于资源节点性能的分析和评估方法，采用本地的资源状态反馈收集，可以降低通过网络获取资源状态的延迟，进一步提高网格计算任务调度的效率。

附图说明

图1为网格调度节点的分层示意图；

图2为分布式的网格调度节点示意图；

图3为调度执行器模块示意图；

图4为调度方法流程图。

具体实施方式

下面结合附图，对本发明作进一步描述：

图1所示为本发明的网格调度节点的分层示意图，由图1可知，一个网格调度节点由两部分组成，虚拟调度管理器和调度执行器。虚拟调度管理器由调度器管理模块和调度器协同模块组成。所述调度器管理模块负责对网格调度执行器进行统一管理，每个调度执行器实例在启动时向所述调度器管理模块接入，在退出时向所述调度器管理模块注销。所述调度器管理模块负责维护一个调度执行器列表，当有调度请求到来时，所述调度器管理模块将根据调度执行器的运行状态，将调度请求分配给其中某一个调度执行器；即使某一个调度执行器出现故障时，调度器管理模块还可以将任务调度请求转发给其它正常服务的网格调度执行器；网格调度执行器定期向网格调度器管理模块上报状态信息，包括当前等待的任务队列中的任务数量；如果在一定时间间隔内，网格调度器管理模块没有接收到某一个网格调度执行器的状态信息，将标识该网格调度执行器失效，不再分配调度请求给该网格调度执行器。

图2所示为分布式的网格调度节点示意图；本发明中的网格调度节点可以分布在网络上的任意节点，每个节点都通过配置的方式与其它若干个调度节点相连，并在本地维护一个相邻节点的列表。当某一个调度节点接收到调度请求后，如果本地调度失败，则调度器管理模块从维护的相邻节点列表中依次获取相邻节点的基本信息，将调度请求消息转发给该相邻节点，直到调度请求处理成功，或者调度失败的次数超过与预先设定的阈值，则终止本次调度请求处理，并通知用户调度结果。

图3所示为调度执行器模块示意图，该网格调度执行器由调度请求接收模块、调度请求处理模块、服务资源状态反馈收集模块、服务资源查询模块、调度任务管理模块、调度线程管理模块、调度任务执行模块、任务状态监控模块、调度模型线程池构成。调度请求接收模块负责接收从虚拟调度管理器中调度器协同模块转发的调度请求消息，并根据调度请求的消息类型送入不同的消息队列中；调度请求处理模块从消息队列中取出新的调度请求消息，根据调度请求消息中包含的调度请求特征生成新的调度任务，放入就绪任务队列中；当调度线程管理模块通知调度任务管理模块有空闲线程时，调度任务管理模块从就绪任务队列中取出第一个就绪任务送入调度线程管理模块处理。所述调度线程管理模块选择空闲线程处理新接收的调度任务。调度线程管理模块管理一个调度任务处理线程池，线程池中维护多个调度执行线程实例，每个线程的输入为调度任务，输出为调度结果，即资源-任务匹配的关系。对于同一个调度模型，允许有多个线程，这样可以支持并发调度。调度任务执行模块获取调度就绪任务可以通过P-V操作实现互斥。当某一个调度执行线程空闲时，将查询调度任务就绪队列，判断是否有使用该调度模型的调度任务就绪，如果有，则取出该任务执行调度过程；反之，调度执行线程将进行空闲等待状态，等待新的调度任务到来。当调度执行线程完成一次调度过程后，将通知调度任务管理模块调度过程结束，并返回调度结果。所述调度任务执行模块分别与所述服务资源查询模块交互，调度任务执行模块根据调度请求中包含的所需服务资源特征信息向服务资源查询模块提出资源查询匹配请求。所述服务资源查询模块根据服务资源特征信息查询预先下载的服务资源列表得到所有满足该调度任务需求的服务资源信息并返回给调度任务执行模块；调度任务执行模块收到由所述服务资源查询模块返回的满足要求的所有服务资源列表后，将服务资源列表保存，并向所述服务资源状态反馈收集模块提交资源实时状态查询请求。所述服务资源状态反馈收集模块中保存所有本地注册的服务资源最新的实时状态信息。所述服务资源状态反馈收集模块接收到所述调度任务执行模块提交的资源状态查询请求后，所述服务资源状态反馈收集模块根据待查询的服务资源标识与当前保存的服务资源列表进行匹配，最后将该服务资源的实时状态信息返回给调度任务执行模块。调度任务执行模块对从所述服务资源查询模块获取的所有可用服务资源进行循环处理，依次获取每个服务资源的状态信息。当所有可用资源的状态信息获取完毕，将根据调度策略执行任务调度过程，当任务调度过程执行完毕，所述调度任务管理模块将通知任务状态监控模块该调度任务执行成功。调度任务执行模块在执行资源查询匹配过程时，没有获得满足调度请求的可用服务资源时，则说明本地注册的资源均无法满足本次调度请求，所述调度任务管理模块将通知任务状态监控模块本次调度请求处理失败。所述任务状态监控模块收到由所述调度任务执行模块提交的调度任务状态信息后，如果状态信息表明调度任务处理失败，则所述任务状态监控模块将通知调度器协同模块本次调度请求处理失败，本地没有可用的服务资源。当调度器协同模块接收到调度任务处理失败的消息后，将查询相邻的调度节点信息，转发该调度请求；反之，调度器协同模块将调度结果通知调度器管理模块。

图4说明了本发明中调度方法执行流程：

(1)用户提交调度请求给调度器管理模块；

(2)调度器管理模块进行调度执行器选择，如果有可用调度执行器，则将请求通过调度器协同模块转发给调度执行器；反之，等待有可用的调度执行器；

(3)调度执行器通过调度请求接收模块获取新的调度请求，对调度请求进行预处理，并送入就绪任务队列；

(4)调度任务管理模块监视就绪任务队列，并定期上报就绪任务队列中的等待任务数量；

(5)调度任务管理模块询问调度线程管理模块是否有空闲线程，如果有空闲线程，则通知空闲的调度执行线程从就绪任务队列中获取调度任务；反之，等待线程空闲；

(6)调度执行模块从就绪任务队列中获取调度任务，执行可用服务资源查询，如果有可用资源，则执行步骤7；否则，通知调度任务管理模块无可用资源，调度失败，并通知调度线程管理模块线程执行完毕；

(7)调度执行模块依据可用资源列表中的资源数量执行循环，依次获取每个可用服务资源的状态信息，并进行资源状态综合评估；

(8)对所有可用服务资源的综合状态评估值进行概率空间的映射，产生随机数，选取服务资源，返回给调度任务管理模块调度结果，并通知调度线程管理模块线程执行完毕；调度任务管理模块依据调度任务编号将其对应的调度结果反馈给调度器协同模块，并最终通知调度节点管理模块。

下面给出一个调度过程实例分析来具体说明本发明调度方法，具体包含以下步骤：

(1)用户通过应用程序提交一个服务调用请求，该服务调用请求发送给网格调度节点，记调度请求标识为req；

(2)网格调度节点中的调度器管理模块分析已经接入的调度节点队列中的所有调度执行器的实时状态，假设共有m个调度执行器接入，记调度执行器队列为Node＝{N₁，N₂，…，N_m}，每个调度执行器的当前就绪等待队列长度也用队列标识，记为λ＝{λ₁，λ₂，…，λ_m}；搜索队列λ，得到当前就绪等待队列长度最短的调度执行器，记为λ_min＝Min(λ_i)，1≤i≤m，对应的调度执行器记为N_min；

(3)调度器管理模块将调度请求req通过调度器协同模块转发给调度执行器N_min；

(4)调度执行器N_min接收到调度请求req后，由调度请求处理模块对调度请求req进行解析，提炼出调度请求的资源特征信息，例如服务资源名称，记为δ，并生成调度任务实例，记为T_i；将T_i送入就绪任务队列μ(N_min)，等待空闲线程调度，同时更新就绪任务队列长度，发送给调度任务管理模块；调度任务管理模块将就绪队列长度作为节点资源状态通过调度节点协同模块发送给调度节点管理模块，更新N_min节点的实时状态；

(5)调度线程管理模块监控调度模型线程池中是否有空闲线程，如果有，则通知调度任务管理模块可以执行调度任务；

(6)空闲的调度模型线程执行P-V操作，从调度任务就绪队列中获取就绪的调度任务送入调度任务执行模块；

(7)调度任务执行模块向服务资源查询模块提交该调度任务中包含的资源特征信息，本例中是服务资源名δ；

(8)服务资源查询模块查询本地缓存的服务资源信息，获取与资源特征信息相匹配的所有可用服务资源，形成可用服务资源列表，记列表长度为η，并返回给调度任务执行模块；

(9)调度任务执行模块保存查询获取的可用服务资源列表，记为U(r)＝{r_i，1≤i≤η}。对列表U(r)做循环处理，获取可用服务资源列表U(r)中每个可用服务资源U(r_i)的状态信息，记为Q(q₁，q₂)和Num(suc，fai)，其中Q(q₁，q₂)代表资源性能状态信息，q₁代表CPU利用率，q₂代表内存利用率；Num(suc，fai)代表调度次数信息，suc代表成功调用次数，fai代表失败调用次数。

(10)根据获取的每个可用服务资源U(r_i)的状态信息Q(q₁，q₂)和Num(suc，fai)，执行循环计算每个服务资源U(r_i)的综合状态信息评估值：

(a)对每个服务资源U(r_i)的CPU利用率q₁和内存利用率q₂做滤波处理，y(t_n)＝0.998×y(t_n-1)+0.000999×(u(t_n)+u(t_n-1))，其中y(t_n)为本周期预处理后的值，y(t_n-1)为本地保存的上一周期预处理后的值，u(t_n-1)为上一周期上报的资源状态值，u(t_n)为本周期上报的资源状态值；

(b)CPU利用率q₁和内存利用率q₂预处理后的值，分别记为y(q₁)和y(q₂)，对y(q₁)和y(q₂)计算综合评估值：

采用公式

每个性能参数的贡献值；

采用公式

计算性能综合参数，其中，

上述公式中c₁和c₂分别对应y(q₁)和y(q₂)的贡献值。

(11)计算服务资源节点U(r_i)的可靠性；

$R\left(x\right)=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{suc}}_i^p}{\mathrm{Num}\left(\mathrm{suc}\right)+\mathrm{Num}\left(\mathrm{fai}\right)}$

(12)计算服务资源节点的性能综合评估值；

$M_{r_i}=\mathrm{\ρ}\·R\left(r_i\right)+(1-\mathrm{\ρ})\·(1-f(Q\left(r_i\right)),$ 0≤ρ≤1

(13)对队列M(r_i)按从大向小排序，生成新的服务资源节点排序队列M′(r_i)，按照概率计算方法计算每个节点分配到资源的概率，建立一个r_i→(0，1)的映射关系；

(14)随机产生一个随机数α∈(0，1)，判断α属于哪一个资源对应的概率空间，并选定该服务资源执行调度任务。

(15)调度任务执行模块通知调度任务管理模块调度成功，并返回调度结果；调度任务管理模块与调度器协同模块交互，返回调度任务执行结果；

(16)调度器协同模块将调度任务执行结果返回调度器管理模块，并最终返回用户。

熟知本领域的人士将理解，虽然这里为了便于解释已描述了具体实施例，但是可在不背离本发明精神和范围的情况下作出各种改变。因此，除了所附权利要求之外，不能用于限制本发明。

Claims (7)

1.一种基于资源状态信息的网格任务调度处理器，其特征在于：包括分布式的多个网格调度节点，每个网格调度节点都通过配置的方式与其它若干个网格调度节点相连；

所述网格调度节点为两层结构，顶层为虚拟调度管理器，底层为多个并列的调度执行器；所述虚拟调度管理器由调度器管理模块和调度器协同模块组成，所述调度器管理模块负责对调度执行器进行统一管理，调度执行器负责每个网格任务的实际调度处理，它实时收集资源的当前状态数据，并评估资源当前的性能参数指标；同时，利用保存的资源节点处理任务的历史记录和已执行过的任务的基本信息，综合推断当前的资源节点状态，从而实现对网格计算任务的调度；每个调度执行器在启动时向所述虚拟调度管理器注册，在退出时向所述虚拟调度管理器注销，定期向所述虚拟调度管理器上报状态信息。

2.根据权利要求1所述的基于资源状态信息的网格任务调度处理器，其特征在于：所述调度执行器包括调度请求接收模块、调度请求处理模块、调度器协同模块、调度任务执行模块、调度任务监控模块、调度任务管理模块、调度线程管理模块、服务资源状态反馈收集模块、服务资源查询模块；

所述的调度请求接收模块与所述调度请求处理模块相连，调度请求接收模块用于接收所有的调度任务请求消息，并送入不同的消息队列中；当有新的调度请求消息到达时，调度请求处理模块将根据调度请求消息的类型统一生成调度任务数据模型，并送入就绪任务队列；

所述调度任务管理模块与调度器协同模块、任务状态监控模块相连，用于获取、存储和提交调度任务的状态信息，根据每个调度执行器内部的任务队列长度以及调度执行器的实时负载状态，为调度器执行器分配调度任务；

所述服务资源状态反馈收集模块与所述调度任务执行模块连接，用于获取、存储各类服务资源的实时状态信息，提供任务调度执行模块查询和分析；

所述调度线程管理模块与所述调度任务执行模块连接，用于管理本地用于调度任务执行的多线程池，监控每个线程的状态；

所述服务资源查询模块，与所述的调度任务执行模块连接，用于查询当前所有可用的服务资源列表。

3.根据权利要求2所述的基于资源状态信息的网格任务调度处理器，其特征在于：所述调度任务执行模块中包含有多个执行不同调度算法模型的调度模型线程池，所述调度模型线程池中包含多个调度策略模型，以支持多个调度任务的并发。

4.一种网格任务调度处理方法，其特征在于包含以下步骤：

步骤1：调度执行器通过调度器协同模块向调度器管理模块发送接入请求，同时发送本节点的最大容纳任务队列长度、本节点计算性能等基本信息，并定期上报本调度节点的任务队列的长度；

步骤2：用户向所述调度器管理模块提交网格调度任务请求，并提交该请求所需要服务资源特征信息；

步骤3：所述调度器管理模块将提交的调度任务请求的基本信息保存，比较当前已经接入的所有调度执行器的就绪任务队列长度，然后将该调度请求转发给调度任务等待队列长度最小的调度执行器；

步骤4：所述调度执行器中的调度请求接收模块接收到调度请求信息后，对该请求信息进行解析，生成调度任务，并更新该调度任务状态为就绪；

步骤5：所述调度执行器中的调度任务管理模块监控到调度执行线程池中有空闲线程时，如果就绪任务队列不为空，则通知调度执行线程获取调度任务并执行；调度线程管理模块将该任务送入空闲线程，开始执行任务调度流程；如果调度任务有可用资源分配，则跳转至步骤7；否则，执行步骤6；

步骤6：所述调度执行器中的调度任务执行模块通知调度任务管理模块无可用资源返回，调度任务管理模块则向相邻的调度节点转发任务调度请求；

步骤7：所述调度执行器中的调度任务执行模块根据调度模型线程池中的调度模型算法将调度任务分配给选中的资源，并通知调度任务管理模块该调度任务执行成功，更新调度任务的状态；

步骤8：调度器管理模块判断是否有新的调度请求到来，如果有，则返回步骤3，直到所有网格任务调度执行器关闭。

5.根据权利要求4所述的网格任务调度处理方法，其特征在于步骤3具体为：

步骤31：所述调度执行器接收用户提交的网格任务调度请求后，所述调度器管理模块将收集所管理的所有网格调度执行器状态信息，包括每个调度执行器当前的任务列表；

步骤32：所述调度器管理模块根据下层每个调度执行器上的调度任务等待数量，选择等待队列中任务数量最小的调度执行器；

步骤33：所述调度器管理模块记录该调度请求基本信息以及分配的调度执行器的基本信息，将调度任务请求转发给所选调度执行器。

6.根据权利要求4所述的网格任务调度处理方法，其特征在于步骤4具体为：

步骤41：所述调度请求接收模块接收到由调度器管理模块发送的任务调度请求，送入调度请求消息队列；

步骤42：所述调度请求接收模块对任务调度请求进行分析并创建调度任务，同时通知调度任务监控模块已创建一个新的调度任务；

步骤43：所述调度请求接收模块将新创建的调度任务送入调度任务等待队列，通过任务状态监控模块更新该调度任务状态为就绪，等待调度任务执行模块处理。

7.根据权利要求4所述的网格任务调度处理方法，其特征在于步骤5具体为：

步骤51：所述调度任务执行模块等待调度模型线程池中是否有线程空闲，如果有，则从等待任务队列中就绪调度任务，将该任务送入调度模型线程池中的空闲线程；若没有空闲线程，则该调度任务继续等待；

步骤52：调度策略模型根据调度请求消息中包含的服务资源特征信息，与服务资源状态反馈收集模块交互，通过资源信息服务查询获取所有满足该特征信息的服务资源列表；

步骤53：调度任务执行模块中保存所有满足特征信息的服务资源列表，并与服务资源状态反馈收集模块交互，获取列表中所有资源的实时状态信息；

步骤54：所述调度任务执行模块根据可用资源列表中每个资源的实时状态，计算资源的综合负载，综合负载包含两个要素：资源节点的可靠性和资源节点的性能；

步骤55：所述调度任务执行模块根据每个服务资源的提供的服务质量，选择一个或者多个资源提供服务，将调度任务分配给该资源；如果无可用资源，则通知调度任务管理模块无可用资源；反之，通知调度任务管理模块调度成功。

Images