CN101202765A - 一种基于历史反馈的服务网格调度方法 - Google Patents

Abstract

本发明公开了一种基于历史反馈的服务网格调度方法，其特征在于包括如下步骤：(1)对于每一个需要调度的服务，调度器计算其在布置了该服务的各个节点上运行的可靠性Re；(2)调度器计算在布置了该服务的各个节点上的预计运行时间；(3)调度器对各个节点的性能进行实时评测；(4)据此计算每个资源节点X的评估值，选择评估值最大的节点调度运行所需服务。本发明利用服务的历史执行信息自适应调整预测模型并进行服务的反馈选择，将服务请求提交到性能较优和网络负载较少的节点上，从而提高了网格的效率，且具有良好的自适应性。

Description

一种基于历史反馈的服务网格调度方法

技术领域

本发明涉及一种，在网格环境中的服务调度技术方案，主要用于解决网格中的服务调度性能问题，属于分布式计算和网格计算应用领域。

背景技术

网格计算被称为下一代分布式计算，其目标是允许众多工作负荷共享计算和数据资源，并实现企业内外的协作。在网格环境下，任何一台计算机都可以提供强大的计算能力，可以访问浩如烟海的信息，这种环境可以使企业满足客户的要求但同时又要能最有效地利用系统资源，使得用户使用资源成本和管理资源总成本得到明显降低。网格计算突破了以往强加在计算资源之上的种种限制，使人们可以以一种全新的、更自由、更方便的方式使用计算资源，解决更复杂的问题。

首先，是计算能力大小的限制。网格提供的计算能力要远远超过人们所想象的程度，对于大多数用户而言，网格提供的计算能力足以满足其计算需求，因此人们可以做出许多以前难以完成的工作。

其次，是地理位置的局限。网格使得用户对资源的使用和用户所在的位置以及该资源所在的位置无关，这是网格具有突出意义的功能。

最后也是最重要的一点——网格打破了传统的共享或协作方面的限制，突破了以往对资源的共享只停留在数据文件传输的层次，使得共享与协作的方式和方法得以实现，并且为这种协作提供了各种控制策略与手段，可以根据需要动态地与不同的组织或个人建立各种级别的协作。

网格系统的部署涉及到不同种类的、地域上分散的、能够动态获取资源的有效管理。一个网格环境的有效性在很大程度上取决于调度系统的有效性和效率，调度系统是网格计算的一个重要组成部分，随着网格计算环境的日益流行，其重要性也益发突出。调度程序的职责是将任务放到网格中的资源上执行，理论上这听起来似乎非常简单，但它却是一个相当复杂的问题。从本质上来说，调度是一个优化问题，原因是在网格中只有有限的资源可以使用，而工作请求的数量可能会远远超出这些资源所能承受的能力。优化可以以多种形式进行，有时在所有网格资源之间的资源利用率非常重要，有时作业的吞吐量则会非常重要，通常都希望能平衡这些相互竞争的目标。同时，网格中的资源具有分布性、异构性、自治性和动态性等特点，这些特点使得网格调度比传统分布式系统上的调度受到更多的挑战。

虽然网格技术经过了数十年发展得到不断的改进和完善，但是随着网格技术和Web Service技术的相结合，对调度系统又提出了更高的要求。调度不仅仅在局限于以往的作业调度，还涉及到服务调度。

在服务网格中，所有的资源包括计算、通信和存储等都是以服务的形式存在。面向服务的观点简化了虚拟性，可以在各种异构平台上实现对资源的统一访问。另外，还可以实现将基本服务进行组合后从而形成更为复杂的高级服务，而事先不必关心这些基本服务如何实现。

服务调度的基本思想是从多个提供相同功能的资源节点中选择合适的节点来提供相应的服务。服务调度的关键之一是如何准确预测服务的执行时间；另外，网格环境中的不确定性，比如CPU的负载、网络流量等都应在选择服务时考虑。

在目前的服务调度研究中，对于真实网格环境中资源的不确定性，如CPU、网络的负载、安全性和动态性很少考虑。因而，如何在调度中考虑到网格环境中的不确定性，对于提高服务网格的调度性能有着重要的影响。

发明内容

本发明目的是提供一种基于历史反馈的服务网格调度方法，以有效地、实时地处理用户所提交的服务请求，选择满足要求的服务资源。

为达到上述目的，本发明采用的技术方案是：一种基于历史反馈的服务网格调度方法，包括如下步骤：

(1)对于每一个需要调度的服务，调度器计算其在布置了该服务的各个节点上运行的可靠性Re，计算方法是，

$\mathrm{Re}\left(X\right)=\frac{1}{n}\mathrm{succ}_i^p{}_{i=1}{}^n---\left(1\right)$

其中，

公式(1)中，succ_i ^p表示在资源X上运行服务p是否成功，用公式(2)表示；n是网格中计算机的节点数；

(2)调度器根据公式(3)、(4)和(5)计算在布置了该服务的各个节点上的预计运行时间，

$T_{\mathrm{est}}^n=\mathrm{\γ}{T}_{\mathrm{est}}^{n-1}+(1-\mathrm{\γ})(T_{\mathrm{exc}}^{n-1}+{\mathrm{\β}}_{n-1})---\left(3\right)$

${\mathrm{\β}}_n=\sqrt{\frac{1}{n-1}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(T_{\mathrm{exc}}^i\right)}^2-\frac{{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{T}_{\mathrm{exc}}^i\right)}^2}{n})}---\left(4\right)$

其中T_est ⁱ是指第i次调用该资源上服务实例时估计执行时间；Tⁱ _exc是指第i次调用该资源上服务实例时实际执行时间；β_n是标准方差；γ表示最近一次的估计执行时间与历史实际执行时间对当前时间估计的影响力，其取值由下式确定：

γ＝T_exc/T_est      (T_est＞2T_exc)    (5)

γ＝1-T_exc/T_est    (T_exc＜T_est≤2T_exc)

γ＝T_est/T_exc      (T_est≤T_exc)

(3)调度器根据公式(6)对各个节点的性能进行实时评测

M_p＝ρ(1-Cpu_load)+(1-ρ)(1-Net_load(a，b))0≤ρ≤1    (6)

其中Cpu_load表示Cpu的负载；Net_load(a，b)代表该网络的负载，ρ代表权重；

(4)根据公式(7)计算每个资源节点X的评估值，

选择Eval值最大的节点调度运行所需服务；

(5)该服务运行结束后，结束本次调度。

上述技术方案中，所述步骤(3)中，权重ρ取0.75。

网格调度分为动态调度(Dynamic Scheduling)和静态调度(Staticscheduling)两种。动态调度是指任务一旦到达，就立刻执行映射；而静态调度是多个任务被收集为一个任务组，当映射条件满足时才会对整个任务组进行映射。动态调度考虑到了单个任务的实时性，但对于任务和资源信息的统计，以及任务的执行对于整个网格系统性能评估的影响是基本不考虑的；静态调度以牺牲单个任务的实时性为代价，累计较多的任务和资源执行信息，然后进行调度。可以看出，动态调度更加灵活，更适应网格的动态性和自治性特点。

服务调度的设计目标是能有效地、实时地处理用户所提交的服务请求，选择满足要求的服务资源。实时是指任务能及时地被调度器所处理，也就是动态调度的方式。动态调度方式更加适合网格的动态性和自治性等特点。

上述技术方案即采用了动态调度方式，考虑了资源的可靠性、基于历史反馈自适应预测服务执行时间、资源的实时信息，实现了服务网格的调度。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1.本发明提出了一个基于历史反馈的动态服务调度模型，该模型利用服务的历史执行信息自适应调整预测模型并进行服务的反馈选择，将服务请求提交到性能较优和网络负载较少的节点上，从而提高了网格的效率。

2.实验证明，本发明的方法在预测以及均衡系统负载方面都要优于现有的算法。另外当执行节点呈现出比较明显的波动时，会进行合理的调整和预测，使得预测与执行情况相适应，不会出现较大的波动，体现出了良好的自适应性。

附图说明

附图1为本发明实施例一中调度模块执行流程示意图，图中包括网格门户(Portal)、调度器(Scheduler)和网格节点(Node)。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例一：参见附图1所示，一种基于历史反馈的服务网格调度方法，对于任意一个需要调度的服务，执行以下的步骤：

(1)调度器首先通过公式(1)和(2)计算其在布置了该服务的各个节点上运行的可靠性Re；

(2)调度器根据公式(3)、(4)和(5)预测在布置了该服务的各个节点上运行时间；

(3)调度器根据公式(6)对各个节点的性能进行实时评测；

(4)调度器最后根据公式(7)得到每个节点的Eval值，选择最大的节点调度运行；

(5)该服务运行结束后，结束该服务的调度工作。

本发明采用动态调度策略。在本实施例中任务自动执行流程是按如图1方式实现的，其中SerStatus服务主要用于监控任务流程能否正常执行，在实际的实现中是每个执行节点主动将任务的实时执行信息更新进入数据库；SerStatus服务的职责就是周期性查询当前正在执行的任务是否更新正常，否则将判断其执行失败；ExceptionSer服务主要用于容错机制。

从图1看到，调度器只负责为任务流的第一个任务挑选合适的资源，比如为服务组合的第一个服务实例化，将其和服务组合描述文件(或称为工作流描述文件)提交到相应的资源上后，调度器并不负责以后服务的实例化过程。

图1中的调度器根据解析Portal提供的工作流描述文件，从当前服务资源中选择合适的有标注服务的资源Node1，然后将调用该服务的功能以及流程描述文件打包成作业提交到Node1上。随后调度器将不在为随后服务选择资源。当在Node1上的服务执行完后，根据工作流描述文件从当前网格资源中动态的选择具有抽取服务和识别服务的资源(在这里是Node2和Node3)，然后传输中间数据以及工作流描述文件。依此类推，最后将结果发送给Portal。这种方式下，调度器并不需要时刻关注任务的执行，它只需要周期性查询该资源是否存活，是否及时将任务的执行状态写入到数据库中(由SerStatus实现)。因此能大大降低调度器的负载，提供其工作效率，这种方式也称为主动方式，即由调度节点主动汇报任务的执行状态。

从前述可以看出，服务调度模块和作业调度模块其功能的实现并不局限于调度器内，而是伴随整个工作流的执行过程中的。在用户的工作流执行过程中，服务和执行资源都是动态的根据调度算法来选择并确定的，这很好的符合网格动态性和不确定性的特点。

本实施例的服务网格调度方法可以被归结为服务调度模型DSHF。即在分析动态服务调度的基础上，提出了一种动态选择网格服务的技术——基于历史反馈的动态服务选择模型(a Dynamic Services selection model based onHistorical information Feedback，DSHF)。

DSHF的提出主要是运用于组合动态服务，即对于服务执行路径中每个基本服务的选择都是实时确定，因此需要根据服务的实时情况来选择服务。服务在每个节点上的执行情况会因为节点的性能而有所不同，即使在同一个节点上不同时间执行同一个服务，也会因为节点的不确定性(比如CPU、内存的负载)而不相同。节点的不确定性给预测服务执行状况带来了很大的困难，但是服务在每个节点上的历史执行信息可以客观的反映出服务在该节点上执行的性能，因而可以用来预测服务的执行时间。为了更好的适应执行节点的动态性，在每次服务执行结束后，调度程序都能根据服务的执行结果动态调整服务预测的模型。

DSHF的设计思想是利用服务在资源上的历史执行信息自适应调整预测模型，并在考虑了网格环境中资源的实时性、安全性和不确定性的基础上，进行服务的反馈选择，最后将服务请求提交到性能较优和网络负载较小的节点上。实验证明，该方法可有效地提高服务执行的可靠性和效率，并能均衡系统负载。

在动态环境下选择资源需要考虑系统实时的情况以及在资源上执行过的历史情况，因此，对于资源的选择DSHF采取了类竞价机制，从以下三方面考虑：资源的可靠性、基于历史反馈自适应预测服务执行时间、资源的实时信息。

●服务的可靠性信息

服务的可靠性(Re)是从满足要求的服务集中选择合适服务的前提条件，只有当服务的可靠性达到一定标准时该服务才会有可能成为候选服务，表示为在该服务上能成功运行某服务的几率。因此对于用户而言，Re体现了服务安全可靠执行服务的概率。为此，采用如下公式(1)计算Re。

$\mathrm{Re}\left(X\right)=\frac{1}{n}\mathrm{succ}_i^p{}_{i=1}{}^n---\left(1\right)$

其中，

公式(1)中，Succ_i ^p表示了在资源X上运行服务p是否成功，用公式(2)表示。因此，Re(X)体现了资源X的执行可靠性。

●基于历史反馈自适应预测服务执行时间

利用历史执行某服务实例的信息根据公式(4-3)得出当前该实例的估计执行时间。其中T_est ⁱ是指第i次调用该资源上服务实例时估计执行时间；β_n是标准方差反应了在该资源上执行服务实例的历史变动情况；由此看出，γT_est ^n-1表示了该算法以前估计时间的情况对当前时间估计的影响，而(1-γ)(T_exc ^n-1+β_n-1)则体现了历史执行情况对当前时间估计的影响，其中γ是根据最近一次的估计和执行时间动态确定的，用于控制这两部分对目前时间估计的影响力。

$T_{\mathrm{est}}^n=\mathrm{\γ}{T}_{\mathrm{est}}^{n-1}+(1-\mathrm{\γ})(T_{\mathrm{exc}}^{n-1}+{\mathrm{\β}}_{n-1})---\left(3\right)$

${\mathrm{\β}}_n=\sqrt{\frac{1}{n-1}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(T_{\mathrm{exc}}^i\right)}^2-\frac{{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{T}_{\mathrm{exc}}^i\right)}^2}{n})}---\left(4\right)$

γ值的确定是根据

的取值动态确定的，可以看出γ越小，表示预测性能较好；而γ值越大，则表示节点的负载产生了明显的变化，预测出现了较大的偏差，因此DSHF会及时的根据变化情况来调整预测模型。实验证明该取值方法能客观地反映出服务当前的执行状况并取得较好的效果。

γ其取值情况当＜-1时，则T_est＞2T_exc，设γ＝T_exc/T_est≤1/2  当≥1时，则T_est≤0，这种情况在实际中并不会存在；当0≤＜1时，则T_est≤T_exc，设γ＝T_est/T_exc；当-1≤＜0时，则T_exc＜T_est≤2T_exc，则γ＝1-T_exc/T_est≤1/2。则根据上述情况，γ的取值规则如下所示

γ＝T_exc/T_est    (T_est＞2T_exc)           (5)

γ＝1-T_exc/T_est  (T_exc＜T_est≤2T_exc)

γ＝T_est/T_exc    (T_est≤T_exc)

●资源的实时信息

由于网格的动态性，历史的信息只能作为参考。因此引入对实时信息的考虑，可以较好的将历史和当前信息有机的结合。

由于CPU和网络的状态对于在该资源上执行服务的效率有着至关重要的影响，因此本文选择了CPU和网络的信息来反映资源的实时性能。但在实际情况中经常会出现下列情况(当前节点是X，资源Y和Z上都有满足要求的服务)：

资源Y：Cpu负载是0.6，而Net_load(x，y)为0.2

资源Z：Cpu负载是0.3，而Net_load(x，z)为0.3

这时，该如何选择下个执行节点，哪个资源节点更能顾及到系统的负载？为此本文采用公式(6)来体现资源目前的性能。

M_p＝ρ(1-Cpu_load)+(1-ρ)(1-Net_load(a，b))0≤ρ≤1    (6)

其中Cpu_load表示Cpu的负载；Net_load(a，b)则代表了该网络的负载。ρ代表了权重，是个经验值(在这里ρ取0.75，将在随后的实验中对ρ的选择进行讨论)。可以看到，M_p主要考虑了系统负载均衡，在选择资源时选择总体负载较轻的资源。在上面的例子中，对于资源Y，其整体性能M_p(Y)＝0.5；对于资源Z，M_p(Z)＝0.7。因此，认为资源Z要比资源Y性能更好点，更有利于均衡整个网格系统的负载。

●资源竞价评估

DSHF采用公式(7)来计算每个资源节点x的出价。显而易见，Re(x)越大表示资源x的历史成功执行次数越多，可靠性更高；Mp越大表示该节点的负载越轻；T_est越小则表示该节点执行服务的时间越快。反之，则亦然。

$\mathrm{Eval}=\mathrm{Re}\left(x\right)\frac{M_p}{T_{\mathrm{est}}}---\left(7\right)$

通过式(7)，DRHF将服务的历史信息和节点的实时信息进行了有机的结合。其中Eval与Mp成正比，与T_est成反比，体现了资源当前总体的执行性能，用来表示资源的出价。当网格中存在多个服务提供者时，根据公式(7)计算每个服务所在资源的Eval值，其中值最大的即为所选择的资源。

Claims (2)

1.一种基于历史反馈的服务网格调度方法，其特征在于包括如下步骤：

(1)对于每一个需要调度的服务，调度器计算其在布置了该服务的各个节点上运行的可靠性Re，计算方法是，

$\mathrm{Re}\left(X\right)=\frac{1}{n}\mathrm{succ}_i^p{}_{i=1}{}^n---\left(1\right)$

其中，

公式(1)中，succ_i ^p表示在资源X上运行服务p是否成功，用公式(2)表示；n是网格中计算机的节点数；

(2)调度器根据公式(3)、(4)和(5)计算在布置了该服务的各个节点上的预计运行时间，

$T_{\mathrm{est}}^n=\mathrm{\γ}{T}_{\mathrm{est}}^{n-1}+(1-\mathrm{\γ})(T_{\mathrm{exc}}^{n-1}+{\mathrm{\β}}_{n-1})---\left(3\right)$

${\mathrm{\β}}_n=\sqrt{\frac{1}{n-1}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left(T_{\mathrm{exc}}^i\right)}^2-\frac{{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{T}_{\mathrm{exc}}^i\right)}^2}{n})}---\left(4\right)$

其中T_est ⁱ是指第i次调用该资源上服务实例时估计执行时间；Tⁱ _exc是指第i次调用该资源上服务实例时实际执行时间；β_n是标准方差；γ表示最近一次的估计执行时间与历史实际执行时间对当前时间估计的影响力，其取值由下式确定：

γ＝T_exc/T_est      (T_est＞2T_exc)    (5)

γ＝1-T_exc/T_est    (T_exc＜T_est≤2T_exc)

γ＝T_est/T_exc      (T_est≤T_exc)

(3)调度器根据公式(6)对各个节点的性能进行实时评测

M_p＝ρ(1-Cpu_load)+(1-ρ)(1-Net_load(a，b))  0≤ρ≤1    (6)

其中Cpu_load表示Cpu的负载；Net_load(a，b)代表该网络的负载，ρ代表权重；(4)根据公式(7)计算每个资源节点X的评估值，

$\mathrm{Eval}=\mathrm{Re}\left(x\right)\frac{M_p}{T_{\mathrm{est}}}---\left(7\right)$

选择Eval值最大的节点调度运行所需服务；

(5)该服务运行结束后，结束本次调度。

2.根据权利要求1所述的基于历史反馈的服务网格调度方法，其特征在于：所述步骤(3)中，权重ρ取0.75。