CN105162840A - 在线分布式请求调度和服务管理方法及代理系统 - Google Patents

Abstract

本发明公开一种在线分布式请求调度和服务管理方法及代理系统，能够在减小队列的情况下增大能量效率，能够提高请求调度和服务管理决策的准确度，并能够降低复杂度，提高求解效率。所述方法包括：对于每一个时槽t，获取该时槽t内服务器j上的i类服务的缓存请求数量Q_ij(t)；计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量并将个i类服务的服务请求调度到服务器j上；计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率并发送给服务器j，以使服务器j的管理器控制该时槽t内服务器j上的i类服务的状态为目标状态控制服务器j在该时槽t内的运行频率为目标运行频率

Description

在线分布式请求调度和服务管理方法及代理系统

技术领域

本发明涉及服务计算及云计算的调度和管理领域，具体涉及一种在线分布式请求调度和服务管理方法及代理系统。

背景技术

服务代表了服务供应商和服务消费者之间为了实现某些特定的功能和目标而产生的一种契约关系。随着互联网上服务数量逐渐增大，越来越多的第三方提供了功能相同或者相似的候选服务。人们对服务的需求逐渐从功能性需求向非功能性需求转变。非功能性需求主要以服务质量为代表。当服务请求到达时，如何选择最优的候选服务来完成工作，并且满足用户的需求，成为了研究热点。另一方面，随着近年来能耗的剧烈增长，能源效率越来越吸引了研究者们的关注。尤其在大规模的计算系统中，如服务系统、云计算系统和数据中心中，能耗正以巨大的速度增加。因此，如何提高能源效率也成为了重要的问题。

以往的提高能源效率的调度和管理方法大部分需要假设或者预测请求到达的分布。如假设请求到达的分布服从泊松分布，请求服务的时间服从指数分布等。在此基础上，一些已有技术采用排队论的模型来刻画系统的请求到达以及服务的过程。还有一些技术采用马尔科夫模型来完成请求调度和服务管理。然而，在实际系统中，请求到达的过程往往具有波动性和突发性。因此，这些假设和预测的准确性很难保证。此外，随着互联网上服务越来越受欢迎，服务的数目急剧增多，请求调度和服务管理面临状态空间巨大的挑战。因此，应用一些集中式的方法，如组合优化、动态优化等，会面临复杂度高、求解效率低的问题。

发明内容

本发明的目的在于，提供一种在线分布式请求调度和服务管理方法及代理系统，能够在减小队列的情况下增大能量效率，能够提高请求调度和服务管理决策的准确度，并能够降低复杂度，提高求解效率。

为此目的，本发明提出一种在线分布式请求调度和服务管理方法，包括：

对于每一个时槽t，获取该时槽t内服务器j上的i类服务的缓存请求数量Q_ij(t)，其中，t为正整数，j∈J＝{1,2,…,n}，i∈I＝{1,2,…,m}，时槽的总数为N，n、m和N为正整数；

计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量并将个i类服务的服务请求调度到服务器j上，其中，计算公式为V为服务质量与能量效率的平衡参数，r_ij(t)为该时槽t内服务器j上的i类服务的平均收益，D_ij(t)为时槽t内i类服务的服务请求被调度到服务器j的数量；

计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率并发送给服务器j，以使服务器j的管理器控制该时槽t内服务器j上的i类服务的状态为目标状态控制服务器j在该时槽t内的运行频率为目标运行频率其中，计算公式为

l_ij为服务器j处于基本频率下每个时槽服务器j上的i类服务的请求处理数量，u_j(t)为服务器j在时槽t内的运行频率，u_j(t)∈U_j，U_j为服务器j所有可能的运行频率的集合，为服务器j的基本频率，为时槽t内每单位电量的平均收费，PUE为总能耗与服务器能耗的比值，P_j(t)为服务器j在时槽t内的平均功率，τ为每个时槽的长度，y_ij(t)为时槽t内服务器j上的i类服务的状态，y_ij(t)＝1表示对应的服务是开着的；反之，表示该服务关着。

另一方面，本发明公开一种用于在线分布式请求调度和服务管理的代理系统，包括：

获取单元，用于对于每一个时槽t，获取该时槽t内服务器j上的i类服务的缓存请求数量Q_ij(t)，其中，t为正整数，j∈J＝{1,2,…,n}，i∈I＝{1,2,…,m}，时槽的总数为N，n、m和N为正整数；

调度单元，用于计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量并将个i类服务的服务请求调度到服务器j上，其中，计算公式为 $\stackrel{\‾}{D_{ij}\left(t\right)}=\underset{D_{ij}\left(t\right)}{\max }\underset{j}{\Σ}\left({\mathrm{Vr}}_{ij}\right(t)-Q_{ij}(t\left)\right)D_{ij}\left(t\right),$ V为服务质量与能量效率的平衡参数，r_ij(t)为该时槽t内服务器j上的i类服务的平均收益，D_ij(t)为时槽t内i类服务的服务请求被调度到服务器j的数量；

计算单元，用于计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率并发送给服务器j，以使服务器j的管理器控制该时槽t内服务器j上的i类服务的状态为目标状态控制服务器j在该时槽t内的运行频率为目标运行频率其中，计算公式为

l_ij为服务器j处于基本频率下每个时槽服务器j上的i类服务的请求处理数量，u_j(t)为服务器j在时槽t内的运行频率，u_j(t)∈U_j，U_j为服务器j所有可能的运行频率的集合，为服务器j的基本频率，为时槽t内每单位电量的平均收费，PUE为总能耗与服务器能耗的比值，P_j(t)为服务器j在时槽t内的平均功率，τ为每个时槽的长度，y_ij(t)为时槽t内服务器j上的i类服务的状态，y_ij(t)＝1表示对应的服务是开着的；反之，表示该服务关着。

本发明实施例所述的在线分布式请求调度和服务管理方法及代理系统，包含如下两方面决策：1.请求调度，即当请求到达时，根据需求，将请求调度到合适的服务器上；2.服务管理，根据系统状态，决定服务器的动态调频以及服务器上服务的开关状态，本发明结合服务质量与能量效率，在减小队列、降低响应时间的情况下增大能量效率，降低系统的开销，并且本发明无需对请求到达的分布、请求服务时间的分布进行假设或预测，可以直接根据当前的系统状态完成请求调度和服务管理的决策，因而能够提高请求调度和服务管理决策的准确度，此外，本发明采用分布式的方法，可以针对每类服务、每个服务器并行执行决策，从而能够极大地降低复杂度，提高求解效率。

附图说明

图1为本发明在线分布式请求调度和服务管理方法一实施例的流程示意图；

图2为图1中的实施例的算法流程图；

图3为本发明在线分布式请求调度和服务管理方法另一实施例的请求调度算法流程图；

图4为本发明在线分布式请求调度和服务管理方法又一实施例的服务管理算法流程图；

图5为本发明用于在线分布式请求调度和服务管理的代理系统一实施例的方框结构示意图；

图6为图5所示的代理系统所应用的架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例公开一种在线分布式请求调度和服务管理方法，包括：

S1、对于每一个时槽t，获取该时槽t内服务器j上的i类服务的缓存请求数量Q_ij(t)，其中，t为正整数，j∈J＝{1,2,…,n}，i∈I＝{1,2,…,m}，时槽的总数为N，n、m和N为正整数；

S2、计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量并将个i类服务的服务请求调度到服务器j上，其中，计算公式为 $\stackrel{\‾}{D_{ij}\left(t\right)}=\underset{D_{ij}\left(t\right)}{\max }\underset{j}{\Σ}\left({\mathrm{Vr}}_{ij}\right(t)-Q_{ij}(t\left)\right)D_{ij}\left(t\right),$ V为服务质量与能量效率的平衡参数，r_ij(t)为该时槽t内服务器j上的i类服务的收益，D_ij(t)为时槽t内i类服务的服务请求被调度到服务器j的数量；

S3、计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率并发送给服务器j，以使服务器j的管理器控制该时槽t内服务器j上的i类服务的状态为目标状态控制服务器j在该时槽t内的运行频率为目标运行频率其中，计算公式为

l_ij为服务器j处于基本频率(基频)下每个时槽服务器j上的i类服务的请求处理数量，u_j(t)为服务器j在时槽t内的运行频率，u_j(t)∈U_j，U_j为服务器j所有可能的运行频率的集合，为服务器j的基本频率(基频)，为时槽t内每单位电量的平均收费，PUE为总能耗与服务器能耗的比值，P_j(t)为服务器j在时槽t内的平均功率，τ为每个时槽的长度，y_ij(t)为时槽t内服务器j上的i类服务的状态，y_ij(t)＝1表示对应的服务是开着的；反之，表示该服务关着。

在时槽t内，服务器j上的服务i的缓存请求个数，即队列长度用Q_ij(t)表示。系统中长期时间的平均队列长度用表示。队列长度直接影响响应时间，从而影响服务质量。因此，本发明力求降低队列长度。

系统在时槽t的能量效率用目标函数表示。考虑长期时间的能量效率，用表示平均时间的收益。综合服务质量与能量效率，本发明解决在请求调度和服务管理中，减小队列长度的同时最大化能量效率的问题。

本发明的目标为最大化平均能量效率：

$f=\underset{T\→\mathrm{\∞}}{\lim }\frac{1}{T}\underset{t=0}{\overset{T-1}{\Σ}}E\left\{f\left(t\right)\right\},$ 其中考虑队列长度，定义系统队列长度矩阵Θ(t)，队列函数为定义队列长度漂移为Δ(Θ(t))＝E{L(Θ(t+1))-L(Θ(t))|Θ(t)}。为结合队长与能量效率，定义综合函数为：Δ(Θ(t))-VE{f(t)|Θ(t)}。

该综合函数存在上界：

其中， $B=\frac{1}{2}\[\underset{i}{\Σ}\underset{j}{\Σ}{\left(l_{ij}\frac{{\hat{u}}_j}{u_j^0}\right)}^2+\underset{i}{\Σ}{\left(A_i^{\max }\right)}^2\]$ 为一常数。

证明过程如下：

队列更新公式为： $Q_{ij}(t+1)=max\[Q_{ij}\left(t\right)-l_{ij}{y}_{ij}\left(t\right)\frac{u_j\left(t\right)}{u_j^0},0\]+D_{ij}\left(t\right).$ 根据 ${(\max \[Q_{ij}(t)-l_{ij}{y}_{ij}(t)\frac{u_j\left(t\right)}{u_j^0},0\])}^2\≤{\left(Q_{ij}\right(t)-l_{ij}{y}_{ij}(t\left)\frac{u_j\left(t\right)}{u_j^0}\right)}^2,$ 可以得到 $Q_{ij}^2(t+1)\≤{\left(Q_{ij}\right(t)-l_{ij}{y}_{ij}(t\left)\frac{u_j\left(t\right)}{u_j^0}\right)}^2+D_{ij}{\left(t\right)}^2+2D_{ij}\left(t\right)\max \[Q_{ij}\left(t\right)-l_{ij}{y}_{ij}\left(t\right)\frac{u_j\left(t\right)}{u_j^0},0\].$ 用代表实际服务的请求的个数。那么有， $\begin{array}{c}{Q}_{ij}^2(t+1)\≤Q_{ij}^2\left(t\right)+{\left(l_{ij}{y}_{ij}\right(t\left)\frac{u_j\left(t\right)}{u_j^0}\right)}^2+D_{ij}^2\left(t\right)+2Q_{ij}\left(t\right)\left(D_{ij}\right(t)\\ -l_{ij}{y}_{ij}\left(t\right)\frac{u_j\left(t\right)}{u_j^0})-2D_{ij}\left(t\right){\hat{l}}_{ij}\left(t\right)\end{array}.$ 因为有 $-2D_{ij}\left(t\right){\hat{l}}_{ij}\left(t\right)\≤0$ ，那么有 $\frac{1}{2}\[Q_{ij}^2(t+1)-Q_{ij}^2\left(t\right)\]\≤\frac{1}{2}{l}_{ij}{y}_{ij}t{\frac{u_j\left(t\right)}{u_j^0}}^2+D_{ij}^{2}t+Q_{ij}t\[D_{ij}t-l_{ij}{y}_{ij}t\frac{u_j\left(t\right)}{u_j^0}\].$ 进而可以得到 $\begin{array}{c}\mathrm{\Δ}\left(\mathrm{\Θ}\right(t\left)\right)\≤\frac{\underset{i}{\Σ}\underset{j}{\Σ}E\{{\left(l_{ij}{y}_{ij}\right(t\left)\frac{u_j\left(t\right)}{u_j^0}\right)}^2+D_{ij}^2\left(t\right)|\mathrm{\Θ}\left(t\right)\}}{2}\\ +\underset{i}{\Σ}\underset{j}{\Σ}{Q}_{ij}\left(t\right)E\{D_{ij}\left(t\right)-l_{ij}{y}_{ij}\left(t\right)\frac{u_j\left(t\right)}{u_j^0}|\mathrm{\Θ}\left(t\right)\}\end{array}.$ 定义是所有u_j(t)∈U_j中的最大值，可以得到 $\begin{array}{c}\frac{1}{2}\underset{i}{\Σ}\underset{j}{\Σ}E\left\{{\left(l_{ij}{y}_{ij}\right(t\left)\frac{u_j\left(t\right)}{u_j^0}\right)}^2\right|\mathrm{\Θ}\left(t\right)\}\≤\frac{1}{2}\underset{i}{\Σ}\underset{j}{\Σ}E\{{\left(l_{ij}{y}_{ij}\right(t\left)\frac{{\hat{u}}_j}{u_j^0}\right)}^2\left|\mathrm{\Θ}\left(t\right)\right\}\\ \≤\frac{1}{2}\underset{i}{\Σ}\underset{j}{\Σ}{\left(l_{ij}\frac{{\hat{u}}_j}{u_j^0}\right)}^2\end{array}.$ A_i(t)为时槽t内i类服务的服务请求到达的数量，每个A_i(t)均存在上限即 $A_i\left(t\right)\≤A_i^{\max }.$ 那么有， $\frac{\underset{i}{\Σ}\underset{j}{\Σ}E\left\{D_{ij}^2\left(t\right)\right|\mathrm{\Θ}\left(t\right)\}}{2}\≤\frac{\underset{i}{\Σ}{\left(A_i^{\max }\right)}^2}{2}.$ 两边同时加上-VE{f(t)|Θ(t)}，并让 $B=\frac{1}{2}\[\underset{i}{\Σ}\underset{j}{\Σ}{\left(l_{ij}\frac{{\hat{u}}_j}{u_j^0}\right)}^2+\underset{i}{\Σ}{\left(A_i^{\max }\right)}^2\],$ 可以得到 $\begin{array}{c}\mathrm{\Δ}\left(\mathrm{\Θ}\right(t\left)\right)-VE\left\{f\left(t\right)\right|\mathrm{\Θ}\left(t\right)\}\≤\\ B-VE\left\{f\left(t\right)\right|\mathrm{\Θ}\left(t\right)\}+\underset{i}{\Σ}\underset{j}{\Σ}{Q}_{ij}\left(t\right)E\{D_{ij}\left(t\right)-l_{ij}{y}_{ij}\left(t\right)\frac{u_j\left(t\right)}{u_j^0}\left|\mathrm{\Θ}\left(t\right)\right\}\end{array}.$ 可以得到，

已证明综合函数存在上界，因此，将优化能量效率与队列长度转化为优化上界

而B为常数，所以再转化为取相反数为而变量D_ij(t)与变量y_ij(t),u_j(t)是独立的，可以将上式进一步转化成为 $max\underset{i}{\Σ}\underset{j}{\Σ}E\{{\mathrm{Vr}}_{ij}\left(t\right)D_{ij}\left(t\right)-Q_{ij}\left(t\right)D_{ij}\left(t\right)|\mathrm{\Θ}\left(t\right)\}$ 与两个式子。

因为在每个时间糟t，队列状态Θ(t)是可以获取的，也即是已知的。那么，上述两个式子可以再转化为与

针对式子因为不同服务i之间是独立的，那么该式子可以进一步转化为对于每类服务i， $max\underset{j}{\Σ}{\mathrm{Vr}}_{ij}\left(t\right)D_{ij}\left(t\right)-Q_{ij}\left(t\right)D_{ij}\left(t\right).$

同样地，针对式子不同服务器j是独立的，可以将该式子进一步转化为对于每台服务器j，

因而，按照S2和S3中所涉及的公式进行请求调度和服务管理，能够在减少队列长度的同时最大化能量效率。

如图2所示为算法流程图，主要有以下步骤：

(a1)在每一个时槽的开始，获取每台服务器j上的服务i的队列长度Q_ij(t)；

(a2)针对每类服务i，采用分布式的方法，并行地进行请求调度。调度的目标是如下最大化函数，即不同类型的服务的请求调度，可以同时进行，这样，可以大大提高效率；

(a3)针对每个服务器j，并行地进行服务管理，即决定该服务器上每个服务(或托管的虚拟机)的开关状态，并决定该服务器的频率，目标是如下的最大化函数，即不同服务器的管理和决策可以同时进行；

(a4)制定好相应的决策之后，时槽数t++；

(a5)判断t是否大于总的时槽的个数N，如果是，那么方法结束；否则，跳至第(a1)步，进入循环。

本发明实施例的在线分布式请求调度和服务管理方法，包含如下两方面决策：1.请求调度，即当请求到达时，根据需求，将请求调度到合适的服务器上；2.服务管理，根据系统状态，决定服务器的动态调频以及服务器上服务的开关状态，本发明结合服务质量与能量效率，在减小队列、降低响应时间的情况下增大能量效率，降低系统的开销，并且本发明无需对请求到达的分布、请求服务时间的分布进行假设或预测，可以直接根据当前的系统状态完成请求调度和服务管理的决策，因而能够提高请求调度和服务管理决策的准确度，此外，本发明采用分布式的方法，可以针对每类服务、每个服务器并行执行决策，从而能够极大地降低复杂度，提高求解效率。

可选地，在本发明在线分布式请求调度和服务管理方法的另一实施例中，所述计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量包括：

获取部署服务i的服务器集合O_i；

对于每一个j∈O_i，计算(Vr_ij(t)-Q_ij(t))，并将最大的(Vr_ij(t)-Q_ij(t))所对应的服务器记为

确定该时槽t内i类服务的服务请求被调度到服务器j的目标数量 $\stackrel{\‾}{D_{ij}\left(t\right)}=\left\{\begin{array}{cc}{A}_i\left(t\right)& j=j_i^{*}\\ 0& j\≠j_i^{*}\end{array}\right.,$ 其中，A_i(t)为该时槽t内i类服务的服务请求到达的数量。

本发明实施例中的请求调度算法流程如图3所示，主要有如下步骤：

(b1)针对每一个服务i，找到所有部署了该服务的服务器集合，用O_i表示，然后初始化j＝1，temp＝-∞，temp和这两个变量用来保存值，具体见下述步骤；

(b2)从j＝1开始到j＝n结束，依次计算Vr_ij(t)-Q_ij(t)的值；

(b3)如果Vr_ij(t)-Q_ij(t)>temp，那么将当前值保存下来，即把Vr_ij(t)-Q_ij(t)赋值给temp，把当前的j赋值给当j＝n时，temp保存了最大的Vr_ij(t)-Q_ij(t)的值，保存了对应于该最大值的服务器角标j；

(b4)依次设置请求调度决策变量，具体地，设置即将第i类服务所有的请求全部调度到服务器上；对于O_i中其他的服务器，则不将请求调度到它们上，即对任意的设置D_ij(t)＝0，主要算法如下：

本发明实施例中的请求调度算法所得到的D_ij(t)能够使 $\underset{j}{\Σ}\left({\mathrm{Vr}}_{ij}\right(t)-Q_{ij}(t\left)\right)D_{ij}\left(t\right)$ 达到最大。

可选地，在本发明在线分布式请求调度和服务管理方法的另一实施例中，所述计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率包括：

对于U_j中的每一个运行频率选项u_j(t)，计算y_ij(t)，根据u_j(t)和y_ij(t)计算比较不同u_j(t)对应的的大小，将最大的对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的对应的u_j(t)作为服务器j在该时槽t内的目标运行频率

本发明实施例中的请求调度算法所得到的y_ij(t)和u_j(t)能够使达到最大。

可选地，在本发明在线分布式请求调度和服务管理方法的另一实施例中，所述计算y_ij(t)，包括：

按照公式计算γ_ij(t)，其中，b和α为常数，s_ij为服务器j分给服务i的资源比例；

确定出 $y_{ij}\left(t\right)=\left\{\begin{array}{cc}1& {\mathrm{\γ}}_{ij}\left(t\right)>0\\ 0& {\mathrm{\γ}}_{ij}\left(t\right)\≤0\end{array}\right..$

可选地，在本发明在线分布式请求调度和服务管理方法的另一实施例中，所述根据u_j(t)和y_ij(t)计算比较不同u_j(t)对应的的大小，将最大的对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的对应的u_j(t)作为服务器j在该时槽t内的目标运行频率包括：

根据u_j(t)和y_ij(t)，按照公式计算Obj，比较不同u_j(t)对应的Obj的大小，将最大的Obj对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的Obj对应的u_j(t)作为服务器j在该时槽t内的目标运行频率

本发明实施例中，优化式子为其中， $P_j\left(t\right)=P_{s_j}+{\mathrm{b\ρ}}_j\left(t\right)u_j^{\mathrm{\α}}\left(t\right),{\mathrm{\ρ}}_j\left(t\right)=\underset{i}{\Σ}{s}_{ij}{y}_{ij}\left(t\right).$ 因为u_j(t)的选择是有限的，针对每一个给定的u_j(t)，原目标可以转化成令那么针对每个给定的u_j(t)，决策变量只有y_ij(t)。因为表达式与决策变量y_ij(t)无关，可以将目标再转化为因此，y_ij(t)的设置为 $y_{ij}\left(t\right)=\left\{\begin{array}{cc}1& {\mathrm{\γ}}_{ij}\left(t\right)>0\\ 0& {\mathrm{\γ}}_{ij}\left(t\right)\≤0\end{array}\right..$ 然后计算出此时设置下对应的目标值。

再将所有u_j(t)取值下的目标值进行比较，确定最终的以及 $\stackrel{\‾}{y_{ij}\left(t\right)}.$

本发明实施例中的服务管理算法流程如图4所示，针对每个服务器j，服务管理算法的主要过程是针对每种调频决策u_j(t)∈U_j进行枚举。针对每个给定的u_j(t)值，确定该服务器上所有服务的开关状态。然后比较不同调频值u_j(t)下的目标函数值，选择目标函数值最优的结果。那么这个最优结果对应的频率及服务开关决策，就是服务管理的决策变量，具体过程如下：

(c1)定义变量变量变量maxObj，变量maxu_j，变量maxy_ij(t)，其中，变量Obj用于保存当前的目标函数值，而变量maxObj，maxu_j和maxy_ij(t)用于保存进行到目前为止的最优目标函数值和对应的最优决策变量值；

(c2)初始化maxObj＝-∞；

(c3)对服务器j上的每一个调频选项u_j(t)∈U_j，计算γ_ij(t)，如果γ_ij(t)大于0，则设置y_ij(t)＝1；否则，设置y_ij(t)＝0，之后，计算Obj的值。如果Obj>maxObj，那么将Obj的值赋给maxObj，将u_j(t)的值赋给maxu_j，将y_ij(t)的值赋给maxy_ij(t)，这个循环过程一直继续，直到所有的可能调频选项u_j(t)都遍历了一遍；

(c4)保存最优的决策变量值，并根据该值，设置服务器j的频率u_j(t)和承载的服务i的开关状态值y_ij(t)，即，将maxu_j的值赋给u_j(t)，将maxy_ij(t)的值赋给y_ij(t)，

主要的算法如下：

如图5所示，本实施例公开一种用于在线分布式请求调度和服务管理的代理系统，包括：

获取单元1，用于对于每一个时槽t，获取该时槽t内服务器j上的i类服务的缓存请求数量Q_ij(t)，其中，t为正整数，j∈J＝{1,2,…,n}，i∈I＝{1,2,…,m}，时槽的总数为N，n、m和N为正整数；

调度单元2，用于计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量并将个i类服务的服务请求调度到服务器j上，其中，计算公式为 $\stackrel{\‾}{D_{ij}\left(t\right)}=\underset{D_{ij}\left(t\right)}{\max }\underset{j}{\Σ}\left({\mathrm{Vr}}_{ij}\right(t)-Q_{ij}(t\left)\right)D_{ij}\left(t\right),$ V为服务质量与能量效率的平衡参数，r_ij(t)为该时槽t内服务器j上的i类服务的收益，D_ij(t)为时槽t内i类服务的服务请求被调度到服务器j的数量；

计算单元3，用于计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率并发送给服务器j，以使服务器j的管理器控制该时槽t内服务器j上的i类服务的状态为目标状态控制服务器j在该时槽t内的运行频率为目标运行频率其中，计算公式为

l_ij为服务器j处于基本频率下每个时槽服务器j上的i类服务的请求处理数量，u_j(t)为服务器j在时槽t内的运行频率，u_j(t)∈U_j，U_j为服务器j所有可能的运行频率的集合，为服务器j的基本频率，为时槽t内每单位电量的平均收费，PUE为总能耗与服务器能耗的比值，P_j(t)为服务器j在时槽t内的平均功率，τ为每个时槽的长度，y_ij(t)为时槽t内服务器j上的i类服务的状态，y_ij(t)＝1表示对应的服务是开着的；反之，表示该服务关着。

如图6所示为本发明实施例所述的代理系统所应用的架构图，该系统架构中有若干个代理和若干个服务器(每台服务器上面有一个管理器，负责管理服务器上服务或者托管服务的虚拟机的开关状态，以及服务器的运行频率)，用户发送服务请求至代理，当请求到达时，这些代理负责发现服务，并根据用户的服务质量要求，寻找合适的服务器，将请求调度到合适的服务器上，由相应的服务器为用户提供服务，同时决定各个服务器上服务(或者托管服务的虚拟机)的开关状态，以及服务器的运行频率，并通过各个服务器的管理器进行控制，以最大化能量效率。

本发明实施例的用于在线分布式请求调度和服务管理的代理系统，包含如下两方面决策：1.请求调度，即当请求到达时，根据需求，将请求调度到合适的服务器上；2.服务管理，根据系统状态，决定服务器的动态调频以及服务器上服务的开关状态，本发明结合服务质量与能量效率，在减小队列、降低响应时间的情况下增大能量效率，降低系统的开销，并且本发明无需对请求到达的分布、请求服务时间的分布进行假设或预测，可以直接根据当前的系统状态完成请求调度和服务管理的决策，因而能够提高请求调度和服务管理决策的准确度，此外，本发明采用分布式的方法，可以针对每类服务、每个服务器并行执行决策，从而能够极大地降低复杂度，提高求解效率。

可选地，在本发明用于在线分布式请求调度和服务管理的代理系统的另一实施例中，所述调度单元，包括：

服务器集合获取子单元，用于获取部署服务i的服务器集合O_i；

第一计算子单元，用于对于每一个j∈O_i，计算(Vr_ij(t)-Q_ij(t))，并将最大的(Vr_ij(t)-Q_ij(t))所对应的服务器记为

第二计算子单元，用于确定该时槽t内i类服务的服务请求被调度到服务器j的目标数量 $\stackrel{\‾}{D_{ij}\left(t\right)}=\left\{\begin{array}{cc}{A}_i\left(t\right)& j=j_i^{*}\\ 0& j\≠j_i^{*}\end{array}\right.,$ 其中，A_i(t)为该时槽t内i类服务的服务请求到达的数量。

可选地，在本发明用于在线分布式请求调度和服务管理的代理系统的另一实施例中，所述计算单元，用于对于U_j中的每一个运行频率选项u_j(t)，计算y_ij(t)，根据u_j(t)和y_ij(t)计算比较不同u_j(t)对应的的大小，将最大的对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的对应的u_j(t)作为服务器j在该时槽t内的目标运行频率

可选地，在本发明用于在线分布式请求调度和服务管理的代理系统的另一实施例中，所述计算单元，包括：

第三计算子单元，用于按照公式计算γ_ij(t)，其中，b和α为常数，s_ij为服务器j分给服务i的资源比例；

第四计算子单元，用于确定出 $y_{ij}\left(t\right)=\left\{\begin{array}{cc}1& {\mathrm{\γ}}_{ij}\left(t\right)>0\\ 0& {\mathrm{\γ}}_{ij}\left(t\right)\≤0\end{array}\right..$

可选地，在本发明用于在线分布式请求调度和服务管理的代理系统的另一实施例中，所述计算单元，包括：

第五计算子单元，用于根据u_j(t)和y_ij(t)，按照公式计算Obj，比较不同u_j(t)对应的Obj的大小，将最大的Obj对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的Obj对应的u_j(t)作为服务器j在该时槽t内的目标运行频率

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种在线分布式请求调度和服务管理方法，其特征在于，包括：

对于每一个时槽t，获取该时槽t内服务器j上的i类服务的缓存请求数量Q_ij(t)，其中，t为正整数，j∈J＝{1,2,…,n}，i∈I＝{1,2,…,m}，时槽的总数为N，n、m和N为正整数；

计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量并将个i类服务的服务请求调度到服务器j上，其中，计算公式为V为服务质量与能量效率的平衡参数，r_ij(t)为该时槽t内服务器j上的i类服务的平均收益，D_ij(t)为时槽t内i类服务的服务请求被调度到服务器j的数量；

计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率并发送给服务器j，以使服务器j的管理器控制该时槽t内服务器j上的i类服务的状态为目标状态控制服务器j在该时槽t内的运行频率为目标运行频率其中，计算公式为

l_ij为服务器j处于基本频率下每个时槽服务器j上的i类服务的请求处理数量，u_j(t)为服务器j在时槽t内的运行频率，u_j(t)∈U_j，U_j为服务器j所有可能的运行频率的集合，为服务器j的基本频率，为时槽t内每单位电量的平均收费，PUE为总能耗与服务器能耗的比值，P_j(t)为服务器j在时槽t内的平均功率，τ为每个时槽的长度，y_ij(t)为时槽t内服务器j上的i类服务的状态，y_ij(t)＝1表示对应的服务是开着的；反之，表示该服务关着。

2.根据权利要求1所述的在线分布式请求调度和服务管理方法，其特征在于，所述计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量包括：

获取部署服务i的服务器集合O_i；

对于每一个j∈O_i，计算(Vr_ij(t)-Q_ij(t))，并将最大的(Vr_ij(t)-Q_ij(t))所对应的服务器记为

确定该时槽t内i类服务的服务请求被调度到服务器j的目标数量 $\stackrel{\‾}{D_{ij}\left(t\right)}=\left\{\begin{array}{cc}{A}_i\left(t\right)& j=j_i^{*}\\ 0& j\≠j_i^{*}\end{array}\right.,$ 其中，A_i(t)为该时槽t内i类服务的服务请求到达的数量。

3.根据权利要求1所述的在线分布式请求调度和服务管理方法，其特征在于，所述计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率包括：

对于U_j中的每一个运行频率选项u_j(t)，计算y_ij(t)，根据u_j(t)和y_ij(t)计算比较不同u_j(t)对应的的大小，将最大的对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的对应的u_j(t)作为服务器j在该时槽t内的目标运行频率

4.根据权利要求3所述的在线分布式请求调度和服务管理方法，其特征在于，所述计算y_ij(t)，包括：

按照公式计算γ_ij(t)，其中，b和α为常数，s_ij为服务器j分给服务i的资源比例；

确定出 $y_{ij}\left(t\right)=\left\{\begin{array}{cc}1& {\mathrm{\γ}}_{ij}\left(t\right)>0\\ 0& {\mathrm{\γ}}_{ij}\left(t\right)\≤0\end{array}\right..$

5.根据权利要求4所述的在线分布式请求调度和服务管理方法，其特征在于，所述根据u_j(t)和y_ij(t)计算比较不同u_j(t)对应的的大小，将最大的对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的对应的u_j(t)作为服务器j在该时槽t内的目标运行频率包括：

根据u_j(t)和y_ij(t)，按照公式计算Obj，比较不同u_j(t)对应的Obj的大小，将最大的Obj对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的Obj对应的u_j(t)作为服务器j在该时槽t内的目标运行频率

6.一种用于在线分布式请求调度和服务管理的代理系统，其特征在于，包括：

获取单元，用于对于每一个时槽t，获取该时槽t内服务器j上的i类服务的缓存请求数量Q_ij(t)，其中，t为正整数，j∈J＝{1,2,…,n}，i∈I＝{1,2,…,m}，时槽的总数为N，n、m和N为正整数；

调度单元，用于计算该时槽t内i类服务的服务请求被调度到服务器j的目标数量并将个i类服务的服务请求调度到服务器j上，其中，计算公式为V为服务质量与能量效率的平衡参数，r_ij(t)为该时槽t内服务器j上的i类服务的平均收益，D_ij(t)为时槽t内i类服务的服务请求被调度到服务器j的数量；

计算单元，用于计算该时槽t内服务器j上的i类服务的目标状态以及服务器j在该时槽t内的目标运行频率并发送给服务器j，以使服务器j的管理器控制该时槽t内服务器j上的i类服务的状态为目标状态控制服务器j在该时槽t内的运行频率为目标运行频率其中，计算公式为

l_ij为服务器j处于基本频率下每个时槽服务器j上的i类服务的请求处理数量，u_j(t)为服务器j在时槽t内的运行频率，u_j(t)∈U_j，U_j为服务器j所有可能的运行频率的集合，为服务器j的基本频率，为时槽t内每单位电量的平均收费，PUE为总能耗与服务器能耗的比值，P_j(t)为服务器j在时槽t内的平均功率，τ为每个时槽的长度，y_ij(t)为时槽t内服务器j上的i类服务的状态，y_ij(t)＝1表示对应的服务是开着的；反之，表示该服务关着。

7.根据权利要求6所述的用于在线分布式请求调度和服务管理的代理系统，其特征在于，所述调度单元，包括：

服务器集合获取子单元，用于获取部署服务i的服务器集合O_i；

第一计算子单元，用于对于每一个j∈O_i，计算(Vr_ij(t)-Q_ij(t))，并将最大的(Vr_ij(t)-Q_ij(t))所对应的服务器记为

第二计算子单元，用于确定该时槽t内i类服务的服务请求被调度到服务器j的目标数量 $\stackrel{\‾}{D_{ij}\left(t\right)}=\left\{\begin{array}{cc}{A}_i\left(t\right)& j=j_i^{*}\\ 0& j\≠j_i^{*}\end{array}\right.,$ 其中，A_i(t)为该时槽t内i类服务的服务请求到达的数量。

8.根据权利要求6所述的用于在线分布式请求调度和服务管理的代理系统，其特征在于，所述计算单元，用于对于U_j中的每一个运行频率选项u_j(t)，计算y_ij(t)，根据u_j(t)和y_ij(t)计算比较不同u_j(t)对应的的大小，将最大的对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的对应的u_j(t)作为服务器j在该时槽t内的目标运行频率

9.根据权利要求8所述的用于在线分布式请求调度和服务管理的代理系统，其特征在于，所述计算单元，包括：

第三计算子单元，用于按照公式计算γ_ij(t)，其中，b和α为常数，s_ij为服务器j分给服务i的资源比例；

第四计算子单元，用于确定出 $y_{ij}\left(t\right)=\left\{\begin{array}{cc}1& {\mathrm{\γ}}_{ij}\left(t\right)>0\\ 0& {\mathrm{\γ}}_{ij}\left(t\right)\≤0\end{array}\right..$

10.根据权利要求9所述的用于在线分布式请求调度和服务管理的代理系统，其特征在于，所述计算单元，包括：

第五计算子单元，用于根据u_j(t)和y_ij(t)，按照公式计算Obj，比较不同u_j(t)对应的Obj的大小，将最大的Obj对应的y_ij(t)作为该时槽t内服务器j上的i类服务的目标状态并将最大的Obj对应的u_j(t)作为服务器j在该时槽t内的目标运行频率