CN102752395B - 一种用于分布式数据中心实时业务分配的在线调度方法 - Google Patents

Abstract

本发明公开了一种用于分布式数据中心实时业务分配的在线调度方法，该方法能够保证在传输延时情况下，根据负载流路径具体分配的反馈结果，再利用启发式分支定界方法对目标进行优化，能够有效解决混合整型线性规划中延时约束模型参数耦合的问题，并且该方法具有快速、准确和高效性；尤其是在前端服务器和数据中心数目大量增加的情况下，其更能体现出高效、快速的优势。

Description

一种用于分布式数据中心实时业务分配的在线调度方法

技术领域

本发明涉及一种负载调度优化方法，尤其涉及一种在考虑传输延时场景下，用于分布式数据中心实时业务分配的在线调度方法。

背景技术

调度优化方法在工业、经济等领域有广泛的应用价值。多电价下负载实时调度主要目的是在满足SLAs的前提下通过前端服务器将负载调度到低电价的数据中心进行云服务，使得云提供商的电费成本最低。由于在传输延时背景下，延时约束模型中负载到达率与传输延时存在耦合问题，本发明新提出一种启发式分支定界与反馈的解决方法，具有复杂度低、效率高以及准确度高的优点。这种方法主要是通过根据无传输延时下负载分配路径的反馈结果来确定各个数据中心负载的传输延时，然后再次采用启发式分支定界方法求解混合整数线性规划模型。

现有解决混合整数线性规划模型有分支定界法、拉格朗日法、梯度投影法以及GBD法等，但是分支定界方法是目前最为常用的方法，因为它完全到达全局最优。目前有多种改进的分支定界方法，如Strong法、0.5法等。但是对于负载调度优化模型由于未知变量是全是整型变量，为了提高搜索效率，分支定界法子节点的选择不仅取决于两个子节点函数值的大小，还与子节点分支结果中整型数个数有关。对于延时约束模型耦合问题，目前采用分支定界与穷举法可以解决，但是穷举法存在高计算复杂度的缺点。

现有方法的不足之处在于：第一，对于混合整数线性规划模型，传统的分支定界方法中子节点的选择仅仅依靠判断子节点函数值的大小来选择下一个优先搜索的节点，具有低效率性。第二，在传输延时的场景下，针对延时约束模型中负载到达率与传输延时耦合问题，现有的穷举法方法并不能高效、快速解这个问题，效率较低。对于较大规模的数据中心负载调度系统更加不能快速、高效地实现负载调度。

发明内容

本发明的目的在于针对现有技术方法的不足，提供一种用于分布式数据中心实时业务分配的在线调度方法。

为了实现上述的目的，本发明采取如下技术方案：分布式数据中心实时业务分配的在线调度方法，包括以下步骤：

（1）数据中心负载调度系统部署及初始化；

（2）预测在线传输延时分布以及获取智能电网中的波动电价；

（3）根据用户所能接受的SLAs（service-level agreements）确定允许数据中心负载流的可行路径；

（4）对整型参数进行连续化，并构建启发式评价函数，进行归一化处理；

（5）忽略传输延时，利用启发式分支定界方法获取负载分布状况，再根据反馈结果来获取各个数据中心负载的最大传输延时；

（6）将确定的最大传输延时加入延时约束模型中，重新利用启发式分支定界法获取负载流路径，再次根据反馈结果获取最大传输延时；

（7）判断前后两次最大转移延时是否相等，记录不等的次数来判断是否发生振荡，并通过合并前后两次对应的最大传输延时来抑制振荡。

本发明的有益效果是，能够保证在传输延时的场景下实现对多电价下数据中心负载进行高效、准确地调度。利用启发式函数能够快速实现分支搜索结果；利用反馈方法确定负载到达数据中心的最大传输延时，能够很好地解决耦合问题。尤其是在前端服务器和数据中心规模较大时，更能体现出其高效、快速的优点。

附图说明

图1是本发明的数据中心负载调度系统示意图；

图2是本发明中网络在线传输延时分布示意图；

图3是本发明中多元化电价市场下各地区每小时电价波动示意图；

图4是本发明中启发式分支定界方法中节点分支示意图；

图5是本发明中M/M/n排队论模型示意图。

具体实施方式

本发明专利在多电价下使用启发式分支定界与反馈方法实现对负载进行最优调度。启发式分支定界与反馈方法的原理是：利用分支定界所得结果对子节点构建评价函数，选择下次优先搜索的子节点；根据负载分配的具体路径来确定各个数据中心的最大传输延时，然后利用启发式分支定界方法实现最优调度。

本发明用于分布式数据中心实时业务分配的在线调度方法，包括以下步骤：

1、数据中心负载调度系统部署及初始化。

对于数据中心负载调度系统，应该选择若干个位于多电价区域的数据中心和前端服务器。然后根据负载请求的历史统计数据预测未来某一段时间内用户请求数目，并调查和设定用户所能容忍的延时边界。同时调节服务器工作频率，选择服务器负载处理能力。多元化电价下负载调度系统的总体框架如图1所示。

2.预测在线传输延时分布以及获取智能电网的波动电价。

利用Traceroute软件在线测量传输延时分布数据，并拟合和预测一天内传输延时分布曲线，如图2所示。对于如何获取波动的电价，可以根据实时电价交易网站查询各地区第二天电价波动情况，例如California ISO网站，以及ERCOT网站，如图3所示。

3.根据用户所能接受的SLAs（service-level agreements，用户服务协议）确定允许数据中心负载分配的可行路径。

根据在线测量与预测的传输延时T_ij(t)，在满足SLAs前提下，控制负载流λ_ij的可行分配路径。对于路径唯一的负载可以预先确定最终的路径，不需要进行优化调度。对于负载转移不可行的路径令负载到达率λ_ij=0。

4.对整形参数进行连续化，并构建启发式评价函数，进行归一化处理，主要包括以下几个子步骤：

（1）松弛整型变量，使之连续化。

（2）采用单纯形法优化目标，然后通过Strong法或者0.5法找出非整数的节点作为父节点F，再将其分支成两个子节点S₁和S₂，如图4所示。

（3）为确定下一个优先搜索的节点，对两个子节点S₁和S₂建立评价函数：

CostF_k(x)=Fv_k(x)+Num_k(x)；

其中，Fv_k(x)为子节点的最优目标函数值，Num_k(x)为求解结果中非整数的个数。由于目标函数值Fv_k(x)和非整数个数Num_k(x)非同一量纲级别，因此需要对启发式函数进行归一化处理。于是有：

${\mathrm{CostF}}_k\left(x\right)=\frac{{\mathrm{Fv}}_k\left(x\right)}{{\mathrm{\Σ}}_{k=1}^2{\mathrm{Fv}}_k\left(x\right)}+\frac{{\mathrm{Num}}_k\left(x\right)}{{\mathrm{\Σ}}_{k=1}^2{\mathrm{Num}}_k\left(x\right)},$ k=1,2；

选择上述评价函数值较小的节点作为下一次优先搜索的节点。

5.忽略传输延时，利用启发式分支定界方法获取负载分布状况，再根据反馈结果来获取各个数据中心负载的最大传输延时。

假设数据中心服务器排队满足M/M/*n模型，如图5所示，则可得到各个数据中心负载的排队延时为：

$D_j\left(t\right)=\frac{x_j\left(t\right)}{m_j\left(t\right)u_j\left(t\right)-{\mathrm{\Σ}}_{i=1}^C{\mathrm{\λ}}_{\mathrm{ij}}\left(t\right)};$

其中，m_j(t)表示在t时刻服务器打开数目，u_j(t)表示服务率，λ_ij(t)表示负载到达率。由于总延时（包括传输延时和排队延时）必须满足用户SLAs，于是有：

D_j(t)+T_ij(t)≤D_y

即：

$\frac{x_j\left(t\right)}{m_j\left(t\right)u_j\left(t\right)-{\mathrm{\Σ}}_{i=1}^C{\mathrm{\λ}}_{\mathrm{ij}}\left(t\right)}+T_{\mathrm{ij}}\left(t\right)\≤D_y.$

由于上式中负载到达率与传输延时相互影响，相互耦合，很难直接求取最优目标。因此，为了确定负载流的具体分配路径，首先忽略传输延时，将延时约束模型转化为D_j(t)≤D_y，利用启发式分支定界方法获取负载分配的具体路径。根据负载分配的反馈结果，确定负载到达数据中心j的最大传输延时其中n表示次数。

6.将确定的最大传输延时加入延时约束模型中，重新利用启发式分支定界方法求解优化模型，再次根据反馈结果获取最大传输延时，其主要包括以下几个子步骤：

（1）为简化模型，将反馈得到的最大传输延时来代替总延时约束模型中的T_ij(t)。这是因为当最大传输延时的负载满足SLAs，其余负载的传输延时自然就满足SLAs。

（2）重新利用启发式分支定界方法求解优化模型，再次根据反馈结果获取各个数据中心负载的最大传输延时

7.判断前后两次最大转移延时是否相等，并记录不等的次数来判断是否发生振荡，并通过合并前后两次对应的最大传输延时来抑制振荡，其包括以下子步骤：

（1）将前后两次获取的最大传输延时和进行比较。如果相等，表示已经获取最优结果；如果不等，记录不等的次数Cnt。当不等次数Cnt≥K_n时（一般取K_n=4），可以判断系统已经发生振荡。

（2）若系统发生振荡，找出发生振荡的数据中心对应的最大传输延时和其中k∈[1,C]，并对它们两者取并集，然后将重新获取的最大传输延时代入延时约束模型，再利用启发式分支定界法求解优化模型。

利用启发式分支定界与反馈方法实现分布式数据中心实时业务最优调度的主要问题在于在传输延时场景下，在延时约束模型中负载到达率与负载传输延时存在耦合问题。现有的解决方法主要是穷举法。本发明主要的内容是根据反馈原理，利用无传输延时下负载调度分配的反馈结果来确定负载到达各个数据中心的最大传输延时，然后再采用启发式分支定界法求解优化模型，从而克服耦合问题。

本发明考虑到网络中存在传输延时的实际情况，采用了一种简单、有效的反馈方法，并结合利用启发式分支定界方法来求取混合整数优化模型。本发明的益处在于它能适用于较大规模的前端服务器和数据中心的场景，并能保持其快速、高效而又准确的优势。

Claims (7)

1.一种用于分布式数据中心实时业务分配的在线调度方法，其特征在于，包括以下步骤：

(1)数据中心负载调度系统部署及初始化；

(2)预测在线传输延时分布以及获取智能电网中的波动电价；

(3)根据用户所能接受的服务水平协议确定允许数据中心负载流的可行路径；

(4)对整型参数进行连续化，并构建启发式评价函数，进行归一化处理；

(5)忽略传输延时，利用启发式分支定界方法获取负载分布状况，再根据反馈结果来获取各个数据中心负载的最大传输延时；

(6)将确定的最大传输延时加入延时约束模型中，重新利用启发式分支定界方法获取负载流路径，再次根据反馈结果获取最大传输延时；

(7)判断前后两次最大转移延时是否相等，记录不等的次数来判断是否发生振荡，并通过合并前后两次对应的最大传输延时来抑制振荡。

2.根据权利要求1所述用于分布式数据中心实时业务分配的在线调度方法，其特征在于，所述步骤(1)中，所述系统在初始化包括在某一时刻前端服务器数目C、数据中心数目V、每个数据中心最大的服务器数目M、服务器负载处理能力u_j(t)、用户所容忍的最大延时边界D_y、以及负载请求数目L_i(t)。

3.根据权利要求1所述用于分布式数据中心实时业务分配的在线调度方法，其特征在于，所述步骤(3)具体为，假设有C个前端服务器，V个数据中心，从前端服务器i到数据中心j的在t时刻的传输延时为T_ij(t)；选择满足用户服务水平协议的传输延时，用向量阵T_j(t)＝T_ij(t)表示，并确定负载调度的可行路径λ_ij，对于负载转移不可行的路径令负载分配率λ_ij＝0。

4.根据权利要求1所述用于分布式数据中心实时业务分配的在线调度方法，其特征在于，所述步骤(4)具体为，将整型变量参数连续化，利用单纯形法求解优化模型，然后对结果中的非整数采用二叉树进行分支与定界；在分支过程中对两个子节点构建启发式评价函数，于是有：

CostF_k(x)＝Fv_k(x)+Num_k(x)；

其中，Fv_k(x)为子节点的最优目标函数值，Num_k(x)为求解结果中非整数的个数；由于目标函数值Fv_k(x)和非整数个数Num_k(x)非同一量纲级别，因此需要对启发式函数进行归一化处理；于是有：

${\mathrm{CostF}}_k\left(x\right)=\frac{{\mathrm{Fv}}_k\left(x\right)}{{\mathrm{\Σ}}_{k=1}^2{\mathrm{Fv}}_k\left(x\right)}+\frac{N{\mathrm{um}}_k\left(x\right)}{{\mathrm{\Σ}}_{k=1}^2{\mathrm{Num}}_k\left(x\right)},k=\mathrm{1,2}.$

5.根据权利要求2所述用于分布式数据中心实时业务分配的在线调度方法，其特征在于，所述步骤(5)具体为，假设数据中心服务器排队服务满足M/M/n模型，因此可以得到各个数据中心负载的排队延时为：

$D_j\left(t\right)=\frac{x_j\left(t\right)}{m_j\left(t\right)u_j\left(t\right)-{\mathrm{\Σ}}_{i=1}^C{\mathrm{\λ}}_{\mathrm{ij}}\left(t\right)};$

其中，m_j(t)表示在t时刻服务器打开的数目，u_j(t)表示服务器服务率，λ_ij(t)表示负载到达率；由于总延时必须满足用户服务水平协议，所述总延时包括传输延时和排队延时，于是有：

D_j(t)+T_ij(t)≤D_y；

由于上式中负载到达率与传输延时相互影响，相互耦合，很难直接求取最优目标；因此，为了确定负载流的具体分配路径，首先忽略传输延时，将延时约束模型转化为D_j(t)≤D_y，利用启发式分支定界方法获取负载分配的具体路径；根据负载分配的反馈结果，确定到达数据中心j的最大传输延时其中n表示执行次数。

6.根据权利要求5所述用于分布式数据中心实时业务分配的在线调度方法，其特征在于，所述步骤(6)具体包括以下子步骤：

(a)将反馈得到的最大传输延时来代替总延时约束模型中的T_ij(t)；这是由于当最大传输延时的负载满足服务水平协议，其余负载就自然满足服务水平协议；

(b)重新利用启发式分支定界方法求解优化模型，再次根据负载分配反馈结果获取各个数据中心负载的最大传输延时

7.根据权利要求6所述用于分布式数据中心实时业务分配的在线调度方法，其特征在于，所述步骤(7)具体包括以下子步骤：

(a)将前后两次获取的最大传输延时和进行比较；如果相等，表示系统已经获取最优结果；如果不等，记录不等的次数Cnt；当不等次数Cnt≥K_n时，表明系统发生振荡，其中，K_n＝4；

(b)若系统发生振荡，找出发生振荡的数据中心对应的最大传输延时和其中k∈[1,C]，并对它们取并集，即再将重新获取的最大传输延时代入延时约束模型，再次利用启发式分支定界法求解优化模型。