CN103150160A - 针对闭合模型系统的突发性负载生成方法 - Google Patents

Abstract

本发明公开了针对闭合模型系统的突发性负载生成方法，为闭合系统提供了一种有效的突发性负载生成方法；根据系统饱和与非饱和状态，近似计算请求到达率，提高了突发性负载生成的准确率；提供了一种可行的突发性强度验证方法，保证生成的突发性负载更加符合系统性能分析员的要求。

Description

针对闭合模型系统的突发性负载生成方法

技术领域

本发明涉及系统性能分析领域，主要是一种针对闭合模型系统的突发性负载生成方法。

背景技术

负载特征是决定系统性能的一个重要因素。为了分析不同负载对系统性能的影响，必须使用人造负载生成器。人造负载生成可以采用两种方式：1）通过记录和重放用户访问系统行为，生成相应的负载；2）采用数学模型对用户行为进行建模，并根据模型生成相应的负载。第一种方法生成的负载符合真实的应用场景，但是灵活性较差，用户无法根据需要调节生成不同的负载。第二种方法可配置性较高，用户可以通过修改模型参数，生成不同类型的负载，但需要提供合理的模型参数化方法，使其生成的负载接近真实情况。经典的突发性负载模型包括马尔可夫调制泊松过程（MMPP）和马尔可夫到达过程（MAP）。突发性（burstiness）作为负载的一个重要特征，已被证明存在于以太网、Web应用系统、存储系统和网格系统等许多计算领域。因此，如何人工生成突发性负载对各类系统性能的研究具有重要意义。虽然一些用于刻画突发性强度的数学模型被提出，例如自相似性（self-similarity），峰值函数（peakedness function），和离散指数（index of dispersion）。但是，很难根据突发性强度单个数值反向生成符合真实用户行为的突发性负载，并用于系统性能的研究。目前，许多研究人员和开源组织也开发了各种各样的负载生成器，如Surge，Httperf，SWAT和Geist等。Surge和Httperf允许用户通过配置各个参数生成不同的负载，但没有考虑各种突发性的因素。SWAT对Httperf进行了扩展，通过控制回话长度的分布，实现服务时间的突发性。Geist则是针对开放模型的系统，通过控制请求到达时间间隔的分布和相关性实现请求到达的突发性。由于现有突发性负载生成方法的局限性，目前主流的基准程序都不包含突发性的负载。Mi等（MiN,Casale G,Cherkasova L,et a l.I nject i ng rea l i st i c bur st i ness to atraditional client-server benchmark.Proceedings of the6thinternational conference on Autonomic computing.New York,USA,2009:149-158.）针对闭合模型系统RUBiS，设计了一种基于两个状态马尔可夫到达过程（MAP2）的突发性负载生成方法。该方法使用平均思考时间、用户数和基于计数的离散指数（IDC）来构造确定MAP2模型的参数。虽然该方法能够生成一定的突发性负载，但是存在一些局限性：1）输入参数组合的不合理导致实用性较差，虽然IDC可以用于刻画负载突发性的强度，但是IDC的大小对于系统性能分析员而言仍然比较抽象，很难提供合理的。即使通过系统请求访问日志计算得到IDC的值，该方法生成的突发性负载也可能与原始负载行为不相符。所以，该方法不能生成所有可能的突发性负载，即无法进行“what-if”方式的性能分析；2）请求到达率近似方法的不准确导致误差大，该方法使用思考时间的倒数作为请求到达率的近似值，使突发状态下请求到达率的设置不够准确，从而导致实际生成负载的IDC值小于预期值。

发明内容

针对上述技术缺陷，本发明提出针对闭合模型系统的突发性负载生成方法。

为了解决上述技术问题，本发明的技术方案如下：

针对闭合模型系统的突发性负载生成方法,其特征在于,包括如下步骤:

11）闭合系统负载特征建模步骤：

采用MAP2模型对突发性负载进行建模,所述MAP2模型由突发和正常2个状态组成，在突发状态下请求到达率为λ_b；在正常状态下请求到达率为λ_n，当负载生成器发送一个请求后，所述MAP2模型有一定概率P_bn或P_nb从一个状态跳转到另一个状态；

12）MAP2模型初始化步骤：

根据系统饱和状况，采用公式(a)近似求解系统请求达到率λ_N,Z：

公式（a）

其中,N_Z和Z_N是系统饱和状态的临界值，X_max是系统最大吞吐量；

通过配置MAP2突发和正常状态下的思考时间，以及用户数量N，可以得出λ_b和λ_n两个参数；

通过对突发性负载产生的系统访问日志的分析，得到的<λ_b,λ_n,t_b,t_n>四个参数，其中t_b和t_n分别表示突发状态和正常状态的持续时间。得到MAP2模型每个状态平均到达请求数：

E(k_b)＝Nλ_bt_b,E(k_n)＝Nλ_nt_n.         公式（b）根据MAP2模型中每个状态平均到达请求数又符合几何分布，即：

$E\left(\frac{k_b}{N}\right)=\frac{1}{P_{\mathrm{bn}}},$ $E\left(\frac{k_n}{N}\right)=\frac{1}{P_{\mathrm{nb}}}.$ 公式（c）

根据公式(b)和公式(c)，得到P_bn和P_nb，从而构造MAP2模型所需的两个矩阵D₀和D₁：

$D_0=\left[\begin{array}{cc}{-\mathrm{\&lambda;}}_b& 0\\ 0& {-\mathrm{\&lambda;}}_n\end{array}\right],$ $D_1=\left[\begin{array}{cc}(1-P_{\mathrm{bn}}){\mathrm{\&lambda;}}_b& P_{\mathrm{bn}}{\mathrm{\&lambda;}}_b\\ P_{\mathrm{nb}}{\mathrm{\&lambda;}}_n& (1-P_{\mathrm{nb}}){\mathrm{\&lambda;}}_n\end{array}\right].$ 公式（d）通过提供一个六元组<Z_b,Z_n，f,t_b,N，X_max>和一个系统性能临界值表T对MAP2模型进行初始化；其中，f是突发性负载产生的频率，定义如下：

f＝t_b/(tb+t_n)                    公式（e）

而系统性能临界值表T是由一系列的<N_Z,Z_N>记录组成，<N_Z,ZN>可以通过系统日志获得；

13）基于Faban的突发性负载生成器的实现步骤：

利用负载生成框架Faban，设计了针对基准程序Cloudstone的突发性负载生成器，根据当前状态，确定思考时间指数分布的平均值Z，并根据Z随机生成一个具体的思考时间，然后，根据随机生成的一个概率值prob，判断是否需要进行状态跳转。

本发明的有益效果在于：为闭合系统，提供了一种有效的突发性负载生成方法；根据系统饱和与非饱和状态，近似计算请求到达率，提高了突发性负载生成的准确率；提供了一种可行的突发性强度验证方法，保证生成的突发性负载更加符合系统性能分析员的要求。

附图说明

图1总体步骤；

图2基于MAP2模型的突发性负载模型；

图3闭合系统请求处理模型；

图4闭合系统请求达到率与思考时间的关系；

图5突发性负载系统方法日志实例；

图6请求自相关性采样实例；

图7突发性负载生成实例。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

本发明的总体实现步骤如图1所示，包括闭合系统负载特征建模、MAP2模型初始化、基于Faban的突发性负载生成器和负载突发性强度验证四个步骤，具体描述如下：

第1步，闭合系统负载特征建模步骤。如图2所示，采用MAP2模型对突发性负载进行建模。MAP2模型由突发和正常2个状态组成，在突发状态下请求到达率（request arrival rate）为λ_b；在正常状态下请求到达率为λ_n。当负载生成器（即客户端）发送一个请求后，MAP2有一定概率P_bn或P_nb从一个状态跳转到另一个状态。因此，突发性负载的生成需要对四元组<λ_b,λ_n,P_bn,P_nb>进行合理地初始化。

第2步，MAP2模型初始化。图3是闭合系统请求处理模型。对于闭合系统（如主流的Web应用基准程序如TPC-W,RUBiS、Cloudstone等）而言，客户端在发送一个请求后，必须等待服务端处理并返回结果，再经过一段思考时间（think time）才能发送下一个请求，即系统请求达到率λ_N，Z、请求到达周期C_N，Z、响应时间R_N,Z和思考时间Z必须满足公式(1)：

${\mathrm{\&lambda;}}_{N,Z}=\frac{1}{C_{N,Z}}=\frac{1}{R_{N,Z}+Z}.$ 公式(1)

换而言之，闭合系统的载强度由用户数N和思考时间Z决定的。因此，闭合系统对应的负载生成器都无法请求到达率的设置接口，即用户无法通过提供<λ_b,λ_n>两个参数来构造MAP2模型。

图4是闭合系统请求达到率与思考时间的关系。从图中可以发现，当思考时间较长（即系统负载较低）时，系统请求到达率λ_N,Z与思考时间Z的倒数非常接近；而随着思考时间的缩短（即系统负载增加），λ_N，Z并不会随着1/Z的增大而增大，而是基本保持不变。因此，本发明根据系统饱和状况，采用公式(2)近似求解λ_N,Z：

公式(2)其中,N_Z和Z_N是系统饱和状态的临界值，X_max是系统最大吞吐量。当N<N_Z且Z>Z_N，系统未饱和，系统响应时间远远大于思考时间，此时λ_N，Z≈1/Z。否则，系统处于饱和状态，可以根据流量平衡特性（即每个客户的请求到达率λ_N,Z是系统总吞吐量X_max的1/N）来计算λ_N,Z。因此，根据公式(2)的定义，通过配置MAP2突发和正常状态下的思考时间Z_b和Z_n，以及用户数量N，可以得出λ_b和λ_n两个参数。

图5是突发性负载系统方法日志实例。在性能分析过程中，突发性负载的模拟需要以真实系统日志为依据。除了<λ_b,λ_n>两个参数外，MAP2模型还需要<P_bn,P_nb>两个参数。通过对突发性负载产生的系统访问日志的分析，可以得到的<λ_b,λ_n,t_b,t_n>四个参数，其中t_b和t_n分别表示突发状态和正常状态的持续时间。于是，可以得到MAP2每个状态平均到达请求数：

E(k_b)＝Nλ_bt_b,E(k_n)＝Nλ_nt_n.                公式(3)

同时，MAP2每个状态平均到达请求数又符合几何分布，即：

$E\left(\frac{k_b}{N}\right)=\frac{1}{P_{\mathrm{bn}}},$ $E\left(\frac{k_n}{N}\right)=\frac{1}{P_{\mathrm{nb}}}.$ 公式(4)

根据公式(3)和(4)，可得P_bn和P_nb，从而可以构造MAP2所需的两个矩阵D₀和D₁：

$D_0=\left[\begin{array}{cc}{-\mathrm{\&lambda;}}_b& 0\\ 0& {-\mathrm{\&lambda;}}_n\end{array}\right],$ $D_1=\left[\begin{array}{cc}(1-P_{\mathrm{bn}}){\mathrm{\&lambda;}}_b& P_{\mathrm{bn}}{\mathrm{\&lambda;}}_b\\ P_{\mathrm{nb}}{\mathrm{\&lambda;}}_n& (1-P_{\mathrm{nb}}){\mathrm{\&lambda;}}_n\end{array}\right].$ 公式(5)

因此，本发明主要通过提供一个六元组<Z_b,Z_n，f,t_b,N,X_max>和一个系统性能临界值表T对MAP2模型进行初始化。其中，f是突发性负载产生的频率，定义如下：

f＝t_b/(t_b+t_n)                   公式(6)

而系统性能临界值表T是由一系列的<N_Z,Z_N>记录组成。<N_Z,Z_N>可以通过系统日志获得。

第3步，如图6所示，基于Faban的突发性负载生成器的实现。本发明利用负载生成框架Faban，设计了针对基准程序Cloudstone的突发性负载生成器。在Faban的每个负载驱动器上，采用上述方法，可以生成一系列具有突发性的思考时间，并根据这些思考时间来发送请求。具体而言，首先根据当前状态，确定思考时间指数分布的平均值Z，并根据Z随机生成一个具体的思考时间。然后，根据随机生成的一个概率值prob，判断是否需要进行状态跳转。

公式(7)是从每个客户端的角度计算而得I DC值：

$I=1+\frac{{2P}_{\mathrm{bn}}{P}_{\mathrm{nb}}{({\mathrm{\&lambda;}}_b-{\mathrm{\&lambda;}}_n)}^2}{{(P_{\mathrm{bn}}{\mathrm{\&lambda;}}_b+P_{\mathrm{nb}}{\mathrm{\&lambda;}}_n)}^2(P_{\mathrm{bn}}+P_{\mathrm{nb}})}.$ 公式(7)而总的客户端的I DC值计算如下：

$I=1+\frac{{{2P}_{\mathrm{bn}}{P}_{\mathrm{nb}}({\mathrm{N\&lambda;}}_b-{\mathrm{N\&lambda;}}_n)}^2}{{(P_{\mathrm{bn}}{\mathrm{N\&lambda;}}_b+P_{\mathrm{nb}}{\mathrm{N\&lambda;}}_n)}^2(P_{\mathrm{bn}}+P_{\mathrm{nb}})}$

$=1+\frac{{2P}_{\mathrm{bn}}{P}_{\mathrm{nb}}{({\mathrm{\&lambda;}}_b-{\mathrm{\&lambda;}}_n)}^2}{{(P_{\mathrm{bn}}{\mathrm{\&lambda;}}_b+P_{\mathrm{nb}}{\mathrm{\&lambda;}}_n)}^2(P_{\mathrm{bn}}+P_{\mathrm{nb}})}.$ 公式(8)

从公式(7)和公式（8）的计算结果可以发现总的客户端的I DC值与每个客户端的I DC值是相等的。因此，各个Faban每个负载驱动器（即客户端）之间不需要进行特殊处理。

第4步，负载突发性强度验证。为了验证本发明方法的准确性，需要将预期的IDC值（根据MAP2模型计算所得）与测量所得的IDC值进行对比分析。其中，预期的IDC值可以根据公式(7)计算而得，而测量所得的IDC值的计算方法为：

$I_{\mathrm{meas}}=\frac{\mathrm{var}\left(A\right)}{E\left(A\right)}(1+2\underset{j=1}{\overset{\&infin;}{\mathrm{\&Sigma;}}}{\mathrm{\&rho;}}_j).$ 公式(9)其中，A是测量得到的相等连续时间间隔（如1秒）请求到达数的一个随机变量；ρ_j是Lag值为j时A的自相关度。但是，在实际中，无法得到Lag值为无穷大时的自相关度。因此，如图7所示本发明在自相关度计算过程中设定一个可信边界±_b，在I_meas的计算过程中只选择自相关度绝对值大于b的Lag值。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (1)

1.针对闭合模型系统的突发性负载生成方法,其特征在于,包括如下步骤:

11）闭合系统负载特征建模步骤：

采用MAP2模型对突发性负载进行建模,所述MAP2模型由突发和正常2个状态组成，在突发状态下请求到达率为λ_b；在正常状态下请求到达率为λ_n，当负载生成器发送一个请求后，所述MAP2模型有一定概率P_bn或P_nb从一个状态跳转到另一个状态；

12）MAP2模型初始化步骤：

根据系统饱和状况，采用公式(a)近似求解系统请求达到率λ_N,Z：

公式（a）

其中,N_Z和Z_N是系统饱和状态的临界值，X_max是系统最大吞吐量；

通过配置MAP2突发和正常状态下的思考时间，以及用户数量N，可以得出λ_b和λ_n两个参数；

通过对突发性负载产生的系统访问日志的分析，得到的<λ_b,λ_n,t_b,t_n>四个参数，其中t_b和t_n分别表示突发状态和正常状态的持续时间。得到MAP2模型每个状态平均到达请求数：

E(k_b)＝Nλ_bt_b,E(k_n)＝Nλ_nt_n.            公式（b）根据MAP2模型中每个状态平均到达请求数又符合几何分布，即：

$E\left(\frac{k_b}{N}\right)=\frac{1}{P_{\mathrm{bn}}},$ $E\left(\frac{k_n}{N}\right)=\frac{1}{P_{\mathrm{nb}}}.$ 公式（c）

根据公式(b)和公式(c)，得到P_bn和P_nb，从而构造MAP2模型所需的两个矩阵D₀和D₁：

$D_0=\left[\begin{array}{cc}-{\mathrm{\&lambda;}}_b& 0\\ 0& -{\mathrm{\&lambda;}}_n\end{array}\right],$ $D_1=\left[\begin{array}{cc}(1-P_{\mathrm{bn}}){\mathrm{\&lambda;}}_b& P_{\mathrm{bn}}{\mathrm{\&lambda;}}_b\\ P_{\mathrm{nb}}{\mathrm{\&lambda;}}_n& (1-P_{\mathrm{nb}}){\mathrm{\&lambda;}}_n\end{array}\right].$ 公式（d）通过提供一个六元组<Z_b,Z_n，f,t_b，N，X_max>和一个系统性能临界值表T对MAP2模型进行初始化；其中，f是突发性负载产生的频率，定义如下：

f＝t_b/(t_b+t_n)           公式（e）

而系统性能临界值表T是由一系列的<N_Z,Z_N>记录组成，<N_Z,Z_N>可以通过系统日志获得；

13）基于Faban的突发性负载生成器的实现步骤：

利用负载生成框架Faban，设计了针对基准程序Cloudstone的突发性负载生成器，根据当前状态，确定思考时间指数分布的平均值Z，并根据Z随机生成一个具体的思考时间，然后，根据随机生成的一个概率值prob，判断是否需要进行状态跳转。

Images