CN108521352B - 基于随机回报网的在线云服务尾延迟预测方法 - Google Patents

Abstract

本发明涉及在线服务性能评估领域，为实现预测在线云服务请求的响应时间的分布和尾延迟，以用于系统性能预测，动态容量配置，瓶颈识别。为此，本发明采用的技术方案是，基于随机回报网的在线云服务尾延迟预测方法，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。本发明主要应用于在线服务性能评估。

Description

基于随机回报网的在线云服务尾延迟预测方法

技术领域

本发明涉及在线服务性能评估领域，具体讲,涉及基于随机回报网的在线云服务尾延迟预测方法。

背景技术

近年来，云计算市场迅速增长。大量企业应用程序，如社交网络、电子商务、视频流、电子邮件、网络搜索、MapReduce、Spark等，正在向云系统变迁。传统环境下，为保证用户体验质量，应用程序部署在数据中心的一个孤立的服务器集群上。为了提高云平台的资源利用率和节省成本，在同一物理服务器上部署不同的应用程序是一种新趋势。然而，应用程序部署在同一台服务器上会存在性能干扰，导致不可预测的性能和高尾延迟，严重影响用户体验质量甚至违反服务级别协议。在这种情况下，性能预测对维护用户体验质量有着关键作用。然而，干扰使云服务的性能预测面临挑战，尤其是对采用多层体系结构的云服务而言，因为在多层架构下，性能预测的错误可以跨层传播并具有级联效应。

在性能测试中，用户最关心的性能指标是响应时间。传统上以平均响应时间作为衡量在线服务处理能力的性能指标，而且计算平均响应时间的方法已成熟。但在云环境中，资源共享、多租户干扰和突发性工作负载会使响应时间分布存在长尾现象，使得响应时间的平均值无法真实反映系统服务水平，因此，使用响应时间分布或尾延迟能更好的刻画云端应用的处理能力。

目前存在一些模型用于计算闭环网络下的响应时间分布，如排队网络，马尔科夫链。排队网络没有一个统一的结构描述并发现象，马尔科夫链存在状态空间爆炸的情况。所有的计算方法基于闭环的网络，表示一个系统中拥有固定的客户数，现实中，系统中的客户数是随机的，客户的随机到达使得系统架构形成一个开环的网络。所以需要计算开环网络下的响应时间分布。

本发明根据在线服务的请求处理过程提出了基于随机回报网的开环网络模型，并根据模型实现了基于标签客户方法的响应时间分布求解方法来预测尾延迟。

发明内容

为克服现有技术的不足，本发明旨在实现预测在线云服务请求的响应时间的分布和尾延迟，以用于系统性能预测，动态容量配置，瓶颈识别。为此，本发明采用的技术方案是，基于随机回报网的在线云服务尾延迟预测方法，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。

模型构建具体步骤如下：

1)确定模型的层数n，即为请求经过服务器处理的不同服务器类型总数；

2)每类服务器的请求处理过程即一层可以表示成一个并发的队列，每层可以有一个或多个服务器，假设一层有m个服务器，一个服务器可以同时处理多个请求，当请求到达服务器时，如果服务器正在处理的请求数没有达到自身所能处理的最大请求数

请求立即接受服务器的处理，其中C_ij为第i层第j个服务器能够处理的最大请求数，反之，需要排队等待，若等待队列长度q_i已达上限容量

则该请求被拒绝，Q_ij为第i层第j个服务器的等待队列容量；每一层模型架构用随机回报网由四个库所和四个变迁组成，四个库所分别为P_{R_i}，P_{Q_i}，P_{S_i}，P_{trans_i_i+1}，其中库所P_{R_i}表示第i层的资源处于可用状态，库所P_{R_i}中的令牌数有初始值C_i，即可用资源数，即每层服务器一次能够处理的请求连接的总数，库所P_{S_i}表示第i层正在接受服务，库所P_{Q_i}表示第i层请求正在等待接受服务，库所P_{trans_i_i+1}表示请求在第i层处理完成，转向第i+1层。四个变迁为t_{trans_i_i+1}，t_{s_i}，T_{S_i}，t_{drop_i_0}，t_{trans_i_i+1}，t_{s_i}，t_{drop_i_0}为瞬时变迁，T_{S_i}为延时变迁，其中变迁t_{trans_i_i+1}表示请求从第i层到达第i+1层，变迁t_{s_i}表示请求接受服务，变迁T_{S_i}表示请求接受处理的过程，变迁t_{drop_i_0}表示请求被丢弃因为第i+1层的等待队列长度q_i等于等待队列的最大容量Q_i。变迁T_{S_i}的发生是依赖于库所P_{S_i}的，表示一个请求并发处理的过程，变迁T_{S_i}的发生率等于库所P_{S_i}的令牌数k乘以该层服务器处理一个请求的速度μ_i。在模型中，当请求到达任意一层时，如果库所P_{Q_i}中的令牌数小于C_i，则库所P_{Q_i}中的令牌数加1，表示请求连接建立成功；

3)根据服务器处理请求的顺序将每层单独的队列连成一个排队网络，前一层服务器的处理队列的输出是后一层服务器处理队列的输入，第一层服务器的处理队列有一个来自用户请求从客户端到达服务器端的过程，请求到达过程满足以λ为参数的泊松分布，每层队列可以接受请求，也可以根据等待队列容量拒绝请求，这里用变迁T_arri表示请求到达服务器端，库所P_{trans_i_i+1}表示层与层之间的交互，既可以表示上一层的输出，也可以表示下一层的输入，变迁t_{drop_i_0}表示请求被丢弃，因为第i+1层的等待队列长度q_i等于等待队列的最大容量Q_i，变迁t_{trans_i_i+1}表示请求由第i层到达第i+1层；

4)由以上三步确定模型的输入：每层队列的资源数C_i，等待队列的长度Q_i，请求到达服务器端的速率λ，第i层服务器的请求处理速率μ_i；并且所有的延时变迁服从指数分布；

5)由前三步确定模型相关实施函数如表1所示，实施函数为变迁发生的条件函数，其中#(P)表示库所P中的令牌数量，函数取值为1表示执行该变迁，取值为0表示不执行该变迁：

表1

6)变迁T_arri及t_{trans_i_i+1}表示请求到达队列，并且只有对应等待队列未满时变迁才会发生，如果变迁T_arri或t_{trans_i_i+1}发生，则库所P_{Q_i+1}中的令牌加1，表示请求已建立连接并等待处理；如果库所P_{Q_i}中有一个令牌并且库所P_{R_i}中的令牌至少有一个时，则变迁t_{s_i}发生，库所P_{S_i}中的令牌数加1，库所P_{Q_i}和P_{R_i}中的令牌数减1，表示请求接受处理；变迁T_{S_i}表示请求正在接受处理的过程，它的实际发生率等于服务速率乘以正在接受处理的请求数；变迁T_{S_i}发生后，一个令牌从库所P_{S_i}转移到P_{trans_i_i+1}表示请求在第i层处理完成；

7)服务器间是逐层调用相应功能的，在一层处理完后，结果会返回上一层。当上一层服务器收到下层请求处理完成的信息后请求与该下层服务器的连接才会断掉，即所有资源的释放在最后一层服务器处理完，从迁移T_{S_l}到库所P_{R_i}的弧表示资源的释放，i＝1，2，…，n，这意味着库所P_{R_i}的令牌数加1。

响应时间累积分布求解具体步骤是：

2.1标签客户模型的建立

1)在原模型的基础上去掉到达变迁T_arri，并为库所P_{R_i}，P_{Q_i}，P_{S_i}的令牌数赋予初始值c_i，s_i，q_i表示任意一个请求到达时系统的状态，即系统初始状态模型；

2)当任意一个请求到达系统时，为其建立一个单独的模型。该模型和初始状态模型相互制约。在原模型的基础上使用含有一个令牌的库所P_tag替代变迁T_arri表示任意一个请求的到达，把该请求看做标签请求，该标签请求到达时，系统处于初始状态；每一层模型在原模型的基础上去掉库所P_{R_i}，模型运行时，只有初始状态模型中某一层等待队列小于队列容量时，标签请求才能进入该层等待处理；只有初始状态模型中某一层等待队列为0并且能够处理的请求数没有达到最大值时，该标签请求在该层才能开始接受处理；请求在第n层处理完成后进入吸收态，使用库所Pt_fin表示。当库所Pt_fin中的令牌数不为0时，表示该请求处理完成，进入吸收态；

3)由前两步可得，模型的输入为：每层队列现有的资源数即能够处理的最大请求数c_i，等待队列的长度q_i，正在接受服务的请求数s_i，服务速率μ_i；

2.2响应时间累积分布的计算

1)列出任意一个请求到达时系统可能出现的所有初始状态m0∈T，状态用标签客户数，每层服务器正在处理的请求数，排队数以及当前支持的请求连接数组成的向量[1,s₁,q₁,c₁,s₂,q₂,c₂…s_n,q_n,c_n]表示，所有状态的概率之和Σπ_m0＝1；

2)通过稳定状态下系统处于上述状态的概率求出任意一个请求到达时系统所处状态的概率P_m0＝π_m0；

3)定义一个回报函数r_m0(t)表示在初始状态m0下t时刻标签客户是否到达吸收态；

#((Pt_fin),t)表示t时刻库所中的令牌数。

通过该回报函数可以求出在初始状态m0下t时刻标签客户到达吸收态的概率R_m0(t)；

4)通过求不同初始状态下t时刻标签客户到达吸收态的概率，得到t时刻请求被吸收的概率，通过求不同时刻请求吸收的概率，得到响应时间的累计分布函数：

R(t)＝∑[R_m0(t)×π_m0]，mO∈T

5)通过得到不同时刻请求吸收的概率，得到相应分位的尾延迟。

本发明的特点及有益效果是：

得到响应时间的累计分布，以直观的反应出系统的处理能力，并且能够根据不同的模型参数预测性能从而实现动态配置资源及寻找系统瓶颈的作用。

附图说明：

图1为多层架构的随机回报网模型；

图2为用于计算响应时间分布的标签客户模型；

图3为两层电商网站架构的随机回报网模型；

图4为用于计算两层架构的响应时间分布的标签客户模型。

图5为响应时间累计分布图。

具体实施方式

为使模型更贴合实际应用，本发明提出一种基于请求处理过程的随机回报网模型，并给出一种预测开环网络响应时间分布的方法。本发明主要由模型构建和响应时间累计分布计算两个模块组成。

1、模型构建模块

模型构建模块通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型。具体步骤如下：

1)确定模型的层数n，即为请求经过服务器处理的不同服务器类型总数；

2)每类服务器的请求处理过程即一层可以表示成一个并发的队列。每层可以有一个或多个服务器(假设一层有m个服务器)，一个服务器可以同时处理多个请求。当请求到达服务器时，如果服务器正在处理的请求数没有达到自身所能处理的最大请求数

(C_ij为第i层第j个服务器能够处理的最大请求数)，请求立即接受服务器的处理，反之，需要排队等待，若等待队列长度qi已达上限容量

(Q_ij为第i层第j个服务器的等待队列容量)，则该请求被拒绝。如图1所示，每一层架构可以表示成图中的一行。其中库所P_{R_i}表示第i层的资源处于可用状态，库所P_{R_i}中的令牌数有初始值C_i，即可用资源数，即每层服务器一次能够处理的请求连接的总数。库所P_{S_i}表示第i层请求正在接受服务，库所P_{Q_i}表示第i层请求正在等待接受服务。变迁t_{s_i}表示请求接受服务，变迁T_S__i表示请求接受处理的过程，从库所P_{S_i}到变迁T_{S_i}的弧上的#号表示变迁T_{S_i}的发生是依赖于库所P_{S_i}的，表示一个请求并发处理的过程，变迁T_{S_i}的发生率等于库所P_{S_i}的令牌数k乘以该层服务器处理一个请求的速度μ_i。在模型中，当请求到达任意一层时，如果库所P_{Q_i}中的令牌数小于C_i，则库所P_{Q_i}中的令牌数加1，表示请求连接建立成功；

3)根据服务器处理请求的顺序将每层单独的队列连成一个排队网络，前一层服务器的处理队列的输出是后一层服务器处理队列的输入，第一层服务器的处理队列有一个来自用户请求从客户端到达服务器端的过程，请求到达过程满足以λ为参数的泊松分布。每层队列可以接受请求，也可以根据等待队列容量拒绝请求。如图1所示，变迁T_arri表示请求到达服务器端。库所P_{trans_i_i+1}表示层与层之间的交互，既可以表示上一层的输出，也可以表示下一层的输入。变迁t_{drop_i_0}表示第i+1层的等待队列长度q_i等于等待队列的最大容量Q_i。变迁t_{trans_i_i+1}表示请求到达第i+1层。

4)由以上三步可以确定模型的输入：每层队列的资源数C_i，等待队列的长度Q_i，请求到达服务器端的速率λ，第i层服务器的请求处理速率μi；并且所有的延时变迁服从指数分布；

5)由前三步可以确定模型相关实施函数如表1所示；

表1

6)如图1所示，变迁T_arri及t_{trans_i_i+1}表示请求到达队列，并且只有对应等待队列未满时变迁才会发生，如果变迁T_arri或t_{trans_i_i+1}发生，则库所P_{Q_i+1}中的令牌加1，表示请求已建立连接并等待处理；如果库所P_{Q_i}中有一个令牌并且库所P_{R_i}中的令牌至少有一个时，则变迁t_{s_i}发生，库所P_{S_i}中的令牌数加1，库所P_{Q_i}和P_{R_i}中的令牌数减1，表示请求接受处理；变迁T_{S_i}表示请求正在接受处理的过程，它的实际发生率等于服务速率乘以正在接受处理的请求数；变迁T_{S_i}发生后，一个令牌从库所P_{S_i}转移到P_{trans_i_i+1}表示第i层请求处理完成；

7)服务器间是逐层调用相应功能的，在一层处理完后，结果会返回上一层。当上一层服务器收到下层请求处理完成的信息后请求与该下层服务器的连接才会断掉，即所有资源的释放在最后一层服务器处理完，从迁移T_{S_l}到库所P_{R_i}(i＝1，2，…，n)的弧表示资源的释放，这意味着库所P_{R_i}(i＝1，2，…，n)的令牌数加1。

2、响应时间累积分布求解模块

通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。

2.1标签客户模型的建立

1)如图2_1所示，在图1的基础上去掉请求到达过程，并使用每一层的正在接受服务的请求数s_i和正在排队的请求数q_i表示任意一个请求到达时系统的状态；

2)图2_2中库所P_tag表示任意一个请求的到达，把该请求看做标签请求，该标签请求到达时，系统处于图2_1的初始状态。变迁tt_S_₁的发生表示标签请求接受服务，图2_1和图2_2中的模型是相互制约的，只有初始状态模型中某一层等待队列小于队列容量时，标签请求才能进入该层等待处理；只有第一层等待队列为0并且能够处理的请求数没有达到最大值时，该标签请求才能开始接受服务；当库所Pt_fin中的令牌数不为0时，表示该请求处理完成，进入吸收态；

3)由前两步可得，模型的输入为：每层队列现有的资源数即能够处理的最大请求数c_i，等待队列的长度q_i，正在接受服务的请求数s_i，服务速率μ_i；

4)由上述可以得出，图2_1中各变迁的实施函数与图1相同，图2_2中的实施函数如表2所示；&&表示并且，||表示或。

表2

2.2响应时间累积分布的计算

1)列出任意一个请求到达时系统(图2)可能出现的所有初始状态m0∈T，，状态用标签客户数，每层服务器正在处理的请求数，排队数以及当前支持的请求连接数组成的向量[1,s₁,q₁,c₁,s₂,q₂,c₂…s_n,q_n,c_n]表示，所有状态的概率之和Σπ_m0＝1；

2)通过稳定状态下(图1)系统处于上述状态的概率求出任意一个请求到达时系统所处状态的概率P_m0＝π_m0；

3)定义一个回报函数r_m0(t)表示在初始状态m0下t时刻标签客户是否到达吸收态；

通过该回报函数可以求出在初始状态m0下t时刻标签客户到达吸收态的概率R_m0(t)。

4)通过求不同初始状态下t时刻标签客户到达吸收态的概率，我们可以得到t时刻请求被吸收的概率，通过求不同时刻请求吸收的概率，我们可以得到响应时间的累计分布R(t)。

R(t)＝∑[R_m0(t)×π_m0]，mO∈T

5)通过不同时刻请求吸收的概率，我们可以得到相应分位的尾延迟，如99分位的尾延迟，即99％的请求的延迟小于该时间。

以下结合附图及较佳实施例，对本发明所提出的模型和方法进行详细说明。

以两层电商应用(Tomcat+MySQL)为例，构建模型，计算响应时间的累计分布

1、模型构建模块

1)图3为两层电商网站架构的随机回报网模型；

2)模型的输入参数为:请求到达速率(λ)，Tomcat和MySQL的等待队列容量(Q_t,Q_m)，Tomcat和MySQL处理请求的速率(μt,μm)，Tomcat和MySQL所支持的最大请求连接数(C_t,C_m)；

3)模型中变迁的实施函数如表3所示。

表3

2响应时间分布求解模块

2.1标签客户模型的建立

1)图4为用于计算两层架构的响应时间分布的标签客户模型；

2)模型的输入参数为:初始状态Tomcat和MySQL中正在排队的请求数(q_t,q_m),正在接受服务的请求数(s_t,s_m),当前支持的最大请求连接数(c_t,c_m),服务速率(μ_t,μ_m)以及标签请求数(1)；

3)模型中变迁的实施函数如表4所示。&&表示并且，||表示或。

表4

2.2响应时间累计分布的计算

1)定义初始状态m0∈T＝[1,q_t,s_t,c_t,q_m,s_m,c_m]，其中1表示任意一个到达的请求,q_t＝[0,...,Q_t],s_t＝[0,...,C_t],c_t＝[0,...,C_t],q_m＝[0,...,Q_m],s_m＝[0,...,C_m],c_m＝[0,...,C_m],s_t+q_m+s_m+c_t＝Ct,s_m+n_m＝C_m。

2)利用图3中模型稳定状态下的相应状态的概率P_m0来求图4中模型的初始状态π_m0。通过以下回报函数可以求出稳态下的对应状态的概率。”and”表示并且

3)图4中库所Pt_fin不为0时表示标签客户到达吸收态，吸收状态回报函数表示如下：

通过上述回报函数可以得到标签客户在初始状态m0下t时刻被吸收的概率R_m0(t)。

4)通过求不同初始状态下t时刻标签客户到达吸收态的概率，我们可以得到t时刻请求被吸收的概率，通过求不同时刻请求吸收的概率，我们可以得到响应时间的累计分布函数R(t)。

R(t)＝Σ[R_m0(t)×π_m0],m0∈T

5)通过得到不同时刻请求吸收的概率，我们可以得到相应分位的尾延迟，如99分位的尾延迟，即99％的请求的延迟小于该时间。

2.3实例计算

1)假设图3的输入参数如表5。

表5

2)由上述参数可得标签客户模型的初始状态有341个。依次对标签客户模型赋予不同的初始状态求响应时间累计分布；

3)求得响应时间的累计分布如图5所示。图中cdf即累计分布函数。

4)通过得到不同时刻请求吸收的概率，我们可以得到相应分位的尾延迟，如99分位的尾延迟，即99％的请求的延迟小于该时间，可以得到99分位的尾延迟约为2.25秒。

Claims (1)

1.一种基于随机回报网的在线云服务尾延迟预测方法，其特征是，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布，所述系统所处状态即系统初始状态模型，请求的吸收态表示该请求处理完成；响应时间累积分布求解具体步骤是：

一、标签客户模型的建立

1)在原模型的基础上去掉到达变迁T_arri，并为库所P_{R_i}，P_{Q_i}，P_{S_i}的令牌数赋予初始值c_i，s_i，q_i表示任意一个请求到达时系统的状态，即系统初始状态模型；

2)当任意一个请求到达系统时，为其建立一个单独的模型，该模型和初始状态模型相互制约，在原模型的基础上使用含有一个令牌的库所P_tag替代变迁T_arri表示任意一个请求的到达，把该请求看做标签请求，该标签请求到达时，系统处于初始状态；每一层模型在原模型的基础上去掉库所P_{R_i}，模型运行时，只有初始状态模型中某一层等待队列小于队列容量时，标签请求才能进入该层等待处理；只有初始状态模型中某一层等待队列为0并且能够处理的请求数没有达到最大值时，该标签请求在该层才能开始接受处理；请求在第n层处理完成后进入吸收态，使用库所Pt_fin表示，当库所Pt_fin中的令牌数不为0时，表示该请求处理完成，进入吸收态；

3)由前两步可得，模型的输入为：每层队列现有的资源数即能够处理的最大请求数C_i，等待队列的长度q_i，正在接受服务的请求数s_i，第i层服务器的请求处理速率μ_i；

二、响应时间累积分布的计算

1)列出任意一个请求到达时系统可能出现的所有初始状态m0∈T，状态用标签客户数，每层服务器正在处理的请求数，排队数以及当前支持的请求连接数组成的向量[1,s₁,q₁,c₁,s₂,q₂,c₂…s_n,q_n,c_n]表示，所有状态的概率之和Σπ_m0＝1；

2)通过稳定状态下系统处于上述状态的概率求出任意一个请求到达时系统所处状态的概率P_m0＝π_m0；

3)定义一个回报函数r_m0(t)表示在初始状态m0下t时刻标签客户是否到达吸收态；

#((Pt_fin),t)表示t时刻库所中的令牌数，通过该回报函数可以求出在初始状态m0下t时刻标签客户到达吸收态的概率R_m0(t)；

4)通过求不同初始状态下t时刻标签客户到达吸收态的概率，得到t时刻请求被吸收的概率，通过求不同时刻请求吸收的概率，得到响应时间的累计分布函数：

R(t)＝∑[R_m0(t)×π_m0],m0∈T

5)通过得到不同时刻请求吸收的概率，得到相应分位的尾延迟；

其中，模型构建具体步骤如下：

1)确定模型的层数n，即为请求经过服务器处理的不同服务器类型总数；

2)每类服务器的请求处理过程即一层可以表示成一个并发的队列，每层可以有一个或多个服务器，假设一层有m个服务器，一个服务器可以同时处理多个请求，当请求到达服务器时，如果服务器正在处理的请求数没有达到自身所能处理的最大请求数

请求立即接受服务器的处理，其中C_ij为第i层第j个服务器能够处理的最大请求数，反之，需要排队等待，若等待队列长度q_i已达上限容量

则该请求被拒绝，Q_ij为第i层第j个服务器的等待队列容量；每一层模型架构用随机回报网由四个库所和四个变迁组成，四个库所分别为P_{R_i}，P_{Q_i}，P_{S_i}，P_{trans_i_i+1}，其中库所P_{R_i}表示第i层的资源处于可用状态，库所P_{R_i}中的令牌数有初始值c_i，即可用资源数，即每层服务器一次能够处理的请求连接的总数，库所P_{S_i}表示第i层正在接受服务，库所P_{Q_i}表示第i层请求正在等待接受服务，库所P_{trans_i_i+1}表示请求在第i层处理完成，转向第i+1层，四个变迁为t_{trans_i_i+1}，t_{s_i}，T_{S_i}，t_{drop_i_0}，t_{trans_i_i+1}，t_{s_i}，t_{drop_i_0}为瞬时变迁，T_{S_i}为延时变迁，其中变迁t_{trans_i_i+1}表示请求从第i层到达第i+1层，变迁t_{s_i}表示请求接受服务，变迁T_{S_i}表示请求接受处理的过程，变迁t_{drop_i_0}表示请求被丢弃因为第i+1层的等待队列长度q_i等于等待队列的最大容量Q_i，变迁T_{S_i}的发生是依赖于库所P_{S_i}的，表示一个请求并发处理的过程，变迁T_{S_i}的发生率等于库所P_{S_i}的令牌数k乘以该层服务器处理一个请求的速度μ_i，在模型中，当请求到达任意一层时，如果库所P_{Q_i}中的令牌数小于Q_i，则库所P_{Q_i}中的令牌数加1，表示请求连接建立成功；

3)根据服务器处理请求的顺序将每层单独的队列连成一个排队网络，前一层服务器的处理队列的输出是后一层服务器处理队列的输入，第一层服务器的处理队列有一个来自用户请求从客户端到达服务器端的过程，请求到达过程满足以λ为参数的泊松分布，每层队列可以接受请求，也可以根据等待队列容量拒绝请求，这里用变迁T_arri表示请求到达服务器端，库所P_{trans_i_i+1}表示层与层之间的交互，既可以表示上一层的输出，也可以表示下一层的输入，变迁t_{drop_i_0}表示请求被丢弃，因为第i+1层的等待队列长度q_i等于等待队列的最大容量Q_i，变迁t_{trans_i_i+1}表示请求由第i层到达第i+1层；

4)由以上三步确定模型的输入：每层队列的资源数C_i，等待队列的长度q_i，请求到达服务器端的速率λ，第i层服务器的请求处理速率μ_i；并且所有的延时变迁服从指数分布；

5)由2)-4)步确定模型相关实施函数如表1所示，实施函数为变迁发生的条件函数，其中#(P)表示库所P中的令牌数量，函数取值为1表示执行该变迁，取值为0表示不执行该变迁：

表1

6)变迁T_arri及t_{trans_i_i+1}表示请求到达队列，并且只有对应等待队列未满时变迁才会发生，如果变迁T_arri或t_{trans_i_i+1}发生，则库所P_{Q_i+1}中的令牌加1，表示请求已建立连接并等待处理；如果库所P_{Q_i}中有一个令牌并且库所P_{R_i}中的令牌至少有一个时，则变迁t_{s_i}发生，库所P_{S_i}中的令牌数加1，库所P_{Q_i}和P_{R_i}中的令牌数减1，表示请求接受处理；变迁T_{S_i}表示请求正在接受处理的过程，它的实际发生率等于服务速率乘以正在接受处理的请求数；变迁T_{S_i}发生后，一个令牌从库所P_{S_i}转移到P_{trans_i_i+1}表示请求在第i层处理完成；

7)服务器间是逐层调用相应功能的，在一层处理完后，结果会返回上一层，当上一层服务器收到下层请求处理完成的信息后请求与该下层服务器的连接才会断掉，即所有资源的释放在最后一层服务器处理完，从迁移T_{S_l}到库所P_{R_i}的弧表示资源的释放，i＝1，2，…，n，这意味着库所P_{R_i}的令牌数加1。

Images