CN108521352A - 基于随机回报网的在线云服务尾延迟预测方法 - Google Patents
基于随机回报网的在线云服务尾延迟预测方法 Download PDFInfo
- Publication number
- CN108521352A CN108521352A CN201810253092.2A CN201810253092A CN108521352A CN 108521352 A CN108521352 A CN 108521352A CN 201810253092 A CN201810253092 A CN 201810253092A CN 108521352 A CN108521352 A CN 108521352A
- Authority
- CN
- China
- Prior art keywords
- request
- layer
- indicate
- server
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Physics & Mathematics (AREA)
- Environmental & Geological Engineering (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及在线服务性能评估领域,为实现预测在线云服务请求的响应时间的分布和尾延迟,以用于系统性能预测,动态容量配置,瓶颈识别。为此,本发明采用的技术方案是,基于随机回报网的在线云服务尾延迟预测方法,包括模型构建和响应时间累计分布计算两部分,模型构建通过分析用户请求经过服务器的处理过程,得到一个基于开环排队网络的随机回报网模型;响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。本发明主要应用于在线服务性能评估。
Description
技术领域
本发明涉及在线服务性能评估领域,具体讲,涉及基于随机回报网的在线云服务尾延迟预测方法。
背景技术
近年来,云计算市场迅速增长。大量企业应用程序,如社交网络、电子商务、视频流、电子邮件、网络搜索、MapReduce、Spark等,正在向云系统变迁。传统环境下,为保证用户体验质量,应用程序部署在数据中心的一个孤立的服务器集群上。为了提高云平台的资源利用率和节省成本,在同一物理服务器上部署不同的应用程序是一种新趋势。然而,应用程序部署在同一台服务器上会存在性能干扰,导致不可预测的性能和高尾延迟,严重影响用户体验质量甚至违反服务级别协议。在这种情况下,性能预测对维护用户体验质量有着关键作用。然而,干扰使云服务的性能预测面临挑战,尤其是对采用多层体系结构的云服务而言,因为在多层架构下,性能预测的错误可以跨层传播并具有级联效应。
在性能测试中,用户最关心的性能指标是响应时间。传统上以平均响应时间作为衡量在线服务处理能力的性能指标,而且计算平均响应时间的方法已成熟。但在云环境中,资源共享、多租户干扰和突发性工作负载会使响应时间分布存在长尾现象,使得响应时间的平均值无法真实反映系统服务水平,因此,使用响应时间分布或尾延迟能更好的刻画云端应用的处理能力。
目前存在一些模型用于计算闭环网络下的响应时间分布,如排队网络,马尔科夫链。排队网络没有一个统一的结构描述并发现象,马尔科夫链存在状态空间爆炸的情况。所有的计算方法基于闭环的网络,表示一个系统中拥有固定的客户数,现实中,系统中的客户数是随机的,客户的随机到达使得系统架构形成一个开环的网络。所以需要计算开环网络下的响应时间分布。
本发明根据在线服务的请求处理过程提出了基于随机回报网的开环网络模型,并根据模型实现了基于标签客户方法的响应时间分布求解方法来预测尾延迟。
发明内容
为克服现有技术的不足,本发明旨在实现预测在线云服务请求的响应时间的分布和尾延迟,以用于系统性能预测,动态容量配置,瓶颈识别。为此,本发明采用的技术方案是,基于随机回报网的在线云服务尾延迟预测方法,包括模型构建和响应时间累计分布计算两部分,模型构建通过分析用户请求经过服务器的处理过程,得到一个基于开环排队网络的随机回报网模型;响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。
模型构建具体步骤如下:
1)确定模型的层数n,即为请求经过服务器处理的不同服务器类型总数;
2)每类服务器的请求处理过程即一层可以表示成一个并发的队列,每层可以有一个或多个服务器,假设一层有m个服务器,一个服务器可以同时处理多个请求,当请求到达服务器时,如果服务器正在处理的请求数没有达到自身所能处理的最大请求数请求立即接受服务器的处理,其中Cij为第i层第j个服务器能够处理的最大请求数,反之,需要排队等待,若等待队列长度qi已达上限容量则该请求被拒绝,Qij为第i层第j个服务器的等待队列容量;每一层模型架构用随机回报网由四个库所和四个变迁组成,四个库所分别为PR_i,PQ_i,PS_i,Ptrans_i_i+1,其中库所PR_i表示第i层的资源处于可用状态,库所PR_i中的令牌数有初始值Ci,即可用资源数,即每层服务器一次能够处理的请求连接的总数,库所PS_i表示第i层正在接受服务,库所PQ_i表示第i层请求正在等待接受服务,库所Ptrans_i_i+1表示请求在第i层处理完成,转向第i+1层。四个变迁为ttrans_i_i+1,ts_i,TS_i,tdrop_i_0,ttrans_i_i+1,ts_i,tdrop_i_0为瞬时变迁,TS_i为延时变迁,其中变迁ttrans_i_i+1表示请求从第i层到达第i+1层,变迁ts_i表示请求接受服务,变迁TS_i表示请求接受处理的过程,变迁tdrop_i_0表示请求被丢弃因为第i+1层的等待队列长度qi等于等待队列的最大容量Qi。变迁TS_i的发生是依赖于库所PS_i的,表示一个请求并发处理的过程,变迁TS_i的发生率等于库所PS_i的令牌数k乘以该层服务器处理一个请求的速度μi。在模型中,当请求到达任意一层时,如果库所PQ_i中的令牌数小于Ci,则库所PQ_i中的令牌数加1,表示请求连接建立成功;
3)根据服务器处理请求的顺序将每层单独的队列连成一个排队网络,前一层服务器的处理队列的输出是后一层服务器处理队列的输入,第一层服务器的处理队列有一个来自用户请求从客户端到达服务器端的过程,请求到达过程满足以λ为参数的泊松分布,每层队列可以接受请求,也可以根据等待队列容量拒绝请求,这里用变迁Tarri表示请求到达服务器端,库所Ptrans_i_i+1表示层与层之间的交互,既可以表示上一层的输出,也可以表示下一层的输入,变迁tdrop_i_0表示请求被丢弃,因为第i+1层的等待队列长度qi等于等待队列的最大容量Qi,变迁ttrans_i_i+1表示请求由第i层到达第i+1层;
4)由以上三步确定模型的输入:每层队列的资源数Ci,等待队列的长度Qi,请求到达服务器端的速率λ,第i层服务器的请求处理速率μi;并且所有的延时变迁服从指数分布;
5)由前三步确定模型相关实施函数如表1所示,实施函数为变迁发生的条件函数,其中#(P)表示库所P中的令牌数量,函数取值为1表示执行该变迁,取值为0表示不执行该变迁:
表1
6)变迁Tarri及ttrans_i_i+1表示请求到达队列,并且只有对应等待队列未满时变迁才会发生,如果变迁Tarri或ttrans_i_i+1发生,则库所PQ_i+1中的令牌加1,表示请求已建立连接并等待处理;如果库所PQ_i中有一个令牌并且库所PR_i中的令牌至少有一个时,则变迁ts_i发生,库所PS_i中的令牌数加1,库所PQ_i和PR_i中的令牌数减1,表示请求接受处理;变迁TS_i表示请求正在接受处理的过程,它的实际发生率等于服务速率乘以正在接受处理的请求数;变迁TS_i发生后,一个令牌从库所PS_i转移到Ptrans_i_i+1表示请求在第i层处理完成;
7)服务器间是逐层调用相应功能的,在一层处理完后,结果会返回上一层。当上一层服务器收到下层请求处理完成的信息后请求与该下层服务器的连接才会断掉,即所有资源的释放在最后一层服务器处理完,从迁移TS_l到库所PR_i的弧表示资源的释放,i=1,2,…,n,这意味着库所PR_i的令牌数加1。
响应时间累积分布求解具体步骤是:
2.1标签客户模型的建立
1)在原模型的基础上去掉到达变迁Tarri,并为库所PR_i,PQ_i,PS_i的令牌数赋予初始值ci,si,qi表示任意一个请求到达时系统的状态,即系统初始状态模型;
2)当任意一个请求到达系统时,为其建立一个单独的模型。该模型和初始状态模型相互制约。在原模型的基础上使用含有一个令牌的库所Ptag替代变迁Tarri表示任意一个请求的到达,把该请求看做标签请求,该标签请求到达时,系统处于初始状态;每一层模型在原模型的基础上去掉库所PR_i,模型运行时,只有初始状态模型中某一层等待队列小于队列容量时,标签请求才能进入该层等待处理;只有初始状态模型中某一层等待队列为0并且能够处理的请求数没有达到最大值时,该标签请求在该层才能开始接受处理;请求在第n层处理完成后进入吸收态,使用库所Ptfin表示。当库所Ptfin中的令牌数不为0时,表示该请求处理完成,进入吸收态;
3)由前两步可得,模型的输入为:每层队列现有的资源数即能够处理的最大请求数ci,等待队列的长度qi,正在接受服务的请求数si,服务速率μi;
2.2响应时间累积分布的计算
1)列出任意一个请求到达时系统可能出现的所有初始状态m0∈T,状态用标签客户数,每层服务器正在处理的请求数,排队数以及当前支持的请求连接数组成的向量[1,s1,q1,c1,s2,q2,c2…sn,qn,cn]表示,所有状态的概率之和Σπm0=1;
2)通过稳定状态下系统处于上述状态的概率求出任意一个请求到达时系统所处状态的概率Pm0=πm0;
3)定义一个回报函数rm0(t)表示在初始状态m0下t时刻标签客户是否到达吸收态;
#((Ptfin),t)表示t时刻库所中的令牌数。
通过该回报函数可以求出在初始状态m0下t时刻标签客户到达吸收态的概率Rm0(t);
4)通过求不同初始状态下t时刻标签客户到达吸收态的概率,得到t时刻请求被吸收的概率,通过求不同时刻请求吸收的概率,得到响应时间的累计分布函数:
R(t)=∑[Rm0(t)×πm0],mO∈T
5)通过得到不同时刻请求吸收的概率,得到相应分位的尾延迟。
本发明的特点及有益效果是:
得到响应时间的累计分布,以直观的反应出系统的处理能力,并且能够根据不同的模型参数预测性能从而实现动态配置资源及寻找系统瓶颈的作用。
附图说明:
图1为多层架构的随机回报网模型;
图2为用于计算响应时间分布的标签客户模型;
图3为两层电商网站架构的随机回报网模型;
图4为用于计算两层架构的响应时间分布的标签客户模型。
图5为响应时间累计分布图。
具体实施方式
为使模型更贴合实际应用,本发明提出一种基于请求处理过程的随机回报网模型,并给出一种预测开环网络响应时间分布的方法。本发明主要由模型构建和响应时间累计分布计算两个模块组成。
1、模型构建模块
模型构建模块通过分析用户请求经过服务器的处理过程,得到一个基于开环排队网络的随机回报网模型。具体步骤如下:
1)确定模型的层数n,即为请求经过服务器处理的不同服务器类型总数;
2)每类服务器的请求处理过程即一层可以表示成一个并发的队列。每层可以有一个或多个服务器(假设一层有m个服务器),一个服务器可以同时处理多个请求。当请求到达服务器时,如果服务器正在处理的请求数没有达到自身所能处理的最大请求数(Cij为第i层第j个服务器能够处理的最大请求数),请求立即接受服务器的处理,反之,需要排队等待,若等待队列长度qi已达上限容量(Qij为第i层第j个服务器的等待队列容量),则该请求被拒绝。如图1所示,每一层架构可以表示成图中的一行。其中库所PR_i表示第i层的资源处于可用状态,库所PR_i中的令牌数有初始值Ci,即可用资源数,即每层服务器一次能够处理的请求连接的总数。库所PS_i表示第i层请求正在接受服务,库所PQ_i表示第i层请求正在等待接受服务。变迁ts_i表示请求接受服务,变迁TS_i表示请求接受处理的过程,从库所PS_i到变迁TS_i的弧上的#号表示变迁TS_i的发生是依赖于库所PS_i的,表示一个请求并发处理的过程,变迁TS_i的发生率等于库所PS_i的令牌数k乘以该层服务器处理一个请求的速度μi。在模型中,当请求到达任意一层时,如果库所PQ_i中的令牌数小于Ci,则库所PQ_i中的令牌数加1,表示请求连接建立成功;
3)根据服务器处理请求的顺序将每层单独的队列连成一个排队网络,前一层服务器的处理队列的输出是后一层服务器处理队列的输入,第一层服务器的处理队列有一个来自用户请求从客户端到达服务器端的过程,请求到达过程满足以λ为参数的泊松分布。每层队列可以接受请求,也可以根据等待队列容量拒绝请求。如图1所示,变迁Tarri表示请求到达服务器端。库所Ptrans_i_i+1表示层与层之间的交互,既可以表示上一层的输出,也可以表示下一层的输入。变迁tdrop_i_0表示第i+1层的等待队列长度qi等于等待队列的最大容量Qi。变迁ttrans_i_i+1表示请求到达第i+1层。
4)由以上三步可以确定模型的输入:每层队列的资源数Ci,等待队列的长度Qi,请求到达服务器端的速率λ,第i层服务器的请求处理速率μi;并且所有的延时变迁服从指数分布;
5)由前三步可以确定模型相关实施函数如表1所示;
表1
6)如图1所示,变迁Tarri及ttrans_i_i+1表示请求到达队列,并且只有对应等待队列未满时变迁才会发生,如果变迁Tarri或ttrans_i_i+1发生,则库所PQ_i+1中的令牌加1,表示请求已建立连接并等待处理;如果库所PQ_i中有一个令牌并且库所PR_i中的令牌至少有一个时,则变迁ts_i发生,库所PS_i中的令牌数加1,库所PQ_i和PR_i中的令牌数减1,表示请求接受处理;变迁TS_i表示请求正在接受处理的过程,它的实际发生率等于服务速率乘以正在接受处理的请求数;变迁TS_i发生后,一个令牌从库所PS_i转移到Ptrans_i_i+1表示第i层请求处理完成;
7)服务器间是逐层调用相应功能的,在一层处理完后,结果会返回上一层。当上一层服务器收到下层请求处理完成的信息后请求与该下层服务器的连接才会断掉,即所有资源的释放在最后一层服务器处理完,从迁移TS_l到库所PR_i(i=1,2,…,n)的弧表示资源的释放,这意味着库所PR_i(i=1,2,…,n)的令牌数加1。
2、响应时间累积分布求解模块
通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。
2.1标签客户模型的建立
1)如图2_1所示,在图1的基础上去掉请求到达过程,并使用每一层的正在接受服务的请求数si和正在排队的请求数qi表示任意一个请求到达时系统的状态;
2)图2_2中库所Ptag表示任意一个请求的到达,把该请求看做标签请求,该标签请求到达时,系统处于图2_1的初始状态。变迁ttS_1的发生表示标签请求接受服务,图2_1和图2_2中的模型是相互制约的,只有初始状态模型中某一层等待队列小于队列容量时,标签请求才能进入该层等待处理;只有第一层等待队列为0并且能够处理的请求数没有达到最大值时,该标签请求才能开始接受服务;当库所Ptfin中的令牌数不为0时,表示该请求处理完成,进入吸收态;
3)由前两步可得,模型的输入为:每层队列现有的资源数即能够处理的最大请求数ci,等待队列的长度qi,正在接受服务的请求数si,服务速率μi;
4)由上述可以得出,图2_1中各变迁的实施函数与图1相同,图2_2中的实施函数如表2所示;&&表示并且,||表示或。
表2
2.2响应时间累积分布的计算
1)列出任意一个请求到达时系统(图2)可能出现的所有初始状态m0∈T,,状态用标签客户数,每层服务器正在处理的请求数,排队数以及当前支持的请求连接数组成的向量[1,s1,q1,c1,s2,q2,c2…sn,qn,cn]表示,所有状态的概率之和Σπm0=1;
2)通过稳定状态下(图1)系统处于上述状态的概率求出任意一个请求到达时系统所处状态的概率Pm0=πm0;
3)定义一个回报函数rm0(t)表示在初始状态m0下t时刻标签客户是否到达吸收态;
通过该回报函数可以求出在初始状态m0下t时刻标签客户到达吸收态的概率Rm0(t)。
4)通过求不同初始状态下t时刻标签客户到达吸收态的概率,我们可以得到t时刻请求被吸收的概率,通过求不同时刻请求吸收的概率,我们可以得到响应时间的累计分布R(t)。
R(t)=∑[Rm0(t)×πm0],mO∈T
5)通过不同时刻请求吸收的概率,我们可以得到相应分位的尾延迟,如99分位的尾延迟,即99%的请求的延迟小于该时间。
以下结合附图及较佳实施例,对本发明所提出的模型和方法进行详细说明。
以两层电商应用(Tomcat+MySQL)为例,构建模型,计算响应时间的累计分布
1、模型构建模块
1)图3为两层电商网站架构的随机回报网模型;
2)模型的输入参数为:请求到达速率(λ),Tomcat和MySQL的等待队列容量(Qt,Qm),Tomcat和MySQL处理请求的速率(μt,μm),Tomcat和MySQL所支持的最大请求连接数(Ct,Cm);
3)模型中变迁的实施函数如表3所示。
表3
2响应时间分布求解模块
2.1标签客户模型的建立
1)图4为用于计算两层架构的响应时间分布的标签客户模型;
2)模型的输入参数为:初始状态Tomcat和MySQL中正在排队的请求数(qt,qm),正在接受服务的请求数(st,sm),当前支持的最大请求连接数(ct,cm),服务速率(μt,μm)以及标签请求数(1);
3)模型中变迁的实施函数如表4所示。&&表示并且,||表示或。
表4
2.2响应时间累计分布的计算
1)定义初始状态m0∈T=[1,qt,st,ct,qm,sm,cm],其中1表示任意一个到达的请求,qt=[0,...,Qt],st=[0,...,Ct],ct=[0,...,Ct],qm=[0,...,Qm],sm=[0,...,Cm],cm=[0,...,Cm],st+qm+sm+ct=Ct,sm+nm=Cm。
2)利用图3中模型稳定状态下的相应状态的概率Pm0来求图4中模型的初始状态πm0。通过以下回报函数可以求出稳态下的对应状态的概率。”and”表示并且
3)图4中库所Ptfin不为0时表示标签客户到达吸收态,吸收状态回报函数表示如下:
通过上述回报函数可以得到标签客户在初始状态m0下t时刻被吸收的概率Rm0(t)。
4)通过求不同初始状态下t时刻标签客户到达吸收态的概率,我们可以得到t时刻请求被吸收的概率,通过求不同时刻请求吸收的概率,我们可以得到响应时间的累计分布函数R(t)。
R(t)=Σ[Rm0(t)×πm0],m0∈T
5)通过得到不同时刻请求吸收的概率,我们可以得到相应分位的尾延迟,如99分位的尾延迟,即99%的请求的延迟小于该时间。
2.3实例计算
1)假设图3的输入参数如表5。
表5
2)由上述参数可得标签客户模型的初始状态有341个。依次对标签客户模型赋予不同的初始状态求响应时间累计分布;
3)求得响应时间的累计分布如图5所示。图中cdf即累计分布函数。
4)通过得到不同时刻请求吸收的概率,我们可以得到相应分位的尾延迟,如99分位的尾延迟,即99%的请求的延迟小于该时间,可以得到99分位的尾延迟约为2.25秒。
Claims (3)
1.一种基于随机回报网的在线云服务尾延迟预测方法,其特征是,包括模型构建和响应时间累计分布计算两部分,模型构建通过分析用户请求经过服务器的处理过程,得到一个基于开环排队网络的随机回报网模型;响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。
2.如权利要求1所述的基于随机回报网的在线云服务尾延迟预测方法,其特征是,模型构建具体步骤如下:
1)确定模型的层数n,即为请求经过服务器处理的不同服务器类型总数;
2)每类服务器的请求处理过程即一层可以表示成一个并发的队列,每层可以有一个或多个服务器,假设一层有m个服务器,一个服务器可以同时处理多个请求,当请求到达服务器时,如果服务器正在处理的请求数没有达到自身所能处理的最大请求数请求立即接受服务器的处理,其中Cij为第i层第j个服务器能够处理的最大请求数,反之,需要排队等待,若等待队列长度qi已达上限容量则该请求被拒绝,Qij为第i层第j个服务器的等待队列容量;每一层模型架构用随机回报网由四个库所和四个变迁组成,四个库所分别为PR_i,PQ_i,PS_i,Ptrans_i_i+1,其中库所PR_i表示第i层的资源处于可用状态,库所PR_i中的令牌数有初始值Ci,即可用资源数,即每层服务器一次能够处理的请求连接的总数,库所PS_i表示第i层正在接受服务,库所PQ_i表示第i层请求正在等待接受服务,库所Ptrans_i_i+1表示请求在第i层处理完成,转向第i+1层,四个变迁为ttrans_i_i+1,ts_i,TS_i,tdrop_i_0,ttrans_i_i+1,ts_i,tdrop_i_0为瞬时变迁,TS_i为延时变迁,其中变迁ttrans_i_i+1表示请求从第i层到达第i+1层,变迁ts_i表示请求接受服务,变迁TS_i表示请求接受处理的过程,变迁tdrop_i_0表示请求被丢弃因为第i+1层的等待队列长度qi等于等待队列的最大容量Qi,变迁TS_i的发生是依赖于库所PS_i的,表示一个请求并发处理的过程,变迁TS_i的发生率等于库所PS_i的令牌数k乘以该层服务器处理一个请求的速度μi,在模型中,当请求到达任意一层时,如果库所PQ_i中的令牌数小于Ci,则库所PQ_i中的令牌数加1,表示请求连接建立成功;
3)根据服务器处理请求的顺序将每层单独的队列连成一个排队网络,前一层服务器的处理队列的输出是后一层服务器处理队列的输入,第一层服务器的处理队列有一个来自用户请求从客户端到达服务器端的过程,请求到达过程满足以λ为参数的泊松分布,每层队列可以接受请求,也可以根据等待队列容量拒绝请求,这里用变迁Tarri表示请求到达服务器端,库所Ptrans_i_i+1表示层与层之间的交互,既可以表示上一层的输出,也可以表示下一层的输入,变迁tdrop_i_0表示请求被丢弃,因为第i+1层的等待队列长度qi等于等待队列的最大容量Qi,变迁ttrans_i_i+1表示请求由第i层到达第i+1层;
4)由以上三步确定模型的输入:每层队列的资源数Ci,等待队列的长度Qi,请求到达服务器端的速率λ,第i层服务器的请求处理速率μi;并且所有的延时变迁服从指数分布;
5)由前三步确定模型相关实施函数如表1所示,实施函数为变迁发生的条件函数,其中#(P)表示库所P中的令牌数量,函数取值为1表示执行该变迁,取值为0表示不执行该变迁:
表1
6)变迁Tarri及ttrans_i_i+1表示请求到达队列,并且只有对应等待队列未满时变迁才会发生,如果变迁Tarri或ttrans_i_i+1发生,则库所PQ_i+1中的令牌加1,表示请求已建立连接并等待处理;如果库所PQ_i中有一个令牌并且库所PR_i中的令牌至少有一个时,则变迁ts_i发生,库所PS_i中的令牌数加1,库所PQ_i和PR_i中的令牌数减1,表示请求接受处理;变迁TS_i表示请求正在接受处理的过程,它的实际发生率等于服务速率乘以正在接受处理的请求数;变迁TS_i发生后,一个令牌从库所PS_i转移到Ptrans_i_i+1表示请求在第i层处理完成;
7)服务器间是逐层调用相应功能的,在一层处理完后,结果会返回上一层,当上一层服务器收到下层请求处理完成的信息后请求与该下层服务器的连接才会断掉,即所有资源的释放在最后一层服务器处理完,从迁移TS_l到库所PR_i的弧表示资源的释放,i=1,2,…,n,这意味着库所PR_i的令牌数加1。
3.如权利要求1所述的基于随机回报网的在线云服务尾延迟预测方法,其特征是,响应时间累积分布求解具体步骤是:
2.1标签客户模型的建立
1)在原模型的基础上去掉到达变迁Tarri,并为库所PR_i,PQ_i,PS_i的令牌数赋予初始值ci,si,qi表示任意一个请求到达时系统的状态,即系统初始状态模型;
2)当任意一个请求到达系统时,为其建立一个单独的模型,该模型和初始状态模型相互制约,在原模型的基础上使用含有一个令牌的库所Ptag替代变迁Tarri表示任意一个请求的到达,把该请求看做标签请求,该标签请求到达时,系统处于初始状态;每一层模型在原模型的基础上去掉库所PR_i,模型运行时,只有初始状态模型中某一层等待队列小于队列容量时,标签请求才能进入该层等待处理;只有初始状态模型中某一层等待队列为0并且能够处理的请求数没有达到最大值时,该标签请求在该层才能开始接受处理;请求在第n层处理完成后进入吸收态,使用库所Ptfin表示,当库所Ptfin中的令牌数不为0时,表示该请求处理完成,进入吸收态;
3)由前两步可得,模型的输入为:每层队列现有的资源数即能够处理的最大请求数ci,等待队列的长度qi,正在接受服务的请求数si,服务速率μi;
2.2响应时间累积分布的计算
1)列出任意一个请求到达时系统可能出现的所有初始状态m0∈T,状态用标签客户数,每层服务器正在处理的请求数,排队数以及当前支持的请求连接数组成的向量[1,s1,q1,c1,s2,q2,c2…sn,qn,cn]表示,所有状态的概率之和Σπm0=1;
2)通过稳定状态下系统处于上述状态的概率求出任意一个请求到达时系统所处状态的概率Pm0=πm0;
3)定义一个回报函数rm0(t)表示在初始状态m0下t时刻标签客户是否到达吸收态;
#((Ptfin),t)表示t时刻库所中的令牌数,通过该回报函数可以求出在初始状态m0下t时刻标签客户到达吸收态的概率Rm0(t);
4)通过求不同初始状态下t时刻标签客户到达吸收态的概率,得到t时刻请求被吸收的概率,通过求不同时刻请求吸收的概率,得到响应时间的累计分布函数:
R(t)=Σ[Rm0(t)×πm0],m0∈T
5)通过得到不同时刻请求吸收的概率,得到相应分位的尾延迟。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810253092.2A CN108521352B (zh) | 2018-03-26 | 2018-03-26 | 基于随机回报网的在线云服务尾延迟预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810253092.2A CN108521352B (zh) | 2018-03-26 | 2018-03-26 | 基于随机回报网的在线云服务尾延迟预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108521352A true CN108521352A (zh) | 2018-09-11 |
CN108521352B CN108521352B (zh) | 2022-07-22 |
Family
ID=63434210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810253092.2A Active CN108521352B (zh) | 2018-03-26 | 2018-03-26 | 基于随机回报网的在线云服务尾延迟预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108521352B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597680A (zh) * | 2018-10-22 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 任务排队响应参数估算方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101964755A (zh) * | 2010-11-03 | 2011-02-02 | 中南大学 | 高带宽延时网络中基于带宽估计的显式拥塞控制方法 |
CN105631196A (zh) * | 2015-12-22 | 2016-06-01 | 中国科学院软件研究所 | 一种面向微服务架构的容器级弹性资源供给系统及方法 |
US9471585B1 (en) * | 2013-12-20 | 2016-10-18 | Amazon Technologies, Inc. | Decentralized de-duplication techniques for largescale data streams |
CN106407007A (zh) * | 2016-08-31 | 2017-02-15 | 上海交通大学 | 面向弹性分析流程的云资源配置优化方法 |
US20170236072A1 (en) * | 2016-02-12 | 2017-08-17 | Google Inc. | Robust Large-Scale Machine Learning in the Cloud |
CN107302447A (zh) * | 2017-05-18 | 2017-10-27 | 上海交通大学 | 一种基于复杂系统的多层数据分析方法 |
-
2018
- 2018-03-26 CN CN201810253092.2A patent/CN108521352B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101964755A (zh) * | 2010-11-03 | 2011-02-02 | 中南大学 | 高带宽延时网络中基于带宽估计的显式拥塞控制方法 |
US9471585B1 (en) * | 2013-12-20 | 2016-10-18 | Amazon Technologies, Inc. | Decentralized de-duplication techniques for largescale data streams |
CN105631196A (zh) * | 2015-12-22 | 2016-06-01 | 中国科学院软件研究所 | 一种面向微服务架构的容器级弹性资源供给系统及方法 |
US20170236072A1 (en) * | 2016-02-12 | 2017-08-17 | Google Inc. | Robust Large-Scale Machine Learning in the Cloud |
CN106407007A (zh) * | 2016-08-31 | 2017-02-15 | 上海交通大学 | 面向弹性分析流程的云资源配置优化方法 |
CN107302447A (zh) * | 2017-05-18 | 2017-10-27 | 上海交通大学 | 一种基于复杂系统的多层数据分析方法 |
Non-Patent Citations (4)
Title |
---|
BRUNEO D.: "A Stochastic Model to Investigate Data Center Performance and QoS", 《IEEE TRANSACTIONS ON PARALLEL DISTRIBUTED》 * |
TIMOTHY ZHU: "SNC-Meister: Admitting More Tenants with Tail Latency SLOs", 《ASSOCIATION FOR COMPUTING MACHINERY——SOCC"16:ACM SYMPOSIUM ON CLOUD COMPUTING》 * |
包云岗: "数据中心保障应用服务质量面临的挑战与机遇", 《集成技术》 * |
张颖超: "基于排队论的多层Web应用性能分析模型研究", 《中国优秀硕士学位全文数据库》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109597680A (zh) * | 2018-10-22 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 任务排队响应参数估算方法及装置 |
CN109597680B (zh) * | 2018-10-22 | 2023-07-07 | 创新先进技术有限公司 | 任务排队响应参数估算方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108521352B (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Du et al. | Learning resource allocation and pricing for cloud profit maximization | |
CN106020715B (zh) | 存储池容量管理 | |
Ghosh et al. | Modeling and performance analysis of large scale IaaS clouds | |
CN104580306B (zh) | 一种多终端备份服务系统及其任务调度方法 | |
CN103064744B (zh) | 一种基于SLA的面向多层Web应用的资源优化方法 | |
Castiglione et al. | Modeling performances of concurrent big data applications | |
WO2012033909A2 (en) | Method and system of simulating a data center | |
WO2024037368A1 (zh) | 调度装置的调度优化方法、调度装置和存储介质 | |
Khazaei et al. | Performance analysis of cloud computing centers | |
Lin et al. | Performance evaluation of job schedulers on Hadoop YARN | |
Shenbaga Moorthy et al. | Optimal provisioning and scheduling of analytics as a service in cloud computing | |
Varghese et al. | A survey on edge benchmarking | |
Rak | Performance modeling using queueing Petri nets | |
Yu et al. | A hybrid GP-Tabu approach to QoS-aware data intensive Web service composition | |
CN108521352A (zh) | 基于随机回报网的在线云服务尾延迟预测方法 | |
CN108540407A (zh) | 一种大数据平台中Spark Streaming接收器动态配置方法及装置 | |
Jiang et al. | Performance analysis of heterogeneous cloud-edge services: A modeling approach | |
Yang et al. | Trust-based scheduling strategy for cloud workflow applications | |
CN114969209B (zh) | 训练方法及装置、预测资源消耗量的方法及装置 | |
Wasi-ur-Rahman et al. | Performance modeling for RDMA-enhanced hadoop MapReduce | |
Rak | Performance analysis of distributed Internet system models using QPN simulation | |
Ponnuswami et al. | Evaluating data-parallel distributed training strategies | |
CN114741161A (zh) | 一种基于混合集群的hpc作业集群感知方法 | |
Xiong et al. | DCMIX: generating mixed workloads for the cloud data center | |
Liu et al. | Queue-waiting-time based load balancing algorithm for fine-grain microservices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |