CN105872043B - 交互应用在云部署中的延迟差异平衡方法 - Google Patents

Abstract

本发明提出一种交互应用在云部署中的延迟差异平衡方法，包括以下步骤：将交互性负载流插入第一队列，将非交互性负载流插入第二队列；分别计算交互性负载流和非交互性负载流的到达速率、占用虚拟机时间和离开速率；建立第一队列模型和第二队列模型；根据第一队列模型和第二队列模型计算第一队列长度和第二队列长度；计算第一队列的预计整体响应时间和第二队列的预计整体响应时间；调整第一队列应分配的网络服务资源量和第二队列应分配的网络服务资源量，以使第一队列的整体响应时间与所述第二队列的整体响应时间相同。本发明能够使用户体验更稳定，且大大缩短了交互性负载流的响应时间。

Description

交互应用在云部署中的延迟差异平衡方法

技术领域

本发明涉及网络技术领域，特别涉及一种交互应用在云部署中的延迟差异平衡方法。

背景技术

随着越来越多的服务被部署到云上，虚拟机需要处理各种不同类型的数据流，为用户提供有效可靠的服务。一般可以把所有数据流分为两类：一类是非交互性的负载流，例如数值计算和图像处理等；另一类是交互性负载流，例如复杂游戏控制，实时白板等。非交互性的负载流拥有软截止时间，可以在服务器空闲时间完成即可；而交互性的负载流对实时性要求较高，且负载流需要多次进入虚拟机队列，导致延迟增大。因此，造成用户体验在很大程度上的不稳定，因此需要一种平衡不同请求延迟的负载流调度方法。

已有的较为经典的算法可以大致分为两类。一类方法主要关注网络和处理延迟，采用最近服务器分配或生长树的方法，缩短所有流的响应时间。另一类是采用网络服务(web service)的方法，聚焦在请求或相应的后台服务过程。

然而，上述两种方法缺乏对交互性负载流延迟敏感的特性分析，不能保证交互性操作的性能和延迟，使得响应时间超过用户的等待容忍上限，造成用户流失。换言之，上述两种方法都忽略了在线交互应用的特性，没有考虑不同数据流的不同性质和对相应时间的不同要求。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的目的在于提出一种交互应用在云部署中的延迟差异平衡方法，该方法能够使用户体验更稳定，且大大缩短了交互性负载流的响应时间。

为了实现上述目的，本发明的实施例提出了一种交互应用在云部署中的延迟差异平衡方法，包括以下步骤：S1：将数据流分为交互性负载流和非交互行负载流，并将所述交互性负载流插入第一队列，将所述非交互性负载流插入第二队列；S2：计算将所述交互性负载流插入第一队列时的第一到达速率、第一占用虚拟机时间和第一离开速率，并计算将所述非交互性负载流插入所述第二队列时的第二到达速率、第二占用虚拟机时间和第二离开速率；S3：根据所述第一队列的延迟容忍离开速率、第一达到速率、第一离开速率建立第一队列模型，并根据所述第二队列的延迟容忍离开速率、第二达到速率和第二离开速率建立第二队列模型；S4：分别根据所述第一队列模型和第二队列模型计算第一队列长度和第二队列长度；S5：根据所述第一队列长度和所述交互性负载流占用其它虚拟机的时间计算所述第一队列的预计整体响应时间，并根据所述第二队列长度计算所述第二队列的预计整体响应时间；以及S6：调整所述第一队列应分配的网络服务资源量和所述第二队列应分配的网络服务资源量，以使所述第一队列的预计整体响应时间与所述第二队列的预计整体响应时间相同。

根据本发明实施例的交互应用在云部署中的延迟差异平衡方法，通过把交互性负载流从非交互性负载流中分离出来，新建队列，并预估网络延迟，调整两个排队队列上的服务资源分配，平衡两种负载流响应时间，从而使得用户体验更稳定，且大大缩短了交互性负载流的响应时间。

另外，根据本发明上述实施例的交互应用在云部署中的延迟差异平衡方法还可以具有如下附加的技术特征：

在一些示例中，所述S2进一步包括：设定用户的耐心函数为：

所述第一到达速率和所述第二到达速率均为泊松分布：

服务时间为指数分布：

用户随机离开系统的概率为指数分布：

其中，ω_i是不同耐心函数的权重值，λ，1/β，1/γ分别是达到速率、服务时间和离开率的期望值。

在一些示例中，所述S3进一步包括：所述第一队列长度由n变成n+1的概率为：p_i,j＝p[N_n+1＝j|N_n＝i]＝λ_r，所述第二队列长度由n变成n+1的概率为：p_i,j＝p[N_n+1＝j|N_n＝i]＝λ_l；所述第一队列长度由n+1变成n的概率为：p_j,i＝p[N_n＝i|N_n+1＝j]＝θ_r+λ_r，所述第二队列长度由n+1变成n的概率为：p_j,i＝p[N_n＝i|N_n+1＝j]＝θ_l+λ_l，其中，λ_r和λ_l分别表示所述第一到达速率和所述第二到达速率，θ_r和θ_l分别表示所述第一队列的延迟容忍离开速率和第二队列的延迟容忍离开速率，λ_r和λ_l分别表示所述第一离开速率和所述第二离开速率。

在一些示例中，所述S4进一步包括：设P_n(t)表示在t时刻，队列长度为n的概率，A(t)表示在t时刻之前到达的请求个数，则：

在t+h时刻的队列长度为n的概率可以表示为：

P_n'(t+h)＝P'(t)＝λP_n-1+(θ+μ)P_n+1(t)-(λ+θ+μ)P_n(t)，

其中o(h)表示在h时间间隔内到达或离开两个以上任务的概率；

P_n(t+h)的导数为：

P_n(t+h)＝P'(t)＝λP_n-1+(θ+μ)P_n+1(t)-(λ+θ+μ)P_n(t)；

当n＝0时，

P₀,(t)＝(θ+μ)P₁(t)+λP₀(t)；

由此得知，

由于P₀+P₁+…＝1，所以令ρ＝λ/(θ+μ)，得到所述第一队列的平均队列长度为：

所述第二队列的平均队列长度为：

在一些示例中，所述S5进一步包括：由于服务时间是指数分布，因此预估等待时间的密度函数为：

所述第一队列的预估网络延迟为：

所述第二队列的预估网络延迟为：

则，所述第一队列的预估网络延迟的期望值为：

所述第二队列的预估网络延迟的期望值为：

所述交互性数据占用其它虚拟机的时间为：

所述交互性数据占用其它虚拟机的时间的期望值为：

在一些示例中，所述S6进一步包括：所述第一队列的预计整体响应时间为：

所述第二队列的预计整体响应时间为：

设定：

并设定虚拟机总资源为α，则μ_r+μ_l＝α，令所述第一队列的整体响应时间与所述第二队列的整体响应时间相等，表示为：

则：

其中，τ＝θ_r-λ_r，m＝θ_l+α-λ_l；

则分配给所述第一队列的资源量为：

分配给所述第二队列的资源量为：

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的交互应用在云部署中的延迟差异平衡方法的流程图；

图2是本发明一个实施例的交互应用在云部署中的延迟差异平衡方法的第一队列和第二队列的转移状态示意图；

图3是现有调度模型环境下得到的两种负载流的响应时间的示意图；

图4是本发明一个实施例的交互应用在云部署中的延迟差异平衡方法得到的两种负载流的响应时间的示意图；以及

图5是本发明一个实施例的交互应用在云部署中的延迟差异平衡方法与现有调度模型环境下得到的响应时间的累积分布函数对比图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

以下结合附图描述根据本发明实施例的交互应用在云部署中的延迟差异平衡方法。

图1是根据本发明一个实施例的交互应用在云部署中的延迟差异平衡方法的流程图。如图1所示，根据本发明一个实施例的交互应用在云部署中的延迟差异平衡方法，包括以下步骤：

步骤S1：将数据流分为交互性负载流和非交互行负载流，并将交互性负载流插入第一队列，将非交互性负载流插入第二队列。

步骤S2：计算将交互性负载流插入第一队列时的第一到达速率、第一占用虚拟机时间和第一离开速率，并计算将非交互性负载流插入第二队列时的第二到达速率、第二占用虚拟机时间和第二离开速率。

具体地，步骤S2进一步包括：

假设用户的耐心函数为若干个指数函数的加权值：

其中，0≤τ≤1是在零延迟的条件下，用户不离开系统的概率，ω_i是不同耐心函数的权重值。

进一步地，第一到达速率和第二到达速率均为泊松分布：

服务时间为指数分布：

用户随机离开系统的概率为指数分布：

其中，λ，1/β，1/γ分别是达到速率、服务时间和离开率的期望值。

步骤S3：根据第一队列的延迟容忍离开速率、第一达到速率、第一离开速率建立第一队列模型，并根据第二队列的延迟容忍离开速率、第二达到速率和第二离开速率建立第二队列模型。

具体地，上述步骤S3进一步包括：

第一队列长度由n变成n+1的概率为：p_i,j＝p[N_n+1＝j|N_n＝i]＝λ_r，第二队列长度由n变成n+1的概率为：p_i,j＝p[N_n+1＝j|N_n＝i]＝λ_l。第一队列长度由n+1变成n的概率为：p_j,i＝p[N_n＝i|N_n+1＝j]＝θ_r+λ_r，第二队列长度由n+1变成n的概率为：p_j,i＝p[N_n＝i|N_n+1＝j]＝θ_l+λ_l。其中，λ_r和λ_l分别表示第一到达速率和第二到达速率，θ_r和θ_l分别表示第一队列的延迟容忍离开速率和第二队列的延迟容忍离开速率，λ_r和λ_l分别表示第一离开速率和第二离开速率。作为具体的示例，第一队列和第二队列的状态转移过程如图2所示。

步骤S4：分别根据第一队列模型和第二队列模型计算第一队列长度和第二队列长度。

具体地，设P_n(t)表示在t时刻，队列长度为n的概率，A(t)表示在t时刻之前到达的请求个数，则：

在t+h时刻的队列长度为n的概率可以表示为：

P_n(t+h)＝P_n-1(t)λh+P_n(t)[1-(λ+θ+μ)h]+P_n+1(t)(θ+μ)h+o(h)，

其中o(h)表示在h时间间隔内到达或离开两个以上任务的概率；

P_n(t+h)的导数为：

P_n'(t+h)＝P'(t)＝λP_n-1+(θ+μ)P_n+1(t)-(λ+θ+μ)P_n(t)；

当n＝0时，

P'₀(t)＝(θ+μ)P₁(t)+λP₀(t)；

由此得知，

其中，上述公式中的λ分别代表λ_r和λ_l，θ分别代表θ_r和θ_l，μ代表μ_r和μ_l，下同。

由于P₀+P₁+…＝1，所以令ρ＝λ/(θ+μ)，得到第一队列的平均队列长度为：

第二队列的平均队列长度为：

步骤S5：根据第一队列长度和交互性负载流占用其它虚拟机的时间计算第一队列的整体响应时间，并根据第二队列长度计算第二队列的整体响应时间。

具体地，第一队列的预估网络延迟为：

第二队列的预估网络延迟为：

则，第一队列的预估网络延迟的期望值为：

第二队列的预估网络延迟的期望值为：

由于交互性数据流比非交互性数据流多一部分访问其他虚拟机的过程，时间分布为高斯分布，所以交互性数据流占用其它虚拟机的时间为：

交互性数据流占用其它虚拟机的时间的期望值为：

步骤S6：调整第一队列应分配的网络服务资源量和第二队列应分配的网络服务资源量，以使第一队列的预计整体响应时间与第二队列的预计整体响应时间相同。

具体地，第一队列的预计整体响应时间为：

第二队列的预计整体响应时间为：

设定：

并设定虚拟机总资源为α，则μ_r+μ_l＝α，令第一队列的整体响应时间与所述第二队列的整体响应时间相等，表示为：

则：

其中，τ＝θ_r-λ_r，m＝θ_l+α-λ_l；

则分配给第一队列的资源量为：

分配给第二队列的资源量为：

作为具体的示例，目前的调度模型环境下，服务器中一般有两种数据流，即交互性负载流和非交互性负载流，两者排在同一队列，交互行负载流和非交互性负载流按照排队顺序共享服务器的计算和存储资源。图3展示了目前调度模型环境下两种负载流的响应时间的示意图，图4展示了根据本发明实施例得到的两种负载流的响应时间的示意图，结合图3和图4可以看出，本发明实施例的交互应用在云部署中的延迟差异平衡方法显著缩短了交互性操作的延迟。为表一般性，在本发明的实施例中进行了多次验证，针对两种负载流的响应时间，绘制出不采用本发明实施例的方法和采用本发明实施例的方法得到的累计分布函数(CDF，Cumulative Distribution Function)对比图，例如图5所示。其中，左图为不采用本发明实施例的方法得到的累计分布函数示意图，右图为采用本发明实施例的方法得到的累计分布函数示意图。

综上，根据本发明实施例的交互应用在云部署中的延迟差异平衡方法，充分考虑了云部署情况下不同负载流具有的不同特性，着重解决了延迟敏感的交互性负载流响应时间较长的问题。通过把交互性负载流从非交互性负载流中分离出来，新建队列，调整两个排队队列上的服务资源分配，并预估网络延迟，达到平衡两种负载流响应时间的目的，从而使得用户体验更稳定，且大大缩短了交互性负载流的响应时间，进而为现在越来越多的基于云的分布式交互应用提供更好的服务质量。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种交互应用在云部署中的延迟差异平衡方法，其特征在于，包括以下步骤：

S1：将数据流分为交互性负载流和非交互性负载流，并将所述交互性负载流插入第一队列，将所述非交互性负载流插入第二队列；

S2：计算将所述交互性负载流插入第一队列时的第一到达速率、第一占用虚拟机时间和第一离开速率，并计算将所述非交互性负载流插入所述第二队列时的第二到达速率、第二占用虚拟机时间和第二离开速率；

S3：根据所述第一队列的延迟容忍离开速率、第一到达速率、第一离开速率建立第一队列模型，并根据所述第二队列的延迟容忍离开速率、第二到达速率和第二离开速率建立第二队列模型；

S4：分别根据所述第一队列模型和第二队列模型计算第一队列长度和第二队列长度；

S5：根据所述第一队列长度和所述交互性负载流占用其它虚拟机的时间计算所述第一队列的预计整体响应时间，并根据所述第二队列长度计算所述第二队列的预计整体响应时间；以及

S6：调整所述第一队列应分配的网络服务资源量和所述第二队列应分配的网络服务资源量，以使所述第一队列的预计整体响应时间与所述第二队列的预计整体响应时间相同。

2.根据权利要求1所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述S2进一步包括：

设定用户的耐心函数为：

所述第一到达速率和所述第二到达速率均为泊松分布：

占用虚拟机时间为指数分布：

其中，ω_i是不同耐心函数的权重值，1/λ_i、1/β_i分别是到达速率、占用虚拟机时间的期望值，x表示占用虚拟机时间。

3.根据权利要求2所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述S3进一步包括：

所述第一队列长度由n变成n+1的概率为：p_i,j＝p[N_n+1＝j|N_n＝i]＝λ_r，所述第二队列长度由n变成n+1的概率为：p_i,j＝p[N_n+1＝j|N_n＝i]＝λ_l；

所述第一队列长度由n+1变成n的概率为：p_j,i＝p[N_n＝i|N_n+1＝j]＝θ_r+μ_r，所述第二队列长度由n+1变成n的概率为：p_j,i＝p[N_n＝i|N_n+1＝j]＝θ_l+μ_l，

其中，λ_r和λ_l分别表示所述第一到达速率和所述第二到达速率，θ_r和θ_l分别表示所述第一队列的延迟容忍离开速率和第二队列的延迟容忍离开速率，μ_r和μ_l分别表示所述第一离开速率和所述第二离开速率。

4.根据权利要求3所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述S4进一步包括：

设P_n(t)表示在t时刻，队列长度为n的概率，A(t)表示在t时刻之前到达的请求个数，则：

在t+h时刻的队列长度为n的概率可以表示为：

P_n(t+h)＝P_n-1(t)λh+P_n(t)[1-(λ+θ+μ)h]+P_n+1(t)(θ+μ)h+o(h)，

其中o(h)表示在h时间间隔内到达或离开两个以上任务的概率；

P_n(t+h)的导数为：

P_n'(t+h)＝P'(t)＝λP_n-1+(θ+μ)P_n+1(t)-(λ+θ+μ)P_n(t)；

当n＝0时，

P₀,(t)＝(θ+μ)P₁(t)+λP₀(t)；

由此得知，

由于P₀+P₁+…+P_n＝1，所以令ρ＝λ/(θ+μ)，得到所述第一队列的平均队列长度为：

所述第二队列的平均队列长度为：

5.根据权利要求4所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述S5进一步包括：

由于占用虚拟机时间是指数分布，因此预估等待时间的密度函数为：

所述第一队列的预估网络延迟为：

所述第二队列的预估网络延迟为：

则，所述第一队列的预估网络延迟的期望值为：

所述第二队列的预估网络延迟的期望值为：

所述交互性数据占用其它虚拟机的时间为正态分布，其概率密度为：

所述交互性数据占用其它虚拟机的时间的期望值为：

其中，σ表示交互性数据占用其它虚拟机时间的标准差。

6.根据权利要求5所述的交互应用在云部署中的延迟差异平衡方法，其特征在于，所述S6进一步包括：

所述第一队列的预计整体响应时间为：

所述第二队列的预计整体响应时间为：

设定：

并设定虚拟机总资源为α，则μ_r+μ_l＝α，令所述第一队列的整体响应时间与所述第二队列的整体响应时间相等，表示为：

则：

其中，τ＝θ_r-λ_r，m＝θ_l+α-λ_l；

则分配给所述第一队列的资源量为：

分配给所述第二队列的资源量为：

其中，1/β_r表示第一队列中负载流占用虚拟机时间的期望值，1/β_l表示第二队列中负载流占用虚拟机时间的期望值。