CN104994150A - 一种面向云视频服务的请求分配方法 - Google Patents

一种面向云视频服务的请求分配方法 Download PDF

Info

Publication number
CN104994150A
CN104994150A CN201510367380.7A CN201510367380A CN104994150A CN 104994150 A CN104994150 A CN 104994150A CN 201510367380 A CN201510367380 A CN 201510367380A CN 104994150 A CN104994150 A CN 104994150A
Authority
CN
China
Prior art keywords
mrow
certain
service
data center
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510367380.7A
Other languages
English (en)
Other versions
CN104994150B (zh
Inventor
包卫东
朱晓敏
肖文华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201510367380.7A priority Critical patent/CN104994150B/zh
Publication of CN104994150A publication Critical patent/CN104994150A/zh
Application granted granted Critical
Publication of CN104994150B publication Critical patent/CN104994150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5077Logical partitioning of resources; Management or configuration of virtualized resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882Utilisation of link capacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)

Abstract

本发明公开了一种面向云视频服务的请求分配方法,包括:从云视频服务系统中获取系统参数;根据系统参数获得最小花费函数与优化约束;使用李雅普诺夫优化框架获得最小花费函数的位移-惩罚函数及其上界;从位移-惩罚函数中的上界中提取出与请求分配有关的部分并计算出请求分配方案。本发明在解决请求分配问题的同时还考虑了资源供给问题,有利于获得最优决策。同时考虑随机到达的负载、不同的QoE要求、多个CSP同时服务等实际应用中出现的场景并提供了在此复杂场景下的解决方案,具有实际应用价值。

Description

一种面向云视频服务的请求分配方法
技术领域
本发明涉及云视频服务技术领域,特别地,涉及一种面向云视频服务的请求分配方法。
背景技术
互联网视频对带宽和CPU的性能要求都很高。一方面,据思科公司2013年预测,2017年全球互联网视频流量对整个互联网流量的贡献将由2012年的57%增至69%,互联网视频流量的年增率将达到34%;另一方面,为满足不同的应用需求,通常需要对视频做一些计算密集型处理工作如压缩、转码、编码/反编码、自适应、摘要提取、渲染等。例如,在线视频游戏场景需要随着玩家的动作进行动态渲染;不同玩家因设备屏幕不同通常需要不同的视频编码。然而,为降低客户端压力,与这些步骤相关的计算密集型任务通常在视频服务提供商(Video Service Provider,VSP)一方执行,这给VSP如何实时高效地部署服务以满足用户请求带来了巨大挑战,尤其当用户请求呈突发性到达时情况更复杂。
云计算模式为VSP提供了一种便捷的即付即用方式来部署其服务,此方式能根据用户需求动态地调整从云服务提供商租用的计算资源。与传统方法相比,云计算模式为VSP消除了购买和维护基础设施的成本。通常,VSP需租用地理分布的数据中心以满足不同地区的用户需求。因此,VSP需将用户请求动态分配至合适的数据中心,在保证用户满意的体验质量(Quality of Experience,QoE)的同时尽量减少租用虚拟机(VM,Virtual Machine)的成本,以保持其在市场上的竞争优势。。
然而,对于VSP来说,在向用户提供适当的QoE水平前提下,动态地分配用户请求至数据中心并最小化资源租赁成本是具有挑战性的。首先,用户的请求到达率是动态的,并且突发性聚集请求是不可预测的。并且由于这些请求具有不同的QoE要求,要找到一种方式将他们以最佳的方式分配到云中的各类资源非常困难。其次,在云计算资源租用花费与用户QoE之间进行 权衡本身就是一困难的决策问题。例如,更高QoE可能使得VSP在短期内花费更多,但是在长期来看却有利于增加其利润。再者,单个云服务商所拥有的服务器可能不足以覆盖范围更广的VSP用户。此种情况下,VSP不得不租用来自多个云服务提供商(Cloud Service Provider,CSP)的地理分布的数据中心来向用户提供满意的QoE。然而不同CSP之间的不同价格以及不同时段的价格变化更加剧了用户请求分配问题的复杂性。
虽然已有一些请求调度相关的工作,但大部分解决方案依赖一些不合理的假设:已知的负载分布,相同的QoE要求,单个CSP服务所有用户等等。然而,实际应用中这些假设通常不成立,导致其解决方案缺乏实际应用价值。
针对现有请求分配技术对云视频服务模型实际情况考虑不足的问题,目前尚缺乏有效的应对策略。
发明内容
针对现有请求分配技术对云视频服务模型实际情况考虑不足的问题,本发明的目的在于提出一种面向云视频服务的请求分配方法,建模时考虑实际情况,使之能够在实际应用环境中有效工作。
基于上述目的,本发明提供的技术方案如下:
根据本发明的一个方面,提供了一种面向云视频服务的请求分配方法,包括:
从云视频服务系统中获取系统参数;
根据系统参数获得最小花费函数与优化约束;
使用李雅普诺夫优化框架获得最小花费函数的位移-惩罚函数及其上界;
从位移-惩罚函数中的上界中提取出与请求分配有关的部分并计算出请求分配方案。
其中,根据系统参数获得最小花费函数与优化约束,为使用系统参数描述租用花费与体验质量水平,并根据租用花费与体验质量水平描述最小花费函数与优化约束。
并且,从云视频服务系统中获取系统参数包括数据中心集合、服务类型集合、虚拟机类型集合、某时刻某数据中心为某服务租用某类虚拟机的数量数组、以及某时刻某数据中心中某类虚拟机的价格数组;使用系统参数描述租用花费,为使用该两数组之积对数据中心集合、服务类型集合与虚拟机类 型集合分别求和描述租用花费。
同时,从云视频服务系统中获取系统参数包括用户对某服务的可容忍延迟、以及用户从该服务可获得的最大体验质量水平;使用系统参数描述体验质量水平,为根据用户对某服务的可容忍延迟、某时刻某数据中心中某服务实际延迟、以及用户从该服务可获得的最大体验质量水平使用一个有门限阈值的线性测量方法来描述体验质量水平。
并且,从云视频服务系统中获取系统参数包括数据中心集合、服务类型集合、虚拟机类型集合、用户区域集合、某时刻分配至某数据中心的某类服务请求集合、某用户到某数据中心的距离、某时刻某用户的某服务请求分配至某数据中心的个数、某时刻某数据中心某类未完成服务请求集合;某时刻某数据中心中某服务实际延迟,为该时刻该用户的该服务请求分配至该数据中心的个数与该用户到该数据中心的网络延迟之积在用户区域集合上求和的值,加上该时刻该数据中心的队列延迟在该时刻分配至该数据中心的该类服务请求集合上求和的值;其中,该用户到该数据中心的网络延迟与该用户到该数据中心的距离成正相关性,该时刻该数据中心的队列延迟与该时刻该数据中心该类未完成服务请求集合大小成正相关性。
同时,根据租用花费与体验质量水平描述优化约束,为根据租用花费与体验质量水平确保某时刻分配给所有数据中心的服务请求与系统中产生的请求相等、确保分配的虚拟机数量不超过数据中心所能提供的数量、确保所有用户服务请求至少应达到最小体验质量水平,并根据上述3个确保条件描述优化约束。
另外,从云视频服务系统中获取系统参数,包括某时刻某数据中心某类未完成服务请求集合,使用李雅普诺夫优化框架获得最小花费函数的位移-惩罚函数及其上界,具体包括:
根据最小花费函数与优化约束、与某时刻某数据中心某类未完成服务请求集合,描述某时刻某数据中心某类未完成服务请求的实际队列;
根据最小花费函数与优化约束,为某数据中心某服务构建一虚拟队列,描述某时刻某数据中心用户体验质量水平的变化情况;
根据实际队列与虚拟队列使用李雅普诺夫优化框架构建李雅普诺夫函数;
根据李雅普诺夫函数计算获得m时隙李雅普诺夫位移与位移-惩罚函数; 
计算位移-惩罚函数的最小上界。
并且,从位移-惩罚函数中的上界中提取出与请求分配有关的部分并计算出请求分配方案,为从位移-惩罚函数中提取出请求分配有关的部分并计算最小权重问题获得某时刻某用户的某类服务请求分配至某数据中心的数量数组,某时刻某用户的某类服务请求分配至某数据中心的数量数组即为请求分配方案。
从上面所述可以看出,本发明提供的技术方案通过计算云视频服务系统的最小花费函数与优化约束并将最小花费函数问题使用李雅普诺夫优化框架转化为位移-惩罚函数上界问题计算请求分配方案的技术手段,考虑了动态到达的请求、不同QoE要求、多个CSP同时服务等实际应用中出现的场景并提供了在此复杂场景下的解决方案,具有实际应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。显然,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图
图1为根据本发明实施例的一种面向云视频服务的请求分配方法的流程
图2为根据本发明实施例的一种面向云视频服务的请求分配方法中,多个用户群、VSP、多个数据中心与多个虚拟机的从属与连接关系
图3为根据本发明实施例的一种面向云视频服务的请求分配方法中,Youtube历史数据、WoWAH数据集、随机数据集与综合数据集在两天内每分钟的变化情况折线
图4为根据本发明实施例的一种面向云视频服务的请求分配方法中,每个时隙系统产生的花费变化情况与每类VM的花费比例随时隙的变化情况折线
图5为根据本发明实施例的一种面向云视频服务的请求分配方法中,参数V对花费与QoE的影响折线
图6为根据本发明实施例的一种面向云视频服务的请求分配方法中,参数m对花费与QoE的影响折线
图7为根据本发明实施例的一种面向云视频服务的请求分配方法中,不 同容忍延迟设置下,不同服务随时间变化的花费比例对比折线
图8为根据本发明实施例的一种面向云视频服务的请求分配方法中,本发明算法与其他算法在不同指标上的对比
图9为根据本发明实施例的一种面向云视频服务的请求分配方法中,本发明算法与静态资源提供策略的对比
图10为根据本发明实施例的一种面向云视频服务的请求分配方法中,本发明算法1的算法流程
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进一步进行清楚、完整、详细地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
互联网视频内容分发主要平台包括大型的内容分发网络(Content Delivery Network,CDN),利用CDN通常需要与CDN服务商协商并付出相对较高的部署代价。P2P(Peer to Peer)系统需要最小的基础设施,但是会因不稳定环境下大量视频数据请求导致视频启动延迟问题。云数据中心提供了一种专门的基础设施,以及一种便利的即付即用模型来提供视频服务,使得其在视频内容分发领域越来越受欢迎。除内容分发能力之外,云数据中心还为视频处理提供了计算资源。
云中的请求调度和资源分配问题可以分为基于云提供商和云用户两个方面。目前,已经有一些关从云提供商方面考虑调度策略的工作。对于单个数据中心来说,提供资源利用率与公平性常常是学者关注的问题;对于多数据中心来说,也有学者提出通过调度策略平衡各地理分布的数据中心用电来最小化运行代价。而从用户角度考虑,调度策略主要考虑如何减小资源租用花费以及满足用户的性能要求。现有技术通常采用基于队列的数据结构将用户请求调度至服务器中,用户请求通过随机或轮询,并以最短队列、最大利润为目的方式分配至服务器维护的队列中。这些调度策略通常假设固定的服务器数量以及固定的服务能力。当VSP利用云来提供服务时,服务器的数量以及每个服务器的能力可以按需伸缩。有文献考虑了基于虚拟化技术的服务器弹性计算能力,提出了自适应的请求分配和服务能力伸缩机制以应对请求闪 聚问题。我们的工作更进一步考虑了用户具有不同的时间响应需求的场景。一些文献在进行调度决策时考虑了虚拟机租用代价与存储代价。然而,这些工作通常假设未来请求服从某种分布或需要特定的算法来预测负载,导致实用性不强。另外,在研究时通常将请求分配与资源提供这两方面分开考虑,不利于获得最优决策。
对于VSP来说,地理分布的多数据中心形成了内容分发网络。有文献考虑了此情况下的请求调度问题,这些调度策略考虑了不同数据中心的不同价格以及服务这些请求的可容忍延迟。Wang等人研究一种以较细粒度的方式动态调整资源租用数量的方法,以适应请求的变化;He等人研究了不同类型VM数量的最优化以满足动态用户需求的问题。然而,这些系统没有考虑不同的服务类型以及不同服务所需要的不同QoE水平。
由于李雅普诺夫优化技术不需要对未来状态进行预测,在动态系统研究方面被广泛应用。Urgaonkar等人将其引入以解决请求准入以及资源分配问题;Yao等人将李雅普诺夫传统模型由单时间尺度扩展至双时间尺度,以减小地理分布数据中心的能耗;Wu等人也将此框架用于多媒体服务的资源管理。然而,这些工作从云服务提供商的角度考虑问题,并在物理服务器粒度上进行资源分配。我们应用此技术并从VSP视角解决用户请求动态问题。而且,我们利用李雅普诺夫方法研究了多服务、异构QoE需求的场景。
我们的工作不同于现有的工作主要集中在以下几个方面:首先,我们从VSP视角解决请求分配问题同时考虑资源供给问题。其次,由于采用了李雅普诺夫技术,我们的方法不依赖于对未来用户需求的预测也不需要假设负载服从某种已知的分布。另外,就多数据中心、多服务、以及异构QoE来讲,我们设计了一个比现有方法更通用的模型来处理此问题。
根据本发明的实施例,提供了一种面向云视频服务的请求分配方法。
如图1所示,根据本发明的实施例提供的面向云视频服务的请求分配方法包括:
步骤S101,从云视频服务系统中获取系统参数;
步骤S103,根据系统参数获得最小花费函数与优化约束;
步骤S105,使用李雅普诺夫优化框架获得最小花费函数的位移-惩罚函数及其上界;
步骤S107,从位移-惩罚函数中的上界中提取出与请求分配有关的部分并计算出请求分配方案。
其中,根据系统参数获得最小花费函数与优化约束,为使用系统参数描述租用花费与体验质量水平,并根据租用花费与体验质量水平描述最小花费函数与优化约束。
并且,从云视频服务系统中获取系统参数包括数据中心集合、服务类型集合、虚拟机类型集合、某时刻某数据中心为某服务租用某类虚拟机的数量数组、以及某时刻某数据中心中某类虚拟机的价格数组;使用系统参数描述租用花费,为使用该两数组之积对数据中心集合、服务类型集合与虚拟机类型集合分别求和描述租用花费。
同时,从云视频服务系统中获取系统参数包括用户对某服务的可容忍延迟、以及用户从该服务可获得的最大体验质量水平;使用系统参数描述体验质量水平,为根据用户对某服务的可容忍延迟、某时刻某数据中心中某服务实际延迟、以及用户从该服务可获得的最大体验质量水平使用一个有门限阈值的线性测量方法来描述体验质量水平。
并且,从云视频服务系统中获取系统参数包括数据中心集合、服务类型集合、虚拟机类型集合、用户区域集合、某时刻分配至某数据中心的某类服务请求集合、某用户到某数据中心的距离、某时刻某用户的某服务请求分配至某数据中心的个数、某时刻某数据中心某类未完成服务请求集合;某时刻某数据中心中某服务实际延迟,为该时刻该用户的该服务请求分配至该数据中心的个数与该用户到该数据中心的网络延迟之积在用户区域集合上求和的值,加上该时刻该数据中心的队列延迟在该时刻分配至该数据中心的该类服务请求集合上求和的值;其中,该用户到该数据中心的网络延迟与该用户到该数据中心的距离成正相关性,该时刻该数据中心的队列延迟与该时刻该数据中心该类未完成服务请求集合大小成正相关性。
同时,根据租用花费与体验质量水平描述优化约束,为根据租用花费与体验质量水平确保某时刻分配给所有数据中心的服务请求与系统中产生的请求相等、确保被分配的虚拟机数量不超过数据中心所能提供的数量、确保所有用户服务请求至少应达到最小体验质量水平,并根据上述3个确保条件描述优化约束。
另外,从云视频服务系统中获取系统参数,包括某时刻某数据中心某类 未完成服务请求集合,使用李雅普诺夫优化框架获得最小花费函数的位移-惩罚函数及其上界,具体包括:
根据最小花费函数与优化约束、与某时刻某数据中心某类未完成服务请求集合,描述某时刻某数据中心某类未完成服务请求的实际队列;
根据最小花费函数与优化约束,为某数据中心某服务构建一虚拟队列,描述某时刻某数据中心用户体验质量水平的变化情况;
根据实际队列与虚拟队列使用李雅普诺夫优化框架构建李雅普诺夫函数;
根据李雅普诺夫函数计算获得m时隙李雅普诺夫位移与位移-惩罚函数; 
计算位移-惩罚函数的最小上界。
并且,从位移-惩罚函数中的上界中提取出与请求分配有关的部分并计算出请求分配方案,为从位移-惩罚函数中提取出请求分配有关的部分并计算最小权重问题获得某时刻某用户的某类服务请求分配至某数据中心的数量数组,某时刻某用户的某类服务请求分配至某数据中心的数量数组即为请求分配方案。
下面根据具体实施例进一步阐述本发明的技术方案。
我们首先描述并形式化系统模型。图2示出的是在本发明的一个系统模型实施例中,多个用户群、VSP、多个数据中心与多个虚拟机的从属与连接关系。在如图2所示的应用场景中,属于多个云服务提供商的数据中心分布在不同的地理位置,并运行不同类型的视频服务;来自不同区域的用户可以在任何时间从VSP获取不同类型服务,诸如视频流、转码等。这些VSP没有自己的数据中心而是租用来自于云服务提供商的虚拟机资源。一旦视频服务提供商接收到用户请求,则会根据QoE要求以及执行代价将其动态地调度至最优的数据中心,并考虑不同地区、不同数据中心的不同价格。
我们将模型形式化中出现的数学符号归纳如下表所示:
设D为地理分布的数据中心集合,大小为D=|D|,索引为d(1<d<D);每个数据中心提供C类服务,记之为C(即C=|C|),索引为c(1<c<C);在每个数据中心中都设置不同类型的、大小为K=|K|的虚拟机集合K,每个虚拟机在不同的配置下具有不同的性能;来自不同地区的用户动态地产生请求,记用户区域集合为R,大小为R=|R|,索引为r(1<r<R);任何地区的用户都能访问任何数据中心,用户请求是以任务的形式并独立地到达,每种类型的工作被描述为<wc,lc>,其中,wc表c类的任务的工作负载,c为当前工作所属的服务类型,lc为c类任务的可容忍延迟,代表着用户请求的不同QoE要求。
我们假设相同类型任务具有相同的负载以及相同的容忍延迟,其原因在于,基于块的方法在视频应用中非常流行。因此我们也假设视频被系统分为多个子块,用户和VSP都以块的方式处理请求。同时,我们还假设特定请求的负载可以通过统计学习估计出来。负载情况是已知的(因为关于负载的统 计估计工作不在本发明范围之内)。
系统以时隙的方式运行,记为t=0,1,...,T。由于通常云服务提供商要求最小的租用时段(如,亚马逊EC2需要至少租用1小时),我们假设我们的资源购买算法每隔m时隙运行一次,而用户请求在任意时刻到达都会被立即调度。
我们首先形式化VM购买花费与QoE,然后给出目标函数。
从用户视角来看,不同时隙不同区域的用户请求动态产生。记为t时刻区域r中产生的c类服务请求的数量,记为t时刻产生于区域r的c类服务被分配至数据中心d的数量,λmax为每个区域产生各类服务的最大请求数。因而,我们有:
a r c ( t ) &le; &lambda; m a x , &ForAll; r , &ForAll; c , t &Element; &lsqb; 1 , T &rsqb; - - - ( 1 )
a r c ( t ) = &Sigma; d &Element; D &lambda; r d c ( t ) , &ForAll; r , &ForAll; c , t &Element; &lsqb; 1 , T &rsqb; - - - ( 2 )
为满足请求任务的处理需求,VSP应该对异构的、价格不同的虚拟机数量弹性伸缩。假设为t时刻数据中心d中为c类服务购买的k类虚拟机数量,为t时刻数据中心d中k类虚拟机的价格,其随着时间的变化而变化。因此t时刻,数据中心d的总花费为:考虑所有的数据中心,则t时刻所有数据中心VM租用花费为:
C ( t ) = &Sigma; d &Element; D &Sigma; c &Element; C &Sigma; k &Element; K n d c , k ( t ) &CenterDot; p d k ( t ) - - - ( 3 )
在用户端,QoE是评估服务水平的主要测度。同样,在我们作资源购买决策时也考虑QoE因素。通常,在网络系统中,QoE对队列延迟和网络延迟都很敏感。因此,对于请求k,我们定义其延迟如下:
d k = d n e t k ( &CenterDot; ) + d q u e k ( &CenterDot; ) - - - ( 4 )
其中,分别为请求k的网络延迟和队列延迟。现实中,由于此两类延迟与不同因素相关(如,网络延迟与路由的队列延迟,传输延迟以及传播延迟有关),对其进行估计非常困难。为简便起见,我们假设队列延迟由负载状态以及为其分配的VM资源决定,而网络延迟主要由用户与数据中心的路由距离决定。
因而,t时刻分配至数据中心d的c类服务产生的总延迟可以定义如下:
&gamma; d c ( t ) = &Sigma; k &Element; U d c ( t ) d n e t k ( &CenterDot; ) + &Sigma; k &Element; U d c ( t ) d q u e k ( &CenterDot; ) = &Sigma; r &Element; R &lambda; r d c d n e t k ( r , d ) + &Sigma; k &Element; U d c ( t ) d q u e k - - - ( 5 )
其中,表t时刻分配至数据中心d的c类请求的集合。特别地,我们定义其中,drd代表请求产生的地区r与其被分配到的数据中心d之间的距离,u和v分别为距离缩放因子和保证函数为凸函数的参数。显然,已知请求分配策略以及用户与数据中心位置后,则可计算 的计算方法如下式所示:
&Sigma; k &Element; U d c ( t ) d q u e k = m a x &lsqb; H d c ( t ) - &Sigma; k &Element; K n d c , k ( t ) s k , 0 &rsqb; - - - ( 6 )
其中,表t时刻数据中心d中c类未完成的总请求,其直观解释如下:假设单位负载需单位时间,则代表数据中心d能分配给c类服务的总时间。而代表当前时刻完成此队列中任务所需要的总服务时间。因此,表示t时刻还欠缺的服务时间。从而,新到达的请求需要等待长的时间去执行。
更进一步,对于不同类型的请求,通常具有不同的可容忍延迟。例如,由于在线游戏对延迟非常敏感,其可容忍延迟通常很短。而,对于视频分析应用来讲,其容忍延迟可能会稍长点。这种情况下,只考虑延迟因子来测量用户QoE水平是不合理的。为解决此问题,我们定义了一个统一的线性测量方法如下:
q o e ( &gamma; , l ) = Q m a x l &CenterDot; ( b - 1 ) &lsqb; b &CenterDot; l - d &rsqb; , &gamma; > l Q m a x , &gamma; &le; l 0 , &gamma; > b &CenterDot; l - - - ( 7 )
其中,l,γ,Qmax分别表示特定服务的可容忍延迟,实际延迟和用户可获得的最大QoE水平。从以上定义可知,如果请求在容忍延迟的时间内完成,用户将获得最高的QoE水平Qmax,因为在截止时间之前完成并不对QoE产生任何贡献。否则,实际的延迟越偏离可容忍延迟,用户所获得的QoE会越差。当这种偏离达到一定程度后,用户不再等待来自数据中心的响应,导致QoE 水平降低至0。b是一正常数,表示QoE下降的速率。因此,t时刻数据中心d中c类服务的用户所获得的QoE为
至此,VSP代价测度与QoE测度已经完成形式化。从VSP视角来看,主要目标在于最小化租用虚拟机的花费并保证用户QoE的要求。直观地,为获得更好的QoE,VSP应该租用更多的虚拟机。然而,这反过来又会增加虚拟机的租用代价。因此,此问题的挑战在于如何优化各类虚拟机的租用数量以长时间最小化运行代价并保证用户体验水平。为此,我们构建了如下随机优化目标来解决此问题。
P 1 . min lim T &RightArrow; &infin; 1 T &Sigma; t = 1 T - 1 C ( t ) - - - ( 8 )
s . t . a r c ( t ) = &Sigma; d &Element; D &lambda; r d c ( t ) , &ForAll; r , &ForAll; c , t &Element; &lsqb; 1 , T &rsqb; - - - ( 9 )
&Sigma; c &Element; C n d c , k ( t ) &le; N d k , &ForAll; d , &ForAll; k , t &Element; &lsqb; 1 , T &rsqb; - - - ( 10 )
lim T &RightArrow; &infin; 1 T &Sigma; t = 0 T - 1 q d c ( t ) &GreaterEqual; Q 0 , &ForAll; c , &ForAll; d - - - ( 11 )
其中,约束(9)是为了确保某个时隙分配给所有数据中心的请求总量与系统中产生的请求相等;约束(10)确保了被分配的虚拟机数量不超过数据中心所能提供的范围;约束(11)表示所有用户请求应该达到最小的QoE水平。
由于请求到达是随机事件,可知此问题为约束随机优化问题,且我们的目标是最小化长时间平均VM租用代价同时保证用户QoE水平。然而,解决此问题具有以下挑战:(1)每个区域产生的请求数量是随时间变化并不可预测的,这使得以线下的方式求解精确最优解变得不可行。(2)虚拟机巨大数量以及数据中心的异构性更加剧了集中式解决方案的计算复杂度。
为应对问题P1的挑战,我们利用李雅普诺夫优化技术设计在线控制算法。我们的控制算法不需要有关未来用户请求的任何信息,且被证明获得的结果无限制接近于最优解同时保证系统的稳定性。
根据标准李雅普诺夫框架理论,为最小化时间平均目标函数,我们可将原始随机优化问题转换为最小化李雅普诺夫位移-惩罚函数。
为t时刻数据中心d中c类未被处理得请求总数。初始时,我们设则队列的演化过程可描述如下:
H d c ( t + 1 ) = m a x &lsqb; H d c ( t ) - &Sigma; k &Element; K n d c , k ( t ) &CenterDot; s k , 0 &rsqb; + &Sigma; r &Element; R &lambda; r d c ( t ) &CenterDot; w c - - - ( 12 )
以上队列更新过程表明队列中t时刻完成的负载与新到达的负载分别为 
为满足约束(11),我们为每个数据中心的每类服务引入虚拟队列 根据虚拟队列理论,约束(11)等价于 Q 0 - lim T &RightArrow; &infin; 1 T &Sigma; t = 0 T - 1 q d c ( t ) &le; 0 , 若设则虚拟队列的更新过程可用如下等式表示。
Q d c ( t + 1 ) = max &lsqb; Q d c ( t ) + Q 0 - q d ( t ) , 0 &rsqb; - - - ( 13 )
定理1:若虚拟队列稳定(即),则能满足QoE约束(11)。证明:从式子(13)可得将此不等式在各时隙t∈{0,1,…,T}上相加,并除以T,我们有:
Q d c ( t ) - Q d c ( 0 ) T &GreaterEqual; 1 T &Sigma; i = 0 T - 1 &lsqb; q d c ( t ) - Q 0 &rsqb;
注意到是稳定的,对以上式子求极限,上式左边则为0。因此,我们有: lim T &RightArrow; &infin; 1 T &Sigma; t = 0 T - 1 &lsqb; Q 0 - q d c ( t ) &rsqb; &le; 0 , Q 0 - lim T &RightArrow; &infin; 1 T &Sigma; t = 0 T - 1 q d c ( t ) &le; 0. 定理1证毕。
Q ( t ) = { Q d c ( t ) } , H ( t ) = { H d c ( t ) } , &ForAll; d &Element; D , c∈C分别为虚拟队列和负载队列所组成的矩阵。然后,我们用Θ(t)=[Q(t);H(t)]表示负载队列与虚拟队列联合矩阵。根据李雅普诺夫框架,我们定义李雅普诺夫函数如下:
L ( &Theta; ( t ) ) = 1 2 &Sigma; d &Element; D &Sigma; c &Element; C { Q d c ( t ) 2 + H d c ( t ) 2 } - - - ( 14 )
其中,L(Θ(t))测量了系统中队列记录数。由于系统每m个时隙租用一次虚拟机,我们定义m-时隙李雅普诺夫位移如下式,它代表李雅普诺夫函数在m时隙中的变化期望。
Δm(Θ(t))=L(Θ(t+m))-L(Θ(t))            (15) 
根据李雅普诺夫框架,其位移-惩罚函数可以在以上位移函数上加m时隙所花费的虚拟机租用代价得到,即:
&Delta; m ( &Theta; ( t ) ) + V &CenterDot; E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C &Sigma; k &Element; K n d c , k ( &tau; ) &CenterDot; p d k ( &tau; ) | &Theta; ( t ) } - - - ( 16 )
其中,V为非负参数,其能控制系统稳定性与花费之间的平衡。V越大,花费就越小,反之亦然。因此,原始问题P1可以被转化为以下问题P2:
P2.min(16)
s.t(9)(10)(11)   (17)
为解决问题P2,我们不直接最小化表达式(16),而是致力于寻找其最小上界。已有论文证明寻找最小上界并不影响算法求解原问题的最优性和性能。因此,问题又转化为如何找问题P2的上界,以下定理提供了寻找上界的方法。
定理2:假设每个时隙请求到达独立同分布。则在任何控制算法下,以上位移-惩罚表达式可被证明有以下上界。
&Delta; m ( &Theta; ( t ) ) + V &CenterDot; E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C &Sigma; k &Element; K n d c , k ( &tau; ) &CenterDot; p d k ( &tau; ) | &Theta; ( t ) } &le; mB 1 + E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C { Q d c ( &tau; ) ( Q 0 - q d c ( &tau; ) } | &Theta; ( t ) } + E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C { H d c ( &tau; ) ( &Sigma; r &Element; R &lambda; r d c ( &tau; ) &CenterDot; w c - &Sigma; k &Element; K n d c , k ( &tau; ) &CenterDot; s k ) } | &Theta; ( t ) } + V . E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C &Sigma; k &Element; K n d c , k ( &tau; ) &CenterDot; p d k ( &tau; ) | &Theta; ( t ) } - - - ( 18 )
其中, B 1 = 1 2 D C { R 2 &lambda; m a x 2 W m a x 2 + N m a x 2 ( &Sigma; k &Element; K s k ) 2 + Q m a x 2 + ( Q 0 ) 2 } 为常数,Nmax为每个数据中心能够提供的各类虚拟机的最大数量。
对任何时隙来说,这需要队列Θ(τ)=[Q(τ);H(τ)]在未来时刻τ∈[t,t+m-1]之间的先验信息。我们用Θ(t)来近似表示未来信息,即H(τ)=H(t),Q(τ)=Q(t)(t≤τ≤t+m-1)。然而,这种近似将导致更宽松的位移-惩罚上界。
定理3:假设每个时隙请求到达独立同分布,则在任何控制算法下,以上位移-惩罚表达式可进一步被证明有以下上界。
&Delta; m ( &Theta; ( t ) ) + V &CenterDot; E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C &Sigma; k &Element; K n d c , k ( &tau; ) &CenterDot; p d k ( &tau; ) | &Theta; ( t ) } &le; m ( B 1 + B 2 ) + V . E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C &Sigma; k &Element; K n d c , k ( t ) p d k ( t ) | &Theta; ( t ) } E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C { H d c ( t ) &Gamma; d c ( t ) } | &Theta; ( t ) } - E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C { H d c ( t ) ( &Sigma; k &Element; K n d c , k ( t ) s k ) } | &Theta; ( t ) } + E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C { H d c ( t ) ( &Sigma; r &Element; R n r d c ( t ) w c ) } | &Theta; ( t ) } + E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C { &Sigma; r &Element; R &lambda; r d c ( t ) Q d c ( t ) A c d r d ) } | &Theta; ( t ) } - - - ( 19 )
其中, &Gamma; d c ( t ) = A c m a x &lsqb; H d c ( t ) + ( m - 1 ) ( R&lambda; m a x W m a x ) - &Sigma; k &Element; K n d c , k &CenterDot; s k , 0 &rsqb; - A c B c B 2 = ( m - 1 ) D C ( Q 0 2 + Q m a x 2 + R 2 &lambda; m a x 2 W m a x 2 + N max 2 ( &Sigma; k &Element; K s k ) 2 ) A c = Q m a x / l c &CenterDot; ( b - 1 ) B c = b &CenterDot; l c .
由于已对未来时隙τ∈[t,t+m-1]之间的队列信息进行了估计,通过最小化不等式(19)右边的上界,我们则可求解问题P2。
通过观察各变量间的关系,我们发现(19)右式中与请求调度相关的部分为:
E { &Sigma; &tau; = t t + m - 1 &Sigma; d &Element; D &Sigma; c &Element; C { &Sigma; r &Element; R &lambda; r d c ( &tau; ) ( H d c ( t ) w c + Q d c ( t ) A c d r d ) } | &Theta; ( t ) } - - - ( 20 )
而且,注意到各区域不同类型的请求是独立的,因而以上问题可以在每个区域独立分布地实现。考虑t时刻区域r产生的c类请求,我们可求解以下问题:
min &Sigma; d &Element; D &lambda; r d c ( &tau; ) &lsqb; H d c ( t ) w c + Q d c ( t ) A c d r d &rsqb; s . t ( 9 ) - - - ( 21 )
实际上,以上问题为一般化的最小权重问题,其中区域r中产生的各类请求被分配至数据中心d的数量由队列进行加权。通过采用线性规划理论,我们可得以下解决方案:
&lambda; r d c ( &tau; ) = a r c ( &tau; ) d = d * 0 e l s e - - - ( 22 )
其中,显然,此方案显示区域r中产生的类 型为c的请求倾向于被分配至具有最小加权负载队列和虚拟队列的数据中心,这与计算调度负载平衡工作的结论一致。然而,与单纯负载平衡策略相比,此方法还考虑了QoE因子,更适合现实世界模型。
最后,随着队列的更新,一旦有请求到达,系统就会在线作出请求分配决策其详细在线决策算法如图10示出的算法1所示。
我们开发了离散事件仿真器并利用合成数据集对所提算法的有效性和性能进行了测试。
使用的数据集是由Youtube历史数据,WoWAH数据集以及随机数据集综合而成,它们分别代表视频流服务、视频游戏以及其他类型的视频服务。 Youtube历史数据收集了13天的校园网络记录,我们提取了其中2008年1月30日至2月1日的数据作为测试数据。WoWAH数据集是在线游戏World of Warcraft的历史数据,其包含2006至2009年共1,107天的记录。同样,我们从中提取两天的记录作为测试数据。而随机数据集是由发明人生成的,该数据服从泊松分布。然后,将以上三个数据集聚合形成综合数据集。图3示出的是这些数据集在两天内每分钟的变化情况。为更贴合实际,我们根据用户IP将youtube数据集划分为不同的区域。由于WoWAH数据集未包含任何有关用户IP的信息,与随机数据集相同,我们依照Youtube数据在每个区域的比例,将这些数据随机划分到每个地区中。
在实验中,我们假设系统包括5个地理分布的数据中心,运行3种类型的服务,并且用户分布于20个区域,考虑四种虚拟机类型,其详细参数如下表所示。
Name Number of compute units Price
Small 1 BP∈[0.05,0.07]
Medium 2 BP·(1+log2.5(2))
Large 4 BP·(1+log2.5(4))
Extra Large 8 BP·(1+log2.5(8))
其中,Small类型实例的基本价格服从[0.05-0.07]之间的均匀分布,并且因不同地点、不同时间而变化,此价格设置是基于Amazon EC2网页的历史数据而获得。而其他类型的价格是基于基础价格、以计算单元数为变量的log函数,这意味着客户购买越多的计算能力,平均价格就越低。本实验中,每个数据中心的价格是独立同分布的。数据集WoWAH,Youtube以及Random的可容忍延迟分别设置为1.5×104,1.6×104,1.7×104,以单位负载消耗的单位时间为单位,例如10ms。其他参数设置为:Qmax=5,Nmax=1000,λmax=25,Wmax=100。
为方便比较,定义两类指标:
花费比(CR):其代表着某一情况下的花费占其所有情况花费的比例,可用公式计算,其中Ci表示情况i时产生的费用,N为情况的总 数。
归一化花费比(NCR):其代表着当前情况的花费除以最大花费的值,可用公式NCRcur=Ccur/max[C1,...,Cn]计算。
在参数V=20000,m=10情况下,利用以上数据集运行本发明所提算法长达2880个时隙(2天)。图4示出的是每个时隙系统产生的花费变化情况与每类VM的花费比例随时隙的变化情况。如图4(a)所示,此花费的变化与图3中综合数据集请求数量的变化情况同步,这说明我们的算法能够自适应地调整虚拟机资源以满足动态变化的用户需求,且不需要对未来负载信息进行预测。图4(b)显示了每类虚拟机的花费对比,其对比指标为CR。可见,在负载变化的情况下,每类虚拟机的CR在整个测试周期相对稳定,尤其是在闪负载较大期间内。这是因为,在负载较大时系统资源紧张,导致所有虚拟机都会被启用来保证用户QoE,最终导致了各类型虚拟机机花费较为稳定,且此比例与各类虚拟机的价格接近。另外,Extra Large类型虚拟机花费占最大比例。这是由于性能越高的虚拟机其单位价格就越低,因而系统会首先倾向于租用性能较强的虚拟机以降低总花费。在负载较小的时间段内(例如时隙400-800与2000-2500),算法倾向于租用更多的较大能力的虚拟机。原因在于,此时计算资源需求量较小,因而系统会自动租用价格较低的资源以最小化其花费,这与资源需求高时截然不同。然而,此时又不是所有租用的虚拟机具有最低价格,这是因为租用过多的高性能虚拟机又会导致资源的浪费。这说明本发明算法能够最优地组合各类虚拟机的个数以最小化总花费。
对于参数V,如图5(a)所示,随着V的增大,本发明算法所获得的时间平均花费显著减小,并最终收敛于一最小值。然而,由于队列长度(即 的变化随着V的增大而增大,系统的稳定性也随着降低。并且,实验表明花费的降低是以牺牲用户QoE为代价的。如图5(b)所示,用户QoE随着参数V的增加而降低。另外,QoE变化的波动也随着V的增大而增大,这说明增大V的同时会降低用户QoE。此原因在于V越大,队列稳定性就越低,而队列不稳定又导致用户QoE不稳定。因此,参数V控制了花费与用户QoE之间的平衡。
对于参数m,如图6(a)所示,时间累积花费随着m的增大而增大。这表明m越大,不论此时段内负载变化如何,系统租用预定的虚拟机就会越久。因此,当此时段内负载下降时将会造成部分虚拟机资源的浪费,从而导致花 费增加。图6(b)则显示,随着m的增大,用户QoE随之降低,这是由于m越大,对未来队列状态的估计误差就会越大。然而,这种误差又可通过增大V来减轻。
为评估考虑QoE异构后的效果,我们将本发明算法与各类服务设置为相同容忍延迟的情况进行对比。本发明中,利用NCR指标做对比。图7(a)中DYRECEIVE是本发明所提算法的设置(即三种服务的容忍延迟设置为lWoWAH=15000,lYoutube=16000,lRandom=17000)。而TD=15,000,TD=16,000和TD=17,000分别代表三类服务的可容忍延迟都相应地设置为相同值。如图7(a)所示,TD的值越小,NCR的值就越大。这是因为TD越小意味着任务越紧急,需要租用越多的虚拟机以按期完成任务,因此导致较大的费用。同样,我们亦发现,DYRECEIVE算法在大多时隙中比TD=15,000和TD=16,000两种情况下花费更少,在某些时隙下比情况TD=17,000花费少。这是因为,通过考虑QoE的异构性,紧急任务可以优先执行,而一般任务由于其截止期宽松则会等待紧急任务释放资源后执行。因而,当新的非紧急任务到达时没有必要去启动新的虚拟机,从而降低了花费。
通过深入分析,我们发现以上结论在负载较大区域比平稳区域更加明显(如时隙1000-1500以及2500-3000),这是由于负载较大时资源更加紧缺。图7(b)显示了每类服务随时间变化的CR指标对比,其结果进一步验证了此结果。从图7(b)可知,指标CR在随机数据集的大部分时隙很稳定,而在负载拥挤时明显下降,这是因为在拥挤时段,来自WoWAH的请求由于任务紧急具有执行的优先权而来自随机数据集的请求因其可容忍时延长则会让WoWAH请求先执行。
我们将本发明算法与其他算法进行对比,对比方案中的每种情况则是由不同的请求调度与资源购买策略组合而成。
请求分配方面,考虑的四种策略如下:1)本发明所提的动态调度策略(DRR),此策略倾向于将请求调度至具有最小加权负载队列与QoE队列的数据中心。如(21)所示,实际上,此方案就是在负载均衡与用户QoE之间加权的一个指标。此策略不仅考虑了负载均衡,还保证了QoE水平。2)就近调度策略(PRR),即将请求分配至距其产生区域最近的数据中心中。此策略以使得通信延迟最小。3)负载均衡调度策略(LBRR),即将请求调度至负载最小的数据中心。显然,此策略可以保持数据中心之间的负载平衡。4)最低价 格策略(MPPR),即将所有的请求分配至当前价格最低得数据中心。显然,这种策略是一种最节省花费的方式。
资源供给方面,考虑以下几种策略。1)本发明的动态资源供给策略(DRP),即通过求解公式(23)来动态调整资源供给。2)启发式资源供给策略(HRP),即当前时隙的资源供给与前一时隙系统的负载相关。为更好地应对负载的波动,我们在前一时隙需要的资源基础上增加50%作为当前时刻提供的资源。3)稳定的资源提供(SRP),即各数据中心的各类资源供给一直保持不变。为有效对比,我们将DRP策略获得的每类资源数的平均值作为稳定的资源供给方案。就整个时间段来说,此方案与DRP提供的总资源数是相等的。
首先,将HRP策略与本发明策略DRP进行对比。将此两种资源供给策略与所有请求分配策略结合,我们有以下8种对比情况。即DRP+DRR(DYRECEIVE),DRP+PRR,DRP+LBRR,DRP+MPRR,HRP+DRR,HRP+PRR,HRP+LBRR,HRP+MPRR。
图8(a)显示了其花费对比情况。由图8(a)可知,本发明所提算法产生的花费比DRP+LBRR,HRP+DRR,HPR+PRR,HPR+LBRR以及HRP+MPRR都要好。这说明:1)将资源提供与请求调度两方面结合起来考虑比将这两方面单独考虑花费更低。这也证实了前述假设这两个方面是相互作用,相互影响的。2)HPR所产生的费用比本发明的动态资源提供方法DRP要高。这是由于任务负载波动太频繁,因而固定的启发式规则对其负载无法预测。尽管如此,本发明的算法DYRECEIVE产生的费用却比DRP+PRR,DRP+MPRR两种情况高。这 是因为DRP+PRR,DRP+MPRR两种策略将请求调度至最近的或价格最低的单个数据中心,因而所产生的花费只来源于单个数据中心。然而,这些策略的性能与DYRECEIVE相比相差太远。实验中利用负载队列与QoE队列状态刻画各策略的性能,如图8(b)描述了负载队列的变化情况,DYRECEIVE的负载队列状态最稳定,而其他策略的负载队列状态随着时间递增。这说明其他策略不能保证系统在长时间内的稳定性。注意到DYRECEIVE与DRP+LBRR策略的负载队列状态变化相似,这说明本发明算法能够在不同数据中心之间实现负载均衡。图8(c)显示了系统QoE队列状态变化对比情况,可见DYRECEIVE可以获得稳定的QoE队列并比DRP+LBRR情况QoE队列更稳定,这是由于DYRECEIVE同时考了负载均衡与QoE均衡的原因。
其次,我们还将SRP静态资源提供方法与本发明的动态资源提供方式进行了对比。为公平起见,将此请求调度策略都设置为DRR。图9(a)显示了两种方案的时间累积花费对比。图9(b)显示了两种方案的时间平均花费之差随着参数V的变化情况。根据图9,我们有以下结论:1)即使租用相同数量的虚拟机资源,DRP比SRP更节省费用,这意味着DYRECEIVE具有在时间轴上优化资源分配的能力(即在给定资源数量情况下,在低价时会租用较多的资源而在高价时租用较少的资源)。2)花费差距随着V的增大而增大,这说明通过选择较大的参数V,可以降低系统运行的费用。然而,如前所述,较大的V又会导致QoE水平的降低,因此,选择一个合适的V来使得花费和QoE之间达到平衡非常重要。(在实验中,我们发现选择V=20000最合适)
综上所述,本发明从VSP的视角为解决请求调度问题提出了一种新的方法DYRECEIVE。实验证明,DYRECEIVE可以降低云中提供视频服务花费并同时能获得用户满意的QoE水平。此方法提供了一种在负载动态变化,价格动态浮动、服务多样、QoE要求多样的通用、异构环境下运行视频服务的有效方法。通过利用李雅普诺夫优化框架,我们将原问题转换为两个独立的子问题并给出了解决这些问题的在线算法。另外,此算法还能分布式实现。理论分析证明,通过选择合适的参数V,本方法所产生的长时间平均花费近似于理论最优解。在合成数据集上的实验证明了理论分析结果。另外,考虑QoE异构性后系统在达到负载均衡效果的同时还具有进一步降低VSP花费的可能。
借助于本发明的上述技术方案,通过计算云视频服务系统的最小花费函数与优化约束并将最小花费函数问题使用李雅普诺夫优化框架转化为位移-惩罚函数上界问题计算请求分配方案的技术手段,考虑到了随机到达的负载、不同的QoE要求、多个CSP同时服务等实际应用中出现的场景并提供了在此复杂场景下的解决方案,具有实际应用价值。
所属领域的普通技术人员应当理解:以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种面向云视频服务的请求分配方法,其特征在于,包括:
从云视频服务系统中获取系统参数;
根据所述系统参数获得最小花费函数与优化约束;
使用李雅普诺夫优化框架获得所述最小花费函数的位移-惩罚函数及其上界;
从所述位移-惩罚函数中的上界中提取出与请求分配有关的部分并计算出请求分配方案。
2.根据权利要求1所述的一种面向云视频服务的请求分配方法,其特征在于,根据所述系统参数获得最小花费函数与优化约束,为使用所述系统参数描述租用花费与体验质量水平,并根据所述租用花费与所述体验质量水平描述最小花费函数与优化约束。
3.根据权利要求2所述的一种面向云视频服务的请求分配方法,其特征在于,所述从云视频服务系统中获取系统参数包括数据中心集合、服务类型集合、虚拟机类型集合、某时刻某数据中心为某服务租用某类虚拟机的数量数组、以及某时刻某数据中心中某类虚拟机的价格数组;使用所述系统参数描述租用花费,为使用该两数组之积对数据中心集合、服务类型集合与虚拟机类型集合分别求和描述租用花费。
4.根据权利要求2所述的一种面向云视频服务的请求分配方法,其特征在于,所述从云视频服务系统中获取系统参数包括用户对某服务的可容忍延迟、以及用户从该服务可获得的最大体验质量水平;使用所述系统参数描述体验质量水平,为根据用户对某服务的可容忍延迟、某时刻某数据中心中某服务实际延迟、以及用户从该服务可获得的最大体验质量水平使用一个有门限阈值的线性测量方法来描述体验质量水平。
5.根据权利要求4所述的一种面向云视频服务的请求分配方法,其特征在于,所述从云视频服务系统中获取系统参数包括数据中心集合、服务类型集合、虚拟机类型集合、用户区域集合、某时刻分配至某数据中心的某类服务请求集合、某用户到某数据中心的距离、某时刻某用户的某服务请求分配至某数据中心的个数、某时刻某数据中心某类未完成服务请求集合;所述某时刻某数据中心中某服务实际延迟,为该时刻该用户的该服务请求分配至该数据中心的个数与该用户到该数据中心的网络延迟之积在用户区域集合上求和的值,加上该时刻该数据中心的队列延迟在该时刻分配至该数据中心的该类服务请求集合上求和的值;其中,所述该用户到该数据中心的网络延迟与所述该用户到该数据中心的距离成正相关性,所述该时刻该数据中心的队列延迟与所述该时刻该数据中心该类未完成服务请求集合大小成正相关性。
6.根据权利要求2所述的一种面向云视频服务的请求分配方法,其特征在于,根据所述租用花费与所述体验质量水平描述优化约束,为根据所述租用花费与所述体验质量水平确保某时刻分配给所有数据中心的服务请求与系统中产生的请求相等、确保被分配的所述虚拟机数量不超过所述数据中心所能提供的数量、确保所有用户服务请求至少应达到最小体验质量水平,并根据上述3个确保条件描述优化约束。
7.根据权利要求1所述的一种面向云视频服务的请求分配方法,其特征在于,所述从云视频服务系统中获取系统参数,包括某时刻某数据中心某类未完成服务请求集合,所述使用李雅普诺夫优化框架获得所述最小花费函数的位移-惩罚函数及其上界,具体包括:
根据所述最小花费函数与优化约束、与所述某时刻某数据中心某类未完成服务请求集合,描述所述某时刻某数据中心某类未完成服务请求的实际队列;
根据所述最小花费函数与优化约束,为所述某数据中心某服务构建一虚拟队列,描述某时刻某数据中心用户体验质量水平的变化情况;
根据所述实际队列与所述虚拟队列使用李雅普诺夫优化框架构建李雅普诺夫函数;
根据所述李雅普诺夫函数计算获得m时隙李雅普诺夫位移与位移-惩罚函数;
计算所述位移-惩罚函数的最小上界。
8.根据权利要求7所述的一种面向云视频服务的请求分配方法,其特征在于,从所述位移-惩罚函数中的上界中提取出与请求分配有关的部分并计算出请求分配方案,为从所述位移-惩罚函数中提取出请求分配有关的部分并计算最小权重问题获得某时刻某用户的某类服务请求分配至某数据中心的数量数组,所述某时刻某用户的某类服务请求分配至某数据中心的数量数组即为所述请求分配方案。
CN201510367380.7A 2015-06-29 2015-06-29 一种面向云视频服务的请求分配方法 Active CN104994150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510367380.7A CN104994150B (zh) 2015-06-29 2015-06-29 一种面向云视频服务的请求分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510367380.7A CN104994150B (zh) 2015-06-29 2015-06-29 一种面向云视频服务的请求分配方法

Publications (2)

Publication Number Publication Date
CN104994150A true CN104994150A (zh) 2015-10-21
CN104994150B CN104994150B (zh) 2018-04-27

Family

ID=54305901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510367380.7A Active CN104994150B (zh) 2015-06-29 2015-06-29 一种面向云视频服务的请求分配方法

Country Status (1)

Country Link
CN (1) CN104994150B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155785A (zh) * 2016-06-23 2016-11-23 中国人民解放军国防科学技术大学 一种跨数据中心云计算系统的数据迁移方法
CN106528941A (zh) * 2016-10-13 2017-03-22 内蒙古工业大学 一种服务器平均温度约束下的数据中心能耗最优化资源控制算法
CN106604284A (zh) * 2017-02-23 2017-04-26 上海斐讯数据通信技术有限公司 一种异构网络资源分配方法和装置
CN106790485A (zh) * 2016-12-13 2017-05-31 上海交通大学 混合云模式中的基于成本考虑的在线服务请求调度方法
CN116112740A (zh) * 2023-01-19 2023-05-12 深圳大学 一种视频播放方法、装置、电子设备及存储介质
US11652827B2 (en) * 2018-06-08 2023-05-16 Nvidia Corporation Virtualized intrusion detection and prevention in autonomous vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140013321A1 (en) * 2012-07-05 2014-01-09 Telefonica, S.A. Method for providing cloud computing resources
CN104244020A (zh) * 2014-09-22 2014-12-24 内蒙古工业大学 一种云环境视频直播服务的请求路由方法
CN104598292A (zh) * 2014-12-15 2015-05-06 中山大学 一种应用于云游戏系统的自适应流适配和资源优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140013321A1 (en) * 2012-07-05 2014-01-09 Telefonica, S.A. Method for providing cloud computing resources
CN104244020A (zh) * 2014-09-22 2014-12-24 内蒙古工业大学 一种云环境视频直播服务的请求路由方法
CN104598292A (zh) * 2014-12-15 2015-05-06 中山大学 一种应用于云游戏系统的自适应流适配和资源优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAN HU 等: "COMMUNITY BASED EFFECTIVE SOCIAL VIDEO CONTENTS PLACEMENT IN CLOUD CENTRIC CDN NETWORK", 《2014 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155785A (zh) * 2016-06-23 2016-11-23 中国人民解放军国防科学技术大学 一种跨数据中心云计算系统的数据迁移方法
CN106155785B (zh) * 2016-06-23 2018-01-12 中国人民解放军国防科学技术大学 一种跨数据中心云计算系统的数据迁移方法
CN106528941A (zh) * 2016-10-13 2017-03-22 内蒙古工业大学 一种服务器平均温度约束下的数据中心能耗最优化资源控制算法
CN106528941B (zh) * 2016-10-13 2019-04-26 内蒙古工业大学 一种服务器平均温度约束下的数据中心能耗最优化资源控制算法
CN106790485A (zh) * 2016-12-13 2017-05-31 上海交通大学 混合云模式中的基于成本考虑的在线服务请求调度方法
CN106790485B (zh) * 2016-12-13 2020-07-10 上海交通大学 混合云模式中的基于成本考虑的在线服务请求调度方法
CN106604284A (zh) * 2017-02-23 2017-04-26 上海斐讯数据通信技术有限公司 一种异构网络资源分配方法和装置
US11652827B2 (en) * 2018-06-08 2023-05-16 Nvidia Corporation Virtualized intrusion detection and prevention in autonomous vehicles
US12101338B2 (en) 2018-06-08 2024-09-24 Nvidia Corporation Protecting vehicle buses from cyber-attacks
CN116112740A (zh) * 2023-01-19 2023-05-12 深圳大学 一种视频播放方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN104994150B (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
Garg et al. SLA-based virtual machine management for heterogeneous workloads in a cloud datacenter
CN104994150B (zh) 一种面向云视频服务的请求分配方法
Wei et al. QoS-aware resource allocation for video transcoding in clouds
US9325585B1 (en) Mission-driven autonomous and adaptive resource management
CN104994149B (zh) 一种面向云视频服务的资源提供方法
Gao et al. Resource provisioning and profit maximization for transcoding in clouds: A two-timescale approach
Xiao et al. Dynamic request redirection and resource provisioning for cloud-based video services under heterogeneous environment
Ahn et al. Competitive partial computation offloading for maximizing energy efficiency in mobile cloud computing
Zhang et al. A load-aware resource allocation and task scheduling for the emerging cloudlet system
CN103064744B (zh) 一种基于SLA的面向多层Web应用的资源优化方法
Yolken et al. Game based capacity allocation for utility computing environments
Shahapure et al. Load balancing with optimal cost scheduling algorithm
Thirumalaiselvan et al. A strategic performance of virtual task scheduling in multi cloud environment
Chi et al. A fairness-aware pricing methodology for revenue enhancement in service cloud infrastructure
Saovapakhiran et al. Enhancing computing power by exploiting underutilized resources in the community cloud
Iyer et al. On the resource allocation and pricing strategies in compute clouds using bargaining approaches
Patil et al. Resource allocation and scheduling in the cloud
Srinivasa Utility maximisation-based game theoretic approach for resource allocation in clouds
CN115756772A (zh) 面向边缘云混合作业的动态编排与任务调度方法及系统
Ghassemi et al. Game based traffic exchange for green data center networks
Chunlin et al. Optimization decomposition approach for layered QoS scheduling in grid computing
Li et al. A research of resource scheduling strategy with SLA restriction for cloud computing based on Pareto optimality M× N production model
Rahman et al. Group based resource management and pricing model in cloud computing
Kengne Tchendji et al. Game theory-based dynamic resource allocations scheme in virtual networks
Ruan et al. Self-organised resource assignment for on-demand services in the cloud platform

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant