CN102156665B - 一种虚拟化系统竞争资源差异化服务方法 - Google Patents

一种虚拟化系统竞争资源差异化服务方法 Download PDF

Info

Publication number
CN102156665B
CN102156665B CN 201110092580 CN201110092580A CN102156665B CN 102156665 B CN102156665 B CN 102156665B CN 201110092580 CN201110092580 CN 201110092580 CN 201110092580 A CN201110092580 A CN 201110092580A CN 102156665 B CN102156665 B CN 102156665B
Authority
CN
China
Prior art keywords
resource
telegon
virtual machine
disk
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110092580
Other languages
English (en)
Other versions
CN102156665A (zh
Inventor
余日泰
蒋从锋
徐向华
万健
张纪林
殷昱煜
任祖杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN 201110092580 priority Critical patent/CN102156665B/zh
Publication of CN102156665A publication Critical patent/CN102156665A/zh
Application granted granted Critical
Publication of CN102156665B publication Critical patent/CN102156665B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种虚拟化系统竞争资源差异化服务方法。目前的虚拟机监控器软件和操作系统不区分具体虚拟机应用程序的资源使用特点,无法确保重要应用程序和客户机操作系统的服务质量。本发明方法包含三部分的内容:虚拟化系统资源使用的马尔科夫模型、基于响应时间的多虚拟机系统的服务质量评价模型和基于上述两个模型的竞争资源差异化服务方法。通过本发明提供的虚拟化系统竞争资源差异化服务方法,可以在系统高度竞争的情况下有效缓解系统资源的竞争程度,显著提高整个虚拟化系统的性能和服务质量。

Description

一种虚拟化系统竞争资源差异化服务方法
技术领域
本发明涉及虚拟化计算机系统资源管理与分配的实现方法,尤其是大规模部署虚拟化技术的计算系统如数据中心及云计算环境中多虚拟机间竞争性资源的差异化服务方法。 
背景技术
虽然随着处理器、内存及磁盘技术的进步,单台计算机的性能持续提高。但是,单台计算机的资源使用率仍较低。而计算系统虚拟化技术由于可以动态组织多种计算资源,隔离具体的硬件体系结构和软件系统之间的紧密依赖关系,实现透明化的可伸缩计算系统架构,提高计算资源(如处理器、存储器)的使用效率,在桌面领域和服务器领域都得到了广泛的应用,如数据中心服务器聚合、存储虚拟化和云存储等。目前,虚拟化技术已经成为云计算、云存储平台及大规模数据中心的核心支撑技术。例如,在IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等云计算服务中,通过虚拟化技术将大规模系统中大量各种不同类型的异构设备和资源通过应用软件集合起来协同工作,共同对外提供计算、存储和业务访问服务,同时可以实现动态分组或者连接一系列的服务器和存储组件,动态地将服务器和存储组件从一个组转移到另一个组,动态加载和启动客户机操作系统和应用程序等。
在虚拟化系统中,由于多个客户虚拟机并存并共享相同的硬件资源,因此,必须根据不断变化的外部负载为各个客户虚拟机(Virtual Machine, VM)动态地分配资源。而在高并发情况下,硬件资源往往在多个客户虚拟机之间竞争。因此,必须提供一套有效的资源差异化服务方法为不同目标的客户虚拟机提供资源。例如,在虚拟机环境下,多个虚拟机运行在虚拟机监控器(Virtual Machine Monitor, VMM)之上,虚拟机监控器在进行资源调度时所获取的信息远远少于传统的操作系统所掌握的进程信息。由于虚拟机环境下的硬件资源动态异构的特点,为了满足海量用户的磁盘存储需求的时间性能及服务公平性,当前的磁盘存储服务I/O性能仍存在较大问题。另外,如何根据多个虚拟机对物理磁盘I/O请求和负载特性自适应的协调控制磁盘I/O资源的分配,根据负载特性应用不同的服务策略,并对负载的类型特征进行预测和推断,以保证每一个虚拟机只能得到预定的服务资源,保证服务公平性的同时避免出现服务瓶颈,同时对具有高优先权的虚拟机提供高性能服务,也是虚拟化系统资源服务面临的重要挑战。
如果单纯为了保证在多个虚拟机系统间的性能隔离,则容易造成整个系统的性能下降,尤其是在大量无序服务请求的情况下。因此,在虚拟机环境下,在现有基本的处理器和磁盘调度的基础上,如何提供粗粒度的访问请求控制、性能隔离和细粒度的服务性能共享,是解决大规模虚拟化系统性能瓶颈的重要途径。另外,大规模虚拟化系统及服务聚合使得设备之间的访问控制及协调更加复杂,且具体应用服务的异构性使得服务访问请求的服务质量的维护异常困难,不同客户虚拟机之间的服务资源分布对整个虚拟化系统的性能和服务质量都有较大影响。因此,在满足系统性能(如吞吐量)的前提下,应该进行差异化的资源服务,尽可能的提高资源的总体服务质量。
同时,为了充分发挥系统资源的使用效率并降低系统能耗和运行成本,资源的分配量必须和资源的请求量相当,而不能存在较大的资源浪费。因此,精确预测系统的负载特点和资源需求量,是进行资源差异化服务的前提。而在虚拟化环境下(如云计算环境中),用户不再需要了解具体使用的计算及存储设备(如型号,接口,协议等),甚至不需要进行系统状态监控及维护等。然而,虚拟化技术固有的透明性和隔离性使得在虚拟环境下获取上层应用负载的运行时信息变得异常困难。同时,大量的客户虚拟机共享统一的物理硬件也增加了硬件设备访问模式的复杂性。因此,如何保证多客户虚拟机之间对底层硬件资源的和谐共享和性能隔离,实现不同类型负载(计算密集型、I/O密集型、混合型等)下处理器子系统、存储子系统、网络子系统不同的应用目标,目前尚无较好的解决方法。
目前的虚拟机监控器软件和操作系统不区分具体虚拟机应用程序的资源使用特点,不考虑不同类型应用程序使用系统资源的差异,使得无法确保重要应用程序和客户机操作系统的服务质量。
发明内容
由于当前的虚拟机监控器软件不管其上层虚拟机的服务请求是否具有时效性或可等待性,均以公平的资源使用原则来调度资源,无法发挥整个计算机系统的最佳效能。因此,本发明区分共享同一计算机硬件资源的不同虚拟机上不同的负载类型(计算密集型、I/O密集型、混合型等),使得在不同的虚拟机间使用资源差异化,最终提高虚拟化系统的性能和服务质量。
一个虚拟化系统中有多个客户虚拟机(大于或等于1个),系统可供服务的资源包括处理器、内存和磁盘,每个虚拟机的应用程序均可能使用这些资源以完成用户应用程序的请求并满足一定的性能指标和服务质量。由于资源有限,为保证具有较高重要性的应用程序具有较高的性能,多个虚拟机对系统资源的请求必须进行差异化的服务。本发明对虚拟化系统竞争资源差异化服务的思想,即是通过差异化服务后,可以最大程度的降低整个系统的资源竞争程度,降低资源竞争造成的系统性能的下降,提高系统的服务质量。
该发明包含三部分的内容:虚拟化系统资源使用的马尔科夫模型、基于响应时间的多虚拟机系统的服务质量评价模型和基于上述两个模型的竞争资源差异化服务方法。
(1)虚拟化系统资源和负载的马尔科夫模型
针对已有的虚拟机监控器不考虑具体虚拟机应用程序的资源使用特点和处理器、内存、磁盘等资源本身的特点,本发明提出了一个新的虚拟化系统资源和负载的马尔科夫模型,该模型可以更准确地预测虚拟化系统的负载特征。根据资源和负载的状态及其互相转移概率,则可以计算出某一时刻系统资源的可用情况及负载的服务状态,是进行资源的差异化服务的前提。
(2)基于响应时间的多虚拟机系统的服务质量评价方法
满足多虚拟机系统的服务质量是资源差异化服务的目标,其参数体系主要包括操作系统及应用相关的服务质量,往往受多种因素的影响,主要可分为硬件方面和软件方面。硬件方面如硬件本身的技术工艺水平与可靠性水平、供电极限、温度极限等,软件方面则包括虚拟机系统各种性能参数,具体指标包括响应时间、吞吐率、任务成功率/失败率、资源使用率、服务可用性等。而响应时间是衡量系统服务质量的最直接有效的参数。因此,利用前述的马尔科夫模型,可以计算出虚拟机系统应用程序的响应时间的条件概率密度及其概率函数,建立基于响应时间的多虚拟机系统的服务质量评价模型,为进行资源差异化服务提供决策依据。
(3)基于竞争缓解程度的竞争资源差异化服务方法
系统运行阶段可以有多种效果不同的资源分配方法,而根据基于响应时间的多虚拟机系统的服务质量评价模型,可以计算出使用某一种资源分配方法后系统资源竞争的程度。本发明提出的方法通过对不同的资源分配方法的竞争缓解程度由大到小排序,先满足竞争缓解程度最大的虚拟机的资源请求,再满足竞争缓解程度次大的虚拟机的资源请求,以此类推,实现对不同的虚拟机进行差异化的资源服务。
本发明方法的具体步骤是:
步骤1.处理器协调器、内存协调器和磁盘协调器分别收集处理器、内存、磁盘的实时信息后发送给本地资源协调器。
步骤2.本地资源协调器利用接收到的处理器、内存和磁盘的实时信息分别计算资源和负载的马尔科夫模型参数,计算完成后发送给全局资源协调器。
步骤3.全局资源协调器根据所有资源的使用情况和各个客户虚拟机的负载信息,基于响应时间的多虚拟机系统的服务质量评价方法,生成基于竞争缓解程度的竞争资源差异化服务策略。
步骤4.竞争资源差异化服务策略由全局资源协调器发送至本地资源协调器。
步骤5.本地资源协调器将竞争资源差异化服务策略分别发送至处理器协调器、内存协调器和磁盘协调器。
步骤6.处理器协调器、内存协调器和磁盘协调器根据竞争资源差异化服务策略,对处理器、内存、磁盘资源进行分配。
步骤7.根据客户虚拟机的性能表现,决定是否周期性循环步骤1至步骤6。
通过本发明提供的虚拟化系统竞争资源差异化服务方法,可以在系统高度竞争的情况下有效缓解系统资源的竞争程度,显著提高整个虚拟化系统的性能和服务质量。
附图说明
图1是虚拟化系统竞争资源差异化服务方法体系结构。
图2是虚拟化系统资源状态转移图。
图3是虚拟化系统客户虚拟机状态转移图。
图4是处理器协调器、内存协调器、磁盘协调器数据收集流程图。
具体实施方式
以下结合附图对本发明作进一步说明,请参阅图1;图1给出了本发明提出的竞争资源差异化服务方法的体系结构。其中1、2、3为计算系统中的可供分配的处理器、内存和磁盘资源,4(虚线框内)为虚拟机监控器,虚拟机监控器除了具备基本的虚拟机管理其中又包括5、6、7、8、9五部分,5、6、7、8、9均为处理器协调器、内存协调器、磁盘协调器、本地资源协调器、全局资源协调器均为驻留在虚拟机监控器中的软件程序。其中5、6、7分别为进行上述资源分配的处理器协调器、内存协调器和磁盘协调器,8为本地资源协调器,负责负载特征识别与分析,9为全局资源协调器,负责资源差异化服务决策。10、11、12为客户虚拟机系统示例。
下面分别介绍处理器协调器、内存协调器、磁盘协调器、本地资源协调器和全局资源协调器。
(1)处理器协调器
本方法中的处理器协调器使用灵活的分配模式在运行的虚拟机之间分配计算机的物理处理器资源。处理器协调器同时收集处理器负载相关信息,基于处理器事件计数器和性能计数器相关信息,记录不同虚拟机的处理器资源请求,为进行有效的处理器资源分配提供决策支持信息。目前的处理器都集成了一定的事件计数器(Event Counters)和性能计数器(Hardware Performance Counters),通过探测CPU请求的内部数据结构,如数据缓冲区中数据使用信息,操作系统可以获得细粒度的处理器核级、线程级及指令级性能及使用数据。
(2)内存协调器
 本方法中由单独的内存协调器用于客户虚拟机内存的分配、管理和实时数据收集,可以根据不同的客户虚拟机的实时内存使用信息,动态的调整客户虚拟机的内存分配。 
(3)磁盘协调器
磁盘协调器兼顾性能和服务质量指标,不仅能够基于全局资源协调器获取的多个虚拟机磁盘访问模式信息将磁盘I/O请求重新排序,减小磁盘寻道时间,提高磁盘效率,同时依据优先权为不同虚拟机的磁盘访问进行带宽控制,进行差异化服务,保证不同的虚拟机有不同的磁盘服务性能。
(4)本地资源协调器
基于安全、隔离、透明原则,虚拟机监控器可以获取客户虚拟机访问硬件资源的行为和操作信息,监控其对底层硬件的使用情况,但并不能直接获取客户虚拟机中的进程运行时的细粒度信息及其具体操作语义,需要对虚拟机监控器能够监测到的客户虚拟机运行信息进行进一步的分析,从而发掘出能够刻画客户虚拟机典型负载的请求特征参数模式,以及与客户虚拟机的动态负载状况的关系,为资源差异化决策提供支持。因此,本地资源协调器基于处理器协调器、内存协调器、磁盘协调器等收集的负载特征参数,根据本发明提出的虚拟化系统资源和负载的马尔科夫模型,建立可以识别出不同典型负载类型的评判模型,实现对客户虚拟机任务负载的特征参数的实时获取和分析,给出客户虚拟机当前的负载类型,为全局资源协调器根据不同的负载类型进行资源的差异化服务提供依据。
(5)全局资源协调器
全局资源协调器根据本地资源协调器提供的负载特征,综合不同客户虚拟机上应用程序的服务质量要求及其性能指标,根据本发明提出的基于响应时间的多虚拟机系统的服务质量评价方法和基于竞争缓解程度的竞争资源差异化服务方法,对客户虚拟机需要的资源进行差异化服务。
请参阅图2,为了进行资源差异化服务,本发明定义了虚拟化系统中资源具有的三种状态,即状态1为空闲并可立即提供服务,状态2为繁忙但在未来可提供服务,状态3为不能提供服务。资源的三种状态及其转移概率如图2所示,其中箭头代表状态转移的方向,箭头上的数字代表状态转移概率。根据资源的三种状态及其转移概率,可构建资源的马尔科夫模型。
请参阅图3,本发明同时定义了虚拟化系统中客户虚拟机具有的四种状态,即状态1为等待服务,状态2为正在接受服务,状态3为服务完成,状态4为服务失败。客户虚拟机的四种状态及其转移概率如图3所示,其中箭头代表状态转移的方向,箭头上的数字代表状态转移概率。根据客户虚拟机的四种状态及其转移概率,可构建客户虚拟机的马尔科夫模型。
本发明的实施过程适用于使用X86体系结构处理器的虚拟化计算机系统。所述虚拟化计算机系统包括至少一个硬件物理机,并且其上至少容纳有一个客户虚拟机和用于管理所述至少一个客户虚拟机的虚拟机监控器,在每一个客户虚拟机上运行有至少一个请求资源服务的计算机应用程序。
其实施方式为:通过在虚拟机监控器内核中增加新的代码,即可截取资源使用请求的申请和释放。在本发明的设计中,差异化的资源服务策略和执行是分开的。我们在全局资源协调器中添加了差异化资源服务的决策机制,决策机制会根据动态的资源使用监控历史、分配时间和虚拟机的性能反馈等因素进行判断,决定哪些虚拟机可以使用哪些资源、资源使用的数量、时间等,具体的资源差异化服务则由本地资源协调器实施,通过调用相应的函数或指令接口实现。
为了实现处理器协调器、内存协调器、磁盘协调器、本地资源协调器和全局资源协调器之间的通信,本发明通过在虚拟机监控器中开辟一块单独的内存空间作为信息交换区,在处理器协调器、内存协调器、磁盘协调器、本地资源协调器和全局资源协调器之间建立一个虚拟通道,通过虚拟通道进行数据交换和互操作。该虚拟通道包含两个共享内存空间用于两个方向上的通信,一个为发送通道,一个为接收通道,通道的两端设置排队记录和输出记录。
本发明提出的资源差异化服务方法,不依赖于具体的客户虚拟机操作系统类型和版本号,不依赖于具体的程序设计语言。在不改动客户机操作系统的前提下,在虚拟机监控器中通过应用程序实时动态获取客户机操作系统当前应用程序的各种性能信息,计算出其负载模式,从而直接在虚拟机监控器中动态按需的分配给不同的虚拟机不同的资源以防止相对于该多个客户虚拟机系统的至少另一个发生性能显著下降。
在本发明的具体实施例中,一种用于虚拟化系统竞争资源的差异化服务的方法包含:收集与分析客户操作系统访问处理器、内存及磁盘的历史数据的装置、生成资源差异化服务策略、以及实施该策略。装置包括虚拟机资源服务的控制逻辑和执行单元,所述的虚拟机资源服务控制逻辑在虚拟机监控器及其客户机之间转移对竞争资源的控制。所述执行单元用于执行指令以将资源从一个客户机的虚拟设备空间转移到另一客户虚拟机的虚拟地址空间中。
本发明提出的资源差异化服务方法,其实施步骤如下:
步骤1:处理器协调器、内存协调器、磁盘协调器收集处理器、内存、磁盘的实时信息后发送给本地资源协调器;
步骤2:本地资源协调器利用接收到的处理器、内存、磁盘的实时信息计算资源和负载的马尔科夫模型参数,计算完成后发送给全局资源协调器;
步骤3:全局资源协调器根据所有资源的使用情况和各个客户虚拟机的负载信息,基于响应时间的多虚拟机系统的服务质量评价方法,生成基于竞争缓解程度的竞争资源差异化服务策略;
步骤4:竞争资源差异化服务策略由全局资源协调器发送至本地资源协调器;
步骤5:本地资源协调器将竞争资源差异化服务策略分别发送至处理器协调器、内存协调器和磁盘协调器;
步骤6:处理器协调器、内存协调器和磁盘协调器根据竞争资源差异化服务策略,对处理器、内存、磁盘等资源进行分配。
步骤7:根据客户虚拟机的性能表现,决定是否周期性循环步骤1至步骤6。
下面分别对上述实施步骤进行详细说明。
(1)步骤1
处理器协调器、内存协调器、磁盘协调器通过调用虚拟机监控器提供的硬件操作指令接口,收集处理器、内存和磁盘的实时信息,然后将该信息通过虚拟通道发送给本地资源协调器。
处理器协调器利用处理器提供的硬件指令接口,收集处理器使用率、处理器队列长度、处理器硬件性能计数器信息;
内存协调器在虚拟机运行时,动态截获虚拟机中申请和释放内存的函数,并记录下来,并收集内存空间使用率、内存高速缓存命中率、内存高速缓存缺失率信息。内存资源申请函数和释放函数,例如malloc和free,作为系统的调用接口,其在内存中的地址很容易捕获得到。分析上述这些受监控函数,获取函数调用栈,更新应用程序占用内存资源的列表。如果是资源申请函数则增加内存占用信息,而资源释放函数则需要删除相应的内存信息。通过维护这样一个动态的内存资源使用列表,详尽和全面地掌握被监控虚拟机使用内存资源的情况,这样,通过内存虚拟化技术,内存协调器可以监控应用程序对这些内存资源的应用情况。
磁盘协调器收集磁盘的读/写速率、磁盘输入输出等待对列长度、读写块大小、块数量。请参阅图4,图4是处理器协调器、内存协调器、磁盘协调器数据收集流程图。
(2)步骤2
本地资源协调器基于处理器协调器、内存协调器、磁盘协调器等发送的数据,根据本发明提出的虚拟化系统资源和负载的马尔科夫模型,建立可以识别出不同典型负载类型的评判模型,实现对客户虚拟机任务负载的特征参数的实时获取和分析,给出客户虚拟机当前的负载类型,为全局资源协调器根据不同的负载类型进行资源的差异化服务提供依据。
具体实施时,本地资源协调器首先计算出系统资源及客户虚拟机的状态转移概率,然后计算出相应的应用程序满足一定的响应时间的概率。
根据资源不同状态之间的转移概率,根据图2,可以计算资源的n(n大于或等于1)步状态转移概率(此处以f标识,下标第一个数字标识初始状态,下标第二个数字标识到达状态),如下:
Figure 2011100925808100002DEST_PATH_IMAGE001
(资源状态1转移到资源状态2)
Figure 412945DEST_PATH_IMAGE002
(资源状态1转移到资源状态3)
Figure 2011100925808100002DEST_PATH_IMAGE003
(资源状态1转移到资源状态1)
根据客户虚拟机不同状态之间的转移概率,可以计算客户虚拟机的n(n大于或等于1)步状态转移概率,(此处以vf标识,下标第一个数字标识初始状态,下标第二个数字标识到达状态)如下:
Figure 205452DEST_PATH_IMAGE004
(客户虚拟机状态1转移到客户虚拟机状态2)
Figure 2011100925808100002DEST_PATH_IMAGE005
(客户虚拟机状态1转移到客户虚拟机状态3)
Figure 47506DEST_PATH_IMAGE006
(客户虚拟机状态1转移到客户虚拟机状态4)
Figure 2011100925808100002DEST_PATH_IMAGE007
(客户虚拟机状态1转移到客户虚拟机状态1)
根据状态转移概率,计算出当前可用资源的信息列表,包括资源类型、可用起始时间、终止时间。
(3)步骤3
全局资源协调器收集各客户虚拟机上各个应用程序响应时间、吞吐量、等待处理请求对列长度、请求到达速率、应用程序服务协定满意率数据、预期服务量数据,通过虚拟通道获取步骤3生成的所有资源的使用情况,计算出虚拟机系统应用程序响应时间的条件概率密度及其概率函数。如下:
Figure 255764DEST_PATH_IMAGE008
Figure 2011100925808100002DEST_PATH_IMAGE009
其中上述公式中的符号的具体含义见下表所示:
表1 符号一览表
符号 含义
C,c 处理器使用率, c 为离散值
M,m 内存使用率, m 为离散值
D,d 磁盘输入输出等待长度, d 为离散值
W,w 客户虚拟机负载状态, w为离散值
R,r 资源分配量, r为离散值
Figure 601295DEST_PATH_IMAGE010
程序响应时间, t为离散值
T t t的上限, T t-1 <
Figure 2011100925808100002DEST_PATH_IMAGE011
<Tt
本发明定义了两个参数:资源竞争指数ct和竞争缓解程度du。其中c是一个大于0小于1的数,其计算方法如下:
Figure 830282DEST_PATH_IMAGE012
其中:
Figure 2011100925808100002DEST_PATH_IMAGE013
 为第i种资源,为处理器、内存或磁盘;
Figure 919154DEST_PATH_IMAGE014
为所有虚拟机对第i种资源的预期服务量的总和;
Figure DEST_PATH_IMAGE015
为第i种资源的实际物理总量。
竞争缓解程度du的计算方法如下:
du=
Figure 711529DEST_PATH_IMAGE016
其中:
Figure DEST_PATH_IMAGE017
 为资源进行差异化服务之前系统某一资源的竞争指数;
Figure 724616DEST_PATH_IMAGE018
 为资源进行差异化服务之后系统某一资源的竞争指数;
全局资源协调器计算各个客户虚拟机的竞争缓解程度du,并按照从大到小的顺序排序,根据其排序结果,生成基于竞争缓解程度的竞争资源差异化服务策略,进行资源的差异化服务,即竞争缓解程度du值越大的客户虚拟机将越早使用所请求的资源,竞争缓解程度du值大的客户虚拟机将比竞争缓解程度du值小的客户虚拟机先使用所请求的资源。
(4)步骤4
全局资源协调器将生成的资源差异化服务策略经过虚拟通道发送给本地资源协调器。
(5)步骤5
本地资源协调器将竞争资源差异化服务策略经过虚拟通道分别发送至处理器协调器、内存协调器和磁盘协调器。
(6)步骤6
处理器协调器、内存协调器和磁盘协调器根据竞争资源差异化服务策略,对处理器、内存、磁盘等资源进行分配。
处理器协调器为每一个虚拟机设定一个处理器优先权系数x(x为0到1之间的一个数值),以实现不同虚拟机间的差异化服务。优先权系数较大的虚拟机可以从优先权系数较小的其它虚拟机中动态分配额外的资源。默认情况下,所有虚拟机的优先权系数均为1,因此它们的处理器资源要求相同,没有任何优先顺序。系统管理员可以根据虚拟机的应用特点为每个虚拟机分配不同的优先权系数。
在多个虚拟机共存的情况下,为了保证每一个虚拟机上其提供服务的性能不低于某一阈值,处理器协调器为每一个虚拟机提供一个处理器资源的最小值min,任何时候该虚拟机获得的处理器资源不能小于min。 同时,为了提高资源利用率,支持更高的服务聚合能力,处理器协调器为每一个虚拟机提供一个处理器资源的最大值max,任何时候该虚拟机获得的处理器资源不能大于max
内存协调器用于虚拟机内存的分配和管理。为了充分利用内存资源,在内存分配的同时为每一个客户虚拟机设置一个容量调整系数fr(fr为0到1之间的一个数值)。例如,如果一个客户虚拟机的fr值为0.5,而其内存分配值是2G字节的内存,则在客户虚拟机启动时将为其分配并保证提供1G字节的物理内存,而剩余的1G字节内存可能作为物理内存页面分配或者磁盘虚拟内存。因此,对于部分客户操作系统,如果其服务质量要求不太重要,则可以将fr设置为小于1的值。而如果客户操作系统具有很高的优先权和性能要求,则fr=1。这样,容量调整系数增加了整个系统的资源分配灵活性,同时提高了内存资源的使用率和服务整合密度。同时,为了更进一步提高内存资源的使用率,本发明提出使用懒惰拷贝(lazy copy)的方法来实现多个虚拟机系统间的内存页面共享。具体方法是:当两个客户虚拟机在内存中存储的页面完全相同时,本方法将保留该页面的一个拷贝,直到客户操作系统需要对该页面进行写入操作时才拷贝,以减少对共享内存页面的更改。例如,在大规模虚拟化系统中,同一物理机上可能运行多个使用同一操作系统的客户虚拟机,这些虚拟机中很可能有许多共同的页面,因此,内存协调器可找到这些相同的页面并在所有 客户虚拟机之间共享通用页面。需要指出的是,当客户虚拟机操作系统的异构性较大时,懒惰拷贝节省的内存页面并不明显。 
磁盘协调器兼顾性能和服务质量指标,基于全局资源协调器获取的多个虚拟机磁盘访问模式信息将磁盘输入输出请求重新排序,减小磁盘寻道时间,提高磁盘效率,同时依据优先权为不同虚拟机的磁盘访问进行带宽控制,进行差异化服务,保证不同的虚拟机有不同的磁盘服务性能。
(7)步骤7
即根据客户虚拟机得到资源服务后的外在性能表现和竞争资源的可用性,决定未来的资源服务的差异化水平。如果根据客户虚拟机的资源需求的增加来增加其资源服务配额(如处理器占用时间片及内存空间)会提高客户虚拟机的应用程序性能(如加快应用程序响应、增加应用程序吞吐量、减少处理器等待队列长度、减少磁盘输入输出等待队列长度等),则周期性循环步骤1至步骤6,继续增加服务资源配额,直到程序性能提高很少或开始下降,则停止增加服务资源配额。如果根据客户虚拟机的资源需求,需要减少其资源服务配额,且减少资源服务配额后客户虚拟机的应用程序性能不降低,则周期性循环步骤1至步骤6,继续降低服务资源配额,直到程序性能开始下降为止。将回收的资源配额标记为可用资源,形成一个资源池,以供合适的时候由全局资源协调器重新分配给新加入的客户虚拟机或现有客户虚拟机。

Claims (1)

1.一种虚拟化系统竞争资源差异化服务方法,其特征在于该方法包括如下步骤:
步骤1.处理器协调器、内存协调器和磁盘协调器分别收集处理器、内存、磁盘的实时信息后发送给本地资源协调器;
所述的处理器实时信息包括处理器使用率、处理器队列长度和处理器硬件性能计数器信息;
所述的内存实时信息包括内存空间使用率、内存高速缓存命中率和内存高速缓存缺失率信息;
所述的磁盘实时信息包括磁盘的读/写速率、磁盘输入输出等待对列长度、读写块大小和块数量;
步骤2.本地资源协调器利用接收到的处理器、内存和磁盘的实时信息分别计算资源和负载的马尔科夫模型参数,计算完成后发送给全局资源协调器;
步骤3.全局资源协调器根据所有资源的使用情况和各个客户虚拟机的负载信息,基于响应时间的多虚拟机系统的服务质量评价方法,生成基于竞争缓解程度的竞争资源差异化服务策略;
所述的竞争资源差异化服务策略具体是:将各个客户虚拟机的竞争缓解程度按从大到小的顺序排序,根据其排序结果,生成竞争资源差异化服务策略;
步骤4.竞争资源差异化服务策略由全局资源协调器发送至本地资源协调器;
步骤5.本地资源协调器将竞争资源差异化服务策略分别发送至处理器协调器、内存协调器和磁盘协调器;
步骤6.处理器协调器、内存协调器和磁盘协调器根据竞争资源差异化服务策略,对处理器、内存、磁盘资源进行分配,具体是:
处理器协调器为每一个虚拟机设定一个处理器优先权系数,优先权系数较大的虚拟机可以从优先权系数较小的其它虚拟机中动态分配额外的资源,系统管理员可以根据虚拟机的应用特点为每个虚拟机分配不同的优先权系数;内存协调器为每一个客户虚拟机设置一个容量调整系数,为进一步提高内存资源的使用率,使用懒惰拷贝的方法来实现多个虚拟机系统间的内存页面共享;磁盘协调器将磁盘输入输出请求重新排序,同时依据优先权为不同虚拟机的磁盘访问进行带宽控制;
步骤7.根据客户虚拟机的性能表现,决定是否周期性循环步骤1至步骤6。
CN 201110092580 2011-04-13 2011-04-13 一种虚拟化系统竞争资源差异化服务方法 Expired - Fee Related CN102156665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110092580 CN102156665B (zh) 2011-04-13 2011-04-13 一种虚拟化系统竞争资源差异化服务方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110092580 CN102156665B (zh) 2011-04-13 2011-04-13 一种虚拟化系统竞争资源差异化服务方法

Publications (2)

Publication Number Publication Date
CN102156665A CN102156665A (zh) 2011-08-17
CN102156665B true CN102156665B (zh) 2012-12-05

Family

ID=44438172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110092580 Expired - Fee Related CN102156665B (zh) 2011-04-13 2011-04-13 一种虚拟化系统竞争资源差异化服务方法

Country Status (1)

Country Link
CN (1) CN102156665B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102331948A (zh) * 2011-09-01 2012-01-25 杭州湾云计算技术有限公司 一种基于资源状态的虚拟机结构调整方法和调整系统
CN102279771B (zh) * 2011-09-02 2013-07-10 北京航空航天大学 一种虚拟化环境中自适应按需资源分配的方法及系统
EP3106984B1 (en) 2011-11-28 2018-11-07 Huawei Technologies Co., Ltd. Method and device for adjusting memory of virtual machine
WO2013097068A1 (en) * 2011-12-26 2013-07-04 Intel Corporation Scheduling virtual central processing units of virtual machines among physical processing units
CN103516623A (zh) * 2012-06-25 2014-01-15 中兴通讯股份有限公司 资源分配方法及系统
CN102841814B (zh) * 2012-07-02 2016-03-09 北京联嘉众赢网络技术有限公司 一种硬件资源的共享控制方法、装置及系统
CN104412235B (zh) * 2012-07-03 2019-05-07 英派尔科技开发有限公司 云计算环境中的资源管理
JP2014078160A (ja) * 2012-10-11 2014-05-01 International Business Maschines Corporation 仮想リソースの組み合わせの決定を支援する装置及び方法
CN103885812B (zh) 2012-12-21 2018-03-27 华为技术有限公司 虚拟机规格调整方法及装置
CN103942084B (zh) * 2013-01-22 2017-04-12 中国科学院计算技术研究所 虚拟化环境中应用共存分析方法及装置
CN103178988B (zh) * 2013-02-06 2016-08-03 中电长城网际系统应用有限公司 一种性能优化的虚拟化资源的监控方法和系统
CN103455132A (zh) * 2013-08-20 2013-12-18 西安电子科技大学 基于硬件性能计数器的嵌入式系统功耗估算方法
CN103870341A (zh) * 2014-03-12 2014-06-18 汉柏科技有限公司 一种调整虚拟机资源的方法和系统
CN104050045B (zh) * 2014-06-27 2017-06-27 华为技术有限公司 基于磁盘io的虚拟资源分配方法及装置
CN105242955B (zh) * 2014-07-07 2019-01-29 腾讯科技(深圳)有限公司 一种虚拟机磁盘输入输出调度方法及系统
DE102015113603B4 (de) * 2014-08-19 2024-04-04 Samsung Electronics Co., Ltd. Datenverwaltungsverfahren in virtualisierten Hyperscale-Umgebungen
US10282100B2 (en) 2014-08-19 2019-05-07 Samsung Electronics Co., Ltd. Data management scheme in virtualized hyperscale environments
CN104239150B (zh) * 2014-09-15 2019-02-01 杭州华为数字技术有限公司 一种硬件资源调整的方法及装置
CN105634782B (zh) * 2014-11-06 2019-03-01 华为技术有限公司 一种实例化vnf的方法及网元管理设备
CN104657087B (zh) * 2015-02-04 2018-01-12 杭州华为数字技术有限公司 一种虚拟磁盘映射的方法、装置及系统
CN104765613B (zh) * 2015-04-21 2017-09-12 华中科技大学 一种虚拟化环境下面向任务并行编程模型的优化方法
CN104808997A (zh) * 2015-05-08 2015-07-29 精航伟泰测控仪器(北京)有限公司 一种支持基于模型设计的工业智能控制产品开发系统
CN105376401B (zh) * 2015-10-10 2019-09-24 联想(北京)有限公司 信息处理方法、装置及电子设备
CN109074280B (zh) * 2016-04-29 2023-11-17 苹果公司 网络功能虚拟化
CN106487903A (zh) * 2016-10-21 2017-03-08 山东大学 一种基于虚拟化的SaaS云平台的节点选取方法及系统
CN106656867B (zh) * 2016-11-10 2019-11-05 北京大学(天津滨海)新一代信息技术研究院 一种基于虚拟网络的应用感知的动态sdn配置方法
CN106775921A (zh) * 2016-11-14 2017-05-31 中国石油化工股份有限公司 基于应用负载感知的虚拟cpu调度方法
CN106648890A (zh) * 2016-12-06 2017-05-10 中国科学院重庆绿色智能技术研究院 一种能耗感知的云计算服务器资源在线管理方法和系统
US20180316626A1 (en) * 2017-04-28 2018-11-01 Futurewei Technologies, Inc. Guided Optimistic Resource Scheduling
CN107193631B (zh) * 2017-04-28 2019-09-13 华中科技大学 一种基于并行应用阶段检测的虚拟时间片调度方法及系统
CN108540341B (zh) * 2018-03-19 2021-01-29 云宏信息科技股份有限公司 资源监控方法及装置
CN113014408B (zh) * 2019-12-19 2023-04-25 阿里巴巴集团控股有限公司 分布式系统及其管理方法
CN113282523B (zh) * 2021-05-08 2022-09-30 重庆大学 一种缓存分片的动态调整方法、装置以及存储介质
CN113434261B (zh) * 2021-08-27 2021-12-17 阿里云计算有限公司 异构计算设备虚拟化方法及系统
TWI827974B (zh) * 2021-09-08 2024-01-01 財團法人工業技術研究院 虛擬功能效能分析系統及其分析方法
CN116932271B (zh) * 2023-09-14 2023-12-29 中诚华隆计算机技术有限公司 一种实现自组织的Chiplet的方法和芯片

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154167A (zh) * 2006-09-28 2008-04-02 联想(北京)有限公司 一种虚拟机系统及其cpu调度方法
JP2008097173A (ja) * 2006-10-10 2008-04-24 Renesas Technology Corp データプロセッサ
WO2008062864A1 (en) * 2006-11-24 2008-05-29 Nec Corporation Virtual machine locating system, virtual machine locating method, program, virtual machine management device and server
CN101488098A (zh) * 2009-02-13 2009-07-22 华中科技大学 基于虚拟计算技术的多核计算资源管理系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154167A (zh) * 2006-09-28 2008-04-02 联想(北京)有限公司 一种虚拟机系统及其cpu调度方法
JP2008097173A (ja) * 2006-10-10 2008-04-24 Renesas Technology Corp データプロセッサ
WO2008062864A1 (en) * 2006-11-24 2008-05-29 Nec Corporation Virtual machine locating system, virtual machine locating method, program, virtual machine management device and server
CN101488098A (zh) * 2009-02-13 2009-07-22 华中科技大学 基于虚拟计算技术的多核计算资源管理系统

Also Published As

Publication number Publication date
CN102156665A (zh) 2011-08-17

Similar Documents

Publication Publication Date Title
CN102156665B (zh) 一种虚拟化系统竞争资源差异化服务方法
Ding et al. Q-learning based dynamic task scheduling for energy-efficient cloud computing
Ghomi et al. Load-balancing algorithms in cloud computing: A survey
CN103297499B (zh) 一种基于云平台的调度方法及系统
CN103605567B (zh) 面向实时性需求变化的云计算任务调度方法
CN110058932A (zh) 一种用于数据流驱动计算的存储方法和存储系统
CN102253857B (zh) 一种多核环境下的Xen虚拟机调度控制方法
CN105373432B (zh) 一种基于虚拟资源状态预测的云计算资源调度方法
CN104679594B (zh) 一种中间件分布式计算方法
CN104199736A (zh) 云环境下的数据中心节能方法
CN103927225A (zh) 一种多核心架构的互联网信息处理优化方法
CN103365726A (zh) 一种面向gpu集群的资源管理方法和系统
Kao et al. Data-locality-aware mapreduce real-time scheduling framework
CN109271257A (zh) 一种虚拟机迁移部署的方法及设备
CN103095788A (zh) 一种基于网络拓扑的云资源调度策略
CN109240795A (zh) 一种适用于超融合it基础设施的云计算资源池模型的资源调度方法
Li et al. Cost-aware automatic scaling and workload-aware replica management for edge-cloud environment
Hu et al. Improved heuristic job scheduling method to enhance throughput for big data analytics
Perwej The ambient scrutinize of scheduling algorithms in big data territory
Sun et al. Cloud platform scheduling strategy based on virtual machine resource behaviour analysis
Chen et al. An energy‐efficient method of resource allocation based on request prediction in multiple cloud data centers
Zhang et al. PRMRAP: A proactive virtual resource management framework in cloud
CN110308991A (zh) 一种基于随机任务的数据中心节能优化方法及系统
Jiang et al. AMS: Adaptive multiget scheduling algorithm for distributed key-value stores
Islam et al. Resource management and scheduling for big data applications in cloud computing environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121205

CF01 Termination of patent right due to non-payment of annual fee