CN103955397A - 一种基于微架构感知的虚拟机调度多策略选择方法 - Google Patents

Abstract

本发明的微架构感知的多策略虚拟机调度方法，该多策略虚拟机调度方法中采集各个虚拟机的性能特征信息，通过对虚拟机的运行性能特征信息中各个性能特征，按照设定的性能特征优先级从高至低依次为各个虚拟机设定调度算法，并根据调度算法将各个虚拟机划分至相应的队列中，并按照设定的队列优先级判断各个队列的变化，根据队列的变化来调用相应的调度算法。该多策略虚拟机调度方法有效利用NUMA多核系统中潜在的性能提升空间，从而提高虚拟化系统的整体性能，降低物理资源使用成本，同时降低能耗等其他管理开销。

Description

一种基于微架构感知的虚拟机调度多策略选择方法

技术领域

本发明涉及虚拟计算机技术领域，尤其涉及一种基于微架构感知的虚拟机调度多策略选择方法。

背景技术

云计算数据中心部署的服务器普遍采用多核处理器、非一致内存访问(Non-Uniform Memory Access，NUMA)架构，每台服务器上拥有多个NUMA节点。

NUMA多核体系结构中，存在多种硬件资源的共享利用以及内存访问的非一致性等特点。

每个NUMA节点拥有多个处理核心(core或CPU，以下称CPU)，多个CPU共享最后一级缓存(L3共享缓存)，内存控制器等微架构。NUMA架构的引入，使得系统中硬件资源的拓扑结构相对一致内存访问(Uniform MemoryAccess，UMA)架构更加复杂，导致不同NUMA节点上的CPU访问内存的延迟不一致，CPU访问非本地NUMA节点内存的延迟大于访问本地NUMA节点的内存。同时，不同的CPU分别共享各自NUMA节点上的最后一级缓存，导致任务运行在不同CPU上时，任务运行的性能表现会因共享缓存的使用情况、内存带宽的使用情况、以及内存访问远近等的不同而出现较大的性能差异。

例如在Intel的NUMA多核结构中，通过高速互联技术(QuickPathInterconnect，QPI)将系统中的各个NUMA节点连接成一个统一地址空间的计算机系统。每个NUMA节点上拥有自己的L3共享缓存、内存控制器、以及相应的内存单元。如图1所示的结构中，存在的共享微架构主要包括L3共享缓存、QPI互连设备、内存控制器。这些微架构是否能够被系统合理高效地使用，对于系统整体性能有很大的影响。

目前，在多核NUMA架构中，主要存在以下几种微架构资源使用问题：

(1)L3共享缓存的数据共享问题；

(2)L3共享缓存的资源竞争问题；

(3)互连设备的带宽竞争问题；

(4)内存控制器及内存带宽的竞争问题；

(5)内存的非一致访问问题；

其中内存的非一致访问问题是除了以上微架构的资源使用问题之外，还存在NUMA架构最普遍的问题。

针对以上问题，现有的虚拟机传统调度算法主要根据系统中CPU的负载情况调度相应的虚拟机，具体的解决方案主要可分为如下三种：

(1)内存感知的调度及内存分配管理等方法；

(2)共享缓存资源竞争消除调度方法；

(3)NUMA结构逻辑划分的方法。

以上的调度算法没有考虑共享缓存、核间互连网络(interconnect)和内存控制器等共享物理资源微架构(micro-architecture)的在线运行使用情况。而在同一个NUMA多核系统中，以上几个问题对总体性能互相影响，其相互之间的作用关系错综复杂。依靠单一的解决方案不能完全解决所有问题。

因此，在现有的虚拟化系统中，还没有完全有效利用NUMA多核硬件结构所能提供的性能优势，导致虚拟化系统的硬件资源、能耗资源的浪费。

发明内容

针对现有技术的不足，本发明提供了一种基于微架构感知的虚拟机调度多策略选择方法。

一种基于微架构感知的虚拟机调度多策略选择方法，所述的虚拟机调度多策略选择方法应用于NUMA多核体系结构，包括：

(1)采集所述的NUMA多核体系结构中各个虚拟机性能特征信息；

所述的性能特征信息包括虚拟机缓存行共享状态比例、虚拟机内存带宽占用率和虚拟机缓存失效率；

(2)根据虚拟机的性能特征信息，按照设定的性能特征优先级从高至低依次为各个虚拟机设定调度算法，并根据调度算法将各个虚拟机划分至相应的队列中；

所述的队列分别为缓存数据共享策略队列、内存带宽均衡策略队列、资源竞争消除策略队列和默认本地运行策略队列；

(3)循环进行虚拟机调度，每次循环过程如下：

按照设定的队列优先级从高至低依次检测各个队列中的虚拟机是否发生变化，若发生变化，则调用并执行该队列对应的调度算法进行虚拟机调度；若不发生变化，则继续判断下一个队列是否变化，直至最后一个队列：

若最后一个队列发生变化，则调用并执行相应的调度算法后休眠设定的时间周期后进入下一次循环；

若最后一个队列不发生变化，则休眠设定的时间周期后进入下一次循环。

本发明中各个队列设定的调度算法如下：

所述的缓存数据共享策略队列对应的调度算法为缓存数据共享调度算法；

所述的内存带宽均衡策略队列对应的调度算法为内存带宽均衡算法；

所述的资源竞争消除策略队列对应的调度算法为共享资源竞争消除算法；

所述的默认本地运行策略队列对应的调度算法为本地运行调度调整算法。

本发明中各个调度算(包括缓存数据共享调度算法、内存带宽均衡算法、共享资源竞争消除算法和本地运行调度调整算法)法均为已知算法，运行时直接调用该调度算法对应的函数即可。

在虚拟化系统中，虚拟机对资源的使用情况各不相同。系统中微架构资源使用情况和内存访问非一致性问题对于每台虚拟机的性能影响也各不相同。一部分虚拟机由于缓存数据共享带来的性能提升较为明显，一部分虚拟机对于缓存和互连资源(QPI)的竞争导致的性能下降较为明显，其他虚拟机的性能对于内存控制器和内存带宽的使用较为敏感，还有其他的虚拟机对于内存非一致性访问延迟较为敏感。

本发明的微架构感知的多策略虚拟机调度方法，该多策略虚拟机调度方法中首先采集各个虚拟机的性能特征信息，并通过对虚拟机的运行性能特征信息中各个性能特征，按照设定的性能特征优先级从高至低依次为各个虚拟机设定调度算法，并根据调度算法将各个虚拟机划分至相应的队列中，并按照设定的队列优先级判断各个队列的变化，根据队列的变化来调用相应的调度算法。该多策略虚拟机调度方法有效利用NUMA多核系统中潜在的性能提升空间，从而提高虚拟化系统的整体性能，降低物理资源使用成本，同时降低能耗等其他管理开销。

由于虚拟机缓存行共享状态比例虚拟机内存带宽占用率和虚拟机缓存失效率对虚拟机的运行性能影响逐渐减小，作为优选，所述的性能特征优先级从高至低依次为虚拟机缓存行共享状态比例、虚拟机内存带宽占用率和虚拟机缓存失效率。

所述步骤(2)通过以下方法为各个虚拟机设定调度算法：

(2-1)比较该虚拟机的缓存行共享状态比例与第一阈值的大小关系，若大于第一阈值，则设定该虚拟机的调度算法为缓存数据共享调度算法，否则，进行步骤(2-2)；

(2-2)比较该虚拟机的虚拟机内存带宽占用率与第二阈值的大小关系，若大于第二阈值，则设定虚拟机的调度算法为内存带宽均衡算法，否则，执行步骤(2-3)；

(2-3)比较该虚拟机的虚拟机缓存失效率与第三阈值的大小关系，若大于第三阈值，则设定该虚拟机的调度算法为共享资源竞争消除算法，否则，设定该虚拟机的调度算法为本地运行调度调整算法。

所述的第一阈值为0.5～0.8。

所述的第二阈值为服务器单路内存带宽的1/2～4/5。

所述的第三阈值为0.5～0.8。

每个阈值设置的高低影响到整个虚拟系统的运行性能，通过合理的选择第一阈值、第二阈值和第三阈值可以有效提高虚拟系统的整体运行性能。其中服务器(物理机)单路内存带宽为6GB/s到10GB/s，根据物理机配置不同而有所不同。

作为优选，所述的队列优先级从高至低依次为缓存数据共享策略队列、内存带宽均衡策略队列、资源竞争消除策略队列和默认本地运行策略队列。

作为优选，所述的时间周期动态可调，若该轮循环中至少有一个队列的虚拟机发生变化，则所述的时间周期为第一时间周期，若该轮循环中所有队列中的虚拟机均不发生变化，则该时间周期为第二时间周期，且第二时间周期大于第一时间周期。

休眠的时间周期可以不变，即不管各个队列是否发生变化均休眠的时间周期均相同。本发明中通过动态调整该休眠的时间周期，可以降低系统开销，同时保证虚拟机行为变化时，及时执行调整策略。第二时间周期比第一时间周期大2～5s，通常情况下第一时间周期为5～10s，第二时间周期为8～15s。第一时间周期和第二时间周期的具体取值也可以根据实际应用情况设置。

本发明的微架构感知的多策略虚拟机调度方法，根据性能特征进行分析处理，将所有的虚拟机划分为若干类，并为各类虚拟机设定相应的调度策略。该多策略虚拟机调度方法有效利用NUMA多核系统中虚拟机的性能特征对虚拟机的影响特征，针对不同影响采用不同的调度策略，从而提高虚拟化系统的整体性能，降低物理资源使用成本，同时降低能耗等其他管理开销。

附图说明

图1为本发明的微架构感知的多策略虚拟机调度方法的流程图；

图2为本发明的每次循环的流程图。

具体实施方式

下面将结合附图和具体实施方式对本发明进行详细说明。

本实施例的虚拟机调度多策略选择方法应用于NUMA多核体系结构，该NUMA多核体系结构包括与若干个与各个虚拟机一一对应的硬件性能采集单元和性能监控器，与所有虚拟机性能监控器连接的特征分析器，以及与特征分析器连接的策略选择器。系统通过性能监控器利用硬件性能信息采集单元在线获取虚拟机的运行性能信息，性能监控器将收集到的虚拟机性能特征信息传递到特征分析器中，经过特征分析器对虚拟机的性能特征信息进行分析处理，将虚拟机的性能特征信息传递给策略选择器中。通过策略选择器为系统中的每台虚拟机选择相应的调度管理策略，同时将虚拟机插入相应策略的虚拟机管理队列中。系统周期性地调用不同策略的虚拟机调度算法，调度相应策略队列中的虚拟机。

一种基于微架构感知的虚拟机调度多策略选择方法，如图1所示，包括：

(1)采集该NUMA多核体系结构中各个虚拟机性能特征信息，其中性能特征信息包括虚拟机缓存行共享状态比例、虚拟机内存带宽占用率和虚拟机缓存失效率。

(2)根据虚拟机的性能特征信息，按照设定的性能特征优先级从高至低依次为各个虚拟机设定调度算法，并根据调度算法将各个虚拟机划分至相应的队列中；

本实施例中的队列分别为缓存数据共享策略队列(记为CS队列)、内存带宽均衡策略队列(记为MU队列)、资源竞争消除策略队列(记为RC队列)和默认本地运行策略队列(记为Default队列)。各个队列设定的调度算法如下：

缓存数据共享策略队列对应的调度算法为缓存数据共享调度算法；

内存带宽均衡策略队列对应的调度算法为内存带宽均衡算法；

资源竞争消除策略队列对应的调度算法为共享资源竞争消除算法；

默认本地运行策略队列对应的调度算法为本地运行调度调整算法。

本实施例中的性能特征优先级从高至低依次为虚拟机缓存行共享状态比例、虚拟机内存带宽占用率和虚拟机缓存失效率。并通过以下方法为各个虚拟机设定调度算法：

(2-1)比较该虚拟机的缓存行共享状态比例与第一阈值(本实施例中第一阈值为0.6)的大小关系，若大于第一阈值，则设定该虚拟机的调度算法为缓存数据共享调度算法，否则，进行步骤(2-2)；

(2-2)比较该虚拟机的虚拟机内存带宽占用率与第二阈值的大小关系，若大于第二阈值(本实施例中第二阈值为服务器单路内存带宽的4/5，其中服务器单路最大内存带宽为10GB/s，则第二阈值为8GB/s)，则设定虚拟机的调度算法为内存带宽均衡算法，否则，执行步骤(2-3)；

(2-3)比较该虚拟机的虚拟机缓存失效率与第三阈值(本实施例中第三阈值为0.6)的大小关系，若大于第三阈值，则设定该虚拟机的调度算法为共享资源竞争消除算法，否则，设定该虚拟机的度算法为本地运行调度调整算法。

(3)循环进行虚拟机调度，每次循环过程如下：

按照设定的队列优先级从高至低依次检测各个队列中的虚拟机是否发生变化，若发生变化，则调用并执行该队列对应的调度算法进行虚拟机调度；若不发生变化，则继续判断下一个队列是否变化，直至最后一个队列：

若最后一个队列发生变化，则调用并执行相应的调度算法后休眠设定的时间周期后进入下一次循环；

若最后一个队列不发生变化，则休眠设定的时间周期后进入下一次循环。

本实施例中队列优先级从高至低依次为缓存数据共享策略队列、内存带宽均衡策略队列、资源竞争消除策略队列和默认本地运行策略队列。每次循环具体过程如图2所示，依次判断缓存数据共享策略队列、内存带宽均衡策略队列、资源竞争消除策略队列和默认本地运行策略队列中的虚拟机是否发生变化，发生变化后则对该队列中的虚拟机实施相应的调度算法。对于默认本地运行策略队列，若发生变化，则调用并执行相应的调度算法后休眠设定的时间周期后进入下一次循环；否则直接休眠设定的时间周期后进入下一次循环。

本实施例中时间周期动态可调，若该轮循环中至少有一个队列的虚拟机发生变化，则该时间周期为第一时间周期(本实施例中为10s)，若该轮循环中所有队列中的虚拟机均不发生变化，则该时间周期为第二时间周期(本实施例中为12s)，第二时间周期大于第一时间周期。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于微架构感知的虚拟机调度多策略选择方法，所述的虚拟机调度多策略选择方法应用于NUMA多核体系结构，其特征在于，包括：

(1)采集所述的NUMA多核体系结构中各个虚拟机性能特征信息；

所述的性能特征信息包括虚拟机缓存行共享状态比例、虚拟机内存带宽占用率和虚拟机缓存失效率；

(2)根据虚拟机的性能特征信息，按照设定的性能特征优先级从高至低依次为各个虚拟机设定调度算法，并根据调度算法将各个虚拟机划分至相应的队列中；

所述的队列分别为缓存数据共享策略队列、内存带宽均衡策略队列、资源竞争消除策略队列和默认本地运行策略队列；

(3)循环进行虚拟机调度，每次循环过程如下：

按照设定的队列优先级从高至低依次检测各个队列中的虚拟机是否发生变化，若发生变化，则调用并执行该队列对应的调度算法进行虚拟机调度；若不发生变化，则继续判断下一个队列是否变化，直至最后一个队列：

若最后一个队列发生变化，则调用并执行相应的调度算法后休眠设定的时间周期后进入下一次循环；

若最后一个队列不发生变化，则休眠设定的时间周期后进入下一次循环。

2.如权利要求1所述的基于微架构感知的虚拟机调度多策略选择方法，其特征在于，所述的性能特征优先级从高至低依次为虚拟机缓存行共享状态比例、虚拟机内存带宽占用率和虚拟机缓存失效率。

3.如权利要求2所述的基于微架构感知的虚拟机调度多策略选择方法，其特征在于，所述步骤(2)通过以下方法为各个虚拟机设定调度算法：

(2-1)比较该虚拟机的缓存行共享状态比例与第一阈值的大小关系，若大于第一阈值，则设定该虚拟机的调度算法为缓存数据共享调度算法，否则，进行步骤(2-2)；

(2-2)比较该虚拟机的虚拟机内存带宽占用率与第二阈值的大小关系，若大于第二阈值，则设定虚拟机的调度算法为内存带宽均衡算法，否则，执行步骤(2-3)；

(2-3)比较该虚拟机的虚拟机缓存失效率与第三阈值的大小关系，若大于第三阈值，则设定该虚拟机的调度算法为共享资源竞争消除算法，否则，设定该虚拟机的调度算法为本地运行调度调整算法。

4.如权利要求3所述的基于微架构感知的虚拟机调度多策略选择方法，其特征在于，所述的第一阈值为0.5～0.8。

5.如权利要求3所述的基于微架构感知的虚拟机调度多策略选择方法，其特征在于，所述的第二阈值为服务器单路内存带宽的1/2～4/5。

6.如权利要求3所述的基于微架构感知的虚拟机调度多策略选择方法，其特征在于，所述的第三阈值为0.5～0.8。

7.如权利要求1～6中任意一项权利要求所述的基于微架构感知的虚拟机调度多策略选择方法，其特征在于，所述的队列优先级从高至低依次为缓存数据共享策略队列、内存带宽均衡策略队列、资源竞争消除策略队列和默认本地运行策略队列。

8.如权利要求7所述的基于微架构感知的虚拟机调度多策略选择方法，其特征在于，所述的时间周期动态可调，若该轮循环中至少有一个队列的虚拟机发生变化，则所述的时间周期为第一时间周期，若该轮循环中所有队列中的虚拟机均不发生变化，则该时间周期为第二时间周期，且第二时间周期大于第一时间周期。