CN104850461A

CN104850461A - 一种面向numa架构的虚拟cpu调度优化方法

Info

Publication number: CN104850461A
Application number: CN201510239097.6A
Authority: CN
Inventors: 吴松; 金海�; 孙华华; 周理科
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2015-05-12
Filing date: 2015-05-12
Publication date: 2015-08-19
Anticipated expiration: 2035-05-12
Also published as: CN104850461B

Abstract

本发明公开了一种面向NUMA架构的VCPU调度优化方法，具体地：采集每个VCPU的访存信息，分析计算各VCPU的访存特征；根据每个VCPU的内存块位置和类型，在将访存密集型VCPU平均分配到不同NUMA节点的基础上，保证最大限度的本地内存访问；当存在空闲的CPU时，根据CPU负载大小以及CPU所属节点信息，为该空闲的CPU选取一个合适的VCPU来运行。本发明针对访存密集型应用程序在基于NUMA架构的虚拟化环境下的性能问题，根据VCPU的访存特征来优化VCPU的分配和迁移机制，在维持虚拟化层透明性的前提下，可有效地减少远端内存访问和缓解共享资源竞争，从而提高访存密集型应用程序的性能。

Description

一种面向NUMA架构的虚拟CPU调度优化方法

技术领域

本发明属于虚拟化领域，更具体地，涉及在基于NUMA架构的虚拟化环境下如何优化虚拟CPU(VCPU)调度来提高访存密集型应用程序的性能。

背景技术

随着多核架构的发展，处理器的核数目不断增加，传统UMA架构的单个内存访问控制器竞争越来越严重，于是NUMA架构应运而生。基于NUMA架构的服务器包含多个NUMA节点(简称节点)，每个节点拥有多个物理CPU(简称CPU)、独立的内存块和内存访问控制器。对于某个CPU或者内存块，我们称其所在的节点为本地节点，其他节点为远端节点。各节点之间通过互连总线来传输数据，所以CPU访问本地节点内存要比远端节点内存快很多。由于NUMA架构下每个节点有自己独立的内存访问控制器，该架构能够很好地缓解内存访问控制器竞争，同时具有良好的可扩展性。

然而，在基于NUMA架构的虚拟化环境下，访存密集型应用程序的性能无法得到保障。一方面，NUMA架构下存在许多性能影响因素：远端内存访问延迟和共享资源(共享缓存、内存访问控制器和互连总线)竞争。另一方面，由于虚拟化层带来的语义隔阂，虚拟机监控器不能直接获取运行在虚拟机里面的应用程序的特征。同时，为了保证通用性，VCPU调度的负载均衡机制不考虑应用程序的访存特征，从而会导致严重的共享资源竞争和远端内存访问延迟开销。特别地，每个CPU维护一个运行队列，该队列将所有运行在该CPU上的VCPU按照其优先级大小链接起来。现有虚拟化环境下的资源调度方法都没有通过VCPU调度来精确地优化共享资源和远端内存访问开销；另外，一些相关研究在操作系统或应用程序层面进行性能优化，但需要虚拟机监控器将底层的NUMA架构信息暴露给虚拟机，这样会破坏虚拟化层的透明性，从而无法满足需求。

针对NUMA架构的优化主要有两种方法：页迁移和VCPU调度。一方面，虚拟化环境下的页迁移机制开销很大；另一方面，合理的VCPU调度不仅能够有效地减少远端内存访问次数和缓解共享资源竞争，提高访存密集型应用程序的性能，还可以维持虚拟化层的透明性。因此，本发明试图探寻一种NUMA架构感知的VCPU调度优化方法，依据程序的访存特征来指导VCPU的调度，在不破坏虚拟化层透明性的前提下，减少远端内存访问次数和缓解共享资源竞争，从而提升访存密集型应用程序的性能。

发明内容

本发明针对访存密集型应用程序在基于NUMA架构的虚拟化环境下的性能问题，提出了一种面向NUMA架构的VCPU调度优化方法。该方法根据程序的访存特征来指导VCPU的调度，在维持虚拟化层透明性的前提下，通过减少远端内存访问次数和缓解共享资源竞争来保证访存密集型应用程序的性能。

为了实现上述目的，本发明提供面向NUMA架构的VCPU调度优化方法，包括:

(1)访存特征分析步骤：通过采集和分析访存信息，计算每个VCPU的访存特征，即内存块位置和VCPU类型。

(2)VCPU周期性划分步骤：在每个采样周期结束时，根据每个VCPU的内存块位置和类型，在将访存密集型VCPU平均分配到不同节点的基础上，保证最大限度的本地内存访问；非访存密集型VCPU不作处理。

(3)NUMA感知的负载均衡步骤：当某个CPU将进入空闲状态时，它会触发负载均衡步骤，优先从本地节点上窃取一个共享缓存(LLC)需求小的VCPU来运行。

上述面向NUMA架构的VCPU调度优化方法具有以下效果和优点：

(1)本发明通过优化VCPU调度机制来减少远端内存访问次数和缓解共享资源竞争，在维持虚拟化层透明性的前提下，能够有效地提高访存密集型应用程序的性能。

(2)本发明仅仅需要对VCPU的调度机制做出修改，不需要修改客户机操作系统。因此，整体成本低，而且部署大规模的虚拟机和维护系统都很方便。

(3)本发明采用动态的访存信息分析和VCPU调度方法来优化系统性能，主要的额外开销在于访存信息的采集和VCPU的周期性划分。一方面，任意时刻，每个CPU上至多执行一个访存信息采集操作；另一方面，VCPU划分机制在总的系统运行时间里面占据比例很小。因此，当系统中节点数目增多，或者VCPU数目增加时，本发明仍然能够自动调节，正常工作，具有很高的可扩展性。

附图说明

图1是基于NUMA架构的虚拟化环境下的应用环境图；

图2是本发明具体的功能模块图；

图3是本发明方法中VCPU周期性划分模块的细化流程图；

图4是本发明方法中NUMA感知的负载均衡模块的细化流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实例对本发明作进一步的详细说明。

如图1所示，NUMA架构下，每个节点拥有独立的内存块、内存访问控制器和共享缓存，节点之间通过互连总线进行数据的传输。在虚拟化环境下，位于底层硬件和上层客户机操作系统之间的虚拟机监控器(VMM)是虚拟化技术的核心。VMM负责底层硬件资源的分配和管理，能够支持多个独立的虚拟机在同一台物理机上运行。每个虚拟机拥有自己的VCPU，用来运行虚拟机中的应用程序。特别地，VMM中的VCPU调度器负责VCPU到CPU的映射。

本发明通过修改虚拟机监控器中的VCPU调度方法，来提升访存密集型应用程序的性能

如图2所示，本发明的主要功能步骤如下：

(1)访存特征分析步骤：在虚拟机运行期间，为每个VCPU统计硬件性能计数器信息。其中，硬件性能计数器位于处理器中，用于监控处理器的性能。这里通过读取硬件性能技术器来获取的信息包括：指令执行条数、LLC访问次数和访问每个节点上的内存页的次数。然后根据这些信息计算每个VCPU的访存特征，即内存块位置和VCPU类型。

(2)VCPU周期性划分步骤：在每个采样周期结束时，根据每个VCPU的内存块位置和类型，在将访存密集型VCPU平均分配到不同节点的基础上，保证最大限度的本地内存访问，非访存密集型VCPU不作处理。该模块的目的在于缓解共享资源竞争和减少远端内存访问次数。

(3)NUMA感知的负载均衡步骤：当某个CPU将进入空闲状态时，它会触发负载均衡步骤，然后优先从本地节点上迁移一个LLC需求小的VCPU到该空闲CPU上运行。该步骤的执行目的在于维持均衡的共享资源竞争，同时减少不必要的远端内存访问。

步骤(1)所述访存特征分析步骤通过统计访存信息来计算每个VCPU的内存块位置和类型，具体子步骤如下：

(1.1)统计在采样周期T内，每个VCPU访问各节点上的内存页的次数；找到各VCPU访问的内存页次数最多的节点，用该节点的编号表示该VCPU的内存块位置；T为1秒；

(1.2)计算各VCPU在采样周期内的LLC需求大小，记为R_LLCref，然后根据R_LLCref大小将各VCPU划分成不同的类型，具体如下：

(1.2.1)R_LLCref计算公式如下：

公式(1)中的“访问LLC的次数”和“总的指令执行条数”由采集的访存信息直接获取。另外，α是一个比例伸缩常量，用于将结果调整到一个适当的数量级，在本发明中经验性地取值为1000。

(1.2.2)然后根据R_LLCref大小，将所有VCPU分为三种类型：LLC-T、LLC-FI和LLC-FR。其中LLC-T类型的VCPU的LLC需求很大，LLC缺失率很大；LLC-FI类型的VCPU的LLC需求比较大，LLC缺失率不是非常高，但是性能随着其他VCPU带来的LLC竞争的加剧而显著下降；LLC-FR类型的VCPU的LLC需求可以忽略，LLC缺失率很小。我们定义两个阈值low和high来划分VCPU的类型，如公式(2)：

对于特定的VCPU集合，当low值增大时，会扩大访存密集型VCPU的涵盖范围；当high变大时，在访存密集型VCPU个数不变的情况下，会增大类型为LLC-FI的VCPU占据的比例。因此，low和high的变化都会对步骤(2)的VCPU周期性划分机制带来影响。

为了确定两个阈值，我们测试了几种访存密集型应用程序的LLC缺失率，如表1。特别地，LLC缺失率小于5％的是LLC-FR类型的应用程序，LLC缺失率大于95％的是LLC-T类型的应用程序，介于两者之间的是LLC-FI类型的应用程序。因此，根据表1的结果以及VCPU类型划分的定义，我们为每一种类型选择两个应用程序作为代表：其中LLC-FR类型的应用程序是povray和ep，LLC-FI类型的应用程序是lu和mg，LLC-T类型的应用程序是milc和libquantum。接着，根据公式(1)，我们分别测试并计算每个应用程序的R_LLCref值，如表2。最终，根据表2和公式(2)，我们将low和high分别确定为3和20。

表1访存密集型应用程序的LLC缺失率

应用程序	povray	ep	lu	mg	milc	libquantum
							LLC缺失率(％)	1.08	0.08	24.58	59.93	95.04	99.54

表2每种类型对应的应用程序的R_LLCref值

如图3所示，所述VCPU周期性划分步骤中，在每个采样周期结束时，根据各VCPU的内存块位置和类型，将访存密集型VCPU分散到不同的节点。其中，将类型为LLC-T和LLC-FI的VCPU定义为访存密集型VCPU，将类型为LLC-FR的VCPU定义为非访存密集型VCPU。具体子步骤如下：

(2.1)建立N个类型为LLC-T的集合和N个类型为LLC-FI的集合，然后将所有的未分配的LLC-T和LLC-FI的VCPU，分别划入对应的集合，相同类型和内存块位置的VCPU划分到同一集合；N为节点总数；

(2.2)判别上述2N个集合是否都为空，是则转步骤(2.5),否则转步骤(2.3)；

(2.3)将包含访存密集型VCPU数目最少的节点记为MIN-NODE；

(2.4)选择一个未被分配的VCPU，分配到节点MIN-NODE，然后跳转到步骤(2.2)。其中，选择未被分配的VCPU的具体子步骤如下：

(2.4.1)确定VCPU的类型Type：判别2N个集合中是否至少包含一个类型为LLC-T的VCPU，是则将Type设置为LLC-T，否则将Type设置为LLC-FI；

(2.4.2)判别类型为Type并且内存块位置为MIN-NODE节点编号对应的VCPU的集合是否不为空，是则将该集合的第一个元素记为VCPU1，将VCPU1从该集合中删除；否则从该类型的其余N-1个集合中找到包含 VCPU最多的集合，把该集合的第一个元素记为VCPU1，将VCPU1从该集合中删除；

(2.5)结束。

NUMA感知的负载均衡步骤负责为空闲的CPU选取一个可运行的VCPU来运行。其具体子步骤如下：

(3.1)初始化步骤：用一个节点链表将所有节点链接起来；针对每个节点，使用一个CPU链表将该节点包含的所有CPU按照负载大小降序排序后链接起来；

(3.2)将节点变量node赋为本地节点；

(3.3)判别节点变量node对应节点的CPU链表是否为空，是则从节点链表中删除该节点，然后跳转到步骤(3.4)；否则将CPU变量pcpu赋为节点变量node对应节点的CPU链表的第一个元素，跳转到步骤(3.5)；

(3.4)判别节点链表是否为空，是则跳转到步骤(3.7)；否则将节点变量node赋为节点链表的第一个元素，跳转到步骤(3.3)；

(3.5)判别CPU变量pcpu的运行队列中是否有可运行的VCPU，是则将R_LLCref最小的可运行VCPU记为VCPU1，跳转到步骤(3.6)；否则从节点变量node对应节点的CPU链表中删除CPU变量pcpu，然后跳转到步骤(3.3)；

(3.6)将VCPU1迁移到空闲的CPU，进行子步骤(3.7)；

(3.7)结束。

本发明通过优化VCPU调度，有效地减少远端内存访问次数和缓解共享资源竞争，提高访存密集型应用程序的性能。同时，由于本发明的优化工作均在虚拟机监控器中完成，保证了虚拟化层的透明性。此外，以上所述仅为本发明的较佳实施例，不能用以限制本发明，凡是在本发明的精神和原则内做出的相应修改和替换，均应该包含在本发明的保护范围之内。

Claims

1.一种面向NUMA架构的VCPU调度优化方法，其特征在于包括如下步骤：

(1)访存特征分析步骤，包括如下子步骤：

(1.1)统计在采样周期T内，每个VCPU访问各节点上的内存页的次数；找到各VCPU访问的内存页次数最多的节点，用该节点的编号表示该VCPU的内存块位置；T为0.5-5秒；

(1.2)计算各VCPU在采样周期内的LLC需求R_LLCref，

R_LLref＝α╳访问LLC次数/总指令执行数，

其中α是一个比例伸缩常量，用于将R_LLCref的数量级伸缩到10²量级；

(1.3)根据上阈值high、下阈值low以及各VCPU的R_LLCref，确定各VCPU的类型，

LLC-FR类型的VCPU定义为非访存密集型VCPU，LLC-FI和LLC-T类型的VCPU定义为访存密集型VCPU；

(2)VCPU周期性划分步骤：在每个采样周期结束后，根据步骤(1)统计的VCPU类型和内存块位置信息，在将访存密集型VCPU平均分配到不同节点的基础上，保证最大限度的本地内存访问；非访存密集型VCPU不作处理；

(3)负载均衡步骤：当某个CPU为空闲状态时，分配一个VCPU到该CPU。

2.根据权利要求1所述的方法，其特征在于，所述的访存特征分析步骤的子步骤(1.3)中，所述上阈值high取19-21、下阈值low取2.5-3.5，通过选取系统的主要的和常用的应用程序，测量它们的LLC缺失率和应用程序的R_LLCref大小进行估测。

3.根据权利要求1所述的方法，其特征在于，所述VCPU周期性划分步骤包括如下子步骤：

(3.1)建立N个类型为LLC-T的集合和N个类型为LLC-FI的集合，然后将所有的未分配的LLC-T和LLC-FI的VCPU，分别划入对应的集合，相同类型和内存块位置的VCPU划分到同一集合；N为节点总数；

(3.2)判别上述2N个集合是否都为空，是则转子步骤(3.5)，否则转子步骤(3.3)；

(3.3)将包含访存密集型VCPU数目最少的节点记为MIN-NODE；

(3.4)选择一个未被分配的VCPU，分配到节点MIN-NODE，然后跳转到步骤(3.2)；

(3.5)结束。

4.根据权利要求3所述的方法，其特征在于子步骤(3.4)中，选择未被分配的VCPU包括如下过程:

(4.1)确定VCPU的类型Type：判别2N个集合中是否至少包含一个类型为LLC-T的VCPU，是则将Type设置为LLC-T，否则将Type设置为LLC-FI；

(4.2)判别类型为Type并且内存块位置为MIN-NODE节点编号对应的VCPU的集合是否不为空，是则将该集合的第一个元素记为VCPU1，将VCPU1从该集合中删除；否则从该类型的其余N-1个集合中找到包含VCPU最多的集合，把该集合的第一个元素记为VCPU1，将VCPU1从该集合中删除。

5.根据权利要求1所述的方法，其特征在于，所述负载均衡步骤包括如下子步骤：

(5.1)初始化步骤：用一个节点链表将所有节点链接起来；针对每个节点，使用一个CPU链表将该节点包含的所有CPU按照负载大小降序排序后链接起来；

(5.2)将节点变量node赋为本地节点；

(5.3)判别节点变量node对应节点的CPU链表是否为空，是则从节点链表中删除该节点，然后跳转到步骤(5.4)；否则将CPU变量pcpu赋为节点变量node对应节点的CPU链表的第一个元素，跳转到步骤(5.5)；

(5.4)判别节点链表是否为空，是则跳转到步骤(5.7)；否则将节点变量node赋为节点链表的第一个元素，跳转到步骤(5.3)；

(5.5)判别CPU变量pcpu的运行队列中是否有可运行的VCPU，是则将R_LLCref最小的可运行VCPU记为VCPU1，跳转到步骤(5.6)；否则从节点变量node对应节点的CPU链表中删除CPU变量pcpu，然后跳转到步骤(5.3)；

(5.6)将VCPU1迁移到空闲的CPU，进行子步骤(5.7)；

(5.7)结束。