CN103995733A

CN103995733A - 一种基于物理资源穿透机制的轻量级嵌套虚拟化实现方法

Info

Publication number: CN103995733A
Application number: CN201410228220.XA
Authority: CN
Inventors: 齐勇; 宣宇; 戴月华; 任建宝; 徐作新
Original assignee: Xian Jiaotong University
Current assignee: Beijing Cool Data Technology Co ltd
Priority date: 2014-05-27
Filing date: 2014-05-27
Publication date: 2014-08-20
Anticipated expiration: 2034-05-27
Also published as: CN103995733B

Abstract

本发明公开了一种基于物理资源穿透机制的轻量级嵌套虚拟化实现方法，与传统嵌套虚拟化技术对物理资源进行虚拟化不同，主要侧重于对物理资源的管理与监控上，避免由于对物理资源进行虚拟化所带来的额性能开销。此外，通过基于NUMA节点的资源管控，避免了传统虚拟化技术在NUMA架构上的性能隔离问题。通过该方法，host hypervisor将物理设备分组并且guest hypervisor直接运行在不同的资源组上，这不仅能够避免资源调度和共享造成的性能负载，而且还能够充分地利用NUMA特性来提升系统性能以及保证不同guest hypervisor间的性能隔离。

Description

一种基于物理资源穿透机制的轻量级嵌套虚拟化实现方法

技术领域

本发明属于嵌套虚拟化系统技术领域，具体涉及一种基于物理资源穿透机制的轻量级嵌套虚拟化实现方法。

背景技术

嵌套虚拟化技术是传统虚拟化技术的一个延伸，使用该技术的host hypervisor可以同时在一台物理计算机上同时运行多个guest hypervisor。云服务提供商通过嵌套虚拟化技术不仅可以提供虚拟化系统的租赁服务，并且简化了云迁移的复杂度。现有的虚拟化系统存在许多安全漏洞，研究人员通过嵌套虚拟化技术可以保证虚拟化系统的控制流完整性以及防止用户隐私数据泄漏。嵌套虚拟化技术还可以使得虚拟机的开发和调试工作更加高效地进行。

现有的嵌套虚拟化系统都是基于传统的hypervisor来构建，比如Xen可以同时运行多个Xen和KVM；对于这种嵌套虚拟化系统，研究人员通过将多级的拦截操作转换成单级的拦截和转发来优化整个系统的性能。然而，该系统在运行过程需要对计算资源进行多级的调度和共享，从而造成了过多的虚拟机拦截和虚拟机陷入退出操作，带来了明显的性能负载。特别是在具有NUMA架构的众核服务器中，传统hypervisor的处理器调度算法和内存分配策略并不能有效地配合来充分利用NUMA本地内存节点访问延迟低的特性以提升系统的性能；这还导致了hypervisor不能有效地避免不同虚拟机内存访问请求对内存控制器和互联总线的竞争，进而无法保证虚拟机间的性能隔离。所以，现有的嵌套虚拟化系统具有明显的性能负载，阻碍了嵌套虚拟化技术的广泛应用。

发明内容

本发明的目的在于解决传统嵌套虚拟化系统中存在的性能负载以及NUMA架构上的性能隔离问题，从而提供了一种在众核服务器中基于物理资源穿透机制的基于物理资源穿透机制的轻量级嵌套虚拟化实现方法。

为达到上述目的，本发明采用的技术方案包括以下步骤：

1)系统启动：

引导程序首先加载host hypervisor运行，host hypervisor通过模拟引导程序加载guest hypervisor启动；host hypervisor对可用物理资源进行划分，每一个guest hypervisor都穿透地运行在独立的处理器、内存和PCI网卡上，guest hypervisor之间没有资源共享；

2)处理器信息的获取：

通过ACPI提供的SRAT相关资源亲和度表确定系统中的NUMA拓扑信息；探测多处理器表来获取机器中可用的处理器信息；

3)外设信息的获取：

通过BIOS int0x15(EAX＝0xe820)来获取机器的地址空间信息；通过扫描整个PCI设备的配置空间确定系统中可用的PCI网卡信息；分别通过伪造多处理器表和E820映射表来完成处理器和地址空间在不同guest hypervisor的分配，并利用硬件辅助虚拟化技术提供的嵌套页表或扩展页表来完成地址空间的隔离。

所述的步骤1)中，host hypervisor运行在处理器的host模式，而guest hypervisor则在guest模式下运行。

所述的步骤3)中，PCI网卡的分配方式：

host hypervisor通过拦截PCI配置空间的访问来控制PCI网卡对不同guest hypervisor可见性。

所述的步骤3)中，host hypervisor将所有的处理器间中断都以物理目标模式发送，以保证处理器之间的隔离性，所有处理器间中断的发射都需要host hypervisor的转发。

所述的步骤3)中，host hypervisor利用IOMMU中的I/O页表对PCI网卡的内存访问地址进行检查和转换，以保证不同guest hypervisor的PCI网卡在进行访问内存过程中的地址空间隔离性。

所述的步骤3)中，host hypervisor通过配置IOMMU中的消息中断映射表来完成中断的转发，以确保设备中断的隔离性，转发后的中断都以物理模式发射到目标处理器。

与现有技术相比，本发明具有以下有益效果：

本发明与传统嵌套虚拟化技术对物理资源进行虚拟化不同，主要侧重于对物理资源的管理与监控上，避免由于对物理资源进行虚拟化所带来的额性能开销。此外，通过基于NUMA节点的资源管控，避免了传统虚拟化技术在NUMA架构上的性能隔离问题。通过该方法，host hypervisor将物理设备分组并且guest hypervisor直接运行在不同的资源组上，这不仅能够避免资源调度和共享造成的性能负载，而且还能够充分地利用NUMA特性来提升系统性能以及保证不同guest hypervisor间的性能隔离。

host hypervisor将计算机系统中可用的资源静态地划分成多个独立资源节点，guest hypervisor可以直接独立地运行在不同的资源节点上。通过物理资源穿透机制，host hypervisor可以有效地避免多级资源调度和共享造成的性能负载，使得guest hypervisor获得接近单级虚拟化的性能；此外，物理资源穿透机制还可以有效地减少host hypervisor的设计复杂度，提升了系统的可靠性和安全性。根据Multi-processor规范，host hypervisor通过伪造多处理器表来完成处理器在不同guest hypervisor之间的划分；利用硬件辅助虚拟化技术的支持，host hypervisor可以完成内存地址空间的分配和隔离；基于PCI规范，host hypervisor可以拦截所有PCI配置空间的访问来完成PCI网卡的物理划分。同时，为了充分利用NUMA本地内存节点访问延迟低的特性，host hypervisor将处于同一NUMA节点的处理器和内存分配给同一个guest hypervisor使用；这不仅可以充分地提升嵌套虚拟化系统的性能，而且还能够有效地比避免NUMA节点内存控制器和互联总线的竞争，保证了guest hypervisor的性能隔离。

附图说明

图1为本发明的原理图；

图2为本发明的模型图；

图3为本发明PCI网卡的分配流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

参见图1至图2，本发明包括以下步骤：

1)系统启动：

host hypervisor运行在处理器的host模式，而guest hypervisor则在guest模式下运行。引导程序首先加载host hypervisor运行，host hypervisor通过模拟引导程序加载guest hypervisor启动；host hypervisor对可用物理资源进行划分，每一个guest hypervisor都穿透地运行在独立的处理器、内存和PCI网卡上，guest hypervisor之间没有资源共享；

2)处理器信息的获取：

3)外设信息的获取：

通过BIOS int0x15(EAX＝0xe820)来获取机器的地址空间信息；通过扫描整个PCI设备的配置空间确定系统中可用的PCI网卡信息；分别通过伪造多处理器表和E820映射表来完成处理器和地址空间在不同guest hypervisor的分配，并利用硬件辅助虚拟化技术提供的嵌套页表或扩展页表来完成地址空间的隔离。嵌套页表和扩展页表是不同的硬件厂商对辅助虚拟化技术的不同称呼，AMD称之为嵌套页表，Intel称之为扩展页表。

其中，host hypervisor通过拦截PCI配置空间的访问来控制PCI网卡对不同guest hypervisor可见性。host hypervisor将所有的处理器间中断都以物理目标模式发送，以保证处理器之间的隔离性，所有处理器间中断的发射都需要host hypervisor的转发。host hypervisor利用IOMMU中的I/O页表对PCI网卡的内存访问地址进行检查和转换，以保证不同guest hypervisor的PCI网卡在进行访问内存过程中的地址空间隔离性。host hypervisor通过配置IOMMU中的消息中断映射表来完成中断的转发，以确保设备中断的隔离性，转发后的中断都以物理模式发射到目标处理器。

本发明的原理：

本发明将计算机系统中可用的物理资源划分成不同的资源节点，不同的guest hypervisor可以直接穿透地运行在独立的资源节点上。整个技术方案可以分为两部分：可用计算资源的探测以及资源的划分。

host hypervisor直接运行在物理硬件之上，并且需要分别完成系统中可用处理器、内存地址空间以及PCI网卡的探测。host hypervisor可以通过多处理器表来完成处理器的检测；E820内存地址空间映射表提供了整个计算机系统中相关地址空间信息，host hypervisor可以分别通过引导程序提供的Multiboot启动信息和BIOS提供的相关调用来获取系统的E820映射表。对于系统中可用的PCI网卡，host hypervisor必须要以深度优先的方式扫描整个PCI设备的配置空间来完成探测。为了能够有效地利用NUMA本地节点内存访问延迟低的特性来提升嵌套虚拟化系统的性能，host hypervisor还需要完成系统中NUMA拓扑结构信息的获取，NUMA结构的相关信息从ACPI BIOS提供的ACPI资源亲和度表得到。

Host hypervisor通过控制guest hypervisor对可用计算资源的探测来完成计算资源的划分。Host hypervisor首先根据BIOS提供的多处理器表为不同的guest hypervisor伪造相应的多处理器表，guest hypervisor在启动时根据多处理器表来初始化相应的处理核心。Host hypervisor通过在multiboot启动信息结构中伪造E820内存映射表来完成地址空间的分配，然后通过设定相关启动参数来控制guest hypervisor跳过实模式启动代码并使用multiboot启动信息结构中的E820映射表来完成地址空间的初始化。为保证物理内存的隔离性，host hypervisor使用硬件辅助虚拟化技术中的嵌套页表或扩展页表来完成guest hypervisor内存地址的检查和转换。Host hypervisor通过拦截所有的PCI设备配置空间访问请求来控制不同PCI设备的可见性，从而完成PCI网卡在不同guest hypervisor之间的分配。

当host hypervisor启动一个guest hypervisor时，host hypervisor需要分别完成处理器、内存以及PCI网卡的分配，过程如下：

处理器资源的分配

根据Intel的多处理器规范，系统通过在指定的内存区域检测多处理器表可以完成可用处理核心信息的探测；在启动guest hypervisor之前，host hypervisor的处理器管理模块在分配给guest hypervisor的内存空间中伪造一份多处理器表，该表只包含了系统部分可用处理器核心的相关信息。Guest hypervisor根据探测到的多处理器表可以得到可用处理器的本地APIC物理ID，并通过INIT处理器间中断来完成多处理器的启动。为了保证处理器间的隔离性，host hypervisor需要对处理器间中断(IPI)进行拦截，并将IPI以物理目标模式(Physical destination mode)进行转发。

内存地址空间的分配

Host hypervisor通过模拟引导程序来加载guest hypervisor执行，并通过Multiboot启动信息来控制guest hypervisor的启动。Host hypervisor在guest hypervisor的内存空间中间伪造E820映射表来完成内存地址空间分配，并将该E820映射表的起始地址存放在Multiboot启动信息的相关选项中；通过这种方式，guest hypervisor就能根据Multiboot启动信息来获取伪造的E820映射表。同时，为了避免guest hypervisor利用实模式下的BIOS调用函数来获取整个系统的物理内存地址空间信息，host hypervisor设定相关启动参数来控制guest hypervisor跳过实模式启动过程。为了保证guest hypervisor间物理地址空间的隔离性，host hypervisor使用嵌套页表或者扩展页表来完成guest hypervisor物理地址到机器物理地址的转换。

PCI网卡的分配

Host hypervisor拦截所有的PCI设备配置空间访问请求以控制不同PCI网卡的可见性，从而完成PCI网卡的分配。当guest hypervisor对某个PCI设备的配置空间进行扫描时，如果host hypervisor没有分配该设备给guest hypervisor，host hypervisor直接返回错误信息，表明该设备不存在；否则，将该配置空间访问请求转发到相应的PCI设备上，由该设备向guest hypervisor返回相关的配置信息。host hypervisor使用IOMMU来保证设备访存和中断的隔离性；其中，I/O页表完成设备访存地址的检查和转换，中断映射表将设备中断以物理目标模式进行转发。

图3是本发明中PCI网卡分配流程图

下面结合附图对本发明作进一步说明。

PCI规范提供了CONFIG_ADDR(0xCF8)和CONFIG_DATA(0xCFC)两个I/O端口，CONFIG_ADDR指定配置空间的地址，CONFIG_DATA返回CONFIG_ADDR指定的配置信息；系统控制程序或者驱动程序可以利用这两个端口完成PCI设备配置空间的访问。

CONFIG_ADDR由设备的PCI ID和配置空间偏移构成。Guest hypervisor所看到的PCI设备ID为虚拟ID，Host hypervisor在guest hypervisor扫描PCI设备配置空间的过程中需要将虚拟ID转换成PCI设备的物理ID。为了控制不同PCI网卡的可见性，host hypervisor拦截所有与CONFIG_ADDR和CONFIG_DATA端口有关的读写操作；当guest hypervisor使用这两个端口时，处理器会陷入到运行在host 模式中的host hypervisor。

PCI网卡的分配过程如下：

1)guest hypervisor中的PCI设备扫描程序向CONFIG_ADDR端口设定所要读写的配置空间地址时，guest hypervisor陷入host hypervisor。

2)host hypervisor根据CONFIG_ADDR来判定guest hypervisor正在扫描的设备，如果将该设备分配给guest hypervisor，则跳到4)。

3)host hypervisor退出到guest hypervisor，guest hypervisor在下一条指令继续执行。

4)host hypervisor将CONFIG_ADDR中的虚拟PCI ID转换成物理ID，并构建新的CONFIG_ADDR',跳到步骤3)。

5)guest hypervisor中的PCI设备扫描程序从CONFIG_DATA读取CONFIG_ADDR指定的配置信息，此时处理器由guest模式陷入host模式。

6)如果CONFIG_ADDR指定的设备没有分配给guest hypervisor，则返回FFFFFFFFh表明该设备不存在，然后跳到3)；否则跳到7)。

7)host hypervisor根据步骤4)构建的CONFIG_ADDR'来读取对应设备的配置信息，并返回给guest hypervisor，然后跳转到3)。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims

1.一种基于物理资源穿透机制的轻量级嵌套虚拟化实现方法，其特征在于，包括以下步骤：

1)系统启动：

引导程序首先加载host hypervisor运行，host hypervisor通过模拟引导程序加载guest hypervisor启动；host hypervisor对可用物理资源进行划分，每一个guesthypervisor都穿透地运行在独立的处理器、内存和PCI网卡上，guest hypervisor之间没有资源共享；

2)处理器信息的获取：

3)外设信息的获取：

2.根据权利要求1所述的基于物理资源穿透机制的轻量级嵌套虚拟化实现方法，其特征在于：所述的步骤1)中，host hypervisor运行在处理器的host模式，而guest hypervisor则在guest模式下运行。

3.根据权利要求1或2所述的基于物理资源穿透机制的轻量级嵌套虚拟化实现方法，其特征在于：所述的步骤3)中，PCI网卡的分配方式：

host hypervisor通过拦截PCI配置空间的访问来控制PCI网卡对不同guesthypervisor可见性。

4.根据权利要求1或2所述的基于物理资源穿透机制的轻量级嵌套虚拟化实现方法，其特征在于：所述的步骤3)中，host hypervisor将所有的处理器间中断都以物理目标模式发送，以保证处理器之间的隔离性，所有处理器间中断的发射都需要host hypervisor的转发。

5.根据权利要求1或2所述的基于物理资源穿透机制的轻量级嵌套虚拟化实现方法，其特征在于：所述的步骤3)中，host hypervisor利用IOMMU中的I/O页表对PCI网卡的内存访问地址进行检查和转换，以保证不同guest hypervisor的PCI网卡在进行访问内存过程中的地址空间隔离性。

6.根据权利要求1或2所述的基于物理资源穿透机制的轻量级嵌套虚拟化实现方法，其特征在于：所述的步骤3)中，host hypervisor通过配置IOMMU中的消息中断映射表来完成中断的转发，以确保设备中断的隔离性，转发后的中断都以物理模式发射到目标处理器。