CN101968746A - 一种内核虚拟机组织架构模式的实现方法 - Google Patents

Abstract

本发明主要是涉及内核虚拟机架构及其优化技术，以内核虚拟机为基础，对其软件结构进行优化，以达到降低虚拟机占用的主机资源，及提供更加高效的虚拟机运行方式的目的。尤其是为每个虚拟机进程创建的VPCS结构，为实现物理资源与逻辑资源的直接映射提供了良好的接口。同时因为硬件虚拟化技术需要硬件技术支持，而当前各大数据中心、公司所拥有的服务器中仍有很大一部分不支持硬件虚拟化技术，采用这种技术可以使虚拟化技术在这部分计算资源上发挥更大作用。因此，本发明具有良好的应用前景。

Description

一种内核虚拟机组织架构模式的实现方法

技术领域

本发明涉及一种内核虚拟机组织架构模式的实现方法，主要是涉及内核虚拟机(Kernel-Based Virtual Machine，简称KVM)在Linux操作环境下的组织架构模式，以内核虚拟机为基础，实现其虚拟机软件架构的优化，涉及虚拟化监控程序优化技术。属于计算机技术领域。

背景技术

1、虚拟机的应用

近年来，随着虚拟化技术在x86体系结构下的不断发展和单台物理机性能的不断提高，使得一台物理机提供多个不同模拟计算环境成为可能，在实践上则表现为虚拟化软件的流行及云计算架构的兴起。在单台物理机上运行多个虚拟机，每个虚拟机模拟一种特定的计算机架构并运行相应的操作系统，使得物理机的计算资源得以充分利用。虚拟机技术用于数据中心、云计算等服务提供领域，则可以实现服务整合，监控一体化，进而提升服务质量及资源复用率。

通过虚拟机技术，物理机中的可用资源在逻辑上被分为不同的集合，每个集合与其他集合之间属于隔离关系。其中不能直接访问被隔离对象的资源空间。这些不同的隔离集合分别被称为主机(Host)、虚拟机监控器(VMM，Virtual Machine Monitor)以及多个虚拟机(VM，Virtual Machine)。在内核虚拟机架构中，VMM可以与Host共存，并作为Host的一个进程出现，由Host上运行的操作系统(Host OS)调度。不同的VM也作为Host上的单独进程出现。VMM通过Host OS提供的进程调用模式，调用不同的虚拟机进程，从而实现在不同虚拟机之间进行切换。这种模式下，VMM利用进程对进程拥有的内部资源的保护机制，来隔离不同的虚拟机。整个架构应具有很好的隔离性、可扩展性和可靠性，且能够简单方便的进行部署和管理维护。

随着虚拟化在x86架构上的日趋成熟化，虚拟机技术也越来越多的用在实际应用中。但是当前成熟的软件虚拟化技术在处理一部分指令时，需要将这部分指令移交至主机操作系统执行，这会导致业务处理能力的下降。尤其是在IO操作密集时，VMM需要频繁地停止当前正在运行的虚拟机，将控制权交给Host OS，在Host OS处理完成后，通过进程调度，将使用权交还给VMM，再由VMM调用相应虚拟机执行下面的操作。整个处理过程的冗余导致Host资源使用率的异常提升，以及虚拟机业务效率的严重降低。

为了更好的实现虚拟化技术在实际工程中的使用，有必要提出一种新的内核虚拟机的组织架构模式，来更好的处理VM与VMM，VMM与Host之间的交互，来达到全面提升虚拟机性能的目的。

2、硬件虚拟化技术

通过VMM的资源重映射功能，底层物理资源为VM在ISA层面(Instruction Set Architecture，指令集架构)提供了一个逻辑上等价的计算机体系结构及相应资源集合，为客户操作系统虚拟出一个逻辑硬件层。

因为现行软件虚拟化技术在体系结构组织上存在着问题，芯片厂商推出了基于硬件的硬件虚拟化技术。支持虚拟化的CPU的ISA集经过特别设计，专门增加了特定的ISA指令，来控制虚拟过程。通过对虚拟化过程进行直接操纵的ISA指令，VMM与Host OS之间的交互可以更加直接快速。硬件虚拟化技术可提供基于芯片的功能，借助兼容VMM软件能够改进纯软件解决方案。

硬件虚拟化对常用的处理器特权级别进行一定的修改。在常规状态下，x86 处理器有四个CPL(Current Privilege Level)，分别为Ring0-Ring3。只有在Ring0-2级别下运行时，处理器才可以访问特权资源或者执行特权指令；一般情况下x86平台上的软件只运行在Ring0和Ring3两个级别，Ring0负责OS的运行，Ring3则负责用户进程的运行。VMM为了保证对资源的整体掌控，需要运行在Ring0级别，但是与之对应的Guest OS需要管理自身拥有的逻辑资源，同时因为不能影响Host OS与VMM对物理机整体资源的管理，也不能运行在Ring0级别，所以Guest只能运行在Ring1或者Ring3级别(Ring2级别一般不被使用)。而为了实现上的便利，Guest OS一般往往被降级在Ring3等级上实现。

硬件虚拟化下，芯片可以直接支持两种格式的操作，一种用于VMM，另外一种用于客户操作系统。相对于在x86体系结构下的最高特权级是ring 0级，硬件虚拟化架构定义了一些新的指令、寄存器以及控制域来实现一个更高特权级的模式，该特权级又被称为“Ring-1”(AMD)级或者“Root模式”(Intel)。同时，硬件虚拟化架构还定义了专用的虚拟机控制结构体(AMD的SVM架构：Virtual Machine Control Blocks(VMCB)，Intel的VT架构：Virtual Machine Control Struct(VMCS))，该结构体用于对异常行为的控制，并且不允许在处理器核心之间共享，它控制着虚拟机监控器和客户操作系统的切换。

3、内核虚拟机的发展

内核虚拟机(KVM，Kernel-Based Virtual Machine)是由Qumranet公司(已被Redhat公司收购)开发的基于Linux开源操作系统的一个开源VMM。KVM基于Linux内核，它所管理的每一个虚拟机实例被Linux操作系统的看作是一个进程，因此可以充分利用Linux操作系统的调度算法与策略，所有标准的Linux进程管理工具都可以应用于虚拟机，使得在VMM在实现上更加，对虚拟资源的控制和调度开销也变得更低，管理工具可以直接对已有Linux相关工具进行复用。KVM是由KVM Driver和稍微修改过的Qemu组成，其中KVM Driver是作为Linux的一个模块，Qemu负责管理I/O设备。

KVM Driver加入到标准的Linux内核中，被组织成Linux中的标准字符设备(/dev/kvm)，用户模式的Qemu可以通过一系列的ioctl系统调用访问这个字符设备从而创建和运行虚拟机。KVM Driver的加入使得整个Linux内核成为一个虚拟机监控器(VMM)，并且在原有Linux操作系统两种执行模式(用户模式和内核模式)的基础上，增加了一种客户模式(拥有自己的内核模式和用户模式)，这三种模式不同的分工分别是：

客户模式：执行非I/O的客户代码。虚拟机就运行在客户模式下。

内核模式：实现到客户模式的切换，处理由于I/O或其他指令引起的从客户模式的退出。KVM Driver工作在这种模式下。

用户模式：代表客户执行I/O指令。Qemu运行在这种模式下。

当前的KVM客户模式下，在虚拟机执行IO指令时，需要从客户模式退出到用户模式进行IO操作，操作完后再返回客户模式。这种模式下，如果进行频繁的退出返回，则会导致虚拟机I/O性能的急剧降低。例如高密度的网络I/O，以及小块数据的频繁读写过程等，都会造成虚拟机进程占用主机资源率异常升高，同时虚拟机内应用处理数据效率降低，甚至因为响应时间过长导致I/O失败。

发明内容

本发明的目的在于提供一种内核虚拟机组织架构模式的实现方法，为内核虚拟机提供了一种新的整体组织架构，它实现了虚拟机与主机以及与外界之间高效的通用通信方式，通过对硬件虚拟化的软件模拟，简化虚拟机从客户态切换到内核态再到用户态的过程，降低虚拟机开销，在这种架构下的内核虚拟机，可以有更好的I/O表现，与已有的虚拟机I/O性能提升方式相比，对Guest OS与系统驱动的修改更少，更有利于实现资源的整合，提高物理服务器的利用率。

一种内核虚拟机组织架构模式的实现方法，包括如下步骤：

(一)、创建对应的虚拟机状态记录数据结构：

步骤1：在虚拟机启动时，构建一个特定的struct架构VPCS(Virtual Process Control Structure)，用于记录虚拟机的虚拟设备与底层物理资源的对应关系。

步骤2：VPCS数据结构用于记录虚拟机中的各种逻辑部件与真实的物理器件之间的映射关系，并设置相应的数据缓冲区

步骤3：虚拟机启动后，VPCS结构常驻内存。

步骤4：在执行用户态指令时，依照原有KVM运行模式执行指令。

步骤5：在执行需要内核态执行的指令时，虚拟机进程挂起，Linux操作系统调度KVM进行处理，并将所需处理结果直接送至虚拟机进程地址空间相应位置，继续调度虚拟机进程运行。

步骤6：在执行块型I/O操作(例如磁盘读写)时，通过VPCS结构中的设备映射关系直接将虚拟机内存空间(即虚拟机进程的进程空间)与物理机内存空间进行映射，并进行相应数据传输操作。

步骤7：在执行键盘或鼠标等低频率中断操作时，依照中断模拟的方法进行设备映射，保证在虚拟机进程活动时，鼠标、键盘等产生的中断被处理后直接反映在虚拟机进程的地址空间中。

步骤8：在执行网络I/O等高频率中断操作时，参照NAPI模式，为每块网络设备开辟buffer，在buffer充满之后，一次性将其移入对应虚拟机进程的相应地址空间中(即将相应数据块放入Guest OS的内核态地址空间中)。

(二)、对内核虚拟机的运行模式进行修改

步骤1：KVM作为内核模块，负责vCPU与vMemory的模拟，作为Daemon进程常驻Linux内核态。

步骤2：QEMU作为I/O管理模块，运行在Linux用户态。

步骤3：每个虚拟机作为一个独立的用户进程，运行在Linux用户态。QEMU与每个虚拟机进程共享其相应的I/O操作结构。

步骤4：在Guest OS需要CPL Ring 0-2的相应权限以执行CPU相关指令或内存相关指令时，则将所需要求传递给KVM，因为KVM运行在内核态下，处于Ring 0特权环内，故可以对相关硬件进行操作，并更新对应虚拟机进程空间中的VPCS结构。

步骤5：在Guest OS需要CPL Ring0-2的相应权限以执行I/O相关指令时，则将所需要求传递给QEMU，由KVM处理QEMU提交的请求，通过VPCS结构中的物理地址与虚拟机地址空间映射关系，直接建立从物理I/O设备数据缓存区到虚拟机地址空间的连接，以DMA方式进行数据传输，或以中断方式直接处理由鼠标或者键盘引起的I/O操作。

本发明的优点及功效在于：由于内核虚拟机运行于Linux内核这一特性，可以将VMM直接置于CPL的Ring 0级别，而通过引入VPCS结构，将虚拟机进程空间地址与物理地址的转换关系常驻内存，从而可以不再对系统特权模式进行修改。而引入的物理设备与逻辑设备的映射关系表，也为虚拟机进程直接与底层资源进行交互提供了方便。

已有的虚拟化技术下，对计算密集型应用(计算任务为主的应用，特点是ISA指令流中需要虚拟机陷入执行的比例较低)的虚拟化较为成功；但是对I/O密集型应用(与外界进行数据交互为主的应用，经常需要虚拟机退出到更低的特权模式下进行Guest OS中指令流的模拟)的虚拟化则在效率仍有提升余地。

在服务器上，当多个虚拟机运行于同一个物理服务器时，内核虚拟机提供了很好的隔离性、安全性。但是在实际使用过程中，因为I/O操作的比例占据很高的部分，虚拟机不一定能够及时处理所有的I/O请求。因此本发明提出了一种全新的内核虚拟机组织架构模式，引入新的VPCS数据结构，对物理机上每个虚拟机进程的逻辑资源与物理资源映射进行封装并使其常驻内存，实现一种通用的虚拟机I/O性能提升的模式，具有很好的实用价值和前景。

附图说明

图1本发明系统总体框架示意图

图2本发明内核虚拟机整体架构示意图

图3本发明内核虚拟机进程结构对应示意图

图4本发明内核虚拟机进程调度过程示意图

具体实施方式

见图1、图2、图3，图4所示，具体实施步骤如下：

一种内核虚拟机的新的软件实施架构，其特征如下：

(一)、为每个正在运行的虚拟机进程创建一个VPCS结构，在创建运行中的虚拟机进程时分配并常驻内存。其具体步骤如下：

步骤1：当一个虚拟机启动时，在创建虚拟机进程空间的PD(Process Descriptor，进程描述符)时增加相应的VPCS数据结构(或者指向VPCS结构的指针)，并在后台运行的KVM Daemon中创建对应的VPCS队列，每一个进程对应一个VPCS数据结构。

步骤2：VPCS数据结构用于记录虚拟机中的各种逻辑部件与真实的物理器件之间的映射关系，包括vCPU与pCPU的对应关系，虚拟机进程的进程地址空间与该进程所在物理地址空间的地址映射关系，逻辑硬盘分区在实际物理硬盘中的存储位置，以及其他需要创建的逻辑外设与物理外设的对应关系。这种对应关系的关键是物理外设的数据缓冲区能够直接与虚拟机进程地址空间中的虚拟外设逻辑缓冲区进行直接数据传输。

步骤3：虚拟机启动后，VPCS结构常驻内存，VMM通过管理VPCS结构来对多个虚拟机进行管理。

步骤4：在执行用户态指令时，依照原有KVM的运行模式执行指令。即计算/访存指令直接在虚拟机内完成，无需陷入。

步骤5：在执行需要内核态执行的指令时，虚拟机进程挂起，Linux操作系统调度KVM进行处理，并将所需处理结果直接送至虚拟机进程地址空间相应位置，继续调度虚拟机进程运行。

步骤6：在执行块型I/O操作(例如磁盘读写)时，通过VPCS结构中的设备映射关系直接将虚拟机内存空间(即虚拟机进程的进程空间)中相应数据经过VPCS转换后，得到其在物理地址空间中的位置，使得真实物理地址直接与设备进行交互。

步骤7：在执行键盘或鼠标等低频率中断操作时，依照中断模拟的方法进行设备映射，保证在虚拟机进程活动时，鼠标、键盘等产生的中断被处理后直接反映在虚拟机进程的地址空间中。

步骤8：在执行网络I/O等高频率中断操作时，参照NAPI模式，为每块网络设备开辟buffer，在buffer充满之后，一次性将其移入对应虚拟机进程的相应地址空间中(即将相应数据块放入Guest OS的内核态地址空间中)。实现一次中断处理多个数据包，以提高系统整体性能。如果buffer被填满，则由虚拟机操作系统将数据统一处理。如果虚拟机因为某种原因未能及时响应，可以将后续数据包存放至备用的buffer中，利用这种方法可以有效降低丢包率，进而解决可能出现的虚拟机响应不及时问题。

(二)、修改内核虚拟机的运行模式，使VMM部分作为Daemon进程运行在Linux内核态，同时不同的虚拟机进程作为Linux的普通进程运行在用户态。其具体步骤如下

步骤1：KVM作为内核模块，可以将其定位为Daemon进程，使之常驻Linux内核。

步骤2：QEMU作为I/O管理模块，运行在Linux用户态。

步骤3：活动的虚拟机进程作为普通的Linux用户进程被Linux内核调度程序控制。

步骤4：如果虚拟机进程需要Ring0级别权限，则更新VPCS，将控制权交给KVM；KVM调用QEMU处理I/O操作，或直接在内核态下执行特权指令。KVM按照自己所保持的VPCS链表中相应VPCS结构的映射关系，将结果直接写入某块物理内存，该块物理内存的地址由VPCS结构中描述的地址映射关系与虚拟机进程挂起前更新在VPCS中的逻辑地址空间共同决定。

Claims (1)

1.一种内核虚拟机组织架构模式的实现方法，包括如下步骤：

(一)、创建对应的虚拟机状态记录数据结构：

步骤1：在虚拟机启动时，构建一个特定的struct架构VPCS，用于记录虚拟机的虚拟设备与底层物理资源的对应关系；

步骤2：VPCS数据结构用于记录虚拟机中的各种逻辑部件与真实的物理器件之间的映射关系，并设置相应的数据缓冲区；

步骤3：虚拟机启动后，VPCS结构常驻内存；

步骤4：在执行用户态指令时，依照原有KVM运行模式执行指令；

步骤5：在执行需要内核态执行的指令时，虚拟机进程挂起，Linux操作系统调度KVM进行处理，并将所需处理结果直接送至虚拟机进程地址空间相应位置，继续调度虚拟机进程运行；

步骤6：在执行块型I/O操作时，通过VPCS结构中的设备映射关系直接将虚拟机内存空间与物理机内存空间进行映射，并进行相应数据传输操作；

步骤7：在执行键盘或鼠标等低频率中断操作时，依照中断模拟的方法进行设备映射，保证在虚拟机进程活动时，鼠标、键盘产生的中断被处理后直接反映在虚拟机进程的地址空间中；

步骤8：在执行网络I/O等高频率中断操作时，为每块网络设备开辟buffer，在buffer充满之后，一次性将其移入对应虚拟机进程的相应地址空间中；

(二)、对内核虚拟机的运行模式进行修改

步骤1：KVM作为内核模块，负责vCPU与vMemory的模拟，作为Daemon进程常驻Linux内核态；

步骤2：QEMU作为I/O管理模块，运行在Linux用户态；

步骤3：活动的虚拟机进程作为普通的Linux用户进程被Linux内核调度程序控制。

步骤4：如果虚拟机进程需要Ring0级别权限，则更新VPCS，将控制权交给KVM；KVM调用QEMU处理I/O操作，或直接在内核态下执行特权指令。KVM按照自己所保持的VPCS链表中相应VPCS结构的映射关系，将结果直接写入某块物理内存，该块物理内存的地址由VPCS结构中描述的地址映射关系与虚拟机进程挂起前更新在VPCS中的逻辑地址空间共同决定。

Images