CN115576644A - 一种基于pml的虚拟机页面迁移方法和系统 - Google Patents

Abstract

本发明涉及一种基于PML的虚拟机页面迁移方法和系统。该方法包括：在迁移之前，根据迁移页面数量设定多线程迁移，同时利用反向映射机制，获取所有迁移页面对应的EPT页表项并清除其脏位；在迁移时首先对每个页面进行数据拷贝，然后解除旧页面映射以避免虚拟机停机；在虚拟机页面迁移的过程中，当被迁移的原页面又发生修改时，利用Intel PML技术高效的捕获被修改的脏页面，重新拷贝脏页数据；在新映射建立成功后，利用新的PFN重新填充该页面对应的EPT页表项。本发明所提出的方案充分利用Intel PML的高效追踪脏页的特性加速页面迁移对脏页的处理；同时页面迁移充分考虑虚拟化二维地址翻译特性，利用EPT重填避免额外的虚拟机退出开销。

Description

一种基于PML的虚拟机页面迁移方法和系统

技术领域

本发明涉及内存虚拟化领域，尤其设计一种基于PML的虚拟机页面迁移方法和系统。

背景技术

虚拟化技术已经成为了学术界和产业界的焦点之一，其也是云计算的基础技术。从硬件来讲，虚拟化技术被用于企业服务器，嵌入式系统和桌面平台中；从用途而言，虚拟化技术被用于系统资源管理、容错、软硬件维护、增强系统安全等领域。具体而言，虚拟化是指将多台虚拟机(又称客户机，VM)运行在一台物理计算机(又称宿主机)之上的技术。虚拟化技术通过在物理机中引入新的软件层，即虚拟机监控程序(Virtual Machine Monitor，VMM，或hypervisor)为虚拟机提供所需的运行环境抽象，同时能够控制管理虚拟机对真实物理资源的访问和使用。虚拟化主要分为内存虚拟化、CPU虚拟化和I/O虚拟化三个方面。其中，内存虚拟化是最为复杂的方面，其优劣往往会成为制约虚拟机性能的瓶颈。

内存虚拟化的主要任务是实现虚拟机地址空间的虚拟化，运行在宿主机上的所有虚拟机都能够看到一个独立的，从零开始的，连续的虚拟物理地址空间。内存虚拟化通过两次地址转换来支持地址空间的虚拟化，即客户机虚拟地址(Guest Virtual Address，GVA)到客户机物理地址(Guest Physical Address，GPA)再到宿主机物理地址(Host PhysicalAddress，HPA)。其中GVA到GPA的转换通常是由客户机操作系统通过客户机状态与CR3寄存器指向的页表来指定，这个也表也被成为客户机页表(Guest Page Table，GPT)；GPA到HPA的转换是由hypervisor在将物理内存分配给客户机时决定的，通常用一些硬件或者软件的方法来记录这个映射关系。

现有对二维地址翻译的解决方案主要包括三类：影子页表(shadow pagingtable，SPT)，嵌套页表(nested page table，NPT)以及直接页表。前两种属于完全内存虚拟化，虚拟机操作系统无需做任何修改；第三种属于半虚拟化，需要修改虚拟机操作系统的源代码。影子页表依赖写保护机制同步GPT和SPT，会造成严重的虚拟机退出(VM-exit)开销。嵌套页表模型属于硬件辅助内存虚拟化，需要有专门的硬件支持，其代表有Intel拓展页表(extended page table,EPT)。与普通进程页表类似，EPT页表直接保存虚拟机物理页帧号(GFN)到物理机物理页帧号(PFN)的映射关系，同时包含对应页面的权限位信息。其中，EPT页表项的第8位和第9位分别是访问位(Access bit，A bit)和脏位(Dirty bit，D bit)。当虚拟机向对应页面进行读取或者写入操作时，对应的A/D bit会被硬件分别置位。

页面迁移技术是操作系统在很多内存管理方面的基础技术，是将指定物理页面移动到其他指定内存节点的技术。其被广泛运用与非一致性内存访问(NUMA)平衡，内存规整，内存热插拔，异构内存管理等方向。页面迁移技术的设计初衷是为了统一应用的执行与寻址节点，通过将该进程的页面移动到其运行所处的NUMA节点上来减少内存访问的延迟。后被沿用到内存规整和内存热插拔。目前的新兴技术也异构内存管理也使用页面迁移技术进行页面移动管理。具体而言，页面迁移技术通过依次对给定旧页面解除映射，复制数据到新页面，将地址映射到新的物理页面来完成整个页面移动的过程。而在虚拟化环境下，先解除旧页面映射再复制数据会造成虚拟机停机，影响用户体验，先复制数据再解除映射会有页面在这个过程中再次被写入新数据导致复制的数据过期。利用传统的写保护机制能够监控到新写入的页面，然而会造成较大的开销。同时，内存虚拟化引入了二维地址转换，页面移动后的页表填充也会导致VM-exit，造成不可忽视的开销。

Intel PML技术是英特尔公司为旗下产品在虚拟机热迁移提供的额外硬件支持，以加速脏页处理速度。在虚拟机热迁移过程中，虚拟机不会停机，因此需要监控在这期间被写入的脏页。通常软件的处理方法是对所有页面加以写保护权限，从而所有的写入会引发昂贵的VM-exit提示hypervisor脏页的产生。Intel PML通过硬件捕获虚拟机中的脏页，而不会触发VM-exit。其主要原理是通过硬件捕获由访存产生的对EPT页表项进行脏页置位的GPA。具体而言，在虚拟机进行访存之前，处理器需要确定此次访存是否需要对对应EPT页表项的脏页进行置位，此时，如果Intel PML技术被开启，当前访存的GPA会被MMU(MemoryManagement Unit，内存管理单元)记录到PML缓冲区。虚拟机的CPU由VCPU结构提供抽象，每个VCPU都维护一个拥有512条目的PML缓冲区。当缓冲区被填满后，会产生一次VM-exit将结构送回VMM进行下一步处理。Intel PML硬件带来了独特的虚拟化优势，其能够在产生极少量的VM-exit情况下获取脏页，利用这一特性，能够为页面迁移提供更灵活的解决方案。

发明内容

本发明的目的是在虚拟化环境下，利用Intel对虚拟化特有的PML硬件支持，实现高效的虚拟机页面迁移技术。具体而言，本发明参考了传统页面迁移过程，充分利用IntelPML高效监控虚拟机脏页的特性，同时充分考虑内存虚拟化下二级地址转换过程，实现了更高效的虚拟机页面迁移解决方案。本发明的核心思想是在页面迁移过程中先进行数据拷贝，再进行旧映射的解除以避免虚拟机停机，同时利用Intel PML机制高效地对迁移过程产生的脏页进行抓取并重新拷贝数据，避免发生数据不同步，在每个页面新映射建立成功后对其EPT页表进行重新填充，最终完成虚拟机页面迁移过程，为虚拟化系统提供了高性能的页面迁移实现。

本发明采用的技术方案如下：

一种基于PML的虚拟机页面迁移方法，包括以下步骤：

将旧页面的数据依次拷贝到新页面中，所有页面的数据拷贝结束之后将旧页面的映射解除；

利用Intel PML机制获取数据拷贝过程中产生的脏页，将脏页对应的旧页面再次拷贝到新页面中，再次拷贝完毕之后，为新页面建立映射；

在新页面的映射建立成功之后对EPT页表进行重新填充，完成虚拟机页面迁移过程。

进一步的，所述将旧页面的数据依次拷贝到新页面中，包括：

根据总页面数量进行多线程迁移，根据页面迁移量给定页面迁移线程数量，同时为每个迁移线程分发需要的迁移页面；

对于每一个迁移线程：

将旧页面从系统内存管理链表中分离，同时在目标节点申请新页面，将旧页面与新页面加锁；

利用反向映射机制，获取旧页面对应的EPT页表项，将Dirty bit置0并刷新TLB(旁路转换缓存)；

将旧页面的数据依次拷贝到新页面中。

可选的，所述根据页面迁移量给定页面迁移线程数量，是给定每2G页面一个迁移线程处理。

进一步的，所述利用Intel PML机制获取数据拷贝过程中产生的脏页，将脏页对应的旧页面再次拷贝到新页面中，包括：

从Intel PML硬件获取在数据拷贝过程中产生的脏页，根据脏页数据更新对应的脏页位图；

将脏页对应的旧页面再次重新拷贝到新页面中，保证最新的数据在新页面中。

进一步的，所述在新页面的映射建立成功之后对EPT页表进行重新填充，包括：

每个页面在新的映射建立完毕后，进入EPT表项重填过程；将该旧页面对应的客户机物理页帧号(GFN)通过EPT的四级页表翻译过程，与新页面的宿主机物理页帧号(PFN)对应；

将旧页面与新页面解锁，并且将新页面加入系统内存管理链表中，至此页面迁移过程已经被成功完成。

一种采用上述方法的基于PML的虚拟机页面迁移系统，包括：

迁移任务分配函数模块，当用户或者系统需要进行虚拟机页面迁移时，给定需要迁移的页面以及目标内存节点，进入迁移任务分配函数入口；根据页面迁移量，给定页面迁移线程数量，同时将需要迁移的页面依次分配给每个迁移线程作为输入；

页面迁移线程函数模块，对于分配到的页面，进行拷贝数据，解除映射，检查PML脏页，进行脏页重新拷贝，最后建立新映射并重填EPT完成迁移过程。

本发明所提出的一种基于PML的虚拟机页面迁移技术基于Intel PML硬件特性，尤其是高效的捕获虚拟机中的脏页。一方面本发明以传统页面迁移技术为基础进行改进，使用先拷贝数据再解除映射的方式避免虚拟机停机，同时利用Intel PML技术追踪在迁移过程中发生的脏页写入，再次拷贝保证数据更新，避免了使用写保护而导致的高额开销；另一方面，本发明使用EPT重新填充方法，在迁移末直接进行EPT重新填充，避免了未来访问时需要填充EPT而产生的VM-exit，降低了对运行应用的影响。

附图说明

图1是基于PML的虚拟机页面迁移方法的流程图。

图2是使用基于PML的虚拟机页面迁移技术将慢速NVM内存节点的页面迁移到快速DRAM内存节点的性能图，其中(a)为顺序读，(b)为随机读，(c)为顺序写，(d)为随机写。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明所述的“PML”是指Intel为虚拟机热迁移提供的额外硬件支持，是一种通过硬件监控EPT页表项Dirty位置位从而高效的获取虚拟机脏页的机制。

本发明所述的“页面迁移”是指将给定物理页面移动到其他内存节点的技术，需要保证移动后地址翻译能够重定向到新页面。页面迁移技术已经被广泛应用于异构内存管理、NUMA平衡等诸多领域。

本发明所述的“EPT重填”是指在虚拟化情况下，传统页面迁移只会重映射虚拟机进程页表，由于内存虚拟化二级地址翻译的存在，第二级地址映射没有得到维护。因此会造成未来对于迁移页面的访问会发生页面错误，从而导致VM-exit退出到hypervisor重新填充正确的EPT表项。因此直接将改步骤提前到迁移过程结束实施，能够避免掉未来发生的VM-exit，从而获得性能提升。

本发明在Intel傲腾服务器上，Linux系统下，使用基于内核的虚拟机(KVM)虚拟化方案，实现了基于PML的虚拟机页面迁移技术。图1显示了基于PML的虚拟机页面迁移技术算法流程图。其中oldList表示输入的页面链表，包含需要迁移的页面地址以及其目标内存节点编号，newList表示迁移完成的新页面链表。本发明中，页面迁移技术主要保证能够高效的完成指定页面移动过程，同时对运行的应用程序产生更低的性能损耗。

1.页面迁移流程：

基于PML的虚拟机页面迁移技术的任务就是高效完成指定页面的移动过程。

1)迁移线程启动与页面分配。在用户或者系统指定需要迁移的页面与其目标内存节点后，为了加速迁移过程，使用多线程迁移全部页面。根据需要迁移的页面数量决定迁移线程的数量，然后为每个线程分配需要迁移的页面。同一个线程迁移同一个目标内存节点的页面，同时考虑到不同的内存节点可能会存在不同的带宽，因此按照带宽比例为每个线程分配需要迁移的页面数量。

2)迁移线程进行迁移所分配的页面。首先在目标NUMA节点上分配新页面。在不同的内存节点上使用空闲页面池预先缓存新页面，空闲页面池通过减少新页面的分配时间来加速页面迁移。锁定新页面和旧页面。接着清除旧页面对应EPT页表项的Dirty bits，并刷新相应的TLB，以确保PML能够跟踪脏页。然后开始把数据从旧页面复制到新页面。旧页面取消映射，利用PML的捕获到的脏页更新脏页位图。

3)脏页捕获和处理。由于迁移开始时清除了旧页面对应的EPT页表项的Dirtybits，因此在该页面存在访存时，硬件会主动填充Dirty bits，而Intel PML机制能够感知到这次填充，将该页面记录下来，保存至缓冲区。对于这些脏页，因为其旧页面被锁定，并且它们到物理页面的映射已经被取消，所以不会再次发生页面写入。因此，只需要将旧页面的数据再次复制到新页面来保证数据一致。

4)EPT重填。将旧页面重新映射到新页面后，这只保证了在宿主机中虚拟机进程页表成功更新，而虚拟机的二级地址转换会将该地址错误映射从而产生VM-exit进入宿主机查询虚拟机进程页表。因此直接通过该页面对应的GFN对照新页面的PFN进行EPT重新填充，保证EPT直接保存了正确的地址映射关系，从而降低性能损失。最后释放旧页面并解锁旧页面和新页面。

本实例当中，内存节点分别为延迟高、带宽小的NVM与延迟低、带宽大的DRAM。特别地，每2G一个线程用于拷贝到目标内存节点为DRAM的页面，1G一个线程用于拷贝到目标内存节点为NVM的页面。

2.实验测评

为验证本发明能够高效实现虚拟机页面迁移并造成更小性能损失的目的，在拥有高访问延迟的NVM和低访问延迟的DRAM两个内存节点的虚拟机上分别对随机读写，顺序读写进行测试。同时，对于每个测试调整其工作集大小为2GB，4GB，8GB，16GB以覆盖大多数应用所需内存情况。该测试涵盖不同读写情况以及不同内存压力下的页面迁移效果，能够比较全面的反应本发明性能。

图2是采用基于PML的虚拟机页面迁移进行不同工作集下随机读写和顺序读写的性能损失图。测试方式为将原本在NVM内存节点上运行的测试程序在固定时间点利用页面迁移技术迁移到DRAM内存节点上运行。其中WSS表示工作集大小。同时为展现本发明的效果，使用Linux系统自带的会导致虚拟机停机的页面迁移机制(PM_Linux)与采用写保护进行脏页抓取的页面迁移机制(PM_WP)进行对比实验。PM_PML表示基于PML的虚拟机页面迁移技术。DRAM表示测试程序完全在DRAM上运行的效果，以此为基线，NVM表示测试程序完全在NVM上运行的效果，以此为性能损耗上界。可以看出在不同的读写情况与不同的内存压力下，基于PML的虚拟机页面迁移技术都能够获得最小的性能损失。特别的，在随机读情况下，PM_PML在不同内存压力下的开销都低于5％，而传统方法接近10％左右。

实验结果表明，本发明的基于PML的虚拟机页面迁移技术在不同的读写情况与不同的内存压力下都表现良好。特别对于随机写和顺序写程序，在此情况下，虚拟机在页面迁移的过程中会产生大量被再次写入的脏页，本发明造成的性能损失比传统方法低50％左右，这得益于Intel PML高效的脏页监控机制。

基于同一发明构思，本发明的另一实施例提供一种采用上述方法的基于PML的虚拟机页面迁移系统，包括：

迁移任务分配函数模块，当用户或者系统需要进行虚拟机页面迁移时，给定需要迁移的页面以及目标内存节点，进入迁移任务分配函数入口；根据页面迁移量，给定页面迁移线程数量，同时将需要迁移的页面依次分配给每个迁移线程作为输入；

页面迁移线程函数模块，对于分配到的页面，进行拷贝数据，解除映射，检查PML脏页，进行脏页重新拷贝，最后建立新映射并重填EPT完成迁移过程。

基于同一发明构思，本发明的另一实施例提供一种计算机设备(计算机、服务器等)，其包含上述基于PML的虚拟机页面迁移系统。

以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (8)

1.一种基于PML的虚拟机页面迁移方法，其特征在于，包括以下步骤：

将旧页面的数据依次拷贝到新页面中，所有页面的数据拷贝结束之后将旧页面的映射解除；

利用Intel PML机制获取数据拷贝过程中产生的脏页，将脏页对应的旧页面再次拷贝到新页面中，再次拷贝完毕之后为新页面建立映射；

在新页面的映射建立成功之后对EPT页表进行重新填充，完成虚拟机页面迁移过程。

2.根据权利要求1所述的方法，其特征在于，所述将旧页面的数据依次拷贝到新页面中，包括：

根据页面迁移量给定页面迁移线程数量，为每个迁移线程分发需要的迁移页面；

对于每一个迁移线程：

将旧页面从系统内存管理链表中分离，同时在目标节点申请新页面，将旧页面与新页面加锁；

利用反向映射机制，获取旧页面对应的EPT页表项，将Dirty bit置0并刷新TLB；

将旧页面的数据依次拷贝到新页面中。

3.根据权利要求2所述的方法，其特征在于，所述根据页面迁移量给定页面迁移线程数量，是给定每2G页面一个迁移线程处理。

4.根据权利要求2所述的方法，其特征在于，在不同的目标节点上使用空闲页面池预先缓存新页面，空闲页面池通过减少新页面的分配时间来加速页面迁移。

5.根据权利要求1所述的方法，其特征在于，所述利用Intel PML机制获取数据拷贝过程中产生的脏页，将脏页对应的旧页面再次拷贝到新页面中，包括：

从Intel PML硬件获取在数据拷贝过程中产生的脏页，根据脏页数据更新对应的脏页位图；

将脏页对应的旧页面再次重新拷贝到新页面中，保证最新的数据在新页面中。

6.根据权利要求1所述的方法，其特征在于，所述在新页面的映射建立成功之后对EPT页表进行重新填充，包括：

将旧页面对应的客户机物理页帧号通过EPT的四级页表翻译过程，与新页面的宿主机物理页帧号对应；

将旧页面与新页面解锁，并且将新页面加入系统内存管理链表中，至此页面迁移过程已经被成功完成。

7.一种基于PML的虚拟机页面迁移系统，其特征在于，包括：

迁移任务分配函数模块，用于当需要进行虚拟机页面迁移时，给定需要迁移的页面以及目标内存节点，进入迁移任务分配函数入口；根据页面迁移量，给定页面迁移线程数量，同时将需要迁移的页面依次分配给每个迁移线程作为输入；

页面迁移线程函数模块，用于对分配到的页面进行拷贝数据，解除映射，利用IntelPML机制获取数据拷贝过程中产生的脏页，进行脏页重新拷贝，最后建立新映射并重填EPT以完成迁移过程。

8.一种计算机设备，其特征在于，包括权利要求7所述的基于PML的虚拟机页面迁移系统。

Images