CN103885815A - 一种基于热页迁移的虚拟机动态缓存方法 - Google Patents

Abstract

本发明公开一种基于热页迁移的虚拟机动态缓存方法。该方法利用页表项的访问位监测页面的使用，将所有页面按访问频度（热度）进行排序，实现热页监控；然后通过页面迁移对虚拟机的缓存配额进行调整，优先将访问频度（热度）高的页面迁移到新的缓存分区内，实现动态缓存划分。本发明在虚拟化运行环境中把处理器高速缓存当作一个可管理的资源，所采用的页面迁移机制和热页监控机制的开销能够维持在较低的水平，能够降低并行程序的缓存冲突从而提高缓存利用率，使程序执行效率得到提升，从而比静态划分等方法达到更高的优化效率。

Description

一种基于热页迁移的虚拟机动态缓存方法

技术领域

本发明属于计算机技术、虚拟化技术领域，涉及虚拟机管理器的内存管理技术，具体涉及一种基于热页迁移的虚拟机动态缓存方法。

背景技术

在现代计算机系统中，缓存扮演了一个重要的角色。在虚拟化环境中，多个虚拟机并发执行并抢夺共享资源的情况很常见，资源竞争现象同时存在于应用级别与系统级别中，这一现象使得缓存竞争与缓存污染的问题显得尤为突出。在这种情况下，对共享资源竞争情况的探测是十分重要的，而被用于控制竞争访问请求的探测技术能够达到虚拟化系统性能隔离的目的同时使总性能提高。

对于现有的静态缓存划分策略，其在虚拟机启动时，人工控制其独立使用的缓存的大小。通过页面着色技术，能够把内存页面的一个子集通过着色分配给目标虚拟机使用，利用该技术可以控制在虚拟机管理器中的缓存划分。实验结果显示，通过管理最低级缓存（llc），能够显著提高缓存与程序的性能。但是，静态缓存划分存在两个缺点。首先，缓存划分的大小需要事先决定，且在虚拟机启动后不能改变。其次，预留给虚拟机的缓存份额受到虚拟机所占用的内存比例的限制，因为软件划分策略存在局限性。为了解决这些问题，本项专利提出了一个在虚拟化平台上的动态缓存划分策略。

发明内容

本发明的目的是建立一种基于热页迁移的虚拟机动态缓存方法，能够用来降低并行程序的缓存冲突，从而提高缓存利用率，使程序执行效率得到提升。

本发明采用的技术方案如下：

一种基于热页迁移的虚拟机动态缓存方法，其步骤包括：

1）热页监控：利用页表项的访问位监测页面的使用，将所有页面按访问频度（热度）进行排序；

2）页面迁移：通过页面迁移对虚拟机的缓存配额进行调整，优先将访问频度（热度）高的页面迁移到新的缓存分区内，实现动态缓存划分。

下面具体说明本发明的技术方案：

1.页面迁移

每个机器页面会有固定的颜色。但是物理页面的颜色取决于它是映射到了哪一个机器页面上。为了动态的改变分配给客户机的缓存大小，必须能够改变机器页面所对应的物理页面。这一过程被称为页面迁移。页面迁移是动态缓存划分的基础。

页面迁移有三个基本的步骤，如图1所示。首先，移除物理页面和与之对应的机器页面的映射，以保证迁移过程中页面内容不会发生变化，如图1中(a)图所示。然后把原页面的内容拷贝到具有被请求的颜色的页面上，如图1中(b)图所示。最后，重新建立映射，所有对物理页面的修改将被执行到新的机器页面上，如图1中(c)图所示。

2.热页检测

页面迁移允许在页面这样的细粒度对虚拟机进行调整。当需要对虚拟机的缓存配额进行调整时，我们选择一些页面然后把它们迁移到新的缓存分区里。但问题是，如何选择应该迁移的页面，即应该迁移哪些页面。

最简单的重新划分方法是均匀的选择页面。举例来说，如果想把虚拟机的缓存分区（颜色）从1-5调整到1-4，可以把分区5中的所有页面以轮转的次序迁移到分区1-4中。反之，如果要把缓存分区从1-4扩大到1-5，就从分区1-4中随机选择一批页面迁移到分区5中。这种策略保证了迁移完成后的缓存分布与直接进行静态缓存划分的结果是一致的。但是这种策略的缺点就是耗时过长，其带来的开销通常超过划分缓存所带来的性能提升，反而导致虚拟机整体性能下降。

一个更好的策略是只关注那些被频繁使用的页面，因此本发明引入了热页监控机制来驱动动态缓存划分。热页监控机制把所有页面按访问频度（热度）进行排序。缓存划分模块会首先迁移热度最高的页面。这种策略加速了缓存的划分，也部分解决了由于虚拟机内存大小所带来的缓存分区大小的限制。

热页监控机制利用了页表项的访问位来监测页面的使用。在分页模式下，当一条指令访问某个虚拟页面时，MMU（Memory Management Unit）自动将该页面对应页表项的Accessed位置1。在操作系统中，这个性质被广泛用于实现页缓存(Page Cache)中的页面老化算法。在使用影子页表的虚拟机环境中，每次内存访问都会通过影子页表映射。所以也可以用类似的方法实现热页监控。

通过检查访问位是否被置位，能够知道对应的页是否被访问过。为了得到访问频度信息，本发明周期性地扫描影子页表的访问位，并为每个机器页面增加一个计数器来存储页面的热度。在每个采样周期的开始，把每个影子页表的所有访问位清零，并在一段时间后再次扫描它们。如果某一影子页表项被置位，就能知道它在采样周期里被访问了，所以把它的计数器增加。重复这样的“清除-扫描”循环，就能知道每个页的热度。为了得到最近的页面热度信息，对所有计数器应用老化算法。将它们的数值周期性地减半。

如图2中所示，热页监控机制共有4个参数。我们将清除页表访问位到重新扫描该位的间隔称为“监控窗口”(Window)，将两次采样所间隔的时间称为“采样周期”(Period)。将执行一次老化的采样周期数称为“老化周期”(Aging)，通常是采样周期的数倍。此外，本发明将每次扫描时所增加的热度值称为热度增量。

采样周期决定了热页监控的开销。热页监控机制需要对整个影子页表进行扫描，所以这一过程非常耗时。一个较长的扫描周期会降低开销，但同时却增加了遗漏热页的概率。通过实验与权衡分析，优选把采样周期设为50～200毫秒，进一步优选为100毫秒。

监控窗口的大小决定了页面热度的分布。过长的监控窗口会使各页面的热度值趋于平均，但是过短的监控窗口会导致收集不到足够的热页。通过实验分析，发现1～5毫秒是较为合适的窗口长度，进一步优选为2毫秒。

老化周期与热度增量共同决定了热度的最大值，以及热度统计随时间变化的敏感度。较短的老化周期有助于使热度计数器迅速反映最近的热度变化，较长的老化周期则能更好地反映页面热度的历史状况，避免程序的突发行为对决策产生不良影响。确定了老化周期后，再根据它计算出一个合适的热度增量，以保证页面的热度值不会溢出。在本发明中，老化周期的值设为50～200ms，而热度增量为64～512。进一步优选地，老化周期的值设为100ms，而热度增量为127。在这种配置下，热度值会收敛到255，且热度计数器只保留800毫秒以内的历史信息。

本发明在虚拟化运行环境中把处理器高速缓存当作一个可管理的资源，在开源的虚拟化平台Xen上实现了配置缓存分区的必要机制，包括高效静态划分以及更细粒度的动态划分机制。实验结果证实，本发明的虚拟机动态缓存划分策略是有效的，能够比静态划分等方法达到更高的优化效率。具体来说，本发明提出的基于热页迁移的虚拟机动态缓存划分方法具有以下优点与积极效果：

1.页面迁移机制和热页监控机制的开销维持在了一个较低的水平。

表1显示了一个页面在整个页面迁移过程中的每个阶段的平均耗时。同时也给出了在逆映射机制下开销降低的结果。时间单位是纳秒。

表1.页面迁移在有/无逆映射机制下的开销

从表1中可以看出，在没有逆映射的情况下，整个页面迁移花费了430毫秒，其中98.7%的时间消耗在重新映射和解除映射上。在有逆映射机制的情况下，页面迁移的开销降低到了32毫秒。相比从前开销降低了13倍。主要的开销降低在重新映射和解除映射环节，其开销分别降低到原来的3.3%和10.8%。采用逆映射机制而获得性能的提升主要是因为该机制省去了遍历影子页表的开销。

为了对热页监控机制的开销维持在进行评估。本发明首先在没有热页监控的情况下运行了基准测试程序，然后加入热页监控后又重新运行了基准测试程序。设置监控窗口大小为2ms，采样周期为100ms，老化周期为1，热度增量为127。

图3显示了热页监控造成的开销的比重。从该图能够发现热页监控的开销从0%～20.6%不等，平均开销为4.39%。除了milc和GemsFDTD，其他程序中热页监控的开销都在10%以下。在实验中观察到热页监控的开销与虚拟机的活跃工作集有关。图3中的热页数量被归一化到20000。在图4中把平均热页数量显示在X轴上，监控开销显示在Y轴上。很明显，这两张图证实了我们的观察结果。

2.动态缓存划分机制的有效性。

本发明对比了静态缓存划分，动态缓存划分和自由竞争缓存的性能。让一对基准测试程序分别运行在两个虚拟机上。如果其中一个先跑完了一个测试程序，会再次运行它直到另一个程序结束。但是，只比较各程序第一次执行的性能。此外，该动态划分假设事先知道程序对于缓存的敏感程度。这种策略会把分配给缓存污染或者非缓存敏感程序的缓存大小限制到最低。换句话说，当且仅当知道划分后性能会提高时，才对缓存进行划分，否则就让虚拟机自由竞争缓存。

图5显示了测试结果。图中的每个柱形表示一对基准测试程序，每一组相连的三个柱形从左至右分别显示了一对基准测试程序在自由竞争缓存，静态缓存划分，动态缓存划分的情况下的性能。每个柱形有两个部分，每个部分描述了两个并发程序的相对性能，其基准是各程序单独运行时的性能。本发明测试了84对基准测试程序。但其中一部分并没有触发动态缓存划分机制，所以它们的性能没有变化。我们忽略了这些结果。图6显示了对应的L3缓存失效率，其值被正规化到各程序单独运行时的失效率，图中每一组相连的三个柱形从左至右分别表示一对基准测试程序在自由竞争缓存，静态缓存划分，动态缓存划分的情况。

正如图5中所示。静态缓存划分能够使平均性能提升4.2%，最大提升15.4%。动态划分能够使平均性能提升3.7%，最大提升17.1%。实验结果显示动态划分的性能非常接近静态划分。考虑到动态划分的复杂度，这样的结果是令人满意的。值得注意的是，有八对基准测试程序在动态划分下比静态划分获得了更好的性能。它们是leslie3d+{astar，sphinx3}，libquantum+{bzip2，gcc，astar，sphinx，xalanc}，以及lbm+sphinx。通过检查页面迁移的日志，发现在这些测试中，动态划分策略成功的把缓存污染程序（leslie3d，libquantumand lbm）的缓存大小限制在512K，余下的缓存被缓存敏感程序所使用。但是，由于静态划分的局限性，它只能把L3缓存最多分为1：5。也就是说，缓存污染程序至少能获得1MB的缓存。

附图说明

图1是页面迁移的基本步骤示意图。

图2是热页监控过程示意图。

图3是热页监控的开销示意图。

图4是热页数量与开销的关系示意图。

图5是表示动态划分性能（以单独运行的性能作为基准）的柱形图。

图6是L3缓存在动态划分下的失效率（以单独运行时的失效率为基准）的柱形图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本实施例在Xen3.3.0中实现了页面迁移，用户可以通过超级调用命令CAPAOP_migrate_page来进行页面迁移工作。页面迁移请求包括一对参数<src_mfn，dst_color>。其中src_mfn是机器页面的页框号，dst_color是页面迁移完成后，src_mfn对应的物理页面具有的页面颜色。当页面迁移完成后，将为请求列表中的每一项返回一对参数<dst_mfn，status>。其中dst_mfn是新分配的机器页面，而status代表操作是否成功。

最早的实现页面迁移机制的方法就是暂停虚拟机，拷贝页面内容，修改Xen中维护的P2M映射和M2P映射，将影子页面池清空，最后再恢复虚拟机的运行。这样做的代价也十分巨大，不仅暂停和恢复虚拟机需要很长的时间，而且很多时候运行在虚拟机上的服务程序不允许我们进行停机这样的操作。为了得到更好的并发性与性能，本发明的策略是在拷贝页面内容的同时保持虚拟机的运转。当拷贝结束时，检查每个页面在拷贝期间是否被修改。对于没有修改过的页面，更新其P2M和M2P映射。对于修改过的页面，把它标记为脏页面，之后再重新尝试。在对P2M和M2P映射修改之前，需要获得影子页表锁，以防内核其他部分更新P2M和M2P映射。整个系统的并发性在这一过程中仍然会受到影响，然而这样的影响是不可避免的，需要尽最大努力去减轻它。

本实施例的页面迁移采用以下的步骤：

（1）对于参数中的每一个src_mfn，利用基于颜色的页分配器为其申请一个新的页面。为了便于称呼，把这个新页面叫做dst_mfn。

（2）遍历虚拟机中的所有影子页表的页表项，把所有指向src_mfn的页表项都改成只读，并且启动脏页监控机制，每当虚拟机试图修改这些页面时，会将被修改的页面标记为脏。该操作必须获得影子页表的锁。

（3）对于每一个src_mfn，将其内容拷贝到对应的dst_mfn。

（4）对于每一个src_mfn，检查其是否被标记为脏页。如果是脏页，证明其内容在拷贝的过程中发生了改变，dst_mfn和src_mfn的内容很可能不一致，会放弃相应的操作。如果不是脏页，修改相应的P2M和M2P映射，并且清除所有指向src_mfn的影子页表项。

（5）对于第4步中淘汰下的脏页面，把这些页面放到第二步中重新执行最多五次。在实验中发现，在进行五轮页面迁移之后很少有脏页面仍然存在。

（6）将src_mfn返回给页分配器。

回顾上述页面迁移步骤，可以发现有两个相当耗时的部分：遍历所有指向src_mfn的页表项并改为只读（unmap）以及清除所有指向src_mfn的影子页表项（remap）。在这些操作中，解除映射和重新映射需要遍历整个影子页表，这意味着扫描每一个影子页表项。这一过程会十分的耗时且在遍历过程中必须保持影子页表锁，如果有其他线程想要获得影子页表锁，它就必须等待。这大大影响了整体系统的并行度。为了降低扫描影子页表的开销，本发明加入了从机器页面到影子页表项的逆映射机制。对于每一个机器页，记录是哪一个影子页表项指向它。如果一个页面有多个页表项指向它，就扫描所有影子页表。

对于热页监控，通过在XEN3.3.0中加入六个APIs来实现。用户可以调用hypercallCAPAOP_set_hotdetect来设置监控窗口，采样周期，老化周期，热度增量，以及目标虚拟机。然后，通过调用CAPAOP_{start/stop/restart/reset}_hotdetect，用户能够启动/停止/重启热页监控。当用户需要浏览热度信息时，可以通过调用CAPAOP_refresh_rank来列出所有的热页，包括他们的机器页面，热度计数器，以及所隶属的虚拟机。

因为热页监控非常的耗时，本发明做出了如下的优化：

（1）只在需要的时候监控。对于工作集较大的程序，热页监控造成的开销十分大。一个简单的降低开销的方法是只在需要迁移页面的时候启动热页监控。在大多数情况下，可以利用PMU提供的简单的性能指标，比如缓存失效率以及TLB失效率，来猜测程序的行为是否发生了变化。如果发现程序运行到了一个新的阶段，就启动热页监控，在重新分区结束后，停止热页监控。利用这方式，可以把热页监控的开销降低到一个合理的水平。

（2）优化老化算法。老化算法需要在每个老化周期对每个计数器进行移位减半操作。由于设置的老化频率较高，这样的开销将变得无法接受。为了加速老化过程，本发明为每个热度计数器设置一个时间戳。当一个页面被访问时，我们同时更新热度计数器与时间戳。通过比较计数器时间戳和全局时间戳，只需要在时间戳溢出时或者用户想要获取热度信息时，按照每个时间戳对热度计数器进行老化。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于热页迁移的虚拟机动态缓存方法，其步骤包括：

1）利用页表项的访问位监测页面的使用，将所有页面按访问频度进行排序；

2）通过页面迁移对虚拟机的缓存配额进行调整，优先将访问频度高的页面迁移到新的缓存分区内。

2.如权利要求1所述的方法，其特征在于：步骤1）通过周期性地扫描影子页表的访问位，并为每个机器页面增加一个计数器来得到页面的访问频度信息。

3.如权利要求2所述的方法，其特征在于：对所述计数器应用老化算法，在每个老化周期对每个计数器进行移位减半操作。

4.如权利要求3所述的方法，其特征在于：为每个计数器设置一个时间戳，当一个页面被访问时，同时更新热度计数器与时间戳，通过比较计数器时间戳和全局时间戳，只在时间戳溢出时或者用户想要获取热度信息时，按照每个时间戳对热度计数器进行老化，从而加速老化过程。

5.如权利要求1所述的方法，其特征在于，步骤1）对页面的监控包括四个参数：清除页表访问位到重新扫描该位的间隔，称为监控窗口；两次采样所间隔的时间，称为采样周期；执行一次老化的采样周期数，称为老化周期；每次扫描时所增加的热度值，称为热度增量。

6.如权利要求5所述的方法，其特征在于：所述采样周期为50～200毫秒；所述监控窗口的长度为1～5毫秒；所述老化周期的值为50～200ms，所述热度增量为64～512。

7.如权利要求1所述的方法，其特征在于：对于工作集较大的程序，步骤1）只在需要迁移页面的时候启动热页监控，以降低热页监控造成的开销。

8.如权利要求7所述的方法，其特征在于：利用PMU提供的简单的性能指标判断程序的行为是否发生变化，如果发现程序运行到一个新的阶段，则启动热页监控，在重新分区结束后，停止热页监控。

9.如权利要求1所述的方法，其特征在于，步骤2）所述页面迁移包含三个基本步骤：首先移除物理页面和与之对应的机器页面的映射，以保证迁移过程中页面内容不会发生变化；然后把原页面的内容拷贝到具有被请求的颜色的页面上；最后重新建立映射，将所有对物理页面的修改执行到新的机器页面上。

10.如权利要求9所述的方法，其特征在于：通过加入从机器页面到影子页表项的逆映射机制，降低页面迁移的解除映射和重新映射过程中扫描影子页表的开销。

Images