CN110399205A - 一种基于状态感知的虚拟机内存动态调节方法 - Google Patents

Abstract

本发明公开了一种基于状态感知的虚拟机内存动态调节方法，特征是包含主机虚拟机元数据记录、虚拟机状态评估、回收虚拟机内存和根据虚拟机性能反馈进行内存重分配等步骤。一方面，由于回收内存时，根据状态指标识别虚拟机的内存需求状态，区分虚拟机的内存敏感程度，所以本方法既能使虚拟机之间的性能更均衡，又能保证单个虚拟机性能最优；另一方面，由于能感知虚拟机性能变化，并及时调整内存分配策略，所以本方法适用于虚拟机内存需求多变的场景。本发明的方法与传统方法相比，能感知虚拟机的内存和性能状态，适用于高密度且内存需求多变的虚拟化场景，既能使虚拟机之间的性能更均衡，又能保证单个虚拟机性能最优。

Description

一种基于状态感知的虚拟机内存动态调节方法

技术领域

本发明属于计算机内存管理技术领域，具体涉及在虚拟化环境下，通过感知虚拟机的状态实现高效的虚拟机内存动态调节方法。

背景技术

2002年，VMware公司在其论文《Memory resource management in VMware ESXserver》中提出了Ballooning内存动态调节技术，并将其应用在VMware的虚拟化产品之中。Ballooning技术可以从虚拟机中回收空闲内存以缓解主机的内存压力，达到内存超量分配的目的，该技术大大提高了服务器的内存利用率。在当今的云计算中，内存超量分配情况下虚拟机内存的动态管理一直是富有挑战性的课题，随着大数据发展和硬件规格的提高，单台物理机上的虚拟机密度不断增大，且数据密集型应用的种类越来越多，传统的Ballooning内存调节技术一方面无法区分多样化的应用类型，导致虚拟机之间性能不均衡，另一方面回收粒度较大，无法适应内存需求多变的场景，导致虚拟机内部应用性能降低。

发明内容

本发明的目的是提出一种基于状态感知的虚拟机内存动态调节方法，以克服现有技术的上述缺陷，从而达到多个虚拟机之间的性能均衡，降低内存调节对虚拟机内部应用性能的影响；同时，通用性好，实现简单，无需修改虚拟机/客户机层的代码，仅在主机层就可实现。

本发明基于状态感知的虚拟机内存动态调节方法，其特征在于包括以下步骤：

第一步：主机和虚拟机的元数据记录

通过操作系统周期性地获取主机的空闲内存量，若空闲内存量大于特定阈值，则该周期结束，否则，记录各虚拟机在特定时间段内的内存带宽B、物理内存占用量S和缺页次数P；

第二步：虚拟机状态评估

对于每个虚拟机VM_i，根据第一步得到内存带宽B_i、物理内存占用量S_i和缺页次数P_i，计算虚拟机内存状态指标R_i：

上面的公式1中，N是虚拟机的总个数，和分别是虚拟机VM_i的内存带宽、物理内存占用量以及缺页次数与所有虚拟机总内存带宽、总物理内存占用量和总缺页次数的比值，f_i是放大系数，它是大于等于1的浮点数，在对VM_i执行内存回收之前，f_i值为1，执行内存回收后更新f_i的值，更新规则为“内存回收后缺页次数与回收前缺页次数的比值，若比值小于1，则取1”，内存回收后更新的f_i将在下一个周期使用，若下一个周期主机内存充足，则将各虚拟机的f_i都置为初始值1；根据公式1计算出的R值代表虚拟机的内存状态，R值越小代表虚拟机中应用的内存需求越小，反之则反；

第三步：回收虚拟机内存

将第二步得到的所有虚拟机的R值从小到大排序，并依次回收对应虚拟机的内存，直到主机空闲内存量大于特定阈值；对某个虚拟机执行内存回收时，采用带反馈的递进式回收方法，先回收其一小部分内存，再监测其性能反馈指标，若反馈指标超标，说明回收导致该虚拟机内部内存不足，则立即停止回收；若反馈指标正常，则增大回收力度继续回收；

第四步：根据虚拟机性能反馈进行内存重分配

对某个虚拟机执行回收后，监测其性能反馈指标，该指标通过磁盘读取/写入的数据量增长率即IO增长率和缺页次数两个参数反映；若其IO增长率大于1，或缺页次数大于特定阈值，则立即执行内存重分配，停止对其回收并增大其可用内存空间；若IO增长率小于1且缺页次数小于阈值，则保持当前回收状态。

上述本发明基于状态感知的虚拟机内存动态调节方法，包含主机虚拟机元数据记录、虚拟机状态评估、回收虚拟机内存和根据虚拟机性能反馈进行内存重分配等步骤。首先，由于本发明动态调节方法无需修改虚拟机代码，在主机层次即可实现，所以实现起来比较简单；并且由于回收内存时，根据状态指标识别虚拟机的内存需求状态，区分虚拟机的内存敏感程度，所以本发明方法既能使虚拟机之间的性能更均衡，又能保证单个虚拟机性能最优；最后，由于能感知虚拟机性能变化，并及时调整内存分配策略，所以本方法适用虚拟机内存需求多变的场景。本发明方法与传统方法相比，能感知虚拟机的内存和性能状态，适用于高密度且内存需求多变的虚拟化场景，既能使虚拟机之间的性能更均衡，又能保证单个虚拟机性能最优。

附图说明

图1是本发明基于状态感知的虚拟机内存动态调节方法的操作流程示意图。

图2为虚拟机初始状态示意图。

图3表示执行内存回收后的虚拟机内存状态示意图。

图4表示执行内存回收后的虚拟机性能状态示意图

图5表示执行内存重分配后的虚拟机内存状态示意图。

具体实施方式

下面结合附图通过具体实施例对本发明基于状态感知的虚拟机内存动态调节方法作进一步的详细说明。

实施例1：

本实施例基于状态感知的虚拟机内存动态调节方法，是在一台主机上同时运行3个虚拟机(VM₁、VM₂、VM₃)，主机物理内存24G，每个虚拟机内存地址空间16G，即虚拟地址空间16G，虚拟机内部运行各自的应用程序，由于内存是超量分配的，所以主机会出现内存不足，需要动态调节各虚拟机的内存，减少磁盘交换分区的占用，提高内存利用率。

附图1是本实施例基于状态感知的虚拟机内存动态调节方法的操作流程示意图。

本实施例基于状态感知的虚拟机内存动态调节方法，具体包括以下步骤：

第一步：主机和虚拟机的元数据记录

图2为虚拟机初始状态示意图。图2中表示当前各虚拟机VM₁、VM₂、VM₃的可用内存空间A₁、A₂、A₃均为16GB，当前占用的物理内存空间S₁、S₂、S₃分别为10、6、8(单位GB)；主机空闲内存的阈值设为主机总物理内存的4％，即24GB*4％≈1GB.此时主机空闲内存量为0，低于阈值，触发动态内存调节；

首先记录主机和虚拟机的元数据(参见图1中的流程操作框①)，得到的元数据结果如图2中所示：虚拟机VM₁、VM₂、VM₃的内存带宽B₁、B₂、B₃分别为2、1、2(单位MB/s)，缺页次数P₁、P₂、P₃分别为10、10、20，由于尚未执行内存回收，所以放大系数f₁、f₂、f₃均为初始值1；将此时每个虚拟机的缺页次数作为各自的阈值，该阈值是内存回收后评判虚拟机性能是否下降的标准；

第二步：虚拟机状态评估

根据第一步得到的元数据，使用

计算各虚拟机的状态指标值R(参见图1中的流程操作框②)，计算结果如图2中所示：虚拟机VM₁、VM₂、VM₃的状态指标R₁、R₂、R₃分别为0.23、0.20、0.57；

第三步：回收虚拟机内存

由于此时主机空闲内存为0，阈值为1GB，所以需要从虚拟机中回收1GB内存；每个虚拟机先回收其当前物理内存占用量的10％，根据R值由小到大的顺序依次回收，直到达到回收目标停止(参见图1中的流程操作框③)；首先从VM₂中回收6GB*10％＝600MB，接着从VM₁中回收10GB*10％＝1GB，此时已经完成回收目标1GB，所以VM₃无需回收；回收后各虚拟机的内存状态如图3中所示：VM₁、VM₂、VM₃的可用内存空间A₁、A₂、A₃分别为9、5.4、16(单位GB)，当前占用的物理内存空间S₁、S₂、S₃分别为9、5.4、8(单位GB)；

第四步：根据虚拟机性能反馈进行内存重分配

监测一段时间内被回收内存的虚拟机VM₁、VM₂的性能指标变化(参见图1中的流程操作框④)，监测指标为缺页次数P、磁盘读取数据量的增长率D、磁盘写入的数据量增长率W，监测结果执行内存回收后的虚拟机性能状态如图4中所示：

虚拟机VM₁的缺页次数P₁为30，超过其阈值10(该阈值是在第一步未进行内存回收时，监测虚拟机状态得到的)，磁盘数据读取增长率D₁为0，磁盘数据写入增长率W₁为2，大于阈值1，说明此时写入磁盘的数据量比之前大幅增加；VM₁满足缺页次数增加或磁盘数据读取/写入增长率大于1任一个条件，说明内存回收导致其内部内存不足，若后续内存请求不能及时得到满足，虚拟机VM₁性能将会下降；虚拟机VM₂的缺页次数P₂为5，低于其阈值10，磁盘数据读取增长率D₂为0.5，磁盘数据写入增长率W₂为0，均不超过阈值1，说明内存回收未影响虚拟机VM₂的正常运行；虚拟机VM₃的内存在第三步中没有被回收，因此无需关注其状态变化；另外，由于内存回收后缺页次数发生变化，所以更新公式1中各虚拟机的放大系数f，f的计算规则为“回收后缺页次数与回收前缺页次数的比值，若比值小于1，则取1”，更新后的f₁＝3、f₂＝1、f₃＝1.25(如图4)；更新后的f值将在下一个周期使用，若下一个周期主机内存充足，无需从虚拟机回收内存，则将每个虚拟机的f值都置为初始值1；

对于虚拟机VM₁，由于内存回收导致其内部内存不足，所以立即执行内存重分配，停止对VM₁回收并增大其可用内存空间(参见图1中的流程操作框⑤)，这样VM₁后续的内存请求就会得到主机响应，以使其性能不会因内存回收而明显下降；内存重分配后各虚拟机内存状态如图5中所示：VM₁的可用内存空间A₁增加为16GB，其他虚拟机由于性能未受影响，所以内存状态不变。

在本实施例中，采用基于状态感知的虚拟机内存动态调节方法，一方面，根据内存状态指标R能准确感知虚拟机的内存状态，区分虚拟机对内存的敏感程度，使得本发明方法能处理应用种类多样化的场景，且既保证多个虚拟机之间的性能更均衡，又保证单个虚拟机性能最优；另一方面，在内存需求多变的场景下，带反馈的递进式回收方式能感知虚拟机性能变化，及时调整内存分配策略，保证了虚拟机内的应用性能不会因内存调节而下降。

Claims (1)

1.一种基于状态感知的虚拟机内存动态调节方法，其特征在于包括以下步骤：

第一步：主机和虚拟机的元数据记录

通过操作系统周期性地获取主机的空闲内存量，若空闲内存量大于特定阈值，则该周期结束，否则，记录各虚拟机在特定时间段内的内存带宽B、物理内存占用量S和缺页次数P；

第二步：虚拟机状态评估

对于每个虚拟机VM_i，根据第一步得到内存带宽B_i、物理内存占用量S_i和缺页次数P_i，计算虚拟机内存状态指标R_i：

上面的公式1中，N是虚拟机的总个数，和分别是虚拟机VM_i的内存带宽、物理内存占用量以及缺页次数与所有虚拟机总内存带宽、总物理内存占用量和总缺页次数的比值，f_i是放大系数，它是大于等于1的浮点数，在对VM_i执行内存回收之前，f_i值为1，执行内存回收后更新f_i的值，更新规则为“内存回收后缺页次数与回收前缺页次数的比值，若比值小于1，则取1”，内存回收后更新的f_i将在下一个周期使用，若下一个周期主机内存充足，则将各虚拟机的f_i都置为初始值1；根据公式1计算出的R值代表虚拟机的内存状态，R值越小代表虚拟机中应用的内存需求越小，反之则反；

第三步：回收虚拟机内存

将第二步得到的所有虚拟机的R值从小到大排序，并依次回收对应虚拟机的内存，直到主机空闲内存量大于特定阈值；对某个虚拟机执行内存回收时，采用带反馈的递进式回收方法，先回收其一小部分内存，再监测其性能反馈指标，若反馈指标超标，说明回收导致该虚拟机内部内存不足，则立即停止回收；若反馈指标正常，则增大回收力度继续回收；

第四步：根据虚拟机性能反馈进行内存重分配

对某个虚拟机执行回收后，监测其性能反馈指标，该指标通过磁盘读取/写入的数据量增长率即IO增长率和缺页次数两个参数反映；若其IO增长率大于1，或缺页次数大于特定阈值，则立即执行内存重分配，停止对其回收并增大其可用内存空间；若IO增长率小于1且缺页次数小于阈值，则保持当前回收状态。