CN103823714B - 一种基于虚拟化下NUMA节点内存QoS的调节方法及装置 - Google Patents

Abstract

本发明公开了一种基于虚拟化下NUMA节点内存QoS的调节方法及装置，其通过实时采集内存资源占用情况，根据一定的规则来对每个虚拟机未来的所需内存进行预测，从而得到系统下一时刻所需内存，并决定是否要进行内存负载均衡调整，以保证内存QoS；在内存资源不充足条件下，启动该内存平衡调节操作，根据各个虚拟机内存份额比例，并感知NUMA节点，来决定从哪些虚拟机收回内存，向哪些虚拟机分配内存，并计算可回收的和分配的内存大小，将给出的每个客户机操作系统的最佳内存值下发给实际调节部分；解决了现有技术在虚拟机运行的过程中，虚拟机无法感知自身所在节点的内存使用状况，无法从系统的角度进行内存QoS调节等技术问题。

Description

一种基于虚拟化下NUMA节点内存QoS的调节方法及装置

技术领域

本发明属于计算机内存调度技术领域，具体涉及一种基于虚拟化下NUMA节点内存QoS的调节方法及装置。

背景技术

在虚拟机创建之初可以通过考虑负载均衡的初始放置算法，将各虚拟机创建在空闲内存较宽裕的节点上，以保证较好的内存QoS（服务质量）。但是随着虚拟机的运行，往往会有部分虚拟机会出于自身需求，占用过大的内存空间，而造成整个系统内存紧张，导致别的虚拟机匮乏内存资源，降低整个系统的性能。集群系统主要考虑如何以较低的成本将多台异构的节点计算机组成一个能提供强大的批处理和并行计算能力的系统。其资源管理就是分配系统的资源和监控系统资源的使用情况，能动态收集节点的状态信息，并响应节点的请求，如在系统运行中增加和删除一个节点计算机。传统物理机集群系统的资源调度使用基于任务调度的策略，不能覆盖所有类型的应用，具有一定的局限性，且调度粒度较大。而本发明针对的问题是基于NUMA（Non Uniform Memory Access Achitecture，非统一内存访问）架构的大型主机上部署的虚拟机，由于内存复用机制导致的负载随用户和应用的需求而变化，需要进行动态的内存资源调度，以保证QoS。

相关的现有技术有采用内存池分配和进程指派机制创建具有节点亲和性的进程，使用NUMA感知的堆管理器进行内存分配，针对多步长NUMA架构的内存管理方法，TMEM技术（超内存技术）以及气球驱动技术。但现有技术在虚拟机运行的过程中，虚拟机无法感知自身所在节点的内存使用状况，无法从系统的角度进行内存QoS调节。

专利号为US2012254267的国外专利提出了一种关于NUMA垃圾收集系统和方法，其将多处理器和存储器分到各个NUMA节点，并将堆空间分为多个池，分别存到存储器中。对每个节点，使用该节点内的垃圾回收线程对处理器和存储器进行垃圾回收，以减少远程内存访问。该技术方案未考虑在虚拟化条件下，虚拟机由于初始放置或内存复用，其内存分布在多个节点；该方案不能根据节点负载、虚拟机权值，高效地动态调节虚拟机的内存以提升虚拟机的性能

专利号为US7574567的国外专利提出一种NUMA系统的监测系统，其将数据收集和该节点上的监控线程相关联，以减少监测过程中节点间数据访问的频率。但该方案通过调度进程到本地内存访问，但未考虑虚拟化条件下的虚拟机的内存可能分布在多个节点上。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于虚拟化下NUMA节点内存QoS的调节方法及装置，通过自适应的气泡机制和高效迁移虚拟机热点内存区域，从系统角度进行内存QoS调节。

一种基于虚拟化下NUMA节点内存QoS的调节方法，包括如下步骤：

（1）实时检测NUMA节点上各虚拟机占用的实际内存值；

（2）根据实际内存值的实时检测数据通过以下预测模型计算NUMA节点上各虚拟机在下一时刻的内存预测值：

其中：C_i(t)为第i个虚拟机在t时刻的内存预测值，A_i(t-x)、A_i(t-kT)和A_i(t-x-kT)分别为第i个虚拟机在t-x时刻、t-kT时刻和t-x-kT时刻占用的实际内存值，i、k和x均为自然数且1≤i≤n，1≤k≤p，1≤x≤m，n为运行于NUMA节点上的虚拟机个数，p为预设的周期影响个数，m为预设的时刻影响个数，a_ik为第i个虚拟机前k个周期的权重影响因子，b_ix为第i个虚拟机前x个时刻的权重影响因子，T为周期；

（3）对所述的内存预测值进行修正，进而确定NUMA节点下一时刻的内存增量；

（4）根据当前时刻NUMA节点的空闲内存以及下一时刻的内存增量，判定NUMA节点在下一时刻的内存资源状态，进而在下一时刻到来前对NUMA节点的内存资源进行调节；

（5）根据步骤（1）至（4），遍历系统中所有NUMA节点。

所述的权重影响因子a_ik和b_ix根据第i个虚拟机在一段时间内每个时刻占用的实际内存值通过所述的预测模型利用最小二乘法进行线性拟合确定。

优选地，所述的步骤（3）中对内存预测值进行修正的方法即使内存预测值乘上一个修正系数β_i；通过修正能够保证预测值能略大于实际值，则在误差服从正态分布的情况下，期望可以使超过97%的点内存预测值大于虚拟机内存实际值。

所述的修正系数β_i=1+3σ_i，σ_i为第i个虚拟机的平均相对误差；平均相对误差σ_i的确定方法为：根据第i个虚拟机在一段时间内每个时刻占用的实际内存值，并利用预测模型计算出第i个虚拟机对应每个时刻的内存预测值，通过以下算式对每个时刻求平均得到σ_i：

其中：A_i(t)为第i个虚拟机在t时刻占用的实际内存值。

所述的步骤（3）中根据以下算式确定NUMA节点下一时刻的内存增量：

其中：ΔC为NUMA节点下一时刻的内存增量，为第i个虚拟机修正后的内存预测值，H_i和L_i分别为第i个虚拟机的内存上限值和下限值，A_i为第i个虚拟机在当前时刻占用的实际内存值。

所述的步骤（4）中判定NUMA节点在下一时刻的内存资源状态的标准如下：

若F_h＞ΔC，则判定NUMA节点在下一时刻为内存资源充足状态；

若F_h≤ΔC，则判定NUMA节点在下一时刻为内存资源紧缺状态；

其中：ΔC为NUMA节点下一时刻的内存增量，F_h为当前时刻NUMA节点可分配的空闲内存阈值。

所述的步骤（4）中对NUMA节点的内存资源进行调节的方法为：判断下一时刻NUMA节点的内存利用率是否大于80%：若是，则确定NUMA节点上占用内存最大的虚拟机的热点内存区域，并将这部分热点内存区域迁移至系统中相对内存利用率较低的NUMA节点上；若否，且NUMA节点在下一时刻为内存资源紧缺状态，则按以下策略对NUMA节点上各虚拟机占用的内存进行回收：

对于任一虚拟机，首先回收其占用内存最少的NUMA节点上的这部分内存，然后按远端节点＞邻近节点＞本地节点的优先级顺序回收该虚拟机在各NUMA节点上的占用内存。

一种基于虚拟化下NUMA节点内存QoS的调节装置，包括：

内存监视器，用于实时检测系统中每个NUMA节点上各虚拟机占用的实际内存值；

内存策略管理器，用于根据实际内存值的实时检测数据计算每个NUMA节点上各虚拟机在下一时刻的内存预测值，并对内存预测值进行修正，进而确定每个NUMA节点下一时刻的内存增量，以判定NUMA节点在下一时刻的内存资源状态；

内存迁移器，用于对下一时刻内存利用率大于80%的NUMA节点，确定这些NUMA节点上占用内存最大的虚拟机的热点内存区域，并将这部分热点内存区域迁移至系统中相对内存利用率较低的NUMA节点上；

气球驱动调节器，用于对下一时刻内存利用率小于80%且为内存资源紧缺状态的NUMA节点，按balloon机制对这些NUMA节点上各虚拟机占用的内存进行回收。

本发明通过实时采集内存资源占用情况，根据一定的规则来对每个虚拟机未来的所需内存进行预测，从而得到系统下一时刻所需内存，并决定是否要进行内存负载均衡调整，以保证内存QoS；在内存资源不充足条件下，启动该内存平衡调节操作，根据各个虚拟机内存份额比例，并感知NUMA节点，来决定从哪些虚拟机收回内存，向哪些虚拟机分配内存，并计算可回收的和分配的内存大小，将给出的每个客户机操作系统的最佳内存值下发给实际调节部分；解决了现有技术在虚拟机运行的过程中，虚拟机无法感知自身所在节点的内存使用状况，无法从系统的角度进行内存QoS调节等技术问题。

附图说明

图1为本发明调节装置的结构示意图。

图2为本发明调节方法的流程示意图。

图3为本发明balloon内存回收机制的流程示意图。

图4为本发明虚拟机迁移机制的流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，一种基于虚拟化下NUMA节点内存QoS的调节装置包括：内存监视器、内存策略管理器、内存迁移器和气球驱动调节器；该装置可作为虚拟化平台的一个组件，直接为虚拟化平台调度使用。其中：

内存监视器用于实时检测系统中每个NUMA节点上各虚拟机占用的实际内存值；

内存策略管理器用于根据实际内存值的实时检测数据计算每个NUMA节点上各虚拟机在下一时刻的内存预测值，并对内存预测值进行修正，进而确定每个NUMA节点下一时刻的内存增量，以判定NUMA节点在下一时刻的内存资源状态；

内存迁移器用于对下一时刻内存利用率大于80%的NUMA节点，确定这些NUMA节点上占用内存最大的虚拟机的热点内存区域，并将这部分热点内存区域迁移至系统中相对内存利用率较低的NUMA节点上；

气球驱动调节器用于对下一时刻内存利用率小于80%且为内存资源紧缺状态的NUMA节点，按balloon机制对这些NUMA节点上各虚拟机占用的内存进行回收。

如图2所示，该装置NUMA节点的内存QoS调节流程包括：

（1）监视NUMA节点上的虚拟机内存使用状况。

该装置通过内存监视器，记录NUMA节点上的各个虚拟机内存的使用情况以及各个节点的内存使用率。

（2）预测各虚拟机下一时刻所需内存。

根据实际内存值的实时检测数据通过以下预测模型计算NUMA节点上各虚拟机在下一时刻的内存预测值：

其中：C_i(t)为第i个虚拟机在t时刻的内存预测值，A_i(t-x)、A_i(t-kT)和A_i(t-x-kT)分别为第i个虚拟机在t-x时刻、t-kT时刻和t-x-kT时刻占用的实际内存值，i、k和x均为自然数且1≤i≤n，1≤k≤p，1≤x≤m，n为运行于NUMA节点上的虚拟机个数，p为预设的周期影响个数，m为预设的时刻影响个数，a_ik为第i个虚拟机前k个周期的权重影响因子，b_ix为第i个虚拟机前x个时刻的权重影响因子，T为周期；本实施方式中，设定p=4，m=2，周期T=336ms，以1ms为单位时间片的粒度。

该预测模型由两部分构成。前一部分即参数a_ik代表的部分表示对虚拟机内存周期性预测，是一个以T为周期的自回归模型。它表示每间隔T个时间的虚拟机内存大小是相关的。参数b_ix代表的部分表示局部调整，表示虚拟机内存大小受最近一段时间的虚拟机内存大小影响。a_ik和b_ix可根据第i个虚拟机在一段时间内每个时刻占用的实际内存值通过预测模型利用最小二乘法进行线性拟合确定。

求得内存预测值后需要对其进行修正，采用σ修正的模型，计算预测结果的平均相对误差，即根据第i个虚拟机在一段时间内每个时刻占用的实际内存值，并利用预测模型计算出第i个虚拟机对应每个时刻的内存预测值，通过以下算式对每个时刻求平均得到σ_i：

其中：A_i(t)为第i个虚拟机在t时刻占用的实际内存值。

对每个求得的内存预测值C_i(t)都乘上一个修正系数β_i=1+3σ_i，系数β_i＞1，保证预测值能略大于实际值。则在误差服从正态分布的情况下，期望可以使超过97%的点内存预测值大于虚拟机内存实际值。

修正内存预测值后我们根据以下算式确定NUMA节点下一时刻的内存增量：

其中：ΔC为NUMA节点下一时刻的内存增量，为第i个虚拟机修正后的内存预测值，H_i和L_i分别为第i个虚拟机的内存上限值和下限值，A_i为第i个虚拟机在当前时刻占用的实际内存值。

进而根据当前时刻NUMA节点的空闲内存以及下一时刻的内存增量，判定NUMA节点在下一时刻的内存资源状态：

若F_h＞ΔC，则判定NUMA节点在下一时刻为内存资源充足状态；

若F_h≤ΔC，则判定NUMA节点在下一时刻为内存资源紧缺状态；

其中：ΔC为NUMA节点下一时刻的内存增量，F_h为当前时刻NUMA节点可分配的空闲内存阀值。

（3）气球驱动调节虚拟机内存。

若某一节点的内存利用率小于80%且处于内存紧缺状况时，根据各个虚拟机内存份额比例及虚拟机类型，并感知NUMA节点，在虚拟机跨节点的情况下，通过balloon机制，优先回收其在所占内存最少的节点上的那部分内存，并按照远端节点＞邻近节点＞本地节点的优先次序，回收内存以分配给节点中所占内存最高的虚拟机；本实施方式的自适应balloon内存调节流程如图3所示。

（4）迁移负载最高的虚拟机

若某一节点的内存利用率大于80%且NUMA节点空闲内存-所有虚拟机需要申请的总内存<内存空闲额度时，内存迁移器基于时间和空间局部性，找出虚拟机的热点内存区域，优先迁移该部分热点内存区域，具体迁移流程如图4所示。

热点内存区域的确定方法如下：

基于时间局部性，内存页i在时间t的权值公式定义如下：

其中：k=10，α=1/2，W_i(t)表示内存页i在时间t的访问次数。

基于空间局部性，内存页i在时间t的权值公式定义如下：

其中：k=10，γ=1/2，W_i(t)表示内存页i在时间t的访问次数。

本实施方式通过实时采集内存资源占用情况，根据一定的规则来对每个虚拟机未来的所需内存进行预测，从而得到系统下一时刻所需内存，并决定是否要进行内存负载均衡调整，以保证内存QoS；在内存资源不充足条件下，启动该内存平衡调节操作，根据各个虚拟机内存份额比例，并感知NUMA节点，来决定从哪些虚拟机收回内存，向哪些虚拟机分配内存，并计算可回收的和分配的内存大小，将给出的每个客户机操作系统的最佳内存值下发给实际调节部分；解决了现有技术在虚拟机运行的过程中，虚拟机无法感知自身所在节点的内存使用状况，无法从系统的角度进行内存QoS调节等技术问题。

Claims (5)

1.一种基于虚拟化下NUMA节点内存QoS的调节方法，包括如下步骤：

(1)实时检测NUMA节点上各虚拟机占用的实际内存值；

(2)根据实际内存值的实时检测数据通过以下预测模型计算NUMA节点上各虚拟机在下一时刻的内存预测值：

$C_i\left(t\right)=\underset{k=1}{\overset{p}{\mathrm{\&Sigma;}}}{a}_{ik}\&CenterDot;A_i(t-kT)+\underset{x=1}{\overset{m}{\mathrm{\&Sigma;}}}{b}_{ix}\&CenterDot;{\mathrm{\&Delta;C}}_i(t-x)$

${\mathrm{\&Delta;C}}_i(t-x)=A_i(t-x)-\frac{1}{n}\underset{k=1}{\overset{p}{\&Sigma;}}{A}_i(t-x-kT)$

其中：C_i(t)为第i个虚拟机在t时刻的内存预测值，A_i(t-x)、A_i(t-kT)和A_i(t-x-kT)分别为第i个虚拟机在t-x时刻、t-kT时刻和t-x-kT时刻占用的实际内存值，i、k和x均为自然数且1≤i≤n，1≤k≤p，1≤x≤m，n为运行于NUMA节点上的虚拟机个数，p为预设的周期影响个数，m为预设的时刻影响个数，a_ik为第i个虚拟机前k个周期的权重影响因子，b_ix为第i个虚拟机前x个时刻的权重影响因子，T为周期；

(3)对所述的内存预测值进行修正：使内存预测值乘上一个修正系数β_i，所述的修正系数β_i＝1+3σ_i，σ_i为第i个虚拟机的平均相对误差；平均相对误差σ_i的确定方法为：根据第i个虚拟机在一段时间内每个时刻占用的实际内存值，并利用预测模型计算出第i个虚拟机对应每个时刻的内存预测值，通过以下算式对每个时刻求平均得到σ_i：

${\mathrm{\&sigma;}}_i=average\left(\frac{C_i\left(t\right)-A_i\left(t\right)}{A_i\left(t\right)}\right)$

其中：A_i(t)为第i个虚拟机在t时刻占用的实际内存值；

进而确定NUMA节点下一时刻的内存增量；

(4)根据当前时刻NUMA节点的空闲内存以及下一时刻的内存增量，判定NUMA节点在下一时刻的内存资源状态，进而在下一时刻到来前对NUMA节点的内存资源进行调节；

(5)根据步骤(1)至(4)，遍历系统中所有NUMA节点。

2.根据权利要求1所述的调节方法，其特征在于：所述的权重影响因子a_ik和b_ix根据第i个虚拟机在一段时间内每个时刻占用的实际内存值通过所述的预测模型利用最小二乘法进行线性拟合确定。

3.根据权利要求1所述的调节方法，其特征在于：所述的步骤(3)中根据以下算式确定NUMA节点下一时刻的内存增量：

$\begin{array}{cc}\mathrm{\&Delta;}C=\underset{i=1}{\overset{n}{\&Sigma;}}(M_i-A_i)& M_i=\min \left(max\right(L_i,{\tilde{C}}_i\left)H_i\right)\end{array}$

其中：ΔC为NUMA节点下一时刻的内存增量，为第i个虚拟机修正后的内存预测值，H_i和L_i分别为第i个虚拟机的内存上限值和下限值，A_i为第i个虚拟机在当前时刻占用的实际内存值。

4.根据权利要求1所述的调节方法，其特征在于：所述的步骤(4)中判定NUMA节点在下一时刻的内存资源状态的标准如下：

若F_h＞ΔC，则判定NUMA节点在下一时刻为内存资源充足状态；

若F_h≤ΔC，则判定NUMA节点在下一时刻为内存资源紧缺状态；

其中：ΔC为NUMA节点下一时刻的内存增量，F_h为当前时刻NUMA节点可分配的空闲内存阈值。

5.根据权利要求4所述的调节方法，其特征在于：所述的步骤(4)中对NUMA节点的内存资源进行调节的方法为：判断下一时刻NUMA节点的内存利用率是否大于80％：若是，则确定NUMA节点上占用内存最大的虚拟机的热点内存区域，并将这部分热点内存区域迁移至系统中相对内存利用率较低的NUMA节点上；若否，且NUMA节点在下一时刻为内存资源紧缺状态，则按以下策略对NUMA节点上各虚拟机占用的内存进行回收：

对于任一虚拟机，首先回收其占用内存最少的NUMA节点上的这部分内存，然后按远端节点＞邻近节点＞本地节点的优先级顺序回收该虚拟机在各NUMA节点上的占用内存。