CN103246564B - 一种面向云数据中心的大规模虚拟机快速迁移决策方法 - Google Patents

Abstract

本发明涉及计算机系统结构领域的系统级虚拟化技术及虚拟机迁移技术，公开了一种面向云数据中心的大规模虚拟机快速迁移决策方法，包括先对输入的初始方案和目标方案进行虚拟机到物理机映射关系的归类，然后进行预处理操作，消除初始方案和目标方案中相同的映射关系，接下去把从初始方案快速转移至目标方案的问题转化为寻找从初始方案到目标方案的最佳匹配组合，递归执行，直到初始状态或目标状态为空，则执行结束，最后进行后处理，减去重复计算的迁移次数，并输出最终的迁移次数和具体的迁移决策方案。本发明提出的大规模虚拟机快速迁移的决策方法，能最大程度的减少虚拟机的迁移次数，实现降低虚拟机迁移开销和加快虚拟机迁移执行的目的。

Description

一种面向云数据中心的大规模虚拟机快速迁移决策方法

技术领域

本发明涉及计算机系统结构领域的系统级虚拟化技术及虚拟机迁移技术，具体涉及一种面向云数据中心的大规模虚拟机快速迁移决策方法。

背景技术

虚拟机在线迁移技术是一种非常重要的技术，在虚拟化的云计算数据中心中扮演着至关重要的重要。通过虚拟机的迁移，云数据中心管理员可以动态的调节数据中心的负载分配，进而达到负载均衡或节能等目的。相比于停机迁移，在线迁移导致的停机时间非常短，用户往往感受不到服务的中断。目前，广泛使用的虚拟机在线迁移技术是预拷贝技术，即第一轮数据传输的时候把整个CPU的状态和内存状态都通过网络从源物理机拷贝到目标物理机，然后在这段拷贝时间内产生的新的脏页数据，通过第二轮拷贝从源物理机传输到目标物理机，然后进行第三轮、第四轮的传输，最终当源物理机上的脏页数据小到一定程度，源机器就停机不执行，把这最后的脏页数据传输完后，在目标物理机上启动虚拟机，并继续提供服务。

但是，虚拟机的迁移过程往往会产生一定的迁移开销，特别是数据传输时产生的巨大网络开销。因此，如何降低虚拟机迁移产生的开销是一个重要的挑战。特别是大规模的虚拟机环境中，当多个虚拟机需要同时迁移的时候，如果迁移的策略制定的不好，会导致不必要的迁移开销。另外，在制定迁移决策的时候，降低总体的虚拟机迁移次数，不仅能降低总的迁移开销，而且可以大大加快迁移的进程。

传统的迁移决策方法，往往只根据CPU等利用率数据进行迁移决策。这种方法存在几个问题：（1）根据CPU利用率进行迁移后，可能会破坏负载间的组合关系，把相互竞争的应用程序整合到一起了；（2）缺少一种快速的迁移决策方法来降低迁移的次数及迁移产生的开销。

发明内容

本发明针对现有技术存在的缺陷，提供一种既能减少总的虚拟机迁移次数，又能降低了虚拟机总的迁移开销的一种面向云数据中心的大规模虚拟机快速迁移决策方法。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种面向云数据中心的大规模虚拟机快速迁移决策方法，包括如下步骤：

步骤a：输入的信息包括初始方案中虚拟机到物理机的映射关系列表S，以及目标方案中虚拟机到物理机的映射关系列表T，然后分别对初始方案和目标方案中虚拟机到物理机映射关系进行归类，用集合表示为CX={CX₁,CX₂,…,CX_s}和CY={CY₁,CY₂,…,CY_t}，s表示初始方案中虚拟机到物理机映射的种类数，t表示目标方案中虚拟机到物理机映射的种类数，CX_i表示初始方案中第i种虚拟机到物理机的映射关系，X_i表示这种映射关系的数量，1≤i≤s，CY_j表示目标方案中第j种虚拟机到物理机的映射关系，Y_j表示这种映射关系的数量，1≤j≤t；

步骤b：预处理，消除初始方案和目标方案中相同的映射关系。遍历CX和CY，如果发现CX_i和CY_j属于同一种映射关系，则消去重复的映射关系，可消去的个数为|X_i-Y_j|，更新X_i和Y_j的值，如果X_i≥Y_j，更新X_i的值为X_i=X_i-Y_j，更新Y_i的值为Y_j=0，反之，更新Y_i的值为Y_j=Y_j-X_i，更新X_i的值为X_i=0，如果X_i等于0，则说明CX_i已不存在，从CX集合中删除CX_i这种映射关系，如果Y_j等于0，则说明CY_j已不存在，从CY集合中删除CY_j这种映射关系；

步骤c：把从初始方案快速转移至目标方案的问题映射为寻找从初始方案到目标方案的最佳匹配组合，所谓最佳指的是用最少的虚拟机迁移次数，包括移进虚拟机或移出虚拟机，就可以把初始方案调整为目标方案，具体的步骤包括：

步骤①：计算每个CX_i转移到每个CY_j需要的迁移次数。假设总的负载种类数为C，W_i表示初始方案中第i种虚拟机负载的个数，W_i’表示目标方案中第i种虚拟机负载的个数，那么CX_i中各虚拟机负载的情况可以表示为[W₁,W₂,…,W_C]，CY_j中各虚拟机负载的情况可以表示为[W₁’,W₂’,…,W_C’]，则CX_i转移到CY_j所需的虚拟机迁移次数表示为Step=|W₁-W₁’|+|W₂-W₂’|+…+|W_C-W_C’|；

步骤②：遍历每个CX_i到每个CY_j所需的迁移次数Step，找出需要最小虚拟机迁移次数的那个匹配组合作为从初始方案到目标方案的最佳匹配组合，P表示总的匹配个数，M表示虚拟机移进移出的次数，那么匹配组合的格式可以表示如下：{CX_i->CY_j;Step_k;M_k1,M_k2,…,M_kC}，1≤k≤P，它的意思是表示初始映射方案CX_i转移到目标映射方案CY_j所需要的虚拟机迁移的次数最少，即需要Step_k次，M_k1,M_k2,…,M_kC表示所有这C种虚拟机负载的具体调整方案，如果M>0，表示初始方案中该虚拟机的个数小于目标方案中该虚拟机的个数，需要移进M个虚拟机，如果M=0，表示初始方案和目标方案中该虚拟机负载的数目是相同的，不需要迁移虚拟机，如果M<0，表示初始方案中该虚拟机的个数大于目标方案中该虚拟机的个数，需要移出M个虚拟机，更新X_i和Y_j的值，如果X_i≥Y_j，更新X_i的值为X_i=X_i-Y_j，更新Y_i的值为Y_j=0，反之，更新Y_i的值为Y_j=Y_j-X_i，更新X_i的值为X_i=0，如果X_i等于0，则说明CX_i已不存在，从CX集合中删除CX_i这种映射关系，如果Y_j等于0，则说明CY_j已不存在，从CY集合中删除CY_j这种映射关系；

步骤③：重复步骤②，直到CX集合或CY集合为空；

步骤d：后处理，减去重复计算的迁移次数。因为移出的虚拟机可以为其他需要移进虚拟机的匹配组合所用，所以只需统计一次移出或移进的次数就可以，因此最终的总迁移次数需要减去的重复计算的迁移次数为 ${\mathrm{\&Sigma;}}_{i=0}^C\left({\mathrm{\&Sigma;}}_{j=1}^P\right|M_{\mathrm{ij}}|-|{\mathrm{\&Sigma;}}_{j=1}^P{M}_{\mathrm{ij}}\left|\right)/2;$

步骤e：输出最终的总迁移次数和具体的迁移决策方案。

作为优选，所述的初始方案和目标方案中虚拟机和物理机的个数是不受限制的，如规模可以达到成千上万个，能方便的应用于实际的大规模虚拟化环境。

作为优选，所述的从初始方案到目标方案的最佳匹配组合可能同时存在多个，这个时候选取遍历时发现的第一个需要最小迁移次数的匹配组合作为最佳匹配组合。

作为优选，所述的最终的总迁移次数与其他随机迁移的方法相比明显要少，能有效的加快迁移的执行速度并同时降低总的迁移的开销。

本发明第一次实现了在云数据中心中大规模虚拟机需要同时迁移的情况下，考虑虚拟机迁移的开销，并能快速进行迁移的方法，并给出了详细的迁移决策方案。它的主要功能是把从初始方案快速转移至目标方案的问题映射为寻找从初始方案到目标方案的最佳匹配组合，优先处理迁移开销小的匹配组合，即移动次数最少的匹配组合，从而最大程度的降低总迁移次数，达到降低虚拟机迁移开销和加快虚拟机迁移执行的目的。

本发明由于采用了以上技术方案，具有显著的技术效果：

1、虚拟机到物理机映射关系的自动归类：由于输入的物理机数目往往非常大，可以达到成千上万台，但是虚拟机负载的组合种类的数目却是有限的，因为很多的物理机上运行的虚拟机负载是相同的，因此通过对虚拟机到物理机映射关系的类型进行归类，然后以映射类型为单位去进行迁移决策的制定，大幅降低了迁移决策的复杂度。

2、灵活支持多种应用场景：例如初始方案中的物理机个数多于目标方案中的物理机个数，即S>T，那么这是一个典型的以节能为目的的迁移调整方案，本发明可以很好的解决这种情况的虚拟机迁移决策问题；又例如初始方案中的物理机个数少于目标方案中的物理机个数，即S<T，那么这是一个典型的以负载均衡为目的的迁移调整方案，本发明也可以很好的解决这种情况的虚拟机迁移决策问题。

3、支持内部迁移优先：例如有一种CX到CY的匹配组合，需要通过移出某类虚拟机负载，而另一种CX到CY的匹配组合，则需要移进同样数量的同类虚拟机负载，那么前一种匹配组合移出的虚拟机负载刚好可以给后一种匹配组合用，减低了一半的虚拟机迁移次数，本发明尽可能多的选择这种存在内部可以相互迁移的匹配组合，从而有效的降低了总迁移次数。

具体实施方式

下面结合实施例对本发明作进一步详细描述：

实施例1

一种基于应用程序性能约束的虚拟机节能整合规划方法，包括如下步骤：

步骤a：输入的信息包括初始方案中虚拟机到物理机的映射关系列表S，以及目标方案中虚拟机到物理机的映射关系列表T，然后分别对初始方案和目标方案中虚拟机到物理机映射关系进行归类，用集合表示为CX={CX₁,CX₂,…,CX_s}和CY={CY₁,CY₂,…,CY_t}，s表示初始方案中虚拟机到物理机映射的种类数，t表示目标方案中虚拟机到物理机映射的种类数，CX_i表示初始方案中第i种虚拟机到物理机的映射关系，X_i表示这种映射关系的数量，1≤i≤s，CY_j表示目标方案中第j种虚拟机到物理机的映射关系，Y_j表示这种映射关系的数量，1≤j≤t；

步骤b：预处理，消除初始方案和目标方案中相同的映射关系。遍历CX和CY，如果发现CX_i和CY_j属于同一种映射关系，则消去重复的映射关系，可消去的个数为|X_i-Y_j|，更新X_i和Y_j的值，如果X_i≥Y_j，更新X_i的值为X_i=X_i-Y_j，更新Y_i的值为Y_j=0，反之，更新Y_i的值为Y_j=Y_j-X_i，更新X_i的值为X_i=0，如果X_i等于0，则说明CX_i已不存在，从CX集合中删除CX_i这种映射关系，如果Y_j等于0，则说明CY_j已不存在，从CY集合中删除CY_j这种映射关系；

步骤c：把从初始方案快速转移至目标方案的问题映射为寻找从初始方案到目标方案的最佳匹配组合，所谓最佳指的是用最少的虚拟机迁移次数，包括移进虚拟机或移出虚拟机，就可以把初始方案调整为目标方案，具体的步骤包括：

步骤①：计算每个CX_i转移到每个CY_j需要的迁移次数。假设总的负载种类数为C，W_i表示初始方案中第i种虚拟机负载的个数，W_i’表示目标方案中第i种虚拟机负载的个数，那么CX_i中各虚拟机负载的情况可以表示为[W₁,W₂,…,W_C]，CY_j中各虚拟机负载的情况可以表示为[W₁’,W₂’,…,W_C’]，则CX_i转移到CY_j所需的虚拟机迁移次数表示为Step=|W₁-W₁’|+|W₂-W₂’|+…+|W_C-W_C’|；

步骤②：遍历每个CX_i到每个CY_j所需的迁移次数Step，找出需要最小虚拟机迁移次数的那个匹配组合作为从初始方案到目标方案的最佳匹配组合，P表示总的匹配个数，M表示虚拟机移进移出的次数，那么匹配组合的格式可以表示如下：{CX_i->CY_j;Step_k;M_k1,M_k2,…,M_kC}，1≤k≤P，它的意思是表示初始映射方案CX_i转移到目标映射方案CY_j所需要的虚拟机迁移的次数最少，即需要Step_k次，M_k1,M_k2,…,M_kC表示所有这C种虚拟机负载的具体调整方案，如果M>0，表示初始方案中该虚拟机的个数小于目标方案中该虚拟机的个数，需要移进M个虚拟机，如果M=0，表示初始方案和目标方案中该虚拟机负载的数目是相同的，不需要迁移虚拟机，如果M<0，表示初始方案中该虚拟机的个数大于目标方案中该虚拟机的个数，需要移出M个虚拟机，更新X_i和Y_j的值，如果X_i≥Y_j，更新X_i的值为X_i=X_i-Y_j，更新Y_i的值为Y_j=0，反之，更新Y_i的值为Y_j=Y_j-X_i，更新X_i的值为X_i=0，如果X_i等于0，则说明CX_i已不存在，从CX集合中删除CX_i这种映射关系，如果Y_j等于0，则说明CY_j已不存在，从CY集合中删除CY_j这种映射关系；

步骤③：重复步骤②，直到CX集合或CY集合为空；

步骤d：后处理，减去重复计算的迁移次数。因为移出的虚拟机可以为其他需要移进虚拟机的匹配组合所用，所以只需统计一次移出或移进的次数就可以，因此最终的总迁移次数需要减去的重复计算的迁移次数为 ${\mathrm{\&Sigma;}}_{i=0}^C\left({\mathrm{\&Sigma;}}_{j=1}^P\right|M_{\mathrm{ij}}|-|{\mathrm{\&Sigma;}}_{j=1}^P{M}_{\mathrm{ij}}\left|\right)/2;$

步骤e：输出最终的总迁移次数和具体的迁移决策方案。

初始方案和目标方案中虚拟机和物理机的个数是不受限制的，如规模可以达到成千上万个，能方便的应用于实际的大规模虚拟化环境。

从初始方案到目标方案的最佳匹配组合可能同时存在多个，这个时候选取遍历时发现的第一个需要最小迁移次数的匹配组合作为最佳匹配组合。

最终的总迁移次数与其他随机迁移的方法相比明显要少，能有效的加快迁移的执行速度并同时降低总的迁移的开销。

本发明已在Xen虚拟化平台上实现。Domain0和DomainU用的都是Ubuntu8.10，内核版本为2.6.27。采用的物理机为DellT710服务器，配置为双CPU，共8核，32GB内存。每个虚拟机分配1个VCPU和1GB内存。

假设初始方案共有500台物理机，目标方案共有400台物理机，即S>T，这是一个典型的以节能为目的的迁移决策场景，运行的虚拟机的个数共1100个，应用程序的种类共4种，即C=4，分别为ABCD，其中A虚拟机300个，B虚拟机500个，C虚拟机200个，D虚拟机100个，先对初始方案和目标方案中虚拟机到物理机映射关系进行归类，得到如下结果，即CX中共存在s=5类映射关系，CY中共存在t=3类映射关系，后面的数字表示属于这种映射关系的物理机个数：

对上面的归类结果进行预处理，发现初始方案和目标方案中都存在ABC这种映射关系，则消去ABC这种映射关系个数为|X_i-Y_j|=|100-200|=100，即这100台物理机可以不经过任何虚拟机的迁移就可以重复出现在目标方案中，更新Y_i的值为Y₁=Y_j-X_i=200-100=100，更新X_i的值为X₄=0，并从CX集合中删除CX₄这种映射关系。预处理后的结果如下：

然后把从初始方案快速转移至目标方案的问题映射为寻找从初始方案到目标方案的最佳匹配组合：

首先计算每个CX_i到每个CY_j需要迁移的次数，因为这个实例中总的负载种类数C=4，那么CX_i中各虚拟机负载的情况可以表示为[W₁,W₂,W₃,W₄]，CY_j中各虚拟机负载的情况可以表示为[W₁’,W₂’,W₃’,W₄’]，则CX_i转移到CY_j所需的虚拟机迁移次数表示为Step=|W₁-W₁’|+|W₂-W₂’|+…+|W₄-W₄’|。详细的迁移次数用如下表格表示：

表-1初始方案转换到目标方案需要的迁移次数

^*注：1表示从初始方案BC转换到目标状态ABC，需要经过1次虚拟机迁移，即需要迁移进来1个A虚拟机到BC，就可以把BC状态转换到ABC状态，所需的迁移次数计算过程如下：Step=|W₁-W₁’|+|W₂-W₂’|+…+|W₄-W₄’|=|0-1|+|1-1|+|1-1|+|0-0|=1。

然后遍历上表中的迁移的次数Step，找出所有Step中最小的那个匹配组合，发现最小的迁移次数是1，而且存在多个，选择第一次遍历到的那个匹配组合作为从初始方案到目标方案的最佳匹配组合，标准匹配组合格式表示如下：{BC->ABC;1;1,0,0,0}，它的意思是表示初始映射方案BC转移到目标映射方案ABC所需要的虚拟机迁移的次数最少，只需要1次，1,0,0,0表示具体调整方案，即需要移进1个A负载到BC，就可以把BC状态转移到ABC状态。更新BC的个数为0，更新ABC的个数为0，同时在CX和CY集合中删除这两种映射关系。

重复以上步骤，可以再找出AB->ABB和B->BD两种最佳匹配组合，直到目标方案CY的集合为空。

最终的匹配组合结果如下：

{BC->ABC;1;1,0,0,0}

{AB->ABB;1;0,1,0,0}

{B->BD;1;0,0,0,1}

后处理，观察是否存在因为内部迁移而导致的重复计算的迁移次数，通过计算公式 ${\mathrm{\&Sigma;}}_{i=0}^C\left({\mathrm{\&Sigma;}}_{j=1}^P\right|M_{\mathrm{ij}}|-|{\mathrm{\&Sigma;}}_{j=1}^P{M}_{\mathrm{ij}}\left|\right)/2=((1-1)+(1-1)\text{+}(0-0)+(1-1))/2=0,$ 发现没有重复计算的迁移次数，那么最终的迁移次数为3次，即只需要对虚拟机做3次迁移，就可以把初始方案全部转变为目标状态，具体迁移决策方案如下：

从初始方案ABD，移出1个A加入到BC，那么BC就变为ABC状态，再从ABD移出1个B加入到AB，那么AB就成ABB，再从ABD移出1个D加入到B，那么B就变为BD状态，迁移完成。

可见，通过本发明的方法，可以以很少的迁移次数就可以完成状态的转换，快速地进行虚拟机的迁移，同时通过减少虚拟机的迁移次数而降低了整体的迁移开销。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (4)

1.一种面向云数据中心的大规模虚拟机快速迁移决策方法，其特征在于，包括如下步骤：

步骤a：输入的信息包括初始方案中虚拟机到物理机的映射关系列表S，以及目标方案中虚拟机到物理机的映射关系列表T，然后分别对初始方案和目标方案中虚拟机到物理机映射关系进行归类，用集合表示为CX＝{CX₁,CX₂,…,CX_s}和CY＝{CY₁,CY₂,…,CY_t}，s表示初始方案中虚拟机到物理机映射的种类数，t表示目标方案中虚拟机到物理机映射的种类数，CX_i表示初始方案中第i种虚拟机到物理机的映射关系，X_i表示这种映射关系的数量，1≤i≤s，CY_j表示目标方案中第j种虚拟机到物理机的映射关系，Y_j表示这种映射关系的数量，1≤j≤t；

步骤b：预处理，消除初始方案和目标方案中相同的映射关系，遍历CX和CY，如果发现CX_i和CY_j属于同一种映射关系，则消去重复的映射关系，可消去的个数为|X_i-Y_j|，更新X_i和Y_j的值，若X_i≥Y_j，更新X_i的值为X_i＝X_i-Y_j，更新Y_i的值为Y_j＝0，反之，更新Y_i的值为Y_j＝Y_j-X_i，更新X_i的值为X_i＝0，若X_i等于0，则说明CX_i已不存在，从CX集合中删除CX_i这种映射关系，若Y_j等于0，则说明CY_j已不存在，从CY集合中删除CY_j这种映射关系；

步骤c：把从初始方案快速转移至目标方案的问题映射为寻找从初始方案到目标方案的最佳匹配组合；

步骤d：后处理，减去重复计算的迁移次数，移出的虚拟机可以为其他需要移进虚拟机的匹配组合所用，只需统计一次移出或移进的次数，因此最终的总迁移次数需要减去的重复计算的迁移次数为C表示负载的种类数，P表示从初始方案到目标方案的最佳匹配组合的个数，M_ij表示虚拟机在第j个最佳匹配组合中移进移出的次数，如M_ij大于0，表示移进第i种负载的虚拟机，如M_ij等于0，表示不需要移动第i种负载的虚拟机，如M_ij小于0，表示移出第i种负载的虚拟机；

步骤e：输出最终的总迁移次数和具体的迁移决策方案。

2.根据权利要求1所述的面向云数据中心的大规模虚拟机快速迁移决策方法，其特征在于：所述的步骤c的寻找最佳匹配组合指的是用最少的虚拟机迁移次数，包括移进虚拟机或移出虚拟机，把初始方案调整为目标方案，其具体步骤如下：

步骤①：计算每个CX_i转移到每个CY_j需要的迁移次数；设定总的负载种类数为C，W_i表示初始方案中第i种虚拟机负载的个数，W_i’表示目标方案中第i种虚拟机负载的个数，CX_i中各虚拟机负载的情况可以表示为[W₁,W₂,…,W_C]，CY_j中各虚拟机负载的情况可以表示为[W₁’,W₂’,…,W_C’]，则CX_i转移到CY_j所需的虚拟机迁移次数表示为Step＝|W₁-W₁’|+|W₂-W₂’|+…+|W_C-W_C’|；

步骤②：遍历每个CX_i到每个CY_j所需的迁移次数Step，找出需要最小虚拟机迁移次数的那个匹配组合作为从初始方案到目标方案的最佳匹配组合，P表示总的匹配个数，M表示虚拟机移进移出的次数，匹配组合的格式可以表示如下：{CX_i->CY_j；Step_k；M_k1,M_k2,…,M_kC}，1≤k≤P，表示初始映射方案CX_i转移到目标映射方案CY_j所需要的虚拟机迁移的次数最少，即需要Step_k次，M_k1,M_k2,…,M_kC表示所有这C种虚拟机负载的具体调整方案，更新X_i和Y_j的值，如果X_i≥Y_j，更新X_i的值为X_i＝X_i-Y_j，更新Y_i的值为Y_j＝0，反之，更新Y_i的值为Y_j＝Y_j-X_i，更新X_i的值为X_i＝0，如果X_i等于0，则说明CX_i已不存在，从CX集合中删除CX_i这种映射关系，如果Y_j等于0，则说明CY_j已不存在，从CY集合中删除CY_j这种映射关系；

步骤③：重复步骤②，直到CX集合或CY集合为空。

3.根据权利要求1所述的面向云数据中心的大规模虚拟机快速迁移决策方法，其特征在于：所述的初始方案和目标方案中虚拟机和物理机的个数不受限制。

4.根据权利要求1所述的面向云数据中心的大规模虚拟机快速迁移决策方法，其特征在于：所述的从初始方案到目标方案的最佳匹配组合如同时存在多个，选取遍历时发现的第一个需要最小迁移次数的匹配组合作为最佳匹配组合。