CN103581331B - 虚拟机在线迁移方法与系统 - Google Patents

Abstract

本发明提供一种虚拟机在线迁移方法，在虚拟机迁移之前，将虚拟机内存与磁盘按照相同的大小划分成若干数据块；在虚拟机迁移过程中，在迁移数据块之前先比较该数据块是否与之前迁移过的内存或磁盘数据块的内容相同，如果不相同，则将该数据块迁移到目标端；如果相同，则只发送该数据块的摘要和位置信息到目标端，在目标端根据所接收的摘要和位置信息，从之前已收到的数据块中找到相同的数据并将其复制到目标位置。该方法避免了重复内存与磁盘数据块的迁移传输，减少虚拟机迁移的数据量与迁移时间，从而减少了对迁移网络带宽资源的浪费并缩短了迁移完成时间。

Description

虚拟机在线迁移方法与系统

技术领域

本发明涉及云计算技术，尤其涉及虚拟机在线迁移方法

背景技术

虚拟机在线迁移是云计算资源调度的重要支撑机制。在虚拟机在线迁移的过程中，内存与磁盘是主要的迁移对象，内存与磁盘数据量的大小也决定了迁移的完成时间以及对网络带宽等资源的占用。然而在虚拟机的内存与磁盘中存储着大量的重复数据，这些重复数据产生的原因一方面是由于内存与磁盘之间的存储层次关系，另一方面也在于存储的数据本身的重复性。

现有的虚拟机在线迁移技术中，并没有考虑虚拟机内存与磁盘数据的重复性，从而使得重复的数据多次迁移。一方面，这造成迁移网络带宽等资源的浪费，而迁移网络带宽是云计算平台的重要共享资源，尤其是在跨数据中心迁移虚拟机的情况下，网络带宽更是宝贵的而且是物理上有限的资源，合理地利用迁移网络带宽是对虚拟机在线迁移技术提出的重要挑战。另一方面，随着虚拟机内存与磁盘容量的增大，虚拟机迁移的完成时间也越来越长，这给云计算环境下的资源调度的时效性带来了巨大挑战。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种虚拟机在线迁移方法。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种虚拟机在线迁移方法，包括：

在迁移数据块之前先比较该数据块是否与之前迁移过的内存或磁盘数据块的内容相同，如果不相同，则将该数据块迁移到目标端；如果相同，则只发送该数据块的摘要和位置信息到目标端，在目标端根据所接收的摘要和位置信息，从之前已收到的数据块中找到相同的数据并将其复制到目标位置，其中所述虚拟机内存与磁盘按照相同的大小划分成若干数据块。

上述方法中，所述比较当前待迁移的数据块是否与之前迁移过的内存或磁盘数据块的内容相同可包括：

S1）计算当前待迁移的数据块的摘要；

S2）判断该待迁移的数据块的摘要是否与之前已迁移数据块的摘要相同，如果相同，则确定该待迁移的数据块与之前迁移过的内存或磁盘数据块的内容相同。

上述方法中，所述步骤S1）中，可利用MD5算法或SHA-1算法来获取数据块的摘要。

上述方法中，所述步骤S2）中可以以红黑树结构来保存之前已迁移数据块的摘要。

上述方法中，所述步骤S2）可包括：

基于布隆过滤器来判断待迁移的数据块的摘要是否在之前已迁移数据块的摘要的集合中；

如果判断为在该集合中，则在以红黑树结构保存的已迁移数据块的摘要中查找该待迁移数据块的摘要，如果能找到该摘要，则确定该待迁移的数据块与之前迁移过的内存或磁盘数据块的内容相同。

上述方法中，还可包括：对于一个多次迁移的数据块，除了最后一次迁移的版本之外，还将之前迁移的该数据块的所有版本保存在目标端的数据块多版本存储空间中。

上述方法中，还可包括对于收到任一数据块在目标端处执行下列步骤：

步骤1），根据该数据块的位置信息查看目标位置上之前是否迁入过数据，如果该目标位置之前已迁入过数据，跳转至步骤2)，否则跳转到步骤3)；

步骤2)将该目标位置的数据块移到数据块多版本存储空间，并将该数据库的存储位置记为其在数据块多版本存储空间中的位置；转至步骤3）继续执行；

步骤3)如果该接收的数据块包含数据，则将该数据复制至该目标位置，并将其摘要与位置信息加入到已接收数据块摘要集合中；如果接收的数据块不包含数据，则用该数据块的摘要在已接收数据块摘要集合中进行查找，找到相应数据块后，并将该数据块复制到该目标位置；其中，已接收数据块摘要集合用于记录之前已接收到的数据块的摘要及该数据块的存储位置。

又一方面，本发明提供了一种虚拟机在线迁移系统，包括：

数据块迁移装置，用于在虚拟机迁移过程中，在迁移数据块之前先比较该数据块是否与之前迁移过的内存或磁盘数据块的内容相同，如果不相同，则将该数据块迁移到目标端；如果相同，则只发送该数据块的摘要和位置信息到目标端，在目标端根据所接收的摘要和位置信息，从之前已收到的数据块中找到相同的数据并将其复制到目标位置；其中所述虚拟机内存与磁盘按照相同的大小划分成若干数据块。

上述系统中，还可包括数据块版本管理装置，用于对于一个多次迁移的数据块，除了最后一次迁移的版本之外，将之前迁移的该数据块的所有版本保存在目标端的数据块多版本存储空间中。

上述系统中，还可包括数据块接收装置，用于对于在目标端处收到任一数据块：根据该数据块的位置信息查看目标位置上之前是否迁入过数据，如果该目标位置之前已迁入过数据，将该目标位置的数据块移到数据块多版本存储空间，并将该数据库的存储位置记为其在数据块多版本存储空间中的位置；

以及如果该接收的数据块包含数据，则将该数据复制至该目标位置，并将其摘要与位置信息加入到已接收数据块摘要集合中；如果接收的数据块不包含数据，则用该数据块的摘要在已接收数据块摘要集合中进行查找，找到相应数据块后，并将该数据块复制到该目标位置；其中，已接收数据块摘要集合用于记录之前已接收到的数据块的摘要及该数据块的存储位置。

与现有技术相比，本发明的优点在于：

在虚拟机迁移过程，内存与磁盘中相同的数据块仅需迁移一次，避免了重复内存与磁盘数据块的迁移传输，减少虚拟机迁移的数据量与迁移时间，从而减少了对迁移网络带宽资源的浪费并缩短了迁移完成时间。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的虚拟机在线迁移方法中迁移源端处的操作流程示意图；

图2为根据本发明实施例的虚拟机在线迁移方法中迁移目标端处的操作流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

虚拟机中会存在以下三种形式的重复数据：第一种是在虚拟机内存中不同的内存页面存储了相同的数据；第二种是虚拟机磁盘中不同的磁盘块存储了相同的数据；第三种是在虚拟机内存中与磁盘中存储了相同的数据。

在本发明的一个实施例中，提供了一种虚拟机在线迁移方法，该方法在虚拟机迁移之前，将虚拟机内存与磁盘按照相同的大小划分成若干数据块；在虚拟机迁移过程中，在迁移数据块之前先比较该数据块是否与之前迁移过的内存或磁盘数据块的内容相同，如果不相同，则将该数据块迁移到目标端；如果相同，则只发送该数据块的摘要和位置信息到目标端，在目标端根据所接收的摘要和位置信息，从之前已收到的数据块中找到相同的数据并将其复制到目标位置。这样，通过避免重复内存与磁盘数据块的迁移传输，一方面减少对迁移网络带宽资源的浪费，另一方面由于迁移数据量的减少进而缩短了迁移完成时间。

其中，可以采用多种方式来判断当前待迁移数据块是否与已迁移的数据块存储着相同的数据。例如，可以通过逐字节比对的方式来判断两个数据块是否相同。在一个优选的实施例中，采用下列步骤来识别当前待迁移数据块是否与已迁移的数据块存储着相同的数据：

S1）计算当前待迁移数据块的摘要。可以采用多种数据摘要算法来获取数据块的摘要，例如MD5算法或SHA-1算法。

S2）查找该待迁移数据块的摘要是否与已迁移数据块摘要集合中的某个数据块摘要相同，如果相同，则识别当前待迁移数据块与已迁移的数据块存储着相同的数据。其中，已迁移数据块摘要集合包括之前已迁移数据块的摘要。为查找方便，可以采用多种数据结构来保存已迁移数据块的摘要。例如，采用红黑树结构来管理已迁移数据块的摘要,红黑树属于平衡二叉树的一种，以数据块的摘要信息作为红黑树节点的key值(即每个节点代表一个数据块)，能够很大地提高查找效率，并且在对树频繁插入和删除过程中有很稳定的时间复杂度。又例如，可以采用trie树来保存已迁移数据块的摘要。

通常数据块的大小在KB级或MB级，而采用MD5算法或SHA-1算法得到的摘要分别是16字节与20字节，因此与对数据库的逐字节比对方式相比，可大大较少数据的比对时间。

在又一个实施例中，在上述的步骤S2)，为了进一步提高查找效率，可以采用布隆过滤器（Bloom Filter）来判断该待迁移数据块的摘要是否在已迁移数据块摘要集合中。布隆过滤器可以用于检索一个元素是否在一个集合中，其空间效率和查询时间都远远超过一般的算法，可快速地检测出该待迁移数据块的摘要是否在已迁移数据块摘要集合中。但是布隆过滤器本身有一定的误识别率。也就是说，如果采用布隆过滤器判断该待迁移数据块的摘要在已迁移数据块摘要集合中时，并不能完全确定该摘要一定在该集合中，从而可能会将尚未迁移的数据块错认为已迁移的数据块。而在虚拟机在线迁移过程中是要保证100%的数据迁移正确性与完整性，因此，在布隆过滤器判断结论为该待迁移数据块的摘要在已迁移数据块摘要集合中时，还需要在采用例如红黑树或trie树结构保存的已迁移数据块的摘要中查找该待迁移数据块的摘要，如果能在该集合查找到该摘要，则确定当前待迁移数据块与已迁移的数据块存储着相同的数据。这样，即实现了已迁移重复数据块的快速检测，提高了重复数据块识别的效率，又可以保证识别的准确性，进而确保虚拟机在线迁移的迁移数据完整性与正确性要求。

下面结合图1和图2，详细介绍采用根据本发明一个实施例的虚拟机在线迁移方法迁移数据块时在源端和目标端处的操作流程。该方法在虚拟机迁移之前，先将虚拟机内存与磁盘数据切分为固定大小的数据块。为了实现内存与磁盘混合去重，内存与磁盘可采用相同的数据块大小，例如4KB。现参考图1，在源端处开始迁移时，对于当前待迁移的数据块：

1）使用MD5或SHA-1算法计算该数据块的摘要。该摘要实际上是16字节或20字节的字节串。

2）利用布隆过滤器判断1)中计算出的数据块摘要字节串是否与已迁移数据块摘要集合中的某个数据块摘要相同，由于布隆过滤器本身的特性，如果判断结果是“真（True）”，并不能够确定一定在该集合中，跳转到3)，反之，如果判断结果是“假（False）”，则能够确定一定不在集合中，跳转到5)。

其中，布隆过滤器主要由一个很长的二进制位数组和一组随机映射且不相关的hash函数组成，位数组初始化为0，布隆过滤器通过函数组中的k个hash函数将一个数据块映射到位数组中不同的地址，并将这些地址对应的项都标记为1，以此记录数据块，由于对于同一个数据块hash函数产生的地址是相同的，再次查询时，利用k个hash函数处理数据块找到位数组中对应的k个地址，判断是否都为1，若是，则可判定数据块存在于该集合中，否则就不存在，因此，hash函数组的选择会很大程度上影响布隆过滤器的效能，hash函数产生的地址越随机，越均匀，效果越理想。在具体应用过程中可以调整布隆过滤器的二进制位数组长度与哈希函数的个数来限定其误判率，例如将位数组长度设定为待迁移数据块总数量的10倍，哈希函数个数设置为7个，便可以将误判率限定在1%以下。

3）在例如采用红黑树结构的已迁移数据块摘要集合中进行查找该待迁移的数据块的摘要，如果在该集合中找到该摘要，跳转至4)，如果在该集合中没有找到该摘要，跳转至5)。

4）发送该数据块的摘要与位置信息，所述位置信息例如该数据块所在内存中的偏移、或在磁盘块上的扇区号等，发送完成后跳转到6)；

5)将该数据块的摘要加入到已迁移数据块摘要集合中，更新布隆过滤器的数组与红黑树，并且发送该数据块的摘要、位置信息以及数据块本身，发送完成后跳转到6)。其中更新布隆过滤器的位数组过程如上面2）中所述，利用hash函数组处理数据块得到对应的位数组中的一组地址，将这些地址对应的项标记为1即可。这里也可以不发送数据块的摘要，该数据块的摘要可以通过在目标端采用MD5或SHA-1算法计算获得。

6)数据块迁移完成。

在虚拟机在线迁移过程中，每个内存或磁盘数据块都有可能会被迁移多次，这是因为在数据块迁移过程中，虚拟机仍在运行，因此有可能会更新数据块，从而导致一些数据块被迁移多次。对于迁移多次的数据块而言，只有最后一次迁移的数据是有效的，之前迁移的数据都是可以丢弃的，所以在现有的虚拟机在线迁移技术中，后面的数据会覆盖掉之前迁移的数据。在根据本发明一个实施例的虚拟机在线迁移方法中，对于一个多次迁移的数据块而言，除了最后一次迁移的数据之外，还将之前迁移的数据都进行了保存，因为这些之前迁移的数据仍然是有用的，可以省去后续的与这些数据相同的数据块的迁移。例如，可以将之前迁移的数据块的所有版本全部存储在目标端，目标端用于保存这些数据块的空间可以被称为数据块多版本存储空间。这样，通过在目标端存储多次迁移数据块的多个版本，使得数据去重率能够最大化，进而保证在虚拟机迁移过程中相同的数据块仅被迁移一次，最大程度减少对迁移网络带宽的占用，进而使得虚拟机在线迁移能够在网络带宽资源十分有限的条件下能够完成。

现参考图2，相应地在目标端处，当收到一个数据块时：

1’）根据该数据块的位置信息查看目标端相应位置（下文简称为目标位置）上之前是否迁入过数据。例如可以根据该数据块的位置信息查看迁移完成位图，如果相应位置位，说明该目标位置之前迁入过数据，跳转至2’)，否则说明这是该目标位置第一次迁入数据，跳转到3’)。其中，迁移完成位图是由”0/1”组成的二进制位的序列，每一位对应目标端的一个目标位置，值为“1”意味着相应的目标位置之前迁入过数据，反之，值为“0”则意味着相应的目标位置之前未迁入过数据。

2’)将目标位置的数据块移到数据块多版本存储空间，并更新已接收数据块摘要集合中该目标位置数据块的摘要相应的存储位置为其在数据块多版本存储空间中的位置；转至3’）继续执行。其中，已接收数据块摘要集合用于记录之前已接收到的数据块的摘要及该数据块的存储位置，以方便查找相同的数据块。

3’)如果接收的数据块包含数据本身，则将数据拷贝至该目标位置，并将其摘要与位置信息加入到已接收数据块摘要集合中；如果接收的数据块不包含数据，则用该数据块的摘要在已接收数据块摘要集合中进行查找，找到相应数据块后，从其中记录的数据块存储位置拷贝该数据块至该目标位置。

4’)数据块接收完成。

在本发明的又一个实施例中，还提供了一种虚拟机在线迁移系统，该系统包括数据块迁移装置。数据块迁移装置用于在虚拟机迁移过程中，在迁移数据块之前，利用上述所述的方法先比较该数据块是否与之前迁移过的内存或磁盘数据块的内容相同，如果不相同，则将该数据块迁移到目标端；如果相同，则只发送该数据块的摘要和位置信息到目标端，在目标端根据所接收的摘要和位置信息，从之前已收到的数据块中找到相同的数据并将其复制到目标位置，其中所述虚拟机内存与磁盘按照相同的大小划分成若干数据块。

在又一个实施例中，该系统还包括数据块版本管理装置，用于对于一个多次迁移的数据块，除了最后一次迁移的版本之外，将之前迁移的该数据块的所有版本保存在目标端的数据块多版本存储空间中。在又一个实施例中，该系统还包括数据块接收装置，用于对于在目标端处收到任一数据块：根据该数据块的位置信息查看目标位置上之前是否迁入过数据，如果该目标位置之前已迁入过数据，将该目标位置的数据块移到数据块多版本存储空间，并将该数据库的存储位置记为其在数据块多版本存储空间中的位置；以及如果该接收的数据块包含数据，则将该数据复制至该目标位置，并将其摘要与位置信息加入到已接收数据块摘要集合中；如果接收的数据块不包含数据，则用该数据块的摘要在已接收数据块摘要集合中进行查找，找到相应数据块后，并将该数据块复制到该目标位置；其中，已接收数据块摘要集合用于记录之前已接收到的数据块的摘要及该数据块的存储位置。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (10)

1.一种虚拟机在线迁移方法，该方法包括：

在迁移数据块之前先比较该数据块是否与之前迁移过的内存或磁盘数据块的内容相同，如果不相同，则将该数据块迁移到目标端；如果相同，则只发送该数据块的摘要和位置信息到目标端，在目标端根据所接收的摘要和位置信息，从之前已收到的数据块中找到相同的数据并将其复制到目标位置，其中所述虚拟机内存与磁盘按照相同的大小划分成若干数据块。

2.根据权利要求1所述的方法，其中，比较当前待迁移的数据块是否与之前迁移过的内存或磁盘数据块的内容相同包括：

S1)计算当前待迁移的数据块的摘要；

S2)判断该待迁移的数据块的摘要是否与之前已迁移数据块的摘要相同，如果相同，则确定该待迁移的数据块与之前迁移过的内存或磁盘数据块的内容相同。

3.根据权利要求2所述的方法，所述步骤S1)中，利用MD5算法或SHA-1算法来获取数据块的摘要。

4.根据权利要求2所述的方法，所述步骤S2)中以红黑树结构来保存之前已迁移数据块的摘要。

5.根据权利要求4所述的方法，所述步骤S2)包括：

基于布隆过滤器来判断待迁移的数据块的摘要是否在之前已迁移数据块的摘要的集合中；

如果判断为在该集合中，则在以红黑树结构保存的已迁移数据块的摘要中查找该待迁移数据块的摘要，如果能找到该摘要，则确定该待迁移的数据块与之前迁移过的内存或磁盘数据块的内容相同。

6.根据权利要求1所述的方法，还包括：对于一个多次迁移的数据块，除了最后一次迁移的版本之外，还将之前迁移的该数据块的所有版本保存在目标端的数据块多版本存储空间中。

7.根据权利要求6所述的方法，还包括对于收到任一数据块在目标端处执行下列步骤：

步骤1)，根据该数据块的位置信息查看目标位置上之前是否迁入过数据，如果该目标位置之前已迁入过数据，跳转至步骤2)，否则跳转到步骤3)；

步骤2)将该目标位置的数据块移到数据块多版本存储空间，并将该数据块的存储位置记为其在数据块多版本存储空间中的位置；转至步骤3)继续执行；

步骤3)如果该接收的数据块包含数据，则将该数据复制至该目标位置，并将其摘要与位置信息加入到已接收数据块摘要集合中；如果接收的数据块不包含数据，则用该数据块的摘要在已接收数据块摘要集合中进行查找，找到相应数据块后，并将该数据块复制到该目标位置；其中，已接收数据块摘要集合用于记录之前已接收到的数据块的摘要及该数据块的存储位置。

8.一种虚拟机在线迁移系统，该系统包括：

数据块迁移装置，用于在虚拟机迁移过程中，在迁移数据块之前先比较该数据块是否与之前迁移过的内存或磁盘数据块的内容相同，如果不相同，则将该数据块迁移到目标端；如果相同，则只发送该数据块的摘要和位置信息到目标端，在目标端根据所接收的摘要和位置信息，从之前已收到的数据块中找到相同的数据并将其复制到目标位置；其中所述虚拟机内存与磁盘按照相同的大小划分成若干数据块。

9.根据权利要求8所述的系统，还包括数据块版本管理装置，用于对于一个多次迁移的数据块，除了最后一次迁移的版本之外，将之前迁移的该数据块的所有版本保存在目标端的数据块多版本存储空间中。

10.根据权利要求9所述的系统，还包括数据块接收装置，用于对于在目标端处收到任一数据块：根据该数据块的位置信息查看目标位置上之前是否迁入过数据，如果该目标位置之前已迁入过数据，将该目标位置的数据块移到数据块多版本存储空间，并将该数据块的存储位置记为其在数据块多版本存储空间中的位置；

以及如果该接收的数据块包含数据，则将该数据复制至该目标位置，并将其摘要与位置信息加入到已接收数据块摘要集合中；如果接收的数据块不包含数据，则用该数据块的摘要在已接收数据块摘要集合中进行查找，找到相应数据块后，并将该数据块复制到该目标位置；其中，已接收数据块摘要集合用于记录之前已接收到的数据块的摘要及该数据块的存储位置。