CN103631633B - 虚拟机全系统在线迁移方法、装置与系统 - Google Patents

Abstract

本发明实施例公开了一种虚拟机全系统在线迁移方法、装置与系统。其中，该方法包括将虚拟机的外存数据预迁移到目标物理主机中；判断新产生的增量外存数据与虚拟机占用的内存数据的大小关系；如果增量外存数据比内存数据大的尺寸超过外存预迁移阈值，则将增量外存数据传输至目标物理主机直至增量外存数据比内存数据大的尺寸小于或等于外存预迁移阈值；将内存数据和增量外存数据预迁移至目标物理主机，将增量外存数据和增量内存数据循环地预迁移至目标物理主机直至增量内存数据小于内存预迁移阈值，暂停虚拟机，将剩余数据全部迁移至目标物理主机并在目标物理主机上恢复运行虚拟机。本发明显著降低了虚拟机暂停的时间。

Description

虚拟机全系统在线迁移方法、装置与系统

技术领域

本发明涉及计算机科学虚拟化技术领域，特别地，涉及一种虚拟机全系统在线迁移方法、装置与系统。

背景技术

虚拟机迁移通常是指将一台主机，例如，源主机上运行的虚拟机迁移到另一台主机，例如，目标主机上运行。为了达到这个目的，需要将虚拟机的运行状态从源主机传输到目标主机，然后再在目标主机上恢复虚拟机的运行。在线迁移是指在整个迁移过程中，虚拟机的暂停时间非常短暂，虚拟机上运行的服务始终能够响应用户的请求，这种迁移也称为热迁移。

现阶段的虚拟机迁移通常仅限于局域网络内部，如Xen和VMWare等均基于虚拟机镜像文件的共享，目前大部分虚拟机迁移的研究都只关注源主机和目标主机共享磁盘存储的情况。在这种情形下，只需要迁移虚拟机的内存和CPU状态，这种迁移方案只能解决同一个局域网内的虚拟机动态管理问题。

随着虚拟机计算环境的发展与普及，单一局域网管理的机器数量和网络环境将限制虚拟计算环境的可扩展性，当这些机器上的虚拟机需要进行跨域迁移时，通常本地磁盘数据也必须传输到目标主机，这种包括外存数据在内的虚拟机迁移称为全系统迁移。全系统在线迁移则是指迁移过程中虚拟机不需要关闭，并且只有短暂的暂停时间的全系统迁移。

目前支持全系统迁移的虚拟化产品主要有红帽子公司的KVM和VMware公司的vsphere。KVM的全系统迁移主要使用“块迁移”(Block Migration)技术，其主要原理是：如果被迁移的虚拟机使用了磁盘分区位存储设备，则先把磁盘分区转换成镜像文件再拷贝到目标主机；在目标主机恢复虚拟机时，把镜像文件恢复到目标主机的磁盘分区中去。对于虚拟机系统使用了多个磁盘分区的，需要每个分区单独转换成镜像文件，然后再进行迁移。在进行全系统迁移时，先进行存储数据的块迁移，在块迁移完毕后保存内存，然后暂停虚拟机，并传输所有还没有传输的数据块；在迁移完成后再释放资源。

VMware公司的vsphere支持的迁移方式一共有三种，包括在线的虚拟机迁移(vMotion)、在线的存储迁移和离线的主机与存储迁移。在需要在线的全系统迁移时，可以先进行存储迁移之后，再进行计算迁移。但vsphere目前只支持离线的全系统迁移，即迁移时虚拟机是处于关机状态，并不支持真正的在线全系统迁移。

北京大学张彬彬等人在《虚拟机全系统在线迁移》一文中提出的全系统迁移方法，在虚拟机恢复运行上作了很大的改进，主要原理是在脏数据块(即，增量数据)还没完全传输完毕前就进行虚拟机的恢复运行，并截获被迁移虚拟机的写操作，若要读取一个脏数据块，则从源主机的存储上拉取数据块，并优先传送，而其他外存脏数据块则是按序向目标主机推送。该改进方法有效降低了迁移过程中的停机时间，特别是在外存数据远远大于内存数据的时候能表现出较佳的性能，并且作者对外存迁移(即虚拟机的存储迁移)进行了实际验证，但对于内存数据的迁移部分，并没有作具体的阐述。

虽然这些全系统迁移能在一些场景下很好地完成虚拟机的迁移需求，但理想的全系统在线迁移应该最小化暂停时间，尽可能降低迁移总时间和迁移数据量，并降低性能代价。此外还应该保证迁移过程不会造成对源主机的长期依赖，并且保证迁移过程对客户操作系统透明，而以上方法虽各有优点，但仍存在以下问题：

(1)VMware的vsphere产品虽然分别支持在线的虚拟机迁移(vMotion)和在线的存储迁移，但两种迁移机制的简单组合会造成两次虚拟机的停机，即虚拟机迁移时有一次停机，存储迁移时还有一次停机，这对虚拟机上的服务将造成较大的影响。此外，由于虚拟机CPU对操作系统所在磁盘访问时延的要求较高，尤其在跨域的环境下，虚拟机能否进行在线存储迁移还受到网络环境的制约，由此也可能造成全系统迁移无法进行。

(2)KVM的块迁移技术虽然实现了虚拟机的在线全系统迁移，但在完成虚拟机磁盘镜像的迁移后，进行停机迁移磁盘增量数据、虚拟机系统内存和CPU状态等延长了迁移造成的中断时间，在迁移性能上打了折扣。

(3)北京大学张彬彬等人在《虚拟机全系统在线迁移》一文中提出的全系统迁移方法虽然在虚拟机恢复运行上作了很大的改进，有效降低了迁移过程中的停机时间，特别是在外存数据远远大于内存数据的时候能表现出较佳的性能，但其仍没有对KVM中存在的传输方式带来的时延问题提供合适的解决方法，而且，由于该方式是边启动虚拟机在目的物理机上的运行边从源物理主机迁移数据，造成某些业务的数据即存在于源物理主机又存在于目标物理主机，因此导致对某些业务的响应延迟。

随着业务需求的不断增加，虚拟资源的规模不断增大，尤其是对运营级的数据中心资源管理、以及跨域数据中心之间的虚拟机管理，虚拟机的全系统在线迁移需求也随之增大，这种动态的环境要求企业的数据中心或计算中心能够完成更加灵活、快速与高效的全系统在线迁移任务，因此，提供一种高效可靠的全系统在线迁移的方法是十分必要的。

发明内容

本发明实施例要解决的一个技术问题是提供一种虚拟机全系统在线迁移方法、装置与系统，能够在尽量降低虚拟机暂停时间的情况下实现虚拟机自源物理主机至目标物理主机的迁移。

本发明实施例提供了一种虚拟机全系统在线迁移方法，包括将源物理主机中待迁移的虚拟机的外存数据预迁移到目标物理主机中，并在目标物理主机上进行外存数据的恢复；判断在外存数据的预迁移过程中新产生的增量外存数据与待迁移的虚拟机占用的内存数据的大小关系；如果增量外存数据比内存数据大的尺寸超过外存预迁移阈值，则将每次预迁移过程中新产生的增量外存数据传输至目标物理主机，并在目标物理主机上进行增量外存数据的恢复，直至预迁移过程中新产生的增量外存数据比内存数据大的尺寸小于或等于外存预迁移阈值；将内存数据和预迁移过程中新产生的增量外存数据预迁移至目标物理主机，并在目标物理主机上进行增量外存数据与内存数据的恢复；将预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至目标物理主机，直至预迁移过程中新产生的增量内存数据小于内存预迁移阈值，并在目标物理主机上进行增量外存数据与增量内存数据的恢复；暂停运行在源物理主机上的待迁移的虚拟机，将剩余未同步的数据全部迁移至目标物理主机，并在目标物理主机上恢复运行被迁移的虚拟机。

本发明实施例还提供了一种虚拟机全系统在线迁移装置，包括外存数据迁移单元，用于将源物理主机中待迁移的虚拟机的外存数据预迁移到目标物理主机中以在目标物理主机上进行外存数据的恢复；增量外存数据迁移单元，用于判断在外存数据的预迁移过程中新产生的增量外存数据与待迁移的虚拟机占用的内存数据的大小关系，如果增量外存数据比内存数据大的尺寸超过外存预迁移阈值，则将每次预迁移过程中新产生的增量外存数据传输至目标物理主机以在目标物理主机上进行增量外存数据的恢复，直至预迁移过程中新产生的增量外存数据比内存数据大的尺寸小于或等于外存预迁移阈值；内外存数据迁移单元，用于将内存数据和预迁移过程中新产生的增量外存数据预迁移至目标物理主机以在目标物理主机上进行增量外存数据与内存数据的恢复，将预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至目标物理主机，直至预迁移过程中新产生的增量内存数据小于内存预迁移阈值以在目标物理主机上进行增量外存数据与增量内存数据的恢复；停机迁移单元，用于暂停运行在源物理主机上的待迁移的虚拟机，将剩余未同步的数据全部迁移至目标物理主机，以在目标物理主机上恢复运行被迁移的虚拟机。

本发明实施例又提供了一种虚拟机全系统在线迁移系统，包括前述实施例中的虚拟机全系统在线迁移装置。

本发明实施例提供的虚拟机全系统在线迁移方法、装置与系统，在进行虚拟机迁移的过程中，首先迁移外存数据和在迁移过程中新产生的大部分增量外存数据，然后再同时迁移内存数据和在迁移过程中新产生的大部分增量外存数据和增量内存数据，在迁移之后立即在目标物理主机上进行数据的恢复以减小虚拟机暂停的时间，在新产生的增量内存数据较小的情况下，暂停源物理主机上的虚拟机，一次性将剩余未同步的数据同时迁移至目标物理主机。这样，由于虚拟机仅需暂停一次，而且暂停的时间仅为剩余未同步数据的传输时间，相对现有技术中虚拟机暂停的时间显著缩短。同时，由于在预迁移过程中，各种业务仍运行在源物理主机上的虚拟机中，因此，在数据的预迁移过程中并不会对运行在虚拟机上的各种业务造成任何影响。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分。在附图中：

图1是本发明虚拟机全系统在线迁移方法的一个实施例的结构示意图。

图2是本发明实施例的一个应用场景示意图。

图3是本发明实施例的另一应用场景示意图。

图4是本发明虚拟机全系统在线迁移方法的另一实施例的流程示意图。

图5是本发明虚拟机全系统在线迁移方法的又一实施例的流程示意图。

图6是本发明虚拟机全系统在线迁移装置的一个实施例的结构示意图。

图7是本发明虚拟机全系统在线迁移装置的另一实施例的结构示意图。

图8是本发明虚拟机全系统在线迁移装置的又一实施例的结构示意图。

图9是本发明虚拟机全系统在线迁移装置的再一实施例的结构示意图。

图10是本发明虚拟机全系统在线迁移装置的再一实施例的结构示意图。

图11是本发明虚拟机全系统在线迁移装置的再一实施例的结构示意图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。本发明的示例性实施例及其说明用于解释本发明，但并不构成对本发明的不当限定。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

本发明的下述实施例适用于一般的云数据中心虚拟化系统，对虚拟化软件和承载的物理服务器设备没有特殊要求，仅需在虚拟化管理软件和物理服务器之间建立相应的控制管理关系。

下述实施例在进行虚拟机的全系统迁移时，首先将虚拟机的外存数据进行预迁移，然后再判断外存预迁移过程中新产生的增量外存数据和内存数据的大小关系，如果增量外存数据比内存数据大的尺寸超过外存预迁移阈值，则先进行增量外存数据的传输并在目标存储上进行数据的恢复，直到增量外存数据比内存数据大的尺寸小于或等于外存预迁移阈值后，再将增量外存数据和内存数据进行迁移，之后对增量外存数据和增量内存数据进行循环迁移，直到增量内存数据小于内存预迁移阈值或者满足其他停机迁移条件时，再将虚拟机暂停，完成剩下的未同步数据的迁移，并在目标主机和目标存储上恢复运行被迁移的虚拟机，释放源主机和源存储上的资源，从而完成一次全系统在线迁移过程。

图1是本发明虚拟机全系统在线迁移方法的一个实施例的结构示意图。

如图1所示，该实施例可以包括以下步骤：

S102，将源物理主机中待迁移的虚拟机的外存数据预迁移到目标物理主机中，并在目标物理主机上进行外存数据的恢复，以尽量减少虚拟机停机后在目标物理主机上恢复的时间，所以在每次数据传输之后立即在目标物理主机上进行数据的恢复；

S104，在自源物理主机向目标物理主机预迁移虚拟机的外存数据时，由于虚拟机上各种业务的运行，可能会对外存数据进行各种操作，导致外存数据随时间发生变化，因此判断在外存数据的预迁移过程中新产生的增量外存数据与待迁移的虚拟机占用的内存数据的大小关系；

S106，如果增量外存数据比内存数据大的尺寸超过外存预迁移阈值，则将每次预迁移过程中新产生的增量外存数据传输至目标物理主机，并在目标物理主机上进行增量外存数据的恢复，直至预迁移过程中新产生的增量外存数据比内存数据大的尺寸小于或等于外存预迁移阈值，此时表明大部分外存数据已迁移至目标物理主机，在接下来的步骤中可以开始内存数据的预迁移；

S108，将内存数据和预迁移过程中新产生的增量外存数据预迁移至目标物理主机，并在目标物理主机上进行增量外存数据与内存数据的恢复；

S110，将预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至目标物理主机，直至预迁移过程中新产生的增量内存数据小于内存预迁移阈值，并在目标物理主机上进行增量外存数据与增量内存数据的恢复，此时表明，虚拟机所占用的大部分外存数据和大部分内存数据已迁移至目标物理主机；

S112，在剩余未迁移数据比较少时可以暂停运行在源物理主机上的待迁移的虚拟机，将剩余未同步的数据全部迁移至目标物理主机，并在目标物理主机上恢复运行被迁移的虚拟机。其中，剩余未同步的数据可以包括CPU状态、最后一次预迁移过程中新产生的增量外存数据以及增量内存数据。

该实施例在进行虚拟机迁移的过程中，首先迁移外存数据和在迁移过程中新产生的大部分增量外存数据，然后再同时迁移内存数据和在迁移过程中新产生的大部分增量外存数据和增量内存数据，在迁移之后立即在目标物理主机上进行数据的恢复以减小虚拟机暂停的时间，在新产生的增量内存数据较小的情况下，暂停源物理主机上的虚拟机，一次性将剩余未同步的数据同时迁移至目标物理主机。这样，由于虚拟机仅需暂停一次，而且暂停的时间仅为剩余未同步数据的传输时间，相对现有技术中虚拟机暂停的时间显著缩短。同时，由于在预迁移过程中，各种业务仍运行在源物理主机上的虚拟机中，因此，在数据的预迁移过程中并不会对运行在虚拟机上的各种业务造成任何影响。

可选地，在待迁移的虚拟机恢复运行在目标物理主机上之后，释放源物理主机上与待迁移的虚拟机相关的资源，进而实现了虚拟机自源物理主机至目标物理主机的完全迁移。

进一步地，在步骤S102之前，首先启动对待迁移的虚拟机进行全系统在线迁移的任务；接下来，获取待迁移的虚拟机所需的外存空间与内存空间，并在目标物理主机上为待迁移的虚拟机划分存储空间，以便为后续的虚拟机迁移做好充分的准备工作。

在图1所示的实施例中，在新产生的增量内存数据小于内存预迁移阈值时，就停止增量内存数据与增量外存数据的预迁移。但是，考虑到，此时可能会存在在预迁移过程中新产生的增量外存数据量较大的情况，为了克服此问题，在确定是否停止增量内存数据与增量外存数据的预迁移过程时，可以将增量内存数据与增量外存数据之和与内外存预迁移阈值进行比较，即，将在预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至目标物理主机，直至预迁移过程中新产生的增量内存数据与增量外存数据之和小于内外存预迁移阈值，并在目标物理主机上进行增量外存数据与增量内存数据的恢复。

考虑到预迁移的时间限制，在对增量外存数据进行预迁移的过程中，判断传输增量外存数据的次数是否超过外存传输次数上限，如超过，则开始传输增量外存数据与内存数据，否则，继续传输增量外存数据。在对增量外存数据与增量内存数据进行预迁移的过程中，判断传输增量外存数据与增量内存数据的次数是否超过内外存传输次数上限，如超过，则暂停运行在源物理主机上的待迁移的虚拟机，否则，继续传输增量外存数据和增量内存数据。

当然，外存传输次数上限和内外存传输次数上限可以在一定程度上影响虚拟机暂停的时间。因此，可以根据系统对虚拟机的暂停时间和预迁移时间的需求设置这两个参数。

此外，并不是在所有情况下都可以实现虚拟机自一个主机到另一个主机的迁移，例如，在数据传输速度小于新增数据的生成速度时，就无法有效实现对虚拟机的迁移。因此，在数据的预迁移过程中，需要判断各个预迁移过程中传输数据的速度是否小于增量外存数据和/或增量内存数据的增长速度；如小于，则暂停全系统在线迁移，否则，继续进行各类数据的预迁移。

需要指出的是，还可以根据网络状况和源物理主机与目标物理主机的资源使用情况动态调整外存预迁移阈值、内存预迁移阈值、外存传输次数上限、以及内外存传输次数上限。例如，在传输带宽变大的情况下，由于可以提高传输速度，所以可以适当减小各阈值和/或各传输次数上限，相反，如果传输带宽变小，则需适当增大各阈值和/或各传输次数上限。再例如，在源物理主机和/或目标物理主机比较空闲的时候，如CPU利用率低于50％时，由于可以有更多的资源用于迁移虚拟机，因此可以适当减小各阈值和/或各传输次数上限，相反，如果源物理主机和/或目标物理主机的资源比较紧张，如CPU利用率达到90％时，则需适当增大各阈值和/或各传输次数上限。

图2是本发明实施例的一个应用场景示意图。

如图2所示，源物理主机和目标物理主机之间要求能够进行正常的通信即可，并不限制源物理主机与目标物理主机处于统一局域网内部。在图2中，以源物理主机与目标物理主机连接在同一个网络交换机上为例进行说明。这两个物理主机都使用本地存储来承载虚拟机。

图3是本发明实施例的另一应用场景示意图。

如图3所示，其与图2的不同点仅在于，两个物理主机都既可以使用本地存储也可以使用网络存储。

在图2和图3中，源物理主机上承载着VM1(Virtual Machine，虚拟机)和VM2，目标物理主机上承载着VM3，另外还有一台虚拟机管理服务器同时管理源物理主机和目标物理主机，即能进行基本的通信并相互解析命令信息，没有其他特殊要求。这里将被迁移的虚拟机称为VM1，VM1的外存数据是指VM1存放在磁盘上的数据，即硬盘数据。

图4是本发明虚拟机全系统在线迁移方法的另一实施例的流程示意图。

如图4所示，可以包括以下五个阶段：

S402，数据迁移准备阶段：当虚拟机管理服务器发起VM1的全系统在线迁移任务时，首先通知源物理主机迁移任务的开始，并获得VM1所需的存储空间，包括外存数据所占用的空间与内存数据所占用的空间，然后通知目标物理主机在目标存储器上划分出VM1所需的存储空间，在目标存储上创建一个新的虚拟机目录，在源存储上创建子镜像空间用于记录源虚拟机镜像磁盘进入只读状态后的数据变化，即，自虚拟机进入数据的预迁移过程后，源物理主机上的虚拟机镜像磁盘就进入只读状态，此时由于虚拟机上的业务仍在运行，因此，源物理主机上所存储的数据随着业务的运行可能会发生变化，例如，数据被更改、数据被删除、有新数据被写入等，因此需要将这些变化记录下来，并通知源物理主机将VM1的磁盘镜像文件设为只读状态，生成VM1的父镜像。同时启动子镜像的生成任务，截获所有写外存的请求，包括写数据、写的位置及数据长度。完成父镜像的生成和子镜像的启动后，进入外存预迁移阶段。

S404，外存数据预迁移阶段：源物理主机将VM1的父镜像迁移到目标主机的存储器上，父镜像迁移后查看记录迁移过程中磁盘写请求引起的增量数据，即子镜像的大小，并将该子镜像大小和VM1的内存数据相比较，如果该值比内存数据大的值不超过外存预迁移阈值，则直接进入S406；如果该值比内存数据大很多，超出了外存预迁移阈值，则先进入外存迁移的循环，即再将当前的子镜像设置为只读状态，并启动新的子镜像记录当前子镜像传输过程中磁盘的写请求，直到增量的外存子镜像大小比内存数据大的部分不超过外存预迁移阈值，则进入S406。如果虚拟机的子镜像尺寸增长速度超过数据传输速度，则提示迁移失败。如果子镜像的循环次数达到外存传输次数上限，则直接进入S406。在外存的子镜像传输后，目标物理主机在收到完成的一个子镜像后即完成子镜像的写记录，将磁盘文件更新到最新状态，以节省虚拟机恢复时间。

S406，外存数据同步和内存数据预迁移阶段：在完成大部分的外存数据迁移后，源物理主机将开启新的内存空间来记录VM1的内存进入只读状态后的变化，然后将只读的内存数据和最新的外存子镜像传输到目标物理主机上。源物理主机开启的新内存空间应不大于当前VM1的内存使用量。在完成内存数据的第一轮预迁移后，类似地，比较增量内存数据的大小，如果大于预先设定的内存预迁移阈值，则进行新一轮的内存数据预迁移，直到增量内存数据小于内存预迁移阈值或达到内外存传输次数上限，再进入S408的停机迁移阶段。如果增量内存数据小于内存预迁移阈值，则直接进入S408的停机迁移阶段。同样，在内存的预迁移数据传输后，目标物理主机即完成当前内存数据的更新，以节省虚拟机恢复时间。

S408，停机迁移阶段：源物理主机将虚拟机暂停，传输最后一次外存子镜像、以及增量内存数据和CPU状态，进入S410中的迁移结束阶段，其中，CPU状态可以包括资源调度队列、中断信息、处理了一半的任务状态信息，如计算的中间值等。

S410，迁移结束阶段：目标物理主机将最后一个子镜像和父镜像融合后，将增量内存数据和原来预迁移的数据进行融合更新，然后将虚拟机在目标存储和目标主机上恢复运行，删除源存储设备上的数据，释放VM1在源物理主机上占用的内存和CPU资源，退出存储迁移程序。

进一步地，为了使全系统在线迁移更加高效，还可以根据实际的网络情况和主机资源负载情况动态地调整外存预迁移阈值、内存预迁移阈值和外存传输次数上限、内外存传输次数上限，甚至还可以按照一定的策略进行智能地自动设置。例如，在源物理主机和/或目标物理主机比较空闲的时候，如CPU利用率低于50％时，由于可以有更多的资源用于迁移虚拟机，因此可以适当减小各阈值和/或各传输次数上限，相反，如果源物理主机和/或目标物理主机的资源比较紧张，如CPU利用率达到90％时，则需适当增大各阈值和/或各传输次数上限。

上述实施例可以有效地提高迁移的效率，降低迁移过程对虚拟机的暂停时间，为跨域迁移提供了有效的支持。

图5是本发明虚拟机全系统在线迁移方法的又一实施例的流程示意图。

如图5所示，该实施例可以包括以下步骤：

S502，虚拟机管理服务器启动全系统在线迁移任务；

S504，虚拟机管理服务器告知源物理主机和目标物理主机启动迁移准备，获取源物理主机上被迁移的虚拟机所需的存储空间；

S506，此时，源物理主机启动子镜像监视并保存父镜像，目标物理主机创建新虚拟机磁盘目录；

S508，准备进入外存预迁移阶段；

S510，源物理主机将所保存的父镜像发送到目标物理主机，并在目标物理主机上进行数据的恢复；

S512，在迁移父镜像时，子镜像会记录外存的变化，在完成对父镜像的迁移后，进入增量迁移阶段，将第一个子镜像迁移至目标物理主机上，并进行数据的恢复；

S514，判断第一个子镜像与虚拟机的内存使用量的差值是否小于外存预迁移阈值，如小于外存预迁移阈值，则转S528，进入外存数据同步和内存数据预迁移阶段，否则，转S516；

S516，在此阶段，进入外存数据增量循环迁移阶段；

S518，启动新的子镜像监视并发送当前镜像；

S520，判断新的子镜像与虚拟机的内存使用量的差值是否小于外存预迁移阈值，如小于外存预迁移阈值，则转S528，进入外存数据同步和内存数据预迁移阶段，否则，转S522；

S522，判断子镜像循环次数是否达到外存传输次数上限，如达到，则转S528，否则，转S524；

S524，判断增量外存数据的产生速度是否大于数据传输速度，如大于，则转S526，否则，转S516；

S526，退出虚拟机全系统在线迁移，提示迁移失败；

S528，全系统在线迁移进入外存数据同步和内存数据预迁移阶段；

S530，启动对增量内存数据的监视，并发送内存数据和外存镜像；

S532，判断增量内存数据是否小于内存预迁移阈值，如小于，则转S544，否则，转S534；

S534，进入增量内存数据循环迁移阶段；

S536，启动新子镜像监视并发送当前镜像，监控与发送的镜像既包括增量外存数据也包括增量内存数据；

S538，判断增量内存数据是否小于内存预迁移阈值，如小于，则转S544，否则，转S540；

S540，判断子镜像循环次数是否达到内外存传输次数上限，如达到，则转S544，否则，转S542；

S542，判断增量内存数据的产生速度是否大于数据传输速度，如大于，则转S526，否则，转S544；

S544，进入停机迁移阶段；

S546，暂停源物理主机上的虚拟机，并传输最后一个子镜像；

S548，进入迁移结束阶段；

S550，在目标物理主机上恢复运行被迁移的虚拟机。

接下来，假设本次全系统在线迁移过程是将VM1从源物理主机迁移到目标物理主机上，VM1占用的内存为2G，磁盘为40G。参照图5的流程详细说明如何实现全系统的在线迁移。

在虚拟机管理服务器发出虚拟机的全系统迁移任务时，首先通知源物理主机和目标主机做好迁移准备，然后先进行外存数据的预迁移，并根据增量外存数据和内存数据的尺寸差值和外存预迁移阈值(这里设为W1)的关系、以及实际迁移循环次数与外存传输次数上限(这里设为W2)的关系，完成大部分外存数据的复制迁移。接着再完成内存数据的预迁移，同时进行内存数据预迁移过程中的增量外存数据的更新，同样设定内存预迁移阈值(这里设为N1)和内外存传输次数上限(这里设为N2)。当增量内存数据足够小时，再进行停机迁移，并且在增量内存数据迁移过程中，向源物理主机借用新的内存空间对增量内存数据进行监视，以有效提高迁移的效率、降低迁移时间。停机迁移后则在目标物理主机上恢复运行并释放源物理主机上的资源，完成一次虚拟机的全系统在线迁移过程。

下面按照数据迁移准备、外存数据预迁移、外存数据同步和内存数据预迁移、停机迁移和迁移结束的执行过程来对该实施例进行详细介绍，并设W1为0G，W2为4，N1为0.5G，N2为4。

在虚拟机管理服务器收到对VM1进行全系统迁移任务时，先检查目标物理主机的资源是否足以承载VM1，即是否有未分配的2G内存和40G的磁盘空间。在条件满足之后，开始执行全系统迁移过程，进入迁移准备阶段。

在迁移准备阶段内，虚拟机管理服务器首先通知源物理主机迁移任务的开始，并获得VM1所需的存储空间，然后通知目标物理主机在目标存储器上划分VM1所需的存储空间，在目标存储上创建一个新的虚拟机目录。接着在源物理主机的存储上创建子镜像空间用于记录源虚拟机镜像磁盘进入只读状态后的数据变化，并通知源物理主机将VM1的磁盘镜像文件设为只读状态，生成VM1的父镜像。同时启动子镜像的生成任务，截获所有写外存的请求，包括写数据、写的位置及数据长度。完成父镜像的生成和子镜像的启动后，进入外存数据预迁移阶段。

在外存数据预迁移阶段，源物理主机将VM1的父镜像迁移到目标主机的存储器上，父镜像迁移后查看记录迁移过程中磁盘写请求引起的增量数据，即子镜像的大小(设为2G)，并将该子镜像大小和VM1的内存使用量(设为1.5G)相比较，此时该值比内存数据大的值(0.5G)超过了预先定义好的阈值0G，则判断循环次数有没有超过外存传输次数上限，显然这里是没有的，同样假设此时的虚拟机的子镜像尺寸增长速度并没有超过数据传输速度，先进入外存数据迁移的循环，即将当前的子镜像设置为只读状态，并启动第二轮的子镜像记录当前子镜像传输过程中磁盘的写请求。在第二轮子镜像传输结束之后，目标物理主机根据收到的第一个子镜像记录的写操作，完成子镜像的写记录，将磁盘文件更新到最新状态。如果此时第二个子镜像的大小为0.5G，那么此时和内存使用量的差值为负数，小于0G，则结束外存数据预迁移阶段，进入外存数据同步和内存数据预迁移阶段。

在外存数据同步和内存数据预迁移阶段，大部分的外存数据已经完成了迁移，源物理主机将开启新的内存空间(例如，2G)来记录VM1的内存进入只读状态后的变化，然后将只读的内存数据(例如，1.5G)和最新的外存子镜像(例如，0.5G)传输到目标物理主机上。在完成内存数据的第一轮预迁移后，类似地，源物理主机将增量内存数据的大小(例如，0.6G)与预先设定的内存预迁移阈值，大于预先设定的阈值0.5G；同时判断出循环次数没有超过内外存传输次数上限，同样假设此时的内存写操作数据的增长速度并没有超过数据传输速度，则进行新一轮的内存数据预迁移，将第一轮的增量内存数据设为只读状态，对写操作请求进行监视，并将第一轮增量内存数据和最新的外存子镜像发送给目标物理主机。同样，在内存的预迁移数据传输结束后，目标物理主机马上完成当前内存数据和外存数据的更新。在完成新一轮的内存数据预迁移后，假设此时的增量内存数据为0.1G，小于阈值0.5G，则进入停机迁移阶段。

在停机迁移阶段，源物理主机将虚拟机VM1暂停，传输最后一次外存子镜像、以及增量内存数据和CPU状态，进入迁移结束阶段。

在迁移结束阶段，目标物理主机将最后一个子镜像的写操作应用到目标存储器上最新的虚拟机外存文件，将增量内存数据和原来预迁移的数据进行融合更新，然后将虚拟机在目标存储和目标物理主机上恢复运行，删除源存储设备上的数据，释放VM1在源物理主机上占用的内存和CPU资源，退出存储迁移程序，完成一次虚拟机的全系统在线迁移过程。

本领域普通技术人员可以理解，实现上述方法实施例的全部和部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算设备可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤，而前述的存储介质可以包括ROM、RAM、磁碟和光盘等各种可以存储程序代码的介质。

图6是本发明虚拟机全系统在线迁移装置的一个实施例的结构示意图。

如图6所示，该实施例中的装置60可以包括外存数据迁移单元602、增量外存数据迁移单元604、内外存数据迁移单元606以及停机迁移单元608。

其中，外存数据迁移单元602将源物理主机中待迁移的虚拟机的外存数据预迁移到目标物理主机中以在目标物理主机上进行外存数据的恢复。

增量外存数据迁移单元604判断在外存数据的预迁移过程中新产生的增量外存数据与待迁移的虚拟机占用的内存数据的大小关系，如果增量外存数据比内存数据大的尺寸超过外存预迁移阈值，则将每次预迁移过程中新产生的增量外存数据传输至目标物理主机以在目标物理主机上进行增量外存数据的恢复，直至预迁移过程中新产生的增量外存数据比内存数据大的尺寸小于或等于外存预迁移阈值。

内外存数据迁移单元606将内存数据和预迁移过程中新产生的增量外存数据预迁移至目标物理主机以在目标物理主机上进行增量外存数据与内存数据的恢复，将预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至目标物理主机，直至预迁移过程中新产生的增量内存数据小于内存预迁移阈值以在目标物理主机上进行增量外存数据与增量内存数据的恢复。

停机迁移单元608暂停运行在源物理主机上的待迁移的虚拟机，将剩余未同步的数据全部迁移至目标物理主机，以在目标物理主机上恢复运行被迁移的虚拟机，其中，剩余未同步的数据可以包括CPU状态、最后一次预迁移过程中新产生的增量外存数据以及增量内存数据。

进一步地，内外存数据迁移单元606还将在预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至目标物理主机，直至预迁移过程中新产生的增量内存数据与增量外存数据之和小于内外存预迁移阈值，以在目标物理主机上进行增量外存数据与增量内存数据的恢复。

图7是本发明虚拟机全系统在线迁移装置的另一实施例的结构示意图。

如图7所示，与图6中的实施例相比，该实施例中的装置70还可以包括资源释放单元702，其在待迁移的虚拟机恢复运行在目标物理主机上之后，释放源物理主机上与待迁移的虚拟机相关的资源。

图8是本发明虚拟机全系统在线迁移装置的又一实施例的结构示意图。

如图8所示，与图6中的实施例相比，该实施例中的装置80还可以包括存储信息获取单元802，其获取待迁移的虚拟机所需的外存空间与内存空间。

图9是本发明虚拟机全系统在线迁移装置的再一实施例的结构示意图。

如图9所示，与图6中的实施例相比，该实施例中的装置90还可以包括传输次数判断单元902，在对增量外存数据进行预迁移的过程中，其判断传输增量外存数据的次数是否超过外存传输次数上限，如超过，则开始传输增量外存数据与内存数据，以及在对增量外存数据与增量内存数据进行预迁移的过程中，判断传输增量外存数据与增量内存数据的次数是否超过内外存传输次数上限，如超过，则暂停运行在源物理主机上的待迁移的虚拟机。

图10是本发明虚拟机全系统在线迁移装置的再一实施例的结构示意图。

如图10所示，与图6中的实施例相比，该实施例中的装置100还可以包括传输速度判断单元1002，其判断各个预迁移过程中传输数据的速度是否小于增量外存数据和/或增量内存数据的增长速度，如小于，则暂停全系统在线迁移。

图11是本发明虚拟机全系统在线迁移装置的再一实施例的结构示意图。

如图11所示，与图9中的实施例相比，该实施例中的装置110还可以包括参数调整单元1102，其根据网络状况源物理主机与目标物理主机的资源使用情况动态调整外存预迁移阈值、内存预迁移阈值、外存传输次数上限、以及内外存传输次数上限。

此外，在种虚拟机全系统在线迁移系统的一个实施例中，可以包括前述实施例中的虚拟机全系统在线迁移装置。

可选地，该在线迁移系统还可以包括目标物理主机，其在接收到来自源物理主机的数据后恢复所接收的外存数据、内存数据、增量外存数据、以及增量内存数据。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同和相似的部分可以相互参见。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处可以参见方法实施例部分的说明。

本发明的上述实施例在尽量降低虚拟机暂停时间的情况下，实现了虚拟机的源目标物理主机和存储都发生变化、并且在内存的增量迁移中向源物理主机借用新内存空间对增量数据的监视，可以有效提高迁移的效率、降低迁移时间。通过本发明能够利用迁移技术转移虚拟机环境，并且保证迁移过程中虚拟机系统服务的可用性，实现对云数据中心虚拟资源的灵活、快速、动态负载均衡控制，尤其是当虚拟机的使用需求发生较大地域变化需要进行跨域迁移时，更能体现本发明的优势。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (18)

1.一种虚拟机全系统在线迁移方法，其特征在于，包括：

将源物理主机中待迁移的虚拟机的外存数据预迁移到目标物理主机中，并在所述目标物理主机上进行所述外存数据的恢复；

判断在所述外存数据的预迁移过程中新产生的增量外存数据与所述待迁移的虚拟机占用的内存数据的大小关系；

如果所述增量外存数据比所述内存数据大的尺寸超过外存预迁移阈值，则将每次预迁移过程中新产生的增量外存数据传输至所述目标物理主机，并在所述目标物理主机上进行增量外存数据的恢复，直至预迁移过程中新产生的增量外存数据比所述内存数据大的尺寸小于或等于所述外存预迁移阈值；

将所述内存数据和预迁移过程中新产生的增量外存数据预迁移至所述目标物理主机，并在所述目标物理主机上进行增量外存数据与内存数据的恢复；

将预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至所述目标物理主机，直至预迁移过程中新产生的增量内存数据小于内存预迁移阈值，并在所述目标物理主机上进行增量外存数据与增量内存数据的恢复；

暂停运行在所述源物理主机上的待迁移的虚拟机，将剩余未同步的数据全部迁移至所述目标物理主机，并在所述目标物理主机上恢复运行被迁移的虚拟机。

2.根据权利要求1所述的虚拟机全系统在线迁移方法，其特征在于，所述方法还包括：

在所述待迁移的虚拟机恢复运行在所述目标物理主机上之后，释放所述源物理主机上与所述待迁移的虚拟机相关的资源。

3.根据权利要求1所述的虚拟机全系统在线迁移方法，其特征在于，所述方法还包括：

启动对所述待迁移的虚拟机进行全系统在线迁移的任务；

获取所述待迁移的虚拟机所需的外存空间与内存空间；

在所述目标物理主机上为所述待迁移的虚拟机划分存储空间。

4.根据权利要求1所述的虚拟机全系统在线迁移方法，其特征在于，所述方法还包括：

将在预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至所述目标物理主机，直至预迁移过程中新产生的增量内存数据与增量外存数据之和小于内外存预迁移阈值，并在所述目标物理主机上进行增量外存数据与增量内存数据的恢复。

5.根据权利要求1所述的虚拟机全系统在线迁移方法，其特征在于，所述方法还包括：

在对增量外存数据进行预迁移的过程中，判断传输增量外存数据的次数是否超过外存传输次数上限，如超过，则开始传输增量外存数据与所述内存数据；

在对增量外存数据与增量内存数据进行预迁移的过程中，判断传输增量外存数据与增量内存数据的次数是否超过内外存传输次数上限，如超过，则暂停运行在所述源物理主机上的待迁移的虚拟机。

6.根据权利要求1所述的虚拟机全系统在线迁移方法，其特征在于，所述方法还包括：

判断各个预迁移过程中传输数据的速度是否小于增量外存数据和/或增量内存数据的增长速度；

如小于，则暂停全系统在线迁移。

7.根据权利要求1所述的虚拟机全系统在线迁移方法，其特征在于，所述剩余未同步的数据包括CPU状态、最后一次预迁移过程中新产生的增量外存数据以及增量内存数据。

8.根据权利要求5所述的虚拟机全系统在线迁移方法，其特征在于，所述方法还包括：

根据网络状况和所述源物理主机与所述目标物理主机的资源使用情况动态调整所述外存预迁移阈值、所述内存预迁移阈值、所述外存传输次数上限、以及所述内外存传输次数上限。

9.一种虚拟机全系统在线迁移装置，其特征在于，包括：

外存数据迁移单元，用于将源物理主机中待迁移的虚拟机的外存数据预迁移到目标物理主机中以在所述目标物理主机上进行所述外存数据的恢复；

增量外存数据迁移单元，用于判断在所述外存数据的预迁移过程中新产生的增量外存数据与所述待迁移的虚拟机占用的内存数据的大小关系，如果所述增量外存数据比所述内存数据大的尺寸超过外存预迁移阈值，则将每次预迁移过程中新产生的增量外存数据传输至所述目标物理主机以在所述目标物理主机上进行增量外存数据的恢复，直至预迁移过程中新产生的增量外存数据比所述内存数据大的尺寸小于或等于所述外存预迁移阈值；

内外存数据迁移单元，用于将所述内存数据和预迁移过程中新产生的增量外存数据预迁移至所述目标物理主机以在所述目标物理主机上进行增量外存数据与内存数据的恢复，将预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至所述目标物理主机，直至预迁移过程中新产生的增量内存数据小于内存预迁移阈值以在所述目标物理主机上进行增量外存数据与增量内存数据的恢复；

停机迁移单元，用于暂停运行在所述源物理主机上的待迁移的虚拟机，将剩余未同步的数据全部迁移至所述目标物理主机，以在所述目标物理主机上恢复运行被迁移的虚拟机。

10.根据权利要求9所述的虚拟机全系统在线迁移装置，其特征在于，所述装置还包括：

资源释放单元，用于在所述待迁移的虚拟机恢复运行在所述目标物理主机上之后，释放所述源物理主机上与所述待迁移的虚拟机相关的资源。

11.根据权利要求9所述的虚拟机全系统在线迁移装置，其特征在于，所述装置还包括：

存储信息获取单元，用于获取所述待迁移的虚拟机所需的外存空间与内存空间。

12.根据权利要求9所述的虚拟机全系统在线迁移装置，其特征在于，所述内外存数据迁移单元还将在预迁移过程中新产生的增量外存数据和增量内存数据循环地预迁移至所述目标物理主机，直至预迁移过程中新产生的增量内存数据与增量外存数据之和小于内外存预迁移阈值，以在所述目标物理主机上进行增量外存数据与增量内存数据的恢复。

13.根据权利要求9所述的虚拟机全系统在线迁移装置，其特征在于，所述装置还包括：

传输次数判断单元，用于在对增量外存数据进行预迁移的过程中，判断传输增量外存数据的次数是否超过外存传输次数上限，如超过，则开始传输增量外存数据与所述内存数据，以及在对增量外存数据与增量内存数据进行预迁移的过程中，判断传输增量外存数据与增量内存数据的次数是否超过内外存传输次数上限，如超过，则暂停运行在所述源物理主机上的待迁移的虚拟机。

14.根据权利要求9所述的虚拟机全系统在线迁移装置，其特征在于，所述装置还包括：

传输速度判断单元，用于判断各个预迁移过程中传输数据的速度是否小于增量外存数据和/或增量内存数据的增长速度，如小于，则暂停全系统在线迁移。

15.根据权利要求9所述的虚拟机全系统在线迁移装置，其特征在于，所述剩余未同步的数据包括CPU状态、最后一次预迁移过程中新产生的增量外存数据以及增量内存数据。

16.根据权利要求13所述的虚拟机全系统在线迁移装置，其特征在于，所述装置还包括：

参数调整单元，用于根据网络状况和所述源物理主机与所述目标物理主机的资源使用情况动态调整所述外存预迁移阈值、所述内存预迁移阈值、所述外存传输次数上限、以及所述内外存传输次数上限。

17.一种虚拟机全系统在线迁移系统，其特征在于，包括权利要求9-16中任一项所述的虚拟机全系统在线迁移装置。

18.根据权利要求17所述的虚拟机全系统在线迁移系统，其特征在于，所述系统还包括：

目标物理主机，用于在接收到来自源物理主机的数据后恢复所接收的外存数据、内存数据、增量外存数据、以及增量内存数据。