CN104199716A - 一种虚拟机热迁移的方法、物理主机及系统 - Google Patents

Abstract

本发明的实施例提供了一种虚拟机热迁移的方法、物理主机及系统，涉及通信领域，用于解决现有技术存在着的无法在HBA/HCA直通虚拟机的模式下实现虚拟机的热迁移的问题，该方法具体包括：与业务发送方进行交互，使得业务发送方暂停业务数据的发送；将主机适配器中的数据复制到仿真主机适配器中；解除虚拟机与主机适配器间的绑定，并将虚拟机与仿真主机适配器进行绑定；将虚拟机对应的数据以及仿真主机适配器对应的数据迁移至第二物理主机。本发明应用于虚拟机的热迁移。

Description

一种虚拟机热迁移的方法、物理主机及系统

技术领域

本发明涉及通信领域，尤其涉及一种虚拟机热迁移的方法、物理主机及系统。

背景技术

计算机虚拟化技术是当前的热点，而虚拟机的热迁移技术则是虚拟化技术当中的热点，可以说，虚拟机的热迁移技术已经成为衡量计算机虚拟化技术优劣的一项检验指标。所谓虚拟机的热迁移是指在保证虚拟机上服务正常运行的同时，将正在运行的虚拟机从源物理主机迁移至目的物理主机中。

现在常用的一种典型的虚拟机应用架构，即一台安装具有管理虚拟机功能的虚拟机管理器(Virtual Machine Manager，简称VMM)的物理主机，具体由VMM管理一个或多个虚拟机，每个虚拟机上可以运行操作系统OS以及各种应用。一般物理主机的硬件主要包括：一部分跟运行虚拟机强相关的硬件(例如CPU、内存、硬盘等)，以及一部分不直接用于运行虚拟机，而用于执行一些特定业务，且功能相对独立的硬件(例如，以太网网卡和主机适配器)。而主机适配器通常包括基于单根输入输出虚拟化SR-IOV(Single Root I/O VirtualizationHBA/HCA标准实现的一个物理功能PF以及一个或多个虚拟功能(Virtual Function，简称VF)，其中，一个虚拟功能可以和与其对应的一个虚拟机进行直通操作。

当上述的虚拟机应用架构中的主机适配器为主机总线适配器(Host Bus Adaptor，简称HBA)/主机通道适配器(Host ChannelAdaptor，简称HCA)时，对于运行在上述架构中的虚拟机来说，由于HBA/HCA直通虚拟机的模式下不支持小型计算机系统接口(SmallComputer System Interface，简称SCSI)业务不中断的虚拟机热迁移，即由于协议栈的会话控制是由HBA/HCA硬件实现的，且协议栈的会话无法随虚拟机进行迁移，同时SCSI对于报文丢失的容忍度极低，因此，连续丢失HBA/HCA上保存的协议栈的会话上下文，会导致上层业务的中断，造成虚拟机热迁移不成功，因此，在HBA/HCA直通虚拟机的模式下是无法实现虚拟机热迁移的。

针对上述问题，现有技术通过多路径技术，即通过虚拟机管理程序为源物理主机的HBA/HCA上运行的虚拟机分配一个能够供虚拟机正常运行的仿真以太网网卡设备(Ethernet Network Interface Card，简称Eth NIC)，使得虚拟机在进行热迁移时，源物理主机可以断开HBA/HCA与虚拟机间的绑定，并将该虚拟机与创建的仿真Eth NIC进行绑定，然后，通过虚拟机与该仿真Eth NIC间的仿真路径，将该虚拟机中的所存储的业务数据迁移到目的物理主机。

但是，发明人发现在上述的虚拟机迁移的过程中，由于源物理主机依旧无法迁移HBA/HCA上保存的协议栈的会话连接上下文，从而在虚拟机进行迁移时，丢失了存储在HBA/HCA中的会话上下文，进而导致虚拟机无法顺利完成热迁移。

发明内容

本发明的实施例提供一种虚拟机热迁移的方法、物理主机及系统，用于解决现有技术存在着的无法在HBA/HCA直通虚拟机的模式下实现虚拟机的热迁移的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明实施例提供了一种虚拟机热迁移方法，用于第一物理主机，所述第一物理主机包括主机以及与所述主机相连的主机适配器，所述主机适配器为一个符合单根输入输出虚拟化SR-IOV标准的硬件设备，包括一个或多个物理功能PF以及一个或多个虚拟功能VF；所述主机运行有虚拟机以及虚拟机管理器VMM，所述虚拟机中运行有客户操作系统，所述客户操作系统通过符合SR-IOV标准的直通技术直接访问所述VF；

所述VMM中还包括用软件实现的仿真主机适配器，所述方法包括：

与业务发送方进行交互，使得业务发送方暂停业务数据的发送；

将所述主机适配器中的数据复制到所述仿真主机适配器中；

解除所述虚拟机与所述主机适配器间的绑定，并将所述虚拟机与所述仿真主机适配器进行绑定；

将所述虚拟机对应的数据以及仿真主机适配器对应的数据迁移至所述第二物理主机。

在第一方面的第一种可能的实现方式中，所述虚拟机对应的数据包括所述虚拟机仿真出的设备对应的数据以及运行的数据信息；所述仿真主机适配器对应的数据包括所述仿真主机适配器本身数据以及所述仿真适配器运行的数据。

结合第一方面，或者第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述主机适配器包括因特网小型计算机系统接口ISCSI HBA，所述与业务发送方进行交互，使得业务发送方暂停业务数据的发送包括：

向所述业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得业务发送方暂停业务数据的发送；其中所述window域为0的TCP报文信息用于指示所述业务发送方实现所述业务数据在预设时间段内的发送暂停。

结合第一方面，或者第一方面第一种可能的实现方式，在第三种可能的实现方式中，所述主机适配器包括光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCE HCA，所述与业务发送方进行交互，使得业务发送方暂停业务数据的发送具体包括：

向所述业务发送方停止发送credit应答帧，使得业务发送方暂停业务数据的发送。

结合第一方面，或者第一方面第一至第三种任意一种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：

获取所述第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据；

将所述第二物理主机的仿真主机适配器对应的数据复制到所述第一物理主机的主机适配器中，并根据获取到的所述虚拟机对应的数据生成对应的新的虚拟机，将所述新的虚拟机与所述第二物理主机的仿真主机适配器进行绑定。

第二方面，本发明实施例提供了一种第一物理主机，所述第一物理主机包括主机以及与所述主机相连的主机适配器，所述主机适配器为一个符合单根输入输出虚拟化SR-IOV标准的硬件设备，包括一个或多个物理功能PF以及一个或多个虚拟功能VF；所述主机运行有虚拟机以及虚拟机管理器VMM，所述虚拟机中运行有客户操作系统，所述客户操作系统通过符合SR-IOV标准的直通技术直接访问所述VF；

所述VMM中还包括用软件实现的仿真主机适配器；所述主机包括：

交互模块，用于与业务发送方进行交互，使得业务发送方暂停业务数据的发送；

复制模块，用于将所述主机适配器中的数据复制到所述仿真主机适配器中；

绑定模块，用于解除所述虚拟机与所述主机适配器间的绑定，并将所述虚拟机与所述仿真主机适配器进行绑定；

迁移模块，用于将所述虚拟机对应的数据以及仿真主机适配器对应的数据迁移至所述第二物理主机。

在第二方面的第一种可能的实现方式中，所述虚拟机对应的数据包括所述虚拟机仿真出的设备对应的数据以及运行的数据信息；所述仿真主机适配器对应的数据包括所述仿真主机适配器本身数据以及所述仿真适配器运行的数据。

结合第二方面，或者第二方面第一种可能的实现方式，在第二种可能的实现方式中，所述主机适配器包括因特网小型计算机系统接口ISCSI HBA，所述交互模块具体用于：向所述业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得业务发送方暂停业务数据的发送；其中所述window域为0的TCP报文信息用于指示所述业务发送方实现所述业务数据在预设时间段内的发送暂停。

结合第二方面，或者第二方面第一种可能的实现方式，在第三种可能的实现方式中，所述主机适配器包括光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCE HCA，所述交互模块具体用于：向所述业务发送方停止发送credit应答帧，使得业务发送方暂停业务数据的发送。

结合第二方面，或者第二方面第一至第三种任意一种可能的实现方式，在第四种可能的实现方式中，所述第一物理主机还包括：

获取模块，用于获取所述第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据；

所述复制模块，还用于将所述第二物理主机的仿真主机适配器对应的数据复制到所述第一物理主机的主机适配器中；

所述绑定单元，还用于根据获取到的所述虚拟机对应的数据生成对应的新的虚拟机，将所述新的虚拟机与所述第二物理主机的仿真主机适配器进行绑定。

第三方面，提供一种第一物理主机，所述第一物理主机包括存储器、处理器、插在所述第一物理主机卡槽中的主机适配器及以太网网卡，其中：

所述主机适配器，用于与业务发送方进行交互，使得业务发送方暂停业务数据的发送。

所述处理器，用于将所述主机适配器中的数据复制到所述仿真主机适配器中；解除所述虚拟机与所述主机适配器间的绑定，并将所述虚拟机与所述仿真主机适配器进行绑定；将所述虚拟机对应的数据以及仿真主机适配器对应的数据迁移至所述第二物理主机。

在第三方面的第一种可能的实现方式中，所述主机适配器包括主机总线适配器HBA或主机通道适配器HCA；所述虚拟机对应的数据包括所述虚拟机仿真出的设备对应的数据以及运行的数据信息；所述仿真主机适配器对应的数据包括所述仿真主机适配器本身数据以及所述仿真适配器运行的数据。

根据第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，当所述主机适配器包括因特网小型计算机系统接口ISCSI HBA时，所述主机适配器，具体用于向所述业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得业务发送方暂停业务数据的发送；其中所述window域为0的TCP报文信息用于指示所述业务发送方实现所述业务数据在预设时间段内的发送暂停。

根据第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，当所述主机适配器包括光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCE HCA时，

所述主机适配器，具体用于向所述业务发送方停止发送credit应答帧，使得业务发送方暂停业务数据的发送。

结合第一方面或第一方面的第一种至第三种可能的实现方式中的任一种实现方式，在第一方面的第四种可能的实现方式中，当所述第一物理主机接收到所述第二物理主机发送的所述第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据时；所述处理器，还用于：获取所述第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据；将所述第二物理主机的仿真主机适配器对应的数据复制到所述第一物理主机的主机适配器中，并根据所述虚拟机对应的数据生成对应的新的虚拟机，将所述新的虚拟机与所述第二物理主机的仿真主机适配器进行绑定。

本发明的实施例提供的虚拟机热迁移的方法、装置及系统，由于主机适配器中的数据都复制到了仿真主机适配器，并后续又将虚拟机以及仿真主机适配器对应的数据复制到了目的物理主机，因此，在这过程中并没有数据丢失，从而可以在现有业务不中断的前提下，在HBA/HCA直通虚拟机的模式下实现虚拟机的热迁移。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种虚拟机应用架构图；

图2为本发明的实施例提供的一种虚拟机热迁移的方法的流程示意图；

图3为本发明的实施例提供的另一种虚拟机热迁移的方法的流程示意图；

图4为本发明的实施例提供的又一种虚拟机热迁移的方法的流程示意图；

图5为本发明的实施例提供的一种第一物理主机的结构示意图；

图6为本发明的实施例提供的另一种第一物理主机的结构示意图；

图7为本发明的实施例提供的一种虚拟机热迁移系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例所应用的虚拟机应用架构可以如图1所示，该虚拟机应用架构，即预先在一台物理主机1上安装具有管理虚拟机功能的VMM11(在其他一些虚拟机应用场景中，具有类似功能的单元也被称为Hypervisor)，然后由VMM管理一个或多个虚拟机(如图1中的虚拟机1-n)，每个虚拟机上可以运行操作系统OS以及各种应用。在本实施例中，物理主机1中包含有一部分不直接用于运行虚拟机，而用于执行一些特定业务，且功能相对独立的硬件(例如，以太网网卡12以及主机适配器13)；其中，对于这些功能相对独立的硬件，在硬件实现上可以基于同一个硬件系统(如使用同一块PCB，同一个处理器来实现网卡12和主机适配器13)，或者也可以基于不同的硬件系统(如网卡单独使用一块PCB以及单独的处理器，主机适配器13单独使用另一块PCB以及另一块单独的处理器)。

上述虚拟机的应用架构以及虚拟机基于SR-IOV对主机适配器中的虚拟功能进行直通操作的具体实现方法都为现有技术，本发明实施例不对此进行具体介绍。

当上述的虚拟机应用架构中的主机适配器为HBA/HCA时，对于运行在上述架构中的虚拟机来说，虚拟机在进行热迁移时，会丢失HBA/HCA中保存的会话连接上下文，进而导致上层业务的中断，即由于协议栈(即网络中各层协议的总和)的会话是保存在HBA/HCA中，而虚拟机对应的虚拟机客户操作系统是无法获取上述的会话的。同时该虚拟机架构中的源物理主机和目的物理主机中的所配置的HBA/HCA需要完全一致，即源物理主机和目的物理主机中配置的HBA/HCA的硬件参数及插槽需要完全一致，例如当物理主机中的HBA/HCA采用单根输入输出虚拟化HBA/HCA SR-IOV模式时，源物理主机和目的物理主机的VF的序号必须相同，例如：当VF5在源物理主机上被虚拟机使用时，目的物理主机上的VF5必须同时处于空闲状态，以便虚拟机从源物理主机迁移至目的物理主机时，可以调用VF5。再者，当该虚拟机应用架构中的包含普通网卡时，普通网卡在物理主机中仅承担网络报文收发的任务，而会话上下文由虚拟机客户操作系统进行维护，可以随虚拟机进行迁移，但由于HBA/HCA卸载了协议栈，进而造成会话上下文不可随虚拟机进行迁移，导致上层业务的中断。因此，HBA/HCA上直通虚拟机的模式下是不支持小型计算机系统接口(Small Computer System Interface，简称SCSI)业务不中断的虚拟机热迁移的。

为解决上述问题，本发明的实施例提供了一种新的虚拟机热迁移的方法、装置及系统。

实施例一

参见图2，本发明的实施例一提供了一种虚拟机热迁移的方法，用于将第一物理主机中的虚拟机中业务迁移到第二物理主机的虚拟机。本发明实施例中，在VMM中用软件实现一个仿真主机适配器，以模拟真正的硬件主机适配器。仿真主机适配器既可以预先配置在VMM中，也可以是要执行虚拟机热迁移时，由第一物理主机的VMM根据该第一物理主机中的主机适配器的硬件参数创建，即第一物理主机会根据该其内部的主机适配器的硬件参数创建出一个与该主机适配器中存储的描述符格式及控制寄存器的状态信息相同的仿真主机适配器，该仿真主机适配器与该主机适配器使用相同的驱动，且该仿真主机适配器在加载完驱动之后，可以与该主机适配器一样为虚拟机提供正常的运行环境。其中，具体的创建过程为本领域技术人员公知的技术，这里并不进行详细描述。

本发明实施例中，仿真主机适配器可看成VMM相对于现有技术新增的一个软件模块，为了说明方便，本发明实施例并不对VMM中除仿真主机适配器外的各个其他模块进行严格说明，如无特殊说明，当涉及到其他模块与仿真主机适配器之间的交互时，统一使用VMM来代替其他模块。例如，“VMM对仿真主机适配器进行操作”可以理解为“VMM中的某一个或多个其他模块通过配合来对仿真主机适配器进行A操作”，本领域技术人员可以理解相应地会有一个软件模块来对仿真主机适配器进行A操作。

基于上述应用场景，本发明实施例提供虚拟机热迁移方法包括如下步骤：

101、与业务发送方进行交互，使得业务发送方暂停业务数据的发送。

这里的业务发送方可以是通过网络与第一物理主机连接以进行业务通信的第二物理主机，例如，通过以太网连接的另一台服务器，或者终端设备。这里主要通过业务发送方暂停业务数据发送，使得后续不会有业务数据因为虚拟机的迁移而丢失。

具体的，第一物理主机在与业务发送方进行交互时，可以根据不同的协议来使用不同的交互方法实现，例如，基于传输控制协议TCP进行通信时，可以由第一物理主机的虚拟机(VM)通过主机适配器持续发送window域为0的TCP确认报文来响应对端，从而使对端暂停业务数据的发送；

或者，基于InfiniBand协议时，第一物理主机中的VM可以停止发送credit应答帧，也可以使得对端暂停数据的发送；

或者，采用其他协议时，也可以基于其他协议采用类似的方法来使得对端暂停发送数据。

102、将主机适配器中的数据复制到仿真主机适配器中。

具体的，可以由第一物理主机中的VMM来完成复制，例如，VMM可以通过主机适配器提供的接口读取主机适配器中的数据，然后将读取的数据复制到仿真主机适配器。

其中，上述的主机适配器中的数据包括该主机适配器的接收/发送队列及各种硬件状态信息(如协议栈的会话连接上下文信息)。

103、解除虚拟机与主机适配器间的绑定，并将该虚拟机与仿真主机适配器进行绑定。

具体的，由VMM来完成解绑以及重新绑定。其中，“绑定”为本领域技术人员所公知的术语，可以理解成将一个设备与另一个设备进行关联；反之，“解除绑定”是取消两者的关联性。本发明实施例中，原先虚拟机与主机适配器是“绑定”在一起的，来自虚拟机的业务会通过与之“绑定”的主机适配器发送到其他设备。通过本步骤的解除绑定以及与仿真主机适配器绑定，虚拟机解除了与主机适配器的关联，而与仿真主机适配器进行了关联，这样，后续来自虚拟机的业务便不再与主机适配器进行通信而与仿真主机适配器进行通信，从而不会造成数据的丢失。

在解绑与重新绑定后，第一物理主机移除分配给虚拟机的主机适配器中的VF，并分配该仿真主机适配器中相同的VF给虚拟机，此时，该虚拟机的IO(输入/输出)通道为该仿真主机适配器与该虚拟机间的仿真通道。

需要说明的是，由于是由VMM来完成，因此，可以做到让虚拟机不感知这种变化，即相对于虚拟机来说，虚拟机中“看到”的主机适配器其实并没有变化，虚拟机对主机适配器的操作也不发生变化。

104、将虚拟机对应的数据以及仿真主机适配器对应的数据迁移至第二物理主机。

具体的，由VMM来完成虚拟机和防身主机适配器对应的数据的迁移。其中，虚拟机对应的数据包括虚拟机仿真出来的设备(如仿真出来的CPU、内存、硬盘、各种外设等)对应的数据以及运行的数据信息；

同理，仿真主机适配器对应的数据包括仿真主机适配器这个设备本身的数据以及仿真适配器运行的数据(如从主机适配器中复制过来的数据)。

这两部分数据的迁移为软件层面数据的迁移，该迁移方法为本领域技术人员所公知的技术，具体过程可以包括：先将一部分数据迁移到第二物理主机，然后比较第一物理主机中的数据跟第二物理主机中的数据的差别，从而更新第二物理主机中的数据；通过上述方法不断迭代，最后当差异小到一个预定的值后，停止虚拟机，将最后需要更新的数据迁移到第二物理主机。在这迁移过程中，虚拟机需要停止的时间非常短，用户基本不会感知，从而可以实现“热迁移”。

在完成迁移后，第二物理主机可以根据迁移过来的数据重新启动虚拟机以及仿真主机适配器，并告知该业务发送方重新向该第二物理主机发送业务数据，从而由第二物理主机来对后续新业务进行处理。

在本实施例中，第二物理主机在接收到第一物理主机发送的仿真主机适配器对应的数据时，若该第二物理主机中包含主机适配器(基于硬件)，则该第二物理主机将收到的第一物理主机的仿真主机适配器对应的数据完整的复制到该第一物理主机的主机适配器中，并绑定相应的虚拟机来执行业务；若该第二物理主机中未包含主机适配器，则该第二物理主机的VMM根据接收到的数据通过软件的方式来运行仿真主机适配器，并与虚拟机进行。

同理，第一物理主机也可以作为目的主机，而第二物理主机作为源主机，在这种情况下，本发明实施例还包括如下步骤：

105、获取第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据，将第二物理主机的仿真主机适配器对应的数据复制到第一物理主机的主机适配器中，并根据收到的虚拟机对应的数据生成对应的新的虚拟机，将新生成的虚拟机与仿真主机适配器进行绑定。

示例性的，若该第一物理主机中包含主机适配器，则该第一物理主机的虚拟机管理器启动该第一物理主机的主机适配器的复制功能，从而将该第二物理主机的仿真主机适配器对应的数据完整的复制到该第一物理主机的主机适配器中。但是，若该第一物理主机中未包含主机适配器，则该第一物理主机的VMM直接运行该第二物理主机的仿真主机适配器。

需要说明的是，第一物理主机中的主机适配器或仿真主机适配器需要进行复制操作，即进行信息迁移时，都需要与业务发送方发进行交互。例如，当仿真主机适配器需要将该仿真主机适配器中存储的主机适配器中的数据发送至第二物理主机时，该第一物理主机的VMM中运行的仿真主机适配器需要通过该VMM与业务发送方进行交互。

本发明的实施例提供的虚拟机热迁移的方法中，由于主机适配器中的数据都复制到了仿真主机适配器，并后续又将虚拟机以及仿真主机适配器对应的数据复制到了目的物理主机，因此，在这过程中并没有数据丢失，从而可以在现有业务不中断的前提下，在HBA/HCA直通虚拟机的模式下实现虚拟机的热迁移。

实施例二

本发明的实施例二提供另一种虚拟机热迁移的方法，本实施例在实施例一提供的步骤101至步骤105的基础上，在主机适配器为因特网小型计算机系统接口ISCSI HBA时，将步骤101替换为步骤101a，或者，在主机适配器为光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCE HCA时，将步骤101替换为步骤101b。

如图3所示，当步骤101替换为步骤101a，该方法包括如下步骤：

101a、向业务发送方持续发送window域为0的传输控制协议TCP报文信息。

具体的，可以由第一物理主机的虚拟机通过主机适配器持续发送window域为0的TCP确认报文来响应对端持续发送window域为0的TCP确认报文来响应对端，从而使对端暂停业务数据的发送。其中，上述的window域为0的TCP报文信息是基于传输控制协议TCP进行通信的，用于指示该业务发送方实现该业务数据在预设时间段内的发送暂停。示例性的，业务发送方在接收到该window域为0的TCP报文信息后，获知该第一物理主机中的window域为0(即该第一物理主机中已无缓冲区)后，响应该TCP报文信息，并产生大约2秒的发送停顿。

如图4所示，当步骤101替换为步骤101b，该方法包括如下步骤：

101b、向业务发送方停止发送credit应答帧。

具体的，第一物理主机基于InfiniBand协议，使得该第一物理主机中的虚拟机停止发送credit应答帧，以使业务发送方接收不到credit应答帧的指示，进而使得该业务发送方暂停数据的发送。

示例性的，这里将图3对应的实施例应用于具体的虚拟机的应用架构中进行具体说明。

具体的，参照图1所示的虚拟机应用架构示意图，源物理主机中的VMM为虚拟机分配硬件VMM为虚拟机分配硬件HBA的一个VF给虚拟机，而虚拟机在识别到硬件HBA VF后,加载VF驱动(即仿真HBA驱动)，使得硬件HBA VF成为虚拟机SCSI小型计算机系统接口(Small Computer System Interface，简称SCSI)操作的输入/输出通道。具体的，虚拟机在上述的网络环境下，从源物理主机向目的物理主机进行热迁移的具体步骤如下所示：首先，源物理主机通过其主机中的VMM根据该第一物理主机中的主机适配器的硬件参数创建，在源物理主机上创建一个与源物理主机的硬件HBA具有相同硬件参数的仿真HBA。其次，该源物理主机中的VMM虚拟机管理器通过硬件HBA向虚拟机的业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得该业务发送方获知该第一物理主机中的window域为0(即该第一物理主机中已无缓冲区)后，响应该TCP报文信息，从而产生大约2秒的发送停顿，以便VMM将源物理主机上的硬件HBA中的数据的完整复制到仿真HBA中。而该源物理主机中的VMM在将硬件HBA的中的数据完整复制到仿真HBA后，移除分配给虚拟机的硬件HBA VF，同时分配仿真HBA给虚拟机，以便虚拟机的输入/输出可以走仿真HBA对应的仿真通道，使得虚拟机能够在仿真HBA上正常运行。然后，将该源物理主机上的仿真HBA存储的对应的数据仿真主机适配器这个设备本身的数据以及仿真适配器运行的数据(如从主机适配器中复制过来的数据)及虚拟机仿真出来的设备(如仿真出来的CPU、内存、硬盘、各种外设等)对应的数据以及运行的数据信息复制到目的物理主机上。最后，目的物理主机中的VMM为迁移过来的虚拟机重新分配与源物理主机相同的硬件HBA VF，并移除仿真HBA，使得虚拟机的输入/输出走该目的物理主机的硬件通道。此外，当目的物理主机中有可用的硬件HBA VF时，目的物理主机中的VMM会通过该目的物理主机的仿真HBA向业务发送方(如，源物理主机)持续发送window域为0的传输控制协议TCP报文信息，以使对端停止发送数据，然后将仿真HBA的对应的数据完整复制到该目的物理主机的硬件HBA的VF中，当然，若该目的物理主机中没有可用的硬件HBAVF时，该目的物理主机会直接通过VMM运行该仿真HBA。

在本发明的实施例提供的虚拟机热迁移的方法中，由于主机适配器中的数据都复制到了仿真主机适配器，并后续又将虚拟机以及仿真主机适配器对应的数据复制到了目的物理主机，因此，在这过程中并没有数据丢失，从而可以在现有业务不中断的前提下，在HBA/HCA直通虚拟机的模式下实现虚拟机的热迁移。

实施例三

本发明的实施例三提供一种第一物理主机，该第一物理主机包括主机以及与该主机相连的主机适配器，该主机适配器为一个符合单根输入输出虚拟化SR-IOV标准的硬件设备，包括一个或多个物理功能PF以及一个或多个虚拟功能VF；该主机运行有虚拟机以及虚拟机管理器VMM，该虚拟机中运行有客户操作系统，该客户操作系统通过符合SR-IOV标准的直通技术直接访问VF；同时上述的VMM中还包括用软件实现的仿真主机适配器。如图5所示，该主机3还包括：交互模块31、复制模块32、绑定模块33及迁移模块34，其中：

交互模块31，用于与业务发送方进行交互，使得业务发送方暂停业务数据的发送。

复制模块32，用于将主机适配器中的数据复制到仿真主机适配器中。

绑定模块33，用于解除虚拟机与主机适配器间的绑定，并将该虚拟机与该仿真主机适配器进行绑定。

迁移模块34，用于将虚拟机对应的数据以及仿真主机适配器对应的数据迁移至第二物理主机。

其中，上述的主机适配器包括主机总线适配器HBA和主机通道适配器HCA；而上述的虚拟机对应的数据包括虚拟机仿真出的设备对应的数据以及运行的数据信息；仿真主机适配器对应的数据包括仿真主机适配器本身数据以及仿真适配器运行的数据。

可选的，当上述的主机适配器包括因特网小型计算机系统接口ISCSI HBA时，交互模块31具体用于：向业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得业务发送方暂停业务数据的发送；其中该window域为0的TCP报文信息用于指示上述的业务发送方实现业务数据在预设时间段内的发送暂停。

可选的，当上述的主机适配器包括光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCE HCA时，交互模块31具体用于：向业务发送方停止发送credit应答帧，使得业务发送方暂停业务数据的发送。

可选的，当上述的第一物理主机接收到第二物理主机发送的第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据时：

如图5所示，该第一物理主机还包括：获取模块35，其中：

获取模块35，用于获取第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据。

复制模块32，还用于将第二物理主机的仿真主机适配器对应的数据复制到第一物理主机的主机适配器中。

绑定单元33，还用于根据虚拟机对应的数据生成对应的新的虚拟机，将新的虚拟机与第二物理主机的仿真主机适配器进行绑定。

本发明的实施例提供的第一物理主机，由于主机适配器中的数据都复制到了仿真主机适配器，并后续又将虚拟机以及仿真主机适配器对应的数据复制到了目的物理主机，因此，在这过程中并没有数据丢失，从而可以在现有业务不中断的前提下，在HBA/HCA直通虚拟机的模式下实现虚拟机的热迁移。

实施例四

如图6所示的本发明的实施例四提供另一种第一物理主机的结构示意图。该第一物理主机4可以是服务器，或者终端设备。该第一物理主机包括存储器41、处理器42、插在该物理主机卡槽中的主机适配器43及以太网网卡44。上述的各个组件是通过总线系统耦合在一起。该总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中：

上述的存储器41可以是计算机能够存取的任何可用介质，包括但不限于：只读存储器(read only memory，简称ROM)、随机存储器(random access memory,简称RAM)、或磁盘存储(disk storage)、闪存、可编程只读存储器或电可擦写可编程存储器、寄存器等本领域熟悉的存储介质。存储设备用于向处理器提供指令和数据信息，和处理器通过总线连接。

上述的存储器41中存储：操作系统，应用程序，用于管理虚拟机功能的VMM，用于运行虚拟机的操作系统以及虚拟机中的各种应用，及用于实现本发明实施例的程序代码。其中，

上述的主机适配器43为一个符合单根输入输出虚拟化SR-IOV标准的硬件设备，包括一个或多个物理功能PF以及一个或多个虚拟功能VF。

处理器42通过读取存储器41中存储的信息来进行各设备之间的消息的处理和传递。

具体的，主机适配器43，用于与业务发送方进行交互，使得业务发送方暂停业务数据的发送。

处理器42，用于将主机适配器中的数据复制到仿真主机适配器中；及用于解除虚拟机与主机适配器间的绑定，并将该虚拟机与该仿真主机适配器进行绑定；及用于将虚拟机对应的数据以及仿真主机适配器对应的数据迁移至第二物理主机。

其中，上述的主机适配器43包括主机总线适配器HBA和主机通道适配器HCA；而上述的虚拟机对应的数据包括虚拟机仿真出的设备对应的数据以及运行的数据信息；仿真主机适配器对应的数据包括仿真主机适配器本身数据以及仿真适配器运行的数据。

可选的，当上述的主机适配器43包括因特网小型计算机系统接口ISCSI HBA时，主机适配器43具体用于：向业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得业务发送方暂停业务数据的发送；其中该window域为0的TCP报文信息用于指示上述的业务发送方实现业务数据在预设时间段内的发送暂停。

可选的，当上述的主机适配器43包括光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCE HCA时，主机适配器43具体用于：向业务发送方停止发送credit应答帧，使得业务发送方暂停业务数据的发送。

可选的，当上述的第一物理主机接收到第二物理主机发送的第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据时，处理器42，还用于获取所述第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据；及用于将所述第二物理主机的仿真主机适配器对应的数据复制到所述第一物理主机的主机适配器中，并根据所述虚拟机对应的数据生成对应的新的虚拟机，将所述新的虚拟机与所述第二物理主机的仿真主机适配器进行绑定。

本发明的实施例提供的第一物理主机，由于主机适配器中的数据都复制到了仿真主机适配器，并后续又将虚拟机以及仿真主机适配器对应的数据复制到了目的物理主机，因此，在这过程中并没有数据丢失，从而可以在现有业务不中断的前提下，在HBA/HCA直通虚拟机的模式下实现虚拟机的热迁移。

实施例五

本发明的实施例五提供一种虚拟机热迁移系统，如图7所示，该虚拟机热迁移系统5包括第一物理主机51和第二物理主机52，其中，该第一物理主机51为图2、3、4、5、6对应实施例所示的第一物理主机。

第一物理主机51，用于与业务发送方进行交互，使得业务发送方暂停业务数据的发送；将主机适配器中的数据复制到仿真主机适配器中；解除虚拟机与主机适配器间的绑定，并将该虚拟机与该仿真主机适配器进行绑定；将虚拟机对应的数据以及仿真主机适配器对应的数据迁移至第二物理主机52。

其中，上述的主机适配器包括主机总线适配器HBA和主机通道适配器HCA；而上述的虚拟机对应的数据包括虚拟机仿真出的设备对应的数据以及运行的数据信息；仿真主机适配器对应的数据包括仿真主机适配器本身数据以及仿真适配器运行的数据。

可选的，当上述的主机适配器包括因特网小型计算机系统接口ISCSI HBA时，第一物理主机51具体用于：向业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得业务发送方暂停业务数据的发送；其中该window域为0的TCP报文信息用于指示上述的业务发送方实现业务数据在预设时间段内的发送暂停。

可选的，当上述的主机适配器包括光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCE HCA时，第一物理主机51具体用于：向业务发送方停止发送credit应答帧，使得业务发送方暂停业务数据的发送。

第二物理主机52，用于获取第一物理主机的仿真主机适配器对应的数据，并将第一物理主机的仿真主机适配器对应的数据复制到第二物理主机的主机适配器中。

本发明的实施例提供的虚拟机热迁移系统，由于主机适配器中的数据都复制到了仿真主机适配器，并后续又将虚拟机以及仿真主机适配器对应的数据复制到了目的物理主机，因此，在这过程中并没有数据丢失，从而可以在现有业务不中断的前提下，在HBA/HCA直通虚拟机的模式下实现虚拟机的热迁移。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟机热迁移方法，用于第一物理主机，所述第一物理主机包括主机以及与所述主机相连的主机适配器，所述主机适配器为一个符合单根输入输出虚拟化SR-IOV标准的硬件设备，包括一个或多个物理功能PF以及一个或多个虚拟功能VF；所述主机运行有虚拟机以及虚拟机管理器VMM，所述虚拟机中运行有客户操作系统，所述客户操作系统通过符合SR-IOV标准的直通技术直接访问所述VF；

其特征在于，所述VMM中还包括用软件实现的仿真主机适配器，所述方法包括：

与业务发送方进行交互，使得业务发送方暂停业务数据的发送；

将所述主机适配器中的数据复制到所述仿真主机适配器中；

解除所述虚拟机与所述主机适配器间的绑定，并将所述虚拟机与所述仿真主机适配器进行绑定；

将所述虚拟机对应的数据以及仿真主机适配器对应的数据迁移至所述第二物理主机。

2.根据权利要求1所述的方法，其特征在于，所述虚拟机对应的数据包括所述虚拟机仿真出的设备对应的数据以及运行的数据信息；所述仿真主机适配器对应的数据包括所述仿真主机适配器本身数据以及所述仿真适配器运行的数据。

3.根据权利要求1或2所述的方法，其特征在于，所述主机适配器包括因特网小型计算机系统接口ISCSI HBA，所述与业务发送方进行交互，使得业务发送方暂停业务数据的发送包括：

向所述业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得业务发送方暂停业务数据的发送；其中所述window域为0的TCP报文信息用于指示所述业务发送方实现所述业务数据在预设时间段内的发送暂停。

4.根据权利要求1或2所述的方法，其特征在于，所述主机适配器包括光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCEHCA，所述与业务发送方进行交互，使得业务发送方暂停业务数据的发送具体包括：

向所述业务发送方停止发送credit应答帧，使得业务发送方暂停业务数据的发送。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

获取所述第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据；

将所述第二物理主机的仿真主机适配器对应的数据复制到所述第一物理主机的主机适配器中，并根据获取到的所述虚拟机对应的数据生成对应的新的虚拟机，将所述新的虚拟机与所述第二物理主机的仿真主机适配器进行绑定。

6.一种第一物理主机，所述第一物理主机包括主机以及与所述主机相连的主机适配器，所述主机适配器为一个符合单根输入输出虚拟化SR-IOV标准的硬件设备，包括一个或多个物理功能PF以及一个或多个虚拟功能VF；所述主机运行有虚拟机以及虚拟机管理器VMM，所述虚拟机中运行有客户操作系统，所述客户操作系统通过符合SR-IOV标准的直通技术直接访问所述VF；

其特征在于，所述VMM中还包括用软件实现的仿真主机适配器；所述主机包括：

交互模块，用于与业务发送方进行交互，使得业务发送方暂停业务数据的发送；

复制模块，用于将所述主机适配器中的数据复制到所述仿真主机适配器中；

绑定模块，用于解除所述虚拟机与所述主机适配器间的绑定，并将所述虚拟机与所述仿真主机适配器进行绑定；

迁移模块，用于将所述虚拟机对应的数据以及仿真主机适配器对应的数据迁移至所述第二物理主机。

7.根据权利要求6所述的第一物理主机，其特征在于，所述虚拟机对应的数据包括所述虚拟机仿真出的设备对应的数据以及运行的数据信息；所述仿真主机适配器对应的数据包括所述仿真主机适配器本身数据以及所述仿真适配器运行的数据。

8.根据权利要6或7所述的第一物理主机，其特征在于，所述主机适配器包括因特网小型计算机系统接口ISCSI HBA，所述交互模块具体用于：向所述业务发送方持续发送window域为0的传输控制协议TCP报文信息，使得业务发送方暂停业务数据的发送；其中所述window域为0的TCP报文信息用于指示所述业务发送方实现所述业务数据在预设时间段内的发送暂停。

9.根据权利要求6或7所述的第一物理主机，其特征在于，所述主机适配器包括光纤通道FC/以太网光纤通道FCoE HBA或无限带宽IB/RoCE HCA，所述交互模块具体用于：向所述业务发送方停止发送credit应答帧，使得业务发送方暂停业务数据的发送。

10.根据权利要求6至9任一项所述的第一物理主机，其特征在于，所述第一物理主机还包括：

获取模块，用于获取所述第二物理主机的仿真主机适配器对应的数据以及虚拟机对应的数据；

所述复制模块，还用于将所述第二物理主机的仿真主机适配器对应的数据复制到所述第一物理主机的主机适配器中；

所述绑定单元，还用于根据获取到的所述虚拟机对应的数据生成对应的新的虚拟机，将所述新的虚拟机与所述第二物理主机的仿真主机适配器进行绑定。