CN103885830B - 一种虚拟机跨数据中心动态迁移中的数据处理方法 - Google Patents

Abstract

一种虚拟机跨数据中心动态迁移中的数据处理方法，在数据中心内部部署迁移代理节点，利用迁移代理节点对虚拟机迁移的数据进行处理，可以在不修改宿主机操作系统上运行的虚拟机监视器的前提下，实现包括去重、压缩、数据流重构、加密等过程。本发明针对虚拟机跨数据中心迁移需要修改宿主机操作系统上运行的虚拟机监视器、根据异构宿主机编写完全不同的迁移代码的问题，在数据中心内部署迁移代理节点，来优化虚拟机跨数据中心动态迁移的数据处理过程，实现松耦合。

Description

一种虚拟机跨数据中心动态迁移中的数据处理方法

技术领域

本发明涉及云计算及虚拟化领域，具体涉及虚拟机跨数据中心迁移。

背景技术

虚拟机的动态迁移(virtual machine live migration)是在尽量保证虚拟机运行不间断的情况下，将虚拟机从一台物理服务器迁移到另一台物理服务器，该技术是云计算的核心支撑技术之一。动态迁移的关键在于尽可能的减少迁移时间和宕机时间。它可以整合过多的服务器和桌面硬件来减少物理基础架构所占用的空间，动态管理整个服务器池中的计算资产，降低数据中心的能源需求，从而达到节约成本、降低能效的目的。虚拟机的跨数据中心的动态迁移，需要将虚拟机的内存状态完全从源数据中心拷贝到目的数据中心。这样有助于池化数据中心资源，跨地域调度资源，提高资源利用率与云服务的质量。

较之数据中心内部，数据中心之间通信延迟较大、可用于迁移的数据传输速率较低，而内存数据变化较快，所以解决虚拟机跨数据中心迁移内存状态拷贝的关键是减少拷贝过程中传输的数据量，这就需要对迁移内存数据进行数据去重、压缩。为了避免迁移过程中数据发生增加、修改、丢失和泄露等安全问题，需要对数据进行加密处理。数据流重构是为了标识以上所做的各种改变，方便目的端进行数据识别和恢复。

数据去重是一种通过大规模消除冗余数据，降低数据存储成本的重要技术。重复数据大量存在于虚拟机信息处理和存储的各个环节，如文件系统、文件同步、邮件附件、HTML文档和Web对象，以及操作系统和应用软件中，迁移重复数据会浪费大量的网络带宽和存储空间。数据去重技术不仅能降低数据的存储量，减少存储资源的开销，降低物理存储资源的管理和维护成本，也能节约网络带宽，加快数据传输过程。

数据压缩是指在不丢失信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率的一种技术方法。或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间。

数据加密技术就是用来保证信息安全的基本技术之一。数据加密是指在数据处理过程中将敏感数据转换成不能识别的乱码，还原的过程则称为解密，数据加、解密过程是由算法来具体实施的。

数据流重构是指数据单元从一种格式到另一种格式的转换，包括结构转换、格式变化、类型替换等，以实现空间数据在结构、格式和类型上的统一。

虚拟机跨数据中心动态迁移需要修改宿主机操作系统上运行的虚拟机监视器，将内存数据传输至目的端虚拟机。这就要求根据异构宿主机编写完全不同的迁移代码，修改每台宿主机的虚拟机监视器的状态，修改过程工作量大且非常繁琐。而且处理算法更新的工作量也十分巨大，在大规模数据中心中实用价值不大。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种虚拟机跨数据中心动态迁移中的数据处理方法，在数据中心内部部署迁移代理节点，利用迁移代理节点对虚拟机迁移的数据进行处理，可以在不修改宿主机操作系统上运行的虚拟机监视器的前提下，实现包括去重、压缩、数据流重构、加密等过程，实现松耦合，减小迁移的页面数据量；这样能够在避免修改宿主机虚拟机监视器代码的情况下对迁移数据流做灵活的操作，降低了大规模数据中心中迁移优化的复杂度，提升虚拟机动态迁移的性能。

本发明的技术方案如下：虚拟机跨数据中心动态迁移中的数据处理方法，所述方法包括以下步骤：

(1)虚拟机跨数据中心动态迁移过程中，在源数据中心内部部署源端迁移代理节点，利用源端迁移代理节点对虚拟机迁移的数据进行处理，在不修改源端虚拟机监视器的前提下，实现包括去重、压缩、数据流重构、加密过程，实现松耦合，减小迁移的页面数据量；

(2)在目的端数据中心内部部署目的端迁移代理节点，利用目的端迁移代理节点对接收的数据进行识别和恢复，可以在不修改目的端虚拟机监视器的前提下，实现包括数据恢复、解压、数据流识别、解密过程。

所述步骤(1)中部署源端迁移代理节点具体实现如下：

(1)在源端数据中心部署一台物理机器作为迁移代理节点，该机器可以打开一系列端口监听和接受来自源端数据中心其他主机的数据发送请求。

(2)修改源端迁移指令的实现代码，将源端迁移指令统一指向代理节点，目的IP地址封装在一个数据包中发送。

(3)迁移代理节点监听迁移请求，并可以动态开启端口建立传输。

所述步骤(1)中去重和压缩的具体实现如下：

(1)代理节点接收到迁移传输数据流后，按照数据流组织规则，去重的做法是将数据部分取出并在模板数据中查找，如果命中，则返回一个索引值，如果不命中，则数据不变；压缩的做法是将数据部分取出进行压缩。

(2)将返回的数据部分填入，并修改数据流标志位。

(3)将新的数据流发往目的端数据中心。

所述步骤(1)中数据流重构的具体实现如下：

(1)源端代理节点接收到迁移传输数据流后，按照数据流组织规则，改变数据流的结构，例如源端和目的端采用不同的编、解码地址算法，则需将头部中的地址编码字段取出，求取地址，然后按照目的端编码算法进行编码，再填入数据流中。

(2)将重构后的数据流发往目的端数据中心。

所述步骤(2)中部署目的端迁移代理节点具体实现如下：

(1)在目的端数据中心部署一台物理机器作为迁移代理节点，该机器可以打开多个端口监听和接受来自源端数据中心迁移代理节点的数据发送请求。

(2)修改目的端迁移指令的实现代码，使目的端迁移指令可以将数据流引向指令原指定IP地址的物理机器。

所述步骤(2)实现数据恢复、解压、数据流识别、解密过程具体实现如下：

(21)目的端迁移代理节点接收到迁移传输数据流后，按照数据流组织规则，取出数据部分，根据头部标志位判断源端迁移代理节点对数据部分做了何种操作，也即数据流识别。数据恢复即用索引对应的完整数据内容替换索引值，解压即对数据部分进行解压，解密即对加密的数据部分进行解密。

(22)恢复到正常的头部标志位，并将恢复后的数据部分填入数据流中。

(23)将恢复后的数据流导向指定IP地址的物理机器。

本发明的有益效果在于：

(1)本发明中迁移过程不需要修改宿主机的虚拟机监视器的状态，不需要根据异构宿主机编写完全不同的迁移代码，代码的修改在迁移代理节点就可完成，实现了松耦合，降低了大规模数据中心中迁移优化的复杂度，提升虚拟机动态迁移的性能。

(2)本发明通过在源端和目的端部署迁移代理节点，可以在一台独立的迁移代理节点上对迁移数据流进行处理，从而避免了对宿主机源代码的修改。同时，对数据流进行处理的算法可以即时更新，或者增加处理类型，更新操作对数据中心的整体运行基本不造成影响。

附图说明

图1虚拟机跨数据中心动态迁移过程。

具体实施方式

如图1所示，本发明实现过程为：当源节点向目的节点传输页面数据时，实际上先传输到源数据节点进行去重、压缩、加密等处理，同时页面数据通过数据流重构在数据单元上标识所做的处理，然后源端迁移代理节点将处理后的页面传输到目的端迁移代理节点。目的端迁移代理节点接收到页面数据后，先识别数据流的的标志位，再做相应的解压、解密和恢复，最后将页面传输到目的节点。

具体步骤包括以下：

(1)源节点通过迁移代理节点与目的节点进行协商，建立连接并开始迁移虚拟机。

(2)源节点往源数据中心的迁移代理节点传输内存页面。

(3)源数据中心的迁移代理节点对数据进行处理。

(4)源数据中心的迁移代理节点将处理好的页面数据发送给目的数据中心的迁移代理节点。

(5)目的端迁移代理节点接收和恢复数据，并将其传输给目的节点。

(6)迁移结束，停止源节点上虚拟机的运行，开始在目的节点上运行虚拟机，并断开连接。

迁移代理节点实现虚拟机跨数据动态迁移的数据去重、压缩、加密、数据流重构过程的优化。

1、去重

虚拟机跨数据中心的动态迁移过程中，在源数据中心和目的数据中心部署迁移代理(Migration Proxy)节点，该节点主要实现以下三项功能：计算源端页面哈希值数组，载入内存并负责维护；与本数据中心的虚拟机监视器(Hypervisor)和对方数据中心的迁移代理节点进行通信，进行虚拟机的迁移；迁移过程中对页面进行比对和去冗余。迁移过程由如下五步组成：

(1)源节点通过迁移代理节点与目的端迁移代理节点进行协商，建立连接并开始迁移虚拟机。

(2)源节点往源数据中心的迁移代理节点传输内存页面p，源端迁移代理节点计算待传输页面哈希值h＝SHA-1(p)，并检索已传输页面的哈希值数组H。

(3)如果h∈H，则源端迁移代理节点发送h至目的端迁移代理节点；如果则将h加入H，即更新已传输页面哈希值数组，再将h及p的页面数据一并发送到目的端迁移代理节点。

(4)当目的数据中心的迁移代理节点接收到数据以后，如果接收到的只有哈希值h，则在目的端记录已传输页面的哈希表HT中找到项F(th,tp),其中th＝h，并拷贝已传输的相同页面tp到目的节点；如果收到的数据含有内存页面数据p和哈希值h，则直接将p的页面数据发送给目的节点，并将h填入哈希表HT，更新目的端已传输页面哈希表。

(5)迁移结束，停止源节点上虚拟机的运行，开始在目的节点上运行虚拟机，并断开连接。

2、压缩

虚拟机动态迁移的压缩算法的压缩比率和压缩速度都应该比较适中才能适应虚拟机动态迁移的特点。

以迁移代理节点压缩无用页面为例。这里的“无用页面”包括虚拟机内的全零页面、未分配的内存页面(Unallocated Memory Page)、空闲内存池(Free Memory Pool)的页面。KVM-QEMU的默认的在线迁移压缩方法就属于此类，在迁移过程中，源端迁移代理节点如果发现待传输的页面为全零页面，则只传输一个值为零的字节到目的端迁移代理节点，然后目的端迁移代理节点用该字节填充页面，再将恢复后的全零页面发送到目的节点。

KVM-QEMU的默认的在线迁移压缩方法就属于此类，迁移的过程如下：

(21)源端迁移代理节点检查数据部分，如果发现待传输内存页面为全零页面，则只传输一个值为零的字节到目的端迁移代理节点。

(22)目的端迁移代理节点使用接收到的字节填充一个完整页面，再将填充后的内存页面发送到指定IP地址的目的物理机器。

3、加密

在页面加密过程中，源端数据中心需要将待传输页面进行加密，再传输给目的端。首先在源端迁移代理节点上完成初始页面的加密变换，生成密态页面，再将密态页面通过TCP链接传送到目的端迁移代理节点上，目的端迁移代理节点再通过解密获得初始页面。即使该页面在传送过程中被非法截获，非法获取人员也无法从加密后的一堆“杂乱无章”的数据中获得有用信息。加密程序保证了只有特定的用户和服务器本身才可以解密页面，得到原始的保密信息，而其他人员都没有办法解密此页面或者说不能在有效的时间内解密出原始页面。具体步骤如下。

源端迁移代理节点加密打包是指将待传输页面的数据写入页面信息数据库中、将待传输页面的内容进行加密。加密打包页面的过程如下：

(1)随机生成页面ID号和加密页面秘钥，并写入页面信息数据库中；

(2)使用MD5算法产生待传输页面的摘要签字；

(3)用(1)所产生的页面密钥采用AES加密算法加密页面；

(4)将(1)(2)(3)步生成的页面ID号、MD5摘要签字和待传输页面的密文按一定格式写入新的页面中。

目的端迁移代理节点页面解密是指将来自源端迁移代理节点的加密页面进行处理，得到初始页面。解密页面的过程如下：

(1)从加密页面中提取页面ID号和加密前页面的MD5信息摘要值；

(2)从页面ID号和用户名，密码信息用自己的私钥加密发送给上端服务器；

(3)接受上端服务器发送的页面秘钥信息，解密页面；

(4)计算解密后页面的MD5摘要，并与初始页面摘要进行比较，如正确，则初始页面信息没有被更改，页面解密成功。

4、数据流重构

虚拟机跨数据中心动态迁移过程中，页面数据以数据流的形式不停传输。数据流由数据单元构成，每个数据单元由64位头部和内存页面数据组成。

页面数据在源端迁移代理节点进行去重、压缩、加密等处理的同时，通过数据流重构在数据单元上做相应的标识，以方便目的端迁移代理节点根据识别进行数据恢复。

例如迁移代理节点对压缩页面所做的数据流重构。数据单元含有内存页面数据，内存页面数据的头部有12位的标志位。第9位和第11位是用来显示迁移页面是否采取默认的QEMU/KVM压缩方法进行压缩。如果第11位被置1，则说明页面被压缩；否则，则是正常页面，同时第9位的标志位将被置1。当页面数据传输到目的端迁移代理节点，目的端迁移代理节点根据第9位和第11位是否置1，来决定是否进行解压。

本发明未详细阐述部分属于本领域公知技术。

以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (4)

1.虚拟机跨数据中心动态迁移中的数据处理方法，其特征在于：所述方法包括以下步骤：

步骤(1)，虚拟机跨数据中心动态迁移过程中，在源数据中心内部部署源端迁移代理节点，利用源端迁移代理节点对虚拟机迁移的数据进行处理，在不修改源端虚拟机监视器的前提下，实现包括去重、压缩、数据流重构、加密过程，实现松耦合，减小迁移的页面数据量；

步骤(2)，在目的端数据中心内部部署目的端迁移代理节点，利用目的端迁移代理节点对接收的数据进行识别和恢复，在不修改目的端虚拟机监视器的前提下，实现包括数据恢复、解压、数据流识别、解密过程；

所述步骤(1)中部署源端迁移代理节点具体实现如下：

(11)在源端数据中心部署一台物理机器作为迁移代理节点，该机器能够打开一系列端口监听和接受来自源端数据中心其他主机的数据发送请求；

(12)修改源端迁移指令的实现代码，将源端迁移指令统一指向代理节点，目的IP地址封装在一个数据包中发送；

(13)迁移代理节点监听迁移请求，并动态开启端口建立传输；

所述步骤(2)中部署目的端迁移代理节点具体实现如下：

(21)在目的端数据中心部署一台物理机器作为迁移代理节点，该机器能够打开多个端口监听和接受来自源端数据中心迁移代理的数据发送请求；

(22)修改目的端迁移指令的实现代码，使目的端迁移指令能够将数据流引向指令原指定IP地址的物理机器。

2.根据权利要求1所述的虚拟机跨数据中心动态迁移中的数据处理方法，其特征在于：所述步骤(1)中去重、压缩的具体实现如下：

(1)代理节点接收到迁移传输数据流后，按照数据流组织规则，去重的做法是将数据部分取出并在模板数据中查找，如果命中，则返回一个索引值，如果不命中，则数据不变；压缩的做法是将数据部分取出进行压缩；

(2)将返回的数据部分填入，并修改数据流标志位；

(3)将新的数据流发往目的端数据中心。

3.根据权利要求1所述的虚拟机跨数据中心动态迁移中的数据处理方法，其特征在于：所述步骤(1)中数据流重构的具体实现如下：

(1)源端代理节点接收到迁移传输数据流后，按照数据流组织规则，改变数据流的结构，如果源端和目的端采用不同的编、解码地址算法，则需将头部中的地址编码字段取出，求取地址，然后按照目的端编码算法进行编码，再填入数据流中；

(2)将重构后的数据流发往目的端数据中心。

4.根据权利要求1所述的虚拟机跨数据中心动态迁移中的数据处理方法，其特征在于：所述步骤(2)实现数据恢复、解压、数据流识别、解密过程具体实现如下：

(21)目的端迁移代理节点接收到迁移传输数据流后，按照数据流组织规则，取出数据部分，根据头部标志位判断源端迁移代理节点对数据部分做了何种操作，也即数据流识别；数据恢复即用索引对应的完整数据内容替换索引值，解压即对数据部分进行解压，解密即对加密的数据部分进行解密；

(22)恢复到正常的头部标志位，并将恢复后的数据部分填入数据流中；

(23)将恢复后的数据流导向指定IP地址的物理机器。