CN101493797A

CN101493797A - 数据动态迁移的方法和装置

Info

Publication number: CN101493797A
Application number: CNA2009101284264A
Authority: CN
Inventors: 全小飞; 李永; 孔金珠
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd; National University of Defense Technology
Priority date: 2009-03-12
Filing date: 2009-03-12
Publication date: 2009-07-29
Anticipated expiration: 2029-03-12
Also published as: CN101493797B

Abstract

本发明实施例公开了一种数据动态迁移的方法，所述数据动态迁移的方法，包括：在虚拟服务器中的数据页迁移之前，根据各数据页被修改的频率，对数据页进行分层；在数据页迁移过程中，根据各数据页被修改次数的变化，对数据页进行动态分层；对所述动态分层后的数据页进行数据迁移操作。本发明实施例还公开了一种数据动态迁移的装置，本发明实施例能够随时了解和掌握各数据页的使用状态，对各数据页的层次归属进行重新定位，使数据页的迁移更加合理有效，提高迁移效率。

Description

数据动态迁移的方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据动态迁移的方法和装置。

背景技术

随着计算机硬件的飞速发展，计算机互联技术和虚拟机技术研究取得了长足的进步。VPS(Virtual Private Server，虚拟专用服务器)是利用虚拟服务器软件在一台物理服务器上创建的多个相互隔离的小服务器。无需任何操作系统安装工作，这些VPS本身就有自己的操作系统，它的运行和管理与独立服务器完全相同。人们将若干VPS连接起来，并结合虚拟机技术，在其中一台VPS出现故障时，将这台VPS从系统中隔离出去，并将其上运行的虚拟服务迁移到其它的VPS上，完成负载转嫁。通过功能整合和故障过渡可以提高整个系统的可用性和可靠性，把非计划和计划的停机时间降到最低。

目前国内外的各种虚拟化技术产品都集成了动态迁移机制，每种虚拟化技术产品采用不同的动态迁移机制。

现有的Swsoft公司的Virtuozzo技术是为运行在其中的每一个应用提供一个完整的虚拟操作系统环境(VE)，Virtuozzo采用CPT(Check Pointing，检查点)机制，将每个单独的VE存储状态和它的一个应用进程封存在一个单独的文件内，然后将该文件迁移到目标节点上，在目标节点上重起这些VE(包括运行之上的程序)。具体的迁移方法分成两种技术：

(1)smarter策略

在迁移之前，smarter策略对待迁移虚拟执行环境(VE)中的所有进程进行优化。利用CPT技术，首先冻结待迁移的VE，然后将VE的所有状态保存到一个文件中。

(2)flexible策略

首先迁移一些关键的内核数据结构，然后目标虚拟机重启，通过网络迁移其余的页，内存的迁移机制与操作系统的内存换入换出基本接近。这种方法有很多的优势，如：避免了直接停止原主机所造成的服务间断问题。缺点是迁移中很大程度上增加了对原虚拟机的依赖性，容易增加拷贝的次数和迁移消耗的时间，降低迁移效率。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

在操作系统中，各种应用服务和网络服务对数据页的请求次数和请求频率是不同的，因此在迁移中会造成这样一种现象：对于已经迁移至目标虚拟服务器的数据页，如果又被修改，则该数据页需要重新由源虚拟服务器迁移至目标服务器，即不论该数据页被修改的次数多少，每修改一次，需要将该数据页重新迁移一次，这样必然在一定的程度上增加了迁移的次数和整个迁移的消耗时间，很大程度上降低了迁移的效率。

发明内容

本发明的实施例提供一种数据动态迁移的方法和装置，可以提高数据的迁移效率。

本发明的实施例提供一种数据动态迁移的方法，包括：

在虚拟服务器中的数据页迁移之前，根据各数据页被修改的频率，对数据页进行分层；

在数据页迁移过程中，根据各数据页被修改次数的变化，对数据页进行动态分层；

对所述动态分层后的数据页进行数据迁移操作。

本发明的实施例还提供一种数据动态迁移的装置，包括：

初始分层单元，用于在虚拟服务器中的数据页迁移之前，根据各数据页被修改的频率，对数据页进行分层；

动态分层单元，用于在数据页迁移过程中，根据各数据页被修改次数的变化，对数据页进行动态分层；

执行单元，用于对所述动态分层后的数据页进行数据迁移操作。

本发明实施例提供的数据动态迁移的方法和装置，根据各数据页被修改的频率的不同，对待迁移的数据页进行分层，在数据页迁移过程中，根据各数据页被修改次数的变化，对待迁移的数据页进行动态分层，从而能够随时了解和掌握各数据页的使用状态，对各数据页的层次归属进行重新定位，使数据页的迁移更加合理有效，提高迁移效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的数据动态迁移的方法流程图；

图2为本发明实施例一提供的数据动态迁移的方法流程图；

图3为本发明实施例提供的脏页的数据结构示意图；

图4为本发明实施例提供的脏页的分层队列结构示意图；

图5为本发明实施例提供的各层的总体数据结构示意图；

图6为本发明实施例提供的数据动态迁移的装置结构示意图；

图7为本发明实施例二提供的数据动态迁移的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的所有实施例中，所述数据页为VPS的内存页，所述对数据的动态迁移即对VPS的内存页的动态迁移。

如图1所示，本发明实施例数据动态迁移的方法包括：

S101、在虚拟服务器中的数据页迁移之前，根据虚拟服务器中数据页被修改的频率，对数据页进行分层。

在数据页迁移之前，首先对各数据页的大概使用状态进行了解，将各数据页按照被修改频率的大小进行初始化分层，修改频率较低数据页被分至低层，修改频率较高的数据页被分至高层。然后对分层后的各数据页进行迁移，首先迁移被修改频率较低的数据页，也就是位于较低层的数据页。

S102、在数据页迁移过程中，根据各数据页被修改次数的变化，对数据页进行动态分层。

随着数据页的不断迁移，各数据页被修改的频率也有所不同，根据各数据页被修改次数的变化，在初始化分层的各数据页的层次结构上，对各数据页的层次归属进行重新定位。修改频率比较高的，将被链入较高层的数据页列表中，修改频率比较低的，将被链入到较低层的数据页列表中，使数据页的迁移更加合理有效，提高数据页的迁移效率。

S103、对所述动态分层后的数据页进行数据迁移操作。

将系统未迁移的数据页的数量与系统设置的数据页阈值进行比较，当整个虚拟服务器的未迁移的数据页的数量小于系统设置的数据页阈值时，则冻结整个虚拟服务器，将剩余的数据页一次性全部迁移；当整个虚拟服务器的未迁移的数据页的数量不小于系统设置的数据页阈值时，将最低层的数据页加入到迁移队列中，继续进行迁移。

本发明实施例提供的数据动态迁移的方法，根据各数据页被修改的频率的不同，对待迁移的数据页进行分层，在数据页迁移过程中，根据各数据页被修改次数的变化，对待迁移的数据页进行动态分层，从而能够随时了解和掌握各数据页的使用状态，对各数据页的层次归属进行重新定位，使数据页的迁移更加合理有效，提高迁移效率。

实施例一

在本实施例中，根据虚拟服务器各数据页在一段时间内被修改次数的不同，对所有的数据页进行分层，将待迁移的数据页分为三层，其中，0层中的数据页为被修改的频率最小的数据页。

如图2所示，所述数据动态迁移的方法包括：

S201、在数据页迁移之前，首先对各数据页的大概使用状态进行了解，按照各数据页被修改的频率由小到大的顺序，将各数据页由低到高进行分层，其中，最低层中的数据页为被修改的频率最小的数据页。在本实施例中，将所有数据页分为三层，其中，最低层为0层，为修改频率最小的层，最高层为2层，为修改频率最高的层，介于两层之间的为1层，首先迁移0层中的数据页。

在本实施例中，设定在一段时间内0层中数据页被修改的次数范围为0到10，1层中数据页被修改的次数范围为10到20，2层中数据页被修改的次数范围为20到30。当然，各层中数据页被修改的次数范围不限于此。

S202、在数据页迁移过程中，为每个数据页设置一个计数标志，用于记录一段时间内该数据页被修改的次数。

随着数据页的不断迁移，各数据页被修改的频率也有所不同，根据各数据页被修改的次数的变化，在初始化分层的各数据页的层次结构上，随时了解和掌握各数据页的使用状态，对各数据页的层次归属进行重新定位。修改频率比较高的，将被链入较高层的数据页列表中，修改频率低的将被链入到较低层的数据页列表中。

为了记录一段时间内该数据页被修改的次数，为每个数据页设置一个计数标志。如图3所示，为脏页的数据结构，为每个数据页设置一个计数标志dirty_count，用于记录一段时间以来该数据页被修改的次数。

其中，如图4所示，为脏页的分层队列，参数Struct page_info*next是一个指针，用来指向下一个数据页，对待迁移的脏页进行排队。

在数据页的迁移过程中，由于操作系统一直是活跃的，一些已经被迁移至目标节点的数据页又会被修改，那么这些数据页(也可称为脏页)就需要重新迁移，这样整个迁移过程将一直持续下去，直到未迁移的数据页小于某个阈值，或总的迁移次数达到某个预定的上限。

S203、为每层设置一个分层计数偏移量。

在操作系统中，数据页被使用的时候，使用状态是不确定的，有可能出现某个时间段，数据页比较活跃，上一次处于较少活动状态的数据页有可能在这个时间段，在各层之间循环跳跃，这样会导致系统的性能大幅度降低，因为数据页需要在不同层系之间进行删除和插入操作。

为了避免数据页在各层之间循环跳跃，本发明实施例在每个层设置一个分层计数偏移量，所述分层计数偏移量的值将根据具体情况进行设置。

S204、根据各数据页的计数标志，以及所述分层计数偏移量，对各数据页进行动态分层。

对于某一数据页来说，若该数据页计数标志的值超出该数据页所在层的上限值，但是超出的部分小于所在层的分层计数偏移量，则该数据页将保留在原来的层；若该数据页计数标志的值超出该数据页所在层的上限值，而且超出的部分大于所在层的分层计数偏移量，则该数据页将从原层删除并插入到其它层中。

例如，位于1层的某数据页的修改次数为15，1层的分层计数偏移量为5，若该数据页的计数标志由15增加至23，由于该数据页计数标志的值超出1层的上限值20，但是超出的部分3小于1层的分层计数偏移量5，则该数据页将保留在1层；若该数据页的计数标志由15增加指27，由于该数据页计数标志的值超出1层的上限值20，而且超出的部分7大于1层的分层计数偏移量5，则该数据页将从1层删除，并插入到2层中。

因而，采用上述的方法，能够减少数据页因为较活跃而在不同的层次中来回抖动跳跃。分层计数偏移量的值将根据具体情况进行设置，合理的分层计数偏移量能大大减少数据页来回抖动的次数，提高迁移效率，节省系统资源。

如图5所示，为各层的总体数据结构，其中的最大值和最小值，用来判断脏页的修改频率是否在这个范围之内，如果在这个范围之内，就把该脏页分层在这一层，否则就放弃对该脏页的分层。其中，struct *node为指向脏页的指针，这个数据结构是0层的双向循环链表的头节点。同时在0层和其它层使用的数据结构中，唯一的区别就是0层使用的数据结构中，使用了一个总的计数Atomic_tcount，用于记录自上次数据页迁移以来，0层新增加的脏页数，该数值越大，说明该VPS越活跃。在0层迁移完毕后，需要把新增的脏页插入到上面的层次中。

根据0层脏页计数的大小，减少或增加0层中脏页数的数量，并且控制迁移的循环次数。例如，对一个比较活跃的VPS，我们将尽量减少它的迁移循环次数。

若0层脏页计数比较大，说明该VPS比较活跃，该VPS的很多数据页刚迁移完又被修改，需要重新被迁移，这样迁移的循环次数就会很大。因此设置了一个循环迁移的上限值，当迁移的循环次数超过该上限值时，我们就冻结整个VPS，将其内存页一次性迁移到目标节点。

S205、判断未迁移的数据页数量是否大于阈值，根据判断结果作出相应的处理。

为系统设定一个数据页阈值，在本实施例中，该数据页阈值设定为1024，判断剩余的待迁移的数据量是否小于该数据页阈值。

S205a、若未迁移的数据页数量大于该阈值，则将最低层的数据页迁移到迁移队列中，进行下一次的迁移。

S205b、若未迁移的数据页数量不大于该阈值，则冻结该VPS，将所有的数据页一次性迁移。

因而，利用本发明实施例数据动态迁移的方法，将所有的数据页进行迁移，进而能够减少迁移过程中数据页在各层之间的抖动，提高数据的迁移效率，提升系统的可用性。

本发明的实施例还提供一种数据动态迁移的装置。

如图6所示，所述数据动态迁移的装置，包括：

初始分层单元601，用于在虚拟服务器中的数据页迁移之前，根据各数据页被修改的频率，对数据页进行分层。在数据页迁移之前，首先对各数据页的大概使用状态进行了解，由初始分层单元601将各数据页按照被修改频率的大小进行初始化分层，然后对分层后的各数据页进行迁移。

动态分层单元602，用于在数据页迁移过程中，根据各数据页被修改次数的变化，对数据页进行动态分层。随着数据页的不断迁移，各数据页被修改的频率也有所不同，根据各数据页被修改的次数的变化，在初始化的各数据页的层次结构上，随时了解和掌握各数据页的使用状态，由动态分层单元602对各数据页的层次归属进行重新定位，使数据页的迁移更加合理有效，提高数据页的迁移效率。

执行单元603，用于对所述动态分层后的数据页进行数据迁移操作。

本发明实施例提供的数据动态迁移的装置，根据各数据页被修改的频率的不同，对待迁移的数据页进行分层，在数据页迁移过程中，根据各数据页被修改次数的变化，对待迁移的数据页进行动态分层，从而能够随时了解和掌握各数据页的使用状态，对各数据页的层次归属进行重新定位，使数据页的迁移更加合理有效，提高迁移效率。

实施例二

如图7所示，所述数据动态迁移的装置，包括：

初始分层单元701，用于在虚拟服务器中的数据页迁移之前，根据各数据页被修改的频率，对数据页进行分层。为每层设置一个一段时间内被修改次数的上限值和下限值，其中，最低层的下限值为0，对于相邻的两层来说，低层的上限值即为高层的下限值。

动态分层单元702，用于在数据页迁移过程中，根据各数据页被修改次数的变化，对数据页进行动态分层。

执行单元703，用于对所述动态分层后的数据页进行数据迁移操作。

其中，所述动态分层单元702包括：

计数标志设置子单元7021，用于为每个数据页设置一个计数标志，记录在数据页迁移过程中一段时间内该数据页被修改的次数；

偏移量设置子单元7022，用于为每层设置一个分层计数偏移量；

动态分层子单元7023，用于根据所述计数标志，以及所述分层计数偏移量，对各数据页进行动态分层。

对于某一数据页来说，若该数据页计数标志的值超出该数据页所在层的上限值，但是超出的部分小于所在层的分层计数偏移量，则该数据页将保留在原来的层；若该数据页计数标志的值超出该数据页所在层的上限值，而且超出的部分大于所在层的分层计数偏移量，则该数据页将从原层删除并插入到其它层中。分层计数偏移量的值将根据具体情况进行设置，合理的分层计数偏移量能够减少数据页因为较活跃而在不同的层次中来回抖动跳跃，提高迁移效率，节省系统资源。

其中，所述执行单元703包括：

设定子单元7031，用于为系统设定一个数据页阈值；

判断子单元7032，用于判断整个虚拟服务器中未迁移的数据页的数量是否小于该数据页阈值；

第一执行子单元7033，用于当未迁移的数据页的数量小于该数据页阈值，则冻结整个虚拟服务器，将所述未迁移的数据页一次性全部迁移；

第二执行子单元7034，用于当未迁移的数据页的数量不小于该数据页阈值，则将最低层的数据页加入到迁移队列中，继续进行迁移。

因而，利用本发明实施例提供的数据动态迁移的装置，根据各数据页被修改的频率的不同，对待迁移的数据页进行分层，在数据页迁移过程中，根据各数据页被修改次数的变化，对待迁移的数据页进行动态分层，从而能够随时了解和掌握各数据页的使用状态，对各数据页的层次归属进行重新定位，使数据页的迁移更加合理有效；此外，为每层设置一个分层计数偏移量，分层计数偏移量的值将根据具体情况进行设置，合理的分层计数偏移量能够减少数据页因为较活跃而在不同的层次中来回抖动跳跃，提高迁移效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明实施例的保护范围应该以权利要求的保护范围为准。

Claims

1、一种数据动态迁移的方法，其特征在于，包括：

对所述动态分层后的数据页进行数据迁移操作。

2、根据权利要求1所述的数据动态迁移的方法，其特征在于，所述在虚拟服务器中的数据页迁移之前，根据各数据页被修改的频率，对数据页进行分层包括：

按照被修改的频率由小到大的顺序，将各数据页由低到高进行分层，其中，最低层中的数据页为被修改的频率最小的数据页。

3、根据权利要求1所述的数据动态迁移的方法，其特征在于，所述在数据页迁移过程中，根据各数据页被修改次数的变化，对数据页进行动态分层包括：

为每个数据页设置一个计数标志，用于在数据页迁移过程中，记录一段时间内该数据页被修改的次数；

为每层设置一个分层计数偏移量；

根据所述计数标志，以及所述分层计数偏移量，对各数据页进行动态分层。

4、根据权利要求3所述的数据动态迁移的方法，其特征在于，所述各数据页有一个脏页标识，用于记录该数据页是否在迁移中或者迁移后被修改过。

5、根据权利要求4所述的数据动态迁移的方法，其特征在于，所述最低层设置有一个总的脏页计数标识，用于记录自上次数据页迁移以来，最低层新增加的脏页数，其中，所述脏页即被修改过的数据页，根据所述最低层新增加的脏页数设置虚拟服务器数据页迁移的循环次数。

6、根据权利要求1所述的数据动态迁移的方法，其特征在于，所述将所述动态分层后的数据页进行数据迁移操作的步骤包括：

将系统未迁移的数据页的数量与系统设置的数据页阈值进行比较，根据所述比较结果，执行相应的数据迁移操作。

7、根据权利要求6所述的数据动态迁移的方法，其特征在于，所述将系统未迁移的数据页的数量与系统设置的数据页阈值进行比较，根据所述比较结果，执行相应的数据迁移操作的步骤包括：

设定一个数据页阈值；

判断整个虚拟服务器中未迁移的数据页的数量是否小于该数据页阈值；

若未迁移的数据页的数量小于该数据页阈值，则冻结整个虚拟服务器，将所述未迁移的数据页一次性全部迁移；

若未迁移的数据页的数量不小于该数据页阈值，则将最低层的数据页加入到迁移队列中，继续进行迁移。

8、一种数据动态迁移的装置，其特征在于，包括：

9、根据权利要求8所述的数据动态迁移的装置，其特征在于，所述动态分层单元包括：

计数标志设置子单元，用于为每个数据页设置一个计数标志，记录在数据页迁移过程中一段时间内该数据页被修改的次数；

偏移量设置子单元，用于为每层设置一个分层计数偏移量；

动态分层子单元，用于根据所述计数标志，以及所述分层计数偏移量，对各数据页进行动态分层。

10、根据权利要求8所述的数据动态迁移的装置，其特征在于，所述执行单元包括：

设定子单元，用于为系统设定一个数据页阈值；

判断子单元，用于判断整个虚拟服务器中未迁移的数据页的数量是否小于该数据页阈值；

第一执行子单元，用于当未迁移的数据页的数量小于该数据页阈值，则冻结整个虚拟服务器，将所述未迁移的数据页一次性全部迁移；

第二执行子单元，用于当未迁移的数据页的数量不小于该数据页阈值，则将最低层的数据页加入到迁移队列中，继续进行迁移。