CN105227645A - 一种云数据迁移方法 - Google Patents

Abstract

本发明公开了一种云数据迁移方法，其具体实现过程为，将一个文件分为一个或数个块来存储，每个块是独立的存储单位,以块为单位在集群服务器上分配存储；将每个块作为一个分区，并将分区作为是数据迁移和负载监测的基本单位；将所有存储节点按照标准化后的负载值与系统总节点数的关系分别归入迁入节点集合和迁出节点集合；在云环境中各节点之间通过数据迁移算法达到系统负载的均衡。该云数据迁移方法与现有技术相比，基于均衡度制订数据迁移策略，选取最优的数据迁移操作，以达到系统的负载均衡，降低负载倾斜，实用性强，易于推广。

Description

一种云数据迁移方法

技术领域

本发明涉及数据存储技术领域，具体地说是一种实用性强的云数据迁移方法。

背景技术

具备高可靠性及可扩展性的海量数据存储对互联网公司来说是一个巨大的挑战，传统的数据库往往很难满足该需求，并且很多时候对于特定的系统绝大部分的检索都是基于主键的的查询，在这种情况下使用关系型数据库将使得效率低下，并且扩展也将成为未来很大的难题。在这样的情况下，使用存储将会是一个很好的选择。对部署在云环境的存储系统而言，数据迁移是实现节点动态扩展与弹性负载均衡的关键技术，主要包括迁移计划(migrationplan)制定、路由信息同步、用户请求转发及数据一致性管理等核心内容。数据迁移过程中伴随的大量状态同步会给系统性能带来一定影响，因此，如何有效降低迁移开销是云服务提供商需着力解决的问题。然而，存储系统的有状态性、新的虚拟化环境、用户严格的低延迟要求以及访问负载的不可预知性和时变性给数据迁移带来了新的挑战。

现有的很多算法为了解决数据迁移的时间和系统资源消耗问题，有以下几种方法：1)针对存储服务数据迁移过程中的QoS保障问题,作者提出了一种基于反馈控制的方法,周期性地求解满足QoS约束的最优迁移速率，主要关注迁移带宽的控制问题。2)基于贪心法的数据迁移策略，主要针对Key/Value存储系统的数据迁移问题,基本思想是,采用统计方法在线监测热点分区,优先将热点分区的部分数据迁移至负载较轻的邻居节点.为简化迁移操作的复杂度,哈希算法会保持Key值间的先后顺序.这两部分工作的主要不足在于未考虑迁移开销。

对云存储系统而言，数据迁移是实现节点动态扩展与弹性负载均衡的关键技术。如何降低系统开销是云服务提供商需着力解决的问题。虽然已有研究工作大多针对非虚拟化环境下的数据迁移问题，但是这些方法对于云存储系统而言往往并不适用。为应对上述挑战，将数据迁移问题纳入负载均衡场景解决。提出一种降低系统开销保持系统性能的数据迁移策略，该发明基于均衡度制订数据迁移策略，选取最优的数据迁移操作，以达到系统的负载均衡。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、云数据迁移方法。

一种云数据迁移方法，其具体实现过程为：

将一个文件分为一个或数个块来存储，每个块是独立的存储单位,以块为单位在集群服务器上分配存储；将每个块作为一个分区，并将分区作为是数据迁移和负载监测的基本单位；

将所有存储节点按照标准化后的负载值与系统总节点数的关系分别归入迁入节点集合In_set和迁出节点集合Out_set；

在云环境中各节点之间通过数据迁移算法达到系统负载的均衡，即将Out_set中各节点中的部分数据迁移到In_set中各节点上，该迁移过程通过数据迁移算法计算每个数据分区在节点间迁移的最小资源消耗来控制全局和局部搜索最终实现系统的资源最优化。

所述数据迁移算法具体为：

首先对所有迁入节点进行初始化，在该初始阶段，存储系统依据所有存储节点标准化后的负载值与1/n的关系初始化N个迁入节点,即N侦查报文发现N个食物源；此时，N侦察报文变为引领报文，一个引领报文对应一个迁入节点；

所有引领报文将相关信息发送给迁出节点，这里的相关信息包括：迁出节点的位置信息、带宽、待迁入节点可迁入数据量；

迁出节点根据所有迁入节点的收益率，以一定的概率选择某个迁入节点，即选择收益率高的迁入节点；当引领报文发现的迁入节点在连续若干次迭代后，没有得到更新时，就放弃该迁入节点，对应的引领报文成为侦查报文，继续去寻找新的迁入节点。

所述数据迁移前，存储系统检测负载均衡度，该负载均衡度设有阈值，当达到设置的阈值时，触发数据迁移动作。

所述负载均衡度的具体检测过程为：

1)节点i的实际负载值为b_i，首先根据以下公式对各节点进行无量纲化处理，其中B_i为节点i可承受最大负载：

l_i＝b_i/B_i；

2)根据以下公式对各节点负载作标准化处理：

p＝{p1,p2,p3,…,pn}为标准化后的节点负载，n为集群节点数；

3)采用信息熵表表征集群的负载分布情况，其计算方式见以下公式，熵值越高，表明负载分布越趋于均匀；而熵值越低，则表明负载分布越不均：

当pi＝1/n(i＝1，2，3，…，n)，即各节点负载相等时，系统取得最大熵值H(P)max＝log(n)；

4)通过以下公式构建一个取值范围为0-1的均衡度函数T：

所述迁移过程基于以下适应度函数完成：

fit(x_i)＝-x_i1+x_i2+x_i3；

在该适应度函数中，迁入节点i在3维空间中的位置为X_i＝(x_i1，x_i2，x_i3)，x_i1x_i2x_i3分别代表标准化后的距离，带宽，待迁入节点可迁入数据量；其中：

d_k1代表迁出节点到待迁入节点i的距离；

b_i1代表迁出节点到待迁入节点i网络带宽；

q_i1代表待迁入节点i可接收的数据量。

所述侦查报文发现食物源，即当前迁入节点i附近搜索新迁入节点i+1的具体过程为:

式中，j∈{1,2,3}且该j代表三个决定迁入节点信息的量，分别是：距离，带宽，待迁入节点可迁入数据量，k∈{1,2,…,N}。

迁出节点选择某引领报文的概率为：

式中，fit(xi)为第i个迁出节点的适应值对应迁出节点的的收益率；

迁出节点收益率越高，待迁出节点选择的概率越大，即当引领报文和迁出节点数据分区在迁入节点X_i的领域内产生的新的迁入节点V_i的收益率高于X_i时，则放弃X_i，即X_i被V_i替换；否则，保留X_i。

当某个食物源在预先设定的迭代次数内未得到改进时，该食物源被放弃，这里的迭代迭代次数用limit表示，且采用变量trial_i来记录食物源X_i被更新的次数，该值得计算公式定义为：

即，如果迁入节点X_i在limit次迭代后未得到改进，即max(trial_i)>limit,则说明此时得到的解为局部最优解；

此时，与该迁入节点对应的引领报文变为侦查报文，该侦查报文按照以下公式计算新的迁入节点Z：

Z_i＝X_min+rand[-1,1]×(X_max-X_min)

式中,Z_i＝(zi1,zi2,zi3)。

本发明的一种云数据迁移方法，具有以下优点：

本发明提出的一种云数据迁移方法，基于均衡度制订数据迁移策略，选取最优的数据迁移操作，以达到系统的负载均衡；将群智能优化算法中的人工蜂群优化算法应用于云存储系统，以减少数据迁移操作对系统性能的影响，同时提高负载均衡度；有效降低数据迁移过程中的系统开销，降低负载倾斜，实用性强，易于推广。

附图说明

附图1为本发明的实验测试拓扑图。

附图2为本发明存储1.2G数据时基于ABC算法的数据图像。

附图3为本发明存储1.2G数据时基于贪心算法的数据图像。

附图4为本发明存储1.7G数据时基于ABC算法的数据图像。

附图5为本发明存储1.7G数据时基于贪心算法的数据图像。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明提供一种云数据迁移方法，其具体实现过程为：

为更有效地识别热点数据，同时尽可能降低数据迁移量，我们利用HDFS使用的块的概念，默认大小为64M，HDFS将一个文件分为一个或数个块来存储，每个块是独立的存储单位以块为单位在集群服务器上分配存储。本文中将每个块作为一个分区，并将分区作为是数据迁移和负载监测的基本单位。调用数据迁移算法之前，将所有存储节点按照标准化后的负载值与系统总节点数的关系分别归入迁入节点集合In_set和迁出节点集合Out_set。云数据迁移的目标是在云环境中各节点之间通过数据迁移达到系统负载的均衡，即将Out_set中各节点中的部分数据迁移到In_set中各节点上，"针对此类问题"本发明利用改进的人工蜂群算法计算每个数据分区在节点间迁移的最小资源消耗"来控制全局和局部搜索"最终实现系统的资源最优化。

所述数据迁移算法具体为：

首先对所有迁入节点进行初始化，在该初始阶段，存储系统依据所有存储节点标准化后的负载值与1/n的关系初始化N个迁入节点,即N侦查报文发现N个食物源；此时，N侦察报文变为引领报文，一个引领报文对应一个迁入节点；

所有引领报文将相关信息发送给迁出节点，这里的相关信息包括：迁出节点的位置信息、带宽、待迁入节点可迁入数据量；

迁出节点根据所有迁入节点的收益率，以一定的概率选择某个迁入节点，即选择收益率高的迁入节点；当引领报文发现的迁入节点在连续若干次迭代后，没有得到更新时，就放弃该迁入节点，对应的引领报文成为侦查报文，继续去寻找新的迁入节点。

存储系统主要存在两类不均衡：数据倾斜(dataskew)和负载倾斜(loadskew)。对于数据倾斜，目前已有不少相关工作，主要通过改进哈希映射机制来保障数据在节点间的均匀分布。鉴于重均衡操作开销较大，本文主要考虑第2类不均衡，即易导致节点过载的负载倾斜，同时假设系统对其他类型的不均衡具有更高的容忍度。由于各节点的硬件设备区别我们首先做以下处理，即在数据迁移前，存储系统检测负载均衡度，该负载均衡度设有阈值，当达到设置的阈值时，触发数据迁移动作。

该数据迁移方法针对每个迁出节点使用ABC算法，即每个迁出节点在迁移过程中是相对独立的。在系统标准化熵值达到预设阈值时，系统开始执行数据迁移操，如下表对应关系表：

所述负载均衡度的具体检测过程为：

1)节点i的实际负载值为b_i，首先根据以下公式对各节点进行无量纲化处理，其中B_i为节点i可承受最大负载：

l_i＝b_i/B_/；

2)根据以下公式对各节点负载作标准化处理：

p＝{p1,p2,p3,…,pn}为标准化后的节点负载，n为集群节点数；

3)根据Shannon的理论，信息熵(informationentropy)可作为系统有序化和均匀程度的一个度量。这里，我们同样采用信息熵表表征集群的负载分布情况，其计算方式见以下公式，熵值越高，表明负载分布越趋于均匀；而熵值越低，则表明负载分布越不均：

当pi＝1/n(i＝1，2，3，…，n)，即各节点负载相等时，系统取得最大熵值H(P)max＝log(n)；

4)通过以下公式构建一个取值范围为0-1的均衡度函数T：

所述迁移过程基于以下适应度函数完成：

fit(x_i)＝-x_i1+x_i2+x_i3；

在该适应度函数中，迁入节点i在3维空间中的位置为X_i＝(x_i1，x_i2，x_i3)，x_i1x_i2x_i3分别代表标准化后的距离，带宽，待迁入节点可迁入数据量；其中：

d_k1代表迁出节点到待迁入节点i的距离；

b_i1代表迁出节点到待迁入节点i网络带宽；

q_i1代表待迁入节点i可接收的数据量。

所述侦查报文发现食物源，即当前迁入节点i附近搜索新迁入节点i+1的具体过程为:

式中，j∈{1,2,3}且该j代表三个决定迁入节点信息的量，分别是：距离，带宽，待迁入节点可迁入数据量，k∈{1,2,…,N}。

迁出节点选择某引领报文的概率为：

式中，fit(xi)为第i个迁出节点的适应值对应迁出节点的的收益率；

迁出节点收益率越高，待迁出节点选择的概率越大，即当引领报文和迁出节点数据分区在迁入节点X_i的领域内产生的新的迁入节点V_i的收益率高于X_i时，则放弃X_i，即X_i被V_i替换；否则，保留X_i。

当某个食物源在预先设定的迭代次数内未得到改进时，该食物源被放弃，这里的迭代迭代次数用limit表示，且采用变量trial_i来记录食物源X_i被更新的次数，该值得计算公式定义为：

即，如果迁入节点X_i在limit次迭代后未得到改进，即max(trial_i)>limit,则说明此时得到的解为局部最优解；

此时，与该迁入节点对应的引领报文变为侦查报文，该侦查报文按照以下公式计算新的迁入节点Z：

Z_i＝X_min+rand[-1,1]×(X_max-X_min)

式中,Z_i＝(zi1,zi2,zi3)。

伪代码：

输入：迁入节点集合In_set和迁出节点集合Out_set；

输出：当前最优解集。

其具体操作步骤为：

1、Initialsolution()；

//初始化解决方案Xij，(i＝1，2……SN，j＝1,2……D)；

其中SN为解决方案的总数，D为个方案中参数的个数。

2、cycle＝0；

3、repeat：

4、雇佣蜂阶段：ProcessEmployedBee()；

GenerateNeighborMemorySolution()；

//产生邻近方案；

判断是否放弃食物源；

判断是否更新食物源信息；

5、侦查蜂阶段：ProcessScoutBee()；

搜索蜂巢周边的食物源；

发现更好的食物源则更新信息；

6、旁观蜂阶段：在舞蹈区观察并选择更好的食物源；

trial_i＝trial_i+1；

7、每次记录目前为止最佳的解决方案；

8、直到trial_i超过最大循环次数，退出循环；

9、返回最佳的解决方案，输出最优结果。

实验及结论：

1、实验环境和设置。

测试环境包括3个机架，机架1、2、3，机架1里含1台计算机A，机架2种含2台计算机B与C，机架3种含1台计算机D。计算机A同时作为客户端。实验拓扑图如图1，

2、实验结果。

实验一：存储1.2G数据。

节点A存储1.2G数据，第一个副本存储在A节点,A节点使用率为91％，第二及第三个副本分别存储在B,C,D点，B,C,D的存储率分别为80％、75.5％、50％，四个节点的存储不平衡。实验同时引入了非均衡度的概念(定义为1与系统均衡度的差值),当非均衡度高于某一阈值时会触发重均衡操作.这里,非均衡度阈值根据经验设为0.25,基于ABC算法的数据迁移方法与基于贪心算法的方法经过平衡后的数据对小数位进行四舍五后存储状态见表2，实际测试数据图像如附图2、图3的数据迁移响应时间和系统消耗，其中波动较大的为数据迁移响应时间。

表2存储1.2G数据的各节点的平衡前后数据存储率

实验二：存储1.7G数据。

节点A存储1.7G数据，第一个副本存储在A节点，A节点使用率为100％，第二及第三个副本分别存储在B,C,D点，B,C,D的存储率分别为70％、25％、50％，四个节点的存储不平衡。实验同时引入了非均衡度的概念(定义为1与系统均衡度的差值),当非均衡度高于某一阈值时会触发重均衡操作.这里,非均衡度阈值根据经验设为0.1,基于ABC算法的数据迁移方法与基于贪心算法的方法经过平衡后的数据对小数位进行四舍五后存储状态见表3；实际测试数据图像如附图2、图3所示的数据迁移响应时间和系统消耗，其中波动较大的为数据迁移响应时间。

表3存储1.7G数据的各节点的平衡前后数据存储率

3、结论。

实验一和实验二分别给出了两种算法在数据迁移过程中的，数据迁移响应时间和系统消耗图像。由图像可知，基于ABC算法的数据迁移方法可以有效地降低数据迁移响应时间和系统消耗。

由实验数据可以得到以下结论，与基于贪心算法的数据迁移方法相比，基于ABC算法的数据迁移方法，可迅速降低负载倾斜，且迁移开销偏小，但是当系统的熵值逐步收敛至所设阈值时，可能陷入局部最优。

本发明通过将群智能优化算法中的人工蜂群优化算法应用于云存储的分布式存储系统，以降低数据迁移操作对系统性能的影响，同时降低敷在倾斜，达到负载均衡度，实用性强。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种云数据迁移方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (8)

1.一种云数据迁移方法，其特征在于，其具体实现过程为，

将一个文件分为一个或数个块来存储，每个块是独立的存储单位,以块为单位在集群服务器上分配存储；将每个块作为一个分区，并将分区作为是数据迁移和负载监测的基本单位；

将所有存储节点按照标准化后的负载值与系统总节点数的关系分别归入迁入节点集合In_set和迁出节点集合Out_set；

在云环境中各节点之间通过数据迁移算法达到系统负载的均衡，即将Out_set中各节点中的部分数据迁移到In_set中各节点上，该迁移过程通过数据迁移算法计算每个数据分区在节点间迁移的最小资源消耗来控制全局和局部搜索最终实现系统的资源最优化。

2.根据权利要求1所述的一种云数据迁移方法，其特征在于，所述数据迁移算法具体为：

首先对所有迁入节点进行初始化，在该初始阶段，存储系统依据所有存储节点标准化后的负载值与1/n的关系初始化N个迁入节点,即N侦查报文发现N个食物源；此时，N侦察报文变为引领报文，一个引领报文对应一个迁入节点；

所有引领报文将相关信息发送给迁出节点，这里的相关信息包括：迁出节点的位置信息、带宽、待迁入节点可迁入数据量；

迁出节点根据所有迁入节点的收益率，以一定的概率选择某个迁入节点，即选择收益率高的迁入节点；当引领报文发现的迁入节点在连续若干次迭代后，没有得到更新时，就放弃该迁入节点，对应的引领报文成为侦查报文，继续去寻找新的迁入节点。

3.根据权利要求2所述的一种云数据迁移方法，其特征在于，所述数据迁移前，存储系统检测负载均衡度，该负载均衡度设有阈值，当达到设置的阈值时，触发数据迁移动作。

4.根据权利要求3所述的一种云数据迁移方法，其特征在于，所述负载均衡度的具体检测过程为：

1)节点i的实际负载值为b_i，首先根据以下公式对各节点进行无量纲化处理，其中B_i为节点i可承受最大负载：

l_i＝b_i/B_i；

2)根据以下公式对各节点负载作标准化处理：

$p_i=l_i/\underset{i=1}{\overset{n}{\Σ}}{l}_i;$

p＝{p1,p2,p3,…,pn}为标准化后的节点负载，n为集群节点数；

3)采用信息熵表表征集群的负载分布情况，其计算方式见以下公式，熵值越高，表明负载分布越趋于均匀；而熵值越低，则表明负载分布越不均：

$H\left(p\right)=-\underset{i=1}{\overset{n}{\Σ}}{p}_i*\log p_i;$

当pi＝1/n(i＝1，2，3，…，n)，即各节点负载相等时，系统取得最大熵值H(P)max＝log(n)；

4)通过以下公式构建一个取值范围为0-1的均衡度函数T：

$T=-\underset{i=1}{\overset{n}{\Σ}}{p}_i*\log p_i/H{\left(P\right)}_{max}=\underset{i=1}{\overset{n}{\Σ}}{p}_i*\log p_i/log(1/n).$

5.根据权利要求3所述的一种云数据迁移方法，其特征在于，所述迁移过程基于以下适应度函数完成：

fit(x_i)＝-x_i1+x_i2+x_i3；

在该适应度函数中，迁入节点i在3维空间中的位置为X_i＝(x_i1，x_i2，x_i3)，x_i1x_i2x_i3分别代表标准化后的距离，带宽，待迁入节点可迁入数据量；其中：

d_k1代表迁出节点到待迁入节点i的距离；

b_i1代表迁出节点到待迁入节点i网络带宽；

q_i1代表待迁入节点i可接收的数据量。

6.根据权利要求5所述的一种云数据迁移方法，其特征在于，所述侦查报文发现食物源，即当前迁入节点i附近搜索新迁入节点i+1的具体过程为:

$v_{ij}^{t+1}=x_{ij}^t+rand{\[-1,1\]}_{ij}(x_{ij}^t-x_{kj}^t);$

式中，j∈{1,2,3}且该j代表三个决定迁入节点信息的量，分别是：距离，带宽，待迁入节点可迁入数据量，k∈{1,2,…,N}。

7.根据权利要求6所述的一种云数据迁移方法，其特征在于，迁出节点选择某引领报文的概率为：

$P_i=\frac{fit\left(X_i\right)}{\underset{n=1}{\overset{N}{\Σ}}fit\left(X_k\right)}$

式中，fit(xi)为第i个迁出节点的适应值对应迁出节点的的收益率；

迁出节点收益率越高，待迁出节点选择的概率越大，即当引领报文和迁出节点数据分区在迁入节点X_i的领域内产生的新的迁入节点V_i的收益率高于X_i时，则放弃X_i，即X_i被V_i替换；否则，保留X_i。

8.根据权利要求7所述的一种云数据迁移方法，其特征在于，当某个食物源在预先设定的迭代次数内未得到改进时，该食物源被放弃，这里的迭代迭代次数用limit表示，且采用变量trial_i来记录食物源X_i被更新的次数，该值得计算公式定义为：

${\mathrm{trial}}_i=\left\{\begin{array}{c}0,fit\left(X_i\right)<fit\left(V_i\right)\\ tria{l}_i+1,fit\left(X_i\right)\&GreaterEqual;fit\left(V_i\right)\end{array}\right.$

即，如果迁入节点X_i在limit次迭代后未得到改进，即max(trial_i)>limit,则说明此时得到的解为局部最优解；

此时，与该迁入节点对应的引领报文变为侦查报文，该侦查报文按照以下公式计算新的迁入节点Z：

Z_i＝X_min+rand[-1,1]×(X_max-X_min)

式中,Z_i＝(zi1,zi2,zi3)。