CN102833326A

CN102833326A - 一种基于灰色预测的云存储负载均衡方法

Info

Publication number: CN102833326A
Application number: CN2012102925046A
Authority: CN
Inventors: 凌捷; 柳毅; 毛宇; 余琦; 郭圣昌; 钱进进
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2012-08-15
Filing date: 2012-08-15
Publication date: 2012-12-19

Abstract

本发明提供了一种基于灰色预测的云存储负载均衡方法，包括以下步骤：根据客户端文件请求查找文件对应数据块所有副本的位置，对任意数据块生成其所有副本所在的节点集合，并采用基于灰色预测的云存储负载均衡方法完成合适节点的选择以及副本的读取。这种方法通过对下一时刻节点负载状况的预测来动态地选择负载最低的节点，因此降低了同一节点同一时刻被大量访问的可能性，有效地实现了负载的动态均衡，从而保证了系统的稳定和高效。

Description

一种基于灰色预测的云存储负载均衡方法

技术领域

本发明涉及一种云计算存储系统中的副本选择策略方案，特别是一种基于灰色预测的云储存负载均衡方法。

背景技术

云存储系统中的所有数据都被切分为等大的块，然后每个数据块复制若干份并分散存储到不同的节点。客户端请求数据时，服务器要从合适的节点选择对应的副本并将其交送给客户端。传统的副本选择策略总是选择与客户端拓扑距离最短的节点上的副本，但这种方法有明显的缺陷，当大量最优副本被放置到同一数据节点上时，就会造成这些节点负载过高，导致网络拥堵，性能降低。本发明中方法的提出就是为了解决这种负载不均衡的问题。

发明内容

为了克服上述技术问题，本发明所要解决的技术问题是提供一种一种基于灰色预测的云存储负载均衡方法。

本发明为解决其技术问题所提出的技术方案为：

提供一种基于灰色预测的云存储负载均衡方法，包括以下步骤：根据客户端文件请求查找文件对应数据块所有副本的位置；对任意数据块生成其所有副本所在的节点集合；采用基于灰色预测的云存储负载均衡方法完成合适节点的选择以及副本的读取。

进一步，所述的采用基于灰色预测的云存储负载均衡方法完成合适节点的选择以及副本的读取包括以下步骤：根据系统日志查询所述副本所在节点集合中节点在前t个时刻的负载率序列；然后根据灰色预测理论对负载率序列进行处理以得到这些节点在第t+1时刻的负载率序列；选取负载率最低的节点并读取副本；如果读取失败则选取负载率次低的节点上的副本，依次直到某一节点上的副本被读取。

进一步，所述的根据系统日志查询副本所在集合中节点在前t个时刻的负载率序列过程包括以下步骤：首先查询该节点在某一时刻任务负载、带宽负载和存储负载的值；将它们依照预先设定的权值进行加权，得到这一时刻该节点的负载率；然后依照同样的方法计算出前t个时刻的负载率并生成序列。

进一步，任务负载、带宽负载和存储负载权值的比值为1:2:1。

进一步，所述的根据灰色预测理论处理负载率序列以得到这些节点在第t+1时刻的负载率序列过程包括以下步骤：首先对查询系统日志得到的副本所在集合中节点在前t个时刻负载率序列过程中所得到的负载率序列进行累加生成新的序列；然后对新生成的序列建立基于GM(1，1)的一阶微分方程；接着由原序列得出负载率预测序列，并将其累加；最后根据一阶微分方程的结果以及负载率预测序列依次求出t+1时刻各节点对应的负载率预测序列。

本发明的有益效果是：

本发明提供了一种基于灰色预测的云存储负载均衡方法，与传统的副本选择策略，即选择与客户端拓扑距离最短的节点上副本的方法相比，这种策略通过对下一时刻节点负载状况的预测来动态地选择负载最低的节点，因此降低了同一节点同一时刻被大量访问的可能性，有效地实现了负载的动态均衡，从而保证了系统的稳定和高效。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是基于灰色预测的云存储负载均衡方法的流程框图；

图2是查询系统日志得到节点在前t个时刻的负载率的流程框图；

图3根据灰色预测理论处理负载率序列的流程框图。

具体实施方式

以下结合本发明的一较佳实施例的详细说明以及附图来进一步了解本发明的技术内容及其目的和功效。图1、图2、图3所示是本发明一较佳实施例。

如图1，一种基于灰色预测的云存储负载均衡方法，包括以下步骤：根据客户端文件请求查找文件对应数据块所有副本的位置；对任意数据块生成其所有副本所在的节点集合；采用基于灰色预测的云存储负载均衡方法完成合适节点的选择以及副本的读取。详细过程如下：

1.根据客户端的文件请求，服务器端查找数据库，检索出此文件对应的数据块的所有副本位置。

2.根据查询结果，对于任意一数据块生成其所有副本所在节点的集合；对于其中任意一数据块，记其副本数量为k，任意节点为N_i，则一个数据块的可选副本所在的节点集合可表示为N={N₁,N₂,…,N_k}。

根据系统记录的信息查询这些节点在前t个时刻的负载率，并生成序列。如图2，在该步骤中首先查询系统日志，得到以下信息：节点Ni在t时刻拥有总数据块数

正在进行任务的数据块数

节点总线带宽

正在进行任务平均读取速度

已用磁盘空间

最大磁盘空间

对于节点负载，可以从三个方面分别考虑，将其分为：任务负载、带宽负载和存储负载。其中任务负载用公式表示为：

带宽负载用公式表示为：

存储负载用公式表示为：得到三个负载的数值后，按照特定的权值P₁、P₂、P₃对其进行加权，可以得到t时刻N_i节点的负载率：

L_{N_{i}} (t) = P_{1} \times \frac{P_{N_{i}} (t)}{T_{N_{i}} (t)} + P_{2} \times \frac{{AS}_{N_{i}} (t) \times P_{N_{i}} (t)}{{BW}_{N_{i}} (t)} + P_{3} \times \frac{{US}_{N_{i}} (t)}{{TS}_{N_{i}} (t)} .

由于带宽负载对于副本的读取效率的影响比任务负载、存储负载更为明显，因此本实施方式中权值的比值取为P₁：P₂：P₃=1：2：1，即：P₁=0.25，P2=0.5，P3=0.25。再对每个节点前t时刻的数据进行遍历，可以得到这些节点在前t个时刻的负载率，并生成序列。

3.如图3，根据灰色预测理论对上一步中生成的负载率序列进行处理。假定生成的负载率序列可以表示为：

L_{N_{i}}^{(0)} = {L_{N_{i}}^{(0)} (1), L_{N_{i}}^{(0)} (2), . . ., L_{N_{i}}^{(0)} (t)} - - - (2)

对（1）式的随机数序列经过依次累加成算子，削弱其随机性，得到较有规律的生成数：

L_{N_{i}}^{(1)} (1) = L_{N_{i}}^{(0)} (1)

L_{N_{i}}^{(1)} (2) = L_{N_{i}}^{(0)} (1) + L_{N_{i}}^{(0)} (2)

……

L_{N_{i}}^{(1)} (t) = Σ_{i = 1}^{t} L_{N_{i}}^{(0)} (i)

L_{N_{i}}^{(1)} = {L_{N_{i}}^{(1)} (1), L_{N_{i}}^{(1)} (2), . . ., L_{N_{i}}^{(1)} (t)} - - - (2)

经累加处理，新生成的比

具有平稳性增强而波动性减弱的特点。然后对（2）式建立基于GM（1，1）的一阶微分方程：

\frac{d L_{N_{i}}^{(1)} (t)}{dt} + a L_{N_{i}}^{(1)} (t) = b - - - (3)

其中：a为发展系数，b为灰色作用量，这两个参数可以用最小二乘法拟合求得其估计量，拟合后的结果为：

[\begin{matrix} \hat{a} \\ \hat{b} \end{matrix}] = {(A^{T} A)}^{- 1} A^{T} B_{t}

式中：

A = [\begin{matrix} - \frac{1}{2} [L_{N_{i}}^{(1)} (1) + L_{N_{i}}^{(1)} (2)] & 1 \\ - \frac{1}{2} [L_{N_{i}}^{(1)} (2) + L_{N_{i}}^{(1)} (3)] & 1 \\ . & . \\ . & . \\ . & . \\ - \frac{1}{2} [L_{N_{i}}^{(1)} (t - 1) + L_{N_{i}}^{(1)} (t)] & 1 \end{matrix}]

B_{t} = {[L_{N_{i}}^{(0)} (2), L_{N_{i}}^{(0)} (3), . . ., L_{N_{i}}^{(0)} (t)]}^{T}

基于上述拟合的结果可以求解得出：

\hat{L_{N_{i}}^{(1)}} (t) = (L_{N_{i}}^{(0)} (1) - \frac{\hat{b}}{\hat{a}}) \times e^{- \hat{a} (t - 1)} + \frac{\hat{b}}{\hat{a}} - - - (4)

由（1）式可得出负载率预测序列：

\hat{L_{N_{i}}^{(0)}} = {\hat{L_{N_{i}}^{(0)}} (1), \hat{L_{N_{i}}^{(0)}} (2), . . ., \hat{L_{N_{i}}^{(0)}} (t)}

其中：

\hat{L_{N_{i}}^{(0)}} (1) = L_{N_{i}}^{(0)} (1)

\hat{L_{N_{i}}^{(0)}} (2) = \hat{L_{N_{i}}^{(1)}} (2) - \hat{L_{N_{i}}^{(1)}} (1)

……

\hat{L_{N_{i}}^{(0)}} (t) = \hat{L_{N_{i}}^{(1)}} (t) - \hat{L_{N_{i}}^{(1)}} (t - 1) - - - (5)

然后将（4）式代入（5）式可以得到：

\hat{L_{N_{i}}^{(0)}} (t) = (L_{N_{i}}^{(0)} (1) - \frac{\hat{b}}{\hat{a}}) \times (1 - e^{\hat{a}}) \times e^{- \hat{a} (t - 1)} - - - (6)

根据（6）式，可选副本所在的节点N_i在时刻t+1的负载率：

\hat{L_{N_{i}}^{(0)}} (t + 1) = (L_{N_{i}}^{(0)} (1) - \frac{\hat{b}}{\hat{a}}) \times (1 - e^{\hat{a}}) \times e^{- \hat{at}} - - - (7)

由（7）式我们可以依次求出t+1时刻，k个节点对应的负载率预测序列为：

{{L}_{N_{1}} (t + 1), L_{N_{2}} (t + 1), L_{N_{3}} (t + 1), . . ., L_{N_{k}} (t + 1)}

4.选取以上步骤中得到的预测负载率最低的节点并读取该节点对应的副本，如果该副本读取失败，则进一步选择选择预测负载率次低的节点进行副本的读取，依照这样的步骤直到某一节点对应的副本被成功读取。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种基于灰色预测的云存储负载均衡方法，包括以下步骤：根据客户端文件请求查找文件对应数据块所有副本的位置；对任意数据块生成其所有副本所在节点的集合；选择合适的节点并读取副本；其特征在于：采用基于灰色预测的云存储负载均衡方法完成选择合适节点以及读取副本的步骤。

2.根据权利要求1所述的一种基于灰色预测的云存储负载均衡方法，其特征在于：所述的采用基于灰色预测的云存储负载均衡方法完成选择合适节点以及读取副本的步骤包括以下步骤：根据系统日志查询所述副本所在节点的集合中节点在前t个时刻的负载率序列；然后根据灰色预测理论对负载率序列进行处理以得到这些节点在第t+1时刻的负载率序列；选取负载率最低的节点并读取副本；如果读取失败则选取负载率次低的节点上的副本，依次直到某一节点上的副本被读取。

3.根据权利要求2所述的一种基于灰色预测的云存储负载均衡方法，其特征在于：所述的根据系统日志查询副本所在集合中节点在前t个时刻的负载率序列过程包括以下步骤：首先查询该节点在某一时刻任务负载、带宽负载和存储负载的值；将它们依照预先设定的权值进行加权，得到这一时刻该节点的负载率；然后依照同样的方法计算出前t个时刻的负载率并生成序列。

4.根据权利要求3所述的一种基于灰色预测的云存储负载均衡方法，其特征在于：任务负载、带宽负载和存储负载权值的比值为1:2:1。

5.根据权利要求3或4所述的一种基于灰色预测的云存储负载均衡方法，其特征在于：所述的根据灰色预测理论处理负载率序列以得到这些节点在第t+1时刻的负载率序列过程包括以下步骤：首先对查询系统日志得到的副本所在集合中节点在前t个时刻负载率序列过程中所得到的负载率序列进行累加生成新的序列；然后对新生成的序列建立基于GM(1，1)的一阶微分方程；接着由原序列得出负载率预测序列，并将其累加；最后根据一阶微分方程的结果以及负载率预测序列依次求出t+1时刻各节点对应的负载率预测序列。