CN103763365A - 一种云存储下元数据服务的负载均衡方法及系统 - Google Patents

Abstract

本发明提供一种云存储下元数据服务的负载均衡方法及系统，应用于计算机通信领域：上述方法包括以下步骤：通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中；获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较；若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移。通过实施本发明的技术方案，通过对文件名的哈希，将文件元数据均匀的分配在不同的MDS上，从而实现MDS集群中的MDS之间的静态负载均衡；由于每个文件元数据被访问的频率差别很大，会导致某个MDS上的负载过重,此时启用动态负载均衡，将负载重的MDS上的部分文件元数据转移到负载轻的MDS上。

Description

一种云存储下元数据服务的负载均衡方法及系统

技术领域

本发明涉及计算机通信领域，尤其涉及一种云存储下元数据服务的负载均衡方法及系统。

背景技术

随着计算机技术的发展和应用的普及，信息存储容量成爆炸性地增长，现有网络存储系统已无法满足人们对于存储的需要；对象存储(Object-Based Storage,OBS)技术应运而生,它利用现有的处理技术、网络技术和存储组件,可以通过一种简单便利的方式来获得前所未有的可扩展性和高吞吐量，成为下一代网络存储的主流。

为了获得对象存储系统的高性能和高可伸缩性，避免瓶颈是非常重要的，虽然文件元数据的大小相对于对象数据来说只占很小的空间，然而由于文件元数据访问非常频繁,因此元数据的访问是个潜在的瓶颈，管理好元数据是获取存储系统高性能和高伸缩性的前提，随着对象存储系统规模的增大以及文件元数据访问流行度的增加，系统中需要有多个元数据服务器(MetadataServer，MDS)，它们构成MDS集群；MDS集群要提供高性能、可扩展的元数据服务,因此它们之间必须负载均衡,以防任意一个MDS成为系统访问的瓶颈。

当前的负载的定义有多种标准，对于存放数据的设备来说，由于不同的应用的性能可能会受限于不同的组件，单独从一个方面来衡量设备的负载是不合适的，因此，对一个设备负载的评估要考虑多种因素:如请求队列长度、CPU、IO处理能力、网卡速度等，任何一个组件阻塞都有可能成为系统的瓶颈，因此，将这些参数通过计算系数加权成负载权值来衡量一个设备的负载，然而，这种方法的计算系数的选择非常困难,如果系数选择不适当,反而会使系统的性能更差。当前大部分都是对存放数据的设备的负载均衡进行的研究，存放数据的设备的负载情况与MDS集群的负载情况有很大的差别,很少研究MDS集群的负载情况。

对于MDS集群来说，它仅仅为用户提供文件元数据请求服务，文件元数据的大小很小，请求率很高，但是如何实现MDS集群的负载均衡，现有技术中还没有一种可靠的解决方案。

发明内容

本发明提供一种云存储下元数据服务的负载均衡方法及系统，以解决上述问题。

本发明提供一种云存储下元数据服务的负载均衡方法。上述方法包括以下步骤：

通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中；

获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较；

若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移。

本发明还提供一种云存储下元数据服务的负载均衡系统，包括：静态映射模块、获取比较模块、动态负载均衡模块；所述静态映射模块通过所述获取比较模块与所述动态负载均衡模块相连；

所述静态映射模块，用于通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中；

所述获取比较模块，用于获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较；

所述动态负载均衡模块，用于若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移。

通过实施本发明的技术方案，通过对文件名的哈希，将文件元数据均匀的分配在不同的MDS上，从而实现MDS集群中的MDS之间的静态负载均衡；然而由于应用负载随时变化，每个文件元数据被访问的频率(热度)差别很大，因此可能会导致某个MDS上的负载过重,此时启用动态负载均衡，将负载重的MDS上的部分文件元数据转移到负载轻的MDS上。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明的实施例1的数据请求到达率相同情况下静态负载均衡时的MDS的响应时间图；

图2所示为本发明的实施例2的元数据请求服从zipf分布时的MDS的响应时间图；

图3所示为本发明的实施例3的在与图2相同的请求到达率分布相同的情况下，采用动态负载均衡后的结果图；

图4所示为本发明的实施例4的云存储下元数据服务的负载均衡方法处理流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明提供了一种云存储下元数据服务的负载均衡方法，包括以下步骤：

通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中；

获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较；

若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移。

其中，通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中的过程为：在MDS集群中，首先通过预先制定的文件元数据到MDS的映射算法，将系统中的文件元数据均匀的分布到不同的MDS中。

其中，所述静态映射策略为：

对象存储系统中的MDS集群的集合为M(n)，MDS的个数为|M(n)|=N；

文件元数据到MDS的映射算法如下:1)val=Hash(POID，filename)；2)Local(val)=m；并且m∈M(n)；其中，POID代表该文件所属父目录的对象标识符，filename代表该文件元数据的文件名，Hash代表一个哈希函数，将该文件名映射成一个值val；Local代表一个映射函数，将文件名哈希值为val的文件元数据存放到MDS集群M(n)中序号为m的MDS中。

其中，获取MDS集群中每个MDS的请求响应时间的过程为：

假定序号为x的MDS对文件元数据请求的响应时间为R(x)(x∈M(n))并且每个MDS采用M/G/1排队模型来建模，根据排队论可得MDSx对文件元数据请求的响应时间为:

$R\left(x\right)=\frac{{\mathrm{\λ}}_x*E\left({T_x}^2\right)}{2*(1-{\mathrm{\ρ}}_x)}+E\left(T_x\right)$

其中，获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值的过程为：DM(x)=R(x)-E(R)(x∈M(n))，其中，函数DM(x)是指MDSx请求响应时间与MDS集群的平均响应时间的差异，它的大小反映了MDSx负载的均衡性。

其中，若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移的过程为：

首先定义一个预设值DMALARM，在MDS集群中，如果x∈M(n)使得DM(x)≥DMALARM时，则将在MDS上启动动态负载均衡策略。

其中，从负载过载最多的MDSi开始，将MDSi中过载部分的文件元数据按照一定的比例分配到合适的负载较轻的MDS中，最终使得系统中的MDS负载均衡。

本文提出一种应用于MDS集群的负载均衡算法，首先从映射算法上实现MDS集群的静态负载均衡，而针对由于文件元数据热度差别大而引起的负载不均衡，则引入动态负载均衡，从而使得整个MDS集群中的MDS的响应时间差别较小，达到MDS集群的负载均衡。

当前只考虑了仿真的情况并且为了试验方便，假定文件元数据请求到达率服从一定的分布，实际上负载是很多应用负载的合成，请求到达率的分布并没有这么规则，下一步打算采用实际的tr ace对该算法进行测试。

静态负载均衡：在MDS集群中，首先通过预先制定的文件元数据到MDS的映射算法，将系统中的文件元数据均匀的分布到不同的MDS中。

对象存储系统中的MDS集群的集合为M(n)，MDS的个数为|M(n)|=N；

文件元数据到M DS的映射算法如下:

1)val=Hash(POID，filename)；

2)Local(val)=m；并且m∈M(n)；

其中，POID代表该文件所属父目录的对象标识符，filename代表该文件元数据的文件名，Hash代表一个哈希函数，将该文件名映射成一个值val；Local代表一个映射函数，将文件名哈希值为val的文件元数据存放到MDS集群M(n)中序号为m的MDS中。由于选择的哈希函数Hash是伪随机均匀分布的，映射函数Local是均匀分布的，所以最终系统中的文件元数据在MDS集群中是均匀分布的（即如果每个文件的访问频率相同的话，则每个MDS上的访问负载是近似相同的）。

动态负载均衡：由于对象存储系统为不同的应用服务,应用负载随时都可能发生较大的改变致使每个文件元数据被访问的频率(热度)差别很大，使得MDS节点之间负载不均衡；本发明通过判断MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差异来判断MDS负载是否均衡：当MDS集群中MDS间负载不均衡时，应该采用动态负载均衡，将负载重的MDS上的部分文件元数据复制或转移到负载轻的MDS上。

MDS的请求的响应时间：假定序号为x的MDS对文件元数据请求的响应时间为R(x)(x∈M(n))；一般认为,每个MDS可以采用M/G/1排队模型来建模。根据排队论可得MDSx对文件元数据请求的响应时间为:

$R\left(x\right)=\frac{{\mathrm{\λ}}_x*E\left({T_x}^2\right)}{2*(1-{\mathrm{\ρ}}_x)}+E\left(T_x\right)$

在对象存储系统中,MDS之间的负载均衡属于完全分布式的，MDS节点之间需要周期性的交换它们相互的负载信息，MDS动态负载均衡的目标是使每个MDS对文件元数据请求的响应时间相差不大，本发明采用下面的函数来衡量MDSx的负载不均衡度：

DM(x)=R(x)-E(R)(x∈M(n))

函数DM(x)是指MDSx请求响应时间与MDS集群的平均响应时间的差异，它的大小反映了MDSx负载的均衡性；首先定义一个负载差阈值DMALARM，在MDS集群中，如果x∈M(n)使得DM(x)≥DMALARM时,则将在MDS上启动下列动态负载均衡算法。

在上述算法中，并不是对超过平均响应时间的每个MDS都启动动态负载均衡，而是当其值超过一定的阈值DMALARM时才启动，这样可以减少文件元数据在MDS之间频繁的迁移,而只是在必要的时候才迁移；启动动态负载均衡后，从负载过载最多的MDSi开始，将MDSi中过载部分的文件元数据按照一定的比例分配到合适的负载较轻的MDS中，最终使得系统中的MDS负载均衡。

编写仿真程序验证上述负载均衡算法，其中，假设MDS集群中MDS的个数N=4，系统中文件元数据请求服从为了模拟文件元数据请求的重负载，仿真程序在MDS集群中不断创建新的文件元数据，文件元数据一旦创建后就留在MDS中并被应用客户端访问。随着文件元数据请求的增多，MDSx(x=1,2,3,4)上的访问强度x也不断增加，仿真程序一直运行直至MDS集群的平均访问强度(R)至0.9(因为每个MDS负载可能不均衡，当系统平均访问强度为该值时，实际上重负载的MDS已经超过了该值并几乎接近1)。

设MDS集群中被访问的文件元数据个数为∑Nx=1A(x)=X，被访问的文件元数据f(i)的请求到达率为f(i),为了保证MDS集群的平均访问强度不大于0.9，则(R)=1N∑Ni=1i=1N∑Ni=1(C*∑k∈A(x)ik)≤0.9即∑Xi=1f(i)≤0.9*NC。假设每个MDS的中每个文件元数据的服务时间为:C=0.02ms,则有4个MDS组成的MDS集群中要保证被访问的总的文件元数据到达率∑Xi=1f(i)≤0.9*(2*105)(请求/秒)。

首先来看一下，在采用静态负载均衡后，MDS集群中MDS响应时间情况。从图1中可以看出，在每个文件元数据请求到达率相同的情况下,采用静态负载均衡的系统的每个MDS的平均响应时间差别微小，MDS响应时间方差的值很小。

图2所示为本发明的实施例2的元数据请求服从zipf分布时的MDS的响应时间图，假定按照静态负载均衡,文件元数据是完全均匀分布在MDS集群中的。

下面给出在采用静态负载均衡时,当应用负载发生变化即文件热度不同时，MDS集群中MDS的响应时间情况:假定文件元数据请求到达率服从Zipf分布(一般认为,媒体文件的访问概率服从该分布)，则在该负载下的结果如图3所示。

由此可见，在采用了静态负载均衡后，虽然文件元数据被均匀分布在不同的MDS上，然而在文件元数据访问热度相差较大的情况下，每个MDS上的负载差别比较大，导致MDS之间的响应时间差别很大，这个时候需要引入动态负载均衡，将负载重的MDS上的部分文件元数据转移到负载轻的MDS上。

在仿真程序中分别设置负载差阈值DMALARM为3us、5us、7us,10us时，采用动态负载均衡时的MDS集群的响应时间分布如图3所示，由图3可以看出负载差阈值DMALARM的设置决定了MDS之间的均衡度，当DMALARM较小时，MDS集群中的响应时间方差较小，MDS之间负载比较均衡，MDS之间的迁移次数就比较多；当DMALARM较大时,MDS集群中的响应时间方差较大，MDS之间的迁移次数较少。因此，要选择一个合适的DMALARM值,例如：最终选取了DMALARM=10us。综上所述：对比图2可以看出，在文件元数据访问频率差别很大的情况下,启动动态负载均衡算法能很大程度地减少MDS集群中的MDS的响应时间的差别，大大减少系统的响应时间方差。

图4所示为本发明的实施例4的云存储下元数据服务的负载均衡方法处理流程图，包括以下步骤：

步骤401：通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中；

步骤402：获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较；

步骤403：若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移。

本发明还提供了一种云存储下元数据服务的负载均衡系统，包括：静态映射模块、获取比较模块、动态负载均衡模块；所述静态映射模块通过所述获取比较模块与所述动态负载均衡模块相连；

所述静态映射模块，用于通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中；

所述获取比较模块，用于获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较；

所述动态负载均衡模块，用于若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种云存储下元数据服务的负载均衡方法，其特征在于，包括以下步骤：

通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中；

获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较；

若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移。

2.根据权利要求1所述的方法，其特征在于，通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中的过程为：

在MDS集群中，首先通过预先制定的文件元数据到MDS的映射算法，将系统中的文件元数据均匀的分布到不同的MDS中。

3.根据权利要求2所述的方法，其特征在于，所述静态映射策略为：

对象存储系统中的MDS集群的集合为M(n)，MDS的个数为|M(n)|=N；

文件元数据到MDS的映射算法如下:1)val=Hash(POID，filename)；2)Local(val)=m；并且m∈M(n)；其中，POID代表该文件所属父目录的对象标识符，filename代表该文件元数据的文件名，Hash代表一个哈希函数，将该文件名映射成一个值val；Local代表一个映射函数，将文件名哈希值为val的文件元数据存放到MDS集群M(n)中序号为m的MDS中。

4.根据权利要求1所述的方法，其特征在于，获取MDS集群中每个MDS的请求响应时间的过程为：

假定序号为x的MDS对文件元数据请求的响应时间为R(x)(x∈M(n))并且每个MDS采用M/G/1排队模型来建模，根据排队论可得MDSx对文件元数据请求的响应时间为:

$R\left(x\right)=\frac{{\mathrm{\λ}}_x*E\left({T_x}^2\right)}{2*(1-{\mathrm{\ρ}}_x)}+E\left(T_x\right)$

。

5.根据权利要求1所述的方法，其特征在于，获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值的过程为：DM(x)=R(x)-E(R)(x∈M(n))，其中，函数DM(x)是指MDSx请求响应时间与MDS集群的平均响应时间的差异，它的大小反映了MDSx负载的均衡性。

6.根据权利要求5所述的方法，其特征在于，若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移的过程为：

首先定义一个预设值DMALARM，在MDS集群中，如果x∈M(n)使得DM(x)≥DMALARM时，则将在MDS上启动动态负载均衡策略。

7.根据权利要求6所述的方法，其特征在于，

从负载过载最多的MDSi开始，将MDSi中过载部分的文件元数据按照一定的比例分配到合适的负载较轻的MDS中，最终使得系统中的MDS负载均衡。

8.一种云存储下元数据服务的负载均衡系统，其特征在于，包括：静态映射模块、获取比较模块、动态负载均衡模块；所述静态映射模块通过所述获取比较模块与所述动态负载均衡模块相连；

所述静态映射模块，用于通过静态映射策略，将系统中的文件元数据均匀的分布到不同的MDS中；

所述获取比较模块，用于获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较；

所述动态负载均衡模块，用于若所述差值大于或等于所述预设值，则依据动态负载均衡策略进行文件元数据迁移。

Images