CN101697526A - 分布式文件系统中元数据管理的负载均衡方法及其系统 - Google Patents

Abstract

一种分布式文件系统中元数据管理的负载均衡的方法和系统，当元数据的数据结构即目录树成为热点元数据时，通过采用元数据复制的方式更新目录树的访问热度；当元数据的服务节点的负载均衡度超过预定的数值时，通过采用元数据迁移的方式，将部分工作负载从过载节点迁移到过轻节点上，通过上述两种方式来实现多个元数据服务节点之间的负载均衡。该系统包括信息通讯模块、元数据操作模块、元数据服务节点管理模块、元数据管理模块、元数据策略执行模块以及工作负载采集模块。本发明通过元数据复制和元数据迁移这两种方式，提高了元数据服务资源的利用率，达到了负载均衡的目的，使元数据服务系统可以平滑扩展。

Description

分布式文件系统中元数据管理的负载均衡方法及其系统

技术领域

本发明涉及计算机网络技术领域，尤其是涉及一种分布式文件系统中元数据管理的负载均衡的方法及其系统。

背景技术

随着信息技术的进一步发展，以及网络的大规模应用，带来了数据的爆炸性增长，同时给网络存储带来了巨大的发展。其中，以对象存储结构为基础构建的大型分布式文件系统，可扩展性强、可靠性高，能提供较强的并发数据处理能力，因此，元数据服务管理在大型分布式文件系统中显得非常重要。在研究集群负载均衡的基础上，设计和实现元数据管理集群静态负载分配与动态反馈重分配相结合的负载均衡方案成为目前研究的一个重要课题。现有技术中，通常采用通过静态元数据分割算法和元数据分布存储，实现元数据服务负载分流；或者采用动态反馈服务器负载信息，实现不均衡负载重新分配。

但是，传统的元数据管理中只是通过对元数据服务节点做简单的备份来提供元数据服务，没有针对热点元数据进行动态调整，无法实现元数据服务系统的平滑扩展。

发明内容

为此，本发明的目的是提供一种分布式文件系统中元数据管理的负载均衡的方法，该方法通过元数据复制和元数据迁移这两种方式，实现多个元数据服务节点之间的负载均衡。

为达到上述目的，根据本发明提供了如下所述的技术方案。

一种分布式文件系统中元数据管理的负载均衡的方法，当元数据的数据结构即目录树成为热点元数据时，通过采用元数据复制的方式更新目录树的访问热度，从而实现多个元数据服务节点之间的负载均衡；

而当元数据的服务节点的负载均衡度超过预定的数值时，通过采用元数据迁移的方式，将部分工作负载从过载节点迁移到过轻节点上，从而实现多个元数据服务节点之间的负载均衡。

一种用于分布式文件系统中元数据管理的负载均衡的系统，该系统包括如下模块：

元数据操作模块，根据用户的元数据请求，完成对元数据对象的操作；

信息通讯模块，用于交互元数据服务节点间运行时的信息；

元数据服务节点管理模块，用于管理元数据服务节点；

元数据管理模块，用于动态负载均衡策略的决定；

元数据策略执行模块，用于元数据复制或者迁移策略的执行；

工作负载采集模块，用于元数据服务节点工作负载信息的采集与上报；

其中，所述元数据操作模块接入并处理元数据请求，然后将元数据的访问热度和热点元数据分别发送给所述元数据服务节点管理模块和所述元数据管理模块；所述信息通讯模块通过元数据服务节点的维护接口与外界进行通讯，同时由该信息通讯模块将各元数据服务节点间运行时的信息，例如服务节点的访问热度和工作负载等信息发送给所述元数据服务节点管理模块，由所述元数据服务节点管理模块将服务节点的节点管理信息，例如上述的服务节点运行时的信息和一些基本的属性信息等再传给所述元数据管理模块，所述元数据管理模块根据此信息转换为动态负载均衡策略的决定发送给所述元数据策略执行模块，最后通过所述元数据策略执行模块将策略执行的信息，例如元数据复制或者迁移的执行指令信息等反馈给所述信息通讯模块；此外，所述工作负载模块定期将采集到的元数据服务节点的工作负载信息上报给所述元数据服务节点管理模块。

根据本发明的一个实施例，元数据复制包括如下步骤：

(a)源节点的所述元数据操作模块根据元数据的操作实时更新目录树的访问热度；

(b)设定表明某部分元数据是否成为热点元数据的阈值，如果访问热度大于所设定的阈值，判定出现热点元数据，同时向所述元数据管理模块发出目录复制请求；

(c)所述元数据管理模块收到复制请求后，根据系统内当前节点的运行信息，决策出目录复制的目标节点；

(d)所述元数据管理模块向所述元数据策略执行模块发出目录复制指令，并告知目录复制的目标节点；

(e)源节点的所述元数据策略执行模块和目标节点的所述元数据策略执行模块协作，完成目录的复制；

(f)元数据复制的源节点和目标节点的所述元数据服务节点管理模块将更新访问热度同步到其他服务节点。

根据本发明的另一个实施例，元数据迁移包括如下步骤：

(1)所述工作负载采集模块定期采集元数据服务节点上的工作负载，并向所述元数据服务节点管理模块更新工作负载的信息；

(2)所述元数据管理模块定期计算元数据负载均衡子系统负责的节点的负载均衡度，如果不均衡的程度超过预定的程度，则进行目录迁移的决策；

(3)向所述元数据策略执行模块发送目录迁移指令，完成目录迁移；

(4)过载节点和过轻节点向所述元数据服务节点管理模块更新自己的访问热度以及工作负载的信息，同时更新给其他服务节点。

本发明通过元数据复制和元数据迁移这两种方式，提高了元数据服务资源的利用率，达到了负载均衡的目的，使元数据服务系统可以平滑扩展。

附图说明

图1是根据本发明的用于分布式文件系统中元数据管理的负载均衡的系统构成图；

图2是根据本发明的一种实施方式中的目录复制前的元数据服务节点的状态图；

图3是根据本发明的一种实施方式中的目录复制后的元数据服务节点的状态图；

图4是根据本方明的一种实施方式中的目录复制的系统模块间的流程图；

图5是根据本发明的一种实施方式中的目录复制的流程图；

图6是根据本发明的一种实施方式中的目录迁移前的元数据服务节点的状态图；

图7是根据本发明的一种实施方式中的目录迁移后的元数据服务节点的状态图；

图8是根据本发明的一种实施方式中的目录迁移的系统模块间的流程图；

图9是根据本发明的另一种实施方式的目录迁移的流程图；以及

图10是根据本发明的方法中对目录热度更新的示意图。

具体实施方式

下面将参照附图更加详细地描述根据本发明的分布式文件系统中元数据管理的负载均衡的方法及其系统的具体实施例。

图1示出了根据本发明的用于分布式文件系统中元数据管理的负载均衡的系统构成图。如图1所示，该系统包括信息通讯模块，用于元数据服务节点间运行时的信息交互；元数据操作模块，用于根据用户的元数据请求、完成对元数据对象的操作；元数据服务节点管理模块，用于进行元数据服务节点的节点管理；元数据管理模块，用于进行动态负载均衡策略的决策；元数据策略执行模块，用于进行元数据复制或者迁移策略的执行；工作负载采集模块，用于元数据服务节点工作负载信息的采集与上报；其中，元数据操作模块接入并处理元数据请求，然后将元数据的访问热度和热点元数据分别发送给元数据服务节点管理模块和元数据管理模块；信息通讯模块通过元数据服务节点的维护接口与外界进行通讯，同时由该信息通讯模块将各元数据服务节点间运行时的信息，例如服务节点的访问热度和工作负载等信息发送给元数据服务节点管理模块，由元数据服务节点管理模块将服务节点的节点管理信息，例如上述的服务节点运行时的信息和一些基本的属性信息等再传给元数据管理模块，元数据管理模块根据此信息转换为动态负载均衡策略的决定发送给元数据策略执行模块，最后通过元数据策略执行模块将策略执行的信息，例如元数据复制或者迁移的执行指令信息等反馈给信息通讯模块；此外，工作负载模块定期将采集到的元数据服务节点的工作负载信息上报给元数据服务节点管理模块；另外，邻居节点列表是元数据服务节点管理模块用于记录系统的各节点属性信息的表，具体内容包括可以识别系统内各节点的节点标识、IP、访问热度、负载情况以及节点状态等信息。

通常情况，所有元数据请求都是先从目录树根节点开始向下遍历，因为复制或者迁移的关系，根节点在多个元数据服务器上都有副本，所以客户端只在第一次访问的时候可能要经过一个特定的服务器查找相应元数据所在的服务节点，后续的访问直接与该节点打交道即可。

本发明通过采用元数据复制和元数据迁移这两种方式，实现多个元数据服务节点之间的负载均衡，其中目录复制前的元数据节点A、B的状态图请参照图2；目录迁移前的元数据节点A、B的状态图请参照图6。

结合图4和图5，可以看到元数据复制包括如下步骤：

(a)源节点的元数据操作模块根据元数据的操作实时更新目录树的访问热度；

(b)设定表明某部分元数据是否成为热点元数据的阈值T1，如果访问热度大于所设定的阈值T1，判定出现热点元数据，同时向元数据管理模块发出目录复制请求；

(c)元数据管理模块收到复制请求后，根据系统内当前节点的运行信息，决策出目录复制的目标节点；

(d)元数据管理模块向元数据策略执行模块发出目录复制指令，并告知目录复制的目标节点；

(e)源节点的元数据策略执行模块和目标节点的元数据策略执行模块协作，完成目录的复制；

(f)元数据复制的源节点和目标节点的元数据服务节点管理模块将更新访问热度同步到其他服务节点。

其中，步骤(b)中涉及的阈值T1是根据不同业务系统的特性和具体情况，通过前期试验得出的实验数据，并且可以在运行过程中根据不同的目标要求，例如负载均衡灵敏度要求进行调整。首先，计算出当某元数据服务节点工作负载达到或接近最大时对应的元数据热度Popularity(max)，然后可以按照占元数据服务节点的元数据热度的百分比来判定该部分元数据是否为热点元数据，如超过20％，即T1＝Popularity(max)*20％。

另外，上述步骤(e)还包括如下步骤：

(e1)查询邻居节点列表，选择复制的目标节点，而且必须保证复制之前在该目标节点上没有将被复制的目录树；

(e2)对将被复制的目录树设置操作开始标记mark1，记录此时间标记后的请求的命令序列ProcedureQueue；

(e3)源节点启动同步锁，此时目录树不能对外服务；

(e4)源节点向目标节点发送目录树，目标节点重新构建目录树；

(e5)源节点向目标节点发送ProcedureQueue，目标节点按照ProcedureQueue更新目录树；

(e6)目标节点将目录树的主副本节点设置为源节点；

(e7)更新源节点和目标节点的目录树的访问热度，通常为原来访问热度的一半；

(e8)关闭同步锁，源节点和目标节点重新对外服务。

通过上述步骤，实现对元数据节点的目录复制。目录复制后的元数据节点A、B的状态图请参照图3。

结合图8和图9，可以看到元数据迁移包括如下步骤：

(1)工作负载采集模块定期采集元数据服务节点上的工作负载，并向元数据服务节点管理模块更新工作负载的信息；

(2)元数据管理模块定期计算元数据负载均衡子系统负责的节点的负载均衡度，如果不均衡的程度超过预定的程度即阈值T2，则进行目录迁移的决策；

(3)向元数据策略执行模块发送目录迁移指令，完成目录迁移；

(4)过载节点和过轻节点向所述元数据服务节点管理模块更新自己的访问热度以及工作负载的信息，同时更新给其他服务节点。

其中，上述步骤(2)中所提及的阈值T2是根据不同业务系统的特性和具体情况，通过前期试验得出的实验数据，并且可以在运行过程中根据不同的目标要求，例如负载均衡灵敏度要求进行调整。阈值T2的范围为[0，1]，建议取值范围大于0.5，这样才不会使各元数据服务系统内各元数据服务节点的工作负载相差太大。

另外，上述步骤(3)还包括如下步骤：

(3a)查询邻居节点列表，根据各节点的负载信息，作出决策，选择过载节点和过轻节点；

(3b)根据过载节点和过轻节点的负载，计算需要迁移的负载，然后将计算出来的负载量映射为访问热度，根据访问热度来选择将被迁移的目录树；

(3c)对目录树设置操作开始标记mark1，记录此时间标记后的请求的命令序列ProcedureQueue；

(3d)过载节点向过轻节点发送目录树，过轻节点重新构建目录树；

(3e)过载节点向过轻节点发送ProcedureQueue，过轻节点按照ProcedureQueue更新目录树；

(3f)过载节点删除目录树；

(3g)关闭同步锁，过轻节点对外服务。

通过上述步骤，实现对元数据节点的目录迁移。目录迁移后的元数据节点A、B的状态图请参照图6。

多个元数据服务节点中存在一个班长节点，负责决策负载均衡策略，即计算负载均衡度，并且判定是否需要进行目录迁移；同时还存在副班长节点，在班长节点失效时代替履行班长的职责，并且选举新的班长节点。

把实现本技术中涉及的分布式文件系统中元数据管理的系统称之为元数据服务系统中负载均衡子系统(简称元数据负载均衡子系统)，称元数据负载均衡子系统中的节点为元数据服务节点(简称MDS)。

元数据的数据结构为目录树，因此下面设计中提到的元数据复制又称为目录复制。目录树具备访问热度(简称热度)的属性，热度值随每次到来的访问而增加1，如图10所示，同时热度随时间的推移进行衰减，其衰减函数为：

n′＝n，n-1，n-2，...，1

其中，n代表被访问目录节点所在目录树的层数；

n′代表该(目录)节点及其每个祖先(目录)节点的层数；

函数f是关于n′的衰减函数，代表需要更新访问热度的目录树结点的祖先结点包含被访问的目录结点的访问热度的衰减。

元数据负载均衡子系统负责的所有节点通过“邻居节点列表”建立联系。元数据负载均衡子系统负责的所有节点的负载均衡度反映了该节点的负载均衡的程度，具体表现为：

$L_s=\frac{1}{n}\underset{i}{\mathrm{\Σ}}\frac{|L_i-\stackrel{\‾}{L}|}{\stackrel{\‾}{L}},$ $(\stackrel{\‾}{L}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{L}_i)$

其中，L_s代表元数据负载均衡子系统的负载均衡度，且0＜＝L_s＜＝1，L_s越趋近于0，代表元数据负载均衡子系统的负载均衡程度越好；

n代表负载均衡子系统中元数据服务节点的个数；

L_i代表负载均衡子系统中第i个元数据服务节点的工作负载；

L代表负载均衡子系统中所有元数据服务节点工作负载的算术平均值。

元数据服务节点的工作负载为：

L_i＝W₁·L_cpu+W₂·L_mem+W₃·L_networkIO，其中W+W₂+W₃＝1

其中，L_i代表元数据服务节点i的工作负载；

L_cpu代表元数据服务节点i的CPU占用率；

W₁代表L_cpu在L_i中所占的权重；

L_mem代表元数据服务节点i的内存占用率；

W₂代表L_mem在L_i中所占的权重；

L_networkIO代表元数据服务节点i的网络IO带宽占用率；

W₃代表L_networkIO在Li中所占的权重。

因此，0＜＝L_i＜＝1。

所述负载映射为访问热度的计算公式如下：

$\mathrm{poularity}=f\left(\mathrm{workload}\right)={\∂}_i\·{\mathrm{workload}}_i$

(if workload∈workload_k，则

i≡k；

i≠k)

其中，i和k均表示为元数据服务节点的节点标识；

workload_i表示节点标识为i的元数据服务节点的工作负载；

popularity表示为元数据访问热度；

表示节点标识为i的元数据服务节点从工作负载映射到访问热度的映射参数。

以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种分布式文件系统中元数据管理的负载均衡的方法，其特征在于，

当元数据的数据结构即目录树成为热点元数据时，通过采用元数据复制的方式更新目录树的访问热度，从而实现多个元数据服务节点之间的负载均衡；

当元数据的服务节点的负载均衡度超过阈值时，通过采用元数据迁移的方式，将部分工作负载从过载节点迁移到过轻节点上，从而实现多个元数据服务节点之间的负载均衡。

2.用于分布式文件系统中元数据管理的负载均衡的系统，其特征在于，该系统包括如下模块：

信息通讯模块，用于元数据服务节点间运行时信息的交互；

元数据操作模块，根据用户的元数据请求，完成对元数据对象的操作；

元数据服务节点管理模块，用于元数据服务节点的节点管理；

元数据管理模块，用于动态负载均衡策略的决策；

元数据策略执行模块，用于元数据复制或者迁移策略的执行；

工作负载采集模块，用于元数据服务节点工作负载信息的采集与上报；

其中，所述元数据操作模块接入并处理元数据请求，然后将元数据的访问热度和热点元数据分别发送给所述元数据服务节点管理模块和所述元数据管理模块；所述信息通讯模块通过元数据服务节点的维护接口与外界进行通讯，同时由该信息通讯模块将各元数据服务节点间运行时的信息发送给所述元数据服务节点管理模块，由所述元数据服务节点管理模块将服务节点的节点管理信息再传给所述元数据管理模块，所述元数据管理模块根据此信息转换为动态负载均衡策略的决策发送给所述元数据策略执行模块，最后通过所述元数据策略执行模块将策略执行的信息反馈给所述信息通讯模块；此外，所述工作负载模块定期将采集到的元数据服务节点的工作负载信息上报给所述元数据服务节点管理模块。

3.如权利要求1所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述元数据复制包括如下步骤：

(a)源节点的所述元数据操作模块根据元数据的操作实时更新目录树的访问热度；

(b)设定表明某部分元数据是否成为热点元数据的阈值，如果访问热度大于所设定的阈值，判定出现热点元数据，同时向所述元数据管理模块发出目录复制请求；

(c)所述元数据管理模块收到复制请求后，根据系统内当前节点的运行信息，决策出目录复制的目标节点；

(d)所述元数据管理模块向所述元数据策略执行模块发出目录复制指令，并告知目录复制的目标节点；

(e)源节点的所述元数据策略执行模块和目标节点的所述元数据策略执行模块协作，完成目录的复制；

(f)元数据复制的源节点和目标节点的所述元数据服务节点管理模块将更新访问热度到其他服务节点。

4.如权利要求1所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述元数据迁移包括如下步骤：

(1)所述工作负载采集模块定期采集元数据服务节点上的工作负载，并向所述元数据服务节点管理模块更新工作负载的信息；

(2)所述元数据管理模块定期计算元数据负载均衡子系统负责的节点的负载均衡度，如果不均衡的程度超过预定的程度，则进行目录迁移的决策；

(3)向所述元数据策略执行模块发送目录迁移指令，完成目录迁移；

(4)所述过载节点和所述过轻节点向所述元数据服务节点管理模块更新自己的访问热度以及工作负载的信息，同时更新给其他服务节点。

5.如权利要求1所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述多个元数据服务节点中存在一个班长节点，负责决策负载均衡策略，即计算负载均衡度，并且判定是否需要进行目录迁移。

6.如权利要求5所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述多个元数据服务节点中还存在副班长节点，在班长节点失效时代替履行班长的职责，并且选举新的班长节点。

7.如权利要求1或3所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述目录树的访问热度值，随每次访问的到来增加1，同时随时间的推移进行衰减，其衰减函数为：

其中，n代表被访问目录节点所在目录树的层数；

n′代表该(目录)节点及其每个祖先(目录)节点的层数；

函数f是关于n′的衰减函数，代表需要更新访问热度的目录树结点的祖先结点包含被访问的目录结点的访问热度的衰减。

8.如权利要求1或4所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述服务节点的负载均衡度反映了该节点的负载均衡的程度，具体表现为：

$L_s=\frac{1}{n}\underset{i}{\mathrm{\Σ}}\frac{|L_i-\stackrel{\‾}{L}|}{\stackrel{\‾}{L}},(\stackrel{\‾}{L}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{L}_i)$

其中，L_s代表元数据负载均衡子系统的负载均衡度；

n代表负载均衡子系统中元数据服务节点的个数；

L_i代表负载均衡子系统中第i个元数据服务节点的工作负载；

L代表负载均衡子系统中所有元数据服务节点工作负载的算术平均值。

9.如权利要求4所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述元数据服务节点的工作负载为：

L_i＝W₁·L_cpu+W₂·L_mem+W₃·L_networkIO

其中，L_i代表元数据服务节点i的工作负载；

L_cpu代表元数据服务节点i的CPU占用率；

W₁代表L_cpu在L_i中所占的权重；

L_mem代表元数据服务节点i的内存占用率；

W₂代表L_mem在L_i中所占的权重；

L_networkIO代表元数据服务节点i的网络IO带宽占用率；

W₃代表L_networkIO在L_i中所占的权重。

10.如权利要求2所述的用于分布式文件系统中元数据管理的负载均衡的系统，其特征在于，所述元数据策略执行模块进一步包括：

元数据复制执行模块，负责元数据复制策略的执行；

元数据迁移执行模块，负责元数据迁移策略的执行。

11.如权利要求1所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述元数据服务节点中的所有节点通过邻居节点列表建立联系。

12.如权利要求3所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述步骤(e)还包括如下步骤：

(e1)查询邻居节点列表，选择复制的目标节点，而且必须保证复制之前在该目标节点上没有将被复制的目录树；

(e2)对将被复制的目录树设置操作开始标记mark1，记录此时间标记后的请求的命令序列ProcedureQueue；

(e3)源节点启动同步锁，此时目录树不能对外服务；

(e4)源节点向目标节点发送目录树，目标节点重新构建目录树；

(e5)源节点向目标节点发送ProcedureQueue，目标节点按照ProcedureQueue更新目录树；

(e6)目标节点将目录树的主副本节点设置为源节点；

(e7)更新源节点和目标节点的目录树的访问热度，通常为原来访问热度的一半；

(e8)关闭同步锁，源节点和目标节点重新对外服务。

13.如权利要求4所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述步骤(3)还包括如下步骤：

(3a)查询邻居节点列表，根据各节点的负载信息，作出决策，选择过载节点和过轻节点；

(3b)根据过载节点和过轻节点的负载，计算需要迁移的负载，然后将计算出来的负载量映射为访问热度，根据访问热度来选择将被迁移的目录树；

(3c)对目录树设置操作开始标记mark1，记录此时间标记后的请求的命令序列ProcedureQueue；

(3d)过载节点向过轻节点发送目录树，过轻节点重新构建目录树；

(3e)过载节点向过轻节点发送ProcedureQueue，过轻节点按照ProcedureQueue更新目录树；

(3f)过载节点删除目录树；

(3g)关闭同步锁，过轻节点对外服务。

14.如权利要求13所述的分布式文件系统中元数据管理的负载均衡的方法，其特征在于，所述负载映射为访问热度的计算公式如下：

$\mathrm{popularity}=f\left(\mathrm{workload}\right)={\∂}_i\·{\mathrm{workload}}_i$

(if workload∈workload_k，则

其中，i和k均表示为元数据服务节点的节点标识；

workload_i表示节点标识为i的元数据服务节点的工作负载；

popularity表示为元数据访问热度；

表示节点标识为i的元数据服务节点从工作负载映射到访问热度的映射参数。

Images