CN111338801A - 一种实现元数据负载均衡的子树迁移方法、装置 - Google Patents

Abstract

本发明提供一种实现元数据负载均衡的子树迁移方法、装置，所述方法包括如下步骤：根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出的负载；根据负载和元数据热度计算最大负载；选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的负载的量为相应的计算出的最大负载与计算出的需要迁移出的负载中的较小者；通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元数据服务器中选择相应热度的目录子树进行迁移。

Description

一种实现元数据负载均衡的子树迁移方法、装置

技术领域

本发明涉及分布式文件存储动态元数据管理技术领域，具体涉及一种实现元数据负载 均衡的子树迁移方法、装置。

背景技术

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定 直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统可以有效解决 数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文 件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络 进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪 个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件 系统中的数据。

目前分布式文件存储元数据服务器集群中的负载均衡策略在异构元数据服务器和网 络延迟较大时存在的问题。分布式文件存储的元数据管理策略可以很好地应对热点数据访 问以及负载分布不均的问题，但其实现的子树迁移算法却有如下问题：

迁移算法默认了各MDS能力相同。实际上同样的元数据访问在不同MDS上造成的负载是不同的。目录子树从高负载、能力强的MDS上迁移到低负载、能力弱的机器上时， 能力弱的MDS可能接受过多的元数据负载，很快成为新的系统瓶颈；虽然在新一轮的迁 移活动中，目录子树会从能力弱的MDS迁移出去，但仍然浪费了大量的网络流量，延长 了负载均衡的时间。当目录子树从高负载、能力弱的MDS上迁移到低负载、能力强的机 器上时，虽然不会造成网络流量的浪费，但实际上可以迁移更多的热度过去，没有充分利 用迁移的机会。

子树迁移算法的目标是达到全局负载的平均，在网络延迟较大的情况下，这一目标的 实现需要花费较大代价。由于网络延迟的影响，收集全局负载信息可能需要较长的时间， 而且在选择迁移目标时，并没有考虑网络延迟的状况，最后选出的目标对象间可能传输代 价较大，极大地影响了负载均衡算法的效率。

发明内容

针对目前分布式文件存储元数据服务器集群中的负载均衡策略在异构元数据服务器 和网络延迟较大时存在的问题，本发明提供一种实现元数据负载均衡的子树迁移方法、装 置。

本发明的技术方案是：

一方面，本发明技术方案提供一种实现元数据负载均衡的子树迁移方法，包括如下步 骤：

根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出的负载；

根据负载和元数据热度计算最大负载；

选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的负载的量为相应 的计算出的最大负载与计算出的需要迁移出的负载中的较小者；

通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元数据服务器中选 择相应热度的目录子树进行迁移。

进一步的，该方法包括：元数据服务器定期向区域内的决策元数据服务器上报自身的 负载和热度，当单台元数据服务器的负载持续设定时间段高于区域内平均负载一定范围 时，执行步骤：根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出的负 载。

进一步的，所述的根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移 出的负载的步骤之前包括：采用CPU、内存和带宽的占用情况的加权和定义负载L；

L＝α*l_cpu+β*l_mem+γ*l_bw

其中，l_cpu、l_mem、l_bw分别为CPU、内存和带宽的占用情况，α、β、γ为相应的加 权系数。

进一步的，所述的采用CPU、内存和带宽的占用情况的加权和定义负载L的步骤之后 还包括：

采用元数据服务器的元数据总热度与负载L的比值来定义节点能力。

进一步的，所述的采用元数据服务器的元数据总热度与负载L的比值来定义节点能力 的步骤之后还包括：

通过对传输代价进行聚类，将元数据服务器分成不同的区域，区域内距离聚类中心最 近的元数据服务器作为决策元数据服务器；决策元数据服务器，用于负责收集区域内决策 元数据服务器的信息和迁移决策，其中，传输代价在两台服务器有数据交换的时候计算得 出。

进一步的，该方法还包括：

根据用户的元数据请求计算元数据的热度；

P_{ancestor_new}＝P_{ancestor_old}*f(Δt)+1/2ⁿ

其中，Δt为当前时间与上次计算热度的时间差，f为衰减函数，n为被访问元数据与 祖先节点的目录层次差。

进一步的，该方法具体包括：

根据过载元数据服务器的负载L_i与区域平均负载

的差值计算需要迁移出的负载L_out；

根据负载和元数据热度计算第j台轻载元数据服务器能接受的最大负载ΔL_j，

其中P_i、P_j分别为过载元数据服务器和轻载元数据服务器的热度；

选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的负载的量为相应 的ΔL_f与L_out中的较小者；

通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元数据服务器中选 择相应热度的目录子树进行迁移。

另一方面，本发明技术方案提供一种实现元数据负载均衡的子树迁移装置，包括热度 计算模块、负载定义模块、节点能力评估模块、分区模块和迁移模块；

热度计算模块，用于根据用户的元数据请求计算元数据的热度；

负载定义模块，用于采用CPU、内存和带宽的占用情况的加权和定义负载L；

节点能力评估模块，用于采用元数据服务器的元数据总热度与负载L的比值来定义节 点能力；

迁移模块包括计算单元、选择单元和迁移单元；

计算单元，用于根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出 的负载；

计算单元，还用于根据负载和元数据热度计算最大负载；

选择单元，用于选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的 负载的量为相应的计算出的最大负载与计算出的需要迁移出的负载中的较小者；

迁移单元，用于通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元 数据服务器中选择相应热度的目录子树进行迁移。

从以上技术方案可以看出，本发明具有以下优点：在迁移时综合机器能力与网络状况 合理选择迁移目标和热度，提高了迁移性能，扩大了使用范围。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的 有益效果也是显而易见的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人 员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述 的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当 属于本发明保护的范围。

实施例一

如图1所示，本发明技术方案提供一种实现元数据负载均衡的子树迁移方法，包括如 下步骤：

S11：根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出的负载；

S12：根据负载和元数据热度计算最大负载；

S13：选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的负载的量 为相应的计算出的最大负载与计算出的需要迁移出的负载中的较小者；

S14：通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元数据服务 器中选择相应热度的目录子树进行迁移。

实施例二

本发明技术方案提供一种实现元数据负载均衡的子树迁移方法，包括如下步骤：

S21：根据过载元数据服务器的负载L_i与区域平均负载

的差值计算需要迁移出的负载 L_out；需要说明的是，元数据服务器定期向区域内的决策元数据服务器上报自身的负载和 热度，当单台元数据服务器的负载持续设定时间段高于区域内平均负载一定范围时，执行 本步骤；

本步骤执行之前，还需要执行如下步骤：

采用CPU、内存和带宽的占用情况的加权和定义负载L；节点负载除了与CPU有关外，还和内存占用、带宽和I/O等有关。考虑到元数据服务器的特性，我们采用CPU，内 存和带宽占用情况的加权和重新定义负载。其中l_cpu、l_mem、l_bw分别为CPU、内存和带 宽的占用情况，α、β、γ为相应的加权系数；

L＝α*l_cpu+β*l_mem+γ*l_bw其中，l_cpu、l_mem、l_bw分别为CPU、内存 和带宽的占用情况，α、β、γ为相应的加权系数。

采用元数据服务器的元数据总热度与负载L的比值来定义节点能力S。节点能力一般 用其处理器能力、内存容量等参数的加权和来表示，但这种方法需要针对每台元数据服务 器做实验才能得出具体的加权系数，不同应用系数还有改变。本发明采用元数据服务器的 元数据总热度(P)与负载(L)的比值来定义节点能力。容易看出，处理的元数据请求越多，产 生的负载越小，节点能力越大，这是与实际状况相符的；S＝P/L；

通过对传输代价进行聚类，将元数据服务器分成不同的区域，区域内距离聚类中心最 近的元数据服务器作为决策元数据服务器；决策元数据服务器，用于负责收集区域内决策 元数据服务器的信息和迁移决策，其中，传输代价在两台服务器有数据交换的时候计算得 出；根据用户的元数据请求计算元数据的热度；

p_{ancestor_new}＝p_{ancestor_old}*f(Δt)+1/2ⁿ

其中，Δt为当前时间 与上次计算热度的时间差，f为衰减函数，n为被访问元数据与祖先节点的目录层次差。

传输代价c元数据服务器节点间传输单位数据需要花费的代价。大部分节点间c的计 算在两台服务器有数据交换的时候捎带完成，考虑到网络结构的稳定性，c的更新并不频 繁。c还可以通过手动配置直接指定，对于新加入的元数据服务器，通过指定其到某些元数据服务器的传输代价，可以加快其融入元数据服务器集群的速度。

S22：根据负载和元数据热度计算第j台轻载元数据服务器能接受的最大负载ΔL_j，

其中P_i、P_j分别为过载元数据服务器和轻载元数据服务器的热度；

S23：选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的负载的量 为相应的ΔL_f与L_out中的较小者；

S24：通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元数据服务 器中选择相应热度的目录子树进行迁移。

根据收集到的全局负载信息，选择一负载较轻的元数据服务器作为子树迁移的目标元 数据服务器，根据过载元数据服务器和轻载元数据服务器的负载与平均负载的差值决定迁 移负载的数量；根据过载元数据服务器的整体热度与负载的关系，决定迁移目录子树的热 度；从过载元数据服务器中选择相应热度的目录子树进行迁移。子树迁移策略解决了负载 在元数据服务器间分布不均的问题。

实施例三

本发明技术方案提供一种实现元数据负载均衡的子树迁移装置，包括热度计算模块、 负载定义模块、节点能力评估模块、分区模块和迁移模块；

热度计算模块，用于根据用户的元数据请求计算元数据的热度；

负载定义模块，用于采用CPU、内存和带宽的占用情况的加权和定义负载L；

节点能力评估模块，用于采用元数据服务器的元数据总热度与负载L的比值来定义节 点能力；

迁移模块包括计算单元、选择单元和迁移单元；计算单元，用于根据过载元数据服务 器的负载与区域平均负载的差值计算需要迁移出的负载；计算单元，还用于根据负载和元 数据热度计算最大负载；选择单元，用于选择能接受负载最多的元数据服务器作为目标元 数据服务器，迁移的负载的量为相应的计算出的最大负载与计算出的需要迁移出的负载中 的较小者；迁移单元，用于通知过载元数据服务器迁移目标元数据服务器和迁移的负载， 过载元数据服务器中选择相应热度的目录子树进行迁移。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本 发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范 围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或 替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要 求的保护范围为准。

Claims (8)

1.一种实现元数据负载均衡的子树迁移方法，其特征在于，包括如下步骤：

根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出的负载；

根据负载和元数据热度计算最大负载；

选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的负载的量为相应的计算出的最大负载与计算出的需要迁移出的负载中的较小者；

通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元数据服务器中选择相应热度的目录子树进行迁移。

2.根据权利要求1所述的一种实现元数据负载均衡的子树迁移方法，其特征在于，该方法包括：元数据服务器定期向区域内的决策元数据服务器上报自身的负载和热度，当单台元数据服务器的负载持续设定时间段高于区域内平均负载一定范围时，执行步骤：根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出的负载。

3.根据权利要求1所述的一种实现元数据负载均衡的子树迁移方法，其特征在于，所述的根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出的负载的步骤之前包括：采用CPU、内存和带宽的占用情况的加权和定义负载L；

L＝α*l_cpu+β*l_mem+γ*l_bw

其中，l_cpu、l_mem、l_bw分别为CPU、内存和带宽的占用情况，α、β、γ为相应的加权系数。

4.根据权利要求1所述的一种实现元数据负载均衡的子树迁移方法，其特征在于，所述的采用CPU、内存和带宽的占用情况的加权和定义负载L的步骤之后还包括：

采用元数据服务器的元数据总热度与负载L的比值来定义节点能力。

5.根据权利要求1所述的一种实现元数据负载均衡的子树迁移方法，其特征在于，所述的采用元数据服务器的元数据总热度与负载L的比值来定义节点能力的步骤之后还包括：

通过对传输代价进行聚类，将元数据服务器分成不同的区域，区域内距离聚类中心最近的元数据服务器作为决策元数据服务器；决策元数据服务器，用于负责收集区域内决策元数据服务器的信息和迁移决策，其中，传输代价在两台服务器有数据交换的时候计算得出。

6.根据权利要求1所述的一种实现元数据负载均衡的子树迁移方法，其特征在于，该方法还包括：

根据用户的元数据请求计算元数据的热度；

p_{ancestor_new}＝P_{ancestor_old}*f(Δt)+1/2ⁿ

其中，Δt为当前时间与上次计算热度的时间差，f为衰减函数，n为被访问元数据与祖先节点的目录层次差。

7.根据权利要求1所述的一种实现元数据负载均衡的子树迁移方法，其特征在于，该方法具体包括：

根据过载元数据服务器的负载L_i与区域平均负载

的差值计算需要迁移出的负载L_out；

根据负载和元数据热度计算第j台轻载元数据服务器能接受的最大负载ΔL_j，

其中P_i、P_j分别为过载元数据服务器和轻载元数据服务器的热度；

选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的负载的量为相应的ΔL_j与L_out中的较小者；

通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元数据服务器中选择相应热度的目录子树进行迁移。

8.一种实现元数据负载均衡的子树迁移装置，其特征在于，包括热度计算模块、负载定义模块、节点能力评估模块、分区模块和迁移模块；

热度计算模块，用于根据用户的元数据请求计算元数据的热度；

负载定义模块，用于采用CPU、内存和带宽的占用情况的加权和定义负载L；

节点能力评估模块，用于采用元数据服务器的元数据总热度与负载L的比值来定义节点能力；

迁移模块包括计算单元、选择单元和迁移单元；

计算单元，用于根据过载元数据服务器的负载与区域平均负载的差值计算需要迁移出的负载；

计算单元，还用于根据负载和元数据热度计算最大负载；

选择单元，用于选择能接受负载最多的元数据服务器作为目标元数据服务器，迁移的负载的量为相应的计算出的最大负载与计算出的需要迁移出的负载中的较小者；

迁移单元，用于通知过载元数据服务器迁移目标元数据服务器和迁移的负载，过载元数据服务器中选择相应热度的目录子树进行迁移。

Images