CN107590249A

CN107590249A - 一种分布式文件系统的负载平衡方法、装置及设备

Info

Publication number: CN107590249A
Application number: CN201710841345.3A
Authority: CN
Inventors: 吕强
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-09-18
Filing date: 2017-09-18
Publication date: 2018-01-16

Abstract

本发明实施例公开了一种分布式文件系统的负载平衡方法、装置、设备及计算机可读存储介质，包括获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值；依据总负载值及元数据集群中的元数据服务器的总量N计算出目标负载值；判断元数据服务器MDS₀的当前负载值是否大于目标负载值，若是，则将各个元数据服务器MDS_n的当前负载值与目标负载值进行比较，选出当前负载值小于目标负载值的各个元数据服务器MDS_n作为各个目标元数据服务器；对各个目标元数据服务器进行轮询，将元数据服务器MDS₀上的目录导出至相应的目标元数据服务器上，直至元数据服务器MDS₀上的负载值不大于目标负载值为止。提高了负载平衡的效率及分布式文件系统的性能。

Description

一种分布式文件系统的负载平衡方法、装置及设备

技术领域

本发明实施例涉及分布式存储系统技术领域，特别是涉及一种分布式文件系统的负载平衡方法、装置、设备及计算机可读存储介质。

背景技术

在分布式存储领域，小文件性能在高性能场景下是至关重要的，为了提高小文件性能就需要提高元数据服务器的IOPS，单个元数据服务器能提供的IOPS能力是有限的，所以需要给分布式文件系统配置元数据集群，元数据集群中包括多个元数据服务器。在分布式文件系统中，所有元数据默认都在一个主要的元数据服务器MDS₀上，当元数据服务器MDS₀的负载过高时，则需要人工手动将该元数据服务器MDS₀上的负载倒出至其他的元数据服务器MDS上，以实现元数据服务器MDS₀上负载的平衡，但是，现有技术中采用手动平衡的方法效率较低，也在一定程度上影响分布式文件系统的性能。

因此，如何提供一种解决上述技术问题的分布式文件系统的负载平衡方法、装置、设备及计算机可读存储介质成为本领域的技术人员目前需要解决的问题。

发明内容

本发明实施例的目的是提供一种分布式文件系统的负载平衡方法、装置、设备及计算机可读存储介质，在使用过程中提高了负载平衡的效率及分布式文件系统的性能。

为解决上述技术问题，本发明实施例提供了一种分布式文件系统的负载平衡方法，包括：

获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值；n为正整数，其取值范围为[1,N-1]，N为元数据集群中的元数据服务器的总量；

依据所述总负载值及所述元数据集群中的元数据服务器的总量N计算出目标负载值；

判断所述元数据服务器MDS₀的当前负载值是否大于所述目标负载值，如果是，则将各个所述元数据服务器MDS_n的当前负载值与所述目标负载值进行比较，并选出当前负载值小于所述目标负载值的各个元数据服务器MDS_n作为各个目标元数据服务器；

对各个所述目标元数据服务器进行轮询，并将所述元数据服务器MDS₀上的目录导出至相应的目标元数据服务器上，直至所述元数据服务器MDS₀上的负载值不大于所述目标负载值为止。

可选的，所述获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值的过程包括：

向元数据集群中的各个元数据服务器MDS_n发送收集负载的指令信息；

接收各个所述元数据服务器MDS_n依据所述指令信息返回的、与各个所述元数据服务器MDS_n分别对应的当前负载值；

依据各个所述元数据服务器MDS_n的当前负载值及元数据服务器MDS₀的当前负载值计算出总负载值。

可选的，所述向元数据集群中的各个元数据服务器MDS_n发送收集负载的指令信息的过程为：

间隔预设时间段后向元数据集群中的各个元数据服务器MDS_n发送收集负载的指令信息。

本发明实施例相应的提供了一种分布式文件系统的负载平衡装置，包括：

获取模块，用于获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值；n为正整数，其取值范围为[1,N-1]，N为元数据集群中的元数据服务器的总量；

计算模块，用于依据所述总负载值及所述元数据集群中的元数据服务器的总量N计算出目标负载值；

判断模块，用于判断所述元数据服务器MDS₀的当前负载值是否大于所述目标负载值，如果是，则触发比较模块；

所述比较模块，用于将各个所述元数据服务器MDS_n的当前负载值与所述目标负载值进行比较，并选出当前负载值小于所述目标负载值的各个元数据服务器MDS_n作为各个目标元数据服务器；

均衡模块，用于对各个所述目标元数据服务器进行轮询，并将所述元数据服务器MDS₀上的目录导出至相应的目标元数据服务器上，直至所述元数据服务器MDS₀上的负载值不大于所述目标负载值为止。

可选的，所述获取模块包括：

发送单元，用于向元数据集群中的各个元数据服务器MDS_n发送收集负载的指令信息；

接受单元，用于接收各个所述元数据服务器MDS_n依据所述指令信息返回的、与各个所述元数据服务器MDS_n分别对应的当前负载值；

求和单元，依据各个所述元数据服务器MDS_n的当前负载值及元数据服务器MDS₀的当前负载值计算出总负载值。

可选的，所述发送单元包括：

计时子单元，用于当时间间隔达到预设时间间隔后生成触发指令；

发送单元，依据所述触发指令向各个元数据服务器MDS_n发送收集负载的指令信息。

本发明实施例还提供了一种分布式文件系统的负载平衡设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述所述分布式文件系统的负载平衡方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述分布式文件系统的负载平衡方法的步骤。

本发明实施例提供了一种分布式文件系统的负载平衡方法、装置、设备及计算机可读存储介质，包括获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值；n为正整数，其取值范围为[1,N-1]，N为元数据集群中的元数据服务器的总量；依据总负载值及元数据集群中的元数据服务器的总量N计算出目标负载值；判断元数据服务器MDS₀的当前负载值是否大于目标负载值，如果是，则将各个元数据服务器MDS_n的当前负载值与目标负载值进行比较，并选出当前负载值小于目标负载值的各个元数据服务器MDS_n作为各个目标元数据服务器；对各个目标元数据服务器进行轮询，并将元数据服务器MDS₀上的目录导出至相应的目标元数据服务器上，直至元数据服务器MDS₀上的负载值不大于目标负载值为止。

本发明实施例通过获取元数据集群中的所有元数据服务器的当前负载值得到总负载值，并根据总负载值得到目标负载值，当元数据服务器MDS₀的当前负载值大于目标负载值时说明元数据服务器MDS₀的负荷较大，此时可以将元数据服务器MDS₀中的目录均衡至其他的目标元数据服务器上，目标元数据服务器为当前负载值小于目标负载值的各个元数据服务器MDS_n，从而实现元数据服务器MDS₀负载的自动平衡，提高了负载平衡的效率，也在一定程度上提高了分布式文件系统的性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分布式文件系统的负载平衡方法的流程示意图；

图2为本发明实施例提供的一种分布式文件系统的负载平衡装置的结构示意图。

具体实施方式

本发明实施例提供了一种分布式文件系统的负载平衡方法、装置、设备及计算机可读存储介质，在使用过程中提高了负载平衡的效率及分布式文件系统的性能。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1为本发明实施例提供的一种分布式文件系统的负载平衡方法的流程示意图。

该方法包括：

S11：获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值；n为正整数，其取值范围为[1,N-1]，N为元数据集群中的元数据服务器的总量；

需要说明的是，在分布式文件系统中的元数据集群包括多个云数据服务器，例如N个，其中，系统中的所有元数据默认存储在一个元数据服务器上，也即系统在默认情况下所有负载都在该元数据服务器上，将该元数据服务器称之为元数据服务器MDS₀，其他的各个元数据服务器编号后依次为元数据服务器MDS₁、元数据服务器MDS₂、……元数据服务器MDS_n、……、元数据服务器MDS_N-1。系统中的元数据服务器MDS₀可以通过获取自身当前负载值和各个其他元数据服务器MDS_n的当前负载值后得到总负载值，例如可以定期获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值，也即可以定期对元数据服务器MDS₀自身的负载进行一次负载平衡。

进一步的，上述S11中的获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值的过程，具体可以包括：

S21：向元数据集群中的各个元数据服务器MDS_n发送收集负载的指令信息；

S22：接收各个元数据服务器MDS_n依据指令信息返回的、与各个元数据服务器MDS_n分别对应的当前负载值；

S23：依据各个元数据服务器MDS_n的当前负载值及元数据服务器MDS₀的当前负载值计算出总负载值。

具体的，元数据服务器MDS₀可以定期向其他的各个元数据服务器MDS_n发送收集负载的指令信息，具体的可以每间隔预设时间段向元数据集群中的各个元数据服务器MDS_n发送一次收集负载的指令信息；各个元数据服务器MDS_n在接收到元数据服务器MDS₀发送的指令信息后，将自身当前的负载值返回至元数据服务器MDS₀，元数据服务器MDS₀接收到各个元数据服务器MDS_n可返回的自身的当前负载值后，将接收到的各个当前负载值与自身的当前负载值进行求和，从而得到系统当前的总负载值。

当然，还可以对各个元数据服务器MDS_n进行设置，令各个元数据服务器MDS_n定期将自身的当前负载值发送至元数据服务器MDS₀，也即零各个元数据服务器MDS_n每间隔预设时间段均向元数据服务器MDS₀主动发送自身的当前负载值，从而使元数据服务器MDS₀定期获取系统的总负载值。

S12：依据总负载值及元数据集群中的元数据服务器的总量N计算出目标负载值；

需要说明的是，在得到当前系统的总负载值后，通过总负载值除以元数据服务器的总量N可以得到元数据服务器的平均负载值，并将该平均负载值作为目标负载值。

S13：判断元数据服务器MDS₀的当前负载值是否大于目标负载值，如果是，则进入S14；

S14：将各个元数据服务器MDS_n的当前负载值与目标负载值进行比较，并选出当前负载值小于目标负载值的各个元数据服务器MDS_n作为各个目标元数据服务器；

具体的，元数据服务器MDS₀依据目标负载值和自身的当前负载值判断自身的当前负载值是否大于目标负载值，如果大于，则说明元数据服务器MDS₀的负载过高，此时，就进行自动负载平衡动作，将自身的负载进行平衡处理。具体的，此时通过将其他的各个元数据服务器MDS_n的当前负载值与目标负载值进行比较，可以找出当前负载值小于目标负载值的各个元数据服务器MDS_n，并将这些元数据服务器MDS_n作为目标元数据服务器，例如，N＝10，且元数据服务器MDS₂、元数据服务器MDS₄、元数据服务器MDS₆、元数据服务器MDS₈和元数据服务器MDS₁₀的当前负载均小于目标负载，则将元数据服务器MDS₂、元数据服务器MDS₄、元数据服务器MDS₆、元数据服务器MDS₈和元数据服务器MDS₁₀作为目标元数据服务器。

S15：对各个目标元数据服务器进行轮询，并将元数据服务器MDS₀上的目录导出至相应的目标元数据服务器上，直至元数据服务器MDS₀上的负载值不大于目标负载值为止。

具体的，在选定目标元数据服务器后，循环的把元数据服务器MDS₀上的目录导出至各个目标元数据服务器上，在导出的过程中也不断对元数据服务器MDS₀的当前负载进行判断，直至元数据服务器MDS₀的当前负载值小于等于目标负载值为止。从而实现元数据服务器MDS₀上的负载向其他符合条件的各个目标元数据服务器的平衡，从而降低元数据服务器MDS₀的负载，进而提高整个分布式文件系统的性能。

本发明实施例中所提供的分布式文件系统的负载平衡方法可以由元数据服务器MDS₀执行，当元数据服务器MDS₀自身的当前负载值大于目标负载值时，可以及时自动执行负载平衡，大大提高了负载平衡的效率，并且还可以为后续实现动态平衡提供基础。

相应的本发明实施例还公开了一种分布式文件系统的负载平衡装置，具体请参照图2，图2为本发明实施例提供的一种分布式文件系统的负载平衡装置的结构示意图。在上述实施例的基础上：

该装置包括：

获取模块1，用于获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值；n为正整数，其取值范围为[1,N-1]，N为元数据集群中的元数据服务器的总量；

计算模块2，用于依据总负载值及元数据集群中的元数据服务器的总量N计算出目标负载值；

判断模块3，用于判断元数据服务器MDS₀的当前负载值是否大于目标负载值，如果是，则触发比较模块4；

比较模块4，用于将各个元数据服务器MDS_n的当前负载值与目标负载值进行比较，并选出当前负载值小于目标负载值的各个元数据服务器MDS_n作为各个目标元数据服务器；

均衡模块5，用于对各个目标元数据服务器进行轮询，并将元数据服务器MDS₀上的目录导出至相应的目标元数据服务器上，直至元数据服务器MDS₀上的负载值不大于目标负载值为止。

可选的，获取模块1包括：

接受单元，用于接收各个元数据服务器MDS_n依据指令信息返回的、与各个元数据服务器MDS_n分别对应的当前负载值；

求和单元，依据各个元数据服务器MDS_n的当前负载值及元数据服务器MDS₀的当前负载值计算出总负载值。

可选的，发送单元包括：

发送单元，依据触发指令向各个元数据服务器MDS_n发送收集负载的指令信息。

需要说明的是，本发明实施例通过获取元数据集群中的所有元数据服务器的当前负载值得到总负载值，并根据总负载值得到目标负载值，当元数据服务器MDS₀的当前负载值大于目标负载值时说明元数据服务器MDS₀的负荷较大，此时可以将元数据服务器MDS₀中的目录均衡至其他的目标元数据服务器上，目标元数据服务器为当前负载值小于目标负载值的各个元数据服务器MDS_n，从而实现元数据服务器MDS₀负载的自动平衡，提高了负载平衡的效率，也在一定程度上提高了分布式文件系统的性能。

另外，对于本发明实施例中所涉及到的分布式文件系统的负载平衡方法的具体介绍请参照上述方法实施例，本申请在此不再赘述。

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上述所述的分布式文件系统的负载平衡方法的步骤。

需要说明的是，本发明实施例在使用过程中提高了负载平衡的效率和分布式文件系统的性能。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述所述的分布式文件系统的负载平衡方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种分布式文件系统的负载平衡方法，其特征在于，包括：

2.根据权利要求1所述的分布式文件系统的负载平衡方法，其特征在于，所述获取元数据集群中的元数据服务器MDS₀和各个元数据服务器MDS_n的总负载值的过程包括：

3.根据权利要求2所述的分布式文件系统的负载平衡方法，其特征在于，所述向元数据集群中的各个元数据服务器MDS_n发送收集负载的指令信息的过程为：

4.一种分布式文件系统的负载平衡装置，其特征在于，包括：

5.根据权利要求4所述的分布式文件系统的负载平衡装置，其特征在于，所述获取模块包括：

6.根据权利要求5所述的分布式文件系统的负载平衡装置，其特征在于，所述发送单元包括：

7.一种分布式文件系统的负载平衡设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任意一项所述分布式文件系统的负载平衡方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任意一项所述分布式文件系统的负载平衡方法的步骤。