CN107480310B

CN107480310B - 一种元数据集群目录动态负载平衡方法及系统

Info

Publication number: CN107480310B
Application number: CN201710909948.2A
Authority: CN
Inventors: 张延良
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2020-09-04
Anticipated expiration: 2037-09-29
Also published as: CN107480310A

Abstract

本申请公开了一种元数据集群目录动态负载平衡方法及系统，包括：判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值；如果是，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于阈值的根目录的子目录；如果是，则通过轮询方式将当前子目录分配给从元数据服务器；如果否，则将当前子目录的子目录作为新的当前子目录；本申请通过设定热度阈值，判断元数据服务的主元数据服务器的目录树的根目录的热度是否大于预设的阈值，如果大于，则查找到作为热度源只包含文件满足热度大于预设的阈值的子目录，将该子目录通过轮询的方式分配给与主元数据服务器对应的从元数据服务器中，实现元数据服务负载均衡。

Description

一种元数据集群目录动态负载平衡方法及系统

技术领域

本发明涉及分布式文件领域，特别涉及一种元数据集群目录动态负载平衡方法及系统。

背景技术

在分布式文件系统应用中，会有海量小文件使用场景。例如视频监控中摄像口存储卡口图片(500KB)，高性能计算算例中素材文件(几KB～几百KB)，广电媒资场景中动漫渲染素材(几KB～几百KB)等，这些场景每天都会产生上百万文件，每秒文件操作需求高达5000个/s。而分布式文件系统元数据性能是个瓶颈，需要使用元数据集群提升元数据并发。而元数据集群面临的关键问题是如何实现目录动态负载平衡。目前研究元数据集群动态子树分区技术较多，但是没有厂商应用实际生产环境。其中的难题是目录负载平衡问题。由于不同应用场景IO模型不一样，很难有适用所有场景的动态目录负载平衡机制。

现有技术中，元数据集群中元数据服务以目录为单位统计目录热度，目录热度就代表了元数据服务负载，用将负载高的mds进程分出部分负载给负载少的mds，通过多目录元数据并发提升元数据性能，但需频繁统计目录热度和元数据负载，增加元数据处理延时，且现有算法会出现频繁目录切换元数据服务，反而会降低性能，难以应用于生产环境。

因此，发明一种能够实现元数据服务负载均衡，提升分布式文件系统元数据性能，使得分布式文件系统可用于海量小文件场景的元数据集群目录动态负载平衡方法是当前需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种元数据集群目录动态负载平衡方法及系统，实现元数据服务负载均衡，提升分布式文件系统元数据性能，使得分布式文件系统可用于海量小文件场景。其具体方案如下：

一种元数据集群目录动态负载平衡方法，包括：

判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值；

如果是，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于所述阈值的所述根目录的子目录；

如果是，则通过轮询方式将当前子目录分配给从元数据服务器；

如果否，则将当前子目录的子目录作为新的当前子目录。

可选的，还包括：实时更新主元数据服务器的目录树的热度。

可选的，所述判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值的过程，包括：

定时判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值。

本发明还公开了一种元数据集群目录动态负载平衡系统，包括：

根目录判断模块，用于判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值；

子目录判断模块，用于当所述根目录判断模块判定所述根目录的热度大于所述阈值，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于所述阈值的所述根目录的子目录；

分配模块，用于当所述子目录判断模块判定当前子目录只包含文件，则通过轮询方式将当前子目录分配给从元数据服务器；

子目录更新模块，用于当所述子目录判断模块判定当前子目录不只包含文件，则将当前子目录的子目录作为新的当前子目录。

可选的，还包括：

热度更新模块，用于实时更新主元数据服务器的目录树的热度。

可选的，所述根目录判断模块，具体用于定时判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值。

本发明中，元数据集群目录动态负载平衡方法，包括：判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值；如果是，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于阈值的根目录的子目录；如果是，则通过轮询方式将当前子目录分配给从元数据服务器；如果否，则将当前子目录的子目录作为新的当前子目录。本发明通过设定热度阈值，判断元数据服务的主元数据服务器的目录树的根目录的热度是否大于预设的阈值，如果大于，则查找到作为热度源只包含文件满足热度大于预设的阈值的子目录，将该子目录通过轮询的方式分配给与主元数据服务器对应的从元数据服务器中，实现元数据服务负载均衡，提升分布式文件系统元数据性能，使得分布式文件系统可用于海量小文件场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种元数据集群目录动态负载平衡方法流程示意图；

图2为本发明实施例公开的一种元数据集群目录动态负载平衡系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种元数据集群目录动态负载平衡方法，参见图1所示，该方法包括：

步骤S11：判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值。

具体的，分布式文件系统默认有一个元数据服务，元数据服务中保存有一个保存有不同元数据目录的目录树，目录树的根目录保存在主元数据服务器管理，根目录的子目录也同样保存在主元数据服务器上。

为了实现目录负载平衡，判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值，其中，阈值为由用户预先设定的值，例如，设定阈值为200，判断根目录的热度是否大于200。

步骤S12：如果是，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于阈值的根目录的子目录。

具体的，如果根目录的热度大于预设的阈值，则表明根目录下存在的热度大于阈值的子目录，通过查找到热度大于阈值的当前子目录，继续判断当前子目录是否还有子目录，即判断当前子目录是否只包含文件，如果当前子目录没有子目录，则当前子目录为只包含文件的子目录，以此来判断当前子目录是否还有子目录，或者当前子目录就是热度源。

可以理解的是，如果根目录的热度未大于预设的阈值，则等待下一次热度判断。

步骤S13：如果是，则通过轮询方式将当前子目录分配给从元数据服务器。

具体的，如果当前子目录是包含文件的子目录，表明当前子目录即热度源，为此通过轮询方式将当前子目录分配给从元数据服务器，其中，主元数据服务器下对应多个从元数据服务器，当查找出作为热度源的子目录后，通过轮询方式将作为热度源的子目录分配给当前轮询到的从元数据服务器，实现元数据服务负载均衡。

步骤S14：如果否，则将当前子目录的子目录作为新的当前子目录。

具体的，如果当前子目录还有子目录，则继续从当前子目录的一个或多个子目录中查找到满足热度大于阈值的子目录，将当前子目录的满足热度大于阈值的子目录作为新的当前子目录，执行步骤S12，继续判断新的当前子目录是否只包含文件，直到查找到作为热度源的子目录，并将作为热度源的子目录分配给从元数据服务器，实现元数据服务负载均衡。

可见，本发明实施例通过设定热度阈值，判断元数据服务的主元数据服务器的目录树的根目录的热度是否大于预设的阈值，如果大于，则查找到作为热度源只包含文件满足热度大于预设的阈值的子目录，将该子目录通过轮询的方式分配给与主元数据服务器对应的从元数据服务器中，实现元数据服务负载均衡，提升分布式文件系统元数据性能，使得分布式文件系统可用于海量小文件场景。

本发明实施例中，可以实时更新主元数据服务器的目录树的热度，从目录树的根目录开始更新热度，直至更新到所有只包含文件的子目录，从而实现对整个目录树的热度更新，当然也可以采用定时更新主元数据服务器的目录树的热度，例如，每10秒更新一次主元数据服务器的目录树的热度，能够进一步降低对于元数据服务的负载。

由于目录的热度是逐渐达到阈值的，因此，可以采用定时判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值，而不用实时判断根目录的热度，以减少对元数据服务的负载。

相应的，本发明实施例还公开了一种元数据集群目录动态负载平衡系统，参见图2所示，该系统包括：

根目录判断模块11，用于判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值；

子目录判断模块12，用于当根目录判断模块判定根目录的热度大于阈值，则判断当前子目录是否只包含文件，其中，当前子目录为满足热度大于阈值的根目录的子目录；

分配模块13，用于当子目录判断模块判定当前子目录只包含文件，则通过轮询方式将当前子目录分配给从元数据服务器；

子目录更新模块14，用于当子目录判断模块判定当前子目录不只包含文件，则将当前子目录的子目录作为新的当前子目录。

可见，本发明实施例通过设定热度阈值，判断元数据服务的主元数据服务器的目录树的根目录的热度是否大于预设的阈值，如果大于，则查找到作为热度源只包含文件满足热度大于预设的阈值的子目录，将该子目录通过轮询的方式分配给与主元数据服务器对应的从元数据服务器中，实现元数据服务负载均衡。

本发明实施例中，还可以包括：

本发明实施例中，上述根目录判断模块11，可以具体用于定时判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本发明所提供的一种元数据集群目录动态负载平衡方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种元数据集群目录动态负载平衡方法，其特征在于，包括：

如果否，则将当前子目录的子目录作为新的当前子目录；

其中，还包括：

实时更新主元数据服务器的目录树的热度；

其中，所述判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值的过程，包括：

2.一种元数据集群目录动态负载平衡系统，其特征在于，包括：

子目录更新模块，用于当所述子目录判断模块判定当前子目录不只包含文件，则将当前子目录的子目录作为新的当前子目录；

其中，还包括：

热度更新模块，用于实时更新主元数据服务器的目录树的热度；

其中，所述根目录判断模块，具体用于定时判断主元数据服务器的目录树的根目录的热度是否大于预设的阈值。