CN104580536A - 一种元数据集群负载平衡实现方法 - Google Patents

Abstract

本发明公开一种元数据集群负载平衡实现方法,涉及计算机存储技术，在集群文件系统中实现多个元数据服务器，通过定时同步各元数据服务器上元数据负载信息，将元数据负载较大的服务器的负载自动分配给压力小的元数据服务器，进行元数据服务器之间的负载平衡；该方法主要由元数据负载统计模块、元数据集群负载平衡模块两部分组成。通过该方法能有效的提高文件系统元数据性能，解决了小文件存储性能问题，实现了元数据集群的负载平衡。

Description

一种元数据集群负载平衡实现方法

技术领域

本发明涉及计算机存储技术，具体的说是一种元数据集群负载平衡实现方法。

背景技术

元数据集群是由多台元数据服务器组成集群，一起提供元数据服务。元数据服务器集群必须把整个文件系统的命名空间按照一定的逻辑分割方法，由不同的元数据服务器进行管理。元数据服务器主要的功能是对元数据库和元数据标准进行管理和操作；可以在多操作系统上运行，如window、Linux操作系统上，元数据服务器本身不能独立运行，需要运行在中间件上面。

任何文件系统中的数据分为数据和元数据。数据是指普通文件中的实际数据，而元数据指用来描述一个文件的特征的系统数据，诸如访问权限、文件拥有者以及文件数据块的分布信息等等。对于大文件而言，数据存储性能是文件系统的瓶颈；而对于小文件而言，元数据存储性能是影响文件系统性能的瓶颈。目前，大部分集群文件系统还是使用单元数据服务器的架构，该架构能满足存储大文件较多的应用，但是无法满足小文件较多的应用场景，并且存在单点失效和元数据服务的可扩展性问题。为了提高文件系统小文件的存储性能，需要开发元数据集群功能，来提高元数据的并发性，从而提高文件系统小文件读写性能。

发明内容

针对现有技术存在的不足之处，本发明提供了一种元数据集群负载平衡实现方法。

本发明所述一种元数据集群负载平衡实现方法，解决上述技术问题采用的技术方案如下：该元数据集群负载平衡实现方法，主要是在集群文件系统中实现多个元数据服务器，通过定时同步各元数据服务器上元数据负载信息，将元数据负载较大的服务器的负载自动分配给压力小的元数据服务器，实现元数据服务器之间的负载平衡。该方法可用在分布式文件系统上，来实现元数据集群之间的负载平衡。

优选的，该元数据集群负载平衡实现方法主要由元数据负载统计模块、元数据集群负载平衡模块两部分组成；通过统计集群文件系统中文件的访问热度来得出元数据负载，并通过元数据集群负载平衡算法将符合导出的有负载的目录分给其他元数据。

优选的，所述元数据负载统计模块：主要是统计一定时间内文件的访问热度来计算元数据负载值；对文件访问热度进行衰减，让在较长时间内不会被访问的文件访问热度值减小或为0。

优选的，集群文件系统目录下文件的读写请求都会和元数据进行消息通信，统计所有的有消息通信的目录访问热度得出相应元数据的负载值。

优选的，所述元数据集群负载平衡模块：将集群文件系统目录设为负载平衡的最小单位，即在集群文件系统中若某个元数据负载较大，则通过负载平衡算法将符合导出目标的有负载的目录分给另一个或其他几个元数据。

优选的，元数据集群依据元数据的个数将有负载的目录导出到其他元数据服务器上；所述负载平衡算法为：

$\mathrm{Expo}{\mathrm{rt}}_{\mathrm{load}}=\frac{1}{n}{\mathrm{MDS}}_{\mathrm{load}}$

其中，Export_load为导出的负载值，n为元数据个数，MDS_load当前元数据负载。

本发明的一种元数据集群负载平衡实现方法与现有技术相比具有的有益效果是：该方法提供了一种有效的提高元数据性能的方法，主要是统计集群文件系统中文件的访问热度来得出元数据负载，通过元数据集群负载平衡算法将符合导出的有负载的目录分给其他元数据；能有效的提高文件系统元数据性能，特别是对小文件的读写性能有明显的提高，解决了小文件存储性能问题；实现了元数据集群的负载平衡，解决了之前只能依赖一个元数据服务器的性能问题，实现了元数据I/O并发。

附图说明

附图1为所述元数据集群负载平衡实现方法的示意框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考附图，对本发明所述一种元数据集群负载平衡实现方法进一步详细说明。

本发明所述一种元数据集群负载平衡实现方法，提出了一种有效的提高元数据性能的方法，主要是在集群文件系统中实现多个元数据服务器，并实现元数据服务器之间的负载平衡。该方法可用在分布式文件系统上，通过定时同步各元数据服务器上元数据负载信息，将元数据负载较大的服务器的负载自动分配给压力小的元数据服务器，来实现元数据集群之间的负载平衡。通过本发明所述元数据集群负载平衡实现方法，能有效的提高文件系统元数据性能，解决了小文件存储性能问题。

实施例：

本实施例所述一种元数据集群负载平衡实现方法,主要由元数据负载统计模块、元数据集群负载平衡模块两部分组成；其内容主要是统计集群文件系统中文件的访问热度来得出元数据负载，通过元数据集群负载平衡算法将符合导出的有负载的目录分给其他元数据。

该元数据集群负载平衡实现方法中，所述元数据负载统计模块：集群文件系统都运行在Linux操作系统下，在Linux系统中数据以文件的形式存在，本方法主要是统计一定时间内文件的访问热度(文件的访问频率)来计算元数据负载值；由于有些文件不会被经常访问，因此要对文件访问热度进行衰减，目的就是让在较长时间内不会被访问的文件访问热度值减小或为0。这样就能通过文件的访问热度来得出元数据负载。

该元数据集群负载平衡实现方法中，所述元数据集群负载平衡模块：在集群文件系统中，文件的上一层为目录，目录的访问热度为其下文件的访问热度之和；本方法为了实现高效的负载平衡算法，将目录设为负载平衡的最小单位，即在集群文件系统中如果某个元数据负载较大，那么负载平衡算法就会将符合导出目标的有负载的目录分给另一个或其他几个元数据，这样就实现了元数据集群的负载平衡。

本实施例所述元数据集群负载平衡实现方法中，集群文件系统目录下文件的读写请求都会和元数据进行消息通信，统计所有的有消息通信的目录访问热度得出相应元数据的负载值。这样元数据集群就会依据元数据的个数将目录负载导出到其他元数据服务器上，实现了元数据集群负载平衡；如附图1所示。所述负载平衡算法为：

$\mathrm{Expo}{\mathrm{rt}}_{\mathrm{load}}=\frac{1}{n}{\mathrm{MDS}}_{\mathrm{load}}$

其中，Export_load为导出的负载值，n为元数据个数，MDS_load当前元数据负载。

由上述公式得出，如果文件系统有2个元数据，当前有1个元数据负载较大，那么元数据集群就会将当前元数据负载的1/2分给另一个元数据。

通过上述对本实施例所述元数据集群负载平衡实现方法的详细介绍，可知该方法的创新点之一是：元数据集群之间负载同步机制，能定时同步各元数据的负载，让每个元数据服务器都能知道集群文件系统元数据的负载情况，有利于后面的负载导出；另一个创新点是：元数据集群负载平衡机制，将目录设置为最小导出单位，目的是实现高效的负载平衡机制，将符合导出的负载目录直接分到其他元数据上。此外，本实施例所述方法还设置了较小的负载波动值(Export_load*10％)，目的是更好、更快地实现负载平衡。

使用本发明所述元数据集群负载平衡实现方法实现元数据集群负载平衡，其具体实施流程如下：

1)元数据集群内部所有元数据定时(10s)向其他元数据发送自己的负载；

2)负载较高的元数据计算需要分出去多少负载；

3)将计算得出的负载值与其下的目录负载比较，查看是否有符合该负载值的目录，负载目录可以累加不可以拆分；

4)将符合导出的负载目录强制导出到其他元数据上；这样，来自客户端的目录下文件的IO请求就相应的发送到对应的元数据上。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (5)

1.一种元数据集群负载平衡实现方法，其特征在于,在集群文件系统中实现多个元数据服务器，通过定时同步各元数据服务器上元数据负载信息，将元数据负载较大的服务器的负载自动分配给压力小的元数据服务器，进行元数据服务器之间的负载平衡；该方法主要由元数据负载统计模块、元数据集群负载平衡模块两部分组成。

2.根据权利要求1所述一种元数据集群负载平衡实现方法，其特征在于,所述元数据负载统计模块：主要是统计一定时间内文件的访问热度来计算元数据负载值；对文件访问热度进行衰减，让在较长时间内不会被访问的文件访问热度值减小或为0。

3.根据权利要求2所述一种元数据集群负载平衡实现方法，其特征在于,集群文件系统目录下文件的读写请求都会和元数据进行消息通信，统计所有的有消息通信的目录访问热度得出相应元数据负载值。

4.根据权利要求1所述一种元数据集群负载平衡实现方法，其特征在于,所述元数据集群负载平衡模块：将集群文件系统目录设为负载平衡的最小单位，即在集群文件系统中若某个元数据负载较大，则通过负载平衡算法将符合导出目标的有负载的目录分给其他几个元数据。

5.根据权利要求4所述一种元数据集群负载平衡实现方法，其特征在于,元数据集群依据元数据的个数将有负载的目录导出到其他元数据服务器上；所述负载平衡算法为：

${\mathrm{Export}}_{\mathrm{load}}=\frac{1}{n}{\mathrm{MDS}}_{\mathrm{load}}$

其中，Export_load为导出的负载值，n为元数据个数，MDS_load当前元数据负载。