CN107145307A - 一种基于分布式存储的动态元数据优化方法和系统 - Google Patents

Abstract

本发明公开了一种基于分布式存储的动态元数据优化方法和系统，其中，方法包括：获取mds节点的负载；获取mds集群的平均负载；依据mds节点的内存、CPU进行处理能力计算，获得对应的加权系数；判断mds节点的负载大于平均负载的时间是否超出阈值；若是，将高于平均负载的mds节点的数据迁移到低于平均负载的mds节点。通过对mds节点的内存、CPU进行处理能力计算，获得对应的加权系数，使得对于所有mds节点的数据处理能力得到更加精确的评估，对于元数据服务器进行区域划分，在进行子树迁移时，综合考虑负载和机器性能，依据各个mds节点的数据处理能力以及当前的负载，优化子树迁移目标的选择策略，减少了网络流量和迁移时间，提高了迁移效率。

Description

一种基于分布式存储的动态元数据优化方法和系统

技术领域

本发明涉及计算机硬件领域，特别是涉及一种基于分布式存储的动态元数据优化方法和系统。

背景技术

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以"发表"一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。因此，分布式文件系统可以满足高性能计算、数据库、网站、文件服务、流媒体、数字化视频监控、文件备份等领域的应用的存储平台。

元数据，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

MDS(Metadata Service)：元数据服务，提供元数据的各种访问操作。元数据集群在规模较小情况下可以采用主备模式(1个active、1个standby)，在规模较大或者性能要求较高时可采用集群模式。据统计，在文件系统的访问中，元数据访问占全部数据访问的50％--80％。为应对大量的元数据请求，保障系统的性能和稳定性，元数据的管理方式和mds集群的负载均衡就极其至关重要。

元数据热度：当客户端发出请求元数据时，对应的元数据热度加一。考虑到不同时间元数据的热度是不同的，因此元数据的热度会随着时间逐渐衰减。当元数据热度超过一定的阀值时，将会触发子树复制流程，系统在其他mds上创建缓存副本。

在单台mds节点持续高于负载阀值时，将会进行子树迁移，流程如下：

根据mds集群的全局负载状况，将高负载的节点迁移到低负载的节点；

根据mds的整体热度和负载关系，将热度较高的数据进行迁移从而达到元数据的负载均衡。

Ceph的元数据管理策略可以很好的管理热度数据和负载分布不均的问题，但实现子树迁移的过程却有如下问题：

迁移算法默认了所有的mds的效率是相同的。但是，当高配置、高负载的节点迁移到低配置、低负载的节点中时，低配置的mds节点接受过多的负载时，系统性能会成为瓶颈，虽然当下一轮均衡会将低配置节点无法处理的请求重新迁移到高配置节点中，但这个过程浪费了网络流量和迁移时间；子树迁移算法的目标是全局负载均衡，在网络延迟较大的情况下，这一目标需要花费较大的代价。

发明内容

本发明的目的是提供了一种基于分布式存储的动态元数据优化方法，减少了网络流量的朗得，减少了迁移时间，提高了数据迁移效率。

为解决上述技术问题，本发明实施例提供了一种基于分布式存储的动态元数据优化方法，包括：

获取mds节点的负载；

获取mds集群的平均负载；

依据所述mds节点的内存、CPU进行处理能力计算，获得对应的加权系数；

判断所述mds节点的负载大于所述平均负载的时间是否超出阈值；

若是，将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点。

其中，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，包括：

将高于所述平均负载的所述mds节点的数据对负载最小的所述mds节点进行目录子树迁移。

其中，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，还包括：

将高于所述平均负载的所述mds节点的数据对多个低于所述平均负载的所述mds节点进行目录子树迁移。

其中，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，还包括：

根据所述低于所述平均负载的所述mds节点的最大可接受负载确定，按照从低到高的顺序依次进行目录子树迁移。

除此之外，本发明实施例还提供了一种基于分布式存储的动态元数据优化系统，包括：

mds节点处理能力评估模块，用于根据mds节点的CPU、内存配置进行节点处理能力计算，获取对应的加权系数；

mds节点负载计算模块，与所述mds节点处理能力评估模块连接，用于根据所述mds节点在预定时间内的元数据热度，计算所述mds节点的负载；

全局平均负载计算模块，与所述mds节点处理能力评估模块连接，根据所述mds节点负载计算模获取所有节点的平均负载；

mds节点数据均衡模块，与所述mds节点处理能力评估模块连接，用于将所述mds节点的负载中超出从所述全局平均负载计算模块获得的平均负载的数据量作为需要均衡的数据量；

迁移模块，与所述mds节点数据均衡模块连接，根据所述需要均衡的数据量和对应的热度值，选择负载较小的所述mds节点作为目标迁移mds节点，将所述需要均衡的数据量进行目录子树迁移。

其中，还包括：

mds节点迁移选择模块，与所述mds节点数据均衡模块、所述迁移模块连接，用于根据所述mds节点负载计算模块，获取负载最低的所述mds节点，作为所述迁移模块进行数据迁移的目标mds节点。

其中，还包括：

mds可接受最大负载评估模块，与所述mds节点迁移选择模块连接，用于根据所述mds节点的负载计算出所述mds节点的可接受最大负载，所述mds节点迁移选择模块根据所述可接受最大负载，选择一个或多个所述mds节点进行所述需要均衡的数据量的目录子树迁移。

本发明实施例所提供的基于分布式存储的动态元数据优化方法和系统，与现有技术相比，具有以下优点：

本发明实施例提供的基于分布式存储的动态元数据优化方法，包括：

获取mds节点的负载；

获取mds集群的平均负载；

依据所述mds节点的内存、CPU进行处理能力计算，获得对应的加权系数；

判断所述mds节点的负载大于所述平均负载的时间是否超出阈值；

若是，将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点。

本发明实施例还提供的基于分布式存储的动态元数据优化系统，包括：

mds节点处理能力评估模块，用于根据mds节点的CPU、内存配置进行节点处理能力计算，获取对应的加权系数；

mds节点负载计算模块，与所述mds节点处理能力评估模块连接，用于根据所述mds节点在预定时间内的元数据热度，计算所述mds节点的负载；

全局平均负载计算模块，与所述mds节点处理能力评估模块连接，根据所述mds节点负载计算模获取所有节点的平均负载；

mds节点数据均衡模块，与所述mds节点处理能力评估模块连接，用于将所述mds节点的负载中超出从所述全局平均负载计算模块获得的平均负载的数据量作为需要均衡的数据量；

迁移模块，与所述mds节点数据均衡模块连接，根据所述需要均衡的数据量和对应的热度值，选择负载较小的所述mds节点作为目标迁移mds节点，将所述需要均衡的数据量进行目录子树迁移。

所述基于分布式存储的动态元数据优化方法和系统，通过对mds节点的内存、CPU进行处理能力计算，获得对应的加权系数，使得对于所有mds节点的数据处理能力得到更加精确的评估，对于元数据服务器进行区域划分，在进行子树迁移时，综合考虑负载和机器性能，依据各个mds节点的数据处理能力以及当前的负载，优化子树迁移目标的选择策略，不会给目的mds节点迁移过多的数据量，减少了迁移次数，减少了网络流量和迁移时间，提高了迁移效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于分布式存储的动态元数据优化方法的一种具体实施方式的步骤流程示意图；

图2为本发明实施例提供的基于分布式存储的动态元数据优化系统的一种具体实施方式的结构示意图；

图3为本发明实施例提供的基于分布式存储的动态元数据优化系统的另一种具体实施方式的结构示意图；

图4为本发明实施例提供的基于分布式存储的动态元数据优化系统的再一种具体实施方式的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1～4，图1为本发明实施例提供的基于分布式存储的动态元数据优化方法的一种具体实施方式的步骤流程示意图；图2为本发明实施例提供的基于分布式存储的动态元数据优化系统的一种具体实施方式的结构示意图；图3为本发明实施例提供的基于分布式存储的动态元数据优化系统的另一种具体实施方式的结构示意图；图4为本发明实施例提供的基于分布式存储的动态元数据优化系统的再一种具体实施方式的结构示意图。

在一种具体实施方式中，所述基于分布式存储的动态元数据优化方法，包括：

步骤1，获取mds节点的负载；通过获取mds节点的负载，便于后序与平均负载之间进行比较，判断该mds节点是否过载，以及根据评估的处理计算能力，合理进行负载分配，减少需要均衡的数据量的迁移次数。

步骤2，获取mds集群的平均负载；由于子树迁移的目标是实现全局负载均衡，因此，通过获取mds集群的平均负载，可以快速判断各个mds节点是否过载以及可接受迁移的数据量，减少迁移时间。

步骤3，依据所述mds节点的内存、CPU进行处理能力计算，获得对应的加权系数；通过以及内存、CPU进行处理能力计算，精确获得mds节点的数据处理能力，不在将各个mds节点的效率默认为相同，全力发挥每个mds节点的能力，提高硬件的利用效率。

步骤4，判断所述mds节点的负载大于所述平均负载的时间是否超出阈值；通过判断负载是否超出平均负载，判断是否过载，是否需要数据迁移。

若是，步骤5，将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，实现全局负载均衡。

其中，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，包括：

将高于所述平均负载的所述mds节点的数据对负载最小的所述mds节点进行目录子树迁移。

通过对mds节点的内存、CPU进行处理能力计算，获得对应的加权系数，使得对于所有mds节点的数据处理能力得到更加精确的评估，对于元数据服务器进行区域划分，在进行子树迁移时，综合考虑负载和机器性能，依据各个mds节点的数据处理能力以及当前的负载，优化子树迁移目标的选择策略，不会给目的mds节点迁移过多的数据量，减少了迁移次数，减少了网络流量和迁移时间，提高了迁移效率。

在本发明中，从一个mds节点进行数据迁移时，如果高于所述平均负载的所述mds节点的数据的数据量很小，只要随便给一个没有超出平均负载的mds进行迁移即可实现，但是也可能过载的mds节点的数据量过大，一个目的mds不能满足要求，如果只能是两个mds节点之间进行数据迁移，进行一次数据迁移后，只是将第一个mds节点变为负载均衡节点，而另一个节点还是过载，这需要进行重新分配，使得迁移次数增加，增加了迁移时间，尤其在网络延迟较大的情况下，为了实现全局负载均衡的目标，需要花费以很大的代价，为解决这一问题，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，还包括：

将高于所述平均负载的所述mds节点的数据对多个低于所述平均负载的所述mds节点进行目录子树迁移。

通过将一个过载mds节点的数据对多个不过载的mds进行目录子树迁移，可以减少了二次过载的可能性，减少了网络流量和迁移时间的消耗，即使在网络延迟较大的情况下，仍然能够快速实现全局负载均衡，扩大了Ceph的适用范围。

需要指出的是，本发明对于将高于所述平均负载的所述mds节点的数据对多个低于所述平均负载的所述mds节点进行目录子树迁移中，低于所述平均负载的所述mds节点的数量不作具体限定，对于具体的低于所述平均负载的所述mds节点不作具体限定。

对于低于所述平均负载的所述mds节点的数量，可以指定是3个或5个，也可以是根据过载的程度，如过载20％时，是对两个目标mds节点进行目录子树迁移，过载40％时，是对3个目标mds节点进行目录子树迁移；过载60％时，是对5个目标mds节点进行目录子树迁移。

同样的，在本发明中，为了实现全局负载均衡，会有多个mds发生过载，这些过载节点的目录子树迁移，可以是相互独立，也可以是具有优先级的，即对过载最高的一个或多个mds节点进行目录子树迁移，优先将过载过多的mds节点均衡掉，能够更加快速的实现全局均衡，本发明对于多个过载mds节点的负载均衡过程不作具体限定。

每个过载的mds节点的过载情况不同，同样每个目标mds节点的可接受数据能力也各不相同，为了更加快速地实现全局负载均衡，减少目的mds节点的数量，减少迁移的复杂程度，在一个实施例中，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，还包括：

根据所述低于所述平均负载的所述mds节点的最大可接受负载确定，按照从低到高的顺序依次进行目录子树迁移。

即通过在目的mds节点的最大可接受负载进行确定和评估，使其尽量在一次迁移中达到平均负载，减少了非平均负载的数量，快速降低非平均负载的数量和数据迁移复杂程度，使得实现全局负载均衡的时间更短，负载均衡的效率更快，即使在异构数据服务器和网络延迟较大的情况下，仍然能够快速实现负载均衡。

除此之外，本发明实施例还提供了一种基于分布式存储的动态元数据优化系统，包括：

mds节点处理能力评估模块10，用于根据mds节点的CPU、内存配置进行节点处理能力计算，获取对应的加权系数；

mds节点负载计算模块20，与所述mds节点处理能力评估模块10连接，用于根据所述mds节点在预定时间内的元数据热度，计算所述mds节点的负载；

全局平均负载计算模块30，与所述mds节点处理能力评估模块10连接，根据所述mds节点负载计算模获取所有节点的平均负载；

mds节点数据均衡模块40，与所述mds节点处理能力评估模块10连接，用于将所述mds节点的负载中超出从所述全局平均负载计算模块30获得的平均负载的数据量作为需要均衡的数据量；

迁移模块50，与所述mds节点数据均衡模块40连接，根据所述需要均衡的数据量和对应的热度值，选择负载较小的所述mds节点作为目标迁移mds节点，将所述需要均衡的数据量进行目录子树迁移。

在本发明中，迁移模块50的作用的是将所述需要均衡的数据量进行目录子树迁移，但是没有确定的迁移目标，为了使得全局负载均衡速度更快，迁移效率更高，减少迁移次数，在本发明的一个实施例中，所述基于分布式存储的动态元数据优化系统还包括：

mds节点迁移选择模块60，与所述mds节点数据均衡模块40、所述迁移模块50连接，用于根据所述mds节点负载计算模块20，获取负载最低的所述mds节点，作为所述迁移模块50进行数据迁移的目标mds节点。

通过mds节点迁移选择模块60，获取负载最低的所述mds节点，作为所述迁移模块50进行数据迁移的目标mds节点，尽量减少迁移次数，使得尽快达到全局负载均衡，快速减少最大过载与最低负载之间的差距，减少网络流量。

由于在数据迁移的过程中，为了尽快达到全局负载均衡，一般会同时将多个的过载mds节点进行数据迁移，可以是多个向一个迁移，也可以是一个向多个迁移，还可以是多个向多个迁移，在本发明一个实施例中，为了规范迁移过程，所述基于分布式存储的动态元数据优化系统还包括：

mds可接受最大负载评估模块70，与所述mds节点迁移选择模块60连接，用于根据所述mds节点的负载计算出所述mds节点的可接受最大负载，所述mds节点迁移选择模块60根据所述可接受最大负载，选择一个或多个所述mds节点进行所述需要均衡的数据量的目录子树迁移。

通过确定能够每个mds节点的可接受最大负载，在迁移过程中，不会个一个mds节点过多或者过少的数据迁移量，使其能够更加快速的实现达到平均负载的程度。

如a、b节点过载，c、d、e不过载，c节点距离全局平衡还需要5个数据量，那么a、b在迁移过程中会单个或总共为c节点一次性分配5个单位的数据迁移量，使其在一次迁移中实现达到平均负载的目的，甚至通过极端在同一次迁移中，对剩余的c、d节点计算合适的数据迁移量，使其一次性实现均衡，即使得整体实现一次迁移负载达到均衡的目的。

需要指出的是，在本发明中，由于各个节点的数据处理能力不同，平均负载与现有技术中的平均负载有所区别，不能是如20或50单位的负载量，而是20％或50％的负载百分比，即通过处理能力计算评估之后对应的平均负载。

综上所述，本发明实施例提供的基于分布式存储的动态元数据优化方法和系统，通过对mds节点的内存、CPU进行处理能力计算，获得对应的加权系数，使得对于所有mds节点的数据处理能力得到更加精确的评估，对于元数据服务器进行区域划分，在进行子树迁移时，综合考虑负载和机器性能，依据各个mds节点的数据处理能力以及当前的负载，优化子树迁移目标的选择策略，不会给目的mds节点迁移过多的数据量，减少了迁移次数，减少了网络流量和迁移时间，提高了迁移效率。

以上对本发明所提供的基于分布式存储的动态元数据优化方法和系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种基于分布式存储的动态元数据优化方法，其特征在于，包括：

获取mds节点的负载；

获取mds集群的平均负载；

依据所述mds节点的内存、CPU进行处理能力计算，获得对应的加权系数；

判断所述mds节点的负载大于所述平均负载的时间是否超出阈值；

若是，将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点。

2.如权利要求1所述基于分布式存储的动态元数据优化方法，其特征在于，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，包括：

将高于所述平均负载的所述mds节点的数据对负载最小的所述mds节点进行目录子树迁移。

3.如权利要求1所述基于分布式存储的动态元数据优化方法，其特征在于，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，还包括：

将高于所述平均负载的所述mds节点的数据对多个低于所述平均负载的所述mds节点进行目录子树迁移。

4.如权利要求3所述基于分布式存储的动态元数据优化方法，其特征在于，所述将高于所述平均负载的所述mds节点的数据迁移到低于所述平均负载的所述mds节点，还包括：

根据所述低于所述平均负载的所述mds节点的最大可接受负载确定，按照从低到高的顺序依次进行目录子树迁移。

5.一种基于分布式存储的动态元数据优化系统，其特征在于，包括：

mds节点处理能力评估模块，用于根据mds节点的CPU、内存配置进行节点处理能力计算，获取对应的加权系数；

mds节点负载计算模块，与所述mds节点处理能力评估模块连接，用于根据所述mds节点在预定时间内的元数据热度，计算所述mds节点的负载；

全局平均负载计算模块，与所述mds节点处理能力评估模块连接，根据所述mds节点负载计算模获取所有节点的平均负载；

mds节点数据均衡模块，与所述mds节点处理能力评估模块连接，用于将所述mds节点的负载中超出从所述全局平均负载计算模块获得的平均负载的数据量作为需要均衡的数据量；

迁移模块，与所述mds节点数据均衡模块连接，根据所述需要均衡的数据量和对应的热度值，选择负载较小的所述mds节点作为目标迁移mds节点，将所述需要均衡的数据量进行目录子树迁移。

6.如权利要求5所述基于分布式存储的动态元数据优化系统，其特征在于，还包括：

mds节点迁移选择模块，与所述mds节点数据均衡模块、所述迁移模块连接，用于根据所述mds节点负载计算模块，获取负载最低的所述mds节点，作为所述迁移模块进行数据迁移的目标mds节点。

7.如权利要求6所述基于分布式存储的动态元数据优化系统，其特征在于，还包括：

mds可接受最大负载评估模块，与所述mds节点迁移选择模块连接，用于根据所述mds节点的负载计算出所述mds节点的可接受最大负载，所述mds节点迁移选择模块根据所述可接受最大负载，选择一个或多个所述mds节点进行所述需要均衡的数据量的目录子树迁移。