CN107239569A - 一种分布式文件系统子树存储方法及装置 - Google Patents

Abstract

本申请公开了一种分布式文件系统子树存储方法，该方法包括：元数据集群对目录进行分区处理，得到目录子树；为每一个所述目录子树的信息和目录子树对应的权限信息分配一个元数据服务，作为子树信息；将所述子树信息存储到以SSD盘为基础的元数据池。通过使用SSD盘作为存储元数据的磁盘，可以利用SSD的快速读取的特点，加快文件系统对元数据的操作性能。由于用户对文件的操作速度由元数据的操作速度决定，因此也提高整个文件系统的性能。本申请开公开了一种分布式文件系统子树存储装置，该装置具有以上有益效果。

Description

一种分布式文件系统子树存储方法及装置

技术领域

本申请涉及分布式文件系统元数据性能优化领域，特别涉及一种分布式文件系统子树存储方法及装置。

背景技术

信息技术的高速发展，随之而来的是更多的数据需要存储，因此就需要文件系统来管理存储数据。文件系统中的数据分为数据和元数据，数据指的是普通文件中的实际数据，而元数据指用来描述一个文件特征的系统数据，例如访问权限、文件拥有者以及文件的储存的分布信息等。在集群文件系统中，目录信息包括文件在磁盘上的位置以及磁盘在集群中的位置。用户需要操作一个文件必须首先读取到文件的元数据，才能定位到文件的位置并且得到文件的内容或相关属性。

因此，在面对数量繁多的文件的应用场景中，操作文件的性能就受制于元数据的读取写入性能。所以在读取元数据中，通常元数据集群通常将目录信息中的目录划分为多个目录子树，将这些子树的负载压力均分到元数据服务上。通过将目录存储压力进行划分，到每个目录子树上，减少了部分的目录负载压力。

而一般元数据集群将目录子树信息存储到日志中，通过日志存储目录子树信息。由于日志是分段存储的，因此每个日志端都要保存一份子树信息，以保证子树信息的正确性。因此当文件数量较多时，子树信息的数量也会指数级的增加，所需要的日志数据因此变得庞大，影响日志的读取组度，进而影响元数据的性能。

因此，如何解决分布式文件系统中元数据性能问题，是本领域技术人员需要重点探讨的问题。

发明内容

本申请的目的是提供一种分布文件系统子树存储方法及装置，通过使用SSD盘作为存储元数据的磁盘，还有使用对象存储的存储文件方式，优化了元数据中的子树的读取性能，加快了元数据的操作速度，使元数据的性能得到了很大的提升。

为解决上述技术问题，本申请提供一种分布式文件系统子树存储方法，该方法包括：

元数据集群对目录进行分区处理，得到目录子树；

为每一个所述目录子树的信息和所述目录子树对应的权限信息分配一个元数据服务，作为子树信息；

将所述子树信息存储到以SSD盘为基础的元数据池。

可选的，当所述目录子树变化时，还包括：

以日志的形式记录所述目录子树的变化，得到子树变化日志；

当所述子树变化日志存盘时，根据所述子树变化日志对保存的所述子树信息进行更新，并将更新后的所述子树信息存入所述元数据池的相应对象中。

可选的，还包括：

将所述目录对应的数据，以对象存储的方式存储在以SATA盘为基础的数据池中。

可选的，所述权限信息还包括：

访问权限、文件拥有者以及文件数据块的分布信息。

本申请还提供一种分布式文件系统子树存储装置，该装置包括：

分区处理模块，用于元数据集群对目录进行分区处理，得到目录子树；

分配服务模块，用于为每一个所述目录子树的信息和所述目录子树对应的权限信息分配一个元数据服务，作为子树信息；

元数据存储模块，用于将所述子树信息存储到以SSD盘为基础的元数据池。

可选的，还包括：更新模块，其中，所述更新模块包括：

更新获取单元，用于以日志的形式记录所述目录子树的变化，得到子树变化日志；

更新单元，用于当所述子树变化日志存盘时，根据所述子树变化日志对保存的所述子树信息进行更新，并将更新后的所述子树信息存入所述元数据池的相应对象中。

可选的，还包括：

数据存储模块，用于将所述目录对应的数据，以对象存储的方式存储在以SATA盘为基础的数据池中。

本申请所提供的一种分布式文件系统子树存储方法，包括步骤：元数据集群对目录进行分区处理，得到目录子树；为每一个所述目录子树的信息和权限信息分配一个元数据服务，并保存作为子树信息；将所述子树信息存储到以SSD盘为基础的元数据池。

通过使用SSD盘作为存储元数据的磁盘，可以利用SSD的快速读取的特点，加快文件系统对元数据的操作性能。由于用户对文件的操作速度由元数据的操作速度决定，因此也提高整个文件系统的性能。本申请还提供一种分布式文件系统子树存储装置，具有上述有益效果，在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的分布式文件系统子树存储的流程图；

图2为本申请实施例提供的目录子树更新的流程图；

图3为本申请实施例提供的分布式文件系统子树存储装置的框图；

图4为本申请实施例提供的更新模块与数据存储模块的框图；

图5为本申请实施例提供的一种具体的子树分区概念图；

图6为本申请实施例提供的一种具体的子树存储示意图。

具体实施方式

本申请的核心是提供一种分布式文件系统子树存储方法及装置，可以提高文件系统的性能。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例提供的分布式文件系统子树存储的流程图。

本方法实施例，可以包括步骤：

S100，元数据集群对目录进行分区处理，得到目录子树；

S200，为每一个所述目录子树的信息和所述目录子树对应的权限信息分配一个元数据服务，作为子树信息；

S300，将所述子树信息存储到以SSD盘为基础的元数据池。

在步骤S100中，需要说明的是，元数据集群拥有元数据管理功能，也可以看作是元数据管理器的集合。通常在面对大量数据文件时目录树信息会显得庞大臃肿，因此将目录树划分为目录子树来管理，并且可以将子树的压力负载均分到元数据服务上，而划分子树的数量可以根据文件目录的大小来决定，在本实施例中不做限定。

通过SSD盘为基础的元数据池处理元数据IO，通过SATA盘为基础的数据池处理数据IO，可以在成本可控下达到较优的数据处理方案。同时，元数据IO通过元数据集群进行划分等其他处理，再存储至元数据池中，因此可以将元数据集群看作元数据的管理器的集合。通过元数据集群处理，目录被划分为子树信息存至元数据池，同时目录中的其他元数据也被存至元数据池。

其中，其他元数据，也可以叫做其他信息包括访问权限、文件拥有者以及文件数据块的分布信息，在本实施例中只列出如上信息，可以根据存储的内容对所存储的信息进行增减，在此不做限定。

本申请实施例提供了一种分布式文件系统子树存储方法，可以通过将决定数据性能的元数据迁移到SSD磁盘中进行读写操作，具有较快的读写速度，同时提高文件系统的性能。

请参考图2，图2为本申请实施例提供的目录子树更新的流程图。

基于上述实施例，本实施例在目录子树发生变化时，还可以包括：

S410，以日志的形式记录所述目录子树的变化，得到子树变化日志；

S420，当所述子树变化日志存盘时，根据所述子树变化日志对保存的所述子树信息进行更新，并将更新后的所述子树信息存入所述元数据池的相应对象中。

在文件系统子树发生变化时，首先写入的是元数据池的日志盘，当日志盘落盘时重新计算子树信息。将新的子树信息落到元数据池的特定对象中。

基于上述实施例，本实施例还可以包括：

将该目录对应的数据，以对象存储的方式存储在以SATA盘为基础的数据池中。

文件系统会把存储的文件数据分为元数据和数据，其中，目录对应的数据指的是该数据，也就是元数据中目录指向的数据。而对于该数据的存储方式一般有快存储方式和文件存储方式，但是快存储虽然读写速度较快但不利于数据的共享，而文件存储利于数据的共享但读写速度较慢，因此本实施例选用对象存储方式，具有较快的读写速度同时利于共享。同时提供文件系统读写对象接口，方便子树发生时立即更新子树信息。

本申请实施例提供了一种分布式文件系统子树存储方法，可以通过上述方法能够提高文件系统的子树的存储读取的效率，从而提高文件系统的运行性能。

下面对本申请实施例提供的分布式文件系统子树存储装置进行介绍，下文描述的分布式文件系统子树存储装置与上文描述的分布式文件系统子树存储方法可相互对应参照。

请参考图3，图3为本申请实施例提供的分布式文件系统子树存储装置的框图。

本装置实施例，可以包括：

分区处理模块100，用于元数据集群对目录进行分区处理，得到目录子树；

分配服务模块200，用于为每一个所述目录子树的信息和所述目录子树对应的权限信息分配一个元数据服务，作为子树信息；

元数据存储模块300，用于将所述子树信息存储到以SSD盘为基础的元数据池。

请参考图4，图4为本申请实施例提供的更新模块与数据存储模块的框图。

基于上述实施例，本实施例还可以包括更新模块400，所述更新模块400包括：

更新获取单元410，用于以日志的形式记录所述目录子树的变化，得到子树变化日志；

更新单元420，用于当所述子树变化日志存盘时，根据所述子树变化日志对保存的所述子树信息进行更新，并将更新后的所述子树信息存入所述元数据池的相应对象中。

基于上述实施例，本实施例还可以包括：

数据存储模块500，用于将所述目录对应的数据，以对象存储的方式存储在以SATA盘为基础的数据池中。

下面，请参考图5，图5提供了一种具体的子树分区概念图。

如图，根据目录的结构将目录分为图中的多个目录子树，每个目录子树有一个子树根，子树根目录是每个目录子树的重要标记，用于区分不同的目录子树。该目录子树的信息也包括子树根的信息。同时目录子树信息对应了相关的权限信息，也同时和目录子树的信息分配一个元数据服务。

图6为提供了一种具体的子树存储示意图。

如图中所示，划分目录子树随后，将目录子树以及分配的其他信息和元数据服务，作为子树信息存储到元数据池，在本实施例中元数据池使用SSD磁盘作为存储介质，SSD盘又叫做固态硬盘，相比起一般的SATA磁盘具有较高的读取和写入速度，因此在对元数据进行操作时可以保持较高性能，以及较高的每秒操作次数。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的分布文件系统子树存储方法及系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (7)

1.一种分布式文件系统子树存储方法，其特征在于，所述方法包括：

元数据集群对目录进行分区处理，得到目录子树；

为每一个所述目录子树的信息和所述目录子树对应的权限信息分配一个元数据服务作为子树信息；

将所述子树信息存储到以SSD盘为基础的元数据池。

2.根据权利要求1所述的方法，其特征在于，当所述目录子树变化时，还包括：

以日志的形式记录所述目录子树的变化，得到子树变化日志；

当所述子树变化日志存盘时，根据所述子树变化日志对保存的所述子树信息进行更新，并将更新后的所述子树信息存入所述元数据池的相应对象中。

3.根据权利要求2所述的方法，其特征在于，还包括：

将所述目录对应的数据，以对象存储的方式存储在以SATA盘为基础的数据池中。

4.根据权利要求3所述的方法，其特征在于，所述权限信息还包括：

访问权限、文件拥有者以及文件数据块的分布信息。

5.一种分布式文件系统子树存储装置，其特征在于，所述装置包括：

分区处理模块，用于元数据集群对目录进行分区处理，得到目录子树；

分配服务模块，用于为每一个所述目录子树的信息和所述目录子树对应的权限信息分配一个元数据服务作为子树信息；

元数据存储模块，用于将所述子树信息存储到以SSD盘为基础的元数据池。

6.根据权利要求5所述的装置，其特征在于，还包括：更新模块，其中，所述更新模块包括：

更新获取单元，用于以日志的形式记录所述目录子树的变化，得到子树变化日志；

更新单元，用于当所述子树变化日志存盘时，根据所述子树变化日志对保存的所述子树信息进行更新，并将更新后的所述子树信息存入所述元数据池的相应对象中。

7.根据权利要求6所述的装置，其特征在于，还包括：

数据存储模块，用于将所述目录对应的数据，以对象存储的方式存储在以SATA盘为基础的数据池中。