CN106776759A - 分布式文件系统的小文件预读方法及系统 - Google Patents

Abstract

本申请公开了一种分布式文件系统的小文件预读方法，包括：步骤S1：接收用户发起的小文件的读请求；步骤S2：判断文件系统中是否存在相应的小文件缓存，若否，则执行后续步骤，若是，则执行步骤S4；步骤S3：读取底层存储介质中的小文件及其同目录下后续的小文件，将小文件及所述同目录下后续的小文件缓存至所述文件系统层中；步骤S4：读取文件系统层中的所述小文件缓存，将小文件缓存返回至所述用户。通过对底层存储介质中的小文件以及对应的同父目录下后续的小文件进行缓存，从文件系统层中直接读取小文件或者与所述同父目录下后续的小文件能够加快小文件读取速度。本申请还公开一种分布式文件系统的小文件预读系统，具有同样的技术效果。

Description

分布式文件系统的小文件预读方法及系统

技术领域

本发明涉及数据读取技术领域，特别涉及一种分布式文件系统的小文件预读方法，还涉及一种分布式文件系统的小文件预读系统。

背景技术

在分布式文件系统中，数据预读是常见的功能，它可以减少IO(数据输入和输出)路径长度，提高对文件的读性能。具体的，在底层存储介质中用户进程读取文件依次只能读取一个文件中的一部分数据，将剩下的一部分数据进行预读，即将剩下的一部分数据缓存至文件系统层面，便于下次读取剩下数据时，并不是从底层存储介质中读取，而是从文件系统层进行读取，加快了数据读取的速度。

海量小文件在一次读取过程中将小文件中的数据全部读取，然而，一次读取通常要读取不止一个小文件，如果读取多个小文件时，上述数据读取方法在小文件读取过程中并没有发挥优势，一次读取进程中，读取剩余小文件仍然需要从底层存储介质中读取，导致海量小文件读取速度变慢。

因此，如何提高海量小文件的预读速度是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种分布式文件系统的小文件预读方法，有效提高海量小文件的预读速度。

为解决上述技术问题，本发明提供一种分布式文件系统的小文件预读方法，包括：

步骤S1：接收用户发起的小文件的读请求；

步骤S2：根据所述预读请求判断文件系统层中是否存在相应的小文件缓存，若否，则执行后续步骤，若是，则执行步骤S4；

步骤S3：读取底层存储介质中的所述小文件及其同目录下后续的小文件，将所述小文件及所述同目录下后续的小文件缓存至所述文件系统层中；

步骤S4：读取所述文件系统层中的所述小文件缓存，并将所述小文件缓存返回至所述用户。

优选的，在上述分布式文件系统的小文件预读方法中，所述步骤S3之前，还包括：

判断所述小文件以及所述同目录下后续的小文件的大小是否超过用户配置的文件大小阈值，若否，则执行所述步骤S3。

优选的，在上述分布式文件系统的小文件预读方法中，所述步骤S3之后，还包括：

步骤S5：判断已缓存至文件系统层中的所述同目录下后续的小文件的数量是否超过用户配置的文件数量阈值，若否，则继续缓存所述同父目录下后续的小文件，若是，则停止缓存。

优选的，在上述分布式文件系统的小文件预读方法中，所述步骤S4之后，还包括：

按照文件在目录中偏移量读取已缓存的所述同父目录下后续的小文件。

优选的，在上述分布式文件系统的小文件预读方法中，所述步骤S4之后，还包括：

按照节点号顺序读取已缓存的所述同父目录下后续的小文件。

本发明还提供一种分布式文件系统的小文件预读系统，包括：

接收模块，用于接收用户发起的小文件的读请求；

第一判断模块，用于判断文件系统层中是否存在相应的小文件缓存；

缓存模块，用于将所述小文件及所述同目录下后续的小文件缓存至所述文件系统层中；

预读模块，用于读取底层存储介质中的所述小文件及其同目录下后续的小文件，读取所述文件系统层中的所述小文件缓存。

优选的，在上述分布式文件系统的小文件预读系统中，还包括：

第二判断模块，用于判断所述小文件以及所述同目录下后续的小文件的大小是否超过用户配置的文件大小阈值。

优选的，在上述分布式文件系统的小文件预读系统中，还包括：

第三判断模块，用于判断已缓存至文件系统层中的所述同目录下后续的小文件的数量是否超过用户配置的文件数量阈值。

优选的，在上述分布式文件系统的小文件预读系统中，所述预读模块包括：

第一预读单元，用于按照在目录中文件偏移量读取已缓存的所述同父目录下后续的小文件。

优选的，在上述分布式文件系统的小文件预读系统中，所述预读模块还包括：

第二预读单元，用于按照节点号顺序读取已缓存的所述同父目录下后续的小文件。

本发明所提供一种分布式文件系统的小文件预读方法，步骤S1：接收用户发起的小文件的读请求；步骤S2：判断文件系统层中是否存在相应的小文件缓存，若否，则执行后续步骤，若是，则执行步骤S4；步骤S3：读取底层存储介质中的所述小文件及其同目录下后续的小文件，将所述小文件及所述同目录下后续的小文件缓存至所述文件系统层中；步骤S4：读取所述文件系统层中的所述小文件缓存，并将所述小文件缓存返回至所述用户。

基于一次进程是顺序读取文件的，并且一次并不能把文件全部读取的场景，本发明提供了一种分布式文件系统的小文件预读方法，通过将在底层存储介质中读取的小文件以及对应的同父目录下后续的小文件进行缓存，从文件系统层中直接读取小文件或者与所述同父目录下后续的小文件能够加快小文件读取速度。

本发明还提供一种分布式文件系统的小文件预读系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的分布式文件系统的小文件预读方法的流程图；

图2为本发明实施例所提供的分布式文件系统的小文件预读系统的结构框图。

具体实施方式

本发明的核心是提供一种分布式文件系统的小文件预读方法及系统，有效提高海量小文件的预读速度。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的分布式文件系统的小文件预读方法的流程图。

在一种具体实施方式中，本发明提供一种分布式文件系统的小文件预读方法，包括：

步骤S1：接收用户发起的小文件的读请求；

步骤S2：判断文件系统层中是否存在相应的小文件缓存，若否，则执行后续步骤，若是，则执行步骤S4；

其中，判断小文件A是否在文件系统层中有缓存文件A’，缓存文件A’的内容与小文件A完全相同。

步骤S3：读取底层存储介质中的所述小文件及其同目录下后续的小文件，将所述小文件及所述同目录下后续的小文件缓存至所述文件系统层中。

其中，如果没有缓存至文件系统层中，则读取底层存储介质中的小文件A，同时将小文件A以及同父目录小文件如小文件B、C、D等，缓存至所述文件系统层中，形成缓存文件A’、B’、C’、D’等。

步骤S4：读取所述文件系统层中的所述小文件缓存，并将所述小文件缓存返回至所述用户。

由于小文件的数据占有量小，则预读时一次进程将读取小文件中的所有数据，但是对于海量小文件，一次进程每次的读取均从底层存储介质中读取，降低读取速度。现举例具体说明本发明提供的海量小文件读取方法。

目录dira下面有10000个小文件，小文件名称分布为file_0，file_1，file_2，file_3，……file_9999，每个小文件大小为400K，用户开启预读功能，分布式文件系统层接收用户发送的对小文件的预读请求，如预读请求为预读对象为小于512K的文件，按照用户预设的预读进程信息进行预读，预读进程信息如一次进程预读小文件的数量，按照什么方式进行预读等。读取文件file_0时，判断分布式文件系统层中是否存在与文件file_0对应的缓存文件，如果不存在，则触发预读，将file_0以及父母录的目录项中将file_0对应的其它小文件缓存在文件系统层中，将文件file_0返回至用户，对已缓存的所述同父目录小文件进行预读时，选取与文件file_0文件顺序读取的下一个小文件file_1进行预读，即将小文件file_1返回至用户。需要说明的是，预读是异步的，不会影响用户对底层存储介质中的读取。

基于一次进程是顺序读取文件的，并且一次并不能把文件全部读取的场景，本发明提供了一种分布式文件系统的小文件预读方法，通过对底层存储介质中的小文件以及对应的同父目录下后续的小文件进行缓存，从文件系统层中直接读取小文件或者与所述同父目录下后续的小文件能够加快小文件读取速度。本申请还公开一种分布式文件系统的小文件预读系统。

在上述分布式文件系统的小文件预读方法的基础上，所述步骤S3之前，还包括：

判断所述小文件以及所述同目录下后续的小文件的大小是否超过用户配置的文件大小阈值，若否，则执行所述步骤S3。

例如，预读对象为小于或者等于512K的文件，即文件大小阈值为512K，大小小于或者等于512K的小文件可以被读取，大于512K的小文件不能被读取。文件大小阈值通过用户配置确定，根据需求设定即可。

在上述分布式文件系统的小文件预读方法的基础上，所述步骤S3之后，还包括：

步骤S5：判断已缓存至文件系统层中的所述同目录下后续的小文件的数量是否超过用户配置的文件数量阈值，若否，则继续缓存所述同父目录下后续的小文件，若是，则停止缓存。

其中，预设了已缓存的所述同父目录小文件的文件数量阈值，按照文件数量阈值依次对已缓存的所述同父目录小文件进行读取，即一次进程预读的小文件数量达到阈值的小文件，如果缓存的小文件数量达到阈值则无需缓存，可以进行预读，如果没有达到文件数量阈值，则继续缓存。

可选的，在上述分布式文件系统的小文件预读方法的基础上，所述步骤S4之后，还包括：

按照文件在目录中偏移量读取已缓存的所述同父目录下后续的小文件。例如，可设置每次预读会读取10个小文件，并且按照文件在目录中的偏移量预读。

可选的，在上述分布式文件系统的小文件预读方法的基础上，所述步骤S4之后，还包括：

按照节点号顺序读取已缓存的所述同父目录下后续的小文件。

例如，可设置每次预读会读取10个文件，并且按照文件在目录中的节点号顺序预读。

需要指出的是，包括但不限于上述预读方式，还可以选择其他的预读方式，均在保护范围内。

下面对本发明实施例提供的一种分布式文件系统的小文件预读系统进行介绍，下文描述的一种分布式文件系统的小文件预读系统与方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的分布式文件系统的小文件预读系统的结构框图。本发明还提供一种分布式文件系统的小文件预读系统，包括：

接收模块100，用于接收用户发起的小文件的读请求；

第一判断模块200，用于判断文件系统层中是否存在相应的小文件缓存；

缓存模块300，用于将所述小文件及所述同目录下后续的小文件缓存至所述文件系统层中；

预读模块400，用于读取底层存储介质中的所述小文件及其同目录下后续的小文件，读取所述文件系统层中的所述小文件缓存。

进一步的，在上述分布式文件系统的小文件预读系统中，还包括：

第二判断模块，用于判断所述小文件以及所述同目录下后续的小文件的大小是否超过用户配置的文件大小阈值。

进一步的，在上述分布式文件系统的小文件预读系统中，还包括：

第三判断模块，用于判断已缓存至文件系统层中的所述同目录下后续的小文件的数量是否超过用户配置的文件数量阈值。

进一步的，在上述分布式文件系统的小文件预读系统中，所述预读模块包括：

第一预读单元，用于按照在目录中文件偏移量读取已缓存的所述同父目录下后续的小文件。

进一步的，在上述分布式文件系统的小文件预读系统中，所述预读模块还包括：

第二预读单元，用于按照节点号顺序读取已缓存的所述同父目录下后续的小文件。

本发明提供的一种分布式文件系统的小文件预读系统，通过对底层存储介质中的小文件以及对应的同父目录下的小文件进行缓存，从文件系统层中直接读取小文件或者与所述小文件对应的同父目录小文件能够加快小文件读取速度。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式文件系统的小文件预读方法，其特征在于，包括：

步骤S1：接收用户发起的小文件的读请求；

步骤S2：判断文件系统层中是否存在相应的小文件缓存，若否，则执行后续步骤，若是，则执行步骤S4；

步骤S3：读取底层存储介质中的所述小文件及其同目录下后续的小文件，将所述小文件及所述同目录下后续的小文件缓存至所述文件系统层中；

步骤S4：读取所述文件系统层中的所述小文件缓存，并将所述小文件缓存返回至所述用户。

2.如权利要求1所述的分布式文件系统的小文件预读方法，其特征在于，所述步骤S3之前，还包括：

判断所述小文件以及所述同目录下后续的小文件的大小是否超过用户配置的文件大小阈值，若否，则执行所述步骤S3。

3.如权利要求2所述的分布式文件系统的小文件预读方法，其特征在于，所述步骤S3之后，还包括：

步骤S5：判断已缓存至文件系统层中的所述同目录下后续的小文件的数量是否超过用户配置的文件数量阈值，若否，则继续缓存所述同父目录下后续的小文件，若是，则停止缓存。

4.如权利要求3所述的分布式文件系统的小文件预读方法，其特征在于，所述步骤S4之后，还包括：

按照文件在目录中偏移量读取已缓存的所述同父目录下后续的小文件。

5.如权利要求3所述的分布式文件系统的小文件预读方法，其特征在于，所述步骤S4之后，还包括：

按照节点号顺序读取已缓存的所述同父目录下后续的小文件。

6.一种分布式文件系统的小文件预读系统，其特征在于，包括：

接收模块，用于接收用户发起的小文件的读请求；

第一判断模块，用于判断文件系统层中是否存在相应的小文件缓存；

缓存模块，用于将所述小文件及所述同目录下后续的小文件缓存至所述文件系统层中；

预读模块，用于读取底层存储介质中的所述小文件及其同目录下后续的小文件，读取所述文件系统层中的所述小文件缓存。

7.如权利要求6所述的分布式文件系统的小文件预读系统，其特征在于，还包括：

第二判断模块，用于判断所述小文件以及所述同目录下后续的小文件的大小是否超过用户配置的文件大小阈值。

8.如权利要求7所述的分布式文件系统的小文件预读系统，其特征在于，还包括：

第三判断模块，用于判断已缓存至文件系统层中的所述同目录下后续的小文件的数量是否超过用户配置的文件数量阈值。

9.如权利要求8所述的分布式文件系统的小文件预读系统，其特征在于，所述预读模块包括：

第一预读单元，用于按照在目录中文件偏移量读取已缓存的所述同父目录下后续的小文件。

10.如权利要求8所述的分布式文件系统的小文件预读系统，其特征在于，所述预读模块还包括：

第二预读单元，用于按照节点号顺序读取已缓存的所述同父目录下后续的小文件。