CN105404691A - 一种文件存储的方法及装置 - Google Patents

Abstract

本发明提供了一种文件存储的方法及装置，包括：获取文件的数据量大小；判断所述文件的数据量是否小于阈值；若所述文件的数据量小于阈值，将所述文件存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间。采用本发明的技术方案，在对文件进行备份或修复时，可大大降低磁盘寻址所耗费的计算资源和时间，也即提高文件备份或存储时的效率。

Description

一种文件存储的方法及装置

技术领域

本发明涉及数据存储的技术领域，特别涉及一种文件存储的方法及装置。

背景技术

现有的文件存储方案中，文件通常是以目录树结构来组织的，当文件数量很多时，目录内的文件数会很多、目录层次也会较深。尤其是从几K～几百K不等，数量巨大的小文件，处理时磁盘输入输出接口过高。小文件的文件数据较小，而小文件备份或修复过程中的磁盘寻址会耗费较多的计算资源和时间，导致小文件的备份与修复存在效率较低的问题。

发明内容

本发明实施例提出了一种文件存储的方法及装置，用以提高小文件备份与修复的效率。

本发明实施例提供了一种文件存储的方法，包括如下步骤：

获取文件的数据量大小；

判断所述文件的数据量是否小于阈值；

若所述文件的数据量小于阈值，将所述文件存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间。

本发明实施例提供了一种文件存储的装置，包括：

获取单元，用于获取文件的数据量大小；

判断单元，用于判断所述文件的数据量是否小于阈值；

存储单元，用于若所述文件的数据量小于阈值，将所述文件存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间。

本发明有益效果如下：

本发明实施例提供了一种文件存储的方法及装置，通过获取的文件数据量，并将判断数据量小于阈值的小文件聚合存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间，可以有效减少小文件存储的数据对象的数量，采用此种文件存储的方案，在对文件进行备份或修复时，可大大降低磁盘寻址所耗费的计算资源和时间，也即提高文件备份或存储时的效率。

附图说明

下面将参照附图描述本发明的具体实施例，

图1为本发明实施例中文件存储的方法的流程示意图；

图2为本发明实施例中文件存储映射关系示意图；

图3为本发明实施例中文件存储的方法的实施例示意图；

图4为本发明实施例中文件存储的装置的结构示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明书中的实施例及实施例中的特征可以互相结合。

图1为本发明实施例中文件存储的方法的流程示意图，如图1所示，文件存储的方法可以包括如下步骤：

步骤101：获取文件的数据量大小；

步骤102：判断所述文件的数据量是否小于阈值；

步骤103：若所述文件的数据量小于阈值，将所述文件存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间。

具体实施中，在存储文件过程中，请求文件存储操作的用户态程序需要将文件所在地址、写入位置、写入长度传递给内核空间，由此，可以获取待存储文件的数据量大小(即，对应写入长度)。

阈值为预先设定的，阈值可以为10KB、500KB、1MB等，具体的取值可以由本领域技术人员根据实际应用场景而定，这里不做具体限定。

当确定所述文件的数据量小于阈值时，将其与其他小于阈值的文件聚合存储形成一个聚合文件，在聚合文件覆盖的存储空间中，每个文件都有其对应的存储空间，所述文件对应的存储空间即为特定存储空间。这样多个文件为多个数据对象，聚合存储形成一个聚合文件后就变成一个数据对象。在进行数据备份或修复等处理时，可以有效减少小文件存储的数据对象的数量，大大降低文件备份或存储时的磁盘寻址所耗费的计算资源和时间，有效提高文件备份或存储时的效率。

本发明实施例提供的种文件存储的方法，通过获取的文件数据量，并将判断数据量小于阈值的小文件聚合存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间，可以有效减少小文件存储的数据对象的数量，采用此种文件存储的方案，在对文件进行备份或修复时，可大大降低磁盘寻址所耗费的计算资源和时间，也即提高文件备份或存储时的效率。

具体实施中，还可以将是否支持文件聚合将作为文件目录的一个可设置的属性，通过设置文件目录的该属性来确定位于该文件目录下的文件的存储是否可以应用本发明人实施例提供的文件存储的方法。即，若一个文件目录的是否支持文件聚合的属性为支持文件聚合，则在该文件目录下创建的文件均可以聚合存储。其中，可以在文件目录的索引节点inode中设置存储模式Storemode标志，所述存储模式标志包括支持聚合存储的聚合文件目录和不支持聚合存储的普通文件目录。

实施中，获取文件的数据量大小，可以具体包括：

获取所述文件首次回写的数据量大小；

判断所述文件的数据量是否小于阈值，具体包括：

将所述文件首次回写的数据量与所述阈值进行比较；

若所述文件首次回写的数据量小于所述阈值，则所述文件的数据量小于所述阈值；

若所述文件首次回写的数据量大于或等于所述阈值，则所述文件的数据量不小于所述阈值。

具体实施中，对于数据量较小的小文件读写的特性是常常打开，写入小数据，然后关闭，因此根据文件的第一次回写数据量的大小，就基本可以确定该文件是否需要以本发明实施例中提供的文件存储的方法进行存储。即，如果第一次回写的大小超过阈值，则按照普通文件存储，和以前的读写保持一致，否则采用本发明实施例中提供的文件存储的方法进行存储。

实施中，将所述文件存储至特定存储空间，可以具体包括：

确定容器文件中是否为所述文件分配所述特定存储空间，所述特定存储空间位于所述容器文件中；

若所述容器文件中为所述文件分配了所述特定存储空间，则将所述文件存储至所述特定存储空间；

所述容器文件中没有为所述文件分配存储空间，则请求在所述容器文件中分配存储空间；

将所述文件存储至在所述容器文件中为所述文件的分配的存储空间。

具体实施中，确定容器文件中是否为所述文件分配所述特定存储空间之前，可以为所述容器文件分配存储空间，具体地，所述容器文件包括初创容器文件和非初创容器文件，若所述容器文件为初创容器文件，则为所述容器文件分配存储空间，对于初创容器文件可以根据经验等为其分配固定大小的存储空间；若所述容器文件为非初创容器文件，当所述非初创容器文件存储空间不足时，根据聚合存储所述文件所需的空间为所述非初创容器文件分配存储空间。对于非初创容器文件存储空间不足时，可以根据当前待写入该非初创容器文件的文件大小的情况，为该非初创容器文件请求分配相应的存储空间。

实施中，将所述文件存储至特定存储空间，可以具体包括：

将所述文件存储至存储空间覆盖所述特定存储空间的聚合文件中，所述聚合文件位于所述容器文件中，由多个小文件聚合而成；

所述聚合文件的索引节点中保存所述聚合文件的布局信息，所述聚合文件的布局信息包括：包括的所述文件的长度、所述文件在所述聚合文件中的偏移量、所述文件的标志信息、所述文件对应容器文件中的段区间管理结构、所述文件在所述容器文件中的偏移量或所述文件位于所述容器中的段区间号。

具体实施中，所述文件与其他数据量小于阈值的小文件聚合存储至一个聚合文件中，在该聚合文件中为所述文件及其他小文件分配了相应的存储空间，其中，在该聚合文件中为所述文件分配的存储空间即为特定存储空间。

图2为本发明实施例中文件存储映射关系示意图，如图2所示，从附图2的左侧开始第一列为聚合文件的一段存储空间(包括两个小文件，从上自下依次命名为文件0和文件1)示意图，从左侧开始的第二列为所述聚合文件的索引节点中保存的该段存储空间的布局信息，具体包括：

文件0的相关信息：

文件0的长度(len_pgstripe)为a1，在该聚合文件中的偏移量(off_pgstripe)为0，标志信息(flags，例如，数据为长整型、浮点型等待)，对应在容器文件中的s1段区间管理结构(ctain_segsn＝s1)，文件0在所述容器文件中的偏移量(ctain_off_pgstripe)为b1，文件0位于所述容器中的段区间号(ctain_extsn)为c1。

文件1的相关信息：

文件1的长度(len_pgstripe)为a2，在该聚合文件中的偏移量(off_pgstripe)为a1，文件1的标志信息(flags，例如，数据为长整型、浮点型等待)，文件1的对应在容器文件中的s2段区间管理结构(ctain_segsn＝s2)，文件1在所述容器文件中的偏移量(ctain_off_pgstripe)为0，文件1位于所述容器中的段区间号(ctain_extsn)为c2。

图2中仅是对聚合文件布局信息的示例性说明，聚合文件的布局信息的参数名称、出现顺序等，本领域技术人员可以根据实际需要确定，不作具体限定。

实施中，所述容器文件的索引节点inode可以保存所述容器文件的存储布局信息，所述存储布局信息包括：段区间管理结构、段区间信息、所述段区间存储的文件在所述容器文件中的偏移量、所述段区间存储的文件的长度或所述段区间存储的文件的标志信息。

具体实施中，如图2所示，从附图2的右侧开始第一列为容器文件两段存储空间示意图，在这两段存储空间中分别存储上述的文件0和文件1(对应容器文件的段区间管理结构s1和s2)。从附图2的右侧开始第二列为容器文件的存储布局信息，具体包括：

段区间管理结构s1的相关信息：

段区间管理结构名称为s1(segsn＝s1)，对应的段(存储)区间为c1(ctain_extsn＝c1)，存储在该段区间内的文件0在所述容器文件中的偏移量为b1(off_pgstripe＝b1)，存储在该段区间内的文件0的长度为a1(len_pgstripe＝a1)，存储在该段区间内的文件0的标志信息等等。

段区间管理结构s1的相关信息：

段区间管理结构名称为s2(segsn＝s2)，对应的段(存储)区间为c2(ctain_extsn＝c2)，存储在该段区间内的文件1在所述容器文件中的偏移量为0(off_pgstripe＝0)，存储在该段区间内的文件1的长度为a2(len_pgstripe＝a2)，存储在该段区间内的文件1的标志信息等等。

图2中仅是对容器文件布局信息的示例性说明，容器文件的布局信息的参数名称、出现顺序等，本领域技术人员可以根据实际需要确定，不作具体限定。

实施中，将所述文件存储至特定存储空间之后，调整所述聚合文件的布局信息或所述容器文件的存储布局信息。

具体实施中，将所述文件存储至特定存储空间之后，可以根据所述文件的长度、标志信息、与其所在的聚合文件中的偏移量、对应容器文件中的段区间管理结构、所述文件在所述容器文件中的偏移量或所述文件位于所述容器中的段区间号等相关信息，对所述聚合文件的布局信息或所述容器文件的存储布局信息进行更新或调整，以保证存储所述文件后，可以准确地检索所述文件。

基于同一发明构思，本发明实施例中还提供了一种文件存储的装置，由于该装置解决问题的原理与一种文件存储的方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

图4为本发明实施例中文件存储的装置的结构示意图，如图4所示，该文件存储的装置可以包括：

获取单元401，用于获取文件的数据量大小；

判断单元402，用于判断所述文件的数据量是否小于阈值；

存储单元403，用于若所述文件的数据量小于阈值，将所述文件存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间。

实施中，所述获取单元可以具体用于获取所述文件首次回写的数据量大小；

所述判断单元可以具体用于将所述文件首次回写的数据量与所述阈值进行比较；若所述文件首次回写的数据量小于所述阈值，则所述文件的数据量小于所述阈值；若所述文件首次回写的数据量大于或等于所述阈值，则所述文件的数据量不小于所述阈值。

实施中，所述存储单元可以具体用于确定容器文件中是否为所述文件分配所述特定存储空间，所述特定存储空间位于所述容器文件中；若所述容器文件中为所述文件分配了所述特定存储空间，则将所述文件存储至所述特定存储空间；所述容器文件中没有为所述文件分配存储空间，则请求在所述容器文件中分配存储空间；将所述文件存储至在所述容器文件中为所述文件的分配的存储空间。

实施中，所述存储单元可以具体用于将所述文件存储至存储空间覆盖所述特定存储空间的聚合文件中，所述聚合文件位于所述容器文件中，由多个小文件聚合而成；所述聚合文件的索引节点中保存所述聚合文件的布局信息，所述聚合文件的布局信息包括：包括的所述文件的长度、所述文件在所述聚合文件中的偏移量、所述文件的标志信息、所述文件对应容器文件中的段区间管理结构、所述文件在所述容器文件中的偏移量或所述文件位于所述容器中的段区间号。

实施中，所述容器文件的索引节点可以保存所述容器文件的存储布局信息，所述存储布局信息包括：段区间管理结构、段区间信息、所述段区间存储的文件在所述容器文件中的偏移量、所述段区间存储的文件的长度或所述段区间存储的文件的标志信息。

实施中，所述文件存储的装置还可以包括：

信息修改单元，用于将所述文件存储至特定存储空间之后，调整所述聚合文件的布局信息或所述容器文件的存储布局信息。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种文件存储的方法，其特征在于，包括如下步骤：

获取文件的数据量大小；

判断所述文件的数据量是否小于阈值；

若所述文件的数据量小于阈值，将所述文件存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间。

2.如权利要求1所述的方法，其特征在于，获取文件的数据量大小，具体包括：

获取所述文件首次回写的数据量大小；

判断所述文件的数据量是否小于阈值，具体包括：

将所述文件首次回写的数据量与所述阈值进行比较；

若所述文件首次回写的数据量小于所述阈值，则所述文件的数据量小于所述阈值；

若所述文件首次回写的数据量大于或等于所述阈值，则所述文件的数据量不小于所述阈值。

3.如权利要求1所述的方法，其特征在于，将所述文件存储至特定存储空间，具体包括：

确定容器文件中是否为所述文件分配所述特定存储空间，所述特定存储空间位于所述容器文件中；

若所述容器文件中为所述文件分配了所述特定存储空间，则将所述文件存储至所述特定存储空间；

所述容器文件中没有为所述文件分配存储空间，则请求在所述容器文件中分配存储空间；

将所述文件存储至在所述容器文件中为所述文件的分配的存储空间。

4.如权利要求3所述的方法，其特征在于，将所述文件存储至特定存储空间，具体包括：

将所述文件存储至存储空间覆盖所述特定存储空间的聚合文件中，所述聚合文件位于所述容器文件中，由多个小文件聚合而成；

所述聚合文件的索引节点中保存所述聚合文件的布局信息，所述聚合文件的布局信息包括：包括的所述文件的长度、所述文件在所述聚合文件中的偏移量、所述文件的标志信息、所述文件对应容器文件中的段区间管理结构、所述文件在所述容器文件中的偏移量或所述文件位于所述容器中的段区间号。

5.如权利要求4所述的方法，其特征在于，所述容器文件的索引节点inode保存所述容器文件的存储布局信息，所述存储布局信息包括：段区间管理结构、段区间信息、所述段区间存储的文件在所述容器文件中的偏移量、所述段区间存储的文件的长度或所述段区间存储的文件的标志信息。

6.如权利要求5所述的方法，其特征在于，将所述文件存储至特定存储空间之后，调整所述聚合文件的布局信息或所述容器文件的存储布局信息。

7.一种文件存储的装置，其特征在于，包括：

获取单元，用于获取文件的数据量大小；

判断单元，用于判断所述文件的数据量是否小于阈值；

存储单元，用于若所述文件的数据量小于阈值，将所述文件存储至特定存储空间，所述特定存储空间是在多个小文件聚合存储的存储空间中为所述文件分配的存储空间。

8.如权利要求7所述的装置，其特征在于，所述获取单元具体用于获取所述文件首次回写的数据量大小；

所述判断单元具体用于将所述文件首次回写的数据量与所述阈值进行比较；若所述文件首次回写的数据量小于所述阈值，则所述文件的数据量小于所述阈值；若所述文件首次回写的数据量大于或等于所述阈值，则所述文件的数据量不小于所述阈值。

9.如权利要求7所述的装置，其特征在于，所述存储单元具体用于确定容器文件中是否为所述文件分配所述特定存储空间，所述特定存储空间位于所述容器文件中；若所述容器文件中为所述文件分配了所述特定存储空间，则将所述文件存储至所述特定存储空间；所述容器文件中没有为所述文件分配存储空间，则请求在所述容器文件中分配存储空间；将所述文件存储至在所述容器文件中为所述文件的分配的存储空间。

10.如权利要求9所述的装置，其特征在于，所述存储单元具体用于将所述文件存储至存储空间覆盖所述特定存储空间的聚合文件中，所述聚合文件位于所述容器文件中，由多个小文件聚合而成；所述聚合文件的索引节点中保存所述聚合文件的布局信息，所述聚合文件的布局信息包括：包括的所述文件的长度、所述文件在所述聚合文件中的偏移量、所述文件的标志信息、所述文件对应容器文件中的段区间管理结构、所述文件在所述容器文件中的偏移量或所述文件位于所述容器中的段区间号。

11.如权利要求10所述的装置，其特征在于，所述容器文件的索引节点保存所述容器文件的存储布局信息，所述存储布局信息包括：段区间管理结构、段区间信息、所述段区间存储的文件在所述容器文件中的偏移量、所述段区间存储的文件的长度或所述段区间存储的文件的标志信息。

12.如权利要求11所述的装置，其特征在于，还包括：

信息修改单元，用于将所述文件存储至特定存储空间之后，调整所述聚合文件的布局信息或所述容器文件的存储布局信息。