CN103150402B - 基于索引编码的虚拟文件系统及建立方法、访问方法 - Google Patents

Abstract

本发明公开了基于索引编码的虚拟文件系统及建立方法、访问方法，减少了合并文件过程中产生的读取和写入操作，降低系统IO负载，使文件在不需要读取和写入内容的情况下完成文件合并的操作。其技术方案为：系统包括：接口模块，接收用户的合并请求生成索引文件，其中合并请求包括若干原始文件和目标镜像文件；索引目录模块，连接接口模块，通过一索引目录结构存储生成的索引文件，索引文件和目标镜像文件一一对应，索引文件中包含目标镜像文件和原始文件的文件信息；镜像文件系统，连接索引目录模块，根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成镜像文件系统中对应的目标镜像文件。

Description

基于索引编码的虚拟文件系统及建立方法、访问方法

技术领域

本发明涉及计算机文件系统领域，尤其涉及文件合并操作相关的文件系统。

背景技术

为了在复杂的网络环境下提供优质的网络服务，现今提供网络服务的网站(如论坛、门户网站、网络游戏、视频等等)都普遍自建或购买内容分发网络来对网络服务进行加速，同时也降低了源站的压力。

内容分发网络的使用导致访问日志散布在大量的机器上，需要进行排序和合并。为了提高排序和日志合并的效率，一般以较小的时间粒度来处理日志文件，再对排序完的日志进行合并，因此产生了大量的日志文件合并的操作。

在现有的文件系统中，要将两个或多个文件合并成一个文件需要将文件内容从文件系统中读出，再重新写入到文件系统中。其两种合并过程如下：

（1）创建一个新的空文件，并发所有待合并文件的内容从文件系统中读出，并追加到选定文件的末尾，如图1所示。首先，创建一个新的空文件，读取第一个待合并的文件的内容然后写入到空文件中，再继续读下一个待合并的文件。

（2）选定两个或多个文件中的一个，从文件系统中读取其他待合并文件的内容，并追加写入到选定文件的末尾，如图2所示。首先，从众多待合并的文件中选择一个作为选定文件，然后将其余的待合并文件逐个的进行读取然后写入到选定文件的末尾。

这种现有文件系统的文件合成方式有以下的不足：

1.大量的IO操作，导致系统IP负载过高，进一步导致服务器性能下降。

2.合并操作需要的时间长，导致系统延时增加。

3.多数时候，系统需要保存合并前后的文件，例如上面的日志系统，这样就需要消耗两倍的存储空间。

发明内容

本发明的目的是解决上述问题，提供了一种基于索引编码的虚拟文件系统及建立方法、访问方法，减少了合并文件过程中产生的读取和写入操作，降低系统IO负载，使文件在不需要读取和写入内容的情况下完成文件合并的操作。

本发明的技术方案为：本发明揭示了一种基于索引编码的虚拟文件系统，包括：

接口模块，接收用户的合并请求生成索引文件，其中合并请求包括若干原始文件和目标镜像文件；

索引目录模块，连接接口模块，通过一索引目录结构存储生成的索引文件，索引文件和目标镜像文件一一对应，索引文件中包含目标镜像文件和原始文件的文件信息；

镜像文件系统，连接索引目录模块，根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成镜像文件系统中对应的目标镜像文件。

根据本发明的基于索引编码的虚拟文件系统的一实施例，索引目录模块的索引目录结构存放在任何可访问的文件系统上。

根据本发明的基于索引编码的虚拟文件系统的一实施例，镜像文件系统还包括：

文件信息查询单元，供用户查询镜像文件系统中的目标镜像文件的文件信息，根据目标镜像文件在索引目录结构中的对应的索引文件中的信息直接响应查询；

文件内容访问单元，供用户访问镜像文件系统中的目标镜像文件的文件内容，根据用户要求访问的内容在目标镜像文件中的文件偏移和原始文件的信息计算出该内容所在的原始文件及相应的文件偏移，从原始文件中读取出相应的内容并返回给用户。

根据本发明的基于索引编码的虚拟文件系统的一实施例，文件信息包括但不限于文件大小、文件名称、最后修改时间。

本发明揭示了一种基于索引编码的虚拟文件系统的建立方法，包括：

接收用户的合并请求生成索引文件，其中合并请求包括若干原始文件和目标镜像文件；

通过一索引目录结构存储生成的索引文件，索引文件和目标镜像文件一一对应，索引文件中包含目标镜像文件和原始文件的文件信息；

根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成对应的目标镜像文件，多个目标镜像文件形成镜像文件系统。

根据本发明的基于索引编码的虚拟文件系统的建立方法的一实施例，索引目录模块的索引目录结构存放在任何可访问的文件系统上。

根据本发明的基于索引编码的虚拟文件系统的建立方法的一实施例，文件信息包括但不限于文件大小、文件名称、最后修改时间。

本发明揭示了一种基于索引编码的虚拟文件系统的访问方法，包括：

接收用户对目标镜像文件的访问请求；

根据用户要求访问的目标镜像文件访问其一一对应的索引文件，从索引文件的记录中获取目标镜像文件的文件信息和原始文件的文件信息；

判断用户所要访问的对象，若是访问目标镜像文件的文件信息，则直接返回获取到的目标镜像文件的文件信息和原始文件的文件信息；

若是访问目标镜像文件的文件内容，则根据用户要求访问的内容在目标镜像文件中的文件偏移和原始文件的信息计算出该内容所在的原始文件及相应的文件偏移，从原始文件中读取出相应的内容并返回给用户。

根据本发明的基于索引编码的虚拟文件系统的访问方法的一实施例，文件信息包括但不限于文件大小、文件名称、最后修改时间。

本发明对比现有技术有如下的有益效果：本发明的方案是通过接口模块接收用户的合并请求生成索引文件，索引目录模块通过一索引目录结构存储生成的索引文件，索引文件和目标镜像文件一一对应，镜像文件系统根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成镜像文件系统中对应的目标镜像文件。相较于传统技术，本发明在不读取和重新写入文件内容的情况下，将若干指定文件合并成新的文件，即镜像文件。镜像文件和使用传统文件合并出来的文件一样，但是合并过程中并不会发生文件内容的读取和写入操作，同时该镜像文件不占用实际的存储空间。

附图说明

图1和图2示出了传统的文件合并方式。

图3A示出了本发明的基于索引编码的虚拟文件系统的较佳实施例的结构图。

图3B示出了图3A所示的虚拟文件系统实施例的原理图。

图4A示出了本发明的基于索引编码的虚拟文件系统的建立方法的较佳实施例的流程图。

图4B示出了图4A所示的虚拟文件系统的建立方法的示意图。

图5A示出了本发明的基于索引编码的虚拟文件系统的访问方法的较佳实施例的流程图。

图5B示出了图5A所示的虚拟文件系统的访问方法的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

基于索引编码的虚拟文件系统的实施例

图3A示出了本发明的基于索引编码的虚拟文件系统的较佳实施例的结构，图3B示出了图3A所示的虚拟文件系统实施例的原理。请参见图3A，本实施例的基于索引编码的虚拟文件系统包括：接口模块10、索引目录模块11、镜像文件系统12。索引目录模块11连接接口模块10，镜像文件系统12连接索引目录模块11。

请同时参见图3B，接口模块10接收用户的合并请求生成索引文件，其中合并请求包括若干用于生成目标文件的原始文件和用户指定的目标镜像文件。接口模块10在收到用户的指令后检查用户指定的所有原始文件，记录这些原始文件的文件信息（包括但不限于文件大小、文件名称、最后修改时间等），并根据这些原始文件的文件信息以及用户指定生成的目标文件的文件信息，接口模块10将创建一个与目标文件一一对应的索引文件，把目标文件的文件信息以及所有原始文件的文件信息编码并写入该索引文件中。

索引目录模块11通过一索引目录结构存储生成的索引文件，索引文件和目标镜像文件一一对应，索引文件中包含目标镜像文件和原始文件的文件信息，文件信息包括但不限于文件大小、文件名称、最后修改时间。索引目录模块11的索引目录结构存放在任何可访问的文件系统上，例如传统文件系统的磁盘、光盘文件系统、闪存文件系统、内存文件系统、网络文件系统等。

镜像文件系统12根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成镜像文件系统中对应的目标镜像文件，供用户查看和读取使用。镜像文件系统12包括文件信息查询单元120和文件内容访问单元122。镜像文件系统12的API接口被重写后接管用户对镜像文件系统的访问。当用户访问一个路径/文件时，如果该路径/文件属于镜像文件系统12，那么访问过程中属于镜像文件系统部分的文件系统访问接口将由虚拟文件系统接管提供。用户像读取传统文件系统中的文件一样，从镜像文件系统12中读取目标镜像文件，用户不会也不需要感知到该文件是镜像文件而不是在传统文件系统中真实存在的文件。

组织镜像文件的文件系统，由虚拟文件系统根据索引目录结构生成。用户由此读取使用镜像文件。镜像文件系统12像其他的文件系统一样挂载在目录树上。用户可以像访问传统文件系统一样访问镜像文件系统(写属性操作除外)，镜像文件系统提供和传统文件系统一样的访问接口，用户不会也不需要感知到其访问的是镜像文件系统12。用户对镜像文件系统12内所有文件和目录的写属性的操作都会返回失败，写属性的操作用户需要通过重新生成索引文件来实现，也就是说，镜像文件系统本身是一个只读文件系统。

文件信息查询单元120供用户查询镜像文件系统中的目标镜像文件的文件信息（例如响应ls、stat之类命令的操作），根据目标镜像文件在索引目录结构中的对应的索引文件中的信息直接响应查询。

文件内容访问单元122供用户访问镜像文件系统中的目标镜像文件的文件内容，根据用户要求访问的内容在目标镜像文件中的文件偏移和原始文件的信息计算出该内容所在的原始文件及相应的文件偏移，从原始文件中读取出相应的内容并返回给用户。

基于索引编码的虚拟文件系统的建立方法的实施例

基于上述的基于索引编码的虚拟文件系统，其建立方法如图4A所示，而图4B示出了一个具体示例的示意图。

请参见图4A，下面是对本实施例的虚拟文件系统的建立方法的各个步骤的详细描述。

步骤S10：接收用户的合并请求生成索引文件，其中合并请求包括若干原始文件和目标镜像文件。

系统在收到用户的指令后检查用户指定的所有原始文件，记录这些原始文件的文件信息（文件信息包括但不限于文件大小、文件名称、最后修改时间等），并根据这些原始文件的文件信息以及用户指定生成的目标文件的文件信息，创建一个与目标文件一一对应的索引文件，把目标文件的文件信息以及所有原始文件的文件信息编码并写入该索引文件中。

步骤S11：通过一索引目录结构存储生成的索引文件，索引文件和目标镜像文件一一对应，索引文件中包含目标镜像文件和原始文件的文件信息。

索引目录结构存放在任何可访问的文件系统上，例如传统文件系统的磁盘、光盘文件系统、闪存文件系统、内存文件系统、网络文件系统等。

步骤S12：根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成对应的目标镜像文件，多个目标镜像文件形成镜像文件系统。

镜像文件系统根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成镜像文件系统中对应的目标镜像文件，供用户查看和读取使用。镜像文件系统的API接口被重写后接管用户对镜像文件系统的访问。当用户访问一个路径/文件时，如果该路径/文件属于镜像文件系统，那么访问过程中属于镜像文件系统部分的文件系统访问接口将由虚拟文件系统接管提供。

镜像文件系统像其他的文件系统一样挂载在目录树上。用户可以像访问传统文件系统一样访问镜像文件系统(写属性操作除外)，镜像文件系统提供和传统文件系统一样的访问接口，用户不会也不需要感知到其访问的是镜像文件系统。用户对镜像文件系统内所有文件和目录的写属性的操作都会返回失败，写属性的操作用户需要通过重新生成索引文件来实现，也就是说，镜像文件系统本身是一个只读文件系统。

请参见图4B，用户向接口模块要求生成目标镜像文件/index/test/ws.file，用于生成该目标文件的3个原始文件为/src/s1/ws1.f1，/src/s1/ws2.f2，/src/s2/ws3.f3。接口模块根据用户输入查找上述3个原始文件，并访问其文件信息，若访问及建立索引文件失败，则向用户报告错误。反之根据原始文件信息和用户输入的目标镜像文件生成目标镜像文件的文件信息：文件名为用户输入的目标镜像文件的文件名，文件的大小为上述3个原始文件合成后的大小，文件的最后修改时间为上述3个原始文件最后修改时间中最新的那一个，其他文件属性类似处理生成等。接口模块创建一个与目标镜像文件一一对应的索引文件，并把在上一步中生成的目标镜像文件的文件信息和访问到的原始文件的文件信息写入改索引文件。

基于索引编码的虚拟文件系统的访问方法的实施例

图5A示出了上述实施例的基于索引编码的虚拟文件系统的访问方法的较佳实施例的流程。图5B示出了图5A所示的虚拟文件系统的访问方法的示意图。

请参见图5A，下面是对本实施例的虚拟文件系统的访问方法的各个步骤的详细描述。

步骤S20：接收用户对目标镜像文件的访问请求。

步骤S21：根据用户要求访问的目标镜像文件访问其一一对应的索引文件，从索引文件的记录中获取目标镜像文件的文件信息和原始文件的文件信息。文件信息包括文件大小、文件名称、最后修改时间等。

步骤S22：判断用户所要访问的对象，若是访问目标镜像文件的文件信息，则直接返回获取到的目标镜像文件的文件信息和原始文件的文件信息。

步骤S23：若是访问目标镜像文件的文件内容，则根据用户要求访问的内容在目标镜像文件中的文件偏移和原始文件的信息计算出该内容所在的原始文件及相应的文件偏移，从原始文件中读取出相应的内容并返回给用户。

请参见图5B，用户要求访问文件/dst/test/ws.file。虚拟文件系统根据用户要求访问的目标镜像文件访问其一一对应的索引文件/index/test/ws.file，获取目标镜像文件的文件信息及原始文件的文件信息。若用户要求访问的是镜像文件的文件信息，例如用户要求知道文件名、文件大小、最后修改时间等信息，则虚拟文件系统根据索引文件中记录的信息直接返回。若用户要求访问的是文件的内容，则虚拟文件系统根据用户要求访问的内容在镜像文件中的文件偏移和原始文件的信息计算出这段内容所在的原始文件(可能有多个)及相应的文件偏移。虚拟文件系统从原始文件中读取出相应的内容，并返回给用户。用户获取到文件信息/内容，用户像访问传统的文件系统一样访问了文件，并获取到了想要的结果，而不关心相应的文件系统底层API已被虚拟文件系统接管。

上述实施例是提供给本领域普通技术人员来实现和使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书所提到的创新性特征的最大范围。

Claims (9)

1.一种基于索引编码的虚拟文件系统，包括：

接口模块，接收用户的合并请求生成索引文件，其中合并请求包括若干原始文件和目标镜像文件；

索引目录模块，连接接口模块，通过一索引目录结构存储生成的索引文件，索引文件和目标镜像文件一一对应，索引文件中包含目标镜像文件和原始文件的文件信息；

镜像文件系统，连接索引目录模块，根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成镜像文件系统中对应的目标镜像文件。

2.根据权利要求1所述的基于索引编码的虚拟文件系统，其特征在于，索引目录模块的索引目录结构存放在任何可访问的文件系统上。

3.根据权利要求1所述的基于索引编码的虚拟文件系统，其特征在于，镜像文件系统还包括：

文件信息查询单元，供用户查询镜像文件系统中的目标镜像文件的文件信息，根据目标镜像文件在索引目录结构中的对应的索引文件中的信息直接响应查询；

文件内容访问单元，供用户访问镜像文件系统中的目标镜像文件的文件内容，根据用户要求访问的内容在目标镜像文件中的文件偏移和原始文件的信息计算出该内容所在的原始文件及相应的文件偏移，从原始文件中读取出相应的内容并返回给用户。

4.根据权利要求1－3中任一项所述的基于索引编码的虚拟文件系统，其特征在于，文件信息包括但不限于文件大小、文件名称、最后修改时间。

5.一种基于索引编码的虚拟文件系统的建立方法，包括：

接收用户的合并请求生成索引文件，其中合并请求包括若干原始文件和目标镜像文件；

通过一索引目录结构存储生成的索引文件，索引文件和目标镜像文件一一对应，索引文件中包含目标镜像文件和原始文件的文件信息；

根据索引目录结构中的索引文件和索引文件中指出的原始文件，生成对应的目标镜像文件，多个目标镜像文件形成镜像文件系统。

6.根据权利要求5所述的基于索引编码的虚拟文件系统的建立方法，其特征在于，索引目录模块的索引目录结构存放在任何可访问的文件系统上。

7.根据权利要求5或6所述的基于索引编码的虚拟文件系统的建立方法，其特征在于，文件信息包括但不限于文件大小、文件名称、最后修改时间。

8.一种如权利要求1所述的基于索引编码的虚拟文件系统的访问方法，包括：

接收用户对目标镜像文件的访问请求；

根据用户要求访问的目标镜像文件访问其一一对应的索引文件，从索引文件的记录中获取目标镜像文件的文件信息和原始文件的文件信息；

判断用户所要访问的对象，若是访问目标镜像文件的文件信息，则直接返回获取到的目标镜像文件的文件信息和原始文件的文件信息；

若是访问目标镜像文件的文件内容，则根据用户要求访问的内容在目标镜像文件中的文件偏移和原始文件的信息计算出该内容所在的原始文件及相应的文件偏移，从原始文件中读取出相应的内容并返回给用户。

9.根据权利要求8所述的基于索引编码的虚拟文件系统的访问方法，其特征在于，文件信息包括但不限于文件大小、文件名称、最后修改时间。