CN103443789A - 后向兼容聚合文件系统操作性能改进方法和相应装置 - Google Patents

Abstract

一种操作文件系统的方法包括以下步骤：设计虚拟文件，以从文件目录提供结果，对于所述结果要求大量系统调用；由唯一名称区分虚拟文件与文件目录中的真实文件；以及通过打开虚拟文件并且读取虚拟文件的内容来从所述文件目录获取所述结果。设计虚拟文件特别用于文件系统操作。

Description

后向兼容聚合文件系统操作性能改进方法和相应装置

技术领域

本发明涉及用于操作包括文件目录的文件系统的方法和装置，尤其涉及使用该方法的家用网关。

背景技术

将终端用户的家用网络连接到因特网的家用网关以在间隔时间内使用的方式被广泛使用。家用网关通常通过数字用户线路（DSL）和被称为POTS（普通老式电话服务）的电话通信提供宽带服务，并且此外包括用于家用网络的有线传输（例如因特网）和无线传输（Wi-Fi）。为了提供服务，家用网关包括在类似Unix的操作系统上运行的微处理器系统（CPU）。

操作系统包括连同主控制程序（内核）一起的应用程序和实用工具。内核提供服务以开始和停止程序，处理文件系统和多数应用程序共享的其他共用的“低级”任务，并且调度访问以避免应用程序之间的冲突。为了中介这种访问，内核具有反映为其用户空间和系统空间之间的虚拟存储器分离的特权。系统空间严格为运行内核、内核扩展和多数设备驱动器而保留。相反，用户空间是其中所有用户模式应用程序工作的存储器区域并且该存储器在必要时可以被换出。

用于文件系统的关键想法是它们具有固定应用程序编程接口（API），其使得不同种类的文件系统可互操作。对于利用文件系统的应用程序，文件系统的格式（例如，FAT32、NTFS、Ext3…）没有影响，并且应用程序也不应该关心这个。对于类似Unix的操作系统，文件系统的API符合可移植操作系统接口（POSIX）标准，其是IEEE规定的标准族。

虽然文件系统API使得文件系统之间的可互操作性不重要（这是一个真正的优点），但这也可能是对于某些应用程序的弱点。某些很基本的操作不可能是直接的并且必须利用API的可用功能模拟，这可能在资源方面成本很高。

文件系统是操作系统的一部分，并且同样地它们在系统空间中运行。另一方面，应用程序运行在更少的特权的用户空间中。为了跨越用户空间和系统空间之间的边界，操作系统提供图1中图示的系统调用接口。系统调用是应用程序如何从操作系统的内核请求服务。一般地，存在使得借助函数如操作系统使用的系统调用可被用户空间访问的中间库，例如标准C库。

当应用程序直接调用系统调用时或者调用来自将调用系统调用的库中的函数时，要求用户空间和系统空间之间的转换。虽然存在其他实现，一种使得从用户空间转换到系统空间的常用方式是借助软件中断。利用该软件中断实现，系统调用的数量必须被加载到微处理器的寄存器中，并且执行软件中断，以传递控制权（control）到内核。

由于文件系统驻留在特权系统空间中，它们不能利用任何库。同样，实现文件系统是很复杂的。例如，存储器管理在系统空间中比其在用户空间中难得多。为了克服此限制，也可以在用户空间中实现文件系统。用以允许在用户空间中实现文件系统的实现的一个示例是用户空间中的文件系统（Filesystem in Userspace,FUSE）。FUSE是用于类似Unix的计算机操作系统的可加载内核模块。其如图2所图示包括行为与正常文件系统5类似的FUSE内核驱动器4和用于在用户空间中的文件系统3和FUSE内核驱动器4之间通信的FUSE库6。驻留在用户空间中的文件系统实现负责实现文件系统的接口。FUSE因此允许在用户空间中运行文件系统代码，同时FUSE内核驱动器4提供到操作系统内核的桥梁（bridge）。

当应用程序与在用户空间中实现的文件系统3交互时，相应的系统调用被发起为如使用驻留在系统空间中的任何文件系统一样。在内核内部，由FUSE内核驱动器4处理系统调用。FUSE内核驱动器4串行化系统调用并且经由FUSE字符设备将其传播回用户空间，在用户空间中，FUSE库6调用由文件系统3在用户空间中实现的对应函数。返回路径以相反的顺序遵循相同路径。

FUSE仅仅是允许在用户空间中实现文件系统的实现的一个示例，但是应该在这里强调的是，用户空间中所有种类的文件系统要求上下文切换。上下文切换是存储和恢复微处理器的状态以便可以在稍后时刻从相同点继续执行的计算处理。这使得多个处理更够共享单个CPU并且上下文切换是多任务操作系统的必要特征。上下文切换通常是计算密集型并且操作系统的大部分设计用于优化上下文切换的使用。上下文切换可以是寄存器上下文切换、任务上下文切换、线程上下文切换或者进程上下文切换。

进程上下文切换是将控制权从一个进程转换到另一个。进行这种上下文切换涉及存储第一进程的状态，使得其可以稍后继续，以及发起（initiate）第二进程的状态。对于用户空间中的文件系统3的实现，系统调用中的每个导致两个上下文切换：进行系统调用的应用程序被暂停，使得实现为另一进程的文件系统可以处理该调用，并且当该调用返回时，调用应用程序继续。

在实现在用户空间中的文件系统的范围中，最大开销由此通过其要求的大量的上下文切换引入。图2中的大箭头1、2指示必须跨越的边界。垂直箭头1指示用户空间和系统空间之间的边界，无论文件系统在系统空间还是用户空间中实现，对于所有文件系统调用，该边界必须被跨越。水平箭头2图示进程之间的边界，其是当系统文件在用户空间中实现时引入的额外开销。

现在描述例示文件系统使用的三个示例，其将导致大量系统调用。如果向驻留在用户空间中的文件系统3应用这些示例，则这将导致不可实行数量的上下文切换：

b.1）计数目录中的元素：

下面的伪代码例示如何能够计数目录/foo/bar中的元素的数量。调用系统调用的函数由黑体指示。

如果在目录/foo/bar中存在n个元素，则由该代码片段调用的系统调用的数量是2+n。如果/foo/bar是在用户空间中实现的文件系统内部的目录，则这导致2（2+n）个上下文切换。

b．2）计数目录中所有直接子目录中的元素

该示例可能像是之前示例的直接结果，但是如将在部分d.2中解释的，其稍有不同地被解决。虽然这可能看作是人工问题（artificial problem），但是该示例具有真实使用情况（例如，UPnP AV BrowseDirectChildren行为）。

如果/foo/bar具有n个子目录，每个子目录m具有mi个元素，则该伪代码片段调用

个系统调用。如果/foo/bar还驻留在用户空间文件系统中，则这将导致

个上下文切换。

b.3)依据偏移量读取目录元素/读取块中的完整目录

POSIX文件系统API不提供类似方式在目录句柄内部搜索，如对于文件句柄。对于文件，可以将位置指示符设置到文件中的任何位置。被提供用于目录句柄的搜索函数仅允许回复到更早的存储位置。因此，跳过目录条目只能通过忽略条目来完成。

假设应用程序需要读取具有很多条目的目录的子集，并且假设该应用程序不能保持目录句柄打开。例如，需要在滚动块中显示目录内容的网页每次仅仅可以显示N个元素。依赖于滚动块的位置，网络服务应该以一定偏移量读取N个条目。为了显示最先的N个条目，上下文切换的数量是2（N+2）。读取下面N个条目（由此跳过N个条目，之后读取N个条目）涉及2（2N+2）个。总地，用于读取这2N个目录条目的上下文切换的数量是2（3N+4）。

一般地，如果目录包含m乘N个条目，则每次用于读取具有N个条目的完整目录的上下文切换的数量是关于目录中元素的数量的二次阶。对于计数目录的元素（本质上是线性运算），这是成本很高的运算。这可以通过以下计算例示：

$2\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\[i,N+2\]=4m+2N\underset{i=1}{\overset{m}{\mathrm{\Σ}}}i=4m+2N\frac{m(m+1)}{2}=4m+\frac{2N{m}^2+2\mathrm{Nm}}{2}\≅O\left(m^2\right)$

US6389427B1公开一种增强计算机文件系统中只读操作的性能的方法和装置。该方法可以在完成初始设置之后透明地在操作系统中执行。该初始设置涉及确定什么目录或者文件将要被监视，以拦截对那些文件的访问请求并且用增强的性能响应那些请求。系统管理者可以规定什么目录或者文件将要被监视。当打开被监视的文件时，使用文件标识符，由此绕过任何目录元数据信息的访问。在一个实施例中，通过将文件存入（pin）由文件系统高速缓冲存储器管理器维护的数据高速缓冲存储器中来增强对被监视文件的访问。

发明内容

一种操作包括文件目录（所述文件目录具有真实文件）的文件系统的方法允许以最小数量的系统调用从文件系统获取信息。为了做到这一点，所述方法包括以下步骤：设计虚拟文件，以从文件目录提供结果，对于所述结果要求大量系统调用；由唯一名称区分虚拟文件与文件目录中的真实文件；以及通过打开虚拟文件并且读取虚拟文件的内容来从所述文件目录获取所述结果。设计虚拟文件特别用于文件系统操作。

在本发明的另一方面，本发明包括以下步骤，当改变文件目录的内容时，更新虚拟文件的结果。由唯一文件扩展有利地区分虚拟文件与文件目录中的真实文件并且将虚拟文件布置在所述文件目录内部。

在第一优选实施例中，该方法包括以下步骤：设计虚拟文件用于以下文件系统操作：计数所述文件目录中的元素。在第二优选实施例中，该方法包括以下步骤，设计虚拟文件用于以下文件系统操作：计数所述文件目录的所有直接子目录的元素。在第三优选实施例中，该方法包括以下步骤，设计虚拟文件用于以下文件系统操作：依据偏移量读取所述文件目录的目录元素。在另一优选实施例中，该方法包括以下步骤，设计虚拟文件用于以下文件系统操作：读取块中的完整文件目录。

本发明还涉及使用操作文件系统的方法的装置。该装置尤其包括运行操作系统的微处理器系统，所述操作系统包括处理应用程序、实用工具和文件系统的控制程序。该装置例如是家用网关、DSL调制解调器或者机顶盒。

附图说明

下面参考示意附图通过示例的方式更详细地说明本发明的优选实施例，附图示出：

图1是包括运行在微处理器系统上的操作系统和应用程序的文件系统，以及

图2是图1的文件系统，此外包括用于提供用户空间文件系统的FUSE内核模块和FUSE库。

具体实施方式

本发明的优选实施例在包含例如与类似Unix的操作系统一起运行的微处理器系统的家用网关中使用，该微处理器系统包括ROM和RAM存储器。操作系统包括代表真实文件的应用程序程序和实用工具，以及主控制程序，即内核。本发明的方法提出设计用以匹配所需结果的专用虚拟文件，使得这些文件在文件系统中可用，从而它们不污染文件系统名称空间并且不干扰文件系统内部的真实文件。虚拟文件的内容依赖于用户的要求，并且同样地，内容可以被视为是协议，对于其必须在双方之间达成约定（convention）。

因此本发明描述一种可以在文件系统实现中使用以避免使用这种文件系统的应用程序必须利用可用应用程序编程接口（API）模拟（emulate）缺少的功能的通用方法。本发明允许利用最小数量的系统调用从文件系统获取信息，而在没有本发明的情况下，要求很多系统调用来完成从文件系统获取信息。如部分b中的示例所示，使用标准API可能导致大量系统调用。对于在用户空间中实现的文件系统，由这些系统调用导致的上下文切换可能使得文件系统不可用。本发明将由跨越用户空间和系统空间之间和用户空间中的各进程之间的边界引起的开销减少至最小量。为了不破坏可互操作性，本发明遵循标准化文件系统API。

对于之前在部分b中列出的示例，在此部分中描述可能的约定：

d.1）计数目录中的元素

在目录元素（子目录、文件、符号链接）的数量作为内容的情况下，可能的约定是，虚拟文件系统中的每个目录使得文件可用。这种文件的逻辑名称可能是“size”、“childcount”、“dirsize”、…。然后可以用下面的伪代码片段来解决部分b.1中描述的问题：

这例示现在可以与目录内部的元素数量无关地仅仅使用3个系统调用来解决该问题。用大o符号表示，我们可以说该问题关于系统调用的数量已经从O（n）减少至O（1）。假设文件系统实现具有可供其随意使用的该信息，即/foo/bar中元素的数量，则该提议的复杂度大体是O（1）。

d.2）计数目录中所有直接子目录中的元素

用以计数目录中所有直接子目中的元素的可能约定是包含在每条线上的子目录的名称、分隔符字符序列和子目录中元素的数量的文件。这种文件的逻辑名称可能是“content”、“dircontent”、“data”、“subsize”、…。

假设目录/foo/bar具有分别带有3个、2个和5个目录元素的三个子目录，dir_a、dir_b和dir_c。然后文件/foo/barcontent例如可以具有以下内容：

dir_a＝3

dir_b＝2

dir_C＝5

比较于部分b.2中的原始问题，该问题再次从O（n）简化到O（1）。这解释了为什么这个问题与之前的问题不同，如同部分b.2中所陈述的。在没有content文件的情况下，该问题将更简单，但是将仍具有复杂度O（n），如同伪代码接下来的片段所例示的：

d.3）依据偏移量读取目录元素/读取块中的完整目录

用以在目录中依据给定偏移量读取有限数量的元素的可能约定是使得可用虚拟文件具有变量文件名称，变量文件名称指示偏移量和限制参数（例如，dir_2_10以读取元素2到10）。该文件然后可以简单地包含匹配元素的名称。这种文件的逻辑名称可以是“dir_<from>_<to>”、“content_<from>_<to>”、“item_<from>_<to>”…。这例示在伪代码的以下片段中：

虽然该原始问题具有复杂度O（n2），但是其现在已经被简化至O（n/N）。在块大小N是1的最坏情况下，复杂度是O（n）。在N至少是n的最佳情况下，复杂度再次是O（1）。如果不存在存储器限制使得N可以较大，或者当大多数情况下目录具有较小数量的元素（n值较小）时，将实现最佳性能。

这些示例仅仅是部分b中描述的问题的示例性约定，但核心思想绝不被限制为这3个示例。

本发明的其他部分是如何使得这些虚拟文件在虚拟文件系统中可用，使得它们不干扰文件系统中的真实文件。存在若干可能：

·路径扩展的文件名称，如同示例中所例示

在该实现中，特定虚拟文件实现在相同文件系统中（例如，如果/foo/bar是目录的路径，则路径/foo/barcontent表示虚拟文件）。唯一缺点是路径长度被限制，所以不总是可能扩展路径。

·具有虚拟文件的镜像文件系统

可以考虑专用镜像文件系统来提供虚拟文件。这种镜像文件系统可以被视为叠加在现有文件系统上，其中虚拟文件通过镜像文件系统被添加到底层文件系统。

·可扩展的插件文件系统

这是用于镜像文件系统的更通用的途径，其中，镜像文件系统的内容可以通过插件接口被动态填充。插件可以被加载到可以将虚拟内容添加到镜像文件系统的这种文件系统中。

为了避免虚拟文件和文件系统中的真实文件之间的名称冲突，分隔符字符或者分隔符字符序列可以被用于分离到真实路径的路径与到虚拟文件的路径。示例中的分隔符字符例如是‵‵或者类似‵..‵（不太可能是序列（unlikely sequence）），以减少可能导致冲突的改变。例如：

然而，对于POSIX文件系统，除路径分隔符字符本身(‵/‵)之外，不存在不能出现在路径名称中的字符或者字符序列。

因此，选择的分隔符字符或者序列在真实文件路径中必须转义。这是对于虚拟文件系统的不重要要求。

这些虚拟文件可以使用正常文件操作来读取，这要求仅仅三个系统调用（假设所提供的缓冲器足够包含文件中的所有数据），或者在实现在用户空间的文件系统的情况下的六个上下文切换。注意，为了避免干扰，虚拟文件系统仅仅不得不保证选择的分隔符字符不出现在目录名称中，这是对于虚拟文件系统的不重要要求。

本发明具有以下优点：

·最小化为从文件系统获取数据而调用的系统调用的数量，

·本发明不破坏可互操作性，实现本发明的文件系统仍可以被不知道所添加的功能的应用程序没有任何限制地使用，

·不要求新的系统调用，

·将系统调用封装在函数API中的中间库不用必须适应，

·无论是否从外壳脚本内或者从无论以什么编程语言编写的应用程序内在外壳（shell）中直接发起调用，所有文件系统操作将如以前那样表现，

·新引入的虚拟文件在网络共享中也是可见的，所以使用该网络文件系统的远程应用程序也可以从本发明中受益，

·本发明是普遍适用的，即使这里仅仅描述三个可能的应用，

·减少上下文切换使得实现用户空间文件系统是可行的，虽然这些文件系统在其他情形下将因为大的开销而不可用，以及

·实现用户空间文件系统比系统空间文件系统更容易，这节省了开发成本。

此外，本领域的技术人员可以在不脱离本发明范围的情况下使用本发明的其他实施例。所描述的方法可以不仅特别用于家用网关，而且使用文件系统的类似机顶盒或者蜂窝电话的其他应用也可以使用本发明。因此本发明存在于这里下面所附的权利要求中。

Claims (12)

1.一种操作包括文件目录的文件系统的方法，所述文件目录具有真实文件，所述方法包括以下步骤：

设计虚拟文件，以从文件目录提供结果，对于所述结果要求大量的系统调用，

由唯一名称区分虚拟文件与文件目录中的真实文件，以及

通过打开虚拟文件并且读取虚拟文件的内容来从所述文件目录获取所述结果。

2.如权利要求1所述的方法，包括以下步骤：设计虚拟文件用于对于其要求大量的系统调用的文件系统操作。

3.如权利要求1或2所述的方法，包括以下步骤，当改变文件目录的内容时，更新虚拟文件的结果。

4.如权利要求1、2或3所述的方法，其中，由唯一文件扩展区分虚拟文件与文件目录中的真实文件。

5.如前述权利要求之一所述的方法，包括以下步骤：将虚拟文件布置在所述文件目录内部。

6.如前述权利要求之一所述的方法，包括以下步骤：设计虚拟文件用于以下文件系统操作：计数所述文件目录中的元素。

7.如前述权利要求之一所述的方法，包括以下步骤：设计虚拟文件用于以下文件系统操作：计数所述文件目录的所有直接子目录的元素。

8.如前述权利要求之一所述的方法，包括以下步骤：设计虚拟文件用于以下文件系统操作：依据偏移量读取所述文件目录的目录元素。

9.如前述权利要求之一所述的方法，包括以下步骤：设计虚拟文件用于以下文件系统操作：读取块中的完整文件目录。

10.一种装置，使用根据前述权利要求之一所述的方法。

11.根据权利要求10所述的装置，其中所述装置包括运行操作系统的微处理器系统，所述操作系统包括处理所述文件系统、应用程序和实用工具的控制程序。

12.如权利要求10或11所述的装置，其中所述装置是家用网关、DSL调制解调器或者机顶盒。

Images