CN103942269B - 对文件系统进行操作的方法和装置 - Google Patents

Abstract

本发明公开了一种对文件系统进行操作的方法和装置。所述方法包括：根据接收的操作请求为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁；根据所述操作请求为所述目标节点添加读锁或者写锁；对所述目标节点进行所述操作请求所请求的操作；从所述目标节点开始，以自下而上的顺序释放所述操作路径上的所有节点上的锁。本发明可以为文件系统内的每个节点添加独立的锁，可以同时对不同操作路径上的多个目标节点进行相应的操作而不会相互收到影响，也可以对相同操作路径上的不同节点同时进行读操作，当对操作路径上的最下面的节点进行写操作时不影响同时对该操作路径上的其他节点进行读操作，增加了文件系统的吞吐量。

Description

对文件系统进行操作的方法和装置

技术领域

本发明实施例涉及数据操作技术，尤其涉及一种对文件系统进行操作的方法和装置。

背景技术

在树型目录结构的文件系统中，处理并发操作时必须对文件系统的所有节点进行并发同步锁定，以确保操作被有序写入日志。

现有技术中，文件系统控制部分在进行读写操作的处理时，使用可重入读写锁（Reentrant Read WriteLock）来协调文件系统中的锁机制。

首先，根据读写操作请求先将整个文件系统加锁。例如，对于读操作（例如，读取文件夹中的文件列表，获取文件信息，获取文件内容等），对要操作的文件系统的所有节点加读锁，对于写操作（例如，在文件夹中新增文件，在文件中写入内容，修改文件夹信息或文件信息等），对要操作的文件系统的所有节点加写锁。

然后，对目标节点进行读操作或写操作。因为使用了可重入读写锁机制，多个读操作线程可以共享同一个读锁，读锁和写锁之间则为互斥状态，即文件系统上添加读锁时，则不可对文件系统进行写操作；文件系统上添加写锁时，则不可对文件系统进行读操作。

当对目标节点进行的是写操作时，完成写操作后，还需要将写操作的信息写入日志。最后，解除文件系统中的读锁或写锁，让其他线程操作文件系统。

但是，如图1所示，由于文件系统中锁是全局的，所以文件系统中的所有节点只能实现读操作之间锁共享，读写操作间互斥。

文件系统中以Hadoop HDFS为例在执行操作时，如图2所示，在文件系统写入日志结束前都会保证操作者一直持有写锁或者读锁。在读操作线程访问文件系统的时候，写操作线程因为读锁和写锁的互斥原则，无法进行写操作；反之如果写操作线程在进行时读操作也无法进行。因此，在读写操作并发时，会因为文件系统读写锁的互斥导致文件系统吞吐量下降。

发明内容

有鉴于此，本发明实施例提供一种对文件系统进行操作的方法和装置，以提高文件系统的吞吐量。

第一方面，本发明实施例提供了一种对文件系统进程操作的方法，所述方法包括：

根据接收的操作请求为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁；

根据所述操作请求为所述目标节点添加读锁或者写锁；

对所述目标节点进行所述操作请求所请求的操作；

从所述目标节点开始，以自下而上的顺序释放所述操作路径上的所有节点上的锁。

第二方面，本发明实施例还提供了一种对文件系统进行操作的装置，所述装置包括：

第一添加模块，用于根据接收的操作请求为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁；

第二添加模块，用于根据所述操作请求为所述目标节点添加读锁或者写锁；

操作模块，用于对所述目标节点进行所述操作请求所请求的操作；

释放模块，用于从所述目标节点开始，以自下而上的顺序释放所述操作路径上的所有节点上的锁。

本发明实施例提供的对文件系统进行操作的方法和装置，通过为操作路径上的除目标节点外的所有节点以自上而下的顺序添加读锁，且为所述目标节点添加操作请求相应的读锁或者写锁，即如果为目标节点加的是写锁，那么该目标节点的文件系统操作路径中其他的节点还可用于读操作，也就是说一个文件系统能够同时加读锁和写锁，解决了现有文件系统读写操作间互斥的问题。这样，在读写操作并发时，可以同时对文件系统进行读操作和写操作，提高了文件系统的吞吐量。

附图说明

图1是现有技术中的读写锁的结构示意图；

图2是现有技术中读写锁互斥的示意图；

图3是本发明第一实施例提供的一种对文件系统进行操作的方法的流程图；

图4是本发明第一实施例提供的对文件系统进行操作的方法中的文件系统内的节点添加的锁的示意图；

图5是本发明第二实施例提供的一种对文件系统进行操作的方法的流程图；

图6是本发明第二实施例提供的一种对文件系统进行操作的方法中的操作路径上的节点添加锁的示意图；

图7是本发明第三实施例提供的一种对文件系统进行操作的方法的流程图；

图8是本发明第三实施例提供的一种对文件系统进行操作的方法中的操作路径上的节点添加锁的示意图；

图9是本发明第四实施例提供的一种对文件系统进行操作的方法的流程图；

图10是本发明第四实施例提供的一种对文件系统进行操作的方法中的操作路径上的节点添加锁的示意图；

图11是本发明第五实施例提供的一种对文件系统进行操作的装置的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图3示出了本发明的第一实施例。

图3是本发明第一实施例提供的一种对文件系统进行操作的方法的流程图，该方法适用于并发条件下对文件系统的操作,例如：可以同时对多个不同文件夹下的文件或者文件夹进行写操作，可由计算机执行，如图3所示，该方法具体包括如下步骤：

步骤31，根据接收的操作请求为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁。

计算机为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁，例如：文件系统操作路径为（/根目录/文件夹A/文件夹B/文件C），即目标节点为文件C，则为该操作路径上除目标节点文件C外的所有节点添加读锁的顺序为：根目录->文件夹A->文件夹B。

其中，文件系统是一种存储和组织计算机数据的方法，它使得对其访问和查找变得容易，文件系统使用文件和树形目录的抽象逻辑概念代替了硬盘和光盘等物理设备使用数据块的概念，用户使用文件系统来保存数据不必关心数据实际保存在硬盘（或者光盘）的地址为多少的数据块上，只需要记住这个文件的所属目录和文件名。在写入新数据之前，用户不必关心硬盘上的那个块地址有没有被使用，硬盘上的存储空间管理（分配和释放）功能由文件系统自动完成，用户只需要记住数据被写入到了哪个文件中即可。

示例性的，为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁之前，还包括：

解析所述操作路径，获得操作路径上的所有节点信息；

根据获得的所述操作路径上的所有节点信息，触发所述为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁。

示例性的，为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁的过程中，如果所述目标节点外的所有节点中存在已加写锁的节点，则在所述已加写锁的节点上的锁释放后再添加读锁。这是因为文件系统中节点上的读写锁互斥。

步骤32，根据所述操作请求为所述目标节点添加读锁或者写锁。

其中，所述操作请求所请求的操作可以为读操作或者写操作。当所述操作请求所请求的操作为读操作（如：获取文件夹中文件列表、获取文件夹或者文件的信息等）时，计算机为所述目标节点添加读锁；当所述操作请求所请求的操作为写操作（如：文件夹或者文件的创建、重命名、文件内容的修改等）时，计算机为所述目标节点添加写锁。

示例性的，根据操作请求为所述目标节点添加读锁或者写锁的过程中，如果所述目标节点已加与所述操作请求相斥的锁，则在所述目标节点上的锁释放后，再为所述目标节点添加读锁或写锁。

步骤33，对所述目标节点进行所述操作请求所请求的操作。

根据所述操作请求所请求的操作，计算机对所述目标节点进行相应的操作。例如：所述操作请求所请求的操作为获取文件夹（如文件夹B）中文件列表的读操作，则计算机获取目标节点（即文件夹B）的文件列表。

其中，所述目标节点可以只有一个，也可以至少两个，当同时存在两个目标节点时，对一个目标节点进行写操作而不影响对另一个目标节点进行读操作。

步骤34，从所述目标节点开始，以自下而上的顺序释放所述操作路径上的所有节点上的锁。

对所述目标节点完成所述操作请求所请求的操作后，首先释放所述目标节点上的锁，然后以自下而上的顺序释放所述操作路径上的除目标节点外的所有节点上的锁。

本实施例通过为操作路径上的除目标节点外的所有节点以自上而下的顺序添加读锁，且为所述目标节点添加操作请求相应的读锁或者写锁，图4是本发明第一实施例提供的一种对文件系统进行操作的方法中的文件系统内的节点添加的锁的示意图，如图4所示，由于可以为文件系统内的每个节点添加独立的锁，可以同时为不同操作路径上的多个目标节点添加读锁或者写锁，因此可以同时对不同操作路径上的多个目标节点进行相应的操作而不会相互收到影响，也可以对相同操作路径上的不同节点同时进行读操作，当对操作路径上的最下面的节点进行写操作时不影响同时对该操作路径上的其他节点进行读操作，增加了文件系统的吞吐量。文件系统使用读写锁，并且根据文件系统的操作路径从根目录开始自上而下的获取读写锁，使用这种方法保证在同一时刻不会有两个请求同时操作一个文件系统节点，同时不同的文件系统节点不会被同时锁定。

示例性的，根据操作请求为所述目标节点添加读锁或者写锁，包括：

根据写操作请求为至少两个目标节点的同一父节点添加写锁。

当操作请求所请求的操作为跨节点操作时，为至少两个目标节点的同一父节点添加写锁，例如移动文件A到文件夹B中，需要给文件A和文件夹B的共同父节点加上写锁。

示例性的，当所述操作请求所请求的操作为写操作时，在对所述目标节点进行所述操作请求所请求的操作之后，包括：

将所述写操作的信息写入日志。

当所述操作请求所请求的操作为写操作时，在对所述目标节点进行写操作后，将所述写操作的信息写入日志，确保当计算机出现问题时，可以根据日志恢复该写操作的信息。同时，在添加锁的过程中区分读写操作是否可能冲突，避免日志无法回放。

图5示出了本发明的第二实施例。

图5是本发明第二实施例提供的一种对文件系统进行操作的方法的流程图，该方法适用于当操作请求所请求的操作为写操作时，以修改操作路径（/文件夹A/文件夹B/文件C）的目标节点文件C的内容为例，该方法具体包括如下步骤：

步骤51、解析操作路径（/文件夹A/文件夹B/文件C），获得文件系统的该操作路径上的所有节点信息：文件夹A、文件夹B、文件C。

步骤52、从文件系统根目录开始，为操作路径上除目标节点文件C外的所有节点（根目录、文件夹A、文件夹B）以自上而下的顺序添加读锁，如果出现读写互斥的情况就阻塞等待，直到添加读锁成功。

步骤53、为目标节点文件C添加写锁，如果出现读写互斥的情况就阻塞等待，直到添加写锁成功。

图6是本发明第二实施例提供的一种对文件系统进行操作的方法中的操作路径上的节点添加锁的示意图，如图6所示，为根目录、文件夹A、文件夹B添加了读锁，为目标节点文件C添加了写锁。

步骤54、修改目标节点文件C的内容，并写入日志。

步骤55、释放目标节点文件C上的写锁，从节点文件夹B开始依次自下而上释放操作路径上除目标节点外的所有节点上的读锁，直到根目录节点。

本实施例通过为操作路径上的目标节点文件C外的所有节点添加读锁，为目标节点文件C添加写锁，从而可以修改目标节点文件C的内容。

图7示出了本发明的第三实施例。

图7是本发明第三实施例提供的一种对文件系统进行操作的方法的流程图，该方法适用于当操作请求所请求的操作为读操作时，以获取操作路径（/文件夹A/文件夹B）的目标节点文件夹B中的文件列表为例，该方法具体包括如下步骤：

步骤71、解析操作路径（/文件夹A/文件夹B），获得文件系统的该操作路径上的所有节点信息：文件夹A、文件夹B。

步骤72、从文件系统根目录开始，为操作路径上除目标节点文件夹B外的所有节点（根目录、文件夹A）以自上而下的顺序添加读锁，如果出现读写互斥的情况就阻塞等待，直到添加读锁成功。

步骤73、为目标节点文件夹B添加读锁，如果出现读写互斥的情况就阻塞等待，直到添加读锁成功。

图8是本发明第三实施例提供的一种对文件系统进行操作的方法中的操作路径上的节点添加锁的示意图，如图8所示，为根目录、文件夹A及目标节点文件夹B添加了读锁。

步骤74、获取目标节点文件夹B中的文件列表。

步骤75、从目标节点文件夹B开始依次自下而上释放操作路径上的所有节点上的读锁，直到根目录节点。

本实施例通过为操作路径上的包括目标节点文件夹B的所有节点添加读锁，从而可以获取目标节点文件夹B中的文件列表。

图9示出了本发明的第四实施例。

图9是本发明第四实施例提供的一种对文件系统进行操作的方法的流程图，该方法适用于当操作请求所请求的操作为为跨节点操作时，以将（/文件夹A/文件夹B/文件C）中的文件C移动到（/文件夹A/文件夹B/文件夹D）中的文件夹D中为例，该方法具体包括如下步骤：

步骤91、解析操作路径，获得第一目标节点文件C与第二目标节点文件夹D的同一父节点文件夹B。

步骤92、从文件系统根目录开始，为操作路径上除第一目标节点文件C、第二目标节点文件夹D与同一父节点文件夹B外的所有节点（根目录、文件夹A）以自上而下的顺序添加读锁，如果出现读写互斥的情况就阻塞等待，直到添加读锁成功。

步骤93、为第一目标节点文件C与第二目标节点文件夹D的同一父节点文件夹B添加写锁。

图10是本发明第四实施例提供的一种对文件系统进行操作的方法中的操作路径上的节点添加锁的示意图，如图10所示，为根目录、文件夹A添加了读锁，并且为第一目标节点文件C与第二目标节点文件夹D的同一父节点文件夹B添加了写锁。

步骤94、移动第一目标节点文件C到第二目标节点文件夹D中，并将操作的信息写入日志。

步骤95、释放文件夹B上的写锁，并从文件夹A开始依次自下而上释放操作路径上的所有节点上的读锁，直到根目录节点。

本实施例通过解析操作路径，获得第一目标节点文件C与第二目标节点文件夹D的同一父节点文件夹B，为操作路径上的文件夹B以上的节点添加读锁，为第一目标节点文件C与第二目标节点文件夹D的同一父节点文件夹B添加写锁，从而可以实现移动第一目标节点文件C到第二目标节点文件夹D中。

图11示出了本发明的第五实施例。

图11是本发明第五实施例提供的一种对文件系统进行操作的装置的示意图，本实施例所示的装置用于实现图3所示实施例提供的方法。如图11所示，本实施例所述的对文件系统进行操作的装置包括：第一添加模块111、第二添加模块112、操作模块113和释放模块114。

其中，第一添加模块111用于根据接收的操作请求为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁。

第二添加模块112用于根据所述操作请求为所述目标节点添加读锁或者写锁。

操作模块113用于对所述目标节点进行所述操作请求所请求的操作。

释放模块114用于从所述目标节点开始，以自下而上的顺序释放所述操作路径上的所有节点上的锁。

本实施例通过第一添加模块111为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁，第二添加模块112根据操作请求为所述目标节点添加读锁或者写锁，操作模块113对所述目标节点进行所述操作请求所请求的操作，释放模块114从所述目标节点开始，以自下而上的顺序释放所述操作路径上的所有节点上的锁，实现了为文件系统内的每个节点添加独立的锁，可以同时为不同操作路径上的多个目标节点添加读锁或者写锁，因此可以同时对不同操作路径上的多个目标节点进行相应的操作而不会相互收到影响，也可以对相同操作路径上的不同节点同时进行读操作，当对操作路径上的最下面的节点进行写操作时不影响同时对该操作路径上的其他节点进行读操作，增加了文件系统的吞吐量。文件系统使用读写锁，并且根据文件系统的操作路径从根目录开始自上而下的获取读写锁，使用这种方法保证在同一时刻不会有两个请求同时操作一个文件系统节点，同时不同的文件系统节点不会被同时锁定。

示例性的，所述装置还包括：

解析模块，用于在所述第一添加模块为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁之前，解析所述操作路径，获得操作路径上的所有节点信息；

触发模块，用于根据所述解析模块获得的所述操作路径上的所有节点信息，触发所述为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁。

示例性的，所述第一添加模块为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁的过程中，如果所述目标节点外的所有节点中存在已加写锁的节点，则还用于在所述已加写锁的节点上的锁释放后再添加读锁。

示例性的，所述第二添加模块根据操作请求为所述目标节点添加读锁或者写锁的过程中，如果所述目标节点已加与所述操作请求相斥的锁，则还用于在所述目标节点上的锁释放后，再为所述目标节点添加读锁或写锁。

示例性的，所述第二添加模块还用于根据写操作请求为至少两个目标节点的同一父节点添加写锁。

示例性的，当所述操作请求所请求的操作为写操作时，所述装置还包括：

写入模块，用于在所述操作模块对所述目标节点进行所述操作请求所请求的操作之后，将所述写操作的信息写入日志。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种对文件系统进行操作的方法，其特征在于，所述方法包括：

根据接收的操作请求为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁，其中，如果所述目标节点外的所有节点中存在已加写锁的节点，则在所述已加写锁的节点上的锁释放后再添加读锁；

根据所述操作请求为所述目标节点添加读锁或者写锁，其中，如果所述目标节点已加与所述操作请求相斥的锁，则在所述目标节点上的锁释放后，再为所述目标节点添加读锁或写锁；

对所述目标节点进行所述操作请求所请求的操作；

从所述目标节点开始，以自下而上的顺序释放所述操作路径上的所有节点上的锁。

2.根据权利要求1所述的方法，其特征在于，为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁之前，还包括：

解析所述操作路径，获得操作路径上的所有节点信息；

根据获得的所述操作路径上的所有节点信息，触发所述为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁。

3.根据权利要求1-2任一项所述的方法，其特征在于，根据操作请求为所述目标节点添加读锁或者写锁，包括：

根据写操作请求为至少两个目标节点的同一父节点添加写锁。

4.根据权利要求1-2任一项所述的方法，其特征在于，当所述操作请求所请求的操作为写操作时，在对所述目标节点进行所述操作请求所请求的操作之后，包括：

将所述写操作的信息写入日志。

5.一种对文件系统进行操作的装置，其特征在于，所述装置包括：

第一添加模块，用于根据接收的操作请求为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁，其中，如果所述目标节点外的所有节点中存在已加写锁的节点，则在所述已加写锁的节点上的锁释放后再添加读锁；

第二添加模块，用于根据所述操作请求为所述目标节点添加读锁或者写锁，其中，如果所述目标节点已加与所述操作请求相斥的锁，则在所述目标节点上的锁释放后，再为所述目标节点添加读锁或写锁；

操作模块，用于对所述目标节点进行所述操作请求所请求的操作；

释放模块，用于从所述目标节点开始，以自下而上的顺序释放所述操作路径上的所有节点上的锁。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

解析模块，用于在所述第一添加模块为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁之前，解析所述操作路径，获得操作路径上的所有节点信息；

触发模块，用于根据所述解析模块获得的所述操作路径上的所有节点信息，触发所述为文件系统操作路径上除目标节点外的所有节点以自上而下的顺序添加读锁。

7.根据权利要求5-6任一项所述的装置，其特征在于，所述第二添加模块还用于根据写操作请求为至少两个目标节点的同一父节点添加写锁。

8.根据权利要求5-6任一项所述的装置，其特征在于，当所述操作请求所请求的操作为写操作时，所述装置还包括：

写入模块，用于在所述操作模块对所述目标节点进行所述操作请求所请求的操作之后，将所述写操作的信息写入日志。