CN1904889A - 用附着属性存储逻辑文件系统元数据的方法 - Google Patents

Abstract

本发明公开了一种用附着属性存储逻辑文件系统元数据的方法，将逻辑文件系统的元数据以本地文件系统文件属性的方式存储在本地文件系统上，包括：创建逻辑文件系统的文件或者目录；删除一个文件或者目录；修改逻辑文件系统属性；对逻辑文件系统上的文件或目录改名；查询逻辑文件系统上的一个文件或者目录的元数据信息。利用本发明的方法，逻辑文件系统可以直接利用本地文件系统的元数据处理功能，继承本地文件系统的稳定性和性能特色，并且这种方法有着实现简便，适应性强的优点。

Description

用附着属性存储逻辑文件系统元数据的方法

技术领域

本发明涉及元数据的存储，特别涉及逻辑文件系统中元数据的存储方法。

背景技术

随着计算应用的发展，日益增长的数据存储需求和多种多样的数据存储访问模式给文件系统的设计带来了巨大的挑战。文件服务器作为一种集中存储大量文件数据的计算机，其文件系统有着不同于一般计算机系统的特殊要求，文件服务器一般有高性能的处理器，大量的内存以及大量的磁盘。为了适应文件服务器的需求，本领域的技术人员设计了一种基于多个本地文件系统之上构建的逻辑文件系统。附图1为一个典型的逻辑文件系统的结构图，在该逻辑文件系统中，数据存储在存储设备中，逻辑文件系统是建立在本地文件系统之上的文件系统，逻辑文件系统不能直接访问存储设备，需要通过本地文件系统来完成数据和元数据的存储和访问。

元数据是“关于数据的数据”，常见的元数据包括：文件名(dentry->d_name)，I节点号(inode->i_ino)，文件模式(inode->i_mode)，文件连接数(inode->i_nlink)，文件的用户标识(inode->i_uid)，文件的用户组标识(inode->i_gid)，文件的访问时间(inode->i_atime)，文件的修改时间(inode->i_mtime)，文件的创建时间(inode->i_ctime)，文件数据块大小的位数(inode->i_blkbits)，文件的数据块的大小(i_blksize)，文件版本(inode->i_version)，文件的代(inode->i_generation)。研究人员发现，在目前大多数应用中，元数据操作的数量远远大于普通的文件读写数量。一个优秀的逻辑文件系统必须具有相当优秀的元数据处理能力。

在一些分布式文件系统中，有专门的元数据服务器，元数据在这些服务器内部被当作数据块进行处理，即文件的元数据信息是直接编码并以一定的格式存储在元数据服务器内部的。此类做法的主要缺点是操作比较复杂，需要处理全部与元数据相关的操作和存储，不便于实现，也难以达到比较好的性能。

在已有的本地文件系统中，有一些文件系统专门使用了平衡二叉树或者B+树的方式组织目录下文件的存储，其元数据处理能力是相当出色的。若能充分利用本地文件系统的元数据处理能力，则对文件系统中元数据的存储与处理有着重要的意义。

发明内容

本发明的目的是克服现有的元数据服务器对元数据的操作比较复杂，需要处理全部与元数据相关的操作和存储，不便于实现，也难以达到比较好性能的缺陷，从而提高一种高效存储逻辑文件系统元数据的方法。

为了实现上述目的，本发明提高了一种用附着属性存储逻辑文件系统元数据的方法，将逻辑文件系统的元数据以本地文件系统文件属性的方式存储在本地文件系统上，包括以下操作：

1)、创建逻辑文件系统的文件或者目录时，把要创建的文件或者目录所在的父目录信息取出，在对应的本地文件系统的父目录里面用同样的文件名或者目录名创建一个新的文件或者目录，把新创建的本地文件系统的文件或者目录的索引节点和目录项中的数据项直接拷贝到逻辑文件系统的索引节点和目录项中；

2)、删除一个文件或者目录时，通过逻辑文件系统中要删除的文件或者目录所在的父目录的索引节点找到本地文件系统中对应的文件或目录的父目录的索引节点，然后在对应的本地文件系统的父目录里面删除对应的文件或者目录，删除成功后，更新逻辑文件系统中被删除文件或目录的父目录的信息；

3)、修改逻辑文件系统属性的时候，根据要修改的属性的掩码，修改本地文件系统文件索引节点对应的属性，然后调用本地文件系统设定文件属性的函数，把修改后的本地文件系统文件的索引节点存储到本地文件系统的磁盘上；

4)、对逻辑文件系统上的文件或目录改名时，通过逻辑文件系统要改名的文件或目录的目录项得到本地文件系统相应文件或目录的目录项，通过逻辑文件系统要改名文件或目录的父目录的索引节点得到本地文件系统对应文件或目录的父目录的索引节点，然后调用本地文件系统的改名函数，改变本地文件系统的文件名或目录名，最后把改名后文件或目录的逻辑文件系统的目录项和本地文件系统的目录项关联起来；

5)、当查询逻辑文件系统上的一个文件或者目录的元数据信息时，首先根据要查询的逻辑文件系统的文件或者目录所在的父目录找到对应本地文件系统文件或者目录的父目录，然后再根据要查询的文件名在本地文件系统父目录内查询文件或者目录，当找到相应的文件或者目录后，把本地文件系统文件或者目录的索引节点和目录项信息直接复制到逻辑文件系统对应文件的索引节点和目录项数据结构上。

上述技术方案中，在所述的索引节点中，所包含的元数据包括文件名，I节点号，文件模式，文件连接数，文件的用户标识，文件的用户组标识，文件的访问时间，文件的修改时间，文件的创建时间，文件数据块大小的位数，文件的数据块的大小，文件版本，文件的代。

上述技术方案中，在所述的目录项中，所包含的元数据包括文件名和文件路径。

上述技术方案中，在所述的步骤3)中，所述的本地文件系统设定文件属性的函数由虚拟文件系统层的接口setattr实现。

上述技术方案中，在所述的步骤4)中，所述的改名函数为本地文件系统的rename函数。

利用本发明的方法，逻辑文件系统可以直接利用本地文件系统的元数据处理功能，继承本地文件系统的稳定性和性能特色，并且这种方法有着实现简便，适应性强的优点。

附图说明

图1为逻辑文件系统的结构图；

图2为逻辑文件系统中的索引节点和目录项与本地文件系统索引节点和目录项之间的关系；

图3为逻辑文件系统I节点的属性附着在本地文件系统I节点的属性上的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的方法进行说明。

在本实施例中，所述的附着属性是指利用本地文件系统的元数据来存储逻辑文件系统的元数据，逻辑文件系统的元数据不是作为本地文件系统的一个文件里面的数据块而存在。因此，对逻辑文件系统中的文件或者目录的元数据进行操作，需要把这样的操作以同样的参数转发到对本地文件系统对应的文件或者目录上进行。这样的转发操作是通过实现一个虚拟文件系统(VFS)层的文件系统接口来实现的。典型的元数据操作包括创建、删除、修改属性、改名和查询。下面分别对元数据的上述操作进行说明。

1、创建：创建一个逻辑文件系统的文件或者目录时，把要创建的文件或者目录所在的父目录信息取出，在对应的本地文件系统的父目录里面用同样的文件名或者目录名创建一个新的文件或者目录，把新创建的本地文件系统的文件或者目录的索引节点(inode)和目录项(dentry)中的部分数据项直接拷贝到逻辑文件系统的inode和dentry中。其中，索引节点中包含的信息包括文件名(dentry->d_name)，I节点号(inode->i_ino)，文件模式(inode->i_mode)，文件连接数(inode->i_nlink)，文件的用户标识(inode->i_uid)，文件的用户组标识(inode->i_gid)，文件的访问时间(inode->i_atime)，文件的修改时间(inode->i_mtime)，文件的创建时间(inode->i_ctime)，文件数据块大小的位数(inode->i_blkbits)，文件的数据块的大小(i_blksize)，文件版本(inode->i_version)，文件的代(inode->i_generaion)，目录项中包含了文件名、文件路径信息以及维护内核目录树的一些指针。当复制索引节点与目录项中的信息时，索引节点(inode)中需要复制的数据项是i_ino，i_mode，i_nlink，i_uid，i_gid，i_atime，i_mtime，i_ctime，i_blkbits，i_blksize，i_versioni_generation，目录项(dentry)中只复制文件名d_name。逻辑文件系统和本地文件系统的inode和dentry关系如附图2所示。

例如，在逻辑文件系统的根目录下创建名为abc的子目录，则在本地文件系统中，先找到根目录，然后在本地文件系统的根目录下同样创建名为abc的子目录。本地文件系统在创建子目录的同时，会创建关于子目录abc的目录索引节点和目录项(dentry)，将目录索引节点(inode)和目录项(dentry)中的数据项直接拷贝到逻辑文件系统的inode和dentry中，使得逻辑文件系统的文件与本地文件系统的文件拥有完全相同的属性。其中，索引节点里面包括I节点号(inode->i_ino)，文件模式(inode->i_mode)，文件连接数(inode->i_nlink)，文件的用户标识(inode->i_uid)，文件的用户组标识(inode->i_gid)，文件的访问时间(inode->i_atime)，文件的修改时间(inode->i_mtime)，文件的创建时间(inode->i_ctime)，文件数据块大小的位数(inode->i_blkbits)，文件的数据块的大小(i_blksize)，文件版本(inode->i_version)，文件的代(inode->i_generation)都要根据本地文件对应的属性填写，即直接拷贝本地文件对应的属性的值。

2、删除：删除一个文件或者目录时，通过逻辑文件系统中要删除的文件或者目录所在的父目录的索引节点找到本地文件系统中对应的文件或目录的父目录的索引节点，然后在对应的本地文件系统的父目录里面删除对应的文件或者目录，删除成功后，更新逻辑文件系统父目录的信息。

例如，在根目录下删除子目录abc，其操作如下：

(1)通过逻辑文件系统中要被删除的子目录abc的父目录(即逻辑文件系统的根目录)的inode，找到本地文件系统中要被删除的子目录abc的父目录(即本地文件系统的根目录)的inode；

(2)通过逻辑文件系统要删除目录的目录名abc找到本地文件系统要删除目录的目录名abc；

(3)调用本地文件系统的rmdir系统调用，把本地文件系统父目录inode和本地文件系统要删除目录的dentry作为参数传递给本地文件系统的rmdir接口，删除本地文件系统上的文件。

(4)假如删除成功，则需要更新逻辑文件系统父目录(被删除目录的父目录)的一些信息，例如i_size，i_nlink，i_ctime等。在更新时，从本地文件系统对应的属性上拷贝相应数据。例如，假设逻辑文件系统的inode的变量名为lfs_inode，本地文件系统的inode变量名为meta_inode，那么对应的操作就是lfs_inode->i_size＝meta_inode->i_size；lfs_inode->i_nlink＝meta_inode->i_nlink；lfs_inode->i_ctime＝meta_inode->i_ctime。

3、修改属性：修改逻辑文件系统属性的时候，根据要修改的属性的掩码，修改本地文件系统文件inode对应的属性，然后调用本地文件系统设定文件属性的函数，把修改后的本地文件系统文件的inode存储到本地文件系统的磁盘上。

在本步骤中，所述的修改属性是对保存在索引节点(inode)中的元数据进行修改，而对保存在目录项(dentry)中的文件名和文件路径则不属于本步骤所述的修改属性的范围内。对inode中属性的修改由虚拟文件系统(VFS)层的接口setattr实现，具体实现步骤如下：

1)、通过逻辑文件系统的dentry获取本地文件系统的dentry指针；

2)、调用本地文件系统的setattr接口函数，把要修改的元数据信息直接转发为对本地文件系统的inode的修改。

假如在根目录下的子目录abc中，有一个文件A，其原有的访问权限为可读，要将其访问权限修改为可写，对其的操作为：

1)、通过逻辑文件系统的文件A的dentry找到文件文件系统中文件A的denntry；

2)、调用本地文件系统的setattr函数，把本地文件系统中文件A的inode中的访问权限由可读修改为可写。

4、改名：把逻辑文件系统上的一个文件的文件名或者一个目录的目录名改名为另外一个文件名或者目录名的时候，首先通过逻辑文件系统要改名的文件或目录的dentry得到本地文件系统相应文件或目录的dentry，通过逻辑文件系统要改名文件或目录的父目录的inode，得到本地文件系统对应文件或目录的父目录的inode，然后调用本地文件系统的rename函数，改变本地文件系统的文件名或目录名，再把改名后文件或目录的逻辑文件系统的dentry和本地文件系统的dentry关联起来。

例如，将逻辑文件系统根目录下的子目录abc的目录名修改为def，通过逻辑文件系统子目录abc的目录名(dentry)得到本地文件系统中对应的子目录abc的目录名(dentry)，通过逻辑文件系统的根目录(子目录abc的父目录)的inode，得到本地文件系统根目录的inode，然后调用本地文件系统的rename函数将子目录abc的名称修改为def，最后把def的dentry和本地文件系统的dentry关联起来。

由于文件名或目录名不保存在逻辑文件系统中，所以只要在本地文件系统中对文件名或目录名进行修改即可，不需要在逻辑文件系统中修改文件名或目录名。

5、查询：当查询逻辑文件系统上的一个文件或者目录的元数据信息的时候，首先根据要查询的逻辑文件系统文件或者目录所在的父目录找到对应本地文件系统文件或者目录的父目录，然后再根据要查询的文件名在本地文件系统父目录内查询文件或者目录，当找到相应的文件或者目录后，把本地文件系统文件或者目录的inode和dentry信息直接复制到逻辑文件系统对应文件的inode和dentry数据结构上。

例如，在逻辑文件系统中，子目录abc位于根目录下，当要查询子目录abc时，首先在本地文件系统中查询根目录，然后在本地文件系统的根目录下查询子目录abc。找到子目录abc后，将本地文件系统中关于该子目录的inode和dentry信息直接复制到逻辑文件系统对应文件的inode和dentry数据结构上。

逻辑文件系统的文件的大小是不能直接附着在本地文件系统的元数据上的，因为逻辑文件系统的文件要存储实际的用户数据，而本地文件系统的文件仅仅是附着元数据的一个空壳，两者文件大小并不相同。所以必须把逻辑文件系统文件的大小作为本地文件系统的文件内容数据而存储。

Claims (5)

1、一种用附着属性存储逻辑文件系统元数据的方法，将逻辑文件系统的元数据以本地文件系统文件属性的方式存储在本地文件系统的元数据上，包括以下步骤：

1)、创建逻辑文件系统的元数据：在创建文件或目录同时，创建所述的逻辑文件系统的元数据，把要创建的文件或者目录所在的父目录信息取出，在对应的本地文件系统的父目录里面用同样的文件名，或者目录名创建一个新的文件或者目录，把新创建的本地文件系统的文件，或者目录的索引节点和目录项中的数据项直接拷贝到逻辑文件系统的索引节点和目录项中；

2)、删除逻辑文件系统的元数据：删除逻辑文件系统的元数据是在删除逻辑文件系统中的文件或者目录时进行，在删除文件或目录时，通过逻辑文件系统中要删除的文件，或者目录所在的父目录的索引节点，找到本地文件系统中对应的文件或目录的父目录的索引节点，然后在对应的本地文件系统的父目录里面删除对应的文件或者目录，删除成功后，更新逻辑文件系统中被删除文件或目录的父目录的信息；

3)、修改逻辑文件系统的元数据：修改逻辑文件系统的元数据就是修改逻辑文件系统的属性，在修改属性时，根据要修改的属性的掩码，修改本地文件系统文件索引节点对应的属性，然后调用本地文件系统设定文件属性的函数，把修改后的本地文件系统文件的索引节点存储到本地文件系统的磁盘上；

4)、对逻辑文件系统上的文件或目录改名：通过逻辑文件系统要改名的文件，或目录的目录项得到本地文件系统相应文件或目录的目录项，通过逻辑文件系统要改名文件或目录的父目录的索引节点，得到本地文件系统对应文件或目录的父目录的索引节点，然后调用本地文件系统的改名函数，改变本地文件系统的文件名或目录名，最后把改名后文件或目录的逻辑文件系统的目录项和本地文件系统的目录项关联起来；

5)、查询逻辑文件系统上的一个文件或者目录的元数据信息：首先根据要查询的逻辑文件系统的文件，或者目录所在的父目录找到对应本地文件系统文件或者目录的父目录，然后再根据要查询的文件名，在本地文件系统父目录内查询文件或者目录，当找到相应的文件或者目录后，把本地文件系统文件或者目录的索引节点和目录项信息直接复制到逻辑文件系统对应文件的索引节点和目录项数据结构上。

2、根据权利要求1所述的用附着属性存储逻辑文件系统元数据的方法，其特征在于，在所述的索引节点中，所包含的元数据包括文件名，I节点号，文件模式，文件连接数，文件的用户标识，文件的用户组标识，文件的访问时间，文件的修改时间，文件的创建时间，文件数据块大小的位数，文件的数据块的大小，文件版本，文件的代。

3、根据权利要求1所述的用附着属性存储逻辑文件系统元数据的方法，其特征在于，在所述的目录项中，所包含的元数据包括文件名和文件路径。

4、根据权利要求1所述的用附着属性存储逻辑文件系统元数据的方法，其特征在于，在所述的步骤3)中，所述的本地文件系统设定文件属性的函数由虚拟文件系统层的接口setattr实现。

5、根据权利要求1所述的用附着属性存储逻辑文件系统元数据的方法，其特征在于，在所述的步骤4)中，所述的改名函数为本地文件系统的rename函数。

Images