CN101354726B - 一种机群文件系统的内存元数据管理方法 - Google Patents

Abstract

本发明公开一种机群文件系统的元数据的管理方法，其中，所述文件系统划分为多个元数据分区，每个所述元数据分区划分为多个维护元数据单元信息的元数据块，所述方法包括：客户端解析所产生的元数据请求，获取所述元数据所属的元数据分区，向所述元数据分区对应的元数据服务器发出请求；所述元数据服务器根据所接收的所述元数据请求中的类型值，确定所述请求的类型；所述元数据服务器根据所述请求的类型，查询元数据块所在的数据结构，对元数据进行增加、定位或者修改处理。本发明采用将元数据全部驻留内存的方式来提高元数据处理能力，根据内存访问特点对元数据组织管理，能够高效利用内存空间，提高元数据处理性能。

Description

一种机群文件系统的内存元数据管理方法

技术领域

本发明涉及存储系统体系结构技术领域，更具体地，本发明涉及一种机群文件系统的元数据的管理方法。

背景技术

计算机存储系统中所处理的数据包括两类：一类是用户使用的数据，即用户数据；另一类是存储系统用于管理用户数据的数据，即元数据。元数据访问的特点是I0量小，CPU利用率高，对网络延迟要求高。通常存储系统将两类数据的信息和控制流区分，分别定义用户数据和元数据处理的操作，并将对两类数据的管理分离到独立部件，其中处理元数据的部件称为元数据服务器。

元数据服务器根据系统构成可以划分为两类：一类是单元数据服务器，由一台元数据服务器为整个系统提供元数据服务，所有客户端的请求都发送到一台元数据服务器上并被执行；另一类是多元数据服务器，由多台元数据服务器为整个机群文件系统共同提供元数据服务，在这种元数据服务器系统中，元数据请求划分到其中一个元数据服务器进行处理。

元数据服务器的组织管理主要体现对元数据内存结构和元数据磁盘结构的组织管理。元数据在未被使用前是存储在磁盘中的，当某一元数据需要被访问时，其存储在磁盘中的结构被读出并生成与磁盘结构相对应的内存结构。由于磁盘的访问时间长，对元数据操作影响较大，所以元数据在磁盘的存储结构会以降低磁盘访问频率和提高磁盘访问效率为目的进行组织管理。元数据内存结构受内存大小的影响，该结构以元数据磁盘结构的缓存的形式进行组织，采用LRU的方式对元数据内存结构进行替换管理。

在机群文件系统领域，元数据管理的重要性得到越来越多的关注，现有的元数据管理方法主要包括下面所述的三种。

1、本地文件系统的元数据组织管理方法

本地文件系统元数据缓存相对较小，磁盘访问占元数据操作开销的大部分，所以文件系统的元数据组织管理方法利用磁盘访问局部性为目标，重点在元数据的磁盘结构组织，元数据的内存结构只是其磁盘结构在缓存中的映像。通常本地文件系统的元数据目录项(dent ry)存储在目录文件中，每个目录文件都有目录索引结构以加速查找目录项。元数据索引节点(i node)以表的形式组织存储。这种元数据组织管理方法能快速定位索引节点且能快速查找目录，但两类元数据的分离使得磁盘访问量增加，写回元数据开销较大。此外，该方法只将内存以缓存形式利用，元数据在缓存中的离散组织使得元数据写回更新会涉及较多的磁盘写回操作，增大磁盘写回开销。

2、机群文件系统的元数据组织管理方法

机群文件系统一般具有独立的元数据服务器提供元数据处理服务。相对本地文件系统而言，机群文件系统具有较大的内存来缓存元数据。在机群文件系统中，内存中的一部分被专门分配出来用于缓存经常访问的元数据(父目录索引节点)，这部分元数据内存结构一般分配后便驻留内存，直到其目录内的元数据不再访问才予以释放。对于其它类型的元数据，仍以缓存替换的方式来管理元数据内存结构。元数据磁盘结构仍以优化磁盘访问为目的进行组织。这类方法针对访问频率高的元数据采用驻留其内存结构的方式能够提高访问效率，减少磁盘访问，但其它类型的元数据内存结构仍以元数据磁盘结构缓存的形式来使用，不能充分利用内存的快速访问特性。

3、Google文件系统的元数据组织管理方法

Google文件系统采用将元数据全部驻留内存的方式来提高元数据的处理能力。将元数据全部驻留在内存可以避免元数据访问过程的磁盘访问开销，提高元数据处理能力。然而Google文件系统是一种专用的文件系统，不适用于通用处理。Google文件系统没有目录结构，元数据服务器以管理路径名查找表的方式来维护名字空间。名字空间中的每个元数据在查找表中占据一个表项。在对元数据操作时，按照元数据路径名在查找表中定位元数据。利用表的方式只适用于管理规模较小(千万文件)的文件系统，不适用于多服务器的扩展，而且表的线性数据结构不支持并发的添加删除操作。由于缺少目录结构的元数据管理不能有效支持POSIX语义，不具有通用性。

发明内容

为克服现有元数据管理中机群文件处理方法效率低、通用性差的缺陷，本发明提出一种机群文件系统的元数据的管理方法。

根据本发明的一个方面，提出了一种机群文件系统的元数据的管理方法，所述文件系统划分为多个元数据分区，所述多个元数据分区在多个元数据服务器上分别加载，每个所述元数据分区划分为多个维护元数据单元信息的元数据块，所述方法包括：

步骤10)、客户端解析所产生的元数据请求，获取所述元数据所属的元数据分区，向所述元数据分区对应的元数据服务器发出请求；

步骤20)、所述元数据服务器根据所接收的所述元数据请求中的类型值，确定所述请求的类型；

步骤30)、所述元数据服务器根据所述请求的类型，查询元数据块所在的数据结构，对元数据进行增加、定位或者修改处理；

其中，步骤10)在客户端解析所产生的元数据请求前，还包括：将文件系统划分为多个元数据分区，将每个所述元数据分区划分为多个维护元数据单元信息的元数据块。

其中，步骤10)中，所述元数据分区作为独立的文件系统，以一个独立的文件整体加载入内存或者卸载出内存；每个所述元数据块包含有固定数量的元数据单元，所述元数据单元包含元数据的目录项和索引节点信息。

其中，步骤10)中，所述客户端维护元数据分区与元数据服务器的映射关系表，客户端解析元数据请求中的索引节点号或者父目录索引节点号，获取对应的元数据分区。

其中，步骤30)中，所述元数据块的数据结构中，元数据单元按照创建的时间确定所属的元数据块，所述元数据单元具有父目录号、左兄弟号、右兄弟号及第一个孩子号来标识位置，通过在元数据单元中存储其位置信息来维护其在名字空间中所处的位置。

其中，步骤30)还包括：所述元数据服务器收到创建请求后，解析所述创建请求中的父目录号获得所在元数据分区；

从所述数据结构得到其中的空闲元数据单元，将该元数据单元占用；

将所述创建请求所含有的元数据名字用于初始化元数据单元，设置元数据单元的目录元数据，使目录元数据的第一孩子为新创建的元数据索引节点，将新的元数据单元的哈希链表头插入到元数据分区的哈希链中。

其中，步骤30)还包括：步骤310)、确定所述元数据请求为根据元数据索引节点号定位，则将所述索引节点号解析为元数据分区ID、元数据块ID和元数据单元在元数据块中的编号，确定元数据在元数据矩阵中的位置；步骤320)、确定所述元数据请求为根据元数据名字定位，则确定元数据所属的元数据分区，将元数据名字转换成哈希值，在对应哈希链表中找到元数据的位置。

其中，步骤30)还包括：

当进行元数据的更新时，由元数据分区的共享结构来控制元数据的分配，基于元数据的分区、元数据块和元数据的三层结构，对所述元数据操作时获取元数据分区、元数据块和元数据的三层结构的控制。

其中，步骤30)还包括：当元数据处理需要针对目录组织结构中的多个对象进行处理时，通过目录对象的孩子ID找到目录中的第一个元数据索引节点，通过该索引节点的兄弟ID依次找到其他的元数据。

其中，步骤30)还包括：在对元数据进行分配和回收时，对元数据的类型做相应设置，不进行内存的分配和回收，元数据分区内的元数据随元数据分区的加载和卸载过程导入或导出内存。

本发明采用将元数据全部驻留内存的方式来提高元数据处理能力，根据内存访问特点对元数据组织管理，能够高效利用内存空间，提高元数据处理性能，其分区的组织管理方式支持系统扩展，具有较好的可扩展性；与Google文件系统不同，本发明的方法维护名字空间目录结构，支持POSIX语义，具有通用性。

附图说明

图1示出根据本发明的实施例的元数据系统组织结构图；

图2示出根据本发明的实施例的元数据单元结构图；

图3示出根据本发明的实施例的索引节点号构成图。

具体实施方式

下面结合附图和具体实施例对本发明提供的一种机群文件系统的元数据的管理方法进行详细描述。

如图1所示，为了支持大规模机群文件系统的元数据处理，将整个文件系统划分成多个元数据分区。其中，每个元数据分区可以看作一个独立的文件系统，可以被整体加载入内存或卸载出内存。当文件系统需要扩展时，建立新的分区来存放新的元数据。多个元数据分区能够在多个元数据服务器上分别加载以提供较高的聚合处理能力。

在该文件系统的多个元数据分区中，每个元数据分区被划分为多个元数据块，每个元数据块中包含有固定数量(例如，通常为1024个，或者其它数量)的元数据单元。在这种内存元数据管理方法中，元数据分区以一个独立的文件存储，当元数据分区要载入内存时，将其文件整体读入内存。由于元数据分区的内存结构和磁盘结构在内容上一一对应，所以可以直接利用元数据的磁盘结构初始化对应的内存结构。元数据块是写磁盘的最小单元，每个元数据块维护其空闲元数据单元的信息，用来分配和回收元数据单元。每个元数据单元包含元数据的目录项(dentry)和索引节点(inode)的两方面信息。如图1所示，由于元数据分区可以看作是元数据单元的矩阵结构，通过获得元数据单元的分区ID、元数据块ID和元数据单元在元数据块中的编号，可以快速定位该元数据单元。

元数据索引节点号(ino)由三部分组成：分区ID、元数据块ID和元数据单元在元数据块中的编号，通过解析元数据ino可以快速定位该元数据单元。

目录组织结构如图2所示，在本发明的实施例的内存元数据管理方法中，整个分区的空闲元数据块以链表形式相连(当然，具体实现中，数据结构不限于链表一种表达方式，还可以使用多维数组、矩阵等方式)，元数据单元是按照创建的时间确定其所属的元数据块。通过在元数据单元中存储其位置信息来维护其在名字空间中所处的位置。每个元数据单元有父目录号、左兄弟号、右兄弟号及第一个孩子号来标识其所处的位置。当需要读取一个目录的所有元数据单元时，可以通过该目录元数据的第一个孩子号来读取其目录内的第一个元数据单元，然后通过该元数据单元的右兄弟号来依次读取目录内剩余的元数据单元。

在多元数据服务器多元数据分区的环境中，客户端作为元数据的增加、更新删除的请求方，多个元数据服务器中的一台被选择作为主服务器，维护整个文件系统的分区信息，任何分区统计信息的更新都需要客户端、其它服务器和主服务器交互确认。同时主服务器还根据其它服务器的负载和空闲资源信息调整分区在众服务器上加载。

在根据本发明的实施例的方法中，首先由客户端产生元数据请求，获取所述元数据所属的元数据分区，向所述元数据分区对应的元数据服务器发出请求；所述元数据服务器根据所接收的所述元数据请求中的类型值，确定所述请求的类型，查询元数据块，对元数据进行增加、定位或者修改处理。

客户端的请求发送

1、客户端维护着分区与元数据服务器的对应表(该对应表为固定大小，表项数目为元数据分区的最大数目。该表位于客户端的内存中，在客户端启动时进行初始化。每个表项有两个单元，分别为分区ID和分区所在的元数据服务器ID)，当客户端使用某一分区时通过加载该分区，在分区对应表中添加该分区映射关系。

2、当元数据请求中只含有索引节点号(ino)时，解析ino，获得该元数据所属的元数据分区，然后从分区对应表中查找该分区对应的元数据服务器。如果有对应项则将元数据请求发送至该元数据服务器；如果没有或者发送的请求返回提示对应关系出错，则向主元数据服务器发送请求获得更新的分区对应关系。

3、当元数据请求只含有父目录索引节点号(dino)时，解析dino中的分区位，获得其父目录元数据所属的元数据分区，然后从分区表中查找该分区对应的元数据服务器。如果有对应项则将元数据请求发送至该元数据服务器；如果没有或者发送的请求返回提示对应关系出错，则向主元数据服务器发送请求获得更新的分区对应关系。

元数据服务器的处理

当元数据服务器接收到请求时，首先根据请求中的类型值解析出请求类型，根据不同类型调用不同的处理方法，以下将详细描述元数据服务器对于客户端发送的不同类型(通常包括元数据的创建、删除、释放、查找以及分区的查找和目录的释放)的请求的具体处理过程。

1、元数据的创建

(1)、元数据服务器收到请求后，解析请求中的dino以获得其所在分区，若该分区不在元数据服务器内存则返回出错信息，在则继续；

(2)、从分区的空闲链表的链头取下一个元数据块，通过该元数据块的统计信息得到其中的空闲元数据单元，将该元数据单元占用，并修改元数据块的统计计数，若元数据块在分配后没有空闲元数据单元，则将其从分区的空闲链表中取下。

(3)、将请求所含有的元数据名字用于初始化元数据单元，同时增加创建类型设置该元数据单元的类型，将该元数据单元的nlink置为1。

(4)、设置元数据单元的目录元数据，使得目录元数据的第一孩子置为新创建的元数据ino，然后将新创建的元数据的右兄弟号置为原有第一孩子的ino，，而原有第一孩子元数据的左兄弟号置为新元数据的ino。

(5)、目录元数据nlink加1，目录大小做增大处理。同时将新元数据单元的哈希链表头插入到分区的哈希链中以进行查询操作。

2、元数据的删除

(1)、元数据服务器收到请求后，解析请求中的dino以获得其所在分区，若该分区不在元数据服务器内存则返回出错信息，在则继续。

(2)、根据dino定位删除元数据的目录元数据单元，根据删除元数据的名字定位到其元数据单元。如果删除元数据是目录单元的第一孩子，则将目录单元的第一孩子置为删除单元的右兄弟号。然后将其右兄弟的左兄弟号置为其左兄弟号，将其左兄弟的右兄弟号置为其右兄弟号。

(3)、将该元数据从分区的哈希链表中摘下，将该元数据的nlink减1。

(4)、目录元数据nlink减1，目录大小做减小处理。

3、元数据释放

(1)、元数据服务器收到请求后，解析请求中的i no以获得其所在分区，若该分区不在元数据服务器内存则返回出错信息，在则继续；

(2)、根据ino定位该元数据单元，检查该元数据单元的客户端访问表中请求客户端所对应的位是否置1，如果是则将其置0，否则则报错。

(3)、检查该元数据单元的nlink是否为0，不是则退出，是则释放该元数据。

(4)、将该元数据单元置为空闲，修改其所在元数据块的统计信息，将其空闲单元数加1。如果元数据块在元数据单元释放前无空闲单元，则在该元数据单元释放后将元数据块加入分区空闲链表的链头位置。

4、目录读取

(1)、元数据服务器收到请求后，解析请求中的dino以获得其所在分区，若该分区不在元数据服务器内存则返回出错信息，在则继续；

(2)、根据dino定位该元数据单元，从元数据单元的第一孩子号获得该目录中的第一个元数据。从第一个元数据中获取名字和索引节点号，组成目录块的第一个目录项，然后通过元数据单元的右兄弟号找到目录中的第二个元数据，并获得目录块中的第二个目录项，直到目录块满或到达目录的最后一个元数据，返回请求。

(3)、如果目录读取的偏移是目录中间开始的，则读取时先跨过所读过的目录项，然后从需求的元数据处开始填充目录块。

5、元数据的查找

(1)、元数据的查找有两种，一种是已知元数据的ino，查找元数据单元；另一种是已知元数据的dino和name，查找元数据单元；

(2)、对于第一种，通过ino获取到元数据的分区ID、元数据块ID和块内ID。先用分区ID找到元数据分区，再利用元数据块ID从分区中找到元数据块，最后利用块内ID从元数据块中找到元数据单元。

(3)、对于第二种，通过dino获取元数据的分区ID。找到元数据分区后，再根据dino和name生成hashkey，然后在分区的hash表中查找对应的hash项，最后在hash项的链表中找到元数据单元。

6、元数据分区的操作

(1)、元数据分区的操作由系统外的管理程序发起通过和元数据服务器和客户端交互完成。

(2)、当创建元数据分区时，管理程序向主服务器发送创建分区请求，主服务器根据各元数据的空闲内存空间的统计，选择空闲空间最大的元数据服务器A，然后将分配的新分区ID和创建分区请求转发给服务器A。如果服务器A的空闲内存空间可以装载下分区的默认大小则完成分区创建，并将信息发送回主服务器。否则回复出错。

(3)、当删除元数据分区时，管理程序向主服务器发送删除分区请求，主服务器查找分区名字对应的元数据服务器B，然后向服务器B发送分区删除请求。服务器确认对删除分区无任何操作后，将其删除，并将信息发挥主服务器。主服务器收回删除分区的ID。

(4)、当客户端C需要使用元数据分区P时，管理程序向主服务器发送使用分区命令，主服务器查到分区P所在服务器S上后，将请求转发到服务器S。S将分区P的客户端使用表中C对应位置1后将分区P和服务器S的映射关系发送到客户端C，客户端C收到后更新其映射表。

(5)、当客户端C不需要使用元数据分区P时，管理程序向客户端C发送停止使用分区命令，客户端将分区P在分区映射表的对应项删除，然后向分区P所在服务器S发送停止使用分区请求，S接到请求后将分区P的客户端使用表中C对应位置0。

最后应说明的是，以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制，本发明在应用上可以延伸为其他的修改、变化、应用和实施例，并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (8)

1.一种机群文件系统的元数据的管理方法，所述文件系统划分为多个元数据分区，所述多个元数据分区在多个元数据服务器上分别加载，每个所述元数据分区划分为多个维护元数据单元信息的元数据块，所述方法包括：

步骤10)、客户端解析所产生的元数据请求，获取所述元数据所属的元数据分区，向所述元数据分区对应的元数据服务器发出请求；

步骤20)、所述元数据服务器根据所接收的所述元数据请求中的类型值，确定所述请求的类型；

步骤30)、所述元数据服务器根据所述请求的类型，查询所述元数据服务器中的元数据块，对元数据进行增加、定位或者修改处理；

其中，所述元数据分区作为独立的文件系统，以一个独立的文件整体加载入内存或者卸载出内存；

其中，每个所述元数据块包含有固定数量的元数据单元，所述元数据单元包含元数据的目录项和索引节点信息。

2.权利要求1的方法，其中，步骤10)中，所述客户端维护元数据分区与元数据服务器的映射关系表，所述客户端解析所述元数据请求中的索引节点号或者父目录索引节点号，获取对应的元数据分区。

3.权利要求1的方法，其中，步骤30)中，所述元数据块所在的数据结构中，元数据单元按照创建的时间确定所属的元数据块，所述元数据单元具有父目录号、左兄弟号、右兄弟号及第一个孩子号来标识位置，通过在元数据单元中存储其位置信息来维护其在名字空间中所处的位置；所述数据结构是链表或者矩阵。

4.权利要求3的方法，其中，步骤30)还包括：

所述元数据服务器收到创建请求后，解析所述创建请求中的父目录号获得所在元数据分区；

从所述数据结构得到其中的空闲元数据单元，将该元数据单元占用；将所述创建请求所含有的元数据名字用于初始化元数据单元，设置元数据单元的目录元数据，使目录元数据的第一孩子为新创建的元数据索引节点，将新的元数据单元的哈希链表头插入到元数据分区的哈希链中。

5.权利要求4的方法，其中，步骤30)还包括：

步骤310)、确定所述元数据请求为根据元数据索引节点号定位，则将所述索引节点号解析为元数据分区ID、元数据块ID和元数据单元在元数据块中的编号，确定元数据在元数据矩阵中的位置；

步骤320)、确定所述元数据请求为根据元数据名字定位，则确定元数据所属的元数据分区，将元数据名字转换成哈希值，在对应哈希链表中找到元数据的位置。

6.权利要求4的方法，其中，步骤30)还包括：

当进行元数据的更新时，由元数据分区的共享结构来控制元数据的分配，基于元数据的分区、元数据块和元数据的三层结构，对所述元数据操作时获取元数据分区、元数据块和元数据的三层结构的控制。

7.权利要求4的方法，其中，步骤30)还包括：当元数据处理需要针对目录组织结构中的多个对象进行处理时，通过目录对象的孩子ID找到目录中的第一个元数据索引节点，通过该索引节点的兄弟ID依次找到其他的元数据。

8.权利要求4的方法，其中，步骤30)还包括：在对元数据进行分配和回收时，对元数据的类型做相应设置，不进行内存的分配和回收，元数据分区内的元数据随元数据分区的加载和卸载过程导入或导出内存。

Images