CN102158546A - 一种集群文件系统及其文件服务方法 - Google Patents

Abstract

本发明提供一种集群文件系统，其特征在于，包括：目录服务器，用于存储目录元数据并提供目录服务；布局服务器机群，用于存储布局元数据并提供布局服务；以及存储设备阵列，用于存储文件内容数据。本发明还提供了相应的文件服务方法。所述文件服务方法包括文件访问步骤：客户端首先访问目录服务器获取文件的目录信息；然后访问布局服务器获取文件数据在物理存储设备上的分布信息；最后直接访问物理存储设备获取数据信息。与现有技术相比，本发明能够进一步提高文件集群系统的扩展能力；本发明兼容性强且访问延时小。

Description

一种集群文件系统及其文件服务方法

技术领域

本发明涉及网络存储技术领域，特别涉及一种集群文件系统及其文件服务方法。

背景技术

随着信息社会建设与互联网络飞速发展，信息数据迅猛增长，应用规模快速扩大，越来越多的大规模应用不仅需要高性能的计算能力，而且对其存储系统在大容量、高性能、高扩展性等方面提出了更高的要求，集群文件系统成为制约应用发展的一个关键因素。集群文件系统需要提供巨大的存储容量(如PB级别的存储容量)，提供高聚合I/O性能(如达到GB/s级别，甚至数十、数百GB/s的I/O性能)。而对容量和性能的需求都需要高扩展的集群文件系统，即要求能够通过扩展存储设备的数量来满足大容量和高聚合带宽性能的需求。下面简要介绍几种现有的集群文件系统。

NAS(网络附加存储)是一种传统的集群文件系统。客户端通过文件服务器访问块存储设备上的数据，实现了跨平台的数据共享。然而，文件系统的控制数据(即元数据)和文件内容数据都由文件服务器维护，元数据访问和数据访问都需要通过文件服务器，因此文件服务器容易成为容量和性能扩展的瓶颈。

SAN FS(存储局域网文件系统)是一种改进的集群文件系统。SAN FS为了增加集群文件系统的扩展性，采用了一种元数据与文件内容数据分离的方法。由单独的元数据服务器处理元数据，而对文件内容数据的访问则直接访问存储设备。由于内容数据的访问不必再通过文件服务器，因此SAN FS有效降低了元数据服务器的负载，提高了集群文件系统的扩展能力。然而元数据服务器仍然存在元数据处理能力的限制，也容易成为阻碍系统扩展的瓶颈。

对象存储系统是另一种改进的集群文件系统，目前典型的对象存储系统有Lustre(SUN公司研制的一种对象存储系统)和PanFS(Panasas公司研制的一种对象存储系统)等。对象存储系统中，对象是数据存储的基本单位，它由数据、属性、布局三部分组成。对象的数据就是对象的内容数据，它与传统存储系统中文件的数据相同。对象属性是对象的逻辑大小、创建时间、实际占用物理空间、属主、权限等涉及到对象管理与维护的属性信息，对象布局则是对象的内容数据在物理存储介质上分布信息，用于描述对象在物理磁盘上的块分布，包括对象ID、块索引地址等。在对象存储系统中，对象布局由对象智能维护，文件系统元数据服务器不再维护基于块的文件布局，仅维护基于对象的文件布局，因此进一步降低了元数据服务器负载，提高了扩展能力。

然而，对象存储系统中，对象之间的关系仍旧由元数据服务器维护，元数据服务器仍然存在元数据处理能力的限制，也容易成为阻碍系统扩展的瓶颈。上文中，对象之间的关系是指一个文件是如何由多个对象按照何种方式组成的，比如多个对象之间构成条带、或者对象作为一种更大粒度的管理单位替换了数据块管理单位。

并且，对象存储系统不能直接支持块接口访问存储设备，只能通过对象存储服务器导出为对象访问接口。而目前占绝对主流的存储设备都是直接提供块访问接口，因此对象存储系统的兼容性相对较弱。对象存储服务器需要维护设备内的元数据和数据，并进行对象访问接口到块访问接口的转换，不能直接提供块访问接口，导致无法有效利用SAN存储网络的高性能数据访问。

再者，对象存储系统会增大数据访问延时，影响数据访问性能。由于目前的存储设备绝大部分提供的是块访问接口，因此对象存储系统必须进行对象访问协议与块访问协议的相互转换，导致数据访问延时的增加。据统计对象存储系统访问延时增长大约在5％左右。

综上所述，当前迫切需要一种能够进一步提高扩展能力、兼容性强且访问延时小的集群文件系统及其相应的文件服务方法。

发明内容

本发明的目的是提供一种能够进一步提高扩展能力、兼容性强且访问延时小的集群文件系统及其相应的文件服务方法。

为实现上述发明目的，本发明提供了一种集群文件系统，其特征在于，包括：

目录服务器，用于存储目录元数据并提供目录服务；

布局服务器机群，用于存储布局元数据并提供布局服务；以及

存储设备阵列，用于存储文件内容数据。

其中，所述目录服务器包括：

目录元数据服务器，用于维护全局目录空间；

目录元数据资源管理服务器，用于维护目录相关元数据资源状态，所述目录相关元数据资源状态包括：文件索引节点、目录文件及其间接地址块；以及

目录元数据存储设备，用于存储目录元数据。

其中，所述布局服务器机群包括：

多个布局服务器，用于维护文件系统的物理视图以提供布局服务；

一个布局元数据资源管理服务器，用于维护布局元数据资源状态并协调布局服务器机群对共享资源的使用，所述布局元数据资源状态包括全局数据块资源状态、布局索引节点和布局间接地址块；以及

布局元数据存储设备，用于存储布局元数据。

其中，所述布局服务器提供的布局服务包括：将文件访问逻辑位置映射到存储设备物理地址；分配物理块存储资源并按一定格式组织文件布局；以及删除文件时回收文件布局包含的物理块存储资源。

其中，所述目录服务包括：维护文件系统逻辑视图，提供整个文件系统统一的、一致的全局命名空间；负责文件系统的目录层次、权限管理服务；以及提供全局命名空间操作。

其中，所述目录元数据包括目录文件、文件索引节点、文件属性和目录文件布局。

其中，对于数据文件，所述文件索引节点记录该数据文件对应的布局标识，但不记录该数据文件对应的布局首部。对于非数据文件，如目录文件、符号链接文件，文件索引节点记录该非数据文件对应的布局标识和布局首部。

其中，所述目录元数据包括用户属性，用户属性是主要在用户进行目录服务、权限验证等过程中访问使用，且不随文件数据访问而更新的文件属性；所述布局元数据包括存储属性，所述存储属性是主要与文件布局服务密切相关，在文件数据访问过程中频繁更新的文件属性。

其中，所述文件服务方法包括文件访问步骤：客户端首先访问目录服务器获取文件的目录信息；然后访问布局服务器获取文件数据在物理存储设备上的分布信息；最后直接访问物理存储设备获取数据信息。

其中，所述文件服务方法还包括布局标识维护步骤，所述布局标识维护步骤包括：所述目录服务器与所述布局服务器机群之间采用异步批量方式进行布局标识的申请与回收。

其中，异步批量文件布局维护包括异步批量的文件布局标识分配、访问和释放。

其中，所述文件服务方法还包括文件创建、文件属性获取、文件属性设置、文件数据访问和文件删除等步骤。

与现有技术相比，本发明具有下列技术效果：

1、本发明能够进一步提高文件集群系统的扩展能力；

2、本发明兼容性强且访问延时小。

附图说明

图1示出了本发明一个实施例中的集群文件系统的结构示意图；

图2示出了本发明另一个实施例中的集群文件系统的结构示意图；

图3示出了一个优选实施例中布局元数据分层共享存储的示意图；

图4示出了一个优选实施例中布局ID分配流程示意图；

图5示出了一个优选实施例中文件属性分离的示意图。

具体实施方式

本发明结合SAN文件系统的直接高性能数据访问以及对象存储系统元数据高性能、高扩展性访问的优点，提出了一种目录和布局分离的集群文件系统。

下面，结合附图和实施例对本发明做进一步地描述。

参考图1，根据本发明的一个实施例，提供了一种集群文件系统，该集群文件系统包括目录服务器、布局服务器机群和存储设备阵列。其中，目录服务器用于存储目录元数据并提供目录服务，布局服务器机群用于存储布局元数据并提供布局服务，存储设备阵列用于存储文件内容数据。现有技术中，并未明确区分目录元数据和布局元数据，而本案发明人分析了元数据的构成并对元数据进行分类，进而把文件系统目录、布局和数据服务进行了服务分层分离，同时把目录元数据、布局元数据和数据进行了存储分离。

本发明中，之所以将目录与布局分离是原因是：目录服务的负载相对较小，但其可扩展性需求较弱，如果通过增加服务节点的方式来满足更高的存储及数据处理性能的要求，需要解决目录切分以及目录元数据一致性维护的复杂问题，这样往往会导致较大的额外开销。而布局服务的负载相对较大，现有的SAN FS技术中，在大文件负载情况下，元数据服务器的布局管理负载所占比重大约达到60～90％左右。因此，本实施例中，使用专门的布局服务器机群来存储布局元数据并提供布局服务。由于本实施例把布局管理的大量负载转移到专门的布局服务器机群，因此目录服务器的负载相对于现有SAN FS和对象存储系统的元数据服务器的负载均大大减小，因此，在硬件条件相同的前提下，相对于现有的元数据服务器，本实施例提供的目录服务器能够支持更大规模和更高性能的集群文件系统，一般不会成为阻碍系统扩展的瓶颈。一般地，通过增加布局服务器机群的节点数目，即可方便地对本实施例的集群文件系统进行扩展，因此，本实施例系统扩展能力大大提高。如图1所示，在优选实施例中，目录服务器使用专用的目录元数据存储设备存储目录元数据，布局服务器也使用专用的布局元数据存储设备存储布局元数据。

进一步地，在另一个优选实施例中，集群文件系统的目录服务由单独的目录服务器维护，这样能够避免多个目录服务器之间目录切分以及目录元数据一致性维护的复杂问题。

目录服务器可以借用本地文件系统的成熟技术来提供目录层次服务，比如Ext3/4，ReiserFS(这些名称在本领域是公知的，它们是两种不同的本地文件系统)等。目录服务器中目录的维护，包括目录创建、删除、查找等操作，也可以完全借助本地文件系统的成熟技术来实现。目录元数据采用单独存储，避免与其他类型数据访问的相互影响。

目录服务器还维护文件对应的文件布局标识，从而可以根据该布局标识访问对应的布局服务器以获取布局服务。目录服务器与布局服务器进行文件布局交互，以申请空闲的文件布局或回收已经删除的文件布局。

目录服务器对于文件的创建和删除需要进行相应修改。对于文件创建，相对于SAN FS要增加为文件分配空闲的文件布局的操作，也就是建立文件与其文件布局之间的关系。对于文件删除，相对于SAN FS要增加把文件对应的文件布局进行释放的操作，也就是解散文件与其文件布局之间的关系，其具体操作将在下文中进一步描述。

在另一个优选实施例中，布局服务完全由布局服务器负责，主要管理文件布局，提供文件布局服务。布局服务器主要提供文件布局的初始化、分配、映射、删除等服务，并管理布局相关的数据块资源状态。文件布局初始化过程中，把布局的各种属性设置为初始状态，从而保证布局有效；文件布局分配过程中，为文件分配块资源，并按照相应文件布局格式组装到文件布局中；文件布局映射过程中，把文件逻辑位置转换为对应的物理位置，并返回给客户端相应映射结果；文件布局删除过程中，把布局中包含的块资源逐项进行释放。在以上的布局分配或删除更新操作中，都会涉及到块存储资源状态的更新操作。

文件布局可以包含分布在不同数据存储设备上的块资源，从而实现文件数据跨存储设备的灵活分布。不同存储设备之间的数据分布由布局服务器全局管理，而在对象存储系统中，跨存储设备的数据分布只能由元数据服务器管理。

多个布局服务器构成机群协同提供文件布局服务，以提高布局服务性能，避免布局服务成为系统瓶颈。因为不同文件的布局之间几乎没有相互关系，布局服务可以灵活分布到多个布局服务器。布局服务负载以一定方式布到不同的布局服务器，由布局服务器机群协同进行布局服务的处理。当多个并发负载访问同一个存储设备时，由于并发负载相互影响，导致存储设备性能会降低，这主要是因为随机访问增加，导致磁盘磁头频繁移动而性能下降。本实施例中，布局元数据采用单独存储，避免与其他访问的相互影响。

布局服务器还管理数据块资源状态，维护各个存储设备中数据块存储资源的空闲与否状态，进行块资源的分配和回收。

在一个实施例中，数据服务由块存储设备直接提供，数据存储设备数量可扩展。大量的存储设备直接提供块访问接口，客户端直接并行访问存储设备以获取高聚合I/O性能。数据存储设备可以是通过网络提供块访问接口的任何类型的存储设备，比如iSCSI接口的磁盘阵列，或者光纤阵列，虚拟存储系统，或者是由I/O节点导出的可通过网络访问的磁盘设备。

在一个实施例中，还提供了一个优选的客户端文件系统。应用程序通常不直接使用块接口的存储系统，为有效支持应用程序对存储系统的访问，需要在每个用户节点部署客户端文件系统，为上层应用提供POSIX兼容的文件系统接口，支持标准文件系统操作，如Open，Read，Write，Close，Stat等操作。客户端文件系统把分离的目录服务、布局服务和数据服务组织成为一个有机服务整体，为应用提供统一的文件系统访问界面。客户端文件系统访问目录服务器获取文件对应的文件布局，访问布局服务器进行布局的创建或映射服务，访问存储设备以获取数据。

上述实施例中，布局和目录服务分离的结构把布局元数据存储和目录元数据存储进行了分离，同时把布局元数据存储和数据(指内容数据)存储进行了分离。这样不但避免了SAN文件系统中布局元数据和目录元数据的共享访问冲突，有利于缓解I/O瓶颈，提高系统整体性能；而且还避免了对象存储系统中布局元数据和数据的共享访问冲突。更具体地，把分散在各个对象存储服务器中的布局元数据进行集中存储和管理，可以达到如下好处：(1)避免布局元数据与数据的共享访问冲突，有利于提高存储设备效率，提高访问性能；(2)避免对象存储系统中分散布局元数据存储的负载不均、利用率低等问题，提高布局元数据存储的利用率；(3)针对布局元数据访问需求，可进行针对性的优化。

本发明还提供了基于上述实施例所提供的文件集群系统的文件服务方法。在一个实施例中，文件服务方法包括文件访问方法：首先访问目录服务器获取文件的目录信息；然后访问布局服务器获取文件数据在物理存储设备上的分布信息；最后直接访问物理存储设备获取数据信息。

图2示出了图1实施例中的目录服务器和布局服务器集群的一个优选实施方案。如图2所示，根据本发明的另一个优选实施例，还提供了另一种文件集群系统，该实施例的文件集群系统包括目录服务器、布局服务器机群和存储设备阵列。该文件集群系统中，采用多个布局服务器(LS，全称为LayoutServer)组成机群，专门提供布局服务。从而把布局服务与目录服务进行完全分离，同时把布局服务与数据服务也进行分离。布局服务器机群主要负责文件布局的分配、映射、删除等操作，以及数据块存储资源的管理。

其中，目录服务器包括目录元数据服务器、目录元数据资源管理服务器以及目录元数据存储设备。布局服务器机群包括多个布局服务器、一个布局元数据资源管理服务器以及布局元数据存储设备。目录元数据服务器(MDS，MDS全称为MetaData Server)负责维护全局目录空间。目录元数据资源管理服务器(下文中称为Dir_CRM模块)，负责维护文件索引节点、目录文件及其间接地址块等目录相关元数据资源状态。布局元数据资源管理服务器(下文中称为Lay_CRM模块)负责维护全局数据块资源状态以及布局索引节点、布局间接地址块等布局元数据资源状态，并协调布局服务器机群对共享资源的使用。一般地，Dir_CRM模块可安装在目录服务器上，Lay_CRM模块安装在布局服务器机群中的一个专用于提供布局元数据资源管理服务的节点上，即布局服务器机群包括多个布局服务器和一个布局中央资源管理服务器。参考图2，下面结合更多的优选实施例，分别进一步介绍本发明的文件集群系统的各个组成部分及文件服务方法。

一、目录服务器

在一个优选实施例中，目录服务器维护文件系统逻辑视图，提供整个文件系统统一的、一致的全局命名空间。负责文件系统的目录层次、权限管理等服务，提供目录查找、权限验证、目录创建、删除等全局命名空间操作。单一目录服务器采用本地文件系统常用的日志技术维护目录更新一致性，一致性维护简单高效。

目录层次维护采用Ext3(扩展文件系统布局格式第三版)的Htree(哈希树，一种搜索高效的数据结构)方式组织目录项Entry。目录文件存储该目录下的目录项Entry，每个Entry记录文件名称及其文件索引节点号。文件索引节点中记录文件属性以及文件布局标识。根据文件名称的Hash值搜索Entry所在目录文件中的存储位置，避免了线性目录组织方式中查找效率低的问题。

目录元数据包括目录文件、文件索引节点、文件属性、目录文件布局等，存储在单独的目录元数据存储设备中(Dir_Metadata设备)中，由Dir_CRM模块维护元数据资源状态。目录元数据单独存储，有利于避免与数据访问、布局访问的相互影响，并可进行针对性的优化。MDS与Dir_CRM之间通过资源交互协议进行资源的申请和回收。

对于数据文件来说，MDS不再维护其文件布局，文件索引节点中不必记录布局首部，仅需要记录对应的布局ID即可，因此相对于现有技术中的元数据服务器，本实施例降低了数据文件索引节点容量。比如Ext3中文件索引节点容量为128字节，其中布局首部就占用60个字节。索引节点容量的降低有助于节省元数据存储空间，提高缓存利用率。本实施例中布局ID的具体构成将在下文详细描述。

布局ID代表着系统中确定的一个文件布局。客户端访问MDS获取数据文件布局ID后，就可以根据该布局ID访问布局服务器以获取布局服务。空闲布局ID由MDS向各个布局服务器申请获取，在文件创建时进行分配和记录。空闲布局ID的申请采取批量预申请方式，以减少申请交互次数。为保证申请到的空闲布局ID在异常宕机等情况下的不丢失，MDS提供持久资源缓存用于记录申请到的空闲布局ID。持久资源缓存还用于临时记录MDS释放的布局ID，然后以批量方式回收到布局服务器，由布局服务器最终完成布局回收。

特别地，对于目录文件、符号链接文件等非数据文件，其文件布局维护仍旧由MDS维护。一方面，这部分布局负载较轻，对系统影响较小；另一方面，元数据访问对响应延时有较高的要求，如果也采用布局服务分离，则需要首先通过网络访问获取布局，然后才能访问元数据，会增加响应延时。

二、布局服务器机群

在一个优选实施例中，布局服务器维护文件系统的物理视图，主要负责如下布局服务：(1)文件访问逻辑位置映射到存储设备物理地址；(2)分配物理块存储资源并按一定格式组织文件布局；(3)删除时回收文件布局包含的块存储资源。

布局服务器维护离散的文件布局，各个文件布局之间没有相互操作联系，文件布局之间的关系根据目录服务器中的目录关系确定。

多个布局服务器组成机群共同提供布局服务，从而避免单个布局服务器成为瓶颈，提高布局服务的访问性能和扩展能力。由于各个文件布局之间没有相互操作联系，因此布局服务负载可以灵活方便的分布到不同布局服务器中。

布局元数据包括布局索引节点(lnode)、布局属性、布局间接地址块。布局索引节点(lnode)类似于文件索引节点(inode)，记录布局属性以及布局首部。布局索引节点编号为布局序号(lno)，也类似于文件索引节点序号(ino)。在系统中，布局索引节点进行全局统一编号，根据lno可以访问到唯一lnode，从而获取布局属性和布局首部，进而获取整个布局。布局间接地址块位于布局内部，用于记录布局映射关系。

对于文件布局的定位，由于布局服务器直接根据lno获取lnode，避免了通常对象存储系统中的对象目录维护开销，提高了布局服务性能。然而，在对象存储系统中，通常采用文件系统目录结构来记录对象ID与对象索引节点的映射关系，把对象ID作为文件名。对象目录结构一般采用平坦方式，即在对象目录下记录所有对象ID与对象索引节点映射关系的目录项，而不需要维护子目录。对象ID作为目录名，在对象目录中查找以获取对应的对象索引节点，增加了目录维护开销。在对象创建和删除时，要进行目录更新操作；在对象访问时要进行目录搜索操作。当对象数量增加时，对象目录的容量增加，导致目录操作开销也逐渐增加。当多个服务器共享访问对象存储服务器时，对象目录访问还需要进行加锁互斥控制，也增加了开销。而且，对象目录维护也增加了对象存储服务器缓存的占用，导致缓存利用率降低。

布局序号lno包含在文件布局ID中提供给MDS使用。客户端从MDS获取布局序号lno，布局服务器根据lno直接获取lnode，从而进行布局访问。

布局服务器提供两方面的服务，包括为MDS提供布局ID的申请、回收和为客户端提供布局分配、映射、截断等服务。

(1)为MDS提供布局ID的申请与回收

布局ID在整个系统中起着重要作用，布局ID标识系统中唯一的布局。客户端根据布局ID访问相应LS，以获取文件布局服务。

MDS与布局服务器之间采用异步批量方式进行布局ID的申请与回收。在布局ID申请过程中，需要对布局进行初始化。在布局回收过程中，需要释放布局中包含的块资源以及布局索引节点。

(2)为客户端提供布局服务

当布局服务器接收到客户端的布局服务请求后，首先根据布局ID获取相应的布局索引节点，然后进行后续的服务访问。具体提供如下的三种布局服务：

布局分配：布局服务器进行数据块资源的分配，并在必要时进行布局内间接地址块分配，按照布局格式组织文件布局，并返回分配的布局映射项结果。

布局映射：根据布局格式，把文件逻辑偏移映射为物理地址，并返回布局映射项结果。

布局截断：释放布局中被截断的块资源。

在以上服务过程中，布局服务器与Lay_CRM模块之间通过资源交互协议进行布局元数据资源和数据块资源的申请和回收。在布局初始化、分配、释放等更新服务过程中，布局服务器采用本地日志技术维护布局元数据更新的一致性，避免出现资源丢失或重用的异常情况。

三、布局元数据存储

在一个优选实施例中，布局服务器机群维护布局元数据，完成文件系统布局服务。布局元数据不可能一直保存在布局服务器的内存中，需要最终保存到持久存储介质中。本实施例的策略是充分结合非共享存储和共享存储两种方式的优点，采用了一种分层共享存储方法。如图3所示，布局元数据存储分为两层，后端采用虚拟存储系统提供共享存储，前端采用日志存储为每个布局服务器提供私有存储。

布局元数据后端共享存储采用由多个存储设备构成的虚拟存储系统。虚拟存储系统把多个设备的物理存储资源组织成为统一逻辑线性地址空间，并提供统一块访问接口；物理存储资源的变化被虚拟存储系统隐藏，可以有效支持物理存储资源的扩展；虚拟存储还具有一定的智能，可以进行数据管理优化，以提供更优的访问性能；虚拟存储还可以提供各种冗余配置，以保证高可用性。虚拟存储系统在充分利用共享存储优点的同时，克服了共享存储容易导致I/O瓶颈的不足。

每个布局服务器上的日志存储作为布局元数据的前端私有存储。日志通常采用顺序更新方式，然后以组提交方式延时刷新到后端的共享存储，从而高效发挥日志存储的效率。每个布局服务器上的日志容量可达数百MB。一方面，日志保证了布局服务器异常宕机情况下布局元数据更新的状态一致性；另一方面，日志吸收了布局元数据的大量重复更新。当日志最终刷新时，许多更新可能都已经被撤销了，从而不需要刷新后端的布局元数据共享存储；或者，当日志最终刷新时，许多更新可能被合并了，从而仅需要把最终状态刷新到后端布局元数据共享存储。以上都减少了对后端共享存储的更新I/O负载。

日志本质上是后端共享存储布局元数据的持久缓存，由布局服务器独立管理和使用，不存在多个布局服务器之间的共享访问冲突问题。布局服务器异常失效后，为解决日志中缓存的布局元数据无法访问的问题，日志配置为可以被其他布局服务器访问，从而恢复布局元数据最新状态。

此外，布局服务器机群专门提供布局元数据访问服务，访问最多的布局元数据能够在布局服务器的Cache中命中，减少了布局元数据的读取I/O负载。

布局元数据资源状态由Lay_CRM模块维护，协调布局服务器机群对资源的共享访问。把全局布局元数据进行划分，动态分布到不同布局服务器，保证各个布局服务器使用的资源不重叠。布局服务器与Lay_CRM模块之间采用采用批量方式进行资源申请与回收，以减少资源交互次数。

四、文件布局ID格式

文件布局ID标志唯一确定的文件布局，是联系目录服务和布局服务的桥梁。

如表1所示，在一个优选实施例中，布局ID包含lno、lgene两部分内容。其中lno为布局索引节点编号，根据lno访问到布局索引节点；lgene为该布局的版本号，根据版本号检测布局访问合法性。

表1

域	位数	说明
			lno	64位	布局索引节点编号

lgene

32位

布局版本号

由于布局服务器不采用类似对象存储系统中的目录结构记录布局ID与布局索引节点的映射，而是直接根据索引节点序号lno访问到布局索引节点，因此文件布局ID中应当包含lno。当布局服务器收到布局服务请求后，根据布局ID中的lno直接定位到布局索引节点，从而进行布局索引节点的访问。lno采用全局统一编号机制，根据lno可以唯一确定一个文件布局。

文件布局ID中包含布局版本号，类似于目录元数据中的文件索引节点版本号，当该布局索引节点被重新使用时，赋予一个新的版本号，从而与该布局的过时使用进行区分。

布局服务器根据lgene判断访问的合法性，如果布局ID中包含的lgene与布局索引节点中记录的布局版本号一致，则表示访问合法。否则，表示过时的访问，拒绝进行布局服务。

总而言之，lno是布局索引节点存储位置标志，lgene是布局索引节点的访问有效性标志，因此布局ID是确定唯一有效布局索引节点的标志。

五、文件与其布局ID映射关系显式维护

文件布局ID是联系目录服务和布局服务的桥梁，如何根据目录服务获取文件对应的布局，也即如何记录和维护文件与其布局之间映射关系是需要解决的基本问题。在一个优选实施例中，采用显式方式维护文件与其布局ID映射关系，并降低布局列表的长度。在系统中，由于一个文件仅对应一个布局，因此在布局列表中只需要记录一个布局ID即可，可以作为文件的一个属性进行记录与维护。布局列表长度固定，也方便了目录元数据的管理与存储。负载比对象列表方式大大降低，并且可以兼顾目录访问局部性、负载均衡等自适应分布机制。

并且，系统采用异步批量的资源交互机制，可以降低目录服务器与布局服务器之间的交互开销负载。

文件与其布局ID之间的映射关系由目录服务器进行显式的记录。显式方式的突出优点是可以根据对象存储服务器状态进行对象的分配，以实现容量均衡、负载均衡等自适应的分布机制。此外，由于目录服务器在文件创建时，已经感知到当前的目录结构，因此可以在对象分配中兼顾目录访问局部性。

六、异步批量文件布局维护流程

在一个优选实施例中，MDS与布局服务器之间采用异步批量方式进行布局ID的申请与回收，有效降低了交互开销。

(1)布局ID分配流程

布局ID分配流程如图4所示。Lay_CRM模块维护布局索引节点资源，通过位图方式记录资源空闲与否状态。在文件系统格式化时，仅需要设置布局索引节点资源位图状态都为空闲，而不需要对布局索引节点内容进行初始化设置。

如图4中第(1)步所示，布局服务器首先向Lay_CRM模块批量申请空闲布局索引节点资源序号lno，并缓存在布局服务器本地的资源缓存(Resource Cache)中，然后就可以象使用本地资源一样使用缓存的布局索引节点序号。Lay_CRM模块保证各个布局服务器上的布局索引节点资源不重叠，以避免多个布局服务器对同一个布局索引节点的冲突访问。

然后，如图中第(2)步所示，布局服务器初始化所获取的空闲布局索引节点，使得该布局索引节点有效。布局索引节点初始化的一个主要操作是完成布局索引节点版本号lgene属性的设置，lgene属性设置要保证与该布局的最近一段时间使用过的lgene值不重复，以此来区分该布局索引节点的时间有效性。在具体设置操作中，可以在布局服务器中采用一个布局版本全局变量，每次布局索引节点初始化后，该布局版本全局变量递增。布局索引节点初始化还完成布局首部的清除、布局逻辑size清零、布局访问时间设置等操作。当布局索引节点初始化后，lno和lgene就可以组成布局ID，等待MDS的申请。

如图中第(3)步所示，目录元数据服务器(MDS)采用异步批量方式向各个布局服务器申请空闲布局ID，并缓存在MDS的资源缓存(ResourceCache)中，之后就可以像使用本地资源一样使用空闲布局ID资源。在文件创建操作中，MDS除了进行目录项的创建、文件索引节点的分配之外，还进行布局ID的分配，并把分配的布局ID作为文件索引节点的一个属性进行记录，如图中第(4)步所示。

至此，布局ID分配到相应文件中，在后续的文件访问过程中，MDS提供给客户端对应的文件布局ID。

(2)布局ID访问流程

客户端在获取文件对应的布局ID后，就可以根据该布局ID，访问相应的布局服务器，以请求布局服务。

布局服务器接收到客户端的布局服务请求后，首先根据布局ID中的布局序号lno，读取布局索引节点lnode；然后，验证布局ID中的布局版本号lgene是否与lnode中记录的布局版本号lgene匹配。如果匹配，则表示合法的访问；如果不匹配，则表示过时的访问。

布局ID访问合法性验证通过后，布局服务器就可以进行相应的布局服务。

(3)布局ID释放流程

布局ID的释放流程基本上与布局ID分配流程相反。当客户端向MDS请求删除文件时，MDS除了删除目录项、释放文件索引节点外，还需要释放布局ID。释放的布局ID首先缓存在MDS的资源缓存中，然后删除文件的请求就可以返回，从而减少删除操作的响应时间。释放的布局ID等待积累到一定数量后，或一定延时后，进行异步回收到布局服务器。从而一次回收协议可以回收多个释放的布局ID，降低了网络交互开销。

布局服务器接收到MDS的异步回收布局ID请求后，先把布局ID缓存在本地资源缓存中，然后在空闲时进行布局的异步回收。布局回收操作首先对布局中包含的块资源进行释放，最后释放布局索引节点。释放的布局索引节点序号缓存在本地资源缓存中，同样采用异步批量回收机制，等待积累到一定数量或超过一定延时后，进行异步回收到Lay_CRM模块，从而最终完成布局ID的释放。

七、布局服务分布

布局服务如何在各个布局服务器机群节点之间分布，对于提高布局服务性能具有十分重要的意义。布局服务分布首先需要达到负载均衡，避免由于负载不均而导致某个布局服务器成为影响布局服务性能的瓶颈；其次，布局服务分布还需要满足访问局部性，布局服务器可以利用预读等机制提高布局访问性能，并且降低对布局元数据的随机访问。

在一个优选实施例中，借鉴动态目录子树分布方式，采用了一种类目录子树的布局服务分布方法。在满足布局服务的目录访问局部性前提下，保证布局服务分布的负载均衡。动态子树分布是元数据服务器机群采用的一种目录分布方法，能够有效利用目录访问局部性，同时达到目录子树粒度的负载均衡。

首先，Lay_CRM模块对共享的布局序号lno进行区间划分，分配到不同的布局服务器。保证存储上局部的布局索引节点尽量分布到同一个布局服务器，与布局索引节点存储上相近的间接地址块元数据也尽量分布到布局索引节点所在的布局服务器。布局服务器向Lay_CRM模块申请属于该节点的布局序号lno，并对相应布局索引节点进行初始化，形成布局ID。

然后，目录服务器向各个布局服务器申请空闲布局ID，并进行分配。在分配布局ID时，考虑目录访问局部性，同一目录下的文件布局ID尽量保持局部性。在具体布局ID分配操作中，同一目录下的文件布局ID尽量分配在一个布局服务器上，以保证布局服务的目录访问局部性；不同目录下的文件布局ID分布在不同的布局服务器，以达到布局服务的负载均衡。为了避免一个大规模目录下的文件布局ID都分布到同一个布局服务器，对于大规模目录，其目录下文件布局ID根据一定的文件布局数量宽度分布到不同的布局服务器。从而一方面满足局部性，另一方面达到负载均衡。

客户端缓存布局序号lno与布局服务器对应关系的布局服务映射表，布局服务映射表通过布局服务器从Lay_CRM模块申请获取。客户端在获取布局ID后，根据布局ID中的布局序号lno，查找布局服务映射表，确定相应的布局服务器，把请求发送给相应的布局服务器。

为保证客户端能够访问到正确的布局服务器，布局服务器对布局序号lno进行验证。布局服务器上也维护一份布局服务映射表，该布局服务映射表仅需要记录该布局服务器负责的布局序号即可。如果确实是该布局服务器负责的布局，则进行服务；否则，表示客户端缓存的布局服务映射关系表已经过时，需要更新布局服务映射表。

八、文件属性分离

布局服务分离后，布局服务器机群单独提供文件布局服务，为文件属性分离提供了基础。在一个优选实施例中，对文件属性进行划分，一部分文件属性分离到布局服务器，由布局服务器进行维护，从而可以进一步降低MDS负载。

系统中，文件属性被划分为用户属性和存储属性。

用户属性主要在用户进行目录服务、权限验证等过程中访问使用，且不随文件数据访问而更新，仍由MDS单独维护。用户属性主要包括如下属性：

mode，文件类型；

uid，用户id；

gid，用户所在组id；

permission，用户访问权限；

ctime，文件索引节点最近修改时间；

存储属性主要与文件布局服务密切相关，在文件数据访问过程中频繁更新。存储属性分离到布局服务器，记录在布局索引节点中，由布局服务器维护，将有助于降低MDS负载。存储属性主要包括如下属性：

size，文件逻辑大小；

blocks，文件实际占用磁盘块数量；

atime，文件最近数据读取时间；

mtime，文件最近数据修改时间；

文件属性分离如图5所示。客户端进行文件属性修改时，根据属性类型分别按需修改用户属性或存储属性。客户端进行文件属性获取时，同样根据属性类型，分别按需获取用户属性或存储属性，或者同时获取两种属性，把用户属性和存储属性进行组合，从而获取完整文件属性。

客户端的属性缓存超时更新采用分别超时机制。当用户属性缓存超时后，需要访问MDS进行用户属性的更新；当存储属性缓存超时后，需要访问布局服务器进行存储属性的更新。

对于文件最近数据访问时间的获取，需要进行特殊处理。文件系统POSIX接口语义中，把文件的创建时间作为文件初始的最近数据访问时间。由于布局ID分配流程中采用了异步批量申请方式，布局在初始化后，可能间隔很久才被真正分配使用，因此布局初始化时间不能作为文件初始的最近数据访问时间。为满足文件系统POSIX接口语义，本实施例在用户属性中增加冗余的文件最近数据访问时间属性，如下：

atime，文件最近数据读取时间；

mtime，文件最近数据修改时间；

MDS进行文件创建时，设置用户属性中atime和mtime为创建时间，作为文件初始最近数据访问时间，以满足POSIX接口语义。布局初始化时，设置存储属性中的atime和mtime都为0，标志文件数据还没有被访问。当进行数据访问时，设置存储属性的atime或mtime为当前的访问时间。当客户端分别获取用户属性和存储属性后，如果存储属性的atime或mtime为0，则使用用户属性的atime或mtime作为文件数据的最近访问时间，否则使用存储属性的atime或mtime作为文件最近数据访问时间。

九、集群文件系统主要操作流程

客户端文件系统把分离的目录服务、布局服务和数据服务进行整合，组织成为一个有机整体，为应用提供统一的POSIX兼容的文件系统接口。客户端还提供文件布局缓存，从而减少对布局服务器的访问负载，降低客户端的数据访问延时。本实施例从客户端角度对文件系统的主要操作流程进行总结描述。

(1)文件创建

客户端在创建文件时，单独同MDS交互即可。客户端向MDS发送文件创建请求，MDS首先进行权限验证。如果权限验证通过，则创建目录项，分配文件索引节点和布局ID，并把布局ID记录在文件索引节点中，以上操作由MDS的本地文件系统日志机制保证宕机一致性。

文件创建完毕后，MDS向客户端返回文件属性以及布局ID。客户端对MDS返回的文件属性和布局ID进行缓存，避免了后续每次操作都要访问MDS。MDS采用异步方式进行文件布局ID的申请，避免了在分配过程中的同步等待，提高了文件创建性能。

在文件创建时，仅需要分配一个布局ID，后续的布局服务就完全不必再访问MDS。

(2)文件属性获取

首先，客户端访问MDS获取用户属性以及文件布局ID；然后，客户端根据布局ID访问布局服务器以获取存储属性；最后，客户端把用户属性和存储属性进行组合，构成完整的文件属性。

客户端端缓存采用用户属性和存储属性的分别超时失效和机会更新机制，避免了单一超时失效机制需要对用户属性和存储属性同时刷新，减少了总的属性获取协议交互次数。

(3)文件属性设置

客户端根据属性设置类型，分别访问MDS或布局服务器进行属性设置。如果设置用户属性，则访问MDS进行属性设置；如果设置存储属性，则访问布局服务器以进行存储属性设置。

在CHMOD、CHOWN等系统操作中，才对用户属性进行设置，而在实际文件系统的访问中，这类操作所占比率很小。大量的属性设置操作都是随着文件数据的访问对文件存储属性进行设置，因此把存储属性的维护负载卸载到布局服务器，可以大大减少元数据服务器负载。

(4)文件数据访问

客户端在进行文件数据访问之前，需要首先访问布局服务器获取文件布局映射项。客户端对文件布局映射项进行缓存，则下次再访问时，就可以直接在客户端缓存中获得，而不需要再次访问布局服务器。

客户端首先在本地Cache中查找是否有布局映射项缓存；如果没有则访问布局服务器以获取布局映射项；如果是写访问，则访问布局服务器进行布局分配，布局服务器为文件访问逻辑位置分配物理存储资源，并组织在文件布局中，返回布局映射项；如果是读操作，则访问布局服务器进行布局映射，布局服务器把文件访问逻辑位置的布局映射项返回给客户端。

之后，客户端直接访问存储设备物理地址以进行数据访问。

(5)文件删除

客户端在删除文件时，单独同MDS交互即可。客户端向MDS发送文件删除请求，MDS首先进行权限验证。如果权限验证通过，则删除目录项，释放文件索引节点，释放布局ID。布局ID的释放采用异步批量方式，首先被释放的布局ID缓存在MDS的Resource Cache中，然后采用异步批量方式回收到布局服务器。

与现有技术相比，本发明的有益效果包括：

(1)布局服务完全从元数据服务器卸载，提高了系统扩展能力。不同于对象存储系统，布局服务分离结构把布局服务与数据服务也进行分离，提供专门的布局服务器机群维护系统全局的存储资源，从而把布局服务负载完全卸载到布局服务器，层次划分清晰。

文件布局可以跨越文件系统中全局存储资源。文件数据的条带分布等机制可以完全由布局服务器完成，而不需要涉及到目录服务器。各个存储设备的资源、负载等状态也仅需要由布局服务器维护，进行存储资源的相应分配。目录服务器完全不必维护存储设备状态。

当文件数据需要在不同存储设备之间进行迁移时，比如迁移数据以保证各个存储设备之间的容量均衡等，不需要涉及到目录元数据的更新，目录服务器不需要进行任何操作，布局服务器可以单独完成迁移操作，有效降低了目录服务器负载。

(2)布局服务元数据和数据分布到不同存储设备上，避免了对象存储系统中布局元数据与数据访问的相互干扰，有利于发挥存储设备的效率。对于由多个存储设备构成的大规模机群文件系统，可以大幅提高数据访问性能。此外，还可以针对布局元数据访问特点进行优化，以提高布局服务性能。

(3)有效支持SAN块存储设备，数据访问直接以块协议访问存储设备。有效利用SAN存储网络的高性能数据访问，解决了对象存储系统中数据访问路径长的问题，避免受限于对象存储服务器的处理能力，可以获取较高的聚合I/O性能。

(4)布局服务在多个布局服务器之间分布，以达到负载均衡和局部性，避免了对象存储系统中对象存储服务器负载不均和访问热点问题；此外，布局服务器机群方式中，每个布局服务器都可以提供全局的布局服务，有效避免对象存储系统中对象存储服务器的单点故障问题；布局服务器机群可以根据负载模式进行数量和性能的相应配置，避免了对象存储系统中一个存储节点必须配置一个对象存储服务器的问题。

(5)布局服务器中文件布局以块粒度进行维护，更加灵活。避免了对象存储系统中当容量不均时，不能有效利用存储资源的问题；此外，对于存储系统的扩容支持更加灵活；而且，可以有效支持负载均衡、容量均衡等自适应文件数据分布机制。

最后，上述的实施例仅用来说明本发明，它不应该理解为是对本发明的保护范围进行任何限制。而且，本领域的技术人员可以明白，在不脱离上述实施例精神和原理下，对上述实施例所进行的各种等效变化、变型以及在文中没有描述的各种改进均在本专利的保护范围之内。

Claims (10)

1.一种集群文件系统，其特征在于，包括：

目录服务器，用于存储目录元数据并提供目录服务；

布局服务器机群，用于存储布局元数据并提供布局服务；以及

存储设备阵列，用于存储文件内容数据。

2.根据权利要求1所述的集群文件系统，其特征在于，所述目录服务器包括：

目录元数据服务器，用于维护全局目录空间；

目录元数据资源管理服务器，用于维护目录相关元数据资源状态，所述目录相关元数据资源状态包括：文件索引节点、目录文件及其间接地址块；以及

目录元数据存储设备，用于存储目录元数据。

3.根据权利要求1所述的集群文件系统，其特征在于，所述布局服务器机群包括：

多个布局服务器，用于维护文件系统的物理视图以提供布局服务；

一个布局元数据资源管理服务器，用于维护布局元数据资源状态并协调布局服务器机群对共享资源的使用，所述布局元数据资源状态包括全局数据块资源状态、布局索引节点和布局间接地址块；以及

布局元数据存储设备，用于存储布局元数据。

4.根据权利要求3所述的集群文件系统，其特征在于，所述布局服务器提供的布局服务包括：将文件访问逻辑位置映射到存储设备物理地址；分配物理块存储资源并按一定格式组织文件布局；以及删除文件时回收文件布局包含的物理块存储资源。

5.根据权利要求1所述的集群文件系统，其特征在于，所述目录服务包括：维护文件系统逻辑视图，提供整个文件系统统一的、一致的全局命名空间；负责文件系统的目录层次、权限管理服务；以及提供全局命名空间操作。

6.根据权利要求1所述的集群文件系统，其特征在于，所述目录元数据包括目录文件、文件索引节点、文件属性和目录文件布局。

7.根据权利要求6所述的集群文件系统，其特征在于，对于数据文件，所述文件索引节点记录该数据文件对应的布局标识，但不记录该数据文件对应的布局首部。

8.根据权利要求1所述的集群文件系统，其特征在于，所述目录元数据包括用户属性，用户属性是主要在用户进行目录服务、权限验证等过程中访问使用，且不随文件数据访问而更新的文件属性；所述布局元数据包括存储属性，所述存储属性是主要与文件布局服务密切相关，在文件数据访问过程中频繁更新的文件属性。

9.一种基于权利要求1所述的集群文件系统的文件服务方法，其特征在于，所述文件服务方法包括文件访问步骤：客户端首先访问目录服务器获取文件的目录信息；然后访问布局服务器获取文件数据在物理存储设备上的分布信息；最后直接访问物理存储设备获取数据信息。

10.根据权利要求9所述文件服务方法，其特征在于，所述文件服务方法还包括布局标识维护步骤，所述布局标识维护步骤包括：所述目录服务器与所述布局服务器机群之间采用异步批量方式进行布局标识的申请与回收。

Images