CN1619522A - 机群文件服务系统及其输入输出处理方法 - Google Patents

Abstract

本发明公开了一种机群文件服务系统，包括：元数据服务器和一个以上的存储服务器；每一个存储服务器都与元数据服务器相连，保持二者的信息一致；所述的元数据服务器用来存储所有文件的元数据，并完成对文件的元数据进行操作；所述的存储服务器用来存储文件，并完成对文件本身进行操作。本发明通过元数据和数据的分散处理简化了存储服务器的结构，从设计上增强了CFS的稳定性、增强了CFS对读写操作的处理能力；数据分条技术扩展了已有系统的带宽，实现了并行IO，使系统具有良好的可扩展性；操作请求的无状态和等幂设计支持高可用和简化了提高存储服务器CPU的利用率，能够支持更多的客户端并发访问的多线程实现。

Description

机群文件服务系统及其输入输出处理方法

技术领域

本发明涉及一种计算机机群的文件服务系统及其输入输出(IO)处理方法，尤其是一种应用于文件服务系统的IO处理方法，属于计算机机群技术领域。

背景技术

计算机机群文件系统(Cluster File System)用来在机群环境下提供分布式文件服务，是高性能服务器的重要组成部分。

在IO密集型的计算机群环境中，需要读写处理的文件往往非常大，对文件读写的强度也大，因此，在很大程度上机群中文件服务器对文件的读写操作成为机群处理的一个主要操作，或者说，文件服务器处理读写请求的能力往往就决定了整个系统的处理效率。

现有技术中，机群文件服务系统一般只包括一个文件服务器，如图1所示，虽然服务器的高速读写的技术不断发展，进行IO操作的速度越来越快，但是与机群处理的海量数据和大规模科学计算的数据相比，单个文件服务器处理的能力仍然太慢，无法满足机群处理的需要；在密集IO的机群处理环境中，文件读写处理速度已经成为一个整个机群系统的瓶颈，如何提高机群文件服务系统处理IO操作的效率，是机群文件服务系统中迫切需要解决的问题。

如果能够采用多个服务器来分担单个文件服务器的工作，利用机群中多结点来共同完成文件操作，一定可以大大提高文件的处理速度，突破整体机群系统处理的瓶颈；但是如果文件存储在不同的服务器中就会对机群的单一系统映像产生影响。所谓的单一系统映像是指用户可以登录到机群中的任一客户端结点，通过使用机群系统软件，如同使用一台机器一样方便进行操作，对文件系统而言，用户所看到的文件目录结构应该完全相同。文件存储在不同的文件服务器，给机群单一系统映像的实现带来了困难。

发明内容

本发明所要解决的技术问题在于：提供一种计算机机群文件服务系统实现在密集IO的计算环境中对读写操作的并行处理，有着更高的读写聚集带宽，支持外部高可用工具对存储服务器的高可用操作。

本发明所要解决的另一个技术问题在于：提供一种在上述的文件系统中进行文件IO处理的方法。

本发明的机群文件服务系统，包括：元数据服务器和一个以上的存储服务器；每一个存储服务器都与元数据服务器相连，保持二者的信息一致；

所述的元数据服务器用来存储所有文件的元数据，并完成对文件的元数据进行操作；

所述的存储服务器用来存储文件，并完成对文件本身进行操作。

本发明机群文件服务系统的输入输出处理方法，其特征在于：包括如下步骤：

步骤一、用户在客户端结点通过文件系统API提交IO请求；

步骤二、客户端结点分析用户的IO请求类型，

如果是元数据操作，则直接发送请求到元数据服务器，元数据服务器处理后将结果返回给用户，结束IO处理；

如果请求中包括存储服务器操作，则先从元数据服务器获得文件的存储服务器信息，然后向相应的存储服务器发出请求；执行步骤三；

步骤三、存储服务器完成相应的处理，将结果返回给用户；

步骤四、如果本次操作改变了文件的元数据属性则需要在元数据服务器上更新此文件的元教据信息。

本发明具有以下优点：

1.元数据和数据的分散处理简化了存储服务器的结构，从设计上增强了CFS的稳定性、增强了CFS对读写操作的处理能力。

2.数据分条技术很好地扩展了已有系统的带宽，实现了并行IO，使系统具有良好的可扩展性。

3.存储服务器的无状态和操作请求的等幂设计能够更好地支持高可用和简化系统的多线程实现。

4.多线程技术提高了存储服务器CPU的利用率，能够支持更多的客户端并发访问，提高了系统的聚集带宽。

附图说明

图1是现有的机群中的文件服务系统；

图2是本发明的机群文件服务系统；

图3是本发明的文件服务系统处理用户IO请求的示意图；

图4是本发明存储服务器的工作流程示意图；

图5是本发明存储服务器主线程示意图；

图6是本发明存储服务器子线程示意图。

具体实施方式

存储服务器中CPU的处理能力大大强于磁盘读写的处理能力，因此，如何发挥存储服务器CPU的强大处理能力，同时利用机群中多个存储服务器的特点实现并行IO，是提高机群文件服务系统处理效率一个关键技术。

本发明的设计思想是利用存储服务器的CPU的强大处理能力，和机群多个存储服务器的特点，实现并行IO操作，来极大的提高机群文件服务系统的处理效率。

本发明所述的机群文件服务系统，如图2所示，包括：元数据服务器和一个以上的存储服务器；每一个存储服务器都与元数据服务器相连，保持二者的信息一致；

所述的元数据服务器用来存储所有文件的元数据，并完成对文件的元数据进行操作；

所述的存储服务器用来存储文件，并完成对文件本身进行操作。

本发明通过将传统机群文件服务系统服务器操作中的元数据操作请求分离出来，由专门的元数据服务器来处理；这样，存储服务器仅仅处理针对文件的打开(open)、关闭(close)、读(read)、写(write)、删除(remove)、截断(truncate)、数据刷新(sync)等请求进行处理。

所述的元数据是指文件的属主、文件的建立时间等文件信息数据以及各文件存储服务器的分布信息和各文件存储服务器的地址等文件属性信息。

当用户进行文件操作时，元数据服务器首先响应用户的请求，提供给用户所有文件的信息和单一的目录结构，满足机群系统要求的单一系统映像。用户通过元数据服务器获得了用户需要操作的文件的存储服务器信息，当用户对文件进行打开(open)、关闭(close)、读(read)、写(write)、删除(remove)、截断(truncate)、数据刷新(sync)等操作时，直接对相应的一个或多个存储服务器提出请求，进行操作，实现存储服务器的并布处理，不再经过元数据服务器。

通过多个存储服务器对单一的元数据服务器的支持，当多个用户提出请求时可以由不同的存储服务器作出响应，也可以是一个用户提出对一个较大的文件进行操作时，由多个存储服务器对文件进行分条后，共同响应处理，以两种方式实现并行处理。

并行处理的实现是在文件进行存储的时候，就预先采取了多个服务器存储的方式。对于一个比较大的文件，文件数据采用分条存储方式，即将一个文件数据根据分条的大小在多个存储服务器的磁盘上分布，当客户端对一个文件进行读写操作时可由多个存储服务器进行并行处理。

分条的大小可以根据存储服务器的数量，机群的规模进行不同的选择，一般为64K的倍数，如64K，128K，等等。

由于服务器硬件等意外因素的发生，可能出现存储服务器失效情况，为了避免这种情况的发生，提供系统的可用性，本发明的文件系统采用了无状态存储服务器的方式来进行存储，即每一个发送到存储服务器的请求包含存储服务器执行这个请求的全部信息。这样，通过客户端的重做机制可以方便的支持存储服务器的高可用。

同样是出于提高系统可用性的考虑，存储服务器处理的请求必须是等幂操作，这是因为等幂操作可以保证客户端请求乱序重发时服务器处理结果的正确性。请求的等幂特性可以方便的支持存储服务器的多线程实现和高可用实现。

为了提高存储服务器cpu的利用率，存储服务器采用多线程进行存储操作，包括主线程和子线程，主线程负责监听请求socket，监听到客户端发送的请求后将请求放入工作队列中；所有子线程轮询工作队列，如果工作队列为空，则不操作；否则轮询到的子线程处理这个请求；子线程完成请求后将请求放入清除队列；主线程根据清除队列清除那些已经结束运行的工作线程。

本发明所述的机群文件服务系统的IO处理方法，如图3所示，包括如下步骤：

步骤一、用户在客户端结点通过文件系统API提交IO请求；

步骤二、客户端结点分析用户的IO请求，如果是对元数据的操作，则直接发送请求到元数据服务器，元数据服务器处理后将结果返回给用户；如果请求中包括读写等操作，则先从元数据服务器获得文件存储服务器信息，包括该文件在各文件存储服务器的分布信息和各文件存储服务器的地址，然后向相应的存储服务器发出请求；

步骤三、存储服务器完成相应的处理，将结果返回给用户；

步骤四、如果本次操作改变了文件的元数据属性则需要在元数据服务器上更新此文件的元数据信息。

所述的步骤二中，客户端结点分析用户IO请求的类型，就可以判断出需要对用户的请求如何进行处理，对元数据的操作包括：列出文件的基本信息、改变文件的属主、显示目录信息等，一般不记录文件长度。一个文件的元数据信息，一般一次写成，以利于进行一致性检查。元数据服务器根据自身的存储的直接处理，将结果返回给用户。

所述的对元数据的操作至少包括：列出文件的基本信息、改变文件的属主、显示目录信息。

所述的存储服务器操作中，从元数据服务器获取的文件信息至少包括：该文件在各文件存储服务器的分布信息和各文件存储服务器的地址。

所述的客户端节点每一个发送到存储服务器的请求都包含存储服务器执行这个请求的全部信息。所述的客户端节点每一个发送到存储服务器，请求存储服务器处理的请求都是等幂操作。如果步骤一中用户提出的IO请求中包含写操作，则客户端节点首先执行对文件的分条，分条的大小可以为64K的倍数，然后将分条写操作向不同的存储服务器提出请求，实现并行操作。

存储服务器的工作流程，如图4所示，包括以下步骤：

步骤3.1、启动存储服务器STARTUP，如果成功，则执行步骤3.2；否则中止，返回错误信息；

步骤3.2、获得需要监听的sockets；如果需要监听的sockets的数量大于等于零，则执行步骤3.3；否则，返回错误信息；

步骤3.3、判断是否有sockets准备好，如果有sockets准备好，则执行步骤3.4；否则，则继续监听来自客户端的请求，执行步骤3.2；

步骤3.4、如果socket上有任务，则完成该任务，执行步骤3.3；否则，接收新请求，执行步骤3.3。

图4的实施例步骤3.2中，通过建立一个监听队列来获得需要监听的sockets。当如果需要监听的sockets的数量小于零，则返回一个“-1”，以此来通知系统，出现错误。图4中通过变量cnt来获得需要监听的socket的数量，check_socks表示从监听队列获得的socket的数量。

存储服务器可以采用多线程的方式完成用户请求文件操作，多线程技术提高了存储服务器CPU的利用率，能够支持更多的客户端并发访问，提高了系统的聚集带宽；其主流程，如图5所示，包括如下步骤：

步骤301、初始化，即从命令行或配置文件获取需要的参数，并完成参数的设置；

步骤302、创建子线程；

步骤303、从监听队列获取需要监听的sockets；

步骤304、设置超时，判断是否有socket请求需要处理；

步骤305、判断返回值，如果超时，则执行步骤303；如果出错，则执行步骤307；如果有socket需要处理，则执行步骤306；

步骤306、将需要处理的socket放入工作队列，执行步骤303；

步骤307、根据清除队列等待工作线程的结束；

步骤308、清除多线程运行数据。

主线程负责监听请求socket，监听到客户端发送的请求后将请求放入工作队列中。所有子线程轮询工作队列，如果工作队列为空，则不操作；否则轮询到的子线程处理这个请求。子线程完成请求后将请求放入清除队列。主线程根据清除队列清除那些已经结束运行的工作线程。

以上所述的步骤304中，判断是否有socket请求需要处理，是通过一个带有返回值的函数来进行的，该函数负责对监听的socket进行处理，如果处理时间过长，超过设定的超时时间，则重新执行步骤303，监听的sockets；如果出错，则停止主线程，释放资源，返回错误信息。

子线程的个数静态决定：主线程根据存储服务器的启动参数决定子线程的个数。所述的子线程，如图6所示，包括：

步骤311、从工作队列中读取需要处理的socket；

步骤312、根据请求类型，处理此socket上的任务

步骤313、将处理一次任务完毕的socket重新放入监听队列；

步骤314、判断工作队列是否继续有效，如果有效，执行步骤311；否则，则将自己的相关控制信息放入清除队列，结束执行。

最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (12)

1、一种机群文件服务系统，其特征在于：包括：元数据服务器和一个以上的存储服务器；每一个存储服务器都与元数据服务器相连，保持二者的信息一致；

所述的元数据服务器用来存储所有文件的元数据，并完成对文件的元数据进行操作；

所述的存储服务器用来存储文件，并完成对文件本身进行操作。

2、根据权利要求1所述的机群文件服务系统，其特征在于：所述的元数据是文件信息数据，至少包括：文件的属主和文件的建立时间以及文件在各文件存储服务器的分布信息和各文件存储服务器的地址。

3、根据权利要求1或2所述的机群文件服务系统，其特征在于：所述的存储服务器仅仅处理针对文件的打开open、关闭close、读read、写write、删除remove、截断truncate、数据刷新sync请求进行处理。

4、一种机群文件服务系统的输入输出处理方法，其特征在于：包括如下步骤：

步骤一、用户在客户端结点通过文件系统API提交IO请求；

步骤二、客户端结点分析用户的IO请求类型，

如果是元数据操作，则直接发送请求到元数据服务器，元数据服务器处理后将结果返回给用户，结束IO处理；

如果请求中包括存储服务器操作，则先从元数据服务器获得文件的存储服务器信息，然后向相应的存储服务器发出请求；执行步骤三；

步骤三、存储服务器完成相应的处理，将结果返回给用户；

步骤四、如果本次操作改变了文件的元数据属性则需要在元数据服务器上更新此文件的元数据信息。

5、根据权利要求4所述的机群文件服务系统的输入输出处理方法，其特征在于：所述的步骤二中，所述的对元数据的操作至少包括：列出文件的基本信息、改变文件的属主、显示目录信息。

6、根据权利要求4所述的机群文件服务系统的输入输出处理方法，其特征在于：所述的存储服务器操作中，从元数据服务器获取的文件信息至少包括：该文件在各文件存储服务器的分布信息和各文件存储服务器的地址。

7、根据权利要求4-6任一所述的机群文件服务系统的输入输出处理方法，其特征在于：所述的客户端节点每一个发送到存储服务器的请求都包含存储服务器执行这个请求的全部信息。

8、根据权利要求4-6任一所述的机群文件服务系统的输入输出处理方法，其特征在于：所述的客户端节点每一个发送到存储服务器，请求存储服务器处理的请求都是等幂操作。

9、根据权利要求4-6任一所述的机群文件服务系统的输入输出处理方法，其特征在于：如果步骤一中用户提出的IO请求中包含写操作，则客户端节点首先执行对文件的分条，分条的大小可以为64K的倍数，然后将分条写操作向不同的存储服务器提出请求，实现并行操作。

10、根据权利要求所述4的机群文件服务系统的输入输出处理方法，其特征在于：所述的存储服务器的工作流程，包括以下步骤：

步骤3.1、启动存储服务器STARTUP，如果成功，则执行步骤3.2；否则中止，返回错误信息；

步骤3.2、获得需要监听的sockets；如果需要监听的sockets的数量大于等于零，则执行步骤3.3；否则，返回错误信息；

步骤3.3、判断是否有sockets准备好，如果有sockets准备好，则执行步骤3.4；否则，则继续监听来自客户端的请求，执行步骤3.2；

步骤3.4、如果socket上有任务，则完成该任务，执行步骤3.3；否则，接收新请求，执行步骤3.3。

11、根据权利要求所述10的机群文件服务系统的输入输出处理方法，其特征在于：所述的存储服务器可以采用多线程的方式完成用户请求文件操作，其主流程包括如下步骤：

步骤301、初始化，即从命令行或配置文件获取需要的参数，并完成参数的设置；

步骤302、创建子线程；

步骤303、从监听队列获取需要监听的sockets；

步骤304、设置超时，判断是否有socket请求需要处理；

步骤305、判断返回值，如果超时，则执行步骤303；如果出错，则执行步骤307；如果有socket需要处理，则执行步骤306；

步骤306、将需要处理的socket放入工作队列，执行步骤303；

步骤307、根据清除队列等待工作线程的结束；

步骤308、清除多线程运行数据。

12、根据权利要求所述10的机群文件服务系统的输入输出处理方法，其特征在于：所述的子线程包括：

步骤311、从工作队列中读取需要处理的socket；

步骤312、根据请求类型，处理此socket上的任务；

步骤313、将处理一次任务完毕的sockct重新放入监听队列；

步骤314、判断工作队列是否继续有效，如果有效，执行步骤311；否则，则将自己的相关控制信息放入清除队列，结束执行。

Images