CN102420854A - 面向云存储的分布式文件系统 - Google Patents

Abstract

本发明提出了一种面向云存储的分布式文件系统，主要解决现有云存储系统性能与可靠性瓶颈、高负载和单点失效问题。该系统包括块数据服务层、元数据服务层和应用客户端层，其中，元数据服务层由多个代理机服务器，代替GFS系统中的单个元数据服务器，采用点对点的P2P网络配置，组成对等式的服务网络；系统三层之间的交互为：应用客户端层向元数据服务层请求写入，元数据服务层返回块数据服务器信息；客户端层根据返回的结果，将文件写入到块数据服务层并进行冗余备份，元数据服务层根据备份结果生成元数据，并更新本地元数据和向量时钟。本发明增强了现有云存储系统的性能和业务支持能力，可用于高性能、高可靠性云存储系统的设计与优化。

Description

面向云存储的分布式文件系统

技术领域

本发明属于计算机技术领域，特别是面向云存储的分布式文件系统，能有效增强面向云存储的分布式文件系统可靠性及性能，可用于高性能、高可靠性云存储系统的设计与优化。

背景技术

云存储是云计算系统的基础和支撑，也是提供云计算IaaS服务的核心系统。它是一种复杂的分布式文件系统。现有的分布式文件系统有许多成熟而简单的架构方案，然而无法满足云存储和支持云计算系统的需求。主要是因为面向云存储的分布式文件系统应该建立在超大规模的基础之上，并且具有海量文件存储能力、高并发低延迟的读写效率以及相当高的可靠性、稳定性和安全性。可见，面向云存储需求的应用目标为分布式文件系统的架构设计带来了新的挑战。

分布式文件系统是典型分布式系统，分布式系统的架构代表或者决定了这个系统的服务能力。Google文件系统GFS的架构设计初现了云的端倪。其高难度的系统架构设计带来了其巨大的服务能力。它与典型的分布式文件系统的主要不同之处：

1)基础部件错误不再被当作异常，而是将其作为常见的情况加以处理。部件的数量和质量使得一些机器随时都有可能无法工作并且有一部分还可能无法恢复，所以实时地监控、错误检测、容错、自动恢复对系统来说必不可少。

2)海量文件分块的存储。对于GFS的设计，操作的参数、块的大小必须要重新考虑。对大型的文件的管理必须能做到高效，对小型的文件也必须支持。

3)大部分文件的更新是通过添加新数据完成的，而不是改变已存在的数据。一旦写完，文件就只可读。

4)系统工作量主要由两种读操作构成。对大量数据的流方式的读操作和对少量数据的随机方式的读操作。此外，还包含许多对大量数据进行的、连续的、向文件添加数据的写操作。

但GFS并不是一个通用的云存储系统，它更适合于大型的搜索业务以至于GFS的设计考虑了许多具体业务特性，如文件的大小、读写频率等，这些将限制GFS的业务应用。同时，主从式结构的单点失效和性能瓶颈问题也是GFS被关注的焦点问题。

随后的Hadoop分布式文件系统HDFS是GFS的开源实现，它很好的实现了GFS不同于过往文件系统的几个特点。现已成为众多云计算公司的云存储解决方案，但由于处于发展初期，其应用于云计算系统时，存在以下不可靠的因素：

1)单一的主控节点制使得系统的负载不均。

2)尽管监控进程保证了计算向存储的转移，但是没有实现任务处理中的计算和存储的同时转移，否则可能会造成任务的重启，而这对于巨型任务来说，计算资源和服务能力的损失是巨大的。

亚马逊公司Dynamo平台以另外一种完全不同的架构模式，同样实现了云存储的高端服务。它是一个完全分布式的、无中心节点的存储系统，相比传统的集中式存储系统，它被定位为一个高可靠、高可用且具有良好容错性的系统，它采用了一些技术，解决了其对等式架构下的一致性问题。这些关键技术和解决方案如表1所示。

表1Dynamo系统架构中遇到的问题及相关技术

但依然存在着一些缺点：

1)Dynamo最终一致性及同步的设计对于是节点故障是有价值的，但是却无法估算有多少数据未同步。

2)Dynamo很多一致性问题都是去中心化的设计所导致的。

尽管上述分布式文件存储系统GFS、HDFS、Dynamo在性能和可靠性上，较典型的分布式文件系统有了较大的改进，但系统的可用性、可靠性和一致性仍无法同时满足。根据系统性能均衡CAP理论，系统一致性与可靠性，可用性是无法同时满足，但可以尽量做到平衡。在某些特定的环境应用下，上述系统能表现出较好的可用性与可靠性，然而一致性达不到要求。

发明内容

本发明的目的在于针对上述分布式文件系统已存在的问题，提出了一种面向云存储的分布式文件系统，以在保证面向云存储的分布式系统的可靠性与可用性的前提下，以同时提高系统数据的一致性。

实现本发明目的技术方案是通过元数据服务器的多个代理机来构建对等式的元数据服务层，并对元数据服务层的元数据复制进行改进，整个系统包括：

块数据服务层，用于数据块信息的管理、读写和传输，以及向元数据服务器发送心跳信息、处理元数据服务器的指令信息，并处理应用客户端层的请求信息；

元数据服务层，用于侦听客户端和块数据服务器端的请求事件，并负责处理请求事件返回结果，以及对元数据管理，块数据服务器的负载均衡操作，客户端的租约管理；

应用客户端层，用于对系统目录、文件的管理，以及与块数据服务器的交互，读写数据流的操作；

其特征在于：

元数据服务层，采用元数据服务器的代理冗余方式，即用多个代理机，代替Google文件系统GFS和Hadoop分布式文件系统HDFS中元数据服务层采用的单个元数据服务器，构成一个对等式的分布式服务网络；每一个代理机作为对等式分布式服务网络的一个服务节点，分担整个元数据服务层的部分服务，每个服务节点均构成服务的接入口，所有元数据在各个服务节点上维持一份，以保证系统的容错；多个代理机之间采用点对点的P2P网络配置和服务调度，保证访问每个服务节点均能从任意一个代理机接入，来分担单个元数据服务器结构的负载，提高服务访问的并发性；

所述三层之间的交互，采用特殊的读写过程，即应用客户端层向元数据服务层请求写入，同时发送文件信息；元数据服务层返回块数据服务层的主存块服务器信息，包括文件名映射、块大小，客户端层根据元数据服务层返回的结果，将文件写入到块数据服务层；块数据服务层对文件进行冗余备份，将块存储结果发送给元数据服务层以生成元数据，同时，块数据服务层发送客户端层处理结果，元数据服务层更新本地元数据和对应的向量时钟，完成一次交互过程。

所述的块数据服务层，由若干数据块服务器组成，服务器运行在Linux平台下，集中管理大量的数据块信息。

所述的应用客户端层，作为云存储分布式系统服务的接入层，利用系统提供的可供编译的接口，进行目录管理、文件管理、数据流的操作和资源锁的操作；所述的目录管理包括新建目录，重命名目录，删除目录；所述的文件管理，包括对文件的一些基本操作，如上传文件、追加文件、重命名文件，删除文件及下载文件；所述的数据流操作，是指当客户端把本地文件上传到系统时，客户端创建到文件系统的输出流，反之，当客户端把系统上的文件下载到本地时，客户端创建从系统读入的输入流；资源锁的操作，是在客户端请求系统资源时，获取资源锁，资源使用后，释放资源锁。

所述的代理机，是单个普通元数据服务器，多个代理机之间采用点对点的P2P网络配置，构成了一个对等式的分布式服务网络。

本发明与现有技术相比具有以下优点：

(1)本发明由于采用了元数据服务器的代理冗余方式，即由元数据服务器代理机组成元数据服务层，克服了现有Google文件系统GFS为代表的主从式存储模式系统，造成的性能与可靠性的瓶颈问题，提高了系统并行处理性能。

(2)本发明由于对多个代理机之间采用了点对点的P2P网络配置，构成了一个对等式的分布式服务网络，分担单个元数据服务器结构的负载，克服了现有Google文件系统GFS为代表的主从式存储模式系统的高负载问题，并保证了元数据服务层的可拓展性和可靠性。

(3)本发明由于对所有元数据在每个代理机上都维持了一份备份，保证了访问每个元数据均能从任意代理机接入，克服了现有Google文件系统GFS为代表的主从式存储模式系统的单点失效问题，提高了系统的容错能力，并减少了并发访问单一文件服务的复杂性。

附图说明

图1是本发明的面向云存储的文件系统架构图；

图2是面向云存储的系统服务交互关系框图。

具体实施方式

参照图1，本发明的面向云存储的文件系统从里向外依次包括块数据服务层、元数据服务层和客户端应用层。

所述的块数据服务层，由大量的数据块服务器组成并且服务器的失效是做常态化处理，这些服务器是由廉价的计算机构成，每台数据块服务器都运行着Linux文件系统，管理着大量的数据块。其中，数据块服务器具有如下功能：

1)管理数据块信息，即对存在于块数据服务器上成千上万的数据块，采用高效的数据结构进行组织，集中管理这些数据块信息。

2)数据块的读写，即对客户端频繁的数据块读写请求，块数据服务器以流的方式对数据块进行读写操作，并同时在写操作时，进行数据块的备份。

3)数据块的传输，即通过在块数据服务器之间建立数据流的方式，实现块数据服务器之间的数据块传输。

4)向元数据服务器发送心跳信息，即数据块服务器定时向元数据服务器发送心跳信息，元数据服务器根据心跳信息来判断块数据服务器是否正常工作着。

5)处理元数据服务器的指令信息，即系统在运行过程中，元数据服务器会通知块数据服务器进行文件块的备份、删除或迁移操作。

6)向元数据服务器报告文件块信息，即由于块数据服务器上的文件块会发生变动，故块数据服务器要定期向元数据服务器报告，保证元数据服务器上的信息存储是最新的块信息。

7)处理客户请求，即对客户端，数据块服务器编写相应功能接口，实现客户端与块数据服务器交互，处理客户端服务请求，如数据块的读取与写入接口。

所述的元数据服务层，是本发明的关键和核心。本发明采用了多个代理机，其中，代理机是单个普通元数据服务器，代替了GFS系统中的单个元数据服务器主机，采用点对点的P2P网络配置，构成了一个对等式的分布式服务网络，形成了该元数据服务层。该网络中的每个代理机，都是网络的一个服务节点，每个服务节点均是该网络服务的接入口，并且服务节点的失效是做常态化处理，由廉价的计算机构成。其中，元数据服务器代理机具有如下功能：

A)请求侦听，即元数据服务器代理机侦听客户端和块数据服务器端的请求事件，客户端请求事件，包括名字空间的创建、删除，文件的创建、写入、读取、删除及重命名，文件列表信息获取，资源锁的获取、释放；块数据服务器端的事件，包括心跳信息，文件块信息，错误信息。

B)请求处理，即元数据服务器代理机负责对以上请求侦听事件的处理及结果返回。

C)元数据管理，即元数据服务器代理机，采用高效的数据结构组织元数据，并保证所有元数据在代理机上有一份备份，这里的元数据主要指名字空间，文件到文件块的映射及文件块到块数据服务器的映射。

D)名字空间管理，即系统采用树型目录结构的方式对名字空间进行管理。

E)文件管理，即包括对文件的一些基本操作，主要有创建，追加写入，删除，重命名。

F)文件块管理，这里主要指新文件块的创建、拷贝、无效文件块的移除及孤立文件块的回收。

G)块数据服务器负载均衡，由于在块数据服务器进行大量的文件块写入、删除操作会造成各个块数据服务器之间文件块分配不平衡问题，因此就需要对文件块进行负载均衡操作。

H)租约管理，对客户端拥有的租约进行管理，包括租约的获取、释放，假如客户端租约过期，还应将其回收。

I)心跳检测，块数据服务器会定期将自己的负载情况通过心跳信息向元数据服务器汇报。

所述的应用客户端层，由大量的分布式文件系统DFS客户端组成，相应的应用程序运行在DFS客户端上；应用客户端层作为云存储分布式系统服务的接入层，系统向其提供可供编译的接口，其中，分布式文件系统DFS客户端具有如下功能：

a)目录管理，即对目录的一些基本操作，如新建目录、重命名目录以及删除目录。

b)文件管理，即对文件的一些基本操作，如上传文件、追加文件、重命名文件，删除文件及下载文件。

c)数据流的操作，即对当客户端要把本地文件上传到系统时，创建到文件系统的出流；当客户端要把系统上的文件下载到本地时，创建从系统读入的输入流。

d)资源锁的操作，主要有获取资源锁以及释放资源锁。

参照图2，本发明云存储的分布式文件系统中的块数据服务层、元数据服务层和应用客户端层这三层之间的交互可归纳为一种特殊的读写操作，其交互过程如下：

(1)应用客户端层向元数据服务层请求写入，同时发送文件信息，元数据服务层根据应用客户端层的请求，返回块数据服务层的主存块服务器信息给应用客户端层；

(2)客户端层根据元数据服务层返回的结果，将文件写入到块数据服务层，同时，块数据层对文件进行冗余备份；

(3)块数据层中对文件进行冗余备份的数据块服务器返回备份结果给其它数据块服务器；

(4)其它数据块服务器将块存储结果发送给元数据服务器以生成元数据，并对其生成的元数据进行确认，同时，数据块服务层将对数据块确认的结果返回给客户端，当元数据服务器对其生成的元数据确认失败，则通过控制指令与状态回收完成回滚事务；

(5)元数据服务器更新本地元数据和对应的向量时钟，对其它元数据服务器代理进行IP多播操作本次信息，其它元数据服务器代理根据向量时钟选择更新自身元数据集；

(6)元数据服务器核对其它元数据服务器代理的更新元数据集返回结果；对于更新自身元数据集失败的元数据服务器返回告警，执行容错处理；

(7)应用客户端层的客户端向元数据服务层的元数据服务器请求读数据，元数据服务器根据客户端层的请求，向客户端返回文件块信息；

(8)客户端层根据元数据服务器返回的文件块信息，发送对应的请求块信息给数据块服务器，同时，块数据服务器根据客户端发送的请求块数据，将对应的数据块发送给客户端。

Claims (4)

1.一种面向云存储的分布式文件系统，包括：

块数据服务层，用于数据块信息的管理、读写和传输，以及向元数据服务器发送心跳信息、处理元数据服务器的指令信息，并处理应用客户端层的请求信息；

元数据服务层，用于侦听客户端和块数据服务器端的请求事件，并负责处理请求事件返回结果，以及对元数据管理，块数据服务器的负载均衡操作，客户端的租约管理；

应用客户端层，用于对系统目录、文件的管理，以及与块数据服务器的交互，读写数据流的操作；

其特征在于：

元数据服务层，采用元数据服务器的代理冗余方式，即用多个代理机，代替Google文件系统GFS中元数据服务层采用的单个元数据服务器，构成一个对等式的分布式服务网络；每一个代理机作为对等式分布式服务网络的一个服务节点，分担整个元数据服务层的部分服务，每个服务节点均构成服务的接入口，所有元数据在各个服务节点上维持一份，以保证系统的容错；多个代理机之间采用点对点的P2P网络配置和服务调度，保证访问每个服务节点均能从任意一个代理机接入，来分担单个元数据服务器结构的负载，提高服务访问的并发性；

所述三层之间的交互为：应用客户端层向元数据服务层请求写入，同时发送文件信息；元数据服务层返回块数据服务层的主存块服务器信息，包括文件名映射、块大小，客户端层根据元数据服务层返回的结果，将文件写入到块数据服务层；块数据服务层对文件进行冗余备份，将块存储结果发送给元数据服务层以生成元数据，同时，块数据服务层发送客户端层处理结果，元数据服务层更新本地元数据和对应的向量时钟，完成一次交互过程。

2.根据权利要求1所述的面向云存储的分布式文件系统，其特征在于：块数据服务层由若干数据块服务器组成，服务器运行在Linux平台下，集中管理大量的数据块信息。

3.根据权利要求1所述的面向云存储的分布式文件系统，其特征在于：应用客户端层作为云存储分布式系统服务的接入层，利用系统提供的可供编译的接口，进行目录管理、文件管理、数据流的操作和资源锁的操作；所述的目录管理包括新建目录，重命名目录，删除目录；所述的文件管理，包括对文件的一些基本操作，如上传文件、追加文件、重命名文件，删除文件及下载文件；所述的数据流操作，是指当客户端把本地文件上传到系统时，客户端创建到文件系统的输出流，反之，当客户端把系统上的文件下载到本地时，客户端创建从系统读入的输入流；资源锁的操作，是在客户端请求系统资源时，获取资源锁，资源使用后，释放资源锁。

4.根据权利要求1所述的面向云存储的分布式文件系统，其特征在于：代理机是单个普通元数据服务器，多个代理机之间采用点对点的P2P网络配置，构成了一个对等式的分布式服务网络。

Images