CN101334797B - 一种分布式文件系统及其数据块一致性管理的方法 - Google Patents

Abstract

本发明公开了一种分布式文件系统及其数据块一致性管理的方法，其方法包括：由文件定位寄存服务器生成数据块对应的计数器值，同时存放在文件访问服务器和文件定位寄存服务器上；在对该数据块写数据时，文件访问客户端同时向主、备文件访问服务器写数据，对写数据正常的文件访问服务器中的数据块计数器值进行修改；所述文件定位寄存服务器根据主、备文件访问服务器上报的对应数据块计数器值，以最大计数器值之数据块为正常和有效。本发明系统及其方法由于采用了数据块计数器的方式，对每个数据块记录其是否异常和需要重构，在海量集群系统中，可以简单高效地管理冗余备份的数据块，保持其之间的一致性，并且实现重构异常的备份数据块简单准确。

Description

一种分布式文件系统及其数据块一致性管理的方法

技术领域

本发明涉及一种计算机应用领域的大容量存储分布式文件系统及其管理方法，具体涉及的是一种大规模分布式数据处理的文件系统及其冗余备份数据块一致性校验和备份管理的方法。

背景技术

现有技术中，大规模分布式数据处理的文件系统中，为了保证数据处理的高效和元数据的集中管理，一般都设计成一个元数据的集中管理服务器(如：文件定位寄存服务器，FLR，File Location register)，和其他若干个数据文件存放服务器(如：文件访问服务器，FAS，File Access Service)的架构。

用户访问数据时都要先通过文件访问客户端(FAC，File Access Client)向FLR询问数据的具体存放位置，然后由FAC再向具体的FAS发起读写数据请求。FAS管理数据文件的方式是将文件数据划分为一个一个的数据块(CHUNK)，每个文件由若干个数据块组成。数据块和文件的对应方式由统一标识符FILEID来标识，一个文件具有一个不同的FILEID，每个数据块CHUNK的标识CHUNKID是FILEID+CHUNK编号标识。文件的所有CHUNK分布信息由FLR统一放入数据库中管理。

在大容量的集群系统中，通常数据块是冗余备份的，也就是说对应数据块存在在多个FAS上。但现有技术中这样备份的两个数据块很难保证一致性，这是一个比较严重的问题，其主要出现在如下情况中：在写操作的过程中，如何保证同时在两个FAS上写出对应份数据；如果有一个FAS出现异常或者损坏的情况下，该FAS上的数据如何能重构得到；如果在写的过程中，FLR出现异常，如何保证FLR记录和FAS的一致性。

由于涉及到海量的数据块，现有技术不可能对数据块采用MD5等常规校验方法，因为这会严重影响处理的性能。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种分布式文件系统及其数据块一致性管理的方法，为解决上述现有技术的问题，实现对海量数据的数据块进行校验以及必要时的重构。

本发明的技术方案包括：

一种分布式文件系统中数据块一致性管理的方法，其包括以下步骤：

A、在生成每一数据块时，由文件定位寄存服务器生成其对应的计数器值，同时存放在文件访问服务器和文件定位寄存服务器上；

B、在对该数据块写数据时，文件访问客户端同时向主、备文件访问服务器写数据，如果都写数据成功，则不对计数器值进行修改；否则，对写数据正常的文件访问服务器中的数据块计数器值按预定步长进行增加；

C、所述文件定位寄存服务器根据主、备文件访问服务器上报的对应数据块计数器值，以最大计数器值之数据块为正常和有效，对异常之数据块进行重构。

所述的方法，其中，所述步骤B还包括：

B 1、在更改数据块数据时，所述文件定位寄存服务器给所述文件访问客户端返回该数据块所在的主、备文件访问服务器信息，所述文件访问客户端向所述主、备文件访问服务器发起修改数据操作；

B2、如果主、备文件访问服务器更改数据成功，则不发起该数据块计数器值的修改；否则，对正常更改数据的数据块所在文件访问服务器的计数器值进行按预定步长增加，同时按预定步长增加所述文件定位寄存服务器上的对应数据块的计数器值。

所述的方法，其中，所述步骤B2中对数据块计数器值的增加之预定步长为每次加1。

所述的方法，其中，所述步骤C还包括：所述文件定位寄存服务器在启动时刻和以一定的时间间隔向所述文件访问服务器发起数据块校验请求。

所述的方法，其中，所述数据块校验过程还包括：

D1、所述文件访问服务器把本地的所有数据块标识上报给文件定位寄存服务器，所述文件定位寄存服务器将先收到的数据块标识组成HASH表，后续收到的数据块标识在该HASH表中查找，查找成功，表示是一对主、备数据块；

D2、记录下所有对数据块标识，所述文件定位寄存服务器校验每个数据块标识。

所述的方法，其中，所述步骤D1中所述文件定位寄存服务器将每个主、备文件访问服务器作为一组，将整个集群数据块分成若干组。

所述的方法，其中，所述步骤D2还包括：

D21、检查该数据块在所述文件定位寄存服务器中是否有记录；如果没有则直接删除；否则，转入步骤D22；

D22、比较所述文件定位寄存服务器数据库中和各个文件访问服务器的对应数据块之计数器值，以最大值之数据块为有效。

所述的方法，其中，所述步骤D22还包括：

D23、如果所述文件定位寄存服务器上的数据块计数器值最大，则在所述文件定位寄存服务器数据库中删除该数据块的记录。

所述的方法，其中，所述步骤D22还包括：

D241、如果有文件访问服务器上具有最大的数据块之计数器值，则由所述文件定位寄存服务器对计数器值小的数据块所在的其他文件访问服务器发起数据块重构请求，从有效数据块复制到异常的数据块上；

D242、数据拷贝完成后，修改各个文件访问服务器上对应数据块的计数器值同最大值一致。

所述的方法，其中，所述步骤D22还包括：

D25、如果所述文件定位寄存服务器上的数据块之计数器值比所述文件访问服务器上的小，则同步修改该文件定位寄存服务器数据库中的该对应数据块之计数器值。

一种所述方法的分布式文件系统，包括通过网络连接的一文件访问服务器、至少一文件定位寄存服务器；所述文件访问服务器对应连接一数据库；用户通过一文件访问客户端向所述文件访问服务器及所述文件定位寄存服务器进行写数据请求；其中，所述文件访问服务器至少设置有主、备文件访问服务器；并且

所述文件访问客户端用于向所述主、备文件访问服务器的对应数据块写数据，并对写数据正常的文件服务器之数据块计数器值按预定步长增加；

所述文件定位寄存服务器用于生成数据块对应的计数器值，并根据主、备文件访问服务器上报的对应数据块计数器值，控制对异常之数据块进行重构。本发明所提供的一种分布式文件系统及其数据块一致性管理的方法，由于采用了数据块计数器的方式，对每个数据块记录其是否异常和需要重构，在海量集群系统中，可以简单高效地管理冗余备份的数据块，保持其之间的一致性，并且可以重构异常的备份数据块，其实现简单准确。

附图说明

图1是本发明方法及时写或更改数据时数据块计数器的修改流程示意图；

图2是本发明方法的文件定位寄存服务器FLR校验接收文件访问服务器FAS上报数据块CHUNK的流程图；

图3是本发明方法的文件定位寄存服务器FLR具体校验方法流程示意图；

图4为本发明分布式文件系统的结构示意图。

具体实施方式

以下结合附图，将对本发明的各较佳实施例进行更为详细的说明。

本发明分布式文件系统及其数据块一致性管理的方法，提出了数据块计数器即CHUNK计数器的概念，针对每个数据块CHUNK都给予一个计数器，表示该数据块修改的次数。每次修改CHUNK都将计数器增加，这样如果主备数据块CHUNK的计数器不一致，则表示有无效数据块CHUNK存在，可相应对异常的数据块进行重构。

本发明方法很好地解决了主备数据块CHUNK的管理工作，其主要的实现内容包括：

在生成数据块CHUNK时，都由文件定位寄存服务器FLR统一生成，第一次创建的数据块其CHUNK计数器值为1。该值同时存放于文件访问服务器FAS上和文件定位寄存服务器FLR上。

在用户发起写CHUNK数据的过程中，如图1所示，FAC同时写两份数据给主、备FAS，如果主、备FAS写数据都是成功的，则不发起CHUNK计数器的修改流程。如果写的过程中，发现某个FAS出现写异常，则向正常的FAS发起计数器修改流程，修改该正常数据块的当前CHUNK计数器，这样对应数据块主、备FAS的CHUNK计数器就出现了不一致的情况，并且正常的数据块CHUNK计数器计数值要高。后期可以通过简单的校验确定出异常的数据块，并在异常FAS上重构该数据块。

在用户发起更改文件内容时，FLR会给FAC返回对应数据块CHUNK所在两个FAS的信息，FAC直接向两个FAS发起修改数据的操作。如果主、备FAS写数据都是成功的，则不发起CHUNK计数器修改流程。如果写的过程中，发现某个FAS出现异常，则向正常的FAS发起CHUNK计数器修改流程，修改FAS上对应的CHUNK计数器值按预定步长进行增加，同时增加FLR上的该CHUNK计数器值，这样主、备FAS的对应数据块的CHUNK计数器就不一致了。通过比较计数器值，后期可以通过简单校验确定异常的数据块，并在异常FAS上重构该数据块。

经过上述处理过程，可以保证如果出现异常时，则主、备FAS上CHUNK计数器值肯定不一致。FLR会在启动时刻和以一定的时间间隔向FAS发起CHUNK校验请求流程。根据主、备FAS上报的CHUNK计数器值，以最大计数器值为准，即可确定哪个FAS上的数据块是正常有效的。这样对异常FAS上的数据块就可以重新构造。

以下举具体实例说明本发明分布式文件系统中数据块一致性管理的方法：

定义数据块CHUNK的标识为：FILEID(四字节无符号整型)+CHUNK编号(2字节无符号整型)+计数器(四字节无符号整型)；在FLR侧会有数据库记录每个CHUNK标识，其中包括了该数据块的CHUNK计数器值和其所在FAS位置信息；在FAS侧管理每个数据块，并且记录其CHUNK计数器值。

如图1所示，在用户发起写流程时，首先由FAC向FLR申请分配具有备份关系的所有FAS。分配成功后，FLR会记入本地数据库，对数据块的CHUNK计数器值初始值设为1。

然后由FAC直接向两个FAS发起数据写入请求。在FAC写数据的过程中，会不停的上报各个FAS写的状态。上报的状态信息包括：当前写的CHUNK标识，每个FAS写状态。

FLR收到上报状态后，比较两个FAS的写状态，如果两个FAS写状态都是正常则不处理；如果两个FAS都不正常，则直接增加FLR侧CHUNK计数器值；如果发现某时刻其中一个FAS写异常，而另一个FAS写正常，则FLR会向正常的FAS发起CHUNK计数器修改请求。所述正常FAS收到请求后，增加本地数据块对应的CHUNK计数器值，返回修改成功给FLR。FLR收到修改成功后，将本地数据库中的值修改为同正常FAS的该数据块CHUNK计数器值一致，而异常FAS上出错数据块的CHUNK计数器值将得不到修改。

当用户发起改写时，基本同上述处理过程，所不同的是新写数据时，FLR返回的是新的数据块CHUNK所在的FAS信息，或已经存有CHUNK数据的FAS信息。

FLR会在启动时刻和以一定的时间间隔向FAS发起CHUNK校验请求流程，如图2所示，其校验方法是：FLR将每个主、备FAS作为一组，整个集群数据块会分成若干组，例如N组。对每一组，分别向每个成员发起校验请求，收到请求的FAS，会把本地的所有数据块CHUNK标识上报给FLR，FLR会将第一个收到的CHUNK标识信息组成一个HASH表，后续收到CHUNK标识会先在HASH表中查找，查找成功，表示是一对主、备数据块。

如果查找不到则有可能是主、备不全；同时记录下所有对数据块CHUNK标识信息，一组成员校验成功后，FLR会校验每个CHUNK标识信息，其校验过程如图3所示，包括：

第一步、检查该数据块CHUNK在FLR中是否有记录；如果没有记录则直接删除，如果有记录则通过检查；

第二步、计算FLR数据库和各个FAS的CHUNK计数器值，比较哪个值最大，以CHUNK计数器值大的数据块为有效和正常的。

第三步、校验CHUNK计数器值，其具体过程包括：

如果FLR上的CHUNK计数器值最大，说明当前所有FAS上的该CHUNK数据都是不可靠的，需要在FLR数据库中删除该CHUNK记录。

如果有FAS具有最大的CHUNK计数器值，则对CHUNK计数器值小的数据块所在的所有FAS，FLR会发起数据块重构请求，即告诉计数器值最大的FAS，其上面的某个数据块需要从本地复制到异常的FAS上。拷贝完成后，立即修改各个FAS上对应数据块的CHUNK计数器值同最大值一致。

如果FLR上的CHUNK计数器值比FAS的小，则需要同步修改该FLR数据库中的该CHUNK计数器值。

本发明分布式文件系统的结构如图4所示，其包括通过网络连接如以太网连接的一文件访问服务器401，每一文件访问服务器401还连接一对应的数据库411；至少一文件定位寄存服务器402，用于产生针对文件访问服务器401的写数据操作中的数据块对应计数器值；用户可通过一文件访问客户端403向对应的所述文件访问服务器401及所述文件定位寄存服务器402进行数据访问请求；所述文件访问服务器401至少设置有主、备文件访问服务器，而所述文件访问客户端403用于向所述主、备文件访问服务器的对应数据块写数据，并对写数据正常的文件服务器之数据块计数器值按预定步长增加；所述文件定位寄存服务器402可用于根据主、备文件访问服务器上报的对应数据块计数器值是否一致，判断数据块的异常与否，控制对异常之数据块进行重构。

本发明分布式文件系统及其数据块一致性管理的方法，在海量集群系统中可以简单高效地管理冗余备份的数据块，保持其一致性，并且可以重构异常的备份数据块。其主要表现在：

1、在用户及时存储(追加写或改写)数据的过程中，如果发现主、备FAS其中的一方有异常，可以先增加正常FAS上数据块的CHUNK计数器值，保持异常FAS上数据块CHUNK计数器值没有增加；在后续FLR进行定时校验时，会根据上述CHUNK计数器值的校验，将CHUNK计数器值低的FAS上的数据块删除，同时从正常FAS上的数据块重构该异常FAS上的对应数据块。

2、本发明方法以CHUNK计数器值高的数据块为正常和有效的数据块，如果FLR记录的最高，则说明各个FAS上的数据块都不可靠；如果某个FAS上记录的最高，则需要将该数据块重构到值低的FAS中，同时要修改FLR中的记录。

由此可知，本发明所述分布式文件系统及其数据块一致性管理的方法其实现简单准确，校验计算快捷，可适用于海量的数据块处理。

应当理解的是，上述针对本发明较佳实施例的描述较为具体，并不能因此而理解为对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。

Claims (11)

1.一种分布式文件系统中数据块一致性管理的方法，其包括以下步骤：

A、在生成每一数据块时，由文件定位寄存服务器生成其对应的计数器值，同时存放在文件访问服务器和文件定位寄存服务器上，其中计数器值的初始值是相等的；

B、在对该数据块写数据时，文件访问客户端同时向主、备文件访问服务器写数据，如果都写数据成功，则不对计数器值进行修改；如果写数据都不正常，则在文件定位寄存服务器数据库中删除该数据块记录；否则，对写数据正常的文件访问服务器中的数据块计数器值按预定步长进行增加；

C、所述文件定位寄存服务器根据主、备文件访问服务器上报的对应数据块计数器值，以最大计数器值之数据块为正常和有效，对异常之数据块进行重构。

2.根据权利要求1所述的方法，其特征在于，所述步骤B还包括：

B1、在更改数据块数据时，所述文件定位寄存服务器给所述文件访问客户端返回该数据块所在的主、备文件访问服务器信息，所述文件访问客户端向所述主、备文件访问服务器发起修改数据操作；

B2、如果主、备文件访问服务器更改数据成功，则不发起该数据块计数器值的修改；否则，对正常更改数据的数据块所在文件访问服务器的计数器值进行按预定步长增加，同时按预定步长增加所述文件定位寄存服务器上的对应数据块的计数器值。

3.根据权利要求2所述的方法，其特征在于，所述步骤B2中对数据块计数器值的增加之预定步长为每次加1。

4.根据权利要求3所述的方法，其特征在于，所述步骤C还包括：所述文件定位寄存服务器在启动时刻和以一定的时间间隔向所述文件访问服务器发起数据块校验请求。

5.根据权利要求4所述的方法，其特征在于，数据块校验过程包括：

D1、所述文件访问服务器把本地的所有数据块标识上报给文件定位寄存服务器，所述文件定位寄存服务器将先收到的数据块标识组成HASH表，后续收到的数据块标识在该HASH表中查找，查找成功，表示是一对主、备数据块；

D2、记录下所有对数据块标识，所述文件定位寄存服务器校验每个数据块标识。

6.根据权利要求5所述的方法，其特征在于，所述步骤D1中所述文件定位寄存服务器将每个主、备文件访问服务器作为一组，将整个集群数据块分成若干组。

7.根据权利要求5所述的方法，其特征在于，所述步骤D2还包括：

D21、检查该数据块在所述文件定位寄存服务器中是否有记录；如果没有则直接删除；否则，转入步骤D22；

D22、比较所述文件定位寄存服务器数据库中和各个文件访问服务器的对应数据块之计数器值，以最大值之数据块为有效。

8.根据权利要求7所述的方法，其特征在于，所述步骤D22还包括：

D23、如果所述文件定位寄存服务器上的数据块计数器值最大，则在所述文件定位寄存服务器数据库中删除该数据块的记录。

9.根据权利要求7所述的方法，其特征在于，所述步骤D22还包括：

D241、如果有文件访问服务器上具有最大的数据块之计数器值，则由所述文件定位寄存服务器对计数器值小的数据块所在的其他文件访问服务器发起数据块重构请求，从有效数据块复制到异常的数据块上；

D242、数据拷贝完成后，修改各个文件访问服务器上对应数据块的计数器值同最大值一致。

10.根据权利要求7所述的方法，其特征在于，所述步骤D22还包括：

D25、如果所述文件定位寄存服务器上的数据块之计数器值比所述文件访问服务器上的小，则同步修改该文件定位寄存服务器数据库中的该对应数据块之计数器值。

11.一种如权利要求1所述方法的分布式文件系统，包括通过网络连接的一文件访问服务器、至少一文件定位寄存服务器；所述文件访问服务器对应连接一数据库；用户通过一文件访问客户端向所述文件访问服务器及所述文件定位寄存服务器进行写数据请求；其特征在于，所述文件访问服务器至少设置有主、备文件访问服务器；并且

所述文件访问客户端用于向所述主、备文件访问服务器的对应数据块写数据，并对写数据正常的文件服务器之数据块计数器值按预定步长增加；

所述文件定位寄存服务器用于生成数据块对应的计数器值，并根据主、备文件访问服务器上报的对应数据块计数器值是否一致来控制对异常之数据块进行重构。

Images