CN104158897B - 一种分布式文件系统中文件布局的更新方法 - Google Patents

Abstract

本发明提供一种分布式文件系统中文件布局的更新方法，在没有分布式锁的分布式文件系统中，对每个文件布局增加版本号字段，当文件布局有更新时，元数据服务器增加该文件布局的版本号，并且通知文件布局中的各个存储节点，通知完成后记录文件布局的更新记录。当客户端去访问存储服务器时，存储服务器比较客户端的文件布局的版本号和自身文件布局的版本号，若自身的大，则拒绝该请求，让其从元数据服务器更新最新的文件布局后再访问，从而可以保证文件布局更新的一致性。本发明在不需要分布式锁的情况下，完成了文件布局的一致性更新，保证了数据在多客户端间的一致性访问，并且减少了申请分布式锁的开销。

Description

一种分布式文件系统中文件布局的更新方法

技术领域

本发明涉及一种更新方法，具体涉及一种分布式文件系统中文件布局的更新方法。

背景技术

分布式文件系统一般包含客户端，元数据服务器和数据服务器，客户端负责文件数据的访问接口制定，元数据服务器处理文件的布局及属性，数据服务器存储文件的数据内容。

对于分布式文件系统，多个客户端同时访问一个文件时，为了保证其访问数据的一致性，该文件的元数据更新时必须有一种方法使得访问该元数据的客户端都感知到，传统的做法是通过元数据的分布式锁来实现，大致过程为，客户端访问文件时必须先申请该文件的分布式锁，更新元数据时也需要在锁的保护内进行，而该方法的缺点有二，一是分布式锁实现难度很大，且维护起来很不方便，部分分布式文件系统没有分布式锁，二是每次访问元数据时都需要加锁，降低了元数据访问的效率，增加了访问元数据的时延和开销。

发明内容

为了克服上述现有技术的不足，本发明提供一种分布式文件系统中文件布局的更新方法，在文件布局有更新时，只需通知和该布局相关的存储节点，通过存储节点反向反馈给访问其数据的客户端，该发明减少了元数据访问频繁加锁的开销，并且可以保证文件布局的一致性更新。

为了实现上述发明目的，本发明采取如下技术方案：

本发明提供一种分布式文件系统中文件布局的更新方法，所述方法包括以下步骤：

步骤1：元数据服务器记录文件布局的更新记录；

步骤2：元数据据服务器判断客户端的文件布局版本号和自身的文件布局版本号是否一致；

步骤3：客户端向元数据服务器更新文件布局，并重新访问存储节点。

所述步骤1包括以下步骤：

步骤1：文件布局有更新时，元数据服务器重新修改文件布局，对每个文件布局增加版本号；

步骤2：元数据服务器修改文件布局完成后，更新对应的版本号，并通知相关存储节点；

步骤3：通知完成后，元数据服务记录文件布局的更新记录。

所述步骤1包括以下步骤：

步骤2-1：客户端向元数据据服务器发送读写请求；

步骤2-2：元数据据服务器收到客户端发送的读写请求，判断客户端的文件布局版本号和自身的文件布局版本号是否一致；若元数据据服务器自身的文件布局版本号大于客户端的文件布局版本号，则执行步骤2-3；若客户端的文件布局版本号大于自身的文件布局版本号，则执行步骤2-4；

步骤2-3：元数据据服务器拒绝该读写请求，通知发起读写请求的客户端更新文件布局；

步骤2-4：元数据据服务器接受收到的客户端的文件布局版本号，更新自身的文件布局版本号。

所述步骤3中，客户端收到元数据服务器的拒绝访问的反馈后，向元数据服务器更新文件布局，并重新访问存储节点。

与现有技术相比，本发明的有益效果在于：

本发明提供一种分布式文件系统中文件布局的更新方法，在没有分布式锁的分布式文件系统中，对每个文件布局增加版本号字段，当文件布局有更新时，元数据服务器增加该文件布局的版本号，并且通知文件布局中的各个存储节点，通知完成后记录文件布局的更新记录。当客户端去访问存储服务器时，存储服务器比较客户端的文件布局的版本号和自身文件布局的版本号，若自身的大，则拒绝该请求，让其从元数据服务器更新最新的文件布局后再访问，从而可以保证文件布局更新的一致性。本发明在不需要分布式锁的情况下，完成了文件布局的一致性更新，保证了数据在多客户端间的一致性访问，并且减少了申请分布式锁的开销。

附图说明

图1是分布式文件系统中文件布局的更新方法的流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1，本发明提供一种分布式文件系统中文件布局的更新方法，所述方法包括以下步骤：

步骤1：元数据服务器记录文件布局的更新记录；

步骤2：元数据据服务器判断客户端的文件布局版本号和自身的文件布局版本号是否一致；

步骤3：客户端向元数据服务器更新文件布局，并重新访问存储节点。

所述步骤1包括以下步骤：

步骤1：文件布局有更新时，元数据服务器重新修改文件布局，对每个文件布局增加版本号；

步骤2：元数据服务器修改文件布局完成后，更新对应的版本号，并通知相关存储节点；

步骤3：通知完成后，元数据服务记录文件布局的更新记录。

所述步骤1包括以下步骤：

步骤2-1：客户端向元数据据服务器发送读写请求；

步骤2-2：元数据据服务器收到客户端发送的读写请求，判断客户端的文件布局版本号和自身的文件布局版本号是否一致；若元数据据服务器自身的文件布局版本号大于客户端的文件布局版本号，则执行步骤2-3；若客户端的文件布局版本号大于自身的文件布局版本号，则执行步骤2-4；

步骤2-3：元数据据服务器拒绝该读写请求，通知发起读写请求的客户端更新文件布局；

步骤2-4：元数据据服务器接受收到的客户端的文件布局版本号，更新自身的文件布局版本号。

所述步骤3中，客户端收到元数据服务器的拒绝访问的反馈后，向元数据服务器更新文件布局，并重新访问存储节点。

实施例

A.版本号的内存中的记录方法：

Version Cache以Try Tree的方式组织，以文件Inode Id作为索引的关键字。

Cache的回收采用定时的方式进行，每两分钟将其中存在时间超过24小时的Version变化信息回收。

B.存储节点掉电重启后version cache的重建；

当存储节点掉电重启后，向元数据服务器获取24小时内有过变化的元数据布局，获取后重新构建出version cache。

本发明提供一种分布式文件系统中文件布局的更新方法，在没有分布式锁的分布式文件系统中，对每个文件布局增加版本号字段，当文件布局有更新时，元数据服务器增加该文件布局的版本号，并且通知文件布局中的各个存储节点，通知完成后记录文件布局的更新记录。当客户端去访问存储服务器时，存储服务器比较客户端的文件布局的版本号和自身文件布局的版本号，若自身的大，则拒绝该请求，让其从元数据服务器更新最新的文件布局后再访问，从而可以保证文件布局更新的一致性。本发明在不需要分布式锁的情况下，完成了文件布局的一致性更新，保证了数据在多客户端间的一致性访问，并且减少了申请分布式锁的开销。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (1)

1.一种分布式文件系统中文件布局的更新方法，其特征在于：所述方法包括以下步骤：

步骤1：元数据服务器记录文件布局的更新记录；

步骤2：元数据服务器判断客户端的文件布局版本号和自身的文件布局版本号是否一致；

步骤3：客户端向元数据服务器更新文件布局，并重新访问存储节点；

所述步骤1包括以下步骤：

步骤1-1：文件布局有更新时，元数据服务器重新修改文件布局，对每个文件布局增加版本号；

步骤1-2：元数据服务器修改文件布局完成后，更新对应的版本号，并通知相关存储节点；

步骤1-3：通知完成后，元数据服务记录文件布局的更新记录；

所述步骤2包括以下步骤：

步骤2-1：客户端向元数据服务器发送读写请求；

步骤2-2：元数据服务器收到客户端发送的读写请求，判断客户端的文件布局版本号和自身的文件布局版本号是否一致；若元数据服务器自身的文件布局版本号大于客户端的文件布局版本号，则执行步骤2-3；若客户端的文件布局版本号大于自身的文件布局版本号，则执行步骤2-4；

步骤2-3：元数据服务器拒绝该读写请求，通知发起读写请求的客户端更新文件布局；

步骤2-4：元数据服务器接受收到的客户端的文件布局版本号，更新自身的文件布局版本号；

所述步骤3中，客户端收到元数据服务器的拒绝访问的反馈后，向元数据服务器更新文件布局，并重新访问存储节点。