CN104156474B - 一种分布式文件系统中文件的快速删除方法 - Google Patents

Abstract

本发明提供了一种分布式文件系统中文件的快速删除方法，当删除分布式文件系统中的文件时，先在元数据服务器上将对应的元数据信息加入到回收目录下，然后返回删除成功，元数据服务器定时扫描回收目录，将其中文件对应的数据对象重命名为新的对象名，该对象名为系统中下一批待分配给新文件的文件对象，这样在有新文件数据写入时，可以直接使用刚回收文件重命名的对象，在读取文件时，按元数据中记录的文件大小判断有效数据的大小，从而达到不真正删除磁盘对象，且不影响正常读写，而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象，真正做到了文件的快速删除，且不产生磁盘数据IO，从而不影响正常数据的读写IO。

Description

一种分布式文件系统中文件的快速删除方法

技术领域

本发明涉及一种删除方法，具体涉及一种分布式文件系统中文件的快速删除方法。

背景技术

分布式文件系统一般包含客户端，元数据服务器和数据服务器，客户端负责文件数据的访问接口制定，元数据服务器处理文件的布局及属性，数据服务器存储文件的数据内容。

对于分布式文件系统，可以存储海量数据是其最主要的特征，当系统中存储了大量的文件，而文件需要大批量删除时，往往会产生大量的磁盘io，直接影响了正常的数据读写，降低了整系统的读写性能。

传统的做法是向将文件的元数据隐藏起来，然后后台回收元数据中对应的数据文件，为了减少对正常读写的影响，只能限制每次回收文件的数量，这样虽然可以减少对系统正常读写的影响，但大大降低了删除的速度，即磁盘空间重新被利用的速度。

发明内容

为了克服上述现有技术的不足，本发明提供一种分布式文件系统中文件的快速删除方法，在大多数情况下不需要真正删除文件的数据对象，只需要做重命名操作即可让删除的文件的空间被快速的利用，既保证了删除的速度，又保证了数据的读写不受影响。

为了实现上述发明目的，本发明采取如下技术方案：

本发明提供一种分布式文件系统中文件的快速删除方法，所述方法包括以下步骤：

步骤1：删除分布式文件系统中的文件；

步骤2：元数据服务器定时扫描删除目录中是否存在文件，若存在文件，则执行步骤3；

步骤3：元数据服务器向各个存储节点发起重命名对象为待创建对象的请求，存储节点执行对象的重命名操作；

步骤4：新文件写入存储节点，元数据服务器设置新文件的大小信息；

步骤5：客户端向各个存储节点读取数据内容。

所述步骤1包括以下步骤：

步骤1-1：布式文件系统中的文件需要被删除时，客户端向元数据服务器发起删除文件的请求；

步骤1-2：元数据服务器将需要删除的文件移动到删除目录，返回客户端删除成功。

所述步骤3包括以下步骤：

步骤3-1：元数据服务器查找自身的预创建对象池，找到待创建的对象名，向各个存储节点发起重命名对象为待创建对象的请求；

步骤3-2：存储节点执行对象的重命名操作，完成后返回给元数据服务器。

存储节点执行对象的重命名操作为同一文件或不同文件。

所述步骤4中，新文件写入存储节点时，元数据服务器将预创建对象池中的对象分配给新文件，新文件写入存储节点完成时，客户端向元数据服务器发送设置文件的大小信息的请求，元数据服务器设置文件的大小信息。

所述步骤5中，客户端从元数据服务器获取文件的大小信息，按有效大小长度向各个存储节点读取数据内容。

与现有技术相比，本发明的有益效果在于：

本发明提供了一种分布式文件系统中文件的快速删除方法，当删除分布式文件系统中的文件时，先在元数据服务器上将对应的元数据信息加入到回收目录下，然后返回删除成功，元数据服务器定时扫描回收目录，将其中文件对应的数据对象重命名为新的对象名，该对象名为系统中下一批待分配给新文件的文件对象，这样在有新文件数据写入时，可以直接使用刚回收文件重命名的对象，在读取文件时，按元数据中记录的文件大小判断有效数据的大小，从而达到不真正删除磁盘对象，且不影响正常读写，而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象，真正做到了文件的快速删除，且不产生磁盘数据IO，从而不影响正常数据的读写IO。

附图说明

图1是本发明实施例中分布式文件系统中文件的快速删除方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1，本发明提供一种分布式文件系统中文件的快速删除方法，所述方法包括以下步骤：

步骤1：删除分布式文件系统中的文件；

步骤2：元数据服务器定时扫描删除目录中是否存在文件，若存在文件，则执行步骤3；

步骤3：元数据服务器向各个存储节点发起重命名对象为待创建对象的请求，存储节点执行对象的重命名操作；

步骤4：新文件写入存储节点，元数据服务器设置新文件的大小信息；

步骤5：客户端向各个存储节点读取数据内容。

所述步骤1包括以下步骤：

步骤1-1：布式文件系统中的文件需要被删除时，客户端向元数据服务器发起删除文件的请求；

步骤1-2：元数据服务器将需要删除的文件移动到删除目录，返回客户端删除成功。

所述步骤3包括以下步骤：

步骤3-1：元数据服务器查找自身的预创建对象池，找到待创建的对象名，向各个存储节点发起重命名对象为待创建对象的请求；

步骤3-2：存储节点执行对象的重命名操作，完成后返回给元数据服务器。

存储节点执行对象的重命名操作为同一文件或不同文件。

所述步骤4中，新文件写入存储节点时，元数据服务器将预创建对象池中的对象分配给新文件，新文件写入存储节点完成时，客户端向元数据服务器发送设置文件的大小信息的请求，元数据服务器设置文件的大小信息。

所述步骤5中，客户端从元数据服务器获取文件的大小信息，按有效大小长度向各个存储节点读取数据内容。

实施例

A.元数据将指定的文件移动到待删除目录：

在系统中建立隐藏的目录，该目录对客户端不可见，专门用来存放客户端已删除，但文件对应的对象未处理的文件。当元数据服务器收到客户端的删除请求时，只需将指定的文件move到该目录下即可。

B.当对象被重新利用后，有效数据未达到之前对象大小时，多余出来的对象内容何时回收。

针对这种情况，在存储节点上启动定时器，定时扫描长时间未被写入的对象，然后向元数据服务器确认是否有多余的对象内容没被使用，若存在，则将多余的内容截断掉，释放该部分空间。

本发明提供的分布式文件系统中文件的快速删除方法，当删除分布式文件系统中的文件时，先在元数据服务器上将对应的元数据信息加入到回收目录下，然后返回删除成功，元数据服务器定时扫描回收目录，将其中文件对应的数据对象重命名为新的对象名，该对象名为系统中下一批待分配给新文件的文件对象，这样在有新文件数据写入时，可以直接使用刚回收文件重命名的对象，在读取文件时，按元数据中记录的文件大小判断有效数据的大小，从而达到不真正删除磁盘对象，且不影响正常读写，而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象，真正做到了文件的快速删除，且不产生磁盘数据IO，从而不影响正常数据的读写IO。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (1)

1.一种分布式文件系统中文件的快速删除方法，其特征在于：所述方法包括以下步骤：

步骤1：删除分布式文件系统中的文件；

步骤2：元数据服务器定时扫描删除目录中是否存在文件，若存在文件，则执行步骤3；

步骤3：元数据服务器向各个存储节点发起重命名对象为待创建对象的请求，存储节点执行对象的重命名操作；

步骤4：新文件写入存储节点，元数据服务器设置新文件的大小信息；

步骤5：客户端向各个存储节点读取数据内容；

所述步骤1包括以下步骤：

步骤1-1：分布式文件系统中的文件需要被删除时，客户端向元数据服务器发起删除文件的请求；

步骤1-2：元数据服务器将需要删除的文件移动到删除目录，返回客户端删除成功；

所述步骤3包括以下步骤：

步骤3-1：元数据服务器查找自身的预创建对象池，找到待创建的对象名，向各个存储节点发起重命名对象为待创建对象的请求；

步骤3-2：存储节点执行对象的重命名操作，完成后返回给元数据服务器；

存储节点执行对象的重命名操作为同一文件或不同文件；

所述步骤4中，新文件写入存储节点时，元数据服务器将预创建对象池中的对象分配给新文件，新文件写入存储节点完成时，客户端向元数据服务器发送设置文件的大小信息的请求，元数据服务器设置文件的大小信息；

所述步骤5中，客户端从元数据服务器获取文件的大小信息，按有效大小长度向各个存储节点读取数据内容。