CN102024018A - 一种分布式文件系统中垃圾元数据的在线回收方法 - Google Patents

Abstract

本发明了公开一种分布式文件系统中垃圾元数据的在线回收方法。该方法通过多路搜索树对元数据在本地文件系统上的存储结构进行快照，在处理删除义件或目录动作时，不去同步清理垃圾索引节点，而是将描述索引节点文件的树节点及其所有祖先节点置上标志。当垃圾索引节点数量达到一个阈值时，唤醒异步回收线程，该线程遍历多路搜索树，通过垃圾标志位确定节点或其子节点是否存在垃圾元数据，然后做进一步垃圾清理工作。该发明可以在基本不影响分布式文件系统对外提供服务的情况下，去回收文件系统运行中产生的无效元数据，从而节省元数据服务器上的存储资源，减轻元数据服务器访问本地文件系统时的负载。

Description

一种分布式文件系统中垃圾元数据的在线回收方法

技术领域

本发明涉及分布式文件系统文件管理，具体涉及一种分布式文件系统中垃圾元数据的在线回收方法。

背景技术

分布式文件系统中，高效的元数据管理方法是决定其整体性能的一个重要因素。现代分布式文件系统的元数据管理一般都是基于本地文件系统之上，这样可以降低开发、调试以及维护的成本。对于存储海量文件和目录的分布式文件系统来说，其元数据的量是非常巨大的，为了提高访存效率，通常将元数据按照节点号分组后，存于分级目录中，如图1所示。图中所示的树状结构最底层节点代表存储元数据的索引节点文件，一个文件中存储多个索引节点的数据，这些索引节点的节点号是连续的。

在使用基于本地文件系统元数据管理的分布式文件系统中，删除文件和目录时，如何清理废弃的元数据是一个比较重要的问题。如果同步清理存储于索引节点文件中的元数据信息，则需要多次系统调用甚至访问磁盘的开销，影响元数据模块处理请求的效率；如果不去从磁盘上删除这些废弃的元数据，则系统中会留下大量的垃圾元数据，时间久了之后，不仅会浪费本地文件系统的存储空间，而且随着存储元数据的目录下子目录或文件的增多，会严重影响本地文件系统查找的效率。

目前，部分分布式文件系统所采取的垃圾回收方式以离线回收方式为主，即将该元数据标志为垃圾元数据，以后由系统管理员采用专门的整理工具进行清理。这种方式的优点在于比较简单，但需要关闭集群，这会带来很大的不便。最近备受关注的GoogleFS采用了在线垃圾回收机制，他们的做法是当删除一个文件或目录时，将该文件或目录重新命名，以后定期检查整个名字空间，找出需要删除的目录项，进行垃圾回收。这种方法需要扫描整个名字空间，当名字空间中的子项比较多时，会比较浪费CPU资源，在此期间，其他的服务处理将会受到影响。

发明内容

本发明旨在公开一种分布式文件系统中垃圾元数据的回收方式，目的是为了在不影响分布式文件系统对外提供服务的情况下，去回收文件系统运行中产生的垃圾元数据，以回收元数据服务器上的存储资源，减轻元数据服务器访问本地文件系统时的负载。

1、一种分布式文件系统中垃圾元数据的在线回收方法，包括如下步骤：

A、索引节点采用64位无符号整数进行编号，从0开始，分配索引节点号时，逐渐累加，每32K个索引节点元数据存放于同一文件，所有的索引节点文件在磁盘上按照节点编号采用两级树状结构目录进行存放；

B、索引节点文件存储的目录结构组织成一个多路搜索树，树的每个非叶子节点表征一个子目录，而叶子节点则代表索引节点文件，每个树节点用特定的数据结构来表述；当删除文件或目录时，首先在叶子节点数据结构中将索引节点文件中对应的索引节点置无效，然后置位叶子节点的垃圾存在标志，同时置位该叶子节点所有祖先节点的垃圾存在标志；发明中用全局变量记录目前系统中无效索引节点数目，每进行一次删除操作，则增加计数，如果计数达到一个预定的门限，则唤醒垃圾处理线程；

C、垃圾处理线程被唤醒后，从多路搜索树的根节点开始遍历搜索树：如果节点的垃圾标志被置位，则表示该节点之下的子树有垃圾元数据存在，需要继续处理；如果节点的垃圾标志没有被置位，则表示该子树下面所有的叶子节点不存在垃圾元数据，跳过整个子树，去处理其兄弟节点；

D、对于有垃圾标志的叶子节点，垃圾回收处理分为两种情况：

第一种情况，该索引节点文件中不存在有效的索引节点，直接删除文件；

第二种情况，该索引文件中尚存在有效的索引节点，需要将有效的索引节点拷贝到一个临时的文件中去，形成带有空洞的文件，删除原文件，然后将临时的文件重命名为该索引节点文件名；

E、存放元数据文件的目录的垃圾回收，是在处理完元数据文件之后进行的，当处理完一个目录下的所有元数据文件后，检查该目录下的有效目录项数目是否为0，如果为0，则表示该目录已空，可以删除，处理完一个目录后，再去处理它的其他兄弟节点，当所有兄弟节点都处理完毕后，检查其父目录的有效目录项的数目，如果为0，删除父目录。

本发明可以在基本不影响分布式文件系统对外提供服务的情况下，去回收文件系统运行中产生的无效元数据，从而节省元数据服务器上的存储资源，减轻元数据服务器访问本地文件系统时的负载。

附图说明

图1是本发明索引节点存储结构

具体实施方式

(1)索引节点采用64位无符号整数进行编号，从0开始，分配索引节点号时，逐渐累加。由于64位无符号整数能表达的数字范围非常巨大，假定一秒钟创建10000个索引节点，则64为无符号数全部用完需要约58494243年，所以可以近似认为，索引节点号是无限多的。发明中将每32K个索引节点元数据存放于同一个文件，所有的索引节点文件在磁盘上按照节点编号采用两级树状结构目录进行存放。

(2)将索引节点文件存储的目录结构按照图1组织成为一个多路搜索树，树的每个非叶子节点表征一个子目录，而叶子节点则代表索引节点文件，每个树节点用特定的数据结构来表述。当删除文件或目录时，首先在叶子节点数据结构中将索引节点文件中对应的索引节点置无效，然后置位叶子节点的垃圾存在标志，同时置位该叶子节点所有祖先节点的垃圾存在标志。发明中用全局变量记录目前系统中无效索引节点数目，每进行一次删除操作，则增加计数，如果计数达到一个预定的门限，则唤醒垃圾处理线程。

(3)垃圾处理线程被唤醒后，从多路搜索树的根节点开始遍历搜索树：如果节点的垃圾标志被置位，则表示该节点之下的子树有垃圾元数据存在，需要继续处理；如果节点的垃圾标志没有被置位，则表示该子树下面所有的叶子节点不存在垃圾元数据，跳过整个子树，去处理其兄弟节点。

(4)对于有垃圾标志的叶子节点，垃圾回收处理分为两种情况：

第一种情况，该索引节点文件中不存在有效的索引节点。由于前文已经提到，本实施中索引节点号是依次累加，不会重复使用的，所以该文件不会再被访问到，因而文件可以被直接删除；

第二种情况，该索引文件中尚存在有效的索引节点。对于这种情况，需要将有效的索引节点拷贝到一个临时的文件中去，删除原文件，然后将临时的文件重命名为该索引节点文件名。这样做的目的是使新的索引节点文件形成文件空洞，释放无效索引节点所占用的磁盘空间。

(5)对于非叶子节点，即存放元数据文件的目录，同样需要进行垃圾回收，主要是由于一个目录下的目录项数目较多时，会影响检索速率。为了提高目录项的检索效率，当一个存储元数据文件的目录为空时，即可将其删除，这样可以减少其父目录的目录项数目。

存放元数据文件的目录的垃圾回收，是在处理完元数据文件之后进行的。当处理完一个目录下的所有元数据文件后，检查该目录下的有效目录项数目是否为0，如果为0，则表示该目录已空，可以删除。处理完一个目录后，再去处理它的其他兄弟节点，当所有兄弟节点都处理完毕后，检查其父目录的有效目录项的数目，如果为0，删除父目录。这样，一次扫描完毕后，即完成对可将当前文件系统中所有垃圾元数据的回收。

Claims (1)

1.一种分布式文件系统中垃圾元数据的在线回收方法，其特征在于：包括如下步骤：

A、索引节点采用64位无符号整数进行编号，从0开始，分配索引节点号时，逐渐累加，每32K个索引节点元数据存放于同一文件，所有的索引节点文件在磁盘上按照节点编号采用两级树状结构目录进行存放；

B、索引节点文件存储的目录结构组织成一个多路搜索树，树的每个非叶子节点表征一个子目录，而叶子节点则代表索引节点文件，每个树节点用特定的数据结构来表述；当删除文件或目录时，首先在叶子节点数据结构中将索引节点文件中对应的索引节点置无效，然后置位叶子节点的垃圾存在标志，同时置位该叶子节点所有祖先节点的垃圾存在标志；发明中用全局变量记录目前系统中无效索引节点数目，每进行一次删除操作，则增加计数，如果计数达到一个预定的门限，则唤醒垃圾处理线程；

C、垃圾处理线程被唤醒后，从多路搜索树的根节点开始遍历搜索树：如果节点的垃圾标志被置位，则表示该节点之下的子树有垃圾元数据存在，需要继续处理；如果节点的垃圾标志没有被置位，则表示该子树下面所有的叶子节点不存在垃圾元数据，跳过整个子树，去处理其兄弟节点；

D、对于有垃圾标志的叶子节点，垃圾回收处理分为两种情况：

第一种情况，该索引节点文件中不存在有效的索引节点，直接删除文件；

第二种情况，该索引文件中尚存在有效的索引节点，需要将有效的索引节点拷贝到一个临时的文件中去，形成带有空洞的文件，删除原文件，然后将临时的文件重命名为该索引节点文件名；

E、存放元数据文件的目录的垃圾回收，是在处理完元数据文件之后进行的，当处理完一个目录下的所有元数据文件后，检查该目录下的有效目录项数目是否为0，如果为0，则表示该目录已空，可以删除，处理完一个目录后，再去处理它的其他兄弟节点，当所有兄弟节点都处理完毕后，检查其父目录的有效目录项的数目，如果为0，删除父目录。

Images