CN108197270B - 分布式文件系统数据回收方法 - Google Patents

Abstract

本发明提供一种分布式文件系统数据回收方法，包括：创建一回收链表作为回收空间的核心数据结构，回收链表具有一全局指针变量，该全局指针变量同时作为回收链表的头指针，被命名成trash指针；响应于接收到系统生成的针对任意一个文件节点类型为TYPE_FILE的文件的删除指令，将该文件的文件名、路径记录至一结构体fsedge的path中，同时将该文件节点从系统文件目录树中移动至回收链表上，以及将该文件的节点类型由原TYPE_FILE更改成TYPE_TRASH，以使trash指针能够对其进行访问。本发明通过一个单独的TRASH模块来实现文件系统的回收站机制，系统中的所有文件在删除时，若其回收时间大于0，则不会立即将该文件彻底删除，而是将该文件的节点从文件树上移除并放到回收链表中。

Description

分布式文件系统数据回收方法

技术领域

本发明涉及分布式存储领域，属于分布式文件系统数据回收方法。

背景技术

分布式文件系统一般都采用冗余的方式来保证数据安全性，这种方式虽然能够在很大程度上避免因为部分物理节点故障而造成的数据丢失，但是它无法避免文件系统的用户误操作造成的数据丢失，例如：用户误删除文件。

当前主流的分布式文件系统已经引入了数据回收站功能，这些系统通用的做法是：在回收站功能开启的状态下，文件数据无论是有意还是无意被删除，都会被系统先放入回收站中一段时间，如果是误删，用户可以在这段时间内恢复被删除的文件。

但是这些分布式文件系统回收站功能普遍有以下局限：

(1)放入回收站的数据无法被用户访问，如果A用户的文件数据被B用户删除了，但是A用户没有恢复数据的权限，虽然A的数据暂时不会丢失，但是A 将无法再访问这些数据。

(2)回收站内如果已经堆放了大量的待回收文件，用户无法批量便捷地查看其中文件的状态。

(3)某个文件的回收时间被设置为0，即被删除后不会停留在回收站中，而是直接被系统清理掉；此时，如果A用户打开该文件，B用户删除该文件，将会发生操作冲突。

发明内容

本发明的目的在于提供一种分布式文件系统数据回收方法，本方法通过一个单独的TRASH模块来实现文件系统的回收站机制，系统中的所有文件在删除时，若其回收时间大于0，则不会立即将该文件彻底删除，而是将该文件的节点从文件树上移除并放到回收链表中，客户端通过文件系统的TRASH模块可以便捷地管理回收站中的文件。

为达到上述目的，本发明提供如下技术方案：

一种分布式文件系统数据回收方法，包括：

创建一回收链表作为回收空间的核心数据结构，回收链表具有一全局指针变量，该全局指针变量同时作为回收链表的头指针，被命名成trash指针；

响应于接收到系统生成的针对任意一个文件节点类型为TYPE_FILE的文件的删除指令，将该文件的文件名、路径记录至一结构体fsedge的path中，同时将该文件节点从系统文件目录树中移动至回收链表上，以及

将该文件的节点类型由原TYPE_FILE更改成TYPE_TRASH，以使trash指针能够对其进行访问。

进一步的实施例中，所述方法还包括：

将文件节点类型为TYPE_TRASH的文件的文件名格式定义成八位十六进制数的ID和文件名的组合；

所述文件名中含有路径信息。

进一步的实施例中，所述方法还包括：

响应于接收到一用户发送的关于回收空间内任意一个文件的访问请求，获取该文件完整文件名需要的总缓冲区长度，创建响应包，以及

访问回收链表以查找到目标文件节点、并且向缓冲区内依次填入目标文件节点的文件名长度、文件名、文件编号。

进一步的实施例中，所述方法还包括：

采用一指定的挂载指令将所述回收空间挂载到本地。

进一步的实施例中，所述回收空间包括以下目录结构：

将回收空间的挂载点作为第一级目录结构；

将一trash目录作为从属于挂载点的第二级目录结构。

进一步的实施例中，所述方法还包括：

在trash目录下创建一undel子目录；

响应于回收空间中任意一个文件被移入undel子目录，生成一针对该文件的恢复请求。

进一步的实施例中，所述方法还包括：

接收到一用户发送的关于回收空间内任意一个文件的恢复请求，解析该文件的编号，根据编号检索到对应的文件节点，分析该文件节点的类型，

1)响应于该文件节点的类型为TYPE_TRASH，访问回收链表以查找到对应的文件节点信息，获取该文件的原路径，查找原路径是否存在，a)若存在，将该文件的节点信息重新链接至文件系统目录树中，删除该节点在回收链表中的相关信息，b)若不存在，创建路径，再将该文件的节点信息重新链接至文件系统目录树中，删除该节点在回收链表中的相关信息；

2)响应于该文件节点的类型非TYPE_TRASH，中断恢复过程，并且返回一异常信息。

进一步的实施例中，所述方法还包括：

在回收空间中创建一reserved目录；

接收到一用户发送的关于回收空间内任意一个文件的清除请求，解析该文件的编号，根据编号检索到对应的文件节点，判断该文件节点的类型是否为 TYPE_TRASH，若判断成立，将回收空间的总大小减去该文件的大小，检查该文件的当前状态，

1)响应于该文件处于闲置状态，将该文件的文件节点从文件系统目录树中删除；

2)响应于该文件处于被使用状态，将该文件的文件节点移动至回收空间的reserved目录下，文件节点类型更改成TYPE_RESERVED。

进一步的实施例中，所述方法还包括：

响应于文件节点类型为TYPE_RESERVED的文件恢复至闲置状态，将该文件的文件节点从文件系统目录树中删除。

进一步的实施例中，所述方法还包括：

获取当前时间ts，定期访问回收链表中的每个文件节点，响应于其中任意一个文件同时满足以下三个条件：1)访问时间atime和回收时间trashtime之和小于ts，2)修改时间mtime和回收时间trashtime之和小于ts，3)状态时间ctime 和回收时间trashtime之和小于ts，彻底删除该文件。

本发明的有益效果在于：

通过一个单独的TRASH模块来实现文件系统的回收站机制，系统中的所有文件在删除时，若其回收时间大于0，则不会立即将该文件彻底删除，而是将该文件的节点从文件树上移除并放到回收链表中，客户端通过文件系统的TRASH 模块可以便捷地管理回收站中的文件。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1为本发明的分布式文件系统数据回收方法的工作流程图。

图2是本发明的回收链表结构示意图。

图3为本发明的文件信息示意图。

图4为本发明的回收空间目录结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

结合图1，本发明提及一种分布式文件系统数据回收方法，本方法在分布式文件系统主节点上构建一个TRASH模块来单独管理系统中的待回收文件，并向用户提供一种直接操作待回收文件的方式，用户将分布式文件系统的回收站空间挂载到本地后，即可对回收站内的文件进行一系列操作，并且能够解决传统回收站内数据无法直接访问、批量管理待回收文件困难、以及同时对文件进行访问和删除发生冲突等问题。具体的，所述分布式文件系统数据回收方法包括：

步骤1、创建一回收链表作为回收空间的核心数据结构，回收链表具有一全局指针变量，该全局指针变量同时作为回收链表的头指针，被命名成trash指针。

步骤2、响应于接收到系统生成的针对任意一个文件节点类型为TYPE_FILE 的文件的删除指令，将该文件的文件名、路径记录至一结构体fsedge的path中，同时将该文件节点从系统文件目录树中移动至回收链表上，以及将该文件的节点类型由原TYPE_FILE更改成TYPE_TRASH，以使trash指针能够对其进行访问。

本方法通过一个单独的TRASH(垃圾)模块来实现文件系统的回收站机制。系统中的所有文件在删除时，若其回收时间大于0，则不会立即将该文件彻底删除，而是将该文件的节点从文件树上移除并放到回收链表中。客户端通过文件系统的TRASH模块可以便捷地管理回收站中的文件，管理功能主要包括：查看、删除、恢复等。

用户使用TRASH模块挂载分布式文件系统后将能访问到一个完整的回收空间，在该回收空间内，用户可以像普通文件系统一样访问其中的数据，并能对这些待回收文件进行一系列的操作，操作类型是普通文件系统操作类型的一个超集。

回收空间核心数据结构是一个链表。全局变量trash是一个指针变量，它也是回收链表的头指针。当要删除一个文件时，系统会先判断如果该文件节点类型是TYPE_FILE且回收时间大于0则将该节点文件类型设置为TYPE_TRASH。

结合图2，假如要删除一个名为aaa的TYPE_FILE文件，那么它的文件名(含路径)会被记录到结构体fsedge的path中，并将该文件节点从系统文件目录树中移动到回收链表上，但该节点fsnode并没有真正从文件系统目录树中删除，也就是说这些被放入回收站的节点信息也会被保存到元数据文件中，只是因为它不在文件树中所以我们在文件系统中看不到它们。

为了便于trash指针访问文件节点，同时也为了在放入回收链表的文件的文件节点与原文件节点、路径之间建立关系，本发明将文件节点类型为TYPE_TRASH 的文件的文件名格式定义成八位十六进制数的ID和文件名的组合。所述文件名中含有路径信息。

例如，所有的TYPE_TRASH类型的文件，文件名格式被设置成由八位十六进制数的nodeid和文件名(含路径，路径中的“/”都被“|”取代)组成。比如， 0000000A|dir1|dir2|aaa，表示该文件的id是10，文件名是aaa，文件在被放入回收站之前的路径是”/dir1/dir2/aaa”。用户可以通过LINUX标准命令查看文件，如cat 0000000A|dir1|dir2|aaa来查看文件。

在前述基础上，本发明提出一种关于回收空间任意一个文件的访问方法，具体如下：

响应于接收到一用户发送的关于回收空间内任意一个文件的访问请求，获取该文件完整文件名需要的总缓冲区长度，创建响应包，以及访问回收链表以查找到目标文件节点、并且向缓冲区内依次填入目标文件节点的文件名长度、文件名、文件编号。

结合图3，例如用户使用ls命令查看回收空间中的某个文件时，客户端会向主节点发送查看请求，文件系统主节点接到查看请求后首先确定完整的文件名需要的总缓冲区长度，然后创建响应包，并遍历回收链表向缓冲区依次填入目标文件节点的文件名长度+文件命名+文件编号。

在一些例子中，所述方法还包括：

采用一指定的挂载指令将所述回收空间挂载到本地。

优选的，所述回收空间包括以下目录结构：

将回收空间的挂载点作为第一级目录结构。

将一trash目录作为从属于挂载点的第二级目录结构。

在另一些例子中，所述方法还包括：

在trash目录下创建一undel子目录。

响应于回收空间中任意一个文件被移入undel子目录，生成一针对该文件的恢复请求。

结合图4，在trash目录下包含undel子目录，已经被放入回收站的文件可以通过使用mv将其移动到undel目录中就可以实现文件的恢复。如：执行mv 0000000A|dir1|dir2|aaa undel/后就可以将aaa这个文件恢复到文件系统目录树的/dir1/dir2目录下，若该目录已经被删除系统会自动创建出来。如果想要彻底删除aaa这个文件，则可以使用rm–f0000000A|dir1|dir2|aaa命令或者将该文件的回收时间设为0。用户也可以直接在回收站空间内修改文件的路径，如echo /dir5/dir6/ccc>0000000A|dir1|dir2|aaa，如果用户此时恢复文件aaa，则其恢复后的路径为：/dir5/dir6/ccc。

下面详细阐述基于该回收空间的文件恢复方法，所述文件恢复方法包括：

接收到一用户发送的关于回收空间内任意一个文件的恢复请求，解析该文件的编号，根据编号检索到对应的文件节点，分析该文件节点的类型：

1)响应于该文件节点的类型为TYPE_TRASH，访问回收链表以查找到对应的文件节点信息，获取该文件的原路径，查找原路径是否存在，a)若存在，将该文件的节点信息重新链接至文件系统目录树中，删除该节点在回收链表中的相关信息，b)若不存在，创建路径，再将该文件的节点信息重新链接至文件系统目录树中，删除该节点在回收链表中的相关信息。

2)响应于该文件节点的类型非TYPE_TRASH，中断恢复过程，并且返回一异常信息。

此处的恢复请求可以由用户通过将回收空间中的文件移入undel子目录生成，也可以由用户通过其他请求恢复方式生成，例如，用户在挂载文件系统的回收空间后，采用mv0000000A|dir1|dir2|aaa undel/以恢复相应的文件。

客户端此时会发送待回收文件的恢复请求消息，文件系统主节点在接收到该消息请求后，会先解析出待恢复文件的编号，并根据该编号检索到对应的文件节点，判断其类型必须是TYPE_TRASH，否则向客户端返回异常信息并中断恢复过程。系统在判断待恢复文件节点类型后在回收链表中找到对应的文件节点信息并获得文件路径名，随后系统在文件系统目录树中查找该路径是否存在，如果不存在则先创建该路径，然后将该文件的节点信息重新链接到文件系统目录树中，并删除该节点在回收链表中的相关信息，同时调整回收空间大小等信息。

前述提及，如果其中一个用户请求清除回收空间中的某文件，而另一个用户正在使用该文件，将会造成冲突，本发明提出一种文件保留方法来避免该冲突。

所述文件保留方法包括：

在回收空间中创建一reserved目录。

接收到一用户发送的关于回收空间内任意一个文件的清除请求，解析该文件的编号，根据编号检索到对应的文件节点，判断该文件节点的类型是否为 TYPE_TRASH，若判断成立，将回收空间的总大小减去该文件的大小，检查该文件的当前状态，

1)响应于该文件处于闲置状态，将该文件的文件节点从文件系统目录树中删除。

2)响应于该文件处于被使用状态，将该文件的文件节点移动至回收空间的reserved目录下，文件节点类型更改成TYPE_RESERVED。

结合图4，reserved目录下包含了所有的TYPE_RESERVED(保留)类型的文件。

进一步的实施例中，所述方法还包括：

响应于文件节点类型为TYPE_RESERVED的文件恢复至闲置状态，将该文件的文件节点从文件系统目录树中删除。

保留机制是回收站机制的补充，当一个回收时间等于0的文件被一个客户端打开，而同时有另一个客户端要删除它时，此时文件系统主节点对该文件节点的处理是并不立即删除该文件，而是将该文件类型设置为TYPE_RESERVED，并将该文件节点链接到回收空间中的保留链表中；此时该文件节点虽然已从文件系统目录树中删除，但因为另一个正在打开该文件的客户端因为持有该文件节点编号所以不影响它对该文件的操作，当所有客户端都关闭该文件后，该文件节点才会被清除。

在文件节点fsnode结构体的定义中有一个sessionidrec*sessionids指针，它指向的sessionidrec结构中记录了客户端的sessionid：

在session结构中有一个filelist*openedfiles指针，它指向的filelist结构中记录了已打开的文件编号：

每当一个客户端打开一个文件时，会将该文件节点的编号记录到session.openedfiles链表中，客户端要打开文件时会向文件系统发送打开消息请求。主节点接收到打开请求后会首先遍历session.openedfiles链表，若找到一个 filelist结构记录了该文件节点编号，则直接返回OK，否则会新分配一个 sessionidrec结构记录此时的sessionid并将该结构连接到sessionids链表上,然后分配一个新的filelist结构记录此时的文件编号并将该结构插入到 session.openedfiles链表中。

文件系统为RESERVED机制维护一个定时函数，该函数周期性的执行。函数流程为：获取当前时间ts，然后遍历保留链表中的每一个文件节点，若该节点的会话链表为空，即此时该文件没有被任何一个客户端打开，文件系统此时调用清理函数将该节点彻底删除。

本发明还提及一种基于前述回收空间的维护方法。

所述维护方法包括：

获取当前时间ts，定期访问回收链表中的每个文件节点，响应于其中任意一个文件同时满足以下三个条件：1)访问时间atime和回收时间trashtime之和小于ts，2)修改时间mtime和回收时间trashtime之和小于ts，3)状态时间ctime 和回收时间trashtime之和小于ts，彻底删除该文件。

回收空间的维护工作主要是定期扫描回收空间内的待回收文件，如果已经达到的回收时间，则将其清除。文件系统在启动的时候会注册一个定时函数，该函数周期执行，函数流程主要是：获取当前时间ts，然后遍历回收链表中的每一个文件节点，若其对应的文件(atime+trashtime)<ts并且(mtime+ trashtime)<ts并且(ctime+trashtime)<ts时则调用清除函数将该文件彻底删除。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分布式文件系统数据回收方法，其特征在于，包括：

创建一回收链表作为回收空间的核心数据结构，回收链表具有一全局指针变量，该全局指针变量同时作为回收链表的头指针，被命名成trash指针；

响应于接收到系统生成的针对任意一个文件节点类型为TYPE_FILE的文件的删除指令，将该文件的文件名、路径记录至一结构体fsedge的path中，同时将该文件节点从系统文件目录树中移动至回收链表上，以及

将该文件的节点类型由原TYPE_FILE更改成TYPE_TRASH，以使trash指针能够对其进行访问。

2.如权利要求1所述的分布式文件 系统数据回收方法，其特征在于，所述方法还包括：

将文件节点类型为TYPE_TRASH的文件的文件名格式定义成八位十六进制数的ID和文件名的组合；

所述文件名中含有路径信息。

3.如权利要求1或者2所述的分布式文件 系统数据回收方法，其特征在于，所述方法还包括：

响应于接收到一用户发送的关于回收空间内任意一个文件的访问请求，获取该文件完整文件名需要的总缓冲区长度，创建响应包，以及

访问回收链表以查找到目标文件节点、并且向缓冲区内依次填入目标文件节点的文件名长度、文件名、文件编号。

4.如权利要求1所述的分布式文件 系统数据回收方法，其特征在于，所述方法还包括：

采用一指定的挂载指令将所述回收空间挂载到本地。

5.如权利要求4所述的分布式文件 系统数据回收方法，其特征在于，所述回收空间包括以下目录结构：

将回收空间的挂载点作为第一级目录结构；

将一trash目录作为从属于挂载点的第二级目录结构。

6.根据权利要求5所述的分布式文件 系统数据回收方法，其特征在于，所述方法还包括：

在trash目录下创建一undel子目录；

响应于回收空间中任意一个文件被移入undel子目录，生成一针对该文件的恢复请求。

7.如权利要求1或者6所述的分布式文件 系统数据回收方法，其特征在于，所述方法还包括：

接收到一用户发送的关于回收空间内任意一个文件的恢复请求，解析该文件的编号，根据编号检索到对应的文件节点，分析该文件节点的类型，

1)响应于该文件节点的类型为TYPE_TRASH，访问回收链表以查找到对应的文件节点信息，获取该文件的原路径，查找原路径是否存在，a)若存在，将该文件的节点信息重新链接至文件系统目录树中，删除该节点在回收链表中的相关信息，b)若不存在，创建路径，再将该文件的节点信息重新链接至文件系统目录树中，删除该节点在回收链表中的相关信息；

2)响应于该文件节点的类型非TYPE_TRASH，中断恢复过程，并且返回一异常信息。

8.如权利要求1所述的分布式文件 系统数据回收方法，其特征在于，所述方法还包括：

在回收空间中创建一reserved目录；

接收到一用户发送的关于回收空间内任意一个文件的清除请求，解析该文件的编号，根据编号检索到对应的文件节点，判断该文件节点的类型是否为TYPE_TRASH，若判断成立，将回收空间的总大小减去该文件的大小，检查该文件的当前状态，

1)响应于该文件处于闲置状态，将该文件的文件节点从文件系统目录树中删除；

2)响应于该文件处于被使用状态，将该文件的文件节点移动至回收空间的reserved目录下，文件节点类型更改成TYPE_RESERVED。

9.如权利要求8所述的分布式文件 系统数据回收方法，其特征在于，所述方法还包括：

响应于文件节点类型为TYPE_RESERVED的文件恢复至闲置状态，将该文件的文件节点从文件系统目录树中删除。

10.如权利要求1所述的分布式文件 系统数据回收方法，其特征在于，所述方法还包括：

获取当前时间ts，定期访问回收链表中的每个文件节点，响应于其中任意一个文件同时满足以下三个条件：1)访问时间atime和回收时间trashtime之和小于ts，2)修改时间mtime和回收时间trashtime之和小于ts，3)状态时间ctime和回收时间trashtime之和小于ts，彻底删除该文件。

Images