CN103886070A - 文件系统的数据回收方法及装置 - Google Patents

Abstract

本发明涉及一种文件系统的数据回收方法及装置，所述方法包括：在生成新数据块时，记录所述新数据块的引用信息，所述引用信息用于记录所述新数据块所直接引用的原有数据块的信息；所述新数据块是从该直接引用的原有数据块复制而来；扫描所述新数据块，对所述新数据块的引用计数进行加操作；根据所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作；进行减操作后的引用计数满足要求时,对所述原有数据块进行回收。本发明实施例提供的文件系统的数据回收方法及装置，可以有效地缩短引用计数的更新时间，加快数据回收的速度，减轻文件系统的压力。

Description

文件系统的数据回收方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种文件系统的数据回收方法及装置。

背景技术

在文件系统中，由于元数据以及文件数据本身会占用空间，尤其是写时复制（Copy on Write，COW）或重定向写（Redirect on Write，ROW）文件系统等支持快照的文件系统。为了保持一致性，存储时在该些文件系统中生成checkpoint或者快照，其中，checkpoint是文件系统自动生成的检查点，而快照是由用户主动创建的检查点。为了达到节省空间的目的，在生成新的数据块之后，需要进行数据回收，即进行checkpoint删除或者快照删除操作，以释放旧的没有被新的checkpoint或快照引用的数据占用的空间。

现有的一种数据回收方法是采用树结构逐级遍历的方法，在生成新的数据块时，将新生成的数据块的引用计数置1，并将新生成的数据块直接引用的数据块的引用计数加1。当文件系统决定删除checkpoint或者快照时，需要从checkpoint根部向下遍历每个数据块，将数据块的引用计数减1，如果数据块的引用计数减为0，继续向下层遍历，当下层引用计数减一后仍然>0,则说明被其他引用需要被保留，并停止向下层遍历。

然而，如果采用上述方法在进行实时更新引用计数，需要依次读取树结构每个数据块的引用计数，判断是否>0,然后执行减引用操作，引用计数的更新时间长，在生成大量修改数据时，很可能在一个checkpoint生成时间里完成不了引用计数的实时更新，造成文件系统压力大的情况。

发明内容

本发明提供一种文件系统的数据回收方法及装置，可以有效地缩短引用计数的更新时间，加快数据回收的速度，减轻文件系统的压力。

本发明第一方面提供了一种文件系统的数据回收方法，所述方法包括：

在生成新数据块时，记录所述新数据块的引用信息，所述引用信息用于记录所述新数据块所直接引用的原有数据块的信息；所述新数据块是从该直接引用的原有数据块复制而来；

扫描所述新数据块，对所述新数据块的引用计数进行加操作；

根据所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作；

进行减操作后的引用计数满足要求时,对所述原有数据块进行回收。

结合第一方面，在第一方面的第一种可能的实施方式中，所述引用信息具体为所述新数据块所直接引用的原有数据块的数据块编号。

结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，根据所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作，具体包括：

根据所述新数据块所直接引用的原有数据块的数据块编号，找出所述新数据块所直接引用的原有数据块，将找出的所述原有数据块的引用计数减一。

结合第一方面，在第一方面的第三种可能的实施方式中，所述方法还包括：

在生成所述新数据块时，所述新数据块形成新检查点；

所述扫描所述新数据块，对所述新数据块的引用计数进行加操作，具体包括：

遍历所述新检查点中的所有数据块，将每个所述数据块的引用计数加一。

结合第一方面，在第一方面的第四种可能的实施方式中，所述方法还包括：

在生成所述新数据块时，所述新数据块形成快照；

所述扫描所述新数据块，对所述新数据块的引用计数进行加操作，具体包括：

遍历所述快照中的所有数据块，将每个所述数据块的引用计数加一。

结合第一方面，在第一方面的第五种可能的实施方式中，所述进行减操作后的引用计数满足要求,具体包括：所述进行减操作后的引用计数为零。

第二方面，本发明还提供了一种文件系统的数据回收装置，所述装置包括：

第一处理单元，用于在生成新数据块时，记录所述新数据块的引用信息，所述引用信息用于记录所述新数据块所直接引用的原有数据块的信息；所述新数据块是从该直接引用的原有数据块复制而来；

第二处理单元，用于扫描所述新数据块，对所述新数据块的引用计数进行加操作；

第三处理单元，用于根据所述第一处理单元记录的所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作；

回收单元，用于经过所述第三处理单元进行减操作后的引用计数满足要求时，对所述原有数据块进行回收。

结合第二方面，在第二方面的第一种可能的实施方式中，所述第一处理单元记录的所述引用信息具体为所述新数据块所直接引用的原有数据块的数据块编号。

结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述第三处理单元具体用于根据所述第一处理单元记录的所述新数据块所直接引用的原有数据块的数据块编号，找出所述新数据块所直接引用的原有数据块，将找出的所述原有数据块的引用计数减一。

结合第二方面，在第二方面的第三种可能的实施方式中，所述第一处理单元还用于在生成所述新数据块时，将所述新数据块形成新检查点；

所述第二处理单元具体用于遍历所述新检查点中的所有数据块，将每个所述数据块的引用计数加一。

结合第二方面，在第二方面的第四种可能的实施方式中，所述第一处理单元还用于在生成所述新数据块时，将所述新数据块形成快照；

所述第二处理单元具体用于遍历所述快照中的所有数据块，将每个所述数据块的引用计数加一。

结合第二方面，在第二方面的第五种可能的实施方式中，所述进行减操作后的引用计数满足要求,具体包括：所述进行减操作后的引用计数为零。

本发明提供的文件系统的数据回收方法及装置，通过记录的引用信息（新数据块所直接引用的原有数据块的数据块编号）进行引用计数更新，一次性遍历完成引用计数更新，不需要进行逐级遍历（不需要查询一次向下遍历一次），可以有效地缩短引用计数的更新时间，加快数据回收的速度，减轻文件系统的压力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的文件系统的数据回收方法流程图；

图2a为本发明实施例提供的一种文件系统的树结构示意图；

图2b为图2a在生成新的检查点之后的树结构示意图；

图2c为遍历了图2b中每个数据块之后的树结构示意图；

图2d为对图2c中新生成的数据块直接引用的数据块的引用计数进行减操作之后的树结构示意图；

图3为本发明实施例提供的文件系统的数据回收装置示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的文件系统的数据回收方法及装置，适用于文件系统的存储和资源回收，尤其适用于COW或ROW等支持快照的文件系统。在本发明实施例中，原有数据块或新数据块可以采用树形结构、链表结构、数组结构等数据结构进行存储，在本发明实施例中以树形结构为例进行说明，并不以此作为限制。

图1是本发明实施例提供的文件系统的数据回收方法流程图，如图1所示，本发明实施例的文件系统的数据回收方法包括：

S101、在生成新数据块时，记录所述新数据块的引用信息。

所述引用信息用于记录所述新数据块所直接引用的原有数据块的信息，所述新数据块是从该直接引用的原有数据块复制而来，可以具体为所述新数据块所直接引用的原有数据块的数据块编号。

对于COW文件系统来说，在生成的新数据块中，每个数据块（chunk）有个字段（cowid字段）用于记录所述引用信息，以表示这个数据块是由哪个数据块cow过来的。对于前后生成的两个checkpoint，可以通过该字段在两个checkpoint之间形成对应关系。

具体地，以检查点ckp1和ckp2为例，如下表1所示，每个数据块可以包括检查点号（ckp1或ckp2）、本身的数据块编号ckid、引用的数据块编号cowid和数据data，其中，数据块编号ckid中还可以包括引用计数refcount，存储于数据块信息中。当然，数据块编号ckid和对应的引用计数refcount的对应关系也可以与数据块信息分开存储，存储到其他位置，只要能够根据数据块编号ckid找到对应的引用计数refcount即可。

表1

对于新检查点ckp2中的新数据块，保存了新数据块直接引用的原有数据块的数据块编号，根据该数据块编号可以从旧检查点ckp1中的原有数据块的ckid字段中，找到相应的数据块，以便后续对找出的原有数据块的引用计数refcount进行减操作。

S102、扫描所述新数据块，对所述新数据块的引用计数进行加操作。

在进行数据回收时，统一对新数据块的引用计数进行加操作。一种实现方式，一般在生成所述新数据块时，所述新数据块会以树形结构的形式，如B-tree，形成新检查点，则统一对所述新检查点的所有数据块的引用计数进行加操作，具体为：遍历所述新检查点中的所有数据块，将每个所述数据块的引用计数加一。另一种实现方式，一般在生成所述新数据块时，所述新数据块会以树形结构的形式，如B-tree，形成快照，则统一对所述快照的所有数据块的引用计数进行加操作，具体为：遍历所述快照中的所有数据块，将每个所述数据块的引用计数加一。在本发明实施例中以检查点为例进行说明，对快照的数据回收处理与检查点的相同，当要删除快照时，按照相同的处理步骤来完成。

S103、根据所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作。

具体地，根据所述新数据块所直接引用的原有数据块的数据块编号，找出所述新数据块所直接引用的原有数据块，将找出的所述原有数据块的引用计数减一。

S104、进行减操作后的引用计数满足要求时,对所述原有数据块进行数据回收。

所述进行减操作后的引用计数满足要求具体包括：所述进行减操作后的引用计数为零。

举个例子，参阅图2a～图2d，图中数据块以树结构方式存储，树结构包括检查点ckp、总树根root、树根Iroot和树节点Ino等，方框内表示引用计数，检查点ckp表示checkpoint，后面是编号，root代表包括inode树等其他文件系统结构的总的树根，Iroot代表文件系统中的典型结构Inode树的树根，Ino代表每个inode树中的每个inode。Inode本身又通过树形结构索引到磁盘块，或其他存储结构。

图2a中ckp1中全都是新生成的数据块，对每个数据块的引用计数置1。由于每个数据块都没有引用信息，即没有直接引用的原有数据块的数据块编号，因而不执行减操作。

由于COW方式不会覆盖原有数据，对原有文件系统有变化，为保证能快速回到上次的一致性点checkpoint1，因此，对原有文件系统的变化会新生成checkpoint2，并且除了被修改的数据是新生成的以外，其他都引用原checkpoint1的数据，包括inode节点中的未被修改的子数据块。

在生成新的checkpoint2时，先不更新引用计数，在checkpoint2中记录了之前cow的数据块的信息（引用信息）。如图2b所示，新生成的ckp2中的各数据块中保存直接引用的原有数据块的信息，形成ckp2与ckp1的对应关系。

遍历ckp2中的每个数据块，将每个所述数据块的引用计数加1，如图2c所示。根据引用信息，将每个数据块所直接引用的原有数据块（在本次ckp2中的数据块除外）的引用计数减1，如图2d所示。在回收数据时，ckp1是要被删除的，在上述遍历每个数据块的过程中，查看ckp2中有引用信息cowid的数据块，根据cowid找到ckp1中直接引用的数据块，将其引用计数减一。最后，将此次统计后的结果一次更新到引用计数表中。在回收数据时，删除ckp1，将引用计数为0的原有数据块占用空间回收。

值得一提的是，在本发明实施例中遍历时不需要从上到下遍历，即与树结构无关。Ckp1和ckp2中的数据块可以任意顺序存储到磁盘上，只要能读出这些数据块，不需要依据树结构遍历。

本发明提供的文件系统的数据回收方法，通过记录的引用编号进行引用计数更新，一次性遍历完成引用计数更新，不需要进行逐级遍历，不需要查询一次向下遍历一次，可以有效地缩短引用计数的更新时间，加快数据回收的速度，减轻文件系统的压力。

图3是本发明实施例提供的文件系统的数据回收装置示意图，如图3所示，本发明实施例的文件系统的数据回收装置包括：第一处理单元301、第二处理单元302、第三处理单元303和回收单元304。

第一处理单元301用于在生成新数据块时，记录所述新数据块的引用信息。

第一处理单元301记录的所述引用信息用于记录所述新数据块所直接引用的原有数据块的信息，所述新数据块是从该直接引用的原有数据块复制而来，可以具体为所述新数据块所直接引用的原有数据块的数据块编号。

对于COW文件系统来说，在生成的新数据块中，每个数据块（chunk）有个字段（cowid字段）用于记录所述引用信息，以表示这个数据块是由哪个数据块cow过来的。对于前后生成的两个checkpoint，可以通过该字段在两个checkpoint之间形成对应关系。

第二处理单元302用于扫描所述新数据块，对所述新数据块的引用计数进行加操作。

在进行数据回收时，第二处理单元302统一对新数据块的引用计数进行加操作。一般来说，在所述生成新数据块时，第一处理单元301还会将所述新数据块以树形结构的形式，如B-tree，形成新检查点或快照，则第二处理单元302统一对所述新检查点或快照的所有数据块的引用计数进行加操作，具体用于遍历所述新检查点或快照中的所有数据块，将每个所述数据块的引用计数加一。

第三处理单元303用于根据第一处理单元301记录的所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作。

所述第三处理单元303具体用于根据第一处理单元301记录的所述新数据块所直接引用的原有数据块的数据块编号，找出所述新数据块所直接引用的原有数据块，将找出的所述原有数据块的引用计数减一。

回收单元304用于经过第三处理单元303进行减操作后的引用计数满足要求时,对所述原有数据块进行回收。

所述进行减操作后的引用计数满足要求具体包括：所述进行减操作后的引用计数为零。

具体地，本发明实施例提供的文件系统的数据回收装置还具体用于执行图1～图2d所示的方法，于此不再赘述。

本发明实施例提供的文件系统的数据回收方法及装置，通过记录的引用信息进行引用计数更新，一次性遍历完成引用计数更新，不需要进行逐级遍历，不需要查询一次向下遍历一次，可以有效地缩短引用计数的更新时间，加快数据回收的速度，减轻文件系统的压力。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种文件系统的数据回收方法，其特征在于，所述方法包括：

在生成新数据块时，记录所述新数据块的引用信息，所述引用信息用于记录所述新数据块所直接引用的原有数据块的信息;所述新数据块是从该直接引用的原有数据块复制而来；

扫描所述新数据块，对所述新数据块的引用计数进行加操作；

根据所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作；

进行减操作后的引用计数满足要求时,对所述原有数据块进行回收。

2.根据权利要求1所述的方法，其特征在于，所述引用信息具体为所述新数据块所直接引用的原有数据块的数据块编号。

3.根据权利要求2所述的方法，其特征在于，根据所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作，具体包括：

根据所述新数据块所直接引用的原有数据块的数据块编号，找出所述新数据块所直接引用的原有数据块，将找出的所述原有数据块的引用计数减一。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在生成所述新数据块时，所述新数据块形成新检查点；

所述扫描所述新数据块，对所述新数据块的引用计数进行加操作，具体包括：

遍历所述新检查点中的所有数据块，将每个所述数据块的引用计数加一。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在生成所述新数据块时，所述新数据块形成快照；

所述扫描所述新数据块，对所述新数据块的引用计数进行加操作，具体包括：

遍历所述快照中的所有数据块，将每个所述数据块的引用计数加一。

6.根据权利要求1所述的方法，其特征在于，所述进行减操作后的引用计数满足要求,具体包括：所述进行减操作后的引用计数为零。

7.一种文件系统的数据回收装置，其特征在于，所述装置包括：

第一处理单元，用于在生成新数据块时，记录所述新数据块的引用信息，所述引用信息用于记录所述新数据块所直接引用的原有数据块的信息；所述新数据块是从该直接引用的原有数据块复制而来；

第二处理单元，用于扫描所述新数据块，对所述新数据块的引用计数进行加操作；

第三处理单元，用于根据所述第一处理单元记录的所述新数据块的引用信息，将所述新数据块所直接引用的原有数据块的引用计数进行减操作；

回收单元，用于经过所述第三处理单元进行减操作后的引用计数满足要求时，对所述原有数据块进行回收。

8.根据权利要求7所述的装置，其特征在于，所述第一处理单元记录的所述引用信息具体为所述新数据块所直接引用的原有数据块的数据块编号。

9.根据权利要求8所述的装置，其特征在于，所述第三处理单元具体用于根据所述第一处理单元记录的所述新数据块所直接引用的原有数据块的数据块编号，找出所述新数据块所直接引用的原有数据块，将找出的所述原有数据块的引用计数减一。

10.根据权利要求7所述的装置，其特征在于，所述第一处理单元还用于在生成所述新数据块时，将所述新数据块形成新检查点；

所述第二处理单元具体用于遍历所述新检查点中的所有数据块，将每个所述数据块的引用计数加一。

11.根据权利要求7所述的装置，其特征在于，所述第一处理单元还用于在生成所述新数据块时，将所述新数据块形成快照；

所述第二处理单元具体用于遍历所述快照中的所有数据块，将每个所述数据块的引用计数加一。

12.根据权利要求7所述的装置，其特征在于，所述进行减操作后的引用计数满足要求,具体包括：所述进行减操作后的引用计数为零。

Images