CN106997277B - 高效利用回收的存储空间的方法及装置 - Google Patents

Abstract

本发明公开了一种高效利用回收的存储空间的方法及装置，属于数据存储领域，所述方法包括：步骤1：计算每个区块的写指数，所述写指数表征所述区块中未使用数据块的连续性；步骤2：当需要写操作时，从写指数最大的区块开始写入数据。本发明先计算每个区块的写指数，写指数表征区块中未使用数据块的连续性。若区块中连续的未使用区块越多，即区块中的连续未使用磁盘空间越多，则写指数越大。当上层软件，比如文件系统需要为写数据分配硬盘未使用空间的时候，优先从写指数最大的区块(链表头的区块)中分配可用数据块，这样能够减少对硬盘的随机读写，提高上层软件的读写性能。

Description

高效利用回收的存储空间的方法及装置

技术领域

本发明涉及数据存储领域，特别是指一种高效利用回收的存储空间的方法及装置。

背景技术

磁盘阵列(Redundant Arrays of Independent Disks，RAID)是一种提高磁盘存储系统性能和可靠性的方法，用户数据被分割，分别存储在一组RAID磁盘上。在用户数据之外，另外还保存了用户数据的一个或多个校验值在RAID磁盘组上。当存储在某些磁盘上的数据块或校验块出错的时候，系统能够从存储在RAID磁盘组的其他磁盘上的数据和校验，利用一定的算法恢复用户数据。

我们用区块来管理全部磁盘上的空间。首先把每个磁盘的空间划分为一定大小的数据块(chunklet)，每个数据块占据一段连续的磁盘空间。一组不同独立硬盘上的数据块再组合成区块。在区块内部，使用全局RAID的方法来提供数据保护。其中一些数据块会存储用户数据，另一些数据块存储是数据的校验值。比如图1中，disk表示磁盘，磁盘中每个单元为数据块，图中所有数据块组成一个区块，每个区块包括多个RAID条带(LAB)，图1中disk1,disk2,disk3,disk4,disk5,disk6存储数据，而Disk-P和Disk-Q存储数据的两个独立校验码。用户数据(用Dx表示)和他们的校验码(分别以Px和Qx表示)将按顺序存储到数据和校验码数据块上。

全部磁盘空间现在就由一系列的区块来表示。对于每一个区块用区块元数据来描述，包括区块内的空间使用情况(例如使用位图或B-Tree的数据结构)。空间使用情况记录了区块内的每一个数据块的状态，包括已用和未使用。已用表示空间已分配给上层软件使用。

在系统初始化时，区块内的所有数据块都被标记为未使用状态。当从区块中分配空间的时候，我们需要搜索到那些未使用的数据块，向数据块中写入数据，并把相应数据块的状态变为已用。当系统释放空间到区块的时候，把相应的数据块状态变为未使用。

当上层软件释放之前分配的硬盘空间的时候，比如log-structured日志文件系统在随机写的情况下，大部分时候只会释放RAID条带中的某一些数据块，而不是全部数据块。如果观察一下系统运行一段时间后区块里的已用和未使用数据块的空间分布，看起来非常像瑞士奶酪(X表示已有，O表示未使用)，如图2所示。

当系统需要重新利用这些被释放空间(即回收的存储空间)时，面临一个RAID写放大的问题。比如往RAID6写一个数据，系统需要做以下操作：把原数据块的数据D，原校验数据P，原校验数据Q从硬盘读出，再利用新数据D’，计算出新校验数据P’和新校验数据Q’，然后把新数据D’，P’，Q’写入硬盘。由于这个写放大，当区块可用空间相当碎片化的情况下，随机写性能会有一个非常大的下降。

有些系统会实现硬盘的碎片空间垃圾回收，把分散在各个区块里的可用空间合并成一个大的区块，但垃圾回收引入了极大的实现复杂度。

发明内容

本发明提供一种高效利用回收的存储空间的方法及装置，本发明能够减少对硬盘的随机读写，提高上层软件的读写性能。

为解决上述技术问题，本发明提供技术方案如下：

一方面，本发明提供一种高效利用回收的存储空间的方法，包括：

步骤1：计算每个区块的写指数，所述写指数表征所述区块中未使用数据块的连续性；

步骤2：当需要写操作时，从写指数最大的区块开始写入数据。

进一步的，所述步骤1包括：

步骤11：比较区块中相邻两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1；

步骤12：重复步骤11，直至区块中所有相邻两个RAID条带比较完毕。

进一步的，所述步骤1还包括：

步骤13：比较区块中间隔特定距离的两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1*a，0＜a＜1；

步骤14：重复步骤13，直至区块中所有间隔特定距离的两个RAID条带比较完毕。

进一步的，若两个RAID条带的间隔距离越大，则a越小。

进一步的，所述步骤1还包括：

步骤15：统计区块中所有未使用数据块的个数n；

步骤16：将区块的写指数加n*b，0＜b＜1。

进一步的，所述步骤2包括：

步骤21：将区块根据写指数大小按照从大到小的次序排序；

步骤22：聚合多个写请求，把写请求的数据同时写入写指数最大的区块里的未使用数据块中。

另一方面，本发明提供一种高效利用回收的存储空间的装置，包括：

写指数计算模块，用于计算每个区块的写指数，所述写指数表征所述区块中未使用数据块的连续性；

写操作模块，用于当需要写操作时，从写指数最大的区块开始写入数据。

进一步的，所述写指数计算模块包括：

第一比较单元，用于比较区块中相邻两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1；

第一循环单元，用于重复第一比较单元，直至区块中所有相邻两个RAID条带比较完毕。

进一步的，所述写指数计算模块还包括：

第二比较单元，用于比较区块中间隔特定距离的两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1*a，0＜a＜1；

第二循环单元，用于重复第二比较单元，直至区块中所有间隔特定距离的两个RAID条带比较完毕。

进一步的，所述写操作模块包括：

排序单元，用于将区块根据写指数大小按照从大到小的次序排序；

写入单元，用于聚合多个写请求，把写请求的数据同时写入写指数最大的区块里的未使用数据块中。

本发明具有以下有益效果：

本发明先计算每个区块的写指数，写指数表征区块中未使用数据块的连续性。若区块中连续的未使用区块越多，即区块中的连续未使用磁盘空间越多，则写指数越大。当上层软件，比如文件系统需要为写数据分配硬盘未使用空间的时候，优先从写指数最大的区块(链表头的区块)中分配可用数据块，这样能够减少对硬盘的随机读写，提高上层软件的读写性能。

附图说明

图1为数据在区块中的分布示意图；

图2为区块的碎片化示意图；

图3为本发明的高效利用回收的存储空间的方法示意图；

图4为本发明的高效利用回收的存储空间的装置示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，本发明一种高效利用回收的存储空间的方法，如图3所示，包括：

步骤1：计算每个区块的写指数，写指数表征区块中未使用数据块的连续性。

步骤2：当需要写操作时，从写指数最大的区块开始写入数据。

本发明先计算每个区块的写指数，写指数表征区块中未使用数据块的连续性。若区块中连续的未使用区块越多，即区块中的连续未使用磁盘空间越多，则写指数越大。当上层软件，比如文件系统需要为写数据分配硬盘未使用空间的时候，优先从写指数最大的区块(链表头的区块)中分配可用数据块，这样能够减少对硬盘的随机读写，提高上层软件的读写性能。

写指数的计算方法可以有多种，这里给出一个优选实施方式，具体的，步骤1包括：

步骤11：比较区块中相邻两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1。每一个区块由多个RAID条带组成，每个RAID条带的数据块的使用状态已经被标记。

可以观察到相邻RAID条带中相同位置的数据块，在硬盘上的存储位置是相邻的。把两个相邻RAID条的使用状态进行比较,如果相同位置的数据块都是未使用的，那么写操作指数就加1。比如下面两个RAID条带的写指数是2：

步骤12：重复步骤11，直至区块中所有相邻两个RAID条带比较完毕。计算区块内所有相邻RAID条带的写指数，写指数的和就得到这个区块的写指数。

本实施方式中，根据区块内可用空间的分布，使用一种简略的方法来估算写入数据到区块未使用数据块的读写次数。基本的原则是如果两可用空间实际的存储位置在硬盘是连续的，那么我们同时对他们上的数据进行改写的时候，读写操作就可以合并了。

进一步的，步骤1还可以包括：

步骤13：比较区块中间隔特定距离的两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1*a，0＜a＜1。此处的距离是指两个RAID条带中间间隔的RAID条带的个数，如中间相隔1个RAID条带，则距离为1。

步骤14：重复步骤13，直至区块中所有间隔特定距离的两个RAID条带比较完毕。

硬盘上相近(不相邻)空间的读写虽然不能合并，但是读写效率仍然比完全随机分布的效率高很多。因此，如果数据块不连续，但是彼此之间间隔一定距离，也可以对写指数有贡献，乘以一个小于1的系数即可。另外，还要考虑未使用数据块的个数和距离的关系，如果未使用数据块很多，则可以容忍的距离大，反之亦然。举例来说：共有>8个距离相近的未使用数据块，最大距离小于2个单位，就可以增加写指数，只需乘以一个系数即可，如果距离过大而未使用数据块过少，则可以不考虑，实际上，只需考虑距离小于一定值的情况即可，如距离小于3。

同时，距离越大，对写指数的贡献越小，若两个RAID条带的间隔距离越大，则a越小，反之亦然。

如果两个区块的写指数相同，可以通过未使用存储进空间的大小来排序，此时，步骤1还包括：

步骤15：统计区块中所有未使用数据块的个数n，n越大，可用空间越多。

步骤16：将区块的写指数加n*b，0＜b＜1。未使用存储进空间是次要因素，对写指数的贡献较小，乘以一个小于1的系数。

实际上，也可以不考虑将未使用存储进空间的因素计入写指数，而是单独考虑，即将写指数(不包括步骤15-16得到的写指数)排序后，再根据未使用存储进空间大小对排序进行微调。

在进行写数据时，步骤2包括：

步骤21：将区块根据写指数大小按照从大到小的次序排序。如果一个区块的写指数发生改变，它的排序位置就会发生相应的改变。区块排序后可以组织成类似链表的结构。

步骤22：聚合多个写请求，把写请求的数据同时写入写指数最大的区块里的未使用数据块中。

本发明聚合上层软件的多个写请求，直接利用各个区块里的可用空间，把写请求的数据同时写入一个区块里的所有未使用数据块，利用这些可用数据块在磁盘上相邻或者相近的特点，减少对磁盘的读写次数和缩短磁盘的寻址时间，达到减小RAID写放大对系统写性能的影响。

另一方面，本发明提供一种高效利用回收的存储空间的装置，如图4所示，包括：

写指数计算模块100，用于计算每个区块的写指数，写指数表征区块中未使用数据块的连续性。

写操作模块200，用于当需要写操作时，从写指数最大的区块开始写入数据。

本发明先计算每个区块的写指数，写指数表征区块中未使用数据块的连续性。若区块中连续的未使用区块越多，即区块中的连续未使用磁盘空间越多，则写指数越大。当上层软件，比如文件系统需要为写数据分配硬盘未使用空间的时候，优先从写指数最大的区块(链表头的区块)中分配可用数据块，这样能够减少对硬盘的随机读写，提高上层软件的读写性能。

写指数的可以通过多种写指数计算模块得到，这里给出一个优选实施方式，具体的，写指数计算模块包括：

第一比较单元，用于比较区块中相邻两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1。

第一循环单元，用于重复第一比较单元，直至区块中所有相邻两个RAID条带比较完毕。

本实施方式中，根据区块内可用空间的分布，使用一种简略的方法来估算写入数据到区块未使用数据块的读写次数。基本的原则是如果两可用空间实际的存储位置在硬盘是连续的，那么我们同时对他们上的数据进行改写的时候，读写操作就可以合并了。

进一步的，写指数计算模块还包括：

第二比较单元，用于比较区块中间隔特定距离的两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1*a，0＜a＜1。

第二循环单元，用于重复第二比较单元，直至区块中所有间隔特定距离的两个RAID条带比较完毕。

硬盘上相近(不相邻)空间的读写虽然不能合并，但是读写效率仍然比完全随机分布的效率高很多。因此，如果数据块不连续，但是彼此之间间隔一定距离，也可以对写指数有贡献，乘以一个小于1的系数即可。另外，还要考虑未使用数据块的个数和距离的关系，如果未使用数据块很多，则可以容忍的距离大，反之亦然。举例来说：共有>8个距离相近的未使用数据块，最大距离小于2个单位，就可以增加写指数，只需乘以一个系数即可，如果距离过大而未使用数据块过少，则可以不考虑，实际上，只需考虑距离小于一定值的情况即可，如距离小于3。

同时，距离越大，对写指数的贡献越小，若两个RAID条带的间隔距离越大，则a越小，反之亦然。

如果两个区块的写指数相同，可以通过未使用存储进空间的大小来排序，此时，写指数计算模块还包括：

统计单元，用于统计区块中所有未使用数据块的个数n。

计算单元，用于将区块的写指数加n*b，0＜b＜1。

在进行写数据时，写操作模块包括：

排序单元，用于将区块根据写指数大小按照从大到小的次序排序。

写入单元，用于聚合多个写请求，把写请求的数据同时写入写指数最大的区块里的未使用数据块中。

本发明聚合上层软件的多个写请求，直接利用各个区块里的可用空间，把写请求的数据同时写入一个区块里的所有未使用数据块，利用这些可用数据块在磁盘上相邻或者相近的特点，减少对磁盘的读写次数和缩短磁盘的寻址时间，达到减小RAID写放大对系统写性能的影响。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种高效利用回收的存储空间的方法，其特征在于，包括：

步骤1：计算每个区块的写指数，所述写指数表征所述区块中未使用数据块的连续性；

步骤2：当需要写操作时，从写指数最大的区块开始写入数据；

所述步骤1包括：

步骤11：比较区块中相邻两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1；

步骤12：重复步骤11，直至区块中所有相邻两个RAID条带比较完毕。

2.根据权利要求1所述的高效利用回收的存储空间的方法，其特征在于，所述步骤1还包括：

步骤13：比较区块中间隔特定距离的两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1*a，0＜a＜1；

步骤14：重复步骤13，直至区块中所有间隔特定距离的两个RAID条带比较完毕。

3.根据权利要求2所述的高效利用回收的存储空间的方法，其特征在于，若两个RAID条带的间隔距离越大，则a越小。

4.根据权利要求1-3任一所述的高效利用回收的存储空间的方法，其特征在于，所述步骤1还包括：

步骤15：统计区块中所有未使用数据块的个数n；

步骤16：将区块的写指数加n*b，0＜b＜1。

5.根据权利要求4所述的高效利用回收的存储空间的方法，其特征在于，所述步骤2包括：

步骤21：将区块根据写指数大小按照从大到小的次序排序；

步骤22：聚合多个写请求，把写请求的数据同时写入写指数最大的区块里的未使用数据块中。

6.一种高效利用回收的存储空间的装置，其特征在于，包括：

写指数计算模块，用于计算每个区块的写指数，所述写指数表征所述区块中未使用数据块的连续性；

写操作模块，用于当需要写操作时，从写指数最大的区块开始写入数据；

所述写指数计算模块包括：

第一比较单元，用于比较区块中相邻两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1；

第一循环单元，用于重复第一比较单元，直至区块中所有相邻两个RAID条带比较完毕。

7.根据权利要求6所述的高效利用回收的存储空间的装置，其特征在于，所述写指数计算模块还包括：

第二比较单元，用于比较区块中间隔特定距离的两个RAID条带中相同位置数据块的使用状态，若均为未使用，则区块的写指数加1*a，0＜a＜1；

第二循环单元，用于重复第二比较单元，直至区块中所有间隔特定距离的两个RAID条带比较完毕。

8.根据权利要求6或7所述的高效利用回收的存储空间的装置，其特征在于，所述写操作模块包括：

排序单元，用于将区块根据写指数大小按照从大到小的次序排序；

写入单元，用于聚合多个写请求，把写请求的数据同时写入写指数最大的区块里的未使用数据块中。