CN104866244A - 一种平衡条带写的raid-6i/o调度方法 - Google Patents

Abstract

本发明提供了一种平衡条带写的RAID-6I/O调度方法，通过分析写请求的输入输出分布，重组这些请求，从而通过校验共享，将相应校验的修改数量最小化，将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求，并将新的写请求一次性写入磁盘，标记下在重组过程中生成的非法数据块，将非法数据块记录到内存中，将所述非法数据块进行垃圾回收，保存非法数据块的元数据信息用于准备重新分配，可以减少写操作并均衡RAID存储系统中的磁盘负载，本发明基本思想是在对相应校验有全局了解的基础上进行条带写，通过重组数据块的分布，来减少条带写所需修改校验数量。

Description

一种平衡条带写的RAID-6I/O调度方法

技术领域

本发明属于大数据与云存储领域，涉及一种平衡条带写的RAID-6I/O调度方法。

背景技术

随着人们对于存储系统的需求不断增加，以及云计算的迅猛发展，独立磁盘冗余阵列(RAID)由于它的高性能、高可靠性和低成本而受到关注。近年来，RAID-6被广泛使用，是因为大型数据中心的磁盘失效可能性大大增加，而RAID-6能允许2块磁盘同时失效。

RAID-6可以在许多纠删码技术上实现，其中最大距离可分码(MDS)是最普遍的。根据校验的分布，MDS编码可分为水平编码和垂直编码。水平编码有着专门存放数据和校验的磁盘，例如，Reed Solomon(RS)编码、EVENODD编码、RDP编码等。垂直编码，如X-Code编码、P-Code编码、Cyclic编码等，数据和校验是分布在所有磁盘上的。

然而，基于RAID-6的MDS编码写性能不足，尤其是对连续数据块的条带写性能较差。主要有以下两个原因。

一，在水平编码中对连续数据块的条带写，这些数据块是一行行按顺序写入的。因此，需要修改的行校验的数量减少，但大量的垂直校验(包括斜校验和反向斜校验)需要修改。这也导致了不均衡的I/O分布；

二，在垂直编码中对连续数据块的条带写，则需要修改大量的校验。

因此，基于RAID-6的实现都遇到了关于条带写的问题，这大大降低了整体性能和整个系统的可用性。

尽管一些方法专注于提高RAID-6的条带写性能，但它们仍有许多限制。第一，新的纠删码可以减少写操作的开销，但它们需要特定数量的磁盘才能得以实现。第二，尽管日志结构文件系统提供了顺序读取的方式来减少I/O延迟，但这不能平衡I/O负载。第三，提高校验的更新效率在某些情况下会降低校验修改的开销，但I/O操作数量仍然十分巨大。第四，持续执行同一行上的写请求(我们称这种方法为行校验共享)可以减少行校验的修改，但磁盘阵列仍需要在垂直校验上进行大量修改，使得I/O分布不均衡。

因此，RAID-6上对连续数据块的条带写，需要修改的校验数量巨大，I/O分布不均衡，导致条带写性能较差。

发明内容

本发明的目的在于提供一种平衡条带写的RAID-6I/O调度方法，能够均衡条带写，并减少写操作并均衡RAID存储系统中的磁盘负载。

为解决上述问题，本发明提供一种平衡条带写的RAID-6I/O调度方法，包括：

分析写请求的输入输出分布，重组这些请求，从而通过校验共享，将相应校验的修改数量最小化；

将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求，并将新的写请求一次性写入磁盘；

标记下在重组过程中生成的非法数据块，将非法数据块记录到内存中，将所述非法数据块进行垃圾回收，保存非法数据块的元数据信息用于准备重新分配。

进一步的，在上述方法中，分析写请求的输入输出分布，重组这些请求，从而通过校验共享，将相应校验的修改数量最小化包括：

对于连续数据块的部分条带写，将这些连续数据块放在一个平行四边形中，假设平行四边形的一条边有l个块，另一条边有d个块，l和d为正整数；

通过求取l和d值，使l+d最小，进而使得相应校验的修改数量最小化。

进一步的，在上述方法中，RDP水平编码的行校验N_h和斜校验N_d的修改数量如下：

N_h＝d

$N_d=\left\{\begin{array}{c}l+d-1(i=0||p-l\≤i+j\≤p-1)\\ l+d(!(i=0||p-l\≤i+j\≤p-1))\end{array}\right.,$

其中，i，j分别表示RDP水平编码矩阵中的行号和列号，p为质数，RDP水平编码矩阵为列数为p+1。

进一步的，在上述方法中，X-Code垂直编码的斜校验和反向斜校验的修改数量分别为l和d。

进一步的，在上述方法中，通过如下公式求取l和d值，

其中，在一个条带中写连续数据块的数量。

进一步的，在上述方法中，将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求，并将新的写请求一次性写入磁盘中，

当输入输出碎片队列里输入输出碎片的等待时间超过了阈值，将输入输出碎片队列里的所有输入输出碎片强制写入磁盘；

当输入输出碎片队列满时，最长等待时间的输入输出碎片被写入磁盘。

进一步的，在上述方法中，所述输入输出碎片队列存放在RAID控制器上的内存中。

进一步的，在上述方法中，在RAID控制器的内存中使用一个标识F_s，F_s为0表示输入输出碎片队列里没有碎片，为1表示输入输出碎片队列里有碎片。

进一步的，在上述方法中，通过使用一个计时器来记录每个输入输出碎片的等待时间。

进一步的，在上述方法中，所述保存非法数据块的元数据信息中，将非法数据块的元数据信息保存到内存中，其中，在内存中使用1 bit来表示非法数据块的元数据信息。

与现有技术相比，本发明通过分析写请求的输入输出分布，重组这些请求，从而通过校验共享，将相应校验的修改数量最小化，将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求，并将新的写请求一次性写入磁盘，标记下在重组过程中生成的非法数据块，将非法数据块记录到内存中，将所述非法数据块进行垃圾回收，保存非法数据块的元数据信息用于准备重新分配，可以减少写操作并均衡RAID存储系统中的磁盘负载，本发明基本思想是在对相应校验有全局了解的基础上进行条带写，通过重组数据块的分布，来减少条带写所需修改校验数量。

附图说明

图1是本发明一实施例的平衡条带写的RAID-6I/O调度方法的总体设计示意图；

图2是本发明一实施例的应用于RDP编码的示意图；

图3是本发明一实施例的应用于X-Code编码的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种平衡条带写的RAID-6I/O调度方法，包括：

步骤S1，分析写请求的输入输出(I/O)分布，重组这些请求，从而通过校验共享，将相应校验的修改数量最小化；具体的，通过重组数据块的分布，并将这些数据块一次性写入存储设备中，可以减少部分条带写所需修改校验数量，并均衡I/O负载；

步骤S2，将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求，并将新的写请求一次性写入磁盘；具体的，在重组中，一小部分数据块需要迁移，因为它们所处的位置可能被当前写请求占据，这些数据块可以和即将到来的请求聚合在一起，并将它们一次性放入磁盘；

步骤S3，标记下在重组过程中生成的非法数据块，将非法数据块记录到内存(RAM)中，将所述非法数据块进行垃圾回收，保存非法数据块的元数据信息用于准备重新分配。具体的，在重组过程中生成的非法数据块需要高效地收集并加以利用。但是，快速地迁移非法数据块是低效的，这是因为大量校验需要被修改。一旦一个非法数据块被垃圾回收，非法数据块的元数据信息会被保存下来用于准备重新分配，非法数据块占据的空间通过垃圾回收可以被重新使用。

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，步骤S1包括：

对于连续数据块的部分条带写，将这些连续数据块放在一个平行四边形中，假设平行四边形的一条边有l个块，另一条边有d个块，l和d为正整数；

通过求取l和d值，使l+d最小，进而使得相应校验的修改数量最小化。

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，步骤S1中，RDP水平编码的行校验N_h和斜校验N_d的修改数量如下：

N_h＝d

$N_d=\left\{\begin{array}{c}l+d-1(i=0||p-l\≤i+j\≤p-1)\\ l+d(!(i=0||p-l\≤i+j\≤p-1))\end{array}\right..$

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，步骤S1中，X-Code垂直编码的斜校验和反向斜校验的修改数量分别为l和d。

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，通过如下公式求取l和d值，

其中，在一个条带中写连续数据块的数量。

具体的，根据水平编码和垂直编码中条带写的问题，为了减少修改校验从而为水平编码保持一个更加均衡的I/O分布，并且提高垂直编码的I/O效率，写请求的数据块需要分布在许多行当中。这是因为不同行中的块可以共享更多校验链，从而减少相应校验的修改数量。

为了提高RAID-6阵列的写效率，对于一个条带的连续数据块的写，该方法将这些连续数据块放在一个平行四边形中。假设平行四边形的一条边有l个块，另一条边有d个块。这表示对RDP水平编码(参见Corbett P,English B,Goel A,et al.Row-diagonal parity for double disk failure correction[C]//Proceedings of the 3rdUSENIX Conference on File and Storage Technologies.2004:1-14.)来说在一个校验盘上，至少有l+d(或在一些特殊情况下有l+d-1)校验块需要被修改。因此，一般情况下，行校验N_h和斜校验N_d的修改数量为

N_h＝d

$N_d=\left\{\begin{array}{c}l+d-1(i=0||p-l\≤i+j\≤p-1)\\ l+d(!(i=0||p-l\≤i+j\≤p-1))\end{array}\right.,$

其中，i，j分别表示RDP水平编码矩阵中的行号和列号，p为质数，RDP水平编码矩阵为列数为p+1。

对X-Code垂直编码(Xu L,Bruck J.X-code:MDS array codes with optimal encoding[J].Information Theory,IEEE Transactions on,1999,45(1):272-276.)来说，斜校验和反向斜校验的修改数量分别为l和d，因此校验修改总和N_t是l+d。

N_t＝l+d

根据前面的公式，有一个最小的值l+d，校验修改数量可以最小化。对水平编码中典型的条带写的方法，N_d比N_h大，这导致了不均衡的I/O。所以在该方法中，更小的N_d(接近于N_h)可以保持一个较好的均衡的I/O。

在本发明中，使用以下公式来得到合适的l和d值，使得l+d最小。w表示在一个条带中，写连续数据块的数量。

使用以上公式，例如，如图2和3(w＝4)，l和d值被设为2，l+d＝4，为最小值。

图2为本发明应用于RDP编码的示意图，连续写4个数据块：A，B，C和D，C_0,6和C_1,6是相应数据块的行校验，C_1,7和C_2,7是相应数据块的斜校验。另外，由于C_1,6参与C_0,7斜校验的计算，C_0,7需要被修改。

图3为本发明应用于X-Code编码的示意图，连续写4个数据块：A，B，C和D，C_5,4和C_5,6是相应数据块的反向斜校验，C_6,3和C_6,5是相应数据块的斜校验。

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，步骤S2中，当输入输出碎片队列里输入输出碎片的等待时间超过了阈值，将输入输出碎片队列里的所有输入输出碎片强制写入磁盘；

当输入输出碎片队列满时，最长等待时间的输入输出碎片被写入磁盘。

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，所述输入输出碎片队列存放在RAID控制器上的内存中。

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，在RAID控制器的内存中使用一个标识F_s，F_s为0表示输入输出碎片队列里没有碎片，为1表示输入输出碎片队列里有碎片。

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，通过使用一个计时器来记录每个输入输出碎片的等待时间。

具体的，在重组过程中，生成了I/O碎片和非法数据块。I/O碎片可以和写请求聚合在一起，因此非法数据块需要被高效地收集起来。输入输出(I/O)碎片的数据等待一个相同条带中的写请求的到来(为了保证空间局部性)。接下来，I/O碎片与到来的相同条带中的写请求被聚合成一个新的写请求，它可以用重组机制来减少I/O开销。为了鉴定有I/O碎片的条带，我们在RAM(内存)中使用一个标识F_s(一般来说需要1 bit)，为0表示I/O碎片队列里没有碎片，为1表示I/O碎片队列里有碎片。为了很好地控制I/O碎片，我们使用一个计时器来记录每个I/O碎片的等待时间。当一个I/O碎片的等待时间超过了阈值，所有I/O碎片会被强制写入磁盘(存储设备)。T_io表示记时器标识，为0表示未使用，为1表示正在使用，在该方法中，I/O碎片队列和计时器、标识F_s是放在RAID控制器上的RAM上的。这表示I/O碎片的队列大小受RAM大小限制。当I/O碎片队列满了，最长等待时间的I/O碎片应该被替换并写入磁盘(存储设备)。

本发明的平衡条带写的RAID-6I/O调度方法的一优选的实施例中，步骤S3，将非法数据块的元数据信息保存到内存中，其中，在内存中使用1bit来表示非法数据块的元数据信息。具体的，为了存储一个非法数据块的元数据信息，该方法使用1 bit来表示这个数据块，并且是记录在RAM中。一旦一个数据块变为非法的或是一个非法数据块被回收了，相应的1bit记录会被更新。空间开销是可接受的。例如，一个8TB大小的RAID-6存储系统中只需要32MB的RAM(块大小为4KB)。根据RAM上的信息，磁盘上的元数据会被定时更新。

详细的，本发明的重组、聚合及垃圾回收过程的算法可如下所示：

若在条带s中到达一个写请求

若F_s＝1则

聚合该请求及I/O碎片

设置F_s＝0，T_io＝0

根据写请求设置w值

根据公式(1)和(2)设置l和d值

若有I/O碎片生成则

若I/O碎片队列未满则

设置F_s＝1，T_io＝1

否则

使用最长等待时间，将I/O碎片写入存储设备

若计时器数值超出阈值则

将与这些计时器相关的I/O碎片写入存储设备

设置F_s＝0，T_io＝0。

综上所述，本发明的均衡条带写的RAID-6I/O调度方法，可以减少写操作并均衡RAID存储系统中的磁盘负载，本发明基本思想是在对相应校验有全局了解的基础上进行条带写，通过重组数据块的分布，来减少条带写所需修改校验数量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种平衡条带写的RAID-6I/O调度方法，其特征在于，包括：

分析写请求的输入输出分布，重组这些请求，从而通过校验共享，将相应校验的修改数量最小化；

将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求，并将新的写请求一次性写入磁盘；

标记下在重组过程中生成的非法数据块，将非法数据块记录到内存中，将所述非法数据块进行垃圾回收，保存非法数据块的元数据信息用于准备重新分配。

2.如权利要求1所述的平衡条带写的RAID-6I/O调度方法，其特征在于，分析写请求的输入输出分布，重组这些请求，从而通过校验共享，将相应校验的修改数量最小化包括：

对于连续数据块的部分条带写，将这些连续数据块放在一个平行四边形中，假设平行四边形的一条边有l个块，另一条边有d个块，l和d为正整数；

通过求取l和d值，使l+d最小，进而使得相应校验的修改数量最小化。

3.如权利要求2所述的平衡条带写的RAID-6I/O调度方法，其特征在于，RDP水平编码的行校验N_h和斜校验N_d的修改数量如下：

N_h＝d

$N_d=\left\{\begin{array}{c}l+d-1(i=0||p-l\≤i+j\≤p-1)\\ l+d(!(i=0||p-l\≤i+j\≤p-1))\end{array}\right.,$

其中，i，j分别表示RDP水平编码矩阵中的行号和列号，p为质数，RDP水平编码矩阵为列数为p+1。

4.如权利要求2所述的平衡条带写的RAID-6I/O调度方法，其特征在于，X-Code垂直编码的斜校验和反向斜校验的修改数量分别为l和d。

5.如权利要求2所述的平衡条带写的RAID-6I/O调度方法，其特征在于，通过如下公式求取l和d值，

其中，在一个条带中写连续数据块的数量。

6.如权利要求1所述的平衡条带写的RAID-6I/O调度方法，其特征在于，将输入输出碎片和到来的相同条带中的写请求被聚合成一个新的写请求，并将新的写请求一次性写入磁盘中，

当输入输出碎片队列里输入输出碎片的等待时间超过了阈值，将输入输出碎片队列里的所有输入输出碎片强制写入磁盘；

当输入输出碎片队列满时，最长等待时间的输入输出碎片被写入磁盘。

7.如权利要求6所述的平衡条带写的RAID-6I/O调度方法，其特征在于，所述输入输出碎片队列存放在RAID控制器上的内存中。

8.如权利要求6所述的平衡条带写的RAID-6I/O调度方法，其特征在于，在RAID控制器的内存中使用一个标识F_s，F_s为0表示输入输出碎片队列里没有碎片，为1表示输入输出碎片队列里有碎片。

9.如权利要求6所述的平衡条带写的RAID-6I/O调度方法，其特征在于，通过使用一个计时器来记录每个输入输出碎片的等待时间。

10.如权利要求1所述的平衡条带写的RAID-6I/O调度方法，其特征在于，所述保存非法数据块的元数据信息中，将非法数据块的元数据信息保存到内存中，其中，在内存中使用1bit来表示非法数据块的元数据信息。