CN105808170A - 一种能够以最小磁盘读写修复单磁盘错误的raid6编码方法 - Google Patents

Abstract

一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法，包括编码方案和单个磁盘失效的修复方案。所述编码方案指的是冗余节点所存储的校验数据生成方法，由构造编码矩阵获得。所述单个磁盘失效的修复方案是，若失效盘为第k+2个盘，则读取前k个盘存储的数据并按照编码方案重新计算生成校验数据；若失效盘为除第k＋2个盘以外的其它盘，则只需从剩余的k+1个盘各读取其所存储数据的一半，汇总后编码生成原失效盘所存储的数据。本发明可以较快的重构出失效磁盘上所存储的数据，并且在热修复时，对系统中其他应用的不利影响降到最低。

Description

一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法

技术领域

本发明涉及一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法，属于编码论中的纠删码技术领域。

背景技术

信息社会中数据量的爆炸式增长对大容量可靠存储提出了更高的要求。为此，存储系统一方面不断提高单个磁盘的容量，一方面通过磁盘阵列或者分布式存储的形式将多个磁盘整合起来提供大容量的可靠存储服务。由于应用了大量的廉价磁盘，磁盘失效的情况经常发生。为保障数据可靠性，系统需要存储一定的冗余数据，以便能够在某些磁盘失效的情况下仍然可以恢复出所存储的信息。每当有磁盘失效时，系统需要在一个替代磁盘上重构失效磁盘上存储的数据。这一过程称为数据修复过程。本发明设计一类新的编码来优化数据修复过程的性能。

本发明涉及二元有限域上的阵列码。这类编码将存储的数据抽象为一个m行n列的阵列，阵列中的每个元素为一个比特，即二元有限域上的一个元素。实际应用中阵列的元素可以为等长的比特序列(通常称为一个数据块)。每个存储节点存储阵列中的一列，因而n即存储节点的个数。对于能够容忍两个磁盘失效的二容错阵列码，阵列中的前k＝n-2列存储未编码的原始数据，第k+1列和k+2列存储冗余数据。存储原始数据的列(节点)通常称为系统盘，冗余数据的列(节点)通常称为校验盘，校验盘中的每个元素都由系统盘中若干个原始数据元素经过异或运算所得，即奇偶校验和。RAID-6系统是这类编码的一个典型应用场景。通常RAID-6编码中第k+1列中的每个元素由系统盘中(即前k列中)位于同一行的元素经过异或运算所得，因而又称为行校验。RAID-6系统规范并未限定第k+2列冗余数据的生成方法。

当有单个存储节点失效时，传统阵列码的修复方法是：如果失效的节点为校验盘，则根据编码的定义再次通过系统盘上的数据生成冗余数据；如果失效的节点为系统盘，则利用剩余的k-1个系统盘与一个校验盘恢复失效节点上存储的数据。这两种情况都需要从k个盘中总共读取m*k个元素来进行数据修复，消耗了大量的磁盘读写(I/O)资源。近年来有学者针对已有的RAID-6编码设计了特别的修复算法，允许从剩余的k+1个可用磁盘中读取数据，充分利用两个校验盘中的校验数据，使得修复单个磁盘时平均所需读取的数据量降低了约25％。

发明内容

本发明的目的是，为了在单个磁盘失效时，能够及时高效地恢复损坏磁盘上所存储的数据，本发明提出一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法。

本发明的技术方案主要包括编码方案和单个磁盘错误修复方案两个部分。

所述编码方案指的是冗余节点所存储的校验数据生成方法，由构造编码矩阵获得：

RAID6阵列由k+2个逻辑盘构成，其中前k个盘存储原始数据a₁,a₂,…,a_k，其中a_i表示第i个盘存储的数据，在运算中看作含有m个元素的列向量；第k+1个盘存储原始数据的行校验；第k+2个盘存储的校验数据通过以下步骤得出：

构造m行m列的编码矩阵A₁,A₂,…,A_k；

计算a_k+2＝A₁a₁+A₂a₂+…+A_ka_k作为第k+2个盘所存储的数据，计算中涉及的运算为二元有限域上的运算。

所述编码矩阵A₁,A₂,…,A_k按照如下方法构造：

对于任意给定的参数k>1，采用以下算法构造编码矩阵：

第1步：令i←2；

第2步：若i＝k，则输出矩阵A₁,A₂,…,A_k，其中A_j＝B_j+B_k+1,j＝1,2,…,k；否则进行下一步；

第3步：对于j＝1,2,…,i，令然后令 其中0,I分别为2^i-1行2^i-1列的0矩阵和单位矩阵；

第4步：令i←i+1，转到第2步。

以参数k＝3为例，第二个校验盘中数据的编码方案如下：

$\left[\begin{array}{c}{a}_{5,1}\\ a_{5,2}\\ a_{5,3}\\ a_{5,4}\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ 1& 1& 0& 0\\ 1& 0& 1& 0\\ 0& 1& 1& 1\end{array}\right]\left[\begin{array}{c}{a}_{1,1}\\ a_{1,2}\\ a_{1,3}\\ a_{1,4}\end{array}\right]+\left[\begin{array}{cccc}0& 1& 0& 0\\ 1& 0& 0& 0\\ 1& 0& 0& 1\\ 0& 1& 1& 0\end{array}\right]\left[\begin{array}{c}{a}_{2,1}\\ a_{2,2}\\ a_{2,3}\\ a_{2,4}\end{array}\right]+\left[\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\\ 1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right]\left[\begin{array}{c}{a}_{3.1}\\ a_{3,2}\\ a_{3,3}\\ a_{3,4}\end{array}\right]$

即a_5,1＝a_1,1+a_2,2+a_3,3；a_5,2＝a_1,1+a_1,2+a_2,1+a_3,4；a_5,3＝a_1,1+a_1,3+a_2,1+a_2,4+a_3,1；a_5,4＝a_1,2+a_1,3+a_1,4+a_2,2+a_2,3+a_3,2。

所述编码方案更新一个数据块所需要的平均XOR次数为(k+7)/4次，其中k为编码系统中的系统盘个数。

所述编码方案生成最后一个校验盘所需要的平均XOR次数为次。

所述单个磁盘失效的修复方案，是当第k+2个盘失效时，读取前k个盘存储的数据并按照编码方案重新生成第二个校验盘存储的数据。

设系统中共有n(n>3)个磁盘，其中有k＝n-2个系统盘，令m＝2^k-1，将待存储的原始数据划分为等长的mk个数据块，每个系统盘中存储m个数据块的原始数据。令a_i,j表示第i个盘中存储的第j个数据块。将每个盘中存储的数据看作长度为m的列向量并记为a_i＝(a_i,1,a_i,2,…,a_i,m)^T，这里上标T表示矩阵转置。第一个校验盘采用行校验编码，即a_k+1＝a₁+a₂+…+a_k。这里加法为异或运算。第二个校验盘的数据可以表示为a_k+2＝A₁a₁+A₂a₂+…+A_ka_k，其中A₁,A₂,…,A_k为m行m列的矩阵，其中的元素都取自二元有限域。我们通过给出矩阵A₁,A₂,…,A_k的构造方法来给出第二个校验盘的编码方案。

所述单个磁盘失效时的修复方案：

当需要修复的是第k+2个盘(即第二个校验盘)时，需要读取所有的原始数据块，即读取前k个盘存储的数据并按照编码方案重新生成第二个校验盘存储的数据。

当需要修复的是第i(i<k+2)个盘时，要读取的数据量比传统编码减少约50％，按如下步骤进行修复：

第1步：构造下标集合R_i：若i＝k+1,令R_i＝{2^k-2+1,2^k-2+2,2^k-2+3,…,2^k-1}；若1<i<k+1,令R_i＝{(j-1)2^i-1+1,(j-1)2^i-1+2,(j-1)2^i-1+3,…,(j-1)2^i-1+2^i-2|j＝1,2,…,2^k-i}；若i＝1，则通过下列步骤构造R₁:

第1.1步：令集合R₁←{2},j＝2；

第1.2步：若j＝k,输出R₁；否则进行下一步(1.3步)；

第1.3步：令R₁←R₁∪{x+2^j-1|x∈{1，2，...，2^j-1}\R₁}；

第1.4步：令j←j+1；转第1.2步。

第2步：若i>1,读取未失效盘中由下标集R_i指定的数据块，例如若R_i＝{1,2,5,6}，则对于每一个未失效盘a_j，读取其中第1、2、5、6个数据块a_j,1,a_j,2,a_j,5,a_j,6。若i＝1,读取第2至k+1个盘中由下标集R₁指定的数据块，读取第k+2个盘中由下标集指定的数据块。将第j个盘中由下标集R_i指定的若干数据块看作一个列向量，并记为a_j|R_i。利用行校验修复失效盘中由下标集R_i指定的数据块，即a_i|R_i＝a₁|R_i+a₂|R_i+…+a_i-1|R_i+a_i+1|R_i+…+a_k+1|R_i。

第3步：构造矩阵其中0,I分别为2^k-2行2^k-2列的0矩阵和单位矩阵；对于下标i<k+1，构造矩阵B_i＝A_i+B_k+1。

第4步：将失效盘中下标不在R_i中的数据块看作一个列向量并记为x。对于任意下标构成的集合P、Q，令B_j|_P,Q表示矩阵B_j中行下标属于P，列下标属于Q的元素构成的子矩阵。

当i>1时，令D表示矩阵B_i中行下标属于R_i且列下标不属于R_i的元素构成的子矩阵，根据本编码的构造方法，失效盘中下标不在R_i中的全部数据块x可以通过求解以下方程得出：

$a_{k+2}|R_i=Dx+B_1{|}_{R_i,R_i}{a}_1|R_i+B_2{|}_{R_i,R_i}{a}_2|R_i+...+B_{k+1}{|}_{R_i,R_i}{a}_{k+1}|R_i$

当i＝1时，根据本编码的构造方法，失效盘中下标不在R_i中的全部数据块x可以通过求解以下方程得出：

$a_{k+2}|\stackrel{\&OverBar;}{R_1}=B_1{|}_{\stackrel{\&OverBar;}{R_1},\stackrel{\&OverBar;}{R_1}}x+B_1{|}_{\stackrel{\&OverBar;}{R_1},R_1}{a}_1|R_1+B_2{|}_{\stackrel{\&OverBar;}{R_1},R_1}{a}_2|R_1+\mathrm{...}+B_{k+1}{|}_{\stackrel{\&OverBar;}{R_1},R_1}{a}_{k+1}|R_1$

以k＝3情况下，第一个磁盘失效的情况为例：计算出R₁＝{2,3},因此读取数据块{a_j,2,a_j,3|j＝2,3,4}及数据块a_5,1,a_5,4，利用行校验修复数据块a_1,2,a_1,3,(例如a_1,2＝a_2,2+a_3,2+a_4,2)，对于数据块a_1,1,a_1,4，根据构造方法有以下方程成立：

$\begin{array}{c}\left[\begin{array}{c}{a}_{5,1}\\ a_{5,4}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}{a}_{1,1}\\ a_{1,4}\end{array}\right]+\left[\begin{array}{cc}0& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}{a}_{1,2}\\ a_{1,3}\end{array}\right]+\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}{a}_{2,2}\\ a_{2,3}\end{array}\right]+\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]\left[\begin{array}{c}{a}_{3,2}\\ a_{3,3}\end{array}\right]\\ +\left[\begin{array}{cc}0& 0\\ 1& 0\end{array}\right]\left[\begin{array}{c}{a}_{4,2}\\ a_{4,3}\end{array}\right]\end{array}$

从而可以按如下方式修复数据块a_1,1,a_1,4：

a_1,1＝a_5,1+a_2,2+a_3,3；

a_1,4＝a_5,4+a_1,3+a_2,3+a_4,2。

本发明与现有技术比较的有益效果是，当单个系统盘或行校验盘失效时，本发明在未失效盘中读取的数据量总计为M(k+1)/2，而传统的编码及修复方案所需读取的数据量为Mk，这里M为单个磁盘的容量。当k较大时，本发明对磁盘读写的占用减少了约50％，从而可以较快的重构出失效磁盘上所存储的数据，并且在热修复时，对系统中其他应用的不利影响降到最低。

附图说明

图1是本发明方法框图；

图2是校验数据计算方法的示意图，以k＝3为例；

图3是修复单个失效磁盘方法的示意图，以k＝3为例；

图中图号：D1～D3为数据盘，D4、D5为校验盘。D4为行校验，其数据块由D1、D2、D3中位于同一行的数据块进行异或运算生成。图2中数据块上的标号给出了D5中数据块的计算方式：D5中的数据块由1～4编号，编号为i的数据块由D1～D4中含有编号i的数据块进行异或运算生成，即含有同一编号的数据块全体构成一个校验集，同一校验集中的数据块异或运算之和为0。从而校验集中的任一数据块可由此校验集中的其他数据块进行异或运算求得。例如D5中的第一个数据块由D1中的第1个数据块、D2中的第2个数据块和D3中的第3个数据块进行异或运算所得。本图中所标示的D5中数据的计算方法利用了行校验盘中的数据块。

修复磁盘D1所需读取的数据块由图3(a)中的阴影标出。D1中的第2、3个数据块通过行校验修复，D1中的第1个数据块利用标号1的校验集进行修复，D1中的第4个数据块利用标号4的校验集进行修复。

修复磁盘D2所需读取的数据块由图3(b)中的阴影标出。D2中的第1、3个数据块通过行校验修复，D2中的第2个数据块利用标号1的校验集进行修复，D2中的第4个数据块利用标号3的校验集进行修复。

修复磁盘D3所需读取的数据块由图3(c)中的阴影标出。D3中的第1、2个数据块通过行校验修复，D3中的第3个数据块利用标号1的校验集进行修复，D3中的第4个数据块利用标号2的校验集进行修复。

修复磁盘D4所需读取的数据块由图3(d)中的阴影标出。D4中的第3、4个数据块通过行校验修复，D4中的第1个数据块利用标号3的校验集进行修复，D4中的第2个数据块利用标号4的校验集进行修复。

具体实施方式

本发明具体实施方式如图1所示。

本发明方法的实现对硬件环境的要求为可以并行读写的多磁盘存储系统，如磁盘阵列或分布式存储系统。

本发明的实现需要与文件系统及磁盘驱动紧密结合：向下需要磁盘驱动提供读写接口，向上为文件系统提供可靠存储服务。本发明能够以硬RAID卡或软RAID卡的形式实现。本发明对语言工具没有特别要求，C语言、C++语言、Java语言等都能实现。对操作系统平台也没有特别要求，MicrosoftWindows系统、各种Linux系统、Mac系统等都可以做为操作系统运行平台。

在实现时，本发明中涉及的一个数据块通常可设定为一次磁盘读写的最小单元，如一个4KB大小的page。为了平衡多个磁盘间的负载，通常需要与传统的RAID轮转技术相结合。将一个磁盘阵列划分为多个条带(stripe)，每个条带由各个磁盘中一块相同大小的存储空间组成，每个磁盘在不同条带中的身份(校验盘/系统盘)进行轮转循环。

在实现中，不需要每次编码操作或修复操作都按照说明中给出的算法进行矩阵的乘法、求逆等运算操作。可以通过预先计算得出每个校验数据块所涉及的原始数据块，以及每个磁盘失效时的具体修复方案，然后以硬编码的形式写入代码。

以k＝3的情况为例，每个a_i,j(i＝1,2,…,5；j＝1,2,…,4)可为一个4KB大小的数据块，表示一个给定的条带中，第i个盘存储的第j个数据块，第4个盘为行校验，第5个盘(即第二个校验盘)存储的数据块为a_5,1＝a_1,1+a_2,2+a_3,3；a_5,2＝a_1,1+a_1,2+a_2,1+a_3,4；a_5,3＝a_1,1+a_1,3+a_2,1+a_2,4+a_3,1；a_5,4＝a_1,2+a_1,3+a_1,4+a_2,2+a_2,3+a_3,2。这里的加法运算都为二元有限域上的加法运算，即按位异或运算。

当第一个磁盘失效时，读取数据块{a_j,2,a_j,3|j＝2,3,4}及数据块a_5,1,a_5,4，利用行校验修复数据块a_1,2,a_1,3,(例如a_1,2＝a_2,2+a_3,2+a_4,2)，数据块a_1,1,a_1,4按如下方式修复：a_1,1＝a_5,1+a_2,2+a_3,3；a_1,4＝a_5,4+a_1,3+a_2,3+a_4,2。

当第二个磁盘失效时，读取数据块{a_j,1,a_j,3|j＝1,3,4,5}，利用行校验修复数据块a_2,1,a_2,3,，数据块a_2,2,a_2,4按如下方式修复：a_2,2＝a_1,1+a_3,3+a_5,1；a_2,4＝a_1,3+a_4,1+a_5,3。

当第三个磁盘失效时,读取数据块{a_j,1,a_j,2|j＝1,2,4,5}，利用行校验修复数据块a_3,1,a_3,2,，数据块a_3,3,a_3,4按如下方式修复：a_3,3＝a_1,1+a_2,2+a_5,1；a_3,4＝a_1,1+a_1,2+a_2,1+a_5,2。

当第四个磁盘失效时，读取数据块{a_j,3,a_j,4|j＝1,2,3,5}，利用行校验修复数据块a_4,3,a_4,4,，数据块a_4,1,a_4,2按如下方式修复：a_4,1＝a_2,4+a_5,3；a_4,2＝a_1,3+a_1,4+a_2,3+a_5,4。

当第五个磁盘失效时，读取前三个盘的数据按照编码方式重新生成失效的校验数据块。

Claims (5)

1.一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法，其特征在于，所述编码方法包括编码方案和单个磁盘失效的修复方案：

1)所述编码方案指的是冗余节点所存储的校验数据生成方法，由构造编码矩阵获得：

RAID6阵列由k+2个逻辑盘构成，其中前k个盘存储原始数据a₁,a₂,…,a_k，其中a_i表示第i个盘存储的数据，在运算中看作含有m个元素的列向量；第k+1个盘存储原始数据的行校验；第k+2个盘存储的校验数据通过以下步骤得出：

构造m行m列的编码矩阵A₁,A₂,…,A_k；

计算a_k+2＝A₁a₁+A₂a₂+…+A_ka_k作为第k+2个盘所存储的数据，计算中涉及的运算为二元有限域上的运算；

2)所述单个磁盘失效的修复方案是，若失效盘为第k+2个盘，则读取前k个盘存储的数据并按照编码方案重新计算生成校验数据；若失效盘为除第k+2个盘以外的其它盘，则只需从剩余的k+1个盘各读取其所存储数据的一半，汇总后编码生成原失效盘所存储的数据，在汇总传输前无需对读取的内容进行编码运算；当需要修复第i个盘时，i<k+2，要读取的数据量比传统编码减少约50％。

2.根据权利要求1所述一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法，其特征在于，所述编码矩阵A₁,A₂,…,A_k按照如下方法构造：

对于任意给定的参数k>1，采用以下算法构造编码矩阵：

第1步：令

第2步：若i＝k，则输出矩阵A₁,A₂,…,A_k，其中A_j＝B_j+B_k+1,j＝1,2,…,k；否则进行下一步；

第3步：对于j＝1,2,…,i，令然后令 其中0,I分别为2^i-1行2^i-1列的0矩阵和单位矩阵；

第4步：令i←i+1，转到第2步。

3.根据权利要求1所述一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法，其特征在于，所述需要修复第i个盘的修复步骤为：

第1步：构造下标集合R_i：若i＝k+1,令R_i＝{2^k-2+1,2^k-2+2,2^k-2+3,…,2^k-1}；若1<i<k+1,令R_i＝{(j-1)2^i-1+1,(j-1)2^i-1+2,(j-1)2^i-1+3,…,(j-1)2^i-1+2^i-2|j＝1,2,…,2^k-i}；若i＝1，则通过下列步骤构造R₁:

第1.1步：令集合R₁←{2},j＝2；

第1.2步：若j＝k,输出R₁；否则进行下一步(1.3步)；

第1.3步：令R₁←R₁∪{x+2^j-1|x∈{1，2，…，2^j-1}\R₁}；

第1.4步：令j←j+1；转第1.2步；

第2步：若i>1,读取未失效盘中由下标集R_i指定的数据块，例如若R_i＝{1,2,5,6}，则对于每一个未失效盘a_j，读取其中第1、2、5、6个数据块a_j,1,a_j,2,a_j,5,a_j,6；若i＝1,读取第2至k+1个盘中由下标集R₁指定的数据块，读取第k+2个盘中由下标集指定的数据块；将第j个盘中由下标集R_i指定的若干数据块看作一个列向量，并记为a_j|R_i；利用行校验修复失效盘中由下标集R_i指定的数据块，即a_i|R_i＝a₁|R_i+a₂|R_i+…+a_i-1|R_i+a_i+1|R_i+…+a_k+1|R_i；

第3步：构造矩阵其中0,I分别为2^k-2行2^k-2列的0矩阵和单位矩阵；对于下标i<k+1，构造矩阵B_i＝A_i+B_k+1；

第4步：将失效盘中下标不在R_i中的数据块看作一个列向量并记为x；对于任意下标构成的集合P、Q，令B_j|_P,Q表示矩阵B_j中行下标属于P，列下标属于Q的元素构成的子矩阵；

当i>1时，令D表示矩阵B_i中行下标属于R_i且列下标不属于R_i的元素构成的子矩阵，根据本编码的构造方法，失效盘中下标不在R_i中的全部数据块x可以通过求解以下方程得出：

$a_{k+2}|R_i=Dx+B_1{|}_{R_i,R_i}{a}_1|R_i+B_2{|}_{R_i,R_i}{a}_2|R_i+\mathrm{...}+B_{k+1}{|}_{R_i,R_i}{a}_{k+1}|R_i$

当i＝1时，根据本编码的构造方法，失效盘中下标不在R_i中的全部数据块x可以通过求解以下方程得出：

$a_{k+2}|\stackrel{\&OverBar;}{R_1}=B_1{|}_{\stackrel{\&OverBar;}{R_1},\stackrel{\&OverBar;}{R_1}}x+B_1{|}_{\stackrel{\&OverBar;}{R_1},R_1}{a}_1|R_1+B_2{|}_{\stackrel{\&OverBar;}{R_1},R_1}{a}_2|R_1+\mathrm{...}+B_{k+1}{|}_{\stackrel{\&OverBar;}{R_1},R_1}{a}_{k+1}|R_1.$

4.根据权利要求1所述一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法，其特征在于，所述编码方案更新一个数据块所需要的平均XOR次数为(k+7)/4次，其中k为编码系统中的系统盘个数。

5.根据权利要求1所述一种能够以最小磁盘读写修复单磁盘错误的RAID6编码方法，其特征在于，所述编码方案生成最后一个校验盘所需要的平均XOR次数为次。