CN101976175A - 一种水平型分组并行集中校验的磁盘阵列的构建方法 - Google Patents

Abstract

本发明涉及一种水平型分组并行集中校验的磁盘阵列的构建方法，适用于连续数据存储，属于独立磁盘冗余阵列技术领域。本发明针对连续数据存储的特点，设计实现一种新的冗余阵列SHE-RAID 4，主要包括：存储数据在SHE-RAID4上的布局、存储数据的读写、校验数据的生成方式、写数据时的数据缓冲与预读优化、磁盘工作状态转换调度等。磁盘阵列SHE-RAID 4不但具有良好的冗余数据保护机制，而且能显著降低功耗，延长使用寿命。

Description

一种水平型分组并行集中校验的磁盘阵列的构建方法

技术领域

本发明涉及一种独立磁盘冗余阵列(Redundant Arrays of IndependentDisks，RAID)的构建方法，特别涉及一种水平型分组并行集中校验的磁盘阵列的构建方法，适用于连续数据存储，属于独立磁盘冗余阵列技术领域。

背景技术

在现代存储领域，为了提高存储数据的可靠性和改善存储系统的输入、输出性能，人们设计了多种数据存储方案，这些数据存储方案通常是各种类型的独立磁盘冗余阵列(Redundant Arrays of Independent Disks，RAID)。通过使用特定的硬件或软件，RAID把多个物理存储设备如磁盘，联合起来，形成一个统一的逻辑存储设备。

下面对RAID中常用的技术术语进行解释：

条带：又称为Stripe；是磁盘阵列的不同磁盘上的位置相关的分块的集合，是组织不同磁盘上条块的单位。

条带化：又称为Striping；是指把一段连续数据分割成相同大小的数据块，把每段数据分别写入到磁盘阵列的不同磁盘上的方法。

磁盘镜像是指复制源数据到一个或更多的磁盘上，

错误修正是指利用某种运算，如异或运算，生成并保存冗余数据，可利用冗余数据，再生磁盘上丢失或出错的数据。

XOR运算：异或运算。

比较常用的RAID有RAID0、RAID1、RAID5、RAID6、RAID10等。其中RAID0不具有冗余能力，RAID1只是对磁盘做了镜像。其它3种阵列分别有多个磁盘组成，它们以条带的方式向阵列中的磁盘写数据，奇偶校验数据存放在阵列中的各个磁盘上。RAID5的每个条带含有1个校验块，支持任意损坏其中一个磁盘、通过其它磁盘上的奇偶校验块来重建数据；RAID6的每个条带含有2个校验块，支持任意损坏其中两个磁盘、通过其它磁盘上的奇偶校验块来恢复数据；RAID10是先对磁盘组进行镜像，再对磁盘进行条带化，所以其不含奇偶校验块，当一个磁盘损坏后通过其对应的镜像盘恢复数据，理想状态下最多允许不同位置下50％的磁盘损坏，最糟糕的情况是同一对镜像磁盘同时损坏。

在RAID 5中，一个条带包含一组逻辑相邻的数据块，并且这些数据块存储在阵列中不同的存储设备上，RAID 5能够纠正或再生一个磁盘上存储的数据，并且由于多个磁盘联合使用一个磁盘容量的冗余数据，所以单位有效数据所需的冗余数据量较少，尤其当RAID 5中包含多个磁盘时，这种优势更明显。如8个磁盘构成的RAID 5，冗余数据占1个磁盘容量，为全部存储数据的1/8。并且由于RAID 5每个条带分散到不同磁盘上的数据块较大，保证了大部分I/O操作都能落入到一个磁盘的数据块内，校验数据也是分布存储的，这样大大增加多I/O并发的可能性。由于RAID 5具有突出的综合性能，为大多数商业服务器提供了优化的性价比，所以获得了广泛应用。

然而，在连续数据存储领域，如视频监控、虚拟磁带库、连续数据保护等应用中，连续数据流顺序写入到磁盘中，进行的是顺序存储，即存储数据的地址是连续的，满足存储空间访问的局部性原理，因此不存在I/O并发性。常用的磁盘阵列，为了提高数据访问速度和保证I/O并发性，把连续数据分散存储到不同的磁盘上，虽然每次只访问局部的一块或几块逻辑相邻的磁盘，阵列中多数磁盘没有任务也必须空转，这样不仅浪费大量能源，同时也大大增加了磁盘的无效在线时间，严重缩短了磁盘的使用寿命。

随着磁盘技术的进步，单块磁盘的连续读写带宽已经得到了显著提高，对于连续数据存储，如果能够在具有冗余数据保护机制的同时，充分利用单块磁盘的传输带宽，根据实际任务需求，令阵列中的一块或几块磁盘工作，来完成存储任务，其它暂时没有任务的磁盘调度到停止状态，即磁盘转轴和磁头电机停止工作，不仅能够节省大量能源，而且还能有效利用磁盘的使用寿命。

磁盘在不同工作状态下的能量消耗见表1。

表1磁盘在不同工作状态下的能量消耗

磁盘工作状态	读写操作	空转状态	停止状态
				平均功耗	11.5W	8.5W	约为0W

发明内容

本发明的目的是克服已有技术存在的不足，在满足设定存储性能的前提下，提出一种水平型分组并行集中校验的磁盘阵列的构建方法。水平型分组并行集中校验的磁盘阵列，简称为磁盘阵列SHE-RAID 4。

本发明的目的是通过下述技术方案实现的。

一种磁盘阵列SHE-RAID 4的构建方法，应用于磁盘阵列SHE-RAID4包含N个磁盘的场景中，其中N≥3且N为正整数；N个磁盘中，1个磁盘为校验盘，其余N-1个磁盘为数据盘；将N个磁盘构造成1行×N列的磁盘矩阵；对全部磁盘进行条带划分，分成m个条带并为每个条带编号，其中m≥1且m为正整数；每个条带在数据盘上的分块称为数据块，每个条带在校验盘上的分块称为校验块；所述校验块由该校验块所在条带中的N-1个数据块通过异或运算得出。

为了提高连续存储带宽，并获得不同的连续存储带宽，以满足不同存储速率的需求，将每个条带上的N-1个数据块平均分成p(p≥2且p为正整数)组，每组包含q(q≥1且q为正整数，q值根据实际存储任务对连续带宽的需求确定)个数据块；并满足以下关系：N-1＝p×q。

每个数据块分成K个大小相等的数据子块，K≥2且K为正整数，然后按照条带顺序依次为全部数据子块编号，同一条带内的数据子块，按照组顺序编号，即首先为第一条带第1组的第1个数据块中第1个数据子块编号为1；为第一条带中第1组的第2个数据块中第1个数据子块编号为2；……；为第一条带中第1组的第q个数据块中第1个数据子块编号为q；然后为第一条带中第1组的第1个数据块中第2个数据子块编号为q+1；为第一条带第1组的第2个数据块中第2个数据子块编号为q+2；……；为第一条带中第1组的第q个数据块中第2个数据子块编号为2×q；……；以此类推，为第一条带中第1组的第1个数据块中第K个数据子块编号为(K-1)×q+1；为第一条带第1组的第2个数据块中第K个数据子块编号为(K-1)×q+2；……；为第一条带中第1组的第q个数据块中第K个数据子块编号为K×q；

然后为第一条带第2组的第1个数据块中第1个数据子块编号为K×q+1；为第一条带中第2组的第2个数据块中第1个数据子块编号为K×q+2；……；为第一条带中第2组的第q个数据块中第1个数据子块编号为(K+1)×q；然后为第一条带中第2组的第1个数据块中第2个数据子块编号为(K+1)×q+1；为第一条带第2组的第2个数据块中第2个数据子块编号为(K+1)×q+2；……；为第一条带中第2组的第q个数据块中第2个数据子块编号为(K+2)×q；……；以此类推，为第一条带中第2组的第1个数据块中第K个数据子块编号为2×K×q-q+1；为第一条带第2组的第2个数据块中第K个数据子块编号为2×K×q-q+2；……；为第一条带中第2组的第q个数据块中第K个数据子块编号为2×K×q；

然后为第一条带第p组的第1个数据块中第1个数据子块编号为(p-1)×K×q+1；为第一条带中第p组的第2个数据块中第1个数据子块编号为(p-1)×K×q+2；……；为第一条带中第p组的第q个数据块中第1个数据子块编号为(p-1)×K×q+q；然后为第一条带中第p组的第1个数据块中第2个数据子块编号为(p-1)×K×q+q+1；为第一条带第p组的第2个数据块中第2个数据子块编号为(p-1)×K×q+q+2；……；为第一条带中第p组的第q个数据块中第2个数据子块编号为(p-1)×K×q+q×2；……；以此类推，为第一条带中第p组的第1个数据块中第K个数据子块编号为p×K×q-q+1；为第一条带第p组的第2个数据块中第K个数据子块编号为p×K×q-q+2；……；为第一条带中第p组的第q个数据块中第K个数据子块编号为p×K×q；

以此类推，按照相同的编号原则，为第二条带至第m条带的数据子块进行编号。编号相邻的数据子块，其逻辑地址相邻。

同一条带内序号相邻的组，其逻辑地址相邻；相邻条带中，前一条带的最后一组与后一条带的第一组的逻辑地址相邻。

校验块按照条带顺序依次编号为1～m；将每个校验块分成K个大小相等的校验子块，物理地址相邻的校验子块，其逻辑地址相邻。所述校验子块由所在条带中偏移位置相同的N-1个数据子块异或运算而得，这样的N-1个数据子块及其异或生成的校验子块组成一个校验条。

上述布局方式，可并行访问组内的q个数据块所在磁盘，又使存储任务分布在一组内，其余p-1组数据块所在磁盘没有任务，这样便于调度没有任务的磁盘进入到停止状态，以达到节能和降低磁盘损耗的目的。

优选的，如果数据盘的使用寿命为h₁，校验盘的使用寿命为h₂，则h₁和h₂满足以下关系：h₂＝h₁×(N-1)/p。

所述方法进一步包括：控制磁盘工作状态的方法。

磁盘工作状态包括：停止、运行、就绪三种状态。

磁盘停止状态时，磁盘转轴停止旋转、磁头停止寻道；

磁盘运行状态时，磁盘正在执行读写操作，包括转轴旋转、磁头寻道；

磁盘就绪状态时，表示将要被读写，此时磁盘转轴旋转、磁头不寻道

根据该磁盘阵列SHE-RAID 4的数据排布方式，可以确定每个条带内第r(1≤r≤p)组内的q个数据块所在的磁盘为：r×q-q+1到r×q。

进行连续写操作时，绝大部分时间里，只有一组数据盘和1个校验盘(q+1个盘)处于运行状态。进行连续写操作时磁盘工作状态转换调度策略具体为：

第1步：根据访问数据的逻辑地址(用LBA表示)，由公式1和公式2计算出该访问数据所在的组号(用r表示)以及所在条带(用m′表示，0≤m′≤m，m′为正整数)：

其中，条带大小表示条带上各数据块数据之和，组大小表示组内各数据块数据之和，MOD表示模运算，加1表示组号r值从1开始计数。根据组号r、条带号m′确定第m′条带第r组内被访问的q个数据盘r×q-q+1到r×q，如果处于停止状态，则调度这q个数据盘由停止状态转到就绪状态。r用来记录记录当前访问组的组号；m′用来记录记录当前访问组所属的条带号。

第2步：当第m′条带第r组所属q个数据盘处于就绪状态时，开始向这q个数据盘写数据，进行写数据操作的q个数据盘由就绪状态转为运行状态；

第3步：如果本次访问在该组内结束，则在本次访问结束后，将第m′条带第r组所属的数据盘由运行状态转为就绪状态，然后退出本次调度；否则，在访问第m′条带第r组所属数据盘结束前t时刻，判断第m′条带第r组的相邻组(用M表示第m′条带第r组的相邻组所属的条带编号，用r′表示第m′条带第r组的相邻组的组编号)所属数据盘是否处于停止状态，是则将相邻组r′内数据盘由停止状态转为就绪状态，其中t为磁盘由停止状态转为就绪状态所需要的时间。在第m′条带第r组访问结束后，将第m′条带第r组所属数据盘由运行状态转为停止状态。

第4步：把记录当前访问所在条带序号的m′值更新为M，将记录当前访问所在组序号的r的值更新为r′，重复执行第2步到第4步。

进行连续读操作时，绝大部分时间里，也只有一组数据盘和1个校验盘(q+1个盘)处于运行状态，磁盘工作状态转换调度策与连续写操作相同。

优选的，仅进行连续读操作时，校验磁盘可以停止工作。

对于每次写操作，由于每次只更新一组内的q块磁盘以及校验盘上的数据，相当于RAID 5中的读改写，即并行写入新数据D1、D2、……，Dq时，用公式2和公式3生成相同校验条上的新校验数据P：

Xi＝(Di)XOR(Di′)                             (2)

P＝(X1)XOR(X2)XOR…XOR(Xq)XOR P′             (3)

其中，1≤i≤q且i为正整数，Di′为磁盘中新数据Di写入位置上的旧数据，P′是旧数据Di′所在校验条上的旧校验数据，也是新校验数据P写入位置上的旧校验数据，XOR表示异或运算。

为了生成新校验数据P，除了进行异或运算(硬件实现时时间很短，可以忽略)外，必须先并行读出旧数据Di′及旧校验数据P′，对磁盘而言，每次写操作都包括先读旧数据与再写新数据两个操作，为了减少磁头读、写数据的切换次数，充分利用磁盘带宽，所述方法进一步包括：写操作的优化处理方法，具体为：

设立一个新数据缓冲区，用来缓存应用程序写入阵列的新数据，q个旧数据预读区和一个旧校验数据预读区，分别用来存放从阵列中预读的，与待写新数据对应的旧数据及旧校验数据，各预读区大小相等，并且远大于新数据缓冲区，各新数据子块写入位置上的各旧数据子块，及相同校验条的旧校验数据子块在写操作前预读到预读区。

然后进行以下操作步骤：

第2.1步：当新数据缓冲区不为空时，每次从新数据缓冲区中取出q个数据子块，拆分为分属于组内q块磁盘的数据子块D1、D2、……，Dq后，并行写入q块磁盘，同时送往异或器；

第2.2步：q个旧数据预读区中对应的旧数据子块D1′、D2′、……，Dq′，送往异或器，与第2.1步送来的数据子块进行异或运算，生成差异数据子块X1、X2、……，Xq，其中Xi＝(Di)XOR(Di′)；

第2.3步：差异数据子块X1、X2、……，Xq送往异或器，旧校验数据预读区中对应的旧校验数据子块P′送往异或器，异或运算生成新校验数据子块P，P＝(X1)XOR(X2)XOR……XOR(Xq)XOR(P′)；

第2.4步：更新对应校验条中的旧校验子块为新校验数据子块P。

如果写数据起始逻辑地址LBA不能被q个数据子块的大小整除，而余k(k为正整数)个数据子块时，或新数据缓冲区中差k个而不足q个数据子块时，则仅取这k个数据子块写入对应磁盘，并利用同一校验条对应的旧数据及旧校验数据，根据以上方法生成新校验数据即可，同组其余q-k个磁盘没有写任务。

由于可以从预读区直接读取旧数据子块与旧校验数据子块，磁盘就可以连续执行写操作，只有预读区中的数据子块用完后，才进行一次预读来填满预读区，通过预读，多个分散的读操作被转换为一个连续的读操作，有效减少了磁头的切换次数，可根据实际情况设置预读区为足够大。

根据以上分析，当预读区足够大时，容易估算该磁盘阵列SHE-RAID 4的连续写带宽约为q·BW_Disk/2，连续读带宽约q·BR_Disk，其中BW_Disk为单块磁盘的连续写带宽，BR_Disk单块磁盘的连续读带宽，q为组内磁盘数。

所述方法进一步包括：对故障磁盘进行数据读写的处理方法；具体为：

当有磁盘出现故障，无法进行正常数据读写时，此时激活磁盘阵列SHE-RAID4中所有磁盘进入就绪状态，暂停使用所述磁盘工作状态控制方法控制磁盘阵列SHE-RAID 4的工作状态；然后分为以下2中情况进行处理：

情况1：如果校验盘出现故障，则继续读写数据盘上的数据，但此时所述磁盘阵列SHE-RAID 4处于无冗余数据校验状态；待更换校验盘后，对于该校验盘上的每个校验块，使用该校验块所在条带的全部数据块进行异或运算，来恢复该校验块，重新生成校验盘数据。

情况2：如果数据盘出现故障，则根据对读、写操作分别处理：

读操作：对于出现故障的数据盘上的每个数据块，使用该数据块所在条带的其它数据块和校验块进行异或运算，来恢复该数据块；待更换该数据盘后，对于该数据盘上的每个数据块，使用该数据块所在条带的其他数据块和校验块进行异或运算，来恢复该数据块，重新生成该数据盘数据。

写操作：有2种处理方式：

第1种处理方式：直接将写数据写到校验盘并记录写入的校验块，待更换故障数据盘后，进行数据还原、数据再生和再生校验数据。数据还原即把寄存在校验盘中的数据块移回到原来位置；数据再生即恢复新数据盘上非还原数据块，利用所在条带的校验块和其它数据块进行异或运算实现。再生校验数据是重新生成记录的写入校验块，利用所在条带的全部数据块进行异或运算实现。

第2种处理方式：使用备用盘来暂存写往故障磁盘上的数据，当更换故障数据磁盘后，进行数据还原、数据再生和再生校验数据。。

当转入正常状态后，再次启用所述磁盘工作状态控制方法对述磁盘阵列SHE-RAID 4的工作状态进行控制。

有益效果

本发明的一种磁盘阵列SHE-RAID 4的构建方法，与已有技术比较，具有以下优点：

1、显著降低能源消耗。其数据布局具有良好的冗余数据保护机制，同时采取分组策略，绝大部分时间只有一组磁盘工作并且工作时间足够长，适合调度其余非工作磁盘到停止状态，以达到节能的目的。

2、可根据任务需求选择连续存储带宽。采取分组策略后，可以根据任务需求设定q值，并行访问组内的q块磁盘，同时采用数据缓冲与预读优化措施来改善读改写对写带宽的影响，因此能够提供符合任务需求的连续读写带宽。

3、充分延长使用寿命。由于阵列中非工作磁盘被调度停止状态，停止了磁盘转轴的高速旋转，并且磁盘启动、停止时间间隔充分长，所以能够减小磁盘出现故障的概率和充分延长其使用寿命。

附图说明

图1为本发明的具体实施方式中的磁盘阵列SHE-RAID4中的磁盘、条带、数据块、校验块编号示意图；

图2为本发明的具体实施方式中的磁盘阵列SHE-RAID4中数据子块及校验子块编号示意图；

图3为本发明的具体实施方式中的磁盘工作状态转移示意图；

图4为本发明的具体实施方式中的写操作时的数据缓冲预读优化示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。

本实施例中，磁盘阵列SHE-RAID4由5块Seagate Cheetah 10K磁盘组成，单块磁盘的容量为300GB，其相关参数见表2。其中1块校验盘、4块数据盘，如图1所示。对5块磁盘进行条带划分，分成4个条带，编号为1～4。每个条带在数据盘上的分块称为数据块，每个条带在校验盘上的分块称为校验块；对4个数据盘平均分成2组，每组包含2个数据盘。为第一条带的4个数据块编号为11，12，13，14；然后为第二条带的4个数据块编号为到21，22，23，24；……，以此类推，为第4条带的4个数据块编号为41，42，43，44。按条带顺序为全部校验块编号为1到4。校验块由该校验块所在条带中的4个数据块通过异或运算得出，P(11，12，13，14)表示对数据块11、数据块12、数据块13、数据块14进行异或运算得到的结果，同理可得知P(21，22，23，24)、P(31，32，33，34)、P(41，42，43，44)的含义。

表2Seagate Cheetah 10K磁盘的相关参数

将数据子块设计为4KB，因此每个数据块分成K＝19，660，800个数据子块，然后按照条带顺序依次为全部数据子块编号，同一条带内的数据子块，按照组顺序编号，如图2所示。首先为第一条带第1组的第1个数据块中第1个数据子块编号为1；为第一条带中第1组的第2个数据块中第1个数据子块编号为2；然后为第一条带中第1组的第1个数据块中第2个数据子块编号为3；为第一条带第1组的第2个数据块中第2个数据子块编号为4；……；以此类推，为第一条带中第1组的第1个数据块中第K个数据子块编号为K×2-1；为第一条带第1组的第2个数据块中第K个数据子块编号为2×K；

然后为第一条带第2组的第1个数据块中第1个数据子块编号为K×2+1；为第一条带中第2组的第2个数据块中第1个数据子块编号为K×2+2；然后为第一条带中第2组的第1个数据块中第2个数据子块编号为K×2+3；为第一条带第2组的第2个数据块中第2个数据子块编号为K×2+4；……；以此类推，为第一条带中第2组的第1个数据块中第K个数据子块编号为4×K-1；为第一条带第2组的第2个数据块中第K个数据子块编号为4×K；

以此类推，按照相同的编号原则，为第2条至第4条条带的数据子块进行编号。编号相邻的数据子块，其逻辑地址相邻。

将每个校验块分成K＝19，660，800个大小相等的校验子块，并按照条带顺序依次编号；所述校验子块由该校验子块所在条带中的各个数据块中偏移位置相同的4个数据子块通过异或运算得出。

当对磁盘阵列SHE-RAID4进行连续数据的读写操作时，校验盘5始终处于运行状态。数据盘的状态转换如图3所示：初始时，根据访问数据的逻辑地址用LBA计算出该访问数据在第3条带第1组，第1组的2个数据块分别在磁盘1和2上，如果磁盘1、2处于停止状态，则调度到就绪状态，见图3中①。开始读写磁盘1和2上的数据时，磁盘1、2由就绪状态转为运行状态，见图3中②。经过计算得到本次访问是在第3条带第2组上结束，因此在第3条带第1组访问结束前t时刻，将相邻组第3条带第2组所在磁盘3、4由停止状态转为就绪状态，见图3中①，其中t为磁盘由停止状态转为就绪状态所需要的时间。在第3条带第1组访问结束后，将磁盘1、2由运行状态转为停止状态，见图3中④。开始读写磁盘3和4上的数据时，磁盘3、4由就绪状态转为运行状态，见图3中②。在第3条带第2组访问结束后，将磁盘3、4由运行状态转为就绪状态，见图3中③。

当仅进行连续读操作时，校验磁盘可以停止工作。

对于正常的连续数据存储，在绝大部分时间里，磁盘阵列SHE-RAID4只有3块磁盘工作，只有小部分时间，有5块磁盘处于读写或空转状态(加上1组提前启动的磁盘)，因此其功耗约为相同盘数RAID 5的3/5。

如果该磁盘阵列SHE-RAID4的构成磁盘为Seagate Cheetah 10K，其相关参数见表2，其单块磁盘的容量为300GB。由于该磁盘阵列SHE-RAID4中的校验盘始终工作，构成了寿命瓶颈，可以选用使用寿命较长的企业级磁盘。本实施例中，选择的数据盘的使用寿命为h₁和校验盘的使用寿命为h₂满足以下关系：h₂＝h₁×2。

在内存中设立为1个新数据缓冲区、2个旧数据预读区和1个旧校验数据预读区。其中，旧数据预读区和旧校验数据预读区大小相等；旧数据预读区和旧校验数据预读区均为新数据缓冲区的10倍。各新数据子块写入位置上的各旧数据子块，及相同校验条的旧校验数据子块在写操作前预读到预读区。

然后进行以下操作步骤：

第2.1步：当新数据缓冲区不为空时，每次从新数据缓冲区中取出2个数据子块，拆分为分属于组内2块磁盘的数据子块D1、D2后，并行写入2块磁盘，同时送往异或器，如图4中的①过程；

第2.2步：2个旧数据预读区中对应的旧数据子块D1′、D2′，送往异或器，与第2.1步送来的数据子块进行异或运算，生成差异数据子块X1、X2，其中Xi＝(Di)XOR(Di′)，i＝1，2；如图4中的②过程

第2.3步：差异数据子块X1、X2送往异或器，如图4中的③过程，旧校验数据预读区中对应的旧校验数据子块P′送往异或器，如图4中的④过程，异或运算生成新校验数据子块P，P＝(X1)XOR(X2)XOR(P′)；

第2.4步：更新对应校验条中的旧校验子块为新校验数据子块P，如图4中的⑤过程。

由于可以从预读区直接读取旧数据子块与旧校验数据子块，磁盘就可以连续执行写操作，只有预读区中的数据子块用完后，才进行一次预读来填满预读区，通过预读，多个分散的读操作被转换为一个连续的读操作，有效减少了磁头的切换次数，可根据实际情况设置预读区为足够大。

通过数据缓冲与预读处理，可使磁盘阵列SHE-RAID4的连续写带宽约为q.BW_Disk/2，连续读带宽约q.BR_Disk，其中BW_Disk为单块磁盘的连续写带宽，BR_Disk为单块磁盘的连续读带宽，q为组内磁盘数。本实施例的磁盘为Seagate Cheetah10K，其连续读带宽为85MB/s，连续写带宽为84MB/s。可得磁盘阵列SHE-RAID4的连续写带宽约为84MB/s，连续读带宽约为170MB/s，即能够满足42路2MB/s的高清视频流的同时写入，85路该类视频流的同时读出。

当有磁盘出现故障，无法进行正常数据读写时，此时激活磁盘阵列SHE-RAID4中所有磁盘进入就绪状态，暂停使用所述磁盘工作状态控制方法控制磁盘阵列SHE-RAID 4的工作状态；然后分为以下2中情况进行处理：

情况1：如果校验盘出现故障，则继续读写数据盘上的数据，但此时所述磁盘阵列SHE-RAID 4处于无冗余数据校验状态；待更换校验盘后，对于该校验盘上的每个校验块，使用该校验块所在条带的全部数据块进行异或运算，来恢复该校验块，重新生成校验盘数据。

情况2：如果数据盘出现故障，则根据对读、写操作分别处理：

读操作：对于出现故障的数据盘上的每个数据块，使用该数据块所在条带的其它数据块和校验块进行异或运算，来恢复该数据块；待更换该数据盘后，对于该数据盘上的每个数据块，使用该数据块所在条带的其他数据块和校验块进行异或运算，来恢复该数据块，重新生成该数据盘数据。

写操作：有2种处理方式：

第1种处理方式：直接将写数据写到校验盘并记录写入的校验块，待更换故障数据盘后，进行数据还原、数据再生和再生校验数据。数据还原即把寄存在校验盘中的数据块移回到原来位置；数据再生即恢复新数据盘上非还原数据块，利用所在条带的校验块和其它数据块进行异或运算实现。再生校验数据是重新生成记录的写入校验块，利用所在条带的全部数据块进行异或运算实现。

第2种处理方式：使用备用盘来暂存写往故障磁盘上的数据，当更换故障数据磁盘后，进行数据还原、数据再生和再生校验数据。。

当转入正常状态后，再次启用所述磁盘工作状态控制方法对述磁盘阵列SHE-RAID 4的工作状态进行控制。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，或者对其中部分技术特征进行等同替换，这些改进和替换也应视为本发明的保护范围。

Claims (6)

1.一种水平型分组并行集中校验的磁盘阵列的构建方法，其中，水平型分组并行集中校验的磁盘阵列，简称为磁盘阵列SHE-RAID 4；其特征在于：

应用于磁盘阵列SHE-RAID4包含N个磁盘的场景中，其中N≥3且N为正整数；N个磁盘中，1个磁盘为校验盘，其余N-1个磁盘为数据盘；将N个磁盘构造成1行×N列的磁盘矩阵；对全部磁盘进行条带划分，分成m个条带并为每个条带编号，其中m≥1且m为正整数；每个条带在数据盘上的分块称为数据块，每个条带在校验盘上的分块称为校验块；所述校验块由该校验块所在条带中的N-1个数据块通过异或运算得出；

为了提高连续存储带宽，并获得不同的连续存储带宽，以满足不同存储速率的需求，将每个条带上的N-1个数据块平均分成p组，p≥2且p为正整数；每组包含q个数据块，q≥1且q为正整数，q值根据实际存储任务对连续带宽的需求确定；并满足以下关系：N-1＝p×q；

每个数据块分成K个大小相等的数据子块，K≥2且K为正整数，然后按照条带顺序依次为全部数据子块编号，同一条带内的数据子块，按照组顺序编号，即首先为第一条带第1组的第1个数据块中第1个数据子块编号为1；为第一条带中第1组的第2个数据块中第1个数据子块编号为2；……；为第一条带中第1组的第q个数据块中第1个数据子块编号为q；然后为第一条带中第1组的第1个数据块中第2个数据子块编号为q+1；为第一条带第1组的第2个数据块中第2个数据子块编号为q+2；……；为第一条带中第1组的第q个数据块中第2个数据子块编号为2×q；……；以此类推，为第一条带中第1组的第1个数据块中第K个数据子块编号为(K-1)×q+1；为第一条带第1组的第2个数据块中第K个数据子块编号为(K-1)×q+2；……；为第一条带中第1组的第q个数据块中第K个数据子块编号为K×q；

然后为第一条带第2组的第1个数据块中第1个数据子块编号为K×q+1；为第一条带中第2组的第2个数据块中第1个数据子块编号为K×q+2；……；为第一条带中第2组的第q个数据块中第1个数据子块编号为(K+1)×q；然后为第一条带中第2组的第1个数据块中第2个数据子块编号为(K+1)×q+1；为第一条带第2组的第2个数据块中第2个数据子块编号为(K+1)×q+2；……；为第一条带中第2组的第q个数据块中第2个数据子块编号为(K+2)×q；……；以此类推，为第一条带中第2组的第1个数据块中第K个数据子块编号为2×K×q-q+1；为第一条带第2组的第2个数据块中第K个数据子块编号为2×K×q-q+2；……；为第一条带中第2组的第q个数据块中第K个数据子块编号为2×K×q；

然后为第一条带第p组的第1个数据块中第1个数据子块编号为(p-1)×K×q+1；为第一条带中第p组的第2个数据块中第1个数据子块编号为(p-1)×K×q+2……；为第一条带中第p组的第q个数据块中第1个数据子块编号为(p-1)×K×q+q；然后为第一条带中第p组的第1个数据块中第2个数据子块编号为(p-1)×K×q+q+1；为第一条带第p组的第2个数据块中第2个数据子块编号为(p-1)×K×q+q+2；……；为第一条带中第p组的第q个数据块中第2个数据子块编号为(p-1)×K×q+q×2；……；以此类推，为第一条带中第p组的第1个数据块中第K个数据子块编号为p×K×q-q+1；为第一条带第p组的第2个数据块中第K个数据子块编号为p×K×q-q+2；……；为第一条带中第p组的第q个数据块中第K个数据子块编号为p×K×q；

以此类推，按照相同的编号原则，为第二条带至第m条带的数据子块进行编号；编号相邻的数据子块，其逻辑地址相邻；

同一条带内序号相邻的组，其逻辑地址相邻；相邻条带中，前一条带的最后一组与后一条带的第一组的逻辑地址相邻；

校验块按照条带顺序依次编号为1～m；将每个校验块分成K个大小相等的校验子块，物理地址相邻的校验子块，其逻辑地址相邻；所述校验子块由所在条带中偏移位置相同的N-1个数据子块异或运算而得，这样的N-1个数据子块及其异或生成的校验子块组成一个校验条；

上述布局方式，可并行访问组内的q个数据块所在磁盘，又使存储任务分布在一组内，其余p-1组数据块所在磁盘没有任务，这样便于调度没有任务的磁盘进入到停止状态，以达到节能和降低磁盘损耗的目的；

所述方法进一步包括：控制磁盘工作状态的方法；

磁盘工作状态包括：停止、运行、就绪三种状态；

磁盘停止状态时，磁盘转轴停止旋转、磁头停止寻道；

磁盘运行状态时，磁盘正在执行读写操作，包括转轴旋转、磁头寻道；

磁盘就绪状态时，表示将要被读写，此时磁盘转轴旋转、磁头不寻道

根据该磁盘阵列SHE-RAID 4的数据排布方式，可以确定每个条带内第r组内的q个数据块所在的磁盘为：r×q-q+1到r×q；1≤r≤p；

进行连续写操作时，绝大部分时间里，只有一组数据盘和1个校验盘处于运行状态；进行连续写操作时磁盘工作状态转换调度策略具体为：

第1步：根据访问数据的逻辑地址，访问数据的逻辑地址用LBA表示，由公式1和公式2计算出该访问数据所在的组号，用r表示，以及所在条带，用m′表示，0≤m′≤m，m′为正整数：

其中，条带大小表示条带上各数据块数据之和，组大小表示组内各数据块数据之和，MOD表示模运算，加1表示组号r值从1开始计数；根据组号r、条带号m′确定第m′条带第r组内被访问的q个数据盘r×q-q+1到r×q，如果处于停止状态，则调度这q个数据盘由停止状态转到就绪状态；r用来记录记录当前访问组的组号；m′用来记录记录当前访问组所属的条带号；

第2步：当第m′条带第r组所属q个数据盘处于就绪状态时，开始向这q个数据盘写数据，进行写数据操作的q个数据盘由就绪状态转为运行状态；

第3步：如果本次访问在该组内结束，则在本次访问结束后，将第m′条带第r组所属的数据盘由运行状态转为就绪状态，然后退出本次调度；否则，在访问第m′条带第r组所属数据盘结束前t时刻，判断第m′条带第r组的相邻组所属数据盘是否处于停止状态，用M表示第m′条带第r组的相邻组所属的条带编号，用r′表示第m′条带第r组的相邻组的组编号；是则将相邻组r′内数据盘由停止状态转为就绪状态，其中t为磁盘由停止状态转为就绪状态所需要的时间；在第m′条带第r组访问结束后，将第m′条带第r组所属数据盘由运行状态转为停止状态；

第4步：把记录当前访问所在条带序号的m′值更新为M，将记录当前访问所在组序号的r的值更新为r′，重复执行第2步到第4步；

进行连续读操作时，绝大部分时间里，也只有一组数据盘和1个校验盘处于运行状态，磁盘工作状态转换调度策与连续写操作相同。

2.如权利要求1所述的一种水平型分组并行集中校验的磁盘阵列的构建方法，其特征在于：

优选的，如果数据盘的使用寿命为h₁，校验盘的使用寿命为h₂，则h₁和h₂满足以下关系：h₂＝h₁×(N-1)/p。

3.如权利要求1所述的一种水平型分组并行集中校验的磁盘阵列的构建方法，其特征在于：

优选的，对磁盘阵列SHE-RAID 4仅进行连续读操作时，校验磁盘停止工作。

4.如权利要求1所述的一种水平型分组并行集中校验的磁盘阵列的构建方法，其特征在于：

所述方法进一步包括：写操作的优化处理方法，具体为：

设立一个新数据缓冲区，用来缓存应用程序写入阵列的新数据，q个旧数据预读区和一个旧校验数据预读区，分别用来存放从阵列中预读的，与待写新数据对应的旧数据及旧校验数据；各新数据子块写入位置上的各旧数据子块，及相同校验条的旧校验数据子块在写操作前预读到预读区；

然后进行以下操作步骤：

第2.1步：当新数据缓冲区不为空时，每次从新数据缓冲区中取出q个数据子块，拆分为分属于组内q块磁盘的数据子块D1、D2、……，Dq后，并行写入q块磁盘，同时送往异或器；

第2.2步：q个旧数据预读区中对应的旧数据子块D1′、D2′、……，Dq′，送往异或器，与第2.1步送来的数据子块进行异或运算，生成差异数据子块X1、X2、……，Xq，其中Xi＝(Di)XOR(Di′)；

第2.3步：差异数据子块X1、X2、……，Xq送往异或器，旧校验数据预读区中对应的旧校验数据子块P′送往异或器，异或运算生成新校验数据子块P，P＝(X1)XOR(X2)XOR……XOR(Xq)XOR(P′)；

第2.4步：更新对应校验条中的旧校验子块为新校验数据子块P；

如果写数据起始逻辑地址LBA不能被q个数据子块的大小整除，而余k个数据子块时，k为正整数，或新数据缓冲区中差k个而不足q个数据子块时，则仅取这k个数据子块写入对应磁盘，并利用同一校验条对应的旧数据及旧校验数据，根据以上方法生成新校验数据即可，同组其余q-k个磁盘没有写任务；

由于可以从预读区直接读取旧数据子块与旧校验数据子块，磁盘就可以连续执行写操作，只有预读区中的数据子块用完后，才进行一次预读来填满预读区，通过预读，多个分散的读操作被转换为一个连续的读操作，有效减少了磁头的切换次数，可根据实际情况设置预读区的大小。

5.如权利要求4所述的一种水平型分组并行集中校验的磁盘阵列的构建方法，其特征在于：

优选的，旧数据预读区和旧校验数据预读区大小相等，并且远大于新数据缓冲区。

6.如权利要求1至5所述的一种水平型分组并行集中校验的磁盘阵列的构建方法，其特征在于：

所述方法进一步包括：对故障磁盘进行数据读写的处理方法；具体为：

当有磁盘出现故障，无法进行正常数据读写时，此时激活磁盘阵列SHE-RAID4中所有磁盘进入就绪状态，暂停使用所述磁盘工作状态控制方法控制磁盘阵列SHE-RAID 4的工作状态；然后分为以下2中情况进行处理：

情况1：如果校验盘出现故障，则继续读写数据盘上的数据，但此时所述磁盘阵列SHE-RAID 4处于无冗余数据校验状态；待更换校验盘后，对于该校验盘上的每个校验块，使用该校验块所在条带的全部数据块进行异或运算，来恢复该校验块，重新生成校验盘数据；

情况2：如果数据盘出现故障，则根据对读、写操作分别处理：

读操作：对于出现故障的数据盘上的每个数据块，使用该数据块所在条带的其它数据块和校验块进行异或运算，来恢复该数据块；待更换该数据盘后，对于该数据盘上的每个数据块，使用该数据块所在条带的其他数据块和校验块进行异或运算，来恢复该数据块，重新生成该数据盘数据；

写操作：有2种处理方式：

第1种处理方式：直接将写数据写到校验盘并记录写入的校验块，待更换故障数据盘后，进行数据还原、数据再生和再生校验数据；数据还原即把寄存在校验盘中的数据块移回到原来位置；数据再生即恢复新数据盘上非还原数据块，利用所在条带的校验块和其它数据块进行异或运算实现；再生校验数据是重新生成记录的写入校验块，利用所在条带的全部数据块进行异或运算实现；

第2种处理方式：使用备用盘来暂存写往故障磁盘上的数据，当更换故障数据磁盘后，进行数据还原、数据再生和再生校验数据；；

当转入正常状态后，再次启用所述磁盘工作状态控制方法对述磁盘阵列SHE-RAID 4的工作状态进行控制。

Images