CN109032513B - 基于ssd和hdd的raid架构及其备份、重建方法 - Google Patents

Abstract

本发明公开了基于SSD和HDD的RAID架构及其备份、重建方法，架构包括：RAID控制器，所述RAID控制器分别与一个磁盘阵列连接，所述磁盘阵列包括若干个磁盘组，每个磁盘组均包括一一对应的两个磁盘：固态硬盘SSD和机械硬盘HDD，所述固态硬盘SSD和机械硬盘HDD均与RAID控制器连接；每个固态硬盘SSD用于存储校验块和数据块；每个机械硬盘HDD用于对相同磁盘组中的固态硬盘SSD中的数据块进行备份。

Description

基于SSD和HDD的RAID架构及其备份、重建方法

技术领域

本发明大规模存储系统(Large-Scale Storage System)领域，涉及基于SSD和HDD的RAID架构及其备份、重建方法。

背景技术

大规模存储系统是一个面向海量数据存储的计算机系统。由于受限于存储设备的发展，单块磁盘的容量及性能已无法满足现时代的大数据存储需求，因此将多块相同容量的磁盘组合在一起，形成独立冗余磁盘阵列(Redundant Array of Independent Disk，RAID)，读写时采用条带化(Stripe)技术，将每一个读写请求分散至多块磁盘共同承担，成为一个行之有效的解决方案。在众多RAID类型中，RAID-5是被现今工业界采用最广泛的一种解决方案。其主要思想是采用异或(XOR)校验码，在N块磁盘组成的磁盘阵列中选出一块磁盘用于存放剩余N-1块磁盘中数据的XOR校验值。同时，针对存放校验块的磁盘将比其它N-1块磁盘承受更多的I/O请求的问题，RAID-5采取了校验块轮换策略，将所有条带的校验块均匀的分布到每块磁盘上，使得每块磁盘均含有(N-1)/N的数据块以及1/N的校验块，均衡了I/O负载，提升了磁盘阵列的整体性能。但其存在多磁盘失效的问题，因为RAID-5阵列仅仅能提供一块磁盘失效后的保护能力，一旦第二块磁盘发生损坏，阵列数据将全部丢失。在需要高可靠性的应用背景下，这样的磁盘容错率显然是远远不够的。

随着存储器的不断发展，新型的存储介质如固态硬盘(Solid State Drive，SSD)开始出现，由于其相对于传统的机械硬盘(Hard Disk Drive，HDD)拥有更好的抗震性、更低的功耗、更短的寻道时间以及更高的性能，而逐渐取代HDD在存储结构中的角色。同样的，在大规模存储系统中，SSD也呈逐渐取代HDD之势。但由于SSD采用NAND Flash作为其存储介质，具有写前擦除的操作限制，而每一片NAND Flash都有其固定的擦除次数(即其寿命周期)，当整块SSD中大多数NAND Flash达到其擦除次数上限(盘内纠错机制已无法纠正过高的读取错误率)时，此块SSD即宣告已损坏。

不同于HDD寿命周期中比较固定的UBER率(Uncorrectable Bit Error Rate，不可修复的读取错误率，常用于表示磁盘的老化率)，SSD的UBER率与其闪存块接受的擦除操作次数密切相关，而其闪存块的擦除次数又与整块SSD接受的写操作数量密切相关。在写入数据量超过75TB时，SSD的UBER率已经超过了HDD，而一般SSD的写入寿命均在200TB及以上(Kim J,Lee J,Choi J,et al.Improving SSD reliability with RAID via elasticstriping and anywhere parity[C]//Dependable Systems and Networks(DSN),201343rd Annual IEEE/IFIP International Conference on.IEEE,2013:1-12.)。

并且在RAID-5阵列中，写入操作被基本平均地分配到所有SSD，因此整体上的UBER率趋近一致。这将使RAID-5阵列的多磁盘失效问题更加严重，因为当某块SSD擦除次数达到上限、宣告损坏之时，其余SSD的UBER率皆与之相差不大，极有可能在RAID-5阵列降级重建过程中发生第二块甚至更多块SSD的损坏，导致整个阵列中的数据丢失。

发明内容

为了解决现有技术的不足，本发明提供了基于SSD和HDD的RAID架构及其备份、重建方法，其基于RAID-5全闪存磁盘阵列，提出了SSD+HDD的混合多层RAID架构，结合了SSD高性能与HDD高可靠性的双重优点，在RAID控制器层对多块SSD和HDD进行统一的控制与管理，有效地解决了当前RAID-5全闪存磁盘阵列面临的多磁盘失效问题。由于HDD相对SSD有着巨大的同容量价格优势，因此本发明的附加成本极低，可以有效控制企业运行时的存储成本。

作为本发明的第一方面，提供了基于SSD和HDD的RAID架构；

基于SSD和HDD的RAID架构，包括：RAID控制器，所述RAID控制器分别与一个磁盘阵列连接，所述磁盘阵列包括若干个磁盘组，每个磁盘组均包括一一对应的两个磁盘：固态硬盘SSD和机械硬盘HDD，所述固态硬盘SSD和机械硬盘HDD均与RAID控制器连接；每个固态硬盘SSD用于存储校验块和数据块；每个机械硬盘HDD用于对相同磁盘组中的固态硬盘SSD中的数据块进行备份。

作为本发明的第二方面，提供了基于SSD和HDD的RAID架构的备份方法，

基于SSD和HDD的RAID架构的备份方法，包括：

步骤(101)：当一个写操作到达RAID控制器时，RAID控制器检测写操作中的数据块是否为校验块，如果是校验块，就将写操作只写入相应磁盘号的固态硬盘SSD中；如果不是校验块，就将写操作同时写入固态硬盘SSD和机械硬盘HDD中；

步骤(102)：当一个磁盘组中的固态硬盘SSD失效时，当前磁盘组中的机械硬盘HDD接替固态硬盘SSD的工作，继续对数据块进行存储；

步骤(103)：当固态硬盘SSD失效的个数大于一个时，失效的固态硬盘SSD对应的机械硬盘HDD接替失效固态硬盘SSD的工作，继续对数据块进行存储。

作为本发明的进一步改进，所述步骤(101)可以替换为：

步骤(1011)：将每一块磁盘划分为若干个条带，每一个条带都附有一个标志位；所述标志位用于记录当前条带中所有数据块是否已经都备份到机械硬盘HDD中，如果当前条带中的所有数据块都备份到机械硬盘HDD中，则标志位为“数据安全”；如果当前条带中的所有数据块至少有一个没有备份到机械硬盘HDD中，则标志位为“数据不安全”；

步骤(1012)：当一个写操作到达RAID控制器时，RAID控制器将写操作写入相应的固态硬盘SSD，并在RAID控制器中将当前写操作所涉及的所有条带的标志位置为“数据不安全”；

步骤(1013)：判断当前写操作与上一个写操作是否能够连接成顺序化操作，如果能够连接成顺序化操作，就将当前写操作与上一个写操作进行合并；如果不能够连接成顺序化操作，则将上一个写操作备份到机械硬盘HDD中，同时将上一个写操作涉及到的所有条带的标志位由“数据不安全”修改为“数据安全”；当前写操作仍存在于SSD中，等待下一次写操作的到来；返回步骤(1012)继续服务下一个写操作。

所述当前写操作与上一个写操作是否能够连接成顺序化操作，是指当前写操作与上一个写操作涉及到的数据块区域首尾相接或者有重叠。

作为本发明的进一步改进，步骤(1012)可以被替换为：

当一个写操作到达RAID控制器时，RAID控制器首先将写操作写入相应的固态硬盘SSD，然后判断顺序化操作所涉及的条带数量是否超过设定阈值；

如果未超过设定阈值，则RAID控制器将当前写操作与上一个写操作顺序化成一个写操作，并在RAID控制器中将顺序化后的写操作涉及到的所有条带的标志位置为“数据不安全”；进入步骤(1013)；

如果超过设定阈值，则RAID控制器将顺序化后的写操作备份到机械硬盘HDD中，同时将写操作涉及到的所有条带的标志位由“数据不安全”修改为“数据安全”，结束。

作为本发明的第三方面，提供了基于SSD和HDD的RAID架构的重建方法，

基于SSD和HDD的RAID架构的重建方法，包括：

重建过程中，优先考虑标志位为“数据不安全”的条带；先通过剩余的未损坏的固态硬盘SSD，使用RAID-5的校验方式XOR恢复“数据不安全”的条带中的数据块；然后，使用失效的固态硬盘SSD对应的机械硬盘HDD来恢复新的固态硬盘SSD中的其它数据块：

当一个失效的固态硬盘SSD被替换为新的固态硬盘SSD时，新的固态硬盘SSD将依据对应的机械硬盘HDD存储的数据块对自身的数据块进行恢复；同时依据其他的固态硬盘SSD存储的数据块，使用RAID-5的校验方式XOR恢复新的固态硬盘SSD的校验块。

当失效的多个固态硬盘SSD均被替换为新的固态硬盘SSD时，新的固态硬盘SSD将依据对应的机械硬盘HDD存储的数据块对自身的数据块进行恢复；新的固态硬盘SSD依据其他的机械硬盘HDD的存储的数据块，使用RAID-5的校验方式XOR恢复自身的校验块。

与现有技术相比，本发明的有益效果是：

(1)针对全闪存阵列面临的多磁盘失效问题，本发明提出了SSD+HDD的混合多层RAID架构，利用极低的附加成本确保了磁盘阵列的高可靠性；

(2)为了保证SSD+HDD的混合多层RAID阵列的整体性能，本发明采用HDD感知的数据块备份策略，大大减少了正常运行过程中对HDD的写入操作，保证了磁盘阵列运行时的整体性能；

(3)针对传统的RAID-5阵列在降级重建过程中的性能下降问题，本发明提出了针对SSD+HDD混合阵列的重建策略，保证了磁盘阵列在降级重建过程中的整体性能。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1展示了SSD+HDD混合多层RAID阵列的整体架构。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明属于大规模存储系统(Large-Scale Storage System)领域，以采用RAID-5冗余策略的全闪存磁盘阵列(All Flash Array)为基础，面向高可靠性应用提出了SSD+HDD的混合多层RAID架构，以极低的附加成本有效解决了RAID-5全闪存磁盘阵列面临的多磁盘失效(Multi Disk Failure)问题。

在传统的RAID-5阵列中，所有成员盘的总容量以条带大小为单位分为若干条带，每个条带中包含N-1个数据块(Data)和1个校验块(Parity)。并且，在RAID控制器层级维护一张表，表中记录每个条带中的校验块所归属的磁盘号。在I/O请求到来时，RAID控制器将根据表中记录计算此请求经转换后最终下发的磁盘号，之后进行下发。由于此表保存于RAID控制器的内存中，因此查表与计算的耗时相对于I/O请求的总耗时来说可以忽略不计。本发明中采取同样的假设，即忽略查表与计算所带来的时间开销。

当RAID-5阵列中一块SSD损坏后，整个阵列进入降级(Degraded)状态，不再提供数据的冗余保护。这时需要用一块新的SSD来替换损坏的SSD，替换完成后整个阵列将进入重建过程。只有重建过程结束，RAID-5阵列才重新具有数据冗余保护的功能。一旦在此期间有第二块或者更多的SSD损坏，整个磁盘阵列的数据将丢失。

针对此问题，本发明提出了SSD+HDD的混合多层RAID架构(如图1所示)，在SSD失效时，相对应的HDD将临时接替SSD的工作。即便是所有的SSD均失效，由于每块SSD都有对应的HDD作为备份，因此整个阵列的数据依然得以保存。

当SSD在接近寿命上限时，其UBER已经远高于同周期服役的HDD，因此本发明假设HDD相比SSD更加可靠。同时由于HDD有着远低于SSD的每GB价格，对于企业来说，将本发明所提出的方法加入到采用RAID-5的全闪存阵列中并不会造成成本的大幅增加。下面详细介绍上文提及的混合多层RAID架构。对于一个由n块SSD与n块HDD组成的磁盘阵列R＝{S₁,H₁,S₂,H₂,…,S_n,H_n}，第i块HDD将保存第i块SSD除了校验块以外的所有数据。当某块SSD损坏时，只需要换入新的SSD，之后使用其对应的HDD恢复其所带的数据块，同时使用RAID-5的XOR校验恢复其校验块即可。

如果此时出现多于一块SSD损坏，不妨假设阵列中所有SSD均损坏。此时阵列中仅存在HDD正常工作，将损坏的SSD替换后，读取相应的HDD中的数据即可开始数据块的重建工作。而损坏的校验块均可由其它HDD中的数据块进行恢复，因此本发明保证了在多磁盘失效的情况下，数据仍能被完整恢复且实现0损失，解决了全闪存阵列面临的多磁盘失效问题。

虽然在加入HDD后，可以有效解决多磁盘失效问题；但是HDD孱弱的写入性能将严重拖慢整个磁盘阵列的性能。因此本发明提出了采用HDD感知的数据块备份策略，大大减少了正常运行过程中对HDD的写入操作，保证了磁盘阵列运行时的整体性能。下面将详细介绍采用HDD感知的数据块备份策略。

当一个写操作到达第i块SSD时，RAID控制器将检测涉及到的数据块是否为校验块，如果是则只写入SSD，如果不是则同时写入SSD与HDD，之后返回写入成功。由于在RAID-5阵列中，校验块将承受比数据块更多的写操作，因此取消校验块在HDD上的备份操作将显著减少阵列运行过程中对HDD的写入操作数量。同时，针对HDD随机写入较慢、顺序写入较快的特性，本发明将HDD上的备份操作尽量顺序化，以减少性能损失。为了辅助其进行顺序化操作，本发明在RAID控制器端维护每个条带的一个标志位，记录本条带中的所有数据块是否已经备份到HDD，即数据安全标志。具体操作步骤如下：

(1)当一个写操作到达时，先不将其备份到HDD，而是将其暂存于SSD，并在RAID控制器端将此条带标记为“不安全”；

(2)检查此写操作与上一个写操作是否可以连接成顺序化操作，如果可以则将此操作与上一个写操作合并；如果不可以，则将上一个写操作备份到HDD中，同时消除其涉及到所有条带的“不安全”标志位；

(3)继续服务下一个写操作。

本发明设计了一个可以人为设定的阈值T，表示最多有多少条带可以处于“不安全”的状态中。一旦顺序化操作所涉及到的条带数量达到T，则无论之后的写操作能否被顺序化，都将强制备份进HDD，用以保证数据的安全，防止多磁盘失效时的数据丢失。

阈值T的设定依赖于磁盘阵列的工作环境。如果工作集中小数据块的写入比较频繁，则每次写入操作仅涉及一块数据盘以及一块校验盘；若此时承担数据块的SSD损坏，尽管备份操作没有及时进行，只要承担校验块的SSD依然正常工作，就可以将损坏的数据恢复出来；因此，阈值T可以设置的较大，以获得更高的磁盘阵列整体性能。

如果工作集中大数据块的写入占多数，则每次写入操作将涉及多块数据盘以及一块校验盘；若此时某块承担数据块的SSD损坏，只要其它涉及到此写入操作的SSD中任意一块再损坏，则数据将不可恢复。因此阈值T应设置的较小，以保证数据的高可靠性。

传统的RAID-5阵列虽然可以支持一块磁盘损坏后的数据恢复，但是由于恢复过程中需要经过(读取所有其它SSD中的数据→计算XOR校验值→写入新更换的SSD中)的步骤，其中的I/O请求涉及到了阵列中的所有磁盘，因此将对正常运行的磁盘阵列产生极大的性能影响。本发明提出了针对SSD+HDD混合阵列的重建策略，结合本发明提出的SSD+HDD混合多层RAID架构，将可以有效解决此类性能损失。

下面将详细介绍针对SSD+HDD混合阵列的重建策略。由于在RAID控制器层面维护了每个条带的“不安全”标志位，因此重建时将优先考虑这些“不安全”的条带。将“不安全”条带重建完成后，将使用损坏的SSDS_x相对应的备份HDD H_x来恢复所有的数据块。而此过程由于仅涉及到S_x与其对应的H_x，所产生的I/O操作并不影响到其它正常工作的磁盘，因此阵列依然可以提供较高的在线事务处理性能。完成S_x数据块的恢复之后，再使用XOR校验值恢复其校验块。此时阵列的整体性能将与传统的RAID-5阵列一样遭受较大的性能影响，但由于校验块只占S_x全部容量的1/n，并且由于在恢复过程中磁盘阵列仍然在正常地处理在线事务，S_x所承担的校验块很有可能已经被写入阵列的新数据所更改，这些校验块不必进行重建操作。因此S_x中需要通过XOR校验值恢复的校验块将少于1/n，进一步缩短了阵列遭受较大性能影响的时间。

以下对采用HDD感知的数据块备份策略以及SSD+HDD混合阵列的重建策略做进一步的详细说明。

1、采用HDD感知的数据块备份策略

本发明提出的采用HDD感知的数据块备份策略有效减少了HDD的写入操作数量，保证了阵列的整体性能。

采用HDD感知的数据块备份策略

输入：写请求Req，上一次写请求Req′。步骤如下：

a1：当写请求Req到达第i块SSDS_i时，进行步骤a2；

a2：若阵列处于重建操作中，则将写请求Req直接备份至相对应的HDDH_i，完成后返回步骤a1继续服务下一个写操作。否则，转入步骤a3；

a3：若写请求Req涉及到的SSDSi的块类型为数据块，则进行步骤a4。否则，返回步骤a1继续服务下一个写操作；

a4：若当前写请求Req与上一次写请求Req′可以顺序化，则顺序化两个写请求，并标记顺序化后的写请求Req+Req′所涉及到的条带为“不安全”，然后进行步骤6。否则，转入步骤5；

a5：将上一个写请求Req′备份至相对应的HDDH_i，清除Req′所涉及的所有条带的“不安全”标记；同时标记本次写请求Req所涉及到的条带为“不安全”，然后返回步骤a1继续服务下一个写操作；

a6：判断顺序化后的写请求Req+Req′所涉及的条带数量是否超过T。若未超过T，则返回步骤a1继续服务下一个写操作；若已达到或超过T，则进行步骤a7；

a7：将顺序化后的写请求Req+Req′备份至相对应的HDDH_i，清除Req+Req′所涉及的所有条带的“不安全”标记，然后返回步骤a1继续服务下一个写操作。

2、SSD+HDD混合阵列的重建策略

本发明提出的针对SSD+HDD混合阵列的重建策略减少了重建时的I/O请求涉及到的磁盘数量，显著提高了重建时的磁盘阵列整体性能。

SSD+HDD混合阵列的重建策略

步骤如下：

b1：采用XOR校验重建所有“不安全”条带中的数据块，进行步骤b2；

b2：使用SSDS_i对应的备份HDD H_i重建其它数据块，进行步骤b3；

b3：若有写请求Req到达新更换的SSD S_i，则进行步骤b4；

b4：若写请求Req涉及到的SSDSi的块类型为校验块，则进行步骤b5；否则，继续重建过程直到结束，或者当下一个写请求到达时返回步骤b3；

b5：标记此条带为“已重建”，继续重建过程直到结束，或者当下一个写请求到达时返回步骤b3；

b6：采用XOR校验重建所有未标记“已重建”的校验块。结束。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (5)

1.基于SSD和HDD的RAID架构的备份方法，其特征是，包括：

步骤(101)：当一个写操作到达RAID控制器时，RAID控制器检测写操作中的数据块是否为校验块，如果是校验块，就将写操作只写入相应磁盘号的固态硬盘SSD中；如果不是校验块，就将写操作同时写入固态硬盘SSD和机械硬盘HDD中；

所述步骤(101)替换为：

步骤(1011)：将每一块磁盘划分为若干个条带，每一个条带都附有一个标志位；所述标志位用于记录当前条带中所有数据块是否已经都备份到机械硬盘HDD中，如果当前条带中的所有数据块都备份到机械硬盘HDD中，则标志位为“数据安全”；如果当前条带中的所有数据块至少有一个没有备份到机械硬盘HDD中，则标志位为“数据不安全”；

步骤(1012)：当一个写操作到达RAID控制器时，RAID控制器将写操作写入相应的固态硬盘SSD，并在RAID控制器中将当前写操作所涉及的所有条带的标志位置为“数据不安全”；

步骤(1013)：判断当前写操作与上一个写操作是否能够连接成顺序化操作，如果能够连接成顺序化操作，就将当前写操作与上一个写操作进行合并；如果不能够连接成顺序化操作，则将上一个写操作备份到机械硬盘HDD中，同时将上一个写操作涉及到的所有条带的标志位由“数据不安全”修改为“数据安全”；当前写操作仍存在于SSD中，等待下一次写操作的到来；返回步骤(1012)继续服务下一个写操作。

2.如权利要求1所述的基于SSD和HDD的RAID架构的备份方法，其特征是，

步骤(102)：当一个磁盘组中的固态硬盘SSD失效时，当前磁盘组的机械硬盘HDD接替固态硬盘SSD的工作，继续对数据块进行存储。

3.如权利要求2所述的基于SSD和HDD的RAID架构的备份方法，其特征是，

步骤(103)：当固态硬盘SSD失效的个数大于一个时，失效的固态硬盘SSD对应的机械硬盘HDD接替失效固态硬盘SSD的工作，继续对数据块进行存储。

4.如权利要求1所述的基于SSD和HDD的RAID架构的备份方法，其特征是，

所述当前写操作与上一个写操作是否能够连接成顺序化操作，是指当前写操作与上一个写操作涉及到的数据块区域首尾相接或者有重叠。

5.如权利要求1所述的基于SSD和HDD的RAID架构的备份方法，其特征是，

步骤(1012)替换为：

当一个写操作到达RAID控制器时，RAID控制器首先将写操作写入相应的固态硬盘SSD，然后判断顺序化操作所涉及的条带数量是否超过设定阈值；

如果未超过设定阈值，则RAID控制器将当前写操作与上一个写操作顺序化成一个写操作，并在RAID控制器中将顺序化后的写操作涉及到的所有条带的标志位置为“数据不安全”；进入步骤(1013)；

如果超过设定阈值，则RAID控制器将顺序化后的写操作备份到机械硬盘HDD中，同时将写操作涉及到的所有条带的标志位由“数据不安全”修改为“数据安全”，结束。

Images