CN101414273A - 存储系统raid冗余的数据风险评估方法 - Google Patents

Abstract

本发明公开了存储系统RAID冗余的数据风险评估方法，其特征在于：对于一个特别的目标系统，判断一种RAID级别是否适合所述目标系统，首先将RAID的数据存储风险分为静态数据风险和动态数据风险，并对这两种风险进行量化分析，然后根据这两种风险对于目标系统的承受能力要求进行风险评估，判断所述RAID级别是否适用于目标系统；所述目标系统就是用户将要用所述RAID级别进行数据存储的系统；该方法可以反映当今IT运维模式下高端存储设备的真实数据存储风险，通过这种静态数据风险和动态数据风险相结合的方式，从两个方面准确地评估预算一种RAID级别是否适合一个系统，可以降低系统使用以后出现存储故障的概率。

Description

存储系统RAID冗余的数据风险评估方法

技术领域

本发明涉及数据风险评估方法，尤其是大规模的存储系统RAID冗余的数据风险评估方法。

背景技术

数据存储在磁盘阵列上存在由于磁盘阵列磁盘损坏而引起数据丢失的风险，为了应对这种风险，实际应用中的重要数据都会存放于经过RAID(Redundant Array of Independent/Inexpensive Disks)处理的存储设备中，以避免因部分磁盘的损坏而丢失所存储的数据。高端存储上常用的RAID级别有RAID1+0(2D+2D)、RAID1+0(4D+4D)、RAID5(3D+1P)、RAID5(7D+1P)、RAID6(4D+2P)等(注：D指数据磁盘，P指校验数据磁盘，3D+1P指4个盘构成一个RAID5，其中有3个数据盘，1个校验盘)。

在具体选择RAID级别时，一个首要的考虑因素就是数据丢失的风险概率，根据传统的理论，这将由一个RAID组中在不丢失数据的情况下可以容许损坏的磁盘数量以及容许损坏的磁盘的组合方式来大致判断。这是一种定性而非定量的静态风险评估方法。例如RAID5只能容许任意一个盘损坏，而RAID6可以容许任意2个盘损坏，而RAID1+0(4D+4D)根据坏盘的具体组合关系可以容许1～4个盘损坏。

传统的关于RAID冗余的数据风险评估的静态定性方法是基于如下的假设：

1、不考虑热备盘的使用和快速及时的维护。当一个RAID组中如果出现坏盘，则这些坏盘会在存储中保留相当长的时间(短则数周、一月、长则一年甚至更长)；

2、当后续有新的坏盘产生时，原来坏的盘依然没有被及时更换，所以随着新的坏盘的产生，数据就会丢失。

但是，目前的高端存储设备都具有多个全局热备盘(Global Spare Disk)，而且一般都具有自动故障监控告警的功能(即Call Home功能，具备该功能的设备出现故障时会自动向设备厂家发送告警信息)。以某公司采用的HDS高端存储为例，每台阵列最多可以配16个全局热备盘，一旦发生磁盘故障，故障盘就会被全局热备盘自动替换，而且会立即通过Hi-Track系统通知HDS技术服务中心，技术服务中心就会立即调备件到现场并通知技术人员进行更换，维持全局热备盘的数量。这就意味着任何一个RAID组在发生第一个磁盘损坏后，都会在大约1.5到5小时内被快速地自动修复，第二个磁盘的损坏极少有机会在第一个磁盘尚未修复前的短短数小时内发生。往往是后续有新的磁盘坏了，但是前面的坏盘早已被修复，所以在许多情况下，坏再多的磁盘也不会有数据丢失。

鉴于这些情况，传统的RAID冗余的数据风险评估的静态定性方法由于其隐含的前提假设已经与实际情况产生了巨大的偏离，故而就不能科学地反映现实环境下数据存储的真实风险，同时，定性的比较方法也不能进行量化的分析。

RAID级别的数据存储风险和存储的有效利用率往往是矛盾的。由于传统评估方法的上述不客观性和非量化的模糊性，导致在实际生产活动中常常为了保证数据风险在可控范围内而不适当地大量采用数据风险低但存储利用率也低的RAID级别，这直接导致存储系统的浪费。

发明内容

本发明的目的旨在提供一套大规模的存储系统RAID冗余的数据风险评估方法，能够反映当今IT运维模式下高端存储设备的真实数据存储风险。

本发明的技术方案如下：

存储系统RAID冗余的数据风险评估方法，其特征在于：对于一个特别的目标系统，判断一种RAID级别是否适合所述目标系统，首先将RAID的数据存储风险分为静态数据风险和动态数据风险，并对这两种风险进行量化分析，然后根据这两种风险对于目标系统的承受能力要求进行风险评估，判断所述RAID级别是否适用于目标系统；所述目标系统就是用户将要用所述RAID级别进行数据存储的系统。

所述静态数据风险是在没有全局热备盘并且没有积极有效的维护的情况下每个RAID组内部发生足够数量磁盘同时损坏而引起数据丢失的静态概率。在存储发生意外时，例如掉电、撞击、意外振动、化学污染、强电磁辐射导致等意外情况，由于多个磁盘可能同时受损而全局热备盘没有时间和机会介入，这时采用静态数据风险来衡量这些意外情况下的数据风险就比较合理。本发明的静态数据风险是定量的分析，与传统理论的静态定性比较是不同的概念。

所述动态数据风险是在RAID组中第一个磁盘损坏后，在由全局热备盘自动顶替并完成将数据由坏盘或者其他盘拷贝(或者由计算生成)到热备盘的时间段内，同时发生第二个磁盘或者更多磁盘损坏并造成数据丢失的风险。动态数据风险与坏盘由全局热备盘顶替的平均时间密切相关。

现实情况中由于足够数量的全局热备盘以及积极维护的的持续存在，任何高端磁盘阵列的RAIDGroup中的坏盘只可能存在数小时，因此静态风险系数在常规情况下已经不能真实地反映数据存储的可靠性。在系统的正常运行生命周期中，用动态的分析方法来考量数据存储风险更能反映磁盘的自然损坏引起的数据丢失风险。

在得出静态风险和动态风险的具体数值后，根据机房配套环境的质量、存储系统整体质量、其它数据保护措施、本地区灾难发生的可能性大小、全局热备盘与全部磁盘的数量比例、维护水平等来评估静态数据风险和动态数据风险对于待评估的特定目标系统的影响，如果某种RAID级别对于拟评估系统的风险低于该系统的要求，则该RAID级别可以被安全使用，否则，就必须采用其它风险更低的RAID级别。

最后通过静态风险和动态风险的综合评估，确定一个合适的RAID级别，即风险可以接受，但同时存储利用率也比较高，性能也可以接受。

所述风险评估的流程如下：首先根据维护历史资料中的故障统计得出磁盘的平均无故障时间MTBF，统计或测试磁盘被全局热备盘自动替换完成的时间，然后根据风险评估系统的Raid组的总数得到静态数据风险和动态数据风险，最后通过评估目标系统的风险承受能力和风险倾向与静态数据风险和动态数据风险对比，得出目标系统是否适合所述RAID级别。

所述磁盘为新型存储时，是根据维护历史资料中的故障统计和厂家公布的磁盘MTBF结合得出实际的磁盘MTBF。

所述静态数据风险的计算公式为：

Ts＝(T0^K1)/[N＊K0＊(K0-1)＊(...)＊(K0-K1+1)]；

上式中：

T0表示单盘实际平均无故障时间，以年为单位；

N表示所要评估系统的Raid Group总数(假定都采用这种Raid级别)；

K0表示这种RAID级别的单个RAID Group磁盘数量；

K1表示这种RAID级别中单个RAID Group发生数据丢失所需的最少坏盘数；

Ts表示静态数据风险，也就是在没有全局热备盘和持续维护时所评估系统平均发生一起数据丢失所需时间，以年为单位。

所述动态数据风险的计算公式为：

Td＝(T0^K1)/[N＊K0＊(K0-1)＊(K0-2)＊(...)＊(K0-K1+1)＊(T1/8760)^(K1-1)]；

上式中：

T0表示单盘实际平均无故障时间，以年为单位；

T1表示这种RAID级别的故障磁盘被全局热备盘自动替换完成所需花费的平均时间，以小时为单位；N表示所要评估系统的Raid Group总数(假定该系统都采用这种Raid级别)；

K0表示这种RAID级别的单个RAID Group磁盘数量；

K1表示这种RAID级别单个RAID Group发生数据丢失所需的最少坏盘数；

Td表示动态数据风险，就是在有全局热备盘和持续维护时所评估系统平均发生一起数据丢失所需时间，以年为单位。

所述T0和T1主要是根据对存储系统的维护历史资料计算出来的，其中：

T0如果是指已有使用经验的存储，则T0＝S/M(其中S为样本磁盘总数，M为样本全集每年的实际平均坏盘数)；T0如果是指新型存储，则从厂家公布的磁盘MTBF进行修正性估算，T0＝(S/M)*M1/M2(其中S为其它已有使用经验的样本磁盘总数，M为该已有使用经验的样本全集每年的实际平均坏盘数，M1为新型存储厂家公布的磁盘MTBF，M2为样本存储厂家公布的磁盘MTBF)；

T1如果是指已有使用经验的存储，则T1由系统日志和维护记录产生；T1如果是指新型存储，则T1由新型存储经实际测试产生。

本发明的有益效果如下：

该方法通过合理的量化的风险计算方法，准确地反映当今IT运维模式下高端存储设备的真实数据存储风险，通过这种静态数据风险和动态数据风险相结合的方式，从两个方面准确地评估某种RAID级别是否适合一个系统，从数据存储风险和存储有效利用率这对矛盾中寻找一个最佳的平衡点，即风险可以接受，但同时存储利用率也比较高，从而在保证使用需求的前提下最大可能地降低存储系统的成本，为企业带来巨大的经济效益。

附图说明

图1为本发明的风险评估流程示意图

具体实施方式

实施例1

存储系统RAID冗余的数据风险评估方法，对于一个特别的目标系统，判断一种RAID级别是否适合所述目标系统，首先将RAID的数据存储风险分为静态数据风险和动态数据风险，并对这两种风险进行量化分析，然后根据这两种风险对于目标系统的承受能力要求进行风险评估，判断所述RAID级别是否适用于目标系统；所述目标系统就是用户将要用所述RAID级别进行数据存储的系统。

所述静态数据风险是在没有全局热备盘并且没有积极有效的维护的情况下每个RAID组内部发生足够数量磁盘同时损坏而引起数据丢失的静态概率。在存储发生意外时，例如掉电、撞击、意外振动、化学污染、强电磁辐射导致等意外情况，由于多个磁盘可能同时受损而全局热备盘没有时间和机会介入，这时采用静态数据风险来衡量这些意外情况下的数据风险就比较合理。本发明的静态数据风险是定量的分析，与传统理论的静态定性比较是不同的概念。

所述动态数据风险是在RAID组中第一个磁盘损坏后，在由全局热备盘自动顶替并完成将数据由坏盘或者其他盘拷贝(或者由计算生成)到热备盘的时间段内，同时发生第二个磁盘或者更多磁盘损坏并造成数据丢失的风险。动态数据风险与坏盘由全局热备盘顶替的平均时间密切相关。

现实情况中由于足够数量的全局热备盘以及积极维护的的持续存在，任何高端磁盘阵列的RAIDGroup中的坏盘只可能存在数小时，因此静态风险系数在常规情况下已经不能真实地反映数据存储的可靠性。在系统的正常运行生命周期中，用动态的分析方法来考量数据存储风险更能反映磁盘的自然损坏引起的数据丢失风险。

在得出静态风险和动态风险的具体数值后，根据机房配套环境的质量、存储系统整体质量、其它数据保护措施、本地区灾难发生的可能性大小、全局热备盘与全部磁盘的数量比例、维护水平等来评估静态数据风险和动态数据风险对于待评估的特定目标系统的影响，如果某种RAID级别对于拟评估系统的风险低于该系统的要求，则该RAID级别可以被安全使用，否则，就必须采用其它风险更低的RAID级别。

最后通过静态风险和动态风险的综合评估，确定一个合适的RAID级别，即风险可以接受，但同时存储利用率也比较高，性能也可以接受。

所述风险评估的流程如下：首先根据维护历史资料中的故障统计得出磁盘的平均无故障时间MTBF，统计或测试磁盘被全局热备盘自动替换完成的时间，然后根据风险评估系统的Raid组的总数得到静态数据风险和动态数据风险，最后通过评估目标系统的风险承受能力和风险倾向与静态数据风险和动态数据风险对比，得出目标系统是否适合所述RAID级别。

所述磁盘为新型存储时，是根据维护历史资料中的故障统计和厂家公布的磁盘MTBF结合得出实际的磁盘MTBF。

所述静态数据风险的计算公式为：

Ts＝(T0^K1)/[N＊K0＊(K0-1)＊(...)＊(K0-K1+1)]；

上式中：

T0表示单盘实际平均无故障时间，以年为单位；

N表示所要评估系统的Raid Group总数(假定都采用这种Raid级别)；

K0表示这种RAID级别的单个RAID Group磁盘数量；

K1表示这种RAID级别中单个RAID Group发生数据丢失所需的最少坏盘数；

Ts表示静态数据风险，也就是在没有全局热备盘和持续维护时所评估系统平均发生一起数据丢失所需时间，以年为单位。

所述动态数据风险的计算公式为：

Td＝(T0^K1)/[N＊K0＊(K0-1)＊(K0-2)＊(...)＊(K0-K1+1)＊(T1/8760)^(K1-1)]；

上式中：

T0表示单盘实际平均无故障时间，以年为单位；

T1表示这种RAID级别的故障磁盘被全局热备盘自动替换完成所需花费的平均时间，以小时为单位；N表示所要评估系统的Raid Group总数(假定该系统都采用这种Raid级别)；

K0表示这种RAID级别的单个RAID Group磁盘数量；

K1表示这种RAID级别单个RAID Group发生数据丢失所需的最少坏盘数；

Td表示动态数据风险，就是在有全局热备盘和持续维护时所评估系统平均发生一起数据丢失所需时间，以年为单位。

所述T0和T1主要是根据对存储系统的维护历史资料计算出来的，其中：

T0如果是指已有使用经验的存储，则T0＝S/M(其中S为样本磁盘总数，M为样本全集每年的实际平均坏盘数)；T0如果是指新型存储，则从厂家公布的磁盘MTBF进行修正性估算，T0＝(S/M)*M1/M2(其中S为其它已有使用经验的样本磁盘总数，M为该已有使用经验的样本全集每年的实际平均坏盘数，M1为新型存储厂家公布的磁盘MTBF，M2为样本存储厂家公布的磁盘MTBF)；

T1如果是指已有使用经验的存储，则T1由系统日志和维护记录产生；T1如果是指新型存储，则T1由新型存储经实际测试产生。

实施例2

以前，某移动通讯运营商的存储设备受技术条件和数据存储风险评估方法的限制，RAID方式一直以RAID1(包括RAID1+0和RAID0+1)为主，极少采用RAID5。但是RAID1的磁盘有效利用率仅为50％，而RAID5(3D+1P)的磁盘有效利用率确可以达到75％。能不能采用磁盘利用率更高的RAID5(3D+1P)成为提高磁盘有效利用率的关键问题，这就需要研究到底RAID5的数据存储风险有多高，是不是可以接受的风险。遗憾的是，根据当时的理论和评估方法，无法回答这个风险值到底有多高。

现在，通过对RAID方式进行比较、研究，从数据存储可靠性、性能、经济性这几方面进行理论研究和大量实际测试，得出了大规模存储系统RAID冗余的数据风险评估方法，通过对数据风险的科学的量化分析，来指导实际工作中RAID级别的正确选择。

基于这种新的数据风险评估方法，业务支撑系统全部采用RAID5的静态风险为平均0.2575年(发生一次数据丢失)，而动态风险为563.6年(发生一次数据丢失)，考虑到业务支撑系统有相当多的全局热备盘，维护工作积极有效，机房的环境条件和防护措施都比较好，而且数据还有除RAID以外的其它保护措施，因此对于业务支撑系统主要应当考虑动态风险，并且其风险水平完全可以接受。根据这一评估结论，完成了HDS9960高端磁盘阵列的改造，全部采用RAID5，直接增加了3个TB的有效容量，增幅为16.2％。由于措施得当，采用RAID5后性能不仅没有下降，反而提高了4倍；而因磁盘损坏造成数据丢失的情况至今为零。

此后，又根据前期的研究成果在新购存储中广泛采用RAID5，现在更进一步对原有部分RAID1存储改造成RAID5使用，经过探索和实践，RAID5在集中存储系统的有效容量中占比由50％左右提高到了现在的88％左右，节省了大量的存储资源。另一方面，从数据存储可靠性来看，自改造的业务支撑系统集中化以来从未有过因磁盘损坏导致数据丢失的情况，这说明RAID5的数据存储可靠性是可以满足要求的。

这套评估方法在对数据存储风险合理评估的基础上，结合其他对存储性能研究的成果，实现了在保证足够的数据存储安全性的基础上，充分采用过去被认为不能提供足够安全性但存储利用率最高的RAID5，取得了巨大的经济效益。

Claims (9)

1、存储系统RAID冗余的数据风险评估方法，其特征在于：对于一个特别的目标系统，判断一种RAID级别是否适合所述目标系统，首先将RAID的数据存储风险分为静态数据风险和动态数据风险，并对这两种风险进行量化分析，然后根据这两种风险对于目标系统的承受能力要求进行风险评估，判断所述RAID级别是否适用于目标系统；所述目标系统就是用户将要用所述RAID级别进行数据存储的系统。

2、根据权利要求1所述存储系统RAID冗余的数据风险评估方法，其特征在于：所述静态数据风险是在没有全局热备盘并且没有积极有效的维护的情况下每个RAID组内部发生足够数量磁盘同时损坏而引起数据丢失的静态概率。

3、根据权利要求1或2所述存储系统RAID冗余的数据风险评估方法，其特征在于：所述动态数据风险是在RAID组中第一个磁盘损坏后，在由全局热备盘自动顶替并完成将数据由坏盘或者其他盘转到到热备盘的时间段内，同时发生第二个磁盘或者更多磁盘损坏并造成数据丢失的风险。

4、根据权利要求1所述存储系统RAID冗余的数据风险评估方法，其特征在于所述风险评估的流程如下：首先根据维护历史资料中的故障统计得出磁盘的平均无故障时间MTBF，统计或测试磁盘被全局热备盘自动替换完成的时间，然后根据风险评估系统的Raid组的总数得到静态数据风险和动态数据风险，最后通过评估目标系统的风险承受能力和风险倾向与静态数据风险和动态数据风险对比，得出目标系统是否适合所述RAID级别。

5、根据权利要求4所述存储系统RAID冗余的数据风险评估方法，其特征在于：所述磁盘为新型存储时，是根据维护历史资料中的故障统计和厂家公布的磁盘MTBF结合得出实际的磁盘MTBF。

6、根据权利要求1或4所述存储系统RAID冗余的数据风险评估方法，其特征在于：所述静态数据风险的计算公式为：

Ts＝(T0^K1)/[N＊K0＊(K0-1)＊(...)＊(K0-K1+1)]；

上式中：

T0表示单盘实际平均无故障时间，以年为单位；

N表示所要评估系统的Raid Group总数；

K0表示这种RAID级别的单个RAID Group磁盘数量；

K1表示这种RAID级别中单个RAID Group发生数据丢失所需的最少坏盘数；

Ts表示静态数据风险，也就是在没有全局热备盘和持续维护时所评估系统平均发生一起数据丢失所需时间，以年为单位。

7、根据权利要求4所述存储系统RAID冗余的数据风险评估方法，其特征在于：所述动态数据风险的计算公式为：

Td＝(T0^K1)/[N＊K0＊(K0-1)＊(K0-2)＊(...)＊(K0-K1+1)＊(T1/8760)^(K1-1)]；

上式中：

T0表示单盘实际平均无故障时间，以年为单位；

T1表示这种RAID级别的故障磁盘被全局热备盘自动替换完成所需花费的平均时间，以小时为单位；N表示所要评估系统的Raid Group总数；

K0表示这种RAID级别的单个RAID Group磁盘数量；

K1表示这种RAID级别单个RAID Group发生数据丢失所需的最少坏盘数；

Td表示动态数据风险，就是在有全局热备盘和持续维护时所评估系统平均发生一起数据丢失所需时间，以年为单位。

8、根据权利要求6所述存储系统RAID冗余的数据风险评估方法，其特征在于：当T0指已有使用经验的存储时，T0＝S/M，其中S为样本磁盘总数，M为样本全集每年的实际平均坏盘数；当T0指新型存储时，则从厂家公布的磁盘MTBF进行修正性估算，T0＝(S/M)*M1/M2，其中S为其它已有使用经验的样本磁盘总数，M为该已有使用经验的样本全集每年的实际平均坏盘数，M1为新型存储厂家公布的磁盘MTBF，M2为样本存储厂家公布的磁盘MTBF。

9、根据权利要求7所述存储系统RAID冗余的数据风险评估方法，其特征在于：当T1指已有使用经验的存储时，T1由系统日志和维护记录产生；当T1指新型存储时，T1由新型存储经实际测试产生。