CN109491613B - 一种持续数据保护存储系统及其使用该系统的存储方法 - Google Patents

Abstract

一种持续数据保护存储系统及其使用该系统的存储方法，该系统包含若干磁盘组成磁盘阵列，由磁盘阵列构成空间多级映射节能存储系统，所述的磁盘阵列为MS‑RAID磁盘阵列节能数据布局，是将RAID磁盘阵列分为非均匀的磁盘组。该方法是根据存储系统对性能的不同需求，采用适应性更强的多级别分组策略，通过调整并行磁盘数量使存储系统性能满足实时动态负载需求，实现高效节能的数据存储系统。并采用地址空间动态映射算法和读写操作优化策略构建节能存储系统，在保证系统性能需求及数据可靠性的前提下，降低整个磁盘阵列的能耗、降低存储系统的冷却成本和降低磁盘的故障率。

Description

一种持续数据保护存储系统及其使用该系统的存储方法

技术领域

本发明涉及一种空间多级映射节能存储系统和方法(MS-RAID)，特别是涉及一种持续数据保护存储系统及其使用该系统的存储方法。

背景技术

随着大数据(Big Data)时代的来临，个人、企业、政府以及科学研究无时无刻不在产生与使用数据，数据已经不单单是0和1的组合，更成了整个社会发展的基石。这种发展势必对存储设备的容量、传输率、可靠性提出了更高的要求。

为适应大容量、高传输率、高冗余性的存储特征，数据中心一般都采用独立磁盘冗余阵列(RAID，Redundant Array of Independent Disks)技术提升系统性能、提高传输速率，并且RAID具备的冗余特性更好的保证了数据对安全性需求。但是，RAID通过多磁盘并行提升系统性能的方法大幅提升了存储系统的能耗。研究表明：服务器在90％时间段利用率仅为10％～50％，并且服务器在低负载状态下能耗超出峰值能耗一半以上。大数据技术发展中，数据中心的能耗问题已成为主要瓶颈。

持续数据保护(Continuous Data Protection，CDP)能够提供粒度无限的恢复点(RPO)和接近即时的恢复时间(RTO)，是各个企业与组织的首选数据保护措施。而独立磁盘冗余阵列(Redundant Array of Independent Disks，RAID)已经成为各大中型数据中心的首选数据存储手段。但是，RAID在具有大容量，高效率特点的同时，也引起了一个非常严重的问题：高能耗。经研究，大型数据中心总成本的80％都来自于磁盘存储系统的能耗。

发明内容

本发明的目的是提供一种持续数据保护存储系统。

本发明的另一种目的在于提供一种针对持续数据保护存储系统的存储方法，该方法通过新的数据布局，是一种针对持续数据保护系统的节能数据布局方法。

应用CDP的存储系统数据存在明显特点：数据来源和形式较为单一，顺序写操作为主，即一般为“只写一次，偶尔读取”，并且对存储系统的性能要求在一定范围内存在以时间为特性的负载变化。本方法以CDP技术为应用场景，针对动态负载问题，在传统RAID的基础上提出一种存储空间多级映射的节能数据存储方法。

本发明的原理是根据存储系统对性能的不同需求，采用适应性更强的多级别分组策略，通过调整并行磁盘数量使存储系统性能满足实时动态负载需求，实现高效节能的数据存储系统。并采用地址空间动态映射算法和读写操作优化策略构建节能存储系统，在保证系统性能需求及数据可靠性的前提下，达到最佳节能效果。

本发明的技术目的是按如下的技术方案来实施的：

一种持续数据保护存储系统，该系统包含若干磁盘组成磁盘阵列，由磁盘阵列构成空间多级映射节能存储系统，该空间多级映射节能存储系统的磁盘状态可分为三种：运行状态、关闭状态与空闲状态。

所述的磁盘阵列为MS-RAID磁盘阵列节能数据布局，是将RAID磁盘阵列分为非均匀的磁盘组。

所述的MS-RAID磁盘阵列在Linux3.1内核下配置了由6块1T硬盘组成的两级别分组MS-RAID5，其中G₀组包含两块硬盘，G₁组包含三块硬盘。

由于空间多级映射节能存储系统根据不同的负载需求来调用不同的磁盘组，为了能在一组磁盘启动后快速定位到待写入数据块，在每组磁盘中维护一个写地址指针P_LBA，用来记录每组磁盘中写入数据的最末端的逻辑地址位置。当负载需求变动需要开启另一个磁盘组时，根据P_LBA的指针信息，将新数据写入指针指向的下一个位置，以此减少系统寻址延迟。

空间多级映射节能存储系统的磁盘状态可分为三种：运行状态、关闭状态与空闲状态。三种状态的调度关系。具体调度如下：

1)首先，根据由负载感知策略获得负载参数V，将V与各级磁盘组负载阈值进行比较，开启适合当前负载的磁盘组；

2)根据磁盘组内维护的写地址指针P_LBA指向的逻辑地址blkno，计算出所在的具体子条带号、条带号和磁盘号，并且可获得条带内对应的校验块所在磁盘Sp。对组内的数据盘Disk及校验盘Sp分别进行状态判断：若磁盘处于关闭状态，则将其调度为空闲状态，做好数据写入准备。待数据开始向Disk及Sp写入时，磁盘状态由空闲转为运行；

3)当负载值发生变动后，此次访问在组内结束，Disk与Sp的状态由运行转为空闲；若t时刻再无数据访问，则将Disk与Sp调度为停止状态。并且在该磁盘组进入空闲状态的前pre_read(由磁盘性能决定，磁盘关闭状态到空闲状态的转换所需时间)时刻，再次执行1)获取预开启的下一磁盘组，对其进行如2)的判断。

本发明的有益效果如下:

1)降低整个磁盘阵列的能耗。由于采用动态选择条带开启磁盘的方式，每次都选择最合适的数据磁盘，显著降低整个系统的能耗。

2)降低存储系统的冷却成本。本发明能够有效地降低存储设备的能耗，由此产生的热量也相应的降低，进而降低存储系统的冷却成本。采用这种动态负载开启数据磁盘的方法可以降低能耗和冷却成本。

3)降低磁盘的故障率。因能耗降低，磁盘产生的热量也相应地减少，因此，带来磁盘温度的有效降低，使磁盘故障率降低，延长了磁盘的使用寿命。

下面结合附图，通过具体实施例对本发明进行详细说明。

附图说明

图1为本发明磁盘工作状态转换示意图；

图2为空间多级映射节能存储系统结构图；

图3为6磁盘/两级空间多级映射节能存储系统；

图4为顺序写性能对比图；

图5为写响应时间对比图；

图6为三种方案能耗对比图。

具体实施方式

相关专业术语解释：

1.RAID：RAID既独立磁盘冗余阵列，简称磁盘阵列。磁盘阵列是由很多价格较便宜的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。磁盘阵列还能利用同位检查(Parity Check)的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中；

2.S-RAID：一种先进的磁盘阵列节能数据布局；

3.MS-RAID：空间多级映射节能存储方法；

4.Grp₀和Grp₁：第0组磁盘组和第1组磁盘组，磁盘组是由多块磁盘组成的存储结构；

5.CDP：连续数据保护是一种连续捕获和保存数据变化，并将变化后的数据独立于初始数据进行保存的方法，而且该方法可以实现过去任意一个时间点的数据恢复；

6.条带：条带(stripe)是把连续的数据分割成相同大小的数据块，把每段数据分别写入到阵列中的不同磁盘上的方法。简单的说，条带是一种将多个磁盘驱动器合并为一个卷的方法；

图1是本发明磁盘工作状态转换示意图，具体操作如下：首先，根据由负载感知策略获得负载参数，将负载参数与各级磁盘组负载阈值进行比较，开启适合当前负载的磁盘组；随后根据磁盘组内维护的写地址指计算出具体子条带号、条带号和磁盘号，并且可获得条带内对应的校验块所在磁盘。对组内的数据盘及校验盘分别进行状态判断：若磁盘处于关闭状态，则将其调度为空闲状态，做好数据写入准备。待数据开始向数据盘及校验盘写入时，磁盘组状态由空闲转为运行；当负载值发生变动后，此次访问在组内结束，数据盘及校验盘状态由运行转为空闲；若一段时间再无数据访问，则将磁盘组调度为停止状态。

本发明的具体布局方式如下：图2为空间多级映射节能存储系统结构图，如图2所示，对存储系统内相同条带上的数据块进行了多级分组，不同级别磁盘组内数据块数量不同，可提供多级别的访问性能。低性能磁盘组内数据块数量较少，能耗低；高性能磁盘组内数据块多，能耗高。当系统访问活跃时，对性能要求较高，启动高性能磁盘组，低性能磁盘组处于待机状态以节省能耗；反之，当系统访问非活跃时，存储系统对性能要求较低，启动低性能磁盘组而将高性能组调至待机状态，既保证了系统对性能的要求，又减少了能耗。

由于RAID4的布局方式，校验盘容易成为系统性能的瓶颈，本发明采用RAID5数据冗余方式。(RAID4为带奇偶校验码的磁盘阵列，按块存取，可以单独地对某个磁盘进行I/O操作。对于RAID4，每次读改写的操作会涉及到数据盘中数据的读取写入与校验盘中校验信息的读取更及更新。因此频繁的小数据块随机写，会造成各数据盘不同条带间相互征用校验盘，从而导致校验盘成为RAID4系统的性能瓶颈。RAID5通过校验块在磁盘间的均匀部署，解决了RAID4校验盘的瓶颈问题，利用每个条带存放的奇偶校验信息作为数据冗余能力，并且为了避免各条带征用校验盘的问题RAID5奇偶校验信息平均分布在各个磁盘中。当RAID5中存在小于两块的故障盘时，利用正常工作的磁盘进行异或运算即可恢复故障盘的数据。)

设磁盘阵列MS-RAID5由N块磁盘(N≥3)组成一个1行×N列的矩阵，将磁盘阵列划分为N个条带，用Stripe_i表示第i条带，每个条带上的N个存储块划分为N-1块数据块以及1块校验块，其中第i条带上的校验数据块Parity_i是由此条带上N-1块数据块异或运算得出的。为了避免校验盘的频繁转换而导致磁盘的短时间间隔内停启，将每个条带划分为m个子条带，同条带组内校验数据位于同一块磁盘，提高存储系统并行性的同时一定程度上减少了磁盘的停启频率。

以X(i，j)表示磁盘中的存储块，其中i表示存储块所在的条带，j表示存储块所在的磁盘号，0≤i，j≤N-1。把D(i，j)定义为数据块的表示方式，而当存储块为数据块时，D(i，j)可以用公式1表示：

其同条带的校验块Parity_i可以用公式2表示：

Parity_i＝X(i,N-1-i) (2)

为了能够适应CDP对系统性能的动态需求，对磁盘阵列进行了多级分组。将每个条带上的N-1个数据块分为P组：Grp₀为第0组，包含S₀个数据块；Grp₁为第1组，包含S₁个数据块；以此类推，Grp_p为第p组，包含S_p个数据块.其中，每组数据块数根据不同的性能需求来设定，且P≥2，S_p≥1，各组与其数据块分配的关系满足公式3：

为方便计算校验值，空间多级映射节能存储系统对数据子块进行编号：设置0为起始编号，则在同一分组的数据块内的数据子块以水平编号的方式进行编号，若数据子块位于同一条带组，则按照分组顺序对数据子块进行水平编号。校验块Parity_i中包含的校验子块有：

Parity_i＝{P_i·m,P_i·m+1,P_i·m+2,...,P_i·m+m-1} (4.7)

其中，P_i为第i个校验子块，每个校验子块由同一子条带的N-1块数据子块异或运算得出。

实施例1：

图3为6磁盘/两级空间多级映射节能存储系统，如图3所示，是以6块磁盘组成的两级的空间多级映射节能存储系统：把6块磁盘分成两组，第0组为包括磁盘₀与磁盘₁的低性能磁盘组，第1组为包括磁盘₂、磁盘₃与磁盘₄的高性能磁盘组。校验块根据上文提到的磁盘布局方法均匀的分布在6块磁盘内。

1)当数据访问量处于低谷时，第1组处于待机状态，而能够满足系统性能需求的第0组处于活跃状态，这时开启的磁盘数量较少，数据写入数据子块D₀～D₇，D₂₀～D₂₇，…，中。

2)当数据访问量处于高峰时激活第1组，数据写入第1组并且将第0组转换到待机状态，这时开启的磁盘数量较多，可以提供相对更高的存储带宽以适应系统对存储性能的需求。此时，数据写入数据子块D₈～D₁₉，D₂₈～D₃₉，…，中。磁盘状态调度的算法见算法1。

实施例2：

实验用硬盘与服务器的参数见表1:磁盘参数与表2：服务器参数。

表1磁盘参数

表2服务器参数

在Linux3.1内核下配置了由6块1T硬盘组成的两级别分组MS-RAID5，其中G₀组包含两块硬盘，G₁组包含三块硬盘。

使用IOMeter工具通过Linux端的Dynamo负载发生器分别对MS-RAID及S-RAID产生2KB～4096KB的80％与100％连续写请求。

写性能实验：

图4为顺序写性能对比图，如图4所示为不同负载需求下性能测试结果。数据块较小时，MS-RAID与S-RAID写性能相差不大；当数据块大小超过128KB时，MS-RAID写性能有了显著提高升。其主要原因如下：当数据块大小小于128KB时，MS-RAID启用低级别的G₀组，G₁组处于待机状态，低级别磁盘组与MS-RAID5并行度相当，写性能没有明显差距；而当数据块大小超过128KB时，MS-RAID中G₀组不能满足性能需求，为适应较高负载开启高级别的G₁组，组内并行度增加，条带大小较S-RAID5提升，从而整条写数据量增加，减少了校验数据的计算频率与校验数据的写入频率，写性能显著提升。MS-RAID与双盘分组的S-RAID均在数据块大小4MB时写性能达到最大，80％连续写情况下，分别为155.79MBps与118.55MBps，MS-RAID相对S-RAID5系统性能提升了31.4％；100％连续写下，最大写性能分别为197.56MBps与147.83MBps，系统性能提升了33.6％。

响应时间实验：

图5为写响应时间对比图，如图5所示，写请求低于128KB时，两种方案响应时间差距不明显，均处于磁盘开启过程中，并进行磁盘组预读。当写请求到256KB时，MS-RAID开启已经了G₁磁盘组，并行性提高，与S-RAID相比响应时间较低。

能耗实验：

在实验过程中，为避免系统缓存区域对实验数据的影响，在系统预运行24小时后，再对MS-RAID与S-RAID进行持续24小时能耗监控.能耗测试结果如图6所示:

从能耗测试初期阶段观察，MS-RAID5与双盘组S-RAID5能耗显示相差不大，其原因是夜间只运行12路摄像机，负载较小，MS-RAID5在保证系统性能的前提下只开启了低级别磁盘组G₀。三盘组的S-RAID5在实验初期低负载的条件下比MS-RAID5多开启一块磁盘，造成系统性能过剩与更大的能耗开销。此阶段MS-RAID平均能耗为9.3W，三盘组S-RAID平均能耗为12.3W，节省24.4％能耗。

随着实验进行到中期，32路摄像机同时工作，负载增大，系统对性能的需求也随之增大。MS-RAID5开启了较高性能的G₁磁盘组，能耗增大的同时也提供了系统对高性能的需求。双盘组的S-RAID5虽然一直保持低能耗状态，但不能保证系统对高性能的需求。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种持续数据保护存储系统，该系统包含若干磁盘组成磁盘阵列，由磁盘阵列构成空间多级映射节能存储系统，其特征在于：所述的磁盘阵列为MS-RAID磁盘阵列节能数据布局，是将RAID磁盘阵列分为非均匀的磁盘组；

对存储系统内相同条带上的数据块进行了多级分组，不同级别磁盘组内数据块数量不同，可提供多级别的访问性能；低性能磁盘组内数据块数量较少，能耗低；高性能磁盘组内数据块多，能耗高；

当系统访问活跃时，对性能要求较高，启动高性能磁盘组，低性能磁盘组处于待机状态以节省能耗；

反之，当系统访问非活跃时，存储系统对性能要求较低，启动低性能磁盘组而将高性能组调至待机状态，既保证了系统对性能的要求，又减少了能耗。

2.根据权利要求1所述的持续数据保护存储系统，其特征在于：该空间多级映射节能存储系统的磁盘状态可分为三种：运行状态、关闭状态与空闲状态。

3.根据权利要求1所述的持续数据保护存储系统，其特征在于：所述的MS-RAID磁盘阵列在Linux3.1内核下配置了由6块1T硬盘组成的两级别分组MS-RAID5，其中G₀组包含两块硬盘，G₁组包含三块硬盘。

4.一种使用权利要求1-3任意一项所述的持续数据保护存储系统的存储方法，其中，对该空间多级映射节能存储系统的磁盘的三种状态：运行状态、关闭状态与空闲状态，进行调度，具体调度步骤如下：

1)首先，根据由负载感知策略获得负载参数V，将V与各级磁盘组负载阈值进行比较，开启适合当前负载的磁盘组；

2)根据磁盘组内维护的写地址指针P_LBA指向的逻辑地址blkno，计算出所在的具体子条带号、条带号和磁盘号，并且可获得条带内对应的校验块所在磁盘Sp；对组内的数据盘Disk及校验盘Sp分别进行状态判断：若磁盘处于关闭状态，则将其调度为空闲状态，做好数据写入准备；待数据开始向Disk及Sp写入时，磁盘状态由空闲转为运行；

3)当负载值发生变动后，此次访问在组内结束，Disk与Sp的状态由运行转为空闲；若t时刻再无数据访问，则将Disk与Sp调度为停止状态；并且在该磁盘组进入空闲状态的前时刻，该时刻(pre_read)是由磁盘性能决定，磁盘关闭状态到空闲状态的转换所需时间，再次执行1)获取预开启的下一磁盘组，对其进行如2)的判断。

5.根据权利要求4所述的存储方法，其特征在于：各磁盘组并行读写能力不同，别磁盘组根据存储系统的性能需求动态调配。

6.根据权利要求4所述的存储方法，其特征在于：

1)当数据访问量处于低谷时，第1组磁盘组Grp₁处于待机状态，而能够满足系统性能需求的第0组磁盘组Grp₀处于活跃状态，这时开启的磁盘数量较少，数据写入数据子块D₀～D₇，D₂₀～D₂₇，…，中；

2)当数据访问量处于高峰时激活第1组磁盘组Grp₁，数据写入第1组磁盘组Grp₁并且将第0组磁盘组Grp₀转换到待机状态，这时开启的磁盘数量较多，可以提供相对更高的存储带宽以适应系统对存储性能的需求；此时，数据写入数据子块D₈～D₁₉，D₂₈～D₃₉，…，中。

7.根据权利要求4所述的存储方法，其特征在于：

所述的调度为性能测试，是使用IOMeter工具通过Linux端的Dynamo负载发生器分别对MS-RAID及S-RAID产生2KB～4096KB的80％与100％连续写请求。

Images