CN105353991A - 一种磁盘阵列重建优化方法及装置 - Google Patents

Abstract

本发明公开了一种磁盘阵列重建优化方法及装置，该方法包括：获取存储系统中所有的写数据和热点数据；所述热点数据为磁盘阵列整个重建期间至少两次被读取的数据；对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；所述空闲存储设备为代理存储设备。当磁盘阵列的重建完成时，将所述写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。该方法实现提高存储系统的稳定性。

Description

一种磁盘阵列重建优化方法及装置

技术领域

本发明涉及磁盘阵列技术领域，特别是涉及一种磁盘阵列重建优化方法及装置。

背景技术

目前，随着信息化的推进，需要存储的信息量呈爆炸式增长，存储系统规模的日益壮大给数据安全性和可靠性带来了巨大的挑战，尤其是对于金融、军事、大型企业等应用领域，存储系统一旦出现不可恢复的灾难性故障，企业将面临着难以承受的巨大损失，可靠性已经成为衡量存储系统总体性能的重要因素。

磁盘阵列就是利用冗余技术来提高存储系统的可靠性，但磁盘阵列重建期间的可靠性依然面临着严峻的问题，主要体现在以下几个方面：磁盘容量与磁盘访问速度的不平衡发展导致数据恢复的时间越来越长；磁盘故障占据了存储子系统故障相当大的比例，另外磁盘潜在的扇区故障也进一步降低了磁盘阵列的可靠性；磁盘阵列在数据恢复期间第二个磁盘发生故障的概率与重建时间成正比关系，数据重建时间越长，再次发生故障的概率就越大。

而在重建期间，用户I/O请求和重建I/O请求同时争夺有限的磁盘带宽，用户I/O请求将延长重建时间、降低重建效率，而重建过程又会影响用户I/O请求的服务，增加用户I/O响应时间，降低用户应用的性能，同时磁头在重建点和用户请求区域频繁地来回移动，势必会造成一定的开销。因此，减少重建时间，尽可能快地使系统恢复到正常状态是提高存储系统稳定性的重要手段。

传统的磁盘阵列重建是以条带为单位进行的“横向”重建，对每个条带创建一个重建进程依次执行以下三个步骤：首先，读出该条带位置上所有非故障盘上的数据；然后，将读出的数据进行异或计算得到奇偶校验值；最后，将计算出来的数据写到该条带的故障盘位置。重复上述步骤，直到故障盘上的所有数据都恢复到替换盘。磁盘阵列在线重建的过程中其负载显著增加，原因是故障盘上的读写操作都产生了“放大”现象，故障盘上的一次读请求将会导致对所有非故障磁盘产生读请求，从而通过XOR运算计算出要读的数据；故障盘上的一次写操作也需要读出所有幸存盘上的数据从而产生新的校验块数据。而重建过程中用户I/O请求和重建请求会争用有限的磁盘带宽，两者会相互影响，极大的影响了重建的效率和系统响应，磁盘阵列重建时间太长，存储系统的稳定性较低。

发明内容

本发明的目的是提供一种磁盘阵列重建优化方法及装置，以实现提高存储系统的稳定性。

为解决上述技术问题，本发明提供一种磁盘阵列重建优化方法，该方法包括：

获取存储系统中所有的写数据和热点数据；所述热点数据为磁盘阵列整个重建期间至少两次被读取的数据；

对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；所述空闲存储设备为代理存储设备；

当磁盘阵列的重建完成时，将所述写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。

优选的，所述获取存储系统中所有的写数据和热点数据之后，还包括：

构建热读日志表，利用热读日志表识别热点数据，将热点读请求的元数据作为热点数据记录在日志表中。

优选的，所述将重建过程中的写数据和热点数据迁移到空闲存储设备上之前，还包括：

在磁盘阵列RAID抽象层接口函数中截获重定向I/O请求；

参照重定向日志表和热读日志表，确定写数据和热点数据要读写的空闲存储设备和位置。

优选的，将重建的将所述写数据和热点数据迁移到空闲存储设备上之后，还包括：

当在空闲存储设备完成写数据和热点数据的迁移时，停止重定向I/O请求。

优选的，将所述写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上之后，还包括：

将要写回的I/O请求进行合并，在重建完成的磁盘阵列上存储写回数据的写请求和用户的读写请求。

本发明还提供一种磁盘阵列重建优化装置，该装置包括：

获取模块，用于获取存储系统中所有的写数据和热点数据；所述热点数据为磁盘阵列整个重建期间至少两次被读取的数据；

迁移模块，用于对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；所述空闲存储设备为代理存储设备。

回迁模块，用于当磁盘阵列的重建完成时，将所述写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。

优选的，所述获取模块还包括：

记录单元，用于构建热读日志表，利用热读日志表识别热点数据，将热点读请求的元数据作为热点数据记录在日志表中。

优选的，所述迁移模块还包括：

截获单元，用于在磁盘阵列RAID抽象层接口函数中截获重定向I/O请求；

确定单元，用于参照重定向日志表和热读日志表，确定写数据和热点数据要读写的空闲存储设备和位置。

优选的，所述装置还包括:

停止模块，用于当在空闲存储设备完成写数据和热点数据的迁移时，停止重定向I/O请求。

优选的，所述装置还包括：

合并模块，用于所述将要写回的I/O请求进行合并，在重建完成的磁盘阵列上存储写回数据的写请求和用户的读写请求。

本发明所提供的一种磁盘阵列重建优化方法及装置，获取存储系统中所有的写数据和热点数据；所述热点数据为磁盘阵列整个重建期间至少两次被读取的数据；对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；所述空闲存储设备为代理存储设备。当磁盘阵列的重建完成时，将所述写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。可见，本发明识别出热点读数据，将写数据和热点读数据迁移到附加存储设备，从而减轻重建阵列的工作负载，获取更多的带宽集中重建，待阵列完成重建以后再将附加存储设备中的数据回迁，使阵列重新回到正常状态，如此将重建期间的用户I/O负载迁移到空闲设备上，使阵列在低负载情况下保证较好的重建性能和I/O响应性能，磁盘阵列大部分时间集中带宽进行重建也减少了磁头的切换开销，降低了磁盘阵列重建的时间，提高了存储系统的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所提供的一种磁盘阵列重建优化方法的流程图；

图2为本发明所提供的一种磁盘阵列重建优化装置的结构示意图。

具体实施方式

本发明的核心是提供一种磁盘阵列重建优化方法及装置，以实现提高存储系统的稳定性。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的一种磁盘阵列重建优化方法的流程图，该方法包括：

S11：获取存储系统中所有的写数据和热点数据；热点数据为磁盘阵列整个重建期间至少两次被读取的数据；

其中，获取存储系统中所有的写数据和热点数据之后，构建热读日志表，利用热读日志表识别热点数据，将热点读请求的元数据作为热点数据记录在日志表中。

S12：对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；空闲存储设备为代理存储设备。

其中，在将重建的将写数据和热点数据迁移到空闲存储设备上之前，在磁盘阵列RAID抽象层接口函数中截获重定向I/O请求；参照重定向日志表和热读日志表，确定写数据和热点数据要读写的空闲存储设备和位置。当在重建过程中有写数据时，捕获写数据IO并直接重定向到代理存储设备上。重建过程中利用代理存储设备向写数据发出写请求，向热点数据发出热点读请求，直接将写数据和热点数据进行重定向到代理存储设备上。其中，将重建过程中的写数据和热点数据迁移到空闲存储设备上之后，当在空闲存储设备完成写数据和热点数据的迁移时，停止重定向I/O请求。

具体的，在对磁盘阵列进行重建之前，确定数据迁移的对象和时间，具体是选取需要进行迁移的数据对象，并构建相应的数据结构来进行维护及进行数据迁移的时间窗口。这里的数据指代写数据和热点数据。在线重建时间一般都长达数个小时，且随着I/O负载的加强而增加。数据访问的时间局部性显示大部分数据在较短时间内仅被访问一次，热点数据为阵列整个重建期间至少两次被读取的数据，需要构建日志表来记录热点读请求的元数据。

写数据保存在任意的持久存储设备上，迁出的对象是所有的写数据和热点读数据。负载迁移包括负载迁出和回迁，为了不影响正常模式下磁盘阵列的读写性能，只在重建过程中对用户负载进行迁出，当阵列降级状态下加入替换盘或激活热备盘时，阵列开始重建，这个时候要启动重定向模块开始工作，重建阵列进入重定向状态，将写数据和热点读数据迁移到附加的空闲存储设备上，即代理存储设备，直至磁盘阵列完成数据迁移，才停止重定向I/O请求。

S13：当磁盘阵列的重建完成时，将写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。

其中，将写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上之后，将要写回的I/O请求进行合并，在重建完成的磁盘阵列上存储写回数据的写请求和用户的读写请求。

具体的，磁盘阵列的重建完成之前，确定数据迁移的位置和数据布局，具体是为存储系统选取适当的代理存储设备，并在选取的代理存储设备上对需要迁移的数据进行相应的布局设计，保证代理存储设备的写性能最优，同时易于管理。

数据迁移的位置就是代理存储设备的选取，任何的可持久保存数据的存储设备都可以用作代理设备。由于重定向数据必须安全可靠地保存在代理存储设备上，而单个磁盘和单个固态盘不具有冗余功能，一旦发生故障数据将不可恢复，而目前的固态盘阵列由于价格太昂贵也不予考虑，所以优先采用传统的磁盘阵列作为代理设备，建议选择RAID5作为代理设备，因为它提供的冗余保证了高可靠性，同时支持并发访问保证了高性能，管理操作起来也比较方便。

数据在代理存储设备上的布局采取的是连续的顺序写，即对重建阵列中同一位置的重定向数据不采取覆盖写，而是随着偏移量的递增顺序写下去，修改命中的重定向元数据，将旧数据标识为无效即可，这会造成一定的空间浪费，但这种方式保证代理阵列的写性能最优，同时易于管理。

以上方法，更详细的，在数据回迁的过程中，采用优化策略将写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上，保证数据高效安全的回迁到存储阵列中。优化策略包括：阵列完成重建时系统并没有立即恢复到正常状态，而是进入了回迁状态。这样快速有效地将数据从代理阵列上回迁到重建完成的阵列上，才能使重建阵列上的数据达到一致性状态。回迁的过程就是回收的过程。

基于数据回迁过程，首先，要保证数据回迁时重建完成阵列的高可用性和高性能。当阵列进入数据回迁状态时，重建完成的阵列上既有用户I/O请求又有被迁移数据的写回请求，为了保证系统的高性能和高可用性，回收请求不得影响正常的用户请求处理，所以必须给回写请求赋予比正常请求更低的优先级，后台进程在阵列空闲时将数据正确可靠地写回。在数据回迁的过程中还必须维护重定向元数据表的一致性，当处理用户写请求的时候，必须首先查询重定向元数据表，如果查询命中并且为写重定向，说明该写数据还没有被回收，则必须从重定向元数据表和中将该命中的记录删除，以防止将来再对该数据进行回收，导致回收前新写入阵列中的数据被代理阵列中的旧数据覆盖，从而造成数据错误。其次，要保证重建阵列数据回写的顺序性。重建完成的阵列上既有写回数据的写请求又有用户的读写请求，重建完成阵列上的负载较强并且回收不能影响正常I/O处理，因此必须优先保证重建完成阵列的数据写回性能。最后，将需要写回的I/O请求合并。在写回之前对I/O进行合并，将有效减少IO请求的数量，缩短数据回迁的时间。这样减轻了重建阵列上的I/O负载强度，使磁盘阵列有更多的带宽用于集中重建，加快了重建的速度，提高了存储系统的可靠性；另外，所有的写请求和热点读请求都由代理存储设备进行处理，不再受重建请求的干扰，平均响应时间也相应减少。

在磁盘阵列进行重建的过程中，对代理存储设备的存储空间进行分配和管理，具体是对代理存储设备上的空间进行了分配、扩容及回收，这样使得该方法极易嵌入到任何系统的磁盘阵列控制软件中。代理存储设备上的空间即称为代理空间。

对于代理空间的分配，在多磁盘阵列存储系统中，当不止一个磁盘阵列处于重建状态时，它们同时共享代理存储设备，对代理设备的分配和管理也是一个需要解决的关键问题。代理存储设备上分配给每个重建阵列用来存放迁移数据的空间叫做代理空间，如果根据重建阵列的实际需要来分配每个阵列的代理空间，就会出现严重的磁盘碎片问题，因此采取等容量空间的分配策略对代理存储设备的存储空间进行分配，首先分析单个典型磁盘重建需要的代理空间容量C，然后将代理设备按容量C逻辑分区，每个分区用一个数据结构记录它的起始偏移量offset、大小size、使用情况flag、扩容区域的起始偏移量以及正在使用它的重建阵列名。若使用情况flag为1，表示正在被某个阵列使用。若扩容区域的起始偏移量未0，表示无扩容。

对于代理空间的扩容，当分配给某个阵列的代理空间的使用达到容量的90％时，查找代理空间管理表中第一个未被使用的分区，修改该分区对应的数据结构，如果扩容的空间又不够使用的话按照同样的方式继续扩容，这种动态扩容的方法既易于管理，又不会存在碎片问题。

对于代理空间的回收，当阵列重建完成时，系统需要回收对应的代理空间，实际操作只要修改代理空间分区管理表中相应的数据结构，将flag字段置为0，标识该回收的分区为空闲区域即可。

本发明所提供的一种磁盘阵列重建优化方法，获取存储系统中所有的写数据和热点数据；热点数据为磁盘阵列整个重建期间至少两次被读取的数据；对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；空闲存储设备为代理存储设备。当磁盘阵列的重建完成时，将写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。可见，该方法识别出热点读数据，将写数据和热点读数据迁移到附加存储设备，从而减轻重建阵列的工作负载，获取更多的带宽集中重建，待阵列完成重建以后再将附加存储设备中的数据回迁，使阵列重新回到正常状态，如此将重建期间的用户I/O负载迁移到空闲设备上，使阵列在低负载情况下保证较好的重建性能和I/O响应性能，磁盘阵列大部分时间集中带宽进行重建也减少了磁头的切换开销，降低了磁盘阵列重建的时间，提高了存储系统的稳定性。

具体的，该方法利用数据访问的局部性原理，挖掘存储系统块级数据的相关性，识别出热点读数据，将写数据和热点读数据迁移到附加存储设备，从而减轻重建阵列的工作负载，获取更多的带宽集中重建，待阵列完成重建以后再将附加存储设备中的数据回迁，使阵列重新回到正常状态。该方法减轻了重建阵列上的I/O负载强度，使磁盘阵列有更多的带宽用于集中重建，加快了重建的速度，提高了存储系统的可靠性。

并且，该方法中所有的写请求和热点读请求都由代理存储设备进行处理，不再受重建请求的干扰，平均响应时间也相应减少。具体的，该方法利用数据访问的局部性原理，挖掘存储系统块级数据的相关性，识别出热点读数据，将写数据和热点读数据迁移到附加存储设备，从而减轻重建阵列的工作负载，获取更多的带宽集中重建，待阵列完成重建以后再将附加存储设备中的数据回迁，使阵列重新回到正常状态。

请参考图2，图2为本发明所提供的一种磁盘阵列重建优化装置的结构示意图，该装置包括：；

获取模块101，用于获取存储系统中所有的写数据和热点数据；热点数据为磁盘阵列整个重建期间至少两次被读取的数据；

迁移模块102，用于对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；空闲存储设备为代理存储设备；

回迁模块103，用于当磁盘阵列的重建完成时，将写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。

可选的，获取模块还包括：

记录单元，用于构建热读日志表，利用热读日志表识别热点数据，将热点读请求的元数据作为热点数据记录在日志表中。

具体的，记录单元创建一个用来识别热读请求的日志表，当磁盘阵列中数据块首次被读取的时候，将读取请求的关键信息作为元数据收集到热读日志表中，当这个数据块第二次被读取的时候根据元数据查找热读日志表，确定元数据是热点数据，这样将元数据从重建阵列中读出来的时候再将元数据写到与元数据对应的代理空间中去，当元数据再次被读取时，直接到与元数据对应的代理空间中去读取。重建阵列即重建的磁盘阵列。

迁移模块还包括：

截获单元，用于在磁盘阵列RAID抽象层接口函数中截获重定向I/O请求；

确定单元，用于参照重定向日志表和热读日志表，确定写数据和热点数据要读写的空闲存储设备和位置。

具体的，迁移模块将重建阵列上所有的写请求和热点读请求重定向到它的代理空间中，它需要维护一个用来记录重定向请求的关键信息即重定向元数据的日志表。迁移模块在RAID抽象层接口函数中截获用户请求，参照重定向日志表和热读日志表，决定数据要读写的设备和位置。

回迁模块重建完成后停止请求重定向，阵列进入回迁阶段，回迁模块根据重定向元数据日志表将重定向的写数据从代理空间中读出并回写到重建完成的阵列中，使阵列回归到正常状态。

可选的，所述装置还包括:

停止模块，用于当在空闲存储设备完成写数据和热点数据的迁移时，停止重定向I/O请求。

所述装置还包括：

合并模块，用于将要写回的I/O请求进行合并，在重建完成的磁盘阵列上存储写回数据的写请求和用户的读写请求。

更详细的，该装置还包括：

用户接口模块，用于接收系统管理员的输入指令，向系统指定系统参数，系统参数包括代理存储设备及代理空间的分配容量；

代理空间管理模块，用于对代理存储设备进行空间分配和扩容，控制被迁移的数据在代理空间的数据布局方式。

本发明所提供的一种磁盘阵列重建优化装置，获取模块获取存储系统中所有的写数据和热点数据；热点数据为磁盘阵列整个重建期间至少两次被读取的数据；迁移模块对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；空闲存储设备为代理存储设备；回迁模块当磁盘阵列的重建完成时，将写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。可见，该装置识别出热点读数据，将写数据和热点读数据迁移到附加存储设备，从而减轻重建阵列的工作负载，获取更多的带宽集中重建，待阵列完成重建以后再将附加存储设备中的数据回迁，使阵列重新回到正常状态，如此将重建期间的用户I/O负载迁移到空闲设备上，使阵列在低负载情况下保证较好的重建性能和I/O响应性能，磁盘阵列大部分时间集中带宽进行重建也减少了磁头的切换开销，降低了磁盘阵列重建的时间，提高了存储系统的稳定性。

以上对本发明所提供的一种磁盘阵列重建优化方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种磁盘阵列重建优化方法，其特征在于，包括：

获取存储系统中所有的写数据和热点数据；所述热点数据为磁盘阵列整个重建期间至少两次被读取的数据；

对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；所述空闲存储设备为代理存储设备；

当磁盘阵列的重建完成时，将所述写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。

2.如权利要求1所述的方法，其特征在于，所述获取存储系统中所有的写数据和热点数据之后，还包括：

构建热读日志表，利用热读日志表识别热点数据，将热点读请求的元数据作为热点数据记录在日志表中。

3.如权利要求2所述的方法，其特征在于，所述将重建过程中的写数据和热点数据迁移到空闲存储设备上之前，还包括：

在磁盘阵列RAID抽象层接口函数中截获重定向I/O请求；

参照重定向日志表和热读日志表，确定写数据和热点数据要读写的空闲存储设备和位置。

4.如权利要求1所述的方法，其特征在于，将重建的将所述写数据和热点数据迁移到空闲存储设备上之后，还包括：

当在空闲存储设备完成写数据和热点数据的迁移时，停止重定向I/O请求。

5.如权利要求1至4中任意一项所述的方法，其特征在于，将所述写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上之后，还包括：

将要写回的I/O请求进行合并，在重建完成的磁盘阵列上存储写回数据的写请求和用户的读写请求。

6.一种磁盘阵列重建优化装置，其特征在于，包括：；

获取模块，用于获取存储系统中所有的写数据和热点数据；所述热点数据为磁盘阵列整个重建期间至少两次被读取的数据；

迁移模块，用于对磁盘阵列进行重建，使重建的磁盘阵列进入重定向状态，将重建过程中的写数据和热点数据迁移到空闲存储设备上；所述空闲存储设备为代理存储设备；

回迁模块，用于当磁盘阵列的重建完成时，将所述写数据和热点数据从空闲存储设备上回迁到重建完成的磁盘阵列上。

7.如权利要求6所述的装置，其特征在于，所述获取模块还包括：

记录单元，用于构建热读日志表，利用热读日志表识别热点数据，将热点读请求的元数据作为热点数据记录在日志表中。

8.如权利要求7所述的装置，其特征在于，所述迁移模块还包括：

截获单元，用于在磁盘阵列RAID抽象层接口函数中截获重定向I/O请求；

确定单元，用于参照重定向日志表和热读日志表，确定写数据和热点数据要读写的空闲存储设备和位置。

9.如权利要求6所述的装置，其特征在于，还包括:

停止模块，用于当在空闲存储设备完成写数据和热点数据的迁移时，停止重定向I/O请求。

10.如权利要求6至9中任意一项所述的装置，其特征在于，还包括：

合并模块，用于所述将要写回的I/O请求进行合并，在重建完成的磁盘阵列上存储写回数据的写请求和用户的读写请求。