CN101436149B - 磁盘阵列数据重建方法 - Google Patents

Abstract

磁盘阵列的数据重建方法，属于计算机数据存储方法，解决磁盘阵列数据重建耗时过多、影响系统读写性能和可靠性的问题。本发明由重建阶段和回收阶段顺序组成，在重建中磁盘阵列之外设置代理磁盘阵列，重建中磁盘阵列上设置用户控制接口、重建模块、空间管理模块、热点数据识别模块、请求重定向模块、数据回收模块以及重定向数据日志表和热点数据链表；重建阶段包括并行的重建步骤和重建阶段请求处理步骤，回收阶段包括并行的数据回收步骤和回收阶段请求处理步骤。本发明加快重建速度并且减少用户访问响应时间，未改变重建流程或磁盘阵列数据分布方式，适用于构造具有高性能，高可用性和高可靠性的存储系统。

Description

磁盘阵列数据重建方法

技术领域

本发明属于计算机数据存储方法，具体涉及一种磁盘阵列数据重建方法。

背景技术

随着计算机技术和网络通信技术的发展，信息化程度越来越高，人们对数据可靠性的要求也越来越高。冗余磁盘阵列RAID(RedundantArray of Independent Disks)是可靠存储系统领域中的一个典型装置，同单个磁盘相比，磁盘阵列的性能、可用性和可靠性都有相当大的提高，其中，镜像、奇偶校验、热备份等都是磁盘阵列常用的容错技术。当磁盘阵列中某一个成员磁盘出现故障且加入新磁盘时，磁盘阵列能够自动切换到重建模式，重建进程在不中断应用服务的情况下连续地将故障盘上的数据块恢复到新加入的磁盘中，直到故障盘上所有的数据块都恢复到新加入的磁盘中，磁盘阵列返回到正常读写模式。由于当前的应用服务都要求所使用的存储子系统同时具有高性能、高可用性和高可靠性，应用程序不仅要求磁盘阵列在成员磁盘出现故障时能够重建故障盘上的数据，更重要的是其能够尽可能的减少重建时间来保证系统的可靠性，并且要尽可能的降低重建过程对系统性能的影响，因此磁盘阵列的数据重建方法至关重要。

研究显示，在大规模存储系统中，磁盘的出错率是很高的：磁盘故障率超过1％，平均达到2％-4％，有些系统中达到13％，远大于磁盘厂商提供的0.8％，因此重建越来越频繁。另外，随着计算机技术的不断发展，磁盘容量越来越大，而磁盘定位速度的增长却远远低于磁盘容量和带宽的增长速度。这些研究表明，随着磁盘容量的迅速增长和访问速度的缓慢提高，磁盘阵列的数据重建过程需要越来越多的时间，严重影响了基于磁盘阵列的存储系统的可靠性和可用性。

实验发现在磁盘阵列重建过程中，用户的访问强度对磁盘阵列的重建效率有着很重要的影响，不但会大大延长重建的时间，而且会增加用户访问的响应时间。申请号200610124981.6，公开号CN1987799，名称为“一种适用于磁盘阵列的数据重建方法”的发明专利申请，通过优化重建流程来加快重建时间和减少用户响应时间，并没有考虑用户应用请求对重建效率的影响。

发明内容

本发明提出一种磁盘阵列的数据重建方法，将磁盘阵列重建过程中收到的所有写请求和热的读请求重定向到代理磁盘阵列中，减轻了重建请求和用户请求争抢磁盘资源的矛盾，解决现有的磁盘阵列数据重建方法需要时间过多、影响存储系统的读写性能和可靠性的问题。

本发明的一种磁盘阵列的数据重建方法，由重建阶段和回收阶段顺序组成，在重建中磁盘阵列之外设置代理磁盘阵列，重建中磁盘阵列上设置用户控制接口、重建模块、空间管理模块、热点数据识别模块、请求重定向模块、数据回收模块以及重定向数据日志表和热点数据链表；所述重建阶段包括并行的重建步骤和重建阶段请求处理步骤，回收阶段包括并行的数据回收步骤和回收阶段请求处理步骤；

(1)所述重建步骤，进行下述过程：

(1.1)当磁盘阵列中成员磁盘出现故障时，取出故障磁盘，加入新的替换磁盘，继续过程(1.2)；

(1.2)重建模块读取重建中磁盘阵列除替换磁盘外所有幸存磁盘上位于某条带的数据块，计算它们的奇偶校验，将结果写入新加入的替换磁盘中位于该条带的数据块内，转过程(1.3)；

(1.3)重复执行(1.2)，直至重建中磁盘阵列上所有条带都重建完毕，转步骤(3)；

(2)所述重建阶段请求处理步骤，进行下述过程：

(2.1)重建中磁盘阵列判断是否所有条带都重建完毕，是则转步骤(4)；否则等待上层用户读写请求，判断其类型，读请求转过程(2.2)，写请求转过程(2.10)；

(2.2)请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否在代理磁盘阵列中，是则转过程(2.3)，否则转过程(2.6)；

(2.3)请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否全部在代理磁盘阵列中，是则转过程(2.4)，否则转过程(2.5)；

(2.4)请求重定向模块将该读请求发向代理磁盘阵列，从代理磁盘阵列读取数据，转过程(2.1)；

(2.5)请求重定向模块将该读请求分别发向重建中磁盘阵列和代理磁盘阵列，分别从两个磁盘阵列读取部分数据，组合后返回给用户，转过程(2.1)；

(2.6)请求重定向模块将该读请求发向重建中磁盘阵列，从重建中磁盘阵列读取数据，进行过程(2.7)；

(2.7)热点数据识别模块判断该读请求是否命中热点数据链表，是则转过程(2.8)，否则转过程(2.9)；

(2.8)请求重定向模块将读取的数据写入到代理磁盘阵列，从热点数据链表中删除相应的信息，并记录在重定向数据日志表中，且置标志位为0，转过程(2.1)；

(2.9)热点数据识别模块将该读请求记录在热点数据链表中，转过程(2.1)；

(2.10)请求重定向模块判断该写请求是否命中重定向数据日志表，是则转过程(2.12)，否则转过程(2.11)；

(2.11)空间管理模块从代理磁盘阵列中为该写请求分配空间，继续过程(2.12)；

(2.12)请求重定向模块将该写请求中的数据写入到代理磁盘阵列，并将该数据信息记录在重定向数据日志表中，且置标志位为1，转过程(2.1)；

(3)所述数据回收步骤，进行下述过程：

(3.1)数据回收模块判断重定向数据日志表是否为空，是则数据回收结束，否则转过程(3.2)；

(3.2)数据回收模块从重定向日志表中取出一条日志，判断该日志的标志位是否为1，是则转过程(3.3)，否则转过程(3.4)；

(3.3)数据回收模块从代理磁盘阵列读取该日志对应的数据并写回到重建中磁盘阵列中，继续过程(3.4)；

(3.4)数据回收模块将该日志从重定向数据日志表中删除，转过程(3.1)；

(4)所述回收阶段请求处理步骤，进行下述过程：

(4.1)重建中磁盘阵列判断数据回收是否结束，是则本步骤结束，否则等待上层用户读写请求，判断其类型，读请求转过程(4.2)，写请求转过程(4.7)；

(4.2)请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否在代理磁盘阵列中且重定向数据日志表中相应日志标志位为1，是则转过程(4.3)，否则转过程(4.6)；

(4.3)请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否全部在代理磁盘阵列中，是则转过程(4.4)，否则转过程(4.5)；

(4.4)请求重定向模块将该读请求发向代理磁盘阵列，从代理磁盘阵列读取数据，转过程(4.1)；

(4.5)请求重定向模块将该读请求分别发向重建中磁盘阵列和代理磁盘阵列，分别从两个磁盘阵列读取部分数据，组合后返回给用户，转过程(4.1)；

(4.6)请求重定向模块将该读请求发向重建中磁盘阵列，从重建中磁盘阵列读取数据，转过程(4.1)；

(4.7)请求重定向模块判断该写请求是否命中重定向数据日志表，是则转过程(4.8)，否则转过程(4.9)；

(4.8)请求重定向模块将该写请求所命中的日志从重定向数据日志表中删除，继续过程(4.9)；

(4.9)请求重定向模块将该写请求中的数据写入到重建中磁盘阵列，转过程(4.1)。

所述的磁盘阵列的数据重建方法，其特征在于：

所述重定向数据日志表包括M条日志，每条日志由4个数据项构成；各数据项依次为被重定向数据在重建中磁盘阵列的块偏移地址、被重定向数据在代理磁盘阵列上的块偏移地址、被重定向数据的长度以及标志位，标志位标识该被重定向数据是否为写数据，当它为1时表示是来自用户写请求的数据，当它为0时表示是从重建中磁盘阵列重定向到代理磁盘阵列的读请求的数据；

所述热点数据链表包括N条表项，每条表项由被重定向数据在重建中磁盘阵列的块偏移地址、被重定向数据的长度2个数据项依次构成；M、N为不小于1的自然数。

本发明基于一个普遍存在的现象，即磁盘阵列在重建阶段中，重建请求和用户请求同时争抢固有的磁盘资源，导致重建时间很长，而且用户的响应时间也很长。本发明通过将磁盘阵列重建阶段收到的用户请求重定向到代理磁盘阵列，减少了对重建中磁盘阵列的用户访问强度，减轻了重建请求和用户请求争抢磁盘资源的矛盾，从而加快了重建速度并且减少了用户访问的响应时间。另外，本发明仅仅改变了用户请求的处理方法，并没有改变重建的流程或磁盘阵列的数据分布方法，故可以很方便地优化各种传统的磁盘阵列的重建方法，适用于构造具有高性能，高可用性和高可靠性的基于磁盘阵列的存储系统。

附图说明

图1为本发明各步骤关系示意图；

图2为本发明的重定向数据日志表中一条日志的数据项示意图；

图3为本发明的热点数据链表中一条表项的数据项示意图；

图4为重建步骤示意图；

图5为重建阶段请求处理步骤示意图；

图6为数据回收步骤示意图；

图7为回收阶段请求处理步骤示意图。

具体实施方式

下面结合附图对本发明进一步详细说明。

图1为本发明各步骤关系示意图：当磁盘阵列中成员磁盘出现故障时，取出故障磁盘，加入新的替换磁盘后，同时进入重建步骤和重建阶段的请求处理步骤，重建完成后同时进入数据回收步骤和回收阶段的请求处理步骤，直至回收完成。

如图2所示，重定向数据日志表中，每条日志由4个数据项构成；各数据项依次为被重定向数据在重建中磁盘阵列的块偏移地址D、被重定向数据在代理磁盘阵列上的块偏移地址S、被重定向数据的长度L以及标志位F，标志位标识该被重定向数据是否为写数据，当它为1时表示是来自用户写请求的数据，当它为0时表示是从重建中磁盘阵列重定向到代理磁盘阵列的读请求的数据。

如图3所示，热点数据链表中，每条表项由被重定向数据在重建中磁盘阵列的块偏移地址D、被重定向数据的长度L两个数据项依次构成。

图4为重建步骤示意图，进行下述过程：

重建模块重建某一条带时，读取磁盘阵列除替换磁盘外所有幸存磁盘上位于某条带的数据块，计算它们的奇偶校验，将结果写入新加入的替换磁盘中位于该条带的数据块内。上述过程重复执行，直至该磁盘阵列上所有条带都重建完毕，转数据回收步骤。

图5为重建阶段请求处理步骤示意图，进行下述过程：

重建中磁盘阵列首先判断是否所有条带都重建完毕，是则转回收阶段请求处理步骤；否则等待来自上层的用户读写请求，判断该请求的类型，如果该请求是读请求则请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否在代理磁盘阵列中，是则根据重定向数据日志表判断该读请求所需要的数据是否全部在代理磁盘阵列中，是则该读请求发向代理磁盘阵列，从代理磁盘阵列读取数据，否则请求重定向模块将该读请求分别发向重建中磁盘阵列和代理磁盘阵列，分别从两个磁盘阵列读取部分数据，组合后返回给用户；如果该读请求没有命中重定向数据日志表，请求重定向模块将该读请求发向重建中磁盘阵列，从重建中磁盘阵列读取数据，然后热点数据识别模块判断该读请求是否命中热点数据链表，是则请求重定向模块将读取的数据写入到代理磁盘阵列，从热点数据链表中删除相应的信息，并记录在重定向数据日志表中，且置标志位为0；否则热点数据识别模块将该读请求记录在热点数据链表中；如果该请求是写请求，请求重定向模块判断该写请求是否命中重定向数据日志表，是则请求重定向模块将该数据写入到代理磁盘阵列，并将该数据信息记录在重定向数据日志表中，且置标志位为1；否则空间管理模块从代理磁盘阵列中为该写请求分配空间，然后请求重定向模块将该数据写入到代理磁盘阵列，并将该数据信息记录在重定向数据日志表中，且置标志位为1。

图6为数据回收步骤示意图，进行下述过程：

数据回收模块判断重定向数据日志表是否为空，是则数据回收结束，否则数据回收模块从重定向日志表中取出一条日志，判断该日志的标志位是否为1，是则从代理磁盘阵列读取该日志对应的数据并写回到重建中磁盘阵列中，并将该日志从重定向数据日志表中删除，否则只需将该日志从重定向数据日志表中删除。

图7为回收阶段请求处理步骤示意图，进行下述过程：

重建中磁盘阵列首先判断数据回收是否结束，是则本步骤结束，否则等待上层用户读写请求，判断其类型，如果该请求是读请求，则请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否在代理磁盘阵列中且重定向数据日志表中相应日志标志位为1，是则根据重定向数据日志表判断该读请求所需要的数据是否全部在代理磁盘阵列中，是则将该读请求发向代理磁盘阵列，从代理磁盘阵列读取数据，否则请求重定向模块将该读请求分别发向重建中磁盘阵列和代理磁盘阵列，分别从两个磁盘阵列读取部分数据，组合后返回给用户；如果该读请求没有命中重定向数据日志表或者标志位不为1，请求重定向模块将该读请求发向重建中磁盘阵列，从重建中磁盘阵列读取数据；如果该请求是写请求，重定向模块判断该请求是否命中重定向数据日志表，是则请求重定向模块将该请求所命中的日志从重定向数据日志表中删除，并将该请求中的数据写入到重建中磁盘阵列，否则只需将该请求中的数据写入到重建中磁盘阵列。

Claims (2)

1.一种磁盘阵列的数据重建方法，由重建阶段和回收阶段顺序组成，在重建中磁盘阵列之外设置代理磁盘阵列，重建中磁盘阵列上设置用户控制接口、重建模块、空间管理模块、热点数据识别模块、请求重定向模块、数据回收模块以及重定向数据日志表和热点数据链表；所述重建阶段包括并行的重建步骤和重建阶段请求处理步骤，回收阶段包括并行的数据回收步骤和回收阶段请求处理步骤；

(1)所述重建步骤，进行下述过程：

(1.1)当磁盘阵列中成员磁盘出现故障时，取出故障磁盘，加入新的替换磁盘，继续过程(1.2)；

(1.2)重建模块读取重建中磁盘阵列除替换磁盘外所有幸存磁盘上位于某条带的数据块，计算它们的奇偶校验，将结果写入新加入的替换磁盘中位于该条带的数据块内，转过程(1.3)；

(1.3)重复执行(1.2)，直至重建中磁盘阵列上所有条带都重建完毕，转步骤(3)；

(2)所述重建阶段请求处理步骤，进行下述过程：

(2.1)重建中磁盘阵列判断是否所有条带都重建完毕，是则转步骤(4)；否则等待上层用户读写请求，判断其类型，读请求转过程(2.2)，写请求转过程(2.10)；

(2.2)请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否在代理磁盘阵列中，是则转过程(2.3)，否则转过程(2.6)；

(2.3)请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否全部在代理磁盘阵列中，是则转过程(2.4)，否则转过程(2.5)；

(2.4)请求重定向模块将该读请求发向代理磁盘阵列，从代理磁盘阵列读取数据，转过程(2.1)；

(2.5)请求重定向模块将该读请求分别发向重建中磁盘阵列和代理磁盘阵列，分别从两个磁盘阵列读取部分数据，组合后返回给用户，转过程(2.1)；

(2.6)请求重定向模块将该读请求发向重建中磁盘阵列，从重建中磁盘阵列读取数据，进行过程(2.7)；

(2.7)热点数据识别模块判断该读请求是否命中热点数据链表，是则转过程(2.8)，否则转过程(2.9)；

(2.8)请求重定向模块将读取的数据写入到代理磁盘阵列，从热点数据链表中删除相应的信息，并记录在重定向数据日志表中，且置标志位为0，转过程(2.1)；

(2.9)热点数据识别模块将该读请求记录在热点数据链表中，转过程(2.1)；

(2.10)请求重定向模块判断该写请求是否命中重定向数据日志表，是则转过程(2.12)，否则转过程(2.11)；

(2.11)空间管理模块从代理磁盘阵列中为该写请求分配空间，继续过程(2.12)；

(2.12)请求重定向模块将该写请求中的数据写入到代理磁盘阵列，并将该数据信息记录在重定向数据日志表中，且置标志位为1，转过程(2.1)；

(3)所述数据回收步骤，进行下述过程：

(3.1)数据回收模块判断重定向数据日志表是否为空，是则数据回收结束，否则转过程(3.2)；

(3.2)数据回收模块从重定向日志表中取出一条日志，判断该日志的标志位是否为1，是则转过程(3.3)，否则转过程(3.4)；

(3.3)数据回收模块从代理磁盘阵列读取该日志对应的数据并写回到重建中磁盘阵列中，继续过程(3.4)；

(3.4)数据回收模块将该日志从重定向数据日志表中删除，转过程(3.1)；

(4)所述回收阶段请求处理步骤，进行下述过程：

(4.1)重建中磁盘阵列判断数据回收是否结束，是则本步骤结束，否则等待上层用户读写请求，判断其类型，读请求转过程(4.2)，写请求转过程(4.7)；

(4.2)请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否在代理磁盘阵列中且重定向数据日志表中相应日志标志位为1，是则转过程(4.3)，否则转过程(4.6)；

(4.3)请求重定向模块根据重定向数据日志表判断该读请求所需要的数据是否全部在代理磁盘阵列中，是则转过程(4.4)，否则转过程(4.5)；

(4.4)请求重定向模块将该读请求发向代理磁盘阵列，从代理磁盘阵列读取数据，转过程(4.1)；

(4.5)请求重定向模块将该读请求分别发向重建中磁盘阵列和代理磁盘阵列，分别从两个磁盘阵列读取部分数据，组合后返回给用户，转过程(4.1)；

(4.6)请求重定向模块将该读请求发向重建中磁盘阵列，从重建中磁盘阵列读取数据，转过程(4.1)；

(4.7)请求重定向模块判断该写请求是否命中重定向数据日志表，是则转过程(4.8)，否则转过程(4.9)；

(4.8)请求重定向模块将该写请求所命中的日志从重定向数据日志表中删除，继续过程(4.9)；

(4.9)请求重定向模块将该写请求中的数据写入到重建中磁盘阵列，转过程(4.1)。

2.如权利要求1所述的磁盘阵列的数据重建方法，其特征在于：

所述重定向数据日志表包括M条日志，每条日志由4个数据项构成；各数据项依次为被重定向数据在重建中磁盘阵列的块偏移地址、被重定向数据在代理磁盘阵列上的块偏移地址、被重定向数据的长度以及标志位，标志位标识该被重定向数据是否为写数据，当它为1时表示是来自用户写请求的数据，当它为0时表示是从重建中磁盘阵列重定向到代理磁盘阵列的读请求的数据；

所述热点数据链表包括N条表项，每条表项由被重定向数据在重建中磁盘阵列的块偏移地址、被重定向数据的长度2个数据项依次构成；M、N为不小于1的自然数。

Images