CN101526882A - 独立磁盘冗余阵列子系统中逻辑单元重建的方法及装置 - Google Patents

Abstract

本发明涉及RAID子系统逻辑单元LUN的重建方法和装置，能够解决LUN默认平均分配方式导致RAID子系统性能不能充分提升的技术问题。本发明对于一个LUN，为每一个磁盘分配的空间大小可以是不同的，而不是一律平均分配，通过分配不同的空间给不同的物理磁盘，可以进一步均衡磁盘负载，使RAID子系统的IO性能得到优化。

Description

独立磁盘冗余阵列子系统中逻辑单元重建的方法及装置

技术领域

本发明涉及独立磁盘冗余阵列(Redundant Array of Independent Disks，RAID)子系统，尤其涉及到RAID子系统的逻辑单元(Logical Unit，LUN)的重建方法和装置。

背景技术

随着计算机应用领域的不断扩宽，用户对于存储系统的容量要求越来越大，对其可靠性、可用性要求越来高，速度要求也越来越快。微处理器的处理速度相应提高很快，但作为主要存储设备的磁盘由于机械运动的限制，其速度改善不大，这大大限制了存储区域网络(Storage Area Network，SAN)系统的整体性能。在一定程度上解决这个瓶颈的带高速缓存(Cache)的磁盘阵列，以其高效、快速、大容量、高可靠性、灵活和价格低廉的优点在高性能计算机存储解决方案中占主导地位。

RAID子系统由多个磁盘组成，对应到主机服务器应用程序为1个或者多个逻辑单元。RAID子系统通过提供镜像，奇偶校验等方式，来提高数据的容错能力、可靠性以及一致性。另外，在很多情况下，由于多盘可以在短时间内提供更多的信息，因此RAID子系统提供了更强大的IO性能。

RAID算法通过映射提供了冗余的数据信息，或者在整个有效的存储空间对用户数据和冗余信息进行分布。冗余信息可以是用户数据的镜像或者是对用户数据生成的校验信息。这些冗余信息可以被用来在将来的某个时间内重新生成丢失的数据或者冲突数据。RAID子系统通常会采用先进的RAID控制器来操控这些功能。

另外，RAID控制器可以在一个系统内为不同的LUN提供不同的RAID级别、可以将独立的物理磁盘上的不同的LUN独立开来。例如，应用程序会持续更新某些日志文件，这些日志文件可以用来恢复丢失的信息。日志文件经常通过某种RAID级别进行存储，重要的是，为了平衡负载，通常需要将存储不同日志文件的LUN区分开来。因此，通常需要创建多个使用不同物理磁盘的LUN来区分不同文件。

文件在物理磁盘上的存放方式与LUN属性有关，也就是说文件与LUN有关，而LUN与不同的物理磁盘空间有关。若一个LUN被分配到唯一的一个物理磁盘上，那么任何与该LUN联系的文件都将被映射到该物理磁盘上。若利用两个物理磁盘创建一个LUN，则存放于该LUN上的文件可能被映射到一个或两个物理磁盘上。通常每个LUN会由多个段空间(Strip)组成，段空间可能分布在不同的物理磁盘上，这些段空间可能和一个LUN有关，也可能和虚拟卷有关，但在主机或者应用程序看来，一个LUN就是一个连续的存储空间，访问该LUN就像访问一个独立的物理磁盘空间一样。

用户信息经常存储在不同的磁盘组上，这些磁盘组提供更高的RAID级别。例如，如果数据文件存放在一个RAID5的磁盘组中，用户数据会分割成预先定义大小的块分布在磁盘组中的多个磁盘上。

在一些用户程序操作中，往往某些文件的读写操作比其他文件要频繁。比如在数据库应用中用户数据以及表的索引将比其他重做文件(redo log file)以及压缩文件的读写频率要更高。这样存储子系统中的某些磁盘的数据读写访问频率(简称点击率)会比其他的一些磁盘高，若出现了这种不平衡的现象，会导致整个系统性能下降，若要解决这个问题，可以新建一个LUN来平衡各个磁盘的点击率。若众多磁盘的访问速率一致，每个磁盘的点击率一样的话会使系统性能有显著的提高。在理想情况下，当所有的磁盘都运行在他们最高的IO速率的时候，磁盘组就会达到最高的性能。

为了使每个磁盘的数据读写访问频率趋于一致，可以将LUN均匀分布在磁盘组的不同磁盘上，但这样往往事与愿违。创建LUN需要指定所需的磁盘以及容量。然后RAID控制器会在多个目标磁盘中平均分配LUN容量，若RAID的级别更高一些，在一个或者多个目标磁盘上会分配空间用于存放冗余信息。问题在于，若存在多个LUN时，由于每个LUN的容量以及对磁盘的指定不同。会导致这样的后果，即多个LUN叠加后，LUN的容量并不是平均分配到各个磁盘上，因此，将一个LUN平均的分配到磁盘上并不一定能够提升整个RAID子系统的性能。

举例说明，假设LUN1使用了RAID子系统中6个磁盘中的2个，而LUN2，LUN3使用了其余的4个磁盘。现在LUN1的负载为60％，LUN2和LUN3的为40％。假设LUN2和LUN3没有共享磁盘空间。重新建立LUN1来使用6个磁盘来分摊负载，但这样我们就会发现4个磁盘中每个磁盘会分摊20％左右，而另外的2个磁盘中的每个磁盘分摊10％左右。这样就发现大部分的磁盘负载为其他的2倍，这样系统优化的目的没有达到。

发明内容

本发明的目的之一是提供一种RAID子系统的逻辑单元重建的方法，能够解决LUN默认平均分配空间的情况下导致RAID子系统性能不能充分提升的技术问题，为了达到上述技术目的，本发明的技术方案是这样实现的：

一种磁盘阵列子系统中逻辑单元重建的方法，包括如下步骤：

A、分析逻辑单元磁盘组中的物理磁盘的负载；

B、判断是否需要进行逻辑单元的重建，若是则执行步骤C，若否则执行步骤A；

C、依据重分配算法确定逻辑单元空间在各磁盘上的新的空间分配比例；

D、根据所述新的空间分配比例判断逻辑单元磁盘组中各磁盘的空间有效性，若有效则执行步骤F，若否则执行步骤E；

E、将逻辑单元的空间按平均比例进行重新分布，结束流程；

F、将逻辑单元的空间按所述新的空间分配比例进行重新分布。

进一步地，所述逻辑单元的空间由多个段空间组成，每一个段空间可以作为独立的单元分配给所述磁盘组中的磁盘。

进一步地，步骤B中，所述判断是依据磁盘阵列子系统中设定的门限阀值进行判断，若当前磁盘负载超过了所述门限阀值则认为需要进行所述逻辑单元的重建。

进一步地，步骤C中，所述重分配算法基于下式进行：

ABS(L0-Ls)∶ABS(L1-Ls)∶...∶ABS(Li-Ls)(i＝0，1，2，3...n)

其中ABS为取绝对值函数，Li为第i块磁盘的磁盘利用率，Ls为在RAID子系统中为磁盘利用率设定的门限阀值，若Li-Ls＞0，则在新的比例分配中设定该磁盘所分配的空间比值为1，若小于0则保持该磁盘原有比值不变。

进一步地，步骤D中，进行所述磁盘空间有效性的判断包括如下步骤：

D1、判断逻辑单元磁盘组中磁盘空间是否已完全被分配，若已完全被分配则结束重分配流程，若否则执行步骤D2；

D2、判断所述逻辑单元磁盘组中磁盘的有效剩余空间是否能够容纳按所述新的空间分配比例分配的段空间，若是则执行步骤F，若否则执行步骤E。

进一步地，步骤D2中，进行所述磁盘有效性空间的判断时，先对在原比例分配中比值最大的磁盘进行判断。

进一步地，步骤F中，通过如下步骤对所述逻辑单元按所述新的空间分配比例进行重新分布：

F1、基于以下算式计算所述参与重分配的磁盘应当分得的段空间总数：

(Bi/BT)*D

其中，Bi为当前磁盘在所述新的空间分配比例中所分得的比值，BT为所述逻辑单元中所有磁盘在所述新的空间分配比例中所分得比值之和，D为所述逻辑单元中总的段空间数。

F2、依据所述各磁盘所得段空间总数重新对所述逻辑单元的空间进行分布，并建立映射表。

进一步地，所述映射表用于标记磁盘中的物理段空间与LUN的逻辑段空间之间的映射关系，包括条带号、磁盘号及段空间号，LUN使用该映射表来进行实际的物理数据访问。

本发明另一目的是提供一种磁盘阵列子系统中逻辑单元重建的装置，包括：

独立磁盘冗余阵列子系统控制器，用于对子系统中的磁盘组进行管理及进行访问控制；

磁盘组，用于存储物理数据；

监控模块，用于监控逻辑单元及磁盘负载并控制逻辑单元的重建；

映射表，用于物理段空间与逻辑单元的逻辑段空间之间的映射；

所述监控模块通过所述独立磁盘冗余阵列子系统控制器对逻辑单元及磁盘负载进行监控，并负责在所述逻辑单元重建时产生所述映射表，所述独立磁盘冗余阵列子系统控制器通过所述映射表进行逻辑地址到物理地址的映射。

进一步地，所述监控模块包括：

空间有效性检测模块，用于监控磁盘容量及判断空间有效性；

磁盘负载监控模块，用于监控磁盘的负载是否超过门限阀值；

映射表生成模块，用于在所述逻辑单元空间重分布时生成所述映射表；

所述磁盘负载监控模块发现磁盘负载超过所述门限阀值时通知所述空间有效性检测模块进行空间有效性的检测，若所述逻辑单元磁盘组中所有磁盘的空间有效时由所述空间有效性检测模块向所述独立磁盘冗余阵列子系统控制器发送逻辑单元重分布指令，所述磁盘冗余阵列子系统控制器在所述映射表生成模块的控制下生成所述映射表。

本发明通过监控模块选择性的创建LUN，根据LUN当前的负载情况，按比例分配不同的空间给不同的物理磁盘，从而进一步平衡LUN磁盘组中的磁盘负载，使RAID子系统的IO性能达到优化。

附图说明

图1为普通映射情况下LUN的物理空间分布图；

图2为本发明提出的LUN的物理空间分布的情况示例图；

图3为本发明提出装置的逻辑结构图；

图4为本发明提出的LUN空间重分配的总流程图；

图5为本发明提出的空间LUN空间重分配细化图；

图6为按本发明提出方法重建LUN后的使用流程图。

具体实施方式

下面根据附图和实施对本发明做进一步的详细说明：

本发明的核心思想是：对于一个LUN，为每一个磁盘分配的空间大小可以是不同的，而不是一律平均分配，通过分配不同的空间给不同的物理磁盘，可以进一步均衡磁盘负载，使RAID子系统的IO性能得到优化。

图1显示了在一般情况下LUN在RAID控制器控制下段空间(Strip)的分布图。根据RAID算法，在物理磁盘上已经预先分配好定义的Strip。在默认LUN创建的时候，在磁盘组中的磁盘的Strip就会均匀的分配给所创建的LUN。在主机端看来LUN的地址空间是连续的，但在实际情况这些段空间不一定是连续的，有可能散布在不同的磁盘的不同磁道中。在RAID的概念中，数据分条是一种映射技术，它将固定大小的连续虚拟磁盘数据地址映射成某个循环模式中的连续阵列成员。分条深度指在使用分条数据映射的磁盘阵列中，条带内的块数量，也指在磁盘阵列的单个成员盘区中，连续编址的虚拟磁盘块映射到连续编址的块的数量。而分条尺寸指的是分条中块的数量。分条阵列的分条尺寸是分条深度乘以成员盘区的数量。具有奇偶校验RAID阵列的分条尺寸是分条深度乘以成员盘区的数量减1。如图1所示，Strip0-Strip5组成了一个分条Strip。在这个实例里，所有的磁盘均为每个Strip的成员盘。

图2显示了经过本发明方法后，数据在磁盘中的分布可能出现的情况。在本发明中，逻辑单元LUN的空间由多个段空间组成，每一个段空间可以作为独立的单元分配给该逻辑单元磁盘组中的磁盘。在磁盘中LUN的Strip不是均匀分布在各个磁盘中，这样可以使少数的磁盘占有该LUN更大的空间。在图2中，磁盘0，1，4，5每分配一个Strip，磁盘2，磁盘3会分配3个Strip。例如Strip6，Strip7组成的条带中，磁盘2，3为该条带的成员盘。RAID控制器在图1，图2的场景中控制着LUN的地址的转化。

图3显示了判断是否可以进行LUN物理地址空间的重分配流程图。根据这个流程图来判断出可否在当前RAID子系统重新对已存在的LUN重新进行分配。

步骤1：统计分析LUN对应物理磁盘的负载情况；

在RAID子系统里面运行监控程序，通过监控程序对磁盘组中的磁盘进行速率监控和点击率统计，结合负载均衡和过载运行方面的要求，得知磁盘组中各个磁盘上LUN段空间的分配情况及负载情况。

应用程序对RAID子系统中的数据进行操作时，都需要通过RAID控制器来进行逻辑地址和物理地址的转换，根据映射表，在写入的时候会进行数据的分解操作，在读取的时候会进行数据的合并操作，为了进行磁盘负载的统计，系统会记录每个硬盘的读写次数，按照LUN编号、磁盘编号、磁盘使用次数的格式来进行计数统计，某个磁盘的使用计数总和为相同的磁盘编号的磁盘使用次数总和相加。当对LUN进行重新创建后，系统会将该LUN编号所涉及的所有的磁盘的计数重新清0，重新开始计数。

步骤2：根据上述统计结果分析判断系统运行效率是否低于预期效果，若是则执行步骤3，若否则继续监控；

本发明可在系统中预先设置阀值，当系统中磁盘负载超过了设定的门限阀值，则通知管理员，由系统管理员决定是否进行LUN空间重建立，或由系统自动决定是否进行LUN空间重建立。本发明可根据各磁盘的负载情况，为负载较轻的磁盘分配较多的LUN逻辑数据块，为负载较重的磁盘分配较少的LUN逻辑数据块，以平衡负载，通过指定分配到各磁盘的strip个数的比值的方式来进行分配。例如图2所示，磁盘0，1，2，3，4，5的LUN重分配比例为1∶1∶3∶3∶1∶1。通过给负载较轻的磁盘分配更多的LUN逻辑数据块来达到均衡负载的目的。

步骤3：依据重分配算法确定LUN空间在各磁盘上的新的空间分配比例；

本发明一具体实施例采用如下算法确定LUN空间的新的分配比例：

ABS(L0-Ls)∶ABS(L1-Ls)∶...∶ABS(Li-Ls)(i＝0，1，2，3...n)。其中ABS为取绝对值函数，Li为第i块磁盘的磁盘利用率。Ls为在RAID子系统中为磁盘利用率设定的门限阀值。若Li-Ls＞0，则表明该磁盘利用率大于设定阀值，则在新的比例分配中设定该磁盘所分配的段空间strip比值为1，若小于0，则保持该磁盘原有比值不变。

举例说明：若6个磁盘(磁盘1到磁盘6)利用率分别为50％，70％，30％，30％，90％，50％，我们设定的阀值为60％，若原有比例分配为：1∶1∶3∶3∶3∶1；由于磁盘2和磁盘5的利用率超过阀值，因此，采用上述重新分布算法后设定的新的比例分配为：1∶1∶3∶3∶1∶1。

步骤4：判断LUN磁盘组里的磁盘空间是否完全都被分配了；

由于LUN空间的重新分配要把过度使用的文件重新打散分配到系统中其它磁盘上没有被分配的剩余物理空间中，若其它磁盘上的空间都被占用，则表明不能进行LUN的重新分配，操作将结束退出。若磁盘组的磁盘存在可用的磁盘空间，则执行步骤5。

步骤5：依据新分配比例检测磁盘有效空间是否能够容纳按新分配比例分配的段空间，若是则执行步骤7，若否则执行步骤6；

在一些磁盘上，往往会出现不允许访问某些空间的情况，例如RAID子系统中某些磁盘上需要存放校验数据的话，一般不允许其他的LUN进行数据存放。因此在计算磁盘剩余空间的时候应当排除不允许访问的这部分空间。所述空间的有效性即指在排除不允许访问的空间之后是否有足够的空间容纳按新比例分配的LUN段空间。

由于本发明的主要目的是要把利用率高的磁盘的相应LUN的数据块分配到利用率较低的磁盘上，因此需要验证各磁盘有效空间在新比例分配情况下是否有足够的空间容纳分配给他的段空间。若判断出在新比例分配下，某个磁盘的剩余空间不足以容纳按新比例分配给该磁盘的LUN空间，则该LUN按照普通映射进行重建，即采用前面提到的按平均比例分配的方案进行重新创建。

这个判定步骤是用来判断一些使用率较低的磁盘是否有足够的有效空间。磁盘利用率较低是根据预先定义的阀值来进行判断，低于这个阀值就认为磁盘的使用率低。本发明的一具体实施例中为了提高判断效率，首先从比例最高的磁盘开始判断，因为所占比例越高的磁盘所分配的strip段空间也越多，其可能出现有效空间不足的可能性也越大。

步骤6：进行普通映射，结束流程；

重新将LUN空间平均分配到磁盘组中的磁盘上，然后结束此次LUN创建。

步骤7：执行LUN空间重新分配。

在LUN空间重新分配时，一些利用率较高的磁盘的strip会被重新分配到其他利用率较低的磁盘空间里面。达到一个性能优化的目的。如图2就是一个LUN空间重分配后的一个示例。在示例中，将负载较重的磁盘0，1，4，5的部分数据块重新分布在负载较轻的磁盘2，3上。数据重新分布后，若RAID子系统存在奇偶校验数据，则会引起校验数据的重新校验及再分布。这个由RAID控制器进行控制操作。

图4显示了本发明接受LUN空间重新分配的实现的流程图。

步骤41：磁盘阵列子系统接收到LUN空间重新分配的指令；

重新分配的指令可以来自磁盘阵列管理员或者来自监控程序。磁盘阵列管理员可以通过管理界面来决定什么时候LUN空间重新进行配置，也可以设置一个阀值来由系统自动触发这个操作。

步骤42：按新分配比例重建LUN。

默认情况下，LUN的所有磁盘都参与LUN的空间重分配，因此需要一个缓存空间来保存中间数据。在此过程中需要对LUN的段空间Strip进行重排列，首先，需基于以下算式计算所述逻辑单元磁盘组中各磁盘应当分得的段空间总数：

(Bi/BT)*D

其中，Bi为当前磁盘在所述新的空间分配比例中所分得的比值，BT为所述逻辑单元中所有磁盘在所述新的空间分配比例中所分得比值之和，D为所述逻辑单元中总的段空间数。

然后再由RAID控制器根据LUN空间重新分配的指令，依据监控程序模块分析得出的LUN空间重新分布的比例对LUN空间重新进行段空间的分配，数据将被重新进行摆放。若RAID存在校验功能，则校验数据将会重新生成。

图5显示了LUN空间重新分配后的使用。

步骤51：首先磁盘阵列子系统将来自主机的逻辑地址空间转换成段空间地址。

在主机端看来，LUN是连续的逻辑地址空间，主机通过逻辑地址来请求文件，RAID子系统收到来自主机的逻辑地址后将其转换成段空间地址，然后然后才能根据映射表将其转换成真正的物理磁盘上的物理地址。

步骤52：根据映射表获取物理访问地址。

所述映射表包含：段空间号、条号、偏移量字段，以图2为例，重新创建LUN后映射表如下：

       Disk1     Disk2     Disk3     Disk4     Disk5     Disk6

条0    strip0    strip1    strip2    strip3    strip4    strip5

条1                        strip6    strip7

条2                        strip8    strip9

条3    strip10   strip11   strip12   strip13   strip14   strip15

条4                        strip16   strip17

条5                        strip18   strip19

上表的含意可解释为，LUN的第几个段空间在第几个分条中的第几个物理磁盘上，偏移量即对应的分条中的磁盘号。

映射表的建立可以在LUN空间重新设定分布比例的时候进行，或者在监控程序进行分析时生成。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1、一种磁盘阵列子系统中逻辑单元重建的方法，包括如下步骤：

A、分析逻辑单元磁盘组中的物理磁盘的负载；

B、判断是否需要进行逻辑单元的重建，若是则执行步骤C，若否则执行步骤A；

C、依据重分配算法确定逻辑单元空间在各磁盘上的新的空间分配比例；

D、根据所述新的空间分配比例判断逻辑单元磁盘组中各磁盘的空间有效性，若有效则执行步骤F，若否则执行步骤E；

E、将逻辑单元的空间按平均比例进行重新分布，结束流程；

F、将逻辑单元的空间按所述新的空间分配比例进行重新分布。

2、如权利要求1所述的方法，其特征在于，所述逻辑单元的空间由多个段空间组成，每一个段空间可以作为独立的单元分配给所述磁盘组中的磁盘。

3、如权利要求1所述的方法，其特征在于，步骤B中，所述判断是依据磁盘阵列子系统中设定的门限阀值进行判断，若当前磁盘负载超过了所述门限阀值则认为需要进行所述逻辑单元的重建。

4、如权利要求1所述的方法，其特征在于，步骤C中，所述重分配算法基于下式：

ABS(L0-Ls)：ABS(L1-Ls)：...：ABS(Li-Ls)(i＝0，1，2，3...n)

其中ABS为取绝对值函数，Li为第i块磁盘的磁盘利用率，Ls为在RAID子系统中为磁盘利用率设定的门限阀值，若Li-Ls＞0，则在新的比例分配中设定该磁盘所分配的空间比值为1，若小于0则保持该磁盘原有比值不变。

5、如权利要求1所述的方法，其特征在于，步骤D中，进行所述磁盘空间有效性的判断包括如下步骤：

D1、判断逻辑单元磁盘组中磁盘空间是否已完全被分配，若是则结束并退出重分配流程，若否，则执行步骤D2；

D2、判断所述逻辑单元磁盘组中磁盘的有效剩余空间是否能够容纳按所述新的空间分配比例分配的段空间，若是则执行步骤F，若否则执行步骤E。

6、如权利要求5所述的方法，其特征在于，步骤D2中，进行所述磁盘有效性空间的判断时，先对在原分配比例中比值最大的磁盘进行判断。

7、如权利要求1所述的方法，其特征在于，步骤F中，通过如下步骤对所述逻辑单元按所述新的空间分配比例进行重新分布：

F1、基于以下算式计算所述参与重分配的磁盘应当分得的段空间总数：

(Bi/BT)*D

其中，Bi为当前磁盘在所述新的空间分配比例中所分得的比值，BT为所述逻辑单元中所有磁盘在所述新的空间分配比例中所分得比值之和，D为所述逻辑单元中总的段空间数；

F2、依据所述各磁盘所得段空间总数重新对所述逻辑单元的空间进行分布，并建立映射表。

8、如权利要求7所述的方法，其特征在于，所述映射表用于标记磁盘中的物理段空间与LUN的逻辑段空间之间的映射关系，包括条带号、磁盘号及段空间号，所述逻辑单元使用该映射表进行实际的物理数据访问。

9、一种磁盘阵列子系统中逻辑单元重建的装置，其特征在于，包括：

独立磁盘冗余阵列子系统控制器，用于对子系统中的磁盘组进行管理及进行访问控制；

磁盘组，用于存储物理数据；

监控模块，用于监控逻辑单元及磁盘负载并控制逻辑单元的重建；

映射表，用于物理段空间与逻辑单元的逻辑段空间之间的映射；

所述监控模块通过所述独立磁盘冗余阵列子系统控制器对逻辑单元及磁盘负载进行监控，并负责在所述逻辑单元重建时产生所述映射表，所述独立磁盘冗余阵列子系统控制器通过所述映射表进行逻辑地址到物理地址的映射。

10、如权利要求9所述的方法，其特征在于，所述监控模块包括：

空间有效性检测模块，用于监控磁盘容量及判断空间有效性；

磁盘负载监控模块，用于监控磁盘的负载是否超过门限阀值；

映射表生成模块，用于在所述逻辑单元空间重分布时生成所述映射表；

所述磁盘负载监控模块发现磁盘负载超过所述门限阀值时通知所述空间有效性检测模块进行空间有效性的检测，若所述逻辑单元磁盘组中所有磁盘的空间有效时由所述空间有效性检测模块向所述独立磁盘冗余阵列子系统控制器发送逻辑单元重分布指令，所述磁盘冗余阵列子系统控制器在所述映射表生成模块的控制下生成所述映射表。

Images