CN101430636B - 一种在冗余控制器环境下多路径管理的方法 - Google Patents

Abstract

本发明公开了一种在冗余控制器环境下多路径管理的方法，用于磁盘阵列技术，其包括以下步骤：根据独立磁盘冗余阵列配置，以条带或多个条带为单位将逻辑盘分配给多个控制器访问；在主机端进行访问的时候根据各个控制器访问的逻辑盘地址范围将访问的I/O指令进行分解，分配给连接到两个控制器的路径。本发明方法用于实现在冗余控制器环境下多路径管理实现负载均衡的负载分配策略，该分配策略可将I/O负载分配到两个控制器上，实现同时对一个逻辑盘访问，其实现简单，提高了数据访问的性能。

Description

一种在冗余控制器环境下多路径管理的方法 

技术领域

本发明涉及一种磁盘阵列技术，尤其涉及的是一种在冗余控制器环境下实现多路径输入/输出的方法，用于支持在冗余控制器环境下的多条路径实现负载均衡。 

背景技术

用户希望磁盘阵列具有高可靠性的同时也希望磁盘阵列具有更高的性能。多路径输入/输出管理为磁盘阵列提供了路径保护，当一条路径失效时其它路径仍然可以正常工作，不影响对磁盘阵列的访问。 

为了能够充分利用多条路径的资源，将对磁盘阵列访问的负载分摊到这多条路径上，实现负载均衡的功能。当多条路径传输的负载都到达磁盘阵列后，磁盘阵列端单个控制器的处理能力限制了对I/O指令的快速响应。因此在冗余控制器环境下考虑将到达磁盘阵列端的I/O指令分配到多个控制器上处理。 

如图1所示，为现有技术的磁盘阵列访问技术，磁盘阵列101通常包含一堆磁盘102和一个或者多个控制器103，每个控制器控制对每个磁盘的访问。每个控制器有单独的通道104或者多个控制器共用多个通道，主机105通过HBA(Host Bus Adapter，主机总线适配器)卡106连接到这些通道实现对磁盘阵列中磁盘的访问。 

以下以两个控制及每个控制器使用单独的通道且每个控制器包含两个通道为例进行介绍。 

在磁盘阵列中，RAID(Redundant Array of Independent Drives，独立磁盘冗余阵列)技术将多个物理磁盘组合成一个逻辑盘。主机通过连接到磁 盘阵列的通道，实现对逻辑盘的访问。RAID中使用条带(stripe)为单位对数据进行管理，即磁盘上的数据被条带化。在RAID5配置中，每个条带还包含条带中所有扇区的校验数据，如图2所示。 

所谓多路径输入/输出，指从同一主机连接多条路径到磁盘阵列的多个通道，对相同逻辑盘进行访问。多路径输入/输出实现路径冗余、路径恢复和负载均衡三个功能。路径冗余是指工作路径失效后将所有的数据切换到可用的备用路径；路径恢复是指当工作路径恢复后，它自动重新承担数据传输任务；负载均衡是指数据传输自动在工作路径中分担。 

现有技术中多路径的连接方法有两种，如图3A和图3B所示，其中，一种是多条路径连接到同一个控制器的多个通道，如图3A所示；另一种是多条路径连接到两个控制的多个通道，如图3B所示。 

以两条路径为例进行说明，在图3A中所示，多个磁盘配置为一个逻辑盘301，主机105通过两片HBA卡106连接到控制器A103A的两个通道104A访问该逻辑盘。图3B中，多个磁盘配置为一个逻辑盘301，主机通过两片HBA卡106连接到控制器A103A的一个通道104A和控制器B103B的一个通道104B访问该逻辑盘，与图3A不同的是，控制器连接到主机的连线即所采用的控制器和通道不同。 

当指令从主机端到达磁盘阵列端后，磁盘阵列端需要对指令进行分解后发送到各个磁盘，然后将指令执行返回的结果合并，再将指令结果返回给主机。针对RAID3、RAID5和RAID6等RAID级别时，除了将指令分解合并外还需要计算校验数据，且将校验数据写到磁盘。如果某块磁盘发生故障，导致不能正常读写数据时，需要根据数据的校验信息计算完整的数据。 

因此指令到达磁盘阵列后控制器需要完成指令分解、合并、计算校验等一系列工作后才能返回指令执行结果。当多条路径连接到磁盘阵列时，在磁盘端能够提供充分带宽的情况下，控制器的处理能力就成为瓶颈。如 果将多条路径通过多个控制器连接，充分使用多个控制器的处理能力，将能够提升磁盘阵列的性能。 

图3B所示的连接方法中，如果使用传统的方法实现负载均衡，将会引起数据不一致。实现负载均衡的传统方法是主机端根据一定的策略将产生的I/O发送到两条路径，但不考虑磁盘阵列端对逻辑盘的操作情况，如轮循方法(循环给两条路径发送I/O)。 

当在图3B的连接方法中使用该方法访问RAID5的逻辑盘时，如果第一条路径访问逻辑盘中条带0中的前两个扇区(D0和D1)，第二条路径访问逻辑盘中条带0的后两个扇区(D2和D3)，且两个访问指令都是写操作。在当前两个扇区的数据到达后，磁盘阵列控制器将读取后两个扇区的数据，计算校验码，然后将校验码写回硬盘(P0和P1)，当后两个扇区的数据到达后将读取前两个扇区的数据计算校验码。 

在这种情况下，如果当控制器A读取后两个扇区为前两个扇区的数据计算校验时，控制器B也正读取前两个扇区的旧数据对后两个扇区计算校验码，结果最后导致校验码不正确，该条带数据出现不一致。因为控制器A和控制器B单独访问逻辑盘，不能保证指令的顺序执行导致数据不一致或者其它问题。 

美国专利US6675268的专利文献中提到了一种方法解决多个主机通过多个控制器上的多条路径访问相同逻辑盘的问题，该方法是通过变换逻辑盘所属的控制器(只有逻辑盘所属的控制器可访问该逻辑盘)来维护多个主机对同一个逻辑盘的访问。将该方法使用到同一个主机通过多个控制器上的多条路径访问同一个逻辑盘，也能够维护数据的一致性。但由于每一个时刻只能有一个控制器在工作，该种方法并不能充分利用控制器资源，提高性能。 

因此，现有技术还有待于改进和发展。 

发明内容

本发明的目的在于提供一种在冗余控制器环境下多路径管理的方法，针对连接到两个控制器上的多条路径存在的问题，在冗余控制器环境下的多路径管理实现负载均衡功能，在主机端将对磁盘阵列访问的I/O指令进行分配，使磁盘阵列的两个控制器能共同处理来自主机的I/O指令。 

本发明的技术方案包括： 

一种在冗余控制器环境下多路径管理的方法，其包括以下步骤： 

A、根据独立磁盘冗余阵列配置，以条带或多个条带为单位将逻辑盘分配给两个控制器访问； 

B、在主机端进行访问的时候根据两个控制器访问的逻辑盘地址范围将访问的I/O指令进行分解，分配给连接到两个控制器的路径。 

所述的方法，其中，所述步骤B中还包括：磁盘阵列端告诉主机端如何分配。 

所述的方法，其中，所述步骤B还包括： 

B1、所述主机端根据地址分配表将产生的I/O指令根据地址分配表，分解为多个I/O指令； 

B2、所述主机端根据主机端路径对应表将多个I/O指令分配到对应的控制器所属的路径。 

所述的方法，其中，所述主机端地址分配表用于存放主机端访问设备时的地址分配范围，为一段连续的地址范围；其对应的控制器表示该地址范围所属的控制器。 

所述的方法，其中，所述主机端路径对应表用于保存主机连接到磁盘阵列的所有路径分布到各个控制器的情况，其路径表示磁盘阵列连接到主机的路径，其对应的控制器表示该路径连接的控制器。 

所述的方法，其中，所述磁盘阵列端还设置有地址分配表用于存放磁盘阵列访问逻辑盘时地址的地址分配范围，为一段连续的地址范围，其对应的控制器表示该地址范围所属的控制器。 

所述的方法，其中，在所述主机端及所述磁盘阵列端设置一多路径管理软件，该多路径管理软件包括：主机端管理部分和磁盘阵列端管理部分；所述主机端管理部分运行在主机端，用于主机端多路径管理；所述磁盘阵列端管理部分运行在磁盘阵列端，用于磁盘阵列端多路径管理。 

所述的方法，其中，所述主机端管理部分还用于在主机端将主机识别到的多个相同设备虚拟为单个设备提供给用户访问。 

所述的方法，其中，所述磁盘阵列端管理部分还用于对逻辑盘访问的管理，当有主机独立连接到某一控制器对该逻辑盘进行访问时，查询正在访问该逻辑盘的主机是否与待访问的主机使用相同的地址分配情况访问该逻辑盘，如果不是，则禁止该主机的访问，直到正在访问逻辑盘的主机访问结束后再允许该主机进行访问。 

本发明所提供的一种在冗余控制器环境下多路径管理的方法，用于实现在冗余控制器环境下多路径管理实现负载均衡的负载分配策略，该分配策略可将I/O负载分配到两个控制器上，实现同时对一个逻辑盘访问，其实现简单，提高了数据访问的性能。 

附图说明

图1是现有技术的磁盘阵列与主机连接示意图； 

图2是现有技术的RAID5配置示意图； 

图3A和图3B为现有技术的磁盘阵列与主机使用多条路径连接图； 

图4是本发明方法主机端地址分配表结构图； 

图5是本发明方法主机端路径对应表结构图； 

图6是本发明方法的磁盘阵列端地址分配表结构图； 

图7是本发明方法的多路径管理软件模块图。 

具体实施方式

下面结合附图，将对本发明的在冗余控制器环境下多路径管理实现负载均衡的方法进行详细说明。 

本发明在冗余控制器环境下多路径管理的方法，在RAID配置中，数据是以条带为单位进行处理的，而两个控制器同时对同一个条带访问会引起数据不一致及其它问题。针对RAID配置的特点，本发明提出以条带或者多个条带为单位将逻辑盘中的各部分访问权限分配到各个控制器，如现有技术的图2(RAID5配置)中所示，将条带0和条带2分配给控制器A、条带1和条带3分配给控制器B。在主机端进行访问的时候根据各个控制器访问的范围将访问的I/O指令进行分解，分配给连接到两个控制器的路径，而磁盘阵列端所做的工作是告诉主机端该如何分配。 

本发明方法的提供地址分配策略包括，根据RAID的条带分配和条带或者多个条带为单位将逻辑盘分配给两个控制器访问。如图2中所示三块磁盘通过RAID配置形成一个逻辑盘，假设该逻辑盘容量为1KB，按照字节进行编址，即虚拟地址范围为0-1023。将条带0和条带2分配给控制器A访问，条带1和条带3分配给控制器B访问。 

磁盘阵列端将逻辑盘的虚拟地址分配为四部分，对应的分配结果为，地址0-255和512-767属于控制器A，地址256-511和768-1023属于控制器B，并将分配结果保存到磁盘阵列端地址分配表中。地址范围分配给各个控制器的比例可以参考各个控制器连接到主机的路径数，在这里可进行平均分配。分配工作是由主机端来完成的，不影响其它想通过单个控制器访问该逻辑盘的主机的访问。 

主机端连接到磁盘阵列访问逻辑盘时，主机端生成一个可访问的设备。在这里假设主机访问该设备的虚拟地址刚好与磁盘阵列访问逻辑盘的虚拟地址对应即主机端产生一个读指令，起始地址为0，读取长度为n，传送到磁盘阵列后，磁盘阵列形成访问逻辑盘的读指令，起始地址也为0，读取长度也为n。 

主机端根据磁盘阵列端的地址分配情况，也将访问的地址范围分配到控制器A和控制器B。如果两个控制器分别对应一条或者多条路径，则地址0-255和512-767属于控制器A；地址256-511和768-1023属于控制器B。在主机只连接到磁盘阵列单个控制器上路径的情况下，地址0-1023都将属于该控制器。 

本发明还提供I/O指令分解及发送策略，即：主机端根据地址分配表和路径对应表，将产生的I/O根据地址分配表，分解为多个指令，如针对地址218-649的访问，将指令分解为三个指令，指令一为218-255，指令二为256-511，指令三为512-649。而将指令一和指令三分配到控制器A所属的路径，指令二分配到控制B所属的路径。而同一个控制器上的多条路径间的负载分配则可以使用多种方式进行。 

上述的方案中，主机端地址分配表400存放主机端访问设备时的地址分配范围，如图4所示，前一项地址范围401表示一段连续的地址范围，该地址为主机访问设备的地址；后一项控制器402表示该地址范围所属的控制器。路径分配表500保存主机连接到磁盘阵列的所有路径分布到各个控制器的情况，如图5所示，前一项路径501表示磁盘阵列连接到主机的路径，后一项控制器502表示该路径连接的控制器。磁盘阵列端地址分配表600存放磁盘阵列访问逻辑盘时地址的地址分配范围，如图6所示，前一项地址范围601表示一段连续的地址范围，该地址为磁盘阵列访问逻辑盘的地址；后一项控制器602表示该地址范围所属的控制器。 

本发明方法在冗余控制器环境下实现了多路径管理负载的均衡，根据RAID配置中以条带为单位进行访问的基础上，根据RAID配置时的条带分配和条带大小，将磁盘阵列的逻辑盘分配给两个控制器访问。并将分配情况提供给主机端，主机在向连接到磁盘阵列两个控制器的路径上传输指令时，该指令的访问范围就只包括该路径传输它所属控制器管理的部分。 

如图7所示，本发明的一种在冗余控制器环境下多路径管理软件700 包含主机端和磁盘阵列端两部分，即主机端管理部分710和磁盘阵列端管理部分720。所述主机端管理部分710运行在主机端，主要负责主机端多路径管理的工作，包含的表示结构有主机端地址分配表400、主机端路径对应表500。所述磁盘阵列端管理部分720运行在磁盘阵列端，主要负责磁盘阵列端多路径管理的工作，包含的表示结构有磁盘阵列端地址分配表600。 

所述主机端管理部分的表示结构中，主机端地址分配表400存放主机端访问设备时的地址分配范围，前一项地址范围401表示一段连续的地址范围，该地址为主机访问设备的地址；后一项控制器402表示该地址范围所属的控制器。路径分配表500保存主机连接到磁盘阵列的所有路径分布到各个控制器的情况，前一项路径501表示磁盘阵列连接到主机的路径，后一项控制器502表示该路径连接的控制器。 

所述主机端管理部分710的工作包括： 

a)维护连接到该逻辑盘的多条路径正常工作，在主机端虚拟为单个设备提供给用户访问。 

b)向磁盘阵列端询问该逻辑盘每个控制器对应的地址范围。并将磁盘阵列访问逻辑盘的地址范围对应到为主机端访问该设备时的地址范围，将分配范围保存到主机端地址分配表中。 

c)将主机端的I/O指令根据地址分配范围，使用地址分配策略分解为多个指令，并根据I/O发送策略将各个指令发送到对应的路径。 

d)根据I/O指令的分解情况，将分解的多个指令的执行结果合并为一个结果，作为I/O指令执行的结果。 

所述磁盘阵列端管理部分的表示结构中，磁盘阵列端地址分配表600存放磁盘阵列访问逻辑盘时地址的地址分配范围，前一项地址范围601表示一段连续的地址范围，该地址为磁盘阵列访问逻辑盘的地址；后一项控制器602表示该地址范围所属的控制器。 

所述磁盘阵列端管理部分720的工作包括： 

a)向主机端提供各个逻辑盘的信息，主机端可以根据该信息判断多条路径连接的设备为同一个逻辑盘。 

b)询问磁盘阵列中的逻辑盘管理部分，根据RAID配置中条带的分布和条带的大小为两个控制器分配访问逻辑盘的地址范围。 

磁盘阵列端管理部分询问磁盘阵列中的逻辑盘管理部分，根据RAID配置中条带的分布和条带的大小为两个控制器分配访问逻辑盘的地址范围，并将分配结果反馈给主机。如果磁盘阵列中该逻辑盘已经进行了地址分配，则直接将分配结果反馈给主机。 

c)负责对逻辑盘访问的管理，当有主机独立连接到控制器A对该逻辑卷进行访问时，该逻辑盘不能通过多路径访问，反之亦然。 

当有主机对该逻辑盘访问时，查询正在访问该逻辑盘的主机是否与待访问的主机使用相同的地址分配情况访问该逻辑盘，如果不是，则禁止该主机的访问。直到正在访问逻辑盘的主机访问结束后才允许该主机进行访问。 

上述本发明方法的主机端和磁盘阵列端地址模块中使用的地址分配策略为：磁盘阵列端将逻辑盘进行RAID配置时的条带分布及条带大小，将地址分配到两个控制器。分配的起始地址为条带分布的起始地址，分配的单位为条带大小的倍数。主机端根据磁盘阵列端对逻辑盘的地址分配，将访问对应该逻辑盘设备的虚拟地址也进行对应的分配。 

例如访问物理盘上相同的位置时，磁盘阵列端逻辑盘的虚拟地址为0，主机端设备的虚拟地址也为0。该逻辑盘进行RAID配置时的条带大小为256，则在磁盘阵列端将地址范围0-255分配给控制器A访问，在主机端也将地址范围0-255分配给控制器A。在磁盘阵列端将地址范围256-511分配给控制器B访问，在主机端也将地址范围256-511分配给控制器B。 

综上所述，本发明根据RAID配置的基本原理，将逻辑盘根据RAID配置的条带分布和条带大小分配该两个控制器访问，在主机端实现负载分 配工作，不影响其它主机使用单个控制器对该逻辑盘的访问。本发明方法实现的多路径管理软件可以在冗余控制器环境下提供负载均衡的功能，充分利用了两个控制器的资源，提高了主机使用多路径方式访问磁盘阵列的性能。 

应当理解的是，上述针对本发明较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明的专利保护范围应以所附权利要求为准。 

Claims (8)

1.一种在冗余控制器环境下多路径管理的方法，其包括以下步骤：

A、根据独立磁盘冗余阵列配置，以条带或多个条带为单位将逻辑盘分配给两个控制器访问；

B、在主机端进行访问的时候根据所述两个控制器访问的逻辑盘地址范围将访问的I/O指令进行分解，分配给连接到所述两个控制器的路径；

其中，主机端执行：

a)维护连接到该逻辑盘的多条路径正常工作，在主机端虚拟为单个设备提供给用户访问；

b)向磁盘阵列端询问该逻辑盘每个控制器对应的地址范围，并将磁盘阵列访问逻辑盘的地址范围对应到为主机端访问该设备时的地址范围，将分配范围保存到主机端地址分配表中；

c)将主机端的I/O指令根据地址分配范围，使用地址分配策略分解为多个指令，并根据I/O发送策略将各个指令发送到对应的路径；

d)根据I/O指令的分解情况，将分解的多个指令的执行结果合并为一个结果，作为I/O指令执行的结果；

所述主机端还用于在主机端将主机识别到的多个相同设备虚拟为单个设备提供给用户访问；

磁盘阵列端执行：

a)向主机端提供各个逻辑盘的信息，主机端可以根据该信息判断多条路径连接的设备为同一个逻辑盘；

b)询问磁盘阵列中的逻辑盘管理部分，根据RAID配置中条带的分布和条带的大小为两个控制器分配访问逻辑盘的地址范围；

c)磁盘阵列端管理部分询问磁盘阵列中的逻辑盘管理部分，根据RAID配置中条带的分布和条带的大小为两个控制器分配访问逻辑盘的地址范围，并将分配结果反馈给主机。如果磁盘阵列中该逻辑盘已经进行了地址分配，则直接将分配结果反馈给主机。

2.根据权利要求1所述的方法，其特征在于，所述步骤B中还包括：磁盘阵列端告诉主机端如何分配。

3.根据权利要求2所述的方法，其特征在于，所述步骤B还包括：

B1、所述主机端根据主机端地址分配表将产生的I/O指令分解为多个I/O指令；

B2、所述主机端根据主机端路径对应表将所述多个I/O指令分配到对应的控制器所属的路径。

4.根据权利要求3所述的方法，其特征在于，所述主机端地址分配表用于存放主机端访问设备时的地址分配范围，为一段连续的地址范围；其对应的控制器表示该地址范围所属的控制器。

5.根据权利要求3所述的方法，其特征在于，所述主机端路径对应表用于保存主机连接到磁盘阵列的所有路径分布到各个控制器的情况，其路径表示磁盘阵列连接到主机的路径，其对应的控制器表示该路径连接的控制器。

6.根据权利要求3所述的方法，其特征在于，所述磁盘阵列端还设置有地址分配表用于存放磁盘阵列访问逻辑盘时地址的地址分配范围，为一段连续的地址范围，其对应的控制器表示该地址范围所属的控制器。

7.根据权利要求4、5或6所述的方法，其特征在于，在所述主机端及所述磁盘阵列端设置一多路径管理软件，该多路径管理软件包括：主机端管理部分和磁盘阵列端管理部分；所述主机端管理部分运行在主机端，用于主机端多路径管理；所述磁盘阵列端管理部分运行在磁盘阵列端，用于磁盘阵列端多路径管理。

8.根据权利要求7所述的方法，其特征在于，所述磁盘阵列端管理部分还用于对逻辑盘访问的管理，当有主机独立连接到某一控制器对该逻辑盘进行访问时，查询正在访问该逻辑盘的主机是否与待访问的主机使用相同的地址分配情况访问该逻辑盘，如果不是，则禁止该主机的访问，直到正在访问逻辑盘的主机访问结束后再允许该主机进行访问。

Images