CN1825833A - iSCSI存储网络、磁盘阵列及其容量扩展方法 - Google Patents

Abstract

本发明公开了一种iSCSI存储网络，包括超过一个后端交换单元、不小于后端交换单元数量的扩展交换单元和磁盘存储单元，其中每个后端交换单元与至少一个扩展交换单元分别构成IRF Fabric，用来将磁盘存储单元接入iSCSI存储网络；每个磁盘存储单元至少连接一个Fabric，用来进行数据存储。本发明还公开了一种iSCSI磁盘阵列和一种iSCSI存储网络进行容量扩展的方法。应用本发明后，在存储容量需要扩展时用户可以通过增加新的交换单元来提供更多的磁盘存储单元接入端口，实现了存储接入端口的按需扩展，同时不降低存储网络的可用性。

Description

iSCSI存储网络、磁盘阵列及其容量扩展方法

技术领域

本发明涉及存储系统，尤其涉及承载在TCP/IP(Transmission ControlProtocol/Internet Protocol，传输控制协议/互联网协议)协议上的iSCSI(InternetSmall Computer System Interface，网际小型机系统接口)存储系统的容量扩展方法，及利用这种方法实现的磁盘阵列和存储系统。

背景技术

传统的存储系统经历了SCSI(Small Computer System Interface，小型机系统接口)电缆直连方式后，一直是以FC(Fibre Channel，光纤通道)为主流。iSCSI的出现，提供了另一种传送SCSI命令的手段，它使存储资源可以在IP范围内被共享。

iSCSI是IETF(Internet Engineering Task Force，互联网工程任务组)制订的一项标准，用于将SCSI数据块映射成以太网数据包，即将数据存储设备使用的SCSI协议承载在TCP/IP上进行传输。它支持以太网的物理层协议，并且允许支持该协议的设备直接连接到标准的以太网交换机或者路由器上。

现有技术中，一种采用iSCSI磁盘阵列的IP SAN结构如图1所示，主机通过TCP/IP网络连接到iSCSI存储网络中的前端交换机，前端交换机连接多个iSCSI磁盘阵列的控制单元，控制单元包括磁盘阵列的接口及处理部分，主要用来进行协议转换、业务处理，包括处理接口上的数据包、磁盘控制以及各种表项的查找刷新等操作。在每个iSCSI磁盘阵列中，包括主控制模块和备用控制模块分别连接各自的后端交换模块，两个后端交换模块之间通过LA(Link Aggregation，链路聚合)连接，所有的磁盘分别连接到两个后端交换模块上。当一个控制模块、一个后端交换模块发生故障时，都不会影响主机与磁盘之间的数据读写。

这样，iSCSI磁盘阵列支持的磁盘总数与后端交换机的端口数量有关，可能因后端交换机端口数量而使存储容量受到限制。

另一种iSCSI存储网络将控制部分和磁盘部分分离，以满足读写性能和存储容量可以分别进行扩展的需求。一种可能的组网结构如图2所示，iSCSI存储网络包括前端网络、控制部分、后端网络和磁盘部分，前端网络的前端交换机通过以太网连接主机；控制部分的一个或多个控制单元主要进行协议转换、业务处理，包括处理主机和磁盘之间的数据包、磁盘控制以及各种表项的查找刷新等操作，每个控制单元分别与后端网络的两个后端交换机连接；后端网络的两个后端交换机之间通过LA连接；磁盘部分的各个磁盘柜分别与两个后端交换机连接。同样，当部分控制单元、一个后端交换机发生故障时，不会影响存储网络的在线。

在这种iSCSI存储网络中，存在着同样的问题，存储网络所支持的存储容量受到后端交换机的端口数量限制。

发明内容

本发明要解决的是iSCSI存储网络所支持的存储容量受到后端交换机端口数量限制的问题。

本发明所述iSCSI存储网络包括超过一个后端交换单元、不小于后端交换单元数量的扩展交换单元和磁盘存储单元，其中：

每个后端交换单元与至少一个扩展交换单元分别构成智能弹性架构IRF联合设备Fabric，用来将磁盘存储单元接入iSCSI存储网络；

每个磁盘存储单元至少连接一个Fabric，用来进行数据存储。

优选地，所述扩展交换单元组合为至少一个扩展交换组，所述扩展交换组中包括每个Fabric中的一个扩展交换单元；至少一个磁盘存储单元分别连接至扩展交换组中的每个扩展交换单元。

优选地，所述扩展交换组中的扩展交换单元相连接，与后端交换单元之间的连接链路构成分布式链路聚合DLA。

优选地，所述后端交换单元和扩展交换单元均包括上行IRF接口和下行IRF接口；

所述后端交换单元与扩展交换单元构成IRF具体为：

后端交换单元和每个扩展交换组中与该后端交换单元属于同一个Fabric的扩展交换单元的下行IRF接口依次通过IRF堆叠总线连接至下一个扩展交换组中对应的扩展交换单元的上行IRF接口，直至最后一个扩展交换组；

最后一个扩展交换组中对应的扩展交换单元的下行IRF接口通过IRF堆叠总线连接至后端交换单元的上行IRF接口。

优选地，所述iSCSI存储网络还包括超过一个控制单元，分别连接至少一个Fabric，用来进行磁盘阵列的协议转换和业务处理。

本发明提供了一种iSCSI存储网络的容量扩展方法，所述iSCSI存储网络包括超过一个后端交换单元和磁盘存储单元，所述方法包括以下步骤：

将每个后端交换单元与新增的交换单元分别构成IRF Fabric；

将新增的磁盘存储单元分别连接至每个Fabric上。

优选地，所述方法还包括：将各Fabric中的一个新增交换单元互相连接；

所述将新增的磁盘存储单元分别连接至每个Fabric上具体为：将新增的磁盘存储单元分别连接至相连接的新增交换单元上。

优选地，所述方法还包括：将不同Fabric中新增交换单元间的连接链路与后端交换单元间的连接链路组合为DLA。

优选地，所述将后端交换单元与新增的交换单元构成Fabric具体为：将后端交换单元与新增交换单元通过IRF堆叠总线连接成IRF环。

优选地，所述后端交换单元为Fabric。

本发明提供了一种iSCSI磁盘阵列，包括主控磁盘装置和至少一个扩展磁盘装置，其中：

主控磁盘装置包括超过一个的后端交换模块和分别连接每个后端交换模块的磁盘；

扩展磁盘装置包括与后端交换模块对应的扩展交换模块和分别连接每个扩展交换模块的扩展磁盘；

每个后端交换模块与对应的扩展交换模块构成Fabric，用来将磁盘和扩展磁盘接入iSCSI存储网络。

优选地，每个扩展磁盘装置中的扩展交换模块相连接，该连接链路与后端交换模块之间的连接链路构成DLA。

优选地，所述后端交换模块和扩展交换模块均包括上行IRF接口和下行IRF接口；

所述后端交换模块与对应的扩展交换模块构成IRF具体为：

后端交换模块和对应的各个扩展交换模块的下行IRF接口依次通过IRF堆叠总线连接至下一个扩展磁盘装置中扩展交换模块的上行IRF接口，直至最后一个扩展磁盘装置；

最后一个扩展磁盘装置中扩展交换模块的下行IRF接口通过IRF堆叠总线连接至后端交换模块的上行IRF接口。

优选地，所述主控磁盘阵列包括与后端交换模块对应的控制模块，每个控制模块连接对应的后端交换模块，用来进行iSCSI磁盘阵列的协议转换和业务处理。

本发明通过将每个后端交换单元与扩展交换单元构成IRF，在存储容量需要扩展时用户可以通过在每个IRF中增加新的扩展交换单元来提供更多的磁盘存储单元接入端口，实现了存储接入端口的按需扩展；

同时，本发明通过将不同IRF中接入相同的磁盘存储单元的扩展交换单元相连接并构成DLA，保证了iSCSI存储网络的高可用性。

附图说明

图1为现有技术中采用iSCSI磁盘阵列的iSCSI存储网络结构示意图；

图2为现有技术中磁盘部分与控制部分分离的iSCSI存储网络的结构示意图；

图3为包括两个Unit的IRF Fabric的连接示意图；

图4为两个IRF Fabric之间DLA的连接关系示意图；

图5为本发明所述iSCSI存储网络容量扩展方法的流程图；

图6为本发明所述iSCSI存储网络的结构示例图；

图7为本发明所述iSCSI磁盘阵列的结构示例图。

具体实施方式

对于iSCSI存储网络而言，高可用性是极为重要的特征之一。在扩展接入磁盘的后端交换机端口时，任何本领域技术人员均可想到通过在后端交换机上级联交换机的方式进行扩展。然而，在考虑iSCSI存储网络可用性的基础上，级联交换机和后端交换机需要消耗相当多的端口以支持其间的冗余连接，使得增加接入端口数量的成本大为提高。即便如此，级联交换机与后端交换机构成的后端网络仍然存在降低iSCSI存储网络可用性的单点故障。

IRF技术可以将多个独立的交换设备通过IRF堆叠总线连接为一个Fabric(联合设备)，形成分布式交换架构，作为一个逻辑交换实体运行。从管理和配置的角度看，一个分布式交换架构看起来就像一台交换设备；从性能的角度看，分布式交换架构中的每台交换机都能针对其端口上的二层或三层流量制定本地转发决策。

Fabric中每个独立的交换设备称之为一个Unit(单元)。多个Unit组成Fabric后，无论在管理还是在使用上，就成为了一个高性能的整体。用户既可以通过增加Unit来扩展端口数量和交换能力，同时也通过多个Unit之间的相互备份增加了整个Fabric的可靠性，从而以尽可能少的开销，实现了尽可能高的网络性能和可用性。

各个Unit之间可以采用多种连接方式形成Fabric，IRF环是其中比较常见的一种。例如，由两个Unit形成的Fabric如图3所示，每个Unit上分别包括一个上行IRF接口和一个下行IRF接口，其中一个Unit的下行IRF接口连接到另一个Unit的上行IRF接口，其上行IRF接口与另一个Unit的下行IRF接口相连接。各个上下行IRF接口间采用专用的IRF堆叠总线进行连接。

与和传统的堆叠技术相比，IRF提供了更为增强的功能，尤其是DLA(Distributed Link Aggregation，分布式链路聚合)技术，支持将Fabric中位于不同Unit上的物理端口形成链路聚合组。DLA不仅与链路聚合一样可以提高链路容量，实现聚合链路之间的负载分担和互为备份，而且将聚合链路失效的风险分散在多个Unit上，进一步提高了聚合链路的可用性。

图4所示为各包括两个Unit的两个Fabric之间由4条物理链路形成的DLA，可见，即使一个Fabric中的一个Unit失效，两个Fabric之间的报文仍可以通过DLA由另外两条物理链路传输。

在本发明中采用IRF技术来进行iSCSI存储网络的容量扩展，图5所示为本发明所述容量扩展方法的流程。本发明所述容量扩展方法可以适用于如下的iSCSI存储网络：两个或两个以上的后端交换单元之间互相连接，将磁盘存储单元接入控制单元；磁盘存储单元分别连接至少两个后端交换单元以实现到控制单元的容错连接；新增的交换单元提供磁盘存储单元的接入端口以进行容量扩展。需要说明的是，本发明只涉及后端交换单元与磁盘存储单元的容量扩展方案，事实上本发明在增强磁盘存储单元接入能力的同时，也允许后端网络接入更多的控制单元。

不难理解，图1中的iSCSI磁盘阵列与图2中的iSCSI存储网络在涉及存储容量扩展的部分，即包括后端交换机或后端交换模块、磁盘或磁盘柜的部分具有相同的逻辑结构，因而图5中本发明所述方法的流程既适用于iSCSI磁盘阵列，也适用于控制部分与存储部分分离的iSCSI存储网络。

在步骤S510，将每个后端交换单元与新增的交换单元构成IRF Fabric。新增的交换单元数量不小于后端交换单元的数量。原来的各个后端交换单元可以是一个交换设备，也可以是一个Fabric；同样新增交换单元也可以是交换设备或Fabric。当后端交换单元是一个Fabric时，新增交换单元是一个交换设备时相当于在原Fabric中增加了一个Unit，而新增交换单元是另一个Fabric时则相当于执行两个Fabric的合并操作。

多个Unit可以通过不同的连接方法形成Fabric，后端交换单元与新增交换单元也可以采用各种连接方法形成Fabric。本发明推荐采用IRF环，即将后端交换单元和各级新增交换单元的下行IRF接口通过IRF堆叠总线连接到下一级新增交换单元的上行IRF接口，而将最后一级新增交换单元的下行IRF接口通过IRF堆叠总线连接到后端交换单元的上行IRF接口。IRF环本身即具有后端交换单元至任一级新增交换单元的冗余连接，例如，当与后端交换单元直接连接的新增交换单元发生故障时，后端交换单元可以通过最后一级新增交换单元反向连通其他正常工作的新增交换单元。

在执行本步骤后，新增交换单元与各个后端交换单元形成的Fabric可以看作一个具有更多接入端口的逻辑上的后端交换单元，而iSCSI存储网络的逻辑结构并没有发生变化。因而，只要将新增的磁盘存储单元分别连接至各个Fabric上，即可实现容量扩展。为了充分发挥IRF Fabric的容错性能，可以采用步骤S520至步骤S530的连接方法。

在步骤S520，将各个Fabric的一个新增交换单元彼此连接。在每个Fabric中确定一个新增交换单元，将所有Fabric中确定的新增交换单元互相连接。这一连接可以提供控制单元到磁盘存储单元的一条冗余链路。

在步骤S530，对新增的磁盘存储单元，将其通过相连接的新增交换单元接入iSCSI存储网络。即将新增磁盘存储单元分别与具有连接关系的新增交换单元连接，使新增磁盘存储单元与控制单元之间至少具有两条逻辑通道。

在步骤S540，将不同Fabric中新增交换单元间的连接链路与后端交换单元间的连接链路组合为DLA。这样，形成两个通过DLA连接的Fabric用于磁盘存储单元的接入，保证了扩展后的iSCSI存储网络至少具有与扩展前相同的可用性。

考虑到后端交换单元可以是Fabric，采用本发明的方法进行容量扩展使得用户可以按照业务发展需要逐次增加Fabric中的交换单元的数量，以满足不断增长的存储容量需求。

图6所示为应用本发明所述容量扩展方法的iSCSI存储网络的结构示例图，图中以增加4个扩展交换单元为例。

在应用本发明所述容量扩展方法的iSCSI存储网络中，控制单元和后端交换单元均为两个或两个以上，每个控制单元分别连接至少一个后端交换单元。在对该存储网络进行容量扩展时，新增的扩展交换单元个数不小于后端交换单元的数量。每个后端交换单元与至少一个扩展交换单元分别形成IRFFabric，而每个磁盘存储单元通过至少一个Fabirc的端口接入iSCSI存储网络，提供存储空间。

为了实现更好的可用性和便于管理，可以将扩展交换单元分为扩展交换组。每个扩展交换组跨越所有Fabric，即每个Fabric中有一个扩展交换单元属于扩展交换组，并且只属于一个扩展交换组。磁盘存储单元通过一个扩展交换组中的各个扩展交换单元接入iSCSI存储网络。

扩展交换组中的各个扩展交换单元相互连接，为该扩展组下连的磁盘存储单元提供至控制单元的另一条冗余链路。由于扩展交换组中的每个扩展交换单元分属于不同的Fabirc，扩展交换单元之间的连接链路实际上是不同Fabric之间的连接链路。因而，可以将扩展交换单元间的连接链路与后端交换单元间的连接链路组合构成DLA，使得iSCSI存储网络简化为两个捆绑链路连接的Fabric，为磁盘存储单元提供接入端口，实现与扩展前同样的可用性。

iSCSI存储网络中Fabric内部可以采用不同的连接方式，本发明同样推荐采用具有冗余连接的IRF环。每个后端交换单元与每个扩展交换单元都包括上行IRF接口和下行IRF接口，后端交换单元和每个扩展交换组中与该后端交换单元同属一个Fabric的扩展交换单元的下行IRF接口依次通过IRF堆叠总线连接至下一个扩展交换组中对应的扩展交换单元的上行IRF接口，直至最后一个扩展交换组；最后一个扩展交换组中与该后端交换单元同属一个Fabric的扩展交换单元的下行IRF接口通过IRF堆叠总线连接至该后端交换单元的上行IRF接口，从而形成IRF环形连接的Fabric。

用户可以通过不断增加新的扩展交换单元的方式来满足存储需求的不断增长。在这样的后续容量扩展中，后端交换单元本身已经是一个Fabric，而新增的扩展交换单元也可以是一个Fabric。

可见，在图6的iSCSI存储网络中，控制单元能够在绝大部分情况下访问到所有的磁盘存储单元。每个控制单元都有两条逻辑通道能够通向所有的磁盘存储单元，这两条逻辑通道互为备份，能够避免控制单元、后端交换单元和扩展交换单元、以及控制单元与后端交换单元或扩展交换单元之间、后端交换单元或扩展交换单元与磁盘存储单元之间连接链路的任何一处单点故障，提供可靠的数据访问环境。

图7所示为应用本发明容量扩展方法的iSCSI磁盘阵列的结构示例图，图中以2个主控模块和2个扩展磁盘装置为例。

在iSCSI磁盘阵列扩展结构中，分为主控磁盘装置和扩展磁盘装置。主控磁盘装置包括超过一个主控模块、与主控模块相同数量的后端交换模块和分别连接到每个后端交换模块上的磁盘。主控模块可以连接到一个后端交换模块，也可以与一个后端交换模块集成在一起，主要用来进行整个iSCSI磁盘阵列的协议转换和业务处理。扩展磁盘装置中包括与后端交换模块数量相同的扩展交换模块和分别连接到每个扩展交换模块上的扩展磁盘，扩展磁盘装置中不包括主控模块，涉及扩展磁盘的协议转换和业务处理由主控磁盘装置中的主控模块完成。

主控磁盘装置中的每个后端交换模块与每个扩展磁盘装置中的一个扩展交换模块组合构成一个Fabric，形成与后端交换模块数量相同的Fabric，磁盘和扩展磁盘即通过这些Fabric接入iSCSI存储网络。

每个扩展磁盘装置中，分属于不同Fabric的扩展交换模块相连接，提供主控模块到该扩展磁盘装置中磁盘的一条备份连接链路。由于扩展磁盘装置中扩展交换模块之间的连接为不同Fabric之间的连接链路，还可以将扩展交换模块间的连接链路与后端交换单元间的连接链路组合构成DLA，使得iSCSI磁盘阵列为两个聚合链路连接的Fabric，为磁盘和扩展磁盘提供接入端口，实现与扩展前同样的可用性。

Fabric的内部连接方式也可以采用具有冗余连接的IRF环。每个后端交换模块和扩展交换模块均具有上行IRF接口和下行IRF接口，将后端交换模块和对应的各个扩展交换模块的下行IRF接口依次通过IRF堆叠总线连接至下一个扩展磁盘装置中扩展交换模块的上行IRF接口，直至最后一个扩展磁盘装置；并且将最后一个扩展磁盘装置中扩展交换模块的下行IRF接口通过IRF堆叠总线连接至后端交换模块的上行IRF接口，即可形成IRF环形Fabric。

本发明通过IRF技术来实现iSCSI存储网络中后端网络，当Fabric资源不足时，可以通过增加其中的交换单元或交换模块来对后端网络的交换资源进行扩展，从而保证了后端磁盘在不损失可用性的前提下，能够进行容量资源的按需扩展。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (14)

1.一种网际小型机系统接口iSCSI存储网络，其特征在于，包括超过一个后端交换单元、不小于后端交换单元数量的扩展交换单元和磁盘存储单元，其中：

每个后端交换单元与至少一个扩展交换单元分别构成智能弹性架构IRF联合设备Fabric，用来将磁盘存储单元接入iSCSI存储网络；

每个磁盘存储单元至少连接一个Fabric，用来进行数据存储。

2.如权利要求1所述的iSCSI存储网络，其特征在于，所述扩展交换单元组合为至少一个扩展交换组，所述扩展交换组中包括每个Fabric中的一个扩展交换单元；至少一个磁盘存储单元分别连接至扩展交换组中的每个扩展交换单元。

3.如权利要求2所述的iSCSI存储网络，其特征在于：所述扩展交换组中的扩展交换单元相连接，与后端交换单元之间的连接链路构成分布式链路聚合DLA。

4.如权利要求2或3所述的iSCSI存储网络，其特征在于：所述后端交换单元和扩展交换单元均包括上行IRF接口和下行IRF接口；

所述后端交换单元与扩展交换单元构成IRF具体为：

后端交换单元和每个扩展交换组中与该后端交换单元属于同一个Fabric的扩展交换单元的下行IRF接口依次通过IRF堆叠总线连接至下一个扩展交换组中对应的扩展交换单元的上行IRF接口，直至最后一个扩展交换组；

最后一个扩展交换组中对应的扩展交换单元的下行IRF接口通过IRF堆叠总线连接至后端交换单元的上行IRF接口。

5.如权利要求1所述的iSCSI存储网络，其特征在于，所述iSCSI存储网络还包括超过一个控制单元，分别连接至少一个Fabric，用来进行磁盘阵列的协议转换和业务处理。

6.一种iSCSI存储网络的容量扩展方法，所述iSCSI存储网络包括超过一个后端交换单元和磁盘存储单元，其特征在于，所述方法包括以下步骤：

将每个后端交换单元与新增的交换单元分别构成IRF Fabric；

将新增的磁盘存储单元分别连接至每个Fabric上。

7.如权利要求6所述iSCSI存储网络的容量扩展方法，其特征在于，所述方法还包括：将各个Fabric中的一个新增交换单元互相连接；

所述将新增的磁盘存储单元分别连接至每个Fabric上具体为：将新增的磁盘存储单元分别连接至相连接的新增交换单元上。

8.如权利要求7所述iSCSI存储网络的容量扩展方法，其特征在于，所述方法还包括：将不同Fabric中新增交换单元间的连接链路与后端交换单元间的连接链路组合为DLA。

9.如权利要求6所述iSCSI存储网络的容量扩展方法，其特征在于，所述将后端交换单元与新增的交换单元构成Fabric具体为：将后端交换单元与新增交换单元通过IRF堆叠总线连接成IRF环。

10.如权利要求6所述iSCSI存储网络的容量扩展方法，其特征在于：所述后端交换单元为Fabric。

11.一种iSCSI磁盘阵列，其特征在于，包括主控磁盘装置和至少一个扩展磁盘装置，其中：

主控磁盘装置包括超过一个的后端交换模块和分别连接每个后端交换模块的磁盘；

扩展磁盘装置包括与后端交换模块对应的扩展交换模块和分别连接每个扩展交换模块的扩展磁盘；

每个后端交换模块与对应的扩展交换模块构成Fabric，用来将磁盘和扩展磁盘接入iSCSI存储网络。

12.如权利要求11所述的iSCSI磁盘阵列，其特征在于：每个扩展磁盘装置中的扩展交换模块相连接，该连接链路与后端交换模块之间的连接链路构成DLA。

13.如权利要求11或12所述的iSCSI磁盘阵列，其特征在于：所述后端交换模块和扩展交换模块均包括上行IRF接口和下行IRF接口；

所述后端交换模块与对应的扩展交换模块构成IRF具体为：

后端交换模块和对应的各个扩展交换模块的下行IRF接口依次通过IRF堆叠总线连接至下一个扩展磁盘装置中扩展交换模块的上行IRF接口，直至最后一个扩展磁盘装置；

最后一个扩展磁盘装置中扩展交换模块的下行IRF接口通过IRF堆叠总线连接至后端交换模块的上行IRF接口。

14.如权利要求11所述的iSCSI磁盘阵列，其特征在于，所述主控磁盘阵列包括与后端交换模块对应的控制模块，每个控制模块连接对应的后端交换模块，用来进行iSCSI磁盘阵列的协议转换和业务处理。

Images