CN100362790C - 一种用于海量存储系统的核心存储交换平台系统 - Google Patents

Abstract

本发明公开了一种用于海量存储系统的核心存储交换平台系统，该系统由交换架构、桥接器以及若干个FC线卡和iSCSI线卡组成；FC线卡和iSCSI线卡通过桥接器与交换构架连接在一起；其中交换构架用于存储分区与存储交换，桥接器用于实现交换构架和FC线卡和iSCSI线卡之间的协议桥接流量管理功能。本发明能实现FC与FC之间、FC与iSCSI之间以及iSCSI与iSCSI之间的存储交换，高效地实现了FC-SAN和IP-SAN的融合，提高了SAN交换的性能，与此同时，还实现了虚拟存储子网(VSAN)的功能。本发明设计的核心存储交换平台，连接现有的磁盘阵列、iSCSI、磁带等多种存储设备以及IP交换机、FC交换机等存储交换设备可以构成一个高性能、易扩展的大规模网络存储系统。

Description

一种用于海量存储系统的核心存储交换平台系统

技术领域

本发明属于数据存储领域，具体涉及到一种核心存储交换平台系统，通过该核心存储交换平台系统可以构建包含IP存储区域网(IP SAN)和光纤通道存储区域网(FC SAN)的海量存储系统。

背景技术

随着网络应用的普及以及下一代互联网的出现，网络规模不断扩大，网络应用使得数字信息呈爆炸式增长。来自IDC统计数据表明，从1999年到2003年的5年时间里，世界范围内对数据存储容量的需求从1999年的不到200PB(1P＝1024G)发展到2003年的2EB(1E＝1024P)，并以每年80％的速度增长。激剧增加的信息需要越来越大的存储设备来保存这些数字信息，目前对单级存储节点的存储容量已要求达到PB级。为了能构造出大容量的存储设备，目前采用的方法主要是利用多个低端口数的FC交换机通过交换机间互连(Inter Switch Link，ISL)来构建大型SAN，该方法虽然都能构建大容量存储系统，但还存在以下几方面的问题：

第一、性能价格比不高。通过多个低端口数的FC交换机互连而成的大规模SAN交换构架中，缺乏高速的交换通道，多个FC交换机之间的信息交互仅通过2G的互连链路进行，因此，系统的性能不高，同时，由于FC交换机的价格较贵，系统的性价比不高。

第二、系统的稳定性随系统规模扩大而降低。由多个低端口数的FC交换机互连而成的大规模SAN交换构架中在由大量FC经扩展构成的多层次交换构架中，随着FC交换设备的增加，系统设备出故障的可能性也增加，系统的稳定性也将降低；另增、减设备将产生大量的配置信息风暴，并由此导致整个交换构架的不稳定。

第三、配置、管理复杂。配置和管理一个由大量FC交换机通过扩展组成的交换构架，不仅复杂，而且效率也低。

第四、目前FC交换机的标准尚未统一，不同厂家生产的FC交换机之间的互联还存在不兼容的问题。

针对上述问题，一种以高端口数的导向器为网络核心，把低端口数的FC交换机连接在一起，构造大规模网络存储系统的方法已开始在存储业界被倡导，博科(Brocade)、思科(Cisco)和McDATA等国际知名存储公司均开始了导向器(Director)级核心存储交换机的研制，并相继开发出了导向器核心存储交换产品，如Cisco的MDS9000系列核心存储交换机，McDATA的Intrepid i10K都是导向器级的存储交换机。但现有的导向器级核心存储交换机以FC-SAN为主，对IP-SAN的支持不足，如上述的Intrepid i10K只支持FC-SAN的连接，尽管MDS9000也提供了IP端口连接，但它是将IP封装在FC帧内进行传输和处理，降低了IP-SAN的数据处理效率。

发明内容

本发明的目的在于提供一种用于海量存储系统的核心存储交换平台系统，该系统可优化对IP-SAN的支持，实现FC-SAN与IP-SAN的数据融合，构建一个高效的海量存储系统。

本发明提供的一种用于海量存储系统的核心存储交换平台系统，其特征在于：该系统由交换架构、桥接器以及若干个FC线卡和iSCSI线卡组成；FC线卡和iSCSI线卡通过桥接器与交换构架连接在一起；其中交换构架用于存储分区与存储交换，桥接器用于实现交换构架和FC线卡以及交换构架和iSCSI线卡之间的协议桥接流量管理功能。

本发明的进一步特征是：交换构架由存储分区与智能调度模块、iSCSI仲裁与交换模块、FC仲裁与交换模块、iSCSI与FC仲裁与交换模块、路径选择模块以及流量控制与管理模块组成；存储分区与智能调度模块用于设备发现与系统拓扑结构生成、存储区域的动态调整与分区重构，并将存储分区信息分类别分别传送给iSCSI仲裁与交换模块、FC仲裁与交换模块和iSCSI与FC仲裁与交换模块；路径选择模块用于协助iSCSI仲裁与交换模块、FC仲裁与交换模块和iSCSI与FC仲裁与交换模块将存储访问定向到目标存储设备；在只包含iSCSI的存储分区中，iSCSI仲裁与交换模块根据存储分区与智能调度模块对iSCSI存储设备的分区信息，实现iSCSI存储访问的仲裁与交换功能；在只包含FC的存储分区中，FC仲裁与交换模块根据存储分区与智能调度模块对FC存储设备的分区信息，实现FC存储访问的仲裁与交换功能；在同时包含iSCSI和FC的存储分区中，iSCSI与FC仲裁与交换模块根据存储分区与智能调度模块对该分区中包含的iSCSI与FC存储设备的分区信息，实现iSCSI与FC之间存储访问的仲裁与交换的功能；流量控制与管理模块通过缓冲机制调节每个分区中访问发起端和目标存储设备之间的流量，避免发生拥塞与数据丢失。

桥接器由系统封包接口、数据缓冲模块和连接单元接口组成，系统封包接口与FC线卡和/或iSCSI线卡连接，连接单元接口与交换构架相连；系统封包接口接收来自线卡的FC或iSCSI数据包，进行光纤通道协议或以太网协议控制层和物理层封装后传送给数据缓冲模块；数据缓冲模块接收来自系统封包接口输出的数据，进行缓冲与流量匹配后，传送给连接单元接口；连接单元接口从数据缓冲模块接收数据，实现以太网控制层和物理层功能后传送给交换构架。

FC线卡包括第一外部存储器、第一处理器、FC流量管理模块以及若干个第一光电转换接口和FC协议、层处理模块；第一光电转换接口将FC存储与交换设备传送过来的光信号变换成电信号，实现了光纤通道协议层的功能，然后由FC协议、层处理模块实现光纤通道协议第层和第层的功能，处理完毕后的FC帧缓存在第一外部存储器中，第一处理器从第一外部存储器中读取FC帧并进行光纤通道协议的第四层处理，然后经FC流量管理模块传送到桥接器。

iSCSI线卡包括第二外部存储器、第二处理器和IP流量管理模块以及若干第二光电转换接口和TCP/IP处理模块；第二光电转换接口将从IP存储与交换设备传送过来的光信号变换成电信号，然后传送给TCP/IP处理模块完成介质接入控制层和TCP/IP层的功能，处理完毕后的iSCSI帧缓存在第二外部存储器中，第二处理器模块从第二外部存储器中读取IP帧并进行TCP/IP卸载处理处理，然后经IP流量管理模块传送桥接器。

本发明以FPGA(Field Programmable Gate Array，即现场可编程门阵列)为开发环境实现核心存储交换平台，现有的磁盘阵列、iSCSI、磁带等多种存储设备以及IP交换机、FC交换机等存储交换设备与存储交换平台直接连接，构成一个高性能、易扩展的大规模网络存储系统。本发明提出的核心存储交换平台能实现FC与FC之间、FC与iSCSI之间以及iSCSI与iSCSI之间的存储交换，高效地实现了FC-SAN和IP-SAN的融合，提高了SAN交换的性能，与此同时，还实现了虚拟存储子网(VSAN)的功能。本发明设计的核心存储交换平台，连接现有的磁盘阵列、iSCSI、磁带等多种存储设备以及IP交换机、FC交换机等存储交换设备可以构成一个高性能、易扩展的大规模网络存储系统。

附图说明

图1为本发明系统的结构示意图。

图2为图1中交换构架的一种具体实现方式结构示意图。

图3为图1中桥接器的一种具体实现方式结构示意图。

图4为图1中FC线卡的一种具体实现方式结构示意图。

图5为图1中iSCSI线卡的一种具体实现方式结构示意图。

具体实施方式

如图1所示，本发明由交换架构1、桥接器2以及若干FC线卡3和iSCSI线卡4四部分组成。FC线卡3和iSCSI线卡4通过桥接器2与交换构架1连接在一起。FC线卡3用于将FC存储与交换设备5与桥接器2相连；iSCSI线卡4用于将IP存储与交换设备6与桥接器2相连，从而构成了包含FC存储设备和IP存储设备的海量存储系统。本发明中，FC存储与交换设备是FC存储设备、FC交换设备和带有FC接口的存储应用服务器的统称，IP存储与交换设备是IP存储设备、IP交换设备和带有IP接口的存储应用服务器的统称。

图1所示的大规模存储系统中，FC线卡3和iSCSI线卡4可以根据实际应用的需要灵活配置不同的数量，每个FC线卡3和iSCSI线卡4上均有多个连接端口。图中交换构架1是核心存储交换平台系统的核心，它的作用是存储分区与存储交换。桥接器实现交换构架和线卡(包括FC线卡和iSCSI线卡)之间的协议桥接流量管理功能。该系统的工作流程如下：

(1)初始化。识别出通过FC线卡3和iSCSI线卡4接入的FC存储和IP存储设备，并根据应用的需要进行虚拟化处理，在此基础上建立三类存储分区，分别是只包含iSCSI存储设备的分区(设为A类分区)、只包含FC存储设备的分区(设为B类分区)和同时包含iSCSI存储设备以及FC存储设备的分区(设为C类分区)。

(2)存储应用服务器通过FC线卡3或iSCSI线卡4发出的存储访问命令由桥接器2传送到交换构架1。

(3)分区判断，如果该存储访问来自于A类分区，则转向步骤(5)，如果存储访问来自于B类分区则转步骤(6)；否则进入步骤(4)。

(4)根据存储应用服务器发出的存储访问请求的目的地址，选择C类分区内的特定存储设备进行存储访问，如果存储访问是读操作，则数据从存储设备流向发出存储读请求的存储应用服务器；如果是写操作，则数据从存储应用服务器流向存储设备。当发出存储应用请求的服务器和目标存储设备是由不同类型的线卡(FC线卡3和iSCSI线卡4)接入时，则需要先完成FC和iSCSI之间的数据转换后才能实施存储访问服务；完成该操作后转向步骤(7)。

(5)根据存储应用服务器发出的存储访问请求的目的地址，选择A类分区内的特定存储设备进行存储访问，如果存储访问是读操作，则数据从存储设备流向发出存储读请求的存储应用服务器；如果是写操作，则数据从存储应用服务器流向存储设备；完成该操作后转向步骤(7)。

(6)根据存储应用服务器发出的存储访问请求的目的地址，选择B类分区内的特定存储设备进行存储访问，如果存储访问是读操作，则数据从存储设备流向发出存储读请求的存储应用服务器；如果是写操作，则数据从存储应用服务器流向存储设备。

(7)如果存储访问没有完成则转向步骤(3)，否则，存储访问结束。

图2为图1中交换构架的一种具体实现方式结构示意图。目前的交换构架分集中式交换和分布式交换两种类型，每种方式都有各自的优势和不足之处，由于本发明中的核心存储交换构架是集中式连接方式，因此本发明采用集中式交换构架。

图2所示的交换构架由存储分区与智能调度模块7、iSCSI仲裁与交换模块8、FC仲裁与交换模块9、iSCSI与FC仲裁与交换模块10、路径选择模块11以及流量控制与管理模块12组成。

存储分区与智能调度模块7用于设备发现与系统拓扑结构生成、存储区域的动态调整与分区重构，其中分区可以依据服务器端口、存储端口或交换端口进行。该模块可根据应用的需要，对连接在本发明设计的核心存储交换平台上的存储设备进行分区。分区包括三种类型，分别是只包含iSCSI设备的分区、只包含FC设备的分区和同时包含FC以及iSCSI设备的分区。

在只包含iSCSI的存储分区中，iSCSI仲裁与交换模块8实现iSCSI存储访问的仲裁与交换功能。iSCSI交换功能根据iSCSI数据包中的端口号、TCP会话标识以及IP地址确定目标iSCSI存储设备，并在路径选择模块11的协助下将存储访问定向到目标存储设备，从而实现iSCSI交换功能。当存在多个源端同时访问相同的iSCSI存储分区时，iSCSI仲裁与交换模块8的仲裁功能将对多个访问按照事先设定的优先级进行仲裁，以确定该时刻能获得iSCSI存储分区的访问者。

在只包含FC的存储分区中，FC仲裁与交换模块9实现FC存储访问的仲裁与交换功能。FC交换首先根据FC帧携带的目的地址确定目标FC存储设备，然后在路径选择模块11的协助下将存储访问定向到目标存储设备，从而实现FC交换功能。当存在多个源端同时访问相同的FC存储分区时，FC仲裁与交换模块9的仲裁功能将对多个访问按照事先设定的优先级进行仲裁，以确定该时刻能获得FC存储分区的访问者。

在同时包含iSCSI和FC的存储分区中，iSCSI与FC仲裁与交换模块10实现iSCSI与FC之间存储访问的仲裁与交换。当从该存储分区中的iSCSI端口发出访问FC存储设备的访问时，该模块从iSCSI帧中分离出SCSI命令和数据块，并用FC帧重新封装，然后在路径选择模块9的协助下，根据FC的目的地址实现iSCSI到FC之间的存储访问交换；当从该存储分区中的FRC端口发出访问iSCSI存储设备的访问时，该模块从FC帧中分离出SCSI命令和数据块并用iSCSI帧重新封装，然后根据iSCSI数据包、TCP以及IP等综合信息确定目标iSCSI存储设备，并在路径选择模块11的协助下，实现FC到iSCSI之间的存储访问交换。当存在多个源端同时访问相同的存储分区时，该模块的仲裁功能将对多个访问按照事先设定的优先级进行仲裁，以确定该时刻能获得目的存储分区的访问者。

流量控制与管理模块12通过缓冲机制调节访问发起端和目标存储设备之间的流量，避免发生拥塞与数据丢失。

本发明采用Stratix^TM GX作为交换构架的设计平台，Stratix GX器件提供了多达20个速度为3.125吉比特/秒的高速通道，解决了交换构架中芯片至芯片和芯片至背板的数据传送的瓶颈。

图3为图1中桥接器2的一种具体实现方式结构示意图。它由系统封包接口(System Packet Interface Level 4 Phase 2：SPI-4.2)13、数据缓冲模块14和连接单元接口(Attachment Unit Interface：AUI)15组成。其中，系统封包接口13与FC线卡3和/或iSCSI线卡4连接，连接单元接口15与交换构架1相连。本发明中连接单元接口15与交换构架1的接口速率为10Gbit/s，而系统封包接口13与存储设备的连接接口速率为2Gbit/s，数据缓冲模块14的功能就是通过缓冲实现两种不同速率端口之间的数据传输的流量管理。

在工作中，系统封包接口13与线卡(FC线卡3或iSCSI线卡4)相连，并接收来自线卡的FC或iSCSI数据包，进行光纤通道协议或千兆以太网协议MAC层和PHY层封装后传送给数据缓冲模块14；数据缓冲模块14对接收数据进行缓冲与流量匹配后，传送给连接单元接口15。连接单元接口15从数据缓冲模块14接收数据，实现万兆太网MAC层和PHY层功能后传送给交换构架1。

图4为图1中FC线卡3的一种具体实现方式结构示意图，FC线卡包括第一外部存储器18、第一处理器19、FC流量管理模块20以及若干个第一光电转换接口16和FC协议1、2层处理模块17。

FC线卡通过光纤连接FC存储与交换设备5，每个FC线卡对外提供多对FC光纤接口。从FC存储与交换设备5传送过来的光信号先经过第一光电转换接口16变换成电信号，实现了光纤通道协议0层的功能，然后由FC协议1、2层处理模块17实现8B/10B编码、链路控制和FC成帧等功能，完成光纤通道协议第1层和第2层的功能。处理完毕后的FC帧缓存在第一外部存储器18中，第一处理器模块19从第一外部存储器18中读取FC帧并进行FC第四层处理，然后经FC流量管理模块20传送到图3所示的桥接器。FC协议一共包括从0层到4层共5层功能，第3层为备用层，本发明中不使用第3层的功能，光纤通道协议的第4层功能主要是提供对上层协议的接口，对于FC存储应用而言，该接口是SCSI-3。本发明中，实现光纤通道协议第4层功能的程序代码存放在第一外部存储器18中，并由第一处理器19调用执行，以实现FC协议的第四层功能。

本发明中FC线卡采用Stratix GX FPGA开发平台实现，它不但能够实现1Gbps和2Gbps的光纤通道技术，也支持前沿的万兆技术。Altera StratixGX器件内置收发器为实现万兆光纤通道的XAUI接口提供了专用模式，更高效的在单个器件中实现全部接口功能。收发器中还嵌入了专用速率匹配先入先出FIFO缓冲、8B/10B编解码以及字对齐等功能。本发明中FC协议的实现要利用FC知识产权核(IP Core)。

图5为图1中iSCSI线卡4的一种具体实现方式结构示意图。iSCSI线卡包括第二外部存储器23、第二处理器24和IP流量管理模块25以及若干第二光电转换接口21和TCP/IP处理模块22。

iSCSI线卡通过光纤连接IP存储与交换设备6，每个iSCSI线卡对外提供多对光接口。从IP存储与交换设备6传送过来的光信号，经过第二光电转换接口21变换成电信号，然后进入TCP/IP处理模块22完成介质接入控制(MAC)层和TCP/IP层的功能，Internet安全(IPSec)功能可以作为选择功能加入到该模块中。为了提高iSCSI的处理效率，同时降低iSCSI处理对存储系统资源的消耗，提高TCP/IP处理的效率，本发明第二外部存储器23和第二处理器24用于TCP/IP卸载处理。

在工作中，第二光电转换接口21与IP存储与交换设备6相连，将光信号转换成电信号后，送到TCP/IP处理模块22实现介质接入控制(MAC)层和TCP/IP层的功能，处理完毕后的iSCSI帧缓存在第二外部存储器23中，第二处理器模块24从第二外部存储器23中读取IP帧并进行TCP/IP卸载处理处理，然后经IP流量管理模块25传送到图3所示的桥接器。

本发明中的iSCSI线卡采用Stratix GX FPGA开发平台实现，StratixGX器件能够支持连接通信介质、编解码、时钟恢复和数据传送和接收的物理层(1层)电气要求。利用Stratix器件的可编程逻辑阵列支持3层(网络层)和4层(传输层)功能以及TCP/IP的卸载功能。本发明中，对iSCSI的数据不进行FC封装而是直接处理，性能更高。

尽管已经详细是描述了基于Stratix GX FPGA开发环境来设计存储核心交换平台的方法，但应理解在不脱离其构思和范围的情况下本发明的实例还可以采用其它的FPGA，如Xilinx、Actel和MRCI等FPGA来实现。

Claims (5)

1.一种用于海量存储系统的核心存储交换平台系统，其特征在于：该系统由交换架构(1)、桥接器(2)以及若干个FC线卡(3)和iSCSI线卡(4)组成，FC线卡(3)和iSCSI线卡(4)通过桥接器(2)与交换构架(1)连接在一起；其中交换构架(1)用于存储分区与存储交换，桥接器(2)用于实现交换构架(1)和FC线卡以及交换构架(1)和iSCSI线卡之间的协议桥接流量管理功能。

2.根据权利要求1所述的核心存储交换平台系统，其特征在于：交换构架(1)由存储分区与智能调度模块(7)、iSCSI仲裁与交换模块(8)、FC仲裁与交换模块(9)、iSCSI与FC仲裁与交换模块(10)、路径选择模块(11)以及流量控制与管理模块(12)组成；

存储分区与智能调度模块(7)用于设备发现与系统拓扑结构生成、存储区域的动态调整与分区重构，并将存储分区信息分类别分别传送给iSCSI仲裁与交换模块(8)、FC仲裁与交换模块(9)和iSCSI与FC仲裁与交换模块(10)；

路径选择模块(11)用于协助iSCSI仲裁与交换模块(8)、FC仲裁与交换模块(9)和iSCSI与FC仲裁与交换模块(10)将存储访问定向到目标存储设备；

在只包含iSCSI的存储分区中，iSCSI仲裁与交换模块(8)根据存储分区与智能调度模块(7)对iSCSI存储设备的分区信息，实现iSCSI存储访问的仲裁与交换功能；

在只包含FC的存储分区中，FC仲裁与交换模块(9)根据存储分区与智能调度模块(7)对FC存储设备的分区信息，实现FC存储访问的仲裁与交换功能；

在同时包含iSCSI和FC的存储分区中，iSCSI与FC仲裁与交换模块(10)根据存储分区与智能调度模块(7)对该分区中包含的iSCSI与FC存储设备的分区信息，实现iSCSI与FC之间存储访问的仲裁与交换的功能；

流量控制与管理模块(12)通过缓冲机制调节每个分区中访问发起端和目标存储设备之间的流量，避免发生拥塞与数据丢失。

3.根据权利要求1或2所述的核心存储交换平台系统，其特征在于：桥接器(2)由系统封包接口(13)、数据缓冲模块(14)和连接单元接口(15)组成，系统封包接口(13)与FC线卡(3)和/或iSCSI线卡(4)连接，连接单元接口(15)与交换构架(1)相连；

系统封包接口(13)接收来自线卡的FC和/或iSCSI数据包，进行光纤通道协议或以太网协议控制层和物理层封装后传送给数据缓冲模块(14)；

数据缓冲模块(14)接收来自系统封包接口(13)输出的数据，进行缓冲与流量匹配后，传送给连接单元接口(15)；

连接单元接口(15)从数据缓冲模块(14)接收数据，实现以太网控制层和物理层功能后传送给交换构架(1)。

4.根据权利要求3所述的核心存储交换平台系统，其特征在于：FC线卡(3)包括第一外部存储器(18)、第一处理器(19)、FC流量管理模块(20)以及若干个第一光电转换接口(16)和FC协议1、2层处理模块(17)；

第一光电转换接口(16)将FC存储与交换设备(5)传送过来的光信号变换成电信号，实现了光纤通道协议0层的功能，然后由FC协议1、2层处理模块(17)实现光纤通道协议第1层和第2层的功能，处理完毕后的FC帧缓存在第一外部存储器(18)中，第一处理器(19)从第一外部存储器(18)中读取FC帧并进行光纤通道协议的第四层处理，然后经FC流量管理模块(20)传送到桥接器(2)。

5.根据权利要求3所述的核心存储交换平台系统，其特征在于：iSCSI线卡(4)包括第二外部存储器(23)、第二处理器(24)和IP流量管理模块(25)以及若干第二光电转换接口(21)和TCP/IP处理模块(22)；

第二光电转换接口(21)将从IP存储与交换设备(6)传送过来的光信号变换成电信号，然后传送给TCP/IP处理模块(22)完成介质接入控制层和TCP/IP层的功能，处理完毕后的iSCSI帧缓存在第二外部存储器(23)中，第二处理器模块(24)从第二外部存储器(23)中读取IP帧并进行TCP/IP卸载处理，然后经IP流量管理模块(25)传送桥接器(2)。

Images