CN103049225A

CN103049225A - 一种双控双活的存储系统

Info

Publication number: CN103049225A
Application number: CN2013100017436A
Authority: CN
Inventors: 文中领; 吴庆民; 施培任
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2013-01-05
Filing date: 2013-01-05
Publication date: 2013-04-17

Abstract

本发明公开了一种双控双活的存储系统，属于计算机系统及存储领域，包括应用服务器、两个完全独立且相同的存储控制器、磁盘柜，应用服务器通过SAN网络分别连接到两个存储控制器，存储控制器的后端通过交换模块与磁盘柜相连接，两个存储控制器之间内部互联；每个存储控制器都包括服务接口模块、SAN服务模块、存储资源管理模块、心跳模块、电源模块。本发明的一种双控双活的存储系统和现有技术相比，实现了两个存储控制器同时读写，充分利用了存储控制器的传输总线及计算资源。

Description

一种双控双活的存储系统

技术领域

本发明涉及一种计算机系统及存储领域，具体地说是一种双控双活的存储系统。

背景技术

双控存储系统是保障数据可靠性的有效方式，也是当前中小企业数据存储中首选方案。首先双控存储系统能够通过两个控制器进行业务的业务7*24小时的业务支撑；其次双控存储系统能够实现两个控制器的负载均衡功能。

当前的双控存储系统设计大都采用存储资源独占化管理模式，即对于同一个存储资源，在一定的时间内由同一个控制器占用，另一个控制器的数据读写需要将数据转发到这个控制器，由这个控制器完成实际的读写功能。存储资源独占化管理简化了系统的读写流程，不需要协同两个控制器的同步问题。

这种设计模式由于其局限性，不能支持更大的存储空间。首先，由一个控制器进行读写，不能够充分利用两个控制器的传输总线、计算资源，当扩展到一定的存储空间时，性能将受到极大的限制；其次，由于存储资源的管理粒度较大，当一个控制器出现故障时，需要有复杂的存储资源切换流程，如果应用对数据读写时间的容忍度较小时，将会出现业务的中断现象。

发明内容　　

　　本发明的技术任务是提供一种实现两个存储控制器同时读写，充分利用存储控制器的传输总线及计算资源的一种双控双活的存储系统。

本发明的技术任务是按以下方式实现的，一种双控双活的存储系统包括应用服务器、两个完全独立且相同的存储控制器、磁盘柜，应用服务器通过SAN网络分别连接到两个存储控制器，存储控制器的后端通过交换模块与磁盘柜相连接，两个存储控制器之间内部互联；每个存储控制器都包括服务接口模块、SAN服务模块、存储资源管理模块、心跳模块、电源模块；服务接口模块处理传输层向下的协议，SAN服务模块实现存储服务的安全认证以及处理应用服务器请求的SCSI协议，存储资源管理模块负责存储资源的管理；心跳模块检测两个存储控制器的状态，以确保一个控制器出现故障时，另一个控制器能够及时的承担其之前承担的工作。

SAN网络的基础构建方式有IP网络或FC网络或IB网络。

服务接口模块处理传输层向下的协议，传输层向下的协议包括TCP/IP协议。

存储资源管理模块负责存储资源的组织、读写控制、冗余保护功能管理。

磁盘柜为SAS磁盘柜或FC磁盘柜。

存储控制器的后端通过交换模块与磁盘柜相连接，交换模块为SAS交换机或FC交换机或SAS expander芯片。

本发明的一种双控双活的存储系统具有以下优点：通过采用新的存储资源管理方式，提高双存储控制器的总线资源、计算资源的利用率，提高存储的性能和容量，降低存储系统故障的切换时间。因而，具有很好的推广使用价值。

附图说明

下面结合附图对本发明进一步说明。

附图1为一种双控双活的存储系统的结构框图；

　　附图2为一种双控双活的存储系统的存储控制器的硬件设计示意图；

　　附图3为一种双控双活的存储系统的磁盘柜内缓存组织示意图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种双控双活的存储系统作以下详细地说明。

实施例：

本发明的一种双控双活的存储系统, 包括应用服务器、两个完全独立且相同的存储控制器、磁盘柜，应用服务器通过SAN网络分别连接到两个存储控制器，存储控制器的后端通过交换模块与磁盘柜相连接，两个存储控制器之间内部互联；每个存储控制器都包括服务接口模块、SAN服务模块、存储资源管理模块、心跳模块、电源模块；服务接口模块处理传输层向下的协议，SAN服务模块实现存储服务的安全认证以及处理应用服务器请求的SCSI协议，存储资源管理模块负责存储资源的管理；心跳模块检测两个存储控制器的状态，以确保一个控制器出现故障时，另一个控制器能够及时的承担其之前承担的工作。

SAN网络的基础构建方式有IP网络或FC网络或IB网络。

磁盘柜为SAS磁盘柜或FC磁盘柜。

如图2所示，本发明涉及的存储控制器硬件，无平台方面的设计，也不需要专门的芯片，可以采用通用的X86服务器设计架构。存储控制器与传统的服务器硬件的设计区别在于：首先，构建专用的内部互联总线。内部互联主要用于两个存储控制器之间的数据和控制通信。数据通信的作用是能够实现两个存储控制器缓存的互备，控制通信的作用时，能够及时检测存储控制器的状态。这两类通信对互联总线的需求不同，前者需要互联总结提高带宽的数据传输，后者需要互联总线低响应延时。在实际设计时，为了提高存储控制器的性能和可靠性，可以采用双通信链路的设计。控制链路采用串口、千兆网络等，数据总线可采用PCI-E NTB、SAS总线、万兆以太网、IB网络等。其次，两个存储控制器能够实现电源模块的相互控制。存储控制器出现故障时，其运行状态是不可预测的。在故障切换时，需要将其电源模块重置，以保证此存储控制器的状态不能够影响正常控制器的运行，因此，本发明中，需要存储控制器间能够实现电源模块的相互控制。最后，在结构设计上，两个存储控制器需要放在一个2——3U的机箱内。因此，设计过程中，需要充分考虑机箱的体积，简化设计。比如，减少不必要的IO设备。

本发明一种双控双活的存储系统采用全新的缓存设计模式，屏弃操作系统的缓存管理方式。本发明一种双控双活的存储系统的缓存管理如图3所示。为了便于缓存单元的有效查找，磁盘柜的每个存储空间的缓存通过基树的形式组织在一起。基树的叶子节点是RAID条带的数据结构及缓存数据。每个条带由多个等长的chunk组成，多个chunk校验形成校验值。为了保校验值的有效性，需要在写数据之前计算校验值。缓存数据的来源由以下几个方面：首先，应用服务器写入数据时，需要相应的缓存数据是否存在，如果不存在的话，从磁盘柜的磁盘中读出相应的数据，并进行改写。改写完成之后，同时将数据镜像到对端存储控制器。为了提高性能，这个过程不需要读取一个条带中的所有数据，可以首先读取需要改写的chunk，然后异步读取相关联的基它chunk。其次，缓存数据也可能来源于对端写数据的镜像。当一个chunk数据已经改写，但没有写入磁盘柜的磁盘时，我们称之为脏数据。为了确保控制失效时，不会造成数据的丢失，需要在两个存储控制器中均保存脏数据。因此，两个存储控制器中的脏数据完成相同。最后，缓存数据还可能来源于系统的预读。存储资源管理模块中的缓存管理模块会根据系统读写特点，预读一部分数据，以提高系统的性能。预读的数据是非脏的。因此，两个存储控制器的非脏数据有可能是不同的。

存储资源管理模块采用细粒度的存储资源管理方式。存储资源管理模块以条带为单位。某个存储控制器只有在数据刷新的瞬间才能占用磁盘柜的磁盘资源。当刷新完成之后立即释放资源。因此，从宏观的角度，两个存储控制器能够同时对后端磁盘柜的磁盘进行读写。

由于两个存储控制器缓存脏数据是相同的。因此，在缓存刷写分配时可以有多种分配方式。第一种，采用固定分析模式。每个存储控制器负责哪些条带的数据刷写和读取是固定的。比如，固定分配1-5000条带由控制器0进行刷写，而5000到10000条带由控制器1进行刷写。第二种分配方式，就近原则。应用服务器从哪个存储控制器请求写的数据，由哪个存储控制器负责刷写。这种分配方式存储控制器负载的均衡性取决于前端应用服务器的应用请求的均衡性。应用服务器安装对存储的MPIO软件，它能够实现存储链路的负载均衡。实际上也就实现了存储控制器的负载均衡。因此，这种分配方式在大部分情况下是相当有效的。第三种是智能分配方式，两个存储控制器通过各自的负载统计对比，共同协助分配刷写任务。这种方式是在没有任何假设的情况下，最有利于利用两个存储控制器资源的方式。

为了提高缓存的利用率。数据的刷写需要遵循前端应用的读写规律，同时将小块读写转化成大块的数据读写。最简单有效的实现方式即在磁盘柜的缓存管理的模块上实现一个数据读写队列。当一个chunk被读写时，从头部加入到队列中。这样，此队列中的读写记录从前往后逐渐变老。刷写时从队列的后端摘取元素进行刷写。通过上述采用的全新的缓存管理机制。存储资源切换将变得非常简单。两个存储控制器分别为存储控制器0和存储控制器1，其流程如下：

不失一般性，假设存储控制器0失效：

[1]存储控制器1检测到存储控制器0失效；

[2]存储控制器1重置存储控制器0电源；

[3]存储控制器0完成不能访问，应用服务器端的MPIO软件将放弃存储控制器0的链路，将数据从存储控制器1写入；

[4]存储控制器1重新分配刷写机制，所有的数据刷写由存储控制器0完成；

[5]接管成功。

当存储控制器0恢复业务时，应用服务器端的MPIO软件将会重新检测到存储控制器0的链路有效，并通过存储控制器0写入数据。而存储控制器1检测到存储控制器0恢复之后，重新协商刷写分配即可完成切换。采用上述的接管回切策略将使存储控制器间的故障接管回切时间缩短到秒级。

本发明的一种双控双活的存储系统，除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims

1.一种双控双活的存储系统，其特征在于包括应用服务器、两个完全独立且相同的存储控制器、磁盘柜，应用服务器通过SAN网络分别连接到两个存储控制器，存储控制器的后端通过交换模块与磁盘柜相连接，两个存储控制器之间内部互联；每个存储控制器都包括服务接口模块、SAN服务模块、存储资源管理模块、心跳模块、电源模块；服务接口模块处理传输层向下的协议，SAN服务模块实现存储服务的安全认证以及处理应用服务器请求的SCSI协议，存储资源管理模块负责存储资源的管理；心跳模块检测两个存储控制器的状态。

2.根据权利要求1所述的一种双控双活的存储系统，其特征在于SAN网络的基础构建方式有IP网络或FC网络或IB网络。

3.根据权利要求1所述的一种双控双活的存储系统，其特征在于服务接口模块处理传输层向下的协议，传输层向下的协议包括TCP/IP协议。

4.根据权利要求1所述的一种双控双活的存储系统，其特征在于存储资源管理模块负责存储资源的组织、读写控制、冗余保护功能管理。

5.根据权利要求1所述的一种双控双活的存储系统，其特征在于磁盘柜为SAS磁盘柜或FC磁盘柜。

6.根据权利要求1所述的一种双控双活的存储系统，其特征在于存储控制器的后端通过交换模块与磁盘柜相连接，交换模块为SAS交换机或FC交换机或SAS expander芯片。

7.根据权利要求1所述的一种双控双活的存储系统，其特征在于应用服务器安装MPIO软件。