CN103929475A - 一种以太网架构的硬盘存储系统及硬盘数据操作方法 - Google Patents

Abstract

一种以太网架构的硬盘存储系统及硬盘数据操作方法。该系统包括至少一个硬盘和至少两个控制器即第一控制器和第二控制器，各硬盘具有至少两个以太网接口，至少两个控制器分别连接至少一个硬盘的至少两个以太网接口；第一控制器用于接收应用或通过第二控制器转发的应用的数据操作请求，将所请求操作的数据采用主键Key-Value协议进行封装/解封装，以将封装后的数据通过以太网写入至少一个硬盘，或者以将解封装后的数据返回给应用或通过第二控制器返回给应用。采用基于以太网架构的硬盘存储系统进行数据操作，可以基于现有的以太网络，部署灵活，扩展性强，相比SAS协议栈，以太网协议栈简单，不需要专用的通信链路和主机总线适配器，成本上具有较大的优势。

Description

一种以太网架构的硬盘存储系统及硬盘数据操作方法

技术领域

本发明涉及存储领域，具体涉及一种以太网架构的硬盘存储系统及硬盘数据操作方法。

背景技术

目前业界主流的硬盘是串行连接SCSI(Serial Attached SCSI(Small ComputerSystem Interface，小型计算机系统接口，SCSI)，SAS)、串行ATA(SerialATA(Advanced Technology Attachment，硬盘接口技术，ATA)，SATA)接口的硬盘，SAS盘具有双端口，能够被两个控制器访问，SATA盘只有一个端口，只能被一个控制器访问。SAS盘具有较高的可靠性，但价格也较高；SATA盘可靠性稍低，但价格也相比SAS盘要低一些。

中央处理(Central Processing Unit，CPU)系统为了连接SAS或SATA硬盘，必须通过SAS控制器(SAS Controller)这种芯片，这种芯片一般最多只有8到16个端口，无法连接很多硬盘，如果硬盘数目较多，可以使用SAS扩展器(SAS Expander)芯片扩展出更多的端口。SAS接口可以兼容SATA，从接口标准而言，SATA是SAS的一个子标准，因此SAS控制器可以操控SATA硬盘。

CPU对硬盘访问的SCSI命令承载在SAS或SATA接口上。硬盘将SCSI命令解析出来后才能实现对数据的访问。

随着应用对存储容量需求的不断膨胀，在同一存储系统中往往需要连接大量硬盘，形成大规模的存储集群系统。现有的技术方案，要么存在硬件连接限制，要么需要通过昂贵的附加硬件设备进行扩展，难以构建低成本、易于部署的硬盘集群系统。

现有的硬盘存储系统基本架构如图1所示，都使用到SAS Controller、SASExpander、SAS硬盘或SATA硬盘等SAS相关器件。控制器A或控制器B分别出接口连接到每个硬盘，实现对硬盘的双控共享。如果需要接更多的硬盘，可以使用External JBOD，控制器到它的接口也使用SAS接口。

SAS Controller、SAS Expander、SAS硬盘或SATA硬盘等SAS相关器件价格昂贵，SAS协议复杂，实现难度大，这些因素导致目前的硬盘存储系统软、硬件复杂，价格昂贵。

综上所述，如何使硬盘存储系统的成本低，以及使硬盘数据操作方法的协议简单、部署灵活、扩展性强成为目前迫切需要解决的问题。

发明内容

本发明实施例提供了一种以太网架构的硬盘存储系统及硬盘数据操作方法，以使硬盘存储系统的成本低，以及使硬盘数据操作方法的协议简单、部署灵活、扩展性强。

第一方面，提供了一种以太网架构的硬盘存储系统，包括至少两个控制器和至少一个硬盘，所述至少两个控制器包括第一控制器和第二控制器，所述至少一个硬盘具有至少两个以太网接口，所述至少两个控制器分别连接所述至少一个硬盘的至少两个以太网接口；

所述第一控制器用于接收应用或通过所述第二控制器转发的所述应用的数据操作请求，将所请求操作的数据采用主键Key-Value协议进行封装/解封装，以将封装后的数据通过以太网写入所述至少一个硬盘，或者以将解封装后的数据返回给所述应用或通过所述第二控制器返回给所述应用。

在第一种可能的实现方式中，所述第一或第二控制器包括前端接口、处理单元和以太网交换器，所述第一和第二控制器的以太网交换器分别连接所述至少一个硬盘的至少两个以太网接口中的一个以太网接口，所述第一和第二控制器的处理单元互相连接，所述前端接口连接所述应用，所述前端接口为以太网接口或网状通道FC接口。

结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述硬盘存储系统还包括至少一个硬盘框，所述至少一个硬盘框中的各硬盘框包括至少一个硬盘，所述至少一个硬盘具有至少两个以太网接口，所述至少两个以太网接口分别通过以太网交换器连接至所述至少两个控制器；

所述至少一个硬盘框通过至少一个所述以太网交换器级联。

结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述第一控制器还用于将所述采用Key-Value协议封装/解封装后的数据采用网络通讯协议TCP/IP进行再次封装/解封装。

结合第一方面，在第四种可能的实现方式中，所述硬盘存储系统还包括转接器，所述转接器分别连接所述至少两个控制器；

所述转接器用于将通过所述第二控制器发送的所述应用的数据操作请求转发给所述第一控制器，以及接收所述第一控制器发送的解封装后的数据并转发给所述第二控制器。

第二方面，提供了一种基于以太网架构的硬盘数据操作方法，所述方法用于对硬盘存储系统中的数据进行操作，所述硬盘存储系统包括至少两个控制器和至少一个硬盘，所述至少两个控制器包括第一控制器和第二控制器，所述至少一个硬盘具有至少两个以太网接口，所述至少两个控制器分别连接所述至少一个硬盘的至少两个以太网接口，所述方法包括：

所述第一控制器接收应用或通过所述第二控制器转发的所述应用的数据操作请求；

所述第一控制器将所请求操作的数据采用主键Key-Value协议进行封装/解封装；

所述第一控制器将封装后的数据通过以太网写入所述至少一个硬盘，或者将解封装后的数据返回给所述应用或通过所述第二控制器返回给所述应用。

在第一种可能的实现方式中，所述第一控制器将所请求操作的数据采用主键Key-Value协议进行封装/解封装之后，以及所述第一控制器将封装后的数据通过以太网写入所述至少一个硬盘，或者将解封装后的数据返回给所述应用或通过所述第二控制器返回给所述应用之前，所述方法还包括：

所述第一控制器将所述采用Key-Value协议封装/解封装后的数据采用网络通讯协议TCP/IP进行再次封装/解封装。

结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述硬盘存储系统还包括转接器，所述转接器分别连接所述至少两个控制器；

所述第一控制器接收通过所述第二控制器转发的所述应用的数据操作请求，具体为：

所述第一控制器接收所述转接器转发的所述第二控制器发送的所述应用的数据操作请求；以及

所述第一控制器将解封装后的数据通过所述第二控制器返回给所述应用，具体为：

所述第一控制器将所述解封装后的数据发送给所述转接器，以使所述转接器将所述解封装后的数据转发给所述第二控制器，由所述第二控制器将所述解封装后的数据返回给所述应用。

本发明实施例采用基于以太网架构的硬盘存储系统进行数据操作，可以基于现有的以太网络，部署灵活，扩展性强，相比SAS协议栈，以太网协议栈简单，不需要专用的通信链路和主机总线适配器，成本上具有较大的优势。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有的SAS硬盘存储系统架构图；

图2为以太网架构的硬盘存储系统的内部结构示意图；

图3为本发明实施例提供的一种基于以太网架构的硬盘数据操作方法；

图4为本发明实施例提供的另一种基于以太网架构的硬盘数据操作方法；

图5本发明实施例提供的又一种基于以太网架构的硬盘数据操作方法。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前已有硬盘厂家推出双端口以太接口硬盘，可以使用以太网接口访问硬盘。但目前业界并没有全以太网架构的硬盘存储系统。

本发明实施例提供一种以太网架构的硬盘存储系统及硬盘数据操作方法，以太网协议是种通用的二层通信协议，基于以太网协议的硬盘存储系统，数据传输、交换都可以基于现有的以太网络，部署灵活，扩展性强，在以太网协议上封装存储系统的数据报文即可实现存储系统的数据传输；SAS协议栈相对以太网协议来说，协议栈比较复杂，而且需要专用的通信链路和HBA卡，灵活性、成本上都不具优势。而且随以太网技术的不断发展，基于以太网架构的存储系统可在速率等方面直接受益，相当于将存储系统的业务身与下层的传输解耦了。

下面对硬盘存储系统的内部结构进行详细介绍：

请参阅图2，为以太网架构的硬盘存储系统的内部结构示意图。在该硬盘存储系统中，包括两个以上的控制器和多个硬盘，如图2中，包括控制器A和控制器B，以及25个硬盘(硬盘0至硬盘24)，每个硬盘具有两个或两个以上以太网接口，图2中硬盘的A端口和B端口都为以太网接口，控制器A和控制器B分别连接硬盘的两个以太网接口。

双控制器或多控制器的硬盘存储系统都有直接到后端硬盘的独立通信链路，但是后端硬盘在正常情况下有一个归属控制器的属性，正常情况下都是通过归属控制器读写数据，通过另一个控制器读写的请求都会转发到归属控制器上。当归属控制器故障后，所有的请求会从另一个控制器通过另一条通信链路下发到后端硬盘上。在图2中，假设控制器A为归属控制器，控制器A接收应用直接发送的或控制器B发送的该应用的数据操作请求，将所请求操作的数据采用主键Key-Value协议进行封装/解封装，以将封装后的数据通过以太网写入硬盘中，或者以将解封装后的数据返回给应用或通过控制器B返回给应用。存储系统内部的数据流是通过以太网络进行交换的。

在每个控制器中，包括前端接口1、处理单元2和以太网交换器3，如图3中，控制器A和控制器B的以太网交换器3分别连接各硬盘的一个以太网接口，控制器A和控制器B的处理单元2互相连接，前端接口1可以是以太网接口，也可以是现有的网状通道(Fibre Channel，FC)接口。该以太网可以是千兆以太网(Gigabit Ethernet，GE)、10GE或40GE等。控制器A和控制器B的处理单元2进行定时的心跳响应，以确定控制器是否发生故障，并将数据操作结果进行镜像存储。

在图2中，硬盘存储系统还可以包括一个或多个硬盘框4，这里的硬盘框是一个泛称，指的是具有以太网接口的一块或者一组硬盘集合，他们可以通过以太网接口与控制器相连，例如该硬盘框4可以是外部JBOD。各硬盘框4中包括多个硬盘，这些硬盘也具有两个或两个以上以太网接口，这些硬盘通过其以太网接口与以太网交换器3连接，以太网交换器3将这些硬盘连接至控制器A和控制器B。多个硬盘框4通过以太网交换器3进行级联。

控制器A接收应用直接发送的或控制器B转发的该应用的数据操作请求，将所请求操作的数据采用主键Key-Value协议进行封装/解封装，相对于再通过TCP/IP报文封装的Key-Value协议，硬盘存储系统直接使用以太网承载Key-Value协议，虽然在部署灵活性上有所降低，但是在系统性能、效率上仍有较大提升。

进一步优选地，控制器A还可以将采用Key-Value协议封装/解封装后的数据采用网络通讯协议TCP/IP进行再次封装/解封装。TCP/IP协议实际就是一个逐层封装协议报文，使用Key-Value协议封装硬盘数据（用户数据），再用TCP/IP协议封装Key-Value报文，再用以太报文封装IP报文，以太接口硬盘支持处理从Key-Value报文到以太报文层的封装和解封装。本文中描述的硬盘存储系统支持将从前端用户数据逐层封装存储到以太接口硬盘中以及逆向的解封装的动作。由于使用了以太网和TCP/IP协议来承载硬盘数据访问协议即Key-Value协议，使得硬盘存储系统部署非常灵活。

对于有多个控制器的硬盘存储系统即多控硬盘存储系统，可以通过转接器连接多个控制器，每个控制器接收到应用的数据操作请求时，将数据操作请求首先发送给转接器，由转接器将数据操作请求发送给归属控制器；转接器接收归属控制器发送的解封装后的数据并转发给其它控制器。

请参阅图3，为本发明实施例提供的一种基于以太网架构的硬盘数据操作方法，该方法用于对硬盘存储系统中的数据进行操作，该硬盘存储系统包括至少两个控制器和至少一个硬盘，所述至少两个控制器包括第一控制器和第二控制器，所述至少一个硬盘具有至少两个以太网接口，所述至少两个控制器分别连接所述至少一个硬盘的至少两个以太网接口。该方法包括以下步骤：

步骤S101，所述第一控制器接收应用或通过第二控制器转发的所述应用的数据操作请求。

步骤S102，所述第一控制器将所请求操作的数据采用主键Key-Value协议进行封装/解封装。

步骤S103，所述第一控制器将封装后的数据通过以太网写入所述至少一个硬盘，或者将解封装后的数据返回给所述应用或通过所述第二控制器返回给所述应用。

在本实施例中，如图2所示的硬盘存储系统，控制器A接收应用直接发送的或控制器B转发的该应用的数据操作请求，将所请求操作的数据采用主键Key-Value协议进行封装/解封装，相对于再通过TCP/IP报文封装的Key-Value协议，硬盘存储系统直接使用以太网承载Key-Value协议，虽然在部署灵活性上有所降低，但是在系统性能、效率上仍有较大提升。

请参阅图4，为本发明实施例提供的另一种基于以太网架构的硬盘数据操作方法。与图3所示的方法不同的是，该方法还包括步骤S203：所述第一控制器将所述采用Key-Value协议封装/解封装后的数据采用TCP/IP协议进行再次封装/解封装。相应地，步骤S204为：所述第一控制器将再次封装后的数据通过以太网写入所述至少一个硬盘，或者将再次解封装后的数据返回给所述应用或通过所述第二控制器返回给所述应用。

在本实施例中，TCP/IP协议实际就是一个逐层封装协议报文，使用Key-Value协议封装硬盘数据（用户数据），再用TCP/IP协议封装Key-Value报文，再用以太报文封装IP报文，以太接口硬盘支持处理从Key-Value报文到以太报文层的封装和解封装。本文中描述的硬盘存储系统支持将从前端用户数据逐层封装存储到以太接口硬盘中以及逆向的解封装的动作。由于使用了以太网和TCP/IP协议来承载硬盘数据访问协议即Key-Value协议，使得硬盘存储系统部署非常灵活。

请参阅图5，为本发明实施例提供的又一种基于以太网架构的硬盘数据操作方法。该方法包括以下步骤：

步骤S301，第一控制器接收应用发送的所述应用的数据操作请求或接收转接器转发的第二控制器发送的所述应用的数据操作请求。

步骤S302，所述第一控制器将所请求操作的数据采用主键Key-Value协议进行封装/解封装。

步骤S303，所述第一控制器将所述采用Key-Value协议封装/解封装后的数据采用TCP/IP协议进行再次封装/解封装。

步骤S304，所述第一控制器将再次封装后的数据通过以太网写入所述至少一个硬盘，或者将再次解封装后的数据返回给所述应用，或将所述再次解封装后的数据发送给所述转接器，以使所述转接器将所述再次解封装后的数据转发给所述第二控制器，由所述第二控制器将所述再次解封装后的数据返回给所述应用。

与图2和图3所示实施例不同的是，该硬盘存储系统为多控硬盘存储系统，可以通过转接器连接多个控制器，每个控制器接收到应用的数据操作请求时，将数据操作请求首先发送给转接器，由转接器将数据操作请求发送给归属控制器；转接器接收归属控制器发送的解封装后的数据并转发给其它控制器。

可见，本发明实施例采用基于以太网架构的硬盘存储系统进行数据操作，可以基于现有的以太网络，部署灵活，扩展性强，相比SAS协议栈，以太网协议栈简单，不需要专用的通信链路和主机总线适配器，成本上具有较大的优势。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线（Digital SubscriberLine，DSL）或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘（Disk）和碟（disc）包括压缩光碟（CD）、激光碟、光碟、数字通用光碟（DVD）、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种以太网架构的硬盘存储系统，其特征在于，包括至少两个控制器和至少一个硬盘，所述至少两个控制器包括第一控制器和第二控制器，所述至少一个硬盘具有至少两个以太网接口，所述至少两个控制器分别连接所述至少一个硬盘的至少两个以太网接口；

所述第一控制器用于接收应用或通过所述第二控制器转发的所述应用的数据操作请求，将所请求操作的数据采用主键Key-Value协议进行封装/解封装，以将封装后的数据通过以太网写入所述至少一个硬盘，或者以将解封装后的数据返回给所述应用或通过所述第二控制器返回给所述应用。

2.如权利要求1所述的硬盘存储系统，其特征在于，所述第一或第二控制器包括前端接口、处理单元和以太网交换器，所述第一和第二控制器的以太网交换器分别连接所述至少一个硬盘的至少两个以太网接口中的一个以太网接口，所述第一和第二控制器的处理单元互相连接，所述前端接口连接所述应用，所述前端接口为以太网接口或网状通道FC接口。

3.如权利要求1或2所述的硬盘存储系统，其特征在于，还包括至少一个硬盘框，所述至少一个硬盘框中的各硬盘框包括至少一个硬盘，所述至少一个硬盘具有至少两个以太网接口，所述至少两个以太网接口分别通过以太网交换器连接至所述至少两个控制器；

所述至少一个硬盘框通过至少一个所述以太网交换器级联。

4.如权利要求1-3任意一项所述的硬盘存储系统，其特征在于，所述第一控制器还用于将所述采用Key-Value协议封装/解封装后的数据采用网络通讯协议TCP/IP进行再次封装/解封装。

5.如权利要求1所述的硬盘存储系统，其特征在于，还包括转接器，所述转接器分别连接所述至少两个控制器；

所述转接器用于将通过所述第二控制器发送的所述应用的数据操作请求转发给所述第一控制器，以及接收所述第一控制器发送的解封装后的数据并转发给所述第二控制器。

6.一种基于以太网架构的硬盘数据操作方法，所述方法用于对硬盘存储系统中的数据进行操作，所述硬盘存储系统包括至少两个控制器和至少一个硬盘，所述至少两个控制器包括第一控制器和第二控制器，所述至少一个硬盘具有至少两个以太网接口，所述至少两个控制器分别连接所述至少一个硬盘的至少两个以太网接口，其特征在于，所述方法包括：

所述第一控制器接收应用或通过所述第二控制器转发的所述应用的数据操作请求；

所述第一控制器将所请求操作的数据采用主键Key-Value协议进行封装/解封装；

所述第一控制器将封装后的数据通过以太网写入所述至少一个硬盘，或者将解封装后的数据返回给所述应用或通过所述第二控制器返回给所述应用。

7.如权利要求6所述的方法，其特征在于，所述第一控制器将所请求操作的数据采用主键Key-Value协议进行封装/解封装之后，以及所述第一控制器将封装后的数据通过以太网写入所述至少一个硬盘，或者将解封装后的数据返回给所述应用或通过所述第二控制器返回给所述应用之前，所述方法还包括：

所述第一控制器将所述采用Key-Value协议封装/解封装后的数据采用网络通讯协议TCP/IP进行再次封装/解封装。

8.如权利要求6或7所述的方法，其特征在于，所述硬盘存储系统还包括转接器，所述转接器分别连接所述至少两个控制器；

所述第一控制器接收通过所述第二控制器转发的所述应用的数据操作请求，具体为：

所述第一控制器接收所述转接器转发的所述第二控制器发送的所述应用的数据操作请求；以及

所述第一控制器将解封装后的数据通过所述第二控制器返回给所述应用，具体为：

所述第一控制器将所述解封装后的数据发送给所述转接器，以使所述转接器将所述解封装后的数据转发给所述第二控制器，由所述第二控制器将所述解封装后的数据返回给所述应用。