CN1829230A - 一种智能网络磁盘存储系统及其实现方法 - Google Patents

Abstract

本发明提供了一种网络磁盘存储系统及其实现方法，系统由两个或两个以上的直接与网络连接的磁盘子系统组成，所述网络磁盘存储系统设置有固定的网络地址，所述磁盘子系统则具有不同的网络子地址，且设置有相同的文件路由表。本发明每个磁盘子系统都是直接与网络相连接，为用户的数据文件存取提供了最短的I/O路径。若干个子系统组成一个集群的存储器系统，给用户提供了一个虚拟化的海量存储系统。

Description

一种智能网络磁盘存储系统及其实现方法

                          技术领域

本发明属于计算机存储技术领域，特别是涉及一种应用于网络上的可提供海量存储空间的磁盘存储技术。

                          背景技术

随着互联网技术的迅速发展，数据信息量已经呈爆炸性地增长，对Internet存储容量的需求几乎是每三个月就要翻一番。因此Internet上无穷无尽的信息资源迫切要求有一个网络结构形式的海量存储系统来进行大容量的信息存储。面对这种急切的需求，现有的技术已经受到了空前的挑战。传统的磁盘机、光盘机存储系统，即使是磁盘阵列(RAID)、光盘阵列、高速磁带库系统等大容量存储系统等均无法在存储容量、可用性、高速度、可扩展性、数据备份以及灾难恢复等方面满足上述这些要求。因此这些强烈的需求促使人们除了在存储设各层次上进行探索外，更多的是还必须要从存储系统的体系结构和管理软件等方面来深层次地考虑和解决问题。网络存储技术被认为是当今计算机存储器技术领域内最具生命力的技术，是目前存储器技术的主要发展方向和研究热点。目前，计算机网络存储器技术主要有DAS、NAS和SAN三种基本类型的存储体系结构，但是在这三种存储器系统结构中目前都不同程度地还存在着以下几个问题：

1、安全性问题：三种存储器的体系结构中基本上没有安全措施，系统安全性差，容易遭受攻击；安全问题无法保证。

2、高可用性和灾难恢复问题：DAS与NAS结构一样依赖于存储器子系统的可靠性，如果存储子系统出了故障，客户机不能访问数据。SAN结构虽然能在多个服务器和存储设备之间实现多到多的连接，允许不同的服务器通过不同的路径访问，从而可以提高系统的高可用性；但是SAN需要专用的磁带库来进行灾难恢复处理，需要建设专用的FC网络，是一种高成本的容灾方案。

3、数据备份问题：在DAS结构中，数据备份只能是本地的，不能跨系统进行数据备份。在NAS设备上进行数据备份会影响客户机/服务器，因为服务器设备也是局域网内的节点，也需要带宽，从而会影响客户机/服务器之间的通讯。虽然SAN允许分散的服务器访问集中的存储子系统，但是SAN在进行数据的备份时，仍然需要考虑各种存储器的结构问题。

4、网络管理和可扩展性问题：DAS结构是一种资源独享型存储器系统结构，(磁盘)存储器的容量不容易扩展。虽然NAS结构是基于网络来存取数据的，但是NAS仍然需要一个NAS服务器(瘦服务器)来管理网络上的存储器设备，而且NAS服务器本身也是作为通讯网络上的节点被管理的。因此每当需要扩展存储器设备时，不但要将新的存储器与网络进行连接，而且NAS也需要进行人工的重新配置，另外在处理它和多个存储器的内部专用连接通道(SCSI命令通道)上的连接时，还要进行重新设置，所以实际上也是比较麻烦的。至于SAN结构，它是基于专用的FC网络来对存储器进行访问的，由于它的网络结构的特殊性，它需要专用的光纤交换机和支持FC协议的存储器接口，所以在进行扩展时，实际上是需要较高的成本支出。

经过进一步更加深层次的认真研究分析，在上面的三种存储器结构中，实际上还存在着下面几个更加值得关注的问题：

(1)、网络存储器的I/O问题：RAID结构将文件服务器对RAID存储器的访问(读/写)操作转化为了对多个磁盘存储器的并行读/写操作，的确极大地加快了对存储器的访问速度，加之RAID采用了较好的容错策略，具有很高的可靠性，所以RAID结构的存储器目前是各种存储设备的首选方案。但是，在DAS和NAS以及SAN结构中，客户机通过文件服务器对RAID存储器进行访问时，这些I/O请求仍然需要在文件服务器中进行排队处理。这是系统结构上的问题，因为RAID位于文件服务器的另外一端，所以从宏观上看，客户机(在网络的另外一端)对RAID存储器的访问仍然是一个串行的I/O处理过程，因为I/O请求仍然需要在文件服务器中(即使是在现在流行的“基于对象存储”的存储器中，也必须首先通过元数据服务器)进行排队，并不因为RAID的速度快而有任何改变(RAID只是加快了每个I/O请求的处理速度)。因此，在这三种结构中仍然存在存储器的I/O问题。

(2)、网络存储器的负载平衡问题：在上述的三种存储器结构(DAS和NAS以及SAN)中，文件服务器在对存储器进行管理时，很少考虑每个磁盘上的负载平衡问题(虽然现在有基于Linux集群的NAS服务器，但它并不是考虑每个具体磁盘上的负载情况)。因此就经常出现了存储器系统中有的磁盘存储器的负载很重，而另外的磁盘存储器的负载却很轻的现象，这既直接地影响了存储器的I/O处理速度，而且也从整体上也影响了存储器系统的使用效率和性能的提高。

(3)网络存储器本身的自主性问题：无论是在DAS和NAS以及SAN结构中，存储器子系统中的每个磁盘存储器，都是被动的被控制对象，从来就没有自主权。DAS结构的情况是显而易见的。在NAS和SAN这两种典型的网络存储器结构中也是这样，如果磁盘存储器没有接到来自网络上另外一端客户机来的访问请求，那么它们就一直等待，什么事情也不做(其实这段时间完全可以用来进行存储器子系统内部的负载平衡或者数据备份工作)，它浪费了宝贵的网络带宽资源和存储器系统内部的负载平衡或者数据备份工作时间。原因就在于存储器系统中的各个磁盘都缺乏自主权和能动性。

为解决NAS结构的安全性问题，卡内基梅隆大学提出一种直接附于网络的存储结构---(NASD)盘(Network attached secure disk)系统。该系统的设计思想是：如果客户机需要从存储器读取一个文件，首先必须给文件服务器发送一个请求。文件管理器根据不同的用户及所访问的NASD盘产生用户访问许可证，并通知NASD存储盘，使其获得访问许可证、访问时限等一系列必要信息；然后把用户访问许可证发送给客户机。客户机拥有了访问许可证，就可以直接重复访问NASD上的文件。该系统主要是针对NAS系统结构的安全性进行了研究和考虑，但是它的安全认证机制过于频繁，实际上对文件的快速存取造成了不利的影响，特别是在文件I/O请求比较频繁时，它也可能就形成了新的速度“瓶颈”问题，所以该方案存在一定的局限性。

在网络存储器的系统的可扩展性等方面，现有技术也提出“活动磁盘”、“虚拟化存储技术”，“基于对象的存储技术”。实际上“基于对象的存储技术”与前面介绍的NASD结构有类似之处，在访问存储之前必须首先访问一个元数据文件服务器，而元数据文件服务器却有可能成为新的I/O“瓶颈”。

总体来说，目前现有的三种基本形式的存储器的体系结构中，在网络存储器的安全性、网络存储器的可靠性、网络存储器的数据备份、网络存储器的管理和可扩展性、网络存储器的I/O性能、网络存储器的负载平衡、网络存储器本身的自主性等方面都存在缺陷，虽然目前有一些改进方法，但是并不能从根本上解决问题，这些问题都是直接影响网络存储器技术向前发展的不利因素，是今后即将遇到并且必须去克服的技术障碍。因此非常有必要对网络存储器的结构重新进行认真的思考和研究，必须打破常规地提出某种全新的网络存储器的结构来适应网络存储的不断增加的新要求。

                          发明内容

本发明的目的在于克服现有技术的不足，提出一种可适用网络的海量存储需求，且具备较有安全性及可靠性的磁盘存储系统。

本发明的又一目的在于提出该磁盘存储系统的实现方法。

为了实现发明目的一，采用的技术方案为：

一种智能网络磁盘存储系统，由两个或两个以上的直接与网络连接的磁盘子系统组成，所述网络磁盘存储系统设置有固定的网络地址，所述磁盘子系统则具有不同的网络子地址，且设置有相同的文件路由表，所述文件路由表为智能网络磁盘存储系统及磁盘子系统及所储存文件之间的索引表。

本发明的磁盘子系统都直接与网络相连接，为用户的数据文件存取提供了最短的I/O路径。若干个磁盘子系统组成一个集群的存储器系统，该存储器系统对外具有固定的网络地址，即虚拟的IP地址，而对内则通过不同的子IP地址来区分具体的磁盘子系统，从而为网络用户提供了一个虚拟化的海量存储系统。

上述技术方案中，所述的文件路由表的内容包括存储文件的名称、网络磁盘存储系统的网络地址、以及存放该存储文件的具体磁盘子系统及其网络子地址。

文件路由表是一张记录了整个网络磁盘存储系统内容的“索引”文件分配表，各个“数据流”文件是按一定的负载情况分布在不同的磁盘上。文件路由表在进行“读”操作的时候，一般表的内容是不会发生变化的。但是在进行“写”操作的时候，其内容是要进行变化和修正的；所以文件路由表是一个随文件的“写”而动态变化的文件分配表。

所述文件路由表还具有文件“路由”的功能，它也是一个具有“软交换”功能的域名网关，当来自网络上的客户机或者服务器利用网络磁盘存储系统提供的“虚拟”IP地址进行访问时，文件路由表的“路由”的功能将“虚拟”的IP地址转化为对内部的具体磁盘子系统的子IP地址，这样就可以使得主机系统I/O请求可以具体地分解到相应的磁盘子系统上进行操作或者访问，并且还可以具体到对磁盘子系统上存放所访问文件的硬盘上进行操作。任何客户机或者服务器都可以通过这个存储器的IP地址来访问这个网络磁盘存储系统，该存储器系统对用户来说是透明的。

因为所有的磁盘子系统的文件路由表内容都是相同的，所以该系统对客户端提出的网络存储I/O请求，还可根据负载情况来确定响应该I/O请求的某个磁盘子系统。因此负载可以比较均衡地分配。另外、由于不存在因所有的请求都要经过某一部件处理而引起的瓶颈隐患，所以即使是某个子系统出现故障，也不会影响其它的正常工作，因此不存在单点故障问题。

所述磁盘子系统包括硬件部分和软件部分，硬件部分包括嵌入式硬件平台、磁盘接口、网络接口；网络接口实现网络磁盘直接与高速网络连接的功能，包含网络接口驱动程序；磁盘接口可采用现有的SCSI/IDE磁盘接口，其包含硬盘接口驱动程序，可实现多个硬盘接入到硬件平台上；嵌人式硬件平台采用基于ARM架构的嵌人式芯片，内含功能强大的32位微处理器、RAM、Flash、USB、COM、LCD、JTAG等芯片和接口电路，为网络磁盘的各个软件模块的计算和运行提供一个硬件支撑环境。

软件部分包括网络数据协议转换模块、嵌入式操作系统模块、网络文件存储管理模块、分布式读/写控制策略模块、集群网络存储器的配置算法模块、容错处理算法模块、消息通信方法模块、负载均衡智能算法模块、本地磁盘的单盘文件存取管理模块。

各个模块的具体功能如下：

网络数据协议转换模块：按TCP/IP协议直接接受用户的I/O存储请求，将用户的访问存储器的命令/数据流转换为对网络磁盘存储系统的访问操作。

嵌入式操作系统模块：是经过裁剪的Linux操作系统，负责整个网络磁盘存储系统的各种资源的管理。

网络文件存储管理模块：网络磁盘存储系统的文件管理系统，是整个网络磁盘存储系统的核心软件之一。

分布式读/写控制策略模块：完成网络磁盘存储系统的基本数据读/写功能，是整个网络磁盘存储系统的核心软件之一。

集群网络存储器的配置算法模块：将若干个磁盘子系统组成一个集群的存储器系统，为用户提供一个虚拟化的海量存储系统。

容错处理算法模块：当网络磁盘存储系统中某个磁盘发生读/写故障时，系统自动调用智能容错算法，使存储器系统仍然可以在降级模式进行工作，这样能够提高系统的可用性和可靠性。

消息通信方法模块：负责实现网络磁盘存储系统中各子系统以及子系统间各个存储磁盘之间的通信功能。

本地磁盘的单盘文件存取管理模块：专门负责对网络磁盘存储系统中的单个磁盘文件系统进行管理。

负载均衡智能算法模块：根据网络磁盘存储系统中的负载情况，自动调节并实现整个网络磁盘存储系统的负载均衡，它是整个系统中最具智能特征的核心软件。

为了实现发明目的二，采用的技术方案如下：

一种智能网络磁盘存储系统的实现方法，将两个或两个以上直接与网络连接的网络磁盘子系统组成一个集群的网络磁盘存储系统，并赋予网络磁盘存储系统一个固定的网络地址，所述的网络磁盘子系统对外均采用网络磁盘存储系统的网络地址，而对内则通过网络子地址作为区分，从而实现一个虚拟化的海量存储系统。

上述技术方案中，所述网络磁盘存储系统通过文件路由表实现网络磁盘存储系统、网络磁盘子系统、以及具体存储文件之间的索引。

本发明的实现方法具体可包括如下步骤：

(1)通过集群网络存储器的配置算法模块将两个或两个以上磁盘子系统组成一个集群的网络磁盘存储系统；对网络磁盘存储系统赋予一个固定的IP地址，而各个磁盘子系统则通过不同的IP子地址予以区分；

(2)通过网络数据协议转换模块在网络上直接接收用户的I/O存储请求，将用户的访问网络磁盘存储系统的命令/数据流转换为对网络磁盘存储系统的访问操作；

(3)通过分布式读/写控制策略模块实现网络磁盘存储系统的基本数据读/写流的功能；

(4)通过本地磁盘的单盘文件存取管理模块负责对网络磁盘存储系统中的单个磁盘文件系统进行管理；

(5)通过负载均衡智能算法模块根据各个网络磁盘子系统的负载情况，自动调节并实现整个网络磁盘存储系统的负载均衡。

本发明还可以通过网络文件存储管理模块来对整个网络磁盘存储系统的文件系统进行管理。

通过容错处理算法模块对网络磁盘存储系统做容错处理。

通过消息通信方法模块负责实现网络磁盘存储系统中各个网络磁盘子系统之间的通信。

本发明的优点在于：

(1)存取速度快：每个磁盘子系统都直接与网络相连接，为用户的数据文件存取提供了最短的I/O路径。

(2)通用性强：这种网络磁盘存储系统可以与任意速度的局域网络相连接，可为用户提供一种适宜各种局域网环境的通用型网络存储器。

(3)可扩展性好：由于网络磁盘存储系统是采用集群技术，所以可以根据用户的需求来扩展智能网络磁盘中子系统的个数，增大网络磁盘存储系统的存储容量。

(4)结构灵活：同样是由于网络磁盘存储系统采用了集群技术，所以可以根据用户的需求来控制网络磁盘中子系统的个数，来组成不同规模的网络磁盘存储系统。

(5)具有智能特性：由于网络磁盘存储系统采用了智能容错和智能负载平衡等智能算法，所以整个网络磁盘存储系统具备了较多的智能特征性质。

                          附图说明

图1为本发明的结构框图；

图2为本发明的硬件电路原理框图；

图3为本发明的软件系统结构框图。

                        具体实施方式

下面结合附图对本发明作进一步的说明。

本发明的结构框图如附图1所示。包括网络接口C1.1~C1.n、SCSI/IDE磁盘接口C2.1~C2.n、嵌人式硬件平台P1。

网络接口C1.1~C1.n实现网络磁盘直接与高速网络连接的功能，包含网络接口驱动程序。

SCSI/IDE磁盘接口C2.1~C2.n用于在磁盘子系统上通过SCSI/IDE磁盘接口连接硬盘，其包含硬盘接口驱动程序。

嵌人式硬件平台P1采用基于ARM架构的嵌人式芯片，内含功能强大的32位微处理器、RAM、Flash、USB、COM、LCD、JTAG等芯片和接口电路，为网络磁盘的各个软件模块的计算和运行提供一个硬件支撑环境。硬件电路原理框图如附图2所示，其中D1为嵌入式微控制器MPU，D2为ROM，D3为RAM，D4为Flash，D5为JTAG调试口，D6为COM通信接口，D7为键盘接口，D8为LCD接口，D9为USB接口，D10为电源模块，D11为时钟模块。

本发明的软件系统结构框图如附图3所示，包括网络数据协议转换模块M1、嵌入式操作系统模块M2、网络文件存储管理模块M3、分布式读/写控制策略模块M4、集群网络存储器的配置算法模块M5、容错处理算法模块M6、消息通信方法模块M7、负载均衡智能算法模块M8、本地磁盘的单盘文件存取管理模块M9。

作为一个实施例，本发明的实现方法如下：

(1)集群配置：将若干个磁盘子系统，组成一个集群的存储器系统，“虚拟”为一个很大的网络逻辑磁盘，并且有一个统一对外的唯一的存储器IP地址202.197.64.5。这样、网络上的任何客户机或者服务器都可以通过这个存储器IP地址来访问这个磁盘存储系统，每个子系统都有一个内部的IP地址，如第3个盘的IP地址为：192.168.0.3。

(2)网络数据协议转换：根据TCP/IP协议直接接受用户的I/O存储请求，将用户的访问存储器的命令/数据流转换为对智能网络磁盘存储系统的访问操作。

(3)网络文件存储管理：网络磁盘存储系统的文件管理系统是整个网络磁盘存储系统的核心部分。通过设置一个以下的“文件路由表(FAT_ARP)”的结构来加以实现。

FAT_ARP表项	对外的“虚拟”IP地址	内部IP地址
			“数据流”文件1(位于2硬盘)	202.197.64.5	192.168.0.1---子系统1
“数据流”文件2(位于2硬盘)	202.197.64.5	192.168.0.2---子系统2
			“数据流”文件3(位于3硬盘)	202.197.64.5	192.168.0.3---子系统3
“数据流”文件4(位于5硬盘)	202.197.64.5	192.168.0.4---子系统4
			“数据流”文件5(位于1硬盘)	202.197.64.5	192.168.0.5---子系统5
…	…	…
			“数据流”文件n(位于4硬盘)	202.197.64.5	192.168.0.6---子系统n

FAT_ARP表是一张记录了整个磁盘存储系统内容的“索引”文件分配表，其中子系统1～子系统n表示磁盘子系统，各个“数据流”文件是按一定的负载情况分布在不同的子系统的不同硬盘上。

(4)IND盘存储系统读/写控制：实现智能网络磁盘存储系统的基本数据读/写流的功能。本发明提供了3种基本功能的“数据流”文件接口函数：(a)Read(Host ID，Stream ID)：某主机从IND盘存储系统中读出一个“数据流”文件对象。(b)Write(Host ID，Stream ID)：将某主机的一个“数据流”文件对象的内容写入到智能网络磁盘存储系统中去。(c)Delete(Host ID，Stream ID)：将与某主机对应的智能网络磁盘存储系统中的一个“数据流”文件对象的内容删除。

在提出的网络磁盘子系统，结构中还可以设计一些内部“数据流”文件接口函数。内部“数据流”文件接口函数是为了实现上述3种基本的“数据流”文件接口函数和某些规定的调度算法而提供的一组较底层的“数据流”文件接口函数。

相应于内部“数据流”文件接口函数，把网络磁盘的3种基本功能的“数据流”文件接口函数(Read、Write、Delete)称为“外部数据流文件接口函数”。一般外部“数据流”文件接口函数的功能可以通过调用内部“数据流”文件接口函数来实现。

(5)网络磁盘存储系统的容错处理：在智能网络磁盘存储系统中，专门设置了备份区来存储记录区的冗余信息进行容错处理。其思想是：当在某个子系统的某个硬盘上记录一个“数据流”文件的同时，根据容错算法，也把同一个“数据流”文件内容记录在另外一个子系统或该子系统的另一个硬盘上来进行冗余备份。一旦原先记录的“数据流”文件不能进行读/写时，便可根据其对应的容错算法，引导存储系统去访问存储在其它盘上记录的备份“数据流”文件；这样可以提高整个存储系统的可用性和可靠性。

(6)本地磁盘的单盘文件存取管理：负责对网络磁盘存储系统中的单个SCSI/IDE磁盘文件系统进行管理。这可以利用操作系统中原有的文件系统来操作和管理。

(7)智能负载均衡：首先制定一种对每个子系统的文件分配情况进行侦听的策略，然后设计一种自动寻找“超重负载”和“超轻负载”的搜索算法，最后设计一种在网络带宽空闲时能够自动地实现将“超重负载”子系统上的一部分负荷卸装到“超轻负载”子系统上去的负载均衡的智能算法，也包括在同一子系统中，将超重负载的硬盘的部分文件转移到超轻负载的硬盘中去。这样智能网络磁盘存储系统便能够根据系统中各个子系统的负载情况及子系统中不同硬盘的负载情况，自动调节并实现整个智能网络磁盘存储系统的负载均衡，使存储器系统具有智能化的特征。

Claims (9)

1、一种智能网络磁盘存储系统，其特征在于由两个或两个以上的连接于网络上的磁盘子系统组成，所述智能网络磁盘存储系统设置有固定的网络地址，而所述磁盘子系统则具有不同的网络子地址，且设置有相同的文件路由表，所述文件路由表为智能网络磁盘存储系统及磁盘子系统及所储存文件之间的索引表。

2、根据权利要求1所述的智能网络磁盘存储系统，其特征在于所述的文件路由表的内容包括存储文件的名称、网络磁盘存储系统的网络地址、以及存放该存储文件的具体磁盘子系统及其网络子地址。

3、根据权利要求1或2所述的智能网络磁盘存储系统，其特征在于所述磁盘子系统包括硬件部分和软件部分，所述硬件部分包括嵌入式硬件平台(P1)、磁盘接口(C2.1～C2.n)、网络接口(C1.1～C1.n)；所述软件部分包括网络数据协议转换模块(M1)、嵌入式操作系统模块(M2)、网络文件存储管理模块(M3)、分布式读/写控制策略模块(M4)、集群网络存储器的配置算法模块(M5)、容错处理算法模块(M6)、消息通信方法模块(M7)、负载均衡智能算法模块(M8)、本地磁盘的单盘文件存取管理模块(M9)。

4、一种智能网络磁盘存储系统的实现方法，其特征在于将两个或两个以上直接与网络连接的网络磁盘子系统组成一个集群的网络磁盘存储系统，并赋予网络磁盘存储系统一个固定的网络地址，所述的网络磁盘子系统对外均采用网络磁盘存储系统的网络地址，而对内则通过网络子地址作为区分，从而实现一个虚拟化的海量存储系统。

5、根据权利要求4所述的智能网络磁盘存储系统的实现方法，其特征在于通过文件路由表实现网络磁盘存储系统、网络磁盘子系统、以及具体存储文件之间的索引。

6、根据权利要求4或5所述的智能网络磁盘存储系统的实现方法，其特征在于具体可包括如下步骤：

(1)通过集群网络存储器的配置算法模块(M5)将两个或两个以上磁盘子系统组成一个集群的网络磁盘存储系统；

(2)通过网络数据协议转换模块(M1)在网络上直接接收用户的I/O存储请求，将用户的访问网络磁盘存储系统的命令/数据流转换为对网络磁盘存储系统的访问操作；

(3)通过分布式读/写控制策略模块(M4)实现网络磁盘存储系统的基本数据读/写流的功能；

(4)通过本地磁盘的单盘文件存取管理模块(M9)负责对网络磁盘存储系统中的单个磁盘文件系统进行管理；

(5)通过负载均衡智能算法模块(M8)根据各个网络磁盘子系统的负载情况，自动调节并实现整个网络磁盘存储系统的负载均衡。

7、根据权利要求6所述的智能网络磁盘存储系统的实现方法，其特征在于还包括通过网络文件存储管理模块(M3)来对整个网络磁盘存储系统的文件系统进行管理。

8、根据权利要求6所述的智能网络磁盘存储系统的实现方法，其特征在于还包括通过容错处理算法模块(M6)对网络磁盘存储系统做容错处理。

9、根据权利要求6所述的智能网络磁盘存储系统的实现方法，其特征在于还包括通过消息通信方法模块(M7)负责实现网络磁盘存储系统中各个网络磁盘子系统之间的通信。

Images