CN109445696A - 网络聚合存储的信息存储装备 - Google Patents

Abstract

本发明涉及信息存储技术，具体为网络聚合存储的信息存储装备。解决大容量存储装备寻址单元的扇区粒度过小，导致存储地址过长的问题。该网络聚合存储的信息存储装备由主机接口HI、消息交换枢纽Th和m个存储介质部件MP构成；每个存储介质部件MP之间，以及MP与主机接口之间基于消息交换枢纽Th传输逻辑寻址结构LAS消息，形成一个以MP为节点的存储介质网络；其网络节点地址与存储单元地址聚合为一个整体，即文件系统的逻辑单元地址。本发明有效解决了独立的大容量存储装备超长地址的管理问题，可在扩容的同时提速，适用于超级计算机和大数据的存储访问。

Description

网络聚合存储的信息存储装备

技术领域

本发明涉及信息存储技术，特别涉及网络地址与存储地址聚合的存储系统架构，具体为网络聚合存储的信息存储装备。

背景技术

独立的信息存储装备特指单一文件系统管理的存储介质集合，扩大其存储容量意味着加大存储单元粒度或扩展存储单元地址长度。迄今，既有存储装备(机械硬盘、固态盘SSD等)物理寻址单元都是512Byte的扇区，须遵循一种基于扇区寻址的消息传输协议FIS(Frame Information Structure，简称FIS协议)与主机(Host)交换信息，以下称为基于FIS访问的存储介质(简称FIS设备)。FIS设备的物理存储单元是扇区，增加其容量只能扩展存储地址长度，而该参数在出厂时固定，因此独立FIS设备的容量不可扩展。于是文件系统引入逻辑单元解决扇区寻址粒度过小的瓶颈，比如Linux逻辑单元是块(Block)，有2～8个连续扇区；Windows逻辑单元是簇(Cluster)，有64个连续扇区；Hadoop逻辑块尺寸是64MB等。由此，文件系统需要利用驱动程序在逻辑单元与物理扇区之间频繁地转换地址，使整个存储系统复杂化；同时，对于大容量存储装备，由于寻址单元的扇区粒度过小，还导致存储地址过长；文件系统逻辑单元地址长度受限，成为制约存储装备容量扩展的瓶颈。

发明内容

本发明解决大容量存储装备寻址单元的扇区粒度过小，导致存储地址过长的问题；以及逻辑单元与扇区之间地址的频繁转换导致的存储系统复杂化问题，提供一种网络聚合存储的信息存储装备。

本发明是采用如下技术方案实现的：网络聚合存储的信息存储装备，由主机接口HI(Host Interface)、消息交换枢纽Th(Traffic-hub，)和m个存储介质部件MP(MediumParts)构成；主机接口HI和m个存储部件MP作为网络节点基于消息交换枢纽Th，并遵循一种称作逻辑寻址结构LAS(Logical Addressing Structure)的消息传输格式相互交换消息，并用文件系统逻辑单元地址定义逻辑寻址结构LAS的名字字段；文件系统逻辑单元地址是一个s位二进制数i，s为非零正整数，i＝0,1,…,2^s-1，s位二进制数i的第s₀位，0<s₀<s－1，将文件系统逻辑单元地址划分成高地址i₁和低地址i₀两个部分，高地址i₁作为存储介质部件MP的网络地址，低地址i₀为存储介质部件MP内部的逻辑单元地址；每个存储介质部件MP内部部署至少一个读写低地址i₀的引擎，每个存储介质部件MP内部设置一个地址寄存器AR(Address Register)，用于保存该MP的高地址i₁；对于接收的每个逻辑寻址结构LAS消息，存储介质部件MP首先提取该消息名字字段的高地址i₁与其地址寄存器AR中的高地址i₁比较，当两者一致时，由存储介质部件MP内部的引擎读写访问低地址i₀；在系统初始化时定制高地址i₁和低地址i₀的拼接位置s₀，及二进制数i的总长即二进制数i的位数s。

云存储利用网络寻址方法扩大存储空间容量，它将众多存储介质虚拟化成以太网节点，先寻址IP地址定位存储资源的网络节点，然后在目标节点内部二次寻址确定存储单元的扇区位置。但是，这种将网络地址和存储地址分离的做法，不合理地形成了文件系统逻辑地址、网络地址和存储介质物理地址三套独立的寻址体系。此外，云存储不是一个独立装备而是网络上的服务体系，需部署在多个服务器上利用多层文件系统相互协作进行管理。与单一文件系统管理的独立存储装备相比，云存储在网络带宽、可移动和安全性上具有天然缺陷。云存储基于互联网运行难以保障安全性，受互联网带宽限制无法满足超级计算的高带宽需求，更不允许接入到军事、国安和金融等对隐私与安全约束苛刻的应用场合。

所谓“网络”源于形象描述的消息传输通道，但量子通信表明通信网络的要素是消息传输而非消息传输的通道。虽然一些存储介质如SATA、SAS及iSCSI等是基于消息传输的，但它们的消息传输格式中不包括类似以太网IP地址那样的名字字段，而这样的名字字段是存储介质可以彼此区分并互连组网的基本条件。本质上，网络是遵循预定义格式互传消息的一个有名节点的集合，在消息传输格式中通过设置节点名字字段规定其网络互联属性。有名节点、传输协议及其名字字段是网络的三个充分必要条件。由此，可忽略传输通道差异对网络节点和存储资源统一编址，并使编址后的地址长度、汇接地址位置及物理存储单元所含的扇区数目，都可通过单一文件系统初始化过程现场定制，形成一种网络聚合存储(Network Polymerized Storage，简称为NPS)结构。

本发明通过单一文件系统将网络节点地址i₁与存储单元地址i₀聚合成一个整体，即文件系统的逻辑单元地址i，因此是一种网络聚合存储的NPS架构；由于高地址i₁和低地址i₀的拼接位置s₀及二进制数i的总长，在系统初始化时可定制，根据存储装备的容量大小，可自由定制存储地址的长度，从而将大容量存储装备的超长逻辑存储地址，划分成存储介质部件MP的网络地址i₁和MP的存储介质内部逻辑地址i₀两个部分，分别加以处理降低寻址复杂性。

进一步地，存储介质部件MP内部包括由q×p个FIS设备组成的q行×p列的矩形阵列RA(Rectangle Array)，在矩形阵列RA的q×p个FIS设备中，起始地址相同的r(r≥1)个连续扇区组成的存储区域，称作立方区Cube，其尺寸n＝r×q×p个扇区，作为矩形阵列RA的物理寻址单元；在立方区Cube中，基于FIS访问并行读写Cube的n个连续扇区；在文件系统初始化时，通过调整Cube的参数r、q和p，使矩形阵列RA的物理寻址单元拥有与主机文件系统逻辑单元相同的扇区数目，得以采用基于Cube寻址的消息传输协议；这样，形成一种寻址粒度可伸缩的存储介质部件MP。由于寻址粒度可伸缩，能够使矩形阵列RA的物理寻址单元拥有与主机文件系统逻辑单元相同的扇区数目，从而实现存储介质物理寻址单元地址与文件系统逻辑单元地址的统一；因此，该寻址粒度可伸缩的存储介质部件MP能克服逻辑单元与扇区之间地址的频繁转换导致的存储系统复杂化问题。

本发明的每个存储介质部件MP之间，以及MP与主机接口之间基于消息交换枢纽Th传输LAS消息，形成一个以MP为节点的存储介质网络；其网络节点地址i₁与存储单元地址i₀整体聚合为文件系统的逻辑单元地址i，是一种网络聚合存储NPS的信息存储装备；系统初始化时可定制i₁与i₀拼接位置s₀，地址i总长s，以及存储单元Cube的扇区数目n，形成一种容量可伸缩的NPS装备。本发明的NPS装备内部的m个存储介质部件MP，以及每个Cube读写引擎CE内部的p个通道控制器CC均以并行方式工作，可在扩展存储容量的同时提升访问速度。

本发明设计巧妙，结构简单，有效解决了独立的大容量存储装备超长地址的管理问题，可在扩容的同时提速，适用于超级计算机和大数据的存储访问。

附图说明

图1为本发明所述网络聚合存储的信息存储装备的结构框图；

图2为文件系统逻辑单元地址的构成示意图；

图3为寻址粒度可伸缩的存储介质部件MP的结构示意图。

具体实施方式

网络聚合存储的信息存储装备，由主机接口HI(Host Interface)、消息交换枢纽Th(Traffic-hub，)和m个存储介质部件MP(Medium Parts)构成；主机接口HI和m个存储部件MP作为网络节点基于消息交换枢纽Th，并遵循一种称作逻辑寻址结构LAS(LogicalAddressing Structure)的消息传输格式相互交换消息，并用文件系统逻辑单元地址定义逻辑寻址结构LAS的名字字段；文件系统逻辑单元地址是一个s位二进制数i，s为非零正整数，i＝0,1,…,2^s-1，s位二进制数i的第s₀位，0<s₀<s－1，将文件系统逻辑单元地址划分成高地址i₁和低地址i₀两个部分，高地址i₁作为存储介质部件MP的网络地址，低地址i₀为存储介质部件MP内部的逻辑单元地址；每个存储介质部件MP内部部署至少一个读写低地址i₀的引擎，每个存储介质部件MP内部设置一个地址寄存器AR(Address Register)，用于保存该MP的高地址i₁；对于接收的每个逻辑寻址结构LAS消息，存储介质部件MP首先提取该消息名字字段的高地址i₁与其地址寄存器AR中的高地址i₁比较，当两者一致时，由存储介质部件MP内部的引擎读写访问低地址i₀；在系统初始化时定制高地址i₁和低地址i₀的拼接位置s₀，及二进制数i的总长即二进制数i的位数s。具体实施时，存储介质部件MP内设置控制逻辑单元，控制逻辑单元接收逻辑寻址结构LAS消息，并提取该LAS消息名字字段的高地址i₁与地址寄存器AR中的高地址i₁比较，当两者一致时，将LAS消息交付存储介质部件MP内部的读写引擎处理。

进一步地，存储介质部件MP内部包括由q×p个FIS设备组成的q行×p列的矩形阵列RA(Rectangle Array)，在矩形阵列RA的q×p个FIS设备中，起始地址相同的r(r≥1)个连续扇区组成的存储区域，称作立方区Cube，其尺寸n＝r×q×p个扇区，作为矩形阵列RA的物理寻址单元；在立方区Cube中，基于FIS访问并行读写Cube的n个连续扇区；在系统初始化时，通过调整Cube的参数r、q和p，使矩形阵列RA的物理寻址单元拥有与主机文件系统逻辑单元相同的扇区数目，得以采用基于Cube寻址的消息传输协议；这样，形成一种寻址粒度可伸缩的存储介质部件MP。该寻址粒度可伸缩的存储介质部件MP内部的读写文件系统逻辑单元的读写引擎CE(Cube Engine)，它有p个并行工作的通道控制器CC(ChannelController)，各自负责访问本通道的q个FIS设备，每次访问读写每个FIS设备的r个连续扇区。寻址粒度可伸缩的存储介质部件MP内部的读写文件系统逻辑单元的读写引擎CE将一个Cube的r×q×p个扇区，映射(拆解或拼接)到p个通道控制器CC，每个通道控制器CC负责访问r×q个扇区。

主机接口HI与消息交换枢纽Th连接，m个存储部件MP分别通过一个设备接口DI(Device Interface)与消息交换枢纽Th连接，主机接口HI总带宽是设备接口DI带宽的m倍，形成了消息交换枢纽Th的带宽卸载能力和带宽汇聚能力，将主机接口HI的m个高速消息分别交付给m个低速的设备接口DI同时并行处理，或者m个设备接口DI的低速消息，可由消息交换枢纽Th打包成主机接口HI的消息，实施高速传输。

消息交换枢纽Th可以解析逻辑寻址结构LAS消息并控制转发各存储介质部件MP之间的数据交换。

除了定义网络节点属性的名字字段之外，逻辑寻址结构LAS消息传输格式中还规定了该网络聚合存储的信息存储装备的应用属性。所述应用属性包括LAS命令帧、LAS状态帧和LAS数据帧三种应用格式，其中LAS命令帧由主机发送，由存储介质部件MP接收并处理，LAS状态帧由存储介质部件MP发送，由主机接收并处理，LAS数据帧在主机与存储介质部件MP之间进行双向传输处理。其中，针对寻址粒度可伸缩的存储介质部件MP，其LAS数据帧的最小数据单元是Cube。

地址寄存器AR还保存一个起始地址i₂和一个偏移offset，用来指明存储介质部件MP的寻址空间范围，其中，起始地址i₂和偏移offset值在初始化时设定。存储介质部件MP首先提取该消息名字字段的高地址i₁与其地址寄存器AR中的该存储介质部件MP的网络地址比较，当两者一致且当低地址i₀落入存储介质部件MP的寻址空间范围，存储介质部件MP才响应处理此LAS消息，即读写访问该存储介质部件MP内部的低地址i₀即存储单元地址；如此，通过设置起始地址i₂和偏移offset限定了该MP内部存储空间的寻址范围，使多个MP可以共用一个网络节点地址i₁。

Claims (10)

1.一种网络聚合存储的信息存储装备，其特征在于由主机接口HI、消息交换枢纽Th和m个存储介质部件MP构成；主机接口HI和m个存储部件MP作为网络节点基于消息交换枢纽Th，并遵循一种称作逻辑寻址结构LAS的消息传输格式相互交换消息，并用文件系统逻辑单元地址定义逻辑寻址结构LAS的名字字段；文件系统逻辑单元地址是一个s位二进制数i，s为非零正整数，i＝0,1,…,2^s-1，s位二进制数i的第s₀位，0<s₀<s－1，将文件系统逻辑单元地址划分成高地址i₁和低地址i₀两个部分，高地址i₁作为存储介质部件MP的网络地址，低地址i₀为存储介质部件MP内部的逻辑单元地址；每个存储介质部件MP内部部署至少一个读写低地址i₀的引擎，每个存储介质部件MP内部设置一个地址寄存器AR，用于保存该MP的高地址i₁；对于接收的每个逻辑寻址结构LAS消息，存储介质部件MP首先提取该消息名字字段的高地址i₁与其地址寄存器AR中的高地址i₁比较，当两者一致时，由存储介质部件MP内部的引擎读写访问低地址i₀；在系统初始化时定制高地址i₁和低地址i₀的拼接位置s₀，及二进制数i的总长即二进制数i的位数s。

2.根据权利要求1所述的网络聚合存储的信息存储装备，其特征在于存储介质部件MP包括由q×p个FIS设备组成的q行×p列的矩形阵列RA，在矩形阵列RA的q×p个FIS设备中，起始地址相同的r，r≥1，个连续扇区组成的存储区域，称作立方区Cube，其尺寸n＝r×q×p个扇区，作为矩形阵列RA的物理寻址单元；在立方区Cube中，基于FIS访问并行读写Cube的n个连续扇区；在系统初始化时，通过调整Cube的参数r、q和p，使矩形阵列RA的物理寻址单元拥有与主机文件系统逻辑单元相同的扇区数目，从而使二者的地址完全相同，得以采用基于Cube寻址的消息传输协议；这样，形成一种寻址粒度可伸缩的存储介质部件MP。

3.根据权利要求2所述的网络聚合存储的信息存储装备，其特征在于该寻址粒度可伸缩的存储介质部件MP内部的读写文件系统逻辑单元的引擎CE，它有p个并行工作的通道控制器CC，各自负责访问本通道的q个FIS设备，每次访问读写每个FIS设备的r个连续扇区。

4.根据权利要求3所述的网络聚合存储的信息存储装备，其特征在于寻址粒度可伸缩的存储介质部件MP内部读写文件系统逻辑单元的引擎CE将一个Cube的r×q×p个扇区，映射到p个通道控制器CC，每个通道控制器CC负责访问r×q个扇区。

5.根据权利要求1或2所述的网络聚合存储的信息存储装备，其特征在于主机接口HI与消息交换枢纽Th连接，m个存储部件MP分别通过一个设备接口DI与消息交换枢纽Th连接，主机接口HI总带宽是设备接口DI带宽的m倍。

6.根据权利要求1或2所述的网络聚合存储的信息存储装备，其特征在于消息交换枢纽Th解析逻辑寻址结构LAS消息并控制转发各存储介质部件MP之间的数据交换。

7.根据权利要求1或2所述的网络聚合存储的信息存储装备，其特征在于除了定义网络节点属性的名字字段之外，逻辑寻址结构LAS消息传输格式中还规定了该网络聚合存储的信息存储装备的应用属性。

8.根据权利要求7所述的网络聚合存储的信息存储装备，其特征在于其应用属性包括LAS命令帧、LAS状态帧和LAS数据帧三种应用格式，其中LAS命令帧由主机发送，由存储介质部件MP接收并处理，LAS状态帧由存储介质部件MP发送，由主机接收并处理，LAS数据帧在主机与存储介质部件MP之间进行双向传输处理。

9.根据权利要求8所述的网络聚合存储的信息存储装备，其特征在于针对寻址粒度可伸缩的存储介质部件MP，其LAS数据帧的最小数据单元是Cube。

10.根据权利要求1或2所述的网络聚合存储的信息存储装备，其特征在于地址寄存器AR还保存一个起始地址i₂和一个偏移offset，用来指明存储介质部件MP的寻址空间范围，其中，起始地址i₂和偏移offset值在系统初始化时设定。