CN1848065A

CN1848065A - 一种异构双系统总线的对象存储控制器

Info

Publication number: CN1848065A
Application number: CN 200610019040
Authority: CN
Inventors: 周功业; 陈进才; 易佳; 吴伟杰; 李漪; 雷伟
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2006-05-12
Filing date: 2006-05-12
Publication date: 2006-10-18
Anticipated expiration: 2026-05-12
Also published as: CN100383721C

Abstract

异构双系统总线对象存储控制器，属于计算机存储技术领域，针对现有技术的不足，更好地发挥对象存储的优势。本发明包括处理控制部件、存储设备接口部件和网络接口部件，(1)处理控制部件由嵌入式处理器、内存RAM和FLASH存储单元组成；(2)存储设备接口部件包括第一存储设备接口部件和第二存储设备接口部件，分别通过第一系统总线、第二系统总线和处理控制部件相连，提供不同种类的块级存储接口连接磁盘驱动器。本发明选用PowerPC架构的嵌入式处理器，提供对象接口和异构双系统总线的体系结构，降低网络带宽需求，减少服务器负载，最大限度利用处理器能力，平衡处理器和存储设备在速度上的差异，实现存储系统的智能优化。

Description

一种异构双系统总线的对象存储控制器

技术领域

本发明属于计算机存储技术领域，特别涉及一种异构双系统总线的对象存储控制器。

背景技术

由于信息数字化、数字信息处理技术及互联网的飞速发展，人们对存储系统的要求越来越高。目前主要有三种存储结构，即直接附加存储(DAS)、附网存储(NAS)和存储区域网络(SAN)。DAS是传统的存储模式，由单个或多个块存储设备构成并直接连接到主机系统的扩展接口上，其缺点是容量有限；NAS采用文件级接口，跨平台共享较好，缺点是不适合于块级数据应用；SAN是块级接口，虽然吞吐率较高，但缺点是只能提供设备共享而不能提供数据共享，可扩展性也受到块级接口元数据管理困难的限制。

对象存储(OBS)正是结合了SAN和NAS的优点提出的，OBS通过对象层次的抽象设计，将数据存储的访问、控制、管理等功能重新划分，将文件系统的逻辑结构与物理存储的映射关系隐藏到对象层次上，数据的访问操作通过对象接口实现。

对象存储控制器对用户提供对象访问接口，是OBS中的重要部分。目前的对象存储控制器主要使用通用的处理器，未能充分考虑面向对象存储的特点，中国发明专利CN1710530A提出的基于对象的存储控制器使用的就是INTEL公司的PIII866处理器，该处理器为普通的桌面计算机的常用处理器，适用于构造通用的计算机系统，但是该处理器在功耗、吞吐率等方面均不适合于存储应用。对象存储控制器作为一包括处理器、RAM内存、网络接口、存储介质如磁盘等以及运行在其中的控制软件的智能设备其实就是一台特殊的计算机，其体系结构应该针对其特殊的应用、结合所选用处理器的特点进行专门的设计。设计中要把提高系统的吞吐率和可扩展性，降低系统功耗作为其主要目标。提高系统吞吐率和可扩展性主要是要选用合适的处理器，采用适用于数据存储的控制器体系结构，并且重点是要很好地平衡处理器和外围存储设备之间的速度差异及实现存储分布优化。

发明内容

本发明提供一种异构双系统总线的对象存储控制器，针对现有技术的不足，选择适合存储应用的处理器，针对对象控制器的特殊应用和所选用处理器设计相应的体系结构，更好的发挥对象存储的优势。

本发明的一种异构双系统总线对象存储控制器，包括处理控制部件、存储设备接口部件和网络接口部件，处理控制部件和网络接口部件之间通过内部总线连接，将对象存储控制器连入高速存储网络；处理控制部件和存储设备接口部件之间通过系统总线物理连接，其特征在于：(1)所述处理控制部件由嵌入式处理器、内存RAM和FLASH存储单元组成；嵌入式处理器通过对外I/O接口与内存RAM和FLASH存储单元相连，提供数据处理、对象的管理、通过计算优化数据的分布，并对网络接口部件以及存储设备接口部件加以控制；(2)所述存储设备接口部件包括第一存储设备接口部件和第二存储设备接口部件，它们的上游分别通过第一系统总线、第二系统总线和处理控制部件相连，它们的下游提供不同种类的块级存储接口连接磁盘驱动器。

所述的异构双系统总线对象存储控制器，其特征在于所述网络接口部件包括一个或一个以上的网络通道接口，用于连接不同的网络；所述第一存储设备接口部件和第二存储设备接口部件各由一个或多个协议转换单元构成，用于完成从第一系统总线和第二系统总线到对应磁盘接口的协议转换。

所述第一存储设备接口部件和第二存储设备接口部件通过两种不同的系统总线连接到嵌入式处理器上，这要求所选用的嵌入式处理器必须提供多种系统总线的接口，一般应用的比较广的系统总线包括PCI、PCI-X、PCI-E、Infiniband、XAUI、Fibre Channel、3GIO以及RapidIO等，每个存储设备接口部件都包括从所连接系统总线到某种特定存储设备接口标准的协议转换模块，该协议转换模块可以使用专用的ASIC芯片，也可以使用CPLD或FPGA进行自主开发。

对于两异构的第一系统总线和第二系统总线，在利用的时候充分考虑到它们之间的速度差异，在速度较慢的第一系统总线所连接的第一存储设备接口部件上连接数据传输率较低的磁盘接口，形成存储系统中的慢存储子区；在速度较快的第二系统总线所连接的第二存储设备接口部件上连接数据传输率较高的磁盘接口，形成存储系统中的快存储子区。

根据成本、性能等方面的要求，所述第一、第二存储设备接口部件中的存储设备接口标准可以选用SCSI、FC、IDE或SATA中的一种。但是要保证连接于快存储子区的存储设备接口要比连接于慢存储子区的存储设备接口的数据传输率要高。

利用本发明进行存储分布优化，包括如下步骤：

(1)对每一次读写磁盘的输入输出操作所存取的对象进行分析，访问该对象的属性，得到其访问频率属性和该对象的来源子区；

(2)判断该对象的访问频率是否超过了系统规定的阈值，如果超过则转步骤(3)；否则转步骤(5)；

(3)判断该对象是否来自于系统中的快存储子区，是则转步骤(5)；不是则转步骤(4)；

(4)将访问频率超过了系统规定的阈值而又来源于慢存储子区的对象写入快存储子区，并且将其从慢存储子区中删除，转步骤(7)；

(5)判断对象是否是“脏”对象，即是否被修改过，是则转步骤(6)；否则转步骤(7)；

(6)将对象的存储分布不进行优化，只是将其写入来源的存储子区并转步骤(7)；

(7)输入输出下一个对象，转步骤(1)。

使用本发明可以组建大容量的存储系统，这种系统结合了SAN和NAS的优点，既有很好的跨平台能力又有很好的可扩展性，在体系结构的设计上，充分考虑了对象存储的特殊性以及所选用嵌入式处理器的特点。本发明具有以下优点：

1.提供对象接口，使得对数据的部分处理可以利用对象控制器上的处理器来进行，降低了网络带宽的需求，减少了服务器的负载。

2.提供了异构双系统总线的体系结构，最大限度的利用了处理器的能力，平衡了处理器和存储设备在速度上的差异。

3.使用较廉价的SATA磁盘组建专业级、大容量、高性能的存储系统中的部分存储子区，较之全部使用昂贵的SCSI磁盘有很大的价格优势。

4.选用PowerPC架构的嵌入式处理器作为对象控制器的处理器，较之通用处理器功耗低。

5.对象存储控制器提供对象的存储分布优化方法，实现了存储系统的智能自我优化。

附图说明

图1为本发明的结构示意图；

图2为本发明中处理控制部件的结构示意图；

图3为本发明中存储设备接口部件的结构示意图；

图4为本发明配备磁盘驱动器的实施例组成示意图；

图5为采用本发明的对象存储分布优化的流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

图1为本发明的结构示意图。本发明异构双系统总线的对象存储控制器包括处理控制部件、第一存储设备接口部件、第二存储设备接口部件以及网络接口部件，其中处理控制部件和网络接口部件之间通过芯片内部总线连接，处理控制部件和第一存储设备接口部件之间通过第一系统总线物理连接，处理控制部件和第二存储设备接口部件之间通过第二系统总线物理连接。

网络接口部件由一个或多个网络通道接口组成，网络通道接口不限于某种具体的网络，可以采用相同或不同的网络通道接口，从而支持连接于不同的网络。

对象存储控制器通过网络接口部件和高速的存储网络相连接，按照该存储网络的协议格式和命令格式接收相关的网络数据，处理控制部件实现对网络数据的缓存和处理，按照约定的格式解析出接收到的网络数据中基于对象的操作、数据或者命令，依据解析出来的基于对象的操作、数据或者命令进行相应的处理。

对象存储控制器对外提供对象访问接口，它根据对象ID来存取对象，而不是根据文件名或者块号来存取对象。

对象存储控制器根据存储策略，用其自身的处理器和内存RAM优化数据分布，如实现RAID，支持数据的预取，按条件过滤数据等。由于对象存储控制器可以智能地支持用户对对象的输入输出请求，因而优化了存储系统的性能。

对象存储控制器实现对象属性元数据的管理，对象存储控制器管理存储在其上的本地对象属性元数据，本地对象属性元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。

图2为本发明的处理控制部件结构示意图。处理控制部件由嵌入式处理器、内存RAM和FLASH存储单元组成，其中嵌入式处理器和内存RAM、FLASH存储单元分别通过总线连接。处理控制部件提供数据处理、对象的管理、通过计算优化数据的分布，并对网络接口部件以及存储设备接口部件加以控制。

本发明中选用的嵌入式处理器和通用处理器相比功耗一般较低，在选用嵌入式处理器的时候要选用吞吐率较高、较适合输入输出操作占多数的应用环境的嵌入式处理器。为了平衡处理器和外围存储设备之间的速度差异，需要选用至少对外提供两个异构的系统总线接口的处理器。

图3为第一或第二存储设备接口部件的结构示意图。第一或第二存储设备接口部件具体由一个或多个协议转换单元构成，用于完成从存储设备接口部件所连接的系统总线到某种特定磁盘接口的协议转换。存储设备主要采用各类磁盘，但不限于何种具体形式的磁盘，根据性能要求和投资规模等因素可以灵活选用SCSI、SATA、IDE以及FC等接口的磁盘。

本发明中有第一、第二两个存储设备接口部件，这两个存储设备接口部件向上分别连接两异构的第一、第二系统总线，向下分别连接两种不同种类的磁盘接口，在速度较低的第一系统总线所连接的第一存储设备接口部件上连接数据传输率较慢的磁盘接口，在速度较高的第二系统总线所连接的第二存储设备接口部件上连接数据传输率较快的磁盘接口，通过这种方式在存储系统内部构造了速度较慢的慢存储子区和速度相对较快的快存储子区。

图4为本发明配备磁盘驱动器的实例组成示意图。处理控制部件中的嵌入式处理器采用Motorala公司的嵌入式处理器MPC8540，该嵌入式处理器是一款高性能、32位的PowerPC架构的处理器，处理器指令集结构是增强E族(Book E-enhanced)500指令集，PowerPC架构的处理器是一种常用于网络交换设备等输入输出操作占多数的环境的嵌入式处理器架构，具有低功耗、高吞吐率的优点，并且此实例所选用的MPC8540处理器对外提供了PCI-X总线和RapidIO总线，可以组成异构双系统总线对象存储控制器。内存RAM采用1G的DDR-SODIMM内存、FLASH存储单元采用INTER公司的E28F640芯片，该芯片容量是8M，FLASH存储单元固化存放本控制器的嵌入式LINUX操作系统和各种控制程序，内存RAM提供控制程序运行的空间并作为Cache以对象的属性进行数据的预取。网络接口部件由MPC8540内置的两个千兆以太网接口，对外连接到高速的、基于TCP/IP协议的存储网络上。MPC8540对外提供了PCI-X总线和RapidIO总线，第一存储设备接口部件通过PCI-X总线与MPC8540相连接，第一存储设备接口部件中的协议转换单元采用SiliconImage公司的SiI3124芯片，其功能是完成PCI-X协议到SATA协议的转换，每片SiI3124芯片可以提供4路SATA磁盘驱动器的接口，每片MPC8540芯片连接了4片SiI3124芯片，4片SiI3124芯片分时占用PCI-X总线与MPC8540进行通信，PCI-X总线仲裁由自主开发的基于CPLD的总线仲裁器来实现，通过PCI-X总线连接到系统的SATA磁盘驱动器可以达到16个。第二存储设备接口部件通过RapidIO总线与MPC8540相连接，第二存储接口部件中的协议转换单元采用自主开发的基于FPGA的RapidIO协议到SCSI协议转换模块，该模块选用Xilinx公司的FPGA芯片，实现了从RapidIO协议到SCSI协议的转换，每个FPGA芯片上可以带至少10路SCSI磁盘。

通过PCI-X到SATA协议转换单元连接到PCI-X总线上的16个SATA磁盘组成了存储系统中的慢存储子区，通过RapidIO到SCSI协议转换单元连接到RapidIO总线上的10个SCSI磁盘组成了存储系统中的快存储子区。这些磁盘均可以分组配置成RAID，从而构建高性能、大容量的存储系统。

面向对象存储的核心就是将文件系统中和存储相关性较大的部分下移到存储结点上来，让存储结点拥有更多的计算能力和自主性。首先对面向对象存储中的对象操作作一些描述：

对象由数据、属性和方法组成，由对象ID号标识。其中属性可以定义基于对象的RAID参数、数据分布和服务质量等，也定义了对象的大小、创建时间、拥有者、访问频率等一般性属性信息；对象的方法可针对对象的属性按照一定的规则或策略加载或卸载，对象的方法确定了可以对对象进行的操作。

本发明采用了两条异构的总线构成，两异构总线之间在速度上存在差异，利用这种速度上的差异，可以在系统内部组成两个不同的存储子区。这两个存储子区在速度、稳定性以及可靠性上都有差异。在速度较快的总线上连接数据传输率较高的磁盘形成快存储子区，在速度较慢的总线上连接数据传输率较低的磁盘形成慢存储子区。通过访问对象的属性，可以得知该对象被访问的频率以及上一次访问的时间等信息，将访问次数较多、访问频率较高的对象存放在快存储子区，将访问次数较少、访问频率较低的对象存放在慢存储子区，这样的对象存储的优化分布方法可以使对象存储控制器的整体性能得到较大的提高。

对象存储控制器开始工作后，会在每一次读写磁盘的输入输出操作的时候对存取的对象进行分析，如果对象是从慢存储子区被读出的，但是在从内存写回的时候通过分析发现该对象被访问的频率有较大的增加，这就说明该对象是相对热点的数据，应该存放在相对速度较快的快存储子区，所以在写回的时候就不写回到慢存储子区，而是写回到快存储子区，并且将该对象在原慢存储子区中删除。对于热点数据的迁移，采用的策略是：当正在访问的对象的访问频率大于某一阈值时，就进行热点迁移。

除了在每次读写磁盘的输入输出操作的时候进行对象存储分布的优化外，存储系统还将在外部访问量较少，系统较空闲的时候进行整个存储系统的存储分布优化工作，即通过分析快存储子区和慢存储子区中的对象，依据对象的访问频率将对象重新分布到快存储子区和慢存储子区。

以下结合图5描述存储系统中数据分布优化的具体过程。

在步骤1中，对每一次读写磁盘的输入输出操作所存取的对象进行分析，访问该对象的属性，得到其访问频率属性和该对象的来源子区。在接下来的步骤2中，判断该对象的访问频率是否超过了系统规定的阈值，如果超过了则转入步骤3；否则转入步骤5。在步骤3里，判断该对象是否来自于系统中的快存储子区，若是则转入步骤5；若不是则转入步骤4。在步骤4里，将访问频率超过了系统规定的阈值而又来源于慢存储子区的对象写入快存储子区，并且将其从慢存储子区中删除。在步骤5里，判断对象是否是“脏”对象，即是否被修改过，若是则转入步骤6；否则转入步骤7。在步骤6里将对象的存储分布不进行优化，只是将其写入来源的存储子区。步骤4和步骤6完成后都转入到步骤7，开始下一个输入输出操作。在步骤7完成后将要对磁盘进行读写的时候再转入步骤1，进行下一个对象的存储优化。通过以上步骤，系统在不增加存储设备的基础上，加快了经常使用的对象的存取速度，优化了存储系统的存储分布，从而优化了整个存储系统的性能，达到了存储系统智能的自优化的目的。

Claims

1.一种异构双系统总线对象存储控制器，包括处理控制部件、存储设备接口部件和网络接口部件，处理控制部件和网络接口部件之间通过内部总线连接，将对象存储控制器连入高速存储网络；处理控制部件和存储设备接口部件之间通过系统总线物理连接，其特征在于(1)所述处理控制部件由嵌入式处理器、内存RAM和FLASH存储单元组成；嵌入式处理器通过对外I/O接口与内存RAM和FLASH存储单元相连，提供数据处理、对象的管理、通过计算优化数据的分布，并对网络接口部件以及存储设备接口部件加以控制；(2)所述存储设备接口部件包括第一存储设备接口部件和第二存储设备接口部件，它们的上游分别通过第一系统总线、第二系统总线和处理控制部件相连，它们的下游提供不同种类的块级存储接口连接磁盘驱动器。

2.如权利要求1所述的异构双系统总线对象存储控制器，其特征在于所述网络接口部件包括一个或一个以上的网络通道接口，用于连接不同的网络；所述第一存储设备接口部件和第二存储设备接口部件各由一个或多个协议转换单元构成，用于完成从第一系统总线和第二系统总线到对应磁盘接口的协议转换。