CN1331038C - 基于对象的存储控制器及其使用的调度方法 - Google Patents

Abstract

基于对象的存储控制器及其使用的调度方法，属于计算机存储技术领域，针对现有网络存储技术在网络连接、存取速度和控制的不足，充分利用控制设备处理能力，达到减少数据传输操作层次和缩短I/O路径的目的。本发明包括存储设备接口、网络存储对象接口和运行控制部件，存储设备接口执行面向块设备级的协议，用户通过网络接口访问存储对象，并可对对象进行指定的操作。本发明的调度方法可在满足条件下自动运行，或根据用户请求触发运行。本发明改变传统数据管理和处理方式，文件系统和数据库系统底层数据管理由OBSC取代，客户端应用程序承担的数据处理也部分移至OBSC处理，可容易地在存储系统内实现自动恢复、负载均衡、热点迁移等自管理功能。

Description

基于对象的存储控制器及其使用的调度方法

技术领域

本发明属于计算机存储技术领域，具体涉及一种基于对象的存储控制器及其使用的调度方法。

背景技术

由于网络技术的发展及现代信息数据量的激增，人们对网络存储系统提出了更高要求，但现有网络存储系统广泛使用的两种接口，即块级接口(如存储区域网SAN)与文件级接口(如附网存储NAS)，都存在缺陷，虽然SAN具有高吞吐率的优点，但由于建立在块接口上，随着节点数增加，其元数据管理将变得越来越困难，因此SAN的扩展性有限；采用文件级接口使得NAS具有良好的扩展性，但NAS的数据通路与传统的文件服务器没有本质差别，故NAS的效率不高。卡内基梅隆大学等多所大学及研究机构在比较了NAS和SAN优缺点的基础上，结合两者的优点，提出了一种新的接口——基于对象(Object-Based)的接口，以此构建的存储系统在性能、可扩展性、安全性、跨平台能力等方面均比传统的NAS与SAN优越，但这些系统局限于文件系统的单一应用，且存储容量的扩展能力有限，没有充分利用设备的处理能力。

中国发明专利CN03125247.8提出的外置式多通道网络磁盘阵列控制装置也克服了NAS与SAN的一些缺点，通过在控制装置中增加数据通路改变了旧有模式。但其主机通道可接入的控制装置数量有限，限制了系统的扩展性。

目前基于对象存储的接口，仅支持简单的对象读写等操作，在很多情况下(如数据库查询等)，用户需要将数据从网络上的存储设备读取到本地进行处理，而最终仅用到处理后的少量数据，这严重浪费了网络带宽。按照数据就近处理的原则，应该在附网存储设备中加入智能处理能力——操作，即将数据用操作过滤后再传输。卡内基梅隆大学的主动盘技术(Active Disk)，允许存储设备执行特定的代码，但只局限于某种应用，且不能灵活应用于各种环境。

发明内容

本发明提供一种基于对象的存储控制器及其使用的调度方法，针对现有技术的不足，充分利用设备的处理能力，减少网络数据传输操作层次和缩短I/O路径，为用户提供一个灵活的充分利用存储设备处理能力的机制。

本发明的基于对象的存储控制器OBSC(Object-Based StorageController)，包括运行控制部件、存储设备接口部件和网络接口部件，各部件之间通过总线物理连接，其中：

运行控制部件，包括通过PCI-X总线连接的中央处理器CPU、内存RAM和只读存储器EPROM，提供处理能力和运行环境以实现对象的智能处理和支持存储设备的功能扩展，对存储设备接口部件中存储设备接口和网络接口部件中的网络通道接口加以控制；

存储设备接口部件，包括一个或多个存储设备接口，用于本基于对象的存储控制器与存储设备的连接，执行面向块设备级的协议；

网络接口部件，包括一个或多个基于对象的网络通道接口，按特定的协议接收基于对象语义的用户请求和用户数据。

所述的基于对象的存储控制器，根据性能、成本，所述存储设备接口部件中的存储设备接口可以为执行面向块设备级协议的接口SCSI、FC、IDE或SATA；所述网络接口部件中的各网络通道接口可以接入同一网络或不同网络中。

所述基于对象的存储控制器所使用的调度方法，包括如下步骤：

(1)由EPROM中的启动代码将系统基本操作调入内存RAM；

(2)请求触发进程和策略触发进程并行运行，请求触发进程仅进行步骤(3)，策略触发进程仅进行步骤(4)；

(3)请求触发进程，步骤为：

(3-1)从网络接口接收用户请求包，对其进行身份验证；

(3-2)将通过验证的请求包送入请求队列排队；

(3-3)查看请求队列是否为空，如果请求队列为空，则转(3-1)，否则执行步骤(3-4)；

(3-4)按优先级依次对请求队列中的请求包依其类型进行处理：数据请求转(3-4-1)、请求注册操作转(3-4-2)、请求注册策略转(3-4-3)、请求注销操作转(3-4-4)、请求注销策略转(3-4-5)；

(3-4-1).数据请求，根据请求包中指明的操作ID触发相应的操作执行，过程如下：

A.读取用户发来的请求包，其中包含有操作ID号和对象ID号；

B.根据对象ID号通过存储设备接口部件将对象读入内存RAM中；

C.根据操作ID号进行判断，如果是系统操作，则以内存RAM中的系统操作作为输入，调度系统操作运行；否则根据操作ID在操作索引表里找到自定义操作的内存映像地址，地址如为空，则根据操作ID通过存储接口部件把自定义操作读入内存RAM，调度自定义操作运行，对对象进行操作；

D.结果通过网络接口部件返回给用户，操作运行结束，转步骤(3-3)；

(3-4-2).注册操作，将操作加入内存的操作库中，为操作分配ID号，ID号通过网络接口部件返回给用户，转步骤(3-3)；

(3-4-3)。注册策略，把策略加入内存的策略库中，为策略分配策略ID号，填写策略ID与操作ID对照表，将ID号通过网络接口部件返回给用户，转步骤(3-3)；

(3-4-4).注销操作，根据请求包中的操作ID将操作从操作库中删除，转步骤(3-3)；

(3-4-5).注销策略，根据请求包中指明的策略ID号把策略从策略库中删除，同时把策略ID与操作ID对照表中的相应表项删除，转步骤(3-3)；

(4)策略触发进程，在内存策略库中任一策略规定的条件得到满足时，执行如下过程：

(4-1).通过存储接口部件读取根对象，从根对象获取系统状态信息；根据历史访问记录读取最近一次访问对象的属性；

(4-2).从策略库中读取一个策略；

(4-3).将策略库中的策略与获取的系统状态、对象属性信息进行匹配，如果策略规定的条件满足，则通过策略ID找到对应的操作ID；

(4-4).根据操作ID号进行判断，如果是系统操作，则调度系统操作运行，否则根据操作ID号通过存储接口部件把自定义操作加载到内存RAM中并调度自定义操作运行；

(4-5).读取策略库中下一个策略，回到步骤(4)，如果策略库中所有策略都被读取过了，则完成一个轮回，延迟一段时间后回到步骤(4)，重新开始新的一轮比较。

使用本发明中基于对象的存储控制器可以组建大容量存储系统，这种系统改变了传统的数据管理方式和数据处理方式，它将传统文件系统和数据库系统中繁琐的底层数据管理移至OBSC中管理，原来由客户端应用程序承担的数据处理也部分移至OBSC中处理。本发明具有以下优点：

1.具有自治能力，可以自主管理对象的空间分配。

2.提供对象操作，可以将数据过滤后再传输，减少网络带宽需求。

3.OBSC提供的对象操作的调度方法，容易在存储系统内实现自管理功能，如自动恢复、自动负载均衡、自动热点迁移等。

附图说明

图1为本发明的结构示意图；

图2为本发明配备磁盘驱动器的实施例组成示意图；

图3为本发明所采用的对象操作的调度方法流程图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明。

图1为本发明的结构示意图。本发明基于对象的存储控制器100包含运行控制部件140、存储设备接口部件112以及OBS网络接口部件122，各部件模块之间通过总线130物理连接。

运行控制部件140具体包括通过总线130连接的中央处理器CPU 142、内存RAM 141和只读存储器EPROM 143，提供处理能力、操作运行环境与调度能力；运行控制部件对存储设备接口和网络通道接口加以控制。

存储设备接口部件112由一个或多个存储设备接口111.1～111.n构成，用于连接存储设备110.1～110.n。存储设备主要是各类的磁盘驱动器，但不限定于何种形式的存储设备。根据性能、成本存储设备接口可采用执行面向块设备级的协议的接口如SCSI、FC、IDE及SATA等。

OBS网络接口部件122由一个或多个网络通道接口121.1～121.k组成，网络通道接口可以采用相同或不同的形式，且不局限于任何网络形态，各网络通道接口可以接入同一网络或不同网络中，按特定的协议通过网络通道120.1～120.k直接接受用户基于对象的数据请求。

图2为本发明配备磁盘驱动器的实施例组成示意图。存储设备接口模块中111.1和111.2由两块LSI公司的LSI53C1010 SCSI-PCI适配卡构成，适配卡控制的SCSI通道110.1、110.2、110.3和110.4上挂接多个SCSI硬盘驱动器，形成磁盘串。本实施例里每串挂接2个SCSI硬盘，型号为磁盘型号ST173404LC，其SCSI ID号分别设置为1和2。OBS网络接口部件122中的网络接口采用一块千兆以太网卡SK9822。运行控制部件140包括CPU142(PIII866)、内存RAM141(128MByte)和只读存储器EPROM143(4MByte)。EPROM中固化存放本控制器的控制程序。CPU提供了所需处理能力为操作的运行提供支持，RAM提供控制程序运行空间以及对象读写所需缓存(Buffer)空间。上述4部分模块通过总线130相连。

本发明运行控制部件的核心是对象操作的调度方法，首先对OBSC中的对象操作作一些描述。

OBSC为实现可扩展的操作，允许外界自定义对象操作。传统操作(读写对象数据，读写对象属性等)作为系统操作出现，并在OBSC运行时常驻内存。外界可通过注册的方式，将自定义的对象操作上载到OBSC的操作库中，该对象操作不再使用时通过注销的方式从OBSC中删除。

OBSC把操作作为一种特殊的对象(即操作对象)进行存储，以操作ID(IDentification)号识别，外界用户通过操作ID号使用操作。系统操作是最基本的操作，其操作ID号以标准的形式定义，为外界所熟知；而自定义操作仅对注册该操作的用户有效。用户注册操作后，OBSC把操作作为一种对象存储到对象库中，为操作分配操作ID号，并把操作ID号返回给用户，其后用户通过返回的操作ID号使用操作。

操作的调度执行有两种触发时机：一种是请求触发执行，另外一种是策略触发执行。请求触发执行指的是OBSC收到外界(客户端和元数据服务器)发来的请求包而引起操作的执行。请求包中指明了对象ID及对其实施操作的操作ID，OBSC根据请求包的指示自动调用操作对指定的对象进行操作。策略触发执行即条件触发执行，策略规定了一组条件(类似于C语言的判断语句集合)，并与一个或多个操作关联，当条件满足时OBSC自动调用策略对应的操作执行。欲使操作在OBSC中以策略触发方式自动运行，外界用户可单独为操作注册一个策略；也可在注册操作的同时为操作联系一个策略。当新加入一个策略时，OBSC把它加入到策略库中，为该策略指定一个策略ID，并将策略与其对应的操作联系起来，加入策略ID与操作ID对照表。策略触发执行可实现操作的自动执行，是实现自管理的基础，例如，可将自动热点数据迁移、自动备份、自动对象预取等操作用策略触发的机制自动运行，从而实现各种扩展功能。如对于热点迁移，规定策略为：“If(任一对象的访问次数大于某阀值)then进行热点迁移”，于是策略触发模块在搜集“对象的访问次数”这一对象属性时，如果发现该判断语句成立，则立即调用“热点迁移操作”投入运行，将该对象进行热点迁移。

下面结合图3描述操作对象调度的具体过程。

在OBSC加电启动后，系统从EPROM中的启动代码开始执行，对系统进行初始化，由启动代码把系统操作调入内存RAM，并启动请求触发进程和策略触发进程。

请求触发进程从网络接口接收用户请求包，并对其进行身份验证，将通过验证的请求包送入队列排队。然后按优先级依次对队列中的请求包进行处理。如果队列为空，则等待网络接口部件接收新的用户请求。处理请求包时，根据请求包的不同类型进行相应处理：

1.如果请求包是数据请求包，则根据请求包中指明的操作ID触发相应的操作执行(请求触发执行)，过程如下：

A.读取用户发来的请求包，其中包含有操作的ID号和对象ID号；

B.根据对象ID号通过存储设备接口部件将对象读入内存RAM中；

C.根据操作ID号判断操作是否是系统操作，如果是，则以内存RAM中的对象作为输入，调度系统操作运行；

D.如果是自定义操作，则根据操作ID在操作索引表里找到操作的内存映像地址。地址如为空，表明操作没有加载，此时根据操作ID通过存储接口部件把操作读入内存RAM，调度自定义操作运行，对对象进行操作；

E.将结果通过网络接口部件返回给用户，操作运行结束。

2.如果请求包请求注册操作，则将操作加入操作库中，并为操作分配ID号，把ID号通过网络接口部件返回给用户。

3.如果请求包请求注册策略，则把策略加入策略库中，并为策略分配策略ID号，将ID号通过网络接口部件返回给用户。

4.如果请求包请求注销操作，则根据请求包中的操作ID将操作从操作库中删除。

5.如果请求包请求注销策略，则根据请求包中指明的策略ID号把策略从策略库中删除，同时把策略ID与操作ID对照表中的相应表项删除。

策略触发进程则在满足一定条件的情况下调用相应的操作执行(策略触发执行)，过程如下：

1.通过存储接口部件读取根对象，从根对象获取系统状态信息；根据历史访问记录读取最近一次访问对象的属性；

2.从策略库中读取一个策略；

3.将策略库中的策略与获取的系统状态、对象属性信息进行匹配，如果策略规定的条件满足，则通过策略ID找到对应的操作ID；

4.根据操作ID号判断是否是系统操作，如果是，则调度系统操作运行，否则根据操作ID号通过存储接口部件把自定义操作加载到内存RAM中并调度自定义操作运行；

5.读取策略库中下一个策略，回到1，如果策略库中所有策略都被读取过了，则完成一个轮回，延迟一段时间后回到1，重新开始新的一轮比较。

Claims (3)

1.一种基于对象的存储控制器，包括运行控制部件、存储设备接口部件和网络接口部件，各部件之间通过总线物理连接，其中：

运行控制部件，包括通过PCI-X总线连接的中央处理器CPU、内存RAM和只读存储器EPROM，提供处理能力和运行环境以实现对象的智能处理和支持存储设备的功能扩展，对存储设备接口部件中存储设备接口和网络接口部件中的网络通道接口加以控制；

存储设备接口部件，包括一个或多个存储设备接口，用于本基于对象的存储控制器与存储设备的连接，执行面向块设备级的协议；

网络接口部件，包括一个或多个基于对象的网络通道接口，按特定的协议接收基于对象语义的用户请求和用户数据。

2.如权利要求1所述的基于对象的存储控制器，其特征在于所述存储设备接口部件中的存储设备接口为执行面向块设备级协议的接口SCSI、FC、IDE或SATA；所述网络接口部件中的各网络通道接口可以接入同一网络或不同网络中。

3.权利要求1或2所述的基于对象的存储控制器所使用的调度方法，包括如下步骤：

(1)由EPROM中的启动代码将系统基本操作调入内存RAM；

(2)请求触发进程和策略触发进程并行运行，请求触发进程仅进行步骤(3)，策略触发进程仅进行步骤(4)；

(3)请求触发进程，步骤为：

(3-1)从网络接口接收用户请求包，对其进行身份验证；

(3-2)将通过验证的请求包送入请求队列排队；

(3-3)查看请求队列是否为空，如果请求队列为空，则转(3-1)，否则执行步骤(3-4)；

(3-4)按优先级依次对请求队列中的请求包依其类型进行处理：数据请求转(3-4-1)、请求注册操作转(3-4-2)、请求注册策略转(3-4-3)、请求注销操作转(3-4-4)、请求注销策略转(3-4-5)；

(3-4-1).数据请求，根据请求包中指明的操作ID触发相应的操作执行，过程如下：

A.读取用户发来的请求包，其中包含有操作ID号和对象ID号；

B.根据对象ID号通过存储设备接口部件将对象读入内存RAM中；

C.根据操作ID号进行判断，如果是系统操作，则以内存RAM中的系统操作作为输入，调度系统操作运行；否则根据操作ID在操作索引表里找到自定义操作的内存映像地址，地址如为空，则根据操作ID通过存储接口部件把自定义操作读入内存RAM，调度自定义操作运行，对对象进行操作；

D.结果通过网络接口部件返回给用户，操作运行结束，转步骤(3-3)；

(3-4-2).注册操作，将操作加入内存的操作库中，为操作分配操作ID号，操作ID号通过网络接口部件返回给用户，转步骤(3-3)；

(3-4-3).注册策略，把策略加入内存的策略库中，为策略分配策略ID号，填写策略ID与操作ID对照表，将策略ID号通过网络接口部件返回给用户，转步骤(3-3)；

(3-4-4).注销操作，根据请求包中的操作ID将操作从操作库中删除，转步骤(3-3)；

(3-4-5).注销策略，根据请求包中指明的策略ID号把策略从策略库中删除，同时把策略ID与操作ID对照表中的相应表项删除，转步骤(3-3)；

(4)策略触发进程，在内存策略库中任一策略规定的条件得到满足时，执行如下过程：

(4-1).通过存储接口部件读取根对象，从根对象获取系统状态信息；根据历史访问记录读取最近一次访问对象的属性；

(4-2).从策略库中读取一个策略；

(4-3).将策略库中的策略与获取的系统状态、对象属性信息进行匹配，如果策略规定的条件满足，则通过策略ID找到对应的操作ID；

(4-4).根据操作ID号进行判断，如果是系统操作，则调度系统操作运行，否则根据操作ID号通过存储接口部件把自定义操作加载到内存RAM中并调度自定义操作运行；

(4-5).读取策略库中下一个策略，回到步骤(4)，如果策略库中所有策略都被读取过了，则完成一个轮回，延迟一段时间后回到步骤(4)，重新开始新的一轮比较。

Images