CN1664791A - 一种虚拟存储模型及其方法 - Google Patents

Abstract

本发明涉及一种虚拟存储模型及其方法，包括存储协议处理模块、虚拟存储空间、物理资源组模块和资源映射模块，所述虚拟存储空间包括逻辑基，所述逻辑基由逻辑基资源处理模块和逻辑基语义处理模块组成，数据访问依次通过所述存储协议处理模块、所述逻辑基资源处理模块、所述逻辑基语义处理模块和与所述物理资源组模块相连的所述资源映射模块，实现对各种属性数据的支持和标准化的接口；本发明提供的虚拟存储模型及其方法采用标准读/写接口，通过不同的逻辑基来描述和支持不同的数据属性和系统功能，实现模块化功能扩展，无需扩展接口协议，无需改变接口，提高了存储服务虚拟化的通用性，和数据的存取效率、海量信息的查询速度、节约了网络资源。

Description

一种虚拟存储模型及其方法

技术领域

本发明涉及信息存储领域，尤其涉及一种虚拟存储模型及其方法。

背景技术

虚拟存储技术在信息技术领域里的应用非常普遍，而且形式多种多样。目前，虚拟存储技术大致可以划分为以下三类：1)基于存储设备的虚拟化，主要包括将一个物理设备虚拟成为多个逻辑存储设备(如分区)和将多个物理存储设备虚拟成为一个逻辑存储设备(如RAID)，这种虚拟化技术在存储设备中，特别在高端存储阵列设备中已被广泛支持；2)基于服务器端的虚拟化，也就是基于主机的虚拟化，主要的方式包括基于主机的逻辑单元设备号(LUN)掩码过滤器，基于元数据控制器的存储设备定向，专门的虚拟引擎，特定的存储域服务器等，这种虚拟化技术正处于多样化发展阶段；3)基于网络设备的虚拟化，主要包括在网络设备中嵌入虚拟存储管理软件，完成存储管理，并对主机端提供虚拟存储访问；在设备底层虚拟网络连接，从而实现链路虚拟，通过Zoning等安全功能，完成网络存储的作用。

现有产品中的虚拟存储技术都是对于存储设备的虚拟化，其本质上是对存储设备结构的封装。

从学术研究方面，主要的网络存储设备研究可分为：1)网络安全磁盘，CMU的NASD(Network Attached Secure Disk)是一个较早提出的磁盘系统，美国国家存储工业委员会NSIC(National Storage IndustryConsortium)提出的OSD(Object-Based Storage Device)模型就是基于NASD，这些系统的研究重点是存储设备的功能及其接口协议，NASD提供给用户的不是磁盘块接口，而是磁盘对象接口，在多数情况下，磁盘对象都是对应着文件，一个磁盘对象可以有许多由磁盘系统管理的属性，其中包括大小、各种时间等。

2)活跃磁盘设备(Active Disk)，活跃磁盘的目标是研究和设计一个分布式的系统结构，在利用磁盘内部的CPU和内存资源的基础上，使得应用程序的一部分可以动态地下载到磁盘中去并在磁盘的运行环境中执行，其结果不仅充分地利用了磁盘的处理能力，一定程度上有效地减弱了由于存储容量的不断增长所产生的CPU处理能力增速相对缓慢的矛盾，与此同时，由于磁盘内嵌入式CPU的有效使用，大大降低了对于I/O带宽的要求。

以上两个研究都是面向特殊的应用领域，如扫描算法的各种应用、数据库内的选择操作、并行排序以及图像处理等，但由于不提供统一、通用的接口，从而并不能够满足一般的应用。

3)智能磁盘设备(Intelligent Disk)，与活跃磁盘不同，智能磁盘对于磁盘的CPU能力、内存容量、磁盘间的通讯带宽都有更高的要求。与此相应，智能磁盘除了针对数据库、决策支持系统之外，还面向更为广泛的应用，其中包括降低数据写延迟、软件RAID的实现、系统自动配置等。尽管如此，智能磁盘也不提供统一、通用的接口，从而很难满足一般的应用。

在上述三类存储技术的学术研究中，一定程度上实现了将存储服务虚拟化。NASD和OSD等主要将一些固定的磁盘管理功能嵌入到磁盘内部，从而为应用提供更为固定的、通用的、高级的磁盘接口，但与目前的磁盘块设备接口协议不兼容。活跃磁盘和智能磁盘技术的共同特点是为其特定的应用提供极为有效的支持，但不具有通用的接口协议。随着对于存储系统需求的多样化及存储设备的智能化，存储服务的虚拟化成为虚拟存储技术发展的趋势，上述项目没有对存储服务的虚拟化给出通用、兼容的解决方案。

文中“背景技术中介绍的三类存储技术本质上是对存储设备结构的封装”，这三种技术的共同缺点是无法提供通用、兼容的接口。

发明内容

本发明所要解决的技术问题是提供一种虚拟存储模型及其方法，提高存储服务虚拟化的通用性，向外提供统一的标准接口，提高了数据的存取效率、海量信息的查询速度、节约了网络资源。

为解决上述技术问题，本发明提供一种虚拟存储模型，包括一存储协议处理模块、虚拟存储空间、物理资源组模块和资源映射模块，所述虚拟存储空间包括逻辑基(Base)，所述逻辑基由逻辑基资源处理模块和逻辑基语义处理模块组成，数据访问依次通过所述存储协议处理模块、所述逻辑基资源处理模块、所述逻辑基语义处理模块和与所述物理资源组模块相连的所述资源映射模块，实现对各种属性数据的支持和标准化的接口；其中：

所述存储协议处理模块用于数据属性的识别、逻辑基信息的添加/删除；将应用方(用户或应用服务器)指令信息切换到相应的所述逻辑基中进行处理；

所述虚拟存储空间用于表征与用户有关的逻辑范畴，定义对逻辑资源所实施操作的逻辑语义，在设备上创建和维护逻辑资源与物理资源映射表；

所述逻辑基资源处理模块用于提取除逻辑基地址信息外的信息，根据接口语义解释出基本的读/写操作；

所述逻辑基语义处理模块用于解析应用方指令，调用相关物理设备执行数据访问；

所述物理资源组模块用于实现逻辑资源和物理资源之间的有机联系；

所述资源映射模块用于完成逻辑资源到物理资源的映射。

在上述方案中，所述虚拟存储模型通过多个所述逻辑基支持各种属性数据，一个所述逻辑基对应一种属性数据。

在上述方案中，所述语义处理模块包括缓存策略和预读策略。

在上述方案中，所述虚拟存储空间还包括实现不同功能的辅助模块，所述辅助模块包括基间关联处理模块、缓存处理模块、数据预读模块和数据支持模块。

在上述方案中，多个所述逻辑基中，所述逻辑基资源处理模块都相同，所述逻辑基语义处理模块不同；多个所述逻辑基之间都过基间关联处理模块进行连接和数据处理。

在上述方案中，所述逻辑资源与物理资源映射表(BRD映射表)记录逻辑资源与物理资源的映射关系，以文件或系统内存结构或系统外部缓存等形式存在。

本发明还提供一种虚拟存储方法，包括以下步骤：

a)根据数据属性确定逻辑基及相关处理模块；

b)从系统管理台下载逻辑基支持库软件，添加逻辑基；或从存储设备上删除逻辑基支持库软件，删除逻辑基；

c)当虚拟存储空间配置时根据虚拟存储空间中资源的配置信息，在设备上创建BRD映射表，确定虚拟存储空间中逻辑资源到物理资源的映射关系；通过在BRD映射表中添加逻辑基信息，从而完成逻辑基向虚拟存储空间中的添加，当使用时，可根据BRD映射表的信息将逻辑基支持库软件加载到设备的系统中；或将设备系统中卸载逻辑基所对应的软件，从BRD映射表中删除逻辑基信息，从而完成逻辑基从虚拟存储空间中的删除；

d)应用方发出读/写指令，附加/删除逻辑基信息；

e)接到读取信息后，设备系统根据附加的逻辑基地址信息，调用相应的逻辑基处理程序(逻辑基支持库软件的实例)，即根据应用方指令分配到相应的逻辑基进行处理；

f)逻辑基接收到的信息经过信息提取，截取逻辑基地址外的信息，从BRD映射表中(或根据BRD映射表所生成的内存结构中)获取该逻辑地址所对应的物理资源信息，而后根据接口语义解释出基本的读/写操作，即完成逻辑资源处理；

g)进行逻辑基语义解析，解析应用方指令；

h)根据经过解析的应用方指令，对相应的物理设备执行数据访问。

在上述方案中，步骤a)确定接口读/写操作的含义、确定语义处理的含义及相应的处理函数，生成相应的逻辑基支持库；依不同的需要完成基间关联处理、缓存管理等模块。

在上述方案中，步骤c)通过修改BRD映射表，新添加的逻辑基信息记录在所述BRD映射表中；在所述BRD映射表中添加/删除逻辑基信息，从而实现逻辑基在虚拟存储空间中的添加/删除。

在上述方案中，步骤e)通过解析逻辑基地址信息，从而确定所需调用的逻辑基处理函数从而实现具有特殊语义处理的读写操作。

由上可知，本发明提供的虚拟存储模型及其方法采用标准读/写接口，通过不同的逻辑基来描述和支持不同的数据属性和系统功能，实现模块化功能扩展，无需扩展接口协议，无需改变接口，提高了存储服务虚拟化的通用性，提高了数据的存取效率、海量信息的查询速度、节约了网络资源。

附图说明

图1为本发明虚拟存储模型结构示意图；

图2为本发明实施例中的虚拟存储模型结构示意图；

图3为本发明实施例中的逻辑资源到物理资源映射关系示意图；

图4为本发明实施例中的虚拟存储方法流程图。

具体实施方式

下面结合附图详细说明本发明的技术方案。

如图1和2所示，存储模型1由存储协议处理模块2和虚拟存储空间3组成；其中，虚拟存储空间3由管理基31、MPEG基32、目录基33、查询基34、基间关联处理35、缓存管理36、数据预读37、资源映射38、物理资源组39和数据库支持40组成；管理基31、MPEG基32、目录基33、查询基34统称为逻辑基6，每个逻辑基都包括逻辑基资源处理模块61和逻辑基语义处理模块62，即管理基31包括第一逻辑基资源处理51和第一逻辑基语义处理52；MPEG基32包括第二逻辑基资源处理53和第二逻辑基语义处理54；目录基33包括第三逻辑基资源处理55和第三逻辑基语义处理56；查询基34包括第四逻辑基资源处理57和第四逻辑基语义处理58。

其中，逻辑基6是具有相同属性数据或功能的语义描述和相关系列操作定义的总和，功能上分为逻辑基资源处理模块61和逻辑基语义处理模块62两部分，其中逻辑基资源处理模块61是不同逻辑基间具有共性的部分，而逻辑基语义处理模块62是区分不同类型逻辑基的一个重要标志；逻辑基资源处理模块61用于提取除逻辑基地址信息外的信息，根据接口语义解释出基本的读/写操作；逻辑基语义处理模块62用于解析应用方指令，驱动相关物理设备执行数据访问；逻辑基语义处理模块62包括缓存策略、预读策略等内容。逻辑基6可以描述的数据属性和系统功能是非常广泛的，基本上可以认为能够用Read/Write(读/写)操作作为接口指令的数据属性处理和系统功能均适合采用逻辑基的形式加以描述。如图1所示，逻辑资源的请求和释放可以定义为一个管理基31，对管理基31的Read(i，*)操作表示请求i个资源；对管理基31的Write(i，*)操作表示释放i个资源；信息的查询可定义为一个查询基34，对查询基34的Write(i，*)操作，含义是在会话i的环境中查询；Read(i，*)操作含义是读取会话i中查询的结果。MPEG基32和目录基33的读写也同样遵守上述标准接口。另外，在接口统一(与上述接口)的前提下，根据上述方式可以按照需求的不同构成其他语义的逻辑基，而逻辑基的实现是通过编写相应的逻辑基支持库软件来完成的。

虚拟存储空间3是共享相同物理资源的一组逻辑资源基及相关辅助功能模块的总和，其功能主要是用于表征与用户有关的逻辑范畴，用户对逻辑资源所实施操作的逻辑语义也由虚拟存储空间定义，而于虚拟存储空间配置时在设备上创建的BRD映射表是保持虚拟存储空间存在的重要手段，BRD映射表在虚拟存储空间的使用过程中可以进行修改(在一定范围内改变逻辑基的添加/删除、逻辑资源到物理资源映射关系)。

物理资源组模块39是一组共享相同物理特性的物理资源，其功能是实现逻辑资源和物理资源之间的有机联系，例如实现locality(局部性)。

存储协议处理模块2主要完成数据属性的识别、逻辑基信息的添加/删除，将应用方指令信息切换到相应的逻辑基中进行处理。

资源映射模块38主要完成逻辑资源到物理资源的映射，例如在块设备中，资源映射模块将应用方请求读写的逻辑块映射到物理资源组所记录的物理块上。

在本发明中，可根据所需功能的不同可以在存储模型中添加各种辅助模块。如图2中所示，存储模型中可选择的部分有基间关联处理35、缓存管理36、数据预读37和数据库支持40，其中基间关联处理模块完成不同逻辑基之间的协同或协调处理，缓存管理和数据预读模块分别为逻辑基的缓存策略和数据预读策略提供底层支持，而数据库支持模块是逻辑基与数据库之间的接口。

在存储模型功能实现过程中，一个重要的信息传递手段就是采用逻辑资源与物理资源映射表(BRD映射表)，表中记录内容的示意如图3，记录了存储设备内部逻辑资源与存储设备映射关系，其存在形式可以是文本文件、系统内存结构、系统外部缓存等。BRD映射表是在虚拟存储空间配置过程中，依据配置信息(逻辑资源量大小、映射粒度、物理设备信息)在设备上以系统文件或数据库表等形式被创建，它存放于特定的系统目录中(可永久保存的物理介质上)，通过添加删除其中的记录来实现其修改，根据BRD映射表完成资源映射的可以多种方式，典型的方式可以分为静态映射方式和动态映射方式，其中静态映射方式的含义，以块设备为例，逻辑资源块到物理资源块的映射在虚拟存储空间配置过程中就已确定，在虚拟存储空间被读写访问时只是对这些映射关系的检索查找，其变化只能通过对逻辑基资源量的增加和减少来完成；而动态映射方式的含义，同样以块设备为例，逻辑资源块到物理资源块的映射在虚拟存储空间配置过程中并不确定，而只有在有真正读写访问时才被确定下来(需要记录在物理介质上便于保存，这些映射关系在某些外部条件允许的情况下(例如文件系统可释放逻辑资源)可以被删除，同时不改变虚拟存储空间和逻辑基的外部特性等前提下，例如大小等)。另外，在虚拟存储空间被激活后，BRD映射表中的信息可以部分或全部cache在系统内存中以便于快速查找。

存储模型本身体现了对多种数据属性支持的模块化结构特点，同时指出应用方访问各类数据的接口是标准化，即采用标准的通讯协议和读写接口，这意味着在存储设备中是否支持对某种数据属性的特殊处理在存储模型中的体现只是逻辑基的添加和删除。

下面结合图4详细说明本发明的虚拟存储方法：

如图4所示，一种虚拟存储方法包括以下步骤：

步骤100，根据数据属性确定逻辑基及相关处理模块；在步骤100)中，确定接口读/写操作的含义、确定语义处理的含义及相应的处理函数，生成相应的逻辑基支持库；依不同的需要完成基间关联处理、缓存管理等模块。

步骤110，从系统管理台下载逻辑基支持库软件，添加逻辑基；或从存储设备上删除逻辑基支持库软件，删除逻辑基；

步骤120，根据虚拟存储空间中资源的配置信息，在虚拟存储空间配置过程中，在设备上创建逻辑资源与物理资源映射表(BRD映射表)，确定虚拟存储空间中逻辑资源到物理资源的映射关系(例如块设备中的逻辑块到物理块的映射关系)；步骤120中，采用不同的逻辑资源分配方式对逻辑资源与物理资源映射表(BRD映射表)的维护形式也不同。步骤120)中，通过修改逻辑资源与物理资源映射表(BRD映射表)，新添加的逻辑基信息记录在所述逻辑资源与物理资源映射表(BRD映射表)中，从而将逻辑基添加到虚拟存储空间中；从所述逻辑资源与物理资源映射表(BRD映射表)中删除逻辑基信息，将逻辑基从虚拟存储空间中删除。

步骤130，应用方发出读/写指令，附加/删除逻辑基信息；在步骤130中，应用方(用户文件系统和应用服务器)发出读/写操作指令时需要附加相应逻辑基信息，以备相应的逻辑基进行有效处理；物理设备响应应用方的操作指令回传应用方所需信息时，需要将相应的逻辑基信息删除。

步骤140，接到读取信息后，根据附加的逻辑基地址信息，调用相应的逻辑基处理函数，即根据应用方指令分配到相应的逻辑基进行处理；

步骤150，逻辑基接收到的信息经过信息提取，截取逻辑基地址外的信息，根据接口语义解释出基本的读/写操作，即逻辑资源处理；

步骤160，进行逻辑基语义解析，解析出应用方指令；其中语义解析包括缓存策略的具体实施步骤、预读处理方法管理，以及调取基间关联处理等。

步骤170，根据解析出的应用方指令，相应的物理设备执行数据访问。

在上述方法中，步骤130在应用方的文件系统不支持多种数据属性的情况，或者虚拟存储空间中含有至少两个逻辑基的情况下是必须的。

本发明提供的虚拟存储方法可通过步骤100和步骤120来配置虚拟存储空间，通过步骤110和步骤120扩展或缩小虚拟存储空间，通过步骤130-步骤170保存和访问数据。

综上所述，本发明的先进性及价值在于其对各种属性数据的支持、接口的标准化，以及功能的扩展采用模块化方式。对多种数据属性的支持包括对多种文件属性数据的支持，例如对MPEG数据、HTML数据以及Email数据等加以支持。由于这些数据的语义是不同的，比如它们在缓存需求、预读处理和访问特性等方面是完全不同的，因此需要在设备一级给予不同的支持。同时，对多种数据属性的支持也包括对多种系统功能的支持，例如对系统查询功能的支持；接口的标准化是指用户在访问存储设备时所需使用的操作是标准的读/写操作，而无需扩展接口协议；所谓对功能扩展采用模块化方式是指本方法在设备内部构建一个框架，用户如需增加功能可通过往设备控制台中下载预先编制好的软件包，或将自己预定义支持功能语义的实现软件加载到设备中即可达到目的，而无需改变接口，提高了存储服务虚拟化的通用性。

此外，本发明无论在数据的存取效率、海量信息的查询速度，以及由此而带来的对于网络资源的节约都将产生本质性提高。

Claims (10)

1、一种虚拟存储模型，其特征在于包括一存储协议处理模块、虚拟存储空间、物理资源组模块和资源映射模块，所述虚拟存储空间包括逻辑基，所述逻辑基由逻辑基资源处理模块和逻辑基语义处理模块组成，数据访问依次通过所述存储协议处理模块、所述逻辑基资源处理模块、所述逻辑基语义处理模块和与所述物理资源组模块相连的所述资源映射模块，实现对各种属性数据的支持和标准化的接口；其中：

所述存储协议处理模块用于数据属性的识别、逻辑基信息的添加/删除；将应用方指令信息切换到相应的所述逻辑基中进行处理；

所述虚拟存储空间用于表征与用户有关的逻辑范畴，定义对逻辑资源所实施操作的逻辑语义，在系统的目录下，创建和维护记录逻辑资源与物理资源映射关系的映射表文件，或数据库表；

所述逻辑基资源处理模块用于提取除逻辑基地址信息外的信息，根据接口语义解释出基本的读/写操作；

所述逻辑基语义处理模块用于解析应用方指令，调用相关物理设备执行数据访问；

所述物理资源组模块用于实现逻辑资源和物理资源之间的有机联系；

所述资源映射模块用于完成逻辑资源到物理资源的映射。

2、如权利要求1所述的虚拟存储模型，其特征在于，所述虚拟存储模型通过多个所述逻辑基支持各种属性数据，一个所述逻辑基对应一种属性数据。

3、如权利要求1所述的虚拟存储模型，其特征在于，所述语义处理模块包括缓存策略和预读策略。

4、如权利要求1所述的虚拟存储模型，其特征在于，所述虚拟存储空间还包括实现不同功能的辅助模块，所述辅助模块包括基间关联处理模块、缓存处理模块、数据预读模块和数据支持模块。

5、如权利要求1和2所述的虚拟存储模型，其特征在于，多个所述逻辑基中，所述逻辑基资源处理模块都相同，所述逻辑基语义处理模块不同；多个所述逻辑基之间都过基间关联处理模块进行连接和数据处理。

6、如权利要求1所述的虚拟存储模型，其特征在于，所述逻辑资源与物理资源映射表(BRD映射表)记录逻辑资源与物理资源的映射关系，为文本文件或系统内部进程或系统外部缓存。

7、一种虚拟存储方法，其特征在于包括以下步骤：

a)根据数据属性确定逻辑基及相关处理模块；

b)从系统管理台下载逻辑基支持库软件，添加逻辑基；或从存储设备上删除逻辑基支持库软件，删除逻辑基；

c)根据虚拟存储空间中资源的配置信息，在虚拟存储空间配置过程中，在系统特定目录下，创建记录逻辑资源与物理资源映射关系的映射表文件或数据库表，确定虚拟存储空间中逻辑资源与物理资源的映射关系；

d)应用方发出读/写指令，附加/删除逻辑基信息；

e)接到读取信息后，根据附加的逻辑基地址信息，调用相应的逻辑基处理函数，即根据应用方指令分配到相应的逻辑基进行处理；

f)逻辑基接收到的信息经过信息提取，截取逻辑基地址外的信息，根据接口语义解释出基本的读/写操作，即逻辑资源处理；

g)进行逻辑基语义解析，解析出应用方指令；

h)根据解析出的应用方指令，相应的物理设备执行数据访问。

8、如权利要求7所述的虚拟存储方法，其特征在于步骤a)中，确定接口读/写操作的含义、确定语义处理的含义及相应的处理函数，生成相应的逻辑基支持库；依不同的需要完成基间关联处理、缓存管理等模块。

9、如权利要求7所述的虚拟存储方法，其特征在于步骤c)中，通过修改逻辑资源与物理资源映射表，新添加的逻辑基信息记录在所述逻辑资源与物理资源映射表中；从所述逻辑资源与物理资源映射表中删除逻辑基信息，将逻辑基从虚拟存储空间中删除。

10、如权利要求7所述的虚拟存储方法，其特征在于步骤e)中，通过解析附加的逻辑基地址信息，从而确定所要调用的逻辑基处理函数。

Images