CN101997918A - 异构san环境中的海量存储资源按需分配的实现方法 - Google Patents

Abstract

异构SAN环境中的海量存储资源按需分配的实现方法属于存储区域网络领域，尤其涉及其中的存储虚拟化技术领域。本发明的特征在于针对SAN环境中异构的存储应用服务器和多样的存储设备，设计并实现了一个带外模式的存储虚拟化系统，并基于此系统，提出了一种基于写时分配和动态地址映射机制的海量存储资源按需分配的方法，它根据应用的实际需求来分配存储资源，动态扩展逻辑存储空间与物理存储空间的映射关系，有效提高存储资源的利用率和存储容量的可扩展性，降低存储设备的维护成本，实现即时的存储采购。

Description

异构SAN环境中的海量存储资源按需分配的实现方法

技术领域

异构SAN环境中的海量存储资源按需分配的实现方法属于存储区域网络领域，尤其涉及其中的存储虚拟化技术领域。

背景技术

随着信息技术的飞速发展，需要存储的数据容量正在迅猛增长，这就使得存储系统的规模变得越来越庞大。SAN(Storage Area Network)系统由于具有高可扩展性、高性能、超长传输距离等特性，在构建大规模存储系统中发挥着越来越重要的作用。它可以把各种存储设备连接在一起，组成统一管理的存储资源，而主机可以通过光纤或IP网络来访问这些资源。SAN系统具有良好的性能和高度的可扩展性。在这种存储体系结构中，资源的配置是不断变化的，新的设备可以不断地加入到系统中，以满足用户对存储容量或性能的需求。

存储系统的规模迅猛增长使得存储管理问题日益凸显出其重要的地位。存储虚拟化存储就是为了解决存储管理问题而出现的一种存储技术。存储虚拟化技术能够屏蔽底层物理设备的区别，给存储应用服务器提供一个统一的虚拟化存储资源视图。通过存储虚拟化系统，存储管理员能够动态调整存储资源的配置，同时虚拟化系统还能提供在线数据备份，数据镜像等功能。通过将多个物理磁盘虚拟成一个逻辑磁盘技术，它还能够提供较好的IO性能。

SAN环境中的存储虚拟化按照数据流和控制流是否同路分为带内模式的虚拟化和带外模式的虚拟化。带内虚拟化的功能部件作为I/O路径上的集中环节容易成为系统性能瓶颈，从而使带内虚拟化扩展性较差。带外虚拟化因其功能部件在I/O路径之外而不触及真正数据，故性能较高。它还因为没有在I/O路径上引入集中环节而具有较好的扩展性。带外虚拟化具有性能高和扩展性好的优点，已经成为海量存储领域的一个研究热点。

在目前的海量存储系统中，对于存储资源的分配与管理，存在着如下几个问题：

(1)存储资源的利用率低下。传统的存储资源分配方法是静态的，即按照用户的估计(往往有很大余量)，预先把存储资源划分成分区或卷分配给用户。由于应用对存储空间的需求是一个渐进增长的过程，应用在运行初期对存储的需求较少，随着运行时间的持续，对存储的需求逐渐增加。在此过程中，分配给用户的存储资源中会有很大一部分长期处于闲置状态或到最后根本未被利用，同时这些闲置的资源也无法被其它用户使用，从而造成了存储容量利用率低下。而且，为了满足系统性能和以后升级扩容等方面的要求，客户一般购买超过实际数据容量需求3～4倍的磁盘，用于磁盘镜像等附加功能，从而进一步造成了存储空间资源的极大浪费；

(2)存储设备采购及维护成本高。由于硬盘单位容量的价格随时间符合摩尔定律不断下降，所以随着时间的推移，存储价格会越来越便宜，而一次性采购大量的存储设备导致成本非常昂贵。而且，未利用的存储资源一直处于运转状态，大大浪费了场地租金、人力维护、以及能源消耗等成本；

(3)存储系统不易扩容。传统的存储虚拟化系统中，扩充逻辑卷容量对于文件系统并不透明，因此，当逻辑卷容量增加后，还须对原文件系统的元数据进行修改，使之与扩容后的逻辑卷相适应。然而，由于修改元数据时只能修改保存在磁盘中的元数据，在运行过程中已加载到内存中的元数据很难直接修改，因此，修改过元数据后，往往还要重新挂载文件系统才能生效。而且，整个扩容过程需要管理员手工干预，无法按用户需求动态调整存储空间。

为了解决异构SAN环境中海量存储资源的分配与管理问题，提高存储资源的利用率，我们设计并实现了一个带外模式的存储虚拟化系统，并基于此系统，提出了一种基于写时分配和动态地址映射机制的海量存储资源按需分配的方法，它有效提高了存储资源的利用率和存储容量的可扩展性，降低了存储设备的维护成本，实现了即时的存储采购。

发明内容

本发明的目的是提供一种异构SAN环境中海量存储资源动态分配管理的方法，以达到精简存储的目的。本项发明主要针对SAN环境中异构的存储应用服务器和多样的存储设备，设计并实现了一个带外模式的存储虚拟化系统，并基于此系统，提出了一种基于写时分配和动态地址映射机制的海量存储资源按需分配的方法。通过本方法，可以有效提高存储资源的利用率和存储容量的可扩展性，降低存储设备的维护成本，实现即时的存储采购。

本发明的特征在于，依次含有以下几个步骤：

步骤(1)，构建一个带外模式下的存储虚拟化系统：

所述带外模式下的存储虚拟化系统由客户端、元数据服务器以及存储设备组成，所述客户端和元数据服务器都通过主机总线适配器HBA连接到光纤存储区域网络SAN上，所述存储设备也通过光纤接口连接到所述光纤存储区域网络SAN上，所述元数据服务器和客户端之间通过以太网相连；

步骤(2)，步骤(1)中所述存储虚拟化系统初始化，其中：

所述元数据服务器，设有：存储空间管理模块、元数据管理模块、元数据服务器主线程模块和通信模块，其中：

存储空间管理模块，用于物理存储资源的组织和空闲存储空间的动态分配，采用写时分配机制，根据应用程序需求来动态、实时地分配物理存储空间，在存储资源中设有：物理卷、卷组以及逻辑卷三个层次，其中：

物理卷PV，对应一个物理磁盘，被分成多个物理单元，

卷组VG，由多个物理卷PV组成，每个卷组VG构成了一个存储池，在创建一个所述存储池时，按照应用需求设置：资源分配策略、包括但不限于线性分配策略和条带分配策略，存储块分配粒度、是扇区的整数倍，在一个存储池内，所述存储块分配粒度固定，在不同的存储池中则允许不相同，

逻辑卷LV，是从所述卷组VG中划分出来分配给所述客户端使用的至少一个物理卷，所述逻辑卷被分成多个逻辑单元，所述元数据服务器需将已分配的逻辑卷导出给所述客户端，客户端创建对应于所述元数据服务器的逻辑卷的逻辑设备，所述元数据服务器的逻辑卷与所述逻辑设备一一对应，之后客户端能对所述逻辑设备进行读写操作，

所述一个逻辑卷的每个逻辑单元被唯一地映射到所述一个物理卷的一个物理单元上，当一个存储设备加入到所述存储虚拟化系统中，所述存储空间管理模块便按照设定的存储块分配粒度对所述存储设备进行空间划分，加入到一个存储池中，所有的存储池构成了整个所述存储虚拟化系统的存储空间，当接收到元数据服务器主线程模块发送的所述逻辑卷的存储空间分配请求时，从存储池中动态分配一段空闲存储空间，并将分配结果回送给所述元数据服务器主线程模块，

元数据管理模块，用于组织和维护所述逻辑卷的元数据信息，从所述元数据服务主线程模块接收元数据信息，以追加写的方式保存到元数据文件中，并将所述元数据文件保存到元数据磁盘的文件系统中，所述元数据文件以存储池目录/逻辑卷名的二级目录结构的方式来组织，

所述元数据服务器主线程模块，设有元数据服务器主线程和缓存在内存中的逻辑地址和物理地址之间的映射表，起桥梁作用，负责调用所述存储空间管理模块来动态分配空闲存储空间，调用所述元数据管理模块更新元数据信息，与元数据服务器中的通信模块交互来获取映射请求报文和回复映射应答报文，所述映射请求报文包含所述逻辑设备的逻辑设备名、逻辑设备号和读写操作请求所对应的逻辑地址，所述映射应答报文包含所述逻辑设备的逻辑设备名、逻辑设备号、所述读写操作请求所对应的逻辑地址、映射到所述逻辑地址上的某一空闲物理存储空间所在的物理设备号和物理地址，

所述元数据服务器中的通信模块，与客户端中的通信模块通信，获取客户端的所述逻辑设备的映射请求报文并转发到所述元数据服务器主线程模块中，最后从所述元数据服务器主线程模块中获取映射应答报文回复给客户端，

客户端设有动态地址映射模块和通信模块，其中：

动态地址映射模块，用于所述逻辑设备逻辑地址到物理地址的映射索引和映射关系的建立，设有所述逻辑地址和物理地址之间的映射表的副本，当接收到客户端对所述逻辑设备的读写操作请求时，在所述映射表副本中查找所述逻辑设备读写操作请求对应的逻辑地址的映射关系，所述映射关系包含逻辑地址、映射到所述逻辑地址上的某一空闲物理存储空间所在的物理设备号和物理地址，如果不存在，则需要通过客户端通信模块向元数据服务器发送所述映射请求报文来获取所述映射关系，最后根据所述映射关系中的逻辑地址所映射到的物理设备号和物理地址，将所述读写操作请求发送到对应的物理设备上，

所述客户端中的通信模块，与所述元数据服务器中的通信模块通信，向所述元数据服务器中的通信模块发送所述逻辑设备的映射请求报文，并从所述元数据服务器中的通信模块中接收所述映射应答报文，最后将所述映射应答报文发送到所述动态地址映射模块中，

步骤(3)，所述客户端对所述逻辑设备进行数据写操作，步骤如下：

步骤(3.1)客户端上的应用程序对所述逻辑设备发出数据写操作请求，

步骤(3.2)所述动态地址映射模块在所述逻辑地址和物理地址之间的映射表副本中查找是否存在所述写操作请求所对应的逻辑地址的映射关系：

步骤(3.2.1)若存在，转到步骤(3.11)，

步骤(3.2.2)若不存在，则通过所述客户端中的通信模块，向元数据服务器发送映射请求报文，其中包括所述逻辑设备的逻辑设备名、逻辑设备号和所述写操作请求所对应的逻辑地址，

步骤(3.3)所述元数据服务器中的通信模块接收到映射请求报文后，向所述元数据服务器主线程模块转发所述映射请求报文，

步骤(3.4)所述元数据服务器主线程模块在所述逻辑地址与物理地址的映射表中查找是否存在所述请求映射报文中逻辑地址的映射关系：

步骤(3.4.1)若存在，转到步骤(3.8)，

步骤(3.4.2)若不存在，则调用所述存储空间管理模块，进行存储空间分配，

步骤(3.5)所述存储空间管理模块判断所述存储池中是否存在能满足所述写操作请求大小的空闲存储空间：

步骤(3.5.1)若存在，则分配一段可满足所述写操作请求大小的空闲存储空间，转到步骤(3.6)，

步骤(3.5.2)若不存在，则判断是否还存在未使用的物理磁盘：

步骤(3.5.2.1)若存在，则向所述存储池中增加物理磁盘，在线扩展所述存储池的存储容量，转到步骤(3.5)，

步骤(3.5.2.2)若不存在，则形成一项空的映射关系，表示映射失败，转到步骤(3.8)，

步骤(3.6)将所述逻辑地址映射到所述空闲存储空间的物理地址上，形成一项映射关系，并插入到所述逻辑地址与物理地址的映射表中，

步骤(3.7)所述元数据管理模块将所述映射关系更新到所述逻辑卷的元数据文件中，

步骤(3.8)将所述映射关系封装到映射应答报文方式中回复给客户端，

步骤(3.9)所述客户端中的通信模块接收到映射应答报文后，向所述动态地址映射模块转发所述映射应答报文，

步骤(3.10)所述动态地址映射模块获得所述映射应答报文后，判断映射应答报文中映射关系是否为空：

步骤(3.10.1)若为空，则此次写请求失败，返回，

步骤(3.10.2)若不为空，则把映射关系插入到所述逻辑地址与物理地址的映射表副本中，

步骤(3.11)根据映射关系中所述逻辑地址所对应的物理设备号和物理地址，将写请求中的数据发送到对应的物理设备上，返回；

步骤(4)所述客户端对所述逻辑设备进行数据读操作，步骤如下：

步骤(4.1)客户端上的应用程序对所述虚拟设备发出数据读操作请求，

步骤(4.2)所述动态地址映射模块在所述逻辑地址和物理地址之间的映射表的副本中查找是否存在所述读操作请求所对应的逻辑地址的映射关系：

步骤(4.2.1)若存在，转到步骤(4.8)，

步骤(4.2.2)若不存在，则通过所述客户端中的通信模块，向元数据服务器发送映射请求报文，其中包括所述逻辑设备的逻辑设备名、逻辑设备号和所述读操作请求所对应的逻辑地址，

步骤(4.3)所述元数据服务器通信模块接收到映射请求报文后，向所述元数据服务器主线程模块转发所述映射请求报文，

步骤(4.4)所述元数据服务器主线程模块在所述逻辑地址与物理地址的映射表中查找是否存在所述请求映射报文上逻辑地址的映射关系：

步骤(4.4.1)若存在，转到步骤(4.5)，

步骤(4.4.2)若不存在，则形成一项空的映射关系，表示映射失败，

步骤(4.5)将所述映射关系封装到映射应答报文方式中回复给客户端，

步骤(4.6)所述客户端中的通信模块接收到映射应答报文后，向所述动态地址映射模块转发所述映射应答报文，

步骤(4.7)所述动态地址映射模块获得所述映射应答报文后，判断映射应答报文中映射关系是否为空：

步骤(4.7.1)若为空，则此次读请求失败，返回，

步骤(4.7.2)若不为空，则把映射关系插入到所述逻辑地址与物理地址的映射表副本中，

步骤(4.8)根据所述映射关系中该逻辑地址所对应的物理设备号和物理地址，从所对应的物理设备中读取所请求的数据，返回；

为了解决异构SAN环境中海量存储资源的分配与管理问题，提高存储资源的利用率，我们设计并实现了一个带外模式的存储虚拟化系统，并基于此系统，提出了一种基于写时分配和动态地址映射机制、可满足动态扩展需求的海量存储资源按需分配的方法，相比于传统的存储资源分配与管理方法，它有如下优点：

(1)存储资源利用率高。当用户的实际数据需求达到预定阈值时，扩充存储池资源，这样可以减少初期投资，减少空闲存储资源，提高存储利用率，从而降低存储设备的采购成本和维护成本；

(2)存储资源采购和维护成本低。由于实现了存储资源的按需分配，存储设备的采购可以是即时的，并且节约了未利用的存储资源所消耗的维护费用；

(3)存储容量扩展性高。基于存储资源按需分配的方法，在动态扩展逻辑存储单元到物理存储单元的映射表过程中，无须修改上层文件系统的元数据，可以透明支持多种文件系统，而且整个扩容过程无需人为干预。

附图说明

图1带外模式存储虚拟化的硬件结构图。

图2带外模式存储虚拟化的软件模块图。

图3逻辑地址到物理地址的动态映射图。

图4基于按需分配技术的带外存储虚拟化软件架构图。

图5存储空间管理模块数据结构关系图。

图6写时分配和动态地址映射的程序流程图。

具体实施方式

本发明的核心是设计并实现了一个带外模式的存储虚拟化系统，并基于此系统，构造了一种基于写时分配和动态地址映射机制的海量存储资源按需分配的方法，它可以按照用户的实际存储容量需求动态、实时地分配存储资源，有效提高了海量存储资源的存储利用率和存储容量的可扩展性，降低了存储设备的维护成本，实现了即时的存储采购。带外模式下的存储虚拟化系统由客户端、元数据服务器MDS以及存储设备三部分组成，硬件结构图如图1所示。

本发明中的带外存储虚拟化系统的软件模块图如图2所示，元数据服务器包括以下几个模块：存储空间管理模块、元数据管理模块、元数据服务器主线程模块和通信模块，其中：

存储空间管理模块：存储空间管理模块主要负责物理存储资源的组织和空闲存储空间的动态分配，它将系统的存储资源划分为物理卷、卷组以及逻辑卷三个层次。物理卷对应一个物理磁盘，是存储层次划分的最底层，卷组由多个物理卷组成，是一个相对独立的存储管理单元，逻辑卷是从卷组中划分出来的分配给客户端使用的至少一个物理卷，可以在上面创建文件系统，实现读写操作。存储空间管理模块利用写时分配机制动态、实时地为应用程序分配存储空间，写时分配是指在逻辑卷创建时不预留物理存储资源，而在实际发生数据写操作时进行存储资源的分配。传统的逻辑卷一次性将所需要的物理存储空间从存储池中分配出去；而基于存储资源按需分配技术的逻辑卷则根据上层应用的实际存储需求来动态分配存储空间，当上层应用的需求达到当前存储容量阈值时，扩充逻辑卷存储容量；为了便于进行存储资源的动态分配和回收，逻辑卷在创建时需要指定它的存储空间按需分配粒度，所述存储空间按需分配粒度是存储块分配粒度的整数倍，存储资源的动态分配和回收均以存储空间按需分配粒度为单位进行，如图3所示，逻辑卷在创建时只有逻辑空间，随着用户实际存储需求的增加，动态分配物理空间，并且所分配的物理空间分布在各个物理卷上；

元数据管理模块：元数据管理模块主要负责组织和维护逻辑卷的元数据信息。传统的基于静态地址映射机制的逻辑卷将元数据信息保存在卷组中，分别分布在卷组中各物理卷的头部，各物理卷中的元数据信息互为副本；由于基于存储资源按需分配技术的逻辑卷元数据信息是不断改变的，所以需要将它保存在一个容量可变的存储区域内，元数据管理模块将逻辑卷的映射表信息作为元数据以追加写的方式保存到元数据文件中，并将元数据文件持久保存在专有的元数据磁盘的文件系统中，最后以存储池目录/逻辑卷名的二级目录结构的方式来组织元数据文件，元数据磁盘按照应用需求可配置成RAID1、RAID5等数据冗余组织方式来提高元数据的可靠性。对于每个由元数据服务器导出给客户端使用的逻辑卷，在此客户端的内核态中，保存了一份映射表信息的副本，并以B+树的数据结构来组织，用于提高动态地址映射的效率；

元数据服务器主线程模块：元数据服务器主线程模块调用存储空间管理模块来动态分配空闲存储空间，调用元数据管理模块更新元数据信息，与元数据服务器中的通信模块交互来获取映射请求报文和回复映射应答报文；

通信模块：元数据服务器中的通信模块与客户端中的通信模块通过以太网用TCP/IP协议进行通信，它将客户端的映射请求报文转发到元数据服务器主线程模块中，并将映射应答报文回复给客户端；

客户端包括动态地址映射模块和通信模块，其中：

动态地址映射模块：动态地址映射模块主要负责逻辑设备逻辑地址到物理地址的映射索引和映射关系的建立，是上层文件系统/数据库层和底层驱动之间的一个层，它从元数据服务器获取逻辑卷的配置信息，并创建相应的逻辑设备呈现给上层的文件系统或数据库，当文件系统或数据库发出对逻辑设备的I/O操作时，动态地址映射模块截获该I/O操作，把逻辑地址翻译成物理地址，然后把I/O操作发送到底层驱动。传统的逻辑卷的地址映射方式是静态的，静态地址映射是指逻辑空间和物理空间的映射关系在逻辑卷创建时就已经确定，并且在地址映射过程中不会改变；而基于存储资源按需分配技术的逻辑卷的地址映射方式是动态的，动态地址映射指逻辑空间和物理空间的映射关系不是事先确定的，而是在存储资源分配时按照实际获取的存储空间的物理地址建立映射关系，并且可以动态修改，所述动态地址映射由于地址映射的不确定性而不能采用公式化的函数地址映射，只能通过映射表的方式来管理映射信息；

通信模块：客户端的通信模块向元数据服务器的通信模块发送映射请求报文，并将获得的映射应答报文送往动态地址映射模块。

本发明中的带外存储虚拟化系统的软件模块图如图4所示，它包括如下几个关键技术实现细节：

1、存储资源管理和空闲存储空间分配

逻辑卷的结构体struct logical_volume和卷组的结构体struct volume_group是存储虚拟化系统中两个核心数据结构，其中logical_volume包含了逻辑卷的所有信息，创建、删除、修改逻辑卷的时候，都需要与此结构体交互，而volume_group包含了卷组的所有信息，包括卷组的总空间大小和剩余空间大小，以及其中的逻辑卷与物理卷结构体的链表等；

逻辑卷的结构体描述信息如下：

struct logical_volume{

    union lvid lvid；        //逻辑卷的UUID号

    char*name；              //逻辑卷名

    struct volume_group*vg； //逻辑卷所在卷组(即存储池)的指针

    uint32_t status；        //逻辑卷的当前状态(可用或不可用)

    alloc_policy_t alloc；   //逻辑卷的分配策略(线性、条带等)

    int32_t major；          //逻辑卷的主设备号

    int32_t minor；          //逻辑卷的次设备号

    uint64_t logical_size；  //逻辑卷的逻辑空间大小

    uint64_t size；          //逻辑卷的实际物理空间大小

    uint32_t le_count；      //逻辑卷的存储块个数，存储块大

                             //小为卷组中存储块分配粒度的大小

    uint64_t tpextent_size； //逻辑卷设置的存储空间按需分配粒度

                             //大小

    struct list segments；   //逻辑卷的物理区段数

    uint32_t stripes；    //逻辑卷的条带数

}；

其中，name字段是逻辑卷的卷名，major和minor字段分别代表逻辑卷的主次设备号，logical_size和size字段分别表示逻辑卷的逻辑空间大小和实际物理空间大小，对于基于静态地址映射方式的传统逻辑卷，logical_size字段值等于size字段值，而对于本发明中基于写时分配和动态地址映射机制的存储资源按需分配的逻辑卷，logcial_size字段值可能远远大于size字段值，tpextent_size字段则表示逻辑卷的存储空间按需分配粒度大小，它是存储块分配粒度大小的整数倍；

卷组的结构体描述信息如下：

struct volume_group{

   struct cmd_context*cmd；  //命令执行上下文

   uint32_t seqno；          //元数据序列号

   struct id id；            //卷组的UUID号

   char*name；               //卷组名

   uint32_t status；         //卷组状态

   uint32_t extent_size；    //卷组设置的存储块分配粒度大小

   uint32_t extent_count；   //卷组中存储块的总数量，存储块大小

                             //为存储块分配粒度的大小

   uint32_t free_count；     //卷组中空闲存储块的个数，存储块大

                             //小为存储块分配粒度的大小

   uint32_t max_lv；         //卷组中允许的最大逻辑卷个数

   uint32_t max_pv；         //卷组中允许的最大物理卷个数

   /*physical volumes*/

   uint32_t pv_count；       //卷组中物理卷个数

   struct list pvs；         //物理卷结构体链表

   /*logical volumes*/

   uint32_t lv_count；       //卷组中逻辑卷个数

   struct list lvs；         //逻辑卷结构体链表

}；

其中，extent_size字段表示卷组的存储块分配粒度大小，是在创建卷组的时候设定的，extent_count和free_count字段分别保存了卷组中存储块的总数量和剩余数量，存储块的大小即为extent_size，pvs链表和lvs链表分别链接了卷组中的所有的物理卷和所有的逻辑卷；

存储空间管理模块对存储池中的空闲存储空间进行管理，卷组与物理卷、逻辑卷以及管理空闲存储空间的数据结构关系如图5所示。create_pv_maps函数用于创建struct pv_map的链表pvms，struct pv_map结构体表示当前物理卷中的空间分配情况，alloc_tp_contiguous函数是基于写时分配和动态地址映射机制的逻辑卷按需分配存储资源的接口，它首先查询struct pv_map中的allocated_extents位图字段，获取分配所需的空闲存储空间所在的存储区域，再从area链表所链接的struct pv_area中找到所述存储区域，最后截取出所需要的存储空间。

2、元数据组织与维护

元数据管理模块将逻辑卷的映射表信息作为元数据以追加写的方式保存到元数据文件中，并将元数据文件持久保存在专有的元数据磁盘的文件系统中，最后以存储池目录/逻辑卷名的二级目录结构的方式来组织元数据文件，元数据磁盘按照应用需求可配置成RAID1、RAID5等数据冗余组织方式来提高元数据的可靠性。例如：卷组vg0和vg1中分别有一个基于存储资源按需分配技术的逻辑卷lv0和lv1，则它们的元数据文件分别为vg0/lv0和vg1/lv1，元数据文件中的每一项元数据信息格式为＜lv_offset，pv_name，pv_offset，length＞，其中lv_offset表示此段存储空间在逻辑卷逻辑地址空间的地址偏移，pv_name表示存储空间所在物理卷的卷名，pv_offset表示存储空间所在物理卷中的地址偏移，length表示此段存储空间的长度。tpmetadata_append函数是更新逻辑卷按需分配存储资源时的元数据信息的接口，它首先对逻辑卷的元数据文件加写锁，然后将元数据信息以追加写的方式写入到元数据文件的末尾，最后解锁返回。

3、客户端映射表管理

对于每个由元数据服务器导出给客户端使用的逻辑设备，在此客户端的内核态中，保存了一份映射表信息的副本，并以B+树来维护映射表副本。

客户端内核态中的逻辑设备映射表描述信息如下：

struct dm_table{

       struct mapped_device*md；            //指向内核态的逻辑设备

                                            //指针

       atomic_t holders；                   //映射表锁

       unsigned int num_targets；           //映射表项数量

       struct tp_table_private*tp_data；    //映射表内容

       unsigned int merged_targets；        //合并的存储区域数量

        int mode；                //逻辑设备的读写权限

        struct list_head devices；//映射表所用到的物理设

                                  //备

        sector_t logic_size；     //逻辑设备的逻辑空间大

                                  //小

}；

struct tp_table_private{

        rwlock_t tp_table_lock；  //B+树锁

        struct btree*tp_bt；      //B+树

}；

B+树中的每个叶子节点为一项映射信息，以逻辑地址为键值，映射表项由逻辑设备的逻辑地址，映射到某物理空间所对应的物理设备名和物理地址以及映射的存储空间大小构成。tp_table_create函数用于创建一个映射表副本；lookup_tp_target函数用于在映射表副本中查找读写操作请求所对应的逻辑地址的映射信息，它首先需要对B+树加上读锁，然后进行查找，最后解锁；add_tp_target函数用于建立一段新的存储空间映射关系，它首先调用merge_target函数用于检查新增加的存储空间区域是否可以与相邻的存储空间区域进行合并，以减少映射表副本空间开销，如果不可以合并，则调用insert_tp_target函数，将新的映射关系插入到映射表副本中。

4、写时分配和动态地址映射机制

当用户对逻辑设备的写操作请求到达地址映射的设备驱动层时，动态地址映射模块首先调用dm_table_find_tp_target函数在映射表副本中查找写操作请求所对应的逻辑地址是否已经映射到某物理地址上，如果已经映射，则直接将写请求的数据发送到逻辑地址所映射到的物理地址上；否则调用get_extent_target函数向元数据服务器发送映射请求报文，映射请求报文格式为＜lv_name，lv_uuid，lv_offset＞，其中lv_name是逻辑设备的设备名，lv_uuid是逻辑设备的UUID号，lv_offset是写操作请求的逻辑地址，元数据服务器接收到此映射请求报文后，首先调用tp_seg_exist函数查找映射请求报文中逻辑设备的逻辑地址是否已经映射到某物理地址上，因为在分布式环境中，与当前客户端共享逻辑卷的其它客户端可能已经在此逻辑地址上建立了映射关系，如果映射关系在元数据中已存在，则直接将映射关系封装到映射应答报文中，回复给客户端，映射应答报文格式为＜lv_name，lv_uuid，lv_offset，pv_uuid，pv_offset＞，其中lv_name、lv_uuid和lv_offset项与映射请求报文中相应字段相同，而pv_uuid和pv_offset项则表示映射关系中的物理设备的UUID号和物理地址；如果逻辑地址没有被映射，则调用tp_extend函数来扩充逻辑卷物理存储空间的容量大小，tp_extend调用存储空间管理模块，分配一块空闲存储空间，与逻辑地址映射，并调用元数据管理模块将映射关系写入元数据文件，同时更新映射表，最后将映射关系封装到映射应答报文中，回复给客户端。动态地址映射模块获得映射应答报文后，对映射表副本加写锁，并调用add_tp_target函数将映射关系插入到映射表副本中，使之与元数据服务器上的映射表同步，最后将用户的写操作请求发送到映射信息中相应的物理设备的物理地址上，程序流程图如图6所示。

Claims (1)

1.异构SAN环境中的海量存储资源按需分配的实现方法，其特征在于，依次含有以下几个步骤：

步骤(1)，构建一个带外模式下的存储虚拟化系统：

所述带外模式下的存储虚拟化系统由客户端、元数据服务器以及存储设备组成，所述客户端和元数据服务器都通过主机总线适配器HBA连接到光纤存储区域网络SAN上，所述存储设备也通过光纤接口连接到所述光纤存储区域网络SAN上，所述元数据服务器和客户端之间通过以太网相连；

步骤(2)，步骤(1)中所述存储虚拟化系统初始化，其中：

所述元数据服务器，设有：存储空间管理模块、元数据管理模块、元数据服务器主线程模块和通信模块，其中：

存储空间管理模块，用于物理存储资源的组织和空闲存储空间的动态分配，采用写时分配机制，根据应用程序需求来动态、实时地分配物理存储空间，在存储资源中设有：物理卷、卷组以及逻辑卷三个层次，其中：

物理卷PV，对应一个物理磁盘，被分成多个物理单元，

卷组VG，由多个物理卷PV组成，每个卷组VG构成了一个存储池，在创建一个所述存储池时，按照应用需求设置：资源分配策略、包括但不限于线性分配策略和条带分配策略，存储块分配粒度、是扇区的整数倍，在一个存储池内，所述存储块分配粒度固定，在不同的存储池中则允许不相同，

逻辑卷LV，是从所述卷组VG中划分出来分配给所述客户端使用的至少一个物理卷，所述逻辑卷被分成多个逻辑单元，所述元数据服务器需将已分配的逻辑卷导出给所述客户端，客户端创建对应于所述元数据服务器的逻辑卷的逻辑设备，所述元数据服务器的逻辑卷与所述逻辑设备一一对应，之后客户端能对所述逻辑设备进行读写操作，

所述一个逻辑卷的每个逻辑单元被唯一地映射到所述一个物理卷的一个物理单元上，当一个存储设备加入到所述存储虚拟化系统中，所述存储空间管理模块便按照设定的存储块分配粒度对所述存储设备进行空间划分，加入到一个存储池中，所有的存储池构成了整个所述存储虚拟化系统的存储空间，当接收到元数据服务器主线程模块发送的所述逻辑卷的存储空间分配请求时，从存储池中动态分配一段空闲存储空间，并将分配结果回送给所述元数据服务器主线程模块，

元数据管理模块，用于组织和维护所述逻辑卷的元数据信息，从所述元数据服务主线程模块接收元数据信息，以追加写的方式保存到元数据文件中，并将所述元数据文件保存到元数据磁盘的文件系统中，所述元数据文件以存储池目录/逻辑卷名的二级目录结构的方式来组织，

所述元数据服务器主线程模块，设有元数据服务器主线程和缓存在内存中的逻辑地址和物理地址之间的映射表，起桥梁作用，负责调用所述存储空间管理模块来动态分配空闲存储空间，调用所述元数据管理模块更新元数据信息，与元数据服务器中的通信模块交互来获取映射请求报文和回复映射应答报文，所述映射请求报文包含所述逻辑设备的逻辑设备名、逻辑设备号和读写操作请求所对应的逻辑地址，所述映射应答报文包含所述逻辑设备的逻辑设备名、逻辑设备号、所述读写操作请求所对应的逻辑地址、映射到所述逻辑地址上的某一空闲物理存储空间所在的物理设备号和物理地址，

所述元数据服务器中的通信模块，与客户端中的通信模块通信，获取客户端的所述逻辑设备的映射请求报文并转发到所述元数据服务器主线程模块中，最后从所述元数据服务器主线程模块中获取映射应答报文回复给客户端，

客户端设有动态地址映射模块和通信模块，其中：

动态地址映射模块，用于所述逻辑设备逻辑地址到物理地址的映射索引和映射关系的建立，设有所述逻辑地址和物理地址之间的映射表的副本，当接收到客户端对所述逻辑设备的读写操作请求时，在所述映射表副本中查找所述逻辑设备读写操作请求对应的逻辑地址的映射关系，所述映射关系包含所述逻辑地址、映射到所述逻辑地址上的某一空闲物理存储空间所在的物理设备号和物理地址，如果不存在，则需要通过客户端通信模块向元数据服务器发送所述映射请求报文来获取所述映射关系，最后根据所述映射关系中的逻辑地址所映射到的物理设备号和物理地址，将所述读写操作请求发送到对应的物理设备上，

所述客户端中的通信模块，与所述元数据服务器中的通信模块通信，向所述元数据服务器中的通信模块发送所述逻辑设备的映射请求报文，并从所述元数据服务器中的通信模块中接收所述映射应答报文，最后将所述映射应答报文发送到所述动态地址映射模块中，

步骤(3)，所述客户端对所述逻辑设备进行数据写操作，步骤如下：

步骤(3.1)客户端上的应用程序对所述逻辑设备发出数据写操作请求，

步骤(3.2)所述动态地址映射模块在所述逻辑地址和物理地址之间的映射表副本中查找是否存在所述写操作请求所对应的逻辑地址的映射关系：

步骤(3.2.1)若存在，转到步骤(3.11)，

步骤(3.2.2)若不存在，则通过所述客户端中的通信模块，向元数据服务器发送映射请求报文，其中包括所述逻辑设备的逻辑设备名、逻辑设备号和所述写操作请求所对应的逻辑地址，

步骤(3.3)所述元数据服务器中的通信模块接收到映射请求报文后，向所述元数据服务器主线程模块转发所述映射请求报文，

步骤(3.4)所述元数据服务器主线程模块在所述逻辑地址与物理地址的映射表中查找是否存在所述请求映射报文中逻辑地址的映射关系：

步骤(3.4.1)若存在，转到步骤(3.8)，

步骤(3.4.2)若不存在，则调用所述存储空间管理模块，进行存储空间分配，

步骤(3.5)所述存储空间管理模块判断所述存储池中是否存在能满足所述写操作请求大小的空闲存储空间：

步骤(3.5.1)若存在，则分配一段可满足所述写操作请求大小的空闲存储空间，转到步骤(3.6)，

步骤(3.5.2)若不存在，则判断是否还存在未使用的物理磁盘：

步骤(3.5.2.1)若存在，则向所述存储池中增加物理磁盘，在线扩展所述存储池的存储容量，转到步骤(3.5)，

步骤(3.5.2.2)若不存在，则形成一项空的映射关系，表示映射失败，转到步骤(3.8)，

步骤(3.6)将所述逻辑地址映射到所述空闲存储空间的物理地址上，形成一项映射关系，并插入到所述逻辑地址与物理地址的映射表中，

步骤(3.7)所述元数据管理模块将所述映射关系更新到所述逻辑卷的元数据文件中，

步骤(3.8)将所述映射关系封装到映射应答报文方式中回复给客户端，

步骤(3.9)所述客户端中的通信模块接收到映射应答报文后，向所述动态地址映射模块转发所述映射应答报文，

步骤(3.10)所述动态地址映射模块获得所述映射应答报文后，判断映射应答报文中映射关系是否为空：

步骤(3.10.1)若为空，则此次写请求失败，返回，

步骤(3.10.2)若不为空，则把映射关系插入到所述逻辑地址与物理地址的映射表副本中，

步骤(3.11)根据映射关系中所述逻辑地址所对应的物理设备号和物理地址，将写请求中的数据发送到对应的物理设备上，返回；

步骤(4)所述客户端对所述逻辑设备进行数据读操作，步骤如下：

步骤(4.1)客户端上的应用程序对所述虚拟设备发出数据读操作请求，

步骤(4.2)所述动态地址映射模块在所述逻辑地址和物理地址之间的映射表的副本中查找是否存在所述读操作请求所对应的逻辑地址的映射关系：

步骤(4.2.1)若存在，转到步骤(4.8)，

步骤(4.2.2)若不存在，则通过所述客户端中的通信模块，向元数据服务器发送映射请求报文，其中包括所述逻辑设备的逻辑设备名、逻辑设备号和所述读操作请求所对应的逻辑地址，

步骤(4.3)所述元数据服务器通信模块接收到映射请求报文后，向所述元数据服务器主线程模块转发所述映射请求报文，

步骤(4.4)所述元数据服务器主线程模块在所述逻辑地址与物理地址的映射表中查找是否存在所述请求映射报文上逻辑地址的映射关系：

步骤(4.4.1)若存在，转到步骤(4.5)，

步骤(4.4.2)若不存在，则形成一项空的映射关系，表示映射失败，

步骤(4.5)将所述映射关系封装到映射应答报文方式中回复给客户端，

步骤(4.6)所述客户端中的通信模块接收到映射应答报文后，向所述动态地址映射模块转发所述映射应答报文，

步骤(4.7)所述动态地址映射模块获得所述映射应答报文后，判断映射应答报文中映射关系是否为空：

步骤(4.7.1)若为空，则此次读请求失败，返回，

步骤(4.7.2)若不为空，则把映射关系插入到所述逻辑地址与物理地址的映射表副本中，

步骤(4.8)根据所述映射关系中该逻辑地址所对应的物理设备号和物理地址，从所对应的物理设备中读取所请求的数据，返回。

Images