CN103823641A - 一种在线扩容的虚拟卷系统及其实现方法 - Google Patents

Abstract

本发明公开了一种在线扩容的虚拟卷系统及其实现方法，其中，所述实现方法包括以下步骤：将各存储设备格式化，其中，在所述格式化中，对于每一所述存储设备，将其一段空间设置为存放管理数据的管理区，其他空间格式化成大小相同的存储块；将若干存储设备组成一个存储池，所有存储设备的各存储块组成连续的逻辑地址空间；在所述存储池中，任意选取若干存储块，组成虚拟磁盘。采用上述方案，本发明能够在不中断虚拟卷系统正常存储服务的前提下，实现对存储容量和存储服务进行任意扩展，具有很高的市场应用价值。

Description

一种在线扩容的虚拟卷系统及其实现方法

技术领域

本发明涉及虚拟卷系统，尤其涉及的是，一种在线扩容的虚拟卷系统及其实现方法。

背景技术

虚拟化存储降低了存储管理的复杂度，有效地解决了底层存储设备的复杂性和多样性，使系统具备了更好的扩展性和灵活性。用户只需将存储设备添加到存储池（Pool）中并进行简单配置，就可以创建虚拟卷（VirtualVolume），而不必考虑应用了虚拟卷的系统中，单个设备的物理存储容量和存储介质的属性，从而能够方便地实现统一的存储管理。

现在的RAID（Redundant Array of Independent Disk，独立冗余磁盘阵列）一般都提供了对在线扩容（Online Capacity Expansion）的支持，即在保持系统正常运行的同时，RAID系统能够支持向已存在的驱动器组（DriveGroup）中加入新的一个或多个磁盘（Disk），从而动态扩充虚拟磁盘（VirtualDisk）的容量。因此，如何在不中断虚拟卷系统正常存储服务的前提下，实现对存储容量和存储服务进行任意扩展，是需要解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种新的在线扩容的虚拟卷系统及其实现方法。

本发明的技术方案如下：一种在线扩容的虚拟卷系统的实现方法，其包括以下步骤：将各存储设备格式化，其中，在所述格式化中，对于每一所述存储设备，将其一段空间设置为存放管理数据的管理区，其他空间格式化成大小相同的存储块；将若干存储设备组成一个存储池，所有存储设备的各存储块组成连续的逻辑地址空间；在所述存储池中，任意选取若干存储块，组成虚拟磁盘。

优选的，所述实现方法中，所述存储设备为独立冗余磁盘阵列、磁盘和/或闪存。

优选的，所述实现方法中，所述存储池包括1至32个独立冗余磁盘阵列。

优选的，所述实现方法中，所述管理数据为元数据。

优选的，所述实现方法中，所述格式化中，所述管理区的大小为16*512+32*1024*1024字节，并且，获得所述存储设备的空闲存储块的数量。

优选的，所述实现方法中，所述存储池使用数组管理其中的物理卷，使用位示图管理全部物理卷的存储块。

优选的，所述实现方法中，所述虚拟磁盘使用红黑树结构将各所述存储块作为节点进行管理。

优选的，所述实现方法还包括步骤：选择一个已经创建好的物理卷扩容到所述存储池；或者，根据预配置策略，自动选择空闲的磁盘，自动创建独立冗余磁盘阵列后创建物理卷，扩容到所述存储池；所述扩容，包括在所述存储池的所述位示图中寻找空闲的至少一存储块，将其加入到所述虚拟磁盘的红黑树结构，修改元数据写入管理区。

优选的，所述实现方法还包括步骤：释放至少一存储块，将其从所述虚拟磁盘的红黑树结构删除，修改元数据写入管理区。

本发明的又一技术方案如下：一种在线扩容的虚拟卷系统，其包括：格式化的若干存储设备，其中，每一所述存储设备，其一段空间设置为存放管理数据的管理区，其他空间格式化成大小相同的存储块；若干存储设备组成的一个存储池，其中，所有存储设备的各存储块组成连续的逻辑地址空间；以及在所述存储池中任意选取若干存储块所组成的虚拟磁盘。

采用上述方案，本发明通过设置存放管理数据的管理区以及将存储块组成连续的逻辑地址空间，从而能够在不中断虚拟卷系统正常存储服务的前提下，实现对存储容量和存储服务进行任意扩展，具有很高的市场应用价值。

附图说明

图1为本发明的一个实施例的创建物理卷结构示意图；

图2为本发明的一个实施例的红黑树结构示意图；

图3为本发明的一个实施例的扩容示意图；

图4为本发明的一个实施例的红黑树结构扩容示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以采用许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明的一个实施例是，一种在线扩容的虚拟卷系统的实现方法，其包括以下步骤：将各存储设备格式化，其中，在所述格式化中，对于每一所述存储设备，将其一段空间设置为存放管理数据的管理区，其他空间格式化成大小相同的存储块（TRUNK）；将若干存储设备组成一个存储池，所有存储设备的各存储块组成连续的逻辑地址空间；在所述存储池中，任意选取若干存储块，组成虚拟磁盘。

其中，将各存储设备格式化，即创建物理卷；存储池中包括若干个存储设备，例如，包括若干磁盘。优选的，所述管理数据为元数据。

优选的，还包括步骤：选取至少一空闲的所述存储块或者已格式化的存储设备，扩容到所述存储池。优选的，还包括步骤：选取所述存储池中至少一被选择组成虚拟磁盘的存储块或者至少一存储设备，从所述存储池中删除。例如，所述实现方法还包括以下步骤：S1，将各存储设备格式化；S2，将若干存储设备组成一个存储池，所有存储设备的各存储块组成连续的逻辑地址空间；S3，在所述存储池中，任意选取若干存储块，组成虚拟磁盘。又如，在执行中，所述实现方法还包括以下步骤：S3，在所述存储池中，任意选取具有连续的逻辑地址空间的若干存储块，组成虚拟磁盘。又如，在执行中，所述实现方法还包括以下步骤：S3，在所述存储池中，从具有连续的逻辑地址空间的各存储块中，任意选取若干存储块，组成虚拟磁盘。优选的，步骤S3之后，还执行以下步骤S4：选取至少一空闲的所述存储块或者已格式化的存储设备，扩容到所述存储池。

优选的，所述实现方法中，所述存储设备为独立冗余磁盘阵列、磁盘和/或闪存（Flash）。例如，所述存储池包括至少一个RAID。又如所述存储池包括一个或多个RAID、一个或多个磁盘、和/或一个或多个闪存；优选的，所述存储池还包括一个固态硬盘（Solid State Disk），优选的，各所述存储设备的管理区统一设置于所述固态硬盘上，此时，各存储设备的全部空间格式化成大小相同的存储块；优选的，所述存储池包括1至32个独立冗余磁盘阵列。这样，通过将每个RAID或DISK或其他物理设备进行格式化，前面一段空间用于存放管理数据，其他空间格式化成均等大小的TRUNK，然后任意个RAID可以组成一个Pool，所有RAID的TRUNK一起组成一段连续的逻辑地址空间。可以从此Pool内选取任意TRUNK用于组成VD。

优选的，所述实现方法中，所述格式化中，所述管理区的大小为16*512+32*1024*1024字节，并且，获得所述存储设备的空闲存储块的数量。例如，16*512字节用于存储所述元数据，32*1024*1024字节用于创建Pool存储信息。并且获得了所述存储设备的空闲存储块的数量，即后续可用的空闲存储块的数量。

例如，如图1所示，格式化存储设备，即创建PV，说明如下。对于一个物理存在的存储设备我们将其抽象成PV（physical volume，物理卷），首先将一个物理存储设备进行格式化，将其物理空间格式化。例如，在PV的前16个BLK（block，也就是一个块，512字节）写入元数据，然后将PV的空间大小减去16*512+32*1024*1024（后者也就是32M，这段空间可用于后面创建Pool），然后根据剩余的空间大小，将其格式化成固定大小的块，这样。就得到了当前PV的空闲块个数：free_chunk。

例如，将物理存储设备，包括RAID或Disk或Flash等，抽象为PV，并且将PV内的地址空间格式化，前面16*512+32*1024*1024的大小空间保留用于存放元数据，其他空间都格式化为大小相等的TRUNK。如图1所示，创建PV时，一部分空间作为物理卷元数据空间，用于存储该PV的元数据（PV METADATA），一部分空间作为存储池元数据空间，用于存储该PV所在存储池的元数据（POOL METADATA），其他空间则平均分为大小相等的存储块，包括TRUNK0、TRUNK1……（图1中仅显示到TRUNK4，根据实际情况可以包括许多个TRUNK）。TRUNK的大小不做限制，只需其能够实现存储池的数据存储需求即可；优选的，根据存储需求设置各存储设备TRUNK的大小及其数量。例如，物理卷元数据空间中，包括：Pv_uuid，即PV的唯一标识；Free_trunk，即空闲的TRUNK数目；Host_pool，即PV所属的pool；Pv_type，即PV所属的类型；Pv_state，即PV的状态等数据信息。

优选的，所述实现方法中，所述存储池使用数组管理其中的物理卷，使用位示图（Bitmap）管理全部物理卷的存储块；这样，Pool使用数组管理PV，使用BITMAP管理所有PV的TRUNK。优选的，所述实现方法中，所述虚拟磁盘使用红黑树（Red Black Tree，RBTREE，一种二叉树）结构将各所述存储块作为节点进行管理。

例如，创建Pool和VD如图2所示，将任意个RAID结合在一起，组成一个Pool，优选的，小于等于32个RAID结合在一起，组成一个Pool。一个Pool将几个RAID的空间组合在一起，形成一片连续的线性的地址空间。优选的，使用一个数组管理所有的PV，数组内存放指向PV数据结构的指针。优选的，使用一个Bitmap来表示当前Pool内那些TRUNK被占用，那些TRUNK没有被占用。创建VD可以从此片空间内选取任意的空闲的TRUNK来组建一个VD。例如，使用RBTREE来组织VD的数据结构，RBTREE的特性使得VD具有较高的寻址效率。这样，VD使用RBTREE，将相应的TRUNK给管理起来，每一个TRUNK就是一个RBTREE的节点，所以VD的扩容和缩减都可以抽象为对RBTREE的添加节点和删除节点操作，寻址也抽象为RBTREE节点的查找，基于RBTREE的特点，那么VD的寻址将很快而且随着VD的扩容寻址速度基本不受影响，同时VD的扩容和缩减将不会对业务，例如VD寻址等，造成任何影响。

优选的，所述实现方法还包括步骤：选择一个已经创建好的物理卷扩容到所述存储池；或者，根据预配置策略，自动选择空闲的磁盘，自动创建独立冗余磁盘阵列后创建物理卷，扩容到所述存储池；所述扩容，包括在所述存储池的所述位示图中寻找空闲的至少一存储块，将其加入到所述虚拟磁盘的红黑树结构，修改元数据写入管理区。

例如，所述实现方法还包括以下步骤：

S1，将各存储设备格式化；

S2，将若干存储设备组成一个存储池，所有存储设备的各存储块组成连续的逻辑地址空间；

S3，在所述存储池中，任意选取若干存储块，组成虚拟磁盘；

S41，选择一个已经创建好的物理卷扩容到所述存储池。或者，采用步骤S42替代上述步骤S41，步骤S42为：根据预配置策略，自动选择空闲的磁盘，自动创建独立冗余磁盘阵列后创建物理卷，扩容到所述存储池。

优选的，所述实现方法还包括步骤：释放至少一存储块，将其从所述虚拟磁盘的红黑树结构删除，修改元数据写入管理区。例如，在上述步骤S41或步骤S42之后，还执行以下步骤S5：释放至少一存储块，将其从所述虚拟磁盘的红黑树结构删除，修改元数据写入管理区。例如，写入一个总的管理区，和/或，写入相关存储设备的管理区。又如，步骤S5中，还包括释放至少一存储设备。

例如，Pool的扩容如图3所示，例如，若当前的存储容量已经使用完，空闲容量已经无法满足业务的需求，那么Pool将进行扩容。例如，还包括以下步骤：判断所述存储池中的存储容量是否低于预设值，是则自动扩容。优选的，实时判断或者周期判断所述存储池中的存储容量是否低于所述预设值；例如，判断所述存储池中的存储容量是否低于所述存储池总存储容量的5%或者10%；又如，每隔10秒或者30秒或者60秒，判断所述存储池中的存储容量是否低于所述预设值，是则自动扩容；其中，所述自动扩容，包括增加所述存储池总存储容量的10%或者20%。又如，可以手动选择一个已经创建好的PV，将其扩容到Pool当中，也可以事先配置好策略，自动选择空闲的磁盘，自动创建RAID，再创建PV进行扩容，Pool的扩容是容量的线性扩容，直接增加Pool的空闲TRUNK数目即可。由于在Pool内用一个PV数组管理相应的PV，因此只需要向PV数组内添加新的PV指针，并更新Pool容量即可，对当前业务流量无任何影响。这样，应用灵活、简单、方便。

例如，VD的扩容和缩减如图4所示，在Pool的Bitmap内寻找到空闲的TRUNK，然后将TRUNK直接加入到VD的RBTREE数据结构，更新VD的容量，重新写入元数据，使更改生效即可。VD的寻址和VD的扩容就直接抽象成了，RBTREE的查找和RBTREE的添加节点过程，这两者具有相对独立的流程，使用一个锁即可以防止两者之间的竞争。同时由于我们组织地址都是以TRUNK为单位，所以VD容量的缩减也成为一个简单的事情，只需要将相应的TRUNK释放，并且从RBTREE中除去，那么VD就完成了缩减。同样可以在线完成容量缩减，因为VD的缩减也抽象为一个RBTREE节点的释放过程。此TRUNK又可以被其他VD所使用了。

结合应用上述任一相关实施例，本发明的又一实施例如下：一种在线扩容的虚拟卷系统，其包括：格式化的若干存储设备，其中，每一所述存储设备，其一段空间设置为存放管理数据的管理区，其他空间格式化成大小相同的存储块；若干存储设备组成的一个存储池，其中，所有存储设备的各存储块组成连续的逻辑地址空间；以及在所述存储池中任意选取若干存储块所组成的虚拟磁盘。

例如，该虚拟卷系统包括具有连续逻辑地址空间的若干存储块所组成的一个存储池。又如，所述存储池包括至少一个RAID。又如所述存储池包括一个或多个RAID、一个或多个磁盘、和/或一个或多个闪存；优选的，所述存储池还包括一个固态硬盘。优选的，所述存储池包括1至32个独立冗余磁盘阵列。优选的，每一所述存储设备设置一大小为16*512+32*1024*1024字节的管理区；又如，各管理区统一设置于一个或多个存储设备中。优选的，所述虚拟磁盘使用红黑树结构将各所述存储块作为节点进行管理。

进一步地，本发明的实施例还包括，上述各实施例的各技术特征，相互组合形成的在线扩容的虚拟卷系统及其实现方法。

需要说明的是，在线扩容的虚拟卷系统及其实现方法是一种提供持续存储服务的实现方法，解决的是扩容时如何提高存储设备利用程度的技术问题，该方法通过执行计算机程序实现对存储系统内部运行性能的改进，反映的是在不中断虚拟卷系统正常存储服务的前提下，实现对存储容量和存储服务进行任意扩展，利用的是遵循自然规律的技术手段，获得存储设备的存储容量利用最大化、存储服务不中断的技术效果。因此，本发明专利申请是一种通过执行计算机程序实现计算机系统性能改进的解决方案，属于专利法第二条第二款规定的技术方案，属于专利保护的客体。

需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种在线扩容的虚拟卷系统的实现方法，其特征在于，包括以下步骤：

将各存储设备格式化，其中，在所述格式化中，对于每一所述存储设备，将其一段空间设置为存放管理数据的管理区，其他空间格式化成大小相同的存储块；

将若干存储设备组成一个存储池，所有存储设备的各存储块组成连续的逻辑地址空间；

在所述存储池中，任意选取若干存储块，组成虚拟磁盘。

2.根据权利要求1所述实现方法，其特征在于，所述存储设备为独立冗余磁盘阵列、磁盘和/或闪存。

3.根据权利要求2所述实现方法，其特征在于，所述存储池包括1至32个独立冗余磁盘阵列。

4.根据权利要求3所述实现方法，其特征在于，所述管理数据为元数据。

5.根据权利要求4所述实现方法，其特征在于，所述格式化中，所述管理区的大小为16*512+32*1024*1024字节，并且，获得所述存储设备的空闲存储块的数量。

6.根据权利要求1至5任一所述实现方法，其特征在于，所述存储池使用数组管理其中的物理卷，使用位示图管理全部物理卷的存储块。

7.根据权利要求6所述实现方法，其特征在于，所述虚拟磁盘使用红黑树结构将各所述存储块作为节点进行管理。

8.根据权利要求7所述实现方法，其特征在于，还包括步骤：选择一个已经创建好的物理卷扩容到所述存储池；或者，

根据预配置策略，自动选择空闲的磁盘，自动创建独立冗余磁盘阵列后创建物理卷，扩容到所述存储池；

所述扩容，包括在所述存储池的所述位示图中寻找空闲的至少一存储块，将其加入到所述虚拟磁盘的红黑树结构，修改元数据写入管理区。

9.根据权利要求8所述实现方法，其特征在于，还包括步骤：释放至少一存储块，将其从所述虚拟磁盘的红黑树结构删除，修改元数据写入管理区。

10.一种在线扩容的虚拟卷系统，其特征在于，包括：

格式化的若干存储设备，其中，每一所述存储设备，其一段空间设置为存放管理数据的管理区，其他空间格式化成大小相同的存储块；

若干存储设备组成的一个存储池，其中，所有存储设备的各存储块组成连续的逻辑地址空间；

以及在所述存储池中任意选取若干存储块所组成的虚拟磁盘。

Images