CN104317742B - 一种优化空间管理的自动精简配置方法 - Google Patents

Abstract

本发明公开了一种优化空间管理的自动精简配置方法，其实现过程为：将多个逻辑磁盘组成存储池；跨越多个逻辑磁盘形成逻辑卷空间；将存储池空间进行两级划分，即将逻辑磁盘空间划分为多个数据段，将每个数据段划分为多个数据块；存储池将数据段分配给逻辑卷，每个逻辑卷维护获得分配的数据段；当上层应用向逻辑卷写入数据时，逻辑卷从其维护的数据段中分配空间用于存储写入的数据；当逻辑卷维护的数据段无足够空间进行分配时，逻辑卷向存储池申请分配新的数据段。该一种优化空间管理的自动精简配置方法与现有技术相比，有效降低数据在物理磁盘中随机分布程度，同时具有较高的存储空间利用率，另外在分配存储空间时兼顾了存储设备的负载均衡。

Description

一种优化空间管理的自动精简配置方法

技术领域

本发明涉及数据存储技术领域，具体地说是一种实用性强、优化空间管理的自动精简配置方法。

背景技术

自动精简配置技术是一项新的存储空间配置管理技术。与传统存储空间管理技术相比，自动精简配置技术能够按照上层应用对存储空间的实际需求，按需分配存储资源，而非一次性地分配应用所需的全部存储资源。自动精简配置技术解决了传统存储系统存储空间利用率较低的问题，能够提高存储空间利用率，降低存储系统前期部署和运行的成本。

自动精简配置可以在逻辑卷、文件和数据块等不同粒度的层次实现，目前多数存储系统采用在数据块级进行自动精简配置，将用于自动精简的逻辑磁盘存储空间划分成相同大小的数据块，根据上层应用的需求以数据块为单位分配存储空间。如某一存储池使用自动精简配置，当在池中创建精简逻辑卷时，并不为创建的逻辑卷分配存储空间，而是在应用向逻辑卷实际写入数据时才从存储池的可用存储空间中给逻辑卷分配数据块，用于数据的存储。若某一数据块不再存储上层应用的有效数据，由上层应用下发存储空间的回收请求，存储系统将空间回收请求转换为对已经分配数据块的回收操作。

当存储系统运行一段时间后，响应上层应用的空间分配请求，下层存储池会将某些已经回收后的空闲数据块分配给新的请求，随着系统运行，空间不断进行分配和回收，最终结果就是数据在整个逻辑磁盘上的随机分布，由此带来的结果是即使上层应用顺序数据IO的操作，在下层逻辑磁盘也会转变为全盘随机的IO操作，因此影响存储系统整体性能。由此可见，当自动精简配置的数据块越大时，数据的随机性越小，但逻辑磁盘空间利用率也越低，反之当数据块越小时，数据的随机性越大，但逻辑磁盘空间利用率越高。当存储系统应用于不同场景时很难在数据随机性和空间利用率之间做出权衡。基于此，现提供一种优化空间管理的自动精简配置方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、优化空间管理的自动精简配置方法。

一种优化空间管理的自动精简配置方法，其具体实现过程为：

将多个逻辑磁盘组成存储池；跨越多个逻辑磁盘形成逻辑卷空间，即从多个逻辑磁盘的空间中为逻辑卷分配实际空间；

将存储池空间进行两级划分，即将逻辑磁盘空间划分为多个数据段，将每个数据段划分为多个数据块；

存储池将数据段分配给逻辑卷，每个逻辑卷维护获得分配的数据段；

当上层应用向逻辑卷写入数据时，逻辑卷从其维护的数据段中分配空间用于存储写入的数据；

当逻辑卷维护的数据段无足够空间进行分配时，逻辑卷向存储池申请分配新的数据段；

上述存储写入的数据以数据段为单位进行缓存，即一个数据段中的所有数据块均在系统缓存中，或均不在系统缓存中。

所述数据块分为三种状态：已分配、空闲和零索引，其中已分配数据块为已建立了与物理数据块的地址映射关系，且存储了有效数据的数据块；空闲数据块为未与物理数据块建立地址映射关系，且未存储有效数据的数据块；零索引数据块为建立了与物理数据块的地址映射关系，但不再存储有效数据，上层应用已下发回收请求的数据块。

当一个逻辑卷维护的数据段中所有的数据块均为零索引状态时，存储池将此数据段回收，该回收操作以数据段为单位进行。

所述方法在存储系统实现，该系统包括物理设备管理模块、存储池模块、逻辑卷模块、缓存模块、控制器、接口模块和高可用模块，其中：

物理设备管理模块用于管理存储系统中的物理设备，包括磁盘、磁带、SSD、RAID以及其它可用于存储的非易失性存储设备，该物理设备管理模块负责向存储池模块提供逻辑磁盘；

存储池模块用于存储系统中存储池的组织管理，包括数据段分配子模块、数据段回收子模块、存储池IO子模块和元数据管理子模块；

逻辑卷管理模块用于存储系统中的逻辑卷的组织管理，包括数据块分配子模块、数据块回收子模块、逻辑卷IO子模块和元数据管理子模块；

缓存模块以数据段为单位缓存数据；

控制器用于实现存储系统的管理控制逻辑；

接口模块管理维护存储系统的网络，向外提供存储资源接口；

高可用模块用于保证存储系统的可靠稳定运行。

本发明的一种优化空间管理的自动精简配置方法，具有以下优点：

该发明的一种优化空间管理的自动精简配置方法可以在保证逻辑磁盘空间利用率较高的情况下降低数据在逻辑磁盘上的随机性分布，提升存储系统整体性能；相比传统自动精简配置技术能够有效降低数据在物理磁盘中随机分布程度，同时具有较高的存储空间利用率，另外在分配存储空间时兼顾了存储设备的负载均衡；通过赋予数据块三种状态，有效减少了存储空间分配和回收的操作次数，实用性较强，适用范围广泛，易于推广。

附图说明

附图1为本发明的存储系统结构图。

附图2为本发明的实施例中存储池与逻辑卷空间组织示意图。

附图3为空间分配的一实施例示意图。

附图4为空间分配的另一实施例示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明提供一种优化空间管理的自动精简配置方法，如附图1所示，其具体实现过程为：

将多个逻辑磁盘组成存储池；跨越多个逻辑磁盘形成逻辑卷空间，即从多个逻辑磁盘的空间中为逻辑卷分配实际空间；

将存储池空间进行两级划分，即将逻辑磁盘空间划分为多个数据段，将每个数据段划分为多个数据块；

存储池将数据段分配给逻辑卷，每个逻辑卷维护获得分配的数据段；

当上层应用向逻辑卷写入数据时，逻辑卷从其维护的数据段中分配空间用于存储写入的数据；

当逻辑卷维护的数据段无足够空间进行分配时，逻辑卷向存储池申请分配新的数据段；

上述存储写入的数据以数据段为单位进行缓存，即一个数据段中的所有数据块均在系统缓存中，或均不在系统缓存中。

所述数据块分为三种状态：已分配、空闲和零索引，其中已分配数据块为已建立了与物理数据块的地址映射关系，且存储了有效数据的数据块；空闲数据块为未与物理数据块建立地址映射关系，且未存储有效数据的数据块；零索引数据块为建立了与物理数据块的地址映射关系，但不再存储有效数据，上层应用已下发回收请求的数据块。

当一个逻辑卷维护的数据段中所有的数据块均为零索引状态时，存储池将此数据段回收，该回收操作以数据段为单位进行。

在自动精简分配空间时，存储池以数据段为单位向逻辑卷分配空间，在逻辑卷处理写IO请求时，以数据段为单位从已分配的数据段中分配数据块用于存储写入的数据。赋予数据块三种状态，以便提高存储空间利用率，减少存储空间分配回收操作。数据段的分配需要根据逻辑磁盘设备的IO特性和容量负载情况，确定从哪个逻辑磁盘中分配数据段。在空间回收时，逻辑卷以数据块为单位进行空间回收，同时在逻辑卷内合并数据段。存储池接收逻辑卷的空间回收请求，以数据段为单位进行空间回收。

所述方法在存储系统实现，该系统包括物理设备管理模块、存储池模块、逻辑卷模块、缓存模块、控制器、接口模块和高可用模块，其中：

物理设备管理模块用于管理存储系统中的物理设备，包括磁盘、磁带、SSD、RAID以及其它可用于存储的非易失性存储设备，该物理设备管理模块负责向存储池模块提供逻辑磁盘；

存储池模块用于存储系统中存储池的组织管理，包括数据段分配子模块、数据段回收子模块、存储池IO子模块和元数据管理子模块；

逻辑卷管理模块用于存储系统中的逻辑卷的组织管理，包括数据块分配子模块、数据块回收子模块、逻辑卷IO子模块和元数据管理子模块；

缓存模块以数据段为单位缓存数据；

控制器用于实现存储系统的管理控制逻辑；

接口模块管理维护存储系统的网络，向外提供存储资源接口；

高可用模块用于保证存储系统的可靠稳定运行。

在实际操作中，存储系统的物理设备一般使用多种类型的独立磁盘，或由磁盘组成的多种类型的RAID。物理设备管理模块将独立的磁盘或RAID抽象成逻辑磁盘。存储池模块将系统中所有逻辑磁盘组织成一个虚拟的地址连续的存储空间，以数据段为单位将这连续的空间组织起来，并负责将数据段分配给逻辑卷并从逻辑卷回收数据段。逻辑卷模块主要负责具体上层数据IO的处理，并为写请求IO从逻辑卷所维护的数据段中分配数据块。当逻辑卷维护的数据段空间不足时，向存储池模块申请数据段。逻辑卷模块同时负责数据块的状态维护和回收。

此外，缓存模块使用SSD设备作为缓存，能够有效提升存储系统整体性能。在其它实施例中也可采用通常意义上的服务器作缓存。

实施例：

如图2所示为存储系统的空间组织示意图，存储池模块20中包含了3个逻辑磁盘201、202和203，逻辑卷模块21中包含逻辑卷211和212，逻辑卷211中包含数据段2111和2112，逻辑卷212中包含数据段2121、2122和2123。通过存储池以段为单位向逻辑卷分配空间，有效减少了存储池空间映射元数据信息，同时降低了元数据操作的复杂性。更重要的是，将数据以数据段大小为单位在磁盘上随机分布，数据在数据段内近似顺序存储，而不是传统自动精简配置实现方法中的以数据块为单位全磁盘分布。在逻辑卷内以数据块为单位进行空间分配，可以有效避免空间浪费，体现了自动精简配置技术降低空间利用率的优势。在建议实施例中，数据块大小为物理磁盘扇区大小的2的幂次方倍，大小为4KB-4MB，数据段大小为数据块大小的2的幂次方倍，大小为4MB-1024MB，其它实施例中也可采用不同数据段和数据块大小。

在实施例中，一种空间分配情况如附图3所示，逻辑卷312中已分配了数据段3121和3122，数据段3121中的所有数据块状态均为“已分配”，数据段3122中的数据块31221状态为“已分配”，而数据块31222、31223和31224状态为“零索引”。此时逻辑卷接收到上层IO请求需要写入2个数据块大小的数据（或者所需要写入的数据大小不足2个数据块，但比一个数据块空间在），逻辑卷通过查找已分配数据段发现在数据段3122中有足够空间存储新增数据，则将数据块31222和31223状态置为“已分配”，并向存储池发送IO请求，请求信息中包含新增数据的逻辑地址和偏移量以数据块31222和31223的索引。

在图4所示的另一实施例中，逻辑卷312中已分配了数据段3121和3122，数据段3121中的所有数据块状态均为“已分配”，数据段3122中的数据块31221、31222和31223状态为“已分配”，而数据块31224状态为“零索引”。此时逻辑卷接收到上层IO请求需要写入2个数据块大小的数据，逻辑卷通过查找已分配数据段发现无足够空间存储新增数据，则逻辑卷312向存储池30申请新的数据段。存储池30根据查找空闲数据段，并根据某种策略确定将数据段3123分配给逻辑卷312，逻辑卷获得数据段3123后，将数据段3122中的数据块31224和数据段3123中的数据块31231状态置为“已分配”，并向存储池发送IO请求，请求信息中包含新增数据的逻辑地址和偏移量以及数据块31224和31231的索引。

在建议实施例中，数据块的状态可用位图来记录，存储池将数据段组织成B+Tree结构，在B+Tree的叶子节点包含一个数据段的基本信息和数据段的物理地址，其中数据段的基本信息包括数据段中所有数据块状态的位图，同时还应包括数据段所属逻辑卷ID、数据段在逻辑卷中偏移量等。在其它实施例中，数据段的组织方式也可采用其它方式，如HASH树、HASH链表、广义数据等数据结构或文件等形式。

在建议实施例中，存储池将所有空闲数据段组织起来，以便于查找和分配。对于逻辑卷的数据段分配请求，存储池在空闲数据段按照某种策略进行选择，数据段选择策略可根据数据段所属逻辑磁盘的IO特性和容量来制定，具体考虑因素有：逻辑磁盘当前IOPS与最大IOPS的比例、当前带宽与最大带宽的比例、当前磁盘空间利用率、热点数据分布均衡性、逻辑磁盘可靠性等。通过制定数据段选择策略，均衡各逻辑磁盘的IO负载和存储空间负载。

在建议实施例中，存储池负责数据块物理地址与逻辑地址的映射关系管理，根据逻辑卷下发的IO请求，建立分配给新增数据的数据块的物理地址和上层IO包含的逻辑卷的逻辑地址的映射关系。在其它实施例中，也可由逻辑卷维护卷内所有已分配数据块的物理地址与逻辑地址的映射关系，而存储池只维护逻辑卷与数据段的分配关系。

在建议实施例中，若逻辑卷接收到上层应用下发数据块的回收请求，逻辑卷首先将需要回收的数据块状态置为“零索引”，逻辑卷在分配数据块给IO请求时，优先分配状态为“零索引”的数据块，若无零索引数据块，再分配空闲状态的数据块。

在建议实施例中，逻辑卷负责数据块的空间回收。逻辑卷中若存在这样两个数据段：数据段中存在已分配状态的数据块，数据段中已分配数据块数量占数据段所有数据块数量比例不中50%，则将这两个数据段中含有较少已分配数据块的数据段中所有已分配数据块迁移到另一数据段中，同时更新地址映射关系。此时逻辑卷向存储池发出回收数据段请求，对已分配数据块迁移出的数据段进行回收。存储池接收到数据段回收请求后，更新数据段分配关系并重置数据段，将其状态置为“空闲”，加入到空闲数据段组织中。在其它实施例中，也可将逻辑卷中多个存在零索引状态数据块的数据段进行数据迁移和空间合并，或者等待一个数据段中所有数据块状态均为零索引时再进行数据段的回收。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种优化空间管理的自动精简配置方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (3)

1.一种优化空间管理的自动精简配置方法，其特征在于，其具体实现过程为：

将多个逻辑磁盘组成存储池；跨越多个逻辑磁盘形成逻辑卷空间，即从多个逻辑磁盘的空间中为逻辑卷分配实际空间；

将存储池空间进行两级划分，即将逻辑磁盘空间划分为多个数据段，将每个数据段划分为多个数据块；

存储池将数据段分配给逻辑卷，每个逻辑卷维护获得分配的数据段；

当上层应用向逻辑卷写入数据时，逻辑卷从其维护的数据段中分配空间用于存储写入的数据；

当逻辑卷维护的数据段无足够空间进行分配时，逻辑卷向存储池申请分配新的数据段；

上述存储写入的数据以数据段为单位进行缓存，即一个数据段中的所有数据块均在系统缓存中，或均不在系统缓存中；

所述方法通过存储系统实现，该系统包括物理设备管理模块、存储池模块、逻辑卷模块、缓存模块、控制器、接口模块和高可用模块，其中：

物理设备管理模块用于管理存储系统中的物理设备，包括磁盘、磁带、SSD、RAID以及其它可用于存储的非易失性存储设备，该物理设备管理模块负责向存储池模块提供逻辑磁盘；

存储池模块用于存储系统中存储池的组织管理，包括数据段分配子模块、数据段回收子模块、存储池IO子模块和元数据管理子模块；

逻辑卷管理模块用于存储系统中的逻辑卷的组织管理，包括数据块分配子模块、数据块回收子模块、逻辑卷IO子模块和元数据管理子模块；

缓存模块以数据段为单位缓存数据；

控制器用于实现存储系统的管理控制逻辑；

接口模块管理维护存储系统的网络，向外提供存储资源接口；

高可用模块用于保证存储系统的可靠稳定运行。

2.根据权利要求1所述的一种优化空间管理的自动精简配置方法，其特征在于，所述数据块分为三种状态：已分配、空闲和零索引，其中已分配数据块为已建立了与物理数据块的地址映射关系，且存储了有效数据的数据块；空闲数据块为未与物理数据块建立地址映射关系，且未存储有效数据的数据块；零索引数据块为建立了与物理数据块的地址映射关系，但不再存储有效数据，上层应用已下发回收请求的数据块。

3.根据权利要求2所述的一种优化空间管理的自动精简配置方法，其特征在于，当一个逻辑卷维护的数据段中所有的数据块均为零索引状态时，存储池将此数据段回收，该回收操作以数据段为单位进行。