CN103019953A - 一种元数据的构建系统及其方法 - Google Patents

Abstract

本发明公开了一种元数据的构建系统及其方法。该方法包括以下步骤：接收读取数据或写入数据的请求；根据请求中的逻辑地址查询元数据的索引区，判断逻辑地址在元数据的索引区中是否存在；若存在，则在逻辑地址和物理地址映射关系区中查询逻辑地址和物理地址的映射关系，获取与逻辑地址对应的物理地址，并根据物理地址读取数据或写入数据；若不存在，则当请求为读取数据请求时，读取到的数据全为0；当请求为写入数据请求时，为逻辑地址分配物理地址，根据物理地址写入数据。通过上述方式，本发明可以满足各种条件下查询元数据，并且支持根据不用应用场景设置不同的索引类型使性能较优，增加了元数据的灵活性。

Description

一种元数据的构建系统及其方法

技术领域

本发明涉及存储技术领域，特别是涉及一种元数据的构建系统及其方法。

背景技术

随着信息科学和技术的不断发展、因特网的广泛应用、云计算的不断普及，存储的数据量迅猛增长，对存储系统资源的合理分配和利用也提出了更高的要求。现有技术中自动精简配置技术（Thin Provisioning，TP）将所有物理存储空间汇集到精简池中进行统一管理，通过在精简池上创建的精简LUN（Logical Unit Number，逻辑单元号）按需从精简池获得物理存储空间，精简LUN，即精简卷，也称为Thin LUN。自动精简配置技术的使用可以简化存储资源的配置管理，节约物理存储资源。在自动精简配置技术中，元数据主要用于保存精简LUN逻辑地址和物理地址的映射关系（A Logic Address And Physical Address Mapping，LPM）。

现有技术中，自动精简配置技术采用B树来存储元数据，可以有效提高元数据的访问效率，具有很好的扩展性。但是，在某些场景下（例如元数据量较少时），采用B树存储元数据并不合适，而且元数据的键值固定为精简LUN的逻辑地址，不能满足根据其他信息进行元数据查找的需求，现有的元数据存储方式缺少灵活性。

发明内容

有鉴于此，本发明实施例提供了一种元数据的构建系统及其方法，以解决元数据存储缺少灵活性的问题。

第一方面，提供一种元数据的构建方法，其包括以下步骤:接收读取数据或写入数据的请求；根据请求中的逻辑地址查询元数据的索引区，判断逻辑地址在元数据的索引区中是否存在，其中，元数据包括索引区、逻辑地址和物理地址映射关系区，索引区记录有逻辑地址和物理地址的映射关系在逻辑地址和物理地址映射关系区中的存储地址；若存在，则根据索引区中逻辑地址对应的逻辑地址和物理地址的映射关系在逻辑地址和物理地址映射关系区中的存储地址，在逻辑地址和物理地址映射关系区中查询逻辑地址和物理地址的映射关系，获取与逻辑地址对应的物理地址，并根据物理地址读取数据或写入数据；若不存在，则当请求为读取数据请求时，读取到的数据为全0；当请求为写入数据请求时，为逻辑地址分配物理地址，并将逻辑地址和分配的物理地址的映射关系存储在逻辑地址和物理地址映射关系区中，在索引区中为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，根据物理地址写入数据。

结合第一方面，在第一种可能的实现方式中，方法还包括：在创建精简卷Thin LUN时，设置索引区的索引类型。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，在索引区为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，包括：在索引区为新增加的逻辑地址和分配的物理地址的映射关系根据设置的索引类型建立相应的索引记录。

结合第一方面或第一方面的第一种或第二种可能的实现方式，在第三种可能的实现方式中，索引区中针对同一逻辑地址和物理地址的映射关系建立不同键值KEY的至少两个索引。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，在索引区为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录包括：在索引区为新增加的逻辑地址和分配的物理地址的映射关系依次在至少两个索引中分别建立相应的索引记录。

第二方面，提供一种元数据的构建系统，其包括：IO单元，用于接收读取数据或写入数据的请求；处理单元，用于根据IO单元获取的请求中的逻辑地址查询元数据的索引区，判断逻辑地址在元数据的索引区中是否存在，其中，元数据包括索引区、逻辑地址和物理地址映射关系区，索引区记录有逻辑地址和物理地址的映射关系在逻辑地址和物理地址映射关系区中的存储地址；若逻辑地址在元数据的索引区中存在，则处理单元，还用于根据索引区中逻辑地址对应的逻辑地址和物理地址的映射关系在逻辑地址和物理地址映射关系区中的存储地址，在逻辑地址和物理地址映射关系区中查询逻辑地址和物理地址的映射关系，获取与逻辑地址对应的物理地址，并根据物理地址读取数据或写入数据；若逻辑地址在元数据的索引区中不存在，则当请求为读取数据请求时，IO单元，还用于读取为全0的数据；当请求为写入数据请求时，处理单元，还用于为逻辑地址分配物理地址，并将逻辑地址和分配的物理地址的映射关系存储在逻辑地址和物理地址映射关系区中，并在索引区中为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录；IO单元，还用于根据物理地址写入数据。

结合第二方面，在第一种可能的实现方式中，处理单元，还用于在创建精简卷时，设置索引区的索引类型。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，在索引区为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，具体为：

在索引区为新增加的逻辑地址和分配的物理地址的映射关系根据设置的索引类型建立相应的索引记录。

结合第二方面或第二方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，索引区中针对同一逻辑地址和物理地址的映射关系建立不同键值KEY的至少两个索引。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，在索引区为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，具体为：

在索引区为新增加的逻辑地址和分配的物理地址的映射关系依次在至少两个索引中分别建立相应的索引记录。

通过上述方案，本发明的有益效果是：本发明通过将元数据分为索引区、逻辑地址和物理地址映射关系区，在索引区中记录逻辑地址和物理地址的映射关系在所述逻辑地址和物理地址映射关系区中的存储地址，从而可以满足各种搜索条件下查询元数据，并且支持根据不用应用场景设置不同的索引使性能较优，增加了元数据的灵活性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本发明第一实施例的元数据的构建方法的流程图；

图2是图1中元数据的结构示意图；

图3是本发明第二实施例的元数据的构建方法中设置索引区的索引类型的流程图；

图4是本发明第三实施例的元数据的构建方法中索引区的结构示意图；

图5是本发明第一实施例的元数据的构建系统的结构示意图；

图6是本发明第四实施例的元数据的构建系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，图1是本发明第一实施例的元数据的构建方法的流程图。如图1所示，本实施例所揭示的构建方法包括以下步骤：

步骤101：接收读取数据或写入数据的请求。

步骤102：根据请求中的逻辑地址查询元数据的索引区，判断逻辑地址在元数据的索引区中是否存在。

优选的，元数据包括逻辑地址和物理地址映射关系区（MappingPartition，MP）和索引区（Index Partition，IP），如图2所示。逻辑地址和物理地址映射关系区包括多条逻辑地址与物理地址的映射关系LPM，优选的，LPM可以存储在物理磁盘的每1G物理空间的最前面一段区域，索引区IP记录有逻辑地址和物理地址的映射关系LPM在逻辑地址和物理地址映射关系区MP中的存储地址。

步骤103：若存在，则根据索引区中逻辑地址对应的逻辑地址和物理地址的映射关系在逻辑地址和物理地址映射关系区中的存储地址，在逻辑地址和物理地址映射关系区中查询逻辑地址和物理地址的映射关系，获取与逻辑地址对应的物理地址，并根据物理地址读取数据或写入数据。

优选的，若逻辑地址在元数据的索引区IP中存在，则根据逻辑地址在索引区IP中查找该逻辑地址对应的逻辑地址和物理地址的映射关系LPM在逻辑地址和物理地址映射关系区MP中的存储地址，根据存储地址在逻辑地址和物理地址映射关系区MP中读取对应的逻辑地址和物理地址的映射关系LPM，以获取与逻辑地址对应的物理地址，并根据物理地址进行读取数据或写入数据。

步骤104：若不存在，则判断请求为读取数据请求或写入数据请求。

步骤105：当请求为读取数据请求时，读取到的数据为全0；

步骤106：当请求为写入数据请求时，为逻辑地址分配物理地址，并将逻辑地址和分配的物理地址的映射关系存储在元数据的逻辑地址和物理地址映射关系区中，在元数据的索引区中为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，根据物理地址写入数据。

在本实施例中，本实施例通过将元数据分为索引区IP、逻辑地址和物理地址映射关系区MP，在索引区IP中记录逻辑地址和物理地址的映射关系LPM在所述逻辑地址和物理地址映射关系区MP中的存储地址，从而可以满足各种搜索条件下查询元数据，增加了元数据的灵活性。

本发明还提供第二实施例的元数据的构建方法，其在第一实施例所揭示的方法的基础上进行详细描述。本实施例所揭示的方法还包括：在创建精简卷时，设置索引区的索引类型。相应的，在步骤106中，在元数据的索引区为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，包括：在元数据的索引区为新增加的逻辑地址和所述分配的物理地址的映射关系根据索引类型建立相应的索引记录。

本实施例所揭示的方法还包括设置索引区的索引类型的方法。如图3所示，在创建精简卷时，设置索引区的索引类型包括以下步骤：

步骤301：设置精简LUN相关参数；例如，精简LUN的大小、回透写策略等参数。

步骤302：提示用户选择索引的类型；

步骤303：创建精简LUN，并根据用户选择设置索引类型。

在步骤302中，用户根据不同的应用场景和精简卷的大小选择索引的类型，例如，在精简卷较小，元数据的索引可以存储在内存时，可以选择平衡二叉树的结构来存储索引；在精简卷较大，写入数据较少时，可以选择哈希（Hash）表结构来存储索引；在精简卷较大，且写入数据较多时，可以选择线性表结构来存储索引；在精简卷较大，写入数据量不确定时，可以选择B树及其变体的结构来存储索引。

在本实施例中，通过根据不用的应用场景和精简卷的大小，设置不同的索引类型，以使精简卷在各种应用场景下性能达到最优。

本发明还提供第三实施例的元数据的构建方法，其在第二实施例所揭示的方法的基础上进行详细描述。本实施例所揭示的方法还包括：索引区中针对同一逻辑地址和物理地址的映射关系建立不同键值KEY的至少两个索引。即，针对同一个逻辑地址和物理地址的映射关系LPM，用户可以根据业务的需要，选择建立多个索引以提升性能，优选的，建立不同键值KEY的索引。如图4所示，索引区400包括逻辑地址的索引401和物理地址的索引402。其中，对元数据不同的查询需求使用不同的索引，可以显著提高查询元数据的性能。例如，根据物理地址查询逻辑地址时，如果只有逻辑地址的索引401，则必须查询所有的元数据，以获取逻辑地址；如果索引区包括物理地址的索引402，则能够通过物理地址的索引402直接查询元数据，以获取逻辑地址，进而提高查询元数据的性能。进一步的，多个索引的类型可以不同，也可以相同，比如一个索引是以逻辑地址为键值的B树，另一个索引是以物理地址为键值的B树。

则，相应的，在步骤106中，在元数据的索引区为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，包括：在元数据的索引区为新增加的逻辑地址和分配的物理地址的映射关系依次在至少两个索引中分别建立相应的索引记录，即，依次在逻辑地址的索引401和物理地址的索引402中分别建立相应的索引记录。

在本实施例中，通过索引区中针对同一逻辑地址和物理地址的映射关系建立不同键值KEY的至少两个索引，可以提高查询元数据的性能，并且增加了精简卷的应用场景和元数据的灵活性。

本发明还提供第一实施例的元数据的构建系统，其在第一实施例所揭示的方法的基础上进行详细描述。如图5所示，本实施例所揭示的构建系统50包括：IO（Input/Output，输入/输出）单元501以及处理单元502。

在本实施例中，IO单元501，用于接收读取数据或写入数据的请求。

处理单元502，用于从IO单元501获取请求，根据请求中的逻辑地址查询元数据的索引区IP，判断逻辑地址在元数据的索引区IP中是否存在。

若该逻辑地址在元数据的索引区中存在，则，处理单元502，用于根据该逻辑地址在索引区IP中查找该逻辑地址对应的逻辑地址和物理地址的映射关系LPM在逻辑地址和物理地址映射关系区MP中的存储地址，并进一步根据存储地址在逻辑地址和物理地址映射关系区MP中查找对应的逻辑地址和物理地址的映射关系LPM，以获取与逻辑地址对应的物理地址，并根据物理地址进行读取数据或写入数据。

若该逻辑地址在元数据的索引区中不存在，则当请求为读取数据请求时，IO单元501，还用于读取为全0的数据；当请求为写入数据请求时，处理单元502，还用于为逻辑地址分配物理地址，并将逻辑地址和分配的物理地址的映射关系存储在元数据的逻辑地址和物理地址映射关系区中，并在元数据的索引区中为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，IO单元501还用于根据物理地址写入数据。

在本实施例中，元数据包括逻辑地址和物理地址映射关系区和索引区，如图2所示。逻辑地址和物理地址映射关系区包括多条逻辑地址与物理地址的映射关系LPM，LPM存储在物理磁盘的每1G物理空间的最前面一段区域，索引区IP记录有逻辑地址和物理地址的映射关系LPM在逻辑地址和物理地址映射关系区MP中的存储地址。

值得注意的是，在本发明的其他实施例中，本领域普通技术人员完全可以将IO单元501设置为读取单元和写入单元。

在本实施例中，本实施例通过处理单元502将元数据分为索引区IP、逻辑地址和物理地址映射关系区MP，在索引区IP中记录逻辑地址和物理地址的映射关系LPM在所述逻辑地址和物理地址映射关系区MP中的存储地址，从而可以满足各种搜索条件下查询元数据，增加了元数据的灵活性。

本发明还提供第二实施例的元数据的构建系统，其在第一实施例所揭示的系统50的基础上进行详细描述。本实施例所揭示的系统中，处理单元502，还用于在创建精简卷时，设置索引区的索引类型。优选的，用户可以根据不同的应用场景和精简LUN的大小选择索引的类型，例如，在精简LUN较小时，元数据的索引可以存储在内存时，可以选择平衡二叉树的结构来存储索引；在精简LUN较大，写入数据较少时，可以选择Hash表结构来存储索引；在精简LUN较大，写入数据较多时，可以选择线性表结构来存储索引；在精简LUN较大，写入数据量不确定时，可以选择B树及其变体的结构来存储索引。

在本实施例中，若请求为写入数据，则处理单元502在索引区为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，具体为：处理单元502在元数据的索引区为新增加的逻辑地址和分配的物理地址的映射关系根据索引类型建立相应的索引记录。

本发明还提供第三实施例的元数据的构建系统，其与第二实施例所揭示的系统的不同之处在于：索引区中针对同一逻辑地址和物理地址的映射关系建立不同键值KEY的至少两个索引。处理单元502通过建立多个索引，对元数据不同的查询需求使用不同的索引，可以显著提高查询元数据的性能。此外，处理单元502在索引区为新增加的逻辑地址和分配的物理地址的映射关系建立相应的索引记录，具体为：处理单元502在索引区为新增加的逻辑地址和分配的物理地址的映射关系依次在至少两个索引中分别建立相应的索引记录。

请参见图6，图6是本发明第四实施例的元数据的构建系统。如图6所示，本实施例所揭示的系统60包括IO接口603以及处理器601、存储器604、通信总线602。其中，IO接口603用于接收读取数据或写入数据的请求，存储器604存储执行指令，当构建系统60运行时，处理器601与存储器604之间通信，处理器601执行执行指令使得构建系统60用于实现本发明第一实施例至第三实施例的元数据的构建方法。实现原理和技术效果与前面实施例中所述的方法类似，此处不再赘述。

综上所述，本发明通过在索引区中记录逻辑地址和物理地址的映射关系在逻辑地址和物理地址映射关系区中的存储地址，从而可以满足各种搜索条件下查询元数据，并且支持根据不用应用场景设置不同的索引使性能较优，以及可以在索引区包括多个索引，从而可以满足各种条件下查询元数据，并且增加了元数据的灵活性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种元数据的构建方法，其特征在于，所述方法包括以下步骤：

接收读取数据或写入数据的请求；

根据所述请求中的逻辑地址查询元数据的索引区，判断所述逻辑地址在所述元数据的索引区中是否存在，其中，所述元数据包括所述索引区、逻辑地址和物理地址映射关系区，所述索引区记录有逻辑地址和物理地址的映射关系在所述逻辑地址和物理地址映射关系区中的存储地址；

若存在，则根据所述索引区中所述逻辑地址对应的所述逻辑地址和物理地址的映射关系在所述逻辑地址和物理地址映射关系区中的存储地址，在所述逻辑地址和物理地址映射关系区中查询所述逻辑地址和物理地址的映射关系，获取与所述逻辑地址对应的物理地址，并根据所述物理地址读取数据或写入数据；

若不存在，则当所述请求为读取数据请求时，读取到的数据为全0；当所述请求为写入数据请求时，为所述逻辑地址分配物理地址，并将所述逻辑地址和所述分配的物理地址的映射关系存储在所述逻辑地址和物理地址映射关系区中，在所述索引区中为新增加的所述逻辑地址和所述分配的物理地址的映射关系建立相应的索引记录，根据所述物理地址写入数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在创建精简卷Thin LUN时，设置所述索引区的索引类型。

3.根据权利要求2所述的方法，其特征在于，所述在所述索引区为新增加的所述逻辑地址和所述分配的物理地址的映射关系建立相应的索引记录，包括：

在所述索引区为新增加的所述逻辑地址和所述分配的物理地址的映射关系根据所述设置的索引类型建立相应的索引记录。

4.根据权利要求1至3任一所述的方法，其特征在于，

所述索引区中针对同一逻辑地址和物理地址的映射关系建立不同键值KEY的至少两个索引。

5.根据权利要求4所述的方法，其特征在于，所述在所述索引区为新增加的所述逻辑地址和所述分配的物理地址的映射关系建立相应的索引记录包括：

在所述索引区为新增加的所述逻辑地址和所述分配的物理地址的映射关系依次在所述至少两个索引中分别建立相应的索引记录。

6.一种元数据的构建系统，其特征在于，包括：

IO单元，用于接收读取数据或写入数据的请求；

处理单元，用于根据所述IO单元获取的所述请求中的逻辑地址查询元数据的索引区，判断所述逻辑地址在所述元数据的索引区中是否存在，其中，所述元数据包括所述索引区、逻辑地址和物理地址映射关系区，所述索引区记录有逻辑地址和物理地址的映射关系在所述逻辑地址和物理地址映射关系区中的存储地址；

若所述逻辑地址在所述元数据的索引区中存在，则所述处理单元，还用于根据所述索引区中所述逻辑地址对应的所述逻辑地址和物理地址的映射关系在所述逻辑地址和物理地址映射关系区中的存储地址，在所述逻辑地址和物理地址映射关系区中查询所述逻辑地址和物理地址的映射关系，获取与所述逻辑地址对应的物理地址，并根据所述物理地址读取数据或写入数据；

若所述逻辑地址在所述元数据的索引区中不存在，则

当所述请求为读取数据请求时，

所述IO单元，还用于读取为全0的数据；

当所述请求为写入数据请求时，

所述处理单元，还用于为所述逻辑地址分配物理地址，将所述逻辑地址和所述分配的物理地址的映射关系存储在所述逻辑地址和物理地址映射关系区中，并在所述索引区中为新增加的所述逻辑地址和所述分配的物理地址的映射关系建立相应的索引记录；

所述IO单元，还用于根据所述物理地址写入数据。

7.根据权利要求6所述的系统，其特征在于，

所述处理单元，还用于在创建精简卷时，设置所述索引区的索引类型。

8.根据权利要求7所述的系统，其特征在于，所述在所述索引区为新增加的所述逻辑地址和所述分配的物理地址的映射关系建立相应的索引记录，具体为：

所述在所述索引区为新增加的所述逻辑地址和所述分配的物理地址的映射关系根据所述设置的索引类型建立相应的索引记录。

9.根据权利要求6至8任一所述的系统，其特征在于，

所述索引区中针对同一逻辑地址和物理地址的映射关系建立不同键值KEY的至少两个索引。

10.根据权利要求9所述的系统，其特征在于，所述在所述索引区为新增加的所述逻辑地址和所述分配的物理地址的映射关系建立相应的索引记录，具体为：

在所述索引区为新增加的所述逻辑地址和所述分配的物理地址的映射关系依次在所述至少两个索引中分别建立相应的索引记录。

Images