CN111104435B - 一种元数据组织方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种元数据组织方法、装置、设备及计算机可读存储介质，该方法包括：获取需要设置的元数据树的层数为预设层数；基于所述预设层数及所述元数据树的类型，计算每个所述元数据树能够包含的元数据的数量，并确定计算得到的数量为预设数量；将包含的逻辑地址处于同一地址范围内的预设数量的元数据组织在同一个元数据树中，并保存每个所述元数据树对应的地址范围，以供基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址。可见，本申请公开的技术方案能够提高元数据的查询速度及查询效率，缩短主机端的读写时延，进而使得存储系统更加高效。

Description

一种元数据组织方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种元数据组织方法、装置、设备及计算机可读存储介质。

背景技术

元数据(Metedata)是指描述数据的数据(data about data)，可以理解为数据字典，比一般意义的数据范畴更加广泛的数据，不仅仅是表示数据的类型、名称、值等信息，也进一步提供了数据的上下文信息，比如数据所属域、数据来源等等。在数据存储系统中，元数据是信息存储的基础，是数据的最小单元，如何有效的管理元数据和使用元数据，是一个非常值得探讨的问题。

在全闪存储中必然涉及到大量且高并发的数据访问和查询问题，有效的管理元数据才能增加数据访问效率；因此，全闪存储中元数据的组织方法至关重要，可使大规模并发随机访问元数据有更高的查询速度及查询效率，缩短主机端的读写时延，使得存储系统更加高效。

发明内容

本发明的目的是提供一种元数据组织方法、装置、设备及计算机可读存储介质，能够提高元数据的查询速度及查询效率，缩短主机端的读写时延，进而使得存储系统更加高效。

为了实现上述目的，本发明提供如下技术方案：

一种元数据组织方法，包括：

获取需要设置的元数据树的层数为预设层数；

基于所述预设层数及所述元数据树的类型，计算每个所述元数据树能够包含的元数据的数量，并确定计算得到的数量为预设数量；

将包含的逻辑地址处于同一地址范围内的预设数量的元数据组织在同一个元数据树中，并保存每个所述元数据树对应的地址范围，以供基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址。

优选的，获取需要设置的元数据树的层数为预设层数，包括：

接收外界输入的层数设置指令，并获取所述层数设置指令中携带的需要设置的元数据树的层数为预设层数。

优选的，接收外界输入的层数设置指令之前，还包括：

判断是否预先存储有需要设置的元数据树的层数，如果是，则获取预先存储的需要设置的元数据树的层数为预设层数，如果否，则输出层数设置提示，并执行接收外界输入的层数设置指令的步骤。

优选的，还包括：

如果存在多个需要查询的逻辑地址，且需要查询的多个逻辑地址所属的地址范围分别对应多个不同的元数据树，则利用多个线程以一一对应的方式由对应的多个元数据树中并发查询需要查询的多个逻辑地址。

一种元数据组织装置，包括：

获取模块，用于：获取需要设置的元数据树的层数为预设层数；

计算模块，用于：基于所述预设层数及所述元数据树的类型，计算每个所述元数据树能够包含的元数据的数量，并确定计算得到的数量为预设数量；

组织模块，用于：将包含的逻辑地址处于同一地址范围内的预设数量的元数据组织在同一个元数据树中，并保存每个所述元数据树对应的地址范围，以供基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址。

优选的，所述获取模块包括：

获取单元，用于：接收外界输入的层数设置指令，并获取所述层数设置指令中携带的需要设置的元数据树的层数为预设层数。

优选的，还包括：

判断模块，用于：接收外界输入的层数设置指令之前，判断是否预先存储有需要设置的元数据树的层数，如果是，则获取预先存储的需要设置的元数据树的层数为预设层数，如果否，则输出层数设置提示，并指示所述获取单元执行接收外界输入的层数设置指令的步骤。

优选的，还包括：

并发查询模块，用于：如果存在多个需要查询的逻辑地址，且需要查询的多个逻辑地址所属的地址范围分别对应多个不同的元数据树，则利用多个线程以一一对应的方式由对应的多个元数据树中并发查询需要查询的多个逻辑地址。

一种元数据组织设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述元数据组织方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述元数据组织方法的步骤。

本发明提供了一种元数据组织方法、装置、设备及计算机可读存储介质，该方法包括：获取需要设置的元数据树的层数为预设层数；基于所述预设层数及所述元数据树的类型，计算每个所述元数据树能够包含的元数据的数量，并确定计算得到的数量为预设数量；将包含的逻辑地址处于同一地址范围内的预设数量的元数据组织在同一个元数据树中，并保存每个所述元数据树对应的地址范围，以供基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址。本申请公开的技术方案中，首先以元数据树的结构组织元数据，从而使得对元数据的查询速度加快；在此基础上，为了进一步加快元数据的查询速度，本申请首先确定需要实现元数据查询时的速度要求，进而将元数据树设置成对应层数的树结构，将逻辑地址处于同一地址范围内的元数据组织在具有实现元数据查询时的速度要求对应层数的元数据树中，并保存每个元数据树的地址范围，以基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址。可见，本申请公开的技术方案可以提高元数据的查询速度，获得高效的元数据访问。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种元数据组织方法的流程图；

图2为本发明实施例提供的一种元数据组织方法中B+树的示例图；

图3为本发明实施例提供的一种元数据组织方法中基于B+树实现元数据查询的示意图；

图4为本发明实施例提供的一种元数据组织方法中数据查询的流程图；

图5为本发明实施例提供的一种元数据组织装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种元数据组织方法的流程图，可以包括：

S11：获取需要设置的元数据树的层数为预设层数。

需要说明的是，本发明实施例提供的一种元数据组织方法的执行主体可以为对应的元数据组织装置。本申请在实现元数据的存储时，可以使用树的数据结构作为索引结构来组织元数据，本申请实施例中可以将组织元数据的树称为元数据树，从而基于元数据树实现元数据的查询，能够大大提高元数据查询的速度。另外，由于元数据树的层数过多时，基于元数据树实现元数据查询时会导致查询速度较慢，因此本实施例中还会考虑到元数据树的层数，也即在需要利用元数据树实现元数据的组织时，可以基于当前查询元数据所需的速度设置对应的元数据树的层数为预设层数，进而基于预设层数组织元数据树。其中，本申请实施例中选择的组织元数据的树具体可以为B+树、B树等，优选为B+树；其中，B+树的结构的示例图可以如图2所示，由于其实现原理与现有技术相同，在此不做过多说明；并且以下均以元数据树为B+树进行具体说明。

S12：基于所述预设层数及所述元数据树的类型，计算每个所述元数据树能够包含的元数据的数量，并确定计算得到的数量为预设数量。

在确定出需要设置的元数据树的层数后，可以基于确定出的层数及元数据树的类型，计算每个元数据树能够包含的元数据的数量，从而使得组织得到的元数据树具有与预设层数相同的层数，具体来说，在已知预设层数及元数据树的类型的前提下，可以基于元数据树的类型对应的算法计算每个元数据树在达到预设层数时所能够包含的最大的数据量，再将该最大的数据量除以每个元数据的数据量得到的值即为每个元数据树能够包含的元数据的数量，如元数据树为B+树，则可以基于B+树的算法计算B+树达到预设层数时所能包含的数据量，进而计算出B+树能够包含的元数据数量，因为B+树或者B树等均为现有技术，对应的基于预设层数计算相应树所能包含的数据量也为现有技术，在此不再过多说明。通过这种方式使得查询元数据树的速度能够符合实现元数据查询时的速度需求，从而获得较好的查询性能。

另外以B+树为元数据树中需要说明的是，B+树实现元数据查询时具有O(logn)的查找时间复杂度和75％的空间使用率，B+树中非叶子节点作为索引节点，不作为保存数据的节点，叶子节点是作为保存数据的节点，综合来看B+树有较好的搜索效率，适合组织元数据对象；而B+树查找是通过根节点然后逐级往下遍历直到叶子节点，基于B+树实现元数据查询时实现方式可以如图3所示，其中，箭头所指方向即为查询方向，可见，层数越少，查询速度也快。具体来说，全闪存储的元数据使用B+树的数据结构来组织，当需要存储的元数据量很大时，对应的B+树层数就会较多，发明人发现，当B+树层数超过4层时其访问及查询的平均时间成指数级增加；为了提高B+树的访问及查询速度，本申请将大的B+树分成多个子树，每个子树承载部分元数据，也即通过控制每个B+树的层数不会超过4层，也即当元数据树为B+树时，本申请中预设层数可以为4层或者小于4层，此时存放B+树地址范围(ROOT地址，一般为8个字节)的空间仅多了N-1(假设N棵B+树)个8字节，但可使其访问时间按指数级缩减，获得高效的元数据访问。

S13：将包含的逻辑地址处于同一地址范围内的预设数量的元数据组织在同一个元数据树中，并保存每个所述元数据树对应的地址范围，以供基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址。

本申请中在分配属于不同元数据树的元数据时，是按照元数据包含的逻辑地址(全称为逻辑块地址，英文全拼为Logical Block Address)是否属于同一地址范围实现的，也即属于同一地址范围内的逻辑地址对应元数据可以组织在同一个元数据树中，并且本申请中需要保存每个元数据树存储的元数据包含的逻辑地址对应的地址范围，从而在需要查询某逻辑地址时，可以先确定出该逻辑地址所属的地址范围，进而确定出该地址范围对应的元数据树为需要实现元数据查询的元数据树，进而在确定出的元数据树中定位到需要查询的逻辑地址，并且元数据中包括逻辑地址与物理地址(全称为物理块地址，英文全拼Physical Block Address)的映射关系，从而能够使得用户基于物理地址获取到需要查询的数据。另外，在基于逻辑地址确定出所属地址范围的元数据树时，可以为取逻辑地址前4位(也可以根据实际需要进行其他设置)个字节作为分配的key，然后查找key所属的元数据树为逻辑地址所属地址范围的元数据树，具体来说，取逻辑地址的位数越多，表示每个元数据树中包含的元数据的个数越少，因此其是与每个元数据树中需包含的元数据的数量对应的。

本申请公开的技术方案中，首先以元数据树的结构组织元数据，从而使得对元数据的查询速度加快；在此基础上，为了进一步加快元数据的查询速度，本申请首先确定需要实现元数据查询时的速度要求，进而将元数据树设置成对应层数的树结构，将逻辑地址处于同一地址范围内的元数据组织在具有实现元数据查询时的速度要求对应层数的元数据树中，并保存每个元数据树的地址范围，以基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址。可见，本申请公开的技术方案能够提高元数据的查询速度及查询效率，缩短主机端的读写时延，进而使得存储系统更加高效。

另外，元数据中可以包括逻辑地址及物理地址之间的映射关系；在基于元数据树实现元数据的查询时，可以先确定需要查询的逻辑地址所属的地址范围，进而确定该地址范围对应的元数据树为需要实现逻辑地址查询的元数据树，进而由该元数据树中查询所需的逻辑地址，由逻辑地址所属元数据中获取到与之具有映射关系的物理地址，将物理地址返回给请求查询数据的一端，以供其基于物理地址实现数据查询。具体来说，在需要查询的逻辑地址所属地址范围对应的元数据树中查询时，可以是到元数据树中去遍历访问并实现查询，如果是需要实现写操作，并且没有查询到需要查询的逻辑地址，则可以完成写操作后将其逻辑地址及物理地址的对应关系加入至元数据树中，如果查询到需要查询的逻辑地址，则可以完成写操作后改变其逻辑地址及物理地址的对应关系，如果是需要实现读操作，并且没有查询到需要查询的逻辑地址，则直接返回上层NOT_FOUND，即没有需要查询的数据，若查询到需要查询的逻辑地址，则返回对应的物理地址，以使得请求查询数据的一端可以根据获取的物理地址继续去数据盘上读取数据。

本发明实施例提供的一种元数据组织方法，获取需要设置的元数据树的层数为预设层数，可以包括：

接收外界输入的层数设置指令，并获取所述层数设置指令中携带的需要设置的元数据树的层数为预设层数。

需要说明的是，为了使得用户可以基于对元数据查询速度的要求变化，而实现预设层数的相应设置，本申请实施例提供给外界用户实现层数设置指令输入的接口，从而外界用户可以直接调用该接口或者通过移动终端等设备调用该接口，从而实现层数设置指令的输入，在元数据组织装置接收到层数设置指令后，可以获取层数设置指令中携带的层数，确定该层数为预设层数，进而能够使得元数据树的层数设置满足当前用户对元数据查询速度的要求，进一步提高用户的体验。

本发明实施例提供的一种元数据组织方法，接收外界输入的层数设置指令之前，还可以包括：

判断是否预先存储有需要设置的元数据树的层数，如果是，则获取预先存储的需要设置的元数据树的层数为预设层数，如果否，则输出层数设置提示，并执行接收外界输入的层数设置指令的步骤。

本申请实施例在接收到用户输入的层数设置指令中携带的层数后，可以将接收的层数设置指令中携带的层数进行存储，并且在后续又接收到层数设置指令后，利用新接收的层数设置指令中携带的层数替换存储的层数，也即本申请中存储的始终为距离当前时刻最近接收到的层数设置指令中携带的层数，或者说本申请中存储的始终为最新接收的层数设置指令中携带的层数，从而在用户对元数据查询速度未发生改变时，可以直接基于存储的层数实现元数据树层数的设置，而无需用户进行层数设置指令的重复输入，大大减少了用户操作量，进一步提高了用户的体验。另外，层数设置提示中可以包括当前未存储层数的信息，还可以直接提供数据输入框，从而使得用户仅需在数据输入框中输入层数形成层数设置指令即可，进一步简化了用户操作。

本发明实施例提供的一种元数据组织方法，还可以包括：

如果存在多个需要查询的逻辑地址，且需要查询的多个逻辑地址所属的地址范围分别对应多个不同的元数据树，则利用多个线程以一一对应的方式由对应的多个元数据树中并发查询需要查询的多个逻辑地址。

本实施例中如果存在多个需要查询的逻辑地址，并且这些逻辑地址所属的地址范围是不同的元数据树对应的地址范围，也即应该由不同的元数据树上查找需要查询的逻辑地址，此时，本实施例可以利用多个线程，以线程与需要查询的逻辑地址一一对应的方式，或者说以线程与需要查询的逻辑地址所属的元数据树一一对应的方式，由这些元数据树中并发查询需要查询的逻辑地址，从而通过这种并发实现逻辑地址查询的方式，大大加快了元数据的查询速度。

本申请提供的上述技术方案可以应用于全闪存储系统的元数据组织中，并且本申请可以将元数据存储于SSD盘中，而为了进一步加快元数据查询速度，本申请可以将部分元数据缓存于元数据缓存中，并且存储于SSD盘中的元数据及存储于元数据缓存中的元数据均以元数据树的结构组织，而此时在实现元数据的查询时，具体流程可以如图4所示，接收到查询请求(查询请求中可以包括需要查询的数据对应的逻辑地址)需要实现数据查询时，如果元数据缓存存在相应的元数据，则从元数据缓存中获取相应的元数据，如果元数据缓存中不存在相应的元数据，则从SSD盘中获取相应的元数据；在获取到相应的元数据后，对获取到的元数据做元数据校验得到查询PBA结果(查询PBA结果可以包括元数据，也可以只包括元数据中的逻辑地址)后返回给查询请求的发起者，以使得查询请求的发起者可以由获取的元数据中获取逻辑地址及物理地址(PBA)之间的映射关系，进而访问物理地址对应的数据(可以称为PBA数据)实现下层数据读取；由于由元数据缓存中进行元数据查询相对于由SSD盘中进行元数据查询，查询速度较快，因此本实施例通过这种方式能够进一步加快元数据查询速度。

可见，本申请公开的技术方案中，每个元数据树都承载一定容量的元数据，并且使得每个元数据树的层数符合当前对元数据查询的速度，从而在需要对元数据查询速度较快时设置较少的层数(如4层)，从而使得访问元数据树的时间，或者说查询元数据的时间按指数级缩减，并且还可以提高访问的并发程度，获得高效的元数据的访问及查询。

本发明实施例还提供了一种元数据组织装置，如图5所示，可以包括：

获取模块11，用于：获取需要设置的元数据树的层数为预设层数；

计算模块12，用于：基于所述预设层数及所述元数据树的类型，计算每个所述元数据树能够包含的元数据的数量，并确定计算得到的数量为预设数量；

组织模块13，用于：将包含的逻辑地址处于同一地址范围内的预设数量的元数据组织在同一个元数据树中，并保存每个所述元数据树对应的地址范围，以供基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址。

本发明实施例提供的一种元数据组织装置，所述获取模块可以包括：

获取单元，用于：接收外界输入的层数设置指令，并获取所述层数设置指令中携带的需要设置的元数据树的层数为预设层数。

本发明实施例提供的一种元数据组织装置，还可以包括：

判断模块，用于：接收外界输入的层数设置指令之前，判断是否预先存储有需要设置的元数据树的层数，如果是，则获取预先存储的需要设置的元数据树的层数为预设层数，如果否，则输出层数设置提示，并指示所述获取单元执行接收外界输入的层数设置指令的步骤。

本发明实施例提供的一种元数据组织装置，还可以包括：

并发查询模块，用于：如果存在多个需要查询的逻辑地址，且需要查询的多个逻辑地址所属的地址范围分别对应多个不同的元数据树，则利用多个线程以一一对应的方式由对应的多个元数据树中并发查询需要查询的多个逻辑地址。

本发明实施例还提供了一种元数据组织设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一项所述元数据组织方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时可以实现如上任一项所述元数据组织方法的步骤。

需要说明的是，本发明实施例提供的一种元数据组织装置、设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种元数据组织方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种元数据组织方法，其特征在于，包括：

获取需要设置的元数据树的层数为预设层数；

基于所述预设层数及所述元数据树的类型，计算每个所述元数据树能够包含的元数据的数量，并确定计算得到的数量为预设数量；

将包含的逻辑地址处于同一地址范围内的预设数量的元数据组织在同一个元数据树中，并保存每个所述元数据树对应的地址范围，以供基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址；

获取需要设置的元数据树的层数为预设层数，包括：

接收外界输入的层数设置指令，并获取所述层数设置指令中携带的需要设置的元数据树的层数为预设层数；基于当前查询元数据所需的速度设置对应的元数据树的层数为预设层数。

2.根据权利要求1所述的方法，其特征在于，接收外界输入的层数设置指令之前，还包括：

判断是否预先存储有需要设置的元数据树的层数，如果是，则获取预先存储的需要设置的元数据树的层数为预设层数，如果否，则输出层数设置提示，并执行接收外界输入的层数设置指令的步骤。

3.根据权利要求2所述的方法，其特征在于，还包括：

如果存在多个需要查询的逻辑地址，且需要查询的多个逻辑地址所属的地址范围分别对应多个不同的元数据树，则利用多个线程以一一对应的方式由对应的多个元数据树中并发查询需要查询的多个逻辑地址。

4.一种元数据组织装置，其特征在于，包括：

获取模块，用于：获取需要设置的元数据树的层数为预设层数；

计算模块，用于：基于所述预设层数及所述元数据树的类型，计算每个所述元数据树能够包含的元数据的数量，并确定计算得到的数量为预设数量；

组织模块，用于：将包含的逻辑地址处于同一地址范围内的预设数量的元数据组织在同一个元数据树中，并保存每个所述元数据树对应的地址范围，以供基于需要查询的逻辑地址定位到所属地址范围对应的元数据树后，再从定位到的元数据树中定位到需要查询的逻辑地址；

所述获取模块包括：

获取单元，用于：接收外界输入的层数设置指令，并获取所述层数设置指令中携带的需要设置的元数据树的层数为预设层数；基于当前查询元数据所需的速度设置对应的元数据树的层数为预设层数。

5.根据权利要求4所述的装置，其特征在于，还包括：

判断模块，用于：接收外界输入的层数设置指令之前，判断是否预先存储有需要设置的元数据树的层数，如果是，则获取预先存储的需要设置的元数据树的层数为预设层数，如果否，则输出层数设置提示，并指示所述获取单元执行接收外界输入的层数设置指令的步骤。

6.根据权利要求5所述的装置，其特征在于，还包括：

并发查询模块，用于：如果存在多个需要查询的逻辑地址，且需要查询的多个逻辑地址所属的地址范围分别对应多个不同的元数据树，则利用多个线程以一一对应的方式由对应的多个元数据树中并发查询需要查询的多个逻辑地址。

7.一种元数据组织设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述元数据组织方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述元数据组织方法的步骤。

Images