CN111984650A

CN111984650A - 一种树结构数据的存储方法、系统及相关装置

Info

Publication number: CN111984650A
Application number: CN202010844595.4A
Authority: CN
Inventors: 刚亚州
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2020-08-20
Filing date: 2020-08-20
Publication date: 2020-11-24
Also published as: WO2022037016A1

Abstract

本申请提供一种树结构数据的存储方法，包括：获取键值对；所述键值对包括物理块地址和对应的逻辑块地址；判断同一物理块地址对应的逻辑块地址数量是否大于树结构中叶子节点的存储阈值；若否，将所述键值对存于所述树结构；若是，将超过所述存储阈值的键值对存于所述叶子节点的溢出页。本申请使得每个物理块地址在树结构中仅对应一个中间节点，避免在物理块地址对应逻辑块地址过多时同一物理块地址存在多个中间节点导致的查找错误率高的问题，提高系统的数据缩减比，从而提高元数据访问效率，数据组织可用性更高。本申请还提供一种树结构数据的存储系统、计算机可读存储介质和电子设备，具有上述有益效果。

Description

一种树结构数据的存储方法、系统及相关装置

技术领域

本申请涉及数据存储领域，特别涉及一种树结构数据的存储方法、系统及相关装置。

背景技术

在全闪存储中包括重删功能，重删功能指重复的数据在SSD上只存储一份，因此重删功能可以大大节省SSD空间，达到容量缩减的功能。重删功能会产生多个LBA地址(Logical Block Address，逻辑块地址)与一个PBA地址(Physical Block Address，物理块地址)的映射关系。由于这种P-L，即PBA地址和LBA地址一对多的映射关系，使得标准的B+树操作不能满足快速的查找P-L键值对的对应关系。

因此如何改变数据的存储方式以提高数据的查找效率是本领域技术人员亟需解决的技术问题。

发明内容

本申请的目的是提供一种树结构数据的存储方法、系统、计算机可读存储介质和电子设备，能够提高逻辑块数据的查找效率。

为解决上述技术问题，本申请提供一种树结构数据的存储方法，具体技术方案如下：

获取键值对；所述键值对包括物理块地址和对应的逻辑块地址；

判断同一物理块地址对应的逻辑块地址数量是否大于树结构中叶子节点的存储阈值；

若否，将所述键值对存于所述树结构；

若是，将超过所述存储阈值的键值对存于所述叶子节点的溢出页。

可选的，将超过所述存储阈值的逻辑块地址存于所述叶子节点的溢出页之前，还包括：

生成所述叶子节点的溢出页；

其中，所述叶子结点的最后一个存储单元用于保存所述溢出页的地址。

可选的，还包括：

当所述溢出页存储饱和时，分裂所述溢出页得到第二溢出页；

将所述逻辑块地址存于所述第二溢出页；

其中，所述溢出页的最后一个存储单元用于保存所述第二溢出页的地址。

可选的，还包括：

从缓存请求预设大小空间，生成所述溢出页或所述第二溢出页。

可选的，将所述键值对存于所述树结构包括：

将所述键值对中的物理块地址存于所述树结构中的中间节点；

将所述键值对中物理块地址对应的逻辑块地址存于所述中间节点对应的叶子节点。

可选的，若将所述键值对中的物理块地址存于所述树结构中的中间节点，则将超过所述存储阈值的键值对存于所述叶子节点的溢出页包括：

将未超过所述存储阈值的逻辑块地址存于所述叶子节点，将剩余逻辑块地址存于所述叶子节点的溢出页。

可选的，所述叶子节点、所述溢出页和所述第二溢出页的存储单元数量相同。

本申请还提供一种树结构数据的存储系统，包括：

获取模块，用于获取键值对；所述键值对包括物理块地址和对应的逻辑块地址；

判断模块，用于判断同一物理块地址对应的逻辑块地址数量是否大于树结构中叶子节点的存储阈值；

第一存储模块，用于所述判断模块的判断结果为否时，将所述键值对存于所述树结构；

第二存储模块，用于所述判断模块的判断结果为是时，将超过所述存储阈值的键值对存于所述叶子节点的溢出页。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

本申请还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。

本申请提供一种树结构数据的存储方法，包括：获取键值对；所述键值对包括物理块地址和对应的逻辑块地址；判断同一物理块地址对应的逻辑块地址数量是否大于树结构中叶子节点的存储阈值；若否，将所述键值对存于所述树结构；若是，将超过所述存储阈值的键值对存于所述叶子节点的溢出页。

本申请在存储键值对时，判断该物理块地址对应的逻辑块地址是否超过对应的叶子节点的存储阈值，如超过，不再建立新的中间节点和叶子节点之间的对应关系，而是利用叶子节点的溢出页存放键值对，使得每个物理块地址在树结构中仅对应一个中间节点，使得同一物理块地址无需在逻辑块地址过多时采用多个中间节点存储，避免在物理块地址对应逻辑块地址过多时同一物理块地址存在多个中间节点导致的查找错误率高的问题，提高系统的数据缩减比，从而提高元数据访问效率，数据组织可用性更高。本申请还提供一种树结构数据的存储系统、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的现有树结构数据的存储过程示意图；

图2为本申请实施例所提供的一种树结构数据的存储方法的流程图；

图3为本申请实施例所提供的一对多树结构数据的存储过程示意图；

图4为本申请实施例所提供的一种树结构数据的存储系统结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参见图1，图1为本申请实施例所提供的现有树结构数据的存储过程示意图，当中间节点Pt对应逻辑块地址Lg、Li、Lj、Lk、Ll、Lm、Ln……时，由于逻辑块地址的数量超过单个叶子节点的存储阈值，此时需要两个叶子节点存储逻辑块地址，对应的，中间节点中也存在两个Pt，然后若查找逻辑块地址时，并不清楚逻辑块地址究竟位于哪一个中间节点Pt下，导致查找效率过低，也容易查找错误。

为了解决上述问题，本申请提供了一种树结构数据的存储方法，具体步骤如下：

请参考图2，图2为本申请实施例所提供的一种树结构数据的存储方法的流程图，该方法包括：

S101：获取键值对；所述键值对包括物理块地址和对应的逻辑块地址；

本步骤需要获取键值对，即P-L键值对，包含物理块地址和对应的逻辑块地址，即需要确认每一个逻辑块地址和与之对应的物理块地址。通常可以从存储设备中直接获取到物理块地址和逻辑块地址。但需要注意的是，若存储设备包含重删功能，使得设备中的物理块地址通常只会存在一个，而对应的逻辑块地址包含多个。因此，本步骤获取得到的键值对并不必须为<P,L>格式的键值对，还可以从包括物理块地址和逻辑块地址之间映射关系的映射表或者其他数据结构中获取到每个逻辑块与物理块地址的对应关系，从而获取得到所需要的键值对，也应在本申请的保护范围内。

S102：判断同一物理块地址对应的逻辑块地址数量是否大于树结构中叶子节点的存储阈值；若否，进入S103；若是，进入S104；

本步骤需要判断各物理块地址对应的逻辑块地址数量是否大于对应叶子节点的存储阈值，即每个物理块地址对应的逻辑块地址数量与叶子节点存储阈值之间的大小关系。由于键值对中可能包含重复的物理块地址，因此本步骤仅针对相同物理块地址对应的逻辑块地址作数量累加。在此对于存储阈值的具体大小不做限定。叶子节点的存储阈值通常在树结构建立时确定，例如可以为32个或多个，通常均为2的幂次方。

若逻辑块地址数量大于存储阈值，执行步骤S104，否则执行步骤S103。

S103：将所述键值对存于所述树结构；

若同一物理块地址对应的逻辑块地址不超过叶子节点的阈值，意味着对应的物理块地址并不需要两个相同的中间节点，此时可以直接将键值对存于树结构。在此对于如何将键值对存于树结构不作限定，可以如图1直接将键值对存于树结构的叶子节点中。

S104：将超过所述存储阈值的键值对存于所述叶子节点的溢出页。

若同一物理块地址对应的逻辑块地址超过叶子节点的存储阈值，为了避免出现两个相同的中间节点，此时利用溢出页存放超过叶子节点存储空间的键值对，且叶子结点的最后一个存储单元用于保存溢出页的地址。换句话说，此时叶子节点实际用于存储逻辑块地址的存储单元为存储阈值减一。容易理解的是，本步骤重点在于将超过存储阈值的键值对存于叶子节点的溢出页，但叶子节点本身依旧可以存放键值对。

需要注意的是，本实施例对于何时生成溢出页并不作具体限定。可以在得到S102的判断结果后，针对于逻辑块地址超过存储阈值的叶子节点生成相应的溢出页。也可以在执行本步骤前或者本实施例前事先为每个叶子节点配置相应的溢出页，均可以实现本实施例所需实现的技术方案。此外，在此对于各溢出页的生成方式不作具体限定，可以从缓存请求预设大小空间，生成溢出页或第二溢出页。当然，在此对于从缓存中请求的空间大小不作具体限定。

此外，当溢出页存储饱和时，可以分裂溢出页得到第二溢出页，以便多余的将逻辑块地址存于第二溢出页，同样的溢出页的最后一个存储单元用于保存所述第二溢出页的地址。需要注意的是，并非溢出页的存储单元占满时才意味着溢出页饱和，而是溢出页的存储单元仅有一个存储单位为空时，此时依旧剩余逻辑块地址未存入，此时即需要分裂溢出页，得到第二溢出页。容易理解的是，若逻辑块地址足够多，以此类推，第二溢出页此后也作为溢出页分裂得到更多的溢出页，以满足逻辑块的存储需求。这样可以看出，除最后一张溢出页外，前面的叶子节点和各溢出页仅能存储各自存储阈值减一数量个逻辑块地址。

在此对于各溢出页与叶子节点之间的存储阈值不作限定，即各溢出页之间的存储阈值可以相同，也可以不同，且溢出页与叶子节点的存储阈值可以相同，也可以不同。当然，作为一种优选的实施方式，也为了便于计算每个物理块所需溢出页数量，可以将各溢出页的存储阈值与叶子节点对应设置，即将叶子节点的存储阈值作为各溢出页的存储阈值，此时在确定物理块地址对应的逻辑块地址数量后，便于确定该物理块地址所需溢出页数量，以便针对性的生成溢出页，避免树结构的存储空间浪费。举例而言，若某一个物理块地址对应96个逻辑块地址，叶子节点的存储阈值为32，将叶子节点也视为溢出页，而除最后一个溢出页外前述溢出页仅能存储31个逻辑块地址，此时应需要96/32+1＝4个溢出页，则除去叶子结点，还需要3个溢出页。

换句话说，若逻辑块地址为M，存储阈值为N，若

的商值不为整数，则所需溢出页数量n为

即M与N的商值向上取整即为除叶子节点外所需溢出页数量。若

的商值为整数，则所需要的溢出页数量n为

当然，这要求叶子节点、溢出页和第二溢出页的存储单元数量相同。

本申请实施例在存储逻辑块地址时，判断同一物理块地址对应的逻辑块地址是否超过对应的叶子节点的存储阈值，如超过，不再建立新的中间节点和叶子节点之间的对应关系，而是利用叶子节点的溢出页存放键值对，使得每个物理块地址仅对应一个叶子节点，提高系统的数据缩减比，避免在物理块地址对应逻辑块地址过多时同一物理块地址存在多个中间节点导致的查找错误率高的问题，提高元数据访问效率，数据组织可用性更高。

基于上述实施例，作为优选的实施例，为了进一步提高树结构系统的数据缩减比，在执行将键值对存于树结构时，可以将键值对中的物理块地址存于树结构中的中间节点，再将键值对中该物理块地址对应的逻辑块地址存于中间节点对应的叶子节点，通过建立中间节点与叶子节点之间的一一对应关系，由于在遍历逻辑块地址时先确定物理块地址，则在叶子节点可以只存储逻辑块地址，而不必重复存储物理块地址，从而减少叶子节点所需存储数据量。

类似的，若将键值对中的物理块地址存于树结构中的中间节点，执行将超过存储阈值的键值对存于叶子节点的溢出页时，也可以将未超过存储阈值的逻辑块地址存于叶子节点，将剩余逻辑块地址存于叶子节点的溢出页。即同样将物理块地址存于中间节点，而叶子节点和溢出页中仅存放逻辑块地址。

此时请见图3，图3为本申请实施例所提供的一对多树结构数据的存储过程示意图，对照图1中包括的键值对采用本申请公开的存储方法加以应用。物理块地址Pt所在中间节点对应的叶子节点中及溢出页中仅存储物理块地址Pt对应的逻辑块地址，使得树结构中仅存在一个物理块地址Pt对应的中间节点，使得检索Pt对应的键值对时不会因为存在多个中间节点导致检索失败或者重复检索，提高了检索效率。同时由于仅在叶子节点或溢出页中存储逻辑块地址，而不再存储物理块地址和逻辑块地址的映射关系，降低了每个存储单元所需的存储空间，节省了树结构数据所占用的存储空间。

下面对本申请实施例提供的一种树结构数据的存储系统进行介绍，下文描述的存储系统与上文描述的一种树结构数据的存储方法可相互对应参照。

本申请还提供一种树结构数据的存储系统，包括：

获取模块100，用于获取键值对；所述键值对包括物理块地址和对应的逻辑块地址；

判断模块200，用于判断同一物理块地址对应的逻辑块地址数量是否大于树结构中叶子节点的存储阈值；

第一存储模块300，用于所述判断模块的判断结果为否时，将所述键值对存于所述树结构；

第二存储模块400，用于所述判断模块的判断结果为是时，将超过所述存储阈值的键值对存于所述叶子节点的溢出页。

基于上述实施例，作为优选的实施例，还包括：

溢出页生成模块，用于生成所述叶子节点的溢出页；

基于上述实施例，作为优选的实施例，还包括：

溢出页请求模块，用于从缓存请求预设大小空间，生成所述溢出页或所述第二溢出页。

基于上述实施例，作为优选的实施例，第一存储模块300可以包括：

第一存储单元，用于将所述键值对中的物理块地址存于所述树结构中的中间节点；

第二存储单元，用于将所述键值对中物理块地址对应的逻辑块地址存于所述中间节点对应的叶子节点。

基于上述实施例，作为优选的实施例，若第一存储模块300包括第一存储单元，则第二存储模块400可以具体为用于将未超过所述存储阈值的逻辑块地址存于所述叶子节点，将剩余逻辑块地址存于所述叶子节点的溢出页的模块。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种树结构数据的存储方法，其特征在于，包括：

若否，将所述键值对存于所述树结构；

2.根据权利要求1所述的存储方法，其特征在于，将超过所述存储阈值的逻辑块地址存于所述叶子节点的溢出页之前，还包括：

生成所述叶子节点的溢出页；

3.根据权利要求1或2所述的存储方法，其特征在于，还包括：

将所述逻辑块地址存于所述第二溢出页；

4.根据权利要求3所述的存储方法，其特征在于，还包括：

5.根据权利要求1所述的存储方法，其特征在于，将所述键值对存于所述树结构包括：

6.根据权利要求5所述的存储方法，其特征在于，若将所述键值对中的物理块地址存于所述树结构中的中间节点，则将超过所述存储阈值的键值对存于所述叶子节点的溢出页包括：

7.根据权利要求1所述的存储方法，其特征在于，所述叶子节点、所述溢出页和所述第二溢出页的存储单元数量相同。

8.一种树结构数据的存储系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的方法的步骤。