CN108804625B

CN108804625B - 一种lsm树的优化方法、装置及计算机设备

Info

Publication number: CN108804625B
Application number: CN201810550710.XA
Authority: CN
Inventors: 阳振坤; 席华锋; 韩富晟; 肖金亮
Original assignee: Alibaba Group Holding Ltd
Current assignee: Beijing Oceanbase Technology Co Ltd
Priority date: 2018-05-31
Filing date: 2018-05-31
Publication date: 2020-05-12
Anticipated expiration: 2038-05-31
Also published as: TW202004521A; TWI710918B; WO2019228009A1; CN108804625A

Abstract

公开了一种LSM树的优化方法、装置及计算机设备，该方法包括：确定出LSM树中，所指向的数据已被删除的目标叶子节点；在所述LSM树的动态数据中，为所述目标叶子节点添加删除标记。

Description

一种LSM树的优化方法、装置及计算机设备

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及一种LSM树的优化方法、装置及计算机设备。

背景技术

LSM树(Log-Structured Merge Tree，日志结构的合并树)是一种基于硬盘的数据结构，其包括动态数据与静态数据，动态数据和静态数据存储的是数据的修改增量。在访问LSM树的过程中，依次读取其动态数据和静态数据，将所读取到的结果进行合并，以得到最终的读取结果。

由于LSM树保存的是数据的修改增量，从而当LSM树中保存有大量的用于表示数据已被删除的修改增量时，在进行数据读取过程中，需要遍历大量的无用数据，才能读取到有效的数据，这也就导致数据的读取性能下降。

发明内容

针对上述技术问题，本说明书实施例提供一种LSM树的优化方法、装置及，技术方案如下：

根据本说明书实施例的第一方面，提供一种LSM树的优化方法，所述方法包括：

确定出LSM树中，所指向的数据已被删除的目标叶子节点；

在所述LSM树的动态数据中，为所述目标叶子节点添加删除标记。

根据本说明书实施例的第二方面，提供一种LSM树的优化装置，所述装置包括：

目标确定模块，用于确定出LSM树中，所指向的数据已被删除的目标叶子节点；

第一添加模块，用于在所述LSM树的动态数据中，为所述目标叶子节点添加删除标记。

根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现本说明书实施例提供的LSM树的优化方法。

本说明书实施例所提供的技术方案，通过确定出LSM树中，所指向的数据已被删除的目标叶子节点，在该LSM树的动态数据中，为所确定出的目标叶子节点添加删除标记，由于在对LSM树进行数据访问时，首先访问LSM树的动态数据，再访问LSM树的静态数据，从而在动态数据中，为那些所指向的数据已被删除的目标叶子节点添加删除标记，可以实现在访问动态数据时，直接跳过具有删除标记的叶子节点，从而提高数据访问效率，进一步，在访问静态数据时，也无需重复访问具有删除标记的叶子节点，从而提高数据访问效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为LSM树的一种示例；

图2为本说明书一示例性实施例提供的一种LSM树的优化方法的实施例流程图；

图3为LSM树的静态数据的一种示例；

图4为在LSM树的动态数据中添加删除标记的一种示例；

图5为在LSM树的动态数据中添加删除标记的另一种示例；

图6为本说明书一示例性实施例提供的一种LSM树的优化装置的实施例框图；

图7示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

LSM树是一种基于硬盘的数据结构，其代表数据库包括Hbase、NessDB、LevelDB等。LSM树的存储引擎和B+树的存储引擎一样，同样支持增、删、读、改、顺序扫描操作，而且其通过批量存储技术可以有效规避磁盘随机写入问题，具体的，其核心思路是，假定内存足够大，因此，不需要每次有数据更新就必须将数据写入磁盘中，而可以先将最新的数据驻留在内存中，等到内存中的数据达到指定的大小限制后，再使用归并排序的方式将内存中的数据合并追加到磁盘队尾，基于此，也就可以将LSM树所存储的数据分为静态数据和动态数据，其中，动态数据是指内存中的数据，静态数据中的数据是指存储于持久化介质上，例如磁盘中的数据。本领域技术人员可以理解的是，LSM树中存储的是数据的修改增量，也就是数据的变更信息。例如，如图1所示，为LSM树的一种示例。

在访问LSM树的过程中，需要依次读取其动态数据和静态数据，将所读取到的结果进行合并，以得到最终的读取结果。

目前，在访问LSM的过程中，存在两个问题：

其一：当频繁地在动态数据中插入用于表示数据已被删除的修改增量时，也即动态数据中保存了大量的删除记录时，在访问动态数据时，需要遍历大量无用的数据，导致数据的读取性能下降。例如，假设通过索引键范围[1，50]查找数据，而如图1所示，在索引键范围[1，50]内存在大量的已被删除的数据，例如索引键为3至8的叶子节点所指向的数据，索引键为15至31的叶子节点所指向的数据，以及索引键为32和索引键为49的叶子节点所指向的数据，那么，在现有技术中，仍需要逐个遍历叶子节点，最终才能得到索引键为9至14，以及索引键为33至48的叶子节点所指向的数据。

其二：在访问静态数据时，依旧需要遍历大量无用的数据，导致数据的查询性能下降。例如，在访问图1所示例的静态数据时，依旧需要逐个遍历索引键为3至99的叶子节点所指向的数据，并无法跳过所指向的数据已被删除的叶子节点。

基于此，本说明书实施例提供一种LSM树的优化方法，在该方法中，考虑到在访问LSM树时，先访问其动态数据，再访问其静态数据，从而在LSM树的动态数据中，为所指向的数据已被删除的叶子节点添加用于表示数据已被删除的删除标记，以实现后续在访问LSM树时，若在动态数据中查找到带有删除标记的叶子节点，则直接跳过该叶子节点，并且，后续在查找静态数据时，也不再查找具有相同索引键的叶子节点，从而提升数据查询性能。

如下，示出下述实施例对上述LSM树的优化方法进行详细说明：

请参见图2，为本说明书一示例性实施例提供的一种LSM树的优化方法的实施例流程图，该方法包括以下步骤：

步骤202：确定出LSM树中，所指向的数据已被删除的目标叶子节点。

在本说明书实施例中，可以分别针对动态数据和静态数据，确定出所指向的数据已被删除的叶子节点，为了描述方便，将所确定出的，也即所指向的数据已被删除的叶子节点称为目标叶子节点。

如下，分别从动态数据和静态数据两方面进行说明：

首先，动态数据：

以图1所示例的动态数据为例，假设通过索引键范围[1，50]查找数据，在查询过程中，可以检测到多个索引键连续的叶子节点所指向的数据已被删除，例如，索引键为3至8的叶子节点，索引键为15至31的叶子节点，那么，则可以将这些叶子节点确定为目标叶子节点。

其次，静态数据：

以图3所示例的静态数据为例，假设通过索引键范围[1，50]查找数据，在查询过程中，可以检测到多个索引键连续的叶子节点所指向的数据已被删除，例如，索引键为3至15的叶子节点，那么，则可以将这些叶子节点确定为目标叶子节点。

步骤204：在LSM树的动态数据中，为目标叶子节点添加删除标记。

在本步骤中，仍分别从动态数据和静态数据两方面进行说明：

首先，动态数据：

基于上述步骤202中的相关举例，在动态数据中所确定出的目标叶子节点包括：索引键为3至8的叶子节点，索引键15至31的叶子节点，那么，在本步骤中，则可以为这些目标叶子节点添加删除标记，例如，如图4所示，在图4中，“dead”表示删除标记，本领域技术人员可以理解的是，以“dead”作为删除标记仅仅作为举例，在实际应用中，删除标记可以以其它形式体现，本说明书实施例对此不作限制。

此外，在本说明书实施例中还提出，若在LSM树的动态数据中，任一枝节点下的所有叶子节点均被添加有删除标记，则为该枝节点添加删除标记。例如，如图4所示，在“15”这一枝节点下，所有的叶子节点均被添加有删除标记，则可以为该枝节点也添加删除标记，如图4所示。通过该种处理，后续在访问LSM树的动态数据时，则在访问完“3”这一枝节点下的所有叶子节点后，可以直接跳过“15”这一枝节点，访问“32”这一枝节点，从而提高数据访问效率。

此外，在本说明书实施例中，考虑到后续进一步提高在静态数据中进行数据访问的效率，可以进一步判断被添加删除标记的目标叶子节点中，具有最大索引键的目标叶子节点所指向的叶子节点的索引键是否与该最大索引键连续，若连续，则可以不做处理，若不连续，则可以在该具有最大索引键的目标叶子节点之后插入一个虚拟叶子节点，该虚拟叶子节点的索引键为该最大索引键加1。

举例来说，以被添加删除标记的目标叶子节点为索引键为3至8的叶子节点为例，在该些目标叶子节点中，最大索引键为8，如图4所示，索引键为8的叶子节点所指向的下一个叶子节点的索引键为9，与8连续，从而则可以不做处理。

再举例来说，以被添加删除标记的目标叶子节点为索引键为15至31的叶子节点为例，在该些目标叶子节点中，最大索引键为31，如图4所示，索引键为31的叶子节点不再指向其他叶子节点，那么，则可以在该叶子节点之后插入一个虚拟叶子节点，该虚拟叶子节点的索引键为32，例如，如图4所示。当然，本领域技术人员可以理解的是，该虚拟叶子节点不具有删除标记。

通过该种处理，可以进一步提高在静态数据中进行数据访问的效率，例如，在访问动态数据过程中，当遍历到索引键为9的叶子节点时，发现其不具有删除标记，则可以将[3，8]这一索引键范围看作被删除数据的索引键范围，后续，在访问静态数据时，则可以不再访问索引键属于这一范围的叶子节点。

其次，静态数据：

基于上述步骤202中的相关举例，在静态数据中所确定出的目标叶子节点包括索引键为3至15的叶子节点，此时，则可以首先确定动态数据中是否存在索引键为3至15的目标叶子节点，若不存在，则可以将目标叶子节点中，具有最大索引键和最小索引键的两个目标叶子节点插入LSM树的动态数据中，在LSM树的动态数据中，为所插入的目标叶子节点添加删除标记。

例如，在索引键为3至15的叶子节点中，最大索引键为15，最小索引键为3，按照前述描述，将索引键为3和15的目标叶子节点插入LSM树的动态数据中，并在动态数据中，为所插入的目标叶子节点添加删除标记，具体如图5所示。

此外，可以进一步判断被添加删除标记的目标叶子节点中，具有最大索引键的目标叶子节点所指向的叶子节点的索引键是否与该最大索引键连续，若连续，则可以不做处理，若不连续，则可以在索引键为该最大索引键的目标叶子节点之后插入一个虚拟叶子节点，该虚拟叶子节点的索引键为该最大索引键加1。

举例来说，在图5中，被添加删除标记的目标叶子节点为索引键为3和15的叶子节点，其中的最大索引键为15，而在索引键为15的这一叶子节点之后，不具有其他叶子节点，则可以在该叶子节点之后，插入一个索引键为16的虚拟叶子节点，具体如图5所示。

通过该种后续，后续在访问动态数据过程中，当遍历到索引键为16的虚拟叶子节点时，发现其不具有删除标记，则可以将[3，15]看作被删除数据的索引键范围，后续，在访问静态数据时，则可以不再访问索引键属于这一范围的叶子节点，从而提高在静态数据中进行数据访问的效率。

相应于上述方法实施例，本说明书实施例还提供一种LSM树的优化装置，请参见图6，为本说明书一示例性实施例提供的一种LSM树的优化装置的实施例框图，该装置可以包括：目标确定模块61、第一添加模块62。

其中，目标确定模块61，可以用于确定出LSM树中，所指向的数据已被删除的目标叶子节点；

第一添加模块62，可以用于在所述LSM树的动态数据中，为所述目标叶子节点添加删除标记。

在一实施例中，所述装置还可以包括(图6中未示出)：

第二添加模块，用于在所述LSM树的动态数据中，若检测到任一枝节点下的所有叶子节点均被添加有删除标记，则为所述枝节点添加删除标记。

在一实施例中，所述目标确定模块61可以具体用于：

分别针对LSM树的动态数据和静态数据，确定出所指向的数据已被删除，且索引键连续的两个以上目标叶子节点。

在一实施例中，所述第一添加模块62可以包括(图6中未示出)：

插入子模块，用于若针对LSM树的静态数据确定出目标叶子节点，分别将所确定出的目标叶子节点中，具有最大索引键和最小索引键的两个目标叶子节点插入所述LSM树的动态数据中；

标记添加子模块，用于在所述LSM树的动态数据中，为所插入的目标叶子节点添加删除标记。

在一实施例中，所述装置还可以包括(图6中未示出)：

判断模块，用于判断被添加删除标记的目标叶子节点中，具有最大索引键的目标叶子节点所指向的叶子节点的索引键是否与所述最大索引键连续；

虚拟节点插入模块，用于若不连续，则在所述具有最大索引键的目标叶子节点之后插入虚拟叶子节点，其中，所述虚拟叶子节点的索引键为所述最大索引键加1。

可以理解的是，目标确定模块61与第一添加模块62作为两种功能独立的模块，既可以如图6所示同时配置在装置中，也可以分别单独配置在装置中，因此图6所示的结构不应理解为对本说明书实施例方案的限定。

此外，上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述的LSM树的优化方法。该方法至少包括：确定出LSM树中，所指向的数据已被删除的目标叶子节点；在所述LSM树的动态数据中，为所述目标叶子节点添加删除标记。

图7示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器710、存储器720、输入/输出接口730、通信接口740和总线750。其中处理器710、存储器720、输入/输出接口730和通信接口740通过总线750实现彼此之间在设备内部的通信连接。

处理器710可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器720可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器720可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器720中，并由处理器710来调用执行。

输入/输出接口730用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图7中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口740用于连接通信模块(图7中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线750包括一通路，在设备的各个组件(例如处理器710、存储器720、输入/输出接口730和通信接口740)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器710、存储器720、输入/输出接口730、通信接口740以及总线750，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的LSM树的优化方法。该方法至少包括：确定出LSM树中，所指向的数据已被删除的目标叶子节点；在所述LSM树的动态数据中，为所述目标叶子节点添加删除标记。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims

1.一种LSM树的优化方法，所述方法包括：

确定出LSM树的动态数据和静态数据中，所指向的数据已被删除的目标叶子节点；所述动态数据是指内存中的数据，所述静态数据是指存储于持久化介质上的数据；

2.根据权利要求1所述的方法，所述方法还包括：

在所述LSM树的动态数据中，若检测到任一枝节点下的所有叶子节点均被添加有删除标记，则为所述枝节点添加删除标记。

3.根据权利要求1所述的方法，在所述LSM树的动态数据中，为所述目标叶子节点添加删除标记，包括：

若针对LSM树的静态数据确定出目标叶子节点，且确定出的所有目标叶子节点的索引键连续，则分别将所确定出的目标叶子节点中，具有最大索引键和最小索引键的两个目标叶子节点插入所述LSM树的动态数据中；

在所述LSM树的动态数据中，为所插入的目标叶子节点添加删除标记。

4.根据权利要求3所述的方法，在所述LSM树的动态数据中，为所插入的目标叶子节点添加删除标记之后，所述方法还包括：

判断插入的目标叶子节点中，具有最大索引键的目标叶子节点所指向的叶子节点的索引键是否与所述最大索引键连续；

若不连续，则在所述具有最大索引键的目标叶子节点之后插入虚拟叶子节点，其中，所述虚拟叶子节点的索引键为所述最大索引键加1，以在后续访问动态数据过程中，当遍历到所述虚拟叶子节点时，根据所述虚拟叶子节点不具有删除标记，将由所述最小索引键和最大索引键组成的索引键范围确定为被删除数据的索引键范围，以在后续访问静态数据时，不再访问索引键属于所述索引键范围的叶子节点。

5.一种LSM树的优化装置，所述装置包括：

目标确定模块，用于确定出LSM树的动态数据和静态数据中，所指向的数据已被删除的目标叶子节点；所述动态数据是指内存中的数据，所述静态数据是指存储于持久化介质上的数据；

6.根据权利要求5所述的装置，所述装置还包括：

7.根据权利要求5所述的装置，所述第一添加模块包括：

插入子模块，用于若针对LSM树的静态数据确定出目标叶子节点，且确定出的所有目标叶子节点的索引键连续，则分别将所确定出的目标叶子节点中，具有最大索引键和最小索引键的两个目标叶子节点插入所述LSM树的动态数据中；

8.根据权利要求7所述的装置，所述装置还包括：

判断模块，用于判断插入的目标叶子节点中，具有最大索引键的目标叶子节点所指向的叶子节点的索引键是否与所述最大索引键连续；

虚拟节点插入模块，用于若不连续，则在所述具有最大索引键的目标叶子节点之后插入虚拟叶子节点，其中，所述虚拟叶子节点的索引键为所述最大索引键加1，以在后续访问动态数据过程中，当遍历到所述虚拟叶子节点时，根据所述虚拟叶子节点不具有删除标记，将由所述最小索引键和最大索引键组成的索引键范围确定为被删除数据的索引键范围，以在后续访问静态数据时，不再访问索引键属于所述索引键范围的叶子节点。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至4任一项所述的方法。