CN110851434A - 一种数据存储方法、装置及设备 - Google Patents

Abstract

本申请公开了一种数据存储方法、装置及设备。方法包括：使用内存进行数据积累，当检测到内存中积累的数据量达到预定阈值时，将内存中的数据转存到LSM树的第0层中，以实现数据持久化；同步检测该LSM树的状态，当检测到该LSM树满足预定条件时，将其最后一层的全部或部分数据归并到B树中。由此，基于本申请提出的LSM树‑B树的混合型数据结构，可使用LSM树存储新数据，使用B树存储旧数据，进而达到提高数据读写效率的目的。

Description

一种数据存储方法、装置及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据存储方法、装置及设备。

背景技术

随着大数据时代的到来，人们对数据访问的需求越来越多，相应地，互联网企业对数据存储的读写的要求也越来越高。

但传统的数据结构存储引擎难以兼顾读性能和写性能，因此，需要提供更可靠的数据存储方案。

发明内容

本说明书实施例提供一种数据存储方法、装置及设备，用以解决现有技术的数据结果的读写效率低的问题。

本说明书实施例还提供一种数据存储方法，包括：

使用内存进行数据积累；

当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到LSM树的第0层中；

当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到B树中。

可选的，所述最后一层为第0层。

可选的，还包括：

基于预设的归并顺序对所述LSM树进行逐层归并处理，得到第n层；

其中，所述最后一层为第n层，n≥1。

可选的，还包括：

确定所述LSM树的写入放大比率；

检测到所述LSM树的写入放大比率大于所述B树的写入放大比率时，确定所述LSM树满足预设条件。

可选的，确定所述LSM树的写入放大比率包括：

获取所述LSM树的预设参数的参数值；

基于所述预设参数的参数值，确定所述LSM树的写入放大比率。

其中，所述预设参数包括所述LSM树的层数、各层的数据量、数据总量中的至少一个。

可选的，还包括：

当所述LSM树的数据量达到第二预定阈值时，确定所述LSM树满足预设条件。

可选的，还包括：

确定所述LSM树的读写能力评分和B树的读写能力评分；

确定所述LSM树的读写能力评分和所述B树的读写能力评分的差值小于预定阈值时，确定所述LSM树满足预设条件。

可选的，将所述LSM树的最后一层的全部或部分数据归并到B树中包括：

确定所述最后一层中需要合并的文件；

顺序读取所述需要合并的文件，并进行合并排序处理，得到合并后的文件；

将所述合并后的文件转存到所述B树中。

可选的，还包括：

确定所述合并后的文件转存到所述B树后，删除所述最后一层中的所述需要合并的文件。

本说明书实施例还提供一种数据存储装置，包括：

积累模块，用于使用内存进行数据积累；

转存模块，用于当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到LSM树的第0层中；

第一归并模块，用于当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到B树中。

可选的，所述最后一层为第0层。

可选的，还包括：

第二归并模块，用于基于预设的归并顺序对所述LSM树进行逐层归并处理，得到第n层；

其中，所述最后一层为第n层，n≥1。

可选的，第一归并模块，具体用于：

确定所述LSM树的写入放大比率；检测到所述LSM树的写入放大比率大于所述B树的写入放大比率时，确定所述LSM树满足预设条件。

可选的，第一归并模块，具体用于：

获取所述LSM树的预设参数的参数值；基于所述预设参数的参数值，确定所述LSM树的写入放大比率。

其中，所述预设参数包括所述LSM树的层数、各层的数据量、数据总量中的至少一个。

可选的，第一归并模块，具体用于：

当所述LSM树的数据量达到第二预定阈值时，确定所述LSM树满足预设条件。

可选的，第一归并模块，具体用于：

确定所述LSM树的读写能力评分和B树的读写能力评分；确定所述LSM树的读写能力评分和所述B树的读写能力评分的差值小于预定阈值时，确定所述LSM树满足预设条件。

可选的，第一归并模块，具体用于：

确定所述最后一层中需要合并的文件；顺序读取所述需要合并的文件，并进行合并排序处理，得到合并后的文件；将所述合并后的文件转存到所述B树中。

可选的，还包括：

删除模块，用于确定所述合并后的文件转存到所述B树后，删除所述最后一层中的所述需要合并的文件。

本说明书实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如下操作：

使用内存进行数据积累；

当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到LSM树的第0层中；

当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到B树中。

本说明书实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如下操作：

使用内存进行数据积累；

当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到LSM树的第0层中；

当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到B树中

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

基于本申请提出的LSM树-B树的混合型数据结构，在缓存Buffer区的数据积累至一定数量时，将Buffer区的数据转存至LSM树的第0层中；然后，在LSM树满足预定条件时，将LSM树的最后一层的全部或部分数据归并到B树中，以同时发挥LSM树写入效率高、B树读取效率高的优点，进而提高数据读写的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a和图1b为本说明书提供的一种数据存储系统的示意图；

图2为本说明书实施例1提供的一种数据存储方法的流程示意图；

图3为本说明书实施例2提供的一种数据存储装置的结构示意图；

图4为本说明书实施例3提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

结合背景技术部分的陈述，对于随机写入的业务场景，目前使用最广泛的数据结构存储引擎包括日志结构的合并(Log-Structured Merge Tree，LSM)树存储引擎和B树存储引擎。

对于B树类的存储引擎，其随机写入的性能有限，因此，为满足业务需求，一般会加大写入缓存Buffer区。但缺点是会占用较大内存，成本极高，而且实际效果有限。

对于LSM树类的存储引擎，其较深的层次将导致较高的归并成本，因此，为满足业务需求，一般会调整L0层的排序字符串表(Sorted String Table，SST)数据文件大小和个数。但对归并成本的改善程度有限，而且，对数据读取有较大性能影响。

基于此，本发明提供了一种数据存储方法，适用于具备多级存储设备的数据存储系统，系统基于LSM树-B树的混合型的数据结构，在Buffer区的数据积累至一定数量时，将Buffer区的数据转存至LSM树的第0层中；然后，在LSM树满足预定条件时，将LSM树的最后一层的全部或部分数据归并到B树中。

下面结合附图1a或图1b，对本发明的应用场景进行说明：

参见图1a，在第一种应用场景中，数据存储系统包括内存层、第一持久化层和第二持久化层，其中：

内存层，用于使用内存缓存数据，并在内存中的数据达到一定数量时，将内存中的数据转存至第一持久层；

第一持久化层，用于以LSM树的数据结构存储数据，包括：将内存转存的数据存入第0层中，并在第0层的数据达到一定数量时，对第0层中的部分或全部数据与第1层中的数据进行归并处理，得到新的L1层的数据。例如图1a中示出的，将L0层(第0层)中的A-F区域range的SST文件和B-X区域的SST文件与L1层(第1层)中的D-H区域的SST文件进行归并，得到新的SST文件，以此类推，实现逐层归并。在逐层归并的过程中，若检测到LSM树满足预定条件，则将最后一层的全部数据或部分数据转存至第二持久层。

第二持久化层，用于以B树的数据结构存储第一持久层转存的数据。

参见图1b，在第二种应用场景中，数据存储系统包括内存层、第一持久化层和第二持久化层，其中：

内存层，用于使用内存缓存数据，并在内存中的数据达到一定数量时，将内存中的数据转存至第一持久层；

第一持久化层，用于以LSM树的数据结构存储数据，包括：将内存转存的数据存入第0层中，在向第0层写入数据的过程中，若检测到LSM树满足预定条件，则将第0层的全部数据或部分数据转存至第二持久层。

第二持久化层，用于以B树的数据结构存储第一持久层转存的数据。

以下结合附图，详细说明本申请各实施例提供的技术方案。

实施例1

图2为本说明书实施例1提供的一种数据存储方法的流程示意图，适用于数据存储系统，参见图2，该方法具体可以包括如下步骤：

步骤22、使用内存进行数据积累；

以开源分布式NoSQL数据库系统Cassandra为例，步骤22的一种实现方式可以具体为：

当发生一个写操作时，系统将数据缓存在内存结构(对应于图1中的内存层)中，以Memtable的形式存在，并提供可配置的持久化，同时追加写操作至磁盘上的存储日志commit log中，所述存储日志中记录了每个写操作。其中，写操作具体可以为：

系统以memtable-sorted的顺序将数据写入磁盘，同时在磁盘上创建一分区索引；将数据的令牌token映射map到磁盘的位置。基于Memtable的内容大小或者commit log的空间大小来确定内存中积累的数据量。

步骤24、当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到LSM树的第0层中；

具体地，结合图1a或图1b的示出，在确定内存中Memtable的内容大小或者commitlog的空间大小到了一定值时，将内存中数据转储到第0层的SSTable文件中。

步骤26、当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到B树中。

需要说明的是，步骤26的一种实现方式可以为：

不限制LSM树的层数；在LSM树逐层归并的过程中，检测LSM树是否满足预定条件，若是，则把当前最后一层的全部或部分数据归并到B树中。

其中，最后一层可能是第0层，也可以能逐层归并得到的第n层，n＞0。

步骤26的另一种实现方式可以为：

预先限制LSM树的层数范围，例如：不超出n层，n≥0；然后，在向LSM树转存数据或LSM树逐层归并的过程中，检测LSM树是否满足预定条件或者写满预定层数，若是，则把当前最后一层的全部或部分数据归并到B树中。

其中，结合图1a，逐层归并的过程可以为：基于数据存入时间，选出L0层中A-F区域的SST文件和B-X区域的SST文件，作为需要合并的文件；然后，按照数据存入时间的顺序，或者，数据大小的顺序读取选出的SST文件，并采用多路归并算法将其与L1的D-H区域的SST文件进行合并排序处理，得到新的L1层的SST文件。

在步骤26中，确定LSM树是否满足预定条件的一种实现方式可以为：

步骤S1、确定LSM树的读写能力评分和B树的读写能力评分；

其中，读写能力评分包括读能力评分和写能力评分。

LSM树的写能力评分可取决于LSM树的层数、写入放大比率等，LSM树的读能力评分可取决于LSM树的数据量、层数等；例如：层数越多，写入归并的成本越高，则写能力评分越低；又例如：各层的数据量或数据总量越大，则读取性能越低，则读能力评分越低，一般各层文件超过64个后，读取能力会明显下降。

B树的读写能力评分优选为基于业务需求配置的定值，业务需求包括写入频次、存储介质等。

步骤S2、确定所述LSM树的读写能力评分和所述B树的读写能力评分的差值小于预定阈值时，确定所述LSM树满足预定条件。

其中，预定阈值可以为0，也可以为大于0的数值。

假设预定阈值为0，即，在LSM树的读写能力评分小于B树的读写能力评分时，认为向B树存入数据能继续保持系统预期的读写效率；或者，在LSM树的读写能力评分大于B树的读写能力评分时，认为继续向LSM树写入数据依然可以保持预期的读写效率，无需归并至B树中。

由此，本实现方式综合考虑系统数据读写性能，可保障LSM树的最差状态不大于B树的平均服务水平，进而达到预期的数据读写能力。

在步骤26中，确定LSM树是否满足预定条件的另一种实现方式可以为：

步骤S1、确定所述LSM树的写入放大比率；

其中，写入放大(Write Amplification，简称WA)是闪存和固态硬盘(Solid StateDrives，SSD)中一种不期望的现象，即实际写入的物理信息量是将要写入的逻辑数量的多倍，是由于闪存写入的量和系统要求写入的量出现不一致造成的。

具体地，获取所述LSM树的预设参数的参数值；基于所述预设参数的参数值，确定所述LSM树的写入放大比率。其中，所述预设参数包括所述LSM树的层数、各层的数据量、数据总量中的至少一个。

例如：基于专家经验可知，LSM树的写入放大比率与LSM树的层次结构密切相关，层次越深，写入放大比率越高；一般情况下三层LSM树的写入放大比率约为10倍。

又例如：基于实时检测的层数、各层数据量、数据总量中的至少一个，评估LSM树的写入放大比率。其中，评估可为采用专家经验值的方式。

步骤S2、检测到所述LSM树的写入放大比率大于所述B树的写入放大比率时，确定所述LSM树满足预设条件。

其中，B树的写入放大比率约为1-16(假设页为16KB，单条数据1KB)。基于此，可基于专家经验和实际业务需求对B树的写入放大比率进行取值。

由此，本实现方式基于LSM树的层次越深，写入放大比率越高的特性，通过合理配置，使得B树承载更多的LSM树中高层级的数据，从而从整体上降低写入放大系数。

在步骤26中，确定LSM树是否满足预定条件的又一种实现方式可以为：

当LSM树的数据量达到第二预定阈值时，确定所述LSM树满足预定条件。

由此，可避免出现LSM树中数量过多时数据读取性能将明显下降的问题；另外，不难理解的是，还可将LSM树的数据量更换为LSM树的层数、各层的数据量，以避免层数多大导致的归并成本将明显上升的问题。

在步骤26中，将所述LSM树的最后一层的全部或部分数据归并到B树中的实现方式可以为：

确定所述最后一层中需要合并的文件；顺序读取所述需要合并的文件，并进行合并排序处理，得到合并后的文件；将所述合并后的文件转存到所述B树中。结合图1a，具体地：

Step1：通过归并Compaction算法，选择LSM中需要Compaction的文件File1，File2，File3

Step2：数据合并时，从File1，File2，File3，分别顺序读取，并采用多路归并算法，合并排序，并实时按照数据大小顺序批量写入到B树中；且B树不需要打开预写式日志(Write-Ahead Logging，WAL)功能，因为数据此刻不会被删除；

Step3：当所有数据均写入到BTree中后，调用刷新功能Flush，确保写入到B树中的数据被正确持久化。

其中，合并排序处理是指将两个(或两个以上)有序表(例如：图1a中的A-F区域的表、B-X区域的表和D-H区域的表)合并成一个新的有序表，即把待排序序列分为若干个子序列，每个子序列是有序的，然后再把有序子序列合并为整体有序序列。

可选的，为减少数据规模和文件数量，方法还包括：

确定所述合并后的文件转存到所述B树，即确保正确持久化后，删除所述最后一层中的所述需要合并的文件。

可选的，本实施例还进一步公开了：数据读取步骤，包括：按照内存层-第一持久层-第二持久层的顺序从上向下依次扫描，具体地：

步骤S1、扫描内存是否存在目标数据；

若是，则读取目标数据，流程结束；若否，则执行步骤S2；

步骤S2、基于数据存入时间从新到旧依次扫描L0层中的数据，以确定L0层中是否存在目标数据；

若是，则读取目标数据，流程结束；若否，则执行步骤S3；

步骤S3、采用二分查找算法，查找L1层中是否存在目标数据；

若是，则读取目标数据，流程结束；若否，则依次向下查找L2.L3…，直到扫描完所有的LSM层若还是未查找到目标数据，则执行步骤S4；

步骤S3、采用多叉树查找算法，在B中寻找目标数据。

若查找到目标数据，则读取；若依然未查找到目标数据，则说明目标数据不存在。

在数据读取方面，本数据结构由于层次结构较少，相对于现有的需要穿透LSM数据结构、扫描较多层次的方案相比，能有效提高读数据的性能。而且，由于实际应用中，近期数据都存储在LSM树上，对近期数据的读取并不需要扫描B，因此，能进一步保证整体读数据的性能。

可见，本实施例基于LSM树-B树的混合型数据结构，先将内存缓存数据持久化至LSM树，然后，在LSM树满足预定条件时，将其最后一层的全部或部分数据归并到B树中。由此，可在保持LSM树低层次的高读写效率的同时，通过将LSM树的高层级的数据批量顺序的转存至B树中，以基于B树对顺序批量写入适应性好的特性，保证高层级的数据的写入效率，而且保持B树的读数据效率高的特点，以同时发挥两种存储引擎的优点达到提高数据读写效率的目的。

另外，对于上述方法实施方式，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施方式并不受所描述的动作顺序的限制，因为依据本发明实施方式，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施方式均属于优选实施方式，所涉及的动作并不一定是本发明实施方式所必须的。

实施例2

图3为本说明书实施例2提供的一种数据存储装置的结构示意图，参见图3，该装置具体可以包括：数据积累模块31、转存模块32和第一归并模块33，其中：

数据积累模块31，用于使用内存进行数据积累；

转存模块32，用于当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到LSM树的第0层中；

第一归并模块33，用于当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到B树中。

可选的，所述最后一层为第0层。

可选的，装置还包括：

第二归并模块，用于基于预设的归并顺序对所述LSM进行逐层归并处理，得到第n层；

其中，所述最后一层为第n层，n≥1。

可选的，第一归并模块，具体用于：

确定所述LSM树的写入放大比率；检测到所述LSM树的写入放大比率大于所述B树的写入放大比率时，确定所述LSM树满足预设条件。

可选的，第一归并模块，具体用于：

获取所述LSM树的预设参数的参数值；基于所述预设参数的参数值，确定所述LSM树的写入放大比率。

其中，所述预设参数包括所述LSM树的层数、各层的数据量、数据总量中的至少一个。

可选的，第一归并模块，具体用于：

当所述LSM树的数据量达到第二预定阈值时，确定所述LSM树满足预设条件。

可选的，第一归并模块，具体用于：

确定所述LSM树的读写能力评分和B树的读写能力评分；确定所述LSM树的读写能力评分和所述B树的读写能力评分的差值小于预定阈值时，确定所述LSM树满足预设条件。

可选的，第一归并模块，具体用于：

确定所述最后一层中需要合并的文件；顺序读取所述需要合并的文件，并进行合并排序处理，得到合并后的文件；将所述合并后的文件转存到所述B树中。

可选的，装置还包括：

删除模块，用于确定所述合并后的文件转存到所述B树后，删除所述最后一层中的所述需要合并的文件。

可见，本实施例基于LSM树-B树的混合型数据结构，先将内存缓存数据持久化至LSM树，然后，在LSM树满足预定条件时，将其最后一层的全部或部分数据归并到B树中。由此，可在保持LSM树低层次的高读写效率的同时，通过将LSM树的高层级的数据批量顺序的转存至B树中，以基于B树对顺序批量写入适应性好的特性，保证高层级的数据的写入效率，而且保持B树的读数据效率高的特点，以同时发挥两种存储引擎的优点达到提高数据读写效率的目的。

另外，对于上述装置实施方式而言，由于其与方法实施方式基本相似，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。而且，应当注意的是，在本发明的装置的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合。

实施例3

图4为本说明书实施例5提供的一种电子设备的结构示意图，参见图4，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据存储装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

网络接口、处理器和存储器可以通过总线系统相互连接。总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器可能包含高速随机存取存储器(Random-AccessMemory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器。

处理器，用于执行所述存储器存放的程序，并具体执行：

使用内存进行数据积累；

当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到LSM树的第0层中；

当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到B树中。

上述如本申请图3所示实施例揭示的数据存储装置或管理者(Master)节点执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

数据存储装置还可执行图2的方法，并实现管理者节点执行的方法。

基于相同的发明创造，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行图2对应的实施例提供的数据存储方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (20)

1.一种数据存储方法，包括：

使用内存进行数据积累；

当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到日志结构的合并树LSM树的第0层中；

当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到多路搜索树B树中。

2.根据权利要求1所述的方法，其中，所述最后一层为第0层。

3.根据权利要求1所述的方法，还包括：

基于预设的归并顺序对所述LSM树进行逐层归并处理，得到第n层；

其中，所述最后一层为第n层，n≥1。

4.根据权利要求1所述的方法，其中，还包括：

确定所述LSM树的写入放大比率；

检测到所述LSM树的写入放大比率大于所述B树的写入放大比率时，确定所述LSM树满足预设条件。

5.根据权利要求4所述的方法，其中，确定所述LSM树的写入放大比率包括：

获取所述LSM树的预设参数的参数值；

基于所述预设参数的参数值，确定所述LSM树的写入放大比率。

其中，所述预设参数包括所述LSM树的层数、各层的数据量、数据总量中的至少一个。

6.根据权利要求1所述的方法，其中，还包括：

当所述LSM树的数据量达到第二预定阈值时，确定所述LSM树满足预设条件。

7.根据权利要求1所述的方法，其中，还包括：

确定所述LSM树的读写能力评分和B树的读写能力评分；

确定所述LSM树的读写能力评分和所述B树的读写能力评分的差值小于预定阈值时，确定所述LSM树满足预设条件。

8.根据权利要求1所述的方法，其中，将所述LSM树的最后一层的全部或部分数据归并到B树中包括：

确定所述最后一层中需要合并的文件；

顺序读取所述需要合并的文件，并进行合并排序处理，得到合并后的文件；

将所述合并后的文件转存到所述B树中。

9.根据权利要求8所述的方法，其中，还包括：

确定所述合并后的文件转存到所述B树后，删除所述最后一层中的所述需要合并的文件。

10.一种数据存储装置，包括：

数据积累模块，用于使用内存进行数据积累；

转存模块，用于当所述内存的数据量达到第一预定阈值时，将所述内存中的数据转存到LSM树的第0层中；

第一归并模块，用于当所述LSM树满足预定条件时，将所述LSM树的最后一层的全部或部分数据归并到B树中。

11.根据权利要求10所述的装置，其中，所述最后一层为第0层。

12.根据权利要求10所述的装置，还包括：

第二归并模块，用于基于预设的归并顺序对所述LSM树进行逐层归并处理，得到第n层；

其中，所述最后一层为第n层，n≥1。

13.根据权利要求10所述的装置，其中，第一归并模块，具体用于：

确定所述LSM树的写入放大比率；检测到所述LSM树的写入放大比率大于所述B树的写入放大比率时，确定所述LSM树满足预设条件。

14.根据权利要求13所述的装置，其中，第一归并模块，具体用于：

获取所述LSM树的预设参数的参数值；基于所述预设参数的参数值，确定所述LSM树的写入放大比率。

其中，所述预设参数包括所述LSM树的层数、各层的数据量、数据总量中的至少一个。

15.根据权利要求10所述的装置，其中，第一归并模块，具体用于：

当所述LSM树的数据量达到第二预定阈值时，确定所述LSM树满足预设条件。

16.根据权利要求10所述的装置，其中，第一归并模块，具体用于：

确定所述LSM树的读写能力评分和B树的读写能力评分；确定所述LSM树的读写能力评分和所述B树的读写能力评分的差值小于预定阈值时，确定所述LSM树满足预设条件。

17.根据权利要求10所述的装置，其中，第一归并模块，具体用于：

确定所述最后一层中需要合并的文件；顺序读取所述需要合并的文件，并进行合并排序处理，得到合并后的文件；将所述合并后的文件转存到所述B树中。

18.根据权利要求17所述的方法，其中，还包括：

删除模块，用于确定所述合并后的文件转存到所述B树后，删除所述最后一层中的所述需要合并的文件。

19.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-9中任一项所述的方法。

20.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行如权利要求1-9中任一项所述的方法。

Images