CN114416646A - 一种层级存储系统的数据处理方法及装置 - Google Patents

Abstract

本发明涉及一种层级存储系统的数据处理方法及装置，使用计数器记录每个被查询的键值的访问热度，使用数据过滤器记录每个被查询的键值的层级，键值数据所在层级越低则访问速度越慢；在存储系统对两个数据层执行数据合并操作时，识别有效热键值，并将有效热键值通过临时存储文件保留在当前层，再通过热键值迁移操作，将临时存储文件逆向合并，上升至高层级数据层中存储，访问越频繁的键值会被存储到越上层，从而减少热键值数据的查找延时。与现有技术相比，本发明通过有效热键值识别进行了热键数据的向上合并，不仅提高了日志合并树的整体查找性能，而且增强了日志合并树对负载的适应性。

Description

一种层级存储系统的数据处理方法及装置

技术领域

本发明涉及计算机系统数据存储领域，尤其是涉及一种层级存储系统的数据处理方法及装置。

背景技术

日志结构合并树，是一种基于硬盘的数据结构，常用于NoSQL数据库中，核心思想就是放弃部分读能力，换取写入的最大化能力，其假定内存足够大，因此不需要每次有数据更新就必须将数据立即写入到磁盘中，而可以先将最新的数据驻留在内存中，等到积累到足够多之后，再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的，可以通过合并排序的方式快速合并到一起)。和B/B+树等索引相比，日志合并树能够将多个随机写转换为顺序写，利用存储设备的顺序写性能比随机写性能高的特征，明显提升数据的写入延时和吞吐。因此，日志合并树被广泛的应用在NoSQL数据库、键值存储系统，甚至传统的关系型数据库也逐渐采用日志合并树存储数据。

日志合并树将数据先写到内存中，同时为了保证数据可靠性，以追加写的方式将日志写入到磁盘。等聚集到一定数据或等待一定时间后，在批量更新到存储设备中。可以这样理解，日志结构合并树分为Level₀、Level₁、Level₂、...、Level_M多棵新的树，其中只有Level₀在内存中，其余Level₁-Level_M在磁盘中，内存中的Level₀新的树一般采用跳表等有序的数据结构，方便后续顺序写磁盘，磁盘中的Level₁-Level_M新的树，本质是数据排好序后顺序写到磁盘上的文件，只是叫做树而已，每一层的新的树都有一个阈值大小，达到阈值后会与下一层的新的树进行合并，合并结果写入下一层，只有内存中数据允许原地更新，磁盘上数据的变更只允许追加写，不做原地更新。

为了提高存储设备的读取效率，日志合并树通常会将数据分为多层存储，层级越往上，该层的存储容量越小。其目的是提升内存刷盘时的存储设备读取效率，因为除第一层Level₀外，其他层的数据都是有序存储的，缩小相邻层级数据存储空间大小的差异，可以提高数据合并时的数据读取量。当某一层的数据容量达到限定值后，再选择下一层的数据存储文件(Sorted Strings Table，SSTable)和当前层级数据存储文件进行合并，重新生成一个更大的存储文件存储到下一层中。随着数据量的不断写入，数据被逐层下沉到更低的层级，直到最后一级。因此，日志合并树读的数据在不同层级之间的分布是由数据写入时决定的。

日志合并树的查询操作会按顺序查找Level₀、Level₁、Level₂、...、Level_M每一棵树，一旦匹配便返回目标数据，不再继续查询，该策略保证了查到的一定是目标键值key最新版本的数据value。但是，数据的访问特征会随着负载的变化而不断变化，比如机器学习，在不同时期数据的读写比例不同，数据的冷热分布也不同。特别是，读取不同层级的数据的延时也不同，层级越往上读取延时越低。因此，在一些应用场景下，如果查询目标数据时需要涉及查询多级数据层，日志合并树的读性能较差，会引发大量的读取的I/O请求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种层级存储系统的数据处理方法及装置，访问越频繁的键值会被存储到越上层，从而减少热键值数据的查找延时，不仅能够提高日志合并树的整体查找性能，而且增强了日志合并树对负载的适应性。

本发明的目的可以通过以下技术方案来实现：

根据本发明的一个方面，提供了一种层级存储系统的数据处理方法，应用于按照日志结构合并树存储数据的存储系统中，存储系统包括内存和存储设备，方法包括：

存储系统执行数据查询操作时，使用计数器记录每个被查询的键值的访问热度，基于计数器得到高热访问键值，使用数据过滤器记录每个被查询的键值的层级，键值数据所在层级越低则访问速度越慢；

存储系统对两个数据层执行数据合并操作时，将层级较高的数据层作为第一目标层，将层级较低的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标存储文件合并入一个中间存储文件，在中间存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间存储文件中有效热键值的键值数据迁移至一个临时存储文件中，将临时存储文件存入第一目标层，将中间存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

存储系统对两个数据层执行热键值迁移操作时，将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标临时存储文件合并入一个中间临时存储文件，在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层。

进一步的，使用计数器记录每个被查询的键值的访问热度包括：

构建一个基于Count-Min Sketch的计数器，计数器包括多个数组，每个数组对应设置一个哈希函数；

每接收一次查询请求，则分别使用哈希函数对被查询的键值计算哈希值，将哈希值作为各个数组的位置索引，在各个数组的对应位置处更新数组的元素值，再记录各个数组更新后在对应位置处的元素值，将其中最小的元素值作为此次查询的键值的访问热度。

进一步的，基于计数器得到高热访问键值包括：

将访问热度最高的前h个键值的访问热度存入一个大小为h的最小堆，h>1，最小堆的根节点存放访问热度排在第h位的键值的访问热度access_min；

每接收一次查询请求，从计数器中获取被查询的键值更新后的访问热度access_new，若access_new≥access_min，则使用access_new替换access_min，更新最小堆，使得最小堆的根节点存放访问热度排在第h位的键值的访问热度，否则，最小堆保持不变。

进一步的，使用数据过滤器记录每个被查询的键值的层级包括：

构建一个布谷鸟过滤器，布谷鸟过滤器的每个存储位置用于存储键值的指纹信息以及层级；每接收一次查询请求，则记录被查询的键值key以及键值key被查询到的层级m，计算键值key在布谷鸟过滤器中的存储位置，若该存储位置未存放键值key，则将键值key的指纹信息和层级m存入，否则，将布谷鸟过滤器中记录的层级level返回，进行层级更新。

进一步的，层级更新具体为：若level>m，则将布谷鸟过滤器中存储的层级更新为m，若level≤m，则布谷鸟过滤器中存储的层级不做改变。

进一步的，基于计数器和数据过滤器识别有效热键值具体为：

获取键值，检查该键值是否为高热访问键值，若是，则查询数据过滤器，若数据过滤器中未记录该键值或记录了该键值且数据过滤器中该键值的层级大于等于第二目标层的层级，则该键值为有效热键值，否则，该键值不是有效热键值。

进一步的，选定两个相邻的数据层，将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，第一目标层中至少存在一个临时存储文件，存储系统执行热键值迁移操作具体为：

把第一目标层中的临时存储文件转移至第二目标层，若第二目标层中存在键值范围重叠的临时存储文件，则合并第一目标层和第二目标层中的临时存储文件得到一个中间临时存储文件，否则，将第一目标层中的临时存储文件作为中间临时存储文件；

在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

将第二目标层的相邻高层数据层作为新的第二目标层，将原第二目标层作为新的第一目标层，再次进行热键值迁移操作，直至第二目标层为存储设备的最高数据层。

进一步的，在存储系统执行数据合并操作和上述热键值迁移操作时，若数据层中新增了临时存储文件，则检查临时存储文件是否满足大小约束，若不满足，则将临时存储文件转换为正式的存储文件存入数据层。

进一步的，分别为各个数据层设置临时存储阈值，所述大小约束为：数据层中的临时存储文件的大小需小于该数据层预设的临时存储阈值。

根据本发明的另一个方面，提供了一种层级存储系统的数据处理装置，应用于按照日志结构合并树存储数据的存储系统中，包括：

访问热键记录单元，在存储系统执行数据查询操作时，所述访问热键记录单元使用计数器记录每个被查询的键值的访问热度，基于计数器得到高热访问键值，使用数据过滤器记录每个被查询的键值的层级，键值数据所在层级越低则访问速度越慢；

数据合并单元，在存储系统对两个数据层执行数据合并操作时，所述数据合并单元将层级较高的数据层作为第一目标层，将层级较低的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标存储文件合并入一个中间存储文件，在中间存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间存储文件中有效热键值的键值数据迁移至一个临时存储文件中，将临时存储文件存入第一目标层，将中间存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

热键数据迁移单元，在存储系统对两个数据层执行热键值迁移操作时，所述热键数据迁移单元将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标临时存储文件合并入一个中间临时存储文件，在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层。

与现有技术相比，本发明具有以下有益效果：

(1)通过Count-Min Sketch计数器能够有效识别出当前负载访问的热键值，并通过最小堆维护访问频率较高的键值，便于在接收到查询请求后进行高热访问键值的更新，也便于识别一个键值是否为高热访问键值，数据结构简单，大大简化了操作复杂度。

(2)使用布谷鸟过滤器记录键值的层级，在识别高热访问键值后，结合层级分布识别有效热键值，能更准确的识别键值数据是否对应负载访问的键值数据，避免将底层旧键值数据向上迁移。

(3)通过临时存储文件在日志合并树重写时保留高热访问且层级有效的键值数据，避免有效热键值的键值数据下沉，导致访问延时过长，能够提高日志合并树的读性能，而且增强日志合并树对负载的适应性。

(4)通过热键值迁移操作将临时存储文件向上逆向合并，使得高热访问的有效热键值在靠近内存的较高层级分布，访问延时小，进一步提高了日志合并树的读性能，增强了日志合并树对负载的适应性。

附图说明

图1为计数器的结构示意图；

图2为布谷鸟过滤器的结构示意图；

图3为数据合并操作的流程图；

图4为热键值迁移操作的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件。

实施例1：

一种层级存储系统的数据处理方法，应用于按照日志结构合并树存储数据的存储系统中，存储系统包括内存和存储设备，存储设备为磁盘等，方法包括：

存储系统执行数据查询操作时，使用计数器记录每个被查询的键值的访问热度，基于计数器得到高热访问键值，使用数据过滤器记录每个被查询的键值的层级，键值数据所在层级越低则访问速度越慢；

存储系统对两个数据层执行数据合并操作时，将层级较高的数据层作为第一目标层，将层级较低的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标存储文件合并入一个中间存储文件，在中间存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间存储文件中有效热键值的键值数据迁移至一个临时存储文件中，将临时存储文件存入第一目标层，将中间存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

存储系统对两个数据层执行热键值迁移操作时，将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标临时存储文件合并入一个中间临时存储文件，在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层。

在应用日志结构合并树存储数据的存储系统中，包括多个数据层：Level₀、Level₁、Level₂、...、Level_M，其中，数据层Level₀在内存中，其余数据层在磁盘中，每个数据层中存放多组键值数据，数据层中存放的多组键值数据为：

<key_i,1,value_i,1>,<key_i,2,value_i,2>,…,<key_i,Ni,value_i,Ni>

其中，i∈[1,M]，M表示日志结构合并树的数据层的层数，<key_i,j,value_i,j>表示日志结构合并树中第i层数据层中第j组键值数据，key_i,j表示键值，指示所存储的数据的标识信息，value_i,j表示数据，即所存储的数据本身，j∈[1,N_i]，N_i表示日志结构合并树中第i层数据层中键值数据的数量；磁盘中的数据层中，键值数据以数据存储文件(Sorted StringsTable，SSTable)的格式存储，每个SSTable中键值数据都是根据键值有序排列的。

为了便于理解，从内存到磁盘，数据层的层级依次变低，若a>b，则说明层级a低于层级b，如Level₀层级最高，Level₁是磁盘中最高的数据层，Level_M层级最低，Level_M>Level₀，层级越低，该层级的键值数据的读取速度越慢；

(1)高热访问键值，也称热键值

构建一个基于Count-Min Sketch的计数器，Count-Min Sketch是一个概率数据结构，它使用散列函数将键值访问映射到频率，能够表示不同键值的访问计数。计数器包括x个长度为y的数组，每个数组对应设置一个哈希函数；

每接收一次查询请求，则使用x个哈希函数分别对被查询的键值计算哈希值，将哈希值作为各个数组的位置索引，在各个数组的对应位置处更新元素值，再记录各个数组更新后在对应位置处的元素值，将其中最小的元素值作为此次查询的键值的访问热度。

如图1所示，本实施例中x取4，y取5，对于被查询的键值key，分别进行哈希计算，在第一个数组中的哈希值对应的位置索引为第1格，更新该处的元素值；在第二个数组中的哈希值对应的位置索引为第2格，更新该处的元素值；在第三个数组中的哈希值对应的位置索引为第4格，更新该处的元素值；在第四个数组中的哈希值对应的位置索引为第3格，更新该处的元素值；

由于哈希可能会有冲突，即在一个数组中不同的键值哈希到同一个位置索引，因此，y的长度越大，冲突的可能性就越小；另一方面，使用多个数组和多个哈希函数，来计算一个键值对应的数组的位置索引，每个数组对键值进行了一次计数，这样，想知道某个键值的频率时，获取该键值在x个数组中的计数值的最小值即可。因此，计数器的大小需要根据键值范围以及精确度要求进行合理设置。

本实施例中，设计数组的哈希函数时，使得任一键值被哈希后的哈希值在数组小标范围内，这样，直接将哈希值作为数组下标，即位置索引，更新元素值时直接加1即可。

使用最小堆维护访问频率较高的键值，将访问热度最高的前h个键值的访问热度存入一个大小为h的最小堆，h>1，最小堆的每个节点中，存放键值key以及其对应的访问热度。最小堆的根节点存放访问热度排在第h位的键值的访问热度access_min；

每接收一次查询请求，从计数器中获取被查询的键值更新后的访问热度access_new，若access_new≥access_min，则使用access_new替换access_min，更新最小堆，使得最小堆的根节点存放访问热度排在第h位的键值的访问热度，否则，最小堆保持不变。

如本实施例中h为100，即将被查询次数排序在前100位的键值作为高热访问键值，构建的最小堆包括100个节点，在最小堆中，根节点存放访问频率最低的高热访问键值(即排在第100位的高热访问键值的访问热度)。

每当存储系统接收到一次查询请求(即读操作)时，就将被查询的键值记录到计数器中，并得到该键值更新后的访问热度。将该键值的访问热度access_new与最小堆根节点access_min(第100位的高热访问键值的访问热度)进行比较，若access_new<access_min，则显然，该键值的访问热度没有达到前100，因此最小堆保持不变，否则，access_new>access_min，说明该键值的访问热度已经超过第100位，则将其替换最小堆的根节点，最小堆内部再更新调整节点的位置，access_new＝access_min时，虽然没有超过排在第100位的访问热度，但是由于是最新查询的，因此也用其替换最小堆的根节点。

为了减少存储空间，只记录近期访问的查询键值，每隔一段时间，将Count-MinSketch计数器和最小堆节点中的值都减1，如果计数已经为0则不再减。

对于数据层中的一个键值，在判断其是否为高热访问键值时，只需在最小堆中进行查找，如果最小堆中存在该键值且计数不为0，则该键值就是高热访问键值。

(2)键值的层级

在日志合并树中，同一个键值如果被多次插入会有多个版本，但是只有在最上面层级的键值才是有效热键值，其他都是无效的。为了实现对无效的热键值进行迁移，本发明基于低存储开销的布谷鸟过滤器记录热键值在不同层级的分布信息。其基本思路是将布谷鸟过滤器的指纹扩展为指纹+一个表示层级信息的整数。日志合并树一般情况下为7层，因此，只需要4个比特就可以记录层级，在布谷鸟过滤器原来的指纹后面多存储4比特数据即可，当然，如果日志合并树的层级M大于8，则可以通过对层级进行取对数操作，将结果作为层级存储的比特数。

如图2所示，构建一个布谷鸟过滤器，布谷鸟过滤器的每个存储位置用于存储键值的指纹信息以及层级；传统的布谷鸟过滤器中只存放指纹信息，本发明在指纹信息后扩展了层级记录，实现了对键值层级的记录。键值的指纹信息存入布谷鸟过滤器或布谷鸟过滤器更新的操作按照常规的操作实现即可，层级随指纹存入布谷鸟过滤器的操作如下：

每接收一次查询请求，则记录被查询的键值key以及键值key被查询到的层级m，根据指纹信息找到键值key在布谷鸟过滤器中的存储位置，若存储位置未存放键值key的指纹信息，则将键值key的指纹信息和层级m存入，否则，将布谷鸟过滤器中记录的层级level返回，进行层级更新。

层级更新具体为：若level>m，则将布谷鸟过滤器中存储的层级更新为m，若level≤m，则布谷鸟过滤器中存储的层级不做改变；这样可以使得布谷鸟过滤器中存储的层级是该键值版本最新的层级。

由于哈希计数冲突的原因，两个键值的指纹信息可能相同，因此，布谷鸟过滤器中已经存放的指纹信息fp可能是其他键值的层级。在层级更新时，则取level和m中的最小值，这样会使冲突的键值有可能被当作热键值处理并有可能提升到上层存储，同样不会影响正确性。因为布谷鸟过滤器中的误判率极低，所以对整体影响较小。

同时，为了减少存储开销，布谷鸟过滤器的容量远小于日志合并树的键值数量，因此新键值会替换掉布谷鸟过滤器中的旧键值，从而使得布谷鸟过滤器只记录近期的热键值及层级分布。

需要注意，查询键值层级时不对布谷鸟过滤器进行更新和改变，因此，进行有效热键值识别时，无论是否查询到，都不会影响布谷鸟过滤器中的数据记录。

(3)数据层的合并

存储系统对两个数据层执行数据合并操作时，将层级较高的数据层作为第一目标层，将层级较低的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标存储文件合并入一个中间存储文件SSTable_new，到此的操作均为日志合并树常规的数据合并操作，按照日志合并树刷盘或重写时的compaction合并即可。一般，日志合并树的数据合并会将合并后的中间存储文件SSTable_new存入第二目标层，完成数据的下沉，结束数据合并过程。但本申请增加了有效热键值识别和迁移的步骤，如图3所示：

在中间存储文件SSTable_new中遍历其中的键值，基于计数器和数据过滤器识别出有效热键值，将中间存储文件SSTable_new中有效热键值的键值数据迁移至一个临时存储文件SSTable_tempz中，将临时存储文件SSTable_tempz存入第一目标层，将中间存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层。

可以为中间存储文件SSTable_new中的所有键值创建一个迭代器，然后遍历迭代器中的每一个键值，先识别是否为高热访问键值，若不是，则忽略，若是，则识别其层级，判断是否为有效热键值，若不是，则忽略，若是，则将有效热键值的键值数据迁移至临时存储文件SSTable_tempz中。

以迭代器中的键值key为例，在最小堆中查询是否存在该键值，若最小堆中存在，则key为高热访问键值，若最小堆中不存在，则不是高热访问键值。

若key为高热访问键值，则对其进行映射，得到指纹信息，进而计算pos1和pos2，查询布谷鸟过滤器中是否记录了该键值的指纹信息和层级。若布谷鸟过滤器中未记录该键值，则该键值为有效热键值，若记录了该键值且布谷鸟过滤器中该键值的层级大于等于第二目标层的层级，则该键值为有效热键值，否则，该键值不是有效热键值。

需要注意的是因为哈希冲突的原因，此步骤中键值不能被丢弃，以防止发生数据丢失，因此将识别的有效热键值放入临时存储文件SSTable_tempz，仍然留在第一目标层，其他没有被识别的键值的键值数据仍在中间存储文件中，将移走有效热键值数据后的中间存储文件中的键值数据转换为正式的存储文件存入第二目标层，完成数据的下沉，保证热键值数据没有被下沉。

存储系统对两个数据层执行数据合并操作时，合并后第一目标层中新增了临时存储文件，检查临时存储文件是否满足大小约束，若不满足，则将临时存储文件转换为正式的存储文件存入数据层，即第一目标层，大小约束为：数据层中的临时存储文件的大小需小于该数据层预设的临时存储阈值。

本发明在日志合并树的数据重写时通过计数器和最小堆发现数据层中的热键值，并通过布谷鸟过滤器判断层次分布，识别是否为有效热键值，若是有效热键值，则放入临时存储文件并保留在本层级，若不是，则按照正常的日志合并树合并到层级更低的下层。

一般来讲，因为热键值的数量要小于冷键值，所以SSTable_tempz的大小会比较小，而过小的存储文件SSTable会增加日志合并树的查找延时，小文件过多会影响读性能，本发明会继续进行热键数据迁移，通过合并临时存储文件来解决此问题。

(4)热键值迁移操作

存储系统对两个数据层执行热键值迁移操作时，将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标临时存储文件合并入一个中间临时存储文件，在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层。

热键值迁移操作实际上是逆向的存储文件合并。常规的日志结构合并树中，高层级的数据存储达到一定大小或经过固定时间后，会从高层级中选择存储文件合并至低层级，实现存储数据的下沉。本申请的方案设计中，临时存储文件中存储的是有效热键值的键值数据，有效热键值访问热度高，无疑，其分布越靠近内存、即层级越高，则读取速度越快，为了提升存储系统的读性能，应使得热键值数据尽可能在高层级中分布。因此，对于数据合并时生成的临时存储文件，会通过逆向合并实现热键数据的上升，从而提高系统的整体吞吐率。

出于反向重写的思想，如图4所示，热键值迁移(临时存储文件合并)操作是将低层的临时存储文件合并至靠近内存的高层，具体为：

选定两个相邻的数据层，将层级较低的数据层作为第一目标层(m层)，将层级较高的数据层作为第二目标层(m-1层)，第一目标层中至少存在一个临时存储文件，存储系统执行热键值迁移操作具体为：

把第一目标层中的临时存储文件转移至第二目标层，若第二目标层中存在键值范围重叠的临时存储文件，则合并第一目标层和第二目标层中的临时存储文件得到一个中间临时存储文件，否则，将第一目标层中的临时存储文件作为中间临时存储文件；

在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

将第二目标层的相邻高层数据层作为新的第二目标层，将原第二目标层作为新的第一目标层，再次进行热键值迁移操作，直至第二目标层为存储设备的最高数据层。

在上述热键值迁移操作过程中，若一个数据层中新增了临时存储文件(如下层的临时存储文件转移至高层)，则检查临时存储文件是否满足大小约束，若不满足，则将临时存储文件转换为正式的存储文件存入数据层，即第二目标层，大小约束为：数据层中的临时存储文件的大小需小于该数据层预设的临时存储阈值，一般来说，层级越高的数据层的临时存储阈值越小。

关于热键值迁移操作的执行，可以由管理员根据需要设置，如每当日志合并树进行一次重写，则从最底层Level_M开始执行热键值迁移操作，直至将有效热键值数据迁移至磁盘的最高层或迁移过程中临时存储文件转换为正式的存储文件；或者，每经过一个固定时间，则选择相邻且存在临时存储文件的两个数据层进行热键值迁移操作，直至将热键值迁移至磁盘的最高层或迁移过程中临时存储文件转换为正式的存储文件；具体情形不再进行分析，相关从业人员可以理解。

本发明还保护一种层级存储系统的数据处理装置，应用于按照日志结构合并树存储数据的存储系统中，包括：

访问热键记录单元，在存储系统执行数据查询操作时，访问热键记录单元使用计数器记录每个被查询的键值的访问热度，基于计数器得到高热访问键值，使用数据过滤器记录每个被查询的键值的层级，键值数据所在层级越低则访问速度越慢；

数据合并单元，在存储系统对两个数据层执行数据合并操作时，数据合并单元将层级较高的数据层作为第一目标层，将层级较低的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标存储文件合并入一个中间存储文件，在中间存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间存储文件中有效热键值的键值数据迁移至一个临时存储文件中，将临时存储文件存入第一目标层，将中间存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

热键数据迁移单元，在存储系统对两个数据层执行热键值迁移操作时，热键数据迁移单元将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标临时存储文件合并入一个中间临时存储文件，在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种层级存储系统的数据处理方法，其特征在于，应用于按照日志结构合并树存储数据的存储系统中，存储系统包括内存和存储设备，方法包括：

存储系统执行数据查询操作时，使用计数器记录每个被查询的键值的访问热度，基于计数器得到高热访问键值，使用数据过滤器记录每个被查询的键值的层级，键值数据所在层级越低则访问速度越慢；

存储系统对两个数据层执行数据合并操作时，将层级较高的数据层作为第一目标层，将层级较低的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标存储文件合并入一个中间存储文件，在中间存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间存储文件中有效热键值的键值数据迁移至一个临时存储文件中，将临时存储文件存入第一目标层，将中间存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

存储系统对两个数据层执行热键值迁移操作时，将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标临时存储文件合并入一个中间临时存储文件，在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层。

2.根据权利要求1所述的一种层级存储系统的数据处理方法，其特征在于，使用计数器记录每个被查询的键值的访问热度包括：

构建一个基于Count-Min Sketch的计数器，计数器包括多个数组，每个数组对应设置一个哈希函数；

每接收一次查询请求，则分别使用哈希函数对被查询的键值计算哈希值，将哈希值作为各个数组的位置索引，在各个数组的对应位置处更新数组的元素值，再记录各个数组更新后在对应位置处的元素值，将其中最小的元素值作为此次查询的键值的访问热度。

3.根据权利要求2所述的一种层级存储系统的数据处理方法，其特征在于，基于计数器得到高热访问键值包括：

将访问热度最高的前h个键值的访问热度存入一个大小为h的最小堆，h>1，最小堆的根节点存放访问热度排在第h位的键值的访问热度access_min；

每接收一次查询请求，从计数器中获取被查询的键值更新后的访问热度access_new，若access_new≥access_min，则使用access_new替换access_min，更新最小堆，使得最小堆的根节点存放访问热度排在第h位的键值的访问热度，否则，最小堆保持不变。

4.根据权利要求1所述的一种层级存储系统的数据处理方法，其特征在于，使用数据过滤器记录每个被查询的键值的层级包括：

构建一个布谷鸟过滤器，布谷鸟过滤器的每个存储位置用于存储键值的指纹信息以及层级；每接收一次查询请求，则记录被查询的键值key以及键值key被查询到的层级m，计算键值key在布谷鸟过滤器中的存储位置，若该存储位置未存放键值key，则将键值key的指纹信息和层级m存入，否则，将布谷鸟过滤器中记录的层级level返回，进行层级更新。

5.根据权利要求4所述的一种层级存储系统的数据处理方法，其特征在于，层级更新具体为：若level>m，则将布谷鸟过滤器中存储的层级更新为m，若level≤m，则布谷鸟过滤器中存储的层级不做改变。

6.根据权利要求1所述的一种层级存储系统的数据处理方法，其特征在于，基于计数器和数据过滤器识别有效热键值具体为：

获取键值，检查该键值是否为高热访问键值，若是，则查询数据过滤器，若数据过滤器中未记录该键值或记录了该键值且数据过滤器中该键值的层级大于等于第二目标层的层级，则该键值为有效热键值，否则，该键值不是有效热键值。

7.根据权利要求1所述的一种层级存储系统的数据处理方法，其特征在于，选定两个相邻的数据层，将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，第一目标层中至少存在一个临时存储文件，存储系统执行热键值迁移操作具体为：

把第一目标层中的临时存储文件转移至第二目标层，若第二目标层中存在键值范围重叠的临时存储文件，则合并第一目标层和第二目标层中的临时存储文件得到一个中间临时存储文件，否则，将第一目标层中的临时存储文件作为中间临时存储文件；

在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

将第二目标层的相邻高层数据层作为新的第二目标层，将原第二目标层作为新的第一目标层，再次进行热键值迁移操作，直至第二目标层为存储设备的最高数据层。

8.根据权利要求7所述的一种层级存储系统的数据处理方法，其特征在于，在存储系统执行数据合并操作和上述热键值迁移操作时，若数据层中新增了临时存储文件，则检查临时存储文件是否满足大小约束，若不满足，则将临时存储文件转换为正式的存储文件存入数据层。

9.根据权利要求8所述的一种层级存储系统的数据处理方法，其特征在于，分别为各个数据层设置临时存储阈值，所述大小约束为：数据层中的临时存储文件的大小需小于该数据层预设的临时存储阈值。

10.一种层级存储系统的数据处理装置，其特征在于，基于如权利要求1-9中任一所述的层级存储系统的数据处理方法，应用于按照日志结构合并树存储数据的存储系统中，包括：

访问热键记录单元，在存储系统执行数据查询操作时，所述访问热键记录单元使用计数器记录每个被查询的键值的访问热度，基于计数器得到高热访问键值，使用数据过滤器记录每个被查询的键值的层级，键值数据所在层级越低则访问速度越慢；

数据合并单元，在存储系统对两个数据层执行数据合并操作时，所述数据合并单元将层级较高的数据层作为第一目标层，将层级较低的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标存储文件合并入一个中间存储文件，在中间存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间存储文件中有效热键值的键值数据迁移至一个临时存储文件中，将临时存储文件存入第一目标层，将中间存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层；

热键数据迁移单元，在存储系统对两个数据层执行热键值迁移操作时，所述热键数据迁移单元将层级较低的数据层作为第一目标层，将层级较高的数据层作为第二目标层，将第一目标层和第二目标层中选定的目标临时存储文件合并入一个中间临时存储文件，在中间临时存储文件中遍历其键值，基于计数器和数据过滤器识别有效热键值，将中间临时存储文件中有效热键值的键值数据迁移至一个新的临时存储文件中，将新的临时存储文件作为第二目标层的临时存储文件存入第二目标层，将中间临时存储文件中剩余的键值数据转换为正式的存储文件存入第二目标层。

Images