CN103780692B - 一种键值存储的数据访问方法及其系统 - Google Patents

Abstract

本发明公开了一种键值存储的数据访问方法及其系统，该方法根据跳表中每个数据节点的数据访问频率，动态调整每个数据节点高度，以实现高频数据的快速访问，该方法包括：访问频度设置步骤和数据节点高度调整步骤，访问频度设置步骤用于跳表中的每个节点动态设置一个访问频度，数据节点高度调整步骤用于通过动态设置的访问频度调整每个节点高度，实现访问频率高的数据增加节点高度，访问频率低的数据降低节点高度。

Description

一种键值存储的数据访问方法及其系统

技术领域

该发明所属的技术领域是信息存储领域，特别涉及一种键值存储的数据访问方法及其系统。

背景技术

键值存储是云计算环境下典型的数据组织方式。数据以Key排序的方式存储，以提升数据插入、查找、删除的效率。已有数据组织方法构建均衡数据结构，使得每个数据的插入、查找、删除性能基本相当。但是由此带来的问题是，高频数据的访问效率与低频数据的访问效率相当。通过提升高频数据的访问效率，可以提升系统整体性能，因此，需要在不影响数据结构均衡性的前提下，提升高频数据的访问效率。

已有的平衡数据结构有：在内存中使用的跳表（SkipList）、红黑树、基树，在磁盘上使用的B+树等。其中SkipList以其实现简单、快速高效而被广泛应用于键值存储系统或数据库系统，比如LevelDB和SkipDB等。

跳表是平衡树的一种替代的数据结构，与红黑树不相同的是，跳表对于树的平衡的实现基于一种随机化的算法。跳表在每个节点中增加了向前的指针，通过空间来换取时间，从而提升查找的效率。如果一个节点存在K个向前的指针的话，那么该节点是K层的节点。一个跳表的层MaxLevel定义为跳表中所有节点中最大的层数。Skip List是一种随机化的数据结构，基于并联的链表，其搜索的时间复杂度为O(log n)。跳表是对有序的链表以随机高度的方式增加上附加的前进链接，所以在列表中的查找可以快速的跳过部分列表。Skip List可以很好解决有序链表查找特定值的困难。

从跳表的查询方式可以看出，节点的高度越高，其查询效率越高；高度越低，其查询效率越低。

以红黑树和基树为代表的平衡树数据组织方式，将数据以平衡的方式置于树中节点，无论数据的访问频度是否有差异，其访问效率基本相当。跳表基于一种随机化的概率方式决定数据节点的高度，均衡各个节点的访问效率。以跳表方式组织的数据，节点高度越大，查询所需要的比较次数越少,其查询效率越高；反之，节点高度越低，查询所需要的比较次数越多,其查询效率越低。因此，跳表中数据的高度与跳表的性能直接相关。总之，平衡树和跳表均衡了各个节点的访问效率，却使得高频数据的访问效率得不到提升。

发明内容

本发明要解决的技术问题在于提供了一种键值存储的数据访问方法及其系统，以克服现有技术中跳表方式组织的中高频数据访问效率不高的问题。

为了达到以上目的，本发明提供了一种键值存储的数据访问方法，其特征在于，所述方法根据跳表中每个数据节点的数据访问频率，动态调整所述每个数据节点高度，以实现高频数据的快速访问，所述方法包括：

访问频度设置步骤：所述跳表中的每个节点动态设置一个访问频度；

数据节点高度调整步骤：通过动态设置的所述访问频度调整所述每个节点高度，实现访问频率高的数据增加所述节点高度，访问频率低的数据降低所述节点高度。

上述键值存储的数据访问方法，其特征在于，所述访问频度设置步骤还包括：

初始化步骤：将键值对插入所述跳表，作为所述跳表的一个节点，初始化所述键值对的上一周期内节点访问次数f1和所述键值对当前周期内节点访问次数f2；

访问频度计算步骤：对所述键值对每访问一次，则将所述键值对的当前周期内节点访问次数f2增加，在一段时间后，计算所述f1和所述f2的比值，以进行所述节点高度的调整。

上述键值存储的数据访问方法，其特征在于，所述数据节点高度调整步骤还包括：

单个数据节点高度调整步骤：根据所述f1和所述f2的比值，对单个所述键值对的节点高度进行调整；

所有数据节点高度调整步骤：根据所有数据节点平均高度与所有节点最大高度进行比较判断，调整所有数据节点平均高度。

上述键值存储的数据访问方法，其特征在于，所述单个数据节点高度调整步骤还包括：

判断步骤：判断如果所述f1为0，则将所述f2的值赋值给所述f1，并将所述f2置为0，若所述f1不为0，则计算f2与f1的比值；

节点高度增加步骤：如果所述f2与f1的比值大于等于K，所述K大于1，并且所述键值对的节点高度没有达到所述跳表的最大值，则将所述键值对的节点高度增加，如果所述键值对的节点高度已经达到所述跳表的最大值，则保持所述键值对的节点高度不变；

节点高度降低步骤：如果所述f2与f1的比值小于等于M，所述M小于1并且大于0，并且所述键值对的节点高度没有达到所述跳表的最小值，则将所述键值对的节点高度降低，如果所述键值对的节点高度已经达到所述跳表的最小值，则保持所述键值对的节点高度不变；

节点高度保持步骤：如果所述f2与f1的比值大于所述M，并且小于所述K，则保持所述键值对的节点高度不变。

上述键值存储的数据访问方法，其特征在于，所述所有数据节点高度调整步骤还包括：

数据节点平均高度计算步骤：在一段时间后，计算所有数据节点平均高度，如果所述节点平均高度大于Q*所有节点最大高度，或小于P*所有节点最大高度，其中，Q和P为大于0并且小于1，并且Q大于P，则计算所述每个节点所述f1占所有节点总访问次数的百分比R，将所述节点平均高度设置为R*所有节点最大高度。

本发明还提供了一种键值存储的数据访问系统，采用如所述的键值存储的数据访问方法，其特征在于，所述系统包括：

访问频度设置模块：为所述跳表中的每个节点动态设置一个访问频度；

数据节点高度调整模块：通过动态设置的所述访问频度调整所述每个节点高度，实现访问频率高的数据增加所述节点高度，访问频率低的数据降低所述节点高度。

上述键值存储的数据访问系统，其特征在于，所述访问频度设置模块还包括：

初始化模块：将键值对插入所述跳表，作为所述跳表的一个节点，初始化所述键值对的上一周期内节点访问次数f1和所述键值对当前周期内节点访问次数f2；

访问频度计算模块：对所述键值对每访问一次，则所述键值对的当前周期内节点访问次数f2增加，在一段时间后，计算所述f1和所述f2的比值，以进行所述节点高度的调整。

上述键值存储的数据访问系统，其特征在于，所述数据节点高度调整模块还包括：

单个数据节点高度调整模块：根据所述f1和所述f2的比值，对单个所述键值对的节点高度进行调整；

所有数据节点高度调整模块：根据所有数据节点平均高度与所有节点最大高度进行比较判断，调整所有数据节点平均高度。

上述键值存储的数据访问系统，其特征在于，所述单个数据节点高度调整模块还包括：

判断模块：判断如果所述f1为0，则将所述f2的值赋值给所述f1，并将所述f2置为0，若所述f1不为0，则计算f2与f1的比值；

节点高度增加模块：如果所述f2与f1的比值大于等于K，所述K大于1，并且所述键值对的节点高度没有达到所述跳表的最大值，则将所述键值对的节点高度增加，如果所述键值对的节点高度已经达到所述跳表的最大值，则保持所述键值对的节点高度不变；

节点高度降低模块：如果所述f2与f1的比值小于等于M，所述M小于1并且大于0，并且所述键值对的节点高度没有达到所述跳表的最小值，则将所述键值对的节点高度降低，如果所述键值对的节点高度已经达到所述跳表的最小值，则保持所述键值对的节点高度不变；

节点高度保持模块：如果所述f2与f1的比值大于所述M，并且小于所述K，则保持所述键值对的节点高度不变。

上述键值存储的数据访问系统，其特征在于，所述所有数据节点高度调整模块还包括：

数据节点平均高度计算模块：在一段时间后，计算所有数据节点平均高度，如果所述节点平均高度大于Q*所有节点最大高度，或小于P*所有节点最大高度，其中，Q和P为大于0并且小于1，并且Q大于P，则计算所述每个节点所述f1占所有节点总访问次数的百分比R，将所述节点平均高度设置为R*所有节点最大高度。

与现有技术相比，本发明的有益效果在于，在不改变数据顺序性的前提下，利用数据访问频率的不同，提高了高频数据的访问效率；并能够依据数据访问热度动态调整其在跳表中的高度，从而缩短高频数据的访问时间，提升整个键值存储系统的性能。

附图说明

图1为本发明键值存储的数据访问方法的流程示意图；

图2为本发明单个数据节点高度调整步骤的流程示意图；

图3为本发明所有数据节点高度调整步骤的流程示意图；

图4为本发明键值存储的数据访问方法一实施例步骤示意图；

图5为本发明键值存储的数据访问系统结构示意图；

图6为本发明单个数据节点高度调整模块的结构示意图；

图7为本发明所有数据节点高度调整模块的结构示意图。

其中，附图标记：

1访问频度设置模块 2数据节点高度调整模块

11初始化模块 12分支元数据服务器

21单个数据节点高度调整模块 22所有数据节点高度调整模块

211判断模块 212节点高度增加模块

213节点高度降低模块 214节点高度保持模块

221数据节点平均高度计算模块

S1～S2、S11～S12、S21～S22、S211～S214、S10～S104：本发明各实施例的施行步骤

具体实施方式

下面给出本发明的具体实施方式，结合图示对本发明做出了详细描述。

本发明的键值存储的数据访问方法的关键内容包括：第一、给跳表中每个节点设置一个访问频度的方法；第二、依据数据访问频度调整跳表中数据节点高度的方法；第三、访问频率高的数据，增加其高度；访问频率低的数据，降低其高度。

图1为本发明键值存储的数据访问方法的流程示意图，如图1所示，本发明提供的一种键值存储的数据访问方法，该方法根据跳表中每个数据节点的数据访问频率，动态调整所述每个数据节点高度，以实现高频数据的快速访问，该方法包括：

访问频度设置步骤S1：跳表中的每个节点动态设置一个访问频度；

数据节点高度调整步骤S2：通过动态设置的访问频度调整每个节点高度，实现访问频率高的数据增加节点高度，访问频率低的数据降低节点高度。

其中，访问频度设置步骤S1还包括：

初始化步骤S11：将键值对插入跳表，作为跳表的一个节点，初始化键值对的上一周期内节点访问次数f1和键值对当前周期内节点访问次数f2；

访问频度计算步骤S12：对键值对每访问一次，则将键值对的当前周期内节点访问次数f2增加，在一段时间后，计算f1和所述f2的比值，以进行节点高度的调整。

其中，数据节点高度调整步骤S2还包括：

单个数据节点高度调整步骤S21：根据f1和f2的比值，对单个键值对的节点高度进行调整；

所有数据节点高度调整步骤S22：根据所有数据节点平均高度与所有节点最大高度进行比较判断，调整所有数据节点平均高度。

图2为本发明单个数据节点高度调整步骤的流程示意图，如图2所示，其中，单个数据节点高度调整步骤S21还包括：

判断步骤S211：判断如果f1为0，则将f2的值赋值给f1，并将f2置为0，若f1不为0，则计算f2与f1的比值；

节点高度增加步骤S212：如果f2与f1的比值大于等于K，K大于1，并且键值对的节点高度没有达到跳表的最大值，则将键值对的节点高度增加，如果键值对的节点高度已经达到跳表的最大值，则保持键值对的节点高度不变；

节点高度降低步骤S213：如果f2与f1的比值小于等于M，M小于1并且大于0，并且键值对的节点高度没有达到跳表的最小值，则将键值对的节点高度降低，如果键值对的节点高度已经达到跳表的最小值，则保持键值对的节点高度不变；

节点高度保持步骤S214：如果f2与f1的比值大于M，并且小于K，则保持键值对的节点高度不变。

图3为本发明所有数据节点高度调整步骤的流程示意图，如图3所示，其中，所有数据节点高度调整步骤S22还包括：

数据节点平均高度计算步骤S221：在一段时间后，计算所有数据节点平均高度，如果节点平均高度大于Q*所有节点最大高度，或小于P*所有节点最大高度，其中，Q和P为大于0，小于1，并且Q大于P，则计算每个节点f1占所有节点总访问次数的百分比R，将节点平均高度设置为R*所有节点最大高度。

以下结合图示说明本发明具体实施例的步骤，图4为本发明键值存储的数据访问方法一实施例步骤示意图，如图4所示，本发明的一具体实施例操作步骤，说明数据访问过程。

假设跳表中有N个节点，节点高度调整的时间周期为Ts和Tg，其中Ts为单个节点高度调整的周期，Tg为跳表中所有节点调整的周期。每个节点插入跳表时的高度均设置为随机数。假设每个节点均在跳表中节点高度调整时插入跳表。记每个节点插入跳表时的时间为T=0，此后每个时间周期分别标记为T0,T1,T2,….,Tm。在每个节点上增加两个记录节点访问频率的字段f1和f2，其中f1用来保存上一个周期内节点的访问次数，f2用来记录当前周期内节点已被访问的次数。其中，T可随节点高度调整的频率确定。节点高度调整的频率越高，T越小；节点高度调整的频率越低，T越大。本发明设置T=30秒。

具体实施步骤如下：

步骤S101：将键为Ki的键值对插入跳表，作为跳表的一个节点。将键为Ki的节点的f1设置为0，f2设置为0。

步骤S102：对键为Ki的键值对每访问一次，将f2的值加1。

步骤S103：当Tj=j*Ts时，其中0<=j<=m，判断f2与f1的比值。

步骤S1031：如果f1=0，则将f2赋值给f1，并将f2重置为0

步骤S1032：如果f1!=0，则判断f2/f1的值。

步骤S1033：如果f2/f1大于等于1.2，即键为Ki的节点在周期Tj内较周期Tj-1内的访问次数增加20%，此时如果键为Ki的节点的高度已经达到跳表高度的最大值MAX_HIGHT，则保持该节点高度不变，否则如果键为Ki的节点的高度小于跳表高度的最大值MAX_HIGHT，则将键为Ki的节点的高度增加1。

步骤S1034：如果f2/f1小于等于0.8，即键为Ki的节点在周期Tj内较周期Tj-1内的访问次数降低20%，此时如果键为Ki的节点的高度已经达到最小值1，则保持该节点高度不变，否则如果将键为Ki的节点的高度大于1，则将键位Ki的节点的高度减去1。

步骤S1035：如果f2/f1大于0.8且小于1.2，即键为Ki的节点在周期Tj内较周期Tj-1内的访问次数变化幅度较小，此时保持该节点高度不变。

步骤S104:当Ty=y*Tg时，其中0<=g<=m，判断跳表中所有节点的平均高度Ta。

步骤S1041：如果Ta大于(50%+20%)*最大高度，或小于（50%-20%）*最大高度，则计算每个节点在前一个时间周期内的访问次数占所有节点总的访问次数的百分比R，并将节点的高度重置为R*最大高度。

本发明还提供了一种键值存储的数据访问系统，图5为本发明键值存储的数据访问系统结构示意图，如图5所示，该系统包括：

访问频度设置模块1：为跳表中的每个节点动态设置一个访问频度；

数据节点高度调整模块2：通过动态设置的访问频度调整每个节点高度，实现访问频率高的数据增加节点高度，访问频率低的数据降低节点高度。

其中，访问频度设置模块1还包括：

初始化模块11：将键值对插入跳表，作为跳表的一个节点，初始化键值对的上一周期内节点访问次数f1和键值对当前周期内节点访问次数f2；

访问频度计算模块12：对键值对每访问一次，则键值对的当前周期内节点访问次数f2增加，在一段时间后，计算f1和f2的比值，以进行节点高度的调整。

其中，数据节点高度调整模块2还包括：

单个数据节点高度调整模块21：根据f1和f2的比值，对单个键值对的节点高度进行调整；

所有数据节点高度调整模块22：根据所有数据节点平均高度与所有节点最大高度进行比较判断，调整所有数据节点平均高度。

图6为本发明单个数据节点高度调整模块的结构示意图，如图6所示，其中，单个数据节点高度调整模块21还包括：

判断模块211：判断如果f1为0，则将f2的值赋值给f1，并将f2置为0，若f1不为0，则计算f2与f1的比值；

节点高度增加模块212：如果f2与f1的比值大于等于K，K大于1，并且键值对的节点高度没有达到跳表的最大值，则将键值对的节点高度增加，如果键值对的节点高度已经达到跳表的最大值，则保持键值对的节点高度不变；

节点高度降低模块213：如果f2与f1的比值小于等于M，M小于1并且大于0，并且键值对的节点高度没有达到跳表的最小值，则将键值对的节点高度降低，如果键值对的节点高度已经达到跳表的最小值，则保持键值对的节点高度不变；

节点高度保持模块214：如果f2与f1的比值大于M，并且小于K，则保持键值对的节点高度不变。

图7为本发明所有数据节点高度调整模块的结构示意图，如图7所示，其中，所有数据节点高度调整模块22还包括：

数据节点平均高度计算模块221：在一段时间后，计算所有数据节点平均高度，如果节点平均高度大于Q*所有节点最大高度，或小于P*所有节点最大高度，其中，Q和P为大于0并且小于1，并且Q大于P，则计算每个节点所述f1占所有节点总访问次数的百分比R，将节点平均高度设置为R*所有节点最大高度。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种键值存储的数据访问方法，其特征在于，所述方法根据跳表中每个数据节点的数据访问频率，动态调整所述每个数据节点高度，以实现高频数据的快速访问，所述方法包括：

访问频度设置步骤：所述跳表中的每个节点动态设置一个访问频度，所述访问频度设置步骤还包括：

初始化步骤：将键值对插入所述跳表，作为所述跳表的一个节点，初始化所述键值对的上一周期内节点访问次数f1和所述键值对当前周期内节点访问次数f2；

访问频度计算步骤：对所述键值对每访问一次，则将所述键值对的当前周期内节点访问次数f2增加，在一段时间后，计算所述f1和所述f2的比值，以进行所述节点高度的调整；

数据节点高度调整步骤：通过动态设置的所述访问频度调整所述每个节点高度，实现访问频率高的数据增加所述节点高度，访问频率低的数据降低所述节点高度。

2.根据权利要求1所述键值存储的数据访问方法，其特征在于，所述数据节点高度调整步骤还包括：

单个数据节点高度调整步骤：根据所述f1和所述f2的比值，对单个所述键值对的节点高度进行调整；

所有数据节点高度调整步骤：根据所有数据节点平均高度与所有节点最大高度进行比较判断，调整所有数据节点平均高度。

3.根据权利要求2所述键值存储的数据访问方法，其特征在于，所述单个数据节点高度调整步骤还包括：

判断步骤：判断如果所述f1为0，则将所述f2的值赋值给所述f1，并将所述f2置为0，若所述f1不为0，则计算f2与f1的比值；

节点高度增加步骤：如果所述f2与f1的比值大于等于K，所述K大于1，并且所述键值对的节点高度没有达到所述跳表的最大值，则将所述键值对的节点高度增加，如果所述键值对的节点高度已经达到所述跳表的最大值，则保持所述键值对的节点高度不变；

节点高度降低步骤：如果所述f2与f1的比值小于等于M，所述M小于1并且大于0，并且所述键值对的节点高度没有达到所述跳表的最小值，则将所述键值对的节点高度降低，如果所述键值对的节点高度已经达到所述跳表的最小值，则保持所述键值对的节点高度不变；

节点高度保持步骤：如果所述f2与f1的比值大于所述M，并且小于所述K，则保持所述键值对的节点高度不变。

4.根据权利要求2所述键值存储的数据访问方法，其特征在于，所述所有数据节点高度调整步骤还包括：

数据节点平均高度计算步骤：在一段时间后，计算所有数据节点平均高度，如果所述节点平均高度大于Q*所有节点最大高度，或小于P*所有节点最大高度，其中，Q和P为大于0并且小于1，并且Q大于P，则计算所述每个节点所述f1占所有节点总访问次数的百分比R，将所述节点平均高度设置为R*所有节点最大高度。

5.一种键值存储的数据访问系统，采用如权利要求1-4中任一项所述的键值存储的数据访问方法，其特征在于，所述系统包括：

访问频度设置模块：为所述跳表中的每个节点动态设置一个访问频度，所述访问频度设置模块还包括：

初始化模块：将键值对插入所述跳表，作为所述跳表的一个节点，初始化所述键值对的上一周期内节点访问次数f1和所述键值对当前周期内节点访问次数f2；

访问频度计算模块：对所述键值对每访问一次，则所述键值对的当前周期内节点访问次数f2增加，在一段时间后，计算所述f1和所述f2的比值，以进行所述节点高度的调整；

数据节点高度调整模块：通过动态设置的所述访问频度调整所述每个节点高度，实现访问频率高的数据增加所述节点高度，访问频率低的数据降低所述节点高度。

6.根据权利要求5所述键值存储的数据访问系统，其特征在于，所述数据节点高度调整模块还包括：

单个数据节点高度调整模块：根据所述f1和所述f2的比值，对单个所述键值对的节点高度进行调整；

所有数据节点高度调整模块：根据所有数据节点平均高度与所有节点最大高度进行比较判断，调整所有数据节点平均高度。

7.根据权利要求6所述键值存储的数据访问系统，其特征在于，所述单个数据节点高度调整模块还包括：

判断模块：判断如果所述f1为0，则将所述f2的值赋值给所述f1，并将所述f2置为0，若所述f1不为0，则计算f2与f1的比值；

节点高度增加模块：如果所述f2与f1的比值大于等于K，所述K大于1，并且所述键值对的节点高度没有达到所述跳表的最大值，则将所述键值对的节点高度增加，如果所述键值对的节点高度已经达到所述跳表的最大值，则保持所述键值对的节点高度不变；

节点高度降低模块：如果所述f2与f1的比值小于等于M，所述M小于1并且大于0，并且所述键值对的节点高度没有达到所述跳表的最小值，则将所述键值对的节点高度降低，如果所述键值对的节点高度已经达到所述跳表的最小值，则保持所述键值对的节点高度不变；

节点高度保持模块：如果所述f2与f1的比值大于所述M，并且小于所述K，则保持所述键值对的节点高度不变。

8.根据权利要求6所述键值存储的数据访问系统，其特征在于，所述所有数据节点高度调整模块还包括：

数据节点平均高度计算模块：在一段时间后，计算所有数据节点平均高度，如果所述节点平均高度大于Q*所有节点最大高度，或小于P*所有节点最大高度，其中，Q和P为大于0并且小于1，并且Q大于P，则计算所述每个节点所述f1占所有节点总访问次数的百分比R，将所述节点平均高度设置为R*所有节点最大高度。