CN104834609B - 基于历史升降级频率的多级缓存方法 - Google Patents

Abstract

本发明提供了一种基于历史升降级频率的多级缓存方法，本发明基于数据块的历史隐示信息，而历史隐示信息是多级缓存系统的精髓之一，通过隐示频率，能够有效地识别出热数据块，并使其在更高级的缓存中能更长久地保存，增大了系统的数据块命中率，减少了平均反应时间；本发明将传统的LRU栈分为两个专用的队列，使得隐示信息具有局部性，避免了冷热数据块混杂，减少了各级缓存之间的带宽的使用；本发明通过有效地识别热数据块，该算法使得热数据块在高级缓存中能长时间地保存，减少了各级缓存之间的降级、升级操作，进一步减小了各级缓存之间的带宽消耗；本发明的空间消耗非常小，为各种负载下系统更好的读写性能打下了基础。

Description

基于历史升降级频率的多级缓存方法

技术领域

本发明涉及计算机系统的数据读写领域及存储领域，特别涉及一种基于历史升降级频率的多级缓存方法。

背景技术

在大型数据中心中，异类存储设备共同协作，加速数据读写操作。极具特色地，高级存储设备作为低级存储设备的缓存，形成了分布式多级缓存系统。近年来，多级缓存系统因其高I/O性能、低货币成本以及高度灵活性受到了越来越多关注。

在过去二十年中，许多典型的多级缓存解决方案被提出，以提高存储系统的I/O性能。其中最有效的方法之一，即，在不同层级之间另建缓存，在此缓存中利用隐示识别热数据块。这些隐示提供了存储系统的全局视图，再施用通用的或局部的替换策略对系统进行优化。

根据不同场景中的角色，可将隐示分为三种：降级隐示、升级隐示以及应用隐示。降级隐示标志着一个降级操作，即一个数据块从高级缓存被驱逐至低级缓存。相应地，升级隐示标志着一个升级操作，即一个数据块从低级缓存中升级至高级缓存。应用隐示由一个定义明确的公式计算得出，其由I/O负载的访问模式评估。在现存的许多文献中，混合隐示被证明是显著提升性能的一种有效方法。

然而，现存的多级缓存算法仍有改进的潜能。一方面，大多数多级缓存算法，使用隐示存储数据块的集中信息，但是有价值的历史隐示信息却被忽略；另一方面，一些算法仅保存最近几次操作的隐示信息，并不能充分地描述数据块的状态。因此，需要研究新的I/O调度算法，充分利用隐示提高数据读写的性能。

发明内容

本发明的目的在于提供一种基于历史升降级频率的多级缓存方法，能够提高多级缓存系统I/O性能。

为解决上述问题，本发明提供一种基于历史升降级频率的多级缓存方法，包括：

根据各级缓存中每个数据块的隐示频率，其中，隐示频率为单位时间内每个数据块被升级、降级的次数之和；

在各级缓存中建立的高隐示频率队列和低隐示频率队列，其中，高隐示频率队列中存储具有高隐示频率的数据块，低隐示频率队列存储具有最低隐示频率的数据块；

在各级缓存中建立的热度阈值替换表，其中，热度为隐示频率与时间的比值，所述热度阈值替换表中保存的是在某级缓存中具有最高热度和最低热度的数据块信息；

根据各级缓存中的热度阈值替换表将某个数据块降级至下级缓存的高隐示频率队列或升级至上级缓存的低隐示频率队列。

进一步的，在上述方法中，所述低隐示频率队列以热度为键值进行排序。

进一步的，在上述方法中，根据各级缓存中的热度阈值替换表将某个数据块降级至下级缓存的高隐示频率队列包括如下降级策略：

寻找本级缓存中热度最低的数据块，将其降级至下级缓存的高隐示频率队列，判断是否更新该下级缓存的热度阈值替换表，若是，对该下级缓存的热度阈值替换表进行更新。

进一步的，在上述方法中，判断是否更新该下级缓存的热度阈值替换表，若是，对该下级缓存的热度阈值替换表进行更新包括：

判断降级的数据块的热度，是否大于该下级缓存中的最高热度或小于该下级缓存中的最低热度，若是，则更新该下级缓存的热度阈值替换表。

进一步的，在上述方法中，根据各级缓存中的热度阈值替换表将某个数据块升级至上级缓存的低隐示频率队列包括下述升级策略：

从最高级缓存开始查找待读取的数据块，逐级向下级缓存传递上级缓存中的热度阈值替换表的最低热度，直至在某级缓存中命中所述待读取的数据块，若所述待读取的数据块的热度高于上级缓存中最低热度，则将该待读取的数据块升级至上级缓存的低隐示频率队列，并判断是否更新该上级缓存的热度阈值替换表，若是，对该上级缓存的热度阈值替换表进行更新。

进一步的，在上述方法中，判断是否更新该上级缓存的热度阈值替换表，若是，对该上级缓存的热度阈值替换表进行更新包括：

判断命中的数据块的热度，是否大于该上级缓存中的最高热度或小于该下级缓存中的最低热度，若是，则更新该上级缓存的热度阈值替换表。

进一步的，在上述方法中，将所述待读取的数据块升级至上级缓存的低隐示频率队列中，

若上级缓存已满，则需要对上级缓存执行所述降级策略后，将该待读取的数据块升级至上级缓存的低隐示频率队列。

与现有技术相比，本发明具有如下优点：

1)本发明基于数据块的历史隐示信息，而历史隐示信息是多级缓存系统的精髓之一，通过隐示频率，能够有效地识别出热数据块，并使其在更高级的缓存中能更长久地保存，增大了系统的数据块命中率，减少了平均反应时间；

2)本发明将传统的LRU栈分为两个专用的队列，使得隐示信息具有局部性(即，具有相近隐示信息的数据块距离更近)，避免了冷热数据块混杂，减少了各级缓存之间的带宽的使用；

3)本发明通过有效地识别热数据块，该算法使得热数据块在高级缓存中能长时间地保存，减少了各级缓存之间的降级、升级操作，进一步减小了各级缓存之间的带宽消耗；

4)本发明的空间消耗非常小，为各种负载下系统更好的读写性能打下了基础。

附图说明

图1是本发明一实施例的基于历史升降级频率的多级缓存方法的多级缓存模型图；

图2是本发明一实施例的热度阈值替换表示意图；

图3是本发明一实施例的降级操作过程示意图；

图4是本发明一实施例的升级操作过程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种基于历史升降级频率的多级缓存方法，包括：

步骤S1，根据各级缓存中每个数据块的隐示频率，其中，隐示频率为单位时间内每个数据块被升级、降级的次数之和；

步骤S2，在各级缓存中建立的高隐示频率队列和低隐示频率队列，其中，高隐示频率队列中存储具有高隐示频率的数据块，低隐示频率队列存储具有最低隐示频率的数据块；在此，在多级缓存系统的每级缓存中，建立两个执行LRU(Least Recently Used，最近最少使用)算法的队列——高隐示频率队列和低隐示频率队列，高隐示频率队列中存储具有高隐示频率的数据块，低隐示频率队列存储具有最低隐示频率的数据块，即除了最低隐示频率的数据块存储于低隐示频率队列中之外，其余的比最低隐示频率高的数据块都作为高隐示频率的数据块存储于高隐示频率队列中，在初始化时，高隐示频率队列和低隐示频率队列具有相同大小，随着用户不断访问数据，保存在缓存中的数据块不断增多，低隐示频率队列是自适应的即非固定大小，其大小取决于本级缓存中具有最低隐示频率的数据块的数量，其他数据块存储在高隐示频率队列中；

步骤S3，在各级缓存中建立的热度阈值替换表，其中，热度为隐示频率与时间的比值，所述热度阈值替换表中保存的是在某级缓存中具有最高热度和最低热度的数据块信息；在此，多级缓存系统的每级缓存中，建立一个热度阈值替换表，后续在升级降级策略中，利用热度阈值替换表判断可以数据块是否满足升级降级的条件，所有存储在存储设备而非缓存中的数据块，其升级隐示(单位时间内升级的次数)、降级隐示(单位时间内降级的次数)、热度均设为0。对缓存中的所有数据块，计算其热度，并根据各级缓存中最高热度和最低热度的数据块信息更新热度阈值替换表；

步骤S4，根据各级缓存中的热度阈值替换表将某个数据块降级至下级缓存的高隐示频率队列或升级至上级缓存的低隐示频率队列。

具体的，多级缓存模型如图1所示，该缓存模型由n个等级的缓存组成(L₁,L₂,...L_n)，不包括用户级、最终存储设备级，在这个模型中，D_i表示从L_i-1降级到L_i，P_i表示从L_i+1升级到L_i。D(x,i)表示数据块x降级到L_i，P(x,i)表示数据块x升级到L_i。在这个模型中，热数据块更倾向于被提升至较高级的缓存，冷数据块则会通过降级操作被驱逐至低级缓存。

以t表示一个时间间隔，k为一个随机整数：

表示数据块x从(k-1)t到kt时刻在缓存L_i中的隐示频率(即降级操作与升级操作次数总和)，那么：

定义数据块x的热度：在给定时间间隔t中，数据块的隐示频率大小，则：

此外，为了在长的时间间隔T(T＝kt)中精确计算数据块的热度，该算法引入一个热度衰退值δ，上述热度计算公式变为：

隐示频率F越高，表示该数据块越热。

步骤S2中，在多级缓存系统的每级缓存中，建立两个执行LRU(Least RecentlyUsed，最近最少使用)算法的队列——高隐示频率队列和低隐示频率队列，

以表示从(k-1)t到kt时刻在缓存L_i中最小的

以表示从(k-1)t到kt时刻在缓存L_i中最大的

高隐示频率队列中存储着高隐示频率的数据块低隐示频率队列存储着所有最低隐示频率的数据块并以热度为键值排序。

步骤S3中，在每级缓存中，建立一个热度阈值替换表T_out，如图2所示。T_out中记录着本级缓存中具有最高最低热度的数据块。对缓存中的所有数据块，计算其热度值，如果热度阈值替换表未满，则将数据块加入替换表中；若替换表已满，则将超出热度阈值的数据块加入替换表中。

本发明的基于历史升降级频率的多级缓存方法的一优选的实施例中，步骤S4的根据各级缓存中的热度阈值替换表将某个数据块降级至下级缓存的高隐示频率队列包括如下降级策略：

寻找本级缓存中热度最低的数据块，将其降级至下级缓存的高隐示频率队列，判断是否更新该下级缓存的热度阈值替换表，若是，对该下级缓存的热度阈值替换表进行更新；在此，数据块的降级，是指数据块从高级缓存中被驱逐到低级缓存中的现象。降级策略的发生是由于本级缓存外有个新数据块要升级入该本级缓存，而本级缓存已满，此时，本级缓存需要为该新数据升级入该本级缓存空出存储空间，则必然会发生数据块的降级，而将本级缓存中热度最低的数据块降级至下级缓存的高隐示频率队列。

具体的，如图3所示，在L_i级缓存发生了降级操作：

第一步，该算法得到本级缓存的最低热度H_i-min；

第二步，在热度阈值替换表中找到具有最低热度H_i-min的数据块X_a；

第三步，将数据块X_a降级到L_i+1级；

第四步，将数据块X_a插入到L_i+1级的高隐示频率队列Q₁，并更新替换表。

本发明的基于历史升降级频率的多级缓存方法的一优选的实施例中，判断是否更新该下级缓存的热度阈值替换表，若是，对该下级缓存的热度阈值替换表进行更新包括：

判断降级的数据块的热度，是否大于该下级缓存中的最高热度或小于该下级缓存中的最低热度，若是，则更新该下级缓存的热度阈值替换表。降级策略，以隐示频率决定的热度为主要判断依据。当需要对数据块进行降级时，该策略首先得到本层缓存中所有数据块的最低热度值，其次根据最低热度在热度阈值替换表中寻找到具有最低热度的数据块，然后将此数据块降级到下级缓存中，下级缓存接收到数据块，将其插入高隐示频率队列中，判断降级的数据块的热度，是否大于该下级缓存中的最高热度或小于该下级缓存中的最低热度，即达到该下级缓存的热度阈值，若是，即如果达到热度阈值，则更新热度阈值替换表。

本发明的基于历史升降级频率的多级缓存方法的一优选的实施例中，步骤S4的根据各级缓存中的热度阈值替换表将某个数据块升级至上级缓存的低隐示频率队列包括下述升级策略：

从最高级缓存开始查找待读取的数据块，逐级向下级缓存传递上级缓存中的热度阈值替换表的最低热度，直至在某级缓存中命中所述待读取的数据块，若所述待读取的数据块的热度高于上级缓存中最低热度，则将该待读取的数据块升级至上级缓存的低隐示频率队列，并判断是否更新该上级缓存的热度阈值替换表，若是，对该上级缓存的热度阈值替换表进行更新。在此，升级策略进行的是数据块的升级。数据块的升级，是指数据块从低级缓存中被提升至高级缓存中的现象。当用户访问某个数据块，而数据块在较低级缓存中，甚至仍在存储设备中，并未被读入缓存。此时，就有可能发生数据块的升级。升级策略，仍以隐示频率决定的热度为主要判断依据。当用户发出对某个数据块的请求时，该策略逐级向下查找该数据块是否存在缓存中。若不在本级缓存中，则该算法向下级缓存发送请求命令，以及本级缓存中所有数据块中的最小热度值，直至在某级缓存中命中该数据块。

本发明的基于历史升降级频率的多级缓存方法的一优选的实施例中，判断是否更新该上级缓存的热度阈值替换表，若是，对该上级缓存的热度阈值替换表进行更新包括：

判断命中的数据块的热度，是否大于该上级缓存中的最高热度或小于该下级缓存中的最低热度，若是，则更新该上级缓存的热度阈值替换表。在命中数据块的缓存中，比较该数据块的热度与上一级缓存中数据块的最小热度值，如果该数据快的热度高于上一级缓存中数据块的最低热度，则该数据块应进行升级，将该数据块插入到上一级缓存的低隐示频率队列中，并断该数据块的热度，是否达到热度阈值。如果达到热度阈值，则更新热度阈值替换表。

具体的，如图4所示，用户访问数据块X_b，在L_i+1级命中X_b，该算法需要判断是否应对X_b进行升级：

第一步，在L_i级替换表中找到具有最小热度的数据块X_a；

第二步，将数据块X_a的最小热度H_i-min发送给L_i+1级；

第三步，检查数据块X_b的热度是否大于数据块X_a的最小热度；

第四步，若大于，将数据块X_b插入到L_i+1级替换表的头部；

第五步，将数据块X_b提升至L_i级；

第六步，检查数据块X_b是否在L_i级热度阈值替换表中，若不在，判断数据块X_b的热度，是否大于上级缓存L_i的最高热度或小于该上级缓存L_i的最低热度，若是，则更新上级缓存L_i的热度阈值替换表；

第七步，将数据块X_b插入到L_i级缓存的低隐示频率队列Q₂。

本发明的基于历史升降级频率的多级缓存方法的一优选的实施例中，将该待读取的数据块升级至上级缓存的低隐示频率队列中，若上级缓存已满，则需要对上级缓存执行所述降级策略后，将该待读取的数据块升级至上级缓存的低隐示频率队列，以空出待读取的数据块升级的缓存空间后再进行升级。

本发明是一种提高多级缓存系统I/O性能的有效方法，其核心思想是，使用丰富的历史隐示信息高效识别热数据块。除此之外，本发明可以与一些著名的多级缓存算法协同作用，如Demote，Promote，Hint-K等。

本发明的优点在于：

1)本发明基于数据块的历史隐示信息，而历史隐示信息是多级缓存系统的精髓之一，通过隐示频率，能够有效地识别出热数据块，并使其在更高级的缓存中能更长久地保存，增大了系统的数据块命中率，减少了平均反应时间；

2)本发明将传统的LRU栈分为两个专用的队列，使得隐示信息具有局部性(即，具有相近隐示信息的数据块距离更近)，避免了冷热数据块混杂，减少了各级缓存之间的带宽的使用；

3)本发明通过有效地识别热数据块，该算法使得热数据块在高级缓存中能长时间地保存，减少了各级缓存之间的降级、升级操作，进一步减小了各级缓存之间的带宽消耗；

4)本发明的空间消耗非常小，为各种负载下系统更好的读写性能打下了基础。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (7)

1.一种基于历史升降级频率的多级缓存方法，其特征在于，包括：

根据各级缓存中每个数据块的隐示频率，其中，隐示频率为单位时间内每个数据块被升级、降级的次数之和；

在各级缓存中建立的高隐示频率队列和低隐示频率队列，其中，高隐示频率队列中存储具有高隐示频率的数据块，低隐示频率队列存储具有最低隐示频率的数据块；

在各级缓存中建立的热度阈值替换表，其中，热度为隐示频率与时间的比值，所述热度阈值替换表中保存的是在某级缓存中具有最高热度和最低热度的数据块信息；

根据各级缓存中的热度阈值替换表，将某级缓存的低隐示频率队列中热度最低的数据块降级至下级缓存的高隐示频率队列或者将某级缓存的高隐示频率队列中某个高于上级缓存中最低热度的数据块升级至上级缓存的低隐示频率队列。

2.如权利要求1所述的基于历史升降级频率的多级缓存方法，其特征在于，所述低隐示频率队列以热度为键值进行排序。

3.如权利要求1所述的基于历史升降级频率的多级缓存方法，其特征在于，根据各级缓存中的热度阈值替换表将某个数据块降级至下级缓存的高隐示频率队列包括如下降级策略：

寻找本级缓存中热度最低的数据块，将其降级至下级缓存的高隐示频率队列，判断是否更新该下级缓存的热度阈值替换表，若是，对该下级缓存的热度阈值替换表进行更新。

4.如权利要求3所述的基于历史升降级频率的多级缓存方法，其特征在于，判断是否更新该下级缓存的热度阈值替换表，若是，对该下级缓存的热度阈值替换表进行更新包括：

判断降级的数据块的热度，是否大于该下级缓存中的最高热度或小于该下级缓存中的最低热度，若是，则更新该下级缓存的热度阈值替换表。

5.如权利要求3所述的基于历史升降级频率的多级缓存方法，其特征在于，根据各级缓存中的热度阈值替换表将某个数据块升级至上级缓存的低隐示频率队列包括下述升级策略：

从最高级缓存开始查找待读取的数据块，逐级向下级缓存传递上级缓存中的热度阈值替换表的最低热度，直至在某级缓存中命中所述待读取的数据块，若所述待读取的数据块的热度高于上级缓存中最低热度，则将该待读取的数据块升级至上级缓存的低隐示频率队列，并判断是否更新该上级缓存的热度阈值替换表，若是，对该上级缓存的热度阈值替换表进行更新。

6.如权利要求5所述的基于历史升降级频率的多级缓存方法，其特征在于，判断是否更新该上级缓存的热度阈值替换表，若是，对该上级缓存的热度阈值替换表进行更新包括：

判断命中的数据块的热度，是否大于该上级缓存中的最高热度或小于该下级缓存中的最低热度，若是，则更新该上级缓存的热度阈值替换表。

7.如权利要求5所述的基于历史升降级频率的多级缓存方法，其特征在于，将所述待读取的数据块升级至上级缓存的低隐示频率队列中，

若上级缓存已满，则需要对上级缓存执行所述降级策略后，将该待读取的数据块升级至上级缓存的低隐示频率队列。