CN115509962A - 一种多级缓存管理方法、装置、设备及可读存储介质 - Google Patents

一种多级缓存管理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN115509962A
CN115509962A CN202211238751.8A CN202211238751A CN115509962A CN 115509962 A CN115509962 A CN 115509962A CN 202211238751 A CN202211238751 A CN 202211238751A CN 115509962 A CN115509962 A CN 115509962A
Authority
CN
China
Prior art keywords
cache
request data
layer
probability value
cache layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211238751.8A
Other languages
English (en)
Inventor
张凯
王芳
施展
苏楠
冯丹
周洋
李强
王见
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Inspur Electronic Information Industry Co Ltd
Original Assignee
Huazhong University of Science and Technology
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Inspur Electronic Information Industry Co Ltd filed Critical Huazhong University of Science and Technology
Priority to CN202211238751.8A priority Critical patent/CN115509962A/zh
Publication of CN115509962A publication Critical patent/CN115509962A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/122—Replacement control using replacement algorithms of the least frequently used [LFU] type, e.g. with individual count value
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/128—Replacement control using replacement algorithms adapted to multidimensional cache systems, e.g. set-associative, multicache, multiset or multilevel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1021—Hit rate improvement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请公开了一种多级缓存管理方法、装置、设备及可读存储介质，该方法包括：每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；在需要驱逐上层缓存层中的一个目标I/O请求数据时，生成随机数；若随机数小于概率值，则利用LRU算法选出目标I/O请求数据；若随机数大于等于概率值，则利用LFU算法选出目标I/O请求数据；驱逐目标I/O请求数据。本申请面对复杂场景下的I/O请求，能够较为灵活地匹配不同的访问模式，从而自适应对当前的I/O请求数据进行合理调度和替换。即，本申请可以将底层缓存层与上次缓存层动态结合起来进行管理，从而实现多层缓存层的相互协同，最终有效提升缓存命中率。

Description

一种多级缓存管理方法、装置、设备及可读存储介质
技术领域
本申请涉及计算机存储技术领域，特别是涉及一种多级缓存管理方法、装置、设备及可读存储介质。
背景技术
随着现代存储系统的规模不断扩大，中间件层越来越多地被用于缓存计算数据以备将来可能被重新访问。缓存在整个系统中所起到的作用是非常重要的。在实时系统中，数据在到达应用程序之前经过多个缓存层。事实上，这种由不同缓存中间层所构成的多级缓存在现代计算机系统中非常常见，例如在一个web应用中客户端缓存和服务端缓存可认为构成了一个简单的两级或多级缓存。
通常情况下，管理多级缓存要比单级缓存更加困难，其原因是：靠近应用侧的高层缓存通常情况下吸收了多数请求，导致剩余请求在底层缓存层的访问特性发生改变；在多级缓存中优化的目标不仅是某层缓存，而是整个多级缓存系统。因此在多级缓存中，如何保证层与层之间的相互协同尤为重要。但是，目前对于多级多级缓存管理，并无法有效保障层与层之间的相互协同。
综上所述，如何有效地解决多级多级缓存管理多层相互协同等问题，是目前本领域技术人员急需解决的技术问题。
发明内容
本申请的目的是提供一种多级缓存管理方法、装置、设备及可读存储介质，以实现多级多级缓存管理多层相互协同，提升多级缓存系统整体命中率。
为解决上述技术问题，本申请提供如下技术方案：
一种多级缓存管理方法，包括：
每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；
在需要驱逐所述上层缓存层中的一个目标I/O请求数据时，生成随机数；
若所述随机数小于所述概率值，则利用LRU算法选出所述目标I/O请求数据；
若所述随机数大于等于所述概率值，则利用LFU算法选出所述目标I/O请求数据；
驱逐所述目标I/O请求数据。
优选地，所述利用命中信息动态更新对应上层缓存层的概率值，包括：
利用所述命中信息，读取所述I/O请求数据对应的历史访问信息；
利用所述历史访问信息确定所述I/O请求数据被所述上层缓存层驱逐时，对应采用的驱逐算法；
若所述驱逐算法为所述LRU算法，则利用公式
Figure BDA0003883156200000021
减少所述概率值；
若所述驱逐算法为所述LFU算法，则利用
Figure BDA0003883156200000022
增大所述概率值；
其中，P为所述概率值，P＇为新概率值，λ和d分别对应于所述上层缓存层相对于所述概率值的学习率和折扣率，T为所述I/O请求数据的在所述底层缓存层命中的逻辑时间，evict_time为所述I/O请求数据被所述上层缓存驱逐的逻辑时间。
优选地，所述利用命中信息动态更新对应上层缓存层的概率值，包括：
若所述上层缓存层为顶层缓存层，则利用所述命中信息，动态更新所述顶层缓存层对应的所述概率值；
若所述上层缓存层为中间层缓存层，则所述命中信息，动态更新所述顶层缓存层对应的所述概率值。
优选地，驱逐所述目标I/O请求数据，包括：
将所述目标I/O请求数据驱逐至所述底层缓存层中与所述上层缓存层对应区域；其中，所述底层缓存层中对应不同的所述上层缓存层设置不同区域。
优选地，缓存新I/O请求数据，包括：
将所述新I/O请求数据存入所述多级缓存中的中间缓存层；
获取指定时长内，所述新I/O请求数据的访问频率；
利用所述访问频率，将所述新I/O请求数据迁移至顶层缓存层。
优选地，利用所述访问频率，将所述新I/O请求数据迁移至顶层缓存层，包括：
判断所述访问频率是否大于动态更新的频率阈值；
如果是，则将所述新I/O请求数据迁移至所述顶层缓存层。
优选地，动态更新所述频率阈值，包括：
为各个所述上层缓存层分别对应建立一个先进先出队列；其中，所述先进先出队列所能容纳的记录数对应相应记录的缓存层所能够缓存下的最大I/O请求数据；
在各个所述先进先出队列中，记录被驱逐的所述I/O请求数据对应的访问频率；
在每次驱逐出一个所述I/O请求数据时，重新计算对应的所述先进先出队列内所有访问频率的平均值，并与所述频率阈值的大小进行对比；
根据比对结果，对所述频率阈值进行调整。
一种多级缓存管理装置，包括：
概率值更新模块，用于每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；
随机数生成模块，用于在需要驱逐所述上层缓存层中的一个目标I/O请求数据时，生成随机数；
驱逐确认模块，用于若所述随机数小于所述概率值，则利用LRU算法选出所述目标I/O请求数据；若所述随机数大于等于所述概率值，则利用LFU算法选出所述目标I/O请求数据；
驱逐模块，用于驱逐所述目标I/O请求数据。
一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述多级缓存管理方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述多级缓存管理方法的步骤。
应用本申请实施例所提供的方法，每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；在需要驱逐上层缓存层中的一个目标I/O请求数据时，生成随机数；若随机数小于概率值，则利用LRU算法选出目标I/O请求数据；若随机数大于等于概率值，则利用LFU算法选出目标I/O请求数据；驱逐目标I/O请求数据。
在本申请中，当顶层缓存的I/O请求数据被命中之后，都会利用命中信息动态更新对应的上层缓存层的概率值，该概率值确定该生成缓存层驱逐数据所用的驱逐算法具体为哪个。具体的，当上层缓存层需要驱逐其缓存的一个目标I/O请求数据时，首先生成一个随机数，若该随机数小于动态更新的概率值，则直接利用LRU算法选出目标I/O请求数据；若该随机数不小于动态更新的概率值，则利用LFU算法来选出目标I/O请求数据。在选出了目标I/O请求数据之后，将其驱逐。由此可见，在本申请中，对于上层缓存层驱逐目标I/O请求数据，其并非固定采用LFU算法或LRU算法，而是结合一个随机数，以及底层缓存层的命中情况动态更新的概率值，从而动态选择采用LFU算法或LRU算法。在面对复杂场景下的I/O请求，能够较为灵活地匹配不同的访问模式，从而自适应对当前的I/O请求数据进行合理调度和替换。即，本申请可以将底层缓存层与上次缓存层动态结合起来进行管理，从而实现多层缓存层的相互协同，最终有效提升缓存命中率。
相应地，本申请实施例还提供了与上述多级缓存管理方法相对应的多级缓存管理装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种多级缓存管理方法的实施流程图；
图2为本申请实施例中一种多级缓存管理方法的实施示意图；
图3为本申请实施例中一种多级缓存管理方法的具体实施流程图
图4为本申请实施例中一种多级缓存管理装置的结构示意图；
图5为本申请实施例中一种电子设备的结构示意图；
图6为本申请实施例中一种电子设备的具体结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例中一种多级缓存管理方法的流程图，该方法包括以下步骤：
S101、每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值。
其中，上层缓存层即多级缓存中的非底层缓存层。例如，对于三级缓存而言，上层缓存层即对应顶层缓存层和中间缓存层。
在本申请中，针对多级缓存中的每一个上层缓存层可以分别设置一个概率值，即一个非底层缓存层对应一个概率值P。例如，对于多级缓存而言，可以为顶层缓存层设置一个概率值P1，为中间缓存层设置一个概率值P2。
当多级缓存中的底层缓存层被命中，则利用命中信息来动态更新对应上层缓存层的概率值。其中，命中信息可包括当前被命中的I/O请求数据具体与哪个上层缓存层对应，该I/O请求数据的历史访问信息等。其中，底层缓存层的每个区域按照上层缓存的分配特点进行分开管理，每个缓存队列均采用LRU算法进行驱逐处理。
其中，I/O请求数据可以为I/O请求所请求的数据，如详细的逻辑地址和访问大小。当然，该I/O请求数据还可以为其他能够快速应答I/O请求的数据，如图片、视频或文本等具体数据内容。
在本申请中的一种具体实施方式中，利用命中信息动态更新对应上层缓存层的概率值，包括：
步骤一、利用命中信息，读取I/O请求数据对应的历史访问信息；
步骤二、利用历史访问信息确定I/O请求数据被上层缓存层驱逐时，对应采用的驱逐算法；
步骤三、若驱逐算法为LRU算法，则利用公式
Figure BDA0003883156200000061
减少概率值；
步骤四、若驱逐算法为LFU算法，则利用
Figure BDA0003883156200000062
增大概率值；
其中，P为概率值，P＇为新概率值，λ和d分别对应于上层缓存层相对于概率值的学习率和折扣率，T为I/O请求数据的在底层缓存层命中的逻辑时间，evict_time为I/O请求数据被上层缓存驱逐的逻辑时间。
为便于描述，下面将上述四个步骤结合起来进行说明。
需要注意的是，在本实施例中逻辑时间，并非一般意义上的几秒钟，而是按照I/O请求数来确定。例如当前缓存接收了6个I/O请求，那么逻辑时间就是6。
每当新的I/O请求在最底层缓存造成命中时，则需要更新对应上层缓存层的概率值，具体而言是更新I/O请求的历史访问信息中被驱逐的缓存层对应的概率值；如果对应命中的I/O请求所记录的历史访问信息中关于被驱逐时所使用的I/O请求中的其中一个访问特征为最近一次的访问时间，即驱逐算法为LRU算法，则减小概率值，公式为：
Figure BDA0003883156200000063
其中λ和d分别对应于每层缓存层相对于概率值的学习率和折扣率，T代表当前I/O请求的命中时间，evict_time代表当前I/O请求被上层缓存驱逐的具体时间。
进一步，为了保证概率值的大小取值在[0,1]，还可对上述值进行归一化操作，具体公式为：
Figure BDA0003883156200000064
需要注意的是，此公式中的P对应调整后的概率值。
如果对应命中的I/O请求所记录的历史访问信息中关于被驱逐时所使用的I/O请求中的其中一个访问特征为访问频率，即驱逐算法为LFU算法，则增大概率值，公式为：
Figure BDA0003883156200000065
进一步地，为了保证概率值的大小取值在[0,1]，还需要对上述值进行归一化操作，具体公式为：
Figure BDA0003883156200000066
Figure BDA0003883156200000071
需要注意的是，此公式中的P对应调整后的概率值。
在本申请中的一种具体实施方式中，利用命中信息动态更新对应上层缓存层的概率值，包括：
情况一、若上层缓存层为顶层缓存层，则命中信息，动态更新顶层缓存层对应的概率值；
情况二、若上层缓存层为中间层缓存层，则命中信息，动态更新顶层缓存层对应的概率值。
请参考图2，图2为本申请实施例中一种多级缓存管理方法的实施示意图。
若上层缓存层具体为顶层缓存层，则针对顶层缓存层的P1值进行动态更新，若上层缓存层具体为中间缓存层，则针对中间缓存层的P2值进行动态更新。即，对应不同的上层缓存层，该命中信息可能存在区别，如被驱逐时不同上层缓存层对应采用的驱逐算法可能存在区别。
除底层缓存层以外，上层缓存层中的每一层均会保持一个概率值P∈[0,1]，该值的主要作用是在缓存需要剔除一个I/O请求时，根据P值的大小来决定需要根据I/O请求的其中一个访问特征进行替换；I/O请求的访问特征主要包括最近一次的访问时间和访问频率，其中，根据不同的驱逐算法，访问时间越早或者访问频率越小的I/O请求会被优先选中驱逐出缓存。
S102、在需要驱逐上层缓存层中的一个目标I/O请求数据时，生成随机数。
具体的，当缓存内已有的I/O请求数量达到缓存容量时，此时又新进入一个I/O请求数据到该上层缓存层，此时即确认需要驱逐上层缓存层中的一个目标I/O请求数据。这里的目标I/O请求数据即为需求驱逐出该上层缓存层的一个I/O请求数据。
具体的，可以采用随机数在[0,1]内，生成一个随机数R。
S103、若随机数小于概率值，则利用LRU算法选出目标I/O请求数据。
如果R∈[0,P)，则选择最近一次访问时间最早的I/O请求驱逐出缓存。即，采用LRU算法选出目标I/O请求数据。
S104、若随机数大于等于概率值，则利用LFU算法选出目标I/O请求数据。
如果R∈[P,1]，否则选择访问频率最小的I/O请求驱逐出缓存。即，采用LFU算法选出目标I/O请求数据。
S105、驱逐目标I/O请求数据。
确定出目标I/O请求数据之后，便可将目标I/O请求数据驱逐出当前的上层缓存层中。
具体的，为了便于统计，在驱逐时，可将目标I/O请求数据直接驱逐至底层缓存层。
在本申请中的一种具体实施方式中，驱逐目标I/O请求数据，包括：将目标I/O请求数据驱逐至底层缓存层中与上层缓存层对应区域；其中，底层缓存层中对应不同的上层缓存层设置不同区域。
具体的，由于最底层缓存由于其具有较大的缓存容量，因此可根据上层缓存层的容量和层数来分配底层的缓存空间作为上层缓存的驱逐缓存；驱逐缓存的作用是上层缓存被驱逐出的I/O请求将被放入底层缓存的对应区域，并记录被上层缓存驱逐的具体时间，相应的缓存层和被驱逐时所使用的I/O请求中的其中一个访问特征，即标明被驱逐时，是因哪个具体驱逐算法而被驱逐。
在底层缓存层可进行虚拟划分，将其对应不同的缓存层进行划分，不同的区域接收来自不同上层缓存层驱逐的I/O请求数据，在同一个上层缓存层对应的底层缓存区域中，还可以再进行细分，将其细分为LRU区域和LFU区域，从而根据不同的驱逐算法来确定具体的存放位置。如此，在底层缓存层中的I/O请求数据被命中的情况下，该命中信息可以具体为指明该I/O请求数据是属于哪个具体的区域，则可明确其对应的上层缓存层以及驱逐算法是什么。
举例说明，若被命中的I/O请求数据为底层缓存层中，对应顶层缓存层的LRU区域，则基于其命中信息，即可明确，该I/O请求数据对应的上层缓存层为顶层缓存层，且其被驱逐时的驱逐算法为LRU算法。
应用本申请实施例所提供的方法，每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；在需要驱逐上层缓存层中的一个目标I/O请求数据时，生成随机数；若随机数小于概率值，则利用LRU算法选出目标I/O请求数据；若随机数大于等于概率值，则利用LFU算法选出目标I/O请求数据；驱逐目标I/O请求数据。
在本申请中，当顶层缓存的I/O请求数据被命中之后，都会利用命中信息动态更新对应的上层缓存层的概率值，该概率值确定该生成缓存层驱逐数据所用的驱逐算法具体为哪个。具体的，当上层缓存层需要驱逐其缓存的一个目标I/O请求数据时，首先生成一个随机数，若该随机数小于动态更新的概率值，则直接利用LRU算法选出目标I/O请求数据；若该随机数不小于动态更新的概率值，则利用LFU算法来选出目标I/O请求数据。在选出了目标I/O请求数据之后，将其驱逐。由此可见，在本申请中，对于上层缓存层驱逐目标I/O请求数据，其并非固定采用LFU算法或LRU算法，而是结合一个随机数，以及底层缓存层的命中情况动态更新的概率值，从而动态选择采用LFU算法或LRU算法。在面对复杂场景下的I/O请求，能够较为灵活地匹配不同的访问模式，从而自适应对当前的I/O请求数据进行合理调度和替换。即，本申请可以将底层缓存层与上次缓存层动态结合起来进行管理，从而实现多层缓存层的相互协同，最终有效提升缓存命中率。
需要说明的是，基于上述实施例，本申请实施例还提供了相应的改进方案。在优选/改进实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在本文的优选/改进实施例中不再一一赘述。
在本申请中的一种具体实施方式中，缓存新I/O请求数据，包括：
步骤一、将新I/O请求数据存入多级缓存中的中间缓存层；
步骤二、获取指定时长内，新I/O请求数据的访问频率；
步骤三、利用访问频率，将新I/O请求数据迁移至顶层缓存层。
为便于描述下面将上述三个步骤结合起来进行说明。
如图2所示，当有新的I/O请求数据，直接存入到多级缓存中的中间缓存。然后，再在一段时间后根据I/O请求数据在中间缓存层的访问情况，选择是否提升至顶层缓存层；除底层缓存层外其他缓存层根据I/O请求在不同访问特征上的表现进行替换，并结合底层缓存的容量优势对I/O请求的历史访问信息进行保留；I/O请求数据的访问情况主要是I/O请求数据在一段时间内对中间缓存层的访问频率；I/O请求数据的访问特征主要是访问局部性和频率，局部性通过I/O请求数据的最近一次的访问时间来体现；I/O请求数据的历史访问信息主要记录I/O请求被驱逐的层位置和时间。
在本申请中的一种具体实施方式中，上述步骤三利用访问频率，将新I/O请求数据迁移至对应的缓存层，包括：
步骤1、判断访问频率是否大于动态更新的频率阈值；
步骤2、如果是，则将新I/O请求数据迁移至顶层缓存层；
步骤3、如果否，则将新I/O请求数据继续保留在中间缓存层。
当访问频率大于频率阈值，则表明该新I/O请求数据属于高频访问数据，此时可将其迁移至顶层缓存层，从而提高命中率；当访问频率不大于频率阈值，则表明该新I/O请求数据并非高频访问数据，此时对该新I/O请求数据进行保留。
举例说明：每个新I/O请求数据，都会在中间缓存层记录在缓存内的访问频率，每次相同的新I/O请求数据在中间缓存命中层时，访问频率即增加；在每次访问频率增加时，可对比设定的频率阈值。如果当前的访问频率超出所设定的频率阈值时，该新I/O请求数据会被提升至更上一级的缓存，从而发挥出上层缓存的性能优势。如果该I/O请求数据的访问频率始终未达到该阈值，最终会被驱逐至下层缓存层，如底层缓存层。
在本申请中的一种具体实施方式，动态更新频率阈值，包括：
步骤1、为各个上层缓存层分别对应建立一个先进先出队列；其中，先进先出队列所能容纳的记录数对应相应记录的缓存层所能够缓存下的最大I/O请求数据；
步骤2、在各个先进先出队列中，记录被驱逐的I/O请求数据对应的访问频率；
步骤3、在每次驱逐出一个I/O请求数据时，重新计算对应的先进先出队列内所有访问频率的平均值，并与频率阈值的大小进行对比；
步骤4、根据比对结果，对频率阈值进行调整。
为便于描述，下面将上述4个步骤结合起来进行说明。
为上层缓存层中的每层缓存建立一个先进先出队列，每当相应的缓存层驱逐一个I/O请求数据时，将该I/O请求数据在该层的访问频率放入对应的先进先出队列中；该队列所能容纳的记录数是相应记录的缓存层所能够缓存下的最大I/O请求数。
每次发生缓存替换需要驱逐出一个I/O请求数据时，可重新计算该队列内所有访问频率的平均值，并与频率阈值的大小进行对比。以三层缓存系统为例，对于中间层缓存如果相应队列的平均值大小
Figure BDA0003883156200000111
与频率阈值θf的关系满足
Figure BDA0003883156200000112
Figure BDA0003883156200000113
则意味着上层缓存层没有发挥出性能层的优势，导致大部分的I/O请求在中间层被直接驱逐出缓存，此时应该减小θf的大小；相对应的上层层缓存如果相应队列的平均值大小
Figure BDA0003883156200000114
与频率阈值θf的关系满足
Figure BDA0003883156200000115
Figure BDA0003883156200000116
则意味着中间缓存层没有发挥出为上层缓存的过滤作用，大部分的I/O请求在中间层被很快提升至上层缓存，但在上层缓存却并未造成更多的缓存命中，导致出现缓存污染现象，此时应该增大θf的大小。
进一步地，为了保证频率阈值的变化稳定在一个合适的访问，每当θf增大或者减小到一定值时将不会继续变化，并且每次增加或者减少时的步长为1，从而实现频率阈值的平缓变化。
为便于本领域技术人员更好的理解本申请实施例所提供的多级缓存管理方法，下面结合具体的应用场景为例，对该多级缓存管理方法进行详细说明。
具体的，请参考图3，当有新的I/O请求，I/O请求可能访问到顶层缓存，中间层缓存或底层缓存中的任一层缓存。当访问到顶层缓存直接正常处理即可；当访问底层缓存，则将对应的I/O请求数据提升至对应缓存层，并更新对应的上层缓存层的概率值；当访问到中间层缓存，则进行访问频率比对，确定该I/O请求数据是否提升至更高的缓存层，以及是否保留，然后更新频率阈值，最终访问结束。
由此可见，应用本申请实施例所提供的多级缓存管理方法，可以将多个缓存层协调管理，从而应对更未复杂的I/O场景。
相应于上面的方法实施例，本申请实施例还提供了一种多级缓存管理装置，下文描述的多级缓存管理装置与上文描述的多级缓存管理方法可相互对应参照。
参见图4所示，该装置包括以下模块：
概率值更新模块101，用于每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；
随机数生成模块102，用于在需要驱逐上层缓存层中的一个目标I/O请求数据时，生成随机数；
驱逐确认模块103，用于若随机数小于概率值，则利用LRU算法选出目标I/O请求数据；若随机数大于等于概率值，则利用LFU算法选出目标I/O请求数据；
驱逐模块104，用于驱逐目标I/O请求数据。
应用本申请实施例所提供的装置，每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；在需要驱逐上层缓存层中的一个目标I/O请求数据时，生成随机数；若随机数小于概率值，则利用LRU算法选出目标I/O请求数据；若随机数大于等于概率值，则利用LFU算法选出目标I/O请求数据；驱逐目标I/O请求数据。
在本申请中，当顶层缓存的I/O请求数据被命中之后，都会利用命中信息动态更新对应的上层缓存层的概率值，该概率值确定该生成缓存层驱逐数据所用的驱逐算法具体为哪个。具体的，当上层缓存层需要驱逐其缓存的一个目标I/O请求数据时，首先生成一个随机数，若该随机数小于动态更新的概率值，则直接利用LRU算法选出目标I/O请求数据；若该随机数不小于动态更新的概率值，则利用LFU算法来选出目标I/O请求数据。在选出了目标I/O请求数据之后，将其驱逐。由此可见，在本申请中，对于上层缓存层驱逐目标I/O请求数据，其并非固定采用LFU算法或LRU算法，而是结合一个随机数，以及底层缓存层的命中情况动态更新的概率值，从而动态选择采用LFU算法或LRU算法。在面对复杂场景下的I/O请求，能够较为灵活地匹配不同的访问模式，从而自适应对当前的I/O请求数据进行合理调度和替换。即，本申请可以将底层缓存层与上次缓存层动态结合起来进行管理，从而实现多层缓存层的相互协同，最终有效提升缓存命中率。
在本申请的一种具体实施方式中，概率值更新模块，具体用于利用命中信息，读取I/O请求数据对应的历史访问信息；
利用历史访问信息确定I/O请求数据被上层缓存层驱逐时，对应采用的驱逐算法；
若驱逐算法为LRU算法，则利用公式
Figure BDA0003883156200000131
减少概率值；
若驱逐算法为LFU算法，则利用
Figure BDA0003883156200000132
增大概率值；
其中，P为概率值，P＇为新概率值，λ和d分别对应于上层缓存层相对于概率值的学习率和折扣率，T为I/O请求数据的在底层缓存层命中的逻辑时间，evict_time为I/O请求数据被上层缓存驱逐的逻辑时间。
在本申请的一种具体实施方式中，概率值更新模块，具体用于若上层缓存层为顶层缓存层，则利用命中信息，动态更新顶层缓存层对应的概率值；
若上层缓存层为中间层缓存层，则利用命中信息，动态更新顶层缓存层对应的概率值。
在本申请的一种具体实施方式中，驱逐模块，具体用于将目标I/O请求数据驱逐至底层缓存层中与上层缓存层对应区域；其中，底层缓存层中对应不同的上层缓存层设置不同区域。
在本申请的一种具体实施方式中，新数据缓冲模块，用于缓存新I/O请求数据，具体包括：将新I/O请求数据存入多级缓存中的中间缓存层；
获取指定时长内，新I/O请求数据的访问频率；
利用访问频率，将新I/O请求数据迁移至对应的缓存层。
在本申请的一种具体实施方式中，新数据缓冲模块，具体用于判断访问频率是否大于动态更新的频率阈值；
如果是，则将新I/O请求数据迁移至顶层缓存层。
在本申请的一种具体实施方式中，新数据缓冲模块，具体用于为各个上层缓存层分别对应建立一个先进先出队列；其中，先进先出队列所能容纳的记录数对应相应记录的缓存层所能够缓存下的最大I/O请求数据；
在各个先进先出队列中，记录被驱逐的I/O请求数据对应的访问频率；
在每次驱逐出一个I/O请求数据时，重新计算对应的先进先出队列内所有访问频率的平均值，并与频率阈值的大小进行对比；
根据比对结果，对频率阈值进行调整。
相应于上面的方法实施例，本申请实施例还提供了一种电子设备，下文描述的一种电子设备与上文描述的一种多级缓存管理方法可相互对应参照。
参见图5所示，该电子设备包括：
存储器332，用于存储计算机程序；
处理器322，用于执行计算机程序时实现上述方法实施例的多级缓存管理方法的步骤。
具体的，请参考图6，图6为本实施例提供的一种电子设备的具体结构示意图，该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储器332通信，在电子设备301上执行存储器332中的一系列指令操作。
电子设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。
上文所描述的多级缓存管理方法中的步骤可以由电子设备的结构实现。
相应于上面的方法实施例，本申请实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种多级缓存管理方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的多级缓存管理方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种多级缓存管理方法，其特征在于，包括：
每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；
在需要驱逐所述上层缓存层中的一个目标I/O请求数据时，生成随机数；
若所述随机数小于所述概率值，则利用LRU算法选出所述目标I/O请求数据；
若所述随机数大于等于所述概率值，则利用LFU算法选出所述目标I/O请求数据；
驱逐所述目标I/O请求数据。
2.根据权利要求1所述的多级缓存管理方法，其特征在于，所述利用命中信息动态更新对应上层缓存层的概率值，包括：
利用所述命中信息，读取所述I/O请求数据对应的历史访问信息；
利用所述历史访问信息确定所述I/O请求数据被所述上层缓存层驱逐时，对应采用的驱逐算法；
若所述驱逐算法为所述LRU算法，则利用公式
Figure FDA0003883156190000011
Figure FDA0003883156190000012
减少所述概率值；
若所述驱逐算法为所述LFU算法，则利用
Figure FDA0003883156190000013
Figure FDA0003883156190000014
增大所述概率值；
其中，P为所述概率值，P＇为新概率值，λ和d分别对应于所述上层缓存层相对于所述概率值的学习率和折扣率，T为所述I/O请求数据的在所述底层缓存层命中的逻辑时间，evict_time为所述I/O请求数据被所述上层缓存驱逐的逻辑时间。
3.根据权利要求1所述的多级缓存管理方法，其特征在于，所述利用命中信息动态更新对应上层缓存层的概率值，包括：
若所述上层缓存层为顶层缓存层，则利用所述命中信息，动态更新所述顶层缓存层对应的所述概率值；
若所述上层缓存层为中间层缓存层，则所述命中信息，动态更新所述顶层缓存层对应的所述概率值。
4.根据权利要求1所述的多级缓存管理方法，其特征在于，驱逐所述目标I/O请求数据，包括：
将所述目标I/O请求数据驱逐至所述底层缓存层中与所述上层缓存层对应区域；其中，所述底层缓存层中对应不同的所述上层缓存层设置不同区域。
5.根据权利要求1所述的多级缓存管理方法，其特征在于，缓存新I/O请求数据，包括：
将所述新I/O请求数据存入所述多级缓存中的中间缓存层；
获取指定时长内，所述新I/O请求数据的访问频率；
利用所述访问频率，将所述新I/O请求数据迁移至顶层缓存层。
6.根据权利要求5所述的多级缓存管理方法，其特征在于，利用所述访问频率，将所述新I/O请求数据迁移至所述顶层缓存层，包括：
判断所述访问频率是否大于动态更新的频率阈值；
如果是，则将所述新I/O请求数据迁移至所述顶层缓存层。
7.根据权利要求6所述的多级缓存管理方法，其特征在于，动态更新所述频率阈值，包括：
为各个所述上层缓存层分别对应建立一个先进先出队列；其中，所述先进先出队列所能容纳的记录数对应相应记录的缓存层所能够缓存下的最大I/O请求数据；
在各个所述先进先出队列中，记录被驱逐的所述I/O请求数据对应的访问频率；
在每次驱逐出一个所述I/O请求数据时，重新计算对应的所述先进先出队列内所有访问频率的平均值，并与所述频率阈值的大小进行对比；
根据比对结果，对所述频率阈值进行调整。
8.一种多级缓存管理装置，其特征在于，包括：
概率值更新模块，用于每次命中多级缓存中底层缓存层的I/O请求数据后，利用命中信息动态更新对应上层缓存层的概率值；
随机数生成模块，用于在需要驱逐所述上层缓存层中的一个目标I/O请求数据时，生成随机数；
驱逐确认模块，用于若所述随机数小于所述概率值，则利用LRU算法选出所述目标I/O请求数据；若所述随机数大于等于所述概率值，则利用LFU算法选出所述目标I/O请求数据；
驱逐模块，用于驱逐所述目标I/O请求数据。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述多级缓存管理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多级缓存管理方法的步骤。
CN202211238751.8A 2022-10-10 2022-10-10 一种多级缓存管理方法、装置、设备及可读存储介质 Pending CN115509962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211238751.8A CN115509962A (zh) 2022-10-10 2022-10-10 一种多级缓存管理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211238751.8A CN115509962A (zh) 2022-10-10 2022-10-10 一种多级缓存管理方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115509962A true CN115509962A (zh) 2022-12-23

Family

ID=84508678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211238751.8A Pending CN115509962A (zh) 2022-10-10 2022-10-10 一种多级缓存管理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115509962A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915703A (zh) * 2023-09-13 2023-10-20 中移(苏州)软件技术有限公司 表项驱逐方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116915703A (zh) * 2023-09-13 2023-10-20 中移(苏州)软件技术有限公司 表项驱逐方法、装置及电子设备
CN116915703B (zh) * 2023-09-13 2023-12-08 中移(苏州)软件技术有限公司 表项驱逐方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN110134514B (zh) 基于异构内存的可扩展内存对象存储系统
CN107193646B (zh) 一种基于混合主存架构的高效动态页面调度方法
EP3089039B1 (en) Cache management method and device
EP3210121B1 (en) Cache optimization technique for large working data sets
US7831796B2 (en) Apparatus, system, and method for dynamically allocating main memory among a plurality of applications
TWI684099B (zh) 剖析快取替代
US5381539A (en) System and method for dynamically controlling cache management
US20020056025A1 (en) Systems and methods for management of memory
US7107403B2 (en) System and method for dynamically allocating cache space among different workload classes that can have different quality of service (QoS) requirements where the system and method may maintain a history of recently evicted pages for each class and may determine a future cache size for the class based on the history and the QoS requirements
US9098417B2 (en) Partitioning caches for sub-entities in computing devices
US9971698B2 (en) Using access-frequency hierarchy for selection of eviction destination
CN113590045B (zh) 数据分层式存储方法、装置及存储介质
CN115168244A (zh) 一种数据更新方法、装置、设备及可读存储介质
CN115509962A (zh) 一种多级缓存管理方法、装置、设备及可读存储介质
US10733114B2 (en) Data cache performance
US20130086325A1 (en) Dynamic cache system and method of formation
US7502901B2 (en) Memory replacement mechanism in semiconductor device
CN112379841A (zh) 数据处理方法、装置和电子设备
JP2014010604A (ja) ストレージ装置とプログラムと方法
Goyal et al. CacheCOW: providing QoS for storage system caches
US11334488B2 (en) Cache management circuits for predictive adjustment of cache control policies based on persistent, history-based cache control information
KR101064178B1 (ko) 버퍼 캐시 관리 시스템 및 방법
CN112445794A (zh) 一种大数据系统的缓存方法
Bahn Efficiency of buffer caching in computing-intensive workloads
CN109582233A (zh) 一种数据的缓存方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination