CN106325776A - 一种缓存淘汰策略的实时调整方法及装置 - Google Patents

一种缓存淘汰策略的实时调整方法及装置 Download PDF

Info

Publication number
CN106325776A
CN106325776A CN201610720506.9A CN201610720506A CN106325776A CN 106325776 A CN106325776 A CN 106325776A CN 201610720506 A CN201610720506 A CN 201610720506A CN 106325776 A CN106325776 A CN 106325776A
Authority
CN
China
Prior art keywords
replacement policy
caching
real
cache
current cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610720506.9A
Other languages
English (en)
Inventor
杨善松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201610720506.9A priority Critical patent/CN106325776A/zh
Publication of CN106325776A publication Critical patent/CN106325776A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management

Abstract

本发明公开了一种缓存淘汰策略的实时调整方法及装置，按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；根据缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；当切换开销因子小于预设阈值时，对当前缓存淘汰策略进行切换。本发明所提供的缓存淘汰策略的实时调整方法及装置，通过缓存数据的实时命中率反馈，对缓存算法中的特性参数进行动态调整，能够有效提高缓存算法的适应能力，增加缓存的命中率，从而提高整个系统的性能。

Description

一种缓存淘汰策略的实时调整方法及装置
技术领域
本发明涉及存储系统缓存技术领域，特别是涉及一种缓存淘汰策略的实时调整方法及装置。
背景技术
在存储系统中，不同缓存算法各有优劣，比如FIFO算法在顺序访问居多的场景下能够提供较好的缓存命中率，但对于随机访问居多的IO，由于不能区分缓存块的热度，容易将较热数据淘汰出去。LRU算法在随机访问的业务中能够识别缓存块的热度，防止热数据被过早的淘汰，但是当热点数据发生切换时，被识别为热数据的缓存块会长久的占用内存，导致缓存污染，降低了整个系统的缓存命中率。可见，传统缓存算法的适应性较差，不能针对不同的业务进行实时的调整。
发明内容
本发明的目的是提供一种缓存淘汰策略的实时调整方法及装置，以解决现有缓存算法适应性差，不能针对不同的业务进行实时调整的问题。
为解决上述技术问题，本发明提供一种缓存淘汰策略的实时调整方法，包括：
按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；
根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；
当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换。
可选地，所述根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子包括：
对所述缓存命中率以及缓存数据量进行加权计算，分别确定将当前缓存淘汰策略切换为其他各缓存淘汰策略的切换开销因子。
可选地，所述当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换包括：
当所述切换开销因子小于预设阈值时，将所述当前缓存淘汰策略切换为其他缓存淘汰策略中切换开销因子最小的一个。
可选地，所述对所述当前缓存淘汰策略进行切换包括：
将所述当前缓存淘汰策略的缓存数据块热度统计信息使用切换后的缓存淘汰策略体现和组织。
可选地，所述当前缓存淘汰策略为预先设置的默认缓存淘汰策略。
本发明还提供了一种缓存淘汰策略的实时调整装置，包括：
统计模块，用于按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；
计算模块，用于根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；
切换模块，用于当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换。
可选地，所述计算模块具体为：对所述缓存命中率以及缓存数据量进行加权计算，分别确定将当前缓存淘汰策略切换为其他各缓存淘汰策略的切换开销因子的模块。
可选地，所述切换模块具体为：当所述切换开销因子小于预设阈值时，将所述当前缓存淘汰策略切换为其他缓存淘汰策略中切换开销因子最小的一个的模块。
可选地，所述切换模块具体为：将所述当前缓存淘汰策略的缓存数据块热度统计信息使用切换后的缓存淘汰策略体现和组织的模块。
本发明所提供的缓存淘汰策略的实时调整方法及装置，按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；根据缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；当切换开销因子小于预设阈值时，对当前缓存淘汰策略进行切换。本申请通过缓存数据的实时命中率反馈，对缓存算法中的特性参数进行动态调整，能够有效提高缓存算法的适应能力，增加缓存的命中率，从而提高整个系统的性能。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的缓存淘汰策略的实时调整方法的一种具体实施方式的流程图；
图2为本发明所提供的缓存淘汰策略的实时调整方法的原理示意图；
图3为本发明所提供的缓存淘汰策略的实时调整方法的处理过程示意图；
图4为缓存淘汰策略流程的切换示意图；
图5为本发明实施例提供的缓存淘汰策略的实时调整装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的缓存淘汰策略的实时调整方法的一种具体实施方式的流程图如图1所示，该方法包括：
步骤S101：按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；
步骤S102：根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；
其中，当前缓存淘汰策略可以为预先设置的默认缓存淘汰策略。
切换开销因子可以具体为结合缓存命中率以及缓存数据量等相关因素计算得到的开销数值，具体计算方法可以根据实际情况进行确定。
步骤S103：当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换。
本发明所提供的缓存淘汰策略的实时调整方法，按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；根据缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；当切换开销因子小于预设阈值时，对当前缓存淘汰策略进行切换。本申请通过缓存数据的实时命中率反馈，对缓存算法中的特性参数进行动态调整，能够有效提高缓存算法的适应能力，增加缓存的命中率，从而提高整个系统的性能。
在上述实施例的基础上，本发明所提供的缓存淘汰策略的实时调整方法，根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子的过程可以具体为：
对所述缓存命中率以及缓存数据量进行加权计算，分别确定将当前缓存淘汰策略切换为其他各缓存淘汰策略的切换开销因子。
进一步地，当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换的过程可以具体为：
当所述切换开销因子小于预设阈值时，将所述当前缓存淘汰策略切换为其他缓存淘汰策略中切换开销因子最小的一个。
在上述任一实施例的基础上，本发明所提供的缓存淘汰策略的实时调整方法中，对所述当前缓存淘汰策略进行切换可以具体为：
将所述当前缓存淘汰策略的缓存数据块热度统计信息使用切换后的缓存淘汰策略体现和组织。
如图2本发明所提供的缓存淘汰策略的实时调整方法的原理示意图所示，缓存采样过程负责按不同的淘汰策略对业务进行采样，并实时记录采样结果的命中率；缓存策略集合负责提供真正的缓存置换策略，默认会选用一种缓存策略作为缓存系统的缓存淘汰策略；缓存策略管理过程负责综合评估缓存采样模块反馈的不同采样策略下命中率的好坏、缓存数据量的多少和缓存淘汰策略切换的开销等因素，计算切换开销因子，当切换开销因子小于设定阈值时会启动缓存策略切换。
如图3本发明所提供的缓存淘汰策略的实时调整方法的处理过程示意图所示，本实施例会通过采样获取不同缓存策略的命中率信息，并综合命中率优劣、缓存数据多少等因素计算切换开销因子，评价命中率与切换代价，并确定是否进行缓存淘汰策略切换，如果需要切换会进入图4缓存淘汰策略流程的切换示意图所示的过程。
下面对本发明实施例提供的缓存淘汰策略的实时调整装置进行介绍，下文描述的缓存淘汰策略的实时调整装置与上文描述的缓存淘汰策略的实时调整方法可相互对应参照。
图5为本发明实施例提供的缓存淘汰策略的实时调整装置的结构框图，参照图5缓存淘汰策略的实时调整装置可以包括：
统计模块100，用于按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；
计算模块200，用于根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；
切换模块300，用于当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换。
在上述实施例的基础上，本发明所提供的缓存淘汰策略的实时调整装置中，上述计算模块200可以具体为：对所述缓存命中率以及缓存数据量进行加权计算，分别确定将当前缓存淘汰策略切换为其他各缓存淘汰策略的切换开销因子的模块。
进一步地，上述切换模块300可以具体为：当所述切换开销因子小于预设阈值时，将所述当前缓存淘汰策略切换为其他缓存淘汰策略中切换开销因子最小的一个的模块。
在上述任一实施例的基础上，本发明所提供的缓存淘汰策略的实时调整装置中，上述切换模块300具体为：将所述当前缓存淘汰策略的缓存数据块热度统计信息使用切换后的缓存淘汰策略体现和组织的模块。
与传统缓存算法缓存淘汰策略单一、缓存算法适应能力差的特点相比，本申请所提供的缓存淘汰策略的实时调整方法及装置，能够根据业务数据实时调整缓存淘汰策略，提供最优的缓存策略；且缓存命中率明显优于传统缓存算法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的缓存淘汰策略的实时调整方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种缓存淘汰策略的实时调整方法，其特征在于，包括：
按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；
根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；
当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换。
2.如权利要求1所述的缓存淘汰策略的实时调整方法，其特征在于，所述根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子包括：
对所述缓存命中率以及缓存数据量进行加权计算，分别确定将当前缓存淘汰策略切换为其他各缓存淘汰策略的切换开销因子。
3.如权利要求2所述的缓存淘汰策略的实时调整方法，其特征在于，所述当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换包括：
当所述切换开销因子小于预设阈值时，将所述当前缓存淘汰策略切换为其他缓存淘汰策略中切换开销因子最小的一个。
4.如权利要求1至3任一项所述的缓存淘汰策略的实时调整方法，其特征在于，所述对所述当前缓存淘汰策略进行切换包括：
将所述当前缓存淘汰策略的缓存数据块热度统计信息使用切换后的缓存淘汰策略体现和组织。
5.如权利要求4所述的缓存淘汰策略的实时调整方法，其特征在于，所述当前缓存淘汰策略为预先设置的默认缓存淘汰策略。
6.一种缓存淘汰策略的实时调整装置，其特征在于，包括：
统计模块，用于按照不同的缓存淘汰策略对业务进行采样，实时统计各缓存淘汰策略缓存数据的缓存命中率；
计算模块，用于根据所述缓存命中率计算将当前缓存淘汰策略切换为其他缓存淘汰策略的切换开销因子；
切换模块，用于当所述切换开销因子小于预设阈值时，对所述当前缓存淘汰策略进行切换。
7.如权利要求6所述的缓存淘汰策略的实时调整装置，其特征在于，所述计算模块具体为：对所述缓存命中率以及缓存数据量进行加权计算，分别确定将当前缓存淘汰策略切换为其他各缓存淘汰策略的切换开销因子的模块。
8.如权利要求7所述的缓存淘汰策略的实时调整装置，其特征在于，所述切换模块具体为：当所述切换开销因子小于预设阈值时，将所述当前缓存淘汰策略切换为其他缓存淘汰策略中切换开销因子最小的一个的模块。
9.如权利要求6至8任一项所述的缓存淘汰策略的实时调整装置，其特征在于，所述切换模块具体为：将所述当前缓存淘汰策略的缓存数据块热度统计信息使用切换后的缓存淘汰策略体现和组织的模块。
CN201610720506.9A 2016-08-24 2016-08-24 一种缓存淘汰策略的实时调整方法及装置 Pending CN106325776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610720506.9A CN106325776A (zh) 2016-08-24 2016-08-24 一种缓存淘汰策略的实时调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610720506.9A CN106325776A (zh) 2016-08-24 2016-08-24 一种缓存淘汰策略的实时调整方法及装置

Publications (1)

Publication Number Publication Date
CN106325776A true CN106325776A (zh) 2017-01-11

Family

ID=57790737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610720506.9A Pending CN106325776A (zh) 2016-08-24 2016-08-24 一种缓存淘汰策略的实时调整方法及装置

Country Status (1)

Country Link
CN (1) CN106325776A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038127A (zh) * 2017-02-08 2017-08-11 阿里巴巴集团控股有限公司 应用系统及其缓存控制方法和装置
CN107180118A (zh) * 2017-07-04 2017-09-19 郑州云海信息技术有限公司 一种文件系统缓存数据管理方法及装置
CN113835868A (zh) * 2021-11-25 2021-12-24 之江实验室 一种基于反馈和公平队列的服务质量感知的缓存调度方法
WO2023000696A1 (zh) * 2021-07-23 2023-01-26 华为技术有限公司 一种资源分配方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023931A (zh) * 2010-12-17 2011-04-20 曙光信息产业(北京)有限公司 一种自适应缓存预取方法
CN102137139A (zh) * 2010-09-26 2011-07-27 华为技术有限公司 缓存替换策略的选择方法、装置、代理服务器和系统
CN102227121A (zh) * 2011-06-21 2011-10-26 中国科学院软件研究所 基于机器学习的分布式缓存策略自适应切换方法及系统
CN104572502A (zh) * 2015-01-12 2015-04-29 浪潮电子信息产业股份有限公司 一种存储系统缓存策略自适应方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137139A (zh) * 2010-09-26 2011-07-27 华为技术有限公司 缓存替换策略的选择方法、装置、代理服务器和系统
CN102023931A (zh) * 2010-12-17 2011-04-20 曙光信息产业(北京)有限公司 一种自适应缓存预取方法
CN102227121A (zh) * 2011-06-21 2011-10-26 中国科学院软件研究所 基于机器学习的分布式缓存策略自适应切换方法及系统
CN104572502A (zh) * 2015-01-12 2015-04-29 浪潮电子信息产业股份有限公司 一种存储系统缓存策略自适应方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王健: "《计算机组成原理习题精解与实验指导》", 31 December 2006 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038127A (zh) * 2017-02-08 2017-08-11 阿里巴巴集团控股有限公司 应用系统及其缓存控制方法和装置
CN107180118A (zh) * 2017-07-04 2017-09-19 郑州云海信息技术有限公司 一种文件系统缓存数据管理方法及装置
WO2023000696A1 (zh) * 2021-07-23 2023-01-26 华为技术有限公司 一种资源分配方法及装置
CN113835868A (zh) * 2021-11-25 2021-12-24 之江实验室 一种基于反馈和公平队列的服务质量感知的缓存调度方法

Similar Documents

Publication Publication Date Title
CN106325776A (zh) 一种缓存淘汰策略的实时调整方法及装置
CN108509323A (zh) 基于日志分析的业务处理方法、装置及计算机设备
CN104111900B (zh) 一种缓存中数据替换方法及装置
CN109362064A (zh) 在移动边缘计算网络中基于mec的任务缓存分配策略
CN107623642A (zh) 一种消息流量控制方法及装置
CN106201348B (zh) 非易失性存储设备的缓存管理方法及装置
CN104572502B (zh) 一种存储系统缓存策略自适应方法
CN105095109B (zh) 缓存访问方法、缓存访问路由器和计算机系统
CN107562385A (zh) 分布式存储客户端读取数据的方法、装置和设备
CN110147331A (zh) 缓存数据处理方法、系统及可读存储介质
CN104185083A (zh) 一种自适应丢帧方法与装置
CN105302493B (zh) 一种混合存储阵列中ssd缓存的换入换出控制方法及系统
CN109614344A (zh) 一种缓存空间回收方法、装置、设备以及存储系统
CN110022268A (zh) 一种数据传输控制方法、装置及存储介质
CN107347039A (zh) 一种共享缓存空间的管理方法及装置
CN108153783A (zh) 一种数据缓存的方法和装置
CN107292388A (zh) 一种基于神经网络的热点数据的预测方法及系统
CN106231639A (zh) 一种异构网络间的垂直切换方法及装置
CN109189721A (zh) 一种实时性数据存储方法
CN107180118A (zh) 一种文件系统缓存数据管理方法及装置
CN104065834A (zh) 降低终端功耗的方法、装置和终端
CN109831659A (zh) 一种vr视频的缓存方法及系统
CN106385716A (zh) 一种移动产业处理器接口速率调整方法及装置
CN107678927A (zh) 分配硬盘io方法、装置、设备及计算机可读存储介质
CN107193785A (zh) 一种基于三次样条插值的波形拟合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170111