CN107247675B - 一种基于分类预测的缓存选择方法和系统 - Google Patents

一种基于分类预测的缓存选择方法和系统 Download PDF

Info

Publication number
CN107247675B
CN107247675B CN201710397520.4A CN201710397520A CN107247675B CN 107247675 B CN107247675 B CN 107247675B CN 201710397520 A CN201710397520 A CN 201710397520A CN 107247675 B CN107247675 B CN 107247675B
Authority
CN
China
Prior art keywords
access
classification
caching
primary
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710397520.4A
Other languages
English (en)
Other versions
CN107247675A (zh
Inventor
王桦
周可
王兆春
易锌波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201710397520.4A priority Critical patent/CN107247675B/zh
Publication of CN107247675A publication Critical patent/CN107247675A/zh
Application granted granted Critical
Publication of CN107247675B publication Critical patent/CN107247675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分类预测的缓存选择策略。该策略利用朴素贝叶斯分类思想将对象分为两类:“只访问一次”和“访问大于一次”。避免将“只访问一次”的对象放入缓存，并且基于朴素贝叶斯的分类时空开销较小。在缓存过程中，通过历史信息表对预测不准的图片进行弥补，降低误判概率。此外，根据缓存实时情况动态调整“只访问一次”的预测权重，使更有效地利用缓存。本发明用于缓存替换算法之前的预判断，可以结合任何一种缓存替换算法。在不改变缓存算法复杂度的同时提升缓存命中率，减少SSD写入并延长SSD寿命。同时，将机器学习的思想引入缓存也给缓存算法研究提供了一种新的考虑思路。

Description

一种基于分类预测的缓存选择方法和系统
技术领域
本发明属于计算机数据存储领域，更具体地，涉及一种基于分类预测的缓存选择方法和系统。
背景技术
最近基于闪存的固态硬盘(SSD)被广泛部署为缓存设备，以提高缓存系统性能。基于闪存的固态硬盘SSD主要是NAND闪存类型的，它的读写功能是基于区块擦除和写入来实现。相比于传统的机械硬盘，基于闪存的固态硬盘具有更低的能耗、更快的速度、更强的抗震性、更高的稳定性等优点，因此这种类型的基于闪存的固态硬盘能应用在各种环境中。
针对固态盘的缓存管理算法在过去几十年中得到了很好的研究，但因为其存在以下的问题，导致其不能直接被用来管理SSD：首先，传统缓存策略在进入DRAM之前不要对数据进行过滤，允许任何数据进入SSD，这种积极的数据更新策略导致对SSD的写入操作太多，并使其快速磨损，这最终导致企业应用使用SSD的高成本；其次，这种允许任何数据进入缓存的策略也导致了一部分热数据被淘汰出去，这会导致缓存利用率下降。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于分类预测的缓存选择方法和系统，其目的在于，解决现有缓存管理策略中由于对SSD盘的写入操作太多，从而会快速磨损SSD盘并增加SSD盘的使用成本，以及由于使得一部分热数据被淘汰而导致缓存利用率下降的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于分类预测的缓存选择方法，包括以下步骤：
(1)接收来自用户的访问请求，并根据该访问请求判断访问请求对应的请求对象是否已经被缓存，若已经被缓存，则使用缓存替换算法对该访问请求对应的请求对象进行处理，并继续接收来自用户的下一个访问请求，然后重复执行本步骤，否则转入步骤(2)；
(2)从底层存储系统读取该请求对象的数据块，并确定缓存中是否还有足够的空间存储该请求对象的数据块，若有则使用缓存替换算法将请求对象放入缓存中，接收来自用户的下一个访问请求，然后返回步骤(1)，否则转入步骤(3)；
(3)查询请求对象是否不存在于历史信息列表中，若是则转入步骤(4)，否则转入步骤(5)。
(4)根据访问对象并使用以下公式计算分类预测函数f，判断分类预测函数的值是否大于0，若是则将访问对象的元数据加入历史信息列表中，接受来自用户的下一条访问请求，并返回步骤(1)，否则转入步骤(6)：
其中{a1,a2,...,am}为对象特征集合，m表示对象特征的个数，y1表示“只访问一次”类别，y2表示“访问大于一次”类别，P(aj|y1)表示“只访问一次”类别的访问对象中对象特征为aj的概率，P(aj|y2)表示“访问大于一次”类别的访问对象中对象特征为aj的概率，P(y1)表示“只访问一次”类别出现的概率，P(y2)表示“访问大于一次”类别出现的概率，且P(y1)+P(y2)＝1；
(5)将访问对象从历史信息列表中移除，并调整“只访问一次”类别出现的概率P(y1)，然后转入步骤(6)；
(6)使用缓存替换算法将请求对象放入缓存中，并调整“只访问一次”类别出现的概率P(y1)，并接收来自用户的下一个访问请求，返回步骤(1)。
优选地，步骤(2)中使用的缓存替换算法与步骤(1)中使用的缓存替换算法相同。
优选地，历史信息列表是在初始化阶段创建的先进先出结构链表。
优选地，以访问对象的访问日志为样本，执行OPT算法过程中得到淘汰对象时，查看该淘汰对象的访问次数，若访问次数为1，则该淘汰对象属于“只访问一次”的类别，否则该淘汰对象属于“访问大于一次”的类别。
优选地，对象特征集合{a1,a2,...,am}的构造方式具体为：为访问对象的访问日志中的每一个对象特征对应地绘制对象特征分布图，该图中的横轴为该对象特征值，纵轴为“只访问一次”类型中等于该对象特征值的对象个数，计算得到的所有对象特征分布图的方差，并对这些方差按照从大到小的顺序进行排列，将前m个方差对应的对象特征作为对象特征集合。
优选地，步骤(5)中调整“只访问一次”类别的出现概率P(y1)的过程包括：
(5-1)初始化调整因子P'(y1)和调整个数count均等于0；
(5-2)设置访问对象i的分类预测函数f值为0，并根据f值得到Pi(y1)；
(5-3)判断是否有P(y1)＞Pi(y1)，如果是则设置调整因子P′(y1)＝P′(y1)+Pi(y1)，调整个数count＝count+1，然后转入步骤(5-4)，否则过程结束；
(5-4)其中为调整阀值，若是则设置P(y1)＝P'(y1)/count，count＝0，以及P'(y1)＝0，过程结束，否则过程结束。
优选地，步骤(6)中调整“只访问一次”类别的出现概率P(y1)的过程包括：
(6-1)设置使用缓存替换算法淘汰的对象k的分类预测函数f值为0，并根据f值得到Pk(y1)；
(6-2)判断是否有P(y1)＜Pk(y1)，如果是则设置调整因子P′(y1)＝P′(y1)+Pk(y1)，调整个数count＝count+1，然后转入步骤(6-3)，否则过程结束；
(6-3)若是则设置P(y1)＝P'(y1)/count，count＝0，以及P'(y1)＝0，然后过程结束，否则过程结束。
按照本发明的另一方面，提供了一种基于分类预测的缓存选择系统，包括：
第一模块，用于接收来自用户的访问请求，并根据该访问请求判断访问请求对应的请求对象是否已经被缓存，若已经被缓存，则使用缓存替换算法对该访问请求对应的请求对象进行处理，并继续接收来自用户的下一个访问请求，然后重复执行本步骤，否则转入第二模块；
第二模块，用于从底层存储系统读取该请求对象的数据块，并确定缓存中是否还有足够的空间存储该请求对象的数据块，若有则使用缓存替换算法将请求对象放入缓存中，接收来自用户的下一个访问请求，然后返回第一模块，否则转入第三模块；
第三模块，用于查询请求对象是否不存在于历史信息列表中，若是则转入第四模块，否则转入第五模块；
第四模块，用于根据访问对象并使用以下公式计算分类预测函数f，判断分类预测函数的值是否大于0，若是则将访问对象的元数据加入历史信息列表中，接受来自用户的下一条访问请求，并返回第一模块，否则转入第六模块：
其中{a1,a2,...,am}为对象特征集合，m表示对象特征的个数，y1表示“只访问一次”类别，y2表示“访问大于一次”类别，P(aj|y1)表示“只访问一次”类别的访问对象中对象特征为aj的概率，P(aj|y2)表示“访问大于一次”类别的访问对象中对象特征为aj的概率，P(y1)表示“只访问一次”类别出现的概率，P(y2)表示“访问大于一次”类别出现的概率，且P(y1)+P(y2)＝1；
第五模块，用于将访问对象从历史信息列表中移除，并调整“只访问一次”类别出现的概率P(y1)，然后转入第六模块；
第六模块，用于使用缓存替换算法将请求对象放入缓存中，并调整“只访问一次”类别出现的概率P(y1)，并接收来自用户的下一个访问请求，返回第一模块。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、由于采用了步骤(3)到步骤(6)，能够避免“只访问一次”的数据进入缓存，从而提高了缓存的有效容量，从而能够解决现有缓存管理策略中由于对SSD盘的写入操作太多，而快速磨损SSD盘并增加SSD盘的使用成本的技术问题，以及由于使得一部分热数据被淘汰，而导致缓存利用率下降的技术问题：
2、由于本发明并不是把所有访问的数据都移入缓存，大大避免了无效写入，直接减少SSD盘的写入次数，由于固态盘的寿命与它所经历的写的次数成反比，因此本发明能够延长固态盘的寿命。
3、本发明不会影响算法时间复杂度：由于预测函数f为离线确定，并且在动态调整参数时，可以与缓存替换并行，因此不影响算法时间复杂度。
附图说明
图1是本发明基于分类预测的缓存选择策略的实现架构图。
图2是本发明基于分类预测的缓存选择方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
缓存选择策略是延长SSD寿命的有效策略。其主要思想是用来决策当读取缓存发生读缺失时，是否需要将新对象移入缓存。传统的缓存策略并不存在“选择”的问题。然而，随着大数据时代的来临，数据访问模式的变化，私有数据越来越多，短时间内出现大量仅被访问一次的数据，这些无效数据的写入不仅降低了缓存效率，也缩短了SSD的寿命。
如图1所示，基于分类预测的缓存选择策略的实现架构主要包含三个部分：缓存、历史信息列表及缓存分类预测器，其中，缓存还包含了缓存信息表。需要说明的是，本策略并不涉及后端具体的存储系统，主要实现在用户请求与后端存储中间的缓存层面。
图1所示系统的工作流程包括以下步骤：
(1)由客户端发起请求，缓存接收用户的请求，检查缓存中是否缓存该对象；
(2)如果缓存命中，将对象内容传送到客户端，过程结束，否则转步骤(3)；
(3)缓存向后端存储系统发起请求，后端存储系统将对象信息与内容传送到分类预测器。分类预测器结合历史信息列表做出判断，若不需要缓存，将信息记录到历史信息列表、并将对象内容通过缓存传送到客户端，结束；否则转步骤(4)；
(4)通过缓存替换算法，移除缓存中的对象，腾出缓存空间来缓存用户请求的对象，缓存对缓存分类器负反馈并将对象内容传送到客户端。
从系统工作流程可以看出，相较于传统的缓存工作流程，我们増加了对对象是否可以进入缓存进行分类预测，从而减少“只访问一次”的对象进入缓存的概率。此外，缓存分类预测器是基于离线的分类策略，虽然在精度上略有损失，并不能完全分类正确，但可以在不增加缓存请求时间的情况下增大缓存利用率。
如图2所示，本发明基于分类预测的缓存选择方法包括以下步骤：
(1)接收来自用户的访问请求，并根据该访问请求判断访问请求对应的请求对象是否已经被缓存，若已经被缓存，则使用缓存替换算法对该访问请求对应的请求对象进行处理，并继续接收来自用户的下一个访问请求，然后重复执行本步骤，否则转入步骤(2)；
具体而言，本步骤中使用的缓存替换算法可以是诸如，近期最少使用(LeastRecently Used，简称LRU)缓存替换算法、最近最不常用(Least Frequently Used，LFU)缓存替换算法等。
(2)从底层存储系统读取该请求对象的数据块，并确定缓存中是否还有足够的空间存储该请求对象的数据块，若有则使用缓存替换算法将请求对象放入缓存中，接收来自用户的下一个访问请求，然后返回步骤(1)，否则转入步骤(3)；
具体而言，本步骤中使用的缓存替换算法与步骤(1)中所使用的缓存替换算法完全相同。
(3)查询请求对象是否不存在于历史信息列表中，若是则转入步骤(4)，否则转入步骤(5)。
本步骤的优点在于，使用历史信息列表，使得短时间内被连续访问的请求对象不经过预测而直接进入缓存，从而减少了请求对象的类型被误判的可能性。
具体而言，历史信息列表是在初始化阶段创建的先进先出(First in First out，简称FIFO)结构链表。
(4)根据访问对象并使用以下公式计算分类预测函数f，判断分类预测函数的值是否大于0，若是则将访问对象的元数据加入历史信息列表中，接受来自用户的下一条访问请求，并返回步骤(1)，否则转入步骤(6)：
其中{a1,a2,...,am}为对象特征集合，m表示对象特征的个数，y1表示“只访问一次”类别，y2表示“访问大于一次”类别，P(aj|y1)表示“只访问一次”类别的访问对象中对象特征为aj的概率，P(aj|y2)表示“访问大于一次”类别的访问对象中对象特征为aj的概率，P(y1)表示“只访问一次”类别出现的概率，P(y2)表示“访问大于一次”类别出现的概率，且P(y1)+P(y2)＝1；
在本发明中，以访问对象的访问日志为样本，执行最优替换算法(Optimalreplacement，简称OPT)过程中得到淘汰对象时，查看该淘汰对象的访问次数，若访问次数为1，则该淘汰对象属于“只访问一次”的类别，否则该淘汰对象属于“访问大于一次”的类别。
对象特征集合{a1,a2,...,am}的构造方式具体为：为访问对象的访问日志中的每一个对象特征对应地绘制对象特征分布图，该图中的横轴为该对象特征值，纵轴为“只访问一次”类型中等于该对象特征值的对象个数，计算得到的所有对象特征分布图的方差，并对这些方差按照从大到小的顺序进行排列，将前m个方差对应的对象特征作为对象特征集合，其中m的取值是由访问对象的特征决定，例如，如果访问对象是图片，则a1为图片大小，a2为图片类型，a3为图片的访问时间，此时m＝3。
本步骤的优点在于，过滤掉属于“只访问一次”类别的访问对象，从而减少SSD盘的无效写入。
(5)将访问对象从历史信息列表中移除，并调整“只访问一次”类别出现的概率P(y1)，转入步骤(6)；
具体而言，调整“只访问一次”的P(y1)策略是：
(5-1)初始化调整因子P'(y1)和调整个数count均等于0；
(5-2)设置访问对象i的分类预测函数f值为0，根据上式(1)得到Pi(y1)；
(5-3)判断是否有P(y1)＞Pi(y1)，如果是则设置调整因子P′(y1)＝P′(y1)+Pi(y1)，调整个数count＝count+1，然后转入步骤(5-4)，否则过程结束；
(5-4)其中为调整阀值(其取值范围是0-1)，若是则设置P(y1)＝P'(y1)/count，count＝0，以及P'(y1)＝0，过程结束，否则过程结束。
(6)使用缓存替换算法将请求对象放入缓存中，并调整“只访问一次”类别出现的概率P(y1)，并接收来自用户的下一个访问请求，返回步骤(1)；
具体而言，调整“只访问一次”的P(y1)策略是：
(6-1)设置使用缓存替换算法淘汰的对象k的分类预测函数f值为0，根据上式(1)得到Pk(y1)；
(6-2)判断是否有P(y1)＜Pk(y1)，如果是则设置调整因子P′(y1)＝P′(y1)+Pk(y1)，调整个数count＝count+1，然后转入步骤(6-3)，否则过程结束；
(6-3)若是则设置P(y1)＝P'(y1)/count，count＝0，以及P'(y1)＝0，然后过程结束，否则过程结束。
本步骤的优点在于，实时调整“只访问一次”的概率，即预测函数根据缓存实时情况动态调整，更有效地利用缓存空间。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于分类预测的缓存选择方法，其特征在于，包括以下步骤：
(1)接收来自用户的访问请求，并根据该访问请求判断访问请求对应的请求对象是否已经被缓存，若已经被缓存，则使用缓存替换算法对该访问请求对应的请求对象进行处理，并继续接收来自用户的下一个访问请求，然后重复执行本步骤，否则转入步骤(2)；
(2)从底层存储系统读取该请求对象的数据块，并确定缓存中是否还有足够的空间存储该请求对象的数据块，若有则使用缓存替换算法将请求对象放入缓存中，接收来自用户的下一个访问请求，然后返回步骤(1)，否则转入步骤(3)；
(3)查询请求对象是否不存在于历史信息列表中，若是则转入步骤(4)，否则转入步骤(5)；
(4)根据访问对象并使用以下公式计算分类预测函数f，判断分类预测函数的值是否大于0，若是则将访问对象的元数据加入历史信息列表中，接受来自用户的下一条访问请求，并返回步骤(1)，否则转入步骤(6)：
其中{a1,a2,...,am}为对象特征集合，m表示对象特征的个数，y1表示“只访问一次”类别，y2表示“访问大于一次”类别，P(aj|y1)表示“只访问一次”类别的访问对象中对象特征为aj的概率，P(aj|y2)表示“访问大于一次”类别的访问对象中对象特征为aj的概率，P(y1)表示“只访问一次”类别出现的概率，P(y2)表示“访问大于一次”类别出现的概率，且P(y1)+P(y2)＝1；
(5)将访问对象从历史信息列表中移除，并调整“只访问一次”类别出现的概率P(y1)，然后转入步骤(6)；
(6)使用缓存替换算法将请求对象放入缓存中，并调整“只访问一次”类别出现的概率P(y1)，并接收来自用户的下一个访问请求，返回步骤(1)。
2.根据权利要求1所述的缓存选择方法，其特征在于，步骤(2)中使用的缓存替换算法与步骤(1)中使用的缓存替换算法相同。
3.根据权利要求1所述的缓存选择方法，其特征在于，历史信息列表是在初始化阶段创建的先进先出结构链表。
4.根据权利要求1所述的缓存选择方法，其特征在于，以访问对象的访问日志为样本，执行OPT算法过程中得到淘汰对象时，查看该淘汰对象的访问次数，若访问次数为1，则该淘汰对象属于“只访问一次”的类别，否则该淘汰对象属于“访问大于一次”的类别。
5.根据权利要求1所述的缓存选择方法，其特征在于，对象特征集合{a1,a2,...,am}的构造方式具体为：为访问对象的访问日志中的每一个对象特征对应地绘制对象特征分布图，该图中的横轴为该对象特征值，纵轴为“只访问一次”类型中等于该对象特征值的对象个数，计算得到的所有对象特征分布图的方差，并对这些方差按照从大到小的顺序进行排列，将前m个方差对应的对象特征作为对象特征集合。
6.根据权利要求1所述的缓存选择方法，其特征在于，步骤(5)中调整“只访问一次”类别的出现概率P(y1)的过程包括：
(5-1)初始化调整因子P'(y1)和调整个数count均等于0；
(5-2)设置访问对象i的分类预测函数f值为0，并根据f值得到Pi(y1)；
(5-3)判断是否有P(y1)＞Pi(y1)，如果是则设置调整因子P′(y1)＝P′(y1)+Pi(y1)，调整个数count＝count+1，然后转入步骤(5-4)，否则过程结束；
(5-4)判断是否有其中为调整阀值，若是则设置P(y1)＝P'(y1)/count，count＝0，以及P'(y1)＝0，过程结束，否则过程结束。
7.根据权利要求1所述的缓存选择方法，其特征在于，步骤(6)中调整“只访问一次”类别的出现概率P(y1)的过程包括：
(6-1)设置使用缓存替换算法淘汰的对象k的分类预测函数f值为0，并根据f值得到Pk(y1)；
(6-2)判断是否有P(y1)＜Pk(y1)，如果是则设置调整因子P′(y1)＝P′(y1)+Pk(y1)，调整个数count＝count+1，然后转入步骤(6-3)，否则过程结束；
(6-3)判断是否有若是则设置P(y1)＝P'(y1)/count，count＝0，以及P'(y1)＝0，然后过程结束，否则过程结束。
8.一种基于分类预测的缓存选择系统，其特征在于，包括：
第一模块，用于接收来自用户的访问请求，并根据该访问请求判断访问请求对应的请求对象是否已经被缓存，若已经被缓存，则使用缓存替换算法对该访问请求对应的请求对象进行处理，并继续接收来自用户的下一个访问请求，然后重复执行本步骤，否则转入第二模块；
第二模块，用于从底层存储系统读取该请求对象的数据块，并确定缓存中是否还有足够的空间存储该请求对象的数据块，若有则使用缓存替换算法将请求对象放入缓存中，接收来自用户的下一个访问请求，然后返回第一模块，否则转入第三模块；
第三模块，用于查询请求对象是否不存在于历史信息列表中，若是则转入第四模块，否则转入第五模块；
第四模块，用于根据访问对象并使用以下公式计算分类预测函数f，判断分类预测函数的值是否大于0，若是则将访问对象的元数据加入历史信息列表中，接受来自用户的下一条访问请求，并返回第一模块，否则转入第六模块：
其中{a1,a2,...,am}为对象特征集合，m表示对象特征的个数，y1表示“只访问一次”类别，y2表示“访问大于一次”类别，P(aj|y1)表示“只访问一次”类别的访问对象中对象特征为aj的概率，P(aj|y2)表示“访问大于一次”类别的访问对象中对象特征为aj的概率，P(y1)表示“只访问一次”类别出现的概率，P(y2)表示“访问大于一次”类别出现的概率，且P(y1)+P(y2)＝1；
第五模块，用于将访问对象从历史信息列表中移除，并调整“只访问一次”类别出现的概率P(y1)，然后转入第六模块；
第六模块，用于使用缓存替换算法将请求对象放入缓存中，并调整“只访问一次”类别出现的概率P(y1)，并接收来自用户的下一个访问请求，返回第一模块。
CN201710397520.4A 2017-05-31 2017-05-31 一种基于分类预测的缓存选择方法和系统 Active CN107247675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710397520.4A CN107247675B (zh) 2017-05-31 2017-05-31 一种基于分类预测的缓存选择方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710397520.4A CN107247675B (zh) 2017-05-31 2017-05-31 一种基于分类预测的缓存选择方法和系统

Publications (2)

Publication Number Publication Date
CN107247675A CN107247675A (zh) 2017-10-13
CN107247675B true CN107247675B (zh) 2019-08-20

Family

ID=60018829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710397520.4A Active CN107247675B (zh) 2017-05-31 2017-05-31 一种基于分类预测的缓存选择方法和系统

Country Status (1)

Country Link
CN (1) CN107247675B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090503B (zh) * 2017-11-28 2021-05-07 东软集团股份有限公司 多分类器的在线调整方法、装置、存储介质及电子设备
CN109947665B (zh) * 2017-12-20 2023-06-13 阿里巴巴集团控股有限公司 一种缓存方法及装置
CN109189696B (zh) * 2018-08-12 2020-11-24 华中科技大学 一种ssd缓存系统及缓存方法
CN112948289B (zh) * 2021-03-03 2022-09-30 上海天旦网络科技发展有限公司 一种基于机器学习的缓存预测调度方法、系统及介质
CN113094368B (zh) * 2021-04-13 2022-08-05 成都信息工程大学 一种提升缓存访问命中率的系统及方法
CN113268458B (zh) * 2021-05-24 2024-04-30 华中科技大学 一种基于代价敏感分类算法的缓存方法及系统
CN113419976B (zh) * 2021-06-29 2024-04-26 华中科技大学 一种基于分类预测的自适应分段缓存方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7721061B1 (en) * 2005-06-22 2010-05-18 Hewlett-Packard Development Company, L.P. Method of predicting response time for storage request
CN103793339A (zh) * 2014-01-13 2014-05-14 杭州电子科技大学 基于内存访问堆栈距离的数据Cache性能探索方法
CN104021226A (zh) * 2014-06-25 2014-09-03 华为技术有限公司 预取规则的更新方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7721061B1 (en) * 2005-06-22 2010-05-18 Hewlett-Packard Development Company, L.P. Method of predicting response time for storage request
CN103793339A (zh) * 2014-01-13 2014-05-14 杭州电子科技大学 基于内存访问堆栈距离的数据Cache性能探索方法
CN104021226A (zh) * 2014-06-25 2014-09-03 华为技术有限公司 预取规则的更新方法及装置

Also Published As

Publication number Publication date
CN107247675A (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN107247675B (zh) 一种基于分类预测的缓存选择方法和系统
CN107193646B (zh) 一种基于混合主存架构的高效动态页面调度方法
US11086792B2 (en) Cache replacing method and apparatus, heterogeneous multi-core system and cache managing method
US8214595B2 (en) Storage system which utilizes two kinds of memory devices as its cache memory and method of controlling the storage system
KR101761301B1 (ko) 메모리 자원 최적화 방법 및 장치
CN107391398B (zh) 一种闪存缓存区的管理方法及系统
US20160335177A1 (en) Cache Management Method and Apparatus
CN110888600B (zh) 一种面向nand闪存的缓冲区管理方法
CN105389135B (zh) 一种固态盘内部缓存管理方法
CN106528451B (zh) 针对小文件的二级缓存预取的云存储框架及构建方法
CN104090852A (zh) 管理混合缓存的方法及设备
CN110795363B (zh) 一种存储介质的热页预测方法和页面调度方法
CN107888687B (zh) 一种基于分布式存储系统的代理客户端存储加速方法及系统
WO2023207562A1 (zh) 一种数据处理方法、装置及设备
CN104657286A (zh) 一种分级存储方法及装置
CN113268457B (zh) 一种支持高效写的自适应学习索引方法和系统
CN110532200B (zh) 一种基于混合内存架构的内存系统
CN102207909B (zh) 一种基于代价的闪存数据库缓冲区置换方法
US11693570B2 (en) Machine learning to improve caching efficiency in a storage system
CN109783019B (zh) 一种数据智能存储管理方法与装置
CN112685337B (zh) 一种存储集群中分级缓存读写数据的方法
KR101105127B1 (ko) 에스에스디 확장버퍼를 사용한 버퍼 캐쉬 관리 방법 및 에스에스디를 확장버퍼로서 사용하는 장치
CN108664217A (zh) 一种降低固态盘存储系统写性能抖动的缓存方法及系统
CN114968854A (zh) 对存储器的输入带宽进行调整的方法及存储系统
CN109189696A (zh) 一种照片分类器训练方法、ssd缓存系统及缓存方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant