CN107870875A - 一种基于分布式内存可定制智能数据缓存方法 - Google Patents

一种基于分布式内存可定制智能数据缓存方法 Download PDF

Info

Publication number
CN107870875A
CN107870875A CN201710673532.5A CN201710673532A CN107870875A CN 107870875 A CN107870875 A CN 107870875A CN 201710673532 A CN201710673532 A CN 201710673532A CN 107870875 A CN107870875 A CN 107870875A
Authority
CN
China
Prior art keywords
data
cache
access
cache blocks
hit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710673532.5A
Other languages
English (en)
Inventor
王承明
叶栓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sprout Technology LLC
Original Assignee
Chengdu Sprout Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sprout Technology LLC filed Critical Chengdu Sprout Technology LLC
Priority to CN201710673532.5A priority Critical patent/CN107870875A/zh
Publication of CN107870875A publication Critical patent/CN107870875A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G06F12/0882—Page mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机缓存技术领域，具体的讲涉及一种基于分布式内存可定制智能数据缓存方法，包括以下步骤：清空缓存队列和类型；第一个访问请求过程，当第一个访问请求到达时，总计数加一，然后访问缓存，不命中则访问内存，然后将数据取回，此时缓存页计数加一并记录数据类型，并在当前页申请一个能够存储数据大小的缓存块并记录此时刻的时间，并将取回的数据放置到该缓存块中；第二个访问请求过程，当第二次请求到达时照常访问缓存，顺序遍历各个缓存块，如果没有命中，则继续去内存中寻找；如果命中则刷新该缓存块的时间，并返回当前数据；后面的每次访问都重复上述操作，解决现有技术在租期的固定性和缓存块的固定大小存在局限性的问题。

Description

一种基于分布式内存可定制智能数据缓存方法
技术领域
本发明涉及计算机缓存技术领域，具体的讲涉及一种基于分布式内存可定制智能数据缓存方法。
背景技术
在一个应用中，对同一数据、逻辑功能、用户界面的多次请求发生，当用户基数特别大时，如果对每一次的请求都进行处理，那么消耗的资源是巨大而无意义的，因此在经常访问的数据中间会设置一个缓存，比如数据库缓存、网页缓存、内存缓存等等。
当前的缓存大都采用多级分页增加有效期的策略，比如为了缓解硬盘读取速度的缓存区，它将每次使用的数据都放在一个缓存(cache)中，如果下一次访问的话，那就先读取缓存区的数据，假如没有该数据，再去访问硬盘，这个效率跟很多因素有关，其中最重要的是缓存策略。
分级分页的策略在一定程度上已经满足了大多数情况下的需求，但租期的固定性和缓存块的固定大小有太多的限制，假如访问文件很大或者访问与文件格式有关，这样就显现出了原有技术的局限性。
发明内容
因此本发明提出一种基于分布式内存可定制智能数据缓存方法，用来解决现有技术在租期的固定性和缓存块的固定大小存在局限性的问题。
本发明的技术方案是这样实现的：一种基于分布式内存可定制智能数据缓存方法，该方法包括以下步骤：
步骤1.清空缓存队列和类型；
步骤2.第一个访问请求过程，具体是：
当第一个访问请求到达时，总计数加一，然后访问缓存，不命中则访问内存，然后将数据取回，此时缓存页计数加一并记录数据类型，并在当前页申请一个能够存储数据大小的缓存块并记录此时刻的时间，并将取回的数据放置到该缓存块中，返回该数据；
步骤3.第二个访问请求过程，具体是：
当第二次请求到达时照常访问缓存，顺序遍历各个缓存块，如果没有命中，则继续去内存中寻找，方法如步骤2；如果命中则刷新该缓存块的时间，并返回当前数据；
步骤4.后面的每次访问都重复上述步骤2和步骤3操作。
通过上述公开内容，本发明的有益效果如下：
1、提高了命中内存块的概率，通过改善缓存策略，减少了访问的时间，提高了效率
2、适用性强，各种位置的缓存策略都可使用本发明；
3、伸缩性强，根据不同的场景，可以改变本发明的细节，使得拓展性更强；
4、更加人性化，根据用户的需求，迅速的变更缓存策略，提高了用户的体验；
5、节约资源，缓存命中率更高，时间更短，降低了计算机资源消耗。
附图说明
图1为本发明基于分布式内存可定制智能数据缓存方法实施例的流程示意图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，预先清空缓存队列和类型，然后发起请求，访问缓存，在缓存中查找，当查找不命中时，将其结果进行数据类型判断，如果缓存中有该数据类型，则创建缓存块存放数据(module++)，如果缓存中没有该数据类型，然后将数据取回，此时创建一页缓存(page++)并记录数据类型，并在当前创建的页面创建一个能够存储数据大小的模块存放数据(module++)并记录此时刻的时间，并将取回的数据放置到该缓存块中，返回该数据；最后将创建缓存块存放数据(module++)和模块存放数据(module++)的结果响应。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于分布式内存可定制智能数据缓存方法，其特征在于：该方法包括以下步骤：
步骤1.清空缓存队列和类型；
步骤2.第一个访问请求过程，具体是：
当第一个访问请求到达时，总计数加一，然后访问缓存，不命中则访问内存，然后将数据取回，此时缓存页计数加一并记录数据类型，并在当前页申请一个能够存储数据大小的缓存块并记录此时刻的时间，并将取回的数据放置到该缓存块中，返回该数据；
步骤3.第二个访问请求过程，具体是：
当第二次请求到达时照常访问缓存，顺序遍历各个缓存块，如果没有命中，则继续去内存中寻找，方法如步骤2；如果命中则刷新该缓存块的时间，并返回当前数据；
步骤4.后面的每次访问都重复上述步骤2和步骤3操作。
CN201710673532.5A 2017-08-09 2017-08-09 一种基于分布式内存可定制智能数据缓存方法 Pending CN107870875A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710673532.5A CN107870875A (zh) 2017-08-09 2017-08-09 一种基于分布式内存可定制智能数据缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710673532.5A CN107870875A (zh) 2017-08-09 2017-08-09 一种基于分布式内存可定制智能数据缓存方法

Publications (1)

Publication Number Publication Date
CN107870875A true CN107870875A (zh) 2018-04-03

Family

ID=61761307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710673532.5A Pending CN107870875A (zh) 2017-08-09 2017-08-09 一种基于分布式内存可定制智能数据缓存方法

Country Status (1)

Country Link
CN (1) CN107870875A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221989A (zh) * 2019-06-20 2019-09-10 北京奇艺世纪科技有限公司 一种数据缓存方法、装置、存储介质及计算机设备
CN112364105A (zh) * 2020-09-16 2021-02-12 贵州电网有限责任公司 一种基于Redis的采集档案管理方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1512352A (zh) * 2002-10-10 2004-07-14 国际商业机器公司 用于虚拟存储器的管理的方法和分析高速缓存
CN102591943A (zh) * 2011-12-27 2012-07-18 厦门雅迅网络股份有限公司 一种移动终端的页面数据处理方法
WO2015134330A1 (en) * 2014-03-03 2015-09-11 Qualcomm Incorporated Numerical stall analysis of cpu performance
CN105512053A (zh) * 2015-12-07 2016-04-20 中南大学 移动透明计算系统服务器端多用户访问的镜像缓存方法
CN105653468A (zh) * 2015-07-21 2016-06-08 上海磁宇信息科技有限公司 一种使用mram的存储设备
CN105872040A (zh) * 2016-03-30 2016-08-17 华中科技大学 一种利用网关节点缓存优化分布式块存储写性能的方法
CN106155913A (zh) * 2015-04-15 2016-11-23 阿里巴巴集团控股有限公司 缓存命中率分析的方法及设备
CN106339508A (zh) * 2016-10-25 2017-01-18 电子科技大学 一种基于分页的web缓存方法
CN106569962A (zh) * 2016-10-19 2017-04-19 暨南大学 一种基于增强时间局部性的热点数据识别方法
US9632946B1 (en) * 2012-02-06 2017-04-25 Google Inc. Dynamically adapting the configuration of a multi-queue cache based on access patterns

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1512352A (zh) * 2002-10-10 2004-07-14 国际商业机器公司 用于虚拟存储器的管理的方法和分析高速缓存
CN102591943A (zh) * 2011-12-27 2012-07-18 厦门雅迅网络股份有限公司 一种移动终端的页面数据处理方法
US9632946B1 (en) * 2012-02-06 2017-04-25 Google Inc. Dynamically adapting the configuration of a multi-queue cache based on access patterns
WO2015134330A1 (en) * 2014-03-03 2015-09-11 Qualcomm Incorporated Numerical stall analysis of cpu performance
CN106155913A (zh) * 2015-04-15 2016-11-23 阿里巴巴集团控股有限公司 缓存命中率分析的方法及设备
CN105653468A (zh) * 2015-07-21 2016-06-08 上海磁宇信息科技有限公司 一种使用mram的存储设备
CN105512053A (zh) * 2015-12-07 2016-04-20 中南大学 移动透明计算系统服务器端多用户访问的镜像缓存方法
CN105872040A (zh) * 2016-03-30 2016-08-17 华中科技大学 一种利用网关节点缓存优化分布式块存储写性能的方法
CN106569962A (zh) * 2016-10-19 2017-04-19 暨南大学 一种基于增强时间局部性的热点数据识别方法
CN106339508A (zh) * 2016-10-25 2017-01-18 电子科技大学 一种基于分页的web缓存方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晓辉 等: "《网络硬件设备完全技术宝典》", 31 July 2011 *
李俭 等: "《操作系统原理与实训教程》", 31 August 2014 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221989A (zh) * 2019-06-20 2019-09-10 北京奇艺世纪科技有限公司 一种数据缓存方法、装置、存储介质及计算机设备
CN112364105A (zh) * 2020-09-16 2021-02-12 贵州电网有限责任公司 一种基于Redis的采集档案管理方法及系统

Similar Documents

Publication Publication Date Title
CN107193646B (zh) 一种基于混合主存架构的高效动态页面调度方法
CN102843396B (zh) 一种分布式缓存系统中的数据写入及读取方法及装置
CN106201916B (zh) 一种面向ssd的非易失缓存方法
CN107066393A (zh) 提高地址映射表中映射信息密度的方法
CN102981963B (zh) 一种固态盘的闪存转换层的实现方法
CN107391398B (zh) 一种闪存缓存区的管理方法及系统
CN110825748A (zh) 利用差异化索引机制的高性能和易扩展的键值存储方法
CN103186350A (zh) 混合存储系统及热点数据块的迁移方法
CN103885728A (zh) 一种基于固态盘的磁盘缓存系统
CN102023931A (zh) 一种自适应缓存预取方法
CN110888600B (zh) 一种面向nand闪存的缓冲区管理方法
CN114546295B (zh) 一种基于zns固态硬盘的智能写分配方法和装置
CN100377117C (zh) 用于虚实地址变换及读写高速缓冲存储器的方法及装置
CN110968269A (zh) 基于scm与ssd的键值存储系统及读写请求处理方法
CN103702057A (zh) 一种适应于多路并发写入流媒体数据的分块式存储算法
CN108089825A (zh) 一种基于分布式集群的存储系统
WO2023000536A1 (zh) 一种数据处理方法、系统、设备以及介质
CN110262982A (zh) 一种固态硬盘地址映射的方法
CN103049393B (zh) 内存空间管理方法和装置
CN107797772A (zh) 一种基于闪存介质的垃圾回收系统及方法
CN107168651A (zh) 一种小文件聚合存储处理方法
CN103049224A (zh) 将数据导入物理磁带的方法、装置和系统
CN101751993A (zh) 缓存控制设备和方法
CN113377690A (zh) 一种适应不同大小的用户请求的固态硬盘处理方法
CN103019956B (zh) 一种对缓存数据的操作方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180403

RJ01 Rejection of invention patent application after publication