CN107748649B - 一种缓存数据的方法和装置 - Google Patents

一种缓存数据的方法和装置 Download PDF

Info

Publication number
CN107748649B
CN107748649B CN201710841791.4A CN201710841791A CN107748649B CN 107748649 B CN107748649 B CN 107748649B CN 201710841791 A CN201710841791 A CN 201710841791A CN 107748649 B CN107748649 B CN 107748649B
Authority
CN
China
Prior art keywords
storage area
data
stored data
stored
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710841791.4A
Other languages
English (en)
Other versions
CN107748649A (zh
Inventor
刘业辉
王彦明
袁建军
雷强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710841791.4A priority Critical patent/CN107748649B/zh
Publication of CN107748649A publication Critical patent/CN107748649A/zh
Application granted granted Critical
Publication of CN107748649B publication Critical patent/CN107748649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Abstract

本发明公开了一种缓存数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：预先设置第一存储区和第二存储区，第一存储区和第二存储区的最大可存数据量均为预设的上限值，方法包括：步骤一，将待缓存的数据存入第一存储区；步骤二，在第一存储区的已存数据量达到所述上限值之后，将第一存储区的已存数据与第二存储区中的已存数据互换；步骤三，执行互换之后，若第一存储区的当前已存数据量未达到上限值，则执行步骤一；否则，清空第一存储区中的当前已存数据，然后执行步骤一。该实施方式能够提高缓存命中率，防止存储溢出，降低使用风险，实现既可控制缓存的总数据量又可缓存热点数据，且计算复杂度低。

Description

一种缓存数据的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种缓存数据的方法和装置、电子设备、计算机可读介质。
背景技术
伴随着信息技术的不断发展，互联网用户数量高速增长，各种信息的获取呈现爆炸趋势。传统数据库效率低速度慢，如何存储信息以供高速获取成为需要解决的问题。现有如Redis(一种基于内存的键值存储系统)、MongoDB(分布式文档存储数据库)等NoSQL(非关系型的数据库)技术存在需要大量的进行网络交互，性能受限于网络带宽等因素的影响。
现有的数据存储方案通常使用关系型数据库，或者使用Redis等 NoSQL存储数据，或者使用HashMap(一种基于hash的键值对的数据存储方式)、List、Set等将数据存储于内存。其中，关系型数据库可使用SQL进行数据操作；Redis等使用键值对存储数据有较高的效率； HashMap使用内存存储键值对信息，其效率高但可存储的数量较少。
对于上述现有存储方案中，关系型数据库可以达到每秒千级的请求量，Redis可以达到每秒万级的请求量，在某些特定情况下性能已经不能满足系统需求，需要系统再进行缓冲存储。HashMap等数据存储方式，由于存储于本地内存效率很高，可以作为很好的缓存工具，但由于其设计时没有考虑存储空间的问题，长时间使用会造成内存溢出等错误。
在实现本发明过程中，发明人发现现有技术中的数据存储方案仍存在各种缺陷。
发明内容
有鉴于此，本发明实施例提供一种缓存数据的方法和装置，能够提高缓存命中率，防止存储溢出，降低使用风险，实现既可控制缓存的总数据量又可缓存热点数据，且计算复杂度低。
为实现上述目的，根据本发明实施例的一个方面，提供了一种缓存数据的方法。
一种缓存数据的方法，预先设置第一存储区和第二存储区，所述第一存储区和所述第二存储区的最大可存数据量均为预设的上限值，所述方法包括：步骤一，将待缓存的数据存入所述第一存储区；步骤二，在所述第一存储区的已存数据量达到所述上限值之后，将所述第一存储区的已存数据与所述第二存储区中的已存数据互换；步骤三，执行所述互换之后，若所述第一存储区的当前已存数据量未达到所述上限值，则执行步骤一；否则，清空所述第一存储区中的当前已存数据，然后执行步骤一。
可选地，所述第一存储区和所述第二存储区缓存的数据为键值对形式的数据。
可选地，所述待缓存的数据包括通过映射接口接收的外部写入的数据和从所述第二存储区读出的数据。
可选地，将所述第一存储区的已存数据与所述第二存储区中的已存数据互换的步骤，包括：将所述第一存储区的已存数据的存储地址与所述第二存储区中的已存数据的存储地址互换。
根据本发明实施例的另一方面，提供了一种缓存数据的装置。
一种缓存数据的装置，预先设置第一存储区和第二存储区，所述第一存储区和所述第二存储区的最大可存数据量均为预设的上限值，所述装置包括：缓存模块，用于将待缓存的数据存入所述第一存储区；互换模块，用于在所述第一存储区的已存数据量达到所述上限值之后，将所述第一存储区的已存数据与所述第二存储区中的已存数据互换；处理模块，用于在所述互换模块执行所述互换之后，若所述第一存储区的当前已存数据量未达到所述上限值，则由所述缓存模块将待缓存的数据存入所述第一存储区；否则，清空所述第一存储区中的当前已存数据，然后由所述缓存模块将待缓存的数据存入所述第一存储区。
可选地，所述第一存储区和所述第二存储区缓存的数据为键值对形式的数据。
可选地，所述待缓存的数据包括通过映射接口接收的外部写入的数据和从所述第二存储区读出的数据。
可选地，所述互换模块还用于：将所述第一存储区的已存数据的存储地址与所述第二存储区中的已存数据的存储地址互换。
根据本发明实施例的又一方面，提供了一种电子设备。
一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现缓存数据的方法。
根据本发明实施例的又一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现缓存数据的方法。
上述发明中的一个实施例具有如下优点或有益效果：步骤一，将待缓存的数据存入第一存储区；步骤二，在第一存储区的已存数据量达到上限值之后，将第一存储区的已存数据与第二存储区中的已存数据互换；步骤三，执行互换之后，若第一存储区的当前已存数据量未达到上限值，则执行步骤一；否则，清空第一存储区中的当前已存数据，然后执行步骤一。能够提高缓存命中率和系统整体吞吐性能，同时防止存储溢出，降低使用风险，实现既可控制缓存的总数据量又可缓存热点数据，且计算复杂度低。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的缓存数据的方法的主要步骤示意图；
图2是根据本发明实施例的读写缓存数据的流程示意图；
图3是根据本发明实施例的缓存数据的装置的主要模块示意图；
图4是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的缓存数据的方法的主要步骤示意图。
根据本发明实施例的缓存数据的方法，预先设置第一存储区和第二存储区，第一存储区和第二存储区的最大可存数据量均为预设的上限值，该上限值可以根据数据存储的需要进行设置，通过这种可设置内存上限值的方式，能够实现缓存的总数据量可控。如图1所示，本发明实施例的缓存数据的方法主要包括如下的步骤S101至步骤S103。
步骤S101：将待缓存的数据存入第一存储区。
待缓存的数据具体可包括通过映射接口接收的外部写入的数据和从第二存储区读出的数据。映射接口用于储存一组成对的键-值 (key-value)对象，提供key(键)到value(值)的映射，映射接口例如为Map接口。通过映射接口接收的外部写入的数据和从第二存储区读出的数据属于热数据(或称为热点数据，即最近被读和/或写的数据)。
步骤S102：在第一存储区的已存数据量达到上限值之后，将第一存储区的已存数据与第二存储区中的已存数据互换。
将第一存储区的已存数据与第二存储区中的已存数据互换，具体可以将第一存储区的已存数据的存储地址与第二存储区中的已存数据的存储地址互换，并且，互换第一存储区的已存数据的存储地址与第二存储区中的已存数据的存储地址时，可以互换第一存储区的已存数据的存储地址与第二存储区中的已存数据的存储地址该二者的引用名。
步骤S103：执行互换之后，若第一存储区的当前已存数据量未达到上限值，则执行步骤S101；否则，清空第一存储区中的当前已存数据，然后执行步骤S101。
其中，在由本步骤S103跳转到执行步骤S101，以将待缓存的数据存入第一存储区，第一存储区的当前已存数据属于热数据，相对而言，第二存储区的当前已存数据为冷数据(与热数据的概念相对，即最近未被读写的数据)，继续执行步骤S102，将第一存储区的当前已存数据与第二存储区中的当前已存数据互换，使得第一存储区中的热数据被迁移到第二存储区从而变为冷数据，继而再次执行步骤S103，由于本次互换之前的第二存储区的已存数据量已达到上限值，则将互换后的第一存储区中数据(即本次互换之前的第二存储区的已存数据) 清空，然后再第一存储区中存入新的热数据。如此循环往复，实现通过两个存储区进行数据缓存，并以互导热数据、清空冷数据的方式，保持内存中存储热数据的同时控制内存使用大小。
第一存储区和第二存储区缓存的数据可以为键值对形式的数据，还可以为文本等形式的数据。
本发明实施例的缓存数据的方法可以预先设置每个存储区能存储数据的上限值，通过缓存最近被访问的数据，并删除老数据(最近未被读写的数据)，以保证本地有有限的存储空间来存储热点数据。
下面以写入和读取键值对形式的数据为例，介绍从本发明实施例的两个存储区(第一存储区，记为map1，以及第二存储区，记为map2) 读写数据的过程。需要说明的是，本发明实施例的缓存数据的方法不限于存储键值对形式的数据，还可以存储文本等其他形式的数据。
图2是根据本发明实施例的读写缓存数据的流程示意图。如图2 所示，分别初始化设置第一存储区map1和第二存储区map1的存储地址为addr1和addr2，第一存储区和第二存储区表示实现Map接口的两个键值对存储容器，并设置第一存储区和第二存储区的最大可存数据量为一预设值N。本读写缓存数据的流程包括数据写入流程和数据读取流程。其中，数据写入流程用于将数据写入第一存储区或第二存储区，数据读取流程用于从第一存储区或第二存储区读取预设数据X。
数据写入流程如下(步骤S201，步骤S203，步骤S205，步骤S207，步骤S209，步骤S211)：
步骤S201：调用数据写入请求。
步骤S203：判断map1的已存数据量是否小于最大可存数据量N，若是，执行步骤S205，若否，执行步骤S207。
步骤S205：将数据写入map1。
当map1的已存数据量小于最大可存数据量N，表示map1未满，则将数据写入map1。
步骤S207：判断map2的已存数据量是否小于最大可存数据量N，若是，先执行步骤S209，然后返回步骤S203；若否，先执行步骤S209，再执行步骤S211，然后返回步骤S203。
当map1的已存数据量等于最大可存数据量N，表示map1已满，则判断map2是否已满，若map2的已存数据量小于最大可存数据量N，则表示map2未满，否则，map2已满。
步骤S209：map1和map2的引用互换。
当map1已满且map2未满(即第一存储区已满且第二存储区未满)，则将map1和map2的引用互换，执行该引用互换是将map1的存储地址addr1的引用名与map2的存储地址addr2的引用名互换，从而使得 map1的存储地址addr1与map2的存储地址addr2互换，即第一存储区 map1的存储地址变为addr2，第二存储区map2的存储地址变为addr1，根据步骤S207，当执行完本步骤S209之后，返回步骤S203，再次判断map1的已存数据量是否小于最大可存数据量N，由于map1的当前存储地址addr2上存储的数据未达到最大可存数据量N，则通过执行步骤S205将数据写入此map1。
当map1已满且map2已满(即第一存储区和第二存储区均已满)，则将map1和map2的引用互换之后，第一存储区map1的存储地址变为addr2，第二存储区map2的存储地址变为addr1，根据步骤S207，执行完本步骤S209之后，再执行步骤S211。
步骤S211：清空map1。
根据步骤S209，执行map1和map2的引用互换之后，第一存储区 map1的存储地址变为addr2，第二存储区map2的存储地址变为addr1，那么，清空map1，即将map1的当前存储地址addr2上存储的数据清空，最后返回步骤S203，将数据存入map1的当前存储地址addr2。
当map1的当前存储地址addr2中的已存数据达到预设值N之后，有新的数据写入请求时(即再次开始步骤S201)，则由于map1的当前存储地址addr2中的已存数据达到预设值N，那么再次执行步骤 S207，判断map2的已存数据量是否小于N，由于当前map2中的数据为存储地址addr1上保存的数据，且该addr1保存的数据量已达到N，则再次执行步骤S209，将map1和map2的引用互换，即将map1的存储地址由当前的addr2再变为addr1、map2的存储地址由当前的addr1 再变为addr2，然后再次执行步骤S211，将map1的最新存储地址addr1 中的数据清空，然后将新的数据写入map1的最新存储地址addr1中。如此循环执行上述过程。使得当需要缓存数据(即写入数据)时，将数据写入第一存储区map1(作为热数据)，并且在第一存储区写满(即已存数据量达到最大可存数据量)之后，将第一存储区中的当前热数据迁移到第二存储区以成为冷数据，并将从第二存储区迁移到第一存储区中的数据清空(如果从第二存储区迁移过来的数据未达到预设值N 则无需清空第一存储区)，以便在第一存储区存入新的热数据，从而第一存储区一直保持最近被读和/或写的热点数据，由此，实现通过两个存储区进行数据缓存，并以互导热数据、清空冷数据的方式，保持内存中存储热数据的同时控制内存使用大小。
上述步骤S205、步骤S207、步骤S211这三个步骤中，当map1 已满且map2已满(即第一存储区和第二存储区均已满)时，也可以先将map2清空然后再将map1和map2的引用互换，其可以达到与map1 已满且map2已满时先将map1和map2的引用互换再清空map1同样的结果。
数据读取流程如下(步骤S202，步骤S204，步骤S206，步骤S208，步骤S210)：
步骤S202：调用预设数据X的读取请求。
步骤S204：判断map1中是否有预设数据X，若是，执行步骤S206，若否，执行步骤S208。
步骤S206：获取map1中的预设数据X，并返回结果。
根据上述的数据写入流程，map1中始终为热点数据，当X在map1 中，则从map1获取该预设数据X，然后返回结果。
步骤S208：判断map2中是否有预设数据X，若是，执行步骤S210，若否，数据读取流程结束。
步骤S210：获取map2中的预设数据X，并跳转到步骤S201，以将该预设数据存入map1，并在该预设数据存入map1之后，跳转到步骤S202。
当预设数据X保存在map2中，则从map2获取该预设数据X，将该数据X的值赋值给一个变量value，然后跳转到步骤S201调用数据写入请求，将该预设数据X的值(被赋值的变量value)保存在存储热点数据的第一存储区map1中，具体地，根据数据写入流程，如果map1未满，则将预设数据X的值(被赋值的变量value)保存在map1；如果map1已满且map2未满，则将map1和map2的引用互换之后，再将预设数据X的值(被赋值的变量value)保存在map1；如果map1和 map2均已满，则将map1和map2的引用互换之后，然后将map1清空，再将预设数据X的值(被赋值的变量value)保存在map1。
本数据读取流程中的map1存储当前的热点数据，相应地，第二存储区存储的数据为冷数据。当数据X被读取，则该数据X成为热点数据(即最近被读和/或写的数据)，那么，如果该数据X位于第一存储区map1中，则无需对该数据X重新缓存到存储热点数据的该第一存储区，并且直接从第一存储区读出该X即可。如果该数据X位于第二存储区map2中，则需将该数据X重新缓存到存储热点数据的第一存储区，然后从第一存储区读取该数据X。根据本发明实施例的数据读取流程，从第一存储区可以读取缓存在两个存储区(第一存储区和第二存储区) 中的数据。
本发明实施例的缓存数据的方法实现通过两个存储区进行数据缓存，并以互导热数据、清空冷数据的方式，保持内存中存储热数据的同时控制内存使用大小，可保留最近被读和/或写(访问)的数据而无需直接删除缓存数据，提高缓存命中率，且很好地处理内存溢出问题，在读取数据时，无需通过排序查询的方式，只需通过引用的交替即可方便地查找热点数据，计算复杂度低。
图3是根据本发明实施例的缓存数据的装置的主要模块示意图。
如图3所示，本发明实施例的缓存数据的装置300主要包括：缓存模块301、互换模块302、处理模块303。其中，预先设置第一存储区和第二存储区，第一存储区和第二存储区的最大可存数据量均为预设的上限值。
缓存模块301，用于将待缓存的数据存入第一存储区。
互换模块302，用于在第一存储区的已存数据量达到上限值之后，将第一存储区的已存数据与第二存储区中的已存数据互换。
互换模块302将第一存储区的已存数据与第二存储区中的已存数据互换，具体可以是将第一存储区的已存数据的存储地址与第二存储区中的已存数据的存储地址互换。
处理模块303，用于在互换模块执行互换之后，若第一存储区的当前已存数据量未达到上限值，则由缓存模块将待缓存的数据存入第一存储区；否则，清空第一存储区中的当前已存数据，然后由缓存模块将待缓存的数据存入第一存储区。
其中，第一存储区和第二存储区缓存的数据可以为键值对形式的数据，还可以为文本等形式的数据。
待缓存的数据包括通过映射接口接收的外部写入的数据和从第二存储区读出的数据。
下面参考图4，其示出了适于用来实现本申请实施例的电子设备的计算机系统400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408 加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/ 输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元 (CPU)401执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括缓存模块301、互换模块 302、处理模块303。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，缓存模块301还可以被描述为“用于将待缓存的数据存入第一存储区的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：预先设置第一存储区和第二存储区，所述第一存储区和所述第二存储区的最大可存数据量均为预设的上限值，所述方法包括：步骤一，将待缓存的数据存入所述第一存储区；步骤二，在所述第一存储区的已存数据量达到所述上限值之后，将所述第一存储区的已存数据与所述第二存储区中的已存数据互换；步骤三，执行所述互换之后，若所述第一存储区的当前已存数据量未达到所述上限值，则执行步骤一；否则，清空所述第一存储区中的当前已存数据，然后执行步骤一。
根据本发明实施例的技术方案，步骤一，将待缓存的数据存入第一存储区；步骤二，在第一存储区的已存数据量达到上限值之后，将第一存储区的已存数据与第二存储区中的已存数据互换；步骤三，执行互换之后，若第一存储区的当前已存数据量未达到上限值，则执行步骤一；否则，清空第一存储区中的当前已存数据，然后执行步骤一。能够提高缓存命中率和系统整体吞吐性能，同时防止存储溢出，降低使用风险，实现既可控制缓存的总数据量又可缓存热点数据，且计算复杂度低。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种缓存数据的方法，其特征在于，预先设置第一存储区和第二存储区，所述第一存储区和所述第二存储区的最大可存数据量均为预设的上限值，所述方法包括：
步骤一，将待缓存的数据存入所述第一存储区；
步骤二，在所述第一存储区的已存数据量达到所述上限值之后，将所述第一存储区的已存数据与所述第二存储区中的已存数据互换；所述第一存储区的已存数据为热数据，所述第二存储区的已存数据为冷数据；
步骤三，执行所述互换之后，若所述第一存储区的当前已存数据量未达到所述上限值，则执行步骤一；否则，清空所述第一存储区中的当前已存数据，然后执行步骤一。
2.根据权利要求1所述的方法，其特征在于，所述第一存储区和所述第二存储区缓存的数据为键值对形式的数据。
3.根据权利要求1所述的方法，其特征在于，所述待缓存的数据包括通过映射接口接收的外部写入的数据和从所述第二存储区读出的数据。
4.根据权利要求1所述的方法，其特征在于，将所述第一存储区的已存数据与所述第二存储区中的已存数据互换的步骤，包括：
将所述第一存储区的已存数据的存储地址与所述第二存储区中的已存数据的存储地址互换。
5.一种缓存数据的装置，其特征在于，预先设置第一存储区和第二存储区，所述第一存储区和所述第二存储区的最大可存数据量均为预设的上限值，所述装置包括：
缓存模块，用于将待缓存的数据存入所述第一存储区；
互换模块，用于在所述第一存储区的已存数据量达到所述上限值之后，将所述第一存储区的已存数据与所述第二存储区中的已存数据互换；所述第一存储区的已存数据为热数据，所述第二存储区的已存数据为冷数据；
处理模块，用于在所述互换模块执行所述互换之后，若所述第一存储区的当前已存数据量未达到所述上限值，则由所述缓存模块将待缓存的数据存入所述第一存储区；否则，清空所述第一存储区中的当前已存数据，然后由所述缓存模块将待缓存的数据存入所述第一存储区。
6.根据权利要求5所述的装置，其特征在于，所述第一存储区和所述第二存储区缓存的数据为键值对形式的数据。
7.根据权利要求5所述的装置，其特征在于，所述待缓存的数据包括通过映射接口接收的外部写入的数据和从所述第二存储区读出的数据。
8.根据权利要求5所述的装置，其特征在于，所述互换模块还用于：将所述第一存储区的已存数据的存储地址与所述第二存储区中的已存数据的存储地址互换。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201710841791.4A 2017-09-18 2017-09-18 一种缓存数据的方法和装置 Active CN107748649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710841791.4A CN107748649B (zh) 2017-09-18 2017-09-18 一种缓存数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710841791.4A CN107748649B (zh) 2017-09-18 2017-09-18 一种缓存数据的方法和装置

Publications (2)

Publication Number Publication Date
CN107748649A CN107748649A (zh) 2018-03-02
CN107748649B true CN107748649B (zh) 2021-03-30

Family

ID=61255804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710841791.4A Active CN107748649B (zh) 2017-09-18 2017-09-18 一种缓存数据的方法和装置

Country Status (1)

Country Link
CN (1) CN107748649B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829725B (zh) * 2018-05-09 2021-06-25 深圳壹账通智能科技有限公司 区块链上用户通信方法、装置、终端设备及存储介质
CN108647101A (zh) * 2018-05-09 2018-10-12 深圳壹账通智能科技有限公司 区块链上用户通信方法、装置、终端设备及存储介质
CN111209308B (zh) * 2020-01-09 2023-06-16 建信金融科技有限责任公司 一种优化分布式缓存的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498673B1 (ko) * 2007-08-14 2015-03-09 삼성전자주식회사 반도체 드라이브, 그것의 데이터 저장 방법, 그리고 그것을포함한 컴퓨팅 시스템
CN101571831A (zh) * 2008-04-30 2009-11-04 国际商业机器公司 存储器子系统及管理方法、包含该子系统的计算机系统
CN101620568B (zh) * 2008-07-03 2011-05-11 慧国(上海)软件科技有限公司 存储装置和数据储存方法
CN102203749B (zh) * 2010-12-31 2013-06-26 华为技术有限公司 多级缓存下固态硬盘的写方法及装置
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
JP5390662B2 (ja) * 2012-05-31 2014-01-15 株式会社東芝 データ転送方法ならびに電子機器
CN103064792A (zh) * 2012-12-26 2013-04-24 北京创毅讯联科技股份有限公司 数据写入方法及装置
CN104461930A (zh) * 2013-09-23 2015-03-25 杭州信核数据科技有限公司 一种写缓存的方法及装置
US9317207B2 (en) * 2013-11-27 2016-04-19 Vmware, Inc. Cache migration
CN103984644B (zh) * 2014-05-07 2017-12-05 华为技术有限公司 一种数据管理方法及装置
CN104035886B (zh) * 2014-06-23 2019-01-08 华为技术有限公司 磁盘重映射方法、装置及电子设备
CN106326252B (zh) * 2015-06-24 2020-05-22 中兴通讯股份有限公司 数据库的数据处理方法及装置

Also Published As

Publication number Publication date
CN107748649A (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
CN107870728B (zh) 用于移动数据的方法和设备
CN110275841B (zh) 访问请求处理方法、装置、计算机设备和存储介质
US10885005B2 (en) Disk optimized paging for column oriented databases
US10572378B2 (en) Dynamic memory expansion by data compression
US11288210B2 (en) Method, device and computer program product for managing storage system
US20200133875A1 (en) Method, apparatus and computer program product for managing data access
CN107748649B (zh) 一种缓存数据的方法和装置
US20190220443A1 (en) Method, apparatus, and computer program product for indexing a file
CN107665095B (zh) 存储器空间管理的设备、方法及可读存储介质
US11113195B2 (en) Method, device and computer program product for cache-based index mapping and data access
CN111857539B (zh) 用于管理存储系统的方法、设备和计算机可读介质
US9389997B2 (en) Heap management using dynamic memory allocation
US11593268B2 (en) Method, electronic device and computer program product for managing cache
CN112631504A (zh) 利用堆外内存实现本地缓存的方法和装置
CN110737397B (zh) 用于管理存储系统的方法、设备和计算机程序产品
US20120005432A1 (en) Reducing Cache Probe Traffic Resulting From False Data Sharing
CN113742131B (zh) 用于存储管理的方法、电子设备和计算机程序产品
CN112784139A (zh) 查询方法、装置、电子设备和计算机可读介质
CN113051244A (zh) 数据访问方法和装置、数据获取方法和装置
CN109213815B (zh) 控制执行次数的方法、装置、服务器终端以及可读介质
CN108984431B (zh) 用于清空过期缓存的方法和装置
CN110716885B (zh) 数据管理方法、装置、电子设备和存储介质
CN116107926B (zh) 缓存替换策略的管理方法、装置、设备、介质和程序产品
US20240028515A1 (en) Prefetching management in database system
CN112948286A (zh) 数据缓存方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant