CN109582233A - 一种数据的缓存方法和装置 - Google Patents

一种数据的缓存方法和装置 Download PDF

Info

Publication number
CN109582233A
CN109582233A CN201811393137.2A CN201811393137A CN109582233A CN 109582233 A CN109582233 A CN 109582233A CN 201811393137 A CN201811393137 A CN 201811393137A CN 109582233 A CN109582233 A CN 109582233A
Authority
CN
China
Prior art keywords
target data
data
decaying
access
hot value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811393137.2A
Other languages
English (en)
Inventor
雷伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201811393137.2A priority Critical patent/CN109582233A/zh
Publication of CN109582233A publication Critical patent/CN109582233A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种数据的缓存方法和装置，属于数据存储技术领域。所述方法包括：当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有所述目标数据；如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值；基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置。采用本发明，可以提高存储设备的缓存利用率。

Description

一种数据的缓存方法和装置
技术领域
本发明涉及数据存储技术领域，特别涉及一种数据的缓存方法和装置。
背景技术
CDN(Content Delivery Network，内容分发网络)架构下的缓存服务器是一种用于缓存各类数据(如音频文件、视频文件、网页文件等)的服务器，其可以将本地缓存的数据分发给距离缓存服务器较近的用户，使用户可以就近获取所请求的数据。
现有的缓存服务器通常采用由快速存储设备(如固态硬盘)和慢速存储设备(如机械硬盘)组成的混合存储方案，对数据进行缓存。当接收到用户对某一数据的访问请求时，缓存服务器可以判断该数据是否缓存在存储设备中。如果该数据没有缓存在存储设备中，则缓存服务器可以从存储该数据的源服务器处获取该数据，然后将该数据返回给用户，同时可以将数据缓存在快速存储设备或慢速存储设备中。如果该数据缓存在存储设备中，则缓存服务器可以将该数据返回给用户。同时，缓存服务器还可以基于各数据的访问次数计算访问热度值，然后可以按照访问热度值，在快速存储设备或慢速存储设备中动态调整各数据的缓存位置，以将访问热度值较高的数据缓存在快速存储设备中，提高对访问请求的响应速度。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
对于只在较短时段内访问频繁的数据，其对应的访问次数及访问热度值远远超过快速存储设备中的其余数据，需要经过较长的时间，快速存储设备中其余数据的访问热度值才能够超过这些较短时段内访问频繁的数据，然而这些较短时段内访问频繁的数据的访问热度实际早已处于极低状态，导致快速存储设备在将数据迁移到慢速存储设备时，不会对上述较短时段内请求频繁的数据进行迁移，而将其余访问热度较高的数据误迁移到慢速存储设备，故而快速存储设备的缓存利用率较低，缓存效果较差。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种数据的缓存方法和装置。所述技术方案如下：
第一方面，提供了一种数据的缓存方法，所述方法包括：
当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有所述目标数据；
如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值；
基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置。
进一步的，所述如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值，包括：
如果所述缓存服务器缓存有所述目标数据，则将所述目标数据的访问热度值增加一，将所述目标数据的热度衰减系数设置为初始衰减系数；
基于增加后的所述目标数据的访问热度值以及所述初始衰减系数，计算所述目标数据衰减后的访问热度值。
进一步的，所述基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置，包括：
如果所述目标数据缓存在所述缓存服务器的快速存储设备，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述快速存储设备的存储链表中的位置。
进一步的，所述快速存储设备的存储链表包括热链表和温链表；
所述调整所述目标数据在所述快速存储设备的存储链表中的位置，包括：
如果所述目标数据位于所述快速存储设备的温链表，则判断所述目标数据衰减后的访问热度值是否大于等于预设热链阈值；
如果是，则在所述温链表中删除所述目标数据，并基于所述目标数据衰减后的访问热度值和所述热链表中其余数据衰减后的访问热度值，确定所述目标数据在所述热链表中的位置，否则基于所述目标数据衰减后的访问热度值和所述温链表中其余数据衰减后的访问热度值，调整所述目标数据在所述温链表中的位置。
进一步的，所述基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置，包括：
如果所述目标数据缓存在所述缓存服务器的慢速存储设备，则判断所述目标数据衰减后的访问热度值是否大于等于预设热度值；
如果是，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据迁移到所述快速存储设备；
否则，基于所述目标数据衰减后的访问热度值和所述慢速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述慢速存储设备的存储链表中的位置。
进一步的，所述方法还包括：
如果所述缓存服务器未缓存有所述目标数据，则从存储所述目标数据的源站服务器处获取所述目标数据，并判断所述目标数据的数据大小是否大于等于预设阈值；
如果是，则将所述目标数据缓存在所述缓存服务器的慢速存储设备，否则将所述目标数据缓存在所述缓存服务器的快速存储设备。
进一步的，所述将所述目标数据缓存在所述缓存服务器的快速存储设备，包括：
设置所述目标数据的访问热度值为初始热度值；
基于所述目标数据的访问热度值和所述快速存储设备存储的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据缓存在所述快速存储设备。
进一步的，所述将所述目标数据缓存在所述缓存服务器的快速存储设备，包括：
如果所述快速存储设备的剩余存储空间小于所述目标数据的数据大小，则将所述快速存储设备的存储链表中处于链尾的数据迁移到所述慢速存储设备，直至所述快速存储设备的剩余存储空间大于等于所述目标数据的数据大小；
将所述目标数据缓存在所述缓存服务器的快速存储设备。
第二方面，提供了一种数据的缓存装置，所述装置包括：
第一判断模块，用于当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有所述目标数据；
重置模块，用于如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值；
调整模块，用于基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置。
进一步的，所述重置模块具体用于：
如果所述缓存服务器缓存有所述目标数据，则将所述目标数据的访问热度值增加一，将所述目标数据的热度衰减系数设置为初始衰减系数；
基于增加后的所述目标数据的访问热度值以及所述初始衰减系数，计算所述目标数据衰减后的访问热度值。
进一步的，所述调整模块具体用于：
如果所述目标数据缓存在所述缓存服务器的快速存储设备，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述快速存储设备的存储链表中的位置。
进一步的，所述快速存储设备的存储链表包括热链表和温链表；
所述调整模块还用于：
如果所述目标数据位于所述快速存储设备的温链表，则判断所述目标数据衰减后的访问热度值是否大于等于预设热链阈值；
如果是，则在所述温链表中删除所述目标数据，并基于所述目标数据衰减后的访问热度值和所述热链表中其余数据衰减后的访问热度值，确定所述目标数据在所述热链表中的位置，否则基于所述目标数据衰减后的访问热度值和所述温链表中其余数据衰减后的访问热度值，调整所述目标数据在所述温链表中的位置。
进一步的，所述调整模块具体用于：
如果所述目标数据缓存在所述缓存服务器的慢速存储设备，则判断所述目标数据衰减后的访问热度值是否大于等于预设热度值；
如果是，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据迁移到所述快速存储设备；
否则，基于所述目标数据衰减后的访问热度值和所述慢速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述慢速存储设备的存储链表中的位置。
进一步的，所述装置还包括第二判断模块，用于：
如果所述缓存服务器未缓存有所述目标数据，则从存储所述目标数据的源站服务器处获取所述目标数据，并判断所述目标数据的数据大小是否大于等于预设阈值；
如果是，则将所述目标数据缓存在所述缓存服务器的慢速存储设备，否则将所述目标数据缓存在所述缓存服务器的快速存储设备。
进一步的，所述第二判断模块具体用于：
设置所述目标数据的访问热度值为初始热度值；
基于所述目标数据的访问热度值和所述快速存储设备存储的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据缓存在所述快速存储设备。
进一步的，所述第二判断模块具体用于：
如果所述快速存储设备的剩余存储空间小于所述目标数据的数据大小，则将所述快速存储设备的存储链表中处于链尾的数据迁移到所述慢速存储设备，直至所述快速存储设备的剩余存储空间大于等于所述目标数据的数据大小；
将所述目标数据缓存在所述缓存服务器的快速存储设备。
本发明实施例提供的技术方案带来的有益效果是：
在本实施例中，当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有所述目标数据；如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值；基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置。这样，通过对快速存储设备中缓存的数据的访问热点值进行衰减处理，可以将只在较短时段内访问频繁的数据的访问热点值快速进行衰减，从而能够及时将其迁移到慢速存储设备，有效减少将快速存储设备中热度较高的数据误迁移到慢速存储设备的几率，提高快速存储设备的缓存利用率，提升缓存效果。另外，通过对迁移到快速存储设备的数据大小进行限制，可以避免将数据量较大的数据迁移到快速存储设备，进一步提高了快速存储设备的缓存利用率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种网络场景示意图；
图2是本发明实施例提供的一种数据的缓存方法流程图；
图3是本发明实施例提供的一种数据的缓存装置结构示意图；
图4是本发明实施例提供的一种数据的缓存装置结构示意图；
图5是本发明实施例提供的一种缓存服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种数据的缓存方法，该方法的执行主体可以是缓存服务器，该缓存服务器可以是CDN架构下的缓存服务器，其可以设置有两种读写速度不同的存储设备，其中，读写速度较快的存储设备可以称为快速存储设备，读写速度较慢的存储设备可以称为慢速存储设备。缓存服务器可以基于客户端发送的对某数据的访问请求，在上述存储设备中查找是否缓存有该数据，如果查找到，则缓存服务器可以将该数据返回给客户端；如果未查找到，则缓存服务器可以从源站服务器处获取该数据，然后将获取到的数据返回给客户端。上述客户端可以是个人计算机、智能手机等任意终端，用户可以通过客户端从上述缓存服务器处获取音频文件、视频文件、网页文件等数据。相应的网络场景可以如图1所示。上述缓存服务器中可以包括处理器、存储器、收发器，处理器可以用于进行下述流程中的数据的缓存处理，存储器可以用于存储处理过程中需要的数据以及产生的数据，收发器可以用于接收和发送处理过程中的相关数据。
下面将结合具体实施方式，对图2所示的一种数据的缓存方法的处理流程进行详细的说明，内容可以如下：
步骤201，当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有目标数据。
在实施中，以用户观看某在线视频为例，用户可以在客户端上打开已安装的视频播放软件，搜索该视频，这时客户端可以显示出该视频的信息页。用户点击该信息页中的视频播放按键后，客户端可以生成对该视频对应的视频数据(可称为目标数据)的访问请求，然后客户端可以将该访问请求发送给距离该客户端最近的缓存服务器。这样，缓存服务器可以接收到对目标数据的访问请求。之后，缓存服务器可以基于上述访问请求，在存储设备中查找是否缓存有该目标数据。具体的，缓存服务器可以维护有数据索引表，在该数据索引表中可以记录缓存服务器存储的各个数据的元数据信息，例如数据标识、存储位置等信息。访问请求中可以携带有目标数据的数据标识。这样，缓存服务器在接收到上述访问请求后，可以提取出目标数据的数据标识，然后在数据索引表中查找该数据标识，以判断缓存服务器是否缓存有目标数据。
步骤202，如果缓存服务器缓存有目标数据，则重置目标数据的热度衰减系数，生成目标数据衰减后的访问热度值。
在实施中，缓存服务器可以基于各数据的访问次数，计算各数据对应的访问热度值。容易理解，如果某数据对应的访问热度值越高，则可以表明对该数据的访问越频繁，相应的，为了提高缓存效果，更快地响应对数据的访问请求，缓存服务器可以将访问热度值较高的数据缓存在快速存储设备，以充分利用其读写性能。同时，对于只在较短时段内被频繁访问的数据，如某热播电视剧的最新剧集往往在播出时刻，以及播出时刻后的几个小时内被频繁访问，可以对这些数据的访问热点值进行热度衰减处理，待这些数据的访问热度过去后，及时将这些数据从快速存储设备中移除。这样，缓存服务器在接收到对目标数据的访问请求，且判断出目标数据已经缓存在存储设备中后，这在一定程度上可以反映出该目标数据仍然具有较高的访问热度，此时，缓存服务器可以将目标数据的热度衰减系数进行重置处理，然后重新计算目标数据衰减后的访问热度值。
可选的，上述步骤202的处理可以如下：如果缓存服务器缓存有目标数据，则将目标数据的访问热度值增加一，将目标数据的热度衰减系数设置为初始衰减系数；基于增加后的目标数据的访问热度值以及初始衰减系数，计算目标数据衰减后的访问热度值。
在实施中，缓存服务器在接收到对目标数据的访问请求后，如果判断出目标数据已缓存在存储设备中，则表明目标数据已经具有访问热度值。这时，由于目标数据再次被访问，缓存服务器可以重新生成目标数据访问热度值，如将目标数据的访问热度值增加一。同时，考虑到目标数据再次被访问，在一定程度上可以表明该目标数据仍然具有较高的访问热度，因此，可以将目标数据的热度衰减系数设置为初始衰减系数，初始衰减系数可以是0，也可以是某一固定数值，这里不做具体限定。之后，缓存服务器可以基于增加后的目标数据的访问热度值以及初始衰减系数，计算目标数据衰减后的访问热度值。具体的，上述热度衰减处理可以有多种处理方式，如线性衰减方式、指数衰减方式等。以线性衰减方式为例，衰减公式可以如下：
R＝r-kt
其中，r为衰减前的访问热度值，kt为衰减量，k为衰减系数，t为当前时刻与上一访问时刻的时段值，R为衰减后的访问热度值，容易得出，随着时间的变化，衰减量在不断地增大，相应的，衰减后的访问热度值将不断地减小。假设初始衰减系数为0，衰减系数为2，目标数据衰减前的访问热度值为1000，当缓存服务器再次接收到对目标数据的访问请求时，目标数据的访问热度值将变化为1001，由于进行了衰减系数重置，即衰减系数重置为初始衰减系数0，则可以计算出目标数据衰减后的访问热度值为1001；假设另一数据的访问热度值同样为1000，且此时距离上次访问该另一数据的时刻已过去5分钟，即t＝5，则可以计算得出该另一数据衰减后的访问热度值为990。
步骤203，基于目标数据衰减后的访问热度值和缓存服务器存储的其余数据衰减后的访问热度值，调整目标数据的缓存位置。
在实施中，缓存服务器在生成目标数据衰减后的访问热度值后，可以对缓存服务器存储的其余数据衰减后的访问热度值进行获取，然后可以根据目标数据衰减后的访问热度值，以及缓存服务器存储的其余数据衰减后的访问热度值，重新确定目标数据的缓存位置，如快速存储设备或慢速存储设备、目标数据在存储设备的存储链表中的排列位置。
可选的，对于目标数据缓存在快速存储设备的情形，上述步骤203的处理可以如下：如果目标数据缓存在缓存服务器的快速存储设备，则基于目标数据衰减后的访问热度值和缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，调整目标数据在快速存储设备的存储链表中的位置。
在实施中，可以通过存储链表的方式，对存储设备中缓存的各数据的缓存优先级进行记录，即当存储设备的存储空间不足时，优先将处于存储链表的链尾的数据进行迁移或删除。同时，可以基于不同的排序算法以及各数据衰减后的访问热度值，对各数据在存储链表中的位置进行调整。对于快速存储设备，考虑到其缓存的数据的访问热度往往较高，可以采用LFU(Least Frequently Used，最近最不常用)算法，将当前时刻的前一段时间内相对不常用的数据调整到存储链表的尾部。这样，当目标数据已经缓存在快速存储设备时，只需要结合快速存储设备中除目标数据以外的其余数据衰减后的访问热度值，以及目标数据衰减后的访问热度值，即可以确定目标数据在快速存储设备的存储链表中的位置，然后可以对目标数据在快速存储设备的存储链表中的位置进行相应调整。
可选的，上述调整目标数据在快速存储设备的存储链表中的位置的处理可以如下：如果目标数据位于快速存储设备的温链表，则判断目标数据衰减后的访问热度值是否大于等于预设热链阈值；如果是，则在温链表中删除目标数据，并基于目标数据衰减后的访问热度值和热链表中其余数据衰减后的访问热度值，确定目标数据在热链表中的位置，否则基于目标数据衰减后的访问热度值和温链表中其余数据衰减后的访问热度值，调整目标数据在温链表中的位置。
在实施中，可以将快速存储设备的存储链表分为热链表和温链表，热链表可以对快速存储设备中访问热度值较高的那部分数据进行记录，温链表可以对快速存储设备中访问热度值较低的那部分数据进行记录。另外，可以对热链表设置预设热链阈值，以此来区分快速存储设备中访问热度值较高的数据和访问热度值较低的数据。具体的，当目标数据处于温链表时，可以对目标数据衰减后的访问热度值是否大于等于预设热链阈值进行判断。如果目标数据衰减后的访问热度值大于等于预设热链阈值，则可以在温链表中删除目标数据，然后在热链表中记录目标数据，并基于目标数据衰减后的访问热度值，以及热链表中记录的其余数据衰减后的访问热度值，确定目标数据在热链表中的位置；如果目标数据衰减后的访问热度值小于预设热链阈值，则可以基于目标数据衰减后的访问热度值，以及温链表中记录的其余数据衰减后的访问热度值，调整目标数据在温链表中的位置。
当目标数据处于热链表时，则可以基于目标数据衰减后的访问热度值，以及热链表中记录的其余数据衰减后的访问热度值，调整目标数据在热链表中的位置。这样，可以将快速存储设备中的各数据在热链表和温链表中进行动态调整，进一步细化快速存储设备中各数据存储位置的调整逻辑，提高调整效率。
可选的，对于目标数据缓存在慢速存储设备的情形，上述步骤203的处理可以如下：如果目标数据缓存在缓存服务器的慢速存储设备，则判断目标数据衰减后的访问热度值是否大于等于预设热度值；如果是，则基于目标数据衰减后的访问热度值和缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，确定目标数据在快速存储设备的存储链表中的位置，并将目标数据迁移到快速存储设备；否则，基于目标数据衰减后的访问热度值和慢速存储设备所缓存的其余数据衰减后的访问热度值，调整目标数据在慢速存储设备的存储链表中的位置。
在实施中，当目标数据已经缓存在慢速存储设备中时，可以通过将目标数据衰减后的访问热度值与预设热度值的大小关系进行比较的方式，判断是否将目标数据从慢速存储设备迁移到快速存储设备，其中，预设热度值可以设置为固定值，例如5000或5500，预设热度值也可以设置为一个变化值，如设置为快速存储设备的存储链表中位于链尾的数据的访问热度值。
具体的，如果目标数据衰减后的访问热度值大于等于上述预设热度值，则缓存服务器可以将目标数据从慢速存储设备迁移到快速存储设备，同时，缓存服务器可以在快速存储设备的存储链表中对目标数据进行记录，并确定目标数据在该存储链表中的位置。进一步的，在将快速存储设备的存储链表分为上述热链表和温链表的情况下，考虑到目标数据的访问热度值往往不会进行大幅度增加，因此，当目标数据满足迁移条件时，可以将目标数据记录在温链表，以便于后续目标数据热度不足且快速存储设备的存储空间不足时，及时将目标数据迁移回慢速存储设备，以减少将快速存储设备中热度较高的数据误迁移到慢速存储设备的几率。
如果目标数据衰减后的访问热度值小于预设热度值，则无需对目标数据进行迁移。另外，考虑到慢速存储设备缓存的数据的访问热度往往较低，缓存服务器可以采用LRU(Least Recently Used，最近最少使用)类算法中的LRU-K算法，计算各数据最近访问的K值，然后将K值较小的数据调整到存储链表的尾部。这样，缓存服务器可以基于目标数据衰减后的访问热度值，以及慢速存储设备所缓存的其余数据衰减后的访问热度值，并结合上述LRU-K算法，确定出目标数据在慢速存储设备的存储链表中的位置，然后可以对目标数据在慢速存储设备的存储链表中的位置进行相应调整。
可选的，对于未缓存目标数据的情形，可以通过预设阈值，确定缓存目标数据的存储设备，相应的处理可以如下：如果缓存服务器未缓存有目标数据，则从存储目标数据的源站服务器处获取目标数据，并判断目标数据的数据大小是否大于等于预设阈值；如果是，则将目标数据缓存在缓存服务器的慢速存储设备，否则将目标数据缓存在缓存服务器的快速存储设备。
在实施中，对于未缓存在存储设备的数据而言，通常可以优先将其缓存在快速存储设备，一方面，可以利用快速存储设备较高的读写性能快速地对其进行缓存处理，另一方面，即使该数据之后的热度降低，也可以再将其迁移到慢速存储设备。尤其对于数据量较小的数据，如果将该数据缓存在快速存储设备，其读写消耗的时间可以忽略不计，因此能够充分利用快速存储设备较高的读写性能，及时读出该数据并返回给用户。然而，对于数据量较大的数据，其读写消耗的时间较长，且访问热度往往持续时间较短，因此，如果将该数据缓存在快速存储设备，其读写效率并没有较大的改善，故而，可以只将数据量较大的数据在慢速存储设备进行缓存，不仅可以充分利用快速存储设备有限的存储空间，还可以延长快速存储设备的使用寿命。这样，缓存服务器在接收到对目标数据的访问请求后，如果判断出目标数据没有缓存在存储设备中，则缓存服务器可以从存储目标数据的源站服务器处获取目标数据，然后可以基于上述预设阈值判断是否将目标数据缓存在快速存储设备，如可以将大于等于5MB的数据统一缓存在慢速存储设备。具体的，如果目标数据的数据大小大于等于预设阈值，则可以将目标数据缓存在慢速存储设备。如果目标数据的数据大小小于预设阈值，则可以将目标数据缓存在快速存储设备。
可选的，上述将目标数据缓存在快速存储设备的处理可以如下：设置目标数据的访问热度值为初始热度值；基于目标数据的访问热度值和快速存储设备存储的其余数据衰减后的访问热度值，确定目标数据在快速存储设备的存储链表中的位置，并将目标数据缓存在快速存储设备。
在实施中，由于缓存服务器首次对目标数据进行缓存，故而目标数据的历史访问热度为零，同时，考虑到目标数据未来的访问热度的不确定性，因此缓存服务器可以将目标数据的访问热度值设置为初始热度值。具体的，该初始热度值可以设置为某个固定值，如2000或2500；该初始热度值也可以设置为变化值，如快速存储设备中各数据的平均访问热度值。之后，缓存服务器可以对快速存储设备存储的其余数据衰减后的访问热度值进行获取，然后可以基于目标数据的访问热度值，即上述初始热度值，以及快速存储设备存储的其余数据衰减后的访问热度值，确定出目标数据在快速存储设备的存储链表中的位置。之后，缓存服务器可以将目标数据缓存在快速存储设备。
可选的，当快速存储设备的存储空间不足时，上述将目标数据缓存在缓存服务器的快速存储设备的处理可以如下：如果快速存储设备的剩余存储空间小于目标数据的数据大小，则将快速存储设备的存储链表中处于链尾的数据迁移到慢速存储设备，直至快速存储设备的剩余存储空间大于等于目标数据的数据大小；将目标数据缓存在缓存服务器的快速存储设备。
在实施中，由于快速存储设备的存储空间有限，因此，当快速存储设备的存储空间不足时，快速存储设备需要释放一定的存储空间，才可以缓存目标数据。这样，缓存服务器在将未缓存的目标数据缓存在快速存储设备之前，可以对快速存储设备的剩余存储空间是否足以缓存目标数据进行判断。具体的，如果快速存储设备的剩余存储空间小于目标数据的数据大小，则缓存服务器可以将快速存储设备的存储链表中处于链尾的数据迁移到慢速存储设备，如果快速存储设备的剩余存储空间仍然小于目标数据的数据大小，则缓存服务器继续将快速存储设备的存储链表中处于链尾的数据迁移到慢速存储设备，直至快速存储设备的剩余存储空间足以缓存目标数据，即快速存储设备的剩余存储空间大于等于目标数据的数据大小。这时，缓存服务器可以将目标数据缓存在缓存服务器的快速存储设备。
进一步的，对于上述将快速存储设备的存储链表分为热链表和温链表的情形，缓存服务器可以将未缓存的目标数据记录在温链表。如果快速存储设备的存储空间不足时，缓存服务器可以将温链表中处于链尾的数据迁移到慢速存储设备，直至快速存储设备的剩余存储空间足以缓存目标数据。
在本实施例中，当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有所述目标数据；如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值；基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置。这样，通过对快速存储设备中缓存的数据的访问热点值进行衰减处理，可以将只在较短时段内访问频繁的数据的访问热点值快速进行衰减，从而能够及时将其迁移到慢速存储设备，有效减少将快速存储设备中热度较高的数据误迁移到慢速存储设备的几率，提高快速存储设备的缓存利用率，提升缓存效果。另外，通过对迁移到快速存储设备的数据大小进行限制，可以避免数据量较大的数据迁移到快速存储设备，进一步提高了快速存储设备的缓存利用率。
基于相同的技术构思，本发明实施例还提供了一种数据的缓存装置，如图3所示，所述装置包括：
第一判断模块301，用于当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有所述目标数据；
重置模块302，用于如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值；
调整模块303，用于基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置。
可选的，所述重置模块302具体用于：
如果所述缓存服务器缓存有所述目标数据，则将所述目标数据的访问热度值增加一，将所述目标数据的热度衰减系数设置为初始衰减系数；
基于增加后的所述目标数据的访问热度值以及所述初始衰减系数，计算所述目标数据衰减后的访问热度值。
可选的，所述调整模块303具体用于：
如果所述目标数据缓存在所述缓存服务器的快速存储设备，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述快速存储设备的存储链表中的位置。
可选的，所述快速存储设备的存储链表包括热链表和温链表；
所述调整模块303还用于：
如果所述目标数据位于所述快速存储设备的温链表，则判断所述目标数据衰减后的访问热度值是否大于等于预设热链阈值；
如果是，则在所述温链表中删除所述目标数据，并基于所述目标数据衰减后的访问热度值和所述热链表中其余数据衰减后的访问热度值，确定所述目标数据在所述热链表中的位置，否则基于所述目标数据衰减后的访问热度值和所述温链表中其余数据衰减后的访问热度值，调整所述目标数据在所述温链表中的位置。
可选的，所述调整模块303具体用于：
如果所述目标数据缓存在所述缓存服务器的慢速存储设备，则判断所述目标数据衰减后的访问热度值是否大于等于预设热度值；
如果是，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据迁移到所述快速存储设备；
否则，基于所述目标数据衰减后的访问热度值和所述慢速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述慢速存储设备的存储链表中的位置。
可选的，如图4所示，所述装置还包括第二判断模块304，用于：
如果所述缓存服务器未缓存有所述目标数据，则从存储所述目标数据的源站服务器处获取所述目标数据，并判断所述目标数据的数据大小是否大于等于预设阈值；
如果是，则将所述目标数据缓存在所述缓存服务器的慢速存储设备，否则将所述目标数据缓存在所述缓存服务器的快速存储设备。
可选的，所述第二判断模块304具体用于：
设置所述目标数据的访问热度值为初始热度值；
基于所述目标数据的访问热度值和所述快速存储设备存储的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据缓存在所述快速存储设备。
可选的，所述第二判断模块304具体用于：
如果所述快速存储设备的剩余存储空间小于所述目标数据的数据大小，则将所述快速存储设备的存储链表中处于链尾的数据迁移到所述慢速存储设备，直至所述快速存储设备的剩余存储空间大于等于所述目标数据的数据大小；
将所述目标数据缓存在所述缓存服务器的快速存储设备。
需要说明的是：上述实施例提供的数据的缓存装置在缓存数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据的缓存装置与数据的缓存方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是本发明实施例提供的缓存服务器的结构示意图。该缓存服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对缓存服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在缓存服务器500上执行存储介质530中的一系列指令操作。
缓存服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，一个或一个以上键盘556，和/或，一个或一个以上操作系统541，例如Windows Server TM，Mac OS XTM，Unix TM，Linux TM，FreeBSDTM等等。
缓存服务器500可以包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述数据的缓存指令。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种数据的缓存方法，其特征在于，所述方法包括：
当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有所述目标数据；
如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值；
基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置。
2.根据权利要求1所述的方法，其特征在于，所述如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值，包括：
如果所述缓存服务器缓存有所述目标数据，则将所述目标数据的访问热度值增加一，将所述目标数据的热度衰减系数设置为初始衰减系数；
基于增加后的所述目标数据的访问热度值以及所述初始衰减系数，计算所述目标数据衰减后的访问热度值。
3.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置，包括：
如果所述目标数据缓存在所述缓存服务器的快速存储设备，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述快速存储设备的存储链表中的位置。
4.根据权利要求3所述的方法，其特征在于，所述快速存储设备的存储链表包括热链表和温链表；
所述调整所述目标数据在所述快速存储设备的存储链表中的位置，包括：
如果所述目标数据位于所述快速存储设备的温链表，则判断所述目标数据衰减后的访问热度值是否大于等于预设热链阈值；
如果是，则在所述温链表中删除所述目标数据，并基于所述目标数据衰减后的访问热度值和所述热链表中其余数据衰减后的访问热度值，确定所述目标数据在所述热链表中的位置，否则基于所述目标数据衰减后的访问热度值和所述温链表中其余数据衰减后的访问热度值，调整所述目标数据在所述温链表中的位置。
5.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置，包括：
如果所述目标数据缓存在所述缓存服务器的慢速存储设备，则判断所述目标数据衰减后的访问热度值是否大于等于预设热度值；
如果是，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据迁移到所述快速存储设备；
否则，基于所述目标数据衰减后的访问热度值和所述慢速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述慢速存储设备的存储链表中的位置。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果所述缓存服务器未缓存有所述目标数据，则从存储所述目标数据的源站服务器处获取所述目标数据，并判断所述目标数据的数据大小是否大于等于预设阈值；
如果是，则将所述目标数据缓存在所述缓存服务器的慢速存储设备，否则将所述目标数据缓存在所述缓存服务器的快速存储设备。
7.根据权利要求6所述的方法，其特征在于，所述将所述目标数据缓存在所述缓存服务器的快速存储设备，包括：
设置所述目标数据的访问热度值为初始热度值；
基于所述目标数据的访问热度值和所述快速存储设备存储的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据缓存在所述快速存储设备。
8.根据权利要求6所述的方法，其特征在于，所述将所述目标数据缓存在所述缓存服务器的快速存储设备，包括：
如果所述快速存储设备的剩余存储空间小于所述目标数据的数据大小，则将所述快速存储设备的存储链表中处于链尾的数据迁移到所述慢速存储设备，直至所述快速存储设备的剩余存储空间大于等于所述目标数据的数据大小；
将所述目标数据缓存在所述缓存服务器的快速存储设备。
9.一种数据的缓存装置，其特征在于，所述装置包括：
第一判断模块，用于当接收到对目标数据的访问请求时，判断缓存服务器是否缓存有所述目标数据；
重置模块，用于如果所述缓存服务器缓存有所述目标数据，则重置所述目标数据的热度衰减系数，生成所述目标数据衰减后的访问热度值；
调整模块，用于基于所述目标数据衰减后的访问热度值和所述缓存服务器存储的其余数据衰减后的访问热度值，调整所述目标数据的缓存位置。
10.根据权利要求9所述的装置，其特征在于，所述重置模块具体用于：
如果所述缓存服务器缓存有所述目标数据，则将所述目标数据的访问热度值增加一，将所述目标数据的热度衰减系数设置为初始衰减系数；
基于增加后的所述目标数据的访问热度值以及所述初始衰减系数，计算所述目标数据衰减后的访问热度值。
11.根据权利要求9所述的装置，其特征在于，所述调整模块具体用于：
如果所述目标数据缓存在所述缓存服务器的快速存储设备，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述快速存储设备的存储链表中的位置。
12.根据权利要求11所述的装置，其特征在于，所述快速存储设备的存储链表包括热链表和温链表；
所述调整模块还用于：
如果所述目标数据位于所述快速存储设备的温链表，则判断所述目标数据衰减后的访问热度值是否大于等于预设热链阈值；
如果是，则在所述温链表中删除所述目标数据，并基于所述目标数据衰减后的访问热度值和所述热链表中其余数据衰减后的访问热度值，确定所述目标数据在所述热链表中的位置，否则基于所述目标数据衰减后的访问热度值和所述温链表中其余数据衰减后的访问热度值，调整所述目标数据在所述温链表中的位置。
13.根据权利要求9所述的装置，其特征在于，所述调整模块具体用于：
如果所述目标数据缓存在所述缓存服务器的慢速存储设备，则判断所述目标数据衰减后的访问热度值是否大于等于预设热度值；
如果是，则基于所述目标数据衰减后的访问热度值和所述缓存服务器的快速存储设备所缓存的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据迁移到所述快速存储设备；
否则，基于所述目标数据衰减后的访问热度值和所述慢速存储设备所缓存的其余数据衰减后的访问热度值，调整所述目标数据在所述慢速存储设备的存储链表中的位置。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括第二判断模块，用于：
如果所述缓存服务器未缓存有所述目标数据，则从存储所述目标数据的源站服务器处获取所述目标数据，并判断所述目标数据的数据大小是否大于等于预设阈值；
如果是，则将所述目标数据缓存在所述缓存服务器的慢速存储设备，否则将所述目标数据缓存在所述缓存服务器的快速存储设备。
15.根据权利要求14所述的装置，其特征在于，所述第二判断模块具体用于：
设置所述目标数据的访问热度值为初始热度值；
基于所述目标数据的访问热度值和所述快速存储设备存储的其余数据衰减后的访问热度值，确定所述目标数据在所述快速存储设备的存储链表中的位置，并将所述目标数据缓存在所述快速存储设备。
16.根据权利要求14所述的装置，其特征在于，所述第二判断模块具体用于：
如果所述快速存储设备的剩余存储空间小于所述目标数据的数据大小，则将所述快速存储设备的存储链表中处于链尾的数据迁移到所述慢速存储设备，直至所述快速存储设备的剩余存储空间大于等于所述目标数据的数据大小；
将所述目标数据缓存在所述缓存服务器的快速存储设备。
CN201811393137.2A 2018-11-21 2018-11-21 一种数据的缓存方法和装置 Pending CN109582233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811393137.2A CN109582233A (zh) 2018-11-21 2018-11-21 一种数据的缓存方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811393137.2A CN109582233A (zh) 2018-11-21 2018-11-21 一种数据的缓存方法和装置

Publications (1)

Publication Number Publication Date
CN109582233A true CN109582233A (zh) 2019-04-05

Family

ID=65923650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811393137.2A Pending CN109582233A (zh) 2018-11-21 2018-11-21 一种数据的缓存方法和装置

Country Status (1)

Country Link
CN (1) CN109582233A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176560A (zh) * 2019-12-17 2020-05-19 腾讯科技（深圳）有限公司 一种缓存管理方法、装置、计算机设备及存储介质
CN112346658A (zh) * 2019-08-07 2021-02-09 国际商业机器公司 在具有高速缓存体系结构的存储设备中提高数据热量跟踪分辨率

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN103514106A (zh) * 2012-06-20 2014-01-15 北京神州泰岳软件股份有限公司 一种数据缓存方法
CN104484460A (zh) * 2014-12-29 2015-04-01 浪潮(北京)电子信息产业有限公司 一种分布式文件系统元数据热度统计方法
CN106897030A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种缓存数据管理方法及装置
US20170270045A1 (en) * 2016-03-17 2017-09-21 SK Hynix Inc. Hybrid memory device and operating method thereof
CN107305475A (zh) * 2016-04-22 2017-10-31 中国科学院微电子研究所 一种flashcache混合存储系统的缓存调度方法及系统
CN107679193A (zh) * 2017-10-09 2018-02-09 郑州云海信息技术有限公司 一种用于分布式文件系统的热度统计方法和系统
CN108846114A (zh) * 2018-06-26 2018-11-20 郑州云海信息技术有限公司 分布式系统控制方法、装置、设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117248A (zh) * 2011-03-09 2011-07-06 浪潮(北京)电子信息产业有限公司 一种缓存系统和在缓存系统中缓存数据的方法
CN103514106A (zh) * 2012-06-20 2014-01-15 北京神州泰岳软件股份有限公司 一种数据缓存方法
CN104484460A (zh) * 2014-12-29 2015-04-01 浪潮(北京)电子信息产业有限公司 一种分布式文件系统元数据热度统计方法
US20170270045A1 (en) * 2016-03-17 2017-09-21 SK Hynix Inc. Hybrid memory device and operating method thereof
CN107203334A (zh) * 2016-03-17 2017-09-26 爱思开海力士有限公司 混合存储器件及其操作方法
CN107305475A (zh) * 2016-04-22 2017-10-31 中国科学院微电子研究所 一种flashcache混合存储系统的缓存调度方法及系统
CN106897030A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种缓存数据管理方法及装置
CN107679193A (zh) * 2017-10-09 2018-02-09 郑州云海信息技术有限公司 一种用于分布式文件系统的热度统计方法和系统
CN108846114A (zh) * 2018-06-26 2018-11-20 郑州云海信息技术有限公司 分布式系统控制方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周阳: "云存储中冷热数据的混合冗余方法研究", 《移动通信》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346658A (zh) * 2019-08-07 2021-02-09 国际商业机器公司 在具有高速缓存体系结构的存储设备中提高数据热量跟踪分辨率
CN111176560A (zh) * 2019-12-17 2020-05-19 腾讯科技（深圳）有限公司 一种缓存管理方法、装置、计算机设备及存储介质
CN111176560B (zh) * 2019-12-17 2022-02-18 腾讯科技（深圳）有限公司 一种缓存管理方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN108763110B (zh) 一种数据缓存方法及装置
US10430338B2 (en) Selectively reading data from cache and primary storage based on whether cache is overloaded
CN104145252B (zh) 两级高速缓存系统中的自适应高速缓存提升
CN101510219B (zh) 文件数据访问方法、装置以及系统
US9477607B2 (en) Adaptive record caching for solid state disks
US20150356125A1 (en) Method for data placement based on a file level operation
US11809330B2 (en) Information processing apparatus and method
US20170070574A1 (en) Storage server and storage system
CN107430551B (zh) 数据缓存方法、存储控制装置、及存储设备
CN107197359B (zh) 视频文件缓存方法及装置
CN104503703B (zh) 缓存的处理方法和装置
CN110188080A (zh) 基于客户端高效缓存的远程文件数据访问性能优化方法
CN109815425A (zh) 缓存数据处理方法、装置、计算机设备和存储介质
JP2005276198A (ja) 複数のメモリ・バッファ・サイズを均衡させるためのシステムおよび方法
US10061517B2 (en) Apparatus and method for data arrangement
CN107888687B (zh) 一种基于分布式存储系统的代理客户端存储加速方法及系统
CN109144413A (zh) 一种元数据管理方法及装置
CN109446114A (zh) 一种空间数据缓存方法、装置和存储介质
CN107368608A (zh) 基于arc替换算法的hdfs小文件缓存管理方法
CN105867846A (zh) 一种数据处理方法、服务器及系统
US20210318803A1 (en) System and method for storing and accessing blockchain data
CN113032335A (zh) 文件访问方法、装置、设备及存储介质
CN107341114A (zh) 一种目录管理的方法、节点控制器和系统
CN109582233A (zh) 一种数据的缓存方法和装置
CN112148736A (zh) 缓存数据的方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405