CN112631963B - 缓存数据管理方法、装置、设备及存储介质 - Google Patents

缓存数据管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112631963B
CN112631963B CN202011559314.7A CN202011559314A CN112631963B CN 112631963 B CN112631963 B CN 112631963B CN 202011559314 A CN202011559314 A CN 202011559314A CN 112631963 B CN112631963 B CN 112631963B
Authority
CN
China
Prior art keywords
cache
target data
expiration time
buffer
access heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011559314.7A
Other languages
English (en)
Other versions
CN112631963A (zh
Inventor
黄凯
张泽武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202011559314.7A priority Critical patent/CN112631963B/zh
Publication of CN112631963A publication Critical patent/CN112631963A/zh
Application granted granted Critical
Publication of CN112631963B publication Critical patent/CN112631963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12Replacement control
    • G06F12/121Replacement control using replacement algorithms
    • G06F12/123Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10Providing a specific technical effect
    • G06F2212/1016Performance improvement
    • G06F2212/1021Hit rate improvement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10Providing a specific technical effect
    • G06F2212/1041Resource optimization
    • G06F2212/1044Space efficiency improvement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据处理领域,尤其涉及一种缓存数据管理方法、装置、设备及存储介质。方法包括:接收目标数据的缓存请求指令后,获取所述缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;根据所述至少一个关联参数的值,获得所述目标数据的访问热度系数;根据所述访问热度系数,获得所述目标数据的缓存过期时间,其中,所述缓存过期时间与所述访问热度系数正相关;为保存至缓存的所述目标数据配置所述缓存过期时间。本申请用以解决缓存命中率低和缓存利用率低的问题。

Description

缓存数据管理方法、装置、设备及存储介质
技术领域
本申请涉及数据处理领域,尤其涉及一种缓存数据管理方法、装置、设备及存储介质。
背景技术
对于互联网应用,无论在服务器端还是在客户端,缓存技术的使用十分普遍。缓存的应用可以加快请求响应,端上的缓存可以减少重复请求带来的开销,为用户提供良好的使用体验。现有的缓存技术中,通常会为缓存中的数据配置一个固定的过期时间,满足过期时间后,该数据会失效,当下一次请求该数据时,该数据重新保存至缓存并再次设定固定的过期时间。
面对千万级设置过亿的大数据场景,缓存本身就是很珍贵的存储资源。缓存是否被合理运用是一个亟待解决的问题。但是,目前的缓存技术,对于不同的缓存数据,都设置同一个固定的过期时间,这种方式使缓存的利用率降低,同时降低缓存命中率。例如,第一组数据和第二组数据同时保存于缓存,且过期时间相同。第一组数据在达到过期时间前被请求300次,第二组数据在达到过期时间前只被请求1次。两组数据达到过期时间都被从缓存中清除后,很显然,第一组数据再次被请求的可能性更高,但是第一组数据再次被请求时,并不能在缓存中被命中,进而降低缓存命中率。而第二组数据在被请求1次之后,在达到过期时间之前,未再被请求,但是仍然占据了缓存空间,降低了缓存的利用率。
发明内容
本申请提供了一种缓存数据管理方法、装置、设备及存储介质,用以解决缓存命中率低和缓存利用率低的问题。
第一方面,本申请实施例提供了一种缓存数据管理方法,包括:接收目标数据的缓存请求指令后,获取所述缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;根据所述至少一个关联参数的值,获得所述目标数据的访问热度系数;根据所述访问热度系数,获得所述目标数据的缓存过期时间,其中,所述缓存过期时间与所述访问热度系数正相关;为保存至缓存的所述目标数据配置所述缓存过期时间。
可选地,所述关联参数,包括正关联参数和负关联参数中的至少一种;所述正关联参数的值,与所述缓存过期时间呈正相关关系;所述负关联参数的值,与所述缓存过期时间呈负相关关系。
可选地,所述根据所述至少一个关联参数的值,获得所述目标数据的访问热度系数,包括:获取每个所述关联参数对应的预设权重值;通过所述预设权重值,对每个所述关联参数的值对所述访问热度系数的干预程度进行调整,以获得所述目标数据的所述访问热度系数。
可选地,所述根据所述访问热度系数,获得所述目标数据的缓存过期时间,包括:获取预设基准时间;根据所述预设基准时间和所述访问热度系数,获得所述目标数据的所述缓存过期时间。
可选地,所述获取预设基准时间,包括:获取所述接收时刻对应的、所述缓存的剩余存储空间;根据所述剩余存储空间,获取所述预设基准时间。
可选地,所述为保存至缓存的所述目标数据配置所述缓存过期时间之后,还包括:在超过所述缓存过期时间后,删除所述缓存中的所述目标数据。
可选地,所述在超过所述缓存过期时间后,删除所述缓存中的所述目标数据之后,还包括:再次接收所述目标数据的缓存请求指令后,重新获取再次接收缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;根据重新获取的所述至少一个关联数据的值,重新获得所述目标数据的访问热度系数;根据重新获得的所述访问热度系数,重新获得所述目标数据的缓存过期时间,其中,所述缓存过期时间与所述访问热度系数正相关;为重新保存至缓存的所述目标数据配置重新获得的所述缓存过期时间。
可选地,所述关联参数包括访问用户量、评价参数、上线时间参数、访问时长和访问频率中的至少一种。
第二方面,本申请实施例提供了一种缓存数据管理装置,包括:获取模块,用于接收目标数据的缓存请求指令后,获取所述缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;第一处理模块,用于根据所述至少一个关联参数的值,获得所述目标数据的访问热度系数;第二处理模块,用于根据所述访问热度系数,获得所述目标数据的缓存过期时间,其中,所述缓存过期时间与所述访问热度系数正相关;配置模块,用于为保存至缓存的所述目标数据配置所述缓存过期时间。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;所述存储器,用于存储计算机程序;所述处理器,用于执行所述存储器中所存储的程序,实现第一方面所述的缓存数据管理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的缓存数据管理方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请实施例提供的该方法,根据目标数据的访问热度为目标数据配置对应的缓存过期时间,访问热度由访问热度系数来表征,该访问热度系数为对与访问热度相关的关联参数处理后得到,访问热度越高,访问热度系数越大,缓存过期时间也就越长。在将不同的数据存入缓存时,根据目标数据的访问热度设置不同的缓存过期时间,访问热度较高的数据,缓存过期时间较长,在缓存中存在的时间较长;访问热度较低的数据,缓存过期时间较短,在缓存中存在的时间较短。由此,可以提高缓存命中率,同时避免了某些数据存入缓存后,长时间未被请求,但仍占据缓存空间的问题,节省了缓存空间,提高了缓存的利用率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中提供的缓存数据管理方法步骤流程示意图;
图2为本申请实施例中提供的根据缓存请求指令获取目标数据的流程示意图;
图3为本申请实施例中提供的目标数据的缓存过期时间到期后,配置新的缓存过期时间的步骤流程示意图;
图4为本申请实施例中提供的缓存数据管理装置结构示意图;
图5为本申请实施例中提供的一种电子设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中提供了一种缓存数据管理方法,该方法应用于应用缓存技术的服务器端和应用缓存技术的客户端。以下该方法的实施例中,以应用缓存技术的服务器端为例进行介绍。
一个实施例中,如图1所示,缓存数据管理方法主要包括以下流程步骤:
步骤101,接收目标数据的缓存请求指令后,获取缓存请求指令的接收时刻对应的、与目标数据访问热度相关的至少一个关联数据的值。
一个实施例中,如图2所示,获取缓存请求指令的接收时刻对应的、与目标数据访问热度相关的至少一个关联数据的值之前,包括以下过程:
步骤201,获取终端传输的对目标数据的缓存请求指令;
步骤202,根据缓存请求指令,判断缓存中是否存在目标数据,若是,执行步骤203,若否,执行步骤204;
步骤203,将缓存中的目标数据返回至终端;
步骤204,从数据中心获取目标数据。
本实施例中,从数据中心获取目标数据之后,将该目标数据保存至缓存中,并将该目标数据返回至终端。将目标数据保存至缓存并返回至终端的过程,在从数据中心获取目标数据之后均可进行,与获取关联参数的过程无固定的前后时间关系。可以在获取关联参数之前将目标数据保存至缓存并返回终端后,再获取关联参数;也可以在获取关联参数之后将目标数据保存至缓存并返回终端;或者在目标数据保存至缓存并返回终端的同时,获取关联参数。本申请的保护范围不以目标数据保存至缓存并返回终端,与获取关联参数的时间前后关系为限制。
一个实施例中,至少一个关联数据的值,指的是缓存请求指令的接收时刻对应的值。根据关联参数的具体类型和实际需要,与截至获取缓存请求指令时刻相对应,可以为截至获取缓存请求指令时刻的统计值,也可以为截至获取缓存请求指令时刻的当前值。
一个实施例中,关联参数包括访问用户量、评价参数、上线时间参数、访问时长和访问频率中的至少一种,也可以根据具体情况和实际需要将其他类型的参数作为关联参数。
本实施例中,访问用户量可以为截至获取缓存请求指令时刻的统计累计数值,也可以为获取缓存请求指令时刻的在线访问人数。评价参数为对目标数据评价相关的参数,例如,点赞数、评分等。上线时间参数可以为目标数据上线的时刻,也可以为目标数据上线时刻至截至获取缓存请求指令时刻的上线时长。访问时长为截至获取缓存请求指令时刻,用户访问目标数据的平均时长。访问频率为截至获取缓存请求指令时刻,用户访问目标数据的频率。其他类型的关联参数可以根据需要定义具体内容。
本实施例中,关联参数的具体类型要根据实际情况和需要进行设定,能够使缓存过期时间的确定更加灵活,以适应多种类型数据的需要,同时使确定的缓存过期时间更加合理,有利于进一步提高缓存利用率。
一个实施例中,关联参数包括正关联参数和负关联参数中的至少一种。其中,正关联参数的值,与缓存过期时间呈正相关关系,即,正关联参数的值越大,获得缓存过期时间就越长。负关联参数的值,与缓存过期时间呈负相关关系,即,负关联参数的值越大,获得的缓存过期时间就越短。
本实施例中,正关联参数可以为多种参数,例如上文中的访问用户量、评价参数、访问时长和访问频率等。访问用户量越大,评价参数越高,访问时长越长,或者访问频率越高,说明该目标数据越受大众欢迎,保存至缓存中后的命中率也可能会越大。因此,这些参数即为正关联参数。
负关联参数页可以为多种参数,例如上文中的上线时间参数。上线时间越长,目标数据的新鲜感越低,大众对该目标数据的兴趣也会越低,相应地,保存至缓存中后的命中率也可能会越小。因此,这类参数即为负关联参数。
本实施例中,通过与缓存过期时间呈正、负相关关系的关联参数,可以更全面的反应大众对目标数据的需求,能够使缓存过期时间更加合理,进一步避免缓存空间的浪费。
步骤102,根据至少一个关联参数的值,获得目标数据的访问热度系数。
一个实施例中,获得目标数据的访问热度的访问热度系数时,通过预设权重值对不同的关联参数对访问热度系数的干预程度进行调整。具体过程如下:获取每个关联参数对应的预设权重值;通过预设权重值,对每个关联参数的值对访问热度系数的干预程度进行调整,以获得目标数据的访问热度系数。
本实施例中,正关联参数对应的预设权重值为正数,正关联参数对应的预设权重值越大,访问热度系数越大。负关联参数对应的预设权重值为负数,负关联参数对应的预设权重值越大,访问热度系数越小。
本实施例中,不同的关联参数对于缓存过期时间的影响是不同的,例如,上线时间参数与评价参数相比,上线时间越长,大众对目标数据的需求越大,即使评价参数相对较大,也会因为上线时间较长导致缓存过期时间较小。为实现不同关联参数的对缓存过期时间的影响程度,通过预设权重值,对不同的关联参数对热度访问系数的干预程度进行调整。因为热度访问系数和缓存过期时间呈正比,进而调整了不同关联参数对缓存过期时间的影响。
一个实施例中,当访问热度相关的关联参数的个数大于1时,通过预设权重值,对每个关联参数的值对访问热度系数的干预程度进行调整,具体过程如下:分别对至少一个关联参数中的每个关联参数进行以下处理:获取关联参数对应配置的预设基准值以及对应配置的预设权重值,将关联参数与预设基准值的比值,与预设权重值相乘后,将所得的结果作为关联参数对应的访问热度贡献值。将至少一个关联参数中,每个关联参数各自所对应的热度贡献值累加,根据累加所得的结果获得目标数据的访问热度系数。
本实施例中,每个关联参数各自对应的热度贡献值累加后,获得热度累加值;将关联参数对应配置的预设权重值累加后,获得权重累计值;将热度累加值和权重累加值的比值作为热度访问系数。
一个实施例中,当访问热度相关的关联参数的个数等于1时,通过预设权重值,对每个关联参数的值对访问热度系数的干预程度进行调整,具体过程如下:获取关联参数对应配置的预设基准值,将关联参数与预设基准值的比值,作为目标数据的访问热度系数。
本实施例中,通过关联参数对应配置的预设基准值和预设权重值,调整每个关联参数对缓存过期时间的影响,得到更符合目标数据热度状态的缓存过期时间,有利于及时清除缓存中数据的同时,提高缓存命中率。
步骤103,根据访问热度系数,获得目标数据的缓存过期时间,其中,缓存过期时间与访问热度系数正相关。
缓存过期时间与访问热度系数正相关具体指的是,访问热度系数越高,缓存过期时间越长;反之,访问热度系数越低,缓存过期时间越短。
一个实施例中,根据访问热度系数,获得目标数据的缓存过期时间,包括:获取预设基准时间;根据预设基准时间和访问热度系数,获得目标数据的缓存过期时间。具体的,首先获取预设基准时间,然后将预设基准时间与访问热度系数相乘,获得目标数据的缓存过期时间。
本实施例中,因为访问热度系数是通过关联参数计算获得的客观数值,当存在某些需求时,例如,当存储空间越来越小时,无法整体调整缓存中数据的缓存过期时间,以释放更多的存储空间。而通过预设基准时间,能够方便的解决该类问题,为缓存过期时间的设置增加灵活性,进一步提高缓存利用率。
一个实施例中,获取预设基准时间的具体过程如下:获取接收时刻对应的、缓存的剩余存储空间;根据剩余存储空间,获取预设基准时间。
本实施例中,预设一个基准时间集合,该集合中存有多个预设基准时间。将缓存的存储空间按照空间余量大小分为多个区间,每个区间对应个预设基准时间。当缓存的剩余存储空间属于某个区间时,则获取对应的预设基准时间。例如,缓存的总存储空间为30兆,按照空间余量大小分为第一区间和第二区间,第一区间为0兆至15兆且包括15兆,第二区间为15兆至30兆且包括30兆。第一区间对应的预设基准时间为3天,第二区间对应的预设基准时间为5天。当接收时刻对应的、缓存的剩余存储空间为12兆时,因为12兆属于第一区间,则获取预设基准时间为3天。
本实施例中,通过缓存的剩余存储空间,获取预设基准时间,能够通过使缓存过期时间的设置,与缓存本身的剩余存储空间相关。当缓存的剩余存储空间越来越小时,能够自动缩短目标数据的缓存过期时间,加快释放更多缓存资源,进一步提高缓存利用率。
步骤104,为保存至缓存的目标数据配置缓存过期时间。
一个实施例中,为保存至缓存的目标数据配置缓存过期时间之后,在超过缓存过期时间后,删除缓存中的目标数据。
本实施例中,为保存至缓存的目标数据配置缓存过期时间之后,目标数据将在缓存中存在缓存过期时间,在超过缓存过期时间后,删除缓存中的目标数据。删除缓存中目标数据的过程,可以通过远程字典服务(Remote Dictionary Server,简称Redis)方式实现,自动清除缓存中的目标数据。
一个实施例中,如图3所示,在超过缓存过期时间后,删除缓存中的目标数据之后,若再次对该目标数据进行请求,则重新计算缓存过期时间,具体过程如下:
步骤301,再次接收目标数据的缓存请求指令后,重新获取再次接收缓存请求指令的接收时刻对应的、与目标数据访问热度相关的至少一个关联数据的值;
步骤302,根据重新获取的至少一个关联数据的值,重新获得目标数据的访问热度系数;
步骤303,根据重新获得的访问热度系数,重新获得目标数据的缓存过期时间,其中,缓存过期时间与访问热度系数正相关;
步骤304,为重新保存至缓存的目标数据配置重新获得的缓存过期时间。
本实施例中,对于同一目标数据,在不同的时间阶段,其访问热度会发生变化。当目标数据的缓存过期时间到期后,若再次接收到对目标数据的缓存请求指令,则重新为目标数据配置新的缓存过期时间,将配置缓存过期时间之后的目标数据保存至缓存。该过程能够保证根据不同时间阶段访问热度,为目标数据赋予不同的缓存过期时间。例如,当某个视频资源上线一个月时,为该视频资源设置较长的缓存过期时间;当该视频资源上线一年时,为该视频资源设置较短的缓存过期时间。该过程进一步保证缓存过期时间贴近实际情况,提高缓存命中率和缓存利用率。
一个实施例中,目标数据为视频数据,关联参数包括访问用户量、评价参数和上线时间参数。其中,访问用户量为在线访问人数,用H表示;评价参数包括点赞数和评分,点赞数用L表示,评分用S表示;上线时间参数为上线时长,具体,上线时长为视频数据上线时刻,到截至获取缓存请求指令时刻的天数,该上线时长用D表示。访问用户量H、点赞数L和评分S属于正关联参数,上线时长D为负关联参数。
对应的,预设基准值包括在线访问人数上限、点赞数上限、评分上限和时长基准值,其中,访问人数上限用Hm表示,点赞数上限用Lm表示,评分上限用Sm表示,时长基准值取作100天。
本实施例中,时长基准值取值的具体原则如下:视频数据的热度会随着时间逐渐降低,基于大量的数据统计和推算后,认定一个季度为一个节点,将一个季度的时长拓展为100天,当上线时长超过100天后,上线时长对缓存过期时间的影响达到最大,所以将时长基准值取值为100天。
本实施例中,当获取的截至获取缓存请求指令时刻的天数小于或等于100时,则将获取的真实天数作为上线时长D;当获取的截至获取缓存请求指令时刻的天数大于100时,则将100天作为上线时长D。由此,可将上线时长对于缓存过期时间的影响更加真实地进行反映。
本实施例中,与关联参数对应配置的预设权重值包括在线访问人数权重值、点赞数权重值、评分权重值和时长权重值,其中,在线访问人数权重值用x表示,点赞数权重值用y表示,评分权重值用z表示,时长权重值用k表示。其中,在线访问人数权重值x、点赞数权重值y和评分权重值z为正数,时长权重值k为负数。预设权重值根据实际情况和需要进行设定,本申请的保护范围不以预设权重值的具体确定方式为限制。
本实施例中,对于视频数据管理的过程如下:
获取终端传输的对视频数据的缓存请求指令。根据缓存请求指令,确定缓存中不存在该视频数据后,从数据中心获取视频数据,其中,从数据中心获取视频数据后,将视频数据保存至缓存,并将视频数据返回至终端。
获取与该视频数据访问热度相关的、截至获取缓存请求指令时刻对应的关联参数的值,包括,在线访问人数H、点赞数L、评分S和上线时长D。获取关联参数对应配置的预设基准值,包括,访问人数上限Hm、点赞数上限Lm、评分上限Sm和时长基准值100。获取关联参数对应配置的预设权重值,包括,在线访问人数权重值x、点赞数权重值y、评分权重值z和时长权重值k。
获得访问热度系数的具体计算关系如下:
获取预设基准时间,预设基准时间用Tm表示。将预设基准时间与访问热度系数相乘,获得视频数据的缓存过期时间,具体计算公式如下:
缓存过期时间=Tm*热度访问系数
为保存至缓存的视频数据配置过期缓存时间,在超过缓存过期时间后,删除缓存中的视频数据。
本申请实施例中提供的缓存数据管理方法,以应用于应用缓存技术的服务器端进行介绍的,相应的处理过程均是在服务器端完成。当缓存数据管理方法应用于应用缓存技术的客户端时,从数据中心获取需要的数据时,通过服务器端的接口完成,该方法的相应处理过程均在客户端完成,其他过程与在服务器端的过程雷同,此处不再赘述。
本申请提供的该缓存数据管理方法,根据目标数据的访问热度为目标数据配置对应的缓存过期时间,访问热度由将与访问热度相关的关联参数处理后,获得的访问热度系数来表征,访问热度越高,访问热度系数越大,缓存过期时间也就越长。不同的数据在缓存根据访问热度设置不同的缓存过期时间,访问热度较高的数据,缓存过期时间较长,在缓存中存在的时间较长;访问热度较低的数据,缓存过期时间较短,在缓存中存在的时间较短。可以提高缓存命中率,同时避免了某些数据存入缓存后,长时间未被请求,但仍占据缓存空间的问题,节省了缓存空间,提高了缓存的利用率。
例如,访问热度较高的第一组数据对应的缓存过期时间设置为15天,访问热度较低的第二组数据对应的缓存过期时间设置为3天。由于第二组数据的访问热度较低,被请求的可能性较小,缓存中短暂存储3天后,即自动删除缓存中的第二组数据,避免第二组数据长期存在于缓存中,但并不会被请求的现象,提高缓存利用率,节省缓存存储空间。而第一组数据访问热度高,被请求的可能性更大,在缓存中存储的时间较长,被请求时,能够在缓存中被命中,进一步提高了缓存命中率。
基于同一构思,本申请实施例中提供了一种缓存数据管理装置,该装置的具体实施可参见方法实施例部分的描述,重复之处不再赘述,如图4所示,该装置主要包括:
获取模块401,用于接收目标数据的缓存请求指令后,获取所述缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;
第一处理模块402,用于根据至少一个关联参数的值,获得目标数据的访问热度系数;
第二处理模块403,用于根据访问热度系数,获得目标数据的缓存过期时间,其中,缓存过期时间与访问热度系数正相关;
配置模块404,用于为保存至缓存的目标数据配置缓存过期时间。
基于同一构思,本申请实施例中还提供了一种电子设备,如图5所示,该电子设备主要包括:处理器501、通信接口502、存储器503和通信总线504,其中,处理器501、通信接口502和存储器503通过通信总线504完成相互间的通信。其中,存储器503中存储有可被至处理器501执行的程序,处理器501执行存储器503中存储的程序,实现如下步骤:接收目标数据的缓存请求指令后,获取所述缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;根据至少一个关联参数的值,获得目标数据的访问热度系数;根据访问热度系数,获得目标数据的缓存过期时间,其中,缓存过期时间与访问热度系数正相关;为保存至缓存的目标数据配置缓存过期时间。
上述电子设备中提到的通信总线504可以是外设部件互连标准(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,简称EISA)总线等。该通信总线504可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口502用于上述电子设备与其他设备之间的通信。
存储器503可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器501的存储装置。
上述的处理器501可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等,还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当该计算机程序在计算机上运行时,使得计算机执行上述实施例中所描述的缓存数据管理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以时通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种缓存数据管理方法,其特征在于,包括:
接收目标数据的缓存请求指令后,获取所述缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;
根据所述至少一个关联参数的值,获得所述目标数据的访问热度系数;
根据所述访问热度系数,获得所述目标数据的缓存过期时间,包括:获取所述接收时刻对应的、所述缓存的剩余存储空间,根据所述剩余存储空间,获取预设基准时间;根据所述预设基准时间和所述访问热度系数,获得所述目标数据的所述缓存过期时间,其中,所述缓存过期时间与所述访问热度系数正相关;
为保存至缓存的所述目标数据配置所述缓存过期时间。
2.根据权利要求1所述的缓存数据管理方法,其特征在于,所述关联参数,包括正关联参数和负关联参数中的至少一种;
所述正关联参数的值,与所述缓存过期时间呈正相关关系;
所述负关联参数的值,与所述缓存过期时间呈负相关关系。
3.根据权利要求1所述的缓存数据管理方法,其特征在于,所述根据所述至少一个关联参数的值,获得所述目标数据的访问热度系数,包括:
获取每个所述关联参数对应的预设权重值;
通过所述预设权重值,对每个所述关联参数的值对所述访问热度系数的干预程度进行调整,以获得所述目标数据的所述访问热度系数。
4.根据权利要求1所述的缓存数据管理方法,其特征在于,所述为保存至缓存的所述目标数据配置所述缓存过期时间之后,还包括:
在超过所述缓存过期时间后,删除所述缓存中的所述目标数据。
5.根据权利要求4所述的缓存数据管理方法,其特征在于,所述在超过所述缓存过期时间后,删除所述缓存中的所述目标数据之后,还包括:
再次接收所述目标数据的缓存请求指令后,重新获取再次接收缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;
根据重新获取的所述至少一个关联数据的值,重新获得所述目标数据的访问热度系数;
根据重新获得的所述访问热度系数,重新获得所述目标数据的缓存过期时间,其中,所述缓存过期时间与所述访问热度系数正相关;
为重新保存至缓存的所述目标数据配置重新获得的所述缓存过期时间。
6.根据权利要求1所述的缓存数据管理方法,其特征在于,所述关联参数包括访问用户量、评价参数、上线时间参数、访问时长和访问频率中的至少一种。
7.一种缓存数据管理装置,其特征在于,包括:
获取模块,用于接收目标数据的缓存请求指令后,获取所述缓存请求指令的接收时刻对应的、与所述目标数据访问热度相关的至少一个关联数据的值;
第一处理模块,用于根据所述至少一个关联参数的值,获得所述目标数据的访问热度系数;
第二处理模块,用于根据所述访问热度系数,获得所述目标数据的缓存过期时间,包括:获取所述接收时刻对应的、所述缓存的剩余存储空间,根据所述剩余存储空间,获取预设基准时间;根据所述预设基准时间和所述访问热度系数,获得所述目标数据的所述缓存过期时间,其中,所述缓存过期时间与所述访问热度系数正相关;
配置模块,用于为保存至缓存的所述目标数据配置所述缓存过期时间。
8.一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述存储器中所存储的程序,实现权利要求1至6中任一项所述的缓存数据管理方法。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的缓存数据管理方法。
CN202011559314.7A 2020-12-25 2020-12-25 缓存数据管理方法、装置、设备及存储介质 Active CN112631963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011559314.7A CN112631963B (zh) 2020-12-25 2020-12-25 缓存数据管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011559314.7A CN112631963B (zh) 2020-12-25 2020-12-25 缓存数据管理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112631963A CN112631963A (zh) 2021-04-09
CN112631963B true CN112631963B (zh) 2023-09-01

Family

ID=75325435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011559314.7A Active CN112631963B (zh) 2020-12-25 2020-12-25 缓存数据管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112631963B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849131A (zh) * 2021-09-28 2021-12-28 咪咕文化科技有限公司 一种数据存储方法、装置、计算设备和存储介质
CN114327672B (zh) * 2021-12-14 2024-04-05 中国平安财产保险股份有限公司 数据缓存时间设置方法、装置、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187394A (ja) * 2008-02-07 2009-08-20 Nec Corp 関連する情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
US9892045B1 (en) * 2015-01-30 2018-02-13 EMC IP Holding Company LLC Methods to select segments of an evicted cache unit for reinsertion into the cache
CN110471939A (zh) * 2019-07-11 2019-11-19 平安普惠企业管理有限公司 数据访问方法、装置、计算机设备及存储介质
KR102062657B1 (ko) * 2018-07-24 2020-01-06 경희대학교 산학협력단 가상 이동통신망 사업자를 위한 지능형 캐시 관리 방법 및 네트워크 시스템
CN110727892A (zh) * 2019-09-24 2020-01-24 北京奇艺世纪科技有限公司 缓存数据更新方法、装置及电子设备
CN111131856A (zh) * 2019-12-31 2020-05-08 北京奇艺世纪科技有限公司 一种缓存过期时间调整方法、装置、电子设备及存储介质
CN111858403A (zh) * 2020-07-17 2020-10-30 苏州浪潮智能科技有限公司 基于概率对访问频率计数的缓存数据热度管理方法及系统
CN111858405A (zh) * 2020-07-10 2020-10-30 苏州浪潮智能科技有限公司 一种分布式存储的数据缓存方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361032B2 (en) * 2014-05-14 2016-06-07 International Business Machines Corporation Management of server cache storage space
US10223286B2 (en) * 2014-08-05 2019-03-05 International Business Machines Corporation Balanced cache for recently frequently used data
US10530888B2 (en) * 2016-06-01 2020-01-07 Home Box Office, Inc. Cached data expiration and refresh

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187394A (ja) * 2008-02-07 2009-08-20 Nec Corp 関連する情報を事前にキャッシュする予測型キャッシュ方法、そのシステム及びそのプログラム
US9892045B1 (en) * 2015-01-30 2018-02-13 EMC IP Holding Company LLC Methods to select segments of an evicted cache unit for reinsertion into the cache
KR102062657B1 (ko) * 2018-07-24 2020-01-06 경희대학교 산학협력단 가상 이동통신망 사업자를 위한 지능형 캐시 관리 방법 및 네트워크 시스템
CN110471939A (zh) * 2019-07-11 2019-11-19 平安普惠企业管理有限公司 数据访问方法、装置、计算机设备及存储介质
CN110727892A (zh) * 2019-09-24 2020-01-24 北京奇艺世纪科技有限公司 缓存数据更新方法、装置及电子设备
CN111131856A (zh) * 2019-12-31 2020-05-08 北京奇艺世纪科技有限公司 一种缓存过期时间调整方法、装置、电子设备及存储介质
CN111858405A (zh) * 2020-07-10 2020-10-30 苏州浪潮智能科技有限公司 一种分布式存储的数据缓存方法和装置
CN111858403A (zh) * 2020-07-17 2020-10-30 苏州浪潮智能科技有限公司 基于概率对访问频率计数的缓存数据热度管理方法及系统

Also Published As

Publication number Publication date
CN112631963A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN108495195B (zh) 一种网络直播排行榜生成方法、装置、设备及存储介质
CN112631963B (zh) 缓存数据管理方法、装置、设备及存储介质
CN111131856B (zh) 一种缓存过期时间调整方法、装置、电子设备及存储介质
CN109299144B (zh) 一种数据处理方法、装置、系统及应用服务器
CN108647240B (zh) 一种统计访问量的方法、装置、电子设备及存储介质
CN107301215B (zh) 一种搜索结果缓存方法及装置、搜索方法及装置
CN109190070B (zh) 一种数据处理方法、装置、系统及应用服务器
CN106464669B (zh) 基于访问模式的智能文件预取
CN108418743B (zh) 一种聊天室消息分发方法、装置及电子设备
CN110209502B (zh) 一种信息存储方法、装置、电子设备及存储介质
CN110830565B (zh) 资源下载方法、装置、系统、电子设备及存储介质
CN111782692B (zh) 一种频率控制方法及装置
CN111049756A (zh) 请求响应方法、装置、电子设备及计算机可读存储介质
CN108156257B (zh) 一种信息推送方法及装置
CN112383485B (zh) 一种网络拥塞控制方法及装置
CN111010303A (zh) 一种服务器控制方法及装置
CN114676074A (zh) 一种访问请求处理方法、装置、电子设备及存储介质
CN111597259B (zh) 数据存储系统、方法、装置、电子设备及存储介质
CN114528231A (zh) 一种数据动态存储方法、装置、电子设备及存储介质
CN112579652A (zh) 缓存数据的删除方法、装置、电子设备及存储介质
CN111124952B (zh) 一种数据管理方法、装置、电子设备及可读存储介质
CN113656178B (zh) 数据处理方法、装置、设备及可读存储介质
CN107239542A (zh) 一种数据统计方法、装置、服务器及存储介质
US20190109851A1 (en) Highly scalable fine grained rate limiting
CN109788326B (zh) 一种视频资源预推送方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant