CN116028389A - 热点数据缓存方法、装置、设备及介质 - Google Patents

热点数据缓存方法、装置、设备及介质 Download PDF

Info

Publication number
CN116028389A
CN116028389A CN202310089177.2A CN202310089177A CN116028389A CN 116028389 A CN116028389 A CN 116028389A CN 202310089177 A CN202310089177 A CN 202310089177A CN 116028389 A CN116028389 A CN 116028389A
Authority
CN
China
Prior art keywords
queue
data
hot spot
writing
elimination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310089177.2A
Other languages
English (en)
Inventor
李恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Original Assignee
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd filed Critical Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority to CN202310089177.2A priority Critical patent/CN116028389A/zh
Publication of CN116028389A publication Critical patent/CN116028389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请涉及大数据的数据处理技术,提供了热点数据缓存方法、装置、设备及介质,其方法包括:当有新增的热点访问数据时写入第一队列;当第一队列写满时,基于LRU机制从第一队列中获取数据写入第二队列;将第二队列中被访问的数据写入第三队列;当第三队列写满时,基于LRU机制从第三队列中获取数据写入第二队列;当内存达到数据淘汰条件时,基于预设淘汰机制从第二队列中选择数据进行淘汰。本申请通过在内存中构建的第一队列、第二队列及第三队列进行热点访问数据的缓存,当存在瞬时大量请求时,由于数据被写入第三队列进行保护,不会将最常用的缓存冲掉,避免高频缓存失效,同时避免新写入的热点数据早早地被淘汰掉,提高了缓存命中率。

Description

热点数据缓存方法、装置、设备及介质
技术领域
本申请涉及大数据的数据处理技术领域,尤其涉及一种热点数据缓存方法、装置、设备及介质。
背景技术
针对业务系统并发量高、数据量大的热点数据访问等场景,通常需要缓存以提高访问速度,但是缓存都是存在于内存里的,成本高、空间小,缓存的数据不能太多,因此,如何提高缓存命中率成为了亟待解决的问题。
现有技术中,通常采用一个队列进行缓存,如采用基于LRU(Least recentlyused,最近最少使用)的队列,或者采用基于LFU(Least Frequently Used,不经常使用)的队列。但是,采用单一队列进行缓存的方式也存在一定问题。
具体而言,当采用基于LRU的队列进行缓存时,在突然大量访问的情况下会将热点数据冲掉,降低缓存命中率;当采用基于LFU的队列进行缓存时,在存量大量访问的情况下,会导致新的热点数据无法缓存起来,同样降低了缓存命中率。
发明内容
本申请实施例提供了一种热点数据缓存方法、装置、计算机设备及存储介质,旨在解决缓存命中率低的问题。
第一方面,本申请实施例提供了一种热点数据缓存方法,其包括:
在内存中构建第一队列、第二队列及第三队列;
当检测到有新增的热点访问数据时,将所述热点访问数据写入所述第一队列;
当所述第一队列写满时,基于LRU机制从所述第一队列中获取数据写入所述第二队列;
当所述第二队列中有数据被访问时,将被访问的数据写入所述第三队列;
当所述第三队列写满时,基于所述LRU机制从所述第三队列中获取数据写入所述第二队列;
当检测到所述内存达到数据淘汰条件时,基于预设淘汰机制从所述第二队列中选择数据进行淘汰。
第二方面,本申请实施例提供了一种热点数据缓存装置,其包括:
构建单元,用于在内存中构建第一队列、第二队列及第三队列;
写入单元,用于当检测到有新增的热点访问数据时,将所述热点访问数据写入所述第一队列;
所述写入单元,还用于当所述第一队列写满时,基于LRU机制从所述第一队列中获取数据写入所述第二队列;
所述写入单元,还用于当所述第二队列中有数据被访问时,将被访问的数据写入所述第三队列;
所述写入单元,还用于当所述第三队列写满时,基于所述LRU机制从所述第三队列中获取数据写入所述第二队列;
淘汰单元,用于当检测到所述内存达到数据淘汰条件时,基于预设淘汰机制从所述第二队列中选择数据进行淘汰。
第三方面,本申请实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的热点数据缓存方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的热点数据缓存方法。
本申请实施例提供了一种热点数据缓存方法、装置、设备及介质,通过在内存中构建的第一队列、第二队列及第三队列进行热点访问数据的缓存,当存在瞬时大量请求时,由于数据被写入第三队列进行保护,不会将最常用的缓存冲掉,避免高频缓存失效,同时避免新写入的热点数据早早地被淘汰掉,提高了缓存命中率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的热点数据缓存方法的应用场景示意图;
图2为本申请实施例提供的热点数据缓存方法的流程示意图;
图3为本申请实施例提供的热点数据缓存装置的示意性框图;
图4为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本申请实施例提供的热点数据缓存方法的应用场景示意图;图2为本申请实施例提供的热点数据缓存方法的流程示意图,该热点数据缓存方法应用于服务器中,该方法通过安装于服务器中的应用软件进行执行。
如图2所示,该方法包括步骤S101~S106。
S101、在内存中构建第一队列、第二队列及第三队列。
在本实施例中,所述第一队列、所述第二队列及所述第三队列均为基于LRU(Leastrecently used,最近最少使用)机制的队列。
具体地,所述基于LRU机制的队列是指当一个新条目被访问时,LRU将该条目放置到缓存的顶部。当缓存达到极限时,较早之前访问的条目将从缓存底部开始被移除。
在本实施例中,所述在内存中构建第一队列、第二队列及第三队列后,所述方法还包括:
获取预先配置的访问频率阈值,当在所述第一队列、所述第二队列及所述第三队列中检测到任意队列中有数据的访问频率达到所述访问频率阈值时,将所述任意队列中所有数据的访问频率除以预设值;及/或
在经过预设时长后,将所述第一队列、所述第二队列及所述第三队列中的所有数据的访问频率除以所述预设值。
其中,所述访问频率阈值可以进行自定义配置,如15次、20次等。
其中,所述预设值也可以进行自定义配置,如2、3等。
其中,所述预设时长可以根据实际使用场景进行配置。
在上述实施例中,对于任意队列,当检测到访问频率达到上限,或者时间达到上限时,等比例降低队列中每个数据的访问频率,进而对历史高频缓存自动进行访问频率的衰减,提高了缓存的时效性,进而避免历史热点数据由于访问频率值较高而一直淘汰不掉,提高缓存利用率。
S102、当检测到有新增的热点访问数据时,将所述热点访问数据写入所述第一队列。
在本实施例中,所述将所述热点访问数据写入所述第一队列,包括:
对所述热点访问数据对应的key值进行预设次数的哈希运算;
将每次哈希运算后得到的运算结果分别随机写入一维long型数组;
将所述一维long型数组写入所述第一队列;
其中,所述一维long型数组包括预设份数据,每份数据包括预设位字符。
其中,所述预设次数、所述预设份、所述预设位都可以进行自定义配置,例如:所述预设次数可以为4次,所述预设份可以为16份,所述预设位可以为4bit。具体地,在将所述热点访问数据写入所述第一队列时,对所述热点访问数据的key值进行4次哈希函数运算后写入一维long型数组,每个long型数组切分成16份,每份4bit,这样,每个key值实际hash了四次,并分别落在不同long型数组16份中的某个位置上。
在上述实施例中,采用一维long型数组能够有效节省数据占用空间。
S103、当所述第一队列写满时,基于LRU机制从所述第一队列中获取数据写入所述第二队列。
在本实施例中,所述基于LRU机制从所述第一队列中获取数据写入所述第二队列,包括:
按照写入时间由早到晚的顺序从所述第一队列中依次获取数据写入所述第二队列,直至所述第一队列的剩余使用空间达到预设剩余容量。
其中,所述预设剩余容量可以根据实际需求进行自定义配置。
S104、当所述第二队列中有数据被访问时,将被访问的数据写入所述第三队列。
通过上述实施例,相当于数据进行保护,避免热点数据被误淘汰。
S105、当所述第三队列写满时,基于所述LRU机制从所述第三队列中获取数据写入所述第二队列。
具体地,所述基于所述LRU机制从所述第三队列中获取数据写入所述第二队列的方式与前文基于LRU机制从所述第一队列中获取数据写入所述第二队列的方式类似,在此不赘述。
S106、当检测到所述内存达到数据淘汰条件时,基于预设淘汰机制从所述第二队列中选择数据进行淘汰。
在本实施例中,所述检测到所述内存达到数据淘汰条件,包括:
当检测到所述第一队列、所述第二队列及所述第三队列都写满时,确定所述内存达到所述数据淘汰条件。
在本实施例中,所述基于预设淘汰机制从所述第二队列中选择数据进行淘汰,包括:
获取所述第二队列中的队首数据及队尾数据;
获取所述队首数据在所述一维long型数组中对应的所有运算结果中的最小值,并作为所述队首数据的访问频率;
获取所述队尾数据在所述一维long型数组中对应的所有运算结果中的最小值,并作为所述队尾数据的访问频率;
比较所述队首数据的访问频率与所述队尾数据的访问频率;
当所述队首数据的访问频率小于或者等于所述队尾数据的访问频率时,淘汰所述队首数据;或者
当所述队首数据的访问频率大于所述队尾数据的访问频率时,淘汰所述队尾数据。
通过上述淘汰机制,能够在内存被写满时更加合理的对数据进行淘汰,解决了单一采用LRU机制时在突然大量访问的情况下热点数据被冲掉的问题,以及单一采用LFU(Least Frequently Used,不经常使用)机制时,在存量大量访问的情况下新的热点数据无法缓存起来的问题。
由以上技术方案可以看出,通过在内存中构建的第一队列、第二队列及第三队列进行热点访问数据的缓存,当存在瞬时大量请求时,由于数据被写入第三队列进行保护,不会将最常用的缓存冲掉,避免高频缓存失效,同时避免新写入的热点数据早早地被淘汰掉,提高了缓存命中率。
本申请实施例还提供一种热点数据缓存装置,该热点数据缓存装置用于执行前述热点数据缓存方法的任一实施例。具体地,请参阅图3,图3是本申请实施例提供的热点数据缓存装置100的示意性框图。
其中,如图3所示,热点数据缓存装置100包括构建单元101、写入单元102、淘汰单元103。
其中,所述构建单元101,用于在内存中构建第一队列、第二队列及第三队列。
在本实施例中,所述第一队列、所述第二队列及所述第三队列均为基于LRU(Leastrecently used,最近最少使用)机制的队列。
具体地,所述基于LRU机制的队列是指当一个新条目被访问时,LRU将该条目放置到缓存的顶部。当缓存达到极限时,较早之前访问的条目将从缓存底部开始被移除。
在本实施例中,所述构建单元101在内存中构建第一队列、第二队列及第三队列后,获取预先配置的访问频率阈值,当在所述第一队列、所述第二队列及所述第三队列中检测到任意队列中有数据的访问频率达到所述访问频率阈值时,将所述任意队列中所有数据的访问频率除以预设值;及/或
在经过预设时长后,将所述第一队列、所述第二队列及所述第三队列中的所有数据的访问频率除以所述预设值。
其中,所述访问频率阈值可以进行自定义配置,如15次、20次等。
其中,所述预设值也可以进行自定义配置,如2、3等。
其中,所述预设时长可以根据实际使用场景进行配置。
在上述实施例中,对于任意队列,当检测到访问频率达到上限,或者时间达到上限时,等比例降低队列中每个数据的访问频率,进而对历史高频缓存自动进行访问频率的衰减,提高了缓存的时效性,进而避免历史热点数据由于访问频率值较高而一直淘汰不掉,提高缓存利用率。
所述写入单元102,用于当检测到有新增的热点访问数据时,将所述热点访问数据写入所述第一队列。
在本实施例中,所述写入单元102将所述热点访问数据写入所述第一队列,包括:
对所述热点访问数据对应的key值进行预设次数的哈希运算;
将每次哈希运算后得到的运算结果分别随机写入一维long型数组;
将所述一维long型数组写入所述第一队列;
其中,所述一维long型数组包括预设份数据,每份数据包括预设位字符。
其中,所述预设次数、所述预设份、所述预设位都可以进行自定义配置,例如:所述预设次数可以为4次,所述预设份可以为16份,所述预设位可以为4bit。具体地,在将所述热点访问数据写入所述第一队列时,对所述热点访问数据的key值进行4次哈希函数运算后写入一维long型数组,每个long型数组切分成16份,每份4bit,这样,每个key值实际hash了四次,并分别落在不同long型数组16份中的某个位置上。
在上述实施例中,采用一维long型数组能够有效节省数据占用空间。
所述写入单元102,还用于当所述第一队列写满时,基于LRU机制从所述第一队列中获取数据写入所述第二队列。
在本实施例中,所述写入单元102基于LRU机制从所述第一队列中获取数据写入所述第二队列,包括:
按照写入时间由早到晚的顺序从所述第一队列中依次获取数据写入所述第二队列,直至所述第一队列的剩余使用空间达到预设剩余容量。
其中,所述预设剩余容量可以根据实际需求进行自定义配置。
所述写入单元102,还用于当所述第二队列中有数据被访问时,将被访问的数据写入所述第三队列。
通过上述实施例,相当于数据进行保护,避免热点数据被误淘汰。
所述写入单元102,还用于当所述第三队列写满时,基于所述LRU机制从所述第三队列中获取数据写入所述第二队列。
具体地,所述基于所述LRU机制从所述第三队列中获取数据写入所述第二队列的方式与前文基于LRU机制从所述第一队列中获取数据写入所述第二队列的方式类似,在此不赘述。
所述淘汰单元103,用于当检测到所述内存达到数据淘汰条件时,基于预设淘汰机制从所述第二队列中选择数据进行淘汰。
在本实施例中,所述检测到所述内存达到数据淘汰条件,包括:
当检测到所述第一队列、所述第二队列及所述第三队列都写满时,确定所述内存达到所述数据淘汰条件。
在本实施例中,所述淘汰单元103基于预设淘汰机制从所述第二队列中选择数据进行淘汰,包括:
获取所述第二队列中的队首数据及队尾数据;
获取所述队首数据在所述一维long型数组中对应的所有运算结果中的最小值,并作为所述队首数据的访问频率;
获取所述队尾数据在所述一维long型数组中对应的所有运算结果中的最小值,并作为所述队尾数据的访问频率;
比较所述队首数据的访问频率与所述队尾数据的访问频率;
当所述队首数据的访问频率小于或者等于所述队尾数据的访问频率时,淘汰所述队首数据;或者
当所述队首数据的访问频率大于所述队尾数据的访问频率时,淘汰所述队尾数据。
通过上述淘汰机制,能够在内存被写满时更加合理的对数据进行淘汰,解决了单一采用LRU机制时在突然大量访问的情况下热点数据被冲掉的问题,以及单一采用LFU(Least Frequently Used,不经常使用)机制时,在存量大量访问的情况下新的热点数据无法缓存起来的问题。
由以上技术方案可以看出,通过在内存中构建的第一队列、第二队列及第三队列进行热点访问数据的缓存,当存在瞬时大量请求时,由于数据被写入第三队列进行保护,不会将最常用的缓存冲掉,避免高频缓存失效,同时避免新写入的热点数据早早地被淘汰掉,提高了缓存命中率。
上述热点数据缓存装置可以实现为计算机程序的形式,该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4,图4是本申请实施例提供的计算机设备的示意性框图。该计算机设备400是服务器,也可以是服务器集群。服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图4,该计算机设备400包括通过装置总线401连接的处理器402、存储器和网络接口405,其中,存储器可以包括存储介质403和内存储器404。
该存储介质403可存储操作系统4031和计算机程序4032。该计算机程序4032被执行时,可使得处理器402执行热点数据缓存方法。
该处理器402用于提供计算和控制能力,支撑整个计算机设备400的运行。
该内存储器404为存储介质403中的计算机程序4032的运行提供环境,该计算机程序4032被处理器402执行时,可使得处理器402执行热点数据缓存方法。
该网络接口405用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备400的限定,具体的计算机设备400可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器402用于运行存储在存储器中的计算机程序4032,以实现本申请实施例公开的热点数据缓存方法。
本领域技术人员可以理解,图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图4所示实施例一致,在此不再赘述。
应当理解,在本申请实施例中,处理器402可以是中央处理单元(CentralProcessing Unit,CPU),该处理器402还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质,也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现本申请实施例公开的热点数据缓存方法。
需要说明的是,本案中所涉及到的数据均为合法取得。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,后台服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种热点数据缓存方法,其特征在于,包括:
在内存中构建第一队列、第二队列及第三队列;
当检测到有新增的热点访问数据时,将所述热点访问数据写入所述第一队列;
当所述第一队列写满时,基于LRU机制从所述第一队列中获取数据写入所述第二队列;
当所述第二队列中有数据被访问时,将被访问的数据写入所述第三队列;
当所述第三队列写满时,基于所述LRU机制从所述第三队列中获取数据写入所述第二队列;
当检测到所述内存达到数据淘汰条件时,基于预设淘汰机制从所述第二队列中选择数据进行淘汰。
2.根据权利要求1所述的热点数据缓存方法,其特征在于:
所述第一队列、所述第二队列及所述第三队列均为基于所述LRU机制的队列。
3.根据权利要求1所述的热点数据缓存方法,其特征在于,所述将所述热点访问数据写入所述第一队列,包括:
对所述热点访问数据对应的key值进行预设次数的哈希运算;
将每次哈希运算后得到的运算结果分别随机写入一维long型数组;
将所述一维long型数组写入所述第一队列;
其中,所述一维long型数组包括预设份数据,每份数据包括预设位字符。
4.根据权利要求1所述的热点数据缓存方法,其特征在于,所述在内存中构建第一队列、第二队列及第三队列后,所述方法还包括:
获取预先配置的访问频率阈值,当在所述第一队列、所述第二队列及所述第三队列中检测到任意队列中有数据的访问频率达到所述访问频率阈值时,将所述任意队列中所有数据的访问频率除以预设值;及/或
在经过预设时长后,将所述第一队列、所述第二队列及所述第三队列中的所有数据的访问频率除以所述预设值。
5.根据权利要求1所述的热点数据缓存方法,其特征在于,所述基于LRU机制从所述第一队列中获取数据写入所述第二队列,包括:
按照写入时间由早到晚的顺序从所述第一队列中依次获取数据写入所述第二队列,直至所述第一队列的剩余使用空间达到预设剩余容量。
6.根据权利要求1所述的热点数据缓存方法,其特征在于,所述检测到所述内存达到数据淘汰条件,包括:
当检测到所述第一队列、所述第二队列及所述第三队列都写满时,确定所述内存达到所述数据淘汰条件。
7.根据权利要求3所述的热点数据缓存方法,其特征在于,所述基于预设淘汰机制从所述第二队列中选择数据进行淘汰,包括:
获取所述第二队列中的队首数据及队尾数据;
获取所述队首数据在所述一维long型数组中对应的所有运算结果中的最小值,并作为所述队首数据的访问频率;
获取所述队尾数据在所述一维long型数组中对应的所有运算结果中的最小值,并作为所述队尾数据的访问频率;
比较所述队首数据的访问频率与所述队尾数据的访问频率;
当所述队首数据的访问频率小于或者等于所述队尾数据的访问频率时,淘汰所述队首数据;或者
当所述队首数据的访问频率大于所述队尾数据的访问频率时,淘汰所述队尾数据。
8.一种热点数据缓存装置,其特征在于,包括:
构建单元,用于在内存中构建第一队列、第二队列及第三队列;
写入单元,用于当检测到有新增的热点访问数据时,将所述热点访问数据写入所述第一队列;
所述写入单元,还用于当所述第一队列写满时,基于LRU机制从所述第一队列中获取数据写入所述第二队列;
所述写入单元,还用于当所述第二队列中有数据被访问时,将被访问的数据写入所述第三队列;
所述写入单元,还用于当所述第三队列写满时,基于所述LRU机制从所述第三队列中获取数据写入所述第二队列;
淘汰单元,用于当检测到所述内存达到数据淘汰条件时,基于预设淘汰机制从所述第二队列中选择数据进行淘汰。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的热点数据缓存方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的热点数据缓存方法。
CN202310089177.2A 2023-01-18 2023-01-18 热点数据缓存方法、装置、设备及介质 Pending CN116028389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310089177.2A CN116028389A (zh) 2023-01-18 2023-01-18 热点数据缓存方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310089177.2A CN116028389A (zh) 2023-01-18 2023-01-18 热点数据缓存方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN116028389A true CN116028389A (zh) 2023-04-28

Family

ID=86072299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310089177.2A Pending CN116028389A (zh) 2023-01-18 2023-01-18 热点数据缓存方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116028389A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117149836A (zh) * 2023-10-27 2023-12-01 联通在线信息科技有限公司 一种缓存处理方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117149836A (zh) * 2023-10-27 2023-12-01 联通在线信息科技有限公司 一种缓存处理方法和装置
CN117149836B (zh) * 2023-10-27 2024-02-27 联通在线信息科技有限公司 一种缓存处理方法和装置

Similar Documents

Publication Publication Date Title
US8972662B2 (en) Dynamically adjusted threshold for population of secondary cache
US6745295B2 (en) Designing a cache with adaptive reconfiguration
US8868863B2 (en) Method and apparatus for a frugal cloud file system
CN106547476B (zh) 用于数据存储系统的方法和装置
US20170004093A1 (en) System and Method for Cache Monitoring in Storage Systems
US8443141B2 (en) Intelligent write caching for sequential tracks
CN112347134B (zh) Redis缓存管理的方法、装置、计算机设备及存储介质
CN111309650B (zh) 缓存控制方法、装置、存储介质及设备
US11093410B2 (en) Cache management method, storage system and computer program product
US11809330B2 (en) Information processing apparatus and method
CN110688062B (zh) 一种缓存空间的管理方法及装置
EP3059680A1 (en) Application-layer managed memory cache
EP3115904B1 (en) Method for managing a distributed cache
US9535843B2 (en) Managed memory cache with application-layer prefetching
CN111930740A (zh) 一种游戏数据的处理方法、装置、服务器及存储介质
CN116028389A (zh) 热点数据缓存方法、装置、设备及介质
EP3588913B1 (en) Data caching method, apparatus and computer readable medium
CN106164874B (zh) 多核系统中数据访问者目录的访问方法及设备
CN112379841A (zh) 数据处理方法、装置和电子设备
CN108989373B (zh) 访问数据的方法和装置
WO2022152086A1 (zh) 数据缓存方法、装置、设备及计算机可读存储介质
US11899642B2 (en) System and method using hash table with a set of frequently-accessed buckets and a set of less frequently-accessed buckets
CN114296635A (zh) 缓存数据的缓存淘汰方法、装置、终端及存储介质
CN113791989A (zh) 基于cache的缓存数据处理方法、存储介质及芯片
EP4261712A1 (en) Data elimination method and apparatus, cache node, and cache system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination