CN115993942B - 数据缓存方法、装置、电子设备和计算机可读介质 - Google Patents

数据缓存方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN115993942B
CN115993942B CN202310287702.1A CN202310287702A CN115993942B CN 115993942 B CN115993942 B CN 115993942B CN 202310287702 A CN202310287702 A CN 202310287702A CN 115993942 B CN115993942 B CN 115993942B
Authority
CN
China
Prior art keywords
data
determining
candidate
request
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310287702.1A
Other languages
English (en)
Other versions
CN115993942A (zh
Inventor
芦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Flywheel Data Technology Co ltd
Original Assignee
Beijing Flywheel Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Flywheel Data Technology Co ltd filed Critical Beijing Flywheel Data Technology Co ltd
Priority to CN202310287702.1A priority Critical patent/CN115993942B/zh
Publication of CN115993942A publication Critical patent/CN115993942A/zh
Application granted granted Critical
Publication of CN115993942B publication Critical patent/CN115993942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例公开了数据缓存方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:确定在目标时间段内接收到的、针对目标数据的数据请求集合;响应于确定数据请求集合中的数据请求的数量大于预设请求阈值,对于数据请求集合中的每个数据请求,执行以下处理步骤:确定数据请求对应的缓存节点数量;确定数据请求对应的路由地址集合;将数据请求转发至路由地址集合对应的缓存节点集合;响应于转发成功,将数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。该实施方式针对存储有部分数据的缓存节点宕机的情形,仍能够保证数据读取性能。

Description

数据缓存方法、装置、电子设备和计算机可读介质
技术领域
本公开的实施例涉及计算机技术领域,具体涉及数据缓存方法、装置、电子设备和计算机可读介质。
背景技术
数据缓存是指将低读写性能的介质内存储的数据缓存至高读写性能的介质内的一种技术。目前,随着数据访问量的提升,为了提高数据的读取性能,通常采用的方式为:通过多个缓存节点分别缓存部分高频访问数据。
然而,发明人发现,当采用上述方式时,经常会存在如下技术问题:
第一,当多个缓存节点中存在缓存节点宕机时,宕机的缓存节点内的数据会出现数据丢失的情况,由此会导致数据读取性能下降;
第二,在不同的访问周期内,针对相同数据的访问频率往往会产生差异,未将缓存节点内的数据进行及时释放,会造成缓存资源的浪费。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了数据缓存方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种数据缓存方法,该方法包括:确定在目标时间段内接收到的、针对目标数据的数据请求集合;响应于确定上述数据请求集合中的数据请求的数量大于预设请求阈值,对于上述数据请求集合中的每个数据请求,执行以下处理步骤:确定上述数据请求对应的缓存节点数量;确定上述数据请求对应的路由地址集合,其中,上述路由地址集合中的路由地址为用于缓存上述数据请求对应的待请求数据的缓存节点的地址,上述路由地址集合中的路由地址的数量与上述缓存节点数量一致;将上述数据请求转发至上述路由地址集合对应的缓存节点集合;响应于转发成功,将上述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。
第二方面,本公开的一些实施例提供了一种数据缓存装置,装置包括:确定单元,被配置成确定在目标时间段内接收到的、针对目标数据的数据请求集合;执行单元,被配置成响应于确定上述数据请求集合中的数据请求的数量大于预设请求阈值,对于上述数据请求集合中的每个数据请求,执行以下处理步骤:确定上述数据请求对应的缓存节点数量;确定上述数据请求对应的路由地址集合,其中,上述路由地址集合中的路由地址为用于缓存上述数据请求对应的待请求数据的缓存节点的地址,上述路由地址集合中的路由地址的数量与上述缓存节点数量一致;将上述数据请求转发至上述路由地址集合对应的缓存节点集合;响应于转发成功,将上述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。
第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据缓存方法,提高了数据的读取性能。具体来说,造成数据读取性能下降的原因在于:当多个缓存节点中存在缓存节点宕机时,宕机的缓存节点内的数据会出现数据丢失的情况,由此会导致数据读取性能下降。基于此,本公开的一些实施例的数据缓存方法,首先,确定在目标时间段内接收到的、针对目标数据的数据请求集合。通过确定目标时间段内的数据请求集合,由此可以根据数据请求集合内数据请求的数量,确定数据请求是否为高频访问请求。接着,响应于确定上述数据请求集合中的数据请求的数量大于预设请求阈值,对于上述数据请求集合中的每个数据请求,执行以下处理步骤:第一步,确定上述数据请求对应的缓存节点数量。由此,确定数据请求所对应的用于缓存待请求数据的缓存节点的数量。第二步,确定上述数据请求对应的路由地址集合,其中,上述路由地址集合中的路由地址为用于缓存上述数据请求对应的待请求数据的缓存节点的地址,上述路由地址集合中的路由地址的数量与上述缓存节点数量一致。通过确定路由地址,由此方便对数据请求进行请求转发。第三步,将上述数据请求转发至上述路由地址集合对应的缓存节点集合。第四步,响应于转发成功,将上述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。通过此种方式,即使存在存储有部分数据的缓存节点宕机的情形,仍能够保证数据读取性能。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本公开的数据缓存方法的一些实施例的流程图;
图2是根据本公开的数据缓存装置的一些实施例的结构示意图;
图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
参考图1,示出了根据本公开的数据缓存方法的一些实施例的流程100。该数据缓存方法,包括以下步骤:
步骤101,确定在目标时间段内接收到的、针对目标数据的数据请求集合。
在一些实施例中,数据缓存方法的执行主体(例如,计算设备)可以确定在目标时间段内接收到的、针对目标数据的数据请求集合。其中,目标时间段可以是预设的单位时间段。实践中,目标时间段可以是100毫秒。目标数据包括数据请求集合中各个数据请求对应的待请求数据。数据请求集合中的数据请求可以是由不同客户端发送的用于进行数据访问的请求。实践中,目标数据可以由待访问数据A、待访问数据B和待访问数据C构成。数据请求A可以是访问待访问数据A的请求。数据请求B可以是访问待访问数据B的请求。数据请求C可以是访问待访问数据C的请求。同时,数据请求A、数据请求B和数据请求C均是在目标时间段内接收到的数据请求。由此,数据请求集合可以包括:数据请求A、数据请求B和数据请求C。
需要说明的是,上述计算设备可以是硬件,也可以是软件。当计算设备为硬件时,可以实现成多个服务器或终端设备组成的分布式集群,也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时,可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。此外,应该理解,计算设备的数目根据实现需要,可以具有任意数目的计算设备。
在一些实施例的一些可选的实现方式中,上述执行主体确定在目标时间段内接收到的、针对目标数据的数据请求集合,可以包括以下步骤:
第一步,接收在上述目标时间段内、至少一个客户端发送的数据访问请求,作为候选数据请求,得到候选数据请求集合。
第二步,根据上述候选数据请求集合中的候选数据请求对应的待请求数据,对上述候选数据请求集合进行数据分组,得到候选数据请求组集合。其中,候选数据请求组中的各个候选数据请求对应的待请求数据可以是一段完整数据内的各个部分数据。
第三步,对于上述候选数据请求组集合中的每个候选数据请求组,根据上述候选数据请求组中的候选数据请求的请求接收时间,对上述候选数据请求组中的候选数据请求进行请求排序,得到候选数据请求序列。
实践中,上述执行主体可以根据请求接收时间的先后顺序,对候选数据请求组中的候选数据请求进行请求排序,得到候选数据请求序列。例如,候选数据请求序列中的第1个候选数据的请求接收时间最小。
第四步,从得到的候选数据请求序列组中筛选出满足筛选条件的候选数据请求序列,作为上述数据请求集合。
其中,上述筛选条件为:候选数据请求序列包括的候选数据请求的数量与目标数量一致、且候选数据请求序列包括的目标位置的候选数据请求的请求接收时间小于目标时间。实践中,目标数量为候选数据请求序列组中包含有最多候选数据请求的候选数据请求序列中的候选数据请求的数量。目标位置可以是候选数据请求序列中的第1个候选数据请求在候选数据请求序列中的位置。目标时间可以是候选数据请求序列组中的各个候选数据请求对应的请求接收时间的均值时间。
步骤102,响应于确定数据请求集合中的数据请求的数量大于预设请求阈值,对于数据请求集合中的每个数据请求,执行以下处理步骤:
步骤1021,确定数据请求对应的缓存节点数量。
在一些实施例中,上述执行主体可以确定数据请求对应的缓存节点数量。其中,预设请求阈值可以是预先设定的、用于判断数据请求访问的待访问数据是否为高频待访问数据的阈值。缓存节点数量可以是用于缓存数据请求访问的待访问数据的缓存节点的数量。实践中,缓存节点可以是硬件也可以是软件。例如,缓存节点可以是缓存服务器。又如,缓存节点可以是缓存服务器内构建的虚拟缓存节点。
作为示例,上述执行主体可以将预设数目确定为上述缓存节点数量。
在一些实施例的一些可选的实现方式中,上述执行主体确定数据请求对应的缓存节点数量可以包括以下步骤:
第一步,确定上述数据请求对应的待请求节点数量。
实践中,例如,待请求节点数量可以是预设的数量。又如,待请求节点数量可以是对数据请求进行请求解析,得到的数据请求待访问的节点数量。
第二步,根据请求分流概率,确定冗余节点数量。
其中,请求分流概率表征对请求进行分流的概率。实践中,请求分流概率可以通过是否设置冗余节点的概率来表征。例如,请求分流概率可以人工设定。
作为示例,上述执行主体可以将(1-请求分流概率)/请求分流概率+1的值确定为冗余节点数量。实践中,(1-请求分流概率)/请求分流概率+1计算得到的结果可能存在小数的情况,因此可以再对结果进行向上取整,以得到上述冗余节点数量。
第三步,根据上述待请求节点数量和上述冗余节点数量,生成上述缓存节点数量。
其中,上述执行主体可以将待请求节点数量和上述冗余节点数量的和,确定为缓存节点数量。
通过控制待请求节点数量和请求分流概率两个变量,可以实现灵活的缓存节点数量的控制。
步骤1022,确定数据请求对应的路由地址集合。
在一些实施例中,上述执行主体可以确定数据请求对应的路由地址集合。其中,路由地址集合中的路由地址为用于缓存上述数据请求对应的待请求数据的缓存节点的地址。上述路由地址集合中的路由地址的数量与上述缓存节点数量一致。实践中,首先,上述执行主体可以分配缓存节点数量个缓存节点。然后,将缓存节点的地址确定为路由地址,得到路由地址集合。
在一些实施例的一些可选的实现方式中,上述执行主体确定上述数据请求对应的路由地址集合,可以包括以下步骤:
第一步,确定处于非满占用状态的缓存节点,作为候选缓存节点,得到候选缓存节点集合。
实践中,首先,上述执行主体可以确定处于工作状态的缓存节点的缓存资源使用率。然后,将缓存资源使用率小于预设使用率的缓存节点确定为处于非满占用状态的缓存节点,作为候选缓存节点,得到候选缓存节点集合。
第二步,对于上述候选缓存节点集合中的每个候选缓存节点,执行以下路由地址确定步骤:
第一子步骤,确定上述候选缓存节点中是否存在已缓存数据。
实践中,上述执行主体可以扫描上述候选缓存节点,以此确定是否存在已缓存数据。
第二子步骤,响应不存在,将上述候选缓存节点的节点通信地址确定上述路由地址集合中的路由地址。
第三子步骤,响应于存在,确定上述已缓存数据的数据生命周期。
其中,数据生命周期表征已缓存数据在候选缓存节点内的存储周期。
第四子步骤,响应于确定上述数据生命周期大于预设生命周期,释放上述候选缓存节点中、与上述已缓存数据对应的缓存空间,以及确定释放数据后的候选缓存节点的当前可用空间大小。
第五子步骤,响应于确定上述数据生命周期小于等于预设生命周期,确定上述候选缓存节点的当前可用空间大小。
第六子步骤,响应于确定上述当前可用空间大小大于等于预设空间大小,将上述候选缓存节点的节点通信地址确定上述路由地址集合中的路由地址。
通过此种方式,在确定路由地址的基础上,当缓存节点内的已缓存数据缓存时间较长时,可以实现对缓存时间较长的已缓存数据进行资源释放,从而达到提高缓存节点可用空间利用率的目的。
在一些实施例的一些可选的实现方式中,在上述将上述数据请求转发至上述路由地址集合对应的缓存节点集合之前,上述执行主体还可以执行以下处理步骤:
第一步,确定上述缓存节点中的上述已缓存数据的存储模式。
其中,存储模式表征已缓存数据在缓存节点内的存储方式。实践中,存储模式可以包括第一存储模式和第二存储模式。其中,第一存储模式表征数据碎片化存储。第二存储模式表征数据非碎片化存储。实践中,为了提高缓存节点的存储空间利用率,常采用数据碎片化存储。为了提高缓存节点的数据检索效率,常采用数据非碎片化存储。
第二步,响应于确定上述存储模式为第一存储模式,对上述已缓存数据对应的缓存空间进行释放,以及重新在上述候选缓存节点内对上述已缓存数据进行块状数据存储。
其中,块状数据存储即采用第二存储模式,在候选缓存节点内对已缓存数据进行重新存储,以提高数据的检索效率。
第三步,响应于确定上述存储模式为第二存储模式,优化上述已缓存数据在上述候选缓存节点内的缓存位置。
实践中,上述执行主体可以更新已缓存数据在上述候选缓存节点内的缓存位置,即在候选缓存节点内靠前存储已缓存数据,从而进一步达到提高数据检索效率的目的。
上述第一步至第三步,通过确定不同的存储模式,实现了对缓存节点的空间有效梳理。实践中,当数据碎片化存储会将缓存节点内的缓存空间划分为多个不连续的存储区域,从而造成缓存空间的碎片化,影响数据存储效率。由此,当存储模式为第一存储模式时,本公开会将碎片化存储的已缓存数据进行重新存储,从而降低对应的缓存节点的缓存空间的碎片化情况。此外,实践中,即使数据为第二存储模式,即非碎片化存储,当存储空间的区间长度较长时,索引至已缓存数据对应的缓存空间仍需要检索时间,因此,当存储模式为第二存储模式时,本公开会优化已缓存数据在所述候选缓存节点内的缓存位置,从而达到降低检索时间的目的。
步骤1023,将数据请求转发至路由地址集合对应的缓存节点集合。
在一些实施例中,上述执行主体可以将数据请求转发至路由地址集合对应的缓存节点集合。实践中,上述执行主体可以通过地址路由的方式,以将数据请求转发至路由地址集合对应的缓存节点集合。
在一些实施例的一些可选的实现方式中,上述执行主体将数据请求转发至路由地址集合对应的缓存节点集合,可以包括以下步骤:
对于上述路由地址集合中的每个路由地址,执行以下请求转发步骤:
第一步,对上述路由地址进行地址映射,以确定上述路由地址在预先构建的缓存节点位置环中的偏移量。
其中,缓存节点位置环包含了各个缓存节点的相对位置。实践中,上述执行主体可以通过MurmurHash哈希函数,对路由地址进行地址映射,以确定上述路由地址在预先构建的缓存节点位置环中的偏移量。
第二步,根据上述偏移量,确定上述路由地址对应的缓存节点标识。
作为示例,上述执行主体可以按照偏移量的数值,按顺序确定缓存节点标识。例如,偏移量可以是12,则缓存节点标识可以是“L”。
作为又一示例,上述执行主体可以按照偏移量的数值所在的区间,按顺序确定缓存节点标识。例如,偏移量可以是12,位于1至33之间,则缓存节点标识可以“A”。
第三步,将上述数据请求发送至上述缓存节点标识对应的缓存节点。
传统的通过路由表的方式进行请求转发,随着缓存节点的数量增加,会导致路由表的体积急剧增大。同时,传统的对路由表寻址的方式,随着路由表体积的增大,会增加寻址时间,从而增加将请求转发至缓存节点的时间成本。由此,本公开通过将缓存节点的位置映射至缓存节点位置环,通过计算偏移量的方式,确定待接收请求的缓存节点的相对位置。大大提高了请求的转发效率,尤其是针对高并发、海量请求的情形具有极其优异的效果。
步骤1024,响应于转发成功,将数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。
在一些实施例中,响应于转发成功,上述执行主体可以将数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。实践中,例如,为了提高存储空间利用效率,可以采用第一存储模式,将数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。又如,为了提高检索效率,可以采用第二存储模式,将数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。
在一些实施例的一些可选的实现方式中,在上述响应于转发成功,将上述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内之后,上述执行主体还可以执行以下处理步骤:
第一步,对于上述缓存节点集合中的每个缓存节点,响应于确定数据请求对应的待请求数据缓存成功,将上述待请求数据发送至上述数据请求对应的客户端,以及启动缓存计时器。
其中,缓存计时器可以是用于计时待请求数据在缓存节点内存储时间的计时器。实践中,上述缓存计时器可以采用倒计时的方式进行计时。
第二步,确定上述缓存节点集合中的每个缓存节点在第一单位时间内的、存储的上述待请求数据的第一被访问次数。
第三步,根据得到的第一被访问次数集合,确定第一被访问次数均值。
实践中,上述执行主体可以确定得到的第一被访问次数集合中的各个第一被访问次数的算数平均值,作为第一被访问次数均值。
第四步,更新第一目标缓存节点对应的缓存计时器的计时器变化速率为第一速率。
其中,第一目标缓存节点是上述缓存节点集合中对应的被访问次数小于上述第一被访问次数均值的缓存节点对应的缓存节点。实践中,第一速率可以是1.25倍速率。
第五步,确定上述缓存节点集合中的每个缓存节点在第二单位时间内的、存储的上述待请求数据的第二被访问次数。
第六步,根据得到的第二被访问次数集合,确定第二被访问次数均值。
实践中,上述执行主体可以确定得到的第二被访问次数集合中的各个第二被访问次数的算数平均值,作为上述第二被访问次数均值。
第七步,更新第二目标缓存节点对应的缓存计时器的计时器变化速率为第二速率。
其中,第二目标缓存节点是上述缓存节点集合中对应的被访问次数小于上述第二被访问次数均值的缓存节点对应的缓存节点。第二速率大于上述第一速率。实践中,第二变化速率可以是1.5倍速率。
第八步,响应于确定上述缓存节点集合中存在对应的缓存计时器的计时值与目标计时值相同,释放对应的缓存计时器的计时值与目标计时值相同的缓存节点内存储的待请求数据。
实践中,目标计时值可以是0,即当缓存计时器归零时,释放对应的缓存计时器的计时值与目标计时值相同的缓存节点内存储的待请求数据。
上述第一步至第八步作为本公开的一个发明点,解决了背景技术提及的技术问题二,即“在不同的访问周期内,针对相同数据的访问频率往往会产生差异,未将缓存节点内的数据进行及时释放,会造成缓存资源的浪费”。实际情况中,缓存节点属于具有高读写性能的存储介质。因此,如何提高缓存节点的空间利用效率尤为重要,为了保证高频被访问数据能够及时有效地写入缓存节点内,需要对访问次数减少的数据进去及时释放。基于此,本公开通过设置缓存计时器,以此确定待请求数据的释放时机,考虑到本申请中相同的待请求数据往往需缓存在多个缓存节点内,不同缓存节点内存储的待请求数据的访问命中几率往往存在差异,因此,本公开采用在单位时间确定相同待请求数据对应的各个缓存节点内的待请求数据的访问次数,并确定访问次数均值,以此来确定是否对各缓存节点内的待请求数据是否进行计数器变化速率的更新。同时考虑到不同的访问周期内,针对相同数据的访问频率往往会产生差异,因此设置了第一单位时间和第二单位时间,分两次先后确定访问次数均值,以此来确定是否对各缓存节点内的待请求数据是否进行计数器变化速率的更新。同时,设置了第一速率和第二速率以进一步提高缓存计时器的计时器变化速率。通过此种方式,能够有效地促进缓存节点内存储的、对应访问次数降低的数据的释放,大大提高了缓存资源的使用效率。
本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的数据缓存方法,提高了数据的读取性能。具体来说,造成数据读取性能下降的原因在于:当多个缓存节点中存在缓存节点宕机时,宕机的缓存节点内的数据会出现数据丢失的情况,由此会导致数据读取性能下降。基于此,本公开的一些实施例的数据缓存方法,首先,确定在目标时间段内接收到的、针对目标数据的数据请求集合。通过确定目标时间段内的数据请求集合,由此可以根据数据请求集合内数据请求的数量,确定数据请求是否为高频访问请求。接着,响应于确定上述数据请求集合中的数据请求的数量大于预设请求阈值,对于上述数据请求集合中的每个数据请求,执行以下处理步骤:第一步,确定上述数据请求对应的缓存节点数量。由此,确定数据请求所对应的用于缓存待请求数据的缓存节点的数量。第二步,确定上述数据请求对应的路由地址集合,其中,上述路由地址集合中的路由地址为用于缓存上述数据请求对应的待请求数据的缓存节点的地址,上述路由地址集合中的路由地址的数量与上述缓存节点数量一致。通过确定路由地址,由此方便对数据请求进行请求转发。第三步,将上述数据请求转发至上述路由地址集合对应的缓存节点集合。第四步,响应于转发成功,将上述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。通过此种方式,即使存在存储有部分数据的缓存节点宕机的情形,仍能够保证数据读取性能。
进一步参考图2,作为对上述各图所示方法的实现,本公开提供了一种数据缓存装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该数据缓存装置具体可以应用于各种电子设备中。
如图2所示,一些实施例的数据缓存装置200包括:确定单元201和执行单元202。其中,确定单元201,被配置成确定在目标时间段内接收到的、针对目标数据的数据请求集合;执行单元202,被配置成响应于确定上述数据请求集合中的数据请求的数量大于预设请求阈值,对于上述数据请求集合中的每个数据请求,执行以下处理步骤:确定上述数据请求对应的缓存节点数量;确定上述数据请求对应的路由地址集合,其中,上述路由地址集合中的路由地址为用于缓存上述数据请求对应的待请求数据的缓存节点的地址,上述路由地址集合中的路由地址的数量与上述缓存节点数量一致;将上述数据请求转发至上述路由地址集合对应的缓存节点集合;响应于转发成功,将上述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。
可以理解的是,该数据缓存装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于数据缓存装置200及其中包含的单元,在此不再赘述。
下面参考图3,其示出了适于用来实现本公开的一些实施例的电子设备(例如,计算设备)300的结构示意图。图3示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器302中的程序或者从存储装置308加载到随机访问存储器303中的程序而执行各种适当的动作和处理。在随机访问存储器303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、只读存储器302以及随机访问存储器303通过总线304彼此相连。输入/输出接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从只读存储器302被安装。在该计算机程序被处理装置301执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:确定在目标时间段内接收到的、针对目标数据的数据请求集合;响应于确定上述数据请求集合中的数据请求的数量大于预设请求阈值,对于上述数据请求集合中的每个数据请求,执行以下处理步骤:确定上述数据请求对应的缓存节点数量;确定上述数据请求对应的路由地址集合,其中,上述路由地址集合中的路由地址为用于缓存上述数据请求对应的待请求数据的缓存节点的地址,上述路由地址集合中的路由地址的数量与上述缓存节点数量一致;将上述数据请求转发至上述路由地址集合对应的缓存节点集合;响应于转发成功,将上述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括确定单元和执行单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,确定单元还可以被描述为“确定在目标时间段内接收到的、针对目标数据的数据请求集合的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (5)

1.一种数据缓存方法,包括:
确定在目标时间段内接收到的、针对目标数据的数据请求集合;
响应于确定所述数据请求集合中的数据请求的数量大于预设请求阈值,对于所述数据请求集合中的每个数据请求,执行以下处理步骤:
确定所述数据请求对应的缓存节点数量;
确定所述数据请求对应的路由地址集合,其中,所述路由地址集合中的路由地址为用于缓存所述数据请求对应的待请求数据的缓存节点的地址,所述路由地址集合中的路由地址的数量与所述缓存节点数量一致;
将所述数据请求转发至所述路由地址集合对应的缓存节点集合;
响应于转发成功,将所述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内,其中,
所述确定所述数据请求对应的缓存节点数量,包括:
确定所述数据请求对应的待请求节点数量;
根据请求分流概率,确定冗余节点数量;
根据所述待请求节点数量和所述冗余节点数量,生成所述缓存节点数量,其中,
所述确定所述数据请求对应的路由地址集合,包括:
确定处于非满占用状态的缓存节点,作为候选缓存节点,得到候选缓存节点集合;
对于所述候选缓存节点集合中的每个候选缓存节点,执行以下路由地址确定步骤:
确定所述候选缓存节点中是否存在已缓存数据;
响应不存在,将所述候选缓存节点的节点通信地址确定为所述路由地址集合中的路由地址;
响应于存在,确定所述已缓存数据的数据生命周期;
响应于确定所述数据生命周期大于预设生命周期,释放所述候选缓存节点中、与所述已缓存数据对应的缓存空间,以及确定释放数据后的候选缓存节点的当前可用空间大小;
响应于确定所述数据生命周期小于等于预设生命周期,确定所述候选缓存节点的当前可用空间大小;
响应于确定所述当前可用空间大小大于等于预设空间大小,将所述候选缓存节点的节点通信地址确定为所述路由地址集合中的路由地址。
2.根据权利要求1所述的方法,其中,所述确定在目标时间段内接收到的、针对目标数据的数据请求集合,包括:
接收在所述目标时间段内、至少一个客户端发送的数据访问请求,作为候选数据请求,得到候选数据请求集合;
根据所述候选数据请求集合中的候选数据请求对应的待请求数据,对所述候选数据请求集合进行数据分组,得到候选数据请求组集合;
对于所述候选数据请求组集合中的每个候选数据请求组,根据所述候选数据请求组中的候选数据请求的请求接收时间,对所述候选数据请求组中的候选数据请求进行请求排序,得到候选数据请求序列;
从得到的候选数据请求序列组中筛选出满足筛选条件的候选数据请求序列,作为所述数据请求集合,其中,所述筛选条件为:候选数据请求序列包括的候选数据请求的数量与目标数量一致、且候选数据请求序列包括的目标位置的候选数据请求的请求接收时间小于目标时间。
3.一种数据缓存装置,包括:
确定单元,被配置成确定在目标时间段内接收到的、针对目标数据的数据请求集合;
执行单元,被配置成响应于确定所述数据请求集合中的数据请求的数量大于预设请求阈值,对于所述数据请求集合中的每个数据请求,执行以下处理步骤:确定所述数据请求对应的缓存节点数量;确定所述数据请求对应的路由地址集合,其中,所述路由地址集合中的路由地址为用于缓存所述数据请求对应的待请求数据的缓存节点的地址,所述路由地址集合中的路由地址的数量与所述缓存节点数量一致;将所述数据请求转发至所述路由地址集合对应的缓存节点集合;响应于转发成功,将所述数据请求对应的待请求数据缓存至缓存节点集合包括的缓存节点内,其中,
所述确定所述数据请求对应的缓存节点数量,包括:
确定所述数据请求对应的待请求节点数量;
根据请求分流概率,确定冗余节点数量;
根据所述待请求节点数量和所述冗余节点数量,生成所述缓存节点数量,其中,
所述确定所述数据请求对应的路由地址集合,包括:
确定处于非满占用状态的缓存节点,作为候选缓存节点,得到候选缓存节点集合;
对于所述候选缓存节点集合中的每个候选缓存节点,执行以下路由地址确定步骤:
确定所述候选缓存节点中是否存在已缓存数据;
响应不存在,将所述候选缓存节点的节点通信地址确定为所述路由地址集合中的路由地址;
响应于存在,确定所述已缓存数据的数据生命周期;
响应于确定所述数据生命周期大于预设生命周期,释放所述候选缓存节点中、与所述已缓存数据对应的缓存空间,以及确定释放数据后的候选缓存节点的当前可用空间大小;
响应于确定所述数据生命周期小于等于预设生命周期,确定所述候选缓存节点的当前可用空间大小;
响应于确定所述当前可用空间大小大于等于预设空间大小,将所述候选缓存节点的节点通信地址确定为所述路由地址集合中的路由地址。
4.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至2中任一所述的方法。
5.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至2中任一所述的方法。
CN202310287702.1A 2023-03-23 2023-03-23 数据缓存方法、装置、电子设备和计算机可读介质 Active CN115993942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310287702.1A CN115993942B (zh) 2023-03-23 2023-03-23 数据缓存方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310287702.1A CN115993942B (zh) 2023-03-23 2023-03-23 数据缓存方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN115993942A CN115993942A (zh) 2023-04-21
CN115993942B true CN115993942B (zh) 2023-06-06

Family

ID=85995334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310287702.1A Active CN115993942B (zh) 2023-03-23 2023-03-23 数据缓存方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN115993942B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107181775A (zh) * 2016-03-10 2017-09-19 北京大学 内容中心网络中的路由选择方法及路由选择装置
CN113760178A (zh) * 2021-01-29 2021-12-07 北京京东拓先科技有限公司 缓存数据处理方法、装置、电子设备和计算机可读介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581052B (zh) * 2012-08-02 2017-07-21 华为技术有限公司 一种数据处理方法、路由器及ndn系统
US8817796B2 (en) * 2012-08-29 2014-08-26 International Business Machines Corporation Cached routing table management
US9262323B1 (en) * 2012-11-26 2016-02-16 Amazon Technologies, Inc. Replication in distributed caching cluster
CN106230953B (zh) * 2016-08-05 2019-07-05 北京邮电大学 一种基于分布式存储的d2d通信方法及装置
CN111338567B (zh) * 2020-02-13 2021-09-17 苏州浪潮智能科技有限公司 一种基于Protocol Buffer的镜像缓存方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107181775A (zh) * 2016-03-10 2017-09-19 北京大学 内容中心网络中的路由选择方法及路由选择装置
CN113760178A (zh) * 2021-01-29 2021-12-07 北京京东拓先科技有限公司 缓存数据处理方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN115993942A (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN112637287B (zh) 负载均衡方法及设备
CN110430142B (zh) 用于控制流量的方法和装置
CN112416632B (zh) 事件通信方法、装置、电子设备和计算机可读介质
CN112035529A (zh) 缓存方法、装置、电子设备及计算机可读存储介质
CN112256733A (zh) 数据缓存方法、装置、电子设备及计算机可读存储介质
CN113760536A (zh) 数据缓存方法、装置、电子设备和计算机可读介质
CN112015816A (zh) 数据同步方法、装置、介质及电子设备
CN109918381B (zh) 用于存储数据的方法和装置
CN111309366B (zh) 一种管理注册核心的方法、装置、介质和电子设备
CN115993942B (zh) 数据缓存方法、装置、电子设备和计算机可读介质
CN114785770A (zh) 镜像层文件发送方法、装置、电子设备和计算机可读介质
CN112418389A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN116226189A (zh) 缓存数据查询方法、装置、电子设备和计算机可读介质
CN111459893B (zh) 文件处理方法、装置和电子设备
CN112507676B (zh) 能源报表生成方法、装置、电子设备和计算机可读介质
CN114115941A (zh) 资源发送方法、页面渲染方法、装置、电子设备和介质
CN113553206A (zh) 数据事件执行方法、装置、电子设备和计算机可读介质
CN113064704A (zh) 任务处理方法、装置、电子设备和计算机可读介质
CN113342837B (zh) 数据发送方法、装置、电子设备和计算机可读介质
CN113760178A (zh) 缓存数据处理方法、装置、电子设备和计算机可读介质
CN112015746A (zh) 数据实时处理方法、装置、介质和电子设备
CN116361254B (zh) 图像存储方法、装置、电子设备和计算机可读介质
CN111209042B (zh) 一种建立函数栈的方法、装置、介质和电子设备
CN111314457B (zh) 设置虚拟私有云的方法和装置
CN113438284B (zh) 请求处理方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant