CN109190070B - 一种数据处理方法、装置、系统及应用服务器 - Google Patents
一种数据处理方法、装置、系统及应用服务器 Download PDFInfo
- Publication number
- CN109190070B CN109190070B CN201810863203.1A CN201810863203A CN109190070B CN 109190070 B CN109190070 B CN 109190070B CN 201810863203 A CN201810863203 A CN 201810863203A CN 109190070 B CN109190070 B CN 109190070B
- Authority
- CN
- China
- Prior art keywords
- access data
- data
- access
- cache duration
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种数据处理方法、装置、系统及应用服务器,方法包括:获取第二应用服务器存储的预设时间段内用户的访问日志,其中,访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;基于访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;将所确定的每一访问数据对的待更新缓存时长,发送至所述第二应用服务器。以实现对数据的缓存进行更智能、更精细化地控制,提高数据的命中率。
Description
技术领域
本发明涉及数据管理技术领域,特别是涉及一种数据处理方法、装置、系统及应用服务器。
背景技术
随着互联网用户量的增长及用户使用频度的提升,各网站的Web应用服务的访问流量越来越大。为了优化访问速度,提升用户体验,网站的应用服务器往往会基于大量缓存技术来缓存数据。当用户访问网站时,若用户所访问的数据处于缓存状态,即用户所访问的数据缓存于预设缓存区域,则网站的应用服务器可以直接从该预设缓存区域读取数据并反馈给用户,这种情况下用户访问到该数据的速度相对较快;若用户所访问的数据处于未缓存状态,即未缓存于预设缓存区域,则该应用服务器需要从后台数据库或存储服务器中获取数据再将获取的数据反馈给用户,这种情况下用户访问到该数据的速度相对较慢。其中,大量缓存技术包括:分布式数据库缓存技术、代理服务器缓存技术、CDN(Content DeliveryNetwork,内网分发网络)缓存技术等等。
目前,网站的应用服务器在缓存数据的流程中,由于预设缓存区域的存储资源的有限性,应用服务器一般会预设有缓存时长,以来更新缓存的数据,当应用服务器检测到数据缓存时长达到所设置的预设缓存时长时,应用服务器将该数据设置为缓存失效,即数据处于未缓存状态。
发明人在实现本发明的过程中发现,相关技术至少存在如下问题:网站中各数据对应的缓存时长是管理人员人为设置的,网站的应用服务器没有针对数据做进一步的差异化、精细化控制调配,一方面每一数据的预设缓存时长的设置不够合理,例如一些数据的访问量不高,但其对应的预设缓存时长较长;另一方面,设置的预设缓存时长是固定的,导致数据的命中率不够理想。
发明内容
本发明实施例的目的在于提供一种数据处理方法、装置、系统及第一应用服务器,以实现对数据的缓存进行更智能、更精细化地控制,在一定程度上提高数据的命中率。具体技术方案如下:
在本发明实施的一方面,本发明实施例提供了一种数据处理方法,应用于第一应用服务器,所述方法包括:
获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;
基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
将所确定的每一访问数据对的待更新缓存时长,发送至所述第二应用服务器。
可选地,所述基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长的步骤,包括:
从所述访问数据对应的未命中次数中,确定出数据高于预设次数阈值的未命中次数,作为第一访问数据对应的未命中次数;
针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值,其中,第一访问数据对应的未命中次数越大,该第一访问数据的权重值越大;
基于该第一访问数据对应的权重值以及预设的对应关系,确定该第一访问数据的待更新缓存时长,其中,所述预设的对应关系包含:权重值与缓存时长的对应关系;
针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长,其中,所述第二访问数据包括:所述访问数据中除所述第一访问数据外的其他数据。
可选地,所述预设权重值分配策略包括:未命中次数与权重值的对应关系;
所述基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值的步骤,包括:
从所述未命中次数与权重值的对应关系中,确定出与该第一访问数据对应的未命中次数匹配的权重值,作为该第一访问数据的权重值。
可选地,所述针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值的步骤,包括:
基于所对应未命中次数的大小,对所述第一访问数据进行降序或升序排序,得到第一访问数据对应的排列顺序;
为首位访问数据设置权重值,其中,所述首位访问数据为:处于所述排列顺序中首位的第一访问数据;
针对每一非首位访问数据,计算该非首位访问数据与所述首位访问数据的比值,作为该非首位访问数据对应的比值,其中,所述非首位访问数据为:所述排列顺序中的除所述首位访问数据外的其他访问数据;
针对每一非首位访问数据,基于所述首位访问数据的权重值以及该非首位访问数据对应的比值,为该非首位访问数据设置权重值。
可选地,所述针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长的步骤,包括:
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长,并确定为该第二访问数据的待更新缓存时长;或,
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长;
基于所获取的访问日志中所述第二访问数据的命中情况,确定该第二访问数据对应的命中率;
判断该第二访问数据对应的命中率,是否高于预设命中率阈值范围的上限值;
当判断为是时,确定第二访问数据的待更新缓存时长,其中,所述第二访问数据的待更新缓存时长小于该第二访问数据的原始缓存时长。
可选地,所述基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数的步骤,包括:
对所述访问日志,进行预设格式化处理,得到访问数据的数据标识以及该访问数据的命中情况;
基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,统计得到每一访问数据对应的未命中次数。
在本发明实施的又一方面,本发明实施例提供了一种数据处理方法,应用于第二应用服务器,所述方法包括:
接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;
将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
可选地,所述将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长的步骤,包括:
针对每一访问数据,确定该访问数据是否处于缓存状态;
当确定该访问数据处于缓存状态时,直接将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长,或,当接收到针对该访问数据的访问指令时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长;
当确定该访问数据处于未缓存状态,且在开始缓存该访问数据时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长。
在本发明实施的又一方面,本发明实施例提供了一种数据处理方法,应用于第三应用服务器,所述方法包括:
获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;
基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
针对每一访问数据,将该访问数据的原始缓存时长,调整为所确定的该访问数据的待更新缓存时长。
在本发明实施的又一方面,本发明实施例提供了一种数据处理装置,应用于第一应用服务器,所述装置包括:
第一获取模块,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
第一确定模块,用于基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;
第二确定模块,用于基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
发送模块,用于将所确定的每一访问数据对的待更新缓存时长,发送至所述第二应用服务器。
可选地,所述第二确定模块包括:
第一确定单元,用于从所述访问数据对应的未命中次数中,确定出数据高于预设次数阈值的未命中次数,作为第一访问数据对应的未命中次数;
设置单元,用于针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值,其中,第一访问数据对应的未命中次数越大,该第一访问数据的权重值越大;
第二确定单元,用于基于该第一访问数据对应的权重值以及预设的对应关系,确定该第一访问数据的待更新缓存时长,其中,所述预设的对应关系包含:权重值与缓存时长的对应关系;
第三确定单元,用于针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长,其中,所述第二访问数据包括:所述访问数据中除所述第一访问数据外的其他数据。
可选地,所述预设权重值分配策略包括:未命中次数与权重值的对应关系;
所述设置单元,具体用于
从所述未命中次数与权重值的对应关系中,确定出与该第一访问数据对应的未命中次数匹配的权重值,作为该第一访问数据的权重值。
可选地,所述设置单元,具体用于
基于所对应未命中次数的大小,对所述第一访问数据进行降序或升序排序,得到第一访问数据对应的排列顺序;
为首位访问数据设置权重值,其中,所述首位访问数据为:处于所述排列顺序中首位的第一访问数据;
针对每一非首位访问数据,计算该非首位访问数据与所述首位访问数据的比值,作为该非首位访问数据对应的比值,其中,所述非首位访问数据为:所述排列顺序中的除所述首位访问数据外的其他访问数据;
针对每一非首位访问数据,基于所述首位访问数据的权重值以及该非首位访问数据对应的比值,为该非首位访问数据设置权重值。
可选地,第三确定单元,具体用于
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长,并确定为该第二访问数据的待更新缓存时长;或,
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长;
基于所获取的访问日志中所述第二访问数据的命中情况,确定该第二访问数据对应的命中率;
判断该第二访问数据对应的命中率,是否高于预设命中率阈值范围的上限值;
当判断为是时,确定第二访问数据的待更新缓存时长,其中,所述第二访问数据的待更新缓存时长小于该第二访问数据的原始缓存时长。
可选地,所述第一确定模块,具体用于
对所述访问日志,进行预设格式化处理,得到访问数据的数据标识以及该访问数据的命中情况;
基于所述访问数据的数据标识以及该访问数据的命中情况,统计得到每一访问数据对应的未命中次数。
在本发明实施的又一方面,本发明实施例提供了一种数据处理装置,应用于第二应用服务器,所述装置包括:
接收模块,用于接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;
第一调整模块,用于将每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
可选地,所述第一调整模块,具体用于
针对每一访问数据,确定该访问数据是否处于缓存状态;
当确定该访问数据处于缓存状态时,直接将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长,或,当接收到针对该访问数据的访问指令时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长;
当确定该访问数据处于未缓存状态,且在开始缓存该访问数据时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长。
在本发明实施的又一方面,本发明实施例提供了一种数据处理装置,应用于第三应用服务器,所述装置包括:
第二获取模块,用于获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
第三确定模块,用于基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;
第四确定模块,用于基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
第二调整模块,用于针对每一访问数据,将该访问数据的原始缓存时长,调整为所确定的概访问数据的待更新缓存时长。
在本发明实施的又一方面,本发明实施例提供了一种数据处理系统,包括第一应用服务器和第二应用服务器;
所述第一应用服务器,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;将所确定的每一访问数据的待更新缓存时长,发送至所述第二应用服务器;
所述第二应用服务器,用于接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
在本发明实施的又一方面,本发明实施例提供了一种应用服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例所提供任一所述的第一应用服务器侧的数据处理方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的第一应用服务器侧的数据处理方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的第一应用服务器侧的数据处理方法。
在本发明实施的又一方面,本发明实施例提供了一种应用服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例所提供任一所述的第二应用服务器侧的数据处理方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的第二应用服务器侧的数据处理方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的第二应用服务器侧的数据处理方法。
在本发明实施的又一方面,本发明实施例还提供了一种应用服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例所提供任一所述的第三应用服务器侧的数据处理方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的第三应用服务器侧的数据处理方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的第三应用服务器侧的数据处理方法。
本发明实施例中,获取第二应用服务器存储的预设时间段内用户的访问日志,其中,访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;基于访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;将所确定的每一访问数据对的待更新缓存时长,发送至第二应用服务器。
本发明实施例中,在获取到第二应用服务器存储的预设时间段内用户的访问日志后,可以基于该访问日志所包括的访问数据的数据标识以及命中情况,确定出各访问数据在该预设时间段内的未命中次数,进而基于每一访问数据对应的未命中次数,确定该访问数据的待更新缓存时长,进而将每一访问数据的待更新缓存时长,发送至第二应用服务器,以使第二应用服务器基于每一访问数据的待更新缓存时长,调整本地所存储的该访问数据的原始缓存时长,以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,由于访问数据对应的未命中次数越大,其待更新缓存时长越长,因此在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所提供的一种数据处理方法的流程示意图;
图2为本发明实施例所提供的确定访问数据的待更新缓存时长的流程示意图;
图3为本发明实施例所提供的另一种数据处理方法的流程示意图;
图4为本发明实施例所提供的另一种数据处理方法的流程示意图;
图5为本发明实施例所提供的一种数据处理装置的结构示意图;
图6为本发明实施例所提供的另一种数据处理装置的结构示意图;
图7为本发明实施例所提供的另一种数据处理装置的结构示意图;
图8为本发明实施例所提供的一种数据处理系统的结构示意图;
图9为本发明实施例所提供的一种应用服务器的结构示意图;
图10为本发明实施例所提供的另一种应用服务器的结构示意图;
图11为本发明实施例所提供的另一种应用服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
本发明实施例提供了一种数据处理方法、装置、系统及应用服务器,以实现对数据的缓存进行更智能、更精细化地控制,在一定程度上提高数据的命中率。
一方面,本发明实施例提供了一种数据处理方法,该方法可以应用于第一应用服务器,其中,第一应用服务器可以与第二应用服务器进行通信连接,并且,该第一应用服务器与第二应用服务器为同一网站提供WEB(网络)应用服务。上述第一应用服务器与第二应用服务器均可以为电脑、手机等终端搭建的服务器。
在一种情况中,第二应用服务器可以为:为上述网站提供应用服务的,除第一应用服务器外的其他应用服务器的统称,可以用于记录并存储用户访问该网站的数据的访问情况,即访问日志,并可以控制该网站的数据的缓存,例如:何时缓存以及基于预先设置的缓存时长,控制该数据何时缓存失效。即上述第一应用服务器可以为新增加的为该网站提供应用服务的服务器。
上述网站可以为视频网站、社交网站、购物类网站或者阅读网站,这都是可以的,本发明实施例并不对上述网站的类型进行限定。上述数据可以包括视频、文本文档以及图像等。举例而言,当网站为视频网站,上述数据可以包括视频等数据,当网站为阅读网站时,上述数据可以包括文本文档以及图像等数据。
实施例一:
如图1所示,本发明实施例提供了一种数据处理方法,可以包括如下步骤:
S101:获取第二应用服务器存储的预设时间段内用户的访问日志;
其中,上述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
上述数据标识可以是数据的存储位置、名称以及序号等,可以唯一标识数据的信息。
在一种情况中,实现本发明实施例所提供的数据处理方法的功能软件,可以以专门的客户端软件的形式存在,也可以以现有的客户端软件的插件的形式存在。
在一种情况中,第一应用服务器可以预先设置有预设周期,每当到达预设周期时,第一应用服务器触发本发明实施例所提供的数据处理流程,第一应用服务器向第二应用服务器发送获取访问日志的请求,以获取第二应用服务器存储的预设时间段内用户的访问日志,其中,上述第二应用服务器存储的预设时间段内用户的访问日志,可以标识访问日志存储于上述第二应用服务器本地,也可以标识访问日志存储于上述第二应用服务器所连接的其他具有存储功能的设备中,这都是可以的。
其中,不同时段被用户访问的数据存在不同,例如:当在2017年5月1日至8月30日期间,数据A可能被用户访问的次数多;当在2017年9月1日至12月30日期间,数据B可能被用户访问的次数多,为了保证为每一访问数据确定的缓存时长更贴合当前的实际情况,本发明实施例需要基于用户最近一段时间的数据访问情况,即基于最近一段时间的访问数据,确定相应数据的缓存时长。本发明实施例中所提到的预设时间段可以为:第一时间与当前时间之间的时间段,其中,上述当前时间为:第一应用服务器触发该数据处理流程时的时间;第一时间为:该当前时间向前预设时长对应的时间。例如:当2018年1月1日为当前时间,且上述预设时长为4个月时,上述预设时间段可以是2017年9月2日至2018年1月1日,即基于用户在2017年9月2日至2018年1月1日之间的访问数据,可得知,用户访问B数据的次数较多,此时确定当前的用户更倾向于访问数据B,并非数据A,即通过本实施例确定的缓存时长更贴合当前的实际情况。
其中,上述预设时长可以为根据实际情况需要所设置的,例如:预设时长为一天,第一应用服务器当前触发该数据处理流程时的时间,为2018-3-31 15:00:00,第一应用服务器当前触发该数据处理流程时的时间,对应的预设时间段为2018-3-30 15:00:00到2018-3-31 15:00:00,即第一应用服务器获取第二应用服务器在2018-3-30 15:00:00到2018-3-31 15:00:00之间的访问日志。再例如,第一应用服务器当前触发该数据处理流程时的时间,为2018-4-3 15:00:00,第一应用服务器当前触发该数据处理流程时的时间,对应的预设时间段为2018-4-2 15:00:00到2018-4-3 15:00:00之间的时间,即第一应用服务器获取第二应用服务器在2018-4-2 15:00:00到2018-4-3 15:00:00之间的访问日志。
可以理解的是,用户访问第二应用服务器所管理的数据时,第二应用服务器可以针对用户所访问的数据生成访问日志,该访问日志中包括用户所访问的数据的数据标识、该数据的访问时间以及该数据的命中情况。其中,上述命中情况可以包括命中或未命中两种情况。其中,命中可以指:该数据被访问时,处于缓存状态,即缓存于预设缓存区域内;未命中可以指:该数据被访问时,处于未缓存状态,即未缓存于该预设缓存区域内。其中,未缓存状态可以包括缓存失效以及还未被缓存过两种情况。例如:视频网站中,用户访问该视频网站时,该视频网站刚上线一部新的电影,该新的电影还未被缓存过,即未被缓存于预设缓存区域内过,当用户点击观看该新的电影,即该新电影被访问时,第二应用服务器可以基于用户的点击操作针对该新的电影生成访问日志,该访问日志将记录下本次访问时间、新电影的数据标识以及新电影在本次访问过程中未命中的情况。
S102:基于访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定各访问数据对应的未命中次数;
本发明实施例中,访问日志包括:所对应访问数据的数据标识以及该访问数据的命中情况,命中情况包括:命中或未命中。举例而言,第二应用服务器为:为一视频网站提供WEB(网络)应用服务的服务器,第二应用服务器为快速响应用户的访问,需缓存各种类型的视频和视频信息,第一应用服务器所获取的第二应用服务器在预设时间段内的访问日志,如下:
访问日志1:2018-03-31 15:00:00abcX1cache hit,其中,上述“2018-03-31 15:00:00”标识访问数据的访问时间,上述“abcX1”标识访问数据的数据标识,上述“cachehit”标识访问数据的命中情况为命中;
访问日志2:2018-03-31 15:00:01abcY2cache miss,其中,上述“2018-03-31 15:00:01”标识访问数据的访问时间,上述“abcY2”标识访问数据的数据标识,上述“cachemiss”标识访问数据的命中情况为未命中;
访问日志3:2018-03-31 15:00:02abcZ3cache hit,其中,上述“2018-03-31 15:00:02”标识访问数据的访问时间,上述“abcZ3”标识访问数据的数据标识,上述“cachehit”标识访问数据的命中情况为命中;
访问日志4:2018-03-31 15:00:03abcX1cache hit其中,上述“2018-03-31 15:00:03”标识访问数据的访问时间,上述“abcX1”标识访问数据的数据标识,上述“cachehit”标识访问数据的命中情况为命中。
第一应用服务器获取上述在预设时间段内的访问日志后,该可以基于访问日志中的访问数据的数据标识,统计每一访问数据在该预设时间段内的未命中次数,即针对每一访问数据的数据标识,统计包含该数据标识且包含的命中情况为未命中的访问日志的个数。
S103:基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长;
其中,访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;在一种情况中,上述缓存时长也可以称为缓存的有效期长度。
本发明实施例中,第一应用服务器可以获得关系表,其中,该关系表中存储有未命中次数与缓存时长之间的对应关系,通过该关系表可查到达到某一未命中次数的访问数据对应的最佳的缓存时长,也可以称为最佳的缓存的有效期长度。针对每一访问数据,基于所确定的该访问数据对应的未命中次数,从上述关系表中进行查找,确定出与该访问数据对应的未命中次数对应的缓存时长,作为该访问数据的待更新缓存时长。
S104:将所确定的每一访问数据的待更新缓存时长,发送至第二应用服务器。
将确定的待更新缓存时长发送给第二应用服务器,以使得第二应用服务器可将接收到待更新缓存时长,替换本地所存储的该访问数据的原始缓存时长。
在一种实现方式中,第一应用服务器可以直接针对每一访问数据,基于该访问数据对应的未命中次数以及预设关系表,确定该访问数据对应的缓存时长。其中,上述预设关系表可以包括:未命中次数与缓存时长的对应关系。
具体的,第一应用服务器可以针对每一访问数据,将该访问数据对应的未命中次数,与预设关系表所包括的未命中次数与缓存时长的对应关系进行匹配,将匹配成功的对应关系中未命中次数对应的缓存时长,确定为该访问数据的待更新缓存时长。
后续的,第一应用服务器针对每一访问数据,确定出该访问数据的待更新缓存时长后,可以将所确定的每一访问数据的待更新缓存时长发送至第二应用服务器,以使得该第二应用服务器接收每一访问数据的待更新缓存时长,进而,可以动态地基于接收的每一访问数据的待更新缓存时长,调整每一访问数据的原始缓存时长。以实现对数据的缓存时长的更智能、更精细化地控制。其中,上述第二应用服务器可以基于现有的缓存时长调整技术,调整每一访问数据的原始缓存时长。
本发明实施例中,在获取到第二应用服务器存储的预设时间段内用户的访问日志后,可以基于该访问日志所包括的访问数据的数据标识以及命中情况,确定出各访问数据在该预设时间段内的未命中次数,进而基于每一访问数据对应的未命中次数,确定该访问数据的待更新缓存时长,进而将每一访问数据的待更新缓存时长,发送至第二应用服务器,以使第二应用服务器基于每一访问数据的待更新缓存时长,调整本地所存储的该访问数据的原始缓存时长,以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越大,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
本发明实施例中,可以针对首次设置待更新缓存时长的数据,设置相对较长的存储有效期,即待更新缓存时长,后续将通过分析用户对数据的访问规律,明确数据之间的关联性,预测出更适合每一数据的待更新缓存时长,即为访问频率较高的数据设置较长的缓存时长,为访问频率较低的数据设置较短的缓存时长,以提高所对应未命中次数高的数据的命中率,实现对数据的缓存进行更智能、更精细化地控制。
相应于数据被设置有固定缓存时长的场景中,例如视频网站中,当应用本发明实施例所提供的数据处理流程时,可以基于每一数据对应的在预设时间段内的未命中次数,动态设置该数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。在一种情况中,经过多次对访问数据的缓存时长的调整后,可以在一定程度上达到访问数据的缓存时长与该访问数据对应的命中率的相对平衡。
在一种实现方式中,上述基于访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数的步骤,可以包括:
对访问日志,进行预设格式化处理,得到访问数据的数据标识以及该访问数据的命中情况;
基于访问数据的数据标识以及该访问数据的命中情况,统计得到每一访问数据对应的未命中次数。
本发明实施例中,第一应用服务器所获取到的访问日志的格式可能多种多样,为了更好的便于本发明实施例所提供的后续的数据处理流程,第一应用服务器在获得上述访问日志后,可以针对上述访问日志进行预设格式化处理,例如:得到访问数据的数据标识以及该访问数据的命中情况可以如表1所示:
表1
数据标识 | 命中情况 |
abcX1 | 未命中 |
abcY2 | 未命中 |
abcZ3 | 未命中 |
abcm4 | 命中 |
abcX1 | 未命中 |
abcX1 | 命中 |
其中,上述排列顺序可以为:基于所包含访问时间的先后,排列的顺序。
又例如:可以从每一访问日志中,提取出所包含的访问数据的数据标识、访问时间以及命中情况,进而,基于处理后的访问日志所包括的访问数据的数据标识、访问时间以及该访问数据的命中情况,统计该访问数据在预设时间段内对应的未命中次数;并将所统计的每一访问数据对应的未命中次数以列表的形式进行展示或存储。如下表2所示:
表2
数据标识 | 未命中次数 |
abcX1 | 10000次 |
abcY2 | 8500次 |
abcZ3 | 6000次 |
abcm4 | 3000次 |
实施例二:
可以理解的是,访问数据在预设时间段内对应的未命中次数,可以在一定程度上表征出:该访问数据在预设时间段内的访问量的高低,和/或该访问数据的原始缓存时长的长短。具体的可以为:当访问数据对应的未命中次数高于预设次数阈值时,可以表征出该访问数据在预设时间段内的访问量较高,且其原始缓存时长相对较短。当访问数据对应的未命中次数不高于预设次数阈值时,可以表征出该访问数据在预设时间段内的访问量不高;或,该访问数据在预设时间段内的访问量较高,但其原始缓存时长相对较长。其中,本发明实施例中所述的访问数据的原始缓存时长为:本次数据处理流程触发时,第二应用服务器本地所存储的访问数据的缓存时长。
在一种实现方式中,为了更好的提高各数据的命中率,第一应用服务器可以首先基于预设次数阈值,区分出在预设时间段内数值高于预设次数阈值的未命中次数,和数值不高于预设次数阈值的未命中次数,即区分出在预设时间段内所对应未命中次数较高的访问数据,以及在预设时间段内所对应未命中次数较低的访问数据;
进而,针对所对应未命中次数较高的访问数据,延长其缓存时长,即在该访问数据的原始缓存时长的基础上,增长该访问数据的缓存时长。以在一定程度上提高该访问数据的命中次数,即降低该访问数据对应的未命中次数。
针对所对应未命中次数较低的访问数据,可以维持该访问数据对应的缓存时长不变,以维持其对应的未命中次数,即维持其对应的命中率;或者,可以在一定程度上降低该访问数据的缓存时长,即在该访问数据的原始缓存时长的基础上,缩短该访问数据的缓存时长,以在一定程度上减少预设存储区域的存储资源的占用。其中,在降低该访问数据对应的缓存时长时的原则在于:保证该访问数据的命中率在一预设命中率阈值范围内。
在一种实现方式中,上述访问数据可以为视频数据,上述数据标识可以为视频ID,第一应用服务器可以基于视频数据的视频ID,从第二应用服务器中确定出视频数据的详细信息,例如视频数据的原始缓存时长。进而结合视频数据的原始缓存时长以及在预设时间段内的该视频数据的访问情况,例如访问次数、命中率、未命中率等等。
在本发明的该实施例中,如图2所示,上述基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长的步骤,可以包括:
S201:从访问数据对应的未命中次数中,确定出数据高于预设次数阈值的未命中次数,作为第一访问数据对应的未命中次数;
其中,上述预设次数阈值可以是根据实际需求进行设置的阈值。
S202:针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值;
其中,第一访问数据对应的未命中次数越大,该第一访问数据的权重值越大;
S203:基于该第一访问数据对应的权重值以及预设的对应关系,确定该第一访问数据的待更新缓存时长;
其中,该预设的对应关系包含:权重值与缓存时长的对应关系;
具体地,在步骤S201之后,该方法还包括:
S204:针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长;
其中,该第二访问数据包括:该访问数据中除第一访问数据外的其他数据。
为了更好的实现对数据对应的缓存时长的更智能、更精细化地控制,本发明实施例中,第一应用服务器可以基于预设次数阈值,区分出在预设时间段内数值高于预设次数阈值的未命中次数和数值不高于预设次数阈值的未命中次数,即区分出在预设时间段内所对应未命中次数较高的访问数据,即在预设时间段内对应的访问量相对较高(热门数据),且原始缓存时长相对较短的访问数据;以及,在预设时间段内所对应未命中次数较低的访问数据,即在预设时间段内对应的访问量相对较低(冷门数据),或,预设时间段内对应的访问量相对较高且原始缓存时长相对较长的访问数据。进而基于上述两类访问数据,进行不同的处理。如下:
其一,访问数据在预设时间段内对应的未命中次数高于上述预设次数阈值时,可以表征出:该访问数据在预设时间段内的访问量较高,但其原始缓存时长较短。
在一种情况中,第一应用服务器可以适当基于每一访问数据对应的未命中次数,延长上述访问数据的原始缓存时长。具体的,针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,为该第一访问数据设置权重值,进而将该第一访问数据对应的权重值与预设的对应关系进行匹配,将预设的对应关系中匹配成功的权重值对应的缓存时长,确定为该第一访问数据的待更新缓存时长。其中,上述预设的对应关系包含:权重值与缓存时长的对应关系,上述权重值与缓存时长的对应关系可以为:多个权重值对应一个缓存时长的对应关系,也可以为一个权重值对应一个缓存时长的对应关系。
举例而言,上述权重值与缓存时长的多对一的对应关系,可以包括:权重值100~95对应缓存时长15天,权重值94~90对应缓存时长14天,权重值89~85对应缓存时长13天,权重值84~80对应缓存时长12天,权重值79~75对应缓存时长11天,权重值74~70对应缓存时长10天,权重值69~60对应缓存时长8天,权重值59~50对应缓存时长7天,权重值49~40对应缓存时长6天,权重值39~30对应缓存时长5天,权重值29~20对应缓存时长4天,权重值19~10对应缓存时长3天,权重值9~1对应缓存时长2天。
其中,上述预设的对应关系中,各权重值对应的缓存时长可以均大于访问数据的原始缓存时长。
在一种实现方式中,上述预设权重值分配策略可以包括:未命中次数与权重值的对应关系;
上述基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值的步骤,可以包括:
从未命中次数与权重值的对应关系中,确定出与该第一访问数据对应的未命中次数匹配的权重值,作为该第一访问数据的权重值。
本发明实施例中,第一应用服务器本地或其所连接的存储设备,存储有预先设置的预设权重值分配策略,其中,预设权重值分配策略包括未命中次数与权重值之间的对应关系,针对每一第一访问数据,第一应用服务器可以将该第一访问数据对应的未命中次数,与未命中次数与权重值的对应关系中的未命中次数进行一一匹配,从未命中次数与权重值的对应关系中,确定出与该第一访问数据对应的未命中次数匹配的权重值,作为该第一访问数据的权重值。其中,上述未命中次数与权重值的对应关系中,未命中次数越多,其对应的权重值越大。
其中,上述权重值与未命中次数的对应关系,可以是一对多的对应关系,也可以是一对一的对应关系。
在另一种实现方式中,上述针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值的步骤,可以包括:
基于所对应未命中次数的大小,对第一访问数据进行降序或升序排序,得到第一访问数据对应的排列顺序;
为首位访问数据设置权重值,其中,首位访问数据为:处于排列顺序中首位的第一访问数据;
针对每一非首位访问数据,计算该非首位访问数据与首位访问数据的比值,作为该非首位访问数据对应的比值,其中,非首位访问数据为:排列顺序中的除首位访问数据外其他的访问数据;
针对每一非首位访问数据,基于首位访问数据的权重值以及该非首位访问数据对应的比值,为该非首位访问数据设置权重值。
举例说明确定第一访问数据的权重值的流程:
第一应用服务器获取第二应用服务器在预设时间段内的访问日志后,可以基于获取的访问日志,统计得到每一访问数据在预设时间段内对应的未命中次数。参照表2可知,针对数据标识为abcX1的访问数据,其对应的未命中次数为10000次;针对数据标识为abcY2的访问数据,其对应的未命中次数为8500次;针对数据标识为abcZ3的访问数据,其对应的未命中次数为6000次;针对数据标识为abcm4的访问数据,其对应的未命中次数为3000次;其中,所设置的预设次数阈值为2500次,由于上述访问数据对应的未命中次数均大于预设次数阈值,因此上述访问数据均为第一访问数据;
首先基于所对应未命中次数的大小,对第一访问数据进行降序排序,得到第一访问数据对应的排列顺序,得到排列顺序如下:
根据第一访问数据对应的排列顺序可知,数据标识为abcX1的第一访问数据为首位数据,数据标识为abcY2、abcZ3以及abcm4的第一访问数据为非首位数据;
第一应用服务器确定首位数据的权重值,例如100;
第一应用服务器针对每一非首位访问数据,计算该非首位访问数据与首位访问数据的比值,作为该非首位访问数据对应的比值;可以得到:数据标识为abcY2的第一访问数据对应的比值为:0.85,数据标识为abcZ3的第一访问数据对应的比值为:0.60,数据标识为abcm4的第一访问数据对应的比值为:0.3,
第一种,第一应用服务器针对每一非首位访问数据,基于首位访问数据的权重值以及该非首位访问数据对应的比值,为该非首位访问数据设置权重值,可以得到:为数据标识为abcY2的第一访问数据设置的权重值为85,为数据标识为abcZ3的第一访问数据设置的权重值为60,为数据标识为abcm4的第一访问数据设置的权重值为30。
第二种,第一应用服务器针对每一非首位访问数据,基于首位访问数据的权重值以及该非首位访问数据对应的比值,可以以随机的方式,为该非首位访问数据设置权重值,其中,保证访问数据对应的未命中次数越大,权重值越大即可。例如:得到如下结果:
可以理解的是,相应于数据被设置有固定缓存时长的场景中,例如视频网站中,当应用本发明实施例所提供的数据处理流程时,可以基于每一数据对应的在预设时间段内的未命中次数,动态设置该数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。当数据对应的在预设时间段内的未命中次数高于预设次数阈值时,可以适当延长该数据的缓存时长,以在一定程度上提高上述场景中的数据的命中率。
其二,访问数据对应的未命中次数不高于上述预设次数阈值,可以表征,该访问数据的原始缓存时长较为合适。具体的,该访问数据的访问量不高;或者,该访问数据访问量较高且其命中次数较高,即该访问数据对应的命中率较高。对于上述访问量不高的访问数据以及上述命中率较高的访问数据,可以维持其原始缓存时长不变。此时,上述预设缓存时长分配策略可以为:指示该第二访问数据对应的原始的缓存时长不变的策略。
具体的,上述针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长的步骤,可以包括:
在一种情况下,可以保持上述第二访问数据的原始缓存时长,具体为:针对每一第二访问数据,获取第二应用服务器所存储的该第二访问数据的原始缓存时长,并确定为该第二访问数据的待更新缓存时长。
在另一种情况中,访问数据对应的未命中次数不高于上述预设次数阈值,还可能是由于访问数据的原始缓存时长过长造成的,即第二访问数据的原始缓存时长超过一定时长阈值造成的。为了更好地实现对每一第二访问数据的缓存时长的管理,即在维持上述第二访问数据对应的命中率的同时,可以适当地缩短上述第二访问数据的原始缓存时长。此时,上述预设缓存时长分配策略可以为:指示在维持上述第二访问数据对应的命中率的同时,缩短第二访问数据的原始缓存时长的策略。
具体的,可以是:第一应用服务器可以针对每一第二访问数据,获取第二应用服务器所存储的该第二访问数据的原始缓存时长;
基于所获取的访问日志中第二访问数据的命中情况,确定该第二访问数据对应的命中率;
判断该第二访问数据对应的命中率,是否高于预设命中率阈值范围的上限值;
当判断为是时,确定第二访问数据的待更新缓存时长,其中,第二访问数据的待更新缓存时长小于该第二访问数据的原始缓存时长。
上述调整第二访问数据的待更新缓存时长的实现方式可以存在多种多样,一种实现方式中,上述调整第二访问数据的待更新缓存时长的过程,可以是:计算该第二访问数据对应的命中率与该预设命中率阈值范围的上限值的差值,作为第一差值;计算该第一差值与该第二访问数据对应的命中率的比值,作为第一比值;将该第二访问数据的原始缓存时长与中间缓存时长的差值,确定为该第二访问数据的待更新缓存时长,其中,上述中间缓存时长等于:该第二访问数据的原始缓存时长与第一比值的乘积。
另一种实现方式中,上述调整第二访问数据的待更新缓存时长的过程,也可以是:计算预设命中率阈值范围的上限值与第二访问数据对应的命中率的比值,作为第二比值;将该第二访问数据的原始缓存时长与第二比值的乘积,确定为该第二访问数据的待更新缓存时长。
其中,上述基于所获取的访问日志中第二访问数据的命中情况,确定该第二访问数据在预设时间段内对应的命中率的过程,可以是:基于所获取的访问日志,统计该第二访问数据在预设时间段内的未命中次数和访问次数,将访问次数和未命中次数相减计算得到命中次数;将命中次数与访问次数的比值,作为该第二访问数据在预设时间段内对应的命中率。
实施例三:
在另一方面,相应于上述方法实施例,本发明实施例提供了数据处理方法,可以应用于第二应用服务器,如图3所示,该方法可以包括如下步骤:
S301:接收第一应用服务器发送的每一访问数据的待更新缓存时长;
其中,每一访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;
其中,上述每一访问数据的待更新缓存时长为:基于每一访问数据在预设时间段内对应的未命中次数确定的缓存时长,每一访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长。
S302:将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
第二应用服务器为一网站提供WEB(网络)应用服务,其可以管理有多个数据,并可以对每一数据的缓存时长进行控制。并且,当用户访问其所管理的数据时,可以针对该被访问的数据生成访问日志,其中,上述被访问的数据为访问数据,上述访问日志可以包括:所对应的访问数据的数据标识、该访问数据的命中情况以及访问时间。
第一应用服务器可以向第二应用服务器发送获取访问日志的请求,进而,可以获得第二应用服务器在预设时间段内的访问日志,进而第一应用服务器可以基于所获得的访问日志,确定出在预设时间段内的每一访问数据对应的未命中次数。第一应用服务器可以基于每一访问数据对应的在预设时间段内的未命中次数,确定出每一访问数据的待更新缓存时长,其中,访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;进而将每一访问数据的待更新缓存时长发送给第二应用服务器。
此时,第二应用服务器接收第一应用服务器发送的每一访问数据的待更新缓存时长,并将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长,实现对存储的每一访问数据的缓存时长的精细化的调整与控制。其中,上述所存储的每一访问数据的原始缓存时长,可以存储于第二应用服务器本地,也可以存储于第二应用服务器所连接的外部存储设备。
其中,不同时段被用户访问的数据存在不同,在某一时段内,数据A可能被用户访问的次数多;在另一时段,数据B可能被用户访问的次数多,为了保证为每一访问数据确定的缓存时长的更贴合实际情况。上述预设时间段可以为:第一时间与当前时间之间的时间段,其中,上述当前时间为:第一应用服务器每次触发该数据处理流程时的时间;第一时间为:该当前时间向前预设时长对应的时间。上述预设时长可以为根据实际情况需要所设置的,例如预设时长可以为一天、一个月或者一年等。
应用本发明实施例,接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越高,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
在一种情况中,经过多次对访问数据的缓存时长的调整后,可以在一定程度上达到访问数据的缓存时长与该访问数据对应的命中率的相对平衡。
在一种实现方式中,上述基于所接收的每一访问数据的待更新缓存时长,调整本地所存储的每一访问数据的原始缓存时长的步骤,可以包括:
针对每一访问数据,确定该访问数据是否处于缓存状态;
当确定该访问数据处于缓存状态时,可以直接将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长,或,在接收到针对该访问数据的访问指令后,再将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长;
当确定该访问数据处于未缓存状态,且在开始缓存该访问数据时,直接将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长。
在一种情况中,当存储访问数据的数据库,具有支持调整缓存时长的功能时,第二应用服务器接收到每一访问数据的待更新缓存时长后,可以直接将处于缓存状态的访问数据的第二应用服务器本地存储的原始缓存时长,调整为该访问数据的待更新缓存时长;或者,当第二应用服务器接收到针对该访问数据的访问指令时,将处于缓存状态的访问数据对应的第二应用服务器本地存储的原始缓存时长,调整为该访问数据的待更新缓存时长。当该访问数据处于未缓存状态,且在开始缓存该访问数据时,将第二应用服务器本地存储的该访问数据的原始缓存时长,调整该访问数据的待更新缓存时长。其中,上述访问数据的原始缓存时长为:执行本次数据处理流程时,第二应用服务器本地所存储的该访问数据的缓存时长。
在另一种情况中,当存储访问数据的数据库,不具有支持调整缓存时长的功能时,当第二应用服务器重新缓存访问数据时,将所重新缓存的该访问数据的第二应用服务器本地存储的原始缓存时长,调整为该访问数据的待更新缓存时长。
实施例四:
参见图4,本发明实施例四中提供了一种数据处理方法,可以应用于第三应用服务器中,该第三应用服务器可以为网站提供WEB(网络)应用服务,可以记录并存储用户访问该网站的数据的访问情况,即访问日志,并可以控制该网站的数据的缓存,例如:何时缓存以及基于预先设置的缓存时长,控制该数据何时缓存失效;也可以实现本发明实施例所提供的该数据处理方法。其中,该数据处理方法,可以包括如下步骤:
S401:第三应用服务器获取预设时间段内用户的访问日志;
其中,访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
本发明实施例中,上述访问日志可以存储于第三应用服务器本地,也可以存储于第三应用服务器所连接的存储设备。本发明实施例中所提到的预设时间段与上述实施例中所述的预设时间段相同,在此不再赘述。
S402:基于访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,第三应用服务器确定每一访问数据对应的未命中次数;
本发明实施例中,第三应用服务器确定每一访问数据对应的未命中次数的过程,可以参照上述实施例中第一应用服务器确定每一访问数据对应的未命中次数的过程,在此不再赘述。
S403:基于所确定的每一访问数据对应的未命中次数,第三应用服务器确定每一访问数据的待更新缓存时长;
其中,访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
本发明实施例中,第三应用服务器确定每一访问数据的待更新缓存时长的过程,可以参照上述实施例中第一应用服务器确定每一访问数据的待更新缓存时长的过程,在此不再赘述。
S404:针对每一访问数据,第三应用服务器将该访问数据的原始缓存时长,调整为所确定的该访问数据的待更新缓存时长。
本发明实施例中,第三应用服务器针对每一访问数据,将该访问数据的原始缓存时长,调整为所确定的该访问数据的的待更新缓存时长的过程,可以参照上述实施例中第二应用服务器针对每一访问数据,将该访问数据的原始缓存时长,调整为所确定的该访问数据的待更新缓存时长的过程,在此不再赘述。
本发明实施例中,在第三应用服务器获取到预设时间段内用户的访问日志后,可以基于该访问日志所包括的访问数据的数据标识以及命中情况,确定出各访问数据在该预设时间段内的未命中次数,进而基于每一访问数据对应的未命中次数,确定该访问数据的待更新缓存时长,进而基于每一访问数据的待更新缓存时长,调整本地所存储的该访问数据的原始缓存时长,以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越大,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
本发明实施例中,可以针对首次设置待更新缓存时长的数据,设置相对较长的存储有效期,即待更新缓存时长,后续将通过分析用户对数据的访问规律,明确数据之间的关联性,预测出更适合每一数据的待更新缓存时长,即为访问频率较高的数据设置较长的缓存时长,为访问频率较低的数据设置较短的缓存时长,以提高所对应未命中次数高的数据的命中率,实现对数据的缓存进行更智能、更精细化地控制。
相应于数据被设置有固定缓存时长的场景中,例如视频网站中,当应用本发明实施例所提供的数据处理流程时,可以基于每一数据对应的在预设时间段内的未命中次数,动态设置该数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。在一种情况中,经过多次对访问数据的缓存时长的调整后,可以在一定程度上达到访问数据的缓存时长与该访问数据对应的命中率的相对平衡。
相应于上述方法实施例,本发明实施例提供了一种数据处理装置,应用于第一应用服务器,如图5所示,所述装置包括:
第一获取模块510,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
第一确定模块520,用于基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;
第二确定模块530,用于基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
发送模块540,用于将所确定的每一访问数据对的待更新缓存时长,发送至所述第二应用服务器。
本发明实施例中,在获取到第二应用服务器存储的预设时间段内用户的访问日志后,可以基于该访问日志所包括的访问数据的数据标识以及命中情况,确定出各访问数据在该预设时间段内的未命中次数,进而基于每一访问数据对应的未命中次数,确定该访问数据的待更新缓存时长,进而将每一访问数据的待更新缓存时长,发送至第二应用服务器,以使第二应用服务器基于每一访问数据的待更新缓存时长,调整本地所存储的该访问数据的原始缓存时长,以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越大,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
相应于数据被设置有固定缓存时长的场景中,例如视频网站中,当应用本发明实施例所提供的数据处理流程时,可以基于每一数据对应的在预设时间段内的未命中次数,动态设置该数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。在一种情况中,经过多次对访问数据的缓存时长的调整后,可以在一定程度上达到访问数据的缓存时长与该访问数据对应的命中率的相对平衡。
在一种实现方式中,所述第二确定模块530包括:
第一确定单元,用于从所述访问数据对应的未命中次数中,确定出数据高于预设次数阈值的未命中次数,作为第一访问数据对应的未命中次数;
设置单元,用于针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值,其中,第一访问数据对应的未命中次数越大,该第一访问数据的权重值越大;
第二确定单元,用于基于该第一访问数据对应的权重值以及预设的对应关系,确定该第一访问数据的待更新缓存时长,其中,所述预设的对应关系包含:权重值与缓存时长的对应关系;
第三确定单元,用于针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长,其中,所述第二访问数据包括:所述访问数据中除所述第一访问数据外的其他数据。
在一种实现方式中,所述预设权重值分配策略包括:未命中次数与权重值的对应关系;
所述设置单元,具体用于
从所述未命中次数与权重值的对应关系中,确定出与该第一访问数据对应的未命中次数匹配的权重值,作为该第一访问数据的权重值。
在一种实现方式中,所述设置单元,具体用于
基于所对应未命中次数的大小,对所述第一访问数据进行降序或升序排序,得到第一访问数据对应的排列顺序;
为首位访问数据设置权重值,其中,所述首位访问数据为:处于所述排列顺序中首位的第一访问数据;
针对每一非首位访问数据,计算该非首位访问数据与所述首位访问数据的比值,作为该非首位访问数据对应的比值,其中,所述非首位访问数据为:所述排列顺序中的除所述首位访问数据外的其他访问数据;
针对每一非首位访问数据,基于所述首位访问数据的权重值以及该非首位访问数据对应的比值,为该非首位访问数据设置权重值。
在一种实现方式中,第三确定单元,具体用于
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长,并确定为该第二访问数据的待更新缓存时长;或,
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长;
基于所获取的访问日志中所述第二访问数据的命中情况,确定该第二访问数据在预设时间段内对应的命中率;
判断该第二访问数据对应的命中率,是否高于预设命中率阈值范围的上限值;
当判断为是时,确定第二访问数据的待更新缓存时长,其中,所述第二访问数据的待更新缓存时长小于该第二访问数据的原始缓存时长。
在一种实现方式中,所述第一确定模块520,具体用于
对所述访问日志,进行预设格式化处理,得到访问数据的数据标识以及该访问数据的命中情况;
基于所述访问数据的数据标识以及该访问数据的命中情况,统计得到每一访问数据对应的未命中次数。
相应于上述方法实施例,本发明实施例提供了一种数据处理装置,应用于第二应用服务器,如图6所示,所述装置包括:
接收模块610,用于接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;
第一调整模块620,用于将每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
应用本发明实施例,接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;将每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越高,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
在一种实现方式中,所述第一调整模块620,具体用于
针对每一访问数据,确定该访问数据是否处于缓存状态;
当确定该访问数据处于缓存状态时,直接将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长,或,当接收到针对该访问数据的访问指令时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长;
当确定该访问数据处于未缓存状态,且在开始缓存该访问数据时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长。
相应于上述方法实施例,本发明实施例还提供了一种数据处理装置,应用于第三应用服务器,如图7所示,所述装置包括:
第二获取模块710,用于获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
第三确定模块720,用于基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;
第四确定模块730,用于基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
第二调整模块740,用于针对每一访问数据,将该访问数据的原始缓存时长,调整为所确定的概访问数据的待更新缓存时长。
其中,第三确定模块720可以与上述的第一确定模块520相应,第四确定模块730可以与上述的第二确定模块530相应,第二调整模块740可以与上述的第一调整模块620相应,在此不再赘述。
本发明实施例中,在第三应用服务器获取到预设时间段内用户的访问日志后,可以基于该访问日志所包括的访问数据的数据标识以及命中情况,确定出各访问数据在该预设时间段内的未命中次数,进而基于每一访问数据对应的未命中次数,确定该访问数据的待更新缓存时长,进而基于每一访问数据的待更新缓存时长,调整本地所存储的该访问数据的原始缓存时长,以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越大,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
本发明实施例中,可以针对首次设置待更新缓存时长的数据,设置相对较长的存储有效期,即待更新缓存时长,后续将通过分析用户对数据的访问规律,明确数据之间的关联性,预测出更适合每一数据的待更新缓存时长,即为访问频率较高的数据设置较长的缓存时长,为访问频率较低的数据设置较短的缓存时长,以提高所对应未命中次数高的数据的命中率,实现对数据的缓存进行更智能、更精细化地控制。
相应于数据被设置有固定缓存时长的场景中,例如视频网站中,当应用本发明实施例所提供的数据处理流程时,可以基于每一数据对应的在预设时间段内的未命中次数,动态设置该数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。在一种情况中,经过多次对访问数据的缓存时长的调整后,可以在一定程度上达到访问数据的缓存时长与该访问数据对应的命中率的相对平衡。
相应于上述方法实施例,本发明实施例还提供了一种数据处理系统,如图8所示,可以包括第一应用服务器810和第二应用服务器820;
所述第一应用服务器810,用于获取第二应用服务器820存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;将所确定的每一访问数据的待更新缓存时长,发送至所述第二应用服务器820;
所述第二应用服务器820,用于接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
其中,第一应用服务器可以与第二应用服务器进行通信连接,并且,该第一应用服务器与第二应用服务器为同一网站提供WEB(网络)应用服务。上述第一应用服务器与第二应用服务器均可以为电脑、手机等第一应用服务器。
在一种情况中,第二应用服务器可以为:为上述网站提供应用服务的,除第一应用服务器外的其他应用服务器的统称,可以用于记录并存储用户访问该网站的数据的访问情况,即访问日志,并可以控制该网站的数据的缓存,例如:何时缓存以及基于预先设置的缓存时长,控制该数据何时缓存失效。即第一应用服务器可以为新增加的为该网站提供应用服务的服务器。
本发明实施例中,在获取到第二应用服务器存储的预设时间段内用户的访问日志后,可以基于该访问日志所包括的访问数据的数据标识以及命中情况,确定出各访问数据在该预设时间段内的未命中次数,进而基于每一访问数据对应的未命中次数,确定该访问数据的待更新缓存时长,进而将每一访问数据的待更新缓存时长,发送至第二应用服务器,以使第二应用服务器基于每一访问数据的待更新缓存时长,调整本地所存储的该访问数据的原始缓存时长,以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越大,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
举例而言,第一应用服务器和第二应用服务器均为一视频网站提供WEB应用服务。用户访问该视频网站时,该视频网站获得新电影A,该新电影A还未被缓存过,即未被缓存于预设缓存区域内过,当该新电影A被访问时,第二应用服务器可以针对该新电影A生成访问日志,该访问日志将记录下本次访问时间、新电影A的数据标识以及本次访问的新电影的未命中情况。
第一应用服务器向第二应用服务器发送访问日志请求,用于调取用户在2018年7月18日上午10点到2018年7月19日上午10点访问新电影A的访问日志;
第二应用服务器接收到该请求后,筛选符合请求要求的访问日志,并反馈给第一应用服务器;
第一应用服务器对反馈的访问日志进行预设格式化处理,得到电影A1的数据标识、访问电影A1的时间以及该次访问是否命中的情况,电影A2的数据标识、访问电影A2的时间以及该次访问是否命中的情况,以及电影A3的数据标识、访问电影A3的时间以及该次访问是否命中的情况;再统计反馈的访问日志中电影A1的未命中次数B1,电影A2的未命中次数B2,以及电影A3的未命中次数B3;
第一应用服务器可以将未命中总次数B1、未命中总次数B2和未命中总次数B3,分别与预设次数阈值进行比较,确定出未命中总次数B1、未命中总次数B2或未命中总次数B3是否高于预设次数阈值;当确定未命中总次数B1和未命中总次数B2高于预设次数阈值时,将未命中总次数B1对应的电影A1作为第一访问数据,即未命中总次数B1为第一访问数据对应的未命中次数,且将将未命中总次数B2对应的电影A2作为第一访问数据;当确定未命中总次数B3不高于预设次数阈值时,将未命中总次数B3对应的电影A3作为第二访问数据,即未命中总次数B3为第二访问数据对应的未命中次数;
第一应用服务器对电影A1和电影A2进行排序,其中,未命中总次数B1大于未命中总次数B2;电影A1作为首位访问数据;为电影A1设置权重值C1;
第一应用服务器计算电影A2和电影A1的比值,即可以是计算未命中总次数B2与未命中总次数B1的比值;
第一应用服务器将未命中总次数B2与未命中总次数B1的比值,与权重值C1的乘积,作为电影A2对应的权重值C2;
第一应用服务器从预设的权重值与缓存时长的对应关系中,确定出电影A1对应的权重值C1对应的缓存时长,作为电影A1的待更新缓存时长D1,并确定出电影A2对应的权重值C2对应的缓存时长,作为电影A2的待更新缓存时长D2;
第一应用服务器获取第二应用服务器所存储的电影A3的原始缓存时长,并统计电影A3的命中率T,即命中次数与访问次数的比值;
第一应用服务器将命中率T与预设命中率阈值范围的上限值进行比较,当命中率T高于预设命中率阈值范围的上限值时,第一应用服务器为电影A3,确定待更新缓存时长D3,其中,该待更新缓存时长D3小于电影A3的原始缓存时长;
第一应用服务器将电影A1的待更新缓存时长D1,电影A2的待更新缓存时长D2,以及电影A3的待更新缓存时长D3,反馈至第二应用服务器;
第二应用服务器接收电影A1的待更新缓存时长D1,电影A2的待更新缓存时长D2,以及电影A3的待更新缓存时长D3;并将所存储的电影A1的原始缓存时长,调整为所接收的电影A1的待更新缓存时长D1,将所存储的电影A2的原始缓存时长,调整为所接收的电影A2的待更新缓存时长D2,将所存储的电影A3的原始缓存时长,调整为所接收的电影A3的待更新缓存时长D3。
相应于上述方法实施例,本发明实施例还提供了另一种数据处理系统,该数据处理系统可以包括实施例四中所述的第三应用服务。以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越大,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
相应于上述方法实施例,本发明实施例还提供了一种应用服务器,如图9所示,包括处理器910、通信接口920、存储器930和通信总线940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信,
存储器930,用于存放计算机程序;
处理器910,用于执行存储器930上所存放的程序时,实现本发明实施例所提供的上述任一所述的第一应用服务器侧的数据处理方法,可以包括步骤:
获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;
基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
将所确定的每一访问数据对的待更新缓存时长,发送至所述第二应用服务器。
其中,上述第一应用服务器和上述第二应用服务器可以为:为某一网站提供WEB应用服务的服务器。
本发明实施例中,在获取到第二应用服务器存储的预设时间段内用户的访问日志后,可以基于该访问日志所包括的访问数据的数据标识以及命中情况,确定出各访问数据在该预设时间段内的未命中次数,进而基于每一访问数据对应的未命中次数,确定该访问数据的待更新缓存时长,进而将每一访问数据的待更新缓存时长,发送至第二应用服务器,以使第二应用服务器基于每一访问数据的待更新缓存时长,调整本地所存储的该访问数据的原始缓存时长,以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越大,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
本发明实施例中,可以针对首次设置待更新缓存时长的数据,设置相对较长的存储有效期,待更新缓存时长,后续将通过分析用户对数据的访问规律,明确数据之间的关联性,预测出更适合该数据的待更新缓存时长,即为访问频率较高的数据设置较长的缓存时长,为访问频率较低的数据设置较短的缓存时长。
相应于数据被设置有固定缓存时长的场景中,例如视频网站中,当应用本发明实施例所提供的数据处理流程时,可以基于每一数据对应的在预设时间段内的未命中次数,动态设置该数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。在一种情况中,经过多次对访问数据的缓存时长的调整后,可以在一定程度上达到访问数据的缓存时长与该访问数据对应的命中率的相对平衡。
上述应用服务器提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述应用服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例,本发明实施例还提供了一种应用服务器,如图10所示,包括处理器1010、通信接口1020、存储器1030和通信总线1040,其中,处理器1010,通信接口1020,存储器1030通过通信总线1040完成相互间的通信,
存储器1030,用于存放计算机程序;
处理器1010,用于执行存储器1030上所存放的程序时,实现本发明实施例所提供的上述任一所述的第二应用服务器侧的数据处理方法,可以包括步骤:
接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;
将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
应用本发明实施例,接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越高,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
上述应用服务器提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述应用服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例,在本发明提供的又一实施例中,还提供了一种应用服务器,如图11所示,包括处理器1110、通信接口1120、存储器1130和通信总线1140,其中,处理器1110,通信接口1120,存储器1130通过通信总线1140完成相互间的通信,
存储器1130,用于存放计算机程序;
处理器1110,用于执行存储器930上所存放的程序时,实现本发明实施例所提供的上述任一所述的第三应用服务器侧的数据处理方法,可以包括步骤:
获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数;
基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
针对每一访问数据,将该访问数据的原始缓存时长,调整为所确定的该访问数据的待更新缓存时长。
本发明实施例中,在第三应用服务器获取到预设时间段内用户的访问日志后,可以基于该访问日志所包括的访问数据的数据标识以及命中情况,确定出各访问数据在该预设时间段内的未命中次数,进而基于每一访问数据对应的未命中次数,确定该访问数据的待更新缓存时长,进而基于每一访问数据的待更新缓存时长,调整本地所存储的该访问数据的原始缓存时长,以实现基于数据的未命中次数设置数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。并且,访问数据对应的未命中次数越大,其待更新缓存时长越长,在一定程度上可以延长所对应未命中次数高的访问数据的缓存时长,在一定程度上可以提高所对应未命中次数高的数据的命中率。
本发明实施例中,可以针对首次设置待更新缓存时长的数据,设置相对较长的存储有效期,即待更新缓存时长,后续将通过分析用户对数据的访问规律,明确数据之间的关联性,预测出更适合每一数据的待更新缓存时长,即为访问频率较高的数据设置较长的缓存时长,为访问频率较低的数据设置较短的缓存时长,以提高所对应未命中次数高的数据的命中率,实现对数据的缓存进行更智能、更精细化地控制。
相应于数据被设置有固定缓存时长的场景中,例如视频网站中,当应用本发明实施例所提供的数据处理流程时,可以基于每一数据对应的在预设时间段内的未命中次数,动态设置该数据的缓存时长,实现对数据的缓存进行更智能、更精细化地控制。在一种情况中,经过多次对访问数据的缓存时长的调整后,可以在一定程度上达到访问数据的缓存时长与该访问数据对应的命中率的相对平衡。
上述应用服务器提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述应用服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例,在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第一应用服务器侧的数据处理方法。
相应于上述方法实施例,在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第一应用服务器侧的数据处理方法。
相应于上述方法实施例,在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第二应用服务器侧的数据处理方法。
相应于上述方法实施例,在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第二应用服务器侧的数据处理方法。
相应于上述方法实施例,在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第三应用服务器侧的数据处理方法。
相应于上述方法实施例,在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第三应用服务器侧的数据处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (22)
1.一种数据处理方法,其特征在于,应用于第一应用服务器,所述方法包括:
获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数,其中,所述未命中次数是指:该访问数据被访问时,未缓存于所述第二应用服务器的预设缓存区域内的次数;
基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
将所确定的每一访问数据的待更新缓存时长,发送至所述第二应用服务器。
2.根据权利要求1所述的方法,其特征在于,所述基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长的步骤,包括:
从所述访问数据对应的未命中次数中,确定出数据高于预设次数阈值的未命中次数,作为第一访问数据对应的未命中次数;
针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值,其中,第一访问数据对应的未命中次数越大,该第一访问数据的权重值越大;
基于该第一访问数据对应的权重值以及预设的对应关系,确定该第一访问数据的待更新缓存时长,其中,所述预设的对应关系包含:权重值与缓存时长的对应关系;
针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长,其中,所述第二访问数据包括:所述访问数据中除所述第一访问数据外的其他数据。
3.根据权利要求2所述的方法,其特征在于,所述预设权重值分配策略包括:未命中次数与权重值的对应关系;
所述基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值的步骤,包括:
从所述未命中次数与权重值的对应关系中,确定出与该第一访问数据对应的未命中次数匹配的权重值,作为该第一访问数据的权重值。
4.根据权利要求2所述的方法,其特征在于,所述针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值的步骤,包括:
基于所对应未命中次数的大小,对所述第一访问数据进行降序或升序排序,得到第一访问数据对应的排列顺序;
为首位访问数据设置权重值,其中,所述首位访问数据为:处于所述排列顺序中首位的第一访问数据;
针对每一非首位访问数据,计算该非首位访问数据与所述首位访问数据的比值,作为该非首位访问数据对应的比值,其中,所述非首位访问数据为:所述排列顺序中的除所述首位访问数据外的其他访问数据;
针对每一非首位访问数据,基于所述首位访问数据的权重值以及该非首位访问数据对应的比值,为该非首位访问数据设置权重值。
5.根据权利要求2所述的方法,其特征在于,所述针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长的步骤,包括:
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长,并确定为该第二访问数据的待更新缓存时长;或,
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长;
基于所获取的访问日志中所述第二访问数据的命中情况,确定该第二访问数据对应的命中率;
判断该第二访问数据对应的命中率,是否高于预设命中率阈值范围的上限值;
当判断为是时,确定第二访问数据的待更新缓存时长,其中,所述第二访问数据的待更新缓存时长小于该第二访问数据的原始缓存时长。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数的步骤,包括:
对所述访问日志,进行预设格式化处理,得到访问数据的数据标识以及该访问数据的命中情况;
基于所述访问数据的数据标识以及该访问数据的命中情况,统计得到每一访问数据对应的未命中次数。
7.一种数据处理方法,其特征在于,应用于第二应用服务器,所述方法包括:
接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长,每一所述访问数据的待更新缓存时长为:基于该访问数据在预设时间段内对应的未命中次数确定的缓存时长,每一所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长,其中,所述未命中次数是指:所述访问数据被访问时,未缓存于所述第二应用服务器的预设缓存区域内的次数;
将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
8.根据权利要求7所述的方法,其特征在于,所述将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长的步骤,包括:
针对每一访问数据,确定该访问数据是否处于缓存状态;
当确定该访问数据处于缓存状态时,直接将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长,或,当接收到针对该访问数据的访问指令时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长;
当确定该访问数据处于未缓存状态,且在开始缓存该访问数据时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长。
9.一种数据处理方法,其特征在于,应用于第三应用服务器,所述方法包括:
获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数,其中,所述未命中次数是指:该访问数据被访问时,未缓存于所述第三应用服务器的预设缓存区域内的次数;
基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
针对每一访问数据,将该访问数据的原始缓存时长,调整为所确定的该访问数据的待更新缓存时长。
10.一种数据处理装置,其特征在于,应用于第一应用服务器,所述装置包括:
第一获取模块,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
第一确定模块,用于基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数,其中,所述未命中次数是指:该访问数据被访问时,未缓存于所述第二应用服务器的预设缓存区域内的次数;
第二确定模块,用于基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
发送模块,用于将所确定的每一访问数据对的待更新缓存时长,发送至所述第二应用服务器。
11.根据权利要求10所述的装置,其特征在于,所述第二确定模块包括:
第一确定单元,用于从所述访问数据对应的未命中次数中,确定出数据高于预设次数阈值的未命中次数,作为第一访问数据对应的未命中次数;
设置单元,用于针对每一第一访问数据,基于该第一访问数据对应的未命中次数以及预设权重值分配策略,确定该第一访问数据的权重值,其中,第一访问数据对应的未命中次数越大,该第一访问数据的权重值越大;
第二确定单元,用于基于该第一访问数据对应的权重值以及预设的对应关系,确定该第一访问数据的待更新缓存时长,其中,所述预设的对应关系包含:权重值与缓存时长的对应关系;
第三确定单元,用于针对每一第二访问数据,基于预设缓存时长分配策略,确定该第二访问数据的待更新缓存时长,其中,所述第二访问数据包括:所述访问数据中除所述第一访问数据外的其他数据。
12.根据权利要求11所述的装置,其特征在于,所述预设权重值分配策略包括:未命中次数与权重值的对应关系;
所述设置单元,具体用于
从所述未命中次数与权重值的对应关系中,确定出与该第一访问数据对应的未命中次数匹配的权重值,作为该第一访问数据的权重值。
13.根据权利要求11所述的装置,其特征在于,所述设置单元,具体用于
基于所对应未命中次数的大小,对所述第一访问数据进行降序或升序排序,得到第一访问数据对应的排列顺序;
为首位访问数据设置权重值,其中,所述首位访问数据为:处于所述排列顺序中首位的第一访问数据;
针对每一非首位访问数据,计算该非首位访问数据与所述首位访问数据的比值,作为该非首位访问数据对应的比值,其中,所述非首位访问数据为:所述排列顺序中的除所述首位访问数据外的其他访问数据;
针对每一非首位访问数据,基于所述首位访问数据的权重值以及该非首位访问数据对应的比值,为该非首位访问数据设置权重值。
14.根据权利要求11所述的装置,其特征在于,第三确定单元,具体用于
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长,并确定为该第二访问数据的待更新缓存时长;或,
针对每一第二访问数据,获取所述第二应用服务器所存储的该第二访问数据的原始缓存时长;
基于所获取的访问日志中所述第二访问数据的命中情况,确定该第二访问数据对应的命中率;
判断该第二访问数据对应的命中率,是否高于预设命中率阈值范围的上限值;
当判断为是时,确定第二访问数据的待更新缓存时长,其中,所述第二访问数据的待更新缓存时长小于该第二访问数据的原始缓存时长。
15.根据权利要求10-14任一项所述的装置,其特征在于,所述第一确定模块,具体用于
对所述访问日志,进行预设格式化处理,得到访问数据的数据标识以及该访问数据的命中情况;
基于所述访问数据的数据标识以及该访问数据的命中情况,统计得到每一访问数据对应的未命中次数。
16.一种数据处理装置,其特征在于,应用于第二应用服务器,所述装置包括:
接收模块,用于接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长,每一所述访问数据的待更新缓存时长为:基于该访问数据在预设时间段内对应的未命中次数确定的缓存时长,每一所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长,其中,所述未命中次数是指:所述访问数据被访问时,未缓存于所述第二应用服务器的预设缓存区域内的次数;
第一调整模块,用于将每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
17.根据权利要求16所述的装置,其特征在于,所述第一调整模块,具体用于
针对每一访问数据,确定该访问数据是否处于缓存状态;
当确定该访问数据处于缓存状态时,直接将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长,或,当接收到针对该访问数据的访问指令时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长;
当确定该访问数据处于未缓存状态,且在开始缓存该访问数据时,将该访问数据的原始缓存时长,调整为该访问数据的待更新缓存时长。
18.一种数据处理装置,其特征在于,应用于第三应用服务器,所述装置包括:
第二获取模块,用于获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;
第三确定模块,用于基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数,其中,所述未命中次数是指:该访问数据被访问时,未缓存于所述第三应用服务器的预设缓存区域内的次数;
第四确定模块,用于基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;
第二调整模块,用于针对每一访问数据,将该访问数据的原始缓存时长,调整为所确定的概访问数据的待更新缓存时长。
19.一种数据处理系统,其特征在于,包括第一应用服务器和第二应用服务器;
所述第一应用服务器,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应的访问数据的数据标识以及该访问数据的命中情况;基于所述访问日志所包括的访问数据的数据标识以及该访问数据的命中情况,确定每一访问数据对应的未命中次数,其中,所述未命中次数是指:该访问数据被访问时,未缓存于所述第二应用服务器的预设缓存区域内的次数;基于所确定的每一访问数据对应的未命中次数,确定每一访问数据的待更新缓存时长,其中,所述访问数据对应的未命中次数越大,该访问数据的待更新缓存时长越长;将所确定的每一访问数据的待更新缓存时长,发送至所述第二应用服务器;
所述第二应用服务器,用于接收第一应用服务器发送的每一访问数据的待更新缓存时长,其中,每一所述访问数据的待更新缓存时长为:用于指示调整该访问数据的原始缓存时长的缓存时长;将所存储的每一访问数据的原始缓存时长,调整为所接收的每一访问数据的待更新缓存时长。
20.一种应用服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的数据处理方法步骤。
21.一种应用服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求7或8所述的数据处理方法步骤。
22.一种应用服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求9所述的数据处理方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810863203.1A CN109190070B (zh) | 2018-08-01 | 2018-08-01 | 一种数据处理方法、装置、系统及应用服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810863203.1A CN109190070B (zh) | 2018-08-01 | 2018-08-01 | 一种数据处理方法、装置、系统及应用服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109190070A CN109190070A (zh) | 2019-01-11 |
CN109190070B true CN109190070B (zh) | 2021-10-15 |
Family
ID=64937728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810863203.1A Active CN109190070B (zh) | 2018-08-01 | 2018-08-01 | 一种数据处理方法、装置、系统及应用服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109190070B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109842627B (zh) * | 2019-02-20 | 2021-07-20 | 北京奇艺世纪科技有限公司 | 一种确定服务请求频率的方法及装置 |
CN110321348B (zh) * | 2019-06-04 | 2024-01-09 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及计算机设备 |
CN110489063B (zh) * | 2019-08-27 | 2023-12-19 | 北京奇艺世纪科技有限公司 | 缓存过期时间的设置方法、装置、电子设备及存储介质 |
CN111131856B (zh) * | 2019-12-31 | 2022-03-11 | 北京奇艺世纪科技有限公司 | 一种缓存过期时间调整方法、装置、电子设备及存储介质 |
CN111147599B (zh) * | 2019-12-31 | 2022-04-26 | 北京奇艺世纪科技有限公司 | 缓存数据的更新方法、装置、服务器及存储介质 |
CN113329065B (zh) * | 2021-05-18 | 2022-08-23 | 武汉联影医疗科技有限公司 | 资源预热方法、装置、计算机设备和存储介质 |
CN113703815B (zh) * | 2021-10-29 | 2022-02-11 | 腾讯科技(深圳)有限公司 | 离线资源更新方法、装置、终端和存储介质 |
CN114327672B (zh) * | 2021-12-14 | 2024-04-05 | 中国平安财产保险股份有限公司 | 数据缓存时间设置方法、装置、计算机设备及存储介质 |
CN114826935B (zh) * | 2022-03-16 | 2024-06-07 | 网宿科技股份有限公司 | 模型生成方法、系统、服务器及存储介质 |
CN116166575B (zh) * | 2023-02-03 | 2024-01-23 | 摩尔线程智能科技(北京)有限责任公司 | 访存段长度的配置方法、装置、设备、介质和程序产品 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063330A (zh) * | 2014-06-25 | 2014-09-24 | 华为技术有限公司 | 数据预取方法及装置 |
CN104077242A (zh) * | 2013-03-25 | 2014-10-01 | 华为技术有限公司 | 一种缓存管理方法和装置 |
CN104123238A (zh) * | 2014-06-30 | 2014-10-29 | 海视云(北京)科技有限公司 | 数据存储方法及装置 |
CN105095107A (zh) * | 2014-05-04 | 2015-11-25 | 腾讯科技(深圳)有限公司 | 清理缓存数据的方法及装置 |
CN106202112A (zh) * | 2015-05-06 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 缓存目录刷新方法和装置 |
CN106599721A (zh) * | 2016-12-13 | 2017-04-26 | 微梦创科网络科技(中国)有限公司 | 一种基于缓存的数据访问方法及装置 |
CN107301215A (zh) * | 2017-06-09 | 2017-10-27 | 北京奇艺世纪科技有限公司 | 一种搜索结果缓存方法及装置、搜索方法及装置 |
CN108021514A (zh) * | 2016-10-28 | 2018-05-11 | 华为技术有限公司 | 一种缓存替换的方法和设备 |
CN108228669A (zh) * | 2016-12-22 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种缓存处理方法及装置 |
CN108287878A (zh) * | 2018-01-02 | 2018-07-17 | 沈阳东软医疗系统有限公司 | 一种动态缓存数据失效调度方法、装置和缓存系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104111900B (zh) * | 2013-04-22 | 2017-06-20 | 中国移动通信集团公司 | 一种缓存中数据替换方法及装置 |
CN104133880B (zh) * | 2014-07-25 | 2018-04-20 | 广东睿江云计算股份有限公司 | 一种设置文件缓存时间的方法与装置 |
US10540326B2 (en) * | 2015-08-21 | 2020-01-21 | Makemytrip (India) Private Limited | Dynamic caching system |
US10530888B2 (en) * | 2016-06-01 | 2020-01-07 | Home Box Office, Inc. | Cached data expiration and refresh |
CN106649145B (zh) * | 2016-12-15 | 2021-02-19 | Tcl科技集团股份有限公司 | 一种自适应更新缓存策略的方法及系统 |
-
2018
- 2018-08-01 CN CN201810863203.1A patent/CN109190070B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104077242A (zh) * | 2013-03-25 | 2014-10-01 | 华为技术有限公司 | 一种缓存管理方法和装置 |
CN105095107A (zh) * | 2014-05-04 | 2015-11-25 | 腾讯科技(深圳)有限公司 | 清理缓存数据的方法及装置 |
CN104063330A (zh) * | 2014-06-25 | 2014-09-24 | 华为技术有限公司 | 数据预取方法及装置 |
CN104123238A (zh) * | 2014-06-30 | 2014-10-29 | 海视云(北京)科技有限公司 | 数据存储方法及装置 |
CN106202112A (zh) * | 2015-05-06 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 缓存目录刷新方法和装置 |
CN108021514A (zh) * | 2016-10-28 | 2018-05-11 | 华为技术有限公司 | 一种缓存替换的方法和设备 |
CN106599721A (zh) * | 2016-12-13 | 2017-04-26 | 微梦创科网络科技(中国)有限公司 | 一种基于缓存的数据访问方法及装置 |
CN108228669A (zh) * | 2016-12-22 | 2018-06-29 | 腾讯科技(深圳)有限公司 | 一种缓存处理方法及装置 |
CN107301215A (zh) * | 2017-06-09 | 2017-10-27 | 北京奇艺世纪科技有限公司 | 一种搜索结果缓存方法及装置、搜索方法及装置 |
CN108287878A (zh) * | 2018-01-02 | 2018-07-17 | 沈阳东软医疗系统有限公司 | 一种动态缓存数据失效调度方法、装置和缓存系统 |
Non-Patent Citations (1)
Title |
---|
基于内容流行度和节点中心度匹配的信息中心网络缓存策略;芮兰兰 等;《电子与信息学报》;20160215;第38卷(第2期);325-330 * |
Also Published As
Publication number | Publication date |
---|---|
CN109190070A (zh) | 2019-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109190070B (zh) | 一种数据处理方法、装置、系统及应用服务器 | |
CN109299144B (zh) | 一种数据处理方法、装置、系统及应用服务器 | |
US10783267B2 (en) | Centralized throttling service | |
CN109684358B (zh) | 数据查询的方法和装置 | |
CN111131856B (zh) | 一种缓存过期时间调整方法、装置、电子设备及存储介质 | |
US6901484B2 (en) | Storage-assisted quality of service (QoS) | |
CN109005056B (zh) | 基于cdn应用的存储容量评估方法和装置 | |
WO2017167050A1 (zh) | 配置信息生成、发送方法及资源加载方法和装置及系统 | |
CN110830565B (zh) | 资源下载方法、装置、系统、电子设备及存储介质 | |
CN110661879B (zh) | 节点调度方法、装置、系统、调度服务器及终端设备 | |
CN110519183B (zh) | 一种节点限速的方法、装置、电子设备及存储介质 | |
US20170126583A1 (en) | Method and electronic device for bandwidth allocation based on online media services | |
CN107301215B (zh) | 一种搜索结果缓存方法及装置、搜索方法及装置 | |
CN112513830A (zh) | 内容分发网络中的回源方法及相关装置 | |
CN110677684B (zh) | 视频处理、视频访问方法及分布式存储、视频访问系统 | |
CN111124952B (zh) | 一种数据管理方法、装置、电子设备及可读存储介质 | |
CN111753239B (zh) | 一种资源分发方法、装置、电子设备及存储介质 | |
CN111131841A (zh) | 直播间接入方法、装置、电子设备及存储介质 | |
EP3123440B1 (en) | Controlling the pre-delivery of content to a mobile device | |
CN111381988A (zh) | 一种请求限速方法、装置、电子设备及存储介质 | |
CN111367672A (zh) | 数据缓存方法、装置、电子设备及计算机存储介质 | |
CN111597213A (zh) | 一种缓存方法、软件服务器及存储介质 | |
CN110099292B (zh) | 一种数据中心节点确定方法、装置及电子设备 | |
CN108737371A (zh) | Hive数据访问控制方法、服务器及计算机存储介质 | |
CN113835905B (zh) | 一种消息队列负载均衡方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |