CN109299144A - 一种数据处理方法、装置、系统及应用服务器 - Google Patents

一种数据处理方法、装置、系统及应用服务器 Download PDF

Info

Publication number
CN109299144A
CN109299144A CN201810960814.8A CN201810960814A CN109299144A CN 109299144 A CN109299144 A CN 109299144A CN 201810960814 A CN201810960814 A CN 201810960814A CN 109299144 A CN109299144 A CN 109299144A
Authority
CN
China
Prior art keywords
data
access
weighted value
target
application server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810960814.8A
Other languages
English (en)
Other versions
CN109299144B (zh
Inventor
许国军
朱亚兵
赵书礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201810960814.8A priority Critical patent/CN109299144B/zh
Publication of CN109299144A publication Critical patent/CN109299144A/zh
Application granted granted Critical
Publication of CN109299144B publication Critical patent/CN109299144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种数据处理方法、装置、系统及应用服务器,方法包括:第一应用服务器基于第二应用服务器存储的预设时间段内用户的访问日志,确定每一访问数据的访问次数;并确定每一访问数据对应的权重值;针对每一访问数据,从待处理数据集中,确定与访问数据关联的数据,为访问数据的关联数据;针对每一访问数据,基于访问数据对应的权重值,设置访问数据对应的关联数据的权重值;将访问数据的权重值和/或关联数据的权重值,发送至第二应用服务器,使第二应用服务器针对每一接收数据,基于该数据的权重值,设置该数据的缓存时长。实现对每一数据的缓存时长的智能化控制,在一定程度上减轻存储资源的浪费以及减轻服务器的运维负担。

Description

一种数据处理方法、装置、系统及应用服务器
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据处理方法、装置、系统及应用服务器。
背景技术
随着互联网用户量增长及用户使用频度的提升,各网站的Web应用服务的访问流量越来越大。为了优化访问速度,提升用户体验,网站的应用服务器往往会基于大量缓存技术来缓存数据。当用户访问网站的数据,用户所访问的数据处于缓存状态,即缓存于预设缓存区域时,网站的应用服务器可以直接从该预设缓存区域读取数据并反馈给用户,用户访问到该数据的速度相对较快;当用户所访问的数据处于未缓存状态,即未缓存于预设缓存区域时,该应用服务器需要从后台数据库中读取数据再反馈给用户,用户访问到该数据的速度相对较慢。其中,大量缓存技术包括:分布式数据库缓存技术、代理服务器缓存技术、CDN(Content Delivery Network,内网分发网络)缓存技术等等。使用大量缓存技术来缓存数据的网站,往往会占用几百G(Gbps,千兆)、数T(千千兆)甚至更多的缓存空间。
目前,网站的应用服务器在缓存数据的流程中,由于预设缓存区域的存储资源的有限性,应用服务器一般会设置预设缓存时长,以来更新缓存的数据,当数据缓存时长达到所设置的预设缓存时长,该数据被设置为缓存失效,处于未缓存状态。发明人在实现本发明的过程中发现,相关技术至少存在如下问题:网站的应用服务器没有针对缓存的数据做进一步的差异化、精细化控制调配,一方面导致了预设缓存区域的存储资源的浪费,即缓存的一部分数据访问频次较低,但依然长时间存活,即处于缓存状态;另一方面,大量缓存的数据的维护,增加了网站的应用服务器的运维负担。
发明内容
本发明实施例的目的在于提供一种数据处理方法、装置、系统及应用服务器,以实现对每一数据的缓存时长的智能化控制,在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。具体技术方案如下:
一方面,本发明实施例提供了一种数据处理方法,应用于第一应用服务器,所述第一应用服务器与第二应用服务器为同一网站提供应用服务,所述方法包括:
获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;
针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
将每一目标数据对应的权重值,发送至所述第二应用服务器,以使所述第二应用服务器基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据的缓存时长越大,所述目标数据为访问数据和/或关联数据。
可选地,所述针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据的步骤,包括:
针对每一访问数据,基于该访问数据的数据标识,获得该访问数据对应的特征,并获得所述待处理数据集中每一数据对应的特征;
针对每一访问数据,将该访问数据对应的特征与所述待处理数据集中每一数据对应的特征进行比对,确定出该访问数据与所述待处理数据集中每一数据之间的相似度值;
针对每一访问数据,确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,是否存在大于预设相似度阈值的相似度值;
当确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,存在大于所述预设相似度阈值的相似度值时,确定所述待处理数据集中,与该访问数据之间的相似度值大于所述预设相似度阈值的数据,作为该访问数据的关联数据。
可选地,所述基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值的步骤,包括:
针对每一访问数据,基于该访问数据的访问次数以及预设的第一对应关系,确定该访问数据对应的权重值,其中,所述第一对应关系包含:访问次数与权重值的对应关系。
可选地,所述基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数的步骤,包括:
对所获取的访问日志进行预设格式化处理,得到访问数据的数据标识;
基于所述访问数据的数据标识,统计每一访问数据在所述预设时间段内的访问次数。
在本发明实施的又一方面,还提供了一种数据处理方法,应用于第二应用服务器,所述第二应用服务器与第一应用服务器为同一网站提供应用服务,所述方法包括:
接收所述第一应用服务器发送的每一目标数据对应的权重值,其中,所述目标数据为:访问数据和/或关联数据,所述关联数据为:与访问数据之间的相似度值大于预设相似度阈值的数据,所述访问数据包括:在预设时间段内用户所访问的数据,每一目标数据对应的权重值用于:指示设置该目标数据的缓存时长;
基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长。
可选地,所述基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长的步骤,包括:
针对每一目标数据,基于该目标数据对应的权重值以及预设的第二对应关系,设置该目标数据对应的缓存时长,其中,所述预设的第二对应关系包括:权重值与缓存时长的对应关系。
可选地,所述基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长的步骤,包括:
基于所对应权重值的大小,对所述目标数据进行降序或升序排序,得到所述目标数据对应的排列顺序;
为第一目标数据设置缓存时长,其中,所述第一目标数据为:处于所述排列顺序中首位的数据;
针对每一第二目标数据,计算该第二目标数据与所述第一目标数据的比值,作为该第二目标数据对应的比值,其中,所述第二目标数据为:所述排列顺序中的除所述第一目标数据外的其他数据;
针对每一第二目标数据,按照正比例关系,基于所述第一目标数据的缓存时长以及该第二目标数据对应的比值,为该第二目标数据设置缓存时长。
可选地,在所述基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长的步骤之后,所述方法还包括:
基于所确定的每一目标数据对应的缓存时长,重新缓存目标数据。
在本发明实施的又一方面,还提供了一种数据处理方法,应用于第三应用服务器,所述方法包括:
获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:未被缓存过的数据和/或缓存失效的数据;
针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长,所述目标数据为访问数据和/或关联数据。
在本发明实施的又一方面,还提供了一种数据处理装置,应用于第一应用服务器,所述第一应用服务器与第二应用服务器为同一网站提供应用服务,所述装置包括:
第一获取模块,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
第一统计模块,用于基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
第一确定模块,用于基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
第二确定模块,用于针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;
第一设置模块用于,针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
发送模块,用于将每一目标数据对应的权重值,发送至所述第二应用服务器,以使所述第二应用服务器基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据的缓存时长越大,所述目标数据为访问数据和/或关联数据。
可选地,所述第二确定模块,具体用于
针对每一访问数据,基于该访问数据的数据标识,获得该访问数据对应的特征,并获得所述待处理数据集中每一数据对应的特征;
针对每一访问数据,将该访问数据对应的特征与所述待处理数据集中每一数据对应的特征进行比对,确定出该访问数据与所述待处理数据集中每一数据之间的相似度值;
针对每一访问数据,确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,是否存在大于预设相似度阈值的相似度值;
当确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,存在大于所述预设相似度阈值的相似度值时,确定所述待处理数据集中,与该访问数据之间的相似度值大于所述预设相似度阈值的数据,作为该访问数据的关联数据。
可选地,所述第一确定模块,具体用于
针对每一访问数据,基于该访问数据的访问次数以及预设的第一对应关系,确定该访问数据对应的权重值,其中,所述第一对应关系包含:访问次数与权重值的对应关系。
可选地,所述第一统计模块,具体用于
对所获取的访问日志进行预设格式化处理,得到访问数据的数据标识;
基于所述访问数据的数据标识,统计每一访问数据在所述预设时间段内的访问次数。
在本发明实施的又一方面,还提供了一种数据处理装置,应用于第二应用服务器,所述第二应用服务器与第一应用服务器为同一网站提供应用服务,所述装置包括:
接收模块,用于接收所述第一应用服务器发送的每一目标数据对应的权重值,其中,所述目标数据为:访问数据和/或关联数据,所述关联数据为:与访问数据之间的相似度值大于预设相似度阈值的数据,所述访问数据包括:在预设时间段内用户所访问的数据,每一目标数据对应的权重值用于:指示设置该目标数据的缓存时长;
第二设置模块,用于基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长。
可选地,所述第二设置模块,具体用于
针对每一目标数据,基于该目标数据对应的权重值以及预设的第二对应关系,设置该目标数据对应的缓存时长,其中,所述预设的第二对应关系包括:权重值与缓存时长的对应关系。
可选地,所述第二设置模块,具体用于
基于所对应权重值的大小,对所述目标数据进行降序或升序排序,得到所述目标数据对应的排列顺序;
为第一目标数据设置缓存时长,其中,所述第一目标数据为:处于所述排列顺序中首位的数据;
针对每一第二目标数据,计算该第二目标数据与所述第一目标数据的比值,作为该第二目标数据对应的比值,其中,所述第二目标数据为:所述排列顺序中的除所述第一目标数据外的其他数据;
针对每一第二目标数据,按照正比例关系,基于所述第一目标数据的缓存时长以及该第二目标数据对应的比值,为该第二目标数据设置缓存时长。
可选地,所述装置还包括:
缓存模块,用于在所述基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长之后,基于所确定的每一目标数据对应的缓存时长,重新缓存目标数据。
在本发明实施的又一方面,还提供了一种数据处理装置,应用于第三应用服务器,所述装置包括:
第二获取模块,用于获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
第二统计模块,用于基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
第三确定模块,用于基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
第四确定模块,用于针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:未被缓存过的数据和/或缓存失效的数据;
第三设置模块,用于针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
第四设置模块,用于基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长,所述目标数据为访问数据和/或关联数据。
在本发明实施的又一方面,还提供了一种数据处理系统,所述系统包括:第一应用服务器和第二应用服务器,所述第一应用服务器与第二应用服务器为同一网站提供应用服务;
所述第一应用服务器,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;将每一目标数据对应的权重值,发送至所述第二应用服务器,所述目标数据为访问数据和/或关联数据;
所述第二应用服务器,用于接收所述第一应用服务器发送的每一目标数据对应的权重值,基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长。
在本发明实施的又一方面,还提供了一种应用服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
通信接口,用于与其他应用服务器进行通信;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例所提供的第一应用服务器侧任一所述的数据处理方法步骤。
在本发明实施的又一方面,还提供了一种应用服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
通信接口,用于与其他应用服务器进行通信;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例所提供的第二应用服务器侧任一所述的数据处理方法步骤。
在本发明实施的又一方面,还提供了一种应用服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例所提供的第三应用服务器侧所述的数据处理方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述第一应用服务器侧的数据处理方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述第一应用服务器侧的数据处理方法。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述第二应用服务器侧的数据处理方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述第二应用服务器侧的数据处理方法。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述所述第三应用服务器侧的数据处理方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述第三应用服务器侧的数据处理方法。
本发明实施例中,第一应用服务器获取第二应用服务器存储的预设时间段内用户的访问日志,访问日志包括:所对应访问数据的数据标识;基于所获取的访问日志,统计每一访问数据在预设时间段内的访问次数;基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;将每一目标数据对应的权重值,发送至第二应用服务器,以使第二应用服务器基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据的缓存时长越大,目标数据为访问数据和/或关联数据。
本发明实施例中,第一应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而将每一目标数据即访问数据和/或关联数据对应的权重值,发送至第二应用服务器,以使第二应用服务器基于每一目标数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据互的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所提供的一种数据处理方法的流程示意图;
图2为本发明实施例所提供的另一种数据处理方法的流程示意图;
图3为本发明实施例所提供的另一种数据处理方法的流程示意图;
图4为本发明实施例所提供的一种数据处理装置的结构示意图;
图5为本发明实施例所提供的另一种数据处理装置的结构示意图;
图6为本发明实施例所提供的另一种数据处理装置的结构示意图;
图7为本发明实施例所提供的一种数据处理系统的结构示意图;
图8为本发明实施例所提供的一种应用服务器的结构示意图;
图9为本发明实施例所提供的另一种应用服务器的结构示意图;
图10为本发明实施例所提供的另一种应用服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
本发明实施例提供了一种数据处理方法、装置及应用服务器,以实现对每一数据的缓存时长的智能化控制,在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
实施例一:
一方面,本发明实施例提供了一种数据处理方法,该方法可以应用于第一应用服务器,第一应用服务器可以与第二应用服务器进行通信连接,并且,该第一应用服务器与第二应用服务器为同一网站提供WEB(网络)应用服务。上述第一应用服务器与第二应用服务器均可以为电脑、手机等终端搭建的服务器。
在一种情况中,第二应用服务器可以为:为上述网站提供应用服务的,除第一应用服务器外的其他应用服务器的统称,可以用于记录并存储用户访问该网站的数据的访问情况,即访问日志,并可以控制该网站的数据的缓存,例如:何时缓存以及基于预先设置的预设缓存时长,控制该数据何时缓存失效。即上述第一应用服务器可以为新增加的为该网站提供应用服务的服务器。
上述网站可以为视频网站、社交网站、购物类网站或者阅读网站,这都是可以的,本发明实施例并不对上述网站的类型进行限定。上述数据可以包括视频、文本文档以及图像等。举例而言,当网站为视频网站,上述数据可以包括视频等数据,当网站为阅读网站时,上述数据可以包括文本文档以及图像等数据。
如图1所示,本发明实施例提供了一种数据处理方法,可以包括如下步骤:
S101:获取第二应用服务器存储的预设时间段内用户的访问日志;
其中,访问日志包括:所对应访问数据的数据标识;
S102:基于所获取的访问日志,统计每一访问数据在预设时间段内的访问次数;
在一种情况中,实现本发明实施例所提供的数据处理方法的功能软件,可以以专门的客户端软件的形式存在,也可以以现有的客户端软件的插件的形式存在。
在一种情况中,第一应用服务器可以预先设置有预设周期,每当到达预设周期时,第一应用服务器触发本发明实施例所提供的数据处理流程,第一应用服务器向第二应用服务器发送获取访问日志的请求,以获取第二应用服务器存储的预设时间段内用户的包括所对应访问数据的数据标识的访问日志,其中,其中,上述第二应用服务器存储的预设时间段内用户的访问日志,可以标识访问日志存储于上述第二应用服务器本地,也可以标识访问日志存储于上述第二应用服务器所连接的其他具有存储功能的设备中,这都是可以的。
后续的,第一应用服务器可以基于上述访问日志,统计每一访问数据在预设时间段内的访问次数。上述访问数据包含:在预设时间段内用户所访问的数据。上述数据标识可以是数据的存储位置、名称以及序号等,可以唯一标识数据的信息。
其中,不同时段被用户访问的数据存在不同,例如:当在2017年5月1日至8月30日期间,数据A可能被用户访问的次数多;当在2017年9月1日至12月30日期间,数据B可能被用户访问的次数多,为了保证为每一访问数据确定的缓存时长更贴合当前的实际情况,本发明实施例需要基于用户最近一段时间的数据访问情况,即基于最近一段时间的访问数据,确定相应数据的缓存时长。本发明实施例中所提到的预设时间段可以为:第一时间与当前时间之间的时间段,其中,上述当前时间为:第一应用服务器触发该数据处理流程时的时间;第一时间为:该当前时间向前预设时长对应的时间。例如:当2018年1月1日为当前时间,且上述预设时长为4个月时,上述预设时间段可以是2017年9月2日至2018年1月1日,即基于用户在2017年9月2日至2018年1月1日之间的访问数据,可得知,用户访问B数据的次数较多,此时确定当前的用户更倾向于访问数据B,并非数据A,即通过本实施例确定的缓存时长更贴合当前的实际情况。
其中,上述预设时长可以为根据实际情况需要所设置的,例如:预设时长为一天,第一应用服务器当前触发该数据处理流程时的时间,为2018-3-3115:00:00,第一应用服务器当前触发该数据处理流程时,对应的预设时间段为2018-3-30 15:00:00到2018-3-3115:00:00之间的时间,即第一应用服务器获取第二应用服务器存储的2018-3-30 15:00:00到2018-3-31 15:00:00之间用户的访问日志,进而,确定每一访问数据在2018-3-30 15:00:00到2018-3-31 15:00:00之间的访问次数。又例如:第一应用服务器当前触发该数据处理流程时的时间,为2018-4-3 15:00:00,第一应用服务器当前触发该对数据的处理流程时,对应的预设时间段为2018-4-2 15:00:00到2018-4-3 15:00:00之间的时间,即第一应用服务器获取第二应用服务器存储的2018-4-2 15:00:00到2018-4-3 15:00:00之间用户的访问日志,进而,确定每一访问数据在2018-4-2 15:00:00到2018-4-315:00:00之间的访问次数。
可以理解的是,用户访问第二应用服务器所管理的数据时,第二应用服务器可以针对用户所访问的数据生成访问日志,该访问日志中包括用户所访问的数据的数据标识和该数据的访问时间。第一应用服务器可以基于每一访问日志中所包括的数据的访问时间,确定第二应用服务器存储的预设时间段内用户的访问日志,并且,第一应用服务器在确定出预设时间段内用户的访问日志之后,可以根据所确定出的访问日志内包含的数据的数据标识,统计得到每一访问数据在预设时间段内的访问次数。
S103:基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值;
其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
在一种实现方式中,第一应用服务器可以基于每一访问数据的访问次数,对访问数据的数据标识进行排序,例如降序排序,得到排列顺序,进而第一应用服务器可以基于上述排序顺序,依次为每一访问数据设置权重值,其中,上述权重值可以为预先存储的值,排序顺序中位置越靠后的数据标识对应的访问数据,其被设置的权重值越小。又例如升序排序,得到排列顺序,进而第一应用服务器可以基于上述排序顺序,依次为每一访问数据设置权重值,其中,上述权重值可以为预先存储的值,排序顺序中位置越靠后的数据标识对应的访问数据,其被设置的权重值越大。
在另一种实现方式中,上述基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值的步骤,可以包括:
针对每一访问数据,基于该访问数据的访问次数以及预设的第一对应关系,确定该访问数据对应的权重值,其中,第一对应关系包含:访问次数与权重值的对应关系。
第一应用服务器的本地或所连接的存储设备中,可以预先存储有预设的第一对应关系,该第一对应关系可以包含:访问次数与权重值的对应关系。第一应用服务器针对每一访问数据,将该访问数据的访问次数与上述第一对应关系中的访问次数进行一一匹配,从第一对应关系中,确定出与该访问数据的访问次数对应的权重值,作为该访问数据的权重值。其中,上述第一对应关系中访问次数越大,其对应的权重值越大。其中,上述访问次数与权重值的对应关系,可以是一对多的对应关系,也可以是一对一的对应关系。
S104:针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据;
其中,与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;
具体的,上述未被缓存过的数据:可以指第二应用服务器所管理的新获得的数据,该数据还未被缓存过。例如:视频网站中,用户访问该视频网站时,该视频网站刚上线一部新的电影,该新的电影还未被缓存过,即未被缓存于预设缓存区域内过,当用户点击观看该新的电影,即该新电影被访问时,第二应用服务器可以基于用户的点击操作针对该新的电影生成访问日志,该访问日志将记录下本次访问时间、新电影的数据标识。
上述缓存失效的数据:可以指第二应用服务器所管理的处于过缓存状态的,且处于缓存状态的时间已超过原始的缓存时长的数据。例如:视频网站中,一电影对应的原始的缓存时长为:1个月,具体的,缓存状态的时间为2017年3月1日至4月1日,当2017年4月2日时,该数据则处于缓存失效的状态,可以认为该数据为缓存失效的数据。其中,上述原始的缓存时长可以指:当前的第二应用服务器中所存储的该数据的缓存时长,即利用本发明实施例所提供的数据处理流程,进行调整之前的数据的缓存时长。
本发明实施例为了更好的实现对数据的管理,可以从更大的数据集中,如上述的待处理数据集,确定出与上述访问数据关联的数据,继而,可以基于对访问数据的处理,对上述与访问数据互关联的数据进行处理。在一定程度上可以预测得到与上述访问数据,关联的数据的缓存时长,实现对数据的更好的管理。
在一种实现方式中,第一应用服务器可以针对每一访问数据,可以将该访问数据的数据标识,与待处理数据集中每一数据的数据标识进行匹配;将数据标识与该访问数据的数据标识匹配成功的数据,确定为与该访问数据关联的数据。其中,上述匹配过程可以是:利用现有的大数据挖掘中的文本相似度分析方式,分析上述访问数据的数据标识分别与待处理数据集中每一数据的数据标识之间的相似度值,进而将与该访问数据之间的相似度值大于预设相似度阈值的数据,确定为该访问数据的关联数据,即与该访问数据关联的数据。本发明实施例也可以采用现有的任一种相似度分析算法,实现上述匹配过程,本发明实施例并不对上述相似度分析算法进行限定。
在另一种实现方式中,上述针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据的步骤,可以包括:
针对每一访问数据,基于该访问数据的数据标识,获得该访问数据对应的特征,并获得待处理数据集中每一数据对应的特征;
针对每一访问数据,将该访问数据对应的特征与待处理数据集中每一数据对应的特征进行比对,确定出该访问数据与待处理数据集中每一数据之间的相似度值;
针对每一访问数据,确定该访问数据与待处理数据集中每一数据之间的相似度值中,是否存在大于预设相似度阈值的相似度值;
当确定该访问数据与待处理数据集中每一数据之间的相似度值中,存在大于预设相似度阈值的相似度值时,确定待处理数据集中,与该访问数据之间的相似度值大于预设相似度阈值的数据,作为该访问数据的关联数据。
在本发明实施例中,第一应用服务器可以利用每一数据对应的特征,确定数据之间的相似度。第二应用服务器本地或所连接的存储设备,可以存储有上述访问数据各自对应的参考特征,并可以存储有上述待处理数据集中每一数据各自对应的特征。其中,每一数据对应的特征可以存在一个或多个。
在一种情况中,上述特征可以包括:数据类型、数据大小、数据生成时间等数据属性信息,上述特征可以包括:访问数据的参考特征和待处理数据集中每一数据对应的特征。
在一种实现方式中,第一应用服务器可以利用现有的大数据挖掘中的文本相似度分析方式,分析上述访问数据的参考特征分别与待处理数据集中每一数据的特征之间的相似度,得到上述访问数据与待处理数据集中每一数据之间的相似度值,进而确定每一访问数据的关联数据。本发明实施例并不对确定访问数据和待处理数据集中每一数据之间的相似度值的实现方式进行限定,凡是能实现基于访问数据的参考特征和待处理数据集中每一数据的特征,确定访问数据和待处理数据集中每一数据之间的相似度值的实现方式,均可以应用于本发明实施例,在此不再赘述。
举例而言,当第一应用服务器和第二应用服务器为视频网站提供网络服务时,该视频网站的数据可以包括视频数据,具体的,该视频数据对应的特征可以包括:该视频数据的属性,例如:古装、汉语、时长2小时、主演为xxx、剧情地点:金陵、视频中音乐包括X、Y以及Z、剧中各人物形象a、b、c和d等。
可以理解的,当访问数据与待处理数据集中某一数据之间的相似度值越高,可以表征该访问数据与待处理数据集中该数据越相似,越关联。当访问数据与待处理数据集中的一数据之间的相似度值大于预设相似度阈值时,可以认为上述两个数据的相似度较高,则确定该与访问数据之间的相似度值大于预设相似度阈值的数据,为该访问数据的关联数据。理论上,喜欢该访问数据的用户,喜欢与该访问数据之间的相似度大于预设相似度阈值的数据的概率越大,即用户对该访问数据的访问次数多,相应地,对与该访问数据的关联数据的访问次数多的概率越大。基于访问数据的权重值,为该访问数据的关联数据设置权重值,在一定程度上可以更好的为该访问数据的关联数据设置出更合适的缓存时长。其中,上述预设相似度阈值的数值越大,所确定的访问数据的关联数据,与该访问数据越相似,后续的,基于该访问数据的访问情况,为该访问数据的关联数据设置缓存时长,更贴合实际,更准确。
其中,上述S103与上述S104可以同时执行,也可以顺序执行,例如:先执行S103,后执行S104;或者,先执行S104后执行S103,这都是可以的。
在一种实现方式中,可能存在多个访问数据关联待处理数据集中的同一数据,即多个访问数据对应同一关联数据。此时,可以从该多个访问数据中,确定出与该关联数据之间的相似度值最高的访问数据,基于与该关联数据之间的相似度值最高的访问数据的权重值,设置该关联数据的权重值。举例而言,访问数据a、访问数据b和访问数据c均与待处理数据集中的数据d关联,此时,可以从访问数据a、访问数据b和访问数据c中,确定出与该数据d之间的相似度值最高的访问数据,进而,基于与该数据d之间的相似度值最高的访问数据的权重值,设置该数据d的权重值。例如:访问数据a与数据d之间的相似度值最高,此时,可以基于访问数据a的权重值,设置数据d的权重值。
S105:针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
一种情况中,针对每一访问数据,可以将该访问数据对应的权重值,设置为与该访问数据的关联数据的权重值。或者,可以基于该访问数据与该访问数据的关联数据之间的相似度值,以及该访问数据对应的权重值,设置该访问数据的关联数据的权重值。举例而言:访问数据与该访问数据的关联数据之间的相似度值为80%,该访问数据对应的权重值为100,可以将该访问数据的关联数据对应的权重值设置为:80(100*80%)。
S105:将每一目标数据对应的权重值,发送至第二应用服务器,以使第二应用服务器基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长。
其中,每一目标数据对应的权重值越大,该目标数据的缓存时长越大,目标数据为访问数据和/或关联数据。
第一应用服务器确定出上述访问数据对应的权重值以及关联数据对应的权重值之后,可以将上述权重值发送至第二应用服务器,以使第二应用服务器基于所接收的权重值,为相应的数据设置缓存时长。其中,每一目标数据(访问数据和/或关联数据)对应的权重值越大,该目标数据的缓存时长越长。在一种情况中,上述缓存时长也可以称为缓存的有效期长度。
一种情况中,当数据对应的权重值较低,例如:低于预设权重值时,可以表征用户对该数据的访问次数低,该数据为冷门数据,为了为用户提供更好的服务,避免冷门数据占据缓存区域,导致热门数据(访问次数高的数据)不能被及时缓存,可以为该数据设置较短的缓存时长,当该数据存在原始的缓存时长时,为该数据设置短于其原始的缓存时长的缓存时长。当数据对应的权重值较高,例如:不低于预设权重值时,可以表征用户对该数据的访问次数高,该数据为热门数据,为了为用户提供更好的服务,热门数据(访问次数高的数据)被用户访问时,其访问率高,可以为该数据设置较长的缓存时长,当该数据存在原始的缓存时长时,为该数据设置长于其原始的缓存时长的缓存时长,以在一定程度上提高其命中率。
本发明实施例中,第一应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而将每一目标数据即访问数据和/或关联数据对应的权重值,发送至第二应用服务器,以使第二应用服务器基于每一目标数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
在一种实现方式中,在上述基于所获取的访问日志,统计每一访问数据在预设时间段内的访问次数的步骤,可以包括:
对所获取的访问日志进行预设格式化处理,得到访问数据的数据标识;
基于访问数据的数据标识,统计每一访问数据在预设时间段内的访问次数。
本发明实施例中,第一应用服务器所获取到的访问日志的格式可能多种多样,为了更好的便于本发明实施例所提供的后续的数据处理流程,第一应用服务器在获得上述访问日志后,可以针对上述访问日志进行预设格式化处理,例如:从每一访问日志中,提取出所包含的访问数据的数据标识以及访问时间,进而,基于处理后的访问日志所包括的访问数据的数据标识,统计该访问数据在预设时间段内的访问次数;并将所统计的每一访问数据的访问次数以列表的形式进行展示或存储。还可以,将所统计的每一访问数据的访问次数以高低顺序进行排序,在一定程度上便于后续的数据处理流程。
举例而言,第一应用服务器所获取的第二应用服务器在预设时间段内的访问日志,可以包括所访问的数据的数据标识、访问时间,如下:
访问日志1:2018-03-31 15:00:00abcX1cache hit,其中,上述“2018-03-3115:00:00”标识访问数据的访问时间,上述“abcX1”标识访问数据的数据标识;
访问日志2:2018-03-31 15:00:01abcY2cache miss,其中,上述“2018-03-3115:00:01”标识访问数据的访问时间,上述“abcY2”标识访问数据的数据标识;
访问日志3:2018-03-31 15:00:02abcZ3cache hit,其中,上述“2018-03-3115:00:02”标识访问数据的访问时间,上述“abcZ3”标识访问数据的数据标识;
访问日志4:2018-03-31 15:00:03abcX1cache hit其中,上述“2018-03-3115:00:03”标识访问数据的访问时间,上述“abcX1”标识访问数据的数据标识。
将所统计的每一访问数据的访问次数以列表的形式进行展示或存储如下表1所示:
表1
数据标识 访问次数
abcX1 10000次
abcY2 8500次
abcZ3 6000次
abcm4 3000次
实施例二:
另一方面,本发明实施例还提供了一种数据处理方法,应用于第二应用服务器,第二应用服务器可以与第一应用服务器进行通信连接,第二应用服务器与第一应用服务器为同一网站提供应用服务,可以包括如下步骤:
S201:接收第一应用服务器发送的每一目标数据对应的权重值;
其中,目标数据为:访问数据和/或关联数据,关联数据为:与访问数据之间的相似度值大于预设相似度阈值的数据,访问数据包括:在预设时间段内用户所访问的数据,每一目标数据对应的权重值用于:指示设置该目标数据的缓存时长;
S202:基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长。
其中,对于第一应用服务器确定每一目标数据对应的权重值,并发送至第二应用服务器实现流程,与上述第一应用服务器侧的方法实施例所描述的实现流程相同,在此不做赘述。
上述第一应用服务器与第二应用服务器均可以为电脑、手机等终端搭建的服务器。在一种情况中,实现本发明实施例所提供的数据处理方法的功能软件,可以以专门的客户端软件的形式存在,也可以以现有的客户端软件的插件的形式存在。
上述第二应用服务器可以为:为上述网站提供应用服务的,除上述第一应用服务器外的其他应用服务器的统称,可以用于记录并存储用户访问该网站的数据的访问情况,即访问日志,并可以控制该网站的数据的缓存,例如:何时缓存以及基于预先设置的预设缓存时长,控制该数据何时缓存失效。上述第一应用服务器可以为新增加的为该网站提供应用服务的服务器,也可以是该上述第二应用服务器中的任一服务器,这都是可以的。
上述网站可以为视频网站、社交网站、购物类网站或者阅读网站,这都是可以的,本发明实施例并不对上述网站的类型进行限定。上述数据可以包括视频、文本文档以及图像等。举例而言,当网站为视频网站,上述数据可以包括视频等数据,当网站为阅读网站时,上述数据可以包括文本文档以及图像等数据。
第二应用服务器基于所接收的权重值,为相应的数据设置缓存时长。其中,每一目标数据(访问数据或关联数据)对应的缓存时长与其权重值成正比。在一种情况中,上述缓存时长也可以称为缓存的有效期长度。
本发明实施例中,第一应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而将每一目标数据即访问数据和/或关联数据对应的权重值,发送至第二应用服务器。第二应用服务器可以基于每一目标数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
在一种实现方式中,所述基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长的步骤,可以包括:
针对每一目标数据,基于该目标数据对应的权重值以及预设的第二对应关系,设置该目标数据对应的缓存时长,其中,预设的第二对应关系包括:权重值与缓存时长的对应关系。
第二应用服务器的本地或所连接的存储设备中,可以预先存储有预设的第二对应关系,该第二对应关系包含:权重值与缓存时长的对应关系。第二应用服务器针对每一目标数据,将该目标数据对应的权重值与上述第三对应关系中的权重值进行一一匹配,将第三对应关系中匹配成功的权重值对应的缓存时长,确定为该目标数据对应的缓存时长。其中,上述第三对应关系中权重值越大,其对应的缓存时长越长。
其中,上述权重值与缓存时长的对应关系,可以是一对多的对应关系,也可以是一对一的对应关系。
在另一种实现方式中,所述基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长的步骤,可以包括:
基于所对应权重值的大小,对目标数据进行降序或升序排序,得到目标数据对应的排列顺序;
为第一目标数据设置缓存时长,其中,第一目标数据为:处于排列顺序中首位的数据;
针对每一第二目标数据,计算该第二目标数据与第一目标数据的比值,作为该第二目标数据对应的比值,其中,第二目标数据为:排列顺序中的除第一目标数据外的其他数据;
针对每一第二目标数据,按照正比例关系,基于第一目标数据的缓存时长以及该第二目标数据对应的比值,为该第二目标数据设置缓存时长。
举例说明设置目标数据对应的缓存时长的流程:
第二应用服务器获得第一应用服务器发送的访问数据对应的权重值以及关联数据对应的权重值,可以为:针对数据标识为1的数据,其对应的权重值为100;针对数据标识为2的数据,其对应的权重值为90;针对数据标识为3的数据,其对应的权重值为80;针对数据标识为4的数据,其对应的权重值为70;
首先基于所对应权重值的大小,对上述目标数据进行降序排序,得到目标数据对应的排列顺序,得到排列顺序如下:
其中,数据标识为1的数据为第一目标数据,即排列顺序中的首位的数据,数据标识为2、3以及4的数据为第二目标数据,即排列顺序中的非首位的数据;
第二应用服务器为第一目标数据设置权重值,例如15天;
第二应用服务器针对每一第二目标数据,计算该第二目标数据与第一目标数据的比值,作为该第二目标数据对应的比值;可以得到:数据标识为2的数据对应的比值为:0.80,数据标识为3的数据对应的比值为:0.70,数据标识为4的数据对应的比值为:0.70,
第二应用服务器针对每一第二目标数据,按照正比例关系,基于第一目标数据的缓存时长以及该第二目标数据对应的比值,为该第二目标数据设置缓存时长,可以得到:为数据标识为2的数据设置的缓存时长为13.5天,为数据标识为3的数据设置的缓存时长为12天,为数据标识为4的数据设置的缓存时长为10.5天。
或者,可以基于所对应权重值的大小,对目标数据进行升序排序,得到目标数据对应的排列顺序,进而为排序顺序中首位的目标数据,即第一目标数据设置缓存时长;进而针对排序顺序中非首位的每一数据,即第二目标数据,计算该第二目标数据与第一目标数据的比值,作为该第二目标数据对应的比值,进而基于该第二目标数据对应的比值以及第一目标数据的缓存时长,设置该第二目标数据的缓存时长。其中,处于排序顺序中越靠后的位置,该目标数据的缓存时长越长。
在一种实现方式中,在所述基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长的步骤之后,所述方法还可以包括:
基于所确定的每一目标数据对应的缓存时长,重新缓存目标数据。
一种实现方式,对于当前处于缓存状态的目标数据,一种情况,上述基于所确定的每一目标数据对应的缓存时长,重新缓存目标数据,可以是:直接将该目标数据的原始的缓存时长修改为所确定的缓存时长,以实现重新缓存目标数据。另一种情况,上述基于所确定的每一目标数据对应的缓存时长,重新缓存目标数据,可以是:该目标数据处于缓存状态的时间超过该目标数据的原始缓存时长后,在再次开始缓存该目标数据时,将该目标数据的原始的缓存时长修改为所确定的缓存时长,以实现重新缓存目标数据。
另一种实现方式,当前处于未缓存状态的数据,上述基于所确定的每一目标数据对应的缓存时长,重新缓存目标数据,可以是:当开始缓存该目标数据时,将该目标数据的原始的缓存时长修改为所确定的缓存时长,以实现缓存目标数据。
本发明实施例中,第二应用服务在基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长之后,可以重新缓存目标数据。具体的,可以实现提前加载热门数据(访问次数高的访问数据,以及预测访问次数高的目标数据即访问次数高的访问数据的关联数据),并主动淘汰冷门数据(访问次数低的访问数据,以及预测访问次数低的目标数据即访问次数低的访问数据的关联数据)的效果。针对访问次数高的访问数据和访问次数高的访问数据的关联数据,其对应的所确定的缓存时长较长,可以实现对该类数据长时间的缓存,在一定程度上,可以提高该类数据的命中率。针对访问次数低的访问数据和访问次数低的访问数据的关联数据,其对应的所确定的缓存时长较短,可以实现对该类数据的较短时间的缓存,对于该类数据来说,其可以减少对缓存资源的占用,此时可以在一定程度上提高应用服务的缓存资源的利用率,提高应用服务的服务效果,提高预设缓存区域的存储利用率。
实施例三:
参见图3,本发明实施例提供了一种数据处理方法,可以应用于第三应用服务器中,该第三应用服务器可以为网站提供WEB(网络)应用服务,可以记录并存储用户访问该网站的数据的访问情况,即访问日志,并可以控制该网站的数据的缓存,例如:何时缓存以及基于预先设置的缓存时长,控制该数据何时缓存失效;也可以实现本发明实施例所提供的该数据处理方法。其中,该数据处理方法,可以包括如下步骤:
S301:获取预设时间段内用户的访问日志;
其中,访问日志包括:所对应访问数据的数据标识;
本发明实施例中,上述访问日可以存储于第三应用服务器本地;也可以存储于第三应用服务器所连接的存储设备,这都是可以的。本发明实施例中所提到的预设时间段与上述实施例中所述的预设时间段相同,在此不再赘述。
S302:基于所获取的访问日志,统计每一访问数据在预设时间段内的访问次数;
本发明实施例中,第三应用服务器基于所获取的访问日志,统计每一访问数据在预设时间段内的访问次数的过程,可以参照上述实施例中统计每一访问数据在预设时间段内的访问次数的过程,在此不再赘述。
S303:基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值;
其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
本发明实施例中,第三应用服务器确定每一访问数据对应的权重值的过程,可以参照上述实施例中确定每一访问数据对应的权重值的过程,在此不再赘述。
S304:针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据;
其中,与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,待处理数据集包括:未被缓存过的数据和/或缓存失效的数据;
本发明实施例中,第三应用服务器确定访问数据的关联数据的过程,可以参照上述实施例中确定访问数据的关联数据的过程,在此不再赘述。
S305:针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
本发明实施例中,第三应用服务器设置该访问数据的关联数据的权重值的的过程,可以参照上述实施例中设置该访问数据的关联数据的权重值的的过程,在此不再赘述。
S306:基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长。
其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长,目标数据为访问数据和/或关联数据。
本发明实施例中,第三应用服务器设置该目标数据对应的缓存时长的过程,可以参照上述实施例中设置该目标数据对应的缓存时长的过程,在此不再赘述。
本发明实施例中,第三应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而基于每一目标数据即访问数据和/或关联数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
相应于上述方法实施例,本发明实施例提供了一种数据处理装置,应用于第一应用服务器,所述第一应用服务器与第二应用服务器为同一网站提供应用服务,如图4所示,所述装置包括:
第一获取模块410,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
第一统计模块420,用于基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
第一确定模块430,用于基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
第二确定模块440,用于针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;
第一设置模块450,用于针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
发送模块460,用于将每一目标数据对应的权重值,发送至所述第二应用服务器,以使所述第二应用服务器基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据的缓存时长越大,所述目标数据为访问数据和/或关联数据。
本发明实施例中,第一应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而将每一目标数据即访问数据和/或关联数据对应的权重值,发送至第二应用服务器,以使第二应用服务器基于每一目标数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据互的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
在一种实现方式中,所述第二确定模块440,具体用于
针对每一访问数据,基于该访问数据的数据标识,获得该访问数据对应的特征,并获得所述待处理数据集中每一数据对应的特征;
针对每一访问数据,将该访问数据对应的特征与所述待处理数据集中每一数据对应的特征进行比对,确定出该访问数据与所述待处理数据集中每一数据之间的相似度值;
针对每一访问数据,确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,是否存在大于预设相似度阈值的相似度值;
当确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,存在大于所述预设相似度阈值的相似度值时,确定所述待处理数据集中,与该访问数据之间的相似度值大于所述预设相似度阈值的数据,作为该访问数据的关联数据。
在一种实现方式中,所述第一确定模块430,具体用于
针对每一访问数据,基于该访问数据的访问次数以及预设的第一对应关系,确定该访问数据对应的权重值,其中,所述第一对应关系包含:访问次数与权重值的对应关系。
在一种实现方式中,所述第一统计模块420,具体用于
对所获取的访问日志进行预设格式化处理,得到访问数据的数据标识;
基于所述访问数据的数据标识,统计每一访问数据在所述预设时间段内的访问次数。
相应于上述方法实施例,本发明实施例提供了一种数据处理装置,应用于第二应用服务器,所述第二应用服务器与第一应用服务器为同一网站提供应用服务,如图5所示,所述装置包括:
接收模块510,用于接收所述第一应用服务器发送的每一目标数据对应的权重值,其中,所述目标数据为:访问数据和/或关联数据,所述关联数据为:与访问数据之间的相似度值大于预设相似度阈值的数据,所述访问数据包括:在预设时间段内用户所访问的数据,每一目标数据对应的权重值用于:指示设置该目标数据的缓存时长;
第二设置模块520,用于基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长。
本发明实施例中,第一应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而将每一目标数据即访问数据和/或关联数据对应的权重值,发送至第二应用服务器。第二应用服务器基于每一目标数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据互的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
在一种实现方式中,所述第二设置模块520,具体用于
针对每一目标数据,基于该目标数据对应的权重值以及预设的第二对应关系,设置该目标数据对应的缓存时长,其中,所述预设的第二对应关系包括:权重值与缓存时长的对应关系。
在一种实现方式中,所述第二设置模块520,具体用于
基于所对应权重值的大小,对所述目标数据进行降序或升序排序,得到所述目标数据对应的排列顺序;
为第一目标数据设置缓存时长,其中,所述第一目标数据为:处于所述排列顺序中首位的数据;
针对每一第二目标数据,计算该第二目标数据与所述第一目标数据的比值,作为该第二目标数据对应的比值,其中,所述第二目标数据为:所述排列顺序中的除所述第一目标数据外的其他数据;
针对每一第二目标数据,按照正比例关系,基于所述第一目标数据的缓存时长以及该第二目标数据对应的比值,为该第二目标数据设置缓存时长。
在一种实现方式中,所述装置还包括:
缓存模块,用于在所述基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长之后,基于所确定的每一目标数据对应的缓存时长,重新缓存目标数据。
相应于上述方法实施例,如图6所示,本发明实施例还提供了一种数据处理装置,应用于第三应用服务器,所述装置可以包括:
第二获取模块610,用于获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
第二统计模块620,用于基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
第三确定模块630,用于基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
第四确定模块640,用于针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:未被缓存过的数据和/或缓存失效的数据;
第三设置模块650,用于针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
第四设置模块660,用于基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长,所述目标数据为访问数据和/或关联数据。
其中,第二统计模块620可以与上述的第一统计模块420相应,第三确定模块630可以与上述的第一确定模块430相应,第四确定模块640可以与上述的第二确定模块440相应,第三设置模块650可以与上述的第一设置模块450相应,第四设置模块660可以与上述的第二设置模块520相应,在此不再赘述。
本发明实施例中,第三应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而基于每一目标数据即访问数据和/或关联数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
相应于上述方法实施例,本发明实施例还提供了一种数据处理系统,如图7所示,所述系统可以包括:第一应用服务器710和第二应用服务器720,所述第一应用服务器710与第二应用服务器720为同一网站提供应用服务;
所述第一应用服务器710,用于获取第二应用服务器720存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;将每一目标数据对应的权重值,发送至所述第二应用服务器720,所述目标数据为访问数据和/或关联数据;
所述第二应用服务器720,用于接收所述第一应用服务器710发送的每一目标数据对应的权重值,基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长。
本发明实施例中,第一应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而将每一目标数据即访问数据和/或关联数据对应的权重值,发送至第二应用服务器。第二应用服务器基于每一目标数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据互的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
举例而言,第一应用服务器和第二应用服务器均为一视频网站提供WEB应用服务。用户访问该视频网站时,该视频网站获得新电影A1,该新电影A1还未被缓存过,即未被缓存于预设缓存区域内过。
第一应用服务器向第二应用服务器发送访问日志请求,用于调取用户在2018年7月18日上午10点到2018年7月19日上午10点访问电影的访问日志;
第二应用服务器接收到该请求后,筛选符合请求要求的访问日志,并反馈给第一应用服务器;
第一应用服务器对反馈的访问日志进行预设格式化处理,得到电影A1的数据标识、访问电影A1的时间;电影A2的数据标识、访问电影A2的时间;以及电影A3的数据标识、访问电影A3的时间;再统计反馈的访问日志中电影A1的访问次数B1,电影A2的访问次数B2,以及电影A3的访问次数B3;
第一应用服务器将访问次数B1、访问次数B2以及访问次数B3分别与预设的第一对应关系中的访问次数进行匹配,确定出访问次数B1对应权重值1即电影A1对应权重值1,访问次数B2对应权重值2即电影A2对应权重值2,访问次数B3对应权重值3即电影A3对应权重值3;
第一应用服务器获得电影A1对应的特征,电影A2对应的特征以及电影A3对应的特征,并获得待处理数据集中每一数据的特征,例如获得电影B1对应的特征、电影B2对应的特征;
第一应用服务器将电影A1对应的特征分别与电影B1对应的特征、电影B2对应的特征进行比对,确定电影A1与电影B1之间的相似度值1,电影A1与电影B2之间的相似度值2;将电影A2对应的特征分别与电影B1对应的特征、电影B2对应的特征进行比对,确定电影A2与电影B1之间的相似度值3,电影A2与电影B2之间的相似度值4;将电影A3对应的特征分别与电影B1对应的特征、电影B2对应的特征进行比对,确定电影A3与电影B1之间的相似度值5,电影A3与电影B2之间的相似度值6;
第一应用服务器确定相似度值1和相似度值2中,是否存在大于预设相似度阈值的相似度值,当确定不存在时,确定电影B1和电影B2均不相似;
第一应用服务器确定相似度值3和相似度值4中,是否存在大于预设相似度阈值的相似度值,当确定存在大于预设相似度阈值的相似度值时,例如确定相似度值3大于预设相似度阈值,确定电影B1和电影A2相似,电影B1作为电影A2的关联数据;
第一应用服务器确定相似度值5和相似度值6中,是否存在大于预设相似度阈值的相似度值,当确定存在大于预设相似度阈值的相似度值时,例如确定相似度值6大于预设相似度阈值,确定电影B2和电影A3相似,电影B2作为电影A3的关联数据;
第一应用服务器基于电影A2对应的权重值2,设置电影B1的权重值,并基于电影A3对应的权重值3,设置电影B2的权重值,例如:设置电影B1的权重值为权重值2,设置电影B2的权重值为权重值3;
第一应用服务器将电影A1对应的权重值1、电影A2对应的权重值2、电影A3对应的权重值3、电影B1对应的权重值2和电影B2对应的权重值3,发送至第二应用服务器;
第二应用服务器接收电影A1对应的权重值1、电影A2对应的权重值2、电影A3对应的权重值3、电影B1对应的权重值2和电影B2对应的权重值3;
第二应用服务器基于所接收的权重值,对电影A1、电影A2、电影A3、电影B1和电影B2进行排序;其中,权重值1大于权重值2,权重值2大于权重值3;
第二应用服务器确定电影A1为第一目标数据,为电影A1设置缓存时长1;
第二应用服务器分别计算电影A2、电影A3、电影B1和电影B2各自与电影A1的比值,确定出电影A2对应比值1、电影A3对应比值2、电影B1对应比值1、电影B2对应比值2;
第二应用服务器按照正比例关系,基于缓存时长1和比值1,分别为电影A2和电影B1设置缓存时长2;基于缓存时长1和比值2,分别为电影A3和电影B2设置缓存时长3,其中,缓存时长1大于缓存时长2,缓存时长2大于缓存时长3。
相应于上述方法实施例,本发明实施例还提供了另一种数据处理系统,该数据处理系统可以包括实施例三中所述的第三应用服务。以实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据互的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
相应于上述方法实施例,本发明实施例还提供了一种应用服务器,如图8所示,包括处理器810、通信接口820、存储器830和通信总线840,其中,处理器810,通信接口820,存储器830通过通信总线840完成相互间的通信,
存储器830,用于存放计算机程序;
通信接口820,用于与其他应用服务器进行通信;
处理器810,用于执行存储器830上所存放的程序时,实现本发明实施例所提供的第一应用服务器侧的任一所述的数据处理方法步骤:
获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;
针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
将每一目标数据对应的权重值,发送至所述第二应用服务器,以使所述第二应用服务器基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据的缓存时长越大,所述目标数据为访问数据和/或关联数据。
本发明实施例中,第一应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而将每一目标数据即访问数据和/或关联数据对应的权重值,发送至第二应用服务器,以使第二应用服务器基于每一目标数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据互的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
上述应用服务器提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述应用服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例,本发明实施例还提供了一种应用服务器,如图9所示,包括处理器910、通信接口920、存储器930和通信总线940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信,
存储器930,用于存放计算机程序;
通信接口920,用于与所述其他应用服务器进行通信;
处理器910,用于执行存储器930上所存放的程序时,实现本发明实施例所提供的第二应用服务器侧的任一所述的数据处理方法步骤:
接收所述第一应用服务器发送的每一目标数据对应的权重值,其中,所述目标数据为:访问数据和/或关联数据,所述关联数据为:与访问数据之间的相似度值大于预设相似度阈值的数据,所述访问数据包括:在预设时间段内用户所访问的数据,每一目标数据对应的权重值用于:指示设置该目标数据的缓存时长;
基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长。
本发明实施例中,第一应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而将每一目标数据即访问数据和/或关联数据对应的权重值,发送至第二应用服务器。第二应用服务器基于每一目标数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据互的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
上述应用服务器提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述应用服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例,本发明实施例还提供了一种应用服务器,如图10所示,包括处理器1010、通信接口1020、存储器1030和通信总线1040,其中,处理器1010,通信接口1020,存储器1030通过通信总线1040完成相互间的通信,
存储器1030,用于存放计算机程序;
处理器1010,用于执行存储器1030上所存放的程序时,实现本发明实施例所提供的第三应用服务器侧的任一所述的数据处理方法步骤:
获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
基于所确定的每一访问数据的访问次数,确定每一访问数据对应的权重值,其中,每一访问数据的访问次数越大,该访问数据对应的权重值越大;
针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:未被缓存过的数据和/或缓存失效的数据;
针对每一访问数据,基于该访问数据对应的权重值,设置该访问数据的关联数据的权重值;
基于每一目标数据对应的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据对应的权重值越大,该目标数据对应的缓存时长越长,所述目标数据为访问数据和/或关联数据。
本发明实施例中,第三应用服务器可以基于每一访问数据在预设时间段内的访问次数,确定每一访问数据对应的权重值,并基于访问数据对应的权重值,确定访问数据的关联数据对应的权重值,进而基于每一目标数据即访问数据和/或关联数据对应的权重值,对每一目标数据对应的缓存时长进行调整。实现对数据的缓存时长的动态地、智能化地调整,并且,每一数据对应的缓存时长与每一数据对应的权重值成正比,且每一数据对应的权重值与每一数据在预设时间段内的访问次数成正比,即每一数据在预设时间段内的访问次数越大,该数据对应的缓存时长越长,可以在一定程度上延长访问次数较高的访问数据,以及该访问数据互的关联数据的缓存时长,并缩短访问次数较低的访问数据,以及该访问数据的关联数据的缓存时长。在一定程度上减轻存储资源的浪费以及减轻网站的应用服务器的运维负担。
并且,本发明实施例中,可以基于前期历史数据(预设时间段内用户的访问日志对应的访问数据)的特征,动态地预测出后续的未被缓存过的数据以及缓存失效的数据的访问趋势,并进行针对性的缓存设置,例如缓存时长的设置,在一定程度上可以优化并提高对网站的应用服务的效果。
上述应用服务器提到的通信总线可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述应用服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第一应用服务器侧的数据处理方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第一应用服务器侧的数据处理方法。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第二应用服务器侧的数据处理方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第二应用服务器侧的数据处理方法。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第三应用服务器侧的数据处理方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的第三应用服务器侧的数据处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (22)

1.一种数据处理方法,其特征在于,应用于第一应用服务器,所述第一应用服务器与第二应用服务器为同一网站提供应用服务,所述方法包括:
获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
基于所确定的每一访问数据的访问次数,确定每一访问数据的权重值,其中,每一访问数据的访问次数越大,该访问数据的权重值越大;
针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据对应的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;
针对每一访问数据,基于该访问数据的权重值,设置该访问数据对应的关联数据的权重值;
将每一目标数据的权重值,发送至所述第二应用服务器,以使所述第二应用服务器基于所接收到的每一目标数据的权重值,设置该目标数据的缓存时长,其中,所述目标数据的权重值越大,该目标数据的缓存时长越大,所述目标数据为访问数据和/或关联数据。
2.根据权利要求1所述的方法,其特征在于,所述针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据对应的关联数据的步骤,包括:
针对每一访问数据,基于该访问数据的数据标识,获得该访问数据对应的特征;
获得所述待处理数据集中每一数据对应的特征;
针对每一访问数据,将该访问数据对应的特征与所述待处理数据集中每一数据对应的特征进行比对,确定出该访问数据与所述待处理数据集中每一数据之间的相似度值;
针对每一访问数据,确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,是否存在大于预设相似度阈值的相似度值;
当确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,存在大于所述预设相似度阈值的相似度值时,确定所述待处理数据集中,与该访问数据之间的相似度值大于所述预设相似度阈值的数据,作为该访问数据对应的关联数据。
3.根据权利要求1所述的方法,其特征在于,所述基于所确定的每一访问数据的访问次数,确定每一访问数据的权重值的步骤,包括:
针对每一访问数据,基于该访问数据的访问次数以及预设的第一对应关系,确定该访问数据的权重值,其中,所述第一对应关系包含:访问次数与权重值的对应关系。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数的步骤,包括:
对所获取的访问日志进行预设格式化处理,得到访问数据的数据标识;
基于所述访问数据的数据标识,统计每一访问数据在所述预设时间段内的访问次数。
5.一种数据处理方法,其特征在于,应用于第二应用服务器,所述第二应用服务器与第一应用服务器为同一网站提供应用服务,所述方法包括:
接收所述第一应用服务器发送的每一目标数据的权重值,其中,所述目标数据为:访问数据和/或关联数据,所述访问数据包括:在预设时间段内用户所访问的数据,所述关联数据为:与所述访问数据之间的相似度值大于预设相似度阈值的数据,所述目标数据的权重值用于:指示设置该目标数据的缓存时长;
基于每一目标数据的权重值,设置该目标数据的缓存时长,其中,每一目标数据的权重值越大,该目标数据的缓存时长越长。
6.根据权利要求5所述的方法,其特征在于,所述基于每一目标数据的权重值,设置该目标数据的缓存时长的步骤,包括:
针对每一目标数据,基于该目标数据的权重值以及预设的第二对应关系,设置该目标数据的缓存时长,其中,所述预设的第二对应关系包括:权重值与缓存时长的对应关系。
7.根据权利要求5所述的方法,其特征在于,所述基于每一目标数据的权重值,设置该目标数据的缓存时长的步骤,包括:
基于所述目标数据的权重值的大小,对所述目标数据进行降序或升序排序,得到所述目标数据对应的排列顺序;
为第一目标数据设置缓存时长,其中,所述第一目标数据为:处于所述排列顺序中首位的数据;
针对每一第二目标数据,计算该第二目标数据与所述第一目标数据的比值,作为该第二目标数据对应的比值,其中,所述第二目标数据为:所述排列顺序中的除所述第一目标数据外的其他数据;
针对每一第二目标数据,按照正比例关系,基于所述第一目标数据的缓存时长以及该第二目标数据对应的比值,为该第二目标数据设置缓存时长。
8.根据权利要求5所述的方法,其特征在于,在所述基于每一目标数据的权重值,设置该目标数据的缓存时长的步骤之后,所述方法还包括:
基于所确定的每一目标数据的缓存时长,重新缓存目标数据。
9.一种数据处理方法,其特征在于,应用于第三应用服务器,所述方法包括:
获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
基于所确定的每一访问数据的访问次数,确定每一访问数据的权重值,其中,每一访问数据的访问次数越大,该访问数据的权重值越大;
针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据对应的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:未被缓存过的数据和/或缓存失效的数据;
针对每一访问数据,基于该访问数据的权重值,设置该访问数据对应的关联数据的权重值;
基于每一目标数据的权重值,设置该目标数据对应的缓存时长,其中,每一目标数据的权重值越大,该目标数据的缓存时长越长,所述目标数据为访问数据和/或关联数据。
10.一种数据处理装置,其特征在于,应用于第一应用服务器,所述第一应用服务器与第二应用服务器为同一网站提供应用服务,所述装置包括:
第一获取模块,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
第一统计模块,用于基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
第一确定模块,用于基于所确定的每一访问数据的访问次数,确定每一访问数据的权重值,其中,每一访问数据的访问次数越大,该访问数据的权重值越大;
第二确定模块,用于针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据对应的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;
第一设置模块,用于针对每一访问数据,基于该访问数据的权重值,设置该访问数据对应的关联数据的权重值;
发送模块,用于将每一目标数据的权重值,发送至所述第二应用服务器,以使所述第二应用服务器基于所接收到的每一目标数据的权重值,设置该目标数据的缓存时长,其中,所述目标数据的权重值越大,该目标数据的缓存时长越大,所述目标数据为访问数据和/或关联数据。
11.根据权利要求10所述的装置,其特征在于,所述第二确定模块,具体用于:
针对每一访问数据,基于该访问数据的数据标识,获得该访问数据对应的特征;
获得所述待处理数据集中每一数据对应的特征;
针对每一访问数据,将该访问数据对应的特征与所述待处理数据集中每一数据的特征进行比对,确定出该访问数据与所述待处理数据集中每一数据之间的相似度值;
针对每一访问数据,确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,是否存在大于预设相似度阈值的相似度值;
当确定该访问数据与所述待处理数据集中每一数据之间的相似度值中,存在大于所述预设相似度阈值的相似度值时,确定所述待处理数据集中,与该访问数据之间的相似度值大于所述预设相似度阈值的数据,作为该访问数据对应的关联数据。
12.根据权利要求10所述的装置,其特征在于,所述第一确定模块,具体用于:
针对每一访问数据,基于该访问数据的访问次数以及预设的第一对应关系,确定该访问数据的权重值,其中,所述第一对应关系包含:访问次数与权重值的对应关系。
13.根据权利要求10-12任一项所述的装置,其特征在于,所述第一统计模块,具体用于:
对所获取的访问日志进行预设格式化处理,得到访问数据的数据标识;
基于所述访问数据的数据标识,统计每一访问数据在所述预设时间段内的访问次数。
14.一种数据处理装置,其特征在于,应用于第二应用服务器,所述第二应用服务器与第一应用服务器为同一网站提供应用服务,所述装置包括:
接收模块,用于接收所述第一应用服务器发送的每一目标数据的权重值,其中,所述目标数据为:访问数据和/或关联数据,所述访问数据包括:在预设时间段内用户所访问的数据,所述关联数据为:与所述访问数据之间的相似度值大于预设相似度阈值的数据,每一目标数据的权重值用于:指示设置所述目标数据的缓存时长;
第二设置模块,用于基于每一目标数据的权重值,设置该目标数据的缓存时长,其中,每一目标数据的权重值越大,该目标数据的缓存时长越长。
15.根据权利要求14所述的装置,其特征在于,所述第二设置模块,具体用于:
针对每一目标数据,基于该目标数据的权重值以及预设的第二对应关系,设置该目标数据的缓存时长,其中,所述预设的第二对应关系包括:权重值与缓存时长的对应关系。
16.根据权利要求14所述的装置,其特征在于,所述第二设置模块,具体用于:
基于所述目标数据的权重值的大小,对所述目标数据进行降序或升序排序,得到所述目标数据对应的排列顺序;
为第一目标数据设置缓存时长,其中,所述第一目标数据为:处于所述排列顺序中首位的数据;
针对每一第二目标数据,计算该第二目标数据与所述第一目标数据的比值,作为该第二目标数据对应的比值,其中,所述第二目标数据为:所述排列顺序中的除所述第一目标数据外的其他数据;
针对每一第二目标数据,按照正比例关系,基于所述第一目标数据的缓存时长以及该第二目标数据对应的比值,为该第二目标数据设置缓存时长。
17.根据权利要求14所述的装置,其特征在于,所述装置还包括:
缓存模块,用于基于所确定的每一目标数据对应的缓存时长,重新缓存目标数据。
18.一种数据处理装置,其特征在于,应用于第三应用服务器,所述装置包括:
第二获取模块,用于获取预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;
第二统计模块,用于基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;
第三确定模块,用于基于所确定的每一访问数据的访问次数,确定每一访问数据的权重值,其中,每一访问数据的访问次数越大,该访问数据的权重值越大;
第四确定模块,用于针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据对应的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:未被缓存过的数据和/或缓存失效的数据;
第三设置模块,用于针对每一访问数据,基于该访问数据的权重值,设置该访问数据对应的关联数据的权重值;
第四设置模块,用于基于每一目标数据的权重值,设置该目标数据的缓存时长,其中,每一目标数据的权重值越大,该目标数据的缓存时长越长,所述目标数据为访问数据和/或关联数据。
19.一种数据处理系统,其特征在于,所述系统包括:第一应用服务器和第二应用服务器,所述第一应用服务器与所述第二应用服务器为同一网站提供应用服务;
所述第一应用服务器,用于获取第二应用服务器存储的预设时间段内用户的访问日志,其中,所述访问日志包括:所对应访问数据的数据标识;基于所获取的访问日志,统计每一访问数据在所述预设时间段内的访问次数;基于所确定的每一访问数据的访问次数,确定每一访问数据的权重值,其中,每一访问数据的访问次数越大,该访问数据的权重值越大;针对每一访问数据,基于该访问数据的数据标识,从待处理数据集中,确定出与该访问数据关联的数据,作为该访问数据对应的关联数据,其中,所述与该访问数据关联的数据为:与该访问数据之间的相似度值大于预设相似度阈值的数据,所述待处理数据集包括:第二应用服务器的未被缓存过的数据和/或缓存失效的数据;针对每一访问数据,基于该访问数据的权重值,设置该访问数据对应的关联数据的权重值;将每一目标数据的权重值,发送至所述第二应用服务器,所述目标数据为访问数据和/或关联数据;
所述第二应用服务器,用于接收所述第一应用服务器发送的每一所述目标数据的权重值,基于每一目标数据的权重值,设置该目标数据的缓存时长,其中,每一目标数据的权重值越大,该目标数据的缓存时长越长。
20.一种应用服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
通信接口,用于与其他应用服务器进行通信;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-4任一所述的数据处理方法步骤。
21.一种应用服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
通信接口,用于与其他应用服务器进行通信;
处理器,用于执行存储器上所存放的程序时,实现权利要求5-8任一所述的数据处理方法步骤。
22.一种应用服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求9所述的数据处理方法步骤。
CN201810960814.8A 2018-08-22 2018-08-22 一种数据处理方法、装置、系统及应用服务器 Active CN109299144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810960814.8A CN109299144B (zh) 2018-08-22 2018-08-22 一种数据处理方法、装置、系统及应用服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810960814.8A CN109299144B (zh) 2018-08-22 2018-08-22 一种数据处理方法、装置、系统及应用服务器

Publications (2)

Publication Number Publication Date
CN109299144A true CN109299144A (zh) 2019-02-01
CN109299144B CN109299144B (zh) 2021-04-16

Family

ID=65165525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810960814.8A Active CN109299144B (zh) 2018-08-22 2018-08-22 一种数据处理方法、装置、系统及应用服务器

Country Status (1)

Country Link
CN (1) CN109299144B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672757A (zh) * 2019-02-26 2019-04-23 北京奇艺世纪科技有限公司 文件访问方法及文件访问处理装置
CN109918575A (zh) * 2019-03-29 2019-06-21 阿里巴巴集团控股有限公司 一种应用于搜索系统的数据淘汰方法和装置
CN110347480A (zh) * 2019-06-26 2019-10-18 联动优势科技有限公司 含有重合数据项标签的数据源优选访问路径方法及装置
CN110543509A (zh) * 2019-09-04 2019-12-06 北京奇艺世纪科技有限公司 用户访问数据的监控系统、方法、装置及电子设备
CN111131856A (zh) * 2019-12-31 2020-05-08 北京奇艺世纪科技有限公司 一种缓存过期时间调整方法、装置、电子设备及存储介质
CN111935507A (zh) * 2020-08-19 2020-11-13 上海连尚网络科技有限公司 视频切换方法和设备
CN113329065A (zh) * 2021-05-18 2021-08-31 武汉联影医疗科技有限公司 资源预热方法、装置、计算机设备和存储介质
CN113612823A (zh) * 2021-07-22 2021-11-05 北京金山云网络技术有限公司 内容分发网络的缓存时长调整方法、装置和存储介质
CN113840234A (zh) * 2020-06-23 2021-12-24 深圳市万普拉斯科技有限公司 天气信息获取方法、装置、系统、服务器及存储介质
CN114461143A (zh) * 2022-01-11 2022-05-10 上海英方软件股份有限公司 一种海量数据的冷热数据区分方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655130A (zh) * 2004-02-13 2005-08-17 联想(北京)有限公司 一种获取硬盘中数据的方法
CN104133880A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种设置文件缓存时间的方法与装置
CN105279240A (zh) * 2015-09-28 2016-01-27 暨南大学 客户端起源信息关联感知的元数据预取方法及系统
CN106815287A (zh) * 2016-12-06 2017-06-09 中国银联股份有限公司 一种缓存管理方法及装置
US20170353577A1 (en) * 2016-06-01 2017-12-07 Home Box Office, Inc. Cached data expiration and refresh
CN107818111A (zh) * 2016-09-13 2018-03-20 腾讯科技(深圳)有限公司 一种缓存文件数据的方法、服务器及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655130A (zh) * 2004-02-13 2005-08-17 联想(北京)有限公司 一种获取硬盘中数据的方法
CN104133880A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种设置文件缓存时间的方法与装置
CN105279240A (zh) * 2015-09-28 2016-01-27 暨南大学 客户端起源信息关联感知的元数据预取方法及系统
US20170353577A1 (en) * 2016-06-01 2017-12-07 Home Box Office, Inc. Cached data expiration and refresh
CN107818111A (zh) * 2016-09-13 2018-03-20 腾讯科技(深圳)有限公司 一种缓存文件数据的方法、服务器及终端
CN106815287A (zh) * 2016-12-06 2017-06-09 中国银联股份有限公司 一种缓存管理方法及装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672757B (zh) * 2019-02-26 2022-02-25 北京奇艺世纪科技有限公司 文件访问方法及文件访问处理装置
CN109672757A (zh) * 2019-02-26 2019-04-23 北京奇艺世纪科技有限公司 文件访问方法及文件访问处理装置
CN109918575A (zh) * 2019-03-29 2019-06-21 阿里巴巴集团控股有限公司 一种应用于搜索系统的数据淘汰方法和装置
CN110347480A (zh) * 2019-06-26 2019-10-18 联动优势科技有限公司 含有重合数据项标签的数据源优选访问路径方法及装置
CN110543509A (zh) * 2019-09-04 2019-12-06 北京奇艺世纪科技有限公司 用户访问数据的监控系统、方法、装置及电子设备
CN110543509B (zh) * 2019-09-04 2022-06-03 北京奇艺世纪科技有限公司 用户访问数据的监控系统、方法、装置及电子设备
CN111131856A (zh) * 2019-12-31 2020-05-08 北京奇艺世纪科技有限公司 一种缓存过期时间调整方法、装置、电子设备及存储介质
CN113840234A (zh) * 2020-06-23 2021-12-24 深圳市万普拉斯科技有限公司 天气信息获取方法、装置、系统、服务器及存储介质
CN113840234B (zh) * 2020-06-23 2023-10-24 深圳市万普拉斯科技有限公司 天气信息获取方法、装置、系统、服务器及存储介质
CN111935507A (zh) * 2020-08-19 2020-11-13 上海连尚网络科技有限公司 视频切换方法和设备
CN113329065A (zh) * 2021-05-18 2021-08-31 武汉联影医疗科技有限公司 资源预热方法、装置、计算机设备和存储介质
CN113612823A (zh) * 2021-07-22 2021-11-05 北京金山云网络技术有限公司 内容分发网络的缓存时长调整方法、装置和存储介质
CN114461143A (zh) * 2022-01-11 2022-05-10 上海英方软件股份有限公司 一种海量数据的冷热数据区分方法及装置

Also Published As

Publication number Publication date
CN109299144B (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN109299144A (zh) 一种数据处理方法、装置、系统及应用服务器
US10783267B2 (en) Centralized throttling service
CN109190070A (zh) 一种数据处理方法、装置、系统及应用服务器
CN113037869B (zh) 用于内容分发网络系统的回源的方法和装置
US9419852B1 (en) Systems and methods for identifying and characterizing client devices
CN104915319B (zh) 高速缓存信息的系统及方法
CN109684358A (zh) 数据查询的方法和装置
US20180241801A1 (en) Push-based cache invalidation notification
CN106953940B (zh) Dns服务器及配置加载方法、网络系统、域名解析方法及系统
CN105991408B (zh) 一种消息处理方法、装置及处理服务器
CN106027595A (zh) 用于cdn节点的访问日志处理方法及系统
CN106464669B (zh) 基于访问模式的智能文件预取
CN105897850A (zh) 用于cdn平台的响应处理方法、调度代理服务器及系统
CN103916474B (zh) 缓存时间的确定方法、装置及系统
CN107241344A (zh) 拦截客户端对恶意网络服务器的访问的方法、设备和系统
CN105959358A (zh) Cdn服务器及其缓存数据的方法
CN108616525A (zh) 网站访问方法和装置、电子设备及存储介质
US20200394448A1 (en) Methods for more effectively moderating one or more images and devices thereof
CN106713495A (zh) Ip地理位置的上传方法及访问方法、装置及访问系统
CN106331172A (zh) 一种应用于内容分发网络的资源检测方法及装置
CN110457223A (zh) 灰度测试引流方法、装置、代理服务器及可读存储介质
CN108156257A (zh) 一种信息推送方法及装置
CN106649150A (zh) 一种缓存管理方法及装置
US10579676B2 (en) Highly scalable fine grained rate limiting
CN110321298A (zh) 一种时间间隔确定方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant