CN107291756A - 数据缓存的方法及装置 - Google Patents

数据缓存的方法及装置 Download PDF

Info

Publication number
CN107291756A
CN107291756A CN201610204539.8A CN201610204539A CN107291756A CN 107291756 A CN107291756 A CN 107291756A CN 201610204539 A CN201610204539 A CN 201610204539A CN 107291756 A CN107291756 A CN 107291756A
Authority
CN
China
Prior art keywords
data
page
cached
request
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610204539.8A
Other languages
English (en)
Inventor
王玲玉
李雅民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610204539.8A priority Critical patent/CN107291756A/zh
Priority to TW106107620A priority patent/TWI665569B/zh
Priority to PCT/CN2017/077241 priority patent/WO2017167039A1/zh
Priority to EP17773069.4A priority patent/EP3418911A4/en
Priority to JP2018551171A priority patent/JP6748734B2/ja
Priority to KR1020187031539A priority patent/KR102232813B1/ko
Priority to SG11201808173RA priority patent/SG11201808173RA/en
Priority to MYPI2018703568A priority patent/MY190884A/en
Publication of CN107291756A publication Critical patent/CN107291756A/zh
Priority to PH12018502065A priority patent/PH12018502065A1/en
Priority to US16/145,660 priority patent/US11449570B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据缓存的方法及装置,涉及互联网技术领域,能够解决以下问题:当某一页面的缓存数据过期时,若存在大量用户访问该页面,则需要分别针对每一个请求从数据库中查找数据,从而造成大量请求同时访问数据库的现象。该方法主要包括:在接收到客户端发送的数据请求后,确定所述数据请求对应的缓存数据的剩余有效缓存时长;判断所述剩余有效缓存时长是否大于预设的更新阈值;若所述剩余有效缓存时长小于或等于所述更新阈值,则通过数据库更新所述缓存数据。本发明主要适用于基于数据缓存响应客户端请求的场景中。

Description

数据缓存的方法及装置
技术领域
本发明涉及互联网技术领域,特别是涉及一种数据缓存的方法及装置。
背景技术
在实际应用中,对于大型的网站或应用,几乎每时每刻存在着数万级用户在访问同一个页面。因此,为了快速响应用户请求,引入了缓存技术。在现有技术中,当某页面首次被访问时,系统先从数据库中查找该页面对应的数据,然后将查找到的数据返回给客户端,同时将查找到的数据缓存至缓存服务器中,以便后续该页面再次被访问时,可直接从缓存服务器侧获取数据,而无需从包含大量数据的数据库中花费大量时间进行查询,从而提高了响应用户请求的效率。
由于数据库中的数据会不断更新,所以缓存至缓存服务器的数据只会暂时缓存,而不会持久缓存。在这种情况下,当某一页面的缓存数据过期时,若存在大量用户访问该页面,则系统需要分别针对每一个请求从数据库中查找数据,因此,会存在大量请求同时访问数据库的现象,且从数据库中查询数据效率较低,数据库的连接数也有限,从而部分用户的界面可能会出现短暂的系统异常、无法查看到页面内容的现象。
发明内容
有鉴于此,本发明提供一种数据缓存的方法及装置,能够解决以下问题:当某一页面的缓存数据过期时,若存在大量用户访问该页面,则需要分别针对每一个请求从数据库中查找数据,从而造成大量请求同时访问数据库的现象,进而使得部分用户的界面出现短暂的系统异常、无法查看页面内容的现象。
依据本发明一个方面,提供了一种数据缓存的方法,所述方法包括:
在接收到客户端发送的数据请求后,确定所述数据请求对应的缓存数据的剩余有效缓存时长;
判断所述剩余有效缓存时长是否大于预设的更新阈值;
若所述剩余有效缓存时长小于或等于所述更新阈值,则通过数据库更新所述缓存数据。
依据本发明另一个方面,提供了一种数据缓存的装置,所述装置包括:
确定单元,用于在接收到客户端发送的数据请求后,确定所述数据请求对应的缓存数据的剩余有效缓存时长;
判断单元,用于判断所述确定单元获得的所述剩余有效缓存时长是否大于预设的更新阈值;
更新单元,用于当所述判断单元的判断结果为所述剩余有效缓存时长小于或等于所述更新阈值时,通过数据库更新所述缓存数据。
借由上述技术方案,本发明提供的数据缓存的方法及装置,能够在接收到客户端发送的数据请求后,判断该数据请求对应的缓存数据的剩余有效缓存时长是否大于预设的更新阈值;当剩余有效缓存时长大于该更新阈值时,直接向客户端返回该缓存数据;当剩余有效缓存时长为正数,且小于或者等于该更新阈值时,不仅向客户端返回该缓存数据,还通过数据库更新该缓存数据。由此可知,与现有技术中当缓存数据过期时,才更新缓存数据相比,本发明能够在缓存数据过期前就更新缓存数据,从而当后续存在大量客户端请求该缓存数据时,该缓存数据仍然处于有效状态,并可以直接将该缓存数据返回给各个客户端,进而减少因缓存数据过期,存在大量请求并发访问数据库的现象。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种数据缓存的方法的流程图;
图2示出了本发明实施例提供的一种数据缓存的装置的组成框图;
图3示出了本发明实施例提供的另一种数据缓存的装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种数据缓存的方法,该方法主要应用于服务器侧,如图1所示,该方法主要包括:
101、在接收到客户端发送的数据请求后,确定数据请求对应的缓存数据的剩余有效缓存时长。
当服务器接收到客户端发送的数据请求后,可以从缓存中查找该数据请求对应的缓存数据,并确定缓存数据的剩余有效缓存时长,以便后续根据该剩余有效缓存时长判断是否需要更新该缓存数据。其中,在缓存各个缓存数据时,可以记录其缓存起始时间和总体有效缓存时长,在缓存时间到总体有效缓存时长时,缓存数据过期;也可以设置一个时间为总体有效缓存时长的倒计时器,当计时为0时,缓存数据过期。由此可知,服务器可以根据缓存数据的时间属性,确定缓存数据的剩余有效缓存时长。
102、判断剩余有效缓存时长是否大于预设的更新阈值。
其中,剩余有效缓存时长为正数,更新阈值小于缓存数据的总体有效缓存时长。若剩余有效缓存时长为正数,则说明该缓存数据为有效数据,在这种情况下,可以执行步骤102,以便确定是否需要提前更新缓存数据;若剩余有效缓存时长为0,则说明该缓存数据已过期,在这种情况下,取消执行步骤102,直接针对每一个数据请求,向数据库查询数据,并将查找到的数据返回给客户端,以及根据查找到的数据更新过期的缓存数据。
103、若剩余有效缓存时长小于或等于更新阈值,则通过数据库更新缓存数据。
具体的,若剩余有效缓存时长小于或等于更新阈值,则将该缓存数据返回给客户端,并通过数据库更新缓存数据;若剩余有效缓存时长大于更新阈值,则直接将该缓存数据返回给客户端即可,而无需通过数据库更新缓存数据。其中,将缓存数据返回给客户端以及通过数据库更新缓存数据可以同时进行,也可以不同时进行,在此不作限定。
若在缓存数据的剩余有效缓存时长等于更新阈值时接收到客户端发送的数据请求,则服务器需要通过数据库更新该缓存数据。在这种情况下,若更新阈值为从数据库中查询数据到将查询的数据写入缓存中所需的平均时间,则该缓存数据正好在过期的瞬间完成更新操作;若更新阈值小于该平均时间,则在该缓存数据过期的瞬间还未完成更新操作,从而从缓存数据过期到完成更新操作期间,若存在大量客户端发送数据请求,则需要针对每个数据请求向数据库发送查询请求,进而可能造成系统异常的现象;若更新阈值大于该平均时间,则在该缓存数据过期前就完成更新操作,从而不会出现因缓存过期,需要针对每个数据请求向数据库发送查询请求的现象。由此可知,在实际应用中,当更新阈值大于或者等于从数据库中查询数据到将查询的数据写入缓存中所需的平均时间时,可以进一步减少大量请求访问数据库的现象。
本发明实施例提供的数据缓存的方法,能够在接收到客户端发送的数据请求后,判断该数据请求对应的缓存数据的剩余有效缓存时长是否大于预设的更新阈值;当剩余有效缓存时长大于该更新阈值时,直接向客户端返回该缓存数据;当剩余有效缓存时长为正数,且小于或者等于该更新阈值时,不仅向客户端返回该缓存数据,还通过数据库更新该缓存数据。由此可知,与现有技术中当缓存数据过期时,才更新缓存数据相比,本发明能够在缓存数据过期前就更新缓存数据,从而当后续存在大量客户端请求该缓存数据时,该缓存数据仍然处于有效状态,并可以直接将该缓存数据返回给各个客户端,进而减少因缓存数据过期,存在大量请求并发访问数据库的现象。
进一步的,在通过数据库更新缓存数据期间,可能会接收到客户端发送的数据请求,并且在这段时间内,数据请求对应的缓存数据可能还未过期,且满足更新条件(即缓存数据的剩余有效缓存时长小于或等于更新阈值)。由此可知,在缓存数据未过期且通过数据库更新缓存数据期间,缓存数据一直满足更新条件,因此,在此期间,每接收一个该缓存数据对应的数据请求,就需要向数据库发送一次数据查询请求,以便更新缓存数据,从而出现频繁更新缓存数据、频繁访问数据库的现象。
为解决上述技术问题,本发明实施例对上述实施例作了如下改进:在缓存数据的更新期间,若再接收到其他数据请求,则取消执行判断剩余有效缓存时长是否大于预设的更新阈值,即只在接收到的数据请求首次满足更新条件时才更新缓存数据,在更新完成之前,接收到其他请求后,直接向对应的客户端返回缓存数据,无需再通过访问数据库更新缓存数据。
进一步的,对于上述实施例涉及的方案,由于在缓存数据的剩余有效缓存时长由更新阈值逐渐变为0(不包括0)的过程中,若没有接收到任何一个该缓存数据对应的数据请求,则不会触发对该缓存数据更新的操作,所以缓存数据仍然存在过期的现象,从而可能存在大量请求同时访问数据库的现象。为了进一步减少大量请求同时访问数据库的现象,本发明实施例可以在上述任一实施例的基础上作如下改进:
当存储的缓存数据过期时,查询是否接收到客户端发送的缓存数据对应的数据请求;若没有接收到客户端发送的缓存数据对应的数据请求,则通过数据库更新缓存数据;若接收到客户端发送的缓存数据对应的数据请求,则在从数据库中查找到数据请求对应的数据后,将查找到的数据返回给客户端,并基于查找到的数据更新缓存数据。
与只有在接收到客户端发送的数据请求后,才判断是否需要更新缓存数据相比,本发明实施例通过实时判断存储的缓存数据是否过期,当缓存数据过期时,若没有接收到客户端发送的缓存数据对应的数据请求,则直接通过数据库更新缓存数据,从而在缓存数据更新后,若接收到客户端发送的数据请求,则可以直接将更新后的缓存数据返回给客户端,而无需针对每个数据请求访问数据库,进而进一步减少了大量请求同时访问数据库的现象。
进一步的,本发明实施例还可以在上述任一实施例的基础上作如下改进:
当数据资源首次被访问时,根据资源类型和预置规则将数据资源包含的数据划分为至少两个数据集合。将各个数据集合独立进行缓存,并生成各个数据集合对应的key,以便后续根据key查找缓存数据,其中,每个数据集合的过期时间点不同,key的取值为缓存数据的主键值。其中,数据资源包括浏览器页面、其他应用软件上的页面以及待下载的文件等。
此外,在数据资源包含的数据划分成至少两个数据集合进行缓存后,上述步骤102的具体实现方式可以为:判断数据请求对应的数据集合的剩余有效缓存时长是否大于更新阈值。
在实际应用中,当数据资源为页面时,不同类型的页面可以有不同的页面数据划分方法,下面以以下两种情况为例进行介绍:
第一种情况:在现有技术中,在对用于展示固定数据的第一页面包含的数据进行缓存时,会将所有数据进行完整缓存,即第一页面包含的所有数据对应一个key,因此,在对该第一页面对应的缓存数据进行更新时,需要从数据库中查找该第一页面包含的所有数据,查询的数据量较大,从而查询效率较低。因此为解决上述技术问题,本发明实施例可以对第一页面进行如下划分:当数据资源为用于展示固定数据的第一页面时,根据第一页面的页面布局,将从数据库中查找到的第一页面包含的数据划分为至少两个数据集合。并且在对第一页面划分后,将各个数据集合独立进行缓存,并生成各个数据集合对应的key,以便后续根据key查找缓存数据,其中,每个数据集合的过期时间点不同。
具体的,第一页面为用于展示固定数据的页面,即当客户端访问第一页面时,服务器需要将第一页面包含的所有数据返回给客户端,以便在客户端完整展示第一页面。其中,第一页面所展示的固定数据包括文字、链接、图像等。
在实际应用中,一个页面往往被划分为至少两个区域进行显示,且每个区域显示的数据的格式往往相同。因此,可以根据页面布局将第一页面包含的数据划分为至少两个数据集合,且每个数据集合对应页面布局中的一个区域,或者每个数据集合对应一个区域中的一部分;还可以根据其他划分规则划分第一页面,在此不作限定。
若数据资源为用于展示固定数据的第一页面,且基于上述第一种情况进行数据缓存,则当客户端请求该页面的数据时,需要分别判断该数据请求对应的各个数据集合的剩余有效缓存时长是否大于更新阈值,并通过数据库对满足剩余有效缓存时长小于或等于更新阈值的数据集合进行更新。
由于各个数据集合的过期时间点不同,所以在同一时刻,可能只存在部分数据集合的剩余有效缓存时长小于或等于更新阈值。因此,与现有技术中对页面进行完整缓存(即页面包含的所有数据对应一个key)相比,本发明实施例只需对满足剩余有效缓存时长小于或等于更新阈值的数据集合进行更新,而无需对该页面对应的其他数据集合进行更新,从而减少了更新页面数据的数据量,进而提高了更新效率。
第二种情况:在现有技术中,在对具有条件查询功能的第二页面包含的数据进行缓存时,会将所有数据进行完整缓存,即第二页面包含的所有数据对应一个key,因此,当用户基于第二页面进行条件查询时,需要从第二页面对应的所有缓存数据中查询满足条件的数据,并将查找到的数据返回给客户端,因此响应客户端请求的效率较低。为解决上述技术问题,本发明实施例可以对第二页面进行如下划分:
当数据资源为具有条件查询功能的第二页面时,根据第二页面涉及的查询条件组合,将从数据库中查找到的第二页面包含的数据划分为至少两个数据集合;第二页面中包括多组查询条件,一组查询条件对应的结果数据为一个数据集合,一组查询条件由至少一个查询条件组成。并且在对第二页面划分后,将各个数据集合独立进行缓存,并生成各个数据集合对应的key,以便后续根据key查找缓存数据。
其中,第二页面包括各个查询条件以及某组查询条件对应的结果数据。当用户首次进入第二页面时,查询条件往往为不限,因此会在该页面上显示所有数据;当用户基于第二页面选择某组查询条件进行查询时,会在该页面显示该组查询条件对应的结果数据。
例如,第二页面上的查询条件有:“期限(包括不限、3个月内、3-6个月内、6-12个月内)”、“起购金额(包括不限、100-1000、1000-1万、1万-5万、5万以上)”、“产品类型(包括不限、基金产品、保险产品、其他产品)”。当用户首次进入第二页面时,期限、起购金额以及产品类型均为不限,显示所有数据;当用户基于第二页面选择“期限为3个月内,起购金额为1万-5万,产品类型为基金产品”时,第二页面会显示满足该条件的数据。
若数据资源为具有条件查询功能的第二页面,且基于上述第二种情况进行数据缓存,则当用户基于该页面进行条件查询时,需要判断请求的这组查询条件对应的数据集合的剩余有效缓存时长是否大于更新阈值,并在剩余有效缓存时长小于或者等于更新阈值时,通过数据库更新该数据集合。
由于每组查询条件对应的数据集合分开缓存,所以当用户基于该页面进行条件查询时,可直接通过key查找查询条件下的数据集合,并将查找到的数据集合返回给客户端,而无需根据查询条件从该页面包含的所有数据中进行二次查询,从而提高了响应客户端请求的效率。
进一步的,依据上述方法实施例,本发明的另一个实施例还提供了一种数据缓存的装置,如图2所示,该装置主要包括:确定单元21、判断单元22和更新单元23。其中,
确定单元21,用于在接收到客户端发送的数据请求后,确定数据请求对应的缓存数据的剩余有效缓存时长;
判断单元22,用于判断确定单元21获得的剩余有效缓存时长是否大于预设的更新阈值;
更新单元23,用于当判断单元22的判断结果为剩余有效缓存时长小于或等于更新阈值时,通过数据库更新缓存数据。
本发明实施例提供的数据缓存的装置,能够在接收到客户端发送的数据请求后,判断该数据请求对应的缓存数据的剩余有效缓存时长是否大于预设的更新阈值;当剩余有效缓存时长大于该更新阈值时,直接向客户端返回该缓存数据;当剩余有效缓存时长为正数,且小于或者等于该更新阈值时,不仅向客户端返回该缓存数据,还通过数据库更新该缓存数据。由此可知,与现有技术中当缓存数据过期时,才更新缓存数据相比,本发明能够在缓存数据过期前就更新缓存数据,从而当后续存在大量客户端请求该缓存数据时,该缓存数据仍然处于有效状态,并可以直接将该缓存数据返回给各个客户端,进而减少因缓存数据过期,存在大量请求并发访问数据库的现象。
进一步的,如图3所示,该装置还包括:
取消单元24,用于在缓存数据的更新期间,若再接收到其他数据请求,则取消执行判断剩余有效缓存时长是否大于预设的更新阈值
进一步的,如图3所示,该装置还包括:
查询单元25,用于当存储的缓存数据过期时,查询是否接收到客户端发送的缓存数据对应的数据请求;
更新单元23还用于当没有接收到客户端发送的缓存数据对应的数据请求时,通过数据库更新缓存数据;
发送单元26,用于当接收到客户端发送的缓存数据对应的数据请求时,在从数据库中查找到数据请求对应的数据后,将查找到的数据返回给客户端;
更新单元23还用于基于查找到的数据更新缓存数据。
进一步的,如图3所示,该装置还包括:
划分单元27,用于当数据资源首次被访问时,根据资源类型和预置规则将数据资源包含的数据划分为至少两个数据集合;
缓存单元28,用于将划分单元27获得的各个数据集合独立进行缓存,并生成各个数据集合对应的key,以便后续根据key查找缓存数据,其中,每个数据集合的过期时间点不同。
进一步的,如图3所示,划分单元27,包括:
第一划分模块271,用于当数据资源为用于展示固定数据的第一页面时,根据第一页面的页面布局,将从数据库中查找到的第一页面包含的数据划分为至少两个数据集合;
第二划分模块272,用于当数据资源为具有条件查询功能的第二页面时,根据第二页面涉及的查询条件组合,将从数据库中查找到的第二页面包含的数据划分为至少两个数据集合;第二页面中包括多组查询条件,一组查询条件对应的结果数据为一个数据集合,一组查询条件由至少一个查询条件组成。
进一步的,判断单元22用于判断数据请求对应的数据集合的剩余有效缓存时长是否大于更新阈值。
该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。
所述数据缓存的装置包括处理器和存储器,上述确定单元、判断单元和更新单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来减少因缓存过期,而存在大量请求并发访问数据库的现象。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:
在接收到客户端发送的数据请求后,确定所述数据请求对应的缓存数据的剩余有效缓存时长;
判断所述剩余有效缓存时长是否大于预设的更新阈值,所述剩余有效缓存时长为正数,所述更新阈值小于所述缓存数据的总体有效缓存时长;
若所述剩余有效缓存时长小于或等于所述更新阈值,则通过数据库更新所述缓存数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,本发明可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种数据缓存的方法,其特征在于,所述方法包括:
在接收到客户端发送的数据请求后,确定所述数据请求对应的缓存数据的剩余有效缓存时长;
判断所述剩余有效缓存时长是否大于预设的更新阈值;
若所述剩余有效缓存时长小于或等于所述更新阈值,则通过数据库更新所述缓存数据。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述缓存数据的更新期间,若再接收到其他数据请求,则取消执行所述判断所述剩余有效缓存时长是否大于预设的更新阈值。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当存储的缓存数据过期时,查询是否接收到客户端发送的所述缓存数据对应的数据请求;
若没有接收到客户端发送的所述缓存数据对应的数据请求,则通过所述数据库更新所述缓存数据;
若接收到客户端发送的所述缓存数据对应的数据请求,则在从所述数据库中查找到所述数据请求对应的数据后,将查找到的数据返回给客户端,并基于所述查找到的数据更新所述缓存数据。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
当数据资源首次被访问时,根据资源类型和预置规则将所述数据资源包含的数据划分为至少两个数据集合;
将各个数据集合独立进行缓存,并生成各个数据集合对应的key,以便后续根据所述key查找缓存数据,其中,每个数据集合的过期时间点不同。
5.根据权利要求4所述的方法,其特征在于,根据资源类型和预置规则将所述数据资源包含的数据划分为至少两个数据集合,包括:
当所述数据资源为用于展示固定数据的第一页面时,根据所述第一页面的页面布局,将从所述数据库中查找到的所述第一页面包含的数据划分为至少两个数据集合;
当所述数据资源为具有条件查询功能的第二页面时,根据所述第二页面涉及的查询条件组合,将从所述数据库中查找到的所述第二页面包含的数据划分为至少两个数据集合;所述第二页面中包括多组查询条件,一组查询条件对应的结果数据为一个数据集合,一组查询条件由至少一个查询条件组成。
6.根据权利要求4所述的方法,其特征在于,判断所述剩余有效缓存时长是否大于预设的更新阈值,包括:
判断所述数据请求对应的数据集合的剩余有效缓存时长是否大于所述更新阈值。
7.一种数据缓存的装置,其特征在于,所述装置包括:
确定单元,用于在接收到客户端发送的数据请求后,确定所述数据请求对应的缓存数据的剩余有效缓存时长;
判断单元,用于判断所述确定单元获得的所述剩余有效缓存时长是否大于预设的更新阈值;
更新单元,用于当所述判断单元的判断结果为所述剩余有效缓存时长小于或等于所述更新阈值时,通过数据库更新所述缓存数据。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
取消单元,用于在所述缓存数据的更新期间,若再接收到其他数据请求,则取消执行所述判断所述剩余有效缓存时长是否大于预设的更新阈值。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
查询单元,用于当存储的缓存数据过期时,查询是否接收到客户端发送的所述缓存数据对应的数据请求;
所述更新单元还用于当没有接收到客户端发送的所述缓存数据对应的数据请求时,通过所述数据库更新所述缓存数据;
发送单元,用于当接收到客户端发送的所述缓存数据对应的数据请求时,在从所述数据库中查找到所述数据请求对应的数据后,将查找到的数据返回给客户端;
所述更新单元还用于基于所述查找到的数据更新所述缓存数据。
10.根据权利要求7至9任一项所述的装置,其特征在于,所述装置还包括:
划分单元,用于当数据资源首次被访问时,根据资源类型和预置规则将所述数据资源包含的数据划分为至少两个数据集合;
缓存单元,用于将所述划分单元获得的各个数据集合独立进行缓存,并生成各个数据集合对应的key,以便后续根据所述key查找缓存数据,其中,每个数据集合的过期时间点不同。
11.根据权利要求10所述的装置,其特征在于,所述划分单元,包括:
第一划分模块,用于当所述数据资源为用于展示固定数据的第一页面时,根据所述第一页面的页面布局,将从所述数据库中查找到的所述第一页面包含的数据划分为至少两个数据集合;
第二划分模块,用于当所述数据资源为具有条件查询功能的第二页面时,根据所述第二页面涉及的查询条件组合,将从所述数据库中查找到的所述第二页面包含的数据划分为至少两个数据集合;所述第二页面中包括多组查询条件,一组查询条件对应的结果数据为一个数据集合,一组查询条件由至少一个查询条件组成。
12.根据权利要求11所述的装置,其特征在于,所述判断单元用于判断所述数据请求对应的数据集合的剩余有效缓存时长是否大于所述更新阈值。
CN201610204539.8A 2016-04-01 2016-04-01 数据缓存的方法及装置 Pending CN107291756A (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN201610204539.8A CN107291756A (zh) 2016-04-01 2016-04-01 数据缓存的方法及装置
TW106107620A TWI665569B (zh) 2016-04-01 2017-03-08 資料快取的方法及裝置
KR1020187031539A KR102232813B1 (ko) 2016-04-01 2017-03-20 데이터 캐싱 방법 및 장치
EP17773069.4A EP3418911A4 (en) 2016-04-01 2017-03-20 METHOD AND APPARATUS FOR CACHING DATA
JP2018551171A JP6748734B2 (ja) 2016-04-01 2017-03-20 データキャッシング方法及び装置
PCT/CN2017/077241 WO2017167039A1 (zh) 2016-04-01 2017-03-20 数据缓存的方法及装置
SG11201808173RA SG11201808173RA (en) 2016-04-01 2017-03-20 Data caching method and apparatus
MYPI2018703568A MY190884A (en) 2016-04-01 2017-03-20 Data caching method and apparatus
PH12018502065A PH12018502065A1 (en) 2016-04-01 2018-09-26 Data caching method and apparatus
US16/145,660 US11449570B2 (en) 2016-04-01 2018-09-28 Data caching method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610204539.8A CN107291756A (zh) 2016-04-01 2016-04-01 数据缓存的方法及装置

Publications (1)

Publication Number Publication Date
CN107291756A true CN107291756A (zh) 2017-10-24

Family

ID=59963476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610204539.8A Pending CN107291756A (zh) 2016-04-01 2016-04-01 数据缓存的方法及装置

Country Status (10)

Country Link
US (1) US11449570B2 (zh)
EP (1) EP3418911A4 (zh)
JP (1) JP6748734B2 (zh)
KR (1) KR102232813B1 (zh)
CN (1) CN107291756A (zh)
MY (1) MY190884A (zh)
PH (1) PH12018502065A1 (zh)
SG (1) SG11201808173RA (zh)
TW (1) TWI665569B (zh)
WO (1) WO2017167039A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828749A (zh) * 2018-12-29 2019-05-31 北京航天云路有限公司 兼顾快速响应和数据更新的数据缓存方法及系统
CN110209968A (zh) * 2019-04-24 2019-09-06 北京奇艺世纪科技有限公司 一种数据存储系统、方法、装置及计算机可读存储介质
CN111259034A (zh) * 2020-02-17 2020-06-09 腾讯科技(深圳)有限公司 一种缓存数据管理方法和相关装置
CN111506606A (zh) * 2020-04-14 2020-08-07 深圳市金蝶天燕云计算股份有限公司 一种报表查询方法及相关设备
CN112307387A (zh) * 2020-10-30 2021-02-02 上海二三四五网络科技有限公司 一种动态时间段信息缓存的控制方法以及控制装置
CN113515530A (zh) * 2021-03-30 2021-10-19 贵州白山云科技股份有限公司 一种缓存对象更新方法、装置、设备及存储介质
CN116701800A (zh) * 2023-08-07 2023-09-05 广州市千钧网络科技有限公司 页面内容处理方法、装置、计算机设备及介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590347B1 (ko) * 2016-12-15 2023-10-18 삼성전자주식회사 서버, 전자 장치 및 데이터 관리 방법
US11636035B2 (en) * 2020-07-31 2023-04-25 Microsoft Technology Licensing, Llc Persisted data cache service
CN113645309A (zh) * 2021-08-18 2021-11-12 浙江苍南仪表集团股份有限公司 多客户端数据差异化二次缓存及同步的处理方法及系统
KR20240003313A (ko) * 2022-06-30 2024-01-08 쿠팡 주식회사 데이터 제공 방법 및 그 장치
CN115438279B (zh) * 2022-08-10 2023-06-27 珠海金智维信息科技有限公司 数据可视化方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166419A1 (en) * 2010-09-30 2012-06-28 International Business Machines Corporation Method, system and program for cache control in database
CN105138587A (zh) * 2015-07-31 2015-12-09 小米科技有限责任公司 数据访问方法、装置和系统
CN105335512A (zh) * 2015-10-30 2016-02-17 小米科技有限责任公司 数据查询方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6182122B1 (en) * 1997-03-26 2001-01-30 International Business Machines Corporation Precaching data at an intermediate server based on historical data requests by users of the intermediate server
US5897634A (en) 1997-05-09 1999-04-27 International Business Machines Corporation Optimized caching of SQL data in an object server system
US7801913B2 (en) 1998-12-07 2010-09-21 Oracle International Corporation System and method for querying data for implicit hierarchies
US6587856B1 (en) 1998-12-07 2003-07-01 Oracle International Corporation Method and system for representing and accessing object-oriented data in a relational database system
US6934699B1 (en) 1999-09-01 2005-08-23 International Business Machines Corporation System and method for loading a cache with query results
US20030221068A1 (en) * 2002-05-23 2003-11-27 Michael Tsuji Method and system for data cache
ATE474261T1 (de) 2003-01-31 2010-07-15 Visto Corp Asynchrones echtzeit-abrufen von daten
CA2425046C (en) 2003-04-08 2009-10-06 Ibm Canada Limited - Ibm Canada Limitee Method and system for caching database query statements
US8019735B2 (en) 2004-05-21 2011-09-13 Oracle International Corporation Systems and methods for query caching
US7461206B2 (en) * 2006-08-21 2008-12-02 Amazon Technologies, Inc. Probabilistic technique for consistency checking cache entries
US20080098093A1 (en) 2006-10-16 2008-04-24 Palm, Inc. Offline automated proxy cache for web applications
US8296394B1 (en) 2007-04-10 2012-10-23 AT & T Intellectual Property II, LP Method and system for caching real-time data
US8060486B2 (en) 2007-05-07 2011-11-15 Hewlett-Packard Development Company, L.P. Automatic conversion schema for cached web requests
US8032714B2 (en) 2007-09-28 2011-10-04 Aggregate Knowledge Inc. Methods and systems for caching data using behavioral event correlations
US7865573B2 (en) 2008-05-29 2011-01-04 Research In Motion Limited Method, system and devices for communicating between an internet browser and an electronic device
US8108587B2 (en) 2009-05-26 2012-01-31 Microsoft Corporation Free-space reduction in cached database pages
US8539160B2 (en) * 2009-09-10 2013-09-17 Red Hat, Inc. Asynchronous cache refresh for systems with a heavy load
US8266291B2 (en) * 2009-11-23 2012-09-11 International Business Machines Corporation Dynamic property volatility assignment and assessment for distributed manageable resources
US8161241B2 (en) * 2010-01-12 2012-04-17 International Business Machines Corporation Temperature-aware buffered caching for solid state storage
US9235531B2 (en) 2010-03-04 2016-01-12 Microsoft Technology Licensing, Llc Multi-level buffer pool extensions
JP5387457B2 (ja) * 2010-03-10 2014-01-15 富士電機株式会社 遠隔監視装置および該装置におけるデータアクセス方法
TW201145044A (en) * 2010-06-10 2011-12-16 Acer Inc Method for offline browse web pages and system thereof
US9621405B2 (en) 2010-08-24 2017-04-11 Good Technology Holdings Limited Constant access gateway and de-duplicated data cache server
US9703706B2 (en) 2011-02-28 2017-07-11 Oracle International Corporation Universal cache management system
WO2013014695A1 (en) * 2011-07-22 2013-01-31 Hitachi, Ltd. File storage system for transferring file to remote archive system
US9015269B2 (en) * 2012-06-19 2015-04-21 Canon Kabushiki Kaisha Methods and systems for notifying a server with cache information and for serving resources based on it
CN103853671B (zh) * 2012-12-07 2018-03-02 北京百度网讯科技有限公司 一种数据写入控制方法及装置
US9747288B1 (en) 2012-12-10 2017-08-29 Amazon Technologies, Inc. Scalable transaction-based data repository service
US9582604B2 (en) * 2013-03-27 2017-02-28 Thomson Licensing Caching mechanism to improve user interface responsiveness
US8886671B1 (en) 2013-08-14 2014-11-11 Advent Software, Inc. Multi-tenant in-memory database (MUTED) system and method
US9876873B1 (en) 2015-10-21 2018-01-23 Perfect Sense, Inc. Caching techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120166419A1 (en) * 2010-09-30 2012-06-28 International Business Machines Corporation Method, system and program for cache control in database
CN105138587A (zh) * 2015-07-31 2015-12-09 小米科技有限责任公司 数据访问方法、装置和系统
CN105335512A (zh) * 2015-10-30 2016-02-17 小米科技有限责任公司 数据查询方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828749A (zh) * 2018-12-29 2019-05-31 北京航天云路有限公司 兼顾快速响应和数据更新的数据缓存方法及系统
CN110209968A (zh) * 2019-04-24 2019-09-06 北京奇艺世纪科技有限公司 一种数据存储系统、方法、装置及计算机可读存储介质
CN111259034A (zh) * 2020-02-17 2020-06-09 腾讯科技(深圳)有限公司 一种缓存数据管理方法和相关装置
CN111506606A (zh) * 2020-04-14 2020-08-07 深圳市金蝶天燕云计算股份有限公司 一种报表查询方法及相关设备
CN112307387A (zh) * 2020-10-30 2021-02-02 上海二三四五网络科技有限公司 一种动态时间段信息缓存的控制方法以及控制装置
CN113515530A (zh) * 2021-03-30 2021-10-19 贵州白山云科技股份有限公司 一种缓存对象更新方法、装置、设备及存储介质
WO2022206487A1 (zh) * 2021-03-30 2022-10-06 贵州白山云科技股份有限公司 一种缓存对象更新方法、装置、设备及存储介质
CN116701800A (zh) * 2023-08-07 2023-09-05 广州市千钧网络科技有限公司 页面内容处理方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
US20190034550A1 (en) 2019-01-31
MY190884A (en) 2022-05-17
US11449570B2 (en) 2022-09-20
EP3418911A1 (en) 2018-12-26
PH12018502065A1 (en) 2019-06-24
TWI665569B (zh) 2019-07-11
EP3418911A4 (en) 2019-11-06
KR102232813B1 (ko) 2021-03-29
SG11201808173RA (en) 2018-10-30
JP6748734B2 (ja) 2020-09-02
WO2017167039A1 (zh) 2017-10-05
TW201738783A (zh) 2017-11-01
JP2019512819A (ja) 2019-05-16
KR20180125009A (ko) 2018-11-21

Similar Documents

Publication Publication Date Title
CN107291756A (zh) 数据缓存的方法及装置
US7987172B1 (en) Minimizing visibility of stale content in web searching including revising web crawl intervals of documents
US8515952B2 (en) Systems and methods for determining document freshness
KR100944744B1 (ko) 원하는 레포지토리의 결정
US9948531B2 (en) Predictive prefetching to reduce document generation times
US8738807B2 (en) System and method for preserving consumer choice
US7840547B1 (en) Methods and systems for efficient query rewriting
US20070168342A1 (en) Recommended alerts
US9734211B1 (en) Personalizing search results
US8793246B1 (en) Identifying ranking scores for domains of interest
US10120849B2 (en) Document generation based on referral
US9477715B1 (en) Personalizing aggregated news content
JP5705114B2 (ja) 情報処理装置、情報処理方法、プログラムおよびウェブ・システム
US20040267712A1 (en) Method and apparatus for web cache using database triggers
CN104834660A (zh) 基于区间的模糊数据库搜索
US11775518B2 (en) Asynchronous predictive caching of content listed in search results
CN106528861A (zh) 一种添加内链的方法及装置
US8595225B1 (en) Systems and methods for correlating document topicality and popularity
KR20170032037A (ko) 웹페이지간 연결고리를 이용한 추천 웹페이지 제공방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024