CN104657401A - 一种web缓存的更新方法 - Google Patents

Abstract

本发明公开了一种web缓存的更新方法，涉及网络数据存储领域。本发明实施例提供的web缓存的更新方法，web站点会添加缓存，但是不更新缓存，通过将缓存更新的信息发送给后端服务器，利用后端服务器对缓存进行更新。从而避免了由于缓存过期时间短，web服务器面临大量的数据更新的压力，使web服务器的稳定性不会受到影响；同时，以消息机制将需要更新的缓存信息发送给后端服务器，通过后端服务器对缓存进行更新，也避免了后台业务更新缓存不适于一些复杂数据缓存更新的缺陷。

Description

一种web缓存的更新方法

技术领域

本发明涉及网络数据存储领域，尤其涉及一种web缓存的更新方法。

背景技术

缓存作为互联网高性能技术被普遍所采用。Web缓存位于Web服务器之间(1个或多个，内容源服务器)和客户端之间(1个或多个)；缓存会根据进来的请求保存输出内容的副本，例如html页面，图片，文件(统称为副本)，然后，当下一个请求来到的时候：如果是相同的URL，缓存会直接使用副本响应访问请求，而不是向源服务器再次发送请求。

Web缓存提供了比将访问对象放在Internet Web服务器上更好的方法，它将需要频繁访问的Web页面和对象保存在离用户更近的系统中。当再次访问这些对象的时候加快了速度。

为了保证Web缓存的命中率，需要对Web缓存数据进行更新。

目前，常用的Web缓存数据更新的方法有两种：一种是：web站点主动定期更新和添加缓存，这种方法为了能够保证从缓存中读取数据，设置的缓存过期时间比较短，一般为几十分钟，所以，当访问的数据量比较大时，更新量比较大，会影响服务器的稳定性，同时也会影响服务器的响应时间；第二种是：web站点不更新、不添加缓存，只读取，由后台业务更新web缓存，这种方法可以解决第一种方法中缓存过期时间短，更新数据量大的缺陷，一般缓存过期时间可以设置为10天、一个月、或更长，因为只要后台业务的数据更新了，缓存就会更新，所以缓存服务器中的数据基本上都是新的，但是，采用这种方法更新缓存，对于一些简单的数据比较有效，对于一些比较复杂的数据，比如表格，就很难通过后台的业务变化来实现缓存服务器中的数据更新，所以其应用受到了极大的限制。

发明内容

本发明的目的在于提供一种web缓存的更新方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种web缓存的更新方法，包括如下步骤：

步骤101，缓存服务器接收web服务器的请求，读取缓存；

步骤102，判断缓存是否存在，如果不存在，则执行步骤103；如果存在，则执行步骤104；

步骤103，从第三方数据提供方读取数据，将所述数据返回给web服务器，同时将所述数据写入缓存服务器中；

步骤104，读取所述缓存并将所述缓存返回给web服务器，同时获取所述缓存的异步更新时间，判断所述缓存是否需要更新，如果需要更新，则执行步骤105；如果不需要更新，则结束；

步骤105，将所述缓存需要更新的信息生成消息，并将所述消息发送给后端服务器，所述后端服务器更新所述缓存和所述缓存的访问时间。

进一步地，在步骤101之前，还包括步骤，设置缓存的过期时间和缓存的异步更新时间。

具体地，所述缓存的过期时间设置为10-30天。

具体地，所述缓存的异步更新时间设置为2-10min。

其中，步骤102中，所述判断缓存服务器中的缓存是否存在，具体为，根据所述缓存的过期时间判断缓存服务器中的缓存是否过期，如果已经过期，则不存在，如果没有过期，则存在。

其中，步骤104中，所述判断缓存是否需要更新，具体为，比较缓存异步更新后的时间点与当前时间点的大小，如果所述缓存异步更新后的时间点小于当前时间点，则需要更新；如果所述缓存异步更新后的时间点大于当前时间点，则不需要更新。

具体地，所述缓存异步更新后的时间点为缓存开始更新的时间点与缓存的异步更新时间之和。

具体地，步骤105中，所述消息进入所述后端服务器的消息队列中，所述后端服务器监控所述消息队列，如果发现所述消息进入，则根据所述消息更新缓存和所述缓存的访问时间。

具体地，步骤101中，所述web服务器的请求具体为URL。

更具体地，所述缓存服务器采用Redis数据库，将所述URL转换成Redis数据库的key，根据key查找所述缓存服务器中的缓存是否存在。

本发明的有益效果是：本发明实施例提供的web缓存的更新方法，web站点会添加缓存，但是不更新缓存，从而避免了由于缓存过期时间短，web服务器面临大量的数据更新的压力，使web服务器的稳定性不会受到影响；同时，以消息机制将需要更新的缓存信息发送给后端服务器，通过后端服务器对缓存进行更新，也避免了后台业务更新缓存不适于一些复杂数据缓存更新的缺陷。

附图说明

图1是本发明实施例提供的web缓存的更新方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供了一种web缓存的更新方法，包括如下步骤：

步骤101，缓存服务器接收web服务器的请求，读取缓存；

步骤102，判断缓存是否存在，如果不存在，则执行步骤103；如果存在，则执行步骤104；

步骤103，从第三方数据提供方读取数据，将所述数据返回给web服务器，同时将所述数据写入缓存服务器中；

步骤104，读取所述缓存并将所述缓存返回给web服务器，同时获取所述缓存的异步更新时间，判断所述缓存是否需要更新，如果需要更新，则执行步骤105；如果不需要更新，则结束；

步骤105，将所述缓存需要更新的信息生成消息，并将所述消息发送给后端服务器，所述后端服务器更新所述缓存和所述缓存的访问时间。

在实际实现过程中，用户访问web站点，web服务器处理用户请求，并将请求发送给缓存服务器，从缓存服务器中获取数据，当缓存服务器中有请求的数据时，则直接返回缓存，响应用户请求；当缓存中没有请求的数据时，则从第三方数据提供方读取数据，并返回，响应用户请求，同时将读取的数据添加到缓存服务器中，从而实现了web站点主动添加缓存；但是web站点不会主动对缓存进行更新，本实施例中，对缓存的更新是通过后端服务器实现的，是与缓存的添加异步实现的，其实现过程为：缓存服务器中的缓存数据返回给web服务器，响应用户请求的同时，获取缓存的异步更新时间，判断所述缓存是否需要更新，如果需要更新，则生成消息，发送给后端服务器，通过后端服务器更新所述缓存和所述缓存的访问时间。从而实现了缓存的异步更新。

采用上述技术方案，既避免了web服务器面临大量的数据更新的压力，web服务器的稳定性会受到影响的缺陷；同时，也避免了后台业务更新缓存不适于复杂数据缓存更新的缺陷。

在本发明实施例中，在步骤101之前，还可以包括步骤，设置缓存的过期时间和缓存的异步更新时间。其中，缓存的过期时间可以设置为10-30天。

缓存的异步更新时间可以设置为2-10min。具体地，缓存的异步更新时间可以采用如下格式进行存储：635199003837644973+data。

本发明实施例中，步骤102中，所述判断缓存服务器中的缓存是否存在，具体为，根据所述缓存的过期时间判断缓存服务器中的缓存是否过期，如果已经过期，则不存在，如果没有过期，则存在。

本发明实施例中，步骤104中，所述判断缓存是否需要更新，具体为，比较缓存异步更新后的时间点与当前时间点的大小，如果所述缓存异步更新后的时间点小于当前时间点，则需要更新；如果所述缓存异步更新后的时间点大于当前时间点，则不需要更新。

其中，所述缓存异步更新后的时间点为缓存开始更新的时间点与缓存的异步更新时间之和。

比如，当前时间点为今天10：30，缓存异步更新开始的时间点为今天10:15，如果缓存异步更新的时间为10min，则缓存异步更新后的时间点为今天10:25，小于当前时间点，则缓存需要更新；如果缓存异步更新的时间为30min，则缓存异步更新后的时间点为今天10:45，大于当前时间点，则缓存不需要更新。

本发明实施例中，如果缓存需要更新，则生成消息，并将消息发送给后端服务器，具体的，发送给后端服务器的消息会进入所述后端服务器的消息队列中，后端服务器监控所述消息队列，如果发现消息进入，则根据消息的内容更新缓存和所述缓存的访问时间。其中，消息的内容包括接口执行地址、应用层协议、队列、缓存的前缀标识、错误后延迟信息、请求超时时长和数据编码信息。其中，应用层协议可以为http协议；队列可以为RabbitMQ队列或MSMQ队列；数据编码信息可以为UTF-8或GB2312。

本发明实施例中，web服务器的请求可以为URL，缓存服务器可以采用Redis数据库，则可以将URL转换成Redis数据库的key，根据key查找所述缓存服务器中的缓存是否存在。

redis是一个key-value存储系统。它支持存储的value类型比较多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。为了保证效率，数据都是缓存在内存中。

Redis是一个高性能的key-value数据库。在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便。

Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。从盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。

key-value的存储形式是指每存储一次数据(value)，必须增加一个key。如存储value为1的数据，那可能需要这样存储：key:1,value:1。

其中，缓存的异步更新时间可以存储在redis的value中。

本发明实施例中，将URL转换成Redis数据库的key，再根据key查找所述缓存，会更加方便和易于操作。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明实施例提供的web缓存的更新方法，web站点会添加缓存，但是不更新缓存，从而避免了由于缓存过期时间短，web服务器面临大量的数据更新的压力，使web服务器的稳定性不会受到影响；同时，以消息机制将需要更新的缓存信息发送给后端服务器，通过后端服务器对缓存进行更新，也避免了后台业务更新缓存不适于一些复杂数据缓存更新的缺陷。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域人员应该理解的是，上述实施例提供的方法步骤的时序可根据实际情况进行适应性调整，也可根据实际情况并发进行。

上述实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，例如：个人计算机、服务器、网络设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，例如：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种web缓存的更新方法，其特征在于，包括如下步骤：

步骤101，缓存服务器接收web服务器的请求，读取缓存；

步骤102，判断缓存是否存在，如果不存在，则执行步骤103；如果存在，则执行步骤104；

步骤103，从第三方数据提供方读取数据，将所述数据返回给web服务器，同时将所述数据写入缓存服务器中；

步骤104，读取所述缓存并将所述缓存返回给web服务器，同时获取所述缓存的异步更新时间，判断所述缓存是否需要更新，如果需要更新，则执行步骤105；如果不需要更新，则结束；

步骤105，将所述缓存需要更新的信息生成消息，并将所述消息发送给后端服务器，所述后端服务器更新所述缓存和所述缓存的访问时间。

2.根据权利要求1所述的web缓存的更新方法，其特征在于，在步骤101之前，还包括步骤，设置缓存的过期时间和缓存的异步更新时间。

3.根据权利要求2所述的web缓存的更新方法，其特征在于，所述缓存的过期时间设置为10-30天。

4.根据权利要求2所述的web缓存的更新方法，其特征在于，所述缓存的异步更新时间设置为2-10min。

5.根据权利要求2所述的web缓存的更新方法，其特征在于，步骤102中，所述判断缓存服务器中的缓存是否存在，具体为，根据所述缓存的过期时间判断缓存服务器中的缓存是否过期，如果已经过期，则不存在，如果没有过期，则存在。

6.根据权利要求1所述的web缓存的更新方法，其特征在于，步骤104中，所述判断缓存是否需要更新，具体为，比较缓存异步更新后的时间点与当前时间点的大小，如果所述缓存异步更新后的时间点小于当前时间点，则需要更新；如果所述缓存异步更新后的时间点大于当前时间点，则不需要更新。

7.根据权利要求6所述的web缓存的更新方法，其特征在于，所述缓存异步更新后的时间点为缓存开始更新的时间点与缓存的异步更新时间之和。

8.根据权利要求1所述的web缓存的更新方法，其特征在于，步骤105中，所述消息进入所述后端服务器的消息队列中，所述后端服务器监控所述消息队列，如果发现所述消息进入，则根据所述消息更新缓存和所述缓存的访问时间。

9.根据权利要求1所述的web缓存的更新方法，其特征在于，步骤101中，所述web服务器的请求具体为URL。

10.根据权利要求9所述的web缓存的更新方法，其特征在于，所述缓存服务器采用Redis数据库，将所述URL转换成Redis数据库的key，根据key查找所述缓存服务器中的缓存是否存在。