CN106021468B - 分布式缓存和本地缓存的更新方法和系统 - Google Patents

Abstract

本发明公开了一种分布式缓存和本地缓存的更新方法和系统，包括：建立一分布式缓存，其存储有若干数据项和每一数据项的过期时长，每一数据项分别与一更新键对应；判断分布式缓存内是否存在无效数据项，并在判断结果为是时进入执行：向存在无效数据项的分布式缓存的客户端节点串行插入无效数据项对应的更新键，并在其中一客户端节点的更新键插入成功时，从一数据源中获取无效数据项对应的最新数据项以更新分布式缓存中的无效数据项，并记录无效数据项的更新时刻。本发明保证只有一个更新键插入成功的客户端节点对数据库进行访问，大大降低了对数据库进行大批量访问所造成的访问压力，不会出现惊群效应，使得数据库能够保持稳定。

Description

分布式缓存和本地缓存的更新方法和系统

技术领域

本发明涉及一种分布式缓存和本地缓存的更新方法和系统。

背景技术

分布式缓存是由一个服务端实现管理和控制，有多个客户端节点存储数据，可以进一步提高数据的读取速率的缓存系统。而本地缓存是将客户机本地的物理内存划分出一部分空间用来缓冲客户机回写到服务器的数据。通常，分布式缓存内和本地缓存内存储的数据都需要及时更新，以在用户向服务器端访问数据时，能够从缓存内获得最新最准确的数据。然而，现有技术中分布式缓存内的数据在过期时会大批量地向数据源请求最新的数据，易出现惊群效应，从而会对数据库造成极大的访问压力，使得数据库不稳定，因此现有技术中的分布式缓存的更新方法亟待改进。

发明内容

本发明要解决的技术问题是为了克服现有技术中的分布式缓存内的数据过期时，会大批量地向数据源请求最新的数据，易出现惊群效应，从而会对数据库造成极大的访问压力，使得数据库不稳定的缺陷，提供一种分布式缓存和本地缓存的更新方法和系统。

本发明是通过下述技术方案解决上述技术问题的：

一种分布式缓存的更新方法，其特点在于，包括：

S₁、建立一分布式缓存，所述分布式缓存内存储有若干数据项和每一数据项的过期时长，每一数据项分别与一更新键对应；

S₂、根据所述数据项的内容和所述过期时长判断所述分布式缓存内是否存在无效数据项，并在判断结果为是时进入步骤S₃，

S₃、向存在无效数据项的所述分布式缓存的客户端节点串行插入所述无效数据项对应的更新键，并在其中一客户端节点的更新键插入成功时，从一数据源中获取所述无效数据项对应的最新数据项以更新所述分布式缓存中的所述无效数据项，并记录所述无效数据项的更新时刻。

在本方案中，利用争抢更新键的机制更新分布式缓存，有效减少了请求数据源(如DB，database，数据库)的次数，保证了DB的稳定性，彻底实现了缓存跟集群规模请求无关性，有利于集群的横向扩展，并且随着不同集群的机器数量的增加，分摊了各机器填充缓存的请求调用，反而减轻了各机器的负载。利用对数据项是否无效的检测机制，可以实时更新数据，提高客户端的数据新鲜度和响应时间。

较佳地，所述数据项的内容包括数据键和所述数据键的键值，步骤S₂中根据所述数据项的内容和所述过期时长判断所述分布式缓存内是否存在无效数据项包括：

S₂₁、判断所述数据键的键值是否不存在，若是，所述数据项则为无效数据项；若否，执行步骤S₂₂；

S₂₂、判断所述数据键的键值是否达到所述过期时长，若是，所述数据项则为无效数据项。

较佳地，步骤S₂₁在判断结果为是时，步骤S₃中以同步请求的方式执行所述无效数据项的更新；步骤S₂₂在判断结果为是时，步骤S₃中以异步请求的方式执行所述无效数据项的更新。

较佳地，所述更新键存储于一第二分布式缓存中，所述更新方法包括：

S₄₁、判断同一客户端节点的更新键插入失败的次数是否达到一次数阈值，若是，将所述更新键存储于一数据库中。

在本方案中，利用第二分布式缓存和数据库存储更新键的机制，提高系统的稳定性，保证了数据项的及时更新和输出。

较佳地，步骤S₂在外部设备向所述分布式缓存请求所述数据项时执行所述分布式缓存内是否存在无效数据项的判断，或者周期性地执行所述分布式缓存内是否存在无效数据项的判断。

较佳地，步骤S₃之后还包括：

S₄₂、判断所述分布式缓存中的所述无效数据项的更新时长是否超过一时长阈值，若是，返回步骤S₃。

较佳地，步骤S₃中当所述更新键插入失败时以同步请求的方式再次获取分布式缓存内的数据项，和/或，步骤S₃中当所述无效数据项更新完成时，以同步请求的方式返回更新了的数据项。

本发明还提供一种本地缓存的更新方法，其特点在于，其利用如上所述的分布式缓存的更新方法中已更新的数据项更新本地缓存内对应的数据项。

较佳地，当利用分布式缓存的更新方法中已更新的数据项更新本地缓存内对应的数据项失败时，通过从所述数据源中获取所述数据项对应的最新数据项的方式更新本地缓存内对应的数据项。

本发明还提供一种分布式缓存的更新系统，其特点在于，包括一建立模块、一判断模块和一插入并更新模块；

所述建立模块用于建立一分布式缓存，所述分布式缓存内存储有若干数据项和每一数据项的过期时长，每一数据项分别与一更新键对应；

所述判断模块用于根据所述数据项的内容和所述过期时长判断所述分布式缓存内是否存在无效数据项，并在判断结果为是时调用所述插入并更新模块；

所述插入并更新模块用于向存在无效数据项的所述分布式缓存的客户端节点串行插入所述无效数据项对应的更新键，并在其中一客户端节点的更新键插入成功时，从一数据源中获取所述无效数据项对应的最新数据项以更新所述分布式缓存中的所述无效数据项，并记录所述无效数据项的更新时刻。

较佳地，所述数据项的内容包括数据键和所述数据键的键值，所述判断模块包括第一判断模块和第二判断模块；

所述第一判断模块用于判断所述数据键的键值是否不存在，若是，所述数据项则为无效数据项；若否，调用所述第二判断模块；

所述第二判断模块用于判断所述数据键的键值是否达到所述过期时长，若是，所述数据项则为无效数据项。

较佳地，所述插入并更新模块用于在所述第一判断模块的判断结果为是时以同步请求的方式执行所述无效数据项的更新，在所述第二判断模块的判断结果为是时以异步请求的方式执行所述无效数据项的更新。

较佳地，所述更新系统还包括第三判断模块，所述第三判断模块用于判断所述分布式缓存中的所述无效数据项的更新时长是否超过一时长阈值，若是，调用所述插入并更新模块。

本发明还提供一种本地缓存的更新系统，其特点在于，其利用如上所述的分布式缓存的更新系统中已更新的数据项更新本地缓存内对应的数据项。

较佳地，还包括一更新模块，所述更新模块用于在利用分布式缓存的更新系统中已更新的数据项更新本地缓存内对应的数据项失败时，通过从所述数据源中获取所述数据项对应的最新数据项的方式更新本地缓存内对应的数据项。

本发明的积极进步效果在于：本发明通过向多个数据项过期的客户端节点串行插入一个更新键，使得仅有插入更新键成功的客户端节点才能执行更新，由于插入更新键的方式是以串行的方式执行，因此多个客户端节点中仅会有一个客户端节点能够插入成功，而其余的客户端节点的数据项会从更新的客户端节点的数据项中同步获得数据的更新。因此能够保证只有一个更新键插入成功的客户端节点对数据库进行访问，大大降低了现有技术中分布式缓存对数据库进行大批量访问所造成的访问压力，不会出现惊群效应，使得数据库能够保持稳定。

附图说明

图1为本发明实施例1的分布式缓存的更新方法流程图。

图2为本发明实施例3的分布式缓存的更新系统的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种分布式缓存的更新方法，如图1所示，包括：

步骤101、建立一分布式缓存，所述分布式缓存内存储有若干数据项和每一数据项的过期时长，每一数据项分别与一更新键对应；

所述数据项的内容可包括数据键和所述数据键的键值，过期时长是对于每一数据项的存活周期，当超过存活周期时，数据项则为过期数据，一旦过期，数据项内的键值就会自动被删除，而一旦键值被删除后分布式缓存就需要同步等待填充。但有些数据项，即便过期也会由于某些原因没有及时删除，过期数据项仍然会存在，因此需对该些数据项进行更新。所述更新键存储于一第二分布式缓存中。

步骤102、根据所述数据项的内容和所述过期时长判断所述分布式缓存内是否存在无效数据项，并在判断结果为是时进入步骤103；

若不存在无效数据项，则可在外部设备请求数据项时返回该有效的数据项，或者外部设备不请求数据项时，保持该有效的数据项。而无效数据项的判断方法为：判断所述数据键的键值是否不存在，若是，所述数据项则为无效数据项；若否，判断所述数据键的键值是否达到所述过期时长，若是，所述数据项则为无效数据项。

也即，将不存在键值和键值过期的数据项均视为无效数据项，此外无效数据项还可包括键值是错误值的情形。步骤102在外部设备向所述分布式缓存请求所述数据项时执行所述分布式缓存内是否存在无效数据项的判断，或者周期性地执行所述分布式缓存内是否存在无效数据项的判断。即，步骤102的触发条件可以是外部设备请求分布式缓存内的数据项时执行的对数据项的判断操作，当外部设备请求获得一数据项时，则判断请求的该数据项是否无效；而触发条件也可以是系统设定的定期自动判断，以定期检查分布式缓存内是否存在无效数据项。

步骤103、向存在无效数据项的所述分布式缓存的客户端节点串行插入所述无效数据项对应的更新键，并在其中一客户端节点的更新键插入成功时，从一数据源中获取所述无效数据项对应的最新数据项以更新所述分布式缓存中的所述无效数据项，并记录所述无效数据项的更新时刻；

假设分布式缓存内的键值对应有5个客户端节点，其中有三个客户端节点的数据项无效，但其键值仍然存在，三个客户端节点会采用异步更新的方式请求从所述第二分布式缓存中插入各自对应的更新键，由于三个客户端均是串行执行所述更新键的插入操作，使得其中只有一个客户端节点的更新键插入成功。对于更新键插入成功的情形可以但不限于是运行性能较好的客户端节点获得该更新键，或者是处于串行队列之首的客户端节点获得该更新键。可以理解，该更新键是否插入成功是作为数据项能否更新的条件。

数据源可为外部的数据库，或者第三方接口数据等。

针对数据键的键值不存在的情形，步骤103中以同步请求的方式执行所述无效数据项的更新：即只要有一个客户端节点成功插入更新键并完成数据项的更新，便会在当前线程下将更新完成的数据项及时返回至请求数据项的一方。可以说，采用同步请求的方式不会产生程序错误，能够保证外部设备请求分布式缓存内的数据时，能够在当前线程下获得响应数据。

而针对数据键的键值过期的情形，步骤103中以异步请求的方式执行所述无效数据项的更新。即外部设备请求获得分布式缓存的数据项时，分布式缓存可通过其它线程返回更新了的数据项，而请求数据项的当前线程则可执行其它任务。可以说，采用异步请求的方式能够提高线程的执行效率，由于过期数据仍然存在，因此过期数据也是可以在当前线程返回至请求端，以保证程序不会出错。

此外，步骤103中当所述更新键插入失败时以同步请求的方式再次获取分布式缓存内的数据项，和/或，步骤103中当所述无效数据项更新完成时，以同步请求的方式返回更新了的数据项。

也即，针对插入更新键失败的客户端节点，还可等待一时间段后，如10ms(毫秒)，外部设备继续向分布式缓存请求数据项，直到获得分布式缓存返回的更新了的数据项为止。而对于更新完成的数据项，则也可在外部设备请求后及时将更新了的数据项返回至外部设备，能够保证过期数据项的可靠更新。

而记录无效数据项的更新时刻，则能够在无效数据项更新为有效数据项之后，通过该更新时刻与设定的数据项的存活周期(即所述过期时长)，能够推出更新了的数据项下一次变为无效数据项的时间节点(即为更新时刻加上所述过期时长后的时间节点)。

步骤103之后还包括：

步骤1041、判断所述分布式缓存中的所述无效数据项的更新时长是否超过一时长阈值，若是，返回步骤103。

对插入更新键成功的客户端节点的更新时长进行限制，能够保障客户端节点更新数据项的可靠性。对于在时长阈值内完成更新操作的情形，执行：

步骤1042、其余的存在无效数据项的客户端节点与已经更新了的客户端节点的数据项实现同步更新。

而在超过时长阈值后，所述具有无效数据项的客户端节点则会重新执行步骤103的操作。

更新键可以存储于第二分布式缓存中，也可存储于数据库中，本实施例还可对第二分布式缓存内的更新键的存活状态进行监控：判断同一客户端节点的更新键插入失败的次数是否达到一次数阈值，如3次，若是，将所述更新键存储于一数据库中。

即达到所述次数阈值时说明第二分布式缓存出现故障，此时则可使用数据库中存储的所述更新键执行插入操作，以保障无效数据项的及时更新。

可见，本实施例通过抢占更新键的方式来判断更新的执行权，只有抢占更新键成功的客户端节点，才能执行更新操作。而由于Redis(一个key-value键值存储系统)自带分布式锁，因此本实施例的分布式缓存可用Redis实现。本实施例请求更新的数量，跟集群的机器数量多少无关，原则上该时长阈值内，只有一个客户端节点的键值执行更新，这样就可以保证所有的客户端节点都可以成为一个缓存key(键)的更新点，从而充分利用资源。其具有很强的容错性能，保证一直有数据存在，且分布式缓存的性能优异，缓存机制可靠。

本实施例通过向多个数据项无效的客户端节点串行插入一个更新键，使得仅有插入更新键成功的客户端节点才能执行更新，由于插入更新键的方式是以串行的方式执行，因此多个客户端节点中仅会有一个客户端节点能够插入成功，而其余的客户端节点的键值会从更新的客户端节点的键值中同步获得数据的更新。因此能够保证只有一个更新键插入成功的客户端节点对数据库进行访问，大大降低了现有技术中分布式缓存对数据库进行大批量访问所造成的访问压力，不会出现惊群效应，使得数据库能够保持稳定。

实施例2

本实施例提供一种本地缓存的更新方法，其利用如实施例1所述的分布式缓存的更新方法中已更新的数据项更新本地缓存内对应的数据项。当利用分布式缓存的更新方法中已更新的数据项更新本地缓存内对应的数据项失败时，通过从所述数据源中获取所述数据项对应的最新数据项的方式更新本地缓存内对应的数据项。

本实施例的本地缓存的更新原理与分布式缓存的更新原理相同，只是本地缓存的数据项的更新来源于分布式缓存提供的数据项。也即，本地缓存内的数据的更新可以通过从分布式缓存中获取数据以执行更新，当更新失败时，再从数据源中获得相应的数据进行更新，以尽可能地减少缓存更新所造成的对数据库的批量访问次数。本实施例的本地缓存的更新方法请求更新的数量，也跟集群的机器数量多少无关。原则上该时长阈值内，只有一台机器执行更新，这样就可以保证所有的机器都可以成为一个缓存Key的更新点，从而充分利用资源，又节约资源。且保证所有机器的同一个缓存Key，数据源唯一，即同一个分布式缓存上的数据，保证数据一致性。且本地缓存的更新不再依赖于DB(database，数据库)，而是直接从分布式缓存获取，提高了更新性能。且可以把DB更新作为备选方案，防止分布式缓存Down(停机)机后数据持续更新。

本实施例利用分布式缓存更新的可靠性和响应时间短的特性，有效减少了对DB的请求次数，保证了DB的稳定性，对于集群规模的扩大，也只是增加了对更新键的访问量，利用本地数据项的过期检测和分布式缓存更新方法的数据新鲜度，基本保证所有集群的本地缓存的数据一致性，对于更新失败的情况下，有效利用一定时期的过期缓存，保证数据的输出。

实施例3

本实施例提供一种分布式缓存的更新系统100，如图2所示，包括一建立模块1、一判断模块2和一插入并更新模块3；

所述建立模块1用于建立一分布式缓存，所述分布式缓存内存储有若干数据项和每一数据项的过期时长，每一数据项分别与一更新键对应；

所述判断模块2用于根据所述数据项的内容和所述过期时长判断所述分布式缓存内是否存在无效数据项，并在判断结果为是时调用所述插入并更新模块；

所述插入并更新模块3用于向存在无效数据项的所述分布式缓存的客户端节点串行插入所述无效数据项对应的更新键，并在其中一客户端节点的更新键插入成功时，从一数据源中获取所述无效数据项对应的最新数据项以更新所述分布式缓存中的所述无效数据项，并记录所述无效数据项的更新时刻。

所述数据项的内容包括数据键和所述数据键的键值，所述判断模块1包括第一判断模块21和第二判断模块22；

所述第一判断模块21用于判断所述数据键的键值是否不存在，若是，所述数据项则为无效数据项；若否，调用所述第二判断模块；

所述第二判断模块22用于判断所述数据键的键值是否达到所述过期时长，若是，所述数据项则为无效数据项。

所述插入并更新模块3用于在所述第一判断模块的判断结果为是时以同步请求的方式执行所述无效数据项的更新，在所述第二判断模块的判断结果为是时以异步请求的方式执行所述无效数据项的更新。

所述更新系统还包括第三判断模块4，所述第三判断模块4用于判断所述分布式缓存中的所述无效数据项的更新时长是否超过一时长阈值，若是，调用所述插入并更新模块3。

本实施例可以采用实施例1所述的更新方法工作，其具有与实施例1相同的技术效果。

实施例4

本实施例提供一种本地缓存的更新系统，其利用如实施例3所述的分布式缓存的更新系统中已更新的数据项更新本地缓存内对应的数据项。所述更新系统还包括一更新模块，所述更新模块用于在利用分布式缓存的更新系统中已更新的数据项更新本地缓存内对应的数据项失败时，通过从所述数据源中获取所述数据项对应的最新数据项的方式更新本地缓存内对应的数据项。

本实施例可以采用实施例2所述的更新方法工作，其具有与实施例2相同的技术效果。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (11)

1.一种分布式缓存的更新方法，其特征在于，包括：

S₁.建立一分布式缓存，所述分布式缓存内存储有若干数据项和每一数据项的过期时长，每一数据项分别与一更新键对应；

S₂.根据所述数据项的内容和所述过期时长判断所述分布式缓存内是否存在无效数据项，并在判断结果为是时进入步骤S₃，

S₃.向存在无效数据项的所述分布式缓存的客户端节点串行插入所述无效数据项对应的更新键，并在其中一客户端节点的更新键插入成功时，从一数据源中获取所述无效数据项对应的最新数据项以更新所述分布式缓存中的所述无效数据项，并记录所述无效数据项的更新时刻；

其余的存在无效数据项的客户端节点与已经更新了的客户端节点的数据项实现同步更新；

所述数据项的内容包括数据键和所述数据键的键值，步骤S₂中根据所述数据项的内容和所述过期时长判断所述分布式缓存内是否存在无效数据项包括：

S₂₁.判断所述数据键的键值是否不存在，若是，所述数据项则为无效数据项；若否，执行步骤S₂₂；

S₂₂.判断所述数据键的键值是否达到所述过期时长，若是，所述数据项则为无效数据项；

步骤S₂₁在判断结果为是时，步骤S₃中以同步请求的方式执行所述无效数据项的更新；步骤S₂₂在判断结果为是时，步骤S₃中以异步请求的方式执行所述无效数据项的更新。

2.如权利要求1所述的更新方法，其特征在于，所述更新键存储于一第二分布式缓存中，所述更新方法包括：

S₄₁.判断同一客户端节点的更新键插入失败的次数是否达到一次数阈值，若是，将所述更新键存储于一数据库中。

3.如权利要求1所述的更新方法，其特征在于，步骤S₂在外部设备向所述分布式缓存请求所述数据项时执行所述分布式缓存内是否存在无效数据项的判断，或者周期性地执行所述分布式缓存内是否存在无效数据项的判断。

4.如权利要求1所述的更新方法，其特征在于，步骤S₃之后还包括：

S₄₂.判断所述分布式缓存中的所述无效数据项的更新时长是否超过一时长阈值，若是，返回步骤S₃。

5.如权利要求1-4中任意一项所述的更新方法，其特征在于，步骤S₃中当所述更新键插入失败时以同步请求的方式再次获取分布式缓存内的数据项，和/或，步骤S₃中当所述无效数据项更新完成时，以同步请求的方式返回更新了的数据项。

6.一种本地缓存的更新方法，其特征在于，其利用如权利要求1-5中任意一项所述的分布式缓存的更新方法中已更新的数据项更新本地缓存内对应的数据项。

7.如权利要求6所述的更新方法，其特征在于，当利用分布式缓存的更新方法中已更新的数据项更新本地缓存内对应的数据项失败时，通过从所述数据源中获取所述数据项对应的最新数据项的方式更新本地缓存内对应的数据项。

8.一种分布式缓存的更新系统，其特征在于，包括一建立模块、一判断模块和一插入并更新模块；

所述建立模块用于建立一分布式缓存，所述分布式缓存内存储有若干数据项和每一数据项的过期时长，每一数据项分别与一更新键对应；

所述判断模块用于根据所述数据项的内容和所述过期时长判断所述分布式缓存内是否存在无效数据项，并在判断结果为是时调用所述插入并更新模块；

所述插入并更新模块用于向存在无效数据项的所述分布式缓存的客户端节点串行插入所述无效数据项对应的更新键，并在其中一客户端节点的更新键插入成功时，从一数据源中获取所述无效数据项对应的最新数据项以更新所述分布式缓存中的所述无效数据项，并记录所述无效数据项的更新时刻；

其余的存在无效数据项的客户端节点与已经更新了的客户端节点的数据项实现同步更新；

所述数据项的内容包括数据键和所述数据键的键值，所述判断模块包括第一判断模块和第二判断模块；

所述第一判断模块用于判断所述数据键的键值是否不存在，若是，所述数据项则为无效数据项；若否，调用所述第二判断模块；

所述第二判断模块用于判断所述数据键的键值是否达到所述过期时长，若是，所述数据项则为无效数据项；

所述插入并更新模块用于在所述第一判断模块的判断结果为是时以同步请求的方式执行所述无效数据项的更新，在所述第二判断模块的判断结果为是时以异步请求的方式执行所述无效数据项的更新。

9.如权利要求8所述的更新系统，其特征在于，所述更新系统还包括第三判断模块，所述第三判断模块用于判断所述分布式缓存中的所述无效数据项的更新时长是否超过一时长阈值，若是，调用所述插入并更新模块。

10.一种本地缓存的更新系统，其特征在于，其利用如权利要求8或9中任意一项所述的分布式缓存的更新系统中已更新的数据项更新本地缓存内对应的数据项。

11.如权利要求10所述的更新系统，其特征在于，还包括一更新模块，所述更新模块用于在利用分布式缓存的更新系统中已更新的数据项更新本地缓存内对应的数据项失败时，通过从所述数据源中获取所述数据项对应的最新数据项的方式更新本地缓存内对应的数据项。