CN116192956A - 一种缓存数据更新方法、系统、计算设备及存储介质 - Google Patents

一种缓存数据更新方法、系统、计算设备及存储介质 Download PDF

Info

Publication number
CN116192956A
CN116192956A CN202310007830.6A CN202310007830A CN116192956A CN 116192956 A CN116192956 A CN 116192956A CN 202310007830 A CN202310007830 A CN 202310007830A CN 116192956 A CN116192956 A CN 116192956A
Authority
CN
China
Prior art keywords
message
application
middleware
data
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310007830.6A
Other languages
English (en)
Inventor
姜强强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pierbulaini Software Co ltd
Original Assignee
Beijing Pierbulaini Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pierbulaini Software Co ltd filed Critical Beijing Pierbulaini Software Co ltd
Priority to CN202310007830.6A priority Critical patent/CN116192956A/zh
Publication of CN116192956A publication Critical patent/CN116192956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种缓存数据更新方法、系统、计算设备及存储介质,该方法适于在应用服务器中执行,包括:从配置中心读取预先配置的应用实例数量;向协调中间件注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识;基于应用标识创建当前应用实例对应的消息队列,将消息队列绑定到消息中间件的扇形交换机以监听消息;若监听到消息队列收到新的数据变更消息,则消费新的数据变更消息对本地缓存进行数据更新。

Description

一种缓存数据更新方法、系统、计算设备及存储介质
技术领域
本发明涉及数据处理技术领域,特别涉及一种缓存数据更新方法、系统、计算设备及存储介质。
背景技术
Redis(Remote Dictionary Server,远程字典服务)是一个开源的、支持网络、可基于内存亦可持久化的日志型、以键值对存储数据的数据库,并提供多种语言的API(Application Programming Interface,应用程序编程接口),可用于缓存数据以提高接口的响应速度。
但QPS(Queries Per Second,每秒查询率)进一步增大时,Redis的压力也会随之增大,从而出现超时、连接数不够等问题。此时采用本地缓存,将本地缓存作为一级缓存,调用接口查询数据时优先查询本地缓存,如果数据不存在,再查询二级缓存,如Redis,如果数据存在,则不需要查询二级缓存,减少交互以提升响应性能。
在接口被调用时,服务端会根据传入的业务标识等参数进行数据缓存,再次被调用时直接从本地缓存查询即可。此外,若数据库中的数据变更,则需要刷新二级缓存并废弃本地缓存。虽然使用缓存存储数据来支持接口查询具备快速响应的优势,可如若不能在数据发生改变时及时对缓存进行数据更新,就难以保证数据库与各级缓存的数据一致性,最终导致无法从缓存中获取最新的数据。
目前,常见的本地缓存更新方法包括两种,第一种是分别为本地缓存和二级缓存设置不同的过期时间,当数据变更时,通过延时双删策略确保数据库中的数据和二级缓存中的数据一致,由于本地缓存的过期时间较短,则待本地缓存过期时再查询二级缓存中的数据并加载到本地缓存。但是,该方法中数据并非近实时更新,且过期时间需依据业务场景来设置。
第二种则是利用Redis的订阅、发布功能,基于此功能可进行缓存监听,数据出现变化时会收到通知,进而更新本地缓存的数据。然而,这一功能不支持重试机制,一旦本地缓存更新失败,则再也收不到同一数据变化的通知,直至下一次不同数据变化的通知,如此往复,直至本地缓存过期,才能加载最新数据。
因此,需要一种新的缓存数据更新方案来优化上述处理过程。
发明内容
为此,本发明提供一种缓存数据更新方案,以力图解决或者至少缓解上面存在的问题。
根据本发明的一个方面,提供一种缓存数据更新方法,适于在应用服务器中执行,包括如下步骤:首先,从配置中心读取预先配置的应用实例数量;向协调中间件注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识;基于应用标识创建当前应用实例对应的消息队列,将消息队列绑定到消息中间件的扇形交换机以监听消息;若监听到消息队列收到新的数据变更消息,则消费新的数据变更消息对本地缓存进行数据更新。
可选地,在根据本发明的缓存数据更新方法中,向协调中间件注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识,包括:向协调中间件注册临时节点,并通过当前应用实例的IP地址和端口注册路径获取临时节点的节点标识;计算应用实例数量与节点标识取模的结果,作为当前应用实例的应用标识。
可选地,在根据本发明的缓存数据更新方法中,消息中间件的扇形交换机绑定有数据库服务器,数据库服务器上部署有预设的数据库并与缓存中间件通信连接,在数据变更时由数据库服务器相应修改数据库中的数据,对缓存中间件进行数据更新,以及将基于缓存中间件中最新的缓存数据生成的数据变更消息发送至扇形交换机。
可选地,在根据本发明的缓存数据更新方法中,数据变更消息由扇形交换机分别投递到绑定于扇形交换机的各消息队列。
可选地,在根据本发明的缓存数据更新方法中,若监听到消息队列收到新的数据变更消息,则消费新的数据变更消息对本地缓存进行数据更新,包括:若监听到消息队列收到新的数据变更消息,则删除本地缓存中的全部数据,根据新的数据变更消息设置本地缓存,并重置缓存过期时间。
根据本发明的又一个方面,提供一种缓存数据更新系统,包括配置中心、协调中间件、消息中间件和多个应用服务器。其中,配置中心预先配置有应用实例数量,多个应用服务器中每个应用服务器分别与配置中心、协调中间件和消息中间件通信连接,应用服务器适于:从配置中心读取应用实例数量;向协调中间件注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识;基于应用标识创建当前应用实例对应的消息队列,将消息队列绑定到消息中间件的扇形交换机以监听消息;当监听到消息队列收到新的数据变更消息时,消费新的数据变更消息对本地缓存进行数据更新。
可选地,在根据本发明的缓存数据更新系统中,还包括数据库服务器和与数据库服务器通信连接的缓存中间件,数据库服务器与扇形交换机绑定并部署有预设的数据库,数据库服务器适于:在数据变更时相应修改数据库中的数据,对缓存中间件进行数据更新,以及基于缓存中间件中最新的缓存数据生成数据变更消息并发送至扇形交换机。
可选地,在根据本发明的缓存数据更新系统中,消息中间件适于:通过扇形交换机,将扇形交换机接收到的数据变更消息分别投递到绑定于扇形交换机的各消息队列。
根据本发明的又一个方面,提供了一种计算设备,包括:至少一个处理器;以及存储器,存储有程序指令,其中,程序指令被配置为适于由至少一个处理器执行,程序指令包括用于执行如上所述的缓存数据更新方法的指令。
根据本发明的又一个方面,提供了一种存储有程序指令的可读存储介质,当程序指令被计算设备读取并执行时,使得计算设备执行如上所述的缓存数据更新方法。
根据本发明的缓存数据更新方案,使用在协调中间件注册的临时节点的节点标识和从配置中心读取的应用实例数量,生成当前应用实例的应用标识,基于该应用标识创建消息队列并绑定到消息中间件的扇形交换机以实时监听消息,若监听到新的数据变更消息,则对其进行消费以同步更新本地缓存,可支持接口访问量或并发量大的场景,具有更快的接口响应速度,且具备可移植性、可扩展性和高稳定性。
在上述技术方案中,扇形交换机还绑定有数据库服务器,当出现数据变更时,数据库服务器中数据库的数据相应修改后,还会对缓存中间件中缓存的数据也进行更新,并将根据其中最新的缓存数据生成的数据变更消息发送至扇形交换机,以便扇形交换机将数据变更消息分别投递到绑定于扇形交换机的各消息队列,从而实现了广播消息,达到无差别通知同一应用的不同应用实例更新本地缓存的目的,进而保持数据库、缓存中间件和本地缓存中数据的一致性。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明的一个实施例的缓存数据更新系统100的示意图;
图2示出了根据本发明的又一个实施例的缓存数据更新系统200的示意图;
图3示出了根据本发明的一个实施例的计算设备300的结构框图;以及
图4示出了根据本发明的一个实施例的缓存数据更新方法400的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明的一个实施例的缓存数据更新系统100的示意图。应当指出,图1的缓存数据更新系统100仅是示例性的,在具体实现中,根据实际情况,缓存数据更新系统100可以有不同数量的配置中心、协调中间件、消息中间件和应用服务器,对此并不进行限定。
如图1所示,缓存数据更新系统100包括配置中心110、协调中间件120、消息中间件130和N个应用服务器,N个应用服务器组成了一个应用服务器集群,其中包括应用服务器1、应用服务器2、……、应用服务器N,N为大于1的正整数。
图1中N个应用服务器中的每个应用服务器,分别与配置中心110、协调中间件120和消息中间件130通信连接。为尽量保证图示清晰明了,图1中仅展示了应用服务器1与配置中心110、协调中间件120和消息中间件130之间的通信连接,对应用服务器2至N与配置中心110、协调中间件120和消息中间件130通信连接的关系,进行了省略而未在图1示出。
配置中心110预先配置有应用实例数量,对某一应用而言,部署了该应用的应用服务器的数量,与对应的应用实例数量应是相同的。以下以应用服务器1为例对缓存数据更新的过程进行简要说明。
应用服务器1从配置中心110读取应用实例数量,向协调中间件120注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识,再基于应用标识创建当前应用实例对应的消息队列,将消息队列绑定到消息中间件130的扇形交换机以监听消息,当监听到消息队列收到新的数据变更消息时,消费新的数据变更消息对本地缓存进行数据更新。
图2示出了根据本发明的又一个实施例的缓存数据更新系统200的示意图。应当指出,图2所示的缓存数据更新系统200仅是示例性的,在具体实现中,根据实际情况,缓存数据更新系统200中可以有不同数量的应用服务器、配置中心、协调中间件、消息中间件、数据库服务器及缓存中间件,对此并不进行限定。
为方便理解,以下先对系统的搭建及初始化进行简要说明。
首先,在云容器平台部署应用,确定要配置的应用实例的数量,将该数量记为应用实例数量,例如应用实例数量为3,则表示该应用要部署3个应用实例。按照应用实例数量为应用部署相应数量的应用实例,这些应用实例可以形成该应用的应用实例集群。对每个应用实例而言,其可相当于部署在对应的一个应用服务器上,该应用服务器可以通过启动应用实例来执行或响应一系列指令。
通常情况下,应用实例数量还需要预先在配置中心配置,若配置中心未预先配置应用实例数量,则在应用实例启动后,其会通过调度任务初始化配置中心的应用实例数量。当然,该调度任务还可定时获取云容器平台配置的应用实例数量,以对配置中心的维护的应用实例数量进行更新。
上述配置中心可采用Apollo(阿波罗)这一开源配置管理中心来实现,Apollo能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性。
然后,分别部署协调中间件、消息中间件、数据库服务器和缓存中间件。其中,协调中间件可利用ZooKeeper(一个分布式的、开放源码的应用程序协调服务)实现,以便通过ZooKeeper为同一应用无中心化的不同应用实例,注册临时节点并分配对应的节点标识。
消息中间件则可采用RabbitMQ(一个实现了高级消息队列协议的开源消息代理软件),并选定RabbitMQ的交换机类型为Fanout类型,这一类型的交换机一般称为扇形交换机,用于将发送到交换机的消息转发到与该交换机绑定的全部消息队列。
数据库服务器可理解为数据存储业务方,其上部署有预设的数据库,比如MySQL数据库(一种关系型数据库)。数据库服务器和消息中间件之间可提前约定好交换机名称、消息格式等信息,以便数据库服务器通过交换机名称,绑定至对应的扇形交换机上,例如,绑定RabbitMQ的Fanout类型的交换机。当数据变更时,数据存储业务方可进行修改数据库、更新缓存中间件中数据等操作,这里的缓存中间件可使用Redis来提供缓存服务。
如图2所示,缓存数据更新系统200包括应用服务器集群210、配置中心220、协调中间件230和消息中间件240。其中,应用服务器集群210包括应用服务器211、应用服务器212和应用服务器213,这3个应用服务器分别对应同一应用的不同应用实例,即应用实例数量为3。
考虑到图示应尽可能清晰且便于对照查看,再者对应用服务器集群210中每个应用服务器而言,其连接关系是相同的,因此图2中仅针对应用服务器211与协调中间件230等之间的通信连接进行了展示,并因省略而未示出应用服务器212和应用服务器213相关的通信连接。
由于应用服务器211、应用服务器212和应用服务器213在缓存数据更新过程中处理步骤相同,以下将以应用服务器211为例对这一过程进行说明。
根据本发明的一个实施例,应用服务器211分别与配置中心220、协调中间件230和消息中间件240通信连接,其中配置中心220预先配置有应用实例数量。在该实施方式中,应用实例数量可以键值对的形式维护在配置中心220中,如应用实例数量为3时,以instance为关键字,则3为该关键字对应的值。
当应用服务器211的当前应用实例启动时,从配置中心220读取应用实例数量,向协调中间件230注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识。
根据本发明的一个实施例,应用服务器211可通过如下方式向协调中间件230注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识。在该实施方式中,先向协调中间件230注册临时节点,并通过当前应用实例的IP(InternetProtocol,网际互连协议)地址和端口注册路径获取临时节点的节点标识,再计算应用实例数量与节点标识取模的结果,作为当前应用实例的应用标识。
这里的临时节点,一般为临时有序节点,其节点标识为自增的序列标识,以ZooKeeper实现协调中间件230时,注册节点会根据先后顺序生成有序的临时节点且不会重复。当应用部署到云容器平台启动后,会自动分配IP地址给该应用的各应用实例,而应用实例也会相应配置应用端口。进而,对应用服务器211而言,可在当前应用实例配置的应用端口于ZooKeeper中的端口注册路径“/example/instance/server”下,获取临时节点及对应的节点标识,并将IP地址和节点标识写到该临时节点内。
而后,应用服务器211基于应用标识创建当前应用实例对应的消息队列,将消息队列绑定到消息中间件240的扇形交换机以监听消息。根据本发明的一个实施例,消息中间件240选用RabbitMQ,则在当前应用实例启动时,应用服务器211基于上述应用标识,动态注册队列名称并创建当前应用实例对应的消息队列,将消息队列绑定到RabbitMQ的Fanout类型的交换机上。
根据本发明的一个实施例,缓存数据更新系统200还包括数据库服务器250和与数据库服务器250通信连接的缓存中间件260,数据库服务器250还与消息中间件240通信连接,且与扇形交换机绑定并部署有预设的数据库。
在该实施方式中,数据库服务器250在数据变更时,可相应修改数据库中的数据,对缓存中间件260进行数据更新,以及基于缓存中间件260中最新的缓存数据生成数据变更消息并发送至扇形交换机。其中,数据库可采用MySQL数据库,缓存中间件可以Redis实现。
接下来,消息中间件240会通过扇形交换机,将扇形交换机接收到的数据变更消息分别投递到绑定于扇形交换机的各消息队列。例如,扇形交换机接收到数据变更消息Q1,由前述内容可知,该扇形交换机上应绑定有3个消息队列,分别与应用服务器211、应用服务器212和应用服务器213对应,则消息中间件240通过扇形交换机,或者说扇形交换机直接将数据变更消息Q1分别投递到这3个消息队列上。
由此,应用服务器211、应用服务器212和应用服务器213均可以通过对应的消息队列监听到是否接收到新的数据变更消息。对应用服务器211来说,若监听到消息队列收到新的数据变更消息,则消费新的数据变更消息对本地缓存进行数据更新。
根据本发明的一个实施例,可通过如下方式消费新的数据变更消息对本地缓存进行数据更新。在该实施方式中,应用服务器211若监听到消息队列收到新的数据变更消息,则删除本地缓存中的全部数据,根据新的数据变更消息设置本地缓存,并重置缓存过期时间。以上处理环节的相关代码示例如下:
@RabbitListener(queues="#{queue.name}")
public void listen(Message message,Channel channel)
{
String message=new String(message.getBody());
JSONObject object=JSON.parseObject(message);
cache.evict(object.getInteger(“id”));
cache.put(key,message);
}
根据本发明的一个实施例,缓存中间件260还分别与应用服务器集群210中各应用服务器通信连接。在图2中,仅示出缓存中间件260与应用服务器211通信连接,在当前应用实例有数据接口调用时,可采用本地锁查询Redis中的缓存数据,再将缓存数据存储到本地缓存。
图1所示的应用服务器1、应用服务器2、……、应用服务器N,以及图2所示的应用服务器211、应用服务器212和应用服务器213,均可实现为一种计算设备。
图3示出了根据本发明的一个实施例的计算设备300的结构框图。
如图3所示,在基本的配置302中,计算设备300典型地包括系统存储器306和一个或者多个处理器304。存储器总线308可以用于在处理器304和系统存储器306之间的通信。
取决于期望的配置,处理器304可以是任何类型的处理,包括但不限于:微处理器(UP)、微控制器(UC)、数字信息处理器(DSP)或者它们的任何组合。处理器304可以包括诸如一级高速缓存310和二级高速缓存312之类的一个或者多个级别的高速缓存、处理器核心314和寄存器316。示例的处理器核心314可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器318可以与处理器304一起使用,或者在一些实现中,存储器控制器318可以是处理器304的一个内部部分。
取决于期望的配置,系统存储器306可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器306可以包括操作系统320、一个或者多个应用322以及程序数据324。在一些实施方式中,应用322可以布置为在操作系统上由一个或多个处理器304利用程序数据324执行指令。
计算设备300还包括储存设备332,储存设备332包括可移除储存器336和不可移除储存器338。
计算设备300还可以包括储存接口总线334。储存接口总线334实现了从储存设备332(例如,可移除储存器336和不可移除储存器338)经由总线/接口控制器330到基本配置302的通信。操作系统320、应用322以及程序数据324的至少一部分可以存储在可移除储存器336和/或不可移除储存器338上,并且在计算设备300上电或者要执行应用322时,经由储存接口总线334而加载到系统存储器306中,并由一个或者多个处理器304来执行。
计算设备300还可以包括有助于从各种接口设备(例如,输出设备342、外设接口344和通信设备346)到基本配置302经由总线/接口控制器330的通信的接口总线340。示例的输出设备342包括图形处理单元348和音频处理单元350。它们可以被配置为有助于经由一个或者多个A/V端口352与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口344可以包括串行接口控制器354和并行接口控制器356,它们可以被配置为有助于经由一个或者多个I/O端口358和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备346可以包括网络控制器360,其可以被布置为便于经由一个或者多个通信端口364与一个或者多个其他计算设备362通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备300可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然,计算设备300也可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。甚至可以被实现为服务器,如文件服务器、数据库服务器、应用程序服务器和WEB服务器等。本发明的实施例对此均不做限制。
在根据本发明的实施例中,计算设备300可实现为图1或图2中任意应用服务器,并被配置为执行根据本发明的缓存数据更新方法400。其中,布置在操作系统上的应用322中包含用于执行本发明的缓存数据更新方法400的多条程序指令,这些程序指令可以指示处理器304执行本发明的缓存数据更新方法400,以便缓存数据更新系统100或200中的应用服务器,通过执行本发明的缓存数据更新方法400来更新缓存数据。
图4示出了根据本发明的一个实施例的缓存数据更新方法400的流程图。
如图4所示,方法400始于步骤S410。在步骤S410中,从配置中心读取预先配置的应用实例数量。
随后,进入步骤S420,向协调中间件注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识。
根据本发明的一个实施例,可通过如下方式向协调中间件注册临时节点,并根据临时节点的节点标识和应用实例数量,生成当前应用实例的应用标识。在该实施方式中,向协调中间件注册临时节点,并通过当前应用实例的IP地址和端口注册路径获取临时节点的节点标识,计算应用实例数量与节点标识取模的结果,作为当前应用实例的应用标识。
在步骤S430中,基于应用标识创建当前应用实例对应的消息队列,将消息队列绑定到消息中间件的扇形交换机以监听消息。
根据本发明的一个实施例,消息中间件的扇形交换机绑定有数据库服务器,数据库服务器上部署有预设的数据库并与缓存中间件通信连接,在数据变更时由数据库服务器相应修改数据库中的数据,对缓存中间件进行数据更新,以及将基于缓存中间件中最新的缓存数据生成的数据变更消息发送至扇形交换机。在该实施方式中,数据变更消息由扇形交换机分别投递到绑定于扇形交换机的各消息队列。
最后,执行步骤S440,若监听到消息队列收到新的数据变更消息,则消费新的数据变更消息对本地缓存进行数据更新。
根据本发明的一个实施例,若监听到消息队列收到新的数据变更消息,可通过如下方式消费新的数据变更消息对本地缓存进行数据更新。在该实施方式中,若监听到消息队列收到新的数据变更消息,则删除本地缓存中的全部数据,根据新的数据变更消息设置本地缓存,并重置缓存过期时间。
上述方法400中各步骤的执行逻辑,可参见前文对缓存数据更新系统100或200的具体描述,此处不予以赘述。
根据本发明实施例的缓存数据更新方案,使用在协调中间件注册的临时节点的节点标识和从配置中心读取的应用实例数量,生成当前应用实例的应用标识,基于该应用标识创建消息队列并绑定到消息中间件的扇形交换机以实时监听消息,若监听到新的数据变更消息,则对其进行消费以同步更新本地缓存,可支持更高的QPS,具有更好的接口响应性能,且具备稳定性、可移植性和可扩展性。
在上述技术方案中,扇形交换机还绑定有数据库服务器,当出现数据变更时,数据库服务器中数据库的数据相应修改后,还会对缓存中间件中缓存的数据也进行更新,并将根据其中最新的缓存数据生成的数据变更消息发送至扇形交换机,以便扇形交换机将数据变更消息分别投递到绑定于扇形交换机的各消息队列,从而广播消息,达到无差别通知同一应用的不同应用实例更新本地缓存的目的。换言之,同一套代码部署到多个应用实例可消费同一个数据变更消息,实现了消息通知方案解耦,近实时性,最终保证了数据库、缓存中间件和本地缓存之间的数据一致性。此外,消息中间件可采用分布式集群部署,以在提升消息通知性能的同时,进一步提高接口响应速度。
这里描述的各种技术可结合硬件或软件,或者它们的组合一起实现。从而,本发明的方法和设备,或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介,例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式,其中当程序被载入诸如计算机之类的机器,并被所述机器执行时,所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下,计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件),至少一个输入装置,和至少一个输出装置。其中,存储器被配置用于存储程序代码;处理器被配置用于根据该存储器中存储的所述程序代码中的指令,执行本发明的缓存数据更新方法。
以示例而非限制的方式,可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (10)

1.一种缓存数据更新方法,适于在应用服务器中执行,包括:
从所述配置中心读取预先配置的应用实例数量;
向协调中间件注册临时节点,并根据所述临时节点的节点标识和所述应用实例数量,生成当前应用实例的应用标识;
基于所述应用标识创建所述当前应用实例对应的消息队列,将所述消息队列绑定到消息中间件的扇形交换机以监听消息;
若监听到所述消息队列收到新的数据变更消息,则消费所述新的数据变更消息对本地缓存进行数据更新。
2.如权利要求1所述的方法,其中,所述向协调中间件注册临时节点,并根据所述临时节点的节点标识和所述应用实例数量,生成当前应用实例的应用标识,包括:
向协调中间件注册临时节点,并通过当前应用实例的IP地址和端口注册路径获取所述临时节点的节点标识;
计算所述应用实例数量与所述节点标识取模的结果,作为所述当前应用实例的应用标识。
3.如权利要求1或2所述的方法,其中,所述消息中间件的扇形交换机绑定有数据库服务器,所述数据库服务器上部署有预设的数据库并与缓存中间件通信连接,在数据变更时由所述数据库服务器相应修改所述数据库中的数据,对所述缓存中间件进行数据更新,以及将基于所述缓存中间件中最新的缓存数据生成的数据变更消息发送至所述扇形交换机。
4.如权利要求1-3中任一项所述的方法,其中,所述数据变更消息由所述扇形交换机分别投递到绑定于所述扇形交换机的各消息队列。
5.如权利要求1-4中任一项所述的方法,其中,所述若监听到所述消息队列收到新的数据变更消息,则消费所述新的数据变更消息对本地缓存进行数据更新,包括:
若监听到所述消息队列收到新的数据变更消息,则删除本地缓存中的全部数据,根据所述新的数据变更消息设置所述本地缓存,并重置缓存过期时间。
6.一种缓存数据更新系统,包括配置中心、协调中间件、消息中间件和多个应用服务器,其中:
所述配置中心预先配置有应用实例数量;
所述多个应用服务器中每个应用服务器分别与所述配置中心、所述协调中间件和所述消息中间件通信连接,所述应用服务器适于:
从所述配置中心读取所述应用实例数量;
向所述协调中间件注册临时节点,并根据所述临时节点的节点标识和所述应用实例数量,生成当前应用实例的应用标识;
基于所述应用标识创建所述当前应用实例对应的消息队列,将所述消息队列绑定到所述消息中间件的扇形交换机以监听消息;
当监听到所述消息队列收到新的数据变更消息时,消费所述新的数据变更消息对本地缓存进行数据更新。
7.如权利要求6所述的系统,还包括数据库服务器和与所述数据库服务器通信连接的缓存中间件,所述数据库服务器与所述扇形交换机绑定并部署有预设的数据库,所述数据库服务器适于:
在数据变更时相应修改所述数据库中的数据,对所述缓存中间件进行数据更新,以及基于所述缓存中间件中最新的缓存数据生成数据变更消息并发送至所述扇形交换机。
8.如权利要求6或7所述的系统,其中,所述消息中间件适于:
通过所述扇形交换机,将所述扇形交换机接收到的数据变更消息分别投递到绑定于所述扇形交换机的各消息队列。
9.一种计算设备,包括:
至少一个处理器;以及
存储器,存储有程序指令,其中,所述程序指令被配置为适于由所述至少一个处理器执行,所述程序指令包括用于执行如权利要求1-5中任一项所述的方法的指令。
10.一种存储有程序指令的可读存储介质,当所述程序指令被计算设备读取并执行时,使得所述计算设备执行如权利要求1-5中任一项所述方法。
CN202310007830.6A 2023-01-04 2023-01-04 一种缓存数据更新方法、系统、计算设备及存储介质 Pending CN116192956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310007830.6A CN116192956A (zh) 2023-01-04 2023-01-04 一种缓存数据更新方法、系统、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310007830.6A CN116192956A (zh) 2023-01-04 2023-01-04 一种缓存数据更新方法、系统、计算设备及存储介质

Publications (1)

Publication Number Publication Date
CN116192956A true CN116192956A (zh) 2023-05-30

Family

ID=86439637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310007830.6A Pending CN116192956A (zh) 2023-01-04 2023-01-04 一种缓存数据更新方法、系统、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN116192956A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116361309A (zh) * 2023-05-31 2023-06-30 北京集度科技有限公司 数据查询系统和缓存数据更新方法
CN116662016A (zh) * 2023-07-25 2023-08-29 太平金融科技服务(上海)有限公司 端口切换方法、装置、计算机设备、存储介质和程序产品

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116361309A (zh) * 2023-05-31 2023-06-30 北京集度科技有限公司 数据查询系统和缓存数据更新方法
CN116361309B (zh) * 2023-05-31 2023-09-05 北京集度科技有限公司 数据查询系统和缓存数据更新方法
CN116662016A (zh) * 2023-07-25 2023-08-29 太平金融科技服务(上海)有限公司 端口切换方法、装置、计算机设备、存储介质和程序产品
CN116662016B (zh) * 2023-07-25 2023-10-20 太平金融科技服务(上海)有限公司 端口切换方法、装置、计算机设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
CN116192956A (zh) 一种缓存数据更新方法、系统、计算设备及存储介质
CN111475483B (zh) 数据库迁移方法、装置及计算设备
CN111651464B (zh) 数据处理方法、系统及计算设备
CN111782414B (zh) 一种延时消息处理方法及系统
US9852220B1 (en) Distributed workflow management system
US10944655B2 (en) Data verification based upgrades in time series system
CN111563024B (zh) 一种宿主机上监控容器进程的方法、装置及计算设备
US20200288302A1 (en) Service Notification Method For Mobile Edge Host And Apparatus
US20140237024A1 (en) Network communication devices and file tracking methods thereof
US11991094B2 (en) Metadata driven static determination of controller availability
CN113329069B (zh) 一种即时通信方法、系统及计算设备
WO2021051747A1 (zh) 数据更新方法、系统、装置、电子设备及计算机存储介质
US20220413937A1 (en) Node management method, device and apparatus, storage medium, and system
CN113032432A (zh) 一种数据缓存处理方法、系统、计算设备及可读存储介质
CN113342475B (zh) 一种服务器集群构建方法、计算设备及存储介质
CN112559143A (zh) 任务调度方法、系统及计算设备
CN113709246B (zh) 一种网络代理方法、计算设备及可读存储介质
WO2019242279A1 (zh) 一种消息处理方法及装置
US11350254B1 (en) Methods for enforcing compliance policies and devices thereof
CN112882847A (zh) 一种弹幕消息处理方法、装置及系统
US8775541B2 (en) Mail manufacturing virtualization
CN114513500B (zh) 一种浏览器插件批量安装的方法、设备、系统及计算设备
CN110647383A (zh) 一种基于docker容器的应用管理方法及计算设备
CN115827503A (zh) 一种缓存数据更新方法、系统及计算设备
CN112711490B (zh) 一种消息处理方法、计算设备及储存介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination