CN114328561A - 数据同步方法、装置、计算机设备、存储介质和程序产品 - Google Patents

数据同步方法、装置、计算机设备、存储介质和程序产品 Download PDF

Info

Publication number
CN114328561A
CN114328561A CN202111675880.9A CN202111675880A CN114328561A CN 114328561 A CN114328561 A CN 114328561A CN 202111675880 A CN202111675880 A CN 202111675880A CN 114328561 A CN114328561 A CN 114328561A
Authority
CN
China
Prior art keywords
data
cache
database
loading
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111675880.9A
Other languages
English (en)
Inventor
席尧磊
汪瀛寰
吴德柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202111675880.9A priority Critical patent/CN114328561A/zh
Publication of CN114328561A publication Critical patent/CN114328561A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种数据同步方法、装置、计算机设备、存储介质和程序产品。所述方法包括:接收数据变更请求;根据所述数据变更请求删除缓存中对应的数据,并锁定对应的数据表;根据所述数据变更请求对数据库中的数据进行变更操作;将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁。采用本方法支持缓存和数据库的数据一致。

Description

数据同步方法、装置、计算机设备、存储介质和程序产品
技术领域
本申请涉及数据库技术领域,特别是涉及一种数据同步方法、装置、计算机设备、存储介质和程序产品。
背景技术
随着移动互联网和智能设备的快速发展和普及,互联网应用的服务器处理数据的压力越来越大,同时用户对请求响应时间的要求也愈加苛刻。在网络延迟优化和硬件性能提升已达一定瓶颈的背景下,基于Redis、Memcached等的缓存技术已成为提升并发性能和应用响应速度的主要手段之一。然而在数据库发生增删改数据更新操作时如何实现缓存与数据库之间的数据同步,以避免应用层通过缓存读取到脏数据,成为亟待解决的问题。
目前缓存与数据库之间的数据同步方式有:Cache Aside Pattern、Read/WriteThrough Pattern、Write Behind和通过Binlog集中更新等。其中主流的Cache AsidePattern同步方法会在每次读取数据时,都先访问缓存Cache,如果缓存命中,则直接返回数据,如果缓存未命中则去数据库中查询,并存储到缓存中以便下次请求可以直接命中缓存并返回数据;而在进行增删改数据更新操作时,则选择先将变更写入到数据库中,然后再删除缓存中对应的相关数据。而Write Behind则较为极端,这种方式在处理更新数据的请求时,直接更新缓存中的数据,不更新数据库,让另外一个服务异步地将数据更新到数据库。集中更新则相反,如Canal中间件,设计一个服务,通过读取并解析数据库的Binlog,主动将新的数据更新到缓存中。
从数据一致性的角度出发,传统的缓存与数据库同步方案,在某些情况下仍会出现缓存与数据库数据不一致的现象。如上述的Cache Aside Pattern同步方式,采用先更新数据库再删除缓存的方式,那么在更新数据库和清除缓存之间的间隙,如果有发生查询请求,应用层就可能读取到缓存中尚未删除的脏数据。对于数据一致性要求较高的场景,传统的同步方法往往难以满足或者过于复杂。
发明内容
基于此,有必要针对上述技术问题,提供一种支持缓存和数据库的数据一致的数据同步方法、装置、计算机设备、存储介质和程序产品。
第一方面,本申请提供一种数据同步方法,所述方法包括:
接收数据变更请求;
根据所述数据变更请求删除缓存中对应的数据,并锁定对应的数据表;
根据所述数据变更请求对数据库中的数据进行变更操作;
将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁。
在其中一个实施例中,所述方法还包括:
定时将所述数据库中的数据加载至缓存中。
在其中一个实施例中,所述定时将所述数据库中的数据加载至缓存中之前,还包括:
对待加载的数据表配置对应的定时加载任务;
所述定时将所述数据库中的数据加载至缓存中,包括:
根据所述定时加载任务获取待加载的数据;
将所述待加载的数据加载至缓存中。
在其中一个实施例中,所述接收数据变更请求,包括:
接收分布式事务处理请求;
所述根据所述数据变更请求删除缓存中对应的数据,并锁定对应的数据表,包括:
判断所述分布式事务处理请求是否为所述数据变更请求;当所述分布式事务处理请求为所述数据变更请求时,锁定所述分布式事务处理请求对应的数据表;
所述将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁,包括:
当所述分布式事务处理请求完成进行分布式事务提交后,或所述分布式事务处理请求异常进行分布式事务回滚后,将所述数据库中的数据加载至缓存中,并对对应的所述数据表解锁。
在其中一个实施例中,所述方法还包括:
接收数据处理请求;
判断所述数据处理请求对应的数据表是否被锁定;
当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中数据;
当所述数据表被锁定时,跳过查询缓存,查询所述数据库得到目标数据,返回所述目标数据。
在其中一个实施例中,所述当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中的数据,包括:
查询加载缓存中是否存在对应的目标数据;所述加载缓存中存储有定时从所述数据库中加载的数据
当所述加载缓存中存在对应的目标数据时,返回所述目标数据;
当所述加载缓存存中不存在对应的目标数据时,继续查询查询缓存中是否存在对应的目标数据;所述查询缓存中缓存有最近的所述数据处理请求对应的目标数据;
当所述查询缓存中存在对应的目标数据时,返回所述目标数据。
第二方面,本申请提供一种数据同步装置,所述装置包括:
第一接收模块,用于接收数据变更请求;
锁定模块,用于根据所述数据变更请求删除缓存中对应的数据,并锁定对应的数据表;
变更模块,用于根据所述数据变更请求对数据库中的数据进行变更操作;
解锁模块,用于将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁。
第三方面,本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意一个实施例中的方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
上述数据同步方法、装置、计算机设备、存储介质和程序产品,在接收数据变更请求时,先将缓存中的对应数据删除,并锁定该数据表,此外还对数据库中的数据进行变更操作,在变更操作后,再加载到缓存中,这样即使数据存在变更,缓存中的数据也与数据库中的数据保持一致。
附图说明
图1为一个实施例中数据同步方法的应用环境图;
图2为一个实施例中数据同步方法的流程示意图;
图3为一个实施例中的数据增删改请求的处理流程的示意图;
图4为一个实施例中数据查询步骤的流程示意图;
图5为一个实施例中的某一数据表在数据库中的示意图;
图6为一个实施例中的某一数据表在缓存中的示意图;
图7为一个实施例中数据同步装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的数据同步方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据库106可以存储服务器104需要处理的数据。数据库106可以集成在服务器104上,也可以放在云上或其他网络服务器上。其中,服务器104接收数据变更请求,根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表;根据数据变更请求对数据库中的数据进行变更操作;将变更操作后的数据库中的数据加载至缓存中,并对对应的数据表进行解锁。这样在接收数据变更请求时,先将缓存中的对应数据删除,并锁定该数据表,此外还对数据库中的数据进行变更操作,在变更操作后,再加载到缓存中,这样即使数据存在变更,缓存中的数据也与数据库中的数据保持一致。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据同步方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
S202:接收数据变更请求。
具体地,数据变更请求包括数据新增、修改和删除中的至少一个,其中终端发送数据变更请求至服务器,从而服务器将数据变更请求发送至数据库中,以对数据库中的数据进行处理。
S204:根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表。
具体地,缓存是与数据库对应的,其中缓存有与数据库对应的数据。在其中一个实施例中,缓存可以是通过键值对的方式存储数据库中的数据。优选地,缓存可以包括加载缓存或查询缓存中的至少一个。其中加载缓存是指以表为单位,用表名+主键值或表名+索引值作为缓存中存储的Key值,并将数据库中对应的数据作为Value值缓存。查询缓存是指以切面拦截到的数据访问层下的查询方法为基础,用查询方法名+查询请求参数作为缓存中存储的Key值,并将应用近期查询请求得到的相应数据或空值作为Value值缓存,其中查询缓存主要是为了应对不使用主键或索引查询的请求,并且可以缓存查询结果为空的请求以避免缓存穿透情况的发生。
其中,锁定是指禁止对该表中的数据的操作,包括查询等等,以使得对应的操作请求直接路由至数据库中,以根据数据库中的数据进行处理。
具体地,结合图3所示,其中图3为一个实施例中的数据增删改请求的处理流程的示意图,在该实施例中,对于数据新增、修改、删除操作,先删除缓存中涉及到的索引和主键的相关表数据,并在缓存中锁定该表,暂时将与该表相关的查询请求绕过缓存,避免数据更新过程中的其他查询请求使缓存加载数据库中的旧数据,之后再执行数据库的增删改操作。从而收到某张表的增删改请求之后,若再收到该表的查询请求则将请求直接交由数据库处理,由数据库返回数据,直到数据库完成增删改并将新的数据重新存储到缓存中,以保证不会从缓存读到脏数据。
S206:根据数据变更请求对数据库中的数据进行变更操作。
具体地,服务器根据数据变更请求对数据库中的数据进行变更操作,其中包括对数据的增删改操作,以对数据库中的原始数据进行处理。
S208:将变更操作后的数据库中的数据加载至缓存中,并对对应的数据表进行解锁。
具体地,在数据库中的数据处理完成后,则将处理完成的数据再加载至缓存中,在其中一个优选的实施例中,将数据库中变更后的数据增量加载至上述的加载缓存中,并在加载完成后,对对应的数据表进行解锁,以使得可以从缓存中获取到对应的数据。
上述数据同步方法,在接收数据变更请求时,先将缓存中的对应数据删除,并锁定该数据表,此外还对数据库中的数据进行变更操作,在变更操作后,再加载到缓存中,这样即使数据存在变更,缓存中的数据也与数据库中的数据保持一致。
在其中一个实施例中,上述数据同步方法还包括:定时将数据库中的数据加载至缓存中。
其中,定时加载是指周期性地将数据库中的数据加载至缓存中,优选地,在加载之前,先将数据库中的数据与缓存中的数据进行比对,包括与加载缓存和/或查询缓存中的数据,以确定缓存中与数据库中不相同的数据,并将不相同的数据加载至缓存中。
在一个更优选的实施例中,在进行数据比对时,仅将本周期内发生变化的数据库中的数据与缓存中的对应数据进行比对,以减少比对量,提高加载效率。
在其中一个实施例中,定时将数据库中的数据加载至缓存中之前,还包括:对待加载的数据配置对应的定时加载任务;定时将数据库中的数据加载至缓存中,包括:根据定时加载任务获取待加载的数据;将待加载的数据加载至缓存中。
具体地,本实施例中对于定时加载任务可以是基于表达式匹配的缓存与数据库定时同步机制。通过预先配置相应的表达式,可以对某些特定的表进行简易的设置定制化加载任务,当触发时即可自动将数据库中的数据初始化至缓存中。对于一些固定时间更新的参数表,就可以配置相应的表达式,如配置常见的Cron表达式“0 0 1**?”,即表示在每日凌晨1点,在数据库表更新后,自动将新的数据更新至加载缓存中,完成缓存与数据库之间的同步。
在其中一个实施例中,接收数据变更请求,包括:接收分布式事务处理请求;根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表,包括:判断分布式事务处理请求是否为所述数据变更请求;当分布式事务处理请求为所述数据变更请求时,锁定所述分布式事务处理请求对应的数据表;将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁,包括:当所述分布式事务处理请求完成进行分布式事务提交后,或所述分布式事务处理请求异常进行分布式事务回滚后,将数据库中的数据加载至缓存中,并对对应的数据表解锁。
具体地,对于涉及多表多节点的分布式事务场景,设计了基于事务的缓存与数据库的同步机制,以保证分布式事务提交或回滚后缓存与数据库的最终一致性。当全局事务开启时,首先判断分布式事务处理请求是否为数据变更请求,即是否会对数据产生变更,包括更新、删除、插入等数据库变更请求。例如查询请求则不会对数据产生变更,则无需进行后续操作,若数据产生变更,则缓存会获取该全局事务ID,用该全局事务ID作为Key值,在缓存中记录下该全局事务下所有分支事务进行更新操作涉及的表名和更新条件,并使所涉及表的缓存暂时失效。待全局事务提交或回滚时,根据缓存中存储的数据更新信息,将数据重新加载至缓存并使表缓存重新生效,即当分布式事务处理请求完成进行分布式事务提交后,或分布式事务处理请求异常进行分布式事务回滚后,将数据库中的数据加载至缓存中,并对对应的数据表解锁。同时开启定时加载线程作为辅助保障,用于将数据库当前数据加载到缓存,以确保事务因超时等原因未提交(或未回滚)时缓存与数据库的最终一致性。
上述实施例中,可以在多种场景下完成缓存与数据库的数据同步。基于加载缓存和查询缓存的设计,缓存可以在初始化时或是在基于表达式的定时同步任务触发时,主动将数据库中的数据同步至缓存;在处理数据的增删改查请求时也可以动态的将数据库中的数据更新至缓存中,同时缓存锁的机制也避免了应用系统读取到脏数据情况的发生。此外对于涉及多表多节点的分布式事务场景下,利用基于事务的缓存与数据库同步机制也能较好的保证缓存与数据库的最终一致性。由此,本实施例中所提出的数据同步方法能够无感地完成数据库与缓存的数据同步,具有更高的数据一致性,以避免出现缓存与数据库数据不一致的现象。
在其中一个实施例中,上述数据同步方法还包括:接收数据处理请求;判断数据处理请求对应的数据表是否被锁定;当数据处理请求对应的数据表未被锁定时,根据数据处理请求查询缓存中数据;当数据表被锁定时,跳过查询缓存,查询数据库得到目标数据,返回目标数据。
具体地,在接收到数据处理请求时,服务器先查询缓存中对应的数据表以判断该数据表是否被锁定,若是被锁定,则查询数据库中的数据以得到目标数据,并进行数据处理,若是未被锁定,则直接对缓存中的数据进行处理。
在其中一个实施例中,当数据处理请求对应的数据表未被锁定时,根据数据处理请求查询缓存中的数据,包括:查询加载缓存中是否存在对应的目标数据;加载缓存中存储有定时从数据库中加载的数据;当加载缓存中存在对应的目标数据时,返回目标数据;当加载缓存中不存在对应的目标数据时,继续查询查询缓存中是否存在对应的目标数据;查询缓存中缓存有最近的数据处理请求对应的目标数据;当查询缓存中存在对应的目标数据时,返回目标数据。
具体地,结合图4所示,在缓存中建立加载缓存和查询缓存,其中加载缓存主要用于在缓存系统初始化时或者定时同步任务触发时,主动将数据库中的表数据(表数据是指关系型数据库中以表的形式存储的数据)用基于主键和索引的组织方式批量同步至缓存中。具体来说加载缓存以表为单位,用表名+主键值或表名+索引值作为缓存中存储的Key值,并将数据库中对应的数据作为Value值缓存。而查询缓存则可以缓存最近所有查询请求得到的数据,从而在处理查询请求的过程中进一步同步数据库的数据至缓存中。同时查询缓存也可以应对不使用主键或索引查询的请求,并且可以缓存查询结果为空的请求以避免缓存穿透情况的发生。具体来说查询缓存以指SpringAOP切面技术的切面拦截到的数据访问层下的查询方法为基础,用查询方法名+查询请求参数作为缓存中存储的Key值,并将应用近期查询请求得到的相应数据或空值作为Value值缓存。如图4,当数据查询请求被缓存拦截,会依次查询查询缓存和加载缓存,如均未命中再请求数据库,如数据库返回数据,则将数据写入查询缓存中,如数据库返回为空,则写入空值至查询缓存中。以上在缓存内加载缓存和查询缓存的设计实现了在初始化和处理查询请求等场景下将数据库中原本的关系型数据转换为键值对数据并同步至缓存中。
其中需要说明的是,本实施例中的数据库是指关系型数据库如Mysql、Oracle等,缓存是指基于Key-Value键值对形式的存储系统如Redis、MemCached等。因此,关系型数据库中的一张张表需要转换成键值对的形式,才能存储到缓存中。
具体地,结合图5所示的EXAMPLE_A表,其中ID为主键,AGE为索引,那么在缓存启动时就会分别按主键和索引缓存数据到加载缓存中,如图6所示。
其中,本实施例中,结合多种同步机制,以在多种场景下保持缓存与数据库之间的数据一致性。首先在缓存中设计了加载缓存和查询缓存用于以键值对的形式存储数据库中的关系型数据,加载缓存以表为单位进行数据同步而查询缓存则可以在处理外部查询请求的过程中动态无感的同步数据库中的数据至缓存中。其次,对于增删改请求设计了一种锁机制用于在同步数据库数据的同时避免应用从缓存中读取到脏数据,保证了较高的数据一致性。第三,针对涉及多表多节点的分布式事务场景,设计了一种基于事务的缓存与数据库的数据同步机制,用于保障缓存和数据库的数据最终一致性。最后,设计了基于定时任务的缓存与数据库的数据同步机制,用于定时触发同步任务将数据库中的数据同步至加载缓存中。这样能够无感地完成数据库与缓存的数据同步,具有更高的数据一致性,以避免出现缓存与数据库数据不一致的现象。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据同步方法的数据同步装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据同步装置实施例中的具体限定可以参见上文中对于数据同步方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种数据同步装置,包括:第一接收模块701、锁定模块702、变更模块703和解锁模块704,其中:
第一接收模块701,用于接收数据变更请求;
锁定模块702,用于根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表;
变更模块703,用于根据数据变更请求对数据库中的数据进行变更操作;
解锁模块704,用于将变更操作后的数据库中的数据加载至缓存中,并对对应的数据表进行解锁。
在其中一个实施例中,上述数据同步装置还包括:
定时加载模块,用于定时将数据库中的数据加载至缓存中。
在其中一个实施例中,上述数据同步装置还包括:
配置模块,用于对待加载的数据配置对应的定时加载任务;
上述定时加载模块可以包括:
数据获取单元,用于根据定时加载任务获取待加载的数据;
加载单元,用于将待加载的数据加载至缓存中。
在其中一个实施例中,上述第一接收模块701用于接收分布式事务处理请求;
上述锁定模块702用于判断所述分布式事务处理请求是否为数据变更请求;当所述分布式事务处理请求为所述数据变更请求时,锁定所述分布式事务处理请求对应的数据表;
上述解锁模块704用于当所述分布式事务处理请求完成进行分布式事务提交后,或所述分布式事务处理请求异常进行分布式事务回滚后,将所述数据库中的数据加载至缓存中,并对对应的所述数据表解锁。
在其中一个实施例中,上述数据同步装置还包括:
第二接收模块,用于接收数据处理请求;
判断模块,用于判断所述数据处理请求对应的数据表是否被锁定;
数据处理模块,用于当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中数据;当所述数据表被锁定时,跳过查询缓存,查询所述数据库得到目标数据,返回所述目标数据。
在其中一个实施例中,上述数据处理模块包括:
第一查询单元,用于查询加载缓存中是否存在对应的目标数据;所述加载缓存中存储有定时从所述数据库中加载的数据;
判断单元,用于当所述加载缓存中存在对应的目标数据时,返回所述目标数据;
第二查询单元,用于当所述加载缓存中不存在对应的目标数据时,继续查询查询缓存中是否存在对应的目标数据;所述查询缓存中缓存有最近的所述数据处理请求对应的目标数据;当所述查询缓存中存在对应的目标数据时,返回所述目标数据。
上述数据同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据同步方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:接收数据变更请求;根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表;根据数据变更请求对数据库中的数据进行变更操作;将变更操作后的数据库中的数据加载至缓存中,并对对应的数据表进行解锁。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:定时将数据库中的数据加载至缓存中。
在一个实施例中,处理器执行计算机程序时所实现的定时将数据库中的数据加载至缓存中之前,还包括:对待加载的数据配置对应的定时加载任务;处理器执行计算机程序时所实现的定时将数据库中的数据加载至缓存中,包括:根据定时加载任务获取待加载的数据;将待加载的数据加载至缓存中。
在一个实施例中,处理器执行计算机程序时所实现的接收数据变更请求,包括:接收分布式事务处理请求;处理器执行计算机程序时所实现的根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表,包括:判断所述分布式事务处理请求是否为数据变更请求;当所述分布式事务处理请求为所述数据变更请求时,锁定所述分布式事务处理请求对应的数据表。处理器执行计算机程序时所实现的将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁,包括:当所述分布式事务处理请求完成进行分布式事务提交后,或所述分布式事务处理请求异常进行分布式事务回滚后,将所述数据库中的数据加载至缓存中,并对对应的所述数据表解锁。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:接收数据处理请求;判断所述数据处理请求对应的数据表是否被锁定;当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中数据;当所述数据表被锁定时,跳过查询缓存,查询所述数据库得到目标数据,返回所述目标数据。
在一个实施例中,处理器执行计算机程序时所实现的当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中的数据,包括:查询加载缓存中是否存在对应的目标数据;所述加载缓存中存储有定时从所述数据库中加载的数据;当所述加载缓存中存在对应的目标数据时,返回所述目标数据;当所述加载缓存中不存在对应的目标数据时,继续查询查询缓存中是否存在对应的目标数据;所述查询缓存中缓存有最近的所述数据处理请求对应的目标数据;当所述查询缓存中存在对应的目标数据时,返回所述目标数据。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收数据变更请求;根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表;根据数据变更请求对数据库中的数据进行变更操作;将变更操作后的数据库中的数据加载至缓存中,并对对应的数据表进行解锁。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:定时将数据库中的数据加载至缓存中。
在一个实施例中,计算机程序被处理器执行时所实现的定时将数据库中的数据加载至缓存中之前,还包括:对待加载的数据配置对应的定时加载任务;计算机程序被处理器执行时所实现的定时将数据库中的数据加载至缓存中,包括:根据定时加载任务获取待加载的数据;将待加载的数据加载至缓存中。
在一个实施例中,计算机程序被处理器执行时所实现的接收数据变更请求,包括:接收分布式事务处理请求;计算机程序被处理器执行时所实现的根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表,包括:判断所述分布式事务处理请求是否为数据变更请求;当所述分布式事务处理请求为所述数据变更请求时,锁定所述分布式事务处理请求对应的数据表。处理器执行计算机程序时所实现的将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁,包括:当所述分布式事务处理请求完成进行分布式事务提交后,或所述分布式事务处理请求异常进行分布式事务回滚后,将所述数据库中的数据加载至缓存中,并对对应的所述数据表解锁。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:接收数据处理请求;判断所述数据处理请求对应的数据表是否被锁定;当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中数据;当所述数据表被锁定时,跳过查询缓存,查询所述数据库得到目标数据,返回所述目标数据。
在一个实施例中,计算机程序被处理器执行时所实现的当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中的数据,包括:查询加载缓存中是否存在对应的目标数据;所述加载缓存中存储有定时从所述数据库中加载的数据;当所述加载缓存中存在对应的目标数据时,返回所述目标数据;当所述加载缓存中不存在对应的目标数据时,继续查询查询缓存中是否存在对应的目标数据;所述查询缓存中缓存有最近的所述数据处理请求对应的目标数据;当所述查询缓存中存在对应的目标数据时,返回所述目标数据。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:接收数据变更请求;根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表;根据数据变更请求对数据库中的数据进行变更操作;将变更操作后的数据库中的数据加载至缓存中,并对对应的数据表进行解锁。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:定时将数据库中的数据加载至缓存中。
在一个实施例中,计算机程序被处理器执行时所实现的定时将数据库中的数据加载至缓存中之前,还包括:对待加载的数据配置对应的定时加载任务;计算机程序被处理器执行时所实现的定时将数据库中的数据加载至缓存中,包括:根据定时加载任务获取待加载的数据;将待加载的数据加载至缓存中。
在一个实施例中,计算机程序被处理器执行时所实现的接收数据变更请求,包括:接收分布式事务处理请求;计算机程序被处理器执行时所实现的根据数据变更请求删除缓存中对应的数据,并锁定对应的数据表,包括:判断所述分布式事务处理请求是否为数据变更请求;当所述分布式事务处理请求为所述数据变更请求时,锁定所述分布式事务处理请求对应的数据表。处理器执行计算机程序时所实现的将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁,包括:当所述分布式事务处理请求完成进行分布式事务提交后,或所述分布式事务处理请求异常进行分布式事务回滚后,将所述数据库中的数据加载至缓存中,并对对应的所述数据表解锁。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:接收数据处理请求;判断所述数据处理请求对应的数据表是否被锁定;当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中数据;当所述数据表被锁定时,跳过查询缓存,查询所述数据库得到目标数据,返回所述目标数据。
在一个实施例中,计算机程序被处理器执行时所实现的当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中的数据,包括:查询加载缓存中是否存在对应的目标数据;所述加载缓存中存储有定时从所述数据库中加载的数据;当所述加载缓存中存在对应的目标数据时,返回所述目标数据;当所述加载缓存中不存在对应的目标数据时,继续查询查询缓存中是否存在对应的目标数据;所述查询缓存中缓存有最近的所述数据处理请求对应的目标数据;当所述查询缓存中存在对应的目标数据时,返回所述目标数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据同步方法,其特征在于,所述方法包括:
接收数据变更请求;
根据所述数据变更请求删除缓存中对应的数据,并锁定对应的数据表;
根据所述数据变更请求对数据库中的数据进行变更操作;
将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
定时将所述数据库中的数据加载至缓存中。
3.根据权利要求2所述的方法,其特征在于,所述定时将所述数据库中的数据加载至缓存中之前,还包括:
对待加载的数据配置对应的定时加载任务;
所述定时将所述数据库中的数据加载至缓存中,包括:
根据所述定时加载任务获取待加载的数据;
将所述待加载的数据加载至缓存中。
4.根据权利要求1所述的方法,其特征在于,所述接收数据变更请求,包括:
接收分布式事务处理请求;
所述根据所述数据变更请求删除缓存中对应的数据,并锁定对应的数据表,包括:
判断所述分布式事务处理请求是否为数据变更请求;当所述分布式事务处理请求为所述数据变更请求时,锁定所述分布式事务处理请求对应的数据表;
所述将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁,包括:
当所述分布式事务处理请求完成进行分布式事务提交后,或所述分布式事务处理请求异常进行分布式事务回滚后,将所述数据库中的数据加载至缓存中,并对对应的所述数据表解锁。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述方法还包括:
接收数据处理请求;
判断所述数据处理请求对应的数据表是否被锁定;
当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中数据;
当所述数据表被锁定时,跳过查询缓存,查询所述数据库得到目标数据,返回所述目标数据。
6.根据权利要求5所述的方法,其特征在于,所述当所述数据处理请求对应的所述数据表未被锁定时,根据所述数据处理请求查询缓存中的数据,包括:
查询加载缓存中是否存在对应的目标数据;所述加载缓存中存储有定时从所述数据库中加载的数据
当所述加载缓存中存在对应的目标数据时,返回所述目标数据;
当所述加载缓存中不存在对应的目标数据时,继续查询查询缓存中是否存在对应的目标数据;所述查询缓存中缓存有最近的所述数据处理请求对应的目标数据;
当所述查询缓存中存在对应的目标数据时,返回所述目标数据。
7.一种数据同步装置,其特征在于,所述装置包括:
第一接收模块,用于接收数据变更请求;
锁定模块,用于根据所述数据变更请求删除缓存中对应的数据,并锁定对应的数据表;
变更模块,用于根据所述数据变更请求对数据库中的数据进行变更操作;
解锁模块,用于将变更操作后的数据库中的数据加载至缓存中,并对对应的所述数据表进行解锁。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111675880.9A 2021-12-31 2021-12-31 数据同步方法、装置、计算机设备、存储介质和程序产品 Pending CN114328561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111675880.9A CN114328561A (zh) 2021-12-31 2021-12-31 数据同步方法、装置、计算机设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111675880.9A CN114328561A (zh) 2021-12-31 2021-12-31 数据同步方法、装置、计算机设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN114328561A true CN114328561A (zh) 2022-04-12

Family

ID=81023659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111675880.9A Pending CN114328561A (zh) 2021-12-31 2021-12-31 数据同步方法、装置、计算机设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN114328561A (zh)

Similar Documents

Publication Publication Date Title
US10120895B2 (en) Mirroring, in memory, data from disk to improve query performance
US10268746B2 (en) Mechanism to run OLTP workload on in-memory database under memory pressure
US10552372B2 (en) Systems, methods, and computer-readable media for a fast snapshot of application data in storage
EP3047400B1 (en) Multi-version concurrency control on in-memory snapshot store of oracle in-memory database
US9606921B2 (en) Granular creation and refresh of columnar data
US11126620B2 (en) Automatic verification and triage of query results
US9996427B2 (en) Parallel backup for distributed database system environments
CN111338766A (zh) 事务处理方法、装置、计算机设备及存储介质
US20120259863A1 (en) Low Level Object Version Tracking Using Non-Volatile Memory Write Generations
US8732143B2 (en) Reducing locking during database transactions
CN113420052B (zh) 一种多级分布式缓存系统及方法
CN112969997A (zh) 跟踪数据库数据的变化
US20080288497A1 (en) Exclusive control method for database and program
US11372571B2 (en) System and methods for providing a memory slice data structure for use with diverse memory and storage media
CN114328561A (zh) 数据同步方法、装置、计算机设备、存储介质和程序产品
US20190179930A1 (en) Optimistic concurrency control for database transactions
CN115374133A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN114691307A (zh) 事务处理方法及计算机系统
CN113849119A (zh) 存储方法、存储装置和计算机可读存储介质
CN117076146B (zh) 数据处理方法、装置、计算机设备和存储介质
CN116775700A (zh) 一种数据缓存方法、装置及存储介质
CN118093656A (zh) 一种数据读取方法及装置
KR101057468B1 (ko) 공유 디스크 모델을 사용하는 다중서버 데이터베이스 관리시스템에서의 버퍼 일관성 관리방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination