CN114138804A - 基于并发处理的缓存数据同步方法、装置、设备及介质 - Google Patents
基于并发处理的缓存数据同步方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114138804A CN114138804A CN202111457875.0A CN202111457875A CN114138804A CN 114138804 A CN114138804 A CN 114138804A CN 202111457875 A CN202111457875 A CN 202111457875A CN 114138804 A CN114138804 A CN 114138804A
- Authority
- CN
- China
- Prior art keywords
- data
- cache
- information
- processing
- updating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于并发处理的缓存数据同步方法、装置、设备及介质,方法包括:根据数据缓存指令将基础数据库中的数据信息同步至缓存数据库,根据客户端的数据处理请求生成数据更新处理信息,并根据数据更新处理信息更新缓存数据库,根据数据处理请求对基础数据库中的数据信息进行数据更新并获取更新反馈信息,判断更新反馈信息是否为更新成功,若更新不成功则在缓存键过期时删除对应的数据更新处理信息。本发明属于大数据处理技术领域,可基于在对基础数据库进行数据更新后,延迟一定时间后自动删除缓存的数据更新处理信息,大幅降低了数据同步过程中数据库执行步骤的复杂程度,可在高并发应用场景下确保多个数据库的数据一致性。
Description
技术领域
本发明涉及大数据处理的技术领域,尤其涉及一种基于并发处理的缓存数据同步方法、装置、设备及介质。
背景技术
企业为解决业务服务的响应速度慢,以及数据库的运行压力大的问题,通常可通过配置缓存数据库解决相应问题,然而配置缓存数据库通常也会带来新的问题,如在涉及到对数据库中数据进行修改、添加等变更操作时,就必须确保数据库与缓存数据库之间数据的一致性,尤其对于高并发应用场景,难以确保多个数据库之间数据的符合一致性要求。传统技术中对于低并发应用场景,通常是采用先更新数据库再删除缓存数据库中缓存数据的方式来实现一致性要求,在更加复杂的高并发应用场景下,传统技术方法难以满足数据一致性的要求。因此,现有技术方法中存在无法在高并发场景下的多个数据库之间实现数据一致性的问题。
发明内容
本发明实施例提供了一种基于并发处理的缓存数据同步方法、装置、设备及介质,旨在解决现有技术方法中所存在的无法在高并发场景下的多个数据库之间实现数据一致性的问题。
第一方面,本发明实施例提供了一种基于并发处理的缓存数据同步方法,其包括:
若接收到所输入的数据缓存指令,将根据所述数据缓存指令将对应的基础数据库中数据信息同步至预置的缓存数据库中;
若接收到来自任一所述客户端的数据处理请求,根据所述数据处理请求生成包含缓存键的数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库;
根据所述数据处理请求对所述基础数据库中的数据信息进行数据更新,并获取更新反馈信息;
判断所述更新反馈信息是否为更新成功;
若所述更新反馈信息不为更新成功,在所述数据更新处理信息中配置的缓存键过期时删除所述数据更新处理信息。
第二方面,本发明实施例提供了一种基于并发处理的缓存数据同步装置,其包括:
数据信息同步单元,用于若接收到所输入的数据缓存指令,将根据所述数据缓存指令将对应的基础数据库中数据信息同步至预置的缓存数据库中;
缓存数据库更新单元,用于若接收到来自任一所述客户端的数据处理请求,根据所述数据处理请求生成包含缓存键的数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库;
基础数据库更新单元,用于根据所述数据处理请求对所述基础数据库中的数据信息进行数据更新,并获取更新反馈信息;
更新反馈信息判断单元,用于判断所述更新反馈信息是否为更新成功;
处理信息删除单元,用于若所述更新反馈信息不为更新成功,在所述数据更新处理信息中配置的缓存键过期时删除所述数据更新处理信息。
第三方面,本发明实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的基于并发处理的缓存数据同步方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于并发处理的缓存数据同步方法。
本发明实施例提供了一种基于并发处理的缓存数据同步方法、装置、计算机设备及可读存储介质。根据数据缓存指令将基础数据库中的数据信息同步至缓存数据库,根据客户端的数据处理请求生成数据更新处理信息,并根据数据更新处理信息更新缓存数据库,根据数据处理请求对基础数据库中的数据信息进行数据更新并获取更新反馈信息,判断更新反馈信息是否为更新成功,若更新不成功则在缓存键过期时删除对应的数据更新处理信息。通过上述方法,可基于在对基础数据库进行数据更新后,延迟一定时间后自动删除缓存的数据更新处理信息,大幅降低了数据同步过程中数据库执行步骤的复杂程度,可在高并发应用场景下确保多个数据库的数据一致性。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于并发处理的缓存数据同步方法的流程示意图;
图2为本发明实施例提供的基于并发处理的缓存数据同步方法的应用场景示意图;
图3为本发明实施例提供的基于并发处理的缓存数据同步方法的另一流程示意图;
图4为本发明实施例提供的基于并发处理的缓存数据同步方法的子流程示意图;
图5为本发明实施例提供的基于并发处理的缓存数据同步方法的又一流程示意图;
图6为本发明实施例提供的基于并发处理的缓存数据同步方法的再一流程示意图;
图7为本发明实施例提供的基于并发处理的缓存数据同步方法的后一流程示意图;
图8为本发明实施例提供的基于并发处理的缓存数据同步方法的其后一流程示意图;
图9为本发明实施例提供的基于并发处理的缓存数据同步装置的示意性框图;
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1及图2,图1是本发明实施例提供的基于并发处理的缓存数据同步方法的流程示意图,图2为本发明实施例提供的基于并发处理的缓存数据同步方法的应用场景示意图;该基于并发处理的缓存数据同步方法应用于并发数据处理服务器10中,该基于并发处理的缓存数据同步方法通过安装于并发数据处理服务器10中的应用软件进行执行,并发数据处理服务器10与多个客户端20建立网络连接以实现数据信息的传输,并发数据处理服务器10用于为多个客户端20提供数据并发处理服务,并发数据处理服务器10即是可执行基于并发处理的缓存数据同步方法以对缓存数据库与基础数据库中数据信息进行同步的服务器端,并发数据处理服务器10可以是企业或政府部门内部所构建的服务器端,客户端20即是可与并发数据处理服务器进行数据交互并供用户使用的终端设备,例如台式电脑、笔记本电脑、平板电脑或手机等。如图1所示,该方法包括步骤S110~S150。
S110、若接收到所输入的数据缓存指令,将根据所述数据缓存指令将对应的基础数据库中数据信息同步至预置的缓存数据库中。
并发数据处理服务器的使用者可以是企业、部门的管理人员,则管理人员可在并发数据处理服务器启动之后,输入数据缓存指令至并发数据处理服务器,数据缓存指令中可包含一个或多个基础数据库的数据库标识,则并发数据处理服务器接收到数据缓存指令之后,即可根据数据缓存指令中包含的数据库标识确定对应的基础数据库,并将一个或多个基础数据库中所存储的数据信息同步至缓存数据库,其中,基础数据库可以是并发数据处理服务器的固定存储器(只读存储器,ROM)内所配置的数据库,基础数据库可用于对数据信息进行长期固定存储,缓存数据库即为并发数据处理服务器中所配置的用于进行数据缓存的数据库,缓存数据库可以是配置于并发数据处理服务器的内存(随机存取存储器,RAM)中的数据库,缓存数据库可用于对数据信息进行临时缓存,由于配置于内存中的缓存数据库可直接与处理单元(如CPU)进行数据交互,因此其读写速度更快,缓存数据库可以是基于Redis构建得到的数据库。若数据缓存指令中仅包含一个数据库标识,则直接从与该数据库标识对应的基础数据库中获取数据信息缓存至缓存数据库;若数据缓存指令中包含多个数据库标识,可在缓存数据库中划分对应的多个缓存区域,每一缓存区域对应存储一个基础数据库中的数据信息,则可将多个基础数据库中的数据信息分别缓存至每一缓存区域中。
S120、若接收到来自任一所述客户端的数据处理请求,根据所述数据处理请求生成包含缓存键的数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库。
客户端可发送数据处理请求至并发数据处理服务器,则并发数据处理服务器接收到数据处理请求后即可进行后续处理,具体的,可首先根据数据处理请求生成数据更新处理信息,数据更新处理信息中包含缓存键,缓存键中所配置的键值即为缓存时间,缓存键即是用于记载对数据更新处理信息进行监控判断的时间信息。将所得到的数据更新处理信息存储至缓存数据库中,并基于数据更新处理信息对缓存数据库中相应数据进行更新,即可完成对缓存数据库的更新。
在一实施例中,如图3所示,步骤S120之前还包括步骤S1201、S1202和S1203。
S1201、判断所述数据处理请求的请求类型是否为查询类型。
在生成数据更新处理信息之前,还可对数据处理请求的请求类型进行判断,具体的,数据处理请求中还配置有类型标识,每一类型标识对应一种数据操作,可根据类型标识对数据处理请求的具体操作类型进行区别,具体的,数据处理请求可以对数据进行查询操作(读取操作)、修改操作、添加操作等,则可基于数据处理请求中的类型标识,判断请求类型是否为查询类型,其中,查询操作不涉及对数据信息的变更,修改操作及添加操作则需要对已有数据信息进行变更。
S1202、若所述数据处理请求的请求类型为查询类型,根据所述数据处理请求查询所述缓存数据库中的数据信息以获取查询结果。
若数据处理请求的请求类型为查询类型,则不涉及对数据信息的变更,可直接根据数据处理请求对缓存数据库中的数据信息进行查询,从而获取对应的查询结果。例如,数据处理请求中包含某一查询信息,如查询信息为客户姓名,可从缓存数据库中获取与该查询信息相匹配的客户的个人信息,并获取客户个人信息作为查询结果。
S1203、反馈所述查询结果至所述客户端;若所述数据处理请求的请求类型不为查询类型,执行所述根据所述数据处理请求生成数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库的步骤。
将所获取到的查询结果反馈至对应的客户端。若数据处理请求的请求类型不为查询类型,则涉及对数据信息的变更,可执行后续步骤S120。
在一实施例中,如图6所示,步骤S1203之前还包括步骤S1204、S1205和S1206。
S1204、判断所述查询结果是否为查询成功;若所述查询结果为查询成功,执行所述反馈所述查询结果至所述客户端的步骤;S1205、若所述查询结果不为查询成功,根据所述数据处理请求查询所述基础数据库中的数据信息以获取基础查询结果;S1206、反馈所述基础查询结果至所述客户端。
在反馈查询结果至客户端之前,还可判断查询结果是否为查询成功,若查询结果为查询成功,则表明在缓存数据库中获取到相应数据信息,可执行反馈查询信息至客户端的步骤。若查询结果不为查询成功,则表明在缓存数据库中并未获取到相应数据信息,可基于数据处理请求对基础数据库中的数据信息进行查询,以获取对应的基础查询结果,并将基础查询结果反馈至对应的客户端。
在一实施例中,如图7所示,步骤S1206之后还包括步骤S1207。
S1207、根据所述基础数据库对缓存数据库中的数据信息进行数据缓存同步。
由于此情况下基础数据库中部分数据信息在缓存同步至缓存数据库时可能发生遗漏,则在将基础查询结果反馈至客户端之后,还可根据基础数据库对缓存数据库中的数据信息进行缓存同步,也即是从基础数据库中根据数据处理请求查询到的基础查询结果在缓存数据库中缺失,则可将基础查询结果同步缓存至缓存数据库中。
在一实施例中,如图4所示,步骤S120包括子步骤S121、S122、S123、S124和S125。
S121、获取所述缓存数据库与所述数据处理请求对应的初始数据信息。
若数据处理请求的请求类型不为查询类型,则数据处理请求中包含查询信息及操作信息,查询信息即用于对所需处理的信息进行定位,可根据查询信息对缓存数据库中的数据信息进行查询,从而获取与所需进行处理的具体信息,也即是查询得到对应的初始数据信息。
S122、根据所述数据处理请求对所述初始数据信息进行数据处理得到处理信息。
可根据数据处理请求中的操作信息对初始数据信息进行数据处理,如修改某一条数据信息中的某一字段值,将初始数据信息中某一字段值由“1”修改为“10”;或者是在某一条数据信息中添加某一字段值。初始数据信息经过数据处理后,即可得到相应的处理信息。
S123、根据所述初始数据信息及所述处理信息生成对应的数据更新处理信息。
可根据初始数据信息及处理信息生成数据更新处理信息,数据更新处理信息也即是用于对相应数据的处理过程进行记录所得到的信息,数据更新处理信息中还包括处理时间、客户端标识等相关信息;则所得到的数据更新处理信息中同时包含进行数据处理之前的初始数据信息,以及进行数据处理之后所得到的处理信息。
S124、根据预置的操作执行时间为所述数据更新处理信息配置缓存键。
可根据操作执行时间及数据更新处理信息中的处理时间生成对应的缓存键,并将该缓存键配置于数据更新处理信息中。具体的,管理人员可预先配置操作执行时间,修改操作及添加操作等涉及对数据信息进行变更的操作可统称为写操作,对基础数据库中的数据信息执行写操作需要耗费一定操作时间,而这个操作时间通常不固定,或长或短,因此在将操作执行时间配置为尽可能短的情况下,需要能够覆盖实际操作过程中99%以上的写操作执行时间。例如,可配置操作执行时间为1分钟,若数据更新处理信息中的处理时间为13:15:10,则可根据操作执行时间生成与数据更新处理信息对应的缓存时间为13:16:10,并将生成的缓存时间作为缓存键配置于数据更新处理信息中。
S125、将所述数据更新处理信息存储至所述缓存数据库并对所述缓存数据库进行更新。
将所得到的数据更新处理信息存储至缓存数据库中,并根据数据处理更新信息完成对缓存数据库的更新,也即是根据数据更新处理信息将缓存数据库中与初始数据信息对应的信息修改为处理信息。其中,可基于redis的SETEX操作更新缓存数据库中的数据信息。
S130、根据所述数据处理请求对所述基础数据库中的数据信息进行数据更新,并获取更新反馈信息。
可根据数据处理请求对基础数据库中对应的数据信息进行数据更新,也即是根据数据处理请求对基础数据库中相应数据信息进行数据处理,具体处理过程与对缓存数据库中的数据信息进行更新的过程相同,对基础数据库进行数据更新后即可获取对应的更新反馈信息,更新反馈信息也即是对数据更新过程是否成功进行反馈的信息。
S140、判断所述更新反馈信息是否为更新成功;S150、若所述更新反馈信息不为更新成功,在所述数据更新处理信息中配置的缓存键过期时删除所述数据更新处理信息。
可判断更新反馈信息是否为更新成功,若更新反馈信息不为更新成功,则此时表明基础数据库中的数据信息未发生改变,对数据更新处理信息中配置的缓存键是否过期进行持续性监控,并在该数据更新处理信息中缓存键过期时删除与数据更新处理信息。此时,虽然出现了数据不一致的情况,但上述步骤在缓存键中配置的缓存时间较短(如1分钟),这种时间较短的数据不一致性在普遍场景下是可以接受的,同时这种情况的概率发生极低,基本上只可能是服务器宕机或者大范围的网络故障,因此显然是可以接受的。可基于Redis的WATCH操作监控数据更新处理信息中所配置的缓存键,从而判断缓存键是否过期。
在一实施例中,如图5所示,步骤S140之后还包括步骤S1401和S1402。
S1401、若所述更新反馈信息为更新成功,判断所述数据更新处理信息中配置的缓存键是否过期。
若更新反馈信息为更新成功,则可进一步判断数据更新处理信息中所配置的缓存键是否已过期,也即是判断当前时间是否超出数据更新处理信息中所配置的缓存键的缓存时间,缓存键即是用于对数据更新处理信息进行监控操作(WATCH操作)所对应的数据字段,缓存键中所配置的键值即为缓存时间。
S1402、若所述缓存键未过期,根据预置的标准时间信息重新配置与所述缓存键对应的缓存时间。
若缓存键未过期,则可根据预置的标准时间信息重新配置与该缓存键对应的缓存时间,如标准时间信息为30分钟,则可基于当前时间重新计算缓存时间,并根据新获取到的缓存时间重新配置与该缓存键对应的键值,也即是此时可在相对较长(如30分钟)的时间内对数据更新处理信息进行保留,以备在系统故障时进行数据还原时使用。
在一实施例中,如图8所示,步骤S1402之后还包括步骤S1403和S1404。
S1403、持续监控当前时间是否已超出所述缓存数据库中每一所述数据更新处理信息中重新配置的缓存键;S1404、若监控到当前时间已超出任一所述数据更新处理信息中重新配置的缓存键,将所述数据更新处理信息从所述缓存数据库中删除。
可对缓存数据库中所存储的数据更新处理信息进行持续性监控,也即是判断当前时间是否已超出每一数据更新处理信息重新配置的缓存键中的缓存时间,若当前时间超出重新配置的缓存键中的缓存时间,则可将相应数据更新处理信息从缓存数据库中删除。其中,可基于Redis数据库的DELETE操作删除缓存。
此外,若重新配置缓存键的缓存时间时配置失败、配置出现异常,则表明此时缓存数据库可能出现异常情况,此时可回滚与该缓存键的数据更新处理信息所对应的数据更新处理信息,以对相应基础数据库中的数据信息进行还原,以使基础数据库与缓存数据库中的数据信息保持一致。
在本发明实施例所提供的基于并发处理的缓存数据同步方法中,根据数据缓存指令将基础数据库中的数据信息同步至缓存数据库,根据客户端的数据处理请求生成数据更新处理信息,并根据数据更新处理信息更新缓存数据库,根据数据处理请求对基础数据库中的数据信息进行数据更新并获取更新反馈信息,判断更新反馈信息是否为更新成功,若更新不成功则在缓存键过期时删除对应的数据更新处理信息。通过上述方法,可基于在对基础数据库进行数据更新后,延迟一定时间后自动删除缓存的数据更新处理信息,大幅降低了数据同步过程中数据库执行步骤的复杂程度,可在高并发应用场景下确保多个数据库的数据一致性。
本发明实施例还提供一种基于并发处理的缓存数据同步装置,该基于并发处理的缓存数据同步装置可配置于并发数据处理服务器中,该基于并发处理的缓存数据同步装置用于执行前述的基于并发处理的缓存数据同步方法的任一实施例。具体地,请参阅图9,图9为本发明实施例提供的基于并发处理的缓存数据同步装置的示意性框图。
如图9所示,基于并发处理的缓存数据同步装置100包括数据信息同步单元110、缓存数据库更新单元120、基础数据库更新单元130、更新反馈信息判断单元140和处理信息删除单元150。
数据信息同步单元110,用于若接收到所输入的数据缓存指令,将根据所述数据缓存指令将对应的基础数据库中数据信息同步至预置的缓存数据库中。
缓存数据库更新单元120,用于若接收到来自任一所述客户端的数据处理请求,根据所述数据处理请求生成包含缓存键的数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库。
在一具体实施例中,所述基于并发处理的缓存数据同步装置100还包括子单元:请求类型判断单元,用于判断所述数据处理请求的请求类型是否为查询类型;查询结果获取单元,用于若所述数据处理请求的请求类型为查询类型,根据所述数据处理请求查询所述缓存数据库中的数据信息以获取查询结果;查询结果反馈单元,用于反馈所述查询结果至所述客户端;若所述数据处理请求的请求类型不为查询类型,执行所述根据所述数据处理请求生成数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库的步骤。
在一具体实施例中,所述基于并发处理的缓存数据同步装置100还包括子单元:查询结果判断单元,用于判断所述查询结果是否为查询成功;若所述查询结果为查询成功,执行所述反馈所述查询结果至所述客户端的步骤;基础查询结果获取单元,用于若所述查询结果不为查询成功,根据所述数据处理请求查询所述基础数据库中的数据信息以获取基础查询结果;基础查询结果反馈单元,用于反馈所述基础查询结果至所述客户端。
在一具体实施例中,所述基于并发处理的缓存数据同步装置100还包括子单元:数据缓存同步单元,用于根据所述基础数据库对缓存数据库中的数据信息进行数据缓存同步。
在一具体实施例中,所述缓存数据库更新单元120包括子单元:初始数据信息获取单元,用于获取所述缓存数据库与所述数据处理请求对应的初始数据信息;处理信息获取单元,用于根据所述数据处理请求对所述初始数据信息进行数据处理得到处理信息;数据更新处理信息生成单元,用于根据所述初始数据信息及所述处理信息生成对应的数据更新处理信息;缓存键配置单元,用于根据预置的操作执行时间为所述数据更新处理信息配置缓存键;更新单元,用于将所述数据更新处理信息存储至所述缓存数据库并对所述缓存数据库进行更新。
基础数据库更新单元130,用于根据所述数据处理请求对所述基础数据库中的数据信息进行数据更新,并获取更新反馈信息。
更新反馈信息判断单元140,用于判断所述更新反馈信息是否为更新成功。
处理信息删除单元150,用于若所述更新反馈信息不为更新成功,在所述数据更新处理信息中配置的缓存键过期时删除所述数据更新处理信息。
在一具体实施例中,所述基于并发处理的缓存数据同步装置100还包括子单元:缓存键判断单元,用于若所述更新反馈信息为更新成功,判断所述数据更新处理信息中配置的缓存键是否过期;缓存时间重新配置单元,用于若所述缓存键未过期,根据预置的标准时间信息重新配置与所述缓存键对应的缓存时间。
在一具体实施例中,所述基于并发处理的缓存数据同步装置100还包括子单元:缓存键监控单元,用于持续监控当前时间是否已超出所述缓存数据库中每一所述数据更新处理信息中重新配置的缓存键;删除单元,用于若监控到当前时间已超出任一所述数据更新处理信息中重新配置的缓存键,将所述数据更新处理信息从所述缓存数据库中删除。
在本发明实施例所提供的基于并发处理的缓存数据同步装置应用上述基于并发处理的缓存数据同步方法,根据数据缓存指令将基础数据库中的数据信息同步至缓存数据库,根据客户端的数据处理请求生成数据更新处理信息,并根据数据更新处理信息更新缓存数据库,根据数据处理请求对基础数据库中的数据信息进行数据更新并获取更新反馈信息,判断更新反馈信息是否为更新成功,若更新不成功则在缓存键过期时删除对应的数据更新处理信息。通过上述方法,可基于在对基础数据库进行数据更新后,延迟一定时间后自动删除缓存的数据更新处理信息,大幅降低了数据同步过程中数据库执行步骤的复杂程度,可在高并发应用场景下确保多个数据库的数据一致性。
上述基于并发处理的缓存数据同步装置可以实现为计算机程序的形式,该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10,图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行基于并发处理的缓存数据同步方法以对缓存数据库与基础数据库中数据信息进行同步的并发数据处理服务器。
参阅图10,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行基于并发处理的缓存数据同步方法,其中,存储介质503可以为易失性的存储介质或非易失性的存储介质。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行基于并发处理的缓存数据同步方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图10中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现上述的基于并发处理的缓存数据同步方法中对应的功能。
本领域技术人员可以理解,图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图10所示实施例一致,在此不再赘述。
应当理解,在本发明实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为易失性或非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现上述的基于并发处理的缓存数据同步方法中所包含的步骤。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于并发处理的缓存数据同步方法,其特征在于,所述方法应用于并发数据处理服务器中,所述并发数据处理服务器与多个客户端建立网络连接以实现数据信息的传输,所述方法包括:
若接收到所输入的数据缓存指令,将根据所述数据缓存指令将对应的基础数据库中数据信息同步至预置的缓存数据库中;
若接收到来自任一所述客户端的数据处理请求,根据所述数据处理请求生成包含缓存键的数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库;
根据所述数据处理请求对所述基础数据库中的数据信息进行数据更新,并获取更新反馈信息;
判断所述更新反馈信息是否为更新成功;
若所述更新反馈信息不为更新成功,在所述数据更新处理信息中配置的缓存键过期时删除所述数据更新处理信息。
2.根据权利要求1所述的基于并发处理的缓存数据同步方法,其特征在于,所述根据所述数据处理请求生成包含缓存键的数据更新处理信息之前,还包括:
判断所述数据处理请求的请求类型是否为查询类型;
若所述数据处理请求的请求类型为查询类型,根据所述数据处理请求查询所述缓存数据库中的数据信息以获取查询结果;
反馈所述查询结果至所述客户端;
若所述数据处理请求的请求类型不为查询类型,执行所述根据所述数据处理请求生成数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库的步骤。
3.根据权利要求1或2所述的基于并发处理的缓存数据同步方法,其特征在于,所述根据所述数据处理请求生成数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库,包括:
获取所述缓存数据库与所述数据处理请求对应的初始数据信息;
根据所述数据处理请求对所述初始数据信息进行数据处理得到处理信息;
根据所述初始数据信息及所述处理信息生成对应的数据更新处理信息;
根据预置的操作执行时间为所述数据更新处理信息配置缓存键;
将所述数据更新处理信息存储至所述缓存数据库并对所述缓存数据库进行更新。
4.根据权利要求1所述的基于并发处理的缓存数据同步方法,其特征在于,所述若所述缓存键未过期,根据预置的标准时间信息重新配置与所述缓存键对应的缓存时间之后,还包括:
若所述更新反馈信息为更新成功,判断所述数据更新处理信息中配置的缓存键是否过期;
若所述缓存键未过期,根据预置的标准时间信息重新配置与所述缓存键对应的缓存时间。
5.根据权利要求2所述的基于并发处理的缓存数据同步方法,其特征在于,所述反馈所述查询结果至所述客户端之前,还包括:
判断所述查询结果是否为查询成功;
若所述查询结果为查询成功,执行所述反馈所述查询结果至所述客户端的步骤;
若所述查询结果不为查询成功,根据所述数据处理请求查询所述基础数据库中的数据信息以获取基础查询结果;
反馈所述基础查询结果至所述客户端。
6.根据权利要求5所述的基于并发处理的缓存数据同步方法,其特征在于,所述反馈所述基础查询结果至所述客户端之后,还包括:
根据所述基础数据库对缓存数据库中的数据信息进行数据缓存同步。
7.根据权利要求4所述的基于并发处理的缓存数据同步方法,其特征在于,所述根据预置的标准时间信息重新配置与所述缓存键对应的缓存时间之后,还包括:
持续监控当前时间是否已超出所述缓存数据库中每一所述数据更新处理信息中重新配置的缓存键;
若监控到当前时间已超出任一所述数据更新处理信息中重新配置的缓存键,将所述数据更新处理信息从所述缓存数据库中删除。
8.一种基于并发处理的缓存数据同步装置,其特征在于,所述装置配置于并发数据处理服务器中,所述并发数据处理服务器与多个客户端建立网络连接以实现数据信息的传输,所述装置包括:
数据信息同步单元,用于若接收到所输入的数据缓存指令,将根据所述数据缓存指令将对应的基础数据库中数据信息同步至预置的缓存数据库中;
缓存数据库更新单元,用于若接收到来自任一所述客户端的数据处理请求,根据所述数据处理请求生成包含缓存键的数据更新处理信息,以根据所述数据更新处理信息更新所述缓存数据库;
基础数据库更新单元,用于根据所述数据处理请求对所述基础数据库中的数据信息进行数据更新,并获取更新反馈信息;
更新反馈信息判断单元,用于判断所述更新反馈信息是否为更新成功;
处理信息删除单元,用于若所述更新反馈信息不为更新成功,在所述数据更新处理信息中配置的缓存键过期时删除所述数据更新处理信息。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于并发处理的缓存数据同步方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于并发处理的缓存数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111457875.0A CN114138804A (zh) | 2021-12-02 | 2021-12-02 | 基于并发处理的缓存数据同步方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111457875.0A CN114138804A (zh) | 2021-12-02 | 2021-12-02 | 基于并发处理的缓存数据同步方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114138804A true CN114138804A (zh) | 2022-03-04 |
Family
ID=80387006
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111457875.0A Pending CN114138804A (zh) | 2021-12-02 | 2021-12-02 | 基于并发处理的缓存数据同步方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114138804A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117332008A (zh) * | 2023-10-12 | 2024-01-02 | 中移互联网有限公司 | 一种适合读写的缓存双向同步实现方法、装置及设备 |
-
2021
- 2021-12-02 CN CN202111457875.0A patent/CN114138804A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117332008A (zh) * | 2023-10-12 | 2024-01-02 | 中移互联网有限公司 | 一种适合读写的缓存双向同步实现方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3685268B1 (en) | File system point-in-time restore using recycle bin and version history | |
US9077733B2 (en) | Roaming application settings across multiple computing devices | |
US10831776B2 (en) | On-demand file synchronization | |
US11966418B2 (en) | Systems and methods for adaptive data replication | |
US7328213B2 (en) | Transaction processing method, transaction control apparatus and program thereof | |
CN110597910A (zh) | 一种异地数据同步方法、装置和系统 | |
JP2004528636A (ja) | 自動データ更新 | |
CN109144785B (zh) | 用于备份数据的方法和装置 | |
CN110673920A (zh) | 国际化处理方法、装置、计算机设备及存储介质 | |
EP3051440A1 (en) | Keyvalue database data table updating method and data table updating device | |
CN111459749A (zh) | 基于Prometheus的私有云监控方法、装置、计算机设备及存储介质 | |
CN113342746A (zh) | 文件管理系统、文件管理方法、电子设备和存储介质 | |
CN112612799A (zh) | 一种数据同步方法及终端 | |
CN114003569A (zh) | 一种qcow2镜像文件增量更新方法及装置 | |
CN114138804A (zh) | 基于并发处理的缓存数据同步方法、装置、设备及介质 | |
CN112800134A (zh) | 一种数据同步方法及系统 | |
CN113438275B (zh) | 数据迁移方法、装置、存储介质及数据迁移设备 | |
US20210034709A1 (en) | Optimizing incremental backups | |
US11829630B2 (en) | Synthetically providing multiple types of granular delete operations for a cloud-based object storage | |
US20210191822A1 (en) | Method and system for indexing fragmented user data objects | |
CN111753141B (zh) | 一种数据管理方法及相关设备 | |
US10853194B1 (en) | Selective data restoration | |
CN114595069B (zh) | 服务下线方法、装置、电子设备及存储介质 | |
US20220232054A1 (en) | System and method for meeting preparation and user content management using heterogeneous cloud service providers | |
CN114945026A (zh) | 数据处理方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |