CN117520456A - 一种数据同步方法、装置、电子设备以及存储介质 - Google Patents
一种数据同步方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN117520456A CN117520456A CN202311606431.8A CN202311606431A CN117520456A CN 117520456 A CN117520456 A CN 117520456A CN 202311606431 A CN202311606431 A CN 202311606431A CN 117520456 A CN117520456 A CN 117520456A
- Authority
- CN
- China
- Prior art keywords
- data
- change
- target
- result
- downstream system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008859 change Effects 0.000 claims abstract description 135
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 57
- 238000012937 correction Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000013524 data verification Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000009469 supplementation Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 description 38
- 230000008520 organization Effects 0.000 description 22
- 238000007726 management method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000087 stabilizing effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据同步方法、装置、电子设备以及存储介质,当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令;其中,数据变化指令中包含变化数据和变化数据对应的标识信息;下游系统基于数据变化指令,从上游系统中获取变化数据,并确定数据获取结果;基于数据获取结果以及预设重试规则,重新获取变化数据;基于变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据;对目标第二数据与第一数据进行一致性校验,以基于校验结果,对目标第二数据进行数据纠正。本发明提供的技术方案,无需在上游系统和下游系统部署额外数据同步服务器的情况下,即可实现快速、无损、跨系统的数据同步操作。
Description
技术领域
本发明涉及数据同步技术领域,尤其涉及一种数据同步方法、装置、电子设备以及存储介质。
背景技术
随着企业级组织机构信息管理系统的上线及全行推广使用,作为上游系统,需找到一种在跨系统中实时同步机构数据的方法,用来满足下游系统的数据使用需求。下游系统需要及时获取企业级组织机构信息管理系统的最新机构数据。
目前,下游系统获取上游系统数据的方式包括主动获取和被动获取方式。主动获取是指下游系统主动调用企业级组织机构信息管理系统的查询接口,获取机构数据。被动获取是指企业级组织机构信息管理系统在每次发生机构数据变化时主动调用下游系统暴露的数据修改接口,修改下游系统的数据库。
然而,主动获取的方式无法实现实时性的要求,且因为是下游系统自身实现同步,功能不可控,数据的准确性和完整性无法保证;被动获取的方式在下游系统逐步增多的情况下,会使企业级组织机构信息管理系统运行压力增大,存在运行风险。因此,存在机构数据同步实时性、准确性、使用便捷性差的技术问题,缺乏快速无损的进行企业级机构数据同步的有效方法。
发明内容
本发明提供了一种数据同步方法、装置、电子设备以及存储介质,以实现跨系统的稳定机构数据同步,实现快速、无损、跨系统的数据同步操作。
根据本发明的第一方面,提供了一种数据同步方法,该方法包括:
当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令;其中,所述数据变化指令中包含变化数据和变化数据对应的标识信息;
下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果;
基于所述数据获取结果以及预设重试规则,重新获取所述变化数据;
基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据;
对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。
根据本发明的第二方面,提供了一种数据同步装置,该装置包括:
变化指令下发模块,用于当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令;其中,所述数据变化指令中包含变化数据和变化数据对应的标识信息;
变化数据获取模块,用于下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果;
变化数据重获模块,用于基于数据获取结果以及预设重试规则,重新获取所述变化数据;
数据更新模块,用于基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据;
数据校验模块,用于对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。
根据本发明的第三方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的数据同步方法。
根据本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据同步方法。
本发明实施例的技术方案,当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令,其中,所述数据变化指令中包含变化数据和变化数据对应的标识信息,进而下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果,进一步的,基于所述数据获取结果以及预设重试规则,重新获取所述变化数据,从而,基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据,最后,对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。本发明实施例,无需在上游系统和下游系统部署额外数据同步服务器的情况下,即可实现跨系统的稳定机构数据同步,实现了快速、无损、跨系统的数据同步操作。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据同步方法的流程图;
图2是根据本发明实施例三提供的一种数据同步装置的结构示意图;
图3是实现本发明实施例的数据同步方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是本发明实施例一提供的一种数据同步方法的流程图,本实施例可适用于跨系统快速无损同步企业级机构数据的情况,该方法可以由数据同步装置来执行,该数据同步装置可以采用硬件和/或软件的形式实现,该数据同步装置可配置于终端和/或服务器中。如图1所示,该方法包括:
S110、当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令。
在企业级组织机构信息管理系统中,分布着多个具有下上层级的系统,因此存在上游系统和下游系统这两个概念。上游系统:可以从河流的角度进行解释,将数据的传输当作一个水流,水都是从上游流向下游的,数据也是从上游传到下游的,则被调用的一方就是上游系统。下游系统:同上游系统的解释,将数据的传输当作一个水流,水都是从上游流向下游的,数据也是从上游传到下游的,则调用的一方就是下游系统。上游系统的数据需要同步到下游系统,下游系统才可以实现运营功能。当前上级系统的数据发生变化时,需要及时的将变化的数据同步至下游系统。
其中,第一数据为上游系统中的机构数据。在实际运营场景中,机构通常表示实体的营业网点、支行、分行,一个机构包含多种属性,用来描述一个机构的客观现实存在,机构数据即为这些机构在运行过程中产生的各种数据内容。
其中,数据变化指令为上游系统的第一数据发生变化时所产生的数据变动触发信号。
特别的,上游系统与下游系统可以通过套接字(Socket)建立通讯连接。其中,套接字(Socket)是计算机之间进行通信的一种约定或一种方式,通过这种约定,一台计算机可以接收其他计算机的数据,也可以向其他计算机发送数据。套接字格式为[IP地址:端口号],例如,[192.168.0.1:6688]。
具体的,可以预先编写用于执行本方案的程序代码,此程序代码称之为机构组件。可以理解的是,机构组件是一段程序代码,是对数据和方法的封装,已集成部分功能模块,一般还包含供外部使用者进行接口调用的程序方法,在外部系统代码中嵌入后即可直接开箱使用。将此机构组件接入到下游系统,下游系统引入机构组件后,机构组件与上游系统的数据同步服务建立Socket连接,用来监听和接收第一数据的变化情况。上游系统的运营的过程中,当上游系统中的第一数据发生数据变化时,(例如,数据变化可以包括插入数据、更新数据、删除数据等)上游系统的数据同步服务此时感知到有第一数据发生变化,数据同步服务通过Socket连接实时向下游系统接入的机构组件下发数据变化指令,以表明有机构数据发生变化,需更新某个机构的数据。
S120、下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果。
其中,变化数据为上游系统中发生变化的第一数据。数据获取结果用于表征下游系统是否成功的从上游系统中获取到了变化数据。数据获取结果包括获取成功结果和获取失败结果。
具体的,下游系统引入的机构组件接收到数据变化指令后,立即向上游系统的数据同步服务获取某个机构的变化数据并写入到下游系统的数据库中。在具体应用中,存在因为网络等原因获取失败的情形,因此,从下游系统开始获取变化数据开始计时,经过预设时长后确定数据获取结果,以确定下游系统是否成功的获取到了变化数据。
S130、基于所述数据获取结果以及预设重试规则,重新获取所述变化数据。
其中,预设重试规则为预先设定的重新获取变化数据的规则。例如,预设重试规则为每隔预设时长重新获取一次变化数据;当重新获取变化数据大频次达到预设阈值时,停止重新获取变化数据。
具体的,如果下游系统成功的获取到了变化数据,则数据获取结果为获取成功结果,将变化数据直接更新至下游系统的数据库中即可。如果下游系统未获取到变化数据,则数据获取结果为获取失败结果,则需要根据预设重试规则重新获取数据。
可选的,基于所述预设重试规则,重新获取所述变化数据具体可以包括:
(1)将所述变化数据添加至数据补偿消息队列中;
其中,数据补偿消息队列为预算设定的消息暂存空间,用于将变化数据暂时存储起来,以供机构组件在数据获取失败时,再次从数据补偿消息队列获取变化数据。例如,数据补偿消息队列可以是高吞吐量的分布式发布订阅消息系统Kafka。
具体的,当数据获取失败时,变化数据便自动进入数据补偿消息队列。
(2)基于预设重试规则,从数据补偿消息队列中重新获取所述变化数据。
其中,预设重试规则为每隔预设时长从所述数据补偿消息队列中获取一次变化数据。
示例性的,预设时长为T1,下游系统接入的结构组件每隔T1从数据补偿消息队列中获取一次变化数据,并再次确定数据获取结果,直至得到数据获取成功的结果。
可选的,若实际数据获取频次达到预设频次阈值时,数据获取结果为失败结果,则向目标终端发送业务数据获取失败告警信息。
其中,实际数据获取频次为机构组件实际上从数据补偿消息队列中获取变化数据的次数。预设频次阈值为预先设定的数据,例如,预设频次阈值为5。目标终端可以是手机、电脑、平板电脑等。
在本实施例中,实际数据获取频次大于或者等于预设频次阈值,此时表明数据获取过程出现问题,需要结束数据同步进程,将数据获取失败告警信息告知维修工作人员或者用户所对应的目标终端,以使维修工作人员可以及时进行检修服务器设备。可选的,发送失败告警信息的方式可以包括弹窗、邮件、短信、语音提示等,除此之外,还可以支持指定次数,指定时间通知任务的执行情况。
S140、基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据。
其中,第二数据为下级系统中的机构数据。变化数据的标识信息为唯一标识编码信息。例如,第一数据中包括多个用户的消费信息,可以为每个用户分配用于表征用户信息的唯一编码,例如,可以是客户号。
具体的,变化数据中携带有标识信息,通过标识信息可以确定究竟要对哪些第二数据进行更新处理,基于此,对这些需要更新的机构数据进行更新处理,得到更新后的目标第二数据。
S150、对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。
其中,校验结果用于表征目标第二数据与第一数据是否一致,因此,校验结果包括校验通过结果和校验不通过结果。
具体的,对目标第二数据和第一数据进行一一比对,以实现一致性校验的目的。如果二者是一致的,则校验结果为校验通过结果,则不需要对下级系统的数据库做处理;如果二者是不一致的,则校验结果为校验不通过结果,可以对目标第二数据进行纠正。
可选的,若校验结果为校验不通过,则获取目标第二数据与第一数据的差异结果,基于差异结果对目标第二数据进行纠正处理。
其中,纠正处理包括:数据补充、数据删除、数据替换中的至少一种。
在本实施例中,可以首先确定目标第二数据与第一数据的差异结果,进一步的,确定差异结果所在的具体位置信息,进而对目标第二数据的差异结果,根据第一数据进行数据补充、数据删除和/或数据替换等处理。
优选的,在夜间预设空闲时段,对目标第二数据与第一数据进行一致性校验,确定检验结果。
在本实施例中,由于日间交易量大,数据交错复杂,不利于数据校验的进行,因此可以在夜间交易量小的时段,对目标第二数据与第一数据进行一致性校验,以确定检验结果。例如,可以在凌晨0点钟至凌晨2点钟进行一致性校验。
本发明实施例的技术方案,当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令,其中,所述数据变化指令中包含变化数据和变化数据对应的标识信息,进而下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果,进一步的,基于所述数据获取结果以及预设重试规则,重新获取所述变化数据,从而,基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据,最后,对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。本发明实施例,在无需上游系统和下游系统部署额外数据同步服务器的情况下,即可实现跨系统的稳定机构数据同步,实现了快速、无损、跨系统的数据同步操作。
实施例二
在本发明实施例中,以一个具体的实施方式介绍数据同步方法,本实施例的主要目的是提供一种跨系统快速无损同步企业级机构数据的方法。实现跨系统同步机构数据的具体步骤如下:
(1)预先开发机构组件;
(2)下游系统引入机构组件后,机构组件与上游系统的数据同步服务建立Socket连接,用来监听和接收机构数据变化;
(3)业务操作人员在上游系统修改机构数据时,上游系统的数据更新服务写入数据到上游系统的数据库,完成数据持久化保存;
(4)上游系统的数据同步服务此时感知到有机构数据发生变化,通过Socket连接实时通知下游系统引入的机构组件:有机构数据发生变化,需更新某个机构的数据;
(5)下游系统引入的机构组件通过Socket连接收到通知后,立即向上游系统的数据同步服务获取某个机构的最新数据并写入到下游系统的数据库。如因网络等原因获取失败,则自动进入数据补偿队列,机构组件会定时再次尝试获取,直至最大失败次,同时产生告警日志;
(6)下游系统在进行业务查询时,直接读取自身的数据库就可以查询到最新的机构数据;
(7)下游系统引入的机构组件通过上游系统的数据同步服务进行夜间全量数据同步:机构组件在夜间自动查询上游系统的全量机构数据,如果与下游系统不一致,则直接对下游系统中存储的机构数据进行纠正。
本方法通过在下游系统中引入机构组件后,自主监听上游系统的机构数据变化情况,自动实现机构数据的存储更新,数据补偿队列实现了重试机制,夜间全量数据同步实现了数据自动冲正校正,从而能够高效且稳定的完成跨系统同步机构数据的需求。通过上述方法,在上游和下游系统无需部署额外数据同步服务器的情况下,即可实现跨系统的稳定机构数据同步。
可以理解的是,本实施例无需部署单独的数据同步服务器,减少成本开支,兼容性更好,系统紧密性更高,可快速对上游和下游的应用节点数量进行调整,符合分布式架构原则。另外,失败重试机制和夜间全量同步机制确保机构数据同步成功,可靠性更高,准确性强,并且通过日志方式记录数据同步操作,方便审计定位问题。
实施例三
图2是本发明实施例三提供的一种数据同步装置的结构示意图。如图2所示,该装置包括:变化指令下发模块310、变化数据获取模块320、变化数据重获模块330、数据更新模块340以及数据校验模块350。
其中,变化指令下发模块310,用于当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令;其中,所述数据变化指令中包含变化数据和变化数据对应的标识信息;
变化数据获取模块320,用于下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果;
变化数据重获模块330,用于基于数据获取结果以及预设重试规则,重新获取所述变化数据;
数据更新模块340,用于基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据;
数据校验模块350,用于对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。
本发明实施例的技术方案,当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令,其中,所述数据变化指令中包含变化数据和变化数据对应的标识信息,进而下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果,进一步的,基于所述数据获取结果以及预设重试规则,重新获取所述变化数据,从而,基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据,最后,对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。本发明实施例,无需在上游系统和下游系统部署额外数据同步服务器的情况下,即可实现跨系统的稳定机构数据同步,实现了快速、无损、跨系统的数据同步操作。
可选的,变化数据重获模块330,具体用于若所述数据获取结果为获取失败,基于所述预设重试规则,重新获取所述变化数据。
变化数据重获模块330,具体还用于将所述变化数据添加至数据补偿消息队列中;基于预设重试规则,从数据补偿消息队列中重新获取所述变化数据;其中,所述预设重试规则为每隔预设时长从所述数据补偿消息队列中获取一次所述变化数据。
变化数据重获模块330,具体还用于若实际数据获取频次达到预设频次阈值时,所述数据获取结果为失败结果,则向目标终端发送业务数据获取失败告警信息。
可选的,数据校验模块350,具体用于:在夜间预设空闲时段,对所述目标第二数据与第一数据进行一致性校验,确定检验结果。
可选的,数据校验模块350,具体还用于:若所述校验结果为校验不通过,则获取目标第二数据与第一数据的差异结果,基于所述差异结果对所述目标第二数据进行纠正处理;其中,所述纠正处理包括:数据补充、数据删除、数据替换中的至少一种。
本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法,具备执行方法相应的功能模块和有益效果。
实施例四
图3示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图3所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如数据同步方法。
在一些实施例中,数据同步方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的数据同步方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据同步方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据同步装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种数据同步方法,其特征在于,包括:
当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令;其中,所述数据变化指令中包含变化数据和变化数据对应的标识信息;
下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果;
基于所述数据获取结果以及预设重试规则,重新获取所述变化数据;
基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据;
对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。
2.根据权利要求1所述的方法,其特征在于,所述基于所述数据获取结果以及预设重试规则,重新获取所述变化数据,包括:
若所述数据获取结果为获取失败,基于所述预设重试规则,重新获取所述变化数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述预设重试规则,重新获取所述变化数据,包括:
将所述变化数据添加至数据补偿消息队列中;
基于预设重试规则,从数据补偿消息队列中重新获取所述变化数据;
其中,所述预设重试规则为每隔预设时长从所述数据补偿消息队列中获取一次所述变化数据。
4.根据权利要求3所述的方法,其特征在于,还包括:
若实际数据获取频次达到预设频次阈值时,所述数据获取结果为失败结果,则向目标终端发送业务数据获取失败告警信息。
5.根据权利要求1所述的方法,其特征在于,所述对所述目标第二数据与第一数据进行一致性校验,包括:
在夜间预设空闲时段,对所述目标第二数据与第一数据进行一致性校验,确定检验结果。
6.根据权利要求1所述的方法,其特征在于,所述基于校验结果,对所述目标第二数据进行数据纠正处理,包括:
若所述校验结果为校验不通过,则获取目标第二数据与第一数据的差异结果,基于所述差异结果对所述目标第二数据进行纠正处理;其中,所述纠正处理包括:数据补充、数据删除、数据替换中的至少一种。
7.根据权利要求1所述的方法,其特征在于,所述上游系统与所述下游系统通过Socket建立通讯连接。
8.一种数据同步装置,其特征在于,该装置包括:
变化指令下发模块,用于当上游系统中的第一数据发生变化时,向下游系统发送数据变化指令;其中,所述数据变化指令中包含变化数据和变化数据对应的标识信息;
变化数据获取模块,用于下游系统基于所述数据变化指令,从所述上游系统中获取变化数据,并确定数据获取结果;
变化数据重获模块,用于基于数据获取结果以及预设重试规则,重新获取所述变化数据;
数据更新模块,用于基于所述变化数据的标识信息对下游系统中第二数据进行数据更新,得到目标第二数据;
数据校验模块,用于对所述目标第二数据与第一数据进行一致性校验,以基于校验结果,对所述目标第二数据进行数据纠正。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据同步方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311606431.8A CN117520456A (zh) | 2023-11-28 | 2023-11-28 | 一种数据同步方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311606431.8A CN117520456A (zh) | 2023-11-28 | 2023-11-28 | 一种数据同步方法、装置、电子设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117520456A true CN117520456A (zh) | 2024-02-06 |
Family
ID=89762510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311606431.8A Pending CN117520456A (zh) | 2023-11-28 | 2023-11-28 | 一种数据同步方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117520456A (zh) |
-
2023
- 2023-11-28 CN CN202311606431.8A patent/CN117520456A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116431313A (zh) | 一种轮询任务的调度方法、装置、设备及介质 | |
CN117520456A (zh) | 一种数据同步方法、装置、电子设备以及存储介质 | |
CN115934742A (zh) | 一种故障处理方法、装置、设备及存储介质 | |
CN113656239A (zh) | 针对中间件的监控方法、装置及计算机程序产品 | |
CN113595870B (zh) | 推送消息的处理方法、装置、电子设备及存储介质 | |
CN117742899A (zh) | 分布式数据库中分布式事务处理方法、设备及介质 | |
CN117609194A (zh) | 云数据库的处理方法、装置、电子设备及存储介质 | |
CN117632138A (zh) | 考勤申请单的解析方法、装置、电子设备及存储介质 | |
CN115168475A (zh) | 一种数据库操作方法、装置、电子设备及存储介质 | |
CN115858104A (zh) | 一种事务提交序号快照获取方法、装置、设备及存储介质 | |
CN117573162A (zh) | 一种微服务升级方法、电子设备和存储介质 | |
CN117608932A (zh) | 一种延时任务的处理方法、装置、设备及介质 | |
CN116974825A (zh) | 一种备份方法、装置、设备及存储介质 | |
CN117093274A (zh) | 一种应用运行堆栈解析方法、装置、设备及存储介质 | |
CN117873682A (zh) | 同步转异步的任务处理方法、装置、设备、介质及产品 | |
CN117290179A (zh) | 一种事件超时状态的确定方法、装置、设备和存储介质 | |
CN116708478A (zh) | 基于海陆通信的数据同步传输系统、方法、设备和介质 | |
CN115640361A (zh) | 同构数据库之间的数据处理方法、装置、设备及存储介质 | |
CN115391046A (zh) | 一种配额管理方法、装置、设备及介质 | |
CN116756246A (zh) | 一种数据同步方法、装置、设备及存储介质 | |
CN115766697A (zh) | 一种文件下载方法、装置、设备和存储介质 | |
CN118018405A (zh) | 一种物联网设备的升级方法、装置、服务器及存储介质 | |
CN117271667A (zh) | 数据读取方法、装置、电子设备及存储介质 | |
CN117421184A (zh) | 一种节点状态监测方法、装置、电子设备以及存储介质 | |
CN116302796A (zh) | 一种进程监控方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |