CN111680106B - 一种多应用系统数据同步的方法及装置 - Google Patents
一种多应用系统数据同步的方法及装置 Download PDFInfo
- Publication number
- CN111680106B CN111680106B CN202010551828.1A CN202010551828A CN111680106B CN 111680106 B CN111680106 B CN 111680106B CN 202010551828 A CN202010551828 A CN 202010551828A CN 111680106 B CN111680106 B CN 111680106B
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- application system
- configuration file
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000001360 synchronised effect Effects 0.000 claims abstract description 209
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 152
- 238000003780 insertion Methods 0.000 claims description 39
- 230000037431 insertion Effects 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000692 anti-sense effect Effects 0.000 claims description 11
- 230000026676 system process Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005059 dormancy Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种多应用系统数据同步的方法及装置，该方法包括应用系统在监控到配置服务器中的配置文件发生变化时获取变化的配置文件，根据变化的配置文件更新本地的配置文件，得到更新后的配置文件，在确定更新后的配置文件中数据同步任务的执行时间到达时，根据数据同步任务中的配置信息，从数据库中读取待同步数据，并对待同步数据进行处理，得到第一同步数据，根据数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求，而无需借助第三方数据同步系统并避免宕机时无法完成数据同步工作，可以解决现有技术中需要借助第三方数据同步系统以及在第三方数据同步系统中集中进行数据同步工作而需要大量的机器配置资源的问题。
Description
技术领域
本发明实施例涉及金融科技(Fintech)领域，尤其涉及一种多应用系统数据同步的方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。在金融领域，为了确保业务人员或客户可以通过各个应用系统访问业务数据，需要将业务数据在各个应用系统的数据库之间进行同步，以满足业务人员或客户的业务需求。
现有的开源项目DataX是一个异构数据源离线同步工具，致力于实现各种异构数据源之间稳定高效的数据同步功能，这种同步方法将DataX作为中间传输载体，管理多个数据库的连接，来实现不同数据库之间的数据同步。然而，这种数据同步方法由第三方应用系统来完成数据同步任务，并且需要有大量的机器资源作为DataX的支撑，集中在该第三方数据同步系统，因而导致存在数据同步时产生多个机器资源排队以及优先级的问题。
综上，目前亟需一种多应用系统数据同步的方法，用以解决现有技术中需要借助第三方数据同步系统以及在第三方数据同步系统中集中进行数据同步工作而需要大量的机器配置资源的问题。
发明内容
本发明实施例提供了一种多应用系统数据同步的方法及装置，用以解决现有技术中需要借助第三方数据同步系统以及在第三方数据同步系统中集中进行数据同步工作而需要大量的机器配置资源的问题。
第一方面，本发明实施例提供了一种多应用系统数据同步的方法，包括：
应用系统在监控到配置服务器中的配置文件发生变化时获取变化的配置文件；
所述应用系统根据所述变化的配置文件更新本地的配置文件，得到更新后的配置文件；
所述应用系统在确定所述更新后的配置文件中数据同步任务的执行时间到达时，根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据；
所述应用系统根据所述数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求，所述第一数据同步请求包括所述第一同步数据，以使所述接收方应用系统根据所述接收方应用系统的配置文件在接收到所述第一数据同步请求后对所述第一同步数据进行解析并存储。
上述技术方案中，通过在监控到配置服务器中的配置文件发生变化时获取变化的配置文件，并根据变化的配置文件更新本地的配置文件，得到更新后的配置文件，以便应用系统根据更新后的配置文件正常完成数据同步工作，在确定更新后的配置文件中数据同步任务的执行时间到达时，根据数据同步任务中的配置信息，从数据库中读取待同步数据，并对待同步数据进行处理，得到第一同步数据，而无需借助第三方数据同步系统并避免第三方数据同步系统宕机时无法完成数据同步工作，可以解决现有技术中需要借助第三方数据同步系统以及在第三方数据同步系统中集中进行数据同步工作而需要大量的机器配置资源的问题，之后根据数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求，以使接收方应用系统根据接收方应用系统的配置文件在接收到第一数据同步请求后对第一同步数据进行解析并存储。
可选地，所述应用系统根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据，包括：
所述应用系统通过多个进程中竞争成功的进程根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据。
上述技术方案中，通过多个进程中竞争成功的进程根据数据同步任务中的配置信息，可以及时有效地从数据库中读取待同步数据，并对待同步数据进行处理，可以准确地得到第一同步数据。由于通过多个进程中竞争数据同步任务，并利用竞争成功的进程完成数据同步任务，可以避免第三方数据同步系统需要大量的机器资源进行数据同步工作时而产生的排队及优先级问题。
可选地，所述根据所述数据同步任务中的配置信息，从数据库中读取待同步数据，包括：
所述应用系统根据所述配置信息中的数据同步策略，从所述数据库中读取所述待同步数据。
上述技术方案中，通过根据配置信息中的数据同步策略，可以准确地从数据库中读取待同步数据，以便后续对待同步数据的处理。
可选地，所述应用系统对所述待同步数据进行处理，得到第一同步数据，包括：
所述应用系统根据所述配置信息中的数据加工策略，将所述待同步数据进行加工处理，得到第一处理后的所述待同步数据；其中，所述第一处理后的所述待同步数据的表结构与所述接收方应用系统的数据库的表结构一致；
所述应用系统对所述第一处理后的所述待同步数据中的特殊字符进行转义处理，得到第二处理后的所述待同步数据；
所述应用系统对所述第二处理后的所述待同步数据进行处理，生成所述第一同步数据，并生成与所述第一同步数据对应的文件头信息、Hash值。
上述技术方案中，通过根据配置信息中的数据加工策略，将待同步数据进行加工处理，得到第一处理后的待同步数据。由于通过将待同步数据的表结构加工成与接收方应用系统的数据库的表结构一致，可以避免表结构不一致对数据同步产生影响。再对第一处理后的待同步数据中的特殊字符进行转义处理，得到第二处理后的待同步数据，可以避免在进行数据同步工作时由于特殊字符导致待同步数据的内容不准确。之后对第二处理后的待同步数据进行处理，生成第一同步数据，并生成与第一同步数据对应的文件头信息、Hash值，以便根据文件头信息和Hash值校验第一同步数据的完整性、准确性。
可选地，所述方法还包括：
所述应用系统获取第二数据同步请求，所述第二数据同步请求包括第二同步数据和所述第二同步数据对应的文件头信息、Hash值；
所述应用系统根据所述更新后的配置文件对所述第二同步数据进行解析，得到解析后的同步数据；
所述应用系统对所述解析后的同步数据进行处理，得到处理后的数据，并将所述处理后的数据存储到所述数据库中。
上述技术方案中，通过在获取第二数据同步请求时根据更新后的配置文件对第二同步数据进行解析，可以快速准确地得到解析后的同步数据，并对解析后的同步数据进行处理，可以得到符合数据库存储的数据，以便将符合数据库存储的数据存储到数据库中。
可选地，所述应用系统根据所述更新后的配置文件对所述第二同步数据进行解析，得到解析后的同步数据，包括：
所述应用系统根据所述更新后的配置文件中数据同步任务中的配置信息，对所述第二同步数据中的特殊字符进行反转义处理，得到解析后的同步数据。
上述技术方案中，通过根据更新后的配置文件中数据同步任务中的配置信息，对第二同步数据中的特殊字符进行反转义处理，可以准确地得到解析后的同步数据，以便后续对解析后的同步数据的处理。
可选地，所述应用系统对所述解析后的同步数据进行处理，得到处理后的数据，并将所述处理后的数据存储到所述数据库中，包括：
所述应用系统根据所述配置信息中的数据加工策略，将所述解析后的同步数据进行加工处理，得到第三处理后的所述同步数据；
所述应用系统根据所述配置信息中的增量数据同步策略，将所述第三处理后的所述同步数据存储到所述数据库。
上述技术方案中，通过根据配置信息中的数据加工策略对解析后的同步数据进行加工处理，得到加工处理后的同步数据，可以解决现有技术中数据加工策略纯粹依赖查询方函数进行加工，再根据配置信息中的增量数据同步策略可以灵活准确地将加工处理后的同步数据存储到数据库。
可选地，所述增量数据同步策略包括插入告警策略、插入忽略策略以及插入更新策略；
所述应用系统根据所述配置信息中的增量数据同步策略，将所述第三处理后的所述同步数据存储到所述数据库，包括：
所述应用系统在确定所述第三处理后的所述同步数据批量插入所述数据库发生主键冲突时，若所述增量数据同步策略为所述插入告警策略，则退出所述批量插入并进行告警；
若所述增量数据同步策略为所述插入忽略策略或所述插入更新策略，则所述应用系统将所述批量插入更改为单一插入；
所述应用系统在确定所述第三处理后的所述同步数据单一插入所述数据库发生主键冲突时，确定所述第三处理后的所述同步数据单一插入所述数据库时的冲突数据占所述第三处理后的所述同步数据的比例是否大于预设告警阈值；
若否，则所述应用系统在确定所述增量数据同步策略为所述插入告警策略时，对发生主键冲突的待插入数据进行忽略，以及在确定所述增量数据同步策略为所述插入更新策略时，将所述发生主键冲突的待插入数据存储到所述数据库。
上述技术方案中，通过在将第三处理后的同步数据存储到数据库时，采用插入告警策略、插入忽略策略以及插入更新策略三种不同的增量数据同步策略可以在数据同步工作发生主键冲突时进行灵活地处理，并可以准确地将第三处理后的同步数据存储到数据库，从而可以解决现有技术中增量数据同步策略没法对主键冲突等异常情况做灵活处理的问题。
第二方面，本发明实施例还提供了一种多应用系统数据同步的装置，包括：
获取单元，用于在监控到配置服务器中的配置文件发生变化时获取变化的配置文件；
处理单元，用于根据所述变化的配置文件更新本地的配置文件，得到更新后的配置文件；在确定所述更新后的配置文件中数据同步任务的执行时间到达时，根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据；根据所述数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求，所述第一数据同步请求包括所述第一同步数据，以使所述接收方应用系统根据所述接收方应用系统的配置文件在接收到所述第一数据同步请求后对所述第一同步数据进行解析并存储。
可选地，所述处理单元具体用于：
通过多个进程中竞争成功的进程根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据。
可选地，所述处理单元具体用于：
根据所述配置信息中的数据同步策略，从所述数据库中读取所述待同步数据。
可选地，所述处理单元具体用于：
根据所述配置信息中的数据加工策略，将所述待同步数据进行加工处理，得到第一处理后的所述待同步数据；其中，所述第一处理后的所述待同步数据的表结构与所述接收方应用系统的数据库的表结构一致；
对所述第一处理后的所述待同步数据中的特殊字符进行转义处理，得到第二处理后的所述待同步数据；
对所述第二处理后的所述待同步数据进行处理，生成所述第一同步数据，并生成与所述第一同步数据对应的文件头信息、Hash值。
可选地，所述处理单元还用于：
获取第二数据同步请求，所述第二数据同步请求包括第二同步数据和所述第二同步数据对应的文件头信息、Hash值；
根据所述更新后的配置文件对所述第二同步数据进行解析，得到解析后的同步数据；
对所述解析后的同步数据进行处理，得到处理后的数据，并将所述处理后的数据存储到所述数据库中。
可选地，所述处理单元具体用于：
根据所述更新后的配置文件中数据同步任务中的配置信息，对所述第二同步数据中的特殊字符进行反转义处理，得到解析后的同步数据。
可选地，所述处理单元具体用于：
根据所述配置信息中的数据加工策略，将所述解析后的同步数据进行加工处理，得到第三处理后的所述同步数据；
根据所述配置信息中的增量数据同步策略，将所述第三处理后的所述同步数据存储到所述数据库。
可选地，所述增量数据同步策略包括插入告警策略、插入忽略策略以及插入更新策略；
所述处理单元具体用于：
在确定所述第三处理后的所述同步数据批量插入所述数据库发生主键冲突时，若所述增量数据同步策略为所述插入告警策略，则退出所述批量插入并进行告警；
若所述增量数据同步策略为所述插入忽略策略或所述插入更新策略，则将所述批量插入更改为单一插入；
在确定所述第三处理后的所述同步数据单一插入所述数据库发生主键冲突时，确定所述第三处理后的所述同步数据单一插入所述数据库时的冲突数据占所述第三处理后的所述同步数据的比例是否大于预设告警阈值；
若否，则在确定所述增量数据同步策略为所述插入告警策略时，对发生主键冲突的待插入数据进行忽略，以及在确定所述增量数据同步策略为所述插入更新策略时，将所述发生主键冲突的待插入数据存储到所述数据库。
第三方面，本发明实施例提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行多应用系统数据同步的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行多应用系统数据同步的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种多应用系统数据同步的方法的流程示意图；
图3为本发明实施例提供的一种数据加工策略的流程示意图；
图4为本发明实施例提供的一种生成第一同步数据的流程示意图；
图5为本发明实施例提供的一种解析第二同步数据的流程示意图；
图6为本发明实施例提供的一种根据不同的增量数据同步策略对主键冲突的同步数据进行不同处理的流程示意图；
图7为本发明实施例提供的一种多应用系统数据同步的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种系统架构。如图1所示，该系统架构可以包括至少一个应用系统，例如应用系统A101、应用系统B103，以及配置服务器102。
其中，应用系统A101或应用系统B103可以通过有线或无线方式与配置服务器102实现通信；另外，任意两个应用系统之间(例如应用系统A101与应用系统B103)也可以通过有线或无线方式实现通信，以实现两个应用系统之间的数据同步；此外，一个应用系统可以作为发送方应用系统，或可以作为接收方应用系统，或既可以作为发送方应用系统又可以作为接收方应用系统，具体不作限定。应用系统之间或应用系统与配置服务器之间可以采用BUS消息总线的方式进行通信，也可以使用RPC(Remote Procedure Call Protocol，远程过程调用协议)的方式通信替代，具体不作限制。
配置服务器102统一管理所有应用系统的所有应用配置，在应用系统监控到配置服务器102的配置文件发生变化时，将变化的配置文件发送给应用系统，以使应用系统根据变化的配置文件更新本地的配置文件，使得数据同步工作能够正常运行；或在配置服务器102发生网络故障或宕机时，使用本地已有的配置文件，使得数据同步工作能够正常运行。其中，配置文件目录：以每个应用系统的编号为一级目录；二级目录为公共配置文件以及数据发送方的send目录与数据接收方的receive目录；三级目录是每个目标应用系统及根节点的数据源系统的配置文件。若没有相应的条件，可以取消配置服务器的存在，直接在应用系统本地按配置文件目录管理配置文件，由各个应用系统自己在本地维护配置文件，也可以完成数据同步任务。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种多应用系统数据同步的方法的流程，该流程可以由多应用系统数据同步的装置执行。
如图2所示，该流程具体包括：
步骤201，应用系统在监控到配置服务器中的配置文件发生变化时获取变化的配置文件。
本发明实施例中，应用系统引入Jar包(Java archive，软件包文件)，在监控到配置服务器中的配置文件发生变化时获取变化的配置文件，配置服务器将变化的配置文件传输给应用系统；其中，配置服务器只传输变化的配置文件，变化的配置文件的数据结构为{一级目录/…/…/配置文件，…}，根据一级目录的应用系统编号传输到目标应用系统。此外，应用系统在配置服务器发生网络故障或宕机时，使用本地已有的配置文件来完成数据同步任务。
具体地，应用系统引入Jar包，初始化同步信息表，应用系统启动后会主动从配置服务器拉取最新的配置文件到本地，并自动监控配置服务器的配置变化。当配置服务器的配置文件发生变化时，配置服务器通知应用系统同步变化的配置文件；当配置服务器发生宕机时，则应用系统可以采用本地的配置文件完成数据同步任务。此外，只需要对配置文件进行配置管理，就能完成数据同步工作，针对同步时间仅需要配置cron表达式，Jar包中封装的定时任务会根据cron表达式去执行批量，针对增量数据同步，通常以日期区间进行同步，仅需配置日期策略，自动生成增量select sql的日期区间条件就可以进行数据同步，不需要额外的脚本开发去处理上述工作。其中，同步信息表可以用来记录数据同步过程中的同步信息，比如同步数据发送日期、接收日期以及同步数据发送成功或失败等信息；cron表达式是一个字符串，分为6或7个域，每一个域代表一个含义，cron表达式的格式为{秒数}{分钟}{小时}{日期}{月份}{星期}{年份(可为空)}。
步骤202，所述应用系统根据所述变化的配置文件更新本地的配置文件，得到更新后的配置文件。
本发明实施例中，应用系统在监控到配置文件发生变化时，接收变化的配置文件数据结构，并根据变化的配置文件更新本地的配置文件，得到更新后的配置文件。此外，应用系统在未监控到配置服务器中的配置文件发生变化时使用本地已有的配置文件来完成数据同步任务。
步骤203，所述应用系统在确定所述更新后的配置文件中数据同步任务的执行时间到达时，根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据。
本发明实施例中，应用系统在确定更新后的配置文件中数据同步任务的执行时间到达时，通过多个进程中竞争成功的进程根据配置信息中的数据同步策略，从数据库中读取待同步数据，再根据配置信息中的数据加工策略，将待同步数据进行加工处理，得到第一处理后的待同步数据，并对第一处理后的待同步数据中的特殊字符进行转义处理，得到第二处理后的待同步数据，之后对第二处理后的待同步数据进行处理，生成第一同步数据，并生成与第一同步数据对应的文件头信息、Hash值。其中，第一处理后的待同步数据的表结构与接收方应用系统的数据库的表结构一致。
具体地，应用系统在更新本地的配置文件得到更新后的配置文件后，由应用系统本身JVM(Java Virtual Machine，Java虚拟机)的内存及CPU去处理数据同步任务，如果所有数据同步任务由第三方数据同步系统集中执行，则需要大量的机器资源集中在该第三方数据同步系统，且会产生机器资源排队及优先级的问题。应用系统根据更新后的配置文件启动定时任务，并根据配置文件的cron表达式判断是否到达数据同步时间，如果数据同步时间到达则进行多个实例抢占任务，通过插入同步信息表的方式来抢占任务，插入成功的实例执行定时任务，否则休眠。在利用插入成功的实例执行定时任务时，每个配置文件会启动一个线程进行数据处理，建立数据库连接，设置会话的事务隔离级别为RR(RepeatableRead，可重复读)，作用是快照读，为了保证读取的待同步数据的一致性，防止分页读取数据期间有数据插入或删除，导入数据重复或缺失，之后根据配置信息中的数据同步策略读取数据库的数据，若数据同步策略为增量同步则根据配置的增量字段从数据库中增量读取数据，若数据同步策略为全量同步则从数据库中读取全表数据，为了解决表结构不一致或特殊场景的数据加工需求，可以配置数据加工策略，如果配置数据加工，则根据不同的数据加工等策略对读取的待同步数据进行加工，得到第一处理后的待同步数据。然后对第一处理后的待同步数据中的特殊字符进行转义处理，得到第二处理后的待同步数据，并对第二处理后的待同步数据进行处理，生成第一同步数据，并生成与第一同步数据对应的文件头信息、Hash值。其中，由于生成的第一同步数据中以|作为列分隔符，以换行符\r\n作为行数据分隔符，因此需要对第一处理后的待同步数据中的这两个特殊符号进行转义处理，具体的处理规则如表1所示。此外，第一同步数据对应的文件头信息生成第一同步数据的行数，同时第一同步数据对应的文件尾以特殊字符EOF作为结束字符，生成第一同步数据对应的Hash值是作为校验第一同步数据的内容是否完整准确进行使用。
表1
| \\＝>\\\\ | 以单斜杆作为转义字符，则\\需要转义为\\\\ |
| \r\n＝>\\r\\n | 换行符\r\n转义为\\r\\n |
| |＝>\\| | 竖线转义为\\| |
需要说明的是，各个应用系统的数据库数据同步工作实际由各应用系统依赖引入的Jar包来完成，根据配置文件目录及类型的不同(即应用系统是作为发送方应用系统或作为接收方应用系统或既作为发送方应用系统又作为接收方应用系统)，应用系统会自动监控其他系统的数据接收请求，也会启动定时任务自动完成数据提取工作并发送给其他系统，只要应用系统的多个实例有一个实例存活，即应用系统的多个进程中有一个进程可以正常运行，就能完成数据的同步工作，不依赖第三方数据同步系统，从而避免第三方数据同步系统宕机时无法完成数据同步工作，即使该应用系统的全部实例宕机，也只是影响该应用系统本身的数据同步工作，不影响其他应用系统的数据同步工作。
步骤204，所述应用系统根据所述数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求。
本发明实施例中，应用系统根据数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求，第一数据同步请求包括第一同步数据，以使接收方应用系统根据接收方应用系统的配置文件在接收到第一数据同步请求后对第一同步数据进行解析并存储。
此外，应用系统可以获取第二数据同步请求，第二数据同步请求包括第二同步数据和第二同步数据对应的文件头信息、Hash值，并根据更新后的配置文件中数据同步任务中的配置信息，对第二同步数据中的特殊字符进行反转义处理，得到解析后的同步数据，再根据配置信息中的数据加工策略，将解析后的同步数据进行加工处理，得到第三处理后的同步数据，之后根据配置信息中的增量数据同步策略，将第三处理后的同步数据存储到数据库。在确定第三处理后的同步数据批量插入数据库发生主键冲突时，若增量数据同步策略为插入告警策略，则退出批量插入并进行告警，若增量数据同步策略为插入忽略策略或插入更新策略，则将批量插入更改为单一插入；在确定第三处理后的同步数据单一插入数据库发生主键冲突时，确定第三处理后的同步数据单一插入数据库时的冲突数据占第三处理后的同步数据的比例是否大于预设告警阈值，若否，则在确定增量数据同步策略为插入告警策略时，对发生主键冲突的待插入数据进行忽略，以及在确定增量数据同步策略为插入更新策略时，将发生主键冲突的待插入数据存储到数据库。其中，第二同步数据可以与第一同步数据相同，也可以不是第一同步数据，具体不作限制。
具体地，在接收方应用系统将同步数据存储到数据库时，该接收方应用系统引入Jar包，初始化同步信息表，接收方应用系统启动后会自动监控配置服务器的配置变化，从配置服务器拉取最新的配置文件到本地，如果连接不到配置服务器，则采用本地的配置文件完成数据同步任务。再根据最新的配置文件或本地配置文件，监控数据同步服务的数据同步请求，在数据同步请求到达后，多个实例通过插入同步信息表的方式来抢占数据同步任务，插入成功的实例则执行数据同步任务，否则休眠。之后插入成功的实例通过同步数据的Hash值与文件头信息校验同步数据的内容是否完整准确，以便保证同步数据的内容的完整性、准确性，即通过将发送方应用系统生成的同步数据的Hash值、文件头信息与接收方应用系统生成的同步数据的Hash值、文件头信息进行对应比对，若同步数据的Hash值或行数不一致，则反馈给发送方应用系统，让发送方应用系统重发数据同步请求。在同步数据的Hash值或行数一致时，根据应用系统来源动态加载不同的配置，并对第二同步数据中的特殊字符进行反转义处理，得到解析后的同步数据，为了解决表结构不一致的问题，根据配置的数据加工策略进行数据加工，包括函数计算、字符串加工、列复制等数据加工策略，再根据配置的列顺序解析成相应的批量DML语句，若配置信息中的数据同步策略为增量数据同步策略，则根据增量数据同步策略执行DML语句并将同步数据存储到数据库，若配置信息中的数据同步策略为全量数据同步策略，则先清理数据库再执行DML语句，将同步数据存储到数据库并更新同步信息表状态为入库成功。具体的数据加工策略如图3所示。其中，在源数据库的表结构的列数及类型与目标数据库的表结构列数与类型存在差异时，通过配置的数据加工策略，可以将源数据加工成目标数据的结构；针对源数据库采用select*的数据生成配置，目标数据库根据自己的配置文件，仅处理自己需要的列数据，抛弃多余的数据，避免源数据表结构无关列变更时导致对数据同步产生影响。此外，对同步数据进行解析处理，按行读取，同时列以|分割，对同步数据中的特殊字符进行反转义处理，具体的处理规则如表2所示。
表2
| \\r\\n＝>\r\n | 将\\r\\n反转义为换行符 |
| \\|＝>| | 将\\|反转义为| |
| \\\\＝>\\ | \\\\反转义为\\ |
为了更好的解释本发明应用系统根据配置文件生成第一同步数据的实施例，下面通过具体的实施场景描述本发明实施例提供的一种生成第一同步数据的流程。
如图4所示，该流程包括以下步骤：
步骤401，配置服务器的配置文件是否发生变化，若是，执行步骤402。
应用系统监控配置服务器的配置文件是否发生变化，并在配置文件发生变化时将变化的配置文件传输给应用系统。
步骤402，根据变化的配置文件更新本地的配置文件。
应用系统根据变化的配置文件更新本地的配置文件，得到更新后的配置文件。
步骤403，确定更新后的配置文件中数据同步任务的执行时间是否到达，若是，执行步骤404，若否，执行步骤405。
应用系统根据更新后的配置文件，确定更新后的配置文件中数据同步任务的执行时间是否到达。
步骤404，确定多个实例抢占数据同步任务是否成功，若是，执行步骤406，若否，执行步骤405。
应用系统的多个实例通过插入同步信息表的方式抢占数据同步任务，并以抢占成功的实例执行数据同步任务。
步骤405，休眠。
步骤406，对读取的待同步数据进行快照读及sql校验。
在利用插入成功的实例执行定时任务时，每个配置文件会启动一个线程进行数据处理，建立数据库连接，设置会话的事务隔离级别为RR，作用是快照读，为了保证读取的待同步数据的一致性。
步骤407，根据配置信息中的数据同步策略从数据库中读取待同步数据。
根据配置信息中的数据同步策略读取数据库的数据，若数据同步策略为增量同步则根据配置的增量字段从数据库中增量读取数据，若数据同步策略为全量同步则从数据库中读取全表数据。
步骤408，根据配置信息中的数据加工策略对待同步数据进行加工处理。
根据数据加工需求，可以配置数据加工策略，如果配置数据加工，则根据不同的数据加工等策略对读取的待同步数据进行加工，得到第一处理后的待同步数据。
步骤409，对加工处理后的待同步数据进行转义处理。
对第一处理后的待同步数据中的特殊字符进行转义处理，得到第二处理后的待同步数据。
步骤410，对转义处理后的待同步数据进行处理，生成第一同步数据。
对第二处理后的待同步数据进行处理，生成第一同步数据，并生成与第一同步数据对应的文件头信息、Hash值。
上述实施例表明，通过在监控到配置服务器中的配置文件发生变化时获取变化的配置文件，并根据变化的配置文件更新本地的配置文件，得到更新后的配置文件，以便应用系统根据更新后的配置文件正常完成数据同步工作，在确定更新后的配置文件中数据同步任务的执行时间到达时，根据数据同步任务中的配置信息，从数据库中读取待同步数据，并对待同步数据进行处理，得到第一同步数据，而无需借助第三方数据同步系统并避免第三方数据同步系统宕机时无法完成数据同步工作，可以解决现有技术中需要借助第三方数据同步系统以及在第三方数据同步系统中集中进行数据同步工作而需要大量的机器配置资源的问题。
为了更好的解释本发明应用系统根据配置文件解析第二同步数据并将解析后的第二同步数据入库的实施例，下面通过具体的实施场景描述本发明实施例提供的一种解析第二同步数据的流程。
如图5所示，该流程包括以下步骤：
步骤501，配置服务器的配置文件是否发生变化，若是，执行步骤502。
应用系统监控配置服务器的配置文件是否发生变化，并在配置文件发生变化时将变化的配置文件传输给应用系统。
步骤502，根据变化的配置文件更新本地的配置文件。
应用系统根据变化的配置文件更新本地的配置文件，得到更新后的配置文件。
步骤503，确定是否有数据同步请求，若是，执行步骤504，若否，执行步骤505。
应用系统根据更新后的配置文件确定是否有数据同步请求。
步骤504，确定多个实例抢占数据同步任务是否成功，若是，执行步骤506，若否，执行步骤505。
应用系统在确定有数据同步请求后，多个实例通过插入同步信息表的方式抢占数据同步任务，并以抢占成功的实例执行数据同步任务。
步骤505，休眠。
步骤506，校验第二同步数据的内容是否完整，若是，执行步骤507，若否，执行步骤508。
抢占成功的实例通过将发送方应用系统生成的同步数据的Hash值、文件头信息与接收方应用系统生成的同步数据的Hash值、文件头信息进行对应比对来校验第二同步数据的内容是否完整。
步骤507，对第二同步数据中的特殊字符进行反转义处理。
抢占成功的实例对第二同步数据中的特殊字符进行反转义处理，得到反转义处理后的同步数据。
步骤508，反馈给源数据应用系统使其重发数据同步请求。
应用系统将第二同步数据的内容不完整的结果反馈给源数据应用系统使其重发数据同步请求。
步骤509，根据配置信息中的数据加工策略对反转义处理后的同步数据进行加工处理生成DML语句。
根据配置的数据加工策略进行数据加工，包括函数计算、字符串加工、列复制等数据加工策略，再根据配置的列顺序解析成相应的批量DML语句。
步骤510，数据同步策略是否为增量数据同步策略，若是，执行步骤511，若否，执行步骤512。
步骤511，根据不同的增量数据同步策略对主键冲突的同步数据进行不同的处理。
在确定配置信息中的数据同步策略为增量数据同步策略时，则根据增量数据同步策略执行DML语句并将同步数据存储到数据库。
步骤512，清理数据库并执行DML语句。
在确定配置信息中的数据同步策略为全量数据同步策略时，则先清理数据库再执行DML语句，将同步数据存储到数据库。
上述实施例表明，通过在获取第二数据同步请求时根据更新后的配置文件对第二同步数据进行解析，可以快速准确地得到解析后的同步数据，再根据配置信息中的数据加工策略对解析后的同步数据进行加工处理，得到加工处理后的同步数据，可以解决现有技术中数据加工策略纯粹依赖查询方函数进行加工，再根据配置信息中的增量数据同步策略可以灵活准确地将加工处理后的同步数据存储到数据库。
为了更好的解释本发明应用系统根据不同的增量数据同步策略对主键冲突的同步数据进行不同的处理的实施例，下面通过具体的实施场景描述本发明实施例提供的一种根据不同的增量数据同步策略对主键冲突的同步数据进行不同处理的流程。
如图6所示，该流程包括以下步骤：
步骤601，判断插入模式为insert还是replace，若是insert，执行步骤602，若是replace，执行步骤603。
判断插入模式为insert还是replace，如果是replace则直接生成replace batchsql插入数据库，如果是insert则生成insert batch sql。
步骤602，生成insert batch sql并执行。
步骤603，生成replace batch sql并执行。
步骤604，是否发生主键冲突，若是，执行步骤605，若否，则正常执行insert batchsql。
步骤605，增量数据同步策略是否是Insert Or Warning，若是，执行步骤606，若否，执行步骤607。
在执行insert batch sql发生主键冲突时，根据配置的增量数据同步策略来处理数据。
步骤606，生成单条insert sql并执行。
若配置的增量数据同步策略是Insert Or Ignore同步策略或Insert Or Update同步策略，则先将主键冲突的batch sql拆成单条insert的sql，再逐一执行。
步骤607，告警退出。
若增量数据同步策略是InsertOrWarning，则退出流程并告警。
步骤608，是否发生主键冲突，若是，执行步骤609，若否，执行步骤606。
确定在执行单条insert sql时是否发生主键冲突。
步骤609，判断冲突数据占总同步数据的比例是否超过预设告警阈值，若是，执行步骤607，若否，执行步骤610或步骤611。
确定在执行单条insert sql发生主键冲突时，判断冲突数据占总数据的比例是否超过配置文件的预设告警阈值。
步骤610，Insert Or Ignore。
若配置的增量数据同步策略是Insert Or Ignore同步策略，则收集及忽略发生主键冲突的待插入数据，并判断冲突数据是否已经处理完毕，如果没有则循环下一次单条insert sql。
步骤611，Insert Or Update。
若配置的增量数据同步策略是Insert Or Update同步策略，则将发生主键冲突的待插入数据生成update sql并执行，并判断冲突数据是否已经处理完毕，如果没有则循环下一条单条insert sql。
步骤612，判断冲突数据是否已处理完毕，若是，则流程结束，若否，执行步骤606。
步骤613，生成单条update sql并执行。
若配置的增量数据同步策略是Insert Or Update同步策略，则将发生主键冲突的待插入数据生成update sql并执行。
上述实施例表明，通过在将第三处理后的同步数据存储到数据库时，采用插入告警策略、插入忽略策略以及插入更新策略三种不同的增量数据同步策略可以在数据同步工作发生主键冲突时进行灵活地处理，并可以准确地将第三处理后的同步数据存储到数据库，从而可以解决现有技术中增量数据同步策略没法对主键冲突等异常情况做灵活处理的问题。
基于相同的技术构思，图7示例性的示出了本发明实施例提供的一种多应用系统数据同步的装置，该装置可以执行多应用系统数据同步的方法的流程。
如图7所示，该装置包括：
获取单元701，用于在监控到配置服务器中的配置文件发生变化时获取变化的配置文件；
处理单元702，用于根据所述变化的配置文件更新本地的配置文件，得到更新后的配置文件；在确定所述更新后的配置文件中数据同步任务的执行时间到达时，根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据；根据所述数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求，所述第一数据同步请求包括所述第一同步数据，以使所述接收方应用系统根据所述接收方应用系统的配置文件在接收到所述第一数据同步请求后对所述第一同步数据进行解析并存储。
可选地，所述处理单元702具体用于：
通过多个进程中竞争成功的进程根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据。
可选地，所述处理单元702具体用于：
根据所述配置信息中的数据同步策略，从所述数据库中读取所述待同步数据。
可选地，所述处理单元702具体用于：
根据所述配置信息中的数据加工策略，将所述待同步数据进行加工处理，得到第一处理后的所述待同步数据；其中，所述第一处理后的所述待同步数据的表结构与所述接收方应用系统的数据库的表结构一致；
对所述第一处理后的所述待同步数据中的特殊字符进行转义处理，得到第二处理后的所述待同步数据；
对所述第二处理后的所述待同步数据进行处理，生成所述第一同步数据，并生成与所述第一同步数据对应的文件头信息、Hash值。
可选地，所述处理单元702还用于：
获取第二数据同步请求，所述第二数据同步请求包括第二同步数据和所述第二同步数据对应的文件头信息、Hash值；
根据所述更新后的配置文件对所述第二同步数据进行解析，得到解析后的同步数据；
对所述解析后的同步数据进行处理，得到处理后的数据，并将所述处理后的数据存储到所述数据库中。
可选地，所述处理单元702具体用于：
根据所述更新后的配置文件中数据同步任务中的配置信息，对所述第二同步数据中的特殊字符进行反转义处理，得到解析后的同步数据。
可选地，所述处理单元702具体用于：
根据所述配置信息中的数据加工策略，将所述解析后的同步数据进行加工处理，得到第三处理后的所述同步数据；
根据所述配置信息中的增量数据同步策略，将所述第三处理后的所述同步数据存储到所述数据库。
可选地，所述增量数据同步策略包括插入告警策略、插入忽略策略以及插入更新策略；
所述处理单元702具体用于：
在确定所述第三处理后的所述同步数据批量插入所述数据库发生主键冲突时，若所述增量数据同步策略为所述插入告警策略，则退出所述批量插入并进行告警；
若所述增量数据同步策略为所述插入忽略策略或所述插入更新策略，则将所述批量插入更改为单一插入；
在确定所述第三处理后的所述同步数据单一插入所述数据库发生主键冲突时，确定所述第三处理后的所述同步数据单一插入所述数据库时的冲突数据占所述第三处理后的所述同步数据的比例是否大于预设告警阈值；
若否，则在确定所述增量数据同步策略为所述插入告警策略时，对发生主键冲突的待插入数据进行忽略，以及在确定所述增量数据同步策略为所述插入更新策略时，将所述发生主键冲突的待插入数据存储到所述数据库。
基于相同的技术构思，本发明实施例提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行多应用系统数据同步的方法。
基于相同的技术构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行多应用系统数据同步的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种多应用系统数据同步的方法，其特征在于，包括：
应用系统在监控到配置服务器中的配置文件发生变化时获取变化的配置文件；
所述应用系统根据所述变化的配置文件更新本地的配置文件，得到更新后的配置文件；
所述应用系统在确定所述更新后的配置文件中数据同步任务的执行时间到达时，根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据；
所述应用系统根据所述数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求，所述第一数据同步请求包括所述第一同步数据，以使所述接收方应用系统根据所述接收方应用系统的配置文件在接收到所述第一数据同步请求后对所述第一同步数据进行解析并存储；
所述应用系统获取第二数据同步请求，所述第二数据同步请求包括第二同步数据和所述第二同步数据对应的文件头信息、Hash值；所述应用系统根据所述更新后的配置文件对所述第二同步数据进行解析，得到解析后的同步数据；所述应用系统对所述解析后的同步数据进行处理，得到处理后的数据，并将所述处理后的数据存储到所述数据库中。
2.如权利要求1所述的方法，其特征在于，所述应用系统根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据，包括：
所述应用系统通过多个进程中竞争成功的进程根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据。
3.如权利要求2所述的方法，其特征在于，所述根据所述数据同步任务中的配置信息，从数据库中读取待同步数据，包括：
所述应用系统根据所述配置信息中的数据同步策略，从所述数据库中读取所述待同步数据。
4.如权利要求1所述的方法，其特征在于，所述应用系统对所述待同步数据进行处理，得到第一同步数据，包括：
所述应用系统根据所述配置信息中的数据加工策略，将所述待同步数据进行加工处理，得到第一处理后的所述待同步数据；其中，所述第一处理后的所述待同步数据的表结构与所述接收方应用系统的数据库的表结构一致；
所述应用系统对所述第一处理后的所述待同步数据中的特殊字符进行转义处理，得到第二处理后的所述待同步数据；
所述应用系统对所述第二处理后的所述待同步数据进行处理，生成所述第一同步数据，并生成与所述第一同步数据对应的文件头信息、Hash值。
5.如权利要求1所述的方法，其特征在于，所述应用系统根据所述更新后的配置文件对所述第二同步数据进行解析，得到解析后的同步数据，包括：
所述应用系统根据所述更新后的配置文件中数据同步任务中的配置信息，对所述第二同步数据中的特殊字符进行反转义处理，得到解析后的同步数据。
6.如权利要求1所述的方法，其特征在于，所述应用系统对所述解析后的同步数据进行处理，得到处理后的数据，并将所述处理后的数据存储到所述数据库中，包括：
所述应用系统根据所述配置信息中的数据加工策略，将所述解析后的同步数据进行加工处理，得到第三处理后的所述同步数据；
所述应用系统根据所述配置信息中的增量数据同步策略，将所述第三处理后的所述同步数据存储到所述数据库。
7.如权利要求6所述的方法，其特征在于，所述增量数据同步策略包括插入告警策略、插入忽略策略以及插入更新策略；
所述应用系统根据所述配置信息中的增量数据同步策略，将所述第三处理后的所述同步数据存储到所述数据库，包括：
所述应用系统在确定所述第三处理后的所述同步数据批量插入所述数据库发生主键冲突时，若所述增量数据同步策略为所述插入告警策略，则退出所述批量插入并进行告警；
若所述增量数据同步策略为所述插入忽略策略或所述插入更新策略，则所述应用系统将所述批量插入更改为单一插入；
所述应用系统在确定所述第三处理后的所述同步数据单一插入所述数据库发生主键冲突时，确定所述第三处理后的所述同步数据单一插入所述数据库时的冲突数据占所述第三处理后的所述同步数据的比例是否大于预设告警阈值；
若否，则所述应用系统在确定所述增量数据同步策略为所述插入告警策略时，对发生主键冲突的待插入数据进行忽略，以及在确定所述增量数据同步策略为所述插入更新策略时，将所述发生主键冲突的待插入数据存储到所述数据库。
8.一种多应用系统数据同步的装置，其特征在于，包括：
获取单元，用于在监控到配置服务器中的配置文件发生变化时获取变化的配置文件；
处理单元，用于根据所述变化的配置文件更新本地的配置文件，得到更新后的配置文件；在确定所述更新后的配置文件中数据同步任务的执行时间到达时，根据所述数据同步任务中的配置信息，从数据库中读取待同步数据；并对所述待同步数据进行处理，得到第一同步数据；根据所述数据同步任务中的目的地址，向接收方应用系统发送第一数据同步请求，所述第一数据同步请求包括所述第一同步数据，以使所述接收方应用系统根据所述接收方应用系统的配置文件在接收到所述第一数据同步请求后对所述第一同步数据进行解析并存储；
所述获取单元，还用于：获取第二数据同步请求，所述第二数据同步请求包括第二同步数据和所述第二同步数据对应的文件头信息、Hash值；所述处理单元，还用于：根据所述更新后的配置文件对所述第二同步数据进行解析，得到解析后的同步数据；对所述解析后的同步数据进行处理，得到处理后的数据，并将所述处理后的数据存储到所述数据库中。
9.一种计算设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010551828.1A CN111680106B (zh) | 2020-06-17 | 2020-06-17 | 一种多应用系统数据同步的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010551828.1A CN111680106B (zh) | 2020-06-17 | 2020-06-17 | 一种多应用系统数据同步的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111680106A CN111680106A (zh) | 2020-09-18 |
| CN111680106B true CN111680106B (zh) | 2024-04-09 |
Family
ID=72455257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010551828.1A Active CN111680106B (zh) | 2020-06-17 | 2020-06-17 | 一种多应用系统数据同步的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111680106B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347192A (zh) * | 2020-11-16 | 2021-02-09 | 百度在线网络技术（北京）有限公司 | 数据同步方法、装置、平台以及可读介质 |
| CN113259470B (zh) * | 2021-06-03 | 2021-09-24 | 长视科技股份有限公司 | 一种数据同步的方法及数据同步系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103823797A (zh) * | 2012-11-16 | 2014-05-28 | 镇江诺尼基智能技术有限公司 | 基于ftp协议的行业数据库数据实时同步系统 |
| EP2891994A1 (en) * | 2013-11-04 | 2015-07-08 | Guangdong Electronics Industry Institute Ltd. | Method for achieving automatic synchronization of multisource heterogeneous data resources |
| CN106021527A (zh) * | 2016-05-24 | 2016-10-12 | 努比亚技术有限公司 | 一种数据处理方法及搜索服务器、同步服务器 |
| CN106339511A (zh) * | 2016-10-28 | 2017-01-18 | 广东电网有限责任公司电力调度控制中心 | 一种电力调度自动化系统的源配置自动同步系统及其方法 |
| CN106357447A (zh) * | 2016-09-21 | 2017-01-25 | 努比亚技术有限公司 | 一种配置数据的同步方法及装置 |
| CN108399256A (zh) * | 2018-03-06 | 2018-08-14 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| CN109062592A (zh) * | 2018-07-16 | 2018-12-21 | 福建省天奕网络科技有限公司 | 一种游戏数值同步的方法及系统 |
| CN109101627A (zh) * | 2018-08-14 | 2018-12-28 | 交通银行股份有限公司 | 异构数据库同步方法及装置 |
| US10521453B1 (en) * | 2016-09-07 | 2019-12-31 | United Services Automobile Association (Usaa) | Selective DNS synchronization |
| CN110909079A (zh) * | 2019-11-20 | 2020-03-24 | 南方电网数字电网研究院有限公司 | 数据交换同步方法、系统、装置、服务器和存储介质 |
-
2020
- 2020-06-17 CN CN202010551828.1A patent/CN111680106B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103823797A (zh) * | 2012-11-16 | 2014-05-28 | 镇江诺尼基智能技术有限公司 | 基于ftp协议的行业数据库数据实时同步系统 |
| EP2891994A1 (en) * | 2013-11-04 | 2015-07-08 | Guangdong Electronics Industry Institute Ltd. | Method for achieving automatic synchronization of multisource heterogeneous data resources |
| CN106021527A (zh) * | 2016-05-24 | 2016-10-12 | 努比亚技术有限公司 | 一种数据处理方法及搜索服务器、同步服务器 |
| US10521453B1 (en) * | 2016-09-07 | 2019-12-31 | United Services Automobile Association (Usaa) | Selective DNS synchronization |
| CN106357447A (zh) * | 2016-09-21 | 2017-01-25 | 努比亚技术有限公司 | 一种配置数据的同步方法及装置 |
| CN106339511A (zh) * | 2016-10-28 | 2017-01-18 | 广东电网有限责任公司电力调度控制中心 | 一种电力调度自动化系统的源配置自动同步系统及其方法 |
| CN108399256A (zh) * | 2018-03-06 | 2018-08-14 | 北京慧萌信安软件技术有限公司 | 异构数据库内容同步方法、装置及中间件 |
| CN109062592A (zh) * | 2018-07-16 | 2018-12-21 | 福建省天奕网络科技有限公司 | 一种游戏数值同步的方法及系统 |
| CN109101627A (zh) * | 2018-08-14 | 2018-12-28 | 交通银行股份有限公司 | 异构数据库同步方法及装置 |
| CN110909079A (zh) * | 2019-11-20 | 2020-03-24 | 南方电网数字电网研究院有限公司 | 数据交换同步方法、系统、装置、服务器和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111680106A (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108600353B (zh) | 一种区块链节点的并行块同步方法 | |
| EP0178473B1 (en) | Method for broadcasting of information in a distributed computing network | |
| CN107016014B (zh) | 异构数据库的数据同步方法及装置 | |
| CN111680106B (zh) | 一种多应用系统数据同步的方法及装置 | |
| CN108563502B (zh) | 一种任务调度方法和装置 | |
| Sarin et al. | Discarding obsolete information in a replicated database system | |
| CN109039779B (zh) | 设备升级方法、数据传输单元、控制器局域网络设备和网络 | |
| CN111857880B (zh) | 对话配置项信息管理方法、装置、设备及存储介质 | |
| CN107231435B (zh) | 数据同步监控方法及系统 | |
| CN111064789B (zh) | 数据迁移的方法和系统 | |
| CN111510474A (zh) | 基于消息中间件的数据传输方法及相关设备 | |
| CN113934745A (zh) | 数据同步处理方法、电子设备以及存储介质 | |
| CN111400104A (zh) | 数据同步方法及装置、电子设备、存储介质 | |
| CN111159233A (zh) | 分布式缓存方法、系统、计算机设备以及存储介质 | |
| CN113420032A (zh) | 一种日志的分类存储方法及装置 | |
| CN112486707A (zh) | 基于Redis的消息异步消费方法及装置 | |
| CN110213359B (zh) | 一种基于d2d的车联网组网数据推送系统和方法 | |
| CN109684130B (zh) | 一种机房间数据备份的方法及装置 | |
| CN113032477B (zh) | 基于gtid的长距离数据同步方法、装置及计算设备 | |
| CN110113395B (zh) | 共享文件系统维护方法及装置 | |
| JP2006053737A (ja) | レプリケーションシステム及びレプリケーション方法 | |
| CN112783972A (zh) | 图像特征值数据的同步方法及系统 | |
| CN112181926A (zh) | 一种配置更新同步方法及装置 | |
| JPH07141241A (ja) | 分散データベースシステム管理装置 | |
| CN115934428B (zh) | 一种mysql数据库的主灾备切换方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |