CN114064674A - 数据同步方法、装置、计算机设备、存储介质和产品 - Google Patents
数据同步方法、装置、计算机设备、存储介质和产品 Download PDFInfo
- Publication number
- CN114064674A CN114064674A CN202111392745.3A CN202111392745A CN114064674A CN 114064674 A CN114064674 A CN 114064674A CN 202111392745 A CN202111392745 A CN 202111392745A CN 114064674 A CN114064674 A CN 114064674A
- Authority
- CN
- China
- Prior art keywords
- data table
- server
- synchronized
- synchronous
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及大数据技术领域，提供了一种数据同步方法、装置、计算机设备、存储介质和计算机程序产品，可具体应用于金融领域。本申请能够实现提高服务器的数据同步的准确性。该方法包括：获取同步发起服务器发送的原数据表和修改数据表，原数据表携带数据表查找标识，修改数据表由同步发起服务器修改原数据表得到，将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器，获取待同步服务器发送的备份数据表，检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
Description
技术领域
本申请涉及大数据技术领域，特别是涉及一种数据同步方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着互联网行业快速发展，越来越庞大的数据需要存储。为了应对如数据丢失的风险，通常采用数据同步的方式对数据进行备份，所以数据同步尤为重要。
传统技术中，通常是采用两个服务器进行联机服务的方式实现两个服务器的数据同步，但通过该技术实现服务器的数据同步的准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种数据同步方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据同步方法，应用于同步处理服务器。所述方法包括：
获取同步发起服务器发送的原数据表和修改数据表；原数据表携带数据表查找标识；修改数据表由同步发起服务器修改原数据表得到；
将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器；
获取待同步服务器发送的备份数据表；
检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
在其中一个实施例中，
获取同步发起服务器的原数据表和修改数据表，包括：
获取同步发起服务器发送的同步修改语句、原数据表和修改数据表；
发送修改数据表至待同步服务器之后，所述方法还包括：
若在设定时间内没有接收到待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至同步发起服务器，以指示同步发起服务器执行数据回滚；
获取待同步服务器发送的备份数据表对应的可疑数据表；
若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器，以指示待同步服务器将可疑数据表修改为与备份数据表一致。
在其中一个实施例中，获取待同步服务器中备份数据表对应的可疑数据表之后，所述方法还包括：
若检测到可疑数据表与修改数据表和备份数据表均不一致，则向同步发起服务器发送报警信息。
在其中一个实施例中，同步修改语句包含同步修改类型；同步修改类型包括新增类型、删除类型或更新类型；根据同步修改语句发送数据表修改指令至待同步服务器，包括：
检测同步修改语句包含的同步修改类型；
若同步修改类型为新增类型，则发送携带同步修改类型为删除类型的数据表修改指令至待同步服务器；
若同步修改类型为删除类型，则发送携带同步修改类型为新增类型的数据表修改指令至待同步服务器；
若同步修改类型为更新类型，则发送携带备份数据表的数据表修改指令至待同步服务器。
第二方面，本申请还提供了一种数据同步系统。所述系统包括：同步发起服务器、同步处理服务器和待同步服务器；其中，
同步发起服务器，用于修改原数据表，并发送原数据表和修改数据表至同步处理服务器；原数据表携带数据表查找标识；
同步处理服务器，用于获取同步发起服务器发送的原数据表和修改数据表，将数据表查找标识发送至待同步服务器；
待同步服务器，用于查找并发送数据表查找标识相应的备份数据表至同步处理服务器；
同步处理服务器，用于获取待同步服务器发送的备份数据表，检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器；
待同步服务器，用于将待同步服务器中备份数据表替换为修改数据表。
在其中一个实施例中，
同步发起服务器，进一步用于发送同步修改语句、原数据表和修改数据表至同步处理服务器；
同步处理服务器，进一步用于获取同步发起服务器发送的同步修改语句、原数据表和修改数据表；
同步处理服务器，还用于发送修改数据表至待同步服务器之后，若在设定时间内没有接收到待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至同步发起服务器；
同步发起服务器，还用于接收数据回滚指令并执行数据回滚；
待同步服务器，还用于发送备份数据表对应的可疑数据表至同步处理服务器；
同步处理服务器，还用于获取待同步服务器发送的备份数据表对应的可疑数据表，若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器；
待同步服务器，还用于将可疑数据表修改为与备份数据表一致。
第三方面，本申请还提供了一种数据同步装置，应用于同步处理服务器。
所述装置包括：
数据获取模块，用于获取同步发起服务器的原数据表和修改数据表；所述原数据表携带数据表查找标识；所述修改数据表由所述同步发起服务器根据同步修改语句修改所述原数据表得到；
标识发送模块，用于将所述数据表查找标识发送至待同步服务器，以使所述待同步服务器发送所述数据表查找标识相应的备份数据表至所述同步处理服务器；
备份获取模块，用于获取所述待同步服务器发送的备份数据表；
数据检测模块，用于检测到所述原数据表和所述备份数据表一致时，发送所述修改数据表至所述待同步服务器，以使所述待同步服务器将所述待同步服务器中备份数据表替换为所述修改数据表。
第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取同步发起服务器发送的原数据表和修改数据表；原数据表携带数据表查找标识；修改数据表由同步发起服务器修改原数据表得到；将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器；获取待同步服务器发送的备份数据表；检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取同步发起服务器发送的原数据表和修改数据表；原数据表携带数据表查找标识；修改数据表由同步发起服务器修改原数据表得到；将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器；获取待同步服务器发送的备份数据表；检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
第六方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取同步发起服务器发送的原数据表和修改数据表；原数据表携带数据表查找标识；修改数据表由同步发起服务器修改原数据表得到；将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器；获取待同步服务器发送的备份数据表；检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
上述数据同步方法、装置、计算机设备、存储介质和计算机程序产品，获取同步发起服务器发送的原数据表和修改数据表，原数据表携带数据表查找标识，修改数据表由同步发起服务器修改原数据表得到，将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器，获取待同步服务器发送的备份数据表，检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。该方案获取同步发起服务器发送的原数据表和修改数据表，其中，原数据表携带数据表查找标识，修改数据表由同步发起服务器修改原数据表得到，然后将数据表查找标识发送至待同步服务器，以使待同步服务器根据数据表查找标识查找到相应的备份数据表并将相应的备份数据表发送至同步处理服务器，然后获取待同步服务器发送的备份数据表，当检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表，从而实现提高服务器的数据同步的准确性。
附图说明
图1为一个实施例中数据同步方法的应用环境图；
图2为一个实施例中数据同步方法的流程示意图；
图3为另一个实施例中数据同步方法的流程示意图；
图4为一个实施例中数据同步方法的应用示意图；
图5为一个实施例中检测并修复可疑数据表的步骤的流程示意图；
图6为一个实施例中数据同步装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据同步方法，可以应用于如图1所示的应用环境中。该应用场景可以包括：同步发起服务器110、同步处理服务器120和待同步服务器130，同步发起服务器110和同步处理服务器120可以进行通信连接，同步处理服务器120和待同步服务器130可以进行通信连接。具体的，同步处理服务器120获取同步发起服务器110发送的原数据表和修改数据表，其中，原数据表携带数据表查找标识，修改数据表由同步发起服务器修改原数据表得到，然后将数据表查找标识发送至待同步服务器130，以使待同步服务器130查找并发送数据表查找标识相应的备份数据表至同步处理服务器120，获取待同步服务器130发送的备份数据表，检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器130，以使待同步服务器130将待同步服务器130中备份数据表替换为修改数据表。其中，同步发起服务器110可以用独立的服务器或者是多个服务器组成的服务器集群来实现；同步处理服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现；待同步服务器130可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据同步方法，以该方法应用于图1中的同步处理服务器120为例进行说明，包括以下步骤：
步骤S201，获取同步发起服务器发送的原数据表和修改数据表。
本步骤中，原数据表可以是原来存储在同步发起服务器110中的数据表，原数据表携带数据表查找标识，其中，数据表查找标识用于指示待同步服务器130查找并发送数据表查找标识相应的备份数据表至同步处理服务器120；修改数据表由同步发起服务器110修改原数据表得到，修改数据表可以是同步发起服务器110根据同步修改语句修改原数据表得到的数据表，其中，同步修改语句可以是包括新增类型(insert)、删除类型(delete)或更新类型(update)的维护类语句(如SQL语句)。具体的，同步处理服务器120获取同步发起服务器110发送的原数据表和修改数据表。
步骤S202，将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器。
其中，备份数据表可以是原先存储在待同步服务器130中与数据表查找标识相应的数据表。具体的，同步处理服务器120将数据表查找标识发送至待同步服务器130，以使待同步服务器130查找并发送数据表查找标识相应的备份数据表至同步处理服务器120。
步骤S203，获取待同步服务器发送的备份数据表。
具体的，同步处理服务器120获取待同步服务器130发送的备份数据表。
步骤S204，检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
具体的，同步处理服务器120检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器130，以使待同步服务器130将待同步服务器130中备份数据表替换为修改数据表。
上述数据同步方法中，获取同步发起服务器发送的原数据表和修改数据表，原数据表携带数据表查找标识，修改数据表由同步发起服务器修改原数据表得到，将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器，获取待同步服务器发送的备份数据表，检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。该方案获取同步发起服务器发送的原数据表和修改数据表，其中，原数据表携带数据表查找标识，修改数据表由同步发起服务器修改原数据表得到，然后将数据表查找标识发送至待同步服务器，以使待同步服务器根据数据表查找标识查找到相应的备份数据表并将相应的备份数据表发送至同步处理服务器，然后获取待同步服务器发送的备份数据表，当检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表，从而实现提高服务器的数据同步的准确性。
在一个实施例中，上述步骤S201的获取同步发起服务器的原数据表和修改数据表具体包括：获取同步发起服务器发送的同步修改语句、原数据表和修改数据表；且上述方法还可以通过如下步骤指示同步发起服务器110执行数据回滚和指示待同步服务器130将可疑数据表修改为与备份数据表一致，具体包括：若在设定时间内没有接收到待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至同步发起服务器，以指示同步发起服务器执行数据回滚；获取待同步服务器发送的备份数据表对应的可疑数据表；若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器，以指示待同步服务器将可疑数据表修改为与备份数据表一致。
本实施例中，同步修改语句用于同步处理服务器120根据同步修改语句发送数据表修改指令至待同步服务器130，同步修改语句可以是包括新增类型(insert)、删除类型(delete)或更新类型(update)的维护类语句(如SQL语句)；数据表替换成功的信息可以是待同步服务器130在将待同步服务器130中备份数据表成功替换为修改数据表之后发送至同步处理服务器120的信息；数据回滚指令是指用于指示同步发起服务器110执行数据回滚的指令；可疑数据表可以是待同步服务器130在将待同步服务器130中备份数据表替换为修改数据表的过程失败时得到的与备份数据表对应的数据表，例如可疑数据表可以为与备份数据表一致的数据表、与修改数据表一致的数据表或与修改数据表和备份数据表均不一致的数据表。
具体的，同步处理服务器120获取同步发起服务器110发送的同步修改语句、原数据表和修改数据表，在同步处理服务器120发送修改数据表至待同步服务器130之后，同步处理服务器120若在设定时间内没有接收到待同步服务器130发送的数据表替换成功的信息，则发送数据回滚指令至同步发起服务器110，以指示同步发起服务器110执行数据回滚，获取待同步服务器130发送的备份数据表对应的可疑数据表，若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器130，以指示待同步服务器130将可疑数据表修改为与备份数据表一致。
示例性的，如图3和图4所示，同步发起服务器110(如包含MySql数据库的服务器)通过框架(如MyBatis)中拦截器(如SQL拦截器)拦截并解析获取到的同步修改语句(服务A语句、服务B语句、服务C语句和/或服务N语句，如包括新增类型、删除类型或更新类型的SQL语句)，根据同步修改语句查询到对应的原数据表，将原数据表的所有字段信息进行统一记录和保存，然后获取作用于原数据表的同步修改语句的同步修改类型(如原数据表的修改动作)和修改前的原数据表的数据内容，根据同步修改语句对原数据表进行数据处理，得到修改后的修改数据表，将原数据表和修改数据表发送至同步处理服务器120，同步处理服务器120对接收到的数据进行如格式处理后，将数据表查找标识发送至待同步服务器130(如包含DB2数据库的服务器)，以使待同步服务器130查找并发送数据表查找标识相应的备份数据表至同步处理服务器120，同步处理服务器120获取待同步服务器130发送的备份数据表，检测原数据表和备份数据表是否一致，若不一致，则发送报错信息至同步发起服务器110并发送数据回滚指令(rollback)至同步发起服务器110以指示同步发起服务器110执行数据回滚，若一致，则发送修改数据表至待同步服务器130以使待同步服务器130将待同步服务器130中备份数据表替换为修改数据表。若同步处理服务器120在设定时间内接收到待同步服务器发送的数据表替换成功的信息，则数据同步流程成功，将该次数据同步的状态设置为已同步；若同步处理服务器120在设定时间内接收到待同步服务器发送的数据表替换失败的信息，则同步处理服务器120发送数据回滚指令至同步发起服务器110以指示同步发起服务器110执行数据回滚；若同步处理服务器120在设定时间内没有接收到待同步服务器发送的数据表替换成功的信息，则将该次数据同步的状态设置为可疑，如图5所示，每隔Y分钟(如5分钟)检测是否有可疑状态的数据同步记录，若有，则同步处理服务器120获取待同步服务器130发送的可疑状态的数据同步记录中备份数据表对应的可疑数据表，若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器130，以指示待同步服务器130将可疑数据表修改为与备份数据表一致。
本实施例的技术方案，通过指示同步发起服务器110执行数据回滚和指示待同步服务器130将可疑数据表修改为与备份数据表一致，有利于在数据同步的过程中遇到错误或可疑的情况时，不产生错误的数据或不丢失中间数据，从而有利于提高数据同步的准确性和一致性。
在一个实施例中，上述方法还可以通过如下步骤向同步发起服务器110发送报警信息，具体包括：若检测到可疑数据表与修改数据表和备份数据表均不一致，则向同步发起服务器发送报警信息。
具体的，如图5所示，同步处理服务器120获取待同步服务器130中备份数据表对应的可疑数据表之后，若检测到可疑数据表与修改数据表和备份数据表均不一致，则向同步发起服务器110发送报警信息，并更新双写跟踪表记录为批量同步失败。
本实施例的技术方案，通过向同步发起服务器110发送报警信息，有利于当数据同步过程中发生错误且无法自行修复时，进行报警以使尽早通过如人工处理等手段进行数据同步修复。
在一个实施例中，上述方法还可以通过如下步骤根据同步修改语句包含的同步修改类型发送数据表修改指令至待同步服务器130，具体包括：检测同步修改语句包含的同步修改类型；若同步修改类型为新增类型，则发送携带同步修改类型为删除类型的数据表修改指令至待同步服务器；若同步修改类型为删除类型，则发送携带同步修改类型为新增类型的数据表修改指令至待同步服务器；若同步修改类型为更新类型，则发送携带备份数据表的数据表修改指令至待同步服务器。
本实施例中，同步修改语句包含同步修改类型；同步修改类型包括新增类型、删除类型或更新类型。
具体的，如图5所示，同步处理服务器120检测同步修改语句包含的同步修改类型，若检测到同步修改类型为新增类型(insert)，则发送携带同步修改类型为删除类型(delete)的数据表修改指令(例如，若同步修改语句为新增Z1数据，则数据表修改指令可为删除Z1数据)至待同步服务器130；若同步修改类型为删除类型(delete)，则发送携带同步修改类型为新增类型(insert)的数据表修改指令(例如，若同步修改语句为删除Z2数据，则数据表修改指令可为新增Z2数据)至待同步服务器130；若同步修改类型为更新类型(update)，则发送携带备份数据表的数据表修改指令(例如数据表修改指令为将可疑数据表替换为备份数据表，以使可疑数据表更新为修改前记录的数据表)至待同步服务器130。
本实施例的技术方案，通过根据同步修改语句包含的同步修改类型发送数据表修改指令至待同步服务器130，有利于当同步处理服务器120检测到可疑数据表与修改数据表一致时，更准确地指示待同步服务器130将可疑数据表修改为与备份数据表一致，从而有利于提高数据同步的准确性和一致性。
在一个实施例中，提供了一种数据同步系统，参考图1，该数据同步系统具体包括同步发起服务器、同步处理服务器和待同步服务器；其中，
同步发起服务器110用于修改原数据表，并发送原数据表和修改数据表至同步处理服务器120；其中，原数据表携带数据表查找标识；
同步处理服务器120用于获取同步发起服务器110发送的原数据表和修改数据表，将数据表查找标识发送至待同步服务器130；
待同步服务器130用于查找并发送数据表查找标识相应的备份数据表至同步处理服务器120；
同步处理服务器120用于获取待同步服务器130发送的备份数据表，检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器130；
待同步服务器130用于将待同步服务器130中备份数据表替换为修改数据表。具体的，参考图1，待同步服务器130具体可以用于接收同步处理服务器120发送的修改数据表，并将待同步服务器130中备份数据表替换为修改数据表，从而实现提高服务器的数据同步的准确性。
在一个实施例中，
同步发起服务器110进一步用于发送同步修改语句、原数据表和修改数据表至同步处理服务器120；
同步处理服务器120进一步用于获取同步发起服务器110发送的同步修改语句、原数据表和修改数据表；
同步处理服务器120还用于发送修改数据表至待同步服务器130之后，若在设定时间内没有接收到待同步服务器130发送的数据表替换成功的信息，则发送数据回滚指令至同步发起服务器110；
同步发起服务器110还用于接收数据回滚指令并执行数据回滚；
待同步服务器130还用于发送备份数据表对应的可疑数据表至同步处理服务器120；
同步处理服务器120还用于获取待同步服务器130发送的备份数据表对应的可疑数据表，若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器130；
待同步服务器130还用于将可疑数据表修改为与备份数据表一致。从而有利于提高数据同步的准确性和一致性。
在一个实施例中，
同步处理服务器120还用于获取待同步服务器130中备份数据表对应的可疑数据表之后，若检测到可疑数据表与修改数据表和备份数据表均不一致，则向同步发起服务器110发送报警信息。
在一个实施例中，
同步处理服务器120进一步用于检测同步修改语句包含的同步修改类型；若同步修改类型为新增类型，则发送携带同步修改类型为删除类型的数据表修改指令至待同步服务器130；若同步修改类型为删除类型，则发送携带同步修改类型为新增类型的数据表修改指令至待同步服务器130；若同步修改类型为更新类型，则发送携带备份数据表的数据表修改指令至待同步服务器130。
其中，同步修改语句包含同步修改类型；同步修改类型包括新增类型(insert)、删除类型(delete)或更新类型(update)。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据同步方法的数据同步装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据同步装置实施例中的具体限定可以参见上文中对于数据同步方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种数据同步装置，该装置600可以包括：
数据获取模块601，用于获取同步发起服务器的原数据表和修改数据表；所述原数据表携带数据表查找标识；所述修改数据表由所述同步发起服务器根据同步修改语句修改所述原数据表得到；
标识发送模块602，用于将所述数据表查找标识发送至待同步服务器，以使所述待同步服务器发送所述数据表查找标识相应的备份数据表至所述同步处理服务器；
备份获取模块603，用于获取所述待同步服务器发送的备份数据表；
数据检测模块604，用于检测到所述原数据表和所述备份数据表一致时，发送所述修改数据表至所述待同步服务器，以使所述待同步服务器将所述待同步服务器中备份数据表替换为所述修改数据表。
在一个实施例中，数据获取模块601，还用于获取所述同步发起服务器发送的同步修改语句、原数据表和修改数据表；该装置600还包括：指令发送模块，用于若在设定时间内没有接收到所述待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至所述同步发起服务器，以指示所述同步发起服务器执行数据回滚；获取所述待同步服务器发送的所述备份数据表对应的可疑数据表；若检测到所述可疑数据表与所述修改数据表一致，则根据所述同步修改语句发送数据表修改指令至所述待同步服务器，以指示所述待同步服务器将所述可疑数据表修改为与所述备份数据表一致。
在一个实施例中，指令发送模块，还用于若检测到所述可疑数据表与所述修改数据表和备份数据表均不一致，则向所述同步发起服务器发送报警信息。
在一个实施例中，所述同步修改语句包含同步修改类型；所述同步修改类型包括新增类型、删除类型或更新类型；指令发送模块，还用于检测所述同步修改语句包含的同步修改类型；若所述同步修改类型为新增类型，则发送携带同步修改类型为删除类型的数据表修改指令至所述待同步服务器；若所述同步修改类型为删除类型，则发送携带同步修改类型为新增类型的数据表修改指令至所述待同步服务器；若所述同步修改类型为更新类型，则发送携带备份数据表的数据表修改指令至所述待同步服务器。
上述数据同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
需要说明的是，本申请提供的数据同步的方法和装置可用于金融领域涉及数据同步的应用领域中，也可用于除金融领域之外的任意领域涉及数据同步的处理中，本申请提供的数据同步的方法和装置的应用领域不做限定。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原数据表、修改数据表和备份数据表数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据同步方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取同步发起服务器发送的原数据表和修改数据表；原数据表携带数据表查找标识；修改数据表由同步发起服务器修改原数据表得到；将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器；获取待同步服务器发送的备份数据表；检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取同步发起服务器发送的同步修改语句、原数据表和修改数据表；
若在设定时间内没有接收到待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至同步发起服务器，以指示同步发起服务器执行数据回滚；获取待同步服务器发送的备份数据表对应的可疑数据表；若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器，以指示待同步服务器将可疑数据表修改为与备份数据表一致。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若检测到可疑数据表与修改数据表和备份数据表均不一致，则向同步发起服务器发送报警信息。
在一个实施例中，同步修改语句包含同步修改类型；同步修改类型包括新增类型、删除类型或更新类型；处理器执行计算机程序时还实现以下步骤：
检测同步修改语句包含的同步修改类型；若同步修改类型为新增类型，则发送携带同步修改类型为删除类型的数据表修改指令至待同步服务器；若同步修改类型为删除类型，则发送携带同步修改类型为新增类型的数据表修改指令至待同步服务器；若同步修改类型为更新类型，则发送携带备份数据表的数据表修改指令至待同步服务器。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取同步发起服务器发送的原数据表和修改数据表；原数据表携带数据表查找标识；修改数据表由同步发起服务器修改原数据表得到；将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器；获取待同步服务器发送的备份数据表；检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取同步发起服务器发送的同步修改语句、原数据表和修改数据表；
若在设定时间内没有接收到待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至同步发起服务器，以指示同步发起服务器执行数据回滚；获取待同步服务器发送的备份数据表对应的可疑数据表；若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器，以指示待同步服务器将可疑数据表修改为与备份数据表一致。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若检测到可疑数据表与修改数据表和备份数据表均不一致，则向同步发起服务器发送报警信息。
在一个实施例中，同步修改语句包含同步修改类型；同步修改类型包括新增类型、删除类型或更新类型；计算机程序被处理器执行时还实现以下步骤：
检测同步修改语句包含的同步修改类型；若同步修改类型为新增类型，则发送携带同步修改类型为删除类型的数据表修改指令至待同步服务器；若同步修改类型为删除类型，则发送携带同步修改类型为新增类型的数据表修改指令至待同步服务器；若同步修改类型为更新类型，则发送携带备份数据表的数据表修改指令至待同步服务器。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取同步发起服务器发送的原数据表和修改数据表；原数据表携带数据表查找标识；修改数据表由同步发起服务器修改原数据表得到；将数据表查找标识发送至待同步服务器，以使待同步服务器查找并发送数据表查找标识相应的备份数据表至同步处理服务器；获取待同步服务器发送的备份数据表；检测到原数据表和备份数据表一致时，发送修改数据表至待同步服务器，以使待同步服务器将待同步服务器中备份数据表替换为修改数据表。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取同步发起服务器发送的同步修改语句、原数据表和修改数据表；
若在设定时间内没有接收到待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至同步发起服务器，以指示同步发起服务器执行数据回滚；获取待同步服务器发送的备份数据表对应的可疑数据表；若检测到可疑数据表与修改数据表一致，则根据同步修改语句发送数据表修改指令至待同步服务器，以指示待同步服务器将可疑数据表修改为与备份数据表一致。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若检测到可疑数据表与修改数据表和备份数据表均不一致，则向同步发起服务器发送报警信息。
在一个实施例中，同步修改语句包含同步修改类型；同步修改类型包括新增类型、删除类型或更新类型；计算机程序被处理器执行时还实现以下步骤：
检测同步修改语句包含的同步修改类型；若同步修改类型为新增类型，则发送携带同步修改类型为删除类型的数据表修改指令至待同步服务器；若同步修改类型为删除类型，则发送携带同步修改类型为新增类型的数据表修改指令至待同步服务器；若同步修改类型为更新类型，则发送携带备份数据表的数据表修改指令至待同步服务器。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据同步方法，其特征在于，应用于同步处理服务器，所述方法包括：
获取同步发起服务器发送的原数据表和修改数据表；所述原数据表携带数据表查找标识；所述修改数据表由所述同步发起服务器修改所述原数据表得到；
将所述数据表查找标识发送至待同步服务器，以使所述待同步服务器查找并发送所述数据表查找标识相应的备份数据表至所述同步处理服务器；
获取所述待同步服务器发送的备份数据表；
检测到所述原数据表和所述备份数据表一致时，发送所述修改数据表至所述待同步服务器，以使所述待同步服务器将所述待同步服务器中备份数据表替换为所述修改数据表。
2.根据权利要求1所述的方法，其特征在于，
所述获取同步发起服务器的原数据表和修改数据表，包括：
获取所述同步发起服务器发送的同步修改语句、原数据表和修改数据表；
所述发送所述修改数据表至所述待同步服务器之后，所述方法还包括：
若在设定时间内没有接收到所述待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至所述同步发起服务器，以指示所述同步发起服务器执行数据回滚；
获取所述待同步服务器发送的所述备份数据表对应的可疑数据表；
若检测到所述可疑数据表与所述修改数据表一致，则根据所述同步修改语句发送数据表修改指令至所述待同步服务器，以指示所述待同步服务器将所述可疑数据表修改为与所述备份数据表一致。
3.根据权利要求2所述的方法，其特征在于，所述获取所述待同步服务器中备份数据表对应的可疑数据表之后，所述方法还包括：
若检测到所述可疑数据表与所述修改数据表和备份数据表均不一致，则向所述同步发起服务器发送报警信息。
4.根据权利要求2所述的方法，其特征在于，所述同步修改语句包含同步修改类型；所述同步修改类型包括新增类型、删除类型或更新类型；所述根据所述同步修改语句发送数据表修改指令至所述待同步服务器，包括：
检测所述同步修改语句包含的同步修改类型；
若所述同步修改类型为新增类型，则发送携带同步修改类型为删除类型的数据表修改指令至所述待同步服务器；
若所述同步修改类型为删除类型，则发送携带同步修改类型为新增类型的数据表修改指令至所述待同步服务器；
若所述同步修改类型为更新类型，则发送携带备份数据表的数据表修改指令至所述待同步服务器。
5.一种数据同步系统，其特征在于，包括同步发起服务器、同步处理服务器和待同步服务器；其中，
所述同步发起服务器，用于修改原数据表，并发送所述原数据表和修改数据表至所述同步处理服务器；所述原数据表携带数据表查找标识；
所述同步处理服务器，用于获取所述同步发起服务器发送的原数据表和修改数据表，将所述数据表查找标识发送至所述待同步服务器；
所述待同步服务器，用于查找并发送所述数据表查找标识相应的备份数据表至所述同步处理服务器；
所述同步处理服务器，用于获取所述待同步服务器发送的备份数据表，检测到所述原数据表和所述备份数据表一致时，发送所述修改数据表至所述待同步服务器；
所述待同步服务器，用于将所述待同步服务器中备份数据表替换为所述修改数据表。
6.根据权利要求5所述的系统，其特征在于，
所述同步发起服务器，进一步用于发送所述同步修改语句、原数据表和修改数据表至所述同步处理服务器；
所述同步处理服务器，进一步用于获取所述同步发起服务器发送的同步修改语句、原数据表和修改数据表；
所述同步处理服务器，还用于发送所述修改数据表至所述待同步服务器之后，若在设定时间内没有接收到所述待同步服务器发送的数据表替换成功的信息，则发送数据回滚指令至所述同步发起服务器；
所述同步发起服务器，还用于接收数据回滚指令并执行数据回滚；
所述待同步服务器，还用于发送所述备份数据表对应的可疑数据表至所述同步处理服务器；
所述同步处理服务器，还用于获取所述待同步服务器发送的所述备份数据表对应的可疑数据表，若检测到所述可疑数据表与所述修改数据表一致，则根据所述同步修改语句发送数据表修改指令至所述待同步服务器；
所述待同步服务器，还用于将所述可疑数据表修改为与所述备份数据表一致。
7.一种数据同步装置，其特征在于，应用于同步处理服务器，所述装置包括：
数据获取模块，用于获取同步发起服务器的原数据表和修改数据表；所述原数据表携带数据表查找标识；所述修改数据表由所述同步发起服务器根据同步修改语句修改所述原数据表得到；
标识发送模块，用于将所述数据表查找标识发送至待同步服务器，以使所述待同步服务器发送所述数据表查找标识相应的备份数据表至所述同步处理服务器；
备份获取模块，用于获取所述待同步服务器发送的备份数据表；
数据检测模块，用于检测到所述原数据表和所述备份数据表一致时，发送所述修改数据表至所述待同步服务器，以使所述待同步服务器将所述待同步服务器中备份数据表替换为所述修改数据表。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111392745.3A CN114064674A (zh) | 2021-11-23 | 2021-11-23 | 数据同步方法、装置、计算机设备、存储介质和产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111392745.3A CN114064674A (zh) | 2021-11-23 | 2021-11-23 | 数据同步方法、装置、计算机设备、存储介质和产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114064674A true CN114064674A (zh) | 2022-02-18 |
Family
ID=80279320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111392745.3A Pending CN114064674A (zh) | 2021-11-23 | 2021-11-23 | 数据同步方法、装置、计算机设备、存储介质和产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114064674A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115433A (zh) * | 2022-07-19 | 2022-09-27 | 深圳市享多多网络技术有限公司 | 订单数据处理方法、装置、计算机设备和存储介质 |
-
2021
- 2021-11-23 CN CN202111392745.3A patent/CN114064674A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115433A (zh) * | 2022-07-19 | 2022-09-27 | 深圳市享多多网络技术有限公司 | 订单数据处理方法、装置、计算机设备和存储介质 |
| CN115115433B (zh) * | 2022-07-19 | 2023-09-05 | 深圳市享多多网络技术有限公司 | 订单数据处理方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11740974B2 (en) | Restoring a database using a fully hydrated backup | |
| CN106570086B (zh) | 数据迁移系统及数据迁移方法 | |
| US11935015B2 (en) | Data processing method and apparatus, computer device, and storage medium | |
| US10204016B1 (en) | Incrementally backing up file system hard links based on change logs | |
| US8874626B2 (en) | Tracking files and directories related to unsuccessful change operations | |
| CN107085613B (zh) | 入库文件的过滤方法和装置 | |
| US20130275369A1 (en) | Data record collapse and split functionality | |
| US12001290B2 (en) | Performing a database backup based on automatically discovered properties | |
| CN112596951A (zh) | 一种nas数据容灾方法、装置、设备及存储介质 | |
| CN114064674A (zh) | 数据同步方法、装置、计算机设备、存储介质和产品 | |
| US20210303404A1 (en) | Systems and methods for database migration | |
| CN108664255B (zh) | 一种软件升级方法及装置 | |
| CN112579591B (zh) | 数据校验方法、装置、电子设备及计算机可读存储介质 | |
| CN111090701B (zh) | 业务请求处理方法、装置、可读存储介质和计算机设备 | |
| US11157459B2 (en) | Granular data self-healing | |
| CN114416689A (zh) | 数据迁移方法、装置、计算机设备、存储介质 | |
| CN115292097B (zh) | 数据库实例创建方法、装置、设备、存储介质和程序产品 | |
| CN112711608B (zh) | 数据展示方法、装置、计算机可读存储介质和计算机设备 | |
| CN115190015A (zh) | 软负载系统配置方法、装置、计算机设备和存储介质 | |
| US20220229741A1 (en) | Protecting databases in a clusterless availability group | |
| CN114416886A (zh) | 一种确定数据关系的方法、装置、设备及存储介质 | |
| CN117827978A (zh) | 数据冲突处理方法、装置、计算机设备和存储介质 | |
| CN114115981A (zh) | 信息处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN116346620A (zh) | 运维方法、装置、计算机设备和存储介质 | |
| US10235438B2 (en) | Removal of invisible data packages in data warehouses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |