CN116303794A - 基于cdc同步的数据冲突处理方法、装置及计算机设备 - Google Patents

Abstract

本文涉及大数据、金融科技领域，尤其涉及基于cdc同步的数据冲突处理方法、装置及计算机设备。所述方法包括检测cdc同步日志中是否存在同步冲突；若确定存在同步冲突，从cdc同步日志中提取同步冲突相关数据；分析同步冲突相关数据以确定同步冲突的冲突类型；根据同步冲突的冲突类型确定同步冲突的解决组件，解决组件与同步冲突的冲突类型对应；调用解决组件处理同步冲突。本文通过对cdc同步冲突记录日志的关键字匹配分析，筛选出导致预定报错的冲突报错；通过若干解决组件或解决方式，分别解决对应的冲突报错，并以脚本方式，自动化进行修复；通过记录scn号，按中断时的scn启动再次启动预定复制，保证中断后的数据不丢失。

Description

基于cdc同步的数据冲突处理方法、装置及计算机设备

技术领域

本文涉及大数据、金融科技领域，尤其是基于cdc同步的数据冲突处理方法、装置及计算机设备。

背景技术

变更数据捕获(Change Data Capture,cdc)工具，是一种基于数据库日志的增量数据同步工具，主要用于两个数据库间数据同步。Cdc工具架构包括一台服务器上的控制端和两台数据库上的实例端。在使用时，需要在实例端建立数据存储器，并在控制端建立预定。预定是很多源端和目标端的表组成的含有数据同步映射关系的集合。

在cdc工具运行中，当出现数据同步冲突时，会导致预定异常、数据复制直接中断。造成异常。现有技术通过人工分析异常，确定异常原因，效率低，异常分析的准确度也无法保证。

发明内容

为解决上述现有技术中数据同步中断异常分析效率低、不准确的问题，本文实施例提供了基于cdc同步的数据冲突处理方法、装置及计算机设备。

本文实施例提供了一种基于cdc同步的数据冲突处理方法，所述方法包括：检测cdc同步日志中是否存在同步冲突；若确定存在同步冲突，从所述cdc同步日志中提取同步冲突相关数据；分析所述同步冲突相关数据以确定同步冲突的冲突类型；根据所述同步冲突的冲突类型确定同步冲突的解决组件，所述解决组件与同步冲突的冲突类型一一对应；调用所述解决组件处理同步冲突。

根据本文实施例的一个方面，检测cdc同步日志中是否存在同步冲突包括：利用第一关键字依次对所述cdc同步日志中的每一行进行正则匹配；判断是否匹配到错误结果；若是，确定存在同步冲突；若否，确定不存在同步冲突，等待cdc同步日志中出现新日志，并检测所述新日志中是否存在同步冲突。

根据本文实施例的一个方面，若确定存在同步冲突，从所述cdc同步日志中提取同步冲突相关数据包括：创建同步冲突记录表的格式，所述同步冲突记录表格式包括时间戳字段、错误码字段、错误描述信息字段；将发生同步冲突的日志中与时间相关的字符串，记录到同步冲突记录表中的时间戳字段中；确定发生同步冲突的日志中利用第一关键字正则匹配到的字符串；将所述字符串的下一字符串，记录到同步冲突记录表中的错误码字段中。

根据本文实施例的一个方面，所述从所述cdc同步日志中提取同步冲突相关数据还包括：若错误码为第一类型错误码，从所述下一字符串位置处，将利用第二及第三关键字正则匹配到的下一字符串，记录到同步冲突记录表中的错误描述信息字段中；若所述错误码为第二类型错误码，从下一字符串位置处，利用第二及第四关键字正则匹配到的完整sql语句，记录到同步冲突记录表中的错误描述信息字段中。

根据本文实施例的一个方面，所述方法还包括：将发生同步冲突的日志中首个字符串后的三个字符串，分别依次记录到同步冲突记录表中的预定名字段、库名字段、表名字段中。

根据本文实施例的一个方面，分析所述同步冲突相关数据，确定同步冲突的冲突类型包括：若所述同步冲突记录表中的错误码为第一类型错误码，确定第一类型错误码对应的冲突类型为表结构冲突；若所述同步冲突记录表中的错误码为第二类型错误码，确定第二类型错误码对应的冲突类型为数据冲突。

根据本文实施例的一个方面，确定同步冲突的冲突类型包括：所述同步冲突记录表中的错误码为第一类型错误码中的第一错误码，确定同步冲突的冲突类型为源表结构冲突；所述同步冲突记录表中的错误码为第一类型错误码中的第二错误码，确定同步冲突的冲突类型为目标表结构冲突。

根据本文实施例的一个方面，根据所述同步冲突的冲突类型确定同步冲突的解决组件包括：若所述冲突类型为源表结构冲突，确定对应的解决组件为表定义更新组件；若所述冲突类型为目标表结构冲突，确定对应的解决组件为原有预定导出组件、原有预定删除组件及正确预定更新组件；若所述冲突类型为数据冲突，确定对应的解决组件为数据库语句修改组件。

根据本文实施例的一个方面，利用所述解决组件，处理同步冲突包括：利用所述表定义更新组件生成表定义更新脚本，通过运行所述表定义更新脚本更新预定中的表定义，其中，所述表定义更新脚本根据同步冲突记录中第一错误码对应的预定名、表名确定；利用所述原有预定导出组件、原有预定删除组件及正确预定更新组件，生成导入正确预定信息脚本，通过运行正确预定信息导入脚本，导入正确的预定信息；利用数据库语句修改组件，若所述错误码为第二类型错误码中的第一错误码，根据表名、错误描述信息生成插入语句，将所述插入语句插入至目标端数据库；利用数据库语句修改组件，若所述错误码为第二类型错误码中的第二错误码，根据表名、错误描述信息生成删除语句，运行所述删除语句，删除目标端数据库中的重复数据。

根据本文实施例的一个方面，所述方法还包括：根据所述解决组件处理所述同步冲突的情况，确定冲突处理进度，并记录在同步冲突记录表中的进度字段中。

根据本文实施例的一个方面，所述分析同步冲突日志还包括：根据同步冲突记录表中的库名字段，确定发生同步冲突的源端数据库；从所述源端数据库中获取scn号，所述scn号用于记录预定中断的时间。

根据本文实施例的一个方面，当所述进度为已完成，所述方法包括：根据所述scn号确定预定启动脚本；执行所述预定启动脚本启动所述预定。

本文实施例提供了一种基于cdc同步的数据冲突处理装置，所述装置包括：冲突检测单元，用于检测cdc同步日志中是否存在同步冲突；数据提取单元，用于若确定存在同步冲突，从所述cdc同步日志中提取同步冲突相关数据；冲突类型确定单元，用于分析所述同步冲突相关数据以确定同步冲突的冲突类型；解决组件确定单元，用于根据所述同步冲突的冲突类型确定同步冲突的解决组件，所述解决组件与同步冲突的冲突类型一一对应；处理单元，用于调用所述解决组件处理同步冲突。

本文实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于cdc同步的数据冲突处理方法。

本文实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于cdc同步的数据冲突处理方法。

本方案通过对cdc同步冲突记录日志的关键字匹配分析，筛选出导致预定报错的冲突报错；通过若干解决组件或解决方式，分别解决对应的冲突报错，并以脚本方式自动进行修复。

附图说明

为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本文实施例一种基于cdc同步的数据冲突处理方法的流程图；

图2所示为本文实施例一种检测cdc同步日志中是否存在同步冲突的方法流程图；

图3所示为本文实施例一种提取同步冲突相关数据的方法流程图；

图4所示为本文实施例另一种提取同步冲突相关数据的方法流程图；

图5所示为本文实施例一种确定同步冲突的冲突类型的方法流程图；

图6所示为本文实施例另一种确定同步冲突的冲突类型的方法流程图；

图7所示为本文实施例一种确定同步冲突的解决组件的方法流程图；

图8所示为本文实施例一种处理同步冲突的方法流程图；

图9所示为本文实施例一种确定同步中断时间的方法流程图；

图10所示为本文实施例一种启动预定的方法流程图；

图11所示为本文实施例一种基于cdc同步的数据冲突处理装置的结构示意图；

图12所示为本实施例基于cdc同步的数据冲突处理装置的具体结构示意图；

图13所示为本文实施例一种计算机设备的结构示意图。

附图符号说明：

1101、冲突检测单元；

11011、正则匹配模块；

1102、数据提取单元；

11021、同步冲突记录表创建模块；

11022、记录模块；

1103、冲突类型确定单元；

11031、表结构冲突确定模块；

11032、数据冲突确定模块；

1104、解决组件确定单元；

1105、处理单元；

1302、计算机设备；

1304、处理器；

1306、存储器；

1308、驱动机构；

1310、输入/输出模块；

1312、输入设备；

1314、输出设备；

1316、呈现设备；

1318、图形用户接口；

1320、网络接口；

1322、通信链路；

1324、通信总线。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。

需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。

需要说明的是，本文的基于cdc同步的数据冲突处理方法可用于大数据领域，也可用于金融科技等领域，本文对基于cdc同步的数据冲突处理方法及装置的应用领域不做限定。

图1所示为本文实施例一种基于cdc同步的数据冲突处理方法的流程图，具体包括如下步骤：

步骤101，检测cdc同步日志中是否存在同步冲突。在本申请中，cdc工具作为一种基于数据库日志的增量数据同步工具，用于实现两个数据库间的数据同步。cdc工具的架构包括：一台服务器上的控制端和两台数据库上的实例端。其中，两台数据库分别包括：源端数据库和目标端数据库。在cdc工具的实际使用过程中，需要在实例端建立数据存储器，在控制端建立预定。数据同步为将源端数据库中部分表中的新增数据，复制到对应的目标端数据库的部分表中，或者为，将源端数据库中新增数据幅值到目标端数据库中的过程。同步冲突即为数据同步过程中发生复制异常、导致中断的情形。

所述cdc同步日志用于记录预定的数据同步状态，其中，预定是由源端数据库中的表、目标端数据库的表组成的含有数据同步映射关系的集合。每张表中包括多个字段。数据同步包括源端数据库与目标端数据库之间的同步、源端数据库中的表与目标端数据库中的表的同步、源端数据库中表的字段与目标数据库的表中的字段的同步。

步骤102，若确定存在同步冲突，从所述cdc同步日志中提取同步冲突相关数据。在本步骤中，若数据同步过程中发生冲突，将导致预定异常或直接中断。其中，数据同步过程中发生冲突主要表现为：表结构冲突及数据冲突两种类型。若数据同步过程中没有出现表结构冲突或数据冲突，则不会发生同步冲突。

若从cdc同步日志中检测到同步冲突，将同步冲突相关的数据提取出来。在本说明书的一些实施例中，可以将提取出的同步冲突相关数据以固定格式记录在特定的表中，也可以将同步冲突相关的数据以其他形式记录，例如，word文档、txt格式等。本申请对提出的同步冲突相关数据如何记录的方式不作限定。

步骤103，分析所述同步冲突相关数据以确定同步冲突的冲突类型。本步骤中，通过分析同步冲突相关数据中的具体字段，分析并确定该同步冲突数据所属的冲突类型。

步骤104，根据所述同步冲突的冲突类型确定同步冲突的解决组件，所述解决组件与同步冲突的冲突类型一一对应。在本步骤中，可以根据预先设定的冲突类型及解决组件的映射关系，确定与冲突类型对应的解决组件。本申请中的解决组件根据同步冲突的常见原因预先设定，相较于在同步冲突发生后，人工分析冲突原因及确定对应的解决方法而言，能实现自动化修复错误，替代人工操作，处理同步冲突的效率更高。

步骤105，调用所述解决组件处理同步冲突。通过调用对应的解决组件，形成解决方法，利用解决方法处理同步冲突。在本说明书的一些实施例中，不同的解决组件可以分别单独对应于一种同步冲突，多个解决组件也可以以组合的形式共同用于解决一种同步冲突。

图2所示为本文实施例一种检测cdc同步日志中是否存在同步冲突的方法流程图，具体包括如下步骤：

步骤201，利用第一关键字依次对所述cdc同步日志中的每一行进行正则匹配。本步骤中，利用第一关键字对cdc同步日志中的每一行日志数据分别进行正则匹配。进行正则匹配的第一关键字可以选择用于进行错误匹配的关键字，例如：errCONFAUD。

步骤202，判断是否匹配到错误结果。

步骤203，若是，确定存在同步冲突。若匹配到错误结果，说明在cdc同步日志中检测到冲突。其中，发生同步冲突的cdc同步日志的形式可以为如下示例：06/03/23/07:37.53.144GCCMCM1408 TS_GCCM PLG_HOUSE_TRADE_STORAGE[CDC][ORACLE JDBC Driver][errCONFAUD]ora-00904invalid identifier.Caused by：发生SQL异常。

步骤204，若否，确定不存在同步冲突，等待cdc同步日志中出现新日志，并检测所述新日志中是否存在同步冲突。若没有匹配到错误结果，说明cdc同步日志中不存在同步冲突，则继续等待cdc同步日志中出现的新日志，并利用第一关键字正则匹配的方式检测新日志是否存在同步冲突。

图3所示为本文实施例一种提取同步冲突相关数据的方法流程图，具体包括如下步骤：

步骤301，创建同步冲突记录表的格式，所述同步冲突记录表格式包括时间戳字段、错误码字段。本步骤中，通过创建同步冲突记录表的方式，记录从cdc同步日志中提取出的同步冲突相关数据。本步骤中，同步冲突记录表除了包括时间戳字段、错误码字段之外，还可以包括错误描述信息字段等。

步骤302，将发生同步冲突的日志中与时间相关的字符串，记录到同步冲突记录表中的时间戳字段中。本步骤为将提取出的同步冲突相关数据存储到同步冲突记录表中的过程。从检测到发生同步冲突的日志中，提取记录日志发生时间相关的字符串，将该字符串记录在同步冲突记录表中的时间戳字段中，用于表明该同步冲突记录发生的时间。

步骤303，确定发生同步冲突的日志中利用第一关键字正则匹配到的字符串。根据步骤201中利用第一关键字对同步日志进行正则匹配，得到的错误结果所在位置的字符串。例如，该位置为发生同步冲突的日志中的第三个字符串。

步骤304，将所述字符串的下一字符串，记录到同步冲突记录表中的错误码字段中。在本说明书的一些实施例中，所述字符串的下一字符串可以用于标识同步冲突的错误代码。若所述字符串的位置为发生同步冲突的日志中的第三个字符串，则选取该日志中的第四个字符串，记录到同步冲突记录表中的错误码字段中。本申请中提取发生同步冲突的日志中的关键字段，并将关键字段进行整理、记录，方便后续根据这些关键字段进行匹配分析，进一步筛选冲突报错。

在本说明书的另外一些实施例中，用于标识同步冲突的错误代码的字符串的位置不一定在利用第一关键字正则匹配到的错误结果所在位置的字符串的下一个字符串，则可以根据cdc同步日志的格式，采用其他方式确定表示同步冲突的错误代码所在的位置。

图4所示为本文实施例另一种提取同步冲突相关数据的方法流程图，具体包括如下步骤：

步骤401，若错误码为第一类型错误码，从所述下一字符串位置处，将利用第二及第三关键字正则匹配到的下一字符串，记录到同步冲突记录表中的错误描述信息字段中。在本说明书的一些实施例中，第一类型错误码具体包括四种具体的错误码。其中，具体的错误码可以是发生同步冲突的日志中直接显示的错误码，例如，也可以是根据日志中显示的错误码经过转化的错误码。

以经过转化过的错误码为例，第一类型的错误码包括a、b、c、d四种错误码。若确定同步冲突记录表中的错误码为a、b、c、d中的任意一种，则从该错误码的下一字符串开始，利用第二关键字及第三关键字进行正则匹配。其中，第二关键字用于正则关键字“{”。若正则到“{”，从该字符位置后，逐字符串利用第二关键字“columns”进行正则匹配。若得到正则匹配的结果，将正则到的结果后面两个字符串记录在同步冲突记录表中的错误描述信息字段中。

步骤402，若所述错误码为第二类型错误码，从下一字符串位置处，利用第二及第四关键字正则匹配到的完整sql语句，记录到同步冲突记录表中的错误描述信息字段中。

与步骤401对应的，以经过转化过的错误码为例，第二类型的错误码包括e、f量种错误码。若确定同步冲突记录表中的错误码为e、f中的任意一种，则从该错误码的下一字符串开始，利用第二关键字及第四关键字进行正则匹配。其中，第二关键字用于正则关键字“{”。若正则到“{”，从该字符位置后，利用第四关键字“data”匹配sql命令。将匹配到的完整的sql命令记录在同步冲突记录表的错误描述信息字段中。

在本说明书的一些实施例中，将发生同步冲突的日志中首个字符串后的三个字符串，分别依次记录到同步冲突记录表中的预定名字段、库名字段、表名字段中。基于本申请中cdc同步日志格式，日志中首个字符串后的三个字符串分别表示预定名、数据库名及表名。在本说明书的其他一些实施例中，发生同步冲突的日志的格式并不限定，因此表示预定名、数据库名及表名的字段位置可能不同。本申请在此对预定名字段、库名字段及表名字段的位置，及确定上述字段的方式不作限定。

图5所示为本文实施例一种确定同步冲突的冲突类型的方法流程图，具体包括如下步骤：

步骤501，若所述同步冲突记录表中的错误码为第一类型错误码，确定第一类型错误码对应的冲突类型为表结构冲突。如图4中所述，若从同步冲突记录表的错误码字段确定某同步冲突记录的错误码为a、b、c、d中的任意一种，确定该错误码为第一类型错误码，并可以确定第一类型错误码对应的冲突类型为表结构冲突。

步骤502，若所述同步冲突记录表中的错误码为第二类型错误码，确定第二类型错误码对应的冲突类型为数据冲突。如图4中所述，若从同步冲突记录表的错误码字段确定某同步冲突记录的错误码为e、f中的任意一种，确定该错误码为第二类型错误码，并可以确定第一类型错误码对应的冲突类型为数据冲突。

图6所示为本文实施例另一种确定同步冲突的冲突类型的方法流程图，具体包括如下步骤：

步骤601，所述同步冲突记录表中的错误码为第一类型错误码中的第一错误码，确定同步冲突的冲突类型为源表结构冲突。进一步的，若从同步冲突记录表的错误码字段确定某同步冲突记录的错误码为a、b的任意一种，确定该错误码为第一类型错误码中的第一错误码，并可以确定第一错误码对应的冲突类型为源表结构冲突。更进一步的，源表结构冲突包括：源端比目标端多字段(错误码为a)、源表字段扩位(错误码为b)两种冲突类型。

源端比目标端多字段为：在预定运行中，cdc的控制端记录源端登记的字段本来就比目标端多，如果cdc同步工具未对多出的字段更新数据，预定不会中断；但若cdc同步工具更新了目标端没有的字段，预定同步过程将会发生中断。

源端字段扩位为：在预定运行中，源端数据库的表突然进行了ddl的新增字段语句，导致cdc的控制端记录的源端数据库的表结构和实际表结构不一致，从而产生中断的情况。

步骤602，所述同步冲突记录表中的错误码为第一类型错误码中的第二错误码，确定同步冲突的冲突类型为目标表结构冲突。进一步的，若从同步冲突记录表的错误码字段确定某同步冲突记录的错误码为c、d的任意一种，确定该错误码为第一类型错误码中的第二错误码，并可以确定第二错误码对应的冲突类型为目标表结构冲突。更进一步的，目标表结构冲突包括：目标端比源端多字段(错误码为c)、目标端字段扩位(错误码为d)两种冲突类型。

其中，目标端比源端多字段指：在预定运行中，在cdc的控制端记录处，目标端登记的字段本来就比源端多(造成此场景目前原因未知)，没有映射关系的字段将会写入null，如果目标表没有对表字段做限制，那么不会报错，如果目标表多余的字段限制了不能为null，则同步会中断。

目标端字段扩位为：在预定运行中，目标端表突然进行了ddl的新增字段语句，导致cdc的控制端记录的目标表结构和实际表结构不一致，而产生了中断。

图7所示为本文实施例一种确定同步冲突的解决组件的方法流程图，具体包括如下步骤：

步骤701，若所述冲突类型为源表结构冲突，确定对应的解决组件为表定义更新组件。本步骤中，根据同步冲突记录表中错误代码字段记录的值，得到错误码。若确定错误码为第一错误类型的第一错误码，根据预先设定的错误码与解决组件的映射关系，可以确定该第一错误码对应的解决组件为表定义更新组件。表定义更新组件用于更新源端表的结构。

本申请中，映射关系记录的内容包括但不限于：错误码与解决组件的映射关系、错误码与解决方式的映射关系。其中，解决方式由一个或多个解决组件组成。若映射关系为错误码与解决方式的映射关系，在本说明书的其他一些实施例中，在确定错误码为第一错误码之后，可以根据映射关系中记载的错误码与解决方式，确定第一错误码对应的解决方式为第一解决方式或解决方式A，其中，第一解决方式或解决方式A由解决组件表定义更新组件组成。

步骤702，若所述冲突类型为目标表结构冲突，确定对应的解决组件为原有预定导出组件、原有预定删除组件及正确预定更新组件。本步骤中，根据同步冲突记录表中错误代码字段记录的值，得到错误码。若确定错误码为第一错误类型的第二错误码，根据预先设定的错误码与解决组件的映射关系，可以确定该第二错误码对应的解决组件为原有预定导出组件、原有预定删除组件及正确预定更新组件。其中，原有预定导出组件用于导出原有的错误预定映射信息，该映射信息为关于原来表结构的错误描述；原有预定删除组件用于删除原有错误的预定；正确预定更新组件用于导入正确的预定。

在本说明书的其他一些实施例中，在确定错误码为第二错误码之后，可以根据映射关系中记载的错误码与解决方式，确定第二错误码对应的解决方式为第二解决方式或解决方式B，其中，第二解决方式或解决方式B由原有预定导出组件、原有预定删除组件及正确预定更新组件组成。

步骤703，若所述冲突类型为数据冲突，确定对应的解决组件为数据库语句修改组件。其中，数据冲突包括目标数据不存在、目标主键冲突两种类型的冲突类型。

其中，目标数据不存在指：在预定运行中，源端进行了update更新语句，而这条数据在目标端不存在，导致不能在当前数据上更改而中断数据同步，进一步导致同步中断。

目标主键冲突是指：在预定运行中，源端进行了insert语句，插入的数据在目标表中已经存在，且目标表有主键约束，导致插入失败，进而导致同步中断。

与上述两种数据冲突类型相对应的，数据库修改语句包括插入语句、删除语句。本申请中预先根据同步冲突的冲突类型确定对应的解决组件，相较于在同步冲突发生后，人工分析冲突原因及确定对应的解决方法而言，能实现自动化修复错误，替代人工操作，处理同步冲突的效率更高。

图8所示为本文实施例一种处理同步冲突的方法流程图，具体包括如下步骤：

步骤801，利用所述表定义更新组件生成表定义更新脚本，通过运行所述表定义更新脚本更新预定中的表定义，其中，所述表定义更新脚本根据同步冲突记录中第一错误码对应的预定名、表名确定。本步骤与步骤701相对应，当确定源表结构冲突的解决组件为表定义更新组件之后，从同步冲突记录表中的预定名字段、表名字段中获取对应的预定名及表名。根据预定名、表名，拼接出cdc工具可用的chcclp脚本，通过运行脚本更新预定中的表定义。

步骤802，利用所述原有预定导出组件、原有预定删除组件及正确预定更新组件，生成导入正确预定信息脚本，通过运行正确预定信息导入脚本，导入正确的预定信息。

本步骤与步骤702对应的，当确定目标表结构冲突的解决组件之后，原有预定导出组件从同步冲突记录表中获得预定名，拼接出cdc工具可用的chcclp脚本，通过运行脚本，实现cdc脚本文件的导出。

原有预定删除组件首先从发生同步冲突的cdc同步日志中，正则匹配到库名位置，从库名位置处继续匹配到表名位置，当匹配到表名位置之后，从表名位置继续匹配到错误描述信息的第一个字符串的位置。原有预定删除组件拼接出cdc工具可用的chcclp脚本，通过运行脚本，删除错误描述信息的第一个字符串所在行的内容。

在本说明书的一些实施例中，正确预定更新组件包括：预定信息修改组件、正确预定导入组件。预定信息修改组件按cdc脚本语法规则，结合错误描述信息编写内容预定设置语句，保存修改退出。

预定导入组件从同步冲突记录表的预定名字段获取预定名，拼接出cdc可用的chcclp脚本，通过运行该脚本，实现正确预定信息的导入。

步骤803，利用数据库语句修改组件，若所述错误码为第二类型错误码中的第一错误码，根据表名、错误描述信息生成插入语句，将所述插入语句插入至目标端数据库。本步骤获取同步冲突记录表中的错误码，若确定错误码为第二错误类型的第一错误码，确定在预定运行中，目标端表突然进行了ddl的新增字段语句，导致cdc的控制端记录的目标表结构和实际表结构不一致，从而产生了中断。因此，本步骤根据库名连接到数据库，根据表名、错误描述信息编写插入语句，生成插入语句的插入sql语句，并运行插入sql语句，插入至目标端数据库中，使得cdc的控制端记录的目标表结构和实际表结构一致。

在本说明书的其他一些实施例中，在确定错误码为第二类型错误码中的第一错误码之后，可以根据映射关系中记载的错误码与解决方式，确定第二类型错误码中的第一错误码对应的解决方式为第三解决方式或解决方式C，其中，第三解决方式或解决方式C为：根据库名连接到数据库，根据表名、错误描述信息编写插入语句。

步骤804，利用数据库语句修改组件，若所述错误码为第二类型错误码中的第二错误码，根据表名、错误描述信息生成删除语句，运行所述删除语句，删除目标端数据库中的重复数据。本步骤获取同步冲突记录表中的错误码，若确定错误码为第二错误类型的第二错误码，确定冲突类型为目标主键冲突，表示在预定运行中，源端进行了插入语句，插入的数据在目标表中已经存在，且目标表有主键约束，导致插入失败、同步中断。因此，本步骤根据表名、错误描述信息编写删除语句，并生成该删除语句的删除sql语句，通过运行删除sql语句，删除目标端数据库中对应的数据。

在本说明书的其他一些实施例中，在确定错误码为第二类型错误码中的第二错误码之后，可以根据映射关系中记载的错误码与解决方式，确定第二类型错误码中的第二错误码对应的解决方式为第四解决方式或解决方式D，其中，第四解决方式或解决方式D为：根据表名、错误描述信息编写删除语句，并生成该删除语句的删除sql语句。本申请中预先根据同步冲突的冲突类型确定对应的解决组件，相较于在同步冲突发生后，人工分析冲突原因及确定对应的解决方法而言，能实现自动化修复错误，替代人工操作，处理同步冲突的效率更高。

在本说明书的一些实施例中，所述方法还包括：根据所述解决组件处理所述同步冲突的情况，确定冲突处理进度，并记录在同步冲突记录表中的进度字段中。在本申请中，每一个解决组件均具有更新处理进度的功能。其中，处理进度可以取多个值，包括：0、1、p。当处理进度为0，表示没有进行处理；处理进度为1，表示处理完成；处理进度为p，表示正在处理中。每一解决组件在开始处理对应的冲突类型时，首先将处理进度更新为p；当处理完冲突类型后，将处理进度更新为1。本申请中根据每一组件提供的处理进度，可以明确获知当前同步冲突的处理进度，有利于各解决组件之间的顺序处理或方便互不影响的解决组件之间同步执行冲突处理。并在所有解决组件均完成处理后，提示启动组件进行断点恢复、重新启动，有助于提高同步冲突处理的效率。

图9所示为本文实施例一种确定同步中断时间的方法流程图，具体包括如下步骤：

步骤901，根据同步冲突记录表中的库名字段，确定发生同步冲突的源端数据库。根据同步冲突记录表中的库名，确定发生同步冲突的是哪一个源端数据库。

步骤902，从所述源端数据库中获取scn号，所述scn号用于记录预定中断的时间。本步骤中，从源端数据库获取时间戳信息，将时间戳信息转换为scn号。Scn号为数据库中用于表示数据变更的标识，用于记录预定中断的时间点。

图10所示为本文实施例一种启动预定的方法流程图，具体包括如下步骤：

步骤1001，根据所述scn号确定预定启动脚本。本步骤中，当前述步骤中所有被调用的解决组件的处理进度均为1之后，根据scn号进行断点恢复，根据同步冲突记录表中的预定名，拼接出cdc可用的chcclp脚本。

步骤1002，执行所述预定启动脚本启动所述预定。通过运行预定启动脚本，重新启动预定，确定保证中断后的数据不丢失。

如图11所示为本文实施例一种基于cdc同步的数据冲突处理装置的结构示意图，在本图中描述了基于cdc同步的数据冲突处理装置的基本结构，其中的功能单元、模块可以采用软件方式实现，也可以采用通用芯片或者特定芯片实现基于cdc同步的数据冲突处理，该装置具体包括：

冲突检测单元1101，用于检测cdc同步日志中是否存在同步冲突；

数据提取单元1102，用于若确定存在同步冲突，从所述cdc同步日志中提取同步冲突相关数据；

冲突类型确定单元1103，用于分析所述同步冲突相关数据以确定同步冲突的冲突类型；

解决组件确定单元1104，用于根据所述同步冲突的冲突类型确定同步冲突的解决组件，所述解决组件与同步冲突的冲突类型一一对应；

处理单元1105，用于调用所述解决组件处理同步冲突。

本方案通过对cdc同步冲突记录日志的关键字匹配分析，筛选出导致预定报错的冲突报错；通过若干解决组件或解决方式，分别解决对应的冲突报错，并以脚本方式，自动化进行修复；通过记录scn号，按中断时的scn启动再次启动预定复制，保证了中断后的数据不丢失。

作为本文的一个实施例，还可以参考如图12所示为本实施例基于cdc同步的数据冲突处理装置的具体结构示意图。

作为本文的一个实施例，所述冲突检测单元1101进一步包括：

正则匹配模块11011，用于利用第一关键字依次对所述cdc同步日志中的每一行进行正则匹配；

作为本文的一个实施例，所述数据提取单元1102进一步包括：

同步冲突记录表创建模块11021，用于创建同步冲突记录表的格式；

记录模块11022，用于分别将数据记录到同步冲突记录表中的时间戳字段、错误码字段中；

作为本文的一个实施例，所述冲突类型确定单元1103进一步包括：

表结构冲突确定模块11031，用于确定第一类型错误码对应的冲突类型为表结构冲突；

数据冲突确定模块11032，用于确定第二类型错误码对应的冲突类型为数据冲突。

如图13所示，为本文实施例提供的一种计算机设备，所述计算机设备1302可以包括一个或多个处理器1304，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备1302还可以包括任何存储器1306，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器1306可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备1302的固定或可移除部件。在一种情况下，当处理器1304执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备1302可以执行相关联指令的任一操作。计算机设备1302还包括用于与任何存储器交互的一个或多个驱动机构1308，诸如硬盘驱动机构、光盘驱动机构等。

计算机设备1302还可以包括输入/输出模块1310(I/O)，其用于接收各种输入(经由输入设备1312)和用于提供各种输出(经由输出设备1314)。一个具体输出机构可以包括呈现设备1316和相关联的图形用户接口(GUI)1318。在其他实施例中，还可以不包括输入/输出模块1310(I/O)、输入设备1312以及输出设备1314，仅作为网络中的一台计算机设备。计算机设备1302还可以包括一个或多个网络接口1320，其用于经由一个或多个通信链路1322与其他设备交换数据。一个或多个通信总线1324将上文所描述的部件耦合在一起。

通信链路1322可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路1322可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。

对应于图1至图10中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图1至图10所示的方法。

应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。

还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。

另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (15)

1.一种基于cdc同步的数据冲突处理方法，其特征在于，所述方法包括：

检测cdc同步日志中是否存在同步冲突；

若确定存在同步冲突，从所述cdc同步日志中提取同步冲突相关数据；

分析所述同步冲突相关数据以确定同步冲突的冲突类型；

根据所述同步冲突的冲突类型确定同步冲突的解决组件，所述解决组件与同步冲突的冲突类型一一对应；

调用所述解决组件处理同步冲突。

2.根据权利要求1所述的基于cdc同步的数据冲突处理方法，其特征在于，检测cdc同步日志中是否存在同步冲突包括：

利用第一关键字依次对所述cdc同步日志中的每一行进行正则匹配；

判断是否匹配到错误结果；

若是，确定存在同步冲突；

若否，确定不存在同步冲突，等待cdc同步日志中出现新日志，并检测所述新日志中是否存在同步冲突。

3.根据权利要求2所述的基于cdc同步的数据冲突处理方法，其特征在于，若确定存在同步冲突，从所述cdc同步日志中提取同步冲突相关数据包括：

创建同步冲突记录表的格式，所述同步冲突记录表格式包括时间戳字段、错误码字段、错误描述信息字段；

将发生同步冲突的日志中与时间相关的字符串，记录到同步冲突记录表中的时间戳字段中；

确定发生同步冲突的日志中利用第一关键字正则匹配到的字符串；

将所述字符串的下一字符串，记录到同步冲突记录表中的错误码字段中。

4.根据权利要求3所述的基于cdc同步的数据冲突处理方法，其特征在于，所述从所述cdc同步日志中提取同步冲突相关数据还包括：

若错误码为第一类型错误码，从所述下一字符串位置处，将利用第二及第三关键字正则匹配到的下一字符串，记录到同步冲突记录表中的错误描述信息字段中；

若所述错误码为第二类型错误码，从下一字符串位置处，利用第二及第四关键字正则匹配到的完整sql语句，记录到同步冲突记录表中的错误描述信息字段中。

5.根据权利要求4所述的基于cdc同步的数据冲突处理方法，其特征在于，所述方法还包括：

将发生同步冲突的日志中首个字符串后的三个字符串，分别依次记录到同步冲突记录表中的预定名字段、库名字段、表名字段中。

6.根据权利要求5所述的基于cdc同步的数据冲突处理方法，其特征在于，分析所述同步冲突相关数据，确定同步冲突的冲突类型包括：

若所述同步冲突记录表中的错误码为第一类型错误码，确定第一类型错误码对应的冲突类型为表结构冲突；

若所述同步冲突记录表中的错误码为第二类型错误码，确定第二类型错误码对应的冲突类型为数据冲突。

7.根据权利要求6所述的基于cdc同步的数据冲突处理方法，其特征在于，确定同步冲突的冲突类型包括：

若所述同步冲突记录表中的错误码为第一类型错误码中的第一错误码，确定同步冲突的冲突类型为源表结构冲突；

若所述同步冲突记录表中的错误码为第一类型错误码中的第二错误码，确定同步冲突的冲突类型为目标表结构冲突。

8.根据权利要求7所述的基于cdc同步的数据冲突处理方法，其特征在于，根据所述同步冲突的冲突类型确定同步冲突的解决组件包括：

若所述冲突类型为源表结构冲突，确定对应的解决组件为表定义更新组件；

若所述冲突类型为目标表结构冲突，确定对应的解决组件为原有预定导出组件、原有预定删除组件及正确预定更新组件；

若所述冲突类型为数据冲突，确定对应的解决组件为数据库语句修改组件。

9.根据权利要求8所述的基于cdc同步的数据冲突处理方法，其特征在于，利用所述解决组件，处理同步冲突包括：

利用所述表定义更新组件生成表定义更新脚本，通过运行所述表定义更新脚本更新预定中的表定义，其中，所述表定义更新脚本根据同步冲突记录中第一错误码对应的预定名、表名确定；

利用所述原有预定导出组件、原有预定删除组件及正确预定更新组件，生成导入正确预定信息脚本，通过运行正确预定信息导入脚本，导入正确的预定信息；

利用数据库语句修改组件，若所述错误码为第二类型错误码中的第一错误码，根据表名、错误描述信息生成插入语句，将所述插入语句插入至目标端数据库；

利用数据库语句修改组件，若所述错误码为第二类型错误码中的第二错误码，根据表名、错误描述信息生成删除语句，运行所述删除语句，删除目标端数据库中的重复数据。

10.根据权利要求9所述的基于cdc同步的数据冲突处理方法，其特征在于，所述方法还包括：

根据所述解决组件处理所述同步冲突的情况，确定冲突处理进度，并记录在同步冲突记录表中的进度字段中。

11.根据权利要求10所述的基于cdc同步的数据冲突处理方法，其特征在于，所述分析同步冲突日志还包括：

根据同步冲突记录表中的库名字段，确定发生同步冲突的源端数据库；

从所述源端数据库中获取scn号，所述scn号用于记录预定中断的时间。

12.根据权利要求11所述的基于cdc同步的数据冲突处理方法，其特征在于，当所述进度为已完成，所述方法包括：

根据所述scn号确定预定启动脚本；

执行所述预定启动脚本启动所述预定。

13.一种基于cdc同步的数据冲突处理装置，其特征在于，所述装置包括：

冲突检测单元，用于检测cdc同步日志中是否存在同步冲突；

数据提取单元，用于若确定存在同步冲突，从所述cdc同步日志中提取同步冲突相关数据；

冲突类型确定单元，用于分析所述同步冲突相关数据以确定同步冲突的冲突类型；

解决组件确定单元，用于根据所述同步冲突的冲突类型确定同步冲突的解决组件，所述解决组件与同步冲突的冲突类型一一对应；

处理单元，用于调用所述解决组件处理同步冲突。

14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12任意一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至12任意一项所述的方法。

Images