CN103455557A - 一种基于日志的结构化数据同步方法 - Google Patents

Abstract

本发明公开了一种基于日志的结构化数据同步方法，包括如下步骤：如下步骤：a)创建中间表，用于存放存疑表的主键以及存疑字段；b)修改数据库同步设置，加入存疑表到中间表的同步策略；c)修改数据库同步设置策略，在存疑表到存疑表的同步中加入过滤条件以及存储过程；d)在存疑表上创建触发器并设置触发日期，用于中间表的清理以及非法日期格式数据的录入。本发明提供的基于日志的结构化数据同步方法，能够避开数据库的校验机制实现数据同步，保持源库和目标库之间对应记录的数据一致性，避免因数据类型报错而引发的同步异常。

Description

一种基于日志的结构化数据同步方法

技术领域

本发明涉及一种数据同步方法，尤其涉及一种基于日志的结构化数据同步方法。 

背景技术

Oracle GoldenGate软件是一种基于log(日志)的结构化数据复制软件，它通过解析源数据库在线log或归档log获得数据的增、删、改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库同步、双活。Oracle GoldenGate软件可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒级的实时复制。 

Oracle GoldenGate是一种基于软件的数据复制方式，它从数据库的log解析数据的变化，将数据变化转化为自己的格式，直接通过TCP/IP网络传输，无需依赖于数据库自身的传递方式，而且可以通过高达9:1的压缩率对数据进行压缩，可以大大降低带宽需求。在目标端，Oracle GoldenGate可以通过交易重组，分批加载等技术手段大大加快数据投递的速度和效率，降低目标系统的资源占用，可以在亚秒级实现大量数据的复制，并且目标端数据库是活动的。从而可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时，Oracle GoldenGate可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。 

Oracle GoldenGate技术解决了目前业界难以解决的在不同系统之间进行海量数据实时同步问题，并可以根据业务需求进行部分关键数据同步，操作灵活、方便，实现了对实时信息的实时访问，使得企业可以提高可用性、可靠性、和跨企业系统的关键数据性能。采用GoldenGate的数据复制技术，可以实现数据实时备份，确保核心数据的安全，同时避免引入过多种类的软硬件产品，降低了运营维护的复杂度和投入，有利于灾备系统的恢复和切换。该技术可以广泛用于对数据库系统实时性要求高，需要建立容灾系统的大中型企业。 

随着近几年来业务系统的不断高速发展，当前的数据库系统，随着客户的增加，业务的增长以及时间的累积，系统单位时间在线交易数以及每笔交易的复杂度均有 大规模的提升，这样也导致了数据库系统上的数据变更更为频繁，数据变动量的增加，也必然导致生产系统向容灾系统同步数据以及切换容灾系统的压力变大。但是目前现有的技术都存在有比较明显的缺陷，容易由于源端数据异常，使其无法通过目标数据库的校验机制，触发数据库报错，从而导致GoldenGate同步异常，最终导致源库与目标库的数据不一致，使企业蒙受巨大的损失。 

Oracle GoldenGate软件能支持Oracle Database之间数据的实时同步，然而对于源数据库中某些date类型数据本身就不符合Oracle Database的数据类型，如“0000-00-0000:00:00”、“2014-02-2900:00:00”、“2012-06-0125:00:00”等等，因Oracle Database的bug或者应用程序设计上的问题导致这种数据写进了源数据库。由于Oracle GoldenGate本质原理为解析redo信息并在目标数据库重构语句，处理相应记录，而期间目标数据库会对记录进行校验，上述提到的date类型数据就会触发数据库报错，如ORA-01843:not a valid month，进而导致进程ABENDED或记录丢失（具体结果因GoldenGate的REPERROR策略设置而异，但均会导致数据不一致）。 

在实际生产环境中，可从源端着手解决，避免异常数据。然而应用程序的修改以及数据库补丁的升级是一项复杂的工程，工作量繁重，会中断业务系统的正常运行。在一些极端的环境下，还会出现客户拒绝修改应用或者数据库的情况。 

针对这种问题，目前业内的基本解决方案主要有三种：1）重置为空值。2）重新初始化。C）忽略问题记录。 

为了方便描述，下面将对部分名词作统一约定。 

（1）重置为空值是Oracle官方提出的解决方法。 

Oracle在官方SUPPORT网站上文章《Replication Fails With"Error ORA-01843: not a valid month"[ID1299383.1]》给出下述方案：判定记录是否为“0000-00-0000:00:00”，如果是的话，就将相应的记录设置为null值。 

重置控制的处理步骤如下： 

步骤一：判断存疑字段的值是否为“0000-00-0000:00:00”,如果是则置为空值，否则维持原值。 

步骤二：利用转换后的存疑字段值作正常的GoldenGate同步。 

但是这种方案存在着如下的弊端： 

a：仅能处理“0000-00-0000:00:00”这一种异常记录，但实际环境中的异常记录却不只这一种； 

b：虽然避免了触发ORA报错，但数据并没有按源库实际情况进行同步，从本质上说是数据不一致，对于逻辑复制来说，这是一个十分严重的问题。 

c：假如异常字段为主键的一部分，Oracle仍然会因记录不存在而更新失败。 

（2）重新初始化是另外一种常用的解决方法。 

针对数据库本身存在的异常记录，根据数据库自身的校验机制，在利用数据泵工具或者数据库的INSERT SELECT语句进行数据传输时，数据库会默认记录本身已经符合数据库的规则，因此在已经存在源数据库中的异常记录并不会造成数据复制失败。 

Oracle GoldenGate的同步分为全量同步以及在全量同步基础上的增量同步。全量同步的时候，已存在的异常记录并不会造成同步失败，因此能通过重新初始化成功处理这个问题，具体流程如图1所示，包括如下步骤： 

步骤一：通过GoldenGate内命令获取存疑表停止位置对应的队列文件以及rba位置。相应的文件和RBA位置主要用于判断进程是否已经跳过相应的点。 

步骤二：停止存疑表所在的GoldenGate进程同步。如果GoldenGate进程没有自动停止，则手工进行停止。 

步骤三：通过编辑GoldenGate参数文件暂停存疑表的同步，此处可采用注释的方法。 

步骤四：重新发起存疑表所在的GoldenGate进程，这样的主要作用为跳过存疑表的异常记录。 

步骤五：通过GoldenGate命令观察存疑表所在GoldenGate，等待RBA值变化， RBA变化则表明异常记录已经被跳过。 

步骤六：停止存疑表所在的GoldenGate进程同步。此时异常记录已经跳过，可以恢复之前被注释的同步策略。 

步骤七：通过GoldenGate的logdump工具获取存疑表所在GoldenGate进程当前事务以及后续事务的SCN号。SCN仅会记录在队列文件事务开始的位置，因此可能需要反复查看。 

步骤八：判断SCN是否一致，如果SCN是一致的，则可能造成混乱，需要从步骤四开始试，直到SCN值不再一致为止。 

步骤九：选择后面的SCN值，并减1作为后续导出的SCN。此处减1是为了避免出现数据重复的情况。 

步骤十：利用数据泵等工具基于SCN导出存疑表，导出过程中需要密切注意对生产系统的影响，以免影响生产应用。 

步骤十一：源端数据泵文件ftp到目标端，传输过程中也需要注意对网络带宽的影响，以免影响生产应用的运行。 

步骤十二：目标端存疑表重建，基于效率影响，暂不重建索引以及约束。 

步骤十三：目标端存疑表数据泵工具导入，由于此处不涉及索引约束，因此速度较快。 

步骤十四：目标端存疑表索引以及约束的重建。重建的时候可以适当开并行，以加快速度。 

步骤十五：存疑表所在GoldenGate进程重启。进程追平后，即完成整个处理流程。 

然而上述方法也存在较大的弊端。主要表现在下述几点： 

a：重新初始化的工作十分繁琐，涉及十余个步骤，需要耗费较大的人力资源。 

b：重新初始化的工作需要耗费生产库的CPU、IO、网络带宽等资源。 

c：如果频繁出现异常记录，那么所带来的开销将难以估算。 

（3）忽略问题记录是另一种常见的处理方法。 

忽略问题记录的意思是，直接在Oracle GoldenGate上作设置，忽略相关错误。 

这种处理方法的理论依据如下：1）异常日期格式引发的ORA-错误是类似的、可归纳的；2）Oracle GoldenGate可针对特定的ORA-报错进行相关处理；3）包含异 常记录的数据库记录本身逻辑上就存在问题，可以忽略。这种方法可以保持Oracle GoldenGate的同步。缺陷却在于异常记录所在的行整行都无法同步，这样将导致源端以及目标端查询结果不一致，严重影响可用性。这样的缺陷对于使用GoldenGate的企业的危害是很大的，如果因为数据异常而导致同步异常，使其数据丢失，将会给这些企业带来多大的损失。例如移动、电信、金融行业的业务量和用户数量是非常庞大的，避免中心数据库在出现长时间不能恢复故障引起业务的长时间停顿，保障客户数据的不缺失，成为核心工作之一。 

发明内容

本发明所要解决的技术问题是提供一种基于日志的结构化数据同步方法，能够处理各种异常的数据类型，保持源库和目标库之间对应记录的数据一致性，避免因数据类型报错而引发的同步异常。 

本发明为解决上述技术问题而采用的技术方案是提供一种基于日志的结构化数据同步方法，包括如下步骤：a)创建中间表，用于存放存疑表的主键以及存疑字段；b)修改数据库同步设置，加入存疑表到中间表的同步策略；c)修改数据库同步设置策略，在存疑表到存疑表的同步中加入过滤条件以及存储过程；d)在存疑表上创建触发器并设置触发日期，用于中间表的清理以及非法日期格式数据的录入。 

上述的基于日志的结构化数据同步方法，其中，所述数据库为Oracle Golden Gate，所述存疑表中异常数据以字符串形式插入到该中间表中,若中间表中的异常数据为数据表主键的一部分，则指定数据表中的其他字段作为主键。 

上述的基于日志的结构化数据同步方法，其中，如果存疑表中存在存疑日期，则将存疑日期替换为触发日期。 

上述的基于日志的结构化数据同步方法，其中，所述步骤b)中存疑表到中间表的同步过程如下：对于DML类型为INSERT的记录，将Oracle GoldenGate主键以及存疑字段直接插入到中间表；对于DML类型为DELETE的记录，忽略存疑表到中间表的同步；对于DML类型为UPDATE的记录，如果存疑字段状态均为缺失状态，忽略存疑表到中间表的同步；否则将相应记录的GoldenGate主键以及存疑字段插入到中间表。 

上述的基于日志的结构化数据同步方法，其中，所述步骤c)中存疑表到存疑表的同步过程如下：首先发起SQL语句查询，若返回的中间表的存疑字段中存在非法 日期格式，利用GoldenGate的COLMAP功能，将状态非缺失的异常记录的非法日期改为触发日期；然后再进行正常的GoldenGate同步。 

上述的基于日志的结构化数据同步方法，其中，所述步骤d)中触发器的处理过程如下：d1)判断存疑日期是否均非触发日期，如果结果为真，则说明记录无任何异常，触发器的处理过程结束；d2)通过查询中间表获取各存疑字段，并以字符串格式存放；d3)对存疑字段的各值作运算，生成RAW格式的值；d4)调用Oracle的函数转化将存疑数据从RAW格式转化为日期格式；d5)利用主键更新存疑字段并清理中间表。 

本发明对比现有技术有如下的有益效果：本发明提供的基于日志的结构化数据同步方法，先将存疑数据插入中间表中避免数据校验，然后修改存疑表到中间表的同步策略，最后在存疑表到存疑表的同步中加入过滤，并在数据同步前通过数据库触发器对存疑数据进行转换，从而避开数据库的校验机制实现数据同步，保持源库和目标库之间对应记录的数据一致性，避免因数据类型报错而引发的同步异常。 

附图说明

图1为现有的重新初始化后再进行数据同步流程示意图； 

图2为本发明基于日志的结构化数据同步流程示意图； 

图3为本发明中存疑表到中间表同步过程示意图； 

图4为本发明中存疑表到中间表同步过程示意图； 

图5为本发明中存疑表上触发器的处理过程示意图。 

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。 

图2为本发明基于日志的结构化数据同步流程示意图。 

请参见图2，下面以OracleGoldenGate的异常数据为例，本发明利用Oracle GoldenGate本身自带的过滤、转换、一对多同步、兼容数据库触发器等多个技术特征，将异常日期格式改为以varchar2格式存储，并通过自定义函数转换为raw格式，接着通过oracle自带函数实现到date类型的转换，成功绕过校验机制，最终通过事先记录的主键信息定位到相关行，实现数据变更，保持数据的一致性，具体包括如下步骤： 

步骤S101：创建中间表，用于存放存疑表的主键以及存疑字段；中间表需要符合下述条件：A)命名空间与GoldenGate同步策略并无冲突；B)必须包含GoldenGate，且GoldenGate主键中不包含非法日期字段，否则只能另外选择；C)以VARCHAR2格式存放存疑表的存疑字段，如果有多个存疑字段，可一并存储。 

步骤S102：修改数据库同步设置，加入存疑表到中间表的同步策略；此处将增加一个同步关系，作用为将存疑表中DML为insert、update的记录的GoldenGate主键以及存疑字段存放到中间表。 

步骤S103：修改数据库同步设置策略，在存疑表到存疑表的同步中加入过滤条件以及存储过程；此处将修改原有的同步关系，增加一个过滤条件，针对同步异常格式，将作转换，将存疑日期替换为触发日期。 

步骤S104：在存疑表上创建触发器并设置触发日期，用于中间表的清理以及非法日期格式数据的录入。此处将在存疑表上创建触发器。针对存疑字段值为触发日期的记录，触发器还会利用GoldenGate主键作变更，将中间表中相应记录录入存疑表，以保持数据的一致性。此外，触发器还可以用于清理中间表。触发日期可指定特定日期，此日期作为触发器的条件，决定后者采用哪种应用逻辑。所选定的日期要求符合下述条件：A)在数据库中必须为合法的日期；B)此值并非应用程序中的常用值，甚至不曾使用：符合条件的日期如"9998-12-1512:00:00"。 

本发明的具体的处理流程分为三个阶段：存疑表到中间表的同步、存疑表到存疑表的同步以及存疑表上触发器的处理。 

图3为本发明中存疑表到中间表同步过程示意图。 

请继续参见图3，DML类型分为INSERT、UPDATE、DELETE三种。对于UPDATE类型，由于默认情况下，GoldenGate仅记录必要的字段，因此，如果存疑字段不被变更的情况下，其状态会变成MISSING。存疑表到中间表的同步逻辑将因DML类型以及存疑字段状态的不同而不同。 

针对DML类型为UPDATE并且存疑字段状态均为MISSING的情况，将忽略存疑表到中间表的同步。 

针对DML类型为UPDATE并且存在状态非MISSING的存疑字段的情况，将使用GoldenGate的INSERTUPDATE功能，将相应记录的GoldenGate主键以及存疑字段INSERT到中间表。 

针对DML类型为INSERT的情况，将会把Oracle GoldenGate主键以及存疑字段 直接INSERT到中间表。 

针对DML类型为DELETE的情况，将忽略存疑表到中间表的同步。 

图4为本发明中存疑表到中间表同步过程示意图。 

请继续参见图4，阶段二的同步步骤如下： 

步骤一：发起SQL语句查询，通过对中间表的分析，返回存疑字段中是否存在非法日期格式，返回结果为YES或者NO。 

步骤二：如果步骤一的结果为NO，则不作任何变更，直接进行GoldenGate同步，存疑表到存疑表的同步结束，否则继续进行步骤三。 

步骤三：利用GoldenGate的COLMAP功能，将状态非MISSING的直接改为触发日期。 

步骤四：进行正常的GoldenGate同步，由于存疑字段均已经修改为合法的触发日期，因此不会造成异常。 

图5为本发明中存疑表上触发器的处理过程示意图。 

请继续参见图5，阶段三的处理步骤如下： 

步骤一：判断存疑日期是否均非触发日期。如果结果为真，则说明记录无任何异常，不需要特殊处理，直接结束，否则继续步骤二。 

步骤二：通过查询中间表获取各存疑字段，并以varchar2格式存放，存放时需要注意的是，DATE格式必须完整，包括具体的年、月、日、时、分、秒等信息。 

步骤三：对存疑字段的各值作运算，生成RAW格式的值，并以varchar2格式存放。下表是以日期“2014-02-0523:10:15”以及“2013-11-2101:23:09”为例将字符类型存储的日期格式转换为RAW格式。 

由上可见，RAW格式转换公式如下： 

((年份首两位转十进制值+十进制值100)再转十六进制)连接((年份末两位转十进制值+十进制值100)再转十六进制)连接(月份转十六进制)连接(日期转十六进制)连接(二十四小时制小时+十进制1转十六进制)连接(分+十进制1转十六进制)连接(秒+十进制1转十六进制) 

步骤四：调用oracle的函数dbms_stats.covert_raw_value，以date格式生成存疑值。 

步骤五：利用主键更新存疑字段，由于GoldenGate主键是唯一的，因此可以直接定位相关记录。 

步骤六：清理中间表。根据本方案的逻辑，中间表中仅会存放一条记录，直接将中间表全表DELETE即可。 

本发明方案涉及的Oracle GoldenGate功能点如下表所示： 

本发明方案实现过程中需要解决的一个根本问题是如何将已知的、违反数据库校验机制的数据插入数据库中。总的来说，绕过数据库的校验机制有如下两种方法： 

1、利用数据库中已有的异常数据更新另外的异常数据。例如，某个表的某条记 录中某个字段本身就违反数据库的校验机制，以这个记录更新别的记录时，数据库则不会做合法性的校验，更新操作就能顺利实施。 

2、对于本文档中处理的DATE类型中，凭借ORACLE数据库自带的函数dbms_stats.convert_raw_value作转换，将RAW类型转换为DATE类型的过程能成功绕过数据库的校验机制。 

本发明解决方案是结合上述两种方法进行处理的。首先通过中间表以varchar2格式存放存疑日期字段，varchar2格式并不会作数据校验，因此避免异常；接着通过推敲出的规则转换成相应的RAW类型的值，接着通过dbms_stats.convert_raw_value作转换,成功获取DATE类型存放的异常值，此处转换同样不会触发数据校验；最后通过GoldenGate主键定位记录，将异常值更新到原有记录，此处是利用已有值作更新，同样能绕过数据校验机制。 

本方案与现有方案的优缺点对比如下： 

综上所述，本发明提供的基于日志的结构化数据同步方法，通过设置中间表的方式临时存放GoldenGate主键以及问题DATE字段；通过GoldenGate的过滤条件，将问题DATE字段转换为合法的值，避免触发同步异常；将varchar2格式的值转换 为raw格式，再通过Oracle内部函数dbms_stats.convert_raw_value函数转换为DATE类型的方法；最后通过新建触发器处理异常日期录入的方法。具体优点如下：1、能避免异常日期格式导致的GoldenGate同步中断；2、能避免异常日期格式导致的数据不一致；3、能避免因修复异常日期格式而带来的人力资源开销；4、能避免因修复异常日期格式造成的源端系统资源开销；5、一次性配置后不需要再进行人工干预。 

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。 

Claims (6)

1.一种基于日志的结构化数据同步方法，其特征在于，包括如下步骤：

a)创建中间表，用于存放存疑表的主键以及存疑字段；

b)修改数据库同步设置，加入存疑表到中间表的同步策略；

c)修改数据库同步设置策略，在存疑表到存疑表的同步中加入过滤条件以及存储过程；

d)在存疑表上创建触发器并设置触发日期，用于中间表的清理以及非法日期格式数据的录入。

2.如权利要求1所述的基于日志的结构化数据同步方法，其特征在于，所述数据库为Oracle Golden Gate，所述存疑表中异常数据以字符串形式插入到该中间表中,若中间表中的异常数据为数据表主键的一部分，则指定数据表中的其他字段作为主键。

3.如权利要求2所述的基于日志的结构化数据同步方法，其特征在于，如果存疑表中存在存疑日期，则将存疑日期替换为触发日期。

4.如权利要求2所述的基于日志的结构化数据同步方法，其特征在于，所述步骤b)中存疑表到中间表的同步过程如下：

对于DML类型为INSERT的记录，将Oracle GoldenGate主键以及存疑字段直接插入到中间表；

对于DML类型为DELETE的记录，忽略存疑表到中间表的同步；

对于DML类型为UPDATE的记录，如果存疑字段状态均为缺失状态，忽略存疑表到中间表的同步；否则将相应记录的GoldenGate主键以及存疑字段插入到中间表。

5.如权利要求2所述的基于日志的结构化数据同步方法，其特征在于，所述步骤c)中存疑表到存疑表的同步过程如下：

首先发起SQL语句查询，若返回的中间表的存疑字段中存在非法日期格式，利用GoldenGate的COLMAP功能，将状态非缺失的异常记录的非法日期改为触发日期；

然后再进行正常的GoldenGate同步。

6.如权利要求2所述的基于日志的结构化数据同步方法，其特征在于，所述步骤d)中触发器的处理过程如下：

d1)判断存疑日期是否均非触发日期，如果结果为真，则说明记录无任何异常，触发器的处理过程结束；

d2)通过查询中间表获取各存疑字段，并以字符串格式存放；

d3)对存疑字段的各值作运算，生成RAW格式的值；

d4)调用Oracle的函数转化将存疑数据从RAW格式转化为日期格式；

d5)利用主键更新存疑字段并清理中间表。

Images