CN105159793B

CN105159793B - 基于GoldenGate的数据复制备份方法

Info

Publication number: CN105159793B
Application number: CN201510507015.1A
Authority: CN
Inventors: 程永新; 谢珊; 杨光
Original assignee: Shanghai New Torch Network Information Technology Ltd By Share Ltd
Current assignee: Shanghai New Torch Network Information Technology Ltd By Share Ltd
Priority date: 2015-08-18
Filing date: 2015-08-18
Publication date: 2018-02-27
Anticipated expiration: 2035-08-18
Also published as: CN105159793A

Abstract

本发明公开了一种基于GoldenGate的数据复制备份方法，包括：在源端、灾备目标端的两个节点主机上分别部署GoldenGate软件，并通过容灾/应急链路相连；在目标端的第一节点主机上配置数据文件检查点表。从源端第一节点开始备份数据至目标端第一节点，同时在源端、目标端分别复制第一节点GoldenGate目录下的数据至第二节点上；当源端由第一节点主机切换到第二节点主机时，源端获取灾备目标端最后应用的SCN号，查询该SCN号对应的时间点，源端第二节点从该时间点继续备份数据至灾备目标端第二节点。本发明提供不但保证数据快速进行复制备份，并且确保应急切换后在目标端数据的完整性和一致性。

Description

基于GoldenGate的数据复制备份方法

技术领域

本发明涉及一种数据复制备份方法，尤其涉及一种基于GoldenGate的数据复制备份方法。

背景技术

随着信息化在社会生活中逐渐占据主角，人们的生活逐渐被日益渗透的信息控制所包围。而以911为显著特征的国际安全形势的变化以及各类大型或突发灾难的不期而遇，使人们看到了信息集中化在带来入社会进步和改变生活的同时，也带来了高度的风险集中。业务的核心载体信息系统在各类风险的威胁下，其健壮性和抗击风险的能力直接决定了企业甚至行业的生存能力，成为服务水准的基本保障。

这样就引伸出了近来频频见诸于报端和各类媒体的一个热门词汇容灾系统的建设。建设容灾系统就是指利用各种技术和管理手段将灾难的影响化解，它的主要表现形式为两个方面：一是保证企业数据的安全；二是保证业务的连续性。当各企业的信息化建设走向了一个新的层次，面临各类法规、竞争、高质量服务的新的要求时，能否有效的建立灾难防御体系就成了企业进一步发展的一个里程碑。容灾系统的建设意义已经被铺天盖地的渲染，各级政府和行业也开始制定规则，规范信息系统在各种灾难下的危机响应水平，从各方面来看，是否有必要建设容灾系统已经走过了探讨的阶段，而摆在人们面前的却是另一个过去始料不及的问题－－－建立容灾系统的复杂性。这个问题的复杂度在人们考虑灾备系统规划和建设方案时凸现了出来，例如：人们会发现当提出一个理想的各类业务统一灾难防御体系的建设目标之后，却无法选出满足要求的技术路线或者需要极为高昂的造价。又比如，人们发现容灾体系建设中，IT部门却无法控制一个整体的容灾流程，而流程的制定又是一个需要全民意识的多兵种工程，等等诸如此类。

如何保证容灾系统与生产系统的数据实时更新，又如何保证容灾系统在生产系统意外情况下数据无丢失的快速切换，这是现在面对的一个很重要的课题。现实中，一个技术框架固定、数据库架构稳定的业务系统，其运行可靠性的好坏绝大部分取决于数据库容灾系统的可靠性。而一套合理的数据库容灾系统配置与切换流程起着至关重要的作用。

Oracle GoldenGate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制，从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库升级和移植、双业务中心等多个场景下应用。同时，Oracle GoldenGate还可以实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、级联等多种灵活的拓扑结构。

对于Oracle Rac数据库环境下，目前主要分如下两种情形来进行部署：

一、仅在抽取和容灾端的各一节点的本地磁盘上，部署Oracle GoldenGate软件。

当抽取端节点1主机故障时，维护人员需要凭借个人经验手工分析估算目标端队列文件最后数据产生的时间，在抽取端节点2主机上重新配置GoldenGate抽取环境。

当抽取端节点1主机故障时，维护人员无法通过个人经验判断目标端队列文件最后数据产生的时间时，维护人员需要在抽取端节点2主机上重新搭建GoldenGate环境的同时，重新初始化目标端所有的数据，如图1所示。

该技术存在如下缺点：

1)、切换时间过长。无论是维护人员凭借经验手工分析估算目标端队列文件最后数据产生的时间，还是重新初始化数据在节点2上搭建新的GoldenGate环境，依据数据量大小的不同，其操作时间要几个小时甚至几天。

2)、丢数据风险高。为了快速恢复容灾系统，往往给予运维人员分析日志的时间很少。运维人员只能按照估算的时间进行重新配置抽取端启动时间点。该时间点晚于节点1故障时间，会造成部分数据缺失。该时间点早于节点1故障时间，会造成部分数据重复修改。

3)、对人的依赖高。即使使用logdump工具来分析投递到目标端的队列文件，队列文件中信息很大且辨识度差。需要维护人员深入的学习过GoldenGate软件和Oracle体系结构，才能看懂相关信息。并且，为缩短业务受影响的时长，应急切换时，运维人员压力巨大，必须拥有良好心理素质。

二、将Oracle GoldenGate软件部署在共享存储中，切抽取到的队列文件也缓存在共享存储中，生产时仅在抽取和容灾端的各一节点上运行。

前期规划部署GoldenGate时，需要为GoldenGate提前准备出共享存储。并将GoldenGate部署在该共享存储中。当抽取端节点1或者目标端主机故障时，维护人员可以在节点2上启动应急链路。由于队列文件也存储在共享存储中，启动应急链路后，可以保证容灾系统的正常运行，如图2所示。

该技术存在如下缺点：

1)、建设成本高昂。GoldenGate作为容灾软件，其必须部署在安全可靠的存储系统上。而目前存储系统依旧很昂贵，少则几十万多则几百万。

2)、资源利用率低。GoldenGate的队列文件产生量仅有redo的四分之一。给GoldenGate软件单独配备存储后，没有充分利用上存储的高速读写能力，降低了资源的利用率。

发明内容

本发明所要解决的技术问题是提供一种基于GoldenGate的数据复制备份方法，不但保证数据快速进行复制备份，并且确保应急切换后在目标系统上数据的完整性和一致性。

本发明为解决上述技术问题而采用的技术方案是提供一种基于GoldenGate的数据复制备份方法，包括如下步骤：

S1：在源端的第一节点主机和第二节点主机上部署GoldenGate软件；

S2：在灾备目标端的第一节点主机和第二节点主机上部署GoldenGate软件；

S3：在灾备目标端的第一节点主机上配置数据文件检查点SCN表；

S4：将源端第一节点主机和灾备目标端第一节点主机通过容灾链路相连，将源端第二节点主机和灾备目标端第二节点主机通过应急链路相连；

S5：从源端第一节点主机开始备份数据至灾备目标端第一节点主机，同时在源端、灾备目标端分别复制第一节点主机GoldenGate目录下的数据至第二节点主机上；

S6：当源端由第一节点主机切换到第二节点主机时，源端获取灾备目标端最后应用的数据文件检查点SCN，查询该SCN号对应的时间点，源端第二节点主机从该时间点继续备份数据至灾备目标端第二节点主机。

上述的基于GoldenGate的数据复制备份方法，其中，所述源端和灾备目标端部署GoldenGate软件包括如下步骤：向ogguser用户授权允许连接访问数据库，开启数据库最小附加日志，并创建管理进程mgr,该管理进程用于管理后续创建的抽取、投递和复制进程；配置抽取进程、投递进程以及复制进程。

上述的基于GoldenGate的数据复制备份方法，其中，所述步骤S5中源端第一节点主机上的GoldenGate利用抽取进程和数据库日志获得数据的增量变化，将增量数据转化为GoldenGate格式并采用10:1的压缩率对数据压缩后，利用投递进程在容灾链路上直接通过TCP/IP网络传输至灾备目标端第一节点主机；所述目标端第一节点主机上的GoldenGate通过交易重组，分批加载加快数据投递的速度和效率，在亚秒级实现增量数据的复制。

上述的基于GoldenGate的数据复制备份方法，其中，所述步骤S6的源端由第一节点主机切换到第二节点主机时，先通知容灾目标端停止操作容灾链路。

上述的基于GoldenGate的数据复制备份方法，其中，所述步骤S6的源端第一节点主机切换到第二节点主机的过程：在源端第二节点主机上切换GoldenGate抽取进程文件号；确认抽取进程切换成功后，接着在源端第二节点主机上切换GoldenGate投递进程文件号；确认投递进程切换成功后，再根据查询SCN号对应的时间点，启动抽取进程和投递进程。

上述的基于GoldenGate的数据复制备份方法，其中，所述灾备目标端还包括：在第二节点主机上切换GoldenGate复制进程文件号，从灾备目标端最后应用的SCN号对应的时间点启动复制进程，复制第二节点主机GoldenGate目录下的数据至第一节点主机上。

本发明对比现有技术有如下的有益效果：本发明提供的基于GoldenGate的数据复制备份方法，通过配置主备链路和检查点表机制，源端目标端分别进行复制备份，应急切换时利用检查点表机制记录GoldenGate运行状态，结合目标端的复制进度记录，不但保证数据快速进行复制备份，并且确保应急切换后在目标系统上数据的完整性和一致性。

附图说明

图1为现有的一种基于GoldenGate的数据复制备份系统架构示意图；

图2为现有的另一种基于GoldenGate的数据复制备份系统架构示意图；

图3为本发明基于GoldenGate的数据复制备份系统架构示意图；

图4为本发明基于GoldenGate的数据复制备份流程示意图；

图5为本发明源端和灾备目标端切换流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图3为本发明基于GoldenGate的数据复制备份系统架构示意图；图4为本发明基于GoldenGate的数据复制备份流程示意图。

请参见图3和图4，本发明提供的基于GoldenGate的数据复制备份方法，包括如下步骤：

S3：在灾备目标端的第一节点主机上配置数据文件检查点表SCN(System ChangeNumber)；

S5：源端第一节点主机开始备份数据至灾备目标端第一节点主机，同时在源端、灾备目标端分别复制第一节点主机GoldenGate目录下的数据至第二节点主机上；具体备份如下：源端第一节点主机上的GoldenGate利用抽取进程和数据库日志获得数据的增量变化，将增量数据转化为GoldenGate格式并采用10:1的压缩率对数据压缩后，利用投递进程在容灾链路上直接通过TCP/IP网络传输至灾备目标端第一节点主机；所述目标端第一节点主机上的GoldenGate通过交易重组，分批加载加快数据投递的速度和效率，在亚秒级实现增量数据的复制；

S6：当源端由第一节点主机切换到第二节点主机时，源端获取灾备目标端最后应用的数据文件检查点SCN，查询该SCN号对应的时间点，源端第二节点主机从该时间点继续备份数据至灾备目标端第二节点主机。所述灾备目标端还可包括：在第二节点主机上切换GoldenGate复制进程文件号，从灾备目标端最后应用的SCN号对应的时间点启动复制进程，复制第二节点主机GoldenGate目录下的数据至第一节点主机上。

本发明的基于GoldenGate的数据复制备份方法，所述源端和灾备目标端部署GoldenGate软件包括如下步骤：

a.向ogguser用户授权

源端：

SQL>GRANT CONNECT TO ogguser；

SQL>GRANT ALTER SESSION TO ogguser；

SQL>GRANT CREATE SESSION TO ogguser；

SQL>GRANT FLASHBACK any table TO ogguser；

SQL>GRANT SELECT any table TO ogguser；

SQL>GRANT RESOURCE TO ogguser；

SQL>GRANT SELECT ANY DICTIONARY to ogguser；

SQL>GRANT SELECT on dba_clusters to ogguser；

SQL>GRANT SELECT ANY TRANSACTION to ogguser；

SQL>grant exempt access policy to ogguser；

灾备目标端：

SQL>GRANT CONNECT TO ogguser；

SQL>GRANT ALTER SESSION TO ogguser；

SQL>GRANT CREATE SESSION TO ogguser；

SQL>GRANT RESOURCE TO ogguser；

SQL>GRANT SELECT ANY DICTIONARY to ogguser；

SQL>GRANT SELECT any table TO ogguser；

SQL>GRANT INSERT any table to ogguser；

SQL>GRANT UPDATE any table to ogguser；

SQL>GRANT DELETE any table to ogguser；

b.开启最小附加日志

alter database add supplemental log data；

c.创建mgr进程

GGSCI>edit params mgr

PORT 7809

DYNAMICPORTLIST 7815-7850

AUTOSTART*

AUTORESTART EXTRACT*,WAITMINUTES 2,RETRIES 10

PURGEOLDEXTRACTS./dirdat/*,USECHECKPOINTS,MINKEEPDAYS 3

LAGREPORTHOURS 1

LAGINFOMINUTES 1

LAGCRITICALMINUTES 5

d.配置抽取进程、投递进程

GGSCI>edit params extr01

EXTRACT extr01

SETENV(NLS_LANG＝AMERICAN_AMERICA.ZHS16GBK)--源库的字符集select*fromnls_database_parameters；

USERID ogguser,PASSWORD

AACAAAAAAAAAAALAEDJDQCIFPFSDZHNGTCGAVEJJSJFCCFXC,ENCRYPTKEY default

DYNAMICRESOLUTION

Gettruncates

report at 1:59

reportrollover at 2:00

warnlongtrans 3h,checkinterval 10m

TRANLOGOPTIONS DBLOGREADER

EXTTRAIL./dirdat/VC

TABLE XXX.XXXXXXXX；

GGSCI>edit params pump01

EXTRACT pump01

passthru

DYNAMICRESOLUTION

RMTHOST 10.166.2.96,MGRPORT 7809,COMPRESS

RMTTRAIL./dirdat/VC

TABLE XXX.*；

e.配置复制进程

GGSCI>edit params rep01

REPLICAT rep01

SETENV(NLS_LANG＝AMERICAN_AMERICA.ZHS16GBK)

SETENV(ORACLE_SID＝xxx)

USERID ogguser,PASSWORD AACAAAAAAAAAAAHANGWARBMCFHHDCFMF,ENCRYPTKEYdefault ASSUMETARGETDEFS

GETTRUNCATES

BATCHSQL OPSPERBATCH 1500

report at 1:59

reportrollover at 2:00

reperror default,abend

ALLOWNOOPUPDATES

DISCARDFILE./dirrpt/discard_VC.dsc,APPEND,MEGABYTES 512

MAP XXX.XXXXXXXX,TARGET XXX.XXXXXXXX；

f.设置检查点表

cat GLOBALS

CHECKPOINTTABLE ogguser.ggschkpt

GGSCI>DBLOGIN USERID ogguser,PASSWORD

AACAAAAAAAAAAAHANGWARBMCFHHDCFMF,ENCRYPTKEY default

GGSCI>add CHECKPOINTTABLE ogguser.ggschkpt。

请继续参见图5，本发明源端和灾备目标端切换流程如下：

1)在源端和容灾端分别操作停止容灾链路(如出现主机异常，此步可跳过)；

2)在灾备端查询复制进程最后操作的scn号；

3)在源端第二节点主机上切换GoldenGate抽取进程、投递文件号；

alter extr01etrollover

ALTER EXTRACT PUMP01etrollover

4)根据得到的scn号查询，源端所对应的时间。

Select to_char(scn_to_timestamp(1170101),'yyyy-mm-dd hh24:mi:ss')fromdual；

5)按照scn对应的时间，启动抽取、投递进程。

ALTER EXTRACT extr01,BEGIN 2015-01-27 09:00

ALTER EXTRACT PUMP01,EXTSEQNO 12,EXTRBA 0

start pump01

info pump01detail

6)查看投递进程的文件号为N。

7)在灾备目标端的第二节点主机上，修改复制进程起始文件号为步骤6中查看到的文件号N，启动复制进程。

某电信运营商核心管理系统，在10月底使用本发明装置进行了GoldenGate软件的部署，随后进行了多次切换演练。如图6所示，从源端与灾备目标端数据延时时间和应急切换时间作部署前后比较如下：

部署前，运维人员使用脚本每小时全量从源端向灾备目标端重新初始化数据。该过程随着数据量越来越大，该过程耗时越来越长，目前最少需要15分钟完成。部署GoldenGate后，源端的所有数据的变更可以在2-3秒内更新到灾备目标端。

部署后，运维人员按照常规方法进行应急切换需要135分钟，使用本发明后应急切换时间缩短到3分钟。

本发明提供的基于GoldenGate的数据复制备份方法，通过配置主备链路和检查点表机制，源端目标端分别进行复制备份，应急切换时利用检查点表机制记录GoldenGate运行状态，结合目标端的复制进度记录，不但保证数据快速进行复制备份，并且确保应急切换后在目标系统上数据的完整性和一致性。具体优点如下：1)检查点机制保障数据无丢失。切换链路后，GoldenGate应用复制操作的顺序与在源系统上的顺序相同，并且按照相同的事务环境提交，确保在目标系统上数据的完整性和读一致性，为实时查询和事务处理创造了条件。2)数据的传输机制可靠。GoldenGate使用应答机制传输交易数据，只有在得到确认消息后才认为数据传输完成，否则将自动重新传输数据，从而保证了抽取出的所有数据都能发送到备份端。3)对硬件依赖度大幅降低。本发明中，GoldenGate软件部署在本地服务器，无需使用高性能共享存储单独部署。4)对人的依赖度大幅降低。本发明中，切换时备份端开始的复制的时间点索引的优化及预警，全部依赖实际数据从技术角度提出建议，不需要维护人员对GoldenGate和Oracle的体系结构有深入的理解。因为使用了检查点表，维护人员可以快速定位SCN号，无需挖掘分析GoldenGate队列文件，对维护人员的技术水平依赖也很大下降。5)本发明装置简单易用。创造性地提出了本地部署GoldenGate后的切换流程，通过简单的操作，即可完成GoldenGate的切换，后续的redo log抽取、归档日志抽取等操作全部由Oracle和GoldenGate自动完成，操作简单，对使用人员的要求相当低。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims

1.一种基于GoldenGate的数据复制备份方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于GoldenGate的数据复制备份方法，其特征在于，所述源端和灾备目标端部署GoldenGate软件包括如下步骤：

向ogguser用户授权允许连接访问数据库，开启数据库最小附加日志，并创建管理进程mgr,该管理进程用于管理后续创建的抽取、投递和复制进程；

配置抽取进程、投递进程以及复制进程。

3.如权利要求1所述的基于GoldenGate的数据复制备份方法，其特征在于，所述步骤S5中源端第一节点主机上的GoldenGate利用抽取进程和数据库日志获得数据的增量变化，将增量数据转化为GoldenGate格式并采用10:1的压缩率对数据压缩后，利用投递进程在容灾链路上直接通过TCP/IP网络传输至灾备目标端第一节点主机；所述目标端第一节点主机上的GoldenGate通过交易重组，分批加载加快数据投递的速度和效率，在亚秒级实现增量数据的复制。

4.如权利要求1所述的基于GoldenGate的数据复制备份方法，其特征在于，所述步骤S6的源端由第一节点主机切换到第二节点主机时，先通知容灾目标端停止操作容灾链路。

5.如权利要求1所述的基于GoldenGate的数据复制备份方法，其特征在于，所述步骤S6的源端第一节点主机切换到第二节点主机的过程：

在源端第二节点主机上切换GoldenGate抽取进程文件号；

确认抽取进程切换成功后，接着在源端第二节点主机上切换GoldenGate投递进程文件号；

确认投递进程切换成功后，再根据查询SCN号对应的时间点，启动抽取进程和投递进程。

6.如权利要求1所述的基于GoldenGate的数据复制备份方法，其特征在于，所述灾备目标端还包括：在第二节点主机上切换GoldenGate复制进程文件号，从灾备目标端最后应用的SCN号对应的时间点启动复制进程，复制第二节点主机GoldenGate目录下的数据至第一节点主机上。