CN110704242B - 一种连续数据保护系统及方法 - Google Patents

Abstract

本发明涉及一种基于Oracle日志捕获的连续数据保护系统及方法，用于进行Oracle数据的保护，同时来满足客户低RPO及历史数据恢复兼存的需求场景，所述统包括：存储介质，作为备份软件数据存放的逻辑单元；服务端Server，作为备份软件的管理控制台；客户端Agent，作为备份软件在客户端上的代理；数据库引擎Db Engine，作为数据库的核心组件；数据库的实际数据存储Database，用于在备份阶段，负责发送备份数据到Anent端，在恢复阶段负责接收Agent发送的恢复数据；数据库的日志文件Redo和归档日志Arch，负责存放所有对于数据库更改的操作记录及更改的数据。与现有技术相比，本发明有效解决了周期性的Oracle数据备份RPO偏大的问题等优点。

Description

一种连续数据保护系统及方法

技术领域

本发明涉及一种数据保护方法，尤其是涉及一种基于Oracle日志捕获的连续数据保护系统及方法。

背景技术

最早的Oracle数据库备份为脱机(“冷”)备份。DBA在关闭数据库后以文件OS文件副本的形式手动执行所有数据库备份。一些企业管理员开始编写UNIX shell脚本来执行以下任务：关闭数据库，使用OS命令复制文件，然后重新启动数据库。

Oracle数据库第6版推出了联机(“热”)备份的概念。这意味着数据库可以在执行备份的同时保持打开状态并处理事务。但是请注意，必须将每个表空间放在特殊的备份模式中，然后才能复制OS文件。因此，DBA修改其脚本以连接到数据库，获取表空间列表，将每个表空间放在备份模式中，执行OS文件副本备份，最后从备份模式中取出表空间。

最终在Oracle数据库第8版中有了突破性的改进，推出了Oracle RecoveryManager(RMAN)作为Oracle数据库的推荐备份方法，即使在技术上优于原有的备份模式联机备份。

在Oracle数据库8i、9i、10g、11g、12c、18c版本中，Oracle RMAN备份的控制文件方法开始为主流DBA接受，Oracle RMAN开始更多地用于生产数据库。

当前，Oracle的数据保护基本分为两种模式，一种为周期性的定时备份，即以上提到基于RMAN的备份模式，另外一种为实时复制，即基于日志的数据同步模式，从而构建高可用的主备模式。

针对于定时备份来说，需要周期性进行全量，增量备份，归档日志备份，形成对应的时间点用于数据恢复，可以将数据恢复到历史的某个状态，对于RPO和RTO要求不高的数据保护场景，此种方式基本可以满足客户的大部分需求。

针对于实时复制来说，首先源端数据库在全量复制时会将基础数据复制到目标端，然后实时监测源端的数据变化，并将源端变化的日志数据传输到目标端，目标端通过应用归档日志进行数据的同步。此方案RPO/RTO趋近于0，满足数据零丢失及数据高可用的要求，但是由于目标端实时和源端保持一致，无法保留历史的状态，那么就无法做到历史数据的恢复。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于Oracle日志捕获的连续数据保护系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种基于Oracle日志捕获的连续数据保护系统，用于进行Oracle数据的保护，同时来满足客户低RPO及历史数据恢复兼存的需求场景，其特征在于，所述统包括：

存储介质，作为备份软件数据存放的逻辑单元，用于负责管理所有的底层存储；

服务端Server，作为备份软件的管理控制台，用于担负与用户交互的任务，同时统筹管理所有的资源；

客户端Agent，作为备份软件在客户端上的代理，用于负责和Server进行交互，接受Server下达的备份命令，并针对命令做出相应的处理，并将执行的结果返回给Server；

数据库引擎Db Engine，作为数据库的核心组件，用于负责接收外部的SQL指令，并对指令进行解析执行；

数据库的实际数据存储Database，用于在备份阶段，负责发送备份数据到Anent端，在恢复阶段负责接收Agent发送的恢复数据；

数据库的日志文件Redo和归档日志Arch，负责存放所有对于数据库更改的操作记录及更改的数据。

优选地，所述存储介质为磁盘、对象存储、云存储或磁带存储单元，将存储介质规划为一个个逻辑卷，并提供数据的读取和写入接口，满足数据的存取管理要求。

优选地，所述服务端Server，负责下发备份恢复指令和数据给对应的Agent，接收Agent返回的数据和执行结果，同时还负责和存储介质进行交互，负责读取和写入数据。

优选地，所述客户端Agent与DB Engine进行交互，下发数据库备份恢复指令，接收Database发送的数据；

在备份阶段，所述客户端Agent会启动一个监控线程，实时监控Redo和Arch的变化，并实时捕获变化的数据，将数据发送到Server端进行备份。

优选地，所述Db Engine负责接收备份恢复指令，解析后，根据不同的指令集对Database数据进行操作，然后返回执行结果。

优选地，所述Redo的文件个数和空间大小由数据库指定，采用循环复写的方式记录写入数据，在一个Redo文件写满的情况下，会进行归档，产生一个归档日志文件。

一种用于所述基于Oracle日志捕获的连续数据保护系统的连续数据保护方法，当保护的生产环境既需要达成RPO趋近于0的效果也需要满足历史数据恢复效果时，进行部署持续数据保护任务，发起备份。

优选地，所述任务会按照如下步骤执行备份操作：

1)选择需要保护的数据源，建立备份任务，并发起任务，然后执行步骤2)；

2)备份任务启动后，根据配置的任务选项检测是否满足备份条件，并启动日志监控线程进行初始化操作，如果启动失败重复执行步骤2)，否则主线程执行步骤3)，监控线程执行步骤4)；

3)根据备份任务配置信息构建Oracle RMAN备份脚本，通过Oracle RMAN执行全量备份或者增量备份，通过Oracle介质管理器将备份的数据通过管道传输给客户端代理Agent，客户端代理Agent将数据通过网络通道传输到Server，存放到存储介质中，如果备份失败，执行步骤3，否则执行步骤6；

4)日志监控线程负责监控日志的变化，采用备份软件的日志监控技术，实时发现变化的数据块，如果日志没有发生变化，那么重复执行步骤4，否则执行步骤5；

5)日志监控线程针对变化的数据进行备份，如果日志变化频率大于设定阈值，监控线程无法及时捕获变化数据，Redo日志被归档为归档日志，那么监控线程会将归档日志备份到Server端，存放到存储介质中；备份完成，根据备份参数判断是否需要产生时间带点，如果不需要产生时间点，则执行步骤4，否则执行步骤6；

6)客户端代理Agent发送时间点信息到Server端，Server在接受到时间点信息后，产生对应的时间点，将备份的数据进行归档，然后根据备份参数或者操作员指令判断是否结束任务，如果需要结束，那么退出日志监控线程和主线程，任务结束，否则主线程执行步骤7，日志监控线程执行步骤4；

7)主线程根据备份参数进入睡眠状态，在睡眠结束后执行步骤3。

优选地，所述根据配置的任务选项检测是否满足备份条件具体为：

检查需要备份的Oracle数据库实例的状态是否为Open，如果不为Open，则进行重试，否则进行下一步；

检查需要备份的Oracle数据库实例的状态是否为归档模式，如果不是归档模式，则进行重试，否则进行下一步；

获取需要备份的Oracle数据库实例的Redo日志存储位置和归档日志存储位置，获取失败则进行重试，否则进行下一步；

启动监控Redo日志和归档日志监控线程，如果启动失败，则进行重试，否则进行下一步。

优选地，所述步骤3)中的通过Oracle RMAN执行全量备份或者增量备份具体为：

首次发起任务，需要进行全量备份，主线程构建Oracle RMAN level 0级备份脚本，通过Oracle RMAN产生一个0级的备份集；

非首次发起备份，会根据备份参数决定备份类型，如果为全量备份，则构建OracleRMAN level 0级备份脚本，通过Oracle RMAN产生一个0级的备份集，否则则构建OracleRMAN level 1级备份脚本，通过Oracle RMAN产生一个1级的备份集。

与现有技术相比，本发明具有以下优点：

1.将原本周期性的备份归档日志文件，备份的最小单位为单个归档日志，改为实时监控捕获日志，打破传统的通过Rman工具备份归档日志的方式，有效将RPO降低至趋近于0的效果。

2.针对于持续的日志备份，用户可以从界面配置指定时间的时间周期，备份软件会根据指定的周期将此期间捕获到的日志保存到时间点中，从而满足历史数据恢复的需求。

3.将原本周期性的备份任务拓展为实时任务，备份任务实现为常驻模式，实现任务的长期监控，当任务出现异常时，无需人为干预，可自动尝试将任务恢复到正常状态，减少管理和运维成本。

附图说明

图1为本发明在备份时各个角色及角色间关系的结构图。

图2为本发明发起备份任务及任务执行的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明通过采用一种基于Oracle日志捕获的连续数据保护技术，结合传统的定时备份，有效解决了周期性的Oracle数据备份RPO偏大的问题。在进行全量备份及增量备份的间隙，通过持续的日志备份任务，在备份客户端通过自研的日志变化块监控技术，以及日志变化块抓取技术，实时获取变化的数据，传输到备份介质中，然后通过配置的时间间隔，产生时间点，进行保存，用于后续的恢复作业。由于实时的抓取和存储了变化的数据，那么恢复时，可以竟可能多的恢复停机前的数据，有效降低传统定时备份高RPO的问题，及实时复制无法恢复历史数据的问题。

如图1所示，在本发明中存储介质作为备份软件数据存放的逻辑单元，它负责管理所有的底层存储，例如磁盘，对象存储，云存储，磁带等存储单元，将其规划为一个个逻辑卷，并提供数据的读取和写入接口，满足数据的存取管理要求。

在本发明中Server作为备份软件的管理控制台，是备份软件的管理单元，担负和用户交互的任务，同时统筹管理所有的资源，其中包含存储介质及Agent，同时负责下发备份恢复指令和数据给对应的Agent，接收Agent返回的数据和执行结果。也负责和存储介质进行交互，负责读取和写入数据。

在本发明中需要安装Agent代理客户端，Agent作为备份软件在客户端上的代理，在负责和Server进行交互，接受server下达的备份命令，并针对命令做出相应的处理，并将执行的结果返回给Server。此处的处理代表和DB Engine进行交互，下发数据库备份恢复指令，接收Database发送的数据。在备份阶段，Agent会启动一个监控线程，实时监控Redo和Arch的变化，并实时捕获变化的数据，将数据发送到Server端进行备份。

在本发明中Db Engine代表数据库引擎，是数据库的核心组件，负责接收外部的SQL指令，并对指令进行解析执行，本发明中，Db Engine负责接收备份恢复指令，解析后，根据不同的指令集对Database数据进行操作，然后返回执行结果。

在本发明中Database代表数据库的实际数据存储，在备份阶段，负责发送备份数据到Anent端，在恢复阶段负责接收Agent发送的恢复数据。

在本发明中Redo/Arch代表数据库的Redo日志文件和归档日志，负责存放所有对于数据库更改的操作记录及更改的数据，Redo的文件个数和空间大小由数据库指定，采用循环复写的方式记录写入数据，在一个Redo文件写满的情况下，会进行归档，产生一个归档日志文件。

在本发明中，当保护的生产环境既需要达成RPO趋近于0的效果也需要满足历史数据恢复效果时，操作员可部署持续数据保护任务，发起备份，任务会按照如下步骤执行备份操作：

如图2所示，备份过程如下：

1.操作员选择需要保护的数据源，建立备份任务，并发起任务，然后执行步骤2。

2.备份任务启动后，根据配置的任务选项检测是否满足备份条件(检测项包含以下内容)，并启动日志监控线程进行初始化操作，如果启动失败重复执行步骤2，否则主线程执行步骤3，监控线程执行步骤4。

检查需要备份的Oracle数据库实例的状态是否为Open，如果不为Open，则进行重试，否则进行下一步。

检查需要备份的Oracle数据库实例的状态是否为归档模式，如果不是归档模式，则进行重试，否则进行下一步。

获取需要备份的Oracle数据库实例的Redo日志存储位置和归档日志存储位置，获取失败则进行重试，否则进行下一步。

启动监控Redo日志和归档日志监控线程，如果启动失败，则进行重试，否则进行下一步。

3.根据备份任务配置信息构建Oracle RMAN备份脚本，通过Oracle RMAN执行全量备份或者增量备份，通过Oracle介质管理器(Media management Library:MML)将备份的数据通过管道传输给客户端代理(Agent)，客户端代理(Agent)将数据通过网络通道传输到Server，存放到存储介质中。如果备份失败，执行步骤3，否则执行步骤6。

首次发起任务，需要进行全量备份，主线程构建Oracle RMAN level 0级备份脚本，通过Oracle RMAN产生一个0级的备份集。

非首次发起备份，会根据备份参数决定备份类型，如果为全量备份，则构建OracleRMAN level 0级备份脚本，通过Oracle RMAN产生一个0级的备份集。否则则构建OracleRMAN level 1级备份脚本，通过Oracle RMAN产生一个1级的备份集。

4.日志监控线程负责监控日志的变化，采用备份软件的日志监控技术，实时发现变化的数据块。如果日志没有发生变化，那么重复执行步骤4，否则执行步骤5.

5.日志监控线程针对变化的数据进行备份，如果日志变化频繁，监控线程无法及时捕获变化数据，Redo日志被归档为归档日志，那么监控线程会将归档日志备份到Server端，存放到存储介质中。备份完成，根据备份参数判断是否需要产生时间带点，如果不需要产生时间点，则执行步骤4，否则执行步骤6。

6.客户端代理(Agent)发送时间点信息到Server端，Server在接受到时间点信息后，产生对应的时间点，将备份的数据进行归档。然后根据备份参数或者操作员指令判断是否结束任务，如果需要结束，那么退出日志监控线程和主线程，任务结束，否则主线程执行步骤7，日志监控线程执行步骤4。

7.主线程根据备份参数进入睡眠状态，在睡眠结束后执行步骤3。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种用于基于Oracle日志捕获的连续数据保护系统的连续数据保护方法，用于进行Oracle数据的保护，同时来满足客户低RPO及历史数据恢复兼存的需求场景，其特征在于，所述系统包括：

存储介质，作为备份软件数据存放的逻辑单元，用于负责管理所有的底层存储；

服务端Server，作为备份软件的管理控制台，用于担负与用户交互的任务，同时统筹管理所有的资源；

客户端Agent，作为备份软件在客户端上的代理，用于负责和Server进行交互，接受Server下达的备份命令，并针对命令做出相应的处理，并将执行的结果返回给Server；

数据库引擎Db Engine，作为数据库的核心组件，用于负责接收外部的SQL指令，并对指令进行解析执行；

数据库的实际数据存储Database，用于在备份阶段，负责发送备份数据到客户端Agent，在恢复阶段负责接收Agent发送的恢复数据；

数据库的日志文件Redo和归档日志Arch，负责存放所有对于数据库更改的操作记录及更改的数据；

所述系统在进行全量备份及增量备份的间隙，通过持续的日志备份任务，在备份客户端通过日志变化块监控技术以及日志变化块抓取技术，实时获取变化的数据，传输到备份介质中，然后通过配置的时间间隔，产生时间点，进行保存，用于后续的恢复作业；

所述方法包括：当保护的生产环境既需要达成RPO趋近于0的效果也需要满足历史数据恢复效果时，进行部署持续数据保护任务，发起备份；

所述持续数据保护任务会按照如下步骤执行备份操作：

1)选择需要保护的数据源，建立备份任务，并发起任务，然后执行步骤2)；

2)备份任务启动后，根据配置的任务选项检测是否满足备份条件，并启动日志监控线程进行初始化操作，如果启动失败重复执行步骤2)，否则主线程执行步骤3)，日志监控线程执行步骤4)；

3)根据备份任务配置信息构建Oracle RMAN备份脚本，通过Oracle RMAN执行全量备份或者增量备份，通过Oracle介质管理器将备份的数据通过管道传输给客户端代理Agent，客户端代理Agent将数据通过网络通道传输到Server，存放到存储介质中，如果备份失败，执行步骤3)，否则执行步骤6)；

4)日志监控线程负责监控日志的变化，采用备份软件的日志监控技术，实时发现变化的数据块，如果日志没有发生变化，那么重复执行步骤4)，否则执行步骤5)；

5)日志监控线程针对变化的数据进行备份，如果日志变化频率大于设定阈值，日志监控线程无法及时捕获变化数据，Redo日志被归档为归档日志，那么监控线程会将归档日志备份到Server端，存放到存储介质中；备份完成，根据备份参数判断是否需要产生时间点，如果不需要产生时间点，则执行步骤4)，否则执行步骤6)；

6)客户端代理Agent发送时间点信息到Server端，Server在接受到时间点信息后，产生对应的时间点，将备份的数据进行归档，然后根据备份参数或者操作员指令判断是否结束任务，如果需要结束，那么退出日志监控线程和主线程，任务结束，否则主线程执行步骤7)，日志监控线程执行步骤4)；

7)主线程根据备份参数进入睡眠状态，在睡眠结束后执行步骤3)。

2.根据权利要求1所述的连续数据保护方法，其特征在于，所述存储介质为磁盘、对象存储、云存储或磁带存储单元，将存储介质规划为一个个逻辑卷，并提供数据的读取和写入接口，满足数据的存取管理要求。

3.根据权利要求1所述的连续数据保护方法，其特征在于，所述服务端Server，负责下发备份恢复指令和数据给对应的Agent，接收Agent返回的数据和执行结果，同时还负责和存储介质进行交互，负责读取和写入数据。

4.根据权利要求1所述的连续数据保护方法，其特征在于，所述客户端Agent与DBEngine进行交互，下发数据库备份恢复指令，接收Database发送的数据；

在备份阶段，所述客户端Agent会启动一个日志监控线程，实时监控Redo和Arch的变化，并实时捕获变化的数据，将数据发送到Server端进行备份。

5.根据权利要求1所述的连续数据保护方法，其特征在于，所述Db Engine负责接收备份恢复指令，解析后，根据不同的指令集对Database数据进行操作，然后返回执行结果。

6.根据权利要求1所述的连续数据保护方法，其特征在于，所述Redo的文件个数和空间大小由数据库指定，采用循环复写的方式记录写入数据，在一个Redo文件写满的情况下，会进行归档，产生一个归档日志文件。

7.根据权利要求1所述的连续数据保护方法，其特征在于，所述步骤2)具体为：

检查需要备份的Oracle数据库实例的状态是否为Open，如果不为Open，则进行重试，否则进行下一步；

检查需要备份的Oracle数据库实例的状态是否为归档模式，如果不是归档模式，则进行重试，否则进行下一步；

获取需要备份的Oracle数据库实例的Redo日志存储位置和归档日志存储位置，获取失败则进行重试，否则进行下一步；

启动监控Redo日志和归档日志的日志监控线程，如果启动失败，则进行重试，否则进行下一步。

8.根据权利要求1所述的连续数据保护方法，其特征在于，所述步骤3)中的通过OracleRMAN执行全量备份或者增量备份具体为：

首次发起任务，需要进行全量备份，主线程构建Oracle RMAN level 0级备份脚本，通过Oracle RMAN产生一个0级的备份集；

非首次发起备份，会根据备份参数决定备份类型，如果为全量备份，则构建OracleRMAN level 0级备份脚本，通过Oracle RMAN产生一个0级的备份集，否则则构建OracleRMAN level 1级备份脚本，通过Oracle RMAN产生一个1级的备份集。

Images