CN110928883B - 一种数据归档方法及装置 - Google Patents

Abstract

本发明提供了一种数据归档方法及装置，该方法包括：确定源库中待归档的源表；采用数据实时复制技术实现源表与目标库中目标表的实时数据同步；获取源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对过期数据删除脚本的删除操作进行过滤；运行过期数据删除脚本中的作业生成脚本，以使作业生成脚本按照配置表中过期数据删除策略处理源表得到删除作业并保存至作业表中；运行过期数据删除脚本中的作业执行脚本，以使作业执行脚本扫描作业表中的删除作业并利用中间表中删除辅助数据执行。本发明基于数据实时复制技术和源库预部署的程序可以实现对源表数据的实时、在线、低影响归档。

Description

一种数据归档方法及装置

技术领域

本发明涉及数据库技术领域，更具体地说，涉及一种数据归档方法及装置。

背景技术

数据归档是对业务系统数据库中的过期数据进行备份及清理的操作。

现阶段，常采用抽取工具将数据从源库中抽取至目标库，抽取工具需要按照源表中某个时间字段定期抽取，并记录每次数据抽取的时间范围，以便后续抽取的时间范围不再重叠。

但这种归档方式要求源表中有时间字段，字段内容不能为空也不能更新，否则会出现漏抽或者重复抽取的问题。

发明内容

有鉴于此，为解决上述问题，本发明提供一种数据归档方法及装置。技术方案如下：

一种数据归档方法，包括：

确定源库中待归档的源表；

采用数据实时复制技术实现所述源表与目标库中目标表的实时数据同步；

获取所述源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对所述过期数据删除脚本的删除操作进行过滤；其中，所述过期数据删除脚本包括作业生成脚本和作业执行脚本，所述配置表记录有过期数据删除策略，所述中间表中记录有所述源表的删除辅助数据；

运行所述作业生成脚本，以使所述作业生成脚本按照所述过期数据删除策略处理所述源表得到删除作业并保存至所述作业表中；

运行所述作业执行脚本，以使所述作业执行脚本扫描所述作业表中的所述删除作业并利用所述删除辅助数据执行。

优选的，所述采用数据复制技术实现源表与目标库中目标表的实时数据同步之前，所述方法还包括：

创建针对所述源库的归档账户，并为所述归档账户赋予权限。

优选的，所述采用数据复制技术实现源表与目标库中目标表的实时数据同步之前，所述方法还包括：

在所述源表处于未分区状态的情况下，对所述目标表进行分区。

优选的，所述方法还包括：

在检测到所述作业执行脚本运行完成的情况下，输出用于表征数据归档完成的提示信息。

优选的，所述方法还包括：

在检测到所述作业执行脚本运行完成的情况下，对所述源表执行shrink操作。

优选的，所述方法还包括：

在检测到所述作业执行脚本运行未完成的情况下，获取并更新所述删除作业的运行进度和运行状态。

优选的，所述方法还包括：

在检测到所述作业生成脚本/所述作业执行脚本运行中断的情况下，获取并记录所述作业生成脚本/所述作业执行脚本的运行错误信息。

优选的，所述运行所述作业生成脚本之前，所述方法还包括：

通过第一定时任务调度所述作业生成脚本；

所述运行所述作业执行脚本之前，所述方法还包括：

通过第二定时任务调度所述作业执行脚本。

一种数据归档装置，包括：

确定模块，用于确定源库中待归档的源表；

同步模块，用于采用数据实时复制技术实现所述源表与目标库中目标表的实时数据同步；

获取过滤模块，用于获取所述源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对所述过期数据删除脚本的删除操作进行过滤；其中，所述过期数据删除脚本包括作业生成脚本和作业执行脚本，所述配置表记录有过期数据删除策略，所述中间表中记录有所述源表的删除辅助数据；

第一运行模块，用于运行所述作业生成脚本，以使所述作业生成脚本按照所述过期数据删除策略处理所述源表得到删除作业并保存至所述作业表中；

第二运行模块，用于运行所述作业执行脚本，以使所述作业执行脚本扫描所述作业表中的所述删除作业并利用所述删除辅助数据执行。

优选的，所述装置还包括：

创建模块，用于创建针对所述源库的归档账户，并为所述归档账户赋予权限。

相较于现有技术，本发明实现的有益效果为：

以上本发明提供的数据归档方法及装置，可以采用数据实时复制技术实现源表和目标表的实时数据同步，并且由于在源库中预部署有过期数据删除脚本、配置表、作业表和中间表，可以将过期数据及时删除从而轻量化源表数据，提升源库性能，又由于可以在配置表中灵活设置过期数据删除策略，故可弱化归档过程对时间字段的依赖。此外，由于对过期数据删除脚本的删除操作进行过滤，这就可以在数据实时复制时不将源库过期数据删除脚本所产生的删除操作复制到目标库中，从而达到巧妙归档的目的。本发明实现了对源表数据的实时、在线、低影响归档。

此外，本发明还可以解决数据归档过程中的停机时间要求、数据滞后、数据遗漏、重复抽取、归档过程繁琐易出错、源库的源端历史数据删除不便、归档以及历史数据删除过程影响源库性能等问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的数据归档方法的方法流程图；

图2为本发明实施例提供的数据归档方法的另一方法流程图；

图3为本发明实施例提供的数据归档方法的再一方法流程图；

图4为本发明实施例提供的数据归档装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种数据归档方法，该方法的方法流程图如图1所示，包括如下步骤：

S10，确定源库中待归档的源表。

在执行步骤S10的过程中，可以利用表名、编号和简称等可以唯一标识数据表的标志其中的一个或多个确定源表，源表通常为数据库中操作比较频繁的大表。如果源表之间存在主外键引用关系，则还需获取源表之间的主外键引用关系用于后续过期数据删除策略的设置。

S20，采用数据实时复制技术实现源表与目标库中目标表的实时数据同步。

在执行步骤S20的过程中，数据同步包括初始数据同步和变更数据同步。其中，数据初始化时使用expdp等工具将源表中的全部数据导入到目标表中；再启动变更数据复制，具体采用数据实时复制技术，比如OGG(Oracle Golden Gate)复制技术继续后面的变更数据复制，也就是源表一旦有数据变化，就会通过变更数据复制体现在目标表中。为方便理解，以下对OGG复制技术做简单介绍：

OGG复制技术属于具备实现大量数据亚秒级的实时复制的功能，通过解析源数据库在线日志或归档日志来获得数据的变更变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OGG可以在异构的IT基础结构(几乎包括所有常用OS平台和数据库平台)之间实现大量数据亚秒级的实时复制，可实现一对一、广播(一对多)、聚合(多对一)、双向、点对点、以及级联等多种灵活的拓扑结构。

S30，获取源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对过期数据删除脚本的删除操作进行过滤；其中，过期数据删除脚本包括作业生成脚本和作业执行脚本，配置表记录有过期数据删除策略，中间表中记录有源表的删除辅助数据。

在执行步骤S30的过程中，由于过期数据删除脚本部署于源库，对过期数据删除脚本的删除操作进行过滤就可以在数据实时复制时不将源库过期数据删除脚本所产生的删除操作复制到目标库中，从而达到巧妙归档的目的。

此外，为保证用户对数据库的操作性，在执行步骤S20“采用数据实时复制技术实现源表与目标库中目标表的实时数据同步”之前，还可创建针对源库的归档账户，并为该归档账户赋予权限，比如查询、删除源表数据的权限。相应的，在采用OGG复制技术配置OGG复制链路的同时，使用filter限制抽取进程，凡是归档账户执行的删除操作一概忽略，而对于其他账户的DML操作则正常抽取、复制，因此过期数据只能从源库删除而无法从目标库中删除，从而确保过期数据在目标库中永久保留。

进一步，步骤S30中可以在归档账户下部署源库的过期数据删除脚本、配置表、作业表和中间表。而为了最小化过期数据删除给源库带来的性能影响以及优化删除速度，过期数据删除脚本可以细分为作业生成脚本和作业执行脚本，以此实现过期数据删除作业的自动生成和调度。

需要说明的是，过期数据删除策略包括但不局限于过期数据删除条件、作业计划运行时间、作业运行间隔、源表之间的主外键关系、以主键或者rowid方式数据删除的选择、删除批量设置；当然，对于分区表，支持历史分区删除。以下对上述过期数据删除策略进行举例：

过期数据删除条件：90天之前的数据；

作业计划运行时间：晚上9点后，每个待归档表以10分钟为间隔依次错开；

作业运行间隔：1天；

源表之间的主外键关系：指定顺序，保证子表删除操作在前，父表在后；

以主键或者rowid方式数据删除的选择：rowid方式。

删除批量设置：1万行。

还需要说明的是，中间表中所记录的源表的删除辅助数据与数据删除方式的选择有关。如果为主键方式，则删除辅助数据为主键；而如果为rowid方式，则删除辅助数据为rowid。

S40，运行作业生成脚本，以使作业生成脚本按照过期数据删除策略处理源表得到删除作业并保存至作业表中。

在执行步骤S40的过程中，作业生成脚本可以通过(数据库或操作系统)的第一定时任务进行调度，比如每天0点附近生成当天要执行的删除作业。而在运行作业生成脚本的过程中，如果检测到作业生成脚本运行中断，则获取并记录作业生成脚本的运行错误信息，以便后续修复生成异常。

S50，运行作业执行脚本，以使作业执行脚本扫描作业表中的删除作业并利用删除辅助数据执行。

在执行步骤S50的过程中，作业执行脚本可以通过(数据库或操作系统)的第二定时任务进行调度，比如以5分钟为间隔定期查找当天可以执行的删除作业。而在运行作业执行脚本的过程中，如果检测到作业执行脚本运行中断，则获取并记录作业执行脚本的运行错误信息，以便后续修复执行异常。

此外，为提高人机交互友好性，在检测到作业执行脚本运行未完成的情况下，可以获取并更新删除作业的运行进度和运行状态。例如，删除作业A的运行进度可以为“删除作业A已删除50％”。对于删除作业的运行状态，比如1表示等待执行，2表示正在执行，3表示执行成功，4表示执行失败。进一步，如果为3，则发邮件或短信告知用户作业执行成功，如果是4则告知执行失败。

而为提醒用户数据归档完成，在检测到作业执行脚本运行完成的情况下，输出用于表征数据归档完成的提示信息。该提示信息可以为运行结束标识符或者对话框等。

由于初次归档时源表会删除大量数据，操作时间较长，因此可以逐个启动源表进行数据归档，而非初次不做限定可以并行处理。在其他一些实施例中，初次归档完成后，为回缩源表及其索引所占用的空间、提升I/O性能，在图1所示出数据归档方法的基础上，还可以包括如下步骤，方法流程图如图2所示：

S60，在检测到作业执行脚本运行完成的情况下，对源表执行shrink操作。

基于图1所示出数据归档方法，可以看出本发明相当于提供了源库，也就是生产数据库的一个动态形式的备份。而由于目标库，也就是归档库的数据实时性比较好，非常接近生产数据库。在其他一些实施例中，在数据库层面可以采用读写分离的方式，从源库中分离出部分读操作至目标库，从而减轻源库的访问压力。

在其他一些实施例中，为便于目标表后续维护，在图1所示出数据归档方法的基础上，还可以包括如下步骤，方法流程图如图3所示：

S70，在源表处于未分区状态的情况下，对目标表进行分区。

在执行步骤S70的过程中，可以按照业务特点，比如时间字段或者其他字段对目标表进行分区。此时，目标表的索引则创建为本地分区索引。

需要说明的是，为降低分区代价，步骤S60可以在数据同步之前对目标库进行数据初始化时完成。

本发明实施例提供的数据归档方法，可以采用数据实时复制技术实现源表和目标表的实时数据同步，并且由于在源库中预部署有过期数据删除脚本、配置表、作业表和中间表，可以将过期数据及时删除从而轻量化源表数据，提升源库性能，又由于可以在配置表中灵活设置过期数据删除策略，故可弱化归档过程对时间字段的依赖。此外，由于对过期数据删除脚本的删除操作进行过滤，这就可以在数据实时复制时不将源库过期数据删除脚本所产生的删除操作复制到目标库中，从而达到巧妙归档的目的。本发明实现了对源表数据的实时、在线、低影响归档。

基于上述实施例提供数据归档方法，本发明实施例则对应提供一种执行上述数据归档方法的装置，该装置的结构示意图如图4所示，包括：

确定模块10，用于确定源库中待归档的源表；

同步模块20，用于采用数据实时复制技术实现源表与目标库中目标表的实时数据同步；

获取过滤模块30，用于获取源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对过期数据删除脚本的删除操作进行过滤；其中，过期数据删除脚本包括作业生成脚本和作业执行脚本，配置表记录有过期数据删除策略，中间表中记录有源表的删除辅助数据；

第一运行模块40，用于运行作业生成脚本，以使作业生成脚本按照过期数据删除策略处理源表得到删除作业并保存至作业表中；

第二运行模块50，用于运行作业执行脚本，以使作业执行脚本扫描作业表中的删除作业并利用删除辅助数据执行。

可选的，在图4所示出数据归档装置的基础上，还包括如下模块：

创建模块，用于创建针对源库的归档账户，并为归档账户赋予权限。

本发明实施例提供的数据归档装置，可以采用数据实时复制技术实现源表和目标表的实时数据同步，并且由于在源库中预部署有过期数据删除脚本、配置表、作业表和中间表，可以将过期数据及时删除从而轻量化源表数据，提升源库性能，又由于可以在配置表中灵活设置过期数据删除策略，故可弱化归档过程对时间字段的依赖。此外，由于对过期数据删除脚本的删除操作进行过滤，这就可以在数据实时复制时不将源库过期数据删除脚本所产生的删除操作复制到目标库中，从而达到巧妙归档的目的。本发明实现了对源表数据的实时、在线、低影响归档。

以上对本发明所提供的一种数据归档方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据归档方法，其特征在于，包括：

确定源库中待归档的源表；

采用数据实时复制技术实现所述源表与目标库中目标表的实时数据同步；

获取所述源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对所述过期数据删除脚本的删除操作进行过滤；其中，所述过期数据删除脚本包括作业生成脚本和作业执行脚本，所述配置表记录有过期数据删除策略，所述中间表中记录有所述源表的删除辅助数据；

运行所述作业生成脚本，以使所述作业生成脚本按照所述过期数据删除策略处理所述源表得到删除作业并保存至所述作业表中；

运行所述作业执行脚本，以使所述作业执行脚本扫描所述作业表中的所述删除作业并利用所述删除辅助数据执行。

2.根据权利要求1所述的方法，其特征在于，所述采用数据实时复制技术实现源表与目标库中目标表的实时数据同步之前，所述方法还包括：

创建针对所述源库的归档账户，并为所述归档账户赋予权限。

3.根据权利要求1所述的方法，其特征在于，所述采用数据实时复制技术实现源表与目标库中目标表的实时数据同步之前，所述方法还包括：

在所述源表处于未分区状态的情况下，对所述目标表进行分区。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到所述作业执行脚本运行完成的情况下，输出用于表征数据归档完成的提示信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到所述作业执行脚本运行完成的情况下，对所述源表执行shrink操作。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到所述作业执行脚本运行未完成的情况下，获取并更新所述删除作业的运行进度和运行状态。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到所述作业生成脚本/所述作业执行脚本运行中断的情况下，获取并记录所述作业生成脚本/所述作业执行脚本的运行错误信息。

8.根据权利要求1所述的方法，其特征在于，所述运行所述作业生成脚本之前，所述方法还包括：

通过第一定时任务调度所述作业生成脚本；

所述运行所述作业执行脚本之前，所述方法还包括：

通过第二定时任务调度所述作业执行脚本。

9.一种数据归档装置，其特征在于，包括：

确定模块，用于确定源库中待归档的源表；

同步模块，用于采用数据实时复制技术实现所述源表与目标库中目标表的实时数据同步；

获取过滤模块，用于获取所述源库预部署的过期数据删除脚本、配置表、作业表和中间表，并对所述过期数据删除脚本的删除操作进行过滤；其中，所述过期数据删除脚本包括作业生成脚本和作业执行脚本，所述配置表记录有过期数据删除策略，所述中间表中记录有所述源表的删除辅助数据；

第一运行模块，用于运行所述作业生成脚本，以使所述作业生成脚本按照所述过期数据删除策略处理所述源表得到删除作业并保存至所述作业表中；

第二运行模块，用于运行所述作业执行脚本，以使所述作业执行脚本扫描所述作业表中的所述删除作业并利用所述删除辅助数据执行。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

创建模块，用于创建针对所述源库的归档账户，并为所述归档账户赋予权限。

Images