CN103473151B - 数据库表的备份方法及装置 - Google Patents

Abstract

本发明提供一种数据库表的备份方法及装置，该方法包括如下步骤：（1）根据备份模式，获取备份表清单，生成备份表清单文件；（2）根据备份参数信息，生成备份作业；（3）根据所述备份作业的信息，生成运行控制文件；（4）读取所述运行控制文件，判断备份作业的运行状态，如果所述运行状态为备份未完成，执行步骤(51)；（51）提交备份作业，开始备份；（6）对备份作业的运行状态进行监控扫描，直到所有备份作业完成备份。本发明极大的缩短了数据库的备份时长，安全高效；集中界面，可及时展现备份运行状态以及异常结束等故障，从而提高备份运行速度，加快故障响应速度，减少备份运行风险。

Description

数据库表的备份方法及装置

技术领域

本发明涉及一种数据库中数据库表的备份方法及装置，尤其涉及一种自动批量备份数据库表的方法及装置。

背景技术

在核心银行业务系统批量对数据处理之前，为保证系统的可恢复性，提供批量运行出错后的回退机制，需要对该系统的所有文件和数据库表进行备份，而且为保证正常营业时间，批量处理时间需尽量压缩，因此，在一定的资源情况下，需要尽量缩短备份时长。

在批量运行备份的过程中，大多数系统仅采用人工事先准备好所有的备份作业进行备份，且由于系统资源的限制以及缺少自动性，需要人工时刻查看并处理备份过程。

传统的备份方式存在以下方面的局限性：

核心银行系统数据库系统庞大，人为准备批量作业耗时耗力且存在较高的人为操作失误风险；

核心银行系统为保证业务的吸引力，系统需要不断升级，相应地，它的数据库系统的资源变化频繁，与之相应的备份作业需要时刻准备做调整；

核心银行系统数据库表数量众多，功能各异，其大小比例悬殊，大的一张表可达几百个G，小的往往只有几K，备份时，往往需要针对其大小采用不同的备份方式以及根据备份时间的长短合理调配资源。且这些表的大小是时刻变化着的，一张大表经过历史数据清理以后，也可以变成小表，一张小表随着业务的增长可以增长为大表，因此需要经常动态调整；

数据库表备份方式有多种，比如说拷贝图像（IMAGECOPY）、卸载（UNLOAD）等，如果要调整备份方式，所有的备份作业需要重新调整；

需要操作人员时刻监控备份进程，并根据备份进程手工提交后续备份作业；

备份信息收集困难，不利于数据统计以及错误判断和处理；

可迁移性差，一套核心银行系统可能有多套功能各异的环境，比如说灾备环境、演练环境等，他们的参数不同，版本不同，备份的内容也可能不同，备份作业也就要重新开发。

因此，迫切需要提供一种自动、高效、准确的批量备份的方法，从而使数据库表的备份灵活可控，且可最大限度的缩短备份时间，减少人为因素造成的风险。

发明内容

本发明所要解决的技术问题在于提供一种可参数配置、自动化程度较高、灵活可控、准确的批量数据库表的备份方法，且可最大限度的缩短备份时间，减少人为因素造成的风险。

为了解决上述技术问题，本发明通过自动完成备份作业的生成，提供一种据库表的备份方法，包括如下步骤：（1）根据备份模式，获取备份表清单，生成备份表清单文件；（2）根据备份参数信息，生成备份作业；（3）根据所述备份作业的信息，生成运行控制文件；（4）读取所述运行控制文件，判断备份作业的运行状态，如果所述运行状态为备份未完成，执行步骤(51)；（51）提交备份作业，开始备份；（6）对备份作业的运行状态进行监控扫描，直到所有备份作业完成备份。

作为优选，进一步包括如下步骤：在步骤（1）之前，对所述备份参数进行重新设定。

作为优选，所述备份参数包括：备份模式、数据库参数、备份作业命名方式、备份模板、备份作业的最大表数目、备份作业的最大并发度、备份作业的排队队列、备份时长阈值以及监控扫描频率。

作为优选，所述备份模式包括：全量模式、清单模式或带排除列表的全量模式。

作为优选，如果步骤（4）中所述的运行状态为备份已完成，则进一步执行如下步骤：（52）更新表信息统计文件。

作为优选，所述运行状态为备份已完成的备份作业包括：已成功完成的备份作业及已完成但有错误的备份作业；所述运行状态为备份未完成的备份作业包括：正在运行的备份作业及排队等待的备份作业。

作为优选，所述备份作业的信息包括：备份作业运行状态、备份作业名称、运行中的备份作业唯一标识、备份作业中包含的表名、表的记录数、备份开始时间、备份开始日期、备份结束时间以及备份结束日期。

作为优选，所述生成备份表清单文件的步骤包括：（1-1）根据不同的备份模式，读取相应的数据库表，获取备份表清单；（1-2）根据所述备份表清单，读取表信息统计文件，判断各表是否在所述表信息统计文件中有记录，如果有记录，执行步骤（1-31），如果没有记录，执行步骤（1-32）；（1-31）读取各表的备份时长；（1-32）将备份时长设为最大值；（1-4）根据获取的各表的备份时长，对各表按时长进行降序排序，生成备份表清单文件。

作为优选，所述根据不同的备份模式，读取相应的数据库表的步骤包括：（1-1-1）判断备份模式，如果是清单模式,执行步骤（1-1-21）；如果是全量模式，执行步骤（1-1-22）；如果是带排除列表的全量模式，执行步骤（1-1-23）；（1-1-21）直接读取备份表清单；（1-1-22）直接读取数据库的表；（1-1-23）读取数据库的表，获取最新的表清单后减去排除表清单文件中的内容。

作为优选，所述根据备份参数信息，生成备份作业的步骤包括：（2-1）将所述备份表清单文件中表的备份时长与所述备份时长阈值进行比较，判断其时长关系；（2-2）如果所述表的备份时长大于所述备份时长阈值，则一张表生成一个备份作业；（2-3）如果所述表的备份时长小于所述备份时长阈值，则根据参数设置的备份作业的最大表数目、备份作业的最大并发度以及所述按降序排序的备份表清单文件生成备份作业。

作为优选，所述对备份作业的运行状态进行监控扫描的步骤包括：（6-1）判断备份作业的运行状态，如果所述运行状态为备份未完成，执行步骤（6-21），如果所述运行状态为备份已完成，执行步骤（6-22）；（6-21）继续进行监控扫描；（6-22）判断备份作业是否成功备份；如果备份作业成功，执行步骤（6-31）；如果备份作业失败，执行步骤（6-32）；（6-31）直接更新运行控制文件的备份作业运行状态；（6-32）给控制人员发送警告信息，控制人员手动备份后，更新运行控制文件的备份作业运行状态。

本发明还包括一种数据库表的备份装置，包括：参数配置管理模块，对备份参数进行设定；信息收集模块，与参数配置管理模块连接，根据备份模式，获取备份表清单，生成备份表清单文件；作业生成模块，与信息收集模块连接，根据备份参数信息，生成备份作业，并生成运行控制文件；作业运行监控模块，与作业生成模块连接，对备份作业的运行状态进行监控扫描，直到所有备份作业完成备份。

本发明的优点在于：通过自动完成备份作业的生成，极大的缩短了数据库的备份时长，且安全高效；相比人工操作，出错率低；并使得运行操作及应用监控人员简化了操作步骤；集中界面，可及时展现备份运行状态以及异常结束等故障，从而提高备份运行速度，加快故障响应速度，减少备份运行风险。

附图说明

图1为本发明的数据库表的备份方法的实施例的流程图；

图2为本发明的实施例中生成备份表清单文件的步骤流程图；

图3为本发明的实施例中对备份作业的运行状态进行监控扫描的步骤流程图；

图4为本发明的数据库表的备份装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明提供一种数据库表的备份方法，首先，在进行备份之前，对备份参数进行重新设定，包括对备份模式、数据库参数、备份模板、备份作业命名方式、备份作业的最大表数目、备份作业的排队队列、备份作业的最大并发度、备份时长阈值以及监控扫描频率的设定。其中，a、备份模式包括清单模式、全量模式，带排除列表的全量模式等，可根据需求灵活选择；b、数据库参数，核心银行系统可能有多套数据库，每套数据库的参数不同，通过不同参数的设置，使本发明的备份方法具备跨“平台”的特性；c、备份方式，通过不同备份模板的选择，达到不同备份的要求；d、备份作业的排队队列，不同的队列对应不同的数据库子系统，将备份作业合理安排，以达到负载均衡的目的；f、备份作业的最大并发度，根据系统资源的情况，选择合适的并发度；g、备份时长阀值，通过阀值的设置，合理控制备份作业的总体数目，因为并不是每一张表一个作业才是最好的；h、监控扫描频率，不断的扫描也是要耗费一定的系统资源的，合理设置才能减少消耗。当然，在备份条件相同的情况下，也可以忽略所述对备份参数进行重新设定的步骤，保留所有已设置好的备份参数，进而直接进行备份操作。

图1为本发明的数据库表的备份方法的实施例的流程图。如图所示，本发明提供一种数据库表的备份方法，包括如下步骤：首先，根据不同的备份模式，获取备份表清单，生成按时长降序排序的备份表清单文件（步骤101）。其次，根据备份参数信息，生成备份作业（步骤102）。再次，根据所述备份作业的信息，生成运行控制文件（步骤103）。然后，读取所述运行控制文件，判断备份作业的运行状态（步骤104）；如果所述运行状态为备份已完成，则更新表信息统计文件的表备份时长信息（步骤105）；如果所述运行状态为备份未完成，则提交备份作业，开始备份（步骤106）。接着，对备份作业的运行状态进行监控扫描，直到所有备份作业完成备份（步骤107）。

图2为本发明的实施例中生成备份表清单文件的步骤流程图。如图所示，包括如下步骤：首先，根据不同的备份模式，读取相应的数据库表，获取备份表清单（步骤201）。例如，如果是清单模式，则直接读取备份表清单；如果是全量模式，则直接读取数据库系统Catalog表；如果是带排除列表的全量模式，则读取数据库系统Catalog表，获取最新的表清单后减去排除表清单文件中的内容。

其次，根据所述备份表清单，读取表信息统计文件，判断各表是否在所述表信息统计文件中有记录（步骤202），如果有记录，则读取各表的备份时长（步骤203）；如果没有记录，则将备份时长设为最大值（步骤204）。其中，表信息统计文件主要记录各表备份时长。

最后，根据获取的各表的备份时长，对各表按时长进行降序排序，生成备份表清单文件（步骤205）。其中，备份表清单文件记录了本次需要备份的所有数据库表。

下面，详细叙述本发明中生成备份作业的过程。首先，将所述备份表清单文件中表的备份时长与所述备份时长阈值进行比较，判断其时长关系；如果所述表的备份时长大于所述备份时长阈值，则一张表生成一个备份作业；如果所述表的备份时长小于所述备份时长阈值，则根据参数设置的备份作业的最大表数目、备份作业的最大并发度以及所述按降序排序的备份表清单文件生成备份作业。

为确保同一备份作业名称的作业运行时间的均衡，采取以下方法进行表的作业分配。举例说明，假设备份模板的名称为UNLOADTP，每个备份作业的最大表数目为2，最大并发度为7，则根据备份作业命名方式，备份模板名称的前6位+7以内的数字，生成的备份作业名称为UNLOAD1、UNLOAD2…UNLOAD7。再假设按降序排序后的备份表清单文件中的表为A、B、C.....M、N、O、P...（其中A-P用备份时长代表各表，且0≤阈值≤N），则O、P分别生成一个备份作业，A-N按蛇形阵列安排到各备份作业中，如下表1所示:

表1备份作业

然后，根据参数设置的队列名称平均设置作业的队列。如果排队队列的名称为α和β两个，则UNLOAD1、UNLOAD3…排列在α队列中，UNLOAD2、UNLOAD4…排列在β队列中。

所述备份作业的信息包括：备份作业运行状态、备份作业名称、运行中的备份作业唯一标识、备份作业中包含的表名、表的记录数、备份开始时间、备份开始日期、备份结束时间以及备份结束日期。所述根据备份作业的信息，生成的运行控制文件如下表2所示：

表2运行控制文件

其中，备份作业运行状态中，<I>表示备份作业已成功完成；<E>表示备份作业已完成但有错误；<A>表示备份作业正在运行；<H>表示备份作业正排队等待；<=>表示与上一作业为同一备份作业。

图3为本发明的实施例中对备份作业的运行状态进行监控扫描的步骤流程图。如图所示，包括如下步骤：首先，判断备份作业的运行状态（步骤301）；如果所述运行状态为备份未完成，即备份作业正在运行或备份作业正排队等待，则继续进行监控扫描（步骤302）；如果所述运行状态为备份已完成，即备份作业已成功完成或者备份作业已完成但有错误，则判断备份作业是否成功备份（步骤303）；如果备份作业备份失败，则给控制人员发送警告信息（步骤304），控制人员手动备份后，更新运行控制文件的备份作业运行状态（步骤305）；如果备份作业备份成功，则直接更新运行控制文件的备份作业运行状态为备份作业已成功完成（步骤305）。

为了完成所有的备份作业，再次读取更新过后的运行控制文件（步骤104），重复上述备份过程，直到所有备份作业完成备份。

图4为本发明的数据库表的备份装置示意图。本发明还提供一种数据库表的备份装置，包括：参数配置管理模块1，对备份参数进行设定；信息收集模块2，与参数配置管理模块1连接，根据备份模式，获取备份表清单，生成备份表清单文件；作业生成模块3，与信息收集模块2连接，根据备份参数信息，生成备份作业并生成运行控制文件；作业运行监控模块4，与作业生成模块3连接，对备份作业的运行状态进行监控扫描，直到所有备份作业完成备份。

首先，在进行备份之前，参数配置管理模块1对备份参数进行重新设定，包括对备份模式、数据库参数、备份模板、备份作业命名方式、备份作业的最大表数目、备份作业的排队队列、备份作业的最大并发度、备份时长阈值以及监控扫描频率的设定。

然后，信息收集模块2，根据不同的备份模式，读取相应的数据库表，获取备份表清单。根据所述备份表清单，读取表信息统计文件，判断各表是否在所述表信息统计文件中有记录，如果有记录，则读取各表的备份时长；如果没有记录，则将备份时长设为最大值。最后，根据获取的各表的备份时长，对各表按时长进行降序排序，生成备份表清单文件。

接着，作业生成模块3，将所述备份表清单文件中表的备份时长与所述备份时长阈值进行比较，判断其时长关系；如果所述表的备份时长大于所述备份时长阈值，则一张表生成一个备份作业；如果所述表的备份时长小于所述备份时长阈值，则根据参数设置的备份作业的最大表数目、备份作业的最大并发度以及所述按降序排序的备份表清单文件生成备份作业。

最后，作业运行监控模块4，判断备份作业的运行状态；如果所述运行状态为备份未完成，即备份作业正在运行或备份作业正排队等待，则继续进行监控扫描；如果所述运行状态为备份已完成，即备份作业已成功完成或者备份作业已完成但有错误，则判断备份作业的运行结果；如果备份作业备份失败，则给控制人员发送警告信息，控制人员手动备份后，更新运行控制文件的备份作业运行状态；如果备份作业备份成功，则直接更新运行控制文件的备份作业运行状态为备份作业已成功完成。

以上仅为本发明的典型实例而已，并非用来限定本发明的实施范围。即凡依照本发明申请专利范围所作的均等变化与修饰，皆为本发明专利范围所覆盖。

Claims (11)

1.一种数据库表的备份方法，其特征在于，包括如下步骤：

(1)根据备份模式，获取备份表清单，生成备份表清单文件；

(2)根据备份参数信息，生成备份作业；

(3)根据所述备份作业的信息，生成运行控制文件；

(4)读取所述运行控制文件，判断备份作业的运行状态，如果所述运行状态为备份未完成，执行步骤(51)；

(51)提交备份作业，开始备份；

(6)对备份作业的运行状态进行监控扫描，直到所有备份作业完成备份；

其中，所述生成备份表清单文件的步骤包括：

(1-1)根据不同的备份模式，读取相应的数据库表，获取备份表清单；

(1-2)根据所述备份表清单，读取表信息统计文件，判断各表是否在所述表信息统计文件中有记录，如果有记录，执行步骤(1-31)，如果没有记录，执行步骤(1-32)；

(1-31)读取各表的备份时长；

(1-32)将备份时长设为最大值；

(1-4)根据获取的各表的备份时长，对各表按时长进行降序排序，生成备份表清单文件。

2.根据权利要求1所述的数据库表的备份方法，其特征在于，进一步包括如下步骤：在步骤(1)之前，对所述备份参数进行重新设定。

3.根据权利要求2所述的数据库表的备份方法，其特征在于，所述备份参数包括：备份模式、数据库参数、备份作业命名方式、备份模板、备份作业的最大表数目、备份作业的最大并发度、备份作业的排队队列、备份时长阈值以及监控扫描频率。

4.根据权利要求3所述的一种数据库表的备份方法，其特征在于，所述备份模式包括：全量模式、清单模式或带排除列表的全量模式。

5.根据权利要求1所述的数据库表的备份方法，其特征在于，如果步骤(4)中所述的运行状态为备份已完成，则进一步执行如下步骤：(52)更新表信息统计文件。

6.根据权利要求5所述的数据库表的备份方法，其特征在于，所述运行状态为备份已完成的备份作业包括：已成功完成的备份作业及已完成但有错误的备份作业；所述运行状态为备份未完成的备份作业包括：正在运行的备份作业及排队等待的备份作业。

7.根据权利要求1所述的一种数据库表的备份方法，其特征在于，所述备份作业的信息包括：备份作业运行状态、备份作业名称、运行中的备份作业唯一标识、备份作业中包含的表名、表的记录数、备份开始时间、备份开始日期、备份结束时间以及备份结束日期。

8.根据权利要求1所述的一种数据库表的备份方法，其特征在于，所述根据不同的备份模式，读取相应的数据库表的步骤包括：

(1-1-1)判断备份模式，如果是清单模式,执行步骤(1-1-21)；如果是全量模式，执行步骤(1-1-22)；如果是带排除列表的全量模式，执行步骤(1-1-23)；

(1-1-21)直接读取备份表清单；

(1-1-22)直接读取数据库的表；

(1-1-23)读取数据库的表，获取最新的表清单后减去排除表清单文件中的内容。

9.根据权利要求1所述的一种数据库表的备份方法，其特征在于，所述根据备份参数信息，生成备份作业的步骤包括：

(2-1)将所述备份表清单文件中表的备份时长与所述备份时长阈值进行比较，判断其时长关系；

(2-2)如果所述表的备份时长大于所述备份时长阈值，则一张表生成一个备份作业；

(2-3)如果所述表的备份时长小于所述备份时长阈值，则根据参数设置的备份作业的最大表数目、备份作业的最大并发度以及所述按降序排序的备份表清单文件生成备份作业。

10.根据权利要求1所述的一种数据库表的备份方法，其特征在于，所述对备份作业的运行状态进行监控扫描的步骤包括：

(6-1)判断备份作业的运行状态，如果所述运行状态为备份未完成，执行步骤(6-21)，如果所述运行状态为备份已完成，执行步骤(6-22)；

(6-21)继续进行监控扫描；

(6-22)判断备份作业是否成功备份；如果备份作业成功，执行步骤(6-31)；如果备份作业失败，执行步骤(6-32)；

(6-31)直接更新运行控制文件的备份作业运行状态；

(6-32)给控制人员发送警告信息，控制人员手动备份后，更新运行控制文件的备份作业运行状态。

11.一种数据库表的备份装置，其特征在于，包括：

参数配置管理模块，对备份参数进行设定；

信息收集模块，与参数配置管理模块连接，根据不同的备份模式，读取相应的数据库表，获取备份表清单；根据所述备份表清单，读取表信息统计文件，判断各表是否在所述表信息统计文件中有记录，如果有记录，则读取各表的备份时长；如果没有记录，则将备份时长设为最大值；最后，根据获取的各表的备份时长，对各表按时长进行降序排序，生成所述备份表清单文件；

作业生成模块，与信息收集模块连接，根据备份参数信息，生成备份作业，并生成运行控制文件；

作业运行监控模块，与作业生成模块连接，对备份作业的运行状态进行监控扫描，直到所有备份作业完成备份。