CN107301250B - 一种多源数据库协同备份方法 - Google Patents

Abstract

本发明公开了一种多源数据库协同备份方法，包括以下几个步骤：(1)在各节点数据库创建用于记录坐标点的表，并创建全局事务坐标点，用于保证各数据库到达这一全局事务坐标点之前的逻辑一致性，然后，对Master Node数据库需要保持数据逻辑一致的表添加锁；(2)搭建数据库集群，并在集群中设置备份的Slave Node，根据全局事务坐标点在Slave Node中查找需要备份内容；(3)启动备份进程对Slave Node数据库中数据进行备份；(4)进行数据恢复操作，由存储端将备份文件存储的数据内容恢复到生产数据库内。本发明提高了数据库系统备份效率，资源利用率，提高了数据库的安全性，降低了运维成本。

Description

一种多源数据库协同备份方法

技术领域

本发明涉及一种多源数据库协同备份方法，属于数据库备份技术领域。

背景技术

随着数据库系统与计算机技术的持续发展，数据库系统现今已经走入各行各业。各行各业的发展离不开“数据”：产品数据、客户数据、财务数据等，企业的生存发展越来越依赖IT系统。由于电脑病毒、网络入侵、物理损伤、人工操作失误等原因对信息数据造成大规模破坏，导致信息系统无法提供正常服务。特别对于一些关系经济利益的行业如银行、电力以及通信等领域还会造成巨大的经济损失，必须通过数据备份手段对数据进行保护。

企业不同的生产环境会针对实际情况选择不同种类数据库，这就导致数据库系统的异构性的产生，异构数据库的差异给备份过程带来新的挑战。除此之外即使是用户对于数据库系统的需求也会随着时间和计算机技术的发展而产生变化，老旧的数据库系统会不再适合新型的应用场景，用户会选择一种新型的数据库作为解决方案，这时原本老旧的数据库系统的重要数据如何合理的备份出来并恢复到新的数据库系统之中。企业作为一个整体必然存在一定的数据交流，使得不同数据库服务器中数据存在相关性，对单独的数据库备份很容易保，但是同时对不同数据库进行协同备份需要特别注意其逻辑一致性。

数据库备份恢复是保证数据安全稳定的有效方法之一，异构数据库的转换备份与恢复可以用于当系统遇到不可抗力不能再使用时，确保数据可以得到保护并恢复到异构数据库系统。研究异构数据库数据的转换恢复与备份技术，为异构数据库中的重要数据流通、继承以及保护给出合适的解决办法。然而异构数据库数据提取和转换具有一定难度，没有一个统一的方法解决。但随着网络技术的快速发展，XML(eXtensible Markup Language，可拓展标记语言)技术的出现提供了一个很好的解决方案。XML技术在数据应用方面具有易表义、跨平台、半结构化数据的描述、扩展性好、内容和形式相分离等优点，XML是一种良好的数据载体，而且格式固定，是一种适合解决数据库异构性的技术。基于XML完成异构数据库数据的转换备份与恢复，相较于其他的异构数据库转化技术，其格式固定但较为灵活简单，学习成本较低。对企业和机关部门处理异构数据库完成数据的保护、继承以及设备系统更新换代的平滑过渡有重要意义。

发明内容

针对现有生产环境中数据库异构、数据服务器依赖复杂、运维繁琐的问题，本发明目的是提供一种多源数据库协同备份方法，提高了数据库系统备份效率，资源利用率，提高了数据库的安全性，降低了运维成本。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种多源数据库协同备份方法，具体包括以下几个步骤：

(1)在各节点数据库创建用于记录坐标点的表，并创建全局事务坐标点，用于保证各数据库到达这一全局事务坐标点之前的逻辑一致性，然后，对Master Node数据库需要保持数据逻辑一致的表添加锁；

(2)搭建数据库集群，并在集群中设置备份的Slave Node(通过将一台服务器加入当前局域网完成)，根据全局事务坐标点同步Master Node中数据，该节点为备份进程提供数据，用于分担Master Node性能压力；

(3)启动备份进程对Slave Node数据库中数据进行备份；

(4)进行数据恢复操作，根据生产端数据库版本将备份文件转化为对应格式.sql文件并导入数据库。

步骤(1)中，具体的方法如下：

(1-1)在Mysql的Master Node数据库中创建mysql_database_type_checkpoints表，其中database_type表示数据库类别，表结构如下：

CREATE TABLE mysql_database_type_checkpoints(

‘id’int(11)DEFAULT NULL auto_increment PRIMARY KEY,

‘sync_time’DATETIME default now()

)；

(1-2)在Mysql集群的Master Node生成自定义GTID；

(1-3)对Master Node数据库需要保持数据逻辑一致的表添加READ_LOCK，用于保证在备份期间主库数据不发生更改；

(1-4)在mysql_database_type_checkpoints表中插入表示事务id以及当前时间作为记录点；

(1-5)对Master Node数据库执行UNLOCK操作，恢复其正常功能；

(1-6)将步骤(1-2)至(1-5)操作通过Python的框架web.py制作REST服务，用于之后调用。

步骤(2)中，具体的方法如下：

(2-1)在Mysql的Master Node数据库中通过以下SQL语句获取当前最新全局事务坐标点并生成自定义GTID内容：

select IFNULL(id+1,1)as A from mysql_database_type_checkpoints orderby id desc limit 1；

(2-2)调用REST服务将生成的GTID事务写入Master Node；

(2-3)将Master Node中生产过程中产生的数据复制到Slave Node中；

(2-4)通过使用如下SQL语句不断轮询检查，直到需要的备份序号被复制：

select id from mysql_database_type_checkpoints order by id desc limit1。

步骤(3)中，具体的方法如下：

(3-1)根据待备份数据库种类设置对应参数，调用集成的数据访问接口，与数据库间建立连接；

(3-2)通过SQL语句获取表结构以及表中数据；

(3-3)按照预设的XML存储格式，将获取的生产数据写入备份文件，生成的备份文件存储在备份控制端设定目录下；

(3-4)对存储端设定目录下文件进行备份，将备份文件写入备份介质(磁盘磁带)；

(3-5)备份进程结束后，将此次备份操作存储到备份任务日志中。

步骤(3)中，预设的XML存储结构是满足DOM解析器的树形结构，用于记录关系型数据库中字段依赖关系以及字段值；

存储字段依赖关系的XML存储结构如下；

各标签分别表示字段名、字段数据类型、能否为空、键信息、默认值；

存储数据的XML存储结构如下；

树的第一个子节点为数据存储的表名，Record标签表示一条数据的所有字段值，参数check用于数据一致性检测，下一层子节点分别对应表中每一个字段，标签值表示该字段的数值。

步骤(4)中，具体的方法如下：

(4-1)从备份介质中将备份文件恢复到备份控制端，并由控制端传输给待恢复的生产端机器；

(4-2)对待恢复数据标识符进行检测，选择标志位为1的数据字段进行恢复，否则跳过此段数据；

(4-3)根据待备份数据库种类设置对应参数，调用集成的数据访问接口与数据库间建立连接；

(4-4)读取备份文件，根据生产端机器数据库种类及版本，选择对应映射规则生成相应SQL语句并执行；

(4-5)所有数据备份完成后，断开数据库连接，用于避免资源浪费。

为完成数据恢复，需先对数据进行转换，通过映射规则解决异构数据库之间的数据冲突，映射规则结构如下：

上述结构中Tid用于确定数据类型的种类，而后Type标签的子标签三个分别给出对应数据类型在各自的数据库中的数据类型名；当恢复数据时，通过备份文件中的数据类型名确定数据类型种类，接着根据待恢复数据库名称获取正确的数据类型，完成数据转换。

本发明通过采用集中部署模式，通过控制端集中控制各数据服务器备份作业(具体对应步骤(2))，备份进程从各数据库中进行数据抽取，并将抽取得到的备份文件传输到存储端中(具体对应步骤(3))，由存储端负责将备份文件写入备份介质。提高了数据库系统备份效率，资源利用率，提高了数据库的安全性，降低了运维成本，通过集中管理解决原有备份方式分散化部署、脚本效率低、成功率低、监控有效性差、无法集中管理和展现的缺点。

附图说明

图1是数据库服务器节点部署框图；

图2是本发明的多源数据库协同备份流程图；

图3是异构数据抽取流程图；

图4是数据恢复流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

数据库服务器架构如图1所示，共包括三层节点。第一层为Control Node，包括管理备份端以及存储端的用户配置模块，任务创建模块、任务调度模块以及日志生成模块。第二层为数据库集群，使用同一种数据库的服务器属于同一集群，集群中包括一个MasterNode以及若干个Slave Node，企业应用直接驳接到Master Node获取数据，Slave Node同步复制Master Node中内容，备份任务从该节点进行数据抽取。第三层为Storage Node，暂时存储备份文件，最终将备份文件写入备份介质保存。

本发明的目的之一是提供一种多源数据库协同备份方法，所述的方法包括：数据库集群中部署备份节点，该同步主数据库中数据并在备份过程中负责提供数据，尽量减少生产环境中主库的压力。设置全局事务坐标点，将多源数据库在逻辑上集合为一个整体，备份节点在同步主库节点数据时不断检查全局事务坐标点判断是否将所有需要备份数据完成同步。

本发明的目的之一是提供一种异构数据抽取方法，所述的方法包括：集成不同数据库访问接口，提供一个统一的数据连接函数实现与数据库之间建立连接。通过SQL语句查找数据库中表结构以及表中数据内容，以XML文件作为中间件存储查找所得数据。

本发明的目的之一是提供一种异构数据库恢复的冲突处理方法，所述的方法包括：提供异构数据转化规则，虽然XML文件提供统一的标准与规格，但在数据恢复写入目标数据库的过程中异构数据库之间会存在一系列冲突，比如相同数据类型在异构数据库中数据类型名的冲突、异构数据库之间结构不同导致的数据库系统结构冲突。通过转换规则对数据进行转换以解决这些冲突。

本发明一种多源数据库协同备份方法，是一种逻辑备份，将具有依赖关系多源数据库整合为一个整体，每次备份之前检查全局事务坐标点确定整体数据库当前备份位置，决定各数据库备份先后顺序。将数据库中表结构以及表中数据按照XML文件的树形结构重新组织，并将数据导出生成备份文件。

一种多源数据库协同备份方法具体步骤流程如图2所示：

(1)设置全局事务坐标点，保证各数据库到达这一点之前逻辑一致性：

(1-1)在Mysql的Master Node数据库中创建mysql_database_type_checkpoints表，其中database_type表示相关数据库类别，由实际生产环境中数据库种类决定，例如mysql_oracle_checkpoints。表结构如下：

CREATE TABLE mysql_database_type_checkpoints(

‘id’int(11)DEFAULT NULL auto_increment PRIMARY KEY,

‘sync_time’DATETIME default now()

)；

表中仅包括一个字段“id”；

(1-2)在Mysql集群的Master Node生成自定义GTID；

(1-3)对Master Node数据库需要保持数据逻辑一致的表添加READ_LOCK，保证在备份期间主库数据不发生更改；

(1-4)在mysql_database_type_checkpoints表中插入数据作为记录点；

(1-5)对Master Node数据库执行UNLOCK操作，恢复其正常功能；

(1-6)将步骤(1-2)至步骤(1-5)操作通过Python的框架web.py制作简单REST服务，以便之后调用；

(2)搭建数据库集群，并在集群中设置专职备份的Slave Node，根据全局事务点在Slave Node中查找需要备份内容；

(2-1)在Mysql的Master Node数据库中通过以下SQL语句获取当前最新全局事务坐标点并生成自定义GTID内容：

select IFNULL(id+1,1)as A from mysql_database_type_checkpoints orderby id desc limit 1；

(2-2)调用REST服务将生成的GTID事务写入Master Node；

(2-3)将Master Node中数据复制到Slave Node中；

(2-4)通过使用如下SQL语句不断轮询检查，直到我们需要的备份序号被复制:

select id from mysql_database_type_checkpoints order by id desc limit1。

步骤(2)中设置Slave Node，尽量减少在备份任务进行过程中Master Node的压力，保证不间断提供服务。

(3)通过调用数据抽取服务从Slave Node数据库中获取待备份数据，按照预定格式写入XML文件后存储到备份介质，具体流程如图3所示：

(3-1)根据备份任务获取数据库种类，设置相应格式访问参数，不同种类数据库访问参数格式如表1所示：

表1数据库连接参数表

(3-2)通过SQL语句获取表结构以及表中数据；

(3-3)按照预设的XML存储格式，将获取生产数据写入备份文件，生成的备份文件存储在备份控制端设定目录下；

(3-4)对存储端设定目录下文件进行备份，将备份文件写入磁盘磁带等备份介质；

(3-5)备份进程结束后，将此次备份操作存储到备份任务日志中。

步骤(3-3)中，预设的XML存储结构是满足DOM解析器的树形结构，用于记录关系型数据库中字段依赖关系以及字段值；

存储字段依赖关系时的XML存储结构如下；

各标签分别表示字段名、字段数据类型、能否为空、键信息、默认值；

存储数据的XML存储结构如下；

树的第一个子节点为数据存储的表名，Record标签表示一条数据的所有字段值，参数check用于数据一致性检测，下一层子节点分别对应表中每一个字段，标签值表示该字段的数值。

(4)进行数据恢复操作，将备份文件存储的数据内容恢复到生产数据库内，参见图4：

(4-1)从备份介质中将备份文件恢复到备份控制端，并由控制端传输给待恢复的生产端机器；

(4-2)对待恢复数据标识符进行检测，选择标志位为1的数据字段进行恢复，否则跳过此段数据对后续数据进行处理；

(4-3)根据待备份数据库种类设置对应参数，调用集成的数据访问接口与数据库间建立连接；

(4-4)读取备份文件中表结构数据段，根据生产端机器数据库种类及版本选择对应映射规则生成对应SQL语句并执行；

(4-5)所有数据备份完成后断开数据库连接，避免资源浪费；

步骤(4-4)中映射规则结构如下：

上述结构中Tid用于确定数据类型的种类，而后Type标签的子标签三个分别给出对应数据类型在各自的数据库中的数据类型名；当恢复数据时，通过备份文件中的数据类型名确定数据类型种类，接着根据待恢复数据库名称获取正确的数据类型，完成数据转换。

本发明的一种多源数据库协同备份方法：(1)为运行环境中生产数据库设置冗余节点，减少生产环境中主库的压力，保证主库正常提供服务。(2)基于Mysql的GTID功能，设计全局事务坐标点，将多源数据库集成一个整体存储。(3)通过XML文件作为中间件，根据关系型数据库各元素依赖关系生成映射规则，对数据库中表结构以及表中数据进行存储。(4)针对异构数据库数据类型差异设计转化规则，支持异构数据库数据内容之间的相互转换。(5)在中间件中增加标识符信息，用于记录备份任务由于突发状况中断时的中断位置。本发明提供一种逻辑级数据库备份方法，保证备份数据逻辑上一致，提升备份策略的灵活性。

在实际应用中，为方便管理员对备份进行监控，在Control Node提供用户交互界面。交互界面包括控制端配置、备份端状态、备份目录设置、备份调度计划、备份任务配置、备份介质配置、存储端状态、存储设置等模块，通过这些模块可完成备份过程各项管理工作。管理人员还可提前设计备份任务增加备份灵活性与便捷性，比如每四周进行一次全备份，每天进行一次增量备份。备份任务如果发生故障而中断会通过邮件的方式通知管理员，每次备份结果会生成备份日志存储在日志目录下。

本发明提供的多源数据库协同备份方法采取功能分离方式搭建三层服务器架构，每层之间通过备份流程相互依赖，同时各自功能独立。提高了数据库系统备份效率，资源利用率，提高了数据库的安全性，降低了运维成本，通过集中管理解决原有备份方式分散化部署、脚本效率低、成功率低、监控有效性差、无法集中管理和展现的缺点。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种多源数据库协同备份方法，其特征在于，具体包括以下几个步骤：

(1)在各节点数据库创建用于记录坐标点的表，并创建全局事务坐标点，用于保证各数据库到达这一全局事务坐标点之前的逻辑一致性，然后，对Master Node数据库需要保持数据逻辑一致的表添加锁；

(2)搭建数据库集群，并在集群中设置备份的Slave Node(通过将一台服务器加入当前局域网完成)，根据全局事务坐标点同步Master Node中数据，该节点为备份进程提供数据，用于分担Master Node性能压力；

(3)启动备份进程对Slave Node数据库中数据进行备份；

(4)进行数据恢复操作，根据生产端数据库版本将备份文件转化为对应格式.sql文件并导入数据库；

步骤(1)中，具体的方法如下：

(1-1)在Mysql的Master Node数据库中创建mysql_database_type_checkpoints表，其中database_type表示数据库类别，表结构如下：

CREATE TABLE mysql_database_type_checkpoints(

‘id’int(11)DEFAULT NULL auto_increment PRIMARY KEY,

‘sync_time’DATETIME default now()

)；

(1-2)在Mysql集群的Master Node生成自定义GTID；

(1-3)对Master Node数据库需要保持数据逻辑一致的表添加READ_LOCK，用于保证在备份期间主库数据不发生更改；

(1-4)在mysql_database_type_checkpoints表中插入表示事务id以及当前时间作为记录点；

(1-5)对Master Node数据库执行UNLOCK操作，恢复其正常功能；

(1-6)将步骤(1-2)至(1-5)操作通过Python的框架web.py制作REST服务，用于之后调用；

步骤(2)中，具体的方法如下：

(2-1)在Mysql的Master Node数据库中通过以下SQL语句获取当前最新全局事务坐标点并生成自定义GTID内容：

select IFNULL(id+1,1)as A from mysql_database_type_checkpoints order byid desc limit 1；

(2-2)调用REST服务将生成的GTID事务写入Master Node；

(2-3)将Master Node中生产过程中产生的数据复制到Slave Node中；

(2-4)通过使用如下SQL语句不断轮询检查，直到需要的备份序号被复制：

select id from mysql_database_type_checkpoints order by id desc limit 1；

步骤(3)中，具体的方法如下：

(3-1)根据待备份数据库种类设置对应参数，调用集成的数据访问接口，与数据库间建立连接；

(3-2)通过SQL语句获取表结构以及表中数据；

(3-3)按照预设的XML存储格式，将获取的生产数据写入备份文件，生成的备份文件存储在备份控制端设定目录下；

(3-4)对存储端设定目录下文件进行备份，将备份文件写入备份介质；

(3-5)备份进程结束后，将此次备份操作存储到备份任务日志中；步骤(3)中，预设的XML存储结构是满足DOM解析器的树形结构，用于记录关系型数据库中字段依赖关系以及字段值；

存储字段依赖关系的XML存储结构如下；

各标签分别表示字段名、字段数据类型、能否为空、键信息、默认值；

存储数据的XML存储结构如下；

树的第一个子节点为数据存储的表名，Record标签表示一条数据的所有字段值，参数check用于数据一致性检测，下一层子节点分别对应表中每一个字段，标签值表示该字段的数值；

步骤(4)中，具体的方法如下：

(4-1)从备份介质中将备份文件恢复到备份控制端，并由控制端传输给待恢复的生产端机器；

(4-2)对待恢复数据标识符进行检测，选择标志位为1的数据字段进行恢复，否则跳过此段数据；

(4-3)根据待备份数据库种类设置对应参数，调用集成的数据访问接口与数据库间建立连接；

(4-4)读取备份文件，根据生产端机器数据库种类及版本，选择对应映射规则生成相应SQL语句并执行；

(4-5)所有数据备份完成后，断开数据库连接，用于避免资源浪费；

为完成数据恢复，需先对数据进行转换，通过映射规则解决异构数据库之间的数据冲突，映射规则结构如下：

上述结构中Tid用于确定数据类型的种类，而后Type标签的子标签三个分别给出对应数据类型在各自的数据库中的数据类型名；当恢复数据时，通过备份文件中的数据类型名确定数据类型种类，接着根据待恢复数据库名称获取正确的数据类型，完成数据转换。

Images