CN110515764B - 一种云数据库备份和跨云恢复的系统及方法 - Google Patents

Abstract

本发明涉及一种云数据库备份和跨云恢复的系统及方法。本发明系统包括云数据库备份模块、云数据库备份转化模块、云数据库适配模块、云数据库恢复模块。本发明备份方法是：接收云数据库备份指令，向所述云平台发送备份云数据库的请求，并导出备份文件；将备份文件转化成具有特定数据库SQL语句通用性的SQL文件；查询云数据库的具体信息，并生成云数据库的备份清单；将云数据库的备份清单保存至云数据库备份存储服务器；跨云恢复方法是：接收云数据库恢复指令，从云数据库备份存储服务器中获取到相应的云数据库备份清单；根据云数据库备份清单，创建云数据库实例；向云平台发送请求，指定云数据库实例，导入SQL文件。本发明解决了云数据库可靠性和平台锁定问题。

Description

一种云数据库备份和跨云恢复的系统及方法

技术领域

本发明涉及云数据库技术领域，具体涉及一种云数据库备份和跨云恢复的系统及方法。

背景技术

云数据库是一种基于云的在线关系型数据库，具有云的弹性收缩的特点。云数据库的性能、可靠性、安全性都依赖于云平台。近几年来，国内的云平台提供商都陆续推出自己的云数据库产品，包括阿里云、腾讯云、华为云等。

现有云数据库一般都存在一下的缺点或不足：

1、无法保证可靠性，云数据库由云平台提供商维护，如果云平台出现系统错误、运营问题等情况，导致云数据库无法正常使用，则会影响用户的应用的正常运行。

2、云平台锁定问题，如果过分依赖单一的云平台，则容易受到云平台提供商的限制，在付费等方面处于劣势。

发明内容

本发明解决的技术问题是提供一种云数据库备份和跨云恢复的系统及方法，实现将具有云平台差异性的云数据库备份统一转化成具有特定数据库SQL语句通用性的SQL文件，并保存至本地；具有云平台无关的特点。同时，支持跨云恢复。

本发明解决前述技术问题的技术方案是：

所述系统包括云数据库备份模块、云数据库备份转化模块、云数据库适配模块、云数据库恢复模块和云数据库备份存储服务器；

所述的云数据库备份模块用于接收云数据库备份请求，将云数据库从所属的云平台备份至本地的云数据库备份存储服务器；

所述的云数据库备份转化模块用于将具有云平台差异性的云数据库备份转化成具有特定数据库SQL语句通用性的SQL文件；

所述云数据库适配模块适配不同云平台的云数据库API接口，通过网络协议远程调用；

所述的云数据库恢复模块用于接收云数据库恢复请求，将云数据库的备份恢复至指定的云平台；

所述的云数据库备份存储服务器用于保存云数据库备份清单。

所述的云数据库备份清单是一种数据结构，包括：

1)具有特定数据库SQL语句通用性的SQL文件；

2)备份时间点；

3)云数据库的配置信息，包括云平台类别、数据库引擎、数据库引擎版本、实例名称、实例规格、实例磁盘大小信息；

4)云数据库的数据库列表，包括各个数据库的数据库名、字符集信息；

5)实例的账号列表，包括各个账号的账号名、账号权限信息。

所述的云数据库备份转化模块包括备份转化工具，所述备份转化工具包括：

1)主脚本，作为备份转化工具的入口，根据云平台类别，检索并调用相应的子脚本；

2)子脚本，根据云平台细分，封装了该云平台转化负责实际的备份转化工作；

3)子脚本依赖的脚本及软件合集。

所述系统的云数据库备份及跨云恢复方法中，

所述备份方法是：

接收云数据库备份指令，所述指令包含要备份的云数据库及其所属的云平台；

向所述云平台发送备份云数据库的请求，并导出备份文件；

将备份文件转化成具有特定数据库SQL语句通用性的SQL文件；

查询云数据库的具体信息，并生成云数据库的备份清单；

将云数据库的备份清单保存至云数据库备份存储服务器；

所述跨云恢复方法包括：

接收云数据库恢复指令，所述指令包含要恢复的云数据库、备份时间点、需要恢复至的云平台；

从云数据库备份存储服务器中获取到相应的云数据库备份清单；

根据云数据库备份清单，向所述云平台发送请求，创建云数据库实例；

向所述云平台发送请求，指定云数据库实例，导入SQL文件。

所述方法中云数据库备份的转化流程为：

1)预先在本地服务器中创建若干个容器镜像，镜像名称为数据库引擎及数据库引擎版本的组合字符串；镜像内含有：数据库引擎对应数据库引擎版本的数据库服务、多个不同类别云平台的备份转化工具；

2)根据云数据库的数据库引擎及数据库引擎版本，检索到相应的容器镜像，创建并启动一个所述镜像的容器；

3)将具有云平台差异性的云数据库备份传输至容器里；

4)根据云数据库的云平台类别，检索到对应云平台的备份转化工具；

5)调用所述备份转化工具，将具有云平台差异性的云数据库备份导入到所述数据库软件中；

6)根据云数据库的数据库列表，从本地数据库中一一导出数据库的SQL文件并进行合并，并将合并后的SQL文件从容器内传输至本地服务器；

7)关闭并销毁所述容器。

所述方法中云数据库备份的转化流程为：

1)预先在本地服务器中部署多个不同数据库引擎及数据库引擎版本的数据库服务，以及多个不同类别云平台的备份转化工具；

2)根据云数据库的数据库引擎及数据库引擎版本，在本地服务器检索到相应的数据库服务，并启动；

3)根据云数据库的云平台类别，检索到对应云平台的备份转化工具；

4)调用所述备份转化工具，将具有云平台差异性的云数据库备份导入至所述数据库服务中；

5)根据云数据库的数据库列表，从所述数据库服务中一一导出数据库的SQL文件并进行合并；

6)根据云数据库的数据库列表，从所述数据库服务中一一删除数据库；

7)关闭所述数据库服务。

所述备份转化工具的实现流程是：

1)转化工具主脚本接收到转化指令，所述指令包括备份文件、云平台类别、数据库引擎、数据库引擎版本、数据库列表；

2)根据云平台类别，检索到相应的转化工具子脚本；

3)转化工具子脚本根据云平台类别、数据库引擎、数据库引擎版本、备份文件格式信息，调用部分脚本、软件和相应的数据库，完成将云数据库备份导入至数据库服务中。

若云平台类别为阿里云，数据库引擎为MySQL，且备份文件格式为阿里云RDS的MySQL备份格式；则转化工具子脚本的流程为：调用rds_backup_extract工具解压云数据库备份，调用percona-Xtrabackup工具将云数据库备份恢复至MySQL数据目录，调用chown修改文件属性，启动MySQl以进行下一步的数据导出；

若云平台类别为腾讯云，数据库引擎为MySQL，且备份文件格式为腾讯云MySQL的备份格式；则转化工具子脚本的流程为：调用qpress工具解压云数据库备份，调用percona-Xtrabackup工具将云数据库备份恢复至MySQL数据目录，调用chown修改文件属性，启动MySQl以进行下一步的数据导出；

若云平台类别为阿里云，数据库引擎为SQLServer；则转化工具子脚本的流程为：调用tar工具解压云数据库备份，启动SQLServer，调用SQLServer命令加载及恢复云数据库备份文件。

本发明能将具有云平台差异性的云数据库备份统一转化成具有特定数据库SQL语句通用性的SQL文件，并保存至本地；具有云平台无关的特点。同时，支持跨云恢复，从而避免云数据库被云平台锁定，降低对单个云平台的依赖，降低人力成本和系统维护成本。

附图说明

下面结合附图对本发明进一步说明：

图1是本发明系统模块图；

图2是本发明方法的备份转化的流程图；

图3是本发明方法的备份转化工具的模块图。

具体实施方式

见图1所示，本发明的云数据库备份肯跨云恢复系统包括云数据库备份模块、云数据库备份转化模块、云数据库适配模块、云数据库恢复模块和云数据库备份存储服务器。

云数据库备份模块用于接收云数据库备份请求，将云数据库从所属的云平台备份至本地的云数据库备份存储服务器。

云数据库备份转化模块用于将具有云平台差异性的云数据库备份转化成具有特定数据库SQL语句通用性的SQL文件；云数据库备份转化模块包括备份转化工具。

见图3所示，备份转化工具包括：1)主脚本，作为备份转化工具的入口，根据云平台类别，检索并调用相应的子脚本；2)子脚本，根据云平台细分，封装了该云平台转化负责实际的备份转化工作；3)子脚本依赖的脚本及软件合集。

所述备份转化工具的实现流程是：

1)转化工具主脚本接收到转化指令，所述指令包括备份文件、云平台类别、数据库引擎、数据库引擎版本、数据库列表；

2)根据云平台类别，检索到相应的转化工具子脚本；

3)转化工具子脚本根据云平台类别、数据库引擎、数据库引擎版本、备份文件格式信息，调用部分脚本、软件和相应的数据库，完成将云数据库备份导入至数据库服务中。

若云平台类别为阿里云，数据库引擎为MySQL，且备份文件格式为阿里云RDS的MySQL备份格式；则转化工具子脚本的流程为：调用rds_backup_extract工具解压云数据库备份，调用percona-Xtrabackup工具将云数据库备份恢复至MySQL数据目录，调用chown修改文件属性，启动MySQl以进行下一步的数据导出；

若云平台类别为腾讯云，数据库引擎为MySQL，且备份文件格式为腾讯云MySQL的备份格式；则转化工具子脚本的流程为：调用qpress工具解压云数据库备份，调用percona-Xtrabackup工具将云数据库备份恢复至MySQL数据目录，调用chown修改文件属性，启动MySQl以进行下一步的数据导出；

若云平台类别为阿里云，数据库引擎为SQLServer；则转化工具子脚本的流程为：调用tar工具解压云数据库备份，启动SQLServer，调用SQLServer命令加载及恢复云数据库备份文件。

云数据库适配模块适配不同云平台的云数据库API接口，通过网络协议远程调用。云数据库恢复模块用于接收云数据库恢复请求，将云数据库的备份恢复至指定的云平台。云数据库备份存储服务器用于保存云数据库备份清单。

云数据库备份清单是一种特殊的数据结构，包括：

1)具有特定数据库SQL语句通用性的SQL文件；

2)备份时间点；

3)云数据库的配置信息，包括云平台类别、数据库引擎、数据库引擎版本、实例名称、实例规格、实例磁盘大小信息；

4)云数据库的数据库列表，包括各个数据库的数据库名、字符集信息；

5)实例的账号列表，包括各个账号的账号名、账号权限信息。

见图3所示，本发明实现云数据库备份的方法是：

接收云数据库备份指令，所述指令包含要备份的云数据库及其所属的云平台；

向所述云平台发送备份云数据库的请求，并导出备份文件；

将备份文件转化成具有特定数据库SQL语句通用性的SQL文件；

查询云数据库的具体信息，并生成云数据库的备份清单；

将云数据库的备份清单保存至云数据库备份存储服务器。

见图2所示，在本发明中，云数据库备份转化流程有以下两种方法，其一是：

1)预先在本地服务器中创建若干个容器镜像，镜像名称为数据库引擎及数据库引擎版本的组合字符串；镜像内含有：数据库引擎对应数据库引擎版本的数据库服务、多个不同类别云平台的备份转化工具；

2)根据云数据库的数据库引擎及数据库引擎版本，检索到相应的容器镜像，创建并启动一个所述镜像的容器；

3)将具有云平台差异性的云数据库备份传输至容器里；

4)根据云数据库的云平台类别，检索到对应云平台的备份转化工具；

5)调用所述备份转化工具，将具有云平台差异性的云数据库备份导入到所述数据库软件中；

6)根据云数据库的数据库列表，从本地数据库中一一导出数据库的SQL文件并进行合并，并将合并后的SQL文件从容器内传输至本地服务器；

7)关闭并销毁所述容器。

其二为：

1)预先在本地服务器中部署多个不同数据库引擎及数据库引擎版本的数据库服务，以及多个不同类别云平台的备份转化工具；

2)根据云数据库的数据库引擎及数据库引擎版本，在本地服务器检索到相应的数据库服务，并启动；

3)根据云数据库的云平台类别，检索到对应云平台的备份转化工具；

4)调用所述备份转化工具，将具有云平台差异性的云数据库备份导入至所述数据库服务中；

5)根据云数据库的数据库列表，从所述数据库服务中一一导出数据库的SQL文件并进行合并；

6)根据云数据库的数据库列表，从所述数据库服务中一一删除数据库；

7)关闭所述数据库服务。

本发明中，实现云数据库跨云恢复方法是：

接收云数据库恢复指令，所述指令包含要恢复的云数据库、备份时间点、需要恢复至的云平台；

从云数据库备份存储服务器中获取到相应的云数据库备份清单；

根据云数据库备份清单，向所述云平台发送请求，创建云数据库实例；

向所述云平台发送请求，指定云数据库实例，导入SQL文件。

说明：本发明所描述的实例是云平台上的虚拟化的数据库服务器。一个实例中可以创建和管理多个数据库。数据库引擎：指MySQL、SqlServer等。数据库引擎版本：例如MySQL，版本细分为5.5/5.6/5.7等。

Claims (7)

1.一种云数据库备份及跨云恢复方法，其特征在于：所述方法采用数据库备份和跨云恢复的系统实现，所述系统包括云数据库备份模块、云数据库备份转化模块、云数据库适配模块、云数据库恢复模块和云数据库备份存储服务器；

所述的云数据库备份模块用于接收云数据库备份请求，将云数据库从所属的云平台备份至本地的云数据库备份存储服务器；

所述的云数据库备份转化模块用于将具有云平台差异性的云数据库备份转化成具有数据库SQL语句通用性的SQL文件；

所述云数据库适配模块适配不同云平台的云数据库API接口，通过网络协议远程调用；

所述的云数据库恢复模块用于接收云数据库恢复请求，将云数据库的备份恢复至指定的云平台；

所述的云数据库备份存储服务器用于保存云数据库备份清单；

所述云数据库备份及跨云恢复方法包括备份方法和跨云恢复方法；

所述备份方法是：

接收云数据库备份指令，所述指令包含要备份的云数据库及其所属的云平台；

向云平台发送备份云数据库的请求，并导出备份文件；

将备份文件转化成具有数据库SQL语句通用性的SQL文件；

查询云数据库的具体信息，并生成云数据库的备份清单；

将云数据库的备份清单保存至云数据库备份存储服务器；

所述跨云恢复方法包括：

接收云数据库恢复指令，所述指令包含要恢复的云数据库、备份时间点、需要恢复至的云平台；

从云数据库备份存储服务器中获取到相应的云数据库备份清单；

根据云数据库备份清单，向云平台发送请求，创建云数据库实例；

向云平台发送请求，指定云数据库实例，导入SQL文件；

所述备份方法中云数据库备份的转化流程为：

1)预先在本地服务器中创建若干个容器镜像，镜像名称为数据库引擎及数据库引擎版本的组合字符串；镜像内含有：数据库引擎对应数据库引擎版本的数据库服务、多个不同类别云平台的备份转化工具；

2)根据云数据库的数据库引擎及数据库引擎版本，检索到相应的容器镜像，创建并启动一个镜像的容器；

3)将具有云平台差异性的云数据库备份传输至容器里；

4)根据云数据库的云平台类别，检索到对应云平台的备份转化工具；

5)调用所述备份转化工具，将具有云平台差异性的云数据库备份导入到数据库软件中；

6)根据云数据库的数据库列表，从本地数据库中一一导出数据库的SQL文件并进行合并，并将合并后的SQL文件从容器内传输至本地服务器；

7)关闭并销毁所述容器。

2.根据权利要求1所述的一种云数据库备份及跨云恢复方法，其特征在于，所述的云数据库备份清单是一种数据结构，包括：

1)具有数据库SQL语句通用性的SQL文件；

2)备份时间点；

3)云数据库的配置信息，包括云平台类别、数据库引擎、数据库引擎版本、实例名称、实例规格、实例磁盘大小信息；

4)云数据库的数据库列表，包括各个数据库的数据库名、字符集信息；

5)实例的账号列表，包括各个账号的账号名、账号权限信息。

3.根据权利要求2所述的一种云数据库备份及跨云恢复方法，其特征在于，所述的云数据库备份转化模块包括备份转化工具，所述备份转化工具包括：

1)主脚本，作为备份转化工具的入口，根据云平台类别，检索并调用相应的子脚本；

2)子脚本，根据云平台细分，封装了该云平台转化负责实际的备份转化工作；

3)子脚本依赖的脚本及软件合集。

4.根据权利要求1所述的一种云数据库备份及跨云恢复方法，其特征在于，所述的云数据库备份转化模块包括备份转化工具，所述备份转化工具包括：

1)主脚本，作为备份转化工具的入口，根据云平台类别，检索并调用相应的子脚本；

2)子脚本，根据云平台细分，封装了该云平台转化负责实际的备份转化工作；

3)子脚本依赖的脚本及软件合集。

5.根据权利要求1所述的一种云数据库备份及跨云恢复方法，其特征在于，所述方法中云数据库备份的转化流程为：

1)预先在本地服务器中部署多个不同数据库引擎及数据库引擎版本的数据库服务，以及多个不同类别云平台的备份转化工具；

2)根据云数据库的数据库引擎及数据库引擎版本，在本地服务器检索到相应的数据库服务，并启动；

3)根据云数据库的云平台类别，检索到对应云平台的备份转化工具；

4)调用所述备份转化工具，将具有云平台差异性的云数据库备份导入至所述数据库服务中；

5)根据云数据库的数据库列表，从所述数据库服务中一一导出数据库的SQL文件并进行合并；

6)根据云数据库的数据库列表，从所述数据库服务中一一删除数据库；

7)关闭所述数据库服务。

6.根据权利要求1或5所述的一种云数据库备份及跨云恢复方法，其特征在于，所述备份转化工具的实现流程是：

1)转化工具主脚本接收到转化指令，所述指令包括备份文件、云平台类别、数据库引擎、数据库引擎版本、数据库列表；

2)根据云平台类别，检索到相应的转化工具子脚本；

3)转化工具子脚本根据云平台类别、数据库引擎、数据库引擎版本、备份文件格式信息，调用部分脚本和相应的数据库，完成将云数据库备份导入至数据库服务中。

7.根据权利要求6所述的一种云数据库备份及跨云恢复方法，其特征在于，

若云平台类别为阿里云，数据库引擎为MySQL，且备份文件格式为阿里云RDS的MySQL备份格式；则转化工具子脚本的流程为：调用rds_backup_extract工具解压云数据库备份，调用percona-Xtrabackup工具将云数据库备份恢复至MySQL数据目录，调用chown修改文件属性，启动MySQl以进行下一步的数据导出；

若云平台类别为腾讯云，数据库引擎为MySQL，且备份文件格式为腾讯云MySQL的备份格式；则转化工具子脚本的流程为：调用qpress工具解压云数据库备份，调用percona-Xtrabackup工具将云数据库备份恢复至MySQL数据目录，调用chown修改文件属性，启动MySQl以进行下一步的数据导出；

若云平台类别为阿里云，数据库引擎为SQLServer；则转化工具子脚本的流程为：调用tar工具解压云数据库备份，启动SQLServer，调用SQLServer命令加载及恢复云数据库备份文件。

Images