CN116185718A - 一种基于云存储的数据备份管理系统 - Google Patents

Abstract

本发明公开了一种基于云存储的数据备份管理系统，包括：服务器实例层：用于在目标服务器上部署自动化系列脚本；存储层：部署存储服务器集群，配置与目标服务器同网段的IP，配置至少2台服务器，构成集群模式或者单机模式；统一开发平台服务器：用于存放通过目标服务器的脚本自动采集的相关数据库信息，以及备份执行过程所产生的必要信息，供前端应用程序调用；前端显示层：在统一开发平台服务器中安装前端应用，根据需求设定访问IP，通过REST接口对接统一开发平台服务器，连接测试，开通测试账户。相比与传统方式，本发明采用数据库自身的备份模式，不进行二次压缩，格式调整等，对备份文件保证完整性。

Description

一种基于云存储的数据备份管理系统

技术领域

本发明涉及数据备份管理技术领域，具体涉及一种基于云存储的数据备份管理系统。

背景技术

目前企业的数据库系统日益庞大，往往大型企业拥有几十套甚至上百套数据库系统，面对如此众多的数据库系统，人工逐一管理将会付出巨大工作量，因此对于依赖数据库管理软件，将是企业所必须的模块。而备份，又是企业数据资产极为重要的一部分，一旦服务器宕机、维护，甚至突发灾难导致服务器损坏，数据丢失，那么备份就是拯救企业命脉的极为关键一点。但是对于众多的数据库系统，如何管理好备份，又将是一大考验。

目前市场现有的备份管理软件技术有以下几点缺点：

1、软件支持的数据库有限：现有软件的数据库产品兼容性需根据实际需求进行二次开发，往往涉及到二次开发的成本因素考量，以及开发体量的考察，一旦开发成本大于需求成本，就会造成此软件无法兼容某一种或者几种数据库产品，形成软件的适用目标数据库不齐全，顾此失彼。

2、备份文件封闭性：现有软件的对数据库备份形式采用各自供应商的自研方式，这种方式会形成备份文件的泛用性低，此软件所压缩导出的备份文件，仅限于本软件进行解压缩，可读取，可恢复。一旦本软件出现异常故障使得软件无法正常使用，后续无法修复，或亦是需较长时间修复，将导致数据库备份需紧急恢复时耽误时间，或备份文件损坏，数据资产受到损失。并且无法更换软件服务供应商导致捆绑性强，无法灵活选择软件服务供应商，不利于数据库运维相关软件技术的发展。而且非官方的备份文件，无法完美应用于任意恢复场景，比如搭建测试场景，却无法恢复备份，因为如果要恢复备份，还需要安装此备份所属的管理软件，泛用性进一步降低。

3、软件嵌入式安装：现有数据库备份管理关联软件的采取嵌入式软件安装，通常此类软件与数据库同时运行，以便监测整体运作过程，软件进程越多，对服务器硬件的运作会形成一定的压力影响，从而影响到数据库业务的运行，导致外部访问效率低下，例如内存压力，并发压力。

发明内容

本发明的目的在于提供一种基于云存储的数据备份管理系统，解决上述技术问题：

本发明的目的可以通过以下技术方案实现：

一种基于云存储的数据备份管理系统，包括：

服务器实例层：用于在目标服务器上部署自动化系列脚本，在同一网段内，采取一键分发至各目标服务器的特定安装目录，所述的目标服务器为数据库所在服务器；

存储层：部署存储服务器集群，配置与目标服务器同网段的IP，配置至少2台服务器，构成集群模式或者单机模式；

统一开发平台服务器：用于存放通过目标服务器的脚本自动采集的相关数据库信息，以及备份执行过程所产生的必要信息，供前端应用程序调用；

前端显示层：在统一开发平台服务器中安装前端应用，根据需求设定访问IP，通过REST接口对接统一开发平台服务器，连接测试，开通测试账户。

作为本发明进一步的方案：在存储服务器集群搭建完毕后，根据目标数据库系统的数量进行空间划分管理配置，一个数据库对应一个“Bucket”。

作为本发明进一步的方案：所述的“Bucket”仅存储该数据库的所有备份文件，所述的所有备份文件包括全备份文件和增量备份文件，并且1个Bucket即为一个数据库的备份集，存储服务器集群可支持无限备份集。

作为本发明进一步的方案：在统一开发平台服务器的部署中，需准备1台服务器，此服务器中无任何业务数据库，该服务器的与目标服务器和存储层处于同一网段，同时，在所述的服务器中安装数据库，并对所需的数据表进行还原操作。

作为本发明进一步的方案：在所述的服务器中安装数据库，并对所需的数据表进行还原操作的过程中，所述的数据库为非业务数据库。

作为本发明进一步的方案：在开通测试账户之后，开启测试，具体的测试过程如下所示：

根据需求设定数据上报频率；

开启自动化脚本，执行备份过程，通过脚本系列中的备份模块对数据库进行定时自动备份；

备份过程执行完毕后，备份文件即存储至存储服务器集群中，并且分别存储于各自的“Bucket”。

作为本发明进一步的方案：所述的通过脚本系列中的备份模块对数据库进行定时自动备份的过程中，备份方式为全备份或增量备份。

作为本发明进一步的方案：在所述的所述的通过脚本系列中的备份模块对数据库进行定时自动备份的过程中，初次备份为全备份，往后以增量备份为主，并且在每个设定周期内进行一次全备份。

本发明的有益效果：

1、备份文件完整性：

备份方式采用数据库自身的备份模式，不进行二次压缩，格式调整等，对备份文件保证完整性；

2、全面支持所有数据库：

通过我们的底层设计逻辑，采用操作系统原生的编译工具，仅依赖于操作系统即可，也就是，只要操作系统支持此数据库的使用，那我们的系统也支持此数据库。

3、备份执行详情告知：

备份执行结果如何，均能在平台上展现，例如某一时间点原生备份执行发生意外停止，可以通过平台查阅，根据结果及时作出检查，比如这个时间点发生意外停止备份是否是读写过高，然后关联平台的台账数据，可以作出初步结论，及时作出应对策略可以避免日后的意外发生。并且对于备份的详细信息，无须特地进入服务器，再进入数据库命令行，再写SQL语句查询，舍去繁琐的步骤，可以直接在前端应用找到相应的数据，帮助管理者节省大量时间。

4、备份可用性广：

平台的存储服务器支持无限扩展，备份文件的大小可以任意，无需拆分处理，备份文件保留可以周期更长，对于备份的利用方式可以更多，因为无论什么系统环境，对官方的备份文件格式始终是完美支持。

5、备份文件不受限制：

因为采用的是数据库产品本身的备份方式，所以备份出的文件是官方设定的文件格式，因此这备份文件不受专业软件的影响，包括本发明，可以脱离任何软件，备份文件直接在数据库中进行恢复利用。并且由于是官方的文件格式，不会存在恢复困难，数据库更新版本差异无法恢复等情况。

6、底层逻辑简单应用：

采用操作系统自身的编译工具，非第三方工具，因此对服务器硬件、操作系统等的影响非常小，因为编译工具本身就存在于操作系统中，属于匹配系统环境，也是最终优化后的工具。

7、全自动无人值守：

本发明采用操作系统的脚本编译，实现全自动备份管理，对于备份执行结果，以及备份过程中出现中断等情况，均会以目前的主流通信方式立即主动发送信息告知管理者，也就是，即管理者不用无时无刻的盯着本平台，当发生意外情况就会收到通知，当任务执行完美结束，也会收到通知，这样就形成一个无人值守却能放心安心的场景。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明一种基于云存储的数据备份管理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

集中备份，顾名思义，就是把用户的整个数据库系统(包括1个数据库，或多个数据库，上不封顶，理论上目前企业的数据库系统包含多种类型，多套数据库产品而集成的庞大的数据库系统，例如有多套oralce数据库，12c，19c，21c版本等等，mysql数据库，5.7，5.8版本等等，sqlserver2012，2016版本等等，根据企业自身的业务需求而选择集成)中的所有数据库的灾备解决方案-备份，进行集中管理，备份为灾备的最基础保障，发生意外灾难，最终可以有完整的备份文件进行托底保障。而本发明中的集中备份系统就是更好的为企业用户管理备份文件。

针对现有技术的缺陷及改进需求，本发明提供了一种能全面支撑数据库备份的管理系统，本系统采用的数据库备份方式为该数据库产品的自有备份模式，为实现这模式的自动化定时备份，按照本发明提供了一种用服务器操作系统自有的脚本编译工具，编写特定的脚本代码，去定时执行数据库备份，该脚本是对应的操作系统自带支持，无需另外安装编译工具软件。目前主流的操作系统类型为Linux以及Windows，因此相对应的，本系统的脚本编译分别为Linux的Shell工具，Windows的PowerShell工具，该工具无需过多占用硬件资源，通过脚本中编写特定的SQL备份语句去实现数据库的脚本驱动备份。此备份文件的导出，完全是该数据库产品自身所支持的文件格式，可以被应用于各大场景，此备份文件亦可脱离备份管理软件本身，直接于服务器中进行恢复操作，无任何捆绑模式。

本发明提供一种备份存储系统，该系统可以针对脚本自动化执行备份指令后，导出备份文件至本存储系统，实现方式为通过脚本中编写导出指向路径来实现。本存储系统可作为备份文件的异地存储，即服务器本身可备份至本地，再增加一种本存储系统作为异地容灾方案，保证备份文件的不丢失，本存储系统可做集群模式，进一步提升灾备的安全性。实现方式为主数据库服务器通过脚本自动执行备份指令，备份文件至本备份存储系统，本存储系统通过工程师搭建集群模式，把备份文件传输至本存储系统的一号节点服务器时，集群模式立即向二号节点服务器传输复制备份文件，实现存储系统具有双份备份文件分别在不同服务器以应对容灾。

本发明提供一种可供信息展示以及信息查询的前端应用程序，该应用程序的作用为对数据库备份的操作过程，备份文件的详细信息等进行汇总展示，查询及分析，通过该应用程序，可以了解备份执行过程中是否存在问题，备份最终成功与否，备份文件存储路径查询，备份策略调整制定等，采用原生Shell(Shell与PowerShell)，原生数据库命令行(sqlplus，isql，mysql)，数据库语句(SQL语句)，缓存变量，REST接口(csv)相结合，采集数据库服务器中的数据库备份相关信息，这些信息存放于本应用所属的应用服务器数据库中，本应用程序调取应用服务器数据库中的相关信息。当想了解某一数据库备份情况时，通常做法是先远程登录服务器，再进入数据库命令行，再通过SQL语句查询结果，这种形式太复杂，也耗时间，因此前端应用程序可以一目了然的看到想了解的数据。

请参阅图1所示，本发明为一种基于云存储的数据备份管理系统，包括：

1、服务器实例层部署：

目标服务器(数据库所在服务器)上部署自动化系列脚本，在同一网段内，采取一键分发至各目标服务器的特定安装目录。

2、存储层部署：

工程师部署存储服务器集群，配置与目标服务器同网段的I P，至少2台服务器配置起步，构成集群模式，或者单机模式也可。集群搭建完毕，开始根据目标数据库系统的数量进行空间划分管理配置，即一个数据库对应一个“Bucket”，该“Bucket”仅存储该数据库的所有备份文件(全备份文件，增量备份文件)，1个Bucket即为一个数据库的备份集，存储服务器集群可支持无限备份集。

3、统一开发平台服务器部署：

此服务器的作用为存放通过目标服务器的脚本自动采集的相关数据库信息，以及备份执行过程所产生的必要信息等，供前端应用程序调用。需准备1台服务器，此服务器中无任何业务数据库(同目标数据库的工作意义)，该服务器的网段也为目标服务器与存储层同一网段，同时，在服务器中安装数据库(非业务数据库)，并对所需的数据表进行还原操作。

4、前端显示层部署：

在统一开发平台服务器中安装前端应用，根据需求设定访问I P，通过REST接口对接统一开发平台服务器，连接测试，开通测试账户。

5、开启测试

根据需求设定数据上报频率(时间间隔，例如：5分钟上报一次)，开启自动化脚本，执行备份过程，通过脚本系列中的备份模块对数据库进行定时自动备份，备份方式可以为全备份，也可为增量备份，但初次备份必然为全备份，往后可以以增量备份为主，并且根据实际需求以1周或1个月为周期进行一次全备份。全程备份过程无需人工参与，备份过程执行完毕后，备份文件即存储至存储服务器集群中，并且分别存储于各自的“Bucket”。

登录测试账户，查看备份执行信息等，例如：作业配置(设定备份执行的配置信息，如路径等等)，作业执行(备份执行过程信息)，备份集(存储服务器中各类数据库的备份详情)，备份存储(存储服务器详情总览)。

测试异常通知功能，人工干预模仿备份中断环境，进行短信，微信，钉钉，邮件的通知测试。

首先，得益于脚本编译(同统一管理的脚本概念)，可以在操作系统支持的层面上去支持所有数据库产品(只要此数据库产品能部署在linux，windows服务器操作系统上，就可以支持自动化备份管理，也就是目前的市场上的所有数据库产品，均能支持我们的自动化备份管理，无需对新增的数据库品牌或者企业数据库系统里新增数据库产品进行二次开发适配，减少了适配研发的空窗期)。对所有数据库产品的备份，均能通过脚本实现定时定期自动备份，由于我们系统的自动化备份设计是采用数据库产品的原生备份引擎(例如oracle数据库的备份，采用官方的RMAN备份，sqlserver数据库的备份采用自带的sql备份语句去备份，包括但不限于官方的任何备份形式)因此可以保障备份出来的备份文件的完整性能得到最大保障(因为这是该数据库产品自身的备份功能，所以可以认为是官方的备份功能，官方备份出来的备份文件是可以保证文件的完整性)。目前市面上的第三方数据库备份工具，都是以第三方自身的开发设计去给数据库进行备份，那么这备份文件必然会依赖于第三方软件(例如备份文件的读取，识别，恢复等)，一旦第三方软件损坏，删除，授权到期而无法及时续约，会导致备份文件不可用，那就会形成企业此时发生数据库系统灾难而无法及时恢复，使得企业的业务受到影响。

其次，对于数据库的备份，我们采用集中存放于一个对象存储服务器，此对象存储服务器的架构可以采用单机形式，也就是只用来存储备份文件，或者可以采用集群方式部署存储服务器，这样又可以用来防止存储服务器发生意外导致存储的备份文件丢失。我们的对象存储服务器可以存储任意形式的文件，例如关系型数据库的备份文件，文档型的文件，时序型的文件，空间型的文件，对象型的文件，以及图型化的文件(简而言之就是任意形式的文件均能存储，可以作为不同的数据库产品产生的不同文件存储)。我们的对象存储服务器的扩容是无上限，容量增加的策略也没有条件限制，理论上是哪怕你增加一块1TB的硬盘，也可以，而不是像ODA一体机的硬盘空间增加是需要以原磁盘容量的对等容量去提升(具体可以去了解一下相关扩容概念)。

再者，对于数据库备份的管理，由于我们的系统为企业用户所设计的备份保障是采用自定义设置定时定期自动化备份，所以第一点是，无需人为干预备份，第二点是备份文件会随着使用期限增加而增加，文件数量会越来越多，因此我们系统可以设定定时清理早期备份(全备份，增量备份)，备份文件的归属采用层级目录形式，方便一目了然管理(例如：第一层为数据库产品的名称，第二层为该数据库产品版本，因为会存在同一种数据库产品，但部署了多个不同版本号的数据库，第三层为该数据库的统一规划备份名称，第四层为该种类的所有备份文件，以时间命名来区分，升序或降序排列等等)，备份文件的存储地址也会显示，方便人工寻找提取。

最后，说一下原生备份的好处，对于数据库的备份利用，首先一点是能够保证备份文件可以被恢复，第二点是，即使脱离了本系统，管理员可以自行去该备份文件的所在存储服务器的地址去提取备份文件，用于各种场景，因为是原生备份，没有进行第三方系统的绑定，所以理论上是支持任何可供官方备份文件识别的场景去利用，也就是百搭，万能(如果一种场景连官方文件都不允许支持，那该场景本身也不具备上市的条件)。

所有关于备份文件的信息，例如：备份文件的执行过程，归属，存储地址，数量，等等一切理论上可被知晓的信息，均能在前端显示，与统一管理系统共用一个前端显示，仅是分类模块不同而已，后期会采用两套系统分开的方式去对整个前端界面进行分割，形成真正意义上的两种系统产品。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (8)

1.一种基于云存储的数据备份管理系统，其特征在于，包括：

服务器实例层：用于在目标服务器上部署自动化系列脚本，在同一网段内，采取一键分发至各目标服务器的特定安装目录，所述的目标服务器为数据库所在服务器；

存储层：部署存储服务器集群，配置与目标服务器同网段的IP，配置至少2台服务器，构成集群模式或者单机模式；

统一开发平台服务器：用于存放通过目标服务器的脚本自动采集的相关数据库信息，以及备份执行过程所产生的必要信息，供前端应用程序调用；

前端显示层：在统一开发平台服务器中安装前端应用，根据需求设定访问IP，通过REST接口对接统一开发平台服务器，连接测试，开通测试账户。

2.根据权利要求1所述的一种基于云存储的数据备份管理系统，其特征在于，在存储服务器集群搭建完毕后，根据目标数据库系统的数量进行空间划分管理配置，一个数据库对应一个“Bucket”。

3.根据权利要求2所述的一种基于云存储的数据备份管理系统，其特征在于，所述的“Bucket”仅存储该数据库的所有备份文件，所述的所有备份文件包括全备份文件和增量备份文件，并且1个Bucket即为一个数据库的备份集，存储服务器集群可支持无限备份集。

4.根据权利要求1所述的一种基于云存储的数据备份管理系统，其特征在于，在统一开发平台服务器的部署中，需准备1台服务器，此服务器中无任何业务数据库，该服务器的与目标服务器和存储层处于同一网段，同时，在所述的服务器中安装数据库，并对所需的数据表进行还原操作。

5.根据权利要求4所述的一种基于云存储的数据备份管理系统，其特征在于，在所述的服务器中安装数据库，并对所需的数据表进行还原操作的过程中，所述的数据库为非业务数据库。

6.根据权利要求1所述的一种基于云存储的数据备份管理系统，其特征在于，在开通测试账户之后，开启测试，具体的测试过程如下所示：

根据需求设定数据上报频率；

开启自动化脚本，执行备份过程，通过脚本系列中的备份模块对数据库进行定时自动备份；

备份过程执行完毕后，备份文件即存储至存储服务器集群中，并且分别存储于各自的“Bucket”。

7.根据权利要求6所述的一种基于云存储的数据备份管理系统，其特征在于，所述的通过脚本系列中的备份模块对数据库进行定时自动备份的过程中，备份方式为全备份或增量备份。

8.根据权利要求7所述的一种基于云存储的数据备份管理系统，其特征在于，在所述的所述的通过脚本系列中的备份模块对数据库进行定时自动备份的过程中，初次备份为全备份，往后以增量备份为主，并且在每个设定周期内进行一次全备份。

Images