CN105468476A - 基于hdfs的数据灾备系统 - Google Patents

Abstract

本发明提供了一种基于HDFS的数据灾备系统，包括备份中转机及HDFS，备份中转机的备份中转目录挂载于数据库服务器端，HDFS挂载于备份中转机的HDFS挂载目录中，在数据库服务器挂载备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于备份中转目录中；备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将备份结果定期转移给HDFS，并通过过期备份清理脚本对HDFS上的过期备份进行清理。由此可见，本系统兼容了HDFS的优点，具有高容错、高可靠性、高可扩展性、高可用性；此外，由于数据库服务器所备份的数据不是直接转移至HDFS，而是通过备份中转机中转转移的，进一步提升了备份数据的安全性。

Description

基于HDFS的数据灾备系统

技术领域

本发明涉及数据库技术领域，特别涉及一种基于HDFS的数据灾备系统。

背景技术

随着科学技术的迅速发展，IT技术的运用已经渗透到了人们生活和工作的各个层面，给人们的生活带来了便利和迅捷。然而IT系统在为业务的迅猛发展提供信息技术基础架构的同时，也存在缺陷，例如由于信息和处理的高度集中使业务运转过度依赖于IT系统，会因为IT系统的突发问题时受到很大影响，严重的甚至可以导致业务系统无法正常进行。针对上述问题，各大企业采用对IT系统的数据进行备份的方式解决，以避免IT系统出现问题时对正常工作的影响，由此可见对数据做备份或者容灾意义重大。

在目前的各类企业中，数据备份、容灾技术种类繁多，细言之，实现数据灾备的方法主要有如下几种：

1.部署备份脚本，将数据库备份至服务器本地。该方法的不足在于：由于备份没有脱离生产环境，不能真正容灾，当生产环境出现问题，备份一块出问题。

2.部署备份脚本，将数据库备份至服务器本地，并将备份以ftp/scp等方式传输至指定的备份存储服务器。该方法的不足在于：受限于备份存储服务器，比如访问的安全性，以及磁盘容量，IO性能等等。且备份集中存放，容易形成单点故障，备份系统可靠性不高。

3.构建nfs共享，直接实现将数据库备份至远程。该种方式操作虽然便利，但其不足在于：安全性难以保证，生产系统与备份可以从同一个服务器上访问，另外，nfs也并非是一种很安全协议。

4.采用磁带机备份，备份完毕，磁带离线保存。这种方式成本较低，但其不足在于备份的存储媒介磁带的局限性较大，备份可靠性比较低。

5.采用带库或者虚拟带库实现集中备份。采用带库，容量大，备份速度快，同样会受限于磁带的劣势；若采用虚拟带库，备份可靠性高，但成本高，容量比带库小，备份速度不见得比带库快。

6.在数据库层实施跨机房容灾。这种容灾兼具高可用的特点，对维护人员的素质要求较高。不便集中管理，如果有多个数据库系统，需要在每个数据库上面部署容灾。另外，容灾端的数据也是跟着生产数据而动态变化的，对于误操作的防止效果有限。此类技术有Oracle的DataGuard,GoldGate技术等等。

7.存储层实施容灾。费用高，通常需要专门厂商支持，比如针对EMCDMX的SRDF技术。该方法适用于数据中心级别的容灾规划。

8.采用第三方云备份。这种方式的灾备，费用不高，但是对第三方服务商的服务品质依赖较大。

9.多种技术混合使用。比如在数据库层实施跨机房容灾，同时又对容灾库部署备份脚本，将数据库备份至本地或远程。多种方式虽然能解决单一方式备份的某个缺陷，往往也会带来新的局限性，同时也增加运维的复杂性。

发明内容

本发明的目的在于提供一种基于HDFS的数据灾备系统，以弥补使用现有数据灾备方法存在的不足。

为解决上述技术问题，本发明提供一种基于HDFS的数据灾备系统，与若干数据库服务器建立通信，所述基于HDFS的数据灾备系统包括：

备份中转机以及HDFS，

其中，所述备份中转机包括备份中转目录、HDFS挂载目录、备份配置文件、备份转移脚本及过期备份清理脚本，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。

可选的，在所述的基于HDFS的数据灾备系统中，所述备份结果通过所述HDFS挂载目录转移到所述HDFS中，所述HDFS挂载目录为所述HDFS的入口。

可选的，在所述的基于HDFS的数据灾备系统中，所述备份中转目录以sshfs方式或者nfs方式挂载至数据库服务器。

可选的，在所述的基于HDFS的数据灾备系统中，所述HDFS通过hadoop自带的Fuse-dfs模块挂载于所述备份中转机的HDFS挂载目录中。

可选的，在所述的基于HDFS的数据灾备系统中，所述HDFS通过所述HDFS的nfs网关挂载至所述备份中转机的HDFS挂载目录中。

可选的，在所述的基于HDFS的数据灾备系统中，所述数据库服务器端的统一规范的备份脚本，所述备份中转机上的备份迁移脚本以及过期备份清理脚本的运行均由基于HDFS的数据灾备系统自动调度实现。

可选的，在所述的基于HDFS的数据灾备系统中，所述HDFS为服务器集群。

可选的，在所述的基于HDFS的数据灾备系统中，所述备份中转机的数量为至少一个。

本发明提供了一种基于HDFS的数据灾备系统，所述基于HDFS的数据灾备系统包括备份中转机以及HDFS，所述备份中转机包括备份中转目录、HDFS挂载目录及备份配置文件，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。由于本申请的数据灾备系统是基于HDFS构建的，因此兼容了HDFS的优点，具有高容错、高可靠性、高可扩展性、高可用性；由于HDFS的容量大且扩展方便的特性，因此基于HDFS的数据灾备系统能保留更长时间的备份；此外，由于数据库服务器所备份的数据不是直接转移至HDFS，而是通过备份中转机中转转移的，进一步提升了备份数据的安全性。

附图说明

图1是本发明一实施例中数据灾备系统实现架构图。

具体实施方式

以下结合附图和具体实施例对本发明提出的基于HDFS的数据灾备系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

Hadoop分布式文件系统(简称HDFS)是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高可用性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集的应用处理带来了很多便利。基于此，本申请将HDFS应用于数据灾备系统中作为备份数据的存储，以弥补现有数据灾备方法存在的不足。

请参考图1，其为本发明一实施例中数据灾备系统实现架构图，如图1所示，本实施例中的数据灾备系统是利用基于HDFS的数据灾备系统实现的，所述基于HDFS的数据灾备系统与若干数据库服务器建立通信，主要包括包括备份中转机以及HDFS，

其中，所述备份中转机包括备份中转目录、HDFS挂载目录、备份配置文件备份转移脚本及过期备份清理脚本，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。

较佳的，所述HDFS为服务器集群；备份中转机的中转目录可使用的磁盘容量根据企业需要备份的最大数据库的大小来确定，主要是不能小于所备份数据库的物理大小，可以采用大容量sata盘。

本实施例中，所述备份结果通过所述HDFS挂载目录转移到所述HDFS中，所述HDFS挂载目录为所述HDFS的入口。

具体的数据灾备的工作过程如下：

备份前，备份中转机的备份中转目录以sshfs方式或nfs方式挂载至数据库服务器端；在备份时，数据库服务器端采用统一规范编写的备份脚本进行数据备份，备份结果会自动存放于备份中转目录内，该备份通过定时任务来调度；接着，通过在备份中转机中部署的备份迁移脚本定期(例如每隔5分钟)将备份中转目录中存放的备份转移到HDFS中，备份转移完成后，过期备份清理脚本会按照备份保留策略进行过期备份清理，由于此前HDFS已通过Fuse-dfs模块或HDFSnfs网关挂载至备份中转机的HDFS挂载目录中，所以备份中转机上的备份数据是可以通过备份迁移脚本转移到HDFS中并通过过期清理脚本进行备份清理的。

其中，备份中转目录以sshfs方式挂载到数据库服务器的优点在于，1)采用sshfs协议在数据传输过程中会对数据进行加密、解密、校验，因此安全性好，由于数据库系统与本实施例所构建的灾备环境均在内网环境，可以适当调整加密算法，改善备份速度；2)运用简单，只需在客户端(即数据库服务器)上操作(启用linuxfuse模块，安装sshfs，然后挂载)，备份中转机上面无需配置。

其中，在数据库服务器端部署的统一规范的备份脚本应该遵守如下规则：1)为需要备份的数据库设置一个具有标志性的名字(这里称其为数据库备份标记，或bkid)，以便在本灾备环境中唯一标识该数据库的所有备份；2)备份之前，判断备份中转目录挂载是否正常，不正常则记录告警信息，正常则继续后续任务；3)记录备份开始时间，以“年月日时分秒”的数字形式(形如20151106112233)；4)编写数据库备份相关的命令；5)备份脚本的末尾，记录备份结束时间(时间格式与备份开始时间相同)，并生成一个标识备份结束的标记文件，该标记文件的内容为备份结束时间。

关于上述的备份结束标记文件应该遵循如下规范：1)该标记文件的命名分为4部分，每部分之间用下划线分隔；2)标记文件名的第一部分为bkid；2)第二部分为备份开始时间；3)第三部分为增量备份标记，用来表示该备份是否采用增量方式进行。增量级别可设定为L0和L1，分别对应全量和增量备份，或者理解为全量与非全量备份。如果该备份并未采用增量方式，则该部分设置随意；4)第四部分为固定标记字符串”finished.flg”；5)该标记文件的内容为备份结束时间。综上所述，该备份结束标记文件命名举例如：yyloghis_20151106070001_L1_finished.flg。

为了避免由于多个数据库服务器需要同时备份，导致备份中转机上的备份中转目录存储空间不足以及IO能力不足的问题，这里可以采用增加备份中转机的数量，以降低仅采用一个备份中转机的工作压力；此外，还可以事先规划好定时任务调度，以实现错峰备份。

经上述内容可知，本申请基于HDFS的数据灾备系统的优点包括如下几点：

1)本申请的数据灾备系统基于HDFS，由于HDFS的软件为开源软件，所用之硬件皆为廉价商用服务器，极大的降低了成本；此外，由于HDFS具有容量大的特点，因此备份的数据具有较长的保留周期，有效避免生产环境中由于管理员误操作而导致数据无法找回的被动局面。

2)此外，本申请在HDFS与数据库服务器之间设置备份中转机，HDFS的挂载仅限于备份中转机而不在数据库服务器上挂载，因此，仅需要在备份中转机上设置严格的访问权限，即可降低备份数据的安全隐患。

3)由于备份中转目录以sshfs方式挂载至数据库服务器，使得备份的通道更为安全、可靠。

综上，在本发明所提供的基于HDFS的数据灾备系统中，所述基于HDFS的数据灾备系统包括备份中转机以及HDFS，所述备份中转机包括备份中转目录、HDFS挂载目录、备份配置文件、备份转移脚本及过期备份清理脚本，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。由于本申请的数据灾备系统是基于HDFS构建的，因此兼容了HDFS的优点，具有高容错、高可靠性、高可扩展性、高可用性；由于HDFS的容量大且扩展方便的特性，因此基于HDFS的数据灾备系统能保留更长时间的备份；此外，由于数据库服务器所备份的数据不是直接转移至HDFS，而是通过备份中转机中转转移的，进一步提升了备份数据的安全性。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (8)

1.一种基于HDFS的数据灾备系统，与若干数据库服务器建立通信，其特征在于，包括：备份中转机以及HDFS，

其中，所述备份中转机包括备份中转目录、HDFS挂载目录、备份配置文件、备份转移脚本及过期备份清理脚本，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。

2.如权利要求1所述的基于HDFS的数据灾备系统，其特征在于，所述备份结果通过所述HDFS挂载目录转移到所述HDFS中，所述HDFS挂载目录为所述HDFS的入口。

3.如权利要求1所述的基于HDFS的数据灾备系统，其特征在于，所述备份中转目录以sshfs方式或者nfs方式挂载至数据库服务器。

4.如权利要求1所述的基于HDFS的数据灾备系统，其特征在于，所述HDFS通过hadoop自带的Fuse-dfs模块挂载于所述备份中转机的HDFS挂载目录中。

5.如权利要求1所述的基于HDFS的数据灾备系统，其特征在于，所述HDFS通过所述HDFS的nfs网关挂载至所述备份中转机的HDFS挂载目录中。

6.如权利要求1所述的基于HDFS的数据灾备系统，其特征在于，所述数据库服务器端的统一规范的备份脚本，所述备份中转机上的备份迁移脚本以及过期备份清理脚本的运行均由基于HDFS的数据灾备系统自动调度实现。

7.如权利要求1所述的基于HDFS的数据灾备系统，其特征在于，所述HDFS为服务器集群。

8.如权利要求1所述的基于HDFS的数据灾备系统，其特征在于，所述备份中转机的数量为至少一个。