CN103176860A - 数据备份方法和系统 - Google Patents

Abstract

一种数据备份方法，包括以下步骤：根据业务内容产生需备份的数据；将所述需备份的数据根据总控服务器的设置存储至预定位置；将所述预定位置的需备份数据存入分布式文件系统备份集群中。上述数据备份方法通过总控服务器进行设置，将需备份的数据存储至预定位置并存入分布式文件系统备份集群中，便于数据备份的扩容和扩容后各节点数据的平衡。此外，还提供了一种数据备份系统。

Description

数据备份方法和系统

【技术领域】

本发明涉及计算机技术，特别是涉及一种数据备份方法和系统。

【背景技术】

在信息技术与数据管理领域，备份指将文件系统或数据库系统中的数据加以复制，一旦发生灾难或错误操作时，得以方便而及时地恢复系统的有效数据和正常运作。数据备份是容灾的基础，可以防止系统出现操作失误或系统故障导致数据丢失。传统的数据备份主要是采用内置或外置的存储器(例如磁盘等)进行。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。

互联网公司或大型网站每天都要面对大量的系统日志、关键数据等，因此不可避免的需要对这些数据根据特定的业务逻辑进行冷备份，其中一种冷备份数据的解决方案为采用大容量磁盘服务器作为冷备机，由需冷备数据所在服务器根据一定规则主动上传数据或者由冷备机主动拉取。

考虑到单独一台冷备机容量有限，对冷备机扩容时一般有两种方案：

其一为增加磁盘数量，但是这种方案操作较为繁琐，且不能解决根本问题，因为互联网公司或大型网站需要备份的数据量是日益增长的，需要不断的增加硬盘数量，而硬盘的硬件安装位是有限的。

其二为增加多台服务器做冷备机。这种方案需要在冷备机前加一个路由服务，如DNS等来实现冷备数据的均衡存储。然而，多冷备机方案扩容后各冷备机的数据不平衡，且扩容后还需添加或修改前端的路由规则及分配相关访问权限，导致扩容不方便。

【发明内容】

基于此，有必要针对传统的数据备份中，扩容不方便及扩容后数据不平衡的问题，提供一种数据备份方法。

一种数据备份方法，包括以下步骤：

根据业务内容产生需备份的数据；

将所述需备份的数据根据总控服务器的设置存储至预定位置；

将所述预定位置的需备份数据存入分布式文件系统备份集群中。

此外，还有必要针对传统的数据备份中，扩容不方便及扩容后数据不平衡的问题，提供一种数据备份系统。

一种数据备份系统，包括：

业务服务器，根据业务内容产生需备份的数据；

总控服务器，与所述业务服务器通信连接以设置所述需备份的数据存储的预定位置；

分布式文件系统备份集群，与所述业务服务器及总控服务器通信连接以存储所述预定位置的需备份数据。

上述数据备份方法及系统通过总控服务器进行设置，将需备份的数据存储至预定位置并存入分布式文件系统备份集群中，便于数据备份的扩容和扩容后各节点数据的平衡。

【附图说明】

图1为一实施方式的数据备份方法流程图；

图2为一实施方式的数据备份系统模块图；

图3为另一实施方式的数据备份系统模块图。

【具体实施方式】

如图1所示，一种数据备份方法，包括以下步骤：

步骤S110，根据业务内容产生需备份的数据。互联网公司或大型网站的业务服务器在运行都会产生很多新的数据，其中有些数据是重要的数据，如果因软件或硬件问题丢失将导致难以弥补的损失，因此这些数据是需备份的数据。这些需备份的数据中有日志数据和除日志数据之外的业务数据，其中业务数据可以是数据库文件、用户上传的照片、用户上传的文本文件等。

步骤S120，将所述需备份的数据根据总控服务器的设置存储至预定位置。总控服务器在数据备份方法中起全局控制作用，本实施方式中，总控服务器是一台可以免密码登录到任意业务服务器上执行命令的服务器。总控服务器通过访问业务服务器并进行设置，使业务服务器将需备份的数据根据总控服务器的设置存储至预定位置。每一台业务服务器投入使用之前都会由总控服务器建立与业务服务器的SSH(Secure Shell，安全壳)信任关系以及在业务服务器上部署备份脚本。备份脚本实现的功能是：每天定时根据配置文件对该服务器上需备份的数据进行压缩、清理，并将压缩后的数据放置本机指定目录等待拉取。通过备份脚本设置的需备份的数据可以是业务数据和/或日志数据，也可以只是业务数据。除了备份脚本以外，在其他实施方式中，还可以通过总控服务器在业务服务器上安装专门的监控软件或是备份软件，将所述需备份的数据根据总控服务器的设置存储至预定位置。

当有一个新的业务服务器需要备份数据时，在所述总控服务器记录需要进行数据备份的业务服务器的信息的数据库表中添加需要进行数据备份的新增业务服务器的记录，所述记录包括：IP地址、所属业务、数据生命周期、备注说明；然后建立所述总控服务器与所述新增业务服务器的安全壳信任关系并在所述新增业务服务器上部署备份脚本。通过这种方式，总控服务器实现了对哪些业务服务器需备份及如何备份进行控制，便于集中管理。

步骤S130，将所述预定位置的需备份数据存入分布式文件系统备份集群中。分布式文件系统从文件系统的客户使用的角度来看，就是一个标准的文件系统提供了一系列API(Application Programming Interface，应用程序编程接口)，由此进行文件或目录的创建、移动、删除，以及对文件的读写等操作；从内部实现来看，分布式的系统则不再和普通文件系统一样负责管理本地磁盘，文件内容和目录结构都不是存储在本地磁盘上，而是通过网络传输到远端系统上，并且同一个文件存储不只是在一台机器上，而是在一簇机器上分布式存储，协同提供服务。本实施方式中，分布式文件系统备份集群采用HDFS备份集群(HDFS的全称为Hadoop Distributed File System，即Hadoop分布式文件系统，Hadoop为一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序)。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且可以提供高吞吐量来访问应用程序的数据，适合有着超大数据集的应用程序。分布式文件系统备份集群具有易于扩容的特点，新增集群节点的过程对于集群访问者是透明的，同时分布式文件系统备份集群还保证了扩容后各节点数据的平衡性。

上述数据备份方法通过总控服务器进行设置，将需备份的数据存储至预定位置并存入分布式文件系统备份集群中，便于数据备份的扩容和扩容后各节点数据的平衡。

上述数据备份方法中，需备份的数据根据总控服务器的设置存储至预定位置，这里的预定位置可以是本机指定目录，也可以是本地局域网的某文件服务器上的目录，还可以是远程服务器。在一实施方式中，所述总控服务器的设置为所述总控服务器在业务服务器上部署的备份脚本，所述备份脚本定义的所述需备份的数据中的业务数据所对应的所述预定位置为业务服务器的本机指定目录。在另一实施方式中，所述总控服务器的设置为所述总控服务器在业务服务器上部署的备份脚本，所述备份脚本定义的所述需备份的数据中的日志数据所对应的所述预定位置为远程日志服务器。

在优选的实施方式中，所述将所述预定位置的需备份数据存入分布式文件系统备份集群中的步骤包括：

从所述预定位置拉取所述需备份的数据并在数据中转机中暂存；

将拉取的所述需备份的数据上传到分布式文件系统备份集群中。

数据中转机的作用是每天定时从总控服务器获取需要数据备份的业务服务器的信息，从各业务服务器的本机指定目录和远程日志服务器中日志数据所在目录拉取数据，然后将这些数据上传到HDFS备份集群中。上传的过程是由数据中转机调用其上的Hadoop客户端完成，上传数据前会根据数据的生命周期指定该数据的存放副本数，即根据需备份的数据的生命周期指定需备份的数据在所述分布式文件系统备份集群中的存放副本数。数据中转机拉取到的数据可以按照服务器IP/数据日期/数据文件的形式来存放，同时这些数据在中转机上会保留预定时间，例如3天、5天、10天等，以方便查看最近一段时间的备份数据，如果要查看较早之前的数据则需要向运维人员申请将数据从HDFS备份集群中拉到数据中转机上。因此数据中转机可以看作是一个数据缓存区。数据中转机一般有多台进行容灾。数据中转机消除了数据查看过程的复杂性，同时避免了业务服务器直接操作备份集群，安全性较好。

分布式文件系统备份集群接受来自数据中转机的数据，数据存放目录与数据中转机一致。HDFS备份集群为每份数据做了副本，副本数根据数据的生命周期而定，默认为3份，生命周期较长的数据可以设定高一些的副本数。每份副本存放在集群中不同的节点上，容灾性得到保证。定期检查存入分布式文件系统备份集群中的需备份数据的生命周期并清理超过生命周期的需备份的数据。使用HDFS搭建备份集群解决了备份机单点问题，降低了运营成本。

图1所示的数据备份方法中，需备份的数据可以是业务数据和/或日志数据，也可以只是业务数据。在需备份的数据为业务数据时，所述预定位置为业务服务器的本机指定目录，该数据备份方法还包括如下步骤来备份日志数据：将业务服务器产生的日志数据通过实时往远程日志服务器上写远程日志的方式存储在远程日志服务器；从所述远程日志服务器拉取所述日志数据和从所述业务服务器拉取所述业务数据并在数据中转机中暂存；将拉取的所述日志数据上传到分布式文件系统备份集群中。对于会产生日志数据的业务服务器，业务服务器上的业务进程不再写本地日志而是采用socket或其他方式实时往远程日志服务器上写远程日志。远程日志服务器一般为具有大容量磁盘的服务器，同时会部署若干台以消除单点，这些服务器上的数据是一致的。由于采用了实时往远程日志服务器上写远程日志的方式存储，避免了日志数据在上传或拉取到备份机的过程中会占用大量业务服务器的带宽、容易对业务产生影响的问题，同时节省了业务服务器的磁盘空间。

如图2所示，还提供一种数据备份系统，包括业务服务器、总控服务器及分布式文件系统备份集群。

业务服务器根据业务内容产生需备份的数据。互联网公司或大型网站的业务服务器在运行都会产生很多新的数据，其中有些数据是重要的数据，如果因软件或硬件问题丢失将导致难以弥补的损失，因此这些数据是需备份的数据。这些需备份的数据中有日志数据和除日志数据之外的业务数据，其中业务数据可以是数据库文件、用户上传的照片、用户上传的文本文件等。

总控服务器与业务服务器通信连接以设置需备份的数据存储的预定位置。总控服务器在数据备份系统中起全局控制作用，本实施方式中，总控服务器是一台可以免密码登录到任意业务服务器上执行命令的服务器。总控服务器通过访问业务服务器并进行设置，使业务服务器将需备份的数据根据总控服务器的设置存储至预定位置。每一台业务服务器投入使用之前都会由总控服务器建立与业务服务器的SSH(Secure Shell，安全壳)信任关系以及在业务服务器上部署备份脚本。备份脚本实现的功能是：每天定时根据配置文件对该服务器上需备份的数据进行压缩、清理，并将压缩后的数据放置本机指定目录等待拉取。通过备份脚本设置的需备份的数据可以是业务数据和/或日志数据，也可以只是业务数据。除了备份脚本以外，在其他实施方式中，还可以通过总控服务器在业务服务器上安装专门的监控软件或是备份软件，将所述需备份的数据根据总控服务器的设置存储至预定位置。

总控服务器中记录有需要进行数据备份的业务服务器的信息的数据库表，数据库表用于记载需要进行数据备份的业务服务器的记录，所述记录包括：IP地址、所属业务、数据生命周期、备注说明。总控服务器根据所述记录建立总控服务器与业务服务器的安全壳信任关系并在新增业务服务器上部署备份脚本。当有一个新的业务服务器需要备份数据时，在所述总控服务器记录需要进行数据备份的业务服务器的信息的数据库表中添加需要进行数据备份的新增业务服务器的记录；然后建立总控服务器与所述新增业务服务器的安全壳信任关系并在所述新增业务服务器上部署备份脚本。通过这种方式，总控服务器实现了对哪些业务服务器需备份及如何备份进行控制，便于集中管理。

分布式文件系统备份集群与业务服务器及总控服务器通信连接以存储所述预定位置的需备份数据。分布式文件系统从文件系统的客户使用的角度来看，就是一个标准的文件系统提供了一系列API(Application Programming Interface，应用程序编程接口)，由此进行文件或目录的创建、移动、删除，以及对文件的读写等操作；从内部实现来看，分布式的系统则不再和普通文件系统一样负责管理本地磁盘，文件内容和目录结构都不是存储在本地磁盘上，而是通过网络传输到远端系统上，并且同一个文件存储不只是在一台机器上，而是在一簇机器上分布式存储，协同提供服务。本实施方式中，分布式文件系统备份集群采用HDFS备份集群(HDFS的全称为Hadoop Distributed File System，即Hadoop分布式文件系统，Hadoop为一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序)。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且可以提供高吞吐量来访问应用程序的数据，适合有着超大数据集的应用程序。分布式文件系统备份集群具有易于扩容的特点，新增集群节点的过程对于集群访问者是透明的，同时分布式文件系统备份集群还保证了扩容后各节点数据的平衡性。

上述数据备份系统通过总控服务器进行设置，将需备份的数据存储至预定位置并存入分布式文件系统备份集群中，便于数据备份的扩容和扩容后各节点数据的平衡。

上述数据备份系统中，需备份的数据根据总控服务器的设置存储至预定位置，这里的预定位置可以是本机指定目录，也可以是本地局域网的某文件服务器上的目录，还可以是远程服务器。在一实施方式中，所述总控服务器的设置为所述总控服务器在业务服务器上部署的备份脚本，所述备份脚本定义的所述需备份的数据中的业务数据所对应的所述预定位置为业务服务器的本机指定目录。在另一实施方式中，所述数据备份系统还包括与所述业务服务器通信连接的远程日志服务器(如图3所示)，所述总控服务器的设置为所述总控服务器在业务服务器上部署的备份脚本，所述备份脚本定义的所述需备份的数据中的日志数据所对应的所述预定位置为所述远程日志服务器。

如图3所示，所述数据备份系统还包括通信连接所述分布式文件系统备份集群的数据中转机，所述数据中转机用于从所述预定位置拉取所述需备份的数据并在数据中转机中暂存并将拉取的所述需备份的数据上传到分布式文件系统备份集群中并根据所述需备份的数据的生命周期指定所述需备份的数据在所述分布式文件系统备份集群中的存放副本数。数据中转机的作用是每天定时从总控服务器获取需要数据备份的业务服务器的信息，从各业务服务器的本机指定目录和远程日志服务器中日志数据所在目录拉取数据，然后将这些数据上传到HDFS备份集群中。上传的过程是由数据中转机调用其上的Hadoop客户端完成，上传数据前会根据数据的生命周期指定该数据的存放副本数，即根据需备份的数据的生命周期指定需备份的数据在所述分布式文件系统备份集群中的存放副本数。数据中转机拉取到的数据可以按照服务器IP/数据日期/数据文件的形式来存放，同时这些数据在中转机上会保留预定时间，例如3天、5天、10天等，以方便查看最近一段时间的备份数据，如果要查看较早之前的数据则需要向运维人员申请将数据从HDFS备份集群中拉到数据中转机上。因此数据中转机可以看作是一个数据缓存区。数据中转机一般有多台进行容灾。数据中转机消除了数据查看过程的复杂性，同时避免了业务服务器直接操作备份集群，安全性较好。

分布式文件系统备份集群接受来自数据中转机的数据，数据存放目录与数据中转机一致。HDFS备份集群为每份数据做了副本，副本数根据数据的生命周期而定，默认为3份，生命周期较长的数据可以设定高一些的副本数。每份副本存放在集群中不同的节点上，容灾性得到保证。定期检查存入分布式文件系统备份集群中的需备份数据的生命周期并清理超过生命周期的需备份的数据。使用HDFS搭建备份集群解决了备份机单点问题，降低了运营成本。

数据备份系统中，需备份的数据可以是业务数据和/或日志数据，也可以只是业务数据。在需备份的数据为业务数据时，所述预定位置为业务服务器的本机指定目录，所述数据备份系统还包括远程日志服务器及数据中转机(如图3所示)。远程日志服务器与所述业务服务器通信连接将业务服务器产生的日志数据通过实时往所述远程日志服务器上写远程日志的方式存储在所述远程日志服务器上。数据中转机通信连接所述分布式文件系统备份集群，用于从所述远程日志服务器拉取所述日志数据、从所述业务服务器拉取所述业务数据、在数据中转机中暂存并将拉取的所述日志数据和所述业务数据上传到分布式文件系统备份集群中。对于会产生日志数据的业务服务器，业务服务器上的业务进程不再写本地日志而是采用socket或其他方式实时往远程日志服务器上写远程日志。远程日志服务器一般为具有大容量磁盘的服务器，同时会部署若干台以消除单点，这些服务器上的数据是一致的。由于采用了实时往远程日志服务器上写远程日志的方式存储，避免了日志数据在上传或拉取到备份机的过程中会占用大量业务服务器的带宽、容易对业务产生影响的问题，同时节省了业务服务器的磁盘空间。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种数据备份方法，其特征在于，包括以下步骤：

根据业务内容产生需备份的数据；

将所述需备份的数据根据总控服务器的设置存储至预定位置；

将所述预定位置的需备份数据存入分布式文件系统备份集群中。

2.根据权利要求1所述的数据备份方法，其特征在于，所述总控服务器的设置为所述总控服务器在业务服务器上部署的备份脚本，所述备份脚本定义的所述需备份的数据中的业务数据所对应的所述预定位置为业务服务器的本机指定目录。

3.根据权利要求1所述的数据备份方法，其特征在于，所述总控服务器的设置为所述总控服务器在业务服务器上部署的备份脚本，所述备份脚本定义的所述需备份的数据中的日志数据所对应的所述预定位置为远程日志服务器。

4.根据权利要求1至3中任意一项所述的数据备份方法，其特征在于，所述将所述预定位置的需备份数据存入分布式文件系统备份集群中的步骤包括：

从所述预定位置拉取所述需备份的数据并在数据中转机中暂存；

将拉取的所述需备份的数据上传到分布式文件系统备份集群中。

5.根据权利要求2或3所述的数据备份方法，其特征在于，还包括：

在所述总控服务器记录需要进行数据备份的业务服务器的信息的数据库表中添加需要进行数据备份的新增业务服务器的记录，所述记录包括：IP地址、所属业务、数据生命周期、备注说明；

建立所述总控服务器与所述新增业务服务器的安全壳信任关系并在所述新增业务服务器上部署备份脚本。

6.根据权利要求1所述的数据备份方法，其特征在于，所述将所述预定位置的需备份数据存入分布式文件系统备份集群中的步骤中根据所述需备份的数据的生命周期指定所述需备份的数据在所述分布式文件系统备份集群中的存放副本数。

7.根据权利要求1或6所述的数据备份方法，其特征在于，还包括：

定期检查存入分布式文件系统备份集群中的需备份数据的生命周期并清理超过生命周期的需备份的数据。

8.根据权利要求1或6所述的数据备份方法，其特征在于，所述需备份的数据为业务数据，所述预定位置为业务服务器的本机指定目录，所述数据备份方法还包括如下步骤：

将业务服务器产生的日志数据通过实时往远程日志服务器上写远程日志的方式存储在远程日志服务器；

从所述远程日志服务器拉取所述日志数据和从所述业务服务器拉取所述业务数据并在数据中转机中暂存；

将拉取的所述日志数据上传到分布式文件系统备份集群中。

9.一种数据备份系统，其特征在于，包括：

业务服务器，根据业务内容产生需备份的数据；

总控服务器，与所述业务服务器通信连接以设置所述需备份的数据存储的预定位置；

分布式文件系统备份集群，与所述业务服务器及总控服务器通信连接以存储所述预定位置的需备份数据。

10.根据权利要求9所述的数据备份系统，其特征在于，所述总控服务器的设置为所述总控服务器在业务服务器上部署的备份脚本，所述备份脚本定义的所述需备份的数据中的业务数据所对应的所述预定位置为业务服务器的本机指定目录。

11.根据权利要求9所述的数据备份系统，其特征在于，所述数据备份系统还包括与所述业务服务器通信连接的远程日志服务器，所述总控服务器的设置为所述总控服务器在业务服务器上部署的备份脚本，所述备份脚本定义的所述需备份的数据中的日志数据所对应的所述预定位置为所述远程日志服务器。

12.根据权利要求9至11中任意一项所述的数据备份系统，其特征在于，所述数据备份系统还包括通信连接所述分布式文件系统备份集群的数据中转机，所述数据中转机用于从所述预定位置拉取所述需备份的数据并在数据中转机中暂存并将拉取的所述需备份的数据上传到分布式文件系统备份集群中并根据所述需备份的数据的生命周期指定所述需备份的数据在所述分布式文件系统备份集群中的存放副本数。

13.根据权利要求10或11所述的数据备份系统，其特征在于，所述总控服务器中记录有需要进行数据备份的业务服务器的信息的数据库表，所述数据库表用于记载需要进行数据备份的业务服务器的记录，所述记录包括：IP地址、所属业务、数据生命周期、备注说明；所述总控服务器根据所述记录建立所述总控服务器与所述业务服务器的安全壳信任关系并在所述新增业务服务器上部署备份脚本。

14.根据权利要求9所述的数据备份系统，其特征在于，所述需备份的数据为业务数据，所述预定位置为业务服务器的本机指定目录，所述数据备份系统还包括：

远程日志服务器，与所述业务服务器通信连接将业务服务器产生的日志数据通过实时往所述远程日志服务器上写远程日志的方式存储在所述远程日志服务器上；

数据中转机，通信连接所述分布式文件系统备份集群，用于从所述远程日志服务器拉取所述日志数据、从所述业务服务器拉取所述业务数据、在数据中转机中暂存并将拉取的所述日志数据和所述业务数据上传到分布式文件系统备份集群中。

Images