CN103365740A - 一种数据冷备方法及装置 - Google Patents

Abstract

本发明公开了一种数据冷备方法，所述方法包括：生成包含有预先配置的冷备数据参数的冷备任务；将所述冷备任务拆分成至少一个子任务；分别执行所述至少一个子任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储。本发明还公开了相应的数据冷备装置，能够实现网状数据拷贝、冷备任务集中处理和冷备数据的集群管理，有效提高冷备的速度和冷备效率；此外，对冷备数据进行分布式存储，提高了数据存储的合理性、磁盘使用率及冷备资源的利用率。

Description

一种数据冷备方法及装置

技术领域

本发明涉及网络通信中的数据处理技术，尤其涉及一种数据冷备方法及装置。

背景技术

在信息技术与数据管理领域，备份指将文件系统或数据库系统中的数据加以复制；一旦发生灾难或错误操作时，得以方便而及时地恢复系统的有效数据和正常运作。

备份可以包括如下类型：全部备份，即把硬盘或数据库内的所有档案、资料夹或数据作一次性的复制；增量备份，指对上一次全部备份后更新的数据进行备份；选择式备份，对系统的一部分进行备份；冷备份：系统处于停机或维护状态下的备份，这种情况下，备份的数据与系统中此时段的数据完全一致；热备份：系统处于正常运转状态下的备份，这种情况下，由于系统中的数据可能随时在更新，备份的数据相对于系统的真实数据可有一定滞后。

现有的数据冷备过程，是通过运行工作人员编写的脚本，将需冷备的数据逐一复制到磁盘中，进行备份。首先，复制过程中，需要在完成上一文件的复制后，才能开始下一个文件的复制，因此，导致冷备速度慢，冷备效率低；其次，将冷备数据在磁盘中进行备份之前，需要工作人员预先根据磁盘空间设置存储区域，如此，通过人为的方式设置存储区域，不仅效率低，耗费人力，而且很难合理使用磁盘空间，从而造成磁盘使用率低。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据冷备方法及装置，能够提高冷备速度、冷备效率及冷备资源的利用率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种数据冷备方法，所述方法包括：

生成包含有预先配置的冷备数据参数的冷备任务；

将所述冷备任务拆分成至少一个子任务；

分别执行所述至少一个子任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储。

在上述方案中，所述将所述冷备任务拆分成至少一个子任务，为：对所述冷备任务进行映射简化MapReduce处理，将所述冷备任务拆分成至少一个映射Map任务，所述一个Map任务包含有所述冷备任务中部分或全部的冷备数据参数。

在上述方案中，分别执行所述至少一个Map任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储，包括：执行当前Map任务，调用冷备模块，根据当前Map任务中的冷备数据参数，从冷备数据源获取相应的冷备数据，发送用于指示对所述冷备数据进行分布式存储的冷备指令；对所述冷备数据进行分布式存储处理，并向所述冷备模块返回包含存储结果的响应。

在上述方案中，所述从冷备数据源获取相应的冷备数据之后，所述方法还包括：将所述冷备数据暂时保存到存储模块；所述对所述冷备数据进行分布式存储处理之前，所述方法还包括：从所述存储模块读取所述冷备数据，建立用于存储所述冷备数据的文件，并将所述文件存储到预先设置的用于存放冷备数据文件的目录下；所述对所述冷备数据进行分布式存储处理，包括：对用于存储所述冷备数据的文件进行分布式存储处理，分配到至少一个节点服务器上进行存储。

在上述方案中，所述向所述冷备模块返回包含存储结果的响应之后，包括：在向所述冷备模块返回包含存储失败的响应后，冷备模块重新发送用于指示对所述冷备数据进行分布式存储的冷备指令；之后，重新对所述冷备数据进行分布式存储处理。

本发明还提供了一种数据冷备装置，所述装置包括：分布式存储模块、拆分模块和冷备模块，其中，分布式存储模块，用于生成包含有预先配置的冷备数据参数的冷备任务，并调用所述拆分模块；以及，对从冷备数据源获取相应的冷备数据进行分布式存储；拆分模块，用于将所述冷备任务拆分成至少一个子任务，并分别执行所述至少一个子任务，调用所述冷备模块从冷备数据源获取相应的冷备数据。

在上述方案中，所述拆分模块具体为MapReduce模块，用于对所述冷备任务进行MapReduce处理，将所述冷备任务拆分成至少一个Map任务，所述一个Map任务包含有所述冷备任务中部分或全部的冷备数据参数。

在上述方案中，所述MapReduce模块，还用于执行当前Map任务，调用冷备模块，并将当前Map任务中的冷备数据参数传递给所述冷备模块；所述冷备模块，用于根据所述MapReduce模块传递的冷备数据参数，从冷备数据源获取相应的冷备数据，并发送用于指示对所述冷备数据进行分布式存储的冷备指令给所述分布式存储模块；所述分布式存储模块，用于在接收到所述冷备指令后，对所述冷备模块获取的冷备数据进行分布式存储处理，并向所述冷备模块返回包含存储结果的响应。

在上述方案中，所述装置还包括存储模块，用于暂时保存冷备数据；所述冷备模块，还用于在从冷备数据源获取相应的冷备数据之后，将所述冷备数据暂时保存到所述存储模块；所述分布式存储模块，用于在接收到所述冷备指令后，从所述存储模块读取所述冷备数据，建立用于存储所述冷备数据的文件，将所述文件存储到预先设置的用于存放冷备数据文件的目录下；并对用于存储所述冷备数据的文件进行分布式存储处理，分配到至少一个节点服务器上进行存储。

在上述方案中，所述分布式存储模块，用于在对所述冷备数据存储失败时，向所述冷备模块返回包含存储失败的响应；所述冷备模块，还用于在所述分布式存储模块返回包含存储失败的响应后，重新发送用于指示对所述冷备数据进行分布式存储的冷备指令给所述分布式存储模块。

本发明的数据冷备方法及装置，通过将冷备任务拆分成至少一个子任务，再分别执行所述至少一个子任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储，实现对冷备数据源中大规模集群数据的分布式冷备，能够将需要冷备数据分成多个数据块并可以同时进行各数据块的冷备，实现网状数据拷贝、冷备任务集中处理和冷备数据的集群管理，从而有效提高冷备的速度和冷备效率；此外，对冷备数据进行分布式存储，能够自动根据存储空间的负载状况进行冷备数据存储，不仅提高了数据存储的合理性，而且大大提高了磁盘使用率，磁盘使用率可以达到95％以上，从而有效提高冷备资源的利用率。

附图说明

图1为本发明数据冷备方法的实现流程图；

图2为本发明数据冷备装置的组成结构示意图；

图3为本发明实施例一中HDFS模块执行数据操作的示意图；

图4为本发明实施例一中数据冷备过程的具体流程图。

具体实施方式

如图1所示，本发明中的数据冷备方法，主要可以包括如下步骤：

步骤101：生成包含有预先配置的冷备数据参数的冷备任务；

步骤102：将所述冷备任务拆分成至少一个子任务；

步骤103：分别执行所述至少一个子任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储。

这里，所述子任务具体可以是映射(Map)任务，步骤102中可以通过对所述冷备任务进行映射化简(MapReduce)处理，将所述冷备任务拆分成至少一个Map任务，所述一个Map任务包含有所述冷备任务中部分或全部的冷备数据参数。

具体地，对于任意一个Map任务来说，步骤103包括：执行当前Map任务，调用冷备模块，根据当前Map任务中的冷备数据参数，从冷备数据源获取相应的冷备数据，发送用于指示对所述冷备数据进行分布式存储的冷备指令；对所述冷备数据进行分布式存储处理，并向所述冷备模块返回包含存储结果的响应。

其中，所述从冷备数据源获取相应的冷备数据之后，所述方法还包括：将所述冷备数据暂时保存到存储模块；所述对所述冷备数据进行分布式存储处理之前，所述方法还包括：从所述存储模块读取所述冷备数据，建立用于存储所述冷备数据的文件，并将所述文件存储到预先设置的用于存放冷备数据文件的目录下；所述对所述冷备数据进行分布式存储处理，可以包括：对用于存储所述冷备数据的文件进行分布式存储处理，分配到至少一个节点服务器上进行存储。

这里，在向所述冷备模块返回包含存储成功的响应后，结束当前Map任务。在向所述冷备模块返回包含存储失败的响应后，冷备模块重新发送用于指示对所述冷备数据进行分布式存储的冷备指令；之后，重新对所述冷备数据进行分布式存储处理。或者，也可以在所述冷备模块返回包含存储失败的响应后，结束当前Map任务。

相应的，如图2所示，本发明还提供了一种数据冷备装置，所述装置包括：分布式存储模块、拆分模块和冷备模块，其中，分布式存储模块，用于生成包含有预先配置的冷备数据参数的冷备任务，并调用所述拆分模块；以及，对从冷备数据源获取相应的冷备数据进行分布式存储；拆分模块，用于将所述冷备任务拆分成至少一个子任务，并分别执行所述至少一个子任务，调用所述冷备模块从冷备数据源获取相应的冷备数据。

其中，所述拆分模块具体可以为MapReduce模块，用于对所述冷备任务进行MapReduce处理，将所述冷备任务拆分成至少一个Map任务，所述一个Map任务包含有所述冷备任务中部分或全部的冷备数据参数。

这里，所述MapReduce模块，还用于执行当前Map任务，调用冷备模块，并将当前Map任务中的冷备数据参数传递给所述冷备模块；所述冷备模块，用于根据所述MapReduce模块传递的冷备数据参数，从冷备数据源获取相应的冷备数据，并发送用于指示对所述冷备数据进行分布式存储的冷备指令给所述分布式存储模块；所述分布式存储模块，用于在接收到所述冷备指令后，对所述冷备模块获取的冷备数据进行分布式存储处理，并向所述冷备模块返回包含存储结果的响应。

这里，所述装置还包括存储模块，用于暂时保存冷备数据；所述冷备模块，还用于在从冷备数据源获取相应的冷备数据之后，将所述冷备数据暂时保存到所述存储模块；所述分布式存储模块，用于在接收到所述冷备指令后，从所述存储模块读取所述冷备数据，建立用于存储所述冷备数据的文件，将所述文件存储到预先设置的用于存放冷备数据文件的目录下；并对用于存储所述冷备数据的文件进行分布式存储处理，分配到至少一个节点服务器上进行存储。

这里，所述分布式存储模块，用于在对所述冷备数据存储失败时，向所述冷备模块返回包含存储失败的响应；所述冷备模块，还用于在所述分布式存储模块返回包含存储失败的响应后，重新发送用于指示对所述冷备数据进行分布式存储的冷备指令给所述分布式存储模块。其中，所述分布式存储模块，还用于在对所述冷备数据存储成功时，向所述冷备模块返回包含存储成功的响应。

实施例一

本实施例，以某分布式存储系统tdb系统的数据冷备为例，详细说明数据冷备的具体实现过程。

本实施例中，将tdb系统中的数据冷备到Hadoop系统。Hadoop系统也是一个分布式系统，相当于上述的数据冷备装置，可以包括HDFS模块、mapreduce模块和冷备模块，其中，HDFS模块相当于上述的分布式存储模块，用于对文件进行并行分布式容错处理并存储，HDFS模块中包含中心服务器(NameNode)和至少一个节点服务器(DataNode)，Namenode负责管理名字空间(namespace)以及客户端对文件的访问，Datanode负责对文件进行存储和管理；mapreduce模块，相当于上述的拆分模块，用于实现mapreduce计算，可以用于大规模数据处理，能够以一种可靠容错的方式并行处理上T级别的数据集，mapreduce模块包含mapreduce处理模块和至少一个mapreduce子模块，mapreduce处理模块用于对输入自身的任务进行mapreduce处理，拆分成至少一个Map任务并分配给mapreduce子模块；mapreduce子模块用于执行分配给自身的Map任务，一个mapreduce子模块可以执行至少一个Map任务，也就是说，一个mapreduce子模块可以执行一个、两个或多个Map任务。

实际应用中，HDFS模块具有高度容错性，适合部署在通用硬件(commodityhardware)上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS模块的NameNode主要负责存储信息的元数据管理，负责数据完整性，访问安全性，DataNode负责进行实际数据信息的存储，并可以直接与客户端交互实现数据传输。具体地，如果客户端需要访问文件的元数据，客户端只需要和NameNode进行通信，直接访问NameNode获取元数据；如果要读数据，则可以通过访问NameNode获取要读取数据的存放位置，然后根据该数据的存放位置到相应的DataNode上读取所述数据；如果客户端需要写数据，也是通过访问NameNode，获取数据的写位置，然后向相应的DataNode发起写请求，将数据写入到相应的DataNode上，一般所写的数据会被同时复制到多个DataNode上，以保证必要的数据复制数。如果HDFS模块中某一个DataNode崩溃，那么，对于该DataNode上存储的数据，NameNode会从其它正常的DataNode读取并复制到另一个正常的DataNode中，以保证必要的数据复制数。

例如，如图3所示，客户端要访问的数据正好在数据块1中，则客户端可以通过访问NameNode查询数据块1的存放位置后，查询到数据块1存放在DataNode_1，则继续访问DataNode_1，从DataNode_1读取数据块1，即完成了数据的读取。客户端需要写数据块4，也是通过访问NameNode，获取数据块4的写位置为DataNode_1，然后向相应的DataNode_1发起写请求，将数据块4写入到DataNode_1上，所写的数据块4还会被NameNode同时复制到DataNode_2上，以保证必要的数据复制数。如果HDFS模块中某一个DataNode崩溃，对于该DataNode上存储的数据块3，NameNode会从其它正常的DataNode_3读取并复制到另一个正常的DataNode_N中，以保证必要的数据复制数。

本实施例中，利用mapreduce模块的分布式任务调度能力，将tdb系统的大规模数据的冷备任务进行切分，作为mapreduce模块的至少一个Map任务进行调度运行，然后将各Map任务的输出(例如，一个文件)放到hdfs模块保存，从而完成tdb系统中大量数据(如，P级数据)的冷备过程。

如图4所示，本实施例中，将tdb系统中的数据冷备到Hadoop系统的具体实现过程，可以包括如下步骤：

步骤401，预先在Hadoop系统的HDFS模块配置冷备数据参数，冷备数据参数包括tdb系统中用于存放所述冷备数据的文件的相关信息，其中，文件的相关信息可以包含该文件的文件名、文件属性、存储位置等信息。

步骤402，HDFS模块发起数据冷备过程，生成包含有冷备数据参数的冷备任务，并通过自身与MapReduce模块之间的接口调用MapReduce模块；

步骤403，MapReduce模块对所述冷备任务进行MapReduce处理，将所述冷备任务拆分成至少一个Map任务，并分配给一个或多个MapReduce子模块；

具体地，MapReduce模块对所述冷备任务中包含的冷备数据参数进行解析，进行MapReduce计算，得到至少一个Map任务并分配给一个或多个MapReduce子模块，一个Map任务包含部分冷备数据参数。这里，MapReduce模块可以根据冷备数据参数包含的文件属性，进行拆分，得到对应一个或多个文件的Map任务。例如，在文件属性为不可拆分时，可以按照一个文件对应一个Map任务的规则(该规则可以预先配置在MapReduce模块)，对所述冷备任务进行拆分。如果所述冷备任务包含100个文件，则拆分成100个Map任务，一个Map任务对应一个文件中数据的冷备，每个Map任务包含所对应文件的相关信息，即包含所对应文件的文件名、文件属性、存储位置等信息。

步骤404，各MapReduce子模块执行分配给自身的Map任务，调用冷备模块，并将所述Map任务中包含的冷备数据参数传递给所述冷备模块，所述冷备模块根据所述冷备数据参数，从tdb系统中获取冷备数据并放到tmpfs模块中暂时保存，之后，向HDFS模块发送冷备指令，并等待HDFS模块返回存储结果；

具体地，冷备模块根据所述冷备数据参数，得到相应冷备数据在tdb系统中的存放位置，再基于该存放位置，从tdb系统中获取冷备数据并放到tmpfs模块中。这里，tmpfs模块相当于上述的存储模块，可以是能够用于暂时存储数据的内存或磁盘或其他任何存储设备，具体可以是Hadoop系统的一部分，也可以是独立于Hadoop系统但与Hadoop系统连接。

这里，所述冷备模块包括一个用于连接各MapReduce子模块和HDFS模块的接口模块和用于执行冷备数据拷贝的模块，其中，接口模块用于在被MapReduce子模块调用后，根据MapReduce子模块传递的冷备数据参数，调用所述用于执行冷备数据拷贝的模块，所述用于执行冷备数据拷贝的模块从tdb系统中获取冷备数据并拷贝到tmpfs模块中，返回接口模块，接口模块再向HDFS模块发送冷备指令，并等待HDFS模块返回存储结果。实际应用中，所述接口模块可以是通过一个java程序实现，所述用于执行冷备数据拷贝的模块可以通过一个c++程序或java程序来实现。

其中，所述冷备指令具体是指示HDFS模块从tmpfs模块获取冷备数据并进行存储的指令。

步骤405：HDFS模块接收所述冷备指令，从tmpfs模块中读取冷备数据，对所述冷备数据进行分布式存储处理，并向冷备模块返回包含存储结果的响应，结束当前Map任务；

具体地，HDFS模块接收所述冷备指令，从tmpfs模块中读取冷备数据，建立存放所述冷备数据的文件，存储到指定的目录下，并对所述文件进行分布式存储处理；如果存储成功，则向冷备模块返回表示存储成功的响应，当前Map任务执行完成，如果存储失败，则向冷备模块返回表示存储失败的响应，重复冷备数据从tmpfs模块到HDFS模块的存储过程，并在HDFS模块返回存储结果给冷备模块后，结束当前Map任务。或者，HDFS模块向冷备模块返回表示存储失败的响应后，直接结束当前Map任务。

其中，重复冷备数据从tmpfs模块到HDFS模块的存储过程可以包括：冷备模块接收到表示存储失败的响应后，重新向所述HDFS模块发送读取数据的指令，HDFS模块接收所述冷备指令，从tmpfs模块中读取冷备数据，对所述冷备数据进行分布式存储处理，建立存放所述冷备数据的文件并存储到指定的目录下，向冷备模块返回包含存储结果的响应。

这里，HDFS模块从tmpfs模块中读取冷备数据，对所述冷备数据进行分布式存储处理，建立存放所述冷备数据的文件并存储到指定的目录下的过程，可以包括：预先在HDFS模块配置存放所有冷备数据的目录，以及建立用于存放冷备数据的文件的规则；HDFS模块接收到所述冷备指令后，从所述tmpfs模块中读取冷备数据，建立用于存放所述冷备数据的文件，进行分布式存储处理，分配用于存放所述文件的至少一个DataNode，然后，再将所述文件存储到所述至少一个DataNode上。此外，HDFS模块还将所述文件复制到其他正常的DataNode上，以保证必要的数据复制数。其中，HDFS模块可以为每一个Map任务的冷备数据建立一个文件进行存储，再将一个文件分布式存储到至少一个DataNode上。

可以针对每一个Map任务的冷备数据执行一次上述的存储过程。

步骤406：在所有的Map任务都执行完成后，数据冷备过程结束。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种数据冷备方法，其特征在于，所述方法包括：

生成包含有预先配置的冷备数据参数的冷备任务；

将所述冷备任务拆分成至少一个子任务；

分别执行所述至少一个子任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储。

2.根据权利要求1所述的数据冷备方法，其特征在于，所述将所述冷备任务拆分成至少一个子任务，为：对所述冷备任务进行映射简化MapReduce处理，将所述冷备任务拆分成至少一个映射Map任务，所述一个Map任务包含有所述冷备任务中部分或全部的冷备数据参数。

3.根据权利要求2所述的数据冷备方法，其特征在于，分别执行所述至少一个Map任务，从冷备数据源获取相应的冷备数据，并对所述冷备数据进行分布式存储，包括：

执行当前Map任务，调用冷备模块，根据当前Map任务中的冷备数据参数，从冷备数据源获取相应的冷备数据，发送用于指示对所述冷备数据进行分布式存储的冷备指令；

对所述冷备数据进行分布式存储处理，并向所述冷备模块返回包含存储结果的响应。

4.根据权利要求3所述的数据冷备方法，其特征在于，

所述从冷备数据源获取相应的冷备数据之后，所述方法还包括：将所述冷备数据暂时保存到存储模块；

所述对所述冷备数据进行分布式存储处理之前，所述方法还包括：从所述存储模块读取所述冷备数据，建立用于存储所述冷备数据的文件，并将所述文件存储到预先设置的用于存放冷备数据文件的目录下；

所述对所述冷备数据进行分布式存储处理，包括：对用于存储所述冷备数据的文件进行分布式存储处理，分配到至少一个节点服务器上进行存储。

5.根据权利要求3所述的数据冷备方法，其特征在于，所述向所述冷备模块返回包含存储结果的响应之后，包括：

在向所述冷备模块返回包含存储失败的响应后，冷备模块重新发送用于指示对所述冷备数据进行分布式存储的冷备指令；之后，重新对所述冷备数据进行分布式存储处理。

6.一种数据冷备装置，其特征在于，所述装置包括：分布式存储模块、拆分模块和冷备模块，其中，

分布式存储模块，用于生成包含有预先配置的冷备数据参数的冷备任务，并调用所述拆分模块；以及，对从冷备数据源获取相应的冷备数据进行分布式存储；

拆分模块，用于将所述冷备任务拆分成至少一个子任务，并分别执行所述至少一个子任务，调用所述冷备模块从冷备数据源获取相应的冷备数据。

7.根据权利要求6所述的数据冷备装置，其特征在于，

所述拆分模块具体为MapReduce模块，用于对所述冷备任务进行MapReduce处理，将所述冷备任务拆分成至少一个Map任务，所述一个Map任务包含有所述冷备任务中部分或全部的冷备数据参数。

8.根据权利要求7所述的数据冷备装置，其特征在于，

所述MapReduce模块，还用于执行当前Map任务，调用冷备模块，并将当前Map任务中的冷备数据参数传递给所述冷备模块；

所述冷备模块，用于根据所述MapReduce模块传递的冷备数据参数，从冷备数据源获取相应的冷备数据，并发送用于指示对所述冷备数据进行分布式存储的冷备指令给所述分布式存储模块；

所述分布式存储模块，用于在接收到所述冷备指令后，对所述冷备模块获取的冷备数据进行分布式存储处理，并向所述冷备模块返回包含存储结果的响应。

9.根据权利要求8所述的数据冷备装置，其特征在于，所述装置还包括存储模块，用于暂时保存冷备数据；

所述冷备模块，还用于在从冷备数据源获取相应的冷备数据之后，将所述冷备数据暂时保存到所述存储模块；

所述分布式存储模块，用于在接收到所述冷备指令后，从所述存储模块读取所述冷备数据，建立用于存储所述冷备数据的文件，将所述文件存储到预先设置的用于存放冷备数据文件的目录下；并对用于存储所述冷备数据的文件进行分布式存储处理，分配到至少一个节点服务器上进行存储。

10.根据权利要求8所述的数据冷备装置，其特征在于，

所述分布式存储模块，用于在对所述冷备数据存储失败时，向所述冷备模块返回包含存储失败的响应；

所述冷备模块，还用于在所述分布式存储模块返回包含存储失败的响应后，重新发送用于指示对所述冷备数据进行分布式存储的冷备指令给所述分布式存储模块。

Images