CN110781028A - 数据备份方法、数据恢复方法、装置及计算设备 - Google Patents

Abstract

本申请实施例提供一种数据备份方法、数据恢复方法、装置及计算设备。其中，将元数据快照作为待写入文件写入分布式文件系统的数据服务器中；生成元数据快照的标记数据，所述标记数据中至少包括所述元数据快照的数据块分布信息；将所述标记数据写入所述分布式文件系统的数据服务器中；进行元数据恢复时，从分布式文件系统中查找标记数据；根据标记数据中的数据分布信息从分布式文件系统中获得元数据快照的数据块，从而基于所述元数据快照的数据块，即可以恢复所述元数据快照。本申请实施实现了元数据的有效备份。

Description

数据备份方法、数据恢复方法、装置及计算设备

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据备份方法、一种数据恢复方法、一种数据备份装置、一种数据恢复装置及一种计算设备。

背景技术

分布式文件系统主要由元数据服务器以及数据服务器构成，文件被切分成数据块(chunk)存储在不同数据服务器中，为了保证数据不丢失，数据块会以多个副本存储。元数据服务器负责管理文件系统的元数据，其中，元数据是一种描述数据的数据，在分布式文件系统中，元数据主要包括文件目录信息、文件的数据块列表以及数据块分布信息等文件属性信息。客户端访问文件时，先从元数据服务器中读取元数据，再基于元数据从数据服务器中请求获取文件的数据块。

由上文描述可知，在分布式文件系统中，文件和元数据是分开存储的，如果元数据丢失，由于失去了文件属性信息，通常很难完成对整体文件的恢复，因此对元数据的备份非常重要。

发明内容

本申请实施例提供一种数据备份方法、数据恢复方法、装置及计算设备，实现元数据的有效备份。

第一方面，本申请实施例中提供了一种数据备份方法，包括：

确定元数据快照；

将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中；

生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；

将所述标记数据写入所述分布式文件系统的数据服务器中；其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

第二方面，本申请实施例中提供了一种数据恢复方法，包括：

从分布式文件系统中查找标记数据；其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的数据块分布信息；

基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块；

基于所述数据块，恢复获得所述元数据快照。

第三方面，本申请实施例中提供了一种数据备份装置，包括：

数据确定模块，用于确定元数据快照；

第一数据存储模块，用于将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中；

数据生成模块，用于生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；

第二数据存储模块，用于将所述标记数据写入所述分布式文件系统的数据服务器中；其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

第四方面，本申请实施例中提供了一种数据恢复装置，包括：

数据查找模块，用于从分布式文件系统中查找标记数据；其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的数据块分布信息；

数据获取模块，用于基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块；

数据恢复模块，用于基于所述数据块，恢复获得所述元数据快照。

第五方面，本申请实施例中提供了一种计算设备，包括存储组件以及处理组件；所述存储组件存储一条或多条计算机指令；所述一条或多条计算机指令以供所述处理组件调用并执行；

所述处理组件用于：

确定元数据快照；

将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中；

生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；

将所述标记数据写入所述分布式文件系统的数据服务器中；其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

第六方面，本申请实施例中提供了一种计算设备，包括存储组件以及处理组件；所述存储组件存储一条或多条计算机指令；所述一条或多条计算机指令以供所述处理组件调用并执行；

所述处理组件用于：

从分布式文件系统中查找标记数据；其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的数据块分布信息；

基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块；

基于所述数据块，恢复获得所述元数据快照。

本申请实施例中，将元数据快照作为待写入文件写入分布式文件系统的数据服务器中，并生成元数据快照的标记数据，其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；之后，再将所述标记数据也作为一个数据块写入所述分布式文件系统的数据服务器中；从而进行元数据恢复时，可以从分布式文件系统中查找标记数据，并根据标记数据中的数据分布信息从分布式文件系统中获得元数据快照的数据块，从而基于所述元数据快照的数据块，即可以恢复所述元数据快照。本申请实施例将元数据快照作为待写入文件写入分布式文件系统中，无需将元数据快照备份至其它系统中，利用分布式文件系统的自身存储能力备份和恢复元数据，从而可以降低备份成本以及备份资源占用，且对系统的侵入性小，可以减轻运维代价，实现了元数据的有效备份。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请提供的一种数据备份方法一个实施例的流程图；

图2示出了本申请提供的一种数据恢复方法一个实施例的流程图；

图3示出了本申请提供的一种数据恢复方法又一个实施例的流程图；

图4示出了本申请实施例在一个实际应用中的数据备份示意图；

图5示出了本申请提供的一种数据备份装置一个实施例的结构示意图；

图6示出了本申请提供的一种计算设备一个实施例的结构示意图；

图7示出了本申请提供的一种数据恢复装置一个实施例的结构示意图；

图8示出了本申请提供的一种计算设备又一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本申请实施例的技术方案可以应用于分布式文件系统中，例如Hadoop分布式文件系统(HDFS，Hadoop Distributed File System)。

其中，分布式文件系统主要由元数据服务器(MS，Metadata Service)以及数据服务器(CS，Chunk Service)构成，在HDFS中，元数据服务器也即是指Namenode节点，数据服务器也是指Datanode节点。在分布式文件系统中，可以包括多个元数据服务器以及多个数据服务器，多个元数据服务器可以采用主从复制或者Paxos协议(分布式一致性协议)保证高可用性。

在分布式文件系统中，文件和元数据分开存储，文件被切分成数据块(chunk)存储在不同数据服务器中，为了保证数据不丢失，数据块通常会以多个副本存储，而文件的元数据存储在元数据服务器中。元数据主要用来描述文件的属性信息，例如可以包括文件目录信息、数据块列表以及数据块分布式信息，如下所述即为分布式文件系统中的一条元数据：

“/a/b，2，(C1,C2),[C1->[CS1,CS4],c2->[CS2,CS6]]”

其中，“/a/b”为文件目录信息，表明在文件系统中的路径，“2”表示副本数量，“(C1,C2)”为数据块列表，表明文件切分为两个数据块，每个数据块有2个副本，“C1->[CS1,CS4]”以及“c2->[CS2,CS6]”分别表示两个数据块的分布信息，也即副本所在存储位置。

由于元数据和文件分开存储，如果元数据丢失，即时还有数据内容，也很难完成对整体数据的恢复，因此对元数据的备份非常重要。

目前，通常是由元数据服务器将元数据备份在多个磁盘中，如果一个磁盘发生故障，则启动另一个磁盘，但是需要额外增加部署成本，增加运维复杂度。

为了实现元数据有效备份，发明人经过一系列研究提出了本申请的技术方案，本申请实施例将元数据快照作为待写入文件写入分布式文件系统中，无需将元数据快照备份至其它系统中，利用分布式文件系统的自身存储能力备份和恢复元数据，从而可以降低备份成本以及备份资源占用，且对系统的侵入性小，可以减轻运维代价，实现了元数据的有效备份。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种数据备份方法一个实施例的流程图，该方法可以包括以下几个步骤：

101：确定元数据快照。

其中，由于元数据会动态变化，元数据快照是指某个时刻的元数据，对元数据备份也即是对元数据快照进行备份。

元数据服务器可以根据自身配置周期性生成元数据快照，并保存至其对应存储设备中。

因此，可选地，所述确定元数据快照也即是指检测元数据服务器的存储设备中新增的元数据快照。

对于每一个元数据快照可以均会按照本申请实施例的数据备份方案进行备份。

其中，本申请提供的元数据备份方案可以由元数据服务器执行，可以在元数据服务器中增加一个元数据备份进程(MetaBackup)，由元数据备份进程执行元数据备份操作。

102：将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中。

本申请实施例中，将元数据快照作为一个待写入文件而写入分布式文件系统中。也即与普通文件写入方式相同，将元数据快照进行切分，获得多个数据块，再以副本形式将每个数据块分别存储至多个数据服务器中。同时，元数据快照写入分布式文件系统之后，还可以生成元数据快照的元数据；其中，元数据快照的元数据中至少包括元数据快照切分获得的数据块的数据块分布信息，此外还可以包括文件目录信息、副本数量、数据块列表等等。

复用文件写入流程，该元数据快照的元数据也可以保存至元数据服务器中。当然，也无需保存至元数据服务器中。

其中，可选地，可以将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器，并设置所述元数据快照对应的文件名称为预定名称，因此可以通过该预定名称也可以区分文件是否为存储元数据快照的特定文件。该元数据快照的元数据中的文件目录信息中的文件名称即为该预定名称。

例如，如下所述即为元数据快照的一种元数据：

/backup/->[cpt1,stmp1]

/backup/cpt1->[c4->[CS1,CS5],c5->[CS3,CS6]]

/backup/stmp1->[c6->[CS2,CS4]]

可知，该元数据快照存储在文件名称/backup/cpt1以及/backup/stmp1的特定文件中，其中在/backup/cpt1中，具有两个数据块c4以及c5，这两个数据块分别具有两个副本，数据块c4的两个副本分别存储在数据服务器CS1以及CS5中，数据块c5的两个副本分别存储在数据服务器CS3以及CS6中；在/backup/stmp1中，具有一个数据块c6，数据块c6具有两个副本，分别存储在数据服务器CS2以及CS4中。

103：生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据分布信息。

可选地，可以基于所述元数据快照的元数据，生成标记数据，标记数据中至少包括所述元数据快照的元数据，该所述元数据快照的元数据至少包括数据块分布信息，此外还可以包括文件名称、数据块列表、副本数量等等。

104：将所述标记数据写入所述分布式文件系统的数据服务器中。

本申请实施例中，可以基于元数据快照的数据分布信息，而生成标记数据。该标记数据也可以作为一个数据块从存储至分布式文件系统的数据服务器中。

其中，可以将标记数据写入任一个数据服务器中，当然也可以以副本形式，将标记数据的多个副本分别写入多个数据服务器中。

其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

也即，进行数据恢复时，由于元数据服务器存储的元数据丢失或者损失，因此可以从所有数据服务器中查找标记数据，即可以根据标记数据中的所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照，并可以重新保存至元数据服务器中。

本实施例中，利用分布式文件系统的自身存储能力，实现了元数据的备份和恢复，从而可以降低备份成本以及备份资源占用，且对系统的侵入性小，可以减轻运维代价，实现了元数据的有效备份。

为了方便识别标记数据，作为一种可选方式，进行数据备份时，所述生成所述元数据快照的标记数据可以包括：

至少将所述元数据快照的数据分布信息，写入预定长度的存储结构中以生成标记数据；其中，所述预定长度用以识别所述标记数据。

也即标记数据具有预定长度，该预定长度可以与其它数据块长度进行区分。

如果写入元数据快照的元数据之后，所述存储结果未写满，则可以填充预设字符，例如0XFB填充以生成标记数据。

因此，进行数据恢复时，可以从分布式文件系统中查找数据块长度为预定长度的标记数据。

作为另一种可选方式，该标记数据中还可以包括区分标识，该区分标识用以区分一个数据块是否为标记数据。

因此，进行数据恢复时，可以从分布式文件系统中查找包含区分标识的数据块，即为标记数据。

作为又一种可选方式，进行数据备份时，所述生成所述元数据快照的标记数据可以包括：

至少将所述元数据快照的数据块分布信息以及区分标识，写入预定长度的存储结构中以生成标记数据；其中，所述区分标识用以识别所述标记数据。

由于分布式文件系统可能存在数据块长度与所述预定长度相同的非标记数据的数据块，因此为了提高识别准确度，进行数据恢复时，可以从分布式文件系统中查找数据块长度为预定长度、且包含区分标识的标记数据。

由于元数据快照会周期性产生，不同元数据快照均对应标记数据，因此，作为又一个实施例，该标记数据还可以包括元数据快照的时间戳信息；

可选地，所述至少将所述元数据快照的数据块分布信息，写入预定长度的存储结构中以生成标记数据可以包括：

至少将所述元数据快照的数据块分布信息以及所述元数据快照的时间戳信息，写入预定长度的存储结构中以生成标记数据；其中，所述时间戳信息用于判断是否与恢复时间最接近，以在判断结果为是时，再根据所述元数据快照的元数据，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

此外，为了提高安全性，避免标记数据被篡改，该标记数据中还可以包括基于所述标记数据的第一有效数据长度生成的第一校验码。

也即可以将所述元数据快照的数据块分布信息以及基于所述标记数据的第一有效数据长度生成的第一校验码，写入预定长度的存储结构中以生成所述标记数据；

由于标记数据中可以写入预设字符以填满存储结构，这些预设字符并没有实际意义，因此第一有效数据长度即是指标记数据中实际数据的数据长度，也即不包括预设字符的数据长度。

该第一校验码可以是将第一有效数据长度经过哈希运算获得的哈希数值。

其中，所述第一校验码用以验证与所述标记数据解析出的第二有效数据长度生成的第二校验码是否一致；如果一致，再根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

其中，该第二检验码可以是将第二有效数据长度经过哈希运算获得的哈希数值。

如果第一检验码与第二检验码一致，表明标记数据未被篡改，此时可以再基于标记数据中的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

此外，该标记数据中还可以包括所述第一有效数据长度，因此可以是在第一有效数据长度与第二有效数据长度一致，且第一检验码与第二检验码一致时，再根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

此外，该标记数据中还可以包括元数据快照的文件名称，如果基于该文件名称可以确定数据块是否为元数据快照的标记数据等。

由上述描述可知，标记数据具有预定长度，其可以包括数据块分布信息，此外，还可以包括区分标识、文件名称、时间戳信息、第一有效数据长度以及第一校验码中的一个或多个等。

如图2所示，为本申请实施例提供的一种数据恢复方法一个实施例的流程图，该方法可以包括以下几个步骤：

201：从分布式文件系统中查找标记数据。

其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的元数据。

其中，元数据快照以及标记数据写入过程可以参见图1所示实施例中所述，在此不再赘述。

可选地，可以是从分布式文件系统的数据服务器中查找标记数据。

可选地，可以是响应于元数据恢复指令，从分布式文件系统的数据服务器中查找标记数据。

其中，本申请实施例中提供的数据恢复方案可以由元数据服务器执行，当然也可以由其它计算设备执行。

202：基于所述标记数据中的数据分布信息，从所述分布式文件系统中获取对应的数据块。

由上述实施例中举例说明的元数据快照的一种元数据中：

/backup/->[cpt1,stmp1]

/backup/cpt1->[c4->[CS1,CS5],c5->[CS3,CS6]]

/backup/stmp1->[c6->[CS2,CS4]]。

其中，/backup/cpt1->[c4->[CS1,CS5],c5->[CS3,CS6]]以及/backup/stmp1->[c6->[CS2,CS4]]描述了数据块分布信息。

可知，可以从数据服务器CS1或者CS5中读取数据块c4，从数据服务器CS3或者CS6中读取数据块c5，从数据服务器CS2或者CS4中读取数据块c6。

可选地，对于同一个数据块，可以读取任一个数据服务器中的数据块副本，也可以就近读取最近数据服务器中的数据块副本。

203：基于所述数据块，恢复获得所述元数据快照。

由于元数据快照作为待写入文件写入分布式文件系统中，其被切分为多个数据块，根据该标记数据，即可以获得该元数据快照对应的数据块，从而即可以拼接获得该元数据快照，该元数据快照作为恢复时间对应的元数据可以重新存储至元数据服务器中。

本申请实施例中，利用分布式文件系统的自身存储能力，实现了元数据的备份和恢复，从而可以降低备份成本以及备份资源占用，且对系统的侵入性小，可以减轻运维代价，实现了元数据的有效备份。

由于不同元数据快照分布对应有标记数据，在分布式文件系统中，标记数据会有很多，因此为了方便区分，所述标记数据中还可以包括时间戳信息。

因此，在某些实施例中，可以是从分布式文件系统的所有数据服务器中中查找所有标记数据。

所述基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块可以包括：

基于时间戳信息最接近恢复时间的标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块。

此外，在某些实施例中，可以是从分布式文件系统的所有数据服务器中查找任一个标记数据；

所述基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块可以包括：

判断所述标记数据中的时间戳信息是否与恢复时间最接近；

如果判断结果为是，基于所述标记数据中的数据块分布信息，从所述分布式文件中获取对应的数据块。

其中，如果判断结果为否，则返回从分布式文件系统中查找任一个标记数据的步骤继续执行。

在某些实施例中，为了方便查找标记数据，标记数据可以具有预定长度，因此所述从分布式文件系统中查找标记数据可以包括：

从所述分布式文件系统中查找数据块长度为预定长度的标记数据。

此外，为了提高查找准确性，在某些实施例中，该标记数据中还可以包括区分标识，因此所述从分布式文件系统中查找标记数据可以包括：

从所述分布式文件系统中查找数据块长度为预定长度的目标数据块；

将包括区分标识的目标数据块作为标记数据。

此外，为了提高数据安全性，在某些实施例中，所述标记数据中还可以包括基于所述标记数据的第一有效数据长度而生成的第一校验码；

所述基于所述标记数据中的元数据，从所述分布式文件系统中获取对应的数据块可以包括：

确定所述标记数据的第二有效长度；

基于所述第二有效长度生成第二校验码；

验证所述标记数据中的所述第一检验码与所述第二校验码是否一致；

如果所述第一校验码与所述第二校验码一致，基于所述标记数据中的数据分布信息，从所述分布式文件系统中获取对应的数据块。

如果第一检验码与第二检验码一致，表明标记数据未被篡改，此时可以再基于所述标记数据中的数据分布信息，从所述分布式文件系统中获取对应的数据块。

此外，为了提高数据安全性，在某些实施例中，所述标记数据中还可以包括所述标记数据的第一有效数据长度；

所述基于所述标记数据中的元数据，从所述分布式文件系统中获取对应的数据块可以包括：

确定所述标记数据的第二有效长度；

验证所述标记数据中的所述第一有效数据长度与所述第二有效数据长度是否一致；

如果一致，基于所述标记数据中的数据分布信息，从所述分布式文件系统中获取对应的数据块。

此外，为了进一步提高数据安全性，在某些实施例中，所述标记数据中还可以包括所述标记数据的第一有效数据长度，以及基于所述标记数据的第一有效数据长度而生成的第一校验码；

所述基于所述标记数据中的元数据，从所述分布式文件系统中获取对应的数据块可以包括：

确定所述标记数据的第二有效长度；

基于所述第二有效长度生成第二校验码；

验证所述标记数据中的第一检验码与所述第二校验码是否一致，以及所述标记数据中的第一有效长度与所述第二有效长度是否一致；

如果所述第一校验码与所述第二校验码一致，且所述第一有效长度与所述第二有效长度一致，基于所述标记数据中的数据分布信息，从所述分布式文件系统中获取对应的数据块。

图3为本申请实施例提供的一种数据恢复方法又一个实施例的流程图，该方法可以包括以下几个步骤：

301：从所述分布式文件系统中查找数据块长度为预定长度的目标数据块。

可选地，可以是响应于元数据恢复指令，从所述分布式文件系统中查找数据块长度为预定长度的目标数据块。

该元数据恢复指令可以是在检测元数据服务器发生故障时生成等。

302：解析所述目标数据块。

其中，如果目标数据块为标记数据，可以解析获得数据块分布信息、区分标识、时间戳信息以及第一检验码等信息。

其中，该第一检验码为基于该标记数据的的第一有效数据长度生成，可以通过哈希运算计算获得。该第一有效数据长度为标记数据中实际数据中的数据长度。其中，第一有效数据长度小于或等于所述预定长度。

303：将包括区分标识且时间戳信息最接近恢复时间的目标数据块作为标记数据。

304：确定所述标记数据的第二有效长度。

305：基于所述第二有效长度生成第二校验码。

306：验证所述第一检验码与所述第二校验码是否一致，如果是，执行步骤307，如果否则结束流程。

当然，可选地，如果第一校验码与第二检验码不一致，也即验证失败，则从不包括该验证失败的标记数据的目标数据块中重新查找包括区别标识且时间戳信息最接近恢复时间的目标数据块作为标记数据，返回步骤304继续执行直接找到验证成功的标记数据。

307：基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块。

308：基于所述数据块，恢复获得元数据快照。

本申请实施例中，利用分布式文件系统的自身存储能力，实现了元数据的备份和恢复，从而可以降低备份成本以及备份资源占用，且对系统的侵入性小，可以减轻运维代价，实现了元数据的有效备份。

在实际应用中，本申请实施例的技术方案可以适用于分布式文件系统中，如图4所示，，该分布式文件系统由元数据服务器401以及数据服务器402构成。其中，分布式文件系统可以包括多个元数据服务器401以及多个数据服务器402，多个元数据服务器401可以互为主从服务器，采用主从复制或者Paxos协议(分布式一致性协议)保证数据同步；多个数据服务器402用以以副本形式存储数据块，图4中示例性绘制了3个元数据服务器，互为主从结构；以及6个数据服务器：CS1、CS2、CS3、CS4、CS5以及CS6。

数据服务器401周期性产生元数据快照，并存储至其对应存储设备403中，该存储设备在实际应用中即可以为磁盘等硬件设备。

在数据服务器401中可以启动元数据备份进程404，用来检测存储设备403中是否新增元数据快照，如果新增元数据快照，则由元数据备份进程404将元数据快照作为待写入文件备份至数据服务器402中，并生成该元数据快照的标记数据。

如图4中所示，假设元数据快照写入了文件名称为/backup/cpt1以及/backup/stmp1的特定文件中。该元数据快照切分为3个数据块c4、c5以及c6，每个数据块有两个副本，数据块c4分别存储在数据服务器CS1以及数据服务器CS5中，数据块c5分别存储在数据服务器CS3以及数据服务器CS6中；数据块c6分别存储在数据服务器CS2以及数据服务器CS4中；

该元数据快照的元数据可以为：

/backup/->[cpt1,stmp1]

/backup/cpt1->[c4->[CS1,CS5],c5->[CS3，CS6]]

/backup/stmp1->[c6->[CS2,CS4]]。

该元数据快照写入数据服务器之后，其对应的元数据保存至元数据服务器中。

生成的标记数据中，可以至少包括元数据快照的数据块分布信息，如上述元数据中的[c4->[CS1,CS5],c5->[CS3,CS6]]以及[c6->[CS2,CS4]]

其中，/backup/cpt1->[c4->[CS1,CS5],c5->[CS3,CS6]]以及/backup/stmp1->[c6->[CS2,CS4]]描述了数据块分布信息。

标记数据也作为一个数据块存储至任一个数据服务器中，如图4中所示的标记数据A存储在数据服务器CS2中。

进行数据恢复时，由于元数据服务器中的数据已损坏或者丢失，因此需要从数据服务器中读取标记数据。可以从所有数据服务器中查找预定长度的数据块，并对预定长度的数据块进行解析，以确定包含区分标识且时间戳信息最接近恢复时间的标记数据。进而根据标记数据中的数据块分布信息即可以从相应数据服务器中获取数据块，最终获得元数据快照。

通过本申请实施例，利用分布式文件系统的自身存储能力进行元数据备份，可以降低备份成本以及备份资源占用，且对系统的侵入性小，可以减轻运维代价，实现了元数据的有效备份。

图5为本申请实施例提供的一种数据备份装置一个实施例的结构示意图，该装置可以包括：

数据确定模块501，用于确定元数据快照；

第一数据存储模块502，用于将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中；

数据生成模块503，用于生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；

第二数据存储模块504，用于将所述标记数据写入所述分布式文件系统的数据服务器中；其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

在某些实施例中，所述数据确定模块可以用于检测所述元数据服务器的存储设备中新增的元数据快照。

在某些实施例中，所述数据生成模块可以具体用于至少将所述元数据快照的数据块分布信息，写入预定长度的存储结构中以生成标记数据；其中，所述预定长度用以识别所述标记数据。

在某些实施例中，所述数据生成模块可以具体用于至少将所述元数据快照的数据块分布信息以及区分标识，写入预定长度的存储结构中以生成标记数据；其中，所述区分标识用以识别所述标记数据。

在某些实施例中，所述数据生成模块可以具体用于至少将所述元数据快照的数据块分布信息以及所述元数据快照的时间戳信息，写入预定长度的存储结构中以生成标记数据；其中，所述时间戳信息用于判断是否与恢复时间最接近，以在判断结果为是时，再根据所述元数据快照的元数据，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

在某些实施例中，所述数据生成模块可以具体用于至少将所述元数据快照的数据块分布信息以及基于所述标记数据的第一有效数据长度生成的第一校验码，写入预定长度的存储结构中以生成所述标记数据；

所述第一校验码用以验证与所述标记数据解析出的第二有效数据长度生成的第二校验码是否一致；如果一致，再根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

在某些实施例中，所述第二数据存储模块可以具体用于将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器，并设置所述元数据快照对应文件名称为预定名称。

图5所述的数据备份装置可以执行图1所示实施例所述的数据备份方法，其实现原理和技术效果不再赘述。

在一个可能的设计中，图5所示实施例的数据备份装置可以实现为一计算设备，该计算设备在实际应用中可以作为元数据服务器，如图6所示，该计算设备可以包括存储组件601以及处理组件602；

存储组件601一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件602调用执行。

处理组件602用于：

确定元数据快照；

将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中；

生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；

将所述标记数据写入所述分布式文件系统的数据服务器中；其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

处理组件602可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

存储组件601被配置为存储各种类型的数据以支持在计算设备的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

当然，计算设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图1所示实施例的数据备份方法。

图7为本申请实施例提供的一种数据恢复装置一个实施例的结构示意图，该装置可以包括：

数据查找模块701，用于从分布式文件系统中查找标记数据；其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的数据块分布信息；

数据获取模块702，用于基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块；

数据恢复模块703，用于基于所述数据块，恢复获得所述元数据快照。

在某些实施例中，所述标记数据还包括时间戳信息；

所述数据获取模块可以具体用于基于时间戳信息最接近恢复时间的标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块。

在某些实施例中，所述标记数据中还包括时间戳信息；

所述数据获取模块可以具体用于判断所述标记数据中的时间戳信息是否与恢复时间最接近；如果判断结果为是，基于所述标记数据中的数据块分布信息，从所述分布式文件中获取对应的数据块。

在某些实施例中，所述数据查找模块可以具体用于从所述分布式文件系统中查找数据块长度为预定长度的目标数据块；将包括区分标识的目标数据块作为标记数据。

在某些实施例中，所述数据查找模块可以具体用于从所述分布式文件系统中查找数据块长度为预定长度的目标数据块；将包括区分标识且时间戳信息最接近恢复时间的目标数据块作为标记数据。

在某些实施例中，所述标记数据中还包括基于所述标记数据的第一有效数据长度而生成的第一校验码；

所述数据获取模块具体用于确定所述标记数据的第二有效长度；

基于所述第二有效长度生成第二校验码；

验证所述标记数据中的所述第一检验码与所述第二校验码是否一致；

如果所述第一校验码与所述第二校验码一致，基于所述标记数据中的数据分布信息，从所述分布式文件系统中获取对应的数据块。

图7所述的数据备份装置可以执行图2或图3所示实施例所述的数据恢复方法，其实现原理和技术效果不再赘述。

在一个可能的设计中，图7示实施例的数据恢复装置可以实现为一计算设备，该计算设备在实际应用中可以作为元数据服务器，如图8所示，该计算设备可以包括存储组件801以及处理组件802；

存储组件801一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件802调用执行。

处理组件802用于：

从分布式文件系统中查找标记数据；其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的数据块分布信息；

基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块；

基于所述数据块，恢复获得所述元数据快照。

其中，处理组件802可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

存储组件801被配置为存储各种类型的数据以支持在计算设备的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

当然，计算设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图2或图3所示实施例的数据恢复方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种数据备份方法，其特征在于，包括：

确定元数据快照；

将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中；

生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；

将所述标记数据写入所述分布式文件系统的数据服务器中；其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

2.根据权利要求1所述的方法，其特征在于，所述确定元数据快照包括：

检测所述元数据服务器的存储设备中新增的元数据快照。

3.根据权利要求1所述的方法，其特征在于，所述生成所述元数据快照的标记数据包括：

至少将所述元数据快照的数据块分布信息，写入预定长度的存储结构中以生成标记数据；其中，所述预定长度用以识别所述标记数据。

4.根据权利要求3所述的方法，其特征在于，所述至少将所述元数据快照的数据块分布信息，写入预定长度的存储结构中以生成标记数据包括：

至少将所述元数据快照的数据块分布信息以及区分标识，写入预定长度的存储结构中以生成标记数据；其中，所述区分标识用以识别所述标记数据。

5.根据权利要求3所述的方法，其特征在于，所述至少将所述元数据快照的数据块分布信息，写入预定长度的存储结构中以生成标记数据包括：

至少将所述元数据快照的数据块分布信息以及所述元数据快照的时间戳信息，写入预定长度的存储结构中以生成标记数据；其中，所述时间戳信息用于判断是否与恢复时间最接近，以在判断结果为是时，再根据所述元数据快照的元数据，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

6.根据权利要求3所述的方法，其特征在于，所述至少将所述元数据快照的数据块分布信息，写入预定长度的存储结构中以生成标记数据包括：

至少将所述元数据快照的数据块分布信息以及基于所述标记数据的第一有效数据长度生成的第一校验码，写入预定长度的存储结构中以生成所述标记数据；

所述第一校验码用以验证与所述标记数据解析出的第二有效数据长度生成的第二校验码是否一致；如果一致，再根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

7.根据权利要求1所述的方法，其特征在于，所述将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中包括：

将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器，并设置所述元数据快照对应文件名称为预定名称。

8.一种数据恢复方法，其特征在于，包括：

从分布式文件系统中查找标记数据；其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的数据块分布信息；

基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块；

基于所述数据块，恢复获得所述元数据快照。

9.根据权利要求8所述的方法，其特征在于，所述标记数据还包括时间戳信息；

所述基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块包括：

基于时间戳信息最接近恢复时间的标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块。

10.根据权利要求8所述的方法，其特征在于，所述标记数据中还包括时间戳信息；

所述基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块包括：

判断所述标记数据中的时间戳信息是否与恢复时间最接近；

如果判断结果为是，基于所述标记数据中的数据块分布信息，从所述分布式文件中获取对应的数据块。

11.根据权利要求8所述的方法，其特征在于，所述从分布式文件系统中查找标记数据包括：

从所述分布式文件系统中查找数据块长度为预定长度的标记数据。

12.根据权利要求8所述的方法，其特征在于，所述从分布式文件系统中查找标记数据包括：

从所述分布式文件系统中查找数据块长度为预定长度的目标数据块；

将包括区分标识的目标数据块作为标记数据。

13.根据权利要求8所述的方法，其特征在于，所述标记数据中还包括基于所述标记数据的第一有效数据长度而生成的第一校验码；

所述基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块包括：

确定所述标记数据的第二有效长度；

基于所述第二有效长度生成第二校验码；

验证所述标记数据中的所述第一检验码与所述第二校验码是否一致；

如果所述第一校验码与所述第二校验码一致，基于所述标记数据中的数据分布信息，从所述分布式文件系统中获取对应的数据块。

14.一种数据备份装置，其特征在于，包括：

数据确定模块，用于确定元数据快照；

第一数据存储模块，用于将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中；

数据生成模块，用于生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；

第二数据存储模块，用于将所述标记数据写入所述分布式文件系统的数据服务器中；其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

15.一种数据恢复装置，其特征在于，包括：

数据查找模块，用于从分布式文件系统中查找标记数据；其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的数据块分布信息；

数据获取模块，用于基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块；

数据恢复模块，用于基于所述数据块，恢复获得所述元数据快照。

16.一种计算设备，其特征在于，包括存储组件以及处理组件；所述存储组件存储一条或多条计算机指令；所述一条或多条计算机指令以供所述处理组件调用并执行；

所述处理组件用于：

确定元数据快照；

将所述元数据快照作为待写入文件写入分布式文件系统的数据服务器中；

生成所述元数据快照的标记数据；其中，所述标记数据中至少包括所述元数据快照的数据块分布信息；

将所述标记数据写入所述分布式文件系统的数据服务器中；其中，所述标记数据用以指示根据所述元数据快照的数据块分布信息，从所述分布式文件系统中获取所述元数据快照对应的数据块，以恢复所述元数据快照。

17.一种计算设备，其特征在于，包括存储组件以及处理组件；所述存储组件存储一条或多条计算机指令；所述一条或多条计算机指令以供所述处理组件调用并执行；

所述处理组件用于：

从分布式文件系统中查找标记数据；其中，所述标记数据包括将元数据快照作为待写入文件写入所述分布式文件系统的数据服务器中之后，对应生成的数据块分布信息；

基于所述标记数据中的数据块分布信息，从所述分布式文件系统中获取对应的数据块；

基于所述数据块，恢复获得所述元数据快照。

Images