CN105808373A - 数据增量备份方法、装置及nas设备 - Google Patents

Abstract

本发明公开了一种数据增量备份方法、装置及NAS设备，其中，该方法包括：将数据块进行分段；判断源端存储的数据块的各分段数据与目的端存储的数据块的各分段数据是否对应一致；在判断结果为否的情况下，将存在差异的源端的一个或多个分段数据发送给目的端进行增量备份，解决了相关技术中的数据备份功能存在无法基于NDMP进行可靠的数据增量备份、以及备份服务器负担重的问题，进而达到了基于NDMP进行数据增量备份，以及减轻备份服务器负荷，减少带宽传输的效果。

Description

数据增量备份方法、装置及NAS设备

技术领域

本发明涉及信息存储技术领域，具体而言，涉及一种数据增量备份方法、装置及NAS设备。

背景技术

随着信息数据的不断增长，企业对于数据保护的意识日益增强，容灾备份已成为存储设备必不可少的功能之一。然而对于海量的数据和设备，如何进行统一管理以及如何减小容灾备份对于在线业务的影响，是当前存储工业待解决的重要课题。

因此，网络数据管理协议(NetworkDataManagementProtocol，简称为NDMP)，用于集中控制管理企业级数据。NDMP体系结构可使备份应用程序厂商在网络连接存储服务器，例如，在网络附加存储设备(NetworkAttachedStorage，简称为NAS)上控制本机备份和恢复设备。在任何备份软件应用与NAS设备之间提供一种通用接口。这样，应用厂商就可以支持各种NAS设备，而无需重新设计费用昂贵的编程逻辑。而且，NAS设备厂商还可以与任何NDMP兼容应用实现无缝协作。

NDMP将备份和恢复操作的控制和数据流分成若干个独立的会话。这样可更灵活地配置用来保护NAS设备数据的环境。由于会话是独立的，所以它们可以从各个位置启动，并引导到不同的位置，从而更灵活地设计基于NDMP的拓扑。

目前NDMP的实现中，控制流都遵循了标准协议定义的统一接口，而数据流可以根据各NAS厂商的设备特点进行定制。为了有效降低数据流传输过程中的带宽占用，设备厂商都引入了增量备份机制，主要的增量备份方式有以下两种：

方法一：采用记录备份时间戳的方式，每次备份前获取最近一次备份操作的时间戳，对比待备份文件的修改时间和最近一次备份时间，如果文件没有被修改，则过滤该文件，否则将文件属性和文件数据块发送到备份目的设备中。此方法存在一定风险，如系统时间可能会被更新，而且此增量备份方式，只能将整个差异文件发送，并不能把差异的数据块进行发送。

方法二：采用文件系统镜像的方式，每次备份前将最近一次备份作为基准快照，对比当前文件系统快照和基准快照差异，将差异数据块发送到备份目的设备中。此方法依赖于文件系统的快照功能，而且NDMP协议无法完成快照管理，将造成快照积压。

以上两种方式都存在一定缺陷，无法很好地与NDMP集成。因此，在相关技术中的数据备份功能存在无法基于NDMP进行数据增量备份，存在备份服务器负担重的问题。

发明内容

本发明提供了一种数据增量备份方法，以至少解决相关技术中的数据备份功能存在无法基于NDMP进行可靠的数据增量备份，存在备份服务器负担重的问题。

根据本发明的一个方面，提供了一种数据增量备份方法，包括：将数据块进行分段；判断源端存储的所述数据块的各分段数据与目的端存储的所述数据块的各分段数据是否对应一致；在判断结果为否的情况下，将存在差异的所述源端的一个或多个分段数据发送给所述目的端进行增量备份。

优选地，在将所述数据块进行分段之前，还包括：判断源端与目的端中所述数据块的备份属性信息是否相同，其中，所述备份属性信息用于标识所述数据块的备份历史信息；在判断结果为否的情况下，将所述数据块进行分段进行数据增量备份。

优选地，判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致包括：计算所述源端存储的所述数据块的各分段数据对应的第一哈希值，以及所述目的端存储的所述数据块的各分段数据对应的第二哈希值；依据所述第一哈希值与所述第二哈希值判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致。

优选地，依据所述第一哈希值与所述第二哈希值判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致包括：判断所述第一哈希值与所述第二哈希值是否相同；在判断结果为是的情况下，确定所述源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应一致；和/或，在判断结果为否的情况下，确定所述源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应不一致。

优选地，在判断结果为否的情况下，将存在差异的所述源端的一个或多个分段数据发送给所述目的端进行增量备份包括：依据计算的所述第一哈希值生成源端各分段数据对应的第一哈希列表，以及依据计算的所述第二哈希值生成目的端各分段数据对应的第二哈希列表；将存在差异的所述源端的一个或多个分段数据存储在所述第一哈希表中发送给所述目的端进行增量备份。

根据本发明的另一方面，提供了一种数据增量备份装置，包括：数据分段模块，用于对数据块进行分段；第一判断模块，用于判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致；发送模块，用于在所述判断模块的判断结果为否的情况下，将存在差异的所述源端的一个或多个分段数据发送给所述目的端进行增量备份。

优选地，还包括：第二判断模块，用于判断所述源端与目的端中所述数据块的备份属性信息是否相同，其中，所述备份属性信息用于标识所述数据块的备份历史信息；所述数据分段模块，还用于在所述第二判断模块的判断结果为否的情况下，将所述数据块进行分段进行数据增量备份。

优选地，第一判断模块包括：第一获取单元，用于获取所述源端存储的所述数据块的各分段数据对应的第一哈希值；以及所述目的端存储的所述数据块的各分段数据对应的第二哈希值；判断单元，用于依据所述第一哈希值与所述第二哈希值判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致。

优选地，判断单元包括：判断子单元，用于判断所述第一哈希值与所述第二哈希值是否相同；第一确定子单元，用于在所述判断子单元的判断结果为是的情况下，确定所述源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应一致；和/或，第二确定子单元，用于在所述判断子单元的判断结果为否的情况下，确定所述源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应不一致。

优选地，发送模块包括：第二获取单元，用于获取依据所述第一哈希值生成源端各分段数据对应的第一哈希列表，以及依据所述第二哈希值生成目的端各分段数据对应的第二哈希列表；发送单元，用于将存在差异的所述源端的一个或多个分段数据存储在所述第一哈希表中发送给所述目的端进行增量备份。

根据本发明的还一方面，提供了一种网络连接存储NAS设备，该NAS支持网络数据管理协议NDMP，包括上述任一项所述的装置。

通过将数据块进行分段；判断源端存储的数据块的各分段数据与目的端存储的数据块的各分段数据是否对应一致；在判断结果为否的情况下，将存在差异的源端的一个或多个分段数据发送给目的端进行增量备份，解决了相关技术中的数据备份功能存在无法基于NDMP进行可靠的数据增量备份，存在备份服务器负担重的问题，进而达到了基于NDMP进行数据增量备份，以及减轻备份服务器负荷，减少带宽传输的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据增量备份方法的流程图；

图2是根据本发明实施例的数据增量备份装置的结构框图；

图3是根据本发明实施例的数据增量备份装置的优选结构框图一；

图4是根据本发明实施例的数据增量备份装置中第一判断模块24的优选结构框图；

图5是根据本发明实施例的数据增量备份装置中第一判断模块24中判断单元44的优选结构框图；

图6是根据本发明实施例的数据增量备份装置中发送断模块26的优选结构框图；

图7是根据本发明实施例的网络连接存储NAS设备的结构框图；

图8是根据本发明优选实施例的NDMP运行模式示意图；

图9是根据本发明优选实施例的NDMP数据流命令交互示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中，提供了一种数据增量备份方法，图1是根据本发明实施例的数据增量备份方法的流程图，如图1所示，该流程包括：

步骤S102，将数据块进行分段；

步骤S104，判断源端存储的数据块的各分段数据与目的端存储的数据块的各分段数据是否对应一致；

步骤S106，在判断结果为否的情况下，将存在差异的源端的一个或多个分段数据发送给目的端进行增量备份。

通过将数据块进行分段，依据分段比较的方式，依据分段数据进行差异化的备份，解决了相关技术中的数据备份功能存在无法基于NDMP进行可靠的数据增量备份，存在备份服务器负担重的问题，进而达到了基于NDMP进行数据增量备份，以及减轻备份服务器负荷，减少带宽传输的效果。

为了确保备份的正解，在将数据块进行分段之前，可以先判断源端与目的端中数据块的备份属性信息是否相同，其中，备份属性信息用于标识数据块的备份历史信息；在判断结果为否的情况下，将数据块进行分段进行数据增量备份。通过上述处理，保证了备份的准确性。

在判断源端存储的数据块的各分段数据与目的端存储的数据块的各分段数据是否对应一致时，可以采用多种方式，例如，可以直接判断分段数据是否一致的方式；又例如，优选地还可以采用以下哈希值的方式进行比较：先计算源端存储的数据块的各分段数据对应的第一哈希值，以及目的端存储的数据块的各分段数据对应的第二哈希值；依据第一哈希值与第二哈希值判断源端存储的数据块的各分段数据与目的端存储的数据块的各分段数据是否对应一致。

在依据第一哈希值与第二哈希值判断源端存储的数据块的各分段数据与目的端存储的数据块的各分段数据是否对应一致时，包括：判断第一哈希值与第二哈希值是否相同；在判断结果为是的情况下，确定源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应一致；和/或，在判断结果为否的情况下，确定源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应不一致。

在依据哈希值对分段数据判断是否相同之后，在判断结果为否的情况下，可以依据以下处理将存在差异的源端的一个或多个分段数据发送给目的端进行备份：先依据计算的第一哈希值生成源端各分段数据对应的第一哈希列表，以及依据计算的第二哈希值生成目的端各分段数据对应的第二哈希列表；将存在差异的源端的一个或多个分段数据存储在第一哈希表中发送给目的端进行增量备份。即采用直接依据表格的方式，对应的反馈需要更新的分段数据，直接明了。

在本实施例中还提供了一种数据增量备份装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的数据增量备份装置的结构框图，如图2所示，该装置包括：数据分段模块22、第一判断模块24和发送模块26，下面对该装置进行说明。

数据分段模块22，用于对数据块进行分段；第一判断模块24，连接至上述数据分段模块22，用于判断源端存储的数据块的各分段数据与目的端存储的数据块的各分段数据是否对应一致；发送模块26，连接至上述第一判断模块24，用于在判断模块的判断结果为否的情况下，将存在差异的源端的一个或多个分段数据发送给目的端进行增量备份。

图3是根据本发明实施例的数据增量备份装置的优选结构框图一，如图3所示，该装置除包括图2所示的所有模块外，还包括第二判断模块32，下面对该装置进行说明。

第二判断模块32，连接至上述数据分段模块22，用于判断源端与目的端中数据块的备份属性信息是否相同，其中，备份属性信息用于标识数据块的备份历史信息；数据分段模块22，还用于在第二判断模块的判断结果为否的情况下，将数据块进行分段进行数据增量备份。

图4是根据本发明实施例的数据增量备份装置中第一判断模块24的优选结构框图，如图4所示，该第一判断模块24包括：第一获取单元42和判断单元44，下面对该第一判断模块24进行说明。

第一获取单元42，用于获取源端存储的数据块的各分段数据对应的第一哈希值；以及目的端存储的数据块的各分段数据对应的第二哈希值；判断单元44，连接至上述第一获取单元42，用于依据第一哈希值与第二哈希值判断源端存储的数据块的各分段数据与目的端存储的数据块的各分段数据是否对应一致。

图5是根据本发明实施例的数据增量备份装置中第一判断模块24中判断单元44的优选结构框图，如图5所示，该判断单元44包括：判断子单元52、第一确定子单元54和/或第二判断子单元56，下面对该判断单元44进行说明。

判断子单元52，用于判断第一哈希值与第二哈希值是否相同；第一确定子单元54，用于在判断子单元的判断结果为是的情况下，确定源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应一致；和/或，第二确定子单元56，用于在判断子单元的判断结果为否的情况下，确定源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应不一致。

图6是根据本发明实施例的数据增量备份装置中发送断模块26的优选结构框图，如图6所示，该发送模块26包括第二获取单元62和发送单元64，下面对该发送模块26进行说明。

第二获取单元62，用于获取依据第一哈希值生成源端各分段数据对应的第一哈希列表，以及依据第二哈希值生成目的端各分段数据对应的第二哈希列表；发送单元64，连接至上述第二获取单元62，用于将存在差异的源端的一个或多个分段数据存储在第一哈希表中发送给目的端进行增量备份。

图7是根据本发明实施例的网络连接存储NAS设备的结构框图，如图7所示，该NAS设备70支持网络数据管理协议NDMP，包括上述任一项所述的数据备份装置72。

针对相关技术中的上述问题，在本实施例中，基于NDMP进行可靠的数据增量备份，根据NDMP基于文件进行备份的特点，考虑参考成熟的rsync算法机制来实现自定义数据流的增量备份功能。该方案包括如下处理：对于支持NDMP协议的NAS设备，定义备份源端和目的端之间数据流交互命令，使得源端可以获取目的端数据备份目的端数据文件和数据块信息，并基于rsync算法得到变更后的数据块，发送到目的端实现增量备份过程。

下面对本发明优选实施例进行说明。

图8是根据本发明优选实施例的NDMP运行模式示意图，如图8所示，存储服务器A为源端，存储服务器B为目的端，数据管理软件DMA分别与A、B建立NDMP协议控制流，进行控制命令交互；通过控制命令设定服务器备份参数后，DMA通知A、B之间建立数据流通道，并启动备份过程。

表1是根据本发明优选实施例的NDMP数据流交互命令功能表，

表1

命令名称	功能	备注
			NDMP_GET_ATTR_EX	获取指定文件属性信息	文件不存在返回空
NDMP_GET_HASH_EX	获取指定分段哈希值表	指定块长度和分段个数
			NDMP_SET_HASH_EX	设置指定分段哈希值表	附加需要更新的分段数据

如表1所示，A、B之间自定义数据流命令，NDMP_GET_ATTR_EX用于从对端主机获取待备份文件属性信息，属性返回空表示该文件无备份历史；NDMP_GET_HASH_EX用于从对端主机获取待备份文件数据块分段哈希值；NDMP_SET_HASH_EX用于更新对端数据块分段数据。

表2是根据本发明优选实施例的NDMP哈希表元素字段说明表.

表2

字段名称	类型	说明
			id	uint32_t	分段编号

offset	uint64_t	分段偏移
			length	uint32_t	分段长度
md5_sum	uint32_t	分段弱哈希值
			sha1_sum	uint32_t	分段强哈希值
data	BYTE*	分段数据

如表2所示，表中每一个元素记录一个数据分段信息，包括分段ID号、数据块起始偏移和长度、数据块128位强、弱哈希值，以及用于更新对端数据的数据。

图9是根据本发明优选实施例的NDMP数据流命令交互示意图，如图9所示，源端A备份指定文件时，先发送文件属性查询请求到目的端B，根据B反馈的属性与本地文件属性进行对比，如果文件未发生属性改变，则不发送该文件数据块；如果文件属性改变，则对文件数据块进行分段，计算各数据块哈希值存入表中，同时发送数据块分段哈希请求到B，根据B反馈的哈希表与本地文件数据块哈希表进行对比，哈希值相同的数据块在哈希表中标记数据未空，哈希值不相同的数据块在哈希表中附加源端数据块内容，B收到更新数据块内容的哈希表进行目的端数据块更新。

通过实现NDMP数据流基于rsync算法的增量备份技术，可以有效节省了50％的带宽占用，大大减轻了服务器备份任务的负荷。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种数据增量备份方法，其特征在于，包括：

将数据块进行分段；

判断源端存储的所述数据块的各分段数据与目的端存储的所述数据块的各分段数据是否对应一致；

在判断结果为否的情况下，将存在差异的所述源端的一个或多个分段数据发送给所述目的端进行增量备份。

2.根据权利要求1所述的方法，其特征在于，在将所述数据块进行分段之前，还包括：

判断源端与目的端中所述数据块的备份属性信息是否相同，其中，所述备份属性信息用于标识所述数据块的备份历史信息；

在判断结果为否的情况下，将所述数据块分段进行数据增量备份。

3.根据权利要求1所述的方法，其特征在于，判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致包括：

获取所述源端存储的所述数据块的各分段数据对应的第一哈希值，以及所述目的端存储的所述数据块的各分段数据对应的第二哈希值；

依据获取的所述第一哈希值与所述第二哈希值判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致。

4.根据权利要求3所述的方法，其特征在于，依据所述第一哈希值与所述第二哈希值判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致包括：

判断所述第一哈希值与所述第二哈希值是否相同；

在判断结果为是的情况下，确定所述源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应一致；和/或，在判断结果为否的情况下，确定所述源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应不一致。

5.根据权利要求3所述的方法，其特征在于，在判断结果为否的情况下，将存在差异的所述源端的一个或多个分段数据发送给所述目的端进行增量备份包括：

获取依据所述第一哈希值生成的源端各分段数据对应的第一哈希列表，以及依据所述第二哈希值生成的目的端各分段数据对应的第二哈希列表；

将存在差异的所述源端的一个或多个分段数据存储在所述第一哈希表中发送给所述目的端进行增量备份。

6.一种数据增量备份装置，其特征在于，包括：

数据分段模块，用于对数据块进行分段；

第一判断模块，用于判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致；

发送模块，用于在所述判断模块的判断结果为否的情况下，将存在差异的所述源端的一个或多个分段数据发送给所述目的端进行增量备份。

7.根据权利要求6所述的装置，其特征在于，还包括：

第二判断模块，用于判断所述源端与目的端中所述数据块的备份属性信息是否相同，其中，所述备份属性信息用于标识所述数据块的备份历史信息；

所述数据分段模块，还用于在所述第二判断模块的判断结果为否的情况下，将所述数据块进行分段进行数据增量备份。

8.根据权利要求7所述的装置，其特征在于，所述第一判断模块包括：

第一获取单元，用于获取所述源端存储的所述数据块的各分段数据对应的第一哈希值；以及所述目的端存储的所述数据块的各分段数据对应的第二哈希值；

判断单元，用于依据所述第一哈希值与所述第二哈希值判断所述源端存储的所述数据块的各分段数据与所述目的端存储的所述数据块的各分段数据是否对应一致。

9.根据权利要求8所述的装置，其特征在于，所述判断单元包括：

判断子单元，用于判断所述第一哈希值与所述第二哈希值是否相同；

第一确定子单元，用于在所述判断子单元的判断结果为是的情况下，确定所述源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应一致；和/或，第二确定子单元，用于在所述判断子单元的判断结果为否的情况下，确定所述源端存储的数据块的分段数据与目的端存储的数据块的分段数据对应不一致。

10.根据权利要求8所述的装置，其特征在于，所述发送模块包括：

第二获取单元，用于获取依据所述第一哈希值生成源端各分段数据对应的第一哈希列表，以及依据所述第二哈希值生成目的端各分段数据对应的第二哈希列表；

发送单元，用于将存在差异的所述源端的一个或多个分段数据存储在所述第一哈希表中发送给所述目的端进行增量备份。

11.一种网络连接存储NAS设备，其特征在于，该NAS支持网络数据管理协议NDMP，包括权利要求6至10中任一项所述的装置。