CN103365745A - 一种基于内容地址存储的块级备份方法及系统 - Google Patents

Abstract

本申请公开了一种基于内容地址存储的块级备份方法，包括：A、根据预定义的数据段大小阀值和源卷状态位图，以数据块为单位，源卷状态位图中的连续1序列为依据，对源卷数据区进行分段，每个单一段称为一个数据段；B、根据指纹算法计算数据段指纹，查询指纹库获取所述数据段的旧指纹，确定数据段是重复数据段还是非重复数据段，将非重复数据段通过网络传输到存储介质，并对指纹库进行更新。本申请还提供了一种实现基于内容地址存储的客户端以及网络存储系统。通过应用本申请技术方案，能够实现高效的重复数据删除。

Description

一种基于内容地址存储的块级备份方法及系统

技术领域

本申请涉及计算机信息存储技术领域，尤其涉及一种基于内容地址存储的块级备份方法及系统。

背景技术

随着信息时代数据容量和速度的指数式增长，灾备系统中所存储的数据规模越来越大。研究发现，应用系统所保存的数据中高达60%是冗余的，而且随着时间的推移冗余数据越来越多。如果不进行处理，这些冗余数据在存储到网络的过程中将占据大量的网络带宽，之后也将占用大量的存储空间。这对本就十分紧张的网络资源来说无疑是致命的。同时海量数据传输所带来的难以容忍的延时也影响了用户体验。因此，为了减轻IP网络的承载负担，减少备份带宽需求，加快备份速度，节省备份时间以及降低存储空间，可以先对要备份的数据进行重复数据删除后再传给灾备中心，再在灾备中心将数据恢复过来。

内容地址（content-addressed）存储模型是重复数据删除（de-duplication）技术系统中常用的存储模型。基于内容地址存储的重复数据删除系统是以数据块为基本的备份对象，计算数据块的哈希（hash）值，将其作为数据块的唯一标示（也称为指纹），它是识别重复数据的依据。每次数据拷贝时，如果发现系统中已经存在相同的指纹值，则认为当前数据块是重复块，不再传输和存储该数据块；否则，要传输和存储新数据块，并更新系统指纹库。然而，不论是否有重复，都需要记录数据块在备份系统中的逻辑地址。

具体的处理过程如下：（1）在备份时，首先按照预定义的数据段大小，通过分块算法在逻辑上对备份实体（通常是：文件、卷、磁盘）进行分段，每个分段即作为一个指纹源，通常需要记录每个指纹源的起始地址，长度等信息；数据段的大小会影响到系统的性能，数据段越小，数据段的数量就越多，能够查找到的重复数据就越准确，需要计算的指纹值就越多，指纹查询也就越频繁；很多商用系统都采用8KB、16KB作为数据段的期望分块长度；（2）在完成（1）中的备份实体分段后，通过指纹算法计算每个数据段的哈希值；（3）通过数据段地址（索引）检索指纹库并读取原指纹值与（2）中的指纹值进行比较，确定是否是重复数据；如果是新增数据，则需更新指纹库并将数据段传输到介质上存储，否则，继续进行下一数据段的处理。

重复数据删除系统必须处理如下问题：

算法的选择：分块算法影响了系统对重复数据的识别率，指纹算法需要在设计存储容量内有极低的冲突率和较少的计算时间。

指纹值索引：重复数据的识别，需要查询系统的指纹库，因此，快速地查询速度对重复数据删除系统性能至关重要。低效的索引查询将成为灾备系统的瓶颈。

发明内容

本申请提供了一种基于内容地址存储的块级备份方法及系统，能够实现高效的重复数据删除。

本申请实施例提供的一种基于内容地址存储的块级备份方法，包括：

A、根据预定义的数据段大小阀值和源卷状态位图，以数据块为单位，源卷状态位图中的连续1序列为依据，对源卷数据区进行分段，每个单一段称为一个数据段；

B、根据指纹算法计算数据段指纹，查询指纹库获取所述数据段的旧指纹，确定数据段是重复数据段还是非重复数据段，将非重复数据段通过网络传输到存储介质，并对指纹库进行更新。

较佳地，步骤B之后进一步包括：

C、实时获取源卷数据更新状态，计算数据块更新区间，在满足预设的增量位图生成条件下生成源卷增量状态位图，根据源卷增量状态位图进行增量数据块备份。

较佳地，步骤C所述生成源卷增量状态位图包括：

实时监控源卷的数据更新状态，并记录数据块的更新区间；

基于更新策略，重新获取源卷状态位图，并集合所述数据块更新区间得到源卷增量状态位图。

较佳地，步骤A进一步包括：

A1、获取源卷的全量状态位图；

A2、从头到尾遍历源卷的全量状态位图，在满足预设数据段阀值的条件下，选取连续的1序列所代表的数据块集合作为一个数据段。

较佳地，所述预设数据段阀值为4M字节。

较佳地，所述数据段指纹由如下3个字段组成：

偏移量，长度为8字节，该记录对应的是数据段在源卷的起始逻辑地址；

块长度，长度为4字节，该记录对应的是数据段的长度；

指纹值，长度为4字节，该记录对应的是数据段的唯一标示。

较佳地，步骤B之后进一步包括：根据转储策略，将缓存中的指纹库转储到磁盘文件上。

本申请实施例还提供了一种实现基于内容地址存储的客户端，所述客户端包括：

分段模块，用于根据预定义的数据段大小阀值和源卷状态位图，以数据块为单位，源卷状态位图中的连续1序列为依据，对源卷数据区进行分段，每个单一段称为一个数据段；

指纹处理模块，用于维护保存数据段指纹的指纹库，根据指纹算法计算数据段指纹，查询指纹库获取所述数据段的旧指纹，确定数据段是重复数据段还是非重复数据段，将增量数据卷段发送到发送非重复数据模块；

CDP实时监控模块，用于实时的捕获增量数据块并计算数据更新区间，在满足预设的增量位图生成条件下，通知分段模块生成源卷增量状态位图；

发送非重复数据模块，用于将非重复数据段通过网络发送至控制台。

本申请实施例还提供了一种网络存储系统，包括客户端和控制台，所述客户端为如前所述的客户端。

较佳地，所述控制台包括：

调度模块，用于管理客户端和控制台之间的TCP/IP数据通道及控制通道，所述TCP/IP数据通道，用于初始化数据块和增量数据块的传输，所述TCP/IP控制通道，用于检测客户端和控制台之间的TCP/IP连接状态；

第二缓存模块，用于缓存接收来自客户端的数据块，以便对象存储模块实现数据块的队列化处理。

对象存储模块，是一种基于磁盘介质的对象存储系统，作为备份系统的永久后端存储。

从以上技术方案可以看出，通过采用变长的分块算法，能够更精确的找到重复数据，其能降低存储容量、降低IP网络承载负担、减少备份带宽需求、减少网络传输数据量；通常采用基于数据区的相同块检测技术，基于数据的空间局部性原理，能有效的减少无效指纹值的计算、比较和更新，加快备份速度和节省备份时间。

附图说明

图1为本申请实施例提供的基于内容地址存储的块级备份方法流程图；

图2为TCP/IP协议4层模型示意图；

图3为本申请实施例提供的数据备份系统框图；

图4为客户端的重复数据删除的工作流程示意图；

图5为本申请方案与现有技术的数据备份时间测试结果对比示意图。

具体实施方式

本申请提供一种基于内容地址存储的块级备份方法，属于计算机信息存储技术领域，适用于基于卷级CDP技术的所有灾备系统。本申请技术方案的基本思想为：采用变长分块算法、基于数据区的相同块检测技术及位图技术，通过对磁盘写数据块进行重删，实现了降低存储容量、减少网络传输数据量以及节省备份时间的功能。本发明的备份过程包括两个阶段：第一阶段，结合变长分块算法，指纹算法和全量位图技术在磁盘数据区内进行相同块查找，使得重复数据删除更为灵活和精确；第二阶段，结合变长分块算法，指纹算法及增量位图技术，使得只对更新数据区内的更改数据块进行分块和索引计算，进一步提高了效率。

为使本申请技术方案的技术原理、特点以及技术效果更加清楚，以下结合具体实施例对本申请技术方案进行详细阐述。

图1示出了本申请实施例提供的基于内容地址存储的块级备份方法流程，包括如下步骤：

步骤101：源卷分段：根据预定义的数据段大小阀值和源卷状态位图，以数据块为单位，源卷状态位图中的连续1序列为依据，对源卷数据区进行分段，每个单一段称为一个数据段；

步骤102：相同段检测：根据指纹算法计算数据段指纹，查询指纹库获取所述数据段的旧指纹，确定数据段是重复块还是增量数据段；

步骤103：传输：根据步骤102中的相同段检测结果，将增量数据段通过网络传输到存储介质。

较佳地，该流程还可以包括以下步骤：

步骤104：获取增量状态位图：实时获取源卷数据更新状态，计算数据块更新区间，在满足预设的增量位图生成条件下，生成源卷增量状态位图，根据源卷增量状态位图进行增量数据块备份。

预设增量位图生成条件，也即数据更新区间数据量（DQ）满足预设数据量阀值的条件

步骤105：转储指纹库：根据转储策略，将缓存中的指纹库转储到磁盘文件上。

较佳地，所述步骤101源卷分段步骤，包括以下子步骤：

子步骤101-1：获取源卷的全量状态位图。

所述源卷，是被指定进行数据备份的一定规模的逻辑卷（LUN），通常是用户生产系统所使用的卷，即生产卷；LUN是指在SCSI目标设备中具有独立执行I/O命令的实体。对于一个物理SCSI设备来讲通常是一个LUN，对于磁盘阵列控制器则包含多个LUN。

所述全量状态位图，记录的是源卷数据块使用状态的0和1序列，一个数据块对应位图的一位，0表示该数据块尚未被使用，1表示相反的情形；

子步骤101-2：根据所述全量状态位图中的连续1序列对源卷数据区进行分段。

所述源卷数据区，是指源卷中被使用的数据块的集合，即：源卷状态位图中的1序列；

所述数据段，是指满足一定大小的、若干连续数据块的集合，即：源卷状态位图中连续1序列指向的数据块集合。

具体来讲：从头到尾遍历源卷的全量状态位图，在满足预设数据段阀值的条件下，选取连续的1序列所代表的数据块集合作为一个数据段，每个数据段即是一个指纹源。所述预设数据段阀值，是指程序设定的一个数据段的最大大小，通常是磁盘扇区的整数倍，鉴于当前主流磁盘的扇区大小为512字节，文件系统簇大小为4096字节，本文中设定的数据段阀值为4M字节。

源卷的状态位图反映的是源卷当前的数据块使用状态，可以看成是压缩过后的源卷，压缩因子即是数据块大小，故，从状态位图中的状态位（N）转换到源卷地址（A）只需乘以压缩因子（B）即可，即：

A=N×B

较佳地，步骤102所述的相同段检测步骤，包括以下子步骤：

子步骤102-1：通过指纹算法计算数据段的指纹；

子步骤102-2：查询磁盘上的指纹库，获取数据块的旧指纹；

子步骤102-3：比较子步骤102-1得到的指纹和子步骤102-2获取的旧指纹，匹配成功则认为是重复数据块，继续进行下一数据块的处理；否则需要更新指纹库并将数据块通过网络传输到存储介质。

所述指纹库，记录的是每个数据段的指纹值，是每个数据段的唯一标示，是识别重复数据的依据，指纹库由一系列按数据段起始逻辑地址顺序排列的指纹项组成，每个指纹项由3个字段组成：

1.偏移量：8字节，该记录对应的是数据段在源卷的起始逻辑地址；

2.块长度：4字节，该记录对应的是数据段的长度；

3.指纹值：4字节，该记录对应的是数据段的唯一标示。

步骤104所述的获取增量状态位图步骤，包括以下子步骤：

子步骤104-1：实时监控源卷的数据更新状态，并记录数据块的更新区间；

子步骤104-2：基于更新策略，重新获取源卷状态位图，并集合子步骤104-1中的数据块更新区间得到源卷增量状态位图。

所述增量状态位图，反映的是自上次获取数据块状态位图以来，数据块的更新状态；根据数据的时空分布特性，增量状态位图中的1序列通常比全量状态位图中的1序列少得多，而且也更集中。

下面参照附图对本申请的一种基于内容地址存储的块级备份方法的实现过程进行阐述。

现有技术中的备份系统由客户端（Client）和控制台(Console)组成，两者之间通过以太网连接，采用的传输协议是TCP/IP。TCP/IP协议4层模型如图2所示,客户端和控制台自上而下均包括应用层、传输层、网络层和网络接口层。为了在该系统中实现基于内容地址存储的块级数据备份，只需在原客户端中加入指纹处理子模块。本申请实施例提供的数据备份系统的结构图如图3所示。指纹处理子模块负责对备份数据块进行重复数据删除处理，再将所述处理之后得到的差异数据块发送到控制台并写入磁盘存储介质中。指纹处理子模块对控制台来说是透明的。

所述客户端包括：

分段模块，用于根据预定义的数据段大小阀值和源卷状态位图，以数据块为单位，源卷状态位图中的连续1序列为依据，对源卷数据区进行分段，每个单一段称为一个数据段；

指纹处理模块，用于维护保存数据段指纹的指纹库，根据指纹算法计算数据段指纹，查询指纹库获取所述数据段的旧指纹，确定数据段是重复数据段还是非重复数据段，将增量数据卷段发送到发送非重复数据模块；

CDP实时监控模块，用于实时的捕获增量数据块并计算数据更新区间（包括：区间起始位置（SA）、区间结束位置（FA）），在满足预设的增量位图生成条件下，通知分段模块生成源卷增量状态位图。所述预设增量位图生成条件，也即数据更新区间数据量（DQ）满足预设数据量阀值的条件，所述预设数据量阀值，在本文中是100M字节，所述更新区间数据量计算方法如下：

DQ=FA-SA

发送非重复数据模块，用于将非重复数据段通过网络发送至控制台。

所述控制台包括：

调度模块，用于管理客户端和控制台之间的TCP/IP数据通道及控制通道，所述TCP/IP数据通道，用于初始化数据块和增量数据块的传输，所述TCP/IP控制通道，用于检测客户端和控制台之间的TCP/IP连接状态，俗称心跳检测。

第二缓存模块，用于缓存接收来自客户端的数据块，以便对象存储模块实现数据块的队列化处理。

对象存储模块，是一种基于磁盘介质的对象存储系统，作为备份系统的永久后端存储。

客户端的重复数据删除的工作流程示意图如4所示，具体包括：

步骤401：从磁盘载入指纹库到缓存中；

步骤402：启动CDP实时监控模块，以便实时捕获增量数据块及更新数据更新区间。若启动失败，则直接终止任务，转步骤411；否则，转步骤403；

步骤403：获取源卷的全量数据块状态位图，若所有卷都已备份完成，则执行数据块更新区间计算，转步骤404；否则，转步骤405；

步骤404：获取源卷的增量数据块状态位图。在收到CDP实时模块增量状态位图生成通知后，分段模块根据数据块更新区间生成增量状态位图；

步骤405：源卷分段。根据下一扫描位置，顺序扫描源卷的数据块状态位图，以满足数据段阀值大小的连续1序列对应的数据块集合为一个合法数据段，并更新下一扫描位置的值

步骤406：计算指纹值。将数据段长度和数据段内容作为指纹算法的输入，计算数据段指纹值；

步骤407：指纹校验。检索指纹库，提取步骤405中数据段的旧指纹值，若提取失败，则说明是差异数据段，转步骤408；若指纹值匹配失败，也说明是差异数据段，转步骤408；若指纹值匹配成功，说明是重复数据段，则转至步骤410；

步骤408：更新指纹库。由差异数据段起始逻辑地址、长度和指纹值生成指纹项，将差异数据段的指纹项按起始逻辑地址加入指纹库的相应位置；

步骤409：发送差异数据段。数据传输模块通过TCP/IP协议将差异数据段发送给控制台并存储在磁盘介质的相应位置，然后执行步骤411；

步骤410：删除该重复数据段；

步骤411：判断是否已到位图尾，若是，结束本流程，否则继续进行下一数据段的删重处理，转步骤405；

为了便于说明本申请的有益效果，以下采用仿真测试将本申请方案与现有技术中的备份方案进行对比。测试环境下使用了2台虚拟机主机，一台作为待备服务器，一台作为备份服务器，其关键软硬件配置如下：Windows2008Server64位操作系统，CPU AMD Athlon（tm）ⅡX2240Processor2.8GHz，RAM2GB，百兆网卡，7200转、100GB硬盘。

为了方便区分原备份系统和基于内容地址存储备份系统的备份过程，本文提出了如下概念：

普通备份，即现有技术中的备份系统的数据备份过程；

哈希备份，即基于内容地址存储备份系统的首次数据备份过程；

增量备份，即在哈希备份之后，再次进行的数据备份过程。

本文对备份系统的时间消耗进行了验证，为了使测试更加的准确，共测试了3组数据，分别是5GB数据库文件，10GB数据库文件，20GB数据库文件，真实环境下的数据备份时间（单位为秒）测试结果如图5所示。

通过图4可以看出，与现有技术的备份系统相比，采用内容地址存储的备份系统，哈希备份时间略长于普通备份，约为原备份系统的104%-106%，因为它有删重过程；在增量备份中，由于只有增量数据块的传输，极大地减小了数据备份时间，约为原备份系统的30%-40%，与原备份系统相比，能有效的降低备份时间，减少存储数据量，降低备份存储需求。

本申请主要具有如下技术效果：

源卷数据区范围内的相同块检测。本申请方案在重复数据删除之前利用源卷的数据块状态位图在源卷的数据区内进行相同块检测，使得重复数据删除更加的灵活、高效。有了数据区相同块检测技术，省去了对源卷空闲数据块的检测过程，极大的提高了重复数据删除的效率；

数据更新区间内的增量相同块检测。本申请方案结合了卷CDP技术和位图技术，通过实时的获取源卷的数据块更新状态，计算得到源卷数据块的更新区间，并以此得到源卷增量状态位图；之后，通过增量状态位图进行相同块检测，进一步提高了重复数据删除的效率。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请的保护范围，凡在本申请技术方案的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种基于内容地址存储的块级备份方法，其特征在于，包括：

A、根据预定义的数据段大小阀值和源卷状态位图，以数据块为单位，源卷状态位图中的连续1序列为依据，对源卷数据区进行分段，每个单一段称为一个数据段；

B、根据指纹算法计算数据段指纹，查询指纹库获取所述数据段的旧指纹，确定数据段是重复数据段还是非重复数据段，将非重复数据段通过网络传输到存储介质，并对指纹库进行更新。

2.根据权利要求1所述的方法，其特征在于，步骤B之后进一步包括：

C、实时获取源卷数据更新状态，计算数据块更新区间，在满足预设的增量位图生成条件下生成源卷增量状态位图，根据源卷增量状态位图进行增量数据块备份。

3.根据权利要求2所述的方法，其特征在于，步骤C所述生成源卷增量状态位图包括：

实时监控源卷的数据更新状态，并记录数据块的更新区间；

基于更新策略，重新获取源卷状态位图，并集合所述数据块更新区间得到源卷增量状态位图。

4.根据权利要求1所述的方法，其特征在于，步骤A进一步包括：

A1、获取源卷的全量状态位图；

A2、从头到尾遍历源卷的全量状态位图，在满足预设数据段阀值的条件下，选取连续的1序列所代表的数据块集合作为一个数据段。

5.根据权利要求4所述的方法，其特征在于，所述预设数据段阀值为4M字节。

6.根据权利要求1所述的方法，其特征在于，所述数据段指纹由如下3个字段组成：

偏移量，长度为8字节，该记录对应的是数据段在源卷的起始逻辑地址；

块长度，长度为4字节，该记录对应的是数据段的长度；

指纹值，长度为4字节，该记录对应的是数据段的唯一标示。

7.根据权利要求1至6任一项所述的方法，其特征在于，步骤B之后进一步包括：根据转储策略，将缓存中的指纹库转储到磁盘文件上。

8.一种实现基于内容地址存储的客户端，其特征在于，所述客户端包括：

分段模块，用于根据预定义的数据段大小阀值和源卷状态位图，以数据块为单位，源卷状态位图中的连续1序列为依据，对源卷数据区进行分段，每个单一段称为一个数据段；

指纹处理模块，用于维护保存数据段指纹的指纹库，根据指纹算法计算数据段指纹，查询指纹库获取所述数据段的旧指纹，确定数据段是重复数据段还是非重复数据段，将增量数据卷段发送到发送非重复数据模块；

CDP实时监控模块，用于实时的捕获增量数据块并计算数据更新区间，在满足预设的增量位图生成条件下，通知分段模块生成源卷增量状态位图；

发送非重复数据模块，用于将非重复数据段通过网络发送至控制台。

9.一种网络存储系统，包括客户端和控制台，其特征在于，所述客户端为如权利要求8所述的客户端。

10.根据权利要求9所述的系统，其特征在于，所述控制台包括：

调度模块，用于管理客户端和控制台之间的TCP/IP数据通道及控制通道，所述TCP/IP数据通道，用于初始化数据块和增量数据块的传输，所述TCP/IP控制通道，用于检测客户端和控制台之间的TCP/IP连接状态；

第二缓存模块，用于缓存接收来自客户端的数据块，以便对象存储模块实现数据块的队列化处理；

对象存储模块，是一种基于磁盘介质的对象存储系统，作为备份系统的永久后端存储。

Images