CN102156727A - 一种采用双指纹哈希校验的重复数据删除方法 - Google Patents

Abstract

本发明提出了一种采用双指纹哈希校验的重复数据删除方法，包括将待备份对象划分成等长的待备份数据块；判断其中一个待备份数据块的弱指纹与服务器中任意一个数据块的弱指纹是否相同，若不同，则对该数据块进行备份；若相同，则判断该数据块的强指纹与服务器中任意一个数据块的强指纹是否相同，若不同，则对该数据块进行备份；对所有待备份数据块均进行上述操作。本发明所述的重复数据删除方法首先采用计算量低的哈希函数对每个数据块进行弱校验，再采用计算量大的哈希函数进行强校验，从而避免全部数据都采用计算量大的哈希函数来校验，大大降低了校验过程中的指纹计算量，提升系列性能，为基于海量数据存储的数据备份提供可观的传输性能。

Description

一种采用双指纹哈希校验的重复数据删除方法

技术领域

本发明属于计算机存储技术和数据备份技术领域，具体涉及一种采用双指纹哈希校验的重复数据删除方法。

背景技术

随着计算机信息化程度的提高，人类社会已经进入信息时代，计算机已深入到社会的各行各业，越来越多的应用和计算机结合起来，人们的工作、生活对于网络的信赖性也越来越强，从而使网络系统及其数据的安全性显得越发重要。同时互联网的无限扩展更加使得数据信息呈几何级数爆炸性增长，图灵奖得主Jim Gray指出：网络环境下每18个月新增的数据量等于有史以来数据量的总和。而企业的一切经营活动几乎都以这些数据为基础的，如此庞大的数据量对海量信息存储系统的可靠性提出了很大的要求。而确保数据安全的最佳途径是进行数据备份，现在的主流备份软件也陆续以服务的形式向用户提供备份恢复功能，因此在线数据备份服务成为存储领域的一个热点话题。

调查中发现，云备份作为针对海量信息存储系统的一种备份服务，用户最为关注这种服务的四个方面，那就是安全性、备份速度、经济成本以及操作简便性四个方面。其中的备份速度最能体现用户对这种服务的直观感受，因此设计高效的数据传输机制显得尤为重要。而本发明所提出的双指纹哈希校验的重复数据删除机制着眼于指纹计算方面，能够显著提高系统性能。

对基于PB乃至EB级的海量数据备份来说，如何达到可观的、用户可以接受的备份速度是非常重要的。考虑到如此庞大的数据，必然会存在一定的重复数据，因此会考虑重复数据删除技术(De-duplication)，它是一种目前比较流行的存储技术，可对存储容量进行有效优化，它通过删除数据集中重复的数据，只保留其中一份，从而消除冗余数据。

数据指纹是数据块的本质特征，理想状态是每个唯一数据块具有唯一的数据指纹，不同的数据块具有不同的数据指纹。数据块本身往往较大，因此数据指纹的目标是期望以较小的数据表示(如16、32、64、128字节)来区别不同数据块。数据指纹通常是对数据块内容进行相关数学运算获得，从当前研究成果来看Hash函数比较接近于理想目标，比如MD5、SHA1、SHA-256、SHA-512等。另外，还有许多字符串Hash函数也可以用来计算数据块指纹。然而，遗憾的是这些指纹函数都存在碰撞问题，即不同数据块可能会产生相同的数据指纹。相对来说，MD5和SHA1系列的HASH函数具有非常低的碰撞概率，这种概率几乎小于硬盘损坏的概率，因此通常被采用作为指纹计算方法。其中，MD5是128位的，SHA1是160位的，SHA-X(X表示位数)则具有更低的碰撞发生概率，但同时计算量也会大大增加。因此实际操作中，必须在性能和数据安全性两个指标中做一个权衡，因为指纹的位数越多，计算量就越大，相对的指纹碰撞的概率就越低。

从纯数学角度看，如果两个数据块指纹不同，则这两个数据块肯定不同。然而，如果两个数据块指纹相同，则不能断定这两个数据块是相同的，因为Hash函数会产生碰撞。针对这种问题，目前主要有两种解决路径：一是对数据指纹相同的块进行字节级比对，这种情况能百分百防止碰撞，但是花在比对上的开销是最大的；二是最大可能降低碰撞产生的概率，即采用更优的Hash函数(如MD5-128、SHA-512、SHA-1024)，它可以对一段任意长度的数据/信息产生一个同定比特位(128bits、512bits、1024bits)的信息摘要，这在理论上已经证明是非常安全的，但是它的计算量也比较庞大，特别是对于海量数据存储系统来说，对所有数据块采用这种校验方式，将会耗费大量时间。

对基于定长分块的重复数据删除技术来说，传统的技术是采用单一函数进行哈希运算，得出一个同定长度的指纹。若是指纹位数较小，则数据块检索时发生碰撞的概率就很高；若是指纹位数较大，相应的发生碰撞的概率就低，也就会花费更多的运算量。并且对基于KB级别的定长分块来说，块的数量是很庞大的，进而导致更加复杂的运算量。实际应用中，为达到较低的碰撞概率，会选用计算量较高的哈希函数进行指纹运算以降低数据块检索碰撞的概率，同时这也大大增加了数据块指纹的计算量。

发明内容

本发明提出了一种采用双指纹哈希校验的重复数据删除方法，目的在于在备份过程中从整体上减少数据指纹的计算量，提升系列性能，为基于海量数据存储的数据备份提供可观的传输性能。

本发明提供了一种采用双指纹哈希校验的重复数据删除方法，包括以下步骤：

(1)将待备份对象划分成等长的待备份数据块；

(2)选取一个待备份数据块；

(3)判断该待备份数据块的弱指纹与服务器中任意一个数据块的弱指纹是否相同，若相同，则进入步骤(4)；若不同，则对该数据块进行备份，转入步骤(5)；

(4)判断该待备份数据块的强指纹与服务器中任意一个数据块的强指纹是否相同，若相同，则进入步骤(5)；若不同，则对该数据块进行备份，进入步骤(5)；

(5)重复步骤(2)到(4)，遍历步骤(1)中划分的所有待备份数据块。

进一步的，所述弱指纹为使用第一个哈希函数计算待备份数据块得到的结果，所述强指纹为使用第二个哈希函数计算待备份数据块得到的结果，第一个哈希函数的计算量低于第二个哈希函数的计算量。

进一步的，所述步骤(3)中首先判断服务器的索引表中是否存在任意一条记录的主索引与该待备份数据块的弱指纹相同，若存在，直接进入步骤(4)；若不存在，则将该待备份数据块备份到服务器，在索引表中添加该待备份数据块的记录，并标记该待备份数据块的主索引为该弱指纹，次索引为空，转入步骤(5)。

进一步的，步骤(4)包括以下过程：

(4.1)判断服务器的索引表中是否存在任意一条记录的主索引与待备份数据块的弱指纹相同且次索引为空，若存在，使用第二个哈希函数计算该条记录所对应的数据块，并将计算结果标记为该条记录的次索引，进入步骤(4.2)；若不存在，直接进入步骤(4.2)；

(4.2)判断服务器的索引表中是否存在任意一条记录的主索引与该待备份数据块的弱指纹相同且次索引与该待备份数据块的强指纹相同，若存在，则在索引表中添加该待备份数据块的记录，标记该待备份数据块为重复数据，主索引为弱指纹，次索引为强指纹，进入步骤(5)；若不存在，则将该待备份数据块备份到服务器，在索引表中添加该待备份数据块的记录，并标记该待备份数据块的主索引为弱指纹，次索引为强指纹，进入步骤(5)。

本发明采用运算量相差较大的两个哈希函数，首先采用计算量低的第一个哈希函数对每个数据块进行校验，很快的判断出哪些数据块是重复数据，哪些数据块不是重复数据；其次对于上述步骤判断出的重复数据，再采用计算量大的第二个哈希函数来判断其是否真正为重复数据，从而避免全部数据都采用计算量大的第二个哈希函数来校验，大大降低了校验过程中的指纹计算量。本发明所述的方法特别适用于重复数据比例不高的场合，能更好的达到节省计算开销的目的。

附图说明

图1为本发明涉及的备份系统的架构图；

图2为本发明涉及的备份系统数据备份过程图；

图3为本发明所述的重复数据删除方法流程图。

具体实施方式

本发明基于双指纹校验的备份机制，在数据定长分块的基础上，利用重复数据局部存在的特性，加入双指纹哈希校验，对重复数据进行删除，从而减少数据指纹的计算量。双指纹哈希校验旨在对指纹计算做出优化，即采用弱校验(计算量低)和强校验(计算量高)，先利用前者进行筛选，发生碰撞以后再利用后者进行计算。所谓弱校验是可能不同的数据块会得到相同的校验值，强校验就是保证不同的数据块一定得不到相同的校验值，通过弱校验计算出的校验值称为弱指纹，通过强校验计算出的校验值称为强指纹。这里弱校验只是一个过滤器，将大部分不可能匹配的数据块过滤掉，以阻挡没有意义的强校验值计算。从而通过弱校验，非重复数据只需要花很少的时间计算一个弱指纹，而对于重复数据，则需要计算弱、强两个指纹。

本发明所述的重复数据删除方法，涉及客户端与服务器，客户端发起向服务器备份数据的请求，服务器以数据块的弱指纹和/或强指纹为索引来保存数据块。服务器建立索引表来存储数据块的信息，其中包括主索引、次索引和地址三个最主要的属性信息。主索引存储数据块的弱指纹，次索引存储数据块的强指纹，地址保存数据块的存储地址。在首次进行数据备份之前，索引表为空，即主索引、次索引、地址等均为空，在数据备份过程中，每处理一个数据块，在索引表中添加一条记录，并标记该数据块的主索引和次索引。在重复数据删除过程中，首先将数据文件分割成多个等长数据块，为每个数据块计算指纹，然后以指纹为关键字进行查找，匹配则表示该数据块在服务器中为重复数据块，此时仅存储该数据块的索引，不对该数据块进行备份，若不匹配，则表示该数据块是一个新的数据块，对该数据块进行备份并保存该数据块的索引。通过此方法，一个数据块在存储系统就对应一个逻辑标识，该逻辑标识即为该数据块的索引。由此可以看出，重复数据删除方法的主要过程包括文件数据块切分、数据块指纹计算和数据块检索等。

对于同等规模的数据量N(PB～EB级别)(重复数据+非重复数据)，做如下假设：强校验算法时间复杂度O(m)，弱校验算法的时间复杂度O(r)，重复数据占整个数据量的比例为x(0＜x＜1)，则没有加入双哈希校验之前的计算量为：N*O(m)，加入双哈希校验之后的计算量为：

x*N*(O(m)+O(r))+(1-x)*N*O(r)

则双哈希要想达到效果，则必须满足：

x*N*(O(m)+O(r))+(1-x)*N*O(r)＜N*O(m)

解这个不等式得出：

x＜(m-r)/m

也就是说，只有当x＜(m-r)/m的时候，双指纹哈希校验才真正起到减小计算量的作用，即采用双指纹哈希校验的计算量小于单独采用强校验的计算量。从这个公式可以看出，如果弱校验的算法复杂度是强校验的算法复杂度的一半，即m＝2r，则当x＜50％时，双指纹哈希校验能够起到减小计算量的作用；如果弱校验的算法复杂度是强校验的算法复杂度的三分之一，即m＝3r，则当x＜60％时，双指纹哈希校验能够起到减小计算量的作用；由此可见，如果弱校验的算法复杂度与强校验的算法复杂度相差越大，则重复数据比例可以越大，即此双指纹哈希校验的适用范围更宽。事实证明，数据备份中固然存在重复，但全量备份的数据量远大于增量备份的数据量，也就是说不同的数据占大部分，即冲突概率本身就是比较低的，并且在数据分块比较大的情况下，这种概率会更低。本发明提出的双指纹哈希查找的方法也正是基于这样一个事实才提出的。

下面通过具体实施例更加详细的说明本发明的技术方案，本实施例采用的备份存储系统B-Cloud的整体框架如图2所示。该系统的主要组成模块包括存储服务器、备份客户机端、调度服务器、用户控制平台与管理员控制终端五大部分，其中调度服务器主要是负责备份客户机端与存储服务器之间的命令流交互，起总控制台的作用，监控及维护两者之间的通讯；而备份客户机端主要的功能就是接收用户控制平台的命令对本地机器进行操作、进而与存储服务器进行数据备份恢复操作；本发明做的性能优化主要是针对备份客户机端进行。

在该备份存储系统中，通过备份客户机端、调度服务器、存储服务器之间的命令与数据通讯，实现了数据的备份。具体过程如图3所示。当备份客户机端收到用户指定的备份任务命令时，备份客户机端内部会启用三个线程来准备数据传输，分别是生产者线程、消费者线程、进度线程。其中生产线程会从指定的备份对象中读取数据块到缓冲区；消费者线程从缓冲区取数据块，进行双纹哈希校验并判断是否是重复数据，若是重复数据，则只需在已存储的数据块中作相关属性标记；若不是重复数据，则将数据块传输备份到存储服务器；进度线程则时刻记录当前传输的文件及当前所传输的数据块的信息，并及时与调度服务器交互，便于调度服务器实时监控整个备份过程。

本备份系统弱校验采用32位的Adler32校验(定义部分)，强校验采用128位的MD5算法，二者的算法复杂度相差3倍以上，代入x＜(m-r)/m得到x＜66％，即只要备份对象中的重复数据少于66％，本发明所述的重复数据删除方法就可以起到减少计算量的目的。

本系统采用双指纹哈希校验方法后，开始进行数据备份，用户指定备份对象，备份客户机启动两个线程，生产者线程与消费者线程。其中生产者线程以同定长度1MB从备份对象中读取数据块到缓冲区，只要缓冲区未满，生产者线程不会结束；消费者线程从缓冲区取出数据进行重复数据删除，只要缓冲区不为空，消费者线程就不退出。

重复数据删除的过程如图3所示，步骤如下；

(1)备份客户机将用户指定的备份对象按照1MB大小切分成若干个等长的待备份数据块到，待备份数据块划分的越小，本方法所带来的效果就越明显，即可节省更多的计算开销。

(2)选择第一哈希函数Adler32和第二哈希函数MD5。

(3)任意取其中一个待备份数据块，利用Adler32函数对其计算，得出弱指纹。

(4)备份客户机将弱指纹发送到存储服务器，存储服务器利用弱指纹在所有主索引中查找，即判断索引表中是否存在任意一条记录的主索引与该弱指纹相同，若查找失败，则该数据块为非重复数据，备份客户机将该数据块备份到存储服务器，存储服务器在索引表中添加该待数据块的记录，并标记该待数据块的主索引为该弱指纹，次索引为空，转入步骤(8)；若查找成功，则进入步骤(5)。

(5)存储服务器将查找成功的消息发送给备份客户机，备份客户机收到消息后，利用MD5函数对该数据块计算强指纹。

(6)备份客户机将强指纹发送到存储服务器，存储服务器在主索引与该数据块的弱指纹相同的所有数据块中判断是否有数据块的次索引为空，若为空，则由存储服务器利用MD5函数对该数据块进行计算，将计算结果标记为该数据块的次索引，进入步骤(7)；若不为空，直接进入步骤(7)。

(7)存储服务器利用备份客户机发送的强指纹在主索引相同的次索引中进行查找，即判断索引表中是否存在任意一条记录的主索引与该数据块的弱指纹相同且次索引与该数据块的强指纹相同，若查找失败，则此数据块为非重复数据，备份客户机将此数据块备份到存储服务器，存储服务器在索引表中添加该数据块的记录，并标记该数据块的主索引为弱指纹，次索引为强指纹；若查找成功，则此数据块为重复数据，不对其进行备份，存储服务器在索引表中添加该数据块的记录，标记该数据块为重复数据，主索引为弱指纹，次索引为强指纹。

(8)重复步骤(3)到(7)，遍历步骤(1)中划分的所有数据块。

采用上述数据删除方法，大部分数据块只需要经过弱指纹哈希校验就可以直接判定是否为重复数据，即(1-x)*N大小的数据量只须计算弱指纹，而x*N大小的数据量还需要计算强指纹，通常情况下重复数据相对较小，则x较小，因此大部分数据可以直接备份到存储服务器，避免进行强指纹的运算。

表1记录了以数据块的大小为1KB、256KB、512KB、1MB、2MB和4MB作为输入，采用Adler32和MD5算法对各数据块进行指纹计算，各数据块的计算时间。

表1Adler32算法与MD5算法的运行时间(单位：us)

数据分块	1KB	256KB	512KB	1MB	2MB	4MB
							Adler32	6026.5	10585	13241.9	22049.6	34600.5	62877.4
MD5	14109.7	18525	21870.6	36416.5	51696.7	91481.7

从表中可以看出，随着数据块的增大，两个算法的计算时间也随之增加，并且，两个算法的运行时间的差距越来越小。这个测试说明了，在数据分块越小的情况下，弱校验算法Adler32与强校验算法MD5运行时间相差越大，也就更适合用本发明所述的数据删除方法。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims (4)

1.一种采用双指纹哈希校验的重复数据删除方法，包括以下步骤：

(1)将待备份对象划分成等长的待备份数据块；

(2)选取一个待备份数据块；

(3)判断该待备份数据块的弱指纹与服务器中任意一个数据块的弱指纹是否相同，若相同，则进入步骤（4）；若不同，则对该数据块进行备份，转入步骤（5）； 

(4)判断该待备份数据块的强指纹与服务器中任意一个数据块的强指纹是否相同，若相同，则进入步骤（5）；若不同，则对该数据块进行备份，进入步骤（5）； 

(5)重复步骤（2）到（4），遍历步骤（1）中划分的所有待备份数据块。

2.根据权利要求1所述的重复数据删除方法，其特征在于，所述弱指纹为使用第一个哈希函数计算待备份数据块得到的结果，所述强指纹为使用第二个哈希函数计算待备份数据块得到的结果，第一个哈希函数的计算量低于第二个哈希函数的计算量。

3.根据权利要求1或2所述的重复数据删除方法，其特征在于，所述步骤（3）中首先判断服务器的索引表中是否存在任意一条记录的主索引与该待备份数据块的弱指纹相同，若存在，直接进入步骤（4）；若不存在，则将该待备份数据块备份到服务器，在索引表中添加该待备份数据块的记录，并标记该待备份数据块的主索引为该弱指纹，次索引为空，转入步骤（5）。

4.根据权利要求1或2所述的重复数据删除方法，其特征在于，步骤（4）包括以下过程：

（4.1）判断服务器的索引表中是否存在任意一条记录的主索引与待备份数据块的弱指纹相同且次索引为空，若存在，使用第二个哈希函数计算该条记录所对应的数据块，并将计算结果标记为该条记录的次索引，进入步骤（4.2）；若不存在，直接进入步骤（4.2）；

（4.2）判断服务器的索引表中是否存在任意一条记录的主索引与该待备份数据块的弱指纹相同且次索引与该待备份数据块的强指纹相同，若存在，则在索引表中添加该待备份数据块的记录，标记该待备份数据块为重复数据，主索引为弱指纹，次索引为强指纹，进入步骤（5）；若不存在，则将该待备份数据块备份到服务器，在索引表中添加该待备份数据块的记录，并标记该待备份数据块的主索引为弱指纹，次索引为强指纹，进入步骤（5）。

Images