CN101840363B - 一种文件分块比较方法和装置 - Google Patents

Abstract

本发明公开了一种文件分块比较方法，包括如下步骤：A、将原文件和新文件分成固定大小的块；B、采用多于一种比较顺序来依次比较这两个文件的各个块，在任一种比较顺序中比较结果为相同的块均认为是未发生改变；只有在各种比较顺序中均不相同的块才认为是发生了改变。本发明还公开了一种文件分块比较装置。本发明提出的分块比较方案，即使新文件中出现了少量块的增加或减少，仍然可以准确地判定多数未改变的块，避免了现有技术中存在的误判问题。

Description

一种文件分块比较方法和装置

技术领域

本发明涉及计算机与互联网技术领域，特别涉及数据备份技术，尤其涉及一种文件分块比较方法和装置。

背景技术

数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。

在数据备份中，为了节省存储空间，常常采用文件比较技术来比较原文件与新文件是否相同，只有在出现不同时才进行备份操作。目前的文件比较技术可以分为两类：一类整体比较，就是把两个文件都当作一个整体作比较，这种比较容易实现，但当文件大小较大时所消耗的时间较长；另一类是分块比较，首先将两个文件分割成一定数量的固定大小的块，再来依次比较每一块是否相同。一般来说，分块比较是应用得比较多的，特别是在数据备份的重复数据删除领域，通过分块比较法除了可以分辨两个文件是否一致，同时还可以分辨出哪些部分不同，这样就可以只备份不同的部分，达到减少存储空间的目的。

传统的分块比较过程如图1所示。将两个文件(原文件和新文件)分割成一定数量的固定大小的块，然后按照块排列的顺序来依次比较每一块是否相同。这样，如果文件中某个块的数据改变了，例如块3，那么系统直接备份块3即可，而其它块则不需要备份。假设文件被分成了n块(n为自然数)，则节省了(n-1)/n的空间。相比较的文件越大、相似度越高，最后带来的存储空间节省也会更高。

现有的分块比较技术能够较好地处理块的改变，却无法很好地处理增加或减少的块。如图2所示，两个原本完全一致的文件A与B，后来B文件在块1前增加了一个新块，这样一来，即使后面的块都不变，用现有的分块比较方法的结果将是所有块都匹配不上，完全不一致。

发明内容

有鉴于此，本发明的目的在于，提出一种文件分块比较方法和装置，可以较好地处理块增加或减少的情况。

本发明实施例提出的一种文件分块比较方法包括如下步骤：

A、将原文件和新文件分成固定大小的块；

B、采用多于一种比较顺序来依次比较这两个文件的各个块，在任一种比较顺序中比较结果为相同的块均认为是未发生改变；只有在各种比较顺序中均不相同的块才认为是发生了改变。

步骤B所述采用多于一种比较顺序来依次比较这两个文件的各个块为：

采用第k种比较顺序比较这两个文件的各个块时，仅对前k-1次比较中均未匹配的块进行比较，所述k为大于1的自然数。

所述步骤B包括：

B1、设置初始的待比较部分为原文件和新文件的全部块；

B2、按照由前向后的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是则执行步骤B3，否则继续执行步骤B2直到最后一对块，第一次比较完成并转至步骤B4；

B3、按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，直到步骤B2中首次出现不同的块，第二次比较完成；

B4、判定待比较部分中的块发生了改变。

较佳地，所述步骤B3包括：

B31、按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是则执行步骤B32；否则直到步骤B2中首次出现不同的块，第二次比较完成并转至步骤B4；

B32、在待比较部分中找到n对比较结果相同的块，以每一对块为起点分别向前和向后进行依次比较，将比较结果相同的块从待比较部分中排除，直到每个块均在第二次比较完成后又执行了一次比较，其中n为自然数。

所述按照由前向后以及由后向前的顺序依次比较原文件和新文件的各个块的步骤中进一步包括：记录原文件中n个具有特定序号的块的部分原始数据，得到n个原始数据记录；

所述在待比较部分中找到n对比较结果相同的块包括：

将任一处原始数据记录与新文件的待比较部分进行匹配，检查新文件待比较的部分中是否存在该原始数据记录，若存在，则认为找到了一对比较结果相同的块，该对块为新文件与原文件中包含该原始数据记录的块。

本发明实施例还提出一种文件分块比较装置，包括：

分块模块，用于将原文件和新文件分成固定大小的块；

比较模块，用于采用多于一种比较顺序来依次比较这两个文件的各个块，在任一种比较顺序中比较结果为相同的块均认为是未发生改变；只有在各种比较顺序中均不相同的块才认为是发生了改变。

所述比较模块在采用第k种比较顺序比较这两个文件的各个块时，仅对前k-1次比较中均未匹配的块进行比较，所述k为大于1的自然数。

所述比较模块包括：

初始化单元，用于设置初始的待比较部分为原文件和新文件的全部块；

正向比较单元，用于按照由前向后的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是通知逆向比较单元进行处理，否则直到比较到最后一对块并通知判定单元；

逆向比较单元，用于按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，直到正向比较单元的比较结果首次不同的块，并通知判定单元，

判定单元，用于在收到正向比较单元或逆向比较单元的通知后，判定待比较部分中的块发生了改变。

所述比较模块进一步包括：双向比较单元；

所述逆向比较单元用于按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是则通知双向比较单元；否则直到正向比较单元的比较结果首次出现不同的块并通知判定单元；

所述双向比较单元在待比较部分中找到n对比较结果相同的块，以每一对块为起点分别向前和向后进行依次比较，将比较结果相同的块从待比较部分中排除，直到每个块均在第二次比较完成后又执行了一次比较，并通知判定单元，其中n为自然数。

所述正向比较单元和逆向比较单元进一步用于记录原文件中n个具有特定序号的块的部分原始数据，共得到n个原始数据记录；

所述双向比较单元包括：

原始数据匹配子单元，用于将正向比较单元和逆向比较单元所得到的任一处原始数据记录与新文件的待比较部分进行匹配，检查新文件待比较的部分中是否存在该原始数据记录，若存在，则认为找到了一对比较结果相同的块，该对块为新文件与原文件中包含该原始数据记录的块。

从以上技术方案可以看出，采用多于一种比较顺序来依次比较两个文件的各个块，如果在任一种比较顺序中匹配的块，均认为是未发生改变，只有在各种比较顺序中均不匹配的块才认为是发生了改变，这样即使新文件中出现了少量块的增加或减少，仍然可以准确地判定多数未改变的块，避免了现有技术中存在的误判问题。

附图说明

图1为现有技术的分块比较过程的原理示意图；

图2为现有技术的分块比较过程中，若新文件增加块则未改变的块被误认为不匹配的示意图；

图3为本发明的文件分块比较技术的原理示意图；

图4为本发明实施例一提出的一种文件分块比较的流程图；

图5为本发明实施例二提出的一种文件分块比较的流程图。

具体实施方式

本发明的文件分块比较技术，将原文件和新文件分成固定大小的块，采用多于一种比较顺序来依次比较这两个文件的各个块，如果在任一种比较顺序中匹配的块，均认为是未发生改变，只有在各种比较顺序中均不匹配的块才认为是发生了改变。为节省比较的时间开销，在采用第k种比较顺序比较这两个文件的各个块时，仅对前k-1次比较中均未匹配的块进行比较，所述k为大于1的自然数。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细阐述。

图3为本发明的文件分块比较技术的原理示意图。该示例中采用两种比较顺序，即由前到后比较和由后到前比较。假设新文件在块1之后增加了块x，在经过由前到后的分块+比较后，除了块1匹配上，其他块均不匹配；再来一次由后到前的分块+比较，则块2至块4均匹配上了，由于块1已经匹配了因此可以不用比较块1。在两次匹配过程中，只有块x始终不能匹配。最终得出结论：块x不匹配。

假设一个文件总块数为X，其中第Y块发生了改变。现有的分块比较法可能会导致Y后面的所有块都会不匹配。特别是发生改变的块在文件中的位置比较靠(例如当Y＜(X÷2))时，现有分块更是会导致大量的浪费，一个小小的字节增加都可能会影响后继所有没改变的块都不匹配起来。本发明方案将现有技术中的一次单向比较改为多次向比较，就能够找到真正改变的块，把匹配失误带来的损失降到最低。

实际上，如果只是在由前向后的比较的基础上，再增加一次由后向前的比较，仍然在很多情况下会出现误判。例如文件中增加了m个块，或减少了m个块，或者既出现了增加，又出现了减少，增加或减少的块总数为m，则在第一个增加/减少的块到第m个增加/减少的块之间的所有块都会无法匹配。

为解决文件中多处出现增加/减少块的问题，本发明实施例在由前向后比较以及由后向前比较的基础上，又增加了双向比较机制，从尚未匹配的块中找到一对或多对匹配的块，以匹配的块为起点，分别向前和向后进行双向比较。

本发明实施例一提出的一种文件分块比较的流程如图4所示，该流程中包括两次不同顺序的比较，具体包括如下步骤：

步骤401：将原文件和新文件分成固定大小的块。

步骤402：设置初始的待比较部分为原文件和新文件的全部块。

步骤403：按照由前向后的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除。判断连续不同的块的数目是否大于预定阈值，若是则执行步骤404，否则继续执行步骤403直到最后一对块，第一次比较完成并转至步骤405。

所述依次比较原文件和新文件的各个块，首先依照特定的校验算法计算各个块的特征值，然后将原文件的第i块的特征值与新文件第i块的特征值进行比较(i大于1且小于总块数)。

步骤404：按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，直到步骤403中首次出现不同的块，第二次比较完成；

步骤405：判定待比较部分中的块发生了改变。

本发明实施例二提出的一种文件分块比较的流程如图5所示，该流程在实施例一的基础上，进一步增加了至少一次双向比较，具体包括如下步骤：

步骤501：将原文件和新文件分成固定大小的块；

步骤502：设置初始的待比较部分为原文件和新文件的全部块；

步骤503：按照由前向后的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果，判断连续不同的块的数目是否大于预定阈值，若是则执行步骤504，否则继续执行步骤503直到最后一对块，将比较结果相同的块从待比较部分中排除，第一次比较完成并转至步骤506；

步骤504：按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果，判断连续不同的块的数目是否大于预定阈值，若是则将比较结果相同的块从待比较部分中排除，并执行步骤505；否则直到步骤503中首次出现不同的块，将比较结果相同的块从待比较部分中排除，第二次比较完成并转至步骤506；

步骤505：在待比较部分中找到n对比较结果相同的块，以每一对块为起点分别向前和向后进行依次比较，直到每个块均在第二次比较完成后又执行了一次比较，将比较结果相同的块从待比较部分中排除，其中n为自然数。

所述在待比较部分中找到n对比较结果相同的块的具体方法可以有很多，例如可以在属于原文件的待比较的块中随机挑选n0个块，对任一个挑选出来的块，与属于新文件的待比较的块进行依次比较，通常情况下其中一些块可以找到相同的块。

以下再给出另一种具体的实施方式：

在步骤503以及步骤504对原文件进行由前向后与由后向前的比较过程中，除了记录两种顺序下各块的特征码，还会记录两种顺序下某些块的一段原始数据(例如该块的前16字节数据)，这样一共会保存n处原始数据记录。较佳地，这些块可以是第k×1/4+1、k×1/2+1、k×3/4+1块(k为总块数)，当然也可以是其他序号的块。较佳地，n≥6。

然后将任一处原始数据记录与新文件的待比较部分进行匹配，检查新文件待比较的部分中是否存在该原始数据记录，若存在，则认为找到了一对比较结果相同的块，该对块为新文件与原文件中包含该原始数据记录的块，如果这一对块中该原始数据记录的位置不同，则要对新文件待比较部分进行重新分块，使得该原始数据记录的位置相同。

步骤506：判定待比较部分中的块发生了改变。

本发明实施例三提出了一种文件分块比较装置，包括：

分块模块，用于将原文件和新文件分成固定大小的块；

比较模块，用于采用多于一种比较顺序来依次比较这两个文件的各个块，在任一种比较顺序中比较结果为相同的块均认为是未发生改变；只有在各种比较顺序中均不相同的块才认为是发生了改变。

所述比较模块在采用第k种比较顺序比较这两个文件的各个块时，仅对前k-1次比较中均未匹配的块进行比较，所述k为大于1的自然数。

所述比较模块包括：

初始化单元，用于设置初始的待比较部分为原文件和新文件的全部块；

正向比较单元，用于按照由前向后的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是通知逆向比较单元进行处理，否则直到比较到最后一对块并通知判定单元；

逆向比较单元，用于按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，直到正向比较单元的比较结果首次不同的块，并通知判定单元，

判定单元，用于在收到正向比较单元或逆向比较单元的通知后，判定待比较部分中的块发生了改变。

所述比较模块进一步包括：双向比较单元；

所述逆向比较单元用于按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是则通知双向比较单元；否则直到正向比较单元的比较结果首次出现不同的块并通知判定单元；

所述双向比较单元在待比较部分中找到n对比较结果相同的块，以每一对块为起点分别向前和向后进行依次比较，将比较结果相同的块从待比较部分中排除，直到每个块均在第二次比较完成后又执行了一次比较，并通知判定单元，其中n为自然数。

所述正向比较单元和逆向比较单元进一步用于记录原文件中n个具有特定序号的块的部分原始数据，共得到n个原始数据记录；

所述双向比较单元包括：

原始数据匹配子单元，用于将正向比较单元和逆向比较单元所得到的任一处原始数据记录与新文件的待比较部分进行匹配，检查新文件待比较的部分中是否存在该原始数据记录，若存在，则认为找到了一对比较结果相同的块，该对块为新文件与原文件中包含该原始数据记录的块。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种文件分块比较方法，其特征在于，包括如下步骤：

A、将原文件和新文件分成固定大小的块；

B、采用多于一种比较顺序来依次比较这两个文件的各个块，所述多于一种比较顺序包括由前向后的顺序和由后向前的顺序；在任一种比较顺序中比较结果为相同的块均认为是未发生改变；只有在各种比较顺序中均不相同的块才认为是发生了改变。

2.根据权利要求1所述的方法，其特征在于，步骤B所述采用多于一种比较顺序来依次比较这两个文件的各个块为：

采用第k种比较顺序比较这两个文件的各个块时，仅对前k-1次比较中均未匹配的块进行比较，所述k为大于1的自然数。

3.根据权利要求1所述的方法，其特征在于，所述步骤B包括：

B1、设置初始的待比较部分为原文件和新文件的全部块；

B2、按照由前向后的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是则执行步骤B3，否则继续执行步骤B2直到最后一对块，第一次比较完成并转至步骤B4；

B3、按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，直到步骤B2中首次出现不同的块，第二次比较完成；

B4、判定待比较部分中的块发生了改变。

4.根据权利要求3所述的方法，其特征在于，所述步骤B3包括：

B31、按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是则执行步骤B32；否则直到步骤B2中首次出现不同的块，第二次比较完成并转至步骤B4；

B32、在待比较部分中找到n对比较结果相同的块，以每一对块为起点分别向前和向后进行依次比较，将比较结果相同的块从待比较部分中排除，直到每个块均在第二次比较完成后又执行了一次比较，其中n为自然数。

5.根据权利要求4所述的方法，其特征在于，所述按照由前向后以及由后向前的顺序依次比较原文件和新文件的各个块的步骤中进一步包括：记录原文件中n个具有特定序号的块的部分原始数据，得到n个原始数据记录；

所述在待比较部分中找到n对比较结果相同的块包括：

将任一处原始数据记录与新文件的待比较部分进行匹配，检查新文件待比较的部分中是否存在该原始数据记录，若存在，则认为找到了一对比较结果相同的块，该对块为新文件与原文件中包含该原始数据记录的块。

6.一种文件分块比较装置，其特征在于，包括：

分块模块，用于将原文件和新文件分成固定大小的块；

比较模块，用于采用多于一种比较顺序来依次比较这两个文件的各个块，所述多于一种比较顺序包括由前向后的顺序和由后向前的顺序；在任一种比较顺序中比较结果为相同的块均认为是未发生改变；只有在各种比较顺序中均不相同的块才认为是发生了改变。

7.根据权利要求6所述的装置，其特征在于，所述比较模块在采用第k种比较顺序比较这两个文件的各个块时，仅对前k-1次比较中均未匹配的块进行比较，所述k为大于1的自然数。

8.根据权利要求6所述的装置，其特征在于，所述比较模块包括：

初始化单元，用于设置初始的待比较部分为原文件和新文件的全部块；

正向比较单元，用于按照由前向后的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是通知逆向比较单元进行处理，否则直到比较到最后一对块并通知判定单元；

逆向比较单元，用于按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，直到正向比较单元的比较结果首次不同的块，并通知判定单元，

判定单元，用于在收到正向比较单元或逆向比较单元的通知后，判定待比较部分中的块发生了改变。

9.根据权利要求8所述的装置，其特征在于，所述比较模块进一步包括：双向比较单元；

所述逆向比较单元用于按照由后向前的顺序依次比较原文件和新文件的各个块，记录各个块的比较结果并将比较结果相同的块从待比较部分中排除，判断连续不同的块的数目是否大于预定阈值，若是则通知双向比较单元；否则直到正向比较单元的比较结果首次出现不同的块并通知判定单元；

所述双向比较单元在待比较部分中找到n对比较结果相同的块，以每一对块为起点分别向前和向后进行依次比较，将比较结果相同的块从待比较部分中排除，直到每个块均在第二次比较完成后又执行了一次比较，并通知判定单元，其中n为自然数。

10.根据权利要求9所述的装置，其特征在于，所述正向比较单元和逆向比较单元进一步用于记录原文件中n个具有特定序号的块的部分原始数据，共得到n个原始数据记录；

所述双向比较单元包括：

原始数据匹配子单元，用于将正向比较单元和逆向比较单元所得到的任一处原始数据记录与新文件的待比较部分进行匹配，检查新文件待比较的部分中是否存在该原始数据记录，若存在，则认为找到了一对比较结果相同的块，该对块为新文件与原文件中包含该原始数据记录的块。