CN105205118A

CN105205118A - 一种基于文件分块的镜像文件同步方法

Info

Publication number: CN105205118A
Application number: CN201510571139.6A
Authority: CN
Inventors: 马继红; 张长声; 赵松杰
Original assignee: HANDAN POLYTECHNIC COLLEGE
Current assignee: HANDAN POLYTECHNIC COLLEGE
Priority date: 2015-09-10
Filing date: 2015-09-10
Publication date: 2015-12-30

Abstract

本发明公开了一种基于文件分块的镜像文件同步方法，属于网络文件同步技术领域，用于将计算机中的旧版本镜像文件更新成新版本文件，本方法步骤中包括：A、将待更新的新版本文件及旧版本文件分别进行文件分块；B、将所有文件块的信息提炼形成新、旧版本文件的描述文件；C、将两个描述文件对比形成差异文件；D、将差异文件与旧版本文件合并，生成新版本文件。该方法中的文件分块方式，既保证了在文件块划分适当的前提下，对每个对比的文件都分块；又避免了变长分块方法退化为定长分块的可能性。本发明方法不考虑文件格式，不反复读取文件，对一系列相似文件有较高处理效率。

Description

一种基于文件分块的镜像文件同步方法

技术领域

本发明属于网络文件同步技术领域，涉及一种基于文件分块的镜像文件同步方法，特别是在云数据中心内进行镜像文件分发时，对新、旧不同版本镜像文件进行差异比较而基于特殊文件分块方式的镜像文件同步方法。

背景技术

一个网络系统中可能共享规模巨大的文件，并需要在各个主机端保持文件版本的一致。例如在大型数据中心中向各个主机分发新版本的操作系统镜像时，为了同步系统内各主机所保存的镜像文件，需要把新版本文件分发给系统中每一个主机。但是，传输整个镜像文件不仅耗时长，而且会导致网络压力过大。由于新版本镜像文件往往与旧版本文件差异很小，与完整的镜像文件相比，这些差异仅仅是一小部分。因此，如何获取这些差异之处，以实现差异文件与旧版本文件的合并成为解决上述问题的瓶颈。

近年来，为了探查两个文件的不同，研究涉及操作系统、远程桌面、P2P镜像文件部署等等多个方面，所取得的成果主要有：

(1)文件分块方法：

该方法首先将需要传输的文件分为若干块，之后以文件块为单位比较新旧两个文件的差异，按块校验数据。Linux下diff命令按“行”为单位进行差异比较也采用类似思想。对文件分块，相当于把大文件的字节数量缩小，并把文件的数据量抽象为文件块的数量。计算得到的文件差异同样以文件块为最小单位。计算所得差异量越小，方法的精度越高。不过，如果文件所分块足够多，也就是一个文件块足够小，那么分块计算得到的差异量很接近于实际上的差异量。

(2)文件定长分块法：

对于文件定长分块，目前最主要的分块方式来自于固定分块检测技术(Fixed-SizedPartition,FSP)。此方法非常简单，时间效率很高，广泛用于下载软件的文件正确性测试。方法输入量为文件总长度与所需分块数量，即可将此文件按照“文件块长度＝文件总长度/所需分块数量”的结果来固定划分文件块，末尾长度不足，直接划分为一块。对于此分块方法，在进行差异运算的过程中，完全可以一一对应计算。即把需要对比的两个文件均按照同样块长度分块，且依次编写文件块号，之后对比两个文件中相同块号的文件块内容是否一致。

(3)文件不定长分块法：

不定长分块又称变长分块，是为了克服定长分块在对比差异时“错位”问题而提出的。目前效果较好的已有方法是基于内容的不定长分块(Content-DefinedChunking,CDC)。此方法考虑文件的内容，定位分块的标志点并划分块，之后在文件的分块描述中记录下每个块的分块标志，并以此描述指导另一个文件的划分。

综上，这里(1)是文件差异理论的基础思路，而(2)和(3)则属于(1)的具体实现。以上方法的实现，在实际应用场景中都存在问题。方法(2)要求新版本文件的文件大小与旧版本严格一致，否则将导致分块大小与分块数量不同；其次，它能接受并精确查找的差异仅限于“改写”型差异，如果遇到“删除”或者“插入”型的差异，此方法在分块对比求差后将给出精度极低的运算结果。方法(3)问题在于分块标志的记录上，很可能导致文件块的划分失败。这样的情况大多发生于在文件偏移量较靠前的位置上删改了较多内容时。一旦发生此情况，很可能一错再错导致接下来的所有文件块划分均无法在规定区间寻找到分块标志，使变长分块完全退化为定长分块。而且，由于频繁地无法找到分块标志，文件读取指针来回移动，时间效率低且伤害存储器。

对于以上问题分析得知，导致文件对比差异不精确的问题正是上述“错位”问题的存在。而如何解决错位问题成为本领域的一大难题。

发明内容

本发明为了解决上述“错位”问题，设计了一种基于文件分块的镜像文件同步方法，该方法中的文件分块方式，既保证了在文件块划分适当的前提下，对每个对比的文件都分块；又避免了变长分块方法退化为定长分块的可能性。

本发明采用的技术方案为：一种基于文件分块的镜像文件同步方法，用于将计算机中的旧版本镜像文件更新成新版本文件，本方法步骤中包括：A、将待更新的新版本文件及旧版本文件分别进行文件分块；B、将所有文件块的信息提炼形成新、旧版本文件的描述文件；C、将两个描述文件对比形成差异文件；D、将差异文件与旧版本文件合并，生成新版本文件，关键在于：步骤A中所述的文件分块使用的分块方法为：

1)将新版本文件、旧版本文件均视为二进制编码格式文件，逐字节读取文件；

2)利用如下公式①在文件中寻找分块标志，满足下述公式的字符串k成为分块标志：

Value(k)modd＝＝r①

其中，d为分块校验除数，其取值为期望分块长度bl；r为分块校验参数，是非零且小于d的正整数；k为所校验的字符串，所校验字符串k的长度为分块标志长度，记为cl，对cl长度的字符串k的Value(k)函数操作即对其各个字符进行ASCII码取值后，按照256进制合并所得的结果，mod为取余运算；

3)在这些分块标志的位置进行划分文件块的操作：

3a)、给定cl、d、r的取值，初始化文件读取指针长度为cl；

3b)、根据步骤2)中的分块标志的判定公式判定是否满足分块标志条件，如果是，则记录分块；如果否，跳至步骤3c；

3c)、文件读取指针右移，判定是否到达文件末尾，如果是，记录分块，跳至步骤3d；如果否，跳至步骤3b；

3d)、结束。

步骤B中描述文件包括每个文件块的首字节、校验和与MD5值，即把每个文件块的首字节、校验和与MD5值保存形成描述文件。

步骤C中所述的对比以文件块的首字节、校验和与MD5值均相同为标准，基于上述标准，差异文件的形成步骤中包括：

31)初始化分别读取旧版本文件的描述文件A、新版本文件的描述文件B的指针a、指针b；

32)比较指针a、b所指的文件块是否相同，如果相同，跳至步骤34)；如果不同，跳至步骤33)；

33)检查指针b是否到达描述文件B的末尾，如果是，将指针a所指的文件块为差异文件块记录其信息，跳至步骤34)；如果否，指针b后移，跳至步骤32)；

34)检查指针a是否到达描述文件A的末尾，如果是，描述文件B中剩余部分文件块均作为差异文件块记录其信息，跳至步骤35；如果否，指针a后移，指针b重置至未匹配的文件块，跳至步骤33)；

35)从新版本文件B中得到差异文件块所对应的文件内容，保存为差异文件，结束。

所述的差异文件的结构中包括：插入/删除状态标识、插入/删除起始位置、插入内容长度/删除终止位置、插入具体内容构建的序列表。

所述的合并的方法步骤中包括：

51)初始化分别读取差异文件和旧版本文件块的指针p1、指针p2；

52)查询指针p1是否到达差异文件的末尾，如果p1到达差异文件的末尾，则检查指针p2是否到达旧版本文件的末尾，如果是，则跳至步骤57)；如果否，则将指针p2所指的文件块以及之后的文件块均写入新版本文件中；如果p1未到达差异文件的末尾，跳至步骤53)；

53)查询指针p1所指的序列表中的插入/删除状态标识，如果对p2所指的文件块没有标识，则跳至步骤55)；如果为删除标识，则跳至步骤54)；如果为插入标识，则跳至步骤56)；

54)将指针p2从删除起始位置移至删除终止位置，p1后移，跳至步骤52)；

55)将p2所指的文件块写入新版本文件中，指针p2后移，跳至步骤52)；

56)根据序列表中插入位置和插入内容长度，将序列表中所示的插入的具体内容写入新版本文件中，并将指针p2移动插入内容长度个位置，指针p1后移，跳至步骤52)；

57)结束。

其中，步骤D之后还包括如下步骤：

E、检验：将所述新版本文件与新版本文件的描述文件进行比对、校验，校验成功的标志为：所述新版本文件与描述文件各个文件块的位置与内容均一致。

cl为整数，且cl≥log₂₅₆bl，优选地，cl为大于等于log₂₅₆bl的最小整数。

本发明的文件同步原理为：1、采用本发明的分块方式将文件分块，并将所有文件块的信息提炼成它的描述文件；2、利用描述文件之间的对比，确定各个新版本文件及旧版本文件中哪几个文件块存在差异，把找到的差异记录为差异文件；3、使用差异文件与旧版本文件合并，生成新版本文件，并且可以与新版本文件描述文件做校验，检查此文件是否与目标一致。

本发明的有益效果在于：本发明方法不考虑文件格式，不反复读取文件，对一系列相似文件有较高处理效率。具体体现在：

1.完全不考虑文件可能的组织形式，直接把文件视为二进制存储方式，逐字节处理；

2.文件分块时，对文件块的划分处理完全不依赖之前文件块的处理结果；

3.对比差异时，仅使用原文件生成的描述文件来进行对比，占空间小。

4.同一种较好的文件分块规律可以应用在相似的文件上，而不需要每次文件差异计算都尝试最优分块策略。

附图说明

图1是本发明方法中的分块方法流程图；

图2是差异文件的形成方法流程图；

图3是描述文件的结构示意图；

图4是差异文件的结构示意图。

具体实施方式

本发明的实施其实主要分三个步骤走。第一是文件分块，提炼描述文件；第二是利用描述文件进行对比，求文件差异并记录；第三是利用求得的差异进行文件同步。

1.文件分块与描述文件生成

本发明的分块方法为一种通用基于内容的不定长分块(UCDC，UniversalContent-DefinedChunking)方法。在该UCDC方法中，分块标志的概念为：一段字符串的值除以某个定值后取余数，如果此余数恰好等于某个给定的值，则此段字符为分块标志。

字符串的值，是指把一段字符利用ASCII编码，视为256进制的数字，从低位向高位排列，利用每位权值求出最终值。例如：“AC”的值＝’A’+’C’×256＝65+67×256＝17217。对字符串求值的函数，记为Value(x)。上述所除的“定值”，记为分块校验除数d；而与其对比，决定它是否为分块标志的给定的值，记为分块校验参数r；所校验字符串的长度，即分块标志长度，记为cl。那么对于长度为cl的字符串k而言，成为分块标志的判定条件为：

Value(k)modd＝＝r①

其中mod为取余数运算。由公式可知，此种校验方法需要的参数仅为d和r两个量。此公式左边经过字符串取值与除d取余操作后所得的量，称为分块校验值。具体对整个文件的分块方法如图1所示。

对于一个文件而言，文件分块的过程即在文件中寻找分块标志的过程。每个分块标志处均划分文件块。不同的cl、d和r将会给文件的分块带来不同精度的结果。经过论证，在现实应用中，若期望的分块大小为bl，则取cl为大于等于log₂₅₆bl的最小整数，d等于bl，而r为随机选取的非零值。

对于需要对比的相似的文件，使用同样的d与r值可以得到在同样分块方式下的结果，这样即可对两个分块后的文件进行对比。由于直接对比两个文件稍显庞大，在网络上也较难实现，故引入描述文件的概念对原文件进行抽象处理。

描述文件的格式如图3所示。在文件的分块过程中，每划分一个文件块，即把此文件块的首字节、校验和与MD5值存入描述文件。在之后的文件对比中，若两个文件块的上述数据均一一相等，则判定为两个相同的文件块。否则，判定为不同。

值得一提的是，描述文件初始部分所给出的d值与r值，可以应用到一系列相似文件中，指导它们的文件分块。因此，d值与r值只需要在整个系统中确定一次即可长期使用。

由公式①可知，此种校验方法需要的参数仅为d和r两个量，远远比上述CDC变长分块方式记录下所有分块标志的方法要简练灵活。

举例，对于原文件“ABCDEFGHIJKLM”，给定cl＝1，d＝3，r＝2，即“分块标志长度为1，标志的值除3余2即划分块”，则划分结果为“A|BCD|EFG|HIJ|KLM”。若目标文件为“ABCDXFGHYIJKLM”，按照同样方式可划分成“A|BCD|XFG|HY|IJ|KLM”，那么所有有差异的块一目了然，在不需要记录下任何具体分块标志的情况下完成了块的划分。

UCDC文件分块算法伪代码描述如下：

输入：文件A，分块标志长度cl，分块校验除数d，分块校验参数r

输出：文件A中所有分块位置C

1：打开文件A，指针a指向文件开头，C置空

2：for指针a从开头到末尾遍历整个文件Ado

3：指针a读取cl个字节，将此cl个字节记为字符串k

4：forValue(k)modd！＝rdo

5：指针a后移1个字节，将a之前cl个字节记为字符串k

6：endfor

7：C:＝C∪{a}

8：endfor

算法包含第一层循环为对文件A的遍历，第二层循环为对字符串k的求值与取余，故时间复杂度为O(fl×cl)。这说明，UCDC分块算法的耗时取决于分块标志长度与文件长度的乘积。

此算法杜绝了分块方式退化为定长分块的可能性，完美解决了“错位”问题。并且文件内读取指针永远只做后移动作，一次划分所有块，这也能够较好的保护存储器，在寻址和读取方面取得更多的时间效率。

表1UCDC文件分块方法各参数的选择

2.文件对比求差异

文件对比即匹配两个描述文件中文件块信息的过程。若两个文件块信息一致，认为它们匹配成功。匹配成功的文件块可以认为完全相同。文件对比的过程，简化为两个分块描述文件对比的过程；文件求差的过程，可以利用分块描述文件与目标文件相对应，找出并保存差异内容。

文件对比方法的核心思想可以概括如下：如果原文件中某个块在目标文件中找不到匹配，则此文件块记为差异。如果原文件中某个块在目标文件中匹配了一个块，则目标文件中所匹配块之前所有未匹配的文件块记为差异。如果原文件所有文件块均处理完毕，目标文件末尾部分中仍有未匹配的块没被处理，则记为差异。

图2详细给出了方法流程图，并举例说明了方法的运行。图4为差异文件生成后的结构。

3.文件合并

文件合并是指读取原文件并参考差异文件中的内容，生成所需的同步文件。由于差异文件已经合理组织，这里的文件合并方法并不复杂。具体方法概括如下：

(1)若原文件中某段不需要删除，则全部按照原有顺序写入同步文件。

(2)若原文件中某段需要删除，则直接跳过。

(3)若遇到需要插入内容的位置，则读取差异文件中的内容，按规定位置与长度写入同步文件。

(4)若差异文件读取完毕，原文件的读取指针未到达末尾，则代表后面的内容均不需要删除，全部写入目标文件。

此方法中，原文件的读取指针、差异文件的读取指针、待写入文件的写入指针均不会发生重定位的现象，只需逐字节向后移动，能较好保护磁盘。合并完毕之后，按照新文件的描述文件所示，可以对生成文件进行校验。若其数据与描述文件一致，则文件同步成功。

Claims

1.一种基于文件分块的镜像文件同步方法，用于将计算机中的旧版本镜像文件更新成新版本文件，本方法步骤中包括：A、将待更新的新版本文件及旧版本文件分别进行文件分块；B、将所有文件块的信息提炼形成新、旧版本文件的描述文件；C、将两个描述文件对比形成差异文件；D、将差异文件与旧版本文件合并，生成新版本文件，其特征在于：步骤A中所述的文件分块使用的分块方法为：

Value(k)modd＝＝r①

其中，d为分块校验除数，其值等于期望分块长度bl；r为分块校验参数，是非零且小于d的正整数；k为所校验的字符串，所校验字符串k的长度为分块标志长度，记为cl，对cl长度的字符串k的Value(k)函数操作即对其各个字符进行ASCII码取值后，按照256进制合并所得的结果，mod为取余运算；

3)在这些分块标志的位置进行划分文件块的操作：

3a)、给定cl、d、r的取值，初始化文件读取指针长度为cl；

3d)、结束。

2.根据权利要求1所述的一种基于文件分块的镜像文件同步方法，其特征在于：步骤B中描述文件包括每个文件块的首字节、校验和与MD5值，即把每个文件块的首字节、校验和与MD5值保存形成描述文件。

3.根据权利要求2所述的一种基于文件分块的镜像文件同步方法，其特征在于：步骤C中所述的对比以文件块的首字节、校验和与MD5值均相同为标准，基于上述标准，差异文件的形成步骤中包括：

4.根据权利要求1所述的一种基于文件分块的镜像文件同步方法，其特征在于：所述的差异文件的结构中包括：插入/删除状态标识、插入/删除起始位置、插入内容长度/删除终止位置、插入具体内容构建的序列表。

5.根据权利要求4所述的一种基于文件分块的镜像文件同步方法，其特征在于：所述的合并的方法步骤中包括：

57)结束。

6.根据权利要求1所述的一种基于文件分块的镜像文件同步方法，其特征在于：步骤D之后还包括如下步骤：

7.根据权利要求1所述的一种基于文件分块的镜像文件同步方法，其特征在于：cl为整数，且cl≥log₂₅₆bl。

8.根据权利要求7所述的一种基于文件分块的镜像文件同步方法，其特征在于：cl为大于等于log₂₅₆bl的最小整数。