CN103729225B - 一种基于内容分块的远程文件实时更新方法 - Google Patents

Abstract

本发明公开了一种基于内容分块的远程文件实时更新方法，目的是为分布式存储系统提供一种低网络传输开销的文件增量更新方法，使得分布式存储系统能以较低的开销支持文件随机写。技术方案是先对原文件F_old文件分块存储，采用Hash算法为每个数据块计算摘要，再对数据块的开头和结尾各采用rabin‑fingerprinting算法计算一个指纹，采用基于CDC的数据分块方式对照原文件F_old的分块信息，对新文件F_new分块并采用Hash算法为F_new每个数据块计算摘要，对比F_old数据块和F_new数据块的摘要，找出发生变化数据块，将需删除的数据块从F_old删除，将需更新的数据块添加到F_old。采用本发明能使得分布式存储系统能以较低的开销支持文件随机写。

Description

一种基于内容分块的远程文件实时更新方法

技术领域

本发明涉及分布式存储系统中数据更新方法，尤其指支持广域网级应用的分布式存储系统中的数据更新方法。

背景技术

随着云存储的快速发展，存储技术正在发生革命性的变化。传统文件系统已无法满足海量数据存储的需求，分布式存储系统应运而生。典型的分布式存储系统包括主从结构的分布式文件系统如Google公司的GFS(Google File System)、开源项目Hadoop的HDFS，以及扁平式环形结构的key-value存储系统如Amazon公司的Dynamo、Facebook公司的Cassandra等。

分布式存储系统在存储容量、可扩展性、可靠性以及性能等方面表现出了特有的优势，因而在海量数据处理中的应用越来越广泛，正逐渐演变成企业IT框架的一个部分。然而，现有的主流分布式存储系统虽然在大容量、可伸缩性等方面能够提供很好支持，但也存在诸多问题，目前主流的分布式存储系统，如GFS、HDFS等，大部分文件的更新是通过添加新数据完成的，而不是改变已存在的数据，即只支持文件的追加操作，而不支持文件的随机写。

CDC是基于内容分块(content-defined chunking)的简称，是重复数据删除技术中所广泛采用的一种检测不同文件中相同数据内容的技术。其基本思想是基于文件内容对文件进行分块，从而能够最大限度地检测出不同文件中的相同内容。其基本方法是用一个固定大小的滑动窗口从头到尾扫描文件内容，每次移动窗口都采用RabinFingerpring算法(Broder A Z.的文章Some applications of Rabin’s fingerprintingmethod所述)计算一个48位指纹序列，并将指纹与一个初始定义的指纹相比，若相等则从当前窗口处将文件断开分块。分块的基础是一段内容，即对比原文件产生的指纹和新文件产生的指纹，而不是固定的大小，从而可以最大限度地检测出不同文件之中相同的数据块。现有的方法主要将更新文件完全发回分布式存储系统，会加重网络传输开销和影响存储系统的IO网络性能，尤其是在IO访问量较大的情况。

如何解决分布式存储系统更新开销高，普遍不支持文件随机写的问题是本领域技术人员关注的重要技术问题，有效减少文件更新过程中的网络传输开销，可应用于支持广域网级应用的分布式存储系统，但目前主流的GFS、HDFS等分布式存储系统也存在着不足，只支持文件的追加操作，而不支持文件的随机写。

发明内容

本发明要解决的技术问题是为支持广域网级应用的分布式存储系统提供一种低网络传输开销的文件增量更新方法，使得分布式存储系统能以较低的开销支持文件随机写。为方便描述，记在云端服务器存贮的原文件为F_old，用户更新后文件为F_new。

本发明的技术方案包括以下步骤：

第一步，对F_old文件分块存储。为了在文件更新过程中减少通过网络传输的数据量，将文件分块存储，在文件内容发生变化的时候，对比更新前后的文件内容，确定发生变化的数据块，在更新时只传输发生变化的数据块，减少传输的数据量，降低网络传输开销，提高文件更新的效率。

采用固定大小分块的策略将文件分成n块，按顺序将文件从前往后划分成大小相同的数据块，数据块的大小K可根据应用不同设置，默认K是2M，记每一个数据块为chunk₁、chunk₂、…、chunk_n，最后一个数据块chunk_n的大小小于或等于其他数据块的大小，n为正整数，n＝L/K上取整，其中K为文件大小。

第二步，采用Hash算法为chunk₁、chunk₂、…、chunk_n计算摘要，Hash算法可以是MD5(Rivest R.的文章The MD5message-digest algorithm所述)或SHA1(EastlakeD.和Jones P.的文章US secure hash algorithm 1(SHA1)中所述)，上述两种算法的碰撞概率极低，碰撞概率可以忽略不计。记每一个数据块的摘要为hash₁、hash₂、…、hash_n。再对数据块的开头和结尾各采用rabin-fingerprinting算法计算一个指纹。计算指纹的方法是：除第一个数据块外每一个数据块选取所属数据块开头48字节的内容，除最后一个数据块外每一个数据块选取结尾48字节的内容，采用rabin-fingerprinting算法计算每个数据块的指纹值。记这些指纹值为第一数据块结尾指纹finpr-back₁(第一个数据块只有结尾48字节的指纹)、第二数据块开头指纹finpr-front₂、第二数据块结尾指纹finpr-back₂、…、第n-1数据块开头指纹finpr-front_n-1、第n-1数据块结尾指纹finpr-back_n-1、第n数据块开头指纹finpr-front_n(第n个数据块只有开头48字节的指纹)。

第三步，用户终端从云端服务器下载原始文件F_old和分块信息，并进行更新操作，得到F_new；

第四步，用户终端采用基于CDC的数据分块方式对F_new分块，采用一个48字节的滑动窗口，窗口长度须与rabin-fingerprinting算法的数据块长度一致，从F_new的起始部分开始执行以下动作：

4.1为当前窗口内的48字节的内容采用rabin-fingerprinting计算一个指纹finpr；

4.2把指纹finpr与finpr-back₁、finpr-back₂、…、finpr-back_k、…、

finpr-back_n-1作对比，若存在finpr-back_k与finpr相等(其中1≤k<n)则转入步骤4.3；若不存在finpr-back_k与finpr相等，则判断是否到F_new的尾部，若到F_new的尾部则转第五步，如果未到F_new的尾部，把窗口向后滑动1个字节，并转步骤4.1；

4.3把滑动窗口向F_new的尾部方向滑动48个字节，采用rabin-fingerprinting算法为窗口内的48字节的内容计算指纹finpr_next，并把finpr_next和finpr-front_k+1作对比，若finpr_next和finpr-front_k+1相等，说明当前窗口是分块的边界，从当前窗口的起始地址处分块，其分块的内容为更新后的一个数据块，记为chunk_i'，其中i初始值为1，并在之后分块时进行自增操作，记分块结束时i值为m；若finpr_next和finpr-front_k+1不相等，说明当前窗口不是分块的边界，将窗口向F_new的起始处滑动47个字节，即相对步骤4.2存在finpr-back_k与finpr相等时的窗口位置向后滑动了1个字节，转步骤4.1；

第五步，采用与第二步中相同的Hash算法为更新后的数据块chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'计算摘要，得到更新后的每个数据块的摘要hash₁'、hash₂'、…、hash_i'、…、hash_m'；

第六步，对比更新前的数据块序列chunk₁、chunk₂、…、chunk_j、…、chunk_n(其中1≤j≤n)和更新后的数据块序列chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'(其中1≤i≤m)，根据摘要是否相等判断两个数据块是否相同，找出发生变化数据块，对比方法如下：

用curBefore指示当前比较到的更新前文件F_old的数据块的下标，则当前F_old中的数据块为chunk_curBefore，数据块的hash值为hash_curBefore，curAfter指示当前比较到的更新后文件F_new的数据块的下标，则当前F_new中的数据块为chunk_curAfter'，数据块的hash值为hash_curAfter'，curBefore和curAfter初始值都为1，用数组RedundantBlock记录F_old中有但F_new中没有的数据块编号，即需要删除的数据块编号，用数组NewBlock记录F_old中没有但F_new中有的数据块编号，即需要添加到F_old中的数据块编号；

6.1将hash_curAfter'与数据块chunk_curBefore、chunk_curBefore+1、…、chunk_j、…、chunk_n的摘要hash_curBefore、hash_curBefore+1、…、hash_j、…、hash_n进行比较，若存在某个数据块的摘要hash_k与hash_curAfter'相等，执行步骤6.2，否则执行步骤6.3；

6.2存在hash_j与hash_curAfter'相等说明F_old中数据块chunk_k与F_new中数据块chunk_curAfter'是相同的，不需要重新存储，同时也说明F_new内容中已经不包含F_old的数据块chunk_curBefore、chunk_curBefore+1、…、chunk_j-1，需要删除，将需要删除的数据块编号curBefore、curBefore+1、…、j-1存入到数组RedundantBlock中；若j不等于原有数据块数量n，执行步骤6.4，否则执行步骤6.5；

6.3将新数据块编号curAfter加入数组NewBlock中，curBefore不变，curAfter增加1，若curAfter小于或等于m，执行步骤6.1，否则，执行步骤6.6；

6.4为curBefore赋新值j，curAfter增加1，若curAfter小于或等于更新数据块数量m，执行步骤6.1，否则，执行步骤6.6；

6.5当j等于n时，将编号curAfter、curAfter+1、…、m加入到数组NewBlock中，执行第七步；

6.6当curAfter等于m时，将编号curBefore、curBefore+1、…、n加入到数组RedundantBlock中，执行第七步；

第七步，将数组RedundantBlock中记录的数据块从云端服务器F_old文件中删除，将数组NewBlock中记录的数据块从用户终端F_new文件中通过网络上传到云端服务器，进行文件块的拼接，拼接过程如下：

7.1设置变量i指向F_new数据块和变量j指向F_old数据块，i和j的初值均为1，记新生成文件为F；

7.2如果j大于n，转第八步；

7.3如果j指向的数据块不在RedundantBlock中记录，则将j指向的数据块加入F，j增1，执行步骤7.2；

如果j指向的数据块在RedundantBlock中记录，则j自增到j指向的数据块不在RedundantBlock中记录或j大于n，i自增到i指向的数据块在NewBlock中记录，如果i大于m执行步骤7.2，否则将i指向的数据块加入F，转7.4；

7.4变量i自增，如果i指向的数据块在NewBlock中记录，将i指向的数据块加入F，转步骤7.4，否则转步骤7.2。

第八步，结束，文件更新完成，文件F即为F_new在云端的副本。

与现有技术相比，采用本发明可以达到以下技术效果：

1.本发明有效提高了用户与服务器间文件更新效率，降低了网络传输流量。

本发明第六步，文件块的对比采用摘要的形式进行，显著提高数据对比的效率。发明中对更新前文件按长度分块，对更新后文件按内容分块，在对比更新前后文件各个数据块时，采用Hash算法计算各数据块的Hash值，从而同比传输并比对Hash值代替传输比对文件数据块，提高了数据对比的效率。

本发明第七步，文件块的上传采用按需传输的方式，显著提高数据传输的效率。只传输文件中用户执行修改操作后的文件块，对于未修改的文件块，采取直接从服务器原始文件中读取的方式，从而显著降低了网络中的冗余传输。

2.本发明能够最大限度的检测出文件更新前后相同的数据。

本发明第四步，文件内容的对比过程中采用了基于CDC的分块方式。在CDC的基础上，采用滑动窗口匹配原始数据块的开始处和结尾处，准确识别出文件中未修改的部分，从而最大限度的匹配出相同数据,高效将F_new按照内容分块，使得后期新旧文件的文件块对比和轻量传输得以有效实现。

3.本发明为文件更新提供了随机写的支持。

本发明第一、二步，服务器端对文件F_old进行分块，并计算指纹及摘要；发明第四、五步用户终端对文件F_new进行分块，并计算摘要；第六步对比新旧文件的文件块，并在第七步完成更新。整个过程服务器端支持对用户的随机写操作执行同步随机写任务，区别于如GFS等文件系统中只支持追加操作的特性。

附图说明

图1是文件更新过程示意图；

图2是本发明总体流程图；

图3是第四步第4.3阶段判断F_new分块点的示意图。

具体实施方式

图1描述了文件更新过程示意图。

云端服务器对所存储的文件F_old按大小进行分块，并计算文件块的指纹信息及Hash值。用户从云端服务器下载文件和分块指纹信息，并进行修改后准备上传云端服务器。用户终端在上传文件前先依据F_old的分块信息对F_new按内容进行分块，并计算F_new各文件块的Hash值。用户上传文件块Hash值到云端服务器，服务器对比新旧文件块的Hash值来判断F_new中云端已有的(用户未修改的)文件块和需要通过网络上传的(用户执行过修改操作的)文件块。最后服务器拼接各文件块完成云端的文件更新。

图2描述了本发明总体流程图。

第一步，对F_old文件分块存储。采用固定大小分块的策略将文件分成n块，按顺序将文件从前往后划分成大小相同的数据块，数据块的大小K可根据应用不同设置，默认K是2M，记每一个数据块为chunk₁、chunk₂、…、chunk_n，最后一个数据块chunk_n的大小小于或等于其他数据块的大小，n为正整数，n＝L/K上取整，其中L为文件大小。

第二步，采用Hash算法为chunk₁、chunk₂、…、chunk_n计算摘要，记每一个数据块的摘要为hash₁、hash₂、…、hash_n。再对数据块的开头和结尾各采用rabin-fingerprinting算法计算一个指纹。计算指纹的方法是：除第一个数据块外每一个数据块选取所属数据块开头48字节的内容，除最后一个数据块外每一个数据块选取结尾48字节的内容，采用rabin-fingerprinting算法计算每个数据块的指纹值。记这些指纹值为第一数据块结尾指纹finpr-back₁(第一个数据块只有结尾48字节的指纹)、第二数据块开头指纹finpr-front₂、第二数据块结尾指纹finpr-back₂、…、第n-1数据块开头指纹finpr-front_n-1、第n-1数据块开头指纹finpr-back_n-1、第n数据块开头指纹finpr-front_n(第n个数据块只有开头48字节的指纹)。

第三步，用户从云端服务器下载原始文件F_old和分块信息，并进行更新操作，得到F_new。

第四步，用户终端采用基于CDC的数据分块方式对F_new分块；

第五步，采用与第二步中相同的Hash算法为更新后的数据块chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'计算摘要，得到更新后的每个数据块的摘要hash₁'、hash₂'、…、hash_i'、…、hash_m'；

第六步，对比更新前的数据块序列chunk₁、chunk₂、…、chunk_j、…、chunk_n(其中1≤j≤n)和更新后的数据块序列chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'(其中1≤i≤m)，对比数据块的摘要，根据摘要是否相等判断两个数据块是否相同，找出发生变化数据块；

第七步，将数组RedundantBlock中记录的数据块删除，将数组NewBlock中记录的数据块写入到存储系统中；

第八步，完成文件更新。

图3是第4.3步判断F_new分块点的示意图。

当F_new的滑动窗口所计算的指纹与F_old中某个文件块的尾部finpr-back_k相等时，说明F_new中出现了一个可能的文件块分割点(F_new的文件块尾)。这时F_new的滑动窗口后移48字节，再计算其指纹对比finpr-front_k+1，即F_old中下一个文件块的头部，若仍相等，则确定F_new本过程的两个窗口间应为文件块的分割点；若不相等，则确定不是分割点，需要回退47个字节，继续进行发明中第四步的计算。

Claims (3)

1.一种基于内容分块的远程文件实时更新方法，其特征在于包括以下步骤：

第一步，对F_old文件分块存储，方法是采用固定大小分块的策略将文件分成n块，按顺序将文件从前往后划分成大小相同的数据块，数据块的大小K根据应用不同设置，记每一个数据块为chunk₁、chunk₂、…、chunk_n，最后一个数据块chunk_n的大小小于或等于其他数据块的大小，n为正整数，n＝L/K上取整，其中L为文件大小；

第二步，采用Hash算法为chunk₁、chunk₂、…、chunk_n计算摘要，记每一个数据块的摘要为hash₁、hash₂、…、hash_n；再对数据块的开头和结尾各采用rabin‐fingerprinting算法计算一个指纹，方法是：除第一个数据块外每一个数据块选取所属数据块开头48字节的内容，除最后一个数据块外每一个数据块选取结尾48字节的内容，采用rabin‐fingerprinting算法计算每个数据块的指纹值，记这些指纹值为第一数据块结尾指纹finpr-back₁、第二数据块开头指纹finpr-front₂、第二数据块结尾指纹finpr-back₂、…、第n-1数据块开头指纹finpr-front_n-1、第n-1数据块结尾指纹finpr-back_n-1、第n数据块开头指纹finpr-front_n；

第三步，用户终端从云端服务器下载原始文件F_old和分块信息，并进行更新操作，得到F_new；

第四步，用户终端采用基于CDC即content‐defined chunking的数据分块方式对F_new分块，采用一个48字节的滑动窗口，窗口长度须与rabin‐fingerprinting算法的数据块长度一致，从F_new的起始部分开始执行以下动作：

4.1 为当前窗口内的48字节的内容采用rabin‐fingerprinting计算一个指纹finpr；

4.2 把指纹finpr与finpr-back₁、finpr-back₂、…、finpr-back_k、…、finpr-back_n-1作对比，若存在finpr-back_k与finpr相等，其中1≤k<n，则转入步骤4.3；若不存在finpr-back_k与finpr相等，则判断是否到F_new的尾部，若到F_new的尾部则转第五步，如果未到F_new的尾部，把窗口向后滑动1个字节，并转步骤4.1；

4.3 把滑动窗口向F_new的尾部方向滑动48个字节，采用rabin‐fingerprinting算法为窗口内的48字节的内容计算指纹finpr_next，并把finpr_next和finpr-front_k+1作对比，若finpr_next和finpr-front_k+1相等，说明当前窗口是分块的边界，从当前窗口的起始地址处分块，其分块的内容为更新后的一个数据块，记为chunk_i'，其中i初始值为1，并在之后分块时进行自增操作，记分块结束时i值为m；若finpr_next和finpr-front_k+1不相等，说明当前窗口不是分块的边界，将窗口向F_new的起始处滑动47个字节，即相对步骤4.2存在finpr-back_k与finpr相等时的窗口位置向后滑动了1个字节，转步骤4.1；

第五步，采用与第二步中相同的Hash算法为更新后的数据块chunk₁'、chunk₂'、…、 chunk_i'、…、chunk_m'计算摘要，得到更新后的每个数据块的摘要hash₁'、hash₂'、…、hash_i'、…、hash_m'；

第六步，对比更新前的数据块序列chunk₁、chunk₂、…、chunk_j、…、chunk_n和更新后的数据块序列chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'，其中1≤i≤m，1≤j≤n，对比数据块的摘要，根据摘要是否相等判断两个数据块是否相同，找出发生变化数据块，方法如下：

用curBefore指示当前比较到的更新前文件F_old的数据块的下标，则当前F_old中的数据块为chunk_curBefore，数据块的hash值为hash_curBefore，curAfter指示当前比较到的更新后文件F_new的数据块的下标，则当前F_new中的数据块为chunk_curAfter'，数据块的hash值为hash_curAfter'，curBefore和curAfter初始值都为1，用数组RedundantBlock记录F_old中有但F_new中没有的数据块编号，即需要删除的数据块编号，用数组NewBlock记录F_old中没有但F_new中有的数据块编号，即需要添加到F_old中的数据块编号；

6.1 将hash_curAfter'与数据块chunk_curBefore、chunk_curBefore+1、…、chunk_j、…、chunk_n的摘要hash_curBefore、hash_curBefore+1、…、hash_j、…、hash_n进行比较，若存在某个数据块的摘要hash_k与hash_curAfter'相等，执行步骤6.2，否则执行步骤6.3；

6.2 存在hash_j与hash_curAfter'相等说明F_old中数据块chunk_k与F_new中数据块chunk_curAfter'是相同的，不需要重新存储，同时也说明F_new内容中已经不包含F_old的数据块chunk_curBefore、chunk_curBefore+1、…、chunk_j-1，需要删除，将需要删除的数据块编号curBefore、curBefore+1、…、j-1存入到数组RedundantBlock中；若j不等于原有数据块数量n，执行步骤6.4，否则执行步骤6.5；

6.3 将新数据块编号curAfter加入数组NewBlock中，curBefore不变，curAfter增加1，若curAfter小于或等于m，执行步骤6.1，否则，执行步骤6.6；

6.4 为curBefore赋新值j，curAfter增加1，若curAfter小于或等于更新数据块数量m，执行步骤6.1，否则，执行步骤6.6；

6.5 当j等于n时，将编号curAfter、curAfter+1、…、m加入到数组NewBlock中，执行第七步；

6.6 当curAfter等于m时，将编号curBefore、curBefore+1、…、n加入到数组RedundantBlock中，执行第七步；

第七步，将数组RedundantBlock中记录的数据块从云端服务器F_old文件中删除，将数组NewBlock中记录的数据块从用户终端F_new文件中通过网络上传到云端服务器，进行文件块的拼接，拼接过程如下：

7.1 设置变量i指向F_new数据块和变量j指向F_old数据块，i和j的初值均为1，记新生成文件为F；

7.2 如果j大于n，转第八步；

7.3 如果j指向的数据块不在RedundantBlock中记录，则将j指向的数据块加入F，j增1，执行步骤7.2；

如果j指向的数据块在RedundantBlock中记录，则j自增到j指向的数据块不在RedundantBlock中记录或j大于n，i自增到i指向的数据块在NewBlock中记录，如果i大于m执行步骤7.2，否则将i指向的数据块加入F，转7.4；

7.4 变量i自增，如果i指向的数据块在NewBlock中记录，将i指向的数据块加入F，转步骤7.4，否则转步骤7.2；

第八步，结束，文件更新完成，文件F即为F_new在云端的副本。

2.如权利要求1所述的一种基于内容分块的远程文件实时更新方法，其特征在于所述数据块的大小K是2M。

3.如权利要求1所述的一种基于内容分块的远程文件实时更新方法，其特征在于所述采用的Hash算法为MD5算法或SHA1算法。