CN114356245A - 一种海量文件快速比对更新的方法及系统 - Google Patents

Abstract

本发明提供了一种海量文件快速比对更新的方法及系统，利用分块尾部采用补丁文件，使得一个文件的变化，不至于影响到整个torrent中其他文件的分块的sha1值，避免了文件的粘连，使得可以直接进行分块间sha1，或者文件间sha1的比较。本发明在文件夹数据更新时，无需读取完整的磁盘文件，直接通过torrent比对来获得新老数据差异，从而只下载有变化的数据。该方法在有海量文件数据更新升级时，能够大幅提升数据比较速度，减少磁盘读取的资源浪费。

Description

一种海量文件快速比对更新的方法及系统

技术领域

本发明属于文件更新技术领域，具体涉及一种海量文件快速比对更新的方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着计算机技术的发展，需要通过网络传输的数据越来越大、越来越多。并且在很多时候，要传输的单个文件夹中的文件数也越来越多。这种情况还普遍存在于设计/印刷公司的大量设计文稿的分发传输、服务器之间海量文件的同步迁移等场景。

初始版本的文件夹在用户下载完成后，后续很可能只是少量文件有变化，甚至是某个文件中的少量数据块发生了变化要升级，这种情况下需要找出本地文件同服务器端相变化的文件或数据块，只对变化后的数据进行更新下载。

上述海量文件的传输场景下，当前一般主要使用FTP、HTTP、SCP、BitTorrent等方式，其中FTP、HTTP、SCP等方式都是只从服务器下载，人越多服务器负载越大。而BitTorrent这类P2P传输技术，用户在下载的同时也会为其他人提供上传，具有：人越多传输速度越快、越能节省服务器带宽的特性，因此广为使用。

BitTorrent对一个文件夹一般是制作成一个torrent文件，方便客户端直接一次性下载。当文件夹中某个文件发生变化后，服务端会重新制作一个新的torrent文件，交到客户端下载更新。其中torrent文件中所包含的主要信息和格式，如图1所示。

其中，announce为tracker信息，optional为一些选填信息，files中记录了所有文件的相对路径和大小。piece length是设定了一个分块大小，pieces则是所有文件紧密排列，然后按分块大小切分成很多分块，然后记录每一块数据的SHA-1散列值，如图2所示。

现有BitTorrent的设计中，所有文件的分块都是紧凑的粘连在一起的。这种模式下，哪怕文件夹中只是排前面的某个小文件增加了一个字节的数据，但由于分块的粘连，就会造成后续所有分块的SHA-1值完全不同，所以这种模式下就无法通过比较两个torrent文件中，哪些分块的SHA-1值不同，来确定需要重新下载的数据分块。并且新老torrent中的文件顺序也可能不同，这些都会造成pieces字段内的数据变化巨大。

所以，现有的BitTorrent系统，客户端并无法直接通过两个torrent文件直接比对，而是拿到一个新的torrent文件后，要对磁盘上已有的全部文件，按分块大小逐一读取，计算每块数据的SHA-1值后，再同新torrent中记录的SHA-1值做比较，将不一致的标记为需要下载，相同的则无需下载。这种做法，如果文件夹中有几十万个文件，上百GB的数据，完整的读取校验一遍，需要很久的时间，对磁盘也造成极大的资源浪费。

发明内容

本发明为了解决上述问题，提出了一种海量文件快速比对更新的方法及系统，本发明在文件夹数据更新时，无需读取完整的磁盘文件，直接通过torrent比对来获得新老数据差异，从而只下载有变化的数据。该方法在有海量文件数据更新升级时，能够大幅提升数据比较速度，减少磁盘读取的资源浪费。

根据一些实施例，本发明采用如下技术方案：

一种海量文件快速比对更新的方法，在需要更新加载文件时执行，包括以下步骤：

同时加载新旧文件的概述文件，读取对应的概述文件中的所有信息，包括每个文件的路径、大小和完整性参数散列值以及所有分块的完整性参数值，并将新文件的概述文件中的分块设置为都需要下载；

对新文件对应概述文件的文件列表，逐一遍历，对每一个文件，查找旧文件对应概述文件的文件列表中有无存在相同路径的文件，两个文件的完整性参数散列值是否相同，如果是，将该文件所在的分块全部标记为无需下载；

如果不是，对文件所对应的所有分块进行遍历，如果该分块在新旧文件的概述文件中分块信息里面存储的分块的完整性参数值相同，且位置也完全相同，则标记该分块无需下载；

对文件中标记需要下载的分块，真正执行文件读取比对，按每一块去磁盘读数据后做完整性参数值计算，同新文件对应的概述文件中记录的该分块数据的完整性参数值比较，一致则标记为不需下载；

对补丁文件，直接将其所对应的字节内容设置为空数据；

对于最终标记为需要下载的分块，启动下载，且只下载标记为需要下载的数据分块。

作为可选择的实施方式，还包括以下步骤：

预先规定，对包含新/旧文件的文件夹制作概述文件时，如果文件尾部不足一个分块时，插入一补丁文件，补充成完整的分块；或从文件夹中寻找一个最接近要补齐数据大小的文件，先插入，直到找不到合适的文件，再补齐一个补丁文件。

作为可选择的实施方式，还包括以下步骤：预先对概述文件的列表信息内每个文件都增加一字段，用于存储文件的整体完整性参数值。

作为可选择的实施方式，还包括以下步骤：预先判断概述文件是否需要重新制作或更新，如果是，则重新制作或更新加载新的概述文件。

作为可选择的实施方式，所述概述文件为torrent文件。

作为可选择的实施方式，所述完整性参数值为sha1值。

作为可选择的实施方式，下载时，只下载真实数据的内容，对补丁文件所占据的数据，直接填充空数据，用于参与完整性参数值的校验；

数据下载完成写磁盘文件时，对于补丁文件，跳过不写。

一种海量文件快速比对更新的系统，在需要更新加载文件时运行，包括：

读取模块，被配置为同时加载新旧文件的概述文件，读取新旧文件中的所有信息，包括每个文件的路径、大小和完整性参数散列值以及所有分块的完整性参数值，并将新文件中的分块设置为都需要下载；

比对标记模块，被配置为对新文件对应概述文件的文件列表，逐一遍历，对每一个文件，查找旧文件对应概述文件的文件列表中有无存在相同路径的文件，两个文件的完整性参数散列值是否相同，如果是，将该文件所在的分块全部标记为无需下载；如果不是，对文件所对应的所有分块进行遍历，如果该分块在新旧文件的概述文件中分块信息里面存储的分块的完整性参数值相同，且位置也完全相同，则标记该分块无需下载；对文件中标记需要下载的分块，真正执行文件读取比对，按每一块去磁盘读数据后做完整性参数值计算，同新文件对应的概述文件中记录的该分块数据的完整性参数值比较，一致则标记为不需下载；对补丁文件，直接将其所对应的字节内容设置为空数据；

下载更新模块，被配置为对于最终标记为需要下载的分块，启动下载，且只下载标记为需要下载的数据分块。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。

与现有技术相比，本发明的有益效果为：

目前BitTorrent系统中，确认torrent相比磁盘上已有的文件，哪些分块需要下载，基本都会采用完整读取一遍所有磁盘文件，进行逐块计算sha1对比的方法，耗时很久、浪费算力。

本发明提出的分块尾部采用补丁文件的方法，使得一个文件的变化，不至于影响到整个torrent中其他文件的分块的sha1值，避免了文件的粘连，使得可以直接进行分块间sha1，或者文件间sha1的比较。这就使得可以基于两个版本torrent文件的直接对比，极大减少了磁盘文件的读取，提升了比对速度。

经过测试，本发明能够节约几倍甚至是几十倍的时间，即可完成快速比对。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为现有技术中torrent文件结构示意图；

图2为现有技术中分块示意图；

图3为本实施例的补丁文件示意图；

图4为本实施例的修改后的torrent结构示意图；

图5为本实施例的torrent文件应用过程流程示意图；

图6为本实施例的torrent文件新旧版本更新过程示意图；

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种BitTorrent系统中海量文件快速比对更新的方法，在文件夹数据更新时，无需读取完整的磁盘文件，直接通过torrent比对来获得新旧数据差异，从而只下载有变化的数据。该方法在有海量文件数据更新升级时，能够大幅提升数据比较速度，减少磁盘读取的资源浪费。

如图5所示，torrent文件包括制作、客户端获取以及数据下载等过程。在这几个过程中，如果torrent文件有版本更新，或者数据发生变化，则需要对文件进行更新。

下面就从文件列表的改动等预先步骤开始介绍，以说明本发明的整体流程和方案，当然，在部分实施例中，可以将部分步骤省去，或只执行更新、比对的步骤。

步骤1：对文件夹制作生成torrent文件时，如果每个文件的尾部不足一个分块，则插入一个虚拟的空数据文件(以下简称：补丁文件)，补充成一个完整的分块，避免多个文件位于同一个分块内，如图3所示。

当然，在部分实施例中，不足一个分块时，也可以先从文件夹中寻找一个最接近要补齐数据大小的文件，先插入，直到找不到合适的文件，再补齐一个补丁文件。这样制作出来的torrent文件更小一些、文件数更少一些，下载时效率更高。

步骤2：对torrent中files列表，里面的每个文件都增加一个sha1字段，在生成torrent文件时，计算该文件整体的SHA-1值存储到该字段内。修改后的torrent结构如图4所示。

其中，阴影部分为改造过的内容。

如图6所示，步骤3：某版本的文件夹在有文件变化，需要升级时，服务端基于最新的文件夹，重新制作torrent文件；

步骤4：客户端启动后，定期与服务器通讯检查是否需要升级文件夹，一旦需要升级，则下载最新版的torrent文件；

步骤5：客户端同时加载新旧torrent文件，读取新旧torrent文件中的所有信息，包括每个文件的路径、大小和sha1散列值以及所有分块的sha1值等，并将新torrent中的分块设置为都需要下载；

步骤6：对新torrent中的文件列表，逐一遍历。对每一个文件，查找旧torrent文件列表中有无存在相同路径的文件，并且文件的sha1散列值是否相同。如果文件在新旧torrent中的sha1值相同，则将该文件所在的分块全部标记为无需下载；

步骤7：文件的sha1值不同时，则对文件所对应的所有分块进行遍历，如果该分块在新旧torrent中pieces里面存储的分块的sha1相同，且在文件中的位置也完全相同，则标记该分块无需下载；

步骤8：对文件中标记需要下载的分块，真正执行文件读取比对，按每一块去磁盘读数据后做sha1计算，同新torrent中记录的该分块数据的sha1值比较，一致则标记为不需下载；

步骤9：对补丁文件，在执行读操作时，不做真正读取操作，直接将其所对应的字节内容设置为空数据；

步骤10：对新torrent中所有文件执行完上述步骤的比对后，标记为需要下载的分块，是最终需要真正下载的数据分块，此时启动真正的下载，只下载需要下载的数据分块；

步骤11：下载时，只下载真实数据的内容，对补丁文件所占据的数据，直接填充空数据，用于参与sha1值校验；

步骤12：数据下载完成写磁盘文件时，对于补丁文件，跳过不写。

上述方法提出的分块尾部采用补丁文件的方法，使得一个文件的变化，不至于影响到整个torrent中其他文件的分块的sha1值，避免了文件的粘连，使得可以直接进行分块间sha1，或者文件间sha1的比较。这就使得可以基于两个版本torrent文件的直接对比，极大减少了磁盘文件的读取，提升了比对速度。

本实施例基于概述文件快速比对，而无需读取全部文件分块进行比对。

相当于把一个几百G、几万个文件的文件夹，先制作成一个概述文件，里面有对应的文件的哈希值、分块哈希值。然后只比较这个概述文件。

同时，比网上BitTorrent现有的torrent这种概述文件的方式，又增加了补丁文件，防止不同文件之间的粘连。不然一个分块变了，以前BitTorrent他们随后的数据分块的哈希值可能会全部都变。通过补丁文件，一个文件的变化，不影响其他文件。

我们用一个28GB大小的文件夹进行测试，该文件夹中有26万个文件，其中有10个小文件发生了变化，用传统的全部扫描磁盘的比对方式，进入下载前的扫描比对需要10几分钟；在使用本实施例提供的方法后，只需要十几秒时间即可完成快速比对。

本发明还提供以下产品实施例：

一种海量文件快速比对更新的系统，在需要更新加载文件时运行，包括：

读取模块，被配置为同时加载新旧文件，读取新旧文件中的所有信息，包括每个文件的路径、大小和完整性参数散列值以及所有分块的完整性参数值，并将新文件中的分块设置为都需要下载；

比对标记模块，被配置为对新文件的文件列表，逐一遍历，对每一个文件，查找旧文件的文件列表中有无存在相同路径的文件，两个文件的完整性参数散列值是否相同，如果是，将该文件所在的分块全部标记为无需下载；如果不是，对文件所对应的所有分块进行遍历，如果该分块在新旧文件中分块信息里面存储的分块的完整性参数值相同，且在文件中的位置也完全相同，则标记该分块无需下载；对文件中标记需要下载的分块，真正执行文件读取比对，按每一块去磁盘读数据后做完整性参数值计算，同新文件中记录的该分块数据的完整性参数值值比较，一致则标记为不需下载；对补丁文件，直接将其所对应的字节内容设置为空数据；

下载更新模块，被配置为对于最终标记为需要下载的分块，启动下载，且只下载标记为需要下载的数据分块。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种海量文件快速比对更新的方法，在需要更新加载文件时执行，其特征是，包括以下步骤：

同时加载新旧文件的概述文件，读取对应的概述文件中的所有信息，包括每个文件的路径、大小和完整性参数散列值以及所有分块的完整性参数值，并将新文件的概述文件中的分块设置为都需要下载；

对新文件对应概述文件的文件列表，逐一遍历，对每一个文件，查找旧文件对应概述文件的文件列表中有无存在相同路径的文件，两个文件的完整性参数散列值是否相同，如果是，将该文件所在的分块全部标记为无需下载；

如果不是，对文件所对应的所有分块进行遍历，如果该分块在新旧文件的概述文件中分块信息里面存储的分块的完整性参数值相同，且位置也完全相同，则标记该分块无需下载；

对文件中标记需要下载的分块，真正执行文件读取比对，按每一块去磁盘读数据后做完整性参数值计算，同新文件对应的概述文件中记录的该分块数据的完整性参数值比较，一致则标记为不需下载；

对补丁文件，直接将其所对应的字节内容设置为空数据；

对于最终标记为需要下载的分块，启动下载，且只下载标记为需要下载的数据分块。

2.如权利要求1所述的一种海量文件快速比对更新的方法，其特征是，还包括以下步骤：

预先规定，对包含新/旧文件的文件夹制作概述文件时，如果文件尾部不足一个分块时，插入一补丁文件，补充成完整的分块；或从文件夹中寻找一个最接近要补齐数据大小的文件，先插入，直到找不到合适的文件，再补齐一个补丁文件。

3.如权利要求1或2所述的一种海量文件快速比对更新的方法，其特征是，还包括以下步骤：预先对概述文件的列表信息内每个文件都增加一字段，用于存储文件的整体完整性参数值。

4.如权利要求1或2所述的一种海量文件快速比对更新的方法，其特征是，还包括以下步骤：预先判断概述文件是否需要重新制作或更新，如果是，则重新制作或更新加载新的概述文件。

5.如权利要求1所述的一种海量文件快速比对更新的方法，其特征是，所述概述文件为torrent文件。

6.如权利要求1所述的一种海量文件快速比对更新的方法，其特征是，所述完整性参数值为sha1值。

7.如权利要求1所述的一种海量文件快速比对更新的方法，其特征是，下载时，只下载真实数据的内容，对补丁文件所占据的数据，直接填充空数据，用于参与完整性参数值的校验；

数据下载完成写磁盘文件时，对于补丁文件，跳过不写。

8.一种海量文件快速比对更新的系统，其特征是，在需要更新加载文件时运行，包括：

读取模块，被配置为同时加载新旧文件的概述文件，读取新旧文件中的所有信息，包括每个文件的路径、大小和完整性参数散列值以及所有分块的完整性参数值，并将新文件中的分块设置为都需要下载；

比对标记模块，被配置为对新文件对应概述文件的文件列表，逐一遍历，对每一个文件，查找旧文件对应概述文件的文件列表中有无存在相同路径的文件，两个文件的完整性参数散列值是否相同，如果是，将该文件所在的分块全部标记为无需下载；如果不是，对文件所对应的所有分块进行遍历，如果该分块在新旧文件的概述文件中分块信息里面存储的分块的完整性参数值相同，且位置也完全相同，则标记该分块无需下载；对文件中标记需要下载的分块，真正执行文件读取比对，按每一块去磁盘读数据后做完整性参数值计算，同新文件对应的概述文件中记录的该分块数据的完整性参数值比较，一致则标记为不需下载；对补丁文件，直接将其所对应的字节内容设置为空数据；

下载更新模块，被配置为对于最终标记为需要下载的分块，启动下载，且只下载标记为需要下载的数据分块。

9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7中任一项所述的方法中的步骤。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7中任一项所述的方法中的步骤。

Images