CN110532236A - 压缩文件的增量更新方法、系统和介质 - Google Patents

Abstract

本发明公开了一种压缩文件的增量更新方法，包括在客户端进行原版文件的差异判断，形成差异文件；对差异文件进行压缩处理得到客户端压缩文件增量包；将压缩文件增量包上传云端服务器；在云端服务器将压缩文件增量包与存储的原版文件进行合并。本发明所生成的增量包更小，所需的上传更新时间少。占用网络带宽小，减少服务器性能需求，减少对服务器端服务其他功能的影响。大大缩短用户上传的时间，提高用户体验。节约上传更新所需的流量，降低成本。

Description

压缩文件的增量更新方法、系统和介质

技术领域

本发明涉及一种压缩文件的增量网络更新传输技术，尤其涉及一种压缩文件的增量更新方法、系统和计算机可读存储介质，适用于需要对大文件或多压缩文件进行快速上传更新的应用，比如工程文件更新、云盘文件更新等，可以有效减少网络带宽占用，减少上传时间。

背景技术

在工程建筑信息化领域，建筑信息化相关的数据种类多、数据量大，这些数据分布在多个文件中，通常会采用压缩包方式进行存储管理，例如会采用压缩包方式存储BIM(Bbuilding Iinformation Mmodel)文件数据。在建筑信息化领域的存储场景下的网络存储场景下，尤其是云储存时，由于数据量大，会对多个数据文件进行压缩存储。，当操作者对云端文件数据进行更新时，通常需要将本地端的所有的数据文件压缩成压缩一个压缩文件包，然后进行上传更新，对服务器端/云端数据文件进行更新。大多数场景下，即使操作者仅更新压缩包内少量文件中的少量数据时，为了便于同步客户端数据与云端数据，然后也需要将更新的文件连同其他未修改文件一起重新压缩压缩包文件内的全部文件重新进行压缩，进行上传以新压缩包的方式上传到云端，替换云端的代原压缩包文件，从而向云端同步整个压缩包文件的数据。然而，工程建筑信息化领域的压缩包的大小一般比较大，往往达到数百MB至数GB不等，那么这种直接压缩同步的方式会存在如下几个问题：

1)占用网络带宽；

2)上传速度慢；

3)数据传输成本高；

4)用户体验差。

因此在工程建筑信息化领域，迫切需要能够实现对云端存储压缩包文件进行增量更新的技术方案。

目前，在对在客户端对服务器端非压缩单个文件进行更新时，已具有针对单个数据文件的增量上传方式。，即采用二进制数据比对算法计算文件的二进制差异，在客户端计算由客户端产生的新文件和服务器端存储的原文件之间的修改前后文件的二进制差异，，从而形成差异文件。，客户端仅将差异文件传输到服务器端。，在服务器端接收到差异文件后，将差异文件与原文件合并，得到更新后的新文件。

但是这种方法，并不适用于压缩文件的增量上传。如果针对压缩文件也采用上述已有的针对单个数据文件的增量上传方式，也直接针对压缩包计算二进制差异，y那么由于压缩算法的作用原因，即使压缩之前的某个文件仅发生很小的改变，压缩文件包的二进制数据也会出现很大的差异。这样上传差异文件与上传更新后的压缩文件所耗费的成本几乎相同。

目前市面上尚未出现能够针对压缩包增量更新的算法和工具。

发明内容

针对现有技术的不足，本发明提供了一种高效的解决方案，用于解决压缩文件增量上传的问题。

为了达到上述发明目的，本发明提供了一种压缩文件的增量更新方法，包括：

步骤一、在客户端进行原版文件的差异判断，形成差异文件；

步骤二、对差异文件进行压缩处理得到客户端压缩文件增量包；

步骤三、将压缩文件增量包上传云端服务器；

步骤四、在云端服务器将压缩文件增量包与存储的原版文件进行合并。

优选的，上述步骤一中的差异判断包括删除文件、更新文件以及增加文件。

优选的，上述步骤一通过二进制差异算法计算得到的差异文件，所述步骤二将所有变化的文件进行压缩，生成压缩文件的增量包。

优选的，上述步骤三在上传的时候通过标识号或者文件路径的方式指定需要与之合并的云端服务器文件，合并操作可以在增量文件上传完成时自动触发。

优选的，上述步骤四首先解压缩增量包和原始压缩文件，其次根据增量包中文件的命名格式，找到原版压缩文件中对应的文件。

优选的，上述压缩文件增量包中diff格式文件表示相较于原版有更新，del格式文件表示在新版本中删除掉的文件。

优选的，上述解压缩增量包和原版压缩文件，将解压缩增量包diff格式文件进行二进制合并，对原版压缩文件中与增量包del格式相同文件名的文件删除，其他的文件增加到原版压缩文件中，最终形成新版的压缩文件。

一种压缩文件的增量更新系统，包括：

差异文件判断单元，用于在客户端进行原版文件的差异判断，形成差异文件；

增量文件压缩单元，用于对差异文件进行压缩处理得到客户端压缩文件增量包；

文件上传单元，用于将压缩文件增量包上传云端服务器；

合并处理单元，用于在云端服务器将压缩文件增量包与存储的原版文件进行合并。

优选的，上述差异文件判断单元包括文件删除模块、文件更新模块以及文件增加模块。

优选的，上述差异文件判断单元通过二进制差异算法计算得到的差异文件，所述增量文件压缩单元将所有变化的文件进行压缩，生成压缩文件的增量包。

优选的，上述合并处理单元首先解压缩增量包和原始压缩文件，其次根据增量包中文件的命名格式，找到原版压缩文件中对应的文件。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

与现有技术相比，本发明所生成的增量包更小，所需的上传更新时间少。占用网络带宽小，减少服务器性能需求，减少对服务器端服务其他功能的影响。大大缩短用户上传的时间，提高用户体验。节约上传更新所需的流量，降低成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明压缩文件的增量更新方法系统结构示意图；

图2示出了本发明压缩文件的增量更新方法流程示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如图1所示，本实施例提供一种压缩文件的增量更新方法，包括：

在下面的描述中，将服务器端(或云端)存储的更新前的压缩文件称为原版本文件(即原文件)，客户端基于服务器端存储的原版本文件进行修改而生成的文件称为新版本文件(即新文件)。在实际的业务场景中，服务器端的原文件是由客户端将相关文件压缩后上传而来。一般情况下，客户端持有服务端的原文件解压后的完整数据。如果没有，需要先将原文件下载到客户端，然后解压到指定的目录。然后，用户在客户端对解压后的数据文件进行修改、增加、删除等操作。

如图1所示，本发明的总体流程为：

步骤1，在客户端中生成相对于原文件的差异数据的压缩文件增量包；

步骤2，客户端将上述压缩文件增量包上传到存储有上一个版本压缩文件的服务器端/云端指定的路径；

步骤3，服务端将压缩文件增量包合并到原文件形成新版本文件。

在一些实施例中，包括：

步骤一、在客户端进行原版文件的差异判断，形成差异文件；

步骤二、对差异文件进行压缩处理得到客户端压缩文件增量包；

步骤三、将压缩文件增量包上传云端服务器；

步骤四、在云端服务器将压缩文件增量包与存储的原版文件进行合并。

在一些实施例中，步骤一中的差异判断包括删除文件、更新文件以及增加文件。

在一些实施例中，步骤一通过二进制差异算法计算得到的差异文件，所述步骤二将所有变化的文件进行压缩，生成压缩文件的增量包。

在一些实施例中，步骤三在上传的时候通过标识号或者文件路径的方式指定需要与之合并的云端服务器文件，合并操作可以在增量文件上传完成时自动触发。

在一些实施例中，步骤四首先解压缩增量包和原始压缩文件，其次根据增量包中文件的命名格式，找到原版压缩文件中对应的文件。

在一些实施例中，压缩文件增量包中diff格式文件表示相较于原版有更新，del格式文件表示在新版本中删除掉的文件。

在一些实施例中，解压缩增量包和原版压缩文件，将解压缩增量包diff格式文件进行二进制合并，对原版压缩文件中与增量包del格式相同文件名的文件删除，其他的文件增加到原版压缩文件中，最终形成新版的压缩文件。

本发明提供一种增加文件的实施例，具体步骤如下：

原版文件中没有以A命名的文件，压缩文件增量包中文件即为A.ini，生成压缩文件增量包，在上传的时候通过ID或者文件路径的方式指定需要与之合并的云端文件，合并操作可以在增量文件上传完成时自动触发，在云端，将压缩文件增量包解压缩，并将A.ini合并到云端存储的原版压缩文件中，形成新版压缩文件。

本发明提供一种更新文件的实施例，具体步骤如下：

原版文件中存储有以A命名的文件，需要将文件A文件更新，通过二进制差异算法，如vcdiff，计算得到的差异文件即为A.diff并生成压缩文件增量包，在上传的时候通过ID或者文件路径的方式指定需要与之合并的云端文件，合并操作可以在增量文件上传完成时自动触发，在云端，将压缩文件增量包解压缩，并将A.diff与云端存储的原版压缩文件中的与A文件进行二进制合并，形成新版压缩文件。

本发明提供一种删减文件的实施例，具体步骤如下：

原版文件中存储有以A命名的文件，需要将文件A文件删除，A.del文件表示在新版本中删除掉的文件并生成压缩文件增量包，在上传的时候通过ID或者文件路径的方式指定需要与之合并的云端文件，合并操作可以在增量文件上传完成时自动触发，在云端，将压缩文件增量包解压缩，自动读取A.del，将云端存储的原版压缩文件中的A文件进行删除，形成新版压缩文件。

本发明提供一种增加、删除以及更新文件的实施例，具体步骤如下：

S1、原版文件中没有以A命名的文件，压缩文件增量包中文件即为A.ini；原版文件中存储有以B命名的文件，需要将文件B文件更新，通过二进制差异算法，如vcdiff，计算得到的差异文件即为B.diff；原版文件中存储有以C命名的文件，需要将文件C文件删除，C.del文件表示在新版本中删除掉的文件。

S2、将A.ini、B.diff以及C.del生成压缩文件增量包，在上传的时候通过ID或者文件路径的方式指定需要与之合并的云端文件，合并操作可以在增量文件上传完成时自动触发；

S3、在云端，将压缩文件增量包解压缩，并将A.ini合并到云端存储的原版压缩文件中，将B.diff与云端存储的原版压缩文件中的与B文件进行二进制合并，自动读取C.del，将云端存储的原版压缩文件中的C文件进行删除。

S4、经过上述增加、更新和删减后形成新版压缩文件。

在一些实施例中，一种压缩文件的增量更新系统，包括：

差异文件判断单元，用于在客户端进行原版文件的差异判断，形成差异文件；

增量文件压缩单元，用于对差异文件进行压缩处理得到客户端压缩文件增量包；

文件上传单元，用于将压缩文件增量包上传云端服务器；

合并处理单元，用于在云端服务器将压缩文件增量包与存储的原版文件进行合并。

在一些实施例中，差异文件判断单元包括文件删除模块、文件更新模块以及文件增加模块。

在一些实施例中，差异文件判断单元通过二进制差异算法计算得到的差异文件，所述增量文件压缩单元将所有变化的文件进行压缩，生成压缩文件的增量包。

在一些实施例中，合并处理单元首先解压缩增量包和原始压缩文件，其次根据增量包中文件的命名格式，找到原版压缩文件中对应的文件。

本发明还提供一种实施例，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤

此外，还可以提供一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

与现有技术相比，本发明具有以下优点：

1、压缩文件的增量包大小一般比全量文件小10倍甚至更多。所以上传时速度更快，更加节省资源；

2、增量包更小，上传速度快；

3、占用网络带宽小，减少对服务其他功能的影响；

4、减少用户上传等待时间，用户体验更好；

5、节约流量，降低成本。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种压缩文件的增量更新方法，其特征在于所述方法包括：

步骤一、在客户端进行原版文件的差异判断，形成差异文件；

步骤二、对差异文件进行压缩处理得到客户端压缩文件增量包；

步骤三、将压缩文件增量包上传云端服务器；

步骤四、在云端服务器将压缩文件增量包与存储的原版文件进行合并。

2.根据权利要求1所述的压缩文件的增量更新方法，其特征在于，所述步骤一中的差异判断包括删除文件、更新文件以及增加文件。

3.根据权利要求1或2所述的压缩文件的增量更新方法，其特征在于，所述步骤一通过二进制差异算法计算得到的差异文件，所述步骤二将所有变化的文件进行压缩，生成压缩文件的增量包。

4.根据权利要求1所述的压缩文件的增量更新方法，其特征在于，所述步骤三在上传的时候通过标识号或者文件路径的方式指定需要与之合并的云端服务器文件，合并操作可以在增量文件上传完成时自动触发。

5.根据权利要求1所述的压缩文件的增量更新方法，其特征在于，所述步骤四首先解压缩增量包和原始压缩文件，其次根据增量包中文件的命名格式，找到原版压缩文件中对应的文件。

6.根据权利要求2所述的压缩文件的增量更新方法，其特征在于，所述压缩文件增量包中diff格式文件表示相较于原版有更新，del格式文件表示在新版本中删除掉的文件。

7.根据权利要求6所述的压缩文件的增量更新方法，其特征在于，所述解压缩增量包和原版压缩文件，将解压缩增量包diff格式文件进行二进制合并，对原版压缩文件中与增量包del格式相同文件名的文件删除，其他的文件增加到原版压缩文件中，最终形成新版的压缩文件。

8.一种压缩文件的增量更新系统，包括：

差异文件判断单元，用于在客户端进行原版文件的差异判断，形成差异文件；

增量文件压缩单元，用于对差异文件进行压缩处理得到客户端压缩文件增量包；

文件上传单元，用于将压缩文件增量包上传云端服务器；

合并处理单元，用于在云端服务器将压缩文件增量包与存储的原版文件进行合并。

9.根据权利要求8所述的系统，其特征在于，所述差异文件判断单元包括文件删除模块、文件更新模块以及文件增加模块。

10.根据权利要求8所述的系统，其特征在于，所述差异文件判断单元通过二进制差异算法计算得到的差异文件，所述增量文件压缩单元将所有变化的文件进行压缩，生成压缩文件的增量包。

11.根据权利要求8所述的系统，其特征在于，所述合并处理单元首先解压缩增量包和原始压缩文件，其次根据增量包中文件的命名格式，找到原版压缩文件中对应的文件。

12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。