CN104378397A - 一种程序包增量更新发布的方法与系统 - Google Patents

Abstract

本发明涉及一种程序包增量更新发布的方法与系统，所述方法包括步骤101：客户端请求返回指纹清单文件，请求时会带上程序包的路径和文件名；步骤102：服务端计算程序包的文件指纹，并生成指纹清单格式文件；步骤103：客户端处理指纹清单文件，下载本地文件指纹仓库中不存在的文件；步骤104：客户端对于本地指纹仓库不存在的文件，构建索引信息；步骤105：客户端根据指纹清单重组完整程序包；步骤106：客户端根据指纹清单检验文件完整性。利用该方法的系统程序包只会传输一次，有效地提高了效率；实时计算程序包指纹，充分利用了CPU多核计算能力；检验机制确保了程序包的正确性并有效防止了被修改。

Description

一种程序包增量更新发布的方法与系统

技术领域

本发明涉及软件开发领域，尤其涉及一种程序包增量更新发布的方法的系统。

背景技术

随着互联网应用的飞速发展和快速迭代开发思想在企业中应用，软件特别是WEB App(WEB Application, 以web为核心的网站类应用)的发布周期越来越短，有的甚至一个星期发布3次。每次软件包的构建和发布成为了一个系统工程，涉及到构建发布和生产运维的多个环节。而企业的生产环境往往在IDC机房，与办公网和开发环境之间使用专线连接，建设虚拟专用网络（Virtual Private Network ，简称VPN）指的是在公用网络上建立专用网络的技术，进行运维和程序升级。为节约成本，这根专线带宽资源有限，往往只有100k/s左右的速度。而一种完整的软件包往往在20M～30M，传输完一个程序包每次都需要好几分钟，在需要发布很多软件包的时候，带宽资源严重影响了整个发布环境的效率，发布只能串行，无法并行。

从技术上分析，目前java类的应用，一个完整的软件包除了企业自主研发的程序文件外，往往包含了很多第三方的软件包，这些第三方的软件包以静态文件的形式存在，往往版本相对固定，更新频率不高。这为程序包增量更新提供了的前提基础。而如何识别一个完整的构建软件包里哪些文件有更新，这些文件才是需要增量传输的，这成为一个技术问题。同时对目标方如何组织还原这个完整的软件包和文件完整性检验，也是需要解决的另一个问题。

发明内容

本发明的目的在于，提供一种程序包增量更新发布的方法与系统，以解决现有技术中一个程序包需要整包传输、多次分发要多次传输而造成的时间很长问题，程序包需要整包传输的问题以及低速网络不稳定等导致文件不一致性问题。

根据上述问题，本发明提供一种程序包增量更新发布的方法，其包括以下步骤：

Ⅰ远程解压缩程序包，生成程序包目录结构和文件列表清单以及每个文件的指纹；

Ⅱ构建本地文件指纹信息库；

Ⅲ确定需要增量更新的文件；

Ⅳ将需要增量更新的文件传输到本地；

Ⅴ把所述文件的指纹增加到所述指纹信息库，并保存文件到本地的缓存仓库中；

Ⅵ对于本地文件指纹信息库中存在的文件，直接从本地的缓存仓库中取出文件，按程序包的目录层次结构重新组合程序包；

Ⅶ对所述重新组合的程序包进行一次文件完整性检查，确认目标文件和原始文件一致。

优选的是，所述确定需要增量更新的文件的方法是，对程序包里的每一个文件的指纹与本地指纹信息库比对，如果本地指纹信息库没有，说明这是一个需要增量的文件。在上述任一方案中优选的是，所述完整性检查的方法是重新根据指纹算法计算一次指纹。在上述任一方案中优选的是，所述指纹算法为sha1算法，所述指纹为sha1算法得到的序列。

本发明还提供一种程序包增量更新发布的系统，包括文件指纹模块、文件传输模块、文件检验模块、程序包合成模块、文件仓库模块。程序包所在的那一段称为服务端，所述文件指纹模块位于所述服务端，包括指纹计算单元和HTTP服务单元。需要下载程序包的一端称为客户端，所述文件传输模块、文件检验模块、程序包合成模块、文件仓库模块位于客户端，所述文件仓库模块包括物理文件库单元和文件指纹库单元。

优选的是，所述客户端发起文件下载，检验文件，合成最后的程序包，以及保存文件的指纹信息和存放文件到物理文件库单元中。

在上述任一方案中优选的是，所述文件指纹库单元使用关系型数据库做数据存储，该单元对外部提供两个接口，接口1为根据查询指纹参数，返回指纹库中是否存在，接口2为插入和创建一条文件指纹记录。

在上述任一方案中优选的是，所述客户端给所述服务端发起一个文件指纹信息请求。在上述任一方案中优选的是，所述服务端收到请求后，判断文件类型，使用相应类型的标准解压缩算法解开程序到工作目录。

在上述任一方案中优选的是，根据工作目录下的所有目录和文件，生成程序包的指纹清单。

在上述任一方案中优选的是，所述指纹清单包括程序包指纹、程序包大小和程序包内所有文件和目录的清单；所述程序包内所有文件和目录的清单中包含多个文件项，所述文件项包括文件名、文件大小、是否为目录项、文件的指纹。

在上述任一方案中优选的是，所述指纹清单通过所述HTTP服务单元返回给所述客户端。

在上述任一方案中优选的是，所述客户端接收到所述指纹清单后，对所述文件项 进行循环处理。在上述任一方案中优选的是，

所述循环处理为：

（1）从所述文件项取出文件指纹，调用文件指纹库单元接口1；

（2）如果（1）中结果为不存在，从所述文件项中提取文件名，向所述服务端发起下载请求，请求下载所述文件名对应的文件；

（3）文件传输模块从服务端下载到所述文件，并放入到物理文件库单元中；

（4）文件检验模块 对所述文件进行一次sha1摘要计算，得到这个文件的指纹，和指纹清单中该文件指纹进行对比，不一致则重新下载该文件；

（5）如果（4）中对比结果为一致，则调用文件指纹库接口2；

（6）如果（1）中检索结果为存在，再根据文件指纹检查物理文件库单元中是否存在真实的物理文件，如存在则继续循环处理，如果不存在则进行（2）。

在上述任一方案中优选的是，所述客户端完成所述循环处理后，程序包合成模块根据所述指纹清单合成完整的程序包。

在上述任一方案中优选的是，所述客户端检验所述程序包的正确性。

在上述任一方案中优选的是，所述检验方法是，根据从所述服务端下载的指纹清单，对比程序包中的目录及相应的文件以及文件指纹和文件大小，如有任何不同，则记录相关信息，检验失败。

在上述任一方案中优选的是，如没有任何检验失败，则发布成功。

在上述任一方案中优选的是，如有检验失败，则应人工查看失败的日志信息，并重新发布一次或查找具体原因。

与现有技术相比，本发明具有以下几个优点：

1. 文件指纹库和物理文件库的设计，程序包里的文件只会传输一次，下载完成后即进入缓存库。这个程序包多次发布时，不需要再下载这个文件。而是直接从物理文件库中直接组合出程序包，继续分发到服务器上。最终节省的软件程序包同时发布到集群服务器的整体上线的时间，特别在低速网络带宽环境下，能极大提升发布效率。

2. 计算需要下载的文件增量的方法不需要服务端和客户端保存多个版本的文件信息，也不需要计算两个版本之间的差异，这种结构减化了系统结构和降低实施的技术难度。而是实时计算出程序包的文件指纹，充分利用了CPU的多核计算能力。

3. 提供一种程序包一致性检验的机制，能确保程序包在分发到服务器后无丢失和完全一致性，确保了生产环境软件包的一致性和正确性。

附图说明

图1为本发明的程序包增量更新发布方法的流程图。

图2为本发明的程序包增量更新发布系统的结构图示意图。

具体实施方式

为了更好地理解本发明，下面结合具体实施例对本发明作了详细说明。但是，显然可对本发明进行不同的变型和改型而不超出后附权利要求限定的本发明更宽的精神和范围。因此，以下实施例具有例示性的而没有限制的含义。

如图2所示，本申请的系统包括客户端202和服务端201，其中程序包所在的那一端本文中称为服务端，需要下载程序的一端本文称作客户端。文件指纹模块2011在服务端，文件指纹模块包括指纹计算单元20111和HTTP服务单元20112；服务端主要提供程序包及程序包内文件的指纹和HTTP文件下载服务。客户端有文件传输模块2021、文件检验模块2022、程序包合成模块2023和文件仓库模块2024，文件仓库模块包括物理文件库单元20241和文件指纹库单元20242；客户端是发起文件下载，检验文件，合成最后的程序包，以及保存文件的指纹信息和存放文件到物理文件库中。下面详细地描述系统是如何工作，以客户端发一起一个程序包传输请求开始说明。

如图1所示，程序包增量更新发布方法包括以下步骤：

步骤101：客户端请求返回指纹清单文件，请求时会带上程序包的路径和文件名；

步骤102：服务端计算程序包的文件指纹，并生成指纹清单格式文件；

步骤103：客户端处理指纹清单文件，下载本地文件指纹仓库中不存在的文件；

步骤104：客户端对于本地指纹仓库不存在的文件，构建索引信息；

步骤105：客户端根据指纹清单重组完整程序包；

步骤106：客户端根据指纹清单检验文件完整性。

步骤101，客户端给服务端发起一个文件指纹信息请求，其中传入的参数是程序包的相对路径名和文件名。举例说明，比如http://1.2.3.4/filefingerprint?/a/245/buyer.war，1.2.3.4是服务端的IP地址，filefingerprint表示要请求返回指纹信息，/a/245/buyer.war是要下载的程序包，在/a/245目录下，程序包文件名叫buyer.war,这是一个war包文件。

步骤102，服务端收到这个请求后，首先判断文件类型，不同的文件类型需要使用不同的解压格式，然后使用相应的标准解压缩算法解开程序到工作目录。

扫描工作目录下所有的目录和文件，生成程序包的指纹清单。指纹计算单元最终生成的指纹清单包括程序包的指纹、文件大小、程序包内所有文件和目录的清单；文件项包括文件名、文件大小、是否是目录项、文件的指纹。指纹清单以xml文件格式将返回给客户端供后面的步骤使用。

其中指纹计算单元计算指纹的方法为使用标准的sha1算法。对文件进行计算后生成一个32位的字符串，sha1算法保障了不同的文件一定会生成不同的接要信息，而相同的文件生成的摘要信息是一样的。

步骤103，客户端通过http请求成功返回了程序包的指纹清单，对于指纹清单中的文件项进行循环处理。其中的处理步骤和流程如下：

1.从文件项取出文件指纹字符串，这个字符串作为一个Key去文件指纹库单元进行检索，如果返回结果为存在，说明本地的文件库中存在这个文件；反之则是需要增量下载的文件。

2.如果1中返回的结果为不存在，从文件项中取出文件名，向服务端发起文件下载请求，请求的参数为文件名。

2.1文件传输模块从服务端下载到这个文件，放入到物理文件库单元中；

2.2文件检验模块负责对下载好的文件进行一次sha1摘要计算，得到这个文件的指纹，再和指纹清单中该文件指纹比较，如果一致，说明网络文件传输没有丢数据，文件是一致的。

2.3如图1步骤104，把2.2中的指纹调用文件指纹库单元的接口，保存指纹到库中，供以后二次使用。

3.如果1中返回的结果为存在，则根据文件指纹去检查判断物理文件库单元中是否存在真实的物理文件。物理文件库单元实现为一个文件目录，目录中存放了所有的单个物理文件。其中物理文件名和文件指纹一一对应，本系统使用的目录规则是文件指纹的前两位作为一级目录，因为文件指纹是16位，所以取2位将会有256个目录；这些目录下存放的就是具体的单个文件。物理文件不存在，则向文件传输模块发起一个文件下载请求，重新下载文件，并放入到物理文件库单元中。

步骤105，客户端重组整个完全的程序包。重组工作由程序合成模块来完成，重组的方法如下：

1.创建程序包根工作目录，本系统使用程序包的指纹作为目录名。

2.读入指纹清单文件，循环每一个文件项

a)判断是否为目录，如果是，创建这个目录；

b)如果是文件，则取出文件名（此文件名包含相对于程序包根的相对路径）和文件指纹，从物理文件库拷贝物理文件到文件名指定的目录中并重命名为文件项中的文件名，如果目录不存在则创建。

3.所以文件项处理完后，程序包完整的结构就在客户端重组了。

步骤106，完整的程序包重组后，检验其正确性。本系统使用的检验方式为文件指纹+文件大小的方法。具体步骤如下：

1.进入步骤105生成的程序包根工作目录；

2.读入指纹清单文件，循环每一个文件项

a)如果是目录，判断程序包工作目录是否存在该目录，不存在，记录相关信息，检验失败

b)如果是文件，判断程序包工作目录下是否存在该文件，如存在，再计算工作目录下的文件指纹，文件大小，与指纹清单文件中的比较，任何一个不同，记录相关信息，检验失败

3.如果第2步没有任何检验失败，说明程序包工作目录下的文件和指纹清单中的是一致的，发布成功。如果有检验错误，则应由工人去查看失败的日志信息，去重新发布一次或者查找具体的原因。

上面详细描述了一个完整的程序包下载的完整过程和步骤，下面再详细地说明本申请所述的系统各单元实现方面的细节。

系统中文件指纹库使用关系数据库做数据存储，文件指纹表的字段设计为file_fingerprint（指纹，文件名，文件大小，指纹创建时间）。这个单元对外部提供2个接口，接口1为，根据查询指纹参数，返回指纹中库中是否存在；接口2为，插入和创建一条文件指纹记录。

指纹计算单元，使用python的sha1算法计算文件的指纹，其它编程语言也很容易做到。

HTTP服务单元，使用nginx或者apache提供稳定的HTTP文件下载服务。

文件传输模块， 使用标准的Python HTTP请求和文件下载功能来实现，其它语言有类似实现。

本申请所述的方法和系统适用于低速网速（带宽低于100k/s）的方法和设计主要体现于，在低速网络下传输大文件程序包需要更多的下载时间，本申请中使用在增量判定和方法和系统设计避免了重复文件的下载，只传输有变更的文件，因而最低限度地保证了最小的传输量，从而在带宽不变的情况下降低了下载时间。其二是低速网络下文件传输的网络不稳定造成的文件程序包不一致的问题，本申请所述的步骤106的基于文件指纹的程序包文件完整性检查，以及本申请所述系统中的文件传输模块、文件检验模块使得这种因为网络不稳定造成的不一致性，能够得到检测和识别，文件传输模块的文件重传功能更保障了出现了这种情况后，系统能够自动修复文件的不一致性，较好的解决了低速网络下网络不稳定造成的不一致性问题。

Claims (10)

1.一种程序包增量更新的方法，依次包括以下步骤：

Ⅰ．远程解压缩程序包，生成程序包目录结构和文件列表清单以及每个文件的指纹；

Ⅱ. 构建本地文件指纹信息库；

Ⅲ. 确定需要增量更新的文件；

Ⅳ. 将需要增量更新的文件传输到本地；

Ⅴ. 把所述文件的指纹增加到所述指纹信息库，并保存文件到本地的缓存仓库中；

Ⅵ. 对于本地文件指纹信息库中存在的文件，直接从本地的缓存仓库中取出文件，按程序包的目录层次结构重新组合程序包；

Ⅶ. 对所述重新组合的程序包进行一次文件完整性检查，确认目标文件和原始文件一致。

2.根据权利要求1所述的程序包增量更新的方法，其特征在于：在所述步骤Ⅲ中，所述确定需要增量更新的文件的方法包括，对程序包里的每一个文件的指纹与本地指纹信息库比对，如果本地指纹信息库没有，说明这是一个需要增量的文件。

3.根据权利要求2所述的程序包增量更新的方法，其特征在于：在所述步骤Ⅶ中，所述文件完整性检查的方法包括重新根据指纹算法计算一次指纹。

4.根据权利要求3所述的程序包增量更新的方法，其特征在于：所述指纹算法包括sha1算法，所述指纹为sha1算法得到的序列。

5.一种程序包增量更新发布的系统，具有文件传输模块，其特征在于：还包括文件指纹模块、文件检验模块、程序包合成模块、文件仓库模块；所述文件指纹模块包括指纹计算单元和ＨＴＴＰ服务单元；文件检验模块检验文件的正确性；程序包合成模块将文件按一定规则重组；文件仓库模块包括物理文件库单元和文件指纹库单元，分别存储文件和文件指纹。

6.根据权利要求5所述的程序包增量更新发布的系统，其特征在于：程序包所在的那一段称为服务端，所述文件指纹模块位于所述服务端。

7.根据权利要求5所述的程序包增量更新发布的系统，其特征在于：需要下载程序包的一端称为客户端，所述文件传输模块、文件检验模块、程序包合成模块、文件仓库模块位于客户端。

8.根据权利要求7所述的程序包增量更新发布的系统，其特征在于：所述客户端发起文件下载，检验文件，合成最后的程序包，以及保存文件的指纹信息到文件指纹库单元并将文件存放到物理文件库单元中。

9.根据权利要求8所述的程序包增量更新发布的系统，其特征在于：所述文件指纹库单元使用关系型数据库做数据存储，该单元对外部提供两个接口，接口1为根据查询指纹参数，返回指纹库中是否存在，接口2为插入和创建一条文件指纹记录。

10.根据权利要求5至9所述的程序包增量更新发布的系统，其特征在于：所述客户端给所述服务端发起一个文件指纹信息请求。