CN109714330A - 一种跨网络的断点续传方法和系统 - Google Patents

Abstract

本发明涉及一种跨网络的断点续传方法和系统，前端对待上传文件进行加密，获得文件唯一标识发送给后端；后端根据文件唯一标识查询数据库，若文件上传过，则直接返回文件信息给前端；前端根据自定义配置开始对待上传文件进行分片，获得分片文件；前端将分片文件上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片；后端接收前端上传的分片文件，进行唯一标识验证，若验证失败，则返回上传文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，将完整文件保存在文件服务器，并返回完整文件信息给前端，并把完整文件信息保存在数据库。其可以节约时间、流量，节省存储空间。

Description

一种跨网络的断点续传方法和系统

技术领域

本发明涉及计算机文件传输领域，尤其涉及一种跨网络的断点续传方法和系统。

背景技术

随着现代社会的发展，移动办公越来越频繁，使用手机进行数据采集，也越来越方便。在警员执法过程中，可以利用随身手机进行录制视频、音频、拍照等。传统的传输文件方式，在网络不稳定的情况下，大文件常常会传输失败，重新传输会浪费流量和传输时间。而且由于公安内网与互联网不通，使文件不能实时同步到公安内部系统中，导致数据流通不及时。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种跨网络的断点续传方法和系统，能够便于民警进行数据采集，并通过此方法及系统有效地提高公安的工作效率，降低民警工作强度，加强社会治安综合治理。

本发明是这样实现的：本发明提供一种跨网络的断点续传方法，包括如下步骤：

S1、前端首先对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；

S2、后端根据文件唯一标识查询持久化库，若该文件上传过，则直接返回文件信息给前端，即达到了秒传，否则执行步骤S3；

S3、前端根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；

S4、前端将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；

S5、后端接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型，上传完成。

进一步地，在步骤S3中，根据用户的实际网络环境，自动设置最高效率的分片方式，对分片大小自动配置，对文件对象采用分段读取至内存中的分片方式。

进一步地，前端与后端之间使用至少一层反向代理服务器进行跨网络通信，实现跨网络请求；反向代理服务器采用nginx进行代理转发。

进一步地，前端对分片文件进行异步并发上传，并根据配置控制并发数量。

进一步地，在步骤S3中具体分片方式为：通过动态的监测前端的网络速度及带宽，结合自定义配置中的分片大小限制、分片数量的限制，来动态的计算出分片文件的大小，进行分片。

本发明提供一种跨网络的断点续传系统，包括前端、后端，所述前端用于对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；所述后端根据文件唯一标识查询持久化库，若文件上传过，则直接返回文件信息给前端，即达到了秒传；所述前端用于根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；所述前端还用于将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；所述后端用于接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证每个分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型。

进一步地，所述前端为各类用户终端，包括移动端、WEB端、PC客户端；所述后端为各类支撑服务端，包括跨网络的转发服务器、接收和组装文件服务器、数据库。

进一步地，所述用户终端与服务器之间使用至少一层反向代理服务器进行跨网络通信，并通过安全网闸，保证数据的安全性；反向代理服务器采用nginx进行代理转发。

本发明提供一种跨网络的断点续传系统，包括文件加密模块、文件分片模块、文件上传控制模块、文件组装模块以及文件持久化模块，其中：

所述文件加密模块用于对待上传文件进行加密，获得文件唯一标识；

所述文件分片模块用于根据自定义配置对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；并将包含分片文件以及分片文件信息的提供给文件上传控制模块；

所述文件上传控制模块用于将包含分片文件以及分片文件信息的集合进行上传，并根据分片的返回结果展示上传进度，以及重新上传上传失败的分片；

所述文件组装模块用于最终接收分片文件，对每个分片文件进行唯一标识验证，用于验证分片文件的完整性，当全部分片上传完成后，根据分片排序对分片文件进行组装，组装后的文件保存在文件服务器，调用文件持久化模块将完整文件信息保存在数据库；文件信息包括完整文件的唯一标识、文件名、文件大小、文件类型、文件存储位置；

所述文件持久化模块用于将文件信息保存在数据库，同时提供通过文件的唯一标识来查询完整文件的所有信息。

进一步地，本发明的跨网络的断点续传系统还包括文件转发模块，所述文件转发模块用于对文件上传控制模块的上传请求进行转发，通过反向代理来实现跨网络；使用多层文件转发模块来跨多层网络；并通过安全网闸，保证数据的安全性；反向代理服务器采用nginx进行代理转发。

进一步地，所述文件上传控制模块采用文件分片异步上传控制模块，文件分片异步上传控制模块用于对分片文件进行异步并发上传，并根据配置控制并发数量；所述文件分片模块用于动态监测前端的网络速度及带宽，结合自定义配置中的分片大小限制、分片数量的限制，来动态的计算出分片文件的大小，进行分片。

与现有技术相比，本发明具有以下有益效果：

本发明前端首先对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；后端根据文件唯一标识查询数据库如持久化库，若文件上传过，则直接返回文件信息给前端，即达到了秒传；通过获得的唯一标识查询持久化库，可以达到一个秒传的效果，当同一个文件多次上传时，可以大大减少等待时间，提升用户体验，节约流量，同时也节省文件服务器的存储空间，即同一个文件不需要存多次。本系统的文件信息持久化的设计可以减少企业存储重复文件的成本，同时大大提升用户体验。

本系统提供了一种跨网络的请求方式，前端与后端之间使用至少一层反向代理服务器进行跨网络通信，解决了互联网与企业内网之间由于多层网闸导致数据流通不及时的问题。

本发明提供了一种可拓展的模块化的断点续传系统，包括文件加密模块、文件分片模块、文件上传控制模块、文件组装模块以及文件转发模块，可以根据不同的需求场景自行定制各个模块，提高文件传输效率。本发明的文件上传控制模块对分片文件进行“异步并发上传”，并根据返回的结果，展示上传进度，如果上传失败，则只需上传失败的分片，即断点续传。“异步并发上传”可以采用并发控制器来进行控制并发数量，以减少后端服务器压力。且本发明支持可配置的分片模块，可以根据网络状况对分片大小自动配置，对文件对象采用分段读取至内存中的分片方式。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例的方法网络层级图；

图3为本发明实施例系统结构框图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

参见图1和图2，本实施例提供一种跨网络的断点续传方法，包括如下步骤：

S1、前端首先对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；

S2、后端根据文件唯一标识查询数据库，若文件上传过，即达到了秒传，可以查询到文件的名称、大小、存储位置、文件类型等文件信息，并将这些文件信息直接返回给前端；若没有上传过，则执行步骤S3；

S3、前端根据自定义配置开始对待上传文件进行分片，具体分片方式为：通过动态的监测前端的网络速度及带宽，结合自定义配置中的分片大小限制、分片数量的限制，来动态的计算出分片文件的大小，进行分片；分片后可以获得包含分片文件，分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；

S4、前端将分片文件上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；上传方式为：采用异步并发上传，根据配置文件可配置并发数量。

S5、前端与后端间使用多层反向代理服务器进行跨网络通信，实现跨网络请求。反向代理服务器采用nginx进行代理转发。

S6、后端接收前端上传的分片文件，进行分片文件的唯一标识验证，保证分片的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器；并把完整文件的文件名，文件大小，文件存储位置，文件类型等信息返回给前端，同时也保存在数据库。上传完成。

作为优选的，在步骤S1中，前端解析文件，通过“加密程序”获得唯一标识。这里的“加密程序”为一个可替换模块，可以是市面上常用的MD5、SHA1、SHA2、SHA256、CEC32等加密算法中的一个或多个，也可以自行研发加密程序，根据实际使用环境从编码速度、碰撞率等多维度来进行选择。需要注意的是，前端选择的加密程序与后端的加密程序需保持一致。

作为优选的，在步骤S2中，通过S1获得的唯一标识查询持久化库，可以达到一个秒传的效果，当同一个文件多次上传时，可以大大减少等待时间，提升用户体验，节约流量，同时也节省文件服务器的存储空间，即同一个文件不需要存多次。

作为优选的，在步骤S3中，支持可配置的分片模块，可以根据网络状况对分片大小自动配置，对文件对象采用分段读取至内存中的分片方式，可获得分片的总数，分片的顺序、唯一标识，原始文件的文件名、大小、文件类型、唯一标识，返回一个分片集合。

作为优选的，在步骤S4中，对分片集合进行“异步并发上传”，并根据返回的结果，展示上传进度，如果上传失败，则只需上传失败的分片，即断点续传。“异步并发上传”可以采用并发控制器来进行控制并发数量，以减少后端服务器压力。

作为优选的，在步骤S5中，前端与后端间使用多层反向代理服务器进行跨网络通信，实现跨网络请求。

作为优选的，在步骤S6中，后端进行接收分片文件，进行分片文件唯一标识验证，若验证失败返回上传文件失败，若验证成功则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序进行组合文件，返回文件信息给前端，上传完成，把文件信息保存持久化库。

实施例二

参见图1和图2，本实施例提供一种跨网络的断点续传系统，包括前端、后端，所述前端用于对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；所述后端根据文件唯一标识查询持久化库，若文件上传过，则直接返回文件信息给前端，即达到了秒传；所述前端用于根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；所述前端还用于将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；所述后端用于接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证每个分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型。

进一步地，所述用户终端与服务器之间使用至少一层反向代理服务器进行跨网络通信，并通过安全网闸，保证数据的安全性。

所述前端为各类用户终端，包含但不限于移动端、WEB端、PC客户端等用户终端，所述后端为各类支撑服务端，包含但不限于跨网络的转发服务器、接收和组装文件服务器、数据库等服务端。

实施例三

参见图2和图3，本实施例提供一种跨网络的断点续传系统，包括文件加密模块、文件分片模块、文件上传控制模块、文件组装模块、文件转发模块及文件持久化模块；其中：

所述文件加密模块用于对待上传文件进行加密，获得文件唯一标识；

所述文件分片模块用于根据自定义配置对待上传文件进行分片，将分片文件提供给文件上传控制模块；

所述文件上传控制模块用于将分片文件进行上传，并根据分片的返回结果展示上传进度，以及重新上传上传失败的分片；

所述文件转发模块用于对文件上传控制模块的上传请求进行转发，通过反向代理来实现跨网络；

所述文件组装模块用于最终接收分片文件，对每个分片文件进行唯一标识验证，来保证文件的完整性，当全部分片上传完成后，根据分片排序对分片文件进行组装，组装后的文件保存在文件服务器，调用文件持久化模块将完整文件信息保存在数据库；

所述文件持久化模块用于把完整文件的唯一标识、文件名、文件大小、文件类型、文件存储位置等文件信息保存在数据库，同时也提供通过文件的唯一标识来查询完整文件的所有信息。

进一步地，所述文件分片模块用于根据用户的实际网络环境，自动设置最高效率的分片方式，对分片大小自动配置，对文件对象采用分段读取至内存中的分片方式。

本发明提供了一种可拓展的模块化的断点续传方法，可以根据不同的需求场景自行定制各个模块，提高文件传输效率；其次本系统提供了一种跨网络的请求方式，解决了互联网与企业内网之间由于多层网闸导致数据流通不及时的问题；最后本系统的文件信息持久化的设计可以减少企业存储重复文件的成本，同时大大提升用户体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种跨网络的断点续传方法，其特征在于,包括如下步骤：

S1、前端首先对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；

S2、后端根据文件唯一标识查询持久化库，若该文件上传过，则直接返回文件信息给前端，即达到了秒传，否则执行步骤S3；

S3、前端根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；

S4、前端将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；

S5、后端接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型，上传完成。

2.根据权利要求1所述的方法，其特征在于：前端与后端之间使用至少一层反向代理服务器进行跨网络通信，实现跨网络请求；反向代理服务器采用nginx进行代理转发。

3.根据权利要求1所述的方法，其特征在于：前端对分片文件进行异步并发上传，并根据配置控制并发数量。

4.根据权利要求1所述的方法，其特征在于：在步骤S3中具体分片方式为：通过动态的监测前端的网络速度及带宽，结合自定义配置中的分片大小限制、分片数量的限制，来动态的计算出分片文件的大小，进行分片。

5.一种跨网络的断点续传系统，其特征在于：包括前端、后端，所述前端用于对待上传文件进行加密，获得文件唯一标识，并把文件唯一标识发送给后端；所述后端根据文件唯一标识查询持久化库，若文件上传过，则直接返回文件信息给前端，即达到了秒传；所述前端用于根据自定义配置开始对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；所述前端还用于将包含分片文件以及分片文件信息的集合上传给后端，并展示上传进度，若分片上传失败，则重新上传失败的分片，即断点续传；所述后端用于接收前端上传的分片文件，并对每个分片文件进行唯一标识验证，验证每个分片文件的完整性，若验证失败，则返回上传分片文件失败信息给前端，若验证成功，则验证分片是否全部上传完毕，当全部分片上传完成后，按照分片排序组合文件，把组合后的完整文件保存在文件服务器，并把文件信息返回给前端，同时也将文件信息保存在数据库，文件信息包括文件的名称、大小、存储位置、文件类型。

6.根据权利要求5所述的系统，其特征在于：所述前端为各类用户终端，包括移动端、WEB端、PC客户端；所述后端为各类支撑服务端，包括跨网络的转发服务器、接收和组装文件服务器、数据库。

7.根据权利要求5所述的系统，其特征在于：所述用户终端与服务器之间使用至少一层反向代理服务器进行跨网络通信，并通过安全网闸，保证数据的安全性；反向代理服务器采用nginx进行代理转发。

8.一种跨网络的断点续传系统，其特征在于：包括文件加密模块、文件分片模块、文件上传控制模块、文件组装模块以及文件持久化模块，其中：

所述文件加密模块用于对待上传文件进行加密，获得文件唯一标识；

所述文件分片模块用于根据自定义配置对待上传文件进行分片，分片后获得包含分片文件以及分片文件信息的集合；分片文件信息包括分片的总数、每个分片文件的顺序、每个分片文件的唯一标识以及原始文件的文件名、大小、文件类型、原始文件的唯一标识；并将包含分片文件以及分片文件信息的提供给文件上传控制模块；

所述文件上传控制模块用于将包含分片文件以及分片文件信息的集合进行上传，并根据分片的返回结果展示上传进度，以及重新上传上传失败的分片；

所述文件组装模块用于最终接收分片文件，对每个分片文件进行唯一标识验证，用于验证分片文件的完整性，当全部分片上传完成后，根据分片排序对分片文件进行组装，组装后的文件保存在文件服务器，调用文件持久化模块将完整文件信息保存在数据库；文件信息包括完整文件的唯一标识、文件名、文件大小、文件类型、文件存储位置；

所述文件持久化模块用于将文件信息保存在数据库，同时提供通过文件的唯一标识来查询完整文件的所有信息。

9.根据权利要求8所述的系统，其特征在于：还包括文件转发模块，所述文件转发模块用于对文件上传控制模块的上传请求进行转发，通过反向代理来实现跨网络；使用多层文件转发模块来跨多层网络；并通过安全网闸，保证数据的安全性；反向代理服务器采用nginx进行代理转发。

10.根据权利要求8所述的系统，其特征在于：所述文件上传控制模块采用文件分片异步上传控制模块，文件分片异步上传控制模块用于对分片文件进行异步并发上传，并根据配置控制并发数量；所述文件分片模块用于动态监测前端的网络速度及带宽，结合自定义配置中的分片大小限制、分片数量的限制，来动态的计算出分片文件的大小，进行分片。