CN109413179A - 一种基于http请求的多文件异步重传的方法及装置 - Google Patents

Abstract

本发明公开一种基于HTTP请求的多文件异步重传的方法及装置，当检测待上传文件上传的记录状态为失败时，启动预设重传任务；若根据预设重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则将待上传文件上传的记录状态记录在数据库中，并将待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；若根据预设定时重传任务进行待上传文件的重传后，检测记录状态为失败，则根据预设的文件保存期，定时将上传失败的待上传文件删除；若根据预设定时重传任务进行待上传文件的重传后，检测记录状态为成功，则将待上传文件上传的记录状态记录在数据库中，并将本地应用服务器磁盘中的待上传文件删除。

Description

一种基于HTTP请求的多文件异步重传的方法及装置

技术领域

本发明属于文件处理技术领域，特别是涉及一种基于HTTP请求的多文件异步重传的方法及装置。

背景技术

随着人们工作生活的越来越丰富，使用应用系统APP的人越来越多，更多的人喜欢使用APP上传些图片、视频等文件，文件上传功能用的越来越频繁，不同的APP可能需要开发各自上传功能，比较耗费时间和精力成本。

针对上传功能共性很多，通过基于HTTP请求的文件上传功能，做成可以公用的平台供客户使用，提高开发效率，节约时间和精力成本，目前应用最多的是作为业务系统的一个内部模块，且采用异步模式实现的模式，但由于文件上传功能与业务系统耦合性较高，虽然采用异步模式上传文件，但是还是需要占用业务系统的带宽，另外，未设置重传功能，因此，当并发量大时，需要占用业务系统带宽；当文件上传失败时，容易导致文件丢失，从而影响用户体验。

发明内容

本发明的目的在于提出一种基于HTTP请求的多文件异步重传的方法及装置，以避免文件的丢失，提升用户体验。

为达到上述目的，本发明提供了以下技术方案：

一种基于HTTP请求的多文件异步重传的方法，包括：

当检测待上传文件上传的记录状态为失败时，启动预设重传任务；

若根据所述预设重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；

若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的所述待上传文件删除。

进一步地，还包括：

若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述本地应用服务器磁盘中的所述待上传文件删除。

进一步地，所述当检测待上传文件上传的记录状态为失败时，启动预设重传任务的步骤之前还包括：

判断任务线程池是否超过预设最大值；

当所述任务线程池大于所述预设最大值时，确定所述待上传文件上传的记录状态为失败；

判断所述任务线程池是否超过核心线程数；

当所述任务线程池超过核心线程数时，创建任务线程；

判断FTP连接池是否超过最大值，若是，则启动预设重传任务。

进一步地，所述若根据所述预设重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务的步骤，具体为：

判断创建FTP连接是否成功；

若创建所述FTP连接不成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在所述本地应用服务器磁盘，启动预设定时重传任务；

若创建所述FTP连接成功，则执行上传任务。

进一步地，所述若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的所述待上传文件删除的步骤，具体为：

判断所述待上传文件上传的记录是否超过所述预设的文件保存期；

若所述待上传文件上传的记录超过所述预设的文件保存期，则定时将上传失败的所述待上传文件删除；

若所述待上传文件上传的记录未超过所述预设的文件保存期，则定时将上传失败的所述待上传文件进行重传。

一种基于HTTP请求的多文件异步重传的装置，包括：

第一处理单元，用于当检测待上传文件上传的记录状态为失败时，启动预设重传任务；

第二处理单元，用于若根据所述预设重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在所述本地应用服务器磁盘，启动预设定时重传任务；

第三处理单元，用于若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的所述待上传文件删除。

进一步地，还包括：

第四处理单元，用于若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述本地应用服务器磁盘中的所述待上传文件删除。

进一步地，所述第一处理单元之前还包括：

第一判断单元，用于判断任务线程池是否超过预设最大值；

当所述任务线程池大于所述预设最大值时，确定所述待上传文件上传的记录状态为失败；

第二判断单元，用于判断所述任务线程池是否超过核心线程数；

当所述任务线程池超过核心线程数时，创建任务线程；

第三判断单元，用于判断FTP连接池是否超过最大值，若是，则启动预设重传任务。

进一步地，所述第二处理单元包括：

第四判断单元，用于判断创建FTP连接是否成功；

若创建所述FTP连接不成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在所述本地应用服务器磁盘，启动预设定时重传任务；

若创建所述FTP连接成功，则执行上传任务。

进一步地，所述第三处理单元包括：

第五判断单元，用于判断所述待上传文件上传的记录是否超过所述预设的文件保存期；

若所述待上传文件上传的记录超过所述预设的文件保存期，则定时将上传失败的所述待上传文件删除；

若所述待上传文件上传的记录未超过所述预设的文件保存期，则定时将上传失败的所述待上传文件进行重传。

经由上述的技术方案可知，与现有技术相比，本发明公开了一种基于HTTP请求的多文件异步重传的方法及装置，首先当检测待上传文件上传的记录状态为失败时，启动预设重传任务；然后，若根据预设重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则将待上传文件上传的记录状态记录在数据库中，并将待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；最后，若根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的待上传文件删除；若根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为成功，则将待上传文件上传的记录状态记录在数据库中，并将本地应用服务器磁盘中的待上传文件删除。本发明通过设置预设重传任务和预设定时重传任务，当检测待上传文件上传的记录状态为失败时，启动预设重传任务进行待上传文件的重传，在多次重传未成功时，启动预设定时重传任务进行待上传文件的定时重传，若一直上传失败，则根据预设的文件保存期对待上传文件进行清理，避免待上传文件的丢失，提升用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种基于HTTP请求的多文件异步重传的方法流程图；

图2为本发明实施例提供的一种基于HTTP请求的多文件异步重传的方法具体流程图；

图3为本发明实施例提供的一种基于HTTP请求的多文件异步重传的装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于HTTP请求的多文件异步重传的方法，该方法具体包括如下步骤：

S101、当检测待上传文件上传的记录状态为失败时，启动预设重传任务。

需要说明的是，在本发明实施例中APP通过发送HTTP请求，点击上传，且上传的信息会记录在系统中，若上传失败的情况下，预设重传任务可以根据需求预先设置的，具体的，刚开始可以设置有3次重传的机会，若3次上传均失败，则失败的信息会记录在系统里。

S102、若根据预设重传任务进行待上传待上传文件的重传后，检测待上传文件上传的记录状态为失败，则将待上传文件上传的记录状态记录在数据库中，并将待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务。

需要说明的是，在本发明实施例中，若根据预设重传任务进行文件的重传后，检测待上传文件上传的记录状态为失败，即3次重传均失败，则失败的信息会记录在系统里的数据库中，同时，待上传文件会存储在本地应用服务器磁盘中，并启动预设定时重传任务，再次进行待上传文件的上传。

S103、若根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的待上传文件删除。

S104、若根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为成功，则将待上传文件上传的记录状态记录在数据库中，并将本地应用服务器磁盘中的待上传文件删除。

需要说明的是，在本发明实施例中，若根据预设定时重传任务进行待上传文件的重传后，即启动预设定时重传任务后，再次检测待上传文件上传的记录状态，若检测为失败，则根据预设的文件保存期，定时将上传失败的待上传文件删除；若检测为成功，则将待上传文件上传的记录状态记录在数据库中，并将本地应用服务器磁盘中的待上传文件删除。

本发明实施例作为一个独立应用系统，提供了一种可以多文件异步上传且失败时可以定时重传的功能，适用于单机、集群场景(若图片文件，支持图片缩略图功能)，主要用到了Spring技术，Mybatis技术，连接池技术，线程池技术等，详细流程如下描述：

用户点击上传，上传成功，则成功的信息会记录在数据库里，该条记录状态status为1、上传成功；

上传失败的情况下，刚开始，有3次重传的机会，3次上传均失败，那么失败的信息会记录在数据库里，该条记录状态status为2、上传失败，文件会存储在本地。

本系统定时任务，会每隔5分钟再去重传失败文件(频率通过配置文件设置)，直至上传成功，然后删除本地文件。若一直上传失败，则失败文件保存的天数，超过保存天数时(保存天数通过配置文件设置)，无论上传成功与否，定时任务将自动清理失败文件。

具体的，当检测待上传文件上传的记录状态为失败时，启动预设重传任务的步骤之前还包括：

判断任务线程池是否超过预设最大值；

当任务线程池大于预设最大值时，确定待上传文件上传的记录状态为失败；

判断任务线程池是否超过核心线程数；

当任务线程池超过核心线程数时，创建任务线程；

判断FTP连接池是否超过最大值，若是，则启动预设重传任务。

具体的，若根据预设重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则将待上传文件上传的记录状态记录在数据库中，并将待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务的步骤，具体为：

判断创建FTP连接是否成功；

若创建FTP连接不成功，则将待上传文件上传的记录状态记录在数据库中，并将待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；

若创建FTP连接成功，则执行上传任务。

具体的，若根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的待上传文件删除的步骤，具体为：

判断待上传文件上传的记录是否超过预设的文件保存期；

若待上传文件上传的记录超过预设的文件保存期，则定时将上传失败的待上传文件删除；

若待上传文件上传的记录未超过预设的文件保存期，则定时将上传失败的待上传文件进行重传。

需要说明的是，作为一个独立应用系统，提供了一种可以多文件异步上传且失败时可以定时重传的功能，适用于单机、集群场景，具体流程如图2所示，前端APP通过发送HTTP请求，点击上传，上传的信息会记录在系统里；上传失败的情况下，刚开始，有3次重传的机会，3次上传均失败，那么失败的信息会记录在系统里，同时文件会存储在本地；本系统定时任务，会每隔5分钟再去重传失败文件(频率可以通过修改配置文件)，直至上传成功，然后删除本地文件。若一直上传失败，则失败文件超过文件保存期(文件保存期可以通过修改配置文件)，定时任务将自动清理失败文件，释放磁盘空间。本发明实施例在部署好上述应用系统后，调用接口服务：http://服务器IP:端口/fileUploadProject/fileupload。

本发明实施例提供的一种基于HTTP请求的多文件异步重传的方法，首先当检测待上传文件上传的记录状态为失败时，启动预设重传任务；然后，若根据预设重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则将待上传文件上传的记录状态记录在数据库中，并将待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；最后，若根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的待上传文件删除；若根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为成功，则将待上传文件上传的记录状态记录在数据库中，并将本地应用服务器磁盘中的待上传文件删除。本发明通过设置预设重传任务和预设定时重传任务，当检测待上传文件上传的记录状态为失败时，启动预设重传任务进行待上传文件的重传，在多次重传未成功时，启动预设定时重传任务进行待上传文件的定时重传，若一直上传失败，则根据预设的待上传文件保存期对文件进行清理，避免待上传文件的丢失，提升用户体验。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。

如图3所示，本发明实施例提供了一种基于HTTP请求的多文件异步重传的装置，该装置具体包括：第一处理单元301、第二处理单元302、第三处理单元303和第四处理单元304，其中：

第一处理单元301，用于当检测待上传文件上传的记录状态为失败时，启动预设重传任务；

第二处理单元302，用于若根据所述预设重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；

第三处理单元303，用于若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的所述待上传文件删除。

第四处理单元304，用于若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述本地应用服务器磁盘中的所述待上传文件删除。

进一步的，上述第一处理单元301之前还包括：

第一判断单元，用于判断任务线程池是否超过预设最大值；

当所述任务线程池大于所述预设最大值时，确定所述待上传文件上传的记录状态为失败；

第二判断单元，用于判断所述任务线程池是否超过核心线程数；

当所述任务线程池超过核心线程数时，创建任务线程；

第三判断单元，用于判断FTP连接池是否超过最大值，若是，则启动预设重传任务。

进一步的，上述第二处理单元302包括：

第四判断单元，用于判断创建FTP连接是否成功；

若创建所述FTP连接不成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；

若创建所述FTP连接成功，则执行上传任务。

进一步的，上述第三处理单元303包括：

第五判断单元，用于判断所述待上传文件上传的记录是否超过所述预设的文件保存期；

若所述待上传文件上传的记录超过所述预设的文件保存期，则定时将上传失败的所述待上传文件删除；

若所述待上传文件上传的记录未超过所述预设的文件保存期，则定时将上传失败的所述待上传文件进行重传。

本发明实施例提供的一种基于HTTP请求的多文件异步重传的装置，首先当第一处理单元检测待上传文件上传的记录状态为失败时，启动预设重传任务；然后，若第二处理单元根据预设重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则将待上传文件上传的记录状态记录在数据库中，并将待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；最后，若第三处理单元根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的待上传文件删除；若根据预设定时重传任务进行待上传文件的重传后，检测待上传文件上传的记录状态为成功，则将待上传文件上传的记录状态记录在数据库中，并将本地应用服务器磁盘中的待上传文件删除。本发明通过设置预设重传任务和预设定时重传任务，当检测待上传文件上传的记录状态为失败时，启动预设重传任务进行待上传文件的重传，在多次重传未成功时，启动预设定时重传任务进行待上传文件的定时重传，若一直上传失败，则根据预设的待上传文件保存期对文件进行清理，避免待上传文件的丢失，提升用户体验。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于HTTP请求的多文件异步重传的方法，其特征在于，包括：

当检测待上传文件上传的记录状态为失败时，启动预设重传任务；

若根据所述预设重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务；

若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的所述待上传文件删除。

2.根据权利要求1所述的方法，其特征在于，还包括：

若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述本地应用服务器磁盘中的所述待上传文件删除。

3.根据权利要求2所述的方法，其特征在于，所述当检测待上传文件上传的记录状态为失败时，启动预设重传任务的步骤之前还包括：

判断任务线程池是否超过预设最大值；

当所述任务线程池大于所述预设最大值时，确定所述待上传文件上传的记录状态为失败；

判断所述任务线程池是否超过核心线程数；

当所述任务线程池超过核心线程数时，创建任务线程；

判断FTP连接池是否超过最大值，若是，则启动预设重传任务。

4.根据权利要求3所述的方法，其特征在于，所述若根据所述预设重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在本地应用服务器磁盘，启动预设定时重传任务的步骤，具体为：

判断创建FTP连接是否成功；

若创建所述FTP连接不成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在所述本地应用服务器磁盘，启动预设定时重传任务；

若创建所述FTP连接成功，则执行上传任务。

5.根据权利要求4所述的方法，其特征在于，所述若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的所述待上传文件删除的步骤，具体为：

判断所述待上传文件上传的记录是否超过所述预设的文件保存期；

若所述待上传文件上传的记录超过所述预设的文件保存期，则定时将上传失败的所述待上传文件删除；

若所述待上传文件上传的记录未超过所述预设的文件保存期，则定时将上传失败的所述待上传文件进行重传。

6.一种基于HTTP请求的多文件异步重传的装置，其特征在于，包括：

第一处理单元，用于当检测待上传文件上传的记录状态为失败时，启动预设重传任务；

第二处理单元，用于若根据所述预设重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在所述本地应用服务器磁盘，启动预设定时重传任务；

第三处理单元，用于若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为失败，则根据预设的文件保存期，定时将上传失败的所述待上传文件删除。

7.根据权利要求6所述的装置，其特征在于，还包括：

第四处理单元，用于若根据所述预设定时重传任务进行所述待上传文件的重传后，检测所述待上传文件上传的记录状态为成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述本地应用服务器磁盘中的所述待上传文件删除。

8.根据权利要求7所述的装置，其特征在于，所述第一处理单元之前还包括：

第一判断单元，用于判断任务线程池是否超过预设最大值；

当所述任务线程池大于所述预设最大值时，确定所述待上传文件上传的记录状态为失败；

第二判断单元，用于判断所述任务线程池是否超过核心线程数；

当所述任务线程池超过核心线程数时，创建任务线程；

第三判断单元，用于判断FTP连接池是否超过最大值，若是，则启动预设重传任务。

9.根据权利要求8所述的装置，其特征在于，所述第二处理单元包括：

第四判断单元，用于判断创建FTP连接是否成功；

若创建所述FTP连接不成功，则将所述待上传文件上传的记录状态记录在数据库中，并将所述待上传文件存储在所述本地应用服务器磁盘，启动预设定时重传任务；

若创建所述FTP连接成功，则执行上传任务。

10.根据权利要求9所述的装置，其特征在于，所述第三处理单元包括：

第五判断单元，用于判断所述待上传文件上传的记录是否超过所述预设的文件保存期；

若所述待上传文件上传的记录超过所述预设的文件保存期，则定时将上传失败的所述待上传文件删除；

若所述待上传文件上传的记录未超过所述预设的文件保存期，则定时将上传失败的所述待上传文件进行重传。