CN109462649A - 一种远程文件分析方法、装置、系统及其存储介质 - Google Patents

Abstract

本发明提供了一种远程文件分析方法、装置、系统及其存储介质，涉及远程数据处理技术领域。远程文件分析系统的第一分布式系统接收用户终端上传的文件，将至少部分文件传输至第二分布式系统，第二分布式系统接收到文件后向所述第一分布式系统返回文件对应的上传状态标识，第一分布式系统基于上传状态标识确定分析处理任务中与所述用户设置的分析项目对应的调用参数，并基于该调用参数调用第二分布式系统对文件进行分析处理，并接收第二分布式系统返回的分析处理的结果。该远程文件分析系统通过不同的分布式系统分别进行文件上传和文件分析，解决了大文件或海量文件通过页面上传不稳定、文件分析效率低的问题。

Description

一种远程文件分析方法、装置、系统及其存储介质

技术领域

本发明涉及远程数据处理技术领域，具体而言，涉及一种远程文件分析方法、装置、系统及其存储介质。

背景技术

随着网络传输技术的迅速发展和数据交互的日益频繁，用户在进行许多常用处理任务时不仅仅需要从网站上下载资源，同时还需要上传文件到网站。但是，现有的网站在试图获取并处理用户的本地文件时，都仅仅向用户提供超文本传输协议(HTTP，HyperTextTransfer Protocol)，直接将用户的本地文件通过浏览器上传至服务端通过处理分析模块进行处理分析。而此方式上传速度慢，严重影响系统的操作使用，另外容易造成浏览器崩溃，断点续传控制亦比较复杂，不适用于大型文件的上传(如视频文件)。大型文件的上传不仅费时，而且也不稳定，比如当网页意外关闭时，上传任务不得不重新开始。当多个文件同时通过网页上传到同一服务端处理分析模块时，可能会导致服务器超出负荷而分析速度低、出错甚至是停止运行。

发明内容

有鉴于此，本发明实施例的目的在于提供一种远程文件分析方法、装置、系统及其存储介质，以解决上述问题。

第一方面，本发明实施例提供了一种远程文件分析方法，所述远程文件分析方法包括：接收用户终端上传的文件，将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统；接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；基于所述上传状态标识确定调用参数，并基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；接收所述第二分布式系统返回的分析处理的结果。

综合第一方面，所述接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，包括：从所述第二分布式系统的消息队列中拉取与传输至所述第二分布式系统的文件对应的上传状态标识。

综合第一方面，所述上传状态标识包括任务标识，在所述基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理之前，所述方法还包括：从消息队列中拉取所述任务标识，基于所述任务标识确定所述传输至所述第二分布式系统的文件存在且尚未被分析处理。

综合第一方面，所述基于所述上传状态标识确定调用参数，包括：基于所述上传状态标识中的任务标识在相关表中查询所述分析处理任务中所述用户选择的分析项目，并基于所述用户选择的分析项目确定所述调用参数。

综合第一方面，在所述基于所述任务标识在相关表中查询所述分析处理任务中所述用户选择的分析项目之前，所述方法还包括：获取用户终端创建所述分析处理任务时选择的分析项目，建立所述传输至所述第二分布式系统的文件对应的任务标识与所述分析项目映射的相关表。

综合第一方面，所述接收用户终端上传的文件，包括：通过文件传输协议FTP工具批量接收用户终端上传的文件。

综合第一方面，所述文件包括图片、视频和压缩文件，所述将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统，包括：将所述用户终端上传的文件中的图片和视频直接传输至第二分布式系统；以及将所述用户终端上传的文件中的压缩文件解压后传输至所述第二分布式系统。

综合第一方面，所述将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统包括：确定所述用户终端上传的文件中是否存在满足预设条件的文件；若存在满足预设条件的文件，则将满足所述预设条件的所述至少部分文件传输至所述第二分布式系统。。

综合第一方面，所述确定所述用户终端上传的文件中是否存在满足预设条件的文件，包括：确定所述用户终端上传的文件的名称中是否存在不包括特定前缀的文件名，其中所述特定前缀包括准备上传前缀、未找到对应文件前缀、上传失败前缀、文件类型不符合要求前缀和上传成功前缀中的至少一种。

综合第一方面，所述确定所述用户终端上传的文件中是否存在满足预设条件的文件，包括：定时循环扫描指定位置的文件，确定所述用户终端上传的文件中是否存在满足所述预设条件的文件。。

第二方面，本发明实施例提供了一种远程文件分析方法，所述远程文件分析方法包括：接收第一分布式系统上传的文件；向所述第一分布式系统返回所述文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；接收所述第一分布式系统的调用，对所述文件进行分析处理，并向所述第一分布式系统返回分析处理的结果。

综合第二方面，所述向所述第一分布式系统返回所述文件对应的上传状态标识，包括：在接收到所述文件后将所述文件对应的上传状态标识添加至消息队列中，以使所述第一分布式系统从所述消息队列中获取所述上传状态标识。

第三方面，本发明实施例提供了一种远程文件分析装置，所述远程文件分析方法包括：文件传输模块，用于接收用户终端上传的文件，将所述用户终端上传的文件中预设类型的文件传输至第二分布式系统；标识接收模块，用于接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；调用模块，用于基于所述上传状态标识确定调用参数，并基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；结果接收模块，用于接收所述第二分布式系统返回的分析处理的结果。。

第四方面，本发明实施例提供了一种远程文件分析装置，所述远程文件分析装置包括：文件接收模块，用于接收第一分布式系统上传的文件；标识发送模块，用于向所述第一分布式系统返回所述文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；分析处理模块，用于接受所述第一分布式系统的调用，对所述文件进行分析处理，并向所述第一分布式系统返回分析处理的结果。。

第五方面，本发明实施例还提供了一种第一电子设备，所述第一电子设备包括处理器和存储器，所述处理器和所述存储器连接，所述处理器读取并运行所述存储器中的程序指令，执行上述第一方面中任一项所述方法中的步骤。

第六方面，本发明实施例还提供了一种第二电子设备，所述第二电子设备包括处理器和存储器，所述处理器和所述存储器连接，所述处理器读取并运行所述存储器中的程序指令，执行上述第二方面中任一项所述方法中的步骤。

第七方面，本发明实施例还提供了一种远程文件分析系统，所述远程文件分析系统包括如第五方面所述的第一电子设备以及如第六方面所述的第二电子设备，所述第一电子设备和所述第二电子设备通信连接。

第八方面，本发明实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一方面所述方法中的步骤。

本发明提供的有益效果是：

本发明提供了一种远程文件分析方法、装置、系统及其存储介质，该远程文件分析系统包括第一分布式系统和第二分布式系统，第一分布式系统用于接收用户上传的文件并将该文件传输至第二分布式系统，第二分布式系统用于对第一分布式系统传输来的文件进行分析处理并将分析处理的结果返回给第一分布式系统向用户显示，通过不同的分布式系统进行文件上传和处理分析工作，解决了大文件或者海量文件上传时传输速度慢、不稳定的问题，同时能够通过第二电子设备进行批量的文件分析处理，提高了分析处理的效率和稳定性。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明第一实施例提供的一种远程文件分析系统的模块示意图；

图2为本发明第二实施例提供的一种远程文件分析方法的流程示意图；

图3为本发明第二实施例提供的又一种远程文件分析方法的流程示意图；

图4为本发明第一实施例提供的一种第一分布式系统11和第二分布式系统12的交互示意图；

图5为本发明第二实施例提供的一种远程文件分析装置41的模块示意图；

图6为本发明第二实施例提供的又一种远程文件分析装置42的模块示意图。

图标：10-远程文件分析系统；11-第一分布式系统；12-第二分布式系统；41-远程文件分析装置；42-远程文件分析装置。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

首先对本发明实施例可能涉及的技术术语进行解释：

分布式系统(distributed system)是建立在网络之上的软件系统，正是因为软件的特性，所以分布式系统具有高度的内聚性和透明性。因此，网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统)，而不是硬件。内聚性是指每一个数据库分布节点高度自治，有本地的数据库管理系统；透明性是指每一个数据库分布节点对用户的应用来说都是透明的，看不出是本地还是远程。在分布式数据库系统中，用户感觉不到数据是分布的，即用户不需要知道关系是否分割、有无副本、数据存于哪个站点以及事务在哪个站点上执行等。

FTP(File Transfer Protocol，文件传输协议)是TCP/IP协议组中的协议之一。FTP协议包括两个组成部分，其一为FTP服务器，其二为FTP客户端。其中FTP服务器用来存储文件，用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。在开发网站的时候，通常利用FTP协议把网页或程序传到Web服务器上。默认情况下FTP协议使用TCP端口中的20和21这两个端口，其中20用于传输数据，21用于传输控制信息。但是，是否使用20作为传输数据的端口与FTP使用的传输模式有关，如果采用主动模式，那么数据传输端口就是20；如果采用被动模式，则具体最终使用哪个端口要服务器端和客户端协商决定。

HTTP协议(HyperText Transfer Protocol，超文本传输协议)是用于从WWW服务器传输超文本到本地浏览器的传输协议。HTTP是客户端浏览器或其他程序与Web服务器之间的应用层通信协议。在Internet上的Web服务器上存放的都是超文本信息，客户机需要通过HTTP协议传输所要访问的超文本信息。HTTP包含命令和传输信息，不仅可用于Web访问，也可以用于其他因特网/内联网应用系统之间的通信，从而实现各类应用资源超媒体访问的集成。

URI(Uniform Resource Identifier，统一资源标识符)是用来标识资源名称的字符串。该标志允许用户使用特定的协议和网络上(比如WWW(Word Wide Web))资源进行交互。URI由指定具体的语法和相关的协议组成.其中最常见的一种URI的形式就是URL(uniform resource locator)统一资源定位符通常代表一个网址，不常见的应用在URN(uniform resource name)统一资源名称是URLs在识别特定命名空间机制的一个补充。

第一实施例

经本申请人研究发现，现有的网页端都只对用户提供基于http协议的网页上传方式，通过浏览器将用户的本地文件直接上传至服务器端进行处理分析，此种文件上传方式存在上传速度慢、上传速度不稳定、断电续传控制复杂的问题，不适合大型文件的上传。同时服务器在对上传的文件直接进行分析处理时可能由于多个文件同时通过网页上传至服务器端，从而造成服务器负荷过大，降低了分析处理效率。为了解决上述问题，本实施例提供了一种远程文件分析系统10。

请参考图1，图1为本发明第一实施例提供的一种远程文件分析系统的模块示意图。

远程文件分析系统10包括第一分布式系统11和第二分布式系统12。第一分布式系统11与至少一个用户终端连接，并向用户终端提供文件传输及界面显示功能；第二分布式系统12则不与用户终端连接，向第一分布式系统11提供文件传输及文件处理分析功能。其中，用户终端可以是用户使用的个人电脑、智能手机、平板电脑或其他具备文件存储及数据传输功能的处理设备。

第一分布式系统11用于接收用户通过网页上传的文件并将该文件传输至第二分布式系统12，第二分布式系统12用于对第一分布式系统11传输来的文件进行分析处理并将分析处理的结果返回给第一分布式系统11向用户显示，通过不同的分布式系统进行文件上传和处理分析工作，解决了大文件或者海量文件通过页面上传时传输速度慢、不稳定的问题，同时能够通过第二分布式系统12进行批量的文件分析处理，提高了分析处理的效率和稳定性。

第二实施例

为了配合本发明第一实施例提供的远程文件分析系统10，本发明第二实施例还提供了一种远程文件分析方法，该远程文件分析方法应用于第一分布式系统11。

请参考图2，图2为本发明第二实施例提供的一种远程文件分析方法的流程示意图。该方法的具体步骤可以如下：

步骤S21：第一分布式系统11接收用户终端上传的文件，将用户终端上传的文件中的至少部分文件传输至第二分布式系统12。

在本实施例中，用户终端可以是用户使用的个人电脑、智能手机、平板电脑或其他具备文件存储及数据传输功能的处理设备。同时，用户终端与第一分布式系统11通信连接，且一个用户终端可以与一个或多个第一分布式系统11通信连接，一个第一分布式系统11也可以与一个或多个用户终端连接，且第一分布式系统11向用户终端提供文件传输及界面显示功能。第二分布式系统12可以向第一分布式系统11提供文件传输及文件处理分析功能。

其中，从用户终端上传的文件中选取至少部分文件，可以是基于文件类型、文件安全性、文件重要性或其他文件属性对文件进行选取。

步骤S22：第一分布式系统11接收第二分布式系统12返回的与传输至第二分布式系统12的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务。

本实施例中的上传任务标识可以是但不限于是表示文件对应分析处理任务的任务标识，表示文件存储位置的位置标识。

上述分析处理任务可以是对文字、图片、视频等类型的文件进行对应的分析处理，例如，对图片中的人脸、人体、车辆或其他特殊表示进行特征识别等。

步骤S23：第一分布式系统11基于所述上传状态标识确定调用参数，并基于所述调用参数调用第二分布式系统12对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成。

第二分布式系统12可以通过与该文件的分析处理任务对应的应用程序编程接口(Application Programming Interfac，API)进行相应的分析处理任务进行处理。其中，应用程序编程接口是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

步骤S24：第一分布式系统11接收第二分布式系统12返回的分析处理的结果。

本实施例提供的远程文件分析方法通过第一分布式系统11用于接收用户通过网页上传的文件并将该文件传输至第二分布式系统12，第二分布式系统12用于对第一分布式系统11传输来的文件进行分析处理并将分析处理的结果返回给第一分布式系统11向用户显示，通过不同的分布式系统进行文件上传和处理分析工作，解决了大文件或者海量文件通过页面上传时传输速度慢、不稳定的问题，同时能够通过第二分布式系统12进行批量的文件分析处理，提高了分析处理的效率和稳定性。

作为一种可选的实施方式，步骤S21中第一分布式系统11可以通过文件传输协议FTP工具批量接收用户终端上传的文件。

第一分布式系统11通过FTP工具与用户终端进行文件传输，在FTP通信的起始阶段，可以运行通过用户ID和密码确认通信对方的认证程序，且FTP传输是面向文件，不需要通过网站而是直接进行文件传输，从而提高了第一分布式系统11接收用户终端上传文件的速度、稳定性和安全性。

在可选的实施例中，FTP工具可以是FileZilla、winScp、Cuteftp、flashFXP、xftp5等满足FTP传输需求的FTP工具。

作为一种可选的实施方式，在第一分布式系统11在用户终端上传的文件中选取至少部分文件的步骤可以如下：第一分布式系统11确定所述用户终端上传的文件中是否存在满足预设条件的文件；若存在满足预设条件的文件，则第一分布式系统11将满足所述预设条件的所述至少部分文件传输至第二分布式系统12。

进一步地，第一分布式系统11确定所述用户终端上传的文件中是否存在满足预设条件的文件可以包括：第一分布式系统11确定所述用户终端上传的文件的名称中是否存在不包括特定前缀的文件名，其中所述特定前缀包括准备上传前缀、未找到对应文件前缀、上传失败前缀、文件类型不符合要求前缀和上传成功前缀中的至少一种。

在本实施例中，特定前缀的具体形式可以包括ready(准备上传前缀)、NotFound(未找到对应文件前缀)、fail(上传失败前缀)、typeNoncompliant(文件类型不符合要求前缀)、success(上传成功前缀)等。应理解的是，除了添加特定前缀，在其他实施例中，还可以通过将准备上传、未找到对应文件、上传失败、文件类型不符合要求和上传成功的文件分别放入对应的文件夹，由文件所处文件夹判断该文件是否需要上传；或者是通过表格记录每个文件的准备上传、未找到对应文件、上传失败、文件类型不符合要求和上传成功状态，通过查询表格确定该文件是否需要上传。

上述特定前缀可以是在第二分布式系统12在接收到文件后，确定文件上传成功后在文件名中完成添加。

作为一种可选的实施方式，为了确保第一分布式系统11能够将用户终端上传的文件及时传输至第二分布式系统12，以确保本方法的本实施例提供的远程文件分析方法的响应处理速度，本实施例中第一分布式系统11可以定时循环扫描指定位置的文件，确定所述用户终端上传的文件中是否存在满足所述预设条件的文件。

本实施例通过上述步骤以使第一分布式系统11和第二分布式系统12能够判断文件是否被处理过或正在被处理，防止文件被重复处理，提高文件处理效率。

应当理解的是，用户上传的文件中可能包括图片、视频和压缩文件，在文件为图片、视频时第一分布式系统11可直接将其传输至第二分布式系统12，以使第二分布式系统12对图片和/或视频直接进行处理，在文件为压缩文件时第一分布式系统11可以将压缩文件解压后传输至第二分布式系统12。

针对步骤S22，第一分布式系统11接收第二分布式系统12返回的与传输至第二分布式系统12的文件对应的上传状态标识。其中，上传状态标识用于标识文件以及该文件对应的分析处理任务。

在本实施例中，上传状态标识可以包括任务标识和URI，且任务标识和URI相匹配，在文件的上传和分析处理过程中，第一分布式系统11和第二分布式系统12可通过URI确定文件的身份和存储位置，通过任务标识确定文件对应的分析处理任务。例如文件为上传后存储在第二分布式系统12的X位置的人脸图像A，则第一分布式系统11通过第二分布式系统12返回的任务标识确定与该文件及处理分析任务对应的相关逻辑处理选项，第二分布式系统12则在进行分析处理前基于URI确定文件的存储位置。

作为一种可选的实施方式，本实施例中第一分布式系统11获取第二分布式系统12返回的上传状态标识，可以是通过第二分布式系统12的消息队列进行获取。其中，本实施例中的上述消息队列可以是ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ或其他消息队列产品。上述实施例通过消息队列进行上传状态标识的传输，提高了上传状态标识的传输普适性及效率。

针对步骤S23，对文件进行分析处理的执行模块可以是第二分布式系统12中分析处理模块或其进一步调用的分析处理模块。

作为一种可选的实施方式，基于所述上传状态标识确定调用参数可以包括：基于上传状态标识中的任务标识在相关表中查询所述分析处理任务中用户选择的分析项目，并基于用户选择的分析项目确定调用参数。

上述相关表可以是第一分布式系统11基于用户终端创建分析处理任务时选择的分析项目建立的，该相关表具体可以为传输至第二分布式系统12的文件对应的任务标识与分析项目映射的相关表。

本实施例中的调用参数可以为调用第二分布式系统12的分析处理接口的入参，该入参与对应文件的分析处理任务创建时用户通过第一分布式系统11提供的网页端设置的分析项目所对应的入参。

作为一种可选的实施方式，在第一分布式系统11调用第二分布式系统12进行分析处理之前，还可以从消息队列中拉取任务标识，基于任务标识确定传输至第二分布式系统12的文件存在且尚未被分析处理，避免出现错误调用造成第二分布式系统12的运算资源的浪费，从而提高了文件分析的效率。

请参考图3，图3为本发明第二实施例提供的又一种远程文件分析方法的流程示意图。该远程文件分析方法应用于第二分布式系统12，其具体步骤可以如下：

步骤S31：第二分布式系统12接收第一分布式系统11上传的文件。

步骤S32：第二分布式系统12向第一分布式系统11返回所述文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务。

步骤S33：第二分布式系统12接收第一分布式系统11的调用，对所述文件进行分析处理，并向第一分布式系统11返回分析处理的结果。

本实施例中对文件进行分析处理的执行模块可以是第二分布式系统12中分析处理模块或其进一步调用的其他分析处理模块。

作为一种可选的实施方式，第二分布式系统12对文件进行分析处理的内容可以是对图片、视频等进行的人脸、人体、车辆或其他特殊标识进行特征提取并生成图片以及相关属性信息。

作为一种可选的实施方式，若用户在通过网页端创建任务时勾选了底库文件信息时，本实施例的第二分布式系统12在向第一分布式系统11返回分析处理的结果时，还会返回与该文件相关联的底库文件的关联ID。其中，底库文件信息可以是预先存储在第二分布式系统12的数据库中的特定数据集，如公安通缉人员照片、失踪儿童照片等。

进一步地，在第二分布式系统12采用消息队列进行消息发送时，第一分布式系统11在确定用于调用第二分布式系统12的分析处理接口的调用参数之前，还可以从消息队列中拉取上传状态标识先进行相应的属性字段映射并更新相关表字段信息，以及进行业务侧的相关业务逻辑处理，首先判断该任务对应的文件是否存在以及文件的处理状态，其处理状态可以根据特殊前缀或其他标识进行判定，在文件尚未被处理时再调用第二分布式系统12。

作为一种可选的实施方式，本实施例中的第一分布式系统11的上传功能可以由其中的文件上传辅助模块执行，第二分布式系统12的分析处理功能及文件上传结果标识的收发可以由其中的文件分析处理模块执行，则第一分布式系统11与第二分布式系统12的交互流程可以如图4所示。

作为一种可选的实施方式，本实施例中第一分布式系统11在接收到第二分布式系统12返回的结果后，还可以将该结果发送至用户终端的网页进行显示。进一步地，本实施例中第二分布式系统12将文件的分析处理结果进行实时返回，以使第一分布式系统11更新相关表字段信息并通过用户终端向用户显示实时分析处理结果。

本实施例提供的远程文件分析方法相比于从用户本地服务器直接通过网页上传至服务端的分析处理模块拥有更快的速度和断点续传的功能，而且操作简便快捷，用户只需要批量选择需要上传的文件，然后通过FTP工具上传的文件服务器的相应目录，剩余的各种分析处理都会自动进行。

第三实施例

为了配合本发明实施例提供的应用于第一分布式系统11的远程文件分析方法，本实施例还提供了一种远程文件分析装置41。请参考图5，图5为本发明第三实施例提供的一种远程文件分析装置的模块示意图。

远程文件分析装置41包括：

文件传输模块，用于接收用户终端上传的文件，将所述用户终端上传的文件中预设类型的文件传输至第二分布式系统12；

标识接收模块，用于接收第二分布式系统12返回的与传输至第二分布式系统12的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；

调用模块，用于基于所述上传状态标识确定调用参数，并基于所述调用参数调用第二分布式系统12对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；

结果接收模块，用于接收所述第二分布式系统返回的分析处理的结果。

为了配合本发明实施例提供的应用于第二分布式系统12的远程文件分析方法，本实施例还提供了一种远程文件分析装置42。请参考图6，图6为本发明第三实施例提供的又一种远程文件分析装置的模块示意图。

远程文件分析装置42包括：

文件接收模块，用于接收第一分布式系统11上传的文件；

标识发送模块，用于向第一分布式系统11返回所述文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；

分析处理模块，用于接收第一分布式系统11的调用，对所述文件进行分析处理，并向第一分布式系统11返回分析处理的结果。

远程文件分析装置41和远程文件分析装置42包括至少一个可以软件或固件(firmware)的形式存储于所述远程文件分析系统10中或固化在远程文件分析装置41/远程文件分析装置42的操作系统(operating system，OS)中的软件功能模块。远程文件分析系统10可用于执行存储器中存储的可执行模块，例如远程文件分析装置41/远程文件分析装置42中包括的软件功能模块或计算机程序。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

综上所述，本发明实施例提供了一种远程文件分析方法、装置、系统及其存储介质，该远程文件分析系统包括第一分布式系统和第二分布式系统，第一分布式系统用于接收用户上传的文件并将该文件传输至第二分布式系统，第二分布式系统用于对第一分布式系统传输来的文件进行分析处理并将分析处理的结果返回给第一分布式系统向用户显示，通过不同的分布式系统进行文件上传和处理分析工作，解决了大文件或者海量文件上传时传输速度慢、不稳定的问题，同时能够通过第二电子设备进行批量的文件分析处理，提高了分析处理的效率和稳定性。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (18)

1.一种远程文件分析方法，其特征在于，所述远程文件分析方法包括：

接收用户终端上传的文件，将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统；

接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；

基于所述上传状态标识确定调用参数，并基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；

接收所述第二分布式系统返回的分析处理的结果。

2.根据权利要求1所述的远程文件分析方法，其特征在于，所述接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，包括：

从所述第二分布式系统的消息队列中拉取与传输至所述第二分布式系统的文件对应的上传状态标识。

3.根据权利要求2所述的远程文件分析方法，其特征在于，所述上传状态标识包括任务标识，在所述基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理之前，所述方法还包括：

从消息队列中拉取所述任务标识，基于所述任务标识确定所述传输至所述第二分布式系统的文件存在且尚未被分析处理。

4.根据权利要求1所述的远程文件分析方法，其特征在于，所述基于所述上传状态标识确定调用参数，包括：

基于所述上传状态标识中的任务标识在相关表中查询所述分析处理任务中所述用户选择的分析项目，并基于所述用户选择的分析项目确定所述调用参数。

5.根据权利要求4所述的远程文件分析方法，其特征在于，在所述基于所述任务标识在相关表中查询所述分析处理任务中所述用户选择的分析项目之前，所述方法还包括：

获取用户终端创建所述分析处理任务时选择的分析项目，建立所述传输至所述第二分布式系统的文件对应的任务标识与所述分析项目映射的相关表。

6.根据权利要求1-5中任一权项所述的远程文件分析方法，其特征在于，所述接收用户终端上传的文件，包括：

通过文件传输协议FTP工具批量接收用户终端上传的文件。

7.根据权利要求1-5中任一权项所述的远程文件分析方法，其特征在于，所述文件包括图片、视频和压缩文件，所述将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统，包括：

将所述用户终端上传的文件中的图片和视频直接传输至第二分布式系统；以及

将所述用户终端上传的文件中的压缩文件解压后传输至所述第二分布式系统。

8.根据权利要求1-5中任一权项所述的远程文件分析方法，其特征在于，所述将所述用户终端上传的文件中的至少部分文件传输至第二分布式系统包括：

确定所述用户终端上传的文件中是否存在满足预设条件的文件；

若存在满足预设条件的文件，则将满足所述预设条件的所述至少部分文件传输至所述第二分布式系统。

9.根据权利要求8所述的远程文件分析方法，其特征在于，所述确定所述用户终端上传的文件中是否存在满足预设条件的文件，包括：

确定所述用户终端上传的文件的名称中是否存在不包括特定前缀的文件名，其中所述特定前缀包括准备上传前缀、未找到对应文件前缀、上传失败前缀、文件类型不符合要求前缀和上传成功前缀中的至少一种。

10.根据权利要求9所述的远程文件分析方法，其特征在于，所述确定所述用户终端上传的文件中是否存在满足预设条件的文件，包括：

定时循环扫描指定位置的文件，确定所述用户终端上传的文件中是否存在满足所述预设条件的文件。

11.一种远程文件分析方法，其特征在于，所述远程文件分析方法包括：

接收第一分布式系统上传的文件；

向所述第一分布式系统返回所述文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；

接收所述第一分布式系统的调用，对所述文件进行分析处理，并向所述第一分布式系统返回分析处理的结果。

12.根据权利要求11所述的远程文件分析方法，其特征在于，所述向所述第一分布式系统返回所述文件对应的上传状态标识，包括：

在接收到所述文件后将所述文件对应的上传状态标识添加至消息队列中，以使所述第一分布式系统从所述消息队列中获取所述上传状态标识。

13.一种远程文件分析装置，其特征在于，所述远程文件分析装置包括：

文件传输模块，用于接收用户终端上传的文件，将所述用户终端上传的文件中预设类型的文件传输至第二分布式系统；

标识接收模块，用于接收所述第二分布式系统返回的与传输至所述第二分布式系统的文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；

调用模块，用于基于所述上传状态标识确定调用参数，并基于所述调用参数调用所述第二分布式系统对所述文件进行分析处理，所述调用参数基于所述用户选择的分析项目生成；

结果接收模块，用于接收所述第二分布式系统返回的分析处理的结果。

14.一种远程文件分析装置，其特征在于，所述远程文件分析装置包括：

文件接收模块，用于接收第一分布式系统上传的文件；

标识发送模块，用于向所述第一分布式系统返回所述文件对应的上传状态标识，所述上传状态标识用于标识所述文件以及所述文件对应的分析处理任务；

分析处理模块，用于接收所述第一分布式系统的调用，对所述文件进行分析处理，并向所述第一分布式系统返回分析处理的结果。

15.一种第一电子设备，其特征在于，所述第一电子设备包括处理器和存储器，所述处理器和所述存储器连接，所述处理器读取并运行所述存储器中的程序指令，执行权利要求1-10中任一项所述方法中的步骤。

16.一种第二电子设备，其特征在于，所述第二电子设备包括处理器和存储器，所述处理器和所述存储器连接，所述处理器读取并运行所述存储器中的程序指令，执行权利要求11-12中任一项所述方法中的步骤。

17.一种远程文件分析系统，其特征在于，所述远程文件分析系统包括如权利要求15所述的第一电子设备以及如权利要求16所述的第二电子设备，所述第一电子设备和所述第二电子设备通信连接。

18.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1-12任一项所述方法中的步骤。