CN112328560B - 一种文件调度方法和系统 - Google Patents

Abstract

本发明涉及一种文件调度方法和系统，由于主汇聚节点存储至少一个汇聚节点所发送的文件，当目标节点以远程过程调用模式跨域向主汇聚节点发送文件请求信息时，主汇聚节点查询文件请求信息对应的目标文件，并通过跨域传输组件直接将目标文件反馈至目标节点，而不需要其它汇聚节点逐级转发文件请求信息至能够提供目标文件的汇聚节点，也不需要其它汇聚节点逐级转发目标文件至目标节点，极大提高了多节点跨域文件传输的效率。

Description

一种文件调度方法和系统

技术领域

本发明涉及文件管理技术领域，尤其涉及一种文件调度方法和系统。

背景技术

目前，不同网络域之间进行文件传输时，当其中一个网络域中的目标节点向其它网络域中的每个汇聚节点发出文件请求信息，由于不同网络域之间的多个汇聚节点往往成拓扑结构分布，也就是说，目标节点往往不能与能查询到该文件请求信息对应的数据的汇聚节点直接连接，那么：

目标节点不能直接将文件请求信息发送至能查询到该文件请求信息对应的数据的汇聚节点，还需通过其它多个汇聚节点将文件请求信息通过逐级转发至能查询到该文件请求信息对应的数据的汇聚节点，而且，能查询到该文件请求信息对应的数据的汇聚节点也不能直接将文件请求信息对应的数据直接发送至目标节点，大大降低了跨域文件传输的效率。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供了一种文件调度方法和系统。

本发明的一种文件调度方法的技术方案如下：

目标节点以远程过程调用模式跨域向主汇聚节点发送文件请求信息；

所述主汇聚节点查询所述文件请求信息对应的目标文件，并通过跨域传输组件将所述目标文件反馈至所述目标节点，其中，所述主汇聚节点存储至少一个汇聚节点所发送的文件。

本发明的一种文件调度方法的有益效果如下：

由于主汇聚节点存储至少一个汇聚节点所发送的文件，当目标节点以远程过程调用模式跨域向主汇聚节点发送文件请求信息时，主汇聚节点查询文件请求信息对应的目标文件，并通过跨域传输组件直接将目标文件反馈至目标节点，而不需要其它汇聚节点逐级转发文件请求信息至能够提供目标文件的汇聚节点，也不需要其它汇聚节点逐级转发目标文件至目标节点，极大提高了多节点跨域文件传输的效率。

在上述方案的基础上，本发明的一种文件调度方法还可以做如下改进。

还包括：当查询不到所述文件请求信息对应的目标文件时，所述主汇聚节点将所述文件请求信息发送至每个所述汇聚节点，接收查询到所述目标文件的汇聚节点所返回的目标文件，并通过所述跨域传输组件将所述目标文件反馈至所述目标节点。

采用上述进一步方案的有益效果是：当查询不到所述文件请求信息对应的目标文件时，主汇聚节点将文件请求信息发送至每个汇聚节点，以便于及时能查询到所述目标文件的汇聚节点将目标文件通过主汇聚节点转发至目标节点，提高文件调度的成功率。

进一步，所述主汇聚节点查询所述文件请求信息对应的目标文件，包括：

所述主汇聚节点根据所述文件请求信息得到存储路径，并根据所述存储路径查询所述文件请求信息对应的目标文件。

进一步，还包括：所述主汇聚节点将每个文件请求信息对应的目标文件分别存储至不同文件夹下，当将任一文件请求信息对应的目标文件向所述目标节点传输完毕时，删除该文件请求信息对应的目标文件。

采用上述进一步方案的有益效果是：节省主汇聚节点的存储资源，以保证主汇聚节点能正常运行。

进一步，还包括：当存在多个汇聚节点时，所述主汇聚节点接收每个汇聚节点按照预设频率并按照异步并发的方式所发送的文件。

采用上述进一步方案的有益效果是：使主汇聚节点内存储更多的文件，以便于响应目标节点的文件请求信息，及时向目标节点进行反馈。

本发明的一种文件调度系统的技术方案如下：

包括目标节点和主汇聚节点；

所述目标节点用于以RPC模式跨域向主汇聚节点发送文件请求信息；

所述主汇聚节点用于查询所述文件请求信息对应的目标文件，并通过跨域传输组件将所述目标文件反馈至所述目标节点，其中，所述主汇聚节点存储至少一个汇聚节点所发送的文件。

本发明的一种文件调度系统的有益效果如下：

由于主汇聚节点存储至少一个汇聚节点所发送的文件，当目标节点以远程过程调用模式跨域向主汇聚节点发送文件请求信息时，主汇聚节点查询文件请求信息对应的目标文件，并通过跨域传输组件直接将目标文件反馈至目标节点，而不需要其它汇聚节点逐级转发文件请求信息至能够提供目标文件的汇聚节点，也不需要其它汇聚节点逐级转发目标文件至目标节点，极大提高了多节点跨域文件传输的效率。

在上述方案的基础上，本发明的一种文件调度系统还可以做如下改进。

进一步，所述主汇聚节点还用于：当查询不到所述文件请求信息对应的目标文件时，将所述文件请求信息发送至每个所述汇聚节点，接收查询到所述目标文件的汇聚节点所返回的目标文件，并通过所述跨域传输组件将所述目标文件反馈至所述目标节点。

采用上述进一步方案的有益效果是：当查询不到所述文件请求信息对应的目标文件时，主汇聚节点将文件请求信息发送至每个汇聚节点，以便于及时能查询到所述目标文件的汇聚节点将目标文件通过主汇聚节点转发至目标节点，提高文件调度的成功率。

进一步，所述主汇聚节点具体用于：根据所述文件请求信息得到存储路径，并根据所述存储路径查询所述文件请求信息对应的目标文件。

进一步，所述主汇聚节点还用于：将每个文件请求信息对应的目标文件分别存储至不同文件夹下，当将任一文件请求信息对应的目标文件向所述目标节点传输完毕时，删除该文件请求信息对应的目标文件。

采用上述进一步方案的有益效果是：节省主汇聚节点的存储资源，以保证主汇聚节点能正常运行。

进一步，还包括：当存在多个汇聚节点时，所述主汇聚节点还用于接收每个汇聚节点按照预设频率并按照异步并发的方式所发送的文件。

采用上述进一步方案的有益效果是：使主汇聚节点内存储更多的文件，以便于响应目标节点的文件请求信息，及时向目标节点进行反馈。

附图说明

图1为本发明实施例的一种文件调度方法的流程示意图；

图2为本发明实施例的一种文件调度系统的结构示意图。

具体实施方式

如图1所示，本发明实施例的一种文件调度方法，包括如下步骤：

S1、目标节点以远程过程调用模式跨域向主汇聚节点发送文件请求信息；

S2、所述主汇聚节点查询所述文件请求信息对应的目标文件，并通过跨域传输组件将所述目标文件反馈至所述目标节点，其中，所述主汇聚节点存储至少一个汇聚节点所发送的文件。

由于主汇聚节点存储至少一个汇聚节点所发送的文件，当目标节点以远程过程调用模式跨域向主汇聚节点发送文件请求信息时，主汇聚节点查询文件请求信息对应的目标文件，并通过跨域传输组件直接将目标文件反馈至目标节点，而不需要其它汇聚节点逐级转发文件请求信息至能够提供目标文件的汇聚节点，也不需要其它汇聚节点逐级转发目标文件至目标节点，极大提高了多节点跨域文件传输的效率。

其中，跨域传输组件是在文件调度使用的底层服务，为了适用不同域可靠文件传输的组件，其面临的问题是不可靠的网络问题、应用经常可能崩溃的问题，因此，文件传输组件支持原生文件系统、分布式文件系统的跨域复制和同步，同时文件传输组件支持跨平台的特性，目前支持Linux、Windows等平台。具体地：

文件传输组件利用Bitsflow(一种分布式消息中间件)完成不同网络域之间的控制和消息传递，文件传输组件在不同网络域之间进行数据复制和同步直接利用点对点的网络通讯，在文件传输过程中，文件传输组件会利用应用注册的监听器进行交互，从而完成客户业务需要，所以文件传输组件能解决分布式节点信息实时同步以及数据跨域同步问题。消息传输部署于操作系统和应用软件之间，能够使得分布式系统中的本地域及跨域节点实时地通信和共享数据文件，文件传输组件实现数据文件传输有两种模式：

1)发布/订阅模式(Publish/Subscribe)：支持数据文件的一发多收、多发多收等通信模型，采用主题进行寻址，使得发布者和订阅者完全解耦。每个消息可以代表一个消息队列、一个进程标识符、一个数据处理容器、一个服务提供者标识等等。消息传输的主题支持通配符操作，通过正确地设置订阅的主题，收发双方可以灵活协作完成数据文件的交换；

2)远程过程调用模式(Remote Procedure Call，简称RPC)在Publish/Subscribe的基础上，提供了远程过程调用应用程序编程接口API，它实际上是发布/订阅模式的特殊形式，分为同步和异步两种模式。远程过程调用模式保证发送方和接收方在解耦的情况下，利用RPC消息进行交互，RPC调用可以有多个接收方，也可以在接收方做负载均衡，其中，可以理解的是，接收方指目标节点、汇聚节点或主汇聚节点，接收方也可指目标节点、汇聚节点或主汇聚节点等。

可以理解的是，目标节点具体为服务器、应用软件或APP等，同理，、汇聚节点或主汇聚节点同样具体为服务器、应用软件或APP等，用户可根据实际情况进行确定，在此不做赘述；

其中，目标节点的数量可为1个、2个或多个，汇聚节点的数量也可为1个、2个或多个，那么，可在多个汇聚节点指定任意一个汇聚节点作为主汇聚节点，或另外设置一个汇聚节点；

主汇聚节点存储至少一个汇聚节点所发送的文件，具体地：可将至少一个汇聚节点所发送的文件存储在主汇聚节点的存储器内，或者，将至少一个汇聚节点所发送的文件存储在主汇聚节点所连接的数据库如分布式数据库和关系型数据库等，按照目标节点的文件请求信息从数据库中查找目标文件，并将目标文件反馈至目标节点，其中，由于目标节点发出文件请求信息以及目标节点接收目标文件可同时发生，则采用异步并发的方式以远程过程调用模式跨域向主汇聚节点发送文件请求信息并通过主汇聚节点通过跨域传输组件将所述目标文件反馈至所述目标节点，以避免网络状况或者由于目标文件过大导致主汇聚节点无法确认目标节点是否接收到目标文件，以及，目标节点无法确认主汇聚节点是否收到文件请求信息；

其中，当目标节点接收目标文件完毕后，通过远程过程调用模式向主汇聚节点发送一条接收目标文件完毕的消息，当主汇聚节点接收到该接收目标文件完毕的消息后，则确定目标节点接收目标文件完毕；当主汇聚节点接收文件请求信息后，通过远程过程调用模式向目标节点发送一条接收文件请求信息完毕的消息，当目标接收到接收文件请求信息完毕的消息的消息后，则确定主汇聚节点接收文件请求信息完毕。

以两个汇聚节点为例进行说明，两个汇聚节点分别为第一汇聚节点和第二汇聚节点，那么：

主汇聚节点与目标节点直接连接，第一汇聚节点和第二汇聚节点分别与主汇聚节点直接连接，此时，第一汇聚节点和第二汇聚节点分别与目标节点物理隔离，也就是说，目标节点是外部节点，第一汇聚节点和第二汇聚节点是内部节点，或者，主汇聚节点、第一汇聚节点和第二汇聚节点是内部节点，主汇聚节点唯一连接目标节点的接口，实现对其他汇聚节点即第一汇聚节点和第二汇聚节点进行代理的功能。

目标节点的数量可为多个，所有目标节点分别将文件请求信息发送至主汇聚节点，可以理解的是，可通过编号将目标节点进行区分，并以编号对每个目标节点发送的文件请求信息进行区分，主汇聚节点实现了对所有的汇聚节点封装的隐藏，降低了多个节点之间的耦合度，提升了安全性和可靠性，在多节点的条件下，能跨域进行文件传输。

其中，当主汇聚节点、目标节点、第一汇聚节点和第二汇聚节点征程启动后，主汇聚节点会定时向目标节点上报文件，具体地：

主汇聚节点通过发布/订阅模式向目标节点推送存储在主汇聚节点的元数据，第一汇聚节点和第二汇聚节点通过UDP报文形式，将各自汇聚节点的元数据发送给主汇聚节点，再通过主汇聚节点向目标节点上报元数据，向目标节点上报的元数据为Apache Avro的数据格式，目标节点收到上报元数据后，在界面上进行显示并实时记录当前接收到的元数据的条数，可以理解的是，元数据为一种文件。

较优地，在上述技术方案中，还包括：

S3、当查询不到所述文件请求信息对应的目标文件时，所述主汇聚节点将所述文件请求信息发送至每个所述汇聚节点，接收查询到所述目标文件的汇聚节点所返回的目标文件，并通过所述跨域传输组件将所述目标文件反馈至所述目标节点。

当查询不到所述文件请求信息对应的目标文件时，主汇聚节点将文件请求信息发送至每个汇聚节点，以便于及时能查询到所述目标文件的汇聚节点将目标文件通过主汇聚节点转发至目标节点，提高文件调度的成功率。

当主汇聚节点查询不到所述文件请求信息对应的目标文件时，主汇聚节点通过远程过程调用模式将文件请求信息以异步并发的方式发送至其它汇聚节点如第一汇聚节点和第二汇聚节点，如果其它汇聚节点如第一汇聚节点查询到文件请求信息对应的目标文件，那么，第一汇聚节点将该文件请求信息对应的目标文件发送至主汇聚节点，具体地：第一汇聚节点通过文件跨域传输组件异步将目标文件发送至主汇聚节点，发送完成后第一汇聚节点通过发布/订阅模式发送一条目标文件发送完毕的消息通知主汇聚节点，主汇聚节点在收到目标文件，同时异步将目标文件通过跨域传输组件发送给目标节点，

在发送过程中，主汇聚节点通过异步的方式来显示获取目标文件传输时的进度条信息，目标节点收到进度条信息后，解析目标文件并在界面上进行可视化的展示，以便于用户进行查看。

如果其它汇聚节点如第一汇聚节点和第二汇聚节点均查询不到文件请求信息对应的目标文件，那么，第一汇聚节点和第二汇聚节点将查询不到的消息发送至主汇聚节点，主汇聚节点将查询不到该文件请求信息对应的目标文件转发至目标节点。

较优地，在上述技术方案中，所述主汇聚节点查询所述文件请求信息对应的目标文件，包括：

S20、所述主汇聚节点根据所述文件请求信息得到存储路径，并根据所述存储路径查询所述文件请求信息对应的目标文件。

可以理解的是，存储路径可存储至另外一个数据库中，通过解析文件请求信息，得到存储路径，其中，文件请求信息包括文件请求的关键字、关键内容等。

较优地，在上述技术方案中，还包括：

S4、所述主汇聚节点将每个文件请求信息对应的目标文件分别存储至不同文件夹下，当将任一文件请求信息对应的目标文件向所述目标节点传输完毕时，删除该文件请求信息对应的目标文件。节省主汇聚节点的存储资源，以保证主汇聚节点能正常运行。

由于主汇聚节点的计算机内存空间有限，当使用时间过长，或者目标节点请求的目标文件过大时，会完全占满主汇聚节点的存储空间，从而导致主汇聚节点无法正常工作，无法进行文件的调度，所以在使用过程中，需要及时对主汇聚节点的存储空间进行清理。具体地：

由于文件传输组件在目标节点已经存在目标文件上会直接覆盖新的目标文件，直接删除已经传输完成的目标文件时，可能会导致多次请求同一个原始文件时，主汇聚节点无法找到对应的文件从而导致失败，为了解决这个问题,设计一个原子数，按照原子数递增的顺序新建“原子数_文件名”的文件夹并将本次文件请求信息对应的目标文件复制到该文件夹下，在主汇聚节点从该文件夹下读取文件传输并传输成功后，删除该文件夹及其下面的文件即可。

较优地，在上述技术方案中，还包括：

当存在多个汇聚节点时，所述主汇聚节点接收每个汇聚节点按照预设频率并按照异步并发的方式所发送的文件。

使主汇聚节点内存储更多的文件，以便于响应目标节点的文件请求信息，及时向目标节点进行反馈。

多个汇聚节点按照预设频率并按照异步并发的方式将主汇聚节点发送文件，目标节点通过发布/订阅模式将定时推送的规则即预设频率等发送给主汇聚节点，主汇聚节点存储定时推送的规则，并定义一个定时器，定时器启动后访问数据库中的汇聚条件，每一条汇聚条件对应至少一个文件，多个汇聚节点根据汇聚条件采用线程池异步提交的方式向主汇聚节点上报每一条汇聚条件所对应的文件。

每个汇聚节点可同样设计一个原子数，按照原子数递增的顺序新建一批“原子数_文件名”的文件夹并将本次请求的文件复制到对应的文件夹下，这一批文件传输成功后，删除包含该原子数的所有文件夹和下面的文件，以节省存储空间。

如图2所示，本发明实施例的一种文件调度系统200，包括目标节点210和主汇聚节点220；

所述目标节点210用于以RPC模式跨域向主汇聚节点220发送文件请求信息；

所述主汇聚节点220用于查询所述文件请求信息对应的目标文件，并通过跨域传输组件将所述目标文件反馈至所述目标节点210，其中，所述主汇聚节点220存储至少一个汇聚节点所发送的文件。

由于主汇聚节点220存储至少一个汇聚节点所发送的文件，当目标节点210以远程过程调用模式跨域向主汇聚节点220发送文件请求信息时，主汇聚节点220查询文件请求信息对应的目标文件，并通过跨域传输组件直接将目标文件反馈至目标节点210，而不需要其它汇聚节点逐级转发文件请求信息至能够提供目标文件的汇聚节点，也不需要其它汇聚节点逐级转发目标文件至目标节点210，极大提高了多节点跨域文件传输的效率。

较优地，在上述技术方案中，所述主汇聚节点220还用于：当查询不到所述文件请求信息对应的目标文件时，将所述文件请求信息发送至每个所述汇聚节点，接收查询到所述目标文件的汇聚节点所返回的目标文件，并通过所述跨域传输组件将所述目标文件反馈至所述目标节点210。

当查询不到所述文件请求信息对应的目标文件时，主汇聚节点220将文件请求信息发送至每个汇聚节点，以便于及时能查询到所述目标文件的汇聚节点将目标文件通过主汇聚节点220转发至目标节点210，提高文件调度的成功率。

较优地，在上述技术方案中，所述主汇聚节点220具体用于：根据所述文件请求信息得到存储路径，并根据所述存储路径查询所述文件请求信息对应的目标文件。

较优地，在上述技术方案中，所述主汇聚节点220还用于：将每个文件请求信息对应的目标文件分别存储至不同文件夹下，当将任一文件请求信息对应的目标文件向所述目标节点210传输完毕时，删除该文件请求信息对应的目标文件。节省主汇聚节点220的存储资源，以保证主汇聚节点220能正常运行。

较优地，在上述技术方案中，还包括：当存在多个汇聚节点时，所述主汇聚节点220还用于接收每个汇聚节点按照预设频率并按照异步并发的方式所发送的文件。使主汇聚节点220内存储更多的文件，以便于响应目标节点210的文件请求信息，及时向目标节点210进行反馈。

上述关于本发明的一种文件调度系统200中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种文件调度方法的实施例中的各参数和步骤，在此不做赘述。

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。

因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM),只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (2)

1.一种文件调度方法，其特征在于，包括：

目标节点以远程过程调用模式跨域向主汇聚节点发送文件请求信息；

所述主汇聚节点查询所述文件请求信息对应的目标文件，并通过跨域传输组件将所述目标文件反馈至所述目标节点，其中，所述主汇聚节点存储至少一个汇聚节点所发送的文件；

当目标节点接收目标文件完毕后，通过远程过程调用模式向主汇聚节点发送一条接收目标文件完毕的消息，当主汇聚节点接收到该接收目标文件完毕的消息后，则确定目标节点接收目标文件完毕；当主汇聚节点接收文件请求信息后，通过远程过程调用模式向目标节点发送一条接收文件请求信息完毕的消息，当目标接收到接收文件请求信息完毕的消息后，则确定主汇聚节点接收文件请求信息完毕；

主汇聚节点通过发布/订阅模式向目标节点推送存储在主汇聚节点的元数据，向目标节点上报的元数据为Apache Avro的数据格式，目标节点收到上报元数据后，在界面上进行显示并实时记录当前接收到的元数据的条数；

还包括：当查询不到所述文件请求信息对应的目标文件时，所述主汇聚节点将所述文件请求信息发送至每个所述汇聚节点，接收查询到所述目标文件的汇聚节点所返回的目标文件，并通过所述跨域传输组件将所述目标文件反馈至所述目标节点；

所述主汇聚节点查询所述文件请求信息对应的目标文件，包括：

所述主汇聚节点根据所述文件请求信息得到存储路径，并根据所述存储路径查询所述文件请求信息对应的目标文件；

还包括：所述主汇聚节点将每个文件请求信息对应的目标文件分别存储至不同文件夹下，当将任一文件请求信息对应的目标文件向所述目标节点传输完毕时，删除该文件请求信息对应的目标文件；

设计一个原子数，按照原子数递增的顺序新建“原子数_文件名”的文件夹并将本次文件请求信息对应的目标文件复制到该文件夹下，在主汇聚节点从该文件夹下读取文件传输并传输成功后，删除该文件夹及其下面的文件；

还包括：当存在多个汇聚节点时，所述主汇聚节点接收每个汇聚节点按照预设频率并按照异步并发的方式所发送的文件；

多个汇聚节点按照预设频率并按照异步并发的方式将主汇聚节点发送文件，目标节点通过发布/订阅模式将定时推送的规则即预设频率发送给主汇聚节点，主汇聚节点存储定时推送的规则，并定义一个定时器，定时器启动后访问数据库中的汇聚条件，每一条汇聚条件对应至少一个文件，多个汇聚节点根据汇聚条件采用线程池异步提交的方式向主汇聚节点上报每一条汇聚条件所对应的文件；

每个汇聚节点同样设计一个原子数，按照原子数递增的顺序新建一批“原子数_文件名”的文件夹并将本次请求的文件复制到对应的文件夹下，这一批文件传输成功后，删除包含该原子数的所有文件夹和下面的文件。

2.一种文件调度系统，其特征在于，包括目标节点和主汇聚节点；

所述目标节点用于以远程过程调用模式跨域向主汇聚节点发送文件请求信息；

所述主汇聚节点用于查询所述文件请求信息对应的目标文件，并通过跨域传输组件将所述目标文件反馈至所述目标节点，其中，所述主汇聚节点存储至少一个汇聚节点所发送的文件；

当目标节点接收目标文件完毕后，通过远程过程调用模式向主汇聚节点发送一条接收目标文件完毕的消息，当主汇聚节点接收到该接收目标文件完毕的消息后，则确定目标节点接收目标文件完毕；当主汇聚节点接收文件请求信息后，通过远程过程调用模式向目标节点发送一条接收文件请求信息完毕的消息，当目标接收到接收文件请求信息完毕的消息后，则确定主汇聚节点接收文件请求信息完毕；

主汇聚节点通过发布/订阅模式向目标节点推送存储在主汇聚节点的元数据，向目标节点上报的元数据为Apache Avro的数据格式，目标节点收到上报元数据后，在界面上进行显示并实时记录当前接收到的元数据的条数；

所述主汇聚节点还用于：当查询不到所述文件请求信息对应的目标文件时，将所述文件请求信息发送至每个所述汇聚节点，接收查询到所述目标文件的汇聚节点所返回的目标文件，并通过所述跨域传输组件将所述目标文件反馈至所述目标节点；

根据所述文件请求信息得到存储路径，并根据所述存储路径查询所述文件请求信息对应的目标文件；

所述主汇聚节点还用于：将每个文件请求信息对应的目标文件分别存储至不同文件夹下，当将任一文件请求信息对应的目标文件向所述目标节点传输完毕时，删除该文件请求信息对应的目标文件；

设计一个原子数，按照原子数递增的顺序新建“原子数_文件名”的文件夹并将本次文件请求信息对应的目标文件复制到该文件夹下，在主汇聚节点从该文件夹下读取文件传输并传输成功后，删除该文件夹及其下面的文件；

还包括：当存在多个汇聚节点时，所述主汇聚节点还用于接收每个汇聚节点按照预设频率并按照异步并发的方式所发送的文件；

多个汇聚节点按照预设频率并按照异步并发的方式将主汇聚节点发送文件，目标节点通过发布/订阅模式将定时推送的规则即预设频率发送给主汇聚节点，主汇聚节点存储定时推送的规则，并定义一个定时器，定时器启动后访问数据库中的汇聚条件，每一条汇聚条件对应至少一个文件，多个汇聚节点根据汇聚条件采用线程池异步提交的方式向主汇聚节点上报每一条汇聚条件所对应的文件；

每个汇聚节点同样设计一个原子数，按照原子数递增的顺序新建一批“原子数_文件名”的文件夹并将本次请求的文件复制到对应的文件夹下，这一批文件传输成功后，删除包含该原子数的所有文件夹和下面的文件。