CN104426880A - 一种基于网络的集中式文件自动收集和分发装置 - Google Patents

Abstract

本发明涉及一种基于网络的集中式文件自动收集和分发装置。该装置包括：配置模块，用于实现预先指定的文件传输配置的载入和解析；文件传输模块，用于将远程文件传输至本地或者将本地文件传输至远程；协议适配模块，用于将不同的网络传输协议转换成统一的网络传输协议来实现文件的传输；外部触发模块，用于在文件传输过程完成后触发相应的后续流程；以及主控模块，用于在合适的时间点控制所述配置模块、所述文件传输模块、所述协议适配模块、所述外部触发模块完成文件传输。在本发明中由于采用了集中式的配置管理，避免了在各个模块分别实现和配置，从而降低了系统出错的可能性。

Description

一种基于网络的集中式文件自动收集和分发装置

技术领域

本发明涉及一种文件处理装置，具体地涉及基于网络的文件自动收集和分发装置。

背景技术

在现有技术中，随着业务的发展，现有计算机软件系统也需要根据新的需求迭代更新，而系统各个模块间的依赖也不可避免地要增加。一个常见的设计需求是，位于同一网络内不同主机上的服务之间需要以文件的形式传输其输入或输出数据，而其实现往往是通过编写特定的代码并让其在指定条件下运行。然而，对于每个系统都使用类似的实现来完成，会带来代码的冗余，容易出现不一致的情形；并且往往使得文件传输的配置分散在系统的各个角落，难以统一管理，在模块更新时可能会被忽略从而影响整个系统的稳定运行。

 

发明内容

鉴于上述问题，本发明旨在提供一种能够对文件传输配置集中实现统一管理的于网络的集中式文件自动收集和分发装置。

本发明的基于网络的集中式文件自动收集和分发装置，按照预先制定的文件传输配置在网络上任意的主机之间实现文件的收集和分发，其特征在于，包括：

配置模块，用于实现预先指定的文件传输配置的载入和解析；

文件传输模块，用于将远程文件传输至本地或者将本地文件传输至远程；

协议适配模块，用于将不同的网络传输协议转换成统一的网络传输协议来实现文件的传输；

外部触发模块，用于在文件传输过程完成后触发相应的后续流程；以及

主控模块，用于在合适的时间点控制所述配置模块、所述文件传输模块、所述协议适配模块、所述外部触发模块完成文件传输。

优选地，所述主控模块用于在下述之一的合适的时间点控制所述配置模块、所述文件传输模块、所述协议适配模块、所述外部触发模块完成文件传输：

系统时间符合配置中指定的时间点或时间段；

在外部主动发起请求的情况下；

在检测到文件传输源已经生成的情况下；

配置中指定条件且与该指定条件相应的插件检测结果为满足的情况下。

优选地，所述配置模块用于对文件传输所必要的信息进行配置以使得在每一份配置中包括但不限于：

源文件路径；

目标文件路径；

执行时间；

是否覆盖已存在的目标文件

重试次数；

其他可用执行检测条件；

底层传输协议所必需的信息。

优选地，所述配置模块还用于在解析过程中遇到错误的配置的情况下记录必要的错误信息。

优选地，所述配置模块还用于提供文件路径的扩展机制。

优选地，所述文件传输模块还用于根据所述配置模块提供的扩展机制将源文件路径扩展为列表之后再进行传输。

优选地，所述文件传输模块利用递归算法以分级目录结构的方式实现文件传输。

优选地，所述外部触发模块用于在文件传输成功后通知对应的模块启动相应的操作或者在文件失败后发出失败通知。

优选地，所述外部触发模块用于在本地或远程运行制定的命令。

优选地，所述外部触发模块用于通过HTTP请求发送通知。

根据本发明的基于网络的集中式文件自动收集和分发装置，能够避免在多个模块实现相同的功能、分散的文件传输策略，实现统一的管理，而降低系统出错的可能性。

而且，根据本发明的基于网络的集中式文件自动收集和分发装置，能够简化复杂系统的设计与实现，让系统的各个模块不必额外进行相应地改造开发即能根据其实际需要，在合适的时间获得输入、并及时将其输出推送至相关模块，保证整个系统的顺利运行。

 

附图说明

图1是本发明的基于网络的集中式文件自动收集和分发装置的构造框图。

图2是利用本发明的基于网络的集中式文件自动收集和分发装置解析文件的收集/分发的流程图。

具体实施方式

下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。

图1是本发明的基于网络的集中式文件自动收集和分发装置的构造框图。

下面，参照图1对于本发明的基于网络的集中式文件自动收集和分发装置进行说明。

本发明的基于网络的集中式文件自动收集和分发装置是按照预先制定的文件传输配置在网络上的任意主机之间实现文件的收集和分发的装置。本发明的基于网络的集中式文件自动收集和分发装置包括配置模块100、文件传输模块200、外部触发模块300、协议适配模块400以及主控模块500。

配置模块100用于实现预先指定的文件传输配置的载入和解析，文件传输模块200用于将远程文件传输至本地或者将本地文件传输至远程，协议适配模块300用于将不同的网络传输协议转换成统一的网络传输协议来实现文件的传输，外部触发模块400用于在文件传输过程完成后触发相应的后续流程；主控模块500用于在合适的时间点组合所述配置模块、所述文件传输模块、所述协议适配模块、所述外部触发模块完成文件传输。

下面对于配置模块100、文件传输模块200、外部触发模块300、协议适配模块400以及主控模块500分别进行说明。

主控模块500用于在合适的时间点组合其余模块的功能完成文件传输。所谓合适的时间是指满足一定外部条件的时间，例如包括但不限于下述情况：

a. 系统时间符合配置中指定的时间点或时间段； 

b. 外部主动发起请求（例如通过监听TCP或UDP端口以获取通知）；

c. 检测到文件传输源已经生成；

d. 配置中指定条件、且为其开发的相应插件检测结果为满足的情况，例如，指定配置为"check_task_xxx"，则系统会根据该名称载入相应插件去判断task_xxx是否已经成功执行。

对于需要检测某些条件是否满足的情况，主控模块500可以被设置为定时执行，执行时间间隔可以根据实际需要配置。

配置模块100完成配置的载入和解析。在解析的过程中如果遇到错误的配置，可以将必要的错误信息记录下来，输出到日志文件中，以供系统管理员或其他自动监控机制的审查。

一个文件中可以包含多个任务配置，每一份配置中都应当包含文件传输所必需的信息，包括但不限于：

a. 源文件路径；

b. 目标文件路径；

c. 执行时间；

d. 是否覆盖已存在的目标文件；

e. 重试次数；

f. 其他可用执行检测条件；

g. 底层传输协议所必需的其他信息，如协议类型、用户名、密码等。

对于其他可用执行检测条件，需要指定执行检测的方法，通过开发插件的形式实现。对于特定情况，其中的一些项目也可以省略；对于允许省略的项目，配置模块100予以忽略或使用默认配置。

配置模块100还能够提供文件路径的扩展机制。所谓扩展机制是指，配置中直接存储的不是确定的、完整的路径，但是提供必要的信息可以在系统的运行时补全。例如通配符 /src/abc* 并不指定某个特定文件，而是在运行时查找 /src 路径下所有以abc开头的文件名；或者 abc__DATE__ 会在运行时根据当前系统时间调整（例如可能是 abc20130822 ）。

由于在实际应用中，文件路径并非总可以唯一指定，因此需要增加模板功能。模板可以用不同的方式实现，包括 a. 使用*等作为通配符，分别匹配多个或1个字符；b. 使用正则表达式完成部分匹配，提供更复杂的定制功能；c. 通过替换路径中的特定标识符，引入日期、时间、用户名等外部变量。

文件传输模块200用于将远程文件传输至本地，或将本地文件传输至远程。由于源文件路径中可能存在通配符等信息，需要先通过配置模块100提供的扩展机制将源文件路径扩展为列表之后再进行传输。而且，在传输过程中还应按需引入递归算法以实现分级目录结构的传输。此外，对于目录中可能导致环路的情况（例如Unix/Linux文件系统中的链接）也需要特殊处理。

协议适配模块400允许使用不同的网络传输协议来实现文件的传输。通过封装底层协议，向上层提供帐户验证、获取文件列表、切换目录、获得文件大小、推送文件、拉取文件等接口，允许在不改动其他模块的情况下切换底层协议。协议适配模块400根据实际需要能够包含若干协议封装模块，协议封装模块用于对具体协议（例如，HTTP/FTP）进行封装。而且，协议适配模块400能够为上层提供统一的接口，屏蔽了底层协议的区别。例如，上层需要获取一个文件的大小，只需调用协议适配模块400的相应接口，而该协议适配模块400会判断任务是什么协议（例如ftp和rsync协议），再调用实际协议的对应功能来实现。利用协议适配模块400，能够方便地使用现有的HTTP协议、FTP协议、RSYNC等协议。而且，在此基础上，也可以快速引入其他协议。

外部触发模块300允许在文件传输过程完成后触发相应的后续流程。例如，当文件传输成功以后，可以通知配置文件中指定的对应模块启动相应操作（例如，在获取到文件以后需要对文件进行解析，那么可以在配置文件中指定解析模块）；文件传输失败，也允许通过外部触发模块300发出失败通知，以便相关人员介入排查系统问题。外部触发模块300能够以多种实现形式，包括在本地或远程运行指定的命令、通过HTTP请求发送通知等。

本发明提出的基于网络的集中式文件自动收集和分发装置能够避免在多个模块实现相同的功能、分散的文件传输策略，实现统一的管理，而降低系统出错的可能性。本发明的基于网络的集中式文件自动收集和分发装置能够在指定时间运行，按照由配置模块100预先制定的文件传输配置，利用文件传输模块200将文件从网络中的其他主机中收集到本机的指定位置或者将本机中的文件分发至网络上的其他主机，由此能够实现更复杂的策略，例如完成网络上任意主机之间的文件收集和分发。

图2是利用本发明的基于网络的集中式文件自动收集和分发装置解析文件的收集/分发的流程图。

如图2所示，在启动之后，由配置模块100读取配置，由主控模块500执行任务或者经过规定延时之后再由主控模块500执行任务。主控模块500控制文件传输模块200进行文件的传输。接着，按照配置模块100读取的配置进行任务的筛选，由文件传输模块200进行文件的传输，在文件的传输时，由协议适配模块400进行协议适配，调用配置中指定协议的封装模块完成数据传输。在文件传输模块200完成文件的传输（从本地到远程或者从远程到本地）之后，外部触发模块300进行外部触发，以触发相应的后续流程。

利用本发明的基于网络的集中式文件自动收集和分发装置，能够简化复杂系统的设计与实现，让系统的各个模块不必额外进行相应地改造开发即能根据其实际需要。而且，能够在合适的时间获得输入、并及时将其输出推送至相关模块，保证整个系统的顺利运行。由于采用了集中式的配置管理，避免了在各个模块分别实现和配置，从而降低了系统出错的可能性。

以上例子主要说明了本发明的基于网络的集中式文件自动收集和分发装置。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。 

Claims (11)

1.一种基于网络的集中式文件自动收集和分发装置，按照预先制定的文件传输配置在网络上任意的主机之间实现文件的收集和分发，其特征在于，包括：

配置模块，用于实现预先指定的文件传输配置的载入和解析；

文件传输模块，用于将远程文件传输至本地或者将本地文件传输至远程；

协议适配模块，用于将不同的网络传输协议转换成统一的网络传输协议来实现文件的传输；

外部触发模块，用于在文件传输过程完成后触发相应的后续流程；以及

主控模块，用于在合适的时间点控制所述配置模块、所述文件传输模块、所述协议适配模块、所述外部触发模块完成文件传输。

2.如权利要求1所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述主控模块用于在下述之一的合适的时间点控制所述配置模块、所述文件传输模块、所述协议适配模块、所述外部触发模块完成文件传输：

系统时间符合配置中指定的时间点或时间段；

在外部主动发起请求的情况下；

在检测到文件传输源已经生成的情况下；

配置中指定条件且与该指定条件相应的插件检测结果为满足的情况下。

3.如权利要求2所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述配置模块用于对文件传输所必要的信息进行配置以使得在每一份配置中包括但不限于：

源文件路径；

目标文件路径；

执行时间；

是否覆盖已存在的目标文件

重试次数；

其他可用执行检测条件；

底层传输协议所必需的信息。

4.如权利要求3所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述配置模块还用于在解析过程中遇到错误的配置的情况下记录错误信息。

5.如权利要求1～4任意一项所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述配置模块还用于提供文件路径的扩展路径。

6.如权利要求5所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述文件传输模块还用于根据所述配置模块提供的扩展路径将源文件路径扩展为列表之后再进行传输。

7.如权利要求5所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述文件传输模块利用递归算法以分级目录结构的方式实现文件传输。

8.如权利要求5所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述外部触发模块用于在文件传输成功后通知对应的模块启动相应的操作或者在文件失败后发出失败通知。

9.如权利要求5所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述外部触发模块用于在本地或远程运行制定的命令。

10.如权利要求5所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述外部触发模块用于通过HTTP请求发送通知。

11.如权利要求6～10任意一项所述的基于网络的集中式文件自动收集和分发装置，其特征在于，

所述协议适配模块具备对具体协议进行封装的协议封装模块。