CN106445951B - 一种文件传输方法和装置 - Google Patents

Abstract

本发明公开了一种数据传输方法和装置。本发明中的数据传输方法包括：根据用户的输入生成配置文件，该配置文件中包括文件传输路径和文件传输路径对应的传输规则，其中，文件传输路径包括待传输文件的源地址和目标地址；根据配置文件，在文件传输路径的源地址中查找符合传输规则的文件，并将所查找到的文件传输至目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。本发明解决了在与Hadoop系统进行文件传输的方式中，文件传输的操作方式复杂，并且效率较低的问题。

Description

一种文件传输方法和装置

技术领域

本发明涉及数据存储技术领域，尤指一种文件传输方法和装置。

背景技术

随着互联网的发展，在互联网的基础上发展出的物联网已普遍应用信息交换和数据传输中，为了满足用户对海量数据的存储，通常使用Apache基金会开发的分布式系统基础架构，即海杜普(Hadoop)系统存储海量数据。

Hadoop系统包括分布式文件系统(Hadoop Distributed File System，简称为：HDFS)和分布式数据库(Hbase)，Hadoop系统存中的数据存储方式包括以文件存储方式保存于HDFS中的结构化数据文件或非结构化数据文件，对于非结构化列模式的数据，可以Hbase进行查询；Hadoop系统作为海量数据存储的平台，用户可以通过终端设备采用执行命令行实现文件的上传或下载，例如，通过PUT指令将终端设备中存储的文件上传至Hadoop系统的HDFS中，再例如，通过GET指令将Hadoop系统的HDFS中存储的文件下载到终端设备的存储器或Hadoop系统对端的关系数据库中，在上述文件传输方式中，每次执行命令行仅能支持单个文件的传输，并且每次传输的文件的数据格式是固定的，若需要传输多个文件以及不同数据格式的文件，则需要通过多次手动输入命令行的方式才能实现。

然而，现有技术在与Hadoop系统进行文件传输的方式中，由于文件传输的载体，即每个命令行仅能支持单个文件的传输，且每次传输的文件的数据格式是固定的，而导致文件传输的操作方式复杂，并且效率较低的问题。

发明内容

为了解决上述技术问题，本发明提供了一种文件传输方法和装置，以解决在与Hadoop系统进行文件传输的方式中，文件传输的操作方式复杂，并且效率较低的问题。

第一方面，本发明提供一种文件传输方法，包括：

根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址；

根据所述配置文件，在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。

在第一方面的第一种可能的实现方式中，所述传输规则包括文件格式，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：

在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，并生成文件传输列表；

根据所述文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。

根据第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述文件传输路径至少包括第一路径和第二路径，所述第一路径和所述第二路径都包括至少一条所述文件传输路径，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：

依次在所述第一路径和所述第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表，并根据所述当前文件传输列表依次将所述当前文件传输路径的源地址中的相应文件传输至所述目标地址中。

在第一方面的第三种可能的实现方式中，所述配置文件还包括校验模式，所述传输规则包括索引校验文件，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：

在所述校验模式为开启检验时，在所述文件传输路径的源地址中查找与所述索引校验文件的索引项对应的文件，并将所述查找到的文件传输至所述目标地址中；

所述将所述文件传输至所述目标地址中之后，还包括：

在所述校验模式为开启文件处理时，将所述索引校验文件存储至所述目标地址所属网络端的预设路径中；

在所述校验模式为关闭文件处理时，删除所述索引校验文件或者将所述索引校验文件存储至所述源地址所述网络端的预设路径中。

根据第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述传输规则还包括文件格式，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，还包括：

在所述校验模式为关闭检验时，在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，生成文件传输列表，并根据所述文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。

根据第一方面、第一方面的第一种到第四种可能的实现方式中任意一种，在第五种可能的实现方式中，所述配置文件还包括压缩模式，所述将所查找到的文件传输至所述目标地址，包括：

在所述压缩模式为开启时，对所述查找到的文件进行压缩处理，将压缩处理后的文件传输至所述目标地址中；

在所述压缩模式为关闭时，将所述查找到的文件传输至所述目标地址中。

根据第一方面、第一方面的第一种到第四种可能的实现方式中任意一种，在第六种可能的实现方式中，所述配置文件还包括备份模式和备份地址，所述将所查找到的文件传输至所述目标地址中之后，还包括：

在所述备份模式为关闭时，删除所述文件传输路径的源地址中已传输至所述目标地址的文件；

在所述备份模式为开启时，将所述文件传输路径的源地址中已传输至所述目标地址的文件备份到所述源地址所属网络端的备份地址中。

根据第一方面、第一方面的第一种到第四种可能的实现方式中任意一种，在第七种可能的实现方式中，所述配置文件还包括扫描时间间隔，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中之后，还包括：

计时时间达到所述扫描时间间隔时，根据当前配置文件在所述当前配置文件的文件传输路径的源地址中查找符合所述当前配置文件的传输规则的文件，并将所查找到的文件传输至所述当前配置文件的文件传输路径的目标地址中。

第二方面，本发明提供一种文件传输装置，包括：

配置模块，用于根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址；

传输模块，用于根据所述配置模块生成的配置文件，在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。

在第二方面的第一种可能的实现方式中，所述传输规则包括文件格式，所述传输模块包括：查找单元，用于在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，并生成文件传输列表；

传输单元，用于根据所述查找单元生成的文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。

根据第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述文件传输路径至少包括第一路径和第二路径，所述第一路径和所述第二路径都包括至少一条所述文件传输路径，所述查找单元，还用于依次在所述第一路径和所述第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表；

传输单元，还用于根据所述查找单元生成的当前文件传输列表依次将所述当前文件传输路径的源地址中的相应文件传输至所述目标地址中。

在第二方面的第三种可能的实现方式中，所述配置文件还包括校验模式，所述传输规则包括索引校验文件，所述传输模块还包括：判断单元，用于判断所述校验模式的状态；

查找单元，还用于在所述判断单元判断出所述校验模式为开启校验时，在所述文件传输路径的源地址中查找与所述索引校验文件的索引项对应的文件；

传输单元，还用于将所述查找单元查找到的文件传输至所述目标地址中；

所述判断单元，还用于在所述传输单元将所述文件传输至所述目标地址中之后，判断所述校验模式的状态；

所述文件传输装置还包括：处理单元，用于在所述判断单元判断出所述校验模式为开启文件处理时，将所述索引校验文件存储至所述目标地址所属网络端的预设路径中；

所述处理单元，还用于在所述判断单元判断出所述校验模式为关闭文件处理时，删除所述索引校验文件或者将所述索引校验文件存储至所述源地址所述网络端的预设路径中。

根据第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述传输规则还包括文件格式，所述查找单元，还用于在所述判断单元判断出所述校验模式为关闭检验时，在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，生成文件传输列表；

所述传输单元，还用于根据所述查找单元生成的文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。

根据第二方面、第二方面的第一种到第四种可能的实现方式中任意一种，在第五种可能的实现方式中，所述配置文件还包括压缩模式，所述传输模块还包括：判断单元和压缩单元；所述判断单元，用于判断所述压缩模式的状态；

所述压缩单元，用于在所述判断单元的判断出所述压缩模式为开启时，对所述查找到的文件进行压缩处理；

所述传输模块，还用于将所述压缩单元压缩处理后的文件传输至所述目标地址中；

所述传输模块，还用于在所述判断单元的判断出所述压缩模式为关闭时，将所述查找到的文件传输至所述目标地址中。

根据第二方面、第二方面的第一种到第四种可能的实现方式中任意一种，在第六种可能的实现方式中，所述配置文件还包括备份模式和备份地址，所述传输模块还包括：判断单元和处理单元；所述判断单元，用于在所述传输模块将所述查找到的文件传输至所述目标地址中之后，判断所述备份模式的状态；

所述处理单元，用于在所述判断单元判断出所述备份模式为关闭时，删除所述文件传输路径的源地址中已传输至所述目标地址的文件；

所述处理单元，还用于在所述判断单元判断出所述备份模式为开启时，将所述文件传输路径的源地址中已传输至所述目标地址的文件备份到所述源地址所属网络端的备份地址中。

根据第二方面、第二方面的第一种到第四种可能的实现方式中任意一种，在第七种可能的实现方式中，所述配置文件还包括扫描时间间隔，所述文件传输装置还包括：计时模块，用于在所述传输模块将所查找到的文件传输至所述目标地址中之后，执行计时操作；

所述传输模块，还用于在所述计时模块的计时时间达到所述扫描时间间隔计时，根据当前配置文件在所述当前配置文件的文件传输路径的源地址中查找符合所述当前配置文件的传输规则的文件，并将所查找到的文件传输至所述当前配置文件的文件传输路径的目标地址中。。

本发明提供的文件传输方法和装置，根据用户的输入生成包括文件传输路径和传输规则的配置文件，该文件传输路径包括待传输文件的源地址和目标地址，根据该配置文件，在上述文件传输路径的源地址中查找符合传输规则的文件，并将查找到的文件传输至目标地址中，本实施例通过设置配置文件的方式，实现了仅通过用户设置的配置文件就可以与Hadoop系统进行海量文件的批量传输，并且传输的多个文件可以为格式化数据文件和/或非格式化数据文件；本发明解决了在与Hadoop系统进行文件传输的方式中，文件传输的操作方式复杂，并且效率较低的问题。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的一种文件传输方法的流程图；

图2为本发明实施例提供的另一种文件传输方法的流程图；

图3为本发明实施例提供的又一种文件传输方法的流程图；

图4为本发明实施例提供的再一种文件传输方法的流程图；

图5为本发明实施例提供的一种文件传输装置的结构示意图；

图6为本发明实施例提供的另一种文件传输装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

目前通过终端设备与Hadoop系统的HDFS进行数据交互的应用场景通常包括：终端设备的存储器与HDFS之间的数据传输，网络中与Hadoop系统对端的关系型数据库与HDFS之间的数据传输，上述两种数据传输方式都是由终端设备执行，本发明以下各实施例所述的文件传输中，传输的实际内容即是不同类型的数据，数据以文件的形式存在于不同的网络端，并且可以在上述应用场景的两端进行交叉传输，即可以上述至HDFS，也可以由HDFS下载到本地终端设备或者关系型数据库；具体地，上述网络端的存储能力分别为：HDFS和本地终端设备均可以存储结构化数据文件和非结构化数据文件，而关系型数据库中仅能存储结构化数据文件。

需要说明的是，以下各本实施例中执行文件传输方法的终端设备通常为本地服务器，由于本发明各实施例中的终端设备需要与Hadoop系统进行海量数据的传输，通常可以使用基于Linux操作系统的服务器。下面通过具体地实施例对本发明的技术方案进行详细说明，本发明提供的以下几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例提供的一种文件传输方法的流程图。本实施例提供的文件传输方法适用于与Hadoop系统的HDFS进行文件传输的情况中，该方法可以由数据传输装置执行，该数据传输装置通常以硬件和软件的方式来实现，该装置可以集成在终端设备的处理器中，供处理器调用使用。如图1所示，本实施例的方法可以包括：

S110，根据用户的输入生成配置文件，该配置文件中包括文件传输路径和该文件传输路径对应的传输规则，其中，文件传输路径包括待传输文件的源地址和目标地址。

在本实施例中，可以通过启动终端设备上的加载(Loader)程序开启终端设备的启动流程，并在启动心跳服务后进入设置界面，终端设备上提供文件传输的配置模板文件，该配置模板文件包括各项需要设置的配置项目，终端设备可以通过图形用户界面(GraphicalUser Interface，简称为：GUI)将配置模板文件的中需要设置的项目直观的向用户展示出来，以便用户在该配置模板文件中定义对文件传输的要求，从而生成配置文件，本实施例中的配置模板文件的名称例如为template.transferConfig.xml，配置文件的名称例如为transferConfig.xml。

在具体实现中，根据用户自定义输入生成的配置文件的内容通常包括文件传输路径和对应的传输规则，该文件传输路径即上述应用场景中的两端，一端为Hadoop系统中的HDFS，另一端为终端设备或关系型数据库，也就是说，文件传输路径可以体现待传输的海量文件的传输方向以及起点和终点，即该文件传输路径包括待传输文件的源地址和目标地址。

需要说明的是，本发明各实施例中的文件传输可以由终端设备的存储器或关系型数据库向HDFS上传文件，也可以是由HDFS向终端设备的存储器或关系型数据库下载文件，还可以是上述两种传输方向的结合，即本发明各实施例不限制文件传输路径的数量，同样不限制不同文件传输路径的源地址和目标地址所属的网络端。

S120，根据配置文件，在文件传输路径的源地址中查找符合传输规则的文件，并将所查找到的文件传输至目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。

在本实施例中，文件传输路径定义了待传输的海量文件的源地址和目标地址，配置文件中源地址的文件数量通常是非常大的，因此需要进一步地筛选需要传输的文件，即通过传输规则过滤出需要传输的文件，例如可以是将源地址中所有后缀名为“.jpg”的图片传输至目标地址中，还可以是将源地址中所有后缀名为“.doc”的文件传输至目标地址中。

需要说明的是，本实施例中的上述传输规则是与文件传输路径一一对应的，不同的文件传输路径可以有不同的传输规则；并且本实施例不限制根据配置文件所传输文件的数据格式，可以为格式化数据文件，也可以为非格式化数据文件，还可以为上述两种数据格式的组合。另外，本实施例与Hadoop系统进行海量文件的传输过程，仅需要设置一次配置文件就可以将该配置文件所定义路径下所有符合传输规则的海量文件由源地址传输至目标地址中，与通过执行命令行进行文件传输的方式相比，很大程度上简化了操作方式，并且提高了文件传输的效率。

本实施例所提供的文件传输方法，根据用户的输入生成包括文件传输路径和传输规则的配置文件，该文件传输路径包括待传输文件的源地址和目标地址，根据该配置文件，在上述文件传输路径的源地址中查找符合传输规则的文件，并将查找到的文件传输至目标地址中，本实施例通过设置配置文件的方式，实现了仅通过用户设置的配置文件就可以与Hadoop系统进行海量文件的批量传输，并且传输的多个文件可以为格式化数据文件和/或非格式化数据文件；本实施例提供的方法解决了在与Hadoop系统进行文件传输的方式中，文件传输的操作方式复杂，并且效率较低的问题。

可选地，图2为本发明实施例提供的另一种文件传输方法的流程图。本实施例中与文件传输路径对应的传输规则例如为文件格式，则在上述图1所示实施例的基础上，本实施例中的S120可以包括：S121，根据配置文件，在文件传输路径的源地址中查找与文件格式相匹配的文件，并生成文件传输列表；S122，根据文件传输列表依次将源地址中的相应文件传输至目标地址中。本实施例执行海量文件传输的具体方式为：在查找到与文件格式相匹配的所有文件后，需要依次将文件传输列表中的文件传输至目标地址中，通常可以采用遍历文件传输列表的方式进行传输，具体地，遍历到文件传输列表中的当前文件时，判断该当前文件是否正在传输，若该当前文件不是正在传输的文件，则为当前文件开辟HDFS文件推送线程，并将该线程放入线程池中等待执行调度，随后判断当前文件是否为最后一个文件，若该当前文件为最后一个文件则传输该当前文件后完成配置文件的传输任务，若该当前文件不是最后一个文件，则继续遍历文件传输列表中的文件进行传输；另外，在上述判断当前文件为正在传输的文件时，同样可以进一步判断该当前文件是否为最后一个文件，并根据判断结果执行后续的操作。

在具体实现中，本实施例中的文件传输路径可以是一条或多条，一方面，若配置文件中仅包括一条文件传输路径，则仅传输该路径下所有符合传输规则的文件，则对终端设备的进程和线程的配置要求不高。另一方面，若配置文件中包括多条文件传输路径，且要求同时传输每条路径下的符合传输规则的文件，则对终端设备的进程和线程的配置要求较高，通常要求多进行和多线程配置，以满足并行执行文件传输的要求。又一方面，若配置文件中包括多条文件传输路径，还可以是依次遍历配置文件中的部分文件传输路径，即对该部分路径下的文件先进行传输，再遍历配置文件中其它文件传输路径，多次执行查找和传输操作，具体实现方式为，文件传输路径中例如包括第一路径和第二路径，且该第一路径和第二路径都包括至少一条文件传输路径，则图1所示实施例中的S120可以替换为：依次在第一路径和第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表，并根据当前文件传输列表依次将当前文件传输路径的源地址中的相应文件传输至目标地址中。需要说明的是，本实施例中每次遍历的文件传输路径的数量可以根据终端设备的线程配置决定，例如在终端设备为单进程单线程的模式时，可以每次遍历一条文件传输路径以执行该路径下的文件传输，具体传输方式与上述实施例相同，故在此不再赘述。

如图3所述，为本发明实施例提供的又一种文件传输方法的流程图。在图1所示实施例的另一种可能的实现方式中，配置文件还包括校验模式，与文件传输路径对应的传输规则例如索引校验文件，则在上述图1所示实施例的基础上，本实施例中的S120具体包括：S121，根据配置文件，判断校验模式的状态；若校验模式为开启校验，则执行S122；若校验模式为关闭检验，则执行S123。

S122，在文件传输路径的源地址中查找与索引校验文件的索引项对应的文件，并将查找到的文件传输至目标地址中。

需要说明的是，本实施例中的传输规则还可以包括文件格式，则S123可以为：在文件传输路径的源地址中查找与文件格式相匹配的文件，生成文件传输列表，并根据文件传输列表依次将源地址中的相应文件传输至目标地址中。

在本实施例中，执行S122或S123之后，还包括：S130，判断校验模式的状态；若校验模式为开启文件处理，则执行S131；若校验模式为关闭文件处理，则执行S132。

S131，将索引校验文件存储至目标地址所属网络端的预设路径中。

S132，删除索引校验文件或者将索引校验文件存储至源地址网络端的预设路径中。

需要说明的是，本实施例中的检验模式的状态包括校验状态和文件处理状态，检验状态用于控制是否执行校验功能，即是否采用索引校验文件查找待传输的文件，文件处理状态在执行文件传输后，用于控制对索引校验文件的后续处理操作，具体操作方式如上述S130～S132所示。

还需要说明的是，图2所示实施例中通过文件格式查找待传输文件与图3所示实施例中通过索引检验文件查找待传输文件，为本发明的两种可选地查找文件的方式，通常为择一选择的，在本实施例的另一种可能的实现方式中，若传输规则中并没有文件格式，并且在S121判断出检验模式为关闭检验时，传输文件的方式还可以为：将文件传输路径的源地址中的所有文件传输至目标地址中。

进一步地，图4为本发明实施例提供的再一种文件传输方法的流程图，在本发明上述各实施例的基础上，本实施例提供的方法中的S120具体包括：

S121，根据配置文件，在文件传输路径的源地址中查找符合传输规则的文件，本实施例中的配置文件还包括压缩模式。

S122，判断压缩模式的状态；若压缩模式为开启，则执行S123；若压缩模式为关闭，则执行S124。

S123，对查找到的文件进行压缩处理，例如可以对文件进行LZO(Lempel-Ziv-Oberhumer)算法压缩。从而同样需要执行S124，将文件传输至目标地址中，此时传输至目标地址中的文件为进行压缩处理后的文件。需要说明的是，本实施例以在上述图1所示实施例的基础上为例进行的进一步描述。

更进一步地，在本发明上述各实施例的基础上，配置文件还可以包括备份模式和备份地址，以在图4所示实施例的基础上为例予以示出，本实施例在执行S124之后，还包括：

S130，判断备份模式的状态；若备份模式为关闭，则执行S131；若备份模式为开启，则执行S132。

S131，删除文件传输路径的源地址中已传输至目标地址的文件。

S132，将文件传输路径的源地址中已传输至目标地址的文件备份到源地址所属网络端的备份地址中。

在本实施例中，若源地址所属网络端为本地终端设备，则将上述文件存储于终端设备的备份地址中，若源地址所属网络端为关系型数据库所在网络端，则将上述文件存储于关系型数据库的备份地址中，该源地址所属网络端还可以为Hadoop系统，则将上述文件存储于HDFS的备份地址中；需要说明的是，该备份地址可以与源地址相同，也可以与源地址不同。

可选地，在本发明上述各实施例的基础上，若需要传输的文件为动态的数据流，例如将语音通话或视频会议的内容传输至HDFS中，则需要重复执行文件传输的操作，并且可以通过用户的设置改变当前的配置文件，具体实现方式为：配置文件中还包括扫描时间间隔，本实施例提供的方法中，在S120之后还包括：执行计时操作，并在计时时间达到扫描时间间隔时，重新执行S120，此时，具体根据当前配置文件在该当前配置文件的文件传输路径的源地址中查找符合当前当前配置文件的传输规则的文件，并将所查找到的文件传输至当前配置文件的文件传输路径的目标地址中。需要说明的是，本发明各实施例提供的方法，在S120之后进行计时，并且可以循环执行S120。

需要说明的是，执行本发明各实施例提供的文件传输方法的终端设备可以设置为多进程模式下的多线程配置，能够执行多线程启动，并且在执行文件传输时具有较大的并行执行能力，进一步提高了传输速率；另外，开启启动的Loader程序可以执行主机和备机的双机模式，提高了文件传输方法的可靠性。

以下具体对本发明上述各实施例中配置文件的具体内容作以说明，通过用户的设置生成的配置文件的名称例如为transferConfig.xml，该配置文件可以在终端设备重启时，通过用户的设置进行更改，配置文件transferConfig.xml的内容例如包括：

1、transferPath：表示文件传输路径和文件备份路径，文件备份路径具体为图4所示实施例中从源地址到备份地址的路径，transferPath中可以填写绝对路径或者相对路径，相对路径是指hadooploader所在安装路径，即为终端设备上的Loader程序的安装路径，index表示路径索引值。

2、transferRule表示传输规则，其中，name表示规则名称，path表示文件传输路径的索引，与transferpath中的路径索引值对应，file表示文件名称，type表示文件传输至Hadoop中的类型，具体为Hbase或者HDFS，Hbase对应的填写值为db，HDFS或者对应的填写值为hdfs，dest填写表示文件传输的具体内容；需要说明的是，Hbase为Hadoop系统中的数据库，可以支持非结构化的列模式，对于该模式的数据，可以通过Hbase查询HDFS中的非结构化数据。

3、对于db类型：name表示表名，field表示字段名，key表示索引，其中field表示索引包含的字段，ctm表示索引是否包含时间，Y表示包含，N表示不包含，sqc表示索引是否包含序列号，Y表示包含，N表示不包含。

4、对于hdfs类型：dest配置项中的path表示HDFS中的地址，region表示目录分区方式，如果Config.properties中RegionType为0，表示传输的文件支持天(day)，周(week)，月(month)，年(year)的存储形式(/YYYYMMWWDD)，该存储形式为一层存储路径形式，或者表示传输的文件支持days的存储形式(/YYYYMMWW/DD)，该存储形式为二层存储路径形式；如果Config.properties中RegionType为1，表示传输的文件支持天(day)，月(month)，年(year)的存储形式(/YYYYMMDD)，或者表示传输的文件支持days(/YYYYMM/DD)的存储形式。

5、配置文件中支持多条文件传输路径，可以并行或者依次对多条文件传输路径中的文件执行传输操作；并且支持配置文件的动态生效。

6、索引校验文件例如为OK文件，该OK文件的插件式校验是基于Loader程序所扩充的一个插件式校验功能，用于提供校验接口完成用户对OK文件的自定义校验；如果用户未配置自定义校验插件，可以使用终端设备提供的默认校验完成校验功能。

图5为本发明实施例提供的一种文件传输装置的结构示意图。本实施例提供的文件传输装置适用于与Hadoop系统的HDFS进行文件传输的情况中，该文件传输装置以硬件和软件的方式来实现，该装置可以集成在终端设备的处理器中，供处理器调用使用。如图5所示，本实施例的文件传输装置具体包括：配置模块11和传输模块12。

其中，配置模块11，用于根据用户的输入生成配置文件，该配置文件中包括文件传输路径和文件传输路径对应的传输规则，其中，文件传输路径包括待传输文件的源地址和目标地址。

需要说明的是，本发明各实施例中的文件传输可以由终端设备的存储器或关系型数据库向HDFS上传文件，也可以是由HDFS向终端设备的存储器或关系型数据库下载文件，还可以是上述两种传输方向的结合，即本发明各实施例不限制文件传输路径的数量，同样不限制不同文件传输路径的源地址和目标地址所属的网络端。

传输模块12，用于根据配置模块11生成的配置文件，在文件传输路径的源地址中查找符合传输规则的文件，并将所查找到的文件传输至目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件。

本发明实施例提供的文件传输装置用于执行本发明图1所示实施例提供的文件传输方法，具备相应的功能模块，其实现原理和技术效果类似，此处不再赘述。

可选地，图6为本发明实施例提供的另一种文件传输装置的结构示意图。本实施例中与文件传输路径对应的传输规则例如为文件格式，则在上述图5所示实施例的基础上，本实施例中的传输模块12包括：查找单元13，用于在文件传输路径的源地址中查找与文件格式相匹配的文件，并生成文件传输列表；传输单元14，用于根据查找单元13生成的文件传输列表依次将源地址中的相应文件传输至目标地址中。

在具体实现中，本实施例中的文件传输路径可以是一条或多条，配置文件中包括多条文件传输路径，可以是同时查询每条文件传输路径中待传输的文件，也可以是分次执行的，具体地，文件传输路径例如包括第一路径和第二路径，且该第一路径和第二路径都包括至少一条文件传输路径，则上述查找单元13，还用于依次在第一路径和第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表；传输单元14，还用于根据查找单元13生成的当前文件传输列表依次将当前文件传输路径的源地址中的相应文件传输至目标地址中。

本发明实施例提供的文件传输装置用于执行本发明图2所示实施例提供的文件传输方法，具备相应的功能模块，其实现原理和技术效果类似，此处不再赘述。

在本发明实施例的另一种可能的实现方式中，配置文件还包括校验模式，与文件传输路径对应的传输规则还可以为索引校验文件，则在上述图6所示文件传输装置的基础上，传输模块12还包括：判断单元15，用于判断校验模式的状态；相应地，查找单元13，还用于在判断单元15判断出检验模式为开启检验时，在文件传输路径的源地址中查找与索引校验文件的索引项对应的文件；传输单元14，还用于将查找单元13查找到的文件传输至目标地址中；另外，若本实施例中的传输规则还包括文件格式，查找单元13，还用于在判断单元15判断出检验模式为关闭校验时，在文件传输路径的源地址中查找与文件格式相匹配的文件，生成文件传输列表；传输单元14，还用于根据查找单元13生成的文件传输列表依次将源地址中的相应文件传输至目标地址中。本实施例中的校验模式的状态还包括开启或关闭文件处理，用于在传输单元14执行文件传输后的进一步处理，具体地，本实施例中的判断单元15，还用于在传输单元14将文件传输至目标地址中之后，判断校验模式的状态；相应地，文件传输装置还包括：处理单元16，用于在判断单元15判断出检验模式为开启文件处理时，将索引校验文件存储至目标地址所属网络端的预设路径中；处理单元16，还用于在判断单元15判断出检验模式为关闭文件处理时，删除索引校验文件或者将索引校验文件存储至源地址网络端的预设路径中。

需要说明的是，本实施例中通过索引检验文件查找待传输文件与上述实施例中通过文件格式查找待传输文件，为本发明提供的两种可选地查找文件的方式，通常为择一选择的，在本实施例的另一种可能的实现方式中，若传输规则中并没有文件格式，并且上述判断单元15判断出检验模式为关闭检验时，传输文件的方式还可以为：传输单元14，还用于在判断单元15判断出检验模式为关闭检验时，将文件传输路径的源地址中的所有文件传输至目标地址中。

本发明实施例提供的文件传输装置用于执行本发明图3所示实施例提供的文件传输方法，具备相应的功能模块，其实现原理和技术效果类似，此处不再赘述。

进一步地，在本发明上述各实施例的基础上，本实施例中的配置文件还可以包括压缩模式，以在图6所示文件传输装置的结构基础上为例予以说明，判断单元15，还用于判断压缩模式的状态；相应地，本实施例中的传输模块12还包括：压缩单元17，用于在判断单元15的判断出压缩模式为开启时，对查找到的文件进行压缩处理；传输模块12，还用于将压缩单元17压缩处理后的文件传输至目标地址中；另外，传输模块12，还用于在判断单元15的判断出压缩模式为关闭时，将查找到的文件传输至目标地址中。

更进一步地，本实施例中的配置文件还可以包括备份模式和备份地址，则图6所示文件传输装置中的判断单元15，还用于在传输模块12将查找到的文件传输至目标地址中之后，判断备份模式的状态；相应地，处理单元16，还用于在判断单元15判断出备份模式为关闭时，删除文件传输路径的源地址中已传输至目标地址的文件；另外，处理单元16，还用于在判断单元15判断出备份模式为开启时，将文件传输路径的源地址中已传输至目标地址的文件备份到源地址所属网络端的备份地址中。

本发明实施例提供的文件传输装置用于执行本发明图4所示实施例提供的文件传输方法，具备相应的功能模块，其实现原理和技术效果类似，此处不再赘述。

具体实现中，在本发明上述各实施例的基础上，若需要传输的文件为动态的数据流，例如将语音通话或视频会议的内容传输至HDFS中，则需要重复执行文件传输的操作，并且可以通过用户的设置改变当前的配置文件，本实施例中的配置文件中还包括扫描时间间隔，则在上述图6所示文件传输装置的结构基础上，本实施例提供的装置还包括：计时模块18，用于在传输模块12将查找到的文件传输至目标地址中之后，执行计时操作；相应地，传输模块12，还用于在计时模块18的计时时间达到扫描时间间隔计时，根据当前配置文件在当前配置文件的文件传输路径的源地址中查找符合当前配置文件的传输规则的文件，并将所查找到文件传输至当前配置文件的文件传输路径的目标地址中。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (14)

1.一种文件传输方法，其特征在于，包括：

根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址；

根据所述配置文件，在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件；

所述文件传输是由终端设备的存储器或关系型数据库向HDFS上传文件，或是由HDFS向终端设备的存储器或关系型数据库下载文件，或是由终端设备的存储器或关系型数据库向HDFS上传文件和由HDFS向终端设备的存储器或关系型数据库下载文件的结合；

所述配置文件还包括校验模式，所述传输规则包括索引校验文件，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：

在所述校验模式为开启检验时，在所述文件传输路径的源地址中查找与所述索引校验文件的索引项对应的文件，并将所述查找到的文件传输至所述目标地址中；

所述将所述文件传输至所述目标地址中之后，还包括：

在所述校验模式为开启文件处理时，将所述索引校验文件存储至所述目标地址所属网络端的预设路径中；

在所述校验模式为关闭文件处理时，删除所述索引校验文件或者将所述索引校验文件存储至所述源地址所述网络端的预设路径中；

检验模式的状态包括校验状态和文件处理状态，检验状态用于控制是否执行校验功能，文件处理状态在执行文件传输后，用于控制对索引校验文件的后续处理操作。

2.根据权利要求1所述的文件传输方法，其特征在于，所述传输规则包括文件格式，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：

在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，并生成文件传输列表；

根据所述文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。

3.根据权利要求2所述的文件传输方法，其特征在于，所述文件传输路径至少包括第一路径和第二路径，所述第一路径和所述第二路径都包括至少一条所述文件传输路径，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，包括：

依次在所述第一路径和所述第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表，并根据所述当前文件传输列表依次将所述当前文件传输路径的源地址中的相应文件传输至所述目标地址中。

4.根据权利要求1所述的文件传输方法，其特征在于，所述传输规则还包括文件格式，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，还包括：

在所述校验模式为关闭检验时，在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，生成文件传输列表，并根据所述文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。

5.根据权利要求1～4中任一项所述的文件传输方法，其特征在于，所述配置文件还包括压缩模式，所述将所查找到的文件传输至所述目标地址，包括：

在所述压缩模式为开启时，对所述查找到的文件进行压缩处理，将压缩处理后的文件传输至所述目标地址中；

在所述压缩模式为关闭时，将所述查找到的文件传输至所述目标地址中。

6.根据权利要求1～4中任一项所述的文件传输方法，其特征在于，所述配置文件还包括备份模式和备份地址，所述将所查找到的文件传输至所述目标地址中之后，还包括：

在所述备份模式为关闭时，删除所述文件传输路径的源地址中已传输至所述目标地址的文件；

在所述备份模式为开启时，将所述文件传输路径的源地址中已传输至所述目标地址的文件备份到所述源地址所属网络端的备份地址中。

7.根据权利要求1～4中任一项所述的文件传输方法，其特征在于，所述配置文件还包括扫描时间间隔，所述在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中之后，还包括：

计时时间达到所述扫描时间间隔时，根据当前配置文件在所述当前配置文件的文件传输路径的源地址中查找符合所述当前配置文件的传输规则的文件，并将所查找到的文件传输至所述当前配置文件的文件传输路径的目标地址中。

8.一种文件传输装置，其特征在于，包括：

配置模块，用于根据用户的输入生成配置文件，所述配置文件中包括文件传输路径和所述文件传输路径对应的传输规则，其中，所述文件传输路径包括待传输文件的源地址和目标地址；

传输模块，用于根据所述配置模块生成的配置文件，在所述文件传输路径的源地址中查找符合所述传输规则的文件，并将所查找到的文件传输至所述目标地址中，所传输的文件包括格式化数据文件和/或非格式化数据文件；

所述文件传输是由终端设备的存储器或关系型数据库向HDFS上传文件，或是由HDFS向终端设备的存储器或关系型数据库下载文件，或是由终端设备的存储器或关系型数据库向HDFS上传文件和由HDFS向终端设备的存储器或关系型数据库下载文件的结合；

所述配置文件还包括校验模式，所述传输规则包括索引校验文件，所述传输模块还包括：判断单元，用于判断所述校验模式的状态；

查找单元，还用于在所述判断单元判断出所述校验模式为开启校验时，在所述文件传输路径的源地址中查找与所述索引校验文件的索引项对应的文件；

传输单元，还用于将所述查找单元查找到的文件传输至所述目标地址中；

所述判断单元，还用于在所述传输单元将所述文件传输至所述目标地址中之后，判断所述校验模式的状态；

所述文件传输装置还包括：处理单元，用于在所述判断单元判断出所述校验模式为开启文件处理时，将所述索引校验文件存储至所述目标地址所属网络端的预设路径中；

所述处理单元，还用于在所述判断单元判断出所述校验模式为关闭文件处理时，删除所述索引校验文件或者将所述索引校验文件存储至所述源地址所述网络端的预设路径中；

检验模式的状态包括校验状态和文件处理状态，检验状态用于控制是否执行校验功能，文件处理状态在执行文件传输后，用于控制对索引校验文件的后续处理操作。

9.根据权利要求8所述的文件传输装置，其特征在于，所述传输规则包括文件格式，所述传输模块包括：查找单元，用于在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，并生成文件传输列表；

传输单元，用于根据所述查找单元生成的文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。

10.根据权利要求9所述的文件传输装置，其特征在于，所述文件传输路径至少包括第一路径和第二路径，所述第一路径和所述第二路径都包括至少一条所述文件传输路径，所述查找单元，还用于依次在所述第一路径和所述第二路径的源地址中查找与当前文件传输路径对应的文件格式相匹配的文件，生成当前文件传输列表；

传输单元，还用于根据所述查找单元生成的当前文件传输列表依次将所述当前文件传输路径的源地址中的相应文件传输至所述目标地址中。

11.根据权利要求8所述的文件传输装置，其特征在于，所述传输规则还包括文件格式，所述查找单元，还用于在所述判断单元判断出所述校验模式为关闭检验时，在所述文件传输路径的源地址中查找与所述文件格式相匹配的文件，生成文件传输列表；

所述传输单元，还用于根据所述查找单元生成的文件传输列表依次将所述源地址中的相应文件传输至所述目标地址中。

12.根据权利要求8～11中任一项所述的文件传输装置，其特征在于，所述配置文件还包括压缩模式，所述传输模块还包括：判断单元和压缩单元；所述判断单元，用于判断所述压缩模式的状态；

所述压缩单元，用于在所述判断单元的判断出所述压缩模式为开启时，对所述查找到的文件进行压缩处理；

所述传输模块，还用于将所述压缩单元压缩处理后的文件传输至所述目标地址中；

所述传输模块，还用于在所述判断单元的判断出所述压缩模式为关闭时，将所述查找到的文件传输至所述目标地址中。

13.根据权利要求8～11中任一项所述的文件传输装置，其特征在于，所述配置文件还包括备份模式和备份地址，所述传输模块还包括：判断单元和处理单元；所述判断单元，用于在所述传输模块将所述查找到的文件传输至所述目标地址中之后，判断所述备份模式的状态；

所述处理单元，用于在所述判断单元判断出所述备份模式为关闭时，删除所述文件传输路径的源地址中已传输至所述目标地址的文件；

所述处理单元，还用于在所述判断单元判断出所述备份模式为开启时，将所述文件传输路径的源地址中已传输至所述目标地址的文件备份到所述源地址所属网络端的备份地址中。

14.根据权利要求8～11中任一项所述的文件传输装置，其特征在于，所述配置文件还包括扫描时间间隔，所述文件传输装置还包括：计时模块，用于在所述传输模块将所查找到的文件传输至所述目标地址中之后，执行计时操作；

所述传输模块，还用于在所述计时模块的计时时间达到所述扫描时间间隔计时，根据当前配置文件在所述当前配置文件的文件传输路径的源地址中查找符合所述当前配置文件的传输规则的文件，并将所查找到的文件传输至所述当前配置文件的文件传输路径的目标地址中。

Images