CN110830567A - 一种数据传输方法及装置 - Google Patents

Abstract

本发明公开了一种数据传输方法及装置，涉及分布式文件系统技术领域，用于分布式文件系统与目标服务器之间的文件传输。包括：获取待传输文件的配置信息；其中，所述配置信息包括源系统地址、源目录、文件名、目标系统地址；根据所述配置信息中的源系统地址、源目录及文件名，从多个文件系统中确定所述待传输文件所在的源系统，并从所述源系统中读取所述待传输文件；根据所述配置信息中的目标系统地址，从多个文件系统中确定需要获取所述待传输文件的目标系统；将所述待传输文件发送至所述目标系统。本发明实施例应用于分布式文件系统与目标服务器之间的文件传输。

Description

一种数据传输方法及装置

技术领域

本发明涉及存储技术领域，尤其涉及一种数据传输方法及装置。

背景技术

目前，行业中大多使用分布式文件系统对数据进行存储和管理；其中，分布式文件系统是指文件系统管理的物理存储资源通过计算机网络的多个节点与本地节点相连，众多的节点组成一个文件系统网络，每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。

但是，在分布式文件系统与目标服务器在进行数据传输过程中，对于新增的传输任务，需要开发相应的传输程序；但是，由于每次新增的传输任务中，存在发送文件与接收文件的系统不同、文件格式不同、路径不同等问题，所以该传输程序只能针对本次新增传输任务进行传输，从而导致每次新增传输任务时都需要重新开发新的传输程序。

发明内容

本发明的实施例提供一种数据传输方法及装置，用于分布式文件系统与目标服务器之间的文件传输。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种数据传输方法，该方法包括：获取待传输文件的配置信息；其中，所述配置信息包括源系统地址、源目录、文件名、目标系统地址；根据所述配置信息中的源系统地址、源目录及文件名，从多个文件系统中确定所述待传输文件所在的源系统，并从所述源系统中读取所述待传输文件；根据所述配置信息中的目标系统地址，从多个文件系统中确定需要获取所述待传输文件的目标系统；将所述待传输文件发送至所述目标系统。

第二方面，提供了一种数据传输装置，该装置包括获取单元、确定单元、发送单元；其中，所述确定单元分别与所述获取单元及发送单元连接；所述获取单元，用于获取待传输文件的配置信息；其中，所述配置信息包括源系统地址、源目录、文件名、目标系统地址；所述确定单元，用于根据所述配置信息中的源系统地址、源目录及文件名，从多个文件系统中确定所述待传输文件所在的源系统，并从所述源系统中读取所述待传输文件；所述确定单元，还用于根据所述配置信息中的目标系统地址，从多个文件系统中确定需要获取所述待传输文件的目标系统；所述发送单元，用于将所述待传输文件发送至所述目标系统。

本发明的实施例提供的一种数据传输方法及装置，应用于分布式文件系统技术领域中，用于分布式文件系统与目标服务器之间的文件传输。通过获取新增传输任务中指定的待传输文件的配置信息，根据配置信息从多个系统中确定源系统及目标系统，从源系统中获取待传输文件并将待传输文件发送至目标系统中，能够在新增传输任务时，只需要根据配置信息执行相应操作，即可实现在分布式文件系统与目标服务器之间进行文件传输，从而无需针对新增传输任务重复开发传输程序。

附图说明

图1为本发明的实施例提供的一种分布式文件系统拓扑图一；

图2为本发明的实施例提供的一种数据传输方法流程示意图一；

图3为本发明的实施例提供的一种预设界面的示意图一；

图4为本发明的实施例提供的一种预设界面的示意图二；

图5为本发明的实施例提供的一种数据传输方法流程示意图二；

图6为本发明的实施例提供的一种数据传输装置结构示意图一；

图7为本发明的实施例提供的一种数据传输装置结构示意图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

首先介绍本发明的发明构思，目前，行业中大多使用分布式文件系统对数据进行存储和管理；其中，分布式是指将数据按照一定大小的块进行存储并且分布在不同的服务器上，通过一定的协调机制，将多台服务器调度起来，同时对不同的数据进行处理；分布式文件系统是指文件系统管理的物理存储资源通过计算机网络的多个节点与本地节点相连，众多的节点组成一个文件系统网络，每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。

基于上述技术，本发明发现，在分布式文件系统与目标服务器在进行数据传输过程中，由于每次新增的传输任务中，存在发送文件与接收文件的系统不同，文件格式不同、路径不同等问题，例如：发送文件系统与接受文件系统可以为分布式文件系统(HadoopDistributed File System，HDFS)、Hive数据库、FTP服务器、Redis系统、Kafka系统或者MongoDB数据库等，导致每次新增传输任务时都需要重新开发传输程序，且该传输程序只能针对本次新增传输任务进行传输，无法重复利用。

针对上述技术问题，本发明中考虑到能否使用一种新的数据传输方法，应用于如图1所示的数据传输装置中，能够自动根据不同传输任务的不同配置信息，将不同的文件或数据在不同的分布式文件系统(图1示例性的给出了分布式文件系统A及分布式文件系统B，在实际应用中，可以有更多或更少的分布式文件系统)与服务器(图1示例性的给出了服务器A、服务器B、服务器C及服务器D，在实际应用中，可以有更多或更少的服务器)之间、不同的路径中进行传输，无需针对每次传输任务开发新的传输程序，从而能够解决上述技术问题。

基于上述发明构思，如图2所示，本发明实施例提供了一种数据传输方法，应用于一种数据传输装置，该方法包括S101-S106：

S101、显示预设界面。

其中，预设界面包括第一输入框、第二输入框、第三输入框及第四输入框；第一输入框用于接收用户输入的源系统地址，第二输入框用于接收用户输入的源目录，第三输入框用于接收用户输入的文件名、第四输入框用于接收用户输入的目标系统地址。

示例性的，预设界面可以包括第一子界面、第二子界面，如图3所示，第一子界面中的源系统可以为第一输入框、源目录可以为第二输入框、目标系统可以为第四输入框，如图4所示，第二子界面中的下传文件名可以为第三输入框。

需要说明的，预设界面可以支持用户针对不同传输任务进行多次不同的输入操作。

S102、根据用户对第一输入框、第二输入框、第三输入框以及第四输入框的输入操作，生成配置信息。

具体的，数据传输装置在接收到用户对的输入操作后，根据用户对第一输入框输入的源系统地址、对第二输入框输入的源目录、对第三输入框输入的文件名以及对第四输入框输入的目标系统地址，生成与待传输文件对应的配置信息。

S103、获取待传输文件的配置信息。

其中，配置信息包括源系统地址、源目录、文件名、目标系统地址。

为了能够使数据传输装置能够自动的获取待传输文件的配置信息，可选的，在本发明实施例提供的S103之前，可以包括：确定传输待传输文件的开始时间；本发明实施例提供的S103，具体可以包括：在达到开始时间后，获取待传输文件的配置信息。

由于预设界面可以支持用户可以支持用户针对不同传输任务进行多次不同的输入操作，为了能够使数据传输装置从多次不同的输入操作中确定与待传输文件对应的配置信息，可选的，如图5所示，本发明实施例提供的S103具体还可以包括S1031-S1032：

S1031、获取与配置信息对应的任务ID。

其中，与配置信息对应的任务ID可以在S102中生成配置信息时由数据传输装置自动生成。

需要说明的，任务ID也可以作为第一子界面与第二子界面的第一映射ID。

示例性的，任务ID可以为一条64位的通用唯一识别码(Universally UniqueIdentifier，UUID)。

S1032、根据任务ID，从配置信息集合中查询待传输文件的配置信息。

其中，配置信息集合中包括多个传输文件中各传输文件对应的配置信息。

S104、根据配置信息中的源系统地址、源目录及文件名，从多个文件系统中确定待传输文件所在的源系统，并从源系统中读取待传输文件。

可选的，如图5所示，本发明实施例提供的S104，具体可以包括S0141-S1043：

S1041、根据源系统地址，从多个文件系统中确定待传输文件所在的源系统。

具体的，数据传输装置根据配置信息中的源系统地址，从地址集合中确定与源系统地址相匹配的系统为源系统。

其中，地址集合中包括多个文件系统的物理地址。

S1042、与源系统建立连接。

具体的，数据传输装置根据源系统地址向源系统发送建立连接请求。

S1043、根据源目录及文件名，从源系统中查询待传输文件。

具体的，数据传输装置与源系统建立连接后，根据文件名，从源系统的源目录中查询与文件名匹配的待传输文件。

S105、根据配置信息中的目标系统地址，从多个文件系统中确定需要获取待传输文件的目标系统。

具体的，数据传输装置根据配置信息中的目标系统地址，从地址集合中确定与目标系统地址相匹配的系统为目标系统系统。

S106、将待传输文件发送至目标系统。

具体的，数据传输装置将独取到的待传输文件发送至目标系统中。

可选的，本发明实施例提供的数据传输方法中，若配置信息中还包括：目标目录、目标系统用户名、加密密码；则S106具体可以包括S1061-S1062：

S1061、根据目标系统用户名及加密密码，登录目标系统。

需要说明的，目标系统用户名可以由用户在预设界面的第五输入框中进行输入操作，加密密码可以由用户在预设界面的第六输入框中进行输入操作。

S1062、将待传输文件所包含的数据流发送至目标系统的目标目录内。

需要说明的，目标目录可以由用户在与预设界面的第七输入框中进行输入操作。

示例性的，如图3所示，第一子界面中的目标目录输入框可以为第七输入框。

可选的，本发明实施例提供的数据传输方法中，若配置信息中还包括增量标识，则S106具体可以包括S1063-S1064：

S1063、根据增量标识，在目标系统中确定待传输文件对应的全量文件。

需要说明的是，增量标识可以由用户在预设界面的第八输入框中进行输入操作。

示例性的，如图4所示，第二子界面中的增全量标识输入框可以为第八输入框。

S1064、将待传输文件所包含的数据流保存至全量文件中。

为了避免数据传输过程中获取文件及发送文件之间速度不匹配的问题，在一种实现方式中，在本发明实施例提供的S1043之后，可以包括：将待传输文件保存至缓存中。

具体的，数据传输装置将读取到的待传输文件的数据流保存至缓存中。

需要说明的，缓存可以设置于数据传输装置内部。

本发明实施例提供的S106具体可以包括：将缓存中的待传输文件发送至目标系统。

具体的，数据传输装置将保存在缓存中的待传输文件的数据流发送至目标系统。在另一种实现方式中，为了避免本发明实施例提供的数据传输方法，还可以包括：以第一速度获取待传输文件的数据流，以第二速度发送待传输文件的数据流；其中，第一速度大于等于第二速度。

在该传输任务结束后，为了便于查找与该传输任务相关的传输记录，可选的，本发明实施例提供的数据传输方法，还包括：S1-S2：

S1、统计传输过程中的传输信息。

其中，传输信息包括被传输文件的大小、传输时间。

S2、保存传输信息。

需要说明的是，日志库可以设置于数据传输装置中。

可选的，本发明实施例提供的数据传输方法中的配置信息，还可以包括用户从预设界面的第九输入框输入的任务名称、从第十输入框输入的传输类型、从第十一输入框输入的上一步任务、从第十二输入框输入的是否生效、从第十三输入框输入的是否精确匹配、从第十四输入框输入的写入方式、从第十五输入框输入的是否压缩、从第十六输入框输入的压缩类型、从第十七输入框输入的文件编码、从第十八输入框输入的文件类型、从第十九输入框输入的发送后是否重命名等信息。

其中，任务名称，用于表示待传输文件所属的传输任务的名称。传输类型，用于表示不同系统之间的文件传输；上一步任务，用于表示本次传输任务之前的传输任务的任务名称；是否生效，用于检查数据传输装置生成的UUID是否与待传输文件相对应；是否精确匹配，用于设置在匹配待传输文件名或者系统地址时是否进行精确匹配；写入方式，用于确定将待传输文件发送至目标系统时的写入方式是覆盖写入或追加写入；是否压缩，用于表示在传输待传输文件过程中，是否需要对该文件进行压缩；压缩类型，用于表示对该文件进行压缩的压缩类型；文件编码，用于表示待传输文件的文件编码；文件类型，用于表示待传输文件的文件类型；是否重命名，用于表示本次传输任务结束后，是否将已传输的文件进行重命名。

需要说明的，第八输入框中只能由用户输入全量标识或增量标识中的一种；若用户输入全量标识，则第十四输入框中输入的写入方式为覆盖写入；若用户输入增量标识，则第十四输入框中输入的写入方式为追加写入。

本发明的实施例提供的一种数据传输方法及装置，应用于分布式文件系统技术领域中，用于分布式文件系统与目标服务器之间的文件传输。通过获取新增传输任务中指定的待传输文件的配置信息，根据配置信息从多个系统中确定源系统及目标系统，从源系统中获取待传输文件并将待传输文件发送至目标系统中，能够在新增传输任务时，只需要根据配置信息执行相应操作，即可实现在分布式文件系统与目标服务器之间进行文件传输，从而无需针对新增传输任务重复开发传输程序。

本发明实施例可以根据上述方法示例对数据传输装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本发明实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，本发明实施例提供了上述实施例中所涉及的数据传输装置的一种可能的结构示意图，如图6所示，数据传输装置200包括获取单元201、确定单元202、发送单元203；其中，确定单元202分别与获取单元201及发送单元连接203。

获取单元201，用于获取待传输文件的配置信息；其中，配置信息包括源系统地址、源目录、文件名、目标系统地址。

确定单元202，用于根据配置信息中的源系统地址、源目录及文件名，从多个文件系统中确定待传输文件所在的源系统，并从源系统中读取待传输文件。确定单元202，还用于根据配置信息中的目标系统地址，从多个文件系统中确定需要获取待传输文件的目标系统。

发送单元203，用于将待传输文件发送至目标系统。

可选的，如图7所示，本发明实施例提供的数据传输装置200还包括显示单元204及生成单元205；其中，生成单元205分别与显示单元204及获取单元201连接。

显示单元204，用于显示预设界面；其中，预设界面包括第一输入框、第二输入框、第三输入框及第四输入框；第一输入框用于接收用户输入的源系统地址，第二输入框用于接收用户输入的源目录，第三输入框用于接收用户输入的文件名、第四输入框用于接收用户输入的目标系统地址。

生成单元205，用于根据用户对第一输入框、第二输入框、第三输入框以及第四输入框的输入操作，生成配置信息。

可选的，如图7所示，本发明实施例提供的获取单元201包括获取子单元2011、第一查询子单元2012；其中，获取子单元2011与第一查询子单元2012连接。

获取子单元2011，用于获取与配置信息对应的任务ID。

第一查询子单元2012，用于根据任务ID，从配置信息集合中查询待传输文件的配置信息；配置信息集合中包括多个传输文件中各传输文件对应的配置信息。

可选的，如图7所示，本发明实施例提供的数据传输装置200还包括调度单元206；其中，调度单元206与获取单元201连接。

调度单元206，用于确定传输待传输文件的开始时间。

获取单元201，具体用于在达到开始时间后，获取待传输文件的配置信息。

可选的，如图7所示，本发明实施例提供的发送单元203包括第一确定子单元2031及保存子单元2032；其中，第一确定子单元2031与保存子单元2032连接。

第一确定子单元2031，用于若配置信息中还包括增量标识，则根据增量标识，在目标系统中确定待传输文件对应的全量文件。

保存子单元2032，用于将待传输文件所包含的数据流保存至全量文件中。

可选的，如图7所示，本发明实施例提供的确定单元202，具体可以包括第二确定子单元2021、连接子单元2022、第二查询子单元2023；其中，连接子单元2022分别与第二确定子单元2021及第二查询子单元2023连接。

第二确定子单元2021，用于根据源系统地址，从多个文件系统中确定待传输文件所在的源系统。

连接子单元2022，用于与源系统建立连接。

第二查询子单元2023，用于根据源目录及文件名，从源系统中查询待传输文件。

可选的，本发明实施例提供的发送单元203，具体还可以包括登录子单元及发送子单元；其中，登录子单元与发送子单元连接。

登录子单元，用于根据目标系统用户名及加密密码，登录目标系统。

发送子单元，用于将待传输文件所包含的数据流发送至目标系统的目标目录内。

可选的，如图7所示，本发明实施例提供的数据传输装置200中，还包括统计单元207及日志库208；其中，统计单元207分别与发送单元203及日志库208连接。

统计单元207，用于统计传输过程中的传输信息；其中，传输信息包括被传输文件的大小、传输时间。

日志库208，用于保存传输信息。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

由于本发明的实施例中的数据传输装置可以应用于上述数据传输方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明实施例在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据传输方法，其特征在于，所述方法包括：

获取待传输文件的配置信息；其中，所述配置信息包括源系统地址、源目录、文件名、目标系统地址；

根据所述配置信息中的源系统地址、源目录及文件名，从多个文件系统中确定所述待传输文件所在的源系统，并从所述源系统中读取所述待传输文件；根据所述配置信息中的目标系统地址，从多个文件系统中确定需要获取所述待传输文件的目标系统；

将所述待传输文件发送至所述目标系统。

2.根据权利要求1所述的数据传输方法，其特征在于，在所述获取待传输文件的配置信息之前，所述方法还包括：

显示预设界面；其中，所述预设界面包括第一输入框、第二输入框、第三输入框及第四输入框；所述第一输入框用于接收用户输入的所述源系统地址，所述第二输入框用于接收用户输入的所述源目录，所述第三输入框用于接收用户输入的所述文件名、所述第四输入框用于接收用户输入的所述目标系统地址；

根据所述用户对所述第一输入框、所述第二输入框、所述第三输入框以及所述第四输入框的输入操作，生成所述配置信息。

3.根据权利要求1所述的数据传输方法，其特征在于，所述获取待传输文件的配置信息，具体包括：

获取与所述配置信息对应的任务ID；

根据所述任务ID，从配置信息集合中查询所述待传输文件的配置信息；所述配置信息集合中包括多个传输文件中各传输文件对应的配置信息。

4.根据权利要求1所述的数据传输方法，其特征在于，所述获取待传输文件的配置信息，具体包括：

确定传输所述待传输文件的开始时间；

在达到所述开始时间后，获取所述待传输文件的配置信息。

5.根据权利要求1所述的数据传输方法，其特征在于，若所述配置信息中还包括增量标识，则所述将所述待传输文件发送至所述目标系统，具体包括：

根据增量标识，在所述目标系统中确定所述待传输文件对应的全量文件；

将所述待传输文件所包含的数据流保存至所述全量文件中。

6.一种数据传输装置，其特征在于，所述装置包括获取单元、确定单元、发送单元；其中，所述确定单元分别与所述获取单元及发送单元连接；

所述获取单元，用于获取待传输文件的配置信息；其中，所述配置信息包括源系统地址、源目录、文件名、目标系统地址；

所述确定单元，用于根据所述配置信息中的源系统地址、源目录及文件名，从多个文件系统中确定所述待传输文件所在的源系统，并从所述源系统中读取所述待传输文件；所述确定单元，还用于根据所述配置信息中的目标系统地址，从多个文件系统中确定需要获取所述待传输文件的目标系统；

所述发送单元，用于将所述待传输文件发送至所述目标系统。

7.根据权利要求6所述的数据传输装置，其特征在于，所述装置还包括显示单元及生成单元；其中，所述生成单元分别与所述显示单元及所述获取单元连接；

所述显示单元，用于显示预设界面；其中，所述预设界面包括第一输入框、第二输入框、第三输入框及第四输入框；所述第一输入框用于接收用户输入的所述源系统地址，所述第二输入框用于接收用户输入的所述源目录，所述第三输入框用于接收用户输入的所述文件名、所述第四输入框用于接收用户输入的所述目标系统地址；

所述生成单元，用于根据所述用户对所述第一输入框、所述第二输入框、所述第三输入框以及所述第四输入框的输入操作，生成所述配置信息。

8.根据权利要求6所述的数据传输装置，其特征在于，所述获取单元包括获取子单元、第一查询子单元；其中，所述获取子单元与所述第一查询子单元连接；

所述获取子单元，用于获取与所述配置信息对应的任务ID；

所述第一查询子单元，用于根据所述任务ID，从配置信息集合中查询所述待传输文件的配置信息；所述配置信息集合中包括多个传输文件中各传输文件对应的配置信息。

9.根据权利要求6所述的数据传输装置，其特征在于，所述装置还包括调度单元；其中，所述调度单元与所述获取单元连接；

所述调度单元，用于确定传输所述待传输文件的开始时间；

所述获取单元，具体用于在达到所述开始时间后，获取所述待传输文件的配置信息。

10.根据权利要求6所述的数据传输装置，其特征在于，所述发送单元包括确定子单元及保存子单元；其中，所述确定子单元与所述保存子单元连接；

所述确定子单元，用于若所述配置信息中还包括增量标识，则根据增量标识，在所述目标系统中确定所述待传输文件对应的全量文件；

所述保存子单元，用于将所述待传输文件所包含的数据流保存至所述全量文件中。

Images