CN111182047A - 用于在跨网络的大数据平台之间转移文件的方法和系统 - Google Patents

Abstract

本发明提供一种用于在跨网络的大数据平台之间转移文件的方法，包括：从第一大数据平台提取所述文件；生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段；通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息；通过数据接收端、经由所述网络接收所述至少一个数据段和所述文件信息，并将所述至少一个数据段和所述文件信息写入分布式消息队列；以及根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入第二大数据平台。

Description

用于在跨网络的大数据平台之间转移文件的方法和系统

技术领域

本发明涉及大数据领域，尤其涉及一种跨大数据平台的转移文件的方法和系统。

背景技术

在应用大数据技术的场景中，存在将大量文件从一个大数据平台转移到另一个大数据平台的需求。在本文中，术语“文件”指非结构化数据。本领域中，非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，且不方便用数据库二维逻辑表来表现的数据。非结构化数据包括具有各种格式的办公文档(例如，文本、图片、XML,、HTML、报表、图像和音频/视频等)以及具有不同压缩格式的数据(例如，文本、parquet、RCFile、OrcFile等)。

针对上述需求，现有的方案包括拷贝文件(例如借助FTP的方式)或将文件进行解析后再通过开源组件传输。拷贝文件的方案需要同时占用发送端和接收端的资源，导致难以实现一对多或多对一的文件转移；而将文件进行解析后再通过开源组件传输的方案需要占用大量的计算资源，并且针对不通格式的文件需要使用不同的组件，无法做到自适应。

发明内容

本发明的一个方面公开了一种用于在跨网络的大数据平台之间转移文件的方法，包括：从第一大数据平台提取所述文件；生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段；通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息；通过数据接收端、经由所述网络接收所述至少一个数据段和所述文件信息，并将所述至少一个数据段和所述文件信息写入分布式消息队列；以及根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入第二大数据平台。

本发明的另一个方面公开了一种用于在跨网络的大数据平台之间转移文件的系统，包括：数据发送端，其用于从第一大数据平台提取所述文件，生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段，并且通过网络发送所述至少一个数据段和所述文件信息；以及数据接收端，其用于通过所述网络接收所述至少一个数据段和所述文件信息，将所述至少一个数据段和所述文件信息写入分布式消息队列，并且根据所述分布式消息队列中的所述文件信息解析所述至少一个数据段，以便将所述至少一个数据段还原成所述文件，从而将所述文件写入第二大数据平台。

本发明的又一个方面提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令被计算机执行时能够执行根据本发明的实施例所述的方法

本发明的实施例能够实现文件的异步转移，即可以在原大数据平台空闲的时候进行发送，目标大数据平台在空闲的时候再接收，不会同时占用两个数据平台的计算资源，从而节省了计算资源。

由于本发明的实施例能够传输字节形式的数据，因此不管是压缩文件、图片文件、或是大数据专有格式文件都可以发送，不需要额外开发用于转移不同文件的不同组件，从而实现文件转移的自适应。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了根据本发明的一个实施例的用于转移文件的系统的示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

下面结合附图对本发明的具体实施方式进行详细描述。

图1示出了根据本发明实施例的用于转移文件的系统的示意图。该系统可以跨大数据平台/集群转移文件。如图1所示，该系统包括数据发送端和数据接收端。数据发送端和数据接收端可以是数据中心或CDH集群。数据发送端包括数据发送模块和发送代理模块(Proxy)，数据接收端包括接收代理模块(Rest Proxy)、分布式消息队列和数据接收模块。在一些实施例中，发送代理模块可以是Squid Proxy，接收代理模块可以是Kafka-RestProxy。使用发送代理模块和接收代理模块的原因在于，各个大数据平台之间是通过公共网络进行连接的，因此需要使用各种代理模块来隔离公共网络与数据中心内部的网络。

通过图1所示的系统，可以分别在数据发送端和数据接收端实现如下的流程。

在本发明的一个实施例中，在数据发送端处可以执行的流程如下：

(1)数据脱敏：数据发送模块可以首先对原大数据平台中的文件内的数据按照合规方式进行脱敏处理。执行脱敏处理的目的在于，在一些涉及敏感数据的应用场景(例如，转移关于银行业务的大数据)中，有必要对数据进行脱敏。在一些实施例中，脱敏的方式包括采用哈希函数对数据进行加密。在一些实施例中，数据发送模块还可以对文件内的数据进行压缩处理，从而生成具有特定压缩格式的数据(例如，Parquet、RCFile、OrcFile等格式)。压缩数据的目的在于减少被转移的数据量。

(2)获取文件：数据发送模块可以遍历原大数据平台中的文件夹内的文件，并为每一个文件生成唯一的身份标识。对于原大数据平台中的单个文件，数据发送模块直接生成身份标识。数据发送模块可以根据文件的身份标识和源文件路径预先判断/规划在目标大数据平台中的目标文件路径及文件名。

数据发送模块还可以为每个文件生成与其对应的其他文件信息，例如，文件字节数、发送成功标识等。在一些实施例中，文件信息包括文件的身份标识、源文件路径、目标文件路径、文件字节数和发送成功标识中的一种或多种。

(3)发送文件：针对每一个文件，数据发送模块可以将其分成具有预定长度的若干数据段，例如，数据段的长度可以为1MB。在一些实施例中，数据段可以采用字节流/字符串流的形式。数据发送模块可以通过发送代理模块将各个数据段发送至数据接收端中的分布式消息队列的消息队列中。分布式消息队列可以采用Kafka集群的形式。

在一些实施例中，可以使用文件的身份标识来标识写入该文件的数据段的消息队列，而被转移的各个文件的文件信息被写入分布式消息队列的消息监听队列中。由于在数据接收端将数据段还原成文件的过程中，各个数据段之间的排列顺序是必不可少的条件，因此单个消息队列只能存储在同一个节点的一个分区中，但是可以在不同节点上保存多个副本。

在一些实施例中，分布式消息队列在一个时间窗口内可以只接收一个被转移的文件的数据段和文件信息。分布式消息队列在一个时间窗口内也可以同时接收多个被转移的文件的数据段和文件信息，将属于同一个文件的数据段写入同一个消息队列，并将属于同一个文件的文件信息写入同一个消息监听队列。

在一些实施例中，在数据发送模块通过发送代理模块开始发送文件的第一个数据段之前，首先发送起始标识；在文件的最后一个数据段发送完成后，发送结束标识。起始标识用于标识文件的起始位置，可选的用于自动创建消息队列。在一些实施例中，丢失起始标识不影响文件的传输。

在一些实施例中，数据发送模块可以通过发送代理模块首先发送数据段，然后再发送文件信息。此时，文件信息可以包括文件的身份标识、源文件路径、目标文件路径、文件字节数和发送成功标识。通过身份标识，数据接收端可以查找文件的各个数据段所位于的消息队列，还可以将数据段还原成文件。源文件路径可以用于在转移文件的过程中出现任何异常(例如，丢包)时，找到文件、各个数据段和文件信息在原大数据平台中的位置，用作重新发送文件的参考。目标文件路径用于表明文件将要写入的在目标大数据平台中的位置，也可以在转移文件的过程中出现任何异常(例如，丢包)时用作重新发送文件的参考。数据接收端可以比对文件字节数和被还原的文件的大小，如果两者大小不一致，则能够确定在接收过程中出现了异常。数据接收端可以通过发送成功标识获知数据发送端已将所有数据段发送完毕。如果数据发送端判断数据段没有被全部发送，则确定发送过程出现了异常，那么数据发送端将在文件信息中删除发送成功标识或直接不发送文件信息。

在一些实施例中，数据发送模块可以通过发送代理模块首先发送文件信息，然后再发送数据段。此时，文件信息可以包括文件的身份标识、源文件路径、目标文件路径和文件字节数。

在一些实施例中，数据发送模块可以随时发送数据段和文件信息并写入消息分布式队列，可以在预定的时间窗口发送数据段和文件信息并写入消息分布式队列，并且也可以以预定时间间隔发送数据段和文件信息并写入消息分布式队列。

在本发明的一个实施例中，在数据接收端处可以执行的流程如下：

(1)消息监听：数据接收模块可以持续监听分布式消息队列中的消息监听队列。消息监听队列用于接收文件信息，即原文件路径、目标文件路径、文件的身份标识、文件字节数等信息。

(2)接收文件：数据接收模块可以通过接收代理模块来接收数据段和文件信息，并将其写入分布式消息队列。数据接收模块可以以由数据发送端确定的预定时间间隔(例如，若干分钟、若干小时、若干天等)在分布式消息队列的消息监听队列中接收文件信息，以获得文件的身份标识、源文件路径、目标文件路径等信息，并且数据接收模块可以以由数据发送端确定的预定时间间隔(例如，若干分钟、若干小时、若干天等)在分布式消息队列的消息队列中接收与文件相关的数据段。

在一些实施例中，数据接收模块可以监听分布式消息队列并且根据消息监听队列中的内容找到对应的消息队列。消息队列可以从起始标识开始接收文件，遇到结束标识时退出文件的接收。在一些实施例中，在消息队列接收到与被发送的各个数据段相关的结束标识的情况下，确定已接收完成文件。在一些实施例中，数据接收模块可以监听分布式消息队列，在分布式消息队列在接收到与被发送的数据段相关的起始标识之后又接收到结束标识的情况下，确定已接收完成所述文件。

在一些实施例中，数据接收模块可以随时将文件从分布式消息队列写入目标大数据平台，可以在预定的时间窗口将文件从分布式消息队列写入目标大数据平台，并且也可以以预定时间间隔将文件从分布式消息队列写入目标大数据平台。

(3)解析文件并将文件写入目标大数据平台：数据接收模块可以以由数据接收端确定的预定时间间隔(例如，若干分钟、若干小时、若干天等)解析数据段，将各个数据段还原成文件并进行必要的格式转换(例如，编码转换，换行符处理等)，最终按照接收到的目标文件路径将文件写入目标大数据平台中。

在一些实施例中，数据接收模块可以在分布式消息队列中接收文件的数据段和各项文件信息的同时将文件写入目标大数据平台。

在一些实施例中，数据接收模块可以随时将文件从分布式消息队列写入目标大数据平台，可以在预定的时间窗口将文件从分布式消息队列写入目标大数据平台，并且也可以以预定时间间隔将文件从分布式消息队列写入目标大数据平台。

在一些实施例中，可以通过目标大数据平台的HDFS服务接口将文件写入目标大数据平台中。本发明还可以通过其他方式将文件写入目标大数据平台中。

在本发明的一些实施例中，文件的发送过程和写入目标大数据平台的过程均有可能出现各种异常。当数据发送端确定发送过程出现异常时，可以通过网络重新发送数据段和文件信息。当数据接收端确定将文件写入目标大数据平台的过程出现异常(例如写入过程由于各种因素而被中断)时，由于这些数据段和文件信息已被写入分布式消息队列中，那么数据接收端重新执行根据分布式消息队列中的文件信息解析其中的数据段，将数据段还原成文件，并将文件写入目标大数据平台的过程。

本发明的一个方面是一种计算机可读介质，其上存储有计算机可读指令，所述指令被执行时可实施本发明各实施例的方法。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在用户计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当注意，尽管在上文的详细描述中提及了实现上述方法的若干软件装置/模块及子装置/模块，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置/模块中具体化。反之，上文描述的一个装置/模块的特征和功能可以进一步划分为由多个装置/模块来具体化。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (27)

1.一种用于在跨网络的大数据平台之间转移文件的方法，包括：

从第一大数据平台提取所述文件；

生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段；

通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息；

通过数据接收端、经由所述网络接收所述至少一个数据段和所述文件信息，并将所述至少一个数据段和所述文件信息写入分布式消息队列；和

根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入第二大数据平台。

2.根据权利要求1所述的方法，还包括：对所述第一大数据平台中的所述文件所包含的数据进行脱敏处理和/或压缩处理。

3.根据权利要求1所述的方法，其中，所述通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息的步骤进一步包括：

所述第一大数据平台将所述文件信息和所述至少一个数据段传递至所述数据发送端中的发送代理模块；和

所述发送代理模块在通过网络发送所述至少一个数据段之后，再通过所述网络发送所述文件信息，

其中，所述文件信息包括所述文件的身份标识、目标文件路径、文件字节数和发送成功标识。

4.根据权利要求3所述的方法，还包括：

判断所还原的文件是否具有所述文件字节数，如果否，则确定所述接收操作出现异常。

5.根据权利要求3所述的方法，还包括：

判断所述至少一个数据段是否已被全部发送，如果否，则确定所述发送操作出现异常，并且在所述文件信息中删除所述发送成功标识或不发送所述文件信息。

6.根据权利要求1所述的方法，其中，所述通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息的步骤进一步包括：

所述第一大数据平台将所述文件信息和所述至少一个数据段传递至所述数据发送端中的发送代理模块；和

所述发送代理模块在通过网络发送所述文件信息之后，再通过所述网络发送所述至少一个数据段，

其中，所述文件信息包括所述文件的身份标识、目标文件路径和文件字节数。

7.根据权利要求6所述的方法，还包括：

判断所还原的文件是否具有所述文件字节数，如果否，则确定所述接收操作出现异常。

8.根据权利要求3或6所述的方法，其中，所述根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入第二大数据平台的步骤进一步包括：

根据所述文件信息中的所述身份标识将所述至少一个数据段还原成所述文件；和

根据所述文件信息中的所述目标文件路径将所述文件写入所述第二大数据平台。

9.根据权利要求1所述的方法，其中，所述通过数据接收端、经由所述网络接收所述至少一个数据段和所述文件信息，并将所述至少一个数据段和所述文件信息写入分布式消息队列的步骤进一步包括：

所述数据接收端中的接收代理模块通过所述网络接收所述文件信息和所述至少一个数据段；和

所述接收代理模块将所述文件信息写入所述分布式消息队列中的消息队列，并将所述至少一个数据段写入所述分布式消息队列中的消息监听队列。

10.根据权利要求1所述的方法，还包括：

监听所述分布式消息队列，在所述分布式消息队列接收到与发送所述至少一个数据段相关的结束标识的情况下，确定已接收完成所述文件。

11.根据权利要求1所述的方法，还包括：

监听所述分布式消息队列，在所述分布式消息队列在接收到与发送所述至少一个数据段相关的起始标识之后又接收到与发送所述至少一个数据段相关的结束标识的情况下，确定已接收完成所述文件。

12.根据权利要求1所述的方法，还包括：

当确定所述发送操作出现异常时，重复执行所述通过网络发送所述至少一个数据段和所述文件信息的步骤。

13.根据权利要求1所述的方法，还包括：

当确定所述将所述文件写入第二大数据平台的步骤出现异常时，重复执行所述根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入在第二大数据平台中的步骤。

14.一种用于在跨网络的大数据平台之间转移文件的系统，包括：

数据发送端，其用于从第一大数据平台提取所述文件，生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段，并且通过网络发送所述至少一个数据段和所述文件信息；和

数据接收端，其用于通过所述网络接收所述至少一个数据段和所述文件信息，将所述至少一个数据段和所述文件信息写入分布式消息队列，并且根据所述分布式消息队列中的所述文件信息解析所述至少一个数据段，以便将所述至少一个数据段还原成所述文件，从而将所述文件写入第二大数据平台。

15.根据权利要求14所述的系统，其中，所述数据发送端还用于对所述第一大数据平台中的所述文件所包含的数据进行脱敏处理和/或压缩处理。

16.根据权利要求14所述的系统，其中，所述数据发送端还包括：

发送代理模块，

其中，所述数据发送端还用于将所述文件信息和所述至少一个数据段传递至所述发送代理模块，从而使得所述发送代理模块在通过网络发送所述至少一个数据段之后，再通过所述网络发送所述文件信息，

其中，所述文件信息包括所述文件的身份标识、目标文件路径、文件字节数和发送成功标识。

17.根据权利要求16所述的系统，其中，所述数据接收端还用于判断所还原的文件是否具有所述文件字节数，如果否，则确定所述接收操作出现异常。

18.根据权利要求16所述的系统，其中，所述数据发送端还用于判断所述至少一个数据段是否已被全部发送，如果否，则确定所述发送操作出现异常，并且在所述文件信息中删除所述发送成功标识或不发送所述文件信息。

19.根据权利要求14所述的系统，其中，所述数据发送端还包括：

发送代理模块，

其中，所述数据发送端还用于将所述文件信息和所述至少一个数据段传递至所述发送代理模块，从而使得所述发送代理模块在通过网络发送所述文件信息之后，再通过所述网络发送所述至少一个数据段的模块，

其中，所述文件信息包括所述文件的身份标识、目标文件路径和文件字节数。

20.根据权利要求19所述的系统，其中，所述数据接收端还用于判断所还原的文件是否具有所述文件字节数，如果否，则确定所述接收操作出现异常。

21.根据权利要求16或19所述的系统，其中，所述数据接收端还用于根据所述文件信息中的所述身份标识将所述至少一个数据段还原成所述文件，并且根据所述文件信息中的所述目标文件路径将所述文件写入所述第二大数据平台。

22.根据权利要求14所述的系统，其中，所述数据接收端还包括：

接收代理模块，其用于通过所述网络接收所述文件信息和所述至少一个数据段，将所述文件信息写入所述分布式消息队列中的消息队列，并且将所述至少一个数据段写入所述分布式消息队列中的消息监听队列。

23.根据权利要求14所述的系统，其中，所述数据接收端还用于监听所述分布式消息队列，在所述分布式消息队列接收到与发送所述至少一个数据段相关的结束标识的情况下，确定已接收完成所述文件。

24.根据权利要求14所述的系统，其中，所述数据接收端还用于监听所述分布式消息队列，在所述分布式消息队列在接收到与发送所述至少一个数据段相关的起始标识之后又接收到与发送所述至少一个数据段相关的结束标识的情况下，确定已接收完成所述文件。

25.根据权利要求14所述的系统，其中，所述数据发送端还用于当确定所述发送操作出现异常时，再次通过所述网络发送所述至少一个数据段和所述文件信息。

26.根据权利要求14所述的系统，其中，所述数据接收端还用于当确定在将所述文件写入第二大数据平台的过程中出现异常时，再次根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入在所述第二大数据平台中。

27.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令被计算机执行时能够执行如权利要求1-13中任意之一所述的方法。

Images