CN112597234A - 数据传输方法、装置、电子设备、存储介质及程序产品 - Google Patents

Abstract

本公开实施例公开了一种数据传输方法、装置、电子设备、存储介质及程序产品，所述方法包括：获取目标海量数据；基于所述目标海量数据生成目标数据文件；将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

Description

数据传输方法、装置、电子设备、存储介质及程序产品

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种数据传输方法、装置、电子设备、存储介质及程序产品。

背景技术

随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。

发明内容

本公开实施例提供一种数据传输方法、装置、电子设备、存储介质及程序产品。

第一方面，本公开实施例中提供了一种数据传输方法。

具体的，所述数据传输方法，包括：

获取目标海量数据；

基于所述目标海量数据生成目标数据文件；

将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。

结合第一方面，本公开实施例在第一方面的第一种实现方式中，所述目标数据文件为一个或多个。

结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，当所述目标数据文件为多个时，所述基于所述目标海量数据生成目标数据文件，包括：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；

生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；

所述将所述目标数据文件发送至数据中间组件，被实施为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述数据中间组件为中间文件服务器或消息中间件。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，还包括：

响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息。

第二方面，本公开实施例中提供了一种数据传输方法。

具体的，所述数据传输方法，包括：

接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

结合第二方面，本公开实施例在第二方面的第一种实现方式中，所述数据传输条件包括以下条件中的一种或多种：数据传输可用时长大于预设时长阈值、数据传输可用带宽大于预设带宽阈值、数据传输可用资源数量大于预设数量阈值。

结合第二方面和第二方面的第一种实现方式，本公开实施例在第二方面的第二种实现方式中，所述目标数据文件为一个或多个。

结合第二方面、第二方面的第一种实现方式和第二方面的第二种实现方式，本公开在第二方面的第三种实现方式中，当所述目标数据文件为多个时，所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件，包括：

根据所述数据中间组件地址确定目标数据中间组件；

根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。

结合第二方面、第二方面的第一种实现方式、第二方面的第二种实现方式和第二方面的第三种实现方式，本公开在第二方面的第四种实现方式中，还包括：

根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。

第三方面，本公开实施例中提供了一种数据传输方法。

具体的，所述数据传输方法，包括：

目标平台获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

目标数据库接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

结合第三方面，本公开实施例在第三方面的第一种实现方式中，所述目标数据文件为一个或多个。

结合第三方面和第三方面的第一种实现方式，本公开实施例在第三方面的第二种实现方式中，当所述目标数据文件为多个时，

所述基于所述目标海量数据生成目标数据文件，包括：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；

所述将所述目标数据文件发送至数据中间组件，被实施为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件；

所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件，包括：

根据所述数据中间组件地址确定目标数据中间组件；

根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。

结合第三方面、第三方面的第一种实现方式和第三方面的第二种实现方式，本公开在第三方面的第三种实现方式中，所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件，还包括：

根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式和第三方面的第三种实现方式，本公开在第三方面的第四种实现方式中，所述数据中间组件为中间文件服务器或消息中间件。

第四方面，本公开实施例中提供了一种数据传输装置。

具体的，所述数据传输装置，包括：

第一获取模块，被配置为获取目标海量数据；

生成模块，被配置为基于所述目标海量数据生成目标数据文件；

第一发送模块，被配置为将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。

结合第四方面，本公开实施例在第四方面的第一种实现方式中，所述目标数据文件为一个或多个。

结合第四方面和第四方面的第一种实现方式，本公开实施例在第四方面的第二种实现方式中，当所述目标数据文件为多个时，所述生成模块被配置为：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；

生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；

所述第一发送模块被配置为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件。

结合第四方面、第四方面的第一种实现方式和第四方面的第二种实现方式，本公开在第四方面的第三种实现方式中，所述数据中间组件为中间文件服务器或消息中间件。

结合第四方面、第四方面的第一种实现方式、第四方面的第二种实现方式和第四方面的第三种实现方式，本公开在第四方面的第四种实现方式中，还包括：

第二发送模块，被配置为响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息。

第五方面，本公开实施例中提供了一种数据传输装置。

具体的，所述数据传输装置，包括：

接收模块，被配置为接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

第二获取模块，被配置为响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

下载模块，被配置为根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

结合第五方面，本公开实施例在第五方面的第一种实现方式中，所述数据传输条件包括以下条件中的一种或多种：数据传输可用时长大于预设时长阈值、数据传输可用带宽大于预设带宽阈值、数据传输可用资源数量大于预设数量阈值。

结合第五方面和第五方面的第一种实现方式，本公开实施例在第五方面的第二种实现方式中，所述目标数据文件为一个或多个。

结合第五方面、第五方面的第一种实现方式和第五方面的第二种实现方式，本公开在第五方面的第三种实现方式中，当所述目标数据文件为多个时，所述下载模块被配置为：

根据所述数据中间组件地址确定目标数据中间组件；

根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。

结合第五方面、第五方面的第一种实现方式、第五方面的第二种实现方式和第五方面的第三种实现方式，本公开在第五方面的第四种实现方式中，还包括：

组合模块，被配置为根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。

第六方面，本公开实施例中提供了一种数据传输装置。

具体的，所述数据传输装置，包括：

目标平台，被配置为获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

目标数据库，被配置为接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

结合第六方面，本公开实施例在第六方面的第一种实现方式中，所述目标数据文件为一个或多个。

结合第六方面和第六方面的第一种实现方式，本公开实施例在第六方面的第二种实现方式中，当所述目标数据文件为多个时，

目标平台所述基于所述目标海量数据生成目标数据文件的部分，被配置为：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；

目标平台所述将所述目标数据文件发送至数据中间组件的部分，被配置为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件；

目标数据库所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件的部分，被配置为：

根据所述数据中间组件地址确定目标数据中间组件；

根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。

结合第六方面、第六方面的第一种实现方式和第六方面的第二种实现方式，本公开在第六方面的第三种实现方式中，目标数据库所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件的部分，还被配置为：

根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。

结合第六方面、第六方面的第一种实现方式、第六方面的第二种实现方式和第六方面的第三种实现方式，本公开在第六方面的第四种实现方式中，所述数据中间组件为中间文件服务器或消息中间件。

第七方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持数据传输装置执行上述数据传输方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述数据传输装置还可以包括通信接口，用于数据传输装置与其他设备或通信网络通信。

第八方面，本公开实施例提供了一种计算机可读存储介质，用于存储数据传输装置所用的计算机指令，其包含用于执行上述数据传输方法为数据传输装置所涉及的计算机指令。

第九方面，本公开实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据传输方法的步骤。

本公开实施例提供的技术方案可包括以下有益效果：

上述技术方案将待传输的海量数据存至数据中间组件，而不是直接发送给目标数据库，这样目标数据库就可以根据自己的数据传输情况在需要时再向所述数据中间组件请求下载所述海量数据。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施例。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开实施例的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的数据传输方法的流程图；

图2示出根据本公开另一实施方式的数据传输方法的流程图；

图3示出根据本公开再一实施方式的数据传输方法的流程图；

图4示出根据本公开一实施方式的数据传输方法的整体流程图；

图5示出根据本公开一实施方式的数据传输装置的结构框图；

图6示出根据本公开另一实施方式的数据传输装置的结构框图；

图7示出根据本公开再一实施方式的数据传输系统的结构框图；

图8是适于用来实现根据本公开一实施方式的数据传输方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开实施例。

本公开实施例提供的技术方案将待传输的海量数据存至数据中间组件，而不是直接发送给目标数据库，这样目标数据库就可以根据自己的数据传输情况在需要时再向所述数据中间组件请求下载所述海量数据。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

图1示出根据本公开一实施方式的数据传输方法的流程图，如图1所示，所述数据传输方法包括以下步骤S101-S103：

在步骤S101中，获取目标海量数据；

在步骤S102中，基于所述目标海量数据生成目标数据文件；

在步骤S103中，将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。

上文提及，随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。

考虑到上述问题，在该实施方式中，提出一种数据传输方法，该方法将待传输的海量数据存至数据中间组件，而不是直接发送给目标数据库，这样目标数据库就可以根据自己的数据传输情况在需要时再向所述数据中间组件请求下载所述海量数据。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

在本公开一实施方式中，所述数据传输方法可适用于可执行数据传输的大数据平台等设备。

在本公开一实施方式中，所述目标海量数据指的是待传输的海量数据，比如，所述大数据平台生成的、需要传输给目标数据库的海量数据或者次海量数据。

在本公开一实施方式中，所述目标数据文件指的是基于待传输的目标海量数据生成的更方便传输和存储的数据文件。

在本公开一实施方式中，所述数据中间组件指的是具有海量或次海量数据存储能力的、能够实现海量或次海量数据中转的组件，比如FTP文件服务器、支持消息消费机制的kafka、pulsar等消息中间件等等。当所述数据中间组件为FTP文件服务器时，所述大数据平台将所述目标数据文件导出至所述FTP文件服务器中，后续所述目标数据库可借助FTP下载指令对于所述目标数据文件进行下载；当所述数据中间组件为支持消息消费机制的kafka、pulsar等消息中间件时，所述大数据平台可将所述目标数据文件写入所述消息中间件中，后续所述目标数据库可借助消息消费请求获得所述目标数据文件。

在上述实施方式中，大数据平台在经过处理或计算获得待传输的目标海量数据后，基于所述目标海量数据生成方便传输和存储的目标数据文件，然后将所述目标数据文件发送至数据中间组件进行中转存储，后续接收所述目标海量数据的目标数据库就可在自己需要时再向所述数据中间组件请求下载所述目标数据文件。上述中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

在本公开一实施方式中，为了方便目标数据文件的传输和存储，所述目标数据文件可设置为多个，即，所述目标数据文件既可以为一个也可以为多个。

当所述目标数据文件为多个时，所述步骤S102，即基于所述目标海量数据生成目标数据文件的步骤，可包括以下步骤：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；

生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息。

为了方便所述目标数据文件的传输和存储，在该实施方式中，将所述目标海量数据划分成多个目标数据文件再分别对于所述多个目标数据文件进行传输和存储。具体地，首先获取预设数据长度，其中，所述预设数据长度可根据实际应用的需要以及所述目标海量数据的特点进行设置，本公开对其不作特别限定；然后根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件，其中，每个目标数据文件设置有对应的标识信息，以对于所述目标数据文件进行区别；然后根据所述目标数据文件的标识信息以及不同目标数据文件的生成时间或顺序信息生成目标数据索引文件，后续所述目标数据库在下载得到所述目标数据索引文件和对应的目标数据文件之后，就可以根据所述目标数据索引文件中的目标数据文件标识信息及目标数据文件生成顺序信息，将所述目标数据文件依次组合起来，恢复得到所述目标海量数据。

而在该实施方式中，所述步骤S103，即将所述目标数据文件发送至数据中间组件的步骤，可被实施为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件。

这样后续目标数据库就可以在需要时向所述数据中间组件请求下载所述多个目标数据文件和所述目标数据索引文件，并对于所述目标数据文件进行组合，得到所述目标海量数据了。

在本公开一实施方式中，所述方法还包括以下步骤：

响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息。

为了使得所述目标数据库能够了解目标数据文件的传输状态，以及时下载所述目标数据文件，获得目标海量数据，在该实施方式中，当所述大数据平台确认所述目标数据文件传输完成后，向所述目标数据库发送目标数据文件接收提示消息，以提示所述目标数据库可请求下载所述目标数据文件。其中，所述目标数据文件接收提示消息可携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，所述目标数据库可根据所述数据中间组件地址到达存储所述目标数据文件的数据中间组件，并根据所述目标数据文件属性信息对于所述目标数据文件进行下载，其中所述目标数据文件属性信息比如可以为所述目标数据文件的标识信息等信息。

其中，当所述目标数据文件为多个时，所述大数据平台在确认其中一个或多个目标数据文件已传输完成后，即可向所述目标数据库发送目标数据文件接收提示消息，在所述目标数据库将所有目标数据文件下载完成之后，再根据所述目标数据索引文件将所述目标数据文件组合起来，形成所述目标海量数据，从而实现所述目标数据文件的分时传输，进一步保障数据库的IO均衡，提升数据库的性能。

图2示出根据本公开另一实施方式的数据传输方法的流程图，如图2所示，所述数据传输方法包括以下步骤S201-S203：

在步骤S201中，接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

在步骤S202中，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

在步骤S203中，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

上文提及，随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。

考虑到上述问题，在该实施方式中，提出一种数据传输方法，该方法将待传输的海量数据存至数据中间组件，而不是直接发送给目标数据库，这样目标数据库就可以根据自己的数据传输情况在需要时再向所述数据中间组件请求下载所述海量数据。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

在本公开一实施方式中，所述数据传输方法可适用于接收传输数据的目标数据库等设备。

在本公开一实施方式中，所述目标平台指的是生成待传输的目标海量数据的平台，比如大数据平台等等。

在本公开一实施方式中，所述数据传输条件指的是所述目标数据库能够执行数据下载请求所需满足的条件，其中，所述数据传输条件比如可以包括以下条件中的一种或多种：数据传输可用时长大于预设时长阈值，其中，所述数据传输可用时长比如可以为IO空闲时长；数据传输可用带宽大于预设带宽阈值；数据传输可用资源数量大于预设数量阈值，其中，所述数据传输可用资源比如可以为数据传输设备、数据传输组件等等。

在上述实施方式中，目标数据库接收到目标平台发送的目标数据文件接收提示消息后，并确认满足预设数据传输条件时，可从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；然后根据所述数据中间组件地址确定存储所述目标数据文件的数据中间组件，根据所述目标数据文件属性信息向所述数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据文件。

在本公开一实施方式中，所述目标数据文件为一个或多个。

在该实施方式中，当所述目标数据文件为多个时，所述步骤S203，即根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件的步骤，可包括以下步骤：

根据所述数据中间组件地址确定目标数据中间组件；

根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。

在该实施方式中，所述方法还可包括以下步骤：

根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。

上文提及，为了方便所述目标数据文件的传输和存储，所述大数据平台可将所述目标海量数据划分成多个目标数据文件分别进行传输和存储，并同时生成包括多个目标数据文件的标识信息及生成顺序信息的目标数据索引文件。因此，在该实施方式中，当所述目标数据文件为多个时，为了下载到全部的目标数据文件，所述目标数据库首先根据所述数据中间组件地址确定目标数据中间组件，再根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件，然后再根据所述目标数据索引文件中包括的多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息将下载的多个目标数据文件组合成目标海量数据。

在本公开一实施方式中，若所述目标数据文件或者由所述目标数据文件恢复的目标海量数据与所述目标数据库所能够接收的数据格式等特征不一致，则可对于所述目标数据文件或者由所述目标数据文件恢复的目标海量数据进行预设解析操作之后，再写入所述目标数据库。

图2所示及相关实施方式中涉及的技术术语和技术特征与图1所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图2所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图1所示及相关实施方式的解释的说明，此处不再赘述。

图3示出根据本公开再一实施方式的数据传输方法的流程图，如图3所示，所述数据传输方法包括以下步骤S301-S302：

在步骤S301中，目标平台获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

在步骤S302中，目标数据库接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

上文提及，随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。

考虑到上述问题，在该实施方式中，提出一种数据传输方法，该方法将待传输的海量数据存至数据中间组件，而不是直接发送给目标数据库，这样目标数据库就可以根据自己的数据传输情况在需要时再向所述数据中间组件请求下载所述海量数据。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

在本公开一实施方式中，所述数据传输方法可适用于包括可执行数据传输的大数据平台以及接收传输数据的目标数据库的数据传输系统。

在本公开一实施方式中，所述目标数据文件为一个或多个。

在本公开一实施方式中，当所述目标数据文件为多个时，

所述基于所述目标海量数据生成目标数据文件，包括：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；

所述将所述目标数据文件发送至数据中间组件，被实施为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件；

所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件，包括：

根据所述数据中间组件地址确定目标数据中间组件；

根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。

在本公开一实施方式中，所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件，还包括：

根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。

在本公开一实施方式中，所述数据中间组件为中间文件服务器或消息中间件。

图3所示及相关实施方式中涉及的技术术语和技术特征与图1-2所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图3所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图1-2所示及相关实施方式的解释的说明，此处不再赘述。

图4示出根据本公开一实施方式的数据传输方法的整体流程图，如图4所示，目标平台获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件导出至FTP文件服务器，或者写入至支持消息消费机制的kafka、pulsar等消息中间件，所述目标数据库在确认满足数据传输条件时，借助FTP下载指令从所述FTP文件服务器中下载所述目标数据文件，或者借助消息消费请求获得所述目标数据文件，需要时，可对所述目标数据文件或者由所述目标数据文件恢复的目标海量数据进行解析后再写入所述目标数据库。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图5示出根据本公开一实施方式的数据传输装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，所述数据传输装置包括：

第一获取模块501，被配置为获取目标海量数据；

生成模块502，被配置为基于所述目标海量数据生成目标数据文件；

第一发送模块503，被配置为将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。

上文提及，随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。

考虑到上述问题，在该实施方式中，提出一种数据传输装置，该装置将待传输的海量数据存至数据中间组件，而不是直接发送给目标数据库，这样目标数据库就可以根据自己的数据传输情况在需要时再向所述数据中间组件请求下载所述海量数据。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

在本公开一实施方式中，所述数据传输装置可实现为可执行数据传输的大数据平台等设备。

在本公开一实施方式中，所述目标海量数据指的是待传输的海量数据，比如，所述大数据平台生成的、需要传输给目标数据库的海量数据或者次海量数据。

在本公开一实施方式中，所述目标数据文件指的是基于待传输的目标海量数据生成的更方便传输和存储的数据文件。

在本公开一实施方式中，所述数据中间组件指的是具有海量或次海量数据存储能力的、能够实现海量或次海量数据中转的组件，比如FTP文件服务器、支持消息消费机制的kafka、pulsar等消息中间件等等。当所述数据中间组件为FTP文件服务器时，所述大数据平台将所述目标数据文件导出至所述FTP文件服务器中，后续所述目标数据库可借助FTP下载指令对于所述目标数据文件进行下载；当所述数据中间组件为支持消息消费机制的kafka、pulsar等消息中间件时，所述大数据平台可将所述目标数据文件写入所述消息中间件中，后续所述目标数据库可借助消息消费请求获得所述目标数据文件。

在上述实施方式中，大数据平台在经过处理或计算获得待传输的目标海量数据后，基于所述目标海量数据生成方便传输和存储的目标数据文件，然后将所述目标数据文件发送至数据中间组件进行中转存储，后续接收所述目标海量数据的目标数据库就可在自己需要时再向所述数据中间组件请求下载所述目标数据文件。上述中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

在本公开一实施方式中，为了方便目标数据文件的传输和存储，所述目标数据文件可设置为多个，即，所述目标数据文件既可以为一个也可以为多个。

当所述目标数据文件为多个时，所述生成模块502可被配置为：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；

生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息。

为了方便所述目标数据文件的传输和存储，在该实施方式中，将所述目标海量数据划分成多个目标数据文件再分别对于所述多个目标数据文件进行传输和存储。具体地，首先获取预设数据长度，其中，所述预设数据长度可根据实际应用的需要以及所述目标海量数据的特点进行设置，本公开对其不作特别限定；然后根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件，其中，每个目标数据文件设置有对应的标识信息，以对于所述目标数据文件进行区别；然后根据所述目标数据文件的标识信息以及不同目标数据文件的生成时间或顺序信息生成目标数据索引文件，后续所述目标数据库在下载得到所述目标数据索引文件和对应的目标数据文件之后，就可以根据所述目标数据索引文件中的目标数据文件标识信息及目标数据文件生成顺序信息，将所述目标数据文件依次组合起来，恢复得到所述目标海量数据。

而在该实施方式中，所述第一发送模块503可被配置为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件。

这样后续目标数据库就可以在需要时向所述数据中间组件请求下载所述多个目标数据文件和所述目标数据索引文件，并对于所述目标数据文件进行组合，得到所述目标海量数据了。

在本公开一实施方式中，所述装置还包括：

第二发送模块，被配置为响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息。

为了使得所述目标数据库能够了解目标数据文件的传输状态，以及时下载所述目标数据文件，获得目标海量数据，在该实施方式中，当所述大数据平台确认所述目标数据文件传输完成后，向所述目标数据库发送目标数据文件接收提示消息，以提示所述目标数据库可请求下载所述目标数据文件。其中，所述目标数据文件接收提示消息可携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，所述目标数据库可根据所述数据中间组件地址到达存储所述目标数据文件的数据中间组件，并根据所述目标数据文件属性信息对于所述目标数据文件进行下载，其中所述目标数据文件属性信息比如可以为所述目标数据文件的标识信息等信息。

其中，当所述目标数据文件为多个时，所述大数据平台在确认其中一个或多个目标数据文件已传输完成后，即可向所述目标数据库发送目标数据文件接收提示消息，在所述目标数据库将所有目标数据文件下载完成之后，再根据所述目标数据索引文件将所述目标数据文件组合起来，形成所述目标海量数据，从而实现所述目标数据文件的分时传输，进一步保障数据库的IO均衡，提升数据库的性能。

图6示出根据本公开另一实施方式的数据传输装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，所述数据传输装置包括：

接收模块601，被配置为接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

第二获取模块602，被配置为响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

下载模块603，被配置为根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

上文提及，随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。

考虑到上述问题，在该实施方式中，提出一种数据传输装置，该装置将待传输的海量数据存至数据中间组件，而不是直接发送给目标数据库，这样目标数据库就可以根据自己的数据传输情况在需要时再向所述数据中间组件请求下载所述海量数据。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

在本公开一实施方式中，所述数据传输装置可实现为接收传输数据的目标数据库等设备。

在本公开一实施方式中，所述目标平台指的是生成待传输的目标海量数据的平台，比如大数据平台等等。

在本公开一实施方式中，所述数据传输条件指的是所述目标数据库能够执行数据下载请求所需满足的条件，其中，所述数据传输条件比如可以包括以下条件中的一种或多种：数据传输可用时长大于预设时长阈值，其中，所述数据传输可用时长比如可以为IO空闲时长；数据传输可用带宽大于预设带宽阈值；数据传输可用资源数量大于预设数量阈值，其中，所述数据传输可用资源比如可以为数据传输设备、数据传输组件等等。

在上述实施方式中，目标数据库接收到目标平台发送的目标数据文件接收提示消息后，并确认满足预设数据传输条件时，可从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；然后根据所述数据中间组件地址确定存储所述目标数据文件的数据中间组件，根据所述目标数据文件属性信息向所述数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据文件。

在本公开一实施方式中，所述目标数据文件为一个或多个。

在该实施方式中，当所述目标数据文件为多个时，所述下载模块603可被配置为：

根据所述数据中间组件地址确定目标数据中间组件；

根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。

在该实施方式中，所述装置还可包括：

组合模块，被配置为根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。

上文提及，为了方便所述目标数据文件的传输和存储，所述大数据平台可将所述目标海量数据划分成多个目标数据文件分别进行传输和存储，并同时生成包括多个目标数据文件的标识信息及生成顺序信息的目标数据索引文件。因此，在该实施方式中，当所述目标数据文件为多个时，为了下载到全部的目标数据文件，所述目标数据库首先根据所述数据中间组件地址确定目标数据中间组件，再根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件，然后再根据所述目标数据索引文件中包括的多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息将下载的多个目标数据文件组合成目标海量数据。

在本公开一实施方式中，若所述目标数据文件或者由所述目标数据文件恢复的目标海量数据与所述目标数据库所能够接收的数据格式等特征不一致，则可对于所述目标数据文件或者由所述目标数据文件恢复的目标海量数据进行预设解析操作之后，再写入所述目标数据库。

图6所示及相关实施方式中涉及的技术术语和技术特征与图5所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图6所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图5所示及相关实施方式的解释的说明，此处不再赘述。

图7示出根据本公开再一实施方式的数据传输装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示，所述数据传输装置包括：

目标平台701，被配置为获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

目标数据库702，被配置为接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

上文提及，随着科学技术以及互联网技术的发展，越来越多的海量数据需要被处理以及被传输。现有技术中，在大数据平台处理或计算完毕，生成海量数据或者次海量数据，将生成的海量数据或者次海量数据推送至相应的数据库中时，通常是将所述海量数据或者次海量数据直接写入至相应的数据库中，但由于大数据平台对于接收数据的数据库的数据流量情况并不了解，因此，经常会出现海量数据或者次海量数据的写入导致数据库产生IO(输入输出)高峰、影响IO均衡、数据库性能下降、用户体验变差，严重时还有可能造成数据库运行瘫痪。

考虑到上述问题，在该实施方式中，提出一种数据传输装置，该装置将待传输的海量数据存至数据中间组件，而不是直接发送给目标数据库，这样目标数据库就可以根据自己的数据传输情况在需要时再向所述数据中间组件请求下载所述海量数据。该技术方案借助海量数据中转存储机制不仅能够有效避免由于海量数据或者次海量数据的写入而导致的数据库IO高峰、数据库IO失衡、数据库性能下降、用户体验变差、甚至数据库运行瘫痪的情况，而且还能够保障数据库的IO均衡，提升数据库的性能。

在本公开一实施方式中，所述数据传输装置可实现为包括可执行数据传输的大数据平台以及接收传输数据的目标数据库的数据传输系统。

在本公开一实施方式中，所述目标数据文件为一个或多个。

在本公开一实施方式中，当所述目标数据文件为多个时，

目标平台所述基于所述目标海量数据生成目标数据文件的部分，可被配置为：

获取预设数据长度，并根据所述预设数据长度将所述目标海量数据划分为多个目标数据文件；生成目标数据索引文件，其中，所述目标数据索引文件包括所述多个目标数据文件的标识信息及所述多个目标数据文件的生成顺序信息；

目标平台所述将所述目标数据文件发送至数据中间组件的部分，可被配置为：

将所述多个目标数据文件和所述目标数据索引文件发送至数据中间组件；

目标数据库所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件的部分，可被配置为：

根据所述数据中间组件地址确定目标数据中间组件；

根据所述目标数据文件属性信息向所述目标数据中间组件请求下载与所述目标数据文件属性信息对应的目标数据索引文件和多个目标数据文件。

在本公开一实施方式中，目标数据库所述根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件的部分，还被配置为：

根据所述目标数据索引文件将所述多个目标数据文件组合成目标海量数据。

在本公开一实施方式中，所述数据中间组件为中间文件服务器或消息中间件。

图7所示及相关实施方式中涉及的技术术语和技术特征与图5-6所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图7所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图5-6所示及相关实施方式的解释的说明，此处不再赘述。

本公开实施例还公开了一种电子设备，所述电子设备包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述任一方法步骤。

图8是适于用来实现根据本公开一实施方式的数据传输方法的计算机系统的结构示意图。

如图8所示，计算机系统800包括处理单元801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述实施方式中的各种处理。在RAM803中，还存储有计算机系统800操作所需的各种程序和数据。处理单元801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中，所述处理单元801可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地，根据本公开的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述数据传输方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。

本公开实施例还公开了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一方法步骤。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开实施例的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据传输方法，包括：

获取目标海量数据；

基于所述目标海量数据生成目标数据文件；

将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。

2.根据权利要求1所述的方法，所述目标数据文件为一个或多个。

3.一种数据传输方法，包括：

接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

4.一种数据传输方法，包括：

目标平台获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

目标数据库接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

5.一种数据传输装置，包括：

第一获取模块，被配置为获取目标海量数据；

生成模块，被配置为基于所述目标海量数据生成目标数据文件；

第一发送模块，被配置为将所述目标数据文件发送至数据中间组件，以备目标数据库在需要时向所述数据中间组件请求下载所述目标数据文件。

6.一种数据传输装置，包括：

接收模块，被配置为接收目标平台发送的目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

第二获取模块，被配置为响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

下载模块，被配置为根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

7.一种数据传输装置，包括：

目标平台，被配置为获取目标海量数据，基于所述目标海量数据生成目标数据文件，将所述目标数据文件发送至数据中间组件，并响应于确认所述目标数据文件传输完成，向所述目标数据库发送目标数据文件接收提示消息，其中，所述目标数据文件接收提示消息携带有存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息；

目标数据库，被配置为接收所述目标平台发送的目标数据文件接收提示消息，响应于确认满足数据传输条件，从所述目标数据文件接收提示消息中获取存储所述目标数据文件的数据中间组件地址及目标数据文件属性信息，根据所述数据中间组件地址和目标数据文件属性信息向所述数据中间组件请求下载所述目标数据文件。

8.一种电子设备，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-4任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机指令，其中，该计算机指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。

10.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1-4任一项所述方法的步骤。

Images