CN113329076B - 数据传输方法、装置及系统、计算机设备、存储介质 - Google Patents

Abstract

本发明公开了一种数据传输方法、装置及系统、计算机设备、存储介质。该数据传输方法应用于发送端，发送端包括第一文件和第二文件，第一文件存储有多行常规数据，第二文件存储有多行大字段数据，多行常规数据与多行大字段数据一一对应；该方法包括：从第一文件中读取待发送常规数据；向接收端发送待发送常规数据，以使接收端存储接收到的常规数据；从第二文件中读取待发送大字段数据；向接收端发送待发送大字段数据，以使接收端存储接收到的大字段数据。本发明实施例可以提高数据传输效率。

Description

数据传输方法、装置及系统、计算机设备、存储介质

技术领域

本发明实施例涉及数据传输技术领域，尤其涉及一种数据传输方法、装置及系统、计算机设备、存储介质。

背景技术

随着互联网的发展，数据的类型越来越丰富，规模也越来越大。按照数据最大长度可以将一行数据划分为常规数据和大字段数据，大字段数据的最大长度通常大于常规数据的最大长度。

目前发送端和接收端在传输数据时，发送端先获取至少一行完整的数据，完整的数据包括常规数据和对应的大字段数据，之后将至少一行完整的数据进行整合并发送至接收端。接收端存储接收到的至少一行完整的数据。

但是由于大字段数据的最大长度通常较大，其占用的缓存空间也较大，导致发送端每次获取的数据的数量和每次向接收端发送的数据的数量均较少，从而导致数据传输效率较低。

发明内容

本发明实施例提供一种数据传输方法、装置及系统、计算机设备、存储介质，发送端能够可以每次向接收端发送多个常规数据，从而提高了数据传输效率。

第一方面，本发明实施例提供了一种数据传输方法，应用于发送端，所述发送端包括第一文件和第二文件，所述第一文件存储有多行常规数据，所述第二文件存储有多行大字段数据，所述多行常规数据与所述多行大字段数据一一对应；所述方法包括：

从所述第一文件中读取待发送常规数据；

向接收端发送所述待发送常规数据，以使所述接收端存储接收到的常规数据；

从所述第二文件中读取待发送大字段数据；

向所述接收端发送所述待发送大字段数据，以使所述接收端存储接收到的大字段数据。

第二方面，本发明实施例提供了一种数据传输方法，应用于接收端，所述方法包括：

确定接收到的待存储数据对应的头部信息，其中，所述待存储数据包括发送端发送的待存储常规数据或待存储大字段数据，任一所述待存储常规数据与对应的待存储大字段数据对应的头部信息相同，所述头部信息指示对应的待存储大字段数据的存储地址；

当所述待存储数据包括所述待存储常规数据时，将所述头部信息添加至所述待存储常规数据并存储添加有头部信息的所述待存储常规数据；

当所述待存储数据包括所述待存储大字段数据时，基于所述头部信息存储所述待存储大字段数据。

第三方面，本发明实施例提供了一种数据传输装置，应用于发送端，所述发送端包括第一文件和第二文件，所述第一文件存储有多行常规数据，所述第二文件存储有多行大字段数据，所述多行常规数据与所述多行大字段数据一一对应；所述装置包括：：

第一读取模块，用于从所述第一文件中读取待发送常规数据；

第一发送模块，用于向接收端发送所述待发送常规数据，以使所述接收端存储接收到的常规数据；

第二读取模块，用于从所述第二文件中读取待发送大字段数据；

第二发送模块，用于向接收端发送所述待发送大字段数据，以使所述接收端存储接收到的大字段数据。

第四方面，本发明实施例提供了一种数据传输装置，应用于接收端，所述装置包括：

确定模块，用于确定接收到的待存储数据对应的头部信息，其中，所述待存储数据包括发送端发送的待存储常规数据或待存储大字段数据，任一所述待存储常规数据与对应的待存储大字段数据对应的头部信息相同，所述头部信息指示对应的待存储大字段数据的存储地址；

第一存储模块，用于当所述待存储数据包括所述待存储常规数据时，将所述头部信息添加至所述待存储常规数据并存储添加有头部信息的所述待存储常规数据；

第二存储模块，用于当所述待存储数据包括所述待存储大字段数据时，基于所述头部信息存储所述待存储大字段数据。

第五方面，本发明实施例提供了一种数据传输系统，所述系统包括发送端和接收端，所述发送端包括第一文件和第二文件，所述第一文件存储有多行常规数据，所述第二文件存储有多行大字段数据，所述多行常规数据与所述多行大字段数据一一对应；

所述发送端，用于从所述第一文件中读取待发送常规数据；

所述发送端，还用于向所述接收端发送所述待发送常规数据；

所述发送端，还用于从所述第二文件中读取待发送大字段数据；

所述发送端，还用于向接收端发送所述待发送大字段数据；

所述接收端，用于确定接收到的待存储数据对应的头部信息，其中，所述待存储数据包括所述发送端发送的待存储常规数据或待存储大字段数据，任一所述待存储常规数据与对应的待存储大字段数据对应的头部信息相同，所述头部信息指示对应的待存储大字段数据的存储地址；

所述接收端，还用于当所述待存储数据包括所述待存储常规数据时，将所述头部信息添加至所述待存储常规数据并存储添加有头部信息的所述待存储常规数据存储至所述存储空间；

所述接收端，还用于当所述待存储数据包括所述待存储大字段数据时，基于所述头部信息存储所述待存储大字段数据。

第六方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面和第二方面任一所述的方法。

第七方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面和第二方面任一所述的方法。

本发明实施例发送端从第一文件中读取待发送常规数据后向接收端发送待发送常规数据，从第二文件中读取待发送大字段数据后向接收端发送待发送大字段数据，接收端确定接收到的待存储数据对应的头部信息，当待存储数据包括待存储常规数据时，将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据，当待存储数据包括待存储大字段数据时，基于头部信息存储待存储大字段数据，常规数据的数据量较小占用的缓存空间也较小，而大字段数据的数据量较大占用的缓存空间也较大，大字段数据的数据量通常远大于常规数据的数据量，发送端无需向接收端同时发送常规数据和大字段数据，常规数据的发送与大字段数据的发送互不影响，即常规数据和大字段数据的缓存空间是相互独立的，使得发送端可以每次获取并处理较多数量的常规数据，且发送端每次可以向接收端发送较多数量的常规数据，解决了相关技术中数据传输效率较低的问题，从而在提高了数据传输效率的同时提高了发送端和接收端之间的通信带宽的利用率。

附图说明

图1为本发明实施例提供的一种数据传输方法的流程示意图；

图2为本发明实施例提供的另一种数据传输方法的流程示意图；

图3为本发明实施例提供的再一种数据传输方法的流程示意图；

图4为本发明实施例提供的一种数据传输装置的框图；

图5为本发明实施例提供的另一种数据传输装置的框图；

图6为本发明实施例提供的再一种数据传输装置的框图；

图7为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

一行数据通常包括常规数据和大字段数据，在需要传输数据时(例如将数据从客户端传输到新的数据库服务器中以实现平台迁移)，发送端将通过装载工具获取的属于至少一行数据进行整合并发送至接收端。接收端存储接收到的至少一行数据。

但是由于一行数据中大字段数据占用的缓存空间较大，因此发送端的缓存空间可存储的数据的数量较少。导致发送端每次获取的数据的数量和每次向接收端发送的数据的数量均较少，从而导致数据传输效率和发送端和接收端之间的通信带宽的利用率均较低。

此外，发送端和接收端能够同时对数量较多的数据进行处理，但是目前的数据传输过程中发送端每次获取的数据的数量和每次向接收端发送的数据的数量均较少，导致发送端和接收端的处理能力的利用率较低。

本发明实施例提供了一种数据传输方法，由数据传输装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中，计算机设备可以包括发送端和接收端。该方法可以适用于传输数据(例如数据迁移以及数据导入等)的应用场景。

请参考图1，图1为本发明实施例提供的一种数据传输方法的流程示意图，该方法应用于发送端，发送端包括第一文件和第二文件，第一文件存储有多行常规数据，第二文件存储有多行大字段数据，多行常规数据与多行大字段数据一一对应。该方法可以包括以下步骤：

步骤101、从第一文件中读取待发送常规数据。

发送端可以建立有常规线程，常规线程从第一文件中读取待发送常规数据。

步骤102、向接收端发送待发送常规数据，以使接收端存储接收到的常规数据。

发送端可以在读取到至少一行待发送常规数据后，即向接收端发送至少一行待发送常规数据。

步骤103、从第二文件中读取待发送大字段数据。

发送端可以建立有大字段线程，大字段线程从第二文件中读取待发送大字段数据。该大字段线程与前述常规线程为两个独立的线程。

步骤104、向接收端发送待发送大字段数据，以使接收端存储接收到的大字段数据。

发送端可以在读取到至少一行待发送大字段数据后，即向接收端发送至少一行待发送大字段数据。

综上所述，本发明实施例提供的数据传输方法，发送端从第一文件中读取待发送常规数据后向接收端发送待发送常规数据，以使接收端存储接收到的常规数据，发送端从第二文件中读取待发送大字段数据后向接收端发送待发送大字段数据，以使接收端存储接收到的大字段数据，常规数据的数据量较小占用的缓存空间也较小，而大字段数据的数据量较大占用的缓存空间也较大，大字段数据的数据量通常远大于常规数据的数据量，发送端无需向接收端同时发送常规数据和大字段数据，常规数据的发送与大字段数据的发送互不影响，即常规数据和大字段数据的缓存空间是相互独立的，使得发送端可以每次获取并处理较多数量的常规数据，且发送端每次可以向接收端发送较多数量的常规数据，从而在提高了数据传输效率的同时提高了发送端和接收端之间的通信带宽的利用率。

请参考图2，图2为本发明实施例提供的另一种数据传输方法的流程示意图，该方法应用于接收端，接收端包括存储空间，该方法可以包括以下步骤：

步骤201、确定接收到的待存储数据对应的头部信息，其中，待存储数据包括发送端发送的待存储常规数据或待存储大字段数据，任一待存储常规数据与对应的待存储大字段数据对应的头部信息相同，头部信息指示对应的待存储大字段数据的存储地址。

其中，头部信息(head_info)包括对应的待存储大字段数据的存储地址，头部信息还可以包括对应的待存储数据中携带的大字段数据的长度。

步骤202、当待存储数据包括待存储常规数据时，将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据。

可选地，接收端可以将头部信息存储在树中，树可以包括平衡二叉树、B树以及B+树等，本发明实施例对此不做限定。以B树为例，接收端可以确定待存储常规数据在B树中的存储节点，之后将待存储常规数据存储至确定的存储节点。

步骤203、当待存储数据包括待存储大字段数据时，基于头部信息存储待存储大字段数据。

接收端可以将待存储大字段数据存储在头部信息所指示的存储地址中。

综上所述，本发明实施例提供的数据传输方法，接收端确定接收到的待存储数据对应的头部信息，当待存储数据包括待存储常规数据时，将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据，当待存储数据包括待存储大字段数据时，基于头部信息存储待存储大字段数据，常规数据的数据量较小占用的缓存空间也较小，而大字段数据的数据量较大占用的缓存空间也较大，大字段数据的数据量通常远大于常规数据的数据量，接收端接收到的常规数据和大字段数据不是发送端同时发送的，常规数据的发送与大字段数据的发送互不影响，即常规数据和大字段数据的缓存空间是相互独立的，使得发送端可以每次获取并处理较多数量的常规数据，且接收端可以接收到发送端每次发送的较多数量的常规数据，从而在提高了数据传输效率的同时提高了发送端和接收端之间的通信带宽的利用率。

请参考图3，图3为本发明实施例提供的再一种数据传输方法的流程示意图，图3以发送端和接收端之间的交互过程为例对该方法进行说明，该方法可以包括以下步骤：

步骤301、发送端从第一文件中读取待发送常规数据。

发送端需要传输的每行初始数据包括常规数据和大字段数据，初始数据的格式通常为：至少一个常规列和至少一个大字段列。常规列存储的是常规数据，大字段列存储的是大字段数据。接收端具有用于存储初始数据的数据库表，数据库表中一行数据的格式即为一行初始数据的格式。

第一文件存储有多行常规数据，多行常规数据与发送端需要传输的多行初始数据一一对应。每行常规数据包括对应的初始数据中大字段数据的长度和常规数据。常规数据的最大长度较小，占用的内存也较小。示例地，常规数据的最大长度通常小于m字节(byte)，m为大于零的正整数。例如常规数据的大小可以为1byte、2byte或3byte等。第一文件中相邻两行之间具有行分隔符，相邻两列之间具有列分隔符。行分隔符或列分隔符需要保证发送端和接收端均可以识别，其可以包括以下至少一种：符号、字母、数字和文字等。

其中，每行常规数据的列数、每行初始数据的列数相同以及数据库表中一行数据的列数相同。常规数据或初始数据与数据库表的数据之间，相同列的数据类型可以互相转换。例如常规数据或初始数据中第n列的数据类型可以转换为数据库表的数据中第n列的数据类型。

每行常规数据的各个列与对应的初始数据的各个列一一对应。可选地，每行初始数据包括至少一个常规列和至少一个大字段列，则每行常规数据包括至少一个常规列和至少一个大字段列。任一初始数据对应的常规数据中：任一常规列存储的是该任一初始数据中对应的列所存储的常规数据，任一大字段列存储的是该任一初始数据中对应的列所存储的大字段数据的长度。

示例地，假设一行初始数据包括：两个常规列和两个大字段列，且前两列为常规列，后两列为大字段列。则相应地，每行常规数据包括：两个常规列和两个大字段列，且前两列为常规列，后两列为大字段列。常规数据中的两个常规列存储的是初始数据中对应的两个常规列所存储的常规数据，常规数据中的两个大字段列存储的是初始数据中对应的两个大字段列所存储的大字段数据的长度。

例如，假设任一初始数据为：(data1，data2，lob_data1，lob_data2)，data1和data2均为常规列中存储的常规数据，lob_data1和lob_data2均为大字段列中存储的大字段数据。相应地，任一初始数据对应的常规数据为：data1|data2|lob_len1|lob_len2，lob_len1为lob_data1的长度，lob_len2为lob_data2的长度，“|”表示列分隔符。

再例如，假设初始数据(即需要存储在数据库表的数据)包括(100，10，‘ABC’)和(200，20，‘DEFG’)这两行初始数据。(100，10，‘ABC’)中前两个常规列存储的常规数据分别为100和10，最后一个大字段列存储的大字段数据为‘ABC’。(200，20，‘DEFG’)中前两个常规列存储的常规数据分别为200和20，最后一个大字段列存储的大字段数据为‘DEFG’。则第一文件中与这两行初始数据对应的常规数据为：100|10|3#200|20|4，3表示第一行初始数据中最后一个大字段列存储的‘ABC’的长度，4表示第二行初始数据中最后一个大字段列存储的‘DEFG’的长度。“#”表示行分隔符，“|”表示列分隔符。

发送端可以先确定第一文件，之后从确定的第一文件中读取待发送常规数据。常规数据中每列数据对应有目标类型，相应地，待发送常规数据中每列数据对应有目标类型，该目标类型可以为数据库表的一行数据中每列数据的类型。

步骤302、发送端确定待发送常规数据中每列数据的类型。

常规数据的数据类型可以包括以下至少一种：字符串类型、byte类型和整数(int)类型。例如字符串类型的常规数据可以为“2021-1-1”。

发送端中可以建立有转换线程，转换线程确定待发送常规数据中每列数据的类型。此时前述常规线程需要将读取的待发送常规数据发送至该转换线程。

步骤303、当待发送常规数据中任一列数据的数据类型与对应的目标类型不同时，发送端将任一列数据的数据类型转换为对应的目标类型。

示例地，假设待发送常规数据中任一列数据的数据类型为字符串类型，其对应的目标类型为日期类型，则可以将该任一列数据的数据类型由字符串类型转换为日期类型。例如可以将“2021-1-1”转换为“2021年1月1日”。

该过程可以由转换线程执行，转换数据类型的过程通常消耗的资源较多，通过独立的转换线程进行数据类型的转换，能够避免转换过程对其他过程的处理进度的影响。

需要说明的是，待发送大字段数据的数据类型通常包括字符类型和/或二进制类型，这些类型数据可以通用，因此无需进行类型转换。

步骤304、发送端向接收端发送待发送常规数据。

发送端可以确定待发送常规数据的行序号(seq)，之后向接收端发送携带有行序号的待发送常规数据。

示例地，假设每行待发送常规数据的格式为：data1|data2|lob_len，则携带有行序号的每行待发送常规数据的格式为：seq data1|data2|lob_len。

可选地，发送端可以按照读取顺序确定待发送常规数据的行序号。待发送常规数据中每个待发送常规数据的行序号是唯一的。

以发送端在初次读取到三行待发送常规数据后向接收端发送该三行待发送常规数据为例，即发送端初次向接收端发送三行待发送常规数据，该三行待发送常规数据的行序号依次为1至3，三行待发送常规数据可以如下所示：

seq1 data1|data2|lob_len

seq2 data1|data2|lob_len

seq3 data1|data2|lob_len

之后若发送端读取到两行待发送常规数据后向接收端发送该两行待发送常规数据，则该两行待发送常规数据的行序号依次为4至5，两行待发送常规数据可以如下所示：

seq4 data1|data2|lob_len

seq5 data1|data2|lob_len

在该步骤304中，发送端可以建立有第一发送线程，第一发送线程向接收端发送待发送常规数据。此时前述转换线程需要将转换后的待发送常规数据发送至该第一发送线程。

步骤305、发送端从第二文件中读取待发送大字段数据。

第二文件存储有多行大字段数据，多行大字段数据与发送端需要传输的多行初始数据一一对应，任一常规数据与对应的大字段数据对应同一初始数据。每行大字段数据包括对应的初始数据中大字段数据及其长度。大字段数据的最大长度较大，通常远大于常规数据的最大长度，占用的内存也较大。示例地，大字段数据的数据类型可以包括字符类型和/或二进制类型，其大字段数据的最大长度通常大于n千字节(Kilobyte，KB)，n为大于零的正整数。例如大字段数据的大小可以为1KB、2KB(例如图片)、15千兆字节(Gigabyte，GB)或50GB(例如视频)等。第二文件中相邻两行之间具有行分隔符，相邻两列之间具有列分隔符，行分隔符和列分隔符可以参考前述步骤301，本发明实施例在此不做赘述。

其中，每行大字段数据的各个列与对应的初始数据的各个大字段列一一对应，即每行大字段数据的各个列与对应的常规数据的各个大字段列一一对应。大字段数据与对应的常规数据中，对应的两个列所存储的大字段数据的长度相同。

可选地，每行初始数据包括至少一个常规列和至少一个大字段列，则每行大字段数据包括至少一个大字段列。任一初始数据对应的大字段数据中：任一大字段列存储该任一初始数据中对应的列所存储的大字段数据及其长度。

示例地，假设一行初始数据包括：两个常规列和两个大字段列。则相应地，每行大字段数据包括：两个大字段列。大字段数据中的两个大字段列存储的是初始数据中对应的两个大字段列所存储的大字段数据及其长度。

例如，如前述步骤301所述，假设任一初始数据为：(data1，data2，lob_data1，lob_data2)，相应地，任一初始数据对应的大字段数据为：lob_len1lob_data1|lob_len2 lob_data2，lob_len1为lob_data1的长度，lob_len2为lob_data2的长度，“|”表示列分隔符。

又一示例地，如前述步骤301所述，假设初始数据包括(100，10，‘ABC’)和(200，20，‘DEFG’)这两行初始数据。则第二文件中与这两行初始数据对应的大字段数据为：3ABC#4EFGH，3表示‘ABC’的长度，4表示‘DEFG’的长度。

发送端可以先确定第二文件，之后从确定的第二文件中读取待发送大字段数据。大字段数据中每列数据可以对应有目标类型，相应地，待发送大字段数据中每列数据对应有目标类型，该目标类型可以为数据库表的一行数据中每列数据的类型。

步骤306、发送端向接收端发送待发送大字段数据。

发送端可以确定待发送大字段数据的行序号(seq)，之后向接收端发送携带有行序号的待发送大字段数据。

示例地，假设每行待发送大字段数据的格式为：lob_len lob_data，则携带有行序号的每行待发送大字段数据的格式为：seq lob_len lob_data。

可选地，发送端可以按照读取顺序确定待发送大字段数据的行序号。待发送大字段数据中每个待发送大字段数据的行序号是唯一的。

以发送端在初次读取到两行待发送大字段数据后向接收端发送该两行待发送大字段数据为例，即发送端初次向接收端发送两行待发送大字段数据，该两行待发送大字段数据的行序号依次为1和2，两行待发送大字段数据可以如下所示：

seq1 lob_len lob_data

seq2 lob_len lob_data

之后若发送端读取到两行待发送大字段数据后向接收端发送该两行待发送大字段数据，则该两行待发送大字段数据的行序号依次为3至4，两行待发送大字段数据可以如下所示：

seq3 lob_len lob_data

seq4 lob_len lob_data

在该步骤306中，发送端可以建立有第二发送线程，第二发送线程向接收端发送待发送大字段数据。此时前述大字段线程需要将读取的待发送大字段数据发送至该第二发送线程。可选地，前述第一发送线程与该第二发送线程可以相同或不同，本申请实施例对此不做限定。

需要说明的是，任一常规数据在多行常规数据中的位置与对应的大字段数据在多行大字段数据中的位置相同。这样在按照读取顺序确定待发送常规数据和待发送大字段数据时，任一待发送常规数据的行序号与对应的待发送大字段数据的行序号相同。这样后续接收端在按照行序号组合常规数据和大字段数据时，能够保证组合后的数据与初始数据的一致性。

步骤307、接收端确定接收到的待存储数据对应的头部信息，其中，待存储数据包括发送端发送的待存储常规数据或待存储大字段数据，任一待存储常规数据与对应的待存储大字段数据对应的头部信息相同，头部信息指示对应的待存储大字段数据的存储地址。

接收端可以包括缓存空间，缓存空间用于存储头部信息。接收端可以基于待存储数据判断缓存空间是否缓存有待存储数据对应的头部信息。当缓存空间未缓存有待存储数据对应的头部信息时，创建待存储数据对应的头部信息。当缓存空间缓存有待存储数据对应的头部信息时，从缓存空间中获取头部信息。

示例地，接收端接收到的待存储常规数据和待存储大字段数据均携带有行序号，且行序号相同的的待存储常规数据与待存储大字段数据对应。缓存空间中每个头部信息还包括一个行序号，任一头部信息包括的行序号与其对应的待存储数据的行序号相同。即待存储大字段数据、待存储常规数据和头部信息通过行序号关联，以保证任一行序号的待存储大字段数据能够存储到该任一行序号的头部信息所指示的存储地址中。例如，缓存空间中包括的头部信息可以如下所示：

seq1 head_info

seq2 head_info

seq3 head_info

接收端在接收到待存储数据后，可以基于待存储数据的行序号确定缓存空间中是否有该行序号对应的头部信息。当存在该行序号对应的头部信息时，从缓存空间中获取该行序号对应的头部信息。当不存在该行序号对应的头部信息时，待存储数据中包括大字段数据的长度(例如lob_len)，可以基于待存储数据中的大字段数据的长度构建大字段数据的存储空间，并基于该存储空间的地址创建该行序号对应的头部信息，大字段数据的存储空间的大小大于或等于大字段数据的长度。

进一步地，当从缓存空间获取该行序号对应的头部信息后，可以删除缓存空间中该行序号对应的头部信息。当创建该行序号对应的头部信息后，可以将创建的头部信息添加进缓存空间，以便后续复用该头部信息。

需要说明的是，接收端接收到待存储数据包括待存储大字段数据时，由于发送端未对待存储大字段数据进行处理，因此接收端无法获取待存储大字段数据的存储地址，需要确定用于指示对应的待存储大字段数据的存储地址的头部信息，以实现后续对待存储大字段数据的存储。

在本发明实施例中，接收端是基于大字段数据的长度(例如lob_len)创建头部信息的。属于同一行的待存储常规数据和待存储大字段数据均包括大字段数据的长度，因此当接收端先接收到待存储常规数据且未接收到属于同一行的待存储大字段数据时，即可提前基于待存储常规数据包括的大字段数据的长度创建头部信息。后续接收到属于同一行的待存储大字段数据可以直接从缓存空间中获取对应的头部信息，提高了接收端存储数据的效率。

步骤308、当待存储数据包括待存储常规数据时，接收端将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据。

接收端可以将待存储常规数据中的大字段数据列存储的大字段数据的长度替换为头部信息。示例地，假设接收端接收到如下三行待存储常规数据：

seq1 data1|data2|lob_len

seq2 data1|data2|lob_len

seq3 data1|data2|lob_len

在确定每行待存储常规数据对应的头部信息并添加进待存储常规数据后，添加有头部信息的待存储常规数据如下所示：

seq1 data1|data2|head_info

seq2 data1|data2|head_info

seq3 data1|data2|head_info

在本发明实施例中，当接收端先接收到待存储常规数据且未接收到对应的待存储大字段数据时，即可提前基于待存储常规数据包括的大字段数据的长度创建头部信息并将头部信息添加至待存储常规数据，以及提前将添加有头部信息的待存储常规数据存储至存储空间，以完成对待存储常规数据的存储，从而提高接收端存储数据的效率。

步骤309、当待存储数据包括待存储大字段数据时，接收端基于头部信息存储待存储大字段数据。

在本发明实施例中，发送端可以包括导入配置文件，该导入配置文件用于指示第一文件、第二文件、数据库表的一行数据的格式以及数据库表的一行数据中每列数据的类型。

常规数据按照导入配置文件所指示的数据库表的一行数据的格式存储在导入配置文件所指示的第一文件中。示例地，该导入配置文件可以为：

data_file＝f1.dta

lob_file＝f2.dta

table:t1

(

c1 int，

c2 byte，

c3 lob

)

其中，data_file＝f1.dta表示存储常规数据的第一文件为f1.dta，table:t1表示数据库表t1的一行数据的格式，lob_file＝f2.dta表示存储大字段数据的第二文件为f2.dta，c1 int表示数据库表t1的第一列为int类型的常规数据，c2 byte表示数据库表t1的第二列为byte类型的常规数据，c3 lob表示数据库表t1的第三列为lob类型的大字段数据的长度。基于该导入配置文件，确定每行常规数据的格式为：两个常规列和一个大字段列，且前两列为常规列，最后一列为大字段列。发送端从f1.dta中读取待发送常规数据，待发送常规数据中第一列数据对应的目标类型为int，第二列数据对应的目标类型为byte，第三列数据对应的目标类型为lob。发送端从f2.dta中读取待发送大字段数据。

需要说明的是，本发明实施例中发送端发送的待发送常规数据表示的是发送端发送的常规数据，待发送大字段数据表示的是发送端发送的大字段数据，接收端接收到的待存储常规数据即是发送端发送的常规数据，待存储大字段数据即是发送端发送的大字段数据。

综上所述，本发明实施例提供的数据传输方法，发送端从第一文件中读取待发送常规数据后向接收端发送待发送常规数据，从第二文件中读取待发送大字段数据后向接收端发送待发送大字段数据，接收端确定接收到的待存储数据对应的头部信息，当待存储数据包括待存储常规数据时，将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据，当待存储数据包括待存储大字段数据时，基于头部信息存储待存储大字段数据，常规数据的数据量较小占用的缓存空间也较小，而大字段数据的数据量较大占用的缓存空间也较大，大字段数据的数据量通常远大于常规数据的数据量，发送端无需向接收端同时发送常规数据和大字段数据，常规数据的发送与大字段数据的发送互不影响，即常规数据和大字段数据的缓存空间是相互独立的，使得发送端可以每次获取并处理较多数量的常规数据，且发送端每次可以向接收端发送较多数量的常规数据，从而在提高了数据传输效率的同时提高了发送端和接收端之间的通信带宽的利用率。

此外，每行常规数据的最大长度较小，占用的通信带宽较小，但是需要进行数据类型转换等消耗处理资源的过程。而每行大字段数据的最大长度较大，占用的通信带宽较大，但是无需进行数据类型转换等消耗处理资源的过程。本发明实施例中，采用不同的线程读取常规数据和大字段数据，采用独立的线程进行常规数据的数据类型转换，且无需同时传输常规数据和大字段数据，可以在常规数据的数据类型转换过程中，使用空闲的通信带宽发送大字段数据，使得常规数据和大字段数据的处理和发送互不影响，能够最大程度的利用发送端和接收端的处理能力以及通信带宽，提高了发送端和接收端的处理能力的利用率和数据传输效率，并且有效减少了通信出现阻塞的概率。

并且接收端在接收到常规数据后无需等待大字段数据即可实现常规数据的存储，大字段数据不是存储常规数据的必要条件，后续接收到大字段数据时只需将大字段数据存储至头部信息所指示的存储地址即可。由于存储常规数据和大字段数据的过程均需占用较多的处理资源，因此将存储常规数据和大字段数据的过程分开实现能够减少等待冲突，从而提高数据处理性能。

上述实施例提供的方法的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，例如步骤301和步骤305可以同时执行，例如前述步骤302可以不执行，发送端可以直接按照预设的数据类型从第一文件中读取待发送常规数据，例如预设的数据类型可以为整数类型或字符串类型等。本发明实施例对此不做限定。

可选地，上述实施例中是以数据传输装置执行数据传输方法为例进行说明的，数据传输装置装置可以位于计算机设备中，计算机设备可以包括发送端和接收端。其中发送端可以包括客户端或服务端，相应地，接收端可以包括服务端或客户端。在一种示例中，该数据传输方法中的不同步骤可以由不同的模块来执行。该不同的模块可以位于一个装置中，也可以位于不同的装置中。本发明实施例对执行数据传输方法的装置不做限定。

本发明实施例提供了一种数据传输装置，应用于发送端，发送端包括第一文件和第二文件，第一文件存储有多行常规数据，第二文件存储有多行大字段数据，多行常规数据与多行大字段数据一一对应；图4为本发明实施例提供的一种数据传输装置的框图，该数据传输装置40包括：

第一读取模块401，用于从第一文件中读取待发送常规数据。

第一发送模块402，用于向接收端发送待发送常规数据，以使接收端存储接收到的常规数据。

第二读取模块403，用于从第二文件中读取待发送大字段数据。

第二发送模块404，用于向接收端发送待发送大字段数据，以使接收端存储接收到的大字段数据。

可选地，任一常规数据在多行常规数据中的位置与对应的大字段数据在多行大字段数据中的位置相同；

第一发送模块402，用于：

按照读取顺序确定待发送常规数据的行序号。

向接收端发送携带有行序号的待发送常规数据。

第二发送模块404，用于：

按照读取顺序确定待发送大字段数据的行序号。

向接收端发送携带有行序号的待发送大字段数据。

可选地，待发送常规数据中每列数据对应有目标类型，请参考图5，图5为本发明实施例提供的另一种数据传输装置的框图，在图4的基础上，该数据传输装置40还包括：

确定模块405，用于确定待发送常规数据中每列数据的类型。

转换模块406，用于当待发送常规数据中任一列数据的数据类型与对应的目标类型不同时，将任一列数据的数据类型转换为对应的目标类型。

综上所述，本发明实施例提供的数据传输装置，发送端通过第一读取模块从第一文件中读取待发送常规数据，通过确定模块确定待发送常规数据中每列数据的类型，当待发送常规数据中任一列数据的数据类型与对应的目标类型不同时，通过转换模块将任一列数据的数据类型转换为对应的目标类型，之后通过第一发送模块向接收端发送待发送常规数据，以使接收端存储接收到的常规数据，通过第二读取模块从第二文件中读取待发送大字段数据，之后通过第二发送模块向接收端发送待发送大字段数据，以使接收端存储接收到的大字段数据，常规数据的数据量较小占用的缓存空间也较小，而大字段数据的数据量较大占用的缓存空间也较大，大字段数据的数据量通常远大于常规数据的数据量，发送端无需向接收端同时发送常规数据和大字段数据，常规数据的发送与大字段数据的发送互不影响，即常规数据和大字段数据的缓存空间是相互独立的，使得发送端可以每次获取并处理较多数量的常规数据，且发送端每次可以向接收端发送较多数量的常规数据，从而在提高了数据传输效率的同时提高了发送端和接收端之间的通信带宽的利用率。

此外，每行常规数据的最大长度较小，占用的通信带宽较小，但是需要进行数据类型转换等消耗处理资源的过程。而每行大字段数据的最大长度较大，占用的通信带宽较大，但是无需进行数据类型转换等消耗处理资源的过程。本发明实施例中，采用不同的线程读取常规数据和大字段数据，采用独立的线程进行常规数据的数据类型转换，且无需同时传输常规数据和大字段数据，可以在常规数据的数据类型转换过程中，使用空闲的通信带宽发送大字段数据，使得常规数据和大字段数据的处理和发送互不影响，能够最大程度的利用发送端和接收端的处理能力以及通信带宽，提高了发送端和接收端的处理能力的利用率和数据传输效率，并且有效减少了通信出现阻塞的概率。

本发明实施例所提供的数据传输装置可执行本发明任意实施例所提供的数据传输方法中由发送端执行的流程，具备执行方法相应的功能模块和有益效果。

本发明实施例提供了一种数据传输装置，应用于接收端，接收端包括存储空间，图6为本发明实施例提供的再一种数据传输装置的框图，该数据传输装置50包括：

确定模块501，用于确定接收到的待存储数据对应的头部信息，其中，待存储数据包括发送端发送的待存储常规数据或待存储大字段数据，任一所述待存储常规数据与对应的待存储大字段数据对应的头部信息相同，头部信息指示对应的待存储大字段数据的存储地址。

第一存储模块502，用于当待存储数据包括待存储常规数据时，将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据。

第二存储模块503，用于当待存储数据包括待存储大字段数据时，基于头部信息存储待存储大字段数据。

可选地，确定模块501，用于：

基于待存储数据判断缓存空间是否缓存有待存储数据对应的头部信息。

当缓存空间未缓存有待存储数据对应的头部信息时，创建待存储数据对应的头部信息。

当缓存空间缓存有待存储数据对应的头部信息时，从缓存空间中获取头部信息。

综上所述，本发明实施例提供的数据传输装置，接收端通过确定模块确定接收到的待存储数据对应的头部信息，当待存储数据包括待存储常规数据时，通过第一存储模块将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据，当待存储数据包括待存储大字段数据时，通过第二存储模块基于头部信息存储待存储大字段数据，常规数据的数据量较小占用的缓存空间也较小，而大字段数据的数据量较大占用的缓存空间也较大，大字段数据的数据量通常远大于常规数据的数据量，接收端接收到的常规数据和大字段数据不是发送端同时发送的，常规数据的发送与大字段数据的发送互不影响，即常规数据和大字段数据的缓存空间是相互独立的，使得发送端可以每次获取并处理较多数量的常规数据，且接收端可以接收到发送端每次发送的较多数量的常规数据，从而在提高了数据传输效率的同时提高了发送端和接收端之间的通信带宽的利用率。

此外，接收端在接收到常规数据后无需等待大字段数据即可实现常规数据的存储，大字段数据不是存储常规数据的必要条件，后续接收到大字段数据时只需将大字段数据存储至头部信息所指示的存储地址即可。由于存储常规数据和大字段数据的过程均需占用较多的处理资源，因此将存储常规数据和大字段数据的过程分开实现能够减少等待冲突，从而提高数据处理性能。

本发明实施例所提供的数据传输装置可执行本发明任意实施例所提供的数据传输方法中由接收端执行的流程，具备执行方法相应的功能模块和有益效果。

本发明实施例提供了一种数据传输系统，该系统包括发送端和接收端，发送端包括第一文件和第二文件，第一文件存储有多行常规数据，第二文件存储有多行大字段数据，多行常规数据与多行大字段数据一一对应。

发送端，用于从第一文件中读取待发送常规数据。

发送端，还用于向接收端发送待发送常规数据。

发送端，还用于从第二文件中读取待发送大字段数据。

发送端，还用于向接收端发送待发送大字段数据。

接收端，用于确定接收到的待存储数据对应的头部信息，其中，待存储数据包括发送端发送的待存储常规数据或待存储大字段数据，任一待存储常规数据与对应的待存储大字段数据对应的头部信息相同，头部信息指示对应的待存储大字段数据的存储地址。

接收端，还用于当待存储数据包括待存储常规数据时，将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据。

接收端，还用于当待存储数据包括待存储大字段数据时，基于头部信息存储待存储大字段数据。

综上所述，本发明实施例提供的数据传输系统，发送端用于从第一文件中读取待发送常规数据后向接收端发送待发送常规数据，从第二文件中读取待发送大字段数据后向接收端发送待发送大字段数据，接收端用于确定接收到的待存储数据对应的头部信息，当待存储数据包括待存储常规数据时，将头部信息添加至待存储常规数据并存储添加有头部信息的待存储常规数据，当待存储数据包括待存储大字段数据时，基于头部信息存储待存储大字段数据，常规数据的数据量较小占用的缓存空间也较小，而大字段数据的数据量较大占用的缓存空间也较大，大字段数据的数据量通常远大于常规数据的数据量，发送端无需向接收端同时发送常规数据和大字段数据，常规数据的发送与大字段数据的发送互不影响，即常规数据和大字段数据的缓存空间是相互独立的，使得发送端可以每次获取并处理较多数量的常规数据，且发送端每次可以向接收端发送较多数量的常规数据，从而在提高了数据传输效率的同时提高了发送端和接收端之间的通信带宽的利用率。

此外，每行常规数据的最大长度较小，占用的通信带宽较小，但是需要进行数据类型转换等消耗处理资源的过程。而每行大字段数据的最大长度较大，占用的通信带宽较大，但是无需进行数据类型转换等消耗处理资源的过程。本发明实施例中，采用不同的线程读取常规数据和大字段数据，采用独立的线程进行常规数据的数据类型转换，且无需同时传输常规数据和大字段数据，可以在常规数据的数据类型转换过程中，使用空闲的通信带宽发送大字段数据，使得常规数据和大字段数据的处理和发送互不影响，能够最大程度的利用发送端和接收端的处理能力以及通信带宽，提高了发送端和接收端的处理能力的利用率和数据传输效率，并且有效减少了通信出现阻塞的概率。

并且接收端在接收到常规数据后无需等待大字段数据即可实现常规数据的存储，大字段数据不是存储常规数据的必要条件，后续接收到大字段数据时只需将大字段数据存储至头部信息所指示的存储地址即可。由于存储常规数据和大字段数据的过程均需占用较多的处理资源，因此将存储常规数据和大字段数据的过程分开实现能够减少等待冲突，从而提高数据处理性能。

该发送端和接收端的执行过程可以参考前述过程，本发明实施例在此不做赘述。

本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本发明实施例提供的数据传输方法。该计算机设备可以包括发送端或接收端。

图7为本发明实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括处理器60、存储器61、输入装置62和输出装置63；计算机设备中处理器60的数量可以是一个或多个，图7中以一个处理器60为例；计算机设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据传输方法对应的程序指令/模块(例如，数据传输装置40中的第一读取模块401、第一发送模块402、第二读取模块403以及第二发送模块404)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据传输，即实现上述任一所述的数据传输方法。

存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置62可用于接收输入的数字或字符信息(例如常规数据和大字段数据)，以及产生与计算机设备的分析人员设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的任一所述的数据传输方法。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述数据传输装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据传输方法，其特征在于，应用于数据传输系统，所述数据传输系统包括发送端和接收端，所述发送端包括第一文件和第二文件，所述第一文件存储有多行常规数据，所述第二文件存储有多行大字段数据，所述多行常规数据与所述多行大字段数据一一对应，所述方法包括：

通过所述发送端从所述第一文件中读取待发送常规数据；向接收端发送所述待发送常规数据，以使所述接收端存储接收到的常规数据；从所述第二文件中读取待发送大字段数据；向所述接收端发送所述待发送大字段数据，以使所述接收端存储接收到的大字段数据；

通过所述接收端确定接收到的待存储数据对应的头部信息，其中，所述待存储数据包括发送端发送的待存储常规数据或待存储大字段数据，任一所述待存储常规数据与对应的待存储大字段数据对应的头部信息相同，所述头部信息指示对应的待存储大字段数据的存储地址；当所述待存储数据包括所述待存储常规数据时，将所述头部信息添加至所述待存储常规数据并存储添加有头部信息的所述待存储常规数据；当所述待存储数据包括所述待存储大字段数据时，基于所述头部信息存储所述待存储大字段数据。

2.根据权利要求1所述的方法，其特征在于，任一所述常规数据在所述多行常规数据中的位置与对应的大字段数据在所述多行大字段数据中的位置相同；

所述向接收端发送所述待发送常规数据，包括：

按照读取顺序确定所述待发送常规数据的行序号；

向所述接收端发送携带有行序号的所述待发送常规数据；

所述向所述接收端发送所述待发送大字段数据，包括：

按照读取顺序确定所述待发送大字段数据的行序号；

向所述接收端发送携带有行序号的所述待发送大字段数据。

3.根据权利要求1或2所述的方法，其特征在于，所述待发送常规数据中每列数据对应有目标类型，在向接收端发送所述待发送常规数据之前，所述方法还包括：

确定所述待发送常规数据中每列数据的类型；

当所述待发送常规数据中任一列数据的数据类型与对应的目标类型不同时，将所述任一列数据的数据类型转换为对应的所述目标类型。

4.根据权利要求1所述的方法，其特征在于，所述接收端还包括缓存空间，所述确定接收到的待存储数据对应的头部信息，包括：

基于所述待存储数据判断所述缓存空间是否缓存有所述待存储数据对应的头部信息；

当所述缓存空间未缓存有所述待存储数据对应的头部信息时，创建所述待存储数据对应的头部信息；

当所述缓存空间缓存有所述待存储数据对应的头部信息时，从所述缓存空间中获取所述头部信息。

5.一种数据传输装置，其特征在于，包括发送端和接收端，所述发送端包括第一文件和第二文件，所述第一文件存储有多行常规数据，所述第二文件存储有多行大字段数据，所述多行常规数据与所述多行大字段数据一一对应；

所述发送端包括：

第一读取模块，用于从所述第一文件中读取待发送常规数据；

第一发送模块，用于向接收端发送所述待发送常规数据，以使所述接收端存储接收到的常规数据；

第二读取模块，用于从所述第二文件中读取待发送大字段数据；

第二发送模块，用于向接收端发送所述待发送大字段数据，以使所述接收端存储接收到的大字段数据；

所述接收端包括：

确定模块，用于确定接收到的待存储数据对应的头部信息，其中，所述待存储数据包括发送端发送的待存储常规数据或待存储大字段数据，任一所述待存储常规数据与对应的待存储大字段数据对应的头部信息相同，所述头部信息指示对应的待存储大字段数据的存储地址；

第一存储模块，用于当所述待存储数据包括所述待存储常规数据时，将所述头部信息添加至所述待存储常规数据并存储添加有头部信息的所述待存储常规数据；

第二存储模块，用于当所述待存储数据包括所述待存储大字段数据时，基于所述头部信息存储所述待存储大字段数据。

6.一种数据传输系统，其特征在于，所述系统包括发送端和接收端，所述发送端包括第一文件和第二文件，所述第一文件存储有多行常规数据，所述第二文件存储有多行大字段数据，所述多行常规数据与所述多行大字段数据一一对应；

所述发送端，用于从所述第一文件中读取待发送常规数据；

所述发送端，还用于向所述接收端发送所述待发送常规数据；

所述发送端，还用于从所述第二文件中读取待发送大字段数据；

所述发送端，还用于向所述接收端发送所述待发送大字段数据；

所述接收端，用于确定接收到的待存储数据对应的头部信息，其中，所述待存储数据包括所述发送端发送的待存储常规数据或待存储大字段数据，任一所述待存储常规数据与对应的待存储大字段数据对应的头部信息相同，所述头部信息指示对应的待存储大字段数据的存储地址；

所述接收端，还用于当所述待存储数据包括所述待存储常规数据时，将所述头部信息添加至所述待存储常规数据并存储添加有头部信息的所述待存储常规数据；

所述接收端，还用于当所述待存储数据包括所述待存储大字段数据时，基于所述头部信息存储所述待存储大字段数据。

7.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一所述的方法。

Images