CN108924205A - 数据传输方法、装置、电子设备、网闸适配器 - Google Patents

Abstract

本发明提供了一种数据传输方法、装置、电子设备、网闸适配器，网闸适配器的发送端把待发送文件按照预先确定的大小处理成格式统一的单位数据块，然后按照预先确定的并行传输量并行传输多个单位数据块到网闸适配器的接收端，相较于现有技术中的FTP传输方式，不会传输文件时大时小，时快时慢，所以平衡了吞吐量和延迟，优化了现有的网络边界传输效率。

Description

数据传输方法、装置、电子设备、网闸适配器

技术领域

本发明涉及通信技术领域，具体而言，涉及一种数据传输方法、装置、电子设备、网闸适配器。

背景技术

在许多安防场景以及涉密场景中，需要将两个不同的网络之间隔离开，此时，会在两个不同的网络之间设置物理网络边界(网闸)进行安全隔离。现有技术中，网络边界通过FTP(File Transfer Protocol，文件传输协议)方式，以文件为单位进行对接传输，传输文件内容采用应用层协议。然而，由于文件时大时小，小文件吞吐量低，大文件延迟高，因此，文件在网闸带宽内传输时也存在时快时慢的问题，对于网闸流量带宽未能进行充分利用。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据传输方法、装置、电子设备、网闸适配器，其能对网闸带宽进行充分利用。

第一方面，本发明实施例提供了一种数据传输方法，应用于网闸适配器的发送端，所述方法包括：所述网闸适配器的发送端获取待发送文件；所述发送端将所述待发送文件按照预先确定的大小处理为单位数据块所述发送端将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端。

结合第一方面的一种实施方式，在所述发送端将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端之后，所述方法还包括：所述发送端获取所述单位数据块到达所述网闸适配器的接收端时的延迟时间；所述发送端基于所述延迟时间，动态调整所述并行传输量。

结合第一方面的一种实施方式，所述发送端将所述待发送文件按照预先确定的大小处理为单位数据块，包括：所述发送端计算累计获取到的所述待发送文件的大小；所述发送端将获取到的所述待发送文件按照所述预先确定的大小生成单位数据块。

结合第一方面的一种实施方式，所述发送端将获取到的所述待发送文件按照预先确定的大小处理为单位数据块，包括：所述发送端在确定获取到的前N个所述待发送文件的大小小于或等于所述预先确定的大小，且获取到的前N+1个所述待发送文件的大小大于所述预先确定的大小时，将前N个所述待发送文件生成一个所述单位数据块，其中，N≥1。

结合第一方面的一种实施方式，所述发送端将获取到的所述待发送文件按照预先确定的大小处理为单位数据块，包括：所述发送端在确定前N个所述待发送文件的大小大于所述预先确定的大小，且前N-1个所述待发送文件的大小小于所述预先确定的大小时，将前N-1个所述待发送文件以及第N个所述待发送文件的所述部分内容生成一个所述单位数据块，其中，N≥1。

结合第一方面的一种实施方式，所述发送端将所述待发送文件按照预先确定的大小处理为单位数据块，包括：所述发送端按照所述预先确定的大小将所述待发送文件转换为二进制数据并填充到所述数据字段。

结合第一方面的一种实施方式，在所述网闸适配器的发送端获取待发送文件之前，所述方法还包括：所述发送端对所述网闸适配器所在的网络边界的带宽进行检测，以确定所述单位数据块的大小以及所述并行传输量。

结合第一方面的一种实施方式，所述确定所述单位数据块的大小，包括：所述发送端发送第一测试数据包，并记录第一发送时间；所述发送端接收所述网闸适配器的接收端发送的所述第一测试数据包到达所述接收端的第一接收时间；所述发送端将满足所述第一接收时间与所述第一发送时间之差小于第一预设差值时最大的第一测试数据包的大小确定为单位数据块的大小。

结合第一方面的一种实施方式，所述确定所述并行传输量，包括：所述发送端每次发送与所述单位数据块的大小相同的多个第二测试数据包，并记录该次发送所述多个第二测试数据包的第二发送时间；所述发送端接收所述接收端发送的所述多个第二测试数据包到达所述接收端的第二接收时间；所述发送端将满足所述多个第二测试数据包的所述第二接收时间与所述多个测试数据包的发送第二时间之差小于第二预设差值时，所发送的所述第二测试数据包的个数最大值确定为并行传输量。

结合第一方面的一种实施方式，所述发送端将所述待发送文件按照预先确定的大小处理为单位数据块，包括：在所述发送端将所述待发送文件进行透明压缩后，再按照预先确定的大小处理为单位数据块。

结合第一方面的一种实施方式，所述单位数据块包括包头字段和数据字段，所述包头字段包括位于所述单位数据块内的待发送文件的标识、文件长度以及偏移量。

第二方面，本发明实施例提供了一种数据传输方法，应用于网闸适配器的接收端，所述方法包括：所述接收端接收所述网闸适配器的发送端按照预先确定的并行传输量发送的单位数据块，所述单位数据块的大小为预先确定的大小；所述接收端将所述单位数据块还原为所述传输文件。

结合第二方面的一种实施方式，所述方法还包括：所述接收端接收所述单位数据块的发送时间；所述接收端基于所述发送时间以及接收到所述单位数据块的接收时间计算得到延迟时间；所述接收端将所述延迟时间发送给所述发送端。

第三方面，本发明实施例提供了一种数据传输装置，应用于网闸适配器的发送端，所述装置包括：获取模块、处理模块、传输模块。获取模块，用于获取待发送文件；处理模块，用于将所述待发送文件按照预先确定的大小处理为单位数据块；传输模块，用于将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端。

第四方面，本发明实施例提供了一种数据传输装置，应用于网闸适配器的接收端，所述装置包括：接收模块、还原模块。接收模块，用于接收所述网闸适配器的发送端按照预先确定的并行传输量发送的单位数据块，所述单位数据块的大小为预先确定的大小；还原模块，用于将所述单位数据块还原为所述传输文件。

第五方面，本发明实施例提供了一种网闸适配器，包括：发送端，用于获取待发送文件；还用于将所述待发送文件按照预先确定的大小处理为单位数据块；还用于将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端；接收端，用于接收与所述并行传输量相同数量的所述单位数据块；还用于根据将所述单位数据块还原为所述待发送文件。

第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第一方面或者第二方面中任意一项所述的方法。

第七方面，本发明实施例提供了一种电子设备，包括相互连接的存储器、处理器、发送器以及接收器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行第一方面中任意一项所述的方法。

第八方面，本发明实施例提供了一种电子设备，包括相互连接的存储器、处理器、发送器以及接收器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行第二方面中任意一项所述的方法。

与现有技术相比，本发明各实施例提出的数据传输方法、装置、电子设备、网闸适配器，网闸适配器的发送端把待发送文件按照预先确定的大小处理成格式统一的单位数据块，然后按照预先确定的并行传输量并行传输多个单位数据块到网闸适配器的接收端，相较于现有技术中的FTP传输方式，不会传输文件时大时小，时快时慢，所以平衡了吞吐量和延迟，优化了现有的网络边界传输效率。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的网络构架的示意图；

图2为本发明实施例提供的电子设备的结构示意图；

图3为本发明实施例提供的数据传输方法的流程图之一；

图4为本发明实施例提供的数据传输方法的流程图之二；

图5为本发明实施例提供的数据传输方法的流程图之三；

图6为本发明实施例提供的数据传输方法的流程图之四；

图7为本发明实施例提供的数据传输装置的结构框图之一；

图8为本发明实施例提供的数据传输装置的结构框图之二。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在许多安防场景以及涉密场景中，为了保证安全，需要将两个不同的网络之间隔离开，此时，会在两个不同的网络之间设置物理网络边界(网闸)进行安全隔离。

网络边界是通过FTP(File Transfer Protocol，文件传输协议)方式，以文件为单位进行对接传输，传输文件内容采用应用层协议。但是，由于文件时大时小，小文件在传输中，可能导致网络边界的带宽利用率较低，吞吐量也较低；大文件在传输时，可能导致网络带宽被完全占用也无法顺利将大文件及时传输，使得大文件的传输延迟高，因此，文件在网闸带宽内传输时，对于网闸流量带宽未能进行充分利用。

为了改善上述问题，本发明实施例提供了一种数据传输方法、装置、电子设备、网闸适配器，该技术可采用相应的软件、硬件以及软硬结合的方式实现。以下对本发明实施例进行详细介绍。

首先，参照图1来描述用于实现本发明实施例的数据传输方法、装置的网络构架100。

网络构架100可以包括发送端110、接收端120、第一网络、第二网络。其中，所述发送端110设置于第一网络，接收端120设置于第二网络。值得指出的是，在第一网络与第二网络之间设置有网络边界，网络边界用于在第一网络与第二网络之间形成物理隔离。第一网络与第二网络可以通过网闸适配器在网络边界的带宽内进行数据交换。可选的，所述第一网络可以为视频专网，所述第二网络可以为公安内网。

发送端110可以对接第一网络的HTTP请求、消息队列、文件流等不同多种不同协议，并将对接的文件进行切割和网络传输优化后通过网络边界传递到接收端120，由接收端120进行文件接收并重整。

请参看图2，图2为本发明实施例提供的一种电子设备200的结构示意图，所述电子设备200可以是发送端110，也可以是接收端120。

图中，电子设备200可以包括存储器210、处理器220、发送器230、接收器240以及数据传输装置。

存储器210、处理器220、发送器230、接收器240以及数据传输装置这些组件可以通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备200的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备200也可以具有其他组件和结构。所述数据传输装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器210中或固化在电子设备200的操作系统(operating system，OS)中的软件功能模块。所述处理器220用于执行存储器210中存储的可执行模块，例如所述数据传输装置包括的软件功能模块或计算机程序。

所述存储器210可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器220可以运行所述程序指令，以实现下文所述的本发明实施例中期望实现的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

处理器220可能是一种集成电路芯片，具有信号的处理能力。上述的处理器220可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器220可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

发送器230具备数据的发送功能，接收器240具备数据的接收功能。发送器230以及接收器240可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

下面将针对网闸适配器在网络边界中为了达到传输优化目的而进行的数据传输方法进行介绍：

请参照图3，图3是本发明实施例提供的一种数据传输方法的流程图，所述方法从网闸适配器的发送端110的角度进行描述。下面将对图3所示的流程进行详细阐述，所述方法包括：

步骤S110：发送端110获取待发送文件。

在第一网络需要将文件传输到第二网络时，发送端110可以获取到第一网络通过应用层协议传递的待发送文件。例如，发送端110可以从存储设备中获取待发送文件，或者发送端110还可以从第一网络的其他设备接收待发送文件。

可选的，当所述第一网络为视频专网时，待发送文件可以是接入视频专网的摄像机、抓拍机等采集到的图片流文件。

步骤S120：将所述待发送文件按照预先确定的大小处理为单位数据块。

其中，所述单位数据块可以包括包头字段(header)和数据字段，所述包头字段可以包括：位于该单位数据块内的待发送文件的标识(ID)、文件长度(length)以及偏移量(offset)，所述数据字段可以包括位于该单位数据块中的述待发送文件的内容。具体地，所述数据字段可以用位于该单位数据块中的待发送文件的二进制形式表示。单位数据块包头字段中的偏移量用于指示该单位数据块包括的待发送文件的内容在整个该待发送文件中的偏移量。若一个单位数据块包括待发送文件的全部内容，则偏移量为0。若一个单位数据块包括待发送文件的部分内容，则该偏移量指示该部分内容在该待发送文件中的偏移位置。

在所述单位数据块可以包括包头字段和数据字段时，所述预先确定的大小即为单数数据块中数据字段的大小。

可选的，为了减轻网络边界的带宽压力，发送端110可以在将所述待发送文件进行透明压缩后，再按照预先确定的大小处理为单位数据块。透明压缩不仅可以将待发送文件的大小进行压缩，并且透明压缩的操作对于用户而言是透明的，所以并不影响用户体验。

其中，透明压缩是指待发送文件的文件流在处理为单位数据块之前，通过压缩协议进行压缩，所述压缩协议可以是gzip协议、哈夫曼树编码协议，当然，上述压缩协议仅仅是示例性举例，可以理解，压缩协议还可以是其他压缩协议，此处不再过多赘述。

当然，在发送端110根据预先确定的大小处理为单位数据块时，发送端110可以通过对网络边界的带宽进行检测，从而预先确定了后续步骤所需要的单位数据块的大小以及并行传输量，下面将对确定单位数据块的大小以及并行传输量进行介绍：

针对某一网络边界，发送端110先向网络边界发送第一测试数据包并记录第一发送时间。其中，第一测试数据包可以是大小为1M的数据包，第一发送时间记录为T1。第一测试数据包通过网络边界的带宽到达网闸适配器的接收端120后，接收端120可以向发送端110反馈接收到第一测试数据包的第一接收时间T2。

发送端110在接收到接收端120反馈的T2后，可以基于T1以及T2进行时间差检测。可选的，发送端110在检测到T1以及T2的时间差小于第一预设差值N1的情况下，可以在下一次发送第一测试数据包时，在原第一测试数据包的大小基础上，将原第一测试数据包的大小增大后再次进行测试，例如每次增大1M，直到发送端110可以确定出一个可以满足T2-T1＜N1条件时，最大的第一测试数据包的大小SIZE，确保网络边界带宽的吞吐量与延迟的平衡。至此，发送端110将该次的SIZE确定为单位数据块的大小P(需要指出是，本文中的P均是指单位数据块中的数据字段的大小)。可以理解的是，当发送端110所发送的第一测试数据包的大小大于P时，T2-T1≥N1。

可选的，上述的N1可以是1秒。

可选的，在确定了单位数据块的大小P后，发送端110可以在单次发送过程中，同时发送多个(例如X个)大小均为P的第二测试数据包(当然，发送端110在第一次进行并行传输量的探测时，可以将X的值设置为1)，并记录第二发送时间T3。相应的，发送端110也需要接收来自接收端120反馈的所述多个第二测试数据包到达所述接收端120的第二接收时间T4。

作为一种可选的实施方式，此处的第二发送时间T3可以是发送端110在发送包括多个第二测试数据包时，多个第二测试数据包完全发出时的发送时间，相应地，此处的第二接收时间T4可以为所述多个第二测试数据包完全到达接收端120时的接收时间。

作为另一种可选的实施方式，此处的第二发送时间T3还可以是发送端110在发送包括多个第二测试数据包时，多个第二测试数据包中最先发出的第二测试数据包的发送时间，相应地，此处的第二接收时间T4可以为所述多个第二测试数据包最先被接收端120接收到的接收时间。

发送端110在接收到接收端120反馈的T4后，可以基于T3以及T4进行时间差检测。可选的，发送端110在检测到T3以及T4的时间差小于第二预设差值N2的情况下，可以在下一次发送过程中，增大同时发送的第二测试数据包的个数后再次进行测试，直到发送端110可以确定出一个可以满足包回环延迟T4-T3＜N2条件时，发送端110单次发送过程中，同时发送的第二测试数据包的个数X_max最大。至此，发送端110将该次的X_max确定为并行传输量(每秒并行发送单位数据块的数量)。可以理解的是，当发送端110某次所发送的第二测试数据包的个数大于X_max时，T4-T3≥N2。

可选的，上述N2的值可以为3秒。

作为一种可选的实施方式，将发送的第二测试数据包的个数增大的方式可以是：每次将X的数量增大1个，也可以是每次将X的个数进行翻倍增加，当然还可以是其他未列举的方式，此处不再赘述。

上述描述了在步骤S120之前可以通过对网络边界的带宽的测试，进而确定单位数据块的大小以及并行传输量，不过需要说明的是，上述方式只是一种示例，在实际运用中，也可以是通过其它方式确定单位数据块的大小以及并行传输量，例如工作人员可以通过经验确定一个单位数据块的大小以及并行传输量，然后对网闸适配器进行配置；再例如，由其它网元确定单位数据块的大小和并行传输量并将确定的单位数据块的大小和并行传输量发送给网闸适配器。

在确定了单位数据块的大小后，发送端110可以将待发送文件按照单位数据块的大小处理为单位数据块。

可选的，发送端110在获取了待发送文件后，可以计算累计获取到的所述待发送文件的大小，然后发送端110将获取到的所述待发送文件按照所述预先确定的大小生成单位数据块。

作为一种可选的实施方式，发送端110可以在确定累计获取到的待发送文件的大小小于所述预先确定的大小P时，将累计获取到的待发送文件生成单位数据块。

在这种实施方式下，可选的，发送端110在本次所累计获取到的待发送文件可能只有一个，且该待发送文件的大小小于P。此时，发送端110将该待发送文件生成单位数据块。例如，将该待发送文件转换为二进制数据填充到单位数据块的数据字段，并封装上包头字段，得到单位数据块。此时包头字段中的该待发送文件的偏移量为0。

在这种实施方式下，可选的，发送端110在本次所累计获取到的待发送文件可能有多个，且多个中的前N个待发送文件的累计大小小于P。此时，发送端110在继续获取待发送文件时，发现第N+1个待发送文件的大小累加上前N个待发送文件的大小已经超过P，那么发送端110将前N个获取到的待发送文件生成单位数据块。例如，将该前N个待发送文件转换为二进制数据并进行拼接之后填充到单位数据块的数据字段，并封装上包头字段，得到单位数据块，此时包头字段中的每个待发送文件的偏移量为0。值得指出的是，为了简化处理，此处的第N+1个待发送文件将会被处理到另一个单位数据块内。

作为另一种可选的实施方式，发送端110可以在确定累计获取到的所述待发送文件的大小等于所述预先确定的大小P时，将所述待发送文件生成单位数据块。

在这种实施方式下，可选的，发送端110在本次所累计获取到的待发送文件可能只有一个，且该待发送文件的大小等于P。此时，发送端110将该待发送文件生成单位数据块。

在这种实施方式下，可选的，发送端110所累计获取到的待发送文件可能有多个，且多个中的前N个待发送文件的累计大小小于P。此时，发送端110在继续获取待发送文件时，发现第N+1个待发送文件的大小累加上前N个待发送文件的大小已经超过P，那么发送端110可以将获取到的前N个待发送文件以及第N+1个待发送文件的部分内容按照所述预先确定的大小生成单位数据块。例如，将该前N个待发送文件以及第N+1个待发送文件的部分内容转换为二进制数据并进行拼接之后填充到单位数据块的数据字段，并封装上包头字段，得到单位数据块，此时包头字段中的第N+1个待发送文件的偏移量用于指示该第N+1个待发送文件的部分内容在第N+1个待发送文件的中的偏移位置。值得指出的是，此处的第N+1个待发送文件的其中一部分被处理到本次形成的单位数据块内，第N+1个待发送文件的剩余部分内容将会被处理到下一个单位数据块内。此时在下一单位数据的包头字段中，第N+1个待发送文件的偏移量用于指示该剩余部分内容在该第N+1个待发送文件中的偏移位置。如果第N+1个待发送文件足够大，那么第N+1个待发送文件的剩余部分还可能将会被处理到下一个单位数据块内乃至于后续的其他单位数据块内。

作为另一种可选的实施方式，发送端110可在确定前N个所述待发送文件的大小大于所述预先确定的大小，且前N-1个所述待发送文件的大小小于所述预先确定的大小时，将前N-1个所述待发送文件以及第N个所述待发送文件的部分内容生成一个所述单位数据块，其中，N≥1。

可选的，当N＝1，即当发送端110在确定第一个接收到的待发送文件已经大于P时，发送端110可以将第一个待发送文件中与P的大小相同的部分按照所述预先确定的大小生成一个单位数据块，值得指出的是，此处的第一个待发送文件的其中一部分被处理到本次形成的单位数据块内，第一个待发送文件的剩余部分将会被处理到下一个单位数据块内，如果第一个待发送文件足够大，那么第一个待发送文件的剩余部分还可能将会被处理到下一个单位数据块内乃至于后续的其他单位数据块内。

可选的，所述发送端110还可以按照预先确定的大小将所述待发送文件转换为二进制数据并填充到所述数据字段。

前文中提及到，针对某一个单位数据块而言，包括包头字段(header)和数据字段，其中包头字段中的每个域的大小例如分别为(|ID(4字节)|文件长度(4字节)|Offset(4字节)|)。所述数据字段的内容即由组成该单位数据块的待发送文件转换为二进制数据后填充到所述数据字段内形成。所述包头字段所包括的ID可以用于表征该单位数据块所包括的待发送文件的编号。偏移量(Offset)用于指示该单位数据块包括的待发送文件的内容在整个该待发送文件中的偏移量。若一个单位数据块包括待发送文件的全部内容，则偏移量为0。若一个单位数据块包括待发送文件的部分内容，则该偏移量指示该部分内容在该待发送文件中的偏移位置。文件长度(length)则用于表征该单位数据块内的待发送文件的的长度。包头字段以便后续接收端120在接收到单位数据块后可以将单位数据块还原为原文件。

步骤S130：将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端。

在确定了并行传输量后，发送端110将与并行传输量相同数量的多个单位数据块发送给网闸适配器的接收端120。

以上的传输方法，因为对待发送文件进行统一格式的数据块处理，并以预先确定并行传输量进行传输，相较于现有技术中的FTP传输方式，不会传输文件时大时小，时快时慢，所以平衡了吞吐量和延迟，优化了现有的网络边界传输效率。

需要说明的是，在前文中所描述的对网络边界的检测过程中确定数据块的大小和并行传输量，由于单位数据块的大小以及并行传输量都是在保证了网络边界带宽的吞吐量与延迟的平衡的前提下得到的数据，因此，实现了对文件进行切割和网络传输地优化，也对网闸流量带宽进行了充分利用，进一步提高了网络边界的传输效率。

在文件传输过程中，因为网络条件会实时变化，所以网络还是可能会出现延迟的情况，为了进一步地实现对网闸带宽的充分利用，作为一种可选的实施方式，请参看图4，所述方法还可以包括：

步骤S140：获取所述单位数据块到达所述网闸适配器的接收端时的延迟时间；以及

步骤S150：基于所述延迟时间，动态调整所述并行传输量。

作为一种可选的实施方式，发送端110可以在执行步骤S130时，一并记录发送时间T5，然后获取步骤S130中的由接收端120接收到单位数据块时向发送端110反馈的接收时间T6。然后发送端110基于T6-T5计算得到延迟时间。

作为另一种可选的实施方式，延迟时间还可以是由接收端120计算得到，发送端110通过接收端120反馈的信息得到延迟时间。

在这种实施方式下，每个单位数据块的包头字段中还可以包括时间戳timestamp，使得接收端120可以在接收到单位数据块时，获取到该单位数据块在发送端110的发送时间T5。当然，接收端120在获取到单位数据块时，也会记录自身的接收时间T6，然后接收端120基于T6-T5计算得到延迟时间。

可选的，发送端110可以在检测到所述延迟时间大于预设延迟值时，主动减少所述并行传输量。

可选的，发送端110还可以在检测到所述延迟时间小于预设延迟值时，主动增加所述并行传输量。可选的，发送端110可以在每检测到所述延迟时间小于预设延迟值时，将并行传输量增加1，这样可以很好的适配网络边界的实时带宽。

可选的，预设延迟值可以设置为3秒。

本发明实施例提供的一种应用于网闸适配器的发送端110的一种数据传输方法，网闸适配器的发送端110把待发送文件按照预先确定的大小处理成格式统一的单位数据块，然后按照预先确定的并行传输量并行传输多个单位数据块到网闸适配器的接收端120，相较于现有技术中的FTP传输方式，不会传输文件时大时小，时快时慢，所以平衡了吞吐量和延迟，优化了现有的网络边界传输效率。此外，发送端120在文件传输过程中检测延迟时间，并可以基于延迟时间，根据网闸带宽的处理能力动态调整并行传输量，可以最大限度利用网闸带宽，提升了网络传输效率。

请参看图5，图5是本发明实施例提供的一种数据传输方法的流程图，所述方法从网闸适配器的接收端120的角度进行描述。所述方法包括：

步骤S210：接收所述网闸适配器的发送端按照预先确定的并行传输量发送的单位数据块。

其中，所述单位数据块的大小为预先确定的大小，所述单位数据块可以包括包头字段和数据字段，所述数据字段中填充有传输文件的数据信息。

步骤S220：将所述单位数据块还原为所述传输文件。

可选的，所述包头字段可以包括ID、length、以及offset，接收端120可以根据所述包头字段的信息将位于所述数据字段中的数据信息还原为所述传输文件。其中，接收端120在将数据字段中的数据信息还原为所述传输文件时，可以结合包头字段内所包括的ID、length、以及offset从数据字段中提取数据信息，从而实现对传输文件的还原过程。

可选的，请参看图6，所述方法还可以包括：

步骤S230：所述接收端接收所述单位数据块的发送时间。

可选的，在单位数据块的包头字段内可以包含单位数据块的发送时间，接收端120在接收到数据块的发送时间时，可以从包头字段内获取到发送时间。

步骤S240：所述接收端基于所述发送时间以及接收到所述单位数据块的接收时间计算得到延迟时间。

步骤S250：所述接收端将所述延迟时间发送给所述发送端。

可选的，所述接收端120也可以直接向所述发送端110发送接收到所述单位数据块的接收时间，以便发送端110可以基于发送时间以及接收时间计算得到延迟时间。

对应于图3提供的数据传输方法，请参看图7，本发明实施例还提供了一种数据传输装置400，该数据传输装置400应用于网闸适配器中的发送端110，可以包括：

获取模块410，用于获取待发送文件；

处理模块420，用于将所述待发送文件按照预先确定的大小处理为单位数据块；

传输模块430，用于将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端120。

可选的，所述单位数据块可以包括包头字段和数据字段，所述包头字段包括ID、文件长度以及偏移量，所述数据字段包括所述待发送文件对应的数据信息。

可选的，数据传输装置400还可以包括：调整模块，

所述获取模块，还用于获取所述单位数据块到达所述网闸适配器的接收端120时的延迟时间；

所述调整模块，用于基于所述延迟时间，动态调整所述并行传输量。

可选的，所述处理模块420，用于计算累计获取到的所述待发送文件的大小；还用于将所述待发送文件按照所述预先确定的大小生成单位数据块。

可选的，所述处理模块420，具体用于在确定获取到的前N个所述待发送文件的大小小于或等于所述预先确定的大小，且获取到的前N+1个所述待发送文件的大小大于所述预先确定的大小时，将前N个所述待发送文件生成一个所述单位数据块，其中，N≥1。

可选的，所述处理模块420，具体用于在确定前N个所述待发送文件的大小大于所述预先确定的大小，且前N-1个所述待发送文件的大小小于所述预先确定的大小时，将前N-1个所述待发送文件以及第N个所述待发送文件的部分内容生成一个所述单位数据块，其中，N≥1。

可选的，所述处理模块420，用于按照预先确定的大小将所述待发送文件转换为二进制数据并填充到所述数据字段。

可选的，所述装置还可以包括：检测模块，

用于对所述网闸适配器所在的网络边界的带宽进行检测，以确定所述单位数据块的大小以及所述并行传输量。

可选的，所述检测模块，用于发送第一测试数据包并记录第一发送时间；还用于接收所述网闸适配器的接收端120发送的所述第一测试数据包到达所述接收端120的第一接收时间；还用于将满足所述第一接收时间与所述第一发送时间之差小于第一预设差值时最大的第一测试数据包的大小确定为单位数据块的大小。

可选的，所述检测模块，用于所述发送端110每次发送所述单位数据块的大小相同的多个第二测试数据包，并记录第二发送时间；还用于接收所述接收端120发送的所述多个第二测试数据包到达所述接收端120的第二接收时间；还用于将满足所述多个第二测试数据包的所述第二接收时间与所述多个第二测试数据包的第二发送时间之差小于第二预设差值时，所发送的所述第二测试数据包的个数最大值确定为并行传输量。

可选的，所述处理模块420，用于将所述待发送文件进行透明压缩后，再按照预先确定的大小处理为单位数据块。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中图3-图4相应内容。

对应于图5提供的数据传输方法，请参看图8，本发明实施例还提供了一种数据传输装置500，该数据传输装置500应用于网闸适配器中的接收端120，可以包括：

接收模块510，用于接收所述网闸适配器的发送端110按照预先确定的并行传输量发送的单位数据块，所述单位数据块的大小为预先确定的大小。

还原模块520，用于将所述单位数据块还原为所述传输文件。

可选的，所述单位数据块包括包头字段和数据字段，所述数据字段中填充有传输文件的数据信息。

可选的，数据传输装置500还可以包括：计算模块以及发送模块，

所述接收模块510，还用于接收所述单位数据块的发送时间。可选的，所述接收时间可以包含在所述单位数据块的包头字段内。

所述计算模块，用于基于所述发送时间以及接收到所述单位数据块的接收时间计算得到延迟时间；

所述发送模块，用于将所述延迟时间发送给所述发送端110。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中图5-图6相应内容。

此外，本发明实施例还提供了一种网闸适配器，包括：发送端以及接收端。其中，发送端和接收端的结构可以如图2所示。

发送端，用于获取待发送文件；还用于将所述待发送文件按照预先确定的大小处理为单位数据块，所述单位数据块包括包头字段和数据字段，所述包头字段包括ID、文件长度以及偏移量，所述数据字段包括所述待发送文件对应的数据信息；还用于将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端。

接收端，用于接收与所述并行传输量相同数量的所述单位数据块；还用于根据所述包头字段的信息将位于所述数据字段中的数据信息还原为所述待发送文件。

关于发送端和接收端的具体实施过程请参考前述实施例，此处不再过多赘述。

此外，本发明实施例还提供了一种计算机可读存储介质，在该计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行本发明任一项实施方式所提供的数据传输方法。

此外，本发明实施例还提供了一种计算机程序，该计算机程序可以存储在云端或者本地的存储介质上，当所述计算机程序在计算机上运行时，使得所述计算机执行本发明任一项实施方式所提供的数据传输方法。

综上所述，本发明实施例提出的数据传输方法、装置、电子设备、网闸适配器，网闸适配器的发送端把待发送文件按照预先确定的大小处理成格式统一的单位数据块，然后按照预先确定的并行传输量并行传输多个单位数据块到网闸适配器的接收端，相较于现有技术中的FTP传输方式，不会传输文件时大时小，时快时慢，所以平衡了吞吐量和延迟，优化了现有的网络边界传输效率。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (19)

1.一种数据传输方法，其特征在于，应用于网闸适配器的发送端，所述方法包括：

所述发送端获取待发送文件；

所述发送端将所述待发送文件按照预先确定的大小处理为单位数据块；

所述发送端将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端。

2.根据权利要求1所述的方法，其特征在于，在所述发送端将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端之后，所述方法还包括：

所述发送端获取所述单位数据块到达所述网闸适配器的接收端时的延迟时间；

所述发送端基于所述延迟时间，动态调整所述并行传输量。

3.根据权利要求1或2所述的方法，其特征在于，所述发送端将所述待发送文件按照预先确定的大小处理为单位数据块，包括：

所述发送端计算累计获取到的所述待发送文件的大小；

所述发送端将获取到的所述待发送文件按照所述预先确定的大小生成单位数据块。

4.根据权利要求3所述的方法，其特征在于，所述发送端将获取到的所述待发送文件按照预先确定的大小处理为单位数据块，包括：

所述发送端在确定获取到的前N个所述待发送文件的大小小于或等于所述预先确定的大小，且获取到的前N+1个所述待发送文件的大小大于所述预先确定的大小时，将前N个所述待发送文件生成一个所述单位数据块，其中，N≥1。

5.根据权利要求3所述的方法，其特征在于，所述发送端将获取到的所述待发送文件按照预先确定的大小处理为单位数据块，包括：

所述发送端在确定前N个所述待发送文件的大小大于所述预先确定的大小，且前N-1个所述待发送文件的大小小于所述预先确定的大小时，将前N-1个所述待发送文件以及第N个所述待发送文件的部分内容生成一个所述单位数据块，其中，N≥1。

6.根据权利要求1或2所述的方法，其特征在于，所述发送端将所述待发送文件按照预先确定的大小处理为单位数据块，包括：

所述发送端按照所述预先确定的大小将所述待发送文件转换为二进制数据并填充到所述数据字段。

7.根据权利要求1或2所述的方法，其特征在于，在所述网闸适配器的发送端获取待发送文件之前，所述方法还包括：

所述发送端对所述网闸适配器所在的网络边界的带宽进行检测，以确定所述单位数据块的大小以及所述并行传输量。

8.根据权利要求7所述的方法，其特征在于，所述确定所述单位数据块的大小，包括：

所述发送端发送第一测试数据包，并记录第一发送时间；

所述发送端接收所述网闸适配器的接收端发送的所述第一测试数据包到达所述接收端的第一接收时间；

所述发送端将满足所述第一接收时间与所述第一发送时间之差小于第一预设差值时最大的第一测试数据包的大小确定为单位数据块的大小。

9.根据权利要求8所述的方法，其特征在于，所述确定所述并行传输量，包括：

所述发送端每次发送与所述单位数据块的大小相同的多个第二测试数据包，并记录该次发送所述多个第二测试数据包的第二发送时间；

所述发送端接收所述接收端发送的所述多个第二测试数据包到达所述接收端的第二接收时间；

所述发送端将满足所述多个第二测试数据包的所述第二接收时间与所述多个测试数据包的发送第二时间之差小于第二预设差值时，所发送的所述第二测试数据包的个数最大值确定为并行传输量。

10.根据权利要求1或2所述的方法，其特征在于，所述发送端将所述待发送文件按照预先确定的大小处理为单位数据块，包括：

在所述发送端将所述待发送文件进行透明压缩后，再按照预先确定的大小处理为单位数据块。

11.根据权利要求1或2所述的方法，其特征在于，所述单位数据块包括包头字段和数据字段，所述包头字段包括位于所述单位数据块内的待发送文件的标识、文件长度以及偏移量。

12.一种数据传输方法，其特征在于，应用于网闸适配器的接收端，所述方法包括：

所述接收端接收所述网闸适配器的发送端按照预先确定的并行传输量发送的单位数据块，所述单位数据块的大小为预先确定的大小；

所述接收端将所述单位数据块还原为所述传输文件。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

所述接收端接收所述单位数据块的发送时间；

所述接收端基于所述发送时间以及接收到所述单位数据块的接收时间计算得到延迟时间；

所述接收端将所述延迟时间发送给所述发送端。

14.一种数据传输装置，其特征在于，应用于网闸适配器的发送端，所述装置包括：

获取模块，用于获取待发送文件；

处理模块，用于将所述待发送文件按照预先确定的大小处理为单位数据块；

传输模块，用于将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端。

15.一种数据传输装置，其特征在于，应用于网闸适配器的接收端，所述装置包括：

接收模块，用于接收所述网闸适配器的发送端按照预先确定的并行传输量发送的单位数据块，所述单位数据块的大小为预先确定的大小；

还原模块，用于将所述单位数据块还原为传输文件。

16.一种电子设备，其特征在于，包括相互连接的存储器、处理器、发送器以及接收器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行权利要求1-11中任意一项所述的方法。

17.一种电子设备，其特征在于，包括相互连接的存储器、处理器、发送器以及接收器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行权利要求12-13中任意一项所述的方法。

18.一种网闸适配器，其特征在于，包括：

发送端，用于获取待发送文件；还用于将所述待发送文件按照预先确定的大小处理为单位数据块；还用于将与预先确定的并行传输量相同数量的所述单位数据块发送给所述网闸适配器的接收端；

接收端，用于接收与所述并行传输量相同数量的所述单位数据块；还用于将所述单位数据块还原为所述待发送文件。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-13中任意一项所述的方法。