CN115766706A

CN115766706A - 一种网络数据传输方法及系统

Info

Publication number: CN115766706A
Application number: CN202211399376.5A
Authority: CN
Inventors: 陈颖达; 曾正光; 刘建辉
Original assignee: PACIFIC TELECOM CO Ltd
Current assignee: PACIFIC TELECOM CO Ltd
Priority date: 2022-11-09
Filing date: 2022-11-09
Publication date: 2023-03-07
Anticipated expiration: 2042-11-09
Also published as: CN115766706B

Abstract

本发明提出一种网络数据传输方法及系统，通过建立数据传输服务以和对端建立通信连接，当对端发送的数据包的通信类型标识符为文件类标识符时，从数据包中读取待传输文件的文件名信息、文件大小信息以及文件分段信息，根据待传输文件的文件分段信息预分配文件接收缓存空间，循环读取对端发送的文件传输数据包，从文件传输数据包中解析数据包序号以及文件分段序号，根据数据包序号将文件传输数据包中的文件数据写入文件接收缓存空间的对应位置，当文件接收缓存空间写满后，根据文件分段序号将文件接收缓存空间内的文件数据写入目标存储空间，向对端发送反馈信息以使对端继续或者结束待传输文件的传输，可以实现网络数据的高速传输。

Description

一种网络数据传输方法及系统

技术领域

本发明涉及互联网技术领域，特别涉及一种网络数据传输方法及系统。

背景技术

随着时代的发展，移动办公、在家办公和异地办公等利用互联网进行远程办公的模式逐渐成为了越来越多的公司的重要工作模式。远程办公不可避免地经常要与远程设备例如同事的手机设备或者公司的办公电脑等进行文件传输。然而绝大多数的办公电脑、个人电脑以及手机等终端设备在互联网上都没有公网IP(Internet Protocol，网际互连协议)，任意两台不在同一局域网下的设备即使均接入了互联网，需要相互之间传输文件时，都需要借助于具有公网IP的第三方服务器提供的文件传输服务来实现，而限于三方服务器的带宽、性能以及网络状况或者三方服务器对客户端的带宽限制，传输数据的双方即便使用的是最为先进的5G网络或者万兆光纤宽带网络等，其网络带宽优势难以得到充分利用。

发明内容

本发明正是基于上述问题，提出了一种网络数据传输方法及系统，可以实现网络数据的高速传输。

有鉴于此，本发明的第一方面提出了一种网络数据传输方法，包括：

初始化数据传输服务；

根据对端发送的连接请求与所述对端建立通信连接；

接收对端发送的数据包，所述数据包中包括通信类型标识符；

当所述通信类型标识符为文件传输类标识符时，从数据包中读取待传输文件信息，所述待传输文件信息包括所述待传输文件的文件名信息、文件大小信息以及文件分段信息；

根据所述待传输文件的文件分段信息预分配文件接收缓存空间；

循环读取对端发送的文件传输数据包；

从所述文件传输数据包中解析数据包序号以及文件分段序号；

根据所述数据包序号将所述文件传输数据包中的文件数据写入所述文件接收缓存空间的对应位置；

当所述文件接收缓存空间写满后，根据所述文件分段序号将所述文件接收缓存空间内的文件数据写入目标存储空间。

进一步的，在上述的网络数据传输方法中，所述初始化数据传输服务的步骤具体包括：

以绑定模式启动数据传输服务；

向预设的临时信息发布通道发布数据传输服务地址以及数据传输服务端口；

监听所述数据传输服务端口的连接请求。

进一步的，在上述的网络数据传输方法中，携带所述文件传输类标识符的数据包包括文件信息数据包和文件传输数据包，所述文件信息数据包包括所述待传输文件信息，在从数据包中读取待传输文件信息的步骤之后，还包括：

向所述对端向所述对端发送反馈信息以使所述对端开始发送所述文件传输数据包。

进一步的，在上述的网络数据传输方法中，所述通信类型标识符在所述数据包报头的选项字段占1个标识位，用于区分通信消息类数据包和文件传输类数据包。

进一步的，在上述的网络数据传输方法中，所述文件分段序号在所述数据包报头的选项字段占n个标识位，所述待传输文件的最大分段数为2ⁿ，其中n<(40×8-1),所述待传输文件小于2ⁿ×4Giga Byte。

本发明的第二方面提出了一种网络数据传输系统，包括：

初始化模块，用于初始化数据传输服务；

通信连接建立模块，用于根据对端发送的连接请求与所述对端建立通信连接；

数据包接收模块，用于接收对端发送的数据包，所述数据包中包括通信类型标识符；

文件信息读取模块，用于当所述通信类型标识符为文件传输类标识符时，从数据包中读取待传输文件信息，所述待传输文件信息包括所述待传输文件的文件名信息、文件大小信息以及文件分段信息；

缓存空间分配模块，用于根据所述待传输文件的文件分段信息预分配文件接收缓存空间；

循环读取模块，用于循环读取对端发送的文件传输数据包；

数据包角析模块，用于从所述文件传输数据包中解析数据包序号以及文件分段序号；

缓存数据写入模块，用于根据所述数据包序号将所述文件传输数据包中的文件数据写入所述文件接收缓存空间的对应位置；

分段数据写入模块，用于当所述文件接收缓存空间写满后，根据所述文件分段序号将所述文件接收缓存空间内的文件数据写入目标存储空间。

进一步的，在上述的网络数据传输系统中，所述初始化模块包括：

服务启动子模块，用于以绑定模式启动数据传输服务；

地址发布子模块，用于向预设的临时信息发布通道发布数据传输服务地址以及数据传输服务端口；

连接监听子模块，用于监听所述数据传输服务端口的连接请求。

进一步的，在上述的网络数据传输系统中，携带所述文件传输类标识符的数据包包括文件信息数据包和文件传输数据包，所述反馈信息发送模块还用于向所述对端向所述对端发送反馈信息以使所述对端开始发送所述文件传输数据包。

进一步的，在上述的网络数据传输系统中，所述通信类型标识符在所述数据包报头的选项字段占1个标识位，用于区分通信消息类数据包和文件传输类数据包。

进一步的，在上述的网络数据传输系统中，所述文件分段序号在所述数据包报头的选项字段占n个标识位，所述待传输文件的最大分段数为2ⁿ，其中n<(40×8-1),所述待传输文件小于2ⁿ×4Giga Byte。

本发明提出一种网络数据传输方法及系统，通过建立数据传输服务以和对端建立通信连接，当对端发送的数据包的通信类型标识符为文件传输类标识符时，从数据包中读取待传输文件的文件名信息、文件大小信息以及文件分段信息，根据待传输文件的文件分段信息预分配文件接收缓存空间，循环读取对端发送的文件传输数据包，从文件传输数据包中解析数据包序号以及文件分段序号，根据数据包序号将文件传输数据包中的文件数据写入文件接收缓存空间的对应位置，当文件接收缓存空间写满后，根据文件分段序号将文件接收缓存空间内的文件数据写入目标存储空间，向对端发送反馈信息以使对端继续或者结束待传输文件的传输，可以实现网络数据的高速传输。

附图说明

图1是本发明一个实施例提供的一种网络数据传输方法的示意流程图；

图2是本发明一个实施例提供的一各数据传输服务初始化方法的示意流程图；

图3是本发明一个实施例提供的一种网络数据传输系统的示意框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本说明书的描述中，术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

下面参照图1至图3来描述根据本发明一些实施方式提供的一种网络数据传输方法及系统。

如图1所示，本发明的第一方面提出了一种网络数据传输方法，包括：

S101：初始化数据传输服务。在本发明的技术方案中，在需要传输文件的其中一个设备上创建一个用于实现数据传输的服务进程，这个服务进程主要有两个方面的作用，一个是向对端设备提供本端设备的通信地址，另一个作用是在对端使用所提供的通信地址与本端建立通信连接后实现双方的数据传输。

S102：根据对端发送的连接请求与所述对端建立通信连接。具体的，在本发明的技术方案中，通信双方采用TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议)协议通过三次握手建立通信连接。在第一次握手过程中，对端发送连接请求的握手数据包，该数据包的标记位为1，数据包序号为x，对端进入等待连接状态；在第二次握手过程中，本端收到对端请求连接的数据包后，确认该数据包的标记位为1后，向对端返回一个标记位为1，确认号为x+1，数据包序号为y的握手数据包，本端进入等待连接状态；在第三次握手过程中，对端接收到本端的握手数据包后，向本端发送一个确认号为y+1的握手数据包，两端均进入连接成功状态。

S103：接收对端发送的数据包，所述数据包中包括通信类型标识符。在两端设备成功建立通信连接后，即可相互发送数据，以下以对端为发送端，本端为接收端进行举例，本发明的后续实施例中，提到对端均指的是发送端，提到本端均指的是接收端。在本发明的技术方案中，通信双方向对方发送的数据包包括通信类型标识符，用于区分数据包是通信消息类数据包还是文件传输类数据包，通信消息类数据包用于在通信双方之间传递文本数据以及emoji(表情符号)数据，文件传输类数据包用于在通信双方之间传递转换为二进制数据流的文件数据，图片、音频、视频等多媒体数据在发送端转换为对应文件类型后通过文件传输类数据包进行传输。

S104：当所述通信类型标识符为文件传输类标识符时，从数据包中读取待传输文件信息，所述待传输文件信息包括所述待传输文件的文件名信息、文件大小信息以及文件分段信息。在本发明的技术方案中，对端需要向本端传输文件时，先行向本端发送一个文件信息数据包，所述文件信息数据包携带待传输文件的文件名信息、文件大小信息以及文件分段信息，报文数据段以指定的标识符开头以表示该数据包为携带待传输文件信息的数据包，本端在接收到所述文件信息数据包后，向对端返回一个确认数据包以使对端确定本端接收到所述文件信息数据包后开始向本端传输所述待传输文件的二进制数据。由于TCP报文的数据包序号位有限使得待传输文件的大小无法超过4G，在本发明的技术方案中，对端在开始传输之前，将大于4G的待传输文件分割为多个不大于4G的分段。在本发明的一些实施方式中，对端顺序对每一个分段进行传输，每传输完一个文件分段后，再执行下一个文件分段的传输。在本发明的另一些实施方式中，对端在每一个文件传输数据包中写入文件分段序号，使得本端可以根据文件传输数据包中的所述文件分段序号识别其所属的文件分段，从而实现多个文件分段同时传输以充分利用两端的网络带宽。

S105：根据所述待传输文件的文件分段信息预分配文件接收缓存空间。在接收到所述文件信息数据包后，本端在内存中开辟一个或多个不大于4G的缓存空间用于接收对端传输过来的二进制文件数据。进一步的，在传输过程中，对端当前传输的文件分段封装成多个文件传输数据包，在同一个文件分段内，每一个文件传输数据包对应一个唯一的数据包序号，通过多个文件传输线程传输这些文件传输数据包以有效利用带宽。

S106：循环读取对端发送的文件传输数据包。在所述待传输文件传输完毕之前，本端通过从线程池中调用多个文件数据接收线程循环接收对端发来的文件传输数据包，所述文件信息数据包中的文件分段信息包含每个文件分段被封装后的文件传输数据包的数量信息，本端将所述文件传输数据包的序号按照所述文件数据接收线程的数量进行分配，使得每一个所述文件数据接收线程对应固定的一组文件传输数据包的序号，从而可以在成功接收一个文件传输数据包后，在向所述对端发送的反馈数据包中指定需要接收的下一个文件传输数据包的序号。

S107：从所述文件传输数据包中解析数据包序号以及文件分段序号。在该实施方式中，进一步的，所述文件信息数据包中包含对端所采用的数据传输模式信息，当对端采用顺序传输模式即同时仅传输同一个文件分段的数据包时，本端仅开辟一个文件接收缓存空间，当对端采用并行传输模式即多个文件分段的数据包并行传输时，本端开辟对应同时传输的文件分段数量的缓存空间。

S108：根据所述数据包序号将所述文件传输数据包中的文件数据写入所述文件接收缓存空间的对应位置。由于每个文件传输数据包具有唯一的数据包序号，发送端和接收端对于同一个文件分段内的数据包可以不用按顺序进行传输，根据所述文件传输数据包的文件分段序号可以确定其对应的缓存空间，根据所述文件传输数据包的数据包序号可以确定其应当写入的所述缓存空间对应的地址。

S109：当所述文件接收缓存空间写满后，根据所述文件分段序号将所述文件接收缓存空间内的文件数据写入目标存储空间。每一个缓存空间写满后，表示对应的文件分段已经接收完毕，可以将已经接收到的数据写入磁盘空间中以清空当前缓存空间用于接收下一个文件分段的数据。本端的文件数据接收线程在完成每一个文件传输数据包的接收后，均会向对端发送一个包含下一个需要接收的文件传输数据包序号的反馈数据包以请求下一个文件传输数据包。当任一文件数据接收线程所分配的数据包序号均传输完毕后，向对端请求下一个文件分段的文件传输数据包，当不存在未传输的文件分段时，将该线程回收到线程池以等待在下一个传输任务中被调用。

如图2所示，在上述的网络数据传输方法中，所述初始化数据传输服务的步骤具体包括：

S201：以绑定模式启动数据传输服务。在本发明的技术方案中，将文件传输服务与当前调用并启动该文件传输服务的应用程序进行绑定，以使当前应用程序被关闭后销毁该数据传输服务进程，避免该数据传输服务进程在无需传输文件时长时间占用后台资源。

S202：向预设的临时信息发布通道发布数据传输服务地址以及数据传输服务端口。示例性的，所述预设的临时信息发布通道为预先配置的邮箱地址，本端的数据传输服务程序的配置信息中预先配置有用于发布所述数据传输服务地址和所述数据传输服务端口的地址发布邮箱账号的发送邮件服务器地址、端口、协议类型以及鉴权信息，通过所述地址发布邮箱账号向预设的地址接收邮箱账号发送本端的数据传输服务地址和数据传输服务端口。同样的，对端预先配置有用于接收所述数据传输服务地址和所述数据传输服务端口的地址接收邮箱账号的接收邮件服务器地址、端口、协议类型以及鉴权信息，从而可以从所述地址接收邮箱账号获取到本端的数据传输服务地址和数据传输服务端口。优选的，所述数据传输服务地址为本端的IPV6(Internet Protocol Version 6，互联网协议第6版)地址，所述数据传输服务端口为本端预设的用于提供数据传输服务的端口。由于IPV6地址为公网IP地址，对端在获取本端的IPV6地址以及相应端口后，即可直接与本端建立通信连接，无需经过第三方服务器。进一步的，所述数据传输服务周期性检测本端的IPV6地址，在本端的IPV6地址发生变化时，再次向预设的临时信息发布通道发布数据传输服务地址以及数据传输服务端口。同样的，对端在与本端建立通信连接后，也周期性地检测所述地址接收邮箱账号中的地址发布邮件，以在本端更新IPV6地址时可以及时进行重新连接。

S203：监听所述数据传输服务端口的连接请求。本端在启动所述数据传输服务后，所述数据传输服务实时监听所述数据传输服务端口，以便在对端发起连接请求时与对端建立通信连接。

向所述对端向所述对端发送反馈信息以使所述对端开始发送所述文件传输数据包。在该实施方式中，发送端在传输文件数据前，先将待传输文件的文件名信息、文件大小信息以及文件分段信息通过一个文件信息数据包发送给接收端，在收到接收端确认所述文件信息数据包接收成功的反馈信息后，再开始向接收端发送所述待传输文件的二进制数据。

进一步的，在上述的网络数据传输方法中，所述通信类型标识符在所述数据包报头的选项字段占1个标识位，用于区分通信消息类数据包和文件传输类数据包。示例性的，所述通信类型标识符为0时表示所述数据包为通信消息数据包，所述通信类型标识符为1时表示所述数据包为文件传输类数据包。

进一步的，在上述的网络数据传输方法中，所述文件分段序号在所述数据包报头的选项字段占n个标识位，所述待传输文件的最大分段数为2ⁿ，其中n<(40×8-1),所述待传输文件小于2ⁿ×4Giga Byte。优选的，所述通信类型标识符与所述文件分段序号默认被配置为在所述选项字段中共占用1个字节的大小，其中所述通信类型标识符被配置在首位，剩余7位用于存储文件传输数据包的文件分段序号，即n＝7，所述待传输文件的最大分段数为128，所述待传输文件小于512G。进一步的，所述文件信息数据包包括包括所述文件分段序号在所述数据包报头的选项字段所占标识位数量，当所述待传输文件大于512G时，所述对端通过修改所述文件信息数据包中所述文件分段序号在所述数据包报头的选项字段所占标识位数量值以匹配所述待传输文件的大小。

如图3所示，本发明的第二方面提出了一种网络数据传输系统，包括：

初始化模块，用于初始化数据传输服务；

循环读取模块，用于循环读取对端发送的文件传输数据包；

服务启动子模块，用于以绑定模式启动数据传输服务；

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种网络数据传输方法，其特征在于，包括：

初始化数据传输服务；

根据对端发送的连接请求与所述对端建立通信连接；

循环读取对端发送的文件传输数据包；

2.根据权利要求1所述的网络数据传输方法，其特征在于，所述初始化数据传输服务的步骤具体包括：

以绑定模式启动数据传输服务；

监听所述数据传输服务端口的连接请求。

3.根据权利要求1所述的网络数据传输方法，其特征在于，携带所述文件传输类标识符的数据包包括文件信息数据包和文件传输数据包，所述文件信息数据包包括所述待传输文件信息，在从数据包中读取待传输文件信息的步骤之后，还包括：

4.根据权利要求1到3所述的网络数据传输方法，其特征在于，所述通信类型标识符在所述数据包报头的选项字段占1个标识位，用于区分通信消息类数据包和文件传输类数据包。

5.根据权利要求4所述的网络数据传输方法，其特征在于，所述文件分段序号在所述数据包报头的选项字段占n个标识位，所述待传输文件的最大分段数为2ⁿ，其中n<(40×8-1),所述待传输文件小于2ⁿ×4Giga Byte。

6.一种网络数据传输系统，其特征在于，包括：

初始化模块，用于初始化数据传输服务；

循环读取模块，用于循环读取对端发送的文件传输数据包；

7.根据权利要求6所述的网络数据传输系统，其特征在于，所述初始化模块包括：

服务启动子模块，用于以绑定模式启动数据传输服务；

8.根据权利要求6所述的网络数据传输系统，其特征在于，携带所述文件传输类标识符的数据包包括文件信息数据包和文件传输数据包，所述反馈信息发送模块还用于向所述对端向所述对端发送反馈信息以使所述对端开始发送所述文件传输数据包。

9.根据权利要求6至8所述的网络数据传输系统，其特征在于，所述通信类型标识符在所述数据包报头的选项字段占1个标识位，用于区分通信消息类数据包和文件传输类数据包。

10.根据权利要求8或9所述的网络数据传输系统，其特征在于，所述文件分段序号在所述数据包报头的选项字段占n个标识位，所述待传输文件的最大分段数为2ⁿ，其中n<(40×8-1),所述待传输文件小于2ⁿ×4Giga Byte。