CN110995697B - 一种大数据传输方法及系统 - Google Patents

Abstract

本发明公开了一种大数据传输方法及方法，包括以下步骤：发送端向接收端发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；发送端接收到接收端发送的确认接收反馈信息后，向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向接收端发送结束包；接收端接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求。本发明结合了基于UDP和TCP数据传输的优势，能够在保证可靠传输的基础上，增强数据传输的实时性。

Description

一种大数据传输方法及系统

技术领域

本发明属于大数据传输技术领域，尤其涉及一种大数据传输方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着网络带宽时延产品(BDP)的增加，通常的TCP协议变的低效。这是因为他的AIMD(additive increase multiplicative decrease)算法完全减少了TCP拥塞窗口，但不能快速的恢复可用带宽。理论上的流量分析表明TCP在BDP增加到很高的时候比较容易受包损失攻击。另外，继承自TCP拥塞控制制的不公平的RTT也成为在分布式数据密集程式中的严重问题。拥有不同RTT的并发TCP流将不公平地分享带宽。尽管在小的BDP网络中使用通常的TCP实现来相对平等的共享带宽，但在拥有大量BDP的网络中，通常的基于TCP的程式就必须承受严重的不公平的问题。这个RTT基于的算法严重的限制了其在广域网分布式计算的效率，例如：internet上的网格计算。一直到今天，对标准的TCP的提高一直都不能在高BDP环境中效率和公平性方面达到满意的程度(特别是基于RTT的问题)。例如：TCP的修改，RFC1423(高性能扩展)，RFC2018(SACK)、RFC2582(NewReno)、RFC2883(D-SACK)、和RFC2988(RTO计算)都或多或少的提高了点效率，但最根本的AIMD算法没有解决。HS TCP(RFC 3649)通过根本上改变TCP拥塞控制算法来在高BDP网络中获得高带宽利用率，但公平性问题仍然存在。考虑到上面的背景，需要一种在高BDP网络支持高性能数据传输的传输协议。

现有的网闸数据传输对于数据的传输大多数只支持TCP或者UDP协议。TCP协议虽然能保证数据的可靠传输，但它存在以下几个缺点：(1)TCP的数据确认机制会导致发送方重复发送一些已经被对方接收的数据，降低了带宽的有效利用率；(2)TCP协议的超时重传机制严格遵守RRT公平性，即到了RRT时间才会重传丢失的数据，当RRT较大时，就会导致数据的实时性降低，这对于一些对实时性要求较高的应用(比如流媒体、网络游戏)是不能忍受的，并且还会导致带宽得不到充分利用；(3)在P2P传输领域，由于TCP的NAT穿透成功率极低，用TCP做P2P数据传输几乎不可行。而UDP协议在保证数据传输可靠性方面存在劣势。

发明内容

为克服上述现有技术的不足，本发明提供了一种大数据传输方法及系统。该方法结合了基于UDP和TCP数据传输的优势，能够在保证可靠传输的基础上，增强数据传输的实时性。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种大数据传输方法，包括以下步骤：

发送端向接收端发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；

引入TCP协议的握手连接，发送端接收到接收端发送的确认接收反馈信息后，向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向接收端发送结束包；

引入TCP协议的数据校验，接收端接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求。

进一步地，各数据包相应的报文头还记录该数据包的数据大小，以及在待发送文件中的位置信息；接收端将接收到的数据包根据所述位置信息和大小还原文件。

进一步地，所述发送端维护协议数据区；发送端接收到接收端发送的确认接收反馈信息后，读取待发送文件的各数据包，按序号写入协议数据区，同时，读取各数据包相应的数据大小和在待发送文件中的位置信息，写入各数据包相应的报文头；将所述协议数据区所对应的数据包作为一个分组，将该分组内的数据包按序号依次向接收端传送。

进一步地，若待发送文件的数据包数量大于协议数据区所能容纳的数据包数量，超出的数据包将待当前分组的数据包发送完毕后，写入下一个分组进行发送。

进一步地，所述接收端维护动态数组，且所述动态数组的长度与协议数据区所能容纳的数据包数量一致；接收方将接收到的数据包，根据相应报文头中的位置信息和数据大小写入文件相应位置，并将该数据包的序号记录入动态数组。

进一步地，发送端和接收端均维护自动重发定时器；发送端/接收端每一次发送信息后，均启动相应的自动重发定时器，若设定时间间隔内未收到对端的信息，则将本次发送的信息进行重发，且重发次数加1，定时器归零重新计时；若在重发次数达到设定上限之前收到对端信息，则停止该自动重发定时器，重发次数归零；若重发次数达到上限仍未接收到对端的信息，则传输路径出现错误。

进一步地，接收端还维持一个请求重发定时器；接收端接收到结束包后，启动请求重发定时器，检索该分组内未收到的数据包，若全部接收到，则关闭定时器，进行下一个分组的传输；否则查找丢失数据包的序号并依次发送请求重发数据包，在规定时间内接收发送方重发的数据包，然后定时器归0。

一个或多个实施例提供了一种基于网闸的大数据传输系统，包括：

发送端，向接收端发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；接收到接收端发送的确认接收反馈信息后，向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向接收端发送结束包；

接收端，接收发送端发送的文件信息包，判断是否，并向发送端发送反馈信息；文件传输过程中，每接收一个数据包，均向发送端发送确认接收消息；接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求。

一个或多个实施例提供了一种基于网闸的大数据传输系统，包括：一个发送端和多个接收端；其中，

发送端实时监听是否收到文件传输请求，若收到，记录该请求相应的接收方信息、其请求的文件序号及其通信地址信息；

对于请求同一文件的多个接收端，发送方发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；

加入了拥塞控制算法，在大数据留时保证了数据的安全，实时，可靠，发送端接收接收端发送的反馈信息后，分别向确认接收该文件的各接收端按序号依次发送数据包，并且，每向某一接收端发送一个数据包后，待接收到该接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向该接收端发送结束包；

各接收端接收到结束包后，均根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求。

进一步地，传输过程中，发送方对于每个接收方的文件传输状态均进行记录，所述文件传输状态包括每个接收方对于数据包的反馈消息，以及每个接收方反馈的缺失数据包序号。

以上一个或多个技术方案存在以下有益效果：

本发明使用基于UDP的数据传输协议并拥有拥塞控制算法，来解决网闸在数据交换过程中支持大数据交换，安全，可靠,实时性的问题。

本发明在基于UDP协议的文件传输方法基础上，引入了基于TCP协议的握手连接、数据校验、超时重传等机制。首先，接收方在收到文件信息包时，要对是否接收进行确认，其次，对于接受到的每一数据包，均向发送端反馈确认接收的消息，发送端接到消息后发送下一数据包，再次接收方收到全部数据包时要进行确认，以便结束文件的传输过程。相较于仅基于TCP进行数据传输，本发明的方法不会重复发送已经被对方接收的数据；

本发明的超时重传机制保证了当网络延时较高时，也可以用于传输对实时性要求较高的数据，降低了带宽的有效利用率换取实时性，另外它不等ACK的到来就重传数据(原理为第n帧没收到ACK、而第n+1、n+2帧已收到ACK，则认为第n帧已经丢失)；

本发明的方法可以最大化的利用带宽；并且，当网络发生拥塞，重新计算新的带宽值，控制带宽值的下降幅度，以保证自身的抗网络抖动能力和带宽竞争力；能够同时实现一对多的文件传输。

本发明所述方法适合在cs方式/p2p方式下做实时性数据的可靠传输。可以在公网搭建tcp server来转发NAT穿透信令，在穿透之后，使用该协议来做可靠传输。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中一种大数据传输方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

TCP与UDP的区别如下：(1)TCP面向连接(如打电话要先拨号建立连接)；UDP是无连接的，即发送数据之前不需要建立连接；(2)TCP提供可靠的服务。也就是说，通过TCP连接传送的数据，无差错，不丢失，不重复，且按序到达；UDP尽最大努力交付，即不保证可靠交付；(3)TCP通过校验和，重传控制，序号标识，滑动窗口、确认应答实现可靠传输。如丢包时的重发控制，还可以对次序乱掉的分包进行顺序控制；(4)UDP具有较好的实时性，工作效率比TCP高，适用于对高速传输和实时性有较高的通信或广播通信。(5)每一条TCP连接只能是点到点的；UDP支持一对一，一对多，多对一和多对多的交互通信；(6)TCP对系统资源要求较多，UDP对系统资源要求较少。

实施例一

本实施例公开了一种大数据传输方法，包括以下步骤：

步骤1：发送端向接收端发送文件信息包，所述文件信息包中包括待发送文件的文件大小、拆分的数据包数量和数据包序号；发送端发完这个信息包，发送端阻塞，等待接收端的回复报文。

步骤2：接收端接收所述文件信息包，判断是否接收该文件，并向发送端发送反馈信息。

步骤3：发送端接收反馈信息，若该反馈信息为确认接收，则向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号；接收端接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求。

所有数据包均对应一报文头，所述报文头用于记录报文标识、发送序号、文件指针定位和报文中数据大小信息。本实施例中，UDP报文头包括2个字节的报文数据包标识，2个字节的发送序号，2个字节的文件指针定位和2个字节的报文数据包中数据大小信息。其中，数据包标识指明该数据包为文件数据包、确认包或者其它控制包，发送序号用来指明数据包的顺序信息，指针定位字节数据用来指明该数据包中数据被填写到文件的哪个位置，最后的大小信息也是用来向文件中读写数据时使用。

本实施例在数据包传输过程中引入可靠传输协议TCP协议，对于每个报文都要确认接受完才会对下一个报文进行处理。

发送端维护协议数据区，用于写入待发送文件的数据包；接收端维护动态数组，用于写入接收到的数据包序号，协议数据区所能容纳的数据包数量与动态数组的长度一致。

所述步骤3具体包括：

步骤3.1：发送端接收反馈信息，若该反馈信息为确认接收，则读取待发送文件的各数据包，按序号写入协议数据区，同时，读取各数据包相应的数据大小和在待发送文件中的位置信息，写入各数据包相应的报文头；

步骤3.2：将所述协议数据区所对应的数据包作为一个分组，将该分组内的数据包按序号依次向接收端传送，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，该分组内所有数据包发送完成后，向接收端发送分组结束包；

接收方将接收到的数据包，根据相应报文头中的位置信息和数据大小写入文件相应位置，并将该数据包的序号记录入动态数组；接收到分组结束包后，将动态数组中的序号与步骤2中接收到的文件信息包进行比对，查找是否存在未收到的数据包，若存在，向发送端发送补包请求。

其中，若待发送文件的数据包数量大于协议数据区所能容纳的数据包数量，超出的数据包将待当前分组的数据包发送完毕后，写入下一个分组进行发送。

通信发送方和接收方都维持一个自动重发定时器。发送端或接收端在每一次发送数据后均启动定时器，如果在一个特定时间间隔内，发送方没有收到来自接收方的任何确认消息，或者接收方没有收到发送方的通道检测报文，相应定时器归零，并将这段时间内发送的消息重发一遍，把记录重发次数变量加1。如果过在规定的时间内依然没有收到对方的任何确认信息，则重新将定时器归0，执行重发操作并将重发次数加1，如此循环，在重发次数未达到指定数据之前，直到收到对方的一个确认消息，然后停止自动重发定时器，将重发次数清0；否则证明传输路径出现问题。

接收端还维持一个请求重发定时器。接收方记录着已收到数据包的序列以及未收到的数据包序列。当接收到分组结束包时，接收方就会启动定时器，检索该分组内未收到的数据包，如果数据包已全部接收到，则关闭定时器，进行下一个分组的传输。否则查找丢失数据包的序号并依次发送请求重发数据包，在规定时间内接收发送方重发的数据包，然后定时器归0，重新检索未收到数据包，并按上述情况做出反应，如此循环往复，直到最终完成该分组的传输过程。

接收端接受到结束报文后按照一开始的文件信息包的信息和序列号做对比，把没有的序列号的报文的信息传回给发送端，要求重新发送这些报文。发送端接到信息以后重发丢失的数据包。直到接收端拿到的报文和信息匹配，接收端就可以发回一个“接受完毕”的报文。这样发送端接受端再进行下一组文件传输。

遵守本协议的接受端在接受这组报文的时候将遵守错序重排机制，来对收到的这组报文进行按序号排序，数据包发送期间可能序号不连续，接收过程只要保证序号从小到大即可。

实施例二

本实施例的目的是提供一种基于网闸的大数据传输系统。

一种基于网闸的大数据传输系统，包括：

发送端，向接收端发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；接收到接收端发送的确认接收反馈信息后，向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向接收端发送结束包；

接收端，接收发送端发送的文件信息包，判断是否，并向发送端发送反馈信息；文件传输过程中，每接收一个数据包，均向发送端发送确认接收消息；接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求。

该文件传输的过程参见具体实施方式一。

实施例三

本实施例的目的是提供一种基于网闸的大数据传输系统。

一种基于网闸的大数据传输系统，包括一个发送端和多个接收端，

发送端预先开辟存储空间，用于存储发送端当前已有的文件序号，以及可能对其中一个或多个文件有需求的多个接收端的通信地址信息；所述通信地址信息可以为ip地址端口号等，在此不做限定；

发送端被配置为：启动后实时监听是否收到文件请求，若收到，将该请求相应的接收方信息、其请求的文件序号及其通信地址信息存储入上述空间；

可选地，发送端向该接收方反馈当前服务器状态，例如，对于该请求方所请求的文件，目前的等待IP数量。

发送方将同一文件向多个接收端传输的过程如下：

对于请求同一文件的多个接收方，发送方发送文件信息包，所述文件信息包中包括待发送文件的文件大小、拆分的数据包数量和数据包序号；接收接收端发送的反馈信息，记录确认接收该文件的接收方；

其中，所述多个接收方可以是请求该文件的所有或者设定数量的接收方，例如设定同时传输的上限；

向确认接收该文件的接收方按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包。该文件传输的过程参见具体实施方式一。

发送方对于每个接收方的传输过程并行执行，并分别记录传输过程，包括记录每个接收方的反馈消息，以及每个接收方反馈的缺失数据包序号以便于重传。

该系统特别适用于短时间内有大量的ip请求某一文件的情形。

以上一个或多个实施例具有以下技术效果：

本发明使用基于UDP的数据传输协议并拥有拥塞控制算法，来解决网闸在数据交换过程中支持大数据交换，安全，可靠,实时性的问题。

本发明在基于UDP协议的文件传输方法基础上，引入了基于TCP协议的握手连接、数据校验、超时重传等机制。首先，接收方在收到文件信息包时，要对是否接收进行确认，其次，对于接受到的每一数据包，均向发送端反馈确认接收的消息，发送端接到消息后发送下一数据包，再次接收方收到全部数据包时要进行确认，以便结束文件的传输过程。相较于仅基于TCP进行数据传输，本发明的方法不会重复发送已经被对方接收的数据；

本发明的超时重传机制保证了当网络延时较高时，也可以用于传输对实时性要求较高的数据，降低了带宽的有效利用率换取实时性，另外它不等ACK的到来就重传数据(原理为第n帧没收到ACK、而第n+1、n+2帧已收到ACK，则认为第n帧已经丢失)；

本发明的方法可以最大化的利用带宽；并且，当网络发生拥塞，重新计算新的带宽值，控制带宽值的下降幅度，以保证自身的抗网络抖动能力和带宽竞争力；能够同时实现一对多的文件传输。

本发明所述方法适合在cs方式/p2p方式下做实时性数据的可靠传输。可以在公网搭建tcp server来转发NAT穿透信令，在穿透之后，使用该协议来做可靠传输。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种大数据传输方法，其特征在于，包括以下步骤：

发送端向接收端发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；

发送端接收到接收端发送的确认接收反馈信息后，向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向接收端发送结束包；

接收端接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求；

在数据包传输过程中引入可靠传输协议TCP协议，对于每个报文都要确认接受完才会对下一个报文进行处理，并且引入发送端维护协议数据区，用于写入待发送文件的数据包；接收端维护动态数组，用于写入接收到的数据包序号，协议数据区所能容纳的数据包数量与动态数组的长度一致；

所述接收端维护动态数组，且所述动态数组的长度与协议数据区所能容纳的数据包数量一致；接收方将接收到的数据包，根据相应报文头中的位置信息和数据大小写入文件相应位置，并将该数据包的序号记录入动态数组；

发送端和接收端均维护自动重发定时器；发送端/接收端每一次发送信息后，均启动相应的自动重发定时器，若设定时间间隔内未收到对端的信息，则将本次发送的信息进行重发，且重发次数加1，定时器归零重新计时；若在重发次数达到设定上限之前收到对端信息，则停止该自动重发定时器，重发次数归零；若重发次数达到上限仍未接收到对端的信息，则传输路径出现错误；

接收端还维持一个请求重发定时器；接收端接收到结束包后，启动请求重发定时器，检索该分组内未收到的数据包，若全部接收到，则关闭定时器，进行下一个分组的传输；否则查找丢失数据包的序号并依次发送请求重发数据包，在规定时间内接收发送方重发的数据包，然后定时器归0。

2.如权利要求1所述的一种大数据传输方法，其特征在于，各数据包相应的报文头还记录该数据包的数据大小，以及在待发送文件中的位置信息；接收端将接收到的数据包根据所述位置信息和大小还原文件。

3.如权利要求1所述的一种大数据传输方法，其特征在于，若待发送文件的数据包数量大于协议数据区所能容纳的数据包数量，超出的数据包将待当前分组的数据包发送完毕后，写入下一个分组进行发送。

4.一种基于网闸的大数据传输系统，其特征在于，包括：

发送端，向接收端发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；接收到接收端发送的确认接收反馈信息后，向接收端按序号依次发送数据包，并且，每发送一个数据包后，待接收到接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向接收端发送结束包；

接收端，接收发送端发送的文件信息包，判断是否，并向发送端发送反馈信息；文件传输过程中，每接收一个数据包，均向发送端发送确认接收消息；接收到结束包后，根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求；

在数据包传输过程中引入可靠传输协议TCP协议，对于每个报文都要确认接受完才会对下一个报文进行处理，并且引入发送端维护协议数据区，用于写入待发送文件的数据包；接收端维护动态数组，用于写入接收到的数据包序号，协议数据区所能容纳的数据包数量与动态数组的长度一致；

所述接收端维护动态数组，且所述动态数组的长度与协议数据区所能容纳的数据包数量一致；接收方将接收到的数据包，根据相应报文头中的位置信息和数据大小写入文件相应位置，并将该数据包的序号记录入动态数组；

发送端和接收端均维护自动重发定时器；发送端/接收端每一次发送信息后，均启动相应的自动重发定时器，若设定时间间隔内未收到对端的信息，则将本次发送的信息进行重发，且重发次数加1，定时器归零重新计时；若在重发次数达到设定上限之前收到对端信息，则停止该自动重发定时器，重发次数归零；若重发次数达到上限仍未接收到对端的信息，则传输路径出现错误；

接收端还维持一个请求重发定时器；接收端接收到结束包后，启动请求重发定时器，检索该分组内未收到的数据包，若全部接收到，则关闭定时器，进行下一个分组的传输；否则查找丢失数据包的序号并依次发送请求重发数据包，在规定时间内接收发送方重发的数据包，然后定时器归0。

5.一种基于网闸的大数据传输系统，其特征在于，包括：一个发送端和多个接收端；其中，

发送端实时监听是否收到文件传输请求，若收到，记录该请求相应的接收方信息、其请求的文件序号及其通信地址信息；

对于请求同一文件的多个接收端，发送方发送文件信息包，所述文件信息包中包括待发送文件的数据包数量和序号；

发送端接收接收端发送的反馈信息后，分别向确认接收该文件的各接收端按序号依次发送数据包，并且，每向某一接收端发送一个数据包后，待接收到该接收端发送的确认接收消息后发送下一个数据包，每个数据包均对应一个报文头，记录该数据包的序号，发送完成后，向该接收端发送结束包；

各接收端接收到结束包后，均根据接收到的数据包的报文头和文件信息包，确认是否存在未接受的数据包，若存在，向发送端发送补包请求；

在数据包传输过程中引入可靠传输协议TCP协议，对于每个报文都要确认接受完才会对下一个报文进行处理，并且引入发送端维护协议数据区，用于写入待发送文件的数据包；接收端维护动态数组，用于写入接收到的数据包序号，协议数据区所能容纳的数据包数量与动态数组的长度一致；

所述接收端维护动态数组，且所述动态数组的长度与协议数据区所能容纳的数据包数量一致；接收方将接收到的数据包，根据相应报文头中的位置信息和数据大小写入文件相应位置，并将该数据包的序号记录入动态数组；

发送端和接收端均维护自动重发定时器；发送端/接收端每一次发送信息后，均启动相应的自动重发定时器，若设定时间间隔内未收到对端的信息，则将本次发送的信息进行重发，且重发次数加1，定时器归零重新计时；若在重发次数达到设定上限之前收到对端信息，则停止该自动重发定时器，重发次数归零；若重发次数达到上限仍未接收到对端的信息，则传输路径出现错误；

接收端还维持一个请求重发定时器；接收端接收到结束包后，启动请求重发定时器，检索该分组内未收到的数据包，若全部接收到，则关闭定时器，进行下一个分组的传输；否则查找丢失数据包的序号并依次发送请求重发数据包，在规定时间内接收发送方重发的数据包，然后定时器归0。

6.如权利要求5所述的一种基于网闸的大数据传输系统，其特征在于，传输过程中，发送方对于每个接收方的文件传输状态均进行记录，所述文件传输状态包括每个接收方对于数据包的反馈消息，以及每个接收方反馈的缺失数据包序号。

Images