CN110995697B - 一种大数据传输方法及系统 - Google Patents
一种大数据传输方法及系统 Download PDFInfo
- Publication number
- CN110995697B CN110995697B CN201911203697.1A CN201911203697A CN110995697B CN 110995697 B CN110995697 B CN 110995697B CN 201911203697 A CN201911203697 A CN 201911203697A CN 110995697 B CN110995697 B CN 110995697B
- Authority
- CN
- China
- Prior art keywords
- packet
- receiving
- data
- data packet
- sending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000001502 supplementing effect Effects 0.000 claims abstract description 10
- 238000012790 confirmation Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims 3
- 230000007246 mechanism Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000013524 data verification Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/09—Mapping addresses
- H04L61/25—Mapping addresses of the same type
- H04L61/2503—Translation of Internet protocol [IP] addresses
- H04L61/2521—Translation architectures other than single NAT servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Abstract
本发明公开了一种大数据传输方法及方法,包括以下步骤:发送端向接收端发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;发送端接收到接收端发送的确认接收反馈信息后,向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向接收端发送结束包;接收端接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求。本发明结合了基于UDP和TCP数据传输的优势,能够在保证可靠传输的基础上,增强数据传输的实时性。
Description
技术领域
本发明属于大数据传输技术领域,尤其涉及一种大数据传输方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
随着网络带宽时延产品(BDP)的增加,通常的TCP协议变的低效。这是因为他的AIMD(additive increase multiplicative decrease)算法完全减少了TCP拥塞窗口,但不能快速的恢复可用带宽。理论上的流量分析表明TCP在BDP增加到很高的时候比较容易受包损失攻击。另外,继承自TCP拥塞控制制的不公平的RTT也成为在分布式数据密集程式中的严重问题。拥有不同RTT的并发TCP流将不公平地分享带宽。尽管在小的BDP网络中使用通常的TCP实现来相对平等的共享带宽,但在拥有大量BDP的网络中,通常的基于TCP的程式就必须承受严重的不公平的问题。这个RTT基于的算法严重的限制了其在广域网分布式计算的效率,例如:internet上的网格计算。一直到今天,对标准的TCP的提高一直都不能在高BDP环境中效率和公平性方面达到满意的程度(特别是基于RTT的问题)。例如:TCP的修改,RFC1423(高性能扩展),RFC2018(SACK)、RFC2582(NewReno)、RFC2883(D-SACK)、和RFC2988(RTO计算)都或多或少的提高了点效率,但最根本的AIMD算法没有解决。HS TCP(RFC 3649)通过根本上改变TCP拥塞控制算法来在高BDP网络中获得高带宽利用率,但公平性问题仍然存在。考虑到上面的背景,需要一种在高BDP网络支持高性能数据传输的传输协议。
现有的网闸数据传输对于数据的传输大多数只支持TCP或者UDP协议。TCP协议虽然能保证数据的可靠传输,但它存在以下几个缺点:(1)TCP的数据确认机制会导致发送方重复发送一些已经被对方接收的数据,降低了带宽的有效利用率;(2)TCP协议的超时重传机制严格遵守RRT公平性,即到了RRT时间才会重传丢失的数据,当RRT较大时,就会导致数据的实时性降低,这对于一些对实时性要求较高的应用(比如流媒体、网络游戏)是不能忍受的,并且还会导致带宽得不到充分利用;(3)在P2P传输领域,由于TCP的NAT穿透成功率极低,用TCP做P2P数据传输几乎不可行。而UDP协议在保证数据传输可靠性方面存在劣势。
发明内容
为克服上述现有技术的不足,本发明提供了一种大数据传输方法及系统。该方法结合了基于UDP和TCP数据传输的优势,能够在保证可靠传输的基础上,增强数据传输的实时性。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
一种大数据传输方法,包括以下步骤:
发送端向接收端发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;
引入TCP协议的握手连接,发送端接收到接收端发送的确认接收反馈信息后,向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向接收端发送结束包;
引入TCP协议的数据校验,接收端接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求。
进一步地,各数据包相应的报文头还记录该数据包的数据大小,以及在待发送文件中的位置信息;接收端将接收到的数据包根据所述位置信息和大小还原文件。
进一步地,所述发送端维护协议数据区;发送端接收到接收端发送的确认接收反馈信息后,读取待发送文件的各数据包,按序号写入协议数据区,同时,读取各数据包相应的数据大小和在待发送文件中的位置信息,写入各数据包相应的报文头;将所述协议数据区所对应的数据包作为一个分组,将该分组内的数据包按序号依次向接收端传送。
进一步地,若待发送文件的数据包数量大于协议数据区所能容纳的数据包数量,超出的数据包将待当前分组的数据包发送完毕后,写入下一个分组进行发送。
进一步地,所述接收端维护动态数组,且所述动态数组的长度与协议数据区所能容纳的数据包数量一致;接收方将接收到的数据包,根据相应报文头中的位置信息和数据大小写入文件相应位置,并将该数据包的序号记录入动态数组。
进一步地,发送端和接收端均维护自动重发定时器;发送端/接收端每一次发送信息后,均启动相应的自动重发定时器,若设定时间间隔内未收到对端的信息,则将本次发送的信息进行重发,且重发次数加1,定时器归零重新计时;若在重发次数达到设定上限之前收到对端信息,则停止该自动重发定时器,重发次数归零;若重发次数达到上限仍未接收到对端的信息,则传输路径出现错误。
进一步地,接收端还维持一个请求重发定时器;接收端接收到结束包后,启动请求重发定时器,检索该分组内未收到的数据包,若全部接收到,则关闭定时器,进行下一个分组的传输;否则查找丢失数据包的序号并依次发送请求重发数据包,在规定时间内接收发送方重发的数据包,然后定时器归0。
一个或多个实施例提供了一种基于网闸的大数据传输系统,包括:
发送端,向接收端发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;接收到接收端发送的确认接收反馈信息后,向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向接收端发送结束包;
接收端,接收发送端发送的文件信息包,判断是否,并向发送端发送反馈信息;文件传输过程中,每接收一个数据包,均向发送端发送确认接收消息;接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求。
一个或多个实施例提供了一种基于网闸的大数据传输系统,包括:一个发送端和多个接收端;其中,
发送端实时监听是否收到文件传输请求,若收到,记录该请求相应的接收方信息、其请求的文件序号及其通信地址信息;
对于请求同一文件的多个接收端,发送方发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;
加入了拥塞控制算法,在大数据留时保证了数据的安全,实时,可靠,发送端接收接收端发送的反馈信息后,分别向确认接收该文件的各接收端按序号依次发送数据包,并且,每向某一接收端发送一个数据包后,待接收到该接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向该接收端发送结束包;
各接收端接收到结束包后,均根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求。
进一步地,传输过程中,发送方对于每个接收方的文件传输状态均进行记录,所述文件传输状态包括每个接收方对于数据包的反馈消息,以及每个接收方反馈的缺失数据包序号。
以上一个或多个技术方案存在以下有益效果:
本发明使用基于UDP的数据传输协议并拥有拥塞控制算法,来解决网闸在数据交换过程中支持大数据交换,安全,可靠,实时性的问题。
本发明在基于UDP协议的文件传输方法基础上,引入了基于TCP协议的握手连接、数据校验、超时重传等机制。首先,接收方在收到文件信息包时,要对是否接收进行确认,其次,对于接受到的每一数据包,均向发送端反馈确认接收的消息,发送端接到消息后发送下一数据包,再次接收方收到全部数据包时要进行确认,以便结束文件的传输过程。相较于仅基于TCP进行数据传输,本发明的方法不会重复发送已经被对方接收的数据;
本发明的超时重传机制保证了当网络延时较高时,也可以用于传输对实时性要求较高的数据,降低了带宽的有效利用率换取实时性,另外它不等ACK的到来就重传数据(原理为第n帧没收到ACK、而第n+1、n+2帧已收到ACK,则认为第n帧已经丢失);
本发明的方法可以最大化的利用带宽;并且,当网络发生拥塞,重新计算新的带宽值,控制带宽值的下降幅度,以保证自身的抗网络抖动能力和带宽竞争力;能够同时实现一对多的文件传输。
本发明所述方法适合在cs方式/p2p方式下做实时性数据的可靠传输。可以在公网搭建tcp server来转发NAT穿透信令,在穿透之后,使用该协议来做可靠传输。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例中一种大数据传输方法流程图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
TCP与UDP的区别如下:(1)TCP面向连接(如打电话要先拨号建立连接);UDP是无连接的,即发送数据之前不需要建立连接;(2)TCP提供可靠的服务。也就是说,通过TCP连接传送的数据,无差错,不丢失,不重复,且按序到达;UDP尽最大努力交付,即不保证可靠交付;(3)TCP通过校验和,重传控制,序号标识,滑动窗口、确认应答实现可靠传输。如丢包时的重发控制,还可以对次序乱掉的分包进行顺序控制;(4)UDP具有较好的实时性,工作效率比TCP高,适用于对高速传输和实时性有较高的通信或广播通信。(5)每一条TCP连接只能是点到点的;UDP支持一对一,一对多,多对一和多对多的交互通信;(6)TCP对系统资源要求较多,UDP对系统资源要求较少。
实施例一
本实施例公开了一种大数据传输方法,包括以下步骤:
步骤1:发送端向接收端发送文件信息包,所述文件信息包中包括待发送文件的文件大小、拆分的数据包数量和数据包序号;发送端发完这个信息包,发送端阻塞,等待接收端的回复报文。
步骤2:接收端接收所述文件信息包,判断是否接收该文件,并向发送端发送反馈信息。
步骤3:发送端接收反馈信息,若该反馈信息为确认接收,则向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号;接收端接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求。
所有数据包均对应一报文头,所述报文头用于记录报文标识、发送序号、文件指针定位和报文中数据大小信息。本实施例中,UDP报文头包括2个字节的报文数据包标识,2个字节的发送序号,2个字节的文件指针定位和2个字节的报文数据包中数据大小信息。其中,数据包标识指明该数据包为文件数据包、确认包或者其它控制包,发送序号用来指明数据包的顺序信息,指针定位字节数据用来指明该数据包中数据被填写到文件的哪个位置,最后的大小信息也是用来向文件中读写数据时使用。
本实施例在数据包传输过程中引入可靠传输协议TCP协议,对于每个报文都要确认接受完才会对下一个报文进行处理。
发送端维护协议数据区,用于写入待发送文件的数据包;接收端维护动态数组,用于写入接收到的数据包序号,协议数据区所能容纳的数据包数量与动态数组的长度一致。
所述步骤3具体包括:
步骤3.1:发送端接收反馈信息,若该反馈信息为确认接收,则读取待发送文件的各数据包,按序号写入协议数据区,同时,读取各数据包相应的数据大小和在待发送文件中的位置信息,写入各数据包相应的报文头;
步骤3.2:将所述协议数据区所对应的数据包作为一个分组,将该分组内的数据包按序号依次向接收端传送,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,该分组内所有数据包发送完成后,向接收端发送分组结束包;
接收方将接收到的数据包,根据相应报文头中的位置信息和数据大小写入文件相应位置,并将该数据包的序号记录入动态数组;接收到分组结束包后,将动态数组中的序号与步骤2中接收到的文件信息包进行比对,查找是否存在未收到的数据包,若存在,向发送端发送补包请求。
其中,若待发送文件的数据包数量大于协议数据区所能容纳的数据包数量,超出的数据包将待当前分组的数据包发送完毕后,写入下一个分组进行发送。
通信发送方和接收方都维持一个自动重发定时器。发送端或接收端在每一次发送数据后均启动定时器,如果在一个特定时间间隔内,发送方没有收到来自接收方的任何确认消息,或者接收方没有收到发送方的通道检测报文,相应定时器归零,并将这段时间内发送的消息重发一遍,把记录重发次数变量加1。如果过在规定的时间内依然没有收到对方的任何确认信息,则重新将定时器归0,执行重发操作并将重发次数加1,如此循环,在重发次数未达到指定数据之前,直到收到对方的一个确认消息,然后停止自动重发定时器,将重发次数清0;否则证明传输路径出现问题。
接收端还维持一个请求重发定时器。接收方记录着已收到数据包的序列以及未收到的数据包序列。当接收到分组结束包时,接收方就会启动定时器,检索该分组内未收到的数据包,如果数据包已全部接收到,则关闭定时器,进行下一个分组的传输。否则查找丢失数据包的序号并依次发送请求重发数据包,在规定时间内接收发送方重发的数据包,然后定时器归0,重新检索未收到数据包,并按上述情况做出反应,如此循环往复,直到最终完成该分组的传输过程。
接收端接受到结束报文后按照一开始的文件信息包的信息和序列号做对比,把没有的序列号的报文的信息传回给发送端,要求重新发送这些报文。发送端接到信息以后重发丢失的数据包。直到接收端拿到的报文和信息匹配,接收端就可以发回一个“接受完毕”的报文。这样发送端接受端再进行下一组文件传输。
遵守本协议的接受端在接受这组报文的时候将遵守错序重排机制,来对收到的这组报文进行按序号排序,数据包发送期间可能序号不连续,接收过程只要保证序号从小到大即可。
实施例二
本实施例的目的是提供一种基于网闸的大数据传输系统。
一种基于网闸的大数据传输系统,包括:
发送端,向接收端发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;接收到接收端发送的确认接收反馈信息后,向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向接收端发送结束包;
接收端,接收发送端发送的文件信息包,判断是否,并向发送端发送反馈信息;文件传输过程中,每接收一个数据包,均向发送端发送确认接收消息;接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求。
该文件传输的过程参见具体实施方式一。
实施例三
本实施例的目的是提供一种基于网闸的大数据传输系统。
一种基于网闸的大数据传输系统,包括一个发送端和多个接收端,
发送端预先开辟存储空间,用于存储发送端当前已有的文件序号,以及可能对其中一个或多个文件有需求的多个接收端的通信地址信息;所述通信地址信息可以为ip地址端口号等,在此不做限定;
发送端被配置为:启动后实时监听是否收到文件请求,若收到,将该请求相应的接收方信息、其请求的文件序号及其通信地址信息存储入上述空间;
可选地,发送端向该接收方反馈当前服务器状态,例如,对于该请求方所请求的文件,目前的等待IP数量。
发送方将同一文件向多个接收端传输的过程如下:
对于请求同一文件的多个接收方,发送方发送文件信息包,所述文件信息包中包括待发送文件的文件大小、拆分的数据包数量和数据包序号;接收接收端发送的反馈信息,记录确认接收该文件的接收方;
其中,所述多个接收方可以是请求该文件的所有或者设定数量的接收方,例如设定同时传输的上限;
向确认接收该文件的接收方按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包。该文件传输的过程参见具体实施方式一。
发送方对于每个接收方的传输过程并行执行,并分别记录传输过程,包括记录每个接收方的反馈消息,以及每个接收方反馈的缺失数据包序号以便于重传。
该系统特别适用于短时间内有大量的ip请求某一文件的情形。
以上一个或多个实施例具有以下技术效果:
本发明使用基于UDP的数据传输协议并拥有拥塞控制算法,来解决网闸在数据交换过程中支持大数据交换,安全,可靠,实时性的问题。
本发明在基于UDP协议的文件传输方法基础上,引入了基于TCP协议的握手连接、数据校验、超时重传等机制。首先,接收方在收到文件信息包时,要对是否接收进行确认,其次,对于接受到的每一数据包,均向发送端反馈确认接收的消息,发送端接到消息后发送下一数据包,再次接收方收到全部数据包时要进行确认,以便结束文件的传输过程。相较于仅基于TCP进行数据传输,本发明的方法不会重复发送已经被对方接收的数据;
本发明的超时重传机制保证了当网络延时较高时,也可以用于传输对实时性要求较高的数据,降低了带宽的有效利用率换取实时性,另外它不等ACK的到来就重传数据(原理为第n帧没收到ACK、而第n+1、n+2帧已收到ACK,则认为第n帧已经丢失);
本发明的方法可以最大化的利用带宽;并且,当网络发生拥塞,重新计算新的带宽值,控制带宽值的下降幅度,以保证自身的抗网络抖动能力和带宽竞争力;能够同时实现一对多的文件传输。
本发明所述方法适合在cs方式/p2p方式下做实时性数据的可靠传输。可以在公网搭建tcp server来转发NAT穿透信令,在穿透之后,使用该协议来做可靠传输。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.一种大数据传输方法,其特征在于,包括以下步骤:
发送端向接收端发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;
发送端接收到接收端发送的确认接收反馈信息后,向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向接收端发送结束包;
接收端接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求;
在数据包传输过程中引入可靠传输协议TCP协议,对于每个报文都要确认接受完才会对下一个报文进行处理,并且引入发送端维护协议数据区,用于写入待发送文件的数据包;接收端维护动态数组,用于写入接收到的数据包序号,协议数据区所能容纳的数据包数量与动态数组的长度一致;
所述接收端维护动态数组,且所述动态数组的长度与协议数据区所能容纳的数据包数量一致;接收方将接收到的数据包,根据相应报文头中的位置信息和数据大小写入文件相应位置,并将该数据包的序号记录入动态数组;
发送端和接收端均维护自动重发定时器;发送端/接收端每一次发送信息后,均启动相应的自动重发定时器,若设定时间间隔内未收到对端的信息,则将本次发送的信息进行重发,且重发次数加1,定时器归零重新计时;若在重发次数达到设定上限之前收到对端信息,则停止该自动重发定时器,重发次数归零;若重发次数达到上限仍未接收到对端的信息,则传输路径出现错误;
接收端还维持一个请求重发定时器;接收端接收到结束包后,启动请求重发定时器,检索该分组内未收到的数据包,若全部接收到,则关闭定时器,进行下一个分组的传输;否则查找丢失数据包的序号并依次发送请求重发数据包,在规定时间内接收发送方重发的数据包,然后定时器归0。
2.如权利要求1所述的一种大数据传输方法,其特征在于,各数据包相应的报文头还记录该数据包的数据大小,以及在待发送文件中的位置信息;接收端将接收到的数据包根据所述位置信息和大小还原文件。
3.如权利要求1所述的一种大数据传输方法,其特征在于,若待发送文件的数据包数量大于协议数据区所能容纳的数据包数量,超出的数据包将待当前分组的数据包发送完毕后,写入下一个分组进行发送。
4.一种基于网闸的大数据传输系统,其特征在于,包括:
发送端,向接收端发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;接收到接收端发送的确认接收反馈信息后,向接收端按序号依次发送数据包,并且,每发送一个数据包后,待接收到接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向接收端发送结束包;
接收端,接收发送端发送的文件信息包,判断是否,并向发送端发送反馈信息;文件传输过程中,每接收一个数据包,均向发送端发送确认接收消息;接收到结束包后,根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求;
在数据包传输过程中引入可靠传输协议TCP协议,对于每个报文都要确认接受完才会对下一个报文进行处理,并且引入发送端维护协议数据区,用于写入待发送文件的数据包;接收端维护动态数组,用于写入接收到的数据包序号,协议数据区所能容纳的数据包数量与动态数组的长度一致;
所述接收端维护动态数组,且所述动态数组的长度与协议数据区所能容纳的数据包数量一致;接收方将接收到的数据包,根据相应报文头中的位置信息和数据大小写入文件相应位置,并将该数据包的序号记录入动态数组;
发送端和接收端均维护自动重发定时器;发送端/接收端每一次发送信息后,均启动相应的自动重发定时器,若设定时间间隔内未收到对端的信息,则将本次发送的信息进行重发,且重发次数加1,定时器归零重新计时;若在重发次数达到设定上限之前收到对端信息,则停止该自动重发定时器,重发次数归零;若重发次数达到上限仍未接收到对端的信息,则传输路径出现错误;
接收端还维持一个请求重发定时器;接收端接收到结束包后,启动请求重发定时器,检索该分组内未收到的数据包,若全部接收到,则关闭定时器,进行下一个分组的传输;否则查找丢失数据包的序号并依次发送请求重发数据包,在规定时间内接收发送方重发的数据包,然后定时器归0。
5.一种基于网闸的大数据传输系统,其特征在于,包括:一个发送端和多个接收端;其中,
发送端实时监听是否收到文件传输请求,若收到,记录该请求相应的接收方信息、其请求的文件序号及其通信地址信息;
对于请求同一文件的多个接收端,发送方发送文件信息包,所述文件信息包中包括待发送文件的数据包数量和序号;
发送端接收接收端发送的反馈信息后,分别向确认接收该文件的各接收端按序号依次发送数据包,并且,每向某一接收端发送一个数据包后,待接收到该接收端发送的确认接收消息后发送下一个数据包,每个数据包均对应一个报文头,记录该数据包的序号,发送完成后,向该接收端发送结束包;
各接收端接收到结束包后,均根据接收到的数据包的报文头和文件信息包,确认是否存在未接受的数据包,若存在,向发送端发送补包请求;
在数据包传输过程中引入可靠传输协议TCP协议,对于每个报文都要确认接受完才会对下一个报文进行处理,并且引入发送端维护协议数据区,用于写入待发送文件的数据包;接收端维护动态数组,用于写入接收到的数据包序号,协议数据区所能容纳的数据包数量与动态数组的长度一致;
所述接收端维护动态数组,且所述动态数组的长度与协议数据区所能容纳的数据包数量一致;接收方将接收到的数据包,根据相应报文头中的位置信息和数据大小写入文件相应位置,并将该数据包的序号记录入动态数组;
发送端和接收端均维护自动重发定时器;发送端/接收端每一次发送信息后,均启动相应的自动重发定时器,若设定时间间隔内未收到对端的信息,则将本次发送的信息进行重发,且重发次数加1,定时器归零重新计时;若在重发次数达到设定上限之前收到对端信息,则停止该自动重发定时器,重发次数归零;若重发次数达到上限仍未接收到对端的信息,则传输路径出现错误;
接收端还维持一个请求重发定时器;接收端接收到结束包后,启动请求重发定时器,检索该分组内未收到的数据包,若全部接收到,则关闭定时器,进行下一个分组的传输;否则查找丢失数据包的序号并依次发送请求重发数据包,在规定时间内接收发送方重发的数据包,然后定时器归0。
6.如权利要求5所述的一种基于网闸的大数据传输系统,其特征在于,传输过程中,发送方对于每个接收方的文件传输状态均进行记录,所述文件传输状态包括每个接收方对于数据包的反馈消息,以及每个接收方反馈的缺失数据包序号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911203697.1A CN110995697B (zh) | 2019-11-29 | 2019-11-29 | 一种大数据传输方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911203697.1A CN110995697B (zh) | 2019-11-29 | 2019-11-29 | 一种大数据传输方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110995697A CN110995697A (zh) | 2020-04-10 |
CN110995697B true CN110995697B (zh) | 2023-01-03 |
Family
ID=70088720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911203697.1A Active CN110995697B (zh) | 2019-11-29 | 2019-11-29 | 一种大数据传输方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110995697B (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111654546A (zh) * | 2020-06-04 | 2020-09-11 | 福州符号信息科技有限公司 | 一种基于qr码的数据传输方法及装置 |
CN112203138A (zh) * | 2020-10-16 | 2021-01-08 | 深圳乐播科技有限公司 | 基于udp协议的投屏数据传输方法、装置、设备及存储介质 |
CN112291251A (zh) * | 2020-10-30 | 2021-01-29 | 天津天地伟业智能安全防范科技有限公司 | 一种嵌入式设备通过pcie模拟tcpip协议收发机制的方法 |
CN112738229B (zh) * | 2020-12-29 | 2022-08-12 | 北京航天自动控制研究所 | 一种实现数据自动续传的通信方法 |
CN112667653A (zh) * | 2020-12-30 | 2021-04-16 | 平安普惠企业管理有限公司 | 数据更新方法、装置、设备及存储介质 |
CN112867063A (zh) * | 2020-12-31 | 2021-05-28 | 努比亚技术有限公司 | 一种数据传输方法、数据接收方法、基站、电子价签 |
CN112769939B (zh) * | 2021-01-13 | 2023-03-21 | 北京机电工程总体设计部 | 一种用于实时通讯的大数据可靠传输方法 |
CN113572750B (zh) * | 2021-07-20 | 2023-01-10 | 北京奇艺世纪科技有限公司 | 视频数据传输方法及装置 |
CN113692007A (zh) * | 2021-08-26 | 2021-11-23 | 安徽听见科技有限公司 | 数据传输方法、装置、系统、存储介质及终端设备 |
CN113645015A (zh) * | 2021-10-13 | 2021-11-12 | 徐州工程学院 | 一种被动重发的可靠传输方法 |
CN113992654A (zh) * | 2021-10-22 | 2022-01-28 | 西安热工研究院有限公司 | 一种高速的文件传输方法、系统、设备及介质 |
CN114244785B (zh) * | 2021-12-20 | 2022-12-06 | 中电信数智科技有限公司 | 5g数据流量乱序处理方法及其装置 |
CN114172900A (zh) * | 2022-02-11 | 2022-03-11 | 北京安帝科技有限公司 | 基于单向网闸的文件传输方法及系统 |
CN114598651B (zh) * | 2022-02-15 | 2024-04-09 | 阿里巴巴(中国)有限公司 | 数据传输方法以及装置 |
CN114710333B (zh) * | 2022-03-23 | 2024-09-27 | 广州华速信息技术有限公司 | 数据传输及校验的方法、系统、计算机设备及存储介质 |
CN115085864B (zh) * | 2022-04-27 | 2024-02-27 | 中国科学院空天信息创新研究院 | 数据传输方法及装置 |
CN114553863B (zh) * | 2022-04-27 | 2022-08-05 | 中国工商银行股份有限公司 | 文件传输方法及装置、存储介质和电子设备 |
CN114884892B (zh) * | 2022-05-03 | 2023-11-24 | 四川零点自动化系统有限公司 | 一种基于大数据的通讯信息实时传输方法及装置 |
CN115118392B (zh) * | 2022-06-10 | 2024-05-28 | 网宿科技股份有限公司 | D-sack的确定方法、处理器与通信系统 |
CN115334483A (zh) * | 2022-08-08 | 2022-11-11 | 山东浪潮科学研究院有限公司 | 一种基于短距离无线通讯的数据交互方法 |
CN115766706B (zh) * | 2022-11-09 | 2023-07-04 | 太平洋电信股份有限公司 | 一种网络数据传输方法及系统 |
CN115604759A (zh) * | 2022-12-13 | 2023-01-13 | 杭州优智联科技有限公司(Cn) | 基于uwb数据传输的调度方法、装置、系统及介质 |
CN116074121B (zh) * | 2023-03-07 | 2023-06-27 | 中科迅联智慧网络科技(北京)有限公司 | 一种基于国密算法的跨系统对接取数和数据安全流转方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1964348A (zh) * | 2005-11-09 | 2007-05-16 | 大唐移动通信设备有限公司 | 一种数据传输方法和系统 |
CN108322479A (zh) * | 2018-03-06 | 2018-07-24 | 深圳辉烨通讯技术有限公司 | 数据传输方法、装置、终端以及存储介质 |
CN109474642A (zh) * | 2019-01-08 | 2019-03-15 | 郑州云海信息技术有限公司 | 基于以太网udp协议数据传输方法、装置、设备及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7607062B2 (en) * | 2002-03-25 | 2009-10-20 | Akamai Technologies, Inc. | System for fast recovery from losses for reliable data communication protocols |
CN106131043A (zh) * | 2016-08-03 | 2016-11-16 | 大连环宇移动科技有限公司 | 一种基于udp协议以提高数据传输可靠性的方法 |
CN106452692A (zh) * | 2016-11-30 | 2017-02-22 | 网宿科技股份有限公司 | 一种数据传输方法和系统 |
-
2019
- 2019-11-29 CN CN201911203697.1A patent/CN110995697B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1964348A (zh) * | 2005-11-09 | 2007-05-16 | 大唐移动通信设备有限公司 | 一种数据传输方法和系统 |
CN108322479A (zh) * | 2018-03-06 | 2018-07-24 | 深圳辉烨通讯技术有限公司 | 数据传输方法、装置、终端以及存储介质 |
CN109474642A (zh) * | 2019-01-08 | 2019-03-15 | 郑州云海信息技术有限公司 | 基于以太网udp协议数据传输方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110995697A (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110995697B (zh) | 一种大数据传输方法及系统 | |
US11343022B2 (en) | Disabling hybrid automatic repeat request (HARQ) acknowledgments for packets for which acknowledgements are supported at network or higher layer | |
US10237153B2 (en) | Packet retransmission method and apparatus | |
US20220014312A1 (en) | Data transmission method and apparatus | |
US7013346B1 (en) | Connectionless protocol | |
US7920477B2 (en) | Network layer error control systems and methods | |
US9577791B2 (en) | Notification by network element of packet drops | |
US20040052234A1 (en) | Method and system for dispatching multiple TCP packets from communication systems | |
US20030123394A1 (en) | Flow control between performance enhancing proxies over variable bandwidth split links | |
WO2014092779A1 (en) | Notification by network element of packet drops | |
CN109510690B (zh) | 传输报文的方法、网络组件和计算机可读存储介质 | |
CN109560897B (zh) | 一种tcp重传方法和装置 | |
CN102769520A (zh) | 基于sctp协议的无线网络拥塞控制方法 | |
WO2020010511A1 (zh) | 数据传输方法及基站 | |
EP3672189B1 (en) | Data transmission method, device and system | |
US11502986B2 (en) | Reducing transmission delay of transmitting data in Wi-Fi | |
CN116074401B (zh) | 一种在可编程交换机上的传输层协议实现方法 | |
CN111092907B (zh) | 基于udp协议的数据流快速传输方法、系统及介质 | |
Wang et al. | Applying PR-SCTP to transport SIP traffic | |
WO2020154872A1 (zh) | 一种传输控制协议加速方法和装置 | |
KR100756183B1 (ko) | 페이크 응답 계층을 구비하는 네트워크 전송 장치와 이를이용한 티씨피 패킷 송수신 방법 | |
CN106100797B (zh) | 一种基于ltp异步加速重传策略的深空文件传输方法 | |
US20240154735A1 (en) | Method and apparatus for transmitting objects based on deadline-aware | |
CN118381839A (zh) | 计算机装置及其传输控制协议报文处理方法 | |
CN118555249A (zh) | 基于dpu网卡的报文传输方法、dpu网卡、网络设备以及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |