CN109347607A - 高效可靠传输控制方法和系统 - Google Patents

高效可靠传输控制方法和系统 Download PDF

Info

Publication number
CN109347607A
CN109347607A CN201811208877.4A CN201811208877A CN109347607A CN 109347607 A CN109347607 A CN 109347607A CN 201811208877 A CN201811208877 A CN 201811208877A CN 109347607 A CN109347607 A CN 109347607A
Authority
CN
China
Prior art keywords
data
module
block
packet
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811208877.4A
Other languages
English (en)
Inventor
宋亚芳
蒿杰
舒琳
赵良田
吕志丰
范秋香
冯卉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute Of Artificial Intelligence And Advanced Computing Institute Of Automation Chinese Academy Of Sciences
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201811208877.4A priority Critical patent/CN109347607A/zh
Publication of CN109347607A publication Critical patent/CN109347607A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607Details of the supervisory signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1809Selective-repeat protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867Arrangements specially adapted for the transmitter end
    • H04L1/1874Buffer management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于高速网络互连技术领域,具体提供一种高效可靠传输控制方法和系统,该传输控制方法包括:将待发送数据进行区块划分;将划分后的数据进行存储;将每个区块的数据组成N个数据包;将数据包按照顺序进行发送;对区块数据包进行检测;根据检测结果,确定是进行数据重传还是进入下一个进程。本发明使用多个区块顺序循环存储数据,并且区块大小、个数可以动态配置,提高了灵活性与高效性,并且只需要在一个区块数据接收后再进行检测,并不需要接收端或者发送端对每个数据包或者数据返回包进行检测,提高了传输效率并保障了可靠性,同时断点重传机制可以根据统计信息来进行进程决策,若发生丢包,只发送丢掉的数据包,提高了传输效率。

Description

高效可靠传输控制方法和系统
技术领域
本发明属于高速网络互连技术领域,具体提供一种高效可靠传输控制方法和系统。
背景技术
随着实时大数据处理、工业产线在线监测、航天在轨遥感信息处理等应用的日渐增多,对大型交换网络数据传输的实时性、可靠性都提出了很高的要求。
为满足大型交换网路提出的低延时,高可靠的要求,高速协议的选择至关重要,现有高速协议主要有10/40G以太网、InfiniBand、PCIe、RapidIO等,PCIe和10/40G以太网协议需要上层软件协议的支持才能提供可靠的传输服务,软件开销较大,而RapidIO支持内存映射读写操作,卸载部分处理器开销,减少传输延时,支持cut-through的转发机制,能够减少交换机传输延时,在小消息传输的情况下,RapidIO的有效负载效率高于InfiniBand,由此可见,以RapidIO为代表的轻型协议相对于其他高速网络协议在高性能交换网络中有很大优势。
虽然以RapidIO为代表的轻型协议简单高效,但是对比一些重型协议,并没有上层协议来保障其高可靠性传输,由于组包错误形成坏包而造成数据包接收失败或者由于链路信号不好造成数据包丢失时,数据包只能被直接丢弃,并没有一定的上层协议来弥补这一缺陷,因此不能保证数据的可靠传输,然而端点到端点之间数据传输的可靠性同样是高性能计算系统中重要考核指标。
因此,本领域需要一种新的高效可靠传输控制方法和系统来解决上述问题。
发明内容
为了解决现有技术中的上述问题,本发明提供了一种高效可靠传输控制方法,该传输控制方法包括:将待发送数据进行区块划分;将划分后的数据进行存储;将每个区块的数据组成N个数据包;将数据包按照顺序进行发送;对区块数据包进行检测;根据检测结果,确定是进行数据重传还是进入下一个进程。
在上述传输控制方法的优选技术方案中,“根据检测结果,确定是进行数据重传还是进入下一个进程”的步骤包括:如果检测结果为数据包有缺失,则对缺失的数据进行重传。
在上述传输控制方法的优选技术方案中,“根据检测结果,确定是进行数据重传还是进入下一个进程”的步骤还包括:如果检测结果为数据包无缺失,则进入下一个进程。
在上述传输控制方法的优选技术方案中,“将数据包按照顺序进行发送”的步骤具体包括:将各个区块内的数据包按照序号进行标记,按照序号顺序发送数据包。
在上述传输控制方法的优选技术方案中,在每个区块内的数据包全部发送完毕后,传输控制方法还包括:发送门铃数据包,以便通知接收方区块数据发送完毕,可以对区块数据进行检测。
在上述传输控制方法的优选技术方案中,“对缺失的数据进行重传”的步骤包括:发送具有错误标志的反馈包;根据反馈包内的信息重新传输缺失的数据包。
在上述传输控制方法的优选技术方案中,“进入下一个进程”的步骤包括:发送具有结束标志的反馈包;根据反馈包内的信息继续发送下一个区块内的数据包或执行下一步程序。
在上述传输控制方法的优选技术方案中,在“将待发送数据进行区块划分”的步骤之前,传输控制方法还包括:对区块的大小和数量进行配置。
在另一方面,本发明还提供了一种高效可靠传输控制系统,传输控制系统包括动态可配区块数据缓存发送模块、区块数据完整性检测模块、状态返回模块和进程决策模块,动态可配区块数据缓存发送模块与区块数据完整性检测模块通信连接,区块数据完整性检测模块与状态返回模块通信连接,状态返回模块与进程决策模块通信连接,进程决策模块与动态可配区块数据缓存发送模块通信连接。
在上述传输控制系统的优选技术方案中,动态可配区块数据缓存发送模块包括数据分发模块、区块配置模块、存储模块和发送模块,数据分发模块和区块配置模块分别与存储模块通信连接,储存模块与发送模块通信连接;区块数据完整性检测模块包括数据包接收模块、检测模块和检测状态存储模块,数据包接收模块通过检测模块与检测状态存储模块通信连接;发送模块与数据包接收模块通信连接,检测状态存储模块与状态返回模块通信连接。
本领域技术人员能够理解的是,在本发明的优选技术方案中,本发明的有益效果在于:1、发送端使用多个区块顺序循环存储数据,并且区块大小,区块个数可以动态配置,提高了灵活性与高效性;2、接收端只需要在一个区块数据接收后再进行检测,并不需要接收端或者发送端对每个数据包或者数据返回包进行检测,提高了传输效率并保障了可靠性;3、断点重传机制可以使发送端根据接收端的统计信息来进行进程决策,若发生丢包,只发送丢掉的数据包,提高了传输效率。
附图说明
下面参照附图并结合基于RapidIO的高效可靠传输控制方法和系统来阐述本发明的优选实施方式,附图中:
图1是本发明的动态可配区块检测断点重传机制的结构图;
图2为本发明的动态可配区块数据缓存发送模块的结构图;
图3为本发明的区块数据完整性检测模块的结构图;
图4为本发明的基于RapidIO的动态可配区块检测断点重传机制流程示意图。
具体实施方式
首先,本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。例如,虽然本发明是以基于RapidIO的高效可靠传输控制方法和系统来进行阐述说明的,但是本发明的方法和系统显然还可以应用到其他轻型协议中,例如InfiniBand等,这种应用对象的调整和改变并不偏离本发明的技术方案。
需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
具体地,如图1所示,本发明的高效可靠传输控制系统包括发送端模块10和接收端模块11,发送端模块10包括两大模块,动态可配区块数据缓存发送模块101和进程决策模块103,接收端模块11包括区块数据完整性检测模块102和状态返回模块104两大模块。其中,动态可配区块数据缓存发送模块101与区块数据完整性检测模块102通信连接,区块数据完整性检测模块102与状态返回模块104通信连接,状态返回模块104与进程决策模块103通信连接,进程决策模块103与动态可配区块数据缓存发送模块101通信连接。当发送端模块10需要发送区块数据的时候,首先对区块数据进行缓存并按照标有数据包序号的轻型协议发送,接收端模块11接收到区块数据后检测其完整性,并指导状态返回模块104返回接收状态信息给发送端模块10的进程决策模块103,进程决策模块103进行决策是需要进入下一个进程还是需要进行数据重传。以下对具体模块的设计进行说明。
如图2所示,动态可配区块数据缓存发送模块101包括数据分发模块201、区块配置模块202、存储模块203和发送模块204,数据分发模块201和区块配置模块202分别与存储模块203通信连接,储存模块203与发送模块204通信连接。具体而言,动态可配区块数据缓存发送模块101采用区块划分的传输策略,使用n块缓存存储模块203,对要发送的数据进行缓存,区块配置模块202根据实际应用的需求与传输带宽动态配置区块的大小和个数。数据分发模块201根据区块的配置对数据进行顺序循环分发存储,并按照顺序通过发送模块204发送。数据包发送时应该在指定的位置加入数据包计数标志,以便后续检测模块进行检测。在发送完一个区块的数据包后,需要发送一个门铃(doorbell)数据包,使得接收端模块11可以得知接收完了一个区块的数据并开始检测。具体如下,模块401把一个区块内的数据分为k个数据包发送,发送k个DirectIO数据包之后,再发送一个doorbell数据包,通知检测模块开始检测数据。此外,还可以在发送两个区块的数据包后,再发送一个门铃(doorbell)数据包,使得接收端模块11可以得知接收完了两个区块的数据并开始检测,本领域技术人员可以在实际应用中灵活地设置门铃(doorbell)数据包的发送时机,只要能够使得接收端模块11对已发送的区块内的数据包进行检测即可。
如图3所示,区块数据完整性检测模块102包括数据包接收模块301、检测模块302和检测状态存储模块303,数据包接收模块301通过检测模块302与检测状态存储模块303通信连接;发送模块204与数据包接收模块301通信连接,检测状态存储模块303与状态返回模块104通信连接,数据包接收模块301在接收到Doorbell数据包后进行区块数据包的检测,检测模块302通过读取数据包中计数标志位的数据,进行统计k个数据包是否都接收到,分析是否有丢包,丢了几个包以及丢包的序号,检测状态存储模块303把这些信息记录保存,等待收到重发数据包后检测模块302会读取模块303的丢包的信息进行重新比对检测,进行下一次的状态返回。
如图4所示,当接收端模块11统计完丢包信息后,状态返回模块104读取状态监测存储模块303的存储信息,把带有这些信息的有效数据通过Response数据包传回发送端模块10,给发送端模块10提供决策的依据。
按照模块402进程,当发送端模块10接收到接收端模块11返回的标有Done标志的response包后,释放存放该区域数据的空间,开始下一个区块数据的传输。如果接收到的数据并不完整,按照模块403进程,目的端则返回有Error标志的response包,并告知发送端模块10未收到数据包的序号i和j等,发送端模块10则重新发送该序号的数据包,直到确定所有数据都成功接收到,发送端模块10则释放区块空间,开始完成下一个区块数据的传输。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种高效可靠传输控制方法,其特征在于,所述传输控制方法包括:
将待发送数据进行区块划分;
将划分后的数据进行存储;
将每个区块的数据组成N个数据包;
将数据包按照顺序进行发送;
对区块数据包进行检测;
根据检测结果,确定是进行数据重传还是进入下一个进程。
2.根据权利要求1所述的传输控制方法,其特征在于,“根据检测结果,确定是进行数据重传还是进入下一个进程”的步骤包括:
如果检测结果为数据包有缺失,则对缺失的数据进行重传。
3.根据权利要求2所述的传输控制方法,其特征在于,“根据检测结果,确定是进行数据重传还是进入下一个进程”的步骤还包括:
如果检测结果为数据包无缺失,则进入下一个进程。
4.根据权利要求1所述的传输控制方法,其特征在于,“将数据包按照顺序进行发送”的步骤具体包括:
将各个区块内的数据包按照序号进行标记,按照序号顺序发送数据包。
5.根据权利要求1所述的传输控制方法,其特征在于,在每个区块内的数据包全部发送完毕后,所述传输控制方法还包括:
发送门铃数据包,以便通知接收方区块数据发送完毕,可以对区块数据进行检测。
6.根据权利要求2所述的传输控制方法,其特征在于,“对缺失的数据进行重传”的步骤包括:
发送具有错误标志的反馈包;
根据反馈包内的信息重新传输缺失的数据包。
7.根据权利要求3所述的传输控制方法,其特征在于,“进入下一个进程”的步骤包括:
发送具有结束标志的反馈包;
根据反馈包内的信息继续发送下一个区块内的数据包或执行下一步程序。
8.根据权利要求1至7中任一项所述的传输控制方法,其特征在于,在“将待发送数据进行区块划分”的步骤之前,所述传输控制方法还包括:
对区块的大小和数量进行配置。
9.一种高效可靠传输控制系统,其特征在于,所述传输控制系统包括动态可配区块数据缓存发送模块、区块数据完整性检测模块、状态返回模块和进程决策模块,所述动态可配区块数据缓存发送模块与所述区块数据完整性检测模块通信连接,所述区块数据完整性检测模块与所述状态返回模块通信连接,所述状态返回模块与所述进程决策模块通信连接,所述进程决策模块与所述动态可配区块数据缓存发送模块通信连接。
10.根据权利要求9所述的传输控制系统,其特征在于,所述动态可配区块数据缓存发送模块包括数据分发模块、区块配置模块、存储模块和发送模块,所述数据分发模块和所述区块配置模块分别与所述存储模块通信连接,所述储存模块与所述发送模块通信连接;
所述区块数据完整性检测模块包括数据包接收模块、检测模块和检测状态存储模块,所述数据包接收模块通过所述检测模块与所述检测状态存储模块通信连接;
所述发送模块与所述数据包接收模块通信连接,所述检测状态存储模块与所述状态返回模块通信连接。
CN201811208877.4A 2018-10-17 2018-10-17 高效可靠传输控制方法和系统 Pending CN109347607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811208877.4A CN109347607A (zh) 2018-10-17 2018-10-17 高效可靠传输控制方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811208877.4A CN109347607A (zh) 2018-10-17 2018-10-17 高效可靠传输控制方法和系统

Publications (1)

Publication Number Publication Date
CN109347607A true CN109347607A (zh) 2019-02-15

Family

ID=65309097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811208877.4A Pending CN109347607A (zh) 2018-10-17 2018-10-17 高效可靠传输控制方法和系统

Country Status (1)

Country Link
CN (1) CN109347607A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759282A (zh) * 2021-09-09 2021-12-07 四川省东宇信息技术有限责任公司 基于北斗差分定位的接地线监测系统
CN115174490A (zh) * 2022-06-16 2022-10-11 浙江华睿科技股份有限公司 一种数据传输方法及网络应用终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130148A (ja) * 2003-10-22 2005-05-19 Matsushita Electric Ind Co Ltd データ伝送システム
CN103763374A (zh) * 2014-01-23 2014-04-30 深圳联友科技有限公司 基于udt的数据传输方法及装置
CN105391530A (zh) * 2015-10-16 2016-03-09 中国人民解放军国防科学技术大学 一种基于网络编码的卫星网络可靠组播方法
CN107294652A (zh) * 2016-04-13 2017-10-24 中兴通讯股份有限公司 一种数据混合重传处理方法和装置
CN107820685A (zh) * 2017-09-08 2018-03-20 北京小米移动软件有限公司 分布式物理层资源映射方法、装置、发送端及接收端
CN108023721A (zh) * 2016-11-04 2018-05-11 华为技术有限公司 一种数据传输方法和装置
CN108111262A (zh) * 2016-11-25 2018-06-01 北京三星通信技术研究有限公司 混合自动重传请求反馈和重传的方法及接收机、发射机
CN108183767A (zh) * 2017-12-28 2018-06-19 南京大学 一种适用于空间dtn网络的可靠传输方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005130148A (ja) * 2003-10-22 2005-05-19 Matsushita Electric Ind Co Ltd データ伝送システム
CN103763374A (zh) * 2014-01-23 2014-04-30 深圳联友科技有限公司 基于udt的数据传输方法及装置
CN105391530A (zh) * 2015-10-16 2016-03-09 中国人民解放军国防科学技术大学 一种基于网络编码的卫星网络可靠组播方法
CN107294652A (zh) * 2016-04-13 2017-10-24 中兴通讯股份有限公司 一种数据混合重传处理方法和装置
CN108023721A (zh) * 2016-11-04 2018-05-11 华为技术有限公司 一种数据传输方法和装置
CN108111262A (zh) * 2016-11-25 2018-06-01 北京三星通信技术研究有限公司 混合自动重传请求反馈和重传的方法及接收机、发射机
CN107820685A (zh) * 2017-09-08 2018-03-20 北京小米移动软件有限公司 分布式物理层资源映射方法、装置、发送端及接收端
CN108183767A (zh) * 2017-12-28 2018-06-19 南京大学 一种适用于空间dtn网络的可靠传输方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759282A (zh) * 2021-09-09 2021-12-07 四川省东宇信息技术有限责任公司 基于北斗差分定位的接地线监测系统
CN115174490A (zh) * 2022-06-16 2022-10-11 浙江华睿科技股份有限公司 一种数据传输方法及网络应用终端
CN115174490B (zh) * 2022-06-16 2023-10-17 浙江华睿科技股份有限公司 一种数据传输方法及网络应用终端

Similar Documents

Publication Publication Date Title
US6343067B1 (en) Method and apparatus for failure and recovery in a computer network
EP1108343B1 (en) Method and apparatus for input/output link retry, failure and recovery in a computer network
US6493343B1 (en) System and method for implementing multi-pathing data transfers in a system area network
CN104038322B (zh) 中间节点、通信网络及其数据传输控制方法
CN106487673B (zh) 一种基于三模冗余的检错重传容错路由单元
CN103973482A (zh) 具有全局通信事务管理能力的容错片上网络系统及方法
CN109936510A (zh) 多路径rdma传输
CN102868604B (zh) 一种应用于片上网络的二维Mesh双缓冲容错路由单元
US8462804B2 (en) Self-cleaning mechanism for error recovery
JPS63107254A (ja) 衛星パケット通信方法
US7653060B2 (en) System and method for implementing ASI over long distances
CN103141050B (zh) 快速通道互联系统中数据包重传方法、节点
CN108306835A (zh) 一种以太网交换机的输入缓存结构及数据转发方法
CN102412990B (zh) 具有集中管理和实时传输功能遥感卫星原始数据记录系统
CN110971542B (zh) 基于fpga的srio数据传输系统
CN104484295A (zh) 并行计算机系统中基于接收方滑动窗口的数据传输方法
CN108551425A (zh) 基于工业以太网的数据传输系统、方法和通信设备
CN101510816A (zh) 基于路径关联化的多路径并行传输方法
CN109347607A (zh) 高效可靠传输控制方法和系统
CN108632168A (zh) 一种基于fpga的异步串口通信数据交换方法
CN102333210B (zh) 一种视频数据存储方法及其设备
CN112738229A (zh) 一种实现数据自动续传的通信方法
CN106656425A (zh) 光纤通道中固定帧长度的一种高效差错重传与存取机制
CN104038327B (zh) Fc网络的出错重传方法
JP2986798B2 (ja) データ伝送制御方法およびデータ通信装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191126

Address after: 510535 room 801, building B2, No.11 Kaiyuan Avenue, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Institute of artificial intelligence and advanced computing, Institute of automation, Chinese Academy of Sciences

Address before: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Applicant before: Institute of Automation, Chinese Academy of Sciences

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 510535 room 801, building B2, No. 11, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong

Applicant after: Guangdong Institute of artificial intelligence and advanced computing

Address before: 510535 room 801, building B2, No. 11, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong

Applicant before: Guangzhou Institute of artificial intelligence and advanced computing, Institute of automation, Chinese Academy of Sciences

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215

RJ01 Rejection of invention patent application after publication