CN102984172A - 基于LT code的数据中心多对一数据传输协议(LTTP) - Google Patents
基于LT code的数据中心多对一数据传输协议(LTTP) Download PDFInfo
- Publication number
- CN102984172A CN102984172A CN2012105373733A CN201210537373A CN102984172A CN 102984172 A CN102984172 A CN 102984172A CN 2012105373733 A CN2012105373733 A CN 2012105373733A CN 201210537373 A CN201210537373 A CN 201210537373A CN 102984172 A CN102984172 A CN 102984172A
- Authority
- CN
- China
- Prior art keywords
- data
- client
- transmission
- server end
- many
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
基于数字喷泉码的数据中心多对一的数据传输方法属于数据中心网络数据传输技术领域,其特性在于,在作为通信双方的客户端与各服务器端之间建立基于TCP协议的控制通道和基于UDP协议的数据通道,在多对一的数据传输过程中,客户端通过预置的TCP友好速率控制协议TFRC控制各服务器数据发送速率,借助于控制通道在恢复原始数据后向相应的服务器端发送结束命令。本发明具有防止传输堵塞和提高传输效率的双重优点。
Description
技术领域
数据中心网络
背景技术
在数据中心网络中,不管是在线应用(如网络搜索)还是后台任务(如以GFS为代表的分布式文件存储系统和以MapReduce为代表的分布式计算等),其通信都具有barrier synchronized特性。然而这种特殊的多对一通信模式使用TCP作为传输层协议,当通信的服务器数量较大时,通信的性能会急剧下降,发生TCP Incast。导致TCP Incast的原因主要有两点:1)当通信的服务器数量增大时,一台服务器会同时接收来自其它所有服务器的数据,这些数据会导致交换机的缓存溢出,从而导致丢包。2)发生丢包会导致TCP触发超时重传。然而TCP超时重传定时器 (RTO) 的值一般为200ms,而数据中心网络中的RTT一般为微秒级。因此一旦发生超时,TCP连接会在相对一段较长时间内处于空闲,从而导致传输性能低下。
已有的解决方案可以分为两类,其中一类解决方案将RTO的值设为微秒级,但需要升级操作系统和硬件。另一类解决方案采用改进的拥塞控制机制降低对交换机缓存的占用、避免发生超时重传。但不能在通信的服务器数量足够大时避免TCP Incast。本发明的目的在于设计一个用于数据中心网络中多对一通信的数据传输协议,提高数据传输性能。
发明内容
本发明的目的在于设计一种基于编码 (LT code) 的传输协议LTTP (LT code based Transport Protocol),用于数据中心网中的多对一通信,实现数据的高效传输,避免TCP Incast的发生。
1.本发明的特征在于在数据中心网络中依次按以下步骤实现的:
步骤(1),构造一个数据中心多对一的数据传输网络拓扑,包含:多台服务器、一台交换机,其中:
多台服务器由作为客户端的任意一台服务器和作为服务器端的其它服务器组成,其中:客户端和每一个服务器端构成一对一通信通道,配置有一个控制通道和一个数据通道,所述控制通道传输客户端向服务器发出的控制信息,其中包括服务请求信息、用于停止编码的发送结束命令。所述控制通道采用TCP协议传输数据,数据通道采用用户数据报协议UDP传输数据;
交换机,不同的端口与各个所述服务器端直接或间接相连;
步骤(2),数据中心网络内的多对一的数据传输网络拓扑依次按以下步骤实现多对一的数据传输:
步骤(2.1),客户端和各服务器端预置TCP友好速率控制协议TFRC,
步骤(2.2),客户端与各服务器端建立TCP连接,接通控制通道,
步骤(2.3),客户端通过各控制通道向对应的各服务器端发送通信请求,
步骤(2.4),各服务器端收到所述通信请求后,使用数字喷泉码LT Code对原始数据编码,完毕后通过数据通道向客户端发送编码数据,
步骤(2.5),客户端通过为各服务器预置的基于TCP友好速率控制协议TFRC来控制各服务器端的数据发送速率,
步骤(2.6),客户端一旦恢复原始数据,就通过控制通道向相应的作为发送方的服务器端发送结束命令,
步骤(2.7),客户端重复执行步骤(2.6),一直到所有服务器端都发送完数据为止。
本发明提出的方法的思路在于:导致TCP Incast发生的原因主要是由于TCP的超时重传时钟与数据中心网络中的RTT值不匹配,因此一旦发生超时重传,TCP连接会在相对较长的一段时间内空闲,使性能下降。不同于已有的基于TCP的解决方案,我们提出一种基于LT code的传输协议,使用UDP作为传输协议,从而避免了超时重传对数据传输性能的影响。因为UDP既不能保证数据的可靠传输,也没有提供拥塞控制机制,因此我们分别使用数字喷泉码(LT code)和TFRC (TCP-Friendly Rate Control) 实现数据的可靠传输和拥塞控制。我们称这种基于LT code的传输协议为LT code based Transport Protocol (LTTP)。
本发明优点包括:
1)不要求升级硬件或操作系统;
2)能够有效解决TCP Incast问题,提高多对一数据传输效率;
附图说明
图1.LTTP的工作流程
client: 客户端
switch: 交换机
server: 服务器端
establishes TCP connections: 建立TCP连接
send requests: 发送请求报文
send encoded packets: 发送编码报文
send terminating signals: 发送结束命令
Control Channel (TCP): 控制通道(基于TCP)
Data Channel (UDP): 数据通道(基于UDP)
具体实施方式
我们考虑到在多对一通信中,除了数据外,还有一些控制信息,比如客户端向各个服务器端发送的请求信息和客户端向服务器端发送的结束命令(以停止编码),为每一对通信双方配置一个控制通道(control channel)和一个数据通道(control channel)。其中控制通道用于传输控制信息,而数据通道只传输数据。由于控制信息数据量很小,不适合采用编码进行传输。因此控制通道使用TCP传输数据。数据通道使用UDP传输编码数据、使用TFRC控制发送速率。由于TCP连接仅从客户端向服务器端传输数据,而且这些服务器与不同的交换机端口相连,因此不会发生TCP Incast。
对于数据中心网络,当进行多对一通信时,客户端首先与所有参与通信的服务器端建立控制通道(TCP连接)。待所有控制通道建立完毕后,由客户端通过控制通道向所有服务器端发送请求。服务器端在收到请求后,使用LT code对原始数据进行编码,并使用数据通道向客户端发送编码数据。我们为每一台参与通信的主机部署TFRC,用于控制服务器端发送数据的速度。客户端一旦恢复原始数据,就通过控制通道向相应的服务器端发送结束命令。待请求的所有数据都恢复完毕,通信结束。
我们建立了一个拓扑,多台服务器通过一个交换机直接相连。其中一台服务器作为客户端,其它服务器作为服务器端。链路带宽均为1Gbps。我们在该拓扑上进行了实验,由该客户端向不同数量的服务器请求不同大小的数据,并分别使用LTTP、TCP和DCTCP重复上述实现,并比较LTTP与TCP和DCTCP的性能。实验结果表明,TCP和DCTCP在服务器数量较大时,均会发生TCP Incast。使用LTTP时,goodput未发现急剧下降的现象,能够维持在750Mbps左右,说明本发明达到了预期目的。
Claims (1)
1.基于数字喷泉码的数据中心多对一的数据传输方法,其特征在于在数据中心网络中依次按以下步骤实现的:
步骤(1),构造一个数据中心多对一的数据传输网络拓扑,包含:多台服务器、一台交换机,其中:
多台服务器由作为客户端的任意一台服务器和作为服务器端的其它服务器组成,其中:客户端和每一个服务器端构成一对一通信通道,配置有一个控制通道和一个数据通道,所述控制通道传输客户端向服务器发出的控制信息,其中包括服务请求信息、用于停止编码的发送结束命令。所述控制通道采用TCP协议传输数据,数据通道采用用户数据报协议UDP传输数据;
交换机,不同的端口与各个所述服务器端直接或间接相连;
步骤(2),数据中心网络内的多对一的数据传输网络拓扑依次按以下步骤实现多对一的数据传输:
步骤(2.1),客户端和各服务器端预置TCP友好速率控制协议TFRC,
步骤(2.2),客户端与各服务器端建立TCP连接,接通控制通道,
步骤(2.3),客户端通过各控制通道向对应的各服务器端发送通信请求,
步骤(2.4),各服务器端收到所述通信请求后,使用数字喷泉码LTCode对原始数据编码,完毕后通过数据通道向客户端发送编码数据,
步骤(2.5),客户端通过为各服务器预置的基于TCP友好速率控制协议TFRC来控制各服务器端的数据发送速率,
步骤(2.6),客户端一旦恢复原始数据,就通过控制通道向相应的作为发送方的服务器端发送结束命令,
步骤(2.7),客户端重复执行步骤(2.6),一直到所有服务器端都发送完数据为止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012105373733A CN102984172A (zh) | 2012-12-12 | 2012-12-12 | 基于LT code的数据中心多对一数据传输协议(LTTP) |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012105373733A CN102984172A (zh) | 2012-12-12 | 2012-12-12 | 基于LT code的数据中心多对一数据传输协议(LTTP) |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102984172A true CN102984172A (zh) | 2013-03-20 |
Family
ID=47857915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012105373733A Pending CN102984172A (zh) | 2012-12-12 | 2012-12-12 | 基于LT code的数据中心多对一数据传输协议(LTTP) |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102984172A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103401665A (zh) * | 2013-06-28 | 2013-11-20 | 国家超级计算深圳中心(深圳云计算中心) | 集群存储系统中重传超时计时器的优化方法及装置 |
CN104243473A (zh) * | 2014-09-12 | 2014-12-24 | 华为技术有限公司 | 一种数据传输的方法以及装置 |
CN104935350A (zh) * | 2015-06-10 | 2015-09-23 | 深圳大学 | 空中传输计算的通信方法及系统 |
CN108282402A (zh) * | 2018-01-24 | 2018-07-13 | 中南大学 | 数据中心网络中基于编码的包散射方法 |
-
2012
- 2012-12-12 CN CN2012105373733A patent/CN102984172A/zh active Pending
Non-Patent Citations (1)
Title |
---|
蒋长林: "A Coding-based Approach to Mitigate TCP Incast in Data Center Networks", 《2012 32ND INTERNATIONAL CONFERENCE ON DISTRIBUTED SYSTEMS WORKSHOPS》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103401665A (zh) * | 2013-06-28 | 2013-11-20 | 国家超级计算深圳中心(深圳云计算中心) | 集群存储系统中重传超时计时器的优化方法及装置 |
CN103401665B (zh) * | 2013-06-28 | 2016-12-28 | 国家超级计算深圳中心(深圳云计算中心) | 集群存储系统中重传超时计时器的优化方法及装置 |
CN104243473A (zh) * | 2014-09-12 | 2014-12-24 | 华为技术有限公司 | 一种数据传输的方法以及装置 |
CN104243473B (zh) * | 2014-09-12 | 2018-11-30 | 华为技术有限公司 | 一种数据传输的方法以及装置 |
CN104935350A (zh) * | 2015-06-10 | 2015-09-23 | 深圳大学 | 空中传输计算的通信方法及系统 |
CN104935350B (zh) * | 2015-06-10 | 2018-01-05 | 深圳大学 | 空中传输计算的通信方法及系统 |
CN108282402A (zh) * | 2018-01-24 | 2018-07-13 | 中南大学 | 数据中心网络中基于编码的包散射方法 |
CN108282402B (zh) * | 2018-01-24 | 2020-06-09 | 中南大学 | 数据中心网络中基于编码的包散射方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106656784B (zh) | 用于区块链网络的数据流传播系统及方法 | |
CN101212401B (zh) | 面向网格的可配置数据传输方法及系统 | |
CN105072021B (zh) | 一种调度自动化系统跨网段的消息转发方法 | |
CN102984172A (zh) | 基于LT code的数据中心多对一数据传输协议(LTTP) | |
CN105516262B (zh) | 应用程序远程操控方法及系统 | |
CN102595093A (zh) | 动态更改视频编码的视频通信方法及系统 | |
CN104270344A (zh) | 万兆网闸 | |
CN101087239A (zh) | 一种对等网络中充分利用带宽资源的数据传输方法及装置 | |
CN104185976A (zh) | 一种以太网中传输数据的方法、装置及系统 | |
CN103442003A (zh) | 面向scada系统的数据采集回填系统及其方法 | |
CN103856304A (zh) | 一种可选安全等级的可靠文件传输协议 | |
CN106100804A (zh) | 一种基于选择重传arq的数字喷泉码传输方法 | |
CN103607255A (zh) | 无线信道视频通信丢包率控制方法 | |
CN102340506A (zh) | 一种多媒体数据传输系统及其应用方法 | |
CN103825682B (zh) | 一种高效快速的wtb多播消息数据传输方法 | |
CN109246021A (zh) | 一种基于fpga的点对点数据可靠传输系统和方法 | |
CN202856905U (zh) | 一种融合通信网络摄像机系统 | |
CN102694791B (zh) | 基于喷泉码的实时tcp传输方法 | |
CN104010032A (zh) | 一种数据传输方法及装置 | |
Rachuri et al. | Network-coded sd-wan in multi-access systems for delay control | |
CN100479460C (zh) | 跨平台的端到端rtp协议栈设计方法 | |
CN100551029C (zh) | 一种对h.320会议电视终端进行远程控制的方法 | |
Chen et al. | A survey of ROHC header compression schemes | |
CN102655449A (zh) | 一种电力猫的通信方法 | |
CN102801639B (zh) | 一种利用E1奇帧Sa位传输网管协议的通讯装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130320 |