CN102984172A - 基于LT code的数据中心多对一数据传输协议（LTTP） - Google Patents

Abstract

基于数字喷泉码的数据中心多对一的数据传输方法属于数据中心网络数据传输技术领域，其特性在于，在作为通信双方的客户端与各服务器端之间建立基于TCP协议的控制通道和基于UDP协议的数据通道，在多对一的数据传输过程中，客户端通过预置的TCP友好速率控制协议TFRC控制各服务器数据发送速率，借助于控制通道在恢复原始数据后向相应的服务器端发送结束命令。本发明具有防止传输堵塞和提高传输效率的双重优点。

Description

基于LT code的数据中心多对一数据传输协议(LTTP)

技术领域

数据中心网络 

背景技术

在数据中心网络中，不管是在线应用（如网络搜索）还是后台任务（如以GFS为代表的分布式文件存储系统和以MapReduce为代表的分布式计算等），其通信都具有barrier synchronized特性。然而这种特殊的多对一通信模式使用TCP作为传输层协议，当通信的服务器数量较大时，通信的性能会急剧下降，发生TCP Incast。导致TCP Incast的原因主要有两点：1）当通信的服务器数量增大时，一台服务器会同时接收来自其它所有服务器的数据，这些数据会导致交换机的缓存溢出，从而导致丢包。2）发生丢包会导致TCP触发超时重传。然而TCP超时重传定时器 (RTO) 的值一般为200ms，而数据中心网络中的RTT一般为微秒级。因此一旦发生超时，TCP连接会在相对一段较长时间内处于空闲，从而导致传输性能低下。 

已有的解决方案可以分为两类，其中一类解决方案将RTO的值设为微秒级，但需要升级操作系统和硬件。另一类解决方案采用改进的拥塞控制机制降低对交换机缓存的占用、避免发生超时重传。但不能在通信的服务器数量足够大时避免TCP Incast。本发明的目的在于设计一个用于数据中心网络中多对一通信的数据传输协议，提高数据传输性能。 

发明内容

本发明的目的在于设计一种基于编码 (LT code) 的传输协议LTTP (LT code based Transport Protocol)，用于数据中心网中的多对一通信，实现数据的高效传输，避免TCP Incast的发生。 

1.本发明的特征在于在数据中心网络中依次按以下步骤实现的： 

步骤（1），构造一个数据中心多对一的数据传输网络拓扑，包含：多台服务器、一台交换机，其中： 

多台服务器由作为客户端的任意一台服务器和作为服务器端的其它服务器组成，其中：客户端和每一个服务器端构成一对一通信通道，配置有一个控制通道和一个数据通道，所述控制通道传输客户端向服务器发出的控制信息，其中包括服务请求信息、用于停止编码的发送结束命令。所述控制通道采用TCP协议传输数据，数据通道采用用户数据报协议UDP传输数据； 

交换机，不同的端口与各个所述服务器端直接或间接相连； 

步骤（2），数据中心网络内的多对一的数据传输网络拓扑依次按以下步骤实现多对一的数据传输： 

步骤（2.1），客户端和各服务器端预置TCP友好速率控制协议TFRC， 

步骤（2.2），客户端与各服务器端建立TCP连接，接通控制通道， 

步骤（2.3），客户端通过各控制通道向对应的各服务器端发送通信请求， 

步骤（2.4），各服务器端收到所述通信请求后，使用数字喷泉码LT Code对原始数据编码，完毕后通过数据通道向客户端发送编码数据， 

步骤（2.5），客户端通过为各服务器预置的基于TCP友好速率控制协议TFRC来控制各服务器端的数据发送速率， 

步骤（2.6），客户端一旦恢复原始数据，就通过控制通道向相应的作为发送方的服务器端发送结束命令， 

步骤（2.7），客户端重复执行步骤（2.6），一直到所有服务器端都发送完数据为止。 

本发明提出的方法的思路在于：导致TCP Incast发生的原因主要是由于TCP的超时重传时钟与数据中心网络中的RTT值不匹配，因此一旦发生超时重传，TCP连接会在相对较长的一段时间内空闲，使性能下降。不同于已有的基于TCP的解决方案，我们提出一种基于LT code的传输协议，使用UDP作为传输协议，从而避免了超时重传对数据传输性能的影响。因为UDP既不能保证数据的可靠传输，也没有提供拥塞控制机制，因此我们分别使用数字喷泉码（LT code）和TFRC (TCP-Friendly Rate Control) 实现数据的可靠传输和拥塞控制。我们称这种基于LT code的传输协议为LT code based Transport Protocol (LTTP)。 

本发明优点包括： 

1）不要求升级硬件或操作系统； 

2）能够有效解决TCP Incast问题，提高多对一数据传输效率； 

附图说明

图1．LTTP的工作流程 

client: 客户端 

switch: 交换机 

server: 服务器端 

establishes TCP connections: 建立TCP连接 

send requests: 发送请求报文 

send encoded packets: 发送编码报文 

send terminating signals: 发送结束命令 

Control Channel (TCP): 控制通道（基于TCP） 

Data Channel (UDP): 数据通道（基于UDP） 

具体实施方式

我们考虑到在多对一通信中，除了数据外，还有一些控制信息，比如客户端向各个服务器端发送的请求信息和客户端向服务器端发送的结束命令（以停止编码），为每一对通信双方配置一个控制通道（control channel）和一个数据通道（control channel）。其中控制通道用于传输控制信息，而数据通道只传输数据。由于控制信息数据量很小，不适合采用编码进行传输。因此控制通道使用TCP传输数据。数据通道使用UDP传输编码数据、使用TFRC控制发送速率。由于TCP连接仅从客户端向服务器端传输数据，而且这些服务器与不同的交换机端口相连，因此不会发生TCP Incast。 

对于数据中心网络，当进行多对一通信时，客户端首先与所有参与通信的服务器端建立控制通道（TCP连接）。待所有控制通道建立完毕后，由客户端通过控制通道向所有服务器端发送请求。服务器端在收到请求后，使用LT code对原始数据进行编码，并使用数据通道向客户端发送编码数据。我们为每一台参与通信的主机部署TFRC，用于控制服务器端发送数据的速度。客户端一旦恢复原始数据，就通过控制通道向相应的服务器端发送结束命令。待请求的所有数据都恢复完毕，通信结束。 

我们建立了一个拓扑，多台服务器通过一个交换机直接相连。其中一台服务器作为客户端，其它服务器作为服务器端。链路带宽均为1Gbps。我们在该拓扑上进行了实验，由该客户端向不同数量的服务器请求不同大小的数据，并分别使用LTTP、TCP和DCTCP重复上述实现，并比较LTTP与TCP和DCTCP的性能。实验结果表明，TCP和DCTCP在服务器数量较大时，均会发生TCP Incast。使用LTTP时，goodput未发现急剧下降的现象，能够维持在750Mbps左右，说明本发明达到了预期目的。 

Claims (1)

1.基于数字喷泉码的数据中心多对一的数据传输方法，其特征在于在数据中心网络中依次按以下步骤实现的：

步骤（1），构造一个数据中心多对一的数据传输网络拓扑，包含：多台服务器、一台交换机，其中：

多台服务器由作为客户端的任意一台服务器和作为服务器端的其它服务器组成，其中：客户端和每一个服务器端构成一对一通信通道，配置有一个控制通道和一个数据通道，所述控制通道传输客户端向服务器发出的控制信息，其中包括服务请求信息、用于停止编码的发送结束命令。所述控制通道采用TCP协议传输数据，数据通道采用用户数据报协议UDP传输数据；

交换机，不同的端口与各个所述服务器端直接或间接相连；

步骤（2），数据中心网络内的多对一的数据传输网络拓扑依次按以下步骤实现多对一的数据传输：

步骤（2.1），客户端和各服务器端预置TCP友好速率控制协议TFRC，

步骤（2.2），客户端与各服务器端建立TCP连接，接通控制通道，

步骤（2.3），客户端通过各控制通道向对应的各服务器端发送通信请求，

步骤（2.4），各服务器端收到所述通信请求后，使用数字喷泉码LTCode对原始数据编码，完毕后通过数据通道向客户端发送编码数据，

步骤（2.5），客户端通过为各服务器预置的基于TCP友好速率控制协议TFRC来控制各服务器端的数据发送速率，

步骤（2.6），客户端一旦恢复原始数据，就通过控制通道向相应的作为发送方的服务器端发送结束命令，

步骤（2.7），客户端重复执行步骤（2.6），一直到所有服务器端都发送完数据为止。