CN115442314A - 一种实用的数据中心网络主动式传输系统及方法 - Google Patents

Abstract

本发明公开了一种实用的数据中心网络主动式传输系统，包括高优先级控制环路和低优先级控制环路；所述高优先级控制环路HCP，实现了使用DCTCP算法控制逻辑实现高优先级机会数据包控制；所述低优先级控制环路LCP，所述低优先级控制环路LCP，实现了接收端和发送端对流量中低优先级机会数据包的控制。与现有技术相比，本发明通过使用高、低优先级控制环路发送TCP/IP协议栈以外的低优先级机会数据包，有效地利用网络空闲带宽，从而提高吞吐量和降低流量完成时间(Flow Completion Time，FCT)；在提高数据中心网络传输性能同时降低部署成本。

Description

一种实用的数据中心网络主动式传输系统及方法

技术领域

本发明属于数据中心网络传输领域，特别是涉及一种基于TCP/IP协议栈的数据中心网络主动式传输策略。

背景技术

在过去十年中，数据中心网络中的链路速度从1Gbps或10Gbps快速稳定地增长到100Gbps。随着网络流量传输速率越来越快，往返时延(Round-Trip Time，RTT)也越来越小。鉴于这种趋势，充分利用每个RTT中的可用容量对于数据中心网络传输保持低延迟和高吞吐量至关重要。但传统的数据中心网络传输策略如DCTCP、DCQCN和TIMELY，其本质上是反应式的，即对来自网络的拥塞信号(如ECN，延迟等)做出应并相应迭代更新发送速率。这些反应式的传输策略的收敛时间往往较长，需要多次往返才能收敛到正确的速率，往往导致性能不佳。

因此，主动式传输策略成为一种很有前景的替代方案，其中链路带宽由接收端或中央控制器以信用包的方式明确分配，发送端根据接收到信用包发送相应的数据，以主动预防拥塞来达到低延迟和高吞吐。经过大量验证，主动式传输策略可以保持相当低的丢包率和交换机缓存队列长度以及很好地适应于当高链路速高/低交换机缓存的数据中心网络。

然而，现有的主动式传输策略(如pHost、NDP、ExpressPass、Homa等)推翻了整个TCP/IP网络协议栈，并且可能需要可编程交换机的支持，使其难以在生产数据中心环境中部署，因而实用性低。例如，现有的主动式传输协议都基于用户态协议栈DPDK实现，导致与TCP套接字的现有应用程序(如键值存储，数据并行处理，机器学习等)不兼容。尽管Homa有基于Linux UDP的版本，可以兼容主机协议栈部分功能(如eBPF，Netfilter等)，但大部分原有网络组件需要重新设计，包括socket应用接口、softIRQ软件中断等。另外，NDP协议需要交换机支持削减有效载荷功能，但现有数据中心内常用的商用交换机所并不支持此功能。

发明内容

针对现有主动式传输策略实用性低的问题，本发明旨在提出一种实用的数据中心网络主动式传输系统，实现了基于商用交换机与传统TCP/IP协议栈且实用的主动式传输策略，在提高数据中心网络传输性能同时降低部署成本。

本发明利用以下技术方案实现：

一种实用的数据中心网络主动式传输系统，该系统包括高优先级控制环路和低优先级控制环路；其中：

所述高优先级控制环路HCP，实现了使用DCTCP算法控制逻辑实现高优先级机会数据包控制，具体包括以下操作：

由Socket从缓存的头部开始发送机会数据包，赋予机会数据包高优先级，进入交换机高优先级队列；

所述低优先级控制环路LCP，所述低优先级控制环路LCP，实现了接收端和发送端对流量中低优先级机会数据包的控制，具体包括以下操作：

由Socket从缓存的尾部开始发送机会数据包，赋予数据包低优先级，进入交换机低优先级队列，具体的控制算法包括间歇循环初始化和指数窗口缩减；所述间歇循环初始化为每当HCP循环留下的备用容量间歇性出现时，重新初始化一个LCP循环，计算一个机会数据包传输的初始窗口；所述指数窗口缩减为当LCP循环初始化时，对窗口采用指数递减策略，在每个往返时延RTT将机会数据包的发送速率降低一半，以恰好利用HCP循环在每个往返时延RTT中留下的空闲带宽。

所述间歇性循环初始化的控制算法进一步包括：

情况一：当一条流量开始发送时，进入DCTCP算法的慢启动阶段，此时从流量的初始窗口逐步爬升到收敛值；初始化的LCP循环内的初始窗口设置为一个带宽时延积，以最大化利用空余带宽；

情况二：当该流量结束慢启动阶段后，进入DCTCP算法的拥塞控制阶段，此时流量的拥塞窗口呈现锯齿状变化，交换机队列长度不断增长，直到机会数据包被丢弃；具体的，当低优先级队列大小超过标记阈值时，发送端将在一个往返时延RTT中接收拥塞信号ECN所标记的ACK，以削减其窗口大小以降低队列长度，此后队列长度会下降，被标记的ACK也越少，直到处于最低值，交换机缓冲区留出一部分未得到充分利用的空间，导致网络中带宽被浪费。

所述指数窗口缩减的控制算法进一步包括：

每个机会数据包进入交换机端口中的低优先级队列，如果低优先级队列占用率大于阈值，则在其到达时用拥塞信号ECN标记；在接收端实现LCP循环速率控制，即每当两个连续的机会数据包到达接收器时，接收端向发送端发送一个主动式传输策略的信用包；在接收到主动式传输策略的信用包时，由发送端发送机会数据包，在每个往返时延RTT之后，机会数据包的发送速率减少一半。

所述情况二中，在交换机队列长度最低时初始化拥塞控制阶段的LCP循环的初始窗口，窗口大小由DCTCP算法的窗口与参数的共同决定，LCP循环的初始窗口如下式所示：

其中，W_max为流量在传输过程中DCTCP的最大窗口，α_min为接收到的ACK中被ECN标记的比例最小值。

与现有技术相比，本发明通过使用高、低优先级控制环路发送TCP/IP协议栈以外的低优先级机会数据包，有效地利用网络空闲带宽，从而提高吞吐量和降低流量完成时间(Flow Completion Time，FCT)。

附图说明

图1为本发明的一种实用的数据中心网络主动式传输系统及方法架构示意图。

图2为接收端实现流程图。

图3为发送端实现流程图。

图4为物理集群下本发明的平均延迟与吞吐量测试结果示意图。

图5为大规模仿真下本发明的平均延迟测试结果示意图。

图6为大规模仿真下本发明的吞吐量测试结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述。对于本领域技术人员来说，凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

如图1所示，为本发明的一种实用的数据中心网络主动式传输系统架构示意图。该系统包括高优先级控制环路和低优先级控制环路。其中，所述高优先级控制环路(HighPriority Control Loop，HCP)，实现了使用DCTCP算法控制逻辑实现高优先级机会数据包控制，具体包括以下操作：

由Socket从缓存的头部开始发送机会数据包，赋予机会数据包高优先级，进入交换机高优先级队列。由于DCTCP算法的窗口动态特性，HCP循环留下的备用容量间歇性出现。

所述低优先级控制环路(Low Priority Control Loop，LCP)，用于实现低优先级机会数据包控制，具体包括以下操作：由Socket从缓存的尾部开始发送机会数据包，赋予数据包低优先级，进入交换机低优先级队列。LCP控制算法分为间歇循环初始化和指数窗口缩减两个部分。详述如下：

1、间歇性循环初始化：每当HCP循环留下的备用容量间歇性出现时，重新初始化一个LCP循环，计算一个机会数据包传输的初始窗口。

情况一：当一条流量开始发送时，进入DCTCP算法的慢启动阶段，此时从流量的初始窗口逐步爬升到收敛值，造成带宽浪费。初始化的LCP循环内的初始窗口设置为一个带宽时延积(Bandwidth Delay Product，BDP)，以最大化利用空余带宽。

情况二：当该流量结束慢启动阶段后，进入DCTCP算法的拥塞控制阶段，此时流量的拥塞窗口呈现锯齿状变化，交换机队列长度不断增长，直到机会数据包以类似的锯齿模式丢弃。具体来说，当低优先级队列大小超过标记阈值时，发送端将在一个往返时延RTT中接收拥塞信号ECN所标记的ACK，以削减其窗口大小以降低队列长度。此后队列长度会下降，被ECN标记的ACK也越少，直到处于最低值，交换机缓冲区留出一部分未得到充分利用的空间，导致网络中带宽被浪费。因此在拥塞控制阶段的LCP循环初始窗口应在交换机队列长度最低时初始化，且窗口大小由DCTCP算法的窗口与参数的共同决定。假设流量在传输过程中DCTCP的最大窗口为W_max，接收到的ACK中被ECN标记的比例最小值为a_min，则此时LCP循环的初始窗口大小等于

2、窗口指数缩减(Exponential Window Decreasing，EWD)：当LCP循环初始化时，对窗口采用指数递减策略，以恰好利用HCP循环在每个往返时延RTT中留下的空闲带宽。其关键思想是在每个往返时延RTT将机会数据包的发送速率降低一半。这种方式可以平稳地利用空闲带宽，而不会影响正常的数据包传输，同时缓解利用不足的问题。每个机会数据包进入交换机端口中的低优先级队列，如果低优先级队列占用率大于阈值(低于高优先级队列标记阈值)，则在其到达时用拥塞信号ECN标记。LCP速率控制在接收机端实现，特别地，每当两个连续的机会数据包到达接收器时，接收器向发送者发送一个低优先级ACK(相当于主动式传输策略的信用包)。在接收到低优先级ACK时，由发送端发送机会数据包。由于接收器仅为接收两个机会数据包生成一个低优先级ACK，理想情况下，在每个往返时延RTT之后，机会数据包的发送速率自然减少一半。

基本实施环境：

(1)主机侧Linux Kernel版本不小于3.18；

(2)网络侧交换机需支持严格优先级队列、RED/ECN功能。

如图2所示，为接收端的实现过程图，主要包含以下3部分：

(1)优先级读取：当每个数据包被读入并在IP层转换为skb时，将IP报头中DSCP优先级字段复制到skb→priority字段；由TCP层tcp_recv_established()函数区分数据包的skb→priority字段并进行下一步操作。

(2)高低优先级数据包处理流程：将低优先级和高优先级数据包隔离到不同的控制逻辑中，以确保标准的TCP ACK机制和其他变量不受影响。一方面，高优先级数据包通过默认的DCTCP控制逻辑并照常返回ACK。另一方面，当接收到两个连续的机会数据包时，发送一个低优先级ACK以触发机会数据包以实现EWD。该ACK携带累积确认序列和SACK标记以指示哪些机会包被接收。注意，本方法需要启用SACK。此外，如果任何数据包出现乱序，无论优先级如何，它都会通过未修改的函数tcp_data_queue()临时存储在乱序队列中；丢失的数据包到达后，乱序队列保序的部分将被转发到应用层缓冲区。

(3)高低优先级ACK处理流程：当接收到高优先级ACK时，DCTCP会调用dctcp_update_alpha()函数来更新DCTCP中的运行时参数α。当接收低优先级ACK时，本方法添加了一个新的函数tcp_ack_loops()来处理，它包含两个基本操作。具体来说，如果低优先级的ACK没有标记ECE标志，从发送缓冲区的最后一个字节发送一个新的机会包；否则跳过。第二个操作调用未修改的函数tcp_sacktag_write queue()来更新SACK记分板，它记录了已被SACK的字节。通常，接收到的ACK的值小于snd_nxt字段，snd_nxt字段是所有高优先级数据据包的最后一个字节的序列号。但是，如果DCTCP发送端与LCP环路的机会数据包相遇时，接收端会按顺序获取机会性数据包并返回ACK携带大于snd_nxt字段的序列号(即所有机会数据包的第一个字节)。为了让TCP在这种情况下继续正常运行，本方法通过推进发送队列的头部并使用新的ACK值更新snd_nxt字段来调整ACK处理。

如图3所示，为发送端实现流程图。主要包含以下处理：

(1)高优先级数据发送路径：在默认的Linux内核中，当应用程序调用send()函数时，数据通路将开始数据传输。然后，它将应用程序的数据从用户空间复制到内核Socket发送缓存；每个skb代表一个数据包。skb将首先通过TCP的逻辑，最终通过dev_queue_xmit()函数传递到NIC设备队列进行传输。本发明主要通过添加名为tcp_send_loops()的函数来扩展内核网络堆栈中的发送端代码。

(2)LCP控制环路：一旦数据被tcp sendmsg()分割成skbs，使用tcp_send_loops()来调用LCP循环。具体来说，tcp_send_loops()函数从Socket发送缓存尾部读取机会数据包。对于正常的DCTCP数据包发送，它仍然通过现有的tcp_push()函数，该函数从Socket发送缓存头部的第一个字节开始读取。

(3)间歇性循环初始化：在tcp_send_loops()中，只为LCP控制逻辑实现间歇循环初始化机制，以确定机会数据包的初始窗口。对于EWD，由tcp_ack_loops()和接收端协同处理。对于一条即将传输的流量，初始窗口是BDP。对于经历过慢启动进入拥塞控制阶段的流量，调用dctcp_get_info()函数来获取DCTCP中的运行时参数α；还使用sock数据结构中的新建来存储过去几个RTT中的最小α_min，可以用它来计算初始窗口。

(4)优先级标记：对于tcp_send_loops()函数中的机会数据包，将skb→priority字段设置为1。对于普通的DCTCP数据包，它们的skb→priority字段默认分配为优先级0。分配优先级后，数据包通过tcp_transmit_skb()函数转发。在IP层使用ip_queue_xmit()函数将skb→priority的值复制到IP头中的DSCP优先级位，这样交换机和接收端就可以对不同类型的数据包进行分类。

本发明在小规模物理集群上分别与DCTCP和RC3进行对比。集群包含四台主机(3客户机，1服务机)、一台交换，链路带宽为10Gbps；交换机配置采用严格优先级队列、RED和ECN。应用层流量采用WebSearch和DataMining真实的工作负载；底层通信控制算法为本方法、DCTCP和RC3。其中DCTCP是数据中心使用最广泛的反应式传输控制算法；RC3同样采用机会数据包提高带宽利用率，但缺少拥塞控制。

如图4所示，为物理集群下本发明的平均延迟与吞吐量测试结果示意图。(a)和(b)展示了WebSearch和DataMining工作负载下的流量平均流量完成时间FCT。与DCTCP算法相比，在两个负载下本发明将流量平均FCT分别降低了10％和21％；与RC3相比，本发明将流量平均流量完成时间FCT分别降低了28％和51％。(c)和(d)展示了WebSearch和DataMining工作负载下的吞吐量。与DCTCP算法相比，在两个负载下本发明将吞吐量分别提高了18％和28％；与RC3算法相比，本发明将吞吐量分别提高了26％和39％。

如图5所示，为大规模仿真下本发明的平均延迟测试结果示意图。相比于Aeolus、DCTCP、NDP和Homa多种现有算法，本发明将平均流量完成时间FCT比分别降低了18％、45％、31％和39％。

如图6所示，为大规模仿真下本发明的吞吐量测试结果示意图。相比于Aeolus、DCTCP、NDP、Homa和RC3多种现有算法，本发明将吞吐量比分别提高了7％、49％、41％、166％和411％。

上述测试结果表明，仿真实验结果好于物理集群实验结果，这是由于大规模仿真网络的带宽更大且延迟更低，是的剩余带宽更多。因此本发明在总体上优于其他传输策略，可以传输更多的机会数据包利用带宽，使得效果更显著。

以上所述仅为展示本发明技术思想和特点的较为优选的实施方式，目的在于能够使本领域内的技术人员理解发明内容并据此实施，并不用以限制本发明，即在本发明精神和原则之内所做的修饰、替代、同等变化等，均应在本发明保护范围之内。

Claims (4)

1.一种实用的数据中心网络主动式传输系统，其特征在于，该系统包括高优先级控制环路和低优先级控制环路；其中：

所述高优先级控制环路HCP，实现了使用DCTCP算法控制逻辑实现高优先级机会数据包控制，具体包括以下操作：

由Socket从缓存的头部开始发送机会数据包，赋予机会数据包高优先级，进入交换机高优先级队列；

所述低优先级控制环路LCP，实现了接收端和发送端对流量中低优先级机会数据包的控制，具体包括以下操作：

由Socket从缓存的尾部开始发送机会数据包，赋予数据包低优先级，进入交换机低优先级队列，具体的控制算法包括间歇循环初始化和指数窗口缩减；所述间歇循环初始化为每当HCP循环留下的备用容量间歇性出现时，重新初始化一个LCP循环，计算一个机会数据包传输的初始窗口；所述指数窗口缩减为当LCP循环初始化时，对窗口采用指数递减策略，在每个往返时延RTT将机会数据包的发送速率降低一半，以恰好利用HCP循环在每个往返时延RTT中留下的空闲带宽。

2.如权利要求1所述的一种实用的数据中心网络主动式传输系统，其特征在于，所述间歇性循环初始化的控制算法进一步包括：

情况一：当一条流量开始发送时，进入DCTCP算法的慢启动阶段，此时从流量的初始窗口逐步爬升到收敛值；初始化的LCP循环内的初始窗口设置为一个带宽时延积，以最大化利用空余带宽；

情况二：当该流量结束慢启动阶段后，进入DCTCP算法的拥塞控制阶段，此时流量的拥塞窗口呈现锯齿状变化，交换机队列长度不断增长，直到机会数据包被丢弃；具体的，当低优先级队列大小超过标记阈值时，发送端将在一个往返时延RTT中接收拥塞信号ECN所标记的ACK，以削减其窗口大小以降低队列长度，此后队列长度会下降，被标记的ACK也越少，直到处于最低值，交换机缓冲区留出一部分未得到充分利用的空间，导致网络中带宽被浪费。

3.如权利要求1所述的一种实用的数据中心网络主动式传输系统，其特征在于，所述指数窗口缩减的控制算法进一步包括：

每个机会数据包进入交换机端口中的低优先级队列，如果低优先级队列占用率大于阈值，则在其到达时用拥塞信号ECN标记；在接收端实现LCP循环速率控制，即每当两个连续的机会数据包到达接收器时，接收端向发送端发送一个主动式传输策略的信用包；在接收到主动式传输策略的信用包时，由发送端发送机会数据包，在每个往返时延RTT之后，机会数据包的发送速率减少一半。

4.如权利要求2所述的一种实用的数据中心网络主动式传输系统，其特征在于，所述情况二中，在交换机队列长度最低时初始化拥塞控制阶段的LCP循环的初始窗口，窗口大小由DCTCP算法的窗口与参数的共同决定，LCP循环的初始窗口如下式所示：

其中，W_max为流量在传输过程中DCTCP的最大窗口，α_min为接收到的ACK中被ECN标记的比例最小值。

Images