CN115733755A - 一种可填充网络带宽的数据中心传输控制系统及方法 - Google Patents

Abstract

本发明公布了一种可填充网络带宽的数据中心传输控制系统及方法，该系统包括集中控制器、主机端传输控制器和数据中心网络；集中控制器利用流信息包维护网络实时状态，利用流连接对应的主机端，对整个网络划分成多个子二分图，当流信息更新时，对子二分图进行计算，通过利用主机端的主动传输控制策略，对简单而确定的流量进行分布式控制，查找是否存在空余带宽，发送控制报文到新建立传输的发送端与接收端，完成对整个网络带宽的填充。与现有技术相比，本发明可以快速且温和地对整个网络剩余带宽进行利用，避免使网络承受拥塞与丢包；2)可以保证在很低的计算开销的同时，保证整个网络的高带宽利用率。

Description

一种可填充网络带宽的数据中心传输控制系统及方法

技术领域

本发明涉及流量控制或传输控制领域，具体涉及一种将集中传输控制与主动传输控制相结合的数据中心网络传输协议。

背景技术

随着实时音视频、电子商务、在线游戏、股票交易和虚拟现实等互联网业务的增长，对于数据中心网络的时延性能要求越来越高，从过去的秒级转变为现在的微秒级。时延直接影响用户的满意度，从而影响企业的收入。因此设计一种低时延的数据中心传输控制方案成为数据中心网络中的热点问题。

对于数据中心网络的传输控制问题，近年来涌现了大量的解决方法。传统的被动式传输控制(Reactive Congestion Control，RCC)方案需要试探链路状况，向网络中盲发数据，然后根据传输信号调整速率。例如，DCTCP根据标记ECN的数据包的比例调整发送窗口；TIMELY根据精确测量的往返时延(Round-Trip Time，RTT)调整发送速率。但是这是一种拥塞后调节方法，即调速时已经出现交换机队列堆积，甚至丢包等情况，这严重地影响了网络的时延。

伴随着数据中心网络带宽的不断发展，从100Gbps到400Gbps，主动传输控制越来越体现出了卓越的效果。主动式传输控制本质上是一种reciver-driven的传输控制方案，利用接收方收集发送方流信息，根据流大小以及接收端TOR交换机带宽决定何时发送哪条流，以确保高链路利用率，低延时和零数据包丢失。但是在数据中心网络的真实部署中，接收端收集所有目的地为该接收端的局部流信息，这些流信息只是整个网络拓扑中的一部分，所有接收端都只能根据局部信息做出局部最优决策，不同接收端的局部最优决策会产生冲突，例如当接收端A与接收端B同时匹配GRANT给发送端C，发送端C只能选择到A或者B中的较小流来发送数据，进而导致会有一个接收端处匹配的GRANT浪费,进而导致带宽的浪费。为了解决上述问题，目前先进的主动传输控制方案提出了一些解决方案，但都存在缺陷。例如Homa提出的Overcommitment机制，使接收端受限制的过度使用TOR下行链路带宽，发送多余的GRANT，进而保证接收端链路的高利用率，但是这种激进的策略会导致在接收端TOR处的数据包堆积，进而导致数据包丢失以及尾延迟增加。为了确定的保证整个网络的高带宽利用率，Dcpim使用多轮匹配的方式，匹配发送端和接收端，进而保证整个网络高带宽利用率。但是Dcpim为了保证匹配效果，每轮匹配都需要5RTT，这就导致了流等待匹配时间长以及流传输不灵活，例如流A是一条大流，A开始后，需要等待5个RTT的匹配时延后进行传输，在第6个RTT时，和A具有相同接收端的流B开始，即使B的流大小比A小很多，但是也需要等待到第二轮匹配结束(第10个RTT)时才可以开始传输。所以当前最先进的主动传输控制都不能很好的解决这个问题。

主动传输控制出现上述问题的本质在于接收端只具有整个网络流量信息的一部分，无法做出全局最优决策。为了解决这个问题，具有全局视野的集中调度方案是理想的解决办法，但是现有的集中调度方案也有其难以忽略的缺陷-开销大。例如Fastpass为代表的集中传输控制算法，所有流在发送之前需要将流信息发送到集中调度器中，集中调度器将时间分割成时间片，以时间片为最小决策单元，确定每个时间片内可以发送的流，以及发送流的发送速率。Fastpass虽然可以做到全局最优调度，但是其决策空间庞大，需要决策每个时间片中每个流的发送情况，并且随着数据中心网络节点不断增多，流数量不断增加，其决策空间会变得难以计算。

发明内容

为了解决上述问题，本发明旨在提出一种可填充网络带宽的数据中心传输控制方案，利用主机端处运行主动传输控制方案对链路空闲以及流不会产生带宽浪费时进行分布式控制，降低集中控制器的决策空间，进而降低集中控制器的调度与计算开销；于此同时集中控制器收集流量信息，构建全局视图并检测网络中是否存在带宽浪费以及未利用带宽，如果发现可利用带宽，通过集中调度包来使主机端建立数据传输通道，保证整个网络的高带宽利用率。

本发明利用以下技术方案实现：

一种可填充网络带宽的数据中心传输控制系统，该系统包括集中控制器、主机端传输控制器和数据中心网络；其中：

所述集中控制器，用于收集流信息、监控网络状态以及快速利用空闲带宽；所述集中控制器具体包括相连接的全局信息收集模块和冲突检测与收集模块；所述全局信息收集模块收集发送端流信息包和接收端流信息包，来构建全局流信息数据；所述冲突检测与收集模块，用于检测网络中是否存在带宽浪费以及未利用带宽，生成集中调度包；

所述主机端传输控制器，用于执行主动传输控制策略，所述主机端传输控制器具体包括接收端和发送端；所述发送端用于发送流信息包，以及接收并执行控制报文；所述发送端还进一步包括依次连接的流生成模块、第一流信息收集模块和发送控制模块，所述流生成模块与发送控制模块连接；其中，所述流生成模块用于生成流信息包，所生成的流信息包分别传输给第一流信息收集模和发送控制模块，所述流信息收集模块进行流信息包收集，用于传输发送端流信息包；所述发送控制模块，用于传输流信息包；所述接收端，用于收集流信息包、控制流许可包的发送以及接收集中调度；所述接收端具体包括依次相连第二流信息收集模块、传输控制模块和流信息正常发送检测模块；其中，所述第二流信息收集模块，用于接收到发送端流信息包、集中调度包和流许可包；所述流信息正常发送检测模块用于输出接收端流信息包到数据中心网络；

所述数据中心网络，用于将发送端流信息包和流数据包从发送端发送至集中控制器，将流许可包和集中调度包从集中控制器发送至主机端传输控制器的发送端，将发送端流信息包、集中调度包、流数据包从集中控制器发送至主机端传输控制器的接收端，将流许可包从主机端传输控制器的接收端发送至集中控制器。

一种可填充网络带宽的数据中心传输控制方法，该方法包括以下步骤：

集中控制器利用流信息包维护网络实时状态，利用流连接对应的主机端，对整个网络划分成多个子二分图，当流信息更新时，对子二分图进行计算，通过利用端主机侧的主动传输控制策略，对简单而确定的流量进行分布式控制，查找是否存在空余带宽，发送控制报文到新建立传输的发送端与接收端，完成对整个网络带宽的快速准确填充。

相比于现有技术，本发明能够达成以下的积极技术效果：

1)可以快速且温和地对整个网络剩余带宽进行利用，不需要等待dcpim的多轮匹配时延，避免使网络承受Homa的Overcommitment机制带来的拥塞与丢包；

2)可以保证在很低的计算开销的同时，快速且温和的对整个网络的可用带宽进行填充，进而保证整个网络的高带宽利用率。

附图说明

图1是本发明的一种可填充网络带宽的数据中心传输控制系统架构图；

图2是集中控制器流程图；

图3是发送端流程图；

图4是接收端流程图。

具体实施方式

下面将结合附图和实施方式对本发明作进一步地详细描述。

如图1所示，是本发明的一种可填充网络带宽的数据中心传输控制系统架构图。该系统主要包括集中控制器100、主机端传输控制器200和数据中心网络300。

集中控制器100，用于收集流信息、监控网络状态以及快速利用空闲带宽。集中控制器100具体包括相连接的全局信息收集模块110和冲突检测与收集模块120。数据中心网络300具有两个连接输出全局信息收集模块110的输出端，用于传输发送端流信息包和接收端流信息包，所述全局信息收集模块110收集来自数据中心网络300的发送端流信息包和接收端流信息包，来构建全局视图。所述冲突检测与收集模块120的一路输出与数据中心网络300相连接，用于检测网络中是否存在带宽浪费以及未利用带宽，将集中调度包下发至数据中心网络，进行流数据包控制。

主机端传输控制器200：主机端传输控制器200具体包括接收端210和发送端220。所述发送端210用于发送流信息包，以及接收并执行控制报文。所述发送端210还进一步包括流生成模块211、第一流信息收集模块212和发送控制模块213；

所述流生成模块211、第一流信息收集模块212和发送控制模块213依次连接，流生成模块211通过另一路与发送控制模块213直接连接；其中，流生成模块用于生成流信息包，所生成的流信息包分别传输给第一流信息收集模块212和发送控制模块213，所述流信息收集模块212进行流信息包收集，该模块包括两路输出，一路连接发送控制模块的输入端，另一路连接数据中心网络，用于传输发送端流信息包。所述发送控制模块213的一路输出至数据中心网络300，用于传输流信息包。所述数据中心网络300具有两个连接发送控制模块213的输出，用于传输流许可包和集中调度包至发送控制模块213。

所述接收端220，用于收集流信息包，控制GRANT(许可)的发送以及接收集中调度。所述接收端220还进一步包括第二流信息收集模块221、传输控制模块222和流信息正常发送检测模块223。所述第二流信息收集模块221、所述传输控制模块222和所述流信息正常发送检测模块223依次相连；其中，所述第二流信息收集模块221从所述数据中心网络300接收到三路输出即分别包括发送端流信息包、集中调度包和流许可包。所述流信息正常发送检测模块223用于输出接收端信息包到数据中心网络300；

所述数据中心网络300，用于将发送端流信息包和流数据包从发送端210发送至集中控制器100，将流许可包和集中调度包从集中控制器100发送至主机端传输控制器200的发送端210，将发送端流信息包、集中调度包、流数据包从集中控制器100发送至主机端传输控制器200的接收端220，将流许可包从主机端传输控制器200的接收端220发送至集中控制器100。

本发明的一种可填充网络带宽的数据中心传输控制方法，通过利用主机端(主机端位于服务侧)的主动传输控制策略，对简单而确定的流量进行分布式控制，减少集中控制器所需要控制的端主机数量以及所需要计算的流数量，大大减少了集中控制器的决策范围以及计算量，与此同时集中控制器利用流信息包维护网络实时状态，利用流连接对应端主机，对整个网络划分成多个子二分图，当流信息更新时，只需要对子二分图进行计算，查找是否存在空余带宽。大大降低了集中控制器的计算量与控制时延。

如图2所示，是本发明的集中控制器流程图。

步骤S21、集中控制器接收到一条流的流信息包，读取该流信息包中的源/目的IP；

步骤S2、存储流信息，即全局流信息数据，将该全局流量信息数据更新到对应的主机端信息中去，保持全局流视野的一致性；

步骤S23、利用记录的全局流量信息检测端主机侧是否满足自主控制(检测的依据是查看新流在接收端和发送端同时为最小流，则表明该流会在主机端侧自主建立连接)，如果满足，那么执行步骤S27，更新网络信息包括发送端和接收端的流信息；

如果不满足，执行步骤S24，存储新的流信息；

步骤S25、对当前的整个网络建立一张发送端与接收端的二分图，将该流量记录到该接收端和发送端所在的二分图中，并对该二分图进行带权最大匹配；其中，在二分图中，两点之间是否存在连线取决于发送端与接收端之间是否存在一条流，连线的长度值是由该接收端和发送端之间的最小流大小决定的，最小流越大，连线的长度值越小，反之，则连线的长度值越大，利用KM算法计算整张带权二分图的最大匹配；构建二分图过程如下：二分图的一侧由所有的发送端构成，另一侧为所有的接收端，遍历所有的发送端，对每一个发送端遍历每一个流，对该发送端到该流的接受端之间建立一条连线，连线数值由该流剩余流大小决定，流大小越大，该值越小(都大于0)，对每个发送端，如果他到其他接收端节点不存在一条流，那么也要建立一个连线，连线值为0；建立好二分图后运行KM算法，KM算法建议百度查询，会比我描述的更加详细。

步骤S26、检查新的匹配结果与当前网络状态的不同，将新的匹配与当前网络中真实的流量进行比较，发送集中调度包到新建立匹配的节点上，在该链路上建立连接，利用空闲链路，提高整个网络的带宽利用率，从而提高网络吞吐；

步骤S27、更新网络信息；是否存在可以利用的空闲带宽，如果有，发送控制报文到新建立传输的发送端与接收端，完成对整个网络带宽的快速准确填充。

如图3所示，是发送端流程图。

步骤S31、当发送端有一条新流到来时，首先利用流信息收集模块收集流信息包，该流信息包括流发送端IP、流接收端IP、流大小和流大小在发送端的排名等，将该流信息包发送到集中控制器与接收端，同时等待控制报文；

步骤S32、判断是否接收到集中调度包，即控制报文；具体地，发送端接收到控制报文时，控制报文包括接收端发送的流许可(GRANT)包以及集中控制器发送的集中调度包；

步骤S33、如果发送端接收到的是接收端流许可包，则记录为主动控制状态；记录当前节点发送状态为接收端控制的主动传输控制，记录当前发送流量信息，包括流五元组，流大小等；

步骤S34、如果发送端接收到的是集中控制器发送的集中控制报文时，记录为集中控制状态；记录当前节点发送状态为集中控制器控制的集中调度，记录当前发送流量信息，包括流五元组，流大小等；

步骤S35、发送流信息包，即根据控制报文的指示以线速(线速值指的是物理链路的理论最大速度由发送端网卡性能以及发送端网卡连接的网络链路带宽决定取网卡性能与链路带宽的较小值，比如10G网卡，100G链路带宽，线速就是10G，就是能达到的理论值)发送对应流信息包。

上述流程中，如果由于新流的加入或者是流结束导致发送端侧的流排名顺序发生变化，那么新的最小流就会发送更新的流信息包到达集中控制器以及接收端，同步流量信息变化。

如图4所示，是接收端流程图。

步骤S41、对接收端接收到数据包进行数据包类型判断；如果数据包类型，直接执行步骤S45；

步骤S42、如果是流信息包，将该流信息存储到流信息表中，然后检查流信息大小是否是发送端最小流(具体是查看该流信息包中该流在发送端的大小排名，该流大小排名是否为发送端的最小流)；具体的，如果该流大小小于一个BDP，那么主机端侧将该流标记为小流，直接以线速发送该流，如果该流大小大于一个BDP，那么主机端侧的流信息收集模块收集新流信息；

如果该流是发送端侧的最小流，执行步骤S43、判断当前接收端状态；如果当前接收端为空闲状态，执行步骤S44，发送流许可包，统计流信息；如果当前接收端状态存在正在接收的流，则执行步骤S47，判断当前流是否大于接收端正在接收的流；

如果当前流是否大于接收端正在接收的流，则执行步骤S46，存储流信息；如果当前流小，表明在接收端侧该流也是最小流，则执行步骤S44的发送流许可包，接收端更新正在接收的流为该流；

如果该流不是发送端侧的最小流，执行步骤S46，存储流信息，该流信息存储到流信息表中，记录该数据流的收发记录信息，返回该数据包的ACK；

步骤S45、接收流数据包，直至流结束。

综上所述，上述流程中，当接收端接收到一条新流的流信息包时，存储该流的流信息包，检测数据包类型；并且查询该流大小是否同时是接收端与发送端的最小流，如果是，那么对该流的发送端发送GRANT，如果不是，则继续发送当前流量或者空闲等待调度。当接收端接收到集中控制器的集中调度报文时，根据控制报文的指示以线速接收对应流量。

本发明在YAPS上进行了大规模的仿真实验。采用WebServer、CacheFollower、WebSearch和DataMining真实工作负载。利用YAPS进行模拟实验，网络拓扑是叶脊拓扑，包括144个服务器，100G的带宽；在YAPS上实现了Dcpim作为对比实验，在不同的网络负载之下比较本方法与Dcpim的效果，利用GoodPut作为主要衡量指标，该指标利用所有流结束后的流大小除以流完成时间，该指标可以理解为对于应用来说的网络有效吞吐，是比比较吞吐量更有效的指标，因为吞吐量中如果包含重传时，其实网络带宽并没有被有效利用。在0.1-0.8的不同负载情况下，整个网络的Goodput提高了20-50％，进而导致整体流FCT也进行的降低，并且由于本发明比dcpim更加灵活，所以较小的流(小于等于10*BDP)完成时间降低了2-3倍，这对延迟敏感型的小流是极大的性能提升。

总而言之，本发明可以在较低的计算开销的同时，快速检测网络链路使用状态，准确而温和的填充网络空闲带宽，保证整个网络的高吞吐，低时延，以及低丢包。

上述技术方案描述并非对本发明技术内容的限定。对于本领域技术人员来说，凡在本申请的精神和原理之内所作的任何修改、等同替换和改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种可填充网络带宽的数据中心传输控制系统，其特征在于，该系统包括集中控制器、主机端传输控制器和数据中心网络；其中：

所述集中控制器，用于收集流信息、监控网络状态以及快速利用空闲带宽；所述集中控制器具体包括相连接的全局信息收集模块和冲突检测与收集模块；所述全局信息收集模块收集发送端流信息包和接收端流信息包，来构建全局流信息数据；所述冲突检测与收集模块，用于检测网络中是否存在带宽浪费以及未利用带宽，生成集中调度包，集中调度包下发至数据中心网络，进行流数据包控制；

所述主机端传输控制器，用于执行主动传输控制策略，所述主机端传输控制器具体包括接收端和发送端；所述发送端用于发送流信息包，以及接收并执行控制报文；所述发送端还进一步包括依次连接的流生成模块、第一流信息收集模块和发送控制模块，所述流生成模块与发送控制模块连接；其中，所述流生成模块用于生成流信息包，所生成的流信息包分别传输给第一流信息收集模和发送控制模块，所述流信息收集模块进行流信息包收集，用于传输发送端流信息包；所述发送控制模块，用于传输流信息包；所述接收端，用于收集流信息包、控制流许可包的发送以及接收集中调度；所述接收端具体包括依次相连第二流信息收集模块、传输控制模块和流信息正常发送检测模块；其中，所述第二流信息收集模块，用于接收到发送端流信息包、集中调度包和流许可包；所述流信息正常发送检测模块用于输出接收端流信息包到数据中心网络；

所述数据中心网络，用于将发送端流信息包和流数据包从发送端发送至集中控制器，将流许可包和集中调度包从集中控制器发送至主机端传输控制器的发送端，将发送端流信息包、集中调度包、流数据包从集中控制器发送至主机端传输控制器的接收端，将流许可包从主机端传输控制器的接收端发送至集中控制器。

2.一种可填充网络带宽的数据中心传输控制方法，其特征在于，该方法包括以下步骤：

集中控制器利用流信息包维护网络实时状态，利用流连接对应的主机端，对整个网络划分成多个子二分图，当流信息更新时，对子二分图进行计算，通过利用主机端的主动传输控制策略，对简单而确定的流量进行分布式控制，查找是否存在空余带宽，发送控制报文到新建立传输的发送端与接收端，完成对整个网络带宽的填充。

3.如权利要求2所述的一种可填充网络带宽的数据中心传输控制方法，其特征在于，集中控制器侧流程具体包括以下步骤：

收到一条流的流信息包，存储为全局流信息数据，将该全局流量信息数据更新到对应的主机端信息中；对当前的整个网络建立一张发送端与接收端的二分图，将该流量记录到该接收端和发送端所在的二分图中，对该二分图进行带权最大匹配；将得到的带权最大匹配结果作为新的匹配与当前网络中真实的流量进行比较，发送集中调度包到新建立匹配的节点上，在该链路上建立连接，实现对空闲链路的利用；更新网络信息；在存在空闲带宽的情况下，发送控制报文到新的匹配，新建立传输的发送端与接收端，完成对整个网络带宽的快速准确填充。

4.如权利要求2所述的一种可填充网络带宽的数据中心传输控制方法，其特征在于，发送端流程具体包括以下步骤：

当发送端有一条新流到来时，将流信息包发送到集中控制器与接收端，等待接收端发送的流许可包以及集中控制器发送的集中调度包；如果发送端接收到的是流许可包，则记录为主动控制状态，如果发送端接收到的是集中调度包时，记录为集中控制状态；根据控制报文的指示以线速发送对应流信息包。

5.如权利要求4所述的一种可填充网络带宽的数据中心传输控制方法，其特征在于，在发送端，如果由于新流的加入或者是流结束导致发送端侧的流排名顺序发生变化，那么新的最小流就会发送更新的流信息包到达集中控制器以及接收端，同步流量信息变化。

6.如权利要求2所述的一种可填充网络带宽的数据中心传输控制方法，其特征在于，接收端流程包括以下步骤：

对接收端接收到流信息包进行策略分析：对于发送端最小流的流信息，在当前接收端状态为空闲状态时，发送流许可包且统计流信息；当前接收端状态为存在正在接收的流时，对于是在接收端侧的最小流的当前流，发送流许可包；对于不是在接收端侧的最小流的当前流，存储流信息，该流信息包存储到流信息表中，记录该流信息包的收发记录信息，返回对该流信息包的确认，直至流结束。

Images