CN110191065A - 基于软件定义网络的高性能负载均衡系统与方法 - Google Patents

Abstract

本发明公开了一种基于软件定义网络的高性能负载均衡系统，主要解决现有数据中心网络核心层中负载不均、链路拥塞的问题。其包括Fat‑Tree底层网络和SDN控制器，该Fat‑Tree底层网络部署有流量抽样检测模块，DCTCP流量控制模块和基于FEC的编码传输模块，分别完成实时感知流量并区分鼠流象流，根据链路时延调整端口流量速率大小和添加冗余包降低鼠流时延的功能。该SDN控制器中增设有拓扑信息模块和象流调度模块，用于完成存储底层网络的拓扑信息，并将象流调度到具有最小路径成本的路径。本发明降低了因丢包而引起的重传延迟，解决了鼠流首尾阻塞问题，提高了象流吞吐量，可用于Fat‑Tree数据中心网络拓扑。

Description

基于软件定义网络的高性能负载均衡系统与方法

技术领域

本发明属于通信网络技术领域，具体涉及一种高性能负载均衡系统与方法，可用于Fat-Tree数据中心网络拓扑，以实时区分鼠流与象流，实现流量负载均衡。

背景技术

随着互联网在线业务用户量和大众接入带宽的快速增长，数据中心网络流量呈现迅速增长的态势。互联网业务对数据中心提出了越来越高的传输质量要求，包括大带宽、低时延、安全保障、灵活调度等。在这样的趋势下，出现了各种各样的解决方案，以OpenFlow协议为代表的软件定义网络SDN技术便是应运而生的一种新型网络交换模型，它完全颠覆了原有控制和数据转发使用同一平面的做法，采用控制平面和转发平面的分离的模式极大地简化了网络转发设备，使依据全局网络状态、灵活地制定数据转发行为成为可能，并为网络创新提供了良好的平台。

随着云计算等技术的发展，大量的计算任务需要多台服务器间进行交互式工作，这促使数据中心网络内部服务器间的横向流量大大增加。同时，由于数据中心业务类型的不同，服务器节点产生的流量存在明显的大小特征差异，数据中心网络内部混合了大量的鼠流和象流。其中，鼠流是指包含数据量小，对网络时延要求较高的数据流，在网络中所占的数目多，但总字节数小；象流是指包含数据量大，对网络带宽需求较高的数据流，在网络中所占的数目少，但总字节数大。当前数据中心的多路径路由解决方案依赖于ECMP在所有等成本路径之间分配流量。然而，ECMP并不能区分象流和鼠流，导致了鼠流的首尾阻塞和长尾潜伏期。最近的解决方案优先考虑鼠流以满足它们的延迟需求，而忽略象流的吞吐量需求。此外，它们在大规模网络下的可扩展性较差。

发明内容

本发明的目的在于针对上有技术的不足，提出一种基于软件定义网络的高性能负载均衡系统与方法，以减小当前数据中心网络的鼠流时延，提高象流吞吐量，提升在大规模网络下的可扩展性。

本发明技术思路是：通过对网络的初始化，完成Fat-Tree拓扑构建与各交换机的地址分配，SDN控制器负责对整个网络拓扑信息的感知，通过Tor交换机流量抽样检测实时感知发送端流量大小；通过在交换机上部署DCTCP协议，根据链路拥塞程度动态调整鼠流端口速率限制，当链路时延超出预定值时，采用基于编码的添加冗余包的传输协议使丢包率下降。

根据上述思路，本发明的技术方案是这样实现的：

1.一种基于软件定义网络的高性能负载均衡系统，包括：

Fat-Tree拓扑结构，包括有多个Tor交换机，用于满足数据中心扩展的需求，并根据SDN控制器下发的流表项确定转发端口，实现流量调度；

SDN控制器，用于获取整个网络的拓扑信息，负责所有交换机的统一集中控制，实现链路发现、拓扑管理、策略定制和表项下发操作；

其特征在于：

每一个Tor交换机上均部署有流量抽样检测模块，在数据包发送端与接收端均部署有DCTCP流量控制模块与基于FEC的编码传输模块；

SDN控制器中设有拓扑信息模块、象流调度模块、OF协议模块、拓扑发现模块和REST API模块；

所述流量抽样检测模块，用于实时感知交换机各个端口的流量速率，并根据流量速率的大小判别流量为鼠流或象流：如果流量判别为鼠流，则运行DCTCP流量控制模块与基于FEC的编码传输模块；如果流量判别为象流，则运行象流调度模块；

所述DCTCP流量控制模块，用于根据链路拥塞程度动态调整端口速率限制；

所述基于FEC的编码传输模块，用于当链路时延超出预定值时，在编码过程中添加冗余包使丢包率下降；

所述拓扑信息模块，用于存储底层网络的拓扑信息；

所述象流调度模块，用于根据不同路径的拥塞状态，将象流调度到具有最小路径成本的路径以提高其吞吐量。

所述OF协议模块，用于处理来自交换机的数据包，生成流表项，处理网络事件，汇总状态信息；

所述拓扑发现模块，用于发送并解析LLDP报文感知拓扑状态；

所述REST API模块，用于提供与OpenFlow的相关接口，能够查看交换机信息，添加、修改流表。

2.一种基于软件定义网络的高性能负载均衡方法，其特征在于，包括如下：

1)网络初始化：

1a)建立pod数为16的Fat-Tree数据中心网络拓扑；

1b)SDN控制器发送LLDP报文，获得整个网络的拓扑信息，并存储；

1c)采用Random流量模型使拓扑中随机两个终端通信在发送端产生的象流和鼠流分别占20％与80％；

2)判别流量类型：

以每100KB流量进行一次数据包采样，若在500us内检测到两次或两次以上采样操作，则判定该流量为象流，执行6)，否则，判定该流量为鼠流，执行3)；

3)计算链路拥塞率：

设g和r分别表示重传时延大的ACK包数量和接收到的ACK包总数，计算鼠流被象流阻塞程度，即阻塞率α：

判断阻塞率α是否小于设定值0.6，若小于，此时链路拥塞但未出现大概率丢包现象，执行4)，否则，执行5)；

4)根据阻塞率α调整鼠流转发端口的阻塞窗口大小m：

5)冗余优化：

发送端每发送m个数据包添加n个冗余包，接收端通过解码冗余包恢复丢失的数据包，以在降低丢包率的同时节约重传时间，为保证至少有m个编码数据包到达接收端，通过以下冗余优化式控制冗余包数量：

(1-α)×(m+n)≥m；

6)象流调度：

6a)计算链路总拥塞，设f_i为生成的流量集F中的第i组流量，为该组流量的发送端，为该组流量的接收端，为链路带宽，设为到所有可能的路径集合，为在t时刻沿路径路由的流f_i的数量，根据这些参数定义网络状态N(t)为：

6b)在线马尔可夫算法下，将N(t)演化为马尔可夫链，计算链路l上的总拥塞T_l(t)：

6c)计算单个链路成本h(x)：

其中z为链路开销因子；

6d)对于每个容量为C_l的链路l，当其拥塞为T_l时，将代入6c)公式，则单个链路成本为计算路径总成本Y(N(t))为：

6e)在所有可能路径中取成本Y(N(t))最小的路径作为象流最优调度路径。

本发明与现行技术相比具有的优点：

1.本发明由于在Tor交换机上均增设流量抽样检测模块，可以实时感知交换机各个端口的流量速率，解决了现有数据中心网络中因不能感知流量类型所导致的鼠流长尾潜伏期问题。

2.本发明由于在数据包发送端与接收端均增设有DCTCP流量控制模块与基于FEC的编码传输模块，可以根据拥塞率的大小，自动部署两种处理鼠流的方法。当链路拥塞但不发生丢包时，终端主机可根据阻塞概率自适应调整鼠流的拥塞窗口大小，减小鼠流的FCT；当发生大概率丢包时，终端主机上使用FEC技术对鼠流进行编码，可以降低因丢包而引起的重传延迟并解决了鼠流首尾阻塞问题。

3.本发明由于在SDN控制器部署有象流调度模块，通过感知拥塞，对象流进行动态调度，解决了现有方案优先考虑鼠流的延迟需求，而忽略象流的吞吐量需求的问题，提高了象流的穿透性。

4.本发明分别由终端主机和中央控制器处理鼠流和象流，因此，控制器只处理流的一小部分，可满足数据中心网络的高伸缩性，解决了大规模网络的可扩展性较差的问题。

附图说明

图1是本发明的通信系统结构框图；

图2是本发明实现鼠流象流负载均衡的流程图。

具体实施方式

下面结合附图对本发明的实施方式做进一步详细描述。

参照图1，本发明基于软件定义网络的高性能负载均衡系统，包括拥有16个pod结构的Fat-Tree底层网络1和一个SDN控制器2。其中，Fat-Tree底层网络1部署有发送端和接收端以及许多交换机，用于为流量转发提供物理基础；SDN控制器2将数据平面与控制平面分离，通过下发流表项对物理层设备进行集中管控。Fat-Tree底层网络1中的交换机根据SDN控制器2下发的流表项约束自身行为，确立处理流量的动作、优先级与转发端口。

所述Fat-Tree底层网络1的交换机中，部署有流量抽样检测模块11，发送端和接收端中部署有DCTCP流量控制模块12和基于FEC的编码传输模块13，其中：

该抽样检测模块11，用于实时感知端口流量速率大小，对数据包每100KB进行一次采样，并对采样的次数进行判别：若在500us内检测到两次或两次以上采样操作，则判定为象流，否则，判定为鼠流；

该DCTCP流量控制模块12，利用重传时延大的ACK包数量和接收到的ACK包之比计算出链路拥塞率，当链路拥塞率小于预定值0.6且流量判别为鼠流时，此时链路拥塞但未发生数据包丢失，交换机端口感知拥塞，并降低流量传输速率，当链路拥塞率大于预定值0.6时，此时数据包大概率丢失，运行基于FEC的编码传输模块13；

该基于FEC的编码传输模块13，控制发送端在编码过程中每发送5个数据包添加1个冗余包，接收端通过解码冗余包减小因丢包而引起的重传时延，降低丢包率。

所述SDN控制器2中，包括拓扑信息模块21、象流调度模块22、OF协议模块23、拓扑发现模块24和REST API模块25，其中：

该拓扑信息模块21，用于存储拓扑发现模块24获取的底层网络拓扑信息，构造Packet Out消息向交换机各端口分别发送LLDP报文，通过解析LLDP数据包，得到链路的源交换机，源接口，通过收到的Packet In消息知晓目的交换机和目的接口；

该象流调度模块22，通过查询拓扑信息模块中存储的链路容量和流的数量判断不同路径的拥塞状态，根据拥塞度计算出所有可能的路由路径总成本上传至OF协议模块23处理，通过OF协议模块23下发流表项确定交换机转发端口，并选取具有最小路径成本的路径作为象流最优调度路径；

该OF协议模块23，包括OpenFlow协议的版本信息，用于对不同版本的OpenFlow协议进行相关分析，处理来自交换机的数据包，生成流表项，处理网络事件，汇总状态信息；

该拓扑发现模块24，用于运行内部LLDP协议，交换机连接时触发State Change事件，并生成相应的LLDP报文数据，当LLDP报文被送回到控制器时，触发Packet In事件，得到交换机之间的连接信息；

该REST API模块25，用于面向北向接口，供用户基于SDN控制器框架开发APP。同时，开发者可以根据需要，添加所需的组件和库文件，它提供了与OpenFlow的相关接口，能够查看交换机端口信息，添加、修改流表。

本系统的工作原理如下：

拓扑发现模块24通过发送与解析LLDP报文感知网络拓扑状态，并将各个节点的链接信息保存至拓扑信息模块21，流量抽样检测模块11通过调用北向接口的REST API模块25监控交换机各个端口的流量速率大小并对流量进行抽样检测，当流量判定为鼠流时，运行DCTCP流量控制模块12与基于FEC的编码传输模块13，降低鼠流传输时延。当流量判定为象流时，通过OF协议模块23对Fat-Tree底层网络中所有交换机进行统一集中控制，进行策略定制、流表项下发的操作，同时运行象流调度模块22将象流调度至最小成本路径。

参照图2，本发明基于软件定义网络的高性能负载均衡方法，其实现步骤如下：

步骤1，网络初始化。

1a)建立pod数为16的Fat-Tree数据中心网络拓扑：Fat-Tree拓扑分为三个层次，分别为边缘层、汇聚层和核心层，边缘层和汇聚层均设有8个Tor交换机，且边缘层的每个Tor交换机都与汇聚层的8个Tor交换机形成链路，形成一个交叉的链路网路，这种链路网络构成一个pod结构，同时每个边缘层的Tor交换机连接8个终端，构成总pod数为16的Fat-Tree数据中心网络拓扑；

1b)交换机连接时触发State Change事件，在对应的处理函数中把连接的交换机存储到self.dps数据类中，并把交换机的端口情况存储到self.port_state数据类中，生成并发送相应的LLDP报文数据，存储在self.ports数据类中；当LLDP报文被送回到控制器时，触发Packet In事件，对应的处理函数会解析LLDP报文，得到交换机之间的连接信息，存储到self.links数据类中；

1c)采用Random流量模型使拓扑中随机两个终端通信，通过Mininet仿真平台中的iperf工具使拓扑中一终端以等概率向另一任意终端发送UDP流量，再调用模拟Shell界面调整两终端之间的流量传输速率参数，使得两主机间的流量生成规则遵循负载率最小值为0.1至最大值为0.8变化的泊松过程，从而在发送端产生分别占20％与80％的鼠流和象流。

步骤2，判别流量类型。

通过SDN控制器的REST API模块提供OpenFlow的相关接口，查看交换机端口流量统计信息，添加、修改流表；

通过调用REST API模块查询各个端口的实时流量速率大小，并以每100KB流量进行一次数据包采样，判断流量类型：若在500us内检测到两次或两次以上采样操作，则判定该流量为象流，执行步骤6，否则，判定该流量为鼠流，执行步骤3；

步骤3，计算链路拥塞率。

设g和r分别表示重传时延大的ACK包数量和接收到的ACK包总数，计算鼠流被象流阻塞的程度，即阻塞率α：

判断阻塞率α是否小于设定值0.6：若小于，此时链路拥塞但未出现大概率丢包现象，执行步骤4，否则，执行步骤5。

步骤4，调整鼠流转发端口的阻塞窗口大小m。

根据阻塞率α通过下式调整鼠流转发端口的阻塞窗口大小m：

式中，当阻塞率α等于1时，阻塞窗口大小m减小为原来的一半，其与TCP协议的拥塞控制机制类似。

步骤5，冗余优化。

如果队列中发生丢包现象，接收方向发送方发送ACK包，并通过解码冗余包来恢复丢失的包，以减少丢包引起的重传时延。

如果队列中没有发生丢包，则接收方直接丢弃编码单元中的冗余包，发送端每发送m个源数据包添加n个冗余包，以在降低丢包率的同时节约重传时间。

为了加快解码速度，发送方需要发送更多的冗余数据包，这样就会带来多余的流量开销，但是，如果传输的冗余包过少，解码速度就会受到限制。

为了在解码速度和流量开销之间取得较好的折中，需要对源数据包数量m和冗余包数量n的关系进行优化，关系式如下：

(1-α)×(m+n)≥m。

步骤6，象流调度。

6a)计算链路总拥塞，设f_i为生成的流量集F中的第i组流量，为该组流量的发送端，为该组流量的接收端，为链路带宽，设为到所有可能的路径集合，为在t时刻沿路径路由的流f_i的数量，根据这些参数定义网络状态N(t)为：

6b)在线马尔可夫算法下，将N(t)演化为马尔可夫链，计算链路l上的总拥塞T_l(t)：

6c)计算单个链路成本h(x)：

其中z为链路开销因子，h(x)随自变量x严格递增；

6d)对于每个容量为C_l的链路l，当其拥塞为T_l时，将代入6c)公式，则单个链路成本为计算路径总成本Y(N(t))为：

6e)由于象流对吞吐量非常敏感，所以在所有可能路径中取成本Y(N(t))最小的路径作为象流最优调度路径，以提高象流的吞吐量。

以上描述仅是本发明的一个具体实例，不构成对本发明的修改限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修改和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于软件定义网络的高性能负载均衡系统，包括：

Fat-Tree拓扑结构(1)，包括有多个Tor交换机，用于满足数据中心扩展的需求，并根据SDN控制器下发的流表项确定转发端口，实现流量调度；

SDN控制器(2)，用于获取整个网络的拓扑信息，负责所有交换机的统一集中控制，实现链路发现、拓扑管理、策略定制和表项下发操作；

其特征在于：

每一个Tor交换机上均部署有流量抽样检测模块(11)，在数据包发送端与接收端均部署有DCTCP流量控制模块(12)与基于FEC的编码传输模块(13)；

SDN控制器(2)中设有拓扑信息模块(21)、象流调度模块(22)、OF协议模块(23)、拓扑发现模块(24)和REST API模块(25)；

所述流量抽样检测模块(11)，用于实时感知交换机各个端口的流量速率，并根据流量速率的大小判别流量为鼠流或象流：如果流量判别为鼠流，则运行DCTCP流量控制模块(12)与基于FEC的编码传输模块(13)；如果流量判别为象流，则运行象流调度模块(13)；

所述DCTCP流量控制模块(12)，用于根据链路拥塞程度动态调整端口速率限制；

所述基于FEC的编码传输模块(13)，用于当链路时延超出预定值时，在编码过程中添加冗余包使丢包率下降；

所述拓扑信息模块(21)，用于存储底层网络的拓扑信息；

所述象流调度模块(22)，用于根据不同路径的拥塞状态，将象流调度到具有最小路径成本的路径以提高其吞吐量；

所述OF协议模块(23)，用于处理来自交换机的数据包，生成流表项，处理网络事件，汇总状态信息；

所述拓扑发现模块(24)，用于发送并解析LLDP报文感知拓扑状态；

所述REST API模块(25)，用于提供与OpenFlow的相关接口，能够查看交换机信息，添加、修改流表。

2.根据权利要求1所述的系统，其特征在于：所述Fat-Tree拓扑结构(1)，分为三个层次，分别为边缘层、汇聚层和核心层，该边缘层和汇聚层均设有8个Tor交换机，且边缘层的每个Tor交换机都与汇聚层的8个Tor交换机形成链路，形成一个交叉的链路网路，这种链路网络构成一个pod结构，同时每个边缘层的Tor交换机连接8个终端，构成总pod数为16的Fat-Tree数据中心网络拓扑。

3.根据权利要求1所述的系统，其特征在于：所述流量抽样检测模块(11)根据流量速率的大小判别流量为鼠流或象流：是根据部署于Tor交换机的网络流量采样模块对数据包每100KB进行一次采样的次数进行判别：若在500us内检测到两次或两次以上采样操作，则判定为象流，否则，判定为鼠流。

4.根据权利要求1所述的系统，其特征在于：DCTCP流量控制模块(12)根据链路拥塞率动态调整端口速率限制，是用重传时延大的ACK包数量和接收到的ACK包之比计算出链路拥塞率，当链路拥塞率小于预定值0.6且流量判别为鼠流时，此时链路拥塞但未发生数据包丢失，交换机端口感知拥塞，并降低流量传输速率。

5.根据权利要求1所述的系统，其特征在于：象流调度模块(22)根据不同路径的拥塞状态，将象流调度到具有最小路径成本的路径，是通过查询拓扑信息模块中存储的链路容量和流的数量判断不同路径的拥塞状态，根据拥塞度计算出路径总成本上传至SDN控制器处理，通过SDN控制器下发流表项确定交换机转发端口，并选取最小路径成本的路径作为象流最优调度路径。

6.一种基于软件定义网络的高性能负载均衡方法，其特征在于，包括如下：

1)网络初始化：

1a)建立pod数为16的Fat-Tree数据中心网络拓扑；

1b)SDN控制器发送LLDP报文，获得整个网络的拓扑信息，并存储；

1c)采用Random流量模型使拓扑中随机两个终端通信在发送端产生的象流和鼠流分别占20％与80％；

2)判别流量类型：

以每100KB流量进行一次数据包采样，若在500us内检测到两次或两次以上采样操作，则判定该流量为象流，执行6)，否则，判定该流量为鼠流，执行3)；

3)计算链路拥塞率：

设g和r分别表示重传时延大的ACK包数量和接收到的ACK包总数，计算鼠流被象流阻塞程度，即阻塞率a：

判断阻塞率a是否小于设定值0.6，若小于，此时链路拥塞但未出现大概率丢包现象，执行4)，否则，执行5)；

4)根据阻塞率a调整鼠流转发端口的阻塞窗口大小m：

5)冗余优化：

发送端每发送m个数据包添加n个冗余包，接收端通过解码冗余包恢复丢失的数据包，以在降低丢包率的同时节约重传时间，为保证至少有m个编码数据包到达接收端，通过以下冗余优化式控制冗余包数量：

(1-α)×(m+n)≥m；

6)象流调度：

6a)计算链路总拥塞，设f_i为生成的流量集F中的第i组流量，为该组流量的发送端，为该组流量的接收端，为链路带宽，设为到所有可能的路径集合，为在t时刻沿路径路由的流f_i的数量，根据这些参数定义网络状态N(t)为：

6b)在线马尔可夫算法下，将N(t)演化为马尔可夫链，计算链路l上的总拥塞T_l(t)：

6c)计算单个链路成本h(x)：

其中z为链路开销因子；

6d)对于每个容量为C_l的链路l，当其拥塞为T_l时，将代入6c)公式，则单个链路成本为计算路径总成本Y(N(t))为：

6e)在所有可能路径中取成本Y(N(t))最小的路径作为象流最优调度路径。

7.根据权利要求6所述的方法，其特征在于：1a)所述的建立pod数为16的Fat-Tree数据中心网络拓扑，是通过调用网络仿真平台Mininet的内部封装函数建立拓扑，该拓扑分为三个层次，分别为边缘层、汇聚层和核心层，边缘层的每个交换机都与汇聚层的交换机形成链路，形成一个交叉的链路网路，这种链路网络构成一个pod结构，同时每个边缘层交换机连接8个终端，构成总pod数为16的Fat-Tree数据中心网络拓扑。

8.根据权利要求6所述的方法，其特征在于：1c)中所述采用Random流量模型使拓扑中随机两个终端通信在发送端产生的象流和鼠流，是通过Mininet中的iperf工具使拓扑中一终端以等概率向另一任意终端发送UDP流量，再调用模拟Shell界面调整两终端之间的流量传输速率参数，使得两主机间的流量生成规则遵循负载率最小值为0.1至最大值为0.8变化的泊松过程，从而产生鼠流与象流。