CN106533960B - 一种基于Fat-Tree结构的数据中心网络路由方法 - Google Patents

Abstract

本发明公开了一种基于Fat‑Tree结构的数据中心网络路由方法，属于数据中心网络技术领域。该方法利用SDN技术，在具有多路径传输能力的Fat‑Tree结构数据中心网络中，综合考虑数据流大小和链路传输情况，对进入网络的新流采用基于链路剩余带宽和大流数目的动态负载均衡(DLB)算法进行路由；当检测到链路发生拥塞后，对拥塞链路上的大流由大到小采用基于截止时间和交换机队列长度的动态重路由(DR)算法进行重新调度，直到链路不再拥塞。本发明可实现数据流在数据中心网络中的负载均衡，能够根据网络状态动态地调整路由策略，提高网络链路利用率和吞吐量，降低数据流的转发时延以及丢包率。

Description

一种基于Fat-Tree结构的数据中心网络路由方法

技术领域

本发明属于数据中心网络技术领域，涉及一种基于Fat-Tree结构的数据中心网络路由方法。

背景技术

随着云计算、大数据等互联网应用规模不断扩大，数据中心网络流量呈现迅速增长的态势，互联网业务对数据中心提出了越来越高的传输质量要求，包括大带宽、低时延、安全保障、灵活调度等。以Fat-Tree为代表的等价多路径网络结构的出现为数据中心网络服务提供了新的发展机遇，多路径网络拓扑利用额外的冗余链路带宽，能够克服由于用户数量增加而带来的服务瓶颈。

数据中心网络中大部分的流量是由小数据流组成的。近90％的数据流大小不超过1MB，持续时间不超过10秒，而90％的数据流量都集中在大于100MB的大数据流中，小数据流对时延敏感而大数据流对吞吐量较为敏感。根据这些特点，目前针对Fat-Tree结构的数据中心网络路由和流调度问题，主要的研究方案有：1)采用固定的转发规则，根据源地址或目的地址将流映射到固定的路径，例如Fat-tree结构使用两层查找表的查找方式，使每个主机之间的流量转发路径都是固定的，此种方法快速、便捷，但是无法保证网络的负载均衡，也没有考虑主机之间的链路承载情况，无法动态的对流作出调度；2)采用随机转发的方式，将流量随机转发给中间节点，再由中间节点完成路由。例如ECMP算法采用随机的流量分发方式来均衡网络流量分配，采用哈希的映射方法，将每条数据流映射到某一条路径上。但由于数据中心中数据流的大小以及网络链路带宽使用往往不尽相同，所以这种方式对突发大数据流易造成拥塞，导致增加数据流的传输时延，降低网络应用的服务质量；3)使用SDN技术对整个数据中心网络资源作出全局判断，利用SDN集中控制的思想和技术对数据中心网络业务流进行路由选路。文章“Flow scheduling cost based congestion controlrouting algorithm for data center network on software defined networkarchitecture”提出一种基于流调度代价最小化的拥塞控制算法，对拥塞链路上大流的每条等价路径进行路径开销权重的计算，选择权重最小的路径作为可用调度路径；然后根据调度后的路径开销变化量和流占用带宽共同定义流调度代价，最终选择调度代价最小的流进行调度。这种方法能够降低拥塞链路上的负荷量，一定程度上提高了链路利用率。但是，文章只采用了全路径重路由方式，而未考虑局部重路由的情况，所以这种方式得出的流调度代价不一定是最低的，而对拥塞路径上的大流进行局部路由的方式可能是更优的。

发明内容

有鉴于此，本发明的目的在于提供一种基于Fat-Tree结构的数据中心网络路由方法，该方法利用全局网络信息，结合Fat-Tree拓扑结构的特点，动态地调整转发策略。针对进入网络中的新流，为了充分利用网络中的冗余链路和降低短数据流的传输时延，采用基于链路剩余带宽和大流数目的动态负载均衡算法为数据流进行选路。而为了降低拥塞路径上数据流传输的丢包率和转发时延，对拥塞链路上的大流采用动态重路由算法，根据大流的截止时间和路径上时延选择可用路径集，再根据交换机的队列长度最短原则选择使用全路径重路由或局部重路由。

为达到上述目的，本发明提供如下技术方案：

一种基于Fat-Tree结构的数据中心网络路由方法，该方法包括以下步骤：

S1：使用支持OpenFlow协议的SDN交换机构建k元Fat-Tree结构的数据中心网络，其中包括5k²/4台OpenFlow交换机和k³/4台主机；使用OpenFlow协议提供的接口周期性收集和更新网络中所有链路信息和数据流信息，实现对网络链路状况和数据流传输情况的监测；

S2：针对进入网络中的新流，采用基于链路剩余带宽和大流数目的DLB(动态负载均衡)算法进行路由；根据链路可用剩余带宽和数据流请求带宽选择出可用路径集，当存在具有多条最大可用剩余带宽的路径时，选择大流数目更少的那条路径作为路由路径；

S3：当步骤S1中检测到拥塞链路后，找出拥塞链路上的大流，逐一地、从大到小地采用DR(动态重路由)算法进行重新路由，直到链路不再拥塞为止；根据大流的截止时间和路径上交换机的队列长度选择全路径重路由或者局部重路由方式；

S4：控制器根据步骤S2和S3得出的路由路径，由控制器的流表下发模块将路径转换成相应的流表项，并以OFPT_FLOW_MOD消息的形式下发到路径上的各个SDN交换机中。

进一步，在步骤S1中，所述的使用OpenFlow协议获取链路状态信息和数据流统计信息，具体包含以下步骤：

S11：根据Fat-Tree结构特点，为了获得网络中所有链路状态信息，控制器不需要向所有交换机发送查询请求，只需向处在中间层的所有汇聚层交换机发送请求即可，因此，每隔T₁周期控制器向所有汇聚层交换机发送物理端口统计请求，获得该端口在这个周期内发送和接收的总字节数，将总字节数除以T₁就可以得到该链路在该周期内的传输带宽；

S12：为了获得最新的数据流统计信息，且为了避免重复查询，控制器只需要向所有边缘层交换机发送流的信息请求，因此，每隔T₂周期控制器向所有边缘层交换机发送流统计消息，获取各条流的已传输字节数；

S13：控制器将步骤S11中得到的各个端口所连链路的传输带宽值存储在结构{srcDpid,dstDpid,srcPort,dstPort,bandWidth}中，其中bandWidth即为该端口的已传输带宽，根据Fat-Tree结构特点，设定拥塞链路的阈值为链路总带宽的75％，当bandWidth超过设定的阈值后该链路被标记为拥塞链路；

S14：控制器将步骤S12获取到的流的已传输总字节数存储在结构{srcIp,dstIp,srcPort,dstPort,protocol,totalBytes}中，其中totalBytes为流的已传输总字节数，设定某条数据流为大流的阈值为100MB，当totalBytes超过设定的阈值时该流被标记为大流。

进一步，在步骤S2中，所述对进入网络中的新流使用基于链路剩余带宽和大流数目的DLB算法进行选路，具体包含以下步骤：

S21：控制器收到交换机发送的OFPT_PACKET_IN消息后，从中解析出数据流中首包包头信息，并记录下来；

S22：根据统计出的链路已传输带宽和数据流大小，由设定的阈值计算出所有可达路径集中每条路径各条链路的可用剩余带宽，将链路最小的可用带宽作为该路径的最大可用剩余带宽，然后将每条路径的可用带宽与该数据流的请求带宽进行比较，滤除可用带宽小于请求带宽的路径，得出新的可用路径集；

S23：当存在多条具有相同最大可用带宽的路径时，根据统计出的大流信息，选择大流数目较少的那条路径作为路由路径，这样能够避免短数据流在大流数目较多的路径上进行排队而增加时延；如果没有相同的则选择可用带宽最大的那条路径。

进一步，在步骤S3中，当检测到拥塞链路后，对拥塞链路上的大流使用基于截止时间和交换机队列长度的DR算法进行重路由，具体步骤如下：

S31：根据步骤S2中所述方法为拥塞链路上的大流选择可用路径集；

S32：根据大流的截止时间，滤除可选路径集中路径时延大于截止时间的路径，得出新的可用路径集，所述路径时延主要指排队时延和处理时延之和；

S33：计算可用路径集每条路径上交换机的总缓冲队列长度，根据队列长度最短原则选择全路径重路由或局部重路由方式；缓冲队列长度是由交换机周期性的上报至控制器，并由控制器计算出总缓冲队列长度。

本发明的有益效果在于：本发明同时考虑了Fat-Tree结构数据中心网络中进入网络的新数据流和拥塞链路上大流的调度，使用SDN提供的全网视图动态地调整转发策略，对于新流采用动态负载均衡算法进行路由，在保证负载均衡的基础上，提高了网络吞吐量和链路利用率，降低了短数据流的转发时延；对拥塞链路上的大流采用动态重路由算法进行重新调度，有效地降低了拥塞路径上数据流的丢包率和转发时延。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明的系统架构图；

图2为本发明的具体网络拓扑示意图；

图3为本发明中新数据流调度的流程图；

图4为本发明中拥塞链路上大流重路由流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

图1为本发明的系统架构图，如图1所示，使用Floodlight作为控制器，分别以T₁和T₂周期收集和更新网络中所有链路状态信息和数据流的统计信息，并将其存储起来。

如图2所示，使用支持OpenFlow协议的SDN交换机构成4元Fat-Tree结构数据中心网络，其中包括20台OpenFlow交换机和16台主机，设定网络中每条链路的最大传输带宽均为100Mbps。

如图3所示，当图2中的主机H1向主机H2发送一条数据流f1时，当与H1相连的边缘交换机E1没有相应的转发流表项时，交换机发送Packet-In消息给控制器，控制器收到请求后使用DLB算法为其计算转发路径。具体为：

根据图2所示的网络拓扑信息，可以知道H1与H2之间有4条等价路径，分别为E1-A1-C1-A3-E2、E1-A1-C2-A3-E2、E1-A2-C3-A4-E2和E1-A2-C4-A4-E2，根据每T₁周期统计出的bandwidth值，由设定的阈值计算出4条路径里每条路径各条链路的可用剩余带宽，将链路最小的可用剩余带宽作为该路径的最大可用带宽，然后将每条路径的最大可用带宽与f1的请求带宽进行比较，滤除可用带宽小于请求带宽的路径，得出可用路径集。当存在多条具有相同最大可用带宽的路径时，根据统计出的大流信息，选择大流数目较少的那条路径作为路由路径，否则选择可用带宽最大的那条路径，然后在路径上对应的交换机中添加相应的流表项。

如图4所示，当图2中检测到拥塞链路时，根据每T₂周期统计的数据流信息，找出在拥塞链路上的大流，控制器使用DR算法为拥塞链路上的大流逐一地、从大到小重新计算路由，直到链路不再拥塞为止，具体为：

假设图2中路径E1-A1-C2-A3-E2上A1-C2段发生拥塞，根据图3所述方法同样可以得出大流的可用路径，这里假设E1-A1-C1-A3-E2、E1-A2-C3-A4-E2和E1-A2-C4-A4-E2为可用路径，再根据大流的截止时间，滤除可选路径集中时延大于截止时间的路径，得出新的可用路径集，假设滤除后仍为以上3条路径，分别计算这3条路径上交换机的总缓冲队列长度，根据队列长度最短原则选择全路径重路由方式(E1-A2-C3-A4-E2和E1-A2-C4-A4-E2)还是局部重路由方式(E1-A1-C1-A3-E2)，然后在所选路径上对应的交换机中添加相应的流表项。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (2)

1.一种基于Fat-Tree结构的数据中心网络路由方法，其特征在于：该方法包括以下步骤：

S1：使用支持OpenFlow协议的SDN交换机构建k元Fat-Tree结构的数据中心网络，其中包括5k²/4台OpenFlow交换机和k³/4台主机；使用OpenFlow协议提供的接口周期性收集和更新网络中所有链路信息和数据流信息，实现对网络链路状况和数据流传输情况的监测；

S2：针对进入网络中的新流，采用基于链路剩余带宽和大流数目的DLB(动态负载均衡)算法进行路由；根据链路可用剩余带宽和数据流请求带宽选择出可用路径集，当存在具有多条最大可用剩余带宽的路径时，选择大流数目更少的那条路径作为路由路径；

S3：当步骤S1中检测到拥塞链路后，找出拥塞链路上的大流，逐一地、从大到小地采用DR(动态重路由)算法进行重新路由，直到链路不再拥塞为止；根据大流的截止时间和路径上交换机的队列长度选择全路径重路由或者局部重路由方式；

S4：控制器根据步骤S2和S3得出的路由路径，由控制器的流表下发模块将路径转换成相应的流表项，并以OFPT_FLOW_MOD消息的形式下发到路径上的各个SDN交换机中；

在步骤S2中，所述对进入网络中的新流使用基于链路剩余带宽和大流数目的DLB算法进行选路，具体包含以下步骤：

S21：控制器收到交换机发送的OFPT_PACKET_IN消息后，从中解析出数据流中首包包头信息，并记录下来；

S22：根据统计出的链路已传输带宽和数据流大小，由设定的阈值计算出所有可达路径集中每条路径各条链路的可用剩余带宽，将链路最小的可用剩余带宽作为该路径的最大可用剩余带宽，然后将每条路径的最大可用剩余带宽与该数据流的请求带宽进行比较，滤除最大可用剩余带宽小于请求带宽的路径，得出新的可用路径集；

S23：当存在多条具有相同最大可用剩余带宽的路径时，根据统计出的大流信息，选择大流数目较少的那条路径作为路由路径，这样能够避免短数据流在大流数目较多的路径上进行排队而增加时延；如果没有相同的则选择最大可用剩余带宽最大的那条路径；

在步骤S3中，当检测到拥塞链路后，对拥塞链路上的大流使用基于截止时间和交换机队列长度的DR算法进行重路由，具体步骤如下：

S31：根据步骤S2为拥塞链路上的大流选择可用路径集；

S32：根据大流的截止时间，滤除可选路径集中路径时延大于截止时间的路径，得出新的可用路径集，所述路径时延指的是排队时延和处理时延之和；

S33：计算可用路径集每条路径上交换机的总缓冲队列长度，根据队列长度最短原则选择全路径重路由或局部重路由方式；缓冲队列长度是由交换机周期性的上报至控制器，并由控制器计算出总缓冲队列长度。

2.根据权利要求1所述的一种基于Fat-Tree结构的数据中心网络路由方法，其特征在于：在步骤S1中，所述的使用OpenFlow协议提供的接口周期性收集和更新网络中所有链路信息和数据流信息，具体包含以下步骤：

S11：根据Fat-Tree结构特点，为了获得网络中所有链路状态信息，控制器不需要向所有交换机发送查询请求，只需向处在中间层的所有汇聚层交换机发送请求即可，因此，每隔T₁周期控制器向所有汇聚层交换机发送物理端口统计请求，获得该端口在这个周期内发送和接收的总字节数，将总字节数除以T₁就可以得到该链路在该周期内的传输带宽；

S12：为了获得最新的数据流统计信息，且为了避免重复查询，控制器只需要向所有边缘层交换机发送流的信息请求，因此，每隔T₂周期控制器向所有边缘层交换机发送流统计消息，获取各条流的已传输字节数；

S13：控制器将步骤S11中得到的各个端口所连链路的传输带宽值存储在结构{srcDpid,dstDpid,srcPort,dstPort,bandWidth}中，其中bandWidth即为该端口的已传输带宽，根据Fat-Tree结构特点，设定拥塞链路的阈值为链路总带宽的75％，当bandWidth超过设定的阈值后该链路被标记为拥塞链路；

S14：控制器将步骤S12获取到的流的已传输总字节数存储在结构{srcIp,dstIp,srcPort,dstPort,protocol,totalBytes}中，其中totalBytes为流的已传输总字节数，设定某条数据流为大流的阈值为100MB，当totalBytes超过设定的阈值时该流被标记为大流。