CN111585911A - 数据中心网络流量负载的均衡方法 - Google Patents

Abstract

本发明公开了一种数据中心网络流量负载的均衡方法，主要解决现有技术存在小流阻塞和哈希碰撞的问题。其方案是：发送端主机根据数据流已发送字节量区分大流和小流；对于小流，交换机以数据包粒度为每一个数据包随机选择输出端口转发，保证小流的完成时间；对于大流，发送端主机将流切分为若干条流切片；边缘层交换机在转发大流的某条流切片时，若上一条流切片的输出端口队列长度大于等于随机选择的候选输出端口队列长度，则选择长度较短的端口转发该流切片的数据包；否则，选择与上一流切片相同的输出端口转发数据包。本发明缓解了小流被大流阻塞和大流哈希碰撞问题，减少了流的完成时间，提高了流的吞吐量，可用于对数据中心网络流量负载的均衡。

Description

数据中心网络流量负载的均衡方法

技术领域

本发明属于计算机网络技术领域，特别涉及一种负载均衡方法，可用于对数据中心网络流量负载的均衡。

背景技术

数据中心在世界各地广泛建设和发展，已成为社会各行业必需的基础设施，在人们日常生活中产生深刻影响。思科对全球数据中心流量统计分析显示，数据中心内部流量占比高达71.5％，可以看出，作为数据中心内部专用网络的数据中心网络承载巨额流量，性能受到很大挑战，由此成为各界研究和关注的热点。数据中心网络需要一种有效的负载均衡方法来提高链路利用率，以支持从大数据到云计算等应用程序。

目前，数据中心网络常用的负载均衡方法为等价多路径路由策略ECMP。开放式最短路径优先OSPF、中间系统到中间系统ISIS等各种路由协议也已明确支持ECMP。ECMP通过对数据包报头中的字段进行简单的哈希运算选择下一跳地址，将一条流映射到其中一条等价路径上。ECMP是一种静态的，随机的，主动的方法，可在交换机中逐条运行，部署简单，因此得到广泛应用。

ECMP在实际应用中主要存在以下两个问题。

第一，ECMP对链路状态无感知，在极端情况下，所有输入流会被分配到同一路径而其他路径处于闲置状态，这种情况称为哈希碰撞，如图1所示。图1中大流1和大流2，交换机A1为两条大流选择了相同的路径C3-A8，形成瓶颈，即哈希碰撞。发生哈希碰撞后，碰撞路径无法同时满足多条流的带宽需求，进而产生拥塞，降低了网络性能。

第二，ECMP不区分大小流，当小流和大流共用一条路径时，小流大概率会在输出端口处排在大流后面，这种情况称为小流阻塞，如图2所示。图2中ECMP不区分大小流，当小流1和大流共用一条路径时，小流1的概率会在输出端口处排在大流后面，形成小流阻塞。由于大流多由数据备份，数据存储等对带宽需求量大的应用产生，单条流字节数较高，在交换机缓冲区占用空间较大，导致队列较长，而小流多为在线游戏等即时通讯类应用产生，单条流字节数较少，对时延要求较高。一旦发生小流阻塞，小流会经历较长的排队时延，增加小流的完成时间，恶化网络性能。

因此，需要设计一种有效的负载均衡方法，以满足数据中心网络性能需求。理想的负载均衡方法应该是能感知链路状态，并根据感知的结果对大小流区分调度，尽可能将流适当地分配到多条等价路径上，实现负载均衡。

现有的一些数据中心网络负载均衡方法，如前述的ECMP和其他方法如随机包扩散RPS、数字反转跳变法DRB对链路状态无感知；拥塞感知均衡CONGA，逐跳链路利用率感知负载均衡架构HULA实现了链路状态感知，但这些方法依赖于定制硬件实现，可部署性差；动态流调度法Hedera、大小流区分调度法DiffFlow、自适应大小流区分调度法Freeway等方法实现了大小流区分调度，但存在调度周期过长，可扩展性差等问题。

此外，现有方案还提供了不同的负载均衡方法，例如流切片重路由，集中式流量调度等。流切片是对数据流的切分，若一条流两个连续到达的数据包之间的时间间隔超过预设的时间间隔，即可认为第二个数据包及其之后的数据包为一条流切片，但流切片缺乏及时性，无法避免链路上短时间内的流量不均；而集中式流量调度方法受限于集中控制器的性能，缺乏灵活性。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种数据中心网络流量负载的均衡方法，以缓解数据中心网络中当字节量不同的数据流共存时引发的小流阻塞和哈希碰撞问题，降低小流的完成时间，提高大流的吞吐量。

为实现上述目的，本发明的技术方案为：发送端主机根据流已发送字节量区分大流和小流，对任意一条数据流，若其已发送字节量小于阈值T，则认为是小流，否则认为是大流；对于小流，边缘层交换机以数据包粒度为每个新到达的数据包随机选择出端口；对于大流，发送端主机将流转变为字节量为S的流切片，边缘层交换机随机选择一个候选输出端口，将这个输出端口的队列长度与该流上一个流切片选用的输出端口的当前队列长度作比较，选择队列长度最小的输出端口作为当前流切片的下一跳出端口。具体步骤包括如下：

(1)初始化

在边缘层交换机新建流切片转发表；

在主机端初始化传输控制层缓冲区的剩余字节量TB、大小流区分阈值T、数据包大小流标志位Sl_Tag、流切片大小S、流切片标志位Tag、各数据流上一个流切片的流切片标志位P_Tag；

在交换机端初始化数据包的五元组哈希值Hash_Value、流切片的输出端口P、字节计数器SC，并储存在转发表中；

(2)对每个新生成的数据包，发送端主机获取其序列号Sq，并计算Sq与当前剩余字节量TB的和Q，并将其与大小流区分阈值T进行比较：

若Q超过阈值T，则判定该数据包所属流为大流，将传输控制协议TCP首部保留字段的数据包大小流标志位Sl_Tag置为1，执行(3)；

否则，判定该数据包所属流为小流，将数据包大小流标志位Sl_Tag置0，执行(4)；

(3)更新字节计数器SC为字节计数器SC与当前数据包的字节大小之和W，判断其是否超过流切片大小S：

若W超过S，则在当前流切片的TCP首部的流切片标志位与上一个流切片的TCP首部流切片标志位取反，更新流切片标志位P_Tag，同时对字节计数器SC复位，执行(4)；

否则，将当前流切片的TCP首部的流切片标志位，设为与上一个流切片的TCP首部流切片标志位相同，执行(4)；

(4)边缘层交换机检测是否有新数据包到达，若有，执行(5)，否则，继续监测；

(5)交换机判断当前到达的数据包的大小流标志位Sl_Tag是否为0：

若是，则判该数据包所属流为小流，为该数据包随机选择一输出端口转发，执行(4)；

否则，执行(6)；

(6)交换机计算数据包的五元组哈希值Hash_Value，遍历流切片转发表，查找表中是否存在与Hash_Value相等的条目：

若存在，则执行(7)；

否则，表明该数据包所属流为新流且为新流的第一个数据包，则要新建转发表条目，并将转发表条目的流切片标志位Tag值置为该数据包流切片标志位的值，执行(8)；

(7)读取数据包流切片标志位的值，并将其与该转发表条目的流切片标志位Tag项的当前值比较：

若两者相等，则该数据包属于当前流突发，将其转发到该转发表条目输出端口项指示的输出端口；

若两者不相等，则将转发表条目的流切片标志位Tag值更新为该数据包流切片标志位的值，执行(8)；

(8)边缘层交换机从候选输出端口中随机选取一个，判断其端口队列长度是否小于当前数据包所属流的上一个流切片输出端口P的端口队列长度：

若是，则使用队列长度最小的输出端口转发数据包，并将流切片转发表中对应条目的流切片输出端口项的值改为当前数据包所用输出端口号，返回(4)；

否则，使用当前数据包所属流的上一个流切片的输出端口，即对应条目的流切片输出端口P，转发该数据包，返回(4)。

本发明与现有技术相比，具有如下优点：

1.本发明由于将小流以数据包粒度传输，将大流切分为多条流切片并为每条流切片选择负载较轻的路径传输，有效缓解ECMP方法因对链路状态无感知和不区分不同大小的流传输，引发哈希碰撞和小流阻塞，导致负载均衡效果较差的问题，达到了更好的负载均衡效果。

2.本发明只改变数据包在边缘层交换机的路由方式，无需对原有的网络协议进行其他修改，保证原网络协议的友好性。

3.本发明由于将大小流识别，流切片切分功能在终端主机实现，流信息获取更容易，实时性更强，精度更高，可扩展性更高。

4.本发明由于只需对主机端和边缘层交换机的相关底层软件进行修改，无需定制专用硬件，无需更改现有主机或交换机的硬件，具备在现有真实的数据中心网络中进行部署的能力。

附图说明

图1为发生哈希碰撞的数据中心网络；

图2为发生小流阻塞的数据中心网络；

图3为本发明的实现流程图；

图4为本发明的仿真测试环境图，其中图4(a)为仿真测试用网络拓扑互联规则图，图4(b)为Web-search流量模式字节量累积分布函数图。

图5为本发明的性能测试图，其中图5(a)为不同网络负载下，流平均完成时间示意图；图5(b)为不同网络负载下，流的归一化吞吐率示意图。

具体实施方式

下面结合附图，对本发明中的实施例中的技术进行进一步说明。

本实例提到的“流”，均指协议号，源/目的地址，源/目的端口号等五元组信息相同的数据包序列。

参见图3，本发明的实现步骤如下：

步骤一，参数初始化。

在边缘层交换机新建流切片转发表，用于记录到达该交换机的大流的五元组哈希值、字节量和输出端口号。

设主机端初始传输控制层缓冲区的剩余字节量TB为0；大小流区分阈值T设为100KB；

设一条新流的数据包大小流标志位Sl_Tag为0，流切片标志位Tag为0；

设流切片大小S为64KB；

设各流上一个流切片的流切片标志位P_Tag为0；

在交换机端初始化数据包的五元组哈希值Hash_Value为0；

设流切片的输出端口P为0；字节计数器SC为0，

将流的信息储存在转发表中。

步骤二，主机端判断大小流。

发送端主机获取每个新生成数据包的序列号Sq，并计算Sq与当前传输控制层缓冲区的剩余字节量TB的和Q；

将剩余字节量TB的和Q与大小流区分阈值T进行比较：若Q超过大小流区分阈值T，则判定该数据包所属流为大流，将传输控制协议TCP首部保留字段的大小流标志位Sl_Tag置为1，执行步骤三；否则，该流为小流，将大小流标志位Sl_Tag置0，执行步骤四。

步骤三，主机端切分流切片。

发送端主机更新字节计数器SC为字节计数器SC与当前数据包的字节大小之和W，判断W是否超过流切片大小S：

若W超过S，则对当前流切片的TCP首部流切片标志位与上一个流切片的TCP首部流切片标志位取反，并将值赋给流切片标志位P_Tag，同时对字节计数器SC复位，即将SC的值设置为0，执行步骤四；

否则，当前流切片的TCP首部的流切片标志位与上一个流切片的TCP首部流切片标志位相同，直接执行步骤四。

步骤四：边缘层交换机检测是否有新数据包到达，若有，执行步骤五，否则，继续检测。

步骤五，交换机检测小流并随机转发。

交换机判断当前到达的数据包的大小流标志位Sl_Tag是否为0，若是，则该数据包所属流为小流，并为该数据包随机选择一输出端口转发，返回步骤四；

否则，执行转步骤六。

步骤六，交换机判断当前数据包所属大流是否为新流。

交换机计算数据包的五元组哈希值Hash_Value，遍历流切片转发表，查找表中是否存在与Hash_Value相等的条目：

若存在，则执行步骤七；

否则，表明该数据包所属流为新流且为新流的第一个数据包，新建转发表条目，且转发表条目Tag项的值为该数据包流切片标志位的值，执行步骤八。

步骤七，交换机判断当前数据包所属大流的流切片是否存在。

交换机读取当前数据包的流切片标志位的值，并将该值与转发表条目Tag项的当前值比较：

若两者相等，则该数据包属于当前流切片，并将该数据包转发到转发表条目Port项指示的输出端口；

若两者不相等，则更新转发表条目Tag项的值为该数据包流切片标志位的值，执行步骤八。

步骤八，交换机为当前数据包选路。

边缘层交换机从候选输出端口中随机选取一个，判断其端口队列长度是否小于当前数据包所属流的上一个流切片的输出端口P的端口队列长度：

若是，则使用队列长度最小的输出端口转发数据包，同时设置对应条目的流切片输出端口项P的值改为转发当前数据包所用端口，返回步骤四；

否则，使用该数据包所属流的上一个流切片的输出端口，即对应条目的流切片输出端口P，转发该数据包，返回步骤四。

本发明的效果可通过以下仿真测试进一步说明：

一.仿真实验配置

实验使用NS3.26网络模拟器来实现。

仿真中拓扑结构采用K＝8的Fat-Tree架构，由128台终端主机、32台架顶式边缘层交换机、32台汇聚层交换机、16台核心层交换机组成，分为8个Pod，每个Pod包含4台汇聚层交换机，4台边缘层交换机和16台终端主机，每台边缘层交换机连接4台终端主机，每台交换机的端口数为8，互联规则如图4(a)所示。

交换机每个端口的输出带宽为10Gbps，节点间链路的传播时延为1微秒。主机之间的通信模式为all-to-all模式，流量模式为Web Search流量模式，对应的字节量的累积分布函数如图4(b)所示，流量发送间隔服从泊松分布。

二.仿真试验内容

在不同网络负载下，对本发明和现有三种负载均衡方法ECMP、Letflow及RPS的性能进行测试对比，结果如图5，其中：

图5(a)为在不同网络负载下，不同方法的流平均完成时间示意图。

图5(b)为不同网络负载下，不同方法的流归一化吞吐率示意图，各方法归一化吞吐率计算方式为：对应负载下各方案的吞吐率除以本发明的吞吐率。

从图5(a)中可以看出，ECMP方法的流平均完成时间随网络负载的增加急剧增大，Letflow，RPS方法和本发明的流平均完成时间随网络负载的增加平稳增长。随着网络负载的增加，ECMP方法的哈希碰撞次数增多，小流易被大流阻塞，网络缓冲区长时间被大流占据，加剧路径拥塞，导致流平均完成时间急剧增加。Letflow方法能根据网络拥塞程度自适应调整流切片的大小，但存在流切片大小调整不及时且不考虑路径状态等问题，因此性能优于ECMP但劣于数据包粒度方案RPS。RPS为每条流所有数据包随机选择路径，有效降低流完成时间，但传输粒度过细会导致较为严重的数据包乱序，引起数据包大量重传，因此流完成时间无法达到最小。本发明将大流分解为多条流切片，并为每条流切片选择负载较轻的路径传输，有效避免了哈希碰撞，同时小流以分组粒度传输，避免小流被大流阻塞，进一步减少流完成时间，故流完成时间最小。

从图5(b)中可以看出，本发明与现有的ECMP，RPS和Letflow相比，由于充分利用了多路径且路径拥塞程度较低，因而可在在高负载下，流吞吐率分别提升45％、25％及20％，实现了流的高吞吐率。

Claims (5)

1.一种数据中心网络流量负载均衡方法，其特征在于，包括如下：

(1)初始化

在边缘层交换机新建流切片转发表；

在主机端初始化传输控制层缓冲区的剩余字节量TB、大小流区分阈值T、数据包大小流标志位Sl_Tag、流切片大小S、流切片标志位Tag、各数据流上一个流切片的流切片标志位P_Tag；

在交换机端初始化数据包的五元组哈希值Hash_Value、流切片的输出端口P、字节计数器SC，并储存在转发表中；

(2)对每个新生成的数据包，发送端主机获取其序列号Sq，并计算Sq与当前剩余字节量TB的和Q，并将其与大小流区分阈值T进行比较：

若Q超过阈值T，则判定该数据包所属流为大流，将传输控制协议TCP首部保留字段的数据包大小流标志位Sl_Tag置为1，执行(3)；

否则，判定该数据包所属流为小流，将数据包大小流标志位Sl_Tag置0，执行(4)；

(3)更新字节计数器SC为字节计数器SC与当前数据包的字节大小之和W，判断其是否超过流切片大小S：

若W超过S，则在当前流切片的TCP首部的流切片标志位与上一个流切片的TCP首部流切片标志位取反，更新流切片标志位P_Tag，同时对字节计数器SC复位，执行(4)；

否则，将当前流切片的TCP首部的流切片标志位，设为与上一个流切片的TCP首部流切片标志位相同，执行(4)；

(4)边缘层交换机检测是否有新数据包到达，若有，执行(5)，否则，继续检测；

(5)交换机判断当前到达的数据包的大小流标志位Sl_Tag是否为0：

若是，则判该数据包所属流为小流，为该数据包随机选择一输出端口转发，执行(4)；

否则，执行(6)；

(6)交换机计算数据包的五元组哈希值Hash_Value，遍历流切片转发表，查找表中是否存在与Hash_Value相等的条目：

若存在，则执行(7)；

否则，表明该数据包所属流为新流且为新流的第一个数据包，则要新建转发表条目，并将转发表条目的流切片标志位Tag值置为该数据包流切片标志位的值，执行(8)；

(7)读取数据包流切片标志位的值，并将其与该转发表条目的流切片标志位Tag项的当前值比较：

若两者相等，则该数据包属于当前流突发，将其转发到该转发表条目输出端口项指示的输出端口；

若两者不相等，则将转发表条目的流切片标志位Tag值更新为该数据包流切片标志位的值，执行(8)；

(8)边缘层交换机从候选输出端口中随机选取一个，判断其端口队列长度是否小于当前数据包所属流的上一个流切片输出端口P的端口队列长度：

若是，则使用队列长度最小的输出端口转发数据包，并将流切片转发表中对应条目的流切片输出端口项的值改为当前数据包所用输出端口号，返回(4)；

否则，使用当前数据包所属流的上一个流切片的输出端口，即对应条目的流切片输出端口P，转发该数据包，返回(4)。

2.根据权利要求1所属所述的方法，其特征在于，(1)中所述的在边缘层交换机新建流切片转发表，用于记录到达该交换机的大流的五元组哈希值、字节量和输出端口号。

3.根据权利要求1所属所述的方法，其特征在于，(1)中初始化大小流区分阈值T设置为100KB；流切片大小S设置为64KB；流切片标志位Tag为0；字节计数器SC的值设置为0。

4.根据权利要求1所属所述的方法，其特征在于，(3)中更新流切片标志位P_Tag,，是指将上一个流切片标志位取反后的值赋给P_Tag。

5.根据权利要求1所属所述的方法，其特征在于，(3)中对字节计数器SC复位，是指将字节计数器SC的值重新设为初值0。

Images