CN111510391A

CN111510391A - 数据中心环境下细粒度级别混合的负载均衡方法

Info

Publication number: CN111510391A
Application number: CN202010265645.3A
Authority: CN
Inventors: 陆一飞; 徐正知
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2020-04-07
Filing date: 2020-04-07
Publication date: 2020-08-07
Anticipated expiration: 2040-04-07
Also published as: CN111510391B

Abstract

本发明公开了一种数据中心环境下细粒度级别混合的负载均衡方法，应用于数据中心网络的接入交换机中，针对象流、鼠流进行区分调度，对象流采用flowlet粒度转发，对鼠流采用数据包粒度转发，同时将部分鼠流数据包定向填充至队列较短的交换机端口中。本发明采取的转发策略尽可能使每一条链路公平地达到较高利用率，以保证负载均衡效果。本发明对于不同大小的流采取不同级别的较细粒度调度，可有效提高流完成时间(FCT)，同时不易发生非对称网络拓扑情况下数据包乱序造成的TCP性能降低的问题。

Description

数据中心环境下细粒度级别混合的负载均衡方法

技术领域

本发明属于数据中心流量负载均衡领域，特别是一种数据中心环境下细粒度级别混合的负载均衡方法。

背景技术

现代的数据中心网络(DCN)一般采用三层或二层的Clos拓扑结构，如Fat-tree、leaf-spine。可以将这些数据中心中的流量统一划分为两类：其一是为完成用户任务(如搜索查询)产生的流量，一般规模较小，要求较短的传播时延，称为鼠流；其二是虚拟机迁移、数据备份等产生的流量，规模较大，要求长时间稳定的吞吐量，称为象流。针对于以上的流量模式，现有数据中心模式的传统做法是使用等价多路径路由策略(ECMP)。

由于数据中心网络拓扑的对称结构，服务器对之间存在若干条等价最短路径，交换机通过哈希计算数据包头携带的五元组信息得到的值(源ip地址，目的ip地址，源端口号，目的端口号，传输层协议)，选择其中一条路径进行转发。这一方案有效地解决了服务器对之间若干条流在传统路由模式下只选择同一条路径的链路负载极不均衡的问题。

但ECMP会存在以下几点问题：

1)若两条象流经哈希映射计算后，分配到了同一条路径，将造成此路径负载过高，严重降低FCT，这称为哈希碰撞(Hash collision)。2)ECMP无法感知当前流属于象流或鼠流，鼠流的规模又远不及象流，因此当鼠流与象流共享链路时，鼠流往往被阻塞在象流后，这种情况称作鼠流线头阻塞(Head-of-line blocking)。3)当某条链路出现故障时，导致该链路吞吐量下降和拥塞发生，造成每条流在不同链路上传播的速率不同，引起数据包乱序。TCP为处理乱序，减少拥塞窗口，导致服务器侧的发送速率下降，严重降低FCT。

当前，针对数据中心网络环境的负载均衡策略有许多种，以下对一些经典的策略，从不同的调度粒度级别和调度决策方式介绍各自的特点。

1)RPS(随机包扩散)：RPS是一个实现极为简单的分布式数据包级别策略，无需任何额外的全局信息。交换机为每一个数据包简单地选择随机端口发送，象流和鼠流均被视作若干个数据包，从而公平竞争链路，避免鼠流线头阻塞。相比于ECMP，RPS极大程度地提高了TCP吞吐量、减少了流完成时间。但这种方法在非对称的网络中将出现比较严重的数据包乱序，同时完全随机的端口扩散策略缺乏有效约束，导致实际场景中负载均衡效果不够理想。

2)CONGA：CONGA是一个分布式flowlet级别的负载均衡方案。它以固定的时间间隔(一般为100μs～500μs)，划分流量为若干个流切片，并借助VXLAN技术在数据包内封装额外的拥塞信息，拥塞信息通过数据包，在叶子交换机之间传递，从而根据远端叶子交换机传回的全局拥塞反馈信息进行流切片调度，极为有效地避免数据包乱序，降低了FCT。这种方法采用流切片级别调度，作为流与数据包的折中，为今后的许多流切片调度方案打下了研究基础。但是此方案的拥塞反馈信息控制流时间较长，且仅限于leaf-spine的2层Clos网络拓扑，缺乏拓展性。

3)DiffFlow：DiffFlow区分调度流，当检测到象流时，通知SDN控制器，SDN控制器通知所有交换机针对此象流进行RPS调度，对鼠流依然使用默认的ECMP。DiffFlow对ECMP和RPS方案针对于象鼠流进行调度级别上的折中，有效降低FCT，但需要依赖SDN控制器的支持，是集中式的方案，一般来说集中控制器调度周期较长，无法有效应对突发流。

4)Drill：Drill是分布式的数据包级别负载均衡方案，它受到一种超市排队队列模型的启发，交换机随机选择k(一般为2)个队列长度最短的输出端口的其中之一转发数据包，该方案的随机算法具有稳定性的优点，在高负载环境下有效可降低FCT，且实现简单。但无法确保随着非对称性的加剧，此类数据包级别的调度不会造成严重的数据包乱序。

发明内容

本发明的目的是在数据中心网络Clos拓扑中，区分调度鼠流和象流，在数据包乱序程度尽可能低的约束下，降低流完成时间，从而达到较好的负载均衡效果。

实现本发明目的的技术解决方案为：一种数据中心环境下细粒度级别混合的负载均衡方法，所述方法包括以下步骤：

步骤1，判定数据包为象流还是鼠流；

步骤2，基于flowlet调度机制对象流进行调度，并激活或关闭鼠流数据包重定向模式；

步骤3，基于步骤2的激活或关闭结果对鼠流进行调度。

进一步地，步骤1所述判定数据包为象流还是鼠流，具体包括：

步骤1-1，配置固定时间周期参数Tp；

步骤1-2，提取数据包的flowid和flowid对应的Flag标记，若Flag＝＝1，表明该流已是象流，结束判定；若Flag＝＝0，表明该流是鼠流或是潜在的象流，执行步骤1-3；其中，flowid为流的唯一标识符，Flag为流模式位；

步骤1-3，计算当前时间戳Tcur与上次抽样该流的时间戳Tpre之差，若Tcur-Tpre＞Tp，则表明该流为象流，添加到象流表中，并修改流标识即流模式位Flag＝1；否则表明该流为鼠流，修改流模式位Flag＝0。

进一步地，步骤2所述基于flowlet调度机制对象流进行调度，并激活或关闭鼠流数据包重定向模式，具体包括：

步骤2-1，设置flowlet的过期时间expired_time，构建1*N维的鼠流定向填充权重集合weight，并初始化该集合中的每个元素weight[k]＝0；其中flowlet为流切片，N为交换机的端口数，weight[k]表示第k个端口的权重，k＝1,2,...,N；

步骤2-2，利用flowid查询flowlet表，若flowlet表未命中，则执行步骤2-3；否则判断命中的flowlet是否过期，若未过期，执行步骤2-4，否则执行步骤2-3；所述判断命中的flowlet是否过期，具体为：若Tcur-active_time≤expired_time，则表明未过期；其中active_time为flowlet活跃时间；flowlet表，记录交换机中flowlet信息，用于查询调度的表，表项结构如下表1所示：

表1 flowlet表

步骤2-3，随机选择交换机的一个端口进行象流转发，并生成一条新的flowlet转发规则，加入flowlet表中；同时检测交换机各端口队列k的长度Q_k，计算交换机各端口队列长度的均值

标准差

判断标准差σ是否大于预设交换机队列均值阈值Qth即σ＞Qth，若是，则激活鼠流数据包重定向模式，设定mode＝1，且针对Q_k＜μ的队列k，设置weight[k]＝|Q_k-μ|；否则关闭鼠流数据包重定向模式，设置mode＝0；

步骤2-4，利用flowlet表中命中的flowlet对应的转发端口对象流进行转发，并利用命中后查询到的活跃时间new_active_time更新flowlet表中的active_time。

进一步地，步骤3所述基于步骤2的激活或关闭结果对鼠流进行调度，具体包括：

针对激活鼠流数据包重定向模式即mode＝1，调度过程包括：

步骤3-1，遍历查询weight集合，根据集合中的权重值生成鼠流填充表fillport，该表中交换机的第k个端口对应有weight[k]个表项；

步骤3-2，从所述鼠流填充表fillport随机选取某一表项对应的端口，对鼠流进行转发；

针对关闭鼠流数据包重定向模式mode＝0，调度过程包括：

步骤3-3、随机选择交换机的一个端口进行鼠流转发。

本发明与现有技术相比，其显著优点为：1)分别继承了Drill与CONGA的两个特点：①将交换机队列长度作为拥塞指标②部分使用flowlet调度，不仅避免鼠流阻塞，还极大程度减轻数据中心故障时非对称性对负载均衡策略性能的影响；2)对象、鼠流区分调度，象流标识随着数据包传播到各交换机，比起同样区分调度的DiffFlow方案，无需Openflow控制器的介入；3)首次将flowlet与数据包混合调度，比起纯数据包级别的调度方案，在非对称下网络拓扑下的鲁棒性更佳，是一种折中方案的探索；4)提出flowlet与数据包共同占用交换机队列时，引发的队列标准差过大问题，并使用鼠流数据包定向填充策略，缓解此问题带来的负面影响，动态地使每一个交换机的中的队列标准差尽可能减小，从而达到理想的负载均衡效果。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一个实施例中数据中心环境下细粒度级别混合的负载均衡方法流程图。

图2为一个实施例中本发明的应用场景(2层leaf-spine网络)示意图。

图3为一个实施例中象流调度中的flowlet调度机制示意流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，结合图1，提供了一种数据中心环境下细粒度级别混合的负载均衡方法，该方法应用于Clos拓扑(如图2所示leaf-spine)的数据中心网络中。以leaf-spine为例，该网络环境包含叶子交换机、核心交换机、端主机，端主机与叶子交换机相连，每台叶子交换机同时与所有核心交换机相连，故可形成若干条等价路径(默认各路径带宽、时延相同)，且它们之间进行数据传递，传递方向为从叶子交换机下连接的端主机传递到另一个叶子交换机的下连接的端主机，传输层协议使用TCP/DCTCP(DCTCP通常更佳)。该方法包括：

步骤1，判定数据包为象流还是鼠流；

步骤3，基于步骤2的激活或关闭结果对鼠流进行调度。

进一步地，在其中一个实施例中，上述步骤1判定数据包为象流还是鼠流，具体包括：

步骤1-1，配置固定时间周期参数Tp(参考值500μs)；

步骤1-2，提取数据包的flowid和flowid对应的Flag标记，若Flag＝＝1，表明该流已是象流，结束判定；若Flag＝＝0，表明该流是鼠流或是潜在的象流，执行步骤1-3；其中，flowid为流的唯一标识符，由计算五元组(源主机地址，目的主机地址，源端口号，目的端口号，传输层协议)的哈希值得出；Flag为流模式位；

步骤1-3，计算当前时间戳Tcur与上次抽样该流的时间戳Tpre之差，若Tcur-Tpre＞Tp，则表明该流为象流，添加到象流表中，并修改流标识即流模式位Flag＝1；否则表明该流为鼠流，修改流模式位Flag＝0。其中，象流表为流的模式记录表。

表项结构如下表2所示：

表2 象流表

flowid

Flag(流模式位)

进一步地，在其中一个实施例中，结合图3，上述步骤2基于flowlet调度机制对象流进行调度，并激活或关闭鼠流数据包重定向模式，具体包括：

步骤2-1，设置flowlet的过期时间expired_time，构建1*N维的鼠流定向填充权重集合weight，并初始化该集合中的每个元素weight[k]＝0；其中flowlet为流切片，指按照固定时间间隔，将一条完整的流切分成的在时间尺度上的一段数据包序列，N为交换机的端口数，weight[k]表示第k个端口的权重，k＝1,2,...,N；

步骤2-2，利用flowid查询flowlet表，若flowlet表未命中，则执行步骤2-3；否则判断命中的flowlet是否过期，若未过期，执行步骤2-4，否则执行步骤2-3；所述判断命中的flowlet是否过期，具体为：若Tcur-active_time≤expired_time，则表明未过期；其中active_time为flowlet活跃时间；flowlet表，记录交换机中flowlet信息，用于查询调度的表，表项结构如下表3所示：

表3 flowlet表

步骤2-3，随机选择交换机的一个端口进行象流转发(这里，待选的端口一般优选一些近期未使用的端口，生成交换机可用端口数范围内的随机数rand，取port＝＝rand为选择的转发端口号)，并生成一条新的flowlet转发规则，加入flowlet表中；同时检测交换机各端口队列k的长度Q_k，计算交换机各端口队列长度的均值

标准差

进一步地，在其中一个实施例中，上述步骤3基于步骤2的激活或关闭结果对鼠流进行调度，具体包括：

针对激活鼠流数据包重定向模式即mode＝1，调度过程包括：

步骤3-2，从所述鼠流填充表fillport随机选取某一表项对应的端口(生成交换机鼠流表填充表大小范围内的随机数rand，取port＝rand为选择的转发端口号)，对鼠流进行转发；

针对关闭鼠流数据包重定向模式mode＝0，调度过程包括：

步骤3-3、随机选择交换机的一个端口进行鼠流转发(生成交换机可用端口数范围内的随机数rand，取port＝＝rand为选择的转发端口号)。

作为一种具体示例，对本发明的一种数据中心环境下两种细粒度级别混合的负载均衡方法进行进一步说明，具体样例情况包括：

情况一：如图2中的网络拓扑情况所示，第一个数据包从服务器A-1发往服务器B-2，首先它会到达接入交换机A，到达接入交换机A后，交换机中的本算法检查该数据包的flowid，发现flowid为1，由于是第1个数据包，象流表必然不命中，因此按照鼠流方案转发，假设端口1和端口2的队列此时均为0，则随机选择1个端口进行转发，此处选择端口1，则此时端口1队列长度为1(假设在极为细微的时间段内，数据包虽在队列头部，但尚未转发出去)。

情况二：第二个数据包从服务器A-1发往服务器B-2，达到接入交换机B后，同样获得flowid，此时象流表依然为空，按照鼠流方案转发，随机选择一个端口转发，假设选择端口2转发。

情况三：经过若干时间，此时超出了给定的检测象流阈值Tpre＝＝3，发现此时收到的数据包中的flowid与上一个flowlet的flowid一致，则设置Flag＝1，添加进象流表中，随机选择端口，如选择2号端口转发。此时检查交换机各队列情况，假设发现1号端口队列中存在10个数据包，2号端口存在20个数据包，设定的Qth＝＝3，队列标准差超过给定阈值Qth。则改变模式mode＝1，计算交换机端口队列均值μ为15。对于1号端口，|Q₁-Q_th|＝5＞3，因此weight[1]＝5。

情况四：紧接着情况三，一个鼠流数据包到来，发现mode＝1，此时weight表情况为：weight[1]:5，weight[2]:0。生成fillport表，其中fillport表中有5个表项，其端口均为1。假设随机生成一个随机数1，查询fillport[1]，得到端口值为1，因此选择端口号1进行转发。

由上可知，本方法可以直接区分调度象流和鼠流，将象流切分为flowlet，将鼠流按照数据包级别调度，且区分象流鼠流的阈值可以自定义，还能拓展算法使得阈值可随负载状况可以动态改变。本方法将占据绝大多数吞吐量的象流划分为flowlet，避免出现网络非对称引起的数据包乱序问题。且通过本例子可看出，通过鼠流定向填充，使得由于flowlet和数据包同时占用端口队列时引发的队列参差不齐的情况得以缓解，能保证将flowlet或数据包按照队列长度较短，即可能的拥塞程度较轻的输出端口进行转发，达到较好的负载均衡效果。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种数据中心环境下细粒度级别混合的负载均衡方法，其特征在于，所述方法包括以下步骤：

步骤1，判定数据包为象流还是鼠流；

步骤3，基于步骤2的激活或关闭结果对鼠流进行调度。

2.根据权利要求1所述的数据中心环境下细粒度级别混合的负载均衡方法，其特征在于，步骤1所述判定数据包为象流还是鼠流，具体包括：

步骤1-1，配置固定时间周期参数Tp；

3.根据权利要求1或2所述的数据中心环境下细粒度级别混合的负载均衡方法，其特征在于，步骤2所述基于flowlet调度机制对象流进行调度，并激活或关闭鼠流数据包重定向模式，具体包括：

表1 flowlet表

标准差

4.根据权利要求3所述的数据中心环境下细粒度级别混合的负载均衡方法，其特征在于，步骤3所述基于步骤2的激活或关闭结果对鼠流进行调度，具体包括：

针对激活鼠流数据包重定向模式即mode＝1，调度过程包括：

针对关闭鼠流数据包重定向模式mode＝0，调度过程包括：

步骤3-3、随机选择交换机的一个端口进行鼠流转发。