CN112910795A - 一种基于众源的边缘负载均衡方法和系统 - Google Patents

Abstract

本发明公开了一种基于众源的边缘负载均衡方法，包括：将数据包往返时间转换为对应的路径拥塞值；由中心节点汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值；中心节点根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息；根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径。本发明既能够部署在端上不需要对网络中交换机进行修改，克服在端上部署能见度有限，所获取的信息有限的局限性；又能应对数据中心网络的动态变化所带来的复杂的网络状态，并对网络进行实时的监控。

Description

一种基于众源的边缘负载均衡方法和系统

技术领域

本发明涉及数据中心网络通信技术领域，具体而言涉及一种基于众源的边缘负载均衡方法和系统。

背景技术

随着网络中应用对流量需求的增加，例如大数据分析、网络服务和云存储.数据中心网络依赖于端点对之间的多条路径来提供大的对分带宽，以实现网络负载均衡。

在数据中心网络中，一个好的负载均衡方案是会在端点对之间的多条路径上合理的分配流量，这对于网络性能的提升至关重要。但是现在数据中心中大多数使用的还是ECMP，根据流的五元组进行hash随机选路。因为ECMP机制简单从而被广泛部署，但是会带来hash冲突和带宽浪费等众所周知的问题。并且现在的数据中心网络中网络状况越来越复杂，例如：

(1)数据中心流量的动态变化。根据以往的研究表明，数据中心的流量时刻发生着动态的变化。当一些高发送速率流开始的时候，拥塞产生，当这些流结束时，拥塞也会随之结束。这说明拥塞的产生不确定，而负载均衡机制必须能应对流量的动态变化。而之前的负载均衡方案如CLOVE-ECN，是被动的应对拥塞，当拥塞已经产生时才对路径权重进行调整。被动应对带来的后果是无法及时的处理拥塞，可能发生拥塞已经结束之后才采取应对措施，无法应对数据中心网络中流量的快速动态的变化。

(2)网络拓扑不对称。产生不对称拓扑的原因有很多，例如链路损坏，异构的交换机(链路带宽不同，端口数目不同)。不对称是在数据中心中常见且不可避免的问题。这就导致端点对之间的多条路径带宽可能不同。在对称拓扑中只需要将流量均匀地分配个各个路径就好了。例如Presto，提出的flowcell，就是将流切分成大小相同的数据块flowcell(64KB)，用轮询的方式均匀的将flowcell分发给各个路径。这种方式在对称拓扑中可以达到不错的效果。但是在不对称拓扑中，由于不同路径之间的带宽可能不同，再一味的均匀分发会导致拥塞和带宽的浪费。Letflow虽然采用的是flowlet不等长的切分单位，但是没有采用积极主动的用对策略，拥塞产生之后被动调整。在不对称拓扑中，会产生反应迟缓，收敛速度慢等问题。

虽然人们提出了很多负载均衡解决方案，但是仍存在很多问题。有些方案需要特定的交换机芯片或者修改交换机，例如letflow，drill，CONGA。而数据中心网络发展的趋势是删减那些不必要的路由/交换功能.利用标准服务器提供网络优化，主机网卡智能化，从而使得主机有能力参与数据中心中的路由建设和负载均衡的决策。为了支撑应用和数据的大规模扩展，下一代数据中心需要一个新的标准化的、简化的网络。将复杂的网络功能转移到网络的边缘，核心网络交换机只留下转发的基本功能，本质上是交换机和代理执行简单的静态路由策略，即一个简单的由智能边控制的网络。

也有部分负载均衡方法部署在端上，例如CLOVE。然而，虽然CLOVE部署在端上，但是对拥塞感知能力有限，对路径的拥塞情况更新慢，不能迅速准确的反应路径的拥塞情况。Hermes通过主动的拥塞探测的策略和谨慎的路由选择方式，可以在较短时间对拥塞做出反应，但是因为每个主机只根据到达当前主机的数据包的信息来选择路径，得到的是局部的路径拥塞信息，拥塞信息范围有限，根据局部路径拥塞信息做出的路由选择具有局限性。也就是说，部署在端上的接收到的路径拥塞信息有限，根据有限的信息做出的负载均衡决策会出现偏差。端上只能获得到达单个主机上的数据包信息，无法获取全局信息，在有限的信息上做出的决定有误差。例如，hermes只根据到达单个主机的数据包的RTT和ECN，和超时重传等事件来判断路径情况，重复发送探测包造成带宽浪费。

因此，目前的主流负载均衡方法仍然选择部署在交换机上，由于全网的流量都要通过交换机来转发，因而部署在交换机上可以快速及时的获取全局的路径拥塞信息，从而做出抉择。部署在交换机上的方案会获取全局经过交换机上的数据包信息，例如CONGA可以测量出每条路径的发送速率并转化为拥塞值，在交换机上选取拥塞值小的路径进行转发。但部署在交换机上又绕不开前述交换机部署方式存在的问题。

发明内容

本发明针对现有技术中的不足，提供一种基于众源的边缘负载均衡方法和系统，既能够部署在端上不需要对网络中交换机进行修改，克服在端上部署能见度有限，所获取的信息有限的局限性；又能应对数据中心网络的动态变化所带来的复杂的网络状态，并对网络进行实时的监控。

为实现上述目的，本发明采用以下技术方案：

一种基于众源的边缘负载均衡方法，所述边缘负载均衡方法包括以下步骤：

S1，将数据包往返时间转换为对应的路径拥塞值；所述数据包往返时间为数据包从源到达目的地所经过的时间，所述路径拥塞值为描述该数据包对应的当前路径拥塞情况的数值；

S2，由中心节点汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值；所述中心节点为clos拓扑中每个leaf交换机从自身所连接的多个主机中任意选取一个得到；

S3，中心节点根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息；

S4，根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径。

为优化上述技术方案，采取的具体措施还包括：

进一步地，步骤S1中，所述将数据包往返时间转换为对应的路径拥塞值的过程包括以下步骤：

判断数据包往返时间与T_good和T_gray的关系，其中T_good是不拥塞路径的RTT值，T_gray是拥塞路径的RTT值，根据下述公式计算得到数据包所经过路径的拥塞值A_i：

式中，T_i是第i个数据包对应的往返时间，A_i是第i个数据包所经过路径的拥塞值，α是不拥塞的数据包在总体路径拥塞值所占权重，取值范围为(0，1)，β是拥塞数据包在路径拥塞值所占权重，取值范围为(1，100)。

进一步地，步骤S2中，所述由中心节点汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值的过程包括以下步骤：

中心节点周期性接受同一个leaf交换机下其他主机传过来的路径拥塞值，当不同主机有相同路径的拥塞值时，在中心节点上对同一路径上的拥塞值进行累加，得到该leaf交换机下所有主机接收到的每个路径对应的拥塞值。

进一步地，步骤S3中，所述中心节点根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息的过程包括以下步骤：

获取所属leaf交换机下所有主机的路径拥塞值；

对同一个目的leaf交换机下的中心节点，分别选取以下三条路径：(1)拥塞值最小的一条路径，(2)上次路径探测中探测结果最好的路径，(3)随机选取的一条路径，主动发送探测包，对路径进行探测。

进一步地，步骤S4中，所属根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径的过程包括以下步骤：

中心节点收到探测包之后，选取RTT最小的一条路径作为探测情况最优的路径。

进一步地，所述边缘负载均衡方法采用flowlet作为最小的路由粒度。

基于前述方法，本发明还提及一种基于众源的边缘负载均衡系统，所述边缘负载均衡系统部署在clos拓扑中，每个leaf交换机连接了多个主机；

所述边缘负载均衡系统包括拥塞值转换模块、汇聚模块、全局路径探测模块和路由选择模块；

所述拥塞值转换模块分布安装在每个主机上，用于根据当前主机对应的数据包往返时间计算与数据包对应的路径拥塞值，将计算结果定期发送至对应的中心节点；所述中心节点为clos拓扑中每个leaf交换机从自身所连接的多个主机中任意选取一个得到；

所述汇聚模块、全局路径探测模块和路由选择模块均安装在中心节点上；所述汇聚模块用于汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值；所述全局路径探测模块用于根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息；所述路由选择模块用于根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径。

本发明的有益效果是：

(1)既能够部署在端上不需要对网络中交换机进行修改，克服在端上部署能见度有限，所获取的信息有限的局限性；又能应对数据中心网络的动态变化所带来的复杂的网络状态，并对网络进行实时的监控。

(2)通过拥塞值累加，和主动探测机制，即使在网络负载低的情况下，也可以获得足够的数据量，确保拥塞值具有极高的准确性。

(3)将拥塞值转换工作部署在每个主机上进行，代理主机只做一次汇总累加，在带宽消耗和数据汇总进行有效权衡，保证代理主机有全部路径数据的同时又能节省带宽消耗。

附图说明

图1是本发明的基于众源的边缘负载均衡方法的流程图。

图2是本发明的其中一种可部署的网络拓扑结构图。

图3是本发明的拥塞值汇聚方式示例图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

结合图1，本发明提出一种基于众源的边缘负载均衡方法，所述边缘负载均衡方法包括以下步骤：

S1，将数据包往返时间转换为对应的路径拥塞值；所述数据包往返时间为数据包从源到达目的地所经过的时间，所述路径拥塞值为描述该数据包对应的当前路径拥塞情况的数值。

S2，由中心节点汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值；所述中心节点为clos拓扑中每个leaf交换机从自身所连接的多个主机中任意选取一个得到。

S3，中心节点根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息。

S4，根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径。

图2是本发明的其中一种可部署的网络拓扑结构图。本发明是被部署在数据中心网络中图2所示的拓扑，名为CLOS拓扑，由两层交换机组成，第一层交换机为spine交换机，第二层交换机为leaf交换机。两层交换机之间全连接，即每一个spine交换机都要和所有的leaf交换机连接。主机跟leaf交换机相连接。本发明所提及的边缘负载均衡方法的各个功能模块可以部署在CLOS拓扑中的主机上，避免对交换机进行修改。

基于前述方法，本发明还提及一种基于众源的边缘负载均衡系统，所述边缘负载均衡系统部署在clos拓扑中，每个leaf交换机连接了多个主机。

所述边缘负载均衡系统包括拥塞值转换模块、汇聚模块、全局路径探测模块和路由选择模块。

所述拥塞值转换模块分布安装在每个主机上，用于根据当前主机对应的数据包往返时间计算与数据包对应的路径拥塞值，将计算结果定期发送至对应的中心节点；所述中心节点为clos拓扑中每个leaf交换机从自身所连接的多个主机中任意选取一个得到。

所述汇聚模块、全局路径探测模块和路由选择模块均安装在中心节点上；所述汇聚模块用于汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值；所述全局路径探测模块用于根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息；所述路由选择模块用于根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径。

本发明提出的在数据中心网络中基于众源的边缘负载均衡系统，在每个时间间隔执行如下步骤：

(1)端上主机将数据包往返时间转化为路径拥塞值。

(2)多个主机定期向选取的中心节点传送路径拥塞值，中心节点负责汇聚路径的拥塞值。

(3)中心节点周期性的根据汇总的路径拥塞信息，选取路径主动发送探测包进行全局路径探测。

(4)中心节点根据探测结果，选取作为下次路由的路径。

第一，本发明采用拥塞感知和拥塞具体化。

RTT是直观表达路径拥塞情况的信号量。数据包的RTT受多个因素的影响，网络拥塞，到达目的地所需跳数，终端主机网络堆栈延迟。一个数据包的RTT大小通常无法判断路径的拥塞情况。但是如果一条路径上的大多数数据包的RTT都很大，这条路径大概率是拥塞的。本发明采用拥塞值累加的办法。具体做法我们首先设置T_good和T_gray的RTT数值。当packet的RTT小于T_good时，设置拥塞值为0，当RTT大于T_good小于T_gray时，设置拥塞值为(RTT-T_good)*α，当RTT大于T_gray时，设置拥塞值为(RTT-T_gray)*β。将到来的数据包RTT转化为拥塞值之后，每条路径上的拥塞值进行累加。累加之后的结果代表路径上的拥塞情况，累加和越小说明路径上发送的数据包越少，RTT越小。累加和越大说明路径上发送的数据包越多，RTT越大。这相当于是“民主”投票的方式，选举结果为路径的拥塞情况。你的选票即为发送数据包的RTT，RTT越大则选票所占比重越大。

第二，本发明采用拥塞值汇聚。

拥塞值累加的方法需要有足够的数据量，这样的拥塞值才更具有准确性。但是只根据一个终端的数据量是远远不够的。本发明采用一个leaf交换机下多终端之间的协作达到数据集中共享，获取多个终端的各个路径上的数据。每个leaf交换机下面选择一个主机作为代理主机，其他主机将累加的拥塞值传递给相应的代理主机。这样每个leaf交换机下的代理主机就有leaf交换机下所有流量在所有路径上的拥塞值。具有更多大而数据量，从而对于路径拥塞值的判断更加准确。各个主机向中心节点传输的是路径上数据的拥塞值，每个主机上先累加当前的拥塞值，再传到代理主机再做一次汇总累加。这样在带宽消耗和数据汇总直接按做了权衡。保证代理主机有全部路径数据的同时又能节省带宽消耗。如图3所示，这是一个路径拥塞值汇聚的例子。一个rack下的host1和host2分别记录了各自节点关于A，B，C三条路径拥塞值。这只是从他们单个host上所记录的数据，不具有全局性。为了使网络更具有可见性，hostl，host2都将本节点上的拥塞信息发送给proxy host。Proxyhost收到之后将收集到的拥塞值进行累加。累加的结果分别为50，12，132.累加的拥塞值代表这条路径的拥塞情况，拥塞值越大路径拥塞的概率越大，拥塞值越小表明路径拥塞的概率越小。

第三，本发明采用主动探测机制。

虽然代理节点有全局的数据信息。但是在网络负载低的时候，数据量少，即使有全局数据，对于不对称拥塞的情况仍然无法有效判断。如果某条路径没有数据包经过，就无法得知它的拥塞情况。这时候我们就需要采取主动的拥塞探测机制。定期主动发送探测包检测各个路径。但是如果给网络中的全部路径都发送探测包的话，虽然能提升系统的可见性，但是浪费了大量的带宽。受到well-known power-of-two-choices technique的启发。代理主机对于每个目的leaf交换机选取三条路径发送探测包：一条拥塞值最小的路径，一条上次探测的最好的路径，再加上一条随机选择的路径。然后代理节点在对每个目的leaf交换机选一条探测结果最好的路径最为最后结果，分发给其他主机。作为下次路由的路径。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于众源的边缘负载均衡方法，其特征在于，所述边缘负载均衡方法包括以下步骤：

S1，将数据包往返时间转换为对应的路径拥塞值；所述数据包往返时间为数据包从源到达目的地所经过的时间，所述路径拥塞值为描述该数据包对应的当前路径拥塞情况的数值；

S2，由中心节点汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值；所述中心节点为clos拓扑中每个leaf交换机从自身所连接的多个主机中任意选取一个得到；

S3，中心节点根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息；

S4，根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径。

2.根据权利要求1所述的基于众源的边缘负载均衡方法，其特征在于，步骤S1中，所述将数据包往返时间转换为对应的路径拥塞值的过程包括以下步骤：

判断数据包往返时间与T_good和T_gray的关系，其中T_good是不拥塞路径的RTT值，T_gray是拥塞路径的RTT值，根据下述公式计算得到数据包所经过路径的拥塞值A_i：

式中，T_i是第i个数据包对应的往返时间，A_i是第i个数据包所经过路径的拥塞值，α是不拥塞的数据包在总体路径拥塞值所占权重，取值范围为(0，1)，β是拥塞数据包在路径拥塞值所占权重，取值范围为(1，100)。

3.根据权利要求1所述的基于众源的边缘负载均衡方法，其特征在于，步骤S2中，所述由中心节点汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值的过程包括以下步骤：

中心节点周期性接受同一个leaf交换机下其他主机传过来的路径拥塞值，当不同主机有相同路径的拥塞值时，在中心节点上对同一路径上的拥塞值进行累加，得到该leaf交换机下所有主机接收到的每个路径对应的拥塞值。

4.根据权利要求1所述的基于众源的边缘负载均衡方法，其特征在于，步骤S3中，所述中心节点根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息的过程包括以下步骤：

获取所属leaf交换机下所有主机的路径拥塞值；

对同一个目的leaf交换机下的中心节点，分别选取以下三条路径：(1)拥塞值最小的一条路径，(2)上次路径探测中探测结果最好的路径，(3)随机选取的一条路径，主动发送探测包，对路径进行探测。

5.根据权利要求1所述的基于众源的边缘负载均衡方法，其特征在于，步骤S4中，所属根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径的过程包括以下步骤：

中心节点收到探测包之后，选取RTT最小的一条路径作为探测情况最优的路径。

6.根据权利要求1所述的基于众源的边缘负载均衡方法，其特征在于，所述边缘负载均衡方法采用flowlet作为最小的路由粒度。

7.一种基于权利要求1-6任意一项中所述方法的基于众源的边缘负载均衡系统，其特征在于，所述边缘负载均衡系统部署在clos拓扑中，每个leaf交换机连接了多个主机；

所述边缘负载均衡系统包括拥塞值转换模块、汇聚模块、全局路径探测模块和路由选择模块；

所述拥塞值转换模块分布安装在每个主机上，用于根据当前主机对应的数据包往返时间计算与数据包对应的路径拥塞值，将计算结果定期发送至对应的中心节点；所述中心节点为clos拓扑中每个leaf交换机从自身所连接的多个主机中任意选取一个得到；

所述汇聚模块、全局路径探测模块和路由选择模块均安装在中心节点上；所述汇聚模块用于汇聚得到所属leaf交换机下所有主机接收到的每个路径对应的拥塞值；所述全局路径探测模块用于根据汇聚结果周期性发送探测包主动进行路径探测，获取所属leaf交换机对应的全局拥塞信息；所述路由选择模块用于根据获取的全局拥塞信息选取探测情况最优的路径作为下一次路由的路径。

Images