CN104767826A - 基于端的故障容忍的分布式数据中心负载均衡方法 - Google Patents

Abstract

本发明公开了基于端的故障容忍的分布式数据中心负载均衡方法，在源主机端维护具有自衰老机制的路径拥塞表；该方法包括基于端的路径状态评估和自适应的负载均衡；基于端的路径状态评估利用至少包含TCP数据流中的ACK到达时间和ACK确认的数据量的信息来评估当前路径的拥塞程度，利用TCP中的快重传和RTO超时事件来及时地获取故障路径的信息，将获取到的路径拥塞程度和故障信息插入到主机的拥塞表中；自适应负载均衡以TCP流中拥塞窗口为基本负载单元，利用主机拥塞表中的路径状态执行双向细粒度负载均衡机制。本发明无需特殊硬件支持，能够在大规模的数据中心中快速有效地部署，低开销、易部署，有效提高了数据中心中的通讯性能。

Description

基于端的故障容忍的分布式数据中心负载均衡方法

技术领域

本发明涉及数据中心中流量负载均衡方法，具体是一种基于端的分布式负载均衡机制。

背景技术

对于计算的可扩展性需求和规模效应所带来的巨大收益推动了数据中心技术的发展。当前的数据中心典型地包含成千上万级别的主机。通过采用Fat-tree,BCube等拓扑结构，数据中心网络为应用通讯提供了丰富的路径冗余。尽管这种路径富余从理论上提高了数据中心的对剖带宽，其实际性能仍然极大地依赖于底层的负载均衡机制。如果不能提供有效利用路径多样性的机制，数据中心网络通讯的整体性能仍会收到很大的影响。当前典型数据中心多借助于Equal-Cost-Multipath(ECMP)的技术来实现流量负载均衡。由于ECMP技术是一种将数据流和传输路径进行随机映射的方式，其不能有效地感知路径上的负载情况。这种负载均衡的盲目性可能导致大量的流冲突，从而极大地影响网络的整体性能。尽管当前已经提出部分适应性的负载均衡策略来改善ECMP的缺点，但其不适用于产生网络故障的场景，或者需要特定的硬件支持。

发明内容

发明目的：本发明为了解决现有的数据中心负载均衡技术的不足，提供了一种基于端的故障容忍的分布式数据中心负载均衡方法。

技术方案：为解决上述技术问题，本发明提供的基于端的故障容忍的分布式数据中心负载均衡方法，该方法在源主机端维护具有自衰老机制的路径拥塞表，所述路径拥塞表记录了从该源主机出发可达的所有路径的拥塞程度；该方法包括基于端的路径状态评估和自适应的负载均衡，所述基于端的路径状态评估通过路径拥塞表为自适应的负载均衡为提供实时选路指导，所述基于端的路径状态评估调用自适应的负载均衡为每个基本负载单元选路；

所述基于端的路径状态评估包括：利用至少包含TCP数据流中的ACK到达时间和ACK确认的数据量的信息来评估当前路径的拥塞程度；利用TCP中的快重传和RTO超时事件来及时地获取故障路径的信息；将获取到的路径拥塞程度和故障信息插入到当前主机的拥塞表中；

所述自适应的负载均衡包括：以TCP流中的拥塞窗口作为基本负载单元，利用主机拥塞表中的路径状态执行双向的细粒度负载均衡机制，包括防止路径震荡的正向数据段路由机制，以及反向ACK路由机制。

优选的，所述自适应的负载均衡包括以下步骤：

在TCP层检测当前的TCP拥塞窗口，使用源路由技术控制每个基本负载单元的发送路径的步骤；

在发送数据段之前，记录当前发送的拥塞窗口的起始序列号Seq_beg、终止序列号Seq_end及其发送路径pid为元组(Seq_beg,Seq_end,pid)的步骤；

当发送ACK报文时，从当前的主机拥塞表中选取具有最小拥塞程度的路径作为其发送路径的步骤。

优选的，所述基于端的路径状态评估包括以下步骤：

1)在源主机发送每个拥塞窗口前，调用自适应的负载均衡为当前的负载单元选路，并记录当前发送的拥塞窗口为元组(Seq_beg,Seq_end,pid)；

2)目的主机接收到数据段之后，回复ACK对当前接收到的数据段进行确认；

3)如果源主机未接收到新的ACK从而产生RTO超时或者触发快重传，则进入步骤7)；否则进入步骤4)；

4)源主机接受到ACK报文后，根据其确认号ackno查找满足Seq_beg≤ackno≤Seq_end的元组，得到当前ACK确认的数据的发送路径pid，并同时在缓存中删除所有满足条件Seq_end≤ackno的元组；

5)源主机根据接收到的ACK的到达时间和所确认的数据评估路径pid上的拥塞程度CL(pid)；

6)将源主机针对路径pid的评估结果CL(pid)插入到其自身所维护的路径拥塞表中，结束；

7)从TCP层获取当前最高的数据确认号ackno_high，在主机端缓存的元组中查找满足条件Seq_beg≤ackno_high≤Deq_end的元组，并根据该元组获取当前发生故障的路径ID为pid；

8)将故障路径的拥塞值设为CL_m，并将其插入到该主机的拥塞表中，其中CL_m表示当前该路径正发生严重拥塞或者发生链路错误，结束。

优选的，所述路径拥塞表具有的自衰老机制为：一旦拥塞表中的某条路径的拥塞信息超过预设时间段未被更新，该路径的拥塞程度将会逐渐的降为0。

具体的，所述在TCP层检测当前的TCP拥塞窗口，使用源路由技术控制每个基本负载单元的发送路径的步骤包括：在TCP层检测当前的TCP拥塞窗口，并将每个拥塞窗口内的数据作为一个基本的负载单元，针对每个基本的负载单元，首先从当前主机的拥塞表中随机的选取一半路径放入备选路径集，然后从备选路径集中选取具有最小拥塞程度的路径作为当前负载单元的发送路径。

优选的，所述源主机根据接收到的ACK的到达时间和所确认的数据评估路径pid上的拥塞程度的步骤中，所述评估方法为：

$\mathrm{CL}\left(\mathrm{pid}\right)=\frac{{\mathrm{ts}}_{i+1}-{\mathrm{ts}}_i}{({\mathrm{ackno}}_{i+1}-{\mathrm{ackno}}_i)*8}$

其中，CL(pid)为路径pid上的拥塞值，ts_i表示接收到第i个ACK的时间戳，ackno_i表示接收到的第i个ACK报文的确认号。

有益效果：本发明通过基于端的路径状态感知和路由选择，借助端的灵活性来实时地监测路径拥塞状态，可以快速的对数据中心的流量突发做出响应；能够针对网络故障做出响应处理，避免了错误路径上所产生的持续丢包现象，有效地提高了数据中心中的通讯性能；能够实时的避免网络热点并且无需特殊硬件支持，从而能够在大规模的数据中心中快速有效地部署。综上，本发明提供了一种低开销、易部署的基于端的故障容忍的分布式数据中心流量负载均衡方法，有效地提高了数据中心中的通讯性能。

附图说明

图1是实施例的系统架构图；

图2是实施例的流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，本实施列对本发明不构成限定。

使用本实施例提供的基于端的故障容忍的分布式数据中心负载均衡方法的负载均衡机制主要在主机的网络栈中实现，其具体实现的系统架构图如图1所示，该机制在逻辑上处于TCP层的上层，其利用TCP层提供的相应信息对当前路径状态进行评估，并且针对TCP数据流进行实时的流量负载均衡。

该方法在每台主机上维护具有自衰老机制的路径拥塞表，所述路径拥塞表记录了从该源主机出发可达的所有路径的拥塞程度；所述路径拥塞表具有的自衰老机制为：一旦拥塞表中的某条路径的拥塞信息超过预设时间段未被更新，该路径的拥塞程度将会逐渐的降为0。当然，所述预设时间段的数值可根据实际应用情况进行设定和调整。

如图2所示，本发明其主要包含两个模块，基于端的拥塞评估模块和自适应的负载均衡模块，分别对应本实施例提供的负载均衡方法中的基于端的路径状态评估和自适应的负载均衡。所述基于端的路径状态评估通过路径拥塞表为自适应的负载均衡为提供实时选路指导，所述基于端的路径状态评估调用自适应的负载均衡为每个基本负载单元选路。

上述自适应的负载均衡模块利用主机拥塞表中的路径状态执行双向的细粒度负载均衡机制，其主要功能流程包括：

在TCP层检测当前的TCP拥塞窗口，使用源路由技术控制每个基本负载单元的发送路径的步骤，其使用的防止路径震荡的正向数据段路由机制具体为：将每个拥塞窗口内的数据作为一个基本的负载单元，针对每个基本的负载单元，首先从当前主机的拥塞表中随机的选取一半路径放入备选路径集，然后从备选路径集中选取具有最小拥塞程度的路径作为当前负载单元的发送路径；

在发送数据段之前，记录当前发送的拥塞窗口的起始序列号Seq_beg、终止序列号Seq_end及其发送路径pid为元组(Seq_beg,Seq_end,pid)的步骤；

当发送ACK报文时，该模块从当前的主机拥塞表中选取具有最小拥塞程度的路径作为其发送路径的步骤，即实现保证性能的反向ACK路由机制。

上述基于端的路径状态评估模块的主要功能流程如下：

1)在源主机发送每个拥塞窗口前，调用自适应的负载均衡为当前的负载单元选路，并记录当前发送的拥塞窗口为元组(Seq_beg,Seq_end,pid)；

2)目的主机接收到数据段之后，回复ACK对当前接收到的数据段进行确认；

3)如果源主机未接收到新的ACK从而产生RTO超时或者触发快重传，则进入步骤7)；否则进入步骤4)；

4)源主机接受到ACK报文后，根据其确认号ackno查找满足Seq_beg≤ackno≤Seq_end的元组，得到当前ACK确认的数据的发送路径pid，并同时在缓存中删除所有满足条件Seq_end≤ackno的元组；

5)源主机根据接收到的ACK的到达时间和所确认的数据评估路径pid上的拥塞程度CL(pid)，所述评估方法为：

$\mathrm{CL}\left(\mathrm{pid}\right)=\frac{{\mathrm{ts}}_{i+1}-{\mathrm{ts}}_i}{({\mathrm{ackno}}_{i+1}-{\mathrm{ackno}}_i)*8};$

其中，CL(pid)为路径pid上的拥塞值，ts_i表示接收到第i个ACK的时间戳，ackno_i表示接收到的第i个ACK报文的确认号；

6)将源主机针对路径pid的评估结果CL(pid)插入到其自身所维护的路径拥塞表中，所述路径拥塞表记录了从该源主机出发可达的所有路径的拥塞程度，结束。

7)利用TCP中的快重传和RTO超时事件来及时地获取故障路径的信息：从TCP层获取当前最高的数据确认号ackno_high，在主机端缓存的元组中查找满足条件Seq_beg≤ackno_high≤Seq_end的元组，并根据该元组获取当前发生故障的路径ID为pid；

8)将故障路径的拥塞值设为CL_m，并将其插入到该主机的拥塞表中，其中CL_m表示当前该路径正发生严重拥塞或者发生链路错误，结束。当然，CL_m的数值可根据实际应用环境预先设定和调整。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出以上实施列对本发明不构成限定，相关工作人员在不偏离本发明技术思想的范围内，所进行的多样变化和修改，均落在本发明的保护范围内。

Claims (5)

1.一种基于端的故障容忍的分布式数据中心负载均衡方法，其特征在于：

该方法在源主机端维护具有自衰老机制的路径拥塞表，所述路径拥塞表记录了从该源主机出发可达的所有路径的拥塞程度；该方法包括基于端的路径状态评估和自适应的负载均衡，所述基于端的路径状态评估通过路径拥塞表为自适应的负载均衡为提供实时选路指导，所述基于端的路径状态评估调用自适应的负载均衡为每个基本负载单元选路；

所述基于端的路径状态评估包括：利用至少包含TCP数据流中的ACK到达时间和ACK确认的数据量的信息来评估当前路径的拥塞程度；利用TCP中的快重传和RTO超时事件来及时地获取故障路径的信息；将获取到的路径拥塞程度和故障信息插入到当前主机的拥塞表中；

所述自适应的负载均衡包括：以TCP流中的拥塞窗口作为基本负载单元，利用主机拥塞表中的路径状态执行双向的细粒度负载均衡机制，包括防止路径震荡的正向数据段路由机制和反向ACK路由机制。

2.根据权利要求1所述的基于端的故障容忍的分布式数据中心负载均衡方法，其特征在于：

所述自适应的负载均衡包括以下步骤：

在TCP层检测当前的TCP拥塞窗口，使用源路由技术控制每个基本负载单元的发送路径的步骤；

在发送数据段之前，记录当前发送的拥塞窗口的起始序列号Seq_beg、终止序列号Seq_end及其发送路径pid为元组(Seq_beg,Seq_end,pid)的步骤；

当发送ACK报文时，从当前的主机拥塞表中选取具有最小拥塞程度的路径作为其发送路径的步骤；

所述基于端的路径状态评估包括以下步骤：

1)在源主机发送每个拥塞窗口前，调用自适应的负载均衡为当前的负载单元选路，并记录当前发送的拥塞窗口为元组(Seq_beg,Seq_end,pid)；

2)目的主机接收到数据段之后，回复ACK对当前接收到的数据段进行确认；

3)如果源主机未接收到新的ACK从而产生RTO超时或者触发快重传，则进入步骤7)；否则进入步骤4)；

4)源主机接受到ACK报文后，根据其确认号ackno查找满足Seq_beg≤ackno≤Seq_end的元组，得到当前ACK确认的数据的发送路径pid，并同时在缓存中删除所有满足条件Seq_end≤ackno的元组；

5)源主机根据接收到的ACK的到达时间和所确认的数据评估路径pid上的拥塞程度CL(pid)；

6)将源主机针对路径pid的评估结果CL(pid)插入到其自身所维护的路径拥塞表中，结束；

7)从TCP层获取当前最高的数据确认号ackno_high，在主机端缓存的元组中查找满足条件Seq_beg≤ackno_high≤Seq_end的元组，并根据该元组获取当前发生故障的路径ID为pid；

8)将故障路径的拥塞值设为CL_m，并将其插入到该主机的拥塞表中，其中CL_m表示当前该路径正发生严重拥塞或者发生链路错误，结束。

3.根据权利要求1所述的基于端的故障容忍的分布式数据中心负载均衡方法，其特征在于：所述路径拥塞表具有的自衰老机制为：一旦拥塞表中的某条路径的拥塞信息超过预设时间段未被更新，该路径的拥塞程度将会逐渐的降为0。

4.根据权利要求2所述的基于端的故障容忍的分布式数据中心负载均衡方法，其特征在于：所述在TCP层检测当前的TCP拥塞窗口，使用源路由技术控制每个基本负载单元的发送路径的步骤包括：在TCP层检测当前的TCP拥塞窗口，并将每个拥塞窗口内的数据作为一个基本的负载单元，针对每个基本的负载单元，首先从当前主机的拥塞表中随机的选取一半路径放入备选路径集，然后从备选路径集中选取具有最小拥塞程度的路径作为当前负载单元的发送路径。

5.根据权利要求2所述的基于端的故障容忍的分布式数据中心负载均衡方法，其特征在于：所述源主机根据接收到的ACK的到达时间和所确认的数据评估路径pid上的拥塞程度的步骤中，所述评估方法为：

$\mathrm{CL}\left(\mathrm{pid}\right)=\frac{{\mathrm{ts}}_{i+1}-{\mathrm{ts}}_i}{({\mathrm{ackno}}_{i+1}-{\mathrm{ackno}}_i)*8}$

其中，CL(pid)为路径pid上的拥塞值，ts_i表示接收到第i个ACK的时间戳，ackno_i表示接收到的第i个ACK报文的确认号。