CN110351196A - 云数据中心中基于精确拥塞反馈的负载均衡方法及系统 - Google Patents

Abstract

本发明公开了一种云数据中心中基于精确拥塞反馈的负载均衡方法及系统，本发明包括两个主要方面：精确的源端流量均衡方法和精确的流速控制方法。其中，源端流量均衡方法基于精确的端对端延迟监测，能及时获得云数据中心中节点间多条等价路径的拥塞程度，均衡地进行流量路径分配，从而保证多条等价路径间的负载均衡，提高链路带宽利用率；精确的流速控制方法基于拥塞反馈标记，剔除因为路径切换而不属于当前状态的拥塞反馈，从而提升拥塞反馈信息的准确性，保证数据流发送速率的稳定性。本发明提升在数据中心非对称网络下负载均衡的精确性，且不需要修改硬件交换机，具备与定制化硬件负载均衡方法相竞争的性能优势。

Description

云数据中心中基于精确拥塞反馈的负载均衡方法及系统

技术领域

本发明属于数据中心负载均衡领域，更具体地，涉及一种云数据中心中基于精确拥塞反馈的负载均衡方法及系统。

背景技术

云计算技术近年来的快速发展促进了大型数据中心的部署，数据中心网络普遍采用多根节点的拓扑结构部署网络，如胖树(fat-tree)和叶脊(leaf-spine)拓扑等，使得节点间存在多条等价路径，并提供高额链路带宽。平衡多条路径中的负载以充分利用网络资源，可以提高吞吐量并减少数据中心应用程序的延迟。

一方面，数据中心不同应用负载差异大，既包含对延迟敏感度高的应用(如Memcached)，也包含对带宽需求高的应用(如MapReduce)，正确感知网络拥塞状态对提高应用性能至关重要。另一方面，网络不对称在数据中心很常见，数据中心设施的演变(如添加机架和交换机)导致异构交换机的存在，以及链路失效等，都能造成网络不对称。网络不对称使负载均衡的难度大大增加，负载均衡需要感知这种不对称性，同时，数据流由于在带宽不对称的网络上进行路径切换，切换前产生的拥塞反馈信息可能扰乱切换后路径上的流速管理，从而影响应用性能，即拥塞不匹配问题。

现存的负载均衡方法在解决上述问题时还存在缺陷。有的无法正确感知网络拥塞状态，如ECMP、DRB和Presto，难以充分利用网络资源；有的虽然具备精确的拥塞感知能力，但是要求定制化的硬件，难以立即部署，如CONGA和HULA；有的基于现有的网络拥塞协议和硬件设计负载均衡，但对链路拥塞反馈不够精确，损失了传输性能，如CLOVE-ECN和Hermes，它们依赖基于显示反馈的协议(Explicit Congestion Notification，ECN)和粗粒度的往返时延(Round-Trip Time，RTT)测量，来判断链路拥塞程度，有很大的不精确性。ECN仅仅能反映某个交换机端口发生了拥塞，不能精确反映不同路径拥塞程度。粗粒度的RTT测量引入了主机网络栈的延迟，不能精确反映链路的拥塞程度。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种云数据中心中基于精确拥塞反馈的负载均衡方法及系统，由此解决现有的负载均衡方法存在的需要定制硬件交换机，不能精确反映不同路径的拥塞状况的技术问题。

为实现上述目的，按照本发明的一方面，提供了一种云数据中心中基于精确拥塞反馈的负载均衡方法，包括：

利用云数据中心的覆盖网络，在源端hypervisor通过仅修改覆盖网络数据报头的源目的端口，控制数据包在基于ECMP数据转发网络中通过确定的路径传输；

在云数据中心进行数据传输的同时，在源端hypervisor获知每条传输路径的拥塞情况，并将每条数据流切分成flowlet，当有新的flowlet从源端hypervisor层发送时，选择最不拥塞的路径传输；

当源端hypervisor收到新ACK数据包时，以新ACK数据包是否过时为判断标准，剔除因为flowlet路径切换导致的不属于当前状态的拥塞反馈，从而进行合理的流速控制，避免端对端拥塞控制协议里不精确的流速调整。

优选地，所述利用云数据中心的覆盖网络，在源端hypervisor通过仅修改覆盖网络数据报头的源目的端口，控制数据包在基于ECMP数据转发网络中通过确定的路径传输，包括：

基于云数据中心覆盖网络，源端hypervisor在原始数据包头上添加新的封装头，以使源端hypervisor通过修改新的封装头的五元组控制数据流的转发路径；

初始化时，每个源端hypervisor发送若干个的探测包，直至对于每个目的hypervisor都有一个集合的固定源端口供选择，使用集合固定源端口的数据包都能通过固定的路径传输数据。

优选地，所述在云数据中心进行数据传输的同时，在源端hypervisor获知每条传输路径的拥塞情况，包括：

当源主机发送的数据包经过源端hypervisor，如果是新的flowlet，则选择Latency-To-Leaf table中单向网络延迟最小的目标路径转发，并把目标路径号写入覆盖网络封装头，并在数据包经过发送端网卡时，将经过发送端网卡的时间t1写入TCP报头选项字段；

当数据包到达目的主机网卡，将到达目的主机网卡的时间t2写入TCP报头选项字段，当数据包到达目的hypervisor，记录期望返回的ACK号与该数据包封装头携带的目标路径号、t1及t2的映射，然后更新目标路径号的单向网络延迟t2-t1-baseline到Latency-From-Leaf table，其中，baseline为基准时间差；

当数据包的ACK返回经过目的hypervisor，把目标路径号、t1及t2插入到对应的数据报头，并从Latency-From-Leaf table中选择一个最近更新项插入封装头用于拥塞信息的反馈，并在数据包经过目的主机网卡时，将经过目标主机网卡的时间t3写入TCP选项字段；

在ACK到达源主机网卡时，将到达源主机网卡的时间t4写入TCP选项字段；

在ACK到达源hypervisor时，更新Latency-To-Leaf table的RTT值为t4-t1-(t3-t2)，并取出封装头中携带的一个拥塞反馈项更新到Latency-To-Leaf table对应项。

优选地，所述基准时间差的确定方式为：通过统计样品选取一个最小单向网络延迟作为基准时间差，同时，每隔预定时间重新校准基准时间差。

优选地，所述当源端hypervisor收到新ACK数据包时，以新ACK数据包是否过时为判断标准，剔除因为flowlet路径切换导致的不属于当前状态的拥塞反馈，从而进行合理的流速控制，避免端对端拥塞控制协议里不精确的流速调整，包括：

当有新ACK数据包返回时，在源端hypervisor层，根据TCP数据报头字段计算出数据流的flowlet ID，然后查询flowlet ID和path ID的映射表，得到当前传输路径的第一路径号；

根据新ACK数据包覆盖网络报头中携带的反馈路径的第二路径号，若第二路径号与第一路径号不相等，则表示新ACK数据包反馈的拥塞信息是过时的，并标记TCP报头的一个位的保留字段PCN为1，否则该PCN位为0；

当新ACK数据包到达发送端的拥塞控制协议层，首先检查该PCN位是否为1，如果为1，则保持当前的拥塞窗口和阈值不变，否则按照拥塞控制协议DCTCP调整拥塞窗口和阈值。

按照本发明的另一方面，提供了一种云数据中心中基于精确拥塞反馈的负载均衡系统，包括：

源端路由机制模块，用于利用云数据中心的覆盖网络，在源端hypervisor通过仅修改覆盖网络数据报头的源目的端口，控制数据包在基于ECMP数据转发网络中通过确定的路径传输；

拥塞监测模块，用于在云数据中心进行数据传输的同时，在源端hypervisor获知每条传输路径的拥塞情况；

flowlet路径切换模块，用于将每条数据流切分成flowlet，当有新的flowlet从源端hypervisor层发送时，选择最不拥塞的路径传输；

流速控制模块，用于当源端hypervisor收到新ACK数据包时，以新ACK数据包是否过时为判断标准，剔除因为flowlet路径切换导致的不属于当前状态的拥塞反馈，从而进行合理的流速控制，避免端对端拥塞控制协议里不精确的流速调整。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明基于现有的数据中心硬件环境，提出基于端对端延迟监测的拥塞感知方法，设计精确的源端流量均衡方法，同时提出精确的流速控制方法，缓解拥塞不匹配问题。本发明提供优秀的负载均衡性能，大大提升链路带宽利用率。总体来看，本发明易部署性强，在大规模仿真测试中，在不对称网络拓扑下，相比CONGA和CLOVE-ECN，本发明降低流量完成时间分别最多可达7％和40％。

附图说明

图1为本发明实施例提供的一种云数据中心中基于精确拥塞反馈的负载均衡方法的示意图；

图2为本发明实施例提供的一种基于延迟的拥塞监测示例图；

图3为本发明实施例提供的一种基于web search负载的性能对比测试图；

图4为本发明实施例提供的一种基于data mining负载的性能对比测试图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种云数据中心中基于精确拥塞反馈的负载均衡方法及系统，不需要定制硬件交换机，而且能精确反映不同路径的拥塞状况，从而完成高效的负载均衡，同时提供精确的流速控制方法，保证在网络不对称情况下稳定的传输状态，提升应用数据传输性能。

如图1所示为本发明实施例提供的一种云数据中心中基于精确拥塞反馈的负载均衡方法的示意图，主要包括四个部分：源端路由机制、基于延迟的拥塞监测、flowlet路径切换和精确的流速控制，四个部分联合工作保证实现精确的路径拥塞监测以及源端负载均衡。具体地，包括以下步骤：

S1：利用云数据中心的覆盖网络，在源端hypervisor通过仅修改覆盖网络数据报头的源目的端口，控制数据包在基于ECMP数据转发网络中通过确定的路径传输；

在云数据中心覆盖网络中，源端hypervisor层在原始数据包头上添加了新的封装头，而标准的ECMP网络基于数据包头固定的五元组进行哈希控制转发路径。本发明中的源端路由机制通过修改该封装头的五元组控制数据流的转发路径。系统初始化时，每个源端hypervisor发送足够多的探测包，直到发现对于每个目的hypervisor都有一个集合的源端口供选择，使用该集合固定源端口的数据包都能通过固定的路径传输数据。除了源端口，封装头五元组其他部分都被确定了，所以在源端就能通过控制源端口来控制路由路径。

S2：在云数据中心进行数据传输的同时，在源端hypervisor获知每条传输路径的拥塞情况，并将每条数据流切分成flowlet，当有新的flowlet从源端hypervisor层发送时，选择最不拥塞的路径传输，从而提升数据传输效率；

在本发明实施例中，基于延迟的拥塞监测，是基于支持DPDK的网卡设备驱动，当数据包在节点发送和接收时，网卡驱动把时间戳写入TCP报头的选项字段，共16bytes存储4个时间戳，每个4bytes，如图2中的t1、t2、t3和t4所示，用来计算RTT和单向网络传输延迟。在接收端hypervisor层保存该数据流单向网络传输延迟，当有返回的ACK或者其他连接的返回源端hypervisor层的数据包时，将该单向网络传输延迟反馈给源端。其中，源端数据包离开源主机和到达目的主机的时间分别为t1和t2，ACK离开目的主机和到达源主机的时间分别为t3和t4，那么，单向网络延迟为：t2-t1-基准时间差，RTT为：t4-t1-(t3-t2)。根据在不同等价路径实时获得的数据包传输延迟，精确反映出不同路径的拥塞程度，从而能把数据流调度到当前最不拥塞的路径，完成负载的均衡调度，提升数据传输效率。

为了在各节点没有时钟同步的情况下计算单向网络传输延迟，在足够多的统计样品下，选取一个最小单向网络延迟作为基准时间差；那么，节点间正确的单向网络延迟为，从TCP报头获得的时间差减去该基准时间差(图2中的baseline即基准时间差)。为了防止基准时间差因为著名的时钟漂移(clock drifts)问题导致误差，每隔固定个RTT时间就重新校准基准时间差。下面结合图2所示简化的拥塞监测图，描述数据包传输过程中如何完成基于延迟的拥塞监测，具体包括以下步骤：

(1)当源主机发送的数据包经过源hypervisor层，如果是新的flowlet，则选择Latency-To-Leaf table中单向网络延迟(即one-way delay)最小的路径(图2示例中为路径2)转发，并把选择的路径号(即path ID)写入覆盖网络封装头。当数据包经过发送端网卡，将网卡时间t1写入TCP报头选项字段。

其中，Latency-To-Leaf table表示到达目的叶交换机的各条路径延迟映射表，记录到达目的hypervisor的每条路径单向网络延迟和RTT的映射表。

(2)当数据包到达目的主机网卡，网卡时间t2被写入TCP报头选项字段。当数据包到达目的hypervisor层，先记录下期望返回的ACK号与该数据包封装头携带的路径号2、t1、t2的映射，然后更新路径号2的单向网络延迟(t2-t1-baseline)到Latency-From-Leaftable。

其中，Latency-From-Leaf table表示来自源端叶交换机的各条路径延迟映射表，记录来自源hypervisor的每条路径单向网络延迟。

(3)当该数据包的ACK返回经过目的hypervisor层，把步骤(2)保存的路径号2、t1、t2插入到对应的数据报头，并从Latency-From-Leaf table中选择一个最近更新项插入封装头用于拥塞信息的反馈。当经过目的主机网卡，把网卡时间t3写入TCP选项字段。

(4)当ACK到达源主机网卡，网卡时间t4被写入TCP选项字段。

(5)当ACK到达源hypervisor层，更新Latency-To-Leaf table的RTT值为(t4-t1-(t3-t2))，并取出封装头中携带的一个拥塞反馈项更新到Latency-To-Leaf table对应项。

需要强调的是上述为简化的拥塞监测过程，实际上每个数据包都能携带拥塞反馈项和更新网络单向延迟，这样网络单向延迟能不断地在Latency-From-Leaf table更新，并且经由逆向的数据传输把记录在Latency-From-Leaf table里的延迟信息反馈给源hypervisor层的Latency-To-Leaf table，使源端能根据Latency-To-Leaf table记录的路径拥塞信息选择最不拥塞的路径传输数据。

在flowlet路径切换中，flowlet是数据流中的突发流量，flowlet之间有足够大的间隔时间，这样当同一个数据流中的不同flowlet经过不同路径到达接收端时乱序的概率很小，为每个flowlet选择合适的传输路径，能提高多个链路的带宽利用率。本发明的flowlet路径切换具体是，在基于延迟的拥塞监测下，当新的flowlet到达源hypervisor层，总是选择Latency-To-Leaf table中网络单向延迟(即one-way delay)最小的路径号(即path ID)进行传输。大量研究表明，flowlet切分的间隔时间一般取2倍的RTT时间时，能达到高效的数据传输性能。

S3：当源端hypervisor收到新ACK数据包时，以新ACK数据包是否过时为判断标准，剔除因为flowlet路径切换导致的不属于当前状态的拥塞反馈，从而进行合理的流速控制，避免端对端拥塞控制协议里不精确的流速调整。

在本发明实施例中，当源端hypervisor收到ACK数据包时，由于过时的ACK反映的是数据流路径切换前的传输状态，因此不能正确反映当前的拥塞状况，需要判断该ACK是否过时，并进行合理的流速控制，从而避免端对端拥塞控制协议里不精确的流速调整，提升数据传输效率。具体地，步骤S3的实现方式为：

当有新的ACK数据包返回时，在源端hypervisor层，根据TCP数据报头字段计算出数据流的flowlet ID，然后查询flowlet ID和path ID的映射表，得到当前传输路径号pathID(记为path1)；根据ACK数据包覆盖网络报头中携带的反馈路径号(记为path2)，path2为ACK确认号之前传输数据包的路径，，即路径切换前源端发送数据的传输路径，如果path2和path1不相等，则表示该ACK数据包反馈的拥塞信息是属于切换前的传输路径的，是过时的，并标记TCP报头的一个bit位的保留字段(Path Change Notification，PCN)为1，否则该PCN位为0。当该ACK数据包到达发送端的拥塞控制协议层，首先检查该PCN位是否为1，如果为1，则保持当前的拥塞窗口和阈值不变，否则按照发送端拥塞控制协议的算法调整拥塞窗口和阈值。

其中，在本发明实施例中，通过修改标准的拥塞控制协议DCTCP进行精确的流速控制，DCTCP的其他特性保持不变。DCTCP使用一个估计值α调整拥塞窗口cwnd(congestionwindow)，本实施例根据PCN标志位添加条件控制，如下公式所示：

其中，cwnd表示当前的拥塞窗口值，cwnd'表示调整后的拥塞窗口值。

本发明中的源端流量均衡方法基于精确的端对端延迟监测，能及时获得云数据中心中节点间多条等价路径的拥塞程度，均衡地进行流量路径分配，从而保证多条等价路径间的负载均衡，提高链路带宽利用率；精确的流速控制方法基于拥塞反馈标记，剔除因为路径切换而不属于当前状态的拥塞反馈，从而提升拥塞反馈信息的准确性，保证数据流发送速率的稳定性。

本发明实施例在NS3仿真环境下进行性能测试，使用8×8的leaf-spine网络拓扑，链路带宽设置为10Gbps，共128台服务器。为了模拟不对称网络，随机选择20％的leaf到spine交换机的链路，将链路带宽削减到2Gbps。测试负载选择广泛使用的实际负载websearch和data mining。对比测试选择了CONGA和CLOVE-ECN，测试观察它们的总体流量的平均完成时间，平均完成时间越小则性能越好。现存的负载均衡方法有很多，难以全部进行测试，CONGA具备领跑其他负载均衡方法的性能优势，但是需要修改硬件交换机，难以立即部署，所以使用CONGA进行性能对比，检测本发明的性能；CLOVE-ECN是不需要修改硬件交换机的源端负载均衡方法，但是基于ECN拥塞反馈信息进行拥塞检测，精确性不高，所以使用CLOVE-ECN进行性能对比，检测本发明中基于精确拥塞反馈的方法是否对性能有所提升。

图3和图4分别为基于web search和data mining负载的性能对比测试图，在测试中将本发明标记为LB(Load Balancing)，并将其他负载均衡方案的平均流量完成时间归一化到LB，图中横坐标为负载程度，纵坐标为归一化完成时间。可以看到，相比CONGA，本发明在web search负载中表现的性能比较接近CONGA，在data mining负载中有2-7％的性能提升；相比CLOVE-ECN，本发明在两种负载中的性能都远超过CLOVE-ECN，性能提升9％-40％。总之，本发明提出的云数据中心中基于精确拥塞反馈的负载均衡方法，不需要修改硬件交换机，相比该领域同类的方法，有很大的性能优势。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种云数据中心中基于精确拥塞反馈的负载均衡方法，其特征在于，包括：

利用云数据中心的覆盖网络，在源端hypervisor通过仅修改覆盖网络数据报头的源目的端口，控制数据包在基于ECMP数据转发网络中通过确定的路径传输；

在云数据中心进行数据传输的同时，在源端hypervisor获知每条传输路径的拥塞情况，并将每条数据流切分成flowlet，当有新的flowlet从源端hypervisor层发送时，选择最不拥塞的路径传输；

当源端hypervisor收到新ACK数据包时，以新ACK数据包是否过时为判断标准，剔除因为flowlet路径切换导致的不属于当前状态的拥塞反馈，从而进行合理的流速控制，避免端对端拥塞控制协议里不精确的流速调整。

2.根据权利要求1所述的方法，其特征在于，所述利用云数据中心的覆盖网络，在源端hypervisor通过仅修改覆盖网络数据报头的源目的端口，控制数据包在基于ECMP数据转发网络中通过确定的路径传输，包括：

基于云数据中心覆盖网络，源端hypervisor在原始数据包头上添加新的封装头，以使源端hypervisor通过修改新的封装头的五元组控制数据流的转发路径；

初始化时，每个源端hypervisor发送若干个的探测包，直至对于每个目的hypervisor都有一个集合的固定源端口供选择，使用集合固定源端口的数据包都能通过固定的路径传输数据。

3.根据权利要求1或2所述的方法，其特征在于，所述在云数据中心进行数据传输的同时，在源端hypervisor获知每条传输路径的拥塞情况，包括：

当源主机发送的数据包经过源端hypervisor，如果是新的flowlet，则选择Latency-To-Leaf table中单向网络延迟最小的目标路径转发，并把目标路径号写入覆盖网络封装头，并在数据包经过发送端网卡时，将经过发送端网卡的时间t1写入TCP报头选项字段；

当数据包到达目的主机网卡，将到达目的主机网卡的时间t2写入TCP报头选项字段，当数据包到达目的hypervisor，记录期望返回的ACK号与该数据包封装头携带的目标路径号、t1及t2的映射，然后更新目标路径号的单向网络延迟t2-t1-baseline到Latency-From-Leaf table，其中，baseline为基准时间差；

当数据包的ACK返回经过目的hypervisor，把目标路径号、t1及t2插入到对应的数据报头，并从Latency-From-Leaf table中选择一个最近更新项插入封装头用于拥塞信息的反馈，并在数据包经过目的主机网卡时，将经过目标主机网卡的时间t3写入TCP选项字段；

在ACK到达源主机网卡时，将到达源主机网卡的时间t4写入TCP选项字段；

在ACK到达源hypervisor时，更新Latency-To-Leaf table的RTT值为t4-t1-(t3-t2)，并取出封装头中携带的一个拥塞反馈项更新到Latency-To-Leaf table对应项。

4.根据权利要求3所述的方法，其特征在于，所述基准时间差的确定方式为：通过统计样品选取一个最小单向网络延迟作为基准时间差，同时，每隔预定时间重新校准基准时间差。

5.根据权利要求4所述的方法，其特征在于，所述当源端hypervisor收到新ACK数据包时，以新ACK数据包是否过时为判断标准，剔除因为flowlet路径切换导致的不属于当前状态的拥塞反馈，从而进行合理的流速控制，避免端对端拥塞控制协议里不精确的流速调整，包括：

当有新ACK数据包返回时，在源端hypervisor层，根据TCP数据报头字段计算出数据流的flowlet ID，然后查询flowlet ID和path ID的映射表，得到当前传输路径的第一路径号；

根据新ACK数据包覆盖网络报头中携带的反馈路径的第二路径号，若第二路径号与第一路径号不相等，则表示新ACK数据包反馈的拥塞信息是过时的，并标记TCP报头的一个位的保留字段PCN为1，否则该PCN位为0；

当新ACK数据包到达发送端的拥塞控制协议层，首先检查该PCN位是否为1，如果为1，则保持当前的拥塞窗口和阈值不变，否则按照拥塞控制协议DCTCP调整拥塞窗口和阈值。

6.一种云数据中心中基于精确拥塞反馈的负载均衡系统，其特征在于，包括：

源端路由机制模块，用于利用云数据中心的覆盖网络，在源端hypervisor通过仅修改覆盖网络数据报头的源目的端口，控制数据包在基于ECMP数据转发网络中通过确定的路径传输；

拥塞监测模块，用于在云数据中心进行数据传输的同时，在源端hypervisor获知每条传输路径的拥塞情况；

flowlet路径切换模块，用于将每条数据流切分成flowlet，当有新的flowlet从源端hypervisor层发送时，选择最不拥塞的路径传输；

流速控制模块，用于当源端hypervisor收到新ACK数据包时，以新ACK数据包是否过时为判断标准，剔除因为flowlet路径切换导致的不属于当前状态的拥塞反馈，从而进行合理的流速控制，避免端对端拥塞控制协议里不精确的流速调整。