CN110061929B - 针对非对称网络的数据中心负载均衡方法 - Google Patents

Abstract

本发明涉及网络领域，为解决数据中心中非对称网络环境下的负载均衡问题，本发明，针对非对称网络的数据中心负载均衡方法，包括突发数据包集合flowlet检测、分配步骤，flowlet是对数据流flow的切分；flowlet检测步骤具体是，根据每个数据包的包头信息构建哈希表，之后根据flowlet timeout值检测同一网络流中数据包之间的时间间隔，当检测到时间间隔大于timeout值时，表明出现了一个新的flowlet；flowlet分配步骤根据交换机各端口已发送的多个flowlet大小信息对下一个flowlet进行调度。本发明主要应用于网络通信场合。

Description

针对非对称网络的数据中心负载均衡方法

技术领域

本发明主要涉及数据中心网络领域，特别是涉及一种数据中心网络传输负载均衡方法。

背景技术

近年来随着云计算、大数据和社交网络的快速发展，数据中心越来越成为人们生活中不可缺少的一部分。而作为通信基础设施的数据中心网络，已成为各界关注和研究的热点。数据中心网络需要有效的多路径负载均衡方案来提高带宽利用率，以支持从金融服务到大数据等越来越多的应用程序。

目前，数据中心中的负载均衡方案分为基于数据流和基于数据包两种，其中基于数据流的标准负载均衡方案是“等价多路径路由”(ECMP，Equal-cost multi-pathrouting)，它利用哈希算法将流随机地分配到不同的路径实现了等值情况下，多路径负载均衡的目的。ECMP由于其简单性而得到了广泛的部署，但在实际情况中，各路径的带宽、时延等可能不一样，把链路负载能力认可成一样，不能很好地利用带宽，尤其是在非对称网络中，效果会非常不理想。例如，两条并行链路，一条带宽是100M，一条是10M，如果部署ECMP，则网络总带宽只能达到20M，对于容量为100M的链路造成了90M的带宽浪费，降低了带宽利用率。数据中心中基于数据包的负载均衡方案如“随机数据包分发”(RPS，Random PacketScatter)可以快速、准确地为每条链路分配所需流量，但是对于TCP(TransmissionControl Protocol，传输控制协议)流，会导致数据包的重排序问题，进而影响性能，并且增加了处理开销。

flowlet(突发数据包集合)是对flow(数据流)的切分，是一条网络流flow中被足够大的时间间隔分隔开的一组突发数据包的集合。flowlet之间的最小时间间隔称为flowlet timeout(超时时间间隔)，flowlet内部的相邻数据包之间的时间间隔小于flowlet timeout。如果一个flow的两个连续到达并行路径的数据包之间的时间间隔大于并行路径之间的最大延迟差，那么第二个数据包及其后续该流的数据包就可以被调度到另一条新的并行路径上而不会引起数据包的重排序问题。根据这个发现，如果timeout(超时时间)大于并行路径间的最大延迟差，我们可以将一个流中两个相邻的不同的flowlet调度到不同的并行路径上传输而不会引起数据包重排序问题。基于此，利用flowlet的特性，通过设定有效的flowlet timeout，能够避免数据包重排序问题，实现网络传输的负载均衡，并提高网络的带宽利用率。

相比于以flow的粒度来做负载均衡，flowlet的粒度小且能灵活调度，更符合网络状态和负载变化的动态性，有利于提高网络的负载均衡效率和带宽利用率；相比于以packet(数据包)的粒度来做负载均衡，flowlet的粒度比packet大，调度处理代价小，且能在不引起数据包重排序的前提下，完成高效的负载均衡和高带宽利用率。基于此，本发明将选用flowlet作为网络负载均衡的操作对象，利用flowlet的特性，实现网络系统的负载均衡并提高带宽利用率。

本发明提到的“网络流”、“数据流”或“流”通常是可以互换的词，都是指单一的数据流本身。

发明内容

为克服现有技术的不足，本发明旨在解决数据中心中非对称网络环境下的负载均衡问题。为此，本发明采取的技术方案是，针对非对称网络的数据中心负载均衡方法，包括突发数据包集合flowlet检测步骤和flowlet分配步骤，flowlet是对数据流flow的切分，是一条数据流flow中被足够大的时间间隔分隔开的一组突发数据包的集合；flowlet检测步骤具体是，根据每个数据包的包头信息构建哈希表，之后根据flowlet timeout值检测同一网络流中数据包之间的时间间隔，当检测到时间间隔大于timeout值时，表明出现了一个新的flowlet；flowlet分配步骤根据交换机各端口已发送的多个flowlet大小信息对下一个flowlet进行调度。

flowlet检测步骤具体如下：

1)交换机维持4张哈希表：时间信息表last_time_hash，端口信息表last_output_port_hash，flowlet信息表last_flowlet_size_hash和端口对应的flowlet信息表last_port_flowlet_size_hash，其中last_time_hash表用来记录网络流中上一个到达交换机的数据包的到达时间；last_output_port_hash表用来记录交换机用于转发流的转发端口；last_flowlet_size_hash表用来记录流的上一个flowlet size大小；last_port_flowlet_size_hash表用来记录对于所有交换机的转发端口，之前通过其端口的多个flowlet的大小，这4张表中，前3张以数据包的包头信息形成唯一索引，最后一张以端口号形成索引；

2)对于到达的数据包，交换机查看last_time_hash哈希表中是否存在与其匹配的索引；

2-1)如果存在，计算两个数据包的时间间隔，如果时间间隔大于timeout值，表明当前数据流产生了一个新的flowlet，同时将当前数据流上一个传输完成的flowlet的大小信息存入last_flowlet_size_hash哈希表中，最后更新last_time_hash哈希表中的数据包到达时间，如果时间间隔小于timeout值，只需更新last_time_hash哈希表中的数据包到达时间；

2-2)如果不存在，在last_time_hash哈希表中创建一个新的索引项，将到达数据包看做网络中出现了一条新流，并更新其数据包到达时间。

flowlet分配步骤具体如下：

1)对于到达交换机的网络流，交换机会查看last_port_flowlet_size_hash哈希表中信息：

1-1)如果last_port_flowlet_size_hash哈希表中的端口索引数量小于交换机转发端口数量或者各端口记录的flowlet个数小于10个，交换机会从所有可用端口中随机给当前网络流分配转发端口，同时记录端口传输的当前流的数据信息，更新到相应的last_flowlet_size_hash哈希表中，当交换机检测到两个数据包之间的时间间隔大于timeout值，即检测到一个新的flowlet时，交换机将更新last_port_flowlet_size_hash哈希表中对应索引端口下的flowlet size信息；

1-2)如果last_port_flowlet_size_hash哈希表中的端口索引数量等于交换机的转发端口数且记录的flowlet个数等于10个，将所有端口之前发送的10个flowlet size相加求和，之后求得各端口flowlet size之和占所有端口flowlet size总和的比例并记录到一个一维数组P中，这样，使得发送较大flowlet size的端口拥有较大的调度权重；

2)对于P中记录的比例信息，利用交换机生成一个0-1范围内的随机数r，之后遍历P数组，将数据中各端口比例依次相加，当相加之和大于或等于r时，记录下相应的端口号信息，将新的flowlet调度到此端口进行传输，这样就使得下一个flowlet有较大概率被调度到拥有较大flowlet size的路径，即拥塞程度较小的路径上，实现了链路的负载均衡。

本发明的特点及有益效果是：

实现数据中心中非对称网络环境下的负载均衡，提高带宽利用率。

附图说明：

图1为基于flowlet timeout进行负载均衡的原理图；

图2为flowlet大小随链路带宽变化图；

图3为本发明基于flowlet的数据中心负载均衡流程图。

具体实施方式

为克服现有技术的不足，本发明提供一种数据中心中非对称网络环境下的负载均衡方法。flowlet具有一种优越的弹性属性：其大小会根据其路径上的拥塞条件自动变化，即拥有较大flowlet的链路拥塞程度较小，而拥有较小flowlet的链路拥塞程度较大。基于flowlet的这一弹性属性，本发明设计了如下技术方案：通过对虚拟交换机Open vSwitch(开放虚拟交换标准)的group(组)模块进行改写，实现对flowlet的检测功能，记录已通过不同链路的多个flowlet的size情况，之后根据每条路径上已通过的多个flowlet size的比例依据调度策略对网络流进行调度，使得下一个flowlet有更大可能被调度到拥有较大flowlet的路径上，即拥塞程度较小的路径上，从而可以在不获取链路具体拥塞信息的情况下实现非对称网络的负载均衡。

本发明的高效调度方法由flowlet检测模块和flowlet分配模块两个部分组成。

1、flowlet检测模块需要根据每个数据包的包头信息构建哈希表，之后根据flowlet的timeout值检测同一网络流中数据包之间的时间间隔，当检测到时间间隔大于timeout值时，表明出现了一个新的flowlet。具体步骤如下。

1)交换机维持4张哈希表：last_time_hash表，last_output_port_hash表，last_flowlet_size_hash表和last_port_flowlet_size_hash表。其中last_time_hash表用来记录网络流中上一个到达交换机的数据包的到达时间；last_output_port_hash表用来记录交换机用于转发流的转发端口；last_flowlet_size_hash表用来记录流的上一个flowletsize大小；last_port_flowlet_size_hash表用来记录对于所有交换机的转发端口，之前通过其端口的多个flowlet的size。这4张表中，前3张以数据包的包头信息(in_port,ip_src,ip_dst,tcp_src,tcp_dst)形成唯一索引，最后一张以端口号形成索引。

2)对于到达的数据包，交换机查看last_time_hash哈希表中是否存在与其匹配的索引。

2-1)如果存在，计算两个数据包的时间间隔，如果时间间隔大于timeout值，表明当前数据流产生了一个新的flowlet，同时将当前网络流上一个传输完成的flowlet的size信息存入last_flowlet_size_hash哈希表中，最后更新last_time_hash哈希表中的数据包到达时间。如果时间间隔小于timeout值，只需更新last_time_hash哈希表中的数据包到达时间。

2-2)如果不存在，在last_time_hash哈希表中创建一个新的索引项，将到达数据包看做网络中出现了一条新流，并更新其数据包到达时间。

2、flowlet分配模块

flowlet分配模块会根据交换机各端口上一个已发送的flowlet size信息对下一个flowlet进行调度，具体步骤如下。

1)对于到达交换机的网络流，交换机会查看last_port_flowlet_size_hash哈希表中信息。

1-1)如果last_port_flowlet_size_hash哈希表中的端口索引数量小于交换机转发端口数量或者各端口记录的flowlet个数小于10个，交换机会从所有可用端口中随机给当前网络流分配转发端口，同时记录端口传输的当前流的数据信息，更新到相应的last_flowlet_size_hash哈希表中。当交换机检测到两个数据包之间的时间间隔大于timeout值，即检测到一个新的flowlet时，交换机将更新last_port_flowlet_size_hash哈希表中对应索引端口下的flowlet size信息。

1-2)如果last_port_flowlet_size_hash哈希表中的端口索引数量等于交换机的转发端口数且各端口记录的flowlet个数等于10个。将所有端口之前发送的10个flowletsize相加求和，之后求得各端口flowlet size之和占所有端口flowlet size总和的比例并将结果记录到一个一维数组P中，这样，使得发送较大flowlet size的端口拥有较大的调度权重。

2)对于P中记录的比例信息，交换机会生成一个0-1范围内的随机数r，之后遍历P数组，将数据中各端口比例依次相加，当相加之和大于或等于r时，记录下相应的端口号信息，将新的flowlet调度到此端口进行传输。这样就使得下一个flowlet有较大概率被调度到拥有较大flowlet size的路径，即拥塞程度较小的路径上，实现了链路的负载均衡。

以下结合附图对本发明的实施例作进一步详细描述。

图1为基于flowlet timeout进行负载均衡的原理图，如图所示，有两条并行路径，如果两个连续到达的数据包(数据包1和数据包2)之间的时间间隔大于并行路径之间的最大延迟差，那么第二个数据包及其后续该流的数据包就可以被调度到另一条新的并行路径上而不会引起数据包的重排序问题，这个数据包之间的时间间隔被称为“flowlettimeout”。通过设定flowlet timeout，一条网络流被划分为一个一个的数据包集合，每个数据包集合被称为一个flowlet。flowlet timeout值需要根据实际链路情况而设定，本发明根据实验情况设定flowlet timeout为500us。

图2为flowlet size大小随链路带宽变化图。从图中可以看出flowlet size情况会随着链路带宽的增加而增加。本发明通过对虚拟交换机Open vSwitch的group模块进行改写，实现对flowlet的检测功能，记录已通过不同链路的flowlet的size情况，之后根据每条路径上已通过的flowlet size的比例对网络流进行调度，使得下一个flowlet有更大可能被调度到拥有较大flowlet的路径，即拥塞程度较小的路径上，从而实现非对称网络的信息不可知情况下的负载均衡。图3为本发明基于flowlet的数据中心负载均衡流程图，具体包括以下步骤。

1)交换机维持4张哈希表：last_time_hash表，last_output_port_hash表，last_flowlet_size_hash表和last_port_flowlet_size_hash表。其中last_time_hash表用来记录网络流中上一个到达交换机的数据包的到达时间；last_output_port_hash表用来记录交换机用于转发流的转发端口；last_flowlet_size_hash表用来记录流的上一个flowlet大小；last_port_flowlet_size_hash表用来记录对于所有交换机的转发端口，之前通过其端口的多个flowlet的大小。这4张表中，前3张以数据包的包头信息(in_port,ip_src,ip_dst,tcp_src,tcp_dst)形成唯一索引，最后一张以端口号形成索引。

2)对于到达交换机的数据包，交换机根据其包头信息构建索引，同时判断哈希表last_time_hash中是否存在匹配项。

3)如果last_time_hash中存在匹配项，计算两个数据包之间的时间间隔，判断时间间隔是否大于timeout值。

4)对于3)，如果时间间隔大于timeout值，表明前流产生了一个新的flowlet。交换机将当前流的上一个传输完成的flowlet的size信息更新到last_flowlet_size_hash表中，同时更新last_port_flowlet_size_hash表中相应端口号下的flowlet size信息和个数信息。

5)查看last_port_flowlet_size_hash表中端口索引数量是否等于交换机的转发端口数且记录的flowlet个数是否等于10个。

6)如果数量相等且flowlet个数满足，将last_port_flowlet_size_hash表中所有端口索引对应的flowlet size相加求和，之后求得各端口flowlet size之和占总大小的比例并将结果记录到一个一维数组P中。

7)对于P中记录的比例信息，交换机会生成一个0-1范围内的随机数r，之后遍历P数组，将数据中各端口比例依次相加，当相加之和大于或等于r时，记录下相应的端口号信息，将新的flowlet调度到此端口进行传输。

最后更新该流对应的转发端口号。

8)对于6)，如果数量小于交换机端口数或者flowlet个数小于10个，交换机会从所有可用端口中随机给当前网络流分配转发端口，并更新该流对应的转发端口号。

9)对于4)，如果时间间隔小于timeout值，交换机只需更新last_time_hash表中的数据包到达时间。

10)对于2)，如果last_time_hash中不存在匹配项，表明交换机中来了一条新流，重复步骤5)、6)、7)、8)。

Claims (2)

1.一种针对非对称网络的数据中心负载均衡方法，其特征是，包括突发数据包集合flowlet 检测步骤和flowlet 分配步骤，flowlet 是对网络流flow的切分，是一条网络流flow 中被足够大的时间间隔分隔开的一组突发数据包的集合；flowlet 检测步骤具体是，根据每个数据包的包头信息构建哈希表，之后根据超时时间间隔flowlet timeout 值检测同一网络流中数据包之间的时间间隔，当检测到时间间隔大于flowlet timeout值时，表明出现了一个新的flowlet；flowlet分配步骤根据交换机各端口已发送的多个flowlet 大小信息对下一个flowlet 进行调度；其中，flowlet 分配步骤具体如下：

1）对于到达交换机的网络流，交换机会查看last_port_flowlet_size_hash 哈希表中信息，其中交换机维持4 张哈希表：时间信息表last_time_hash，端口信息表last_output_port_hash，flowlet信息表last_flowlet_size_hash和端口对应的flowlet信息表last_port_flowlet_size_hash，其中last_time_hash 表用来记录网络流中上一个到达交换机的数据包的到达时间；last_output_port_hash 表用来记录交换机用于转发流的转发端口；last_flowlet_size_hash 表用来记录流的上一个flowlet size 大小；last_port_flowlet_size_hash 表用来记录对于所有交换机的转发端口，之前通过其端口的多个flowlet 的大小，这4 张表中，前3 张以数据包的包头信息形成唯一索引，最后一张以端口号形成索引：

1-1） 如果last_port_flowlet_size_hash 哈希表中的端口索引数量小于交换机转发端口数量或者各端口记录的flowlet个数小于10个，交换机会从所有可用端口中随机给当前网络流分配转发端口，同时记录端口传输的当前流的数据信息，更新到相应的last_flowlet_size_hash 哈希表中，当交换机检测到两个数据包之间的时间间隔大于flowlettimeout 值，即检测到一个新的flowlet 时，交换机将更新last_port_flowlet_size_hash哈希表中对应索引端口下的flowlet size 信息；

1-2） 如果last_port_flowlet_size_hash 哈希表中的端口索引数量等于交换机的转发端口数且各端口记录的flowlet个数等于10个，将所有端口之前发送的10个flowletsize 相加求和，之后求得各端口flowlet size 之和占所有端口flowlet size总和的比例并记录到一个一维数组P中，这样，使得发送较大flowlet size 的端口拥有较大的调度权重；

2）对于P 中记录的比例信息，利用交换机生成一个0-1 范围内的随机数r，之后遍历P数组，将数据中各端口比例依次相加，当相加之和大于或等于r 时，记录下相应的端口号信息，将新的flowlet 调度到此端口进行传输，这样就使得下一个flowlet 有较大概率被调度到拥有较大flowlet size 的路径，即拥塞程度较小的路径上，实现了链路的负载均衡。

2.如权利要求1所述的针对非对称网络的数据中心负载均衡方法，其特征是，flowlet检测步骤具体如下：

对于到达的数据包，交换机查看last_time_hash 哈希表中是否存在与其匹配的索引；

1-1） 如果存在，计算两个数据包的时间间隔，如果时间间隔大于flowlet timeout值，表明当前数据流产生了一个新的flowlet，同时将当前数据流上一个传输完成的flowlet 的大小信息存入last_flowlet_size_hash 哈希表中，最后更新last_time_hash哈希表中的数据包到达时间，如果时间间隔小于flowlet timeout值，只需更新last_time_hash 哈希表中的数据包到达时间；

1-2） 如果不存在，在last_time_hash 哈希表中创建一个新的索引项，将到达数据包看做网络中出现了一条新流，并更新其数据包到达时间。

Images