CN113794638B

CN113794638B - 基于差分进化算法的sdn数据中心网络大象流调度方法

Info

Publication number: CN113794638B
Application number: CN202110977470.3A
Authority: CN
Inventors: 李宏慧; 代荣荣; 付学良
Original assignee: Inner Mongolia Agricultural University
Current assignee: Inner Mongolia Agricultural University
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2022-10-14
Anticipated expiration: 2041-08-24
Also published as: CN113794638A

Abstract

本发明公开了基于差分进化算法的SDN数据中心网络大象流调度方法，包括以下步骤：建立数据中心网络大象流调度模型；收集数据中心网络链路状态信息；对新到达数据中心网络的数据流，利用ECMP算法进行流量调度；若大象流途径的某条链路的最大链路利用率大于阈值，执行步骤S5～S7，否则转步骤S2；选取与大象流同源目同节点的k条最短可用路径，作为重路由大象流的备选路径；利用基于差分进化算法的流量调度方法，从k条备选路径中计算出全局最优路径；将计算出的新路径转换成流表项下发给各网络节点，重路由大象流。本发明中的方法可以对拥塞链路上的大象流计算全局最优路径后重路由，实现流量的全局动态调度，降低网络最大链路利用率，提高网络对分带宽。

Description

基于差分进化算法的SDN数据中心网络大象流调度方法

技术领域

本发明涉及计算机网络应用技术领域，尤其涉及基于差分进化算法的SDN数据中心网络大象流调度方法。

背景技术

近年来大数据和云计算不断发展，由两层或三层交换机或路由器互联构成的数据中心已成为互联网信息化建设的基础设施。随着数据中心的规模逐渐壮大，数据中心网络内的通信数量呈指数增长，对其带宽需求不断增加。传统数据中心网络结构不堪重负，极易产生链路拥塞，无法提供有效的流量传输服务，因此网络流量的调度问题越来越受到关注。

在传统的数据中心网络架构中，路由算法无法收集和了解整个网络的动态信息，无法实现网络流量的全局优化调度。而软件定义网络(Software Defined Network，缩写为SDN)将交换机的控制平面和数据平面分开，通过控制器可以实时掌握整个网络使用状况，更精准地实现网络流量的调度，并且为开发新的网络应用和未来互联网技术提供了一种新的解决方案。

到目前为止，等价多路径路由算法(ECMP，Equal-Cost Multi-Path Routing)广泛应用于数据中心网络流量调度中。当到达同一目的节点有多条等价可用路径时，ECMP算法通过对每一条数据流进行哈希散列运算后，根据哈希值将数据流均匀分布到多条等价路径中，从而实现网络的负载均衡。研究表明，现今数据中心网络流量分为大象流和老鼠流这两种数据流，其中，占用链路带宽10％及以上的数据流称之为大象流。在数据中心网络中虽然大象流所占数量不多，但是大象流却持续时间较长，承载着高达90％的数据量。ECMP算法属于一种静态的流量调度算法，它没有考虑到网络的实时使用状态。当网络中出现大象流时，ECMP可能将多条数据流分配到同一条路径上，引起链路拥塞和负载不均衡、网络资源利用率低等。

发明内容

针对上述存在的问题，本发明旨在提供一种基于差分进化算法的SDN数据中心网络大象流调度方法，在ECMP算法的基础上，监控链路使用状态，对拥塞链路上的大象流计算全局最优路径后重路由，实现流量的全局动态调度，降低了网络的最大链路利用率，提高了网络的对分带宽。

为了实现上述目的，本发明所采用的技术方案如下：

基于差分进化算法的SDN数据中心网络大象流调度方法，其特征在于，包括以下步骤，

S1：建立数据中心网络大象流调度模型；

S2：通过sflow-rt收集器，持续收集数据中心网络链路状态信息；

S3：对新到达数据中心网络的数据流，利用ECMP算法进行流量调度；

S4：若大象流途径的某条链路的最大链路利用率大于阈值，则执行步骤S5～S7；否则转步骤S2；

S5：选取与该大象流同源目同节点的k条最短可用路径，作为重路由大象流的备选路径；

S6：利用基于差分进化算法的流量调度方法，根据sflow-rt收集器收集到的当前网络状态，从k条备选路径中计算出全局最优路径；

S7：将计算出的新路径转换成流表项下发给各网络节点，重路由大象流，同时转步骤S2继续进行调度。

进一步的，步骤S1的具体操作包括以下步骤，

S101：将数据中心网络拓扑表示为图G(S，L)，其中，S为所有网络节点的集合，节点s_i∈S，i＝1，2，......，|S|；L表示网络中所有链路的集合，链路l∈L的容量为C_l，链路利用率为u_l；

S102：令L_i和L′_i分别为链路集合L的子集，任意l_i∈L_i、l′_i∈L′_i以s_i为端点并且数据流经l_i流入或者流出节点s_i；将导致拥塞的数据流集合表示为E，数据流e∈E的带宽为b_e，数据流e的源节点和目的节点分别用

和

表示；变量

表示数据流e是否途经链路l；

S103：将链路利用率u_l定义为所有途经链路l的数据流e的带宽之和与链路l容量C_l的比值，则流量调度问题的优化目标，即最小化网络中的最大链路利用率，可用式

表示；在达到该优化目标时，流量调度满足以下约束条件：

进一步的，步骤S6中基于差分进化算法的流量调度方法的具体操作包括以下步骤，

S601：算法初始化；

S602：变异操作；

S603：交叉操作；

S604：选择操作；

S605：判断是否满足迭代条件，若是，退出循环；否则重复步骤S602～604。

进一步的，步骤S601的具体操作包括以下步骤，

S6011：设置循环控制条件；将循环控制变量t设置为1，并设置最大迭代次数MaxT；

S6012：初始化解空间R；基于Yen算法生成k-最短路径作为备选路径候选解空间R；

S6013：种群初始化；从解空间R中依次选取M个个体形成种群Pop，其中，个体X_i为一条完整的路径，每条路径由n条链路l组成，也即X_i＝l₁，l₂，...，l_n}X_i∈R，l≤i≤M；

S6014：定义适应度函数；将个体X_i的适应度函数定义为F(X_i)＝1/(a×HOPS(X_i)+b×MAXU(X_i))，式中，HOPS(X_i)是路径个体X_i的长度，MAXU(X_i)是X_i包含链路中的最大链路利用率值，a和b为影响因子。

进一步的，步骤S602的具体操作包括以下步骤，

在第t次迭代中，将个体X_i(t)中最大链路利用率大于阈值H的链路替换为相邻且不拥堵的一条或几条链路形成变异个体V_i(t)；

用来进行替换的链路均来自于备选路径候选解空间R中的k条备选路径，且用来进行替换的链路中所有链路的最大链路利用率均小于阈值H，用来进行替换的链路为解空间R中长度最短的。

进一步的，步骤S603的具体操作包括以下步骤，

S6031：在第t次迭代中，从区间[0,1]中选取一个随机数r，若r>交叉因子cr，保留变异个体V_i(t)作为交叉个体U_i(t)，直接转步骤S604进行选择操作；若r≤交叉因子cr，继续以下步骤将原个体X_i(t)与变异个体V_i(t)进行交叉操作；

S6032：将个体X_i(t)和V_i(t)按顺序遍历，当出现第一个相同节点时，将此节点后的链路全部互换，得到交叉个体U_i(t)；判断U_i(t)是否存在环路，如果是，则保留去掉环路的路径为交叉个体U_i(t)；

S6033：若交叉个体U_i(t)与原个体X_i(t)完全相同，从种群Pop中随机选取一条与V_i(t)同源同目的的路径个体W(t)，采用步骤S6032中的方法，将W(t)与变异个体V_i(t)进行交叉操作获得交叉个体U_i(t)。

进一步的，步骤S604的具体操作包括以下步骤，

S6041：根据S6014中的适应度函数分别计算交叉个体U_i(t)和原个体X_i(t)的适应度值；

S6042：若交叉个体U_i(t)的适应度值优于原个体X_i(t)的适应度值，则第t次迭代中的交叉个体U_i(t)取代原个体X_i(t)保留到下一代种群，否则仍保留个体X_i(t)，也即

本发明的有益效果是：

1、本发明提出的基于差分进化算法的SDN数据中心网络大象流调度方法在ECMP的基础上，结合差分进化算法，随时监控链路使用状态，对拥塞链路上的大象流计算全局最优路径后重路由，能够有效降低网络的最大链路利用了，提高网络的对分带宽。

2、本发明中提出的DE-ECMP算法与ECMP和GFF相比，random模式下网络对分带宽分别提高了16.74％～32.09％和7.95％～23.62％，stride(i)间隔模式下网络对分带宽分别提高了12.69％和4.89％；staggered交错模式下网络对分带宽分别提高了20％和6.7％；降低了网络的最大链路利用率，较好地实现了网络负载均衡。

附图说明

图1为本发明中大象流调度流程图。

图2为本发明中DE-SDN算法流程图。

图3为本发明中变异操作示意图。

图4为本发明中交叉操作示意图。

图5为本发明仿真实验中4元胖树型网络拓扑图。

图6为本发明仿真实验中random模式下平均对分带宽比较结果。

图7为本发明仿真实验中stride模式下平均对分带宽比较结果。

图8为本发明仿真实验中staggered模式下平均对分带宽比较结果。

图9为本发明仿真实验中staggered模式下最大链路利用率比较结果。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

基于差分进化算法的SDN数据中心网络大象流调度方法，包括以下步骤，S1：建立数据中心网络大象流调度模型；

具体的，S101：将数据中心网络拓扑表示为图G(S，L)，其中，S为所有网络节点(交换机)的集合，节点s_i∈S，i＝1，2，......，|S|；L表示网络中所有链路的集合，链路l∈L的容量为C_l，链路利用率为u_l；

和

表示；变量

表示数据流e是否途经链路l；

S103：将链路利用率u_l定义为所有途经链路l的数据流e的带宽之和与链路l容量C_l的比值，则流量调度问题的优化目标，即最小化网络中的最大链路利用率，可用式(1)表示；

在达到该优化目标时，流量调度满足以下约束条件：

式(2)说明途经链路l的数据流e带宽总和不能超过该链路的容量；式(3)表示如果节点s_i为数据流e的源节点，则数据流e只从该节点流出；而式(4)说明若节点s_i为e的目的节点，则数据流只流入该节点而不再流出；式(5)表示，若s_i为e的中间节点，则该节点流入及流出的数据流量相同；式(6)定义变量的取值范围。

进一步的，使用差分进化算法和SDN算法对数据中心网络大象流进行调度，具体流程如附图1所示。具体包括以下步骤：

进一步的，差分进化算法(Differential Evolution，DE)的基本思想是对某一随机产生的种群进行变异操作，按一定规则将两个个体的差向量与第三个个体进行求和产生变异个体，再将变异个体与目标个体进行交叉，通过计算适应度值和不断迭代计算，按照优胜劣汰的自然法则，最后选取全局最优解。DE算法收敛速度快，控制参数少且算法简单易执行，优化结果相比遗传算法和粒子群算法更加稳定。

步骤S6中提出的基于差分进化算法的流量调度方法依据网络拓扑和当前链路利用率，计算出满足约束条件(2)～(6)的全局最优路径。输入为数据中心网络中链路的当前利用率，输出为一条重路由大象流的最优路径。该算法(DE-SDN)流程图如附图2所示，具体操作包括以下步骤，

S601：算法初始化；

S6013：种群初始化；从解空间R中依次选取M个个体形成种群Pop，其中，个体X_i为一条完整的路径，每条路径由n条链路l组成，如下式(7)所示。

X_i＝{l₁，l₂，...，l_n}X_i∈R，1≤i≤M (7)

S6014：定义适应度函数；为了实现最小化最大链路利用率的优化目标将个体X_i的适应度函数定义为如式(8)所示。

F(X_i)＝1/(a×HOPS(X_i)+b×NAXU(X_i)) (8)

式中，HOPS(X_i)是路径个体X_i的长度(跳数)，MAXU(X_i)是X_i包含链路中的最大链路利用率值，a和b为影响因子。通过适应度函数的定义将本文求解的最小化问题转为最大化问题，按下述步骤进行求最优解。

S602：变异操作；

具体的，第t次迭代中，将个体X_i(t)中最大链路利用率大于阈值H的链路替换为相邻且不拥堵的一条或几条链路形成变异个体V_i(t)；

如附图3所示，给出了变异操作的示例。

图3中s_i表示交换机节点，l_j为连接两个交换机的链路。

假设图3中(a)所示的路径上，连接链路l₃的利用率大于阈值，则对其进行替换。利用Yen算法，以链路l₃的两个端点s₂和s₃分别为源和目的节点，生成k-最短路径保留到变异候选解空间R′。从解空间R′中选取满足如下条件所示的候选l^*路径，如图3中(b)所示：

a.候选路径l^*中所有链路的最大链路利用率均小于阈值H；

b.候选路径l^*为解空间R′中长度最短的。

然后，将拥堵链路l₃替换为候选路径l^*，生成如图3中(c)所示的变异个体V_i(t)。

S603：交叉操作；

具体的，在第t次迭代中，从区间[0,1]中选取一个随机数r，若r>交叉因子cr，保留变异个体V_i(t)作为交叉个体U_i(t)，直接转步骤S604进行选择操作；若r≤交叉因子cr，继续以下步骤将原个体X_i(t)与变异个体V_i(t)进行交叉操作；

将个体X_i(t)和V_i(t)按顺序遍历，当出现第一个相同节点时，将此节点后的链路全部互换，得到交叉个体U_i(t)；判断U_i(t)是否存在环路，如果是，则保留去掉环路的路径为交叉个体U_i(t)；

考虑到变异个体V_i(t)可能是由X_i(t)变异所得，故交叉个体U_i(t)可能与原个体X_i(t)完全相同，造成无效交叉，如果出现无效交叉，从种群Pop中随机选取一条与V_i(t)同源同目的的路径个体W(t)，采用步骤S6032中的方法，将W(t)与变异个体V_i(t)进行交叉操作获得交叉个体U_i(t)，由此可以提高变异操作的结果保留到下一代种群的几率。

交叉操作的示意图如附图4所示。假设将个体W(t)(图4中(a))与变异个体V_i(t)(图3中(c))进行交叉操作。可以看出它们第一个公共节点为

将W(t)和V_i(t)从公共节点

到目的节点

之间的所有链路串进行互换，得到如图4中(b)所示的交叉个体U_i(t)。

S604：选择操作；

具体的，根据S6014中的适应度函数分别计算交叉个体U_i(t)和原个体X_i(t)的适应度值；

若交叉个体U_i(t)的适应度值优于原个体X_i(t)的适应度值，则第t次迭代中的交叉个体U_i(t)取代原个体X_i(t)保留到下一代种群，否则仍保留个体X_i(t)，也即

仿真实验：

为了验证本发明中提出的DE-SDN算法的有效性，仿真实验利用Floodlight作为SDN控制器，Mininet为仿真平台搭建4元胖树型数据中心网络，采用sflow技术监控网络状态。将DE-SDN与ECMP和GFF进行了对比。采用平均对分带宽和最大链路利用率作为衡量算法性能的指标。其中，对分带宽指的是把一个网络平均分成两个相同的子网，这两个子网中所有的链路在规定的单位时间内通过的数据流流量的总带宽。最大链路利用率是指在网络传输时，网络所有路径的链路利用率值中链路利用率达到最高的值。当在同一个负载情况下，对分带宽越大表示网络吞吐量越大，最大链路利用率越低则表示网络的链路利用分配均匀，没有造成某一条链路利用过度的情况，即网络负载均衡性能越好。

实验环境：

(1)网络拓扑结构

采用Mininet平台，用Python编程构建一个4元的胖树型网络拓扑，如附图5所示。所有节点均为OpenFlow交换机，共20台。接入层交换机连接16台主机，各条链路带宽均设定为100Mb/s。

(2)通信模式

大象流定义为大于链路带宽10％的数据流，所以本实验中将带宽在10Mb/s及以上数据流识别为大象流。使用流量生成工具Iperf，并进行二次开发，通过扩展Mininet的内部命令，生成三种不同通信模式的数据流。三种不同的通信模式如下所述：

a)随机模式Random：网络中的随机选取源主机和目的主机，同时生成流量的方式和流量的大小都是随机产生的；

b)间隔模式Stride(i)：编号是x的主机向编号是(x+i)mod n的主机传输数据,其中n为网络中主机数量；

c)交错模式Staggered(p1,p2)：每台主机以概率p1向同属于一个接入层交换机的主机发送数据，以概率p2向同属于一个pod的主机发送数据，以概率1-p1-p2向其他pod内主机发送数据。

根据数据中心网络流量特征，实验中数据流的大小服从指数分布，其中指数函数的参数r＝0.23。产生每条流的时间间隔服从泊松分布，每条流的持续时间为60秒，取第20秒到第40秒时间段的数据流作为有效实验数据。

(3)算法参数设置

依据流量调度的优化目标，仿真实验中，DE-SDN算法的主要参数设置如表1所示。

表1 DE-SDN算法主要参数值

参数	设定值	建议值
			最大迭代次数MaxT	50	[50，100]
种群个数M	50	[50，100]
			影响因子a	1	[1，10]
影响因子b	10	[1，10]
			阈值H	0.5	0.5
交叉因子cr	0.1	[0，1]

因优化目标为最小化最大链路利用率，故适应度函数的影响因子设置为a＝1，b＝10。交叉因子cr若较大，通常会加速收敛，得到局部最优解，故cr＝0.1。

平均对分带宽比较结果：

数据中心网络中的数据流类型复杂且流量庞大，仿真实验选取上述三种通信模式进行对ECMP、GFF和DE-SDN三种流量调度算法的性能进行比较，对每一种通信模式下的每一种流量调度算法进行20组实验后取平均值，得到最终的结果。实验结果的平均对分带宽对比图如附图6～8所示，其中，横轴表示通信模式，纵轴表示平均对分带宽值，单位为Mbps/s。

random模式下平均对分带宽比较如附图6所示，在random模式下进行了两组实验random1和random2。从图6中可见，GFF算法的平均对分带宽高于ECMP算法，DE-SDN算法的平均对分带宽均高于ECMP算法和GFF算法。其中，DE-SDN算法相比ECMP算法，平均对分带宽提高了16.74％～32.09％，相比GFF算法的平均对分带宽提高了7.95％～23.62％。

为模拟网络负载不均衡，便于仿真真实网络的流量复杂性，在stride(i)间隔模式下，分别取i＝4、6、8三种通信方式做三组对比实验stride(4)、stride(6)和stride(8)。Stride通信模式下平均对分带宽比较如附图7所示，从图7中可知，在三种间隔模式下，DE-SDN算法的平均对分带宽均高于ECMP和GFF算法，其中，在stride(6)模式下，DE-SDN算法的平均对分带宽相比ECMP算法提高了12.69％，相比GFF算法提高了4.89％。

在staggered交错模式下，选取了staggered(0,0.2)和staggered(0,0.4)两种交错模式进行实验，以staggered(0,0.2)模式为例，在实验中每台主机以0.2的概率向同Pod的主机发送数据流，以0.8的概率向剩余pod内的其他主机发送数据流，staggered交错模式下平均对分带宽比较如附图8所示。从图8中可以看出，在这两种交错模式下，ECMP算法和GFF算法的平均对分带宽没有明显差距，但DE-SDN算法的平均对分带宽均高于ECMP算法和GFF算法。其中，在staggered(0,0.2)下，相比ECMP算法的平均对分带宽提高了20％；在staggered(0,0.4)模式下，DE-SDN算法相比ECMP算法提高了6.7％。

综上所述，在三种通信模式下，DE-SDN算法平均对分带宽均高于ECMP算法和GFF算法。这是因为，ECMP算法属于一种静态散列调度，根据哈希值将数据流均匀分配到不同的等价路径中，未考虑到网络的实时状态，不能妥善处理大象流的调度，导致数据流冲突增多，链路拥塞。相比ECMP算法，GFF算法对于拥堵连路上的大象流，根据当前网络信息状态和数据流途经过的链路按顺序选择第一条符合条件的路径进行重路由，从而导致平均对分带宽有所提高。但在交错模式下，由于pod间产生的数据流增加，造成冲突的流也在不断增多，而GFF仍会选择第一条满足条件的路径，此时无法确定该路径是否是全局最优路径，可能再次出现网络拥塞，无法有效缓解负载不均的问题。本发明提出的DE-SDN算法先进行ECMP算法调度，当实时监测发现由于大象流导致的链路拥塞时，结合当前网络链路状态重新选取一条全局最优路径，对大象流进行重新调度，所以与其他两种算法相比平均对分带宽更优。

最大链路利用率比较结果：

最大链路利用率也是一个评价流量调度算法是否能更好得实现网络负载均衡的重要指标，它能够反映网络链路使用情况，如果网络负载不平衡，网络负载高的链路易发生网络拥塞，网络负载低的链路会因为链路没有得到充分利用而造成链路冗余的情况，从而导致平均对分带宽降低。

为仿真真实的网络负载不均衡情况，实验选取了staggered(0,0.2)通信模式对比ECMP、GFF、DE-SDN的最大链路利用率。对每一种算法进行20组实验，每组数据流传输持续时间为60秒。最后计算所有的最大链路利用率值的累积分布函数值，每个区间的频度为0.1，得到如附图9所示的折线图。图中横坐标代表最大链路利用率，纵坐标为累计分布函数值，三条曲线为ECMP、GFF、DE-SDN算法对应的累积分布函数曲线。累积分布函数曲线图像位置越高，说明降低最大链路利用率的效果越好。从图9中可以看出，ECMP算法最大链路利用率绝大部分集中在70％～85％，GFF算法的最大链路利用率在60％～80％，而DE-SDN算法相比ECMP、GFF算法最大链路利用率降低了10％左右，大部分集中在60％～75％之间。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。