CN112260950A - 一种基于业务优先级区分的云存储网络组播流调度方法 - Google Patents

Abstract

本发明公开一种基于业务优先级区分的云存储网络组播流调度方法，包括：S1利用软件定义网络技术实时监控获取网络状态信息；S2后根据组播业务流对网络性能的需求对其进行优先级区分；S3在为组播业务流选择组播路径时，将此组播路径选择任务分解为多个单播路径选择任务；S4针对区分出来的不同优先级的组播业务流与当前的网络状态，为分解出来的各单播路径选择任务找到一个基于理想解的最优单播路径集；S5通过各路径集间的最大公共子路径确定组播分发节点以构建组播传输路径。本发明在保证数据中心负载均衡的同时，减少了冗余流量，降低了高优先级业务流的传输时间，提升了用户体验。

Description

一种基于业务优先级区分的云存储网络组播流调度方法

技术领域

本发明涉及云存储技术领域，具体涉及一种基于业务优先级区分的云存储网络组播流调度方法。

背景技术

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的系统。云存储系统采用数据中心网络技术整合存储设备。现有的数据中心网络流调度方法大多针对流量模式符合长尾分布的数据中心网络环境，即90％的数据流为小流，但余下的10％大流却占据90％的网络带宽。在这种数据中心网络环境背景下，部分研究者提出针对所有数据流的通用调度方法，即不考虑不同业务流之间的差异性，对所有数据流采用通用的调度策略。也有研究者按数据流的大小将其分为“大象流”与“老鼠流”并分别给与了不同的调度机制。这些方法虽然在设计的对应场合取得了较好的效果，但是难以应对云存储网络环境中针对不同业务的组播流调度需求。近年来云存储网络面临着一系列挑战，迫切需要设计一种云存储网络环境下的组播流调度方法，以实现在降低冗余流量、提高系统负载均衡性能的同时提高不同业务流的服务质量性能。

发明内容

本发明所要解决的是现有数据中心网络流调度方法难以应对云存储网络环境中针对不同业务的组播流调度需求的问题，提供一种基于业务优先级区分的云存储网络组播流调度方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于业务优先级区分的云存储网络组播流调度方法，包括步骤如下：

步骤1、利用软件定义网络技术实时监控获取网络状态信息，并将网络状态信息存入链路信息表中；

步骤2、根据组播业务流对网络性能的需求对其进行优先级区分，并基于优先级顺序为组播业务流选择组播路径；

步骤3、在为当前组播业务流选择组播路径时：先将当前组播路径选择任务分解为m个单播路径选择任务；再为分解出来的每个单播路径选择任务找到一个基于理想解的最优单播路径集，每个最优单播路径集包含λ条备选路径；

步骤4、基于当前组播业务流的m个最优单播路径集构建组播路径：先确定m个最优单播路径集的最大公共子路径；其中最大公共子路径为每个最优单播路径集中的其中一条备选路径即选定备选路径的子路径；再将最大公共子路径的最后一个链路的接收节点作为分发节点，并从每个最优单播路径集的选定备选路径中选择分发节点到相应目的节点的子路径作为组播分发路径；后将最大公共子路径和组播分发路径构成组播路径；

步骤5、当步骤4所构建的组播路径仅为1条时，则直接将该组播路径作为当前组播业务流的最终组播路径；否则，计算各组播路径的所有备选路径的相对贴近度之和，并将相对贴近度之和最大的组播路径作为当前组播业务流的最终组播路径；

其中m为当前组播业务流的目的节点的数量，λ为设定的大于1的正整数。

上述步骤1中，网络状态信息包括链路的剩余带宽和链路的平均传输时延。

上述步骤1中，链路信息表M＝(E,D,B,O)；其中E为链路集合，D为链路集合E中各子链路的平均传输时延集合，B为链路集合E中各子链路的剩余带宽集合，O为各核心交换机中当前流表数量的集合。

上述步骤2中，将组播业务流区分为最高级、次一级和最低级三个级别。

上述步骤3中，为分解出来的每个单播路径选择任务找到一个基于理想解的最优单播路径集的具体步骤如下：

步骤3.1、根据当前组播业务流对网络性能的需求对现有网络进行筛选，再使用最短路径算法找出该每个播路径选择任务的所有的备选路径；

步骤3.2、根据链路信息表中的决策参数构造路径决策矩阵，并通过极差标准化对路径决策矩阵进行归一化；其中路径决策矩阵的每一行表示一种决策参数，每一列表示一条备选路径；

步骤3.3、根据不同组播业务流对网络性能的不同需求，对归一化后的路径决策矩阵乘以预定的权重系数向量，得到加权路径决策矩阵；

步骤3.4、构建加权路径决策矩阵的正负理想解，其中正理想解由所有备选路径中所有决策参数的最大值组成，负理想解由所有备选路径中所有决策参数的最小值组成；

步骤3.5、分别计算每条备选路径到正负理想解的距离，并据此计算每条备选路径与理想解的相对贴近度；

步骤3.6、从所有备选路径中选出λ条相对贴近度较大的备选路径构成每个单播路径选择任务的单播路径集，其中λ为设定的大于1的正整数。

上述步骤3.1中，所使用的最短路径算法为迪克斯特拉算法。

上述步骤3.3中，具有同一优先级别的组播业务流采取同一种权重系数向量。

上述步骤3.5中，第j条备选路径与理想解的相对贴近度

为：

式中，

表示第j条备选路径到正理想解的距离，

表示第j条备选路径到负理想解的距离，

Z_ij表示第j条备选路径的第i个决策参数；P_i ⁺表示第i个决策参数的最大值；P_i ^-表示第i个决策参数的最大值；j∈{1,2,...,n}，n表示备选路径的总数；i∈{1,2,...,l}，l表示决策参数的总数。

与现有技术相比，本发明针对云存储网络不同类型业务流对网络性能的不同要求，为其区分优先级，从而采取不同的调度方法对业务流进行调度，有效的保证了服务质量，在保证数据中心负载均衡的同时，减少了冗余流量，降低了高优先级业务流的传输时间，提升了用户体验。

附图说明

图1为基于业务优先级区分的云存储网络组播流调度方法流程图。

图2为基于理想解的最优单播路径计算流程图。

图3为基于各路径集间的最大公共子路径确定组播分发节点，以构建组播传输路径的流程图。

图4为本发明使用的基于SDN的4叉胖树的云存储网络拓扑结构图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方法进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员可以再没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于业务优先级区分的云存储网络组播流调度方法，如图1所示，其具体包括步骤如下：

S1、利用软件定义网络技术实时监控获取网络状态信息，包括剩余带宽和平均传输时延等信息，并将网络状态信息存入链路信息表中，用于后续进行最优路径计算。

软件定义网络(Software Defined Network，SDN)是由美国斯坦福大学CLeanState课题研究组提出的一种新型网络创新架构，是网络虚拟化的一种实现方式。其核心技术OpenFlow通过将网络设备的控制面与数据面分离开来，从而实现了网络流量的灵活控制，使网络作为管道变得更加智能，为核心网络及应用的创新提供了良好的平台。

链路信息表M＝(E,D,B,O)；其中，E＝{e_e1,e_e2,...,e_eq}为链路集合，D＝{d_e1,d_e2,...,d_eq}为链路集合E中各子链路的平均传输时延集合，B＝{b_e1,b_e2,...,b_eq}为链路集合E中各子链路的剩余带宽集合，O＝{o₁,o₂,...,o_n}为各核心交换机中当前流表数量的集合。

S2、根据组播业务流对网络性能的需求对其进行优先级区分，并基于优先级顺序为组播业务流选择组播路径。

根据业务流的发送端端口号判定其业务优先级，分为以下三个级别的业务流：

最高级：心跳数据流，对时延敏感度最高，需要的传输带宽小，拥有最高传输优先级，用于判断云存储网络各个存储节点是否正常。

次一级：用户业务数据流，对时延敏感度比较高，需要的传输带宽较多，拥有较高的传输优先级，主要由用户进行网络活动时产生，用户业务数据流的完成时间对用户体验影响较大。

最低级：系统迁移数据流，对时延没有太大要求，但是需要的网络带宽比较大，传输优先级最低，由云存储网络负载均衡机制产生，不会影响用户体验。

S3、在为组播业务流选择组播路径时，将此组播路径选择任务分解为多个单播路径选择任务，即若一个组播路径选择任务包含m个目的节点，则将其分解为m个点对点的单播路径选择任务。

S4、针对S2区分出来的不同优先级与当前的网络状态，为S3中分解出来的各单播路径选择任务找到一条基于理想解的最优单播路径集。如图2所示。

S4.1、根据当前网络状态和业务流对网络性能的需求对现有网络进行筛选，再使用最短路径算法找出所有的备选路径。

依照业务流对传输链路的性能要求对现有的网络路径过滤，再使用Dijkstra(迪克斯特拉)算法找到全部的备选路径集合P^*：

P^*＝{p₁,p₂,...,p_n}

S4.2、构造路径决策矩阵，并将决策矩阵归一化处理。

根据链路信息表中所描述选取的参数，路径决策矩阵构造为：

上述路径决策矩阵的每一行表示一种决策参数，每一列表示一条备选路径。b₁代表组成第一条备选路径的所有链路的链路剩余带宽的最小值。d₁代表组成第一条备选路径的所有链路的平均传输时延之和。

通过极差标准化对路径决策矩阵进行归一化，从而使所有决策参数在同一量纲下进行比较和决策：

成本型决策参数要求是值越小越好，核心交换机中的流表数与链路传输的平均时延都是成本型决策参数；成本型决策参数归一化函数

效益型决策参数要求是值越大越好，链路的剩余带宽就是效益型决策参数；效益型参数归一化函数

经过归一化后的决策矩阵M^*如下所示：

式中b_j ^*＝v(b_j)，d_j ^*＝u(d_j)，o_j ^*＝u(o_j)，j∈{1,2,...,n}，j在式中表示矩阵列的序号，对应实际场景中候选路径的序号。

S4.3、根据不同组播业务流对网络性能的不同需求，对归一化后的路径决策矩阵乘以特定的权重系数向量，得到加权路径决策矩阵。

设置w_b、w_d、w_o分别表示业务流对链路剩余带宽、链路平均端到端时延以及链路中核心交换机上的流表数量的权重系数。权重系数向量为：

W＝[w_b,w_d,w_o]^T

由于不同业务流对不同网络参数的要求不同，所以不同业务流拥有不同的权重系数向量；其加权决策矩阵由公式Z_ij＝W_i×M^* _ij得出，其中i∈{1,2,3}，j∈{1,2,...,n}。在本实施例中，具有同一优先级别的组播业务流采取同一种权重系数向量。

S4.4、构建加权矩阵的正负理想解。

式中，P⁺是由所有备选路径中所有决策参数的最大值组成，表示加权决策矩阵的正理想解,P^-是由所有备选路径中所有决策参数的最小值组成，表示加权决策矩阵的负理想解。

S4.5、计算每条备选路径到正、负理想解的距离，并据此计算每条备选路径与理想解的相对贴近度。

第j条备选路径到正理想解的距离

为：

第j条备选路径到负理想解的距离

为：

第j条备选路径与理想解的相对贴近度

为：

式中，

表示第j条备选路径到正理想解的距离，

表示第j条备选路径到负理想解的距离，

Z_ij表示加权路径决策矩阵的第i行第j列的值即第j条备选路径的第i个决策参数；P_i ⁺表示加权路径决策矩阵的第i行的最大值即第i个决策参数的最大值；P_i ^-表示第加权路径决策矩阵的第i行的最小值即第i个决策参数的最大值。j∈{1,2,...,n}，n表示备选路径的总数。i∈{1,2,...,l}，l表示决策参数的总数，在本实施例中，l＝3。

S4.6、从所有备选路径中选出λ条相对贴近度较大的备选路径构成每个单播路径选择任务的单播路径集，其中λ为设定的大于1的正整数。

相对贴近度越大表示该传输路径越适合当前的单播流任务，选取相对贴近度最大的传输路径为最优单播路径。

S5、确定当前组播业务流的所有可行的组播路径。如图3所示。

S5-1、确定最大公共子路径p。最大公共子路径路径p由一组有序的链路e连接构成。

最大公共子路径的具体要求如下：条件1：p同时分别为m个最优单播路径集{η₁}、{η₂}、…、{η_m}中某一条单播路径的子路径；条件2：没有其他符合条件1的其他路径p'包含比最大公共子路径路径p更多的链路e。

S5-2、将最大公共子路径p的最后一个链路e_x＝(a_x,b_x)的接收节点b_x作为数据分发节点。

S5-3、将每个最优单播路径集的选定备选路径(即每个最优单播路径集确定最大公共子路径的那一条备选路径)中选择分发节点b_x到相应目的节点的子路径作为组播分发路径。

S5-4、将S5-1所得的最大公共子路径和S5-3所得的对应的组播分发路径组成组播路径。

S6、确定当前组播业务流的最终组播路径。

判断步骤S5所确定的当前组播业务流的可行的组播路路的条数：

如果步骤S5所确定的当前组播业务流的组播路径仅为1条时(即存在1条最大公共子路径)，则直接将该组播路径作为当前组播业务流的最终组播路径。

如果步骤S5所确定的当前组播业务流的组播路径为1条以上时(即存在1条以上最大公共子路径)，则计算各组播路径的所有备选路径的相对贴近度之和，并将相对贴近度之和最大的组播路径作为当前组播业务流的最终组播路径。

如果有不止一条组播路径时，则从中选择具有最大累计相对贴近度C_total的组播路径具体计算如下：

式中，s表示组播流的目的节点数量，φ表示发送节点至某一个目的节点的单播任务流，j表示每个单播流φ可以选择的备选路径，

表示单播流φ根据式

在各备选路径j中可以得到的最大相对贴近度。

图4为本发明使用的基于SDN的4叉胖树的云存储网络拓扑结构图，其主要由客户端、路由器、核心交换机、汇聚交换机、边缘交换机和Ceph节点组成。客户端上传数据到Ceph节点，该Ceph节点会将数据复制并以组播传输的方式分发至其他Ceph节点进行多副本存储。边缘交换机是与Ceph节点直连的交换机，核心交换机是与数据中心外部网络直连的交换机，汇聚交换机是在边缘交换机与核心交换机之间的交换机。

尽管已出示和描述了本发明的具体实施例，对于本领域的普通技术人员而言，可以立在在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所赋权利要求及其等同物限定。

Claims (8)

1.一种基于业务优先级区分的云存储网络组播流调度方法，其特征是，包括步骤如下：

步骤1、利用软件定义网络技术实时监控获取网络状态信息，并将网络状态信息存入链路信息表中；

步骤2、根据组播业务流对网络性能的需求对其进行优先级区分，并基于优先级顺序为组播业务流选择组播路径；

步骤3、在为当前组播业务流选择组播路径时：先将当前组播路径选择任务分解为m个单播路径选择任务；再为分解出来的每个单播路径选择任务找到一个基于理想解的最优单播路径集，每个最优单播路径集包含λ条备选路径；

步骤4、基于当前组播业务流的m个最优单播路径集构建组播路径：先确定m个最优单播路径集的最大公共子路径；其中最大公共子路径为每个最优单播路径集中的其中一条备选路径即选定备选路径的子路径；再将最大公共子路径的最后一个链路的接收节点作为分发节点，并从每个最优单播路径集的选定备选路径中选择分发节点到相应目的节点的子路径作为组播分发路径；后将最大公共子路径和组播分发路径构成组播路径；

步骤5、当步骤4所构建的组播路径仅为1条时，则直接将该组播路径作为当前组播业务流的最终组播路径；否则，计算各组播路径的所有备选路径的相对贴近度之和，并将相对贴近度之和最大的组播路径作为当前组播业务流的最终组播路径；

其中m为当前组播业务流的目的节点的数量，λ为设定的大于1的正整数。

2.根据权利要求1所述的一种基于业务优先级区分的云存储网络组播流调度方法，其特征是，步骤1中，网络状态信息包括链路的剩余带宽和链路的平均传输时延。

3.根据权利要求1或2所述的一种基于业务优先级区分的云存储网络组播流调度方法，其特征是，步骤1中，链路信息表M＝(E,D,B,O)；其中E为链路集合，D为链路集合E中各子链路的平均传输时延集合，B为链路集合E中各子链路的剩余带宽集合，O为各核心交换机中当前流表数量的集合。

4.根据权利要求1所述的一种基于业务优先级区分的云存储网络组播流调度方法，其特征是，步骤2中，将组播业务流区分为最高级、次一级和最低级三个级别。

5.根据权利要求1所述的一种基于业务优先级区分的云存储网络组播流调度方法，步骤3中，为分解出来的每个单播路径选择任务找到一个基于理想解的最优单播路径集的具体步骤如下：

步骤3.1、根据当前组播业务流对网络性能的需求对现有网络进行筛选，再使用最短路径算法找出每个单播路径选择任务的所有的备选路径；

步骤3.2、根据链路信息表中的决策参数构造路径决策矩阵，并通过极差标准化对路径决策矩阵进行归一化；其中路径决策矩阵的每一行表示一种决策参数，每一列表示一条备选路径；

步骤3.3、根据不同组播业务流对网络性能的不同需求，对归一化后的路径决策矩阵乘以预定的权重系数向量，得到加权路径决策矩阵；

步骤3.4、构建加权路径决策矩阵的正负理想解，其中正理想解由所有备选路径中所有决策参数的最大值组成，负理想解由所有备选路径中所有决策参数的最小值组成；

步骤3.5、分别计算每条备选路径到正负理想解的距离，并据此计算每条备选路径与理想解的相对贴近度；

步骤3.6、从所有备选路径中选出λ条相对贴近度较大的备选路径构成每个单播路径选择任务的单播路径集，其中λ为设定的大于1的正整数。

6.根据权利要求5所述的一种基于业务优先级区分的云存储网络组播流调度方法，其特征是，步骤3.1中，所使用的最短路径算法为迪克斯特拉算法。

7.根据权利要求5所述的一种基于业务优先级区分的云存储网络组播流调度方法，其特征是，步骤3.3中，具有同一优先级别的组播业务流采取同一种权重系数向量。

8.根据权利要求5所述的一种基于业务优先级区分的云存储网络组播流调度方法，其特征是，步骤3.5中，第j条备选路径与理想解的相对贴近度

为：

式中，

表示第j条备选路径到正理想解的距离，

表示第j条备选路径到负理想解的距离，

Z_ij表示第j条备选路径的第i个决策参数；P_i ⁺表示第i个决策参数的最大值；P_i ^-表示第i个决策参数的最大值；j∈{1,2,...,n}，n表示备选路径的总数；i∈{1,2,...,l}，l表示决策参数的总数。

Images