CN111147387B - 一种混合sdn网络的流量控制方法及装置 - Google Patents

Abstract

本发明提供一种混合SDN网络的流量控制方法及装置，包括：接收数据包请求；所述数据包请求包括源地址和目的地址；获取网络状态信息；获取网络拓扑结构信息；根据所述数据包请求、所述网络状态信息和所述网络拓扑结构信息，确定路由策略；所述路由策略包括路径集合和所述路径集合中各路径的分流比例；根据所述路由策略修改当前流表，得到更新流表；向SDN交换机发送所述更新流表，以使所述SDN交换机按照所述更新流表控制流量。本发明能够根据当前的网络状态更新路由策略，优化网络资源分配，提高网络资源利用率。

Description

一种混合SDN网络的流量控制方法及装置

技术领域

本发明涉及网络技术领域，尤其涉及一种混合SDN网络的流量控制方法及装置。

背景技术

在混合SDN(Software Defined Network，软件定义网络)网络中，SDN设备和传统设备同时存在，SDN设备可根据流表(Flow table)转发数据，传统设备只能按照最短路径转发数据，混合SDN网络的数据流量处于半可控状态。在真实的网络环境中，网络状态会随时变化，目前尚没有实现根据网络状态控制流量的方法。

发明内容

有鉴于此，本发明的目的在于提出一种混合SDN网络的流量控制方法及装置，能够实现根据网络状态控制流量，提高网络资源利用率。

基于上述目的，本发明提供了一种混合SDN网络的流量控制方法，包括：

接收数据包请求；所述数据包请求包括源地址和目的地址；

获取网络状态信息；

获取网络拓扑结构信息；

根据所述数据包请求、所述网络状态信息和所述网络拓扑结构信息，确定路由策略；所述路由策略包括路径集合和所述路径集合中各路径的分流比例；

根据所述路由策略修改当前流表，得到更新流表；

向SDN交换机发送所述更新流表，以使所述SDN交换机按照所述更新流表控制流量。

可选的，所述根据所述数据包请求、所述网络状态信息和所述网络拓扑结构信息，确定路由策略，包括：

根据所述数据包请求和所述网络拓扑结构信息，利用Yen's算法计算K条最短路径，得到最优路径和备用转发路径集合；

根据所述备用转发路径集合，判断是否存在备用转发路径；

若否，确定只有一条最优路径的路由策略；

若是，根据所述网络状态信息，利用深度强化学习模型确定路由策略。

可选的，根据所述数据包请求、所述网络状态信息和所述网络拓扑结构信息，确定路由策略之后，还包括：

根据所述路由策略和所述网络状态信息，更新所述深度强化学习模型。

可选的，根据所述路由策略和所述网络状态信息，更新所述深度强化学习模型，包括：

基于所述路由策略执行流量控制，计算所有路径的最大链路利用率MLU、时延delay、抖动jitter、丢包率loss；

利用奖励函数计算所述深度强化学习模型的激励reward：

reward＝10*log(1/α·MLU+β·delay+γ·jitter+δ·loss) (1)

其中，α，β，γ，δ为根据网络服务质量需求设定的常数，满足：

α·MLU+β·delay+γ·jitter+δ·loss＞0 (2)

利用计算得到的激励reward训练所述深度强化学习模型，得到更新的深度强化学习模型。

可选的，所述只有一条最优路径的路由策略为由最优路径转发全部数据流量。

可选的，根据所述路由策略修改当前流表，得到更新流表，包括：

根据所述路由策略中的路径及各路径对应的分流比例，修改流表中的组表的bucket weight属性。

可选的，所述网络状态信息包括网络延时、抖动、丢包率、链路带宽信息、流量信息、链路权重、链路利用率中的至少一种。

可选的，所述获取网络状态信息，包括：

基于OpenFlow协议获取所述SDN交换机的网络状态信息；

基于SNMP协议获取传统设备的网络状态信息。

可选的，所述获取网络拓扑结构信息，包括：

基于LLDP协议和BDDP协议获取SDN设备与SDN设备、SDN设备与传统设备、传统设备与传统设备之间的连接关系；

根据各设备之间的连接关系，构建网络拓扑结构，得到包括各设备及其连接关系的网络拓扑结构信息。

本发明实施例还提供一种混合SDN网络的流量控制装置，包括：

接收模块，用于接收数据包请求；所述数据包请求包括源地址和目的地址；

获取模块，用于获取网络状态信息；以及用于获取网络拓扑结构信息；

计算模块，用于根据所述数据包请求、所述网络状态信息和所述网络拓扑结构信息，确定路由策略；所述路由策略包括路径集合和所述路径集合中各路径的分流比例；

流表更新模块，用于根据所述路由策略修改当前流表，得到更新流表；

发送模块，用于向SDN交换机发送所述更新流表，以使所述SDN交换机按照所述更新流表控制流量。

从上面所述可以看出，本发明提供的混合SDN网络的流量控制方法及装置，通过接收数据包请求，获取网络状态信息，获取网络拓扑结构信息；根据数据包请求、网络状态信息和网络拓扑结构信息，确定路由策略；根据路由策略修改当前流表，得到更新流表；向SDN交换机发送更新流表，SDN交换机按照更新流表控制流量。本发明能够根据当前的网络状态更新路由策略，优化网络资源分配，提高网络资源利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的混合SDN网络的拓扑图；

图3为本发明实施例的确定路由策略的方法流程示意图；

图4为本发明实施例的模型决策流程示意图；

图5为本发明实施例的路由策略与OSPF路由策略对比的示意图；

图6为本发明实施例的装置结构框图；

图7为本发明实施例的电子设备的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

一些实现方式中，传统网络中的传统设备按照最短路由协议(例如开放式最短路径优先协议OSPF)，将数据沿最短路径转发至下一跳节点，SDN网络中的SDN设备按照固定的流表转发数据。在混合SDN网络中，传统设备和SDN设备同时存在，SDN设备包括SDN控制器和SDN交换机，SDN控制器与SDN交换机基于OpenFlow协议通信，SDN控制器接收SDN交换机的数据请求，计算并下发路由策略，SDN交换机按照接收的路由策略转发数据，SDN交换机一方面支持SDN协议，能够与SDN设备通信，按照流表转发数据，另一方面还可以与传统设备通信，按照最短路径协议转发数据。当网络状态发生变化时，按照已有的流表转发数据有可能产生部分路径数据拥塞，部分路径空闲的情况，网络资源利用率不高。

为解决上述问题，本发明实施例提供一种混合SDN网络的流量控制方法及装置，可根据网络拓扑结构和当前的网络状态信息，得到最适于当前网络状况的路由策略，并按照路由策略修改流表得到更新流表，SDN交换机根据更新流表控制数据流量，能够实现网络资源的优化分配和合理利用。

图1为本发明实施例的方法流程示意图，图2为本发明实施例的混合SDN网络的拓扑图。如图所示，本发明实施例提供了一种混合SDN网络的流量控制方法，包括以下步骤：

S101：接收数据包请求；

S102：获取网络状态信息；

S103：获取网络拓扑结构信息；

本实施例中，数据包请求至少包括源节点的源地址和目的节点的目的地址等参数。网络状态信息至少包括网络延时、抖动、丢包率、链路带宽信息、流量信息、链路权重、链路利用率等状态参数中的至少一种。

本实施例中，SDN交换机向SDN控制器发送数据包请求，SDN控制器从混合SDN网络获取网络状态信息和网络拓扑结构信息，SDN控制可根据数据包请求及当前的网络状态信息和网络拓扑结构信息，动态确定路由策略。

一些实施方式中，对于网络状态信息，SDN控制器基于OpenFlow协议获取SDN交换机的网络状态信息；SDN控制器基于简单网络管理协议(Simple Network Managementprotocol，SNMP)获取传统设备的网络状态信息。

一些实施方式中，对于网络拓扑结构信息，SDN控制器基于链路层发现协议(LinkLayer Discovery Protocol，LLDP)和广播域发现协议(Broadcast Domain DiscoveryProtocol,BDDP)发现获取混合SDN网络中SDN设备与SDN设备、SDN设备与传统设备、传统设备与传统设备之间的连接关系，根据发现的各设备之间的连接关系，构建网络拓扑结构，得到包括各设备及其连接关系的网络拓扑结构信息。

S104：根据数据包请求、网络状态信息和网络拓扑结构信息，确定路由策略；路由策略包括路径集合和路径集合中各路径的分流比例；

S105：根据路由策略修改当前流表，得到更新流表；

S106：向SDN交换机发送更新流表，以使SDN交换机按照更新流表控制流量。

本实施例中，SDN控制器根据接收的数据包请求及获取的当前的网络状态信息和网络拓扑结构信息，计算确定包括至少一条数据转发路径的路径集合，以及路径集合中各路径的分流比例，得到路由策略；然后，根据路由策略动态修改当前流表，得到符合于当前网络状况的更新流表，并将更新流表下发给SDN交换机，使得SDN交换机可根据更新流表控制流量，控制流量包括数据转发、丢弃等控制动作。

本实施例的混合SDN网络的流量控制方法，根据获取的网络拓扑结构信息确定网络拓扑结构，实时获取当前的网络状态信息，根据网络状态信息确定路径集合及路径集合中各路径对应的分流比例，根据各路径对应的分流比例，动态更新流表，使得SDN交换机能够根据最符合当前网络状况的更新流表进行流量控制，优化网络资源分配及利用。

图3为本发明实施例的确定路由策略的方法流程示意图。如图所示，于一些实施例中，所述步骤S104中，根据数据包请求、网络状态信息和网络拓扑结构信息，确定路由策略的方法，包括：

S301：根据数据包请求和网络拓扑结构信息，利用Yen's算法计算K条最短路径，得到最优路径和备用转发路径集合；可选的，K的取值为2；

S302：根据得到的备用转发路径集合，判断是否存在备用转发路径，若否执行步骤S303，若是执行步骤S304；

本实施例中，若备用转发路径集合为空，则不存在备用转发路径，仅存在一条最优路径。

S303：确定只有一条最优路径的路由策略；

这种情况下，源节点与目的节点之间只存在最优路径，没有备用转发路径，数据无需分流，直接设置分流比例为1：0，即由最优路径进行全部数据流量的转发，确定只有一条最优路径的路由策略，该路由策略为一条最优路径及对应的分流比例1：0。

S304：根据网络状态信息，利用深度强化学习模型确定路由策略。

这种情况下，将网络状态信息作为输入参数输入预设的深度强化学习模型(DeepReinforcementLearning，DRL)，由深度强化学习模型根据输入参数得到输出结果，输出结果包括每条路径的分流比例，根据每条路径及其对应的分流比例确定出路由策略。

本实施例中，所述深度强化学习模型是以各类网络状态信息为样本数据训练得到的。利用预先训练得到的深度强化学习模型，能够根据当前的网络状态信息，得到最优的数据分流比例结果。

进一步的，结合图4所示，在利用深度强化学习模型得到输出结果，得到路由策略之后，还包括：利用当前的网络状态信息对深度强化学习模型进行训练，训练方法包括：

基于得到的路由策略执行流量控制，计算所有路径的最大链路利用率(MaximumLink Utilization，MLU)、时延delay、抖动jitter、丢包率loss；

利用奖励函数计算深度强化学习模型的激励reward：

reward＝10*log(1/α·MLU+β·delay+γ·jitter+δ·loss) (1)

其中，α，β，γ，δ为根据网络服务质量(Quality of Service，QoS)需求所设定的常数，满足：

α·MLU+β·delay+γ·jitter+δ·loss＞0 (2)

利用计算得到的激励reward训练深度强化学习模型，得到更新的深度强化学习模型。

本实施例中，根据网络状态信息利用深度强化学习模型得到各路径的分类比例，进而得到路由策略；采取得到的路由策略后，根据所得到的网络状态信息进一步训练深度强化学习模型，使得深度强化学习模型的输出结果更为准确。本实施例提供了一种混合SDN网络中，根据实时的网络状态信息，利用深度强化学习模型得到的网络流量控制方法，充分结合当前的网络状态信息和网络服务质量参数，提供符合当前网络状态的多条路径及各路径的分流比例的路由策略，能够根据网络状态调整流量分配，网络资源分配合理，提高网络资源的利用率。

可选的，所述深度强化学习模型是基于深度确定性策略梯度算法(DeepDeterministic Policy Gradient，DDPG)实现的。

于一些实施例中，所述步骤S105中，根据路由策略修改当前流表，得到更新流表，可以是根据路由策略中的路径及各路径对应的分流比例，修改流表中的组表(grouptable)的bucket weight属性，以实现多路径的分流比例的调整。可选的，SDN控制器将更新流表下发给路径中各节点对应的SDN交换机，各SDN交换机按照更新流表控制流量。

图5为本发明实施例的路由策略与OSPF路由策略对比的示意图。如图所示，传统网络中使用OSPF路由策略，在源节点(节点1)与目的节点(节点3)之间确定的最短路径为p＝(1,5,6,3)，所有节点均按照最短路径转发数据。由于没有考虑实时的网络状态，该最短路径有可能出现网络拥塞问题。本实施例中，在混合SDN网络中，结合当前的网络状态，确定最符合网络状况的路由策略，通过计算得到路径集合(R1，R2)以及路径R1的分流比例(例如70％)、路径R2的分流比例(例如30％)，其中路径R1为最优路径，路径R2为备用转发路径，则，源节点到目的节点之间的数据中，70％的数据流量沿路径R1转发，30％的数据流量沿路径R2转发，充分利用了网络资源，避免了网络拥塞的可能性，减轻了链路负担。

需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

图6为本发明实施例的装置结构框图。如图所示，本发明实施例提供的混合SDN网络的流量控制装置，包括：

接收模块，用于接收数据包请求；所述数据包请求包括源地址和目的地址；

获取模块，用于获取网络状态信息；以及用于获取网络拓扑结构信息；

计算模块，用于根据数据包请求、网络状态信息和网络拓扑结构信息，确定路由策略；所述路由策略包括路径集合和路径集合中各路径的分流比例；

流表更新模块，用于根据路由策略修改当前流表，得到更新流表；

发送模块，用于向SDN交换机发送更新流表，以使SDN交换机按照所述更新流表控制流量。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种混合SDN网络的流量控制方法，其特征在于，包括：

接收数据包请求；所述数据包请求包括源地址和目的地址；

获取网络状态信息；

获取网络拓扑结构信息；

根据所述数据包请求和所述网络拓扑结构信息，利用Yen′s算法计算K条最短路径，得到最优路径和备用转发路径集合；

根据所述备用转发路径集合，判断是否存在备用转发路径；

若否，确定只有一条最优路径的路由策略；

若是，根据所述网络状态信息，利用深度强化学习模型确定路由策略；其中，所述路由策略包括路径集合和所述路径集合中各路径的分流比例；所述深度强化学习模型预先训练得到，并能够根据当前网络状态信息得到最优的分流比例；以及根据所述路由策略和所述网络状态信息，更新所述深度强化学习模型，包括，基于所述路由策略执行流量控制，计算所有路径的最大链路利用率MLU、时延delay、抖动jitter、丢包率loss；利用奖励函数计算所述深度强化学习模型的激励reward：

reward＝10*log(1/α.MLU+β·delay+γ·jitter+δ·loss) (1)

其中，α，β，γ，δ为根据网络服务质量需求设定的常数，满足：

α·MLU+β·delay+γ·jitter+δ·loss＞0 (2)

利用计算得到的激励reward训练所述深度强化学习模型，得到更新的深度强化学习模型；

根据所述路由策略修改当前流表，得到更新流表；

向SDN交换机发送所述更新流表，以使所述SDN交换机按照所述更新流表控制流量。

2.根据权利要求1所述的方法，其特征在于，所述只有一条最优路径的路由策略为由最优路径转发全部数据流量。

3.根据权利要求1所述的方法，其特征在于，根据所述路由策略修改当前流表，得到更新流表，包括：

根据所述路由策略中的路径及各路径对应的分流比例，修改流表中的组表的bucketweight属性。

4.根据权利要求1所述的方法，其特征在于，所述网络状态信息包括网络延时、抖动、丢包率、链路带宽信息、流量信息、链路权重、链路利用率中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述获取网络状态信息，包括：

基于OpenFlow协议获取所述SDN交换机的网络状态信息；

基于SNMP协议获取传统设备的网络状态信息。

6.根据权利要求1所述的方法，其特征在于，所述获取网络拓扑结构信息，包括：

基于LLDP协议和BDDP协议获取SDN设备与SDN设备、SDN设备与传统设备、传统设备与传统设备之间的连接关系；

根据各设备之间的连接关系，构建网络拓扑结构，得到包括各设备及其连接关系的网络拓扑结构信息。

7.一种混合SDN网络的流量控制装置，其特征在于，包括：

接收模块，用于接收数据包请求；所述数据包请求包括源地址和目的地址；

获取模块，用于获取网络状态信息；以及用于获取网络拓扑结构信息；

计算模块，用于根据所述数据包请求和所述网络拓扑结构信息，利用Yen′s算法计算K条最短路径，得到最优路径和备用转发路径集合；根据所述备用转发路径集合，判断是否存在备用转发路径；若否，确定只有一条最优路径的路由策略；若是，根据所述网络状态信息，利用深度强化学习模型确定路由策略；其中，所述路由策略包括路径集合和所述路径集合中各路径的分流比例；所述深度强化学习模型预先训练得到，并能够根据当前网络状态信息得到最优的分流比例；以及根据所述路由策略和所述网络状态信息，更新所述深度强化学习模型，包括：基于所述路由策略执行流量控制，计算所有路径的最大链路利用率MLU、时延delay、抖动jitter、丢包率loss；利用奖励函数计算所述深度强化学习模型的激励reward：

reward＝10*log(1/α.MLU+β·delay+γ·jitter+δ·loss) (1)

其中，α，β，γ，δ为根据网络服务质量需求设定的常数，满足：

α·MLU+β·delay+γ·jitter+δ·loss＞0 (2)

利用计算得到的激励reward训练所述深度强化学习模型，得到更新的深度强化学习模型；

流表更新模块，用于根据所述路由策略修改当前流表，得到更新流表；

发送模块，用于向SDN交换机发送所述更新流表，以使所述SDN交换机按照所述更新流表控制流量。

Images