CN117240774B

CN117240774B - 一种跨域智能sdn路由方法

Info

Publication number: CN117240774B
Application number: CN202311521650.6A
Authority: CN
Inventors: 吴海林; 李加明; 王明果; 王立志; 雷雅媛; 徐宏涛
Original assignee: Yunnan Geological And Mineral Surveying And Mapping Institute Co ltd
Current assignee: Yunnan Geological And Mineral Surveying And Mapping Institute Co ltd
Priority date: 2023-11-15
Filing date: 2023-11-15
Publication date: 2024-01-23
Anticipated expiration: 2043-11-15
Also published as: CN117240774A

Abstract

本发明涉及通信技术领域，公开了一种跨域智能SDN路由方法，包括：采用分布式代理模式，在本地控制器和根控制器中分别部署本地代理和根代理，通过协同通信模块实现各本地代理与根代理之间的双向通信；本地代理向根代理发送域间路由请求；协同通信模块定期收集各子域的网络流量矩阵，并存储至部署在根控制器中的信息池内；根代理根据各子域的流量矩阵获取联合流量矩阵，并采用深度强化学习算法利用联合流量矩阵对DRL模型进行离线训练；当接收到域间路由请求后，通过DRL模型预测出最优域间路由转发路径。本发明能够实现SDN网络域间报文传输和报文同步，提高跨域报文传输的可靠性和稳定性。

Description

一种跨域智能SDN路由方法

技术领域

本发明属于通信技术领域，更具体地，涉及一种跨域智能SDN路由方法。

背景技术

近年来，随着5G网络、云计算等新潮技术的发展，各种多媒体服务和网络设备也得到了快速发展。这些网络设备通常具有响应速度快、网络性能高、功能类型多等特点，以确保为用户提供高效的服务质量（QoS）。满足QoS要求的最基本、最重要的条件是确保网络性能质量，这就需要一个高效的QoS感知网络架构。软件定义网络（Software-definedNetwork，SDN）作为一种新型网络架构，可以将控制平面和数据平面分离。网络状态信息通过SDN南向接口获取，而SDN北向接口提供上层应用服务。这样，既可以实现网络的集中统一管理，又可以方便地获取网络的全局状态信息，支持路由策略的灵活部署，从而提高网络性能。因此，SDN被认为是一种非常有效的QoS感知网络架构。由于SDN具有开放编程、数据平面与控制平面架构分离等特点，许多方案已经在数据中心网络（DCN）和流量工程（TE）中使用SDN实现了路由转发和流量管理，并取得了良好的效果。然而，随着网络规模的扩大，基于单一控制器管理的SDN会遇到控制器负载过大、单点故障等问题；此外，流量包的累积会导致队列等待时间过长、转发不及时等问题，严重影响网络性能。为解决单控制器管理模式下大规模网络的瓶颈问题，基于多控制器模式的域管理已成为一项关键技术。在这种方法中，大规模SDN网络被划分为多个网络子域，每个子域部署一个本地控制器，负责该本地域的流量管理和路由/转发，并引入一个根控制器，其功能是协调全局网络进行跨域信息交换和路由/转发。因此，在多控制器SDN管理模式下，可以解决大规模网络负载过大和数据包堆积的问题。

然而，在大规模网络的多控制器域管理中，控制器域之间的跨域信息传输和信息同步等关键问题仍有待解决。传统的边界网关协议（BGP）通过边界路由器在相邻自治系统（AS）之间传输信息，以实现域之间的信息同步。然而，在SDN环境中，基于BGP的报文传输和报文同步配置非常繁琐，而且存在路由振荡等问题。目前，OpenFlow1.3协议提供了一个东西向接口，可实现跨域SDN路由信息的传递。然而，与南北接口的广泛使用和标准化形成鲜明对比的是，东西接口在业界尚未形成共识标准。目前一些方法在SDN东西向接口的研究中取得了一些成果，例如通过控制器之间的状态自适应更新，可以实现全局网络状态的一致性，从而解决多个控制器之间的报文传输和报文同步问题。然而，这些基于多个控制器实现信息传输和信息同步的自适应方法存在适应时间长、收敛速度慢等问题。

发明内容

本发明的目的是提出一种跨域智能SDN路由方法，实现SDN网络域间报文传输和报文同步，提高多个SDN控制器之间跨域报文传输的可靠性和稳定性。

为实现上述目的，本发明提出了一种跨域智能SDN路由方法，包括：

采用分层架构，将SDN网络划分为多个子域，各子域内分别设置一个本地控制器进行域内的路由管理，设置根控制器和协同通信模块，采用分布式代理模式，在所述本地控制器和所述根控制器中分别部署本地代理和根代理，通过协同通信模块实现各本地代理与根代理之间的双向通信；

所述本地代理处理本地域内的路由转发请求并生成对应的最优域内路由转发路径，并向所述根代理发送域间路由请求；

所述协同通信模块定期收集各子域的网络流量矩阵，并存储至部署在所述根控制器中的信息池内，所述网络流量矩阵包括子域内的网络链路信息；

所述根代理包括基于递归神经网络的DRL模型，所述根代理根据各子域的网络流量矩阵获取联合流量矩阵，并采用深度强化学习算法利用所述联合流量矩阵对所述DRL模型进行离线训练；

当接收到所述域间路由请求后，所述根代理基于当前各子域的网络流量矩阵所对应的联合流量矩阵，通过完成训练的所述DRL模型预测出最优域间路由转发路径，并通过所述协调通信模块转发至发送域间路由请求的本地代理；

所述本地代理在收到根代理发送的最优域间路由转发路径后生成对应的最优域间路由转发策略。

可选地，所述协同通信模块采用套接字传输机制实现所述本地代理与所述根代理之间的点对点通信；

其中：

所述本地代理通过套接字连接向所述根代理发送域间最佳路由转发路径请求；

所述根代理响应请求，并通过套接字技术向本地代理发送域间最佳路由转发路径信息；

所述根代理通过套接字连接主动获取各网络子域的网络流量矩阵。

可选地，所述协同通信模块采用多线程机制，针对每个所述本地代理分别创建三个线程，包括：

第一线程，用于处理本地代理的域间路由请求；

第二线程，用于处理根代理对所述域间路由请求的响应；

第三线程，用于获取对应子域的网络流量矩阵。

可选地，所述第三线程获取对应子域的网络流量矩阵的方法包括：

所述第三线程每隔设定时长向所述本地代理发送一次监测请求；

所述本地代理响应所述监测请求并返回获取的网络链路信息；

所述第三线程根据所述网络链路信息构建对应子域的网络流量矩阵。

可选地，所述网络链路信号包括剩余带宽、传输时延、丢包率、已用带宽和、丢弃数据包和错误数据包。

可选地，所述第三线程采用管道技术对采集的网络流量矩阵数据进行缓存并分批传输。

可选地，在形成联合流量矩阵的过程中，采用min-max标准化方法将联合流量矩阵中的数据归一化到指定的范围。

可选地，所述深度强化学习算法为DuelingDQN算法。

可选地，所述联合流量矩阵为各子域的网络流量矩阵的并集。

本发明的有益效果在于：

本发明的方法采用分布式代理模式，分别在各SDN网络子域控制器和根控制器中设置代理，采用基于递归神经网络的DRL模型，利用协同通信模块定期收集的各子域的网络流量矩阵获取联合流量矩阵作为训练数据对DRL模型进行训练，通过DRL模型自动预测出最优域间路由转发路径，从而实现在大规模SDN网络中实时生成最优路由转发路径，实现SDN网络域间的跨域报文传输和报文同步。

进一步，本发明中的协同通信模块力用SDN的多线程网络测量机制，灵活获取各网络子域的链路状态信息，同时采用套接字技术和数据管道技术实现域间消息传输和消息同步同步，实现降低网络通信的复杂度和数据交互次数，从而提高了获取全局网络状态信息的收敛速度，并确保信息传输的可靠性和稳定性。

本发明的系统具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。

附图说明

通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，在本发明示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的一种跨域智能SDN路由方法的步骤图。

具体实施方式

下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

实施例

本实施例提供一种跨域智能SDN路由方法，包括：

S1：采用分层架构，将SDN网络划分为多个子域，各子域内分别设置一个本地控制器进行域内的路由管理，设置根控制器和协同通信模块，采用分布式代理模式，在本地控制器和根控制器中分别部署本地代理和根代理，通过协同通信模块实现各本地代理与根代理之间的双向通信；

具体地，本发明中的SDN网络采用分层架构，将大规模SDN网络划分为多个网络子域，每个子域部署一个本地控制器，负责该本地域的流量管理和路由/转发，并引入一个根控制器协调全局网络进行跨域信息交换和路由/转发，通过分布式代理模式，在各本地控制器中部署本地代理，并在根控制器中部署跟代理，同时设计了一个通信模块负责本地代理与根代理之间的双向通信，该架构可实现在多控制器SDN管理模式下，解决大规模网络负载过大和数据包堆积的问题。

本实施例中，将整个SDN网络划分为三个子域，每个本地控制器管理一个子域。各本地控制器和根控制器中部署的代理为代理服务软件系统，可包括数据平面、控制平面、管理平面和知识平面。

S2：本地代理处理本地域内的路由转发请求并生成对应的最优域内路由转发路径，并向根代理发送域间路由请求；

具体地，本地代理的主要功能包括：

1)通过响应协同通信模块定期发送的相应请求，提供本地网域的全局感知信息，如交换机端口速率、发送数据包数和接收字节数。

2)生成最优域内路由转发路径以及最优路由转发策略。

3)使用链路层发现协议(LLDP)收集网络中的拓扑信息。

4)通过请求指令定期查询每个网络子域中所有交换机的详细状态信息，并生成该域的感知信息。

5)根据获得的最优域内路由和转发路径，按照本地域的网络拓扑结构找到相应的主机节点。

6)根据最优域内路由和转发路径以及相应的主机节点生成最优域内路由策略。

7)向代理发送域间路由转发请求。

8)接收由根代理生成的最优域间路由和转发路径，并根据最优域间路由和转发路径以及相应的主机节点生成最优域间路由和转发策略。

需要说明的是，本方法主要聚焦于解决各网络子域之间的跨域路由问题，因此涉及的各子域内的最优路由路径及策略相关方法可采用公开于本申请之前的任意现有的SDN域内最优路由路径解决方案，本方案在此不做过多赘述。

S3：协同通信模块定期收集各子域的网络流量矩阵，并存储至部署在根控制器中的信息池内，网络流量矩阵包括子域内的网络链路信息；

本实施例中，优选地，协同通信模块采用套接字传输机制实现本地代理与根代理之间的点对点通信；

其中：本地代理通过套接字连接向根代理发送域间最佳路由转发路径请求；根代理响应请求，并通过套接字技术向本地代理发送域间最佳路由转发路径信息；根代理通过套接字连接主动获取各网络子域的网络流量矩阵。

具体地，本方法利用套接字（socket）技术设计了协作通信模块，用于实现多个SDN域之间的协作和消息通信。套接字只是网络中不同主机上应用进程之间双向通信的一个端点抽象。它是TCP/IP通信协议的基本操作单元。因此，套接字机制是一种可靠的传输机制，套接字通信过程简单明了，客户端通过服务器绑定IP地址和端口连接，实现客户端与服务器之间的通信和网络信息传输。本实施例中，将根控制器作为服务器，本地控制器作为客户端，它们之间的信息体封装在响应和请求数据结构中，并通过JSON格式传输。

本实施例的协同通信模块的主要功能如下：

1)本地控制器通过套接字连接向根控制器发送域间最佳路由转发路径请求。

2)根控制器响应请求，并通过套接字技术向本地控制器发送域间最佳路由转发路径信息。

3)根控制器通过套接字连接主动获取各网络子域的网络流量矩阵。

优选地，协同通信模块采用多线程机制，针对每个本地代理分别创建三个线程，包括：

第一线程，用于处理本地代理的域间路由请求；

第二线程，用于处理根代理对域间路由请求的响应；

第三线程，用于获取对应子域的网络流量矩阵。

其中，第三线程获取对应子域的网络流量矩阵的方法包括：

第三线程每隔设定时长向本地代理发送一次监测请求；

本地代理响应监测请求并返回获取的网络链路信息；

第三线程根据网络链路信息构建对应子域的网络流量矩阵。

具体地，本方法采用了多线程技术，以确保协同通信模块中的套接字能高效处理请求和响应，并获取各网络子域的网络流量矩阵。具体而言，为每个网络子域创建三个线程：一个线程处理本地控制器的请求，一个线程处理根控制器的响应，一个线程负责获取网络流量矩阵。利用SDN多线程网络测量机制获取域的网络流量矩阵，主要流程为：创建一个信息检测线程（即第三线程），该线程将每隔𝑡秒向本地代理发送一次请求，以监测当前的网络感知信息。收到监测请求后，本地代理将发送请求指令，返回获取的网络感知信息。然后，协同通信模块将获取的网络感知信息转化为网络链路信息，并构建网络流量矩阵。其中，网络链路信号包括剩余带宽、传输时延、丢包率、已用带宽和、丢弃数据包和错误数据包。

本实施例中，在DRL模型的训练阶段，第三线程时刻采集各子域的网络流量矩阵并存储到信息池中，用于模型（GRU模型和DRL模型）的离线训练。而在DRL模型的应用阶段，第三线程将采集的各子域网络流量矩阵直接发送至根代理中完成训练的模型中，以便完成对最优的域间路由转发路径的预测。

优选地，第三线程采用管道技术对采集的网络流量矩阵数据进行缓存并分批传输。

具体地，由于套接字资源有限，根控制器和本地控制器之间的频繁通信，尤其是在根控制器的根代理定期主动获取每个网络子域的网络流量矩阵时，不可避免地会造成一定的资源和时间开销。因此，本方法采用了管道技术，其本质上是一个缓冲器，当管道的缓冲区中的数据大小满足特定条件时，缓冲区中的数据就会分批传输，从而减少从每个网络子域获取网络流量矩阵时的套接字交互次数，并增加每次套接字通信中传输的数据量。

S4：根代理包括基于递归神经网络的DRL（DeepReinforcementLearning，深度强化学习）模型，根代理根据各子域的网络流量矩阵获取联合流量矩阵，并采用深度强化学习算法利用联合流量矩阵对DRL模型进行离线训练；

具体地，根控制器主要用于收集网络的全局链路状态信息，并生成域间的最优路由和转发路径。根控制器中的根代理的主要功能包括：

1)将从多个网络子域收集到的链路状态信息存储在信息池中。

2)将信息池中保存的各子域网络流量矩阵转换为联合流量矩阵。

3）利用联合流量矩阵构建网络训练环境，并通过DRL模型与构建的环境不断进行高维决策交互，以获得更高的回报。当模型训练过程收敛后，就会确定给定当前网络状态的行动，即最优路由和转发路径。

其中，联合流量矩阵为各子域的网络流量矩阵的并集。

本实施例中，根控制器中的根代理采用集中学习方法，可表示为：

（1）

其中，N表示代理的数量，本实施例中N=3，表示多智能体的联合状态空间，S_Dd（d=1,2,3）是第d网络子域的状态空间,/>表示代理的联合行动空间，ua_t（t=1,2…n）表示联合行动空间UA中的元素，，其中/>表示全网络中SDN交换机的数量，P表示状态转移函数，γ表示调整当前和未来奖励收益的折扣因子，𝑈𝑅表示联合奖励函数，表示当系统处于联合状态us_t∈𝑈𝑆时，根控制器中的代理在时间𝑡执行联合行动𝑢𝑎_t∈𝑈𝐴时获得的联合奖励值ur_t。

DRL算法是一种框架算法，主要由状态、行动和奖励三个要素组成。下面介绍本方法中根控制器中DRL模型涉及的联合状态空间、联合行动空间和联合奖励函数的设计。

联合状态空间（US）：联合状态空间可以表示为𝑈𝑆=𝑈𝑇𝑀，其中𝑈𝑇𝑀是在区间𝑡内的联合流量矩阵，其由多个二维矩阵组成，

其中，m_ij表示𝑈𝑇𝑀中第𝑖行和第𝑗列的元素，是由相应的L_bwij、L_delayij、L_lossij、L_usedij、L_dropsij、L_errorsij这些信息矩阵计算出来的，L_bwij、L_delayij、L_lossij、L_usedbwij、L_dropsij、L_errorsij分别表示元素m_ij对应的剩余带宽、时延、丢包率、已用带宽、丢弃数据包和错误数据包这些信息矩阵。信息矩阵包含网络中所有交换机之间的链路信息，D1、D2和D3代表三个网络子域，𝑈𝑇𝑀中各元素对应的权重值w_l∈[0,1](l=1,2,..,6)为可调参数，𝑖和𝑗分别代表网络中的网络中的交换机名称，是网络中交换机的总数。

考虑到用于形成UTM的各信息矩阵中的值差异较大，无法客观反映各信息矩阵的权重系数对UTM的影响，DRL模型难以收敛，影响网络模型的性能。因此，本方法采用Min-Max技术，将UTM中的元素归一化到指定的范围[𝜇1,𝜇2]中，以提高DRL模型的收敛速度和性能。当模型收敛后，就会确定给定当前网络状态的行动，即最优路由和转发路径。

其中，表示归一化后的𝑈𝑇𝑀元素，Min(𝑇𝑀)和Max(𝑇𝑀)分别代表𝑈𝑇𝑀中的最小元素和最大元素。

联合奖励函数（UR）：代理执行行动后获得的回报系数，用于指导代理做出更好的行动决策，以获得更高的回报。由于DRL的目标是不断获得更高的回报，因此在多代理跨域路由算法的UR设计中，最大化指标设置为正系数1，最小化指标设置为负系数-1。可调参数𝜑_l∈[0,1]，(l=1,2,...,6)作为构建𝑈𝑅的权重系数。

其中，L_bw、L_delay、L_loss、L_usedbw、L_drops、L_errors分别表示剩余带宽、时延、丢包率、已用带宽、丢弃数据包和错误数据包的信息矩阵。

进一步，本方法采用DQN（DeepQ-network，深度Q网络）算法的改进形式DuelingDQN算法构建DRL算法，可以较好地解决DQN中产生的价值函数高估问题，提高模型的性能，从而找到更好的行动策略。与DQN相比，DuelingDQN中DQN的价值函数分为两部分。第一部分称为价值函数，只与联合状态𝑢𝑠有关，用表示。第二部分称为优势函数，取决于𝑢𝑠和𝑢𝑎的值，用/>表示。完整的Q函数为：

其中，其中，𝜔代表VF 和 AF两部分共享的网络参数，𝛽和𝜆分别代表VF和AF各自所独有的网络参数。Dueling DQN还利用了DQN算法的经验重放机制。在经验重放机制中，根代理将其历史学习经验以形式存储在经验池中，然后从经验池中随机抽取数据，为离线训练提供网络模型。通过使用经验重放机制，一方面，代理可以重复使用有利的经验样本进行高效的经验采样，从而减少获取经验样本的时间开销。另一方面，使用来自不同策略的经验样本可以减少数据之间的相关性，提高算法的泛化能力。

S5：当接收到域间路由请求后，根代理基于当前各子域的网络流量矩阵所对应的联合流量矩阵，通过完成训练的DRL模型预测出最优域间路由转发路径，并通过协调通信模块转发至发送域间路由请求的本地代理；

S6：本地代理在收到根代理发送的最优域间路由转发路径后生成对应的最优域间路由转发策略。

综上，本方法应用SDN多线程测量技术获取网络各子域的链路状态信息，并在协同通信模块中采用socket技术多个控制器之间进行点对点通信，实现域间报文传输和报文同步，从而提高获取全局网络状态信息的收敛速度，确保多个控制器之间报文传输的可靠性和稳定性。同时，本方法通过深度学习（DL）的高维特征处理能力、强化学习（RL）的探索和利用决策能力以及递归神经网络（RNN）的时间序列预测能力，经过迭代训练，可以实时生成SDN网络中所有源-目的交换机之间的最优域间路由转发路径，从而获得整个网络的最优路由转发路径。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims

1.一种跨域智能SDN路由方法，其特征在于，包括：

所述协同通信模块定期收集各子域的网络流量矩阵，并存储至部署在所述根控制器中的信息池内，所述网络流量矩阵包括子域内的网络链路信息；所述协同通信模块采用套接字传输机制实现所述本地代理与所述根代理之间的点对点通信；

其中：

所述根代理通过套接字连接主动获取各网络子域的网络流量矩阵；

所述协同通信模块采用SDN多线程网络测量机制，针对每个所述本地代理分别创建三个线程，包括：

第一线程，用于处理本地代理的域间路由请求；

第二线程，用于处理根代理对所述域间路由请求的响应；

第三线程，用于获取对应子域的网络流量矩阵；

所述第三线程获取获取对应子域的网络流量矩阵的方法包括：

所述第三线程根据所述网络链路信息构建对应子域的网络流量矩阵；

所述第三线程采用管道技术对采集的网络流量矩阵数据进行缓存并分批传输；

所述根代理包括基于递归神经网络的DRL模型，所述根代理根据各子域的网络流量矩阵获取联合流量矩阵，并采用深度强化学习算法利用所述联合流量矩阵对所述DRL模型进行离线训练；在形成联合流量矩阵的过程中，采用min-max标准化方法将联合流量矩阵中的数据归一化到指定的范围；

当接收到所述域间路由请求后，所述根代理基于当前各子域的网络流量矩阵所对应的联合流量矩阵，通过完成训练的所述DRL模型预测出最优域间路由转发路径，并通过所述协同通信模块转发至发送域间路由请求的本地代理；

2.根据权利要求1所述的跨域智能SDN路由方法，其特征在于，所述网络链路信号包括剩余带宽、传输时延、丢包率、已用带宽和、丢弃数据包和错误数据包。

3.根据权利要求1所述的跨域智能SDN路由方法，其特征在于，所述深度强化学习算法为Dueling DQN算法。

4.根据权利要求1所述的跨域智能SDN路由方法，其特征在于，所述联合流量矩阵为各子域的流量矩阵的并集。