CN116233133A - 一种数字孪生辅助数据中心网络负载均衡的方法 - Google Patents

Abstract

本发明涉及一种数字孪生辅助数据中心网络负载均衡的方法，属于数字孪生领域，包括以下步骤：S1：搭建基于数字孪生的数据中心网络框架；S2：采集物理数据中心网络的数据；S3：计算链路利用率、时延、丢包率，交换机负载，流量矩阵；S4：在当前采集周期时间里，判断到达边缘交换机新流大小，若为老鼠流，则使用ECMP方式进行路由；若为大象流，则转至大象流调度模块进行调度；S5：大象流调度模块采用DDPG进行调度决策，其输出是一组链路权重，通过路径计算子模块计算最优转发路径，然后经过流量管理模块下发流表到物理数据中心网络；S6：通过南向接口协议，物理数据中心网络层收到流表，对大流选择最优路径重路由。

Description

一种数字孪生辅助数据中心网络负载均衡的方法

技术领域

本发明属于数字孪生领域，涉及一种数字孪生辅助数据中心网络负载均衡的方法。

背景技术

数据中心作为下一代互联网应用服务的基础架构，已经吸引了工业界和学术界的广泛关注，成为了热点研究领域。负载均衡是数据中心网络流量工程的研究问题之一，其目的是尽可能将流量在多条等价多路径中分布，对网络资源进行充分地利用，避免高负载流量引发网络拥塞。近年来，数字孪生技术的出现，可以为物理网络构建实时的虚拟网络，增强物理网络所缺少的仿真、优化、验证能力，这弥补了基于SDN的数据中心网络流量调度的不足。因此，人工智能算法赋能数字孪生可以全局、准确地掌握数据中心网络的状态，经过虚拟网络的仿真、优化、验证和控制，可以实现数据中心网络的负载均衡。

当前，在网络领域引入数字孪生技术，主要目的是将数字孪生用作模拟器，为人工智能算法生成训练样本或者估计强化学习的奖励。然而，在基于强化学习的数据中心网络负载均衡中引入数字孪生，面临着以下问题：首先，算法模型训练完全依赖数字孪生网络模拟的数据样本，即模型数据样本缺乏真实性；其次，网络状态在一个策略被执行前已经发生改变，即没有考虑网络的动态性；最后，未训练好的策略下发到真实网络会引起网络性能恶化，即没有验证网络策略的安全性。

发明内容

有鉴于此，本发明的目的在于提供一种数字孪生辅助数据中心网路负载均衡的方法。

为达到上述目的，本发明提供如下技术方案：

一种数字孪生辅助数据中心网络负载均衡的方法，包括以下步骤：

S1：搭建基于数字孪生的数据中心网络框架，包括物理数据中心网路层、孪生网络层和网络应用层；

S2：采集物理数据中心网络的数据，包括服务器、交换机、链路的配置，服务器、交换机、链路的状态，网络拓扑数据结构，流量矩阵；

S3：计算链路利用率、时延、丢包率，交换机负载，流量矩阵；

S4：在当前采集周期时间里，判断到达边缘交换机新流大小，若为老鼠流，则使用ECMP方式进行路由；若为大象流，则转至大象流调度模块进行调度；

S5：大象流调度模块采用DDPG进行调度决策，其输出是一组链路权重，通过路径计算子模块计算最优转发路径，然后经过流量管理模块下发流表到物理数据中心网络；

S6：通过南向接口协议，物理数据中心网络层收到流表，对大流选择最优路径重路由。

进一步，步骤S1所述的搭建基于数字孪生的数据中心网络框架，具体包括以下步骤：

S11：使用Mininet仿真构建物理数据中心网路层，所述物理数据中心网络层为Fat-tree网络拓扑结构；

S12：构建孪生网络层，包括数据存储模块、模型映射模块和孪生管理模块；所述数据存储模块通过控制器把采集的各类数据存储在Redis数据库中；所述模型映射模块将采集的数据映射为功能模型和基础模型，通过孪生管理模块运作；

S13：构建网络应用层，通过北向接口协议获取孪生网络层数据库中有价值的信息，实现网络可视化、网络日志。

进一步，所述物理数据中心网络层由网元、服务器、链路组成，在数据中心网络中，网元为交换机、路由器以及配备的应用程序，用于支撑网络数据包的过滤和转发。

进一步，所述数字孪生网络层用于建立物理数据中心网络与虚拟孪生网络系统之间的实时映射模型，通过南向接口协议采集物理网络实体的各种配置和运行数据，并存储在数据库中，用于基础模型和功能模型的建立、仿真和优化；

数据存储模块从物理数据中心网络中收集数据，并将数据分为四种不同类型进行存储：服务器、交换机、链路的配置，服务器、交换机、链路的状态、网络拓扑数据结构、流量矩阵；

模型映射模块根据采集的数据提取、定义和描述物理网络各个实体的关键特征，构建数据中心网络的网元模型和拓扑模型，并为功能模型的输入提供训练数据和测试数据；

网元模型是对服务器、交换机、链路的实时精确映射，拓扑模型是根据网络拓扑数据结构，将网元模型进行连接、组合得到；

功能模型是根据数据库的网络数据，建立网络仿真、分析、优化数据模型；

孪生管理模块负责管理和更新网络孪生层中的各个映射模型，具有模型更新、状态同步、模型交互、应用关联功能。

进一步，网络应用层基于物理数据中心网络和数字孪生网络，支持以下网络应用：QoS配置、网络日志、网络可视化、策略验证；

网络应用层通过北向接口协议向孪生网络层输入QoS要求和网络策略，并通过模型实例在孪生网络层中模拟指定的网络策略；如果设计的策略能够满足QoS要求，则通过南向接口协议将策略部署到真实的网络环境中。

进一步，对于物理数据中心网络DCN<V,E>，用e_i,j表示从v_i到v_j的链路，其最大负载为B_i,j，实际负载为b_i,j；在t时刻，设网络中存在k条流，流的集合表示为F＝{f₁,f₂,…,f_k}，其中一条流f_s在链路e_i,j上的占用带宽为

定义f_s的四元组为(o^s,d^s,r^s,t^s)，s∈{1,2,…,k}，其中o^s∈V表示源节点；d^s∈V表示目的节点；r^s表示流f_s的需求带宽；t^s表示大小流，其值等于1表示f_s为大流，值等于0表示f_s为小流；

初始时，由KSP算法计算所有边缘节点对之间的路径集

其中第l条路径有

个链路，

是由源节点v_o到目的节点v_d的有向序列<v_o→v_i→v_j→…→v_d连接而成；路径负载相对均衡度CV_l：

s.t.

式中，

表示第l条路径的链路平均负载，σ表示第l条路径的链路负载的标准差；式(4)是链路负载约束，其保证链路上分布的流量不超过该链路的最大负载；式(5)是流量守恒约束，确保从源目的节点流出的数据量等于流入目的节点的数据量，其中Γ(v_i)＝{v_j:e_i,j∈E}，Γ′(v_i)＝{v_j:e_j,i∈E}；

进一步，步骤S3中，控制器发送定向报文给指定的交换机来获取链路时延信息，计算链路e_i,j的时延，具体步骤如下：

S31：控制器发送一个携带有当前时间戳的Packet_out报文给交换机v_i，该报文指示交换机v_i将其发送给邻接交换机v_j；

S32：交换机v_j收到交换机v_i发过来的报文，无法匹配流表项，则将其以Packet_in报文转发给控制器，控制器收到报文后，解包得到时间戳，再用当前时间戳减去该时间戳，得到时间差ΔT₁，控制器从发送报文到接收报文的时间为：

S33：控制器发送携带有时间戳的Packet_out报文给交换机v_j，然后控制器从交换机v_i收到Packet_in报文，记录下时间差ΔT₂：

S34：控制器分别向交换机v_i和交换机v_j发送携带有时间戳的Echo request报文，交换机收到报文之后回复Echo reply报文，控制器收到Echo reply报文后，通过时间戳计算其分别到交换机v_i和交换机v_j的往返时间，从而得到

和

交换机v_i到交换机v_j的往返时间为：

S35：假设交换机v_i与交换机v_j的往返时间相同，同时忽略交换机的处理时间，链路e_i,j的时延为：

计算链路时延时，若链路拥塞严重，步骤S32中存在的控制器收不到报文的情况，将当前计算的链路时延设为一个高值，此时链路e_i,j的时延为：

综上所示，第l条路径的时延表示为：

综合考虑路径负载相对均衡度和路径的时延，建立的目标函数如下所示：

其中，α∈(0,1)。

进一步，数字孪生网络的数学模型为：

在物理数据中心网络中，设有n个网元设备，定义V＝{v₁,v₂,…,v_n}为网元设备集合，设有m条链路，定义E＝{e₁,e₂,…,e_m}为链路集合，则网元模型和链路模型的数字孪生分别表示为：

DT_v(t)＝Θ(C_v,S_v(t),M_v(t)) (32)

DT_e(t)＝Θ(C_e,S_e(t)) (33)

其中，C表示静态配置数据，对于网元设备v来说，可以是最大传输速率、背板带宽、MAC地址容量；对于链路e来说，可以是最大容量；S(t)表示随时间变化的运行状态，由多维特征决定，对于网元设备v而言，其x维状态特征定义为

M_v(t)表示网元设备v的运行行为，由y维特征行为表征，定义为

拓扑模型是根据网络拓扑数据结构，将网元模型和链路模型进行连接、组合得到，拓扑模型的数字孪生表示为：

DT(t)＝Θ(DT_V(t),DT_E(t)) (34)

其中，DT_V(t)表示物理数据中心网络中所有网元模型的集合，即

DT_E(t)表示物理数据中心网络中所有的链路模型的集合，即

物理数据中心网络和数字孪生网络的关系形式化定义为：

其中，DCN<V,E>表示物理数据中心网络，V表示所有网络节点集合，E表示网络中所有链路的的集合；SIP表示南向接口协议，通过其实现物理数据中心网络和数字孪生网络的通信。

进一步，基于DDPG算法实现数字孪生辅助数据中心网络负载均衡，DDPG算法的四个网络分别为：

Actor当前网络：负责策略网络参数θ的迭代更新，负责根据当前状态S选择当前动作A，用于和环境交互生成S′,R；

Actor目标网络：负责根据经验回放池中采样的下一状态S′选择最优下一动作A′，网络参数θ′定期从θ复制；

Critic当前网络：复制价值网络参数ω的迭代更新，负责计算当前Q值Q(S,A,ω)，目标Q值y_i＝R+γQ′(S′,A′,ω′)；

Critic目标网络：负责计算目标Q值中Q′(S′,A′,ω′)部分，网络参数ω′定期从ω复制；

步骤S4中所述大象流调度模块调度方法如下：

状态：为n×n的流量矩阵TM，其中b_1,n是交换机v₁与交换机v_n相连的链路实际负载，其表达如下所示：

动作：动作空间是一组链路权重，链路权重表达如下所示：

W＝[w₁,w₂,…,w_m]^T (37)

得到一组链路权重后，经过路径计算模块，得到新流的路由路径，再经流表管理模块得到流表项，将流表下发给孪生网络，经验证后下发送给物理网络，最终实现大流的路径选择和转发；

奖励：基于当前的状态和动作，代理从环境中获得奖励；在数据中心网络中，奖励函数如下：

R(s(t),a(t))＝-(min α·CV_l+(1-α)·T_l) (38)。

本发明的有益效果在于：数字孪生网络技术可以增强SDN功能，实现数据中心网络的自治，本发明完成了数据中心网络的负载均衡，帮助数据中心以更加智能和高效的流量调度方式实现网络自治。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为基于数字孪生的数据中网络框架图；

图2为数字孪生辅助数据中心网络负载均衡的流程框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供一种数字孪生辅助数据中心网路负载均衡的方法，主要分为两个部分：一个部分是设计了基于数字孪生的数据中心网络框架，另一部分是在该网络框架下实现数据中心网络负载均衡。基于数字孪生的数据中网络框架如图1所示，分为三层：网络应用层、孪生网络层和物理数据中网络层。数字孪生辅助数据中心网络负载均衡的流程框图如图2所示。

一种数字孪生辅助数据中心网路负载均衡的方法主要包括以下步骤：

步骤1：构建物理数据中心网路层。物理数据中心网络层采用Fat-tree网络拓扑结构，使用Mininet进行仿真构建，让其充当真实的物理网络环境。

步骤2：构建孪生网络层。孪生网络层分为三个模块，分别是数据存储、模型映射和孪生管理。数据存储模块通过控制器把采集的各类数据存储在Redis数据库中，这为模型映射模块和孪生管理模块提供数据支撑。模型映射模块分为功能模型和基础模型两个子模块，通过孪生管理模块可以使模型运作起来。

步骤3：构建网络应用层。本发明实例在网络应用层中实现了网络可视化、网络日志等功能。通过北向接口协议获取孪生网络层数据库中有价值的信息，可以为网络管理员提供便捷的应用服务。

步骤4：通过步骤1、步骤2和步骤3，搭建基于数字孪生的数据中心网络框架，框架示意图如图1所示。

步骤5：初始时，控制器采集物理数据中心网络的数据，包括服务器、交换机、链路的配置，服务器、交换机、链路的状态、网络拓扑数据结构、流量矩阵。

步骤6：计算链路利用率、时延、丢包率，交换机负载，流量矩阵。

步骤7：在当前采集周期时间里，判断到达边缘交换机新流大小，若为老鼠流，则使用ECMP方式进行路由；若为大象流，则转至大象流调度模块进行调度。

步骤8：大象流调度模块采用DDPG进行调度决策，其输出是一组链路权重，通过路径计算子模块计算最优转发路径，然后经过流量管理模块下发流表到物理数据中心网络。

步骤9：通过南向接口协议，物理数据中心网络层收到流表，对大流选择最优路径重路由。

具体地，本方法还包括以下内容：

设计基于数字孪生的数据中心网络框架

该框架分为三层，分别是物理数据中心网络层、孪生网络层和网络应用层。物理数据中心网络层为孪生网络层提供网络设备基本配置、环境信息、运行转态、链路拓扑等信息；孪生网络层负责物理网络实体的基础模型、功能模型的构建和运行；网络应用层可以是集成服务和应用的平台，旨在实现网络智能化管理。基于数字孪生的数据中心三层网络架构的详细组件如下：

物理数据中心网络层：物理数据中心网络层由网元、服务器、链路组成。在数据中心网络中，网元可以是交换机、路由器以及配备的应用程序，这些网元设备支撑着网络数据包的过滤和转发。而网元设备和应用程序每天会产生大量的数据，这些数据可能是交换机的背板吞吐量、包缓冲区大小、MAC地址表、接口包转发速率等。那么从这些数据中提取有价值的信息，可以获得实时的物理网络状况，如网元设备的健康状态、流量矩阵、可用带宽变化等，以此检测网络的异常情况。

数字孪生网络层：数字孪生网络层负责建立物理数据中心网络与虚拟孪生网络系统之间的实时映射模型，包括三个关键子模块：数据存储、模型映射、孪生管理。数据存储模块通过南向接口协议(如NETCONF、OpenFlow、XMPP、I2RS等协议)采集物理网络实体的各种配置和运行数据，并存储在数据库中，用于基础模型和功能模型的建立、仿真和优化。具体而言，数据存储模块从物理数据中心网络中收集数据，并将数据分为四种不同类型进行存储：服务器、交换机、链路的配置，服务器、交换机、链路的状态、网络拓扑数据结构、流量矩阵。根据采集的数据，模型映射模块需要提取、定义和描述物理网络各个实体的关键特征。一方面是为了构建数据中心网络的网元模型和拓扑模型，也即基础模型，另一方面能够为功能模型的输入提供训练数据和测试数据。其中，网元模型是对服务器、交换机、链路的实时精确映射，拓扑模型是根据网络拓扑数据结构，将网元模型进行连接、组合得到。功能模型是根据数据库的网络数据，建立网络仿真、分析、优化等数据模型，数字孪生网络的一个主要特点是实现物理网络的实时镜像，那么模型映射模块还需要运作起来。为此，孪生管理模块负责管理和更新网络孪生层中的各个映射模型，具有模型更新、状态同步、模型交互、应用关联等功能，如通过状态同步功能在拓扑模型中进行流量重放，实现孪生网络对物理网络的同步映射，以便功能模型做出相应的网络优化策略。

网络应用层：基于物理数据中心网络和数字孪生网络，网络应用层可以支持各种网络应用，如QoS配置、网络日志、网络可视化、策略验证等应用。网络应用层通过北向接口协议(如RESTCONF、NETCONF、SNMP等协议)可以向孪生网络层输入QoS(时延、吞吐量等)要求和网络策略，并通过模型实例在孪生网络层中模拟指定的网络策略。在这个过程中，数字孪生网络可以模拟物理网络的行为，并预测所设计的策略效果，而无须在真实的数据中心网络上部署网络策略。如果设计的策略能够满足QoS要求，则可通过南向接口协议将策略部署到真实的网络环境中。

定义负载均衡的数学模型

对于物理数据中心网络DCN〈V,E〉，用e_i,j表示从v_i到v_j的链路，其最大负载为B_i,j，实际负载为b_i,j。在t时刻，设网络中存在k条流，流的集合表示为F＝{f₁,f₂,…,f_k}，其中一条流f_s在链路e_i,j上的占用带宽为

定义f_s的四元组为

s∈{1,2,…,k}，其中：o^s∈V表示源节点；d^s∈V表示目的节点；r^s表示流f_s的需求带宽；t^s表示大小流，其值等于1表示f_s为大流，值等于0表示f_s为小流。

初始时，由KSP算法计算所有边缘节点对之间的路径集

其中第l条路径有

个链路，

是由源节点v_o到目的节点v_d的有向序列<v_o→v_i→v_j→…→v_d连接而成。为了将达到边缘节点的新流调度到合适的路径上进行转发，网络流量需要均匀地被分配到全网链路中，以实现数据中心网络的负载均衡。因此，本发明基于统计学中的变异系数概念，提出路径负载相对均衡度CV_l：

s.t.

式中，

表示第l条路径的链路平均负载，σ表示第l条路径的链路负载的标准差。式(4)是链路负载约束，其保证链路上分布的流量不超过该链路的最大负载。式(5)是流量守恒约束，确保从源目的节点流出的数据量等于流入目的节点的数据量，其中Γ(v_i)＝{v_j:e_i,j∈E}，Γ′(v_i)＝{v_j:e_j,i∈E}。

路径负载相对均衡度CV_l可以衡量与流f_s同源目的节点的不同路径的负载均衡程度，其值越小，说明该路径包含的链路负载离散程度越小，则该路径负载就越相对均匀。在数据统计分析中，当路径负载相对均衡度大于15％时，则该路径的负载可能不正常，若将新到来的流分配至该路径，可能会导致网络资源分配不均匀，造成网络资源浪费。尽管路径负载相对均衡度一定程度上可以衡量流量在每条链路上是否分布均匀，但是不能分析出新流分配到当前路径上的传输时延情况。若全网链路流量分布相对均匀，但链路时延较大，则会影响流完成时间，对于时延敏感的流来说是不能容忍的。因此，将新流分配至当前路径，还需要考虑该路径的链路时延。

链路时延无法通过交换机端口状态信息获取，需要控制器发送定向报文给指定的交换机来获取链路时延信息，计算链路e_i,j的时延，具体步骤如下：

(1)控制器发送一个携带有当前时间戳的Packet_out报文给交换机v_i，该报文指示交换机v_i将其发送给邻接交换机v_j。

(2)交换机v_j收到交换机v_i发过来的报文，无法匹配流表项，则将其以Packet_in报文转发给控制器，控制器收到报文后，解包得到时间戳，再用当前时间戳减去该时间戳，即可得到时间差ΔT₁。那么控制器从发送报文到接收报文的时间为：

(3)同理，控制器发送同样携带有时间戳的Packet_out报文给交换机v_j，然后控制器从交换机v_i收到Packet_in报文，记录下时间差ΔT₂：

(4)控制器分别向交换机v_i和交换机v_j发送携带有时间戳的Echo request报文，交换机收到报文之后回复Echo reply报文，控制器收到Echo reply报文后，通过时间戳计算其分别到交换机v_i和交换机v_j的往返时间，从而得到

和

因此，交换机v_i到交换机v_j的往返时间为：

(5)假设交换机v_i与交换机v_j的往返时间相同，同时忽略交换机的处理时间，因为计算每个链路时延都会产生交换机开销，则链路e_i,j的时延为：

计算链路时延时，若链路拥塞严重，步骤(2)中存在的控制器收不到报文的情况，那么本文将当前计算的链路时延设为一个高值，此时链路e_i,j的时延为：

综上所示，第l条路径的时延可以表示为：

因此，综合考虑路径负载相对均衡度和路径的时延，建立的目标函数如下所示：

minα·CV_l+(1-α)·T_l(50)

其中，α∈(0,1)，本发明实施例中取α的值为0.5。

定义数字孪生网络的数学模型

在物理数据中心网络中，设有n个网元设备，定义V＝{v₁,v₂,…,v_n}为网元设备集合，设有m条链路，定义E＝{e₁,e₂,…,e_m}为链路集合，则网元模型和链路模型的数字孪生可以分别表示为：

DT_v(t)＝Θ(C_v,S_v(t),M_v(t)) (51)

DT_e(t)＝Θ(C_e,S_e(t)) (52)

其中，C表示静态配置数据，对于网元设备v来说，可以是最大传输速率、背板带宽、MAC地址容量等；对于链路e来说，可以是最大容量。S(t)表示随时间变化的运行状态，而运行状态由多维特征决定，对于网元设备v而言，其x维状态特征定义为

如网元设备的CPU使用率、包缓冲区大小、端口状态信息等；同理，链路也具备多维状态特征，但是本文只考虑链路的当前负载特征。M_v(t)表示网元设备v的运行行为，由y维特征行为表征，定义为

拓扑模型是根据网络拓扑数据结构，将网元模型和链路模型进行连接、组合得到，那么拓扑模型的数字孪生可以表示为：

DT(t)＝Θ(DT_V(t),DT_E(t)) (53)

其中，DT_V(t)表示物理数据中心网络中所有网元模型的集合，即

DT_E(t)表示物理数据中心网络中所有的链路模型的集合，即

网元模型集合和链路模型集合组合即可得到拓扑模型的数字孪生。通过孪生网络层的数据存储模块采集各类数据，以数字化的形式构建网元模型和链路模型，进而构建拓扑模型，实现对物理数据中心网络全面、精确的映射，再辅以功能模型的自适应、自学习能力，最终实现数字孪生网络对物理数据中心网络的实时控制和优化。基于以上分析，物理数据中心网络和数字孪生网络的关系可以形式化定义为：

其中，DCN<V,E>表示物理数据中心网络，V表示所有网络节点集合，E表示网络中所有链路的的集合；SIP表示南向接口协议，通过其实现物理数据中心网络和数字孪生网络的通信。

大象流调度模块算法设计

本发明实施例基于DDPG算法实现数字孪生辅助数据中心网络负载均衡，DDPG算法的四个网络分别如下所述：

Actor当前网络：负责策略网络参数θ的迭代更新，负责根据当前状态S选择当前动作A，用于和环境交互生成S′,R。

Actor目标网络：负责根据经验回放池中采样的下一状态S′选择最优下一动作A′。网络参数θ′定期从θ复制。

Critic当前网络：复制价值网络参数ω的迭代更新，负责计算当前Q值Q(S,A,ω)，目标Q值y_i＝R+γQ′(S′,A′,ω′)。

Critic目标网络：负责计算目标Q值中Q′(S′,A′,ω′)部分。网络参数ω′定期从ω复制。

首先是对到达边缘交换机的新流进行数据采集，孪生网络层判断新流是小流还是大流，若是小流采用轮询机制路由，否则为大流采用大流调度模块决策路由。对于大流调度模块的设计如下描述：

状态(State)：DDPG学习的状态是反映数据中心网络环境的空间，本发明实施例的状态是n×n的流量矩阵TM，其中b_1,n是交换机v₁与交换机v_n相连的链路实际负载，其表达如下所示：

动作(Action)：在DDPG中，代理将状态空间映射到动作空间，以学习最优策略。在本发明实施例系统中，动作空间是一组链路权重，链路权重表达如下所示：

W＝[w₁,w₂,…,w_m]^T (56)

得到一组链路权重后，经过路径计算模块，可以得到新流的路由路径，再经流表管理模块就可以得到流表项，将流表下发给孪生网络，经验证后下发送给物理网络，最终实现大流的路径选择和转发。

奖励(Reward)：基于当前的状态和动作，代理从环境中获得奖励。在数据中心网络中，由于奖励和网络优化的目标函数有关，则奖励函数如下：

R(s(t),a(t))＝-(min α·CV_l+(1-α)·T_l) (57)

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种数字孪生辅助数据中心网络负载均衡的方法，其特征在于：包括以下步骤：

S1：搭建基于数字孪生的数据中心网络框架，包括物理数据中心网路层、孪生网络层和网络应用层；

S2：采集物理数据中心网络的数据，包括服务器、交换机、链路的配置，服务器、交换机、链路的状态，网络拓扑数据结构，流量矩阵；

S3：计算链路利用率、时延、丢包率，交换机负载，流量矩阵；

S4：在当前采集周期时间里，判断到达边缘交换机新流大小，若为老鼠流，则使用ECMP方式进行路由；若为大象流，则转至大象流调度模块进行调度；

S5：大象流调度模块采用DDPG进行调度决策，其输出是一组链路权重，通过路径计算子模块计算最优转发路径，然后经过流量管理模块下发流表到物理数据中心网络；

S6：通过南向接口协议，物理数据中心网络层收到流表，对大流选择最优路径重路由。

2.根据权利要求1所述的数字孪生辅助数据中心网络负载均衡的方法，其特征在于：步骤S1所述的搭建基于数字孪生的数据中心网络框架，具体包括以下步骤：

S11：使用Mininet仿真构建物理数据中心网路层，所述物理数据中心网络层为Fat-tree网络拓扑结构；

S12：构建孪生网络层，包括数据存储模块、模型映射模块和孪生管理模块；所述数据存储模块通过控制器把采集的各类数据存储在Redis数据库中；所述模型映射模块将采集的数据映射为功能模型和基础模型，通过孪生管理模块运作；

S13：构建网络应用层，通过北向接口协议获取孪生网络层数据库中有价值的信息，实现网络可视化、网络日志。

3.根据权利要求2所述的数字孪生辅助数据中心网络负载均衡的方法，其特征在于：所述物理数据中心网络层由网元、服务器、链路组成，在数据中心网络中，网元为交换机、路由器以及配备的应用程序，用于支撑网络数据包的过滤和转发。

4.根据权利要求2所述的数字孪生辅助数据中心网络负载均衡的方法，其特征在于：所述数字孪生网络层用于建立物理数据中心网络与虚拟孪生网络系统之间的实时映射模型，通过南向接口协议采集物理网络实体的各种配置和运行数据，并存储在数据库中，用于基础模型和功能模型的建立、仿真和优化；

数据存储模块从物理数据中心网络中收集数据，并将数据分为四种不同类型进行存储：服务器、交换机、链路的配置，服务器、交换机、链路的状态、网络拓扑数据结构、流量矩阵；

模型映射模块根据采集的数据提取、定义和描述物理网络各个实体的关键特征，构建数据中心网络的网元模型和拓扑模型，并为功能模型的输入提供训练数据和测试数据；

网元模型是对服务器、交换机、链路的实时精确映射，拓扑模型是根据网络拓扑数据结构，将网元模型进行连接、组合得到；

功能模型是根据数据库的网络数据，建立网络仿真、分析、优化数据模型；

孪生管理模块负责管理和更新网络孪生层中的各个映射模型，具有模型更新、状态同步、模型交互、应用关联功能。

5.根据权利要求2所述的数字孪生辅助数据中心网络负载均衡的方法，其特征在于：网络应用层基于物理数据中心网络和数字孪生网络，支持以下网络应用：QoS配置、网络日志、网络可视化、策略验证；

网络应用层通过北向接口协议向孪生网络层输入QoS要求和网络策略，并通过模型实例在孪生网络层中模拟指定的网络策略；如果设计的策略能够满足QoS要求，则通过南向接口协议将策略部署到真实的网络环境中。

6.根据权利要求1所述的数字孪生辅助数据中心网络负载均衡的方法，其特征在于：对于物理数据中心网络DCN<V,E>，用e_i,j表示从v_i到v_j的链路，其最大负载为B_i,j，实际负载为b_i,j；在t时刻，设网络中存在k条流，流的集合表示为F＝{f₁,f₂,…,f_k}，其中一条流f_s在链路e_i,j上的占用带宽为

定义f_s的四元组为(o^s,d^s,r^s,t^s)，s∈{1,2,…,k}，其中o^s∈V表示源节点；d^s∈V表示目的节点；r^s表示流f_s的需求带宽；t^s表示大小流，其值等于1表示f_s为大流，值等于0表示f_s为小流；

初始时，由KSP算法计算所有边缘节点对之间的路径集

其中第l条路径有

个链路，

是由源节点v_o到目的节点v_d的有向序列<v_o→v_i→v_j→…→v_d>连接而成；路径负载相对均衡度CV_l：

式中，

表示第l条路径的链路平均负载，σ表示第l条路径的链路负载的标准差；式(4)是链路负载约束，其保证链路上分布的流量不超过该链路的最大负载；式(5)是流量守恒约束，确保从源目的节点流出的数据量等于流入目的节点的数据量，其中Γ(v_i)＝{v_j:e_i,j∈E}，Γ′(v_i)＝{v_j:e_j,i∈E}。

7.根据权利要求1所述的数字孪生辅助数据中心网络负载均衡的方法，其特征在于：步骤S3中，控制器发送定向报文给指定的交换机来获取链路时延信息，计算链路e_i,j的时延，具体步骤如下：

S31：控制器发送一个携带有当前时间戳的Packet_out报文给交换机v_i，该报文指示交换机v_i将其发送给邻接交换机v_j；

S32：交换机v_j收到交换机v_i发过来的报文，无法匹配流表项，则将其以Packet_in报文转发给控制器，控制器收到报文后，解包得到时间戳，再用当前时间戳减去该时间戳，得到时间差ΔT₁，控制器从发送报文到接收报文的时间为：

S33：控制器发送携带有时间戳的Packet_out报文给交换机v_j，然后控制器从交换机v_i收到Packet_in报文，记录下时间差ΔT₂：

S34：控制器分别向交换机v_i和交换机v_j发送携带有时间戳的Echo request报文，交换机收到报文之后回复Echo reply报文，控制器收到Echo reply报文后，通过时间戳计算其分别到交换机v_i和交换机v_j的往返时间，从而得到

和

交换机v_i到交换机v_j的往返时间为：

S35：假设交换机v_i与交换机v_j的往返时间相同，同时忽略交换机的处理时间，链路e_i,j的时延为：

计算链路时延时，若链路拥塞严重，步骤S32中存在的控制器收不到报文的情况，将当前计算的链路时延设为一个高值，此时链路e_i,j的时延为：

综上所示，第l条路径的时延表示为：

综合考虑路径负载相对均衡度和路径的时延，建立的目标函数如下所示：

minα·CV_l+(1-α)·T_l(12)

其中，α∈(0,1)。

8.根据权利要求1所述的数字孪生辅助数据中心网络负载均衡的方法，其特征在于：数字孪生网络的数学模型为：

在物理数据中心网络中，设有n个网元设备，定义V＝{v₁,v₂,…,v_n}为网元设备集合，设有m条链路，定义E＝{e₁,e₂,…,e_m}为链路集合，则网元模型和链路模型的数字孪生分别表示为：

DT_v(t)＝Θ(C_v,S_v(t),M_v(t)) (13)

DT_e(t)＝Θ(C_e,S_e(t)) (14)

其中，C表示静态配置数据，对于网元设备v来说，可以是最大传输速率、背板带宽、MAC地址容量；对于链路e来说，可以是最大容量；S(t)表示随时间变化的运行状态，由多维特征决定，对于网元设备v而言，其x维状态特征定义为

M_v(t)表示网元设备v的运行行为，由y维特征行为表征，定义为

拓扑模型是根据网络拓扑数据结构，将网元模型和链路模型进行连接、组合得到，拓扑模型的数字孪生表示为：

DT(t)＝Θ(DT_V(t),DT_E(t)) (15)

其中，DT_V(t)表示物理数据中心网络中所有网元模型的集合，即

DT_E(t)表示物理数据中心网络中所有的链路模型的集合，即

物理数据中心网络和数字孪生网络的关系形式化定义为：

其中，DCN<V,E>表示物理数据中心网络，V表示所有网络节点集合，E表示网络中所有链路的的集合；SIP表示南向接口协议，通过其实现物理数据中心网络和数字孪生网络的通信。

9.根据权利要求1所述的数字孪生辅助数据中心网络负载均衡的方法，其特征在于：基于DDPG算法实现数字孪生辅助数据中心网络负载均衡，DDPG算法的四个网络分别为：

Actor当前网络：负责策略网络参数θ的迭代更新，负责根据当前状态S选择当前动作A，用于和环境交互生成S′,R；

Actor目标网络：负责根据经验回放池中采样的下一状态S′选择最优下一动作A′，网络参数θ′定期从θ复制；

Critic当前网络：复制价值网络参数ω的迭代更新，负责计算当前Q值Q(S,A,ω)，目标Q值y_i＝R+γQ′(S′,A′,ω′)；

Critic目标网络：负责计算目标Q值中Q′(S′,A′,ω′)部分，网络参数ω′定期从ω复制；

步骤S4中所述大象流调度模块调度方法如下：

状态：为n×n的流量矩阵TM，其中b_1,n是交换机v₁与交换机v_n相连的链路实际负载，其表达如下所示：

动作：动作空间是一组链路权重，链路权重表达如下所示：

得到一组链路权重后，经过路径计算模块，得到新流的路由路径，再经流表管理模块得到流表项，将流表下发给孪生网络，经验证后下发送给物理网络，最终实现大流的路径选择和转发；

奖励：基于当前的状态和动作，代理从环境中获得奖励；在数据中心网络中，奖励函数如下：

R(s(t),a(t))＝-(min α·CV_l+(1-α)·T_l) (19)。

Images