CN116055324B - 一种用于数据中心网络自优化的数字孪生方法 - Google Patents
一种用于数据中心网络自优化的数字孪生方法 Download PDFInfo
- Publication number
- CN116055324B CN116055324B CN202211722211.7A CN202211722211A CN116055324B CN 116055324 B CN116055324 B CN 116055324B CN 202211722211 A CN202211722211 A CN 202211722211A CN 116055324 B CN116055324 B CN 116055324B
- Authority
- CN
- China
- Prior art keywords
- network
- data center
- model
- module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000002787 reinforcement Effects 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000007726 management method Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000013500 data storage Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种用于数据中心网络自优化的数字孪生方法，属于数字孪生领域，包括以下步骤：S1：构建孪生网络系统，包括物理数据中心网络层和数字孪生网络层，所述物理数据中心网络层由网元、服务器、链路组成；所述数字孪生网络层包括控制器、数据存储模块、强化学习模块、孪生网络模块、路径计算模块和流表管理模块；S2：数字孪生网络层采集物理数据中心网络层的数据，建立基础模型和功能模型，所述基础模型是由网元模型和链路模型连接组合构建拓扑模型，所述功能模型用于对基础模型作出网络优化策略；S3：对数字孪生网络层的强化学习算法进行训练；S4：部署训练好的数字孪生网络层，实现数据中心网络的自我优化。
Description
技术领域
本发明属于数字孪生领域，涉及一种用于数据中心网络自优化的数字孪生方法。
背景技术
在互联网、大数据、云计算等信息技术的带动下，数据中心逐渐在世界各地普及和建立，已经成为社会各行各业的必要基础设施。其中，网络优化技术成为了数据中心网络发展关键技术之一，支撑着数据中心网络的高效运行，也是当前的研究热点。在传统的网络优化方法中，大都依赖人的经验对网络做出决策，这会产生很高的劳动力成本。近年来，随着人工智能技术在各行各业的大量应用，在网络优化领域也出现了大量的基于强化学习的人工智能算法，这些算法不需要精确的底层网络数学模型，就可以通过训练快速地计算出接近最优解的网络优化方案，从而为数据中心网络优化决策提出了新思路。
然而，基于强化学习的算法获取训练样本的难度和时间成本是一个巨大的挑战。为了解决这一点，这类算法的代理在策略探索过程中，直接将动作(即网络策略)下发至真实的数据中心网络中，这意味着代理将当前未训练好的策略直接施加到网络中，以获取下一时刻的奖励。由于强化学习的探索问题，代理与真实网络环境直接交互，将会导致数据中心网络的性能降低，甚至会因为数据中心网络流量的复杂性，算法收敛时间更长。因此，在数据中心网络中，基于强化学习的网络优化需要进一步的改进。
发明内容
有鉴于此，本发明的目的在于提供一种用于数据中心网络自优化的数字孪生方法。
为达到上述目的，本发明提供如下技术方案：
一种用于数据中心网络自优化的数字孪生方法，包括以下步骤：
S1：构建孪生网络系统，包括物理数据中心网络层和数字孪生网络层，所述物理数据中心网络层由网元、服务器、链路组成；所述数字孪生网络层包括控制器、数据存储模块、强化学习模块、孪生网络模块、路径计算模块和流表管理模块；
S2：数字孪生网络层采集物理数据中心网络层的数据，建立基础模型和功能模型，所述基础模型是由网元模型和链路模型连接组合构建拓扑模型，所述功能模型用于对基础模型作出网络优化策略；
S3：对数字孪生网络层的强化学习算法进行训练；
S4：部署训练好的数字孪生网络层，实现数据中心网络的自我优化。
进一步，所述对数字孪生网络层的强化学习算法进行训练，包括：
A1：通过控制器采集物理数据中心网络的各类数据，经过预处理后持久化到数据库中，或者将实时数据输入强化学习模块和孪生网络模块；
A2：孪生网络模块根据数据库的数据和实时数据构建基础模型，强化学习模块根据数据库的数据和实时数据构建功能模型；
A3：孪生网络模块通过基础模型模拟物理数据中心网络的网络状态，强化学习模块与孪生网络模块进行交互，对基础模型给出策略动作；
A4：路径计算模块从步骤A3中的策略动作中通过最短加权路径算法计算最优路径；
A5：流表管理模块通过步骤A4计算的路径设置流表项，并将流表下发给孪生网络；
A6：孪生网络通过流表项模拟网络变化，并将变化后的网络状态反馈给强化学习模块，代理从中学习到经验，并优化下次策略动作；
A7：对步骤A2到步骤A4进行多次迭代优化，直至强化学习算法模型收敛。
进一步，步骤S4所述部署训练好的数字孪生网络层，实现数据中心网络的自我优化，具体包括：
B1：控制器通过周期性地调用端口状态请求方法和流状态请求方法向交换机发送相关状态请求报文，进而获取所有交换机端口状态信息以及边缘交换机请求流的统计信息；
B2：对请求流大小进行判断，小流采用ECMP算法进行路径选择，大流使用强化学习模块进行决策，决策动作是网络链路的权重设置；
B3：利用最短加权路径算法计算路径，并将路径转化为流表的形式，并将流表转发给孪生网络模块；
B4：孪生网络模块通过流表模拟网络状态的变化，并分析计算网络产生变化后的影响，即验证策略对网络的影响，最终决定把策略下发至物理数据中心网络；
B5：在下一周期到来时，控制器采集物理数据中心网络的状态，反馈给孪生网络层，用于以后的模型更新和校正。
进一步，控制器通过OpenFlow协议收集物理数据中心网络的数据，并将清晰过滤后的数据存储在Reids数据库中，具体包括：
控制器携带LLDP数据包的packet-out报文发送到交换机的指定端口，收到LLDP数据包的交换机将数据包发送给邻接交换机；
邻接交换机收到LLDP数据包后，通过packet-in报文将数据包发送给控制器；
控制器收到数据包后结合packet-in信息和LLDP数据包的包头信息，最终获取网络拓扑信息，并将网络拓扑数据存储到数据存储模块中；
控制器通过周期性地调用端口状态请求方法和流状态请求方法向交换机发送相关状态请求消息，进而实时获取交换机端口状态信息以及流的统计的信息。
进一步，构建孪生网络系统的具体步骤如下：
在物理数据中心网络中，设有n个网元设备，定义V＝{v1,v2,…,vn}为网元设备集合，设有m条链路，定义E＝{e1,e2,…,em}为链路集合，则网元模型和链路模型的数字孪生分别表示为：
DTv(t)＝Θ(Cv,Sv(t),Mv(t)) (9)
DTe(t)＝Θ(Ce,Se(t)) (10)
其中，C表示静态配置数据，对于网元设备v来说，可以是最大传输速率、背板带宽、MAC地址容量；对于链路e来说，可以是最大容量；S(t)表示随时间变化的运行状态，由多维特征决定，对于网元设备v而言，其x维状态特征定义为Mv(t)表示网元设备v的运行行为，由y维特征行为表征，定义为/>
拓扑模型的数字孪生表示为：
DT(t)＝Θ(DTV(t),DTE(t)) (11)
其中，DTV(t)表示物理数据中心网络中所有网元模型的集合，即
DTE(t)表示物理数据中心网络中所有的链路模型的集合，即/>
物理数据中心网络和数字孪生网络的关系形式化定义为：
其中，DCN<V,E>表示物理数据中心网络，V表示所有网络节点集合，E表示网络中所有链路的的集合；SIP表示南向接口协议，通过其实现物理数据中心网络和数字孪生网络的通信。
进一步，所述强化学习模块基于Q学习算法实现数据中心网络自优化，其核心公式如下：
其中，Q(S,A)是当前状态S下选择动作A的Q值；α是学习率，γ是折扣因子，表示未来对现在的影响多少；
首先对到达边缘交换机的新流进行数据采集，数字孪生网络层判断新流是小流还是大流，若是小流则采用轮询机制路由，若是大流则采用数据驱动模型决策路由，对于数据驱动模型的设计如下描述：
状态：状态空间为n×n的流量矩阵TM，其中b1,n是交换机v1与交换机vn相连的链路实际负载，其表达如下所示：
动作：动作空间是一组链路权重，链路权重表达如下所示：
W＝[w1,w2,…,wm]T (15)
得到一组链路权重后，经过路径计算模块，得到新流的路由路径，再经流表管理模块得到流表项，将流表下发给孪生网络，经验证后下发送给物理网络，最终实现大流的路径选择和转发；
奖励：基于当前的状态和动作，代理从环境中获得奖励，奖励函数为把最大链路利用率取负，最小化最大链路利用率，奖励函数如下：
本发明的有益效果在于：本发明通过数字孪生技术为物理网络构建实时镜像，增强物理网络所缺少的仿真、优化、验证和控制能力，将数字孪生技术应用在数据中心的网络优化中，结合强化学习的自学习机制，通过代理与孪生网络进行交互，孪生网络模拟网络行为，最终实现数据中心网络的自我优化。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为孪生网络系统架构图；
图2为训练阶段流程示意图；
图3为部署阶段流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，一种用于数据中心网络自优化的数字孪生方法，分为训练阶段和部署阶段。
对于训练阶段，如图2所示，其实现包括以下步骤：
步骤1：通过控制器采集物理数据中心网络的各种数据，对各类数据进行清洗、过滤，并持久化到数据库中，或者将实时数据作为输入传送给强化学习模块和孪生网络模块。
步骤2：根据数据库的数据和实时数据，构建基础模型和功能模型。基础模型包括网元模型(路由器、交换机等网络节点)和链路模型，功能模型是数据驱动模型(强化学习模块)。
步骤3：孪生网络模块通过基础模型模拟物理数据中心网络的网络状态，强化学习模块与孪生网络模块进行交互，代理在探索过程中不必将策略动作施加到真实网络中。
步骤4：路径计算模块从步骤3中的策略动作中通过最短加权路径算法计算最优路径。
步骤5：流表管理模块通过步骤4计算的路径设置流表项，并将流表下发给孪生网络。
步骤6：孪生网络通过流表项模拟网络变化，并将变化后的网络状态反馈给强化学习模块，代理从中学习到经验，并优化下次策略动作。
步骤7：对步骤2到步骤4进行多次迭代优化，直至强化学习算法模型收敛。
对于部署阶段，如图3所示，其实现包括以下步骤：
步骤1：控制器模块通过周期性地调用端口状态请求方法和流状态请求方法向交换机发送相关状态请求报文，进而获取所有交换机端口状态信息以及边缘交换机请求流的统计信息。
步骤2：对请求流大小进行判断，小流采用ECMP算法进行路径选择，大流使用强化学习模块进行决策，决策动作是网络链路的权重设置。
步骤3：利用最短加权路径算法计算路径，并将路径转化为流表的形式，并将流表转发给孪生网络模块。
步骤4：孪生网络模块通过流表模拟网络状态的变化，并分析计算网络产生变化后的影响，即验证策略对网络的影响，最终决定把策略下发至物理数据中心网络。
步骤5：在下一周期到来时，控制器采集物理数据中心网络的状态，反馈给孪生网络层，用于以后的模型更新和校正。
本方法的具体步骤如下：
步骤一：设计孪生网络层系统总体架构
孪生网络系统总体架构由“两层三模块”组成，两层指的是物理数据中心网络层和数字孪生网络层，而三模块为数据存储、模型映射和孪生管理。
物理数据中心网络层：物理数据中心网络层由网元、服务器、链路组成。在数据中心网络中，网元可以是交换机、路由器以及配备的应用程序，这些网元设备支撑着网络数据包的过滤和转发。而网元设备和应用程序每天会产生大量的数据，这些数据可能是交换机的背板吞吐量、包缓冲区大小、MAC地址表、接口包转发速率等。那么从这些数据中提取有价值的信息，可以获得实时的物理网络状况，如网元设备的健康状态、流量矩阵、可用带宽变化等，以此检测网络的异常情况。
数字孪生网络层：数字孪生网络层负责建立物理数据中心网络与虚拟孪生网络系统之间的实时映射模型，包括三个关键子模块：数据存储、模型映射、孪生管理。数据存储模块通过南向接口协议(如NETCONF、OpenFlow、XMPP、I2RS等协议)采集物理网络实体的各种配置和运行数据，并存储在数据库中，用于基础模型和功能模型的建立、仿真和优化。具体而言，数据存储模块从物理数据中心网络中收集数据，并将数据分为四种不同类型进行存储：服务器、交换机、链路的配置，服务器、交换机、链路的状态、网络拓扑数据结构、流量矩阵。根据采集的数据，模型映射模块需要提取、定义和描述物理网络各个实体的关键特征。一方面是为了构建数据中心网络的网元模型和拓扑模型，也即基础模型，另一方面能够为功能模型的输入提供训练数据和测试数据。其中，网元模型是对服务器、交换机、链路的实时精确映射，拓扑模型是根据网络拓扑数据结构，将网元模型进行连接、组合得到。功能模型是根据数据库的网络数据，建立网络仿真、分析、优化等数据模型。数字孪生网络的一个主要特点是实现物理网络的实时镜像，那么模型映射模块还需要运作起来。为此，孪生管理模块负责管理和更新网络孪生层中的各个映射模型，具有模型更新、状态同步、模型交互、应用关联等功能，如通过状态同步功能在拓扑模型中进行流量重放，实现孪生网络对物理网络的同步映射，以便功能模型做出相应的网络优化策略。
步骤二：设计数据中心网络数据采集系统
基于软件定义网络的技术，控制器采用支持OpenFlow协议的Ryu控制器实现数据的采集，同时交换机也需要支持OpenFlow协议。本发明实施例通过OpenFlow协议可以收集物理数据中心网络的数据，并将清晰过滤后的数据存储在Reids数据库中。具体来说，采集数据的细节如下描述：
控制器携带LLDP数据包的packet-out报文发送到交换机的指定端口，收到LLDP数据包的交换机将数据包发送给邻接交换机。邻接交换机收到LLDP数据包后，通过packet-in报文将数据包发送给控制器，控制器收到数据包后结合packet-in信息和LLDP数据包的包头信息，最终获取网络拓扑信息，并将网络拓扑数据存储到数据库中。
网络的实时数据需要通过周期性的采集，本发明实施例采集周期为2秒。通过周期性地调用端口状态请求方法和流状态请求方法向交换机发送相关状态请求消息，进而获取交换机端口状态信息以及流的统计的信息。端口的统计信息包含如表1：
表1
| 名称 | 描述 |
| port_no | 交换机端口号 |
| rx_packets | 接收数据包数量 |
| tx_packets | 发送数据包数量 |
| rx_bytes | 接收字节数量 |
| tx_bytes | 发送字节数量 |
| rx_dropped | 接收丢包数量 |
| tx_dropped | 发送丢包数量 |
| rx_errors | 接收错包数量 |
| tx_errors | 发送错包数量 |
| duration_sec | 统计持续时间 |
步骤三：构建数据中心的孪生网络
在物理数据中心网络中，设有n个网元设备，定义V＝{v1,v2,…,vn}为网元设备集合，设有m条链路，定义E＝{e1,e2,…,em}为链路集合，则网元模型和链路模型的数字孪生可以分别表示为：
DTv(t)＝Θ(Cv,Sv(t),Mv(t)) (17)
DTe(t)＝Θ(Ce,Se(t)) (18)
其中，C表示静态配置数据，对于网元设备v来说，可以是最大传输速率、背板带宽、MAC地址容量等；对于链路e来说，可以是最大容量。S(t)表示随时间变化的运行状态，而运行状态由多维特征决定，对于网元设备v而言，其x维状态特征定义为如网元设备的CPU使用率、包缓冲区大小、端口状态信息等；同理，链路也具备多维状态特征，但是本文只考虑链路的当前负载特征。Mv(t)表示网元设备v的运行行为，由y维特征行为表征，定义为/>
拓扑模型是根据网络拓扑数据结构，将网元模型和链路模型进行连接、组合得到，那么拓扑模型的数字孪生可以表示为：
DT(t)＝Θ(DTV(t),DTE(t)) (19)
其中，DTV(t)表示物理数据中心网络中所有网元模型的集合，即
DTE(t)表示物理数据中心网络中所有的链路模型的集合，即/>
网元模型集合和链路模型集合组合即可得到拓扑模型的数字孪生。通过孪生网络层的数据存储模块采集各类数据，以数字化的形式构建网元模型和链路模型，进而构建拓扑模型，实现对物理数据中心网络全面、精确的映射，再辅以功能模型的自适应、自学习能力，最终实现数字孪生网络对物理数据中心网络的实时控制和优化。基于以上分析，物理数据中心网络和数字孪生网络的关系可以形式化定义为：
其中，DCN<V,E>表示物理数据中心网络，V表示所有网络节点集合，E表示网络中所有链路的的集合；SIP表示南向接口协议，通过其实现物理数据中心网络和数字孪生网络的通信。
步骤四：数据驱动模型的设计
本发明实施例基于Q学习算法实现数据中心网络自优化，其核心公式如下：
其中，Q(S,A)是当前状态S下选择动作A的Q值。α是学习率，这决定了Q值更新的快慢。γ是折扣因子，表示未来对现在的影响多少。
首先是对到达边缘交换机的新流进行数据采集，孪生网络层判断新流是小流还是大流，若是小流采用轮询机制路由，否则为大流采用数据驱动模型决策路由。对于数据驱动模型的设计如下描述：
状态(State)：Q学习的状态是反映数据中心网络环境的空间，本发明实施例的状态是n×n的流量矩阵TM，其中b1,n是交换机v1与交换机vn相连的链路实际负载，其表达如下所示：
动作(Action)：在Q学习中，代理将状态空间映射到动作空间，以学习最优策略。在本发明实施例系统中，动作空间是一组链路权重，链路权重表达如下所示：
W＝[w1,w2,…,wm]T (23)
得到一组链路权重后，经过路径计算模块，可以得到新流的路由路径，再经流表管理模块就可以得到流表项，将流表下发给孪生网络，经验证后下发送给物理网络，最终实现大流的路径选择和转发。
奖励(Reward)：基于当前的状态和动作，代理从环境中获得奖励。在数据中心网络中，由于奖励和网络优化的目标函数有关，在这种情况下，最大链路利用率可以被视为奖励函数，本发明实施例要求最小化最大链路利用率，因此把最大链路利用率取负，则奖励函数如下：
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种用于数据中心网络自优化的数字孪生方法，其特征在于：包括以下步骤：
S1：构建孪生网络系统，包括物理数据中心网络层和数字孪生网络层，所述物理数据中心网络层由网元、服务器、链路组成；所述数字孪生网络层包括控制器、数据存储模块、强化学习模块、孪生网络模块、路径计算模块和流表管理模块；
S2：数字孪生网络层采集物理数据中心网络层的数据，建立基础模型和功能模型，所述基础模型是由网元模型和链路模型连接组合构建拓扑模型，所述功能模型用于对基础模型作出网络优化策略；
S3：对数字孪生网络层的强化学习算法进行训练；
S4：部署训练好的数字孪生网络层，实现数据中心网络的自我优化；
所述对数字孪生网络层的强化学习算法进行训练，包括：
A1：通过控制器采集物理数据中心网络的各类数据，经过预处理后持久化到数据库中，或者将实时数据输入强化学习模块和孪生网络模块；
A2：孪生网络模块根据数据库的数据和实时数据构建基础模型，强化学习模块根据数据库的数据和实时数据构建功能模型；
A3：孪生网络模块通过基础模型模拟物理数据中心网络的网络状态，强化学习模块与孪生网络模块进行交互，对基础模型给出策略动作；
A4：路径计算模块从步骤A3中的策略动作中通过最短加权路径算法计算最优路径；
A5：流表管理模块通过步骤A4计算的路径设置流表项，并将流表下发给孪生网络；
A6：孪生网络通过流表项模拟网络变化，并将变化后的网络状态反馈给强化学习模块，代理从中学习到经验，并优化下次策略动作；
A7：对步骤A2到步骤A4进行多次迭代优化，直至强化学习算法模型收敛；
步骤S4所述部署训练好的数字孪生网络层，实现数据中心网络的自我优化，具体包括：
B1：控制器通过周期性地调用端口状态请求方法和流状态请求方法向交换机发送相关状态请求报文，进而获取所有交换机端口状态信息以及边缘交换机请求流的统计信息；
B2：对请求流大小进行判断，小流采用ECMP算法进行路径选择，大流使用强化学习模块进行决策，决策动作是网络链路的权重设置；
B3：利用最短加权路径算法计算路径，并将路径转化为流表的形式，并将流表转发给孪生网络模块；
B4：孪生网络模块通过流表模拟网络状态的变化，并分析计算网络产生变化后的影响，即验证策略对网络的影响，最终决定把策略下发至物理数据中心网络；
B5：在下一周期到来时，控制器采集物理数据中心网络的状态，反馈给孪生网络层，用于以后的模型更新和校正。
2.根据权利要求1所述的用于数据中心网络自优化的数字孪生方法，其特征在于：控制器通过OpenFlow协议收集物理数据中心网络的数据，并将清晰过滤后的数据存储在Reids数据库中，具体包括：
控制器携带LLDP数据包的packet-out报文发送到交换机的指定端口，收到LLDP数据包的交换机将数据包发送给邻接交换机；
邻接交换机收到LLDP数据包后，通过packet-in报文将数据包发送给控制器；
控制器收到数据包后结合packet-in信息和LLDP数据包的包头信息，最终获取网络拓扑信息，并将网络拓扑数据存储到数据存储模块中；
控制器通过周期性地调用端口状态请求方法和流状态请求方法向交换机发送相关状态请求消息，进而实时获取交换机端口状态信息以及流的统计的信息。
3.根据权利要求1所述的用于数据中心网络自优化的数字孪生方法，其特征在于：构建孪生网络系统的具体步骤如下：
在物理数据中心网络中，设有n个网元设备，定义V＝{v1,v2,…,vn}为网元设备集合，设有m条链路，定义E＝{e1,e2,…,em}为链路集合，则网元模型和链路模型的数字孪生分别表示为：
DTv(t)＝Θ(Cv,Sv(t),Mv(t)) (1)
DTe(t)＝Θ(Ce,Se(t)) (2)
其中，C表示静态配置数据，对于网元设备v来说，可以是最大传输速率、背板带宽、MAC地址容量；对于链路e来说，可以是最大容量；S(t)表示随时间变化的运行状态，由多维特征决定，对于网元设备v而言，其x维状态特征定义为Mv(t)表示网元设备v的运行行为，由y维特征行为表征，定义为/>
拓扑模型的数字孪生表示为：
DT(t)＝Θ(DTV(t),DTE(t)) (3)
其中，DTV(t)表示物理数据中心网络中所有网元模型的集合，即
DTE(t)表示物理数据中心网络中所有的链路模型的集合，即/>
物理数据中心网络和数字孪生网络的关系形式化定义为：
其中，DCN<V,E>表示物理数据中心网络，V表示所有网络节点集合，E表示网络中所有链路的的集合；SIP表示南向接口协议，通过其实现物理数据中心网络和数字孪生网络的通信。
4.根据权利要求1所述的用于数据中心网络自优化的数字孪生方法，其特征在于：所述强化学习模块基于Q学习算法实现数据中心网络自优化，其核心公式如下：
其中，Q(S,A)是当前状态S下选择动作A的Q值；α是学习率，γ是折扣因子，表示未来对现在的影响多少；
首先对到达边缘交换机的新流进行数据采集，数字孪生网络层判断新流是小流还是大流，若是小流则采用轮询机制路由，若是大流则采用数据驱动模型决策路由，对于数据驱动模型的设计如下描述：
状态：状态空间为n×n的流量矩阵TM，其中b1,n是交换机v1与交换机vn相连的链路实际负载，其表达如下所示：
动作：动作空间是一组链路权重，链路权重表达如下所示：
W＝[w1,w2,…,wm]T (7)
得到一组链路权重后，经过路径计算模块，得到新流的路由路径，再经流表管理模块得到流表项，将流表下发给孪生网络，经验证后下发送给物理网络，最终实现大流的路径选择和转发；
奖励：基于当前的状态和动作，代理从环境中获得奖励，奖励函数为把最大链路利用率取负，最小化最大链路利用率，奖励函数如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722211.7A CN116055324B (zh) | 2022-12-30 | 2022-12-30 | 一种用于数据中心网络自优化的数字孪生方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211722211.7A CN116055324B (zh) | 2022-12-30 | 2022-12-30 | 一种用于数据中心网络自优化的数字孪生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116055324A CN116055324A (zh) | 2023-05-02 |
| CN116055324B true CN116055324B (zh) | 2024-05-07 |
Family
ID=86121320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211722211.7A Active CN116055324B (zh) | 2022-12-30 | 2022-12-30 | 一种用于数据中心网络自优化的数字孪生方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116055324B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116506352B (zh) * | 2023-06-26 | 2023-08-29 | 安世亚太科技股份有限公司 | 一种基于集中式强化学习的网络数据接续转发选择方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614215A (zh) * | 2019-01-25 | 2019-04-12 | 广州大学 | 基于深度强化学习的流调度方法、装置、设备及介质 |
| CN111835565A (zh) * | 2020-07-06 | 2020-10-27 | 重庆金美通信有限责任公司 | 一种基于数字孪生的通信网络优化方法、装置和系统 |
| CN112859789A (zh) * | 2021-01-29 | 2021-05-28 | 重庆邮电大学 | 一种基于cfd构建数据中心数字孪生体的方法及系统 |
| CN113572804A (zh) * | 2021-04-29 | 2021-10-29 | 重庆工程职业技术学院 | 一种基于边缘协作的任务卸载系统、方法及装置 |
| CN114189888A (zh) * | 2021-11-29 | 2022-03-15 | 中国船舶重工集团公司第七一六研究所 | 基于数字孪生的5g融合网架构下多模终端接入系统及方法 |
| EP3979561A1 (en) * | 2020-10-01 | 2022-04-06 | Siemens Aktiengesellschaft | Improvement of an ai-based network controller in a communication network |
| WO2022165143A1 (en) * | 2021-01-29 | 2022-08-04 | World Wide Technology Holding Co., LLC | Systems and methods for artificial intelligence-defined networking |
| CN114900436A (zh) * | 2022-04-29 | 2022-08-12 | 电子科技大学 | 一种基于多维融合模型的网络孪生方法 |
| WO2022199089A1 (zh) * | 2021-03-26 | 2022-09-29 | 中兴通讯股份有限公司 | 网络管控方法及其系统、网络系统、存储介质 |
| CN115314402A (zh) * | 2022-08-10 | 2022-11-08 | 中国电信股份有限公司 | 网元负载监控方法、装置、存储介质和电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11606265B2 (en) * | 2021-01-29 | 2023-03-14 | World Wide Technology Holding Co., LLC | Network control in artificial intelligence-defined networking |
-
2022
- 2022-12-30 CN CN202211722211.7A patent/CN116055324B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614215A (zh) * | 2019-01-25 | 2019-04-12 | 广州大学 | 基于深度强化学习的流调度方法、装置、设备及介质 |
| CN111835565A (zh) * | 2020-07-06 | 2020-10-27 | 重庆金美通信有限责任公司 | 一种基于数字孪生的通信网络优化方法、装置和系统 |
| EP3979561A1 (en) * | 2020-10-01 | 2022-04-06 | Siemens Aktiengesellschaft | Improvement of an ai-based network controller in a communication network |
| CN112859789A (zh) * | 2021-01-29 | 2021-05-28 | 重庆邮电大学 | 一种基于cfd构建数据中心数字孪生体的方法及系统 |
| WO2022165143A1 (en) * | 2021-01-29 | 2022-08-04 | World Wide Technology Holding Co., LLC | Systems and methods for artificial intelligence-defined networking |
| WO2022199089A1 (zh) * | 2021-03-26 | 2022-09-29 | 中兴通讯股份有限公司 | 网络管控方法及其系统、网络系统、存储介质 |
| CN113572804A (zh) * | 2021-04-29 | 2021-10-29 | 重庆工程职业技术学院 | 一种基于边缘协作的任务卸载系统、方法及装置 |
| CN114189888A (zh) * | 2021-11-29 | 2022-03-15 | 中国船舶重工集团公司第七一六研究所 | 基于数字孪生的5g融合网架构下多模终端接入系统及方法 |
| CN114900436A (zh) * | 2022-04-29 | 2022-08-12 | 电子科技大学 | 一种基于多维融合模型的网络孪生方法 |
| CN115314402A (zh) * | 2022-08-10 | 2022-11-08 | 中国电信股份有限公司 | 网元负载监控方法、装置、存储介质和电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| DROM: Optimizing the Routing in Software-Defined Networks With Deep Reinforcement Learning;Chenghe Yu et al.;IEEE;20181023;全文 * |
| ELITE:An intelligent digital twin-based hierarchical routing scheme for softwarized vehicular networks;Liang Zhao;IEEE;20220531;全文 * |
| 光网络中基于强化学习的动态资源分配技术研究;崔思恒;《中国优秀硕士学位论文全文数据库》;20220115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116055324A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112491714B (zh) | SDN环境下基于深度强化学习的智能QoS路由优化方法、系统 | |
| Alderson et al. | Understanding internet topology: principles, models, and validation | |
| Legtchenko et al. | {XFabric}: A Reconfigurable {In-Rack} Network for {Rack-Scale} Computers | |
| CN116055324B (zh) | 一种用于数据中心网络自优化的数字孪生方法 | |
| CN103069756A (zh) | 通信系统、控制器、节点控制方法和程序 | |
| CN112600759B (zh) | 基于深度强化学习在Overlay网络下多路径流量调度方法及系统 | |
| CN113162800B (zh) | 一种基于强化学习的网络链路性能指标异常定位方法 | |
| Lei et al. | Congestion control in SDN-based networks via multi-task deep reinforcement learning | |
| Al-Sadi et al. | Routing algorithm optimization for software defined network WAN | |
| CN111385106B (zh) | 一种用于故障根因的识别方法、装置和设备 | |
| CN116233133A (zh) | 一种数字孪生辅助数据中心网络负载均衡的方法 | |
| WO2024037136A1 (zh) | 一种基于图结构特征的路由优化方法与系统 | |
| CN115396366B (zh) | 基于图注意力网络的分布式智能路由方法 | |
| Ye et al. | Date: Disturbance-aware traffic engineering with reinforcement learning in software-defined networks | |
| Dai et al. | Routing optimization meets Machine Intelligence: A perspective for the future network | |
| Mai et al. | Packet routing with graph attention multi-agent reinforcement learning | |
| CN117640335B (zh) | 一种智能建筑综合布线的动态调整和优化方法 | |
| WO2022232994A1 (en) | Devices and methods for autonomous distributed control of computer networks | |
| Liu et al. | BULB: lightweight and automated load balancing for fast datacenter networks | |
| CN116938810A (zh) | 一种基于图神经网络的深度强化学习sdn智能路由优化方法 | |
| Ye et al. | FlexDATE: Flexible and Disturbance-Aware Traffic Engineering With Reinforcement Learning in Software-Defined Networks | |
| CN114938374A (zh) | 跨协议负载均衡方法及系统 | |
| Poncea et al. | Design and implementation of an Openflow SDN controller in NS-3 discrete-event network simulator | |
| Li et al. | DeepMDR: A deep-learning-assisted control plane system for scalable, protocol-independent, and multi-domain network automation | |
| CN113965470A (zh) | 一种航空信息网络实验仿真系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |