CN115622889A - 一种容器化网络架构及网络功能部署方法 - Google Patents

一种容器化网络架构及网络功能部署方法 Download PDF

Info

Publication number
CN115622889A
CN115622889A CN202211634991.XA CN202211634991A CN115622889A CN 115622889 A CN115622889 A CN 115622889A CN 202211634991 A CN202211634991 A CN 202211634991A CN 115622889 A CN115622889 A CN 115622889A
Authority
CN
China
Prior art keywords
network
containerized
network function
deployment
containerization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211634991.XA
Other languages
English (en)
Other versions
CN115622889B (zh
Inventor
徐博
彭凯
王良源
徐晓慧
邓天平
陆通
彭聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Chutianyun Co ltd
Huazhong University of Science and Technology
Original Assignee
Hubei Chutianyun Co ltd
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Chutianyun Co ltd, Huazhong University of Science and Technology filed Critical Hubei Chutianyun Co ltd
Priority to CN202211634991.XA priority Critical patent/CN115622889B/zh
Publication of CN115622889A publication Critical patent/CN115622889A/zh
Application granted granted Critical
Publication of CN115622889B publication Critical patent/CN115622889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/083—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for increasing network speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0836—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability to enhance reliability, e.g. reduce downtime
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种容器化网络架构及网络功能部署方法，采用一种联合优化的方式同时解决网络性能问题和资源部署问题，具体而言，本发明以容器化网络中服务功能的排队网络模型构建为前提，通过引入马尔可夫决策过程来描述动态的网络资源状态转换过程，设计深度强化学习算法来智能高效地解决部署问题。将综合考虑电信网络对低时延、高吞吐、高可靠的要求以及三者之间相互竞争资源的矛盾性，合理设置分段多维奖励函数，以期获得最佳的容器化网络功能联合多目标优化部署策略，取得吞吐量和可靠性以及通信时延（端到端时延）联合最优。

Description

一种容器化网络架构及网络功能部署方法
技术领域
本发明涉及网络功能部署领域，更具体地，涉及一种容器化网络架构及网络功能部署方法。
背景技术
第五代移动通信技术（5G）作为最新一代的信息通信技术，可有效满足增强型移动宽带、大规模物联网和超高可靠低时延通信三大应用场景的信息传输需求。在当今的通讯网络中，数据的消耗呈指数增长，这种不可逆转的趋势是由终端用户的增加和新移动设备（智能手机、可穿戴设备、传感器等）的广泛渗透推动的。大多数物联网设备其实并不需要连续的、长时间的网络服务，导致了海量且高并发的网络服务请求，加剧网络的波动。由于传统的基于虚拟机的虚拟网络功能存在启动慢、损耗大以及不易扩展等问题，难以承担变化如此大的动态网络，所以使得虚拟网络功能在电信云中落地进展较慢。容器化虚拟网络功能受益于容器的轻量化以及容器化网络功能架构，可以快捷地部署和销毁，实现更细粒度的创建和分配，将会为万物互联时代提供高效、动态、细粒度的网络服务。
目前没有相关工作对容器化网络的网络功能实例部署的详细研究。部分研究工作考虑粗粒度的资源分配，如以处理器作为最小计算资源单位，这种部署方式可能造成大量的资源浪费。还有研究忽略了容器化网络功能之间的通信时延，只考虑计算资源带来的时间消耗，但实际上，将具有依赖关系的容器化网络功能部署在同一处理器上能极大地降低网络拥塞概率，极大地提高用户服务体验。
发明内容
本发明针对现有技术中存在的技术问题，提供一种容器化网络架构及网络功能部署方法。
根据本发明的第一方面，提供了一种容器化网络架构，包括若干个物理网络拓扑，每个物理网络拓扑被称为一层，相邻层之间通过层间节点和层间链路连接，同一层中的链路被称为层内链路，相邻两层间用来连接功能节点的链路和节点分别被称为层间链路和层间节点；多种容器化网络功能部署在物理网络拓扑层中的多核处理器上，不同容器化网络功能的组合构成具有不同功能的用户请求链，每个容器化网络功能具有多个实例，每一类用户请求对应一种用户请求链；
基于深度强化学习的容器化网络功能部署策略，得到最优容器化网络功能部署方案，所述容器化网络功能部署策略包括确定在容器化网络的多核处理器上部署的容器化网络功能实例的具体数目以及各个容器化网络功能实例在多核处理器上的部署位置。
根据本发明的第二方面，提供一种基于容器化网络架构的网络功能部署方法，其特征在于，包括：
基于深度强化学习的容器化网络功能部署策略，得到最优容器化网络功能部署方案，所述容器化网络功能部署策略包括确定在容器化网络的多核处理器上部署的容器化网络功能实例的具体数目以及各个容器化网络功能实例在多核处理器上的部署位置。
本发明提供的一种容器化网络架构及网络功能部署方法，采用一种联合优化的方式同时解决网络性能问题和资源部署问题，具体而言，本发明以容器化网络中服务功能的排队网络模型构建为前提，通过引入马尔可夫决策过程来描述动态的网络资源状态转换过程，设计深度强化学习算法来智能高效地解决部署问题。将综合考虑电信网络对低时延、高吞吐、高可靠的要求以及三者之间相互竞争资源的矛盾性，合理设置分段多维奖励函数，以期获得最佳的容器化网络功能联合多目标优化部署策略，取得吞吐量和可靠性以及通信时延（端到端时延）联合最优。
附图说明
图1为本发明提供的一种容器化网络架构的结构示意图；
图2为本发明提供的基于容器化架构的网络功能部署方法流程图；
图3为容器化网络功能及其在多核处理器上的部署示意图；
图4为容器化网络功能部署算法得到最优容器化网络功能部署方案的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
图1为本发明提供的一种容器化网络架构，该容器化网络架构由若干个物理网络拓扑组成，每个物理网络拓扑被称为一层，相邻层之间通过层间节点和层间链路连接，同一层中的链路被称为层内链路，相邻两层间用来连接功能节点的链路和节点分别被称为层间链路和层间节点；多种容器化网络功能部署在物理网络拓扑层中的多核处理器上，不同容器化网络功能的组合构成具有不同功能的用户请求链，每个容器化网络功能具有多个实例，每一类用户请求对应一种用户请求链。
可理解的是，容器化网络功能与传统服务的区别在于，容器化网络功能将应用程序划分为多个具有特定功能的模块，模块之间相互协作共同完成用户请求。为了保证服务质量，每种容器化网络功能具有多个实例，用户请求可在多个实例中进行选择以完成自身需求。多个容器化网络功能实例按照一定的顺序组合成一个线性链，即用户请求链，一种用户请求链对应一种用户请求。用户请求到达系统后，由层间链路和处理器协同将请求根据对应用户请求链上的容器化网络功能顺序依次处理以完成用户需求。具体过程如下：当用户请求到达容器化网络的入口节点，入口节点通过查表得到请求的第一个容器化网络功能的实例部署位置，根据实例当前的状态为请求选择一个时延较低的实例，待第一个容器化网络功能完成，选择第二个容器化网络功能的实例。以此类推，当链上的每个容器化网络功能执行完毕，最终将结果返回给用户。
本发明为了降低多容器化网络功能实例可能带来的部署负责问题，从将容器化网络功能节点构建为多层图下的排队网络模型出发，综合考虑计算时延与通信时延，量化分析海量请求下的排队性能指标，之后结合网络的性能指标和资源需求，通过深度强化学习进行多目标联合优化，在满足资源约束的条件下，求解最佳容器化网络功能部署方案。其中，容器化网络功能部署策略包括确定在容器化网络的多核处理器上部署的容器化网络功能实例的具体数目以及各个容器化网络功能实例在多核处理器上的部署位置。
参见图2，为本发明提供的一种基于容器化网络架构的网络功能部署方法，基于上述实施例提供的容器化网络架构，设计支持多种用户请求链的容器化网络功能实例部署算法，算法基于深度强化学习进行改进，将各种容器化网络功能的多个实例动态部署到网络中，本发明采用一种优化的方式解决容器化网络功能部署问题，具体而言，本发明以容器化网络功能的排队网络模型构建为前提，采用一种联合优化的方式同时解决网络性能问题和资源部署问题，通过引入马尔可夫决策过程来描述动态的网络资源状态转换过程，设计深度强化学习算法来智能高效地解决部署问题。将综合考虑电信网络对低时延、高吞吐、高可靠的要求以及三者之间相互竞争资源的矛盾性，合理设置分段多维奖励函数，以期获得最佳的容器化网络功能联合多目标优化部署策略，取得吞吐量和可靠性以及通信时延（端到端时延）联合最优。
作为实施例，基于深度强化学习的容器化网络功能部署策略，得到最优容器化网络功能部署方案，所述容器化网络功能部署策略包括确定在容器化网络的多核处理器上部署的容器化网络功能实例的具体数目以及各个容器化网络功能实例在多核处理器上的部署位置。
可以理解的是，基于该网络架构建立资源约束的排队网络模型；每个容器化网络功能具有多个实例（镜像），容器化网络功能部署策略包括确定在容器化网络的处理器上部署的网络功能实例的具体数目以及各个网络功能实例在处理器上的部署位置，可参见图3，为容器化网络功能在处理器上的部署示意图；容器化网络功能实例部署将综合考虑电信网络对低时延、高吞吐、高可靠的要求以及三者之间相互竞争资源的矛盾性，合理设置分段多维奖励函数，以期获得最佳的容器化网络功能联合多目标优化部署策略，取得吞吐量和可靠性以及通信时延（端到端时延）联合最优。
其中，基于双深度Q网络的细粒度部署方案来对容器化网络功能进行部署。作为实施例，所述基于深度强化学习的容器化网络功能部署策略，得到最优容器化网络功能部署方案，包括：将整个容器化网络划分为多个网络域，每个网络域包含本域中的网络节点、链路以及部署的容器化网络功能实例；根据初始容器化网络功能部署矩阵P（即初始部署策略）和用户请求集合，确定各用户请求的路由路径；根据每一个网络域的网络资源状态和各容器化网络功能节点的服务强度，定义状态空间S；定义动作空间A，所述动作空间A包括多个动作a，每一个动作a表示在相应网络域内的容器化网络功能节点进行容器化网络功能的优化部署；在所述状态空间S中选择当前状态St，以及从所述动作空间A中选择当前动作at，更新容器化网络功能部署矩阵P和路由路径，计算当前动作at的奖励Rt，以及执行当前动作at对应的下一个状态St+1；根据当前状态St、当前动作at、奖励Rt和下一个状态St+1，基于双深度Q网络获取最优动作，所述最优动作即最优容器化网络功能部署方案。
可理解的是，状态空间S的表示，包括：将整个网络拓扑划分成
Figure 316371DEST_PATH_IMAGE001
个网络域，其中， 每个网络域包含本域中的网络节点、链路以及部署的容器化网络功能实例。因为网络资源 状态是进行容器化网络功能部署与调整的重要网络信息，也是双深度Q网络模型中不可或 缺的输入信息，除此之外，各容器化网络功能节点的服务强度也是重要的指标，DDQN 模型 的输入可以尝试用向量形式表示。
Figure 763271DEST_PATH_IMAGE002
；
其中，
Figure 403330DEST_PATH_IMAGE003
分别表示第n个网络域中带宽、缓存和多核处理器的平均 可用率,
Figure 437146DEST_PATH_IMAGE004
表示第n个网络域中第p类容器化网络功能的平均CPU可用率,
Figure 59669DEST_PATH_IMAGE005
表示第n 个网络域中第p类容器化网络功能节点的平均服务强度。其中：
Figure 331381DEST_PATH_IMAGE006
；
Figure 407922DEST_PATH_IMAGE007
；
Figure 725771DEST_PATH_IMAGE008
；
Figure 146125DEST_PATH_IMAGE009
；
Figure 865820DEST_PATH_IMAGE010
；
其中，n=1，2，....，N表示第
Figure 113261DEST_PATH_IMAGE011
个网络域；
Figure 121669DEST_PATH_IMAGE012
表示第n个网络域中的物理链路集合；
Figure 112758DEST_PATH_IMAGE013
表示第n个网络域中的物理节点集合；
Figure 388757DEST_PATH_IMAGE014
表示第n个网络域中的容器化网络功能集合；
Figure 541520DEST_PATH_IMAGE015
表示第n个网络域中p类容器化网络功能需要占用的核心数；
Figure 771645DEST_PATH_IMAGE016
表示物理节点中处理 器核心的数量；
Figure 363163DEST_PATH_IMAGE017
表示容器化网络功能部署指示变量，1表示部署，0表示未部署；
Figure 228089DEST_PATH_IMAGE018
表示 容器化网络功能是否属于第p类，1表示属于，0表示不属于；
Figure 614071DEST_PATH_IMAGE019
第x条请求链上容器化网络 功能实例i的到达率；
Figure 331491DEST_PATH_IMAGE020
表示单个核心服务处理能力；
Figure 461121DEST_PATH_IMAGE021
第x条请求链上容器化网络功能实 例i的核心数。
动作空间A可以理解为容器化网络功能的部署策略，其中，动作空间A的表示为：在 t 时隙定义动作空间
Figure 682018DEST_PATH_IMAGE022
，动作a(t)表示一种网络域的组合，如果一种动作被选 中，则意味着需要根据该动作对相应网络域内的功能节点进行容器化网络功能的优化部 署。例如有两个网络域：网络域 A 和B，则两个网络域总共可以组合出
Figure 504480DEST_PATH_IMAGE023
四 种网络域集合，表示该场景下智能体总共有4个可执行的动作。如果网络域集合
Figure 772231DEST_PATH_IMAGE024
被选 中，这表示需要对网络域 A 和 B 中的功能节点执行容器化网络功能的部署优化操作。
当选中了某一个动作后，对应分配一个奖励R，具体的，奖励R的表示为：定义
Figure 705552DEST_PATH_IMAGE025
表示当前执行部署容器化网络功能动作
Figure 780955DEST_PATH_IMAGE026
后所获得的即时奖励,模型的优化目标是最小 化容器化网络功能部署代价、容器化网络功能实例运行代价、用户请求链路由总代价、网络 阻塞代价和端到端路径时延加权和,基于r(t)的定义,对有助于降低模型优化目标的动作 而言,将对应的回报值设置为一个较大值,而对于导致优化目标产生较大代价的动作而言, 则将对应的回报值设置为一个较小值,根据上述描述,将
Figure 774319DEST_PATH_IMAGE025
设计如下:
Figure 200752DEST_PATH_IMAGE027
，
Figure 170720DEST_PATH_IMAGE028
；
其中，D为容器化网络功能部署代价，F为容器化网络功能实例运行时间,U为用户 请求链服务失败惩罚,B为网络阻塞代价,T为用户请求链的端到端时延，
Figure 366209DEST_PATH_IMAGE029
分 别代表五种指标的权重因子。
除了考虑当时的奖励,在强化学习中还需要考虑长期累计的收益
Figure 530474DEST_PATH_IMAGE030
，其表达 式如下:
Figure 178624DEST_PATH_IMAGE031
；
其中，
Figure 657010DEST_PATH_IMAGE032
是折扣因子,
Figure 815328DEST_PATH_IMAGE033
，h代表迭代次数,考虑到迭代次数越多,当前的行为 对未来收益越小,所以需要对未来的收益采取一定的折扣。
作为实施例，根据当前状态St、当前动作at、奖励Rt和下一个状态St+1，基于双深度Q 网络获取最优动作，包括：根据当前状态St对应的特征向量
Figure 586712DEST_PATH_IMAGE034
、当前动作at、奖励Rt和下 一个状态St+1对应的特征向量
Figure 722159DEST_PATH_IMAGE035
以及对应的迭代终止状态is_end 组成五元组
Figure 738656DEST_PATH_IMAGE036
；获取训练样本集，所述训练样本集包括多个训练样本，每一个 训练样本包括一个五元组和对应的Q值；基于所述训练样本集对所述双深度Q网络进行训 练；基于训练后的所述双深度Q网络输出所述动作空间A中每一个动作对应的Q值，将最大Q 值对应的动作作为最优动作。
其中，基于所述训练样本集对双深度Q网络进行训练，包括：
对于每一五元组样本
Figure 147553DEST_PATH_IMAGE037
，计算目标Q值：
Figure 794566DEST_PATH_IMAGE038
；
其中，
Figure 417308DEST_PATH_IMAGE039
为第j个五元组的Q值，Q’为目标Q网络的Q值，
Figure 736032DEST_PATH_IMAGE040
为Q网络的模型参数，
Figure 26199DEST_PATH_IMAGE041
为 目标Q网络的模型参数，
Figure 906430DEST_PATH_IMAGE042
为第j个状态
Figure 78786DEST_PATH_IMAGE043
的特征向量，
Figure 670042DEST_PATH_IMAGE044
表示奖励损失系数。
采用梯度下降法更新Q网络的参数
Figure 345874DEST_PATH_IMAGE045
，Q网络的损失函数为：
Figure 334689DEST_PATH_IMAGE046
；
每经过m次迭代，将Q网络的模型参数复制到目标Q网络，以更新目标Q网络的模型参数，将容器化网络更新到新的状态；
基于损失函数迭代更新Q网络的模型参数
Figure 197603DEST_PATH_IMAGE045
，若迭代达到T次，则结束迭代过程，获 得训练后的Q网络。
可理解的是，针对容器化网络功能的部署问题，本发明采用改进基于双深度 Q 网 络算法得到对应的解决方案，其中，可参见图4，双深度Q网络包括Q网络和目标Q网络两个网 络，在对双深度Q网络进行训练时，两个网络联合训练。其中，获取m个样本，每个样本包括一 个五元组
Figure 858130DEST_PATH_IMAGE037
和对应的Q值，Q值为Q网络的输出。利用m个样本对Q 网络进行迭代训练，当训练d次后，更新Q网络的模型参数，此时，Q网络将模型参数传递给目 标Q网络，目标Q网络计算Q网络的损失函数，基于损失函数调整Q网络的模型参数，继续进行 训练，直到迭代次数达到最大次数。
基于双深度Q网络进行容器化网络功能实例部署算法流程如下：
输入：迭代轮数T,状态特征维度n,动作集A,步长
Figure 591730DEST_PATH_IMAGE047
,衰减因子
Figure 813764DEST_PATH_IMAGE048
,探索率
Figure 960712DEST_PATH_IMAGE049
,当前网 络Q,目标网络Q’,批量梯度下降的样本数m,目标Q网络参数更新频率C。
输出：Q网络参数。
1、随机初始化所有的状态和动作对应的价值Q,随机初始化当前Q网络的所有参数
Figure 153490DEST_PATH_IMAGE045
，初始化目标Q网络Q’的参数
Figure 7177DEST_PATH_IMAGE050
,清空经验回放的集合D
2、for 回合数=1 to T；
3、初始化st为当前状态序列的第一个状态,拿到其特征向量
Figure 400112DEST_PATH_IMAGE034
；
4、在Q网络中使用
Figure 34356DEST_PATH_IMAGE034
作为输入,得到Q网络的所有动作对应的Q值输出，用
Figure 36685DEST_PATH_IMAGE049
贪婪 法在当前Q值输出中选择对应的动作at；
5、在状态st执行当前动作at,得到新状态st+1对应的特征向量
Figure 213719DEST_PATH_IMAGE035
和奖励Rt,是 否终止状态is_end；
6、将
Figure 511976DEST_PATH_IMAGE036
这个五元组存入经验回放集合D；
7、将当前状态更新为下一个状态；
8、从经验回放D中采样m个五元组样本，计算当前目标Q值；
9、使用均方差损失函数，通过神经网络的梯度反向传播来更新Q网络的所有参数
Figure 69734DEST_PATH_IMAGE045
；
10、
Figure 111640DEST_PATH_IMAGE051
；
11、更新目标Q网络参数
Figure 205498DEST_PATH_IMAGE052
；
12、if S’是终止状态 then；
13、当前轮迭代完毕；
14、else。
该算法的具体流程如下：
1、在样本中，将当前的下一个状态St+1数据分别输入Q网络和目标Q网络两个神经网络中，得到Q值表和目标Q值表；
2、获取样本中Q值表最大Q值的索引，再利用该索引检索目标Q值表，得到对应动作目标Q值；
3、创建可存储多条样本Q值数据的列表，每条样本数据根据
Figure 940235DEST_PATH_IMAGE053
公式分别计算对应Q 值并载入列表，用于后续损失函数计算；
4、通过正向传播，将多条样本数据中的S输入神经网络，得到当前状态<S,A>的Q值，同时将多条样本所得Q值存入列表，用于损失计算；
5、通过反向传播，按照设定的固定步长对Loss进行最小化收敛，经过多次迭代得到最适配模型；
6、更新目标Q网络。
对双深度Q网络进行训练后，对于动作空间A中的所有动作，基于训练后的双深度Q网络计算每一个动作对应的Q值，将最大Q值对应的动作作为最优动作，即最优容器化网络功能部署方案。
本发明采用一种联合优化的方式同时解决网络性能问题和资源部署问题，具体而言，本专利以容器化网络功能的排队网络模型构建为前提，通过引入马尔可夫决策过程来描述动态的网络资源状态转换过程，设计深度强化学习算法来智能高效地解决部署问题。将综合考虑电信网络对低时延、高吞吐、高可靠的要求以及三者之间相互竞争资源的矛盾性，合理设置分段多维奖励函数，以期获得最佳的容器化网络功能联合多目标优化部署策略，取得吞吐量和可靠性以及通信时延（端到端时延）联合最优。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种容器化网络架构，其特征在于，所述容器化网络架构包括若干个物理网络拓扑，每个物理网络拓扑被称为一层，相邻层之间通过层间节点和层间链路连接，同一层中的链路被称为层内链路，相邻两层间用来连接功能节点的链路和节点分别被称为层间链路和层间节点；多种容器化网络功能部署在物理网络拓扑层中的多核处理器上，不同容器化网络功能的组合构成具有不同功能的用户请求链，每个容器化网络功能具有多个实例，每一类用户请求对应一种用户请求链；
基于深度强化学习的容器化网络功能部署策略，得到最优容器化网络功能部署方案，所述容器化网络功能部署策略包括确定在容器化网络的多核处理器上部署的容器化网络功能实例的具体数目以及各个容器化网络功能实例在多核处理器上的部署位置。
2.一种基于容器化网络架构的网络功能部署方法，其特征在于，包括：
基于深度强化学习的容器化网络功能部署策略，得到最优容器化网络功能部署方案，所述容器化网络功能部署策略包括确定在容器化网络的多核处理器上部署的容器化网络功能实例的具体数目以及各个容器化网络功能实例在多核处理器上的部署位置。
3.根据权利要求2所述的网络功能部署方法，其特征在于，所述基于深度强化学习的容器化网络功能部署策略，得到最优容器化网络功能部署方案，包括：
将整个容器化网络划分为多个网络域，每个网络域包含本域中的网络节点、链路以及部署的容器化网络功能实例；
根据初始容器化网络功能部署矩阵P和用户请求集合，确定各用户请求的路由路径；
根据每一个网络域的网络资源状态和各容器化网络功能节点的服务强度，定义状态空间S；
定义动作空间A，所述动作空间A包括多个动作a，每一个动作a表示在相应网络域内的容器化网络功能节点进行容器化网络功能的优化部署；
在所述状态空间S中选择当前状态St，以及从所述动作空间A中选择当前动作at，更新容器化网络功能部署矩阵P和路由路径，计算当前动作at的奖励Rt，以及执行当前动作at对应的下一个状态St+1；
根据当前状态St、当前动作at、奖励Rt和下一个状态St+1，基于双深度Q网络获取最优动作，所述最优动作即最优容器化网络功能部署方案。
4.根据权利要求3所述的容器化网络功能部署方法，其特征在于，所述根据每一个网络域的网络资源状态和各容器化网络功能节点的服务强度，定义状态空间S，包括：
用向量形式表示状态空间S：
Figure 407849DEST_PATH_IMAGE001
；
其中，
Figure 26786DEST_PATH_IMAGE002
分别表示第n个网络域中带宽、缓存和多核处理器的平均可用 率,
Figure 947469DEST_PATH_IMAGE003
表示第n个网络域中第p类容器化网络功能的平均CPU可用率,
Figure 545941DEST_PATH_IMAGE004
表示第n个网络 域中第p类容器化网络功能节点的平均服务强度；其中：
Figure 625892DEST_PATH_IMAGE005
；
Figure 651617DEST_PATH_IMAGE006
；
Figure 558131DEST_PATH_IMAGE007
；
Figure 960293DEST_PATH_IMAGE008
；
Figure 894751DEST_PATH_IMAGE009
；
其中，n=1，2，....，N表示第
Figure 91377DEST_PATH_IMAGE011
个网络域；
Figure 986652DEST_PATH_IMAGE012
表示第n个网络域中的物理链路集合；
Figure 419602DEST_PATH_IMAGE013
表 示第n个网络域中的物理节点集合；
Figure 208567DEST_PATH_IMAGE014
表示第n个网络域中的容器化网络功能集合；
Figure 841673DEST_PATH_IMAGE015
表示第n个网络域中p类容器化网络功能需要占用的核心数；
Figure 224244DEST_PATH_IMAGE016
表示物理节点中处理器核 心的数量；
Figure 702630DEST_PATH_IMAGE017
表示容器化网络功能部署指示变量，1表示部署，0表示未部署；
Figure 611680DEST_PATH_IMAGE018
表示容器 化网络功能是否属于第p类，1表示属于，0表示不属于；
Figure 851906DEST_PATH_IMAGE019
第x条请求链上容器化网络功能 实例i的到达率；
Figure 784090DEST_PATH_IMAGE020
表示单个核心服务处理能力；
Figure 128484DEST_PATH_IMAGE021
第x条请求链上容器化网络功能实例i的 核心数。
5.根据权利要求3所述的容器化网络功能部署方法，其特征在于，定义动作空间A，包括：
在t时隙定义动作空间
Figure 829724DEST_PATH_IMAGE022
，动作a(t)表示网络域组合，如果动作被选中，则 表示需要根据该动作对相应网络域内的功能节点进行容器化网络功能的优化部署。
6.根据权利要求3所述的容器化网络功能部署方法，其特征在于，计算当前动作at的奖励Rt，包括：
根据动作
Figure 742316DEST_PATH_IMAGE023
对应的容器化网络功能部署代价、容器化网络功能实例运行代价、用户 请求链路由总代价、网络阻塞代价和端到端路径时延进行加权求和计算，获取当前执行部 署容器化网络功能动作
Figure 394752DEST_PATH_IMAGE023
后所获得的即时奖励
Figure 542837DEST_PATH_IMAGE024
；
基于所述即时奖励
Figure 98583DEST_PATH_IMAGE024
，计算长期累计的奖励
Figure 182077DEST_PATH_IMAGE025
。
7.根据权利要求6所述的容器化网络功能部署方法，其特征在于，所述即时奖励
Figure 823273DEST_PATH_IMAGE024
的 计算公式为：
Figure 509470DEST_PATH_IMAGE026
，
Figure 683837DEST_PATH_IMAGE027
；
其中，D为容器化网络功能部署代价，F为容器化网络功能实例运行时间, U为用户请求 链服务失败惩罚, B为网络阻塞代价, T为用户请求链的端到端时延，
Figure 938232DEST_PATH_IMAGE028
分别 代表五种指标的权重因子；
所述长期累计的奖励
Figure 66725DEST_PATH_IMAGE025
的表达式如下：
Figure 556612DEST_PATH_IMAGE029
；
其中，
Figure 821371DEST_PATH_IMAGE030
是折扣因子,
Figure 547800DEST_PATH_IMAGE031
，h代表迭代次数。
8.根据权利要求3所述的容器化网络功能部署方法，其特征在于，所述根据当前状态St、当前动作at、奖励Rt和下一个状态St+1，基于双深度Q网络获取最优动作，包括：
根据当前状态St对应的特征向量
Figure 101272DEST_PATH_IMAGE032
、当前动作at、奖励Rt和下一个状态St+1对应的特 征向量
Figure 332533DEST_PATH_IMAGE033
以及对应的迭代终止状态is_end 组成五元组
Figure 45274DEST_PATH_IMAGE034
；
获取训练样本集，所述训练样本集包括多个训练样本，每一个训练样本包括一个五元组和对应的Q值；
基于所述训练样本集对所述双深度Q网络进行训练；
基于训练后的所述双深度Q网络输出所述动作空间A中每一个动作对应的Q值，将最大Q值对应的动作作为最优动作。
9.根据权利要求8所述的容器化网络功能部署方法，其特征在于，所述基于所述训练样本集对所述双深度Q网络进行训练，包括：
对于每一五元组样本
Figure 172630DEST_PATH_IMAGE035
，计算目标Q值：
Figure 711934DEST_PATH_IMAGE036
；
其中，
Figure 481307DEST_PATH_IMAGE037
为第j个五元组的Q值，Q’为目标Q网络的Q值，
Figure 48554DEST_PATH_IMAGE038
为Q网络的模型参数，
Figure 612391DEST_PATH_IMAGE039
为目标 Q网络的模型参数，
Figure 937193DEST_PATH_IMAGE040
为第j个状态
Figure 946475DEST_PATH_IMAGE041
的特征向量，
Figure 40333DEST_PATH_IMAGE042
表示奖励损失系数；
采用梯度下降法更新Q网络的参数
Figure 102967DEST_PATH_IMAGE043
，Q网络的损失函数为：
Figure DEST_PATH_IMAGE044
；
每经过m次迭代，将Q网络的模型参数复制到目标Q网络，以更新目标Q网络的模型参数，将容器化网络更新到新的状态；
基于损失函数迭代更新Q网络的模型参数
Figure 56010DEST_PATH_IMAGE043
，若迭代达到T次，则结束迭代过程，获得训 练后的Q网络。
CN202211634991.XA 2022-12-19 2022-12-19 一种容器化网络架构及网络功能部署方法 Active CN115622889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211634991.XA CN115622889B (zh) 2022-12-19 2022-12-19 一种容器化网络架构及网络功能部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211634991.XA CN115622889B (zh) 2022-12-19 2022-12-19 一种容器化网络架构及网络功能部署方法

Publications (2)

Publication Number Publication Date
CN115622889A true CN115622889A (zh) 2023-01-17
CN115622889B CN115622889B (zh) 2023-05-09

Family

ID=84879638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211634991.XA Active CN115622889B (zh) 2022-12-19 2022-12-19 一种容器化网络架构及网络功能部署方法

Country Status (1)

Country Link
CN (1) CN115622889B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107493184A (zh) * 2016-06-12 2017-12-19 中兴通讯股份有限公司 虚拟化网络功能部署方法及系统
CN109831319A (zh) * 2018-12-27 2019-05-31 南京大学 一种考虑多维资源约束的网络功能部署方法
CN110971451A (zh) * 2019-11-13 2020-04-07 国网河北省电力有限公司雄安新区供电公司 Nfv资源分配方法
CN111475252A (zh) * 2020-03-06 2020-07-31 重庆邮电大学 一种基于深度强化学习的虚拟网络功能部署优化算法
CN111538587A (zh) * 2020-03-06 2020-08-14 重庆邮电大学 一种基于负载均衡的服务功能链重配置方法
CN113608855A (zh) * 2021-08-12 2021-11-05 北京师范大学珠海校区 一种边缘计算中服务功能链放置的强化学习方法
CN113794748A (zh) * 2021-08-03 2021-12-14 华中科技大学 一种性能感知的服务功能链智能部署方法及装置
CN114338504A (zh) * 2022-03-15 2022-04-12 武汉烽火凯卓科技有限公司 一种基于网络边缘系统的微服务部署和路由方法
US20220329539A1 (en) * 2020-09-02 2022-10-13 Samsung Electronics Co., Ltd. METHOD AND SERVER FOR ADJUSTING ALLOCATION OF COMPUTING RESOURCES TO PLURALITY OF VIRTUALIZED NETWORK FUNCTIONS (VNFs)

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107493184A (zh) * 2016-06-12 2017-12-19 中兴通讯股份有限公司 虚拟化网络功能部署方法及系统
CN109831319A (zh) * 2018-12-27 2019-05-31 南京大学 一种考虑多维资源约束的网络功能部署方法
CN110971451A (zh) * 2019-11-13 2020-04-07 国网河北省电力有限公司雄安新区供电公司 Nfv资源分配方法
CN111475252A (zh) * 2020-03-06 2020-07-31 重庆邮电大学 一种基于深度强化学习的虚拟网络功能部署优化算法
CN111538587A (zh) * 2020-03-06 2020-08-14 重庆邮电大学 一种基于负载均衡的服务功能链重配置方法
US20220329539A1 (en) * 2020-09-02 2022-10-13 Samsung Electronics Co., Ltd. METHOD AND SERVER FOR ADJUSTING ALLOCATION OF COMPUTING RESOURCES TO PLURALITY OF VIRTUALIZED NETWORK FUNCTIONS (VNFs)
CN113794748A (zh) * 2021-08-03 2021-12-14 华中科技大学 一种性能感知的服务功能链智能部署方法及装置
CN113608855A (zh) * 2021-08-12 2021-11-05 北京师范大学珠海校区 一种边缘计算中服务功能链放置的强化学习方法
CN114338504A (zh) * 2022-03-15 2022-04-12 武汉烽火凯卓科技有限公司 一种基于网络边缘系统的微服务部署和路由方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
裴家宁: "SDN_NFV网络中服务功能链的路由和资源优化研究" *

Also Published As

Publication number Publication date
CN115622889B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Ghobaei-Arani et al. A cost-efficient IoT service placement approach using whale optimization algorithm in fog computing environment
CN111858009B (zh) 基于迁移和强化学习的移动边缘计算系统任务调度方法
WO2022077797A1 (zh) 量子线路的确定方法、装置、设备及存储介质
CN110533183B (zh) 流水线分布式深度学习中异构网络感知的任务放置方法
CN109818786B (zh) 一种云数据中心应用可感知的分布式多资源组合路径最优选取方法
CN113098714B (zh) 基于强化学习的低时延网络切片方法
CN111406264A (zh) 神经架构搜索
CN113361680A (zh) 一种神经网络架构搜索方法、装置、设备及介质
CN111723910A (zh) 构建多任务学习模型的方法、装置、电子设备及存储介质
CN114915630A (zh) 基于物联网设备的任务分配方法、网络训练方法及装置
Rkhami et al. On the use of graph neural networks for virtual network embedding
CN113867843B (zh) 一种基于深度强化学习的移动边缘计算任务卸载方法
KR20220051132A (ko) 양자 회로 결정 방법 및 장치, 디바이스, 및 저장 매체
CN115066694A (zh) 计算图优化
CN117041330B (zh) 一种基于强化学习的边缘微服务细粒度部署方法及系统
CN115994567B (zh) 一种深度神经网络模型并行计算任务异步调度方法
CN111324630A (zh) 基于mpi的神经网络架构搜索并行化方法和设备
CN114281718A (zh) 一种工业互联网边缘服务缓存决策方法及系统
Wang et al. Deep Reinforcement Learning-based scheduling for optimizing system load and response time in edge and fog computing environments
Yeganeh et al. A novel Q-learning-based hybrid algorithm for the optimal offloading and scheduling in mobile edge computing environments
Xu et al. Living with artificial intelligence: A paradigm shift toward future network traffic control
Dandachi et al. A robust monte-carlo-based deep learning strategy for virtual network embedding
CN115622889A (zh) 一种容器化网络架构及网络功能部署方法
CN116582407A (zh) 一种基于深度强化学习的容器化微服务编排系统及方法
CN110610231A (zh) 一种信息处理方法、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant