CN111475252B - 一种基于深度强化学习的虚拟网络功能部署优化方法 - Google Patents

一种基于深度强化学习的虚拟网络功能部署优化方法 Download PDF

Info

Publication number
CN111475252B
CN111475252B CN202010155122.3A CN202010155122A CN111475252B CN 111475252 B CN111475252 B CN 111475252B CN 202010155122 A CN202010155122 A CN 202010155122A CN 111475252 B CN111475252 B CN 111475252B
Authority
CN
China
Prior art keywords
vnf
deployment
sfc
cpu
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010155122.3A
Other languages
English (en)
Other versions
CN111475252A (zh
Inventor
唐伦
贺兰钦
谭颀
陈前斌
刘占军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Technology Transfer Center Co ltd
Zhicheng Technology Co.,Ltd.
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010155122.3A priority Critical patent/CN111475252B/zh
Publication of CN111475252A publication Critical patent/CN111475252A/zh
Application granted granted Critical
Publication of CN111475252B publication Critical patent/CN111475252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于深度强化学习的虚拟网络功能部署优化方法，属于移动通信技术领域。本方法在保证物理层CPU、带宽资源和SFC端到端时延约束下，考虑VNF共享，通过部署VNF和分配CPU资源来联合优化服务提供商总成本和SFC端到端时延；其次，由于本方案的状态空间和动作空间是连续值集合，提出一种基于深度强化学习的VNF智能部署算法，从而得到近似最优的VNF部署和资源分配策略。在每个离散的时隙上，根据SFC的到达率、通用服务器的剩余CPU资源以及物理链路的剩余带宽资源，将VNF部署至合适的目的服务器上，并分配给其CPU资源。本发明提出的VNF部署优化算法可以实现服务提供商总成本和SFC端到端时延的折中，并提高物理网络的资源利用。

Description

一种基于深度强化学习的虚拟网络功能部署优化方法
技术领域
本发明属于移动通信技术领域，涉及一种基于深度强化学习的虚拟网络功能部署优化方法。
背景技术
近年来，网络功能虚拟化(NFV)技术作为网络服务提供的一个重要范式转变，受到了业界和学术界广泛地关注，在NFV架构下，一系列虚拟网络功能VNF按照特定的顺序构成的SFC为用户提供服务，相同类型的VNF可以部署或者重新实例化在不同通用服务器上，不需要重新购买硬件。通过将网络功能从传统的专用硬件中分离出来，NFV可以显著地减少服务提供商的运营成本和资本资出，并且NFV还有助于灵活快速地部署新的虚拟网络服务，另外，软件定义网络(SDN)与NFV一起，通过分离控制面和数据面，允许服务提供商灵活快速地调度网络业务流。
目前，相关现有技术存在如下缺点：在研究VNF部署的文献中，大多数工作只停留在解决单一部署周期的资源调度问题上，而在实际网络场景中，若未动态地分配网络资源处理变化的业务请求，可能会引起数据的积压而导致队列溢出概率增大、端到端时延增加等问题，因此网络应根据当前的队列状态动态地调整资源分配以提供稳定的服务，而且现有的VNF部署机制均没有对服务提供商总成本及SFC端到端时延最小化进行联合考虑，大多数文献研究都是基于环境状态已知的情况下，没有考虑到环境随时间的动态变化。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度强化学习的虚拟网络功能部署优化方法，应用该方案能够在保证底层服务器CPU资源、物理链路带宽资源以及用户时延需求的前提下联合优化服务提供商总成本和SFC端到端时延。
为达到上述目的，本发明提供如下技术方案：
一种基于深度强化学习的虚拟网络功能部署优化方法，该方法在NFV/SDN架构下，当新的业务请求到达时，考虑VNF共享，即一个VNF可以被多条SFC使用；在保证底层物理资源和用户QoS需求的前提下，通过VNF部署和资源分配，实现服务提供商总成本与SFC端到端时延的联合优化；在本方法中，状态空间和动作空间是连续值集合，采用基于深度强化学习的VNF智能部署算法，得到近似最优的VNF部署策略和资源分配策略；
所述NFV/SDN架构包含三层：应用层主要为网络业务流创建SFC，进而通过SFC为用户提供服务；虚拟化层主要负责网络状态监控，以及指导VNF部署；物理层为SFC提供其实例化的物理资源，物理网络主要是由通用服务器和物理链路组成；
所述VNF部署为VNF映射到通用服务器；
所述资源分配为通用服务器分配给映射在其上的VNF CPU资源。
进一步，所述底层物理资源是指通用服务器的CPU资源和物理链路的带宽资源；所述用户QoS需求是指用户时延不能超过最长容忍时延要求。
进一步，所述的服务提供商总成本为：VNF的部署成本，VNF的运行成本，以及虚拟链路带宽成本；所述的SFC端到端时延是指：SFC上的VNF的处理时延和虚拟链路的传输时延。
进一步，所述状态空间为：SFC的达到率，通用服务器剩余CPU资源和物理链路剩余带宽资源；所述动作空间是指VNF部署变量，以及CPU资源分配。
进一步，所述的VNF的部署成本为：上一个时隙该类型VNF没有部署，当前时刻该类型VNF部署，就会产生VNF部署成本；所述的VNF的运行成本时与VNF的服务速率有关；所述虚拟链路带宽成本是与该虚拟链路上传输的数据量有关；所述SFC上的VNF处理时延是与VNF的总到达率，以及通用服务器分配给VNF的CPU资源有关；所述虚拟链路的传输时延是指，业务流通过每条虚拟链路需要的时间；所述VNF的总到达率为多条被VNF所服务的业务流到达率之和。
进一步，所述SFC到达率服从泊松分布；所述通用服务器的剩余CPU资源为该通用服务器的CPU容量减去分配给映射在其上的VNF CPU资源；所述VNF部署变量为一个VNF选择一个服务器进行部署的二进制变量。
进一步，在每个离散的时隙上，根据所述SFC到达率、通用服务器剩余CPU资源以及物理链路剩余带宽资源将VNF部署至目的主机上，并分配给VNF CPU资源，实现服务提供商总成本与SFC端到端时延的联合优化，具体步骤如下：
初始化各参数以及系统状态；
在每个调度时隙开始时，收集当前时隙的状态，即各所述的SFC到达率、通用服务器CPU剩余资源信息以及物理链路剩余带宽资源信息；
根据下式选取近似最优的VNF部署动作和分配CPU资源：
Figure GDA0003672415430000021
其中所述A为：动作空间，即VNF部署二进制变量，以及分配CPU资源；
其中所述γ为：折扣因子，所述Qπ(xt+1,at+1)为：下一时隙的行为值函数；
其中所述rt为：时隙t时的即时回报函数，表示为：
Figure GDA0003672415430000031
其中所述S(t)为服务提供商的总成本，所述Smax为服务提供商的最大成本值；
其中所述Di(t)为第i条SFC的时延，所述τi为第i条SFC的最长时延要求；
其中所述a1与a2为加权值，满足a1+a2＝1；
给定所述VNF部署变量，判断当前所述的VNF部署策略，以及资源分配策略是否满足用户最长时延要求及底层物理资源限制条件；
如果不满足，则重复上述选择最优行为的步骤；如果当前所述的VNF部署和资源分配策略满足约束条件，则将所述VNF部署和资源分配策略通知给每个VNF及通用服务器；
经过数次迭代，判断是否满足收敛条件；
如果不满足收敛条件，则观察下一时隙状态xt+1，重复上述步骤；
按照所述VNF部署和资源分配策略，SFC上的每个VNF部署至指定的底层通用服务器，并分配给其CPU资源；
等待下一个调度时隙。
本发明的有益效果在于：本发明在每个离散资源调度时隙上，系统根据SFC到达率、通用服务器剩余CPU资源以及物理链路剩余带宽资源将VNF部署至目的通用服务器上，并分配给VNF CPU资源，实现服务提供商总成本与SFC端到端时延的联合优化，并提高了底层通用服务器的资源利用率。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为基于NFV/SDN架构场景示意图；
图2为虚拟网络功能迁移优化算法流程图。
具体实施方式
下面结合附图对本发明的具体实施例进行详细说明。
参见图1，图1为本发明的基于NFV/SDN架构场景示意图。
将物理网络抽象为一个无向图GP＝(VP，EP)，VP表示物理节点，即通用物理服务器，为VNF提供其实例化的CPU资源，且每台底层通用物理服务器可以实例化多个VNF,EP表示物理链路集合。每台底层通用服务器v∈VP的CPU容量为
Figure GDA0003672415430000041
连接相邻通用服务器v和u的物理链路evu的带宽容量为
Figure GDA0003672415430000042
且传输时延为τuv。由于某些通用服务器CPU资源利用率低，故本文为通用服务器设置一个CPU资源阈值
Figure GDA0003672415430000043
即每个时隙通用服务器的CPU资源要小于
Figure GDA0003672415430000044
否则通用服务器不会被使用，以此保证通用服务器的资源利用率，并达到节能的目的。
网络中SFC的集合为F，将第i条SFC形式化为有向图
Figure GDA0003672415430000045
表示第i条SFC上的不同类型VNF的集合，
Figure GDA0003672415430000046
表示i条SFC上的虚拟链路集合，第i条SFC的最大容忍时间为τi，通用服务器分配给VNF n的CPU资源表示为
Figure GDA0003672415430000047
并且VNF n的服务速率由物理节点分配给VNF n的CPU资源量
Figure GDA0003672415430000048
决定，即
Figure GDA0003672415430000049
接下来定义两个布尔变量
Figure GDA00036724154300000416
VNF n映射到服务器v时，
Figure GDA00036724154300000410
否则
Figure GDA00036724154300000411
每个VNF n只能选择一个服务器进行映射，即：
Figure GDA00036724154300000412
另外，为了保持系统的稳定性，则分配的CPU资源不能超过通用服务器的CPU容量，即：
Figure GDA00036724154300000413
则通用服务器v的剩余CPU容量
Figure GDA00036724154300000414
可以表示为：
Figure GDA00036724154300000415
在本发明中，主要考虑的SFC端到端时延主要包括链路传输时延和VNF处理时延，对于处理时延，我们在为用户提供服务的VNF处建立M/M/1队列模型，将第i条SFC在VNF n的到达率定义为λn，i，由于相同类型的VNF可以为多个用户请求提供服务，则令P(m|n,i)表示由i条SFC服务的业务流在经过VNF m处理之后传输至VNF n，占由VNF m服务的总业务流比例，若P(m|n,i)＝0表示在第i条SFC中，VNF m不是VNF n的下一个VNF模块，另外，P(m|o,i)＝1表示第i条SFC是从VNF m开始处理业务流，在这里，本文定义一个辅助变量
Figure GDA0003672415430000051
其表示VNF n的总到达率，表示为：
Figure GDA0003672415430000052
通过计算
Figure GDA0003672415430000053
的值，可以通过下式达到系统稳定性的要求，即VNF n处的队列到达率不超过其服务速率，VNF n的CPU计算能力至少能处理流入其的流量，即：
Figure GDA0003672415430000054
另外，如果VNF n映射的通用服务器v上还有多余的CPU资源，还可以进一步分配给VNF n，使VNF n的计算能力增强，加速业务流的处理。
最后，通过
Figure GDA0003672415430000055
表示VNF n处理时间，遵循先到先服务(FCFS,First Come,FirstServe和处理共享(PS,Processor Sharing)排队原则，可以将其表示为：
Figure GDA0003672415430000056
由此可以看出，CPU资源分配策略影响VNF的处理时延。
在计算服务请求在主机之间的物理链路传输时引起的传输时延之前，我们首先需要计算各个SFC遍历VNF n平均次数Ωn，即：
Figure GDA0003672415430000057
其中，第一项表示第i条SFC的初始VNF是否为VNF n,第二项表示第i条SFC服务的业务流在经过VNF m处理之后传输至VNF n，占由VNF m服务的总业务流的比例。
通过Ωn的值，可以得到第i条SFC的传输时延
Figure GDA0003672415430000058
为:
Figure GDA0003672415430000061
另外，物理链路带宽容量满足下式约束：
Figure GDA0003672415430000062
因此第i条SFC的端到端时延可以表示为：
Figure GDA0003672415430000063
由此，我们可以进一步得到网络所有服务类型请求的总时延D，将其表示为：
Figure GDA0003672415430000064
NFV环境下，当网络中有新的SFC请求到达时，服务提供商需要部署VNF至通用服务器，进而提供服务，因此涉及到部署成本
Figure GDA0003672415430000065
值得注意的是，VNF n在t时隙被部署，在t-1时隙没有被部署，即：
Figure GDA0003672415430000066
其中，
Figure GDA0003672415430000067
表示实例化VNF n的单位成本。
则在t时隙，总的部署成本Sde(t)可以表示为：
Figure GDA0003672415430000068
当SFC部署完成后，构成SFC的VNF都需要处理由其服务的业务流，因此会产生VNF运行成本，将VNF n运行成本表示为：
Figure GDA0003672415430000069
其中，
Figure GDA00036724154300000610
表示VNF n运行的单位成本。
则在t时隙网络中总的VNF运行成本可以表示为：
Figure GDA00036724154300000611
与此同时，虚拟链路也要传输数据流，将会产生相应的带宽成本
Figure GDA00036724154300000612
将其表示为：
Figure GDA00036724154300000613
则在t时隙，带宽总成本为：
Figure GDA0003672415430000071
因此定义系统总成本为：
S(t)＝Sop(t)+Sde(t)+Str(t)
参见图2，图2为本发明在每个离散时隙上的VNF部署优化算法流程图，步骤如下：
步骤401：令t＝0。初始化系统参数，其中所述系统参数包括折扣因子γ、最大迭代次数Tmax以及神经网络权重值等。进一步地，初始化系统状态x0，即随机初始化，VNF CPU资源需求以及虚拟带宽资源需求。
步骤402：在每个调度时隙开始时，收集当前时隙的状态xt，即各所述网络拓扑状态信息、VNF CPU资源需求信息以及虚拟带宽资源需求信息；
步骤403：根据下式选取近似最优的VNF部署动作和分配CPU资源：
Figure GDA0003672415430000072
其中所述A为：动作空间，即VNF部署二进制变量，以及分配CPU资源；
其中所述γ为：折扣因子；所述Qπ(xt+1,at+1)为：下一时隙的行为值函数；
其中所述rt为：时隙t时的即时回报函数，表示为：
Figure GDA0003672415430000073
其中所述S(t)为服务提供商的总成本；所述Smax为服务提供商的最大成本值；
其中所述Di(t)为第i条SFC的时延；所述τi为第i条SFC的最长时延要求；
其中所述a1与a2为加权值，满足a1+a2＝1；
步骤404：给定所述VNF部署变量和资源分配变量，判断当前所述的VNF部署策略，以及资源分配策略是否满足用户最长时延要求及底层物理资源限制条件；如果不满足当前所述的VNF部署和资源分配策略，则转到步骤403；如果当前所述的VNF部署和资源分配策略满足约束条件，则执行步骤405；
步骤405：按照所述VNF部署和资源分配策略，SFC上的每个VNF部署至指定的通用服务器，并为其分配CPU资源，并根据决策更新状态xt+1；
步骤406：经过数次迭代，判断是否满足收敛条件。如果没有满足收敛条件，转到步骤402；如果满足收敛条件，则执行步骤407；
步骤407：判断算法迭代次数是否达到最大迭代次数Tmax，若不满足，则令t＝t+1，并跳转到步骤401继续执行，否则算法结束。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于深度强化学习的虚拟网络功能部署优化方法，其特征在于：该方法在NFV/SDN架构下，当新的业务请求到达时，一个VNF能够被多条SFC使用；在保证底层物理资源和用户QoS需求的前提下，通过VNF部署和资源分配，实现服务提供商总成本与SFC端到端时延的联合优化；状态空间和动作空间是连续值集合，采用基于深度强化学习的VNF智能部署算法，得到VNF部署策略和资源分配策略；
所述状态空间为：SFC的达到率，通用服务器剩余CPU资源和物理链路剩余带宽资源；所述动作空间是指VNF部署变量，以及CPU资源分配；
所述NFV/SDN架构包含三层：应用层主要为网络业务流创建SFC，进而通过SFC为用户提供服务；虚拟化层主要负责网络状态监控，以及指导VNF部署；物理层为SFC提供其实例化的物理资源，物理网络主要是由通用服务器和物理链路组成；
所述VNF部署为VNF映射到通用服务器；
所述资源分配为通用服务器分配给映射在其上的VNF CPU资源；
在每个离散的时隙上，根据所述SFC到达率、通用服务器剩余CPU资源以及物理链路剩余带宽资源将VNF部署至目的主机上，并分配给VNF CPU资源，实现服务提供商总成本与SFC端到端时延的联合优化，具体步骤如下：
初始化各参数以及系统状态；
在每个调度时隙开始时，收集当前时隙的状态，即各所述的SFC到达率、通用服务器CPU剩余资源信息以及物理链路剩余带宽资源信息；
根据下式选取VNF部署动作和分配CPU资源：
Figure FDA0003679299780000011
其中所述A为：动作空间，即VNF部署二进制变量，以及分配CPU资源；
其中所述γ为：折扣因子，所述Qπ(xt+1,at+1)为：下一时隙的行为值函数；
其中所述rt为：时隙t时的即时回报函数，表示为：
Figure FDA0003679299780000012
其中所述S(t)为服务提供商的总成本，所述Smax为服务提供商的最大成本值；
其中所述Di(t)为第i条SFC的时延，所述τi为第i条SFC的最长时延要求；
其中所述a1与a2为加权值，满足a1+a2＝1；
所述F为SFC的集合；
给定所述VNF部署变量，判断当前所述的VNF部署策略，以及资源分配策略是否满足用户最长时延要求及底层物理资源限制条件；
如果不满足，则重复上述选择最优行为的步骤；如果当前所述的VNF部署和资源分配策略满足约束条件，则将所述VNF部署和资源分配策略通知给每个VNF及通用服务器；
经过数次迭代，判断是否满足收敛条件；
如果不满足收敛条件，则观察下一时隙状态xt+1，重复上述步骤；
按照所述VNF部署和资源分配策略，SFC上的每个VNF部署至指定的底层通用服务器，并分配给其CPU资源；
等待下一个调度时隙。
2.根据权利要求1所述的一种基于深度强化学习的虚拟网络功能部署优化方法，其特征在于：所述底层物理资源是指通用服务器的CPU资源和物理链路的带宽资源；所述用户QoS需求是指用户时延不能超过最长容忍时延要求。
3.根据权利要求1所述的一种基于深度强化学习的虚拟网络功能部署优化方法，其特征在于：所述的服务提供商总成本为：VNF的部署成本，VNF的运行成本，以及虚拟链路带宽成本；所述的SFC端到端时延是指：SFC上的VNF的处理时延和虚拟链路的传输时延。
4.根据权利要求3所述的一种基于深度强化学习的虚拟网络功能部署优化方法，其特征在于：所述的VNF的部署成本为：上一个时隙同一类型VNF没有部署，当前时刻同一类型VNF部署，就会产生VNF部署成本；所述的VNF的运行成本时与VNF的服务速率有关；所述虚拟链路带宽成本是与该虚拟链路上传输的数据量有关；所述SFC上的VNF处理时延是与VNF的总到达率，以及通用服务器分配给VNF的CPU资源有关；所述虚拟链路的传输时延是指，业务流通过每条虚拟链路需要的时间；所述VNF的总到达率为多条被VNF所服务的业务流到达率之和。
5.根据权利要求1所述的一种基于深度强化学习的虚拟网络功能部署优化方法，其特征在于：所述SFC到达率服从泊松分布；所述通用服务器的剩余CPU资源为该通用服务器的CPU容量减去分配给映射在其上的VNF CPU资源；所述VNF部署变量为一个VNF选择一个服务器进行部署的二进制变量。
CN202010155122.3A 2020-03-06 2020-03-06 一种基于深度强化学习的虚拟网络功能部署优化方法 Active CN111475252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010155122.3A CN111475252B (zh) 2020-03-06 2020-03-06 一种基于深度强化学习的虚拟网络功能部署优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010155122.3A CN111475252B (zh) 2020-03-06 2020-03-06 一种基于深度强化学习的虚拟网络功能部署优化方法

Publications (2)

Publication Number Publication Date
CN111475252A CN111475252A (zh) 2020-07-31
CN111475252B true CN111475252B (zh) 2022-07-15

Family

ID=71747317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010155122.3A Active CN111475252B (zh) 2020-03-06 2020-03-06 一种基于深度强化学习的虚拟网络功能部署优化方法

Country Status (1)

Country Link
CN (1) CN111475252B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189822A (zh) * 2020-09-14 2022-03-15 上海宽带技术及应用工程研究中心 一种用户平面功能网元共享方法、介质及电子设备
CN112543119B (zh) * 2020-11-27 2022-02-18 西安交通大学 一种基于深度强化学习的服务功能链可靠性部署方法
CN113225211B (zh) * 2021-04-27 2022-09-02 中国人民解放军空军工程大学 细粒度的服务功能链扩展方法
CN113660638B (zh) * 2021-07-11 2023-03-24 西北工业大学 适用于无线航空电子内部通信网络的网络资源调度方法
CN115174403B (zh) * 2022-07-02 2024-03-12 华北电力大学 低碳园区多模态通信网络资源调度与路由管理方法及装置
CN115665258B (zh) * 2022-10-21 2023-04-18 南京航空航天大学 一种基于深度强化学习的多目标服务功能链的优先级感知部署方法
CN115622889B (zh) * 2022-12-19 2023-05-09 湖北省楚天云有限公司 一种容器化网络架构及网络功能部署方法
CN116545876B (zh) * 2023-06-28 2024-01-19 广东技术师范大学 基于vnf迁移的sfc跨域部署优化方法、装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107666448A (zh) * 2017-09-30 2018-02-06 重庆邮电大学 一种时延感知下的5g虚拟接入网映射方法
CN108880895A (zh) * 2018-06-28 2018-11-23 重庆邮电大学 基于用户流传输开销优化的sdn联合路由选择及网络功能部署方法
KR20190001891A (ko) * 2017-06-28 2019-01-07 주식회사 케이티 Ict 서비스를 위한 클라우드 인프라 노드를 구성하여 제공하는 장치 및 방법
CN109639498A (zh) * 2018-12-27 2019-04-16 国网江苏省电力有限公司南京供电分公司 一种基于sdn与nfv的面向业务质量的资源柔性配置方法
CN110149646A (zh) * 2019-04-10 2019-08-20 中国电力科学研究院有限公司 一种基于时延和吞吐量的智能电网资源管理方法及系统
CN110505099A (zh) * 2019-08-28 2019-11-26 重庆邮电大学 一种基于迁移a-c学习的服务功能链部署方法
CN110505082A (zh) * 2019-07-26 2019-11-26 国家电网有限公司 一种面向成本和QoS的NFV服务链映射方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190001891A (ko) * 2017-06-28 2019-01-07 주식회사 케이티 Ict 서비스를 위한 클라우드 인프라 노드를 구성하여 제공하는 장치 및 방법
CN107666448A (zh) * 2017-09-30 2018-02-06 重庆邮电大学 一种时延感知下的5g虚拟接入网映射方法
CN108880895A (zh) * 2018-06-28 2018-11-23 重庆邮电大学 基于用户流传输开销优化的sdn联合路由选择及网络功能部署方法
CN109639498A (zh) * 2018-12-27 2019-04-16 国网江苏省电力有限公司南京供电分公司 一种基于sdn与nfv的面向业务质量的资源柔性配置方法
CN110149646A (zh) * 2019-04-10 2019-08-20 中国电力科学研究院有限公司 一种基于时延和吞吐量的智能电网资源管理方法及系统
CN110505082A (zh) * 2019-07-26 2019-11-26 国家电网有限公司 一种面向成本和QoS的NFV服务链映射方法
CN110505099A (zh) * 2019-08-28 2019-11-26 重庆邮电大学 一种基于迁移a-c学习的服务功能链部署方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Resource Aware Routing for Service Function Chains in SDN and NFV-Enabled Network;Jianing Pei 等;《IEEE Transactions on Services Computing》;20180622;第14卷(第4期);第985-997页 *
基于深度确定性策略梯度的虚拟网络功能迁移优化算法;唐伦 等;《电子与信息学报》;20210215;第43卷(第2期);第404-411页 *
面向多业务需求的NFV和SDN融合的资源优化算法;朱晓荣 等;《通信学报》;20181125;第39卷(第11期);第54-62页 *

Also Published As

Publication number Publication date
CN111475252A (zh) 2020-07-31

Similar Documents

Publication Publication Date Title
CN111475252B (zh) 一种基于深度强化学习的虚拟网络功能部署优化方法
CN110187973B (zh) 一种面向边缘计算的服务部署优化方法
CN108260169B (zh) 一种基于QoS保障的服务功能链动态部署方法
CN111130904B (zh) 一种基于深度确定性策略梯度的虚拟网络功能迁移优化算法
Samanta et al. Dyme: Dynamic microservice scheduling in edge computing enabled IoT
Noormohammadpour et al. Datacenter traffic control: Understanding techniques and tradeoffs
CN111953758B (zh) 一种边缘网络计算卸载和任务迁移方法及装置
Hong et al. Achieving high utilization with software-driven WAN
CN108566659B (zh) 一种基于可靠性的5g网络切片在线映射方法
CN110460465B (zh) 面向移动边缘计算的服务功能链部署方法
CN113784373B (zh) 云边协同网络中时延和频谱占用联合优化方法及系统
CN108076158B (zh) 基于朴素贝叶斯分类器的最小负载路由选择方法及系统
CN107846371B (zh) 一种多媒体业务QoE资源分配方法
CN105610715B (zh) 一种基于sdn的云数据中心多虚拟机迁移调度计划方法
CN112118312B (zh) 一种面向边缘服务器的网络突发负载疏散方法
CN112887156B (zh) 一种基于深度强化学习的动态虚拟网络功能编排方法
CN109743217B (zh) 一种基于svra算法的自适应资源调节方法
CN113904923A (zh) 一种基于软件定义网络的服务功能链联合优化方法
CN104734991A (zh) 一种面向工业回程网的端到端时延保障传输调度方法
CN113596868A (zh) 基于sdn和nfv的5g网络切片资源管理机制
CN113946455A (zh) 一种基于瓶颈感知的多级反馈队列Coflow调度方法
CN112423041A (zh) 分布式计算平台下基于QoS约束的视频流处理方法和系统
CN113032146A (zh) 一种面向多接入边缘计算环境的健壮性服务供应方法
CN116684291A (zh) 一种适用通用化平台的服务功能链映射资源智能分配方法
Dong et al. Task-aware flow scheduling with heterogeneous utility characteristics for data center networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230811

Address after: Room 17-2-1615, Huaguoshan Avenue, High tech Zone, Lianyungang City, Jiangsu Province, 222000

Patentee after: Zhicheng Technology Co.,Ltd.

Address before: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518038

Patentee before: Shenzhen Wanzhida Technology Transfer Center Co.,Ltd.

Effective date of registration: 20230811

Address after: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Henglang Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518038

Patentee after: Shenzhen Wanzhida Technology Transfer Center Co.,Ltd.

Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

TR01 Transfer of patent right