CN111314803A - 弹性光网络中服务链部署方法与装置 - Google Patents

弹性光网络中服务链部署方法与装置 Download PDF

Info

Publication number
CN111314803A
CN111314803A CN202010051195.8A CN202010051195A CN111314803A CN 111314803 A CN111314803 A CN 111314803A CN 202010051195 A CN202010051195 A CN 202010051195A CN 111314803 A CN111314803 A CN 111314803A
Authority
CN
China
Prior art keywords
vnf
deployment
network
state
service chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010051195.8A
Other languages
English (en)
Other versions
CN111314803B (zh
Inventor
陈彬
梅家豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010051195.8A priority Critical patent/CN111314803B/zh
Publication of CN111314803A publication Critical patent/CN111314803A/zh
Application granted granted Critical
Publication of CN111314803B publication Critical patent/CN111314803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062—Network aspects
    • H04Q11/0067—Provisions for optical access or distribution networks, e.g. Gigabit Ethernet Passive Optical Network (GE-PON), ATM-based Passive Optical Network (A-PON), PON-Ring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0005—Switch and router aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062—Network aspects
    • H04Q2011/0073—Provisions for forwarding or routing, e.g. lookup tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例公开了一种弹性光网络中服务链部署方法与装置，包括：获取针对弹性光网络中第一虚拟网络功能VNF服务链的部署请求；根据第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集，第一状态集用于指示第一VNF服务链的部署请求在弹性光网络中的部署状态，第一动作集用于指示第一VNF服务链的部署请求在弹性光网络中的部署动作，第一奖励集用于指示第一动作集在所述弹性光网络中产生的能耗；根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署。本申请实施例不仅有利于降低部署成本和能耗，也有利于提高部署效率。

Description

弹性光网络中服务链部署方法与装置
技术领域
本申请涉及弹性光网络技术领域，具体涉及一种弹性光网络中服务链部署方法与装置。
背景技术
弹性光网络(Elastic Optical Networks,EON)区别于传统的波分复用(Wavelength Division Multiplexing,WDM)网络中频谱资源按照固定栅格(Fixed Grid)划分的限制，通过使用灵活栅格(Flex Grid)技术可以对频谱资源进行灵活智能的划分。弹性光网络可以将合适大小的多个频谱栅格按照每个业务需求的带宽大小灵活分配给不同的业务，这使得弹性光网络具有很高的频谱利用效率。
为了满足网络服务的需求，弹性光网络中部署了大量的专有硬件网络设备来实现网络功能，如代理、入侵检测系统、防火墙等，这些专有硬件网络设备被称为中间件(MiddleBox)。目前，中间件主要采用由服务提供商向用户提供定制的专有硬件，并且中间件的数量往往很多，甚至与路由器的数量相当。对于大规模的弹性光网络，平均部署2850个路由器的网络将部署1946个中间件，而对小规模的弹性光网络，平均7.3个路由器的网络也将部署10.2个中间件。当服务提供商需要启动一项业务时，业务数据流需要流经一系列的中间件来完成业务服务，这一系列的中间件形成了服务链(Service Chaining,SC)。由于这些专有硬件中间件一旦部署难以改变位置，业务数据流往往无法选择其他未部署路径进行路由，可能导致带宽资源的浪费。此外，这些专有硬件中间件还具有设备维护复杂，更新成本过高等缺点，严重限制了网络的发展。因此，如何在弹性光网络中部署服务链以达到降低成本、能耗和灵活部署的目的，成为亟待解决的问题。
发明内容
本申请实施例提供了一种弹性光网络中服务链部署方法与装置，以期望降低部署成本和能耗，以及提高部署效率。
第一方面，本申请实施例提供一种弹性光网络中服务链部署方法，包括：
获取针对弹性光网络中第一虚拟网络功能VNF服务链的部署请求；
根据所述第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集，所述第一状态集用于指示所述第一VNF服务链的部署请求在所述弹性光网络中的部署状态，所述第一动作集用于指示所述第一VNF服务链的部署请求在所述弹性光网络中的部署动作，所述第一奖励集用于指示所述第一动作集在所述弹性光网络中产生的能耗；
根据深度强化学习模型、所述第一状态集、所述第一动作集和所述第一奖励集完成所述第一VNF服务链在所述弹性光网络中的部署。
第二方面，本申请实施例提供一种弹性光网络中服务链部署装置，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元获取弹性光网络中待部署的第一虚拟网络功能VNF服务链业务请求；用于根据所述第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集，所述第一状态集用于指示所述第一VNF服务链的部署请求在所述弹性光网络中的部署状态，所述第一动作集用于指示所述第一VNF服务链的部署请求在所述弹性光网络中的部署动作，所述第一奖励集用于指示所述第一动作集在所述弹性光网络中产生的能耗；用于根据深度强化学习模型、所述第一状态集、所述第一动作集和所述第一奖励集完成所述第一VNF服务链在所述弹性光网络中的部署。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括应用处理器和存储器，所述存储器存储有至少一条指令，所述至少一条指令用于被所述应用处理器执行以实现上述第一方面所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，并且上述计算机程序被处理器执行以实现本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例所描绘的弹性光网络中服务链部署方法与装置，首先，获取针对弹性光网络中虚拟网络功能服务链的部署请求，即通过网络功能虚拟化取代网络中的硬件中间件，使得服务链可以灵活部署和转移，有利于降低部署成本。然后，将虚拟网络功能服务链的部署请求建模为强化学习模型中的第一状态集、第一动作集和第一奖励集。最后，根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署，而深度强化学习模型的使用也有利于提高部署效率。此外，由于第一奖励集可以用于指示第一动作集在弹性光网络中产生的能耗，故使得在弹性光网络中由深度强化学习模型部署服务链所产生的能耗较低，从而有利于降低部署所产生的能耗。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种弹性光网络和波分复用网络结构对比的示意图；
图2是本申请实施例提供的一种弹性光网络的结构示意图；
图3是本申请实施例提供的一种弹性光网络中服务链部署方法的流程示意图；
图4是本申请实施例提供的第一种弹性光网络中部署VNF服务链的示意图；
图5是本申请实施例提供的一种根据弹性光网络中物理节点的资源确定部署VNF类型的示意图；
图6是本申请实施例提供的第二种弹性光网络中部署VNF服务链的示意图；
图7是本申请实施例提供的一种弹性光网络中服务链部署装置的功能单元组成框图；
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、软件、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。下面结合附图，对本申请实施例进行详细介绍。
在对本申请实施例提供的弹性光网络中服务链业务部署方法进行详细介绍之前，先对本申请实施例涉及的弹性光网络进行简单介绍。
弹性光网络(Elastic Optical Networks,EON)是由日本NTT(Nippon Telegraph&Telephone,日本电报电话)公司的Jinno等人在2008年首次提出，其具有灵活粒度栅格。弹性光网络通过引入光正交频分复用(Optical Orthogonal Frequency DivisionMultiplexing，O-OFDM)技术进行子载波复用，并且拥有灵活的频谱配置特性。同时，弹性光网络摆脱了波分复用(Wavelength Division Multiplexing，WDM)网络固定的波长栅格机制，可以分配合适的频谱给不同传输速率需求的业务，从而提高了频谱的利用效率。如图1所示，在波分复用网络中频谱按照ITU-T(International Telecommunication Union,Telecommunication Standardization Sector，国际电信联盟电信标准化部门)标准被分隔成多个固定间隔的栅格，每个网络栅格不仅具有固定的中心频率和频谱宽度，而且分别对应着一条光路。由于这种固定的网络特性，使得波分复用网络存在光波长利用率低、光路缺乏弹性等缺点。而弹性光网络通过使用灵活栅格技术可以对频谱资源进行灵活智能的划分，可以将合适大小的多个频谱栅格按照每个业务需求的带宽大小灵活分配给不同的业务，具有较高的频谱利用效率。
请参阅图2，图2是本申请实施例提供的一种弹性光网络的结构示意图。其中，业务数据流在源节点的IP(Internet Protocol,网际互连协议)层中从低层路由器210C汇入核心路由器210A，并由转换器220A进行信号的“电-光”转换后进入光层中的光交叉连接器(Optical Cross-Connect,OXC)230A。然后，由光交叉连接器230A进行光交换后，业务数据流以一个或多个连续子载波的形式在光纤链路上进行传输，并到达光交叉连接器230B。最后，由转换器220B进行“光-电”转换达到目的节点的核心路由器210B。由于光信号的传输距离有限，每根光纤链路上可以具备光信号放大器(Erbium Doped Fiber Amplifier,EDFA)240来增加光信号的传输距离。
具体的，光交叉连接器是弹性光网络中的一个重要网络单元，其功能可以与波分复用网络中的交换机类比，主要用来完成多波长环网间的交叉连接，作为网格状光网络的结点，目的是实现弹性光网络的自动配置、保护、恢复和重构。光交叉连接器可以包括解复用器(Demultiplexer,DEMUX)、光交叉连接部分(关交叉连接矩阵)和复用器(Multiplexer,MUX)。此外，光交叉连接器可以包括光纤交叉连接器(Fiber Cross-connect,FXC)、波长固定交叉连接器(Wavelength Selective Cross-connect,WSXC)和波长可变交叉连接器(Wavelength Interchanging Cross-connect,WIXC)。
下面将从方法示例的角度介绍弹性光网络中服务链部署方法的执行步骤，请参阅图3。图3是本申请实施例提供的一种弹性光网络中服务链部署方法的流程示意图，该方法包括：
S310、获取针对弹性光网络中第一虚拟网络功能VNF服务链的部署请求。
具体的，网络功能是指服务提供商向用户提供业务时，为满足各种业务的安全性和稳定性而对业务数据流进行相关处理操作，如防火墙(Firewall)、入侵检测系统(Intrusion Detection System,IDS)、网关(Gateway)和代理(Proxy)等。而网络功能虚拟化(Network Function Virtualization,NFV)技术可以在服务器、交换机和存储硬件上通过软件实现传统的专有硬件中间件的网络功能，使得网络功能与底层硬件设备分离，从而达到降低成本、能耗和灵活部署的目的。同时，网络功能虚拟化取代了传统网络的专有硬件中间件，使得网络功能可以灵活的部署和转移，减少了网络中硬件设备的成本、缩短了新产品的上市时间和提高了新服务的投资回报率。另一方面，网络功能虚拟化技术通过硬件资源共享可以在一个硬件资源池上提供多个网络功能以满足更多的用户需求。可以理解的是，弹性光网络采用网络功能虚拟化技术进行服务链的部署，可以达到降低成本、能耗和灵活部署的目的。
具体的，虚拟网络功能(VirtualNetwork Function,VNF)是通过网络功能虚拟化技术以软件形式部署在服务器上的中间件，而由虚拟网络功能组成的服务链叫做VNF服务链。
在一个可能的示例中，VNF服务链的部署请求可以包括部署的源节点、部署的目的节点、VNF序列和资源需求。其中，源节点和目的节点可以为弹性光网络中的物理节点，而物理节点可以包括弹性光网络中的服务器、数据处理中心设备以及具有数据处理与存储功能的各种计算设备等。VNF序列用于指示VNF序列中每个VNF类型的部署顺序。资源需求可以包括部署VNF服务链所需的频谱资源、部署VNF服务链所需要占用的物理节点的资源等。
具体的，VNF服务链从源节点到目的节点需要依次按照VNF序列进行部署，并且服务提供商可以根据不同业务的需求来决定VNF服务链中的VNF类型和VNF数量。其中，VNF类型包括代理、入侵检测系统和防火墙等。入侵检测系统是一种对网络传输进行即时监视，在发现可疑传输时发出警报或者采取主动反应措施的网络安全设备；代理也称网络代理，是一种特殊的网络服务，允许一个网络终端(一般为客户端)通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接；防火墙是通过有机结合各类用于安全管理与筛选的软件和硬件设备，帮助计算机网络于其内、外网之间构建一道相对隔绝的保护屏障，以保护用户资料与信息安全性。如图4所示，弹性光网络需要部署一条从源节点到目的节点的VNF服务链，该VNF服务链包括VNF序列{VNF1,VNF2,VNF3}。然后，在弹性光网络中的物理节点上依次部署VNF1、VNF2和VNF3。
进一步的，VNF服务链的部署需要占用弹性光网络中物理节点的资源(例如服务器的CPU核数、服务器的内存资源和硬盘存储资源等)。由于每个物理节点的资源是有限的，而不同VNF类型所需的资源又不一定相同，因此在弹性光网络中部署服务链时，需要优化VNF服务链的部署方案以提高资源利用效率，并达到网络功耗最优的目标。在部署VNF服务链之前，先根据弹性光网络中物理节点的资源来确定所能部署的VNF类型。例如，如图5所示，物理节点拥有8个CPU核数，而部署入侵检测系统和代理这两种VNF类型需要4个CPU，部署防火墙需要8个CPU。因此，该物理节点的资源可以部署2个入侵检测系统或者2个代理或者1个入侵检测系统与1个代理或者1个防火墙。
进一步的，请参阅图6，图6是本申请实施例提供的第二种弹性光网络中部署VNF服务链的示意图。其中，图6中有两条VNF服务链的部署请求，即VNF服务链1和VNF服务链2。VNF服务链1的部署是从物理节点A到物理节点E，其VNF序列1为{入侵检测系统,防火墙,代理}；VNF服务链2的部署是从物理节点A到物理节点C，其VNF序列2为{防火墙,入侵检测系统,代理}。首先，对于VNF服务链2的部署请求，依次在弹性光网络的物理节点A中部署VNF序列2所要求的防火墙，在物理节点B中部署VNF序列2所要求的入侵检测系统，以及在物理节点C中部署VNF序列2所要求的代理。因此，在完成部署VNF服务链后，弹性光网络中已建立了从物理节点A到物理节点B和从物理节点B到物理节点C的2条光路。然后，VNF服务链1的部署请求可以使用已建立的该2条光路来部署VNF类型，也就是说，可以在物理节点B部署VNF序列1所要求的入侵检测系统，以及在物理节点C部署VNF序列1所要求的防火墙。而对于VNF序列1所要求的代理，可以在物理节点D部署，也可以在物理节点E部署。由于物理节点D可能没有部署VNF类型的资源或者其他情况，可以对物理节点D进行光旁路，直接建立从物理节点C到物理节点E的1条光路，并最终在物理节点E部署VNF序列1所要求的代理。因此，弹性光网络为完成部署该两条VNF服务链，共建立了3条光路。此外，对于在弹性光网络中部署服务链而产生的能耗问题，本申请实施例考虑光信号放大器放置在所有光纤链路中，其在弹性光网络中的能耗为常数。同时，光交叉连接器630的能耗非常小，不是弹性光网络中能耗组成的主要部分，而在弹性光网络中信号的路由过程中，路由器610和转换器620都能产生较大的能耗。因此，在VNF服务链1的部署过程中，转换器620共进行了3次“电-光”转换和3次“光-电”转换，而在VNF服务链2的部署过程中，转换器620共进行了2次“电-光”转换和2次“光-电”转换。可以理解的是，VNF服务链的目的节点决定了转换器620执行“电-光”或“光-电”转换的次数，并且决定了转换器和路由器产生的能耗。
S320、根据第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集。
具体的，强化学习(Reinforcement Learning,RL)模型是机器学习中的一个领域，用于描述和解决智能体(Agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。因此，弹性光网络中第一服务链的部署请求可以通过强化学习模型建模为第一状态集、第一动作集和第一奖励集。其中，第一状态集用于指示第一VNF服务链的部署请求在弹性光网络中的部署状态，第一动作集用于指示第一VNF服务链的部署请求在弹性光网络中的部署动作，第一奖励集用于指示第一动作集在弹性光网络中产生的能耗。
在一个可能的示例中，第一VNF服务链的部署请求可以包括第一VNF序列，第一VNF序列用于指示第一VNF序列中每个VNF类型的部署顺序。根据第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集可以包括以下操作：在部署第一VNF序列中的第一VNF类型的情况下，根据第一VNF类型确定第一状态集、第一动作集和第一奖励集。可以理解的是，VNF服务链需要依次按照VNF序列{VNF1,VNF2,VNF3,VNF4}进行部署。在部署该VNF序列中的VNF2的情况下，可以根据VNF2来确定当前强化学习模型中智能体的状态集、动作集和奖励集。
具体的，在部署第一VNF序列中的第一VNF类型的情况下，根据第一VNF类型确定第一状态集包括如下：首先，从图6的描述可知，VNF服务链的目的节点决定了弹性光网络中产生的能耗大小。因此，在部署第一VNF服务链的情况下，将第一VNF服务链的目的节点引入第一状态集。其次，VNF服务链需要依次按照VNF序列进行部署，而当前VNF类型的部署位置(弹性网络中的物理节点)与VNF序列中该当前VNF类型的上一个VNF类型的部署位置具有一定的联系。也就是说，在部署VNF序列{VNF1,VNF2,VNF3,VNF4}的情况下，当前待部署VNF3的物理节点A与完成部署VNF2的物理节点B是相邻的两个物理节点，并且物理接点A与物理节点B之间建立有光纤链路。因此，在部署第一VNF序列中的第一VNF类型的情况下，将第一VNF类型在第一VNF序列中的上一个VNF类型的部署位置引入第一状态集。然后，从图5的描述可知，VNF服务链的部署需要考虑VNF类型所需的部署资源(即，VNF类型所需要占用的弹性光网络中物理节点的资源大小)，以及弹性光网络中有哪些物理节点拥有足够的资源来部署VNF类型。因此，在部署第一VNF序列中的第一VNF类型的情况下，将在弹性光网络中待部署第一VNF类型的部署位置集合和第一VNF类型所需的部署资源引入第一状态集。最后，从图6的描述可知，VNF服务链1的部署可以使用已建立的2条光路。因此，在部署第一VNF序列中的第一VNF类型的情况下，将弹性光网络中光路集合的光路状态引入第一状态集，该光路状态用于指示所述光路集合中每条光路是否已建立。综上所述，第一状态集可以包括在弹性光网络中完成部署第二VNF类型的部署位置、第一VNF类型、在弹性光网络中待部署所述第一VNF类型的部署位置集合、第一VNF类型所需的部署资源、弹性光网络中光路集合的光路状态。其中，第二VNF类型为第一VNF类型在所述第一VNF序列中的上一个VNF类型。
具体的，在部署第一VNF序列中的第一VNF类型的情况下，根据第一VNF类型确定第一动作集。可以理解的是，第一动作集的动作可以决定第一VNF类型在弹性光网络中哪些物理节点进行部署，也就是说，可以决定第一VNF类型在弹性光网络的部署位置。例如，在第一动作集为{动作1,动作2,动作3}的情况下，动作1可以决定VNF类型在物理节点A部署，动作2可以决定VNF类型在物理节点B部署，以及动作3可以决定VNF类型在物理节点C部署。综上所述，第一动作集可以包括在弹性光网络中部署第一VNF类型的动作。
具体的，在部署第一VNF序列中的第一VNF类型的情况下，根据第一VNF类型确定第一奖励集。可以理解的是，为了评估第一动作集的动作，本申请实施例考虑通过第一动作集的动作在弹性光网络中产生的能耗大小来衡量该动作的价值。因此，第一奖励集可以包括在执行第一动作集的情况下网络设备产生的能耗函数。其中，网络设备包括以下至少一种：弹性光网络中的路由器210、弹性光网络中的转换器220、弹性光网络中的光交叉连接器230和弹性光网络中的光信号放大器240。
进一步的，网络设备产生的能耗函数可以表示为：
r＝0-η(E1+E2)
其中，参数E1表示由弹性光网络中的路由器210和转换器220产生的能耗，参数E2表示由弹性光网络中的光交叉连接器230和光信号放大器240产生的能耗，参数η表示为常数系数，用来调整能耗函数的大小。此外，当第一动作集中的动作使得VNF类型部署到没有资源的物理节点上时，由于该能耗函数为负值，可以设置一个远大于正常能耗的负反馈来表示惩罚。
S330、根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署。
在一个可能的示例中，深度强化学习模型包括深度Q网络模型(Deep QNetwork,DQN)，该DQN模型包括第一网络模型和第二网络模型。根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署可以包括以下操作：初始化第一网络模型和第二网络模型，并将第一网络模型的网络参数复制给第二网络模型；构建第一状态集的初始状态和结束状态，该初始状态用于指示第一VNF服务链的部署请求部署开始，该结束状态用于指示第一VNF服务链的部署请求部署完成；将第一状态集中的第一状态输入第一网络模型，得到第一动作集中的第一动作，该第一状态包括初始状态；执行第一动作，得到第一状态集对应的目标状态和第一奖励集对应的第一奖励值；在目标状态为结束状态的情况下，完成第一VNF服务链在弹性光网络中的部署。
具体的，DQN模型是一种将深度神经网络模型与强化学习模型结合的模型。由于在利用强化学习中的Q-learning模型对复杂的实际问题进行建模时，需要构建庞大的状态集和动作集，这导致Q-learning模型需要维护的Q值表的大小超出了内存可以储存的范围，使得Q-learning模型面临“维度灾难”问题。而DQN模型采用深度神经网络模型来代替Q-learning模型中的Q值表，将维护Q值表作为不断训练来深度神经网模型以达到对Q值函数的拟合。此外，DQN模型包括Q-target(Q-目标)网络模型和Q-eval(Q-估计)网络模型，Q-target网络模型主要用于训练Q-eval网络模型，并且与Q-eval网络模型具有相同的网络结构。
进一步的，第一网络模型可以包括Q-eval网络模型，第二网络模型可以包括Q-target网络模型。此外，第一网络模型和第二网络模型的网络结构可以为以下中的一种：循环神经网络(Recurrent Neural Network,RNN)、卷积神经网络(Convolutional NeuralNetworks,CNN)、深度神经网络(Deep Neural Networks,DNN)。
在一个可能的示例中，在得到第一状态集对应的目标状态集和第一奖励集对应的第一奖励值之后，本申请实施例还可以包括以下操作：设置数据存储集、折扣因子和更新步长；将第一状态、第一动作、目标状态和第一奖励值输入数据存储集；在数据存储集的容量大于预设容量的情况下，从数据存储集中获取第一状态集中的第二状态、第一状态集中的第三状态、第一动作集中的第二动作和第一奖励集中的第二奖励值；将第二状态和第二动作输入第一网络模型，得到第一估计值；将第三状态输入第二网络模型，得到第一目标值；根据第一估计值、第一目标值、第二奖励值和折扣因子确定DQN模型的目标误差函数；根据目标误差函数更新第一网络模型的网络参数；在更新步长整除预设更新阈值的情况下，将第一网络模型的网络参数复制给第二网络模型。可以理解的是，本申请实施例使用第二网络模型来储存第一网络模型的网络参数，并利用第二网络模型产生目标值来训练第一网络模型。然后，在到达一定更新步长时，将第一网络模型的网络参数再储存到第二网络模型中以更新第二网络模型的网络参数以提高DQN模型的稳定性。
进一步的，首先，输入第一状态集中的当前状态st给第一网络模型，第一网络模型计算出第一动作集中的动作at。执行动作at进入下一状态st+1，并得到奖励值r(st,at)，将样本数据{st,at,r(st,at),st+1}存入数据存储集。其次，从数据存储集中随机选择样本数据{sm,am,r(sm,am),sm+1}用以训练第二网络模型，将状态sm和动作am输入第一网络模型得到Q估计值Q(sm,am；θ)和奖励值r(sm,am)，将下一状态sm+1输入第二网络模型得到Q目标值maxa′Q(sm+1,am′；θ′)，其中，参数θ为第一网络模型的网络参数，参数θ′为第二网络模型的网络参数。然后，根据Q估计值、Q目标值、奖励值和折扣因子确定DQN模型的目标误差函数。最后，根据该目标误差函数更新第一网络模型的网络参数，即根据目标误差函数来计算误差，之后反向传播以更新第一网络模型的网络参数。
进一步的，DQN模型的目标误差函数可以表示为：
L(θ)＝[r(sm,am)+γmaxa′Q(sm+1,am′；θ′)-Q(sm,am；θ)]2
其中，参数γ表示为折扣因子。
可以看出，本申请实施例所描绘的弹性光网络中服务链部署方法，首先，获取针对弹性光网络中虚拟网络功能服务链的部署请求，即通过网络功能虚拟化取代网络中的硬件中间件，使得服务链可以灵活部署和转移，有利于降低部署成本。然后，将虚拟网络功能服务链的部署请求建模为强化学习模型中的第一状态集、第一动作集和第一奖励集。最后，根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署，而深度强化学习模型的使用也有利于提高部署效率。此外，由于第一奖励集可以用于指示第一动作集在弹性光网络中产生的能耗，故使得在弹性光网络中由深度强化学习模型部署服务链所产生的能耗较低，从而有利于降低部署所产生的能耗。
基于上述弹性光网络中服务链部署方法实施例的描述，本申请实施例还提供一种弹性光网络中服务链部署装置，请参阅图7。图7是申请实施例提供的一种弹性光网络中服务链部署装置的结构示意图。其中，该服务链部署装置700包括处理单元710和通信单元720。
其中，该处理单元710用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元720来完成相应操作，下面进行详细说明。
该处理单元710具体用于：获取针对弹性光网络中第一虚拟网络功能VNF服务链的部署请求；根据第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集，该第一状态集用于指示第一VNF服务链的部署请求在弹性光网络中的部署状态，该第一动作集用于指示第一VNF服务链的部署请求在弹性光网络中的部署动作，该第一奖励集用于指示第一动作集在弹性光网络中产生的能耗；根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署。
可以看出，本申请实施例所描绘的弹性光网络中服务链部署装置，首先，获取针对弹性光网络中虚拟网络功能服务链的部署请求，即通过网络功能虚拟化取代网络中的硬件中间件，使得服务链可以灵活部署和转移，有利于降低部署成本。然后，将虚拟网络功能服务链的部署请求建模为强化学习模型中的第一状态集、第一动作集和第一奖励集。最后，根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署，而深度强化学习模型的使用也有利于提高部署效率。此外，由于第一奖励集可以用于指示第一动作集在弹性光网络中产生的能耗，故使得在弹性光网络中由深度强化学习模型部署服务链所产生的能耗较低，从而有利于降低部署所产生的能耗。
在一个可能的示例中，第一VNF服务链的部署请求包括第一VNF序列，该第一VNF序列用于指示第一VNF序列中每个VNF类型的部署顺序；在根据第一VNF服务链的部署请求确定第一状态集、第一动作集和第一奖励集方面，该处理单元710具体用于：在部署第一VNF序列中的第一VNF类型的情况下，根据第一VNF类型确定第一状态集、第一动作集和第一奖励集。
在一个可能的示例中，第一状态集包括在弹性光网络中完成部署第二VNF类型的部署位置、第一VNF类型、在弹性光网络中待部署所述第一VNF类型的部署位置集合、第一VNF类型所需的部署资源、弹性光网络中光路集合的光路状态；其中，第二VNF类型为第一VNF类型在第一VNF序列中的上一个VNF类型，光路状态用于指示光路集合中每条光路是否已建立；第一动作集包括在弹性光网络中部署第一VNF类型的动作；第一奖励集包括在执行第一动作集的情况下网络设备产生的能耗函数，该网络设备包括以下至少一种：弹性光网络中的路由器、弹性光网络中的转换器、弹性光网络中的光交叉连接器和弹性光网络中的光信号放大器。
在一个可能的示例中，深度强化学习模型包括DQN模型，该DQN模型包括第一网络模型和第二网络模型；在根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署方面，该处理单元710具体用于：初始化第一网络模型和第二网络模型，并将第一网络模型的网络参数复制给第二网络模型；构建第一状态集的初始状态和结束状态，该初始状态用于指示第一VNF服务链的部署请求部署开始，该结束状态用于指示第一VNF服务链的部署请求部署完成；将第一状态集中的第一状态输入第一网络模型，得到第一动作集中的第一动作，该第一状态包括所述初始状态；执行第一动作，得到第一状态集对应的目标状态和第一奖励集对应的第一奖励值；在目标状态为结束状态的情况下，完成第一VNF服务链在弹性光网络中的部署。
在一个可能的示例中，在得到第一状态集对应的目标状态集和第一奖励集对应的第一奖励值之后，该处理单元710还具体用于：设置数据存储集、折扣因子和更新步长；将第一状态、第一动作、目标状态和第一奖励值输入数据存储集；在数据存储集的容量大于预设容量的情况下，从数据存储集中获取第一状态集中的第二状态、第一状态集中的第三状态、第一动作集中的第二动作和第一奖励集中的第二奖励值；将第二状态和第二动作输入第一网络模型，得到第一估计值；将第三状态输入第二网络模型，得到第一目标值；根据第一估计值、第一目标值、第二奖励值和折扣因子确定DQN模型的目标误差函数；根据目标误差函数更新第一网络模型的网络参数；在更新步长整除预设更新阈值的情况下，将第一网络模型的网络参数复制给第二网络模型。
基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种电子设备。其中，电子设备可以是具备服务链部署能力、网络功能虚拟化能力和虚拟网络功能的电子设备，也可以包括各种具有服务链部署能力、网络功能虚拟化能力和虚拟网络功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)、移动台(Mobile Station，MS)、终端设备(Terminal Device)、服务器、数据处理中心设备等。
请参阅图8，图8是本申请实施例提供的一种电子设备的结构示意图。其中，电子设备包括应用处理器810、存储器820、通信接口830以及一个或多个程序821，其中，该一个或多个程序821被存储在上述存储器820中，并且被配置由上述应用处理器810执行，该一个或多个程序821包括用于执行以下步骤的指令：获取针对弹性光网络中第一虚拟网络功能VNF服务链的部署请求；根据第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集，该第一状态集用于指示第一VNF服务链的部署请求在弹性光网络中的部署状态，该第一动作集用于指示第一VNF服务链的部署请求在弹性光网络中的部署动作，该第一奖励集用于指示第一动作集在弹性光网络中产生的能耗；根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署。
可以看出，本申请实施例所描绘的电子设备，首先，获取针对弹性光网络中虚拟网络功能服务链的部署请求，即通过网络功能虚拟化取代网络中的硬件中间件，使得服务链可以灵活部署和转移，有利于降低部署成本。然后，将虚拟网络功能服务链的部署请求建模为强化学习模型中的第一状态集、第一动作集和第一奖励集。最后，根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署，而深度强化学习模型的使用也有利于提高部署效率。此外，由于第一奖励集可以用于指示第一动作集在弹性光网络中产生的能耗，故使得在弹性光网络中由深度强化学习模型部署服务链所产生的能耗较低，从而有利于降低部署所产生的能耗。
在一个可能的示例中，第一VNF服务链的部署请求包括第一VNF序列，该第一VNF序列用于指示第一VNF序列中每个VNF类型的部署顺序；在根据第一VNF服务链的部署请求确定第一状态集、第一动作集和第一奖励集方面，该一个或多个程序821中的指令具体用于执行以下操作：在部署第一VNF序列中的第一VNF类型的情况下，根据第一VNF类型确定第一状态集、第一动作集和第一奖励集。
在一个可能的示例中，第一状态集包括在弹性光网络中完成部署第二VNF类型的部署位置、第一VNF类型、在弹性光网络中待部署所述第一VNF类型的部署位置集合、第一VNF类型所需的部署资源、弹性光网络中光路集合的光路状态；其中，第二VNF类型为第一VNF类型在第一VNF序列中的上一个VNF类型，光路状态用于指示光路集合中每条光路是否已建立；第一动作集包括在弹性光网络中部署第一VNF类型的动作；第一奖励集包括在执行第一动作集的情况下网络设备产生的能耗函数，该网络设备包括以下至少一种：弹性光网络中的路由器、弹性光网络中的转换器、弹性光网络中的光交叉连接器和弹性光网络中的光信号放大器。
在一个可能的示例中，深度强化学习模型包括DQN模型，该DQN模型包括第一网络模型和第二网络模型；在根据深度强化学习模型、第一状态集、第一动作集和第一奖励集完成第一VNF服务链在弹性光网络中的部署方面，该一个或多个程序821中的指令具体用于执行以下操作：初始化第一网络模型和第二网络模型，并将第一网络模型的网络参数复制给第二网络模型；构建第一状态集的初始状态和结束状态，该初始状态用于指示第一VNF服务链的部署请求部署开始，该结束状态用于指示第一VNF服务链的部署请求部署完成；将第一状态集中的第一状态输入第一网络模型，得到第一动作集中的第一动作，该第一状态包括所述初始状态；执行第一动作，得到第一状态集对应的目标状态和第一奖励集对应的第一奖励值；在目标状态为结束状态的情况下，完成第一VNF服务链在弹性光网络中的部署。
在一个可能的示例中，在得到第一状态集对应的目标状态集和第一奖励集对应的第一奖励值之后，该一个或多个程序821中的指令还具体用于执行以下操作：设置数据存储集、折扣因子和更新步长；将第一状态、第一动作、目标状态和第一奖励值输入数据存储集；在数据存储集的容量大于预设容量的情况下，从数据存储集中获取第一状态集中的第二状态、第一状态集中的第三状态、第一动作集中的第二动作和第一奖励集中的第二奖励值；将第二状态和第二动作输入第一网络模型，得到第一估计值；将第三状态输入第二网络模型，得到第一目标值；根据第一估计值、第一目标值、第二奖励值和折扣因子确定DQN模型的目标误差函数；根据目标误差函数更新第一网络模型的网络参数；在更新步长整除预设更新阈值的情况下，将第一网络模型的网络参数复制给第二网络模型。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括服务器。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括服务器。
需要说明的是，对于上述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合。本领域技术人员应该知悉，本申请不受所描述的动作顺序的限制，因为本申请实施例中的某些步骤可以采用其他顺序或者同时进行。此外，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，本领域技术人员应该知悉，所描述的装置可以通过其它的方式实现。可以理解的是，上述描述的装置实施例仅仅是示意性的。例如，上述单元的划分只是一种逻辑功能划分，实际中可以有另外的划分方式。也就是说，多个单元或组件可以结合或集成到另一个软件，以及一些特征可以忽略或不执行。此外，所显示或讨论的相互之间的耦合、直接耦合或通信连接等方式可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电性或其它的形式。
上述作为分离部件说明的单元可以是物理上分开的，也可以不是。此外，上述作为单元显示的部件可以是物理单元，也可以不是，即可以位于一个网络单元上，也可以分布到多个网络单元上。因此，上述各个实施例可以根据实际的需要选择其中的部分或者全部单元来实现。
另外，上述各个实施例中的各个功能单元可以集成在一个处理单元中，也可以存在不同的物理单元中，也可以两个或两个以上的功能单元集成在一个物理单元中。上述单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。可以理解的是，本申请的技术方案(该技术方案对现有技术做出贡献的部分或者该技术方案的全部或部分)可以通过计算机软件产品的形式体现。该计算机软件产品存储在一个存储器中，包括若干指令用以使得计算机设备(个人计算机、服务器或者网络设备等)执行本申请实施例的全部或部分步骤。此外，上述存储器包括U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员应该知悉，本申请实施例的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于存储器中，该存储器可以包括闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本申请实施例中的说明只是用于帮助理解本申请的方法及其核心思想。本领域技术人员应该知悉，本申请实施例在具体实施方式和应用范围上均会有改变之处，至此，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种弹性光网络中服务链部署方法，其特征在于，包括：
获取针对弹性光网络中第一虚拟网络功能VNF服务链的部署请求；
根据所述第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集，所述第一状态集用于指示所述第一VNF服务链的部署请求在所述弹性光网络中的部署状态，所述第一动作集用于指示所述第一VNF服务链的部署请求在所述弹性光网络中的部署动作，所述第一奖励集用于指示所述第一动作集在所述弹性光网络中产生的能耗；
根据深度强化学习模型、所述第一状态集、所述第一动作集和所述第一奖励集完成所述第一VNF服务链在所述弹性光网络中的部署。
2.根据权利要求1所述的服务链部署方法，其特征在于，所述第一VNF服务链的部署请求包括第一VNF序列，所述第一VNF序列用于指示所述第一VNF序列中每个VNF类型的部署顺序；
所述根据所述第一VNF服务链的部署请求确定第一状态集、第一动作集和第一奖励集，包括：
在部署所述第一VNF序列中的第一VNF类型的情况下，根据所述第一VNF类型确定所述第一状态集、所述第一动作集和所述第一奖励集。
3.根据权利要求2所述的服务链部署方法，其特征在于，所述第一状态集包括在所述弹性光网络中完成部署第二VNF类型的部署位置、所述第一VNF类型、在所述弹性光网络中待部署所述第一VNF类型的部署位置集合、所述第一VNF类型所需的部署资源、所述弹性光网络中光路集合的光路状态；其中，所述第二VNF类型为所述第一VNF类型在所述第一VNF序列中的上一个VNF类型，所述光路状态用于指示所述光路集合中每条光路是否已建立；
所述第一动作集包括在所述弹性光网络中部署所述第一VNF类型的动作；
所述第一奖励集包括在执行所述第一动作集的情况下网络设备产生的能耗函数，所述网络设备包括以下至少一种：所述弹性光网络中的路由器、所述弹性光网络中的转换器、所述弹性光网络中的光交叉连接器和所述弹性光网络中的光信号放大器。
4.根据权利要求1所述的服务链部署方法，其特征在于，所述深度强化学习模型包括深度Q网络DQN模型，所述DQN模型包括第一网络模型和第二网络模型；
所述根据深度强化学习模型、所述第一状态集、所述第一动作集和所述第一奖励集完成所述第一VNF服务链在所述弹性光网络中的部署，包括：
初始化所述第一网络模型和所述第二网络模型，并将所述第一网络模型的网络参数复制给所述第二网络模型；
构建所述第一状态集的初始状态和结束状态，所述初始状态用于指示所述第一VNF服务链的部署请求部署开始，所述结束状态用于指示所述第一VNF服务链的部署请求部署完成；
将所述第一状态集中的第一状态输入所述第一网络模型，得到所述第一动作集中的第一动作，所述第一状态包括所述初始状态；
执行所述第一动作，得到所述第一状态集对应的目标状态和所述第一奖励集对应的第一奖励值；
在所述目标状态为所述结束状态的情况下，完成所述第一VNF服务链在所述弹性光网络中的部署。
5.根据权利要求4所述的服务链部署方法，其特征在于，在所述得到所述第一状态集对应的目标状态集和所述第一奖励集对应的第一奖励值之后，所述方法还包括：
设置数据存储集、折扣因子和更新步长；
将所述第一状态、所述第一动作、所述目标状态和所述第一奖励值输入所述数据存储集；
在所述数据存储集的容量大于预设容量的情况下，从所述数据存储集中获取所述第一状态集中的第二状态、所述第一状态集中的第三状态、所述第一动作集中的第二动作和所述第一奖励集中的第二奖励值；
将所述第二状态和所述第二动作输入所述第一网络模型，得到第一估计值；
将所述第三状态输入所述第二网络模型，得到第一目标值；
根据所述第一估计值、所述第一目标值、所述第二奖励值和所述折扣因子确定所述DQN模型的目标误差函数；
根据所述目标误差函数更新所述第一网络模型的网络参数；
在所述更新步长整除预设更新阈值的情况下，将所述第一网络模型的网络参数复制给所述第二网络模型。
6.一种弹性光网络中虚拟网络功能服务链部署装置，其特征在于，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元获取弹性光网络中待部署的第一虚拟网络功能VNF服务链业务请求；用于根据所述第一VNF服务链的部署请求确定强化学习模型中的第一状态集、第一动作集和第一奖励集，所述第一状态集用于指示所述第一VNF服务链的部署请求在所述弹性光网络中的部署状态，所述第一动作集用于指示所述第一VNF服务链的部署请求在所述弹性光网络中的部署动作，所述第一奖励集用于指示所述第一动作集在所述弹性光网络中产生的能耗；用于根据深度强化学习模型、所述第一状态集、所述第一动作集和所述第一奖励集完成所述第一VNF服务链在所述弹性光网络中的部署。
7.根据权利要求6所述的服务链部署装置，其特征在于，所述第一VNF服务链的部署请求包括第一虚拟网络功能VNF序列，所述第一VNF序列用于指示所述第一VNF序列中每个VNF类型的部署顺序；所述根据所述第一VNF服务链的部署请求确定第一状态集、第一动作集和第一奖励集，所述处理单元用于：
在部署所述第一VNF序列中的第一VNF类型的情况下，根据所述第一VNF类型确定所述第一状态集、所述第一动作集和所述第一奖励集。
8.根据权利要求6所述的服务链部署装置，其特征在于，所述深度强化学习模型包括深度Q网络DQN模型，所述DQN模型包括第一网络模型和第二网络模型；
所述根据深度强化学习模型、所述第一状态集、所述第一动作集和所述第一奖励集完成所述第一VNF服务链在所述弹性光网络中的部署，所述处理单元用于：
初始化所述第一网络模型和所述第二网络模型，并将所述第一网络模型的网络参数复制给所述第二网络模型；
构建所述第一状态集的初始状态和结束状态，所述初始状态用于指示所述第一VNF服务链的部署请求部署开始，所述结束状态用于指示所述第一VNF服务链的部署请求部署完成；
将所述第一状态集中的第一状态输入所述第一网络模型，得到所述第一动作集中的第一动作，所述第一状态包括所述初始状态；
执行所述第一动作，得到所述第一状态集对应的目标状态和所述第一奖励集对应的第一奖励值；
在所述目标状态为所述结束状态的情况下，完成所述第一VNF服务链在所述弹性光网络中的部署。
9.一种电子设备，其特征在于，包括应用处理器和存储器，所述存储器存储有至少一条指令，所述至少一条指令用于被所述应用处理器执行以实现权利要求1-5任一项方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-5任一项方法的步骤。
CN202010051195.8A 2020-01-16 2020-01-16 弹性光网络中服务链部署方法与装置 Active CN111314803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010051195.8A CN111314803B (zh) 2020-01-16 2020-01-16 弹性光网络中服务链部署方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010051195.8A CN111314803B (zh) 2020-01-16 2020-01-16 弹性光网络中服务链部署方法与装置

Publications (2)

Publication Number Publication Date
CN111314803A true CN111314803A (zh) 2020-06-19
CN111314803B CN111314803B (zh) 2021-11-16

Family

ID=71161448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010051195.8A Active CN111314803B (zh) 2020-01-16 2020-01-16 弹性光网络中服务链部署方法与装置

Country Status (1)

Country Link
CN (1) CN111314803B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836736A (zh) * 2015-05-26 2015-08-12 重庆邮电大学 弹性光网络中基于频谱感知的能效资源分配与路径重配置方法
CN108494596A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 多个vnf间依赖的协同式构建与映射sfc方法
CN109818803A (zh) * 2019-02-26 2019-05-28 重庆邮电大学 一种基于机器学习的频谱碎片避免方法
CN110446121A (zh) * 2019-04-07 2019-11-12 西安电子科技大学 基于介数中心度的虚拟网络功能服务链映射方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836736A (zh) * 2015-05-26 2015-08-12 重庆邮电大学 弹性光网络中基于频谱感知的能效资源分配与路径重配置方法
CN108494596A (zh) * 2018-03-23 2018-09-04 西安电子科技大学 多个vnf间依赖的协同式构建与映射sfc方法
CN109818803A (zh) * 2019-02-26 2019-05-28 重庆邮电大学 一种基于机器学习的频谱碎片避免方法
CN110446121A (zh) * 2019-04-07 2019-11-12 西安电子科技大学 基于介数中心度的虚拟网络功能服务链映射方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZIJIAN YANG;BIN CHEN;MINGJUN DAI;GONGCHAO SU;RONGPING LIN: "VNF Placement for Service Chaining in IP over WDM Networks", 《2018 ASIA COMMUNICATIONS AND PHOTONICS CONFERENCE (ACP)》 *
蒋蕊等: "基于业务优先级的EON频谱分配方案", 《光通信技术》 *

Also Published As

Publication number Publication date
CN111314803B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
US20210029218A1 (en) Method and System for Processing Service Function Chain Request
Zhu et al. Attack-aware service provisioning to enhance physical-layer security in multi-domain EONs
EP1993223A1 (en) Method and device of group broadcast protection in wdm optical network
JP2004297230A (ja) 光ネットワーク、光ネットワーク伝送装置及びそれに用いる分散型経路制御方法並びにそのプログラム
CN101656898B (zh) 一种多域波长路由光网络的路径建立方法
Yousefi et al. Novel crosstalk, fragmentation-aware algorithms in space division multiplexed-Elastic Optical Networks (SDM-EON) with considering physical layer security
CN103581006A (zh) 用于灵活栅格光网络全局优化的系统架构及其全局优化方法
Yu et al. Virtual 5G network embedding in a heterogeneous and multi-domain network infrastructure
Etezadi et al. Latency-aware service provisioning in survivable multilayer ip-over-elastic optical networks to support multi-class of service transmission
CN108494597B (zh) 智能光网络仿真系统及方法
CN108260033B (zh) 一种多域光网络安全组播波长分配方法及系统
CN111314803B (zh) 弹性光网络中服务链部署方法与装置
Xuan et al. Routing, spectrum and core assignment for multi-domain elastic optical networks with multi-core fibers
Wei et al. Optimizing energy and spectrum efficiency of virtual optical network embedding in elastic optical networks
CN115175027B (zh) 面向基于Spanke架构全光交换数据中心的Ring业务部署方法
WO2021249478A1 (zh) 资源部署方法、设备、管控系统及计算机存储介质
Boryło et al. Survivable automatic hidden bypasses in Software-Defined Networks
CN112838987A (zh) Och业务路由确定方法、装置和存储介质
Lu et al. Asymmetric CDC ROADMs for efficient support of bi-directionally asymmetric traffic demands
Manousakis et al. Attack-aware lightpath provisioning in elastic optical networks with traffic demand variations
Billah et al. Topology based placement of multicast capable nodes for supporting efficient multicast communication in WDM optical networks
Yu et al. Demonstration of lightpath reconfiguration for BBU aggregation in the SDN-enabled optical fronthaul networks
Yadav RDMSR: A reactive defragmentation with minimum spectrum route strategy for mixed grid optical network
Durán et al. Experimental assessment of a cognitive mechanism to reduce the impact of outdated TEDs in optical networks
Din Fibers Upgrade Sequence Problem on Multi-band Elastic Optical Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant