CN114172820A

CN114172820A - 跨域sfc动态部署方法、装置、计算机设备及存储介质

Info

Publication number: CN114172820A
Application number: CN202111416907.2A
Authority: CN
Inventors: 蔡君; 周姿锐; 黄忠炜; 罗建桢; 廖丽平; 刘燕; 朱铮宇
Original assignee: Guangdong Polytechnic Normal University
Current assignee: Guangdong Polytechnic Normal University
Priority date: 2021-11-26
Filing date: 2021-11-26
Publication date: 2022-03-11
Anticipated expiration: 2041-11-26
Also published as: CN114172820B

Abstract

本申请涉及一种跨域SFC动态部署方法、装置、计算机设备及存储介质，其中，方法包括：多域编排器集中多个单域编排器的信息，形成全局信息拓扑视图；多域编排器指导多个单域编排器，将虚拟网络功能在基础设施网络中进行部署；基于深度确定性策略梯度算法，多域编排器学习输出服务功能链部署策略；将服务功能链部署策略发送给多个单域编排器，指导多个单域编排器进行跨域动态部署。各域编排器提供有限的域内信息给多域编排器，形成全局信息拓扑视图，多域编排器得到SFC请求后，基于深度强化学习，获得最佳的跨域SFC部署决策，多域编排器将部署决策下发回各域编排器，由各域进行虚拟网络功能VNFs和链路映射，保障用户隐私，可高效低成本地跨域SFC动态部署。

Description

跨域SFC动态部署方法、装置、计算机设备及存储介质

技术领域

本申请涉及服务功能链技术领域，尤其涉及跨域SFC动态部署方法、装置、计算机设备及存储介质。

背景技术

近年来，网络功能虚拟化(Network Function Virtualization，NFV)通过将网络功能与专有硬件解耦，解决了传统网络所面临的不断增长的资本投入与运营开支，以及在网络运行过程中出现的服务更新与升级的困难，达到网络的灵活配置和管控，提高网络的灵活性和拓展性。在NFV系统中，服务功能链(service function chain，SFC)一般由一组顺序相连的虚拟网络功能(Virtual network function，VNF)组成，SFC的高效部署和资源分配是影响虚拟网络功能性能的关键技术。然而，现有的SFC部署方法大多都是在单个基础设备提供商(Infrastructure provider，InP)管理的基础设施网络(单域网络)前提下展开的，针对单域网络的VNF部署方法往往不能适用于多域网络。跨域业务功能的部署变得困难且面临着侵犯用户隐私等问题。在跨多域网络的部署中，许多工作考虑了集中/分布式部署架构。其中，集中式地收集域内信息可能会存在隐私泄露问题，分布式地管理各个域的资源则无法让域间的信息达成共享。而且，由于基础设备提供商不愿意将详细的拓扑信息暴露给第三方，这很大程度上阻碍了SFC部署的进程。可见，不同基础设施网络(如单域网络)和多域网络下SFC请求的资源效率编配存在不合理的问题。

发明内容

本申请实施例的目的在于提出一种跨域SFC动态部署方法、装置、计算机设备及存储介质，以解决现有技术中不同基础设施网络(如单域网络)和多域网络下SFC请求的资源效率编配存在不合理的问题。

为了解决上述技术问题，本申请实施例提供一种跨域SFC动态部署方法，采用了如下所述的技术方案，包括下述步骤：

多域编排器集中多个单域编排器的信息，形成全局信息拓扑视图；

基于所述全局信息拓扑视图，多域编排器指导多个单域编排器，将虚拟网络功能在基础设施网络中进行部署；

基于深度确定性策略梯度算法，多域编排器学习输出服务功能链部署策略；

多域编排器将所述服务功能链部署策略发送给多个单域编排器，指导多个单域编排器进行跨域动态部署。

进一步的，所述多域编排器集中多个单域编排器的信息，形成全局信息拓扑视图的步骤具体包括：

多域编排器收集多个单域编排器的信息；

多域编排器构建全局信息拓扑视图，将所述多个单域编排器的信息在所述全局信息拓扑视图上进行拓扑显示。

进一步的，所述基于所述全局信息拓扑视图，多域编排器指导多个单域编排器，将虚拟网络功能在基础设施网络中进行部署的步骤具体包括：

根据基础设备提供商获取基础设施网络；

所述多域编排器按照所述全局信息拓扑视图，将虚拟网络功能在基础设施网络中进行部署。

进一步的，所述基于深度确定性策略梯度算法，多域编排器学习输出服务功能链部署策略的步骤具体还包括：

建立马尔科夫建模模型，定义基于深度强化学习任务的基本元素；

基于深度强化学习任务的基本元素，执行深度确定性策略梯度算法；

多域编排器学习输出服务功能链部署策略。

进一步的，所述多域编排器将所述服务功能链部署策略发送给多个单域编排器，指导多个单域编排器进行部署动作的步骤具体还包括：

基于全局信息拓扑视图，确定可部署域，由多域编排器域单域编排器建立通信；

基于得到的部署策略，单域编排器依据策略决定向子服务功能链提供指定资源并获得奖励；

单域编排器部署特定的VNFs，引导流量路由。进一步的，所述多域编排器以预设信息收集频率集中收集多个单域编排器的信息，以预设信息刷新频率刷新全局信息拓扑视图。

为了解决上述技术问题，本申请实施例还提供一种跨域SFC动态部署装置，采用了如下所述的技术方案包括：

收集模块，用于多域编排器集中多个单域编排器的信息，形成全局信息拓扑视图；

虚拟网络功能部署模块，基于所述全局信息拓扑视图，多域编排器指导多个单域编排器，将虚拟网络功能在基础设施网络中进行部署；

深度学习模块，用于基于深度确定性策略梯度算法，多域编排器学习输出服务功能链部署策略；

动态部署模块，用于多域编排器将所述服务功能链部署策略发送给多个单域编排器，指导多个单域编排器进行跨域动态部署。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的跨域SFC动态部署方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的跨域SFC动态部署方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：提出了跨域服务功能链SFC部署架构，各域编排器提供有限的域内信息给多域编排器，形成全局信息拓扑视图，多域编排器在得到客户下发的服务功能链SFC请求后，根据全局信息拓扑视图，基于深度强化学习学习，获得最佳的跨域SFC部署决策，最后，多域编排器将部署决策下发回各域编排器，由各域进行虚拟网络功能VNFs和链路映射，在保障用户隐私的同时，实现高效、低成本的跨域SFC动态部署。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的跨域SFC动态部署方法的一个实施例的流程图；

图3是图2中采用的SFC跨域部署架构图；

图4是图2中采用的深度确定性策略梯度DDPG的SFC动态部署流程图；

图5是根据本申请的跨域SFC动态部署装置的一个实施例的结构示意图；

图6是根据本申请的计算机设备的一个实施例的结构示意图。

附图标记：

服务功能链(service function chain，SFC)；

虚拟网络功能(Virtual network function，VNF)；

基础设备提供商(Infrastructure provider，InP)；

多域编排器(Multi-domain Orchestrator，MdO)；

深度强化学习(Deep Reinforcement Learning，DRL)；

深度确定性策略梯度(Deep Deterministic Policy Gradient，DDPG)。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

实施例一

如图1所示，系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E跨域SFC动态部署perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture E跨域SFC动态部署perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对第一终端设备101、第二终端设备102、第三终端设备103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的跨域SFC动态部署方法一般由服务器/终端设备执行，相应地，跨域SFC动态部署装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

实施例二

继续参考图2，示出了根据本申请的跨域SFC动态部署方法的一个实施例的流程图。所述的跨域SFC动态部署方法，包括以下步骤：

步骤S201，多域编排器集中多个单域编排器的信息，形成全局信息拓扑视图。

在本实施例的一些可选的实现方式中，多域编排器集中多个单域编排器的信息，形成全局信息拓扑视图的步骤具体还可以包括：

多域编排器收集多个单域编排器的信息；

图3是图2中采用的SFC跨域部署架构图。如图3所示，建立SFC跨域部署架构，将SFC请求与每个域相关的信息进行协调，根据公布的信息对SFC进行跨域部署。假设可公开的域内信息包括节点可用的计算能力的数量、资源类型、每种资源类型的单位平均成本，以及资源可用容量、延迟以及每个带宽单位的成本。该框架由一个多域编排器MdO作为代理，通过收集每个域提供的有限信息构造全局信息拓扑视图，所以这个结构在逻辑上是集中的。

多域编排器在工作中，接收到部署SFC的请求。MdO通过接收到的SFC请求和已有的全局信息拓扑视图做出部署决策并下传给各域编排器，由各域编排器执行VNFs的部署并进行链路连接；与此同时，各域编排器会得到新的域内信息上传给多域编排器MdO，使得MdO得到新的全局信息拓扑视图。值得注意的是，当子请求部署失败时，当前部署方案会被排除，然后再次进行新的部署方案。此时，更新的全局信息拓扑视图会被利用，且更新的全局信息拓扑视图会服务于新的SFC请求。多域编排器以预设信息收集频率集中收集多个单域编排器的信息，以预设信息刷新频率刷新全局信息拓扑视图。预设信息收集频率和预设信息刷新频率可以根据实际需要设置，例如预设信息收集频率可以为5s一次，预设信息刷新频率可以为5s一次。

采用一个多域编排器MdO充当代理，由于单域之间无法进行信息交互，为保护域间隐私并实现跨域服务功能部署，假设本地域只公开了其基础设施的以下细节：

(1)节点可用的计算能力的数量、资源类型、每种资源类型的单位平均成本。注意，这些数量是通过域操作员之间预先建立的相互协议确定的。

(2)资源可用容量、延迟以及每个带宽单位的成本。

利用以上细节，多域编排器MdO可以根据节点可用算力、资源余量、成本支出等，学习出更好的部署策略，为服务功能链SFC的每一个虚拟网络功能VNF选择更好的节点，并且为虚拟网络功能VNFs之间选择最佳链接路径。然后，这些生成的方案被分配到各域编排器执行最终的部署。

在本实施例中，跨域SFC动态部署方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收跨域SFC动态部署请求。需要指出的是，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMA跨域SFC动态部署连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

步骤S202，基于所述全局信息拓扑视图，多域编排器指导多个单域编排器，将虚拟网络功能在基础设施网络中进行部署。

在本实施例中，基于所述全局信息拓扑视图，多域编排器指导多个单域编排器，将虚拟网络功能在基础设施网络中进行部署的步骤具体包括：

根据基础设备提供商获取基础设施网络；

基础设施网络主要由基础设备提供商InPs提供组成，可为服务功能链SFC请求提供服务。假设服务链SFC_p由s个VNFs组成

表示第s个虚拟网络功能，每一个

需要在基础设施网络中找到合适的节点进行部署，基础设施网络通常包括一组节点以及节点之间的链路，我们用无向图D_n＝(N_n，L_n)表示。其中，

表示第n个域的节点集合，

表示第n个域的链路集合，节点

的资源容量(包括中央处理单元(cpu)、随机访问内存(RAM)、存储等)为

链路

的带宽资源容量为

每个

所需资源表示为R_s。

节点部署：设

是一个二态变量，表示SFC_p中第s个VNF是否已部署到第n个域中的第i个节点：

链路映射：设

表示第n个域中第i个节点到第j个节点之间的链路是否已映射：

此外，在部署过程中，我们还要考虑到资源和成本问题。

资源：已经假设节点

的资源容量为

每个节点资源容量存在一个占比系数γ_i；链路

的带宽资源容量为

每条链路资源容量存在一个占比系数δ_i；每个

所需资源表示为R_s。则服务资源约束可表示为：

成本/延时：在部署过程中，函数目标就是最小化映射成本同时降低服务的延迟，这里用比例系数θ权衡，则目标函数为：

O＝min{θ*C_部署成本+(1-θ)*T_服务延迟} (5)

其中，C_部署成本＝C_node+C_line：

在部署过程中，为了给满足服务功能链SFC请求，一般需要InPs提供一定的资源。所以它就会带来成本压力。假设部署每一个VNF的平均成本为α_s，那么节点总成本表示为：

数据流经过节点

和

节点之间存在最短路径l_i，j，假设该最短路径链路平均带宽消耗为β，那么链路部署成本表示为：

另外，T_服务延迟＝T_node+T_line：

在部署过程中，除了要满足SFC请求，我们还需要考虑VNFs嵌入所需要花费的时间。加上部署每一个VNF的平均时间为τ_s，那么节点的总部署时间表示为：

数据流经过节点

和

节点之间存在最短路径l_i，j，假设该最短路径链路嵌入平均时间为

那么链路部署时间表示为：

算力：在SFC跨域部署过程中，基础设施的算力得到重视，假设每一台基础设施的算力统一，可以表示为P，且每一台可用算力系数为ω，则基础设施能否被选择要根据

这一二态变量决定,表示第n个域中的第i个基础设施可以被使用：

步骤S203，基于深度确定性策略梯度算法，多域编排器学习输出服务功能链部署策略。

基于深度确定性策略梯度DDPG的服务功能链SFC动态部署框架，包括两个基本组件，即观察到的基础设施环境和代理。基础设施环境包括终端、网络监控模块和底层服务器节点等组件。根据不同用户的需求，这些组件将协同实现服务功能链SFC部署工作。代理用于与环境交互，由于环境拥有基础设施网络状态的丰富性和动态性，代理根据当前状态做出最佳决策，指导各域编排器采取行动，即部署虚拟网络功能VNFs和引导流量路由。这里引入了深度确定性策略梯度DDPG来协助SFC的动态部署。

深度确定性策略梯度DDPG能够应对高维输入，实现端到端控制，输出连续动作。使用深度确定性策略梯度DDPG来处理动态和复杂的网络的跨域SFC部署。

深度确定性策略梯度DDPG保持了两个神经网络，分别为Actor-Critic。Actor负责生成动作并和环境交互。在这个架构中，Actor评估一个行动的优势，引导代理制定更好的政策。而Critic负责评估Actor的表现，并指导Actor下一阶段的动作。假设代理在多域编排器MdO中操作，它可以与观测到的基础设施环境(各域提供的信息状态组合成的全局信息拓扑视图)进行交互，并选择能分配到的域中节点和链路资源形成部署决策。动作则由各域编排器确定执行。为了更好地探索环境，这个动作可以添加噪音N。在这个过程中，代理收集各域的状态，决定最终动作并下发执行命令(决策)。每个域通过收到的命令(决策)向子服务功能链SFC要求提供资源从而获得奖励。最后将这些奖励输入Actor，计算损失并更新整个学习模型的参数。

深度强化学习(DRL)的优势在于可以自动训练网络模型，并在运行时对组合问题做出最佳控制决策。

基于深度确定性策略梯度DDPG的动态部署流程是：首先，多域编排器MdO将接收到各域提供的信息状态，根据Actor当前的权值迭代计算行动(Action a)，之后执行动作——服务功能链SFC部署和路由选择。多域编排器MdO接受到部署策略后向各域传递该策略，各域编排器执行部署动作，在执行这个动作之后，Actor将从观察到的环境中获得一个奖励r，当前状态s也将转换为一个新的状态s’，当代理有足够的学习样本后，可以从经验池中选择一个小批量数据进行训练，从而不断更新系统参数，令整一个网络达到最佳状态，以此帮助MdO得到最佳SFC部署策略。

在MdO获得各域状态(S_t＝s)并形成策略后，各域编排器就会根据MdO的指示执行跨域部署策略，该执行动作表示为A_t＝a。考虑一个标准的DRL设置，代理通过与环境交互不断学习，通过奖励提高自身性能。那么，下一个状态和预期奖励就可以通过当前状态和所采取的行动来预测。代理能够通过采取行动、观察过渡转移、获取下一个奖励函数值来挖掘SFC部署的动态特性，从而更新部署决策使决策达到最佳。

在SFC跨域部署问题的建模过程中，定义基于DRL任务的基本元素可以用三元组<S，A，R>表示，其中S表示状态空间，A表示行动，R表示基于DRL的任务中的奖励函数。

1)状态空间S：S表示根据各域提供的信息状态编配状态空间。在多域网络中，信息状态就是各域基础设施提供的信息细节组合成的全局信息拓扑视图，所以状态可以通过全局信息拓扑视图的形式进行描述。设S(t)表示t时刻的网络状态，

n∈N。其中，无向图D_n表示所有域的节点、链路集合，

是节点

的资源容量，

是链路

的带宽资源容量，R_s表示每个

的所需资源。可以将S(t)输入基于DRL进行训练，在最终获得的奖励中不断更新模型，从而输出SFC最佳部署策略。

2)行动A：根据SFC跨域部署，SFC部署动作就是各域VNFs嵌入动作和链路嵌入动作。在这里可以定义

其中，T(t)为t时刻请求服务的流量率，r(t)为t时刻链路上的流量，且∑r(t)＝T(t)，

和

均为二态变量，具体含义可见公式(1)和(2)。

3)奖励函数R：代理通过与环境交互不断学习，通过奖励不断提高自身性能，将SFC跨域部署问题建模为最大化各域回报的马尔科夫决策问题。其中，较低的成本和更低的服务时延就能实现更高的奖励。本文将总服务成本C_total和总服务响应时间T_total的逆函数作为采取行动后的奖励。R(t)＝∑_t＝1γ^kreward作为累计奖励，其中，γ表示奖励折扣。我们采用每个时间步长t的奖励函数R(t)来引导学习主体向优化函数总服务成本C_total和总服务响应时间T_total的最优的结果进行。则reward＝ρ(C_total)^-1+σ(T_total)^-1，其中，ρ，σ＞0表示恒定的奖励系数。

图4是图2中采用的深度确定性策略梯度DDPG的SFC动态部署流程图。如图4所示，基础设施环境当前时刻的网络状态s被代理MdO观测(第一步)，Actor利用当前的权值迭代计算原型行动(Actiona)(第二步)，Actor也将噪声N放入损失函数中并下发执行动作。当网络状态为s时，行动者网络μ选择动作的过程可以表示为：

a＝μ(s|θ^μ)+N (11)

其中，θ^μ是行动者网络μ的参数，N为噪声。

在执行这个动作之后，代理MdO将获得一个奖励r，这将使当前状态s转换为一个新的状态s’(第二步)。重复步骤1和2，然后转换E_{(s，a，r，s')}生成新的状态并存储在经验池中，用于训练代理MdO(第三步)。使用Critic网络近似动作值函数q，其表示为:

q＝Q(s，a|θ^Q) (12)

其中θ^Q为Critic网络的参数。

当DRL代理满足足够的过渡样本时，可以从经验池中选择一个小批量数据进行代理MdO训练(第四步)。在小批处理中，存在一些以E_{s'(s，a，s')}形式存在的过渡样本。参与者获取新状态的批处理，以通过参与者的目标网络确定预测操作。为了稳定学习过程，引入目标网络，构建Actor网络μ值和Critic网络Q值。在目标网络中，可以计算更新策略如下:

其中θ^Q'和θ^μ'分别为Actor网络μ'和Critic网络Q'的权值，τ为控制目标网络更新范围的参数。损失函数可以通过预测的动作来计算(第五步)。Critic利用新状态的批处理和参与者的预测动作来确定目标q值。对于每一个训练片段，Actor和Critic都会根据损失函数得到更新，直到奖励收敛。损耗函数由时域差分计算，用损耗训练Critic(第五步)。另外，Critic计算梯度并更新到Actor(第六步)。因此，损失函数和梯度更新函数可以表示为:

其中L为训练样本，γ为折扣奖励，J为策略更新时的目标函数。

基于深度确定性策略梯度DDPG的SFC部署算法流程如下：

输入：无向图D_n；服务链请求SFC_p；Actor网络a＝μ(s|θ^μ)+N；Critic网络q＝Q(s，a|θ^Q)。

输出:SFC部署动作A(t’)。

(1)用权重θ^μ，θ^Q随机初始化Actor-Critic网络；

(2)更新目标网络Actor网络μ和Critic网络Q的权重：

(3)初始化域内基础设施缓冲区；

(4)当一组SFC不为空，定义

(5)调用IsResourceAvailable()；

(6)初始化N用于操作探索，接收初始观测状态s；

(7)根据目前的策略和勘探噪声，选择VNF嵌入和流量路由动作

(8)执行行动A(t)并获得即时奖励R(t)＝∑_t＝1γ^kreward；

(9)构建新的环境状态s'；

(10)将转换E_(s，a,r,s')存储在缓冲区中；

(11)从缓冲区重放r中抽样随机的N个转换的小批量数据；

(12)通过最小化更新Critic网络

(13)使用抽样的策略梯度更新参与者策略

(14)更新目标权重

(15)确定最佳动作A(t’)；

(16)更新ResourceAvailable()；

(17)结束。

步骤S204，多域编排器将所述服务功能链部署策略发送给多个单域编排器，指导多个单域编排器进行跨域动态部署。

具体实施时，多域编排器将所述服务功能链部署策略发送给多个单域编排器，指导多个单域编排器进行部署动作的步骤具体还包括：

基于全局信息拓扑视图，确定可部署域，由多域编排器与单域编排器建立通信；

基于得到的部署策略，单域编排器依据得到的部署策略决定向子服务功能链提供指定资源并获得奖励；

单域编排器部署特定的VNFs，引导流量路由。仿真实验可以在Ubuntu16.04.2 LTS系统进行，服务器配置为Intel(R)Core(TM)i7-7700 CPU@3.60GHz，GPU配置为NVIDIACorporation GM200[GeForce GTX TITAN X]。仿真实验基于Pythonⁱ语言实现，深度确定性策略梯度DDPG算法中actor-critic神经网络采用Keras和TensorFlow构建。SFC环境遵循OpenAI Gym的通用接口，并通过一个适配器与网络交互，该适配器收集并计算所需的环境状态信息和奖励，适配器的实现取决于特定的网络环境。对于SFC训练和评估，使用轻量级开源模拟器Coord-sim。

本申请通过提出了跨域服务功能链SFC部署架构，各域编排器提供有限的域内信息给多域编排器，形成全局信息拓扑视图，多域编排器在得到客户下发的服务功能链SFC请求后，根据全局信息拓扑视图，基于深度强化学习学习，获得最佳的跨域SFC部署决策，最后，多域编排器将部署决策下发回各域编排器，由各域进行虚拟网络功能VNFs和链路映射，在保障用户隐私的同时，实现高效、低成本的跨域SFC动态部署。

需要强调的是，为进一步保证上述跨域SFC动态部署信息的私密和安全性，上述跨域SFC动态部署信息还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本申请可应用于智慧跨域SFC动态部署跨域SFC动态部署跨域SFC动态部署领域中，从而推动智慧城市的建设。

本申请还可以属于智慧跨域SFC动态部署跨域SFC动态部署领域，通过本方案能够推动智慧城市的建设。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

实施例三

进一步参考图5，作为对上述图2所示方法的实现，本申请提供了一种跨域SFC动态部署装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例所述的跨域SFC动态部署装置400包括：收集模块401、虚拟网络功能部署模块402、深度学习模块403以及动态部署模块404。其中：

收集模块401，用于多域编排器集中多个单域编排器的信息，形成全局信息拓扑视图；

虚拟网络功能部署模块402，基于所述全局信息拓扑视图，多域编排器指导多个单域编排器，将虚拟网络功能在基础设施网络中进行部署；

深度学习模块403，用于基于深度确定性策略梯度算法，多域编排器学习出服务功能链部署策略；

动态部署模块404，用于多域编排器将所述服务功能链部署策略发送给多个单域编排器，指导多个单域编排器进行跨域动态部署。

本实施例所述的跨域SFC动态部署装置执行上述实施例实施例二所述的跨域SFC动态部署方法，具体执行方法请参阅上述实施例实施例二，此处不再赘述。

采用本实施例，通过提出了跨域服务功能链SFC部署架构，各域编排器提供有限的域内信息给多域编排器，形成全局信息拓扑视图，多域编排器在得到客户下发的服务功能链SFC请求后，根据全局信息拓扑视图，基于深度强化学习学习，获得最佳的跨域SFC部署决策，最后，多域编排器将部署决策下发回各域编排器，由各域进行虚拟网络功能VNFs和链路映射，在保障用户隐私的同时，实现高效、低成本的跨域SFC动态部署。

实施例四

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。

所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件存储器61、处理器62和网络接口63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D跨域SFC动态部署存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件，例如跨域SFC动态部署方法的计算机可读指令等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的计算机可读指令或者处理数据，例如运行所述跨域SFC动态部署方法的计算机可读指令。

所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。

实施例五

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的跨域SFC动态部署方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims

1.一种跨域SFC动态部署方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的跨域SFC动态部署方法，其特征在于，所述多个单域编排器的信息包括：

节点可用的计算能力的数量、资源类型、每种资源类型的单位平均成本、资源可用容量、延迟以及每个带宽单位的成本。

3.根据权利要求1所述的跨域SFC动态部署方法，其特征在于，所述多域编排器集中多个单域编排器的信息，形成全局信息拓扑视图的步骤具体包括：

多域编排器收集多个单域编排器的信息；

4.根据权利要求1所述的跨域SFC动态部署方法，其特征在于，所述基于所述全局信息拓扑视图，多域编排器指导多个单域编排器，将虚拟网络功能在基础设施网络中进行部署的步骤具体包括：

根据基础设备提供商获取基础设施网络；

5.根据权利要求1所述的跨域SFC动态部署方法，其特征在于，所述基于深度确定性策略梯度算法，多域编排器学习输出服务功能链部署策略的步骤具体还包括：

多域编排器学习输出服务功能链部署策略。

6.根据权利要求1所述的跨域SFC动态部署方法，其特征在于，所述多域编排器将所述服务功能链部署策略发送给多个单域编排器，指导多个单域编排器进行部署动作的步骤具体还包括：

单域编排器部署特定的VNFs，引导流量路由。

7.根据权利要求1至6任意一项所述的跨域SFC动态部署方法，其特征在于，所述多域编排器以预设信息收集频率集中收集多个单域编排器的信息，以预设信息刷新频率刷新全局信息拓扑视图。

8.一种跨域SFC动态部署装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的跨域SFC动态部署方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的跨域SFC动态部署方法的步骤。