CN112637032B - 一种服务功能链的部署方法及装置 - Google Patents

Abstract

本申请实施例提供一种服务功能链的部署方法及装置，涉及通信技术领域，解决了现有技术的服务功能链部署灵活性较差，难以取得较好的部署效果的技术问题。该服务功能链的部署方法包括：随机获取经验重放缓冲区的样本数据；根据样本数据更新行动者网络和目标行动者网络；在样本数据的回报函数的回报值收敛的情况下，输出目标行动者网络的参数；根据目标行动者网络的参数确定物理节点，并通过确定的物理节点部署服务功能链。

Description

一种服务功能链的部署方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种服务功能链的部署方法 及装置。

背景技术

在服务功能链部署的过程中，各个虚拟网络功能(virtual network function，VNF)需要基础设施网络为其提供物理网络资源，然而，在 实际部署中，物理网络资源(如计算资源量)通常被假设为一个固定 值，在该固定值设定不合理的情况下，就会使得网络时延较大，因此 现有技术的服务功能链部署灵活性较差，难以取得较好的部署效果。

发明内容

本申请提供一种服务功能链的部署方法及装置，解决了现有技术 的服务功能链部署灵活性较差，难以取得较好的部署效果的技术问题。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种服务功能链的部署方法，包括：随机获取经 验重放缓冲区的样本数据；根据样本数据更新行动者网络和目标行动 者网络；在样本数据的回报函数的回报值收敛的情况下，输出目标行 动者网络的参数；根据目标行动者网络的参数确定物理节点，并通过 确定的物理节点部署服务功能链。

本申请实施例中，可以随机获取经验重放缓冲区的样本数据；根 据样本数据更新行动者网络和目标行动者网络；在样本数据的回报函 数的回报值收敛的情况下，输出目标行动者网络的参数；最后根据目 标行动者网络的参数确定物理节点，并通过确定的物理节点部署服务 功能链。通过该方案，由于可以根据样本数据不断的更新行动者网络 和目标行动者网络直至回报值收敛，因此可以输出实现最佳部署的目 标行动者网络的参数，从而实现服务功能链的最佳部署，进而降低系 统成本和网络时延。

第二方面，提供一种服务功能链的部署装置，包括获取单元和处 理单元。该获取单元，用于随机获取经验重放缓冲区的样本数据。该 处理单元，用于根据样本数据更新行动者网络和目标行动者网络；在 样本数据的回报函数的回报值收敛的情况下，输出目标行动者网络的 参数；根据目标行动者网络的参数确定物理节点，并通过确定的物理 节点部署服务功能链。

第三方面，提供一种服务功能链的部署装置，包括存储器和处理 器。存储器用于存储计算机执行指令，处理器与存储器通过总线连接。 当服务功能链的部署装置运行时，处理器执行存储器存储的计算机执 行指令，以使服务功能链的部署装置执行第一方面提供的服务功能链 的部署方法。

第四方面，提供一种计算机可读存储介质，计算机可读存储介质 包括计算机执行指令，当计算机执行指令在计算机上运行时，使得该 计算机执行第一方面提供的服务功能链的部署方法。

第五方面，提供一种计算机程序产品，该计算机程序产品包括计 算机指令，当计算机指令在计算机上运行时，使得计算机执行如上述 第一方面及其各种可能的实现方式提供的服务功能链的部署方法。

需要说明的是，上述计算机指令可以全部或者部分存储在计算机 可读存储介质上。其中，计算机可读存储介质可以与服务功能链的部 署装置的处理器封装在一起的，也可以与服务功能链的部署装置的处 理器单独封装，本申请对此不作限定。

本申请中第二方面、第三方面、第四方面以及第五方面的描述， 可以参考第一方面的详细描述，此处不再赘述；并且，第二方面、第 三方面、第四方面以及第五方面描述的有益效果，可以参考第一方面 的有益效果分析，此处不再赘述。

在本申请中，上述服务功能链的部署装置的名字对设备或功能模 块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他 名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申 请权利要求及其等同技术的范围之内。

本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

附图说明

图1为本申请实施例提供的一种网络系统的结构示意图；

图2为本申请实施例提供的一种服务功能链的部署方法的流程示 意图；

图3为本申请实施例提供的一种服务功能链的部署装置的结构示 意图；

图4为本申请实施例提供的一种服务功能链的部署装置的硬件结 构示意图之一；

图5为本申请实施例提供的一种服务功能链的部署装置的硬件结 构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部 分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范围。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等 词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性 的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施 例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者 “例如”等词旨在以具体方式呈现相关概念。

为了便于清楚描述本申请实施例的技术方案，在本申请实施例中， 采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或 相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字 样并不是在对数量和执行次序进行限定。

为提高网络的灵活性和可扩展性，移动核心网将虚拟化技术作为 构建未来移动通信网络的关键技术。虚拟化技术隔离了网络的逻辑实 现和物理实现，因此各个定制化的虚拟网络可以以相互隔离的方式共 存于同一个物理网络。基于虚拟化技术，移动核心网可以采用基于服 务的架构(service based architecture，SBA)实现，并将各核心网元功 能虚拟化为VNF。

如图1所示，为基于虚拟化技术的第五代移动通信技术(5th generation mobilenetworks，5G)核心网系统示意图。整个网络系统主 要包括三种不同类型的业务，分别为会话管理服务功能链(service function chaining，SFC)1、用户面功能服务功能链SFC2以及业务应 用服务功能链SFC3。其中，SFC1中的VNF可以包括会话管理功能 (session managefunction，SMF)、策略控制功能(policy control function，PCF)和应用功能(applicationfunction，AF)；SFC2中的VNF可以 包括用户平面功能(user plane function，UPF)。各种类型的核心网元 功能组链为服务功能链，代表了不同需求的网络服务。

为了优化上述核心网系统中的服务功能链部署，本申请实施例提 供了一种服务功能链的部署方法，下面对本申请实施例提供的服务功 能链的部署方法进行详细介绍。

如图2所示，本申请实施例提供一种服务功能链的部署方法，该服 务功能链的部署方法可以应用于服务功能链的部署装置，该服务功能 链的部署方法可以包括下述的S201-S204。

S201、服务功能链的部署装置随机获取经验重放缓冲区的样本数 据。

通过与5G SBA基础网络环的交互，服务功能链的部署装置可以不 断获得更新的历史信息，包括状态、动作与回报，服务功能链的部署 装置可以利用这些历史信息初始化经验重放缓冲区。

由于物理网络资源分配量对服务性能(如时延性能)有很大的影 响。因此，在制定服务功能链部署问题时，可以考虑分配给VNF的计 算资源量对时延特性的影响。服务功能链的部署装置可以确定服务功 能链的所有物理节点的计算资源剩余量。具体的，服务功能链的部署 装置可以建立服务功能链部署与计算资源分配模型，底层物理网络可 以用赋权无向图G＝(N,L)表示，其中，N表示网络中的物理节点，L表 示物理节点之间的链路。虚拟网络中的服务功能链由各个VNF功能按 顺序组合而成，可用赋权有向图G^V＝(N^V,L^V)表示，其中，N^V表示虚拟 节点，L^V表示虚拟链路。虚拟网络运营商请求的服务功能链集合表示 为

可部署在物理网络中的不同种类的VNF集合为 {f_x|x＝1,2,...,X}。系统的第k条服务功能链可表示为

其中，M表示此服务功能链中VNF的总数量。服务功能链的部署装置 可以使所有VNF观察初始环境状态。服务功能链k的各个VNF所观 察的环境状态即为基础设施中所有物理节点的计算资源剩余量。可以 将第n个物理节点的计算资源剩余量记为V_n，某个时刻的状态可记为 s_k,m＝[V₁,V₂,...,V_N]。

之后，服务功能链的部署装置可以根据计算资源剩余量V_n选择动 作，即目标物理节点和计算资源量，并通过执行相应操作，得到回报 函数的回报值。具体的，基础设施网络中有N个物理节点，可分配的 计算资源量可离散化为W种可选级别，动作集中的每个动作可记为 a＝{n,φ}，其中，n∈{1,2,3,...,N}，

服务功能链k中所有 VNF可以基于当前的最大化回报函数策略选择动作a_t；并获得回报值r_t， 以及观察下一个状态s_t+1。

最后，服务功能链的部署装置可以将计算资源剩余量、目标物理 节点、回报值以及执行相应操作后的计算资源剩余量组成的元组 (s_t,a_t,r_t,s_t+1)存储到经验重放缓冲区。经验重放缓冲区可以存储多个元组， 服务功能链的部署装置可以从经验重放缓冲区随机获取小批量的样本 数据。

可选的，服务功能链的部署装置可以确定服务功能链的端到端时 延和部署成本，并构建最小化部署成本和时延加权和以及根据最小化 部署成本和时延加权和定义回报函数。

示例性的，VNF可以部署在基础设施中的任意通用服务器节点上， 将节点上的各类资源统一看作是计算资源。将计算资源分配量与VNF 处理时延的依赖关系定义为线性关系，第k条服务功能链中的第m个 VNF所产生的处理时延

可以定义为与计算资源分配量

相关的函数：

其中，系数a_m和b_m可分别表示为：

为VNF m的最小处理时延，

为VNF m的最大处理时延，

对应VNF m最多计算资源分配量

对应VNF m最少计算资源分配量

进一步地，将第k条服务功能链中映射在 物理节点n上的VNF m所产生的处理时延

定义为：

其中， ρ_n表示物理节点相关系数。

服务功能链端到端时延由处理时延和传输时延两部分组成，可分 别表示为：

和

其中，h_n,n′ 表示处理器节点n与处理器节点n′之间的跳数；d_n,n′表示处理器节点n与 n′之间的传输时延。因此，服务功能链k的端到端时延可表示为：

服务功能链k的部署成本可表示为：

其中，δ_n表示处理器节点n上的计算资源的单价。

最后，构建最小化网络成本和时延加权和：

该加 权和式子需满足:

C5:α＞0,β＞0。其中，η表示 服务功能链中VNF映射；φ表示计算资源分配；C^k表示服务功能链k的 部署成本；D^k表示服务功能链k的端到端时延；α、β表示优化目标权衡 系数；约束条件C1表示服务功能链中的VNF只能部署在一个物理节点 上；C2表示VNF应满足其最小/最大计算资源分配量限制；C3表示为 VNF分配的计算资源不得超过物理节点的总计算资源量

C4表示 服务功能链的端到端时延不得超过其可容忍的时延限制

C5表示两 个权衡系数的取值均为正数。

S202、服务功能链的部署装置根据样本数据更新行动者网络和目 标行动者网络。

以服务功能链k为例。由于网络参数在更新的同时，还被用来计 算目标值，这会带来一定的不稳定性，因此每个VNF的行动者(Actor) 网络和评论家(Critic)网络将使用两个相同的网络，即学习网络和目 标网络，其中目标网络用来计算目标值。具体的，将服务功能链k的 每个VNF作为一个智能体，在集中训练开始时，服务功能链的部署装 置可以随机初始化Actor网络参数θ^μ和Critic网络参数θ^Q，并初始化目 标Actor网络参数θ^μ′←θ^μ，以及目标Critic网络参数θ^Q′←θ^Q。

服务功能链的部署装置随机获取经验重放缓冲区的样本数据后， 可以根据样本数据更新行动者网络和目标行动者网络。

示例性的，以VNF m为例，服务功能链的部署装置可以根据公式：

更新其Critic网络参数

其中，Q_m为 动作-价值函数，

μ(s′)表示所有智能体的确定性 策略；γ表示折扣因子；当前时刻的状态s_t、动作a_t、回报r_t可以简化 为s、a、r；下一个时刻的状态s_t+1可以简化为s′、动作a_t+1可以简化为 a′。服务功能链的部署装置可以根据下述公式更新Actor网络参数

其中，J_m表示VNF m的期望回报。

之后，服务功能链的部署装置可以通过公式θ^μ′←τθ^μ+(1-τ)θ^μ′更新 目标Actor网络，通过θ^Q′←τθ^Q+(1-τ)θ^Q′更新Critic网络，其中，τ表示 软更新因子。

需要说明的是，行动者评论家算法是强化学习领域的一种算法， 由两个网络组成，分别为行动者和评论家。行动者可以根据观察到的 环境状态选择动作，评论家可以判断所选择动作的好坏，这两部分策 略可以使用深度神经网络拟合。行动者网络输入为状态信息，输出为 动作；评论家网络输入为状态信息和选择的动作，输出为时间差分误 差，由计算得到的时间差分误差可以驱动行动者网络和评论家网络的 学习。

S203、服务功能链的部署装置在样本数据的回报函数的回报值收 敛的情况下，输出目标行动者网络的参数。

随着Actor网络参数和目标Actor网络参数的更新，服务功能链的 部署装置可以得到最大回报值的策略，在样本数据的回报函数的回报 值收敛的情况下，服务功能链的部署装置可以将所有VNF的Actor网 络参数θ^μ′返回，并输出目标Actor网络的参数。

可选的，在回报函数的回报值不收敛的情况下，服务功能链的部 署装置可以循环执行上述S202，即根据计算资源剩余量重新选择目标 物理节点并执行相应操作。

需要说明的是，当动作选择满足约束条件上述C1-C4时，各个VNF 的回报值定义为其本身的成本和时延的加权和的负数值，即-αC_k,m-βD_k,m； 否则各个VNF的回报定义为一个负的极大值r_neg。

S204、服务功能链的部署装置根据目标行动者网络的参数确定物 理节点，并通过确定的物理节点部署服务功能链。

在测试阶段，每个VNF可以只通过Actor网络来选择动作，将环 境状态输入Actor网络，输出为自身的动作选择并执行，具体的，服务 功能链的部署装置可以将训练好的Actor网络参数导入模型，所有VNF 可以观察状态

并根据

选择动作并执行， 进而得到系统回报值，从而确定最佳的服务功能链部署和计算资源分 配方案。

本申请实施例提供一种服务功能链的部署方法，由于可以根据样 本数据不断的更新行动者网络和目标行动者网络直至回报值收敛，因 此可以输出实现最佳部署的目标行动者网络的参数，从而实现服务功 能链的最佳部署，进而降低系统成本和网络时延。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。 为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件 模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施 例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件 和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软 件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条 件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描 述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例提供的服务功能链的部署方法，执行主体可以为服 务功能链的部署装置，或者该服务功能链的部署装置中的用于服务功 能链部署的控制模块。本申请实施例中以服务功能链的部署装置执行 服务功能链的部署方法为例，说明本申请实施例提供的服务功能链的 部署装置。

需要说明的是，本申请实施例可以根据上述方法示例对服务功能 链的部署装置进行功能模块的划分，例如，可以对应各个功能划分各 个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。 上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模 块的形式实现。可选的，本申请实施例中对模块的划分是示意性的， 仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

如图3所示，本申请实施例提供的一种服务功能链的部署装置。 该服务功能链的部署装置300可以包括获取单元301和处理单元302。 该获取单元301，可以用于随机获取经验重放缓冲区的样本数据。该处 理单元302，可以用于根据样本数据更新行动者网络和目标行动者网络； 在样本数据的回报函数的回报值收敛的情况下，输出目标行动者网络 的参数；根据目标行动者网络的参数确定物理节点，并通过确定的物 理节点部署服务功能链。例如，结合图2，获取单元301可以用于执行 S201，处理单元302。可以用于执行S202、S203和S204。

可选的，上述处理单元302，还可以用于确定所述服务功能链的所 有物理节点的计算资源剩余量；并根据所述计算资源剩余量选择目标 物理节点，并通过执行相应操作，得到回报函数的回报值；以及将所 述计算资源剩余量、所述目标物理节点、所述回报值以及执行所述相 应操作后的计算资源剩余量存储到经验重放缓冲区。

可选的，上述处理单元302，还可以用于在所述回报函数的回报值 不收敛的情况下，根据所述计算资源剩余量重新选择目标物理节点并 执行相应操作。

可选的，上述处理单元302，还可以用于确定服务功能链的端到端 时延和部署成本；并构建最小化部署成本和时延加权和；以及根据所 述最小化部署成本和时延加权和定义所述回报函数。

当然，本申请实施例提供的服务功能链的部署装置300包括但不限于 上述模块。

本申请实施例还提供一种如图4所示的服务功能链的部署装置， 该服务功能链的部署装置包括处理器11，存储器12、通信接口13、总 线14。处理器11，存储器12以及通信接口13之间可以通过总线14 连接。

处理器11是服务功能链的部署装置的控制中心，可以是一个处理 器，也可以是多个处理元件的统称。例如，处理器11可以是一个通用 中央处理单元(central processingunit，CPU)，也可以是其他通用处 理器等。其中，通用处理器可以是微处理器或者是任何常规的处理器 等。

作为一种实施例，处理器11可以包括一个或多个CPU，例如图4 中所示的CPU 0和CPU 1。

存储器12可以是只读存储器(read-only memory，ROM)或可存 储静态信息和指令的其他类型的静态存储设备，随机存取存储器 (random access memory，RAM)或者可存储信息和指令的其他类型的 动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、磁盘存储介质或者其他 磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期 望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

一种可能的实现方式中，存储器12可以独立于处理器11存在， 存储器12可以通过总线14与处理器11相连接，用于存储指令或者程 序代码。处理器11调用并执行存储器12中存储的指令或程序代码时， 能够实现本申请实施例提供的服务功能链的部署方法。

另一种可能的实现方式中，存储器12也可以和处理器11集成在 一起。

通信接口13，用于与其他设备通过通信网络连接。所述通信网络 可以是以太网，无线接入网，无线局域网(wireless local area networks， WLAN)等。通信接口13可以包括用于接收数据的接收单元，以及用 于发送数据的发送单元。

总线14，可以是工业标准体系结构(Industry Standard Architecture， ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI) 总线或扩展工业标准体系结构(Extended Industry Standard Architecture， EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。 为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或 一种类型的总线。

需要指出的是，图4示出的结构并不构成对该服务功能链的部署 装置的限定。除图4所示部件之外，该服务功能链的部署装置可以包 括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布 置。

图5示出了本申请实施例中服务功能链的部署装置的另一种硬件 结构。如图5所示，服务功能链的部署装置可以包括处理器21以及通 信接口22。处理器21与通信接口22耦合。

处理器21的功能可以参考上述处理器11的描述。此外，处理器 21还具备存储功能，可以参考上述存储器12的功能。

通信接口22用于为处理器21提供数据。该通信接口22可以是服 务功能链的部署装置的内部接口，也可以是服务功能链的部署装置对 外的接口(相当于上述通信接口13)。

需要指出的是，图4(或图5)中示出的结构并不构成对服务功能 链的部署装置的限定，除图4(或图5)所示部件之外，该服务功能链 的部署装置可以包括比图示更多或更少的部件，或者组合某些部件， 或者不同的部件布置。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储 介质包括计算机执行指令。当计算机执行指令在计算机上运行时，使 得计算机执行如上述实施例提供的服务功能链的部署方法中，服务功 能链的部署装置执行的各个步骤。

本申请实施例还提供一种计算机程序产品，该计算机程序产品可 直接加载到存储器中，并含有软件代码，该计算机程序产品经由计算 机载入并执行后能够实现上述实施例提供的服务功能链的部署方法中， 服务功能链的部署装置执行的各个步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者 其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计 算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算 机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产 生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用 计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在 计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计 算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计 算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用 户线(digital subscriber line，DSL))或无线(例如红外、无线、微波 等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。 计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包 含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。 可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例 如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD)) 等。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了 解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说 明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块 完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述 的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和 方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅 仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能 划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以 结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。 另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以 是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性， 机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是 物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以 根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的 目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理 单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单 元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单 元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读 取的存储介质中。基于这样的理解，本申请实施例的技术方案本质上 或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以 以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包 括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前 述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等 各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并 不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范 围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。 因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种服务功能链的部署方法，其特征在于，包括：

随机获取经验重放缓冲区的样本数据；

根据所述样本数据更新行动者网络和目标行动者网络；

在所述样本数据的回报函数的回报值收敛的情况下，输出所述目标行动者网络的参数；

根据所述目标行动者网络的参数确定物理节点，并通过确定的物理节点部署服务功能链；

所述随机获取经验重放缓冲区的样本数据之前，所述方法还包括：

确定所述服务功能链的所有物理节点的计算资源剩余量；

根据所述计算资源剩余量选择目标物理节点，并通过执行相应操作，得到回报函数的回报值；

将所述计算资源剩余量、所述目标物理节点、所述回报值以及执行所述相应操作后的计算资源剩余量存储到经验重放缓冲区。

2.根据权利要求1所述的服务功能链的部署方法，其特征在于，

在所述回报函数的回报值不收敛的情况下，根据所述计算资源剩余量重新选择目标物理节点并执行相应操作。

3.根据权利要求1-2任一项所述的服务功能链的部署方法，其特征在于，所述方法还包括：

确定服务功能链的端到端时延和部署成本；

构建最小化部署成本和时延加权和；

根据所述最小化部署成本和时延加权和定义所述回报函数。

4.一种服务功能链的部署装置，其特征在于，包括：获取单元和处理单元；

所述获取单元，用于随机获取经验重放缓冲区的样本数据；

所述处理单元，用于根据所述样本数据更新行动者网络和目标行动者网络；并在所述样本数据的回报函数的回报值收敛的情况下，输出所述目标行动者网络的参数；以及根据所述目标行动者网络的参数确定物理节点，并通过确定的物理节点部署服务功能链；

所述处理单元，还用于确定所述服务功能链的所有物理节点的计算资源剩余量；并根据所述计算资源剩余量选择目标物理节点，并通过执行相应操作，得到回报函数的回报值；以及将所述计算资源剩余量、所述目标物理节点、所述回报值以及执行所述相应操作后的计算资源剩余量存储到经验重放缓冲区。

5.根据权利要求4所述的服务功能链的部署装置，其特征在于，所述处理单元，还用于在所述回报函数的回报值不收敛的情况下，根据所述计算资源剩余量重新选择目标物理节点并执行相应操作。

6.根据权利要求4-5中任一项所述的服务功能链的部署装置，其特征在于，所述处理单元，还用于确定服务功能链的端到端时延和部署成本；并构建最小化部署成本和时延加权和；以及根据所述最小化部署成本和时延加权和定义所述回报函数。

7.一种服务功能链的部署装置，其特征在于，包括存储器和处理器；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过总线连接；

当所述服务功能链的部署装置运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述服务功能链的部署装置执行如权利要求1-3中任一项所述的服务功能链的部署方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机执行指令，当所述计算机执行指令在计算机上运行时，使得所述计算机执行如权利要求1-3中任一项所述的服务功能链的部署方法。

Images