CN110022230A - 基于深度强化学习的服务链并行部署方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度强化学习的服务链并行部署方法及装置，其中，该方法包括：对离线的服务链部署问题进行数学建模，以得到服务链部署问题的数学公式；根据数学公式为所有服务链中的共享的VNF选择放置服务器位置，其中，通过深度强化学习中的DQN来选择可共享的VNF的服务器位置，以生成多个子服务链；通过最短路径原则将多个子服务链连成完整服务链，并为没有指定放置位置的VNF选择部署服务器。该方法解决了因为串行部署而忽略服务链中的VNF、以及服务链之间的相关性而导致的分配不合理，有效地提高资源的共享率和利用率，采用深度强化学习，降低了计算的复杂度。

Description

基于深度强化学习的服务链并行部署方法及装置

技术领域

本发明涉及深度学习技术领域，特别涉及一种基于深度强化学习的服务链并行部署方法及装置。

背景技术

在当今的企业和数据中心网络中，端到端的网络业务部署通常需要各种各样的网络功能，这些网络功能包含防火墙，负载均衡器和深度包检测等，业务流量需要按顺序经过一系列的网络功能，这些有序的网络功能组成了服务链(Service Function Chain，SFC)。新兴的网络功能虚拟化(Network Function Virtualization，NFV)技术通过将这些网络功能从专用硬件迁移到商品服务器上，改变了它们的实现方式，也就是软件化了专有的硬件，在NFV中又将其称为虚拟网络功能(Virtual Network Function，VNF)。NFV的发展趋势使得运营商可以更加灵活地按需部署和管理网络。而网络的部署成本对于网络运营商来说至关重要。NFV的架构就有助于网络运营商降低资本支出(CAPEX，Capital Expenditure)和运营支出(OPEX，Operating Expense)。使用通用服务器替换昂贵的专有硬件，这大大降低了资本支出。此外，VNFs(多个VNF)可以自动编排，不需要经过专门培训的人员进行部署和维护，降低运营和维护成本。

服务链中的VNF运行在通用服务器上，服务链中每个VNF放置的服务器的可选择范围较广，服务链的有序性导致的VNF之间存在复杂的依赖性，以及相邻VNF之间的物理链路有着多种映射关系，这些因素都是运营商在部署服务链时面临的挑战。网络提供商需要谨慎地为每条服务链的每个VNF选择放置的服务器，然后为相邻的VNF选择物理链路。因此，链路资源和服务器资源是部署服务链时主要需要考虑的资源。

一个网络中的链路资源和服务器资源都是有限并且相互依赖的，只要其中一个资源成为瓶颈，系统性能就会明显下降。例如，当只有少数的服务器可用时，即使链路带宽足够，处理延迟也会增加。同样地，在服务器资源足够时，带宽不足也会导致排队延迟。这两种情况都会导致系统性能低下。因此，虚拟机与带宽之间的复杂关系使得服务链部署问题变得更加棘手。

现有的技术方案都不能解决实现在满足服务等级协议(Service-LevelAgreement，SLA)的同时，使得服务链占用的资源最少问题，现在的技术方案例如，主要是针对提高VM(虚拟机，Virtual Machine)的利用率，而没有考虑所需的带宽资源。即使一些工作考虑联合分配链接和VM资源，也仅限于启发式算法的设计。更重要的是，大多数现有的研究人员认为很难将所有需求作为一个整体进行解决，因此，依次按顺序考虑为每个需求逐个设计放置方案，将其称之为串行放置。串行放置方法忽视了服务请求之间的相互关系，因为每个请求的服务链都是由几个有序的VNF组成，所有的VNF种类不多，因此大部分的服务链都可以与其他的服务链共享VNF，但是串行部署的方法不能够充分考虑这些关系，导致资源配置没有得到优化。在串行放置中，最初放置的SFC有更多的候选服务器，但是后来服务的需求有更少的选择，更早放置的请求直接影响到更晚到达的请求。即使为每个请求找到了最优的放置方案，从全局的角度来看，这仍然是一个局部优化的解决方案。

在相关技术中，在服务链部署方面已经有了很多相关的工作。SFC的部署会涉及链路资源和VM资源之间的权衡。前期的相关工作专注于优化服务器资源而忽略链路带宽资源的优化。解决问题的思路也类似，思路描述如下：

(1)将网络拓扑建模成一个无向图，节点表示服务器资源，边表示链路带宽资源。

(2)将放置问题建模成整数线性规划或者线性规划问题。

(3)设计一个启发式算法寻找最优解。

上述方法存在一些缺点，如下：

(1)没有联合考虑链路资源和服务器资源，将一个服务链的所有的VNF都部署在同一物理节点上。也就是没有考虑链路带宽，因为当所有的VNF映射到同一物理节点时，相邻的VNF之间的流量传输就没有了带宽约束。也只能适用于小规模网络，其算法具有指数复杂性，因此网络规模增大可能会面临指数增长式的爆炸。一种基于线性规划的松弛方法来查找数据中心间的SFC放置方案，将SFC的部署问题分解成两个NP-Hard问题：选址问题(thefacility location problem)和广义分配问题(generalized assignment problem(GAP))。然而，由于过于松弛，上述解决方案中的服务器的计算能力可能会超过了实际的物理资源容量，最多可达16倍。

(2)局限于启发式的算法，虽然联合考虑服务器资源和链路带宽资源，但这些方法大多局限于启发式算法。

相关技术提出了在容量限制下放置和链接最大VNFs数量的启发式方法；一种线性规划方法，用于迭代每个服务链的k短路计算，并选择满足最大可重用VNFs数量的最短路径。一种指定服务链的语法，给出了服务链放置的数学公式，不允许多个租户共享VNF。

相关技术考虑联合分配链路和虚拟机资源，其局限性在于启发式算法的设计。启发式方法收敛更快，但迭代求解问题，影响了求解的质量，增加求解的时间。

(3)串行放置缺乏对服务链的相关性的考虑。

相关的方案几乎都是串行放置服务链，也就是按顺序部署，每到达一个请求，先判断部署该请求需要的服务链的消耗是多少，能否接受该请求，如果可以接受，则根据自己方案设计的部署方案进行放置，如果不可以，则拒绝该服务。但是因为服务链的是由有顺序的VNF组成的，因此VNF之间是有依赖性的，一个服务链的VNF的数量一般不会超过6个，而且一个NFV系统中的VNF种类不会很多，不会超过10个，因此，一个NFV系统中的VNF的重复率很高，大部分的服务链中的VNF都可以重用其他的服务链中的VNF。因此在放置一个服务链的时候，除了一个服务链中的VNF之间存在着相互依赖的前后顺序关系(亲和性)之外，还有一个服务链与另一个服务链中的VNF之间的共享重用关系，因此，如果按串行的顺序进行放置，可能就只能考虑到一个服务链中的顺序关系而忽略了服务链之间的VNF的共享性的考虑。即便按串行顺序放置的服务链的方案中也有过跟前面放置的服务链中的VNF进行共享的方案设计，但是，基于串行放置的共享是十分有限的，因为串行放置的共享只能根据前面已经放置的服务链的布局进行安排，而无法考虑后面的服务链。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度强化学习的服务链并行部署方法，该方法解决了因为串行部署而忽略服务链中的VNF、以及服务链之间的相关性而导致的分配不合理，有效地提高资源的共享率和利用率。

本发明的另一个目的在于提出一种基于深度强化学习的服务链并行部署装置。

为达到上述目的，本发明一方面实施例提出了一种基于深度强化学习的服务链并行部署方法，包括：步骤S1：对离线的服务链部署问题进行数学建模，以得到所述服务链部署问题的数学公式；步骤S2：根据所述数学公式为所有服务链中的共享的VNF选择放置服务器位置，其中，通过深度强化学习中的DQN来选择可共享的VNF的服务器位置，以生成多个子服务链；步骤S3：通过最短路径原则将多个子服务链连成完整服务链，并为没有指定放置位置的VNF选择部署服务器。

本发明实施例的基于深度强化学习的服务链并行部署方法，通过离线服务链并行部署方案，有效减少为服务链分配服务器和链路带宽所需要的资源，创新性地提出服务链的并行部署方法，解决了因为串行部署而忽略服务链中的VNF、以及服务链之间的相关性而导致的分配不合理，有效地提高资源的共享率和利用率；联合考虑服务器资源和链路带宽资源，提高资源的均衡分配，实现资源利用最大化；将深度强化学习应用到优化模型中，将虚拟机运行的VNF类型作为动作集，有效的减少了动作域范围，降低计算的复杂度，提高资源分配的准确性；提出优先级队列的链路映射方案，提高了资源分配的灵活性，将系统资源的利用率最大化。

另外，根据本发明上述实施例的基于深度强化学习的服务链并行部署方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在所述步骤S1中，将数据中心网络建模为一个边加权顶点加权的无向图G＝(V,E)，其中，c_e表示每条边的带宽，e∈E，c_v表示每个顶点的计算能力，v∈V，且用CPU表示节点服务器的计算能力c_v，其中，通过所述节点服务器每秒支持的指令数表示所述计算能力c_v。

进一步地，在本发明的一个实施例中，还包括：根据服务链部署问题获取多个服务链请求，其中，所述多个服务链请求包括每个服务链请求的源点和目的点的服务器与每个服务链中的VNF的顺序、类型和资源消耗。

进一步地，在本发明的一个实施例中，在为共享的VNF选择放置服务器时，采用深度强化学习，以使DRL根据网络拓扑和所述每个服务链请求的源点和目的点的位置分布为共享的VNF选择服务器。

为达到上述目的，本发明另一方面实施例提出了一种基于深度强化学习的服务链并行部署装置，包括：建模模块，用于对离线的服务链部署问题进行数学建模，以得到所述服务链部署问题的数学公式；选择模块，用于根据所述数学公式为所有服务链中的共享的VNF选择放置服务器位置，其中，通过深度强化学习中的DQN来选择可共享的VNF的服务器位置，以生成多个子服务链；部署模块，用于通过最短路径原则将多个子服务链连成完整服务链，并为没有指定放置位置的VNF选择部署服务器。

本发明实施例的基于深度强化学习的服务链并行部署装置，通过离线服务链并行部署方案，有效减少为服务链分配服务器和链路带宽所需要的资源，创新性地提出服务链的并行部署方法，解决了因为串行部署而忽略服务链中的VNF、以及服务链之间的相关性而导致的分配不合理，有效地提高资源的共享率和利用率；联合考虑服务器资源和链路带宽资源，提高资源的均衡分配，实现资源利用最大化；将深度强化学习应用到优化模型中，将虚拟机运行的VNF类型作为动作集，有效的减少了动作域范围，降低计算的复杂度，提高资源分配的准确性；提出优先级队列的链路映射方案，提高了资源分配的灵活性，将系统资源的利用率最大化。

另外，根据本发明上述实施例的基于深度强化学习的服务链并行部署装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述建模模块还用于，将数据中心网络建模为一个边加权顶点加权的无向图G＝(V,E)，其中，c_e表示每条边的带宽，e∈E，c_v表示每个顶点的计算能力，v∈V，且用CPU表示节点服务器的计算能力c_v，其中，通过所述节点服务器每秒支持的指令数表示所述计算能力c_v。

进一步地，在本发明的一个实施例中，还包括：获取模块。

所述获取模块，用于根据服务链部署问题获取多个服务链请求，其中，所述以多个服务链请求包括每个服务链请求的源点和目的点的服务器与每个服务链中的VNF的顺序、类型和消耗资源。

进一步地，在本发明的一个实施例中，所述选择模块具体用于，在为共享的VNF选择放置服务器时，采用深度强化学习，以使DRL根据网络拓扑和所述每个服务链请求的源点和目的点的位置分布为共享的VNF选择服务器。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于深度强化学习的服务链并行部署方法流程图；

图2为根据本发明实施例的串并行部署方案对比图；

图3为根据本发明实施例的基于深度强化学习的服务链并行部署方法并行部署方案流程图；

图4为根据本发明实施例的DRL原理框架图；

图5为根据本发明实施例的基于深度强化学习的服务链并行部署装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于深度强化学习的服务链并行部署方法及装置。

首先将参照附图描述根据本发明实施例提出的基于深度强化学习的服务链并行部署方法。

图1为根据本发明实施例的基于深度强化学习的服务链并行部署方法流程图。

如图1所示，该基于深度强化学习的服务链并行部署方法包括以下步骤：

在步骤S1中，对离线的服务链部署问题进行数学建模，以得到服务链部署问题的数学公式。

进一步地，在步骤S1中，将数据中心网络建模为一个边加权顶点加权的无向图G＝(V,E)，其中，c_e表示每条边的带宽，e∈E，c_v表示每个顶点的计算能力，v∈V，且用CPU表示节点服务器的计算能力c_v，其中，通过节点服务器每秒支持的指令数表示计算能力c_v。

在步骤S2中，根据数学公式为所有服务链中的共享的VNF选择放置服务器位置，其中，通过深度强化学习中的DQN(Deep Q Network，一种算法)来选择可共享的VNF的服务器位置，以生成多个子服务链。

进一步地，在本发明的一个实施例中，在为共享的VNF选择放置服务器时，采用深度强化学习，以使DRL根据网络拓扑和每个服务链请求的源点和目的点的位置分布为共享的VNF选择服务器。

在步骤S3中，通过最短路径原则将多个子服务链连成完整服务链，并为没有指定放置位置的VNF选择部署服务器。

进一步地，当共享VNF选择完成之后，连成子服务链，以子服务链为单位进行部署未共享的VNF，且根据优先级队列获取需要部署的VNF的部署顺序。

进一步地，在本发明的一个实施例中，还包括：根据服务链部署问题获取多个服务链请求，其中，多个服务链请求包括每个服务链请求的源点和目的点的服务器与每个服务链中的VNF的顺序、类型和资源消耗。

进一步地，本发明的实施例采用的是并行部署的方法，提供的算法能够提供一种最优的服务链部署方案，如图2所示，与串行部署的方法相比，并行放置可以显著提高VM的共享率，优化资源配置。

本发明实施例的并行放置可以从全局出发，同时考虑所有的请求，设计一个总的部署方案，可以将共享最大化，最大程度的节约资源，实现全局最优。

下面通过具体的实施例对本发明的服务链并行部署方法进行详细说明。

本发明的实施例为服务链的部署提供了一种离线的放置算法。当服务链中每个VNF的种类以及顺序已知，且每个请求都已知的情况下，算法能得出在满足服务请求的同时，消耗资源量最少的服务链部署。具体解决以下技术问题：

(1)提高服务器资源共享性：在传统解决方案中，VNF的共享率低，会导致资源的浪费。共享率低的一个主要原因是，传统的解决方案采用串行放置方式，串行放置无法考虑所有的服务链之间的VNF的关系，每次放置的服务链只能受限于前面部署的服务链，不能将服务链中的相同的VNF的共享率最大化，因此，本发明采用并行放置的机制，综合考虑所有的服务链中的VNF，根据所有请求的源点服务器和目的点服务器的分布情况，为所有请求设计全局部署方案，提高资源共享率，节省服务器资源。

(2)降低计算的复杂度：现有的大部分的解决方案基本上都是将放置问题归纳总结为线性规划问题，然后设计一个启发式的算法来解决。但是这样的方案一般都会有很高的计算复杂度，本发明采用深度强化学习，一改传统的部署方案中的启发式算法，避免了复杂度爆炸的问题。

(3)提高链路带宽的利用率：传统方案采用串行放置的方式，最突出的特点是，无法考虑前面部署的服务链和后面需要部署的服务链之间的关联性，但前面部署的服务链却会对后面部署的服务链造成很大的影响。并行部署会先确定所有可以共享的VNF的位置，但是有些VNF不能共享，因此需要在并行放置之后，将每个服务链中剩余的没有被安排服务器的VNF进行服务器的位置选择，设计一个优先级队列来按顺序为这些VNF寻找的放置位置。可选择范围大的服务链的优先级低，可选择范围小，受限制多的服务链优先级高，这样就可以很好的提高服务链的部署的灵活性，提高请求的接受率。

本发明的实施例提供了一种离线的服务链部署方案，当给定多个服务链的请求，其中每个请求的源点和目的点的服务器已知，每个服务链中的VNF的顺序和类型以及消耗的资源已知，本发明实施例所提供的并行部署方法能够设计一种部署方案。

具体的，方案包括为每个VNF分配的服务器，每个服务链映射的物理链路，该部署方案能满足SLA需求，且该部署方案占用的资源量是最少的。该算法主要分为三步，第一步是对问题进行数学建模，将问题用公式进行表示，第二步基于问题的数学公式为所有服务链中的可共享的VNF选择位置，通过深度强化学习中的DQN来实现共享VNF的服务器位置选择，第三步采用最短路径原则将第二步中形成的子服务链连成完整的服务链，并且为没有部署的VNF选择放置位置。

(1)离线的服务链部署问题数学建模方法

将数据中心网络建模为一个边加权顶点加权的无向图G＝(V,E)，其中c_e表示每条边的带宽，e∈E,c_v表示每个顶点的计算能力，v∈V。每个服务器最多可以托管M个VM，所有服务器托管的虚拟机的总数量为N，O表示所有的VM的集合，c_m表示每个虚拟机的计算能力，m∈O。每个服务器或者虚拟机的计算能力可以通过很多指标来衡量，比如CPU、内存等，根据现有的相关工作发现大部分情况下，通常CPU都是瓶颈资源，因此，用CPU来表示节点服务器的计算能力c_v，可以通过服务器每秒支持的指令数(IPS)来表示c_v。

离线的服务链部署问题所解决的问题是当给定一定数量的请求D＝{d₁,d₂,d₃,…}时，需要计算最佳的服务链部署方案。

具体的，服务请求包括：1)请求的源点和目的点服务器[src_i，dst_i]；2)每个请求的服务链S_i，S_i＝{s_i,1,s_i,2,s_i,3,…}，s_i,j表示服务链i的第j个VNF，其中，s_i,j∈F＝{f₀,f₁,f₂,f₃,f₄,f₅,f_idle}，F表示所有VNF种类的集合；3)每个请求需要的资源，带宽需求bw_i，CPU需求cpu_i。每个服务请求可以用数学表达式表示为{[src_i，dst_i]，bw_i，cpu_i，S_i}。

本发明实施例假设每个虚拟机最多只能运行一种VNF，f∈F。不同的虚拟机可以支持相同的VNF，而且一个虚拟机可以为不同的服务链服务，在它有足够的计算能力的情况下，用|S_i|表示服务链的长度，假设服务链长度不会超过6。

(2)基于深度强化学习的共享VNF并行部署方法

在(1)中，模型已经建立完毕，服务链的部署问题相当于在一个加权无向图上寻找最小费用流的问题。如图3所示，举例说明了服务链并行部署方案。假设网络中有10个节点服务器，当前收到三个服务请求，如图3(a)所示，每个服务器可以托管4个VM，如图3(b)所示。NF1和NF2是三个服务链都可以共享的VNF，具体的，NF1可以被SFC-1和SFC-3共享，NF2可以被SFC-2和SFC-3共享，因此，首先为共享的VNF选择的托管服务器，如图3(c)所示。然后，部署不能被共享的剩余VNFs，具体的，为SFC-2的NF1和NF3选择托管服务器，并且为每个请求分配物理链路，如图3(d)。

图3详细地展示了并行部署方案的实施步骤，接下来主要介绍并行部署方案的第一步(如图3(c))：为共享的VNF寻找托管的服务器。图3给了一个简单的例子，但是实际中的共享VNF的位置选择很复杂，因为VNF种类少，一般不会超过10种，而请求多种多样，因此，大部分的服务链都与其他的服务链有可以共享的VNF，再加上网络拓扑的构成复杂，为共享的VNF选择放置服务器是一个很棘手并且很关键的问题。因此，在为共享VNF选择放置服务器时，采用深度强化学习，DRL(深度强化学习，Deep Reinforcement Learning)根据网络拓扑和每个请求的源点和目的点的位置分布来为共享的VNF选择最佳的托管服务器。

1)DQN

深度学习的基本思想是通过多层的网络结构和非线性变换，组合低层特征，形成抽象的、易于区分的高层表示，以发现数据的分布式特征表示。因此深度学习侧重于对事物的感知和表达。

强化学习(Reinforcement Learning，RL)，也叫增强学习，是指一类从与环境交互中不断学习问题以及解决这类问题的方法。强化学习的基本思想是通过最大化智能体(agent)从环境中获得的累计奖赏值(reward)，以学习到完成目标的最优策略。因此，强化学习方法更加侧重于学习解决问题的策略。

谷歌的人工智能研究团队DeepMind创新性地将具有感知能力的深度学习和具有决策能力的强化学习相结合，形成了人工智能领域新的研究热点，即深度强化学习(DeepReinforcement Learning，DRL)，用强化学习来定义问题和优化目标，用深度学习来解决策略和值函数的建模问题，然后使用误差反向传播算法来优化目标函数。此后，在很多挑战性领域中，DeepMind团队构造并实现了人类专家级别的agent。这些agent对自身知识的构建和学习都直接来自原始输入信号，无需任何的人工编码和领域知识.因此DRL是一种端对端(end-to-end)的感知与控制系统，具有很强的通用性。

其学习过程可以描述为：

a)，在每个时刻agent与环境交互得到一个高维度的观察，并利用深度学习方法来感知观察，以得到抽象、具体的状态特征表示；

b)基于预期回报来评价各动作的价值函数，并通过某种策略将当前状态映射为相应的动作；

c)环境对此动作做出反应，并得到下一个观察.通过不断循环以上过程，最终可以得到实现目标的最优策略。DRL原理框架如图4所示。

DQN算是DRL的一个重要起点，DeepMind声称，DQN的出现弥补了高维感官输入与特定动作之间的差距，使得AI(人工智能，Artificial Intelligence)能够完成多个复杂任务。如上所述，需要DRL算法来自动学习复杂的网络拓扑和各种各样的请求下的VNF部署策略。因此，选择DQN作为DRL算法。

接下来将描述一个基于MDP模型的DQN。并行部署中的每个状态定义为:

M＝<S,A,T,R> (1)

A＝{a∈F|A_min≤a≤A_max} (3)

S为数据中心网络状态集合，S中包括：

φ是需求φ＝{d₁,d₂,d₃,…}的集合。由于需求中的源和目标服务器的分布会直接影响VNF的部署位置选择，所以请求也作为状态的一部分。假设一个物理服务器位于多个服务请求的最短路径上，或者非常接近一些请求的源或目标服务器，那么在这个VM上放置的VNF的类型与这些服务请求密切相关。假设这些请求只需要常见的VNFs，比如防火墙和DPI(Deep Packet Inspection，深度包检测技术)，应该在这个服务器上放置一定数量的防火墙和DPIs。因此，每个服务器上的虚拟机应该运行的VNF的具体数量和类型都是与服务请求的分布密切有关，这种关系在下述的奖励函数中再详细描述，这里不再赘述。

υ是网络中所有虚拟机的集合，υ＝{m_0,0,…,m_0,M,…,m_i,0,…,m_i,j,…,m_i,M,…}，其中，0≤i≤N，0≤j≤M。M是服务器上可以托管的最多的虚拟机数量，N表示系统中的服务器的总量，m_i,j表示第i个服务器上托管的第j个虚拟机运行的VNF的类型，m_i,j∈F＝{f₀,f₁,f₂,f₃,f₄,f₅,f_idle}。比如：m_1,2＝f₁表示第一个服务器上的第二个VM运行的是VNF类型为f₁。当所有可以共享的VNF都部署完毕，那么其余的虚拟机的类型就是f_idle，即m_i,j＝f_idle，表示m_i,j虚拟机没有运行任何VNF。这些被闲置的VM后面会可以运行那些不共享的VNF，而且还可以在流量突然增加的时候，作为备份虚拟机，提高系统的可靠性和扩展性。

表示标识器，系统中有N*M个虚拟机，表示当前的DQN为第k虚拟机选择需要运行的VNF的类型为m_i,j，其中k＝i*M+j。假设，M＝5，表示第5个服务器上的第3个虚拟机的运行状态为m_2,3。

A就是DQN的agent可以执行的动作的集合，A＝F＝{f₀,f₁,f₂,f₃,f₄,f₅,f_idle}，A包括所有的VNF的类型以及空闲状态，假设M＝5，action＝f₃，这意味着表示第5个服务器上的第3个虚拟机的运行状态为m_2,3＝₃。

T是状态转移概率，从状态s转换到s′的概率。在大多数情况下，T的概率分布不能提前精确计算得到。本实施例中假设T为确定性状态转移。

R表示状态s执行动作A之后得到的奖励。奖励函数的定义对于强化学习的动作选择至关重要，接下来更详细地介绍本发明实施例中的奖励函数。

2)奖励函数定义

在每个动作执行后，都会设置一个奖励函数来反映动作执行的性能。奖励函数不仅要考虑VM的使用情况，还要考虑链路带宽的使用情况，奖励函数的表达式为式(4)：

R＝α*R_S+β*R_c (4)

R_s＝s_v+d_a+r_s (5)

将解决方案分为两个步骤：第一步是为共享VNFs寻找部署的虚拟机，第二步是为剩余的VNFs寻找虚拟机，并且按照最短路径原则映射到物理链路上。因此，奖励函数也由R_s和R_c两部分组成，这两部分分别代表程序的两个步骤获得的奖励。式(5)是对共享VNF的托管服务器的选择的奖励，式(6)是对剩余VNF的托管服务器的选择以及物理链路的部署的奖励，也就是在请求的服务链完全被部署之后，式(6)根据资源分配情况反馈奖励值。

在公式(5)中，s_v代表这个被选择的VNF可以被服务链共享的比率，s_v越高奖励越高；d_a代表该VNF距离每个服务链的最短路径的平均距离的倒数，距离越短，奖励越大；与周围的VNF能否组成SFC也是一个重要的属性，又叫亲和性，用r_s表示。

在公式(6)中，式(6)在系统完成了服务链部署之后，根据全局资源消耗反馈奖励值。R_c与部署完成后，虚拟机资源和链路带宽资源的总消耗成负相关。消耗的资源越少，回报就越高，但同时又与服务请求部署完成的数量n和部署的VNF的总量m成正相关。部署的请求越多，VNF数量越多，奖励越高，β是用于平衡R_s和R_c的两个系数。

需要强调的是，在没有服务请求被完全部署完之前，R_c一直是零，也就是说，在前期进行共享VNF的选择的时候，R_c为0，因为服务请求部署完成的数量n为0。只有当有服务请求的部署完成(即其所要求的服务链的所有的VNF全部被部署，并且物理链路的映射也完成)时，n才能大于0，R_c才能变成一个非0的值。因此，在第一步，为共享VNF选择托管服务器时，奖励函数中R_c将一直为0。

3)基于最短路径的链路映射算法

基于最短路径的链路映射算法不仅解决物理链路的映射问题，还需要在最短路径上为不共享的VNFs寻找托管服务器的位置。第一步中的共享VNF的部署已经建立了整体资源配置的基本框架，因此只需要根据第一步建立的每个服务链的雏形，在状态为f_idle的虚拟机中选择即可。在为剩余的VNFs的选择部署位置时遵循最短路径原则。假设有一个请求的服务链是{f₁,f₂}，已经在上一步中将f₁分配给服务器s上的虚拟机m，所以只需要在服务器s和目标服务器之间的最短路径上为f₂找到一个状态为f_idle的虚拟机。如果最短路径上没有空闲的虚拟机，将扩展最短路径继续寻找。在部署了剩余的VNFs之后，只需要依据最短路径原则将这些运行着VNF的虚拟机链接起来，映射到相应的物理链路上，至此，完成了服务链的部署。

这一步中，以服务链为单位进行部署，设计了一个优先级队列来决定服务链的部署顺序。

服务链长度|S|越长，优先级越高，源服务器与目标服务器之间的距离越近，优先级越高。因此，优先级最高的请求具有最短的距离和最长的服务链，而优先级最低的请求具有最长的距离和最短的服务链。

因为服务链越长，需要的链路带宽资源就越多，提前放置它可以让它优先选择链路资源消耗较少的路径。距离越近，表示源服务器和目标服务器之间的最短路径上空闲的VM越少。相比之下，由于源服务器和目标服务器之间的距离较长，请求具有更多的选项和更强的灵活性。也就是说，将从受限制较多的、部署难度大的服务链开始，然后是受限制少、可选范围多和灵活性更强的请求。因此，优先队列可以提高资源利用率和资源分配的灵活性。

需要解释的是，在上一步中，为共享的VNF选择部署位置，不需要区分不同的服务链，使用DQN学习时，只需要遍历一遍所有的虚拟机，根据服务请求的源点和目的点的位置以及服务链来为每个虚拟机选择动作，即运行属性，这是并行部署的本质，不需要以服务链为单位为服务请求部署VNF，而是综合考虑，共同部署。但是，这一步中，在为剩余的VNF选择部署位置时，需要以服务链为单位进行虚拟机的选择。并行部署的优势在于可以考虑服务链之间的关联性，这种关联性主要体现在共享的VNF中，当第一步中完成共享的VNF的放置之后，服务链之间的关联性就已经考虑完成了。因此这一步，就可以以服务链为顺序进行部署，这样优先级队列可以提高资源分配的灵活性和资源的利用率。

本发明实施例的方案提出了服务链的并行部署方法，不再以服务链为单位依次逐个进行部署，而是将服务链分批次处理，对同一批服务链中所需要的所有VNF分类统计之后，先设计出整体的共享VNF的最佳部署框架，然后再进行不共享VNF的部署和物理链路的映射。深度强化学习在网络资源分配问题中的应用方法，将虚拟机的资源分配情况和服务链的部署情况作为状态集，将服务链所需的所有VNF的类型作为动作集，减少了动作域的范围，有较高的学习效率。针对离线服务链的优先级队列的设计，优先级队列可以根据所有的离线服务请求的特点，将服务链按优先级队列原则排序，提高资源分配的灵活性和利用率。

根据本发明实施例提出的基于深度强化学习的服务链并行部署方法，通过离线服务链并行部署方案，有效减少为服务链分配服务器和链路带宽所需要的资源，创新性地提出服务链的并行部署方法，解决了因为串行部署而忽略服务链中的VNF、以及服务链之间的相关性而导致的分配不合理，有效地提高资源的共享率和利用率；联合考虑服务器资源和链路带宽资源，提高资源的均衡分配，实现资源利用最大化；将深度强化学习应用到优化模型中，将虚拟机运行的VNF类型作为动作集，有效的减少了动作域范围，降低计算的复杂度，提高资源分配的准确性；提出优先级队列的链路映射方案，提高了资源分配的灵活性，将系统资源的利用率最大化。

其次参照附图描述根据本发明实施例提出的基于深度强化学习的服务链并行部署装置。

图5为根据本发明实施例的基于深度强化学习的服务链并行部署装置结构示意图。

如图5所示，该服务链并行部署装置包括：建模模块100、选择模块200和部署模块300。

其中，建模模块100用于对离线的服务链部署问题进行数学建模，以得到服务链部署问题的数学公式。

选择模块200用于根据数学公式为所有服务链中的共享的VNF选择放置服务器位置，其中，通过深度强化学习中的DQN来选择可共享的VNF的服务器位置，以生成多个子服务链。

部署模块300用于通过最短路径原则将多个子服务链连成完整服务链，并为没有指定放置位置的VNF选择部署服务器。

该服务链并行部署装置10解决了因为分配不合理导致的资源浪费，有效地提高资源的共享率和利用率。

进一步地，在本发明的一个实施例中，建模模块还用于，将数据中心网络建模为一个边加权顶点加权的无向图G＝(V,E)，其中，c_e表示每条边的带宽，e∈E，c_v表示每个顶点的计算能力，v∈V，且用CPU表示节点服务器的计算能力c_v，其中，通过节点服务器每秒支持的指令数表示计算能力c_v。

进一步地，在本发明的一个实施例中，还包括：获取模块。

获取模块，用于根据服务链部署问题获取多个服务链请求，其中，以多个服务链请求包括每个服务链请求的源点和目的点的服务器与每个服务链中的VNF的顺序、类型和资源消耗。

进一步地，在本发明的一个实施例中，选择模块具体用于，在为共享的VNF选择放置服务器时，采用深度强化学习，以使DRL根据网络拓扑和每个服务链请求的源点和目的点的位置分布为共享的VNF选择服务器。

需要说明的是，前述对基于深度强化学习的服务链并行部署装置方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的基于深度强化学习的服务链并行部署装置，通过离线服务链并行部署方案，有效减少为服务链分配服务器和链路带宽所需要的资源，创新性地提出服务链的并行部署方法，解决了因为串行部署而忽略服务链中的VNF、以及服务链之间的相关性而导致的分配不合理，有效地提高资源的共享率和利用率；联合考虑服务器资源和链路带宽资源，提高资源的均衡分配，实现资源利用最大化；将深度强化学习应用到优化模型中，将虚拟机运行的VNF类型作为动作集，有效的减少了动作域范围，降低计算的复杂度，提高资源分配的准确性；提出优先级队列的链路映射方案，提高了资源分配的灵活性，将系统资源的利用率最大化。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于深度强化学习的服务链并行部署方法，其特征在于，包括以下步骤：

步骤S1：对离线的服务链部署问题进行数学建模，以得到所述服务链部署问题的数学公式；

步骤S2：根据所述数学公式为所有服务链中的共享的VNF选择放置服务器位置，其中，通过深度强化学习中的DQN来选择可共享的VNF的服务器位置，以生成多个子服务链；以及

步骤S3：通过最短路径原则将多个子服务链连成完整服务链，并为没有指定放置位置的VNF选择部署服务器。

2.根据权利要求1所述的基于深度强化学习的服务链并行部署方法，其特征在于，在所述步骤S1中，将数据中心网络建模为一个边加权顶点加权的无向图G＝(V,E)，其中，c_e表示每条边的带宽，e∈E，c_v表示每个顶点的计算能力，v∈V，且用CPU表示节点服务器的计算能力c_v，其中，通过所述节点服务器每秒支持的指令数表示所述计算能力c_v。

3.根据权利要求2所述的基于深度强化学习的服务链并行部署方法，其特征在于，还包括：

根据服务链部署问题获取多个服务链请求，其中，所述多个服务链请求包括每个服务链请求的源点和目的点的服务器与每个服务链中的VNF的顺序、类型和资源消耗。

4.根据权利要求3所述的基于深度强化学习的服务链并行部署方法，其特征在于，在为共享的VNF选择放置服务器时，采用深度强化学习，以使DRL根据网络拓扑和所述每个服务链请求的源点和目的点的位置分布为共享的VNF选择服务器。

5.一种基于深度强化学习的服务链并行部署装置，其特征在于，包括：

建模模块，用于对离线的服务链部署问题进行数学建模，以得到所述服务链部署问题的数学公式；

选择模块，用于根据所述数学公式为所有服务链中的共享的VNF选择放置服务器位置，其中，通过深度强化学习中的DQN来选择可共享的VNF的服务器位置，以生成多个子服务链；

部署模块，用于通过最短路径原则将多个子服务链连成完整服务链，并为没有指定放置位置的VNF选择部署服务器。

6.根据权利要求5所述的基于深度强化学习的服务链并行部署装置，其特征在于，所述建模模块还用于，

将数据中心网络建模为一个边加权顶点加权的无向图G＝(V,E)，其中，c_e表示每条边的带宽，e∈E，c_v表示每个顶点的计算能力，v∈V，且用CPU表示节点服务器的计算能力c_v，其中，通过所述节点服务器每秒支持的指令数表示所述计算能力c_v。

7.根据权利要求6所述的基于深度强化学习的服务链并行部署装置，其特征在于，还包括：获取模块；

所述获取模块，用于根据服务链部署问题获取多个服务链请求，其中，所述以多个服务链请求包括每个服务链请求的源点和目的点的服务器与每个服务链中的VNF的顺序、类型和资源消耗。

8.根据权利要求7所述的基于深度强化学习的服务链并行部署方法，其特征在于，所述选择模块具体用于，

在为共享的VNF选择放置服务器时，采用深度强化学习，以使DRL根据网络拓扑和所述每个服务链请求的源点和目的点的位置分布为共享的VNF选择服务器。