CN112506658B - 一种服务链中动态资源分配和任务调度方法 - Google Patents

Abstract

本发明公开了一种服务链中动态资源分配和任务调度方法，包括：获取到达的服务功能链的信息以及计算节点的资源信息；确定已到达服务功能链中虚拟网络功能的冗余数量；基于截止时间对虚拟网络功能任务进行排序；利用强化学习智能体决定排序后队首的虚拟网络功能是否延后调度；按照最早完成优先分配虚拟网络功能任务到计算节点上执行；重复以上过程，直到所有服务功能链都被成功调度。本发明在调度冗余服务功能链时，利用强化学习智能体，对之前已经分配计算节点的虚拟网络功能采用了概率性延后执行的方式，保证了每个服务功能链的可靠性执行，同时减少冗余实例对资源的占用，以提高的网络的资源利用率。

Description

一种服务链中动态资源分配和任务调度方法

技术领域

本发明涉及5G网络中服务功能链调度的研究领域，特别涉及一种应用于服务功能链的可靠性调度方法。

背景技术

软件定义网络(SDN)和网络功能虚拟化(NFV)在网络架构演进中扮演着至关重要的角色。传统的网络功能是通过专用的硬件设备来实现的，这种方式硬件成本高，并且维护困难。此外，还存在着网络僵化的问题(network coupling)，即通过专用硬件设备构建的网络无法适应新型的网络服务请求，如果需要进行适配，则需要人工的重新加入设备并做好排布工作，而这个过程的时间成本是非常昂贵的，并且系统的更新容易引入新的错误隐患，令系统的可靠性下降。为了应对这个挑战，软件定义网络和网络功能虚拟化通过对传统基于专用设备实现的网络元件设备进行抽象，使用运行在通用服务器上的软件来完成这些网元的功能，从而减少了网络服务运营商的设备成本以及运维成本开销，同时大大增加了网络升级的灵活性和可操作性。

在网络功能虚拟化框架中，服务功能链(Service Function Chain，SFC)或服务链是由一组有序的虚拟网络功能(Virtual Network Function，VNF)组成。网络流量经过不同的VNF序列将形成不同的服务功能链，从而网络可以为用户提供不同的网络服务，如：防火墙、深度包检测、入侵检测系统等。网络功能虚拟化通过对服务功能链中的网络功能进行虚拟抽象，使用软件实现的网络功能称为虚拟网络功能。在服务链中采用网络功能虚拟化，是因为其可以提供网络功能的高效部署和编排。互联网工程任务组(Internet EngineeringTask Force，IETF)的服务链工作组(SFC working group)以及开放网络基金会(OpenNetwork Foundation，ONF)提出了服务链的架构标准，给出了在运营商网络、移动网络、以及数据中心网中的用例。

为了达到网络的更高性能，目前存在一些服务功能链调度的方法来提高网络资源的利用率。基于整数线性规划的方法(ILP)在服务功能链调度中被广泛应用于确定最后的调度方法。然而，因为服务功能链调度问题是NP难的，这些方法可以找出调度最优解，但是时间效率非常低，只能适用于小规模的场景，无法扩展到大规模的实际运行场景。此外，为了达到网络服务更高的可靠性，服务功能链的执行需要引入冗余的虚拟网络功能实例，这些冗余的实例占用了额外的网络通信资源和计算资源，从而导致了更长的等待时间。因此，在5G网络中服务功能链调度器需要更加智能以在低时延和高可靠性之间进行权衡。一些已有的解决方案大多数基于离线的场景，如模拟退火算法(SA)、遗传算法(GA)和粒子群优化算法(PSO)等，这些方法都假设已知未来所有的服务功能链请求信息，基于这些全局信息来优化服务链调度策略。然而，这些方法无法在实际场景中应用，因为提前预知未来到达任务情况在实际网络中是难以达到的，真实的网络环境中请求的到达时随机无序的。因此，针对服务链调度问题，需要提出一种动态的调度策略才能符合实际网络场景的需求。

发明内容

针对现有技术存在的缺陷，本发明提供一种5G网络中服务功能链动态可靠性调度方法。本发明方法能够适应5G网络的低时延和高可靠性要求，同时基于在线的调度方式，能够应用在实际的网络环境中。

本发明至少通过如下技术方案之一实现。

一种服务链中动态资源分配和任务调度方法，包括以下步骤：

S1、获取到达的服务功能链的信息以及计算节点的资源信息；

S2、获取已到达服务功能链中虚拟网络功能的冗余数量；

S3、基于截止时间对虚拟网络功能任务进行排序；

S4、利用强化学习智能体决定排序后队首的虚拟网络功能是否延后调度；

S5、按照最早完成优先分配虚拟网络功能任务到计算节点上执行；

重复以上过程，直到所有服务功能链都被成功调度。

优选的，服务功能链是由各种类型的虚拟网络功能(VNF)串联组成，前驱VNF结点在计算节点上执行完毕后后继VNF结点才能开始执行；

令S表示网络中到达的服务功能链的集合，令s_i∈S表示第i个服务功能链，令F表示虚拟网络功能的集合，令f∈F表示某个类型的虚拟网络功能，令w_f表示虚拟网络功能f的计算负载；

对于服务功能链s_i，令s_ij表示第i个服务功能链中的第j个虚拟网络功能，其中s_ij∈F，令Θ_i表示第i个服务功能链的可靠性要求，服务功能链的可靠性要求定义为能够成功执行完成整条服务功能链的概率，即该服务功能链中每个虚拟网络功能都被成功执行的概率；令Φ_i表示服务链s_i的最后时限(deadline)，调度决策需要保证到达的服务功能链最后在该时限前完成，否则认为服务功能链请求失败；

令N表示网络中的计算节点的集合，令k∈N表示网络中的某个计算节点，计算节点负责部署执行VNF实例；令V_k表示计算节点的处理速度；令θ表示计算节点的可靠性，计算节点的可靠性定义为在计算节点上执行完成一个VNF的成功率。

优选的，对于一条服务功能链中的各个虚拟网络功能，各个虚拟网络功能的类型互不相同。

优选的，服务功能链的可靠性公式为：

其中x_ijk表示将虚拟网络功能s_ij部署在计算节点k上运行，该公式表示对于一条服务功能链中的每个虚拟网络功能，都至少有一个被成功执行完成的概率，此外，系统中最大的冗余数量定义为R_m，对于一个虚拟网络功能实例，其冗余数量最多不可超过R_m；

服务功能链的时延为链中的每个虚拟网络功能执行时间s_ij/V_k与等待时间之和。

优选的，每个计算节点在同一时刻至多只能执行一个虚拟网络功能实例；如果发生计算节点先前部署的虚拟网络功能实例类型与接下来需要部署的实例类型不同，则认为节点上发生虚拟网络功能切换，该重部署的切换操作时间设为δ。

优选的，步骤S1包括以下步骤：

S101、对于系统中存在的所有虚拟网络功能f∈F，获取所有虚拟网络功能的类型、计算负载、以及重部署的切换操作需要的时间δ；

S102、对于系统中每个计算节点k∈N，获取计算节点可靠性θ以及计算节点的处理速度V_k；

S103、对于当前时刻已到达的服务功能链s_i∈S，获取其可靠性需求Θ_i、最后期限需求Φ_i、以及组成功能链的各个虚拟网络功能s_ij；

S104、对已经开始执行任务的所有计算节点，获取其正在执行的虚拟网络功能和待执行队列的信息。

优选的，步骤S2包括以下步骤：

S201、定义Rel(·)为服务功能链的可靠性函数，计算公式为公式(1)，初始化一个向量a，向量a中的每一位表示冗余数量，此时向量a中每一位的值都设为R_m，向量长度为服务功能链的长度L；

S202、计算Rel(a)，如果Rel(a)≤Θ，其中Θ为服务链的可靠性要求，则说明系统无法达到服务链的可靠性要求，直接拒绝该服务链请求，否则Rel(a)≥Θ，则进入步骤S203；

S203、将向量a中的值都设定为1，即初始化所有虚拟网络功能的冗余数量都是1，令a_index表示a的第index个元素，并初始化index＝1，表示由第一个元素开始；

S204、如果Rel(a)≤Θ，则更新该位置的冗余数量，令a_index←a_index+1，即在原来的冗余数量上增加1，然后令index←(index+1)％L，即下标移动到后一个元素位置上，如果此时已经是最后一个元素，则移动到第一个元素位置；否则进入步骤S205，重复执行步骤S204；

S205、根据虚拟网络功能的计算负载对s_i中的任务进行排序，得到序列s′_i，则对于每个虚拟网络功能s′_ij，其冗余数量为a_j。

优选的，步骤S3包括以下步骤：

S301、系统中的所有服务功能中的虚拟网络功能，都需要经过中央调度器分配计算资源，映射到计算节点上执行；

S302、调度器维护一个等待队列Q，其优先级基于虚拟网络功能任务的剩余时间即最后期限与当前时刻之差，剩余时间越少的优先级越高；

S303、调度器由任务触发，触发等待队列Q更新的时机为：

1)新到达的服务链中的网络功能的首个虚拟网络功能加入到队列；

2)当一个虚拟网络功能实例执行完毕，如果该服务功能链还有后驱的虚拟网络功能任务，则加入到队列；

3)当一个虚拟网功能实例执行完毕，在等待队列Q中的其它冗余实例移出队列；

S304、等待队列队首的虚拟网络功能任务将被强化学习调度器调度。

优选的，步骤S4包括以下步骤：

S401、构建强化学习网络，所述强化学习网络由一个嵌入层和三个全连接层组成，其中全连接层分别由64、32、16隐藏层神经元组成；所述强化学习网络的输入为：虚拟网络功能类型、服务功能链中虚拟网络功能剩余数量、服务功能链长度、虚拟网络功能计算负载、服务功能链剩余长度、距离截止期限的剩余时间、计算节点的虚拟网络功能类型、每个计算节点的部署该任务的提前时间；其中提前时间T_a的计算公式为：

T_a＝T_w-T_e (2)

T_e＝T_n+T_δ+T_p (4)

T_p＝w_ij/V_k (5)

如果发生切换，则T_δ＝Δ否则T_δ＝0，强化学习网络的输出为推迟该虚拟网络功能任务执行的概率；其中，T_w表示虚拟网络功能的期望截止时间，T_e表示实际的完成时间，u、v和j分别指代服务链中的第u个、第v个和第j个虚拟网络功能，w_ij表示第i个服务链的第j个虚拟网络功能的计算负载，Δ表示计算节点发生VNF切换的时间长度，T_n表示当前时刻，T_δ表示切换时间长度，T_p表示处理时间；

S402、强化学习的奖励定义为r＝T_w-T_e；

S403、采用A3C(Advantage Actor-Critic)模型对强化学习网络进行训练，使用12个同构的本地网络进行学习，并使用1个全局网络来汇总参数，参数更新公式为：

其中θ表示全局网络的所有参数，θ′表示本地网络的所有参数，θ_v表示全局网络中价值网络的所有参数、θ′_v表示本地网络中价值网络的所有参数，表示对θ′求梯度，a_i表示在第i步的动作，s_i表示在第i步的输入状态，V(s_i；θ′_v)表示值函数网络输出的值，R表示时间折扣后的价值；

S404、智能体的决策过程为，首先根据步骤S304输入等待队列队首的虚拟网络功能任务信息到训练好的强化学习网络中，智能体输出推迟执行的概率，基于该概率决定该任务是否被延迟执行，如果延迟执行，则回到队列中等待下一次被调度，如果没有被延迟执行则进入下一步。

优选的，所述步骤S5为：将虚拟网络功能任务分配到计算节点上运行，采用最早完成优先的方法，将任务分配到能最早执行完成的节点上运行。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明提出的一种应用于5G网络环境下的服务功能链可靠性调度方法，能够在执行时间和冗余策略之间进行权衡，以适应新型5G网络对于时延和可靠性的要求。

(2)本发明考虑了计算节点在执行不同类型的虚拟网络功能时，进行切换操作的时间成本，更符合实际网络的真实情况。

(3)本发明提出的基于强化学习的在线调度方式，能够在缺少未来到达请求基本信息的情况下为已经到达的服务功能链进行调度，可以在真实的网络环境中应用。

附图说明

图1是本实施例一种服务链中动态资源分配和任务调度方法的流程示意图；

图2是本实施例一种服务链中动态资源分配和任务调度方法的循环示意图。

具体实施方法

下面将结合附图来详细描述本发明的实施例中的技术方案。应当理解，所描述的实施例仅仅是为了使本领域的技术人员能够更好地理解并实施本发明，而并非以任何方式限制本发明的范围。

图1为本发明所述的一种服务链中动态资源分配和任务调度方法的流程示意图，接下来对每个步骤进行详细地解析。

S1、获取到达的服务功能链的信息以及计算节点资源信息，包括以下步骤：

S101、对于系统中存在的所有虚拟网络功能f∈F，确认其类型、计算负载、以及重部署的切换操作需要的时间δ。本实施例中虚拟网络功能的类型包括：A、B、C、D、E共5种类型，其计算负载分别为10、5、20、8、15，单位为Mb。令δ＝40ms。

S102、对于系统中每个计算节点k∈N，获取计算节点可靠性θ、计算节点的处理速度V_k。本实施例中共有10个计算节点，其中5个节点处理速度为100Mb/s，另外5个为160Mb/s。

S103、对于当前时刻已到达的服务功能链s_i∈S，获取其可靠性需求Θ_i、最后期限需求Φ_i、以及组成功能链的各个虚拟网络功能s_ij。本实施例中的其中一个服务链为{A，B，C，D，E}。其可靠性要求Θ_i＝0.95，最后期限需求为600ms。

S104、对已经开始执行任务的所有计算节点，确认其正在执行的虚拟网络功能和待执行队列的信息。

S2、确定已到达服务功能链中虚拟网络功能的冗余数量，包括以下步骤：

S201、定义Rel(·)为计算服务链可靠性的的函数。初始化一个向量a，其值都设为R_m，向量长度为服务功能链的长度L。对于本实施例R_m＝3，长度L＝5，θ＝0.95；

服务功能链的可靠性公式为：

其中x_ijk表示将虚拟网络功能s_ij部署在计算节点k上运行，该公式表示对于一条服务功能链中的每个虚拟网络功能，都至少有一个被成功执行完成的概率，此外，系统中最大的冗余数量定义为R_m，对于一个虚拟网络功能实例，其冗余数量最多不可超过R_m。

S202、计算Rel(a)，如果Rel(a)≤Θ，则说明系统无法达到该可靠性请求，直接返回。否则Rel(a)≥Θ，则进入步骤S203。对于本实施例，Rel(a)＝[1-(1-0.95)³]⁵≈0.99938＞0.95，因此进入步骤S203；

S203、将向量a中的值都设定为1，即初始化所有虚拟网络功能的冗余数量都是1，令index＝0

S204、如果Rel(a)≤Θ则a_index←a_index+1，index←(index+1)％L；否则进入步骤S205，重复执行步骤S204。如图2所示，对于S204进行第一次循环时，Rel(a)＝[1-(1-0.95)¹]⁵＝0.815≤0.95；第二次循环时，下标为1的位置自增1，冗余数量为2，则Rel(a)＝[1-(1-0.95)²][1-(1-0.95)¹]⁴＝0.848≤0.95；第三次循环时，下标为2的位置自增1，冗余数量为2，则Rel(a)＝[1-(1-0.95)²]²[1-(1-0.95)¹]³＝0.917≤0.95，因此继续循环操作，依次类推。在第五次循环时，下标为4的位置自增1，冗余数量为2，Rel(a)＝[1-(1-0.95)²]⁴[1-(1-0.95)¹]¹＝0.954＞0.95，因此结束循环，则a＝{2，2，2，2，1}。

S205、根据虚拟网络功能的计算负载对s_i中的任务进行排序，得到序列s′_i。则对于每个虚拟网络功能s′_ij，其冗余数量为a_j。{A，B，C，D，E}对应的计算负载为{10、5、20、8、15}，因此按照计算负载排序后，得到{B，D，A，E，C}，则结合a＝{2，2，2，2，1}，可得到各自的冗余数量，A＝2，B＝2，C＝1，D＝2，E＝2。

S3、基于截止时间对虚拟网络功能任务进行排序，包括以下步骤：

S301、系统中的所有服务功能中的虚拟网络功能，都需要经过中央调度器分配计算资源，映射到计算节点上执行；

S302、调度器维护一个等待队列Q，其优先级基于虚拟网络功能任务的剩余时间(最后期限与当前时刻之差)，剩余时间越少的优先级越高吗，对于本实施例最后期限为Φ_i＝600ms，该实施例根据该最后期限参与任务队列排序；

S303、调度器是任务触发的，触发等待队列Q更新的时机为：

1)新到达的服务链中的网络功能的首个虚拟网络功能加入到队列；

2)当一个虚拟网络功能实例执行完毕，如果该服务功能链还有后驱的虚拟网络功能任务，则加入到队列；

3)当一个虚拟网络功能实例执行完毕，在队列Q中其它冗余实例移出队列。

对于本实施例是新到达的服务功能链请求(还未被调度过)，因此直接将其中的虚拟网络功能实例加入到等待队列Q中，需要注意的是服务链中首个虚拟网络功能实例的冗余数量为A＝2，需要按照冗余的数量来进行加入。另外如果该服务链首个虚拟网络功能被成功执行完毕时，其后驱的虚拟网络功能B将加入等待队列，其冗余度为2。

S4、利用强化学习智能体决定排序后队首的虚拟网络功能是否延后调度。强化学习智能体决策的步骤包括：

S401、构建强化学习网络，强化学习网络网络由1个嵌入层和3个全连接层组成，其中全连接层分别由64、32、16隐藏层神经元组成。强化学习网络的输入为：虚拟网络功能类型、服务功能链中虚拟网络功能剩余数量、服务功能链长度、虚拟网络功能计算负载、服务功能链剩余长度、距离截止期限的剩余时间、计算节点的虚拟网络功能类型、每个计算节点的部署该任务的提前时间。其中提前时间的计算公式为：

T_a＝T_w-T_e (2)

T_e＝T_n+T_δ+T_p (4)

T_p＝w_ij/V_k (5)

如果发生了切换则T_δ＝Δ否则T_δ＝0。强化学习网络的输出为推迟该虚拟网络功能任务执行的概率。T_w表示虚拟网络功能的期望截止时间，T_e表示实际的完成时间，u、v和j分别指代服务链中的第u个、第v个和第j个虚拟网络功能，w_ij表示第i个服务链的第j个虚拟网络功能的计算负载，Δ表示计算节点发生VNF切换的时间长度，T_n表示当前时刻，T_δ表示切换时间长度(如果没有切换则为0)，T_p表示处理时间。

对于本实施例，认为开始时刻计算节点不需要切换操作，因此T_δ＝0，对于V_k＝100Mb/s的节点，T_p＝100ms，对于V_k＝160Mb/s的节点，T_δ＝62.5ms。对于V_k＝100Mb/s的节点，T_a＝-3.45ms，对于V_k＝160Mb/s的节点，T_a＝40.95ms。

S402、强化学习的奖励定义为r＝T_w-T_e；

S403、采用A3C(Advantage Actor-Critic)模型对强化学习网络进行训练，使用12个同构的本地网络进行学习，并使用1个全局网络来汇总参数。参数更新公式为：

其中θ表示全局网络的所有参数，θ′表示本地网络的所有参数，θ_v表示全局网络中价值网络的所有参数、θ′_v表示本地网络中价值网络的所有参数，表示对θ′求梯度，a_i表示在第i步的动作，s_i表示在第i步的输入状态，V(s_i；θ′_v)表示值函数网络输出的值，R表示时间折扣后的价值。

S404、智能体的决策过程为，首先输入等待队列队首的虚拟网络功能任务信息(虚拟网络功能任务信息为步骤S401中输入的信息)到训练好的强化学习网络中，智能体输出推迟执行的概率，基于该概率随机采样决定该任务是否被延迟执行，如果延迟执行，则回到队列中等待下一次被调度，如果没有被延迟执行则进入下一步。对于本实施例，假定智能体决策该虚拟网络功能任务没有被延迟执行。

S5、按照最早完成优先分配虚拟网络功能任务到计算节点上执行。对于本实施例，此时可以将任务分配到任意一个V_k＝160Mb/s的计算节点上运行。

服务功能链的时延为链中的每个虚拟网络功能执行时间s_ij/V_k与等待时间之和。系统中认为一个虚拟网络功能任务执行完成时，此时其冗余的若干实例都取消执行，此时后继的虚拟网络功能才可以开始执行。

以上实施例仅适用于说明本公开，而并非对本公开的限制，有关技术领域的普通技术人员，在不脱离本公开的精神和范围的情况下，还可以做出各种变化和变形，因此所有等同的技术方案也属于本公开的范畴，本公开的专利保护范围应由权利要求限定。

Claims (7)

1.一种服务链中动态资源分配和任务调度方法，其特征在于，包括以下步骤：

S1、获取到达的服务功能链的信息以及计算节点的资源信息；

S2、获取已到达服务功能链中虚拟网络功能的冗余数量；

S3、基于截止时间对虚拟网络功能任务进行排序；

S4、利用强化学习智能体决定排序后队首的虚拟网络功能是否延后调度；

S5、按照最早完成优先分配虚拟网络功能任务到计算节点上执行；

重复以上过程，直到所有服务功能链都被成功调度；

服务功能链是由各种类型的虚拟网络功能VNF串联组成，前驱VNF结点在计算节点上执行完毕后后继VNF结点才能开始执行；

令S表示网络中到达的服务功能链的集合，令s_i∈S表示第i个服务功能链，令F表示虚拟网络功能的集合，令f∈F表示某个类型的虚拟网络功能，令w_f表示虚拟网络功能f的计算负载；

对于服务功能链s_i，令s_ij表示第i个服务功能链中的第j个虚拟网络功能，其中s_ij∈F，令Θ_i表示第i个服务功能链的可靠性要求，服务功能链的可靠性要求定义为能够成功执行完成整条服务功能链的概率，即该服务功能链中每个虚拟网络功能都被成功执行的概率；令Φ_i表示服务链s_i的最后时限，调度决策需要保证到达的服务功能链最后在该时限前完成，否则认为服务功能链请求失败；

令N表示网络中的计算节点的集合，令k∈N表示网络中的某个计算节点，计算节点负责部署执行VNF实例；令V_k表示计算节点的处理速度；令θ表示计算节点的可靠性，计算节点的可靠性定义为在计算节点上执行完成一个VNF的成功率；

对于一条服务功能链中的各个虚拟网络功能，各个虚拟网络功能的类型互不相同；服务功能链的可靠性为：

其中x_ijk表示将虚拟网络功能s_ij部署在计算节点k上运行，该公式表示对于一条服务功能链中的每个虚拟网络功能，都至少有一个被成功执行完成的概率，此外，系统中最大的冗余数量定义为R_m，对于一个虚拟网络功能实例，其冗余数量最多不可超过R_m；服务功能链的时延为链中的每个虚拟网络功能执行时间s_ij/V_k与等待时间之和。

2.根据权利要求1所述的一种服务链中动态资源分配和任务调度方法，其特征在于，每个计算节点在同一时刻至多只能执行一个虚拟网络功能实例；如果发生计算节点先前部署的虚拟网络功能实例类型与接下来需要部署的实例类型不同，则认为节点上发生虚拟网络功能切换，该重部署的切换操作时间设为δ。

3.根据权利要求2所述的一种服务链中动态资源分配和任务调度方法，其特征在于，步骤S1包括以下步骤：

S101、对于系统中存在的所有虚拟网络功能f∈F，获取所有虚拟网络功能的类型、计算负载、以及重部署的切换操作需要的时间δ；

S102、对于系统中每个计算节点k∈N，获取计算节点可靠性θ以及计算节点的处理速度V_k；

S103、对于当前时刻已到达的服务功能链s_i∈S，获取其可靠性需求Θ_i、最后期限需求Φ_i、以及组成功能链的各个虚拟网络功能s_ij；

S104、对已经开始执行任务的所有计算节点，获取其正在执行的虚拟网络功能和待执行队列的信息。

4.根据权利要求3所述的一种服务链中动态资源分配和任务调度方法，其特征在于，步骤S2包括以下步骤：

S201、定义Rel(·)为服务功能链的可靠性函数，计算公式为公式(1)，初始化一个向量a，向量a中的每一位表示冗余数量，此时向量a中每一位的值都设为R_m，向量长度为服务功能链的长度L；

S202、计算Rel(a)，如果Rel(a)≤Θ，其中Θ为服务链的可靠性要求，则说明系统无法达到服务链的可靠性要求，直接拒绝该服务链请求，否则Rel(a)＞Θ，则进入步骤S203；

S203、将向量a中的值都设定为1，即初始化所有虚拟网络功能的冗余数量都是1，令a_index表示a的第index个元素，并初始化index＝1，表示由第一个元素开始；

S204、如果Rel(a)＜Θ，则更新该位置的冗余数量，令a_index←a_index+1，即在原来的冗余数量上增加1，然后令index←(index+1)％L，即下标移动到后一个元素位置上，如果此时已经是最后一个元素，则移动到第一个元素位置；否则进入步骤S205，重复执行步骤S204；

S205、根据虚拟网络功能的计算负载对s_i中的任务进行排序，得到序列s′_i，则对于每个虚拟网络功能s′_ij，其冗余数量为a_j。

5.根据权利要求4所述的一种服务链中动态资源分配和任务调度方法，其特征在于，步骤S3包括以下步骤：

S301、系统中的所有服务功能中的虚拟网络功能，都需要经过中央调度器分配计算资源，映射到计算节点上执行；

S302、调度器维护一个等待队列Q，其优先级基于虚拟网络功能任务的剩余时间即最后期限与当前时刻之差，剩余时间越少的优先级越高；

S303、调度器由任务触发，触发等待队列Q更新的时机为：

1)新到达的服务链中的网络功能的首个虚拟网络功能加入到队列；

2)当一个虚拟网络功能实例执行完毕，如果该服务功能链还有后驱的虚拟网络功能任务，则加入到队列；

3)当一个虚拟网功能实例执行完毕，在等待队列Q中的其它冗余实例移出队列；

S304、等待队列队首的虚拟网络功能任务将被强化学习调度器调度。

6.根据权利要求5所述的一种服务链中动态资源分配和任务调度方法，其特征在于，步骤S4包括以下步骤：

S401、构建强化学习网络，所述强化学习网络由一个嵌入层和三个全连接层组成，其中全连接层分别由64、32、16隐藏层神经元组成；所述强化学习网络的输入为：虚拟网络功能类型、服务功能链中虚拟网络功能剩余数量、服务功能链长度、虚拟网络功能计算负载、服务功能链剩余长度、距离截止期限的剩余时间、计算节点的虚拟网络功能类型、每个计算节点的部署该任务的提前时间；其中提前时间T_a的计算公式为：

T_a＝T_w-T_e (2)

T_e＝T_n+T_δ+T_p (4)

T_p＝w_ij/V_k (5)

如果发生切换，则T_δ＝Δ否则T_δ＝0，强化学习网络的输出为推迟该虚拟网络功能任务执行的概率；其中，T_w表示虚拟网络功能的期望截止时间，T_e表示实际的完成时间，u、v和j分别指代服务链中的第u个、第v个和第j个虚拟网络功能，w_ij表示第i个服务链的第j个虚拟网络功能的计算负载，Δ表示计算节点发生VNF切换的时间长度，T_n表示当前时刻，T_δ表示切换时间长度，T_p表示处理时间；

S402、强化学习的奖励定义为r＝T_w-T_e；

S403、采用A3C(AdvantageActor-Critic)模型对强化学习网络进行训练，使用12个同构的本地网络进行学习，并使用1个全局网络来汇总参数，参数更新公式为：

其中θ表示全局网络的所有参数，θ′表示本地网络的所有参数，θ_v表示全局网络中价值网络的所有参数、θ′_v表示本地网络中价值网络的所有参数，表示对θ′求梯度，a_i表示在第i步的动作，s_i表示第i个服务功能链，V(s_i；θ′_v)表示值函数网络输出的值，R表示时间折扣后的价值；

S404、智能体的决策过程为，首先根据步骤S304输入等待队列队首的虚拟网络功能任务信息到训练好的强化学习网络中，智能体输出推迟执行的概率，基于该概率决定该任务是否被延迟执行，如果延迟执行，则回到队列中等待下一次被调度，如果没有被延迟执行则进入下一步。

7.根据权利要求6所述的一种服务链中动态资源分配和任务调度方法，其特征在于，所述步骤S5为：将虚拟网络功能任务分配到计算节点上运行，采用最早完成优先的方法，将任务分配到能最早执行完成的节点上运行。