CN116137593A - 一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法 - Google Patents

Abstract

本发明涉及一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法，属于移动通信技术领域。该方法包括：构建数字孪生辅助的5G云无线接入网切片架构，采用VNF数字孪生体对VNF进行实时监控；采用多任务VNF资源预测框架对VNF资源需求进行预测，并结合迁移学习采用多任务TransDT‑GRU的VNF资源预测框架；在总和约束下，考虑网络能耗、资源方差和网络同步时延构建最小化模型；基于VNF资源预测结果，设置VNF迁移触发条件，并通过基于MAPPO的VNF迁移算法和基于MADDPG的孪生服务节点链路关联算法来最小化优化目标。本发明能够减少迁移概率的发生，有效降低迁移后的网络能耗、VNF同步时延，保证网络负载均衡。

Description

一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移 方法

技术领域

本发明属于移动通信技术领域，涉及一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法。

背景技术

5G网络切片通过利用NFV和SDN，将单个物理网络划分为多个虚拟网络，实现了对物理资源进行分割和重组，以此来满足不同应用场景下的动态服务需求。通过NFV技术，网络系统可以根据服务要求在不同物理节点上实例化VNF，并引导用户流量按照有序的VNF顺序形成SFC来提供网络服务。通过SDN技术，网络系统实现了控制平面与数据平面的分离，使得控制器能够随意配置网络资源和动态规划路由来提供网络服务。

但是，NFV和SDN技术在实现网络资源灵活管理的同时，也带来了一系列问题，其中包括VNF迁移问题。VNF迁移是指当前已映射在物理节点上的VNF和映射在物理链路上的虚拟链路，由于网络流量的动态变化使得物理节点或链路的资源超过了其资源使用阈值，造成网络性能下降和网络负载不均衡，严重时还将导致节点、链路资源过载，无法保障服务的正常运行，此时若在其他物理节点重实例化新的VNF，会导致原有VNF的状态信息丢失，为解决VNF状态信息丢失的问题，可以迁移低载节点上的VNF，关闭物理节点来保障网络性能，同时迁移过载节点上的VNF和过载链路来保障网络负载均衡。

现有技术利用VNF的资源使用历史数据来预测未来资源需求，可以发现资源使用过载或轻载的物理节点并提前制定VNF迁移计划来保证网络服务性能。但一方面，现有技术未考虑链路过载和VNF缺乏监管的问题，且多是将数据采集至SDN节点集中式预测，无法使用大规模数据训练要求。另一方面，未考虑SDN控制器同步所有VNF预测资源需求数据的时延问题，而同步时延越小，SDN控制器就能越早根据预测得到的VNF资源需求制定迁移计划，防止网络服务滞后问题的发生。

发明内容

有鉴于此，本发明的目的在于提供一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法，解决VNF缺乏监管和VNF迁移带来的时延问题，同时降低SDN控制器同步所有VNF预测资源数据的时延，并保障迁移后的网络性能。

为达到上述目的，本发明提供如下技术方案：

一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法，其特征在于：该方法包括以下步骤：

S1、构建数字孪生辅助的5G云无线接入网络切片架构，并通过在孪生服务节点构建VNF数字孪生体对VNF进行实时监控；

S2、采用基于在线学习的多任务VNF资源预测框架对VNF资源需求进行预测，并结合迁移学习采用基于多任务TransDT-GRU的VNF资源预测框架，以解决大规模数据集中式训练带来的节点内存资源不足的问题；

S3、在计算、内存、带宽资源、VNF映射和数字孪生体构建约束下，构建VNF迁移后的网络能耗、资源方差和网络同步时延最小化模型；

S4、基于预测的VNF资源预测结果，设置多种计算资源使用阈值的VNF迁移触发条件，并通过VNF迁移和孪生服务节点链路关联，以降低迁移后系统的网络能耗、资源方差和VNF平均同步时延。

进一步，在步骤S1中，网络切片场景包括基础设施层、虚拟化层和应用层。所述基础设施层包括NFV节点和孪生服务节点，NFV节点用于处理VNF，孪生服务节点用于构建相应的VNF数字孪生体；所述虚拟化层用于实现对虚拟资源的灵活调配；所述应用层中包括多条SFC。

进一步，在步骤S2中，所述基于在线学习的多任务VNF资源预测框架包括离线训练模块，在线学习模块，以及在线迁移与孪生服务节点链路关联模块。

所述离线训练模块具体为：设离线训练模块中的输入特征集合为：

w＝{w₁,w₂,…,w_k-1,w_k,…}

式中，w_k表示第i条SFC上第j个VNF的第k个特征样本集，且：

w_k＝{X_ij(t),X_ij(t-1),…,X_ij(t-d+1)}

式中，d表示样本中时隙的长度，也指在线学习预测阶段的滑动窗口，X_ij(t)表示由CPU资源需求、存储资源需求和链路带宽资源组成的特征，且

其中，/>

表示第i条SFC上的第j个VNF的CPU计算资源需求，/>

表示内存资源需求，/>

则表示第i条SFC上的VNF j和VNF k之间的虚拟链路的带宽资源需求；

采用多任务学习方法，将CPU、存储和链路带宽资源多个任务作为一个特征输入到同一GRU网络中进行训练，充分挖掘不同资源预测任务之间的关联性，提升各个子任务的模型精度；通过将所有存储的历史特征输入到GRU网络进行离线预训练，并对训练参数进行调整，为在线学习模块提供良好的初始模型参数；

所述在线学习模块具体为：将离线训练阶段的预训练参数作为初始参数进行在线学习，每存储一个新的资源需求实际值，就对最旧的样本特征进行丢弃，保持滑动窗口长度不变，并通过正向传播参数，反向微调对模型参数进行更新，为网络系统提供一个在线的VNF资源预测模型；

所述在线迁移与孪生服务节点链路关联模块具体为：SDN控制器收集各孪生服务节点预测的VNF资源需求，判断物理网络中的低载NFV节点、过载NFV节点和链路，制定相应的VNF迁移策略和孪生服务节点链路关联策略来保证网络性能。

进一步，在步骤S2中，基于多任务TransDT-GRU的VNF资源需求预测框架具体为：

首先，当VNF1首次映射到NFV节点并关联到孪生服务节点上时，孪生服务节点可以通过基于多任务DT-GRU的VNF资源需求算法训练模型参数ω(t)；然后，当VNF发生迁移时，其关联的孪生服务节点也发生改变，导致VNF数字孪生体的迁移；此时新数字孪生体将根据新采集的VNF资源需求数据对权重进行更新。

进一步，在步骤S3中，当物理节点资源利用率较低时，通过迁移该物理节点上的VNF或者数字孪生体并关联物理节点来降低网路能耗；当物理节点或链路资源利用率较高时，通过调整迁移VNF或VNF数字孪生体，或者调度链路来降低网络资源方差和VNF同步时延。

进一步，所述最小化模型可表示为：

式中，α、β和γ为权重因子，P_total(t)、L_total(t)和

分别表示t时刻整个网络系统网络的总能耗、总资源方差和VNF平均同步时延，P_max表示网络系统的最大能耗，L_max表示网络系统的最大资源方差，τ_max表示所有VNF的最大平均同步时延。

进一步，在步骤S4中，通过分阶段设计基于MAPPO的VNF迁移子算法和基于MADDPG的孪生服务节点链路关联子算法来最小化VNF迁移后的网络能耗、资源方差和VNF平均同步时延。所述基于MAPPO的VNF迁移子算法的步骤如下：

1)每个智能体与网络系统交互，从网络环境中获得物理节点和链路的状态信息，并从SDN控制器获得资源需求预测信息；

2)根据资源需求计算每个NFV节点的CPU利用率、存储利用率以及链路带利用率，若存在NFV节点资源利用率高于上限阈值κ^up或低于下限阈值κ^d，或者存在链路利用率高于上限阈值κ^up的情况，则将触发VNF迁移和孪生服务节点链路关联机制；

3)在VNF迁移阶段，算法首先将初始化每一智能体的行动家(Actor)网络参数、评论家(Critic)网络参数和最大迭代次数；

4)在每轮迭代过程中，首次状态将由网络直接初始化，后续状态需要等待MADDPG的关联算法执行完成才能得到；

5)重复决策步骤并存储轨迹，直到达到迭代中最大步数；

6)通过泛化优势估计法估计优势函数；

7)在训练阶段，通过Adam优化器更新Actor和Critic网络参数。

进一步，在步骤S4中，所述基于MADDPG的孪生服务节点链路关联子算法的步骤如下：

1)每个智能体和网络系统交互，从网络环境中获得物理节点和链路信息，并从SDN控制器获取VNF迁移后在孪生服务节点构建VNF数字孪生体的实际资源需求量和VNF的节点链路映射策略；

2)初始化一个动作探索的随机过程N和缓存池D₂，初始化Actor网络参数为θ_v，Critic网络参数为θ_v′；从MAPPO算法接收执行动作后的状态动作用于更新MADDPG关联算法状态；

3)对每一个智能体v，由当前策略和随机探索因子N_t选择当前动作

在MADDPG关联算法执行完该动作后获得奖励，将执行后的状态动作发送至MAPPO算法，等待MAPPO算法执行完在下一轮再更新到下一状态；

4)每一智能体从缓存池D₂中采样数据量大小为B₂的小批次数据，计算目标值y_j，并通过损失函数更新Critic网络；

5)对每个智能体，采取软更新的方式对目标网络参数θ_v′进行更新。

本发明的有益效果在于：本发明构建了数字孪生辅助的5G云无线接入网络切片架构，并通过VNF数字孪生体实现了对VNF的实时监控；同时各数字孪生体可根据历史数据和迁移模型通过多任务TransDT-GRU的VNF资源需求预测框架进行模型在线训练和资源预测；最后基于预测的VNF资源需求结果，设置了多种计算资源使用阈值的VNF迁移触发条件，并通过VNF迁移子算法和孪生服务节点关联子算法进行求解，降低了迁移时延和SDN同步时延，同时保障了迁移后的网络性能。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为数字孪生辅助的云无线接入网切片架构图；

图2为基于深度优先搜索的可行路径算法流程图；

图3为基于在线学习的多任务VNF；

图4为基于多任务TransDT-GRU的VNF资源需求预测框架图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提出一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法，解决了VNF缺乏监管和VNF迁移带来的时延问题，同时能够有效降低SDN控制器同步所有VNF预测资源数据的时延，并保障迁移后的网络性能。

该方法包括步骤如下：

步骤一、由于VNF缺乏监管，构建数字孪生辅助的5G云无线接入网切片架构，通过在孪生服务节点构建VNF数字孪生体对其实时监控。

图1所示为数字孪生辅助的5G云无线接入网络切片架构图。其物理层定义为全连接无向图G_P＝(N_P,L_P)，其中N_P表示底层物理节点集合，L_P表示底层物理链路集合。物理节点既可用于VNF运行，又可用于VNF数字孪生体构建，但一个节点只能单独用于部署VNF实例或用于构建VNF数字孪生体。因此可将节点分为两类，即处理VNF实例的VNF功能节点集

和构建VNF数字孪生体的节点集/>

即有/>

设每个节点n∈N_P的可用资源量可由C_n(Hz)和M_n(Byte)表示，其中C_n和M_n分别表示节点n的计算资源和存储资源；物理节点n和m之间的物理链路可表示为l_nm；物理链路l_nm∈L的带宽资源可由B_nm表示。

在应用层，设X表示一组服务请求集合，且X＝{X₁,X₂,…,X_k,…,X_K}，其中K表示总的服务请求数。而单独一个服务功能链X_i可被表示为X_i＝({f_ij|j＝1,2,…,I_i},T_i)，其中f_ij表示第i条SFC的第j个虚拟网络功能，I_i表示服务i的VNF集合，T_i表示SFCi的端到端延迟要求。此外，设第i条SFC可抽象为有向图

其中/>

为第i条SFC上所有VNF集合，

为第i条SFC上的所有虚拟链路集合。最后，设/>

表示t时刻第i条SFC上的第j个VNF的CPU计算资源需求，/>

表示内存资源需求，/>

则表示t时刻第i条SFC上的VNF j和VNFk之间的虚拟链路/>

的带宽资源需求且/>

最后，设/>

表示t时刻第i条SFC上的VNFj是否映射到物理节点n的二进制变量，/>

表示t时刻是否将VNF j映射到物理节点n，否则不映射。/>

表示t时刻是否将第i条SFC上的虚拟链路/>

映射到物理链路l_mn上。

设运行在物理节点上的VNF都已关联到相应的孪生服务节点且已完成VNF数字孪生体的搭建。设SFCi上VNF j的数字孪生体可被建模为DT_ij＝{D_ij,S_ij,M_ij}，其中D_ij表示VNFj的历史数据；S_ij表示VNF j的运行状态信息；M_ij表示VNF j的数字模型，也指VNF迁移问题中待迁移的数字孪生体模型，其主要包括VNF在t时刻前d个时隙内的历史状态信息和VNF资源需求在线训练预测模型参数。设D_ij,w表示SFCi上VNF j的数字孪生体的模型参数数据包大小。其次，设

表示t时刻被映射到物理节点n上的第j个VNF是否关联到节点l，

表示在孪生服务节点l上构建数字孪生体，反之不构建。/>

表示t时刻第i条SFC上VNF j的孪生服务节点关联路径上物理链路l_uv的带宽资源需求；/>

表示t时刻第i条SFC上VNF j的数字孪生体迁移路径上物理链路l_cd的带宽资源需求。

最后，为简化链路选择问题的复杂性，设

表示t时刻第i条SFC上映射到NFV节点n的VNF j关联到孪生服务节点l的路径选择，/>

表示t时刻第i条SFC上VNF j的数字孪生体从原孪生服务节点h迁移到新孪生服务节点k的路径选择，特别地，/>

表示迁移路径为空，即不需要迁移数字孪生体。其中/>

和/>

均为离散变量，由深度优先搜索算法得到所有可行路径，其算法流程如图2所示，具体步骤如下：

1)通过邻接矩阵记录物理网络图G_P＝(N_P,L_P)，初始化关联路径集合X或迁移路径集合(Y)。

2)从源节点n或(l)出发进行遍历，首先判断是否还能继续向下遍历，若能则访问当前节点并未访问的邻接节点。若访问到目的节点l或(k)，则将路径添加到集合X或(Y)；否则依次退回到最近被访问的节点p，若p还有邻接节点未被访问，继续搜索。

3)当回溯到源节点，算法结束。并计算关联路径集合X或迁移路径集合(Y)中所有路径的时延，从小达大排序，依次添加指路径集合中。由于迁移路径存在集合为空的情况，因此设0表示集合为空的情况。如存在关联路径

那么/>

表示节点n到l时延最短的路径，/>

表示时延最长的路径。特别地，/>

表示迁移路径为空，即不需要迁移数字孪生体。

步骤二、针对动态流量变化引起的VNF迁移和现有迁移策略带来的时延问题，采用基于在线学习的多任务VNF资源预测框架对VNF资源需求进行预测，并结合迁移学习采用多任务TransDT-GRU的VNF资源预测框架，以解决大规模数据集中式训练带来的节点内存资源不足问题。

如图3所示，本发明所采用的基于在线学习的多任务VNF资源预测框架，该框架包括离线训练，在线学习，以及在线迁移与孪生服务节点链路关联三个子模块。

(1)离线训练模块：设输入特征集合为w＝{w₁,w₂,…,w_k-1,w_k,…}，其中w_k表示SFCi上VNF j的第k个特征样本集且w_k＝{X_ij(t),X_ij(t-1),…,X_ij(t-d+1)}，d表示样本中时隙的长度，也指在线学习预测阶段的滑动窗口，X_ij(t)表示由CPU资源需求、存储资源需求和链路带宽资源组成的特征且

采用多任务学习方法，将CPU、存储和链路带宽资源多个任务作为一个特征输入到同一GRU网络中进行训练，充分挖掘不同资源预测任务之间的关联性，提升各个子任务的模型精度。算法通过将所有存储的历史特征输入到GRU网络进行离线预训练，并对训练参数进行调整，为在线学习模块提供良好的初始模型参数。

(2)在线学习模块：将离线训练阶段的预训练参数作为初始参数进行在线学习，每存储一个新的资源需求实际值，就对最旧的样本特征进行丢弃，保持滑动窗口长度不变，并通过正向传播参数，反向微调对模型参数进行更新，为网络系统提供一个在线的VNF资源预测模型。

(3)在线迁移与孪生服务节点链路关联模块：SDN控制器收集各孪生服务节点预测的VNF资源需求，判断物理网络中的低载NFV节点、过载NFV节点和链路，制定相应的VNF迁移策略和孪生服务节点链路关联策略来保证网络性能。

如图4所示，为基于多任务TransDT-GRU的VNF资源需求预测框架，该框架模型的训练过程如下：

首先，当VNF1首次映射到NFV节点并关联到孪生服务节点上时，孪生服务节点可以通过基于多任务DT-GRU的VNF资源需求算法训练模型参数ω(t)。然后，当VNF发生迁移时，其关联的孪生服务节点也可能发生改变，导致VNF数字孪生体的迁移。此时新数字孪生体将根据新采集的VNF资源需求数据对权重进行更新。

以VNF j为例，设g_j,ω表示权重梯度，L表示在关联到同一孪生服务节点的连续时隙数，f_j(·)表示网络模型函数，y_j(t)表示资源需求真实值，那么首个孪生服务关联节点上的梯度与模型参数更新方式为：

ω(t+l)＝ω(t)-ρ·g_j,ω(t+l),l＝T_d+1,...,T_d+L,t＞T_d (2)

式中，ρ表示多任务TransDT-GRU模型的学习率。其他孪生服务关联节点的梯度与模型参数更新方式为：

ω(t+q+l)＝ω(t+q)-ρ·g_j,ω(t+q+l),l＝1,...,L,t＞T_d (4)

式中，q表示其他孪生服务关联节点上的初始时刻。

步骤三、在计算、内存、带宽资源、VNF映射和数字孪生体构建约束下，综合考虑网络能耗、资源方差和网络同步时延构建最小化模型。当物理节点资源利用率较低时，通过迁移该物理节点上的VNF或者数字孪生体并关联物理节点来降低网路能耗；当物理节点或链路资源利用率较高时，通过调整迁移VNF或VNF数字孪生体，或者调度链路来降低网络资源方差和VNF同步时延。

最小化模型可表示为：

式中，α、β和γ为权重因子，P_total(t)、L_total(t)和

分别表示t时刻整个网络系统网络的总能耗、总资源方差和VNF平均同步时延，P_max表示网络系统的最大能耗，L_max表示网络系统的最大资源方差，τ_max表示所有VNF的最大平均同步时延。

进一步，t时刻整个网络系统的网络能耗可表示为：

式中，P_m(t)和P_l ^DT(t)分别表示NFV节点m和孪生服务节点l的网络能耗。

t时刻整个网络系统的资源方差可表示为：

式中，γ₁、γ₂和γ₃为权重因子且γ₁＝γ₂＝γ₃＝1/3，

和/>

分别表示所有节点的CPU资源方差、存储资源方差和所有链路的带宽资源方差。

t时刻整个网络系统的VNF同步时延可表示为：

式中，

和/>

分别表示t时刻SFCi中VNF j关联路径上物理链路l_mn的传输时延和传播时延，/>

和/>

分别表示t时刻SFCi中VNF j迁移路径上物理链路l_mn的传输时延和传播时延。

该优化目标受到C1～C18限制条件约束来保证优化目标的有效性。考虑到问题的复杂性，本发明将该问题分阶段求解，主要分为VNF迁移阶段和孪生服务节点链路关联阶段，其中约束C1～C11表示VNF迁移阶段需要满足的约束限制，C12～C18表示孪生服务节点链路关联阶段需要满足的约束限制。

其中C1是为了确保每个VNF只能映射到一个虚拟节点上。C2是为了保证相邻VNF之间的虚拟链路只能映射到一条物理链路上。C3、C4分别表示NFV节点的CPU计算资源限制和存储资源限制，其中κ^d、κ^up分别为节点资源的下限值和上限值。C5用于保证所有SFC的端到端时延限制，其中，T(m,n)表示物理链路l_mn的传输时延，

表示物理节点n的数据处理时延，T_i表示SFC的端到端时延要求。C6表示SFC中相邻两个VNF映射到NFV节点m和n时，必须存在一条连续路径l_mn，满足流守衡原则。C7表示若NFV节点n上有VNF映射，那么这个节点必须处于开启状态，其中，g_n(t)为二进制变量，表示NFV节点m是否处于开启状态。C8表示VNF迁移阶段中链路的带宽资源限制。C9～C11为VNF迁移阶段的一系列二进制变量约束。C12用于保证每个VNF只能关联到一个孪生服务节点，/>

表示t时刻被映射到物理节点n上的第j个VNF是否关联到节点l。C13、C14分别表示孪生服务节点的CPU和存储资源限制。C15表示如果孪生服务节点存在VNF关联，那么这个节点也必须处于开启状态，其中，h_l(t)为二进制变量，表示孪生服务节点l是否处于开启状态。C16表示孪生服务节点链路关联阶段链路需要满足的带宽资源限制。C17～C18为孪生服务节点链路关联阶段的一系列二进制变量约束。C19-C20为多进制离散变量。

步骤四、基于预测的VNF资源预测结果，设置多种计算资源使用阈值的VNF迁移触发条件，分阶段设计基于MAPPO的VNF迁移子算法和基于MADDPG的孪生服务节点链路关联子算法。

MAPPO算法将VNF迁移子问题归为离散时间马尔可夫决策过程，通过多个智能体与环境交互，以学习到最佳的迁移策略。在MAPPO算法中，以每条SFC为一个智能体进行学习，MAPPO算法采用GAE来估计所采取动作的好坏，智能体u的优势函数表示如下：

式中，

表示时间差分(Temporal Difference,TD)误差，γ_v1为折扣因子，λ∈(0,1)为衰减因子，T为一轮迭代的迭代步长，/>

和/>

分别表示VNF迁移阶段智能体u的状态和动作。

其次，采用基于裁剪的优化目标损失函数来避免新策略严重偏离旧策略，Actor网络的损失函数表示如下所示：

其中E_t{·}表示取期望值，θ表示Actor网络的网络参数，

表示新旧策略比值，1-ε和1+ε分别表示裁剪区间的下限值和上限值。如果新旧策略的比率/>

落在区间(1-ε,1+ε)外面，则损失函数需要被裁剪，裁剪方式为：若/>

取值为1+ε；若/>

取值为1-ε；若/>

在(1-ε,1+ε)内，则不需要裁剪。

而Critic网络的损失函数可表示为：

其中，

和/>

表示就策略和新策略下Critic网络的状态动作值函数。

最后，智能体u分别通过以下公式计算网络梯度Δθ_u和Δω_u，用于Actor网络参数θ_u和Critic网络参数ω_u的更新。如下所示：

式中，α_a表示Actor网络学习率，α_c表示Critic网络学习率。

在孪生服务节点链路关联阶段，MADDPG算法的具体过程如下所示：

1)每个智能体和网络系统交互，从网络环境中获得物理节点和链路信息，并从SDN控制器获取VNF迁移后在孪生服务节点构建VNF数字孪生体的实际资源需求量和VNF的节点链路映射策略；

2)初始化一个动作探索的随机过程N和缓存池D₂，初始化Actor网络参数为θ_v，Critic网络参数为θ_v′；从MAPPO算法接收执行动作后的状态动作用于更新MADDPG关联算法状态；

3)对每一个智能体v，由当前策略和随机探索因子N_t选择当前动作

在MADDPG关联算法执行完该动作后获得奖励，将执行后的状态动作发送至MAPPO算法，等待MAPPO算法执行完在下一轮再更新到下一状态；

4)每一智能体从缓存池D₂中采样数据量大小为B₂的小批次数据，计算目标值y_j，并通过损失函数更新Critic网络；

5)对每个智能体，采取软更新的方式对目标网络参数θ_v′进行更新。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法，其特征在于：该方法包括以下步骤：

S1、构建数字孪生辅助的5G云无线接入网络切片架构，并通过在孪生服务节点构建VNF数字孪生体对VNF进行实时监控；

S2、采用基于在线学习的多任务VNF资源预测框架对VNF资源需求进行预测，并结合迁移学习采用基于多任务TransDT-GRU的VNF资源预测框架，以解决大规模数据集中式训练带来的节点内存资源不足的问题；

S3、在计算、内存、带宽资源、VNF映射和数字孪生体构建约束下，构建VNF迁移后的网络能耗、资源方差和网络同步时延最小化模型；

S4、基于预测的VNF资源预测结果，设置多种计算资源使用阈值的VNF迁移触发条件，并通过VNF迁移和孪生服务节点链路关联，以降低迁移后系统的网络能耗、资源方差和VNF平均同步时延。

2.根据权利要求1所述的虚拟网络功能迁移方法，其特征在于：在步骤S1中，网络切片场景包括基础设施层、虚拟化层和应用层。所述基础设施层包括NFV节点和孪生服务节点，NFV节点用于处理VNF，孪生服务节点用于构建相应的VNF数字孪生体；所述虚拟化层用于实现对虚拟资源的灵活调配；所述应用层中包括多条SFC。

3.根据权利要求1所述的虚拟网络功能迁移方法，其特征在于：在步骤S2中，所述基于在线学习的多任务VNF资源预测框架包括离线训练模块，在线学习模块，以及在线迁移与孪生服务节点链路关联模块。

4.根据权利要求3所述的虚拟网络功能迁移方法，其特征在于：所述离线训练模块具体为：设离线训练模块的输入特征集合为：

w＝{w₁,w₂,…,w_k-1,w_k,…}

式中，w_k表示第i条SFC上第j个VNF的第k个特征样本集，且：

w_k＝{X_ij(t),X_ij(t-1),…,X_ij(t-d+1)}

式中，d表示样本中时隙的长度，也指在线学习预测阶段的滑动窗口，X_ij(t)表示由CPU资源需求、存储资源需求和链路带宽资源组成的特征，且

其中，/>

表示第i条SFC上的第j个VNF的CPU计算资源需求，/>

表示内存资源需求，/>

则表示第i条SFC上的VNFj和VNFk之间的虚拟链路的带宽资源需求；

采用多任务学习方法，将CPU、存储和链路带宽资源多个任务作为一个特征输入到同一GRU网络中进行训练，充分挖掘不同资源预测任务之间的关联性，提升各个子任务的模型精度；通过将所有存储的历史特征输入到GRU网络进行离线预训练，并对训练参数进行调整，为在线学习模块提供良好的初始模型参数；

所述在线学习模块具体为：将离线训练阶段的预训练参数作为初始参数进行在线学习，每存储一个新的资源需求实际值，就对最旧的样本特征进行丢弃，保持滑动窗口长度不变，并通过正向传播参数，反向微调对模型参数进行更新，为网络系统提供一个在线的VNF资源预测模型；

所述在线迁移与孪生服务节点链路关联模块具体为：SDN控制器收集各孪生服务节点预测的VNF资源需求，判断物理网络中的低载NFV节点、过载NFV节点和链路，制定相应的VNF迁移策略和孪生服务节点链路关联策略来保证网络性能。

5.根据权利要求1所述的虚拟网络功能迁移方法，其特征在于：在步骤S2中，基于多任务TransDT-GRU的VNF资源需求预测框架具体为：

首先，当VNF1首次映射到NFV节点并关联到孪生服务节点上时，孪生服务节点可以通过基于多任务DT-GRU的VNF资源需求算法训练模型参数ω(t)；然后，当VNF发生迁移时，其关联的孪生服务节点也发生改变，导致VNF数字孪生体的迁移；此时新数字孪生体将根据新采集的VNF资源需求数据对权重进行更新。

6.根据权利要求1所述的虚拟网络功能迁移方法，其特征在于：在步骤S3中，当物理节点资源利用率较低时，通过迁移该物理节点上的VNF或者数字孪生体并关联物理节点来降低网路能耗；当物理节点或链路资源利用率较高时，通过调整迁移VNF或VNF数字孪生体，或者调度链路来降低网络资源方差和VNF同步时延。

7.根据权利要求1所述的虚拟网络功能迁移方法，其特征在于：在步骤S3中，所述最小化模型表示为：

式中，α、β和γ为权重因子，P_total(t)、L_total(t)和

分别表示t时刻整个网络系统网络的总能耗、总资源方差和VNF平均同步时延，P_max表示网络系统的最大能耗，L_max表示网络系统的最大资源方差，τ_max表示所有VNF的最大平均同步时延。

8.根据权利要求1所述的虚拟网络功能迁移方法，其特征在于：在步骤S4中，通过分阶段设计基于MAPPO的VNF迁移子算法和基于MADDPG的孪生服务节点链路关联子算法来最小化优化模型。

9.根据权利要求1所述的虚拟网络功能迁移方法，其特征在于：所述基于MAPPO的VNF迁移子算法的步骤如下：

1)每个智能体与网络系统交互，从网络环境中获得物理节点和链路的状态信息，并从SDN控制器获得资源需求预测信息；

2)根据资源需求计算每个NFV节点的CPU利用率、存储利用率以及链路带利用率，若存在NFV节点资源利用率高于上限阈值κ^up或低于下限阈值κ^d，或者存在链路利用率高于上限阈值κ^up的情况，则将触发VNF迁移和孪生服务节点链路关联机制；

3)在VNF迁移阶段，算法首先将初始化每一智能体的行动家(Actor)网络参数、评论家(Critic)网络参数和最大迭代次数；

4)在每轮迭代过程中，首次状态将由网络直接初始化，后续状态需要等待MADDPG的关联算法执行完成才能得到；

5)重复决策步骤并存储轨迹，直到达到迭代中最大步数；

6)通过泛化优势估计法估计优势函数；

7)在训练阶段，通过Adam优化器更新Actor和Critic网络参数。

10.根据权利要求1所述的虚拟网络功能迁移方法，其特征在于：所述基于MADDPG的孪生服务节点链路关联子算法的步骤如下：

1)每个智能体和网络系统交互，从网络环境中获得物理节点和链路信息，并从SDN控制器获取VNF迁移后在孪生服务节点构建VNF数字孪生体的实际资源需求量和VNF的节点链路映射策略；

2)初始化一个动作探索的随机过程N和缓存池D₂，初始化Actor网络参数为θ_v，Critic网络参数为θ_v′；从MAPPO算法接收执行动作后的状态动作用于更新MADDPG关联算法状态；

3)对每一个智能体v，由当前策略和随机探索因子N_t选择当前动作

在MADDPG关联算法执行完该动作后获得奖励，将执行后的状态动作发送至MAPPO算法，等待MAPPO算法执行完在下一轮再更新到下一状态；

4)每一智能体从缓存池D₂中采样数据量大小为B₂的小批次数据，计算目标值y_j，并通过损失函数更新Critic网络；

5)对每个智能体，采取软更新的方式对目标网络参数θ′_v进行更新。

Images