CN111953758A - 一种边缘网络计算卸载和任务迁移方法及装置 - Google Patents

Abstract

本发明实施例提供了一种边缘网络计算卸载和任务迁移方法及装置，其中，方法包括：采用基于拉格朗日的任务迁移算法先确定出初始卸载策略下初始最佳迁移策略，然后再重新按照基于强化学习的任务任务卸载算法，确定当前卸载策略，使用当前卸载策略，更新得到当前最佳迁移策略，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。这样通过MECS间计算任务的迁移，实现MECS之间的协作，均衡MECS间的任务负载，以提升边缘网络资源利用率。

Description

一种边缘网络计算卸载和任务迁移方法及装置

技术领域

本发明涉及本发明涉及通信技术领域，特别是涉及一种边缘网络计算卸载和任务迁移方法及装置。

背景技术

目前随着第五代移动通信系统(5th Generation Mobile Networks，5G)的商业推广使得物联网设备成倍增加，推动了物与物通信的快速发展。然而由于物联网设备广泛应用，使得物联网设备中移动通信流量大幅度增加。

为了满足物联网设备中移动通信流量大幅度增加的需求，目前移动边缘计算(Mobile Edge Computing，简称MEC)作为一种新的计算模式。其中，移动边缘计算节点可以包括：靠近用户终端(user equipment，简称UE)的网络边缘的一些MEC服务器，或利用网络边缘的分布式资源形成MEC平台，这样MEC逐渐成为一种新模式。

在MEC模式下，UE可以将全部或部分计算任务卸载到MEC平台上。基于此，使得如何均衡MECS间的任务负载，提升边缘网络资源利用率成为亟待解决的问题。

发明内容

本发明实施例的目的在于提供一种边缘网络计算卸载和任务迁移方法及装置，用以均衡MECS间的任务负载，提升边缘网络资源利用率。具体技术方案如下：

第一方面，本发明实施例提供了一种边缘网络计算卸载和任务迁移方法，所述方法包括：

步骤A，获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；

步骤B，根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延；其中，所述能耗包括：UE执行任务能耗、任务传输能耗及所述MECS执行任务能耗，所述时延包括：UE执行任务时延、任务传输时延、所述MECS执行任务时延；

步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，所述初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到所述各类MECS中源MECS所有任务的迁移策略，所述源MECS为需要迁移出任务的MECS；

步骤D，采用基于强化学习的任务任务卸载算法，确定当前卸载策略；

步骤E，基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略；

步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略。

第二方面，本发明实施例提供了一种边缘网络计算卸载和任务迁移装置，所述装置包括：

获取模块，用于获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；

第一处理模块，用于根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延；其中，所述能耗包括：UE执行任务能耗、任务传输能耗及所述MECS执行任务能耗，所述时延包括：UE执行任务时延、任务传输时延、所述MECS执行任务时延；

第二处理模块，用于基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，所述初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到所述各类MECS中源MECS所有任务的迁移策略，所述源MECS为需要迁移出任务的MECS；

第三处理模块，用于采用基于强化学习的任务任务卸载算法，确定当前卸载策略；

第四处理模块，用于基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略；

第五处理模块，用于判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略。

第三方面，本发明实施例提供了一种边缘节点服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一的方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面任一的方法。

本发明实施例有益效果：

本发明实施例提供的一种边缘网络计算卸载和任务迁移方法及装置，采用基于拉格朗日的任务迁移算法先确定出初始卸载策略下初始最佳迁移策略，然后再重新按照基于强化学习的任务任务卸载算法，确定当前卸载策略，使用当前卸载策略，更新得到当前最佳迁移策略，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。这样通过MECS间计算任务的迁移，实现MECS之间的协作，均衡MECS间的任务负载，以提升边缘网络资源利用率。并且，在用户设备端和边缘端的能耗受限的前提下，实现用户设备端到边缘端的卸载以及MECS之间的任务迁移，在管理能耗的同时通过最小化时延，满足任务的实时性需求，并且提升MECS利用率。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的边缘网络的结构示意图；

图2为本发明实施例提供的边缘网络计算卸载和任务迁移方法的流程示意图；

图3为本发明实施例的L-Migration算法的示意图；

图4为本发明实施例的Q-Offloading算法的示意图；

图5为本发明实施例的基于强化学习的任务任务卸载算法和基于拉格朗日的任务迁移算法的联合示意图；

图6为本发明实施例的基于强化学习的任务任务卸载算法和基于拉格朗日的任务迁移算法的部分示意图；

图7为本发明实施例的能量更新的流程示意图；

图8(a)为本发明实施例的系统能耗的示意图；

图8(b)为本发明实施例的系统平均时延的示意图；

图8(c)为本发明实施例的MECS能量消耗队列的示意图；

图9为本发明实施例的不同工作负载的影响示意图；

图10为本发明实施例的控制参数V的影响示意图；

图11为本发明实施例的不同的V对于能量和时延的影响示意图；

图12为本发明实施例的终端能量消耗队列和时延的示意图；

图13为本发明实施例的MECS不同服务速率对任务迁移的影响示意图；

图14为本发明实施例的学习率对于奖励的影响示意图；

图15为本发明实施例的边缘网络计算卸载和任务迁移装置名称的结构示意图；

图16为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的目的在于提供一种边缘网络计算卸载和任务迁移方法及装置，用以均衡MECS间的任务负载，提升边缘网络资源利用率。下面首先结合图1，对本发明实施例提供的一种基于强化学习的协同计算任务卸载和迁移的方法，应用的边缘网络进行介绍。

如图1所示，本发明提出的边缘网络包括用户设备层(Devices Layer)及边缘层(Edge Layer)。

其中，用户设备层由物联网应用如智能家居、智能灾难救援、智慧教育、智能电网、智慧医疗、智能旅游、智慧交通等智能应用的多个UE(User Equipment，简称UE)组成。每个UE具有一定的计算和储存能力，可以为其运行的应用程序提供计算和通信服务。

与用户设备层通过无线网络连接的边缘层，该层由多个边缘节点(Edge Node，简称EN)组成，每个EN可以但不限于包括一个MEC服务器(Mobile Edge Computing Server，简称MECS)，或者，小型基站(Small Base Station，简称SBS)，每个EN中的SBS连接多个UE，通过SBS与UE的通信。而EN之间由LAN连接，可以传输任务。MECS用于接收UE的数据进行处理。

上述边缘网络的两层也可以称为两端，即用户设备端及边缘端，MEC服务器也可以称为边缘端服务器。

基于上述边缘网络的介绍，下面继续对本发明实施例提供的一种基于强化学习的协同计算任务卸载和迁移的方法，应用的场景进行介绍。

本发明实施例所提供的一种边缘网络计算卸载和任务迁移方法，应用于监控、感知、通用连接以及智能信息处理和控制等场景。

接着，继续介绍本发明实施例所提供的一种边缘网络计算卸载和任务迁移方法的具体实现过程。

如图2所示，本发明实施例所提供的一种边缘网络计算卸载和任务迁移方法，应用于边缘节点服务器MECS，该方法可以包括如下步骤：

步骤11，获取UE的运转状态、MECS的运转状态以及信道情况。

其中，上述UE的运转状态可以是指UE产生的任务的数据大小L，处理周期密度X，以及终端CPU频率f，UE的运转状态用来计算用户终端的处理能耗p_l＝kLXf²和时延

并且，上述MECS的运转状态可以是指MECS迁移后的任务量ν，MECS的服务速率β，单位任务的执行能耗κ，MECS的运转状态用来计算MECS的迁移总量η＝∑y，以及MECS处理能耗P_c＝κν，和MECS处理时延

另外，上述信道情况可以是指终端到MECS的信道带宽W,终端到MECS的信道增益h_i,和终端到MECS的信道噪声。其用来计算传输速率r和终端到MECS的传输能耗

其中，Ω^t是传输的负载大小。以及传输时延

其中L是终端产生的任务的数据大小。

步骤12，根据UE的运转状态、MECS的运转状态以及信道情况，确定边缘网络的能耗及边缘网络的时延；其中，能耗包括：UE执行任务能耗、任务传输能耗及MECS执行任务能耗，时延包括：UE执行任务时延、任务传输时延、MECS执行任务时延；其中，上述步骤12进一步包括：根据UE的运转状态、MECS的运转状态以及信道情况，建立能耗与时延的最小化问题对应的模型。

本发明实施例通过考虑能耗和时延，确定出最优任务卸载策略，以满足最低能耗和最低延迟成本的网络需求。

对于上述延迟成本而言，时延指的是边缘网络的总时延。其中传输时延包括：UE通过无线网络与EN进行数据传输的时延。这样通过考虑UE及EN执行任务时延、传输时延，从而后期基于这些延迟成本，联合能耗，完成能耗和延迟成本的优化，提高了边缘网络最优卸载策略以及边缘网络最优迁移策略的有效性。

而，对于上述能耗而言，能耗的主要因素包括信号强度、数据传输速率等网络特性。因此，在整个任务处理过程中，都存在能量消耗，即能耗，因此，通过考虑UE及EN执行任务能耗以及传输能耗，从而后期实现此能耗，联合延迟成本，完成能耗和延迟成本的优化，提高了边缘网络最优卸载策略以及边缘网络最优迁移策略的有效性。

上述任务是指UE生成的需要处理的各个任务。

步骤13，基于能耗及时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到各类MECS中源MECS所有任务的迁移策略，源MECS为需要迁移出任务的MECS。上述步骤13进一步包括：将能耗与时延的最小化问题对应的模型转化为Lyapunov边界最小化问题；使用初始卸载策略，采用基于拉格朗日的任务迁移算法，通过最小化Lyapunov边界以确定初始卸载策略下的初始最佳迁移策略。

在迁移过程中，通过MECS分类算法对MECS至少分为源MECS和目标MECS。源MECS只能迁出任务，即源MECS为需要迁移出任务的MECS；而目标MECS只能迁入任务，即目标MECS为接收迁移任务的MECS。上述各类MECS还包括中性MECS(neutral MECS)，其只中处理自己所有任务，不迁移任务，即中性MECS为不迁移任务和不接受迁移任务的MECS。MECS分类算法的目的是为了避免迁移的循环，即防止任务在MECS节点间被反复迁移。例如，从第i个源MECS迁移的任务到第j个MECS上的任务，将在第j个MECS处理，不会进一步再送回第i个MECS。为了布局清楚，关于MECS分类算法，确定初始卸载策略下的初始最佳迁移策略在后文(5)中予以介绍。

上述步骤13中的初始卸载策略可以是假定的卸载策略，比如，假定的卸载策略是指随机的假定任务被卸载到用户设备端上，假定任务被卸载到MECS上。

本步骤13中，基于拉格朗日的任务迁移算法可以是指基于强化学习的拉格朗日的任务迁移算法(L-Migration)。

步骤14，采用基于强化学习的任务任务卸载算法，确定当前卸载策略。

在本步骤14中基于强化学习的边缘端任务卸载(Offloading)算法可以将时延能耗成本的优化问题转化为每单位时隙的惩罚优化问题，再利用强化学习，在不需要网络全局状态信息的情况下，根据不断变化的卸载策略，获得边缘网络最优卸载策略。为了避免维数灾难，Offloading状态定义是卸载策略的改变，有效地提高了算法的收敛速度，缩短了算法的运行时间。为了布局清楚，关于基于强化学习的边缘端任务卸载(Offloading)算法的具体过程在后文中予以介绍。

步骤15，基于能耗及时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略。

步骤16，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果否，则说明当前卸载策略和当前最佳迁移策略不满足边缘网络最优策略条件，则返回步骤14继续执行；如果是，则说明当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，则执行步骤17；

步骤17，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。

其中，上述步骤17中的边缘网络最优策略条件可以但不限于为在学习加强算范中的迭代终止条件，用于确定出缘网络最优卸载策略以及边缘网络最优迁移策略。

本步骤17进一步包括：通过强化学习求解Lyapunov边界最小化问题，得到边缘网络最优卸载策略以及边缘网络最优迁移策略，其中，强化学习包括：强化学习的有限状态集合中的状态、强化学习的有限状态集合中动作集合中的动作以及奖励；状态为任务卸载策略发生变化的任务的状态，动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，奖励为状态动作对使Lyapunov漂移加惩罚边界产生的变化。这样在当前UE的任务变化为下一UE的任务时，交换任务之间的卸载向量发生变化。

在本发明实施例中，采用基于拉格朗日的任务迁移算法先确定出初始卸载策略下初始最佳迁移策略，然后再重新按照基于强化学习的任务任务卸载算法，确定当前卸载策略，使用当前卸载策略，更新得到当前最佳迁移策略，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。这样通过MECS间计算任务的迁移，实现MECS之间的协作，均衡MECS间的任务负载，以提升边缘网络资源利用率。并且，在用户设备端和边缘端的能耗受限的前提下，实现用户设备端到边缘端的卸载以及MECS之间的任务迁移，在管理能耗的同时通过最小化时延，满足任务的实时性需求，并且提升MECS利用率。

为了方便理解基于拉格朗日的任务迁移算法以及基于强化学习的任务任务卸载算法，得到边缘网络最优卸载策略以及边缘网络最优迁移策略的思想实现过程。以下详细叙述发明人的思考过程：

首先在边缘网络中根据任务卸载和迁移的通信与计算资源需求，确定边缘网络的能耗及边缘网络的时延；接着，单个MECS和UE所承诺的能量预算的情况下，以延迟成本最小化为目标，确定该目标的优化问题。一方面，在边缘层中基于强化学习的任务迁移算法L-Migration算法，通过MECS间计算任务的迁移，实现MECS之间的协作，均衡MECS间的任务负载，以提升边缘网络资源利用率。另一方面，在边缘层中基于强化学习的任务任务卸载算法Q-offloading算法，确定最优的边缘节点和UE之间的卸载策略；本发明实施例通过使用L-Migration算法、Q-offloading算法反复迭代，直到满足迭代终止条件，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。在本发明实施例中，在用户设备端和边缘端的能耗受限的前提下，实现用户设备端到边缘端的卸载以及MECS之间的任务迁移，在管理能耗的同时通过最小化时延，满足任务的实时性需求，并且提升MECS利用率。并且，在得到边缘网络最优卸载策略以及边缘网络最优迁移策略之后，本发明实施例利用UE和边缘节点能量消耗队列，动态更新边缘网络中的能耗信息，其中能耗信息包括：UE的能耗以及MECS的能耗。具体说明如下。

(1)、在能耗约束下，为了优化任务卸载并实现最小化边缘网络的延迟成本。

首先，上述步骤12可以通过如下公式，获取时延成本，作为时延：

其中，R_m,i为将与第i个边缘节点连接的第m个UE的任务

为时隙t中将与第i个边缘节点连接的第m个UE的任务，U_m,i为通过第i边缘节点连接的第m个UE，m和i为序号，

为时隙t中R_m,i执行的总延迟成本，

为U_m,i在时隙t产生任务的卸载策略集合，

为U_m,i在时隙t产生任务的迁移策略集合，local为UE，mec为边缘端，

为R_m,i在UE的计算时延，

为EN到云端服务器的时延，

为第i边缘节点和与第i边缘节点连接的U_m,i之间的传输时延，

为R_m,i的迁移时延，

为边缘节点的计算时延，bh、tx、c及con用于区分各时延，并无实际物理含义。每个时隙卸载策略由

为，

为

将被卸载到UE上处理，

为

将被卸载到边缘端上处理，其中，

在每个时隙只能有一个为1。

为终端任务R_m,i到MECS的传输时延，

为MECS迁移R_m,i的阻塞时延，

为MECS处理R_m,i能耗，O_m,i(t)为R_m,i终端能量消耗队列，k为芯片结构相关的有效开关电容，f_m,i为U_m,i的中央处理器周期频率，

为处理R_m,i需要的总的CPU周期，N为MECS的个数，

为任务R_m,i是否从第j个MECS迁移到第j个MECS的向量表示，

表示R_m,i会从第j个MECS迁移到第j个MECS，C_m,i为R_m,i的任务量大小与单位任务的比值，β_j为边缘节点服务器服务速率，

为迁移后第j个MECS上总的负载量，

为R_m,i任务数据大小，r_m,i为U_m,i用户终端到第i个MECS的传输速率，τ为单位任务迁移的时延，

为边缘网络中迁移的总工作负载。

其中，UEU_m,i每个以概率ζ产生一个任务请求R_m,i，用一个三元组

为。R代表单位任务，R_m,i的数据大小是单位任务的倍数。R_m,i数据大小为

需要的处理密度

(in CPU cycles/bit)，根据任务的大小和处理密度可以得到任务R_m,i需要的CPU处理周期

为R_m,i的最大处理时延。

边缘网络中的UE可以请求不同类型的服务，因此处理计算任务所需的CPU周期数在每个时隙为可变的。每个UEU_m,i的CPU处理频率为f_m,i，k为和芯片结构有关的有效开关电容。

其次，上述步骤12可以通过如下公式，获取能量成本，作为能耗：

其中，

为时隙t中R_m,i执行R_m,i的能量成本，k为取决于芯片结构的有效开关电容，

为第i个边缘节点固定的传输功率，κ_j为第j个边缘节点服务器执行单位任务的能耗，TX无具体物理含义，用于与其他功率进行区分，

为时隙t中U_m,i到第i个边缘节点中的下行链路业务流量。

(2)、在给定单个MECS和UE所承诺的能耗预算的情况下，边缘网络的执行计算任务总延迟最小化。上述步骤12通过如下公式，建立任务迁移策略，作为目标模型，通过优化此目标模型，确定边缘网络最优卸载策略以及边缘网络最优迁移策略：

s.t.(a)

(b)

(c)

(d)

(e)

(f)

其中，

为优化问题，s.t.为约束，x^t为时隙t内所有任务的卸载策略，y^t为时隙t内所有任务的迁移策略，T为一个周期，

为求期望的符号，i为序号，N为边缘节点的数量，m为第i个边缘节点连接的终端设备，M_i为第i个边缘节点连接的终端设备数量，

为时隙集合，

为存在，

为U_m,i的能耗，l为UE，

为U_m,i的能耗上限，max为最大，

为x^local,x^mec中的任一者，

为时隙t中的第i个MECS的能量消耗，即能耗，

为第i个MECS的长期平均能量预算，

为MECS的能量上限，F^t为所有的迁移策略。约束(a)是每个时隙中每个任务的延迟要求，以便能够保证所有用户的服务质量。约束(b)为UE在每个时隙的能耗不应超过上限。约束(c)为卸载策略的可行性。约束(d)是长期的能量约束。为每个MECS的长期平均能源预算。约束(d)用于限制一个MECS在预设时间段内的总能耗。约束(e)为MECS的能量消耗不应超过每个时隙的上限。约束(f)为MECS任务迁移策略的可行性。

(3)、为了保证边缘网络中各节点的稳定性，再基于李雅普诺夫优化方法转化上述边缘网络最优卸载策略以及边缘网络最优迁移策略，得到转化后的边缘网络最优卸载策略以及边缘网络最优迁移策略，作为新的目标模型，通过优化此新的目标模型，确定边缘网络最优卸载策略以及边缘网络最优迁移策略。一般此实现过程包括：构建能量消耗队列及基于李雅普诺夫的优化模型。

本发明实施例不直接求解优化问题

而是将优化问题

转化为求解李雅普诺夫漂移加惩罚的边界问题

优化目标变成能耗时延加权和的最小化：

其中，

为求解李雅普诺夫漂移加惩罚的边界问题，s.t.为约束，

为和问题

中的约束条件一样，V为时延能耗权衡控制因子，

Z_i(t)是第i个MECS的能量消耗队列，

为第i个MECS的能耗，

由于长期平均能耗有限，需要对每个时段的能耗进行管控。因此，Z_i(t)为时隙t中第i个MECS的当前能量消耗与能量预算的偏差。为了满足能量预算约束

必须保持能量消耗队列稳定，即

O_m,i(0)＝0，O_m,i(t+1)为时隙t+1内与第i个MECS连接的第m个UE中的所有能耗队列，O(t)为时隙t内与第i个MECS连接的第m个UE中的所有能耗队列的集合，

O_m,i(t)为时隙t内与第i个MECS连接的第m个UE中的所有能耗队列，m为第m个UE，Ui为UE总数，i为序号，i为第i个MECS，

为MECS的总数，t为时隙，

为时隙t内与第i个MECS连接的第m个UE的任务

在本地执行预计的能耗，

代表U_m,i平均能量预算。这样利用Lyapunov优化技术构造了虚拟能量消耗队列来指导的用户侧任务卸载。相较于相关技术中Lyapunov优化的工作通常假设每个请求可以在一个时隙内完成，本发明实施例中建立的场景，允许长度超过一个时隙的请求。因此，通过与第i个MECS连接的UE中的所有能耗队列，限制了当前时隙中的调度决策。

特别地，当U_m,i产生的上一个在UE执行的任务的执行时间大于一个时隙，任务将在当前时隙内继续执行，也就是说，在当前时隙进行任务卸载决策时，U_m,i可能不是空闲状态，而继续执行上一时刻的任务。因此，对于每个UE在每个时隙都将考虑CPU是否空闲，将上一时刻未完成的任务所需要消耗的能耗考虑在能量消耗队列里。而且，本次执行的任务需要考虑排队时延：

(4)、为了解决边缘网络中边缘节点任务迁移的求解问题，

中的优化目标可以进一步为：

其中，

和任务迁移直接相关，

虽然和任务迁移不直接相关，但是可以通过能量消耗队列迭代的方式影响任务迁移的决策。因此，将问题

转化为迁移问题

为：

其中，y^t为任务迁移向量，C_m,i表示任务R_m,i和单位任务数据大小的比值，

为第j个MECS的服务速率，

为迁移后的任务量，

为第i个MECS迁移出的所有任务，

为所有MECS迁移出的任务量。

(5)、为了使得MECS按照其迁移过程中的分类，确定初始卸载策略下的初始最佳迁移策略。参见图3所示，在本发明实施例提供的一种实现方式中，上述步骤13进一步包括：

步骤31，获取所有MECS中每个MECS执行所有任务时每个任务的预卸载边际迁移成本MMC，其中，每个任务的MMC包括：针对每个MECS，该MECS执行所有任务中的最大MMC以及该MECS执行所有任务中的最小MMC，MMC是通过能耗及时延确定的。上述MMC是通过如下δ_i的公式得到的，为了布局清楚在后续进行介绍。

在所述步骤31之后，所述方法还包括：判断针对每个MECS，该MECS的最小MMC和传输平均延时成本之和是否小于最大MMC，则确定MECS是否需要迁移任务。如果否，则说明对每个MECS，该MECS的最小MMC和传输平均延时成本之和不小于最大MMC，则确定MECS不需要迁移任务。

步骤32，针对每个MECS，该MECS的最小MMC和传输平均延时成本之和小于最大MMC，则确定MECS需要迁移任务。

本发明实施例中，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，可以采用如下方式实现：

步骤33，在每次迭代中，确定用于衡量所有MECS的最小MMC与最大MMC的一个中值因子a；其中，

a为中间变量，x＝min{c_pre}，z＝max{c_pre}，x为针对每个MECS，该MECS的最小预设卸载边际迁移成本，z为针对每个MECS，该MECS的最大MMC，c_pre为初始MMC，c_pre＝δ₁，

δ_i为第i个MMC，1≤i≤N，当i＝1时，δ_i＝δ₁，1≤i≤N，N为每个MECS执行所有任务的总数，V为时延能耗权衡控制因子，J_i(.)为第i个MMC中的计算延迟成本，λ_i为迁移前第i个MECS的任务量，κ_i为第i个MECS执行单位任务的能耗，

为时隙t迁移前第i个MECS的任务量，t为时隙；

步骤34，根据MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第一对应关系时，确定所有目标MECS，并计算出所有流入的任务量T_in；其中，所有流入的任务量T_in为迁移入至所有目标MECS中所有迁移任务的任务量的总和，目标MECS为接收迁移任务的MECS，即T_in(a)＝sum({v_i-λ_i}_target)。

如果T_in(a)大于T_out(a)，则z＝a；如果T_in(a)不大于T_out(a)，则x＝a。

上述第一对应关系可以是任何能够确定出仅接收迁移任务的MECS，用于为第i个MMC与a之间大小的关系，均属于本发明实施例的保护范围。上述第一对应关系可以是列表关系，也可以是公式，比如第一对应关系可以但不限于为第i个MMCδ_i小于a，所有目标MECS中的每个目标MECS是根据MECS分类算法中判定第i个MMCδ_i小于a时，确定当前第i个MECS为目标MECS，目标MECS中迁移任务后的任务量，采用如下公式得到：

其中，v_i为目标MECS中迁移后的任务量，-1为求导，Z_i为第i个MMC的能量消耗队列；

J_i(x_i)为第i个MMC中的计算延迟函数，x_i为中间自变量，

为J_i(x_i)中x_i的具体表现形式，

为偏导的符号，

为定义，

为第i个MMC的计算时延，β_i为第i个MMC的服务速率

g(xi)为第i个MMC中的传输平均延时成本函数，

为g(x_i)中x_i的具体表现形式，

为所有源MECS迁移出的任务量，D_con(x_i)为迁移阻塞时延，τ为单位任务传输时延；

步骤35，根据MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第二对应关系时，确定所有中性MECS，其中，中性MECS为不迁移任务和不接受迁移任务的MECS。

上述第二对应关系可以是任何能够确定出不迁移任务和不接受迁移任务的MECS，用于为第i个MMC与a之间大小的关系，均属于本发明实施例的保护范围。上述第二对应关系可以是列表关系，也可以是公式，比如第二对应关系为第i个MMCδ_i满足

所有中性MECS中的每个中性MECS是根据MECS分类算法中判定第i个MMCδ_i满足

时，确定当前第i个MECS为中性MECS，中性MEC中迁移任务后的任务量，采用如下公式得到：ν_i＝λ_i。

步骤36，根据MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第三对应关系时，确定所有源MECS，并计算所有流出的任务量T_out；其中，所有流出的任务量T_out为迁移出所有源MECS中所有迁移任务的任务量总和，即T_out(a)＝sum({λ_i-v_i}_source)。

上述第三对应关系可以是任何能够需要迁移出任务的MECS，用于为第i个MMC与a之间大小的关系，均属于本发明实施例的保护范围。上述第二对应关系可以是列表关系，也可以是公式，比如第三对应关系为第i个MMCδ_i小于

所有源MECS中每个源MECS是根据MECS分类算法中判定第i个MMCδ_i小于

时，确定当前第i个MECS为源MECS，并采用如下公式，计算源MECS中迁移任务后的任务量：

其中，v_i为源MECS中迁移后的任务量，

为J_i(x_i)中x_i的具体表现形式，[.]⁺为向上取整。

步骤37，判断所有流入的任务量与所有流出的任务量之差T_in-T_out是否小于一个最小极小值，如果否，也就是所有流入的任务量与所有流出的任务量之差T_in-T_out不小于一个最小极小值，则返回步骤33继续执行，如果是，也就是所有流入的任务量与所有流出的任务量之差T_in-T_out小于一个最小极小值，则执行步骤38；

为了方便后续详细说明，上述最小极小值可以是使用ε表示。

步骤38，迭代得到最终MECS分类以及每个MECS中迁移任务后的任务量。

步骤39，根据每个MECS中迁移任务后的任务量，对最终MECS分类中最终所有源MECS，确定每个最终源MECS所有任务的迁移策略，作为初始最佳迁移策略。

为了方便初始最佳迁移策略，避免最终源MECS的负担过重，上述步骤38的实现方式有多种，在一种实现方式中，计算最终MECS分类中所有最终源MECS中每个最终源MECS需要迁移任务的所占用的资源；

针对每个最终源MECS，从可用资源最少的第一数量个最终源MECS中迁移出对延迟需求最低的第二数量个任务，作为初始最佳迁移策略，得到最终所有源MECS对应的初始最佳迁移策略。上述第一数量和第二数量可以根据用户需求进行设置，两者可以相同，也可以不同。

在另一种实现方式中，计算最终MECS分类中所有最终源MECS中每个最终源MECS需要迁移任务的单位任务数；

针对每个最终源MECS，从负载率最高的第一数量个最终源MECS中迁移出对延迟需求最低的第二数量个任务，作为初始最佳迁移策略，得到最终所有源MECS对应的初始最佳迁移策略。即，y_m,i,j＝1，v_j,pre＝v_j,pre+C_m,i，

ψ_i＝ψ_i/R_m,i。v_j,pre是第j个MECS迁移过程中的任务量，初始时v_j,pre等于第j个MECS为迁移前的任务量λ_i，迁移完成后的任务量v_j,pre＝v_j。

上述负载率可以是指

其作为任务迁移的一个标准之一。

当然上述负载率最高的第一数量、可用资源最少的第一数量及延迟需求最低的第二数量是可以通过排序得到，也可以是通过冒泡法，还可以通过迭代等方式得到。只要能快速方便地确定出负载率最高的第一数量、可用资源最少的第一数量及延迟需求最低的第二数量即可。在本发明实施例中，通过负载率辅助任务迁移，从而得到最终所有源MECS对应的初始最佳迁移策略。

如图4所示，针对上述内容的具体实现过程，说明如下：

步骤41，初始化任务到达率λ，MECS服务速率β，单位传输时延τ，任务执行时延要求

MECS迁移后的负载量v，单个任务迁移策略y，控制参数V，每个任务和单位任务的比值_C；

步骤42，计算每个MECS迁移前的MMC_cpre；

步骤43，将每个MECS迁移前的MMC_cpre按照数值大小从小到大排序；其中，每个MECS迁移前的MMCc_pre是指初始MMC的数值，相当于初始化；

步骤44，计算x＝min{c_pre}以及z＝max{c_pre}；

步骤45，判断x+Vτ是否大于z，即x+Vτ>z；如果是，则说明x+Vτ大于z，则执行步骤46，即结束，返回y；如果否，说明x+Vτ不大于z，则执行步骤47；

步骤47，判断所有流入的任务量与所有流出的任务量之差T_in-T_out是否小于最小极小值ε，即T_in-T_out<ε；如果是，说明所有流入的任务量与所有流出的任务量之差T_in-T_out小于一个最小极小值ε，则执行步骤48；如果否，则执行步骤54；

步骤48，通过源MECS集合θ以及每个源MECS的任务集合ψ_i，计算每个源MECS要迁出的单位任务量T_out，即T_out(a)＝sum({λ_i-v_i}_source)；

步骤49，判断源MECS集合θ是否为空，如果是，说明源MECS集合θ为空，则执行步骤46；如果否，说明源MECS集合θ不为空，则执行步骤50；

步骤50，判断所有流出的任务量T_out是否小于一个最小极小值ε，即T_out>ε，如果否，说明所有流出的任务量T_out不小于一个最小极小值ε，则返回步骤49；如果是，说明所有流出的任务量T_out小于一个最小极小值ε，则执行步骤51；

步骤51，找到每个源MECS的任务集合ψ_i中任务时延要求

最大的任务m；

步骤52，找到v_j,pre<v_j的目标MECS中负载率1/(β-ν)最高的目标MECS_j；v_j为第j个最高的目标MECS的负载，v_j,pre为第_j个最高的目标MECS迁移前的MMC；

步骤53，y_m,i,j＝1，v_j,pre＝v_j,pre+C_m,i，

ψ_i＝ψ_i/R_m,i，并返回步骤50；

其中，

为任务R_m,i是否迁移到第j个MECS的向量，v_j,pre为第j个MECS迁移过程中的任务量，C_m,i为任务R_m,i和单位任务的比值，ψ_i为源MECS的任务集合。

步骤54，

及

步骤55，计算每个MECS当前的MMCδ_i；

步骤561，找到所有每个MECS当前的MMCδ_i小于中值因子a的MECS，作为目标MECS，并计算所有流入任务量T_in(a)：T_in(a)＝sum({v_i-λ_i}_target)

步骤562，找到所有δ_i大于

的MECS，作为源MECS，并计算所有流出的任务量：T_out(a)＝sum({λ_i-v_i}_source)；

上述步骤562和步骤561并没有顺序上的限定，也可以先执行步骤562，再执行步骤561。

步骤57，判断所有流入任务量T_in(a)是否大于所有流出的任务量T_out(a)，也就是，判断所有流入的任务量与所有流出的任务量之差T_out-T_in是否小于0，即T_out-T_in<0，如果是，也就是所有流入任务量T_in(a)大于所有流出的任务量T_out(a)，则执行骤58；如果否，也就是所有流入任务量T_in(a)不大于所有流出的任务量T_out(a)，则执行骤59；

步骤58，将z的值赋值给中值因子a，即z＝a，并返回步骤47继续执行；

步骤59，将x的值赋值给中值因子a，即x＝a，并返回步骤47继续执行。

在本发明实施例中，上述L-Migration是基于李雅普诺夫Lyapunov优化理论，基于UE和边缘节点的能量队列，从能耗角度来监测边缘网络中各节点的计算压力，对具有能量消耗限制的服务延迟进行优化。通过引入边缘迁移代价(Marginal Migration Cost，简称MMC)作为控制指标，通过将任务从高负载的边缘节点迁移到负载相对较低的边缘节点，平衡边缘节点之间的工作负载，从而充分利用MECS资源。

(6)、在得到上述最终所有源MECS对应的初始最佳迁移策略，再通过以下方式确定当前卸载策略。因此，对问题

中的优化目标可以进一步为：

其中，Y1为

Y2为

Y1和任务迁移直接相关，Y2为虽然和任务迁移不直接相关，但是可以通过能量消耗队列迭代的方式影响任务迁移的决策。因此，将问题

转化为任务卸载问题

定义Lyapunov漂移加惩罚边界(LDPL)。

如果

可以得到UE的Lyapunov漂移加惩罚边界

如下:

入股

可以得到边缘节点的Lyapunov漂移加惩罚边界

如下：

将优化问题

转化为最小化

的问题

(7)、先定义Q-Learning的4个特征，然后边缘网络计算卸载和任务迁移方法求解

具体说明如下：

采用基于拉格朗日的任务迁移算法及基于强化学习的任务任务卸载算法ECOM求解

用向量

为R_m,i的卸载策略向量，其中

只有一个为1。将卸载和迁移问题为一个马尔可夫决策过程(MDP)，MDP的特征是4元组(S，A，P，R)，采用强化学习中的Q-Learning算法求解卸载决策。根据本发明实施例的优化问题来定义Q-Learning中的状态S，动作a₁，奖励R。

S为有限状态集合。状态s∈S定义为任务的卸载策略向量OF发生变化，网络中共有

个任务，即状态个数为

例如，如果是R_m,i的OF_m,i发生变化，则当前状态为s_m,i

A为有限动作集合。动作a1∈A作用于当前状态所涉及的任务R_m,i，定义为当前任务和另一个OF与之不相同的任务交换卸载策略向量OF。例如动作

指R_m,i和R_n,j交换OF_m,i和OF_n,j，且OF_n,j≠OF_n,j。特别地，动作

为R_m,i只改变自己的OF_m,i而不和其他任务交换。

R是奖励，由在“状态-动作对”(s,a1)影响下的{LDPL_all}的变化定义。例如，状态-动作对

对应的即时奖励函数(为)

其中{LDPL_all}_be是状态-动作对发生之前的{LDPL_all},{LDPL_all}_now是发生之后的值。

P是状态转移策略。P是一个贪婪法则，状态主要由{LDPL_all}的值决定，具体来说，下一时刻的状态以预定概率χ随机选择，以1-χ的概率选择具有最大的LDPL_m,i的任务R_m,i的OF_m,i改变作为下一状态。

Q-Offloading基于Q-Learning设计。Q-Learning是一种经典的RL算法，是记录Q值的一种学习方法。每个状态动作对(s,a1)都有一个值Q(s,a1)。对于每个步骤，计算Q(s,a1)并将其存储在Q-矩阵中，该值可被视为长期奖励，然Q(s,a1)的更新可为：

其中，α是学习率，

是折扣因子，s,a₁是当前状态和动作s',a'是下一个状态和动作。ECOM算法根据对卸载迁移策略的调整来使得网络整体的能耗和时延加权和的值趋于最小，即奖励的累计和趋于极值时，得到边缘网络最优卸载策略。

参见图5所示，本发明实施例的具体实现流程说明如下：

步骤61，获取UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况。

步骤62，根据UE的运转状态、MECS的运转状态以及信道情况，确定边缘网络的能耗及边缘网络的时延；其中，能耗包括UE执行任务能耗、任务传输能耗及MECS执行任务能耗，时延包括UE执行任务时延、任务传输时延、MECS执行任务时延。

步骤61和步骤62与上述步骤11和步骤12的内容相同，同样可以达到相同效果。

步骤63，获取强化学习的预设学习率α、初始化每一状态动作对(s,a₁)对应的Q(s,a)值、初始化奖励R，初始化当前迭代次数p、总迭代次数E_p、初始化多个任务卸载策略、预设的有限动作集合A及随机初始化的状态；其中，

s为所述强化学习的有限状态集合中的当前状态，所述当前状态为任务卸载策略发生变化的任务的状态，所述a₁为所述有限动作集合A中的当前动作，所述当前动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，

为预设折扣因子，s'为下一状态，a'为下一动作，所述随机初始化的状态为从多个任务卸载策略中，随机选择一个任务卸载策略变化作为状态；

步骤64，获取预设卸载策略，作为初始卸载策略；其中预设卸载策略包括：假定任务被卸载到用户设备端上和/或假定任务被卸载到边缘端上。

步骤65，基于边缘网络的能耗及边缘网络的时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始最佳迁移策略。

上述步骤63至步骤65是上述步骤13的一种可能的实现方式，可以达到相同效果，在此不再赘述。

步骤66，在选择的任务卸载和迁移策略下，计算所有用户终端的任务的Lyapunov漂移加惩罚边界{LDPL_all}，作为初始边界。

参见图6所示，在上述步骤13之后与步骤14之前，所述方法还包括：

步骤661，判断当前迭代次数p是否达到所述总迭代次数E_p，如果是，也就是当前迭代次数p达到所述总迭代次数E_p，则执行步骤662，即输出任一任务的最优卸载策略和最优迁移策略；如果否，也就是当前迭代次数p未达到所述总迭代次数E_p，则执行步骤663；

步骤663，根据更新后的当前状态，确定当前有限动作集合。

步骤664，从当前有限动作集合中选择一个动作，其中，所述动作为随机选取一个用户终端的任务和当前状态关联的任务卸载和迁移策略。并且继续执行步骤67。

步骤67，根据从有限动作集合A中随机选择的一个动作a₁，确定当前卸载策略。

上述步骤66至步骤67是上述步骤14的一种可能的实现方式，可以达到相同效果，在此不再赘述。

步骤68，基于边缘网络的能耗及边缘网络的时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略。

步骤68和上述步骤16相同，可以达到相同效果，在此不再赘述。

步骤69，计算当前边界{LDPL_all}，当前边界{LDPL_all}为所有UE的任务的当前Lyapunov漂移加惩罚边界，当前边界{LDPL_all}相较于初始边界发生变化；

步骤70，根据当前边界{LDPL_all}变化，计算奖励R，作为更新后的当前奖励R；奖励R为状态动作对使Lyapunov漂移加惩罚边界产生的变化；

步骤71，根据更新后的当前奖励R及预设学习率α，计算Q(s,a₁)值，作为更新后的当前Q(s,a₁)值；

步骤72，根据状态转移策略P，选择有限状态集合的一个状态，作为更新后的当前状态，然后继续执行步骤661。其中，状态转移策略P是以预定概率χ随机选择状态集合中的状态作为下一状态，或者以概率1-χ选择边界贡献值最大的任务对应的任务卸载策略OF的变化作为下一状态；

其中，边界贡献值最大是指{LDPL_all}中每个任务的用户终端的Lyapunov漂移加惩罚边界

和边缘节点的Lyapunov漂移加惩罚边界

中最大的一个Lyapunov漂移加惩罚边界。

在返回步骤661执行时，所述方法可以判定更新后的当前Q(s,a₁)值没有满足迭代终止条件，并且当前迭代次数p没有达到总迭代次数E_p，则返回步骤66，按照更新后的当前状态继续执行，直至更新后的当前Q(s,a₁)值满足迭代终止条件，得到任一任务R_m,i的最优卸载策略

和最优迁移策略y_m,i,1,y_m,i,2,……，y_m,i,N，其中，R_m,i为所有边缘节点连接的第m个UE的任务，

为与第i个边缘节点连接的第m个UE的任务是否卸载在边缘端，

为与第i个边缘节点连接的第m个UE的任务是否卸载在用户设备端，

只有一个为1，其余为0；

为与第i个边缘节点连接的第m个UE的任务卸载在边缘端，当

时，y_m,i,1,y_m,i,2,……，y_m,i,N中有一个为1，其余为0，

为与第i个边缘节点连接的第m个UE的任务卸载在用户设备端，i、m均为序号，N为边缘节点的总数，y_m,i,1为与第i个边缘节点连接的第m个UE的任务是否迁移到第1个边缘节点上的任务迁移策略，y_m,i,2为与第i个边缘节点连接的第m个UE的任务是否迁移到第2个边缘节点上的任务迁移策略，y_m,i,N为与第i个边缘节点连接的第m个UE的任务是否迁移到第N个边缘节点上的任务迁移策略。

上述步骤是上述步骤15的一种可能的实现方式，可以达到相同效果，在此不再赘述。

在一种可能的实现方式中，上述步骤中的迭代结束条件可以但不限于包括：更新后的当前Q(s,a)值趋于最大极大值，即判断更新后的当前Q(s,a)值没有趋于最大极大值，并且当前迭代次数p是否达到总迭代次数E_p；如果否，也就是，更新后的当前Q(s,a)值没有趋于最大极大值，并且当前迭代次数p没有达到总迭代次数E_p，返回步骤24按照更新后的当前状态继续执行；如果是，也就是，更新后的当前Q(s,a)值趋于最大极大值，则执行步骤30；或者，当前迭代次数p达到总迭代次数E_p，更新后的当前Q(s,a)值未趋于最大极大值，则结束。这样更新后的当前Q(s,a)值趋于最大极大值，则奖励最大，进而Lyapunov漂移加惩罚边界的变化比较大，进而趋近于优化目标即

而使得系统的

取最小值时，将得到最优的卸载迁移策略。

在另一种可能的实现方式中，上述步骤中的迭代结束条件可以但不限于包括：

将更新后的当前Q(s,a)值作为本次更新后的当前Q(s,a)值，本次更新后的当前Q(s,a)值与上已迭代的更新后的当前Q(s,a)值之间的差距小于预设值，也就是说，本次更新后的当前Q(s,a)值趋于平稳值。其中，预设值可以根据用户需求进行确定，也可以是经验值。

在本发明实施例中，通过获取UE和边缘节点服务器MECS的运转状态，以及信道情况，基于终端边缘网络计算卸载和任务迁移的能耗时延加权和最优化问题模型，并采用Lyapunov技巧将问题转化为Lyapunov边界最小化问题。基于强化学习的卸载迁移联合优化算法求解目标，先假设初始卸载策略下初始迁移策略，然后在后续强化学习的每次迭代中使得累计奖励最大化以确定当前卸载策略，使用当前卸载策略，更新得到当前最佳迁移策略，多次迭代直至当前的累计奖励趋于最大化而Lyapunov边界状态趋于最小化，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。这样通过联合优化边缘终端网络的计算卸载和任务迁移，可以减少任务处理的端到端时延，节省网络能耗，均衡边缘网络中的任务负载，提升边缘网络资源。

本发明实施例所提供的一种边缘网络计算卸载和任务迁移方法，在步骤17之后还包括：采用如下公式，更新与第i个MECS连接的所有UE的能耗队列：

其中，O_m,i(0)＝0，O_m,i(t+1)为时隙t+1内与第i个MECS连接的第m个UE中的所有能耗队列，O(t)为时隙t内与第i个MECS连接的第m个UE中的所有能耗队列的集合，

O_m,i(t)为时隙t内与第i个MECS连接的第m个UE中的所有能耗队列，m，i均为序号，m为第m个UE，U_i为UE总数，i为第i个MECS，

为MECS的总数，t为时隙，

为时隙总数，

为与第i个边缘节点连接的第m个UE的任务是否卸载在用户设备端，

为时隙t内与第i个MECS连接的第m个UE的任务

在本地执行预计的能耗，

代表U_m,i平均能量预算；

采用如下公式，更新所有MECS的能耗对列：

其中，Z_i(t+1)为时隙t+1内第i个MECS中的能耗队列，Z_i(t)为时隙t内第i个MECS中的能耗队列，

为时隙t中的第i个MECS的能耗，

为第i个MECS的长期平均能耗预算，

为第i个MECS的能耗上限。

结合上述图2至图6，参见图7所示，能量更新的具体实现过程：

所述方法还包括：步骤81，获取预设权重参数V，初始化时隙t＝0，预设任务达到速率λ^t，总时隙T，预设卸载策略x^t，迁移策略y^t，初始化用户终端能量消耗队列O(0)＝0，初始化MECS能量消耗队列Z(0)＝0；

步骤82，判断当前t是否小于总时隙T；如果否，也就是当前t不小于总时隙T，则执行步骤83；如果是，也就是当前t小于总时隙T，则执行步骤84；

步骤83，输出任一任务R_m,i的最优卸载策略

和最优迁移策略y_m,i,1,y_m,i,2,……，y_m,i,N，结束。此时当前边缘网络的能量将无法支撑各节点的能耗；

步骤84，判断是否满足基于强化学习的任务任务卸载算法Q-Offloading的终止条件，如果是，也就是满足基于强化学习的任务任务卸载算法Q-Offloading的终止条件，则步骤85；如果否，也就是不满足基于强化学习的任务任务卸载算法Q-Offloading的终止条件，则步骤86；

步骤85，采用如下公式，更新与第i个MECS连接的所有UE的能耗队列及更新所有MECS的能耗对列：

步骤86，将预设卸载策略x^t作为初始卸载策略，并使用初始卸载策略，基于拉格朗日的任务迁移算法L-Migration，计算初始卸载策略下的初始最佳迁移策略；

步骤87，结合基于拉格朗日的任务迁移算法L-Migration，使用基于强化学习的任务任务卸载算法Q-Offloading执行上述步骤11至步骤17，返回步骤84继续执行，直至输出任一任务R_m,i的最优卸载策略

和最优迁移策y_m,i,1,y_m,i,2,……，y_m,i,N，结束。

目前在实际应用中，部署MECS代价高昂，MEC资源也不丰富。此外，MECS之间的任务分配不平衡，即有的节点空闲，有的节点满负载，造成昂贵的MECS的巨大浪费。并且，大多数卸载模型追求更好的服务质量QoS，很少考虑UE和边缘设备的能量限制。然而，在实际应用中，大量的限电设备被部署，包括智能手机、可穿戴设备等。此外，能源运营商采用的住宅能源定价策略也限制了边缘设备的能源供应。因此从UE和边缘节点的能量队列从能耗角度来监测网络节点能量消耗和能量供应的差值，从能源供应和消耗的角度维护网络节点的稳定，降低能源成本，实现能源精细化管理，在限制物联网节点的能耗下，实现节点的能耗供需平衡，并且平衡边缘节点间的任务，提高资源利用率。

下面结合实例说明：

本发明实施例假设边缘网络部署在一个商业综合体中，其中业务租户部署自己的SBS和边缘服务器来为其员工服务。在这里，本发明实施例假设每个业务租户平均将部署一个SBS，每个SBS配备一个MECS，并与多个UE相连接。预计的SBS/MECS数量为20个，每个SBS分配到的UE最多为20个。对于任意UE，其任务生成遵循到达率为[0,10]task/sec的Poisson过程。每个单位任务的预期CPU周期数为0.2M，其他任务时单位任务的倍数。考虑一个CPU周期的能耗为6.02nJ。对于典型的100Mb快速以太网LAN，一个单位任务的预期传输延迟为τ＝200ms。平均信道增益为g0(1/100)⁴其中，g0＝-40dB，噪声功率为σ²＝10^-10W/Hz。

将本发明实施例的方法的性能与四个个基准进行了比较：

1)、无MECS迁移(NoM)：网络中未启用MECS之间的任务迁移。每个MECS自行处理从终端用户接收到的所有任务。

2)、边缘终端卸载(T2E)：该方法只考虑边缘终端协同卸载优化问题，不考虑节点能量约束，因此没有实施长期约束。

3)、延迟最优化(D-最优)：将计算卸载视为一个简单的延迟优化问题，目的是在不考虑长期能耗的情况下实现最低的系统延迟。

4)、能量最优化(E-最优)：本发明实施例采用另一种方法，其中考虑了卸载的计算，目的是在不考虑延迟优化的情况下实现最低的系统能量。

A、运行时性能评估：

图8显示了通过运行ECOM获得的长期系统性能，本发明实施例主要关注三个指标：图8(a)中的系统能耗和图8(b)中的系统平均时延以及图8(c)中的MECS能量消耗队列。图中所示的曲线明显波动，这是因为请求的任务类型不同，其输入数据大小和所需的CPU周期也不同。图8(b)明显地表明，D-最优具有最低的延迟成本，但非常高的能量成本，而E-最优则相反。因为这两种算法只是从一个角度考虑优化问题而没有折衷。可以看出，由于MECS任务到达模式的时间空间异构性，使得没有MECS任务迁移的NoM算法对MECS资源的利用不足，因而具有较高的延迟代价和较大的能耗。由网络节点产生的时延高、传输能耗大，T2E具有很高的时延成本和能耗。相比之下，由于充分利用了网络资源，所提出的ECOM具有非常低的能耗，接近E-最优且相对较低的延迟。MECS的时间平均能量定义如图8(c)所示。可以观察到，由于D-Optimal的设计目的是通过充分利用计算资源来最小化延迟成本，因此它可以实现最低的延迟成本，而不受能量限制。因此，如图8(c)所示，D-最优会导致大量的能量损失。而且NoM在能量定义上并不收敛，因为一些MECS必须超过能量约束才能满足所有任务的执行。如图8(c)所示，ECOM覆盖的时间平均MECS能量消耗为零，这意味着运行ECOM可以满足MECS的长期能量限制。此外，ECOM实现了接近最优的延迟成本。因此，ECOM要遵循每个MECS的长期能量约束，同时最小化系统延迟。

B、不同工作量的影响：

预期的输入任务是单位任务的倍数，每个任务的CPU周期数是不同的。从图9可以看出，随着单位任务工作量的增加，单位任务的CPU周期在[40，200]之间变化时，系统延迟逐渐增加。这是因为当用户终端设备、边缘服务器的计算能力保持不变时，任务工作量的增加必然导致延迟的增加。然而，本文提出的方法可以通过MECS的任务迁移来减缓延迟增长的速度，而没有任务迁移的算法具有很快的延迟增长速度。随着最大工作负载值的增加，任务的变化越来越大，无任务迁移的算法无法处理非均匀的任务分布，而ECOM可以平衡网络负载，提高资源利用率，减少延迟。

C、控制参数V的影响：

图10显示了控制参数V对ECOM性能的影响。结果表明，系统的长期延迟成本与长期能耗之间存在一个O(1/V)，O(V))的折衷关系，这与本发明实施例的理论分析是一致的。在V值较大的情况下，ECOM更注重系统的延迟成本，而较少关注系统的能耗。当V增大到接近1时，ECOM能够在能量消耗较大的情况下获得最优的延迟成本。很难确定V的最佳值，因为较低的系统延迟成本是以较大的能耗为代价实现的。

图11主要描述了与之相连的终端设备的系统平均延迟(直方图)、单MECS平均能耗(线条加方框)和平均能耗(虚线加点)随参数V的变化。从图中可以看出，随着V的增加，算法往往会减少系统的延迟，因此任务更倾向于被卸载到MECS进行处理，MECS的能耗也在增加，而终端设备处理的任务在下降，终端的能耗也在逐渐降低。指出MECS的能耗随V值的增加而降低，这是由于MECS采用迁移策略，可以提高MECS的利用率，降低能耗。

D、系统动态变化：

图12示出了UE从第100时隙到第150时隙的系统延迟成本和能量消耗队列。它描述了UE能量消耗队列如何影响时延并指导终端卸载决策。例如，从第110个时隙到第113个时隙，任务执行时间随着能量消耗的增加而增加，因为任务在用户端被卸载，从而导致排队时延。因此，在以下时间段中，ECOM使用UE能量消耗队列来影响卸载决策，减少用户端卸载的任务，从而减少延迟。这样，UE能量消耗队列会影响跨时隙的卸载决策，扩展了标准Lyapunov方法。

E、学习率对Q-offloading的影响：

图13主要描述了Q-任务卸载算法的步数与任务奖励之间的映射关系，即描述了强化学习系统逼近目标函数的理想程度。从图中可以看出，随着强化学习过程的推进，每一轮的实施效果都更接近理想的奖励函数。在这一过程中，学习者对经验的依赖程度越高，学习率越高。当学习率较低时，经验依赖较少，而依赖单次迭代的奖励反馈较多。但学习率较低，收敛速度降低，难以收敛到最大奖励值。

F、MECS服务速率效应迁移：

如图14所示，当MECS的服务速率值beta变化时，服务器的属性不同。注意，beta值较低的MECS在迁移后可能比迁移前服务更少的任务，因为它大部分时间充当源MECS，将许多任务迁移到目标MECS，甚至将所有任务迁移出去以降低其工作负载。当迁移后的任务数为0时，这种MECS可以将其容器调度到睡眠状态以节省能量。beta值高的MECS在任务迁移后的负载较低，因此大部分时间都是目标-MECS，它接受来自其他服务器的任务，因此迁移后的任务量大于迁移前的任务量。中等β的MECS有时充当源MECS，有时充当目标MECS，根据任务到达率发生变化。因此，MECS接收或迁移任务取决于其负载轻重，即。从中我们可以发现，迁移机制可以很好地工作，因为它可以将较高的负载的MECS的任务分配给较低的负载MECS，以充分利用网络资源。

下面继续对本发明实施例提供的边缘网络计算卸载和任务迁移装置，进行介绍。

参见图15，图15为本发明实施例提供的边缘网络计算卸载和任务迁移装置，的结构示意图。本发明实施例所提供的边缘网络计算卸载和任务迁移装置，可以包括如下模块：

获取模块91，用于获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；

第一处理模块92，用于根据UE的运转状态、MECS的运转状态以及信道情况，确定边缘网络的能耗及边缘网络的时延；其中，能耗包括：UE执行任务能耗、任务传输能耗及MECS执行任务能耗，时延包括：UE执行任务时延、任务传输时延、MECS执行任务时延；

第二处理模块93，用于基于能耗及时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到各类MECS中源MECS所有任务的迁移策略，源MECS为需要迁移出任务的MECS；

第三处理模块94，用于采用基于强化学习的任务任务卸载算法，确定当前卸载策略；

第四处理模块95，用于基于能耗及时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略；

第五处理模块96，用于判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回第三处理模块94继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。

第一处理模块具体用于：

根据UE的运转状态、MECS的运转状态以及信道情况，建立能耗与时延的最小化问题对应的模型；

第二处理模块具体用于：

将能耗与时延的最小化问题对应的模型转化为Lyapunov边界最小化问题；

使用初始卸载策略，采用基于拉格朗日的任务迁移算法，通过最小化Lyapunov边界以确定初始卸载策略下的初始最佳迁移策略；

第五处理模块，用于：

通过强化学习求解Lyapunov边界最小化问题，得到边缘网络最优卸载策略以及边缘网络最优迁移策略，其中，强化学习包括：强化学习的有限状态集合中的状态、强化学习的有限状态集合中动作集合中的动作以及奖励；状态为任务卸载策略发生变化的任务的状态，动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，奖励为状态动作对使Lyapunov漂移加惩罚边界产生的变化。

在一种可能的实现方式中，第二处理模块具体用于：

步骤C1，获取强化学习的预设学习率α、初始化每一状态动作对(s,a₁)对应的Q(s,a)值、初始化奖励R，初始化当前迭代次数p、总迭代次数E_p、初始化多个任务卸载策略、预设的有限动作集合A及随机初始化的状态；其中，

s为强化学习的有限状态集合中的当前状态，当前状态为任务卸载策略发生变化的任务的状态，a₁为有限动作集合A中的当前动作，当前动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，

为预设折扣因子，s'为下一状态，a'为下一动作，随机初始化的状态为从多个任务卸载策略中，随机选择一个任务卸载策略的变化作为状态；

步骤C2，获取预设卸载策略，作为初始卸载策略；其中预设卸载策略包括：假定任务被卸载到用户设备端上和/或假定任务被卸载到边缘端上；

步骤C3，使用初始卸载策略，基于能耗及时延，采用基于拉格朗日的任务迁移算法，确定初始最佳迁移策略；

第三处理模块具体用于：

步骤D1，利用初始最佳迁移策略，计算强化学习的Lyapunov漂移加惩罚边界LDPL_all，作为初始边界；

步骤D2，根据从有限动作集合A中随机选择的一个动作a₁，确定当前卸载策略；

装置还包括：第六处理模块用于：

步骤E1，计算当前边界LDPL_all，当前边界LDPL_all为所有UE的任务的当前Lyapunov漂移加惩罚边界，当前边界LDPL_all相较于初始边界发生变化；

步骤E2，根据当前边界LDPL_all的变化，计算奖励R，作为更新后的当前奖励R；当前奖励R为状态动作对使Lyapunov漂移加惩罚边界产生的变化；

步骤E3，根据更新后的当前奖励R及预设学习率α，计算Q(s,a₁)值，作为更新后的当前Q(s,a₁)值；

步骤E4，根据状态转移策略P，选择有限状态集合的一个状态，作为更新后的当前状态；其中，状态转移策略P是以预定概率χ随机选择有限状态集合中的状态作为下一状态，或者，以概率1-χ选择边界贡献值最大的任务对应的任务卸载策略OF的变化作为下一状态；

第五处理模块具体用于：

步骤F1，判定更新后的当前Q(s,a₁)值没有满足迭代终止条件，并且当前迭代次数p没有达到总迭代次数E_p，则返回步骤D，按照更新后的当前状态继续执行，直至更新后的当前Q(s,a₁)值满足迭代终止条件，得到任一任务R_m,i的最优卸载策略

和最优迁移策略y_m,i,1,y_m,i,2,……，y_m,i,N

在一种可能的实现方式中，第二处理模块具体用于：

获取所有MECS中每个MECS执行所有任务时每个任务的预卸载边际迁移成本MMC，其中，每个任务的MMC包括：针对每个MECS，该MECS执行所有任务中的最大MMC以及该MECS执行所有任务中的最小MMC，MMC是通过能耗及时延确定的；

针对每个MECS，该MECS的最小MMC和传输平均延时成本之和小于最大MMC，则确定MECS需要迁移任务；

采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略。

在一种可能的实现方式中，第二处理模块具体用于：

在每次迭代中，确定用于衡量所有MECS的最小MMC与最大MMC的一个中值因子a；

根据MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第一对应关系时，确定所有目标MECS，并计算出所有流入的任务量T_in；其中，所有流入的任务量T_in为迁移入至所有目标MECS中所有迁移任务的任务量的总和，目标MECS为接收迁移任务的MECS；

根据MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第二对应关系时，确定所有中性MECS，其中，中性MECS为不迁移任务和不接受迁移任务的MECS；

根据MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第三对应关系时，确定所有源MECS，并计算所有流出的任务量T_out；其中，所有流出的任务量T_out为迁移出所有源MECS中所有迁移任务的任务量总和；

当所有流入的任务量与所有流出的任务量之差T_in-T_out不大于一个最小极小值时，返回在每次迭代中，确定中值因子a的值的步骤继续执行，直至所有流入的任务量与所有流出的任务量之差T_in-T_out大于一个最小极小值，迭代得到最终MECS分类以及每个MECS中迁移任务后的任务量；

根据每个MECS中迁移任务后的任务量，对最终MECS分类中最终所有源MECS，确定每个最终源MECS所有任务的迁移策略，作为初始最佳迁移策略。

在一种可能的实现方式中，计算最终MECS分类中所有最终源MECS中每个最终源MECS需要迁移任务的单位任务数；

根据需要迁移任务的单位任务数，针对每个最终源MECS，从负载率最高的第一数量个最终源MECS中迁移出对延迟需求最低的第二数量个任务，作为初始最佳迁移策略，得到最终所有源MECS对应的初始最佳迁移策略。

在一种可能的实现方式中，装置还包括：

第八处理模块，采用如下公式，更新与第i个MECS连接的所有UE的能耗队列：

采用如下公式，更新所有MECS的能耗对列：

下面继续对本发明实施例提供的电子设备进行介绍。

参见图16，图16为本发明实施例提供的边缘节点服务器的结构示意图。本发明实施例还提供了一种边缘节点服务器，包括处理器101、通信接口102、存储器103和通信总线104，其中，处理器101，通信接口102，存储器103通过通信总线104完成相互间的通信，

存储器103，用于存放计算机程序；

处理器101，用于执行存储器103上所存放的程序时，实现上述一种边缘网络计算卸载和任务迁移方法的步骤，在本发明一个可能的实现方式中，可以实现如下步骤：

步骤A，获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；

步骤B，根据UE的运转状态、MECS的运转状态以及信道情况，确定边缘网络的能耗及边缘网络的时延；其中，能耗包括：UE执行任务能耗、任务传输能耗及MECS执行任务能耗，时延包括：UE执行任务时延、任务传输时延、MECS执行任务时延；

步骤C，基于能耗及时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到各类MECS中源MECS所有任务的迁移策略，源MECS为需要迁移出任务的MECS；

步骤D，采用基于强化学习的任务任务卸载算法，确定当前卸载策略；

步骤E，基于能耗及时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略；

步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到边缘网络最优卸载策略以及边缘网络最优迁移策略。

上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于为，图中仅用一条粗线为，但并不为仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例提供了一种计算机可读存储介质，存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法的步骤。本发明实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述的方法的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/边缘服务器/存储介质/包含指令的计算机程序产品/计算机程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种边缘网络计算卸载和任务迁移方法，其特征在于，所述方法包括：

步骤A，获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；

步骤B，根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延；其中，所述能耗包括：UE执行任务能耗、任务传输能耗及所述MECS执行任务能耗，所述时延包括：UE执行任务时延、任务传输时延、所述MECS执行任务时延；

步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，所述初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到所述各类MECS中源MECS所有任务的迁移策略，所述源MECS为需要迁移出任务的MECS；

步骤D，采用基于强化学习的任务任务卸载算法，确定当前卸载策略；

步骤E，基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略；

步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略。

2.如权利要求1所述的方法，其特征在于，所述步骤B，根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延，包括：

根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，建立能耗与时延的最小化问题对应的模型；

所述步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：

将所述能耗与时延的最小化问题对应的模型转化为Lyapunov边界最小化问题；

使用初始卸载策略，采用基于拉格朗日的任务迁移算法，通过最小化Lyapunov边界以确定初始卸载策略下的初始最佳迁移策略；

所述步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略，包括：

通过强化学习求解Lyapunov边界最小化问题，得到边缘网络最优卸载策略以及所述边缘网络最优迁移策略，其中，所述强化学习包括：所述强化学习的有限状态集合中的状态、所述强化学习的有限状态集合中动作集合中的动作以及奖励；所述状态为任务卸载策略发生变化的任务的状态，所述动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，所述奖励为状态动作对使Lyapunov漂移加惩罚边界产生的变化。

3.如权利要求1或2所述的方法，其特征在于，所述步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：

步骤C1，获取强化学习的预设学习率α、初始化每一状态动作对(s,a₁)对应的Q(s,a)值、初始化奖励R，初始化当前迭代次数p、总迭代次数E_p、初始化多个任务卸载策略、预设的有限动作集合A及随机初始化的状态；其中，

s为所述强化学习的有限状态集合中的当前状态，所述当前状态为任务卸载策略发生变化的任务的状态，所述a₁为所述有限动作集合A中的当前动作，所述当前动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，

为预设折扣因子，s'为下一状态，a'为下一动作，所述随机初始化的状态为从多个任务卸载策略中，随机选择一个任务卸载策略变化作为状态；

步骤C2，获取预设卸载策略，作为初始卸载策略；其中所述预设卸载策略包括：假定任务被卸载到用户设备端上和/或假定任务被卸载到边缘端上；

步骤C3，使用初始卸载策略，基于所述能耗及所述时延，采用基于拉格朗日的任务迁移算法，确定初始最佳迁移策略；

所述步骤D，采用基于强化学习的任务任务卸载算法，确定当前卸载策略，包括：

步骤D1，利用初始最佳迁移策略，计算强化学习的Lyapunov漂移加惩罚边界LDPL_all，作为初始边界；

步骤D2，根据从有限动作集合A中随机选择的一个动作a₁，确定当前卸载策略；

在所述步骤E，基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略之后，所述步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件之前，所述方法还包括：

步骤E1，计算当前边界LDPL_all，所述当前边界LDPL_all为所有UE的任务的当前Lyapunov漂移加惩罚边界，所述当前边界LDPL_all相较于所述初始边界发生变化；

步骤E2，根据所述当前边界LDPL_all的变化，计算奖励R，作为更新后的当前奖励R；所述当前奖励R为状态动作对使Lyapunov漂移加惩罚边界产生的变化；

步骤E3，根据更新后的当前奖励R及所述预设学习率α，计算Q(s,a₁)值，作为更新后的当前Q(s,a₁)值；

步骤E4，根据状态转移策略P，选择所述有限状态集合的一个状态，作为更新后的当前状态；其中，所述状态转移策略P是以预定概率χ随机选择有限状态集合中的状态作为下一状态，或者，以概率1-χ选择边界贡献值最大的任务对应的任务卸载策略OF变化作为下一状态；

所述步骤F，判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略，包括：

步骤F1，判定更新后的当前Q(s,a₁)值没有满足迭代终止条件，并且当前迭代次数p没有达到所述总迭代次数E_p，则返回步骤D，按照所述更新后的当前状态继续执行，直至更新后的当前Q(s,a₁)值满足迭代终止条件，得到任一任务R_m,i的最优卸载策略

和最优迁移策略y_m,i,1,y_m,i,2,……，y_m,i,N，其中，R_m,i为第i个边缘节点连接的第m个UE的任务，

为与第i个边缘节点连接的第m个UE的任务是否卸载在边缘端，

为与第i个边缘节点连接的第m个UE的任务是否卸载在用户设备端，

只有一个为1，其余为0；当

时，表示与第i个边缘节点连接的第m个UE的任务卸载在边缘端，当

时，y_m,i,1,y_m,i,2,……，y_m,i,N中有一个为1，其余为0，当

时，表示与第i个边缘节点连接的第m个UE的任务卸载在用户设备端，i、m均为序号，N为边缘节点的总数，y_m,i,1为与第i个边缘节点连接的第m个UE的任务是否迁移到第1个边缘节点上的任务迁移策略，y_m,i,2为与第i个边缘节点连接的第m个UE的任务是否迁移到第2个边缘节点上的任务迁移策略，y_m,i,N为与第i个边缘节点连接的第m个UE的任务是否迁移到第N个边缘节点上的任务迁移策略。

4.如权利要求1或2所述的方法，其特征在于，所述步骤C，基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：

获取所有MECS中每个MECS执行所有任务时每个任务的预卸载边际迁移成本MMC，其中，每个任务的MMC包括：针对每个MECS，该MECS执行所有任务中的最大MMC以及该MECS执行所有任务中的最小MMC，所述MMC是通过所述能耗及所述时延确定的；

针对每个MECS，该MECS的最小MMC和传输平均延时成本之和小于最大MMC，则确定MECS需要迁移任务；

采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略。

5.如权利要求4所述的方法，其特征在于，所述采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略，包括：

在每次迭代中，确定用于衡量所有MECS的最小MMC与最大MMC的一个中值因子a；

根据所述MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第一对应关系时，确定所有目标MECS，并计算出所有流入的任务量T_in；其中，所有流入的任务量T_in为迁移入至所有目标MECS中所有迁移任务的任务量的总和，所述目标MECS为接收迁移任务的MECS；

根据所述MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第二对应关系时，确定所有中性MECS，其中，所述中性MECS为不迁移任务和不接受迁移任务的MECS；

根据所述MECS分类算法，在判定第i个MMC与中值因子a之间的关系满足第三对应关系时，确定所有源MECS，并计算所有流出的任务量T_out；其中，所有流出的任务量T_out为迁移出所有源MECS中所有迁移任务的任务量总和；

当所有流入的任务量与所有流出的任务量之差T_in-T_out不小于一个最小极小值时，返回所述在每次迭代中，确定用于衡量所有MECS的最小MMC与最大MMC的一个中值因子a的步骤继续执行，直至所有流入的任务量与所有流出的任务量之差T_in-T_out小于一个最小极小值，迭代得到最终MECS分类以及每个MECS中迁移任务后的任务量；

根据每个MECS中迁移任务后的任务量，对最终MECS分类中最终所有源MECS，确定每个最终源MECS所有任务的迁移策略，作为初始最佳迁移策略。

6.如权利要求5所述的方法，其特征在于，所述第一对应关系为第i个MMCδ_i小于a，所有目标MECS中的每个目标MECS是根据所述MECS分类算法中判定第i个MMCδ_i小于中值因子a时确定的，所述目标MECS中迁移任务后的任务量，采用如下公式得到：

其中，v_i为所述目标MECS中迁移后的任务量，-1为求导，Z_i为第i个MMC的MECSi能量消耗队列；

J_i(x_i)为第i个MMC中的计算延迟函数，x_i为中间自变量，

为J_i(x_i)中x_i的具体表现形式，

为偏导的符号，

为定义，

为第i个MMC的计算时延，β_i为第i个MMC的服务速率

g(x_i)为第i个MMC中的传输平均延时成本函数，

为g(x_i)中x_i的具体表现形式，

为所有源MECS迁移出的任务量，D_con(x_i)为迁移阻塞时延，τ为单位任务传输时延；

所述第二对应关系为第i个MMCδ_i满足

所有中性MECS中的每个中性MECS是根据所述MECS分类算法中判定第i个MMCδ_i满足

时确定的，所述中性MEC中迁移任务后的任务量，采用如下公式得到：ν_i＝λ_i；

所述第三对应关系为第i个MMCδ_i小于

所述所有源MECS中每个源MECS是根据所述MECS分类算法中判定第i个MMCδ_i小于

时确定的，并采用如下公式，计算所述源MECS中迁移任务后的任务量：

其中，v_i为所述源MECS中迁移后的任务量，

为J_i(x_i)中x_i的具体表现形式，[.]⁺为向上取整。

7.如权利要求5所述的方法，其特征在于，所述根据每个MECS中迁移任务后的任务量，对最终MECS分类中最终所有源MECS，确定每个最终源MECS所有任务的迁移策略，作为初始最佳迁移策略，包括：

计算最终MECS分类中所有最终源MECS中每个最终源MECS需要迁移任务的单位任务数；

根据需要迁移任务的单位任务数，针对每个最终源MECS，从负载率最高的第一数量个最终源MECS中迁移出对延迟需求最低的第二数量个任务，作为初始最佳迁移策略，得到最终所有源MECS对应的初始最佳迁移策略，所述负载率为

其中β_i为第i个MECS的服务速率，ν_i为第i个MECS迁移后的任务量。

8.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

采用如下公式，更新与第i个MECS连接的所有UE的能耗队列：

其中，O_m,i(0)＝0，O_m,i(t+1)为时隙t+1内与第i个MECS连接的第m个UE中的所有能耗队列，O_i(t)为时隙t内与第i个MECS连接的所有UE中的所有能耗队列的集合，O(t)＝{O_i(t)},

O(t)为时隙t内所有UE中的能耗队列，m，i均为序号，m为第m个UE，U_i为UE总数，i为第i个MECS，

为MECS的总数，t为时隙，

为时隙总数，

为与第i个边缘节点连接的第m个UE的任务是否卸载在用户设备端，

为时隙t内与第i个MECS连接的第m个UE的任务

在本地执行预计的能耗，

代表U_m,i平均能量预算；

采用如下公式，更新所有MECS的能耗对列：

其中，Z_i(t+1)为时隙t+1内第i个MECS中的能耗队列，Z_i(t)为时隙t内第i个MECS中的能耗队列，

为时隙t中的第i个MECS的能耗，

为第i个MECS的长期平均能耗预算，

为第i个MECS的能耗上限。

9.一种边缘网络计算卸载和任务迁移装置，其特征在于，所述装置包括：

获取模块，用于获取用户终端UE的运转状态、边缘节点服务器MECS的运转状态以及信道情况；

第一处理模块，用于根据所述UE的运转状态、所述MECS的运转状态以及所述信道情况，确定边缘网络的能耗及边缘网络的时延；其中，所述能耗包括：UE执行任务能耗、任务传输能耗及所述MECS执行任务能耗，所述时延包括：UE执行任务时延、任务传输时延、所述MECS执行任务时延；

第二处理模块，用于基于所述能耗及所述时延，使用初始卸载策略，采用基于拉格朗日的任务迁移算法，确定初始卸载策略下的初始最佳迁移策略；其中，所述初始最佳迁移策略是采用基于拉格朗日的任务迁移算法，通过MECS分类算法确定的MECS分类以及各类MECS迁移任务后的任务量，得到所述各类MECS中源MECS所有任务的迁移策略，所述源MECS为需要迁移出任务的MECS；

第三处理模块，用于采用基于强化学习的任务任务卸载算法，确定当前卸载策略；

第四处理模块，用于基于所述能耗及所述时延，使用当前卸载策略，采用基于拉格朗日的任务迁移算法，计算得到当前卸载策略下的当前最佳迁移策略；

第五处理模块，用于判断当前卸载策略和当前最佳迁移策略是否满足边缘网络最优策略条件，如果不满足边缘网络最优策略条件，则返回步骤D继续执行，直至当前卸载策略和当前最佳迁移策略满足边缘网络最优策略条件，得到所述边缘网络最优卸载策略以及所述边缘网络最优迁移策略。

10.如权利要求9所述的装置，其特征在于，所述第二处理模块具体用于：

获取强化学习的预设学习率α、初始化每一状态动作对(s,a₁)对应的Q(s,a)值、初始化奖励R，初始化当前迭代次数p、总迭代次数E_p、初始化多个任务卸载策略、预设的有限动作集合A及随机初始化的状态；其中，

s为所述强化学习的有限状态集合中的当前状态，所述当前状态为任务卸载策略发生变化的任务的状态，所述a₁为所述有限动作集合A中的当前动作，所述当前动作为在当前UE的任务变化为下一UE的任务时，将当前UE的任务对应的任务卸载策略交换为下一UE的任务对应的任务卸载策略，

为预设折扣因子，s'为下一状态，a'为下一动作，所述随机初始化的状态为从多个任务卸载策略中，随机选择一个任务卸载策略的变化作为状态；

步骤C2，获取预设卸载策略，作为初始卸载策略；其中所述预设卸载策略包括：假定任务被卸载到用户设备端上和/或假定任务被卸载到边缘端上；

步骤C3，使用初始卸载策略，基于所述能耗及所述时延，采用基于拉格朗日的任务迁移算法，确定初始最佳迁移策略；

所述第三处理模块，用于：

步骤D1，利用初始最佳迁移策略，计算强化学习的Lyapunov漂移加惩罚边界LDPL_all，作为初始边界；

步骤D2，根据从有限动作集合A中随机选择的一个动作a₁，确定当前卸载策略；

所述装置还包括：第六处理模块，用于：

步骤E1，计算当前边界LDPL_all，所述当前边界LDPL_all为所有UE的任务的当前Lyapunov漂移加惩罚边界，所述当前边界LDPL_all相较于所述初始边界发生变化；

步骤E2，根据所述当前边界LDPL_all的变化，计算奖励R，作为更新后的当前奖励R；所述当前奖励R为状态动作对使Lyapunov漂移加惩罚边界产生的变化；

步骤E3，根据更新后的当前奖励R及所述预设学习率α，计算Q(s,a₁)值，作为更新后的当前Q(s,a₁)值；

步骤E4，根据状态转移策略P，选择所述有限状态集合的一个状态，作为更新后的当前状态；其中，所述状态转移策略P是以预定概率χ随机选择有限状态集合中的状态作为下一状态，或者，以概率1-χ选择边界贡献值最大的任务对应的任务卸载策略OF的变化作为下一状态；

所述第五处理模块具体用于：

步骤F1，判定更新后的当前Q(s,a₁)值没有满足迭代终止条件，并且当前迭代次数p没有达到所述总迭代次数E_p，则返回步骤D，按照所述更新后的当前状态继续执行，直至更新后的当前Q(s,a₁)值满足迭代终止条件，得到任一任务R_m,i的最优卸载策略

和最优迁移策略y_m,i,1,y_m,i,2,……，y_m,i,N，其中，R_m,i为第i个边缘节点连接的第m个UE的任务，

为与第i个边缘节点连接的第m个UE的任务是否卸载在边缘端，

为与第i个边缘节点连接的第m个UE的任务是否卸载在用户设备端，

只有一个为1，其余为0；当

时，表示与第i个边缘节点连接的第m个UE的任务卸载在边缘端，当

时，y_m,i,1,y_m,i,2,……，y_m,i,N中有一个为1，其余为0，当

时，表示与第i个边缘节点连接的第m个UE的任务卸载在用户设备端，i、m均为序号，N为边缘节点的总数，y_m,i,1为与第i个边缘节点连接的第m个UE的任务是否迁移到第1个边缘节点上的任务迁移策略，y_m,i,2为与第i个边缘节点连接的第m个UE的任务是否迁移到第2个边缘节点上的任务迁移策略，y_m,i,N为与第i个边缘节点连接的第m个UE的任务是否迁移到第N个边缘节点上的任务迁移策略。

Images