CN116133049B - 一种基于drl与安全的云边端协同mec任务卸载策略 - Google Patents

Abstract

本发明公开了一种基于DRL与安全的云边端协同MEC任务卸载策略，包括以下内容：MEC系统架构由本地端，边缘层，云层三部分组成。基于普通用户与VIP用户，考虑任务的安全性，将边缘层划分为私有边缘资源与公有边缘资源，实现普通任务与安全任务的物理隔离。考虑动态MEC环境，提出一种基于DRL与任务安全的云边端协同任务卸载策略。引入马尔可夫到达过程(MAP)描述任务到达的相关性。针对设备本地端、边缘层、云层分别构建基于MAP的排队模型，并进行稳态分析，求解各类任务的平均时延、实时任务的阻塞率等性能指标。在动态MEC环境下，以最小化系统平均时延为目标，基于DRL理论，利用DDPG算法得到最优任务卸载策略。

Description

一种基于DRL与安全的云边端协同MEC任务卸载策略

技术领域

本发明涉及边缘计算、任务卸载与深度强化学习技术领域，具体为一种基于DRL与安全的云边端协同MEC任务卸载策略。

背景技术

5G物联网模式下爆炸式增长的智能终端设备及新型网络应用产生的海量边缘数据与任务实时性、安全性的用户需求，将部分任务处理推向边缘，进一步推向云平台。融合云计算、移动边缘计算、移动终端设备的新型架构集成了云数据中心集中式处理与边缘端低时延分布式处理的优势，突破了设备本地端资源有限的短板，助力实现提高网络带宽，打破时延限制。

云计算的产生与发展使得用户实现了“按需使用”云资源与云服务。公有云主要关注的是更好的运营：服务水平、成本控制以及快速响应能力。大数据时代，企业信息就是企业的生命，因此“安全”是用户首要关心的问题。从安全的角度来看，私有云的控制权可以满足企业对敏感和重要数据的保护的需求。因此，出现了很多基于公有云与私有云相结合的混合云平台的相关研究。但是，从用户隐私与安全角度出发，将MEC边缘节点进一步划分，实现私有边缘与公有边缘结合的混合架构的技术并不完善。

基于MEC的任务卸载研究的关键在于如何调度计算任务，即计算任务应该在本地执行还是卸载到边缘节点或云端，才能优化时延、系统能耗等性能指标。在MEC系统中，任务流到达强度的变化对任务卸载决策有较大的影响，可以通过将任务卸载决策导致的MEC系统任务平均队长变化过程抽象为一个马尔可夫决策过程，根据系统平均队长的变化情况制定任务卸载策略，通过最小化每个时隙内系统平均时延给出最优任务卸载策略。但是该优化问题是非凸的，并且系统平均队长的状态空间为无限大。强化学习这种启发式算法对于求解非凸优化问题具有快速、高效的特点，同时利用深度神经网络可以很好地拟合任务平均时延的变化并学习强化作出的决策。然而，结合深度强化学习与任务安全性来探讨移动边缘计算任务卸载策略的研究还不成熟，因此本方案提供了一种基于DRL理论，并利用DDPG算法得到最优任务的卸载策略。

发明内容

本发明的目的在于提供一种基于DRL与安全的云边端协同MEC任务卸载策略，为保护用户隐私，提高任务的安全性，以物理隔离的方式将边缘层划分为公有边缘资源与私有边缘资源，构建多个随机系统模型刻画任务的服务流程，利用DRL理论，给出最小化系统平均时延下的实时卸载策略，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于DRL与安全的云边端协同MEC任务卸载策略，包括以下内容：

MEC系统架构由本地端，边缘层，云层三部分组成。基于普通用户与VIP用户，考虑任务的安全性，将边缘层划分为私有边缘资源与公有边缘资源；

在设备本地端，每个设备单元由负载均衡器、发送端口、本地处理器三部分构成。其中，负载均衡器用于任务调度，本地发送端口依据调度结果执行任务传输，本地处理器实现任务的本地计算。本地处理器的缓存空间为无限容量，当本地处理器被占用时新到达的任务将以先来先服务的规则在缓存区等待；

引入虚拟化技术，将系统中的单物理机虚拟化为多台虚拟机。在公有边缘资源中将算力较强的虚拟机划分为簇Ⅰ，将算力有限的虚拟机划分为簇Ⅱ。在私有边缘资源中按照算力不同将虚拟机划分为宏基站与微基站。虚拟机簇Ⅰ与宏基站具有有限容量缓存空间，虚拟机簇Ⅱ与微基站具有无限容量缓存空间；

云层由公有云与私有云构成，分别用于处理普通任务与安全任务。考虑到公有云具有较强的服务能力，普通任务在公有云的时延不包含等待时延，即为服务时延。私有云具有无限容量缓存空间，安全任务在私有云的时延由等待时延与服务时延两部分组成；

考虑到MEC卸载场景实际上存在动态、随机、时变等特性，在该MEC系统中任务流的到达强度随机变化。

优选的，所述MEC系统中卸载策略如下：

(1)考虑部分用户的特殊业务具有安全需求，将用户划分为普通用户与VIP用户。VIP用户产生安全任务与普通任务，普通用户只产生普通任务。考虑普通任务的时延敏感性，将其划分为实时任务与非实时任务。实时任务具有较高的时延敏感性，非实时任务具有较低的时延敏感性。考虑安全任务的安全等级，将其划分为高安全级别任务与低安全级别任务。两类用户产生的任务均由负载均衡器调度至本地、边缘或云端进行处理。调度至本地计算的任务将在本地处理器缓存中排队等待处理，卸载的任务由发送端口传输至边缘或云端。

(2)普通用户产生的实时任务以概率卸载到公有边缘虚拟机簇Ⅰ处理，以概率/>在本地执行。VIP用户产生的实时任务以概率/>卸载到公有边缘虚拟机簇Ⅱ处理，以概率/>在本地执行。卸载至公有边缘的实时任务，首先进入虚拟机簇Ⅰ缓存队列，若缓存空间中的实时任务数达到接入阈值H_pub，则新到达的实时任务抢占虚拟机簇Ⅱ中非实时任务的虚拟机，被抢占的非实时任务将回到簇Ⅱ缓存中队首位置排队等待空闲的虚拟机重新接受服务。若虚拟机簇Ⅰ缓存空间中的实时任务数达到接入阈值H_pub且虚拟机簇Ⅱ中的虚拟机全部被实时任务抢占，则新到达的实时任务将被丢弃，即被系统阻塞。普通用户产生的非实时任务以概率/>卸载到公有边缘虚拟机簇Ⅱ处理，以概率/>卸载到公有云处理，以概率在本地执行。VIP用户产生的非实时任务以概率卸载到公有边缘虚拟机簇Ⅱ处理，以概率/>卸载到公有云处理，以概率/>在本地执行。卸载至公有边缘的非实时任务进入虚拟机簇Ⅱ缓存队列接受服务。卸载至公有云的非实时任务经过远距离传输后在公有云虚拟机上接受服务。

(3)VIP用户产生的高安全级别任务以概率卸载到私有边缘宏基站处理，以概率/>在本地执行。VIP用户产生的低安全级别任务以概率卸载到私有边缘微基站处理，以概率/>在本地执行。若私有边缘微基站缓存空间中的低安全级别任务数达到接入阈值H_pri，则新到达的低安全级别任务将被进一步卸载至私有云进行处理。

优选的，一种基于DRL与安全的云边端协同MEC任务卸载策略的性能研究，包括以下步骤：

步骤1，为了描述突发任务流的相关性，采用MAP刻画各类任务的到达过程；

步骤2，求解任务在本地处理器接受服务的平均时延；

步骤3，求解普通任务卸载到公有边缘接受服务的平均时延；

步骤4，求解安全任务卸载到私有边缘接受服务的平均时延；

步骤5，以最小化系统平均时延为目标给出优化问题；

步骤6，利用DDPG算法，运用Pycharm软件与Matlab软件，求解步骤5中的优化问题，以实现系统平均时延最小化为目标，求得动态MEC环境下的最优任务卸载方案：

与现有技术相比，本发明的有益效果是：该基于DRL与安全的云边端协同MEC任务卸载策略，通过将边缘节点划分为公有边缘与私有边缘，保障了用户隐私与安全，并通过DRL与云边端协同MEC任务性能研究方法步骤，提高用户的服务质量。同时本发明针对云边端构建不同的排队模型刻画任务的服务流程，可给出两类用户各类任务的卸载策略，并通过边缘层的划分实现普通任务与安全任务的物理隔离。对排队模型的稳态分析，并得到各类任务的平均时延、实时任务的阻塞率等性能指标。在动态MEC环境下，以最小化系统平均时延为目标，基于DRL理论，利用DDPG算法得到最优任务卸载策略。

附图说明

图1为本发明基于DRL与安全的MEC系统原理图；

图2为本发明基于DRL与安全的MEC系统架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1、2，本发明提供一种技术方案：一种基于DRL与安全的云边端协同MEC任务卸载策略，包括以下内容：

MEC系统架构由本地端，边缘层，云层三部分组成。基于普通用户与VIP用户，考虑任务的安全性，将边缘层划分为私有边缘资源与公有边缘资源；

在设备本地端，每个设备单元由负载均衡器、发送端口、本地处理器三部分构成。其中，负载均衡器用于任务调度，本地发送端口依据调度结果执行任务传输，本地处理器实现任务的本地计算。本地处理器的缓存空间为无限容量，当本地处理器被占用时新到达的任务将以先来先服务的规则在缓存区等待；

引入虚拟化技术，将系统中的单物理机虚拟化为多台虚拟机。在公有边缘资源中将算力较强的虚拟机划分为簇Ⅰ，将算力有限的虚拟机划分为簇Ⅱ。在私有边缘资源中按照算力不同将虚拟机划分为宏基站与微基站。虚拟机簇Ⅰ与宏基站具有有限容量缓存空间，虚拟机簇Ⅱ与微基站具有无限容量缓存空间；

云层由公有云与私有云构成，分别用于处理普通任务与安全任务。考虑到公有云具有较强的服务能力，普通任务在公有云的时延不包含等待时延，即为服务时延。私有云具有无限容量缓存空间，安全任务在私有云的时延由等待时延与服务时延两部分组成；

考虑到MEC卸载场景实际上存在动态、随机、时变等特性，在该MEC系统中任务流的到达强度随机变化。

MEC系统中卸载策略如下：

(1)考虑部分用户的特殊业务具有安全需求，将用户划分为普通用户与VIP用户。VIP用户产生安全任务与普通任务，普通用户只产生普通任务。考虑普通任务的时延敏感性，将其划分为实时任务与非实时任务。实时任务具有较高的时延敏感性，非实时任务具有较低的时延敏感性。考虑安全任务的安全等级，将其划分为高安全级别任务与低安全级别任务。两类用户产生的任务均由负载均衡器调度至本地、边缘或云端进行处理。调度至本地计算的任务将在本地处理器缓存中排队等待处理，卸载的任务由发送端口传输至边缘或云端。

(2)普通用户产生的实时任务以概率卸载到公有边缘虚拟机簇Ⅰ处理，以概率/>在本地执行。VIP用户产生的实时任务以概率卸载到公有边缘虚拟机簇Ⅱ处理，以概率/>在本地执行。卸载至公有边缘的实时任务，首先进入虚拟机簇Ⅰ缓存队列，若缓存空间中的实时任务数达到接入阈值H_pub，则新到达的实时任务抢占虚拟机簇Ⅱ中非实时任务的虚拟机，被抢占的非实时任务将回到簇Ⅱ缓存中队首位置排队等待空闲的虚拟机重新接受服务。若虚拟机簇Ⅰ缓存空间中的实时任务数达到接入阈值H_pub且虚拟机簇Ⅱ中的虚拟机全部被实时任务抢占，则新到达的实时任务将被丢弃，即被系统阻塞。普通用户产生的非实时任务以概率卸载到公有边缘虚拟机簇Ⅱ处理，以概率/>卸载到公有云处理，以概率/>在本地执行。VIP用户产生的非实时任务以概率卸载到公有边缘虚拟机簇Ⅱ处理，以概率/>卸载到公有云处理，以概率/>在本地执行。卸载至公有边缘的非实时任务进入虚拟机簇Ⅱ缓存队列接受服务。卸载至公有云的非实时任务经过远距离传输后在公有云虚拟机上接受服务。

(3)VIP用户产生的高安全级别任务以概率卸载到私有边缘宏基站处理，以概率/>在本地执行。VIP用户产生的低安全级别任务以概率卸载到私有边缘微基站处理，以概率/>在本地执行。若私有边缘微基站缓存空间中的低安全级别任务数达到接入阈值H_pri，则新到达的低安全级别任务将被进一步卸载至私有云进行处理。

一种基于DRL与安全的云边端协同MEC任务卸载策略的性能研究，包括以下步骤：

步骤1，为了描述突发任务流的相关性，采用MAP刻画各类任务的到达过程；

普通用户中的任务到达过程为由带有状态空间与无穷小生成元的底层马氏链{W₁(t),t≥0}决定的MAP。对于/> 表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w’₁的过程中普通用户没有产生任务；/>表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w’₁的过程中普通用户产生一个实时任务；/>表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w’₁的过程中普通用户产生一个非实时任务。由此计算出普通用户产生实时任务的平均速率为/>产生非实时任务的速率为/>其中θ满足θD°＝0与θe＝1。VIP用户中的任务到达过程为由带有状态空间与无穷小生成元/>的底层马氏链{W₂(t),t≥0}决定的MAP。对于/> 表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w’₂的过程中VIP用户没有产生任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w’₂的过程中VIP用户产生一个实时任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w’₂的过程中VIP用户产生一个非实时任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w’₂的过程中VIP用户产生一个高安全级别任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w’₂的过程中VIP用户产生一个低安全级别任务。由此计算出VIP用户产生实时任务的平均速率为/>产生非实时任务的速率为/>产生高安全级别任务的平均速率为/>产生低安全级别任务的速率为/>其中θ满足θD^v＝0与θe＝1。

步骤2，求解任务在本地处理器接受服务的平均时延；

普通用户本地设备中任务到达过程由 与/>刻画。VIP用户本地设备中任务到达过程由 与/>刻画。普通用户本地处理器服务两类任务的时间均服从参数为的指数分布。VIP用户本地处理器服务四类任务的时间均服从参数为的指数分布。针对两类用户分别建立MAP/M/1排队模型，采用矩阵几何解方法解析模型，分别给出普通用户与VIP用户中各类任务的本地平均时延/>

其中x(x≥0)表示普通用户本地设备中的总任务数，表示普通用户任务到达过程的底层状态。

其中x(x≥0)表示VIP用户本地设备中的总任务数，表示VIP用户任务到达过程的底层状态。

步骤3，求解普通任务卸载到公有边缘接受服务的平均时延；

公有边缘资源中簇Ⅰ的虚拟机数量为n_mac，服务率为μ_mac，簇Ⅱ的虚拟机数量为n_mic(0＜n_mic＜n_mac＜∞)，服务率为μ_mic(0＜μ_mic＜μ_mac＜+∞)。

公有边缘的任务流由来自于两类用户的普通任务组成，将两类用户的任务到达过程叠加，求得其到达过程为由带有状态空间与无穷小生成元的底层马氏链{W_Pub(t),t≥0}决定的MAP，其中符号×表示笛卡尔积，

符号/>表示克罗内克积。结合t时刻公有边缘节点中的普通任务数X(t)，微基站中的实时任务数Y(t)，公有边缘节点中剩余的实时任务数Z(t)，底层状态W_Pub(t)，构建四维马尔可夫链{X(t),Y(t),Z(t),W_Pub(t),t≥0}，其状态空间表示为/>利用矩阵几何解方法求得四维马尔可夫链{X(t),Y(t),Z(t),W(t),t≥0}的稳态解π_x,y,z,w，分别给出实时任务与非实时任务在公有边缘节点上的平均时延/>实时任务的阻塞率P_blo及任务卸载至边缘的传输时延/>

其中γ表示任务的大小，B表示信道带宽，P表示传输功率，ξ表示信道增益，θ表示信道噪声功率的谱密度。

步骤4，求解安全任务卸载到私有边缘接受服务的平均时延；

私有边缘中宏基站的虚拟机数量为n_p，服务率为μ_p，微基站的虚拟机数量为n_f，服务率为μ_f。私有云中的虚拟数量为n_c(0＜n_f＜n_p＜n_c＜∞)，服务率为μ_c(0＜μ_f＜μ_p＜μ_c＜+∞)。

宏基站的任务到达过程为由带有状态空间与无穷小生成元/>的底层马氏链{W_h(t),t≥0}决定的MAP，其中/>由此计算出高安全级别任务的平均到达速率为/>结合t时刻宏基站中的高安全级别任务数X(t)，底层状态W_h(t)，构建二维马尔可夫链{X(t),W_h(t),t≥0}，其状态空间表示为利用矩阵几何解的方法求得二维马尔可夫链{X(t),W_h(t),t≥0}的稳态解π_x,w，给出高安全级别任务在私有边缘节点上的平均时延/>

微基站缓存空间中的低安全级别任务数达到接入阈值H_pri后，新到达的低安全级别任务将进一步卸载至私有云进行处理。微基站任务到达过程为由带有状态空间与无穷小生成元/>的底层马氏链{W_l(t),t≥0}决定的MAP，其中结合t时刻微基站与私有云中的低安全级别任务总数X(t)，微基站中的低安全级别任务数Y(t)，底层状态W_l(t)，构建三维马尔可夫链{X(t),Y(t),W_l(t),t≥0}，其状态空间表示为/>利用矩阵几何解的方法求得三维马尔可夫链{X(t),Y(t),W_l(t),t≥0}的稳态解π_x,y,w，给出低安全级别任务在私有边缘节点上的平均时延/>

其中表示发送端口将任务从本地发送到云的平均传输时延。

步骤5，以最小化系统平均时延为目标给出优化问题；

为了在动态MEC环境下实现系统平均时延最小化，优化任务调度方案，给出最优任务卸载策略。普通用户产生的实时任务在系统中的平均时延为非实时任务在系统中的平均时延为VIP用户产生的实时任务在系统中的平均时延为/>非实时任务在系统中的平均时延为高安全级别任务在系统中的平均时延为低安全级别任务在系统中的平均时延为优化问题可表示如下：

步骤6，利用DDPG算法，运用Pycharm软件与Matlab软件，求解步骤5中的优化问题，以实现系统平均时延最小化为目标，求得动态MEC环境下的最优任务卸载方案：

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种基于云边端协同任务卸载策略的MEC系统，其特征在于，包括以下内容：

MEC系统架构由本地端、边缘层和云层三部分组成，基于普通用户与VIP用户，考虑任务的安全性，将边缘层划分为私有边缘资源与公有边缘资源；

在设备本地端，每个设备单元由负载均衡器、发送端口和本地处理器三部分构成；

引入虚拟化技术，将系统中的单物理机虚拟化为多台虚拟机，在公有边缘资源中将算力较强的虚拟机划分为簇Ⅰ，将算力有限的虚拟机划分为簇Ⅱ，在私有边缘资源中按照算力不同将虚拟机划分为宏基站与微基站，虚拟机簇Ⅰ与宏基站具有有限容量缓存空间，虚拟机簇Ⅱ与微基站具有无限容量缓存空间；

云层由公有云与私有云构成，分别用于处理普通任务与安全任务，考虑到公有云具有较强的服务能力，普通任务在公有云的时延不包含等待时延，即为服务时延，私有云具有无限容量缓存空间，安全任务在私有云的时延由等待时延与服务时延两部分组成；

考虑到MEC卸载场景实际上存在动态、随机、时变特性，在该MEC系统中任务流的到达强度随机变化；

所述MEC系统中卸载策略如下：

(1)考虑部分用户的特殊业务具有安全需求，将用户划分为普通用户与VIP用户，VIP用户产生安全任务与普通任务，普通用户只产生普通任务，考虑普通任务的时延敏感性，将其划分为实时任务与非实时任务，实时任务具有较高的时延敏感性，非实时任务具有较低的时延敏感性，考虑安全任务的安全等级，将其划分为高安全级别任务与低安全级别任务，两类用户产生的任务均由负载均衡器调度至本地、边缘或云端进行处理，调度至本地计算的任务将在本地处理器缓存中排队等待处理，卸载的任务由发送端口传输至边缘或云端；

(2)普通用户产生的实时任务以概率卸载到公有边缘虚拟机簇Ⅰ处理，公有边缘虚拟机簇Ⅰ以概率/>在本地执行，VIP用户产生的实时任务以概率卸载到公有边缘虚拟机簇Ⅱ处理，公有边缘虚拟机簇Ⅱ以概率在本地执行，卸载至公有边缘的实时任务，首先进入虚拟机簇Ⅰ缓存队列，若缓存空间中的实时任务数达到接入阈值H_pub，则新到达的实时任务抢占虚拟机簇Ⅱ中非实时任务的虚拟机，被抢占的非实时任务将回到虚拟机簇Ⅱ缓存中队首位置排队等待空闲的虚拟机重新接受服务，若虚拟机簇Ⅰ缓存空间中的实时任务数达到接入阈值H_pub且虚拟机簇Ⅱ中的虚拟机全部被实时任务抢占，则新到达的实时任务将被丢弃，即被系统阻塞，普通用户产生的非实时任务以概率/>卸载到公有边缘虚拟机簇Ⅱ处理，虚拟机簇Ⅱ以概率/>卸载到公有云处理，以概率/>在本地执行，VIP用户产生的非实时任务以概率/>卸载到公有边缘虚拟机簇Ⅱ处理，以概率/>卸载到公有云处理，以概率/>在本地执行，卸载至公有边缘的非实时任务进入虚拟机簇Ⅱ缓存队列接受服务，卸载至公有云的非实时任务经过远距离传输后在公有云虚拟机上接受服务；

(3)VIP用户产生的高安全级别任务以概率卸载到私有边缘宏基站处理，以概率/>在本地执行，VIP用户产生的低安全级别任务以概率卸载到私有边缘微基站处理，以概率/>在本地执行，若私有边缘微基站缓存空间中的低安全级别任务数达到接入阈值H_pri，则新到达的低安全级别任务将被进一步卸载至私有云进行处理。

2.根据权利要求1所述的MEC系统的任务卸载方法，其特征在于，包括以下步骤：

步骤1，为了描述突发任务流的相关性，采用MAP刻画各类任务的到达过程；

普通用户中的任务到达过程为由带有状态空间与无穷小生成元的底层马氏链{W₁(t),t≥0}决定的MAP；对于/> 表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w′₁的过程中普通用户没有产生任务；/>表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w′₁的过程中普通用户产生一个实时任务；/>表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w′₁的过程中普通用户产生一个非实时任务；由此计算出普通用户产生实时任务的平均速率为/>产生非实时任务的速率为其中θ满足θD^o＝0与θe＝1；VIP用户中的任务到达过程为由带有状态空间与无穷小生成元/>的底层马氏链{W₂(t),t≥0}决定的MAP；对于/> 表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户没有产生任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户产生一个实时任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户产生一个非实时任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户产生一个高安全级别任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户产生一个低安全级别任务；由此计算出VIP用户产生实时任务的平均速率为/>产生非实时任务的速率为/>产生高安全级别任务的平均速率为/>产生低安全级别任务的速率为/>其中θ满足θD^v＝0与θe＝1；

步骤2，求解任务在本地处理器接受服务的平均时延；

普通用户本地设备中任务到达过程由 与/>刻画；VIP用户本地设备中任务到达过程由 与/>刻画；普通用户本地处理器服务两类任务的时间均服从参数为的指数分布；VIP用户本地处理器服务四类任务的时间均服从参数为的指数分布；针对两类用户分别建立MAP/M/1排队模型，采用矩阵几何解方法解析模型，分别给出普通用户与VIP用户中各类任务的本地平均时延/>

其中x(x≥0)表示普通用户本地设备中的总任务数，表示普通用户任务到达过程的底层状态；

其中x(x≥0)表示VIP用户本地设备中的总任务数，表示VIP用户任务到达过程的底层状态；

步骤3，求解普通任务卸载到公有边缘接受服务的平均时延；

公有边缘资源中簇Ⅰ的虚拟机数量为n_mac，服务率为μ_mac，簇Ⅱ的虚拟机数量为n_mic(0＜n_mic＜n_mac＜∞)，服务率为μ_mic(0＜μ_mic＜μ_mac＜+∞)；

公有边缘的任务流由来自于两类用户的普通任务组成，将两类用户的任务到达过程叠加，求得其到达过程为由带有状态空间与无穷小生成元/>的底层马氏链{W_Pub(t),t≥0}决定的MAP，其中符号×表示笛卡尔积，

符号/>表示克罗内克积；结合t时刻公有边缘节点中的普通任务数X(t)，微基站中的实时任务数Y(t)，公有边缘节点中剩余的实时任务数Z(t)，底层状态W_Pub(t)，构建四维马尔可夫链{X(t),Y(t),Z(t),W_Pub(t),t≥0}，其状态空间表示为/>利用矩阵几何解方法求得四维马尔可夫链{X(t),Y(t),Z(t),W(t),t≥0}的稳态解π_x,y,z,w，分别给出实时任务与非实时任务在公有边缘节点上的平均时延/>实时任务的阻塞率P_blo及任务卸载至边缘的传输时延/>

其中γ表示任务的大小，B表示信道带宽，P表示传输功率，ξ表示信道增益，表示信道噪声功率的谱密度；

步骤4，求解安全任务卸载到私有边缘接受服务的平均时延；

私有边缘中宏基站的虚拟机数量为n_p，服务率为μ_p，微基站的虚拟机数量为n_f，服务率为μ_f；私有云中的虚拟数量为n_c(0＜n_f＜n_p＜n_c＜∞)，服务率为μ_c(0＜μ_f＜μ_p＜μ_c＜+∞)；

宏基站的任务到达过程为由带有状态空间与无穷小生成元/>的底层马氏链{W_h(t),t≥0}决定的MAP，其中/>由此计算出高安全级别任务的平均到达速率为/>结合t时刻宏基站中的高安全级别任务数X(t)，底层状态W_h(t)，构建二维马尔可夫链{X(t),W_h(t),t≥0}，其状态空间表示为利用矩阵几何解的方法求得二维马尔可夫链{X(t),W_h(t),t≥0}的稳态解π_x,w，给出高安全级别任务在私有边缘节点上的平均时延/>

微基站缓存空间中的低安全级别任务数达到接入阈值H_pri后，新到达的低安全级别任务将进一步卸载至私有云进行处理；微基站任务到达过程为由带有状态空间与无穷小生成元/>的底层马氏链{W_l(t),t≥0}决定的MAP，其中 结合t时刻微基站与私有云中的低安全级别任务总数X(t)，微基站中的低安全级别任务数Y(t)，底层状态W_l(t)，构建三维马尔可夫链{X(t),Y(t),W_l(t),t≥0}，其状态空间表示为/>利用矩阵几何解的方法求得三维马尔可夫链{X(t),Y(t),W_l(t),t≥0}的稳态解π_x,y,w，给出低安全级别任务在私有边缘节点上的平均时延/>

其中表示发送端口将任务从本地发送到云的平均传输时延；

步骤5，以最小化系统平均时延为目标给出优化问题；

为了在动态MEC环境下实现系统平均时延最小化，优化任务调度方案，给出最优任务卸载策略；普通用户产生的实时任务在系统中的平均时延为非实时任务在系统中的平均时延为/>VIP用户产生的实时任务在系统中的平均时延为/>非实时任务在系统中的平均时延为/>高安全级别任务在系统中的平均时延为/>低安全级别任务在系统中的平均时延为优化问题可表示如下：

式中， 表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w′₁的过程中普通用户没有产生任务；/>表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w′₁的过程中普通用户产生一个实时任务；/>表示底层马氏链{W₁(t),t≥0}由状态w₁转移到状态w′₁的过程中普通用户产生一个非实时任务；由此计算出普通用户产生实时任务的平均速率为产生非实时任务的速率为/>其中θ满足θD^o＝0与θe＝1；VIP用户中的任务到达过程为由带有状态空间/>与无穷小生成元的底层马氏链{W₂(t),t≥0}决定的MAP；对于/> 表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户没有产生任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户产生一个实时任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户产生一个非实时任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户产生一个高安全级别任务；/>表示底层马氏链{W₂(t),t≥0}由状态w₂转移到状态w′₂的过程中VIP用户产生一个低安全级别任务；由此计算出VIP用户产生实时任务的平均速率为产生非实时任务的速率为/>产生高安全级别任务的平均速率为产生低安全级别任务的速率为/>其中θ满足θD^v＝0与θe＝1；

步骤6，利用DDPG算法，运用Pycharm软件与Matlab软件，求解步骤5中的优化问题，以实现系统平均时延最小化为目标，求得动态MEC环境下的最优任务卸载方案：