CN112601256B - 一种超密集网络中基于mec-sbs簇化的负载调度方法 - Google Patents

一种超密集网络中基于mec-sbs簇化的负载调度方法 Download PDF

Info

Publication number
CN112601256B
CN112601256B CN202011419764.6A CN202011419764A CN112601256B CN 112601256 B CN112601256 B CN 112601256B CN 202011419764 A CN202011419764 A CN 202011419764A CN 112601256 B CN112601256 B CN 112601256B
Authority
CN
China
Prior art keywords
cluster
mec
sbs
network
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011419764.6A
Other languages
English (en)
Other versions
CN112601256A (zh
Inventor
覃少华
陆鹏
廖元秀
赵鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dragon Totem Technology Hefei Co ltd
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202011419764.6A priority Critical patent/CN112601256B/zh
Publication of CN112601256A publication Critical patent/CN112601256A/zh
Application granted granted Critical
Publication of CN112601256B publication Critical patent/CN112601256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/04—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种超密集网络中基于MEC‑SBS簇化的负载调度方法，包括如下步骤：步骤一、初始化；步骤二、卸载计算任务；步骤三、判断是否调整协作簇；步骤四、同步参数；步骤五、构建DDPG模型；步骤六、更新全局参数。这种方法能够有效的降低大规模网络中MEC‑SBS计算负载调度的复杂度，减少MEC‑SBS之间信令交互的消耗和计算任务的平均服务延时，同时能够有效地解决固定协作簇中资源限制问题，具有较高的灵活性。

Description

一种超密集网络中基于MEC-SBS簇化的负载调度方法
技术领域
本发明涉及移动边缘计算领域，应用于超密集网络中MEC-SBS负载调度，具体涉及一种超密集网络中基于MEC-SBS簇化的负载调度方法。
背景技术
超密集网络(Ultra-Dense Network,简称UDN)作为5G中一项关键技术，通过密集部署低功率小基站和热点增大网络中移动设备的连接量，为移动设备提供良好的接入服务，满足了目前移动数据流量爆炸式增长的需求。然而，在超密集网络中，由于微基站数目庞大以及微基站与核心网之间的回程链路容量有限，大量的移动数据流量传输会导致回程链路拥塞，从而影响用户的服务质量(Quality of Service,简称QoS)和网络性能。移动边缘计算(Mobile Edge Computing,简称MEC)通过在网络边缘部署云计算和网络服务，有效的处理网络边缘产生的移动数据[1]。通过在超密集网络中的微基站上部署移动边缘计算服务器(MEC-Enabled Small Cell Base Station，简称MEC-SBS)，能够有效处理边缘数据并减少回程网络数据的传输，缓解回程链路的压力和提高终端用户的QoS。
然而，与云计算中心服务器和宏基站边缘服务器相比，MEC-SBS的计算资源是有限的。同时，由于超密集网络中微基站的覆盖范围小，超密集部署的MEC-SBS上的计算负载更容易受到用户移动、时间和空间等因素的影响，使得MEC-SBS上的计算负载动态变化且分布不均衡。因此，仅依靠单个MEC-SBS无法时刻提供令移动终端用户满意的计算服务。MEC-SBS协作，通过将网络中计算负载重的MEC-SBS上的计算负载卸载到邻居计算负载轻的MEC-SBS上，来平衡MEC-SBS上的负载，从而提高边缘服务性能。此外，MEC-SBS的超密集部署以及地域上分布广给大规模计算负载调度和优化带来了巨大挑战。
为了提高超密集网络中MEC-SBS资源的利用率，同时减少计算任务卸载的传输延迟，国内外学者开始研究如何通过不同MEC-SBS之间的协作来解决单个MEC-SBS上边缘计算资源不足的问题。
目前，关于微基站边缘服务器间协作的计算卸载研究中，Chen(CHEN L,ZHOU S,XUJ.Computation Peer Offloading for Energy-Constrained Mobile Edge Computing inSmall-Cell Networks[J].IEEE/ACM Transactions on Networking,2018,26(4):1619-1632.)提出了一种在线对等卸载(Online Peer Offloading,简称OPEN)的MEC-SBS协作框架。该框架基于李雅普诺夫优化理论实现网络中随机计算对等卸载，系统中MEC-SBS根据自身卸载前边际计算成本(Marginal Computation Cost，简称MaCC)求出最优卸载后边际计算成本并决定MEC-SBS的协作角色，即卸载负载、接收负载和不参与协作，通过MEC-SBS自身卸载前和最优卸载后的边际计算成本来决定MEC-SBS上要卸载的计算负载量以及有线局域网中通信流量，使计算延时最小化。但是，由于系统中所有的MEC-SBS是通过有线局域网连接，网络拓扑无法动态变化。一旦协作区中所有的MEC-SBS过载，系统中MEC-SBS上的计算负载将无法调整，影响整个系统的性能。再者，协作区域的协作复杂度将随着协作规模的变大随之变高。为了解决因有线局域网固定网络拓扑而无法调整协作区域问题，Yang(YANG T,ZHANG H,JI H,et al.Computation collaboration in ultra dense networkintegrated with mobile edge computing；proceedings of the 2017IEEE 28th AnnualInternational Symposium on Personal,Indoor,and Mobile Radio Communications(PIMRC),F,2017[C].IEEE.)提出了一种移动边缘计算协作架构(MEC CollaborativeArchitecture,简称MEC-CA)。MEC-CA中MEC-SBS通过无线回程链路进行连接，使得MEC-SBS的部署和协作更加灵活和便捷。MEC-CA将整个系统中所有的MEC-SBS当作一个协作簇，过载的MEC-SBS先探测其邻居MEC-SBS负载信息和链路信息，再根据自身计算任务的延时需求、与其他MEC-SBS之间的链路状态和MEC-SBS的计算资源状况，选择本地、邻居MEC-SBS或者更远的MEC-SBS进行协作，在实现簇中计算资源的最优分配的基础上，最小化计算任务的计算延迟。但是，簇中MEC-SBS采用分布式的协作方式，过载的MEC-SBS在每个时间槽内都要和邻居MEC-SBS通过信令交互来获取其邻居的计算负载和链路信息，使得信令开销较大。再者，当有多个过载MEC-SBS寻求共同的邻居MEC-SBS协作时，会产生计算资源竞争现象，使得过载MEC-SBS因被邻居MEC-SBS拒绝服务而无法保证服务质量。此外，簇中某个区域中多个MEC-SBS过载，会出现某个过载MEC-SBS的邻居MEC-SBS也是过载的，因此，系统资源分配难度和计算复杂度就会提高，任务处理延时也会增大。为了降低信令开销、提高服务质量和降低资源的分配难度，Oueis(OUEIS J,STRINATI E C,BARBAROSSA S.Distributed mobilecloud computing:A multi-user clustering solution；proceedings of the 2016IEEEInternational Conference on Communications(ICC),F,2016[C].IEEE.)提出了一种基于动态划分协作簇的协作策略。该策略分为分布式管理层和集中式管理层，在分布式管理层中，当服务计算任务到达一个MEC-SBS后，它首先询问其邻居MEC-SBS的可用计算资源和它们之间的链路状况，然后在最小化通信能量消耗的前提下，该MEC-SBS与其部分邻居MEC-SBS动态形成计算协作簇；而在集中式管理层中，分布式管理层中的MEC-SBS将计算协作簇中的负载分发信息上传给集中式管理层中的中心控制单元，中心控制单元以最小化数据处理时间为目标，将协作簇中过载MEC-SBS上的过载的计算负载卸载到其他簇中未过载的MEC-SBS上，实现系统中MEC-SBS计算资源的有效利用。虽然集中式管理层能在一定程度上调整分布式管理层中协作簇中MEC-SBS负载分发不均的情况，但是，随着整个系统中MEC-SBS的数量和请求的增加，中心控制单元的计算复杂度随之快速增加。此外，分布式管理层中的服务MEC-SBS在不考虑其他用户请求的情况下为每一个用户请求构建计算协作簇，会出现同一个邻居MEC-SBS被多个服务MEC-SBS请求构建协作簇，无法保证资源最优分配，集中式管理层中的中心管理单元需要再次进行全局调整，致使计算负载分配难度增大，无法保证服务质量，同时，多次与邻居进行网络信令交互增加了带宽消耗，随着网络规模变大，因大量信令交互的带宽消耗更加严重。
虽然上述工作研究了MEC-SBS协作方式来弥补单个MEC-SBS资源有限问题。但是在超密集网络中，由于MEC-SBS的密集部署和较大的网络规模，上述协作方式存在复杂度高、信令开销大、计算资源竞争和大规模网络中有线连接方式存在成本高、部署困难和灵活性差等问题。
发明内容
本发明的目的是为了解决现有技术存在的问题，提供一种超密集网络中基于MEC-SBS簇化的负载调度方法。这种方法能够有效的歼敌大规模网络中MEC-SBS计算负载调度的复杂度，减少MEC-SBS之间信令交互的消耗和计算任务的平均服务延时，同时能够有效地解决固定协作簇中资源限制问题，具有较高的灵活性。
实现本发明目的的具体技术方案是：
一种超密集网络中基于MEC-SBS簇化的负载调度方法，包括如下步骤：
步骤一、初始化：其中包括构建初始协作簇和对深度确定梯度(DeepDeterministic Policy Gradient，简称DDPG)算法中的参数的初始化；
步骤二、卸载计算任务：移动用户设备选择与之信道增益最好的MEC-SBS进行关联，然后向与之关联的MEC-SBS卸载其产生的计算任务；
步骤三、判断是否调整协作簇：各协作簇中簇头MEC-SBS收集簇中所有MEC-SBS的计算负载信息，即协作簇中MEC-SBS的总计算负载量lk(t)，并判断簇中计算负载是否过载；若过载，则簇头MEC-SBS向宏基站边缘服务器请求调整协作簇；若不过载，则不调整；
步骤四、同步参数：各协作簇中的簇头MEC-SBS从宏基站边缘服务器同步全局参数并进行目标网络参数更新；
步骤五、构建DDPG模型：协作簇中MEC-SBS的计算负载量表示DDPG的当前状态，协作簇中MEC-SBS的计算负载卸载表示为DDPG的动作，使用协作簇中计算任务的平均计算服务延时构建DDPG模型中的奖励值，最优的簇中负载调度策略即MEC-SBS上最优的卸载动作，通过DDPG算法求出最优的簇中负载调度策略；
步骤六、更新全局参数：宏基站边缘服务器更新全局参数，为下一次负载调度做准备。
步骤一中初始化具体包括：
(1)采用k-means分簇算法构建初始协作簇，根据k-means算法的分簇结果为网络中的MEC-SBS分配簇号，簇号相同的MEC-SBS中组成一个协作簇，并随机选择协作簇一个MEC-SBS作为簇头负责收集协作簇中计算负载信息和做出计算负载调度策略；
(2)各协作簇中簇头MEC-SBS通过并行方式运行DDPG算法，协作簇的簇头MEC-SBS定期和宏基站边缘服务器同步参数；
(3)初始化DDPG算法中当前策略网络的学习率
Figure GDA0003616512330000041
当前Q值网络的学习率
Figure GDA0003616512330000042
折扣因子γ、更新系数τ和训练样本大小Z。
步骤三中协作簇k中MEC-SBS的总计算负载量lk(t)计算公式为：
Figure GDA0003616512330000043
其中
Figure GDA0003616512330000044
为在时间槽t时，MEC-SBS第i个上计算负载量，设定lth为协作簇的计算负载上限阈值；
簇头MEC-SBS判断簇中总计算负载量lk(t)是否超过协作簇的计算负载上限阈值lth，如果计算协作簇过载，即lk(t)＞lth，则进行协作簇调整，调整的具体步骤如下：
(1)计算负载过载簇k发送过载信息给其邻居协作簇k′的簇头，请求邻居簇参与调整协作簇，满足计算负载条件lk′≤lth的邻居协作簇
Figure GDA00036165123300000410
和协作簇k上传协作簇的簇号、各自簇中MEC-SBS的负载信息和位置信息给宏基站边缘服务器，其中Hk表示协作簇k的邻居协作簇的簇号集合；
(2)宏基站边缘服务器根据提交的MEC-SBS信息计算MEC-SBS的平均计算负载，MEC-SBS第i个的平均负载计算公式表示为：
Figure GDA0003616512330000045
其中参数
Figure GDA0003616512330000046
表示协作簇
Figure GDA0003616512330000047
存在时间长度，
Figure GDA0003616512330000048
表示协作簇形成的起始时间，协作簇
Figure GDA0003616512330000049
(3)宏基站边缘服务器根据MEC-SBS的平均计算负载量选出前|{k}∪Hk|个MEC-SBS作为协作簇的初始簇头，并使用k-means算法对MEC-SBS进行分簇，MEC-SBS根据k-means分簇结果来更新簇号。
步骤四中同步参数中目标网络中神经网络参数采用软更新的方式进行更新，具体更新公式如下表示：
w′k＝Twk+(1-τ)w′k (3)，
θ′k＝τθk+(1-τ)θ′k (4)，
其中θ′k表示协作簇k中目标策略网络的神经网络参数，θk表示协作簇k中当前策略网络的神经网络参数，w′k表示协作簇k中目标Q值网络的神经网络参数，wk表示协作簇k中当前目标Q值网络的神经网络参数。
步骤五中DDPG模型的具体描述如下：
状态：用簇中MEC-SBS上的计算负载量表示，协作簇k中的状态具体表示如下：
Figure GDA0003616512330000051
其中
Figure GDA0003616512330000052
为在时间槽t时，MEC-SBS第i个上计算负载量；
动作：用簇中MEC-SBS的计算负载卸载动作表示，协作簇k中的动作具体表示如下：
Figure GDA0003616512330000053
其中
Figure GDA0003616512330000054
表示协作簇k中第i个MEC-SBS卸载到簇中其他MEC-SBS第i′个的计算负载量；
奖励：用簇中计算任务的平均服务延时表示，协作簇k中的奖励具体表示如下：
Figure GDA0003616512330000055
其中
Figure GDA0003616512330000056
表示在时间槽t时，网络中MEC-SBS第i个的计算任务总的处理时间，
Figure GDA0003616512330000057
表示在时间槽t时，网络中MEC-SBS第i个的传输计算任务的传输时延；
各协作簇中DDPG算法具体运行流程如下：
(1)各簇头上Actor观察得到的环境状态
Figure GDA0003616512330000058
根据行为策略执行动作
Figure GDA0003616512330000059
获得奖励
Figure GDA00036165123300000510
环境转换到
Figure GDA0003616512330000061
(2)各簇头Actor将状态转移过程
Figure GDA0003616512330000062
存到本地经验回放集合Dk中；
(3)随机从经验回放集合Dk中选取Z个样本，作为训练策略网络和Q值网络的数据集；
(4)根据样本通过Actor的目标策略网络和Critic的目标Q值网络得到的值和当前网络得到的估计值之差来更新当前网络的神经网络参数；
Critic网络参数更新采用均方误差来作为损失函数，公式具体表示为：
Figure GDA0003616512330000063
基于标准的方向传播算法可以得到损失函数L(w)关于Critic的当前Q值网络参数w的梯度，具体公式表示为：
Figure GDA0003616512330000064
其中
Figure GDA0003616512330000065
Actor网络参数更新方式采用确定策略梯度方式，Actor当前策略网络的梯度计算具体公式表示为：
Figure GDA0003616512330000066
(5)簇头MEC-SBS将网络参数
Figure GDA0003616512330000067
和
Figure GDA0003616512330000068
上传到宏基站边缘服务器。
步骤六中全局网络参数更新：
Figure GDA0003616512330000069
Figure GDA00036165123300000610
与现有的研究相比，本技术方案具有如下特点：
1.本技术方案通过使用分区算法，将系统中MEC-SBS划分到多个非重叠的计算协作簇中，从而实现将大规模MEC-SBS计算协作问题转化成计算协作簇中的小规模MEC-SBS计算协作问题。各计算协作簇通过分布式并行执行方式实现簇中计算负载调度，因此，降低了MEC-SBS计算协作的复杂度，并改善了系统的计算协作性能。
2.协作簇内集中式优化；在计算协作簇中，簇头MEC-SBS收集簇中MEC-SBS的计算负载信息和所有MEC-SBS之间的链路信息，并根据收集到的MEC-SBS的计算负载信息和所有MEC-SBS之间的链路信息，并使用DDPG算法做出最优簇中计算负载调度策略，在保证MEC-SBS能量消耗的条件下，使簇中计算任务的平均服务延时最小。减少了MEC-SBS之间竞争计算资源而产生计算延时和信息消耗。
3.计算协作簇半动态调整；计算负载过重的计算协作簇中的簇头MEC-SBS向邻居计算协作簇的簇头MEC-SBS寻求协作，邻居簇中的满足负载条件的计算协作簇和过载簇一起上传各自簇中MEC-SBS的计算负载信息到宏基站，宏基站根据MEC-SBS的计算负载信息，在保证各个协作簇负载均衡的条件下，重新划分协作簇，解决系统中部分计算协作簇的过载问题，以及固定协作簇的计算资源限制问题。
本技术方案能在实际生活中得到应用。
这种方法能够有效的降低大规模网络中MEC-SBS计算负载调度的复杂度，减少MEC-SBS之间信令交互的消耗和计算任务的平均服务延时，同时能够有效地解决固定协作簇中资源限制问题，具有较高的灵活性。
附图说明
图1为实例中MEC-SBS协作架构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述，但不是对本发明的限定。
实施例：
本例建立在如图1所示的超密集网络模型背景下。整个MEC-SBS计算协作系统由N个MEC-SBS和M个移动用户构成。MEC-SBS随机部署在一个宏基站(Macro Base Station，简称MBS)覆盖范围下，且移动用户随机分布在宏基站覆盖范围下。整个宏基站下的MEC-SBS分布在C个互不相交的计算协作簇中，且每个MEC-SBS只能在一个协作簇中。MEC-SBS使用集合
Figure GDA0003616512330000071
表示，移动用户使用集合
Figure GDA0003616512330000074
表示，计算协作簇使用集合
Figure GDA0003616512330000072
表示。系统中MEC-SBS第i个的计算能力，即服务率，用符号fi，
Figure GDA0003616512330000073
表示。每个MEC-SBS只服务其关联的移动用户，用集合
Figure GDA0003616512330000075
，
Figure GDA0003616512330000076
表示MEC-SBS第i个关联的移动用户。计算协作簇中采用的是集中式控制方式，协作簇中的其他MEC-SBS在每个时间槽内上传其负载信息到簇头MEC-SBS，簇头MEC-SBS根据簇中每一个MEC-SBS的计算负载和簇中MEC-SBS之间的链路状况做出负载卸载决策。协作簇中的MEC-SBS集合使用符号
Figure GDA0003616512330000088
Figure GDA0003616512330000089
表示，簇头MEC-SBS用符号
Figure GDA0003616512330000081
Figure GDA00036165123300000810
。
在时间槽t时，MEC-SBS第i个的计算负载量，由其关联的移动用户卸载产生。定义移动用户在时间槽t产生的计算任务数服从泊松分布，其到达率为
Figure GDA0003616512330000082
此处默认所有计算任务的数据量和完成计算任务的计算量相同，定义计算任务的数据量为ξ，定义完成计算任务的计算量为ζ。则MEC-SBS第i个的计算负载量表示如下：
Figure GDA0003616512330000083
系统中MEC-SBS之间计算负载的调度通过无线链路方式进行传输，则MEC-SBS第i个与MEC-SBS第i′个之间传输速率表示为：
Figure GDA0003616512330000084
其中W表示MEC-SBS之间的带宽，p表示MEC-SBS的发射功率，g表示MEC-SBS之间的信道增益，di，i′表示MEC-SBS第i个与MEC-SBS第i′个之间的距离，N0表示高斯白噪声，α表示路径损失函数指数。
在时间槽t，计算协作簇k中MEC-SBS负载调度策略集合表示为ak(t)，其中
Figure GDA0003616512330000085
i′∈Bk\{i}表示协作簇k中，MEC-SBS第i个卸载到MEC-SBS第i′个的计算负载量。MEC-SBS第i个接收的计算负载量应该满足条件：
Figure GDA0003616512330000086
根据上述协作簇中负载调度策略可知，在时间槽t时，协作簇k中MEC-SBS i上的计算负载可以表示为：
Figure GDA0003616512330000087
系统中的计算任务服务时间是由计算任务的计算延时和计算任务的卸载的传输延时组成。根据上述的计算负载调度策略可知，在时间槽t时，协作簇k中MEC-SBS第i个的计算负载计算延时：
Figure GDA0003616512330000091
其中
Figure GDA0003616512330000092
相应的，在时间槽t时，协作簇k中MEC-SBS第i个卸载计算负载的传输延时为：
Figure GDA0003616512330000093
因此，在时间槽t时，协作簇k中计算任务的计算平均服务延时可以表示为：
Figure GDA0003616512330000094
一种超密集网络中基于MEC-SBS簇化的负载调度方法，包括如下步骤：
步骤一、初始化：其中包括构建初始协作簇和深度确定梯度(Deep DeterministicPolicy Gradient，简称DDPG)算法中的参数的初始化；
步骤二、卸载计算任务；移动用户设备选择与之信道增益最好的MEC-SBS进行关联，然后向与之关联的MEC-SBS卸载其产生的计算任务；
步骤三、判断是否调整协作簇：各协作簇中簇头MEC-SBS收集簇中所有MEC-SBS上计算负载信息，即协作簇中MEC-SBS的总计算负载量lk(t)，并判断簇中计算负载是否过载；若过载，则簇头MEC-SBS向宏基站边缘服务器请求调整协作簇；若不过载，则不调整；
步骤四、同步参数：各协作簇中的簇头MEC-SBS从宏基站边缘服务器同步全局参数并进行目标网络参数更新；
步骤五、构建DDPG模型：协作簇中MEC-SBS的计算负载量表示DDPG的当前状态，协作簇中MEC-SBS的计算负载卸载表示为DDPG的动作，使用协作簇中计算任务的平均计算服务延时构建DDPG模型中的奖励值，通过DDPG算法求出最优的簇中负载调度策略，最优的簇中负载调度策略即MEC-SBS上最优的卸载动作；
步骤六、更新全局参数：宏基站边缘服务器更新全局参数，为下一次负载调度做准备。
步骤一中初始化具体包括：
(1)采用k-means分簇算法构建初始协作簇，根据k-means算法的分簇结果为网络中的MEC-SBS分配簇号，簇号相同的MEC-SBS组成一个协作簇，并随机选择协作簇中一个MEC-SBS作为簇头负责收集协作簇中计算负载信息和做出计算负载调度策略；
(2)各协作簇中簇头MEC-SBS通过并行方式运行DDPG算法，协作簇的簇头MEC-SBS定期和宏基站边缘服务器同步参数；
(3)初始化DDPG算法中当前策略网络的学习率
Figure GDA0003616512330000101
当前Q值网络的学习率
Figure GDA0003616512330000102
折扣因子γ、更新系数τ和训练样本大小Z。
步骤三中协作簇中MEC-SBS的总计算负载量lk(t)计算公式为：
Figure GDA0003616512330000103
其中
Figure GDA0003616512330000104
在时间槽t时，MEC-SBS第i个的计算负载量，设定lth为协作簇的计算负载上限阈值；
簇头MEC-SBS判断簇中总计算负载量lk(t)是否超过协作簇的计算负载上限阈值lth，如果计算协作簇过载lk(t)＞lth，则进行协作簇调整，调整的具体步骤如下：
(1)计算负载过载簇k发送过载信息给其邻居协作簇k′的簇头，请求邻居簇参与调整协作簇，满足计算负载条件lk′≤lth的邻居协作簇
Figure GDA00036165123300001011
和协作簇k上传协作簇的簇号、各自簇中MEC-SBS的负载信息和位置信息给宏基站边缘服务器。其中Hk表示协作簇k的邻居协作簇的簇号集合；
(2)宏基站边缘服务器根据提交的MEC-SBS信息计算MEC-SBS的平均计算负载，MEC-SBS第i个的平均负载计算公式表示为：
Figure GDA0003616512330000105
其中参数
Figure GDA0003616512330000106
表示协作簇
Figure GDA0003616512330000107
存在时间长度，
Figure GDA0003616512330000108
表示协作簇
Figure GDA0003616512330000109
形成的起始时间，其中协作簇
Figure GDA00036165123300001010
(3)宏基站边缘服务器根据MEC-SBS的平均计算负载量选出前|{k}∪Hk|个MEC-SBS作为协作簇的初始簇头，并使用k-means算法对MEC-SBS进行分簇，MEC-SBS根据k-means分簇结果来更新簇号。
步骤四中同步参数采用软更新的方式进行更新，具体更新公式如下表示：
w′k＝τwk+(1-τ)w′k (3)，
θ′k＝τθk+(1-τ)θ′k (4)，
其中θ′k表示协作簇k中目标策略网络的神经网络参数，θk表示协作簇k中当前策略网络的神经网络参数，w′k表示协作簇k中目标Q值网络的神经网络参数，wk表示协作簇k中当前目标Q值网络的神经网络参数；
步骤五中DDPG模型的具体描述如下：
状态：用簇中MEC-SBS上的计算负载量表示，协作簇k中的状态具体表示如下：
Figure GDA0003616512330000111
其中
Figure GDA0003616512330000112
为在时间槽t时，MEC-SBS第i个的计算负载量；
动作：用簇中MEC-SBS的计算负载卸载动作表示，协作簇k中的动作具体表示如下：
Figure GDA0003616512330000113
其中
Figure GDA0003616512330000114
表示协作簇k中MEC-SBS第i个卸载到簇中其他MEC-SBS第i′个的计算负载量；
奖励：用簇中计算任务的平均服务延时表示，协作簇k中的奖励具体表示如下：
Figure GDA0003616512330000115
其中
Figure GDA0003616512330000116
表示在时间槽t时，网络中MEC-SBS第i个的计算任务总的处理时间，
Figure GDA0003616512330000117
表示在时间槽t时，网络中MEC-SBS第i个传输计算任务的传输时延；
各协作簇中DDPG算法具体运行流程如下：
(1)各簇头上Actor观察得到的当前环境状态
Figure GDA0003616512330000118
根据行为策略执行动作
Figure GDA0003616512330000119
获得奖励
Figure GDA00036165123300001110
环境转换到
Figure GDA00036165123300001111
(2)各簇头Actor将状态转移过程
Figure GDA00036165123300001112
存到本地经验回放集合Dk中；
(3)随机从经验回放集合Dk中选取Z个样本，作为训练策略网络和Q值网络的数据集；
(4)根据样本通过Actor的目标策略网络和Critic的目标Q值网络得到的值和当前网络得到的估计值之差来更新当前网络的神经网络参数；
Critic网络参数更新采用均方误差来作为损失函数，公式具体表示为：
Figure GDA0003616512330000121
基于标准的方向传播算法可以得到损失函数L(w)关于Critic的当前Q值网络参数w的梯度，具体公式表示为：
Figure GDA0003616512330000122
其中
Figure GDA0003616512330000123
Actor网络参数更新方式采用确定策略梯度方式，Actor当前策略网络的梯度计算具体公式表示为：
Figure GDA0003616512330000124
(5)簇头MEC-SBS将网络参数
Figure GDA0003616512330000125
和
Figure GDA0003616512330000126
上传到宏基站边缘服务器。
步骤六中全局网络参数更新：
Figure GDA0003616512330000127
Figure GDA0003616512330000128

Claims (3)

1.一种超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于，所述方法包括如下步骤：
步骤一、初始化：其中包括构建初始协作簇和对DDPG算法中的参数的初始化，具体包括：
(1)采用k-means分簇算法构建初始协作簇，根据k-means算法的分簇结果为网络中的MEC-SBS分配簇号，簇号相同的MEC-SBS组成一个协作簇，并随机选择协作簇中一个MEC-SBS作为簇头负责收集协作簇中计算负载信息和做出计算负载调度策略；
(2)各协作簇中簇头MEC-SBS通过并行方式运行DDPG算法，协作簇的簇头MEC-SBS定期和宏基站边缘服务器同步参数；
(3)初始化DDPG算法中当前策略网络的学习率
Figure FDA0003616512320000011
当前Q值网络的学习率
Figure FDA0003616512320000012
折扣因子γ、更新系数τ和训练样本大小Z；
步骤二、卸载计算任务：移动用户设备选择与之信道增益最好的MEC-SBS进行关联，然后向与之关联的MEC-SBS卸载其产生的计算任务；
步骤三、判断是否调整协作簇：各协作簇中簇头MEC-SBS收集簇中所有MEC-SBS上计算负载信息，即协作簇中MEC-SBS的总计算负载量lk(t)，并判断簇中计算负载是否过载；若过载，则簇头MEC-SBS向宏基站边缘服务器请求调整协作簇；若不过载，则不调整；
步骤四、同步参数：各协作簇中的簇头MEC-SBS从宏基站边缘服务器同步全局参数并进行目标网络参数更新，目标网络的神经网络参数更新采用软更新的方式进行更新，具体更新公式如下表示：
w′k＝τwk+(1-T)w′k (1)，
θ′k＝τθk+(1-τ)θ′k (2)，
其中θ′k表示协作簇k中目标策略网络的神经网络参数，θk表示协作簇k中当前策略网络的神经网络参数，w′k表示协作簇k中目标Q值网络的神经网络参数，wk表示协作簇k中当前目标Q值网络的神经网络参数；
步骤五、构建DDPG模型：协作簇中MEC-SBS的计算负载量表示DDPG的当前状态，协作簇中MEC-SBS的计算负载卸载表示为DDPG的动作，使用协作簇中计算任务的平均计算服务延时构建DDPG模型中的奖励值，通过DDPG算法求出最优的簇中负载调度策略，最优的簇中负载调度策略即MEC-SBS上最优的卸载动作，DDPG模型的具体描述如下：
状态：用簇中MEC-SBS上的计算负载量表示，协作簇k中的状态具体表示如下：
Figure FDA0003616512320000021
其中
Figure FDA0003616512320000022
为在时间槽t时，MEC-SBS第i个的计算负载量；
动作：用簇中MEC-SBS的计算负载卸载动作表示，协作簇k中的动作具体表示如下：
Figure FDA0003616512320000023
其中
Figure FDA0003616512320000024
表示协作簇k中MEC-SBS第i个卸载到簇中其他MEC-SBS第i′个的计算负载量；
奖励：用簇中计算任务的平均服务延时表示，协作簇k中的奖励具体表示如下：
Figure FDA0003616512320000025
其中
Figure FDA0003616512320000026
表示在时间槽t时，网络中MEC-SBS第i个的计算任务总的处理时间，
Figure FDA0003616512320000027
表示在时间槽t时，网络中MEC-SBS第i个传输计算任务的传输时延；
各协作簇中DDPG算法具体运行流程如下：
(1)各簇头上Actor观察得到的当前环境状态
Figure FDA0003616512320000028
根据行为策略执行动作
Figure FDA0003616512320000029
获得奖励
Figure FDA00036165123200000210
环境转换到
Figure FDA00036165123200000211
(2)各簇头Actor将状态转移过程
Figure FDA00036165123200000212
存到本地经验回放集合Dk中；
(3)随机从经验回放集合Dk中选取Z个样本，作为训练策略网络和Q值网络的数据集；
(4)根据样本通过Actor的目标策略网络和Critic的目标Q值网络得到的值和当前网络得到的估计值之差来更新当前网络的神经网络参数；
Critic网络参数更新采用均方误差来作为损失函数，公式具体表示为：
Figure FDA00036165123200000213
基于标准的方向传播算法可以得到损失函数L(w)关于Critic的当前Q值网络参数w的梯度，具体公式表示为：
Figure FDA0003616512320000031
其中
Figure FDA0003616512320000032
Actor网络参数更新方式采用确定策略梯度方式，Actor当前策略网络的梯度计算具体公式表示为：
Figure FDA0003616512320000033
(5)簇头MEC-SBS将网络参数
Figure FDA0003616512320000034
和
Figure FDA0003616512320000035
上传到宏基站边缘服务器；
步骤六、更新全局参数：宏基站边缘服务器更新全局参数，为下一次负载调度做准备。
2.根据权利要求1所述的超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于：步骤三中协作簇中MEC-SBS的总计算负载量lk(t)计算公式为：
Figure FDA0003616512320000036
其中
Figure FDA0003616512320000037
为在时间槽t时，MEC-SBS第i个的计算负载量，设定lth为协作簇的上限阈值；
簇头MEC-SBS判断簇中总计算负载量lk(t)是否超过协作簇的计算负载上限阈值lth，如果计算协作簇过载，即lk(t)＞lth，则进行协作簇调整，调整具体步骤如下：
(1)计算负载过载簇k发送过载信息给其邻居协作簇k′的簇头，请求邻居簇参与调整协作簇，满足计算负载条件lk′≤lth的邻居协作簇
Figure FDA0003616512320000038
和协作簇k上传协作簇的簇号、各自簇中MEC-SBS的负载信息和位置信息给宏基站边缘服务器，其中Hk表示协作簇k的邻居协作簇的簇号集合；
(2)宏基站边缘服务器根据提交的MEC-SBS信息计算MEC-SBS的平均计算负载，MEC-SBS第i个的平均负载计算公式表示为：
Figure FDA0003616512320000039
其中参数
Figure FDA00036165123200000310
表示协作簇
Figure FDA00036165123200000311
存在时间长度，
Figure FDA00036165123200000312
表示协作簇形成的起始时间，协作簇
Figure FDA00036165123200000313
(3)宏基站边缘服务器根据MEC-SBS的平均计算负载量选出前|{k}∪Hk|个MEC-SBS作为协作簇的初始簇头，并使用k-means算法对MEC-SBS进行分簇，MEC-SBS根据k-means分簇结果来更新簇号。
3.根据权利要求1所述的超密集网络中基于MEC-SBS簇化的负载调度方法，其特征在于：步骤六中全局网络参数更新：
Figure FDA0003616512320000041
Figure FDA0003616512320000042
CN202011419764.6A 2020-12-07 2020-12-07 一种超密集网络中基于mec-sbs簇化的负载调度方法 Active CN112601256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011419764.6A CN112601256B (zh) 2020-12-07 2020-12-07 一种超密集网络中基于mec-sbs簇化的负载调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011419764.6A CN112601256B (zh) 2020-12-07 2020-12-07 一种超密集网络中基于mec-sbs簇化的负载调度方法

Publications (2)

Publication Number Publication Date
CN112601256A CN112601256A (zh) 2021-04-02
CN112601256B true CN112601256B (zh) 2022-07-15

Family

ID=75188645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011419764.6A Active CN112601256B (zh) 2020-12-07 2020-12-07 一种超密集网络中基于mec-sbs簇化的负载调度方法

Country Status (1)

Country Link
CN (1) CN112601256B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132497B (zh) * 2021-06-18 2021-09-10 杭州天舰信息技术股份有限公司 一种移动边缘运算的负载平衡和调度方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194763A (zh) * 2018-09-21 2019-01-11 北京邮电大学 一种超密集网络中基于小型基站自组织协作的缓存方法
CN111800828A (zh) * 2020-06-28 2020-10-20 西北工业大学 一种超密集网络的移动边缘计算资源分配方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999766B2 (en) * 2019-02-26 2021-05-04 Verizon Patent And Licensing Inc. Method and system for scheduling multi-access edge computing resources
CN110198307B (zh) * 2019-05-10 2021-05-18 深圳市腾讯计算机系统有限公司 一种移动边缘计算节点的选择方法、装置及系统
CN111414252B (zh) * 2020-03-18 2022-10-18 重庆邮电大学 一种基于深度强化学习的任务卸载方法
CN111741448B (zh) * 2020-06-21 2022-04-29 天津理工大学 一种基于边缘计算策略的分簇aodv路由方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194763A (zh) * 2018-09-21 2019-01-11 北京邮电大学 一种超密集网络中基于小型基站自组织协作的缓存方法
CN111800828A (zh) * 2020-06-28 2020-10-20 西北工业大学 一种超密集网络的移动边缘计算资源分配方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Computation collaboration in ultra dense network integrated with mobile edge computing;Teng Yang等;《2017 IEEE 28th Annual International Symposium on Personal, Indoor, and Mobile Radio Communications (PIMRC)》;20180215;全文 *
Computation Peer Offloading for Energy-Constrained Mobile Edge Computing in Small-Cell Networks;Lixing Chen等;《 IEEE/ACM Transactions on Networking》;20160621;第26卷(第4期);第1619-1632页 *
Cooperative Service Caching and Workload Scheduling in Mobile Edge Computing;Xiao Ma等;《IEEE INFOCOM 2020 - IEEE Conference on Computer Communications》;20200804;全文 *
Distributed Mobile Cloud Computing: A Multi-user Clustering Solution;Jessica Oueis等;《2016 IEEE International Conference on Communications (ICC)》;20160714;全文 *
Joint Service Caching and Task Offloading for Mobile Edge Computing in Dense Networks;Jie Xu等;《IEEE INFOCOM 2018 - IEEE Conference on Computer Communications》;20181011;全文 *
多媒体传感器网络实时分簇路由协议;覃少华等;《计算机工程》;20100905;第36卷(第17期);第129-131页 *
超密集异构网络中过载MEC服务器的协作卸载;王忍等;《西安电子科技大学学报》;20191120;第47卷(第02期);第126-134页 *

Also Published As

Publication number Publication date
CN112601256A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Seid et al. Multi-agent DRL for task offloading and resource allocation in multi-UAV enabled IoT edge network
CN106900011B (zh) 一种基于mec的蜂窝基站间任务卸载方法
CN110234127B (zh) 一种基于sdn的雾网络任务卸载方法
CN112737837B (zh) 一种高动态网络拓扑下无人机群带宽资源分配方法
CN105959234B (zh) 安全感知的云无线接入网络下的负载均衡资源优化方法
WO2023040022A1 (zh) 一种在随机网络中基于算网协同的分布式计算卸载方法
CN111405646B (zh) 异构蜂窝网络中基于Sarsa学习的基站休眠方法
CN113115256B (zh) 一种在线vmec服务网络选择的迁移方法
Kumar et al. A novel distributed Q-learning based resource reservation framework for facilitating D2D content access requests in LTE-A networks
CN108322274B (zh) 一种基于贪心算法的wlan系统ap节能与干扰优化方法
CN112601256B (zh) 一种超密集网络中基于mec-sbs簇化的负载调度方法
Yao et al. Energy-aware task allocation for mobile IoT by online reinforcement learning
Agarwal et al. PIRS 3 A: A Low Complexity Multi-knapsack-based Approach for User Association and Resource Allocation in HetNets
CN112887999B (zh) 一种基于分布式a-c的智能接入控制与资源分配方法
Usman et al. Software-defined architecture for mobile cloud in device-to-device communication
CN110012509B (zh) 一种5g小蜂窝网络中基于用户移动性的资源分配方法
Haddadi et al. Coordinated multi-point joint transmission evaluation in heterogenous cloud radio access networks
Wang et al. A load-aware small-cell management mechanism to support green communications in 5G networks
Xin et al. Online node cooperation strategy design for hierarchical federated learning
Skondras et al. A network selection algorithm for supporting drone services in 5G network architectures
Li et al. High-resolution cell breathing for improving energy efficiency of ultra-dense HetNets
Natarajan et al. An energy efficient dynamic small cell on/off switching with enhanced k-means clustering algorithm for 5G HetNets
Wang et al. QoS constraint optimal load balancing for Heterogeneous Ultra-dense Networks
Li et al. Adaptive handover based on traffic balancing and multi-dimensional collaborative resource management in MEC environment
Shen et al. Joint task offloading and UAVs deployment for UAV-assisted mobile edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240125

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Country or region after: China

Address before: 541004 No. 15 Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region

Patentee before: Guangxi Normal University

Country or region before: China

TR01 Transfer of patent right