CN110113190B - 一种移动边缘计算场景中卸载时延优化方法 - Google Patents

一种移动边缘计算场景中卸载时延优化方法 Download PDF

Info

Publication number
CN110113190B
CN110113190B CN201910335485.2A CN201910335485A CN110113190B CN 110113190 B CN110113190 B CN 110113190B CN 201910335485 A CN201910335485 A CN 201910335485A CN 110113190 B CN110113190 B CN 110113190B
Authority
CN
China
Prior art keywords
user
state
users
transmission
mec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910335485.2A
Other languages
English (en)
Other versions
CN110113190A (zh
Inventor
李立欣
杨佩彤
梁微
李旭
张会生
程岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910335485.2A priority Critical patent/CN110113190B/zh
Publication of CN110113190A publication Critical patent/CN110113190A/zh
Application granted granted Critical
Publication of CN110113190B publication Critical patent/CN110113190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/083—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for increasing network speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明的目的是提供一种移动边缘计算场景中卸载时延优化方法，步骤一、构建系统模型：系统模型包括2M个用户和一个MEC服务器，每个用户有L个任务需要被卸载到MEC服务器进行计算，假设同时只允许两个用户采用混合NOMA策略同时卸载；步骤二、设定每一个用户作为一个执行者，每一个执行者按照DQN算法进行动作选择，即从其余2M‑1个用户中选择一个作为自己的传输搭档同时进行卸载；步骤三、用DQN算法进行系统优化：所有用户搭档选择完成后，计算系统的总卸载时延，更新奖赏值，然后训练神经网络，用神经网络作为函数逼近器，更新Q函数；不断的对系统进行上述迭代优化，直至找到最优的时延。解决了现有多用户MEC场景下，时延消耗大的问题。

Description

一种移动边缘计算场景中卸载时延优化方法
【技术领域】
本发明属于无线通信技术领域，具体涉及一种移动边缘计算场景中卸载时延优化方法。
【背景技术】
目前，移动通信网络向5G演进的速度进一步加快，面对迅猛而来的流量增长和用户体验需求，移动通信网络将承受巨大的压力。移动边缘计算(MEC)的出现有效的缓解了这一压力。MEC通过将具有计算、存储、通信能力的业务平台下沉到网络边缘，使移动用户将他们的计算密集型任务卸载到MEC设备，强调靠近移动用户以减少网络操作和服务交付的时延。其已经发展演进为5G移动通信系统的重要技术，目前广泛应于于通信系统研究的各个方面。
MEC虽然能够解决用户的高计算量需求，但将任务卸载到服务器需要耗费更多的能量和时延，因此为了更好的发挥MEC的优势，需要采用一定的方法来有效减小时延和能量的消耗。为了解决这一问题，最近已经有许多MEC场景中时延优化相关的工作被完成。
文献1““Delay Minimization for NOMA-MEC Offloading,”[IEEE SignalProcessing Letters,vol.25,no.12,pp.1875-1879,Dec.2018].”考虑了非正交多址辅助移动边缘计算(NOMA-MEC)的卸载延迟的最小化。通过将延迟最小化问题转化为分数规划的形式，提出了分别基于Dinkelbach方法和Newton方法的两种迭代算法。证明了两种方法的最优性，并比较了它们的收敛性。但该方法仅考虑两个用户的情况，实用性较低。
文献2“Latency-Oblivious Incentive Service Offloading in Mobile EdgeComputing[2018 IEEE/ACM Symposium on Edge Computing(SEC),Seattle,WA,2018].”设计了一种延迟不经意的激励服务卸载方案，以管理未来移动服务的复杂网络服务。通过使用移动边缘计算作为现实测试平台中的示例用例，构建原型并展示其在延迟和总成本方面的可行性。
一种在多基站场景中的基于非正交多址接入的移动边缘计算布伦特式时延优化方法。该方法步骤包括：(1)在集成边缘服务器的BSs的覆盖范围下有1个移动用户,优化问题描述为一个多变量非凸性优化问题；(2)将问题(DM#i)分解为两层优化问题；(3)根据底层DM#i#E#Sub问题,提出了基于拉格朗日乘数法的对分搜索方法,在移动用户i传输时间ti的情况下优化移动用户i的整体时延；(4)针对顶层DM#i#E#Top问题,提出布伦特方法,优化移动用户i的传输时间ti；(5)通过底层问题与顶层问题的交互迭代,最终解决问题(DM#i)。该发明提高了系统传输效率,节省带宽资源,获得更优质的无线网络体验质量。虽然该方法提出了移动边缘计算布伦特式时延优化方法，将问题分解为两层优化问题，但是对环境的要求较高，且用户没有经过学习的过程，收敛速度慢。
【发明内容】
本发明的目的是提供一种移动边缘计算场景中卸载时延优化方法，以解决现有多用户MEC场景下，时延消耗大的问题。
本发明采用以下技术方案：一种移动边缘计算场景中卸载时延优化方法，该方法如下：
步骤一、构建系统模型：
所述系统模型包括2M个用户和一个MEC服务器，每个用户有L个任务需要被卸载到MEC服务器进行计算，假设同时只允许两个用户采用混合NOMA策略同时卸载；
其中，2M≥2，且为偶数；L≥1；MEC服务器为移动边缘计算服务器；
步骤二、用DQN算法进行用户搭档选择：
设定每一个用户作为一个执行者，每一个执行者按照DQN算法进行动作选择，即从其余2M-1个用户中选择一个作为自己的传输搭档同时进行卸载；
步骤三、用DQN算法进行系统优化：
所有用户搭档选择完成后，计算系统的总卸载时延，更新奖赏值，然后训练神经网络，用神经网络作为函数逼近器，更新Q函数；
不断的对系统进行上述迭代优化，直至找到最优的时延。
进一步的，步骤二的DQN算法中，动作空间表示为：
Figure BDA0002039012340000031
其中，uk,p表示待选动作，0<p<2M，代表用户k选择用户p作为NOMA-MEC状态下的传输搭档,At表示t时刻的状态集，
Figure BDA0002039012340000032
表示用户k在t时刻选择的动作，A表示系统的总状态空间集合；当uk,p＝1这个动作将被选择，用户k所选择的搭档用户编号可以是0～2M中的任意一个，前提是不能选择自己本身，且已经组对的用户不能再次被选。
进一步的，步骤二的DQN算法中，系统状态可以表示为：
Figure BDA0002039012340000033
其中，每个时隙的状态由两个参数构成：用户k选择与自己同时进行卸载的用户的编号p，以及用户k与用户p的OMA状态下所需的传输时间对比状态δ；
若Tk＜Tp，则δ＝0，且用户k在NOMA-MEC状态下的传输功率与OMA状态相同，反之δ＝1，NOMA-MEC状态下用户p的传输状态不变，用户k需为了不影响搭档用户p的传输而改变传输速率。
进一步的，步骤二的DQN算法中，奖赏函数定义为：
Figure BDA0002039012340000041
其中，s和a分别表示当前的状态和动作，R表示时隙t时，在状态s下根据策略π选择动作a所得到的即时奖赏。N表示每个任务的卸载量；Tk,Tp分别表示用户k和用户p采用OMA传输时所需的时延；Rk,Rp表示用户k和用户p能采用NOMA技术成功进行卸载所需的传输率；hk,hp表示用户k和用户p的信道增益；
Figure BDA0002039012340000042
表示用户k和用户p的发射功率。
本发明的有益效果是：多用户可以采用NOMA技术同时进行卸载，并采用DQN算法进行动态决策，对同时进行卸载的用户进行配对选择，寻找最佳的两两用户组合方案，使系统的总卸载时延不断小化。
【附图说明】
图1为本发明一种移动边缘计算场景中卸载时延优化方法的移动边缘计算场景结构图；
图2为本发明一种移动边缘计算场景中卸载时延优化方法的强化学习流程图；
图3为本发明一种移动边缘计算场景中卸载时延优化方法中，M＝5即用户数为10时，不同学习率下DQN算法的学习性能；
图4为本发明一种移动边缘计算场景中卸载时延优化方法中，M＝5即用户数为10时，不同卸载方案下，系统延迟的比较；
图5为本发明一种移动边缘计算场景中卸载时延优化方法中，M＝5即用户数为10时，不同卸载方案下，系统延迟的比较。
【具体实施方式】
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供了一种移动边缘计算场景中卸载时延优化方法该方法如下：
步骤一、构建系统模型：
所述系统模型包括2M个用户和一个MEC服务器，每个用户有L个任务需要被卸载到MEC服务器进行计算，假设同时只允许两个用户采用混合NOMA策略同时卸载；
其中，2M≥2，且为偶数；L≥1；MEC服务器为移动边缘计算服务器；
步骤二、用DQN算法进行用户搭档选择：
设定每一个用户作为一个执行者，每一个执行者按照DQN算法进行动作选择，即从其余2M-1个用户中选择一个作为自己的传输搭档同时进行卸载；
2M个用户轮流进行搭档用户的选择，被选择的用户默认接受组对，因此所有用户完成一次任务的卸载，选择过程需进行M次。
步骤三、用DQN算法进行系统优化：
所有用户搭档选择完成后，计算系统的总卸载时延，更新奖赏值，然后训练神经网络，用神经网络作为函数逼近器，更新Q函数；
不断的对系统进行上述迭代优化，直至找到最优的时延。
其中，步骤二的DQN算法中，动作空间表示为：
Figure BDA0002039012340000051
其中，uk,p表示待选动作，0<p<2M，代表用户k选择用户p作为NOMA-MEC状态下的传输搭档,At表示t时刻的状态集，
Figure BDA0002039012340000061
表示用户k在t时刻选择的动作，A表示系统的总状态空间集合；当uk,p＝1这个动作将被选择，用户k所选择的搭档用户编号可以是0～2M中的任意一个，前提是不能选择自己本身，且已经组对的用户不能再次被选。
系统状态可以表示为：
Figure BDA0002039012340000062
其中，每个时隙的状态由两个参数构成：用户k选择与自己同时进行卸载的用户的编号p，以及用户k与用户p的OMA状态下所需的传输时间对比状态δ；
若Tk＜Tp，则δ＝0，且用户k在NOMA-MEC状态下的传输功率与OMA状态相同，反之δ＝1，NOMA-MEC状态下用户p的传输状态不变，用户k需为了不影响搭档用户p的传输而改变传输速率。
奖赏函数定义为：
Figure BDA0002039012340000063
其中，s和a分别表示当前的状态和动作，R表示时隙t时，在状态s下根据策略π选择动作a所得到的即时奖赏。N表示每个任务的卸载量；Tk,Tp分别表示用户k和用户p采用OMA传输时所需的时延；Rk,Rp表示用户k和用户p能采用NOMA技术成功进行卸载所需的传输率；hk,hp表示用户k和用户p的信道增益；
Figure BDA0002039012340000064
表示用户k和用户p的发射功率。
一、系统模型构建：
本发明研究的系统模型可表述为某个MEC场景中的卸载问题，MEC服务器为移动边缘计算服务器。该计算场景的原理框图如图1所示，系统中有2M个用户和一个MEC服务器，每个用户有L个任务需要被计算。为了简化计算分析，假设用户的每个任务的计算量是相同的,表示为N。
当不采用NOMA应用于MEC时，即OMA-MEC,每个用户分别单独占用时隙向MEC服务器完成他们的卸载任务。在这种情况下，每个用户将任务卸载到服务器所需的时间计算如下：
Figure BDA0002039012340000071
其中，i∈(0，2M],hi表示用户i与MEC服务器之间的信道增益；PNO表示接收噪声，Pi ow表示第i个用户的发射功率。此时，系统中所有用户完成各自一个任务卸载的总时间为：
Figure BDA0002039012340000072
将NOMA应用于MEC场景中时，即在NOMA-MEC情况下，用户可以同时向MEC服务器进行任务卸载。我们假设仅允许两个用户，用户m和用户n(m,n∈[0,2M))，同时进行卸载。用户m和用户n在OMA模式下的传输时间分别计算为Tm，Tn。假设Tm≤Tn。由于用户m对传输时间的要求更高，我们设定用户m的传输方式与OMA模式下是相同的，即传输功率与传输时间均不变。用户n被允许在用户m传输的时隙同时进行卸载，但不能对用户m的传输效果产生任何的影响。要达成这样的条件，要求在MEC服务器上，用户n的信息在用户m之前被解码，并且用户n的传输速率有如下的限制：
Figure BDA0002039012340000081
其中，Pow仍旧表示用户m，n的发射功率，PN表示接受噪声功率。
将用户m和用户n进行组合后卸载各自一个任务所需的传输时间表示为Tmn。如果用户n能在Tm时间内完成卸载，即Rn·Tm≤N，则Tmn＝Tm。若n没有在Tm内完成卸载，则需要一个专用的时隙分配给用户n，用来进行剩余数据的卸载，表示为Tn’：
Figure BDA0002039012340000082
此时，Tmn＝Tm+Tn’。
将NOMA-MEC状态下，系统中所有用户均完成一个任务卸载的总时间表示为
Figure BDA0002039012340000083
按照用户m和用户n的传输模式，系统中2M个用户两两组合来轮流向MEC服务器进行卸载，分别计算出每个组合传输所需的时间，加和即为
Figure BDA0002039012340000084
2M个用户两两组合形成的排列状态共有
Figure BDA0002039012340000085
种。本发明需要解决的主要问题便是寻找出最佳的用户两两组合排列状态，最小化NOMA-MEC下的总时延
Figure BDA0002039012340000086
二、采用强化学习算法DQN进行用户组合：
强化学习(RL)能够和未知的环境进行互动获取学习经验，以做出正确的决策来得到最大的长期效用。本发明中，采用强化学习算法DQN对NOMA-MEC系统进行学习，寻找最佳的用户组合方案，以实现系统总时延的最小化。
从数学角度，RL可以表示为一个五元组D＝{S,A,R,π,V}，S和A是包含状态和动作的两个有限集，用于表示系统中的所有状态和所有可选动作。R(s,a)表示在状态s∈S下选择动作a∈A可获得的一个奖赏值。
RL的基本过程如图2所示。在本发明的系统中，2M个用户都可以作为代理进行学习。以用户k为例，在时隙t，用户k选择一个动作，既选择一个用户作为自己的传输搭档，作用给环境，使环境到达下一个状态并返回给用户k一个奖赏值R来对用户k选择的动作进行评估。RL的目标是找到适当的固定策略π:s→a,概率地将状态s映射到动作a，以便优化代理的累积长期效用V。用户k会根据环境的反馈，改变策略，调整动作向奖赏值不断增大的方向最终使得长期效用也就是卸载时延到达最优。
DQN算法是将Q学习与神经网络相结合的算法，它使用深度神经网络作为Q值网络。DQN将Q-Table的更新问题转换为函数拟合问题，并通过类似状态获得类似的输出动作，即通过更新神经网络参数θ来近似最佳效用值：
V(s,a；θ)≈Vπ(s,a) (5)，
为了训练神经参数，使用均方误差来定义损失函数：
Figure BDA0002039012340000091
接着可以通过随机梯度下降等方法训练神经网络并更新参数以便获得最佳效用。
在本发明中，DQN算法中的动作，状态以及奖赏函数的具体设置如下：
1、系统动作空间:系统中的环境变化是不可预知的，执行人需根据当前观测到的环境状态，并根据一定的策略来选择合适的动作，以得到更大的即时奖赏值。本发明中，动作空间表示为：
Figure BDA0002039012340000101
其中，uk,p表示待选动作,代表用户k选择用户p作为NOMA-MEC状态下的传输搭档.当uk,p＝1,这个动作将被选择。用户k所选择的搭档用户编号可以是0～2M中的任意一个，前提是不能选择自己本身，且已经组对的用户不能再次被选。需指出的是，2M个用户轮流进行搭档用户的选择，被选择的用户默认接受组对，因此所有用户完成一次任务的卸载，选择过程需进行M次。
2、系统状态空间:在每个时隙t，NOMA-MEC卸载的系统状态可以表示为，
Figure BDA0002039012340000102
本发明中，状态有两个参数构成:用户k选择与自己同时进行卸载的用户的编号p，以及用户k与用户p的OMA状态下所需的传输时间对比状态δ，若Tk＜Tp，则δ＝0，且用户k在NOMA-MEC状态下的传输功率与OMA状态相同，反之δ＝1，NOMA-MEC状态下用户p的传输状态不变，用户k需为了不影响搭档用户p的传输而改变传输速率。
3、奖赏函数:系统奖赏函数代表优化目标代理会更多的选择带来更高奖赏值的动作。本发明中，我们使用DQN算法来最小化NOMA-MEC中的卸载延迟。奖赏函数定义为：
Figure BDA0002039012340000103
其中，s和a分别表示当前的状态和动作，R表示时隙t时，在状态s下根据策略π选择动作a所得到的即时奖赏。
我们的算法的目标是寻找合适的策略，以便优化代理的累积长期效用。长期效用与即时奖励的关系可以用下式来表示：
Figure BDA0002039012340000111
其中γ∈[0,1)是折扣因子，γ(t-1)表示第t-1次幂的折扣因子。可以看出，距离当前时刻越近的奖赏值在效用计算中所占的比重是越大的。为了使长期效用达到最大，最优策略的选择可以表示为：
Figure BDA0002039012340000112
得到了长期效用的表达方式以及最优策略的选择规则，就可以按照DQN算法，根据公式1和2进行函数拟合并且训练神经参数，以得到最优的效用。通过获得长期表达实用程序和最优策略的选择规则，我们可以根据式(5)，(6)拟合函数，并训练神经参数，以获得基于DQN算法的最优效用。
实施例
本发明中，采用强化学习算法DQN对NOMA-MEC系统进行学习，寻找最佳的用户组合方案，以实现系统总时延的最小化。基本过程如图2所示，2M个用户都可以作为代理进行学习。以用户k为例，在时隙t，用户k选择一个动作，既选择一个用户作为自己的传输搭档，作用给环境，使环境到达下一个状态并返回给用户k一个奖赏值R来对用户k选择的动作进行评估。RL的目标是找到适当的固定策略π:s→a,概率地将状态s映射到动作a，以便优化代理的累积长期效用V。用户k会根据环境的反馈，改变策略，调整动作向奖赏值不断增大的方向最终使得长期效用也就是卸载时延到达最优。
本发明对所提的方案进行了仿真分析，所有用户的发射功率已经给定，信道增益通过准静态瑞利分布给出。另外，设置每个任务用户需要卸载的比特数N＝1000，接收噪声PN＝300W。将所有用户均卸载完成一个任务视为一个回合。图3显示了当M＝5即系统中共有10个用户时，不同学习率下DQN算法的学习效果。我们可以看出，随着回合数的增长，系统的总卸载时延不断减小。且不论学习率为多少，算法均可以最终靠近一个稳定的值。同时我们可以看到，学习率为0.1时学习效果是相对较差的。当学习率为0.001时，收敛速度更快，但当学习率为0.01时，实现的稳定值更小。因此，综合考虑后，我们将学习率0.01用于以下仿真。
图4显示了当M＝5时不同卸载方案下系统延迟的比较。圆点线代表OMA模式，三角形线表示在NOMA-MEC情况下中随机配对，方形线是NOMA-MEC中基于DQN的算法。从图4中可以看出，由于用户只能一个接一个的向服务器进行卸载，OMA模式下的系统时延是维持不变的。采用NOMA-MEC后，系统延迟显著降低。此外，在NOMA-MEC中，采用DQN算法，随着回合数的增加系统延迟逐渐降低。在1200回合之后，该值基本上稳定且仅在小范围内波动。然而进行随机配对的系统延迟有波动但不会明显降低。
图5展示了当M＝50时，不同卸载策略下的系统卸载延迟。我们可以观察到，与M＝5时情况相同，OMA模式下的卸载时延远大于NOMA-MEC情况下。在NOMA-MEC情况下，采用随机配对得到的系统时延不会呈现下降趋势。但基于DQN算法的卸载方案，能够随着回合数的变化而对系统时延进行优化并逐渐达到稳定。由于用户数量较多，因此需要更长的学习周期，算法在3000回合后达到收敛。
本发明提出了一个多用户单MEC服务器的MEC系统的卸载时延优化方案。多用户可以采用NOMA技术同时进行卸载，并采用DQN算法进行动态决策，对同时进行卸载的用户进行配对选择，寻找最佳的两两用户组合方案，使系统的总卸载时延不断小化。将NOMA-MEC的双用户时延优化，扩展到多用户场景，对多用户进行两两配对，配对成功的两个用户以NOMA的形式同时进行任务卸载，有效减小系统时延。采用强化学习方法DQN对系统进行学习优化，使系统找到最佳的用户两两组合方案，最大程度的减小总时延。

Claims (1)

1.一种移动边缘计算场景中卸载时延优化方法，该方法如下：
步骤一、构建系统模型：
所述系统模型包括2M个用户和一个移动边缘计算MEC服务器，每个用户有L个任务需要被卸载到MEC服务器进行计算，假设同时只允许两个用户采用混合非正交多址NOMA策略同时卸载；
其中，2M≥2，且为偶数；L≥1；MEC服务器为移动边缘计算服务器；
步骤二、用DQN算法进行用户搭档选择：
设定每一个用户作为一个执行者，每一个执行者按照DQN算法进行动作选择，即从其余2M-1个用户中选择一个作为自己的传输搭档同时进行卸载；
具体的，
动作空间表示为：
Figure FDA0002712280630000011
其中，uk,p表示待选动作，0<p<2M，代表用户k选择用户p作为NOMA-MEC状态下的传输搭档,At表示t时刻的状态集，
Figure FDA0002712280630000012
表示用户k在t时刻选择的动作，A表示系统的总状态空间集合；当uk,p＝1这个动作将被选择，用户k所选择的搭档用户编号可以是0～2M中的任意一个，前提是不能选择自己本身，且已经组对的用户不能再次被选，2M个用户轮流进行搭档用户的选择，被选择的用户默认接受组对，因此所有用户完成一次任务的卸载，选择过程需进行M次；
步骤三、用强化学习算法DQN进行系统优化：
所有用户搭档选择完成后，计算系统的总卸载时延，更新奖赏值，然后训练神经网络，用神经网络作为函数逼近器，更新强化学习算法Q学习中的状态动作函数；不断的对系统进行上述迭代优化，直至找到最优的时延；
具体的，
系统状态表示为：
Figure FDA0002712280630000021
其中，每个时隙的状态由两个参数构成：用户k选择与自己同时进行卸载的用户的编号p，以及用户k与用户p的正交多址OMA状态下所需的传输时间对比状态δ；
若Tk＜Tp，则δ＝0，且用户k在非正交多址-移动边缘计算NOMA-MEC状态下的传输功率与OMA状态相同，反之δ＝1，NOMA-MEC状态下用户p的传输状态不变，用户k需为了不影响搭档用户p的传输而改变传输速率；
奖赏函数定义为：
Figure FDA0002712280630000022
其中，s和a分别表示当前的状态和动作，
Figure FDA0002712280630000023
表示时隙t时，在状态s下根据策略π选择动作a所得到的即时奖赏，N表示每个任务的卸载量；Tk,Tp分别表示用户k和用户p采用OMA传输时所需的时延；Rk,Rp表示用户k和用户p能采用NOMA技术成功进行卸载所需的传输率；hk,hp表示用户k和用户p的信道增益；
Figure FDA0002712280630000024
表示用户k和用户p的发射功率；PN是信道噪声功率；
长期效用与即时奖励的关系可以用下式来表示：
Figure FDA0002712280630000025
其中γ∈[0,1)是折扣因子，γ(t-1)表示第t-1次幂的折扣因子，可以看出，距离当前时刻越近的奖赏值在效用计算中所占的比重是越大的，为了使长期效用达到最大，最优策略的选择表示为：
Figure FDA0002712280630000031
得到了长期效用的表达方式以及最优策略的选择规则，按照DQN算法，通过更新神经网络参数来近似最佳效用值，并用均方误差定义的损失函数来训练神经参数，以获得基于DQN算法的最优效用。
CN201910335485.2A 2019-04-24 2019-04-24 一种移动边缘计算场景中卸载时延优化方法 Active CN110113190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910335485.2A CN110113190B (zh) 2019-04-24 2019-04-24 一种移动边缘计算场景中卸载时延优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910335485.2A CN110113190B (zh) 2019-04-24 2019-04-24 一种移动边缘计算场景中卸载时延优化方法

Publications (2)

Publication Number Publication Date
CN110113190A CN110113190A (zh) 2019-08-09
CN110113190B true CN110113190B (zh) 2021-04-09

Family

ID=67486596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910335485.2A Active CN110113190B (zh) 2019-04-24 2019-04-24 一种移动边缘计算场景中卸载时延优化方法

Country Status (1)

Country Link
CN (1) CN110113190B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446265B (zh) * 2019-08-19 2021-06-01 电子科技大学 一种节能的基于动态分组的noma的移动边缘计算方法
CN110535936B (zh) * 2019-08-27 2022-04-26 南京邮电大学 一种基于深度学习的能量高效雾计算迁移方法
CN112449381B (zh) * 2019-08-28 2022-09-16 中国联合网络通信集团有限公司 一种数据传输方法和ue
CN110543336B (zh) * 2019-08-30 2020-07-03 北京邮电大学 基于非正交多址接入技术的边缘计算任务卸载方法及装置
CN110417605A (zh) * 2019-09-16 2019-11-05 重庆大学 一种基于网络功能虚拟化的移动边缘计算节点放置方法
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
CN111049917B (zh) * 2019-12-19 2020-12-29 电子科技大学 一种基于移动边缘计算的移动感知多用户卸载优化方法
CN111245539A (zh) * 2020-01-07 2020-06-05 南京邮电大学 一种基于noma的移动边缘计算网络高效资源分配方法
CN110928678B (zh) * 2020-01-20 2022-03-04 西北工业大学 一种基于移动边缘计算的区块链系统资源分配方法
CN111314935B (zh) * 2020-02-17 2022-07-12 南京邮电大学 基于noma-mec系统的下行传输时延最小化的方法
CN111385894B (zh) * 2020-03-17 2022-12-02 全球能源互联网研究院有限公司 一种基于在线强化学习的传输模式选择方法及装置
CN111565380B (zh) * 2020-04-21 2022-04-05 重庆邮电大学 车联网中基于noma-mec混合卸载方法
CN111556143A (zh) * 2020-04-27 2020-08-18 中南林业科技大学 移动边缘计算中协作卸载机制下的最小化时延方法
CN111669775B (zh) * 2020-05-18 2022-07-29 南京邮电大学 一种异构网络下基于支持向量机的资源分配方法
CN111782301B (zh) * 2020-07-08 2020-12-22 北京邮电大学 卸载动作集合获取方法及装置
CN112118601B (zh) * 2020-08-18 2021-10-19 西北工业大学 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法
CN112202886B (zh) * 2020-09-30 2023-06-23 广州大学 任务卸载方法、系统、装置和存储介质
CN112333702A (zh) * 2020-10-30 2021-02-05 杭州哲达科技股份有限公司 一种基于安全noma移动边缘计算的延迟最小化的优化方法
CN112911613A (zh) * 2020-11-26 2021-06-04 北邮感知技术研究院(江苏)有限公司 一种用于noma-mec网络的基于drl的流量卸载算法及实现装置
CN112822234B (zh) * 2020-12-29 2022-03-22 华北电力大学 一种车联网中基于深度强化学习的任务卸载方法
CN112954739B (zh) * 2021-01-26 2023-02-07 西安电子科技大学 基于循环博弈算法的毫米波mec卸载传输方法
CN113095140B (zh) * 2021-03-12 2022-08-16 南京理工大学 基于Q-Learning的移动终端传感器调度方法
CN113573363B (zh) * 2021-07-27 2024-01-23 西安热工研究院有限公司 基于深度强化学习的mec计算卸载与资源分配方法
CN113613260B (zh) * 2021-08-12 2022-08-19 西北工业大学 远近距离协作的感知延迟移动边缘计算优化方法及系统
CN113676982B (zh) * 2021-09-28 2021-12-28 南京邮电大学 一种面向mec时延最小的任务功率联合优化方法和系统
CN114448991B (zh) * 2021-12-28 2022-10-21 西安电子科技大学 一种多边缘服务器选择方法、系统、介质、设备及终端
CN114466409B (zh) * 2022-04-11 2022-08-12 清华大学 一种面向机器通信的数据卸载的控制方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108809695A (zh) * 2018-04-28 2018-11-13 国网浙江省电力有限公司电力科学研究院 一种面向移动边缘计算的分布上行链路卸载策略
CN108920280A (zh) * 2018-07-13 2018-11-30 哈尔滨工业大学 一种单用户场景下的移动边缘计算任务卸载方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107819840B (zh) * 2017-10-31 2020-05-26 北京邮电大学 超密集网络架构中分布式移动边缘计算卸载方法
CN107995660B (zh) * 2017-12-18 2021-08-17 重庆邮电大学 支持d2d-边缘服务器卸载的联合任务调度及资源分配方法
CN108880893B (zh) * 2018-06-27 2021-02-09 重庆邮电大学 一种移动边缘计算服务器联合能量收集及任务卸载方法
CN108924935A (zh) * 2018-07-06 2018-11-30 西北工业大学 一种基于强化学习算法功率域的noma中的功率分配方法
CN109240818B (zh) * 2018-09-04 2021-01-15 中南大学 一种边缘计算网络中基于用户体验的任务卸载方法
CN109302709B (zh) * 2018-09-14 2022-04-05 重庆邮电大学 面向移动边缘计算的车联网任务卸载与资源分配策略

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108809695A (zh) * 2018-04-28 2018-11-13 国网浙江省电力有限公司电力科学研究院 一种面向移动边缘计算的分布上行链路卸载策略
CN108920280A (zh) * 2018-07-13 2018-11-30 哈尔滨工业大学 一种单用户场景下的移动边缘计算任务卸载方法

Also Published As

Publication number Publication date
CN110113190A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110113190B (zh) 一种移动边缘计算场景中卸载时延优化方法
Kwon et al. Multiagent DDPG-based deep learning for smart ocean federated learning IoT networks
Liu et al. Cooperative offloading and resource management for UAV-enabled mobile edge computing in power IoT system
Zheng et al. Design and analysis of uplink and downlink communications for federated learning
CN111726826B (zh) 一种基站密集型边缘计算网络中的在线任务卸载方法
Guo et al. Online learning based computation offloading in MEC systems with communication and computation dynamics
Iqbal et al. Double deep Q-network-based energy-efficient resource allocation in cloud radio access network
CN111800828B (zh) 一种超密集网络的移动边缘计算资源分配方法
CN110798858B (zh) 基于代价效率的分布式任务卸载方法
CN111586696A (zh) 一种基于多智能体架构强化学习的资源分配及卸载决策方法
CN109947545A (zh) 一种基于用户移动性的任务卸载及迁移的决策方法
Nath et al. Multi-user multi-channel computation offloading and resource allocation for mobile edge computing
Wang et al. Multimodal semantic communication accelerated bidirectional caching for 6G MEC
Chen et al. Delay guaranteed energy-efficient computation offloading for industrial IoT in fog computing
Xie et al. Dynamic computation offloading in IoT fog systems with imperfect channel-state information: A POMDP approach
Chen et al. NOMA-based multi-user mobile edge computation offloading via cooperative multi-agent deep reinforcement learning
CN107708152B (zh) 异构蜂窝网络的任务卸载方法
CN116489708B (zh) 面向元宇宙的云边端协同的移动边缘计算任务卸载方法
CN114723057A (zh) 一种用于多接入边缘计算系统的神经网络协同推理方法
Zhang et al. A deep reinforcement learning approach for online computation offloading in mobile edge computing
Jiang et al. Q-learning based task offloading and resource allocation scheme for internet of vehicles
Shang et al. Computation offloading and resource allocation in NOMA–MEC: A deep reinforcement learning approach
Dai et al. Deep reinforcement learning for edge computing and resource allocation in 5G beyond
Yang et al. Distributed reinforcement learning for NOMA-enabled mobile edge computing
Wu et al. Deep reinforcement learning for computation offloading and resource allocation in satellite-terrestrial integrated networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant