CN112235835A - 一种时变移动边缘计算网络的动态卸载方法 - Google Patents

一种时变移动边缘计算网络的动态卸载方法 Download PDF

Info

Publication number
CN112235835A
CN112235835A CN202010943441.0A CN202010943441A CN112235835A CN 112235835 A CN112235835 A CN 112235835A CN 202010943441 A CN202010943441 A CN 202010943441A CN 112235835 A CN112235835 A CN 112235835A
Authority
CN
China
Prior art keywords
time
energy consumption
user
varying
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010943441.0A
Other languages
English (en)
Inventor
夏隽娟
范立生
赖诗炜
綦科
刘外喜
周发升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202010943441.0A priority Critical patent/CN112235835A/zh
Publication of CN112235835A publication Critical patent/CN112235835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading

Abstract

本发明公开了一种时变移动边缘计算网络的动态卸载方法，包括如下步骤：步骤S1，在时变移动边缘计算网络中，通过接收端收集当前时刻的上行信道链路信息，并收集当前时刻的任务特征、用户计算能力和接入节点CAPn的计算能力，根据收集的信息计算系统时延、能耗及其加权和；步骤S2，根据步骤S1收集的参数设计相关的状态和动作空间，将时变系统下的动态卸载问题建模为马尔可夫决策过程，并将设计的状态空间和动作输入策略网络，并通过深度强化学习的方式对策略网络进行动态的反馈训练和调整，以获得一个针对时变系统的接近最优的动态分配策略。

Description

一种时变移动边缘计算网络的动态卸载方法
技术领域
本发明涉及无线通信技术领域，特别是涉及一种基于深度强化学习(Deep Q-Learning，DQN)的时变移动边缘计算网络的动态卸载方法。
背景技术
最近几年，关于无线通信领域的研究逐渐从纯通信方面转为通信和计算交互的方面，比如像智能监控，智能运输，车联网等这样的实例。为了支持这些计算密集型服务，云计算可以应用到计算云上的任务，代价是传输和信息泄露。为了解决这一问题，提出了移动边缘计算来辅助网络中邻近的计算接入点对任务进行计算，这可以显著降低通信和计算的延迟和能耗。
移动边缘计算网络设计中一个关键是卸载策略，它决定了边缘计算节点将计算任务的多少部分。在这个方向上，目前虽然已经有人采用了一些方法成功获得了静态移动边缘计算场景中多用户或多边缘节点的卸载策略，但在实际的应用场景中，系统往往会伴随不同的状态，用户的任务可能随着时间变化而变化等等，因此解决静态场景的方法并不能适用。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种时变移动边缘计算网络的动态卸载方法，通过使用基于深度强化学习的卸载策略，并针对系统时变的特性加以创新，实现了一种既可以在多用户多边缘节点交互的场景下，又能在计算任务特性和边缘节点、用户计算能力是时变的情况下的任务卸载策略，从而达到在多用户多边缘节点交互的场景下获得一个接近最优动态分配策略的目的，并显著降低系统时延和能耗，以推进边缘计算卸载的优化进展。
为达上述及其它目的，本发明提出一种时变移动边缘计算网络的动态卸载方法，包括如下步骤：
步骤S1，在时变移动边缘计算网络中，通过接收端收集当前时刻的上行信道链路信息，并收集当前时刻的任务特征、用户计算能力和接入节点CAPn的计算能力，根据收集的信息计算系统时延、能耗及其加权和；
步骤S2，根据步骤S1收集的参数设计相关的状态和动作空间，将时变系统下的动态卸载问题建模为马尔可夫决策过程，并将设计的状态空间和动作输入策略网络，并通过深度强化学习的方式对策略网络进行动态的反馈训练和调整，以获得一个针对时变系统的接近最优的动态分配策略。
优选地，于步骤S1中，在接收端通过系统的导频信号估计出移动边缘计算网络当前时刻的上行卸载链路的信道参数，同时收集该时变系统当前时刻的任务特征、用户计算能力和计算接入节点CAPn的计算能力，并计算系统时延、能耗，以及时延和能耗加权和作为奖赏值。
优选地，步骤S1进一步包括：
步骤S100，在任务卸载阶段中，计算用户um到接入节点CAPn的无线链路传输速率；
步骤S101，根据步骤S100得到的无线链路传输速率计算获得用户um的传输时延和卸载传输能耗，并进一步计算获得系统的卸载延迟和系统卸载能耗；
步骤S102，在任务计算阶段中，计算用户um的本地计算时延和本地计算能耗，并计算系统在接入节点CAPn计算的时延和能耗；
步骤S103，根据步骤S102的计算结果获得任务计算阶段的计算时延和计算能耗；
步骤S104，根据步骤S101和步骤S103的结果计算获得每个时隙的总系统时延和总系统能耗；
步骤S105，计算总系统时延和能耗加权和作为奖赏值以度量系统性能。
优选地，于步骤S100中，用户um到接入节点CAPn的无线链路传输速率为：
Figure BDA0002674440000000031
其中B是无线带宽，Pm为用户um的传输功率，
Figure BDA0002674440000000032
是um-CAPn链路的即时信道参数，σ2为接入节点CAPn处加性高斯白噪声的方差。
优选地，于步骤S101中，用户um的任务卸载的时延为：
Figure BDA0002674440000000033
其中，lm，n为用户um卸载的传输时延，em，n为用户um卸载的传输能耗，
Figure BDA0002674440000000034
使用M个用户中最大的时延lm作为系统卸载延迟，L1＝max{l1，...，lM}，
系统的任务卸载能耗为：
Figure BDA0002674440000000035
其中ρm，n为卸载到接入节点CAPn的任务比例，dm为所需要计算的任务的大小。
优选地，于步骤S102中，用户um的本地计算时延和能耗为：
Figure BDA0002674440000000036
其中f0为本地计算能力，ζu为CPU芯片在用户处的能耗系数，cm为计算任务所需要的比特数，ρm，0表示在用户本地计算的任务的比例，
在接入节点CAPn计算的时延和能耗：
Figure BDA0002674440000000037
其中ζc是CPU芯片在接入节点CAPn处的能耗系数，fn为接入节点CAPn的计算能力。
优选地，于步骤S103中，该任务计算阶段的计算时延和能耗为：
L2＝max{max{l1，0，...，lM，0}，max{l1，...，lN}}，
Figure BDA0002674440000000041
优选地，步骤S2进一步包括：
步骤S200，在每一时隙，将多用户和多计算接入节点移动边缘计算网络视为环境，将时变的计算任务特性和接入节点CAPn计算能力矩阵视为状态空间，动作是微调用户卸载策略，从而将时变系统下的动态卸载问题建模为马尔可夫决策过程；
步骤S201，策略网络输出一个针对该系统当前时刻状态的分配策略，并通过深度强化学习的方式对策略网络进行动态的反馈训练和调整，使其可以下一时刻输出更好的分配策略，然后进入下一时刻，返回步骤S1。
优选地，于步骤S201中，将所选择的中控节点视为具有学习能力的智能体，使用时延和能耗线性组合来度量系统性能，并以此来计算智能体与环境交互过程中得到的奖赏值，随后以最大化长期累积奖赏为原则模拟智能体与环境交互学习的过程，使得在经过多个时隙的迭代后算法趋于稳定收敛。
优选地，于步骤S1中，随机选择一个接入节点作为中控节点与其他节点进行信息交互，以收集当前时刻的上行信道链路信息、任务特征、用户计算能力和接入节点CAPn的计算能力。
与现有技术相比，本发明一种时变移动边缘计算网络的动态卸载方法通过将动态卸载问题表述为马尔可夫决策过程并设计了相关的状态和动作空间，并发明了一种基于深度强化学习的移动边缘计算网络动态卸载策略，经过多次的训练和迭代后，可以针对该时变系统习得一个接近最优的动态分配策略，使得用户可以在每个时隙动态地微调自身的卸载任务比例，有效地降低系统的时延和能耗。
附图说明
图1为本发明一种时变移动边缘计算网络的动态卸载方法的步骤流程图；
图2为本发明具体实施例中所应用的多用户和多计算接入节点(CAPs)时变移动边缘计算(MEC)网络示意图；
图3为本发明实施例在不同用户数和CAPs数时的仿真曲线图；
图4为本发明实施例在不同用户数时与现有技术的仿真对比图；
图5为本发明实施例在不同CAPs数量时与现有技术的仿真对比图；
图6为本发明实施例在不同权重因子λ时与现有技术的仿真对比图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种时变移动边缘计算网络的动态卸载方法的步骤流程图。本发明一种时变移动边缘计算网络的动态卸载方法应用于多用户和多计算接入节点(CAPs)时变移动边缘计算(MEC)网络中，也就是说，为了符合实际的场景，本发明考虑一个多用户和多计算接入节点时变移动边缘计算网络，如图2所示，其中用户的任务特性以及边缘节点的计算能力是时变的，用户的任务可以部分地卸载到多个边缘节点，该时变移动边缘计算网络的动态卸载方法包括如下步骤：
步骤S1，在时变移动边缘计算网络中，通过接收端估计当前时刻的上行信道链路信息，并收集当前时刻的任务特征、用户计算能力(即本地计算能力f0)和接入节点CAPn的计算能力fn，根据收集的信息计算系统时延、能耗及其加权和(奖赏值)。其中，所述上行信道链路信息包括但不限于无线带宽B，用户um的传输功率Pm，um-CAPn链路的即时信道参数
Figure BDA0002674440000000051
CAPn处加性高斯白噪声(AWGN)的方差σ2，所述任务特征包括所需要计算的任务的大小dm，计算任务所需要的比特数cm。
也就是说，在接收端通过系统的导频信号估计出移动边缘计算网络当前时刻的上行卸载链路的信道参数，同时收集该时变系统当前时刻的任务特征、用户计算能力和计算接入节点(CAP)的计算能力，并计算系统时延和能耗加权和(奖赏值)。需说明的是，本发明所涉及用户的任务可以部分地卸载到多个边缘节点，并且任务特性以及边缘节点的计算能力是时变的，在不失去一般性的情况下，系统会随机的选择一个接入节点作为中控节点与其他节点进行信息交互，以收集当前时刻的上行信道链路信息、任务特征、用户计算能力和CAP的计算能力等。
具体地，步骤S1进一步包括：
步骤S100，在任务卸载阶段中，计算用户um到接入节点CAPn的无线链路传输速率rm，n为：
Figure BDA0002674440000000061
其中B为无线带宽，Pm是用户um的传输功率，
Figure BDA0002674440000000062
是um-CAPn链路的即时信道参数，σ2为CAPn处加性高斯白噪声(AWGN)的方差。
步骤S101，根据得到的用户um到接入节点CAPn的无线链路传输速率rm，n计算用户um的传输时延和卸载传输能耗。
通过上述无线链路传输速率公式，可以得到用户um卸载的传输时延lm，n和卸载传输能耗em，n：
Figure BDA0002674440000000063
用户um的任务卸载的时延可以表示为：
Figure BDA0002674440000000064
其中，ρm，n为卸载到接入节点CAPn的任务比例，dm为所需要计算的任务的大小。
步骤S102，计算系统的卸载延迟和系统卸载能耗。
使用M个用户中最大的时延lm作为系统卸载延迟，即：
L1＝max{l1，...，lM}，
同样地，系统的任务卸载中的能耗可以表示为：
Figure BDA0002674440000000071
步骤S103，在任务计算阶段中，计算用户um的本地计算时延和本地计算能耗。
在任务计算阶段中，用户um的本地计算时延和能耗可以表示为：
Figure BDA0002674440000000072
其中f0是本地计算能力，ζu为CPU芯片在用户处的能耗系数，cm为计算任务所需要的比特数，ρm，0表示在用户本地计算的任务的比例。
步骤S104，计算在接入节点CAPn计算的时延和能耗。
在接入节点CAPn计算的时延和能耗可以表示为：
Figure BDA0002674440000000073
其中ζc是CPU芯片在CAPs处的能耗系数，fn为接入节点CAPn的计算能力。
步骤S105，计算任务计算阶段的计算时延和计算能耗。
在本发明中，可以得到该任务计算阶段的计算时延和能耗：
L2＝max{max{l1，0，...，lM，0}，max{l1，...，lN}}，
Figure BDA0002674440000000074
步骤S106，计算每个时隙的总系统时延和总系统能耗
具体地，每个时隙的总系统延迟和能耗被表示为：
Ltotal＝L1+L2，
Etotal＝E1+E2.
步骤S107，计算总系统时延和能耗加权和作为奖赏值以度量系统性能。
为了实现系统延迟和能耗之间的权衡，使用Ltotal和Etotal的线性组合作为奖赏值来度量系统的性能，这可以表示为：
Φ＝λLtotal+(1-λ)Etotal，
其中λ∈[0，1]是时延和能耗之间的一个权重因子。
步骤S2，根据步骤S1收集的参数设计相关的状态和动作空间，将时变系统下的动态卸载问题建模为马尔可夫决策过程，并将设计的状态空间和动作输入策略网络，并通过深度强化学习的方式对策略网络进行动态的反馈训练和调整，以获得一个针对时变系统的接近最优的动态分配策略，从而让用户能够根据当前时刻的状态空间信息，动态地调整对应的任务卸载比例，最终显著降低系统的时延和能耗。
具体地，步骤S2进一步包括：
步骤S200，将时变系统下的动态卸载问题建模为马尔科夫决策过程。在每一时隙，将多用户和多计算接入节点移动边缘计算网络视为环境，将时变的计算任务特性和CAP计算能力矩阵视为状态空间，动作是微调用户卸载策略，从而将时变系统下的动态卸载问题建模为马尔可夫决策过程。
具体地，在时隙t，将时变的计算任务特性和CAP计算能力矩阵视为状态空间，可以表示为
S＝{st|st＝[Dt，Ct，Ft，πt]}。
其中，Dt＝[d1(t)，…，dM(t)]和Ct＝[c1(t)，…，cM(t)]均是两个1×M的矩阵，Ft＝[f1，…，fN]是一个1×N的计算能力矩阵，
Figure BDA0002674440000000081
是一个M×N的卸载矩阵。
用户微调卸载策略的动作可以表示为：
A＝{am，n∈{1，-1，0}|1≤m≤M，1≤n≤N}，
对于给定的动作am，n有
Figure BDA0002674440000000082
其中，δ∈[01]是一个迭代梯度，以用来微调卸载矩阵，并使用时延和能耗的线性组合Φ作为奖赏值。
步骤S201，使用上述状态空间和动作输入策略网络，通过不断迭代尝试和学习，直到奖赏值最小并趋于收敛，此时获得接近最优解的动态分配策略。
具体地，将上述状态空间和动作输入策略网络，该策略网络输出一个针对该系统当前时刻状态的分配策略，并通过深度强化学习的方式对策略网络进行动态的反馈训练和调整，使其可以下一时刻输出更好的分配策略，然后进入下一时刻，返回步骤S1。具体地，δ∈[0，1]为迭代梯度，根据神经网络给出的动作，判断是增加还是减少一个δ，调整卸载矩阵，然后观察奖赏值，根据奖赏值和当前状态判断给出下一个动作。
在本发明中，将所选择的中控节点视为具有学习能力的智能体，使用时延和能耗线性组合来度量系统性能，并以此来计算智能体与环境交互过程中得到的奖赏值，随后以最大化长期累积奖赏为原则模拟智能体与环境交互学习的过程，使得在经过多个时隙的迭代后算法趋于稳定收敛时，本发明的策略网络能够获得一个针对该时变系统的接近最优的动态分配策略，从而让用户能够根据当前时刻的状态空间信息，动态地调整对应的任务卸载比例，最终显著降低系统的时延和能耗。
实施例
本实施例记载了在多用户和多CAP的MEC网络中一种基于DQN算法的动态卸载策略，在Python仿真环境下，使用计算机仿真本发明所提方法的实现效果。在仿真实验中，在不失去一般性的情况下，使用了一种典型的均匀分布形式u(·)来表示时域的变化，dm和cm为计算任务特性，fn为计算能力，均服从均匀分布。其中，cm～u(2×109，3×109)为计算任务大小，dm～u(2×108，3×108)为计算任务的比特数，fn～u(5×109，7×109)为CAPs的计算能力，f0～u(1.5×109，2×109)为本地计算能力。带宽为40MHz，平均信道增益为4，传输SNR为10dB，迭代梯度δ＝0.01，并初始化ρm，0＝1和ρm，n＝0。
图3表现的是本发明所提的基于DQN算法卸载策略在经过15000次迭代且权重因子λ＝0.5的训练过程。仿真实验中存在M个移动用户和N个具备计算能力的CAPs，进行对比的三组参数分别是(M，N)＝(10，10)，(M，N)＝(10，15)和(M，N)＝(15，10)。本发明的仿真曲线随时隙数量的增加而急剧下降，系统成本趋于收敛。该结果说明本发明所提出的在多用户和多CAPs的MEC网络中一种基于DQN算法动态卸载策略在经过多次训练之后可以找到最佳的卸载策略。
图4表现的是本发明所提出的基于DQN算法卸载策略在λ＝0.5，N＝15时不同用户数的系统成本；图5表现的是本发明所提出的基于DQN算法卸载策略在λ＝0.5，M＝10时在不同CAPs数的系统成本。图中是本发明所提出的基于DQN算法卸载策略与随机卸载、全部及全不卸载策略进行比较的仿真曲线，这四种策略的系统成本随着M的增大而增加，因为随着用户数增加，会对MEC网络带来越来越多的任务。相反，系统成本随着N的增大而降低，因为更多的CAPs可以帮助计算MEC网络中的任务。上述两图均能说明本发明针对M和N的各种值的仿真曲线效果明显优于其他卸载策略，表明本发明所提出的基于DQN算法卸载策略能够有效地利用通信和计算资源。
图6表现的是本发明所提出的基于DQN算法卸载策略在M＝10，N＝10时不同权重因子λ的系统成本。图中是本发明所提出的基于DQN算法卸载策略与随机卸载、全部及全不卸载策略进行比较的仿真曲线，这四种策略的系统成本随着λ的增加而减少，但本发明优于其他的策略。
综上所述，本发明一种时变移动边缘计算网络的动态卸载方法通过将动态卸载问题表述为马尔可夫决策过程并设计了相关的状态和动作空间，并发明了一种基于深度强化学习的移动边缘计算网络动态卸载策略，经过多次的训练和迭代后，可以针对该时变系统习得一个接近最优的动态分配策略，使得用户可以在每个时隙动态地微调自身的卸载任务比例，有效地降低系统的时延和能耗。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种时变移动边缘计算网络的动态卸载方法，包括如下步骤：
步骤S1，在时变移动边缘计算网络中，通过接收端收集当前时刻的上行信道链路信息，并收集当前时刻的任务特征、用户计算能力和接入节点CAPn的计算能力，根据收集的信息计算系统时延、能耗及其加权和；
步骤S2，根据步骤S1收集的参数设计相关的状态和动作空间，将时变系统下的动态卸载问题建模为马尔可夫决策过程，并将设计的状态空间和动作输入策略网络，并通过深度强化学习的方式对策略网络进行动态的反馈训练和调整，以获得一个针对时变系统的接近最优的动态分配策略。
2.如权利要求1所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于，于步骤S1中，在接收端通过系统的导频信号估计出移动边缘计算网络当前时刻的上行卸载链路的信道参数，同时收集该时变系统当前时刻的任务特征、用户计算能力和计算接入节点CAPn的计算能力，并计算系统时延、能耗，以及时延和能耗加权和作为奖赏值。
3.如权利要求2所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于，步骤S1进一步包括：
步骤S100，在任务卸载阶段中，计算用户um到接入节点CAPn的无线链路传输速率；
步骤S101，根据步骤S100得到的无线链路传输速率计算获得用户um的传输时延和卸载传输能耗，并进一步计算获得系统的卸载延迟和系统卸载能耗；
步骤S102，在任务计算阶段中，计算用户um的本地计算时延和本地计算能耗，并计算系统在接入节点CAPn计算的时延和能耗；
步骤S103，根据步骤S102的计算结果获得任务计算阶段的计算时延和计算能耗；
步骤S104，根据步骤S101和步骤S103的结果计算获得每个时隙的总系统时延和总系统能耗；
步骤S105，计算总系统时延和能耗加权和作为奖赏值以度量系统性能。
4.如权利要求3所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于，于步骤S100中，用户um到接入节点CAPn的无线链路传输速率为：
Figure FDA0002674439990000021
其中B是无线带宽，Pm为用户um的传输功率，
Figure FDA0002674439990000022
是um-CAPn链路的即时信道参数，σ2为接入节点CAPn处加性高斯白噪声的方差。
5.如权利要求4所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于，于步骤S101中，用户um的任务卸载的时延为：
Figure FDA0002674439990000023
其中，lm,n为用户um卸载的传输时延，em,n为用户um卸载的传输能耗，
Figure FDA0002674439990000024
使用M个用户中最大的时延lm作为系统卸载延迟，L1＝max{l1，...，lM}，
系统的任务卸载能耗为：
Figure FDA0002674439990000025
其中ρm，n为卸载到接入节点CAPn的任务比例，dm为所需要计算的任务的大小。
6.如权利要求5所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于，于步骤S102中，用户um的本地计算时延和能耗为：
Figure FDA0002674439990000026
其中f0为本地计算能力，ζu为CPU芯片在用户处的能耗系数，cm为计算任务所需要的比特数，ρm,0表示在用户本地计算的任务的比例，
在接入节点CAPn计算的时延和能耗：
Figure FDA0002674439990000027
其中ζc是CPU芯片在接入节点CAPn处的能耗系数，fn为接入节点CAPn的计算能力。
7.如权利要求6所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于，于步骤S103中，该任务计算阶段的计算时延和能耗为：
L2＝max{max{l1，0，...，lM，0}，max{l1，...，lN}}，
Figure FDA0002674439990000031
8.如权利要求7所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于，步骤S2进一步包括：
步骤S200，在每一时隙，将多用户和多计算接入节点移动边缘计算网络视为环境，将时变的计算任务特性和接入节点CAPn计算能力矩阵视为状态空间，动作是微调用户卸载策略，从而将时变系统下的动态卸载问题建模为马尔可夫决策过程；
步骤S201，策略网络输出一个针对该系统当前时刻状态的分配策略，并通过深度强化学习的方式对策略网络进行动态的反馈训练和调整，使其可以下一时刻输出更好的分配策略，然后进入下一时刻，返回步骤S1。
9.如权利要求8所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于：于步骤S201中，将所选择的中控节点视为具有学习能力的智能体，使用时延和能耗线性组合来度量系统性能，并以此来计算智能体与环境交互过程中得到的奖赏值，随后以最大化长期累积奖赏为原则模拟智能体与环境交互学习的过程，使得在经过多个时隙的迭代后算法趋于稳定收敛。
10.如权利要求9所述的一种时变移动边缘计算网络的动态卸载方法，其特征在于：于步骤S1中，随机选择一个接入节点作为中控节点与其他节点进行信息交互，以收集当前时刻的上行信道链路信息、任务特征、用户计算能力和接入节点CAPn的计算能力。
CN202010943441.0A 2020-09-09 2020-09-09 一种时变移动边缘计算网络的动态卸载方法 Pending CN112235835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010943441.0A CN112235835A (zh) 2020-09-09 2020-09-09 一种时变移动边缘计算网络的动态卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010943441.0A CN112235835A (zh) 2020-09-09 2020-09-09 一种时变移动边缘计算网络的动态卸载方法

Publications (1)

Publication Number Publication Date
CN112235835A true CN112235835A (zh) 2021-01-15

Family

ID=74116839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010943441.0A Pending CN112235835A (zh) 2020-09-09 2020-09-09 一种时变移动边缘计算网络的动态卸载方法

Country Status (1)

Country Link
CN (1) CN112235835A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342409A (zh) * 2021-04-25 2021-09-03 山东师范大学 多接入边缘计算系统时延敏感型任务卸载决策方法及系统
CN113542376A (zh) * 2021-07-01 2021-10-22 广东工业大学 一种基于能耗与时延加权的任务卸载方法
CN113568727A (zh) * 2021-07-23 2021-10-29 湖北工业大学 一种基于深度强化学习的移动边缘计算任务分配方法
CN115801829A (zh) * 2022-11-08 2023-03-14 大连海事大学 一种工业物联网中边缘自适应感知方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200195506A1 (en) * 2018-12-18 2020-06-18 Beijing University Of Posts And Telecommunications Artificial intellgence-based networking method and device for fog radio access networks
CN111405568A (zh) * 2020-03-19 2020-07-10 三峡大学 基于q学习的计算卸载和资源分配方法及装置
CN111585816A (zh) * 2020-05-11 2020-08-25 重庆邮电大学 一种基于自适应遗传算法的任务卸载决策方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200195506A1 (en) * 2018-12-18 2020-06-18 Beijing University Of Posts And Telecommunications Artificial intellgence-based networking method and device for fog radio access networks
CN111405568A (zh) * 2020-03-19 2020-07-10 三峡大学 基于q学习的计算卸载和资源分配方法及装置
CN111585816A (zh) * 2020-05-11 2020-08-25 重庆邮电大学 一种基于自适应遗传算法的任务卸载决策方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
詹文翰: "移动边缘网络计算卸载调度与资源管理策略优化研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342409A (zh) * 2021-04-25 2021-09-03 山东师范大学 多接入边缘计算系统时延敏感型任务卸载决策方法及系统
CN113542376A (zh) * 2021-07-01 2021-10-22 广东工业大学 一种基于能耗与时延加权的任务卸载方法
CN113568727A (zh) * 2021-07-23 2021-10-29 湖北工业大学 一种基于深度强化学习的移动边缘计算任务分配方法
CN115801829A (zh) * 2022-11-08 2023-03-14 大连海事大学 一种工业物联网中边缘自适应感知方法
CN115801829B (zh) * 2022-11-08 2023-09-05 大连海事大学 一种工业物联网中边缘自适应感知方法

Similar Documents

Publication Publication Date Title
CN112235835A (zh) 一种时变移动边缘计算网络的动态卸载方法
CN108920280B (zh) 一种单用户场景下的移动边缘计算任务卸载方法
CN110928654B (zh) 一种边缘计算系统中分布式的在线任务卸载调度方法
CN111405568B (zh) 基于q学习的计算卸载和资源分配方法及装置
CN110798849A (zh) 一种超密网边缘计算的计算资源分配与任务卸载方法
CN112105062A (zh) 时敏条件下移动边缘计算网络能耗最小化策略方法
CN110519849B (zh) 一种针对移动边缘计算的通信和计算资源联合分配方法
Zhao et al. QoE aware and cell capacity enhanced computation offloading for multi-server mobile edge computing systems with energy harvesting devices
CN116489712B (zh) 一种基于深度强化学习的移动边缘计算任务卸载方法
CN109639833A (zh) 一种基于无线城域网微云负载均衡的任务调度方法
CN111124639A (zh) 一种边缘计算系统的操作方法、系统及电子设备
CN113573363A (zh) 基于深度强化学习的mec计算卸载与资源分配方法
CN116260871A (zh) 一种基于本地和边缘协同缓存的独立任务卸载方法
Zhang et al. A deep reinforcement learning approach for online computation offloading in mobile edge computing
CN116209084A (zh) 一种能量收集mec系统中任务卸载和资源分配方法
CN113973113B (zh) 一种面向移动边缘计算的分布式服务迁移方法
CN110768827B (zh) 一种基于群智能算法的任务卸载方法
Tang et al. Nonconvex optimization for power control in wireless CDMA networks
CN111711931B (zh) 一种快速收敛的最优信道选择方法
Lan et al. A hierarchical game for joint wireless and cloud resource allocation in mobile edge computing system
CN114615705B (zh) 一种基于5g网络下单用户资源分配策略方法
Chen et al. Adaptive fuzzy-based rate management and power control in multimedia CDMA cellular systems
CN113709817B (zh) 多基站多服务器场景下的任务卸载和资源调度方法及装置
Zhao et al. Load balancing for energy-harvesting mobile edge computing
CN113873525A (zh) 一种超密集边缘计算网络的任务卸载方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination