CN110113195A - 一种移动边缘计算系统中联合卸载判决和资源分配的方法 - Google Patents

一种移动边缘计算系统中联合卸载判决和资源分配的方法 Download PDF

Info

Publication number
CN110113195A
CN110113195A CN201910343296.XA CN201910343296A CN110113195A CN 110113195 A CN110113195 A CN 110113195A CN 201910343296 A CN201910343296 A CN 201910343296A CN 110113195 A CN110113195 A CN 110113195A
Authority
CN
China
Prior art keywords
edge calculations
mobile edge
task
state
unloading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910343296.XA
Other languages
English (en)
Other versions
CN110113195B (zh
Inventor
付芳
张志才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi University
Original Assignee
Shanxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi University filed Critical Shanxi University
Priority to CN201910343296.XA priority Critical patent/CN110113195B/zh
Publication of CN110113195A publication Critical patent/CN110113195A/zh
Application granted granted Critical
Publication of CN110113195B publication Critical patent/CN110113195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种移动边缘计算系统中联合卸载判决和资源分配的方法，在移动边缘计算系统中，通过最大化移动边缘计算服务器已执行的卸载任务数，在移动边缘计算服务器端建立队列来存储在一个时隙中没有被执行的任务，在效用函数中利用队列作为一个惩罚来避免严重的时延。面对的挑战包括：下行链路信道的马尔科夫特性、任务队列长度的变化以及小基站的可充电电池状态。为解决上述问题，综合考虑卸载判决和资源分配，将系统建模为马尔科夫决策过程，建立下行链路通信模型、能量收集模型、计算任务队列模型、移动边缘计算服务器执行任务模型和效用函数模型，并采用单资格迹的Actor‑Critic算法。本发明不仅有更快的收敛性能，即更短时延，而且收益更高。

Description

一种移动边缘计算系统中联合卸载判决和资源分配的方法
技术领域
本发明涉及第五代无线通信技术领域，尤其涉及一种移动边缘计算系统中联合卸载判决和资源分配的方法。
背景技术
在移动边缘计算(Mobile Edge Computing,MEC)系统中，用户卸载任务到移动边缘计算服务器，利用无线接入网络的边缘提供计算资源，能够克服移动终端设备的一些限制条件，如电池的使用时间和有限的计算能力，提高移动终端用户的体验质量(Quality ofExperience,QoE)。目前国内外对MEC系统的研究方向以及存在的问题如下：
①降低能量消耗。如T.Q.Dinh等人在2017年提出一个对卸载判决和移动终端设备CPU频率进行联合优化的框架，这里考虑单用户卸载任务到多个MEC服务器，C.You等人在2017年研究MEC系统中计算资源的分配问题，这里考虑在限定的计算时延条件下降低移动终端设备的能量消耗。但是上述研究文献只是从用户的角度考虑最小化移动终端设备的能量消耗，与之不同的是，本发明从运营商角度考虑，降低MEC系统中的能量消耗，这包括两部分：MEC服务器计算任务所消耗的能量，和下行链路SBS向用户无线传输所消耗的能量。为了降低MEC系统中的能量消耗。
②最大化卸载任务的数量。如C.Wang等人在2017年提出对计算任务卸载和资源分配进行联合优化的方法，同时提出在MEC和小小区网络联合部署的系统中联合计算任务卸载和干扰管理的方法。但是上述研究存在的一个大问题，都是假设在一定的时延条件下，所有的计算任务在一个计算卸载时间段内都能被执行完，并且在旧的计算任务执行完之前没有新的计算任务到达。这样的假设让复杂的优化问题变得简单好操作容易处理，然而弊端是只适用于短时间的性能分析，不能满足移动终端设备长期动态的计算要求。实际上，当多个用户共享一个MEC服务器时，由于计算资源有限，在一个固定的计算卸载时间段内可能没有执行完一些任务，意味着在旧的计算任务执行完之前已经有新的计算任务到达了。
将动态系统建模为一个马尔科夫判决过程(Markov Decision Process,MDP)，其中的状态空间和动作空间都是连续的多维的，传统的Q学习算法不能通过简单的值函数来描述每一个状态或动作是否是好的，过于依赖Q_Table，特别是当状态或动作空间的维度巨大时，Q_Table量级太大，计算机处理不了；传统策略梯度算法收敛慢。
发明内容
为解决现有技术的缺点和不足，提供一种移动边缘计算系统中联合卸载判决和资源分配的方法，从而降低系统能耗和时延。
为实现本发明目的而提供的一种移动边缘计算系统中联合卸载判决和资源分配的方法，包括以下步骤：
步骤1：移动边缘计算服务器为每个移动用户设置一个先进先出的任务队列，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务；
步骤2：为每个小基站都配有一个能量收集装置，用可充电电池来存储绿色能源，设定一个门限值来保护电池，它满足在一个时隙内移动终端的能量要求；当电池电量低于门限值时，电池的状态值bn(t)为0，小基站将由传统的电网自动供电；否则bn(t)为1，小基站将由绿色能源供电；
步骤3：将动态系统建模为马尔科夫决策过程，简称为MDP，包括有S、A、P、r，四个参数，S为状态空间、A为动作空间、P为状态转移概率矩阵、r是回报函数，其中的状态空间S包括三部分：
1)无线信道环境，用基站到用户的下行链路的信干噪比ηn(t)来表示；
2)每个小基站的可充电电池的电量状态bn(t)，用0或1表示；
3)任务队列长度Tn(t)；
其中的动作空间A包括三部分：
1)移动边缘计算服务器的卸载判决cn(t)，当cn(t)＝1时，同意卸载，当cn(t)＝0时，拒绝卸载；
2)下行链路的传输功率pn(t)；
3)移动边缘计算服务器分配给n号移动终端设备的计算资源fn(t)；
步骤4：采用单资格迹的Actor-Critic算法来解决上述MDP问题；初始化Actor部分的策略参数θ和Critic部分的状态值函数的参数ω；设置一个迭代次数的上限，开始步骤5进行迭代；
步骤5：在每一次迭代中，根据动作的概率分布π(a|st，θ)，其中μ(s，θ)是正太分布的均值，用μ(s，θ)＝θTφ(s)估计得到，σ是均方差，选择得到一个动作a，在当前状态下该动作，就可以得到这个动作的奖励值，状态从当前状态转换到下一个状态；
步骤6：更新状态特征向量φ(s)，用一个线性估计器来学习状态值函数Vπ(s)，估计方法为Vπ(s)≈V(s，ω)＝ωTφ(s)，其中ω是Critic部分的状态值函数的参数，ωT是ω的转置；
步骤7：更新时序差分函数δ，更新方法为δ＝rt+1+γωV(st+1，ω)-V(st，ω)，其中rt+1+γωV(st+1，ω)是下一状态的总奖励值，rt+1是下一状态的即时奖励值，γω是衰减因子数值在0到1之间，V(st，ω)是当前状态下的奖励值；
步骤8：更新状态值函数的参数ω(t)，更新方法为其中ω(t)是当前时隙的状态值函数的参数，是ω的梯度，δ是时序差分函数，αc，t是Critic部分的学习率，满足
步骤9：更新下一个时隙的策略参数θt+1，更新方法为其中是θ的梯度，αa，t是Actor部分的学习率，是一个正数，且满足判断迭代是否收敛，或者达到迭代次数的上限，如果没有达到迭代次数的上限而且迭代没有收敛，则返回步骤5继续迭代，如果达到迭代次数的上限或迭代已经收敛，则结束迭代。
作为上述方案的进一步改进，步骤1中任务队列的数量用任务队列的长度来表示，数值按照下列式子而动态变化：
其中[x]+＝max(x，0)，cn(t)Λn(t)是在第t个时隙内到达的任务，cn(t)是步骤3中移动边缘计算服务器做的卸载判决，Λn(t)是在第t个时隙内n号移动终端卸载的任务；是在时间间隔Δt内和给定的计算资源前提条件下，可以由移动边缘计算服务器处理的任务输入的上限。
作为上述方案的进一步改进，步骤2中可充电电池的电量通过下列式子得到
其中Bn(t)是在t时隙开始时的电池电量，Bn(t+1)是在t+1时隙开始时的电池电量，Gn(t)是到达的能量包，是从基站到移动终端设备的下行链路消耗的能量，是电池的最大容量，bn(t)是步骤2中电池的电量状态值。
作为上述方案的进一步改进，MDP的回报函数是其中，ρn、υn和βn为三个参数，单位分别是比特、焦耳、比特，Dn(t)是移动边缘计算服务器执行的任务；En(t)是在执行任务Dn(t)时的能量消耗，En(t)包括移动边缘计算服务器在计算任务Dn(t)消耗的能量和将计算结果通过下行链路传输给n号移动终端时消耗的能量；Hn(t)是在t时隙结束时还没有执行完的任务队列的长度，在数值上Hn(t)＝Tn(t+1)，Hn(t)作为一个惩罚机制，用来避免当任务队列已经非常长而且计算资源有限时移动边缘计算服务器接受n号移动终端的卸载任务请求；回报函数代表的是移动运营商通过移动边缘计算服务器提供计算服务的收益，其中p(t)是下行链路的传输功率，c(t)是卸载判决，f(t)是计算资源。
本发明的有益效果是：
与现有技术相比，本发明的优势在于：1)采用能量收集小小区网络和移动边缘计算服务器联合部署的方式，并且为每个小基站(Small Base Station，SBS)都配置一个绿色能源收集装置，绿色能源为风能和太阳能，可以通过可充电电池来进行存储，小基站(SmallBase Station，SBS)优先采用绿色能源供电，当绿色能源不足时采用传统电网供电，降低了移动边缘计算系统的能量损耗和时间延迟；2)设计先进先出的任务队列作为惩罚机制，提高了移动边缘计算服务器执行计算任务的数量，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务，这些任务的数量用任务队列的长度来表示。当任务队列已经非常长而且计算资源有限时，如果移动边缘计算服务器接受移动终端的卸载任务请求，就受到惩罚，导致运营商的效益降低。运营商的效益主要取决于移动边缘计算服务器执行的任务数，执行的任务越多，效益越大。当多个用户同时向移动边缘计算服务器发出计算服务的申请时，本发明从最大化运营商的效益角度出发来为移动边缘计算服务器做是否同意卸载任务的判决，增大了移动运营商的总收益；3)采用联合卸载判决和资源分配的Actor-Critic强化学习算法，在处理连续多维的状态空间和动作空间问题时，比Q学习算法的性能更好，比策略梯度算法的收敛速度更快。
附图说明
以下结合附图对本发明的具体实施方式作进一步的详细说明，其中：
图1为本发明适用的场景图。为了统一单位为
具体实施方式
如图1所示，本发明文件中基站包括有小基站和宏基站。本发明的目标之一是降低移动边缘计算系统的能量消耗，只考虑从电网中消耗的能量，不考虑从充电电池中消耗的绿色能源，做出以下假设：
1)当n号基站没有下载任务时的静态功率是由传统电网提供的；
2)小基站是以有线的方式和宏基站连接在一起的，宏基站和小基站之间的能量消耗可以被忽略不计。
考虑能量收集小小区网络的下行链路，这个服务区的中心有一个单独的宏基站(Microcell Base Station,MBS)，MEC服务器和MBS连接在一起，由MEC服务器向该服务区所有移动终端提供计算服务。该服务区分布着许多SBS，各个SBS和MBS都以有线的方式进行连接。我们假设MEC服务器、MBS和SBS都由同一家移动运营商来统一管理安排(去掉安排)。为了降低运营商的能量消耗，每个SBS旁边都配有一个能量收集(Energy Harvesting,EH)装置，用可充电电池来储存风能(Wind Power System)和太阳能(Solar Power System)这类绿色能源，SBS首选使用绿色能源供电，当绿色能源不足时用传统电网供电。MEC服务器和MBS都只由电网供电。假定MBS和SBS是共信道单天线传输，这里考虑的是单用户情况，即一个基站只服务于一个用户。
具体实施例：一个MBS位于一个1km*1km面积大小的服务区的中心，多个SBS随机分布在服务区内，MEC服务器和MBS连接在一起为用户提供计算服务，MEC服务器端设置一个任务队列，用来存储已经卸载到移动边缘计算服务器，但在一个时隙内还没有被服务器执行的任务。无线信道模型基于3GPP标准，分配给基站到用户的带宽是10MHz，在一个时隙内可获得的总计算资源是25GHz。
首先建立下行链路通信模型、能量收集模型、计算任务队列模型、MEC服务器执行任务模型和效用函数模型，将动态系统建模为MDP，并通过如下步骤实现：
步骤1：移动边缘计算服务器为每个移动用户设置一个先进先出的任务队列，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务；
步骤2：为每个小基站都配有一个能量收集装置，用可充电电池来存储绿色能源，设定一个门限值来保护电池，它满足在一个时隙内移动终端的能量要求；当电池电量低于门限值时，电池的状态值bn(t)为0，小基站将由传统的电网自动供电；否则bn(t)为1，小基站将由绿色能源供电；
步骤3：将动态系统建模为马尔科夫决策过程，简称为MDP，包括有S、A、P、r，四个参数，S为状态空间、A为动作空间、P为状态转移概率矩阵、r是回报函数，其中的状态空间S包括三部分：
1)无线信道环境，用基站到用户的下行链路的信干噪比ηn(t)来表示；
2)每个小基站的可充电电池的电量状态bn(t)，用0或1表示；
3)任务队列长度Tn(t)；
其中的动作空间A包括三部分：
1)移动边缘计算服务器的卸载判决cn(t)，当cn(t)＝1时，同意卸载，当cn(t)＝0时，拒绝卸载；
2)下行链路的传输功率pn(t)；
3)移动边缘计算服务器分配给n号移动终端设备的计算资源fn(t)；
步骤4：采用单资格迹的Actor-Critic算法来解决上述MDP问题；初始化Actor部分的策略参数θ和Critic部分的状态值函数的参数ω；设置一个迭代次数的上限，开始步骤5进行迭代；
步骤5：在每一次迭代中，根据动作的概率分布π(a|st，θ)，其中μ(s，θ)是正太分布的均值，用μ(s，θ)＝θTφ(s)估计得到，σ是均方差，选择得到一个动作a，在当前状态下该动作，就可以得到这个动作的奖励值，状态从当前状态转换到下一个状态；
步骤6：更新状态特征向量φ(s)，用一个线性估计器来学习状态值函数Vπ(s)，估计方法为Vπ(s)≈V(s，ω)＝ωTφ(s)，其中ω是Critic部分的状态值函数的参数，ωT是ω的转置；
步骤7：更新时序差分函数δ，更新方法为δ＝rt+1+γωV(st+1，ω)-V(st，ω)，其中rt+1+γωV(st+1，ω)是下一状态的总奖励值，rt+1是下一状态的即时奖励值，γω是衰减因子数值在0到1之间，V(st，ω)是当前状态下的奖励值；
步骤8：更新状态值函数的参数ω(t)，更新方法为其中ω(t)是当前时隙的状态值函数的参数，是ω的梯度，δ是时序差分函数，αc，t是Critic部分的学习率，满足
步骤9：更新下一个时隙的策略参数θt+1，更新方法为其中是θ的梯度，αa，t是Actor部分的学习率，是一个正数，且满足判断迭代是否收敛，或者达到迭代次数的上限，如果没有达到迭代次数的上限而且迭代没有收敛，则返回步骤5继续迭代，如果达到迭代次数的上限或迭代已经收敛，则结束迭代。
作为上述方案的进一步改进，步骤1中任务队列的数量用任务队列的长度来表示，数值按照下列式子而动态变化：
其中[x]+＝max(x，0)，cn(t)Λn(t)是在第t个时隙内到达的任务，cn(t)是步骤3中移动边缘计算服务器做的卸载判决，Λn(t)是在第t个时隙内n号移动终端卸载的任务；是在时间间隔Δt内和给定的计算资源前提条件下，可以由移动边缘计算服务器处理的任务输入的上限。
作为上述方案的进一步改进，步骤2中可充电电池的电量通过下列式子得到
其中Bn(t)是在t时隙开始时的电池电量，Bn(t+1)是在t+1时隙开始时的电池电量，Gn(t)是到达的能量包，是从基站到移动终端设备的下行链路消耗的能量，是电池的最大容量，bn(t)是步骤2中电池的电量状态值。
作为上述方案的进一步改进，MDP的回报函数是其中，ρn、υn和βn为三个参数，单位分别是比特、焦耳、比特，Dn(t)是移动边缘计算服务器执行的任务；En(t)是在执行任务Dn(t)时的能量消耗，En(t)包括移动边缘计算服务器在计算任务Dn(t)消耗的能量和将计算结果通过下行链路传输给n号移动终端时消耗的能量；Hn(t)是在t时隙结束时还没有执行完的任务队列的长度，在数值上Hn(t)＝Tn(t+1)，Hn(t)作为一个惩罚机制，用来避免当任务队列已经非常长而且计算资源有限时移动边缘计算服务器接受n号移动终端的卸载任务请求；回报函数代表的是移动运营商通过移动边缘计算服务器提供计算服务的收益，其中p(t)是下行链路的传输功率，c(t)是卸载判决，f(t)是计算资源。
本发明的有益效果是：
与现有技术相比，本发明的优势在于：1)采用能量收集小小区网络和移动边缘计算服务器联合部署的方式，并且为每个小基站(Small Base Station，SBS)都配置一个绿色能源收集装置，绿色能源为风能和太阳能，可以通过可充电电池来进行存储，小基站(SmallBase Station，SBS)优先采用绿色能源供电，当绿色能源不足时采用传统电网供电，降低了移动边缘计算系统的能量损耗和时间延迟；2)设计先进先出的任务队列作为惩罚机制，提高了移动边缘计算服务器执行计算任务的数量，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务，这些任务的数量用任务队列的长度来表示。当任务队列已经非常长而且计算资源有限时，如果移动边缘计算服务器接受移动终端的卸载任务请求，就受到惩罚，导致运营商的效益降低。运营商的效益主要取决于移动边缘计算服务器执行的任务数，执行的任务越多，效益越大。当多个用户同时向移动边缘计算服务器发出计算服务的申请时，本发明从最大化运营商的效益角度出发来为移动边缘计算服务器做是否同意卸载任务的判决，增大了移动运营商的总收益；3)采用联合卸载判决和资源分配的Actor-Critic强化学习算法，在处理连续多维的状态空间和动作空间问题时，比Q学习算法的性能更好，比策略梯度算法的收敛速度更快。
以上实施例不局限于该实施例自身的技术方案，实施例之间可以相互结合成新的实施例。以上实施例仅用以说明本发明的技术方案而并非对其进行限制，凡未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明技术方案的范围内。

Claims (4)

1.一种移动边缘计算系统中联合卸载判决和资源分配的方法，其特征在于：包括以下步骤：
步骤1：移动边缘计算服务器为每个移动用户设置一个先进先出的任务队列，来存储已经卸载到移动边缘计算服务器但在一个时隙内还没有被服务器执行的任务；
步骤2：为每个小基站都配有一个能量收集装置，用可充电电池来存储绿色能源，设定一个门限值来保护电池，它满足在一个时隙内移动终端的能量要求；当电池电量低于门限值时，电池的状态值bn(t)为0，小基站将由传统的电网自动供电；否则bn(t)为1，小基站将由绿色能源供电；
步骤3：将动态系统建模为马尔科夫决策过程，简称为MDP，包括有S、A、P、r，四个参数，S为状态空间、A为动作空间、P为状态转移概率矩阵、r是回报函数，其中的状态空间S包括三部分：
1)无线信道环境，用基站到用户的下行链路的信干噪比ηn(t)来表示；
2)每个小基站的可充电电池的电量状态bn(t)，用0或1表示；
3)任务队列长度Tn(t)；
其中的动作空间A包括三部分：
1)移动边缘计算服务器的卸载判决cn(t)，当cn(t)＝1时，同意卸载，当cn(t)＝0时，拒绝卸载；
2)下行链路的传输功率pn(t)；
3)移动边缘计算服务器分配给n号移动终端设备的计算资源fn(t)；
步骤4：采用单资格迹的Actor-Critic算法来解决上述MDP问题；初始化Actor部分的策略参数θ和Critic部分的状态值函数的参数ω；设置一个迭代次数的上限，开始步骤5进行迭代；
步骤5：在每一次迭代中，根据动作的概率分布π(a|st,θ)，其中μ(s,θ)是正太分布的均值，用μ(s,θ)＝θTφ(s)估计得到，σ是均方差，选择得到一个动作a，在当前状态下该动作，就可以得到这个动作的奖励值，状态从当前状态转换到下一个状态；
步骤6：更新状态特征向量φ(s)，用一个线性估计器来学习状态值函数Vπ(s)，估计方法为Vπ(s)≈V(s,ω)＝ωTφ(s)，其中ω是Critic部分的状态值函数的参数，ωT是ω的转置；
步骤7：更新时序差分函数δ，更新方法为δ＝rt+1+γωV(st+1,ω)-V(st,ω)，其中rt+1+γωV(st+1,ω)是下一状态的总奖励值，rt+1是下一状态的即时奖励值，γω是衰减因子数值在0到1之间，V(st,ω)是当前状态下的奖励值；
步骤8：更新状态值函数的参数ω(t)，更新方法为其中ω(t)是当前时隙的状态值函数的参数，是ω的梯度,δ是时序差分函数，αc,t是Critic部分的学习率，满足
步骤9：更新下一个时隙的策略参数θt+1，更新方法为其中是θ的梯度，αa,t是Actor部分的学习率，是一个正数，且满足判断迭代是否收敛，或者达到迭代次数的上限，如果没有达到迭代次数的上限而且迭代没有收敛，则返回步骤5继续迭代，如果达到迭代次数的上限或迭代已经收敛，则结束迭代。
2.根据权利要求1所述的一种移动边缘计算系统中联合卸载判决和资源分配的方法，其特征在于：步骤1中任务队列的数量用任务队列的长度来表示，数值按照下列式子而动态变化：
其中[x]+＝max(x,0)，cn(t)Λn(t)是在第t个时隙内到达的任务，cn(t)是步骤3中移动边缘计算服务器做的卸载判决，Λn(t)是在第t个时隙内n号移动终端卸载的任务；是在时间间隔Δt内和给定的计算资源前提条件下，可以由移动边缘计算服务器处理的任务输入的上限。
3.根据权利要求1所述的一种移动边缘计算系统中联合卸载判决和资源分配的方法，其特征在于：步骤2中可充电电池的电量通过下列式子得到
其中Bn(t)是在t时隙开始时的电池电量，Bn(t+1)是在t+1时隙开始时的电池电量，Gn(t)是到达的能量包，是从基站到移动终端设备的下行链路消耗的能量，是电池的最大容量，bn(t)是步骤2中电池的电量状态值。
4.根据权利要求1所述的一种移动边缘计算系统中联合卸载判决和资源分配的方法，其特征在于：MDP的回报函数是其中，ρn、υn和βn为三个参数，单位分别是比特、焦耳、比特，Dn(t)是移动边缘计算服务器执行的任务；En(t)是在执行任务Dn(t)时的能量消耗，En(t)包括移动边缘计算服务器在计算任务Dn(t)消耗的能量和将计算结果通过下行链路传输给n号移动终端时消耗的能量；Hn(t)是在t时隙结束时还没有执行完的任务队列的长度，在数值上Hn(t)＝Tn(t+1)，Hn(t)作为一个惩罚机制，用来避免当任务队列已经非常长而且计算资源有限时移动边缘计算服务器接受n号移动终端的卸载任务请求；回报函数代表的是移动运营商通过移动边缘计算服务器提供计算服务的收益，其中p(t)是下行链路的传输功率，c(t)是卸载判决，f(t)是计算资源。
CN201910343296.XA 2019-04-26 2019-04-26 一种移动边缘计算系统中联合卸载判决和资源分配的方法 Active CN110113195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910343296.XA CN110113195B (zh) 2019-04-26 2019-04-26 一种移动边缘计算系统中联合卸载判决和资源分配的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910343296.XA CN110113195B (zh) 2019-04-26 2019-04-26 一种移动边缘计算系统中联合卸载判决和资源分配的方法

Publications (2)

Publication Number Publication Date
CN110113195A true CN110113195A (zh) 2019-08-09
CN110113195B CN110113195B (zh) 2021-03-30

Family

ID=67486875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910343296.XA Active CN110113195B (zh) 2019-04-26 2019-04-26 一种移动边缘计算系统中联合卸载判决和资源分配的方法

Country Status (1)

Country Link
CN (1) CN110113195B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798858A (zh) * 2019-11-07 2020-02-14 华北电力大学（保定） 基于代价效率的分布式任务卸载方法
CN110971706A (zh) * 2019-12-17 2020-04-07 大连理工大学 Mec中近似最优化与基于强化学习的任务卸载方法
CN111132348A (zh) * 2019-12-30 2020-05-08 南方科技大学 移动边缘计算的资源调度方法及移动边缘计算系统
CN111163521A (zh) * 2020-01-16 2020-05-15 重庆邮电大学 移动边缘计算中一种分布式异构环境下的资源分配方法
CN111459505A (zh) * 2020-05-22 2020-07-28 南京大学 边缘计算环境下多版本推断模型部署方法、装置和系统
CN111694655A (zh) * 2020-03-12 2020-09-22 武汉大学 一种面向多任务的边缘计算资源分配方法
CN111741531A (zh) * 2020-08-12 2020-10-02 浙江工商大学 一种5g基站下通信设备最佳运行状态的优化方法
CN111736461A (zh) * 2020-06-30 2020-10-02 西安电子科技大学 基于q学习的无人机任务协同分配方法
CN111787509A (zh) * 2020-07-14 2020-10-16 中南大学 边缘计算中基于强化学习的无人机任务卸载方法及系统
CN112367353A (zh) * 2020-10-08 2021-02-12 大连理工大学 基于多智能体强化学习的移动边缘计算卸载方法
CN112422346A (zh) * 2020-11-19 2021-02-26 北京航空航天大学 一种考虑多资源限制的变周期移动边缘计算卸载决策方法
CN112822702A (zh) * 2021-01-12 2021-05-18 重庆邮电大学 一种主从mec网络中联合任务卸载与资源分配方法
CN112929915A (zh) * 2021-02-20 2021-06-08 中南大学 一种移动边缘计算的动态数据卸载方法及系统
CN113360203A (zh) * 2021-04-20 2021-09-07 广东电网有限责任公司电力调度控制中心 一种电力物联网的任务卸载方法及装置
CN114170560A (zh) * 2022-02-08 2022-03-11 深圳大学 一种基于深度强化学习的多设备边缘视频分析系统
CN114466409A (zh) * 2022-04-11 2022-05-10 清华大学 一种面向机器通信的数据卸载的控制方法和装置
CN114650568A (zh) * 2022-03-18 2022-06-21 重庆邮电大学 一种移动Ad Hoc云中基于能量收集的分布式卸载方法
CN114880038A (zh) * 2021-01-22 2022-08-09 上海大学 移动边缘计算系统资源优化配置方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063830A (zh) * 2018-01-26 2018-05-22 重庆邮电大学 一种基于mdp的网络切片动态资源分配方法
CN108541027A (zh) * 2018-04-24 2018-09-14 南京邮电大学 一种基于边缘云网络的通信计算资源置换方法
CN108848563A (zh) * 2018-06-25 2018-11-20 重庆邮电大学 一种协作noma系统下行链路基于能效的资源分配方法
CN108880893A (zh) * 2018-06-27 2018-11-23 重庆邮电大学 一种移动边缘计算服务器联合能量收集及任务卸载方法
CN108924935A (zh) * 2018-07-06 2018-11-30 西北工业大学 一种基于强化学习算法功率域的noma中的功率分配方法
CN109120457A (zh) * 2018-09-13 2019-01-01 余利 基于分布式软件定义架构的智能云的业务处理方法
CN109167787A (zh) * 2018-09-06 2019-01-08 电子科技大学 一种移动边缘计算网络中安全计算卸载的资源优化方法
CN109302709A (zh) * 2018-09-14 2019-02-01 重庆邮电大学 面向移动边缘计算的车联网任务卸载与资源分配策略

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063830A (zh) * 2018-01-26 2018-05-22 重庆邮电大学 一种基于mdp的网络切片动态资源分配方法
CN108541027A (zh) * 2018-04-24 2018-09-14 南京邮电大学 一种基于边缘云网络的通信计算资源置换方法
CN108848563A (zh) * 2018-06-25 2018-11-20 重庆邮电大学 一种协作noma系统下行链路基于能效的资源分配方法
CN108880893A (zh) * 2018-06-27 2018-11-23 重庆邮电大学 一种移动边缘计算服务器联合能量收集及任务卸载方法
CN108924935A (zh) * 2018-07-06 2018-11-30 西北工业大学 一种基于强化学习算法功率域的noma中的功率分配方法
CN109167787A (zh) * 2018-09-06 2019-01-08 电子科技大学 一种移动边缘计算网络中安全计算卸载的资源优化方法
CN109120457A (zh) * 2018-09-13 2019-01-01 余利 基于分布式软件定义架构的智能云的业务处理方法
CN109302709A (zh) * 2018-09-14 2019-02-01 重庆邮电大学 面向移动边缘计算的车联网任务卸载与资源分配策略

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798858A (zh) * 2019-11-07 2020-02-14 华北电力大学（保定） 基于代价效率的分布式任务卸载方法
CN110798858B (zh) * 2019-11-07 2023-04-25 华北电力大学（保定） 基于代价效率的分布式任务卸载方法
CN110971706A (zh) * 2019-12-17 2020-04-07 大连理工大学 Mec中近似最优化与基于强化学习的任务卸载方法
CN111132348A (zh) * 2019-12-30 2020-05-08 南方科技大学 移动边缘计算的资源调度方法及移动边缘计算系统
CN111163521A (zh) * 2020-01-16 2020-05-15 重庆邮电大学 移动边缘计算中一种分布式异构环境下的资源分配方法
CN111163521B (zh) * 2020-01-16 2022-05-03 重庆邮电大学 移动边缘计算中一种分布式异构环境下的资源分配方法
CN111694655A (zh) * 2020-03-12 2020-09-22 武汉大学 一种面向多任务的边缘计算资源分配方法
CN111694655B (zh) * 2020-03-12 2023-08-29 武汉大学 一种面向多任务的边缘计算资源分配方法
CN111459505A (zh) * 2020-05-22 2020-07-28 南京大学 边缘计算环境下多版本推断模型部署方法、装置和系统
CN111736461B (zh) * 2020-06-30 2021-05-04 西安电子科技大学 基于q学习的无人机任务协同分配方法
CN111736461A (zh) * 2020-06-30 2020-10-02 西安电子科技大学 基于q学习的无人机任务协同分配方法
CN111787509A (zh) * 2020-07-14 2020-10-16 中南大学 边缘计算中基于强化学习的无人机任务卸载方法及系统
CN111741531A (zh) * 2020-08-12 2020-10-02 浙江工商大学 一种5g基站下通信设备最佳运行状态的优化方法
CN112367353A (zh) * 2020-10-08 2021-02-12 大连理工大学 基于多智能体强化学习的移动边缘计算卸载方法
CN112367353B (zh) * 2020-10-08 2021-11-05 大连理工大学 基于多智能体强化学习的移动边缘计算卸载方法
CN112422346A (zh) * 2020-11-19 2021-02-26 北京航空航天大学 一种考虑多资源限制的变周期移动边缘计算卸载决策方法
CN112822702A (zh) * 2021-01-12 2021-05-18 重庆邮电大学 一种主从mec网络中联合任务卸载与资源分配方法
CN112822702B (zh) * 2021-01-12 2022-06-21 重庆邮电大学 一种主从mec网络中联合任务卸载与资源分配方法
CN114880038A (zh) * 2021-01-22 2022-08-09 上海大学 移动边缘计算系统资源优化配置方法
CN114880038B (zh) * 2021-01-22 2023-12-19 上海大学 移动边缘计算系统资源优化配置方法
CN112929915A (zh) * 2021-02-20 2021-06-08 中南大学 一种移动边缘计算的动态数据卸载方法及系统
CN113360203A (zh) * 2021-04-20 2021-09-07 广东电网有限责任公司电力调度控制中心 一种电力物联网的任务卸载方法及装置
CN113360203B (zh) * 2021-04-20 2023-07-11 广东电网有限责任公司电力调度控制中心 一种电力物联网的任务卸载方法及装置
CN114170560A (zh) * 2022-02-08 2022-03-11 深圳大学 一种基于深度强化学习的多设备边缘视频分析系统
CN114650568A (zh) * 2022-03-18 2022-06-21 重庆邮电大学 一种移动Ad Hoc云中基于能量收集的分布式卸载方法
CN114466409A (zh) * 2022-04-11 2022-05-10 清华大学 一种面向机器通信的数据卸载的控制方法和装置
CN114466409B (zh) * 2022-04-11 2022-08-12 清华大学 一种面向机器通信的数据卸载的控制方法和装置

Also Published As

Publication number Publication date
CN110113195B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN110113195A (zh) 一种移动边缘计算系统中联合卸载判决和资源分配的方法
Chen et al. Dynamic task offloading for mobile edge computing with hybrid energy supply
Zhang et al. Joint offloading and resource allocation in mobile edge computing systems: An actor-critic approach
Zhang et al. Joint parallel offloading and load balancing for cooperative-MEC systems with delay constraints
CN111132191A (zh) 移动边缘计算服务器联合任务卸载、缓存及资源分配方法
Gong et al. Policy optimization for content push via energy harvesting small cells in heterogeneous networks
CN107426773A (zh) 无线异构网络中面向能效的分布式资源分配方法和装置
Zhao et al. Task proactive caching based computation offloading and resource allocation in mobile-edge computing systems
CN106095529B (zh) 一种c-ran架构下的载波迁移方法
Tong et al. Dynamic energy-saving offloading strategy guided by Lyapunov optimization for IoT devices
Liu et al. Profit-driven user association and smart grid energy transfer in green cellular networks
Deng et al. Throughput maximization for multiedge multiuser edge computing systems
CN110191489B (zh) 一种超密集网络中基于强化学习的资源分配方法及装置
CN110287034A (zh) 一种可充电移动边缘计算中能量-延迟平衡的动态任务分配方法
Yao et al. Achieving high throughput with predictive resource allocation
Kan et al. QoS-aware mobile edge computing system: Multi-server multi-user scenario
Peng et al. Optimal power management under delay constraint in cellular networks with hybrid energy sources
Liu et al. Mobility-aware task offloading and migration schemes in scns with mobile edge computing
Lan et al. A hierarchical game for joint wireless and cloud resource allocation in mobile edge computing system
Wang et al. Distributed energy saving for heterogeneous multi-layer mobile edge computing
Li et al. Optimal D2D cooperative caching system in SDN based wireless network
Gong et al. Proactive push with energy harvesting based small cells in heterogeneous networks
Liao et al. Multi-MEC server multi-user resource allocation in heterogeneous network
Huang et al. Computing resource allocation and offloading method based on simulated annealing algorithm
CN107995034A (zh) 一种密集蜂窝网络能量与业务协作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant