CN108632862B - 基于深度确定性策略梯度的移动边缘计算分流决策方法 - Google Patents

基于深度确定性策略梯度的移动边缘计算分流决策方法 Download PDF

Info

Publication number
CN108632862B
CN108632862B CN201810343313.5A CN201810343313A CN108632862B CN 108632862 B CN108632862 B CN 108632862B CN 201810343313 A CN201810343313 A CN 201810343313A CN 108632862 B CN108632862 B CN 108632862B
Authority
CN
China
Prior art keywords
user
state
task
decision
execution unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810343313.5A
Other languages
English (en)
Other versions
CN108632862A (zh
Inventor
黄亮
冯旭
钱丽萍
吴远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810343313.5A priority Critical patent/CN108632862B/zh
Publication of CN108632862A publication Critical patent/CN108632862A/zh
Application granted granted Critical
Publication of CN108632862B publication Critical patent/CN108632862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种基于深度确定性策略梯度方法的移动边缘计算分流决策方法，包括以下步骤：1)计算出在给出分流决策下系统中所有的能量损耗；2)通过深度确定性策略方法来寻找一个最优的分流决策xnm，所有用户的分流决策xnm都被编进执行单元所需的状态xt；3)所有无线设备的分流决策xnm作为深度确定性策略方法的状态xt，动作a则是对状态xt的更改，更改后系统的总能量损耗会与一个设定的标准值进行比较，如果比这个标准值大则使当前奖励r(xt，a)设为正值，反之设为负值，同时系统进入下一状态xt+1，不断重复这个迭代过程直到得到最佳分流决策xnm。本发明在保证用户体验的前提下最小化能量损耗。

Description

基于深度确定性策略梯度的移动边缘计算分流决策方法
技术领域
本发明属于通信领域，尤其是涉及移动边缘计算的通信系统以及基于深度确定性策略梯度方法的移动边缘计算分流决策方法。
背景技术
随着无线通信技术的广泛发展，无线通信技术已经渗入到人类生活的方方面面。移动边缘计算拓展了移动设备的能力，在丰富的云资源的帮助下，用户体验得到极大提升。在一个多用户的移动通信系统中，所有用户共同占用传输资源。用户将自身的任务分流至基站或者云端时，可以减少自己的能量损耗，但这些被分流的任务的服务质量会受一些额外损耗的影响，比如传输延时。为了最小化所有的能量损耗，保证服务质量，最优的任务分流决策方法应用是很有必要的。
发明内容
为了克服现有移动通信网络的能量损耗较大的不足，为了最小化系统中所有的能量损耗，保证服务质量，本发明提供了一种适用于移动边缘计算的基于深度确定性策略梯度方法的分流决策方法，在保证用户体验的前提下最小化能量损耗。
本发明解决其技术问题所采取的技术方案是：
一种基于深度确定性策略梯度方法的移动边缘计算分流决策方法，所述方法，包括以下步骤：
1)在一个由多个用户组成，并且每个用户都有多个独立的任务的移动通信系统中，xnm为用户n的任务m的分流决策，如果xnm为1则表示用户n的任务m将被分流至基站或云端处理，xnm为0则表示在本地处理；当用户n的任务m被分流时，其上行传输速率
Figure GDA0002963621320000021
和下行传输速率
Figure GDA0002963621320000022
受传输总带宽CU和CD的限制；当用户n的任务m在本地处理时，本地移动设备所产生的能量损耗为
Figure GDA0002963621320000023
如果在云端处理时，所产生的能量损耗为
Figure GDA0002963621320000024
系统总损耗最小化表示为：
Figure GDA0002963621320000025
约束条件为：
Figure GDA0002963621320000026
Figure GDA0002963621320000027
Figure GDA0002963621320000028
Figure GDA0002963621320000029
式中：
Figure GDA00029636213200000210
Figure GDA00029636213200000211
其中，各参数定义如下：
N：用户人数；
M：每个用户的任务数；
xnm：用户n的任务m的分流决策，为1时表示在云端处理，为0时在本地处理；
Figure GDA00029636213200000212
用户n的任务m在本地处理时的能量损耗；
Figure GDA00029636213200000213
用户n的任务m被分流时，传输过程中能量损耗；
Figure GDA00029636213200000214
用户n的任务m在云端处理时的能量损耗；
ρ：在云端处理时，能量损耗的转化权重；
ωn：用户n延时损耗的转化权重；
Figure GDA00029636213200000215
用户n的任务m在本地处理时的延时损耗；
Figure GDA00029636213200000216
用户n的任务在云端处理时的总延时损耗；
2)为了保证服务质量，当任务在云端处理时，数据从本地上传到云端所消耗的时间以及处理时间都将被考虑在内，每个用户n的任务由发送数据DOnm和接收数据DInm组成，当任务分流至云端时，期间所消耗的时间与本地和基站间的传输速率RAC相关；在云端处理时，时间消耗由发送数据大小和云端处理速度fC决定；由于数据传输和处理时间会有重叠，而重叠部分难以估算，所以总的时间损耗考虑为所有时间消耗的总和
Figure GDA0002963621320000031
Figure GDA0002963621320000032
式中：
Figure GDA0002963621320000033
Figure GDA0002963621320000034
其中，各参数定义如下：
DInm：用户n的任务m的接收数据大小；
DOnm：用户n的任务m的发送数据大小；
Figure GDA0002963621320000035
用户n的上传速度；
Figure GDA0002963621320000036
用户n的下行速度；
RAC：基站与云端的传输速率；
ATnm：每处理单位的数据需要的处理循环次数；
fC：云端处理器的处理速度；
3)通过深度确定性策略梯度方法来寻找一个最优的分流决策，即所有用户的分流决策xnm，该深度确定性策略梯度方法由执行单元，评分单元和环境所组成，所有用户的分流决策xnm都被编进了执行单元所需的状态xt，执行单元在当前状态下采取动作a对分流决策xnm进行更改并进入下一个状态xt+1，同时得到环境返回的奖励r(xt,a)，评分单元结合状态xt，动作a以及环境返回的奖励r(xt,a)给执行单元打分，即表明执行单元在状态xt下采取动作a是好是坏；执行单元的目标就是让评分单元所打的分越高越好，而评分单元的目标是让自己每次打出的分都接近真实，这可以通过奖励r(xt,a)来调节；在执行单元，评分单元和环境不断交互更新下，分流决策xnm将不断被优化直到被更新到最优，评分单元的更新方式为：
S(xt,a)＝r(xt,a)+γS′(xt+1,a′) (3)
其中，各参数定义如下：
xt：在时刻t，系统所处状态；
xt+1：在时刻t+1，系统所处状态；
a：在当前状态执行单元所采取的动作；
a′：在下一状态执行单元所采取的动作；
S(xt,a)：执行单元中的评估网络在状态xt下采取动作a所得到的分值；
S′(xt+1,a′)：执行单元中的目标网络在状态xt+1下采取动作a′所得到的分值；
r(xt,a)：在状态xt下采取动作a所得到的奖励；
γ：奖励衰减比重；
4)所有用户的分流决策xnm作为深度确定性策略梯度方法的状态xt，动作a则是对状态xt的更改，更改后系统的总损耗会与一个设定的标准值进行比较，如果比这个标准值大则使当前奖励r(xt,a)设为正值，反之设为负值，同时系统进入下一状态xt+1。
进一步，所述步骤4)中，深度确定性策略梯度方法的迭代过程为：
步骤4.1：初始化深度确定性策略梯度方法中的执行单元，评分单元和记忆库。当前系统状态为xt，t初始化为1，迭代次数k初始化为1；
步骤4.2：当k小于或等于给定迭代次数K时，在状态xt下，执行单元预测出一个动作a；
步骤4.3：动作a对状态xt进行更改，使其变成下一状态xt+1并得到环境所反馈的奖励r(xt,a)；
步骤4.4：按照格式(xt,a,r(xt,a),xt+1)把历史经验保存在记忆库中；
步骤4.5：评分单元接收动作a，状态xt和奖励r(xt,a)，给执行单元打出分数S(xt,a)；
步骤4.6：执行单元通过更新自身参数不断去最大化分数S(xt,a)，尽可能地让自己在下次能做出高分动作；
步骤4.7：评分单元抽取记忆库中的历史经验，不断学习，更新参数使得自己所打的分尽可能准确，同时k＝k+1，回到步骤5.2；
步骤4.8：当k大于给定迭代次数K时，学习过程结束，得到最佳分流决策xnm。
本发明的技术构思为：首先，在一个多用户的移动通信系统中，所有用户共同占用传输资源。用户将自身的任务分流至基站或者云端时，可以减少自己的能量损耗，但这些被分流的任务的服务质量会受一些额外损耗的影响，比如传输延时。如果用户的所有任务都在云端处理那么云端的能量损耗和传输损耗将直线上升，如果全部在本地处理，又会消耗用户很多的能量和时间。为了最小化整体的能量损耗，保证服务质量，提出了一种能找到最优的任务分流决策的方法。
本发明的有益效果主要表现在：通过深度确定性策略梯度方法寻找出最优的分流决策方法，在保证用户体验的前提下最小化能量损耗，保证服务质量。
附图说明
图1是系统模型示意图。
图2是找到最优的分流决策的方法流程图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
参照图1和图2，一种基于深度确定性策略梯度方法的移动边缘计算分流决策方法，实行该方法能最小化整体的能量损耗，保证服务质量。本发明基于多用户的系统模型(如图1所示)，提出了一个分流决策方法来决定哪些用户的哪些任务会被分流至云端，同时如果任务被选择分流，那它的上下行速率也会得到优化以达到最小的能量损耗。所述分流决策方法包括有以下步骤(如图2所示)：
1)在一个由多个用户组成，并且每个用户都有多个独立的任务的移动通信系统中，xnm为用户n的任务m的分流决策，如果xnm为1则表示用户n的任务m将被分流至基站或云端处理，xnm为0则表示在本地处理；当用户n的任务m被分流时，其上行传输速率
Figure GDA0002963621320000061
和下行传输速率
Figure GDA0002963621320000062
受传输总带宽CU和CD的限制；当用户n的任务m在本地处理时，本地移动设备所产生的能量损耗为
Figure GDA0002963621320000063
如果在云端处理时，所产生的能量损耗为
Figure GDA0002963621320000064
系统总损耗最小化表示为：
Figure GDA0002963621320000065
约束条件为：
Figure GDA0002963621320000066
Figure GDA0002963621320000067
Figure GDA0002963621320000068
Figure GDA0002963621320000069
式中：
Figure GDA0002963621320000071
Figure GDA0002963621320000072
其中，各参数定义如下：
N：用户人数；
M：每个用户的任务数；
xnm：用户n的任务m的分流决策，为1时表示在云端处理，为0时在本地处理；
Figure GDA0002963621320000073
用户n的任务m在本地处理时的能量损耗；
Figure GDA0002963621320000074
用户n的任务m被分流时，传输过程中能量损耗；
Figure GDA0002963621320000075
用户n的任务m在云端处理时的能量损耗；
ρ：在云端处理时，能量损耗的转化权重；
ωn：用户n延时损耗的转化权重；
Figure GDA0002963621320000076
用户n的任务m在本地处理时的延时损耗；
Figure GDA0002963621320000077
用户n的任务在云端处理时的总延时损耗；
2)为了保证服务质量，当任务在云端处理时，数据从本地上传到云端所消耗的时间以及处理时间都将被考虑在内，每个用户n的任务由发送数据DOnm和接收数据DInm组成，当任务分流至云端时，期间所消耗的时间与本地和基站间的传输速率RAC相关。在云端处理时，时间消耗由发送数据大小和云端处理速度fC决定。由于数据传输和处理时间会有重叠，而重叠部分难以估算，所以总的时间损耗考虑为所有时间消耗的总和
Figure GDA0002963621320000078
Figure GDA0002963621320000079
式中：
Figure GDA0002963621320000081
Figure GDA0002963621320000082
其中，各参数定义如下：
DInm：用户n的任务m的接收数据大小；
DOnm：用户n的任务m的发送数据大小；
Figure GDA0002963621320000083
用户n的上传速度；
Figure GDA0002963621320000084
用户n的下行速度；
RAC：基站与云端的传输速率；
ATnm：每处理单位的数据需要的处理循环次数；
fC：云端处理器的处理速度；
3)通过深度确定性策略梯度方法来寻找一个最优的分流决策，即所有用户的分流决策xnm。该深度确定性策略梯度方法由执行单元，评分单元和环境所组成。所有用户的分流决策
Figure GDA0002963621320000085
和
Figure GDA0002963621320000086
都被编进了执行单元所需的状态xt，执行单元在当前状态下采取动作a对分流决策
Figure GDA0002963621320000087
和
Figure GDA0002963621320000088
进行更改并进入下一个状态xt+1，同时得到环境返回的奖励r(xt,a)；评分单元结合状态xt，动作a以及环境返回的奖励r(xt,a)给执行单元打分，即表明执行单元在状态xt下采取动作a是好是坏；执行单元的目标就是让评分单元所打的分越高越好，而评分单元的目标是让自己每次打出的分都接近真实，这可以通过奖励r(xt,a)来调节；在执行单元，评分单元和环境不断交互更新下，分流决策xnm将不断被优化直到被更新到最优，评分单元的更新方式为：
S(xt,a)＝r(xt,a)+γS′(xt+1,a′) (3)
其中，各参数定义如下：
xt：在时刻t，系统所处状态；
xt+1：在时刻t+1，系统所处状态；
a：在当前状态执行单元所采取的动作；
a′：在下一状态执行单元所采取的动作；
S(xt,a)：执行单元中的评估网络在状态xt下采取动作a所得到的分值；
S′(xt+1,a′)：执行单元中的目标网络在状态xt+1下采取动作a′所得到的分值；
r(xt,a)：在状态xt下采取动作a所得到的奖励；
γ：奖励衰减比重；
4)所有用户的分流决策xnm作为深度确定性策略梯度方法的状态xt，动作a则是对状态xt的更改，更改后系统的总损耗会与一个设定的标准值进行比较，如果比这个标准值大则使当前奖励r(xt,a)设为正值，反之设为负值，同时系统进入下一状态xt+1。
进一步，所述步骤4)中，深度确定性策略梯度方法的迭代过程为：
步骤4.1：初始化深度确定性策略梯度方法中的执行单元，评分单元和记忆库。当前系统状态为xt，t初始化为1，迭代次数k初始化为1；
步骤4.2：当k小于或等于给定迭代次数K时，在状态xt下，执行单元预测出一个动作a；
步骤4.3：动作a对状态xt进行更改，使其变成下一状态xt+1并得到环境所反馈的奖励r(xt,a)；
步骤4.4：按照格式(xt,a,r(xt,a),xt+1)把历史经验保存在记忆库中；
步骤4.5：评分单元接收动作a，状态xt和奖励r(xt,a)，给执行单元打出分数S(xt,a)；
步骤4.6：执行单元通过更新自身参数不断去最大化分数S(xt,a)，尽可能地让自己在下次能做出高分动作；
步骤4.7：评分单元抽取记忆库中的历史经验，不断学习，更新参数使得自己所打的分尽可能准确，同时k＝k+1，回到步骤5.2；
步骤4.8：当k大于给定迭代次数K时，学习过程结束，得到最佳分流决策xnm。

Claims (2)

1.一种基于深度确定性策略梯度的移动边缘计算分流决策方法，其特征在于，所述方法包括以下步骤：
1)在一个由多个用户组成，并且每个用户都有多个独立的任务的移动通信系统中，xnm为用户n的任务m的分流决策，如果xnm为1则表示用户n的任务m将被分流至基站或云端处理，xnm为0则表示在本地处理；当用户n的任务m被分流时，其上行传输速率
Figure FDA0002963621310000011
和下行传输速率
Figure FDA0002963621310000012
受传输总带宽CU和CD的限制；当用户n的任务m在本地处理时，本地移动设备所产生的能量损耗为
Figure FDA0002963621310000013
如果在云端处理时，所产生的能量损耗为
Figure FDA0002963621310000014
系统总损耗最小化表示为：
Figure FDA0002963621310000015
约束条件为：
Figure FDA0002963621310000016
Figure FDA0002963621310000017
Figure FDA0002963621310000018
Figure FDA0002963621310000019
式中：
Figure FDA00029636213100000110
Figure FDA00029636213100000111
其中，各参数定义如下：
N：用户人数；
M：每个用户的任务数；
xnm：用户n的任务m的分流决策，为1时表示在云端处理，为0时在本地处理；
Figure FDA00029636213100000112
用户n的任务m在本地处理时的能量损耗；
Figure FDA0002963621310000021
用户n的任务m被分流时，传输过程中能量损耗；
Figure FDA0002963621310000022
用户n的任务m在云端处理时的能量损耗；
ρ：在云端处理时，能量损耗的转化权重；
ωn：用户n延时损耗的转化权重；
Figure FDA0002963621310000023
用户n的任务m在本地处理时的延时损耗；
Figure FDA0002963621310000024
用户n的任务在云端处理时的总延时损耗；
2)为了保证服务质量，当任务在云端处理时，数据从本地上传到云端所消耗的时间以及处理时间都将被考虑在内，每个用户n的任务由发送数据DOnm和接收数据DInm组成，当任务分流至云端时，期间所消耗的时间与本地和基站间的传输速率RAC相关；在云端处理时，时间消耗由发送数据大小和云端处理速度fC决定；由于数据传输和处理时间会有重叠，而重叠部分难以估算，所以总的时间损耗考虑为所有时间消耗的总和
Figure FDA0002963621310000025
Figure FDA0002963621310000026
式中：
Figure FDA0002963621310000027
Figure FDA0002963621310000028
其中，各参数定义如下：
DInm：用户n的任务m的接收数据大小；
DOnm：用户n的任务m的发送数据大小；
Figure FDA0002963621310000029
用户n的上传速度；
Figure FDA00029636213100000210
用户n的下行速度；
RAC：基站与云端的传输速率；
ATnm：每处理单位的数据需要的处理循环次数；
fC：云端处理器的处理速度；
3)通过深度确定性策略梯度方法来寻找一个最优的分流决策，即所有用户的分流决策xnm，该深度确定性策略梯度方法由执行单元，评分单元和环境所组成，所有用户的分流决策xnm都被编进了执行单元所需的状态xt，执行单元在当前状态下采取动作a对分流决策xnm进行更改并进入下一个状态xt+1，同时得到环境返回的奖励r(xt，a)，评分单元结合状态xt，动作a以及环境返回的奖励r(xt，a)给执行单元打分，即表明执行单元在状态xt下采取动作a是好是坏，执行单元的目标就是让评分单元所打的分越高越好，而评分单元的目标是让自己每次打出的分都接近真实，这可以通过奖励r(xt，a)来调节；在执行单元，评分单元和环境不断交互更新下，分流决策xnm将不断被优化直到被更新到最优，评分单元的更新方式为：
S(xt，a)＝r(xt，a)+γS′(xt+1，a′) (3)
其中，各参数定义如下：
xt：在时刻t，系统所处状态；
xt+1：在时刻t+1，系统所处状态；
a：在当前状态执行单元所采取的动作；
a′：在下一状态执行单元所采取的动作；
S(xt，a)：执行单元中的评估网络在状态xt下采取动作a所得到的分值；
S′(xt+1，a′)：执行单元中的目标网络在状态xt+1下采取动作a′所得到的分值；
r(xt，a)：在状态xt下采取动作a所得到的奖励；
γ：奖励衰减比重；
4)所有用户的分流决策xnm作为深度确定性策略梯度方法的状态xt，动作a则是对状态xt的更改，更改后系统的总损耗会与一个设定的标准值进行比较，如果比这个标准值大则使当前奖励r(xt，a)设为正值，反之设为负值，同时系统进入下一状态xt+1。
2.如权利要求1所述的基于深度确定性策略梯度的移动边缘计算分流决策方法，其特征在于，所述步骤4)中，深度确定性策略梯度方法的迭代过程为：
步骤4.1：初始化深度确定性策略梯度方法中的执行单元，评分单元和记忆库，当前系统状态为xt，t初始化为1，迭代次数k初始化为1；
步骤4.2：当k小于或等于给定迭代次数K时，在状态xt下，执行单元预测出一个动作a；
步骤4.3：动作a对状态xt进行更改，使其变成下一状态xt+1并得到环境所反馈的奖励r(xt，a)；
步骤4.4：按照格式(xt，a，r(xt，a)，xt+1)把历史经验保存在记忆库中；
步骤4.5：评分单元接收动作a，状态xt和奖励r(xt，a)，给执行单元打出分数S(xt，a)；
步骤4.6：执行单元通过更新自身参数不断去最大化分数S(xt，a)，尽可能地让自己在下次能做出高分动作；
步骤4.7：评分单元抽取记忆库中的历史经验，不断学习，更新参数使得自己所打的分尽可能准确，同时k＝k+1，回到步骤5.2；
步骤4.8：当k大于给定迭代次数K时，学习过程结束，得到最佳分流决策xnm。
CN201810343313.5A 2018-04-17 2018-04-17 基于深度确定性策略梯度的移动边缘计算分流决策方法 Active CN108632862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810343313.5A CN108632862B (zh) 2018-04-17 2018-04-17 基于深度确定性策略梯度的移动边缘计算分流决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810343313.5A CN108632862B (zh) 2018-04-17 2018-04-17 基于深度确定性策略梯度的移动边缘计算分流决策方法

Publications (2)

Publication Number Publication Date
CN108632862A CN108632862A (zh) 2018-10-09
CN108632862B true CN108632862B (zh) 2021-06-18

Family

ID=63705436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810343313.5A Active CN108632862B (zh) 2018-04-17 2018-04-17 基于深度确定性策略梯度的移动边缘计算分流决策方法

Country Status (1)

Country Link
CN (1) CN108632862B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107708135A (zh) * 2017-07-21 2018-02-16 上海交通大学 一种适用于移动边缘计算场景的资源分配方法
CN107734558A (zh) * 2017-10-26 2018-02-23 北京邮电大学 一种基于多服务器的移动边缘计算控制及资源调度方法
CN107846704A (zh) * 2017-10-26 2018-03-27 北京邮电大学 一种基于移动边缘计算的资源分配及基站服务部署方法
CN107872823A (zh) * 2016-09-28 2018-04-03 维布络有限公司 识别移动边缘计算环境中通信操作模式的方法和系统
US9942825B1 (en) * 2017-03-27 2018-04-10 Verizon Patent And Licensing Inc. System and method for lawful interception (LI) of Network traffic in a mobile edge computing environment
CN107911242A (zh) * 2017-11-15 2018-04-13 北京工业大学 一种基于工业无线网络的认知无线电与边缘计算方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107872823A (zh) * 2016-09-28 2018-04-03 维布络有限公司 识别移动边缘计算环境中通信操作模式的方法和系统
US9942825B1 (en) * 2017-03-27 2018-04-10 Verizon Patent And Licensing Inc. System and method for lawful interception (LI) of Network traffic in a mobile edge computing environment
CN107708135A (zh) * 2017-07-21 2018-02-16 上海交通大学 一种适用于移动边缘计算场景的资源分配方法
CN107734558A (zh) * 2017-10-26 2018-02-23 北京邮电大学 一种基于多服务器的移动边缘计算控制及资源调度方法
CN107846704A (zh) * 2017-10-26 2018-03-27 北京邮电大学 一种基于移动边缘计算的资源分配及基站服务部署方法
CN107911242A (zh) * 2017-11-15 2018-04-13 北京工业大学 一种基于工业无线网络的认知无线电与边缘计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于移动边缘计算的任务迁移策略研究;邓茂菲;《中国优秀硕士学位论文全文数据库，信息科技辑（月刊）》;20180315(第03期);全文 *

Also Published As

Publication number Publication date
CN108632862A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108632861B (zh) 一种基于深度强化学习的移动边缘计算分流决策方法
CN111240701B (zh) 一种端-边-云协同计算的任务卸载优化方法
CN109947545B (zh) 一种基于用户移动性的任务卸载及迁移的决策方法
Liu et al. Wireless distributed learning: A new hybrid split and federated learning approach
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
US12035380B2 (en) Industrial 5G dynamic multi-priority multi-access method based on deep reinforcement learning
CN113469325B (zh) 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN114595632A (zh) 一种基于联邦学习的移动边缘缓存优化方法
CN108600002B (zh) 一种基于半监督学习的移动边缘计算分流决策方法
CN110428115A (zh) 基于深度强化学习的动态环境下的最大化系统效益方法
CN112804107A (zh) 一种物联网设备能耗自适应控制的分层联邦学习方法
CN112788605B (zh) 基于双延迟深度确定性策略边缘计算资源调度方法和系统
CN116546559B (zh) 分布式多目标空地联合轨迹规划和卸载调度方法及系统
CN115473896A (zh) 基于dqn算法的电力物联网卸载策略和资源配置优化方法
CN116321293A (zh) 基于多智能体强化学习的边缘计算卸载和资源分配方法
CN117580105B (zh) 一种面向电网巡检的无人机任务卸载优化方法
Wang et al. Deep reinforcement learning based joint partial computation offloading and resource allocation in mobility-aware MEC system
CN108632862B (zh) 基于深度确定性策略梯度的移动边缘计算分流决策方法
CN115756873B (zh) 一种基于联邦强化学习的移动边缘计算卸载方法和平台
CN112600869A (zh) 基于td3算法的计算卸载分配方法和装置
CN112231009A (zh) 一种能量捕获网络模型任务计算卸载决策与调度方法
CN116566466A (zh) 一种面向低轨卫星星座的多目标动态偏好星地协同计算卸载方法
CN116306915A (zh) 一种面向大规模物联网协同智能的无线联邦学习方法
CN114189877B (zh) 一种面向5g基站的复合式能耗优化控制方法
CN113342529B (zh) 基于强化学习的无小区大规模多天线架构下移动边缘计算卸载方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant