CN108632861A - 一种基于深度强化学习的移动边缘计算分流决策方法 - Google Patents

一种基于深度强化学习的移动边缘计算分流决策方法 Download PDF

Info

Publication number
CN108632861A
CN108632861A CN201810343312.0A CN201810343312A CN108632861A CN 108632861 A CN108632861 A CN 108632861A CN 201810343312 A CN201810343312 A CN 201810343312A CN 108632861 A CN108632861 A CN 108632861A
Authority
CN
China
Prior art keywords
user
task
clouds
decision
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810343312.0A
Other languages
English (en)
Other versions
CN108632861B (zh
Inventor
黄亮
冯旭
钱丽萍
吴远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Qizhi Technology Co ltd
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810343312.0A priority Critical patent/CN108632861B/zh
Publication of CN108632861A publication Critical patent/CN108632861A/zh
Application granted granted Critical
Publication of CN108632861B publication Critical patent/CN108632861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/10—Flow control between communication endpoints
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

一种基于深度强化学习的移动边缘计算分流决策方法，包括以下步骤：1)计算出在给出分流决策下移动通信系统中所有的能量损耗；2)当用户任务被分流时，计算出在传输过程及处理过程中的延时损耗；3)通过深度强化学习算法来寻找一个最优的分流决策方案；4)所有用户的分流决策xnm和上下行速率和作为强化学习的系统状态xt，动作a则是对系统状态xt的更改，如果改后的系统的总损耗比之前的要小，则使当前奖励r(xt，a)设为正值，反之设为负值，同时系统进入下一状态xt+1，不断重复这个迭代过程直到得到最佳分流决策xnm和上下行速率和本发明在保证用户体验的前提下最小化能量损耗。

Description

一种基于深度强化学习的移动边缘计算分流决策方法
技术领域
本发明属于通信领域，尤其是涉及移动边缘计算的通信系统以及用于基站节点的基于深度强化学习的用户任务分流决策方法。
背景技术
随着无线通信技术的广泛发展，无线通信技术已经渗入到人类生活的方方面面。移动边缘计算拓展了移动设备的能力，在丰富的云资源的帮助下，用户体验得到极大提升。在一个多用户的移动通信系统中，所有用户共同占用传输资源。用户将自身的任务分流至基站或者云端时，可以减少自己的能量损耗，但这些被分流的任务的服务质量会受一些额外损耗的影响，比如传输延时。为了最小化所有的能量损耗，传输损耗和延时损耗，保证服务质量，最优的任务分流决策方法应用是很有必要的。
发明内容
为了克服现有移动通信系统的能量损耗较大的不足，为了最小化系统中所有的能量损耗，传输损耗和延时损耗，保证服务质量，本发明提供了一种适用于移动边缘计算的基于深度强化学习的分流决策方法，在保证用户体验的前提下最小化能量损耗。
本发明解决其技术问题所采取的技术方案是：
一种基于深度强化学习的移动边缘计算分流决策方法，所述方法，包括以下步骤：
1)在一个由多个用户组成，并且每个用户都有多个独立的任务的移动通信系统中，xnm为用户n的任务m的分流决策，如果xnm为1则表示用户n的任务m将被分流至基站或云端处理，xnm为0则表示在本地处理；当用户n的任务m被分流时，其上行传输速率和下行传输速率受传输总带宽CU和CD的限制；当用户n的任务m在本地处理时，本地移动设备所产生的能量损耗为如果在云端处理时，所产生的能量损耗为系统总损耗最小化表示为：
约束条件为：
式中：
其中，各参数定义如下：
N：用户人数；
M：每个用户的任务数；
xnm：用户n的任务m的分流决策，为1时表示在云端处理，为0时在本地处理；
用户n的任务m在本地处理时的能量损耗；
用户n的任务m被分流时，传输过程中能量损耗；
用户n的任务m在云端处理时的能量损耗；
ρ：在云端处理时，能量损耗的转化权重；
ωn：用户n延时损耗的转化权重；
用户n的任务m在本地处理时的延时损耗；
用户n的任务在云端处理时的总延时损耗；
2)为了保证服务质量，当任务在云端处理时，数据从本地上传到云端所消耗的时间以及处理时间都将被考虑在内，每个用户n的任务由发送数据DOnm和接收数据DInm组成，当任务分流至云端时，期间所消耗的时间与本地和基站间的传输速率RAC相关；在云端处理时，时间消耗由发送数据大小和云端处理速度fC决定；由于数据传输和处理时间会有重叠，而重叠部分难以估算，所以总的时间损耗考虑为所有时间消耗的总和
式中：
其中，各参数定义如下：
DInm：用户n的任务m的接收数据大小；
DOnm：用户n的任务m的发送数据大小；
用户n的上传速度；
用户n的下行速度；
基站与云端的传输速率；
ATnm：每处理单位的数据需要的处理循环次数；
fC：云端处理器的处理速度；
3)通过强化学习算法来寻找一个最优的分流决策和资源调度方案，即所有用户的分流决策xnm和上下行速率和分配，该强化学习系统由智能体和环境所组成，所有用户的分流决策xnm和上下行速率和都被编进了系统当前状态xt，智能体在当前状态下采取动作a进入下一个状态xt+1，同时得到环境返回的奖励r(xt,a)。在智能体和环境不断交互更新下，分流决策xnm和上下行速率和将不断被优化直到找到最优的，智能体的更新方式为：
Qθ(xt,a)＝r(xt,a)+γmaxQθ′(xt+1,a′) (3)
其中，各参数定义如下：
θ：评估网络中的参数；
θ′：目标网络中的参数；
xt：在时刻t，系统所处状态；
Qθ(xt,a)：在状态xt下采取动作a所得到的Q值；
r(xt,a)：在状态xt下采取动作a所得到的奖励；
γ：奖励衰减比重；
4)所有用户的分流决策xnm和上下行速率和作为深度强化学习的系统状态xt，动作a则是对系统状态xt的更改，如果改后的系统的总损耗比之前的要小，则使当前奖励r(xt,a)设为正值，反之设为负值，同时系统进入下一状态xt+1。
进一步，所述步骤4)中，强化学习的迭代过程为：
步骤4.1：初始化强化学习中的评估网络，目标网络和记忆库。当前系统状态为xt，t初始化为1，迭代次数k初始化为1；
步骤4.2：当k小于或等于给定迭代次数K时，随机选择一个概率p；
步骤4.3：如果p小于或等于ε；则选择评估网络所输出的动作a(t)，否则随机选择一个动作；
步骤4.4：采取动作a(t)后，得到奖励r(t)和下一步状态x(t+1)，并将这些信息按照格式(x(t),a(t),r(t),x(t+1))保存在记忆库中；
步骤4.5：结合目标网络的输出，计算评估网络的目标
y＝r(xt,a)+γmaxQθ′(xt+1,a′)；
步骤4.6：最小化误差(y-Q(x(t),a(t)；θ))2，同时更新评估网络的参数θ，使得其下次能预测得更准；
步骤4.7：每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，回到步骤4.2；
步骤4.8：当k大于给定迭代次数K时，学习过程结束，得到最佳分流决策xnm和上下行速率和
本发明的技术构思为：首先，在一个多用户的移动通信系统中，所有用户共同占用传输资源。用户将自身的任务分流至基站或者云端时，可以减少自己的能量损耗，但这些被分流的任务的服务质量会受一些额外损耗的影响，比如传输延时。如果用户的所有任务都在云端处理那么云端的能量损耗和传输损耗将直线上升，如果全部在本地处理，又会消耗用户很多的能量和时间。为了最小化整体的能量损耗，传输损耗和延时损耗，保证服务质量，提出了一种能找到最优的任务分流决策的方法。
本发明的有益效果主要表现在：通过深度强化学习寻找出最优的分流决策方法，在保证用户体验的前提下最小化能量损耗，保证服务质量。
附图说明
图1是系统模型示意图。
图2是找到最优分流决策的方法流程图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
参照图1和图2，一种基于深度强化学习的移动边缘计算分流决策方法，实行该方法能最小化整体的能量损耗，传输损耗和延时损耗，保证服务质量，本发明基于多用户的系统模型(如图1所示)，提出了一个分流决策方法来决定哪些用户的哪些任务会被分流至云端，同时如果任务被选择分流，那它的上下行速率也会得到优化以达到最小的能量损耗。所述分流决策方法包括有以下步骤(如图2所示)：
1)在一个由多个用户组成，并且每个用户都有多个独立的任务的移动通信系统中，xnm为用户n的任务m的分流决策，如果xnm为1则表示用户n的任务m将被分流至基站或云端处理，xnm为0则表示在本地处理；当用户n的任务m被分流时，其上行传输速率和下行传输速率受传输总带宽CU和CD的限制；当用户n的任务m在本地处理时，本地移动设备所产生的能量损耗为如果在云端处理时，所产生的能量损耗为系统总损耗最小化表示为：
约束条件为：
式中：
其中，各参数定义如下：
N：用户人数；
M：每个用户的任务数；
xnm：用户n的任务m的分流决策，为1时表示在云端处理，为0时在本地处理；
用户n的任务m在本地处理时的能量损耗；
用户n的任务m被分流时，传输过程中能量损耗；
用户n的任务m在云端处理时的能量损耗；
ρ：在云端处理时，能量损耗的转化权重；
ωn：用户n延时损耗的转化权重；
用户n的任务m在本地处理时的延时损耗；
用户n的任务在云端处理时的总延时损耗；
2)为了保证服务质量，当任务在云端处理时，数据从本地上传到云端所消耗的时间以及处理时间都将被考虑在内，每个用户n的任务由发送数据DOnm和接收数据DInm组成，当任务分流至云端时，期间所消耗的时间与本地和基站间的传输速率RAC相关；在云端处理时，时间消耗由发送数据大小和云端处理速度fC决定；由于数据传输和处理时间会有重叠，而重叠部分难以估算，所以总的时间损耗考虑为所有时间消耗的总和
式中：
其中，各参数定义如下：
DInm：用户n的任务m的接收数据大小；
DOnm：用户n的任务m的发送数据大小；
用户n的上传速度；
用户n的下行速度；
RAC：基站与云端的传输速率；
ATnm：每处理单位的数据需要的处理循环次数；
fC：云端处理器的处理速度；
3)通过强化学习算法来寻找一个最优的分流决策和资源调度方案，即所有用户的分流决策xnm和上下行速率和分配。该强化学习系统由智能体和环境所组成；所有用户的分流决策xnm和上下行速率和都被编进了系统当前状态xt，智能体在当前状态下采取动作a进入下一个状态xt+1，同时得到环境返回的奖励r(xt,a)，在智能体和环境不断交互更新下，分流决策xnm和上下行速率和将不断被优化直到找到最优的，智能体的更新方式为：
Qθ(xt,a)＝r(xt,a)+γmaxQθ′(xt+1,a′) (3)
其中，各参数定义如下：
θ：评估网络中的参数；
θ′：目标网络中的参数；
xt：在时刻t，系统所处状态；
Qθ(xt,a)：在状态xt下采取动作a所得到的Q值；
r(xt,a)：在状态xt下采取动作a所得到的奖励；
γ：奖励衰减比重；
4)所有用户的分流决策xnm和上下行速率和作为深度强化学习的系统状态xt，动作a则是对系统状态xt的更改，如果改后的系统的总损耗比之前的要小，则使当前奖励r(xt,a)设为正值，反之设为负值，同时系统进入下一状态xt+1。
所述步骤4)中，强化学习的迭代过程为：
步骤4.1：初始化强化学习中的评估网络，目标网络和记忆库。当前系统状态为xt，t初始化为1，迭代次数k初始化为1；
步骤4.2：当k小于或等于给定迭代次数K时，随机选择一个概率p；
步骤4.3：如果p小于或等于ε；则选择评估网络所输出的动作a(t)，否则随机选择一个动作；
步骤4.4：采取动作a(t)后，得到奖励r(t)和下一步状态x(t+1)，并将这些信息按照格式(x(t),a(t),r(t),x(t+1))保存在记忆库中；
步骤4.5：结合目标网络的输出，计算评估网络的目标
y＝r(xt,a)+γmaxQθ′(xt+1,a′)；
步骤4.6：最小化误差(y-Q(x(t),a(t)；θ))2，同时更新评估网络的参数θ，使得其下次能预测得更准；
步骤4.7：每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，回到步骤4.2；
步骤4.8：当k大于给定迭代次数K时，学习过程结束，得到最佳分流决策xnm和上下行速率和

Claims (2)

1.一种基于深度强化学习的移动边缘计算分流决策方法，其特征在于，所述方法包括以下步骤：
1)在一个由多个用户组成，并且每个用户都有多个独立的任务的移动通信系统中，xnm为用户n的任务m的分流决策，如果xnm为1则表示用户n的任务m将被分流至基站或云端处理，xnm为0则表示在本地处理；当用户n的任务m被分流时，其上行传输速率和下行传输速率受传输总带宽CU和CD的限制；当用户n的任务m在本地处理时，本地移动设备所产生的能量损耗为如果在云端处理时，所产生的能量损耗为系统总损耗最小化表示为：
约束条件为：
式中：
其中，各参数定义如下：
N：用户人数；
M：每个用户的任务数；
xnm：用户n的任务m的分流决策，为1时表示在云端处理，为0时在本地处理；
用户n的任务m在本地处理时的能量损耗；
用户n的任务m被分流时，传输过程中能量损耗；
用户n的任务m在云端处理时的能量损耗；
ρ：在云端处理时，能量损耗的转化权重；
ωn：用户n延时损耗的转化权重；
用户n的任务m在本地处理时的延时损耗；
用户n的任务在云端处理时的总延时损耗；
2)为了保证服务质量，当任务在云端处理时，数据从本地上传到云端所消耗的时间以及处理时间都将被考虑在内，每个用户n的任务由发送数据DOnm和接收数据DInm组成，当任务分流至云端时，期间所消耗的时间与本地和基站间的传输速率RAC相关；在云端处理时，时间消耗由发送数据大小和云端处理速度fC决定，由于数据传输和处理时间会有重叠，而重叠部分难以估算，所以总的时间损耗考虑为所有时间消耗的总和
式中：
其中，各参数定义如下：
DInm：用户n的任务m的接收数据大小；
DOnm：用户n的任务m的发送数据大小；
用户n的上传速度；
用户n的下行速度；
RAC：基站与云端的传输速率；
ATnm：每处理单位的数据需要的处理循环次数；
fC：云端处理器的处理速度；
3)通过强化学习算法来寻找一个最优的分流决策和资源调度方案，即所有用户的分流决策xnm和上下行速率和分配；该强化学习系统由智能体和环境所组成；所有用户的分流决策xnm和上下行速率和都被编进了系统当前状态xt，智能体在当前状态下采取动作a进入下一个状态xt+1，同时得到环境返回的奖励r(xt,a)，在智能体和环境不断交互更新下，分流决策xnm和上下行速率和将不断被优化直到找到最优的，智能体的更新方式为：
Qθ(xt,a)＝r(xt,a)+γmaxQθ′(xt+1,a′) (3)
其中，各参数定义如下：
θ：评估网络中的参数；
θ′：目标网络中的参数；
xt：在时刻t，系统所处状态；
Qθ(xt,a)：在状态xt下采取动作a所得到的Q值；
r(xt,a)：在状态xt下采取动作a所得到的奖励；
γ：奖励衰减比重；
4)所有用户的分流决策xnm和上下行速率和作为深度强化学习的系统状态xt，动作a则是对系统状态xt的更改，如果改后的系统的总损耗比之前的要小，则使当前奖励r(xt,a)设为正值，反之设为负值，同时系统进入下一状态xt+1。
2.如权利要求1所述的一种基于深度强化学习的移动边缘计算分流决策方法，其特征在于，所述步骤4)中强化学习的迭代过程为：
步骤4.1：初始化强化学习中的评估网络，目标网络和记忆库，当前系统状态为xt，t初始化为1，迭代次数k初始化为1；
步骤4.2：当k小于或等于给定迭代次数K时，随机选择一个概率p；
步骤4.3：如果p小于或等于ε；则选择评估网络所输出的动作a(t)，否则随机选择一个动作；
步骤4.4：采取动作a(t)后，得到奖励r(t)和下一步状态x(t+1)，并将这些信息按照格式(x(t),a(t),r(t),x(t+1))保存在记忆库中；
步骤4.5：结合目标网络的输出，计算评估网络的目标y＝r(xt,a)+γmaxQθ′(xt+1,a′)；
步骤4.6：最小化误差(y-Q(x(t),a(t)；θ))2，同时更新评估网络的参数θ，使得其下次能预测得更准；
步骤4.7：每隔S步，将评估网络的参数赋值给目标网络，同时令k＝k+1，回到步骤4.2；
步骤4.8：当k大于给定迭代次数K时，学习过程结束，得到最佳分流决策xnm和上下行速率和
CN201810343312.0A 2018-04-17 2018-04-17 一种基于深度强化学习的移动边缘计算分流决策方法 Active CN108632861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810343312.0A CN108632861B (zh) 2018-04-17 2018-04-17 一种基于深度强化学习的移动边缘计算分流决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810343312.0A CN108632861B (zh) 2018-04-17 2018-04-17 一种基于深度强化学习的移动边缘计算分流决策方法

Publications (2)

Publication Number Publication Date
CN108632861A true CN108632861A (zh) 2018-10-09
CN108632861B CN108632861B (zh) 2021-06-18

Family

ID=63705448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810343312.0A Active CN108632861B (zh) 2018-04-17 2018-04-17 一种基于深度强化学习的移动边缘计算分流决策方法

Country Status (1)

Country Link
CN (1) CN108632861B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561504A (zh) * 2018-11-20 2019-04-02 北京邮电大学 一种基于深度强化学习的URLLC和eMBB的资源复用方法
CN109981723A (zh) * 2019-01-23 2019-07-05 桂林电子科技大学 基于深度强化学习的文件缓存处理系统及方法、通信系统
CN110519849A (zh) * 2019-07-25 2019-11-29 中国矿业大学 一种针对移动边缘计算的通信和计算资源联合分配方法
CN110989614A (zh) * 2019-12-18 2020-04-10 电子科技大学 一种基于深度强化学习的车辆边缘计算转移调度方法
CN113709201A (zh) * 2020-05-22 2021-11-26 华为技术有限公司 计算卸载的方法和通信装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107708135A (zh) * 2017-07-21 2018-02-16 上海交通大学 一种适用于移动边缘计算场景的资源分配方法
CN107734558A (zh) * 2017-10-26 2018-02-23 北京邮电大学 一种基于多服务器的移动边缘计算控制及资源调度方法
CN107846704A (zh) * 2017-10-26 2018-03-27 北京邮电大学 一种基于移动边缘计算的资源分配及基站服务部署方法
CN107872823A (zh) * 2016-09-28 2018-04-03 维布络有限公司 识别移动边缘计算环境中通信操作模式的方法和系统
US9942825B1 (en) * 2017-03-27 2018-04-10 Verizon Patent And Licensing Inc. System and method for lawful interception (LI) of Network traffic in a mobile edge computing environment
CN107911242A (zh) * 2017-11-15 2018-04-13 北京工业大学 一种基于工业无线网络的认知无线电与边缘计算方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107872823A (zh) * 2016-09-28 2018-04-03 维布络有限公司 识别移动边缘计算环境中通信操作模式的方法和系统
US9942825B1 (en) * 2017-03-27 2018-04-10 Verizon Patent And Licensing Inc. System and method for lawful interception (LI) of Network traffic in a mobile edge computing environment
CN107708135A (zh) * 2017-07-21 2018-02-16 上海交通大学 一种适用于移动边缘计算场景的资源分配方法
CN107734558A (zh) * 2017-10-26 2018-02-23 北京邮电大学 一种基于多服务器的移动边缘计算控制及资源调度方法
CN107846704A (zh) * 2017-10-26 2018-03-27 北京邮电大学 一种基于移动边缘计算的资源分配及基站服务部署方法
CN107911242A (zh) * 2017-11-15 2018-04-13 北京工业大学 一种基于工业无线网络的认知无线电与边缘计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓茂菲: "基于移动边缘计算的任务迁移策略研究", 《中国优秀硕士学位论文全文数据库，信息科技辑（月刊）》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561504A (zh) * 2018-11-20 2019-04-02 北京邮电大学 一种基于深度强化学习的URLLC和eMBB的资源复用方法
CN109981723A (zh) * 2019-01-23 2019-07-05 桂林电子科技大学 基于深度强化学习的文件缓存处理系统及方法、通信系统
CN109981723B (zh) * 2019-01-23 2021-11-09 桂林电子科技大学 基于深度强化学习的文件缓存处理系统及方法、通信系统
CN110519849A (zh) * 2019-07-25 2019-11-29 中国矿业大学 一种针对移动边缘计算的通信和计算资源联合分配方法
CN110519849B (zh) * 2019-07-25 2022-02-18 中国矿业大学 一种针对移动边缘计算的通信和计算资源联合分配方法
CN110989614A (zh) * 2019-12-18 2020-04-10 电子科技大学 一种基于深度强化学习的车辆边缘计算转移调度方法
CN110989614B (zh) * 2019-12-18 2020-10-30 电子科技大学 一种基于深度强化学习的车辆边缘计算转移调度方法
CN113709201A (zh) * 2020-05-22 2021-11-26 华为技术有限公司 计算卸载的方法和通信装置

Also Published As

Publication number Publication date
CN108632861B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN108632861A (zh) 一种基于深度强化学习的移动边缘计算分流决策方法
Shi et al. Joint device scheduling and resource allocation for latency constrained wireless federated learning
Kwon et al. Multiagent DDPG-based deep learning for smart ocean federated learning IoT networks
Yoshida et al. MAB-based client selection for federated learning with uncertain resources in mobile networks
CN110493826A (zh) 一种基于深度强化学习的异构云无线接入网资源分配方法
CN110113190A (zh) 一种移动边缘计算场景中卸载时延优化方法
CN110351754A (zh) 基于Q-learning的工业互联网机器设备用户数据计算卸载决策方法
CN113286317B (zh) 一种基于无线供能边缘网络的任务调度方法
CN108924938A (zh) 一种用于无线充电边缘计算网络计算能效的资源分配方法
CN108924936A (zh) 无人机辅助无线充电边缘计算网络的资源分配方法
CN104767833B (zh) 一种移动终端的计算任务的云端转移方法
CN110167176A (zh) 一种基于分布式机器学习的无线网络资源分配方法
CN108600002A (zh) 一种基于半监督学习的移动边缘计算分流决策方法
CN109195207A (zh) 一种基于深度强化学习的集能型无线中继网络吞吐量最大化方法
Li et al. Joint scheduling design in wireless powered MEC IoT networks aided by reconfigurable intelligent surface
Kuang et al. Client selection with bandwidth allocation in federated learning
Xu et al. Dynamic client association for energy-aware hierarchical federated learning
Chen et al. Resource allocation strategy for D2D-assisted edge computing system with hybrid energy harvesting
CN104902574B (zh) 一种基于能效的天线选择和功率分配方法
Hu et al. Edge intelligence for real-time data analytics in an IoT-based smart metering system
CN109272167B (zh) 一种基于uudn和q神经网络的绿色能量合作方法
CN108462975A (zh) D2d无线供电通信网络中功率与时间联合分配方法
Shen et al. Location-aware device communication design: Exploration and exploitation on energy
Wang et al. PSOGT: PSO and game theoretic based task allocation in mobile edge computing
CN107396383B (zh) 一种基于平均场博弈的移动通信基站能效优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220712

Address after: 311121 room A1201, building 3, No. 88, Longyuan Road, Cangqian street, Yuhang District, Hangzhou, Zhejiang Province

Patentee after: Hangzhou Qizhi Technology Co.,Ltd.

Address before: The city Zhaohui six districts Chao Wang Road Hangzhou City, Zhejiang province 310014 18

Patentee before: ZHEJIANG University OF TECHNOLOGY

TR01 Transfer of patent right