CN110347495B - 一种使用深度强化学习进行移动边缘计算的任务迁移方法 - Google Patents

一种使用深度强化学习进行移动边缘计算的任务迁移方法 Download PDF

Info

Publication number
CN110347495B
CN110347495B CN201910672308.3A CN201910672308A CN110347495B CN 110347495 B CN110347495 B CN 110347495B CN 201910672308 A CN201910672308 A CN 201910672308A CN 110347495 B CN110347495 B CN 110347495B
Authority
CN
China
Prior art keywords
formula
time
defining
task migration
base station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910672308.3A
Other languages
English (en)
Other versions
CN110347495A (zh
Inventor
张�成
古博
马良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910672308.3A priority Critical patent/CN110347495B/zh
Publication of CN110347495A publication Critical patent/CN110347495A/zh
Application granted granted Critical
Publication of CN110347495B publication Critical patent/CN110347495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种使用深度强化学习进行移动边缘计算的任务迁移方法，先设定系统模型各参数，再描述强化学习中的决策公式，然后基于公式给出任务迁移算法；通过本方法能够获得高效的任务迁移机制，而高效的任务迁移机制能够提高系统实时性，充分利用计算资源，并减少能耗；本方法同时运用了深度强化学习思想进行任务调度，即决策是否迁移计算任务，尤其使用了马尔可夫决策过程，能够在极短时间内给出较优解，实时性强；本方法适用于用户处在高速运动状态时，解决是否更换使用的服务器基站问题。

Description

一种使用深度强化学习进行移动边缘计算的任务迁移方法
技术领域
本发明涉及云服务器边缘计算的任务调度领域，尤其涉及的是一种使用深度强化学习进行移动边缘计算的任务迁移方法。
背景技术
边缘计算与云计算不同，云计算属于集中式大数据处理系统，而边缘计算定义为在用户附近或数据源头搭建的分布式计算服务平台。当用户处于高速移动状态，所使用的边缘计算平台基站需要不断切换，则涉及到任务迁移技术，其属于分布式计算系统的任务调度问题之一。
而用户在高速移动时，往往存在边缘计算所使用的服务器切换时机不当所导致的长时延、高能耗、信号差等问题。某些现有技术中会尝试解决上述问题，但均只考虑到单一因素，得到的效果往往不够理想：如专利CN 105656999 A（公布日 2016.06.08），一种移动云计算环境中能耗优化的合作任务迁移方法，公开了通过合作任务迁移降低能耗，但其只考虑服务器负载问题。又如专利CN 103957231 A（公布日 2014.07.30），一种云计算平台下的虚拟机分布式任务调度方法，虽然公开了云计算调度，但其没有提及在高速移动时云计算如何调度。
因此，现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种使用深度强化学习进行移动边缘计算的任务迁移方法，旨在解决现有技术不能同时解决用户在高速移动时，因边缘计算所使用的服务器切换时机不当所导致的长时延、高能耗、信号差的问题。
本发明的技术方案如下：一种使用深度强化学习进行移动边缘计算的任务迁移方法，其中，具体包括以下步骤：
步骤S1：设定系统模型各参数；
步骤S2：描述强化学习中的决策公式；
步骤S3：基于公式给出任务迁移算法。
所述的使用深度强化学习进行移动边缘计算的任务迁移方法，其中，所述步骤S1包括以下步骤：
步骤S11：定义边缘计算服务基站位置集合为；
步骤S12：定义服务时间片段集合为；
步骤S13：在t时刻，，定义用户连接的服务基站位置为；
步骤S14：定义t时刻距离用户最近的服务基站位置为；
步骤S15：定义 式1为两基站的距离。
所述的使用深度强化学习进行移动边缘计算的任务迁移方法，其中，所述步骤S2中，采用马尔可夫决策过程描述强化学习中的决策公式，决策的智能体为装载于用户终端的一种云计算控制装置，该云计算控制装置可决定是否进行任务迁移。
所述的使用深度强化学习进行移动边缘计算的任务迁移方法，其中，所述步骤S2包括以下步骤：
步骤S21：定义t时刻智能体的状态为 式2，为用户当前使用基站与考虑任务迁移基站的距离之差；
步骤S22：定义智能体的动作集合为 式3，代表不做任务迁移，代表进行任务迁移；
步骤S23：定义t时刻智能体的动作为 式4；
步骤S24：定义t时刻服务质量函数为 式5；其中意为用户在t时刻获得的服务质量；D代表了当前使用基站正好离用户最近的情况下的服务质量，即；而为一常数，衡量了对服务质量的影响程度；
步骤S25：定义t时刻代价函数为 式6，其中，代表了任务迁移时产生的时间能量等消耗，其与距离有关，代价函数代表了智能体不同动作所需付出的代价；
步骤S26：定义t时刻奖励函数 式7；
步骤S27：定义t时刻的决策动作为 式8，意为状态下智能体做出的动作函数；
步骤S28：定义t时刻决策动作后的状态为；
步骤S29：定义所有时刻的集合为；
步骤S210：定义最佳决策下所有时刻奖励函数的最大值为式9，其中代表折扣因子；
步骤S211：利用时间差分算法使系统探索最优决策，由贝尔曼方程可得迭代公式为 式10；
步骤S212：利用Q学习方法可得到最优Q值 式11。
所述的使用深度强化学习进行移动边缘计算的任务迁移方法，其中，所述步骤S3包括以下步骤：
步骤S31：引入评估参数，使得最优Q值 式12，其中代表贝尔曼方程中的可调参数；
步骤S32：更换得到迭代优化目标函数为式13，其中代表上一次迭代的值；
步骤S33：得到代价函数为 式14，对式14微分处理后得到代价函数梯度为 式15；
步骤S34：得到参数迭代方程为 式16，其中，代表学习率。
本发明的有益效果：本发明通过提供一种使用深度强化学习进行移动边缘计算的任务迁移方法，先设定系统模型各参数，再描述强化学习中的决策公式，然后基于公式给出任务迁移算法；通过本方法能够获得高效的任务迁移机制，而高效的任务迁移机制能够提高系统实时性，充分利用计算资源，并减少能耗；本方法同时运用了深度强化学习思想进行任务调度，即决策是否迁移计算任务，尤其使用了马尔可夫决策过程，能够在极短时间内给出较优解，实时性强；本方法适用于用户处在高速运动状态时，解决是否更换使用的服务器基站问题。
附图说明
图1是本发明中使用深度强化学习进行移动边缘计算的任务迁移方法的步骤流程图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
如图1所示，一种使用深度强化学习进行移动边缘计算的任务迁移方法，具体包括以下步骤：
步骤S1：设定系统模型各参数。描述用户位置信息：
步骤S11：定义边缘计算服务基站位置集合为。
步骤S12：定义服务时间片段集合为。
步骤S13：在t时刻，，定义用户连接的服务基站位置为。
步骤S14：定义t时刻距离用户最近的服务基站位置为，该基站也是若用户此时连接将获得最佳服务质量(Quality of Service, QoS)的基站。
步骤S15：定义 式1为两基站的距离。
步骤S2：描述强化学习中的决策公式。
马尔可夫决策过程(Markov Decision Process， MDP)由一个五元组构成，，S为有限状态集合，A为有限动作集合，P为状态转移矩阵，R为奖励函数，为折扣因子，。本技术方案中，决策的智能体(Agent)为装载于用户终端的一种云计算控制装置，它可决定是否进行任务迁移。
步骤S21：定义t时刻智能体的状态为 式2，为用户当前使用基站与考虑任务迁移基站的距离之差。
步骤S22：定义智能体的动作集合为 式3，代表不做任务迁移，代表进行任务迁移。
步骤S23：定义t时刻智能体的动作为 式4。
步骤S24：定义t时刻服务质量函数为 式5；其中意为用户在t时刻获得的服务质量QoS；D代表了当前使用基站正好离用户最近的情况下的服务质量QoS，即；而为一常数，衡量了对QoS的影响程度。
步骤S25：定义t时刻代价函数为 式6，其中，代表了任务迁移时产生的时间能量等消耗，其与距离有关，代价函数代表了智能体不同动作所需付出的代价。
步骤S26：定义t时刻奖励函数式7，从上式可以看出，采取动作后QoS越高，而付出代价越小，那么智能体获得的奖励回报越大。
步骤S27：定义t时刻的决策动作为 式8，意为状态下智能体做出的动作函数。
步骤S28：定义t时刻决策动作后的状态为。
步骤S29：定义所有时刻的集合为。
步骤S210：定义最佳决策下所有时刻奖励函数的最大值为 式9，其中代表折扣因子。
步骤S211：利用时间差分算法使系统探索最优决策，由贝尔曼方程(Bellmanequation)可得迭代公式为 式10。
步骤S212：利用Q学习(Q-learning)方法可得到最优Q值 式11。
步骤S3：基于公式给出任务迁移算法。
步骤S31：引入评估参数，使得最优Q值 式12，其中代表贝尔曼方程中的可调参数。
步骤S32：更换得到迭代优化目标函数为式13，其中代表上一次迭代的值。
步骤S33：得到代价函数为 式14，对式14微分处理后得到代价函数梯度为 式15。
步骤S34：得到参数迭代方程为 式16，其中，代表学习率(Learning Rate)。
通过如下伪代码实现步骤S1至步骤S3：
初始化各参数
重置存储空间H
随机生成评估参数
从集合L中随机生成当前使用的服务器位置
;
t=1;
while t≤T
令为当前距离最近服务器位置
生成随机数 
if
根据步骤S31式12选择下一步动作 a
else :
随机选择动作 a
end if
根据步骤S26式7计算
将结果存入H
minibatch从H中随机选择
if j+1为最后一个选择
else:
end if
梯度下降求解中的
t=t+1
end while
本技术方案中，先设定系统模型各参数，再描述强化学习中的决策公式，然后基于公式给出任务迁移算法；通过本方法能够获得高效的任务迁移机制，而高效的任务迁移机制能够提高系统实时性，充分利用计算资源，并减少能耗；本方法同时运用了深度强化学习思想进行任务调度，即决策是否迁移计算任务，尤其使用了马尔可夫决策过程，能够在极短时间内给出较优解，实时性强；本方法适用于用户处在高速运动状态时，解决是否更换使用的服务器基站问题。
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (1)

1.一种使用深度强化学习进行移动边缘计算的任务迁移方法，其特征在于，具体包括以下步骤：
步骤S1：设定系统模型各参数，包括以下步骤：
步骤S11：定义边缘计算服务基站位置集合为；
步骤S12：定义服务时间片段集合为；
步骤S13：在t时刻，，定义用户连接的服务基站位置为；
步骤S14：定义t时刻距离用户最近的服务基站位置为；
步骤S15：定义式1为两基站的距离；
步骤S2：采用马尔可夫决策过程描述强化学习中的决策公式，决策的智能体为装载于用户终端的一种云计算控制装置，该云计算控制装置可决定是否进行任务迁移，包括以下步骤：
步骤S21：定义t时刻智能体的状态为式2，为用户当前使用基站与考虑任务迁移基站的距离之差；
步骤S22：定义智能体的动作集合为式3，代表不做任务迁移，代表进行任务迁移；
步骤S23：定义t时刻智能体的动作为式4；
步骤S24：定义t时刻服务质量函数为式5；其中意为用户在t时刻获得的服务质量；D代表了当前使用基站正好离用户最近的情况下的服务质量，即；而λ为一常数，衡量了对服务质量的影响程度；
步骤S25：定义t时刻代价函数为式6，其中，代表了任务迁移时产生的时间能量等消耗，其与距离有关，代价函数代表了智能体不同动作所需付出的代价；
步骤S26：定义t时刻奖励函数式7；
步骤S27：定义t时刻的决策动作为式8，意为状态下智能体做出的动作函数；
步骤S28：定义t时刻决策动作后的状态为；
步骤S29：定义所有时刻的集合为；
步骤S210：定义最佳决策下所有时刻奖励函数的最大值为式9，其中代表折扣因子；
步骤S211：利用时间差分算法使系统探索最优决策，由贝尔曼方程可得迭代公式为式10；
步骤S212：利用Q学习方法可得到最优Q值式11；
步骤S3：基于公式给出任务迁移算法，包括以下步骤：
步骤S31：引入评估参数，使得最优Q值式12，其中代表贝尔曼方程中的可调参数；
步骤S32：更换得到迭代优化目标函数为式13，其中代表上一次迭代的值；
步骤S33：得到代价函数为式14，对式14微分处理后得到代价函数梯度为式15；
步骤S34：得到参数迭代方程为式16，其中，代表学习率。
CN201910672308.3A 2019-07-24 2019-07-24 一种使用深度强化学习进行移动边缘计算的任务迁移方法 Active CN110347495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910672308.3A CN110347495B (zh) 2019-07-24 2019-07-24 一种使用深度强化学习进行移动边缘计算的任务迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910672308.3A CN110347495B (zh) 2019-07-24 2019-07-24 一种使用深度强化学习进行移动边缘计算的任务迁移方法

Publications (2)

Publication Number Publication Date
CN110347495A CN110347495A (zh) 2019-10-18
CN110347495B true CN110347495B (zh) 2023-04-28

Family

ID=68180015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910672308.3A Active CN110347495B (zh) 2019-07-24 2019-07-24 一种使用深度强化学习进行移动边缘计算的任务迁移方法

Country Status (1)

Country Link
CN (1) CN110347495B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989614B (zh) * 2019-12-18 2020-10-30 电子科技大学 一种基于深度强化学习的车辆边缘计算转移调度方法
CN112134916B (zh) * 2020-07-21 2021-06-11 南京邮电大学 一种基于深度强化学习的云边协同计算迁移方法
CN111858009B (zh) * 2020-07-30 2022-06-17 西北工业大学 基于迁移和强化学习的移动边缘计算系统任务调度方法
CN113645637B (zh) * 2021-07-12 2022-09-16 中山大学 超密集网络任务卸载方法、装置、计算机设备和存储介质
CN116600325B (zh) * 2023-07-19 2023-09-22 南京信息工程大学 移动网络内容缓存与内容迁移方法、装置、介质及设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957231A (zh) * 2014-03-18 2014-07-30 成都盛思睿信息技术有限公司 一种云计算平台下的虚拟机分布式任务调度方法
CN105656999A (zh) * 2015-12-25 2016-06-08 清华大学 一种移动云计算环境中能耗优化的合作任务迁移方法
CN108282801A (zh) * 2018-01-26 2018-07-13 重庆邮电大学 一种基于移动边缘计算的切换管理方法
CN108958916A (zh) * 2018-06-29 2018-12-07 杭州电子科技大学 一种移动边缘环境下工作流卸载优化算法
CN109002358A (zh) * 2018-07-23 2018-12-14 厦门大学 基于深度强化学习的移动终端软件自适应优化调度方法
CN109067842A (zh) * 2018-07-06 2018-12-21 电子科技大学 面向车联网的计算任务卸载方法
CN109257429A (zh) * 2018-09-25 2019-01-22 南京大学 一种基于深度强化学习的计算卸载调度方法
CN109375999A (zh) * 2018-10-23 2019-02-22 北京工业大学 一种基于贝叶斯网络的mec随机任务迁移方法
CN109753751A (zh) * 2019-01-20 2019-05-14 北京工业大学 一种基于机器学习的mec随机任务迁移方法
CN109756378A (zh) * 2019-01-12 2019-05-14 大连理工大学 一种车载网络下的智能计算卸载方法
CN109803292A (zh) * 2018-12-26 2019-05-24 佛山市顺德区中山大学研究院 一种基于强化学习的多次级用户移动边缘计算的方法
CN109884897A (zh) * 2019-03-21 2019-06-14 中山大学 一种基于深度强化学习的无人机任务匹配与计算迁移方法
CN109918201A (zh) * 2019-03-05 2019-06-21 中国联合网络通信集团有限公司 任务卸载的控制方法和系统
CN109951897A (zh) * 2019-03-08 2019-06-28 东华大学 一种能耗与延迟约束下的mec卸载方法
CN109976909A (zh) * 2019-03-18 2019-07-05 中南大学 边缘计算网络中基于学习的低延时任务调度方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418342B2 (en) * 2013-12-06 2016-08-16 At&T Intellectual Property I, L.P. Method and apparatus for detecting mode of motion with principal component analysis and hidden markov model
US10762424B2 (en) * 2017-09-11 2020-09-01 Sas Institute Inc. Methods and systems for reinforcement learning

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103957231A (zh) * 2014-03-18 2014-07-30 成都盛思睿信息技术有限公司 一种云计算平台下的虚拟机分布式任务调度方法
CN105656999A (zh) * 2015-12-25 2016-06-08 清华大学 一种移动云计算环境中能耗优化的合作任务迁移方法
CN108282801A (zh) * 2018-01-26 2018-07-13 重庆邮电大学 一种基于移动边缘计算的切换管理方法
CN108958916A (zh) * 2018-06-29 2018-12-07 杭州电子科技大学 一种移动边缘环境下工作流卸载优化算法
CN109067842A (zh) * 2018-07-06 2018-12-21 电子科技大学 面向车联网的计算任务卸载方法
CN109002358A (zh) * 2018-07-23 2018-12-14 厦门大学 基于深度强化学习的移动终端软件自适应优化调度方法
CN109257429A (zh) * 2018-09-25 2019-01-22 南京大学 一种基于深度强化学习的计算卸载调度方法
CN109375999A (zh) * 2018-10-23 2019-02-22 北京工业大学 一种基于贝叶斯网络的mec随机任务迁移方法
CN109803292A (zh) * 2018-12-26 2019-05-24 佛山市顺德区中山大学研究院 一种基于强化学习的多次级用户移动边缘计算的方法
CN109756378A (zh) * 2019-01-12 2019-05-14 大连理工大学 一种车载网络下的智能计算卸载方法
CN109753751A (zh) * 2019-01-20 2019-05-14 北京工业大学 一种基于机器学习的mec随机任务迁移方法
CN109918201A (zh) * 2019-03-05 2019-06-21 中国联合网络通信集团有限公司 任务卸载的控制方法和系统
CN109951897A (zh) * 2019-03-08 2019-06-28 东华大学 一种能耗与延迟约束下的mec卸载方法
CN109976909A (zh) * 2019-03-18 2019-07-05 中南大学 边缘计算网络中基于学习的低延时任务调度方法
CN109884897A (zh) * 2019-03-21 2019-06-14 中山大学 一种基于深度强化学习的无人机任务匹配与计算迁移方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
《Task Offloading for UAV-based Mobile Edge Computing via Deep Reinforcement Learning》;Jun Li et al.;《 2018 IEEE/CIC International Conference on Communications in China (ICCC)》;20190214;全文 *
移动边缘计算中数据缓存和计算迁移的智能优化技术;汪海霞等;《中兴通讯技术》;20180319(第02期);全文 *
边缘计算迁移研究综述;朱友康等;《电信科学》;20190423(第04期);全文 *
雾无线接入网:架构、原理和挑战;尹博南等;《电信科学》;20160620(第06期);全文 *
面向服务可靠性的云资源调度方法;周平等;《电子学报》;20190515(第05期);全文 *

Also Published As

Publication number Publication date
CN110347495A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110347495B (zh) 一种使用深度强化学习进行移动边缘计算的任务迁移方法
Ali et al. A deep learning approach for energy efficient computational offloading in mobile edge computing
Liu et al. Energy-efficient distributed mobile crowd sensing: A deep learning approach
CN111262940B (zh) 一种车载边缘计算应用缓存方法、装置及系统
CN109639760B (zh) 一种基于深度强化学习的d2d网络中的缓存策略方法
Dai et al. Multi-armed bandit learning for computation-intensive services in MEC-empowered vehicular networks
Xu et al. Hierarchically and cooperatively learning traffic signal control
Zhu et al. A deep reinforcement learning-based resource management game in vehicular edge computing
CN112950251B (zh) 一种基于信誉的车辆群智感知节点反向组合拍卖激励优化方法
CN110146100A (zh) 轨迹预测方法、装置及存储介质
Ramezani et al. Dynamic modeling and control of taxi services in large-scale urban networks: A macroscopic approach
Kumar et al. Multi-agent deep reinforcement learning-empowered channel allocation in vehicular networks
CN110211119A (zh) 图像质量评估方法、装置、电子设备及可读存储介质
Roostaei et al. A game-theoretic joint optimal pricing and resource allocation for mobile edge computing in NOMA-based 5G networks and beyond
CN112308386A (zh) 一种价格与激励需求响应下电动汽车负荷聚集商调度方法
Jiang et al. Dynamic and intelligent edge server placement based on deep reinforcement learning in mobile edge computing
Zhang et al. Deep reinforcement learning based cooperative partial task offloading and resource allocation for IIoT applications
Ge et al. Interference aware service migration in vehicular fog computing
CN114339842B (zh) 基于深度强化学习无人机集群在时变场景下动态轨迹设计方法和装置
Xiao et al. A diversity-enhanced memetic algorithm for solving electric vehicle routing problems with time windows and mixed backhauls
CN113218400B (zh) 一种基于深度强化学习的多智能体导航算法
Maheswararajah et al. Sensor scheduling for target tracking by suboptimal algorithms
Chen et al. A novel marine predators algorithm with adaptive update strategy
Luo et al. Fleet rebalancing for expanding shared e-Mobility systems: A multi-agent deep reinforcement learning approach
Muñoz A method for generating multiple tour routes balancing user satisfaction and resource consumption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant