CN110458283A - 基于深度强化学习的静态环境下的最大化全局吞吐量方法 - Google Patents

基于深度强化学习的静态环境下的最大化全局吞吐量方法 Download PDF

Info

Publication number
CN110458283A
CN110458283A CN201910741851.4A CN201910741851A CN110458283A CN 110458283 A CN110458283 A CN 110458283A CN 201910741851 A CN201910741851 A CN 201910741851A CN 110458283 A CN110458283 A CN 110458283A
Authority
CN
China
Prior art keywords
user
unmanned plane
handling capacity
maximization
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910741851.4A
Other languages
English (en)
Inventor
刘倩
丁冉
赵熙唯
吴平阳
邢志超
李骏
桂林卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN201910741851.4A priority Critical patent/CN110458283A/zh
Publication of CN110458283A publication Critical patent/CN110458283A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明设计了一种最大化全局吞吐量方法，实现了在移动边缘计算架构中将无人机当作移动边缘计算服务器为终端静止用户提供及时有效的计算服务。随着现代科技技术日新月异，来自终端用户的任务越来越多，传统的移动边缘计算框架已无法为用户提供及时有效的计算服务，因此考虑将无人机当作移动计算服务器，在用户的上方为其提供服务，从而实现高效的交互服务。本发明考虑到用户移动较慢，将其近似看成静止不动的，通过对用户状态和无人机状态以及无人机与用户之间的信道状态进行建模，结合深度强化学习算法最大化全局吞吐量。

Description

基于深度强化学习的静态环境下的最大化全局吞吐量方法
技术领域
本发明涉及通信行业的移动边缘计算领域，以及计算机行业的基于神经网络的深度强化学习算法领域。
背景技术
通信领域关注的是通信过程中的信息传输和信号处理的原理和应用，尤其是数字移动通信、光纤通信、Internet网络通信使人们在传递信息和获得信息方面达到了前所未有的便捷程度。随着3G、4G等通信技术的高速发展，移动边缘技术(Mobile EdgeComputing,MEC)应运而生为用户提供高质量服务，其坐落于网络系统边缘区域，可利用无线接入网络就近提供电信用户IT所需服务和云端计算功能，而创造出一个具备高性能、低延迟与高带宽的电信级服务环境，加速网络中各项内容、服务及应用的快速下载，让终端用户享有不间断的高质量网络体验。再随着智能通信设备的指数级增长，来自终端用户的数据服务请求越来越多，传统的移动边缘计算服务无法为终端用户提供及时有效的计算服务，基于无人机的移动边缘计算框架的通信系统渐渐引人注目。
无人驾驶飞机简称“无人机”(Unmanned Aerial Vehicle,UAV)，可利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。移动边缘技术一直致力于移动边缘服务器，能够在敌对环境中提供更加灵活和成本更高的计算服务。无人机作为移动云层设备，由于其具有廉价的基础设施以及高可靠连通性，可在移动边缘技术中广泛应用，所以基于无人机的移动边缘技术架构比现有的传统通信系统更方便部署于灾难或偏远区域，也能为用户提供更好的通信服务。
本发明将对基于终端用户公平性约束和无人机能量约束的无人机协助的移动边缘计算架构的的最大化全局吞吐量方法进行说明。
发明内容
发明目的：考虑终端用户公平性约束和无人机能量约束两种限制条件，为提高用户公平性和系统用户迁移量，本发明设计了一种基于深度强化学习的最大化全局吞吐量方法。
技术方案：本发明提出的最大化全局吞吐量方法，主要包括以下几个阶段。
第一阶段：初始化用户位置，以及无人机在空中的固定盘旋点
本发明的系统模型中包含N个随机分布的用户，则用户的位置状态为li(t)＝(xi,yi),i∈{1,2,...,N}，以及M个空中固定点，对应代表无人机的位置状态，dj(t)＝(xj,yj),j∈{1,2,...,M}。
第二阶段：建立无人机能耗模型
无人机在服务期间存在三种能量消耗：飞行能耗、盘旋能耗和计算能耗
·无人机飞行能耗：考虑无人机固定飞行速度V以及飞行功率Pf，无人机在t时刻的飞行能耗与无人机每个时隙的飞行距离密切相关。
·无人机盘旋能耗：当无人机飞到当前时刻的固定点为终端用户提供计算服务时，需等待用户将当前任务量μi(t)全部传输到无人机上，考虑当前无人机与用户之前的信道为LoS信道，无人机飞行高度H，信道增益为
则传输速率为
所以无人机的盘旋能耗为
·无人机计算能耗：
无人机的计算能耗只与当前时刻用户迁移上来的任务量有关
ec(t)＝βμi(t)
第三阶段：考虑无人机能量约束
在t时刻，无人机的总能耗为
W(t)＝ef(t)+eh(t)+ec(t)
无人机的剩余能量为
b(t)＝b(t-1)-W(t)
所以无人机在服务用户期间所消耗的能量必须小于自身所有的电池总量B
第四阶段：考虑用户公平性约束
为保证所有终端用户都能被无人机公平服务，本发明设定了每个用户必须迁移的任务量最低阈值Z
第五阶段：马尔科夫过程建立
·状态集：S＝{li(t),dj(t),b(t),cij(t)}
·动作集：A＝{aj|j＝1,2,...,M}
·奖励函数：Rt+1＝U(μi(t))-W(t)
解决方法-深度强化学习
考虑到终端用户公平性约束和无人机能量约束，基于深度强化学习的最大化全局吞吐量方法基本流程如下：
(1)步骤1：
传统强化学习更新状态动作值函数方法
(2)步骤2：
本发明中由于环境较复杂，状态集非常巨大，因此引入神经网络来近似状态动作值函数
Q(St,At；θ)≈Q*(St,At)
(3)步骤3：
基于神经网络的状态动作值函数近似方法大大节省了需要查询Q表的内存及时间，与传统强化学习方法相比，基于深度强化学习的最大化全局吞吐量方法具有极大的优势。
附图说明
图1是方法流程图，
图2是基于深度强化学习的最大化全局吞吐量方法的框架图。
具体实施方式
下面将结合附图和具体算法框架图以及伪代码图，进一步阐明本发明的相关内容，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域方法人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明的一种无人机协助的移动边缘计算架构的基于深度强化学习的最大化全局吞吐量的方法包括：确定本系统的优化目标，找出目标与对应参数的关系，通过合理建模成马尔科夫决策过程，再通过深度强化学习方法寻找最优策略，从而达到目标结果-最大化全局吞吐量。
作为一种实施例，所述方法包括：考虑终端用户和无人机的位置状态；考虑终端用户的公平性约束；考虑无人机有限电池量约束；通过深度强化学习算法，在每个时隙根据当前状态做出最优决策，实现全局吞吐量最大化目标。

Claims (2)

1.基于深度强化学习的静态环境下的最大化全局吞吐量方法，其特征在于：考虑终端用户的公平性，以及无人机有限电量的能量约束，需考虑无人机在每个时隙的飞行决策，合理分配有限的能量充分服务用户，从而最大化用户吞吐量。
2.如权利要求1所述的基于深度强化学习的静态环境下的最大化全局吞吐量方法，考虑到全部终端用户的位置状态以及无人机的位置状态和电池量状态，系统状态空间较大，以及需要实现的无人机与用户关联的动作空间较大，需采用传统强化学习结合深度神经网络近似状态动作值函数，再基于强化学习的值迭代方法找出最优策略最大化全局吞吐量。
CN201910741851.4A 2019-08-13 2019-08-13 基于深度强化学习的静态环境下的最大化全局吞吐量方法 Pending CN110458283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910741851.4A CN110458283A (zh) 2019-08-13 2019-08-13 基于深度强化学习的静态环境下的最大化全局吞吐量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910741851.4A CN110458283A (zh) 2019-08-13 2019-08-13 基于深度强化学习的静态环境下的最大化全局吞吐量方法

Publications (1)

Publication Number Publication Date
CN110458283A true CN110458283A (zh) 2019-11-15

Family

ID=68486075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910741851.4A Pending CN110458283A (zh) 2019-08-13 2019-08-13 基于深度强化学习的静态环境下的最大化全局吞吐量方法

Country Status (1)

Country Link
CN (1) CN110458283A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958625A (zh) * 2019-12-05 2020-04-03 湖南师范大学 一种基于移动边缘智能的实时多模态语言分析系统和方法
CN111786711A (zh) * 2020-05-29 2020-10-16 中国人民解放军空军工程大学 一种基于无人机边缘计算的高效能频谱感知方法、系统及应用
CN112566209A (zh) * 2020-11-24 2021-03-26 山西三友和智慧信息技术股份有限公司 一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法
CN114826380A (zh) * 2022-04-22 2022-07-29 昆明理工大学 一种基于深度强化学习算法的无人机辅助空地通信优化算法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067490A (zh) * 2018-09-29 2018-12-21 郑州航空工业管理学院 蜂窝网联下多无人机协同移动边缘计算系统资源分配方法
CN109743210A (zh) * 2019-01-25 2019-05-10 电子科技大学 基于深度强化学习的无人机网络多用户接入控制方法
CN109884897A (zh) * 2019-03-21 2019-06-14 中山大学 一种基于深度强化学习的无人机任务匹配与计算迁移方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067490A (zh) * 2018-09-29 2018-12-21 郑州航空工业管理学院 蜂窝网联下多无人机协同移动边缘计算系统资源分配方法
CN109743210A (zh) * 2019-01-25 2019-05-10 电子科技大学 基于深度强化学习的无人机网络多用户接入控制方法
CN109884897A (zh) * 2019-03-21 2019-06-14 中山大学 一种基于深度强化学习的无人机任务匹配与计算迁移方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958625A (zh) * 2019-12-05 2020-04-03 湖南师范大学 一种基于移动边缘智能的实时多模态语言分析系统和方法
CN110958625B (zh) * 2019-12-05 2021-06-04 湖南师范大学 一种基于移动边缘智能的实时多模态语言分析系统和方法
CN111786711A (zh) * 2020-05-29 2020-10-16 中国人民解放军空军工程大学 一种基于无人机边缘计算的高效能频谱感知方法、系统及应用
CN112566209A (zh) * 2020-11-24 2021-03-26 山西三友和智慧信息技术股份有限公司 一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法
CN114826380A (zh) * 2022-04-22 2022-07-29 昆明理工大学 一种基于深度强化学习算法的无人机辅助空地通信优化算法
CN114826380B (zh) * 2022-04-22 2023-08-08 昆明理工大学 一种基于深度强化学习算法的无人机辅助空地通信优化算法

Similar Documents

Publication Publication Date Title
CN110458283A (zh) 基于深度强化学习的静态环境下的最大化全局吞吐量方法
CN111786713B (zh) 一种基于多智能体深度强化学习的无人机网络悬停位置优化方法
Zhang et al. Energy-efficient trajectory optimization for UAV-assisted IoT networks
CN109831797B (zh) 一种推动功率受限的无人机基站带宽和轨迹联合优化方法
Lyu et al. Service-oriented dynamic resource slicing and optimization for space-air-ground integrated vehicular networks
CN110428115A (zh) 基于深度强化学习的动态环境下的最大化系统效益方法
CN111552313B (zh) 基于边缘计算动态任务到达的多无人机路径规划方法
CN113296963B (zh) 一种考虑用户移动性的无人机辅助的边缘计算方法
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN110794965B (zh) 一种基于深度强化学习的虚拟现实语言任务卸载方法
Qin et al. Aoi-aware scheduling for air-ground collaborative mobile edge computing
Ho et al. UAV control for wireless service provisioning in critical demand areas: A deep reinforcement learning approach
Arani et al. Fairness-aware link optimization for space-terrestrial integrated networks: A reinforcement learning framework
CN112996058B (zh) 基于多无人机网络的用户QoE优化方法、无人机及系统
CN111629443A (zh) 用于超5g车联网中的动态频谱切片框架的优化方法及系统
WO2022242468A1 (zh) 任务卸载方法、调度优化方法和装置、电子设备及存储介质
CN114363803A (zh) 一种移动边缘计算网络节能的多任务分配方法及系统
Sun et al. Three-dimensional trajectory design for energy-efficient UAV-assisted data collection
CN116847293A (zh) 一种无人机辅助车联网下的联合缓存决策和轨迹优化方法
CN116774584A (zh) 一种基于多智能体深度强化学习的无人机差异化服务轨迹优化方法
CN114867093B (zh) 无人机协同的物联网设备上行链路功率控制方法
CN116781144A (zh) 无人机搭载边缘服务器的方法、装置及存储介质
Yuan et al. Joint multi-ground-user edge caching resource allocation for cache-enabled high-low-altitude-platforms integrated network
Linpei et al. Energy-efficient computation offloading assisted by RIS-based UAV
Si et al. Uav-assisted semantic communication with hybrid action reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115

RJ01 Rejection of invention patent application after publication