CN114521002A - 一种云边端合作的边缘计算方法 - Google Patents

一种云边端合作的边缘计算方法 Download PDF

Info

Publication number
CN114521002A
CN114521002A CN202210197990.7A CN202210197990A CN114521002A CN 114521002 A CN114521002 A CN 114521002A CN 202210197990 A CN202210197990 A CN 202210197990A CN 114521002 A CN114521002 A CN 114521002A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
mobile device
computing
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210197990.7A
Other languages
English (en)
Inventor
夏景明
王澎
谈玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210197990.7A priority Critical patent/CN114521002A/zh
Publication of CN114521002A publication Critical patent/CN114521002A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0917—Management thereof based on the energy state of entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H04L41/0833—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network energy consumption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/06—Airborne or Satellite Networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种云边端合作的边缘计算方法，使用基站、无人机和任务处理设备协作帮助移动设备处理计算任务，采用DDQN深度强化学习求解卸载策略，使用拉格朗日对偶法求解无人机的总资源分配，使用遗传算法求解无人机的部署。本发明综合考虑了网络内的所有可利用的计算设备，有效地降低计算任务的系统处理能耗，提高用户的服务质量，具有一定灵活性。本发明采用DDQN深度强化学习计算得到最优卸载策略，能够以较低的复杂度获得大量移动设备的卸载动作，能够适应动态的环境变化。降低复杂度后一是可以节约计算资源，降低移系统的功耗，二是节约计算时间，可以提高系统的实时性，三是高效利用太阳能清洁能源。

Description

一种云边端合作的边缘计算方法
技术领域
本发明属于移动通信领域，具体涉及一种云边端合作的边缘计算方法。
背景技术
随着电子信息的发展，人们对计算密集型应用的需求越来越大。然而，移动设备(MD)不可避免的挑战之一是其自身的电池容量，这使得它们难以维持这些计算密集型应用程序。另外，随着MD的普及，出现了大量的通信计算任务，仅由MD生成的计算容量段不足以处理如此庞大的计算任务。因此，如何满足MDs对密集应用的需求，处理大量计算任务，成为迫切需要解决的问题。幸运的是，移动边缘计算(MEC)的蓬勃发展为这些问题提供了可行的解决方案。MEC架构通常由MD、MEC服务层和云服务器三部分组成。云服务器具有较大的计算容量。云服务器具有强大的计算能力，当MDs生成密集型任务时，可以将这些任务卸载到云服务器上，高效地处理计算任务。但是，由于云服务器与MD之间的距离较长，通常会导致传输延迟和传输过程的不确定性。MEC服务层在这一点上充当中介，它弥补了远程云的缺点。MEC服务层相对于MD具有一定的计算能力，当计算任务可以处理时，MEC服务层首先处理该任务。当计算任务超出MEC的计算能力时，MEC服务层可以作为中继层，将任务发送到云服务器，进一步处理。
随着MEC和无人机的发展，无人机逐渐出现在移动边缘计算(MEC)的应用场景中。无人机辅助MEC可以很好地解决传统的边缘计算问题。当传统基站遭受灾害时，无人机可以发挥作用。例如，今年郑州的暴雨中断了通信线路，无人机被派往灾区提供通信服务。例如，在偏远山区，建立基站是困难和昂贵的。在这种情况下，可以在无人机上安装边缘服务平台，以高机动性和低成本为偏远地区提供通信服务。无人机辅助的移动边缘计算可以为移动终端用户灵活、快速地部署创新应用和服务，得益于无人机的灵活部署、低成本和高机动性。由于MD是移动式的，所以可以应付少量的用户，但如果用户数量大，应对能力就会很差。如何使无人机辅助的移动边缘计算对多移动用户具有良好的响应能力是一个值得探讨的问题。
发明内容
现有移动边缘计算中，考虑基站、无人机和任务处理设备之间的协作关系比较少，另外无人机的充电一直是一个难点。如何延长无人机在移动边缘计算中的工作时间，利用太阳能等清洁能源，可以提高移动设备服务质量的同时，绿色环保。
为解决上述技术问题，本发明采用以下技术手段：
一种云边端合作的边缘计算方法，针对基站所对应的目标区域，由基站、各移动设备、各无人机、各任务处理设备构成的云边端系统，基于各移动设备产生的计算任务，执行以下步骤，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略：
步骤A：基于目标区域内的各移动设备与基站通信，各移动设备将产生的计算任务的数据量和产生计算任务时各移动设备的位置数据传输给基站；
步骤B：初始化各无人机位置部署，检查无人机自身电量状况；
步骤C:针对云边端系统，基于移动设备的计算任务卸载到基站、无人机或任务处理设备计算分别对应的能耗，以降低云边端系统总能耗为目标构建云边端系统的优化问题；
步骤D:基于云边端系统构建的优化问题，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，循环执行步骤D1至步骤D3，直到结果收敛或者达到最大循环迭代次数，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略：
步骤D1:基于云边端系统构建的优化问题，根据各无人机位置部署，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用深度强化学习方法求解云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；
步骤D2:基于步骤D1中求解的云边端系统卸载策略，以及各无人机位置部署，采用拉格朗日对偶法求解承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源；
步骤D3:基于步骤D1中求解的云边端系统卸载策略，以及步骤D2中求解的无承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源，采用遗传方法求解各无人机在目标区域内的位置部署，进而实现无人机群中各无人机位置的更新。
作为本发明的一种优选技术方案，所述步骤A的具体过程如下：
步骤A1：移动设备i的位置在t时隙的三维坐标表示为Li(t)＝(xi(t)，yi(t)，0),xi(t)、yi(t)分别是移动设备i在t时隙的x轴坐标值和y轴坐标值；
基于高斯马尔可夫移动模型与随机移动模型，第i个移动设备在t时隙的移动速度vi(t)和方向θi(t)分别表示为：
Figure BDA0003527913580000021
Figure BDA0003527913580000022
式中，
Figure BDA0003527913580000023
和
Figure BDA0003527913580000024
为调整前一个时隙对当前时隙的影响的系数，
Figure BDA0003527913580000025
和
Figure BDA0003527913580000026
值均在0和1之间；
Figure BDA0003527913580000027
是目标区域内所有移动设备的平均速度；
Figure BDA0003527913580000028
是第i个移动设备的平均方向；Φi为服从第i个移动设备速度均值、速度方差的独立高斯分布
Figure BDA0003527913580000029
的常数，Ψi为服从第i个移动设备方向均值、方向方差的独立高斯分布
Figure BDA00035279135800000210
的常数；
综上，第i个移动设备在t时隙的位置Li(t)表示为
Li(t)＝(xi(t-1)+τvi(t)cosθi(t)，yi(t-1)+τvi(t)sinθi(t)，0)；
式中，τ为一个时隙的时间长度；
步骤A2：第i个移动设备将在t时隙产生的计算任务的数据量Di(t)，和产生计算任务时各移动设备的位置Li(t)传输给基站。
作为本发明的一种优选技术方案，所述步骤B的具体过程如下：
检测上一个时隙结束后无人机的剩余能量EU(t-1)，若无人机剩余能量EU(t-1)小于无人机与移动设备服务和通信需要的能量Ec，则无人机通过设置在无人机上的太阳能电池板收割太阳能进行充电；
因此，可以得到t时隙开始前无人机的剩余能量EU(t)公式：
Figure BDA00035279135800000211
式中，Esolar为无人机通过设置在无人机上的太阳能电池板收割的太阳能。
作为本发明的一种优选技术方案，所述步骤C的具体过程如下：
步骤C1：当t时隙第i个移动设备产生的计算任务卸载给第j个无人机时，基于香农公式得到第i个移动设备和第j个无人机之间的数据传输速率
Figure BDA00035279135800000212
表示为：
Figure BDA00035279135800000213
式中，
Figure BDA00035279135800000214
表示移动设备与无人机之间的信道带宽，U指代无人机，M为指代移动设备，pi表示第i个移动设备的传输功率，g0表示1m处的信道增益，G0、γ均为常数，N0表示噪声功率谱密度，||Li(t)-Lj||为第i个移动设备和第j个无人机之间的距离,Li(t)表示第i个移动设备在t时隙的位置，Lj表示第j个无人机的位置；
当t时隙第i个移动设备的计算任务卸载给第j个无人机时，数据传输时间
Figure BDA00035279135800000215
和传输能耗
Figure BDA00035279135800000216
分别表示为：
Figure BDA0003527913580000031
Figure BDA0003527913580000032
式中，Di(t)表示第i个移动设备在t时隙产生的计算任务的数据量；
第j个无人机计算第i个移动设备的计算任务的计算时间
Figure BDA0003527913580000033
和计算能耗
Figure BDA0003527913580000034
表示为：
Figure BDA0003527913580000035
Figure BDA0003527913580000036
式中，
Figure BDA0003527913580000037
为第j个无人机分配给第i个移动设备的计算资源，ρ表示计算任务需要就算的比例，κ表示电容开关；
综上，当t时隙第i个移动设备的计算任务卸载给第j个无人机时，云边端系统的总时间T1和总能耗E1表示为：
Figure BDA0003527913580000038
Figure BDA0003527913580000039
步骤C2：当t时隙第i个移动设备的计算任务卸载给基站时，基于香农公式得到第i个移动设备和基站之间的数据传输速率
Figure BDA00035279135800000310
表示为
Figure BDA00035279135800000311
其中，||Li(t)||为第i个移动设备和基站之间的距离，
Figure BDA00035279135800000312
表示移动设备与基站之间的信道带宽，M指代无人机，B指代基站；
当t时隙第i个移动设备的计算任务卸载给基站时，数据传输时间
Figure BDA00035279135800000313
和传输能耗
Figure BDA00035279135800000314
分别表示为：
Figure BDA00035279135800000315
Figure BDA00035279135800000316
综上，当t时隙第i个移动设备的计算任务卸载给基站时，云边端系统的总时间T2和总能耗E2表示为：
Figure BDA00035279135800000317
Figure BDA00035279135800000318
步骤C3：当t时隙第i个移动设备的计算任务卸载给任务处理设备时，基于香农公式获得第i个移动设备和任务处理设备之间的数据传输速率
Figure BDA00035279135800000319
表示为
Figure BDA00035279135800000320
式中，||Li(t)-LC||为第i个移动设备和任务处理设备间的距离，LC表示任务处理设备的坐标，
Figure BDA00035279135800000321
表示移动设备与任务处理设备之间的信道带宽，M指代无人机，C指代任务处理设备；
当t时隙第o个移动设备的计算任务卸载给任务处理设备时，数据传输时间
Figure BDA00035279135800000322
和传输能耗
Figure BDA00035279135800000323
分别表示为
Figure BDA00035279135800000324
Figure BDA00035279135800000325
任务处理设备计算第i个移动设备的计算任务的计算时间
Figure BDA00035279135800000326
和计算能耗
Figure BDA00035279135800000327
表示为：
Figure BDA00035279135800000328
Figure BDA0003527913580000041
式中，fc为任务处理设备分配给移动设备的计算资源；
综上，当t时隙第i个移动设备的计算任务卸载给任务处理设备时，云边端系统的总时间T3和总能耗E3表示为
Figure BDA0003527913580000042
Figure BDA0003527913580000043
步骤C4，综上，优化问题可以表示为
Figure BDA0003527913580000044
s.t.约束1：
Figure BDA0003527913580000045
约束2：||Lj-Lk||≥dmin
约束3：||Lj||＜||Lj||max
约束4：
Figure BDA0003527913580000046
约束5：
Figure BDA0003527913580000047
式中，A表示移动设备卸载决策矩阵；F表示无人机资源分配矩阵；L表示无人机位置矩阵；I表示目标区域内移动设备的总数；ai为云边端系统对于第i个移动设备的卸载决策动作，ai＝1表示卸载给无人机，ai＝2表示卸载给基站，ai＝3表示卸载给任务处理设备；约束1表示每个任务的处理时间不能超过自身的服务质量时间TQoS；约束2表示每两个无人机之间要大于等于最小距离dmim；约束3表示每个无人机的位置不能超过空间限制；约束4表示当无人机为移动设备服务时，无人机的剩余能量应该大于此次任务处理所需要的能量；约束5表示无人机分配给移动设备计算资源不能超过无人机的计算资源上限。
作为本发明的一种优选技术方案，所述步骤D1的具体过程如下：
基于云边端系统构建的优化问题，根据各无人机位置，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用DDQN的深度强化学习方法循环执行步骤D1.1至步骤D1.5,直到达到最大循环次数或者损失函数的绝对值小于预设阈值，得到云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；
步骤D1.1：获得t时隙下云边端系统的状态，即t时隙下云边端系统中所有移动设备的计算任务的数据量D(t)和位置数据L(t)，状态表示为St＝(D(t)，L(t))；
步骤D1.2：DDQN网络内有包括移动设备的卸载决策动作的动作空间At，移动设备的卸载决策动作包括卸载到基站、无人机或任务处理设备；
步骤D1.3：将t时隙下云边端系统的状态St输入进DDQN网络中，基于输出动作空间At中各个动作的价值，再结合∈-greddy准则选择生成的动作at，并计算出云边端系统能耗的负值作为DDQN的奖励，记为rt；并更新(t+1)时隙的状态St+1，
步骤D1.4：将步骤D1.1和步骤D1.3生成的(St，at，rt，St+1，)存入到记忆库中，若记忆库中的数据已经满了，则用新的数据逐个覆盖旧的数据；
步骤D1.5：当记忆库中的数据达到预设数量后，抽取记忆库中预设数量的数据训练DDQN网络。
作为本发明的一种优选技术方案，所述DDQN网络内包含预测网络、目标网络，所述损失函数L为：
L＝(Q预测-Q目标)2
Q预测-Q(St，at)
Q目标＝rt+γQ(St+1，at+1)
式中，Q预测为基于St、at输入到DDQN的预测网络中得到的预测输出值，Q目标为基于rt、St+1、at+1输入到DDQN的目标网络得到的目标输出值。
作为本发明的一种优选技术方案，所述步骤D2的具体过程如下：
步骤D2.1：步骤D2:基于步骤D1中求解的云边端系统卸载策略，以及各无人机位置部署，将云边端系统的优化问题重塑为：
Figure BDA0003527913580000051
s.t.约束1：T1＜TQoS
约束4：
Figure BDA0003527913580000052
约束5：
Figure BDA0003527913580000053
式中，F表示无人机资源分配矩阵；H表示卸载动作为卸载给无人机的移动设备集合，E1表示卸载给无人机的卸载动作所对应的系统总能耗；T1表示卸载给无人机的卸载动作所对应的系统总时间，约束1表示每个任务的处理时间不能超过自身的服务质量时间TQoS；约束4表示当第j个无人机为第i个移动设备服务时，无人机的剩余能量EU(t)应该大于此次任务处理所需要的能量
Figure BDA0003527913580000054
约束5表示无人机分配给移动设备计算资源
Figure BDA0003527913580000055
不能超过无人机的计算资源上限；
步骤D2.2：引入广义拉格朗日函数，步骤D2.1的问题变化为
Figure BDA0003527913580000056
其中，αj、βj、γj是拉格朗日算子，
Figure BDA0003527913580000057
是关于αj，βj，γj的函数；
步骤D2.3：定义函数
Figure BDA0003527913580000058
若约束有一个不满足，
Figure BDA0003527913580000059
将趋近于无穷，得出
Figure BDA00035279135800000510
综上，在满足约束的情况下，
Figure BDA00035279135800000511
步骤D2.4：定义关于αj，βj，γj的函数
Figure BDA00035279135800000512
步骤D2.5：定义重塑问题的对偶问题
Figure BDA00035279135800000513
求解对偶问题的解即可求解重塑问题的解，得到承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源。
作为本发明的一种优选技术方案，所述步骤D3的具体过程如下：
步骤D3.1：将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0；
步骤D3.2：基于各个采用预设长度的二进制表示位置的无人机，生成一个无人机种群，其中无人机的总个数为I，每个无人机都是一个无人机个体，无人机种群公式可以表示为：
Figure BDA0003527913580000061
步骤D3.3：从种群I中随机抽取K个无人机个体作为父本，再随机抽取K个无人机个体作为母本，构成一组；
步骤D3.4，对于每一组父本和母本，确定两个十进制随机数，两个随机数之和小于无人机个体长度对应的十进制数；将母本前端到第一个随机数长度的DNA和母本后端到第二个随机数长度的DNA替换掉父本中对应的部分，得到新的个体；
步骤D3.5，对于新的个体每个位数都以预设概率变异，即1变为0，0变为1，若新个体满足无人机位置的约束即保留；
步骤D3.6，将新的个体与对应的父体分别代入目标函数中进行比较，保留能耗较少的一方；
步骤D3.7，反复迭代步骤D3.3至步骤D3.6，直到达到设定的迭代次数，得到筛选后的无人机种群；
步骤D3.8，从筛选后的无人机种群中，抽取预设无人机个数的无人机位置部署，作为当前无人机在目标区域的位置部署。
作为本发明的一种优选技术方案，所述步骤D3.1将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0的过程如下：
确定无人机横纵坐标的范围和高度的上限和下限，这三者的最高值作为标准，并将最高值转化为二进制，其他两个数都以该最高值对应的二进制长度为标准转化为二进制，长度不足的在前面补0。
本发明的有益效果为：本发明提供了一种云边端合作的边缘计算方法，使用基站、无人机和任务处理设备协作帮助移动设备处理计算任务，采用DDQN深度强化学习求解卸载策略，使用拉格朗日对偶法求解无人机的总资源分配，使用遗传算法求解无人机的部署。本发明综合考虑了网络内的所有可利用的计算设备，有效地降低计算任务的系统处理能耗，提高用户的服务质量，具有一定灵活性。本发明采用DDQN深度强化学习计算得到最优卸载策略，能够以较低的复杂度获得大量移动设备的卸载动作，能够适应动态的环境变化。降低复杂度后一是可以节约计算资源，降低移系统的功耗，二是节约计算时间，可以提高系统的实时性，三是高效利用太阳能清洁能源。
附图说明
图1是本发明实施例的云边端合作的边缘计算方法流程图；
图2为本发明实施例的无人机辅助计算网络的结构示意图；
图3为本发明实施例的DDQN深度强化学习示意图；
图4为本发明实施例的用于求解无人机部署的遗传算法无人机个体示意图；
图5为本发明实施例的用于求解无人机部署的遗传算法交叉示意图；
图6为本发明实施例的四种计算方法的能耗随着移动设备数量的增加变化示意图；
图7为本发明实施例的四种计算方法的能耗随着移动设备任务量的增加变化示意图。
具体实施方式
下面结合附图对本发明进行进一步说明。
现有移动边缘计算中，考虑基站、无人机和任务处理设备之间的协作关系比较少，另外无人机的充电一直是一个难点。如何延长无人机在移动边缘计算中的工作时间，利用太阳能等清洁能源，可以提高移动设备服务质量的同时，绿色环保。图1是本发明实施例的云边端合作的边缘计算方法流程图。移动设备随时会产生计算任务，由于设备的计算能力有限，因此本实施例考虑引入基站、多无人机和空闲设备帮助多用户处理计算任务，从而降低系统总能耗，提高服务质量。
一种云边端合作的边缘计算方法，针对基站所对应的目标区域，由基站、各移动设备、各无人机、各任务处理设备构成的云边端系统，如图2所示，任务处理设备为用于接入系统处理计算任务的硬件设备，基于各移动设备产生的计算任务，执行以下步骤，如图1所示，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略。
步骤A：基于目标区域内的各移动设备与基站通信，各移动设备将产生的计算任务的数据量和产生计算任务时各移动设备的位置数据传输给基站。
所述步骤A的具体过程如下：
步骤A1：移动设备i的位置在t时隙的三维坐标表示为Li(t)＝(xi(t)，yi(t)，0),xi(t)、ui(t)分别是移动设备i在t时隙的x轴坐标值和y轴坐标值；
基于高斯马尔可夫移动模型与随机移动模型(GMRM)，第i个移动设备在t时隙的移动速度vi(t)和方向θi(t)分别表示为：
Figure BDA0003527913580000071
Figure BDA0003527913580000072
式中，
Figure BDA0003527913580000073
和
Figure BDA0003527913580000074
为调整前一个时隙对当前时隙的影响的系数，
Figure BDA0003527913580000075
和
Figure BDA0003527913580000076
值均在0和1之间；
Figure BDA0003527913580000077
是目标区域内所有移动设备的平均速度；
Figure BDA0003527913580000078
是第i个移动设备的平均方向，且不同的设备具有的平均方向也不同；Φi为服从第i个移动设备速度均值、速度方差的独立高斯分布
Figure BDA0003527913580000079
的常数，Ψi为服从第i个移动设备方向均值、方向方差的独立高斯分布
Figure BDA00035279135800000710
的常数；
综上，第i个移动设备在t时隙的位置Li(t)表示为
Li(t)＝(xi(t-1)+τvi(t)cosθi(t)，yi(t-1)+τvi(t)sinθi(t)，0)；
式中，τ为一个时隙的时间长度；
步骤A2：第i个移动设备将在t时隙产生的计算任务的数据量Di(t)，和产生计算任务时各移动设备的位置Li(t)传输给基站，由于任务的大小和位置信息的数据量非常小，因此发送给基站的系统消耗能量可以忽略不计。
步骤B：初始化各无人机位置部署，检查无人机自身电量状况，若电量不足则从太阳能收割能量。
所述步骤B的具体过程如下：
检测上一个时隙结束后无人机的剩余能量EU(t-1)，若无人机剩余能量EU(t-1)小于无人机与移动设备服务和通信需要的能量Ec，则无人机通过设置在无人机上的太阳能电池板收割太阳能进行充电；
因此，可以得到t时隙开始前无人机的剩余能量EU(t)公式：
Figure BDA00035279135800000711
式中，Esolar为无人机通过设置在无人机上的太阳能电池板收割的太阳能。
步骤C:针对云边端系统，基于移动设备的计算任务卸载到基站、无人机或任务处理设备计算分别对应的能耗，以降低云边端系统总能耗为目标构建云边端系统的优化问题。
每个计算任务有3种计算模式，分别为：(1)ai＝1卸载给无人机计算；(2)ai＝2卸载给基站计算；(3)ai＝3卸载给附近的任务处理设备计算。
所述步骤C的具体过程如下：
步骤C1：当t时隙第i个移动设备产生的计算任务卸载给第j个无人机时，基于香农公式得到第i个移动设备和第j个无人机之间的数据传输速率
Figure BDA0003527913580000081
表示为：
Figure BDA0003527913580000082
式中，
Figure BDA0003527913580000083
表示移动设备与无人机之间的信道带宽，U指代无人机，M为指代移动设备，pi表示第i个移动设备的传输功率，g0表示1m处的信道增益，G0、γ均为常数，N0表示噪声功率谱密度，||Li(t)-Lj||为第i个移动设备和第j个无人机之间的距离,Li(t)表示第i个移动设备在t时隙的位置，Lj表示第j个无人机的位置；
当t时隙第i个移动设备的计算任务卸载给第j个无人机时，数据传输时间
Figure BDA0003527913580000084
和传输能耗
Figure BDA0003527913580000085
分别表示为：
Figure BDA0003527913580000086
Figure BDA0003527913580000087
式中，Di(t)表示第i个移动设备在t时隙产生的计算任务的数据量；
第j个无人机计算第i个移动设备的计算任务的计算时间
Figure BDA0003527913580000088
和计算能耗
Figure BDA0003527913580000089
表示为：
Figure BDA00035279135800000810
Figure BDA00035279135800000811
式中，
Figure BDA00035279135800000812
为第j个无人机分配给第i个移动设备的计算资源，ρ表示计算任务需要就算的比例，κ表示电容开关；
综上，当t时隙第i个移动设备的计算任务卸载给第j个无人机时，云边端系统的总时间T1和总能耗E1表示为：
Figure BDA00035279135800000813
Figure BDA00035279135800000814
步骤C2：当t时隙第i个移动设备的计算任务卸载给基站时，基于香农公式得到第i个移动设备和基站之间的数据传输速率
Figure BDA00035279135800000815
表示为
Figure BDA00035279135800000816
其中，||Li(t)||为第i个移动设备和基站之间的距离，
Figure BDA00035279135800000817
表示移动设备与基站之间的信道带宽，M指代无人机，B指代基站；
当t时隙第i个移动设备的计算任务卸载给基站时，数据传输时间
Figure BDA00035279135800000818
和传输能耗
Figure BDA00035279135800000819
分别表示为：
Figure BDA00035279135800000820
Figure BDA00035279135800000821
由于基站的计算能力很强，所以基站的计算时间和计算能耗可以忽略不计。综上，当t时隙第i个移动设备的计算任务卸载给基站时，云边端系统的总时间T2和总能耗E2表示为：
Figure BDA00035279135800000822
Figure BDA00035279135800000823
步骤C3：当t时隙第i个移动设备的计算任务卸载给任务处理设备时，基于香农公式获得第i个移动设备和任务处理设备之间的数据传输速率
Figure BDA00035279135800000824
表示为
Figure BDA00035279135800000825
式中，||Li(t)-LC||为第i个移动设备和任务处理设备间的距离，LC表示任务处理设备的坐标，
Figure BDA0003527913580000091
表示移动设备与任务处理设备之间的信道带宽，M指代无人机，C指代任务处理设备；
当t时隙第i个移动设备的计算任务卸载给任务处理设备时，数据传输时间
Figure BDA0003527913580000092
和传输能耗
Figure BDA0003527913580000093
分别表示为
Figure BDA0003527913580000094
Figure BDA0003527913580000095
任务处理设备计算第i个移动设备的计算任务的计算时间
Figure BDA0003527913580000096
和计算能耗
Figure BDA0003527913580000097
表示为：
Figure BDA0003527913580000098
Figure BDA0003527913580000099
式中，假定任务处理设备的计算能力是固定的，即分配给移动设备的计算资源固定为fc，fc为任务处理设备分配给移动设备的计算资源；
综上，当t时隙第i个移动设备的计算任务卸载给任务处理设备时，云边端系统的总时间T3和总能耗E3表示为
Figure BDA00035279135800000910
Figure BDA00035279135800000911
步骤C4，综上，优化问题可以表示为
Figure BDA00035279135800000912
s.t.约束1：
Figure BDA00035279135800000913
约束2：||Lj-Lk||≥dmin
约束3：||Lj||＜||Lj||max
约束4：
Figure BDA00035279135800000914
约束5：
Figure BDA00035279135800000915
式中，A表示移动设备卸载决策矩阵；F表示无人机资源分配矩阵；L表示无人机位置矩阵；I表示目标区域内移动设备的总数；ai为云边端系统对于第i个移动设备的卸载决策动作，ai＝1表示卸载给无人机，ai＝2表示卸载给基站，ai＝3表示卸载给任务处理设备；约束1表示每个任务的处理时间不能超过自身的服务质量时间TQoS；约束2表示每两个无人机之间要大于等于最小距离dmin，防止无人机发生碰撞；约束3表示每个无人机的位置不能超过空间限制，比如横纵坐标不能超过上限，飞行高度不能低于下限也不能高于上限；约束4表示当无人机为移动设备服务时，无人机的剩余能量应该大于此次任务处理所需要的能量；约束5表示无人机分配给移动设备计算资源不能超过无人机的计算资源上限。
给定F，L，原问题就变为求解卸载策略的问题。由于该问题是一个整数非线性规划问题，若使用传统的凸优化技术求解，复杂度会随着移动设备数量的增加而增加，另外迭代次数也会过多，因此采用DDQN的一种深度强化学习方法求解卸载策略。使用DDQN算法，算法的复杂度并不会因为移动设备数量的增加而增加。虽然，训练的过程可能会消耗一些时间，但是一旦网络拟合后，就可以在极短的时间内给出移动设备的卸载策略。
步骤D:基于云边端系统构建的优化问题，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，循环执行步骤D1至步骤D3，直到结果收敛或者达到最大循环迭代次数，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略，如图3所示。
步骤D1:基于云边端系统构建的优化问题，根据各无人机位置部署，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用深度强化学习方法求解云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策。
基于移动设备的任务数据量Di(t)和地理位置Li(t)，以降低系统总能耗为目标，采用DDQN求解用户的卸载策略的过程所述步骤D1的具体过程如下：
基于云边端系统构建的优化问题，根据各无人机位置，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用DDQN的深度强化学习方法循环执行步骤D1.1至步骤D1.5,直到达到最大循环次数或者损失函数的绝对值小于预设阈值，得到云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；
步骤D1.1：获得t时隙下云边端系统的状态，t时隙下DDQN的状态包括两部分：即t时隙下云边端系统中所有移动设备的计算任务的数据量D(t)和位置数据L(t)，状态表示为St＝(D(t)，L(t))；
步骤D1.2：DDQN网络内有包括移动设备的卸载决策动作的动作空间At，t时隙下DDQN的动作空间即移动设备的卸载策略的备选空间，移动设备的卸载决策动作包括卸载到基站、无人机或任务处理设备；(1)ai＝1卸载给无人机计算；(2)ai＝2卸载给基站计算；(3)ai＝3卸载给附近的任务处理设备计算；
步骤D1.3：将t时隙下云边端系统的状态St输入进DDQN网络中，基于输出动作空间At中各个动作的价值，再结合∈-greddy准则选择生成的动作at，并计算出云边端系统能耗的负值作为DDQN的奖励，记为rt；并更新(t+1)时隙的状态St+1，
步骤D1.4：将步骤D1.1和步骤D1.3生成的(St，at，rt，St+1，)存入到记忆库中，若记忆库中的数据已经满了，则用新的数据逐个覆盖旧的数据；
步骤D1.5：当记忆库中的数据达到预设数量后，抽取记忆库中预设数量的数据训练DDQN网络。
所述DDQN网络内包含预测网络、目标网络，两个网络使用完全相同的结构和不同的参数，作用是用来生成预测Q值和目标Q值，所述损失函数L为：
L＝(Q预测-Q目标)2
Q预测＝Q(St，at)
Q目标＝rt+γQ(St+1，at+1)
式中，Q预测为基于St、at输入到DDQN的预测网络中得到的预测输出值，Q目标为基于rt、St+1、at+1输入到DDQN的目标网络得到的目标输出值。
步骤D2:基于步骤D1中求解的云边端系统卸载策略，以及各无人机位置部署，采用拉格朗日对偶法求解承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源。默认基站的计算资源与任务处理设备的计算资源为无限大。
所述步骤D2的具体过程如下：
步骤D2.1：步骤D2:基于步骤D1中求解的云边端系统卸载策略，以及各无人机位置部署，将云边端系统的优化问题重塑为：
Figure BDA0003527913580000101
s.t.约束1：T1＜TQoS
约束4：
Figure BDA0003527913580000111
约束5：
Figure BDA0003527913580000112
式中，F表示无人机资源分配矩阵；H表示卸载动作为卸载给无人机的移动设备集合，E1表示卸载给无人机的卸载动作所对应的系统总能耗；T1表示卸载给无人机的卸载动作所对应的系统总时间，约束1表示每个任务的处理时间不能超过自身的服务质量时间TQoS；约束4表示当第j个无人机为第i个移动设备服务时，无人机的剩余能量EU(t)应该大于此次任务处理所需要的能量
Figure BDA0003527913580000113
约束5表示无人机分配给移动设备计算资源
Figure BDA0003527913580000114
不能超过无人机的计算资源上限；
步骤D2.2：引入广义拉格朗日函数，步骤D2.1的问题变化为
Figure BDA0003527913580000115
其中，αj、βj、γj是拉格朗日算子，
Figure BDA0003527913580000116
是关于αj，βj，γj的函数；
步骤D2.3：定义函数
Figure BDA0003527913580000117
若约束有一个不满足，
Figure BDA0003527913580000118
将趋近于无穷，得出
Figure BDA0003527913580000119
综上，在满足约束的情况下，
Figure BDA00035279135800001110
步骤D2.4：定义关于αj，βj，γj的函数
Figure BDA00035279135800001111
步骤D2.5：定义重塑问题的对偶问题
Figure BDA00035279135800001112
求解对偶问题的解即可求解重塑问题的解，得到承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源。
步骤D3:基于步骤D1中求解的云边端系统卸载策略，以及步骤D2中求解的无承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源，采用遗传方法求解各无人机在目标区域内的位置部署，进而实现无人机群中各无人机位置的更新。
作为本发明的一种优选技术方案，所述步骤D3的具体过程如下：
步骤D3.1：将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0；
作为本发明的一种优选技术方案，所述步骤D3.1将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0的过程如下：
确定无人机横纵坐标的范围和高度的上限和下限，这三者的最高值作为标准，并将最高值转化为二进制，其他两个数都以该最高值对应的二进制长度为标准转化为二进制，长度不足的在前面补0；
步骤D3.2：基于各个采用预设长度的二进制表示位置的无人机，生成一个无人机种群，其中无人机的总个数为I，每个无人机都是一个无人机个体，如图4所示，无人机种群公式可以表示为：
Figure BDA00035279135800001113
步骤D3.3：从种群I中随机抽取K个无人机个体作为父本，再随机抽取K个无人机个体作为母本，构成一组；
步骤D3.4，对于每一组父本和母本，确定两个十进制随机数，两个随机数之和小于无人机个体长度对应的十进制数；将母本前端到第一个随机数长度的DNA和母本后端到第二个随机数长度的DNA替换掉父本中对应的部分，如图5所示，得到新的个体；
步骤D3.5，对于新的个体每个位数都以预设概率变异，即1变为0，0变为1，若新个体满足无人机位置的约束即保留；
步骤D3.6，将新的个体与对应的父体分别代入目标函数中进行比较，保留能耗较少的一方；
步骤D3.7，反复迭代步骤D3.3至步骤D3.6，直到达到设定的迭代次数，得到筛选后的无人机种群；
步骤D3.8，从筛选后的无人机种群中，抽取预设无人机个数的无人机位置部署，作为当前无人机在目标区域的位置部署。
如图6所示本发明实施例的四种计算方法的能耗随着移动设备数量的增加变化图，图7所示本发明实施例的四种计算方法的能耗随着移动设备任务量的增加变化示意图。本发明设计了一种云边端合作的边缘计算方法，使用基站、无人机和任务处理设备协作帮助移动设备处理计算任务，采用DDQN深度强化学习求解卸载策略，使用拉格朗日对偶法求解无人机的总资源分配，使用遗传算法求解无人机的部署。本发明综合考虑了网络内的所有可利用的计算设备，有效地降低计算任务的系统处理能耗，提高用户的服务质量，具有一定灵活性。本发明采用DDQN深度强化学习计算得到最优卸载策略，能够以较低的复杂度获得大量移动设备的卸载动作，能够适应动态的环境变化。降低复杂度后一是可以节约计算资源，降低移系统的功耗，二是节约计算时间，可以提高系统的实时性，三是高效利用太阳能清洁能源。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理。前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (9)

1.一种云边端合作的边缘计算方法，其特征在于：针对基站所对应的目标区域，由基站、各移动设备、各无人机、各任务处理设备构成的云边端系统，基于各移动设备产生的计算任务，执行以下步骤，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略：
步骤A：基于目标区域内的各移动设备与基站通信，各移动设备将产生的计算任务的数据量和产生计算任务时各移动设备的位置数据传输给基站；
步骤B：初始化各无人机位置部署，检查无人机自身电量状况；
步骤C：针对云边端系统，基于移动设备的计算任务卸载到基站、无人机或任务处理设备计算分别对应的能耗，以降低云边端系统总能耗为目标构建云边端系统的优化问题；
步骤D：基于云边端系统构建的优化问题，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，循环执行步骤D1至步骤D3，直到结果收敛或者达到最大循环迭代次数，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略：
步骤D1：基于云边端系统构建的优化问题，根据各无人机位置部署，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用深度强化学习方法求解云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；
步骤D2：基于步骤D1中求解的云边端系统卸载策略，以及各无人机位置部署，采用拉格朗日对偶法求解承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源；
步骤D3：基于步骤D1中求解的云边端系统卸载策略，以及步骤D2中求解的无承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源，采用遗传方法求解各无人机在目标区域内的位置部署，进而实现无人机群中各无人机位置的更新。
2.根据权利要求1所述的一种云边端合作的边缘计算方法，其特征在于：所述步骤A的具体过程如下：
步骤A1：移动设备i的位置在t时隙的三维坐标表示为Li(t)＝(xi(t)，yi(t)，0)，xi(t)、yi(t)分别是移动设备i在t时隙的x轴坐标值和y轴坐标值；
基于高斯马尔可夫移动模型与随机移动模型，第i个移动设备在t时隙的移动速度vi(t)和方向θi(t)分别表示为：
Figure FDA0003527913570000011
Figure FDA0003527913570000012
式中，
Figure FDA0003527913570000013
和
Figure FDA0003527913570000014
为调整前一个时隙对当前时隙的影响的系数，
Figure FDA0003527913570000015
和
Figure FDA0003527913570000016
值均在0和1之间；
Figure FDA0003527913570000017
是目标区域内所有移动设备的平均速度；
Figure FDA0003527913570000018
是第i个移动设备的平均方向；Φi为服从第i个移动设备速度均值、速度方差的独立高斯分布
Figure FDA0003527913570000019
的常数，Ψi为服从第i个移动设备方向均值、方向方差的独立高斯分布
Figure FDA00035279135700000110
的常数；
综上，第i个移动设备在t时隙的位置Li(t)表示为
Li(t)＝(xi(t-1)+τvi(t)cosθi(t)，yi(t-1)+τvi(t)sinθi(t)，0)；
式中，τ为一个时隙的时间长度；
步骤A2：第i个移动设备将在t时隙产生的计算任务的数据量Di(t)，和产生计算任务时各移动设备的位置Li(t)传输给基站。
3.根据根据权利要求1所述的一种云边端合作的边缘计算方法，其特征在于：所述步骤B的具体过程如下：
检测上一个时隙结束后无人机的剩余能量EU(t-1)，若无人机剩余能量EU(t-1)小于无人机与移动设备服务和通信需要的能量Ec，则无人机通过设置在无人机上的太阳能电池板收割太阳能进行充电；
因此，可以得到t时隙开始前无人机的剩余能量EU(t)公式：
Figure FDA0003527913570000021
式中，Esolar为无人机通过设置在无人机上的太阳能电池板收割的太阳能。
4.根据根据权利要求1所述的一种云边端合作的边缘计算方法，其特征在于：所述步骤C的具体过程如下：
步骤C1：当t时隙第i个移动设备产生的计算任务卸载给第j个无人机时，基于香农公式得到第i个移动设备和第j个无人机之间的数据传输速率
Figure FDA0003527913570000022
表示为：
Figure FDA0003527913570000023
式中，
Figure FDA0003527913570000024
表示移动设备与无人机之间的信道带宽，U指代无人机，M为指代移动设备，pi表示第i个移动设备的传输功率，g0表示1m处的信道增益，G0、γ均为常数，N0表示噪声功率谱密度，||Li(t)-Lj||为第i个移动设备和第j个无人机之间的距离，Li(t)表示第i个移动设备在t时隙的位置，Lj表示第j个无人机的位置；
当t时隙第i个移动设备的计算任务卸载给第j个无人机时，数据传输时间
Figure FDA0003527913570000025
和传输能耗
Figure FDA0003527913570000026
分别表示为：
Figure FDA0003527913570000027
Figure FDA0003527913570000028
式中，Di(t)表示第i个移动设备在t时隙产生的计算任务的数据量；
第j个无人机计算第i个移动设备的计算任务的计算时间
Figure FDA0003527913570000029
和计算能耗
Figure FDA00035279135700000210
表示为：
Figure FDA00035279135700000211
Figure FDA00035279135700000212
式中，
Figure FDA00035279135700000213
为第j个无人机分配给第i个移动设备的计算资源，ρ表示计算任务需要就算的比例，κ表示电容开关；
综上，当t时隙第i个移动设备的计算任务卸载给第j个无人机时，云边端系统的总时间T1和总能耗E1表示为：
Figure FDA00035279135700000214
Figure FDA00035279135700000215
步骤C2：当t时隙第i个移动设备的计算任务卸载给基站时，基于香农公式得到第i个移动设备和基站之间的数据传输速率
Figure FDA00035279135700000216
表示为
Figure FDA00035279135700000217
其中，||Li(t)||为第i个移动设备和基站之间的距离，
Figure FDA00035279135700000218
表示移动设备与基站之间的信道带宽，M指代无人机，B指代基站；
当t时隙第i个移动设备的计算任务卸载给基站时，数据传输时间
Figure FDA00035279135700000219
和传输能耗
Figure FDA00035279135700000220
分别表示为：
Figure FDA00035279135700000221
Figure FDA00035279135700000222
综上，当t时隙第i个移动设备的计算任务卸载给基站时，云边端系统的总时间T2和总能耗E2表示为：
Figure FDA0003527913570000031
Figure FDA0003527913570000032
步骤C3：当t时隙第i个移动设备的计算任务卸载给任务处理设备时，基于香农公式获得第i个移动设备和任务处理设备之间的数据传输速率
Figure FDA0003527913570000033
表示为
Figure FDA0003527913570000034
式中，||Li(t)-LC||为第i个移动设备和任务处理设备间的距离，LC表示任务处理设备的坐标，
Figure FDA0003527913570000035
表示移动设备与任务处理设备之间的信道带宽，M指代无人机，C指代任务处理设备；
当t时隙第i个移动设备的计算任务卸载给任务处理设备时，数据传输时间
Figure FDA0003527913570000036
和传输能耗
Figure FDA0003527913570000037
分别表示为
Figure FDA0003527913570000038
Figure FDA0003527913570000039
任务处理设备计算第i个移动设备的计算任务的计算时间
Figure FDA00035279135700000310
和计算能耗
Figure FDA00035279135700000311
表示为：
Figure FDA00035279135700000312
Figure FDA00035279135700000313
式中，fc为任务处理设备分配给移动设备的计算资源；
综上，当t时隙第i个移动设备的计算任务卸载给任务处理设备时，云边端系统的总时间T3和总能耗E3表示为
Figure FDA00035279135700000314
Figure FDA00035279135700000315
步骤C4，综上，优化问题可以表示为
Figure FDA00035279135700000316
s.t.约束1：
Figure FDA00035279135700000317
约束2：||Lj-Lk||≥dmin
约束3：||Lj||＜||Lj||max
约束4：
Figure FDA00035279135700000318
约束5：fj i≤fmax
式中，A表示移动设备卸载决策矩阵；F表示无人机资源分配矩阵；L表示无人机位置矩阵；I表示目标区域内移动设备的总数；ai为云边端系统对于第i个移动设备的卸载决策动作，ai＝1表示卸载给无人机，ai＝2表示卸载给基站，ai＝3表示卸载给任务处理设备；约束1表示每个任务的处理时间不能超过自身的服务质量时间TQoS；约束2表示每两个无人机之间要大于等于最小距离dmin；约束3表示每个无人机的位置不能超过空间限制；约束4表示当无人机为移动设备服务时，无人机的剩余能量应该大于此次任务处理所需要的能量；约束5表示无人机分配给移动设备计算资源不能超过无人机的计算资源上限。
5.根据权利要求1所述的一种云边端合作的边缘计算方法，其特征在于：所述步骤D1的具体过程如下：
基于云边端系统构建的优化问题，根据各无人机位置，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用DDQN的深度强化学习方法循环执行步骤D1.1至步骤D1.5，直到达到最大循环次数或者损失函数的绝对值小于预设阈值，得到云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；
步骤D1.1：获得t时隙下云边端系统的状态，即t时隙下云边端系统中所有移动设备的计算任务的数据量D(t)和位置数据L(t)，状态表示为St＝(D(t)，L(t))；
步骤D1.2：DDQN网络内有包括移动设备的卸载决策动作的动作空间At，移动设备的卸载决策动作包括卸载到基站、无人机或任务处理设备；
步骤D1.3：将t时隙下云边端系统的状态St输入进DDQN网络中，基于输出动作空间At中各个动作的价值，再结合∈-greddy准则选择生成的动作at，并计算出云边端系统能耗的负值作为DDQN的奖励，记为rt；并更新(t+1)时隙的状态St+1，
步骤D1.4：将步骤D1.1和步骤D1.3生成的(St，at，rt，St+1，)存入到记忆库中，若记忆库中的数据已经满了，则用新的数据逐个覆盖旧的数据；
步骤D1.5：当记忆库中的数据达到预设数量后，抽取记忆库中预设数量的数据训练DDQN网络。
6.根据权利要求5所述的一种云边端合作的边缘计算方法，其特征在于：所述DDQN网络内包含预测网络、目标网络，所述损失函数L为：
L＝(Q预测-Q目标)2
Q预测＝Q(St，at)
Q目标＝rt+γQ(St+1，at+1)
式中，Q预测为基于St、at输入到DDQN的预测网络中得到的预测输出值，Q目标为基于rt、St+1、at+1输入到DDQN的目标网络得到的目标输出值。
7.根据根据权利要求4所述的一种云边端合作的边缘计算方法，其特征在于：所述步骤D2的具体过程如下：
步骤D2.1：步骤D2：基于步骤D1中求解的云边端系统卸载策略，以及各无人机位置部署，将云边端系统的优化问题重塑为：
Figure FDA0003527913570000041
s.t.约束1：T1＜TQoS
约束4：
Figure FDA0003527913570000042
约束5：fj i≤fmax
式中，F表示无人机资源分配矩阵；H表示卸载动作为卸载给无人机的移动设备集合，E1表示卸载给无人机的卸载动作所对应的系统总能耗；T1表示卸载给无人机的卸载动作所对应的系统总时间，约束1表示每个任务的处理时间不能超过自身的服务质量时间TQoS；约束4表示当第j个无人机为第i个移动设备服务时，无人机的剩余能量EU(t)应该大于此次任务处理所需要的能量
Figure FDA0003527913570000043
约束5表示无人机分配给移动设备计算资源fj i不能超过无人机的计算资源上限；
步骤D2.2：引入广义拉格朗日函数，步骤D2.1的问题变化为
Figure FDA0003527913570000044
其中，αj、βj、γj是拉格朗日算子，j指代第j个无人机，
Figure FDA0003527913570000045
是关于αj，βj，γj的函数；
步骤D2.3：定义函数
Figure FDA0003527913570000051
若约束有一个不满足，θP(fj i)将趋近于无穷，得出
Figure FDA0003527913570000052
综上，在满足约束的情况下，minFθP(fj i)＝minFE1
步骤D2.4：定义关于αj，βj，γj的函数
Figure FDA0003527913570000053
步骤D2.5：定义重塑问题的对偶问题
Figure FDA0003527913570000054
求解对偶问题的解即可求解重塑问题的解，得到承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源。
8.根据根据权利要求1所述的一种云边端合作的边缘计算方法，其特征在于：所述步骤D3的具体过程如下：
步骤D3.1：将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0；
步骤D3.2：基于各个采用预设长度的二进制表示位置的无人机，生成一个无人机种群，其中无人机的总个数为I，每个无人机都是一个无人机个体，无人机种群公式可以表示为：
Figure FDA0003527913570000055
步骤D3.3：从种群I中随机抽取K个无人机个体作为父本，再随机抽取K个无人机个体作为母本，构成一组；
步骤D3.4，对于每一组父本和母本，确定两个十进制随机数，两个随机数之和小于无人机个体长度对应的十进制数；将母本前端到第一个随机数长度的DNA和母本后端到第二个随机数长度的DNA替换掉父本中对应的部分，得到新的个体；
步骤D3.5，对于新的个体每个位数都以预设概率变异，即1变为0，0变为1，若新个体满足无人机位置的约束即保留；
步骤D3.6，将新的个体与对应的父体分别代入目标函数中进行比较，保留能耗较少的一方；
步骤D3.7，反复迭代步骤D3.3至步骤D3.6，直到达到设定的迭代次数，得到筛选后的无人机种群；
步骤D3.8，从筛选后的无人机种群中，抽取预设无人机个数的无人机位置部署，作为当前无人机在目标区域的位置部署。
9.根据权利要求8所述的一种云边端合作的边缘计算方法，其特征在于：所述步骤D3.1将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0的过程如下：
确定无人机横纵坐标的范围和高度的上限和下限，这三者的最高值作为标准，并将最高值转化为二进制，其他两个数都以该最高值对应的二进制长度为标准转化为二进制，长度不足的在前面补0。
CN202210197990.7A 2022-03-02 2022-03-02 一种云边端合作的边缘计算方法 Pending CN114521002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210197990.7A CN114521002A (zh) 2022-03-02 2022-03-02 一种云边端合作的边缘计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210197990.7A CN114521002A (zh) 2022-03-02 2022-03-02 一种云边端合作的边缘计算方法

Publications (1)

Publication Number Publication Date
CN114521002A true CN114521002A (zh) 2022-05-20

Family

ID=81599670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210197990.7A Pending CN114521002A (zh) 2022-03-02 2022-03-02 一种云边端合作的边缘计算方法

Country Status (1)

Country Link
CN (1) CN114521002A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174566A (zh) * 2022-06-08 2022-10-11 之江实验室 一种基于深度强化学习的边缘计算任务卸载方法
CN116112981A (zh) * 2023-04-13 2023-05-12 东南大学 一种基于边缘计算的无人机任务卸载方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174566A (zh) * 2022-06-08 2022-10-11 之江实验室 一种基于深度强化学习的边缘计算任务卸载方法
CN115174566B (zh) * 2022-06-08 2024-03-15 之江实验室 一种基于深度强化学习的边缘计算任务卸载方法
CN116112981A (zh) * 2023-04-13 2023-05-12 东南大学 一种基于边缘计算的无人机任务卸载方法

Similar Documents

Publication Publication Date Title
CN112351503B (zh) 基于任务预测的多无人机辅助边缘计算资源分配方法
CN113346944B (zh) 空天地一体化网络中时延最小化计算任务卸载方法及系统
CN114521002A (zh) 一种云边端合作的边缘计算方法
CN112911648A (zh) 一种空地结合的移动边缘计算卸载优化方法
CN113939034A (zh) 一种立体异构电力物联网云边端协同资源分配方法
CN114048689B (zh) 基于深度强化学习的多无人机空中充电和任务调度方法
CN113282352B (zh) 基于多无人机协同辅助边缘计算的节能卸载方法
CN114422349B (zh) 基于云边端协同的深度学习模型训练和推理架构部署方法
CN112929849B (zh) 一种基于强化学习的可靠车载边缘计算卸载方法
CN113645273B (zh) 基于业务优先级的车联网任务卸载方法
CN114169234A (zh) 一种无人机辅助移动边缘计算的调度优化方法及系统
CN111915142A (zh) 一种基于深度强化学习的无人机辅助资源分配方法
CN112540845A (zh) 一种基于移动边缘计算的协作系统及方法
CN116455768B (zh) 面向全局时延优化的云边端协同cnn推理方法及系统
CN114650228A (zh) 一种异构网络中基于计算卸载的联邦学习调度方法
CN115209426A (zh) 一种边缘车联网内数字孪生服务器动态部署方法
WO2022242468A1 (zh) 任务卸载方法、调度优化方法和装置、电子设备及存储介质
Zhou et al. Dynamic channel allocation for multi-UAVs: A deep reinforcement learning approach
CN114363803A (zh) 一种移动边缘计算网络节能的多任务分配方法及系统
CN117236561A (zh) 一种基于sac的多无人机辅助移动边缘计算方法、装置及存储介质
CN116723548A (zh) 一种基于深度强化学习的无人机辅助计算卸载方法
Shaodong et al. Multi-step reinforcement learning-based offloading for vehicle edge computing
CN115967430A (zh) 一种基于深度强化学习的成本最优空地网络任务卸载方法
CN112492652B (zh) 一种边缘设备算力服务调配的方法、装置及系统
CN114513814A (zh) 基于无人机辅助节点的边缘网络计算资源动态优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination