CN114125708B - 一种基于数字孪生的无人机集群轨迹优化和任务卸载方法 - Google Patents

一种基于数字孪生的无人机集群轨迹优化和任务卸载方法 Download PDF

Info

Publication number
CN114125708B
CN114125708B CN202210065422.1A CN202210065422A CN114125708B CN 114125708 B CN114125708 B CN 114125708B CN 202210065422 A CN202210065422 A CN 202210065422A CN 114125708 B CN114125708 B CN 114125708B
Authority
CN
China
Prior art keywords
user equipment
unmanned aerial
aerial vehicle
task
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210065422.1A
Other languages
English (en)
Other versions
CN114125708A (zh
Inventor
谈玲
刘玉风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210065422.1A priority Critical patent/CN114125708B/zh
Publication of CN114125708A publication Critical patent/CN114125708A/zh
Application granted granted Critical
Publication of CN114125708B publication Critical patent/CN114125708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于数字孪生的无人机集群轨迹优化和任务卸载方法，包括：构建无人机集群辅助边缘计算模型；构建物理实体网络；构建物理实体网络的数字孪生网络，拟合用户设备和无人机的地理位置、资源状态信息；构建无人机轨迹、用户设备卸载决策和计算资源分配的优化模型；求解无人机轨迹和用户设备、无人机的计算资源分配策略；获取用户设备的卸载决策；获得无人机的轨迹，用户设备和无人机的计算资源最优分配策略，以及获得用户设备的计算任务最优卸载决策。本发明利用在基站端构建的数字孪生网络所反馈的实时数据，获得全局次优解的无人机轨迹、用户设备卸载决策和计算资源分配，从而降低整个系统的能量消耗。

Description

一种基于数字孪生的无人机集群轨迹优化和任务卸载方法
技术领域
本发明涉及无人机辅助的边缘计算技术领域，具体而言涉及一种基于数字孪生的无人机集群轨迹优化和任务卸载方法。
背景技术
近年来，处在偏远山区或通信覆盖率较低地区的用户，当面临极端天气发生时，将会出现部分移动电话无信号的情况，这或将导致本可以有求救机会的用户失去宝贵的生命。因此，在面对极端天气频发的今天，提前做好通信平台的建设至关重要，这既是对突发事件的有利防范，也是对用户生命安全的一道保障。
现阶段，关于临时通信中高空基站平台的搭建研究越来越多，其中由于无人机具有高机动性，成本低廉和易于部署的特点，无人机辅助的边缘计算技术快速发展，并受到学术界和工业界广泛的关注。现有针对无人机辅助边缘计算的研究中，大多假设无人机能够稳定地飞行或悬停在高空中，为用户设备提供流畅的通信与计算服务，并未考虑在极端天气中，一旦无人机无法稳定持续地为用户设备提供服务，该如何进一步保障用户设备的通信体验。
现实世界中，环境在随时随地发生改变，地面用户的移动也存在无规律性，数字孪生作为一种新兴的数字技术，可将真实世界数字化，实现物理世界与虚拟世界的交流，协作和信息共享，从而创造出一个混合的真实虚拟世界。进一步的，通过将移动边缘计算和数字孪生进行结合，构建数字孪生边缘网络，可以监控整个边缘计算网络的实时状态，为物理实体提供更加准确快速的决策。
发明内容
本发明针对现有技术中的不足，提供一种基于数字孪生的无人机集群轨迹优化和任务卸载方法（DTUAV-TO），充分考虑在面对多用户活动区域时，无人机数量和初始悬停位置的确定，以及利用在基站端构建的数字孪生网络所反馈的实时数据，获得全局次优解的无人机轨迹、用户设备卸载决策和计算资源分配，从而降低整个系统的能量消耗。
为实现上述目的，本发明采用以下技术方案：
本发明实施例提出了一种基于数字孪生的无人机集群轨迹优化和任务卸载方法，所述无人机集群轨迹优化和任务卸载方法包括以下步骤：
S1，根据第三方收集的数据，得到环境中各个区域中心的位置坐标，构建无人机集群辅助边缘计算模型；
S2，采用改进的A-DBSCAN方法求解无人机的数量以及位置部署，构建物理实体网络；
S3，在配备MEC服务器的宏基站端构建物理实体网络的数字孪生网络，拟合用户设备和无人机的地理位置、资源状态信息；
S4，基于步骤S3反馈的用户设备位置及任务信息，构建无人机轨迹、用户设备卸载决策和计算资源分配的优化模型；
S5，基于步骤S4构建的优化模型，应用Optimization Algorithm算法求解无人机轨迹和用户设备、无人机的计算资源分配策略；
S6，基于步骤S5求解出的无人机轨迹，用户设备、无人机的计算资源分配策略，利用DDQN-OD算法来获取用户设备的卸载决策；
S7，循环执行步骤S5和步骤S6，直到相邻两次迭代下整个系统的能量消耗值的绝对值小于预设阈值，或者达到最大预设迭代次数时，迭代结束，即获得无人机的轨迹，用户设备和无人机的计算资源最优分配策略，以及获得用户设备的计算任务最优卸载决策；基于无人机集群的布设，应用无人机轨迹、计算任务最优卸载决策、以及计算资源最优分配策略，实现对目标区域内各用户设备上计算任务的卸载计算。
本发明的有益效果是：
本发明可根据具体环境状况，采用A-DBSCAN方法求解无人机的数量以及初始悬停位置部署，对移动用户的活动区域进行有效划分，之后每架无人机只服务属于自己区域的移动用户，实现了分工明确的目的。由于环境的多变性和用户移动的无规律性，在基站端引入数字孪生网络来实时反馈用户设备、无人机以及基站自身的地理位置和计算资源等信息，为了进一步使得移动用户的任务能够高效地完成，应用OA算法(OptimizationAlgorithm算法)求解各个区域中无人机的最优飞行轨迹，为了实现资源的最大化利用，进一步应用OA算法得到用户设备和无人机的计算资源分配策略，并应用DDQN-OD算法求解用户设备的卸载决策，有效降低整个系统的能量消耗，提高用户设备的服务体验，具有较好的方便性。本发明采用A-DBSCAN方法求解无人机的数量以及初始悬停位置部署，能够有效利用无人机资源，在确保资源不浪费的同时，充分为用户设备服务，做到效益最大化，并且DDQN-OD算法能够适应动态的环境变化，得到一个最优的卸载决策，可以明显提高系统的实时性。
附图说明
图1为本发明实施例的无人机集群构成示意图。
图2为本发明实施例的基于数字孪生的无人机集群轨迹优化和任务卸载方法流程图。
图3为本发明实施例的A-DBSCAN实施流程图。
图4为本发明实施例的用于求解卸载决策的DDQN-OD示意图。
图5为本发明实施例的不同算法的用户设备任务量与系统能量消耗对比图。
图6为本发明实施例的不同算法的用户设备数与系统能量消耗对比图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
图1是本发明实施例的无人机集群构成示意图。在物理实体网络，包含两层，即移动用户层和无人机层，其中，移动用户层中的用户携带移动设备身处周围一座基站的区域中，移动用户所携带的移动设备会随时产生计算任务，并随着用户的移动位置发生改变；无人机层是由多架配备MEC服务器的无人机集群组成，其覆盖移动用户的活动区域，并且能够处理来自自己所属区域中用户设备的计算任务，减轻用户设备的负担。在数字孪生网络，其可以与物理实体网络进行信息的实时交互与共享，实现信息资源的及时掌握。
图2是本发明实施例的算法流程。该流程包含以下步骤：
S1，根据第三方收集的数据，得到环境中各个区域中心的数量为M，其中区域中心m 的三维坐标表示为
Figure 772350DEST_PATH_IMAGE001
, 假设最终的无人机数量为P，第p架无人机的编号为
Figure 689491DEST_PATH_IMAGE002
，构建无人机集群辅助边缘计算模型。
S2，采用改进的A-DBSCAN方法求解无人机的数量以及位置部署，构建物理实体网络，如图3所示，具体流程包括：
S2-1，将从第三方收集的数据中得到的各个区域中心的位置坐标构成一个数据集 A，其中
Figure 125020DEST_PATH_IMAGE003
，并初始化K值为正整数，其对应k- dist图中的k最大值。
S2-2，初始化k值，
Figure 520230DEST_PATH_IMAGE004
。
S2-3，依据欧几里得距离计算公式，依次计算数据集A中的数据对象Lm与其他数据 对第
Figure 334602DEST_PATH_IMAGE005
个最近点的距离，并将其作为数据对象Lm的k-dist值，记为
Figure 688223DEST_PATH_IMAGE006
，直到数据集
Figure 955256DEST_PATH_IMAGE007
中全部数据对象的k-dist值计算结束。
S2-4，将此
Figure 154156DEST_PATH_IMAGE005
值下的所有数据对象的k-dist值按照从小到大的顺序排列，绘制对 应的k-dist图像，其中横坐标为数据对象Lm，纵坐标为数据对象Lm对应的k-dist值。
S2-5，k=k+1，循环执行步骤S2-3至S2-4，直到k>K，循环停止，得到若干张k-dist图像；k-dist图像的数量不超过K。
S2-6，观察步骤S2-5中得到的K张k-dist图像，如果（k+1）-dist图像和k-dist图像没有太大的变化，则选取k-dist图像对应的k值为传统DBSCAN算法中的MinPts取值，继续观察该k-dist图像的曲线分布，找出临界点即图中出现的第一个谷点，Eps的值取这个点对应的距离即它的纵坐标。
S2-7，从数据集
Figure 229560DEST_PATH_IMAGE007
中任选一个未访问的数据对象Lm作为初始点，以该数据对象Lm为 圆心，以Eps的值为半径画一个圆，圆形区域记为该数据对象Lm的邻域。
S2-8，如果在该数据对象Lm的邻域中至少含有MinPts个数据对象，则该数据对象Lm是一个核心对象，聚类开始，该数据对象Lm成为新聚类中的第一个点。否则，该数据对象Lm将被标记为噪声点，在这两种情况下，该数据对象Lm均被标记为“已访问”。
S2-9，对于步骤S2-8中新聚类中的第一个数据对象Lm，其圆形区域内的点都成为同一聚类中的一部分。
S2-10，若核心对象邻域内的数据对象满足步骤S2-8中的条件，则成为新的核心对象，并将其邻域内的数据对象为同一聚类中的一部分，不断重复步骤S2-8至S2-10，直到该聚类附近的所有数据对象都已被访问。
S2-11，当完成当前的聚类时，重新检索下一个新的未访问点，重复步骤S2-8至S2-10，直到所有数据对象都被标记为“已访问”。
S2-12，当全部聚类结束后，记录当前聚类个数为P，对应最终的无人机数量，并且也对应将用户的活动区域划分为P个。
S2-13，计算每个聚类中所有数据对象的平均值，将其横坐标和纵坐标记为每架无 人机
Figure 222923DEST_PATH_IMAGE008
的初始悬停位置的横纵坐标，即第p架无人机的初始悬停位置坐标表示为：
Figure 977253DEST_PATH_IMAGE009
其中，H为P架无人机统一悬停高度，H为大于0的正数，无人机p服务的区域Zp即为自身所在聚类的区域。
S3，在配备MEC服务器的宏基站端构建物理实体网络的数字孪生网络，主要由用户设备和无人机两部分组成，用于拟合他们的地理位置、资源状态等信息。
S3-1，对于任意的用户活动区域Zp，假设其中的所有用户的活动周期为T，用户设 备数量为Ip，大小范围均为正整数，在时隙t，处在区域Zp的用户设备i生成的计算任务可以 表示为：
Figure 245423DEST_PATH_IMAGE010
，其中，
Figure 768808DEST_PATH_IMAGE011
表示处 在活动区域Zp的用户设备i的任务量的大小，单位为比特，
Figure 198653DEST_PATH_IMAGE012
表示完成1比特任务所需 的CPU周期数，
Figure 96070DEST_PATH_IMAGE013
表示完成该任务的最大时延。
处在活动区域Zp的用户设备i的三维坐标表示为：
Figure 371194DEST_PATH_IMAGE014
。
假设处在活动区域Zp的用户设备i的移动模型遵从高斯-马尔可夫随机模型，在时 隙t，处在活动区域Zp的用户设备i的用户设备i的速度
Figure 14665DEST_PATH_IMAGE015
和方向
Figure 880990DEST_PATH_IMAGE016
更新为：
Figure 609911DEST_PATH_IMAGE018
；
Figure 688726DEST_PATH_IMAGE020
；
其中，
Figure 593228DEST_PATH_IMAGE021
和
Figure 364875DEST_PATH_IMAGE022
用于调整前一状态的影响，
Figure 315513DEST_PATH_IMAGE023
表示处在活动区域Zp的所有用户设 备的平均速度，
Figure 729177DEST_PATH_IMAGE024
表示处在活动区域Zp的用户设备i的平均方向，
Figure 81661DEST_PATH_IMAGE025
和
Figure 24209DEST_PATH_IMAGE026
遵循两个具 有不同均值-方差对的独立高斯分布。
假设一个时隙的时间为
Figure 117936DEST_PATH_IMAGE028
，则处在活动区域Zp的用户设备i在时隙（t+1）的位置表示为：
Figure 538553DEST_PATH_IMAGE029
。
S3-2，在时隙t=0，处在活动区域Zp的无人机p从初始悬停位置开始飞行，在时隙t= T，处在活动区域Zp的无人机p飞回原始悬停位置
Figure 11123DEST_PATH_IMAGE030
，即满足下列约束：
Figure 655731DEST_PATH_IMAGE031
。
S3-2-1，在时隙（t+1），处在活动区域Zp的无人机p的位置表示为：
Figure 580961DEST_PATH_IMAGE032
其中，
Figure 211794DEST_PATH_IMAGE033
表示在时隙t，处在活动区域Zp的无人机p的飞行速度。
S3-3，在配备MEC服务器的宏基站端构建物理实体网络的数字孪生网络，主要由用户设备和无人机两部分组成。
S3-3-1，在时隙t，处在活动区域Zp的用户设备i的数字孪生体构建为：
Figure 273291DEST_PATH_IMAGE034
其中，
Figure 557642DEST_PATH_IMAGE035
是处在活动区域Zp的用户设备i的最大CPU频率，
Figure 970168DEST_PATH_IMAGE036
是处在活动区 域Zp的用户设备i的数字孪生体估计的CPU频率，
Figure 529326DEST_PATH_IMAGE037
是处在活动区域Zp的用户设备i与其 数字孪生体之间CPU频率的估计误差。
S3-3-2，在时隙t，无人机p的数字孪生体构建为：
Figure 710908DEST_PATH_IMAGE038
其中，
Figure 900581DEST_PATH_IMAGE039
是处在活动区域Zp的无人机
Figure 456196DEST_PATH_IMAGE040
的最大CPU频率，
Figure 22307DEST_PATH_IMAGE041
是 处在活动区域Zp的无人机
Figure 323975DEST_PATH_IMAGE040
的数字孪生体分配给处在活动区域Zp的用户设备i估 计的CPU频率，
Figure 215708DEST_PATH_IMAGE042
是处在活动区域Zp的无人机
Figure 602827DEST_PATH_IMAGE040
与其数字孪生体之间CPU频 率的估计误差。
S4，基于步骤S3反馈的用户设备位置及任务等信息，用
Figure 972628DEST_PATH_IMAGE043
表示在时隙t处在活 动区域Zp的用户设备i的卸载动作类型，其中，
Figure 269749DEST_PATH_IMAGE044
，表示在时隙t下，处在活动区 域Zp的用户设备i执行的动作。
S4-1，若处在活动区域Zp的用户设备i执行本地计算：
Figure 66803DEST_PATH_IMAGE045
。
S4-2，若处在活动区域Zp的用户设备i卸载到无人机
Figure 675639DEST_PATH_IMAGE046
计算：
Figure 380290DEST_PATH_IMAGE047
。
S4-3，若处在活动区域Zp的用户设备i卸载到基站计算：
Figure 390971DEST_PATH_IMAGE048
。
S4-4，考虑处在活动区域Zp的用户设备i在时隙t下的计算任务是独立不可分的，只能在一个地点进行计算，得到对应的约束条件为：
Figure 358927DEST_PATH_IMAGE049
。
S4-5，若处在活动区域Zp的用户设备i执行本地计算，即
Figure 110852DEST_PATH_IMAGE050
；对应的能量消 耗包括处在活动区域Zp的用户设备i为完成任务消耗的计算能耗
Figure 822456DEST_PATH_IMAGE051
和无人机p的推进 能耗
Figure 687643DEST_PATH_IMAGE052
；对应的时间消耗包括处在活动区域Zp的用户设备i为完成任务消耗的时 间能耗
Figure 357659DEST_PATH_IMAGE053
。
S4-5-1，在时隙t，处在活动区域Zp的用户设备i的能量消耗
Figure 941087DEST_PATH_IMAGE054
表示为：
Figure 190803DEST_PATH_IMAGE055
其中，
Figure 582601DEST_PATH_IMAGE056
表示对应处在活动区域Zp的用户设备i的芯片结构的预设参数值。
S4-5-2，在时隙t，无人机p的推进能耗
Figure 892360DEST_PATH_IMAGE057
表示为：
Figure 963084DEST_PATH_IMAGE058
其中，
Figure 547649DEST_PATH_IMAGE059
表示悬停状态下无人机p的翼型功率，
Figure 387429DEST_PATH_IMAGE060
表示转子叶尖转速，
Figure 868089DEST_PATH_IMAGE061
表示悬 停状态下无人机p的诱导功率，
Figure 816322DEST_PATH_IMAGE062
表示前进飞行时感应转子的平均速度，
Figure 673420DEST_PATH_IMAGE063
表示机身阻力 比，
Figure 367706DEST_PATH_IMAGE064
表示空气密度，s表示转子压实度，M表示转子盘面积。
S4-5-3，在时隙t，处在活动区域Zp的用户设备i的数字孪生体估计的计算时间
Figure 550426DEST_PATH_IMAGE065
表示为：
Figure 595743DEST_PATH_IMAGE066
处在活动区域Zp的用户设备i的真实计算时间消耗值与其数字孪生体估计值之间 的计算延迟间隙
Figure 990952DEST_PATH_IMAGE067
表示为：
Figure 946269DEST_PATH_IMAGE068
则在时隙t，处在活动区域Zp的用户设备i本地计算实际消耗的时间
Figure 34311DEST_PATH_IMAGE069
表示为：
Figure 301344DEST_PATH_IMAGE070
。
S4-6，在时隙t，若处在活动区域Zp的用户设备i选择将计算任务卸载给无人机p， 即
Figure 31403DEST_PATH_IMAGE071
，对应的能量消耗包括处在活动区域Zp的用户设备i将计算任务传输给无人 机p的传输能耗
Figure 434703DEST_PATH_IMAGE072
，无人机p为完成用户设备i的任务消耗的计算能耗
Figure 693646DEST_PATH_IMAGE073
，无人机p的推进能耗
Figure 103767DEST_PATH_IMAGE074
；对应的时间消耗包括处在活动区域Zp的用户 设备i将计算任务卸载给无人机p的传输时间
Figure 840779DEST_PATH_IMAGE075
和无人机p为完成计算任务消耗 的计算时间
Figure 364164DEST_PATH_IMAGE076
。
S4-6-1，在时隙t，处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输 能耗
Figure 325167DEST_PATH_IMAGE077
表示为：
Figure 301213DEST_PATH_IMAGE078
其中
Figure 841916DEST_PATH_IMAGE079
表示在时隙t，处在活动区域Zp的用户设备i将计算任务传输给无人 机p的发射功率，
Figure 891912DEST_PATH_IMAGE080
表示在时隙t，处在活动区域Zp的用户设备i将计算任务传输 给无人机p的传输时间，表示为：
Figure 227078DEST_PATH_IMAGE081
其中B表示信道带宽，
Figure 956000DEST_PATH_IMAGE082
表示高斯白噪声，
Figure 565973DEST_PATH_IMAGE083
表示信道功率增益。
S4-6-2，在时隙t，无人机p为完成用户设备i的任务消耗的计算能耗
Figure 63950DEST_PATH_IMAGE084
表示为：
Figure 570018DEST_PATH_IMAGE085
其中
Figure 442028DEST_PATH_IMAGE086
表示对应处在活动区域Zp的无人机p的芯片结构的预设参数值。
S4-6-3，在时隙t，无人机p的推进能耗
Figure 324533DEST_PATH_IMAGE087
表示为：
Figure 677017DEST_PATH_IMAGE089
。
S4-6-4，在时隙t，无人机p的数字孪生体估计的计算时间
Figure 150724DEST_PATH_IMAGE090
表示为：
Figure 588658DEST_PATH_IMAGE091
。
无人机p的真实计算时间消耗值与其数字孪生体估计值之间的计算延迟间隙
Figure 9275DEST_PATH_IMAGE092
表示为：
Figure 888370DEST_PATH_IMAGE093
。
则在时隙t，无人机p为完成用户设备i的计算任务实际消耗的时间表示为：
Figure 736240DEST_PATH_IMAGE094
。
S4-7，在时隙t，若处在活动区域Zp的用户设备i选择将计算任务卸载给基站，即
Figure 661470DEST_PATH_IMAGE095
，对应的能量消耗包括处在活动区域Zp的用户设备i将计算任务传输给无人机p 的传输能耗
Figure 416937DEST_PATH_IMAGE096
，无人机p将计算任务传输给基站消耗的传输能耗
Figure 744013DEST_PATH_IMAGE097
，无 人机p的推进能耗
Figure 28364DEST_PATH_IMAGE098
；对应的时间消耗包括处在活动区域Zp的用户设备i将计算任 务传输给无人机p的传输时间
Figure 96683DEST_PATH_IMAGE099
和无人机p将计算任务传输给基站的传输时间
Figure 859102DEST_PATH_IMAGE100
。
S4-7-1，在时隙t，处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输 能耗
Figure 40685DEST_PATH_IMAGE101
表示为：
Figure 27096DEST_PATH_IMAGE102
其中
Figure 926919DEST_PATH_IMAGE103
表示在时隙t，处在活动区域Zp的用户设备i将计算任务传输给 无人机p的传输时间，表示为：
Figure 493029DEST_PATH_IMAGE104
。
S4-7-2，在时隙t，无人机p将计算任务传输给基站消耗的传输能耗
Figure 935643DEST_PATH_IMAGE105
表 示为：
Figure 561796DEST_PATH_IMAGE106
其中
Figure 948915DEST_PATH_IMAGE107
表示在时隙t，无人机p将计算任务传输给基站的发射功率，
Figure 584296DEST_PATH_IMAGE108
表示在时隙t，无人 机p将计算任务传输给基站的传输时间，表示为：
Figure 740471DEST_PATH_IMAGE109
其中，
Figure 537526DEST_PATH_IMAGE110
表示在时隙t，无人机
Figure 802154DEST_PATH_IMAGE111
将计算任务传输给基站时的发射 功率，
Figure 975646DEST_PATH_IMAGE112
表示基站的位置坐标，表示为
Figure 986327DEST_PATH_IMAGE113
。
S4-7-3，在时隙t，无人机p的推进能耗
Figure 485442DEST_PATH_IMAGE114
表示为：
Figure 581574DEST_PATH_IMAGE115
。
S4-8，定义处在活动区域Zp的用户设备i的关联变量
Figure 27599DEST_PATH_IMAGE116
，计算资源分配变量
Figure 158366DEST_PATH_IMAGE117
，
Figure 703748DEST_PATH_IMAGE118
，无人机轨迹
Figure 287176DEST_PATH_IMAGE119
， 为了最小化整个系统的能量消耗，优化问题建模为：
Figure 536891DEST_PATH_IMAGE121
Figure 53323DEST_PATH_IMAGE123
Figure 363082DEST_PATH_IMAGE125
Figure 433806DEST_PATH_IMAGE127
Figure 143005DEST_PATH_IMAGE129
Figure 982785DEST_PATH_IMAGE131
Figure 463445DEST_PATH_IMAGE133
Figure 287045DEST_PATH_IMAGE135
Figure 144142DEST_PATH_IMAGE137
Figure 838429DEST_PATH_IMAGE139
Figure 896515DEST_PATH_IMAGE141
Figure 941831DEST_PATH_IMAGE143
Figure 337040DEST_PATH_IMAGE145
其中，目标函数中的
Figure 416992DEST_PATH_IMAGE146
表示在时隙t，为完成处在活动区域Zp的用户设备i的 计算任务，整个系统的能量消耗，表示为：
Figure 505033DEST_PATH_IMAGE147
其中
Figure 772067DEST_PATH_IMAGE148
，
Figure 372899DEST_PATH_IMAGE149
分别表示在时隙t，处在活动区域Zp的用 户设备i计算任务的本地计算模式、无人机端计算模式和基站端计算模式下的能量消耗；约 束C1表示在时隙t，处在活动区域Zp的用户设备i的关联变量，约束C2表示在时隙t，处在活 动区域Zp的用户设备i的计算任务只能选择在一个地点进行完成，约束C3和C4表示处在活 动区域Zp的用户设备i和无人机p的计算CPU频率不能超过各自的最大CPU频率，约束C5-C7 表示在时隙t，处在活动区域Zp的用户设备i的计算任务无论是在本地计算，无人机端计算 还是基站端计算，完成的时间
Figure 41777DEST_PATH_IMAGE150
均不能超过处在活动区域Zp的用户设备i所能容忍的最大时延
Figure 300720DEST_PATH_IMAGE151
，约束C8和C9表示在整 个时间周期T，处在活动区域Zp的用户设备i和无人机p消耗的总能耗均不能超过各自的最 大能耗值，约束C10保证无人机p飞行的初始位置相同，约束C11表示无人机p在时隙t时速度 约束，约束C12表示无人机p相邻两次位置之间的计算表达式。
S5，基于步骤S4构建的优化模型，应用OA算法求解无人机轨迹和用户设备、无人机的计算资源分配策略，包括以下步骤：
S5-1，给定用户设备的卸载决策A和无人机的轨迹U，求解计算资源分配变量F，则构建的优化问题表示为：
Figure 789470DEST_PATH_IMAGE152
P1.1的约束条件C13.1至C13.6分别为式(3)、式(4)、式(5)、式(6)、式(8)和式(9)。
S5-2，对于步骤S5-1中的凸优化问题P1.1，最优的计算资源分配变量F使用凸优化工具CVX进行求解。
S5-3，给定计算资源分配变量F和用户设备的卸载决策A，求解无人机的轨迹U，则构建的优化问题表示为：
Figure 323220DEST_PATH_IMAGE153
P1.2的约束条件C14.1至C14.7分别为式(6)、式(7)、式(8)、式(9)、式(10)、式(11)和式(12)。
S5-4，步骤S5-3中，约束C14.1至C14.3（对应式(6)至式(8)）关于处在活动区域
Figure 846605DEST_PATH_IMAGE154
的用户设备i将计算任务传输给无人机p的传输时间
Figure 417395DEST_PATH_IMAGE155
，其关于无人机的轨迹U是 非凸的，式(6)中，引入松弛变量
Figure 659020DEST_PATH_IMAGE156
，则式(6)转换为：
Figure 199723DEST_PATH_IMAGE157
其中
Figure 108773DEST_PATH_IMAGE158
，引入局部点
Figure 709519DEST_PATH_IMAGE159
，将上述转换后的式(6)利 用连续凸逼近技术进行一阶泰勒展开，最终表示为：
Figure 172861DEST_PATH_IMAGE160
其中
Figure 173047DEST_PATH_IMAGE161
，则式(6)最终转换为：
Figure 671025DEST_PATH_IMAGE162
式(7)转换为：
Figure 177092DEST_PATH_IMAGE163
式(8)转换为：
Figure 924469DEST_PATH_IMAGE164
；
S5-5，步骤S5-3中，式(9)是非凸的，其中关于
Figure 806974DEST_PATH_IMAGE165
，引入松弛变量
Figure 159458DEST_PATH_IMAGE166
， 则
Figure 242952DEST_PATH_IMAGE167
的原表达式转换为：
Figure 680886DEST_PATH_IMAGE168
。
S5-5-1，引入局部点
Figure 367082DEST_PATH_IMAGE169
，将
Figure 105231DEST_PATH_IMAGE170
利用连续凸逼近技术进行一阶泰勒展 开，表示为：
Figure 218681DEST_PATH_IMAGE171
。
S5-5-2，关于
Figure 143911DEST_PATH_IMAGE172
，引入松弛变量
Figure 368219DEST_PATH_IMAGE173
，局部点
Figure 351088DEST_PATH_IMAGE174
，则
Figure 635439DEST_PATH_IMAGE172
的原表达式转换为：
Figure 782386DEST_PATH_IMAGE175
。
S5-5-2-1，对
Figure 341543DEST_PATH_IMAGE176
应用连续凸逼近技术，进行一阶泰勒展开，表示为：
Figure 523126DEST_PATH_IMAGE177
S5-6，目标函数
Figure 978378DEST_PATH_IMAGE178
转换为：
Figure 284726DEST_PATH_IMAGE179
。
S5-7，优化问题P1.2重构为P1.3，表示如下：
Figure 850836DEST_PATH_IMAGE180
。
P1.3的约束条件包括：C15.1至C15.6、C16、C17、C18和C19；其中，C15.1至C15.6分别为式(10)、式(11)、式(12)、式(13)、式(14)和式(15)；
Figure 886925DEST_PATH_IMAGE181
S5-8，对于步骤S5-7中的凸优化问题
Figure 44237DEST_PATH_IMAGE182
，最优的无人机轨迹
Figure 165777DEST_PATH_IMAGE183
使用凸优化工具 CVX进行求解。
S6，基于步骤S5求解出的无人机轨迹和用户设备、无人机的计算资源分配策略，利用DDQN-OD算法来获取用户设备的卸载决策，包括以下步骤：
S6-1，构建两个参数完全相同的深度神经网络，一个叫做Q网络，所有参数记为
Figure 535578DEST_PATH_IMAGE184
， 另一个叫做目标Q网络，所有参数记为
Figure 347546DEST_PATH_IMAGE185
；当前系统状态
Figure 144600DEST_PATH_IMAGE186
表示为：
Figure 753436DEST_PATH_IMAGE187
。
S6-2，当在某个时隙t下的状态
Figure 192508DEST_PATH_IMAGE186
时，处在活动区域Zp的每个用户设备i完成计算 任务地点的选择，那么在时隙t下，动作空间
Figure 203189DEST_PATH_IMAGE188
表示为：
Figure 171145DEST_PATH_IMAGE189
。
S6-3，奖励函数
Figure 267277DEST_PATH_IMAGE190
表示为：
Figure 385406DEST_PATH_IMAGE191
其中，
Figure 516173DEST_PATH_IMAGE192
表示惩罚项，若处在活动区域Zp的用户设备i计算任务的完成时间大于任 务本身的容忍时延，则会相应给出一个惩罚数值。
S6-4，基于步骤S6-1至S6-3，给定用户设备和无人机的计算资源分配变量
Figure 655030DEST_PATH_IMAGE193
和无人 机的轨迹
Figure 504037DEST_PATH_IMAGE183
，求解用户设备的卸载决策
Figure 19332DEST_PATH_IMAGE194
，构建的优化问题表示为：
Figure 4606DEST_PATH_IMAGE195
。
P1.4的约束条件C20.1至C20.7分别为式(1)、式(2)、式(5)、式(6)、式(7)、式(8)和式(9)；
其中，
Figure 970157DEST_PATH_IMAGE196
表示通过DDQN-OD算法得到的最优卸载决策A。
S6-5，为解决优化问题P1.4，得到最优的卸载决策A，在数字孪生网络应用DDQN-OD算法，如图4所示，主要步骤包括：
S6-5-1，将物理实体网络中关于用户设备和无人机的相关信息输入到数字孪生网络中，实现信息的共享。
S6-5-2，智能体接收到物理信息后，向Q网络输入当前系统的状态，即
Figure 775302DEST_PATH_IMAGE186
。
S6-5-3，Q网络在接收到当前系统状态
Figure 828708DEST_PATH_IMAGE186
后，经过处理，输出下一个状态
Figure 199647DEST_PATH_IMAGE197
、卸载动作
Figure 680307DEST_PATH_IMAGE198
、奖励
Figure 238327DEST_PATH_IMAGE190
以及状态
Figure 236370DEST_PATH_IMAGE186
下各个用户设备完成卸载动作选择后整个系 统能量消耗值的负值和惩罚值之和Q值，其中动作
Figure 196236DEST_PATH_IMAGE199
使用
Figure 847797DEST_PATH_IMAGE200
贪婪算法进行选择， 即以概率
Figure 158693DEST_PATH_IMAGE201
随机选择一个动作，以概率
Figure 209694DEST_PATH_IMAGE202
选择最优Q值动作。
S6-5-4，智能体执行选择的动作
Figure 24066DEST_PATH_IMAGE203
，进入到下一个状态
Figure 846529DEST_PATH_IMAGE197
，得到奖励
Figure 644721DEST_PATH_IMAGE190
，并将记录
Figure 843621DEST_PATH_IMAGE204
加入到大小为D的经验池中。
S6-5-5，经验池被填满后，在其中随机抽取样本，应用经验回放策略，进行Q网络参 数
Figure 512500DEST_PATH_IMAGE205
的更新，具体步骤如下：
S6-5-5-1，在经验池中，随机抽取
Figure 912388DEST_PATH_IMAGE206
份记录，并令
Figure 666717DEST_PATH_IMAGE207
；
S6-5-5-2，对于第
Figure 669308DEST_PATH_IMAGE208
份记录，将其对应的状态
Figure 723852DEST_PATH_IMAGE209
输入到Q网络中，得到对应的Q预 测值，记为
Figure 888117DEST_PATH_IMAGE210
。
S6-5-5-3，对于第
Figure 129743DEST_PATH_IMAGE208
份记录，将其对应的状态
Figure 326238DEST_PATH_IMAGE211
输入到Q网络中，选择最大Q 值对应的动作
Figure 704129DEST_PATH_IMAGE212
，记为
Figure 304875DEST_PATH_IMAGE213
。
S6-5-5-4，对于第
Figure 299376DEST_PATH_IMAGE208
份记录，将其对应的状态
Figure 643770DEST_PATH_IMAGE214
输入到目标Q网络中，找到动 作
Figure 876168DEST_PATH_IMAGE212
对应的Q值，即：
Figure 54339DEST_PATH_IMAGE215
。
S6-5-5-5，计算第
Figure 4978DEST_PATH_IMAGE208
份记录的Q目标值
Figure 887483DEST_PATH_IMAGE216
，记为：
Figure 771125DEST_PATH_IMAGE217
其中，
Figure 713674DEST_PATH_IMAGE218
是衰减系数，当
Figure 807401DEST_PATH_IMAGE219
趋近于0时，全局网络将倾向于注重当前的瞬时 奖励，当
Figure 493597DEST_PATH_IMAGE219
趋近于1时，全局网络将倾向于注重未来的回报。
S6-5-5-6，使
Figure 700587DEST_PATH_IMAGE220
，并重复步骤S6-6-5-2至S6-6-5-6，直到
Figure 814037DEST_PATH_IMAGE221
，停止计算。
S6-5-5-7，定义均方差损失函数
Figure 270426DEST_PATH_IMAGE222
，记为：
Figure DEST_PATH_IMAGE223
。
S6-5-5-8，训练Q网络，即通过神经网络的梯度反向传播来更新Q网络的参数
Figure 494734DEST_PATH_IMAGE224
，更 新公式为：
Figure DEST_PATH_IMAGE225
其中，
Figure 228335DEST_PATH_IMAGE226
表示学习率。
S6-5-6，并经过一定的步数，使
Figure DEST_PATH_IMAGE227
，进行目标Q网络参数
Figure 778265DEST_PATH_IMAGE228
的更新。
S7，循环执行步骤S5和步骤S6，直到相邻两次迭代下整个系统的能量消耗值的绝对值小于预设阈值，或者达到最大预设迭代次数时，迭代结束，即获得无人机的轨迹，用户设备和无人机的计算资源最优分配策略，以及获得用户设备的计算任务最优卸载决策；然后基于无人机集群的布设，应用无人机轨迹、计算任务最优卸载决策、以及计算资源最优分配策略，实现对目标区域内各用户设备上计算任务的卸载计算。
图5为本发明实施例的不同算法的用户设备任务量与系统能量消耗对比图，在用户设备数一定的情况下，随着用户设备任务量增多，整个系统能量消耗的表现，分别是本发明提出DTUAV-TO算法，Deep Q-Network （DQN）算法和贪婪算法。整体来看，无论哪一种算法，随着用户设备任务量的增加，整体系统的能耗均是呈上升趋势，但本发明提出的DTUAV-TO算法较其他两种算法在最终得到的结果中均是最优的。一开始用户设备任务量不大的时候，三种算法之间的差距很小。当用户设备任务量增长到一定程度后，三种算法之间的差距明显增大，这是由于本发明提出的DTUAV-TO算法求解出来的策略开始充分考虑了环境信息，部署了适量的无人机，并且用户设备和无人机的计算资源以及无人机的轨迹得到充分优化。
图6为本发明实施例的不同算法的用户设备数与系统能量消耗对比图，在用户设备任务量一定的情况下，随着用户设备数的增多，整个系统能量消耗的表现，分别是本发明提出的DTUAV-TO算法，DQN算法和贪婪算法。三种算法中，整体来看，随着用户设备数的增加，整体系统的能耗均是呈上升趋势，但我们所提出的DTUAV-TO算法相较于其他两种算法效果要更加优秀。当用户设备数增长到一定程度后，三种算法之间的差距明显增大，这是由于本发明提出的算法求解出来的策略充分利用了数字孪生网络所反馈的环境信息，并依据DDQN-OD算法得到适合当下环境的卸载决策，最后对用户设备和无人机的计算资源充分优化，具有一定的可行性。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (4)

1.一种基于数字孪生的无人机集群轨迹优化和任务卸载方法，其特征在于，所述无人机集群轨迹优化和任务卸载方法包括以下步骤：
S1，根据第三方收集的数据，得到环境中各个区域中心的位置坐标，构建无人机集群辅助边缘计算模型；
S2，采用改进的A-DBSCAN方法求解无人机的数量以及位置部署，构建物理实体网络；
S3，在配备MEC服务器的宏基站端构建物理实体网络的数字孪生网络，拟合用户设备和无人机的地理位置、资源状态信息；
S4，基于步骤S3反馈的用户设备位置及任务信息，构建无人机轨迹、用户设备卸载决策和计算资源分配的优化模型；
S5，基于步骤S4构建的优化模型，应用Optimization Algorithm算法求解无人机轨迹和用户设备、无人机的计算资源分配策略；
S6，基于步骤S5求解出的无人机轨迹，用户设备、无人机的计算资源分配策略，利用DDQN-OD算法来获取用户设备的卸载决策；
S7，循环执行步骤S5和步骤S6，直到相邻两次迭代下整个系统的能量消耗值的绝对值小于预设阈值，或者达到最大预设迭代次数时，迭代结束，即获得无人机的轨迹，用户设备和无人机的计算资源最优分配策略，以及获得用户设备的计算任务最优卸载决策；基于无人机集群的布设，应用无人机轨迹、计算任务最优卸载决策、以及计算资源最优分配策略，实现对目标区域内各用户设备上计算任务的卸载计算；
步骤S2中，采用改进的A-DBSCAN方法求解无人机的数量以及位置部署，构建物理实体网络的过程包括以下步骤：
利用自第三方收集的数据中得到环境中各个区域中心的数量M，其中区域中心m的三维坐标表示为
Figure FDA0003537961640000011
最终的无人机数量为P，第p架无人机的编号为
Figure FDA0003537961640000012
S2-1，将从第三方收集的数据中得到的各个区域中心的位置坐标构成一个数据集A，其中
Figure FDA0003537961640000013
并初始化K值为正整数，其对应k-dist图中的k最大值；
S2-2，初始化k值，
Figure FDA0003537961640000014
S2-3，依据欧几里得距离计算公式，依次计算数据集A中的数据对象Lm与其他数据对象第k个最近点的距离，并将其作为数据对象Lm的k-dist值，记为
Figure FDA0003537961640000021
直到数据集A中全部数据对象的k-dist值计算结束；
S2-4，将此k值下的所有数据对象的k-dist值按照从小到大的顺序排列，绘制对应的k-dist图像，其中横坐标为数据对象Lm，纵坐标为数据对象Lm对应的k-dist值；
S2-5，令
Figure FDA0003537961640000022
循环执行步骤S2-3至S2-4，直到k>K，循环停止，得到若干张k-dist图像；k-dist图像的数量不超过K；
S2-6，观察步骤S2-5中得到的若干张k-dist图像，如果(k+1)-dist图像和k-dist图像相似度大于预设相似度阈值，则选取k-dist图像对应的k值为DBSCAN算法中的MinPts取值，继续观察该k-dist图像的曲线分布，找出临界点即图中出现的第一个谷点，Eps的值取这个点对应的距离即它的纵坐标；
S2-7，从数据集A中任选一个未访问的数据对象Lm作为初始点，以该数据对象Lm为圆心，以Eps的值为半径画一个圆，圆形区域记为该数据对象Lm的邻域；
S2-8，如果在该数据对象Lm的邻域中至少含有MinPts个数据对象，则该数据对象Lm是一个核心对象，聚类开始，该数据对象Lm成为新聚类中的第一个点；否则，该数据对象Lm将被标记为噪声点，在这两种情况下，该数据对象Lm均被标记为已访问；
S2-9，对于步骤S2-8中新聚类中的第一个数据对象Lm，其圆形区域内的点都成为同一聚类中的一部分；
S2-10，若核心对象邻域内的数据对象满足步骤S2-8中的条件，则成为新的核心对象，并将其邻域内的数据对象为同一聚类中的一部分，不断重复步骤S2-8至S2-10，直到该聚类附近的所有数据对象都已被访问；
S2-11，当完成当前的聚类时，重新检索下一个新的未访问点，重复步骤S2-8至S2-10，直到所有数据对象都被标记为已访问；
S2-12，当全部聚类结束后，记录当前聚类个数为P，对应最终的无人机数量，并且也对应将用户的活动区域划分为P个；
S2-13，计算每个聚类中所有数据对象的平均值，将其横坐标和纵坐标记为每架无人机p的初始悬停位置的横纵坐标，即第p架无人机的初始悬停位置坐标表示为：
Figure FDA0003537961640000031
其中，H为P架无人机统一悬停高度，H为大于0的正数，无人机p服务的区域Zp即为自身所在聚类的区域；
步骤S6中，利用DDQN-OD算法来获取用户设备的卸载决策的过程包括以下步骤：
S6-1，给定用户设备和无人机的计算资源分配变量F和无人机的轨迹U，求解用户设备的卸载决策A，构建的优化问题表示为：
Figure FDA0003537961640000032
Figure FDA0003537961640000033
Figure FDA0003537961640000034
Figure FDA0003537961640000035
Figure FDA0003537961640000036
Figure FDA0003537961640000037
Figure FDA0003537961640000038
Figure FDA0003537961640000039
S6-2，构建两个参数完全相同的深度神经网络：Q网络和目标Q网络，Q网络的所有参数记为
Figure FDA00035379616400000310
目标Q网络的所有参数记为
Figure FDA00035379616400000311
当前系统状态S(t)表示为：
Figure FDA00035379616400000312
S6-3，当在某个时隙t下的状态S(t)时，处在活动区域Zp的每个用户设备i完成计算任务地点的选择，在时隙t下，动作空间A(t)表示为：
Figure FDA0003537961640000041
S6-4，奖励函数R(t+1)表示为：
Figure FDA0003537961640000042
其中，ε表示惩罚项，若处在活动区域Zp的用户设备i计算任务的完成时间大于任务本身的容忍时延，则相应给出一个惩罚数值；
S6-5，基于步骤S6-2至S6-4，优化问题P1.4转换为：
Figure FDA0003537961640000043
其中，π*表示通过DDQN-OD算法得到的最优卸载决策A；
S6-6，为解决优化问题P1.5，得到最优的卸载决策A，在数字孪生网络应用DDQN-OD算法，即在时隙t，Q网络的输入是当前系统的状态S(t)，输出是下一个状态S(t+1)、卸载动作
Figure FDA0003537961640000044
奖励R(t+1)以及状态S(t)下各个用户设备完成卸载动作选择后整个系统能量消耗值的负值和惩罚值之和Q值，其中动作
Figure FDA0003537961640000045
使用ε-greedy贪婪算法进行选择，在执行选择的动作
Figure FDA0003537961640000046
后进入下一个状态S(t+1)，得到奖励R(t+1)，并将这条记录
Figure FDA0003537961640000047
加入到大小为D的经验池中，经验池被填满后，应用经验回放策略，进行Q网络参数
Figure FDA0003537961640000048
的更新，并经过一定的步数，进行目标Q网络参数
Figure FDA0003537961640000049
的更新。
2.根据权利要求1所述的基于数字孪生的无人机集群轨迹优化和任务卸载方法，其特征在于，步骤S3中，在配备MEC服务器的宏基站端构建物理实体网络的数字孪生网络，拟合用户设备和无人机的地理位置、资源状态信息的过程包括以下步骤：
S3-1，对于任意的用户活动区域
Figure FDA00035379616400000410
假设其中的所有用户的活动周期为T，用户设备数量为Ip，大小范围均为正整数，在时隙t，处在区域Zp的用户设备i生成的计算任务表示为：
Figure FDA0003537961640000051
其中，Dp，i(t)表示处在活动区域Zp的用户设备i的任务量的大小，单位为比特，Cp，i(t)表示完成1比特任务所需的CPU周期数，Tp，i(t)表示完成该任务的最大时延；
处在活动区域Zp的用户设备i的三维坐标表示为：Lp，i(t)＝(xp，i(t)，yp，i(t)，0)；
S3-2，在配备MEC服务器的宏基站端构建物理实体网络的数字孪生网络，由用户设备和无人机两部分组成；
S3-3，在t时隙，处在活动区域Zp的用户设备i的数字孪生体构建为：
Figure FDA0003537961640000052
其中，
Figure FDA0003537961640000053
是处在活动区域Zp的用户设备i的最大CPU频率，Lp，i(t)是处在活动区域Zp的用户设备i的位置，fp，i(t)是处在活动区域Zp的用户设备i的数字孪生体估计的CPU频率，
Figure FDA0003537961640000054
是处在活动区域Zp的用户设备i与其数字孪生体之间CPU频率的估计误差；
S3-4，在t时隙，无人机p的数字孪生体构建为：
Figure FDA0003537961640000055
其中，
Figure FDA0003537961640000056
是处在活动区域Zp的无人机p的最大CPU频率，Lp(t)表示处在活动区域Zp的无人机p的位置，
Figure FDA0003537961640000057
是处在活动区域Zp的无人机p的数字孪生体分配给处在活动区域Zp的用户设备i估计的CPU频率
Figure FDA0003537961640000058
是处在活动区域Zp的无人机p与其数字孪生体之间CPU频率的估计误差。
3.根据权利要求2所述的基于数字孪生的无人机集群轨迹优化和任务卸载方法，其特征在于，步骤S4中，构建无人机轨迹、用户设备卸载决策和计算资源分配的优化模型的过程包括以下步骤：
S4-1，用
Figure FDA0003537961640000061
表示在时隙t处在活动区域Zp的用户设备i的卸载动作类型，其中，
Figure FDA0003537961640000062
表示在时隙t下，处在活动区域Zp的用户设备i执行的动作；
若处在活动区域Zp的用户设备i执行本地计算：
Figure FDA0003537961640000063
若处在活动区域Zp的用户设备i卸载到无人机p计算：
Figure FDA0003537961640000064
若处在活动区域Zp的用户设备i卸载到基站计算：
Figure FDA0003537961640000065
S4-2，考虑处在活动区域Zp的用户设备i在时隙t下的计算任务是独立不可分的，只能在一个地点进行计算，得到对应的约束条件为：
Figure FDA0003537961640000066
S4-3，在时隙t，若处在活动区域Zp的用户设备i选择本地计算模式，即
Figure FDA0003537961640000067
对应的时间消耗包含用户设备i为完成任务的计算延迟
Figure FDA0003537961640000068
对应的能量消耗包含用户设备i的计算能耗
Figure FDA0003537961640000069
和无人机的推进能耗
Figure FDA00035379616400000610
S4-3-1，处在活动区域Zp的用户设备i的数字孪生体估计的计算时间
Figure FDA0003537961640000071
表示为：
Figure FDA0003537961640000072
处在活动区域Zp的用户设备i的真实计算时间消耗值与其数字孪生体估计值之间的计算延迟间隙
Figure FDA0003537961640000073
表示为：
Figure FDA0003537961640000074
则在时隙t，处在活动区域Zp的用户设备i本地计算实际消耗的时间
Figure FDA0003537961640000075
表示为：
Figure FDA0003537961640000076
S4-3-2，在时隙t，用户设备i的计算能耗
Figure FDA0003537961640000077
表示为：
Figure FDA0003537961640000078
其中，kp，i表示对应处在活动区域Zp的用户设备i的芯片结构的预设参数值；
S4-3-3，在时隙t，无人机p的推进能耗
Figure FDA0003537961640000079
表示为：
Figure FDA00035379616400000710
其中，P0表示悬停状态下无人机p的翼型功率，Utip表示转子叶尖转速，Pc表示悬停状态下无人机p的诱导功率，V0表示前进飞行时感应转子的平均速度，d0表示机身阻力比，∈表示空气密度，s表示转子压实度，M表示转子盘面积；
S4-4，在时隙t，若处在活动区域Zp的用户设备i选择将计算任务卸载给无人机p，即
Figure FDA00035379616400000711
对应的时间消耗包括处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输时间
Figure FDA0003537961640000081
和无人机p为完成用户设备i的任务消耗的计算时间
Figure FDA0003537961640000082
对应的能量消耗包括处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输能耗
Figure FDA0003537961640000083
无人机p为完成用户设备i的任务消耗的计算能耗
Figure FDA0003537961640000084
无人机p的推进能耗
Figure FDA0003537961640000085
S4-4-1，在时隙t，处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输时间
Figure FDA0003537961640000086
表示为：
Figure FDA0003537961640000087
其中，
Figure FDA0003537961640000088
表示在时隙t，处在活动区域Zp的用户设备i向无人机p传输计算任务的发射功率；
S4-4-2，在时隙t，无人机p的数字孪生体估计的计算时间
Figure FDA0003537961640000089
表示为：
Figure FDA00035379616400000810
无人机p的真实计算时间消耗值与其数字孪生体估计值之间的计算延迟间隙
Figure FDA00035379616400000811
表示为：
Figure FDA00035379616400000812
则在时隙t，无人机p为完成用户设备i的计算任务实际消耗的时间表示为：
Figure FDA00035379616400000813
S4-4-3，在时隙t，处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输能耗
Figure FDA0003537961640000091
表示为：
Figure FDA0003537961640000092
S4-4-4，在时隙t，无人机p为完成用户设备i的任务消耗的计算能耗
Figure FDA0003537961640000093
表示为：
Figure FDA0003537961640000094
其中，kp表示对应处在活动区域Zp的无人机p的芯片结构的预设参数值；
S4-4-5，在时隙t，无人机p的推进能耗
Figure FDA0003537961640000095
表示为：
Figure FDA0003537961640000096
S4-5，在时隙t，若处在活动区域Zp的用户设备i选择将计算任务卸载给基站，即
Figure FDA0003537961640000097
对应的时间消耗包括处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输时间
Figure FDA0003537961640000098
和无人机p将计算任务传输给基站的传输时间
Figure FDA0003537961640000099
由于基站计算资源丰富，基站协助用户设备完成计算任务的时间可忽略不计；对应的能量消耗包括处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输能耗
Figure FDA00035379616400000910
无人机p将计算任务传输给基站消耗的传输能耗
Figure FDA00035379616400000911
和无人机p的推进能耗
Figure FDA00035379616400000912
S4-5-1，在时隙t，处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输时间
Figure FDA00035379616400000913
表示为：
Figure FDA0003537961640000101
S4-5-2，在时隙t，无人机p将计算任务传输给基站的传输时间
Figure FDA0003537961640000102
表示为：
Figure FDA0003537961640000103
其中，
Figure FDA0003537961640000104
表示在时隙t，无人机p将计算任务传输给基站时的发射功率，LB表示基站的位置坐标，表示为LB＝(xB，yB，0)；
S4-5-3，在时隙t，处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输能耗
Figure FDA0003537961640000105
表示为：
Figure FDA0003537961640000106
S4-5-4，在时隙t，无人机p将计算任务传输给基站消耗的传输能耗
Figure FDA0003537961640000107
表示为：
Figure FDA0003537961640000108
S4-5-5，在时隙t，无人机p的推进能耗
Figure FDA0003537961640000109
表示为：
Figure FDA00035379616400001010
S4-6，定义处在活动区域Zp的用户设备i的关联变量
Figure FDA00035379616400001011
计算资源分配变量
Figure FDA00035379616400001012
Figure FDA0003537961640000111
无人机轨迹
Figure FDA0003537961640000112
为了最小化整个系统的能量消耗，优化问题建模为：
Figure FDA0003537961640000113
Figure FDA0003537961640000114
Figure FDA0003537961640000115
Figure FDA0003537961640000116
Figure FDA0003537961640000117
Figure FDA0003537961640000118
Figure FDA0003537961640000119
Figure FDA00035379616400001110
Figure FDA00035379616400001111
Figure FDA00035379616400001112
Figure FDA00035379616400001113
Figure FDA00035379616400001114
Figure FDA00035379616400001115
其中，目标函数中的
Figure FDA0003537961640000121
表示在时隙t，为完成处在活动区域Zp的用户设备i的计算任务，整个系统的能量消耗，表示为：
Figure FDA0003537961640000122
约束C1表示在时隙t，处在活动区域Zp的用户设备i的关联变量，约束C2表示在时隙t，处在活动区域Zp的用户设备i的计算任务只能选择在一个地点进行完成，约束C3和C4表示处在活动区域Zp的用户设备i和无人机p的计算CPU频率不能超过各自的最大CPU频率，约束C5-C7表示在时隙t，处在活动区域Zp的用户设备i的计算任务无论是在本地计算，无人机端计算还是基站端计算，完成的时间均不能超过处在活动区域Zp的用户设备i所能容忍的最大时延，约束C8和C9表示在整个时间周期T，处在活动区域Zp的用户设备i和无人机p消耗的总能耗均不能超过各自的最大能耗值，约束C10保证无人机p飞行的初始位置相同，约束C11表示无人机p在时隙t时速度约束，约束C12表示无人机p相邻两次位置之间的计算表达式。
4.根据权利要求3所述的基于数字孪生的无人机集群轨迹优化和任务卸载方法，其特征在于，步骤S5中，应用Optimization Algorithm算法求解无人机轨迹和用户设备、无人机的计算资源分配策略的过程包括以下步骤：
S5-1，给定用户设备的卸载决策A和无人机的轨迹U，求解用户设备和无人机的计算资源分配变量F，构建的优化问题表示为：
Figure FDA0003537961640000123
Figure FDA0003537961640000124
Figure FDA0003537961640000125
Figure FDA0003537961640000126
Figure FDA0003537961640000131
Figure FDA0003537961640000132
Figure FDA0003537961640000133
S5-2，对于步骤S5-1中的凸优化问题P1.1，用户设备和无人机的最优计算资源分配变量F使用凸优化工具CVX进行求解；
S5-3，给定用户设备和无人机的计算资源分配变量F和用户设备的卸载决策A，求解无人机的轨迹U，构建的优化问题表示为：
Figure FDA0003537961640000134
Figure FDA0003537961640000135
Figure FDA0003537961640000136
Figure FDA0003537961640000137
Figure FDA0003537961640000138
Figure FDA0003537961640000139
Figure FDA00035379616400001310
Figure FDA00035379616400001311
S5-4，步骤S5-3中，约束C14.1-C14.3中关于处在活动区域Zp的用户设备i将计算任务传输给无人机p的传输时间
Figure FDA00035379616400001312
其关于无人机的轨迹U是非凸的，在C14.1中，引入松弛变量{yp，i(t)}，则C14.1转换为：
Figure FDA0003537961640000141
其中yp，i(t)≥||Lp，i(t)-Lp(t)||2，引入局部点
Figure FDA0003537961640000142
将上述转换后的C14.1利用连续凸逼近技术进行一阶泰勒展开，最终表示为：
Figure FDA0003537961640000143
其中
Figure FDA0003537961640000144
则约束C14.1最终转换为：
Figure FDA0003537961640000145
约束C14.2转换为：
Figure FDA0003537961640000146
约束C14.3转换为：
Figure FDA0003537961640000147
S5-5，步骤S5-3中，约束C14.4是非凸的，其中关于
Figure FDA0003537961640000148
引入松弛变量{λp(t)}，则
Figure FDA0003537961640000149
的原表达式转换为：
Figure FDA00035379616400001410
S5-5-1，引入局部点{vp，l(t)}，将||vp(t)||2利用连续凸逼近技术进行一阶泰勒展开，表示为：
Figure FDA0003537961640000151
S5-5-2，关于
Figure FDA0003537961640000152
引入松弛变量{yp，i B(t)}和局部点
Figure FDA0003537961640000153
则
Figure FDA0003537961640000154
的原表达式转换为：
Figure FDA0003537961640000155
S5-5-2-1，对
Figure FDA0003537961640000156
应用连续凸逼近技术，进行一阶泰勒展开，表示为：
Figure FDA0003537961640000157
S5-6，目标函数
Figure FDA0003537961640000158
转换为：
Figure FDA0003537961640000159
S5-7，优化问题P1.2重构为P1.3，表示如下：
Figure FDA00035379616400001510
Figure FDA00035379616400001511
Figure FDA00035379616400001512
Figure FDA00035379616400001513
Figure FDA0003537961640000161
Figure FDA0003537961640000162
Figure FDA0003537961640000163
Figure FDA0003537961640000164
Figure FDA0003537961640000165
Figure FDA0003537961640000166
Figure FDA0003537961640000167
S5-8，对于步骤S5-7中的凸优化问题P1.3，最优的无人机轨迹U使用凸优化工具CVX进行求解。
CN202210065422.1A 2022-01-20 2022-01-20 一种基于数字孪生的无人机集群轨迹优化和任务卸载方法 Active CN114125708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210065422.1A CN114125708B (zh) 2022-01-20 2022-01-20 一种基于数字孪生的无人机集群轨迹优化和任务卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210065422.1A CN114125708B (zh) 2022-01-20 2022-01-20 一种基于数字孪生的无人机集群轨迹优化和任务卸载方法

Publications (2)

Publication Number Publication Date
CN114125708A CN114125708A (zh) 2022-03-01
CN114125708B true CN114125708B (zh) 2022-04-15

Family

ID=80360943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210065422.1A Active CN114125708B (zh) 2022-01-20 2022-01-20 一种基于数字孪生的无人机集群轨迹优化和任务卸载方法

Country Status (1)

Country Link
CN (1) CN114125708B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745666B (zh) * 2022-06-09 2022-08-30 南京信息工程大学 一种用于拥挤场馆中无人机辅助边缘计算方法
CN115577641B (zh) * 2022-11-14 2023-04-07 成都飞机工业（集团）有限责任公司 一种数字孪生模型的训练方法、装置、设备及介质
CN116112981B (zh) * 2023-04-13 2023-07-25 东南大学 一种基于边缘计算的无人机任务卸载方法
CN116302569B (zh) * 2023-05-17 2023-08-15 安世亚太科技股份有限公司 一种基于用户请求信息的资源分区智能化调度方法
CN117715117B (zh) * 2024-02-06 2024-05-28 南京信息工程大学 一种多uav-ris辅助移动边缘计算的任务卸载方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112600912A (zh) * 2020-12-10 2021-04-02 西安君能清洁能源有限公司 一种无人机辅助的边缘计算卸载算法分布式激励方法
CN112995913A (zh) * 2021-03-08 2021-06-18 南京航空航天大学 一种无人机轨迹、用户关联和资源分配联合优化方法
CN113296963A (zh) * 2021-07-27 2021-08-24 南京信息工程大学 一种考虑用户移动性的无人机辅助的边缘计算方法
CN113395654A (zh) * 2021-06-11 2021-09-14 广东工业大学 一种边缘计算系统的多无人机任务卸载和资源分配的方法
CN113852994A (zh) * 2021-11-18 2021-12-28 南京信息工程大学 一种用于应急通信中的高空基站集群辅助边缘计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112600912A (zh) * 2020-12-10 2021-04-02 西安君能清洁能源有限公司 一种无人机辅助的边缘计算卸载算法分布式激励方法
CN112995913A (zh) * 2021-03-08 2021-06-18 南京航空航天大学 一种无人机轨迹、用户关联和资源分配联合优化方法
CN113395654A (zh) * 2021-06-11 2021-09-14 广东工业大学 一种边缘计算系统的多无人机任务卸载和资源分配的方法
CN113296963A (zh) * 2021-07-27 2021-08-24 南京信息工程大学 一种考虑用户移动性的无人机辅助的边缘计算方法
CN113852994A (zh) * 2021-11-18 2021-12-28 南京信息工程大学 一种用于应急通信中的高空基站集群辅助边缘计算方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Digital Twin Platform for Multi-Rotor UAV;Yuanlin Yang, etc;《Proceedings of the 40th Chinese Control Conference》;20210728;全文 *
Beyond 5G for digital twins of UAVs;Zhihan Lv，etc;《Computer Networks 197(2021)》;20210729;全文 *
四旋翼无人机飞行过程孪生仿真研究;纪广等;《计算机工程与应用》;20211012;全文 *
基于边缘计算的混合现实数字孪生解决方案;杭州张量科技有限公司;《自动化博览·边缘计算专辑》;20210228;全文 *

Also Published As

Publication number Publication date
CN114125708A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN114125708B (zh) 一种基于数字孪生的无人机集群轨迹优化和任务卸载方法
CN112512056B (zh) 一种移动边缘计算网络中多目标优化的计算卸载方法
CN112788605B (zh) 基于双延迟深度确定性策略边缘计算资源调度方法和系统
CN113032904B (zh) 模型构建方法、任务分配方法、装置、设备及介质
CN113590232B (zh) 一种基于数字孪生的中继边缘网络任务卸载方法
CN114973673B (zh) 车路协同系统中结合noma和内容缓存的任务卸载方法
CN116321293A (zh) 基于多智能体强化学习的边缘计算卸载和资源分配方法
CN114745383A (zh) 一种移动边缘计算辅助多层联邦学习方法
CN113852994A (zh) 一种用于应急通信中的高空基站集群辅助边缘计算方法
CN117221950A (zh) 一种基于深度强化学习的车辆任务卸载方法与系统
CN115499921A (zh) 面向复杂无人机网络的三维轨迹设计及资源调度优化方法
CN116321298A (zh) 车联网中一种基于深度强化学习的多目标联合优化任务卸载策略
CN116405569A (zh) 基于车辆和边缘计算服务器的任务卸载匹配方法及系统
CN117236561A (zh) 一种基于sac的多无人机辅助移动边缘计算方法、装置及存储介质
CN117221951A (zh) 车载边缘环境下基于深度强化学习的任务卸载方法
CN116137724A (zh) 一种基于移动边缘计算的任务卸载及资源分配方法
CN115118591B (zh) 一种基于联盟博弈的簇联邦学习方法
CN116112981A (zh) 一种基于边缘计算的无人机任务卸载方法
CN114928893B (zh) 一种基于智能反射面的架构及任务卸载方法
CN113676917B (zh) 基于博弈论的无人机分层移动边缘计算网络的能耗优化方法
CN116017479A (zh) 一种分布式多无人机中继网络覆盖的方法
CN114513814A (zh) 基于无人机辅助节点的边缘网络计算资源动态优化方法
CN114756294B (zh) 一种基于深度强化学习的移动边缘计算卸载方法
CN112910716A (zh) 一种基于分布式dnn的移动雾计算损耗联合优化系统和方法
Luo et al. Decentralized User Allocation and Dynamic Service for Multi-UAV-Enabled MEC System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant