CN114745666B - 一种用于拥挤场馆中无人机辅助边缘计算方法 - Google Patents

一种用于拥挤场馆中无人机辅助边缘计算方法 Download PDF

Info

Publication number
CN114745666B
CN114745666B CN202210644872.6A CN202210644872A CN114745666B CN 114745666 B CN114745666 B CN 114745666B CN 202210644872 A CN202210644872 A CN 202210644872A CN 114745666 B CN114745666 B CN 114745666B
Authority
CN
China
Prior art keywords
user
unmanned aerial
aerial vehicle
task
time slot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210644872.6A
Other languages
English (en)
Other versions
CN114745666A (zh
Inventor
谈玲
曹博源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210644872.6A priority Critical patent/CN114745666B/zh
Publication of CN114745666A publication Critical patent/CN114745666A/zh
Application granted granted Critical
Publication of CN114745666B publication Critical patent/CN114745666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/14—Spectrum sharing arrangements between different networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0453—Resources in frequency domain, e.g. a carrier in FDMA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/53—Allocation or scheduling criteria for wireless resources based on regulatory allocation policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
    • H04W72/542—Allocation or scheduling criteria for wireless resources based on quality criteria using measured or perceived quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种用于拥挤场馆中无人机辅助边缘计算方法，利用无人机充当边缘服务器，建立一个无人机辅助通信的边缘计算网络，用于缓解通信网络的过载和计算量过大造成的高时延问题。针对拥挤场馆中用户任务传输以及处理延迟过高的问题提出一个双队列空闲卸载方法DQIO，在无人机辅助的边缘计算实体网络下，构建实体网络的数字孪生网络，并构建无人机轨迹和计算资源分配的优化模型，提出一种空闲卸载的卸载决策并利用机器学习等方法求解最优的无人机轨迹、卸载比例和计算资源分配方案，从而解决拥挤场馆中信道过载的问题，并降低用户的时延。

Description

一种用于拥挤场馆中无人机辅助边缘计算方法
技术领域
本发明属于无人机辅助的边缘计算领域，具体涉及一种用于拥挤场馆中无人机辅助边缘计算方法。
背景技术
随着智能移动设备和5G的普及，出现了人手一台甚至多台智能设备的情况，这带来了极大的通信需求和巨大的任务量；与此同时，许多计算密集型服务应运而生，而这些计算密集型服务发展受智能移动设备计算资源和电池容量的限制。为解决上述问题，通过将计算任务卸载给基站上的云服务器或者更近的边缘服务器，更快地完成计算任务并降低设备能耗、缩短任务处理时间。而在一些特殊情况，如大型展会或大型体育赛事中，基站除了要为场馆外的用户提供服务，还需要服务场馆内激增的用户，这很容易造成通信网络的过载，进而造成用户端时延过高、用户使用体验差的问题。为此产生了无人机搭载边缘服务器接收用户任务的方案，无人机具有灵活、低成本、易于部署等优势，在无人机辅助边缘计算上有很好的应用前景。
数字孪生，是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。数字孪生体最大的特点在于：它是对实体对象的动态仿真。
现有关于无人机辅助边缘计算的研究，大多假设边缘服务器有足够强大的计算能力，并且卸载的计算任务在到达服务器时立即执行，但实际上，在边缘服务器需要为大量用户提供服务时，用户卸载到边缘服务器的任务数量可能非常大，任务不能在短时间内被边缘服务器计算完成，这部分时延是不可忽略的，尤其是在上述场景中，优化用户时延的问题将更难解决。除此之外，目前大多研究假定每个用户产生的每个任务所需的计算量均相同，但在现实场景中，用户所产生的任务必定是不同的，所以每个任务所需的计算量也不同。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出了一种用于拥挤场馆中无人机辅助边缘计算方法，充分考虑拥挤场馆中的任务数量大且计算量不同的情况，并降低用户端的时延，以实现通信网络过载时，用户的任务仍能快速卸载并处理完成。
为了实现上述技术目的，本发明的技术方案为：
一种用于拥挤场馆中无人机辅助边缘计算方法，包括以下步骤：
S1、通过基站实时监测场馆用户数量，当场馆内用户数量超过预设的拥挤阈值，根据用户位置数据，采用改进的自然最近邻优化的密度峰值聚类方法对无人机进行部署，构建物理实体网络，随后基站停止对该场馆区域内用户的服务；
S2、在基站端构建物理实体网络的数字孪生网络，拟合用户和无人机的信息，包括用户位置、计算资源最大值、用于本地处理的计算资源、与其数字孪生体之间计算资源的估计误差以及任务信息和无人机的位置、计算资源最大值、分配给每个用户的计算资源、与其数字孪生体之间计算资源的估计误差以及分配给每个用户的信道带宽；
S3、根据S2拟合的用户位置、计算资源最大值、用于本地处理的计算资源、与其数字孪生体之间计算资源的估计误差以及任务信息和无人机的位置、计算资源最大值、分配给每个用户的计算资源、与其数字孪生体之间计算资源的估计误差以及分配给每个用户的信道带宽，构建本地计算模型、无人机计算模型以及用户和无人机的任务数据队列与计算队列；
S4、根据用户本地处理时延、用户卸载任务的传输时延以及无人机的计算时延，计算用户的总时延，并构建无人机轨迹和计算资源分配的用户时延优化模型，即系统时延最小化问题；
S5、基于李雅普诺夫优化方法将系统时延最小化问题转化为李雅普诺夫漂移加罚最小化问题；
S6、基于就近空闲卸载的卸载决策，分别通过凸优化和PPO算法得到最优方案，并检测用户数量；
S7、当基站检测到场馆用户数量减少到拥挤阈值以下时，视为一般状态，边缘计算无人机不再接收新任务，并在处理完剩余任务后进入待机状态，当基站检测到场馆用户仍处于拥挤状态时，重复步骤S1～S6直至场馆用户数量减少到拥挤阈值以下。
采用上述技术方案带来的有益效果：
1、本发明根据用户的位置，采用改进的自然最近邻优化的密度峰值聚类方法求解无人机数量以及初始位置，对用户区域进行了划分，规定了每架无人机的服务范围；设定一个类簇数据点阈值，避免当场馆内用户过于集中时，类簇中数据点过多的情况，避免一架无人机服务过多用户，更合理地分配了计算资源，同时自然最近邻优化的密度峰值聚类方法只需要类簇数据点阈值这一个参数，且自然最近邻优化的密度峰值聚类方法在该参数的选择上是鲁棒的，避免了参数敏感问题；
2、在基站端引入数字孪生网络，可以实时反馈用户和无人机的位置、计算资源、任务量等信息；
3、本发明考虑用户随机生成任务的计算量不同以及任务卸载到无人机上不能立即处理完成的情况，设定每个任务具有不同的计算量，并采用任务数据队列和计算队列的双队列数学模型，更加贴合实际；提出就近空闲卸载的卸载决策，非噪声点用户优先选择其类簇上空的无人机进行任务卸载，但该用户上空无人机双队列中，任一队列超过缓冲区阈值，或用户为噪声点用户时，则用户将根据其他无人机队列动态方程的值选择最空闲的无人机进行任务卸载，该卸载决策避免了无人机的任务过载，同时也避免了空闲计算资源的浪费；建立的数学模型通过李雅普诺夫优化方法，将随机问题转化为逐时间块问题，提高可解性；
4、本发明针对用户的总能耗，使用凸优化方法和PPO算法分别对无人机的轨迹和计算资源分配方案进行最优化并进行迭代，从而得到无人机轨迹和计算资源分配方案的最优解，使用户时延最小化。
附图说明
图1为本发明DQIO方法流程图；
图2为本发明改进的自然最近邻优化的密度峰值聚类方法流程图；
图3为本发明边缘计算网络示意图；
图4为本发明双队列运行示意图；
图5为本发明PPO算法示意图；
图6为本发明不同卸载比例方案的用户任务量与用户总时延对比图；
图7为本发明不同算法的用户任务量与用户总时延对比图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本实施例所述的一种用于拥挤场馆中无人机辅助边缘计算方法DQIO流程图如图1所示，该方法包括以下步骤：
S1、通过基站实时监测场馆用户数量，当场馆内用户数量超过预设的拥挤阈值，根据用户位置数据，采用改进的自然最近邻优化的密度峰值聚类方法对无人机进行部署，构建物理实体网络，随后基站停止对该场馆区域内用户的服务。
场馆方面在活动开始前将通过预计观众数量NUM以及活动开始时间等信息发送给基站，以便基站进行下一步的部署。
场馆内用户不超过NUM时，视为用户数为一般状态，若超过，则视为用户为拥挤状态，基站检测到用户进入拥挤状态时，采用改进的自然最近邻优化的密度峰值聚类方法求解无人机数量以及初始位置部署，如图2所示。
首先使用自然最近邻居搜索算法获得数据集中每个数据点的自然邻居以及计算每个数据点的密度，包括：
S1-1、将场馆内所有用户的集合作为自然最近邻搜索的数据集；
S1-2、对于集合
Figure GDA0003760727230000041
中每一个数据点(用户)i，采用KNN搜索，得到每个数据点i的邻居集合KNN(i)，KNN(i)是
Figure GDA0003760727230000042
的子集，如果数据点i是集合KNN(i)中另一个数据点i′的邻居，则将这对自然邻居{i，i′}加入集合NN中，且nb(i′)＝nb(i′)+1，nb(i′)＝nb(i′)+1，其中NN的初始值为空集，表示自然最近邻居的集合，nb(i)和nb(i′)初始值为0，分别表示数据点i和数据点i′的自然最近邻居数。
S1-3、重复步骤S1-2，直到集合NN中不再加入新的自然邻居对；
S1-4、得到自然邻居特征值：
Figure GDA0003760727230000043
其中sup表示自然邻居对的总数。
S1-5、计算每个数据点的密度
Figure GDA0003760727230000044
其中N(i，nb(i))是点i的nb(i)个自然邻居，dist(i，i′)是点i和i′之间的距离。
然后根据自然最近邻居搜索算法获得的自然邻居集合NN以及每个数据点的密度，利用自然最近邻优化的密度峰值聚类方法得到无人机数量以及位置部署方案，包括：
S1-6、找到每个数据点的代表点和稀疏邻居，其中代表点的定义为Exemplar(q)＝max{Den(NN(p))&&p≠q}，
稀疏邻居的定义为
SN(p)＝{q|Den(q)＜Den(p)&&q∈NN(p)}，其中p和q均是数据点，NN(p)代表数据点p自然邻居的集合；
S1-7、找到所有的密度峰并任意访问一个密度峰，将该密度峰和该密度峰的稀疏邻居分到同一个聚类，其中如果数据点p满足
Figure GDA0003760727230000057
Den(p)≥Den(q)，就称数据点p为一个密度峰；
S1-8、找到一个未访问的密度峰并重复S1-7，直到所有的密度峰都被访问；生成初始类簇；
S1-9、划分好初始类簇，根据初始类簇之间的相似度关系，合并相似度高的初始类簇，其中，类间相似度为
Figure GDA0003760727230000051
SUP是自然邻居特征值，
Figure GDA0003760727230000052
是类
Figure GDA0003760727230000053
和类
Figure GDA0003760727230000054
的公共部分；设定一个类簇数据点阈值PMAX，当一个类簇的数据点数超过阈值PMAX时，该类簇不合并；
S1-10、将类簇中数据个数小于最小自然邻居数的类簇从聚类结果中去除，并将这些类簇中的数据标记为噪声点，获得最终的聚类结果，将最终类簇的数量定义为M，并将M架无人机部署在每个类簇上空。
无人机辅助的边缘计算系统由1个基站，M架无人机和N个用户组成，M架无人机的集合表示为
Figure GDA0003760727230000055
N个用户的集合表示为
Figure GDA0003760727230000056
M架无人机的初始位置为该类簇内所有数据点位置的平均值，边缘计算系统运行过程中，无人机会根据用户任务量进行移动，同时无人机由基站无线供电，因此不考虑无人机的能耗。
S2、在基站端构建物理实体网络的数字孪生网络，拟合用户和无人机的位置、资源信息，物理实体网络与数字孪生网络如图3所示。
将用户活动周期划分为T个时隙，每个时隙的时间为τ，用户位置为Li＝(Xi，Yi，0)，在t时隙用户设备产生的任务为Λi(t)＝[k，λi，k(t)，ci，k]，其中k为用户i任务产生顺序的任务编号，该任务数据量为λi，k(t)，单位为比特，假设不同用户的任务计算量不同，ci，k是计算用户i产生的第k个任务所需的CPU周期数。
在基站端构建物理实体网络的数字孪生网络，由用户设备和无人机两部分组成，在t时隙，用户的数字孪生体DTi(t)构建为：
Figure GDA0003760727230000061
其中Li表示用户i的位置，fi表示用户i的最大计算资源，fi(t)表示用户i在t时隙用于本地处理任务的计算资源，
Figure GDA0003760727230000062
是用户i与其数字孪生体之间计算资源的估计误差，pi(t)表示用户i在t时隙的上行传输功率。
在t时隙，无人机j的数字孪生体DTj(t)表示为：
Figure GDA0003760727230000063
其中Lj(t)是无人机j在t时隙的位置，表示为Lj(t)＝(Xj(t)，Yj(t)，H)，Xj(t)，Yj(t)，H分别表示无人机j在t时隙的横纵坐标和高度，
Figure GDA0003760727230000064
是无人机j的最大计算资源，
Figure GDA0003760727230000065
代表无人机j在t对隙分别分配给N个用户i的计算资源的集合，
Figure GDA0003760727230000066
是无人机j与其数字孪生体之间分别分配给N个用户的计算资源的估计误差，Bj(t)＝{B1j(t)，…，BNj(t)}表示无人机j在t时隙分别提供给N个用户的信道带宽。
S3、根据S2获取的用户设备信息，构建本地计算模型、无人机计算模型及用户和无人机的任务数据队列与计算队列。
在t时隙，N个用户将一部分的任务进行本地处理，另一部分任务卸载到无人机上，用ρi(t)表示用户i本地处理任务的比例，(1-pi(t))表示用户卸载到无人机任务的比例，ρi(t)∈[0，1]；
在t时隙，用户i的数字孪生体估计的在本地计算过程中计算时延
Figure GDA0003760727230000071
表示为：
Figure GDA0003760727230000072
其中，fi(t)表示用户i在t时隙用于本地处理任务的计算资源，λi，k(t)为用户i产生的第k个任务的数据量，ci，k是计算用户i产生的第k个任务所需的CPU周期数；
用户i真实计算时延与其数字孪生体估计值之间的计算延迟间隙
Figure GDA0003760727230000073
表示为：
Figure GDA0003760727230000074
其中
Figure GDA0003760727230000075
是用户i与其数字孪生体之间计算资源的估计误差；
在t时隙，用户i本地计算任务实际消耗时间
Figure GDA0003760727230000076
表示为：
Figure GDA0003760727230000077
S3-3、用户i的数据传输速率rij(t)，表达式为：
Figure GDA0003760727230000078
式中Bij(t)表示无人机j在t时隙提供给用户i的信道带宽，pi(t)表示用户i在t时隙的上行数据传输功率，h0表示信道增益，σ2表示噪声功率，dij是用户i与其类簇上空无人机j的距离，表示为：
Figure GDA0003760727230000079
Xi，Yi分别表示用户i的横纵坐标，Xj(t)，Yj(t)，H分别表示t时隙无人机j的横纵坐标及高度；
用户i在t时隙将任务k卸载到无人机j的传输时延
Figure GDA0003760727230000081
表示为：
Figure GDA0003760727230000082
S3-4、在t时隙，用户i将任务卸载到无人机j后，无人机j的数字孪生体估计的处理任务k的计算时延
Figure GDA0003760727230000083
表示为：
Figure GDA0003760727230000084
其中
Figure GDA0003760727230000085
代表无人机j在t时隙分配给用户i的计算资源；
无人机j真实计算时延与其数字孪生体估计值之间的计算延迟间隙
Figure GDA0003760727230000086
表示为：
Figure GDA0003760727230000087
其中
Figure GDA0003760727230000088
是无人机j与其数字孪生体之间分配给用户i的计算资源的估计误差；
在t时隙，无人机jj完成用户i卸载的任务实际消耗时间
Figure GDA0003760727230000089
表示为：
Figure GDA00037607272300000810
如图4所示，构建用户和边缘服务器的双队列。首先构建用户本地计算队列模型，其中用户i数据队列的
Figure GDA00037607272300000811
动态方程为：
Figure GDA00037607272300000812
用户i计算队列
Figure GDA00037607272300000813
的动态方程为：
Figure GDA00037607272300000814
其中τ表示每个时隙的时间，
Figure GDA00037607272300000815
和
Figure GDA00037607272300000816
分别为用户i在t时隙的数据和任务队列，
Figure GDA00037607272300000817
表示计算用户i产生的第min Ki(t)个任务所需的CPU周期数，Ki(t)表示t时隙用户i缓冲区任务的集合，rij(t)τ表示t时隙用户i卸载到无人机j的任务量，τfi(t)表示t时隙用户i本地处理的任务量，当用户i随机产生新任务Λi(t)时，将k加入Ki；队列执行任务采用先进先出的原则，min Ki(t)表示t时隙集合Ki(t)中最小的编号，即最先进入用户i队列的任务的编号；当用户i通过计算和卸载使任务k离开队列时，k将会从Ki中移除；当t＝0时，
Figure GDA0003760727230000091
和
Figure GDA0003760727230000092
均为0；为了保证队列稳定性，需满足：
Figure GDA0003760727230000093
Figure GDA0003760727230000094
其中
Figure GDA0003760727230000095
表示用户的集合，T表示时隙数；
构建边缘计算服务器计算队列模型，其中无人机j的数据队列
Figure GDA0003760727230000096
的动态方程为：
Figure GDA0003760727230000097
无人机j的计算队列
Figure GDA0003760727230000098
的动态方程为：
Figure GDA0003760727230000099
其中，
Figure GDA00037607272300000910
和
Figure GDA00037607272300000911
分别表示无人机j在t时隙的数据和计算队列，
Figure GDA00037607272300000912
表示计算用户i卸载到无人机j的第
Figure GDA00037607272300000913
个任务所需的CPU周期数，
Figure GDA00037607272300000914
表示t时隙无人机j缓冲区中来自用户i任务的集合，当无人机j接收来自用户i的新任务Λi(t)时，将k加入
Figure GDA00037607272300000915
当用户j通过计算使任务k离开队列时，k将会从
Figure GDA00037607272300000916
中移除，
Figure GDA00037607272300000917
表示t时隙集合
Figure GDA00037607272300000918
中最小的编号，即用户i卸载的任务中最先进入无人机j队列的编号；当用户i没有将任务卸载到无人机j时，
Figure GDA0003760727230000101
和rij(t)均为0，当t＝0时，
Figure GDA0003760727230000102
和
Figure GDA0003760727230000103
均为0；为了保证队列稳定性，需满足：
Figure GDA0003760727230000104
Figure GDA0003760727230000105
其中
Figure GDA0003760727230000106
表示无人机的集合；
S4、得到用户的总时延，并构建无人机轨迹和计算资源分配的用户时延优化模型。
无人机轨迹Lj(t)表示为：
Lj(t)＝Lj(t-1)+vτ
其中v是无人机的飞行速度，τ表示每个时隙的时间，Lj(t-1)是第j架无人机上一时隙的位置。
用户总时延
Figure GDA0003760727230000107
包括用户本地计算时延、上行传输时延和无人机计算时延三部分，表达式为：
Figure GDA0003760727230000108
其中，
Figure GDA0003760727230000109
表示用户的集合，
Figure GDA00037607272300001010
表示无人机的集合，
Figure GDA00037607272300001011
是用户i在t时隙本地计算过程中实际产生的计算时延，
Figure GDA00037607272300001012
表示用户i在t时隙将任务卸载到无人机j的传输时延，
Figure GDA00037607272300001013
表示在t时隙，无人机j完成用户i卸载的任务实际产生的计算时延；
由于任务处理完毕后返回的计算结果数据量较小，所以下行传输时延忽略不计。
构建用户时延最小化优化模型，优化问题表示为：
Figure GDA0003760727230000111
Figure GDA0003760727230000112
C2：0≤pi(t)≤pi
C3：0≤fi(t)≤fi
Figure GDA0003760727230000113
C5：0≤ρi(t)≤1
C6：Lj(0)＝Lj(T)
C7：Lj(t)＝Lj(t-1)+vτ
Figure GDA0003760727230000114
Figure GDA0003760727230000115
Figure GDA0003760727230000116
Figure GDA0003760727230000117
其中，a(t)是问题P1优化变量的集合，表示为：
a(t)＝[B(t)，F(t)，FMEC(t)，p(t)，ρ(t)，LMEC(t)]
式中B(t)＝{[B11(t)，…B1M(t)]，…，[BN1(t)，…，BNM(t)]}表示第1到第M架无人机在t时隙分配给第1到第N个用户的带宽，
F(t)＝[f1(t)，…，fN(t)]表示t时隙第1到第N个用户分别用于本地计算的计算资源，
Figure GDA0003760727230000118
表示第1到第M架无人机在t时隙分别分配给N个用户的计算资源，
p(t)＝[p1(t)，…，pN(t)]表示t时隙第1到第N个用户的上行传输功率，ρ(t)＝[ρ1(t)，…，ρN(t)]表示t时隙第1到第N个用户卸载比例的集合，LMEC(t)＝[L1(t)，…，LM(t)]表示t时隙第1到第M架无人机位置的集合；
约束C1表示无人机j在t时隙提供给用户的信道带宽Bij(t)之和不能大于无人机j拥有的总信道带宽Bj，且Bij(t)不能为负；
约束C2表示用户i在t时隙的上行数据传输速率pi(t)不为负且不能大于最大传输速率pi；
约束C3表示用户i在t时隙用于本地处理的计算资源fi(t)不为负且不能大于用户i的总计算资源fi；
约束C4表示无人机j在t时隙分配给用户的计算资源
Figure GDA0003760727230000121
非负，且
Figure GDA0003760727230000122
之和不能大于无人机j所拥有的总计算资源
Figure GDA0003760727230000123
约束C5表示卸载比例ρi(t)不能大于1且不能小于0；
约束C6-C7是无人机的轨迹约束，C6表示无人机最后一个时隙T的位置Lj(T)与初始位置Lj(0)相同，C7是无人机j位置Lj(t)的表达式，即t时隙无人机j的位置等于上个时隙的位置Lj(t-1)加上无人机j速度v与时间τ|的乘积；
约束C8-C11是队列稳定性约束，
Figure GDA0003760727230000124
和
Figure GDA0003760727230000125
分别为用户i在t时隙的数据和任务队列，
Figure GDA0003760727230000126
和
Figure GDA0003760727230000127
分别表示无人机j在t时隙的数据和计算队列。
S5、基于李雅普诺夫优化方法将系统时延最小化问题转化为李雅普诺夫漂移加罚最小化问题。
为了满足队列稳定性约束，根据用户缓存任务队列和无人机缓存任务队列建立李雅普诺夫函数L(Θ(t))，表达式为：
Figure GDA0003760727230000131
其中，Θ(t)＝[Qloc(t)，Cloc(t)，QMEC(t)，CMEC(t)]，
Figure GDA0003760727230000132
Figure GDA0003760727230000133
和
Figure GDA0003760727230000134
分别表示t时隙第1到第N个用户本地和第1到第M架无人机的任务数据与任务队列长度的集合
则李雅普诺夫漂移Δ(Θ(t))为：
Figure GDA0003760727230000135
利用漂移加罚算法得到李雅普诺夫漂移加罚函数ΔV(Θ(t))为：
Figure GDA0003760727230000136
其中
Figure GDA00037607272300001310
是非负权重参数，用来表示Δ(Θ(t))和
Figure GDA0003760727230000137
的重要程度；
得到李雅普诺夫漂移加罚函数的上界为：
Figure GDA0003760727230000138
其中
Figure GDA0003760727230000139
其中，
A11、A12、A21、A22、A31、A32、A41和A42分别代表
Figure GDA0003760727230000141
λi，k(t)、
Figure GDA00037607272300001410
rij(t)τ-τfi(t)、λi(t)ci，k、
Figure GDA0003760727230000142
rij(t)τ、
Figure GDA0003760727230000143
和
Figure GDA0003760727230000144
的上界，λi，k(t)表示用户i产生的第k个任务的数据量，rij(t)是用户i的数据传输速率，ci，k表示计算用户i产生的第k个任务所需的CPU周期数，
Figure GDA00037607272300001411
表示计算用户i产生的第min Ki(t)个任务所需的CPU周期数，Ki(t)表示t时隙用户i缓冲区任务的集合，min Ki(t)表示t时隙集合Ki(t)中最小的编号，即最先进入用户i队列的任务的编号，
Figure GDA0003760727230000145
表示计算用户i卸载到无人机j的第
Figure GDA0003760727230000146
个任务所需的CPU周期数，
Figure GDA0003760727230000147
表示t时隙无人机j缓冲区中来自用户i任务的集合，
Figure GDA0003760727230000148
表示t时隙集合
Figure GDA0003760727230000149
中最小的编号，即用户i卸载的任务中最先进入无人机j队列的编号；
将问题P1转化为李雅普诺夫漂移加罚函数加罚最小化问题P2：
Figure GDA0003760727230000151
Figure GDA0003760727230000152
C2：0≤pi(t)≤pi
C3：0≤fi(t)≤fi
Figure GDA0003760727230000153
C5：0≤ρi(t)≤1
C6：Lj(0)＝Lj(T)
C7：Lj(t)＝Lj(t-1)+vτ
Figure GDA0003760727230000154
Figure GDA0003760727230000155
Figure GDA0003760727230000156
Figure GDA0003760727230000157
其中
Figure GDA0003760727230000158
S6、基于就近空闲卸载的卸载决策及S3获得的用户设备信息，分别通过凸优化和PPO算法得到无人机轨迹及卸载比例、计算资源分配的最优方案。
对无人机j的数据队列
Figure GDA0003760727230000161
和计算队列
Figure GDA0003760727230000162
均设置一个阈值，分别表示为
Figure GDA0003760727230000163
和
Figure GDA0003760727230000164
若用户i处于任一类簇内，则用户i将任务卸载到该类簇上空的无人机j，当无人机j的数据队列
Figure GDA0003760727230000165
超过
Figure GDA0003760727230000166
或者计算队列
Figure GDA0003760727230000167
超过
Figure GDA0003760727230000168
时，用户i不会将任务卸载到无人机j，而是根据其他无人机队列的动态方程来判断其空闲程度，动态方程的值越小，代表无人机越空闲，用户i将任务卸载到最空闲的无人机上；若用户i作为噪声点被排除，则用户i将任务卸载到最空闲的无人机上；
首先通过计算无人机的最优轨迹：
S6-1、求解无人机在每个时隙的位置变化LMEC(t)，构建的优化问题表示为：
Figure GDA0003760727230000169
s.t.C1：Lj(0)＝Lj(T)
C2：Lj(t)＝Lj(t-1)+vτ
其中，目标函数Z(t)中用户i的数据传输速率rij(t)关于无人机轨迹Lj(t)是非凸的，引入松弛变量{y(t)}，则rij(t)转换为：
Figure GDA00037607272300001610
其中y(t)≥(Xi-Xj(t))2+(Yi-Yj(t))2，h0表示信道增益，σ2表示噪声功率，其中，Xi，Yi表示用户i的横纵坐标，Xj(t)，Yj(t)，H分别表示t时隙无人机j的横纵坐标以及高度，y(t)+H2表示用户与无人机之间的距离的平方，引入局部点{yl(t)}，将转换后的rij(t)利用连续凸逼近技术进行一阶泰勒展开，则目标函数转换为：
Figure GDA0003760727230000171
优化问题P2重构为：
Figure GDA0003760727230000172
s.t.C1：Lj(0)＝Lj(T)
C2：Lj(t)＝Lj(t-1)+vτ
通过凸优化工具CVX对最优的无人机轨迹LMEC(t)进行求解；
然后采用PPO算法，如图5所示，计算无人机的最优计算资源分配方案：
S6-2、给定无人机轨迹LMEC(t)，求解
A(t)＝[B(t)，F(t)，FMEC(t)，p(t)，ρ(t)]，构建的优化问题表示为：
Figure GDA0003760727230000181
Figure GDA0003760727230000182
C2：0≤pi(t)≤pi
C3：0≤fi(t)≤fi
Figure GDA0003760727230000183
C5：0≤ρi(t)≤1
Figure GDA0003760727230000184
Figure GDA0003760727230000185
Figure GDA0003760727230000186
Figure GDA0003760727230000187
构建一个Critic网络和两个Actor网络，两个Actor网络结构相同，分别为Actor-old和Actor-new；
边缘计算实体网络状态表示为：
s(t)＝[r(t)，F，pmax(t)，B，Λ(t)，Θ(t)]
其中r(t)＝{[r11(t)，...，r1M(t)]，...，[rN1(t)，...，rNM(t)]}表示第1到第个N用户将任务卸载至第1到第M架无人机的无线传输速率；
Figure GDA0003760727230000188
表示第1到第N个用户和第1到第M架无人机分别拥有的计算资源；pmax(t)＝[p1(t)，...，pN(t)]表示t时隙第1到第N个用户的最大传输功率，B＝[B1，...，BM]表示第1到第M架无人机的总带宽；Λ(t)＝[Λ1(t)，…，Λi(t)，…，ΛN(t)]表示t时隙第1到第N个用户随机生成的任务；将A(t)作为t时隙的动作空间；
奖励函数R(t)表示为：
R(t)＝-Z(t)+pen
式中，pen表示惩罚项，在边缘计算实体网络运行过程中，如果约束未被满足，则会相应给出一个惩罚数值；
初始化Actor-new网络、Actor-old网络和Critic网络，设置抽取样本大小为
Figure GDA0003760727230000191
Figure GDA0003760727230000192
为正整数，奖励折扣因子为γ；
S6-2-1、将环境信息s输入到Actor-new网络，得到一个动作A，再将动作A输入到环境中，得到奖励R和下一步的状态s′，再将s′输入到Actor-new网络，循环该步骤，直到存储了
Figure GDA0003760727230000193
组[(s，A，R)，…]；
S6-2-2、将S6-3-1中最后一次循环得到的s′输入到Critic网络中，得到状态的折扣回报val(s′)，计算折扣奖励：
RDis(t)＝R(t)+γ×R(t+1)+γ2×R(t+2)+…+γT-t+1×R(T-1)+γT-t×val(s′)
得到RDis＝[RDis(1)，…，RDis(t)，…，RDis(T)]，其中T为时隙数量，R(t)，...，R(T-1)分别为t到T-1时隙的奖励值。
S6-2-3、将存储的状态s组合输入到Critic网络中，得到所有状态的val值，集合为VAL，RDis与VAL的差值，即优势值表示为
Figure GDA0003760727230000194
S6-2-4、求优势值平方的均值，表示为
Figure GDA0003760727230000195
S6-2-5、将存储的状态s组合输入到Actor-old和Actor-new网络中，分别得到正态分布Normall和Normal2，将存储的动作A组合输入到正态分布Normal1和Normal2，得到每个动作对应的prob1和prob2；
S6-2-6、计算
Figure GDA0003760727230000196
其中rt(θ)是prob2除以prob1得到的比例，clip(rt(θ)，1-ε，1+ε)的用途是剪裁rt(θ)，将其保持在[1-ε，1+ε]内，ε用来确定范围大小；
S6-2-7、循环步骤S6-2-5、S6-2-6，一定次数后循环结束，用Actor-new网络权重来更新Actor-old网络；
S6-2-8、循环步骤S6-2-1到S6-2-7，得到最优的计算资源分配方案；
S6-3、循环执行步骤S6-1和步骤S6-2，直到相邻两次迭代下用户总时延差的绝对值小于预设阈值，或者达到最大预设迭代次数时，迭代结束，即获得无人机轨迹以及最优的卸载比例、计算资源分配方案。
S7、基站检测到场馆用户减少到一般状态时，边缘计算无人机不再接收新任务，并在处理完剩余任务后进入待机状态。
图6和图7是多次仿真实验后的对比图。其中图6将本发明采用的按比例部分卸载的方案与全部卸载和全部本地处理进行对比，随着任务量的增多，用户的总时延均呈上升趋势，但本发明对卸载比例进行优化后，无论是对比全部卸载还是全部本地处理，优化结果都是最好，这表明本发明采用按比例部分卸载的方案能够更加充分利用计算资源，以减少用户的时延。图7对比了贪婪算法和Q-learning等智能算法，可以看出，尽管随着任务量增多，几种算法优化后的用户总时延还是呈上升趋势，但本文所采用的DQIO算法的优化结果是最好的，这表明本发明采用的DQIO优化算法能够得到更优的计算资源分配方案，更好地对用户总时延进行优化。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种用于拥挤场馆中无人机辅助边缘计算方法，其特征在于，包括以下步骤：
S1、通过基站实时监测场馆用户数量，当场馆内用户数量超过预设的拥挤阈值，根据用户位置数据，采用改进的自然最近邻优化的密度峰值聚类方法对无人机进行部署，构建物理实体网络，随后基站停止对该场馆区域内用户的服务；
S2、在基站端构建物理实体网络的数字孪生网络，拟合用户和无人机的信息，包括用户位置、计算资源最大值、用于本地处理的计算资源、与其数字孪生体之间计算资源的估计误差以及任务信息和无人机的位置、计算资源最大值、分配给每个用户的计算资源、与其数字孪生体之间计算资源的估计误差以及分配给每个用户的信道带宽；
S3、根据S2拟合的用户位置、计算资源最大值、用于本地处理的计算资源、与其数字孪生体之间计算资源的估计误差以及任务信息和无人机的位置、计算资源最大值、分配给每个用户的计算资源、与其数字孪生体之间计算资源的估计误差以及分配给每个用户的信道带宽，构建本地计算模型、无人机计算模型以及用户和无人机的任务数据队列与计算队列；
S4、根据用户本地处理时延、用户卸载任务的传输时延以及无人机的计算时延，计算用户的总时延，并构建无人机轨迹和计算资源分配的用户时延优化模型，即系统时延最小化问题；所述步骤S4中无人机轨迹Lj(t)表示为：
Lj(t)＝Lj(t-1)+vτ
其中v是无人机的飞行速度，τ表示每个时隙的时间，Lj(t-1)是第j架无人机上一时隙的位置；
用户总时延
Figure FDA0003760727220000021
包括用户本地计算时延、上行传输时延和无人机计算时延三部分，表达式为：
Figure FDA0003760727220000022
其中，
Figure FDA0003760727220000023
表示用户的集合，
Figure FDA0003760727220000024
表示无人机的集合，
Figure FDA0003760727220000025
是用户i在t时隙本地计算过程中实际产生的计算时延，
Figure FDA0003760727220000026
表示用户i在t时隙将任务卸载到无人机j的传输时延，
Figure FDA0003760727220000027
表示在t时隙，无人机j完成用户i卸载的任务实际产生的计算时延；
构建用户时延
Figure FDA0003760727220000028
最小化优化模型表示为：
Figure FDA0003760727220000029
Figure FDA00037607272200000210
C2：0≤pi(t)≤pi
C3：0≤fi(t)≤fi
Figure FDA00037607272200000211
C5：0≤pi(t)≤1
C6：Lj(0)＝Lj(T)
C7：Lj(t)＝Lj(t-1)+vτ
Figure FDA00037607272200000212
Figure FDA00037607272200000213
Figure FDA00037607272200000214
Figure FDA00037607272200000215
其中，a(t)是问题P1优化变量的集合，表示为：
a(t)＝[B(t)，F(t)，FMEC(t)，p(t)，ρ(t)，LMEC(t)]
式中B(t)＝{[B11(t)，…B1M(t)]，…，[BN1(t)，…，BNM(t)]}表示第1到第M架无人机在t时隙分配给第1到第N个用户的带宽，F(t)＝[f1(t)，…，fN(t)]表示t时隙第1到第N个用户分别用于本地计算的计算资源，
Figure FDA0003760727220000031
表示第1到第M架无人机在t时隙分别分配给N个用户的计算资源，p(t)＝[p1(t)，…，pN(t)]表示t时隙第1到第N个用户的上行传输功率，ρ(t)＝[ρ1(t)，…，ρN(t)]表示t时隙第1到第N个用户卸载比例的集合，LMEC(t)＝[L1(t)，…，LM(t)]表示t时隙第1到第M架无人机位置的集合；
约束C1表示无人机j在t时隙提供给用户的信道带宽Bij(t)之和不能大于无人机j拥有的总信道带宽Bj，且Bij(t)不能为负；
约束C2表示用户i在t时隙的上行数据传输速率pi(t)不为负且不能大于最大传输速率pi；
约束C3表示用户i在t时隙用于本地处理的计算资源fi(t)不为负且不能大于用户i的总计算资源fi；
约束C4表示无人机j在t时隙分配给用户的计算资源
Figure FDA0003760727220000041
非负，且
Figure FDA0003760727220000042
之和不能大于无人机j所拥有的总计算资源
Figure FDA0003760727220000043
约束C5表示卸载比例ρi(t)不能大于1且不能小于0；
约束C6-C7是无人机的轨迹约束，C6表示无人机最后一个时隙T的位置Lj(T)与初始位置Lj(0)相同，C7是无人机j位置Lj(t)的表达式，即t时隙无人机j的位置等于上个时隙的位置Lj(t-1)加上无人机j速度v与时间τ的乘积；
约束C8-C11是队列稳定性约束，
Figure FDA0003760727220000044
和
Figure FDA0003760727220000045
分别为用户i在t时隙的数据和任务队列，
Figure FDA0003760727220000046
和
Figure FDA0003760727220000047
分别表示无人机j在t时隙的数据和计算队列；
S5、基于李雅普诺夫优化方法将系统时延最小化问题转化为李雅普诺夫漂移加罚最小化问题；所述步骤S5中：根据用户缓存任务队列和无人机缓存任务队列建立李雅普诺夫函数L(Θ(t))，表达式为：
Figure FDA0003760727220000048
其中，Θ(t)＝[Qloc(t)，Cloc(t)，QMEC(t)，CMEC(t)]，
Figure FDA0003760727220000049
Figure FDA00037607272200000410
分别表示t时隙第1到第N个用户本地和第1到第M架无人机的任务数据与任务计算队列长度的集合，则李雅普诺夫漂移Δ(Θ(t))为：
Figure FDA00037607272200000411
即两个相邻时隙李雅普诺夫函数的差的期望，利用漂移加罚算法得到李雅普诺夫漂移加罚函数ΔV(Θ(t))为：
Figure FDA0003760727220000051
其中
Figure FDA0003760727220000059
是非负权重参数；
得到李雅普诺夫漂移加罚函数的上界为：
Figure FDA0003760727220000052
其中
Figure FDA0003760727220000053
其中，A11、A12、A21、A22、A31、A32、A41和A42分别代表
Figure FDA0003760727220000054
λi，k(t)
Figure FDA00037607272200000510
λi(t)ci，k、
Figure FDA0003760727220000055
rij(t)τ、
Figure FDA0003760727220000056
和
Figure FDA0003760727220000057
的上界，λi，k(t)表示用户i产生的第k个任务的数据量，rij(t)是用户i的数据传输速率，ci，k表示计算用户i产生的第k个任务所需的CPU周期数，
Figure FDA0003760727220000058
表示计算用户i产生的第minKi(t)个任务所需的CPU周期数，Ki(t)表示t时隙用户i缓冲区任务的集合，minKi(t)表示t时隙集合Ki(t)中最小的编号，即最先进入用户i队列的任务的编号，
Figure FDA0003760727220000061
表示计算用户i卸载到无人机j的第
Figure FDA0003760727220000062
个任务所需的CPU周期数，
Figure FDA0003760727220000063
表示t时隙无人机j缓冲区中来自用户i任务的集合，
Figure FDA0003760727220000064
表示t时隙集合
Figure FDA0003760727220000065
中最小的编号，即用户i卸载的任务中最先进入无人机j队列的编号；
将问题P1转化为李雅普诺夫漂移加罚函数加罚最小化问题P2，表达式如下：
Figure FDA0003760727220000071
Figure FDA0003760727220000072
C2：0≤pi(t)≤pi
C3：0≤fi(t)≤fi
Figure FDA0003760727220000073
C5：0≤pi(t)≤1
C6：Lj(0)＝Lj(T)
C7：Lj(t)＝Lj(t-1)+vτ
Figure FDA0003760727220000074
Figure FDA0003760727220000075
Figure FDA0003760727220000076
Figure FDA0003760727220000077
Z(t)的表达式如下：
Figure FDA0003760727220000078
S6、基于就近空闲卸载的卸载决策，分别通过凸优化和PPO算法得到最优方案，并检测用户数量；所述步骤S6具体包括：
S6-1、对无人机j的数据队列
Figure FDA0003760727220000081
和计算队列
Figure FDA0003760727220000082
均设置一个阈值，分别表示为
Figure FDA0003760727220000083
和
Figure FDA0003760727220000084
若用户i处于任一类簇内，则用户i将任务卸载到该类簇上空的无人机j，当无人机j的数据队列
Figure FDA0003760727220000085
超过
Figure FDA0003760727220000086
或者计算队列
Figure FDA0003760727220000087
超过
Figure FDA0003760727220000088
时，用户i不会将任务卸载到无人机j，而是根据其他无人机队列的动态方程来判断其空闲程度，动态方程的值越小，代表无人机越空闲，用户i将任务卸载到最空闲的无人机上；若用户i作为噪声点被排除，则用户i将任务卸载到最空闲的无人机上；
S6-2、求解无人机在每个时隙的位置变化LMEC(t)，具体表达式如下：
Figure FDA0003760727220000089
s.t.C1：Lj(0)＝Lj(T)
C2：Lj(t)＝Lj(t-1)+vτ
其中，目标函数Z(t)中用户i的数据传输速率rij(t)关于无人机轨迹Lj(t)是非凸的，引入松弛变量{y(t)}，则rij(t)转换为：
Figure FDA00037607272200000810
其中y(t)≥(Xi-Xj(t))2+(Yi-Yj(t))2，h0表示信道增益，σ2表示噪声功率，其中，Xi，Yi表示用户i的横纵坐标，Xj(t)，Yj(t)，H分别表示t时隙无人机j的横纵坐标以及高度，y(t)+H2表示用户与无人机之间的距离的平方，引入局部点{yl(t)}，将转换后的rij(t)利用连续凸逼近技术进行一阶泰勒展开，则目标函数转换为：
Figure FDA0003760727220000091
优化问题P2重构为：
Figure FDA0003760727220000092
s.t.C1：Lj(0)＝Lj(T)
C2：Lj(t)＝Lj(t-1)+vτ
通过凸优化工具CVX对最优的无人机轨迹LMEC(t)进行求解；
S6-3、给定无人机轨迹LMEC(t)，求解A(t)＝[B(t)，F(t)，FMEC(t)，p(t)，ρ(t)]，构建的优化问题表示为：
Figure FDA0003760727220000101
Figure FDA0003760727220000102
C2：0≤pi(t)≤pi
C3：0≤fi(t)≤fi
Figure FDA0003760727220000103
C5：0≤ρi(t)≤1
Figure FDA0003760727220000104
Figure FDA0003760727220000105
Figure FDA0003760727220000106
Figure FDA0003760727220000107
构建一个Critic网络和两个Actor网络，两个Actor网络结构相同，分别为Actor-old和Actor-new；
边缘计算实体网络状态表示为：
s(t)＝[r(t)，F，pmax(t)，B，Λ(t)，Θ(t)]
其中，r(t)＝{[r11(t)，...，r1M(t)]，...，[rN1(t)，...，rNM(t)]}表示第1到第个N用户将任务卸载至第1到第M架无人机的无线传输速率；
Figure FDA0003760727220000108
表示第1到第N个用户和第1到第M架无人机分别拥有的计算资源；pmax(t)＝[p1(t)，...，pN(t)]表示t时隙第1到第N个用户的最大传输功率，B＝[B1，...，BM]表示第1到第M架无人机的总带宽；Λ(t)＝[Λ1(t)，...，Λi(t)，…，ΛN(t)]表示t时隙第1到第N个用户随机生成的任务；将A(t)作为t时隙的动作空间；
奖励函数R(t)表示为：
R(t)＝-Z(t)+pen
式中，pen表示惩罚项，在边缘计算实体网络运行过程中，如果约束未被满足，则会相应给出一个惩罚数值；
初始化Actor-new网络、Actor-old网络和Critic网络，设置抽取样本大小为
Figure FDA0003760727220000111
Figure FDA0003760727220000112
为正整数，奖励折扣因子为γ；
S6-3-1、将环境信息s输入到Actor-new网络，得到一个动作A，再将动作A输入到环境中，得到奖励R和下一步的状态s′，再将s′输入到Actor-new网络，循环该步骤，直到存储了
Figure FDA0003760727220000113
组[(s，A，R)，…]；
S6-3-2、将S6-3-1中最后一次循环得到的s′输入到Critic网络中，得到状态的折扣回报val(s′)，计算折扣奖励：
Figure FDA0003760727220000115
得到RDis＝[RDis(1)，…，RDis(t)，…，RDis(T)]，其中T为时隙数量，R(t)，...，R(T-1)分别为t到T-1时隙的奖励值；
S6-3-3、将存储的状态s组合输入到Critic网络中，得到所有状态的val值，集合为VAL，RDis与VAL的差值，即优势值表示为
Figure FDA0003760727220000114
S6-3-4、求优势值平方的均值，表示为
Figure FDA0003760727220000121
S6-3-5、将存储的状态s组合输入到Actor-old和Actor-new网络中，分别得到正态分布Normal1和Normal2，将存储的动作A组合输入到正态分布Normal1和Normal2，得到每个动作对应的prob1和prob2；
S6-3-6、计算
Figure FDA0003760727220000122
，
其中rt(θ)是prob2除以prob1得到的比例,clip(rt(θ)，1-ε，1+ε)的用途是剪裁rt(θ)，将其保持在[1-ε，1+ε]内，ε用来确定范围大小；
S6-3-7、循环步骤S6-3-5、S6-3-6，用Actor-new网络权重来更新Actor-old网络；
S6-3-8、循环步骤S6-3-1到S6-3-7，得到最优的计算资源分配方案；
S6-4、循环执行步骤S6-2和步骤S6-3，直到相邻两次迭代下用户总时延差的绝对值小于预设阈值，或者达到最大预设迭代次数时，迭代结束，即获得无人机的轨迹以及最优的卸载比例、计算资源分配方案；
S7、当基站检测到场馆用户数量减少到拥挤阈值以下时，视为一般状态，边缘计算无人机不再接收新任务，并在处理完剩余任务后进入待机状态，当基站检测到场馆用户仍处于拥挤状态时，重复步骤S1～S6直至场馆用户数量减少到拥挤阈值以下。
2.根据权利要求1所述一种用于拥挤场馆中无人机辅助边缘计算方法，其特征在于，所述步骤S1具体包括：
S1-1、在活动开始前将预计到来的用户数量NUM以及活动开始时间信息发送给基站，将NUM设为拥挤阈值；
S1-2、当场馆内用户数量小于NUM时，视为一般状态，若超过，则视为拥挤状态，当基站检测到场馆进入拥挤状态时，将场馆中所有用户的集合视作数据集，将用户视为数据点，使用自然最近邻居搜索算法获得数据集中每个数据点的自然邻居并计算每个数据点的密度；
S1-3、获取每个数据点的代表点和稀疏邻居，代表点Exemplar(q)的公式表示如下：
Exemplar(q)＝max{Den(NN(p))&&p≠q}
稀疏邻居SN(p)的公式表示如下：
SN(p)＝{q|Den(q)＜Den(p)&&q∈NN(p)}
其中p和q均是数据点，NN(p)代表数据点p自然邻居的集合，Den表示相应数据点的密度，代表点为数据点密度最大的自然邻居；
S1-4、统计所有的密度峰并任意访问一个密度峰，将该密度峰和该密度峰的稀疏邻居分到同一个聚类，其中如果数据点p满足
Figure FDA0003760727220000134
则数据点p为一个密度峰；
S1-5、对所有未访问的密度峰重复步骤S1-4，直到所有的密度峰都被访问；生成初始类簇；
S1-6、根据初始类簇之间的相似度关系，合并相似度大于类间相似度阈值Simmax的初始类簇，其中，类间相似度为
Figure FDA0003760727220000131
|cα∩cβ|是类
Figure FDA0003760727220000132
和类
Figure FDA0003760727220000133
的公共部分，SUP是自然邻居特征值；设定一个类簇数据点数阈值PMAX，当一个类簇的数据点数超过数据点数阈值PMAX时，该类簇不合并；
S1-7、将类簇中数据点个数小于最小自然邻居数的类簇从合并类簇后得到的聚类结果中去除，并将这些类簇中的数据点标记为噪声点，获得最终的聚类结果，将最终类簇的数量定义为M，并在每个类簇上空部署一架无人机，其中最小自然邻居数是数值最小的NUMNN(p)，NUMNN(p)是数据点的自然邻居数；
S1-8、无人机辅助的边缘计算系统由1个基站、M架无人机和N个用户组成，每架无人机的初始位置为其对应的类簇内所有数据点位置的平均值，边缘计算系统运行过程中，无人机会根据用户的任务量进行移动。
3.根据权利要求1所述一种用于拥挤场馆中无人机辅助边缘计算方法，其特征在于，所述步骤S2具体包括：
S2-1、将用户活动周期划分为T个时隙，每个时隙的时间为τ，用户位置为Li＝(Xi，Yi，0),Xi，Yi分别是用户i的横纵坐标，在t时隙用户设备产生的任务为Λi(t)＝[k，λi，k(t)，ci，k]，其中k为用户i任务产生顺序的任务编号；λi，k(t)表示用户i产生的第k个任务的数据量，单位为比特，ci，k是计算用户i产生的第k个任务所需的CPU周期数；
S2-2、在基站端构建物理实体网络的数字孪生网络，包括用户设备部分和无人机部分；
在t时隙，用户的数字孪生体DTi(t)表示为：
DTi(t)＝{Li，fi，fi(t)，fi(t)，pi(t)，Λi(t)}
其中Li表示用户i的位置，fi表示用户i的最大计算资源，fi(t)表示用户i在t时隙用于本地处理任务的计算资源，fi^(t)是用户i与其数字孪生体之间计算资源的估计误差，pi(t)表示用户i在t时隙的上行传输功率；
在t时隙，无人机j的数字孪生体DTj(t)表示为：
DTj(t)＝{Lj(t)，fj MEC，fj MEC(t)，fj^MEC(t)，Bj(t)}
其中Lj(t)是无人机j在t时隙的位置，表示为Lj(t)＝(Xj(t)，Yj(t)，H)，Xj(t)，Yj(t)，H分别表示无人机j在t时隙的横纵坐标和高度，fj MEC是无人机j的最大计算资源，
Figure FDA0003760727220000151
代表无人机j在t时隙分别分配给N个用户i的计算资源的集合，
Figure FDA0003760727220000152
是无人机j与其数字孪生体之间分别分配给N个用户的计算资源的估计误差，Bj(t)＝{B1j(t)，…，BNj(t)}表示无人机j在t时隙分别提供给N个用户的信道带宽。
4.根据权利要求1所述一种用于拥挤场馆中无人机辅助边缘计算方法，其特征在于，所述步骤S3具体包括：
S3-1、在t时隙，N个用户将一部分的任务进行本地处理，另一部分任务卸载到无人机上，用ρi(t)表示用户i本地处理任务的比例，(1-ρi(t))表
示用户卸载到无人机任务的比例，ρi(t)∈[0，1]；
S3-2、在t时隙，用户i的数字孪生体估计的在本地计算过程中计算时延
Figure FDA0003760727220000153
表示为：
Figure FDA0003760727220000154
其中，fi(t)表示用户i在t时隙用于本地处理任务的计算资源，λi，k(t)为用户i产生的第k个任务的数据量，ci，k是计算用户i产生的第k个任务所需的CPU周期数；
用户i真实计算时延与其数字孪生体估计值之间的计算延迟间隙
Figure FDA0003760727220000155
表示为：
Figure FDA0003760727220000156
其中fi^(t)是用户i与其数字孪生体之间计算资源的估计误差；
在t时隙，用户i本地计算任务实际消耗时间
Figure FDA0003760727220000161
表示为：
Figure FDA0003760727220000162
S3-3、用户i的数据传输速率rij(t)，表达式为：
Figure FDA0003760727220000163
式中Bij(t)表示无人机j在t时隙提供给用户i的信道带宽，pi(t)表示用户i在t时隙的上行数据传输功率，h0表示信道增益，σ2表示噪声功率，dij是用户i与其类簇上空无人机j的距离，表示为：
Figure FDA0003760727220000164
Xi，Yi分别表示用户i的横纵坐标，Xj(t)，Yj(t)，H分别表示t时隙无人机j的横纵坐标及高度；用户i在t时隙将任务k卸载到无人机j的传输时延
Figure FDA0003760727220000165
表示为：
Figure FDA0003760727220000166
S3-4、在t时隙，用户i将任务卸载到无人机j后，无人机j的数字孪生体估计的处理任务k的计算时延
Figure FDA0003760727220000167
表示为：
Figure FDA0003760727220000168
其中
Figure FDA0003760727220000169
代表无人机j在t时隙分配给用户i的计算资源；
无人机j真实计算时延与其数字孪生体估计值之间的计算延迟间隙
Figure FDA00037607272200001610
表示为：
Figure FDA00037607272200001611
其中
Figure FDA0003760727220000171
是无人机j与其数字孪生体之间分配给用户i的计算资源的估计误差；
在t时隙，无人机j完成用户i卸载的任务实际消耗时间
Figure FDA0003760727220000172
表示为：
Figure FDA0003760727220000173
S3-5、构建用户本地计算队列模型，其中用户i数据队列
Figure FDA0003760727220000174
的动态方程为：
Figure FDA0003760727220000175
用户i计算队列
Figure FDA0003760727220000176
的动态方程为：
Figure FDA0003760727220000177
其中τ表示每个时隙的时间，
Figure FDA0003760727220000178
和
Figure FDA0003760727220000179
分别为用户i在t时隙的数据和任务队列，
Figure FDA00037607272200001710
表示计算用户i产生的第min Ki(t)个任务所需的CPU周期数，Ki(t)表示t时隙用户i缓冲区任务编号的集合，rij(t)τ表示t时隙用户i卸载到无人机j的任务量，τfi(t)表示t时隙用户i本地处理的任务量，当用户i随机产生新任务Λi(t)时，将k加入Ki；队列执行任务采用先进先出的原则，minKi(t)表示t时隙集合Ki(t)中最小的编号，即最先进入用户i队列的任务的编号；当用户i通过计算和卸载使任务k离开队列时，k将会从Ki中移除；当t＝0时，
Figure FDA00037607272200001711
和
Figure FDA00037607272200001712
均为0；为了保证队列稳定性，需满足：
Figure FDA00037607272200001713
Figure FDA00037607272200001714
其中
Figure FDA00037607272200001715
表示用户的集合，T表示时隙数；
S3-6、构建边缘计算服务器计算队列模型，其中无人机j的数据队列
Figure FDA0003760727220000181
的动态方程为：
Figure FDA0003760727220000182
无人机j的计算队列
Figure FDA0003760727220000183
的动态方程为：
Figure FDA0003760727220000184
其中，
Figure FDA0003760727220000185
和
Figure FDA0003760727220000186
分别表示无人机j在t时隙的数据和计算队列，
Figure FDA0003760727220000187
表示计算用户i卸载到无人机j的第
Figure FDA0003760727220000188
个任务所需的CPU周期数，
Figure FDA0003760727220000189
表示t时隙无人机j缓冲区中来自用户i的任务编号的集合，当无人机j接收来自用户i的新任务Λi(t)时，将k加入
Figure FDA00037607272200001810
当用户j通过计算使任务k离开队列时，k将会从
Figure FDA00037607272200001811
中移除，
Figure FDA00037607272200001812
表示t时隙集合
Figure FDA00037607272200001813
中最小的编号，即用户i卸载的任务中最先进入无人机j队列的编号；当用户i没有将任务卸载到无人机j时，
Figure FDA00037607272200001814
和rij(t)均为0，当t＝0时，
Figure FDA00037607272200001815
和
Figure FDA00037607272200001816
均为0；为了保证队列稳定性，需满足：
Figure FDA00037607272200001817
Figure FDA00037607272200001818
其中
Figure FDA00037607272200001819
表示无人机的集合。
CN202210644872.6A 2022-06-09 2022-06-09 一种用于拥挤场馆中无人机辅助边缘计算方法 Active CN114745666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210644872.6A CN114745666B (zh) 2022-06-09 2022-06-09 一种用于拥挤场馆中无人机辅助边缘计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210644872.6A CN114745666B (zh) 2022-06-09 2022-06-09 一种用于拥挤场馆中无人机辅助边缘计算方法

Publications (2)

Publication Number Publication Date
CN114745666A CN114745666A (zh) 2022-07-12
CN114745666B true CN114745666B (zh) 2022-08-30

Family

ID=82287999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210644872.6A Active CN114745666B (zh) 2022-06-09 2022-06-09 一种用于拥挤场馆中无人机辅助边缘计算方法

Country Status (1)

Country Link
CN (1) CN114745666B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115022937B (zh) * 2022-07-14 2022-11-11 合肥工业大学 拓扑特征提取方法和考虑拓扑特征的多边缘协作调度方法
CN116137593A (zh) * 2023-02-20 2023-05-19 重庆邮电大学 一种数字孪生辅助动态资源需求预测的虚拟网络功能迁移方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495952B (zh) * 2018-11-14 2020-04-24 北京航空航天大学 一种蜂窝和无人机一体化网络的选择方法及装置
CN109922137B (zh) * 2019-01-28 2021-06-25 中国人民解放军国防科技大学 无人机协助的计算迁移方法
CN113296963B (zh) * 2021-07-27 2021-11-02 南京信息工程大学 一种考虑用户移动性的无人机辅助的边缘计算方法
CN114048689B (zh) * 2022-01-13 2022-04-15 南京信息工程大学 基于深度强化学习的多无人机空中充电和任务调度方法
CN114125708B (zh) * 2022-01-20 2022-04-15 南京信息工程大学 一种基于数字孪生的无人机集群轨迹优化和任务卸载方法
CN114520768B (zh) * 2022-03-11 2023-05-30 南京信息工程大学 一种用于工业物联网中随机任务的ai卸载优化方法

Also Published As

Publication number Publication date
CN114745666A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN113242568B (zh) 一种不确定网络环境中的任务卸载和资源分配方法
CN114745666B (zh) 一种用于拥挤场馆中无人机辅助边缘计算方法
Long et al. Edge computing framework for cooperative video processing in multimedia IoT systems
CN112188442B (zh) 基于移动边缘计算的车联网数据驱动任务卸载系统和方法
CN110928654B (zh) 一种边缘计算系统中分布式的在线任务卸载调度方法
Hao et al. Energy-aware scheduling in edge computing with a clustering method
CN110971706A (zh) Mec中近似最优化与基于强化学习的任务卸载方法
CN114520768B (zh) 一种用于工业物联网中随机任务的ai卸载优化方法
CN112995913A (zh) 一种无人机轨迹、用户关联和资源分配联合优化方法
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN114650228B (zh) 一种异构网络中基于计算卸载的联邦学习调度方法
CN112214301B (zh) 面向智慧城市基于用户偏好的动态计算迁移方法及装置
Meng et al. Deep reinforcement learning based task offloading algorithm for mobile-edge computing systems
CN114662661A (zh) 边缘计算下异构处理器加速多出口dnn推理的方法
CN109144719A (zh) 移动云计算系统中基于马尔科夫决策过程的协作卸载方法
CN114356544A (zh) 面向边缘集群的并行计算方法和系统
Bai 5G industrial IoT and edge computing based coal slime flotation foam image processing system
Ma et al. Quality-aware video offloading in mobile edge computing: A data-driven two-stage stochastic optimization
CN116760722A (zh) 一种存储辅助mec任务卸载系统及资源调度方法
CN116801309A (zh) 一种面向不同时延敏感型任务的车辆卸载决策优化方法
Tang et al. Nonconvex resource control and lifetime optimization in wireless video sensor networks based on chaotic particle swarm optimization
Lin et al. A multi-fidelity model approach for simultaneous scheduling of machines and vehicles in flexible manufacturing systems
Hao et al. Energy allocation and task scheduling in edge devices based on forecast solar energy with meteorological information
Han et al. Opportunistic coded distributed computing: An evolutionary game approach
Sen et al. Context-aware Data Operation Strategies in Edge Systems for High Application Performance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant