CN116578354A - 电力巡检无人机边缘计算任务卸载方法及装置 - Google Patents
电力巡检无人机边缘计算任务卸载方法及装置 Download PDFInfo
- Publication number
- CN116578354A CN116578354A CN202310257281.8A CN202310257281A CN116578354A CN 116578354 A CN116578354 A CN 116578354A CN 202310257281 A CN202310257281 A CN 202310257281A CN 116578354 A CN116578354 A CN 116578354A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- power
- task
- inspection unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 366
- 238000004364 calculation method Methods 0.000 title claims abstract description 221
- 238000000034 method Methods 0.000 title claims abstract description 96
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 47
- 238000004422 calculation algorithm Methods 0.000 claims description 40
- 238000005457 optimization Methods 0.000 claims description 29
- 238000005265 energy consumption Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008685 targeting Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 63
- 239000003795 chemical substances by application Substances 0.000 description 43
- 230000009471 action Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000002787 reinforcement Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44594—Unloading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种电力巡检无人机边缘计算任务卸载方法及装置，涉及移动边缘计算技术领域。其中，该方法包括：获取目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量；将目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量，输入电力巡检无人机对应的第一模型，获取目标时隙对每一电力设备的卸载指示和目标时隙电力巡检无人机的飞行控制参数；基于卸载指示，在目标时隙对各电力设备中的目标电力设备进行边缘计算任务卸载。本发明提供的电力巡检无人机边缘计算任务卸载方法及装置，能更有效地满足地面的电力设备的边缘计算任务卸载需求，能提高服务质量和降低任务时延。
Description
技术领域
本发明涉及移动边缘计算(Mobile Edge Computing,MEC)技术领域，尤其涉及一种电力巡检无人机边缘计算任务卸载方法及装置。
背景技术
为了应对电力设备产生的业务数据和流量的快速增长，可以通过将计算以及存储资源部署在靠近电力设备的网络边缘侧，基于边缘计算技术，将计算任务卸载到MEC服务器，有效处理电力设备的业务，减轻电力系统的负载，减少电力设备的任务请求的传输开销。但在动态实时的任务请求下，地面固定的MEC服务器有可能不能满足部分电力设备的服务需求，搭载MEC服务器的电力巡检无人机(可以简称“无人机”)可以根据实时业务请求提高电力设备的服务质量，但无人机的机动会带来额外能耗，并且在电力设备发出海量的请求以及多无人机共同提供服务时，卸载任务的分配也是不小的挑战。
现有的基于强化学习的电力无人机巡检边缘计算任务卸载方法，一般是通过强化学习算法离线训练无人机一种智能体获取任务卸载的最优策略，但上述方法得到的最优策略在真实部署环境中应用的表现较差，难以有效地满足地面的电力设备的边缘计算任务卸载需求。
发明内容
本发明提供一种电力巡检无人机边缘计算任务卸载方法及装置，用以解决现有技术中难以有效地满足地面的电力设备的边缘计算任务卸载需求的缺陷，实现有效地满足地面的电力设备的边缘计算任务卸载需求。
本发明提供一种电力巡检无人机边缘计算任务卸载方法，用于电力巡检无人机，该方法包括：
获取目标时隙所述电力巡检无人机的位置、各电力设备的位置和各所述电力设备的边缘计算任务的任务量；
将所述目标时隙所述电力巡检无人机的位置、各电力设备的位置和各所述电力设备的边缘计算任务的任务量，输入所述电力巡检无人机对应的第一模型，获取所述目标时隙对每一电力设备的卸载指示和所述目标时隙所述电力巡检无人机的飞行控制参数；
基于所述卸载指示，在所述目标时隙对各所述电力设备中的目标电力设备进行边缘计算任务卸载，并基于所述飞行控制参数，控制所述电力巡检无人机的飞行；
其中，卸载的任务量，基于所述目标时隙所述目标电力设备的边缘计算任务的任务量和卸载率确定；所述目标时隙所述目标电力设备的边缘计算任务的卸载率，是基于所述目标电力设备对应的第二模型，以及所述目标时隙所述目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的所述第一模型和各所述电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
根据本发明提供的一种电力巡检无人机边缘计算任务卸载方法，所述将所述目标时隙所述电力巡检无人机的位置、各电力设备的位置和各所述电力设备的边缘计算任务的任务量，输入所述电力巡检无人机对应的第一模型，获取所述目标时隙对每一电力设备的卸载指示和所述目标时隙所述电力巡检无人机的飞行控制参数之前，还包括：
根据MATD3算法，基于预设的优化目标，对所述生成样本数据进行离线训练。
根据本发明提供的一种电力巡检无人机边缘计算任务卸载方法，所述根据MATD3算法，基于预设的优化目标，对所述生成样本数据进行离线训练之前，还包括：
获取真实部署环境下各电力巡检无人机和各电力设备的历史运行数据；
基于所述历史运行数据，根据生成对抗网络算法，获取所述生成样本数据。
根据本发明提供的一种电力巡检无人机边缘计算任务卸载方法，所述优化目标，包括以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延为目标。
本发明还提供一种电力巡检无人机边缘计算任务卸载方法，用于电力设备，该方法包括：
获取目标时隙所述电力设备的边缘计算任务的任务量和空闲的计算资源；
将所述目标时隙所述电力设备的边缘计算任务的任务量和空闲的计算资源，输入所述电力设备对应的第二模型，获取所述目标时隙所述电力设备的边缘计算任务的卸载率，以使得目标电力巡检无人机在所述目标时隙基于所述卸载率，对所述目标时隙所述电力设备的边缘计算任务进行卸载；
其中，所述目标时隙所述目标电力巡检无人机对所述电力设备的卸载指示，用于指示所述目标电力巡检无人机卸载所述目标时隙所述电力设备的边缘计算任务；所述卸载指示，是基于所述目标电力巡检无人机对应的第一模型，以及所述目标时隙所述目标电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量确定的；各电力巡检无人机对应的所述第一模型和各所述电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
本发明还提供一种电力巡检无人机边缘计算任务卸载装置，包括：
第一获取模块，用于获取目标时隙所述电力巡检无人机的位置、各电力设备的位置和各所述电力设备的边缘计算任务的任务量；
第二获取模块，用于位置和各所述电力设备的边缘计算任务的任务量，输入所述电力巡检无人机对应的第一模型，获取所述目标时隙对每一电力设备的卸载指示和所述目标时隙所述电力巡检无人机的飞行控制参数；
任务卸载模块，用于基于所述卸载指示，在所述目标时隙对各所述电力设备中的目标电力设备进行边缘计算任务卸载，并基于所述飞行控制参数，控制所述电力巡检无人机的飞行；
其中，卸载的任务量，基于所述目标时隙所述目标电力设备的边缘计算任务的任务量和卸载率确定；所述目标时隙所述目标电力设备的边缘计算任务的卸载率，是基于所述目标电力设备对应的第二模型，以及所述目标时隙所述目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的所述第一模型和各所述电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
本发明还提供一种电力巡检无人机边缘计算任务卸载装置，包括：
第三获取模块，用于获取目标时隙电力设备的边缘计算任务的任务量和空闲的计算资源；
第四获取模块，用于将所述目标时隙所述电力设备的边缘计算任务的任务量和空闲的计算资源，输入所述电力设备对应的第二模型，获取所述目标时隙所述电力设备的边缘计算任务的卸载率，以使得目标电力巡检无人机在所述目标时隙基于所述卸载率，对所述目标时隙所述电力设备的边缘计算任务进行卸载；
其中，所述目标时隙所述目标电力巡检无人机对所述电力设备的卸载指示，用于指示所述目标电力巡检无人机卸载所述目标时隙所述电力设备的边缘计算任务；所述卸载指示，是基于所述目标电力巡检无人机对应的第一模型，以及所述目标时隙所述目标电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量确定的；各电力巡检无人机对应的所述第一模型和各所述电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
本发明还提供一种电力巡检无人机边缘计算任务卸载系统，包括：多个如上述任一种所述电力巡检无人机边缘计算任务卸载装置和多个如上述任一种所述电力巡检无人机边缘计算任务卸载装置。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述电力巡检无人机边缘计算任务卸载方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述电力巡检无人机边缘计算任务卸载方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述电力巡检无人机边缘计算任务卸载方法的步骤。
本发明提供的电力巡检无人机边缘计算任务卸载方法及装置，通过基于电力巡检无人机与电力设备两种异构智能体协作的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载模型，根据电力设备的边缘计算任务的任务量进行决策，确定卸载率和电力巡检无人机对电力设备的卸载指示，将一部分任务留在电力设备本地计算以充分利用电力设备自身的计算资源，根据卸载率将另一部分卸载至电力巡检无人机，能更有效地满足地面的电力设备的边缘计算任务卸载需求，能提高服务质量，能降低任务时延和电力巡检无人机的能耗。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的电力巡检无人机边缘计算任务卸载方法的流程示意图之一；
图2是本发明提供的电力巡检无人机边缘计算任务卸载方法中各第一模型和各第二模型的获取过程的示意图；
图3是本发明提供的电力巡检无人机边缘计算任务卸载方法的流程示意图之二；
图4是本发明提供的电力巡检无人机边缘计算任务卸载装置的结构示意图之一；
图5是本发明提供的电力巡检无人机边缘计算任务卸载装置的结构示意图之二；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1至图6描述本发明的电力巡检无人机边缘计算任务卸载方法及装置。
为了便于对本发明以下各实施例的理解，下面先对本发明各实施例涉及的相关知识进行描述说明。
本发明各实施例提供的电力巡检无人机边缘计算任务卸载方法，适用于电力巡检无人机边缘计算任务卸载系统。该系统可以包括多个电力巡检无人机和多个电力设备。电力巡检无人机，可以用于巡检电力设备。电力巡检无人机搭载MEC服务器，从而该电力巡检无人机具体可以通过自身搭载的MEC服务器，对电力设备的边缘计算任务进行卸载，以达到提高服务质量和降低任务时延的目的。
本发明各实施例提供的电力巡检无人机边缘计算任务卸载方法，是一种电力巡检无人机-电力设备协作的边缘计算任务卸载的联合优化机制。在方法中，每个电力巡检无人机可以处理多个电力设备的边缘计算任务，并且根据实时的任务请求进行机动以提高服务质量；电力设备的边缘计算任务的卸载率根据其自身的空闲计算资源和任务大小所决定，以进一步降低任务时延。
本发明各实施例提供的电力巡检无人机边缘计算任务卸载方法，电力设备可以将一部分边缘计算任务留在本地计算以充分利用电力设备自身的计算资源，并将电力设备无法解决的边缘计算部分任务卸载到搭载MEC服务器的电力巡检无人机中，并且电力巡检无人机根据实时动态任务请求进行机动，以提高服务质量和降低任务时延，可以解决了传统的地面固定MEC服务器难以完全满足电力设备的动态实时任务卸载需求的问题。
电力巡检无人机边缘计算任务卸载系统可以包括多个电力巡检无人机{1,2…,N}和多个电力设备{1,2,…,M}。其中，N和M均为正整数。
时隙t电力巡检无人机n(1≤n≤N，n为正整数)对电力设备m(1≤m≤M，m为正整数)的边缘计算任务的卸载指示an，m(t)∈{0，1}，用于指示电力巡检无人机n对电力设备m卸载边缘计算任务的分配。其中，an，m(t)＝1，表示时隙t电力巡检无人机n为电力设备m提供服务，即时隙t电力巡检无人机n卸载电力设备m的边缘计算任务；an，m(t)＝0，表示时隙t电力巡检无人机n不为电力设备m提供服务，即时隙t电力巡检无人机n不卸载电力设备m的边缘计算任务。
对于任一卸载电力设备m，确定进行卸载边缘计算任务的分配之后，该任务只能由被分配的电力巡检无人机执行。
上式说明对于任一卸载电力设备m，该电力设备的边缘计算任务，可以被至多一个电力巡检无人机卸载。而任一电力巡检无人机，可以卸载零个、一个或多个电力设备的边缘计算任务。
可选地，电力巡检无人机n和电力设备m的位置可以由三维坐标表示：
Pn＝[xn，yn，zn]，Pm＝[xm，yn，0]
其中，Pn表示电力巡检无人机n的位置，Pm表示电力设备m的位置。可选地，可以假设电力巡检无人机在固定高度飞行，即zn为大于0的常数，并且电力设备的高度均为0。
由于无人机在固定高度飞行，所以电力巡检无人机n的运动可以由方位角φn∈[0，2π)和速度vn∈[0，vmax]进行描述。其中，vmax表示电力巡检无人机的最大速度。
假设在每个时隙中电力巡检无人机以匀速飞行，因此电力巡检无人机n在一个时隙内(时隙t)的飞行距离dn(t)可以表示如下：
dn(t)＝vn(t)t0
其中，t0表示时隙的时长。由于电力巡检无人机n有限的飞行速度，电力巡检无人机n在一个时隙内的最大飞行距离为dmax。
电力巡检无人机n从时隙t到时隙(t+1)的坐标变换可以表示如下：
xn(t+1)＝xn(t)+dn(t)cosφn(t)
yn(t+1)＝yn(t)+dn(t)sinφn(t)
电力巡检无人机n和电力设备m之间的信道增益hn，m可以由自由空间路径损耗模型给出：hn，m＝g0(dn，m)-α。
其中，g0表示参考距离为1m时的增益；α表示路径损耗指数；dn，m表示电力巡检无人机n和电力设备m之间的距离。
时隙t电力巡检无人机n和电力设备m之间的信号与干扰加噪声比(Signal toInterference plus Noise Ratio，SINR)SINRn，m(t)可以表示为：
其中，Pm表示电力设备m的发射功率；σ2表示高斯白噪声的功率。
时隙t电力设备m将部分边缘计算任务传输到电力巡检无人机n进行处理，上述部分任务从电力设备m到电力巡检无人机n的任务卸载传输速率rn，m(t)为
rn，m(t)＝B log2(1+SINRn，m(t))
其中，B表示系统带宽。
电力设备m在时隙t产生的边缘计算任务可以表示为其中，/>表示任务大小，即任务量；/>表示电力设备m对该任务的卸载比例，即卸载率。因此，时隙t电力设备m向电力巡检无人机卸载的任务量可以表示为/> 电力设备m本地处理的任务量可以表示为/>
时隙t电力设备m卸载的边缘计算任务的传输时延为/>
时隙t电力设备m卸载的边缘计算任务在电力巡检无人机处的计算处理时延为
其中，ω表示计算每比特任务所需要的CPU周期数；fn，m(t)表示电力巡检无人机n为电力设备m卸载的边缘计算任务分配的计算资源。
时隙t电力设备m的边缘计算任务在本地计算处理的时延为
其中，fm(t)表示时隙t电力设备m空闲的计算资源。
时隙t电力设备m的边缘计算任务的总时延可以表示为
最后，电力巡检无人机n在时隙t处理卸载的边缘计算任务的平均时延可以表示为
可选地，为了简化模型，假设电力巡检无人机的能耗只与飞行速度有关，时隙t电力巡检无人机n飞行的能耗可以表示为
其中，Mn表示电力巡检无人机n的质量。
电力巡检无人机n在时隙t为其卸载的所有边缘计算任务的计算能耗可以表示为
其中，k为与CPU相关的常数。
图1是本发明提供的电力巡检无人机边缘计算任务卸载方法的流程示意图之一。如图1所示，本发明实施例提供的电力巡检无人机边缘计算任务卸载方法的执行主体可以为电力巡检无人机边缘计算任务卸载装置，用于电力巡检无人机，该方法包括：步骤101、步骤102和步骤103。
步骤101、获取目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量。
具体地，本发明实施例提供的电力巡检无人机边缘计算任务卸载方法，可以用于前述电力巡检无人机边缘计算任务卸载系统中的任一电力巡检无人机。作为执行主体的电力巡检无人机边缘计算任务卸载装置，可以为该电力巡检无人机搭载的MEC服务器。
目标时隙可以为任一时隙。以下描述中以目标时隙为时隙t为例进行描述。可以理解的是，目标时隙可以并不限于时隙t。
可以基于任一种定位方法，获取时隙t搭载该MEC服务器的电力巡检无人机的位置[x′j(t),y′j(t),z′j(t)]。
可选地，电力设备的位置可以是固定的，因而可以获取基于预先基于任一种定位方法得到的每一电力设备的位置。
可选地，电力设备也可以基于任一种定位方法，获取自身的位置，然后将自身的位置发送至该电力巡检无人机边缘计算任务卸载装置，从而该电力巡检无人机边缘计算任务卸载装置可以获取目标时隙各电力设备的位置。
对于上述具体采用的定位方法，本发明实施例不进行具体限定。示例性地，可以采用基于任一种全球导航卫星系统(Global Navigation Satellite System，GNSS)的定位方法，或者到达时间差法等。
可选地，在目标时隙(时隙t)之前，每一电力设备可以获取时隙t自身的边缘计算任务的任务量并将该任务量发送至该电力巡检无人机边缘计算任务卸载系统中的每一电力巡检无人机，从而该电力巡检无人机边缘计算任务卸载装置可以获取目标时隙各电力设备的边缘计算任务的任务量。
步骤102、将目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量，输入电力巡检无人机对应的第一模型，获取目标时隙对每一电力设备的卸载指示和目标时隙电力巡检无人机的飞行控制参数。
步骤103、基于卸载指示，在目标时隙对各电力设备中的目标电力设备进行边缘计算任务卸载，并基于飞行控制参数，控制电力巡检无人机的飞行。
其中，卸载的任务量，基于目标时隙目标电力设备的边缘计算任务的任务量和卸载率确定；目标时隙目标电力设备的边缘计算任务的卸载率，是基于目标电力设备对应的第二模型，以及目标时隙目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的第一模型和各电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
具体地，本发明实施例可以采用异构多智能体强化学习算法求解最佳卸载策略。该优化问题包括电力巡检无人机的飞行轨迹、任务卸载分配和任务卸载率的联合优化，可以将电力巡检无人机和电力设备作为两种异构智能体共同协作优化电力巡检无人机的飞行轨迹、任务卸载分配和任务的卸载率。
可选地，电力巡检无人机的飞行控制参数，可以用于指示电力巡检无人机的飞行轨迹。飞行控制参数，可以包括飞行距离和方位角，或者可以包括飞行速度和方位角。
可选地，电力巡检无人机对电力设备的卸载指示，可以用于指示该电力巡检无人机对该电力设备卸载边缘计算任务的分配。
任务的卸载率，指目标时隙电力设备的边缘计算任务卸载至某一电力巡检无人机的比例。
本发明实施例考虑在电力无人机巡检系统中电力设备的计算资源、边缘计算任务的大小(即任务量)以及边缘计算任务的动态变化导致真实部署环境随机性较大的情况，采用新算法来保证计算卸载策略在真实部署环境中的表现。
本发明实施例通过构建电力巡检无人机与电力设备两种异构智能体协作的电力巡检无人机的飞行控制(即机动)和电力设备的边缘计算任务的卸载模型，依据实时任务请求、任务属性、电力巡检无人机和电力设备的分布以及计算能力等信息进行训练，采用强化学习算法进行对电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载的决策，实现预设的优化目标，从而得到各电力巡检无人机对应的第一模型和各电力设备对应的第二模型。
上述生成样本数据，可以包括实时任务请求、任务属性、电力巡检无人机和电力设备的分布以及计算能力等信息。可选地，上述生成样本数据，可以包括真实部署环境中历史时隙各电力巡检无人机的位置、各电力设备的位置、各电力设备的边缘计算任务的任务量和各电力设备空闲的计算资源。历史时隙可以包括目标时隙之前的多个时隙。
可选地，强化学习算法，可以采用MADDPG(Multi-Agent Deep DeterministicPolicy Gradient)算法，或MADDPG算法的任一种改进版本等。对于具体采用的强化学习算法，本发明实施例不进行限定。
可选地，优化目标，可以基于各电力巡检无人机的能耗和各电力巡检无人机处理卸载的边缘计算任务的时延中的至少一种确定。
需要说明的是，训练过程中，可以将任一智能体(电力巡检无人机或电力设备)作为中心节点，由中心节点基于生成样本数据，对各电力巡检无人机对应的第一模型和各电力设备对应的第二模型进行训练，得到训练后的各第一模型和各第二模型，并将每一第一模型下发至该第一模型对应的电力巡检无人机搭载的MEC服务器，将每一第二模型下发至该第二模型对应的电力设备。获取中心节点下发的第一模型之后，该第一模型对应的电力巡检无人机搭载的MEC服务器可以基于该第一模型独立进行决策，不需要中心节点进行统筹控制，即可根据目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量，获取目标时隙该电力巡检无人机对每一电力设备的卸载指示和目标时隙该电力巡检无人机的飞行控制参数。
获取目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量之后，可以将目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量输入搭载该电力巡检无人机边缘计算任务卸载装置的电力巡检无人机对应的第一模型，获取目标时隙该电力巡检无人机对每一电力设备的卸载指示和目标时隙该电力巡检无人机的飞行控制参数。
可选地，确定目标时隙该电力巡检无人机对每一电力设备的卸载指示之后，可以将上述卸载指示中为1的值对应的电力设备确定为目标电力设备。目标电力设备的数量可以为一个或多个。
确定目标电力设备之后，目标时隙该电力巡检无人机可以分别对每一目标电力设备进行边缘计算任务的卸载。对于任一目标电力设备，目标时隙该电力巡检无人机对该目标电力设备卸载的边缘计算任务的任务量，可以等于目标时隙该目标电力设备的边缘计算任务的任务量与目标时隙该目标电力设备的边缘计算任务的卸载率的乘积。
获取目标时隙该电力巡检无人机的飞行控制参数之后，在目标时隙，可以基于目标时隙该电力巡检无人机的飞行控制参数，控制该电力巡检无人机的飞行。
本发明实施例通过基于电力巡检无人机与电力设备两种异构智能体协作的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载模型，根据电力设备的边缘计算任务的任务量进行决策，确定卸载率和电力巡检无人机对电力设备的卸载指示，将一部分任务留在电力设备本地计算以充分利用电力设备自身的计算资源，根据卸载率将另一部分卸载至电力巡检无人机，能更有效地满足地面的电力设备的边缘计算任务卸载需求，能提高服务质量，能降低任务时延和电力巡检无人机的能耗。
基于上述任一实施例的内容，将目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量，输入电力巡检无人机对应的第一模型，获取目标时隙对每一电力设备的卸载指示和目标时隙电力巡检无人机的飞行控制参数之前，还包括：根据MATD3算法，基于预设的优化目标，对生成样本数据进行离线训练。
具体地，本发明实施例中，为了实现电力无人机巡检系统中电力设备的边缘计算任务的最佳卸载策略，会涉及到卸载任务分配、任务卸载的比例和电力巡检无人机机动的合理决策。对于电力巡检无人机和电力设备而言，其共同的目标是为了提高服务质量和降低任务时延。并且，电力巡检无人机还需要尽可能降低自身能耗，因此，预设的优化目标可以包括任务时延以及电力巡检无人机的能耗两方面。
电力巡检无人机和设备被视为两种异构的智能体，共同协作优化电力巡检无人机机动、卸载任务分配和任务卸载的比例。其中，电力巡检无人机负责对机动的决策和对卸载任务分配的决策，电力设备负责进行任务卸载的比例的决策。
可以以该电力巡检无人机边缘计算任务卸载装置为中心节点，基于预设的优化目标，根据MATD3算法对生成样本数据进行训练，得到各电力巡检无人机对应的第一模型和各电力设备对应的第二模型。
TD3(Twin Delayed Deep Deterministic Policy Gradient)算法可以解决强化学习中值函数估计过大的问题。MATD3(Multi-Agent Twin Delayed Deep DeterministicPolicy Gradient)算法是TD3算法的多智能体扩展形式，并且也属于MADDPG算法的改进版本，具有集中式训练和分布式执行的特点。每个智能体拥有一个策略模型，可以根据其自身的部分观测输入得到对应的动作策略输出。在策略模型训练阶段，需要一个中心节点获取全部智能体的观测、动作、奖励和下一个观测组成经验并加入经验池中。每次更新网络参数时，从经验池中选取一部分经验来进行更新。
在MATD3算法中，为方便表示，令k＝M+N，即系统中共有k个智能体.所有智能体的联合观测可表示为o＝{o1,o2,…,ok}。从经验池中随机选取了一个批次大小为Mb的经验{oj,oj ′,aj,rj}，包含所有智能体的联合状态、动作和奖励。对智能体x的网络更新如下，其中智能体x的策略Actor网络可表示为两个评价Critic网络可以表示为/>和/>
对策略网络的参数通过策略梯度方法进行更新：
在算法中有两个Critic网络，选取两个网络中Q值估计最小的一个，并得到目标值yj。
然后，可以基于策略两个Critic网络可以通过最小化损失函数进行更新：
为求解电力巡检无人机-电力设备协作架构下电力巡检无人机的机动和电力设备的边缘计算任务的卸载的联合优化问题，本发明实施例基于MATD3算法设计了两类智能体的观测、动作策略和奖励。
智能体类型可以包括两类：电力巡检无人机和电力设备。
观测：每个智能体根据自身的需求从环境中获取部分观测。
时隙t电力巡检无人机j智能体的观测包括时隙t自身的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量。
其中，xj ′(t),yj ′(t),zj ′(t)表示电力巡检无人机自身的位置。
时隙t电力设备i智能体的观测包括时隙t自身的边缘计算任务的任务量和自身空闲的计算资源。
动作策略：每个智能体获取自身观测后，输入Actor网络便可得到动作策略。
时隙t电力巡检无人机j智能体的动作策略可以包括时隙t对电力设备的卸载指示，以及自身的方位角和飞行距离。
时隙t电力设备i智能体的动作策略可以包括时隙t自身任务的卸载率。
奖励：在训练过程中，智能体与环境交互后会得到在当前状态下执行动作策略所对应的奖励。
时隙t电力巡检无人机j智能体的奖励与所处理的电力设备的边缘计算任务的延迟和自身的能耗相关。
其中，和/>分别表示电力巡检无人机j智能体的能耗的权重和电力设备的边缘计算任务的时延的权重；p表示违反约束获得的惩罚。
时隙t电力设备i智能体的奖励仅与自身的边缘计算任务的时延相关。/>
其中，表示电力设备i的边缘计算任务的时延的权重。
强化学习算法采用MATD3算法，一旦策略模型训练完毕，各智能体可以根据各自的局部观测和本地部署的策略模型进行动作决策，而不需要中心节点进行统筹控制。
本发明实施例通过构建电力巡检无人机和电力设备两种异构智能体协作的电力巡检无人机的机动和电力设备的边缘计算任务的卸载模型，依据实时任务请求、任务属性、电力巡检无人机和电力设备的分布以及计算能力等信息进行训练，采用MATD3强化学习算法，进行对电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载的决策，能实现预设的优化目标。
基于上述任一实施例的内容，根据MATD3算法，基于预设的优化目标，对生成样本数据进行离线训练之前，还包括：获取真实部署环境中各电力巡检无人机和各电力设备的历史运行数据。
具体地，各电力巡检无人机和各电力设备的历史运行数据，可以包括历史时隙各电力巡检无人机的位置、各电力设备的位置、各电力设备的边缘计算任务的任务量和各电力设备空闲的计算资源。历史时隙可以包括目标时隙之前的多个时隙。
基于真实部署环境中的历史运行数据，根据生成对抗网络算法，获取生成样本数据。
具体地，生成样本数据除了可以包括历史运行数据之前，还可以包括根据生成对抗网络(Generative Adversarial Network,GAN)算法，基于历史运行数据，生成的第一数据。
GAN内部存在两个子网络，分别是生成器G(Generator)和判别器D(Discriminator)。生成器的目的是生成可以欺骗过鉴别器的“假”样本，鉴别器的本质是一个二分类器，目的是尽可能区分输入样本是生成的“假”样本还是真实样本。通过生成器和判别器的博弈，最终生成器会生成近似于真实样本分布的生成样本。因此，本发明实施例采用基于GAN的MATD3辅助训练算法，使用GAN拟合从真实部署环境中采样的有限环境状态，目的是获得一个可以生成近似真实环境状态的生成器并用于智能体的离线训练，以此解决在线训练成本较高和传统离线训练无法保证智能体策略在真实环境部署的有效性问题。
GAN的目标函数可以表示如下:
其中，V(G,D)表示真实样本与生成样本之间的差异程度。G的目的是最小化V(G,D)，即最小化真实样本和生成样本的差异程度，D的目的反之，最大化真实样本和生成样本的差异程度。
判别器D通过梯度上升更新其参数，
/>
生成器G通过梯度下降更新其参数，
经过生成器和判别器的最大最小博弈，最终会达到纳什均衡，生成器可以生成与真实环境状态分布类似的生成样本。
本发明实施例使用GAN对电力巡检系统的设备环境状态属性的分布进行模拟，通过在离线训练中使用生成的网络环境状态使得智能体的经验增强，使得智能体能够在资源及服务请求动态变化的环境下，根据部分观测实时高效做出动作策略的决策。
使用GAN可以对从真实部署环境采样得到的环境状态样本进行拟合，以学习真实环境的属性分布，获得可生成近似电力无人机巡检系统中任务请求和网络状态的生成器，并在强化学习离线训练时使用GAN的生成器作为环境状态生成器，生成近似真实部署环境的状态属性，能增强了智能体应对真实环境的能力，使在离线环境训练得出的智能体策略也能高效应用于真实的电力无人机巡检场景中，与在真实环境中在线训练相比有更高的可行性，并且大大降低了训练成本，进行更有效保证在电力无人机巡检系统中最优的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载的策略，实现预设的优化目标。
本发明实施例通过采用基于生成对抗网络算法的强化学习智能体离线训练辅助方法，能降低从真实环境中采样的成本并保证智能体在真实部署环境中具有良好性能。
本发明实施例利用GAN学习真实环境状态分布，即历史运行数据，在训练时根据生成环境状态训练智能体，能保证智能体策略在真实部署环境中的有效性，与在真实环境中在线训练相比，能大大降低训练成本。
基于上述任一实施例的内容，优化目标，包括以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延为目标。
具体地，为了实现电力巡检无人机机动、卸载任务分配和任务卸载的比例的优化，可以以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延为优化目标。
可选地，优化目标可以通过以下公式表示：
C1:
C2:
C3:
C4:
C5:/>
C6:
其中，约束条件C1-C3用于约束变量取值范围；约束条件C4表示电力巡检无人机之间的最小距离，以避免碰撞；约束条件C5表示电力设备的一个边缘计算任务只能被一个电力巡检无人机卸载并处理；约束条件C6表示电力巡检无人机搭载的MEC服务器分配给各任务的计算资源之和不能超过该MEC服务器本身的最大计算资源。
其中，αe和αj分别表示一个时隙各电力巡检无人机的总能耗的权重和处理卸载的边缘计算任务的平均时延的权重。
可选地，还可以以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延之和为优化目标。
为了便于对本发明上述各实施例的理解，下面对各第一模型和各第二模型的获取过程进行描述。
图2是本发明提供的电力巡检无人机边缘计算任务卸载方法中各第一模型和各第二模型的获取过程的示意图。如图2所示，各第一模型和各第二模型的获取过程可以包括以下步骤：
步骤201、建立电力巡检无人机-电力设备协作架构。
将电力巡检无人机和电力设备作为两种异构智能体共同协作优化电力巡检无人机的飞行轨迹、任务卸载分配和任务的卸载率，形成电力巡检无人机-电力设备协作架构。
步骤202、根据电力巡检无人机的巡检需求构建优化目标。
可以根据电力巡检无人机的巡检需求，构建前述预设的优化目标。
步骤203、求解最优的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载的策略。
基于GAN-MATD3算法求解最优的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载的策略，从而得到各第一模型和各第二模型。
本发明实施例以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延为目标，能有效保证最优的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载的策略，能实现电力巡检无人机的能耗和电力设备的边缘计算任务的时延的最小化的优化目标。
图3是本发明提供的电力巡检无人机边缘计算任务卸载方法的流程示意图之二。如图3所示，本发明实施例提供的电力巡检无人机边缘计算任务卸载方法的执行主体可以为电力巡检无人机边缘计算任务卸载装置，用于电力设备，该方法包括：步骤301和步骤302。
步骤301、获取目标时隙电力设备的边缘计算任务的任务量和空闲的计算资源。
具体地，本发明实施例提供的电力巡检无人机边缘计算任务卸载方法，可以用于前述电力巡检无人机边缘计算任务卸载系统中的任一电力设备。以下描述中以该电力设备为电力设备m为例进行描述。可以理解的是，该电力设备可以并不限于电力设备m。
目标时隙可以为任一时隙。以下描述中以目标时隙为时隙t为例进行描述。可以理解的是，目标时隙可以并不限于时隙t。
可以理解的是，在目标时隙(时隙t)之前，该电力设备可以获取时隙t自身的边缘计算任务的任务量和时隙t自身空闲的计算资源。
步骤302、将目标时隙电力设备的边缘计算任务的任务量和空闲的计算资源，输入电力设备对应的第二模型，获取目标时隙电力设备的边缘计算任务的卸载率，以使得目标电力巡检无人机在目标时隙基于卸载率，对目标时隙电力设备的边缘计算任务进行卸载。
其中，目标时隙目标电力巡检无人机对电力设备的卸载指示，用于指示目标电力巡检无人机卸载目标时隙电力设备的边缘计算任务；卸载指示，是基于目标电力巡检无人机对应的第一模型，以及目标时隙目标电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量确定的；各电力巡检无人机对应的第一模型和各电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
需要说明的是，获取中心节点下发的第二模型之后，该第二模型对应的电力设备可以基于该第二模型独立进行决策，不需要中心节点进行统筹控制，即可根据目标时隙该电力设备的边缘计算任务的任务量和空闲的计算资源，获取目标时隙该电力设备的边缘计算任务的卸载率。
可选地，将目标时隙电力设备的边缘计算任务的任务量和空闲的计算资源，输入电力设备对应的第二模型，获取目标时隙电力设备的边缘计算任务的卸载率，以使得目标电力巡检无人机在目标时隙基于卸载率，对目标时隙电力设备的边缘计算任务进行卸载之前，可以还包括：根据MATD3算法，基于预设的优化目标，对生成样本数据进行离线训练。即可以以该电力巡检无人机边缘计算任务卸载装置为中心节点，基于预设的优化目标，根据MATD3算法对生成样本数据进行训练，得到各电力巡检无人机对应的第一模型和各电力设备对应的第二模型。
可选地，根据MATD3算法，基于预设的优化目标，对生成样本数据进行离线训练之前，可以还包括：获取真实部署环境中各电力巡检无人机和各电力设备的历史运行数据；基于历史运行数据，根据生成对抗网络算法，获取生成样本数据。
可选地，优化目标，包括以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延为目标。
本发明实施例通过基于电力巡检无人机与电力设备两种异构智能体协作的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载模型，根据电力设备的边缘计算任务的任务量进行决策，确定卸载率和电力巡检无人机对电力设备的卸载指示，将一部分任务留在电力设备本地计算以充分利用电力设备自身的计算资源，根据卸载率将另一部分卸载至电力巡检无人机，能更有效地满足地面的电力设备的边缘计算任务卸载需求，能提高服务质量，能降低任务时延和电力巡检无人机的能耗。
下面对本发明提供的电力巡检无人机边缘计算任务卸载装置进行描述，下文描述的电力巡检无人机边缘计算任务卸载装置与上文描述的电力巡检无人机边缘计算任务卸载方法可相互对应参照。
图4是本发明提供的电力巡检无人机边缘计算任务卸载装置的结构示意图之一。基于上述任一实施例的内容，如图4所示，电力巡检无人机边缘计算任务卸载装置包括：第一获取模块401、第二获取模块402和任务卸载模块403，其中：
第一获取模块401，用于获取目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量；
第二获取模块402，用于位置和各电力设备的边缘计算任务的任务量，输入电力巡检无人机对应的第一模型，获取目标时隙对每一电力设备的卸载指示和目标时隙电力巡检无人机的飞行控制参数；
任务卸载模块403，用于基于卸载指示，在目标时隙对各电力设备中的目标电力设备进行边缘计算任务卸载，并基于飞行控制参数，控制电力巡检无人机的飞行；
其中，卸载的任务量，基于目标时隙目标电力设备的边缘计算任务的任务量和卸载率确定；目标时隙目标电力设备的边缘计算任务的卸载率，是基于目标电力设备对应的第二模型，以及目标时隙目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的第一模型和各电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
具体地，第一获取模块401、第二获取模块402和任务卸载模块403可以顺次电连接。
可选地，该电力巡检无人机边缘计算任务卸载装置，可以还包括：
第一训练模块，用于根据MATD3算法，基于预设的优化目标，对生成样本数据进行离线训练。
可选地，该电力巡检无人机边缘计算任务卸载装置，可以还包括：第一生成模块，用于获取真实部署环境中各电力巡检无人机和各电力设备的历史运行数据；基于历史运行数据，根据生成对抗网络算法，获取生成样本数据。
可选地，优化目标，包括以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延为目标。
本发明实施例提供的电力巡检无人机边缘计算任务卸载装置，用于执行本发明上述电力巡检无人机边缘计算任务卸载方法，其实施方式与本发明提供的电力巡检无人机边缘计算任务卸载方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
该电力巡检无人机边缘计算任务卸载装置用于前述各实施例的电力巡检无人机边缘计算任务卸载方法。因此，在前述各实施例中的电力巡检无人机边缘计算任务卸载方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
本发明实施例通过基于电力巡检无人机与电力设备两种异构智能体协作的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载模型，根据电力设备的边缘计算任务的任务量进行决策，确定卸载率和电力巡检无人机对电力设备的卸载指示，将一部分任务留在电力设备本地计算以充分利用电力设备自身的计算资源，根据卸载率将另一部分卸载至电力巡检无人机，能更有效地满足地面的电力设备的边缘计算任务卸载需求，能提高服务质量，能降低任务时延和电力巡检无人机的能耗。
图5是本发明提供的电力巡检无人机边缘计算任务卸载装置的结构示意图之二。基于上述任一实施例的内容，如图5所示，电力巡检无人机边缘计算任务卸载装置包括：第三获取模块501和第四获取模块502，其中：
第三获取模块501，用于获取目标时隙电力设备的边缘计算任务的任务量和空闲的计算资源；
第四获取模块502，用于将目标时隙电力设备的边缘计算任务的任务量和空闲的计算资源，输入电力设备对应的第二模型，获取目标时隙电力设备的边缘计算任务的卸载率，以使得目标电力巡检无人机在目标时隙基于卸载率，对目标时隙电力设备的边缘计算任务进行卸载；
其中，目标时隙目标电力巡检无人机对电力设备的卸载指示，用于指示目标电力巡检无人机卸载目标时隙电力设备的边缘计算任务；卸载指示，是基于目标电力巡检无人机对应的第一模型，以及目标时隙目标电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量确定的；各电力巡检无人机对应的第一模型和各电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
具体地，第三获取模块501和第四获取模块502可以电连接。
可选地，该电力巡检无人机边缘计算任务卸载装置，可以还包括：
第二训练模块，用于根据MATD3算法，基于预设的优化目标，对生成样本数据进行离线训练。
可选地，该电力巡检无人机边缘计算任务卸载装置，可以还包括：第二生成模块，用于获取真实部署环境中各电力巡检无人机和各电力设备的历史运行数据；基于历史运行数据，根据生成对抗网络算法，获取生成样本数据。
可选地，优化目标，包括以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延为目标。
本发明实施例提供的电力巡检无人机边缘计算任务卸载装置，用于执行本发明上述电力巡检无人机边缘计算任务卸载方法，其实施方式与本发明提供的电力巡检无人机边缘计算任务卸载方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
该电力巡检无人机边缘计算任务卸载装置用于前述各实施例的电力巡检无人机边缘计算任务卸载方法。因此，在前述各实施例中的电力巡检无人机边缘计算任务卸载方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
本发明实施例通过基于电力巡检无人机与电力设备两种异构智能体协作的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载模型，根据电力设备的边缘计算任务的任务量进行决策，确定卸载率和电力巡检无人机对电力设备的卸载指示，将一部分任务留在电力设备本地计算以充分利用电力设备自身的计算资源，根据卸载率将另一部分卸载至电力巡检无人机，能更有效地满足地面的电力设备的边缘计算任务卸载需求，能提高服务质量，能降低任务时延和电力巡检无人机的能耗。
基于上述任一实施例的内容，一种电力巡检无人机边缘计算任务卸载系统，包括：多个第一电力巡检无人机边缘计算任务卸载装置和多个第二电力巡检无人机边缘计算任务卸载装置。
具体地，第一电力巡检无人机边缘计算任务卸载装置，可以为电力巡检无人机搭载的MEC服务器。第二电力巡检无人机边缘计算任务卸载装置可以为电力设备。
多个第一电力巡检无人机边缘计算任务卸载装置和多个第二电力巡检无人机边缘计算任务卸载装置执行电力巡检无人机边缘计算任务卸载方法的具体过程，可以参见前述实施例，此处不再赘述。
本发明实施例通过基于电力巡检无人机与电力设备两种异构智能体协作的电力巡检无人机的飞行控制和电力设备的边缘计算任务的卸载模型，根据电力设备的边缘计算任务的任务量进行决策，确定卸载率和电力巡检无人机对电力设备的卸载指示，将一部分任务留在电力设备本地计算以充分利用电力设备自身的计算资源，根据卸载率将另一部分卸载至电力巡检无人机，能更有效地满足地面的电力设备的边缘计算任务卸载需求，能提高服务质量和降低任务时延。
图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行电力巡检无人机边缘计算任务卸载方法，该方法包括：获取目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量；将目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量，输入电力巡检无人机对应的第一模型，获取目标时隙对每一电力设备的卸载指示和目标时隙电力巡检无人机的飞行控制参数；基于卸载指示，在目标时隙对各电力设备中的目标电力设备进行边缘计算任务卸载，并基于飞行控制参数，控制电力巡检无人机的飞行；其中，卸载的任务量，基于目标时隙目标电力设备的边缘计算任务的任务量和卸载率确定；目标时隙目标电力设备的边缘计算任务的卸载率，是基于目标电力设备对应的第二模型，以及目标时隙目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的第一模型和各电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供的电子设备中的处理器610可以调用存储器630中的逻辑指令，其实施方式与本发明提供的电力巡检无人机边缘计算任务卸载方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的电力巡检无人机边缘计算任务卸载方法，该方法包括：获取目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量；将目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量，输入电力巡检无人机对应的第一模型，获取目标时隙对每一电力设备的卸载指示和目标时隙电力巡检无人机的飞行控制参数；基于卸载指示，在目标时隙对各电力设备中的目标电力设备进行边缘计算任务卸载，并基于飞行控制参数，控制电力巡检无人机的飞行；其中，卸载的任务量，基于目标时隙目标电力设备的边缘计算任务的任务量和卸载率确定；目标时隙目标电力设备的边缘计算任务的卸载率，是基于目标电力设备对应的第二模型，以及目标时隙目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的第一模型和各电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
本发明实施例提供的计算机程序产品被执行时，实现上述电力巡检无人机边缘计算任务卸载方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的电力巡检无人机边缘计算任务卸载方法，该方法包括：获取目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量；将目标时隙电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量，输入电力巡检无人机对应的第一模型，获取目标时隙对每一电力设备的卸载指示和目标时隙电力巡检无人机的飞行控制参数；基于卸载指示，在目标时隙对各电力设备中的目标电力设备进行边缘计算任务卸载，并基于飞行控制参数，控制电力巡检无人机的飞行；其中，卸载的任务量，基于目标时隙目标电力设备的边缘计算任务的任务量和卸载率确定；目标时隙目标电力设备的边缘计算任务的卸载率，是基于目标电力设备对应的第二模型，以及目标时隙目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的第一模型和各电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
本发明实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述电力巡检无人机边缘计算任务卸载方法，其具体的实施方式与前述方法的实施例中记载的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种电力巡检无人机边缘计算任务卸载方法，其特征在于，用于电力巡检无人机，所述方法包括：
获取目标时隙所述电力巡检无人机的位置、各电力设备的位置和各所述电力设备的边缘计算任务的任务量；
将所述目标时隙所述电力巡检无人机的位置、各电力设备的位置和各所述电力设备的边缘计算任务的任务量，输入所述电力巡检无人机对应的第一模型，获取所述目标时隙对每一电力设备的卸载指示和所述目标时隙所述电力巡检无人机的飞行控制参数；
基于所述卸载指示，在所述目标时隙对各所述电力设备中的目标电力设备进行边缘计算任务卸载，并基于所述飞行控制参数，控制所述电力巡检无人机的飞行；
其中，卸载的任务量，基于所述目标时隙所述目标电力设备的边缘计算任务的任务量和卸载率确定；所述目标时隙所述目标电力设备的边缘计算任务的卸载率，是基于所述目标电力设备对应的第二模型，以及所述目标时隙所述目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的所述第一模型和各所述电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
2.根据权利要求1所述的电力巡检无人机边缘计算任务卸载方法，其特征在于，所述将所述目标时隙所述电力巡检无人机的位置、各电力设备的位置和各所述电力设备的边缘计算任务的任务量，输入所述电力巡检无人机对应的第一模型，获取所述目标时隙对每一电力设备的卸载指示和所述目标时隙所述电力巡检无人机的飞行控制参数之前，还包括：
根据MATD3算法，基于预设的优化目标，对所述生成样本数据进行离线训练。
3.根据权利要求2所述的电力巡检无人机边缘计算任务卸载方法，其特征在于，所述根据MATD3算法，基于预设的优化目标，对所述生成样本数据进行离线训练之前，还包括：
获取真实部署环境中各电力巡检无人机和各电力设备的历史运行数据；
基于所述历史运行数据，根据生成对抗网络算法，获取所述生成样本数据。
4.根据权利要求2或3所述的电力巡检无人机边缘计算任务卸载方法，其特征在于，所述优化目标，包括以最小化一个时隙各电力巡检无人机的总能耗和处理卸载的边缘计算任务的平均时延为目标。
5.一种电力巡检无人机边缘计算任务卸载方法，其特征在于，用于电力设备，所述方法包括：
获取目标时隙所述电力设备的边缘计算任务的任务量和空闲的计算资源；
将所述目标时隙所述电力设备的边缘计算任务的任务量和空闲的计算资源，输入所述电力设备对应的第二模型，获取所述目标时隙所述电力设备的边缘计算任务的卸载率，以使得目标电力巡检无人机在所述目标时隙基于所述卸载率，对所述目标时隙所述电力设备的边缘计算任务进行卸载；
其中，所述目标时隙所述目标电力巡检无人机对所述电力设备的卸载指示，用于指示所述目标电力巡检无人机卸载所述目标时隙所述电力设备的边缘计算任务；所述卸载指示，是基于所述目标电力巡检无人机对应的第一模型，以及所述目标时隙所述目标电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量确定的；各电力巡检无人机对应的所述第一模型和各所述电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
6.一种电力巡检无人机边缘计算任务卸载装置，其特征在于，包括：
第一获取模块，用于获取目标时隙所述电力巡检无人机的位置、各电力设备的位置和各所述电力设备的边缘计算任务的任务量；
第二获取模块，用于位置和各所述电力设备的边缘计算任务的任务量，输入所述电力巡检无人机对应的第一模型，获取所述目标时隙对每一电力设备的卸载指示和所述目标时隙所述电力巡检无人机的飞行控制参数；
任务卸载模块，用于基于所述卸载指示，在所述目标时隙对各所述电力设备中的目标电力设备进行边缘计算任务卸载，并基于所述飞行控制参数，控制所述电力巡检无人机的飞行；
其中，卸载的任务量，基于所述目标时隙所述目标电力设备的边缘计算任务的任务量和卸载率确定；所述目标时隙所述目标电力设备的边缘计算任务的卸载率，是基于所述目标电力设备对应的第二模型，以及所述目标时隙所述目标电力设备的边缘计算任务的任务量和空闲的计算资源确定的；各电力巡检无人机对应的所述第一模型和各所述电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
7.一种电力巡检无人机边缘计算任务卸载装置，其特征在于，包括：
第三获取模块，用于获取目标时隙电力设备的边缘计算任务的任务量和空闲的计算资源；
第四获取模块，用于将所述目标时隙所述电力设备的边缘计算任务的任务量和空闲的计算资源，输入所述电力设备对应的第二模型，获取所述目标时隙所述电力设备的边缘计算任务的卸载率，以使得目标电力巡检无人机在所述目标时隙基于所述卸载率，对所述目标时隙所述电力设备的边缘计算任务进行卸载；
其中，所述目标时隙所述目标电力巡检无人机对所述电力设备的卸载指示，用于指示所述目标电力巡检无人机卸载所述目标时隙所述电力设备的边缘计算任务；所述卸载指示，是基于所述目标电力巡检无人机对应的第一模型，以及所述目标时隙所述目标电力巡检无人机的位置、各电力设备的位置和各电力设备的边缘计算任务的任务量确定的；各电力巡检无人机对应的所述第一模型和各所述电力设备对应的第二模型，是基于生成样本数据进行训练后得到的。
8.一种电力巡检无人机边缘计算任务卸载系统，其特征在于，包括：多个如权利要求6所述电力巡检无人机边缘计算任务卸载装置和多个如权利要求7所述电力巡检无人机边缘计算任务卸载装置。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述电力巡检无人机边缘计算任务卸载方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述电力巡检无人机边缘计算任务卸载方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310257281.8A CN116578354A (zh) | 2023-03-08 | 2023-03-08 | 电力巡检无人机边缘计算任务卸载方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310257281.8A CN116578354A (zh) | 2023-03-08 | 2023-03-08 | 电力巡检无人机边缘计算任务卸载方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116578354A true CN116578354A (zh) | 2023-08-11 |
Family
ID=87534782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310257281.8A Pending CN116578354A (zh) | 2023-03-08 | 2023-03-08 | 电力巡检无人机边缘计算任务卸载方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578354A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117580105A (zh) * | 2024-01-15 | 2024-02-20 | 南京信息工程大学 | 一种面向电网巡检的无人机任务卸载优化方法 |
-
2023
- 2023-03-08 CN CN202310257281.8A patent/CN116578354A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117580105A (zh) * | 2024-01-15 | 2024-02-20 | 南京信息工程大学 | 一种面向电网巡检的无人机任务卸载优化方法 |
| CN117580105B (zh) * | 2024-01-15 | 2024-04-19 | 南京信息工程大学 | 一种面向电网巡检的无人机任务卸载优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107343025B (zh) | 分布式卫星云雾网络架构及能耗约束下的时延优化方法 | |
| CN109286913B (zh) | 基于蜂窝网联的无人机移动边缘计算系统能耗优化方法 | |
| CN113346944B (zh) | 空天地一体化网络中时延最小化计算任务卸载方法及系统 | |
| CN114169234A (zh) | 一种无人机辅助移动边缘计算的调度优化方法及系统 | |
| CN113660681B (zh) | 一种应用于无人机集群辅助传输的多智能体资源优化方法 | |
| CN110673649A (zh) | 基于拓扑优化的时变信道下无人机编队一致性控制方法、系统、装置及存储介质 | |
| CN114340016A (zh) | 一种电网边缘计算卸载分配方法及系统 | |
| CN113900449B (zh) | 多无人机轨迹规划方法、装置、无人机及存储介质 | |
| CN116578354A (zh) | 电力巡检无人机边缘计算任务卸载方法及装置 | |
| CN116684925B (zh) | 一种无人机搭载智能反射面安全移动边缘计算方法 | |
| CN114281104A (zh) | 一种基于改进蚁群算法的多无人机协同调控方法 | |
| CN117499867A (zh) | 一种多无人机辅助移动边缘计算中通过策略梯度算法实现高能效计算卸载的方法 | |
| CN117055619A (zh) | 基于多智能体强化学习的无人机调度方法 | |
| CN115209426A (zh) | 一种边缘车联网内数字孪生服务器动态部署方法 | |
| CN116893861A (zh) | 基于空地协同边缘计算的多智能体协作依赖任务卸载方法 | |
| Nguyen et al. | A survey on deep reinforcement learning-driven task offloading in aerial access networks | |
| CN116257335A (zh) | 无人机辅助mec系统联合任务调度及运动轨迹优化方法 | |
| CN114079882B (zh) | 多无人机协同计算与路径控制的方法及装置 | |
| CN117580105B (zh) | 一种面向电网巡检的无人机任务卸载优化方法 | |
| CN116009590B (zh) | 无人机网络分布式轨迹规划方法、系统、设备及介质 | |
| CN116208968B (zh) | 基于联邦学习的轨迹规划方法及装置 | |
| CN117236561A (zh) | 一种基于sac的多无人机辅助移动边缘计算方法、装置及存储介质 | |
| CN116737391A (zh) | 一种联邦模式下基于混合策略的边缘计算协作方法 | |
| CN116774584A (zh) | 一种基于多智能体深度强化学习的无人机差异化服务轨迹优化方法 | |
| CN116321181A (zh) | 一种多无人机辅助边缘计算的在线轨迹及资源优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |