CN117580105A - 一种面向电网巡检的无人机任务卸载优化方法 - Google Patents

一种面向电网巡检的无人机任务卸载优化方法 Download PDF

Info

Publication number
CN117580105A
CN117580105A CN202410053103.8A CN202410053103A CN117580105A CN 117580105 A CN117580105 A CN 117580105A CN 202410053103 A CN202410053103 A CN 202410053103A CN 117580105 A CN117580105 A CN 117580105A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
time slot
task
energy consumption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410053103.8A
Other languages
English (en)
Other versions
CN117580105B (zh
Inventor
庄伟�
邢发男
纪兆辉
申义贤
江文
樊继利
李之恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202410053103.8A priority Critical patent/CN117580105B/zh
Publication of CN117580105A publication Critical patent/CN117580105A/zh
Application granted granted Critical
Publication of CN117580105B publication Critical patent/CN117580105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0925—Management thereof using policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0917—Management thereof based on the energy state of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • H04W28/0975—Quality of Service [QoS] parameters for reducing delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/06—Airborne or Satellite Networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种面向电网巡检的无人机任务卸载优化方法，包括以下步骤：（1）基于BS的通信方式及各无人机的巡检模式，构建由MEC服务器和无人机组成的电网巡检系统模型；（2）基于巡检系统模型，计算第k个无人机在第i时隙用于执行巡检任务的飞行能耗；（3）计算各无人机在第i时隙的任务处理时延；（4）计算各无人机在第i时隙的能量消耗；（5）基于任务处理时延和能量消耗，以系统能耗和时延的加权和最小化为目标函数：（6）采用深度强化学习中的DDPG算法求解最优卸载策略,使无人机电网巡检系统能耗和时延加权和最小；本发明能够在实时变化的环境中自主地调整无人机的卸载比例，以适应不同任务需求和通信环境，实现高效的无人机电网巡检。

Description

一种面向电网巡检的无人机任务卸载优化方法
技术领域
本发明涉及移动边缘计算技术领域，具体涉及一种面向电网巡检的无人机任务卸载优化方法。
背景技术
随着电力物联网技术的不断发展以及电力供应的持续增长，电网规模和电力系统的复杂性也在不断扩大和增加，电力系统的稳定运行和安全性成为社会经济发展的关键保障。然而，传统的电网巡检主要依靠人工巡视和定期维护，存在巡检周期长、效率低、成本高等问题。此外，电力设施分布广泛，有些地区环境恶劣，使得传统巡检方式难以满足实际需求。
近年来，无人机技术的快速发展为电网巡检带来了全新的解决方案。无人机具有机动性高、易于部署、拥有良好视距链路、对复杂环境适应能力强等特点，可以更加灵活地监测和巡视电力设施，覆盖范围更广、效率更高。同时，无人机结合机载相机、光电观测系统、红外热像、激光雷达等相关巡检传感器，可以避免巡检人员直接接触高压电力设施，减少了安全隐患。在无人机电网巡检中，由于其计算能力和电池容量的限制，通常将检查任务转移到中心云进行处理。对于计算密集型任务，中心云可以帮助性能受限的无人机处理这些运算需求大的任务，并返回计算结果，大大减少了无人机的计算压力。但是传统的云集中式计算模式中，中心云服务器与无人机之间的长距离会导致较大的数据传输延迟，可能不利于巡检人员及时获取故障信息，特别是对于延迟敏感的巡检任务。
移动边缘计算（MEC）作为5G的关键技术之一，其主要特点是将数据处理和计算资源尽可能地靠近数据源和终端设备，减少数据传输延迟和网络拥堵。因此，MEC有效地解决了传统集中式云的问题，通过在网络边缘提供计算资源（如基站、边缘服务器部署在基站旁边），可以将计算和数据存储功能靠近巡检现场，提供更低的延迟和更高的实时性。移动边缘计算技术的应用使无人机在电网巡检过程中能够实时获取数据、进行高效的数据处理和决策，从而提高巡检任务的准确性和效率。同时，边缘计算技术的应用保障了电网数据安全。
在无人机电网巡检过程中，MEC可以很好地解决无人机电池容量和计算能力的受限问题。但是不合理的卸载策略会导致无人机电网巡检系统性能下降，能量消耗增加，任务执行效率低下，甚至可能影响系统的稳定性。因此，在设计无人机巡检系统时，需要结合任务需求、资源状况和通信环境等因素，合理地选择卸载策略，以最小化系统能耗和任务处理时延，从而优化系统性能和效率。
发明内容
发明目的：本发明的目的是提供一种面向电网巡检的无人机任务卸载优化方法通过动态调整任务卸载比例，系统在保证巡检任务准确性和时效性的前提下，根据具体的任务需求、无人机的资源状况以及通信环境信道状态等因素进行权衡和决策，最小化系统能耗和任务处理时延，提高无人机的巡检效率和性能。
技术方案：本发明所述的一种面向电网巡检的无人机任务卸载优化方法，由设置在固定位置的集成了MEC服务器的多天线基站BS和N个单天线无人机组成，包括以下步骤：
（1）基于BS的通信方式及各无人机的巡检模式，构建由MEC服务器和无人机组成的电网巡检系统模型；
（2）基于巡检系统模型，计算第k个无人机在第i时隙用于执行巡检任务的飞行能耗；
（3）计算各无人机在第i时隙的任务处理时延；
（4）计算各无人机在第i时隙的能量消耗；
（5）基于任务处理时延和能量消耗，以系统能耗和时延的加权和最小化为目标函数：
（6）采用深度强化学习中的DDPG算法求解最优卸载策略,使无人机电网巡检系统能耗和时延加权和最小。
进一步的，所述步骤（1）包括以下步骤：
（11）以TDMA方式将整个系统时间划分为长度为T的I个连续时隙，且在同一时隙内无线信道增益保持不变；
（12）在每个时隙中，所有无人机首先利用规定时间从巡检开始位置飞行到结束位置，然后在结束位置采用OFDM技术将部分任务卸载到MEC服务器执行；其中在整个巡检过程中无人机始终保持在固定高度H飞行，且上一时隙的结束位置是下一时隙的开始位置。
进一步的，所述步骤（2）公式如下：
；
其中，表示第k个无人机在第i时隙中的飞行速度，设所有无人机的重量均为M。
进一步的，所述步骤（3）时延包括：无人机本地执行任务的计算时延、无人机向MEC服务器传输任务数据时延和MEC服务器计算时延，包括以下步骤：
（31）当无人机本地执行部分巡检计算任务时，计算时延依赖于无人机CPU的计算频率，则第k个无人机在第i时隙本地执行任务的计算时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，则/>表示第k个无人机在第i时隙本地执行的任务比例，s表示处理一个单位字节数据所需的CPU周期，设所有无人机的CPU计算频率均为/>；
（32）无人机向MEC服务器传输剩余巡检计算任务的时延取决于无人机上行链路传输速率；公式如下：
设MEC服务器的位置固定在，第k个无人机在第i时隙飞行巡检的结束位置为：
；
其中，与/>分别对应第k个无人机在第i-1时隙的横、纵坐标，表示第k个无人机在第i-1时隙的飞行角度，则第k个无人机在第i时隙与MEC服务器之间的视距链路的信道增益为：
；
其中，表示参考距离为1m时的信道增益，/>表示第k个无人机在第i时隙与MEC服务器之间的欧氏距离；由于障碍物堵塞，则第k个无人机在第i时隙的上行链路传输速率为：
；
其中，表示分配给每个无人机的信道带宽，设所有无人机的传输功率均为/>，表示噪声功率，/>表示传输损耗，/>表示第k个无人机在第i时隙与MEC服务器之间是否存在堵塞即0表示无堵塞，1表示有堵塞；则第k个无人机在第i时隙向MEC服务器传输任务数据时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，/>表示第k个无人机在第i时隙的上行链路传输速率；
（33）当无人机将剩余巡检任务卸载至MEC服务器执行时，计算时延依赖于MEC服务器的计算频率，则MEC服务器在第i时隙为第k个无人机提供计算服务的计算时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，s表示处理一个单位字节数据所需的CPU周期，/>表示MEC服务器的计算频率；
（34）由步骤（31）-（33）可得无人机电网巡检系统在第i时隙的任务处理最大时延为：
；
其中表示第k个无人机在第i时隙本地执行任务的计算时延，/>表示第k个无人机在第i时隙向MEC服务器传输任务数据时延，/>表示MEC服务器在第i时隙为第k个无人机提供计算服务的计算时延。
进一步的，所述步骤（4）能量消耗包括：无人机的飞行能耗、无人机本地执行任务的计算能耗和无人机将任务卸载至MEC服务器的传输能耗；包括以下步骤：
（41）当无人机本地执行部分巡检计算任务时，计算能耗取决于芯片结构对无人机CPU处理的影响因子；由步骤（31）可得第k个无人机在第i时隙本地执行的计算能耗为：设所有无人机的芯片架构的能量系数均为，公式如下：
；
其中，表示无人机的CPU计算频率，/>表示第k个无人机在第i时隙本地执行的任务比例，/>表示第k个无人机在第i时隙的计算任务数据量大小；
（42）无人机向MEC服务器传输剩余巡检计算任务能耗依赖于无人机传输功率及上行链路传输速率。由步骤（32）第k个无人机在第i时隙将任务卸载至MEC服务器的传输能耗为：
；
其中，表示无人机的传输功率，/>表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，/>表示第k个无人机在第i时隙的上行链路传输速率；
（43）由（2）和步骤（41）-（42）得到无人机电网巡检系统在第i时隙的能量消耗为：
；
其中，表示第k个无人机在第i时隙本地执行的计算能耗，/>表示第k个无人机在第i时隙将任务卸载至MEC服务器的传输能耗，/>表示第k个无人机在第i时隙用于执行巡检任务的飞行能耗。
进一步的，所述步骤（5）具体如下：基于得到任务处理时延和能量消耗，以系统能耗和时延加权和最小化为目标函数，则无人机电网巡检系统的任务卸载比例策略优化问题建模为：
；
；
；
；
；
；
；
其中，表示时延权重参数，/>表示能耗权重参数，且/>，/>；对时延要求高的计算任务，增加时延权重参数/>；若UAV电池处于低电量下则优先考虑能耗参数，即增加能耗权重参数/>；/>为计算任务的卸载比例值的范围，/>表示MEC服务器与无人机的位置约束，/>表示无人机与MEC服务器之间无线信道的堵塞约束，/>是确保无人机在所有时隙的飞行能耗、传输能耗及计算能耗不超过最大电池容量，/>表示在整个时间段中要完成的所有计算任务。
进一步的，其特征在于，所述步骤（6）包括以下步骤：
（61）在无人机电网巡检系统中，状态空间由N个无人机及其环境决定，则每i时隙的系统状态定义为：
；
其中，表示在整个时间段中需要完成的总剩余计算任务大小，/>表示MEC服务器的位置信息，/>表示第N个无人机在第i时隙的剩余电量，/>表示第N个无人机在第i时隙的位置信息，/>表示第N个无人机在第i时隙的巡检计算任务大小，表示第N个无人机在第i时隙中与MEC服务器之间无线信道是否堵塞；
基于第i时隙系统状态及每个无人机的任务卸载率，则第i时隙的系统卸载决策动作为：
；
其中，表示第N个无人机在第i时隙的任务卸载比例；
（62）基于第t时隙的状态空间和动作空间，采用深度强化学习中的DDPG算法求解满足所述目标函数的无人机计算任务的最优卸载策略，使得无人机电网巡检系统能耗和时延加权和最小。
本发明所述的一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现任一项所述的一种面向电网巡检的无人机任务卸载优化方法。
本发明所述的一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述的一种面向电网巡检的无人机任务卸载优化方法。
有益效果：与现有技术相比，本发明具有如下显著优点：利用无人机执行电网巡检任务，以最小化系统能耗和任务处理时延加权和为目标，使用一种深度强化学习方法优化无人机的卸载比例策略，提高巡检任务的效率和性能。设计了基于深度确定性策略梯度（DDPG）的最小化系统能耗和时延算法（DDPG-MED）求解任务卸载比例策略，该方法结合了无人机巡检、移动边缘计算和深度强化学习技术，可以有效地支持任务卸载和无人机移动性的连续动作空间的优化问题，减少系统能耗和时延。同时该方法通过环境建模、智能体网络的训练和优化，能够在实时变化的环境中自主地调整无人机的卸载比例，以适应不同任务需求和通信环境，实现高效的无人机电网巡检。
附图说明
图1为本发明的面向电网巡检的无人机任务卸载优化方法的流程图；
图2是本发明的基于移动边缘计算的无人机电网巡检系统模型图；
图3是本发明的用于求解无人机任务卸载比例策略的DDPG示意图；
图4是本发明的DDPG-MED算法与不同算法的收敛情况对比仿真图。
实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图2所示，本发明实施例提供一种面向电网巡检的无人机任务卸载优化方法，由一个设置在固定位置的集成了MEC服务器的多天线基站（BS）和N个单天线无人机组成；实际应用中，流程如图1所示，包括以下步骤：
一种面向电网巡检的无人机任务卸载优化方法，由设置在固定位置的集成了MEC服务器的多天线基站BS和N个单天线无人机组成，包括以下步骤：
（1）基于BS的通信方式及各无人机的巡检模式，构建由MEC服务器和无人机组成的电网巡检系统模型；包括以下步骤：
（11）以TDMA方式将整个系统时间划分为长度为T的I个连续时隙，且在同一时隙内无线信道增益保持不变；
（12）在每个时隙中，所有无人机首先利用规定时间从巡检开始位置飞行到结束位置，然后在结束位置采用OFDM技术将部分任务卸载到MEC服务器执行；其中在整个巡检过程中无人机始终保持在固定高度H飞行，且上一时隙的结束位置是下一时隙的开始位置。
（2）基于巡检系统模型，计算第k个无人机在第i时隙用于执行巡检任务的飞行能耗；公式如下：
；
其中，表示第k个无人机在第i时隙中的飞行速度，设所有无人机的重量均为M。
（3）计算各无人机在第i时隙的任务处理时延；时延包括：无人机本地执行任务的计算时延、无人机向MEC服务器传输任务数据时延和MEC服务器计算时延，包括以下步骤：
（31）当无人机本地执行部分巡检计算任务时，计算时延依赖于无人机CPU的计算频率，则第k个无人机在第i时隙本地执行任务的计算时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，则/>表示第k个无人机在第i时隙本地执行的任务比例，s表示处理一个单位字节数据所需的CPU周期，设所有无人机的CPU计算频率均为/>；
（32）无人机向MEC服务器传输剩余巡检计算任务的时延取决于无人机上行链路传输速率；公式如下：
设MEC服务器的位置固定在，第k个无人机在第i时隙飞行巡检的结束位置为：
；
其中，与/>分别对应第k个无人机在第i-1时隙的横、纵坐标，表示第k个无人机在第i-1时隙的飞行角度，则第k个无人机在第i时隙与MEC服务器之间的视距链路的信道增益为：
；
其中，表示参考距离为1m时的信道增益，/>表示第k个无人机在第i时隙与MEC服务器之间的欧氏距离；由于障碍物堵塞，则第k个无人机在第i时隙的上行链路传输速率为：
；
其中，表示分配给每个无人机的信道带宽，设所有无人机的传输功率均为/>，表示噪声功率，/>表示传输损耗，/>表示第k个无人机在第i时隙与MEC服务器之间是否存在堵塞即0表示无堵塞，1表示有堵塞；则第k个无人机在第i时隙向MEC服务器传输任务数据时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，/>表示第k个无人机在第i时隙的上行链路传输速率；
（33）当无人机将剩余巡检任务卸载至MEC服务器执行时，计算时延依赖于MEC服务器的计算频率，则MEC服务器在第i时隙为第k个无人机提供计算服务的计算时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，s表示处理一个单位字节数据所需的CPU周期，/>表示MEC服务器的计算频率；
（34）由步骤（31）-（33）可得无人机电网巡检系统在第i时隙的任务处理最大时延为：
；
其中表示第k个无人机在第i时隙本地执行任务的计算时延，/>表示第k个无人机在第i时隙向MEC服务器传输任务数据时延，/>表示MEC服务器在第i时隙为第k个无人机提供计算服务的计算时延。
（4）计算各无人机在第i时隙的能量消耗；能量消耗包括：无人机的飞行能耗、无人机本地执行任务的计算能耗和无人机将任务卸载至MEC服务器的传输能耗；包括以下步骤：
（41）当无人机本地执行部分巡检计算任务时，计算能耗取决于芯片结构对无人机CPU处理的影响因子；由步骤（31）可得第k个无人机在第i时隙本地执行的计算能耗为：设所有无人机的芯片架构的能量系数均为，公式如下：
；
其中，表示无人机的CPU计算频率，/>表示第k个无人机在第i时隙本地执行的任务比例，/>表示第k个无人机在第i时隙的计算任务数据量大小；
（42）无人机向MEC服务器传输剩余巡检计算任务能耗依赖于无人机传输功率及上行链路传输速率。由步骤（32）第k个无人机在第i时隙将任务卸载至MEC服务器的传输能耗为：
；
其中，表示无人机的传输功率，/>表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，/>表示第k个无人机在第i时隙的上行链路传输速率；
（43）由（2）和步骤（41）-（42）得到无人机电网巡检系统在第i时隙的能量消耗为：
；
其中，表示第k个无人机在第i时隙本地执行的计算能耗，/>表示第k个无人机在第i时隙将任务卸载至MEC服务器的传输能耗，/>表示第k个无人机在第i时隙用于执行巡检任务的飞行能耗。
（5）基于任务处理时延和能量消耗，以系统能耗和时延的加权和最小化为目标函数；具体如下：基于得到任务处理时延和能量消耗，以系统能耗和时延加权和最小化为目标函数，则无人机电网巡检系统的任务卸载比例策略优化问题建模为：
；
；
；
；
；
；
；
其中，表示时延权重参数，/>表示能耗权重参数，且/>，/>；对时延要求高的计算任务，增加时延权重参数/>；若UAV电池处于低电量下则优先考虑能耗参数，即增加能耗权重参数/>；/>为计算任务的卸载比例值的范围，/>表示MEC服务器与无人机的位置约束，/>表示无人机与MEC服务器之间无线信道的堵塞约束，/>是确保无人机在所有时隙的飞行能耗、传输能耗及计算能耗不超过最大电池容量，/>表示在整个时间段中要完成的所有计算任务。
如图3所示，（6）采用深度强化学习中的DDPG算法求解最优卸载策略,使无人机电网巡检系统能耗和时延加权和最小。包括以下步骤：
（61）在无人机电网巡检系统中，状态空间由N个无人机及其环境决定，则每i时隙的系统状态定义为：
；
其中，表示在整个时间段中需要完成的总剩余计算任务大小，/>表示MEC服务器的位置信息，/>表示第N个无人机在第i时隙的剩余电量，/>表示第N个无人机在第i时隙的位置信息，/>表示第N个无人机在第i时隙的巡检计算任务大小，表示第N个无人机在第i时隙中与MEC服务器之间无线信道是否堵塞；
基于第i时隙系统状态及每个无人机的任务卸载率，则第i时隙的系统卸载决策动作为：
；
其中，表示第N个无人机在第i时隙的任务卸载比例；
（62）基于第t时隙的状态空间和动作空间，采用深度强化学习中的DDPG算法求解满足所述目标函数的无人机计算任务的最优卸载策略，使得无人机电网巡检系统能耗和时延加权和最小。
具体执行如下操作：
步骤S6-2-1：初始化四个神经网络，包括参数为的Actor网络、参数为/>的Critic网络、参数为/>的Actor目标网络、参数为/>的Critic目标网络，并初始化网络参数、/>以及经验回放缓存区。
步骤S6-2-2：在第i时隙，为了探索潜在的最优策略，DDPG通过引入随机噪声来选择动作/>，其中/>为Actor网络拟合出的确定性策略函数。在所有无人机执行动作后，Agent可以观察到下一个时隙状态/>和即时奖励/>，然后将这一状态转移记录存储到经验回放缓存区中；
由步骤（61）可得，系统第i时隙状态空间可表示为：
；
基于上述状态空间，系统第i时隙可选择的动作空间为：
；
基于上述系统状态空间及动作空间，定义奖励函数为：
；
步骤S6-2-3：从第一个时隙开始，重复完成以上步骤，直至经验回放缓存区被存满；
步骤S6-2-4：当经验回放缓存区中数据量达到可采样条件后，采用mini-batch方法从经验缓存区随机抽取N个样本，并记其中一个样本为。
步骤S6-2-5： 将下一时隙状态、Actor目标网络采取的行为策略/>输入到Critic目标网络，计算下一时隙的状态-动作Q值函数：/>。
于是，可以得到当前状态下Q值函数的目标值：
；
其中为折扣因子。
步骤S6-2-6：将当前时隙状态、动作/>输入到Critic网络，输出当前时隙的状态-动作Q值函数：/>，用于对当前策略评价。
步骤S6-2-7：通过最小化损失函数对Critic网络进行梯度下降来更新网络参数:
步骤S6-2-8.：结合Critic网络的Q值函数：，可以得到Actor网络在参数/>更新时的策略梯度：
；
其中为/>输入到Actor网络生成的任务卸载策略。
步骤S6-2-9. 当训练达到一定轮次后，Actor目标网络参数和Critic目标网络参数/>采用软更新方式进行自身参数更新：
；
；
其中为软更新系数。
步骤S6-2-10：重复执行步骤S6-2-2至步骤S6-2-9直至满足停止条件。训练完成后，Actor网络可以执行无人机计算任务的最优卸载策略，使得无人机电网巡检系统能耗和时延加权和最小。
如图4所示，本发明所设计的DDPG-MED算法与不同算法的收敛情况对比如图4所示，其它算法包括LO（Local Offloading，本地执行）、FO（Full Offloading，完全卸载）、AC（Actor-Critic）和DQN（Deep Q-Network）。从图中可以看出每种算法都进行了1000轮的训练。其中LO的奖励值最小，系统能耗和时延最大，因此性能表现最差。FO的性能优于LO和AC，这是因为将任务卸载到边缘服务器可以改善性能，尤其是在降低延迟方面。AC难以实现收敛且效果次于DQN和DDPG-MED，这是因为AC在训练过程中往往由于策略和值函数之间的竞争关系导致收敛困难。DQN的收敛时间长于DDPG-MED，这是因为DQN算法通常使用贪心策略进行动作选择，意味着DQN在训练中会以一定的概率选择随机动作，以探索状态空间。在某些情况下，这可能导致DQN选择了不佳的动作，从而延长了训练时间和降低了性能。本发明所设计的DDPG-MED始终在五种算法中奖励值最大，性能表现最优。需要说明的是，在训练初期 DDPG-MED的参数是随机初始化的，所以前期的收敛效果不是最优的。然而，随着训练轮数的增加，通过持续地探索状态空间并做出准确的动作选择，最终实现了最优的任务卸载策略。从图中可以看出，经过约280轮的训练，本发明所设计的DDPG-MED算法的奖励值收敛至最优水平，并在随后的训练中保持平稳波动。
本发明实施例还提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现任一项所述的一种面向电网巡检的无人机任务卸载优化方法。
本发明实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述的一种面向电网巡检的无人机任务卸载优化方法。

Claims (9)

1.一种面向电网巡检的无人机任务卸载优化方法，其特征在于，由设置在固定位置的集成了MEC服务器的多天线基站BS和N个单天线无人机组成，包括以下步骤：
（1）基于BS的通信方式及各无人机的巡检模式，构建由MEC服务器和无人机组成的电网巡检系统模型；
（2）基于巡检系统模型，计算第k个无人机在第i时隙用于执行巡检任务的飞行能耗；
（3）计算各无人机在第i时隙的任务处理时延；
（4）计算各无人机在第i时隙的能量消耗；
（5）基于任务处理时延和能量消耗，以系统能耗和时延的加权和最小化为目标函数：
（6）采用深度强化学习中的DDPG算法求解最优卸载策略,使无人机电网巡检系统能耗和时延加权和最小。
2.根据权利要求1所述的一种面向电网巡检的无人机任务卸载优化方法，其特征在于，所述步骤（1）包括以下步骤：
（11）以TDMA方式将整个系统时间划分为长度为T的I个连续时隙，且在同一时隙内无线信道增益保持不变；
（12）在每个时隙中，所有无人机首先利用规定时间从巡检开始位置飞行到结束位置，然后在结束位置采用OFDM技术将部分任务卸载到MEC服务器执行；其中在整个巡检过程中无人机始终保持在固定高度H飞行，且上一时隙的结束位置是下一时隙的开始位置。
3.根据权利要求1所述的一种面向电网巡检的无人机任务卸载优化方法，其特征在于，所述步骤（2）公式如下：
；
其中，表示第k个无人机在第i时隙中的飞行速度，设所有无人机的重量均为M。
4.根据权利要求1所述的一种面向电网巡检的无人机任务卸载优化方法，其特征在于，所述步骤（3）时延包括：无人机本地执行任务的计算时延、无人机向MEC服务器传输任务数据时延和MEC服务器计算时延，包括以下步骤：
（31）当无人机本地执行部分巡检计算任务时，计算时延依赖于无人机CPU的计算频率，则第k个无人机在第i时隙本地执行任务的计算时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，则/>表示第k个无人机在第i时隙本地执行的任务比例，s表示处理一个单位字节数据所需的CPU周期，设所有无人机的CPU计算频率均为/>；
（32）无人机向MEC服务器传输剩余巡检计算任务的时延取决于无人机上行链路传输速率；公式如下：
设MEC服务器的位置固定在，第k个无人机在第i时隙飞行巡检的结束位置为：
；
其中，与/>分别对应第k个无人机在第i-1时隙的横、纵坐标，表示第k个无人机在第i-1时隙的飞行角度，则第k个无人机在第i时隙与MEC服务器之间的视距链路的信道增益为：
；
其中，表示参考距离为1m时的信道增益，/>表示第k个无人机在第i时隙与MEC服务器之间的欧氏距离；由于障碍物堵塞，则第k个无人机在第i时隙的上行链路传输速率为：
；
其中，表示分配给每个无人机的信道带宽，设所有无人机的传输功率均为/>，/>表示噪声功率，/>表示传输损耗，/>表示第k个无人机在第i时隙与MEC服务器之间是否存在堵塞即0表示无堵塞，1表示有堵塞；则第k个无人机在第i时隙向MEC服务器传输任务数据时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，/>表示第k个无人机在第i时隙的上行链路传输速率；
（33）当无人机将剩余巡检任务卸载至MEC服务器执行时，计算时延依赖于MEC服务器的计算频率，则MEC服务器在第i时隙为第k个无人机提供计算服务的计算时延公式如下：
；
其中，表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，s表示处理一个单位字节数据所需的CPU周期，/>表示MEC服务器的计算频率；
（34）由步骤（31）-（33）可得无人机电网巡检系统在第i时隙的任务处理最大时延为：
；
其中表示第k个无人机在第i时隙本地执行任务的计算时延，/>表示第k个无人机在第i时隙向MEC服务器传输任务数据时延，/>表示MEC服务器在第i时隙为第k个无人机提供计算服务的计算时延。
5.根据权利要求1所述的一种面向电网巡检的无人机任务卸载优化方法，其特征在于，所述步骤（4）能量消耗包括：无人机的飞行能耗、无人机本地执行任务的计算能耗和无人机将任务卸载至MEC服务器的传输能耗；包括以下步骤：
（41）当无人机本地执行部分巡检计算任务时，计算能耗取决于芯片结构对无人机CPU处理的影响因子；由步骤（31）可得第k个无人机在第i时隙本地执行的计算能耗为：设所有无人机的芯片架构的能量系数均为，公式如下：
；
其中，表示无人机的CPU计算频率，/>表示第k个无人机在第i时隙本地执行的任务比例，/>表示第k个无人机在第i时隙的计算任务数据量大小；
（42）无人机向MEC服务器传输剩余巡检计算任务能耗依赖于无人机传输功率及上行链路传输速率；由步骤（32）第k个无人机在第i时隙将任务卸载至MEC服务器的传输能耗为：
；
其中，表示无人机的传输功率，/>表示第k个无人机在第i时隙的计算任务数据量大小，/>表示第k个无人机在第i时隙卸载到MEC服务器的任务比例，/>表示第k个无人机在第i时隙的上行链路传输速率；
（43）由（2）和步骤（41）-（42）得到无人机电网巡检系统在第i时隙的能量消耗为：
；
其中，表示第k个无人机在第i时隙本地执行的计算能耗，/>表示第k个无人机在第i时隙将任务卸载至MEC服务器的传输能耗，/>表示第k个无人机在第i时隙用于执行巡检任务的飞行能耗。
6.根据权利要求1所述的一种面向电网巡检的无人机任务卸载优化方法，其特征在于，所述步骤（5）具体如下：基于得到任务处理时延和能量消耗，以系统能耗和时延加权和最小化为目标函数，则无人机电网巡检系统的任务卸载比例策略优化问题建模为：
；
；
；
；
；
；
；
其中，表示时延权重参数，/>表示能耗权重参数，且/>，/>；对时延要求高的计算任务，增加时延权重参数/>；若UAV电池处于低电量下则优先考虑能耗参数，即增加能耗权重参数/>；/>为计算任务的卸载比例值的范围，/>表示MEC服务器与无人机的位置约束，/>表示无人机与MEC服务器之间无线信道的堵塞约束，/>是确保无人机在所有时隙的飞行能耗、传输能耗及计算能耗不超过最大电池容量，/>表示在整个时间段中要完成的所有计算任务。
7.根据权利要求1所述的一种面向电网巡检的无人机任务卸载优化方法，其特征在于，所述步骤（6）包括以下步骤：
（61）在无人机电网巡检系统中，状态空间由N个无人机及其环境决定，则每i时隙的系统状态定义为：
；
其中，表示在整个时间段中需要完成的总剩余计算任务大小，/>表示MEC服务器的位置信息，/>表示第N个无人机在第i时隙的剩余电量，/>表示第N个无人机在第i时隙的位置信息，/>表示第N个无人机在第i时隙的巡检计算任务大小，/>表示第N个无人机在第i时隙中与MEC服务器之间无线信道是否堵塞；
基于第i时隙系统状态及每个无人机的任务卸载率，则第i时隙的系统卸载决策动作为：
；
其中，表示第N个无人机在第i时隙的任务卸载比例；
（62）基于第t时隙的状态空间和动作空间，采用深度强化学习中的DDPG算法求解满足所述目标函数的无人机计算任务的最优卸载策略，使得无人机电网巡检系统能耗和时延加权和最小。
8.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7中任一项所述的一种面向电网巡检的无人机任务卸载优化方法。
9.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-7中任一项所述的一种面向电网巡检的无人机任务卸载优化方法。
CN202410053103.8A 2024-01-15 2024-01-15 一种面向电网巡检的无人机任务卸载优化方法 Active CN117580105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410053103.8A CN117580105B (zh) 2024-01-15 2024-01-15 一种面向电网巡检的无人机任务卸载优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410053103.8A CN117580105B (zh) 2024-01-15 2024-01-15 一种面向电网巡检的无人机任务卸载优化方法

Publications (2)

Publication Number Publication Date
CN117580105A true CN117580105A (zh) 2024-02-20
CN117580105B CN117580105B (zh) 2024-04-19

Family

ID=89886531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410053103.8A Active CN117580105B (zh) 2024-01-15 2024-01-15 一种面向电网巡检的无人机任务卸载优化方法

Country Status (1)

Country Link
CN (1) CN117580105B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808175A (zh) * 2024-03-01 2024-04-02 南京信息工程大学 一种基于DTformer的短期多能源负荷预测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520768A (zh) * 2022-03-11 2022-05-20 南京信息工程大学 一种用于工业物联网中随机任务的ai卸载优化方法
CN115454527A (zh) * 2022-09-14 2022-12-09 北京邮电大学 一种多无人机移动边缘计算的飞行控制与计算卸载方法及系统
CN115827108A (zh) * 2023-01-10 2023-03-21 天津工业大学 基于多目标深度强化学习的无人机边缘计算卸载方法
CN116080407A (zh) * 2022-12-06 2023-05-09 南京信息工程大学 一种基于无线能量传输的无人机能耗优化方法与系统
CN116467009A (zh) * 2023-04-04 2023-07-21 东华大学 一种基于深度强化学习的动态资源分配的任务卸载方法
CN116528250A (zh) * 2023-04-14 2023-08-01 东北大学 一种基于noma的无人机辅助mec资源优化方法
WO2023146883A1 (en) * 2022-01-27 2023-08-03 Interdigital Patent Holdings, Inc. Methods and apparatus for supporting federated machine learning operations in a communication network
CN116578354A (zh) * 2023-03-08 2023-08-11 北京邮电大学 电力巡检无人机边缘计算任务卸载方法及装置
CN116974751A (zh) * 2023-06-14 2023-10-31 湖南大学 一种基于多智能体辅助边缘云服务器的任务调度方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023146883A1 (en) * 2022-01-27 2023-08-03 Interdigital Patent Holdings, Inc. Methods and apparatus for supporting federated machine learning operations in a communication network
CN114520768A (zh) * 2022-03-11 2022-05-20 南京信息工程大学 一种用于工业物联网中随机任务的ai卸载优化方法
CN115454527A (zh) * 2022-09-14 2022-12-09 北京邮电大学 一种多无人机移动边缘计算的飞行控制与计算卸载方法及系统
CN116080407A (zh) * 2022-12-06 2023-05-09 南京信息工程大学 一种基于无线能量传输的无人机能耗优化方法与系统
CN115827108A (zh) * 2023-01-10 2023-03-21 天津工业大学 基于多目标深度强化学习的无人机边缘计算卸载方法
CN116578354A (zh) * 2023-03-08 2023-08-11 北京邮电大学 电力巡检无人机边缘计算任务卸载方法及装置
CN116467009A (zh) * 2023-04-04 2023-07-21 东华大学 一种基于深度强化学习的动态资源分配的任务卸载方法
CN116528250A (zh) * 2023-04-14 2023-08-01 东北大学 一种基于noma的无人机辅助mec资源优化方法
CN116974751A (zh) * 2023-06-14 2023-10-31 湖南大学 一种基于多智能体辅助边缘云服务器的任务调度方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOUHUI GAN等: "Trajectory Optimization and Computing Offloading Strategy in UAV-Assisted MEC System", 《2021 COMPUTING, COMMUNICATIONS AND IOT APPLICATIONS》, 30 December 2021 (2021-12-30) *
刘智勇;赵晓丹;祁宏昌;李艳飞;: "新时代无人机电力巡检技术展望", 南方能源建设, no. 04, 25 December 2019 (2019-12-25) *
汪勇;张英;廖如超;郭启迪;袁新星;康泰钟;: "基于可见光、热红外及激光雷达传感的无人机图像融合方法", 激光杂志, no. 02, 25 February 2020 (2020-02-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808175A (zh) * 2024-03-01 2024-04-02 南京信息工程大学 一种基于DTformer的短期多能源负荷预测方法
CN117808175B (zh) * 2024-03-01 2024-05-17 南京信息工程大学 一种基于DTformer的短期多能源负荷预测方法

Also Published As

Publication number Publication date
CN117580105B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN111787509B (zh) 边缘计算中基于强化学习的无人机任务卸载方法及系统
CN112911648A (zh) 一种空地结合的移动边缘计算卸载优化方法
CN112118287B (zh) 基于交替方向乘子算法与移动边缘计算的网络资源优化调度决策方法
CN117580105B (zh) 一种面向电网巡检的无人机任务卸载优化方法
CN114690799A (zh) 基于信息年龄的空天地一体化无人机物联网数据采集方法
CN115640131A (zh) 一种基于深度确定性策略梯度的无人机辅助计算迁移方法
CN114169234A (zh) 一种无人机辅助移动边缘计算的调度优化方法及系统
Du et al. MADDPG-based joint service placement and task offloading in MEC empowered air-ground integrated networks
CN117499867A (zh) 一种多无人机辅助移动边缘计算中通过策略梯度算法实现高能效计算卸载的方法
CN115499441A (zh) 超密集网络中基于深度强化学习的边缘计算任务卸载方法
CN116257335A (zh) 无人机辅助mec系统联合任务调度及运动轨迹优化方法
Wang et al. Curriculum reinforcement learning-based computation offloading approach in space-air-ground integrated network
CN117858015A (zh) 基于深度强化学习的空中边缘计算数据安全传输及资源分配方法
CN116723548A (zh) 一种基于深度强化学习的无人机辅助计算卸载方法
CN113950059B (zh) 一种无人机中继辅助用户任务卸载的方法及系统
Sun et al. Semantic-driven computation offloading and resource allocation for uav-assisted monitoring system in vehicular networks
Xu et al. Joint optimization task offloading and trajectory control for unmanned-aerial-vehicle-assisted mobile edge computing
CN115580900A (zh) 一种基于深度强化学习的无人机辅助协作式任务卸载方法
Zhuang et al. Task Offloading Strategy for Unmanned Aerial Vehicle Power Inspection Based on Deep Reinforcement Learning
Du et al. A joint trajectory and computation offloading scheme for UAV-MEC networks via multi-agent deep reinforcement learning
CN117354759B (zh) 一种多无人机辅助mec的任务卸载与充电调度联合优化方法
CN115529655B (zh) 3d无人机移动边缘计算网络中的空地能量权衡方法及装置
CN117544680B (zh) 一种基于电力物联网缓存放置方法、系统、设备及介质
CN118139013A (zh) 基于多智能体强化学习的双无人机边缘计算系统安全卸载方法
Wenjiao et al. UAV-Assisted Mobile Edge Computing Task Offloading Strategy for Minimizing Terminal Energy Consumption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant