CN116489668A - 一种基于高空通信平台辅助的边缘计算任务卸载方法 - Google Patents

一种基于高空通信平台辅助的边缘计算任务卸载方法 Download PDF

Info

Publication number
CN116489668A
CN116489668A CN202310367755.4A CN202310367755A CN116489668A CN 116489668 A CN116489668 A CN 116489668A CN 202310367755 A CN202310367755 A CN 202310367755A CN 116489668 A CN116489668 A CN 116489668A
Authority
CN
China
Prior art keywords
communication
unloading
computing
altitude
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310367755.4A
Other languages
English (en)
Inventor
堵宏伟
王家玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202310367755.4A priority Critical patent/CN116489668A/zh
Publication of CN116489668A publication Critical patent/CN116489668A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0925—Management thereof using policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/535—Allocation or scheduling criteria for wireless resources based on resource usage policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/06—Airborne or Satellite Networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于高空通信平台辅助的边缘计算任务卸载方法，所述方法包括：获取计算资源和通信结点信息；根据计算资源和通信结点信息，构建通信网络模型；其中，通信网络模型包括地面通信网络和高空通信网络；在通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；根据卸载决策和计算资源分配方案，进行边缘计算任务卸载。本发明通过合理调度计算资源，协助车辆完成计算任务，通过让边缘服务器和停放车辆共存，保证卸载效率和通信稳定性，大大提高了服务质量。

Description

一种基于高空通信平台辅助的边缘计算任务卸载方法
技术领域
本发明涉及计算资源利用技术领域，具体涉及一种基于高空通信平台辅助的边缘计算任务卸载方法。
背景技术
新时代数据传输任务的主要特点是数据量大、延迟低。面对城市近郊区域计算资源稀缺、服务器数量不足、通信状况不稳定和地面通信结点数量少且易受损伤的情况，云服务器由于传输距离长导致计算资源难以充分利用，只有近距离的车辆才能快速卸载任务并得到即时反馈。从数据传输的角度来看，骨干网络的通信容量相对于如此多的任务请求过于有限，进一步导致核心网络拥塞和过长的平均传输延迟。事实上，作为云计算的补充，移动边缘计算被认为是解决上述问题的理想方法。通过在临近区域部署边缘服务器，减少了传输延迟和计算延迟，实现了快速响应。
然而，在郊区计算资源的稀缺性和路边单元的完整性会阻碍车辆边缘计算的实施效果。首先，与城市中心区域相比，郊区的服务器部署密度较低，能够提供的计算资源相对有限，对计算延迟影响很大。其次，同繁华的城市核心区域相比，郊区通信设备部署密度和维修频率都相对较低，容易受到自然灾害和恶劣天气的破坏，又对传输延迟有很大的影响。所以，传统的边缘计算服务器难以满足计算要求，亟待补充新的计算结点。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于高空通信平台辅助的边缘计算任务卸载方法，旨在解决现有技术中传统的边缘计算服务器难以满足计算要求，亟待补充新的计算结点的问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种基于高空通信平台辅助的边缘计算任务卸载方法，其中，所述方法包括：
获取计算资源和通信结点信息；
根据所述计算资源和通信结点信息，构建通信网络模型；其中，所述通信网络模型包括地面通信网络和高空通信网络；
在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；
根据所述卸载决策和计算资源分配方案，进行边缘计算任务卸载。
在一种实现方式中，所述获取计算资源和通信结点信息，包括：
获取通信结点的位置信息、优先级和通信能力；其中，所述通信结点包括服务器结点、路边单元结点和高空通信平台结点，且服务器结点、路边单元结点的优先级高于高空通信平台结点的优先级；所述服务器结点包括物理边缘服务器结点、虚拟边缘服务器结点；所述通信能力包括计算能力，剩余能量和通信带宽；
根据所述位置信息和优先级，得到所述通信结点信息；
根据所述通信能力，得到所述计算资源。
在一种实现方式中，所述根据所述计算资源和通信结点信息，构建通信网络模型，包括：
根据所述通信结点信息，得到若干路边单元结点和服务器结点之间的通信距离；
利用多元最短路径算法计算所述通信距离，得到地面最短通信路径；
根据所述地面最短通信路径，得到所述地面通信网络。
在一种实现方式中，所述根据所述计算资源和通信结点信息，构建通信网络模型，包括：
根据所述通信结点信息，得到若干所述高空通信平台结点和服务器结点之间的通信距离；
利用多元最短路径算法计算所述通信距离，得到高空最短通信路径；
根据所述高空最短通信路径，得到高空通讯网络；
利用所述高空最短通信路径填充所述地面最短通信路径，得到最短通信路径；
根据所述最短通信路径和所述计算资源，得到所述通信网络模型。
在一种实现方式中，所述在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案，包括：
获取所述通信网络模型中的卸载任务；其中，所述任务包括起始结点和目标结点；
若所述起始结点和目标结点相同，则在本地通信节点进行任务卸载；
若所述起始结点和目标结点不同，则获取所述卸载任务在通信网络模型中的通信路径和计算资源；
根据所述通信路径和所述计算资源，得到所述卸载任务的第一状态参数，并将所述第一状态参数输入到深度确定性策略梯度算法进行卸载计算，得到所述卸载决策和计算资源分配方案；其中，所述第一状态参数包括所述起始结点到目标结点之间的时间延迟之和、计算能力和剩余能量。
在一种实现方式中，所述深度确定性策略梯度算法包括主执行者网络、主评论家网络、目标执行者网络和目标评论家网络；其中，所述主执行者网络用于根据所述第一状态参数，得到第一卸载决策，并根据所述第一卸载决策得到第二状态参数；所述主评论家网络用于根据所述第一状态参数和所述第一卸载决策，得到第一评价值；所述目标执行者网络用于根据所述第二状态参数，得到第二卸载决策；所述目标评论家网络用于根据所述第二状态参数和所述第二卸载决策，得到第二评价值。
在一种实现方式中，所述深度确定性策略梯度算法，用于根据所述第一评价值和第二评价值计算均方误差值，并根据所述均方误差值更新所述主执行者网络、主评论家网络的网络参数。
第二方面，本发明实施例还提供一种基于高空通信平台辅助的边缘计算任务卸载装置，其中，所述装置包括：
计算资源和通信结点信息获取模块，用于获取计算资源和通信结点信息；
建模模块，用于根据所述计算资源和通信结点信息，构建通信网络模型；其中，所述通信网络模型包括地面通信网络和高空通信网络；
计算模块，用于在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；
卸载模块，用于根据所述卸载决策和计算资源分配方案，进行边缘计算任务卸载。
第三方面，本发明实施例还提供一种智能终端，其中，所述智能终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于高空通信平台辅助的边缘计算任务卸载程序，所述处理器执行所述基于高空通信平台辅助的边缘计算任务卸载程序时，实现如以上任一项所述的基于高空通信平台辅助的边缘计算任务卸载方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有基于高空通信平台辅助的边缘计算任务卸载程序，所述基于高空通信平台辅助的边缘计算任务卸载程序被处理器执行时，实现如以上任一项所述的基于高空通信平台辅助的边缘计算任务卸载方法的步骤。
有益效果：与现有技术相比，本发明提供了一种基于高空通信平台辅助的边缘计算任务卸载方法。首先获取计算资源和通信结点信息，并构建通信网络模型，通过将路边单元结点和高空通信平台结点补充进传统的边缘计算服务器网络，以实现聚合停止车辆资源，并可利用高空通信平台补充地面通信结点无法连接的情形，扩充了服务器网络，保证卸载任务可以传输至最近的服务结点。然后利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案。通过神经网络的自主学习和自主更新参数，得到智能的卸载决策和计算资源分配方案，使得任务卸载方案更合理高效。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于高空通信平台辅助的边缘计算任务卸载方法流程示意图。
图2是本发明实施例提供的系统模型示意图。
图3是本发明实施例提供的信息传输过程示意图。
图4是本发明实施例提供的Q学习状态动作Q表的示意图。
图5是本发明实施例提供的深度Q学习神经网络示意图。
图6是本发明实施例提供的深度确定性策略梯度算法框架示意图。
图7是本发明实施例提供的模拟车辆流的界面图。
图8是本发明实施例提供的DDPG和DQN收敛速度对比示意图。
图9是本发明实施例提供的不同算法中用户数量改变对总延时的影响示意图。
图10是本发明实施例提供的不同算法中平均停止车辆数目改变对优化率的影响示意图。
图11是本发明实施例提供的DDPG(深度确定性策略梯度算法)最优解中平均停止车辆数目改变对卸载率的影响示意图。
图12是本发明实施例提供的地面通信网络瘫痪情况下优化率对比示意图。
图13是本发明实施例提供的地面通信网络完好情况下优化率对比示意图。
图14是本发明实施例提供的基于高空通信平台辅助的边缘计算任务卸载装置的原理框图。
图15是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
新时代的数据传输主要特点是数据量大、延迟低。由于传输距离长，云服务器计算资源难以充分利用，只有近距离的车辆才能快速卸载任务并得到即时反馈。从数据传输的角度来看，骨干网络的通信容量相对于如此多的任务请求过于有限，进一步导致核心网络拥塞和过长的平均传输延迟。事实上，作为云计算的补充，移动边缘计算被认为是解决上述问题的理想方法。通过在临近区域部署边缘服务器，减少了传输延迟和计算延迟，实现了快速响应。然而，在郊区，有两个因素可能会阻碍车辆边缘计算的实施效果：计算资源的稀缺性和路边单元的完整性。首先，与城市中心区域相比，郊区的服务器部署密度较低，能够提供的计算资源相对有限，对计算延迟影响很大。其次，同繁华的城市核心区域相比，郊区通信设备部署密度和维修频率都相对较低，容易受到自然灾害和恶劣天气的破坏，又对传输延迟有很大的影响，因此需要补充额外的计算结点。
同时，现代汽车本身存在利用率低的现象：相关数据表明，大约70％的车辆将95％的时间耗费在停车场中，因此本发明提出利用停止车辆边缘计算来增加边缘网络中计算资源。同时，为了保证数据传输的稳定性，需要考虑在本地地面结点外增加高空通信平台，以避免糟糕的传输。即使大多数地面结点瘫痪，也可以通过空中结点的协助下完成任务卸载。通过上述措施，郊区车辆具有更充足的计算资源，更稳定的通信环境。不同类型的设备相互连接，可以有效地利用边缘网络的计算资源，缓解核心网络的拥堵，为所有车辆提供更好的服务质量。
本发明探究了停车场中停放车辆的稳定性，保证了聚合所得资源的可用性。在此基础上，提出了一种高空通信平台辅助的停车车辆边缘计算框架，其中边缘服务器、停放车辆可能共存，以保证卸载效率和通信稳定性。任务数据将通过多个分段在互联的结点之间传输到最终的计算结点，以减少时间延迟。
示例性方法
本实施例提供一种基于高空通信平台辅助的边缘计算任务卸载方法。
如图1所示，所述方法包括如下步骤：
步骤S100、获取计算资源和通信结点信息；
具体地，面对城市近郊区域计算资源稀缺、服务器数量不足、通信状况不稳定和地面通信结点数量少且易受损伤的情况。高空通信平台是指将无线基站安放在长时间停留在高空的飞行器上来提供电信业务，停止车辆边缘计算是指利用停止车辆本身空闲的计算单元集群成为服务器处理计算任务。通过获取高空通信平台和停止车辆作为计算资源和通信结点信息可将停放的车辆集群作为虚拟服务器处理计算卸载任务，丰富计算资源。
在一种实现方式中，本实施例所述步骤S100包括如下步骤：
步骤S101、获取通信结点的位置信息、优先级和通信能力；其中，所述通信结点包括服务器结点、路边单元结点和高空通信平台结点，且服务器结点、路边单元结点的优先级高于高空通信平台结点的优先级；所述服务器结点包括物理边缘服务器结点、虚拟边缘服务器结点；所述通信能力包括计算能力，剩余能量和通信带宽；
具体地，本实施例中在郊区通信环境下有三种地面通信结点和一种高空通信平台结点，如图2所示：
1.物理边缘服务器。物理服务器作为最稳定的计算资源，在系统中扮演着不可或缺的角色。物理服务器一般分配在区域中心，为移动的车辆提供了方便的计算资源，有效地减少了任务的执行延迟。近郊网络中计算资源的稀缺性使得边缘服务器的数量可能不超过一个，使用E来表示物理边缘服务器，元组(fe,Ee)代标了物理边缘服务器的计算能力和剩余能量，而附属基站则赋予物理边缘服务器以通信能力从而与其他结点交换数据和讯息。
2.路边单位。在所有车辆的通信模式中，最常见的方式是车辆到路边单元(V2I)的通信。与车辆到车辆(V2V)相比，车辆到路边单元减少了不确定性，通信状况也更值得信赖。通过路边单元之间的相互链接，数据可以被传输到具有强大计算能力的服务器上。在设计的系统中，路边单位和服务器结点被组织为地面通信网络，路边单元集合表示为R＝{1,2,...,n1}，任务数据主要通过地面通信网络进行传输，路边单元不对任务数据进行处理，只进行传输，因此路边单元唯一有用的属性是通信能力Wr。
3.虚拟边缘服务器。虚拟边缘服务器是停车场车辆组成的集群P＝{n1+1,n1+2,...,n1+n2}，停车场内部聚合计算资源，外部则表示为独立计算结点。只要内部车辆数目超过1，停车场就能作为潜在的计算结点。我们用集合来表示虚拟服务器集合，集合P中每个由停车场聚合而成的计算结点都具有与物理服务器相似的属性，也就是元组(fr,Er,Wr)，分别为计算能力，剩余能量，通信资源(通信带宽)。与物理边缘服务器不同，虚拟边缘服务器动态性更强，会受到内部车辆运动的影响，当车辆驶入计算能力和剩余能量会增加，而车辆驶出计算能力和剩余能量会减少。
4.高空通信平台。高空通信平台即布置在空中的一些可通信结点，如悬浮无人机和高空近地轨道卫星，将无线基站安放在长时间停留在高空的飞行器上来提供电信业务，被认为是一种有良好潜在应用价值的宽带无线接入手段。数据首先由发送方发出，进入高空平台接受范围，高空平台接受数据并转发给数据接收方。高空通信平台由于布置在空中，可以有效避免由城市建筑物和山脉丘陵遮挡所造成的通信的损耗，减少传输过程的信号损失，并且遭受自然灾害(地震，泥石流)和人为损坏(车祸)的可能较小，在保证传输信号效果的前提下，可以实现更远的传输距离。与前述定义类似，使用集合H＝{n1+n2+1,n1+n2+2,...,n1+n2+n3}表示高空通信平台结点，高空平台相对于路边单元存在的不足之处在于其价格较高，无法大量部署，因此高空通信只在数据传输中起辅助作用，传输能力应当被主要考虑，因此，主要关注其数据传输能力，即带宽Wh。
步骤S102、根据所述位置信息和优先级，得到所述通信结点信息；
步骤S103、根据所述通信能力，得到所述计算资源。
具体地，在本实施例中服务器结点、路边单元结点的优先级高于高空通信平台结点的优先级，这样可以保证一旦车辆生成任务数据就传输给最近的可通信结点，优先传送给路边单元和服务器结点，如无满足条件的地面通信结点则选择高空平台结点传输。通过对通信结点信息和计算资源的获取，得到通信结点作为计算单元，以得到组成建模的基本单元。
步骤S200、根据所述计算资源和通信结点信息，构建通信网络模型；其中，所述通信网络模型包括地面通信网络和高空通信网络；
具体地，本实施例将地面通信节点、高空通信平台分别组织为2层通信网络。优先选用地面结点进行任务传输，而在无法到达的情况下，使用高空通信平台辅助传输。
具体地，本实施例中将近郊区域建立为多条水平和垂直道路的网格型区域。考虑近郊区域本身存在的路边单元数量较少，通信状况不稳定的情况，使用高空通信平台来辅助完成数据传输，相对此前大多研究涉及的单向道路和十字交叉道路，本实施例考虑了矩形交叉道路构成的矩形区域，数据传输不仅仅局限于单地面通信结点可覆盖的狭窄范围，而是将传输延时设置为通信结点间的多段传输延时以贴近现实，此外，由于停车场中车辆停放的持久性和稳定性，将其中停车车辆进行集群，以扩展近郊区域计算性能，采取高空通信平台辅助地面结点保证通信状况。
在一种实现方式中，本实施例所述步骤S200包括如下步骤：
步骤S201、根据所述通信结点信息，得到若干路边单元结点和服务器结点之间的通信距离；
具体地，实际场景中交通道路走向和停车场位置分布都非常有规律，不妨将道路建模为通用的南北东西走向。不同道路交错形成矩形块状区域，停车场则安置在区域中心，聚合其中停止车辆资源。来往车辆产生任务，将任务数据发送到最近的可通信单元，而中心的边缘服务器则收到一条告知任务计算量和数据量的信息，在更新当前时刻环境中的计算资源和通信结点状况之后，建立系统模型。再根据通信结点信息中的通信结点的位置信息，就可以得到任意路边单元结点和服务器结点之间的通信距离。
步骤S202、利用多元最短路径算法计算所述通信距离，得到地面最短通信路径；
步骤S203、根据所述地面最短通信路径，得到所述地面通信网络。
具体地，由于通信及计算设备的稀缺性，很难在单设备通信范围内将数据一步传输给最终计算结点。因此，需要由多个通信结点协同来完成数据传输任务，如图3所示。路边单元和具备通信能力的边缘服务器均作为地面通信网络的通信单元，参与数据传输。以结点A与结点B举例，首先计算两结点直接通信距离(地面结点高度均为0，因此使用二维空间的欧几里得距离计算得到直接距离)dA,B，分别判断结点A、结点B通信能力(最大通信距离)与dA,B大小，如果小于通信能力则说明可直接传输(记录dA,B)，否则置两结点直接通信距离为正无穷(inf)。对地面结点两两之间计算直接通信距离之后利用多源最短路径算法(floyd算法)得到任意两个地面结点之间的最短通信距离和最短路径上的中介结点，地面通信网络搭建完成。
步骤S204、根据所述通信结点信息，得到若干所述高空通信平台结点和服务器结点之间的通信距离；
步骤S205、利用多元最短路径算法计算所述通信距离，得到高空最短通信路径；
步骤S206、根据所述高空最短通信路径，得到高空通讯网络；
步骤S207、利用所述高空最短通信路径填充所述地面最短通信路径，得到最短通信路径；
具体地，对于高空通信平台，将高空通信结点和服务器结点按照前述步骤进行组织构成高空通信网络。高空通信平台之间、服务器结点之间利用二维计算通信距离，高空通信平台和服务器之间则加入高度利用三维计算通信距离。此后遍历地面网络中距离仍为无穷的结点对如A,B，寻找A最近的高空通信平台，利用高空网络作为中介，填充最短距离和路径上结点。经过以上步骤，以地面网络为主，高空网络参与辅助的通信网络构建完成。
步骤S208、根据所述最短通信路径和所述计算资源，得到所述通信网络模型。
具体地，本实施例中对于停止近郊区域停止车辆边缘计算的任务模型、系统模型、传输模型进行建模。首先关于任务数据进行建模，假设对于某时间段内区域内的车辆数目是M，从车辆i产生的任务可以表示为元组Ti＝(si,ki,ci,ti，max)，其中si是代表任务数据量，ki所需的计算资源完成单位数据量的任务所需要的计算量(cpu周期数)，ci＝si*ki是完成任务i所需要的总计算量，ti，max是最大容忍延迟的任务，任务完成时间必须小于ti，max才算成功执行，否则任务执行失败。
具体地，建模后得到整个传输路径上的结点后，任务数据的传输过程可以参考以下公式(1)-(3)：
其中，式(1)用来计算结点的传输能力，(j,k)为任务i传输路径中相邻的结点。Wj为结点j的最大带宽，表示其传输功率，/>代表两直接通信结点的距离，k为路径损耗，v为常数，h1表示信道增益，式(2)、(3)分别计算传输延时和传输能耗，其中si为任务数据量。
步骤S300、在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；
具体地，任务卸载是指决定任务数据交由哪个具体的计算结点及分配多少计算资源来处理任务。本实施例设计了一种连续空间的强化学习算法(深度确定性策略梯度算法)来给出问题停止车辆边缘计算的联合优化求解方案(卸载决策和资源分配方案)。
在一种实现方式中，本实施例所述步骤S300包括如下步骤：
步骤S301、获取所述通信网络模型中的卸载任务；其中，所述任务包括起始结点和目标结点；
步骤S302、若所述起始结点和目标结点相同，则在本地通信节点进行任务卸载；
具体地，在二元卸载方面有两种选择，本地计算和完全卸载。若所述起始结点和目标结点相同，卸载任务为本地计算。处理器的功耗与频率的三次功率近似成正比，计算时间与频率成反比，因此总体而言，其能量消耗与频率的二次方成正比。其计算过程的主要变量是分配的计算资源量。
具体地，在本地计算时，每一辆车都是一个单独的计算单元(具备计算能力f0)，具有有限的能量e0，车辆利用本身的计算单元来执行任务，在这种情况下，不需要向其他结点传输数据。对于本地执行的任务i，计算延迟和能耗如公式(4)、(5)所示
其中，μ0是一个与车辆本身相关的常数，分子部分的ci，si，ki定义参考任务模型。在没有数据传输的情况下，只由计算延时构成，而能量消耗/>也只由计算耗能构成。
步骤S303、若所述起始结点和目标结点不同，则获取所述卸载任务在通信网络模型中的通信路径和计算资源；
具体地，若所述起始结点和目标结点不同，则进行完全卸载，即经过多段传输后，服务器分配出计算资源以协助车辆执行计算任务。分配给任务i的资源用fi,off表示，计算延迟和能耗用类似(4)、(5)的公式计算，其中μcal是一个与卸载结点相关的常数。
与本地计算不同的是，时延和能耗的总和包括传输过程和计算过程，因此是任务总延时，/>则代表任务总耗能。
具体地，在不失一般性的情况下，本实施例使用a＝{r1,r2,...,rM}来指示M个任务的卸载决策。如果ri＝0，任务选择本地计算，否则，它选择一个服务器k，ri＝k。ri的值必须为整数。我们使用f＝{f1,f2,...,fM}来表示分配给任务的计算资源。对于移动的车辆，较短的时间延迟等于更好的服务质量，所以我们打算得到r,f的值来最小化总延迟。任务本身性质，能量储备，设备计算能力为此问题施加了约束，原有的无约束极值问题建模为混合整数非线性规划问题，如下式中(8)是优化目标，追求M个任务总体延时的最小化，式(9)要求每个任务的总延时要小于其任务模型中最大的可容忍延时。fi cal代表任务i的计算量，则代表任务计算消耗的能量。式(10)中卸载决策为0代表任务选择本地执行，否则说明任务数据卸载到相应的服务器结点，式(11)中一旦任务i选择本地执行，其分配到的计算资源量将小于车辆最大计算资源量f0，而其能量消耗也将小于车辆的剩余能量e0。一旦任务选择卸载到服务器结点，式(13)说明分配到的计算资源为正，(14)及(15)式说明了对于分配到某服务器k的所有任务，计算能力之和将小于服务器的最大计算能力Ck，而消耗能量之和也将小于服务器的能量储备Ek。
最小化:
ti≤ti,max (9)
ri∈{0,1,2,...,n2}(10)
0＜fi cal＝fi,off (ri＞0) (13)
步骤S304、根据所述通信路径和所述计算资源，得到所述卸载任务的第一状态参数，并将所述第一状态参数输入到深度确定性策略梯度算法进行卸载计算，得到所述卸载决策和计算资源分配方案；其中，所述第一状态参数包括所述起始结点到目标结点之间的时间延迟之和、计算能力和剩余能量。
具体地，深度确定性策略梯度算法包括主执行者网络、主评论家网络、目标执行者网络和目标评论家网络；其中，主执行者网络用于根据所述第一状态参数，得到第一卸载决策，并根据所述第一卸载决策得到第二状态参数；所述主评论家网络用于根据所述第一状态参数和第一卸载决策，得到第一评价值；目标执行者网络用于根据所述第二状态参数，得到第二卸载决策；目标评论家网络用于根据所述第二状态参数和所述第二卸载决策，得到第二评价值。深度确定性策略梯度算法采用行动者-批评家框架，对动作选择过程包括两个部分：行动者根据概率输出一个动作，而评论家则对输出的动作进行评估和评分，最终评判结果是行动者在当前环境下输出的动作的Q值。
具体地，深度确定性策略梯度算法，用于根据第一评价值和第二评价值计算均方误差值，并根据均方误差值更新所述主执行者网络、主评论家网络的网络参数。
具体地，对于车辆的边缘计算，动态变化导致卸载决策和资源分配困难。一般的启发式算法总是从一些初始解开始，模仿本质上的事务，不能完全匹配时变车辆网络中联合优化问题的情况。除此之外，启发式算法过于依赖于程序员的设计，缺乏很强的通用性，因此选择强化学习作为原有问题的解决方案。强化学习主要包括三个空间：状态空间，动作空间，奖励空间。首先，状态是主体可以感知的环境的属性，也是代理人感知的帮助行动选择的信息集合，信息和状态之间存在一对一的映射。表示参数更多不仅意味着更高的精度，而且还意味着建立模型的复杂度。无论是实体边缘服务器还是虚拟边缘服务器，其计算能力、剩余能量都是评估服务器性能的指标，更大的计算能力可以分配更多计算量给不同任务，而更多的剩余能量则能确保任务数量的及时完成。因此我们将计算能力和添加到状态空间中。此外，时间延迟之和是我们所关注的优化目标，因此它也是一个状态参数。由此，得到第一状态参数如公式(16)所示
si＝(tsum,cleft,eleft) (16)
具体地，行动空间的构建取决于设计师对问题情境的思考。本设计将前述联合优化问题的解空间视为动作空间。换句话说，该行动将包含两个部分：卸载决策和资源分配，这一设置的复杂性在于前者是离散值，代表服务器选择的二元卸载决策，而后者将在无限连续空间中选择，因此解空间是半连续的。我们使用ai＝(ai1,a2i)表示对任务i的操作，ai1是卸载决策列表(整数变量)，a2i是分配的计算资源列表(浮点数变量)。在每个时刻结束时，根据当前状态si对代理选择的动作作出反应，并转移到下一状态si+1。
ai＝(ai1,a2i) (17)
具体地，学习过程中的奖励是评价行为合理性的标准，直接影响着累积奖励值的更新。一般来说，代理人的学习过程是在不断提高对环境的理解的同时选择适当的行动，并追求累积回报的最大化。而本方案中的联合优化目标是最小化所有任务的总体延迟，因此累积收益必须与时间延迟负相关。鉴于此，本实施例中将单步奖励设置为相对于本地执行延时的减少率，如公式(18)所示
其中tloc,i为所有任务选择本地执行的总延时，而ttotal,i则为执行卸载决策及资源分配策略后的所有任务的总延时，在前者大于后者的情况下，奖励为负数，反之，奖励应该是一个介乎与0,1之间的正数，代表总执行延时的相对减少率。
具体地，本实施例中深度确定性策略梯度算法的整体框架如图6所示：
(1).建立大小固定存储训练数据的经验池，以(s,a,s’,r,done)样式存储训练数据，s为第一状态参数，即状态，a为第一卸载决策，即动作，s’为状态s采取动作a之后产生的第二状态参数，r为第一卸载决策获得的单步奖励，done代表是否任务已经完成(超出边界情况)。
(2).设置四个神经网络，主执行者网络，主评论家网络，目标执行者网络，目标评论家网络，两个执行者网络结构相同，两个评论家网络结构相同，主网络的更新频率较高，每过一定周期将网络参数复制给目标网络，此处采用了固定-目标(fixed-target)思想，建立主网络和目标网络，使得学习过程更加稳定，使得待更新目标与判断标准不全来自于同一个网络。
(3).具体步骤
由主网络中执行者根据第一状态参数s，输出第一卸载决策a(①)；
对应评论家根据s和a数值给出第一评价值Q(s,a)(②，③)；
目标网络执行者根据第二状态参数s’得到第二状态参数a’(①)；
目标网络中评论家给出第二评价值Q’(s’,a’)(②，③)；
根据Q(s,a)和Q’(s’,a’)计算均方误差,其值用来更新主网络中评论家网络参数(④)；
而主网络中的执行者网络则根据Q(s,a)数值更新网络参数(⑤)；
设置固定更新周期，将主网络参数赋给目标网络。
具体地，对本实施例中主执行者网络的结构进行说明，执行者网络由输入层，输出层和三个隐藏层构成，共五层，输入层单元数目与状态参数相同，输出层单元数目则与动作参数个数相同，使用relu函数作为激活层，添加非线性性质。评论者网络分别由状态s输入层，动作a输入层和，中间层，输出层。由于执行者网络只输出一个动作，网络初始值设置不当将导致唯一输出的动作总是在边界区域，无法获得真实结果，因此设置归一化层来确保输出值在动作空间内。执行者和评论者的学习率均设计为0.005，奖励折扣因子为0.99，缓冲区大小设置为1000，批处理大小为32(用于更新网络参数的采样数目)，最大步数和最大轮次为500,200。
在一种实现方式中，可采用Q学习和深度Q学习是基于价值的强化方法，Q值是累计奖励。这两种方法是通过要求代理寻找在每个状态下以一定概率最大化收益的最佳行动来实现的。Q学习算法主要针对有限的状态空间和有限的动作空间，以Q表的形式存储状态-动作对，建立Q表后通过在每个迭代过程中搜索当前状态下所有动作以选择最大收益的动作。如果状态数量或者动作数量其一趋近于无穷，那么通过Q表存储和查找动作值对变得比较麻烦。
更进一步，深度Q学习将神经网络与Q学习相结合，通过神经网络来代替Q表查询操作，输入单元数目与状态参数数量相同，而输出单元数目则与动作空间的数目相同，通过原有数据训练及逼近，神经网络学习到系统的结构参数，每个输出单元的数值逐渐逼近当前状态下采取某输出单元对应动作所得到的Q值。简而言之，输入一个状态输出所有可能的动作对应的Q值，从中选择出最大收益的动作。由于神经网络每次只读取一个状态值，因此，即使总状态数目趋近于无穷，也不会对查询和存储造成影响，但对于无穷的动作空间，简单的深度Q学习仍然没有一个比较好的方法进行处理，一般是对大规模动作离散化，选取部分作为可能输出的动作。相关概念参考图4和图5所示，S为代表，a代表动作。
步骤S400、根据所述卸载决策和计算资源分配方案，进行边缘计算任务卸载。
具体地，本实施例使用DDPG(深度确定性策略梯度)算法，将深度强化学习应用到停车边缘计算中，根据资源环境和通信环境得到最优的卸载决策和资源分配方案，与其他深度Q学习，粒子群算法在内的其他方案进行对比，体现出DDPG算法在本设计上的优良性能。
举例说明，本方案采取智能驾驶员模型(IDM)来模拟道路车流状况，智能驾驶员模型的特点在于会根据本车与前方车距离来进行速度控制，当与前车距离低于一定程度后会以一定加速度进行减速，与真实道路状态比较类似，模拟车流状况如图7所示，关于系统模型参数设置见表1。
表1.系统参数设置情况
结构参数 数值
传输功率和计算功率 5w
物理边缘服务器数目 1
物理边缘服务器计算能力 10GHz/sec
物理边缘服务器能量储备 5kw
虚拟边缘服务器数目 2
单一车辆的计算能力 1GHz/sec
单一车辆的能量储备 1kw
区域宽度 3km
路边单元最大通信距离 1km
道路交汇口数目 4
背景噪声 174dBm/Hz
本实施例就任务执行状况与不同算法进行对比，相关算法和介绍参考以下说明。
DDPG：深度确定性策略梯度方法，本文使用的联合优化问题求解方法；
DQN：深度Q学习，一种常见的强化学习方法；
PSO：粒子群算法，一个解决最优问题的启发式算法；
Random：随机选择卸载策略和资源分配方案；
Local：所有车辆选择本地执行产生的任务；
图8是关于DDPG和DQN两种算法收敛时间的对比，在设置最大训练轮次为200和最长训练步长为500之后，对比发现相对于DQN算法，DDPG能在比较短轮次内进行收敛，因为其只输出一个动作，而非从所有动作中根据贪婪算法选择最大收益的动作，横轴是训练轮次。
图9则是设置停车场平均停车数量为5的前提下，改变用户数目(移动车辆)从4至20，不同方法的总执行时延对比，横轴为用户数目(移动车辆)，纵轴为总延时(单位为秒)。强化学习相对于其他三种卸载方案和资源分配策略能取得比较好的效果，PSO算法很容易陷入局部最优点而无法获得全局最优点，DQN算法由于是对动作空间进行离散化，部分情况下无法取得最优解，而DDPG则能在全局情况下取得最优值，表现更有。
图10中改变停车场中平均停止车辆的数目来影响虚拟服务器计算能力和能耗，设置移动车辆数目为10，横轴是平均停止车辆数目(单一停车场)，纵轴是优化率(总延时相对于Local方案的相对减少量)。更多的平均停止车辆数目意味着更加充足的计算资源，能够相当有效的缓解近郊区域中计算资源不足的问题，优化率也更高，而DDPG算法相对于其他算法仍然取得较好的表现。
图11中改变停车场中平均停止车辆的数目来影响到服务器的卸载比率，为图10所示实验的结果补充，横轴是平均停止车辆数目(单一停车场)，纵轴是卸载率(卸载到某服务器任务数量占总任务数量的比率)，如上文所述，建立了一个物理边缘服务器(Mec)和两个虚拟边缘服务器(Park1和Park2)，卸载比率计算这三个服务器，剩下的均为本地执行的比率(local)。
为了验证高空通信平台的通信效果，我们分别设置了两种情况来进行验证，结果如图12-13所示，两个分图分别是两种情况，情况1(图13)为所有路边单元结点均正常通信，能够只以来地面网络完成通信情况，情况2(图12)则是让所有路边单元故障，任务卸载在无法直接到达服务器结点的情况下，只通过高空通信平台进行间接传输，横轴为用户数目(移动车辆数量)，纵轴为优化率。结果显示，即使在地面节点全部故障的情况下，仍能通过高空通信平台作为中介，将任务数据传输到服务器结点，说明了在近郊网络部署高空通信平台对增强通信网络稳定性的作用。
示例性装置
如图14中所示，本实施例还提供一种基于高空通信平台辅助的边缘计算任务卸载装置，所述装置包括：
计算资源和通信结点信息获取模块10，用于获取计算资源和通信结点信息；
建模模块20，用于根据所述计算资源和通信结点信息，构建通信网络模型；其中，所述通信网络模型包括地面通信网络和高空通信网络；
计算模块30，用于在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；
卸载模块40，用于根据所述卸载决策和计算资源分配方案，进行边缘计算任务卸载
在一种实现方式中，所述计算资源和通信结点信息获取模块10包括：
信息获取单元，用于获取通信结点的位置信息、优先级和通信能力；其中，所述通信结点包括服务器结点、路边单元结点和高空通信平台结点，且服务器结点、路边单元结点的优先级高于高空通信平台结点的优先级；所述服务器结点包括物理边缘服务器结点、虚拟边缘服务器结点；所述通信能力包括计算能力，剩余能量和通信带宽；
通信结点信息获取单元，用于根据所述位置信息和优先级，得到所述通信结点信息；
计算资源获取单元，用于根据所述通信能力，得到所述计算资源。
在一种实现方式中，所述建模模块20包括：
地面通信距离获取单元，用于根据所述通信结点信息，得到若干路边单元结点和服务器结点之间的通信距离；
地面最短通信路径获取单元，用于利用多元最短路径算法计算所述通信距离，得到地面最短通信路径；
地面通信网络获取单元，用于根据所述地面最短通信路径，得到所述地面通信网络。
高空通信距离获取单元，用于根据所述通信结点信息，得到若干所述高空通信平台结点和服务器结点之间的通信距离；
高空最短通信路径获取单元，用于利用多元最短路径算法计算所述通信距离，得到高空最短通信路径；
高空通讯网络获取单元，用于根据所述高空最短通信路径，得到高空通讯网络；
最短通信路径获取单元，用于利用所述高空最短通信路径填充所述地面最短通信路径，得到最短通信路径；
通信网络模型获取单元，用于根据所述最短通信路径和所述计算资源，得到所述通信网络模型。
在一种实现方式中，本实施例所述计算模块30包括：
卸载任务获取单元，用于获取所述通信网络模型中的卸载任务；其中，所述任务包括起始结点和目标结点；
本地卸载单元，用于若所述起始结点和目标结点相同，则在本地通信节点进行任务卸载；
完全卸载单元，用于若所述起始结点和目标结点不同，则获取所述卸载任务在通信网络模型中的通信路径和计算资源；
计算单元，用于根据所述通信路径和所述计算资源，得到所述卸载任务的第一状态参数，并将所述第一状态参数输入到深度确定性策略梯度算法进行卸载计算，得到所述卸载决策和计算资源分配方案；其中，所述第一状态参数包括所述起始结点到目标结点之间的时间延迟之和、计算能力和剩余能量；所述深度确定性策略梯度算法包括主执行者网络、主评论家网络、目标执行者网络和目标评论家网络；其中，所述主执行者网络用于根据所述第一状态参数，得到第一卸载决策，并根据所述第一卸载决策得到第二状态参数；所述主评论家网络用于根据所述第一状态参数和所述第一卸载决策，得到第一评价值；所述目标执行者网络用于根据所述第二状态参数，得到第二卸载决策；所述目标评论家网络用于根据所述第二状态参数和所述第二卸载决策，得到第二评价值；所述深度确定性策略梯度算法，用于根据所述第一评价值和第二评价值计算均方误差值，并根据所述均方误差值更新所述主执行者网络、主评论家网络的网络参数。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图15所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于高空通信平台辅助的边缘计算任务卸载方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图15中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，智能终端包括存储器、处理器及存储在存储器中并可在处理器上运行的基于高空通信平台辅助的边缘计算任务卸载程序，处理器执行基于高空通信平台辅助的边缘计算任务卸载程序时，实现如下操作指令：
获取计算资源和通信结点信息；
根据所述计算资源和通信结点信息，构建通信网络模型；其中，所述通信网络模型包括地面通信网络和高空通信网络；
在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；
根据所述卸载决策和计算资源分配方案，进行边缘计算任务卸载。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种基于高空通信平台辅助的边缘计算任务卸载方法，所述方法包括：获取计算资源和通信结点信息；根据计算资源和通信结点信息，构建通信网络模型；其中，通信网络模型包括地面通信网络和高空通信网络；在通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；根据卸载决策和计算资源分配方案，进行边缘计算任务卸载。本发明通过合理调度计算资源，协助车辆完成计算任务，通过让边缘服务器和停放车辆共存，保证卸载效率和通信稳定性，大大提高了服务质量。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于高空通信平台辅助的边缘计算任务卸载方法，其特征在于，所述方法包括：
获取计算资源和通信结点信息；
根据所述计算资源和通信结点信息，构建通信网络模型；其中，所述通信网络模型包括地面通信网络和高空通信网络；
在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；
根据所述卸载决策和计算资源分配方案，进行边缘计算任务卸载。
2.根据权利要求1所述的基于高空通信平台辅助的边缘计算任务卸载方法，其特征在于，所述获取计算资源和通信结点信息，包括：
获取通信结点的位置信息、优先级和通信能力；其中，所述通信结点包括服务器结点、路边单元结点和高空通信平台结点，且服务器结点、路边单元结点的优先级高于高空通信平台结点的优先级；所述服务器结点包括物理边缘服务器结点、虚拟边缘服务器结点；所述通信能力包括计算能力，剩余能量和通信带宽；
根据所述位置信息和优先级，得到所述通信结点信息；
根据所述通信能力，得到所述计算资源。
3.根据权利要求1所述的基于高空通信平台辅助的边缘计算任务卸载方法，其特征在于，所述根据所述计算资源和通信结点信息，构建通信网络模型，包括：
根据所述通信结点信息，得到若干路边单元结点和服务器结点之间的通信距离；
利用多元最短路径算法计算所述通信距离，得到地面最短通信路径；
根据所述地面最短通信路径，得到所述地面通信网络。
4.根据权利要求3所述的基于高空通信平台辅助的边缘计算任务卸载方法，其特征在于，所述根据所述计算资源和通信结点信息，构建通信网络模型，包括：
根据所述通信结点信息，得到若干所述高空通信平台结点和服务器结点之间的通信距离；
利用多元最短路径算法计算所述通信距离，得到高空最短通信路径；
根据所述高空最短通信路径，得到高空通讯网络；
利用所述高空最短通信路径填充所述地面最短通信路径，得到最短通信路径；
根据所述最短通信路径和所述计算资源，得到所述通信网络模型。
5.根据权利要求1所述的基于高空通信平台辅助的边缘计算任务卸载方法，其特征在于，所述在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案，包括：
获取所述通信网络模型中的卸载任务；其中，所述任务包括起始结点和目标结点；
若所述起始结点和目标结点相同，则在本地通信节点进行任务卸载；
若所述起始结点和目标结点不同，则获取所述卸载任务在通信网络模型中的通信路径和计算资源；
根据所述通信路径和所述计算资源，得到所述卸载任务的第一状态参数，并将所述第一状态参数输入到深度确定性策略梯度算法进行卸载计算，得到所述卸载决策和计算资源分配方案；其中，所述第一状态参数包括所述起始结点到目标结点之间的时间延迟之和、计算能力和剩余能量。
6.根据权利要求5所述的基于高空通信平台辅助的边缘计算任务卸载方法，其特征在于，所述深度确定性策略梯度算法包括主执行者网络、主评论家网络、目标执行者网络和目标评论家网络；其中，所述主执行者网络用于根据所述第一状态参数，得到第一卸载决策，并根据所述第一卸载决策得到第二状态参数；所述主评论家网络用于根据所述第一状态参数和所述第一卸载决策，得到第一评价值；所述目标执行者网络用于根据所述第二状态参数，得到第二卸载决策；所述目标评论家网络用于根据所述第二状态参数和所述第二卸载决策，得到第二评价值。
7.根据权利要求6所述的基于高空通信平台辅助的边缘计算任务卸载方法，其特征在于，所述深度确定性策略梯度算法，用于根据所述第一评价值和第二评价值计算均方误差值，并根据所述均方误差值更新所述主执行者网络、主评论家网络的网络参数。
8.一种基于高空通信平台辅助的边缘计算任务卸载装置，其特征在于，所述装置包括：
计算资源和通信结点信息获取模块，用于获取计算资源和通信结点信息；
建模模块，用于根据所述计算资源和通信结点信息，构建通信网络模型；其中，所述通信网络模型包括地面通信网络和高空通信网络；
计算模块，用于在所述通信网络模型中利用深度确定性策略梯度算法进行卸载计算，得到卸载决策和计算资源分配方案；
卸载模块，用于根据所述卸载决策和计算资源分配方案，进行边缘计算任务卸载。
9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于高空通信平台辅助的边缘计算任务卸载程序，所述处理器执行所述基于高空通信平台辅助的边缘计算任务卸载程序时，实现如权利要求1-7任一项所述的基于高空通信平台辅助的边缘计算任务卸载方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于高空通信平台辅助的边缘计算任务卸载程序，所述基于高空通信平台辅助的边缘计算任务卸载程序被处理器执行时，实现如权利要求1-7任一项所述的基于高空通信平台辅助的边缘计算任务卸载方法的步骤。
CN202310367755.4A 2023-04-03 2023-04-03 一种基于高空通信平台辅助的边缘计算任务卸载方法 Pending CN116489668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310367755.4A CN116489668A (zh) 2023-04-03 2023-04-03 一种基于高空通信平台辅助的边缘计算任务卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310367755.4A CN116489668A (zh) 2023-04-03 2023-04-03 一种基于高空通信平台辅助的边缘计算任务卸载方法

Publications (1)

Publication Number Publication Date
CN116489668A true CN116489668A (zh) 2023-07-25

Family

ID=87217003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310367755.4A Pending CN116489668A (zh) 2023-04-03 2023-04-03 一种基于高空通信平台辅助的边缘计算任务卸载方法

Country Status (1)

Country Link
CN (1) CN116489668A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117240631A (zh) * 2023-11-15 2023-12-15 成都超算中心运营管理有限公司 基于消息中间件连接异构工业设备与云平台的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117240631A (zh) * 2023-11-15 2023-12-15 成都超算中心运营管理有限公司 基于消息中间件连接异构工业设备与云平台的方法及系统

Similar Documents

Publication Publication Date Title
CN109391681B (zh) 基于mec的v2x移动性预测与内容缓存卸载方案
CN111835827B (zh) 物联网边缘计算任务卸载方法及系统
CN108021451B (zh) 一种雾计算环境下的自适应容器迁移方法
CN116489668A (zh) 一种基于高空通信平台辅助的边缘计算任务卸载方法
CN111488528A (zh) 内容缓存管理方法及装置、电子设备
CN115297171A (zh) 一种蜂窝车联网分级决策的边缘计算卸载方法及系统
CN115134242A (zh) 一种基于深度强化学习策略的车载计算任务卸载方法
CN113709249A (zh) 辅助驾驶业务安全均衡卸载方法及系统
Ge et al. Interference aware service migration in vehicular fog computing
Yuan et al. A survey on computation offloading for vehicular edge computing
CN117939535B (zh) 一种v2v场景下的依赖任务卸载方法、终端及存储介质
CN111539534A (zh) 一种基于强化学习的通用分布式图处理方法及系统
CN114676911A (zh) 一种运输车辆行车路线确定方法及装置
US11585667B2 (en) Systems and methods for simulating edge-computing deployment in diverse terrains
Yu et al. A situation enabled framework for energy-efficient workload offloading in 5G vehicular edge computing
Zhang et al. Offloading demand prediction-driven latency-aware resource reservation in edge networks
CN116911480A (zh) 基于信任共享机制的车联网场景下的路径预测方法及系统
Wang et al. An adaptive deep q-learning service migration decision framework for connected vehicles
CN116843500A (zh) 充电站规划方法、神经网络模型训练方法、装置和设备
Tan et al. Overall computing offloading strategy based on deep reinforcement learning in vehicle fog computing
CN113946382A (zh) 一种v2x异构车载网络下智能任务卸载方法
CN112261628B (zh) 一种应用于d2d设备的内容边缘缓存架构方法
Xu et al. Intelligent Transportation Vehicle Road Collaboration and Task Scheduling Based on Deep Learning in Augmented Internet of Things
CN113795012A (zh) 基于区块链的网联车辆边缘计算与视频分析资源分配方法
WO2023234001A1 (ja) 通信管理システムおよび通信管理方法、移動体、並びに管理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination