CN114980160A - 一种无人机辅助的太赫兹通信网络联合优化方法和装置 - Google Patents

一种无人机辅助的太赫兹通信网络联合优化方法和装置 Download PDF

Info

Publication number
CN114980160A
CN114980160A CN202210454105.9A CN202210454105A CN114980160A CN 114980160 A CN114980160 A CN 114980160A CN 202210454105 A CN202210454105 A CN 202210454105A CN 114980160 A CN114980160 A CN 114980160A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
communication network
user
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210454105.9A
Other languages
English (en)
Inventor
张海君
王衡
刘向南
隆克平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210454105.9A priority Critical patent/CN114980160A/zh
Publication of CN114980160A publication Critical patent/CN114980160A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/90—Non-optical transmission systems, e.g. transmission systems employing non-photonic corpuscular radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种无人机辅助的太赫兹通信网络联合优化方法和装置，该方法包括：构建无人机辅助的太赫兹通信网络系统模型；在用户服务质量和资源约束下，以最小化网络系统中所有用户的时延之和为目标，构建优化目标函数；基于预设的深度强化学习算法，实现无人机位置、计算卸载比例和计算资源分配方案的联合优化，以提升网络容量和降低时延。本发明利用无人机灵活性强与太赫兹通信传输速率高的特点，弥补了边缘接入节点覆盖范围和接入用户数量有限的缺点，在资源受限的情况下，有效提升了网络容量和资源利用率。

Description

一种无人机辅助的太赫兹通信网络联合优化方法和装置
技术领域
本发明涉及无线通信技术领域，特别涉及一种无人机辅助的太赫兹通信网络联合优化方法和装置。
背景技术
随着物联网技术的飞速发展，远程医疗、自动驾驶、虚拟现实、增强现实等许多时延敏感型应用已经逐渐进入到人们的日常生活，这些应用产生了大量计算密集型任务。尽管新一代物联网设备中的CPU性能越来越强，但是依然无法在短期内处理计算密集型任务。为了解决物联网设备计算能力有限的问题，云计算技术将计算密集型任务从用户侧转移到云端服务器进行计算处理，有效降低了时延。然而，预计到2025年，物联网设备的数量将达到750亿，传输海量数据到云端服务器会消耗大量的网络资源，并给云端服务器带来了极大的计算压力。因此，云计算技术已经无法满足海量数据的实时计算处理，为了弥补云计算的不足，移动边缘计算技术(Mobile edge computing,MEC)通过在物联网设备侧部署边缘接入节点(Edge access points,E-APs)，将核心网的功能转移到网络边缘，降低了回传链路对于带宽的要求，并有效提升了服务质量。
传统的E-APs部署在固定位置，其覆盖范围和所能同时服务的用户数量是有限的。随着无人机技术的发展，将服务器部署在无人机上成为了一种有效提升系统容量的方式。当用户数量超过E-APs容量限制或者用户超出E-APs覆盖范围时，无人机可搭载服务器为用户提供计算卸载服务。与传统架构相比，无人机辅助架构具有更高的可扩展性和灵活性。
为了更好地支持计算密集型应用，需要降低用户到服务器的传输时延。太赫兹通信的速率可以达到数十Gb/s，明显优于目前的超宽带技术。因此，太赫兹通信技术备受关注，成为满足移动异构网络系统实时业务需求的关键技术。由于太赫兹波段对信道拥塞的敏感性，将服务器部署在无人机上可以有效减少障碍对通信链路的影响。因此，在太赫兹频段下，将服务器搭载在无人机上为用户提供计算卸载服务是很有前景的。
目前，如何在服务质量和资源约束下实时联合优化无人机位置、计算卸载比例和计算资源分配方案使得所有用户的时延之和最小是一个亟待解决的难题。
发明内容
本发明提供了一种无人机辅助的太赫兹通信网络联合优化方法和装置，以解决无人机位置、计算卸载比例和计算资源分配方案的联合优化问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种无人机辅助的太赫兹通信网络联合优化方法，所述无人机辅助的太赫兹通信网络联合优化方法包括：
构建无人机辅助的太赫兹通信网络系统模型；其中，在所述通信网络系统模型中，无人机搭载服务器在太赫兹频段为用户提供计算卸载服务；
基于所述通信网络系统模型，在用户服务质量和资源约束下，以最小化通信网络系统中所有用户的时延之和为目标，构建优化目标函数；
基于预设的深度强化学习算法，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，实现无人机位置、计算卸载比例和计算资源分配方案的联合优化，达到提升网络容量和降低时延的目的。
进一步地，在所述通信网络系统模型中，搭载于无人机的服务器与用户之间的太赫兹通信链路路径损耗PL(f,D)表示为：
Figure BDA0003619975260000021
其中，Labs(f,D)表示分子吸收损耗，Lspread(f,D)表示传输损耗，D表示用户与无人机服务器之间的距离，c是真空状态光速，kabs(f)是与频率相关的介质吸收系数，f表示太赫兹载波频率。
进一步地，所述优化目标函数表示为：
Figure BDA0003619975260000031
Figure BDA0003619975260000032
Figure BDA0003619975260000033
Figure BDA0003619975260000034
Figure BDA0003619975260000035
Figure BDA0003619975260000036
Figure BDA0003619975260000037
其中，Ti表示第i个用户的总时延，N表示用户数量，xuav和yuav表示无人机的坐标信息，αi表示第i个用户的卸载比例，βi表示分配给第i个用户的计算资源比例，
Figure BDA0003619975260000038
表示计算卸载向量，
Figure BDA0003619975260000039
表示计算资源分配向量，
Figure BDA00036199752600000310
表示本地计算能耗，
Figure BDA00036199752600000311
表示上传能耗，
Figure BDA00036199752600000312
表示用户等待服务器处理数据的待机能耗，ti,max表示第i个用户的最大容忍时延，Ei,max表示第i个用户的最大容忍能耗，
Figure BDA00036199752600000313
表示无法由E-APs提供服务的用户的集合，
Figure BDA00036199752600000314
表示无人机的预设坐标阈值；
C1表示每个用户的总时延不超过最大容忍时延，由此保障了用户的服务质量；C2表示无人机的位置在预设的规定范围内；C3和C4表示分配给每个用户的计算资源之和不超过总的计算资源；C5表示用户可以将任意比例的部分任务卸载到服务器进行处理；C6表示用户所消耗的能量在规定范围内。
进一步地，所述基于预设的深度强化学习算法，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，包括：
以无人机、服务器和所有用户为智能体，无人机辅助的太赫兹通信网络系统模型充当环境，无人机位置、计算卸载比例和计算资源分配方案充当智能体的动作输出，采用预设的深度强化学习算法来训练智能体，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案。
进一步地，所述预设的深度强化学习算法为DDPG(deep deterministic policygradient，深度确定性策略梯度)算法。
进一步地，所述采用预设的深度强化学习算法来训练智能体，包括：
步骤1：初始化系统的状态空间、动作空间以及深度神经网络参数；
步骤2：智能体根据当前状态和策略网络选择动作并执行；
步骤3：智能体执行动作后，返回奖励以及新的状态，将状态转化过程放入经验缓存空间；
步骤4：在经验缓存空间中采样预设数量的状态转移数据，作为训练Q网络和训练策略网络的训练数据；
步骤5：分别计算Q网络和策略网络代价函数的梯度；
步骤6：更新目标神经网络参数。
进一步地，初始化系统的状态空间、动作空间及深度神经网络参数，包括：
将用户资源需求及信道状态建模为有限状态马尔可夫模型；
为策略网络μ(F,ω)和Q网络Q(F,G,λ)各创建两个目标神经网络μ′(F,ω′)和Q′(F,G,λ′)用于参数更新。
进一步地，所述智能体执行动作后，返回奖励，包括：
所述智能体执行动作后，判断是否满足预设条件，当满足预设条件时，根据环境获得即时奖励；其中，所述预设条件包括：每个用户的时延满足服务质量约束；无人机的位置在指定的区间范围内；分配给每个用户的计算资源不超过总资源量；计算卸载比例在预设范围内；每个用户的总能耗满足节能需求。
即时奖励R表达式为：
Figure BDA0003619975260000041
其中，Tn表示第n个用户的时延，N表示用户数量。
进一步地，所述分别计算Q网络和策略网络代价函数的梯度，包括：
分别计算Q网络和策略网络代价函数的梯度，采用随机梯度下降方法，用于更新神经网络参数。
另一方面，本发明还提供了一种无人机辅助的太赫兹通信网络联合优化装置，所述无人机辅助的太赫兹通信网络联合优化装置包括：
通信网络系统模型构建模块，用于构建无人机辅助的太赫兹通信网络系统模型；其中，在所述通信网络系统模型中，无人机搭载服务器在太赫兹频段为用户提供计算卸载服务；
优化目标函数构建模块，用于基于所述通信网络系统模型构建模块所构建的通信网络系统模型，在用户服务质量和资源约束下，以最小化通信网络系统中所有用户的时延之和为目标，构建优化目标函数；
联合优化模块，用于基于预设的深度强化学习算法，得到满足所述优化目标函数构建模块所构建的优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，实现无人机位置、计算卸载比例和计算资源分配方案的联合优化，达到提升网络容量和降低时延的目的。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
本发明的无人机辅助的太赫兹通信网络联合优化方法在用户服务质量和资源约束下，实现了无人机位置、计算卸载比例和计算资源分配方案的联合优化，弥补了边缘接入节点覆盖范围和接入用户数量有限的缺点，在资源受限的情况下，有效提升了网络容量并降低了时延，满足了各类时延敏感性业务的需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的无人机辅助的太赫兹通信网络联合优化方法的执行流程示意图；
图2是本发明实施例提供的无人机辅助的太赫兹网络架构示意图；
图3是本发明实施例提供的基于深度强化学习的联合优化算法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种无人机辅助的太赫兹通信网络联合优化方法，利用无人机灵活性强与太赫兹通信传输速率高的特点，弥补了E-APs覆盖范围和接入用户数量有限的缺点，在资源受限的情况下有效提升了网络容量并降低了时延。该方法可以由电子设备实现。该方法的执行流程如图1所示，包括以下步骤：
S1，构建无人机辅助的太赫兹通信网络系统模型；其中，在所述通信网络系统模型中，无人机搭载服务器在太赫兹频段为用户提供计算卸载服务；
S2，基于所述通信网络系统模型，在用户服务质量和资源约束下，以最小化通信网络系统中所有用户的时延之和为目标，构建优化目标函数；
S3，基于预设的深度强化学习算法，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，实现无人机位置、计算卸载比例和计算资源分配方案的联合优化，达到提升网络容量和降低时延的目的。
具体地，本实施例所构建的通信网络系统模型如图2所示，在该模型中，搭载于无人机的服务器与用户之间的太赫兹通信链路路径损耗PL(f,D)表示为：
Figure BDA0003619975260000061
其中，Labs(f,D)表示分子吸收损耗，Lspread(f,D)表示传输损耗，D表示用户与无人机服务器之间的距离，c是真空状态光速，kabs(f)是与频率相关的介质吸收系数，f表示太赫兹载波频率。
由于E-APs覆盖范围和接入用户数量有限，存在部分用户无法由E-APs提供服务的情况，
Figure BDA0003619975260000062
表示这些用户的集合，每个用户的任务可以表示为ζi∈{di,ci,oi,ti,max}，di表示第i个用户计算任务的大小，ci第i个用户计算任务所需要的CPU周期数，oi表示第i个用户计算结果的大小，ti,max表示第i个用户最大的容忍时延。为了实现时延最小化，这个问题可以建模为：
Figure BDA0003619975260000063
Figure BDA0003619975260000064
Figure BDA0003619975260000065
Figure BDA0003619975260000066
Figure BDA0003619975260000067
Figure BDA0003619975260000068
Figure BDA0003619975260000069
其中，Ti表示第i个用户的总时延，xuav和yuav表示无人机的坐标信息，αi表示第i个用户的卸载比例，βi表示分配给第i个用户的计算资源比例，
Figure BDA00036199752600000610
表示计算卸载向量，
Figure BDA00036199752600000611
表示计算资源分配向量，
Figure BDA00036199752600000612
表示本地计算能耗，
Figure BDA00036199752600000613
表示上传能耗，
Figure BDA00036199752600000614
表示用户等该服务器处理数据的待机能耗，ti,max表示第i个用户的最大容忍时延，Ei,max表示第i个用户的最大容忍能耗；C1表示每个用户的总时延不超过最大容忍时延，保障了用户的服务质量；C2表示无人机的位置在规定范围内；C3和C4表示分配给每个用户的计算资源之和不超过总的计算资源；C5表示用户可以将任意比例的部分任务卸载到服务器进行处理；C6表示用户所消耗的能量在规定范围内。
进一步地，所述基于预设的深度强化学习算法，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，具体为：以无人机、服务器和所有用户为智能体，无人机辅助的太赫兹通信网络系统模型充当环境，无人机位置、计算卸载比例和计算资源分配方案充当智能体的动作输出，采用预设的深度强化学习算法来训练智能体，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案。其中，本实施例所采用的预设的深度强化学习算法为深度确定性策略梯度DDPG算法。
在采用DDPG进行无人机位置、计算卸载比例和计算资源分配方案的联合优化过程中，考虑到真实环境下系统状态的动态变化，将系统状态建模为一阶马尔可夫决策模型。确定性策略网络被用作根据状态选取动作，Q网络用来衡量所选动作的性能，由于单个神经网络会造成学习过程很不稳定，因此分别为策略网络、Q网络各创建一个目标神经网络拷贝进行网络学习，它们被称为目标网络，用于计算相应的目标值。目标网络和训练网络具有相同的网络结构，但是其参数设置不同。在执行DDPG算法时，无人机辅助的太赫兹通信网络系统模型充当环境，无人机位置、计算卸载比例和计算资源分配方案充当智能体的动作输出。算法具体步骤如图3所示，包括以下步骤：
初始化系统的状态空间、动作空间以及深度神经网络参数；具体为：初始化每个用户的资源需求、位置信息、DDPG算法参数、Q网络和策略网络参数，将Q网络和策略网络参数分别赋给目标Q网络和目标策略网络。其中，用户需求和信道状态建模为有限状态马尔可夫模型，该系统是一个离散时隙系统，在同一时刻内，系统状态不发生变化。下一时刻系统由智能体基于行为策略产生。
DDPG算法包含四个深度神经网络，分别是策略网络μ(F,ω)、Q网络Q(F,G,λ)、目标策略网络μ′(F,ω′)和目标Q网络Q′(F,G,λ′)，ω、λ、ω′、λ′分别代表了四个深度神经网络的参数。智能体根据行为策略选择动作并执行，在每一次迭代时，首先获得信道状态和资源需求信息，智能体获取当前信息，根据策略网络μ(F,ω)选择动作并执行动作包括调整无人机位置、计算卸载比例和计算资源分配方案，执行动作后，返回奖励Rt以及新的状态。对于DDPG，动作的选取是确定性的行为策略，每一步的行为通过μ(F,ω)直接获得确定的值。
其中，智能体执行动作后，返回奖励，具体为：所述智能体执行动作后，判断是否满足预设条件，当满足预设条件时，根据环境获得即时奖励；其中，所述预设条件包括：1)每个用户的时延满足服务质量约束；2)无人机的位置在指定的区间范围内；3)分配给每个用户的计算资源不超过总资源量；4)计算卸载比例在预设范围内；5)每个用户的总能耗满足节能需求。
即时奖励R表达式为：
Figure BDA0003619975260000081
其中，Tn表示第n个用户的时延，N表示用户数量。
智能体执行动作后，返回奖励以及新的状态，将状态转化过程(Ft,Gt,Rt,Ft+1)放入经验缓存空间D，Ft表示t时刻的状态，Gt表示t时刻的动作，Rt表示在状态Ft执行动作Gt所获得的奖励，Ft+1表示在状态Ft执行动作Gt所到达的下一个状态。为了训练神经网络，需要在经验缓存空间D采用N个mini-batch状态转移数据(Ft,Gt,Rt,Ft+1)作为训练Q网络和训练策略网络的训练数据。分别计算策略网络和Q网络代价函数的梯度用于更新策略网络和Q网络的参数；
其中，Q网络的代价函数为：
Figure BDA0003619975260000082
其中，
Figure BDA0003619975260000083
表示目标Q值，Q(Fi,μ(Fi,ω′),λ′)表示预测Q值，DDPG的目的就是使得预测Q值逐渐接近目标Q值，N表示所抽取的mini-batch的数量。
目标Q值得定义如下所示：
Figure BDA0003619975260000084
其中，ψ表示折扣因子。
因此Q网络的更新方式为：
Figure BDA0003619975260000085
其中，αc表示更新Q网络的学习率。
策略网络的作用是最大化Q值，因此策略网络的代价函数可以定义为：
Figure BDA0003619975260000086
对策略网络的代价函数求导可得：
Figure BDA0003619975260000091
因此Q网络的更新方式为：
Figure BDA0003619975260000092
其中，αa表示更新策略网络的学习率。
在对Q网络和策略网络的参数进行更新后，需要每隔C步去更新目标Q网络和目标策略网络的参数，更新原则如下：
λ←τλ+(1-τ)λ′
ω←τω+(1-τ)ω′
其中，τ为更新系数。
每次迭代周期，算法收敛或者达到最大迭代次数，算法终止，无人机的位置、计算卸载比例和计算资源分配方案由具有最优即时奖励的动作获得。
综上，本实施例的无人机辅助的太赫兹通信网络联合优化方法，针对在太赫兹频段采用无人机为用户提供计算卸载服务的场景，使用DDPG算法训练神经网络，联合优化无人机位置、计算卸载比例和计算资源分配方案，从而在满足用户服务质量的前提下，有效提升了资源利用率和网络容量，降低了总时延。
第二实施例
本实施例提供了一种无人机辅助的太赫兹通信网络联合优化装置，包括：
通信网络系统模型构建模块，用于构建无人机辅助的太赫兹通信网络系统模型；其中，在所述通信网络系统模型中，无人机搭载服务器在太赫兹频段为用户提供计算卸载服务；
优化目标函数构建模块，用于基于所述通信网络系统模型构建模块所构建的通信网络系统模型，在用户服务质量和资源约束下，以最小化通信网络系统中所有用户的时延之和为目标，构建优化目标函数；
联合优化模块，用于基于预设的深度强化学习算法，得到满足所述优化目标函数构建模块所构建的优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，实现无人机位置、计算卸载比例和计算资源分配方案的联合优化，达到提升网络容量和降低时延的目的。
本实施例的无人机辅助的太赫兹通信网络联合优化装置与上述第一实施例的无人机辅助的太赫兹通信网络联合优化方法相对应；其中，该无人机辅助的太赫兹通信网络联合优化装置中的各功能模块所实现的功能与上述无人机辅助的太赫兹通信网络联合优化方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种无人机辅助的太赫兹通信网络联合优化方法，其特征在于，包括：
构建无人机辅助的太赫兹通信网络系统模型；其中，在所述通信网络系统模型中，无人机搭载服务器在太赫兹频段为用户提供计算卸载服务；
基于所述通信网络系统模型，在用户服务质量和资源约束下，以最小化通信网络系统中所有用户的时延之和为目标，构建优化目标函数；
基于预设的深度强化学习算法，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，实现无人机位置、计算卸载比例和计算资源分配方案的联合优化，达到提升网络容量和降低时延的目的。
2.如权利要求1所述的无人机辅助的太赫兹通信网络联合优化方法，其特征在于，在所述通信网络系统模型中，搭载于无人机的服务器与用户之间的太赫兹通信链路路径损耗PL(f,D)表示为：
Figure FDA0003619975250000011
其中，Labs(f,D)表示分子吸收损耗，Lspread(f,D)表示传输损耗，D表示用户与无人机服务器之间的距离，c是真空状态光速，kabs(f)是与频率相关的介质吸收系数；f表示太赫兹载波频率。
3.如权利要求1所述的无人机辅助的太赫兹通信网络联合优化方法，其特征在于，所述优化目标函数表示为：
Figure FDA0003619975250000012
s.t.C1:Ti≤ti,max,
Figure FDA0003619975250000013
C2:
Figure FDA0003619975250000014
C3:0≤βi≤1,
Figure FDA0003619975250000015
C4:
Figure FDA0003619975250000016
C5:0≤αi≤1,
Figure FDA0003619975250000017
C6:
Figure FDA0003619975250000018
其中，Ti表示第i个用户的总时延，N表示用户数量，xuav和yuav表示无人机的坐标信息，αi表示第i个用户的卸载比例，βi表示分配给第i个用户的计算资源比例，
Figure FDA0003619975250000019
表示计算卸载向量，
Figure FDA00036199752500000110
表示计算资源分配向量，
Figure FDA00036199752500000111
表示本地计算能耗，
Figure FDA00036199752500000112
表示上传能耗，
Figure FDA00036199752500000113
表示用户等待服务器处理数据的待机能耗，ti,max表示第i个用户的最大容忍时延，Ei,max表示第i个用户的最大容忍能耗，
Figure FDA0003619975250000021
表示无法由E-APs提供服务的用户的集合，
Figure FDA0003619975250000022
表示无人机的预设坐标阈值；
C1表示每个用户的总时延不超过最大容忍时延，由此保障了用户的服务质量；C2表示无人机的位置在预设的规定范围内；C3和C4表示分配给每个用户的计算资源之和不超过总的计算资源；C5表示用户可以将任意比例的部分任务卸载到服务器进行处理；C6表示用户所消耗的能量在规定范围内。
4.如权利要求1所述的无人机辅助的太赫兹通信网络联合优化方法，其特征在于，所述基于预设的深度强化学习算法，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，包括：
以无人机、服务器和所有用户为智能体，无人机辅助的太赫兹通信网络系统模型充当环境，无人机位置、计算卸载比例和计算资源分配方案充当智能体的动作输出，采用预设的深度强化学习算法来训练智能体，得到满足所述优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案。
5.如权利要求4所述的无人机辅助的太赫兹通信网络联合优化方法，其特征在于，所述预设的深度强化学习算法为DDPG(deep deterministic policy gradient，深度确定性策略梯度)算法。
6.如权利要求5所述的无人机辅助的太赫兹通信网络联合优化方法，其特征在于，所述采用预设的深度强化学习算法来训练智能体，包括：
步骤1：初始化系统的状态空间、动作空间以及深度神经网络参数；
步骤2：智能体根据当前状态和策略网络选择动作并执行；
步骤3：智能体执行动作后，返回奖励以及新的状态，将状态转化过程放入经验缓存空间；
步骤4：在经验缓存空间中采样预设数量的状态转移数据，作为训练Q网络和训练策略网络的训练数据；
步骤5：分别计算Q网络和策略网络代价函数的梯度；
步骤6：更新目标神经网络参数。
7.如权利要求6所述的无人机辅助的太赫兹通信网络联合优化方法，其特征在于，所述初始化系统的状态空间、动作空间以及深度神经网络参数，包括：
将用户资源需求及信道状态建模为有限状态马尔可夫模型；
为策略网络μ(F,ω)和Q网络Q(F,G,λ)各创建两个目标神经网络μ′(F,ω′)和Q′(F,G,λ′)用于参数更新。
8.如权利要求7所述的无人机辅助的太赫兹通信网络联合优化方法，其特征在于，所述智能体执行动作后，返回奖励，包括：
所述智能体执行动作后，判断是否满足预设条件，当满足预设条件时，根据环境获得即时奖励；其中，所述预设条件包括：每个用户的时延满足服务质量约束；无人机的位置在指定的区间范围内；分配给每个用户的计算资源不超过总资源量；计算卸载比例在预设范围内；每个用户的总能耗满足节能需求。
即时奖励R表达式为：
Figure FDA0003619975250000031
其中，Tn表示第n个用户的时延，N表示用户数量。
9.如权利要求8所述的无人机辅助的太赫兹通信网络联合优化方法，其特征在于，所述分别计算Q网络和策略网络代价函数的梯度，包括：
分别计算Q网络和策略网络代价函数的梯度，采用随机梯度下降方法，用于更新神经网络参数。
10.一种无人机辅助的太赫兹通信网络联合优化装置，其特征在于，包括：
通信网络系统模型构建模块，用于构建无人机辅助的太赫兹通信网络系统模型；其中，在所述通信网络系统模型中，无人机搭载服务器在太赫兹频段为用户提供计算卸载服务；
优化目标函数构建模块，用于基于所述通信网络系统模型构建模块所构建的通信网络系统模型，在用户服务质量和资源约束下，以最小化通信网络系统中所有用户的时延之和为目标，构建优化目标函数；
联合优化模块，用于基于预设的深度强化学习算法，得到满足所述优化目标函数构建模块所构建的优化目标函数的最优的无人机位置、计算卸载比例和计算资源分配方案，实现无人机位置、计算卸载比例和计算资源分配方案的联合优化，达到提升网络容量和降低时延的目的。
CN202210454105.9A 2022-04-27 2022-04-27 一种无人机辅助的太赫兹通信网络联合优化方法和装置 Pending CN114980160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210454105.9A CN114980160A (zh) 2022-04-27 2022-04-27 一种无人机辅助的太赫兹通信网络联合优化方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210454105.9A CN114980160A (zh) 2022-04-27 2022-04-27 一种无人机辅助的太赫兹通信网络联合优化方法和装置

Publications (1)

Publication Number Publication Date
CN114980160A true CN114980160A (zh) 2022-08-30

Family

ID=82979365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210454105.9A Pending CN114980160A (zh) 2022-04-27 2022-04-27 一种无人机辅助的太赫兹通信网络联合优化方法和装置

Country Status (1)

Country Link
CN (1) CN114980160A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277420A (zh) * 2022-09-27 2022-11-01 南京信息工程大学 一种虚拟现实网络资源管理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277420A (zh) * 2022-09-27 2022-11-01 南京信息工程大学 一种虚拟现实网络资源管理方法

Similar Documents

Publication Publication Date Title
CN113612843B (zh) 一种基于深度强化学习的mec任务卸载和资源分配方法
CN113543176B (zh) 基于智能反射面辅助的移动边缘计算系统的卸载决策方法
CN112214301B (zh) 面向智慧城市基于用户偏好的动态计算迁移方法及装置
CN114285853B (zh) 设备密集型工业物联网中基于端边云协同的任务卸载方法
CN113645637B (zh) 超密集网络任务卸载方法、装置、计算机设备和存储介质
CN115190033B (zh) 一种基于强化学习的云边融合网络任务卸载方法
CN116489708B (zh) 面向元宇宙的云边端协同的移动边缘计算任务卸载方法
Qi et al. Deep reinforcement learning based task scheduling in edge computing networks
CN112911647A (zh) 一种基于深度强化学习的计算卸载和资源分配方法
CN113626104A (zh) 边云架构下基于深度强化学习的多目标优化卸载策略
CN114626298A (zh) 无人机辅助车联网中高效缓存和任务卸载的状态更新方法
CN116233927A (zh) 一种在移动边缘计算中负载感知的计算卸载节能优化方法
CN116112981A (zh) 一种基于边缘计算的无人机任务卸载方法
CN114980160A (zh) 一种无人机辅助的太赫兹通信网络联合优化方法和装置
CN115408072A (zh) 基于深度强化学习的快速适应模型构建方法及相关装置
CN113946423A (zh) 基于图注意力网络的多任务边缘计算调度优化方法
CN117579701A (zh) 一种移动边缘网络计算卸载方法及系统
CN117436485A (zh) 基于权衡时延和精度的多退出点的端-边-云协同系统及方法
CN116954866A (zh) 基于深度强化学习的边缘云下任务调度方法及系统
CN116204319A (zh) 基于sac算法与任务依赖关系的云边端协同卸载方法及系统
CN114928893B (zh) 一种基于智能反射面的架构及任务卸载方法
CN113157344B (zh) 移动边缘计算环境下基于drl的能耗感知任务卸载方法
CN114698125A (zh) 移动边缘计算网络的计算卸载优化方法、装置及系统
CN114745386A (zh) 一种多用户边缘智能场景下的神经网络分割及卸载方法
Zhang et al. Cybertwin-driven multi-intelligent reflecting surfaces aided vehicular edge computing leveraged by deep reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination