CN116528250A - 一种基于noma的无人机辅助mec资源优化方法 - Google Patents

一种基于noma的无人机辅助mec资源优化方法 Download PDF

Info

Publication number
CN116528250A
CN116528250A CN202310399486.XA CN202310399486A CN116528250A CN 116528250 A CN116528250 A CN 116528250A CN 202310399486 A CN202310399486 A CN 202310399486A CN 116528250 A CN116528250 A CN 116528250A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
user
base station
mec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310399486.XA
Other languages
English (en)
Inventor
于尧
王琳
黄凯凯
杨博文
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202310399486.XA priority Critical patent/CN116528250A/zh
Publication of CN116528250A publication Critical patent/CN116528250A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/02—Resource partitioning among network components, e.g. reuse partitioning
    • H04W16/10—Dynamic resource partitioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供了一种基于NOMA的无人机辅助MEC资源优化方法，涉及通信领域与强化学习技术领域，包括如下步骤：S1：基于泊松点过程得到用户计算任务的分布情况；S2：根据所述用户计算任务的分布情况，进行无人机预部署；S3：构建基于NOMA的无人机辅助MEC系统模型；S4：基于所述无人机辅助MEC系统模型得到优化问题，所述优化问题为最小化系统能耗和任务完成时延的加权和；S5：对所述优化问题使用深度强化学习算法进行求解，得到最优资源分配方案。本发明可在通信领域与强化学习领域广泛推广，可以应用于大规模用户海量数据场景下的问题解决，对未来基于NOMA的无人机辅助MEC网络的研究有一定的参考价值。

Description

一种基于NOMA的无人机辅助MEC资源优化方法
技术领域
本发明涉及通信领域与强化学习技术领域，具体而言，尤其涉及一种基于NOMA的无人机辅助MEC资源优化方法。
背景技术
随着5G技术的逐渐成熟以及智能设备的爆炸式增长，一系列服务/应用出现并广泛应用于智能设备，使得数据流量激增。而这些设备有限的计算能力不能满足计算密集型应用的需求，将任务上传至中心云又会造成过高的时延，现有的蜂窝网络也不能满足高流量应用的计算需求。移动边缘计算(MEC)服务器具有较高的计算能力，设备可以将任务卸载到附近的MEC服务器，有效缓解地面基础设施的拥塞，提高用户的QoE。无人机可以在任何时间部署在任何地方并以受控方式移动，特别是高概率的视距链路，与传统的固定位置MEC相比，将MEC服务器集成到无人机中具有成本低、灵活性高、部署方便等特点，适用于临时事件、紧急情况和按需服务。
在现有的无人机辅助MEC系统中，研究的是用户位置已知的情况，根据用户的具体位置联合优化无人机轨迹和资源分配；并且大多使用的是传统的多址技术，每个信道只能为一个用户提供服务。
如今智能设备在不断向小型化、可携带化发展，用户位置具有不确定性，如果只考虑用户位置已知的情况，在面对大量服务需求时，将难以保证用户获得很好的服务质量；使用传统的多址技术，每个信道只能为一个用户提供服务，频谱利用率较低，难以满足未来海量物联网设备的接入需求。
发明内容
有鉴于此，本发明的目的在于提出一种基于NOMA的无人机辅助MEC资源优化方法，以解决由于智能设备数量巨大，数据流量的爆炸式增长，在面对用户产生大量服务需求时，地面基站可能无法处理大量的计算任务的问题。
本发明采用的技术手段如下：
一种基于NOMA的无人机辅助MEC资源优化方法，包括如下步骤：
S1：基于泊松点过程得到用户计算任务的分布情况；
S2：根据所述用户计算任务的分布情况，进行无人机预部署；所述无人机预部署包括无人机覆盖半径的确定以及无人机数量和位置的确定；
S3：构建基于NOMA的无人机辅助MEC系统模型，并满足用户任务的时延要求及无人机的容量要求；所述无人机辅助MEC系统模型包括信道模型和卸载模型，
S4：基于所述无人机辅助MEC系统模型得到优化问题，所述优化问题为最小化系统能耗和任务完成时延的加权和；
S5：对所述优化问题使用深度强化学习算法进行求解，得到最优资源分配方案。
进一步地，S1具体包括如下步骤：
S1-1：设置一个大小为a×b的矩形区域，用户分布密度为λ/㎡，由二维泊松点过程得到用户数量和位置。
进一步地，S2具体包括如下步骤：
S2-1：无人机覆盖半径的确定：
设无人机可容纳的最大用户数为ρmax，最大覆盖范围为rmax，将无人机的覆盖半径表示为在最大覆盖范围内，无人机到第ρmax个用户的水平距离，将覆盖半径表示为无人机到第ρmax个用户的水平距离的期望，即
其中，(ρ)1/ω是Pochammer符号表示法；
S2-2：无人机数量和位置的确定：考虑无人机对矩形场馆密铺，使用圆的内接正六边形对矩形区域进行覆盖，所用的正六边形的个数即为无人机的个数，正六边形中心的位置即为无人机的水平位置。
进一步地，S3具体包括如下步骤：
S3-1：建立无人机辅助的移动边缘计算系统，所述移动边缘计算系统包括M个产生了计算任务的地面用户、N架无人机和K个地面基站；
所述计算任务的地面用户的集合为M＝{1，2，...，M}，所述无人机的集合为N＝{1，2，...，N}，所述地面基站的集合为K＝{1，2，...，K}，采用三维欧几里得坐标系，将第m个地面用户的水平坐标表示为um＝(xm，ym)，m∈M，第n架无人机的三维坐标表示为wn＝(qn，hn)，其中qn＝(xn，yn)，n∈N；
S3-2：建立信道模型：采用自由空间路径损耗模型，相应的信道功率增益主要取决于空对地距离；
S3-3：建立卸载模型，分别计算用户m在本地计算、卸载到无人机n上计算、卸载到地面基站上计算的计算延迟和消耗的能量，之后得到系统总能耗和系统总时延。
进一步地，S3-2具体包括如下步骤：
设无人机与用户之间的带宽为Buav，地面基站与用户之间的带宽为Bbs，每架无人机将带宽分为L＝{1，2，...，L}个相互正交的子信道，地面用户以非正交多址方式将计算任务卸载给无人机或者以频分多址的方式卸载给地面基站，无人机同一子信道的用户共享带宽，同一地面基站的用户平均分配其带宽，如果第m个地面用户决定将其任务卸载给第n架无人机的第l∈L个子信道，则数据速率表示为：
如果第m个地面用户决定将其任务卸载给第k个地面基站，则数据速率将为：
其中，Bk表示将计算任务卸载到地面基站k上的用户分配的带宽，rn，l表示第n架无人机第l个子信道的用户数量，表示该子信道中第i个最小接收功率的用户的索引，i∈{1，2，...，rn，l}，Rm，n，l表示第m个地面用户将任务卸载给第n架无人机的第l个子信道的传输速率，/>表示第m个地面用户向第n架无人机传输数据的发射功率，且该用户在该子信道中的索引为i，pm表示用户m以固定发射功率向地面基站传输数据，gm，k表示地面用户m与地面基站k之间的信道功率增益，N0表示用户与无人机之间的噪声功率，N1表示用户与地面基站之间的噪声功率。
进一步地，S3-3具体包括如下步骤：
本地计算；当用户m的计算任务在本地计算时，其计算延迟为：
消耗的能量为：
其中，fm表示用户m的本地计算能力，κm表示用户m处受芯片架构影响的有效电容系数；
卸载到无人机n上计算；当用户m的计算任务卸载到无人机n上进行计算时，其计算延迟为：
消耗的能量为：
其中，fm,n表示无人机n分配给用户m的计算资源，κn表示无人机n的有效电容系数；
卸载到地面基站上计算；当用户m的计算任务卸载到地面基站上进行计算时，其计算延迟为：
消耗的能量为：
其中，fm,k表示地面基站k分配给用户m的计算资源；
系统总能耗为：
系统总时延为：
进一步地，S4具体包括如下步骤：
设表示无人机的卸载决策，abs＝{am,1,am,2,...am,k}表示基站的卸载决策，/>表示用户的发射功率，fuav＝{f1,n,f2,n,...,fm,n}表示无人机的资源分配，fbs＝{f1,k,f2,k,...,fm,k}表示基站的资源分配；
将系统能耗和时延最小化联合问题表述为：
约束条件为：
C1:
C2:
C3:
C4:
C5:
C6:
C7:γ∈[0,1]
其中，γ为能耗的权重，δe和δt为归一化因子。
进一步地，S5具体包括如下步骤：
S5-1：定义强化学习中环境、状态、动作以及奖励四个关键要素；
S5-2：将求解系统能耗和时延加权和最小化问题转化为求解强化学习中奖励值最大化问题。
进一步地，S5-1中，
环境要素为基于NOMA的无人机辅助MEC系统中的MEC节点，MEC节点在计算奖励值和进行状态转移时需要用到的环境参数主要包括：初始用户数量M及其位置um＝(xm,ym),m∈Μ，无人机数量N及其位置wn＝(qn,hn)；每个用户的本地计算能力fm，有效电容系数κm；每架无人机的带宽Buav、子信道数量L、最大可容纳用户数ρmax、最大计算资源；地面基站的带宽Bbs、最大计算资源与用户之间的信道功率增益gm,k；单位距离的信道功率增益β0，用户与无人机之间噪声功率密度N0，用户与地面基站之间噪声功率密度N1；
状态要素为基于NOMA的无人机辅助MEC系统模型，在当前时隙进行用户计算任务卸载时，可以观察到状态信息S(t)由四部分组成其中Dm＝{D1,D2,...,Dm}表示每个用户计算任务的数据量大小，/>表示每个用户计算任务的最大容许延迟，/>表示每个无人机的剩余资源，fbs表示地面基站的剩余资源；
动作要素由MEC节点对用户的计算任务的卸载和资源分配决策组成，可以表示为动作向量其中am＝{0,1,2,...,n+1}表示用户m的卸载决策，即本地计算、卸载到地面基站、卸载到无人机n，lm＝{1,2}表示无人机的信道选择，pm＝{p1,p1,...,pm}表示用户m的发射功率，/>表示无人机分配给用户m的计算资源，/>表示地面基站分配给用户m的计算资源；
奖励要素；在强化学习模型中，智能体在朝着目标状态探索最佳卸载决策动作的每一步中，在状态S(t)下，执行一个可能的动作A(t)作用于环境后，都会得到一个环境反馈的瞬时奖励。
较现有技术相比，本发明具有以下优点：
本发明提供的基于NOMA的无人机辅助MEC资源优化分配方法，考虑用户具体位置未知的情况，根据用户分布的不确定性部署无人机，保证所有用户可以获得较好的服务质量；考虑了将泊松分布与无人机部署结合，提前部署无人机，减少了无人机部署的时间，用户到达后可以直接进行计算服务，提高了服务质量；本发明提出的基于NOMA的无人机辅助MEC资源优化分配研究，无人机同时和地面基站为用户提供服务，用来提高系统容量，极大的缓解了地面基站的计算压力，以满足用户的服务需求和QoE要求。
基于上述理由本发明可在通信领域与强化学习领域广泛推广，可以应用于大规模用户海量数据场景下的问题解决，对未来基于NOMA的无人机辅助MEC网络的研究有一定的参考价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统模型图。
图2为本发明的用户分布图。
图3为本发明的无人机预部署图。
图4为本发明PPO算法收敛过程图。
图5为本发明不同权重系数下时延和能耗的变化图。
图6为本发明不同无人机数量下系统能耗和时延加权和的对比图。
图7为本发明不同优化目标下系统能耗和时延加权和的对比图。
图8为本发明不同卸载条件下时延对比图。
图9为本发明不同卸载条件下能耗对比图。
图10为本发明不同卸载条件下加权和对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了解决由于智能设备数量巨大，数据流量的爆炸式增长，在面对用户产生大量服务需求时，地面基站可能无法处理大量的计算任务的问题，本发明研究了一个基于NOMA的无人机辅助MEC系统，为用户任务静态分布下的资源优化分配，使用泊松点过程来模拟初始用户任务在场馆内的分布，首先进行无人机预部署，基于泊松分布求得无人机覆盖半径，为了满足不同情况下用户的分布，考虑无人机在场馆内密铺，根据已证数学结论得到无人机数量和位置。当用户到达后，无人机和地面基站开始为用户提供服务，并基于用户任务初始分布对卸载决策、功率控制、资源分配联合优化。优化目标为在满足所有用户的服务需求以及QoE的前提下，整个系统的总能耗和任务完成时延加权和最小。
本发明提供了一种基于NOMA的无人机辅助MEC资源优化分配方法，包括以下步骤：
S1：基于泊松点过程得到用户计算任务的分布情况；
S2：根据S1中用户任务的分布情况，进行无人机预部署，包括无人机覆盖半径的确定以及无人机数量和位置的确定；
S3：在S2的基础上构建基于NOMA的无人机辅助MEC系统模型，包括信道模型和卸载模型，并满足用户任务的时延要求及无人机的容量等要求；
S4：根据S3中的系统模型得到本发明的优化目标，即最小化系统能耗和任务完成时延的加权和。
S5：对S4中的优化问题使用深度强化学习算法进行求解，得到最优资源分配方案。
进一步地，S1具体包括以下步骤：
S1-1：设置一个大小为a×b的矩形区域，用户分布密度为λ/㎡，由二维泊松点过程得到的用户数量和位置。
进一步地，步骤S2具体包括以下步骤：
S2-1：无人机覆盖半径的确定：在强度为λ的均匀ω维泊松点过程中，在区域A∈Rω中有ν个节点的概率由下式给出：
其中，μ(A)是A的标准Lebesgue测度，它可以以直接的方式计算到第ρ个邻近点的距离。
定理1(到第ρ个邻近点的欧氏距离)：
在强度为λ的Rω中的泊松点过程中，点与第ρ个邻近点之间的距离Rρ根据广义Gamma分布进行分布：
其中，cωrω是半径为r的ω维球的体积，Γ(ρ)＝(ρ-1)！。
设无人机可容纳的最大用户数为ρmax，最大覆盖范围为rmax，将无人机的覆盖半径表示为在最大覆盖范围内，无人机到第ρmax个用户的水平距离，由于该距离不是一个常数，在初始部署时无法确定每一个覆盖半径，所以将覆盖半径表示为无人机到第ρmax个用户的水平距离的期望，即
其中，(ρ)1/ω是Pochammer符号表示法。
S2-2：无人机数量和位置的确定：考虑无人机对矩形场馆密铺，由于无人机覆盖范围是圆，该问题变成圆覆盖矩形的问题，但矩形并不能被圆刚好全部覆盖，要使得矩形区域被完全覆盖，无人机的总容量一定会有冗余，因此如何使用最少的圆使矩形区域全部被覆盖是接下来要解决的问题。
要对矩形区域用圆进行覆盖首先需要对矩形区域用多边形进行覆盖，由最小覆盖圆模型可知，当且仅当用正多边形来限制圆的半径得到的圆可以使得覆盖整个区域时所用圆的个数最少。
根据定理可知，用圆的内接正六边形覆盖区域时，其相邻两圆相交的公共面积最小，则在同一个矩形内所需的圆的个数更少，更符合该问题中所要求的圆的个数最少的条件。
所以，使用圆的内接正六边形对矩形区域进行覆盖。所用的正六边形的个数即为无人机的个数，正六边形中心的位置即为无人机的水平位置。
进一步地，步骤S3具体包括以下步骤：
S3-1：考虑一个无人机辅助的移动边缘计算系统，该系统由三部分组成，分别为M个产生了计算任务的地面用户、N架无人机和K个地面基站。将地面用户、无人机和地面基站的集合分别表示为Μ＝{1,2,...,M}，Ν＝{1,2,...,N}和K＝{1,2,...,K}。采用三维欧几里得坐标系，将第m个地面用户的水平坐标表示为um＝(xm,ym),m∈Μ，第n架无人机的三维坐标表示为wn＝(qn,hn)，其中qn＝(xn,yn),n∈Ν。
S3-2：信道模型：在该系统模型中，考虑空中没有障碍物，无人机LoS链路通信占主导地位。采用自由空间路径损耗模型，相应的信道功率增益主要取决于空对地距离。
第m个地面用户到第n架无人机的距离为：
地面用户m与UAV n之间的信道功率增益为：
其中，β0表示参考距离为1m时的信道功率增益，且无人机只为其覆盖范围内的地面用户提供服务。
假设无人机与用户之间的带宽为Buav，地面基站与用户之间的带宽为Bbs，每架无人机将带宽分为L＝{1,2,...,L}个相互正交的子信道，地面用户以非正交多址(NOMA)方式将计算任务卸载给无人机或者以频分多址的方式卸载给地面基站，无人机同一子信道的用户共享带宽，同一地面基站的用户平均分配其带宽。如果第m个地面用户决定将其任务卸载给第n架无人机的第l∈L个子信道，则数据速率表示为：
如果第m个地面用户决定将其任务卸载给第k个地面基站，则数据速率将为：
其中，Bk表示将计算任务卸载到地面基站k上的用户分配的带宽，rn,l表示第n架无人机第l个子信道的用户数量，表示该子信道中第i个最小接收功率的用户的索引，i∈{1,2,...,rn,l}。Rm,n,l表示第m个地面用户将任务卸载给第n架无人机的第l个子信道的传输速率，/>表示第m个地面用户向第n架无人机传输数据的发射功率，且该用户在该子信道中的索引为i，pm表示用户m以固定发射功率向地面基站传输数据，gm,k表示地面用户m与地面基站k之间的信道功率增益，N0表示用户与无人机之间的噪声功率，N1表示用户与地面基站之间的噪声功率。
S3-3：卸载模型：将地面用户m的计算任务表示为其中Dm表示计算任务的大小，/>表示最大容许延迟。
引入卸载决策变量am,0,am,l,am,k∈{0,1}，am,0＝1表示用户m在本地计算，否则为0；表示用户m卸载到其最近的第n架无人机的第l个子信道，否则为0；am,k＝1表示用户m卸载到地面基站k，否则为0。因此，对于用户m的整个计算任务，有
则第k个地面基站子信道带宽为
(1)本地计算
当用户m的计算任务在本地计算时，其计算延迟为：
消耗的能量为：
其中，fm表示用户m的本地计算能力，κm表示用户m处受芯片架构影响的有效电容系数。
(2)卸载到无人机n上计算
当用户m的计算任务卸载到无人机n上进行计算时，其计算延迟为：
消耗的能量为：
其中，fm,n表示无人机n分配给用户m的计算资源，κn表示无人机n的有效电容系数。因此，对于所有连接到无人机n上的用户来说，在无人机的最大计算资源的条件下，应满足：
(3)卸载到地面基站上计算
当用户m的计算任务卸载到地面基站上进行计算时，其计算延迟为：
消耗的能量为：
其中，fm,k表示地面基站k分配给用户m的计算资源，对于所有连接到地面基站k上的用户来说，在地面基站的最大计算资源的条件下，应满足：
因此，用于完成计算任务Im的时延表示为：
用于完成计算任务Im消耗的能量为：
系统总能耗为：
系统总时延为：
在该模型中，不考虑无人机悬停能耗，因为在本方案中，未考虑无人机的位置变化，无人机一直悬停在空中，悬停能耗为常数，对系统能耗的变化没有影响。
进一步地，步骤S4具体包括以下步骤：
S4-1：设表示无人机的卸载决策，abs＝{am,1,am,2,...am,k}表示基站的卸载决策，/>表示用户的发射功率，fuav＝{f1,n,f2,n,...,fm,n}表示无人机的资源分配，fbs＝{f1,k,f2,k,...,fm,k}表示基站的资源分配；
将系统能耗和时延最小化联合问题表述为：
(γ为能耗的权重，δe和δt为归一化因子，用于使能量消耗和时延达到相似的规模。)
P:
C1:
C2:
C3:
C4:
C5:
C6:
C7:γ∈[0,1]
进一步地，步骤S5具体包括以下步骤：
S5-1：基于步骤S4中建立的以最小化系统能耗和时延加权和为目标求解最佳卸载和资源分配方案的优化问题，本发明采取近端策略优化算法(Proximal PolicyOptimization，PPO)对优化问题求解，该算法基于Actor-critic框架，既能解决离散动作空间又能连续动作空间的强化学习问题。由于本发明模型具有高维离散动作空间的特点，因此适合用该算法求解。
本发明首先详细定义了强化学习中环境、状态、动作以及奖励四个关键要素，然后将求解系统能耗和时延加权和最小化问题转化为求解强化学习中奖励值最大化问题。
环境(Environment)：这里的环境具体是指本发明中的基于NOMA的无人机辅助MEC系统中的MEC节点，MEC节点在计算奖励值和进行状态转移时需要用到的环境参数主要包括：初始用户数量M及其位置um＝(xm,ym),m∈Μ，无人机数量N及其位置wn＝(qn,hn)；每个用户的本地计算能力fm，有效电容系数κm；每架无人机的带宽Buav、子信道数量L、最大可容纳用户数ρmax、最大计算资源；地面基站的带宽Bbs、最大计算资源与用户之间的信道功率增益gm,k；单位距离的信道功率增益β0，用户与无人机之间噪声功率密度N0，用户与地面基站之间噪声功率密度N1。
状态(State)：基于本发明所构建的基于NOMA的无人机辅助MEC系统模型，在当前时隙进行用户计算任务卸载时，可以观察到状态信息S(t)由四部分组成其中Dm＝{D1,D2,...,Dm}表示每个用户计算任务的数据量大小，/>表示每个用户计算任务的最大容许延迟，/>表示每个无人机的剩余资源，fbs表示地面基站的剩余资源。
动作(Action)：在本发明的系统中，在时隙t，MEC节点的动作由MEC节点对用户的计算任务的卸载和资源分配决策组成，可以表示为动作向量其中am＝{0,1,2,...,n+1}表示用户m的卸载决策，即本地计算、卸载到地面基站、卸载到无人机n，lm＝{1,2}表示无人机的信道选择，pm＝{p1,p1,...,pm}表示用户m的发射功率，表示无人机分配给用户m的计算资源，/>表示地面基站分配给用户m的计算资源。
奖励(Reward)：在强化学习模型中，智能体在朝着目标状态探索最佳卸载决策动作的每一步中，在状态S(t)下，执行一个可能的动作A(t)作用于环境后，都会得到一个环境反馈的瞬时奖励R(t)，强化学习的目标就是获取最大的累计奖励。所以本发明设计的奖励函数应该与优化问题的目标函数呈负相关。因此本发明定义奖励R(t)为：
强化学习中，智能体以最大化累计奖励为目标探索和选择卸载动作A(t)，因此在任何状态下最佳(使能耗和时延加权和最低的)决策动作对应的奖励值是最高的，实现了问题的转化。
图1为本发明所述基于NOMA的无人机辅助MEC资源优化分配方法的系统模型图。该无人机辅助的移动边缘计算系统由三部分组成，分别为M个产生了计算任务的地面用户、N架无人机和K个地面基站。将地面用户、无人机和地面基站的集合分别表示为Μ＝{1,2,...,M}，Ν＝{1,2,...,N}和K＝{1,2,...,K}。采用三维欧几里得坐标系，将第m个地面用户的水平坐标表示为um＝(xm,ym),m∈Μ，第n架无人机的三维坐标表示为wn＝(qn,hn)，其中qn＝(xn,yn),n∈Ν。用户以非正交多址方式将计算任务卸载给无人机或者以频分多址方式卸载给地面基站，无人机同一子信道的用户共享带宽，同一地面基站的用户平均分配其带宽。
图2为本发明所述基于NOMA的无人机辅助MEC资源优化分配方法中的用户分布图。
图3为本发明所述基于NOMA的无人机辅助MEC资源优化分配方法中的无人机预部署图。根据用户分布密度以及无人机可容纳用户数量得到无人机覆盖半径，并用圆内接正六边形对矩形区域进行覆盖得到的无人机数量和位置如图3所示。其中红色矩形代表该矩形区域，圆心代表无人机水平位置。
图4为本发明所述基于NOMA的无人机辅助MEC资源优化分配方法中PPO算法收敛过程图。横坐标表示训练轮数(Episodes)，纵坐标表示一轮训练中的平均奖励值(Reward)，图中可以明显地看出，在任务数据量为20kb的情况下，随着训练轮数的增多，PPO算法获得的平均奖励值逐渐提高，经过30万轮迭代训练后PPO算法都已经逐渐收敛到最优解。
图5为本发明所述基于NOMA的无人机辅助MEC资源优化分配方法中不同权重系数下时延和能耗的变化图。图5中的权重系数为能耗的权重。可以看出，随着权重系数的不断增大，能耗在不断降低，时延在不断增大。在实际情况中，可以根据对能耗和时延的关注程度以及对能耗或时延的实际要求限制，来调整权重系数。例如，某计算任务对时延的要求为小于8.5s，从图中可以看出须选择小于0.5的能耗权重。
图6为本发明所述基于NOMA的无人机辅助MEC资源优化分配方法中不同无人机数量下系统能耗和时延加权和的对比图。可以看出，在无人机数量为4(即本发明设计的无人机部署方法)时，系统的时延和能耗加权和最小；无人机数量小于4时，由于数量较少，系统性能相比之下较低，加权和较高；无人机数量大于4时，随着无人机数量的增加，悬停能耗消耗越来越大，导致加权和增长较快，系统性能明显下降；因此验证了本方案无人机部署的合理性。
图7为本发明所述基于NOMA的无人机辅助MEC资源优化分配方法中不同优化目标下系统能耗和时延加权和的对比图。可以看出，与只优化时延和只优化能耗相比，本发明的方案(即优化能耗和时延加权和)有更好的系统性能。并且，随着任务数据量的不断增加，本发明的方案相对于其他两种方法来说时延和能耗加权和相差越来越大，说明系统性能越来越好。
图8-10为本发明所述基于NOMA的无人机辅助MEC资源优化分配方法中不同卸载条件下时延、能耗以及加权和的对比图。
图8、图9分别表示本地计算、本地计算与地面基站结合、本地计算与地面基站和无人机相结合三种不同卸载条件下时延、能耗的对比。从图中可以看出随着任务数据量不断增大，时延和能耗也在不断增大，且本发明提出的方案与其他两种方案相比系统性能差距也越来越大。
图10为三种方法下能耗权重为0.7时的时延和能耗加权和的对比图，在任务数据量为45kb时，本方案相比本地计算系统性能提高了30％，相比本地+地面基站提高了20％。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于NOMA的无人机辅助MEC资源优化方法，其特征在于，包括如下步骤：
S1：基于泊松点过程得到用户计算任务的分布情况；
S2：根据所述用户计算任务的分布情况，进行无人机预部署；所述无人机预部署包括无人机覆盖半径的确定以及无人机数量和位置的确定；
S3：构建基于NOMA的无人机辅助MEC系统模型，并满足用户任务的时延要求及无人机的容量要求；所述无人机辅助MEC系统模型包括信道模型和卸载模型；
S4：基于所述无人机辅助MEC系统模型得到优化问题，所述优化问题为最小化系统能耗和任务完成时延的加权和；
S5：对所述优化问题使用深度强化学习算法进行求解，得到最优资源分配方案。
2.根据权利要求1所述的基于NOMA的无人机辅助MEC资源优化方法，其特征在于，S1具体包括如下步骤：
S1-1：设置一个大小为a×b的矩形区域，用户分布密度为λ/㎡，由二维泊松点过程得到用户数量和位置。
3.根据权利要求1所述的基于NOMA的无人机辅助MEC资源优化方法，其特征在于，S2具体包括如下步骤：
S2-1：无人机覆盖半径的确定：
设无人机可容纳的最大用户数为ρmax，最大覆盖范围为rmax，将无人机的覆盖半径表示为在最大覆盖范围内，无人机到第ρmax个用户的水平距离，将覆盖半径表示为无人机到第ρmax个用户的水平距离的期望，即
其中，(ρ)1/ω是Pochammer符号表示法；
S2-2：无人机数量和位置的确定：考虑无人机对矩形场馆密铺，使用圆的内接正六边形对矩形区域进行覆盖，所用的正六边形的个数即为无人机的个数，正六边形中心的位置即为无人机的水平位置。
4.根据权利要求1所述的基于NOMA的无人机辅助MEC资源优化方法，其特征在于，S3具体包括如下步骤：
S3-1：建立无人机辅助的移动边缘计算系统，所述移动边缘计算系统包括M个产生了计算任务的地面用户、N架无人机和K个地面基站；
所述计算任务的地面用户的集合为Μ＝{1,2,...,M}，所述无人机的集合为Ν＝{1,2,...,N}，所述地面基站的集合为K＝{1,2,...,K}，采用三维欧几里得坐标系，将第m个地面用户的水平坐标表示为um＝(xm,ym),m∈Μ，第n架无人机的三维坐标表示为wn＝(qn,hn)，其中qn＝(xn,yn),n∈Ν；
S3-2：建立信道模型：采用自由空间路径损耗模型，相应的信道功率增益主要取决于空对地距离；
S3-3：建立卸载模型，分别计算用户m在本地计算、卸载到无人机n上计算、卸载到地面基站上计算的计算延迟和消耗的能量，之后得到系统总能耗和系统总时延。
5.根据权利要求4所述的基于NOMA的无人机辅助MEC资源优化方法，其特征在于，S3-2具体包括如下步骤：
设无人机与用户之间的带宽为Buav，地面基站与用户之间的带宽为Bbs，每架无人机将带宽分为L＝{1,2,...,L}个相互正交的子信道，地面用户以非正交多址方式将计算任务卸载给无人机或者以频分多址的方式卸载给地面基站，无人机同一子信道的用户共享带宽，同一地面基站的用户平均分配其带宽，如果第m个地面用户决定将其任务卸载给第n架无人机的第l∈L个子信道，则数据速率表示为：
如果第m个地面用户决定将其任务卸载给第k个地面基站，则数据速率将为：
其中，Bk表示将计算任务卸载到地面基站k上的用户分配的带宽，rn,l表示第n架无人机第l个子信道的用户数量，表示该子信道中第i个最小接收功率的用户的索引，i∈{1,2,...,rn,l}，Rm,n,l表示第m个地面用户将任务卸载给第n架无人机的第l个子信道的传输速率，/>表示第m个地面用户向第n架无人机传输数据的发射功率，且该用户在该子信道中的索引为i，pm表示用户m以固定发射功率向地面基站传输数据，gm,k表示地面用户m与地面基站k之间的信道功率增益，N0表示用户与无人机之间的噪声功率，N1表示用户与地面基站之间的噪声功率。
6.根据权利要求4所述的基于NOMA的无人机辅助MEC资源优化方法，其特征在于，S3-3具体包括如下步骤：
本地计算；当用户m的计算任务在本地计算时，其计算延迟为：
消耗的能量为：
其中，fm表示用户m的本地计算能力，κm表示用户m处受芯片架构影响的有效电容系数；
卸载到无人机n上计算；当用户m的计算任务卸载到无人机n上进行计算时，其计算延迟为：
消耗的能量为：
其中，fm,n表示无人机n分配给用户m的计算资源，κn表示无人机n的有效电容系数；
卸载到地面基站上计算；当用户m的计算任务卸载到地面基站上进行计算时，其计算延迟为：
消耗的能量为：
其中，fm,k表示地面基站k分配给用户m的计算资源；
系统总能耗为：
系统总时延为：
7.根据权利要求1所述的基于NOMA的无人机辅助MEC资源优化方法，其特征在于，S4具体包括如下步骤：
设表示无人机的卸载决策，abs＝{am,1,am,2,...am,k}表示基站的卸载决策，/>表示用户的发射功率，fuav＝{f1,n,f2,n,...,fm,n}表示无人机的资源分配，fbs＝{f1,k,f2,k,...,fm,k}表示基站的资源分配；
将系统能耗和时延最小化联合问题表述为：
P:
约束条件为：
C1:
C2:
C3:
C4:
C5:
C6:
C7:γ∈[0,1]
其中，γ为能耗的权重，δe和δt为归一化因子。
8.根据权利要求1所述的基于NOMA的无人机辅助MEC资源优化方法，其特征在于，S5具体包括如下步骤：
S5-1：定义强化学习中环境、状态、动作以及奖励四个关键要素；
S5-2：将求解系统能耗和时延加权和最小化问题转化为求解强化学习中奖励值最大化问题。
9.根据权利要求8所述的基于NOMA的无人机辅助MEC资源优化方法，其特征在于，S5-1中，
环境要素为基于NOMA的无人机辅助MEC系统中的MEC节点，MEC节点在计算奖励值和进行状态转移时需要用到的环境参数主要包括：初始用户数量M及其位置um＝(xm,ym),m∈Μ，无人机数量N及其位置wn＝(qn,hn)；每个用户的本地计算能力fm，有效电容系数κm；每架无人机的带宽Buav、子信道数量L、最大可容纳用户数ρmax、最大计算资源；地面基站的带宽Bbs、最大计算资源与用户之间的信道功率增益gm,k；单位距离的信道功率增益β0，用户与无人机之间噪声功率密度N0，用户与地面基站之间噪声功率密度N1；
状态要素为基于NOMA的无人机辅助MEC系统模型，在当前时隙进行用户计算任务卸载时，可以观察到状态信息S(t)由四部分组成其中Dm＝{D1,D2,...,Dm}表示每个用户计算任务的数据量大小，/>表示每个用户计算任务的最大容许延迟，/>表示每个无人机的剩余资源，fbs表示地面基站的剩余资源；
动作要素由MEC节点对用户的计算任务的卸载和资源分配决策组成，可以表示为动作向量其中am＝{0,1,2,...,n+1}表示用户m的卸载决策，即本地计算、卸载到地面基站、卸载到无人机n，lm＝{1,2}表示无人机的信道选择，pm＝{p1,p1,...,pm}表示用户m的发射功率，/>表示无人机分配给用户m的计算资源，/>表示地面基站分配给用户m的计算资源；
奖励要素：在强化学习模型中，智能体在朝着目标状态探索最佳卸载决策动作的每一步中，在状态S(t)下，执行一个可能的动作A(t)作用于环境后，都会得到一个环境反馈的瞬时奖励。
CN202310399486.XA 2023-04-14 2023-04-14 一种基于noma的无人机辅助mec资源优化方法 Pending CN116528250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310399486.XA CN116528250A (zh) 2023-04-14 2023-04-14 一种基于noma的无人机辅助mec资源优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310399486.XA CN116528250A (zh) 2023-04-14 2023-04-14 一种基于noma的无人机辅助mec资源优化方法

Publications (1)

Publication Number Publication Date
CN116528250A true CN116528250A (zh) 2023-08-01

Family

ID=87403844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310399486.XA Pending CN116528250A (zh) 2023-04-14 2023-04-14 一种基于noma的无人机辅助mec资源优化方法

Country Status (1)

Country Link
CN (1) CN116528250A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117580105A (zh) * 2024-01-15 2024-02-20 南京信息工程大学 一种面向电网巡检的无人机任务卸载优化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117580105A (zh) * 2024-01-15 2024-02-20 南京信息工程大学 一种面向电网巡检的无人机任务卸载优化方法
CN117580105B (zh) * 2024-01-15 2024-04-19 南京信息工程大学 一种面向电网巡检的无人机任务卸载优化方法

Similar Documents

Publication Publication Date Title
Fadlullah et al. HCP: Heterogeneous computing platform for federated learning based collaborative content caching towards 6G networks
CN111800828B (zh) 一种超密集网络的移动边缘计算资源分配方法
CN109413724B (zh) 一种基于mec的任务卸载和资源分配方案
CN113395654A (zh) 一种边缘计算系统的多无人机任务卸载和资源分配的方法
CN114051254B (zh) 一种基于星地融合网络的绿色云边协同计算卸载方法
CN111526592B (zh) 一种用于无线干扰信道中的非协作多智能体功率控制方法
Sami et al. User association and power control for UAV-enabled cellular networks
CN116528250A (zh) 一种基于noma的无人机辅助mec资源优化方法
CN113359480A (zh) 基于mappo算法多无人机与用户协同通信优化方法
CN111526526B (zh) 基于服务混搭的移动边缘计算中的任务卸载方法
CN115103409A (zh) 一种多波束无人机协作通信的资源分配方法
Zhang et al. Deep reinforcement learning for aerial data collection in hybrid-powered noma-iot networks
Gan et al. Trajectory optimization and computing offloading strategy in UAV-assisted MEC system
CN113490219B (zh) 一种面向超密集组网的动态资源分配方法
Luo et al. Joint game theory and greedy optimization scheme of computation offloading for UAV-aided network
CN114786258A (zh) 一种基于图神经网络的无线资源分配优化方法及装置
CN116887355A (zh) 一种多无人机公平协作和任务卸载优化方法及系统
Lee et al. Multi-Agent Reinforcement Learning in Controlling Offloading Ratio and Trajectory for Multi-UAV Mobile Edge Computing
Sazak et al. UAV-BS trajectory optimization under coverage, backhaul and QoS constraints using Q-learning
CN115664486A (zh) 一种ris辅助uav边缘计算系统中无线供能的能效优化方法
Fu et al. Joint speed and bandwidth optimized strategy of UAV-assisted data collection in post-disaster areas
Zhuang et al. GA-MADDPG: A Demand-Aware UAV Network Adaptation Method for Joint Communication and Positioning in Emergency Scenarios
Shabanighazikelayeh et al. Optimal UAV deployment for rate maximization in IoT networks
CN115551013A (zh) 一种多无人机边缘计算网络中无人机部署与任务卸载方法
KR102388620B1 (ko) 기지국 안테나의 기울기 각도 최적화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination