CN117295090A - 一种面向无人机通感一体化系统的资源分配方法 - Google Patents

Abstract

本发明属于雷达通信感知一体化技术领域，具体涉及一种面向无人机通感一体化系统的资源分配方法。本发明首先，在固定无人机位置的情况下，将原始资源分配问题转化为仅对波束成形设计求解的优化问题；其次采用二次变换，将该问题转化为能够为分式规划(FP)的形式，并采用迭代优化的形式逐次逼近最优解，同时得到当前系统最优性能；最后，基于内层所得系统最优性能，利用深度确定性策略梯度(DDPG)算法对UAV位置进行寻优，将性能作为当前时刻奖励值，以信道状态信息(CSI)作为状态，以UAV下一步动作作为动作值，同时借助经验存储机制对动作网络及价值网络进行步进训练。通过对三维UAV的位置及波束成形矢量交替优化，从而收敛至系统最优。

Description

一种面向无人机通感一体化系统的资源分配方法

技术领域

本发明属于雷达通信感知一体化技术领域，具体涉及一种面向无人机通感一体化系统的资源分配方法。

背景技术

下一代无线网络(B5G/6G)被认为是许多新兴应用场景的关键推动力，例如互联智能、车联网和智能城市，这些应用场景需要高质量的无线连接和高精度的感知能力。近年来，由于B5G/6G网络的应用场景中存在大量的位置和环境感知任务，一种普遍的共识是感知技术将成为未来无线通信网络领域的关键发展技术。6G白皮书提出未来的网络不仅需要实现传统的通信功能，还将提供感知功能，对周围环境进行测量甚至成像。因此，在无线网络中拥有通信和感知能力是必要的。为了实现这一目标，通信感知一体化(ISAC)被广泛认为是一种有效的手段。ISAC的目的是在通信和雷达感知之间共享相同的频谱资源和硬件设备，以缓解频带资源短缺的问题，提高资源利用率。

随着无人机制造技术的飞速发展，重量轻、造假成本低、飞行自由度高的双功能无人机(UAV)凭借其自身优势被广泛应用为向通信用户提供服务的移动基站，同时UAV也可以利用通感一体化技术对目标进行有效感知。然而，随着无人机应用场景中无线设备数量的增多，如何在保障通信和感知功能的前提下，尽可能地提高频谱资源和硬件设备的利用效率，是通感一体化领域中值得关注的一个问题。

发明内容

本发明提出一种面向UAV辅助的ISAC系统的联合位置优化及波束成形方法，其中一个双功能UAV被派遣服务CUs和待感知的目标。为了提高系统的吞吐量和频谱利用率，本发明利用凸优化理论及强化学习技术构建双层算法，对UAV飞行位置和发射端波束成形设计进行联合优化。与传统方法相比，仿真结果验证了本发明所提算法在保证感知性能的同时，提高了通信性能的优越性。

本发明的技术方案是：首先，在固定无人机位置的情况下，将原始资源分配问题转化为仅对波束成形设计求解的优化问题；其次，由于传统连续凸逼近仅能寻找问题的次优解，因此，本发明采用二次变换，将该问题转化为能够为分式规划(FP)的形式，并采用迭代优化的形式逐次逼近最优解，同时得到当前系统最优性能；最后，基于内层所得系统最优性能，利用深度确定性策略梯度(DDPG)算法对UAV位置进行寻优，将性能作为当前时刻奖励值，以信道状态信息(CSI)作为状态，以UAV下一步动作作为动作值，同时借助经验存储机制对动作网络及价值网络进行步进训练。通过对三维UAV的位置及波束成形矢量交替优化，从而收敛至系统最优。

本发明的技术方案包括以下步骤：

S1、建立双功能无人机UAV辅助的通信感知一体化ISAC系统，系统由K个通信用户CUs、M个雷达感知目标和带有N个天线的无人机组成，其中，UAV通过下行链路向K个用户提供通信传输服务，同时向M个雷达感知目标发射波束进行感知，设定UAV的位置坐标为q^v＝(x^v,y^v,z^v)，K个CUs的坐标分别为u_k＝(x_k,y_k,0),M个雷达感知目标的位置坐标为t_m＝(x_m,y_m,0),/>

S2、根据UAV与CUs间的位置信息，基于视距无线传输LOS模型计算信道增益和用户接收端的信干噪比SINR，从而获得各用户接收处的通信速率，具体为：

用s_k表示第k个通信用户所期望的接受信号，w_k表示该用户对应的发射波束成形向量，则UAV发射信号表示为：

UAV的平均发射功率表示为

根据UAV发射信号，得到第k个通信用户在其接收端的接收信号y_k为：

其中，n_k表示方差为的循环对称复高斯噪声，/>为UAV与用户间的通信信道；

定义LOS信道为：

其中，β表示参考距离d₀＝1m处的信道功率增益，表示UAV和通信用户间的距离，a(q^v,u_k)表示朝向用户k的转向矢量：

其中λ和d分别表示载波波长和两个相邻天线之间的间距，θ(q^v,u_k)表示对应于第k个通信用户的离开角AoD：

定义UAV与第m个感知目标间的转向矢量为a(q^v,t_m)，将h(q^v,u_k)和a(q^v,t_m)分别简化为h_k和a_m，得到第k个通信用户接受端的信干噪比表达式为：

其中是通信用户在其接收机处的加性高斯白噪声的方差，从而得到第k个通信用户接受端的可达通信速率s_k为：

S3、获取UAV对目标的有效感知功率，并以该功率作为ISAC系统的感知性能指标，具体为：

设计UAV发送信号的协方差矩阵为：

将感知函数最大化目标有效感知功率的问题，等价转化为使目标方向上的波束增益最大化：

其中P_m为目标的有效感知功率；

S4、建立无人机通信感知一体化系统的联合位置优化及资源分配问题为：

其中问题的目标是使归一化比特率的加权和最大化，β_k∈[0，1]表示第k个用户的优先级的权重值，第一约束(Cl)表示目标方向上的有效感知功率应高于合适的阈值，该阈值受UAV与目标位置之间的距离d(q^v,t_m)的影响，ε是比例因子；第二约束(C2)表示发射端的最大功率和为P_max；第三约束(C3)把UAV飞行范围限定在一个圆形区域内，其中z_min和z_max分别是最低和最高飞行高度，r_cell是飞行区域的半径；

S5、对S4建立的模型进行求解，得到的最优UAV位置和波束成形矢量设计；

S6、利用得到的最优UAV位置和波束成形矢量设计，在UAV侧对K个CUs的信息符号分别进行波束成形，并通过N个天线向所有CUs和M个感知目标发送该共用波形，实现通感一体的下行传输。

进一步的，S5的具体方法为通过双层机制对无人机位置和发射波束进行联合优化，实现模型的最优解求解，具体为：

双层机制的内层算法为：在任意给定的UAV飞行位置q^v下，确定所有的h_k和a_m，将波束成形优化子问题重新表述为：

s.t.(C1),(C2).

其中F是约束(C1)-(C3)的联合可行域，将一阶泰勒展开应用于P_m，在给定点处获得P_m的近似表示为：

将问题重新表示为：

定义表示非空约束集，其中/>是变量的维数，函数z_m(x)的序列：/>和/>对于m＝1，…，M，则多维单比FP问题定义为：

FP问题的二次变换由下式给出：

其中v是辅助变量，{v₁,...,v_m}，

定义w是所有w_k的集合，当给出时，将问题/>中的波束成形优化子问题重新表示为：

s.t.(C1^*),(C2)

其中为了简化符号的表达，定义和/>此外，v_k是与多维单比/>的二次变换相关的辅助变量，f(x)＝log₂(1+x)；

当原始变量w_k固定时，剩余的问题重新表示为：

其中所有在v_k中是凹的，并且f(.)既是凹的又是递增的，基于复合规则可得/>也是凹的，可得问题/>是一个凸问题；

当辅助变量v_k固定时，剩余的问题重新表示为：

s.t.(C1^*),(C2)

同样，可以证明目标也是关于w_k的凹函数，重新表示的问题也是一个凸问题，因为它最大化了几个凸集的交集上的凹函数；

是没有约束的凸问题，通过将目标的一阶导数设置为零来获得封闭形式的最优v_k，即/>对于/>用内点法或拉格朗日对偶法求解，第s次迭代中/>的优化结果w_k作为下一次迭代中的不动点/>

由于的目标是上界的，所以{U^(t)}_t≥1收敛于/>的一个稳定点，内层算法将收敛到/>的一个平稳点，经过内层算法得到波束成形设计结果；

双层机制的外层算法：外层算法基于内层算法计算结果，对UAV位置进行寻优，具体为：基于波束成形设计结果，将剩余的UAV放置子问题公式化为：

s.t.(C3)

其中η^*(q^v)定义为给定UAV布局q^v下的优化目标；

通过将问题建模为马尔可夫决策过程进行求解，定义马尔可夫决策过程中状态、动作和奖励，在第t个转变处，状态被定义为s(t)＝(q^v(t),θ_m(t),d_k(t))，其中θ_m(t)是从UAV到第m个目标的AoD，并且d_k(t)是UAV与第k个CU之间的距离，动作定义为UAV轨迹：a(t)＝(λ(t),μ(t),v(t))，其中λ(t)是飞行距离，μ(t)和v(t)分别是与x轴正半轴和z轴正半轴的飞行角度；定义/>如下：

如果满足(C3)，则用/>代替q^v(t+1)；否则，通过求解以下问题，将q^v(t+1)投影到最近的可行布局上：

s.t.(C3)

其中是凸的，用内点法求解；此外，奖励被定义为q^v＝q^v(t+1)下/>的最优目标：r(t)＝η^*(q^v(t+1))，根据内层算法得到；通过这种方式，UAV布局依赖于波束形成设计的结果，并且UAV布局和波束形成将通过以下训练过程来联合设计：

应用DDPG算法并采用动作评价学习框架，在动作评价学习框架中，动作由在线决策网络u(s；φ)和目标策略网络组成；其中，评价器由一个在线Q值网络Q(s,a；ψ)和目标Q值网络/>组成，其中/>和/>是与基于DNN的网络相关联的参数；

在第t次转换时，通过观察无线环境中的状态s(t)，选择动作a(t)，动作选择是根据函数a(t)＝u(s(t)；φ)+n(t)和环境噪声n(t)来进行的，其中n(t)用于在探索和开发之间权衡；因此，无线环境的状态从s(t)转换为s(t+1)，并且通过使用内层算法解决问题来获得奖励r(t)，其中q^v＝q^v(t+1)；并且使用先进先出的经验存储放回机制ERM来存储4元组(s(t),a(t),r(t),q^v(t+1))，以便从行为策略的样本中获取近似值；

在ERM饱和后，分别通过最小化以下损失函数来训练价值网络和动作网络

其中

N_b是小批量，表示从ERM中随机选择的用于每次训练的样本数量，γ是将每个未来奖励r(t+j)，映射到当前转换上的折扣因子；然后将两个目标网络更新为和/>其中ρ是软更新因子。

本发明的有益效果为，本发明是一种基于子带综合和多特征融合机制的雷达目标识别方法。首先，通过将子带数据相参融合以生成超宽带数据，进而基于超宽带信号提取目标的时域HRRP特征和频域GTD特征。相较于子带信号，基于超宽带信号可提取目标精细化识别所需的高精度特征。其次，通过一种多特征融合机制计算出识别贡献度最大的GTD特征，将该参数特征用以辅助特征融合网络模型的训练，以提升目标识别方法的性能。因此，该方法可以充分利用目标样本集提供的识别信息，提取更稳健的目标特征，实现相似目标的高精度识别。

附图说明

图1为本发明所涉及一种面向无人机辅助的通感一体化系统的场景图。

图2为本发明所提资源分配算法的示意图。

具体实施方式

下面将结合附图，对本发明的技术方案进行清楚、完整地描述。

如图2所示，为本发明的流程，具体包括：

步骤1：建立一个UAV辅助的ISAC系统模型，该系统由K个通信用户(CUs)、M个雷达感知目标(Target)和带有N个天线的无人机组成，如图1所示。并初始化该系统参数。

步骤1-1：考虑一个典型的ISAC系统模型,如图1所示。假设在这个三维(3D)的无人机通信感知一体化场景中，双功能UAV配备有N个天线单元组成的均匀线阵(ULA)，无人机通过下行链路向K个用户提供通信传输服务，同时向M个待观测目标的特定方位发射波束进行感知。即本发明涉及的ISAC系统模型中包含双功能UAV、K个CUs和M个感知目标。

步骤1-2：初始化ISAC系统模型的参数。不失一般性，本发明考虑三维笛卡尔坐标系。假设在当前通感一体化场景中，双功能UAV在三维坐标系中的位置为q^v＝(x^v,y^v,z^v)，K个CUs的坐标分别为u_k＝(x_k,y_k,0),M个待观测感知目标的位置坐标为t_m＝(x_m,y_m,0),/>

步骤2：构建通信系统模型，根据步骤1中UAV与CUs间的位置信息，基于视距无线传输(LOS)模型计算信道增益和用户接收端的信干噪比(SINR)，从而获得各用户接收处的通信速率。

步骤2-1：用s_k表示第k个通信用户所期望的接受信号，w_k表示该用户对应的发射波束成形向量，则UAV发射信号可以表示为

其中UAV的平均发射功率可表示为

步骤2-2：根据步骤2-1获取的UAV发射信号，计算第k个通信用户在其接收端的接收信号y_k为

其中n_k表示方差为的循环对称复高斯噪声，/>为UAV与用户间的通信信道。

步骤2-3：在本发明中，考虑将视距无线传输(LOS)信道作为UAV与各用户间的通信信道，该信道可表示为

其中，β表示参考距离d₀＝1m处的信道功率增益，表示UAV和通信用户间的距离，a(q^v,u_k)表示朝向用户k的转向矢量，其计算过程为

其中λ和d分别表示载波波长和两个相邻天线之间的间距。θ(q^v,u_k)表示对应于第k个通信用户的离开角(AoD)，AOD可由下式计算得到

步骤2-4：定义UAV与第m个感知目标间的转向矢量为a(q^v,t_m)。为了便于表达，本发明将h(q^v,u_k)和a(q^v,t_m)分别简化为h_k和a_m。根据步骤2-1中获取的UAV发射信号，分析可知每个通信用户将遭受来自其他用户的同信道干扰。因此，第个通信用户接受端的信干噪比

其中是通信用户在其接收机处的加性高斯白噪声的方差。基于此，第k个通信用户接受端的可达通信速率s_k为

步骤3：根据步骤1中构建的系统模型，建立感知系统模型，获取UAV对目标的有效感知功率，并以该功率作为ISAC系统的感知性能指标。

步骤3-1：在ISAC系统中，在满足感知要求的前提下，一般利用通信信号来执行感知任务，这相当于设计发送信号的协方差矩阵。在这种情况下，协方差矩阵为

步骤3-2：将感知函数最大化目标有效感知功率的问题，等价转化为使目标方向上的波束增益最大化：

其中P_m为目标的有效感知功率，a_m是根据步骤2-4定义的转向矢量.

步骤4：基于上述步骤，无人机通信感知一体化系统的联合位置优化及资源分配问题可以建模如下:

其中的目标是使归一化比特率的加权和最大化，β_k∈[0，1]表示第k个用户的优先级的权重值。约束(Cl)表示目标方向上的有效感知功率应高于合适的阈值，该阈值受UAV与目标位置之间的距离d(q^v,t_m)的影响，其中ε是比例因子。约束(C2)表示发射端的最大功率和为P_max。约束(C3)把UAV飞行范围限定在一个圆形区域内，其中z_min和z_max分别是最低和最高飞行高度，r_cell是飞行区域的半径。

步骤5：针对步骤4中优化模型的非凸性，利用本发明提出的双层机制对无人机位置和发射波束进行联合优化，实现模型的最优解求解。

步骤5-1：首先是双层机制的内层算法：基于给定的UAV位置，利用分式规划及二次变化，对波束成形进行设计以使系统性能最大化。具体地，在任意给定的UAV飞行位置q^v下，确定所有的h_k和a_m。因此，波束成形优化子问题被重新表述为

s.t.(C1),(C2).

其中F是约束(C1)-(C3)的联合可行域。由于目标函数的非凸性，不能直接获得的最优解。

对于约束(C1)，虽然P_m是非凸可行域，但它可以被改写为仿射函数与常数之差。本发明将一阶泰勒展开应用于P_m，则可以在给定点处获得P_m的合理近似表示为

与P_m不同，恢复凹性，因为它变成线性函数，这意味着一旦给定/>可行域已经改变为凸的。则/>可以重新表示为

的目标函数是指一个涉及一簇比率项的优化问题，可以通过分式规划来解决。用/>表示非空约束集，其中/>变量的维数，函数z_m(x)的序列：/>和对于m＝1，…，M，则多维单比FP问题可以定义为

上述FP问题的二次变换由下式给出：

其中v是辅助变量，{v₁,...,v_m}，与经典的Charnes-Cooper变换和Dinkelbach变换不同，本发明利用二次变换可以确保不改变步骤3-2中原始可行域。特别地，对于任何给定的x，令/>则/>因此，x^*最大化时当且仅当(x^*,y^*)最大化g(x,v)。通过上述分析，期望二次变换将涉及比率函数和的FP解耦，如本步骤中考虑的/>则我们可以获得以下命题。

步骤5-2：设w是所有w_k的集合，当给出时，/>中的波束成形优化子问题可以重新表示为如下

s.t.(C1^*)，(C2).

其中为了简化符号的表达，我们设置和/>此外，v_k是与多维单比/>的二次变换相关的辅助变量，f(x)＝log₂(1+x)。

当w_k或v_k固定时，拉麦宁问题是凸的，可以很容易地解决。首先，当原始变量w_k固定时，剩余的/>可以重新表示为

其中所有在v_k中是凹的，并且f(.)既是凹的又是递增的，基于复合规则可得/>也是凹的。由于/>最大化凸集上凹函数的加权和，因此它是一个凸问题。

其次，当辅助变量v_k固定时，剩余的可以重写为

s.t.(C1^*),(C2).

同样，可以证明目标也是关于w_k的凹函数。也是一个凸问题，因为它最大化了几个凸集的交集上的凹函数。

是没有约束的凸问题，并且可以通过将目标的一阶导数设置为零来获得封闭形式的最优v_k，即/>对于/>我们可以用内点法或拉格朗日对偶法求解。此外，第s次迭代中/>的优化结果w_k可以作为下一次迭代中的不动点/>

重复步骤5-2，可以发现{U^(t)}_t≥1非减的。由于的目标是上界的，所以{U^(t)}_t≥1收敛于/>的一个稳定点；然后基于步骤5-1，本发明所提出的内层算法将收敛到/>的一个平稳点。

步骤5-3：其次是外层算法：外层算法基于内存算法计算结果，对UAV位置进行寻优。首先，基于步骤5-2的波束成形设计结果，剩余的UAV放置子问题可以被公式化为

s.t.(C3).

其中η^*(q^v)定义为给定UAV布局q^v下的优化目标。然而，由于耦合变量的存在，使得/>非常复杂，并且没有η^*(q^v)的封闭表达式。因此，我们不能使用依赖于梯度信息的模型驱动优化算法。另外，进化算法虽然能搜索到优化问题的全局最优解，但在实际应用中会产生不可接受的冗余计算时间。为了解决上述问题，本发明通过将/>建模为马尔可夫决策过程，将数据驱动的DRL作为一种有效的解决方案。

步骤5-4：定义马尔可夫决策过程中状态、动作和奖励。在第t个转变处，状态被定义为s(t)＝(q^v(t),θ_m(t),d_k(t))，其中θ_m(t)是从UAV到第m个目标的AoD，并且d_k(t)是UAV与第k个CU之间的距离。动作定义为UAV轨迹：a(t)＝(λ(t),μ(t),v(t))，其中λ(t)是飞行距离，μ(t)和v(t)分别是与x轴正半轴和z轴正半轴的飞行角度。定义如下

如果满足(C3)，则可以用/>代替q^v(t+1)；否则，通过求解以下问题，将q^v(t+1)投影到最近的可行布局上：

s.t.(C3).

其中是凸的，可以用内点法求解。此外，奖励被定义为q^v＝q^v(t+1)下/>的最优目标：r(t)＝η^*(q^v(t+1))，其可根据步骤5-1和步骤5-2所提及的内层算法得到。通过这种方式，UAV布局依赖于波束形成设计的结果，并且UAV布局和波束形成将通过本发明以下训练过程来联合设计。

步骤5-5：设计DDPG的训练流程。为了获得从状态空间到连续动作空间的最优策略，本发明应用DDPG算法并采用动作评价学习框架。在动作评价学习框架中，动作由在线决策网络u(s；φ)和目标策略网络组成；其中，评价器由一个在线Q值网络Q(s,a；ψ)和目标Q值网络/>其中/>和/>是与上述四个基于DNN的网络相关联的参数。

在第t次转换时，通过观察无线环境中的状态s(t)，选择动作a(t)。动作选择是根据函数a(t)＝u(s(t)；φ)+n(t)和环境噪声n(t)来进行的，其中n(t)用于在探索和开发之间权衡。因此，无线环境的状态从s(t)转换为s(t+1)，并且通过使用步骤5-1和步骤5-2中基于FP的波束赋形设计算法解决问题来获得奖励r(t)，其中q^v＝q^v(t+1)。此外，本发明使用先进先出的经验存储放回机制(ERM)来存储4元组(s(t),a(t),r(t),q^v(t+1))，以便从行为策略的样本中获取近似值。

在ERM饱和后，分别通过最小化以下损失函数来训练价值网络和动作网络

其中

N_b是小批量，其表示从ERM中随机选择的用于每次训练的样本数量。γ是将每个未来奖励r(t+j)，映射到当前转换上的折扣因子。梯度下降法可以有效地解决上述问题。然后，两个目标网络可以更新为/>和/>其中ρ是软更新因子。/>

步骤6：利用步骤5所得到的最优UAV位置和波束成形矢量设计，在UAV侧对K个CUs的信息符号分别进行波束成形，并通过N个天线向所有CUs和M个感知目标发送该共用波形，实现通感一体的下行传输。

Claims (2)

1.一种面向无人机通感一体化系统的资源分配方法，其特征在于，包括以下步骤：

S1、建立双功能无人机UAV辅助的通信感知一体化ISAC系统，系统由K个通信用户CUs、M个雷达感知目标和带有N个天线的无人机组成，其中，UAV通过下行链路向K个用户提供通信传输服务，同时向M个雷达感知目标发射波束进行感知，设定UAV的位置坐标为q^v＝(x^v,y^v,z^v)，K个CUs的坐标分别为M个雷达感知目标的位置坐标为

S2、根据UAV与CUs间的位置信息，基于视距无线传输LOS模型计算信道增益和用户接收端的信干噪比SINR，从而获得各用户接收处的通信速率，具体为：

用s_k表示第k个通信用户所期望的接受信号，w_k表示该用户对应的发射波束成形向量，则UAV发射信号表示为：

UAV的平均发射功率表示为

根据UAV发射信号，得到第k个通信用户在其接收端的接收信号y_k为：

其中，n_k表示方差为的循环对称复高斯噪声，/>为UAV与用户间的通信信道；

定义LOS信道为：

其中，β表示参考距离d₀＝1m处的信道功率增益，表示UAV和通信用户间的距离，a(q^v,u_k)表示朝向用户k的转向矢量：

其中λ和d分别表示载波波长和两个相邻天线之间的间距，θ(q^v,u_k)表示对应于第k个通信用户的离开角AoD：

定义UAV与第m个感知目标间的转向矢量为a(q^v,t_m)，将h(q^v,u_k)和a(q^v,t_m)分别简化为h_k和a_m，得到第k个通信用户接受端的信干噪比表达式为：

其中是通信用户在其接收机处的加性高斯白噪声的方差，从而得到第k个通信用户接受端的可达通信速率s_k为：

S3、获取UAV对目标的有效感知功率，并以该功率作为ISAC系统的感知性能指标，具体为：

设计UAV发送信号的协方差矩阵为：

将感知函数最大化目标有效感知功率的问题，等价转化为使目标方向上的波束增益最大化：

其中P_m为目标的有效感知功率；

S4、建立无人机通信感知一体化系统的联合位置优化及资源分配问题为：

其中问题的目标是使归一化比特率的加权和最大化，β_k∈[0，1]表示第k个用户的优先级的权重值，第一约束(Cl)表示目标方向上的有效感知功率应高于合适的阈值，该阈值受UAV与目标位置之间的距离d(q^v,t_m)的影响，ε是比例因子；第二约束(C2)表示发射端的最大功率和为P_max；第三约束(C3)把UAV飞行范围限定在一个圆形区域内，其中z_min和z_max分别是最低和最高飞行高度，r_cell是飞行区域的半径；

S5、对S4建立的模型进行求解，得到的最优UAV位置和波束成形矢量设计；

S6、利用得到的最优UAV位置和波束成形矢量设计，在UAV侧对K个CUs的信息符号分别进行波束成形，并通过N个天线向所有CUs和M个感知目标发送该共用波形，实现通感一体的下行传输。

2.根据权利要求1所述的一种面向无人机通感一体化系统的资源分配方法，其特征在于，S5的具体方法为通过双层机制对无人机位置和发射波束进行联合优化，实现模型的最优解求解，具体为：

双层机制的内层算法为：在任意给定的UAV飞行位置q^v下，确定所有的h_k和a_m，将波束成形优化子问题重新表述为：

s.t.(C1),(C2)

其中F是约束(C1)-(C3)的联合可行域；

将一阶泰勒展开应用于P_m，在给定点处获得P_m的近似表示为：

将问题重新表示为：

定义表示非空约束集，其中/>是变量的维数，函数z_m(x)的序列：/>和B_m(x):/>对于m＝1，…，M，则多维单比FP问题定义为：

FP问题的二次变换由下式给出：

其中v是辅助变量，{v₁,...,v_m}，

定义w是所有w_k的集合，当给出时，将问题/>中的波束成形优化子问题重新表示为：

s.t.(C1^*),(C2)

其中为了简化符号的表达，定义/>和/>此外，v_k是与多维单比/>的二次变换相关的辅助变量，f(x)＝log₂(1+x)；

当原始变量w_k固定时，剩余的问题重新表示为：

其中所有在v_k中是凹的，并且f(.)既是凹的又是递增的，基于复合规则可得/>也是凹的，可得问题/>是一个凸问题；

当辅助变量v_k固定时，剩余的问题重新表示为：

s.t.(C1^*),(C2)

同样，可以证明目标也是关于w_k的凹函数，重新表示的问题也是一个凸问题，因为它最大化了几个凸集的交集上的凹函数；

是没有约束的凸问题，通过将目标的一阶导数设置为零来获得封闭形式的最优v_k，即/>对于/>用内点法或拉格朗日对偶法求解，第s次迭代中/>的优化结果w_k作为下一次迭代中的不动点/>

由于的目标是上界的，所以{U^(t)}_t≥1收敛于/>的一个稳定点，内层算法将收敛到的一个平稳点，经过内层算法得到波束成形设计结果；

双层机制的外层算法：外层算法基于内层算法计算结果，对UAV位置进行寻优，具体为：基于波束成形设计结果，将剩余的UAV放置子问题公式化为：

s.t.(C3)

其中η^*(q^v)定义为给定UAV布局q^v下的优化目标；

通过将问题建模为马尔可夫决策过程进行求解，定义马尔可夫决策过程中状态、动作和奖励，在第t个转变处，状态被定义为s(t)＝(q^v(t),θ_m(t),d_k(t))，其中θ_m(t)是从UAV到第m个目标的AoD，并且d_k(t)是UAV与第k个CU之间的距离，动作定义为UAV轨迹：a(t)＝(λ(t),μ(t),v(t))，其中λ(t)是飞行距离，μ(t)和v(t)分别是与x轴正半轴和z轴正半轴的飞行角度；定义/>如下：

如果满足(C3)，则用/>代替q^v(t+1)；否则，通过求解以下问题，将q^v(t+1)投影到最近的可行布局上：

s.t.(C3)

其中是凸的，用内点法求解；此外，奖励被定义为q^v＝q^v(t+1)下/>的最优目标：r(t)＝η^*(q^v(t+1))，根据内层算法得到；通过这种方式，UAV布局依赖于波束形成设计的结果，并且UAV布局和波束形成将通过以下训练过程来联合设计：

应用DDPG算法并采用动作评价学习框架，在动作评价学习框架中，动作由在线决策网络u(s；φ)和目标策略网络组成；其中，评价器由一个在线Q值网络Q(s,a；ψ)和目标Q值网络/>组成，其中φ,/>ψ和/>是与基于DNN的网络相关联的参数；

在第t次转换时，通过观察无线环境中的状态s(t)，选择动作a(t)，动作选择是根据函数a(t)＝u(s(t)；φ)+n(t)和环境噪声n(t)来进行的，其中n(t)用于在探索和开发之间权衡；因此，无线环境的状态从s(t)转换为s(t+1)，并且通过使用内层算法解决问题来获得奖励r(t)，其中q^v＝q^v(t+1)；并且使用先进先出的经验存储放回机制ERM来存储4元组(s(t),a(t),r(t),q^v(t+1))，以便从行为策略的样本中获取近似值；

在ERM饱和后，分别通过最小化以下损失函数来训练价值网络和动作网络

其中

N_b是小批量，表示从ERM中随机选择的用于每次训练的样本数量，γ是将每个未来奖励r(t+j)，映射到当前转换上的折扣因子；然后将两个目标网络更新为和/>其中ρ是软更新因子。