CN113259836A - 一种irs辅助无人机通信网络联合优化方法 - Google Patents

Abstract

本发明提供一种IRS辅助无人机通信网络联合优化方法，属于无线通信技术领域。所述方法包括：S101，以网络中所有用户加权和速率最大化为目标，建立关于UAV初始位置部署、UAV轨迹优化、UAV发射波束形成和IRS相位偏移的联合优化问题目标函数；S102，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)，对子问题P(A)，更新UAV发射波束和IRS相位偏移；S103，将联合优化问题转化成关于UAV初始位置部署和UAV轨迹优化的子问题P(B)，对子问题P(B)，更新无人机初始水平位置和UAV轨迹；S104，按照S102和S103进行迭代计算，直至达到收敛条件，则完成联合优化。采用本发明，能够有效解决丢包率高、信号质量差、能量损耗大的问题。

Description

一种IRS辅助无人机通信网络联合优化方法

技术领域

本发明涉及无线通信技术领域，特别是指一种IRS辅助无人机通信网络联合优化方法。

背景技术

作为空中飞行基站，无人机在大部分时间里能为地面用户提供视距信道链路，具有更好的空对地信道，可以显著提高网络传输性能。此外，无人机的高机动性、灵活部署和敏捷性，使其能够在紧急情况下快速部署并有效建立按需通信。与传统通信基础设施相比，无人机部署的成本更低，利用无人机通信提高无线网络覆盖是一个经济有效的选择。对于建筑密集地区，通常需要提高无人机高度来建立与用户之间视距连接。但是，增加无人机高度会导致更大的路径损失和能量损耗，且高建筑等障碍的物理信号阻挡和干扰会导致高丢包率现象频发。

智能反射面(IRS)作为6G的一项新兴无线传输技术可用作无线通信网络传输的信号补盲，其具有轻便、低成本的特点，可以很容易地安装在墙壁、天花板、广告牌、路灯上等。IRS通过在平面上集成大量低成本的无源反射元件，每个反射单元均可巧妙地调整入射信号的振幅和相位，从而使得信号的方向和强度在接收端高度可控，可以智能地重新配置无线传播环境。当用户或者物联网设备处于一个死角之时，IRS通过智能反射建立视距链路绕开障碍，解决信号覆盖死角问题。在无人机通信网络中部署低成本的IRS，让IRS反射信号与来自目标接收节点处的其他路径的信号相干地叠加实现有用信号增强，营造视距环境，从而提高无人机通信网络中无线信号的传输可靠性。

然而，在当前IRS辅助无人机通信系统中，如何更好的对无人机发射波束、IRS相位、无人机位置和飞行轨迹进行设计是保证无人机通信系统保持所有用户最大加权和速率通信的关键，如何进行合理的通信优化，将直接影响经济效益。

发明内容

本发明实施例提供了IRS辅助无人机通信网络联合优化方法，能够有效解决丢包率高、信号质量差、能量损耗大的问题。所述技术方案如下：

一方面，提供了一种IRS辅助无人机通信网络联合优化方法，该方法应用于电子设备，该方法包括：

S101，以网络中所有用户加权和速率最大化为目标，建立关于UAV初始位置部署、UAV轨迹优化、UAV发射波束形成和IRS相位偏移的联合优化问题目标函数；其中，UAV表示无人机，IRS表示智能反射面；

S102，根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)，对子问题P(A)，分别利用近似线性法和迭代秩极小化法更新UAV发射波束和IRS相位偏移；

S103，根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化成关于UAV初始位置部署和UAV轨迹优化的子问题P(B)，对子问题P(B)，分别利用增强k-means法和强化学习算法更新无人机初始水平位置和UAV轨迹；

S104，按照S102和S103进行迭代计算，直至达到收敛条件，则完成联合优化。

进一步地，在以网络中所有用户加权和速率最大化为目标，建立关于UAV初始位置部署、UAV轨迹优化、UAV发射波束形成和IRS相位偏移的联合优化问题目标函数之前，所述方法包括：

设IRS辅助无人机通信网络中的无人机及IRS到用户的下行链路中，有K架无人机，对应的所有用户分为K个簇，第k架无人机对应的用户簇为簇k，每架无人机与M_k个用户进行通信，簇k中第i个用户(k,i)在时隙n时接收信噪比γ_k,i[n]为：

其中，d_k,i[n]表示在IRS辅助无人机通信网络下行链路中无人机k与用户(k,i)之间在时隙n时的直接链路等效基带信道向量，上标H表示共轭转置；R_k,i[n]为简写形式，

diag()表示一个对角矩阵，其对角元素由其输入向量给出，r_k,i[n]表示IRS与用户(k,i)之间在时隙n时的等效基带信道向量，G_k[n]表示无人机k与相应的IRS之间的等效基带信道向量；θ表示IRS相位偏移矩阵，θ＝[θ₁,…,θ_m,…,θ_M]^H，

θ_m为IRS上第m个元素的反射系数，M为IRS上的反射元素个数，

表示IRS上第m个元素的相位；w_k,i[n]、w_k,j[n]分别为时隙n时无人机k在用户(k,i)、(k,j)处的发射波束形成矢量，

为用户接收机加性高斯白噪声的功率。

进一步地，建立的联合优化问题目标函数P表示为：

C5:q_k[0]＝q_I,q_k[N]＝q_F

其中，

表示UAV发射波束，

表示无人机的初始位置部署，

表示无人机的轨迹，C1表示无人机发射功率约束，C2表示IRS的相位偏移约束，C3表示了任意两架无人机之间保持不相撞的最小距离约束，C4保证了无人机在极小时隙内相当于位置无变动，C5规定了无人机起始和结束位置，ω_k,i[n]表示用户(k,i)在无人机k与相应用户簇中的优先级，P_k表示第k架无人机的最大发射功率，q_k[n]、q_l[n]分别表示第k架无人机和第l架无人机的水平位置，△_min表示任意两架无人机之间避免碰撞的最小距离，V_max、T和N分别表示无人机最大飞行速度、最大飞行时间和飞行时间被分成的N个时隙，q_I、q_F分别表示无人机的初始位置和终点位置。

进一步地，所述根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)，对子问题P(A)进行拉格朗日对偶变换和二次变换后，分别利用近似线性法和迭代秩极小化法对UAV发射波束和IRS相位偏移进行优化，得到更新后的UAV发射波束形成矩阵和IRS相位偏移矩阵包括：

根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)：{W,θ}；

利用分式规划理论，对子问题P(A)进行拉格朗日对偶变换和二次变换后，引入辅助变量α和β，将问题P(A)转化为P(A1)；

针对问题P(A1)采用块坐标下降法方法对优化变量α、β、W、θ进行分解；

利用近似线性法更新无人机发射波束W；

根据更新结果，固定W和β，引入辅助变量ε、μ，将问题P(A1)转化为关于θ的非凸二次约束二次规划问题；

利用迭代秩极小化法更新IRS相位偏移θ。

进一步地，辅助变量α、β和无人机发射波束W的更新表达式为：

其中，

Re{}表示输入复数的实数部分，ζ是无人机发射功率约束的对偶向量，E_M为M阶单位矩阵，β^*表示参数β的共轭，

分别表示参数α、β、θ、w、χ更新后的值。

进一步地，将问题P(A1)转化为关于θ的非凸QCQP问题：

引入秩为1的半正定矩阵，将非凸QCQP问题转化为半定规划问题，将秩1约束分解为多个小规模的约束，利用迭代秩极小化将分解后的子矩阵化为秩1矩阵，得到IRS相位偏移θ。

进一步地，所述根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化成关于UAV初始位置部署和UAV轨迹优化的子问题P(B)，对子问题P(B)，分别利用增强k-means法和强化学习算法更新无人机初始水平位置和UAV轨迹包括：

根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化为关于UAV初始位置部署和UAV轨迹优化的子问题P(B):{C,Q}；

针对子问题P(B)，利用改进初始化簇中心位置的增强k-means算法进行无人机和用户之间的匹配，完成基于信道相关性的用户分簇，将所有用户分为K个簇，每个簇有M_k个用户，分簇完成后，把K个无人机的初始水平位置部署在各个簇的中心位置，然后利用强化学习进行无人机轨迹优化。

进一步地，利用强化学习进行轨迹优化的值函数迭代更新公式为：

其中，Q_τ(s_τ,a_τ)为值函数且初值为全零，u为学习速率因子，v为折扣因子，a_τ表示第τ时刻无人机采取的动作，s_τ表示第τ时刻的状态，R_τ为奖励函数。

进一步地，奖励函数R_τ表示为：

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述IRS辅助无人机通信网络联合优化方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述IRS辅助无人机通信网络联合优化方法。

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例中，通过引入低成本IRS作为信号补盲辅助无人机建立视距链路，利用交替优化算法将整体优化问题分解为两个子问题去解决，在实现无人机发射波束、IRS相位偏移、无人机初始位置部署和无人机轨迹联合优化的同时，降低了计算复杂度和目标函数参数深耦合问题，同时保证网络中所有用户的加权和速率最大化，能够有效解决丢包率高、信号质量差、能量损耗大的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的IRS辅助无人机通信网络联合优化方法的流程示意图；

图2为本发明实施例提供的IRS辅助的无人机通信网络系统架构示意图；

图3是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明实施例提供了一种IRS辅助无人机通信网络联合优化方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器，该方法包括：

S101，以网络中所有用户加权和速率最大化为目标，建立关于UAV初始位置部署、UAV轨迹优化、UAV发射波束形成和IRS相位偏移的联合优化问题目标函数；其中，UAV表示无人机，IRS表示智能反射面；

S102，根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)，对子问题P(A)，分别利用近似线性法和迭代秩极小化法更新UAV发射波束和IRS相位偏移；

S103，根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化成关于UAV初始位置部署和UAV轨迹优化的子问题P(B)，对子问题P(B)，分别利用增强k-means法和强化学习算法更新无人机初始水平位置和UAV轨迹；

S104，按照S102和S103进行迭代计算，直至达到收敛条件，则完成联合优化。

本发明实施例所述的IRS辅助无人机通信网络联合优化方法，通过引入低成本IRS作为信号补盲辅助无人机建立视距链路，利用交替优化算法将整体优化问题分解为两个子问题去解决，在实现无人机发射波束、IRS相位偏移、无人机初始位置部署和无人机轨迹联合优化的同时，降低了计算复杂度和目标函数参数深耦合问题，同时保证网络中所有用户的加权和速率最大化，能够有效解决丢包率高、信号质量差、能量损耗大的问题。

本实施例中，先初始化一个无人机通信网络场景，如图2所示，其中包括K个多天线无人机、K个IRS反射面、多个用户。

在前述IRS辅助无人机通信网络联合优化方法的具体实施方式中，进一步地，在以网络中所有用户加权和速率最大化为目标，建立关于UAV初始位置部署、UAV轨迹优化、UAV发射波束形成和IRS相位偏移的联合优化问题目标函数之前，所述方法包括：

设IRS辅助无人机通信网络中的无人机及IRS到用户的下行链路中，有K架无人机，对应的所有用户分为K个簇，第k架无人机对应的用户簇为簇k，每架无人机与M_k个用户进行通信，簇k中第i个用户(k,i)在时隙n时接收信噪比γ_k,i[n]为：

其中，d_k,i[n]表示在IRS辅助无人机通信网络下行链路中无人机k与用户(k,i)之间在时隙n时的直接链路等效基带信道向量，上标H表示共轭转置；R_k,i[n]为简写形式，

diag()表示对角矩阵，r_k,i[n]表示IRS与用户(k,i)之间在时隙n时的等效基带信道向量，G_k[n]表示无人机k与相应的IRS之间的等效基带信道向量；θ表示IRS相位偏移矩阵，θ＝[θ₁,…,θ_m,…,θ_M]^H，

θ_m为IRS上第m个元素的反射系数，M为IRS上的反射元素个数，

表示IRS上第m个元素的相位；w_k,i[n]、w_k,j[n]分别为时隙n时无人机k在用户(k,i)、(k,j)处的发射波束形成矢量，

为用户接收机加性高斯白噪声的功率。

本实施例中，主要关注IRS辅助无人机通信网络中的无人机及IRS到用户的下行链路。

在前述IRS辅助无人机通信网络联合优化方法的具体实施方式中，进一步地，建立的联合优化问题目标函数P表示为：

C5:q_k[0]＝q_I,q_k[N]＝q_F

其中，

表示UAV发射波束，

表示无人机的初始位置部署，

表示无人机的轨迹，C1表示无人机发射功率约束，C2表示IRS的相位偏移约束，C3表示了任意两架无人机之间保持不相撞的最小距离约束，C4保证了无人机在极小时隙内相当于位置无变动，C5规定了无人机起始和结束位置，ω_k,i[n]表示用户(k,i)在无人机k与相应用户簇中的优先级，P_k表示第k架无人机的最大发射功率，q_k[n]、q_l[n]分别表示第k架无人机和第l架无人机的水平位置，△_min表示任意两架无人机之间避免碰撞的最小距离，V_max、T和N分别表示无人机最大飞行速度、最大飞行时间和飞行时间被分成的N个时隙，q_I、q_F分别表示无人机的初始位置和终点位置。

本实施例中，同时考虑了无人机最大发射功率约束，这样，在满足无人机最大发射功率约束的前提下，不仅能实现无人机发射波束设计和IRS相位偏移设计，而且能够优化无人机的初始位置部署及轨迹，保证用户的最大加权和速率，使得整个网络数据速率最大化，能够有效解决丢包率高、信号质量差、能量损耗大的问题。

在前述IRS辅助无人机通信网络联合优化方法的具体实施方式中，进一步地，所述根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)，对子问题P(A)进行拉格朗日对偶变换和二次变换后，分别利用近似线性法和迭代秩极小化法对UAV发射波束和IRS相位偏移进行优化，得到更新后的UAV发射波束形成矩阵和IRS相位偏移矩阵包括：

根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)：{W,θ}；

利用分式规划理论，对子问题P(A)进行拉格朗日对偶变换和二次变换后，引入辅助变量α和β，将问题P(A)转化为P(A1)；

针对问题P(A1)采用块坐标下降法方法对优化变量α、β、W、θ进行分解；

利用近似线性法更新无人机发射波束W；

根据更新结果，固定W和β，引入辅助变量ε、μ，将问题P(A1)转化为关于θ的非凸二次约束二次规划(Quadratical Constraint Quadratic Programming，QCQP)问题；

利用迭代秩极小化法(IRM)更新IRS相位偏移θ，以得到P(A1)的平稳解，其中，平稳解指的是最后收敛到一个稳定的状态，这个是最后的结果。

在前述IRS辅助无人机通信网络联合优化方法的具体实施方式中，进一步地，辅助变量α、β和无人机发射波束W的更新表达式为：

其中，

Re{}表示输入复数的实数部分，ζ是无人机发射功率约束的对偶向量，E_M为M阶单位矩阵，β^*表示参数β的共轭，

分别表示参数α、β、θ、w、χ更新后的值。

在前述IRS辅助无人机通信网络联合优化方法的具体实施方式中，进一步地，将问题P(A1)转化为关于θ的非凸QCQP问题：

引入秩为1的半正定矩阵，将非凸QCQP问题转化为半定规划问题，将秩1约束分解为多个小规模的约束，利用迭代秩极小化将分解后的子矩阵化为秩1矩阵，得到IRS相位偏移θ。

在前述IRS辅助无人机通信网络联合优化方法的具体实施方式中，进一步地，所述根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化成关于UAV初始位置部署和UAV轨迹优化的子问题P(B)，对子问题P(B)，分别利用增强k-means法和强化学习算法更新无人机初始水平位置和UAV轨迹包括：

根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化为关于UAV初始位置部署和UAV轨迹优化的子问题P(B):{C,Q}；

针对子问题P(B)，利用改进初始化簇中心位置的增强k-means算法(见：一种面向智慧物流的无人机辅助IRS通信方法)进行无人机和用户之间的匹配，完成基于信道相关性的用户分簇，将所有用户分为K个簇，每个簇有M_k个用户，分簇完成后，把K个无人机的初始水平位置部署在各个簇的中心位置，然后利用强化学习进行无人机轨迹优化。

在前述IRS辅助无人机通信网络联合优化方法的具体实施方式中，进一步地，利用强化学习进行轨迹优化的值函数迭代更新公式为：

其中，Q_τ(s_τ,a_τ)为值函数且初值为全零，u为学习速率因子，v为折扣因子，a_τ表示第τ时刻无人机采取的动作，s_τ表示第τ时刻的状态，R_τ为奖励函数。

本实施例中，将无人机轨迹的水平目标空间进行网格分割，以为(V_maxT/N)*(V_maxT/N)分割粒度，并将不同的网格按照坐标转化为状态空间，将无人机的动作空间按照无人机的移动方向45度角划分为8个动作，加上保持，组成9个可选动作离散空间。将无人机分簇更新之后的簇内用户加权和速率设置为奖励函数R_τ：

本实施例中，采用ε-greedy法作为动作策略函数，经过若干探索后，值函数逐渐向最优值函数逼近，最终实现无人机飞行轨迹优化。

图3是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述IRS辅助无人机通信网络联合优化方法。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述IRS辅助无人机通信网络联合优化方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种IRS辅助无人机通信网络联合优化方法，其特征在于，包括：

S101，以网络中所有用户加权和速率最大化为目标，建立关于UAV初始位置部署、UAV轨迹优化、UAV发射波束形成和IRS相位偏移的联合优化问题目标函数；其中，UAV表示无人机，IRS表示智能反射面；

S102，根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)，对子问题P(A)，分别利用近似线性法和迭代秩极小化法更新UAV发射波束和IRS相位偏移；

S103，根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化成关于UAV初始位置部署和UAV轨迹优化的子问题P(B)，对子问题P(B)，分别利用增强k-means法和强化学习算法更新无人机初始水平位置和UAV轨迹；

S104，按照S102和S103进行迭代计算，直至达到收敛条件，则完成联合优化。

2.根据权利要求1所述的IRS辅助无人机通信网络联合优化方法，其特征在于，在以网络中所有用户加权和速率最大化为目标，建立关于UAV初始位置部署、UAV轨迹优化、UAV发射波束形成和IRS相位偏移的联合优化问题目标函数之前，所述方法包括：

设IRS辅助无人机通信网络中的无人机及IRS到用户的下行链路中，有K架无人机，对应的所有用户分为K个簇，第k架无人机对应的用户簇为簇k，每架无人机与M_k个用户进行通信，簇k中第i个用户(k,i)在时隙n时接收信噪比γ_k,i[n]为：

其中，d_k,i[n]表示在IRS辅助无人机通信网络下行链路中无人机k与用户(k,i)之间在时隙n时的直接链路等效基带信道向量，上标H表示共轭转置；R_k,i[n]为简写形式，

diag()表示对角矩阵，r_k,i[n]表示IRS与用户(k,i)之间在时隙n时的等效基带信道向量，G_k[n]表示无人机k与相应的IRS之间的等效基带信道向量；θ表示IRS相位偏移矩阵，θ＝[θ₁,…,θ_m,…,θ_M]^H，

θ_m为IRS上第m个元素的反射系数，M为IRS上的反射元素个数，

表示IRS上第m个元素的相位；w_k,i[n]、w_k,j[n]分别为时隙n时无人机k在用户(k,i)、(k,j)处的发射波束形成矢量，

为用户接收机加性高斯白噪声的功率。

3.根据权利要求2所述的IRS辅助无人机通信网络联合优化方法，其特征在于，建立的联合优化问题目标函数P表示为：

C5:q_k[0]＝q_I,q_k[N]＝q_F

其中，

表示UAV发射波束，

表示无人机的初始位置部署，

表示无人机的轨迹，C1表示无人机发射功率约束，C2表示IRS的相位偏移约束，C3表示了任意两架无人机之间保持不相撞的最小距离约束，C4保证了无人机在极小时隙内相当于位置无变动，C5规定了无人机起始和结束位置，ω_k,i[n]表示用户(k,i)在无人机k与相应用户簇中的优先级，P_k表示第k架无人机的最大发射功率，q_k[n]、q_l[n]分别表示第k架无人机和第l架无人机的水平位置，△_min表示任意两架无人机之间避免碰撞的最小距离，V_max、T和N分别表示无人机最大飞行速度、最大飞行时间和飞行时间被分成的N个时隙，q_I、q_F分别表示无人机的初始位置和终点位置。

4.根据权利要求3所述的IRS辅助无人机通信网络联合优化方法，其特征在于，所述根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)，对子问题P(A)进行拉格朗日对偶变换和二次变换后，分别利用近似线性法和迭代秩极小化法对UAV发射波束和IRS相位偏移进行优化，得到更新后的UAV发射波束形成矩阵和IRS相位偏移矩阵包括：

根据S101得到的目标函数，给定UAV初始位置部署和UAV轨迹，将联合优化问题转化为关于UAV发射波束形成和IRS相位偏移的子问题P(A)：{W,θ}；

利用分式规划理论，对子问题P(A)进行拉格朗日对偶变换和二次变换后，引入辅助变量α和β，将问题P(A)转化为P(A1)；

针对问题P(A1)采用块坐标下降法方法对优化变量α、β、W、θ进行分解；

利用近似线性法更新无人机发射波束W；

根据更新结果，固定W和β，引入辅助变量ε、μ，将问题P(A1)转化为关于θ的非凸二次约束二次规划问题；

利用迭代秩极小化法更新IRS相位偏移θ。

5.根据权利要求4所述的IRS辅助无人机通信网络联合优化方法，其特征在于，辅助变量α、β和无人机发射波束W的更新表达式为：

其中，

Re{}表示输入复数的实数部分，ζ是无人机发射功率约束的对偶向量，E_M为M阶单位矩阵，β^*表示参数β的共轭，

分别表示参数α、β、θ、w、χ更新后的值。

6.根据权利要求5所述的IRS辅助无人机通信网络联合优化方法，其特征在于，将问题P(A1)转化为关于θ的非凸QCQP问题：

引入秩为1的半正定矩阵，将非凸QCQP问题转化为半定规划问题，将秩1约束分解为多个小规模的约束，利用迭代秩极小化将分解后的子矩阵化为秩1矩阵，得到IRS相位偏移θ。

7.根据权利要求6所述的IRS辅助无人机通信网络联合优化方法，其特征在于，所述根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化成关于UAV初始位置部署和UAV轨迹优化的子问题P(B)，对子问题P(B)，分别利用增强k-means法和强化学习算法更新无人机初始水平位置和UAV轨迹包括：

根据S101得到的目标函数及更新后的UAV发射波束和IRS相位偏移，将联合优化问题转化为关于UAV初始位置部署和UAV轨迹优化的子问题P(B):{C,Q}；

针对子问题P(B)，利用改进初始化簇中心位置的增强k-means算法进行无人机和用户之间的匹配，完成基于信道相关性的用户分簇，将所有用户分为K个簇，每个簇有M_k个用户，分簇完成后，把K个无人机的初始水平位置部署在各个簇的中心位置，然后利用强化学习进行无人机轨迹优化。

8.根据权利要求7所述的IRS辅助无人机通信网络联合优化方法，其特征在于，利用强化学习进行轨迹优化的值函数迭代更新公式为：

其中，Q_τ(s_τ,a_τ)为值函数且初值为全零，u为学习速率因子，v为折扣因子，a_τ表示第τ时刻无人机采取的动作，s_τ表示第τ时刻的状态，R_τ为奖励函数。

9.根据权利要求8所述的IRS辅助无人机通信网络联合优化方法，其特征在于，奖励函数R_τ表示为：

Images