CN113316169A - 一种面向智慧港口的uav辅助通信能效优化方法及装置 - Google Patents

Abstract

本发明公开了一种面向智慧港口的UAV辅助通信能效优化方法及装置，该方法包括：构建采用无人机UAV搭载智能反射表面IRS进行辅助通信的MISO‑NOMA通信系统模型；其中，UAV搭载IRS充当中继；将UAV轨迹移动优化问题转化为具有用户速率约束的IRS相移矩阵优化问题；以最大化用户和速率为目标，基于深度强化学习算法，实现IRS相移矩阵的优化，得到最优的IRS相移矩阵，以减少UAV进行辅助通信时的轨迹移动，最终达到降低无人机能耗的目的。本发明通过IRS相移矩阵的变化来优化传统无人机辅助通信，因通信需求带来的移动，从而降低了无人机的能耗，延长了无人机的续航时间。

Description

一种面向智慧港口的UAV辅助通信能效优化方法及装置

技术领域

本发明涉及无线通信技术领域，特别涉及一种面向智慧港口的UAV辅助通信能效优化方法及装置。

背景技术

智能反射表面(IRS)得益于可编程程序材料制造的突破，被认为是未来(6G)无线通信系统超越大规模模拟智能无线电环境的关键技术之一。IRS是一个具有大量低成本反射元件的设备，用于配置传输特性传输信号和电子控制的集成电路。基于数据材料的微带天线可能具有紧凑的尺寸，因此大尺寸的天线可以很容易地部署在各种设备和基站两端，以实现大规模微带天线，可显著节约成本和功耗。借助变容二极管微机电系统技术，二极管的电磁特性在微结构中得到了充分的改善，且可编程来改变电磁波的相位、幅度、频率和平均轨道角动量，有效地调制无线电信号，而不需要混频器和射频链。它也加强了接收信号的能力。与现有技术相比需要更少的能量消耗，例如，放大和前向继电器，所以在一个成熟的无线通信系统中，它被认为是一个折衷的有效和绿色的解决方案。

另一方面，无人机(UAV)辅助无线通信网络，被认为是未来无线通信的又一项有前途的技术。由于无人机具备通信和信号处理能力，因此，可以作为网络中多个用户之间的移动基站/中继节点。由于无人机提供的高度和灵活的部署，视距传输可以进一步扩大系统覆盖范围。

在智慧港口应用场景中，基站在港口的部署位置受限，同时港口货物堆积、设备众多、环境复杂，基站提供的无线网络易于受到干扰。除此之外龙门吊远程操控、无人运输、智能巡检等业务需要稳定、可靠的无线网络，利用无人机搭载IRS进行辅助通信可以增强港口网络覆盖，增强网络抗干扰能力。但由于地面设备的移动性，无人机需要不断移动以保证其网络服务质量，从而导致无人机能耗较高，工作时间受限。

发明内容

本发明提供了一种面向智慧港口的UAV辅助通信能效优化方法及装置，主要是用于UAV搭载IRS的多输入单输出-非正交多路访问MISO-NOMA场景下，以解决现有技术中UAV能耗较高，工作时间受限的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种面向智慧港口的UAV辅助通信能效优化方法。该面向智慧港口的UAV辅助通信能效优化方法包括：

构建采用无人机UAV搭载智能反射表面IRS进行辅助通信的MISO-NOMA通信系统模型；其中，在所述通信系统模型中，UAV搭载IRS充当中继；

基于构建的通信系统模型，将MISO-NOMA通信系统中的UAV轨迹移动优化问题转化为具有用户速率约束的IRS相移矩阵优化问题；

以最大化用户和速率为目标，以IRS充当智能体，采用深度强化学习算法来训练智能体，实现IRS相移矩阵的优化，得到最优的IRS相移矩阵，以减少UAV进行辅助通信时的轨迹移动，达到降低无人机能耗的目的。

进一步地，所述深度强化学习算法为深度确定性策略梯度DDPG算法。

进一步地，采用深度强化学习算法训练智能体实现IRS相移矩阵的优化，包括：

步骤1：初始化系统的状态空间、动作空间以及深度神经网络参数；

步骤2：智能体根据行为策略选择动作并执行；

步骤3：智能体执行动作后，返回奖励以及新的状态，将状态转化过程放入经验缓存空间；

步骤4：在经验缓存空间中采样预设数量的状态转移数据，作为训练Q网络和训练策略网络的训练数据；

步骤5：计算训练Q网络梯度，计算策略网络的策略梯度；

步骤6：更新目标神经网络参数。

进一步地，初始化系统的状态空间、动作空间及深度神经网络参数，包括：

将用户设备及信道状态资源建模为有限状态马尔可夫模型；

为策略网络和Q网络各创建两个神经网络拷贝用于网络学习及参数更新。

进一步地，智能体根据行为策略选择动作，包括：

智能体根据行为策略选择UAV位置的移动和IRS相移矩阵的调整。

进一步地，智能体执行动作后，返回奖励，包括：

判断是否满足预设条件，当满足预设条件时，根据环境获得即时奖励；其中，预设条件包括：1)每个用户在每个时隙达到最低用户速率；2)IRS相移矩阵设计满足无源发射；3)无人机总能耗满足节能需求；

即时奖励表达式为：

其中，ξ_k(t)用于反应用户最低速率保障，

时，取值为1，反之取值为0；C为常数，用于保证传输速率不满足的惩罚函数具有高值；E(t)为无人机能耗值。

进一步地，计算训练Q网络梯度，计算策略网络的策略梯度，包括：

采用随机梯度下降方法，计算训练策略网络、目标策略网络以及训练Q网络梯度，用于更新目标神经网络参数。

另一方面，本发明还提供了一种面向智慧港口的UAV辅助通信能效优化装置，该面向智慧港口的UAV辅助通信能效优化装置包括：

场景构建模块，用于构建采用无人机UAV搭载智能反射表面IRS进行辅助通信的MISO-NOMA通信系统模型；其中，在所述通信系统模型中，UAV搭载IRS充当中继；

问题转化模块，用于基于构建的通信系统模型将MISO-NOMA通信系统中的UAV轨迹移动优化问题转化为具有用户速率约束的IRS相移矩阵优化问题；

能耗优化模块，用于以最大化用户和速率为目标，以IRS充当智能体，采用深度强化学习算法训练智能体实现IRS相移矩阵的优化，得到最优的IRS相移矩阵，以减少UAV进行辅助通信时的轨迹移动，达到降低无人机能耗的目的。

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明提供的UAV辅助通信能效优化方法，以最大化用户和速率为目标，基于深度强化学习提出一种无人机搭载的IRS相移矩阵的优化方法。通过优化IRS相移矩阵，可减少传统无人机辅助通信的轨迹移动，从而达到无人机能耗优化的目的，在优化最大化系统和速率的同时降低无人机功耗，提升无人机续航。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的面向智慧港口的UAV辅助通信能效优化方法的流程示意图；

图2为本发明实施例提供的无人机搭载IRS进行辅助通信的MISO-NOMA下行网络架构示意图；

图3为本发明实施例提供的基于深度强化学习算法实现IRS相移矩阵优化的算法执行流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

本实施例提供了一种面向智慧港口的UAV辅助通信能效优化方法，本方法在港口由于集装箱堆积而阻碍基站信号覆盖的区域，利用无人机搭载IRS，通过空中IRS无源反射建立虚拟视距增强网络覆盖，提升园区网络覆盖，以解决园区内网络覆盖问题。同时将MISO-NOMA场景中的无人机轨迹移动优化问题转化为具有用户速率约束的IRS相移矩阵优化问题，并借助深度神经网络(DNN)的参数化功能，采用深度强化学习(DRL)中的深度确定性策略梯度(DDPG)的方法来训练智能体，获取相应的动作和策略，以此调度IRS相移矩阵，获取用户最大和速率，减少无人机轨迹移动，降低无人机能耗，在保证用户最低速率，最大化系统和速率的基础上，提升无人机辅助通信的续航能力。从而通过优化IRS相移矩阵，解决无人机因通信需求引起的轨迹移动及能耗优化问题。

在DRL框架设计中，本方法通过经验回放的方式储存智能体的环境状态、动作、回报等信息以实现无模型训练。通过迭代循环将证明基于DDPG的无人机辅助通信IRS相移矩阵优化方法的有效性，最终实现园区通信质量保证的整体经济效益。且本方法通过在发射信号采用迫零预编码，消除小区内簇间干扰；在接收信号处采用SIC技术解码期望信号，消除用户对间的共信道干扰。

具体地，本方法将针对港口小区中簇内用户和簇间用户的最大和速率进行优化，利用无人机搭载IRS进行辅助通信，根据通信服务需求，进行信道估计计算产生对应无人机轨迹移动以及IRS相移矩阵，通过灵活控制IRS相移矩阵，同时通过DDPG算法进行无人机轨迹和IRS相移矩阵的最优设计。本方法的重点是利用无人机搭载IRS辅助通信，同时采用深度强化学习设计IRS相移矩阵优化算法，保证小区用户最低数据速率，最大化系统和速率，同时降低无人机能耗，提高无人机续航能力。该方法的执行流程如图1所示，包括以下步骤：

S101，构建采用无人机UAV搭载智能反射表面IRS进行辅助通信的MISO-NOMA通信系统模型；

具体地，如图2所示，在本实施例的无人机搭载IRS进行辅助通信的MISO-NOMA网络架构中，配备有M个天线的基站服务L个簇的单天线用户，每个簇内有两个用户，在用户对之间采用NOMA技术，无人机装配IRS充当中继，IRS具有N个元件进行相移，组成的MISO-NOMA系统。

S102，基于构建的通信系统模型，将MISO-NOMA通信系统中的UAV轨迹移动优化问题转化为具有用户速率约束的IRS相移矩阵优化问题；

S103，以最大化用户和速率为目标，以IRS充当智能体，采用深度强化学习算法来训练智能体，实现IRS相移矩阵的优化，得到最优的IRS相移矩阵，以减少UAV进行辅助通信时的轨迹移动，达到降低无人机能耗的目的。

其中，本实施例所采用的深度强化学习算法为深度确定性策略梯度DDPG算法。在采用DDPG进行IRS相移设计的过程中，考虑到真实环境下系统状态的动态变化，将系统状态建模为一阶马尔可夫决策模型。确定性策略网络被用作从动作空间中选取动作的动作者，Q网络用来衡量所选动作的性能的指标，同时由于单个神经网络的算法，学习过程很不稳定，分别为策略网络、Q网络各创建一个神经网络拷贝进行网络学习，它们被称为目标网络，用于计算相应的目标值。目标网络和训练网络具有相同的网络结构，但是其参数设置不同。通信系统充当环境，IRS充当智能体。算法具体步骤如图3所示，包括以下步骤：

步骤1：初始化系统的状态空间、动作空间以及深度神经网络参数；具体为：初始化无线设备、用户以及神经网络内的各项参数及智能体环境信息，包括训练Q网络和训练策略网络的参数

和

将训练网络的参数拷贝给对应的目标网络，智能体动作、状态、经验缓存空间

等，为了不失一般性，IRS相移矩阵的每个元件相移从[0,2π]随机选择。其中，用户设备及信道状态资源建模为有限状态马尔可夫模型，同时该系统是一个离散时隙系统。在同一时刻内，系统状态不发生变化。下一时刻系统由智能体基于行为策略产生。

步骤2：智能体根据行为策略选择动作并执行；其中，在每一次迭代时，首先计算信道信息，智能体获取当前信道状态信息，根据行为策略选择动作并执行

动作包括IRS相移矩阵和无人机轨迹移动，执行动作后，返回奖励r_t以及新的状态s_t+1。动作的选取，对于DDPG，确定性的行为策略，每一步的行为通过μ函数直接获得确定的值。

具体地，即时奖励的获取需要进行三大条件的判断：1)每个用户在每个时隙是否达到最低用户速率；2)IRS相移矩阵设计是否满足无源发射；3)无人机总能耗是否满足节能需求。根据环境获得即时奖励，即时奖励表达式为：

其中，ξ_k(t)用于反应用户最低速率保障，

时，即园区内某用户速率大于其最小用户速率需求，取值为1，反之为0；C为常数，用于保证传输速率不满足的惩罚函数具有高值；E(t)为无人机能耗值。

对于约束条件1，需要计算

其中，SINR_l,i(t)由以下公式计算：

其中，l表示第l个用户，

是基站和UAV-IRS间的信道增益，IRS相移矩阵

θ_n∈[0,2π]，β_n∈[0,1]，

是UAV-IRS和第l个簇中第i个用户间的信道增益，

是第l个簇中第i个用户和基站之间的信道增益，w_l表示簇l的预编码向量，

为加性高斯白噪声。

对于约束条件2，需满足

其中，IRS相移矩阵

θ_n∈[0,2π]，β_n∈[0,1]。

对于约束条件3，需满足E_UAV≤E_MAX，E_MAX为无人机最大能耗，E_UAV为无人机当前能耗。

步骤3：智能体执行动作后，返回奖励以及新的状态，将状态转化过程(s_t,a_t,r_t,s_t+1)放入经验缓存空间D；

步骤4：从训练策略网络获取Q函数值，在经验缓存空间D中采样N个mini-batch状态转移数据(s_i,a_i,r_i,s_i+1)作为训练Q网络和训练策略网络的训练数据；

步骤5：计算目标Q网络值，通过最小化LOSS更新训练Q网络值，采用随机梯度下降方法计算训练Q网络的梯度，计算策略网络的策略梯度。

其中，Q网络的LOSS定义为：

其中，s_i为环境状态，a_i为选取动作，

为训练Q网络参数，

r_i为即时奖励，γ为折扣因子，

为目标策略网络参数，

为目标Q网络参数。

步骤6：根据策略梯度更新策略函数，更新目标神经网络参数。

训练策略网络的更新如下：

其中，μ_c是更新训练策略网络的学习率，

是相对于训练策略网络

的梯度，a′是目标Q网络输出的动作。

训练Q网络的更新如下：

其中，μ_a是训练Q网络更新的学习率，

表示训练Q网络，

是DNN参数，s^(t)是给定输入。

是目标Q网络相对于动作的梯度，

是训练Q网络相对于其参数

的梯度。

目标策略网络和目标Q网络上的更新分别如下：

其中，τ_c，τ_a分别为目标策略网络和目标Q网络更新的学习率。

在步骤5、6中，用一个卷积神经网络对函数μ进行模拟，用一个卷积神经网络对Q函数进行模拟，通过函数J来衡量策略μ的表现，训练的目标为最大化Q^μ(s,μ(s))，同时最小化Q网络的LOSS函数。针对单个Q神经网络的算法，学习过程很不稳定，因为Q网络的参数在频繁梯度更新的同时，又用于计算Q网络和策略网络的梯度的问题，DDPG分别为策略网络、Q网络各创建两个神经网络拷贝用于学习。

步骤7：获取最优IRS相移矩阵和最优无人机轨迹。

每次迭代周期，算法收敛或者达到最大迭代次数，算法终止。最优IRS相移矩阵和最优无人机轨迹由具有最优即时奖励的动作获得。

综上，本实施例针对采用无人机搭载IRS进行辅助通信的MISO-NOMA场景，通过对IRS相移矩阵进行优化，减少了无人机轨迹移动，从而优化无人机能耗，并使用DDPG算法进行学习，从而达到了在满足小区内用户最低目标数据速率的前提下，兼顾无人机能耗，从而最大限度的提高系统的最大和速率。

第二实施例

本实施例提供了一种面向智慧港口的UAV辅助通信能效优化装置，该面向智慧港口的UAV辅助通信能效优化装置包括以下模块：

场景构建模块，用于构建采用无人机UAV搭载智能反射表面IRS进行辅助通信的MISO-NOMA通信系统模型；其中，在所述通信系统模型中，UAV搭载IRS充当中继；

问题转化模块，用于基于构建的通信系统模型将MISO-NOMA通信系统中的UAV轨迹移动优化问题转化为具有用户速率约束的IRS相移矩阵优化问题；

能耗优化模块，用于以最大化用户和速率为目标，以IRS充当智能体，采用深度强化学习算法训练智能体实现IRS相移矩阵的优化，得到最优的IRS相移矩阵，以减少UAV进行辅助通信时的轨迹移动，达到降低无人机能耗的目的。

本实施例的面向智慧港口的UAV辅助通信能效优化装置与上述第一实施例的面向智慧港口的UAV辅助通信能效优化方法相对应；其中，该面向智慧港口的UAV辅助通信能效优化装置中的各功能模块所实现的功能与上述面向智慧港口的UAV辅助通信能效优化方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (8)

1.一种面向智慧港口的UAV辅助通信能效优化方法，其特征在于，包括：

构建采用无人机UAV搭载智能反射表面IRS进行辅助通信的MISO-NOMA通信系统模型；其中，在所述通信系统模型中，UAV搭载IRS充当中继；

基于构建的通信系统模型，将MISO-NOMA通信系统中的UAV轨迹移动优化问题转化为具有用户速率约束的IRS相移矩阵优化问题；

以最大化用户和速率为目标，以IRS充当智能体，采用深度强化学习算法来训练智能体，实现IRS相移矩阵的优化，得到最优的IRS相移矩阵，以减少UAV进行辅助通信时的轨迹移动，达到降低无人机能耗的目的。

2.如权利要求1所述的面向智慧港口的UAV辅助通信能效优化方法，其特征在于，所述深度强化学习算法为深度确定性策略梯度DDPG算法。

3.如权利要求2所述的面向智慧港口的UAV辅助通信能效优化方法，其特征在于，采用深度强化学习算法来训练智能体实现IRS相移矩阵的优化，包括：

步骤1：初始化系统的状态空间、动作空间以及深度神经网络参数；

步骤2：智能体根据行为策略选择动作并执行；

步骤3：智能体执行动作后，返回奖励以及新的状态，将状态转化过程放入经验缓存空间；

步骤4：在经验缓存空间中采样预设数量的状态转移数据，作为训练Q网络和训练策略网络的训练数据；

步骤5：计算训练Q网络梯度，计算策略网络的策略梯度；

步骤6：更新目标神经网络参数。

4.如权利要求3所述的面向智慧港口的UAV辅助通信能效优化方法，其特征在于，初始化系统的状态空间、动作空间以及深度神经网络参数，包括：

将用户设备及信道状态资源建模为有限状态马尔可夫模型；

为策略网络和Q网络各创建两个神经网络拷贝用于网络学习及参数更新。

5.如权利要求3所述的面向智慧港口的UAV辅助通信能效优化方法，其特征在于，智能体根据行为策略选择动作，包括：

智能体根据行为策略选择UAV位置的移动和IRS相移矩阵的调整。

6.如权利要求3所述的面向智慧港口的UAV辅助通信能效优化方法，其特征在于，智能体执行动作后，返回奖励，包括：

判断是否满足预设条件，当满足预设条件时，根据环境获得即时奖励；其中，预设条件包括：1)每个用户在每个时隙达到最低用户速率；2)IRS相移矩阵设计满足无源发射；3)无人机总能耗满足节能需求；

即时奖励表达式为：

其中，ξ_k(t)用于反应用户最低速率保障，

时，取值为1，反之取值为0；C为常数，用于保证传输速率不满足的惩罚函数具有高值；E(t)为无人机能耗值。

7.如权利要求3所述的面向智慧港口的UAV辅助通信能效优化方法，其特征在于，计算训练Q网络梯度，计算策略网络的策略梯度，包括：

采用随机梯度下降方法，计算训练策略网络、目标策略网络以及训练Q网络梯度，用于更新目标神经网络参数。

8.一种面向智慧港口的UAV辅助通信能效优化装置，其特征在于，包括：

场景构建模块，用于构建采用无人机UAV搭载智能反射表面IRS进行辅助通信的MISO-NOMA通信系统模型；其中，在所述通信系统模型中，UAV搭载IRS充当中继；

问题转化模块，用于基于构建的通信系统模型将MISO-NOMA通信系统中的UAV轨迹移动优化问题转化为具有用户速率约束的IRS相移矩阵优化问题；

能耗优化模块，用于以最大化用户和速率为目标，以IRS充当智能体，采用深度强化学习算法训练智能体实现IRS相移矩阵的优化，得到最优的IRS相移矩阵，以减少UAV进行辅助通信时的轨迹移动，达到降低无人机能耗的目的。

Images