CN112636811A - 一种中继无人机部署方法及装置 - Google Patents

Abstract

本说明书一个或多个实施例提供一种中继无人机部署方法及装置，包括确定至少一个无人机在无人机网络中的位置，根据无人机网络的网络参数，确定无人机网络的优化目标，基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置。通过在无人机网络中部署中继无人机，在无人机协作追踪目标过程中，中继无人机按照部署的移动轨迹运动，可利用中继无人机实现协作的无人机之间的信息传输，保证通信质量，降低时延和能耗，提高信息共识，提高目标追踪精度和稳定性。

Description

一种中继无人机部署方法及装置

技术领域

本说明书一个或多个实施例涉及无人机技术领域，尤其涉及一种中继无人机部署方法及装置。

背景技术

随着通信与无人机技术的发展，无人机已经应用于情报侦察、搜索救援、通信中断和武装攻击等领域。在多无人机架构的无人机网络中，多无人机协同追踪目标时，由于无人机的高速移动和通信范围受限问题，无人机之间的通信链路容易被频繁打断，造成多无人机协作追踪时对多个移动目标无法精确共识；同时，随着无人机机群数量的增多，信息共识的路径也变得复杂，接收到的信息可能会有一定的时延，严重影响目标追踪的精度，甚至导致目标丢失。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种中继无人机部署方法及装置，通过在无人机网络中部署中继无人机以解决多无人机协同工作所存在的问题。

基于上述目的，本说明书一个或多个实施例提供了一种中继无人机部署方法，包括：

确定至少一个无人机在无人机网络中的位置；

根据无人机网络的网络参数，确定无人机网络的优化目标，所述优化目标包括最优化能耗和时延、最小化中断概率和最大化共识概率；

基于深度Q学习方法，根据所述优化目标计算奖励值，确定中继无人机在所述无人机网络中的位置。

可选的，所述确定至少一个无人机在无人机网络中的位置，包括：

所述无人机网络初始化时，随机确定各无人机在所述无人机网络中的起始位置；

所述根据无人机网络的网络参数，确定无人机网络的优化目标，包括：

根据各无人机的起始位置，确定初始化的无人机网络的拓扑结构；

根据所述初始化的无人机网络的拓扑结构，确定所述初始化的无人机网络的网络参数；

根据所述初始化的无人机网络的网络参数，确定所述初始化的无人机网络的优化目标；

所述基于深度Q学习方法，根据所述优化目标计算奖励值，确定中继无人机在所述无人机网络中的位置，包括：

基于深度Q学习方法，根据所述初始化的无人机网络的优化目标计算奖励值，确定所述中继无人机的初始位置。

可选的，所述基于深度Q学习方法，根据所述初始化的无人机网络的优化目标计算奖励值，确定所述中继无人机的初始位置，包括：

确定各无人机的起始位置后，通过将所述中继无人机部署于所述初始化的无人机网络中的不同位置，基于深度Q学习方法，计算所述中继无人机位于不同位置下的奖励值和对应的Q值，从中选择Q值最大的中继无人机的位置作为最优的初始位置。

可选的，所述确定至少一个无人机在无人机网络中的位置，包括：

其中一个无人机从所述起始位置移动至少一步；

所述根据无人机网络的网络参数，确定无人机网络的优化目标，包括：

根据其中一个无人机移动每一步后形成的各无人机的当前位置，确定当前无人机网络的拓扑结构；

根据所述当前无人机网络的拓扑结构，确定所述当前无人机网络的网络参数；

根据所述当前无人机网络的网络参数，确定所述当前无人机网络的优化目标；

所述基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置，包括：

基于深度Q学习方法，根据所述当前无人机网络的优化目标计算奖励值，确定所述中继无人机从所述初始位置移动至少一步的移动轨迹。

可选的，所述基于深度Q学习方法，根据所述当前无人机网络的优化目标计算奖励值，确定所述中继无人机从所述初始位置移动至少一步的移动轨迹，包括：

任意一个无人机从所述起始位置移动一步时，所述中继无人机从所述初始位置开始移动一步至不同位置，基于深度Q学习方法，计算所述中继无人机移动一步至不同位置下的奖励值和对应的Q值，从中选择出Q值最大的中继无人机移动一步所达到的位置作为最优的下一步位置。

可选的，所述最优化能耗和时延的优化目标为：

其中，T_c为加入中继无人机和不加入中继无人机两种情况下得到的共识收敛时间的时间差总和，ζ₁为共识收敛时间的时间差总和的权重值，E_R为中继无人机在N_t个时隙内消耗的总能量；

其中，T′_{con_delay}为不存在中继无人机且存在通信时延的情况下的共识收敛时间，T_{con_delay}为存在中继无人机且存在通信时延的情况下的共识收敛时间；

其中，E_t(i,j,n)为在时隙n，中继无人机i向第j个无人机传输信息时的传输能耗，第j个无人机为中继无人机的邻居无人机节点，Ω_r为邻居无人机节点的集合，

为在时隙n，中继无人机以速率v飞行的飞行能耗；

所述最小化中断概率P_interrupt的优化目标为：

I_interrupt(n)为在时隙n，无人机网络是否处于中断状态；

所述最大化共识概率P_consensus的优化目标为：

C_consensus(n)为在时隙n，无人机网络是否达到追踪信息的共识。

可选的，根据所述优化目标计算奖励值r_t的方法是：

r_t＝w₁F_n(n)+w₂C_consensus(n)+w₃I_connected(n) (17)

其中，w₁为最优化能耗和时延的优化目标的权重值，w₂为最大化共识概率的优化目标的权重值，w₃为最小化中断概率的优化目标的权重值，I_connected(n)为I_interrupt(n)的值取反。

本说明书实施例还提供一种中继无人机部署装置，包括：

无人机位置确定模块，用于确定至少一个无人机在无人机网络中的位置；

优化目标确定模块，用于根据所述无人机网络的网络参数，确定所述无人机网络的优化目标，其中，优化目标包括最优化能耗和时延、最小化中断概率和最大化共识概率；

中继无人机位置确定模块，用于基于深度Q学习方法，根据所述优化目标计算奖励值，确定中继无人机在所述无人机网络中的位置。

可选的，所述无人机位置确定模块，用于在所述无人机网络初始化时，随机确定各无人机在所述无人机网络中的起始位置；

所述优化目标确定模块，用于根据各无人机的起始位置，确定初始化的无人机网络的拓扑结构；根据所述初始化的无人机网络的拓扑结构，确定所述初始化的无人机网络的网络参数；根据所述初始化的无人机网络的网络参数，确定所述初始化的无人机网络的优化目标；

所述中继无人机位置确定模块，用于基于深度Q学习方法，根据所述初始化的无人机网络的优化目标计算奖励值，确定所述中继无人机的初始位置。

可选的，所述无人机位置确定模块，用于将其中一个无人机从所述起始位置移动至少一步；

所述优化目标确定模块，用于根据其中一个无人机移动每一步后形成的各无人机的当前位置，确定当前无人机网络的拓扑结构；根据所述当前无人机网络的拓扑结构，确定所述当前无人机网络的网络参数；根据所述当前无人机网络的网络参数，确定所述当前无人机网络的优化目标；

所述中继无人机位置确定模块，用于基于深度Q学习方法，根据所述当前无人机网络的优化目标计算奖励值，确定所述中继无人机从所述初始位置移动至少一步的移动轨迹。

从上面所述可以看出，本说明书一个或多个实施例提供的中继无人机部署方法及装置，通过确定至少一个无人机在无人机网络中的位置，根据无人机网络的网络参数，确定无人机网络的优化目标，基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置。通过在无人机网络中部署中继无人机，在无人机协作追踪目标过程中，中继无人机按照部署的移动轨迹运动，可利用中继无人机实现协作的无人机之间的信息传输，保证通信质量，降低时延和能耗，提高信息共识，提高目标追踪精度和稳定性。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例的方法流程示意图；

图2为本说明书一个或多个实施例的装置结构示意图；

图3为本说明书一个或多个实施例的电子设备结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术所述，在无人机网络中，多无人机协同追踪目标的过程中，存在无人机的通信链路中断，信息传输路径复杂，传输信息存在时延等问题，影响多无人机实现协同追踪目标任务的精度和稳定性。为解决上述问题，本实施例通过在无人机网络中部署中继无人机，并合理规划中继无人机的运动轨迹，能够利用中继无人机实现无人机之间的信息传输，保证多无人机协同工作过程中的通信质量，降低传输时延和能耗，提高目标追踪任务的精度和稳定性。

以下，通过具体的实施例进一步详细说明本申请公开的技术方案。

如图1所示，本说明书实施例提供一种中继无人机部署方法，包括：

S101：确定至少一个无人机在无人机网络中的位置；

本实施例中，由至少一个无人机依据无人机信道模型建立无人机网络。设无人机网络中包括N个无人机，N个无人机追踪N个目标，每个无人机追踪一个目标。

一些实施例中，初始化无人机网络时，随机初始化各无人机的起始位置，无人机网络初始化完成后，在无人机执行目标追踪任务时，无人机从起始位置开始移动，无人机的位置发生变化，通过无人机之间的协作实现目标追踪。

S102：根据无人机网络的网络参数，确定无人机网络的优化目标，优化目标包括最优化能耗和时延、最小化中断概率和最大化共识概率；

本实施例中，无人机网络的网络参数包括传输能耗、飞行能耗、传输时延、通信中断概率、共识收敛时间等。一些方式中，无人机网络的信道模型为LOS信道模型，考虑自由空间损耗模型，无人机之间使用同一信道资源时存在干扰，通过信道模型能够计算得到每条通信链路的信噪比、传输速率、传输时延等网络参数。

本实施例中，为保证无人机网络中各无人机的通信质量，保证目标追踪精度和稳定性，确定以最优化能耗和时延、最小化中断概率和最大化共识概率为优化目标。

S103：基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置。

本实施例中，于无人机网络中部署中继无人机，利用中继无人机为任意协作的无人机之间的通信链路传输信息。一些方式中，无人机网络中的无人机和中继无人机基于ad-hoc组网实现信息传输交互。

本实施例中，基于深度Q学习方法，根据无人机网络的优化目标计算奖励值，确定出中继无人机在无人机网络中的位置。一些实施例中，初始化无人机网络时，确定各无人机的起始位置后，根据初始状态下无人机网络的网络参数，确定中继无人机的起始位置；在无人机执行目标追踪任务过程中，无人机移动导致位置发生变化，无人机网络的拓扑结构发生变化，根据当前无人机网络的网络参数，基于深度Q学习方法，确定中继无人机在无人机网络中的当前位置，从而确定无人机在执行目标追踪过程中中继无人机的移动轨迹。通过在无人机网络中部署中继无人机，可利用中继无人机在协作的无人机之间传输信息，降低时延和能耗，提高信息共识。

本实施例提供的中继无人机部署方法，包括确定至少一个无人机在无人机网络中的位置，根据无人机网络的网络参数，确定无人机网络的优化目标，优化目标包括最优化能耗和时延、最小化中断概率和最大化共识概率，基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置。通过在无人机网络中部署中继无人机，在无人机协作追踪目标过程中，中继无人机按照部署的移动轨迹运动，可利用中继无人机实现协作的无人机之间的信息传输，保证通信质量，降低时延和能耗，提高信息共识，提高目标追踪精度和稳定性。

可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。

一些实施例中，由至少一个无人机依据无人机信道模型建立无人机网络。根据信道模型，在时隙n，第i个无人机与第j个无人机之间的距离d_ij(n)为：

其中，时隙是传输信息的最小时间单位，在每个时隙中，无人机完成一次信息交互和追踪信息的共识。追踪信息可以是无人机所追踪的目标的位置信息等信息。

在时隙n，第i个无人机与第j个无人机之间的信道增益系数g_ij[n]为：

其中，n＝1,2,……,N_t，N_t为时隙的总数，β₀为两无人机之间的距离为1米时的信道系数，为固定常数。一些方式中，所有无人机位于同一高度，可以认为所有无人机位于同一水平面，所有无人机的位置坐标在基于该水平面建立的位置坐标系中，x_i(n)、x_j(n)分别为在时隙n，第i、j个无人机在位置坐标系中的x轴坐标，y_i[n]、y_j(n)分别为在时隙n，第i、j个无人机在位置坐标系中的y轴坐标。

在时隙n，第i个无人机与第j个无人机之间的信噪比γ_ij[n]为：

其中，B表示网络的传输带宽，N₀表示接收机处加性高斯白噪声(AWGN)的功率谱密度，p_i[n]表示在时隙n，第i个无人机的传输功率，p_k[n]表示在时隙n，第k个无人机对第j个无人机造成干扰的发射功率，g_ik[n]为在时隙n，第i个无人机与第k个无人机之间的信道增益系数。当两个无人机之间的信噪比大于可通信范围内的最小信噪比时，两个无人机之间可以进行通信。

在时隙n，第i个无人机的有效传输速率R_i[n]为：

R_i[n]＝Blog₂(1+γ_ij[n]) (4)

在时隙n，第i个无人机与第j个无人机之间的传输能耗为：

其中，p_i为第i个无人机的传输功率，d_ij为第i个无人机与第j个无人机之间的距离，R_i为第i个无人机的有效传输速率。

第i个无人机的飞行能耗为：

其中，d_r(n)表示在时隙n，无人机移动的距离，v表示无人机的飞行速度，c_i,1，c_i,2分别为第i个无人机飞行的阻力系数和升力系数，为固定常数。

在无人机网络中部署中继无人机后，中继无人机在N_t个时隙内消耗的总能量为：

其中，e_t(i,j,n)表示在时隙n，中继无人机(这里设第i个无人机为中继无人机)向第j个无人机传输信息时的传输能耗，第j个无人机为中继无人机的邻居无人机节点，Ω_r为邻居无人机节点的集合，

表示在时隙n，中继无人机以速率v飞行的飞行能耗。

第i个无人机与第j个无人机之间的传输时延为：

在多无人机目标追踪任务中，有效的分布式协同估计算法可以使得当其中一个无人机发生故障时，通过与其他相邻无人机的信息交互，仍然能够完成跟踪任务。其中，共识策略就是解决分布式协同估计问题的一种重要方法。在实际的目标追踪任务中，由于环境、地形、平台移动、敌方干扰等因素的影响，无人机之间的通信往往不能保证实时性，接收到的信息可能会有一定的时延。在这种情况下，这些延迟的信息会严重影响目标追踪的精度，甚至导致目标丢失。因此，提高共识收敛时间是一种有效提升目标追踪精度的方法，同时能够保证无人机之间良好的通信质量。

本实施例中，根据共识算法，在时隙n，第i个无人机的融合信息为：

a_ij表示第i个无人机与第j个无人机之间的共识权重系数，Ω_i是第i个无人机的邻居无人机节点的集合。

是经过共识算法后得到的第i个无人机的融合信息值。

当

时，即当第i个无人机的位置

与第j个无人机的位置

相等时，第i个无人机与第j个无人机对于彼此的位置信息相互达到共识，T_{con_delay}为根据公式(9)所示共识算法计算后满足

时的共识收敛时间，表示多个无人机对所追踪的目标的信息(例如位置信息)达成一致时所需要的时间。

计算无人机在N_t个时隙内的每个时隙的飞行过程中，加入中继无人机和不加入中继无人机两种情况下得到的共识收敛时间的时间差总和T_c为：

其中，T′_{con_delay}表示在不存在中继无人机且存在通信时延的情况下，根据共识算法计算得到的共识收敛时间，T_{con_delay}表示存在中继无人机且存在通信时延的情况下，根据共识算法计算得到的共识收敛时间。

一些实施例中，根据公式(7)、(10)，建立最优化能耗和时延的优化目标F_n：

其中，ζ₁为共识收敛时间的时间差总和的权重值。按照最优化能耗和时延的优化目标，无人机网络能够在总能耗和传输时延之间达到最优化权衡。

考虑到在无人机网络中，存在个别无人机由于通信链路的信噪比不高而导致通信中断的情况，建立最小化中断概率的优化目标：

其中，P_interrupt表示无人机的通信中断概率，I_interrupt(n)表示在时隙n，无人机网络是否处于中断状态，表示为：

根据公式(13)，判断是否通信中断的条件是，当前无人机网络的拓扑结构情况下是否存在一颗生成树，若存在，那么无人机网络处于连接状态，I_interrupt的值为0；若不存在，无人机网络处于中断状态，I_interrupt的值为1。

也可以表示为：

即，当前无人机网络的拓扑结构情况下是否存在一颗生成树，若存在，那么无人机网络处于连接状态，I_connected的值为1；若不存在，无人机网络处于中断状态，I_connected的值为0。

在无人机通过通信链路传输信息的过程中，不是所有情况下都能达到共识，当且仅有整个无人机网络拓扑结构满足存在一个全局可达点(是指通过一跳或多跳的方式可接收来自除自身之外所有无人机传输的信息)的情况下，可达到共识。由此，建立最大化共识概率的优化目标：

其中，P_consensus表示无人机的共识概率，C_consensus(n)表示在时隙n，无人机网络是否达到共识，表示为：

根据公式(16)，判断无人机网络是否达到共识的条件是，当前无人机网络的拓扑结构情况下，是否共识能收敛，即是否存在一个全局可达点，若存在，无人机网络处于共识状态，C_consensus的值为1，若不存在，无人机网络处于非共识状态，I_interrupt的值为0。

一些实施例中，确定至少一个无人机在无人机网络中的位置，包括：无人机网络初始化时，随机确定各无人机在无人机网络中的起始位置；

根据无人机网络的网络参数，确定无人机网络的优化目标，包括：

根据各无人机的起始位置，确定初始化的无人机网络的拓扑结构；

根据初始化的无人机网络的拓扑结构，确定初始化的无人机网络的网络参数；

根据初始化的无人机网络的网络参数，确定初始化的无人机网络的优化目标；

基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置，包括：基于深度Q学习方法，根据初始化的无人机网络的优化目标计算奖励值，确定中继无人机的初始位置。

本实施例中，无人机网络初始化时，随机确定各无人机在无人机网络中的起始位置；基于各无人机的起始位置，确定无人机网络的拓扑结构，根据无人机网络的拓扑结构，确定初始化的无人机网络的网络参数，根据初始化的无人机网络的网络参数，确定初始化的无人机网络的优化目标，基于Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的初始位置。一些方式中，各无人机在起始位置处于静止状态。这样，在无人机网络初始化后，能够确定各无人机的起始位置，并确定部署的中继无人机在无人机网络中的最优的初始位置。

一些实施例中，确定至少一个无人机在无人机网络中的位置，包括：其中一个无人机从起始位置移动至少一步；

根据无人机网络的网络参数，确定无人机网络的优化目标，包括：

根据其中一个无人机移动每一步后形成的各无人机的当前位置，确定当前无人机网络的拓扑结构；

根据当前无人机网络的拓扑结构，确定当前无人机网络的网络参数；

根据当前无人机网络的网络参数，确定当前无人机网络的优化目标；

基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置，包括：基于深度Q学习方法，根据当前无人机网络的优化目标计算奖励值，确定中继无人机从初始位置移动至少一步的移动轨迹。

本实施例中，无人机网络初始化完成后，各无人机开始执行目标追踪任务，追踪过程中，无人机移动，位置发生变化，无人机网络的拓扑结构(由无人机网络中无人机的数量及各无人机所处的位置确定)发生变化，无人机网络的网络参数发生变化。在执行目标追踪任务过程中，为了将中继无人机部署于无人机网络中的最优位置，无人机网络中的其中一个无人机从起始位置开始每移动一步，相应的确定当前无人机网络的拓扑结构，确定当前无人机网络的网络参数，确定当前无人机网络的优化目标，基于深度Q学习方法，根据确定的优化目标计算奖励值，确定中继无人机在当前无人机网络中的最优位置。这样，当无人机网络中的所有无人机在移动范围内移动若干步数之后，能够得到中继无人机在无人机网络中移动若干步数的运动轨迹。在目标追踪过程中，部署中继无人机按照运动轨迹进行移动，能够利用中继无人机实现协作的无人机之间的信息传输，降低通信中断概率，降低能耗和时延，提高共识概率，进而提高目标追踪的精度和稳定性。

一些方式中，深度Q学习(Deep Q Learning)方法是在Q学习方法基础上演变而来的，Q学习方法包括状态、行为、奖励和Q值四个过程，本实施例不对深度Q学习方法的具体算法原理及过程进行详细说明。

本实施例中，定义中继无人机的位置为ξ＝(x_r，y_r)，ξ为中继无人机在基于水平面建立的二维XOY坐标系中的位置，x_t为在XOY坐标系中的x轴坐标，y_t在XOY坐标系中的y轴坐标。中继无人机在无人机网络中的覆盖范围内的所有位置形成状态空间x_UAV：{0,1…X_D}，y_UAV：{0,1…Y_D}，X_D和Y_D分别为无人机网络覆盖范围内x轴坐标最大值，y轴坐标最大值。

定义中继无人机可在无人机网络覆盖范围内沿x轴方向和y轴方向以特定步长移动。一些方式中，覆盖范围可定义为range∈{-20,…,20}，特定步长可定义为step＝1，通过选择最优行动获得最大化的奖励。

一些实施例中，将中继无人机部署于无人机网络中的特定位置，位于特定位置的中继无人机在无人机网络中探索环境，探索过程中，在每个时隙，中继无人机由当前状态(当前位置)采取行动(在覆盖范围内以特定步长沿特定方向移动)时，获取无人机网络的网络参数，根据网络参数计算奖励值r_t：

r_t＝w₁F_n(n)+w₂C_consensus(n)+w₃I_connected(n) (17)

其中，w₁为最优化能耗和时延的优化目标的权重值，w₂为最大化共识概率的优化目标的权重值，w₃为最小化中断概率的优化目标的权重值。

计算得到奖励值之后，将当前状态、动作、奖励值、执行动作后的下一个状态(由当前位置移动后的位置)和动作是否终止五项参数作为转移样本存储于经验池中。当经验池中的转移样本的数量大于预设的样本阈值时，从经验池中提取出数量为样本阈值的转移样本，根据提取出的转移样本，计算中继无人机部署于特定位置时的无人机网络的Q值，计算公式为：

Q(s,a)＝E[R_s+γmax_aQ(s′,a)|s,a] (18)

其中，R_s为在状态s下采取动作a得到的奖励值，s′为状态s的下一状态，γ为折扣因子，能够反映旧动作对性能的影响，一些方式中，折扣因子可设置为0.99。

按照上述过程，在无人机网络初始化时，各无人机随机部署于起始位置后，通过将中继无人机部署于初始化的无人机网络中的不同位置，基于深度Q学习方法，计算中继无人机位于不同位置下的奖励值和对应的Q值，从中选择Q值最大的中继无人机的位置作为最优的初始位置。

在确定了中继无人机的初始位置之后，无人机网络完成初始化，任意一个无人机开始移动，移动一步时，中继无人机从初始位置开始移动一步至不同位置，基于深度Q学习方法，计算中继无人机移动一步至不同位置下的奖励值和对应的Q值，从中选择出Q值最大的中继无人机的移动一步所达到的位置作为最优的下一步位置。按照上述过程，任意一个无人机在覆盖范围之内移动若干步之后，能够得到中继无人机移动若干步的移动轨迹，从而得到在无人机执行目标追踪任务过程中，部署中继无人机的移动轨迹，可利用中继无人机实现协作的无人机之间的信息传输，避免通信中断，提高共识概率，提高目标追踪任务的精度和稳定性。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

如图2所示，本说明实施例还提供一种中继无人机部署装置，包括：

无人机位置确定模块，用于确定至少一个无人机在无人机网络中的位置；

优化目标确定模块，用于根据无人机网络的网络参数，确定无人机网络的优化目标，其中，优化目标包括最优化能耗和时延、最小化中断概率和最大化共识概率；

中继无人机位置确定模块，用于基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置。

一些实施例中，无人机位置确定模块，用于在无人机网络初始化时，随机确定各无人机在无人机网络中的起始位置；

优化目标确定模块，用于根据各无人机的起始位置，确定初始化的无人机网络的拓扑结构；根据初始化的无人机网络的拓扑结构，确定初始化的无人机网络的网络参数；根据初始化的无人机网络的网络参数，确定初始化的无人机网络的优化目标；

中继无人机位置确定模块，用于基于深度Q学习方法，根据初始化的无人机网络的优化目标计算奖励值，确定中继无人机的初始位置。

一些实施例中，无人机位置确定模块，用于将其中一个无人机从起始位置移动至少一步；

优化目标确定模块，用于根据其中一个无人机移动每一步后形成的各无人机的当前位置，确定当前无人机网络的拓扑结构；根据当前无人机网络的拓扑结构，确定当前无人机网络的网络参数；根据当前无人机网络的网络参数，确定当前无人机网络的优化目标；

中继无人机位置确定模块，用于基于深度Q学习方法，根据当前无人机网络的优化目标计算奖励值，确定中继无人机从所述初始位置移动至少一步的移动轨迹。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种中继无人机部署方法，其特征在于，包括：

确定至少一个无人机在无人机网络中的位置；

根据无人机网络的网络参数，确定无人机网络的优化目标，所述优化目标包括最优化能耗和时延、最小化中断概率和最大化共识概率；

基于深度Q学习方法，根据所述优化目标计算奖励值，确定中继无人机在所述无人机网络中的位置。

2.根据权利要求1所述的方法，其特征在于，所述确定至少一个无人机在无人机网络中的位置，包括：

所述无人机网络初始化时，随机确定各无人机在所述无人机网络中的起始位置；

所述根据无人机网络的网络参数，确定无人机网络的优化目标，包括：

根据各无人机的起始位置，确定初始化的无人机网络的拓扑结构；

根据所述初始化的无人机网络的拓扑结构，确定所述初始化的无人机网络的网络参数；

根据所述初始化的无人机网络的网络参数，确定所述初始化的无人机网络的优化目标；

所述基于深度Q学习方法，根据所述优化目标计算奖励值，确定中继无人机在所述无人机网络中的位置，包括：

基于深度Q学习方法，根据所述初始化的无人机网络的优化目标计算奖励值，确定所述中继无人机的初始位置。

3.根据权利要求2所述的方法，其特征在于，所述基于深度Q学习方法，根据所述初始化的无人机网络的优化目标计算奖励值，确定所述中继无人机的初始位置，包括：

确定各无人机的起始位置后，通过将所述中继无人机部署于所述初始化的无人机网络中的不同位置，基于深度Q学习方法，计算所述中继无人机位于不同位置下的奖励值和对应的Q值，从中选择Q值最大的中继无人机的位置作为最优的初始位置。

4.根据权利要求2所述的方法，其特征在于，所述确定至少一个无人机在无人机网络中的位置，包括：

其中一个无人机从所述起始位置移动至少一步；

所述根据无人机网络的网络参数，确定无人机网络的优化目标，包括：

根据其中一个无人机移动每一步后形成的各无人机的当前位置，确定当前无人机网络的拓扑结构；

根据所述当前无人机网络的拓扑结构，确定所述当前无人机网络的网络参数；

根据所述当前无人机网络的网络参数，确定所述当前无人机网络的优化目标；

所述基于深度Q学习方法，根据优化目标计算奖励值，确定中继无人机在无人机网络中的位置，包括：

基于深度Q学习方法，根据所述当前无人机网络的优化目标计算奖励值，确定所述中继无人机从所述初始位置移动至少一步的移动轨迹。

5.根据权利要求4所述的方法，其特征在于，所述基于深度Q学习方法，根据所述当前无人机网络的优化目标计算奖励值，确定所述中继无人机从所述初始位置移动至少一步的移动轨迹，包括：

任意一个无人机从所述起始位置移动一步时，所述中继无人机从所述初始位置开始移动一步至不同位置，基于深度Q学习方法，计算所述中继无人机移动一步至不同位置下的奖励值和对应的Q值，从中选择出Q值最大的中继无人机移动一步所达到的位置作为最优的下一步位置。

6.根据权利要求1所述的方法，其特征在于，所述最优化能耗和时延的优化目标为：

其中，T_c为加入中继无人机和不加入中继无人机两种情况下得到的共识收敛时间的时间差总和，ζ₁为共识收敛时间的时间差总和的权重值，E_R为中继无人机在N_t个时隙内消耗的总能量；

其中，T′_{con_delay}为不存在中继无人机且存在通信时延的情况下的共识收敛时间，T_{con_delay}为存在中继无人机且存在通信时延的情况下的共识收敛时间；

其中，E_t(i,j,n)为在时隙n，中继无人机i向第j个无人机传输信息时的传输能耗，第j个无人机为中继无人机的邻居无人机节点，Ω_r为邻居无人机节点的集合，

为在时隙n，中继无人机以速率v飞行的飞行能耗；

所述最小化中断概率P_interrupt的优化目标为：

I_interrupt(n)为在时隙n，无人机网络是否处于中断状态；

所述最大化共识概率P_consensus的优化目标为：

C_consensus(n)为在时隙n，无人机网络是否达到追踪信息的共识。

7.根据权利要求6所述的方法，其特征在于，根据所述优化目标计算奖励值r_t的方法是：

r_t＝w₁F_n(n)+w₂C_consensus(n)+w₃I_connected(n) (17)

其中，w₁为最优化能耗和时延的优化目标的权重值，w₂为最大化共识概率的优化目标的权重值，w₃为最小化中断概率的优化目标的权重值，I_connected(n)为I_interrupt(n)的值取反。

8.一种中继无人机部署装置，其特征在于，包括：

无人机位置确定模块，用于确定至少一个无人机在无人机网络中的位置；

优化目标确定模块，用于根据所述无人机网络的网络参数，确定所述无人机网络的优化目标，其中，优化目标包括最优化能耗和时延、最小化中断概率和最大化共识概率；

中继无人机位置确定模块，用于基于深度Q学习方法，根据所述优化目标计算奖励值，确定中继无人机在所述无人机网络中的位置。

9.根据权利要求8所述的装置，其特征在于，

所述无人机位置确定模块，用于在所述无人机网络初始化时，随机确定各无人机在所述无人机网络中的起始位置；

所述优化目标确定模块，用于根据各无人机的起始位置，确定初始化的无人机网络的拓扑结构；根据所述初始化的无人机网络的拓扑结构，确定所述初始化的无人机网络的网络参数；根据所述初始化的无人机网络的网络参数，确定所述初始化的无人机网络的优化目标；

所述中继无人机位置确定模块，用于基于深度Q学习方法，根据所述初始化的无人机网络的优化目标计算奖励值，确定所述中继无人机的初始位置。

10.根据权利要求9所述的装置，其特征在于，

所述无人机位置确定模块，用于将其中一个无人机从所述起始位置移动至少一步；

所述优化目标确定模块，用于根据其中一个无人机移动每一步后形成的各无人机的当前位置，确定当前无人机网络的拓扑结构；根据所述当前无人机网络的拓扑结构，确定所述当前无人机网络的网络参数；根据所述当前无人机网络的网络参数，确定所述当前无人机网络的优化目标；

所述中继无人机位置确定模块，用于基于深度Q学习方法，根据所述当前无人机网络的优化目标计算奖励值，确定所述中继无人机从所述初始位置移动至少一步的移动轨迹。

Images