CN110647165A - 一种无人机的能量分配优化方法 - Google Patents

Abstract

本发明适用于能量平衡分配技术改进领域，提供了一种无人机的能量分配优化方法，包括：S1、将无人机、地面终端及基站搭建基本的系统模型；S2、无人机感知基站的状态，若基站忙碌，则无人机沉默，地面终端从基站的无线信号里获取能量，若基站空闲，则无人机评估系统状态并执行下一步；S3、无人机根据估计收益对每种行为计算其对应的发射功率；S4、根据获取的每种行为的发射功率通过函数式确定无人机的行为动作，该方案的时间复杂度低，但效果很接近时间复杂度高的最优策略，可方便地植入无人机系统中并获得较高的数据传输率和能量转换效率。保证时间复杂度低的同时提升了系统的数据传输率。

Description

一种无人机的能量分配优化方法

技术领域

本发明属于能量平衡分配技术改进领域，尤其涉及一种无人机的能量分配优化方法。

背景技术

近年来，无人机的相关技术越来越成熟，其应用领域也在不断扩大，除了侦察和货运以外，还被应用于无线通信和无线充电领域，并发挥着越来越重要的作用。将无人机应用于无线通信和无线充电领域，除了可以更便捷地搭建系统外，还能获得直视信道，从而得到更高的信噪比和能量转化效率。

然而，使用无人机进行无线通信时存在以下问题：首先，无人机工作在ISM频段上，这是一个公共频段，很多无线设备所使用的协议(比如Wifi，BlueTooth)都工作在这个频段上，导致有些时候容易发生碰撞，使数据传输率降低；其次，无人机的电量有限，无法一直飞在空中，如何利用无人机有限的能量去最大化其工作时间内的数据传输率是一个具有挑战性的难题。

发明内容

本发明的目的在于提供一种无人机的能量分配优化方法，旨在解决利用无人机有限的能量最大化无人机到地面终端的下行信息传输率的问题。

本发明是这样实现的，一种无人机的能量分配优化方法，所述方法包括以下步骤：

S1、将无人机、地面终端及基站搭建基本的系统模型；

S2、无人机感知基站的状态，若基站忙碌，则无人机沉默，地面终端从基站的无线信号里获取能量，若基站空闲，则无人机评估系统状态并执行下一步；

S3、无人机根据估计收益对每种行为获取其对应的发射功率；

S4、根据获取的每种行为的发射功率通过函数式确定无人机的行为动作，其函数式：

其中，S(t)＝(S_p(t)，E_r(t)，B(t)，γ_u(t))代表第t个时隙下的系统状态，它由四个变量复合而成：第t个时隙下的基站状态S_p(t)，无人机剩余电量E_r(t)，地面终端电量B(t)和无人机到地面终端的信道状态γ_u(t)，A(t)＝(a(t),P(t))代表第t个时隙下无人机的动作，它由两个变量复合而成：第t个时隙的行为a(t)和对应的发射功率P(t)，代表在系统状态为S(t)下且无人机的动作为A(t)时，系统能达到的最大数据传输率，a′(t)代表在系统状态为S(t)下无人机的最佳行为。

本发明的进一步技术方案是：所述步骤S1中在搭建基本的系统模型中基站拥有一个授权频段，基站在忙碌-空闲状态转换中服从二状态马尔科夫链，其转换概率：β_ss′＝P_r(S_p(t+1)＝s′|S_p(t)＝s)，其中，P_r代表概率，S_p(t)代表第t个时隙下的基站状态，s′代表第t个时隙的系统状态值，s代表基站第t+1个时隙的系统状态值。

本发明的进一步技术方案是：所述步骤S2中在每个时隙开始时，无人机感知基站的状态，然后向地面终端发送一个二比特指示信号，所述指示信号具有四种取值，分别‘00’表示基站空闲，无人机将向地面终端传输能量；‘01’表示基站空闲，无人机将向地面终端传输信息；‘10’表示基站空闲，无人机保持沉默；‘11’表示基站忙碌，地面终端从基站信号获取能量。

本发明的进一步技术方案是：所述步骤S3中在最后一个时隙，只要地面终端有能量接收和解码信息，无人机将自身剩余能量尽量给地面终端传输能量。

本发明的进一步技术方案是：所述步骤S4中无人机选择沉默，a(t)＝0，A(t)＝(0，0)时，有E_r(t+1)＝E_r(t)，B(t+1)＝B(t)，无人机能获取的估计收益为

本发明的进一步技术方案是：所述步骤S4中当无人机选择给地面终端传输能量，即a(t)＝1，A(t)＝(1,P_c(t))时，有E_r(t+1)＝E_r(t)-P_c(t)，B(t+1)＝B(t)+ηP_c(t)γ_u(t)，无人机能获取的估计收益为

本发明的进一步技术方案是：所述步骤S4中当无人机选择给地面终端传输信息，即a(t)＝2，A(t)＝(2,P_m(t))时，有E_r(t+1)＝E_r(t)-P_m(t)，B(t+1)＝B(t)-E_d，无人机能获取的估计收益为

本发明的有益效果是：无线设备的使用可以节省布线成本，美化空间，体积小且功率较低，将无人机应用于无线设备的信息和能量传输，提高网络的数据传输率和能量转换效率；该方案的时间复杂度低，但效果很接近时间复杂度高的最优策略，可方便地植入无人机系统中并获得较高的数据传输率和能量转换效率。保证时间复杂度低的同时提升了系统的数据传输率。

附图说明

图1是本发明实施例提供的能量分配优化方法的流程图。

图2是本发明实施例提供的无人机、基站及地面终端搭建基本的系统模型。

具体实施方式

如图1所示，本发明提供的无人机的能量分配优化方法，其详述如下：

增大无人机的传输带宽和合理管理无人机的电量是提高无人机数据传输率的关键性问题。解决这两个问题，我们便可以提高无人机在无线通信和无线充电系统的服务质量。

基于无人机在无线信息和无线能量传输领域的不断发展，本文提出一个新的无人机使能的无线通信和充电系统。在该系统中，无人机利用一级用户的频谱空洞给地面终端传输无线信息和无线能量，目标是利用无人机有限的能量最大化无人机到地面终端的下行数据传输率。

基于该系统，提出了一种高效的无人机能量分配优化方案，在保证时间复杂度低的同时提升了系统的数据传输率。

模型要素及相互关系

如图2所示，基本的系统模型包含三个要素：基站、地面终端和无人机。

基站拥有一个授权频段，其忙碌-空闲状态转换服从二状态马尔科夫链。其发射功率固定为P_p。

地面终端是小功率型物联网设备，内置电池，可以将基站和无人机的信号转化为电能。它与基站的距离为D。

无人机是多旋翼型无人机，内置电池，工作时悬停在地面终端正上方，与地面终端的相对高度为H。它有认知无线电功能，即可以感知到基站的忙碌-空闲状态，并在基站空闲时使用基站频段向地面终端发送无线信号或传输微波无线能量，在基站忙碌时保持沉默。

我们认为无人机的工作时长是固定的，并且将这段时间离散化为T个时隙，假设每个时隙内的所有信道状态不变。无人机电池容量有限，它悬停在地面终端正上方并使用其电池里的能量来为地面终端服务，其能量可以分为两部分：一部分用来给地面终端传输信息的能量E_p，其他部分用来做其他事情(包括悬停、感知基站状态、信道状态等)，其他的这部分能量是固定值，对模型没有影响，于是不再考虑。无人机的电池电量有限，其最大发射功率为P_max，在第t个时隙，无人机剩余的可以用来给地面终端做信息和能量传输的电量为E_r(t)，当其被耗尽时无人机停止工作，过程结束。假设无人机能百分百精准感知到基站的忙碌-空闲状态，当基站忙碌时无人机沉默，故不会有碰撞发生

地面终端的电池可以被充电，其能量来源有两个：当基站忙碌时从基站的无线信号获取；当基站空闲且无人机向其传输能量信号时从无人机的无线信号获取。在第t个时隙，地面终端的电池电量为B(t)，其电池容量上限为B_max。地面终端还可以接收无人机发送的无线信息，接收和解码无线信息需要一定能量E_d，当其电池电量低于该能量值时无法正确接收无人机的信息。

在第t个时隙，基站的状态表示为S_p(t)，它有两种取值：0和1，分别表示基站空闲和忙碌。基站的忙碌-空闲状态转换服从二状态马尔科夫链，其转换概率可以表示为

β_ss′＝P_r(S_p(t+1)＝s′|S_p(t)＝s), (2-1)

即基站某个时隙状态为s条件下，下一个时隙为s’的条件概率，所以基站的平稳空闲概率为

p_i＝β₁₀/(β₁₀+β₀₁). (2-2)

在第t个时隙，无人机的行为a(t)有3种取值：0、1和2，分别代表：沉默、向地面终端传输能量和向地面终端传输信息。在第t个时隙的开始时，无人机感知基站的状态，如果基站忙碌，那么无人机的行为a(t)只能取0即沉默；如果基站空闲，无人机会评估其到地面终端的信道状态γ_u(t)，我们这里假设在不同的时隙里，γ_u(t)互相独立且同分布。无人机在向地面终端传输信息和发送能量时的波形不同，对应的功率分别表示为P_c(t)和P_m(t)，所以无人机在第t个时隙的发射功率为：

无人机的目标是利用有限的能量最大化它到地面终端的下行信息传输率。

为了同步无人机和地面终端的行为，在每个时隙开始时，无人机感知基站的状态，然后向地面终端发送一个二比特指示信号，它有4种取值：‘00’表示基站空闲，无人机将向地面终端传输能量；‘01’表示基站空闲，无人机将向地面终端传输信息；‘10’表示基站空闲，但无人机保持沉默；‘11’表示基站忙碌，地面终端可以从基站信号获取能量。如果第t个时隙基站忙碌，则在该时隙的末尾，地面终端会向无人机发送自己从基站收到的能量E_h(t)。由于指示信号数据量小，所以其造成能量消耗可以忽略不计。

问题建模

我们将这个问题建模为约束型马尔科夫决策过程，整个系统的目标是利用无人机有限的能量最大化无人机到地面终端的下行信息传输率。

这个马尔科夫决策过程的要素包括：

系统状态：

S(t)＝(S_p(t),E_r(t),B(t),γ_u(t)). (3-1)

该系统状态由四个变量复合而成：基站状态，无人机剩余电量，地面终端电量和无人机到地面终端的信道状态。这四个变量的取值范围分别为S_p(t)∈{0,1}，E_r(t)∈[0,E_p]，B(t)∈[0,B_max]，γ_u(t)∈[0，+∞)。

由于信道状态γ_u(t)是连续的，所以系统状态S(t)也是连续的，状态空间无穷大。

动作：

A(t)＝(a(t)，P(t)), (3-2)

其中，

a(t)∈{0，1，2}，

该马尔科夫决策过程的决策主体为无人机，无人机的动作包括两个方面：行为和发射功率。无人机的行为有3种：沉默、向地面终端传输能量和向地面终端传输信息，对应的发射功率分别为0、P_c(t)以及P_m(t)。

状态转移：

在第t个时隙，给定系统状态S(t)＝(S_p(t)，E_r(t)，B(t)，γ_u(t))和无人机动作A(t)，则在第t+1个时隙，地面终端的电量为

其中ηP(t)γ_u(t)是地面终端在第t个时隙当基站空闲且无人机向地面终端传输能量信号时地面终端接收到的能量，η∈[0，1]表示能量转化效率。由公式可看出，当基站忙碌或者无人机选择向地面终端传输能量信号时，地面终端的电池电量会增加；当基站空闲且无人机选择沉默时，地面终端的电池电量维持不变；当基站空闲且无人机选择向地面终端传输信息信号时，地面终端由于接收和解码信号需要消耗能量，所以其电池电量会减少。类似地，在第t+1个时隙，无人机的剩余的用于给地面终端传输无线信息或能量的电量为

由公式可以看出，当无人机沉默时，无人机的剩余的用于给地面终端传输无线信息或能量的电量维持不变；当无人机选择向地面终端传输无线信息或者能量信号时，无人机的剩余的用于给地面终端传输无线信息或能量的电量减少。这里要注意的是，在第t个时隙，无人机为地面终端服务而消耗的能量不能超过无人机的剩余的用于给地面终端传输无线信息或能量的电量，也不能超过它的最大发射功率P_max，用公式表示为

P(t)≤min(E_r(t)，P_max)，1≤t≤T. (3-5)

由公式(3-3)和(3-4)可以看出，B(t+1)和E_r(t+1)都分别只与上一个时隙的B(t)和E_r(t)有关。而且，S_p(t)对于不同的t独立且同分布，γ_u(t)也对于不同的t独立且同分布，所以，第t+1个时隙的系统状态S(t+1)＝(S_p(t+1)，E_r(t+1)，B(t+1)，γ_u(t+1))只与上一个时隙的系统状态S(t)＝(S_p(t)，E_r(t)，B(t),γ_u(t))相关，所以该复合系统状态也拥有马尔科夫性。

收益：

在第t个时隙，给定系统状态S(t)＝(S_p(t)，E_r(t),B(t)，γ_u(t))和无人机动作A(t)，该马尔可夫决策过程的收益表示为无人机到地面终端的下行数据传输率，即

其中，N₀是噪声功率，I(x1,x2,x3)是指示函数，有

目标函数：

马尔科夫决策过程的求解就是找到一个最佳策略，来使最终总的收益最大化。在我们这个马尔可夫决策过程里，策略表示为π＝[J_t,t＝1,…,T]，其中J_t是第t个时隙的映射函数，其映射的关系为A(t)＝J_t(S(t))，即J_t将第t个时隙的系统状态映射到第t个时隙无人机动作。我们的目标是找到最佳的无人机策略π^*，使得总的T个时隙里，受限于无人机的能量，无人机到地面终端总的下行数据传输率最大，用公式表示为

s.t. (3-5)

由于系统状态连续(因为γ_u(t)连续)，难以通过常规动态规划方法求解最佳策略(动态规划的求解时间复杂度随T增长至少为O(3^T))，于是我们通过分析最后两个时隙的最优解空间结构来得出次优策略。

无人机的能量分配优化方案

对于最后一个时隙，即t＝T时，问题(P1)简化为

s.t. P(T)≤min{P_max,E_r(T)}

显然，在最后一个时隙，为了最大化数据传输率，只要地面终端有能量接收和解码信息，无人机就将自己的剩余能量尽可能用来给地面终端传输信息，于是最优的A^*(t)＝(a^*(t),P^*(t))为

当t<T时，我们需要考虑当前的收益和未来的收益。未来的收益大小直接取决于未来无人机向地面终端发送信息的次数以及每次发送信息时的信道状态，我们定义了一个未来收益估计函数

其中，

代表未来无人机可以向地面终端发送信息的次数，它不能超过未来基站的期望空闲时隙数和地面终端能够接收和解码信息的次数。公式(4-1)中的

表示未来无人机给地面终端发送信息时的发射功率，我们假定无人机将下个时隙开始时的能量平均分配给未来做信息发送的时隙。公式(4-2)中的E_h表示当基站忙碌时，地面终端在一个时隙里能接收到的期望能量。所以，在状态S(t)和动作A(t)＝(a(t),P(t))下，无人机能获取的估计收益为

当无人机选择沉默，即a(t)＝0，A(t)＝(0,0)时，有E_r(t+1)＝E_r(t)，B(t+1)＝B(t)，无人机能获取的估计收益为

当无人机选择给地面终端传输能量，即a(t)＝1，A(t)＝(1,P_c(t))时，有E_r(t+1)＝E_r(t)-P_c(t)，B(t+1)＝B(t)+ηP_c(t)γ_u(t)，无人机能获取的估计收益为

此时，

是关于P_c(t)的函数，通过求解

可得驻点P_c，由于P_c(t)∈[0,P_max]，所以P_c(t)的次优解为

P′_c(t)＝max{0,min{P_max,P_c}} (4-9)

当无人机选择给地面终端传输信息，即a(t)＝2，A(t)＝(2，P_m(t))时，有E_r(t+1)＝E_r(t)-P_m(t)，B(t+1)＝B(t)-E_d，无人机能获取的估计收益为

此时，

是关于P_m(t)的函数，通过求解

可得驻点P_m，由于P_m(t)∈[0,P_max]，所以P_m(t)的次优解为

P′_m(t)＝max{0,min{P_max,P_m}} (4-13)

至此，无人机的每个行为，即沉默、向地面终端传输能量和向地面终端传输信息，都有唯一对应且确定的发射功率，即0、P′_c(t)和P′_m(t)。无人机的行为可以通过下式获得

仿真结果

对于无人机到地面终端的信道，考虑到有直射成分，我们将其假设为Nakagammi-m衰落信道，相应的Nakagammi-m的参数m＝3；对于基站到地面终端的信道我们假设为Rayleigh衰落信道。其他参数为：H＝10m，D＝10m，E_d＝10μW，E_p＝400mW，P_f＝100μW，P_p＝1W，N₀＝-100dBm，B(1)＝5μW，无人机的最大发射功率设为P_max＝200mW。仿真结果如下：

表5-1：三种策略的下行数据传输率(Bps/Hz)

由表5-1可看出，当T≤2时，我们提出的策略和贪婪策略(无人机的发射功率为min{P_max,E_r(t)}，并且只要基站空闲，无人机就给地面终端传输信息或能量；只要地面终端能量不足以支持一次信息接收与解码，无人机就给它传输能量，否则传输信息。)性能很接近，因为当T很小时，无人机的能量总是充足的。随着T逐渐接近4，我们提出的策略能达到的下行数据传输率相比贪婪策略有显著的提升。当T＝4，次优策略达到的数据传输率比贪婪策略高出450.49％，而且仅比最优策略(最优策略是将发射功率离散化，并用前向搜索找无人机的最优行为和最优发射功率。)低了34％。最优策略的时间复杂度特别高，时间复杂度随T增长至少为O(3^T)，而我们提出的策略通过(4-1)-(4-14)得到，时间复杂度随T增长为O(1)，显然，时间复杂度显著降低了。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种无人机的能量分配优化方法，其特征在于，所述方法包括以下步骤：

S1、将无人机、地面终端及基站搭建基本的系统模型；

S2、无人机感知基站的状态，若基站忙碌，则无人机沉默，地面终端从基站的无线信号里获取能量，若基站空闲，则无人机评估系统状态并执行下一步；

S3、无人机根据估计收益对每种行为获取其对应的发射功率；

S4、根据获取的每种行为的发射功率通过函数式确定无人机的行为动作，其函数式：

其中，S(t)代表t时隙下的系统状态，A(t)代表t时隙下无人机的动作，代表在系统状态为S(t)下且无人机的动作为A(t)时，系统能达到的最大数据传输率，a′(t)代表在系统状态为S(t)下无人机的最佳行为。

2.根据权利要求1所述的无人机的能量分配优化方法，其特征在于，所述步骤S1中在搭建基本的系统模型中基站拥有一个授权频段，基站在忙碌-空闲状态转换中服从二状态马尔科夫链，其转换概率：β_ss′＝P_r(S_p(t+1)＝s′|S_p(t)＝s)，其中，P_r代表概率，S_p(t)代表第t个时隙下的基站状态，s′代表第t+1个时隙的系统状态值，s代表第t个时隙的系统状态值。

3.根据权利要求2所述的无人机的能量分配优化方法，其特征在于，所述步骤S2中在每个时隙开始时，无人机感知基站的状态，然后向地面终端发送一个二比特指示信号，所述指示信号具有四种取值，分别‘00’表示基站空闲，无人机将向地面终端传输能量；‘01’表示基站空闲，无人机将向地面终端传输信息；‘10’表示基站空闲，无人机保持沉默；‘11’表示基站忙碌，地面终端从基站信号获取能量。

4.根据权利要求3所述的无人机的能量分配优化方法，其特征在于，所述步骤S3中在最后一个时隙，只要地面终端有能量接收和解码信息，无人机将自身剩余能量尽量给地面终端传输能量。

5.根据权利要求4所述的无人机的能量分配优化方法，其特征在于，所述步骤S4中当无人机选择沉默，即a(t)＝0，A(t)＝(0，0)时，有E_r(t+1)＝E_r(t)，B(t+1)＝B(t)，无人机能获取的估计收益为

6.根据权利要求5所述的无人机的能量分配方法，其特征在于，所述步骤S4中当无人机选择给地面终端传输能量，即a(t)＝1，A(t)＝(1,P_c(t))时，有E_r(t+1)＝E_r(t)-P_c(t)，B(t+1)＝B(t)+ηP_c(t)γ_u(t)，无人机能获取的估计收益为

7.根据权利要求6所述的无人机的能量分配优化方法，其特征在于，所述步骤S4中当无人机选择给地面终端传输信息，即a(t)＝2，A(t)＝(2,P_m(t))时，有E_r(t+1)＝E_r(t)-P_m(t)，B(t+1)＝B(t)-E_d，无人机能获取的估计收益为

Images