CN114337785A

CN114337785A - 太阳能无人机通信能量管理策略、系统、终端及存储介质

Info

Publication number: CN114337785A
Application number: CN202111663171.9A
Authority: CN
Inventors: 贺林; 丛嘉艺; 刘宏晓; 崔进宝
Original assignee: Shaanxi Ruiyuan Information Technology Co ltd
Current assignee: Shaanxi Ruiyuan Information Technology Co ltd
Priority date: 2021-12-30
Filing date: 2021-12-30
Publication date: 2022-04-12

Abstract

本发明公开了太阳能无人机通信能量管理策略、系统、终端及存储介质，应用于通信系统的能量管理技术领域，包括以下步骤：获取数据步骤：获取无人机飞行高度、无人机通信设备发射功率和无人机平均信道容量；建立优化公式步骤：建立上述参数的优化公式，实现无人机平均信道容量最大化；获取模型步骤：建立DQN预测模型，并对该模型进行训练，获得训练好的预测模型；预测步骤：输入当前时间的无人机飞行高度和当前时刻的无人机通信设备发射功率，输出下一时刻的无人机飞行高度的预测值和下一时刻无人机通信设备发射功率的预测值。本发明增强了覆盖区域的通信能力，并且DQN算法在计算无人机飞行时间及通信能力方面表现出了较好的性能。

Description

太阳能无人机通信能量管理策略、系统、终端及存储介质

技术领域

本发明涉及通信系统的能量管理技术领域，尤其涉及太阳能无人机通信能量管理策略、系统、终端及存储介质。

背景技术

随着科学技术的不断发展，无人机启用基站(UBS)引起广泛关注，因为在高空中飞行的无人机可以在三维空间按需求快速部署，并且能与地面用户进行更好的无线连接，然而传统的启用基站采用的是储能容量有限的电池，服务时间有限，不能保证通信业务的稳定和持续，造成了无人机通信系统的性能瓶颈。

为了延长无人机的飞行时间，提高通信服务质量，一些特定的通信无人机，如太阳能无人机，可以从携带的薄膜太阳能电池中获得太阳能，将太阳能转化为电能，以此满足长时间续航以及信号覆盖要求，但根据实际经验来看，以太阳能为动力的无人机仍面临一些挑战。

其中一个挑战是太阳能无人机的耐力和BS设备的能源消耗之间的平衡，一方面是机翼展开面积和太阳能转换效率的限制，覆盖在翼展上的薄膜太阳能电池获取电能的能力有限，一方面是一些基站设备需要相当大的能量消耗来保证通信性能。另一个挑战是飞行轨道和通信能力的联合优化，需要在服务质量和轨道联合优化之间进行权衡。

因此，提出一种太阳能无人机通信能量管理策略、系统、终端及存储介质，解决现有技术中的困难，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供太阳能无人机通信能量管理策略、系统、终端及存储介质，解决了以太阳能为动力的无人机面临的困难。

为了实现上述目的，本发明采用如下技术方案：

基于DQN算法的太阳能无人机通信系统能量管理策略，包括以下步骤：

获取数据步骤：获取无人机飞行高度、无人机通信设备发射功率和无人机平均信道容量；

建立优化公式步骤：建立上述参数的优化公式，实现无人机平均信道容量最大化；

获取模型步骤：建立DQN预测模型，并对该DQN模型进行训练，获得训练好的DQN预测模型；

预测步骤：输入当前时间的无人机飞行高度和当前时刻的无人机通信设备发射功率，输出下一时刻的无人机飞行高度的预测值和下一时刻无人机通信设备发射功率的预测值。

可选的，建立优化公式步骤的具体内容为：建立的优化公式如下式所示，

以上优化公式表示为，通过在每个时刻调整P_t(t)和z(t)的值，使得

最大化；式中，P_t(t)为无人机通信设备发射功率，z(t)为无人机飞行高度，

为无人机平均信道容量；

其约束条件如下：

式中，Z_min为无人机飞行高度最小值，Z_max是无人机飞行高度最大值，E_bat(t)为无人机电池剩余能量，E_land为无人机安全着陆条件下电池最小能量，E_th为电池能量存储百分比，如果充满电，E_th＝1，P_t,min为t时刻无人机通信设备发射功率最小值，P_t,max为t时刻无人机通信设备发射功率最大值，θ_(t)为定向天线波束角度。

可选的，获取模型步骤中的DQN预测模型表示为：

{e,h,r} (3)

式中，s为无人机的系统状态集合，a表示算法调整的动作集合，r为无人机通信平台在t时刻状态下产生的回报值。

可选的，在t时刻，无人机的系统状态表示为：

式中，

为t-1时刻无人机电池剩余能量，I^t-1为t-1时刻光照强度。

可选的，无人机在t时刻、e^t状态下产生的回报值表示为：

式中，D_max(t)为t时刻无人机最远覆盖区域的距离。

可选的，利用代价函数更新DQN预测网络在每个状态下的网络参数，其中代价函数如下式，

Q(e,h)＝[R_c(t)+max_h∈AQ(e^t+1,h)∣e,h] (6)

其中，A为h所有取值的集合。

基于DQN算法的太阳能无人机通信系统能量管理系统，应用上述管理策略，包括依次连接的数据获取模块、优化公式建立模块、模型建立模块和预测模块；

其中，数据获取模块，用于获取无人机飞行高度、无人机通信设备发射功率和无人机平均信道容量；

优化公式建立模块，用于建立上述参数的优化公式，实现无人机平均信道容量最大化；

模型建立模块，用于建立DQN预测模型，并对该DQN模型进行训练，获得训练好的DQN预测模型；

预测模块，用于输入当前时间的无人机飞行高度和当前时刻的无人机通信设备发射功率，输出下一时刻的无人机飞行高度的预测值和下一时刻无人机通信设备发射功率的预测值。

一种终端，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述的一种基于DQN算法的太阳能无人机通信系统能量管理策略。

一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述的一种基于DQN算法的太阳能无人机通信系统能量管理策略。

经由上述的技术方案可知，与现有技术相比，本发明提供了太阳能无人机通信能量管理策略、系统、终端及存储介质：基于DQN算法对太阳能无人机通信系统的能量管理策略最大限度的提高了能量利用率，增强了覆盖区域的通信能力，并且DQN算法在计算无人机飞行时间及通信能力方面表现出了较好的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明能量转换关系图；

图2为本发明系统模型示意图；

图3为本发明基于DQN算法对太阳能无人机通信系统的能量管理策略流程图；

图4为本发明基于DQN算法对太阳能无人机通信系统的能量管理系统结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，公开了能量转换关系，其中，空气动力能：无人机在与空气作相对运动时，作用在无人机上的能量；重力势能：无人机因重力作用而拥有的能量；通信能量：无人机与地面基站通信过程中所需要的能量。无人机在白天吸收太阳能并存储在电池中，用于空气动力能和通信能量的消耗，多余的太阳能提高无人机飞行高度，储存重力势能，夜间再将重力势能转化为空气动力能，延长无人机飞行时间。

本发明将太阳能无人机的能量成分划分为空气动力能量消耗、通信能量消耗以及获取的太阳能，通过分析太阳能无人机的能量组成和能量转换，有效延长无人机的飞行时间，提高通信服务质量。利用DQN算法对太阳能无人机飞行过程中的能量消耗、飞行高度、信道容量变化进行计算仿真。联合优化能量组件和三维飞行轨迹，使太阳能无人机通信能力最大化，获得更好的吞吐量。

参照图2所示，本发明公开了系统模型示意图，考虑无人机在一定高度悬停，通过调整高度来存储以及释放重力势能，以维持飞行时间。假设无人机地面通信覆盖为圆形区域，将覆盖范围内的使用者定义为：N＝[n₁,n₂…]，所需覆盖区域中心点为坐标原点，建立UBS的笛卡尔坐标。UBS的位置坐标为：w_(t)＝[x_(t),y_(t),z_(t)]^T (7)

其中，t为飞行当前时刻，0≤t≤T，T为无人机飞行总时间，x_(t)，y_(t)，z_(t)分别表示在t时刻无人机的X、Y、Z坐标。

第n个地面用户坐标表示为：m_(n)＝[x_m(n),y_m(n),0]^T (8)

无人机与第n个地面用户的距离可表示为：

1)对无人机气动力能和重力能进行分析。无人机的飞行速度和飞行加速度由p(t)的导数进行表示。固定机翼无人机需要保证速度v_(t)≥v_min,以提供足够的升力L维持巡航飞行状态。根据无人机水平飞行时升力L与重力Mg的力平衡可以得到v_min。在t时刻，无人机垂直方向的力平衡公式可重写为：

得到

其中C_L是升力系数，S是无人机的翼展面积，Mg＝9.8。

进一步的，假设无人机的翼展完全被太阳能电池覆盖，无人机飞行高度大于安全飞行最小高度，我们可计算出无人机飞行能耗：

其中，k为飞机的升力和重量之比，c₁和c₂根据工程经验可设定为0.23和0.31。

进一步的，通过调整飞行高度来转换重力势能，提高飞行时间，考虑加速度分量a_v,a_r,a_z,其中a_v是水平加速度，a_r是垂直加速度，a_z平行于z轴的加速度，因此可得出无人机飞行所需要的瞬时飞行能耗为：

其中，

是a_r和a_z的单位方向向量。

无人机在T时段内总计飞行能耗为：

2)对无人机及地面用户的通信能耗和容量进行分析。对于无人机覆盖方面，假设覆盖区域为半径为R_t的圆形范围，考虑无人机的悬停状态，将无人机到其在覆盖上的投影的距离表示为D_min(t)＝z(t)，到最远覆盖区域的距离表示为：

并且在无人机上采用定向天线来实现主通信覆盖，降低能量损耗，利用天线的俯仰面水平面夹角θ，根据经验，天线增益：

继而可表示出无人机和地面用户n之间的容量C_n,U(t)，具体为：

其中，p_t(t)为t时刻无人机通信设备所需的功耗，d_n,U(t)是无人机与地面用户n之间的距离。

以及覆盖边缘用户的最小容量C_min(t)：

对C_n,U(t)进行积分，可得出被覆盖区域的平均信道容量为：

为了提供稳定的通信服务，平均信道容量不可低于一个门限值。假设这个门限值为C_TH,因此无人机通信设备最小的发射功率表示为：

3)对太阳能无人机在白天采集的能量进行分析。太阳能无人机白天储存的能量为夜间飞行提供动能，24小时内的光照强度表达式为：

其中，I_max为白天最大光强，t_r为日出时间，T_d为整体日照时间。根据透光率、翼展表面效率、光伏板转换效率以及光伏板输出效率，推导出在t时刻无人机可转化的太阳能功率为：

P_sc(t)≈I(t)Sη_whrη_dη_scη_bat (19)

其中，η_whr，η_d，η_sc，η_bat分别表示透光率，翼展表面效率，光伏板转换效率，光伏板输出效率。

根据实际情况得知，正常的日光强度并不会完全按照正弦光强度变化，本发明利用美国国家海洋和大气管理局的真实光照数据。

在不损失通用性的前提下，估算得出翼展面积S，并将电池剩余能量E_bat以及无人机安全着陆条件下电池最小能量E_land表示出来：

参照图3所示，本发明公开了基于DQN算法的太阳能无人机通信系统能量管理策略，包括以下步骤：

在一个具体实施例中，建立优化公式步骤的具体内容为：建立的优化公式如下式所示，

为无人机平均信道容量；

其约束条件如下：

进一步的，

获取模型步骤中的DQN预测模型表示为：

{e,h,r} (3)

式中，e为无人机的系统状态集合，h表示算法调整的动作集合，r为无人机通信平台在t时刻状态下产生的回报值。

进一步的，在t时刻，无人机的系统状态表示为：

式中，

为t-1时刻无人机电池剩余能量，I^t-1为t-1时刻光照强度。

进一步的，无人机在t时刻、e^t状态下产生的回报值表示为：

式中，D_max(t)为t时刻无人机最远覆盖区域的距离。

更进一步的，利用代价函数更新DQN预测网络在每个状态下的网络参数，其中代价函数如下式，

Q(e,h)＝[R_c(t)+max_h∈AQ(e^t+1,h)∣e,h] (6)

其中，A为h所有取值的集合。

参照图4所示，本发明公开了基于DQN算法的太阳能无人机通信系统能量管理系统，应用上述的基于DQN算法的太阳能无人机通信系统能量管理策略，包括依次连接的数据获取模块、优化公式建立模块、模型建立模块和预测模块；

在一个具体实施例中，本发明还公开了一种终端，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述的基于DQN算法的太阳能无人机通信系统能量管理策略。

在一个具体实施例中，本发明还公开了计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述的基于DQN算法的太阳能无人机通信系统能量管理策略。

通过DQN算法得出太阳能无人机在飞行第一天以及第二天的电池能量状态、飞行高度、信道容量随时间变化的曲线图，基于DQN算法对太阳能无人机通信系统的能量管理策略最大限度的提高了能量利用率，增强了覆盖区域的通信能力，并且DQN算法在计算无人机飞行时间及通信能力方面表现出了较好的性能。

对所公开的实施例的上述说明，按照递进的方式进行，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.基于DQN算法的太阳能无人机通信系统能量管理策略，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于DQN算法的太阳能无人机通信系统能量管理策略，其特征在于，

建立优化公式步骤的具体内容为：建立的优化公式如下式所示，

为无人机平均信道容量；

其约束条件如下：

式中，Z_min为无人机飞行高度最小值，Z_max是无人机飞行高度最大值，E_bat(t)为无人机电池剩余能量，E_land为无人机安全着陆条件下电池最小能量，E_th为电池能量存储百分比，如果充满电，E_th＝1，P_t，min为t时刻无人机通信设备发射功率最小值，P_t，max为t时刻无人机通信设备发射功率最大值，θ_(t)为定向天线波束角度。

3.根据权利要求2所述的基于DQN算法的太阳能无人机通信系统能量管理策略，其特征在于，

获取模型步骤中的DQN预测模型表示为：

{e，h，r} (3)

4.根据权利要求3所述的基于DQN算法的太阳能无人机通信系统能量管理策略，其特征在于，

在t时刻，无人机的系统状态表示为：

式中，

为t-1时刻无人机电池剩余能量，I^t-1为t-1时刻光照强度。

5.根据权利要求4所述的基于DQN算法的太阳能无人机通信系统能量管理策略，其特征在于，

无人机在t时刻、e^t状态下产生的回报值表示为：

式中，D_max(t)为t时刻无人机最远覆盖区域的距离。

6.根据权利要求5所述的基于DQN算法的太阳能无人机通信系统能量管理策略，其特征在于，

利用代价函数更新DQN预测网络在每个状态下的网络参数，其中代价函数如下式，

Q(e，h)＝[R_c(t)+max_h∈AQ(e^t+1，h)|e，h] (6)

其中，A表示为h所有取值的集合。

7.基于DQN算法的太阳能无人机通信系统能量管理系统，其特征在于，应用权利要求1-6任一所述的基于DQN算法的太阳能无人机通信系统能量管理策略，包括依次连接的数据获取模块、优化公式建立模块、模型建立模块和预测模块；

8.一种终端，其特征在于，

包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行权利要求1-6任一所述的基于DQN算法的太阳能无人机通信系统能量管理策略。

9.一种计算机可读存储介质，其特征在于，

计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行权利要求1-6任一所述的基于DQN算法的太阳能无人机通信系统能量管理策略。