CN112822745A - 一种面向无人机自组网的自适应路由方法 - Google Patents

Abstract

本发明是一种面向无人机自组网的自适应路由方法，结合了逐跳（HBH）和存储‑携带‑转发（SCF）两种路由模式的自适应路由方法，在无人机自组网中节点的快速移动和拓扑的动态变化下，利用基于预测驱动的Q学习方法，预测和做出路由决策；包括以下步骤：无人机对邻居无人机的位置序列和数据包到达序列分别预测，分别采用的是基于线性拟合和最大似然估计的方法；无人机节点部署了基于Q学习的路由决策算法，将状态建模为3D空间内预测的距离基站的距离和基站辐射范围的比，将动作建模为包括HBH和SCF的路由决策；辅助路由决策将周期性的自动更新Q表。这样本发明能够提高包转移率和服务质量，实现了路由决策的优化获得。

Description

一种面向无人机自组网的自适应路由方法

技术领域

本发明涉及无线通信技术领域，具体的说是一种面向无人机自组网的自适应路由方法。

背景技术

基于体积小、机动灵活、造价低廉等多个优势，无人机吸引了工业界和学术界的大量关注，成为各国竞相发展的热点，其应用领域十分广泛包括监视、侦查、巡逻、军事、目标探测、灾害传感等。在无人机的众多应用中，无人机实施的多目标定位被广泛应用于军事侦察以及目标检测中。一方面无人机具有体积小、机动灵活、不易被发现的优点，可以在敌占区上空进行长时间低空侦察；另一方面无人机可以携带多种传感器，能提供多种形式高分辨率的目标信息；其次无人机造价低廉，不会造成人员伤亡，具有经济、安全的特点。在很多实际场景中，例如侦察、检测无人区或核辐射区的目标等，并不适合派遣人员进入去完成任务，而与无人车相比，无人机对地面地形、道路的要求较低且就多径效应而言，空中的通信质量高于地面，由于无人机特有的优越性和灵活性，无人机在这类场景中更胜一筹。

随着任务范围的扩大以及难度和复杂度的加强，单架无人机完成任务所需的时间变长、任务的完成度大打折扣。随着无人机不断小型化的发展以及对无人机续航时间等局限的考虑，多无人机协作完成多目标定位成为一种趋势。与其他Ad-hoc网络一样，路由协议对于保证FANETs的性能至关重要，近二十年来，FANETs路由协议的大量研究都在研究如何解决高机动性无人机和动态拓扑造成的路由失败。根据转发方式，现有FANETs路由协议可分为两类：逐跳(HBH)路由和存储转发(SCF)路由。HBH路由分布在下一跳中，当节点接收到包到目的地时，它将包转发到与目的节点相对应的最近的下一跳。当较少的无人机需要传输数据时，HBH更合适。然而，在FANETs中实现的HBH路由协议很容易受到不适当的转发路径的影响。在SCF路由中，消息存储在一个节点(或一些节点)中，并一次一跳地从源节点移动到目的地。对于一些典型的应用场景，如灾后研究和救援，数据包可能是大而丰富的，SCF路由是首选。然而，SCF路由协议将面临时延过大、无人机冗余部署等问题。

因此，结合HBH和SCF的自适应路由协议可以满足不同的应用需求。但现有的基于预测的路由方法大多侧重于预测未来的2D移动性或位置，而不考虑分组流量。我们认为分组流量信息的缺乏和三维移动性降低了预测精度，从而影响了路由性能。综上所述，虽然无人机自组网路由方法已经做了大量的工作，但是自适应路由协议的设计仍然是一个挑战。首先，无人机自组网的无线环境总是复杂而动态的，这使得无人机很难确定此时哪种路由模式更合适。此外，邻居节点的的3D移动性和数据包分组到达都在快速变化，因此考虑链路状态(包括3D移动性和分组到达预测)的路由决策是非常重要的。

发明内容

本发明要解决的技术问题是提供一种面向无人机自组网的自适应路由方法，能够解决多无人机群通信的路由需求。

为解决上述技术问题，本发明采用的技术方案为：

一种面向无人机自组网的自适应路由方法，其特征在于：包括由多个可以自由移动的无人机组成的无人机组，每个无人机均设置有全球导航卫星系统，所述的通全球导航卫星系统用于获取无人机位置数据，每一架无人机通过其无人机地址识别与邻居无人机进行通信，每个无人机与地面站信号连接并将地面站定义为所有无人机的路由目的地，每个无人机均可获取地面站的位置数据；面向无人机自组网的自适应路由方法用于提高包转移率并提高服务质量，具体步骤如下：

步骤1，无人机对邻居无人机的链路质量进行预测和评估；包括使用基于线性拟合的方法预测基站朝向度，即3D空间内预测距离基站的距离和基站射范围的比(DTGS)；和使用最大似然方法预测邻居节点的包到达率；

步骤2，将基站朝向度DTGS值赋予若干个等级，并将该等级建模为状态空间，将路由决策建模为动作空间，动作空间包括SCF和HBH；

步骤3，当存在路由请求时，使用基于Q学习的路由决策架构做出路由决策，包括Q学习算法和辅助决策操作。

所述的步骤1中，使用基于线性拟合的方法预测邻居无人机的位置序列，并使用基站朝向度的指标来衡量位置信息的质量，表示为：

其中，d(G,i)代表假设邻居无人机在拟合的直线上飞行时，抵达过地面站而垂直于地面站和当前无人机的平面时和地面站的距离，r_GS代表地面站的通信半径；使用基于线性拟合的方法，由输入位置序列，可以计算d_DTGS值。

所述的步骤1中，由邻居无人机的数据包到达序列{k₁,k₂,...,k_n}，使用最大似然方法可以预测出下个数据包到达的时间间隔。

所述的步骤2中，将马尔可夫决策过程的状态空间建模为步骤1中的d_DTGS值的等级，如下式所示：

其中μ为d_DTGS的等级个数，D^m _i是d_DTGS的最大值；

将动作空间建模为{CU,NU₁,NU₂,…,NU_M}，其中CU为数据包保存在当前无人机中，即启动SCF模式，{NU₁,NU₂,…,NU_M}是转发给NU₁～NU_M中的邻居无人机，即启动HBH模式。

所述的步骤3中，将即时反馈建模为：

R＝ωR′

其中

R′＝△d(CU,GS),a∈{NU₁,NU₂,…,NU_M}

式中，R为即时反馈；ω是指示数据包是否转发成功的因子，如果成功则为1，否则为0；R′为即时反馈原始值，其在SCF和HBH模式下的计算方式是不同的；△d为HBH模式做出动作a∈{NU₁,NU₂,…,NU_M}后的基站朝向度d_DTGS的差值，其中CU为数据包保存在当前无人机中，GS为地面站；当a∈{CU,GS}即SCF模式，d_p代表时延值，d^m代表最大延时容忍；

Q表的辅助更新表示为：

其中ε表示辅助更新步长，Q_t(s,a)表示Q值，并且辅助实时反馈r_s表示为：

其中，

代表NU_i的DTGS值，

代表下一时刻数据包到达时间间隔，

用来指示是否辅助数据包发送成功，ξ,ψ和ζ为权重因子，满足ξ+ψ+ζ＝1；E^m _i、D^m _i和R^m _Physical分别表示最大的ENPAT值、最大的时延值和最大的传输率值；△d表示基站朝向度值的差值；无人机和邻居无人机间的经验理想吞吐量s^p(d)表示为：

s^p(d)＝10⁶×(-9.09×log₂(d)+11.24),

其中d代表无人机和邻居无人机之间的距离。

所述的路由决策过程步骤具体如下：

步骤3.1.1，预测根据邻居无人机位置序列预测和数据包到达序列，和分别预测d_DTGS预测下一数据包到达时间间隔；

步骤3.1.2，将状态空间建模为d_DTGS的等级值，将动作空间建模为路由决策；

步骤3.1.3，辅助更新Q表；

步骤3.1.4，当无人机发出路由请求时，根据Q表做出路由决策，转发或者执行SCF之后，根据获得的即时反馈值更新Q值；

步骤3.1.5，重复3.1.3至3.1.4，直到网络运行结束。

该种面向无人机自组网的自适应路由方法能够达到的有益效果为：该种面向无人机自组网的自适应路由方法以马尔可夫决策过程应用到无人机自组网中的路由决策上，将状态空间建模为基站朝向度(DTGS)值的等级，将动作空间建模为路由决策选择；使用Q学习的方法去近似状态转移概率。做出的路由决策中包含了HBH模式和SCF模式，这样就实现了两种模式的结合。当有合适的转发节点的时候使用HBH模式，否则使用SCF模式，这样就避免单一模式下的没有合适的转发接收无人机或者过长的时延的问题。这样便保证了包递交率和服务质量的提高。

附图说明

图1为本发明一种面向无人机自组网的自适应路由方法所涉及的面向无人机自组网的自适应路由系统示意图。

图2为本发明一种面向无人机自组网的自适应路由方法中基站朝向度(DTGS)的示意图。

图3为本发明一种面向无人机自组网的自适应路由方法中面向无人机自组网的自适应路由方法示意图。

图4为本发明一种面向无人机自组网的自适应路由方法分组递交率与仿真时间的关系结果图。

图5为本发明一种面向无人机自组网的自适应路由方法分组递交率与覆盖面积的关系仿真结果图。

图6为本发明一种面向无人机自组网的自适应路由方法分组递交率与无人机数量的关系的仿真结果图。

图7为本发明一种面向无人机自组网的自适应路由方法有效吞吐量与仿真时间的关系结果图。

图8为本发明一种面向无人机自组网的自适应路由方法有效吞吐量与覆盖面积的关系仿真结果图。

图9为本发明一种面向无人机自组网的自适应路由方法有效吞吐量与无人机数量的关系的仿真结果图。

图10为本发明一种面向无人机自组网的自适应路由方法时延与仿真时间的关系结果图。

图11为本发明一种面向无人机自组网的自适应路由方法时延与覆盖面积的关系仿真结果图。

图12为本发明一种面向无人机自组网的自适应路由方法时延与无人机数量的关系的仿真结果图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述。

如图1至图3所示，一种面向无人机自组网的自适应路由方法，包括由多个可以自由移动的无人机组成的无人机组，每个无人机均设置有全球导航卫星系统，所述的通全球导航卫星系统用于获取无人机位置数据，每一架无人机通过其无人机地址识别与邻居无人机进行通信，每个无人机与地面站信号连接并将地面站定义为所有无人机的路由目的地，每个无人机均可获取地面站的位置数据；该方法结合了逐跳(Hop-By-Hop,HBH)和存储-携带-转发(Store-Carry-Forwarding,SCF)两种路由模式的自适应路由方法，考虑在无人机自组网中节点的快速移动和拓扑的动态变化，基于预测驱动的Q学习方法，预测和做出路由决策。该方法包括以下步骤：无人机对邻居无人机的位置序列和数据包到达序列分别预测，分别采用的是基于线性拟合和最大似然估计的方法；无人机节点部署了基于Q学习的路由决策算法，将状态建模为3D空间内预测的距离基站的距离和基站辐射范围的比，将动作建模为包括HBH和SCF的路由决策；辅助路由决策将周期性的自动更新Q表。该方法能够高包转移率并提高服务质量，具体实现步骤如下：

步骤1，使用基于线性拟合的方法预测邻居无人机的位置序列。假定3D空间内的一条直线表示为

可简化为

或者

邻居无人机的位置序列{l₁(x₁,y₁,z₁),…,l_t(x_t,y_t,z_t)}满足

通过使用最小均方误差方法，可以得到：

简化为

解m，n，x₀，y₀可以获得线性拟合方程。由于无人机在3D空间内的轨迹一般是圆滑的，不存在急转弯和U型弯。使用基站朝向度的指标来衡量位置信息的质量，表示为：

其中，d(G,i)代表假设邻居无人机在拟合的直线上飞行时，抵达过地面站而垂直于地面站和当前无人机的平面时和地面站的距离，r_GS代表地面站的通信半径。使用基于线性拟合的方法，由输入位置序列，可以计算d_DTGS值。

同时，由邻居无人机的数据包到达序列{k₁,k₂,...,k_n}，使用最大似然方法可以预测出下个数据包到达的时间间隔。由邻居无人机的数据包到达时间序列{k₁,k₂,...,k_n}可得最大似然方程，表示为：

其中λ为估计的数据包到达时间，将上式两边求自然对数，表示为：

假设

可得：

步骤2，将DTGS值赋予若干个等级，并将该等级建模为状态空间。

将马尔可夫决策过程的状态空间建模为步骤1中的d_DTGS值的等级，如下式所示：

其中μ为d_DTGS的等级个数，D^m _i是d_DTGS的最大值；

将动作空间建模为{CU,NU₁,NU₂,…,NU_M}，其中CU为数据包保存在当前无人机中，即启动SCF模式，{NU₁,NU₂,…,NU_M}是转发给NU₁～NU_M中的邻居无人机，即启动HBH模式。

步骤3，当存在路由请求时，使用基于Q学习的路由决策架构做出路由决策，其中将即时反馈建模为：

R＝ωR′

其中

R′＝△d(CU,GS),a∈{NU₁,NU₂,…,NU_M}

式中，R为即时反馈；ω是指示数据包是否转发成功的因子，如果成功则为1，否则为0；R′为即时反馈原始值，其在SCF和HBH模式下的计算方式是不同的；△d为HBH模式做出动作a∈{NU₁,NU₂,…,NU_M}后的基站朝向度d_DTGS的差值，其中CU为数据包保存在当前无人机中，GS为地面站；当a∈{CU,GS}即SCF模式，d_p代表时延值，d^m代表最大延时容忍；

Q表的辅助更新表示为：

其中ε表示辅助更新步长，Q_t(s,a)表示Q值，并且辅助实时反馈r_s表示为：

其中，

代表NU_i的DTGS值，

代表下一时刻数据包到达时间间隔，

用来指示是否辅助数据包发送成功，ξ,ψ和ζ为权重因子，满足ξ+ψ+ζ＝1；E^m _i、D^m _i和R^m _Physical分别表示最大的ENPAT值、最大的时延值和最大的传输率值；△d表示基站朝向度值的差值；无人机和邻居无人机间的经验理想吞吐量s^p(d)表示为：

s^p(d)＝10⁶×(-9.09×log₂(d)+11.24),

其中d代表无人机和邻居无人机之间的距离。

路由决策过程步骤具体如下：

步骤3.1.1，预测根据邻居无人机位置序列预测和数据包到达序列，和分别预测d_DTGS预测下一数据包到达时间间隔；

步骤3.1.2，将状态空间建模为基站朝向度d_DTGS的等级值，将动作空间建模为路由决策；

步骤3.1.3，辅助更新Q表；

步骤3.1.4，当无人机发出路由请求时，根据Q表做出路由决策，转发或者执行SCF之后，根据获得的即时反馈值更新Q值；

步骤3.1.5，重复3.1.3至3.1.4，直到网络运行结束。

进一步的，对该方法与其他方法进行综合对比，进而验证该方法的优势。

对比协议包括：第一，临时按需距离矢量(AODV)是按需矢量和距离矢量的组合，即HBH路由方法。其路由过程包括路由请求、反向路由、回复和路由。第二，延迟容耐携带(DTC)是一种纯粹的延迟容差方案，只要数据包到达GS的通信范围，无人机就会将数据包传输到GS，值得一提的是，无人机的运动不会受到路由的影响，无法转发数据包。第三，贪婪的混合路由协议(GH)试图通过HBH仅使用本地信息使数据包更接近GS。因此，从本地的角度来看，每个无人机都将数据包转发到最适合NU的NU。最合适的NU可以是在每个步骤中最小化到GS的距离的NU。但是，如果不存在更紧密的NU，并且无人机的运动也不会受到路由的影响，则此方案将启动SCF操作。

在确定工况下对本方案与上述三种方案进行对比，确定工况具体为：用多架无人机对区域最大为1.4km×1.4km的区域进行侦察，其移动符合高斯马尔可夫模型，其数据包分组到达符合泊松分组到达。所有的无人机均需要将产生的数据包传输到地面站。媒体介入控制(MAC)协议采用IEEE 802.11p。无人机平均速度20m/s，数据包大小1500bytes。

在上述工况下，图4、图5和图6分别表示网络的分组递交率在不同的时间、覆盖面积和无人机数量上的变化趋势；图7、图8和图9分别表示网络的有效吞吐率在不同的时间、覆盖面积和无人机数量上的变化趋势；图10、图11和图12网络的时延在不同的时间、覆盖面积和无人机数量上的变化趋势。

图4、图5和图6所示，随着目时间、覆盖面积和无人机数量变化，采用本方案来进行数据包路由，无人机的分组递交率都优于其他方案。

图7、图8和图9所示，随着目时间、覆盖面积和无人机数量变化，采用本方案来进行数据包路由，有效吞吐量交率都优于其他方案。

图10、图11和图12所示，随着目时间、覆盖面积和无人机数量变化，采用的方案来进行数据包路由，时延都优于其他方案。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种面向无人机自组网的自适应路由方法，其特征在于：包括由多个可以自由移动的无人机组成的无人机组，每个无人机均设置有全球导航卫星系统，所述的通全球导航卫星系统用于获取无人机位置数据，每一架无人机通过其无人机地址识别与邻居无人机进行通信，每个无人机与地面站信号连接并将地面站定义为所有无人机的路由目的地，每个无人机均可获取地面站的位置数据；面向无人机自组网的自适应路由方法用于提高包转移率并提高服务质量，具体步骤如下：

步骤1，无人机对邻居无人机的链路质量进行预测和评估；包括使用基于线性拟合的方法预测基站朝向度，即3D空间内预测距离基站的距离和基站射范围的比；和使用最大似然方法预测邻居节点的包到达率；

步骤2，将DTGS值赋予若干个等级，并将该等级建模为状态空间，将路由决策建模为动作空间，动作空间包括SCF和HBH；

步骤3，当存在路由请求时，使用基于Q学习的路由决策架构做出路由决策，包括Q学习算法和辅助决策操作。

2.如权利要求1所述的一种面向无人机自组网的自适应路由方法，其特征在于：所述的步骤1中，使用基于线性拟合的方法预测邻居无人机的位置序列，并使用基站朝向度的指标来衡量位置信息的质量，表示为：

其中，d(G,i)代表假设邻居无人机在拟合的直线上飞行时，抵达过地面站而垂直于地面站和当前无人机的平面时和地面站的距离，r_GS代表地面站的通信半径；使用基于线性拟合的方法，由输入位置序列，可以计算d_DTGS值。

3.如权利要求2所述的一种面向无人机自组网的自适应路由方法，其特征在于：所述的步骤1中，由邻居无人机的数据包到达序列{k₁,k₂,...,k_n}，使用最大似然方法可以预测出下个数据包到达的时间间隔。

4.如权利要求3所述的一种面向无人机自组网的自适应路由方法，其特征在于：所述的步骤2中，将马尔可夫决策过程的状态空间建模为步骤1中的d_DTGS值的等级，如下式所示：

其中μ为d_DTGS的等级个数，D^m _i是d_DTGS的最大值；

将动作空间建模为{CU,NU₁,NU₂,…,NU_M}，其中CU为数据包保存在当前无人机中，即启动SCF模式，{NU₁,NU₂,…,NU_M}是转发给NU₁～NU_M中的邻居无人机，即启动HBH模式。

5.如权利要求4所述的一种面向无人机自组网的自适应路由方法，其特征在于：所述的步骤3中，将即时反馈建模为：

R＝ωR′

其中

R′＝△d(CU,GS),a∈{NU₁,NU₂,…,NU_M}

式中，R为即时反馈；ω是指示数据包是否转发成功的因子，如果成功则为1，否则为0；R′为即时反馈原始值，其在SCF和HBH模式下的计算方式是不同的；△d为HBH模式做出动作a∈{NU₁,NU₂,…,NU_M}后的基站朝向度d_DTGS的差值，其中CU为数据包保存在当前无人机中，GS为地面站；当a∈{CU,GS}即SCF模式，d_p代表时延值，d^m代表最大延时容忍；

Q表的辅助更新表示为：

其中ε表示辅助更新步长，Q_t(s,a)表示Q值，并且辅助实时反馈r_s表示为：

其中，

代表NU_i的DTGS值，

代表下一时刻数据包到达时间间隔，

用来指示是否辅助数据包发送成功，ξ,ψ和ζ为权重因子，满足ξ+ψ+ζ＝1；E^m _i、D^m _i和R^m _Physical分别表示最大的ENPAT值、最大的时延值和最大的传输率值；△d表示基站朝向度值的差值；无人机和邻居无人机间的经验理想吞吐量s^p(d)表示为：

s^p(d)＝10⁶×(-9.09×log₂(d)+11.24),

其中d代表无人机和邻居无人机之间的距离。

6.如权利要求5所述的一种面向无人机自组网的自适应路由方法，其特征在于：所述的路由决策过程步骤具体如下：

步骤3.1.1，预测根据邻居无人机位置序列预测和数据包到达序列，和分别预测基站朝向度d_DTGS预测下一数据包到达时间间隔；

步骤3.1.2，将状态空间建模为基站朝向度d_DTGS的等级值，将动作空间建模为路由决策；

步骤3.1.3，辅助更新Q表；

步骤3.1.4，当无人机发出路由请求时，根据Q表做出路由决策，转发或者执行SCF之后，根据获得的即时反馈值更新Q值；

步骤3.1.5，重复3.1.3至3.1.4，直到网络运行结束。

Images