CN112752250B - 基于Q-learning的紫外光无人机编队中邻居发现方法 - Google Patents

Abstract

基于Q‑learning的紫外光无人机编队中邻居发现方法，步骤为：步骤1，在每个无人机MIMO模型上经纬线交接处安装紫外光收发装置，并编号；步骤2，开始邻居发现第一阶段无人机节点以MIMO模型为基础，以LED紫外灯编号为顺序发送请求信息帧；步骤3，邻居无人机节点收到请求信息帧后，进入邻居发现第二阶段，根据搜索策略选择相对应的LED紫外发射装置发送应答信息帧，若无搜索策略，转到步骤4；步骤4，若搜索策略为空，邻居无人机将按照请求信息帧的发送方式，向三维空间发送应答信息帧；步骤5，发起节点无人机收到应答信息帧后，进入邻居发现第三阶段，发起节点向邻居无人机节点发送确认信息帧；具有减少邻居发现信息帧发送次数，节省无人机能量消耗的特点。

Description

基于Q-learning的紫外光无人机编队中邻居发现方法

技术领域

本发明属于无人机通信技术领域，具体涉及基于Q-learning的紫外光无人机编队中邻居发现方法。

背景技术

近年来，随着无人机技术日渐成熟，无人机广泛应用于军事领域，农业植保、电力巡检等领域。由于单个无人机计算、探测和作业能力有限，使用多无人机协作的形式能充分发挥集群无人机的优势，提高无人机执行任务的能力。集群无人机内邻居发现作为蜂群组网和通信的必要条件，近年来研究也日益深入。邻居发现是构建网络拓扑的重要操作。如何使网络内的节点快速地发现邻居，进而形成网络是邻居发现的主要内容。

发明内容

为克服上述现有技术的不足，本发明的目的在于提供基于Q-learning的紫外光无人机编队中邻居发现方法，首先给出了一种用于邻居发现多发多收通信模型，然后根据此模型的节点特性和近直视通信原理设计了一种邻居发现方法，具有减少邻居发现信息帧发送次数，节省无人机能量消耗的特点。

为实现上述目的，本发明采用的技术方案是：

基于Q-learning的紫外光无人机编队中邻居发现方法，其特征在于，包括以下步骤：

步骤1，在每个无人机上安装球形结构紫外光多发多收模型，多发多收模型上按照经纬线分布的方式在经纬线交接处安装紫外光收发装置，并进行编号，使其具有固定的编号的规律，节点间通信使用紫外光近直视通信；

步骤2，开始邻居发现第一阶段无人机节点以多发多收模型为基础，以LED紫外灯的编号为顺序从小到大依次向三维空间发送请求信息帧，请求信息帧包括节点ID，标识符，LED紫外灯的编号；

步骤3，当邻居无人机节点收到来自发起节点无人机的请求信息帧后，进入邻居发现第二阶段，此阶段由于紫外光的近直视传播的特点，邻居无人机节点可以根据请求信息帧判断出发起节点无人机多发多收模型的LED紫外灯的编号，但是无法决定自身该使用多发多收模型的哪个LED紫外灯装置向发起节点无人机发送应答信息帧；

邻居节点无人机开始搜索自身的Q-learning算法中的Q表格中的策略，若Q表格中存在相应的策略，则根据策略选择相对应的LED紫外发射装置发送应答信息帧，若无搜索策略，转到步骤4；

步骤4，若搜索策略为空，则邻居无人机节点将按照请求信息帧的发送方式，以自身多发多收模型为基础向三维空间依次发送应答信息帧，应答信息帧中包括有请求信息帧的节点ID号，请求信息帧发送的紫外LED的编号，以及接收节点的节点ID号，接收节点发送应答信息的LED紫外灯的编号；

步骤5，发起节点无人机收到应答信息帧后，进入邻居发现第三阶段，此时发起节点无人机根据收到的应答信息帧可以判断出本节点与邻居节点进行通信的最佳紫外LED发射编号，则发起节点无人机将根据应答信息帧中自身LED紫外灯的编号定向向邻居节点无人机发送确认信息帧，邻居发现过程结束。

所述步骤3中，Q-learning算法如下：

所述步骤3中，Q-learning算法中Q-table表格策略计算如下：

首先，初始化Q-table表格为0，表示此时的搜索策略为无，即Q-table表格即为搜索策略；

然后，判断邻居节点发送的应答信息帧是否可以到达发起节点，若可以到达，则更新Q-table表格中数据，更新变化为由0变1，若无法被发起节点接收到，则Q-table表格中数据不发生变化；

最后，通过一次一次的迭代优化更新Q-table表格，即不断的更新搜索策略，即可得到自身所有LED紫外灯的编号对应的搜索策略。

所述的固定的编号的规律具体采用MIMO模型上按照经纬线分布的方式在经纬线交接处安装紫外光收发装置，以任一条经线为初始线对该经线上的节点进行编号，编号从1开始，经线上的编号顺序为从顶至下，当第一条经线编号完成后，以顺时针方向旋转选择第二条经线上的节点进行顺序编号，直至全部经线上的节点均编号完成。

所给出的一种多发多收模型具体为：发送信息所用的光源为紫外LED，所用器件为紫外LED灯，接收信息所用的器件为光电倍增管；在设计此模型时，将紫外LED灯和光电倍增管结合起来当做一个节点进行控制，即实现了同一个节点即可以实现信息的发送又可以实现信息的接收；然后将多个这样的节点按照一定的经纬度规律分布排列在一个球形结构上，用以实现全向发送信息和全向接收信息。

本发明有益效果是：

由于本发明采用了一款可以全向发送全向接收的紫外光多发多收模型，在邻居发现过程第二阶段使用Q-learning算法，根据一次一次的优化迭代Q-table表格，更新最新搜索策略，使得随着学习的次数增多，邻居节点发送应答信息帧时所选择发送的紫外LED编号更为准确，有效的避免了无效紫外LED发送应答信息，节省了节点的能量消耗。

由于紫外光通信具有高保密的数据传输性和较强抗干扰能力，紫外光通信主要基于大气对紫外光的散射和吸收作用。紫外光信号在大气传输过程中会呈现指数倍的衰减，信号难以监听和截获。另外，使用紫外光通信系统无线电设备很难对其进行干扰和精确定位。此外，紫外光可用于非直视通讯；紫外光在大气传输过程中会发生散射现象，散射特性可以使紫外光通信系统能以非视距的方式通信，适应复杂的地形环境，克服了其他自由空间光通信系统必须采用视距工作方式的缺点。

附图说明：

图1为本发明的紫外光通信半球形模型图。

图2为本发明的邻居发现三次交互过程图。

图3为本发明的邻居交互协议示意图。

图4为本发明的Q-learning算法实现思路流程图。

图5为本发明实施例中两个半球形结构的通信示意图。

图6为本发明实施例中A与B通信有效的信息帧结构图。

具体实施方式

下面将结合附图和具体实施方式对本发明进行详细说明。

基于Q-learning的紫外光无人机编队中邻居发现方法，包括以下步骤：

步骤1，在每个无人机节点上安装如图1所示的由两个半球形结构组成的球形结构的紫外光MIMO模型，其中此装置的每个小节点都具备收发一体的功能，邻居发现过程流程如图2所示，MIMO为多发多收的英文简称，Q-learning为Q学习的英文简称，Q-table为Q表格的英文简称；

步骤2，开始进行邻居发现第一阶段，发起节点根据自身LED紫外灯的编号向四周依次广播自己的请求信息帧。请求信息帧如图3所示：请求信息帧中包括请求信息帧的节点ID，标识符，LED紫外灯的编号以及经纬向编码和结束位；

步骤3，当邻居节点接收到发起节点的请求信息帧后，开始邻居发现的第二阶段回应发起节点。此时邻居节点根据当前接收到的请求信息帧确定发起节点发送信息所用的LED紫外灯的编号，根据此编号在Q-table表格中寻找搜索策略，若此时Q-table表格中没有搜索策略，则转到步骤4，若有搜索策略，则执行搜索策略所对应的动作，该动作为：使用搜索策略中对应的LED紫外灯的编号序列定向发送应答信息帧。应答信息帧结构如图3所示，信息帧中包括有请求信息帧的节点ID号，请求信息帧的标识码，请求信息帧发送的LED紫外灯的编号，以及接收节点的节点ID号，接受节点的标识码，接受节点发送应答信息的LED紫外灯的编号以及经纬向编码，结束码。Q-learning的搜索策略机制如图3所示；

步骤4，当此时搜索策略为空时，邻居节点将按照自身LED紫外灯编号方式进行依次发送应答信息帧；

步骤5，发起节点收到应答信息帧后，更新自己的邻居列表，然后使用应答信息帧中的发送过来的发起节点的LED紫外的编号所对应的LED向邻居节点发送确认信息帧。确认信息帧结构如图3所示，包括发起节点的ID号，标识码，接收节点的ID号，以及Q-learning学习完成的最佳通信链路对。邻居节点接收到确认信息帧后，更新自己的邻居列表。到此，完成一次邻居发现的过程。

实施例：

本实施例中 选取图1所示的MIMO通信模型进行说明，在实际使用时，将两个半球形结构组合成一个球形结构进行使用；

首先，假设出两个半球形结构的通信实例。如图5所示：节点A作为发起节点，节点B作为接收节点，即邻居节点。

步骤1：在A，B两节点上分别安装球形紫外光MIMO模型，球形结构上的每个节点都具备发送信息和接收信息的功能。

步骤2：开始邻居发现第一阶段，节点A作为发起节点，节点B作为接收节点。发起节点根据自身LED紫外编号向四周开始发送自己的请求信息帧，从图2中可以看出从编号为1的LED紫外发射装置依次进行发送信息，直到该节点的所有编号的LED紫外发射装置全部发送完成。

步骤3：节点B接收到节点A编号为4的LED紫外发射装置发送来的请求信息帧。此时节点B应当向节点A发送应答信息帧，此时节点B查找自己的搜索策略Q-table表，假设此时关于节点A的LED紫外发射装置编号为4的Q-table表格内容为空，即如表1所示，不存在这个搜索策略，则节点B将根据自身LED编号向四周开始发送自己的应答信息帧；

步骤4：节点A接收到节点B编号为3的LED紫外发射装置发送来的应答信息帧，更新自己的邻居列表；

步骤5，节点A以编号为4的LED定向向节点B发送确认信息帧，节点B的编号为2的节点的接收机将接收到确认信息帧，从确认信息帧中可以得知自身LED紫外编号为3的节点发送的信息可以到达A节点，则此时更新Q-table表格，则将此Q学习的回报值由0变为1，加入搜索策略，如表2所示。两节点进行邻居发现时有效的信息帧结构如图6所示。

下次若进行邻居发现过程中，遇到A节点的编号为4的LED发送的请求信息帧，则直接查找搜索策略，如表2所示，使用该节点的编号为3的LED进行发送信息帧，以避免多余的信息发送。达到节省能量和快速进行邻居发现的目的。

Claims (2)

1.基于Q-learning的紫外光无人机编队中邻居发现方法，其特征在于，包括以下步骤：

步骤1，在每个无人机上安装球形结构紫外光多发多收模型，多发多收模型上按照经纬线分布的方式在经纬线交接处安装紫外光收发装置，并进行编号，使其具有固定的编号的规律，节点间通信使用紫外光近直视通信；

步骤2，开始邻居发现第一阶段无人机节点以多发多收模型为基础，以LED紫外灯的编号为顺序从小到大依次向三维空间发送请求信息帧，请求信息帧包括节点ID，标识符，LED紫外灯的编号；

步骤3，当邻居无人机节点收到来自发起节点无人机的请求信息帧后，进入邻居发现第二阶段，此阶段由于紫外光的近直视传播的特点，邻居无人机节点可以根据请求信息帧判断出发起节点无人机多发多收模型的LED紫外灯的编号，但是无法决定自身该使用多发多收模型的哪个编号的LED紫外灯向发起节点无人机发送应答信息帧；

邻居节点无人机开始搜索自身的Q-learning算法中的Q表格中的策略，若Q表格中存在相应的策略，则根据策略选择相对应的LED紫外发射装置发送应答信息帧，若无搜索策略，转到步骤4；

所述步骤3中，Q-learning算法如下：

所述步骤3中，Q-learning算法中Q-table表格策略计算如下：

首先，初始化Q-table表格为0，表示此时的搜索策略为无，即Q-table表格即为搜索策略；

然后，判断邻居节点发送的应答信息帧是否可以到达发起节点，若可以到达，则更新Q-table表格中数据，更新变化为由0变1，若无法被发起节点接收到，则Q-table表格中数据不发生变化；

最后，通过一次一次的迭代优化更新Q-table表格，即不断的更新搜索策略，即可得到自身所有LED紫外灯的编号对应的搜索策略；

步骤4，若搜索策略为空，则邻居无人机节点将按照请求信息帧的发送方式，以自身多发多收模型为基础向三维空间依次发送应答信息帧，应答信息帧中包括有请求信息帧的节点ID号，请求信息帧发送的LED紫外灯的编号，以及接收节点的节点ID号，接收节点发送应答信息的LED紫外灯的编号；

步骤5，发起节点无人机收到应答信息帧后，进入邻居发现第三阶段，此时发起节点无人机根据收到的应答信息帧可以判断出本节点与邻居节点进行通信的最佳紫外LED发射编号，则发起节点无人机将根据应答信息帧中自身LED紫外灯的编号定向向邻居节点无人机发送确认信息帧，邻居发现过程结束。

2.根据权利要求1所述的基于Q-learning的紫外光无人机编队中邻居发现方法，其特征在于，所述的固定的编号的规律具体采用多发多收模型上按照经纬线分布的方式在经纬线交接处安装紫外光收发装置，以任一条经线为初始线对该经线上的节点进行编号，编号从1开始，经线上的编号顺序为从顶至下，当第一条经线编号完成后，以顺时针方向旋转选择第二条经线上的节点进行顺序编号，直至全部经线上的节点均编号完成。