CN110109477B - 基于鸽群智能反向学习的无人机集群多目标控制优化方法 - Google Patents

Abstract

本发明公开一种基于鸽群智能反向学习的无人机集群多目标控制优化方法，其实现步骤为：步骤一：搭建无人机动力学模型；步骤二：搭建具有感知能力无人机传感器模型；步骤三：搭建无人机目标搜索图模型；步骤四：建立无人机目标搜索代价函数模型；步骤五：设计多目标鸽群优化算法；步骤六：设计基于鸽群智能反向学习的多目标鸽群优化算法；步骤七：输出无人机目标搜索仿真轨迹图。该方法解决了无人机在复杂战场环境下对未知环境判断不准确而带来的问题，更具有实际应用价值，提高了复杂环境下目标搜索的可行性与高效性，有效缩短搜索时间，从而提高无人机搜索目标的效率和成功率，以节省作战时间，保存作战实力。

Description

基于鸽群智能反向学习的无人机集群多目标控制优化方法

技术领域

本发明是一种基于鸽群智能反向学习的无人机集群多目标控制优化方法，属于无人机自主控制领域。

背景技术

无人机(Unmanned Air Vehicles，UAV)是指机内无人驾驶，可由人们多次利用、操纵的空中飞行器。与有人驾驶飞机相比，无人机在完成复杂环境下的作战任务时具有突出的优势，能够替代有人驾驶机执行“枯燥、恶劣、危险、纵深”(Dull,Dirty,Dangerous andDeep,4D)的作战任务。随着电子技术、计算机技术、控制技术等一系列高新技术的不断进步，无人机在现代战争中的应用日渐广泛，在近几次局部战争中，无人机的参战投入数量、种类和架次呈迅速增长的态势，其在执行侦查搜索、通信中继、空中预警、电子干扰、诱饵欺骗、对地打击等任务的过程中发挥了重要作用，对战争行动的影响越来越大。

随着航空技术的迅速发展和成熟，近年来无人机在民用领域、军事领域均得到了广泛的应用，越来越多地被应用到目标搜索任务中，成为重要的搜索平台，使目标搜索方式放生了新的变化。与传统的搜索平台相比，无人机能够迅速到达人力所不能企及的地方，进行大范围和高精度的成像，将一些原来难以进行的搜索任务变为可能，同时能够提高搜索成功率，缩短搜索时间，减少危险区域中的工作人员伤亡。但是在广域复杂、多变的信息化战场环境下，无人机的任务能力有限，在执行侦察搜索任务时面临搜索范围、传感器精度等诸多方面的限制，作战效能的发挥受到了制约。本发明旨在通过设计具有感知能力与鸽群智能反向学习机制的无人机，提高无人机在复杂环境下且目标未知情况下的自主搜索控制能力。

目标搜索过程中的主体主要包括搜索者、被搜索目标和搜索环境。一般地，可以分为目标位置已知和目标位置未知两种情况。针对第一种情况，即目标位置已知的搜索问题，大部分学者都是预先规划好UAV的飞行航迹，以实现对任务区域的最大化覆盖。针对第二种情况，即目标位置未知的搜索问题，很多学者基于搜索图方法来规划无人机的搜索路径。实际情况下，被搜索目标和搜索环境信息未知，于是无人机需要采取一定的方法措施，在给定的条件下找到尽可能多的被搜索目标，这便形成一个简单的搜索优化问题。随着搜索环境日益复杂，搜索目标越来越智能化，目前针对具有感知能力的无人机的目标搜索技术研究较少，也没有较好的搜索方法来解决这类目标的搜索问题。

在现有目标搜索问题的无人机控制理论中，搜索图方法是通过将目标搜索区域划分为离散网格，研究无人机在搜索区域中的目标搜索运动，即研究无人机在每个离散的网格中的目标搜索运动。针对运动目标的搜索问题，通过使用基于搜索图的方法来表示环境模型，主要包括概率图、信息素图、不确定图。目前的研究主要考虑目标存在概率，不研究搜索环境中的不确定度、信息素等等，但在实际战场环境下，无人机在搜索目标的过程中要同时躲避敌方的地面攻击、无信号禁飞区域等等，只考虑目标的存在概率显然是不可行的。本发明即面向更为复杂且信息未知的无人机目标搜索环境，从可行性和高效性考虑，提出了一种基于鸽群智能反向学习的无人机集群多目标控制优化方法，以提高复杂作战环境下目标搜索的成功率。

发明内容

本发明提出了一种基于鸽群智能反向学习的无人机集群多目标控制优化方法，其目的是提供一种更高效可行的无人机目标搜索自主控制方法，旨在保证搜索合理性的前提下，提高复杂环境下目标搜索的可行性与高效性，并有效缩短搜索时间，从而提高无人机搜索目标的效率和成功率，以解决无人机在复杂战场环境下对未知环境判断不准确而带来的问题，节省作战时间，保存作战实力。

本发明针对复杂的作战环境与具有感知能力的无人机模型，开发了一种基于鸽群智能反向学习的无人机集群多目标控制优化方法，该方法的实现步骤如下：

步骤一：搭建无人机动力学模型

定义t时刻无人机的控制变量为速度v(t)与航向角θ(t)，其中，t为非负的离散时间变量。同时，我们假设无人机在执行任务时飞行高度不变，则执行搜索任务的无人机运动学方程可以表示为如下离散时间下的质点运动学模型:

x(t+1,1)＝x(t,1)+v(t)·sinθ(t) (1)

x(t+1,2)＝x(t,2)+v(t)·cosθ(t) (2)

其中，x(t+1,1)为无人机在惯性坐标系下的下一时刻横轴位置，x(t+1,2)为无人机在惯性坐标系下的下一时刻纵轴位置。由于无人机机动性能的限制，速度范围有限[v_min,v_max]，且两个连续时刻之间的角度差Δθ受最小转弯半径R_min的限制。速度和转弯半径描述了无人机的机动性，决定了无人机的飞行轨迹。无人机的速度v(t)与最小转弯半径描述了无人机的机动性并决定了无人机的飞行轨迹。

步骤二：搭建具有感知能力无人机传感器模型

在无人机进行目标搜索的过程中，无人机在某一时刻能够感知到的范围定义为视野(FOV)，而无人机在某一时刻的机动范围内能够感知到的所有位置称为传感器的能视域(FOR)。如附图1所示，FOR是以无人机当前位置为中心的矩形区域，FOV为中心能够沿着矩形中线滑动的正方形。FOV的中心定义为无人机传感器在t时刻的注视点q(t)，则无人机的目标搜索问题可转化为求解下一时刻的无人机位置x(t+1)与传感器注视点q(t)。

步骤三：搭建无人机目标搜索图模型

在目标搜索过程中，采用基于搜索图的模型方法对环境信息进行描述。将搜索区域划分为M×N个单元格，因此每个单元格的位置可定义为(x,y)，该位置的编号m∈{1,2,...,M×N}可定义为

m＝x+(y-1)×M (3)

定义每个单元格的信息结构为I_m(t)＝[ρ_m(t),χ_m(t)]，包括搜索目标存在概率ρ_m(t)与环境信息确定度χ_m(t)。若待搜索目标存在于该单元格，则ρ_m(t)＝1，否则，ρ_m(t)＝0；若无人机具有完整的环境信息，则χ_m(t)＝1，否则，χ_m(t)＝0。初始时刻，目标存在概率为均匀分布，环境信息确定度为0。在目标搜索过程中，搜索图的信息更新过程如下：

若第m个单元格位于无人机的视野(FOV)内，则

若第m个单元格位于无人机的视野(FOV)外，则

步骤四：建立无人机目标搜索代价函数模型

无人机目标搜索问题是一个比较复杂的多目标优化问题，为了使搜索方法能够在一定的时间间隔内寻找到最优解，在当前的时域内设计与任务目标相一致的代价函数是至关重要的。目标搜索问题的代价函数集如下所示：

(1)F₁描述了在控制器的作用下，无人机在预选路径上能够搜索到目标的概率；

(2)F₂描述了无人机对环境信息的确定度，可通过探测χ_m(k)≠1的区域来提高环境确定度；

(3)F₃描述了无人机在预选路径上的时间成本或燃料成本；

(4)F₄描述了无人机在预选路径上规避自然威胁、导弹威胁、禁飞区等威胁区域的行为，该代价函数的值表示了无人机穿越威胁区的成本；

(5)F₅用来评估无人机的轨迹是否在限定的目标搜索区域内。

F₁、F₂、F₃的值越大，F₄、F₅的值越小，无人机目标搜索的成功率越高。因而，在优化过程中，我们取F₁、F₂、F₃的倒数值。

步骤五：设计多目标鸽群优化算法

鸽群优化算法(PIO)是一种基于鸽群导航机制的仿生群体智能优化算法，该算法采用两种算子(地图和罗盘算子、路标算子)来引导鸽子找到目的地。研究数据显示，鸽子在飞行过程中依赖于磁场、太阳和地标等多种导航工具。该算法通过模拟鸽子在飞行过程中不同阶段使用不同导航工具的行为，求解复杂问题的最优解。

首先，鸽子在解空间内全局最优位置的基础上更新它们的位置和速度。随着迭代次数的增加，新的速度和位置更新如下:

V_i(n)＝V_i(n-1)·e^-Rn+rand·(X_gbest-X_i(n-1)) (6)

X_i(n)＝X_i(n-1)+V_i(n) (7)

其中，X_i＝[x_i1,x_i2...x_iD]与V_i＝[v_i1,v_i2...v_iD]为鸽群的位置与速度，X_gbest为全局最优解，n为当前迭代次数，0≤n≤N_c1max，N_c1max为地图和罗盘算子过程最大迭代次数，R表示地图和罗盘算子。

当鸽子接近目的地时，导航工具会切换到附近的地标。在地标算子中，不熟悉地标的鸽子会逐渐偏离轨道被遗弃。因此，每次迭代后鸽子的数量会减少一半。迭代时鸽子的数量可以定义为:

其余鸽子将使用地标中心位置作为参考飞行方向，记为X_center。位置可由下式更新:

X_i(n)＝X_i(n-1)+rand·(X_center(n)-X_i(n-1)) (9)

每次迭代之后，鸽子的位置都更靠近地标中心，N_c2max为该过程最大迭代次数。在此过程中，地标算子加快了局部搜索速度。鸽群的归巢行为如附图2所示。

在目标搜索过程中，无人机控制的待优化的代价函数共5个，原有的地标中心位置X_center的更新公式无法适用，因而采用鸽群智能反向学习机制以更新地标中心位置。

步骤六：设计基于鸽群智能反向学习的多目标鸽群优化算法

首先，将种群中的占优粒子筛选出来，计算粒子中间的欧几里得距离，在欧几里得距离大于平均欧几里得距离的区域中随机选择一个占优粒子X_Rep。对鸽群而言，无法借鉴飞行方向后方的个体经验，但对于具有感知能力的无人机而言，可同时评估预估位置与其反向位置，选择其中较优的位置。因此，对选中的占优粒子X_Rep的每一维度进行反向学习，若学习后的粒子更优则保留该位置，若学习后的粒子与学习前粒子相比效果非占优，则舍弃学习保留原位置，更新公式如下所示：

其中，X_i＜X_i,new表示原粒子与更新后的粒子相比更占优，j∈[1,2,...,D]，D为搜索区域的维度。

步骤七：输出无人机目标搜索仿真轨迹图

基于鸽群智能反向学习的无人机目标搜索算法流程如附图3所示。其中R为搜索区域边界长度，rhc_p为预测步数，rhc_m为控制步数，ts为采样时间，k_max为最大搜索步数。若仿真结果不理想，可适当调节预测步数rhc_p与控制步数rhc_m，减慢搜索速度，提高搜索精度。

本发明提出了一种基于鸽群智能反向学习的无人机集群多目标控制优化方法。该方法的优势主要体现在两个方面：一方面，该方法是面向更为复杂的对抗环境与自然环境而开展的无人机目标搜索行为，而非简单无干扰环境下无人机的目标搜索问题转化为路径规划问题，因此该模型对于实际战场环境下的目标搜索更具有应用价值；另一方面，该方法基于鸽群智能反向学习机制，在优化路径点的过程中，同时考虑预测路径点与其反向路径点，相比考虑预测路径点与其他随机路径点，该机制具有更高的概率寻找到最优路径点。因而，该机制能够缩短路径点的寻优过程，提高路径点的优异性，即提高无人机目标搜索的高效性与成功率。

附图说明

图1无人机感知模型

图2鸽群归巢行为

图3基于鸽群智能反向学习的无人机目标搜索算法流程流程图

图4基于鸽群智能反向学习的无人机目标搜索仿真结果图

图中标号及符号说明如下：

x——无人机位置

v(t)——无人机速度

v_max——无人机速度最大值

v_min——无人机速度最大值

θ(t)——无人机航向角

t——无人机运动离散时间变量

Δθ——无人机续时刻之间的角度差

R_min——最小转弯半径

ts——采样时间

q(t)——传感器注视点

N——不满足条件(否)

Y——满足条件(是)

FOV——无人机视野

FOR——无人机能视域

ρ_m(t)——目标存在概率

χ_m(t)——环境信息确定度

X_gbest——全局最优解

n——当前迭代次数

N_c1max——地图和罗盘算子过程最大迭代次数

R——地图和罗盘算子

N_c2max——地标算子过程最大迭代次数

X_center——地标算子中心解

D——搜索区域的维度

rhc_p——预测步数

rhc_m——控制步数

k_max——最大搜索步数

具体实施方式

下面通过一个具体的具有感知能力的无人机对未知位置的三个目标进行搜索的实例来验证本发明所提出的设计方法的有效性。实验计算机配置为Intel处理器，3.40Ghz主频，16G内存，软件为MATLAB 2014版本。

步骤一：搭建无人机动力学模型

定义t时刻无人机的控制变量为速度v(t)与航向角θ(t)，其中，t为非负的离散时间变量，采样时间ts定义为20s,最大仿真时间T为600s。无人机机动性能受限，速度范围有限[L_min/ts,0.2]，且两个连续时刻之间的角度差Δθ受最小转弯半径R_min的限制Δφ_max＝π-2·atan(R_min/(v·ts/2))。速度和转弯半径描述了无人机的机动性，决定了无人机的飞行轨迹。无人机的速度v(t)与最小转弯半径描述了无人机的机动性并决定了无人机的飞行轨迹。

步骤二：搭建具有感知能力无人机传感器模型

在无人机进行目标搜索的过程中，无人机在某一时刻能够感知到的范围定义为视野(FOV)，而无人机在某一时刻的机动范围内能够感知到的所有位置称为传感器的能视域(FOR)。如附图1所示，FOR是以无人机当前位置为中心的矩形区域，FOV为中心能够沿着矩形中线滑动的正方形。FOV的中心定义为无人机传感器在t时刻的注视点q(t)，则无人机的目标搜索问题可转化为求解下一时刻的无人机位置x(t+1)与传感器注视点q(t)。

步骤三：搭建无人机目标搜索图模型

在目标搜索过程中，采用基于搜索图的模型方法对环境信息进行描述。将搜索区域划分为60×60个单元格，因此每个单元格的位置可定义为(x,y)，该位置的编号m∈{1,2,...,M×N}可定义为m＝x+(y-1)×60。

定义每个单元格的信息结构为I_m(t)＝[ρ_m(t),χ_m(t)]，包括搜索目标存在概率ρ_m(t)与环境信息确定度χ_m(t)。若待搜索目标存在于该单元格，则ρ_m(t)＝1，否则，ρ_m(t)＝0；若无人机具有完整的环境信息，则χ_m(t)＝1，否则，χ_m(t)＝0。初始时刻，目标存在概率为均匀分布，环境信息确定度为0。

步骤四：建立无人机目标搜索代价函数模型

无人机目标搜索问题是一个比较复杂的多目标优化问题，为了使搜索方法能够在一定的时间间隔内寻找到最优解，在当前的时域内设计与任务目标相一致的代价函数是至关重要的。目标搜索问题的代价函数集如下所示：

(1)F₁描述了在控制器的作用下，无人机在预选路径上能够搜索到目标的概率；

(2)F₂描述了无人机对环境信息的确定度，可通过探测χ_m(k)≠1的区域来提高环境确定度；

(3)F₃描述了无人机在预选路径上的时间成本或燃料成本；

(4)F₄描述了无人机在预选路径上规避自然威胁、导弹威胁、禁飞区等威胁区域的行为，该代价函数的值表示了无人机穿越威胁区的成本；

(5)F₅用来评估无人机的轨迹是否在限定的目标搜索区域内。

F₁、F₂、F₃的值越大，F₄、F₅的值越小，无人机目标搜索的成功率越高。因而，在优化过程中，我们取F₁、F₂、F₃的倒数值。

步骤五：设计多目标鸽群优化算法

鸽群优化算法(PIO)是一种基于鸽群导航机制的仿生群体智能优化算法，该算法采用两种算子(地图和罗盘算子、路标算子)来引导鸽子找到目的地。研究数据显示，鸽子在飞行过程中依赖于磁场、太阳和地标等多种导航工具。该算法通过模拟鸽子在飞行过程中不同阶段使用不同导航工具的行为，求解复杂问题的最优解。定义当前迭代次数n的最大值N_c1max为100，地图和罗盘算子R为0.02。当鸽子接近目的地时，导航工具会切换到附近的地标。在地标算子中，不熟悉地标的鸽子会逐渐偏离轨道被遗弃。因此，每次迭代后鸽子的数量会减少一半。其余鸽子将使用地标中心位置作为参考飞行方向，记为X_center。每次迭代之后，鸽子的位置都更靠近地标中心，定义当前迭代次数n的最大值N_c2max为50。在此过程中，地标算子加快了局部搜索速度。鸽群的归巢行为如附图2所示。

在目标搜索过程中，无人机控制的待优化的代价函数共5个，原有的地标中心位置X_center的更新公式无法适用，因而采用鸽群智能反向学习机制以更新地标中心位置。

步骤六：设计基于鸽群智能反向学习的多目标鸽群优化算法

首先，将种群中的占优粒子筛选出来，计算粒子中间的欧几里得距离，在欧几里得距离大于平均欧几里得距离的区域中随机选择一个占优粒子X_Rep。对鸽群而言，无法借鉴飞行方向后方的个体经验，但对于具有感知能力的无人机而言，可同时评估预估位置与其反向位置，选择其中较优的位置。因此，对选中的占优粒子X_Rep的每一维度进行反向学习，搜索区域的维度D为2，若学习后的粒子更优则保留该位置，若学习后的粒子与学习前粒子相比效果非占优，则舍弃学习保留原位置。

步骤七：输出无人机目标搜索仿真轨迹图

基于鸽群智能反向学习的无人机目标搜索算法流程如附图3所示。其中搜索区域边界长度R为[0,60]²，预测步数rhc_p为3，控制步数rhc_m为3，采样时间ts为20s，最大搜索步数k_max为600。若仿真结果不理想，可适当调节预测步数rhc_p与控制步数rhc_m，减慢搜索速度，提高搜索精度。

仿真结果如附图4所示。仿真验证了通过本发明所提出的基于鸽群反向智能的无人机集群多目标控制优化方法可完成搜索任务，在规定时间内搜索到所有的目标。

Claims (1)

1.一种基于鸽群智能反向学习的无人机集群多目标控制优化方法，其特征在于：该方法的步骤如下：

步骤一：搭建无人机动力学模型

定义t时刻无人机的控制变量为速度v(t)与航向角θ(t)，其中，t为非负的离散时间变量；同时，假设无人机在执行任务时飞行高度不变，则执行搜索任务的无人机运动学方程可以表示为如下离散时间下的质点运动学模型:

x(t+1,1)＝x(t,1)+v(t)·sinθ(t) (1)

x(t+1,2)＝x(t,2)+v(t)·cosθ(t) (2)

其中，x(t+1,1)为无人机在惯性坐标系下的下一时刻横轴位置，x(t+1,2)为无人机在惯性坐标系下的下一时刻纵轴位置；由于无人机机动性能的限制，速度范围有限[v_min,v_max]，且两个连续时刻之间的角度差Δθ受最小转弯半径R_min的限制；速度和转弯半径描述了无人机的机动性，决定了无人机的飞行轨迹；无人机的速度v(t)与最小转弯半径描述了无人机的机动性并决定了无人机的飞行轨迹；

步骤二：搭建具有感知能力无人机传感器模型

在无人机进行目标搜索的过程中，无人机在某一时刻能够感知到的范围定义为视野FOV，而无人机在某一时刻的机动范围内能够感知到的所有位置称为传感器的能视域FOR；FOR是以无人机当前位置为中心的矩形区域，FOV为中心能够沿着矩形中线滑动的正方形；FOV的中心定义为无人机传感器在t时刻的注视点q(t)，则无人机的目标搜索问题可转化为求解下一时刻的无人机位置x(t+1)与传感器注视点q(t)；

步骤三：搭建无人机目标搜索图模型

在目标搜索过程中，采用基于搜索图的模型方法对环境信息进行描述；将搜索区域划分为M×N个单元格，因此每个单元格的位置可定义为(x,y)，该位置的编号m∈{1,2,...,M×N}可定义为

m＝x+(y-1)×M (3)

定义每个单元格的信息结构为I_m(t)＝[ρ_m(t),χ_m(t)]，包括搜索目标存在概率ρ_m(t)与环境信息确定度χ_m(t)；若待搜索目标存在于该单元格，则ρ_m(t)＝1，否则，ρ_m(t)＝0；若无人机具有完整的环境信息，则χ_m(t)＝1，否则，χ_m(t)＝0；初始时刻，目标存在概率为均匀分布，环境信息确定度为0；在目标搜索过程中，搜索图的信息更新过程如下：

若第m个单元格位于无人机的视野FOV内，则

若第m个单元格位于无人机的视野FOV外，则

步骤四：建立无人机目标搜索代价函数模型

目标搜索问题的代价函数集如下所示：

(1)F₁描述了在控制器的作用下，无人机在预选路径上能够搜索到目标的概率；

(2)F₂描述了无人机对环境信息的确定度，可通过探测χ_m(k)≠1的区域来提高环境确定度；

(3)F₃描述了无人机在预选路径上的时间成本或燃料成本；

(4)F₄描述了无人机在预选路径上规避自然威胁、导弹威胁、禁飞区等威胁区域的行为，该代价函数的值表示了无人机穿越威胁区的成本；

(5)F₅用来评估无人机的轨迹是否在限定的目标搜索区域内；

F₁、F₂、F₃的值越大，F₄、F₅的值越小，无人机目标搜索的成功率越高；因而，在优化过程中，取F₁、F₂、F₃的倒数值；

步骤五：设计多目标鸽群优化算法

首先，鸽子在解空间内全局最优位置的基础上更新它们的位置和速度；随着迭代次数的增加，新的速度和位置更新如下:

V_i(n)＝V_i(n-1)·e^-Rn+rand·(X_gbest-X_i(n-1)) (6)

X_i(n)＝X_i(n-1)+V_i(n) (7)

其中，X_i＝[x_i1,x_i2...x_iD]与V_i＝[v_i1,v_i2...v_iD]为鸽群的位置与速度，X_gbest为全局最优解，n为当前迭代次数，0≤n≤N_c1max，N_c1max为地图和罗盘算子过程最大迭代次数，R表示地图和罗盘算子；

当鸽子接近目的地时，导航工具会切换到附近的地标；在地标算子中，不熟悉地标的鸽子会逐渐偏离轨道被遗弃；因此，每次迭代后鸽子的数量会减少一半；迭代时鸽子的数量可以定义为:

其余鸽子将使用地标中心位置作为参考飞行方向，记为X_center；位置可由下式更新:

X_i(n)＝X_i(n-1)+rand·(X_center(n)-X_i(n-1)) (9)

每次迭代之后，鸽子的位置都更靠近地标中心，N_c2max为该过程最大迭代次数；在此过程中，地标算子加快了局部搜索速度；

在目标搜索过程中，无人机控制的待优化的代价函数共5个，原有的地标中心位置X_center的更新公式无法适用，因而采用鸽群智能反向学习机制以更新地标中心位置；

步骤六：设计基于鸽群智能反向学习的多目标鸽群优化算法

首先，将种群中的占优粒子筛选出来，计算粒子中间的欧几里得距离，在欧几里得距离大于平均欧几里得距离的区域中随机选择一个占优粒子X_Rep；对选中的占优粒子X_Rep的每一维度进行反向学习，若学习后的粒子更优则保留该位置，若学习后的粒子与学习前粒子相比效果非占优，则舍弃学习保留原位置，更新公式如下所示：

其中，X_i＜X_i,_new表示原粒子与更新后的粒子相比更占优，j∈[1,2,...,D]，D为搜索区域的维度。

Images