CN114510072B - 基于进化迁移优化的多无人机路径规划方法、终端及介质 - Google Patents

Abstract

本发明公开了一种基于进化迁移优化的多无人机路径规划方法、终端及存储介质，方法包括：根据收集到的相关数据集对多无人机的路径规划进行高斯建模；根据多个目标的优化模型中离散化步长的不同将路径规划构建为多个具有不同保真度的优化任务；对每个优化任务分配一个进化种群；基于训练好的重构神经网络模型以进化迁移的方式产生每个优化任务的新子代种群，合并父代种群和新子代种群中的解个体；输出最终主任务的进化种群中的帕累托最优解集。本发明根据无人机飞行轨迹离散化步长的不同构造一个高保真度的主任务和多个低保真度的辅助任务，并将辅助任务的解个体通过迁移学习的方法转换为保真度高的主目标任务的解个体，可以提升优化的性能和效率。

Description

基于进化迁移优化的多无人机路径规划方法、终端及介质

技术领域

本发明涉及无人机系统优化领域，尤其涉及的是基于进化迁移优化的多无人机路径规划方法、终端及存储介质。

背景技术

无人驾驶飞机(UAV)在公共空域的娱乐和商业用途正在急剧增加。出于安全考虑而制定的法规，一直是无人机更广泛使用的一个重大障碍。然而，随着无人机使用的增加，新的风险暴露出现，可能导致巨额的索赔。无人机提出的两个优先考虑的安全问题包括空中碰撞和失控。如果操控员不能及时看到并避开其他(有人驾驶或无人驾驶)飞机，可能会发生碰撞，而失去控制可能由多种因素造成，如系统故障，飞行超出信号范围(如无线电、WiFi或GSM网络)或环境条件(如恶劣天气或GPS接收不良)等。虽然无人机空中碰撞可以通过操作计划和加入传感系统而避免，但失去控制的情况在本质上是随机的，需要采取适当的风险评估方法，以尽量减少这种情况的发生或降低发生危险的严重程度。风险评估已经进入到了当前无人机交通管理系统的视角。无人机交通管理系统必须具备预测和规避风险的能力，通过评估环境和对无人机的操作，并提供有效的规划，最终将风险最小化。传统的无人机操作的安全风险评估侧重于根据一些可能性和严重性类别分别定义安全风险概率和安全风险严重程度。但这些类别没有充分利用好可从有关部门或机构收集的数据，而这些数据允许通过概率分布以更精确的方式定义风险概率和风险严重程度。基于上述原因，依据收集的数据集以概率模型驱动的风险度量可以最大化无人机特定操作的安全程度。

大数据正变得越来越流行，可从不同来源获得的大量信息，因此，无人机作业的数据驱动概率风险度量在其路径规划中得到了广泛的应用。路径规划是无人机安全高效运行的重要组成部分，它允许无人机自主计算从起点到终点的最佳路径。沿途信息的不确定性自然会考虑用概率模型来描述其风险评估。近年来，无人机在不确定和动态环境下安全工作的基于风险的路径规划算法设计一直是一个很活跃的研究领域。在路径规划的背景下，还引入了其他基于概率的准则用于目标检测和跟踪。风险缓解可以根据路径积分风险度量和经典路径效率之间的权衡来定义，因而用概率分布函数描述的随机环境下作战的无人机路径规划可被定义为一个大规模昂贵的多目标优化问题。可以将不同的风险因素组合成一个统一的风险评估公式，从而自动化数据分析，为无人机交通管理系统的预测和规定能力提供有价值的见解，并简化人工操作人员的战略决策。但是，传统的数学方法很难求解，尤其是多无人机同时作业的场景下。因而，基于种群的多目标进化优化方法被专门设计用来处理随机环境下的多无人机路径规划，并得到了不错的效果。尽管如此，传统的多目标进化方法都是直接处理一个无人机的飞行轨迹离散化步长很细的高保真度问题，这样会使得种群收敛速度很慢且在处理这种计算代价昂贵的问题上效率很低。

因此，现有技术还有待改进。

发明内容

本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种基于进化迁移优化的多无人机路径规划方法、终端及存储介质，以解决传统的多无人机路径规划方法优化效率低的问题。

本发明解决技术问题所采用的技术方案如下：

第一方面，本发明提供一种基于进化迁移优化的多无人机路径规划方法，所述基于进化迁移优化的多无人机路径规划方法包括以下步骤：

根据收集到的不确定环境的相关数据集对多无人机的路径规划进行高斯建模，得到多个目标的优化模型；

根据所述多个目标的优化模型中离散化步长的不同将所述多无人机的路径规划构建为多个具有不同保真度的优化任务；其中，每个优化任务对应多个优化目标，且第一任务为高保真度的主任务，其余任务为低保真度的辅助任务；

对每个优化任务分配一个进化种群，并通过所述进化种群训练得到一个具有判别功能的重构神经网络模型；

基于训练好的重构神经网络模型以进化迁移的方式产生每个优化任务的新子代种群，并合并每个优化任务的父代种群和新子代种群中的解个体，通过环境选择得到每个优化任务下一代的进化种群；

根据终止条件的判断结果输出最终主任务的进化种群中的帕累托最优解集，并将所述帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集。

在一种实现方式中，所述根据收集到的不确定环境的相关数据集对多无人机的路径规划进行高斯建模，得到多个目标的优化模型，之前包括：

从不同来源收集可实行所述多无人机在指定作战区域内不确定环境的相关数据集；其中，所述相关数据集包括：天气数据、信号覆盖数据、导航数据以及监视服务数据。

在一种实现方式中，所述根据收集到的不确定环境的相关数据集对多无人机的路径规划进行高斯建模，得到多个目标的优化模型，包括：

确定同一飞行空域中M架无人机的第i架无人机在其航行路径Γ_i上飞行的距离：

L_i＝∫dΓ_i,i＝1,2,…,M；

确定所述多无人机同时作业的路径规划的第一个目标f₁：

其中，f₁为最小化所有无人机从各自的出发地到目的地的总飞行距离；

计算每架无人机在给定条件下沿着某一条路径Γ飞行时出现不安全结果的概率：

其中，U表示存在一系列危险而发生的不安全结果，Uc表示U的补充，D表示与经过路径Γ相关的特征距离；

计算每架无人机在特定位置处发生危险的概率：

p(U|x)＝∫p(U|h,x)p(h|x)dh；其中，h被映射为0到1之间的一个值；

确定至少一架无人机发生不安全结果的概率的第二个目标f₂：

在一种实现方式中，所述根据多个目标的优化模型中离散化步长的不同将所述多无人机的路径规划构建为多个具有不同保真度的优化任务，包括：

根据所述多个目标的优化模型中离散化步长的不同构建K个具有不同保真度的多目标优化任务T₁,T₂,…,T_K；

将T₁定义为所述主任务，并将T₂,…,T_K定义为所述辅助任务。

在一种实现方式中，所述对每个优化任务分配一个进化种群，并通过所述进化种群训练得到一个具有判别功能的重构神经网络模型，包括：

对构建的具有不同保真度的K个优化任务，分别在归一化的搜索空间Y中随机初始化一个进化种群，得到K个进化种群P₁,P₂,…,P_K；

根据K个进化种群P₁,P₂,…,P_K，训练得到一个具有判别功能的重构神经网络模型。

在一种实现方式中，所述基于训练好的重构神经网络模型以进化迁移的方式产生每个优化任务的新子代种群，包括：

将模拟二进制交叉和多项式变异的进化操作算子分别作用在所述辅助任务的当前父代种群P₂,…,P_K上，以产生所述辅助任务新的子代种群Q₂,…,Q_K；

基于父代种群P₁在源搜索空间中采用所述模拟二进制交叉和所述多项式变异的进化操作产生部分解；

通过训练后的重构神经网络模型对所述主任务对应的非支配解集S₁进行编码和解码，得到n维的重构解；

通过所述训练后的重构神经网络模型对所述辅助任务对应的非支配解集S₂,…,S_k进行编码、判别和排序，并将排序后的S₂,…,S_k中各自的第一个解个体迁移成为所述主任务T₁的解个体；

将产生的部分解、n维的重构解以及迁移的解个体进行组合，得到所述主任务的子代种群Q₁。

在一种实现方式中，所述合并每个优化任务的父代种群和新子代种群中的解个体，通过环境选择得到每个优化任务下一代的进化种群，包括：

将所述辅助任务T₂,…,T_K当前的父代种群P₂,…,P_K与对应得到的子代种群Q₂,…,Q_K进行合并，并通过基于支配排序的环境选择策略依次更新对应的父代种群P₂,…,P_K；

将所述主任务T₁当前的父代种群P₁与对应得到的子代种群Q₁进行合并，并通过基于支配排序的环境选择策略将合并种群中性能表现更好的N个解个体作为下一代更新的父代种群P₁。

在一种实现方式中，所述根据终止条件的判断结果输出最终主任务的进化种群中的帕累托最优解集，并将所述帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集，包括：

判断当前进化迁移是否满足终止条件；

若为否，则将进化种群P₁,P₂,…,P_K替换为更新后的下一代的进化种群；

若为是，则输出最终主任务的进化种群P₁中的帕累托最优解集，并将所述帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集。

第二方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有基于进化迁移优化的多无人机路径规划程序，所述基于进化迁移优化的多无人机路径规划程序被所述处理器执行时用于实现如第一方面所述的基于进化迁移优化的多无人机路径规划方法的步骤。

第三方面，本发明提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有基于进化迁移优化的多无人机路径规划程序，所述基于进化迁移优化的多无人机路径规划程序被处理器执行时用于实现如第一方面所述的基于进化迁移优化的多无人机路径规划方法的步骤。

本发明采用上述技术方案具有以下效果：

本发明在多目标优化框架中定义了多无人机在不确定环境下的工作风险最小化问题，解决了路径积分风险测度与路径效率之间的权衡问题；并且，通过将多无人机完成从出发地到目的地需完成的作业构建为一个任务，根据无人机的飞行轨迹离散化步长的不同，从而进一步建模成一个多任务多目标的优化场景，使得具有不同保真度的多无人机路径规划任务之间可以通过进化迁移学习的方式，促进主目标任务的最优路径规划，提升了路径优化的性能和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明的一种实现方式中基于进化迁移优化的多无人机路径规划方法的流程图。

图2是本发明的一种实现方式中重构神经网络模型的框架示意图。

图3是本发明的一种实现方式中种群进化迁移的流程图。

图4是本发明的一种实现方式中多无人机路径规划的优化示意图。

图5是本发明的一种实现方式中终端的功能原理图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

示例性方法

近年来，无人机在不确定和动态环境下安全工作的基于风险的路径规划算法设计一直是一个很活跃的研究领域。在路径规划的背景下，还引入了其他基于概率的准则用于目标检测和跟踪。风险缓解可以根据路径积分风险度量和经典路径效率之间的权衡来定义，因而用概率分布函数描述的随机环境下作战的无人机路径规划可被定义为一个大规模昂贵的多目标优化问题。可以将不同的风险因素组合成一个统一的风险评估公式，从而自动化数据分析，为无人机交通管理系统的预测和规定能力提供有价值的见解，并简化人工操作人员的战略决策。

但是，现有基于进化优化的多无人机路径规划方法大多需要比较多的进化代数，因而消耗大量的函数评价，但多无人机路径规划为了高保真度，它的函数评价往往非常昂贵，其中一次评价可就需要消耗几分钟甚至几小时，因而现有的进化优化方法的效率都很低；其次，现有的基于进化算法的多无人机路径规划只能处理小规模的问题，对于大规模复杂多无人机路径规划问题，传统进化算法的搜索效率低且收敛速度很慢。

针对上述问题，本实施例提供一种基于进化迁移优化的多无人机路径规划方法，在处理无人机的飞行轨迹离散化步长很细的高保真度问题时，通过构造一些无人机的飞行轨迹离散化步长较长的辅助任务，并把辅助任务的解个体通过迁移学习的方法转换为保真度高的主目标任务的解个体，可以提升优化的性能和效率。

如图1所示，本发明实施例提供一种基于进化迁移优化的多无人机路径规划方法，基于进化迁移优化的多无人机路径规划方法包括以下步骤：

步骤S100，根据收集到的不确定环境的相关数据集对多无人机的路径规划进行高斯建模，得到多个目标的优化模型。

在本实施例中，所述基于进化迁移优化的多无人机路径规划方法应用于终端中，所述终端包括但不限于：无人机及其控制设备；其中，所述控制设备包括但不限于：遥控器、计算机以及移动终端等控制设备。

在本实施例中，提供了一种基于进化迁移优化的多无人机路径规划方法，应用于多架无人机同时在不确定环境工作的场景中，基于进化迁移优化的方式同时对多架无人机的路径规划进行优化，通过构造一些无人机的飞行轨迹离散化步长较长的辅助任务，并将辅助任务的解个体通过迁移学习的方法转换为保真度高的主目标任务的解个体可以提升优化的性能。

在本实施例中，进化迁移优化是指在进化计算领域中定义为将传统进化优化方法与跨不同优化问题之间知识迁移学习相结合的最新优化范式，以获得更好的优化性能。

首先，在多目标优化框架中定义了多无人机在不确定环境下的工作风险最小化问题，解决了路径积分风险测度与路径效率(飞行距离)之间的权衡问题；其中，第一个目标对应于最小化所有无人机从各自的出发地到目的地的总飞行距离，而第二个目对应于最小化至少一架无人机发生不安全事件的概率。

然后，将多无人机完成从出发地到目的地需完成的作业看成是一个任务，根据无人机的飞行轨迹离散化步长的不同，从而进一步建模成一个多任务多目标的优化场景。其中，主目标任务中无人机的飞行轨迹离散化步长很细因而具有非常高的保真度，它是一个复杂的大规模昂贵多目标优化模型以至于很难求解，而构造的多个低保真度辅助任务中无人机飞行轨迹离散化步长较长而容易求解。这样，具有不同保真度的多无人机路径规划任务之间通过进化迁移学习的方式来促进主目标任务的最优路径规划。

在本实施例中，在对多架无人机同时进行路径规划优化之前，还需要从不同来源收集可实行多无人机指定作战区域内不确定环境的相关数据，以便于根据收集到的相关数据评估所在的不确定环境的潜在影响。

在本实施例的一种实现方式中，步骤S100之前包括以下步骤：

步骤S001，从不同来源收集可实行所述多无人机在指定作战区域内不确定环境的相关数据集。

在本实施例中，指定作战区域是指可实行多架无人机同时飞行的无人机飞行区域，以此指定作战区域可以作为多架无人机的作业环境；其中，无人机作业的环境可以按照概率数据驱动方法进行描述。从而评估当前不确定环境的潜在影响，进而安全有效地规划无人机的操作，这在无人机交通管理系统的设计中起着关键作用。这样无人机需要了解环境，以安全有效地执行任务。

在本实施例的一种实现方式中，多架无人机的作业环境可以由一组感兴趣的变量来描述，这些变量的特征是在一些具有相关不确定性水平的离散点上收集的测量值。相关变量包括但不限于：天气(风、雨或闪电)、信号覆盖或通信、导航和监视服务的条件，这也是需要收集的数据；即从不同来源收集指定作战区域内不确定环境的相关数据集，其中，所述相关数据集包括：天气数据、信号覆盖或通信数据、导航数据以及监视服务数据等。

在收集相关数据集时，可通过网络大数据或相应的传感器进行收集，以得到所需要的数据集，例如，天气数据可以通过网络大数据收集；在收集的相关数据集中，天气数据可以是天气状况、风速以及风向等数据，信号覆盖数据可以是信号制式以及信号强度等数据；通过收集指定作战区域内不确定环境的相关数据集，可以通过高斯模型对当前不确定环境进行模拟，以对多架无人机同时作业的环境进行风险评估。

在不确定环境的飞行情况下，高斯过程已被证明提供了一种有原则且实用的概率学习方法；高斯过程是模拟随机环境的首选工具，因为它不仅提供对特定点条件的估计，而且还包含预测中的不确定性信息，可以用来建立信任水平。此外，高斯过程可以根据变量的恒等式和每个变量的观测数据来学习变量间的相关性。因此，本实施例通过收集不确定环境的相关数据，并采用高斯过程的概率数据驱动的环境建模，可以利用这种数据驱动的环境模型对无人机的风险评估进行建模。

在本实施例的一种实现方式中，步骤S100包括以下步骤：

步骤S101，确定同一飞行空域中M架无人机的第i架无人机在其航行路径Γ_i上飞行的距离。

在本实施例中，可以基于收集到的包括天气、信号覆盖或通信、导航和监视服务等相关数据，并以高斯模型驱动的方式，将多架无人机同时作业的路径规划问题建模成为同时优化两个目标的最小化多目标优化模型：

具体地，在建模两个目标的优化模型时，可以假设有M架无人机同时作业并共享一个飞行空域，则其中第i架无人机在其航行路径Γ_i上飞行的距离可表示为：

L_i＝∫dΓ_i,i＝1,2,…,M；

通过上述公式可以确定得到第i架无人机从起始地点沿着航行路径Γ_i到达目的地点的距离。

步骤S102，确定所述多无人机同时作业的路径规划的第一个目标f₁。

进一步地，在确定每一架无人机的飞行距离后，可以将多架无人机同时作业的路径规划的第一个目标f₁定义为以下形式：

其中，第一个目标f₁为最小化所有无人机从各自的出发地到目的地的总飞行距离。

步骤S103，计算每架无人机在给定条件下沿着某一条路径Γ飞行时出现不安全结果的概率。

进一步地，在确定第一个目标f₁后，可以将每架无人机的风险度量定义为：该无人机在飞行路径上存在的一系列危险或情况而可能导致不安全结果发生的概率，即特定无人机在给定条件下沿着某一条路径Γ飞行会出现不安全结果的概率p(U|Γ)定义如下：

其中，U表示因存在一系列危险而发生的不安全结果，Uc表示U的补充(即非不安全结果)，D表示与经过路径Γ相关的特征距离。

步骤S104，计算每架无人机在特定位置处发生危险的概率。

进一步地，在确定每架无人机在路径Γ飞行会出现不安全结果的概率后，可以计算得到该无人机在路径Γ中的特定位置处发生危险的概率；假设U和H分别表示存在危险和相应危险导致的不安全结果，那么危险事件可能在特定位置x处发生危险的概率p(U|x)定义如下：

p(U|x)＝∫p(U|h,x)p(h|x)dh；

其中，h被映射为0到1之间的一个值，可以称之为隶属值，该隶属值可以用于量化结果H发生的等级或程度。

步骤S105，确定至少一架无人机发生不安全结果的概率的第二个目标f₂。

进一步地，根据每架无人机在特定位置x处发生的概率，可以确定第二个优化目标f₂；在构建第二个优化目标f₂的过程中，可以假设M架无人机各自的风险度量是相互独立的，这样对于至少一架无人机会发生不安全结果的概率的第二个优化目标f₂可以表示为：

在本实施例中，对于风险度量f₂，通过对某一无人机的轨迹离散化(特定的多个位置)来评估其在连续路径上的风险积分；这样一来，有限离散化路径风险评估度量的优化复杂性和运行时间都高度依赖于离散化步长。也就是说，更短的步长意味着数值积分的高保真度，但是f₂的优化非常难，且计算代价非常昂贵。这种高保真度模拟虽然更加精确，但可能需要花费几分钟甚至几个小时的函数评价。另一方面，具有较大离散步长的低保真度模拟可以更快，尽管它们在风险估计中不能提供相同水平的准确性。

如图1所示，在本发明实施例的一种实现方式中，基于进化迁移优化的多无人机路径规划方法还包括以下步骤：

步骤S200，根据所述多个目标的优化模型中离散化步长的不同将所述多无人机的路径规划构建为多个具有不同保真度的优化任务。

在本实施例中，针对高保真度模拟时间长的问题，根据多个目标的优化模型中离散化步长的不同，可以将M架无人机同时作业的路径规划问题构建成为K个具有不同保真度的多任务优化模型；在K个优化任务中，每个优化任务的目标是上述步骤S100中建模的两目标最小化优化问题，且不同的任务具有不同的保真度，也即具有不同的无人机飞行轨迹离散化步长。

在本实施例的一种实现方式中，步骤S200包括以下步骤：

步骤S201，根据所述多个目标的优化模型中离散化步长的不同构建K个具有不同保真度的多目标优化任务T₁,T₂,…,T_K。

在本实施例中，可以将上述步骤S100中建模的多目标优化模型表示为一个总的任务T，进而根据离散化步长的不同，需要将总的任务T构建为K个具有不同保真度的多目标优化任务T₁,T₂,…,T_K；在K个优化任务中，每个优化任务对应解决的问题为两目标最小化优化问题(第一个目标f₁和第二个优化目标f₂)，且在K个优化任务具有不同的保真度。

步骤S202，将T₁定义为所述主任务，并将T₂,…,T_K定义为所述辅助任务。

进一步地，在得到K个优化任务后，可以将T₁定义为源多无人机路径规划的主目标任务(即主任务)，它具有精细的高保真度，即T₁中每一架无人机的飞行轨迹离散化步长都特别细，因此，T₁是一个复杂的昂贵多目标优化模型；另外，由于飞行轨迹离散化步长太短，如果多无人机规定飞行的空间很大，需要进行风险评估的离散特定位置会是成百上千，这样T₁也是一个大规模优化模型。

进一步地，在将T₁定义为主目标任务后，可以将T₂,…,T_K定义为源多无人机路径规划的辅助任务，在这些辅助任务中，每一架无人机的飞行轨迹离散化步长都相对较长，因此，T₂,…,T_K都属于较简单的非昂贵多目标优化模型。

在本实施例中，在设置K个优化任务的不同保真度时，针对主目标任务T₁设置最精细的保真度，而针对辅助任务T₂,…,T_K可以由细到粗的形式设置对应的保真度，即以阶梯分配的形式对辅助任务T₂,…,T_K设置对应的保真度；当然，针对辅助任务T₂,…,T_K还可以选择随机分配的形式设置不同的保真度，只要各辅助任务T₂,…,T_K的保真度均小于主目标任务T₁的保真度即可。

本实施例根据无人机的飞行轨迹离散化步长的不同，构建成一个多任务多目标的优化场景；并且，通过构建多个低保真度辅助任务，以辅助任务辅助主目标任务，使得具有不同保真度的多无人机路径规划任务之间可以通过进化迁移学习的方式来促进主目标任务的最优路径规划。

如图1所示，在本发明实施例的一种实现方式中，基于进化迁移优化的多无人机路径规划方法还包括以下步骤：

步骤S300，对每个优化任务分配一个进化种群，并通过所述进化种群训练得到一个具有判别功能的重构神经网络模型。

在本实施例中，在构建K个具有不同保真度的多目标优化任务后，针对K个优化任务，可以对应地在搜索空间Y中初始化K个进化种群，并将每个进化种群分配到对应地优化任务上，得到K个进化种群P₁,P₂,…,P_K；进而，利用得到的K个进化种群P₁,P₂,…,P_K进行训练，即可得到一个具有判别功能的重构神经网络模型。

在本实施例的一种实现方式中，步骤S300包括以下步骤：

步骤S301，对构建的具有不同保真度的K个优化任务，分别在归一化的搜索空间Y中随机初始化一个进化种群，得到K个进化种群P₁,P₂,…,P_K。

在本实施例中，对于K个优化任务T₁,T₂,…,T_K，可以构造一个统一的归一化的搜索空间：

Y＝[0,1]ⁿ；

其中，n表示主目标任务T₁的搜索空间的维度。

进一步地，在搜索空间Y中随机初始化得到K个进化种群P₁,P₂,…,P_K；在这K个进化种群中，每个种群都有N个随机解。

每一个随机解x＝(x₁,x₂,…,x_n)均可以通过如下方式在Y中产生：

其中，rand(0,1)得到的是一个0到1之间的随机值，表示第i个任务T_i的搜索空间的维度，其中n₁的值等于n，而n₂,…,n_K的值都小于n。

进一步地，给每一个解x都分配一个K维的标签

如果解x属于种群P_i，则代表x是用来优化任务Ti，那么它的第i维的标签值

就设置为1，而其它维度上的标签值都设为0,i＝1,2,…,K。

步骤S302，根据K个进化种群P₁,P₂,…,P_K，训练得到一个具有判别功能的重构神经网络模型。

在本实施例中，根据K个进化种群P₁,P₂,…,P_K，可以训练得到一个具有判别功能的重构神经网络框架，该重构神经网络框架简称为DRN网络模型，其框架如图2所示，该DRN网络模型的架构主要由四部分组成：编码器、解码器、判别器以及梯度逆转层；其中，编码器、解码器以及判别器均为一个标准的前馈神经网络，编码器、解码器以及判别器之间共享一个隐藏层，该隐藏层为编码层，该编码层具有Z个神经元。

具体地，训练过程主要包括以下步骤：

首先，根据经典的非支配排序法，分别对K个进化种群P₁,P₂,…,P_K进行非支配排序，得到各自的非支配解集，相应地表示为S₁,S₂,…,S_K。并且，将S₁,S₂,…,S_K中的解个体组成训练数据集，以用于学习这个DRN网络模型(如图3所示)。

然后，将主目标任务T₁的非支配解集S₁看成是需要学习重构的主成分，并将S₁中的所有解用来训练DRN网络模型中编码器和解码器组成的自编码器模型；如图2中所示的最上面那条方向传播的学习线路。

具体为，输入S₁中的一个解x＝(x₁,x₂,…,x_n)，通过编码器得到对应的一个编码c＝(c₁,c₂,…,c_Z)，并通过解码器将c解码为n维的重构解向量

根据最小化平方差计算

与x之间的重构损失L_x，以及根据梯度下降法以反向传播的方式分别更新解码器和编码器中的参数θ_R和θ_E，这个过程相应地表示为

和

最后，将S₁,S₂,…,S_K中的所有解用来进一步训练DRN网络模型中的编码器和判别器，并通过梯度逆转层来达到基于对抗的领域自适应效果；也就是编码器和判别器通过梯度逆转层的连接构成了一个对抗网络。

具体为，输入S₁,S₂,…,S_K中的一个解x＝(x₁,x₂,…,x_n)，通过编码器得到对应的一个编码c＝(c₁,c₂,…,c_Z)；通过判别器得到编码c的一个判别标签p＝(p₁,p₂,…,p_K)；此处，判别器的输出为一个隐含的通过softmax层的输出，也就是说，标签p中的每个元素都代表一个概率值，该概率值的取值区间为[0,1]，并且，这个标签向量p中的所有K个元素之和等1。

将学习到的标签向量p与解x本身分配的标签向量l^x进行对比，计算其判别损失L_D；根据梯度下降法以反向传播的方式更新判别器的参数θ_D并用

表示。而对于编码器的参数θ_E的更新，是通过一个梯度逆转层以基于对抗的形式学习，相应的表示为

这样一来，学习的目的是希望S₂,…,S_K中的解可以与S₁中的解通过基于对抗的方式达到统计上的域自适应。从而可以把辅助任务T₂,…,T_K的解直接迁移给主目标任务T₁，以帮助主目标任务T₁进行优化。

在训练DRN网络模型的整个过程中，学习率设置为0.1；编码器、解码器以及判别器中都只有一个隐藏层，且神经元的个数为2Z，而它们共享的编码层的神经元个数建议设置的值是Z＝10。

本实施例中通过在搜索空间Y中随机初始化得到K个进化种群，使得每个优化任务都有一个进化种群，且每个种群都有N个随机解；并且，通过K个进化种群，可以训练得到一个具有判别功能的重构神经网络框架。

如图1所示，在本发明实施例的一种实现方式中，基于进化迁移优化的多无人机路径规划方法还包括以下步骤：

步骤S400，基于训练好的重构神经网络模型以进化迁移的方式产生每个优化任务的新子代种群，并合并每个优化任务的父代种群和新子代种群中的解个体，通过环境选择得到每个优化任务下一代的进化种群。

在本实施例中，在训练得到重构神经网络模型后，可利用训练好的重构神经网络模型对主任务对应的进化种群P₁进行进化，以及利用传统的进化方式对辅助任务对应的进化种群P₂,…,P_K进行进化，即通过进化迁移学习的方式产生每一个任务新的子代种群，对每个任务对应的种群进行更新。

在本实施例的一种实现方式中，步骤S400包括以下步骤：

步骤S401，将模拟二进制交叉和多项式变异的进化操作算子分别作用在所述辅助任务的当前父代种群P₂,…,P_K上，以产生所述辅助任务新的子代种群Q₂,…,Q_K。

在本实施例中，对于辅助任务的当前父代种群P₂,…,P_K，可以通过传统的模拟二进制交叉和多项式变异的进化方式产生对应的子代种群。

如图3所示，可将模拟二进制交叉和多项式变异的进化操作算子分别作用在所述辅助任务的当前父代种群P₂,…,P_K上，以产生所述辅助任务新的子代种群Q₂,…,Q_K。

步骤S402，基于父代种群P₁在源搜索空间中采用所述模拟二进制交叉和所述多项式变异的进化操作产生部分解。

在本实施例中，对于主任务的当前父代种群P₁，可通过训练好的DRN网络模型来产生对应的新的子代种群Q₁；如图3所示，主要通过三种不同的方式产生新的子代种群Q₁，分别为：

第一种，通过在源空间中搜索得到第一部分解；

第二种，通过在DRN网络模型的编码空间中搜索得到第二部分解；

第三种，从辅助任务迁移学习得到第三部分解。

针对第一种方式，主要是基于父代种群P₁在源搜索空间中进行搜索，在搜索的过程中，可以采用所述模拟二进制交叉和所述多项式变异的进化操作产生部分解，得到第一部分解。

步骤S403，通过训练后的重构神经网络模型对所述主任务对应的非支配解集S₁进行编码和解码，得到n维的重构解。

针对第二种方式，主要是根据上述步骤S300中学习到的DRN网络模型，通过编码器学习到一个Z维的编码空间，这样就可以将得到的非支配解集S₁中的解进行编码；具体为：

首先，通过DRN网络模型中的编码器将非支配解集S₁中的解映射到编码空间，得到这些非支配解各自的Z维编码；然后，再采用模拟二进制交叉以及多项式变异对这些降维的编码(即Z维编码)进行操作，以产生新的编码；最后，将新的编码通过解码器反映射得到n维的重构解，以在降维的编码空间中进行搜索，从而提高进化搜索的有效性。

步骤S404，通过所述训练后的重构神经网络模型对所述辅助任务对应的非支配解集S₂,…,S_k进行编码、判别和排序，并将排序后的S₂,…,S_k中各自的第一个解个体迁移成为所述主任务T₁的解个体。

针对第三种方式，主要是根据上述步骤S300中学习到的DRN网络模型，将得到的辅助任务对应的非支配解集S₂,…,S_k中的所有解进行编码、判别和排序，具体为：

首先，通过DRN网络模型中的编码器和判别器对非支配解集S2,…,Sk中的所有解进行处理，得到各自对应的判别标签向量；

然后，根据判别标签向量中的概率p₁的值，分别对S₂,…,S_k中的解进行降序排序，这样每一个排序后的非支配解集中的第一个解个体均为该解集中p₁值最大的解个体。也就是说，在第一个解个体对应的非支配解集中，是以最大的概率被判定为主目标任务T₁的解，因此，该第一个解个体最有可能有助于提升主目标任务的优化性能。

最后，将排序后的S₂,…,S_k中各自的第一个解个体通过DRN编码器和解码器迁移成为主目标任务T₁的解个体。

步骤S405，将产生的部分解、n维的重构解以及迁移的解个体进行组合，得到所述主任务的子代种群Q₁。

在本实施例中，将三种不同方式产生的新的解个体组成主目标任务T1的子代种群Q1；即将源空间搜索产生的部分解、n维的重构解以及迁移的解个体进行组合；这样一来，在源空间中搜索产生的解，可以保证原始任务的信息的完整性；而在降维的编码空间搜索产生的解个体，可以加快种群的收敛速度；而从辅助任务的解个体借助训练好的DRN网络模型迁移学习而得到的解个体，不仅可以促进主目标任务种群的收敛性，而且还可以增进其种群的多样性。

在本实施例的一种实现方式中，步骤S400还包括以下步骤：

步骤S406，将所述辅助任务T₂,…,T_K当前的父代种群P₂,…,P_K与对应得到的子代种群Q₂,…,Q_K进行合并，并通过基于支配排序的环境选择策略依次更新对应的父代种群P₂,…,P_K；

步骤S407，将所述主任务T₁当前的父代种群P₁与对应得到的子代种群Q₁进行合并，并通过基于支配排序的环境选择策略将合并种群中性能表现更好的N个解个体作为下一代更新的父代种群P₁。

在本实施例中，在得到主任务和辅助任务各自的子代种群后，可以通过基于传统支配排序的策略更新每一个任务的下一代进化种群。

首先，将辅助任务T₂,…,T_K当前的父代种群P₂,…,P_K与它们各自的子代种群Q₂,…,Q_K合并，并通过传统的基于支配排序的环境选择策略相应地依次更新它们的父代种群P₂,…,P_K；

然后，将主目标任务T₁当前的父代种群P₁与它的子代种群Q₁合并，并通过基于支配排序的环境选择策略将合并种群中性能表现更好的N个解个体作为下一代更新的父代种群P₁。

本实施例通过将辅助任务的解个体通过迁移学习的方法转换为保真度高的主目标任务的解个体，不仅可以促进主目标任务种群的收敛性，而且还可以增进其种群的多样性，在保证原始任务的信息的完整性的情况下，提高了主目标任务的计算效率。

如图1所示，在本发明实施例的一种实现方式中，基于进化迁移优化的多无人机路径规划方法还包括以下步骤：

步骤S500，根据终止条件的判断结果输出最终主任务的进化种群中的帕累托最优解集，并将所述帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集。

在本实施例中，在每次种群进化后，都有一个判断过程，以判断进化后的种群(即更新后的父代种群P₁以及父代种群P₂,…,P_K)是否满足进化迁移终止条件，即判断当前进化迁移是否满足终止条件；若满足终止条件，则将根据进化后的种群P₁输出最优解集，以作为多无人机的路径规划的最优候选策略集。

在本实施例的一种实现方式中，步骤S500包括以下步骤：

步骤S501，判断当前进化迁移是否满足终止条件；

步骤S502，若为否，则将进化种群P₁,P₂,…,P_K替换为更新后的下一代的进化种群；

步骤S503，若为是，则输出最终主任务的进化种群P₁中的帕累托最优解集，并将所述帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集。

在本实施例中，种群进化的终止条件为：进化后的种群可以同时优化两个目标，即满足第一个目标f₁(最小化所有无人机从各自的出发地到目的地的总飞行距离)，以及满足第二个优化目标f₂(最小化至少一架无人机会发生不安全结果的概率)。

在判断是否满足终止条件时，若不满足终止条件，则重新给每一个任务分配一个进化种群，并将其中的进化种群P₁,P₂,…,P_K相应地替换为更新后的进化种群(即通过基于传统支配排序的策略更新后的每一个任务的下一代进化种群)。

在判断是否满足终止条件时，若满足终止条件，输出最终主任务的进化种群P₁中的帕累托最优解集，并将帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集。

以下结合图4，对本实施例技术方案进行进一步说明：

如图4所示，在实际应用过程中，基于进化迁移优化的多无人机路径规划方法，包括以下步骤：

Step1，从不同来源收集无人机指定作战区域内不确定环境的相关数据；

Step2，将多无人机路径规划以高斯概率模型，基于收集到的数据驱动的方式建模成一个两目标的优化模型；

Step3，将多无人机路径规划构建成为多个具有不同保真度的多任务多目标优化模型；

Step4，给每个任务分配一个进化种群；

Step5，训练一个具有判别功能的重构神经网络模型；

Step6，按照进化迁移的方式来产生子代种群；

Step7，通过环境选择来更新下一代进化种群；

Step8，判断终止条件是否满足；若为是，则执行Step9；若为否，则返回Step4；

Step9，输出主任务的最终最优化种群。

在上述步骤中，主要是将多无人机路径规划以高斯概率模型建模成一个两目标的优化模型，然后通过不同保真度分配不同的任务，以实现两目标的优化过程，并在优化的过程中以进化迁移的方式更新每个任务的种群，直至更新后的种群达到优化目标。

本实施例通过上述技术方案达到以下技术效果：

本实施例在多目标优化框架中定义了多无人机在不确定环境下的工作风险最小化问题，解决了路径积分风险测度与路径效率之间的权衡问题；并且，通过将多无人机完成从出发地到目的地需完成的作业构建为一个任务，根据无人机的飞行轨迹离散化步长的不同，从而进一步建模成一个多任务多目标的优化场景，使得具有不同保真度的多无人机路径规划任务之间可以通过进化迁移学习的方式，促进主目标任务的最优路径规划，提升了路径优化的性能和效率。

示例性设备

基于上述实施例，本发明还提供一种终端，其原理框图可以如图5所示。

该终端包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，该终端的处理器用于提供计算和控制能力；该终端的存储器包括存储介质以及内存储器；该存储介质存储有操作系统和计算机程序；该内存储器为存储介质中的操作系统和计算机程序的运行提供环境；该接口用于连接外部终端设备，例如，移动终端以及计算机等设备；该显示屏用于显示相应的基于进化迁移优化的多无人机路径规划信息；该通讯模块用于与云端服务器或移动终端进行通讯。

该计算机程序被处理器执行时用以实现一种基于进化迁移优化的多无人机路径规划方法的步骤。

本领域技术人员可以理解的是，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，存储器存储有基于进化迁移优化的多无人机路径规划程序，基于进化迁移优化的多无人机路径规划程序被处理器执行时用于实现如上的基于进化迁移优化的多无人机路径规划方法的步骤。

在一个实施例中，提供了一种存储介质，其中，该存储介质为计算机可读存储介质，该存储介质存储有基于进化迁移优化的多无人机路径规划程序，该基于进化迁移优化的多无人机路径规划程序被处理器执行时用于实现如上的基于进化迁移优化的多无人机路径规划方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。

综上所述，本发明提供了一种基于进化迁移优化的多无人机路径规划方法、终端及存储介质，方法包括：根据收集到的相关数据集对多无人机的路径规划进行高斯建模；根据多个目标的优化模型中离散化步长的不同将路径规划构建为多个具有不同保真度的优化任务；对每个优化任务分配一个进化种群；基于训练好的重构神经网络模型以进化迁移的方式产生每个优化任务的新子代种群，合并父代种群和新子代种群中的解个体；输出最终主任务的进化种群中的帕累托最优解集。本发明根据无人机飞行轨迹离散化步长的不同构造一个高保真度的主任务和多个低保真度的辅助任务，并将辅助任务的解个体通过迁移学习的方法转换为保真度高的主目标任务的解个体，可以提升优化的性能和效率。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于进化迁移优化的多无人机路径规划方法，其特征在于，所述基于进化迁移优化的多无人机路径规划方法包括：

根据收集到的不确定环境的相关数据集对多无人机的路径规划进行高斯建模，得到多个目标的优化模型；

根据所述多个目标的优化模型中离散化步长的不同将所述多无人机的路径规划构建为多个具有不同保真度的优化任务；其中，每个优化任务对应多个优化目标，且第一任务为高保真度的主任务，其余任务为低保真度的辅助任务；

对每个优化任务分配一个进化种群，并通过所述进化种群训练得到一个具有判别功能的重构神经网络模型；

基于训练好的重构神经网络模型以进化迁移的方式产生每个优化任务的新子代种群，并合并每个优化任务的父代种群和新子代种群中的解个体，通过环境选择得到每个优化任务下一代的进化种群；

根据终止条件的判断结果输出最终主任务的进化种群中的帕累托最优解集，并将所述帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集；

所述基于训练好的重构神经网络模型以进化迁移的方式产生每个优化任务的新子代种群，包括：

将模拟二进制交叉和多项式变异的进化操作算子分别作用在所述辅助任务的当前父代种群P₂,…,P_K上，以产生所述辅助任务新的子代种群Q₂,…,Q_K；

基于父代种群P₁在源搜索空间中采用所述模拟二进制交叉和所述多项式变异的进化操作产生部分解；

通过训练后的重构神经网络模型对所述主任务对应的非支配解集S₁进行编码和解码，得到n维的重构解；

通过所述训练后的重构神经网络模型对所述辅助任务对应的非支配解集S₂,…,S_k进行编码、判别和排序，并将排序后的S₂,…,S_k中各自的第一个解个体迁移成为所述主任务T₁的解个体；

将产生的部分解、n维的重构解以及迁移的解个体进行组合，得到所述主任务的子代种群Q₁。

2.根据权利要求1所述的基于进化迁移优化的多无人机路径规划方法，其特征在于，所述根据收集到的不确定环境的相关数据集对多无人机的路径规划进行高斯建模，得到多个目标的优化模型，之前包括：

从不同来源收集可实行所述多无人机在指定作战区域内不确定环境的相关数据集；其中，所述相关数据集包括：天气数据、信号覆盖数据、导航数据以及监视服务数据。

3.根据权利要求1所述的基于进化迁移优化的多无人机路径规划方法，其特征在于，所述根据收集到的不确定环境的相关数据集对多无人机的路径规划进行高斯建模，得到多个目标的优化模型，包括：

确定同一飞行空域中M架无人机的第i架无人机在其航行路径Γ_i上飞行的距离：

L_i＝∫dΓ_i,i＝1,2,…,M；

确定所述多无人机同时作业的路径规划的第一个目标f₁：

其中，f₁为最小化所有无人机从各自的出发地到目的地的总飞行距离；

计算每架无人机在给定条件下沿着某一条路径Γ飞行时出现不安全结果的概率：

其中，U表示存在一系列危险而发生的不安全结果，Uc表示U的补充，D表示与经过路径Γ相关的特征距离；

计算每架无人机在特定位置处发生危险的概率：

p(U|x)＝∫p(U|h,x)p(h|x)dh；其中，h被映射为0到1之间的一个值；

确定至少一架无人机发生不安全结果的概率的第二个目标f₂：

4.根据权利要求1所述的基于进化迁移优化的多无人机路径规划方法，其特征在于，所述根据多个目标的优化模型中离散化步长的不同将多无人机的路径规划构建为多个具有不同保真度的优化任务，包括：

根据所述多个目标的优化模型中离散化步长的不同构建K个具有不同保真度的多目标优化任务T₁,T₂,…,T_K；

将T₁定义为所述主任务，并将T₂,…,T_K定义为所述辅助任务。

5.根据权利要求1所述的基于进化迁移优化的多无人机路径规划方法，其特征在于，所述对每个优化任务分配一个进化种群，并通过所述进化种群训练得到一个具有判别功能的重构神经网络模型，包括：

对构建的具有不同保真度的K个优化任务，分别在归一化的搜索空间Y中随机初始化一个进化种群，得到K个进化种群P₁,P₂,…,P_K；

根据K个进化种群P₁,P₂,…,P_K，训练得到一个具有判别功能的重构神经网络模型。

6.根据权利要求1所述的基于进化迁移优化的多无人机路径规划方法，其特征在于，所述合并每个优化任务的父代种群和新子代种群中的解个体，通过环境选择得到每个优化任务下一代的进化种群，包括：

将所述辅助任务T₂,…,T_K当前的父代种群P₂,…,P_K与对应得到的子代种群Q₂,…,Q_K进行合并，并通过基于支配排序的环境选择策略依次更新对应的父代种群P₂,…,P_K；

将所述主任务T₁当前的父代种群P₁与对应得到的子代种群Q₁进行合并，并通过基于支配排序的环境选择策略将合并种群中性能表现更好的N个解个体作为下一代更新的父代种群P₁。

7.根据权利要求1所述的基于进化迁移优化的多无人机路径规划方法，其特征在于，所述根据终止条件的判断结果输出最终主任务的进化种群中的帕累托最优解集，并将所述帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集，包括：

判断当前进化迁移是否满足终止条件；

若为否，则将进化种群P₁,P₂,…,P_K替换为更新后的下一代的进化种群；

若为是，则输出最终主任务的进化种群P₁中的帕累托最优解集，并将所述帕累托最优解集确定为具有高保真度的多无人机路径规划的最优候选策略集。

8.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有基于进化迁移优化的多无人机路径规划程序，所述基于进化迁移优化的多无人机路径规划程序被所述处理器执行时用于实现如权利要求1-7中任意一项所述的基于进化迁移优化的多无人机路径规划方法的步骤。

9.一种介质，其特征在于，所述介质为计算机可读存储介质，所述介质存储有基于进化迁移优化的多无人机路径规划程序，所述基于进化迁移优化的多无人机路径规划程序被处理器执行时用于实现如权利要求1-7中任意一项所述的基于进化迁移优化的多无人机路径规划方法的步骤。

Images