CN110986948B - 一种基于奖励函数优化的多无人机分组协同判断方法 - Google Patents

Abstract

本发明公开了一种基于奖励函数优化的多无人机分组协同判断方法，包括以下步骤：步骤一、计算可飞行路径长度区间；步骤二、构建协同矩阵M；步骤三、检验是否满足最大补偿率；步骤四、检验是否进防空圈；步骤五、构建决策矩阵D进行分组协同寻优。本发明方法灵巧，通过路径长度区间、最大补偿率、防空圈计算出每架无人机理论可飞行的路径长度，进而基于奖励函数寻优得到无人机分组协同的结果。在保证尽可能多的无人机协同的同时，又兼顾了总路径长度最短，提高了航路规划效率，方法扩展性好。

Description

一种基于奖励函数优化的多无人机分组协同判断方法

技术领域

本发明属于无人机协同航迹规划技术领域，具体涉及一种基于奖励函数优化的多无人机分组协同判断方法。

背景技术

无人机因其适应性强、机动性高、隐蔽性好的特点被广泛应用于现代战场和民用领域。多无人机协同编队飞行在拓宽无人机作战范围和提高作战效能方面具有显著优势，因此逐渐成为未来无人机技术发展的重点方向。多无人机编队飞行以单无人机系统为基础，编队无人机技术不仅要具备单无人机所必需的飞行控制、通讯链路、传感器、信息融合、机身与推进系统等技术，还需要解决编队的生成与重生成问题、编队飞行的路径规划问题、碰撞规避问题、编队队形的保持控制问题、多无人机间的信息交问题、编队任务分配问题等。

多无人机协同航迹规划旨在为编队中每架无人机设计一条符合曲率约束的可飞行路径，使得无人机群同时到达指定地点，并保证无人机之间不发生碰撞。多无人机协同航迹规划考虑的主要约束有可飞性约束和安全性约束。其中可飞性约束指规划的路径能够满足各无人机的运动学约束条件，如最大曲率约束，最大挠率约束、路径曲率连续约束等。路径安全性是指无人机组内不发生碰撞，并且无人机规划的路径不与环境中的障碍物发生碰撞。其他的约束还有时间协同约束，即各无人机必须同时到达目标点完成队形重构。路径规划的目标是使得路径整体性能指标最优，包括路径长度、平滑性能和隐身性能等。目前大多数采用的路径规划技术都是从地面机器人领域借鉴而来的，求解路径规划的方法有最优控制法、人工势场法、基于图形学的算法和智能优化方法等。

在多无人机的协同航迹规划中，盲目要求全部无人机时间协同可能会导致个别无人机过度飞行，造成极大的燃油耗费。因此提前进行无人机能否协同飞行的判断，将多无人机合理地分成若干协同组，进而再进行航迹规划，这方面的研究具有极强的工程实用价值。

然而无人机分组协同判断的研究成果很少，判断准则也没有明确的定义。因此需要对多无人机分组协同的考虑因素和判断方法进行探索。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于奖励函数优化的多无人机分组协同判断方法。其方法灵巧，可以分为两个部分：首先通过路径长度区间、最大补偿率、防空圈计算出每架无人机理论可飞行的路径长度，进而基于奖励函数寻优得到无人机分组协同的结果。在保证尽可能多的无人机协同的同时，又兼顾了总路径长度最短，提高了航路规划效率，方法扩展性好。

为解决上述技术问题，本发明采用的技术方案是：一种基于奖励函数优化的多无人机分组协同判断方法，其特征在于，包括以下步骤：

步骤一、计算可飞行路径长度区间：

步骤101、确定n架无人机的起始位姿p_si和终止位姿p_fi，其中i＝1,2,…,n。分别为每架无人机产生LSL、RSR、LSR、RSL，共4种类型的Dubins路径；

步骤102、对每架无人机，用最小曲率半径r_min求得的路径长度作为4种类型路径的长度下限，记为

并计算4种类型路径的长度上限，记为

则无人机的4种类型路径的长度区间为

其中j＝1表示LSL型、j＝2表示RSR型、j＝3表示LSR型、j＝4表示RSL型；

步骤二、构建协同矩阵M：

步骤201、选取协同长度：选取每架无人机的4种路径类型的长度下限

作为协同的长度，则n架无人机共产生4n个协同长度L_p,p＝1,2,…,4n；

步骤202、构建协同矩阵M：协同矩阵

其中元素x_pi表示第i架无人机对协同长度L_p的可飞性，x_pi＝1表示可飞，x_pi＝0表示不可飞。判断协同长度L_p,p＝1,2,…,4n是否属于无人机i的4种类型路径长度区间之内，如果存在

使得

则表示无人机i对于协同长度L_p可飞，协同矩阵的元素x_pi为1；如果不存在，则x_pi为0；

步骤三、检验是否满足最大补偿率：为防止无人机过度飞行，定义无人机i的补偿率kⁱ为实际协同路径长度L_p与最小可飞路径长度

之比，即

其中无人机i的最小可飞路径长度为

规定最大补偿率为k_max，如果kⁱ＞k_max，则表示无人机i的飞行路径超过最大补偿率，为过度飞行，则对应的路径长度L_p不可飞，将协同矩阵中对应的x_pi＝1置0；如果kⁱ≤k_max，则路径可飞，不作更改；

步骤四、检验是否进防空圈：采用粒子群算法对协同矩阵中x_pi＝1对应的可飞行路径计算起始曲率半径ρ_si和终止曲率半径ρ_fi，进而计算航迹离散点P＝{p_m|p_m＝(x_m,y_m),m＝1,2,…}，其中(x_m,y_m)表示航迹点的坐标，m＝1,2,…表示航迹点的序号。将防空圈建模成原点为O，半径为R_obs的障碍圆。检测是否存在||p_m-O||＜R_obs，若存在，表示航路进入防空圈。如果无人机i不存在满足防空圈约束的路径类型，则将协同矩阵中对应的x_pi＝1置0；

步骤五、构建决策矩阵D进行分组协同寻优：

步骤501、构建决策矩阵D：统计协同矩阵M中第i列“1”的个数为μ_i,i＝1,2,…,n，则n架无人机的路径一共有

种组合。决策矩阵D为

的矩阵，其中每一行代表一种路径长度组合；

步骤502、基于奖励函数的分组协同寻优：由于路径总长度和分组数目是相反的优化方向，首先判断决策矩阵中每行组合的协同类型，计算每行组合的目标函数

其中L_i表示第i架无人机的路径长度，-κσ是奖励函数部分，每种协同类型对应不同的系数κ。σ为奖励因子，σ＞0，其物理意义是“为了满足协同而愿意付出的路径长度代价”。寻优

的那组路径组合为最终的协同结果。

上述的一种基于奖励函数优化的多无人机分组协同判断方法，其特征在于：步骤一中采用满足曲率约束的Dubins路径规划方法进行可飞行路径规划，考虑了LSL、RSR、LSR、RSL4种类型。

上述的一种基于奖励函数优化的多无人机分组协同判断方法，其特征在于：步骤四中采用粒子群算法进行起始曲率半径ρ_s和终止曲率半径ρ_f寻优。

上述的一种基于奖励函数优化的多无人机分组协同判断方法，其特征在于：步骤502基于奖励函数构建目标函数对多无人机进行分组协同寻优，同时考虑了路径总长度更短和更多无人机协同。

本发明与现有技术相比具有以下优点：

1、本发明针对多无人机协同可能导致的过度飞行问题，提出了无人机分组协同判断方法。采用Dubins曲线进行路径规划，充分考虑了路径的可飞性、最大补偿率约束、防空圈约束，以及路径总长度和协同的优化。提出的方法适用场景广泛，对无人机的数量具有扩展性。

2、本发明在分组协同寻优时，设置奖励因子来构造目标函数，并对每种协同类型赋予不同的系数。用奖励因子来权衡路径总长度更短以及更多无人机协同这两个相反的优化目标。并且保证在协同类型相同的情况下，选出的路径组合一定具有最短的路径总长度。

综上所述，本发明方法灵巧，通过路径长度区间、最大补偿率、防空圈计算出每架无人机理论可飞行的路径长度，进而基于奖励函数寻优得到无人机分组协同的结果。在保证尽可能多的无人机协同的同时，又兼顾了总路径长度最短，提高了航路规划效率，方法扩展性好。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的方法流程图。

图2为本发明步骤102得到的可飞行路径长度区间。

图3为本发明步骤四得到的协同矩阵M。

图4为本发明步骤501构建的决策矩阵D。

图5为本发明步骤502各种协同类型对应的目标函数。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。本发明以4架无人机在编队作战背景下的分组协同为例，假设各无人机的速率相等且不可调节。

如图1所示，本发明包括以下步骤：

步骤一、计算可飞行路径长度区间：

步骤101、确定4架无人机的起始位姿p_si和终止位姿p_fi，i＝1,2,3,4。实际使用时，p_si＝(x_si,y_si,θ_si)，(x_si,y_si)为无人机的起点位置坐标，θ_si为起点航向角；p_fi＝(x_fi,y_fi,θ_fi)，(x_fi,y_fi)为无人机的终点位置坐标，θ_fi为终点航向角。计算机根据给定的起始位姿p_si和终止位姿p_fi，采用解析几何法为每架无人机生成LSL、RSR、LSR、RSL4种类型的Dubins路径。

步骤102、对于每种Dubins路径类型，路径长度通常会随着曲率半径的增加而连续增大。因此，对每架无人机，用最小曲率半径r_min求得的路径长度作为4种类型路径的长度下限，记为

当转弯半径持续增大到Dubins路径不存在的临界点时，求得的路径长度为路径上限，记为

则无人机的4种类型路径的长度区间为

其中j＝1表示LSL型、j＝2表示RSR型、j＝3表示LSR型、j＝4表示RSL型。4架无人机的可飞行路径长度区间如图2。

步骤二、构建协同矩阵M：

步骤201、选取协同长度：由于无人机的速率相等且不可调，时间协同可以转化为路径长度相等，默认无人机协同是短的路径增加到长的路径区间的下限，所以选取每架无人机的4种路径类型的长度下限

作为协同的长度，则4架无人机共产生16个协同长度L_p,p＝1,2,…,4n；

步骤202、构建协同矩阵M：判断协同长度L_p,p＝1,2,…,4n是否属于无人机i的4种类型路径长度区间之内，如果存在

使得

则表示无人机i对于协同长度L_p可飞；如果不存在，则无人机i对于协同长度L_p不可飞。构建协同矩阵

其中元素x_pi表示第i架无人机对协同长度L_p的可飞性，x_pi＝1表示可飞，x_pi＝0表示不可飞。

步骤三、检验是否满足最大补偿率：为防止无人机过度飞行，定义无人机i的补偿率kⁱ为实际协同路径长度L_p与最小可飞路径长度

之比，即

其中无人机i的最小可飞路径长度为

规定最大补偿率为k_max，如果kⁱ＞k_max，则表示无人机i的飞行路径超过最大补偿率，为过度飞行，则对应的路径长度L_p不可飞，将协同矩阵中对应的x_pi＝1置0；如果kⁱ≤k_max，则路径可飞，不作更改。

步骤四、检验是否进防空圈：采用粒子群算法对协同矩阵中x_pi＝1对应的可飞行路径计算起始曲率半径ρ_si和终止曲率半径ρ_fi。

实际使用时，当无人机i对协同长度L_p可飞时，在规划具体的路径时需要调整无人机i的起始曲率半径ρ_si和终止曲率半径ρ_fi，使L_i＝L_p，L_i表示第i架无人机的实际路径长度。对于Dubins路径，当给定第i架无人机的起始位姿p_si和终止位姿p_fi，决定无人机路径长度的参数就只有起始曲率半径ρ_si和终止曲率半径ρ_fi。

具体实施时，本实施例中，采用粒子群优化算法寻找符合目标函数的曲率半径。对于无人机i，种群需要优化的参数是Dubins路径的起始曲率半径ρ_si和终止曲率半径半径ρ_fi，即搜索空间维度Dim＝2。每个种群的粒子数目设置为M＝30，最大迭代次数设置为MaxDT＝50。粒子的搜寻位置设置为[ρ_min,ρ_max]，其中ρ_max根据实际环境而设定。粒子的搜寻速度取[-1.5,1.5]。首先对种群的粒子生成符合条件的随机初始位置和初始速度，然后计算每个粒子的适应度，进而初始化个体极值P_i ^best和群体极值G_best。在这里粒子的适应度函数定义为：F＝f(ρ_si,ρ_fi)＝-|L_i-L_p|，当粒子的适应度越高时，表示路径长度和参考路径长度约相近，粒子的位置更优。随着迭代的进行，粒子会向路径等长的优化目标靠近。

粒子在每一次迭代中，通过学习个体极值P_i ^best和群体极值G_best来更新自己的速度和位置。速度的更新算法为：

位置的更新算法为：

为了避免速度过大跳过最优解，或者速度变化过小难以到达最优解，通常为粒子的搜寻速度和搜寻位置各取一个限定的范围：[-V_min，V_max]和[X_min,X_max]。粒子每更新一次位置，就重新计算适应度，进而更新个体极值P_i ^best和群体极值G_best，直到满足终止条件，输出最优解，即无人机i的起始曲率半径和终止曲率半径，使得无人机路径满足L_i＝L_p。

进而计算航迹离散点P＝{p_m|p_m＝(x_m,y_m),m＝1,2,…}，其中(x_m,y_m)表示航迹点的坐标，m＝1,2,…表示航迹点的序号。将防空圈建模成原点为O，半径为R_obs的障碍圆。检测是否存在||p_m-O||＜R_obs，若存在，表示航路进入防空圈。如果无人机i不存在满足防空圈约束的路径类型，则将协同矩阵中对应的x_pi＝1置0；

最终得到协同矩阵M，如图3。元素x_pi＝1表示无人机i对于协同长度L_p安全可飞行，右侧的16个数值代表协同长度L_p。

步骤五、构建决策矩阵D进行分组协同寻优：

步骤501、构建决策矩阵D：统计协同矩阵M中第i列“1”的个数为μ_i,i＝1,2,3,4，则4架无人机的路径一共有

种组合。决策矩阵D为

的矩阵，其中每一行代表一种路径长度组合，如图4。

步骤502、基于奖励函数的分组协同寻优：由于路径总长度和分组数目是相反的优化方向，首先判断决策矩阵中每行组合的协同类型，计算每行组合的目标函数

其中L_i表示第i架无人机的路径长度，-κσ是奖励函数部分，每种协同类型对应不同的系数κ。σ为奖励因子，σ＞0，其物理意义是“为了满足协同而愿意付出的路径长度代价”。寻优

的那组路径组合为最终的协同结果。

具体实施时，4架无人机共有5种协同类型，按优先级排列，每种类型对应的目标函数如图5。

判断决策矩阵D每一行的路径组合的协同类型，就可得到其对应的目标函数公式。σ为奖励因子，σ＞0，用来权衡路径总长度和分组数目的重要性，σ取值越大，表示优化更倾向于更多无人机协同；σ取值越小，表示更倾向于路径长度更短。系数κ用来区分不同协同类型的优先级。本实施例由于事先考虑了最大补偿率，路径长度限制在可接受的范围内，所以此处更倾向于协同。故σ取较大值即可，本例取1000。寻优

得到最终的协同结果L₁＝L₂＝L₃＝L₄＝179.8883，即4架无人机协同为一组。基于奖励函数优化的方法，保证了在协同类型相同的情况下，选出的路径组合一定具有最短的路径总长度。

以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (4)

1.一种基于奖励函数优化的多无人机分组协同判断方法，其特征在于，包括以下步骤：

步骤一、计算可飞行路径长度区间：

步骤101、确定n架无人机的起始位姿p_si和终止位姿p_fi，其中i＝1,2,…,n；分别为每架无人机产生LSL、RSR、LSR、RSL，共4种类型的Dubins路径；

步骤102、对每架无人机，用最小曲率半径r_min求得的路径长度作为4种类型路径的长度下限，记为

并计算4种类型路径的长度上限，记为

则无人机的4种类型路径的长度区间为

其中j＝1表示LSL型、j＝2表示RSR型、j＝3表示LSR型、j＝4表示RSL型；

步骤二、构建协同矩阵M：

步骤201、选取协同长度：选取每架无人机的4种路径类型的长度下限

作为协同的长度，则n架无人机共产生4n个协同长度L_p,p＝1,2,…,4n；

步骤202、构建协同矩阵M：协同矩阵

其中元素x_pi表示第i架无人机对协同长度L_p的可飞性，x_pi＝1表示可飞，x_pi＝0表示不可飞；判断协同长度L_p,p＝1,2,…,4n是否属于无人机i的4种类型路径长度区间之内，如果存在

使得

则表示无人机i对于协同长度L_p可飞，协同矩阵的元素x_pi为1；如果不存在，则x_pi为0；

步骤三、检验是否满足最大补偿率：为防止无人机过度飞行，定义无人机i的补偿率kⁱ为实际协同路径长度L_p与最小可飞路径长度

之比，即

其中无人机i的最小可飞路径长度为

规定最大补偿率为k_max，如果kⁱ＞k_max，则表示无人机i的飞行路径超过最大补偿率，为过度飞行，则对应的路径长度L_p不可飞，将协同矩阵中对应的x_pi＝1置0；如果kⁱ≤k_max，则路径可飞，不作更改；

步骤四、检验是否进防空圈：采用粒子群算法对协同矩阵中x_pi＝1对应的可飞行路径计算起始曲率半径ρ_si和终止曲率半径ρ_fi，进而计算航迹离散点P＝{p_m|p_m＝(x_m,y_m),m＝1,2,…}，其中(x_m,y_m)表示航迹点的坐标，m＝1,2,…表示航迹点的序号；将防空圈建模成原点为O，半径为R_obs的障碍圆，检测是否存在||p_m-O||＜R_obs，若存在，表示航路进入防空圈；如果无人机i不存在满足防空圈约束的路径类型，则将协同矩阵中对应的x_pi＝1置0；

步骤五、构建决策矩阵D进行分组协同寻优：

步骤501、构建决策矩阵D：统计协同矩阵M中第i列“1”的个数为μ_i,i＝1,2,…,n，则n架无人机的路径一共有

种组合；决策矩阵D为

的矩阵，其中每一行代表一种路径长度组合；

步骤502、基于奖励函数的分组协同寻优：由于路径总长度和分组数目是相反的优化方向，首先判断决策矩阵中每行组合的协同类型，计算每行组合的目标函数

其中L_i表示第i架无人机的路径长度，-κσ是奖励函数部分，每种协同类型对应不同的系数κ；σ为奖励因子，σ＞0，其物理意义是“为了满足协同而愿意付出的路径长度代价”；寻优

的那组路径组合为最终的协同结果。

2.按照权利要求1所述的一种基于奖励函数优化的多无人机分组协同判断方法，其特征在于：步骤一中采用满足曲率约束的Dubins路径规划方法进行可飞行路径规划，考虑了LSL、RSR、LSR、RSL4种类型。

3.按照权利要求1所述的一种基于奖励函数优化的多无人机分组协同判断方法，其特征在于：步骤四中采用粒子群算法进行起始曲率半径ρ_s和终止曲率半径ρ_f寻优。

4.按照权利要求1所述的一种基于奖励函数优化的多无人机分组协同判断方法，其特征在于：步骤502基于奖励函数构建目标函数对多无人机进行分组协同寻优，同时考虑了路径总长度更短和更多无人机协同。

Images