CN114397911B - 一种基于多智能体的无人机集群对抗决策方法 - Google Patents

Abstract

本发明公开了一种基于多智能体的无人机集群对抗决策方法，属于无人机技术领域，该方法包括以下步骤：采集当前环境信息和无人机的态势信息；根据当前环境信息和无人机的态势信息建模，包括构建无人机的运动模型和基于图的威胁源模型；利用基于图模型的蚁群算法进行无人机打击目标任务分配；根据分配的打击目标确定出对抗决策。本发明可以规避不利目标、支援劣势的友机和巡航时寻找有利目标,更有效地完成无人机集群的协同对抗,提升无人机集群对抗作战的效率。

Description

一种基于多智能体的无人机集群对抗决策方法

技术领域

本发明涉及飞行器技术领域，具体涉及一种基于多智能体的无人机集群对抗决策方法。

背景技术

经过数十年发展，无人机在替代人类执飞任务中展现了巨大优势，尤其是4D(Dull，Dirty，Dangerous and Deep)任务的复杂、多变、难以预测使得以小体积却速度快的低成本无人机脱颖而出，从而能够有效避免人员伤亡。相对于单一作战、全面防御的单无人机作战模式，无人机集群作战模式不仅融合了单无人机的强大功能，并且更加注重无人机集群协同作战、共同抗击，以集结单一的作战能力优势以及集群协作能力优势。

无人机的集群对抗可借鉴多智能体系统的工作形式,将无人机抽象为一个独立的智能体给无人机集群飞行中最优编队算法的自动生成、有障碍和无障碍环境下的队形保持提供了方向。其中，外部环境，例如地形、气象以及无人机集群共同构成一个多智能体系统。该系统中，每架无人机都表示一个智能体。整个多智能体系统要完成的任务就是通过所有智能体的协同来击中目标。与此同时,在多智能体系统框架下可以根据UAV(无人机)、目标和环境信息解决多UAV协同任务分配下的实时性需求问题,实现多智能体间的知识共享、计划和行动协调等通信行为。多智能体技术具有的自组织能力、学习能力和推理能力,为无人机集群间的对抗控制与决策提供了有效途径。然而，现有的多智能体算法与上述已有算法类似，仅能解决少数智能体场景，难以处理无人机集群的动态对抗。

发明内容

本发明的目的在于提供一种基于多智能体的无人机集群对抗决策方法，以满足无人机集群对抗的需求。

为实现上述目的，本发明采用的技术方案如下：

本发明实施例提供了一种基于多智能体的无人机集群对抗决策方法，包括以下步骤：

采集当前环境信息和无人机的态势信息；

根据当前环境信息和无人机的态势信息建模，包括构建无人机的运动模型和基于图的威胁源模型；

利用基于图模型的蚁群算法进行无人机打击目标任务分配；

根据分配的打击目标确定出对抗决策。

进一步优化的方案中，所述利用基于图模型的蚁群算法进行无人机打击目标任务分配的步骤，包括：

S1，根据威胁源模型构造图，并计算图中每条边的总代价，对图各边给出初始信息素值；

S2，令无人机从距离出发点最近的节点开始搜索，根据状态转移规则选择边，以距离目标最近的节点为终点搜索结束；

S3，当无人机集群中的所有无人机完成各自的打击目标选择后，接着按照性能指标函数计算可行路径的代价，并更新所找到的最优路径，按照信息素更新规则对图中各边的信息素进行更新，其中没有无人机经过的边进行信息素蒸发；

重复步骤S2-S3，直到达到结束条件。

所述性能指标函数为改进后的性能指标函数， t_i＝λ₁P_T(d_i)+λ₂P_R(d_i)+λ₃P_M(d_i)，J₂＝0.5*||h_i-h_j||²s_ij，其中，/>为调节系数，e_i表示第i个无人机执行任务的能量代价，n为无人机数量，ω,1-ω分别表示能量代价、威胁代价的权重系数，λ₁,λ₂,λ₃均为权系数，向量x_i、h_i分别表示无人机在执行任务前后的状态，s_ij为x_i和x_j的相关程度。本方案中，通过添加描述无人机模型拓扑结构的正则项，采用改进型的性能指标函数，继而可以找出更加准确可靠的最优路径。

所述根据分配的打击目标确定出对抗决策的步骤包括：

若飞行过程中未发现打击目标，则执行巡航决策，朝预设目的地飞行；

若探测到打击目标，但是该打击目标处于自身攻击距离之外，则进行态势估计，若估计结果为优势，则执行接近目标的决策，若估计结果为劣势，则执行远离目标的决策；

若探测到打击目标，且打击目标处于自身攻击距离之内，则进行态势估计，若估计结果为优势，则执行攻击目标的决策，若估计结果为劣势，则执行远离目标的决策。

在进一步优化的方案中，所述根据分配的打击目标确定出对抗决策的步骤还包括：完成无人机集群中所有无人机的行为决策后，检查所有无人机的最低威胁态势估计值，若某架无人机相较于某个敌方目标的威胁态势估计值低于设置的危险警报阈值，则针对该敌方目标，查找能够探测到该敌方目标且对该敌方目标威胁态势为优势的所有友机，并根据查找结果列表，修改列表中无人机的行为决策为接近或攻击该敌方目标。

与现有技术相比，本发明具有以下优势：

本发明面向无人机集群的对抗决策，目标在于实现更高效的面向大规模无人机集群的对抗决策。引入了多智能体系统的理论、空战态势评估方法和空战对抗理念,将个体无人机视为独立的智能体,并设计了相应的行为集和决策方法,以此建立无人机集群对抗决策模型,自适应地完成无人机集群之间的协同对抗过程。此外，通过添加描述无人机图模型拓扑结构的正则项，将图模型思想加入到传统蚁群算法。与此同时，多智能体系统的无人机集群对抗方法可以规避不利目标、支援劣势的友机和巡航时寻找有利目标,更有效地完成无人机集群的协同对抗,提升无人机峰群对抗作战的效率。

针对于本发明还具有的其他优势将在后续的实施例中进行更细致的分析。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中基于多智能体的无人机集群对抗决策方法的流程图。

图2为无人机在三维空间中的运动状态示意图。

图3为无人机在二维平面中的运动示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本实施例中提供的基于多智能体的无人机集群对抗决策方法，包括以下步骤：

S10，采集当前环境信息和无人机的态势信息。

此处的环境信息包括无人机集群中的其他友机状态，可感知范围内的敌机状态、地形信息、雷达信息、导弹信息等。

无人机的态势信息包括无人机的速度和位置。

S20，根据当前环境信息和无人机的态势信息建模，包括构建无人机的运动模型和基于图的威胁源模型。

S30，利用基于图模型的蚁群算法实现无人机打击目标任务分配。

S40，根据分配的目标确定出对抗决策。

无人机的运动状态用位置和速度表示。如图2所示，假定三维空间中的无人机瞬时状态可表示为其中：P_p＝[x_p y_p z_p]表示位置信息，/>表示速度矢量。用/>表示下一时刻的运动状态，/>

无人机在下一时刻要达到的目标位置已知的情况下，三维空间中的运动实际上是/>在与/>构成的二维平面内飞行，并做出速度大小与方向的调整。如图3所示，以无人机当前位置为原点，以速度/>方向为y_a轴，以/>为x_a轴。其中/> 为无人机在下一时刻要到达的目标位置，/>分别表示/>在x_a和y_a轴方向上的投影，α为/>和/>的夹角，则/>

在y_a轴方向上的投影为/> 在x_a轴方向上的投影为所以/>的坐标表示为/>夹角其中/>分别为速度矢量/>的两个分量，偏转角为α_T＝sgnαmin(α,α_max)，其中α_max为一个决策步长内的最大偏转角。

根据二维平面和三维坐标系的关系可得其中分别是/>和/>的标准向量，无人机飞行偏转角后新的速度方向为/>无人机的速度大小控制用无人机加速系数a_up和减速系数a_down表示如下：

无人机加速情况下的速度控制为

无人机减速情况下的速度控制为

其中，v_max和v_min分别为设置的无人机最大速度和最小速度。

无人机集群对抗中集群行为包括无人机的聚集和分离。无人机的聚集是指无人机在运动过程中，会自发朝友机方向靠拢。除本机外的所有无人机的相对机群中心设置为所有友机位置的平均值，表示为其中P_ci表示相对于第i架无人机的友机群中心点，n表示无人机总数，P_pj表示除第i架无人机外的其他友机的位置坐标。无人机分离则指的是无人机自发聚集过程中为避免部分友机间的距离太小甚至相撞而采取的一种保护措施。

假设无人机在飞行过程中高度不变，而且考虑敌方防御区处于平坦地域。本方法主要考虑地形、雷达、导弹威胁，并根据各种威胁源的具体特征进行建模。各种威胁源的建模如下：

(1)地形威胁：主要指的是固定飞行高度上对无人机飞行可能造成障碍的高耸山峰，因此也可以理解为山峰威胁。用圆锥体近似表示山峰，当无人机的飞行高度一定时上山峰的水平截面为圆周，山峰半径和无人机距山峰中心的距离分别为d_T和d，撞毁概率P_T(d)可以近似表示为：

(2)雷达威胁：当威胁为敌方雷达时，对无人机的威胁与雷达的距离的四次方成反比。若雷达最大探测半径为d_Rmax，无人机距雷达的水平距离为d，则无人机被敌方雷达探测的概率P_R(d)可以近似表示为：

(3)导弹威胁：一般对空导弹是主要的地面防空武器，根据导弹的杀伤区地点，可知其杀伤区可以近似为腰鼓形，水平横截面圆的半径d是高度的函数，且在某一高度上具有最大的半径。若d_Mmax是导弹杀伤区域的最大半径，无人机被敌方导弹击中的概率P_M(d)可以近似表示为：

利用上述对各种威胁源构建的模型，使用基于图模型的蚁群算法实现无人机打击目标的任务分配，其中蚂蚁代表打击目标任务(即执行打击目标任务的无人机)。具体的，包括以下步骤：

S1，根据威胁源模型构造图，并计算图中每条边的总代价，对图各边给出初始信息素值。此处的总代价就是指无人机在每条边上飞行所需的能量代价和威胁代价的加权和。

S2，令蚂蚁(无人机)从距离出发点最近的节点开始搜索，根据状态转移规则选择边，以距离目标最近的节点为终点搜索结束。此处的状态转移规则是指选择最大的状态转移概率对应的边。

S3，当所有蚂蚁完成各自的打击目标选择后，接着按照改进后的蚁群算法的性能指标计算可行路径的代价，并更新所找到的最优路径，按照信息素更新规则对图中各边的信息素进行更新，其中没有蚂蚁经过的边进行信息素蒸发.

重复步骤S2-S3，直到达到结束条件。结束条件就是迭代次数达到设的数值。

完成任务分配需要满足的约束条件是指无人机完成任务的安全性能和能量性能，所以执行任务代价包括其受到的威胁代价和能量代价。传统蚁群算法中，执行任务的各项约束条件是被独立考虑，最终加入到整体的目标函数中，假定用e_i表示第i个无人机执行任务的能量代价，t_i表示第i个无人机执行任务的威胁代价，则无人机集群执行任务的性能指标可以写成：

其中，n为无人机数量，ω,1-ω分别表示能量代价、威胁代价的权重系数。其中权重系数依据执行的任务决定，如果任务重视飞行时的安全性，则ω选择较小的值；如果任务需要无人机的快速性，则ω选择较大的值。

每个无人机执行任务的威胁代价包括地形、雷达、导弹代价，表示如下：

t_i＝λ₁P_T(d_i)+λ₂P_R(d_i)+λ₃P_M(d_i)

其中λ₁,λ₂,λ₃均为权系数，反映各威胁源的相对重要程度。

由于上述性能指标不能很好地体现无人机的整体性能和各无人机之间的相互关系，所以本实施例中通过添加描述无人机模型拓扑结构的正则项，设计基于图模型的改进蚁群算法。假设无人机在执行任务前后的状态分别由向量x_i、h_i表示，且x_i,h_i向量的某一维度可以用来刻画无人机的某一项指标，如能量等。考虑无人机集群的整体拓扑结构，拓扑约束J₂：

J₂＝0.5*||h_i-x_i||²s_ij

其中，s_ij为x_i和x_j的相关程度。改进后的蚁群算法的性能指标函数形式化为：

其中，为调节系数。

假设预打击目标的个数为m，无人机的数目为n,表示在t时刻任务T_k由无人机i转移到无人机j的状态转移概率：

其中，R_c为任务T_k的候选无人机集合，候选无人机集合表示无人机i可以到达的所有无人机集合；γ为信息启发式因子，表示轨迹的相对重要性，反映了任务在转移过程中所积累的信息对任务的转移所起的作用；β为期望启发式因子，表示启发信息在选择中的受重视程度，反映了任务在转移过程中启发信息在任务转移路径的选择中受重视程度。η_j(t)为启发函数：

式中D_j(T_k)表示无人机j与任务T_k之间的距离。τ_ij(t)表示t时刻在无人机i和j连线上残留的信息素值；所有任务只需完成一次循环求解，便可以寻找出任务的最优执行者，并按下式更新信息素值：

其中，ρ表示信息素挥发系数，1-ρ表示信息素残留因子，ρ∈[0,1)，Δτ_ij(t)表示T_k和R_j之间的信息素增强，式中Q为表示信息强度的常数，T_k和R_j均表示任务。

在无人机集群对抗系统中，无人机个体依据任务和环境信息进行独立的决策，所有无人机都有一个属于自己的行为集，且无人机的行为满足：①无人机能够完成对特定目的地的巡航任务，②无人机与友机能够保持安全距离，不掉队，不相撞，③攻击目标(无人机)，必要时能够支援友方无人机。无人机的作战行为集为：Action_i＝{A₁,A₂,A₃,A₄,A₅},其中：A₁代表巡航，A₂代表接近目标，A₃代表远离目标，A₄代表攻击目标，A₅代表支援友机。

无人机的个体行为集Action中的五种行为的决策方法如下：

①A₁--巡航：若无人机飞行过程中未发现敌方目标(任务分配的打击目标)，此时无人机的行为设置为朝预设目的地飞行，则巡航模式下无人机目标位置矢量为P_H＝P_{presupposed destination}。

②A₂--接近目标：若无人机巡航过程中探测到敌方目标(任务分配的打击目标),但该目标仍处于自身攻击距离之外,无人机需对敌方目标进行态势估计。若态势估计的结果为优势,则做出接近目标的决策。当无人机同时探测到多个目标时,需对所有的目标进行态势估计。根据态势估计值确定各个目标的权重，然后确定本次决策值P_H，其中：P_Hi表示无人机i经过决策后的目标位置，l表示无人机i探测到的多目标数量，W_j表示目标j的权重因子，P_ij表示探测到的目标j与无人机i的位置矢量之差，/>的计算公式如下：

目标j的权重因子W_j计算如下：

③A₃--远离目标：若无人机巡航过程中探测到敌方目标(任务分配的打击目标)，且态势估计的结果为劣势，无论敌方目标是否已进入无人机的攻击范围，都必须做出远离目标的决策。与接近目标的决策过程相同，当探测到的目标有多个时，需对所有目标进行威胁态势估计，计算各个目标权重因子，然后确定本次决策值P_H。

④A₄--攻击目标：若目标(任务分配的打击目标)进入无人机火力攻击距离之内，且无人机与目标敌机进行态势评估的结果为优势，则需对该目标无人机进行火力打击。若满足该条件的有多个目标，选取优势程度最大的目标。

⑤A₅--支援友机：当无人机探测到多个目标(除任务分配的打击目标以外的其他敌机)，优先攻击对友机构成极大威胁的目标。具体做法是根据行为A₁至A₄的决策方法，完成所有无人机的行为决策后，检查所有无人机的最低威胁态势估计值，设置危险警报值K_dangerous。若某架无人机相较于某个敌方目标的威胁态势估计值低于K_dangerous，则针对该危险目标，查找能够探测到该危险目标且对该目标威胁态势为优势的所有友机。根据查找结果列表，修改列表中无人机的行为决策为接近或攻击该危险目标。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于多智能体的无人机集群对抗决策方法，其特征在于，包括以下步骤：

采集当前环境信息和无人机的态势信息；

根据当前环境信息和无人机的态势信息建模，包括构建无人机的运动模型和基于图的威胁源模型；

利用基于图模型的蚁群算法进行无人机打击目标任务分配；

根据分配的打击目标确定出对抗决策；

所述无人机的态势信息包括无人机的位置和速度，三维空间中的无人机瞬时状态表示为其中：P_p＝[x_p y_p z_p]表示位置信息，/>表示速度矢量；

所述环境信息包括无人机集群中的其他友机状态，可感知范围内的敌机状态，所述根据当前环境和无人机的态势信息构建无人机的运动模型的步骤，包括：

以无人机当前位置为原点，以速度方向为y_a轴，以/>为x_a轴，其中/> 为无人机在下一时刻要到达的目标位置，/>分别表示/>在x_a和y_a轴方向上的投影，α为/>和/>的夹角，则/>

在y_a轴方向上的投影为/> 在x_a轴方向上的投影为/>则/>的坐标表示为/>夹角/>其中分别为速度矢量/>的两个分量，偏转角为α_T＝sgnαmin(|α|,α_max)，α_max为一个决策步长内的最大偏转角；

根据二维平面和三维坐标系的关系可得其中/>分别是/>和/>的标准向量，无人机飞行偏转角后新的速度方向为/>

所述环境信息还包括可感知范围内的地形信息、雷达信息、导弹信息中的任一项或多项，所述威胁源模型包括山峰威胁、雷达威胁和导弹威胁中的任一项或多项；

当威胁源模型为山峰威胁时，所述构建基于图的威胁源模型的步骤，包括：用圆锥体表示山峰，当无人机的飞行高度一定时上山峰的水平截面为圆周，山峰半径和无人机距山峰中心的距离分别为d_T和d，撞毁概率P_T(d)表示为：

当威胁源模型为雷达威胁时，所述构建基于图的威胁源模型的步骤，包括：定义雷达最大探测半径为d_Rmax，无人机距雷达的水平距离为d，则无人机被敌方雷达探测的概率P_R(d)表示为：

当威胁源为导弹威胁时，所述构建基于图的威胁源模型的步骤，包括：定义导弹的杀伤区域水平横截面圆的半径是d，d_Mmax是导弹杀伤区域的最大半径，无人机被敌方导弹击中的概率P_M(d)表示为：

所述利用基于图模型的蚁群算法进行无人机打击目标任务分配的步骤，包括：

S1，根据威胁源模型构造图，并计算图中每条边的总代价，对图各边给出初始信息素值；

S2，令无人机从距离出发点最近的节点开始搜索，根据状态转移规则选择边，以距离目标最近的节点为终点搜索结束；

S3，当无人机集群中的所有无人机完成各自的打击目标选择后，接着按照性能指标函数计算可行路径的代价，并更新所找到的最优路径，按照信息素更新规则对图中各边的信息素进行更新，其中没有无人机经过的边进行信息素蒸发；

重复步骤S2-S3，直到达到结束条件；

所述性能指标函数为改进后的性能指标函数， t_i＝λ₁P_T(d_i)+λ₂P_R(d_i)+λ₃P_M(d_i)，J₂＝0.5*||h_i-h_j||²s_ij，其中，/>为调节系数，e_i表示第i个无人机执行任务的能量代价，n为无人机数量，ω,1-ω分别表示能量代价、威胁代价的权重系数，λ₁,λ₂,λ₃均为权系数，向量x_i、h_i分别表示无人机在执行任务前后的状态，s_ij为x_i和x_j的相关程度。

2.根据权利要求1所述的基于多智能体的无人机集群对抗决策方法，其特征在于，所述状态转移规则为，在t时刻任务T_k由无人机i转移到无人机j的状态转移概率为：

其中，R_c为任务T_k的候选无人机集合，γ为信息启发式因子，β为期望启发式因子，η_j(t)为启发函数：D_j(T_k)表示无人机j与任务T_k之间的距离，τ_ij(t)表示t时刻在无人机i和j连线上残留的信息素值。

3.根据权利要求2所述的基于多智能体的无人机集群对抗决策方法，其特征在于，所述按照信息素更新规则对图中各边的信息素进行更新的步骤，包括：按下式更新信息素值：

其中，Δτ_ij(t)表示T_k和R_j之间的信息素增强，式中Q为表示信息强度的常数，T_k和R_j均表示任务，D_j(T_k)表示无人机j与任务T_k之间的距离。

4.根据权利要求1所述的基于多智能体的无人机集群对抗决策方法，其特征在于，所述根据分配的打击目标确定出对抗决策的步骤包括：

若飞行过程中未发现打击目标，则执行巡航决策，朝预设目的地飞行；

若探测到打击目标，但是该打击目标处于自身攻击距离之外，则进行态势估计，若估计结果为优势，则执行接近目标的决策，若估计结果为劣势，则执行远离目标的决策；

若探测到打击目标，且打击目标处于自身攻击距离之内，则进行态势估计，若估计结果为优势，则执行攻击目标的决策，若估计结果为劣势，则执行远离目标的决策。

5.根据权利要求4所述的基于多智能体的无人机集群对抗决策方法，其特征在于，所述根据分配的打击目标确定出对抗决策的步骤还包括：完成无人机集群中所有无人机的行为决策后，检查所有无人机的最低威胁态势估计值，若某架无人机相较于某个敌方目标的威胁态势估计值低于设置的危险警报阈值，则针对该敌方目标，查找能够探测到该敌方目标且对该敌方目标威胁态势为优势的所有友机，并根据查找结果列表，修改列表中无人机的行为决策为接近或攻击该敌方目标。