CN114003050A - 一种基于微分博弈的三体对抗策略的主动防御制导方法 - Google Patents

Abstract

本发明公开了基于微分博弈的三体对抗策略的主动防御制导方法，该方法具体包括如下步骤：建立三体对抗微分博弈制导运动学方程，基于建立的三体对抗微分博弈制导运动学方程建立主动防御场景下具有反馈形式的主动防御制导系统，该主动防御制导系统的输入包括前馈控制和反馈最优控制；该主动防御制导系统控制目标导弹不被进攻导弹击中，以及控制防卫导弹对进攻导弹的有效拦截。本发明采取了非线性的导弹模型进行研究，充分考虑了导弹高耦合，复杂非线性等特征。所设计的微分博弈制导律更加贴合实际应用的需求。

Description

一种基于微分博弈的三体对抗策略的主动防御制导方法

技术领域

本发明属于飞行器制导方法研究领域。

背景技术

随着航空航天技术的发展。目前各种强机动，智能化，高速化的导弹(如高速巡航导弹，弹道导弹等)不断涌现，这类集先进技术于一体的现代拦截进攻导弹对执行任务中的高价值空中目标(导弹或飞行器等)形成了巨大威胁。这类场景中，由于拦截进攻导弹采取更快的飞行速度和高机动性的特点，执行任务中的目标往往被拦截导弹拦截从而导致任务失败。因此，为了使目标飞行器成功突防，可以采用目标携带防卫导弹的三体对抗主动防御场景。用防卫导弹拦截进攻导弹，同时目标在对抗过程中可选择与防卫导弹进行共同防御或者让防卫导弹单独完成拦截自身做逃逸机动。

导弹的制导律是实现精准打击或拦截的火控系统的关键技术之一，其选择至关重要。在上述的三体对抗主动防御场景中，存在进攻导弹和防卫导弹以及进攻导弹和目标之间的对抗问题，其本质是由多个智能体共同参与的双方追逃博弈过程，在此过程中多个决策主体依据各自的最优目标进行博弈并选择相应的制导律。微分博弈理论作为研究双方或多方最优控制的理论，不仅能有效解决冲突对抗和竞争问题，还强调在对抗过程中能动态地考虑对方的策略来最大化自己的利益，是一个动态博弈的过程。因此，近年来利用微分博弈理论研究“智能”制导技术成为了一门热点。

然而，现有的三体对抗主动防御场景下的导弹制导律设计大部分对导弹的运动模型进行了线性化处理，不符合导弹系统具有的复杂非线性、多约束、强耦合等特征。因此，结合微分博弈理论设计一种非线性导弹模型下的主动防御制导律尤其重要。

发明内容

发明目的：为了解决上述现有技术存在的问题，本发明提供了一种基于微分博弈的三体对抗策略的主动防御制导方法。

技术方案：本发明提供了一种基于微分博弈的三体对抗策略的主动防御制导方法，具体包括如下步骤：

步骤1：建立三体对抗微分博弈制导运动学方程，所述三体包括：防卫导弹，进攻导弹和目标导弹；

步骤2：基于步骤1建立的三体对抗微分博弈制导运动学方程建立主动防御场景下具有反馈形式的主动防御制导系统，该主动防御制导系统的输入包括前馈控制u^a和反馈最优控制u’；

步骤3：将步骤2的主动防御制导系统的跟踪控制问题转换为误差系统的最优调节问题，从而计算主动防御制导系统的前馈控制u^a；

步骤4：采用神经网络计算反馈最优控制u’；

步骤5：将步骤3和步骤4计算得到的u^a和u’输入步骤2中的主动防御制导系统中，使得该主动防御制导系统控制目标导弹不被进攻导弹击中，以及控制防卫导弹对进攻导弹的有效拦截。

进一步的，所述步骤1中的三体对抗微分博弈制导运动学方程包括：进攻导弹-目标导弹的相对运动方程和进攻导弹-防卫导弹的相对运动方程；

所述进攻导弹-目标导弹的相对运动方程为：

σ₁＝(V_Tsin(β-θ₁)-V_Msin(α-θ₁))/r₁

其中，r₁表示进攻导弹和目标导弹之间的相对距离，

为r₁的一阶导数，V_T表示目标导弹的速度，β表示目标导弹的航向角，

为β的一阶导数，θ₁表示进攻导弹和目标导弹之间的视线角，V_M表示进攻导弹的速度，

为α的一阶导数，α表示进攻导弹的航向角，σ₁表示进攻导弹和目标导弹之间的视线角速率；

为α的一阶导数，ω为进攻导弹垂直于速度向量的加速度控制量，

N为比例导引系数，

为θ₁的一阶导数，u为目标导弹垂直于速度向量的加速度控制量；

所述进攻导弹-防卫导弹的相对运动方程：

σ₂＝(V_Dsin(γ-θ₂)-V_Msin(α-θ₂))/r₂

其中，r₂为进攻导弹和防卫导弹的相对距离，

为r₂的一阶导数，V_D为防卫导弹的速度，γ为防卫导弹的航向角，

为γ的一阶导数，θ₂为进攻导弹和防卫导弹的视线角，σ₂为进攻导弹和防卫导弹的视线角速率；v表示防卫导弹垂直于速度向量的加速度控制量。

进一步的，所述步骤2中的主动防御制导系统为：

y＝x₁

其中，x₁＝r₁-r₂-r_c，

为x₁的一阶导数，

为x₂的一阶导数，r_c为预设的进攻导弹的爆炸杀伤力半径，

v₁表示作用在x₁上的控制分量，

为θ₂的一阶导数，

y为输出变量，u＝u^a+u’。

进一步的，所述步骤3中基于Backstepping控制理论和Lyapunov函数计算主动防御制导系统的前馈控制；具体为：

基于Backstepping控制理论，建立误差动态面为：

z₁＝y-y_d

z₂＝x₂-x_2d

其中，y_d为预设的的参考信号，

表示虚拟的前馈控制部分，

表示虚拟的反馈最优控制部分，z₁和z₂为均误差动态面的变量；

计算状态变量z₁的一阶导数，并取z₁的障碍Lyapunov函数；计算状态变量z₂的一阶导数，并取z₂的障碍Lyapunov函数，最终得到实际的前馈控制u^a为：

其中，

x_1d＝y_d，λ₂为参数，λ₂＞0；

为x_2d的一阶导数。

进一步的，所述步骤4中的计算反馈最优控制u’为：

基于反馈最优控制u’建立如下等效仿射非线性系统：

其中，

为s的一阶导数，

T为转置，

为上述等效仿射非线性系统建立性能评价函数：

Q(s)表示半正定函数，Q(s)≥0，R₁和R₂均为预设的正定对称矩阵；

根据最优控制原理，设置Hamilton函数为：

其中，

根据微分博弈原理和Hamilton函数得到合作型微分博弈制导律为：

其中，-1表示求逆运算，*表示最优解；

根据Hamilton函数和合作型微分博弈制导律得到HJI方程为：

其中，

采用神经网络对HJI方程进行求解得到评价函数的最优值J^*(s)，从而得到U^*和

最终根据U^*和

得到u’；

所述神经网络的输出函数为：

其中，

表示权值向量，

为J^*(s)的估计值，φ_J(s)为激励函数向量；

基于梯度下降法对神经网络的权值进行更新，权值更新的表达式为：

其中，

为

的一阶导数，α_J表示神经网络的学习率，α_J＞0，

表示激励函数对s的偏导数；

为U^*的估计值，

为

的估计值，e_c为神经网络近似HJI方程时产生的误差量，J_s(s)为预设的Lyapunov函数，J_s(s)的一阶导数，

Y₁和Y₂均为预设的设计参数，

的表达式为：

有益效果：

1、本发明在进攻导弹-目标-防卫导弹的三体对抗制导研究中，采取了非线性的导弹模型进行研究，充分考虑了导弹高耦合，复杂非线性等特征。所设计的微分博弈制导律更加贴合实际应用的需求。

2、本发明在微分博弈制导律的研究中结合了Backstepping控制方法，将严格反馈形式的三体对抗系统从跟踪控制问题转化为最优调节问题，设计的微分博弈制导律不仅完成了制导目标，同时满足提出的最优性能指标。

3、本发明在求解非线性偏微分方程中引入了自适应动态规划算法，通过设计的神经网络求取近似最优解，实现了微分博弈制导律的有效求解。

附图说明

图1为本发明方法的制导控制流程图；

图2为本发明的进攻导弹-目标-防卫导弹(M-T-D)二维平面相对运动示意图。

具体实施方式

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

如图1所示本实施例提供了一种基于微分博弈的三体对抗策略的主动防御制导方法，具体为：

步骤1，建立二维平面的进攻导弹-目标-防卫导弹相对运动方程:

如图2所示，考虑进攻导弹、目标和防卫导弹都采取一阶自动驾驶仪系统，定义M、T和D分别表示进攻导弹，目标和防卫导弹。V_M、V_T和V_D分别表示进攻导弹、目标和防卫导弹的速度，且其速度大小恒定；α、β和γ分别表示进攻导弹、目标和防卫导弹三者的航向角；(x_i,y_i),i＝M,T,D分别表示进攻导弹、目标和防卫导弹在二维平面的坐标位置；α_M、α_T和α_D分别表示进攻导弹、目标和防卫导弹的侧向加速度；ω、u和v分别表示进攻导弹、目标和防卫导弹各自垂直于速度向量的加速度控制量；τ为三者的自动驾驶仪时间常数。三者的自动驾驶仪如公式(1)，(2)和(3)所示：

进攻导弹自动驾驶仪：

目标自动驾驶仪：

防卫导弹自动驾驶仪：

在本实施例中设定为τ＝0.1s。

考虑三者在二维平面中的相对运动关系，建立进攻导弹、目标和防卫导弹相对运动方程：

进攻导弹-目标的相对运动方程：

进攻导弹-防卫导弹的相对运动方程：

其中，r₁和r₂分别表示进攻导弹和目标，进攻导弹和防卫导弹的相对距离，

和

则表示相对速度；θ₁和θ₂分别表示进攻导弹和目标，进攻导弹和防卫导弹的视线角，σ₁和σ₂各表示对应的视线角速率；

步骤2，基于步骤1建立的三体对抗微分博弈制导运动学方程(公式4和公式5)，为保证防卫导弹能成功拦截进攻导弹并使目标完成逃逸，选取大于零的常数r_c表示进攻导弹的爆炸杀伤半径，通过控制各枚导弹与对应“目标”之间的剩余距离实现上述主动防御过程。选取状态变量

也既x₁＝r₁-r₂-r_c，

根据式4和5得到主动防御制导系统如下：

表示建模的冗余项。此外，ω是进攻导弹的加速度控制量，不失一般性采取比例导引制导律ω为：

其中，N为比例导引系数。

整理可得到具有严格反馈形式的主动防御制导系统为：

其中，v₁表示作用在x₁上的控制分量；

各函数满足如下关系式：

表示

为由x₁构成的状态向量；v₁表示作用在x₁上的控制分量；

针对严格反馈形式的系统8，设计控制器u(t),v(t)的目的是使输出信号y能以最优方式跟踪给定的参考信号，使得y＝x₁＝r₁-r₂-r_c＞0,r₂→0。从而保证在三体对抗中防卫导弹能成功拦截进攻导弹，同时目标完成逃逸。，

步骤3，首先基于Backstepping控制理论设计前馈控制输入，处理输出约束，将系统8的跟踪控制问题转换为误差系统的最优调节问题后，再设计反馈最优调节控制器。下面首先对前馈控制器进行设计：

基于Backstepping控制理论，定义误差动态面为：

其中，y_d表示给定的参考信号；

表示前馈虚拟控制部分，

表示虚拟反馈最优控制输入部分。

前馈控制部分的设计过程如下：

第一步：对z₁求导得到：

对状态z₁取障碍Lyapunov函数为：

求dV₁/dt得到：

此时设计虚拟前馈控制输入

为：

其中，λ₁＞0为设计参数。将式13代入12中得到：

第二步：对z₂求导得到：

其中：

x_1d＝y_d

对状态z₂取障碍Lyapunov函数为：

求dV₂/dt得到：

此时设计实际前馈控制部分u^a为：

其中：λ₂＞0为设计参数。将式18代入式17中得到：

其中：λ＝min{λ₁,λ₂}；此外，控制器分为前馈控制和反馈最优控制两部分，即复合控制方案

u＝u^a+u’。前面已经完成了前馈控制器

u^a的设计，而根据式19可以发现：在上述的复合控制方案中，若仅设计前馈控制器，根据Lyapunov稳定性理论可知，

不成立的情况下不能保证闭环系统的稳定性。因此我们需要设计反馈最优调节控制器

u’保证下列等效仿射非线性系统的稳定性，从而保证在复合控制方案下原系统的闭环稳定性

其中，

设计复合控制器的目的在于保证系统在设计的微分博弈制导律控制下，通过控制防卫导弹和进攻导弹以及进攻导弹和目标之间的距离实现防卫导弹的成功拦截和目标的成功逃逸。同时，还保证了系统满足一定的性能指标，实现最优控制。

步骤4，等效系统20中的反馈最优控制器设计：

定义性能评价函数为：

其中，Q(s)≥0表示半正定函数，R₁，R₂均为设计的正定对称矩阵。

根据最优控制原理，定义Hamilton函数为：

其中，

结合微分博弈原理，由Hamilton函数22推导合作型微分博弈制导律为：

其中，上标*表示变量的最优值。

将式23代入Hamilton函数22中，得到相应的HJI方程为：

其中，

因此，通过求解HJI方程24得到最优代价函数的偏导数

利用该解析解可以求得微分博弈制导律23。但是，考虑到HJI方程属于非线性偏微分方程，难以直接求得其解析解。因此，本发明结合自适应动态规划算法设计评价神经网络，利用神经网络的在线输出逼近最优评价函数J^*(x)。

步骤5，求解微分博弈制导律。

为求解HJI方程24，本发明结合自适应动态规划算法设计评价神经网络，利用神经网络全局逼近原理近似代价函数为J^*(x)：

其中，W_J为评价网络的理想权值，φ_J(s)为设计的激励函数，ε(x)为近似误差。

但是实际情况中理想权值是未知的，所以本发明利用评价网络的在线输出逼近最优评价函数J^*(x)。在线评价网络(也就神经网络的输出)设计为：

其中，

表示对理想最优性能指标函数J^*(x)的估计；

表示评价网络的在线输出权值向量，φ_J(s)为评价网络的激励函数向量。

根据式26，可以得到近似的微分博弈制导律为：

为U^*的估计值，

为

的估计值，

表示激励函数对等效误差系统状态变量的偏导数。

结合式24,25,26,27，当采取近似的微分博弈控制律27时，评价网络产生的逼近误差e_c如下：

因此，权值更新律的实际目标应该是最小化误差e_c，使得评价网络的在线输出权值

逼近理想权值W_J。

此外，为了保证闭环系统中各信号有界。选取一个Lyapunov函数J_s(s)，使得在理想微分博弈制导律23控制下：

即表明系统是稳定的。

因此，基于梯度下降法并考虑闭环系统的稳定性，设计权值更新律如下：

其中，

e_c为评价网络近似HJI方程产生的误差量；α_J＞0表示评价网络的学习率；Y₁和Y₂为具有合适维数的待设计参数；

定义为：

通过设计评价神经网络，采取权值更新律进行在线迭代并执行微分博弈制导律，完成防卫导弹对进攻导弹的拦截和目标的逃逸。

以上所述，仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。

Claims (5)

1.一种基于微分博弈的三体对抗策略的主动防御制导方法，其特征在于：具体包括如下步骤：

步骤1：建立三体对抗微分博弈制导运动学方程，所述三体包括：防卫导弹，进攻导弹和目标导弹；

步骤2：基于步骤1建立的三体对抗微分博弈制导运动学方程建立主动防御场景下具有反馈形式的主动防御制导系统，该主动防御制导系统的输入包括前馈控制u^a和反馈最优控制u’；

步骤3：将步骤2的主动防御制导系统的跟踪控制问题转换为误差系统的最优调节问题，从而计算主动防御制导系统的前馈控制u^a；

步骤4：采用神经网络计算反馈最优控制u’；

步骤5：将步骤3和步骤4计算得到的u^a和u’输入步骤2中的主动防御制导系统中，使得该主动防御制导系统控制目标导弹不被进攻导弹击中，以及控制防卫导弹对进攻导弹的有效拦截。

2.根据权利要求1所述的一种基于微分博弈的三体对抗策略的主动防御制导方法，其特征在于：所述步骤1中的三体对抗微分博弈制导运动学方程包括：进攻导弹-目标导弹的相对运动方程和进攻导弹-防卫导弹的相对运动方程；

所述进攻导弹-目标导弹的相对运动方程为：

σ₁＝(V_Tsin(β-θ₁)-V_Msin(α-θ₁))/r₁

其中，r₁表示进攻导弹和目标导弹之间的相对距离，

为r₁的一阶导数，V_T表示目标导弹的速度，β表示目标导弹的航向角，

为β的一阶导数，θ₁表示进攻导弹和目标导弹之间的视线角，V_M表示进攻导弹的速度，

为α的一阶导数，α表示进攻导弹的航向角，σ₁表示进攻导弹和目标导弹之间的视线角速率；

为α的一阶导数，ω为进攻导弹垂直于速度向量的加速度控制量，

N为比例导引系数，

为θ₁的一阶导数，u为目标导弹垂直于速度向量的加速度控制量；

所述进攻导弹-防卫导弹的相对运动方程：

σ₂＝(V_Dsin(γ-θ₂)-V_Msin(α-θ₂))/r₂

其中，r₂为进攻导弹和防卫导弹的相对距离，

为r₂的一阶导数，V_D为防卫导弹的速度，γ为防卫导弹的航向角，

为γ的一阶导数，θ₂为进攻导弹和防卫导弹的视线角，σ₂为进攻导弹和防卫导弹的视线角速率；v表示防卫导弹垂直于速度向量的加速度控制量。

3.根据权利要求2所述的一种基于微分博弈的三体对抗策略的主动防御制导方法，其特征在于：所述步骤2中的主动防御制导系统为：

y＝x₁

其中，x₁＝r₁-r₂-r_c，

为x₁的一阶导数，

为x₂的一阶导数，r_c为预设的进攻导弹的爆炸杀伤力半径，

表示

为由x₁构成的状态向量，

v₁表示作用在x₁上的控制分量，

为θ₂的一阶导数，

y为输出变量，u＝u^a+u’。

4.根据权利要求3所述的一种基于微分博弈的三体对抗策略的主动防御制导方法，其特征在于：所述步骤3中基于Backstepping控制理论和Lyapunov函数计算主动防御制导系统的前馈控制；具体为：

基于Backstepping控制理论，建立误差动态面为：

z₁＝y-y_d

z₂＝x₂-x_2d

其中，y_d为预设的的参考信号，

表示虚拟的前馈控制部分，

表示虚拟的反馈最优控制部分，z₁和z₂为均误差动态面的变量；

计算状态变量z₁的一阶导数，并取z₁的障碍Lyapunov函数；计算状态变量z₂的一阶导数，并取z₂的障碍Lyapunov函数，最终得到实际的前馈控制u^a为：

其中，

x_1d＝y_d，λ₂为参数，λ₂＞0；

为x_2d的一阶导数。

5.根据权利要求4所述的一种基于微分博弈的三体对抗策略的主动防御制导方法，其特征在于：所述步骤4中的计算反馈最优控制u’为：

基于反馈最优控制u’建立如下等效仿射非线性系统：

其中，

为s的一阶导数，

T为转置，

为上述等效仿射非线性系统建立性能评价函数：

Q(s)表示半正定函数，Q(s)≥0，R₁和R₂均为预设的正定对称矩阵；

根据最优控制原理，设置Hamilton函数为：

其中，

根据微分博弈原理和Hamilton函数得到合作型微分博弈制导律为：

其中，-1表示求逆运算，*表示最优解；

根据Hamilton函数和合作型微分博弈制导律得到HJI方程为：

其中，

采用神经网络对HJI方程进行求解得到评价函数的最优值J^*(s)，从而得到U^*和

最终根据U^*和

得到u’；

所述神经网络的输出函数为：

其中，

表示权值向量，

为J^*(s)的估计值，φ_J(s)为激励函数向量；

基于梯度下降法对神经网络的权值进行更新，权值更新的表达式为：

其中，

为

的一阶导数，α_J表示神经网络的学习率，α_J＞0，

表示激励函数对s的偏导数；

为U^*的估计值，

为

的估计值，e_c为神经网络近似HJI方程时产生的误差量，J_s(s)为预设的Lyapunov函数，J_s(s)的一阶导数，

Y₁和Y₂均为预设的设计参数，

的表达式为：

Images