CN116954255A - 多飞行器协同智能决策与轨迹在线规划方法、系统及介质 - Google Patents
多飞行器协同智能决策与轨迹在线规划方法、系统及介质 Download PDFInfo
- Publication number
- CN116954255A CN116954255A CN202310896010.7A CN202310896010A CN116954255A CN 116954255 A CN116954255 A CN 116954255A CN 202310896010 A CN202310896010 A CN 202310896010A CN 116954255 A CN116954255 A CN 116954255A
- Authority
- CN
- China
- Prior art keywords
- aircraft
- attack
- target
- dominance
- planning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 238000005457 optimization Methods 0.000 claims abstract description 33
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 32
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 22
- 230000007123 defense Effects 0.000 claims description 15
- 230000006378 damage Effects 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000002265 prevention Effects 0.000 claims description 4
- 206010048669 Terminal state Diseases 0.000 claims description 2
- 238000011161 development Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 abstract description 2
- 230000008093 supporting effect Effects 0.000 abstract description 2
- 230000009471 action Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 241001544487 Macromiidae Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Feedback Control In General (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种多飞行器协同智能决策与轨迹在线规划方法、系统及介质，基于多目标动态分配实现，该方法包括：综合战场环境、目标态势以及飞行器自身信息，通过构建多维度目标优势度模型和分层规划策略，并结合强化学习方法动态获得最优打击目标，输出最优目标分配矩阵；基于多目标动态分配结果对多飞行器协同编队轨迹规划问题进行凸化处理，将非线性问题转化为线性问题；利用凸优化求解器计算线性化后的多飞行器协同编队轨迹规划问题的解，输出收敛解。本发明能够解决飞行器集群作战系统中协同轨迹规划与决策问题，促进平台、武器、传感器、通信技术的全面发展，还将对飞行器武器集群协同问题起到支撑作用。
Description
技术领域
本发明涉及飞行器任务规划和作战运用领域，具体涉及一种多飞行器协同智能决策与轨迹在线规划方法、系统及介质。
背景技术
现有技术中，飞行器集群作战系统的任务规划与决策是一个具有复杂约束的多目标优化问题，是一类NP难题，主要研究在满足各项战术技术指标的前提下，如何为各飞行器指定所需执行的任务及具体的执行时间，在满足各类约束的同时，使得多飞行器协同系统实现尽可能高的作战效能。传统的任务规划与决策技术通常是为各飞行器指派具体的目标，而随着飞行器任务复杂性的不断增强和协同性的不断提高，任务规划与决策技术不仅包括对飞行器任务目标的指派，还要根据具体的任务协同性需求，确定各飞行器执行任务的关系。
在任务规划与决策模型优化求解算法方面，当前国内外对于单个飞行器规划比较多，而针对多个飞行器协同作战任务规划研究则比较少，且多采用启发式算法或者使用一些通用模型来解决，算法稳定性差。当前的多飞行器任务规划多使用的是集中式静态规划，考虑对突发紧急任务处理的还较少，规划结果确定后，对新加入的任务，需全部打乱结果进行重规划，造成非必要的资源浪费。
随着当前信息化作战技术的发展以及越来越多战场任务需求，当前国内外军事强国越来越开始集中关注于多飞行器协同任务规划与决策的研究，并且开始将新的其他领域的知识应用于弹群协同任务规划中。如何解决飞行器集群作战系统中协同轨迹规划与决策问题，以推动飞行器武器作战方式的精准及有效，是目前急需解决的技术问题。
发明内容
为解决多飞行器任务规划中集中式静态规划存在的问题，本发明提供一种多飞行器协同智能决策与轨迹在线规划方法、系统及介质，以牵引先进平台、武器、传感器、通信等技术的全面发展，还将对其他飞行器武器集群协同问题起到支撑作用，有效推动飞行器武器作战方式的发展。
本发明第一方面公开了一种多飞行器协同智能决策与轨迹在线规划方法，基于多目标动态分配实现，所述方法包括：
S1:综合战场环境、目标态势以及飞行器自身多种信息，构建多维度目标优势度模型和分层规划策略，结合强化学习方法动态获得最优打击目标，输出最优目标分配矩阵；
S2:根据步骤S1获得的最优目标分配矩阵对多飞行器协同编队轨迹规划问题进行建模，对所述建模中的非线性约束进行凸化处理，通过网格离散化将所述多飞行器协同轨迹规划问题转化为凸规划问题；
S3:利用凸优化求解器计算步骤S2中凸规划问题的多飞行器协同编队轨迹规划问题，通过迭代更新输出收敛解，即为所述多飞行器协同编队的轨迹。
根据本发明第一方面的方法，所述步骤S1具体包括：
S1.1利用层次分析法对多目标进行重要度评估，构建火力运用策略；
使得其中：n为目标数量，m飞行器数量，wj为目标重要性的量化值，floor(·)和ceil(·)分别为向下取整函数和向上取整函数，hj表示分配打击目标j的飞行器数量，所有打击目标的分配结果构成了火力运用策略；
S1.2根据相对运动信息进行攻击优势度评估，计算综合攻击优势度，进一步构建攻防综合效费比指标；
其中，为攻击性能指标，Sij为飞行器i打击目标j的攻击优势度，Xij为攻击分配矩阵X中的元素，飞行器i攻击目标j时Xij标记为1，否则Xij标记为0；为目标的毁伤性能指标，Stj为第j个目标的价值，Pij为飞行器i对目标j的突防概率；为飞行器成本指标，Ci为飞行器i的成本；表示攻击效费比指标，表示毁伤效费比指标，最后J2表示获得攻防综合效费比指标，即攻击效费比与毁伤效费比之和。
S1.3综合考虑目标的重要程度和目标的打击性能，利用强化学习方法实现多目标的智能分配，输出满足约束条件下攻防综合效费比指标最优的目标分配矩阵；所涉及的约束条件为：每发飞行器最多只能攻击一个目标，每个目标至少分配的飞行器数量为步骤S1.1中所确定的火力运用策略。
根据本发明第一方面的方法，所述步骤S2中根据最优目标分配矩阵对多飞行器协同编队轨迹规划问题进行建模，对非线性约束进行凸化处理，进一步网格离散化后将协同编队轨迹规划问题转化为凸规划问题；所涉及的多飞行器协同轨迹规划问题建模为：
P1:find ui
min J0＝C1(|λi(tf)-λi *|+|φi(tf)-φi *|)
其中，ui为倾侧角变化率，λi *和φi *分别为飞行器i分配打击目标的经度和纬度，λi(tf)和φi(tf)为飞行器i终端时刻的经度和纬度；νi为飞行器i的倾侧角；qi和ni分别为飞行器i的热流率、动压和总过载；Cr，Cλ和Cφ为常数；ri(t)、λi(t)、φi(t)分别为飞行器i在时刻t的高度、经度和纬度；t0表示初始时间，tf表示终端时间；Eq.(3.31)为：
其中，λi是飞行器经度，φi是飞行器纬度，ri是飞行器高度，Vi是飞行器速度，θi是弹道倾角，σi是航迹偏航角，ωe为地球自转角速度，υi为飞行器倾侧角，Li是升力加速度，Di是阻力加速度，gi为重力加速度。离散化后的多飞行器协同轨迹规划问题可描述为：
P3:find Xi,l,ui,l,κi,ξi
其中，Xi,l＝[ri,l λi,l φi,l Vi,l θi,l σi,l νi,l]T，表示飞行器i在时刻l的高度、经度、纬度、速度、倾角、偏航角和倾侧角，ui为倾侧角变化率，κi为松弛系数，ξi为时间膨胀因子；J0为终端位置偏差最小的目标函数，C2和C3为常数，A、G、C、D为系数矩阵，νmin和νmax表示倾侧角的最小最大值，umin和umax为倾侧角变化率的最小最大值，fj,max分别表示热流、动压和总过载的允许最大值，Cr，Cλ和Cφ为常数，Cd,min为协同飞行安全距离，δi为信赖域半径，fj(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束；f'j(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束的偏导数。
根据本发明第一方面的方法，所述步骤S3中利用凸优化求解器计算凸化后的多飞行器协同编队轨迹规划问题，迭代更新输出收敛解，即多飞行器协同编队的轨迹，其迭代收敛条件为：
其中，为相邻两次迭代解的全局误差变化量。表示来自迭代解的终端状态矢量，k为当前迭代次数，i为第几枚弹，N为离散节点数，ε是一个充分小的常值矢量。
根据本发明第一方面的方法，所述综合攻击优势度为
其中：kχ,kd,kθ,kσ,kV为加权系数，不同参数设置对应不同的重要程度；相对方位角攻击优势度Sχ、相对距离攻击优势度Sd、速度倾角攻击优势度Sθ、航迹偏航角攻击优势度Sσ、相对速度攻击优势度SV。
根据本发明第一方面的方法，所述综合攻击优势度包括相对运动信息的攻击优势度，所述相对运动信息的攻击优势度包括相对方位角攻击优势度Sχ、相对距离攻击优势度Sd、速度倾角攻击优势度Sθ、航迹偏航角攻击优势度Sσ、相对速度攻击优势度SV：
其中，χhyp为当前飞行器相对于编队中心的方位角，χt为当前目标的相对方位角；dhyp为当前飞行器相对于编队中心的距离，dt为相对距离，dmax为根据任务选择的距离常数；θ为实时速度倾角，θf为终端最优速度倾角；Δσ为航迹偏航角误差，fσ(Δσ,σ0)表示航迹偏航角误差Δσ偏离最佳攻击角度区域的最小角度；V为高超声速飞行器到目标的相对速度，Vo为综合考虑毁伤能力和控制代价的最优相对速度。
根据本发明第一方面的方法，离散化后的多飞行器协同轨迹规划问题可描述为：
P3:find Xi,l,ui,l,κi,ξi
其中，Xi,l＝[ri,l λi,l φi,l Vi,l θi,l σi,l νi,l]T，表示飞行器i在时刻l的高度、经度、纬度、速度、倾角、偏航角和倾侧角，ui为倾侧角变化率，κi为松弛系数，ξi为时间膨胀因子；J0为终端位置偏差最小的目标函数，C2和C3为常数，A、G、C、D为系数矩阵，νmin和νmax表示倾侧角的最小最大值，umin和umax为倾侧角变化率的最小最大值，fj,max分别表示热流、动压和总过载的允许最大值，Cr，Cλ和Cφ为常数，Cd,min为协同飞行安全距离，δi为信赖域半径，fj(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束；f'j(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束的偏导数。
本发明第二方面公开了一种多飞行器协同智能决策与轨迹在线规划系统，包括计算机设备，该计算机设备用以执行第一方面所述的多飞行器协同智能决策与轨迹在线规划方法的步骤，
本发明第三方面公开了一种计算机设备，包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序以实现第一方面所述的多飞行器协同智能决策与轨迹在线规划方法。
本发明第四方面公开了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，以实现第一方面所述的多飞行器协同智能决策与轨迹在线规划方法。
综上，本发明提出的方案具备如下技术效果：本发明提供了一种多飞行器协同智能决策与轨迹在线规划方法、系统及介质，首次针对多约束复杂任务条件下高超声速飞行器协同打击多目标问题，提出了一种综合考虑多维环境感知信息和任务需求的基于智能决策的多飞行器协同编队轨迹在线规划计算方法。通过构建综合考虑战场环境、目标态势以及飞行器自身等多种信息的多维度目标优势度模型和分层规划策略，基于强化学习方法动态获得最优打击目标；然后根据确定的攻击目标和攻击方向，利用凸优化方法在线重规划了满足任务需求的多飞行器协同轨迹。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例方法的基本流程示意图；
图2为本发明实施例方法的步骤S1的流程图；
图3为本发明实施例的目标综合量化评价层次模型；
图4为本发明实施例的基于序列凸优化的协同轨迹在线重规划方法流程图；
图5为本发明实施例的全程打击离线规划轨迹；
图6为本发明实施例的优化所得末段高度-时间变化曲线；
图7为本发明实施例的优化所得末段速度-时间变化曲线；
图8为本发明实施例的优化所得马赫数-时间变化曲线；
图9为本发明实施例的优化所得末段星下点轨迹；
图10为本发明实施例的优化所得末段航迹倾角-时间变化曲线；
图11为本发明实施例的优化所得航迹偏角-时间变化曲线；
图12为本发明实施例的优化所得末段攻角-时间变化曲线；
图13为本发明实施例的优化所得倾侧角-时间变化曲线；
图14为本发明实施例的优化所得末段热流密度-时间变化曲线；
图15为本发明实施例的优化所得总过载-时间变化曲线；
图16为本发明实施例的优化所得动压-时间变化曲线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种多飞行器协同智能决策与轨迹在线规划方法，实施步骤包括：
1)综合考虑战场环境、目标态势以及飞行器自身等多种信息，通过构建多维度目标优势度模型和分层规划策略，并结合强化学习方法动态获得最优打击目标，输出最优目标分配矩阵；
2)根据最优目标分配矩阵对多飞行器协同编队轨迹规划问题进行建模，对非线性约束进行凸化处理，进一步网格离散化后将协同轨迹规划问题转化为凸规划问题；
3)利用凸优化求解器计算凸化后的多飞行器协同编队轨迹规划问题，迭代更新输出收敛解，即为多飞行器协同编队的轨迹。
优选地，步骤1)综合考虑战场环境、目标态势以及飞行器自身等多种信息，通过构建多维度目标优势度模型和分层规划策略，并结合强化学习方法动态获得最优打击目标，输出最优目标分配矩阵的详细步骤，包括：
1.1)利用层次分析法对多目标进行重要度评估，构建火力运用策略；
1.2)根据相对运动信息进行攻击优势度评估，计算综合攻击优势度，进一步构建攻防综合效费比指标；
1.3)利用强化学习方法实现多目标的智能分配，输出满足约束条件下最优的分配矩阵。
优选地，步骤1.1)中层次分析法将目标综合评价体系分成四层：目标层、准则层、指标层、方案层；进一步确定每层元素的相对重要性权重；所构建的火力运用决策优化目标为：
使得其中：n为目标数量，m飞行器数量，wj为目标重要性的量化值，floor(·)和ceil(·)分别为向下取整函数和向上取整函数，hj表示分配打击目标j的飞行器数量。所有打击目标的分配结果构成了火力运用策略。
优选地，步骤1.2)根据相对运动信息进行攻击优势度评估，计算综合攻击优势度，进一步构建攻防综合效费比指标。相对运动信息的攻击优势度包括相对方位角攻击优势度Sχ、相对距离攻击优势度Sd、速度倾角攻击优势度Sθ、航迹偏航角攻击优势度Sσ、相对速度攻击优势度SV。
其中，χhyp为当前飞行器相对于编队中心的方位角，χt为当前目标的相对方位角；dhyp为当前飞行器相对于编队中心的距离，dt为相对距离，dmax为根据任务选择的距离常数；θ为实时速度倾角，θf为终端最优速度倾角；Δσ为航迹偏航角误差，fσ(Δσ,σ0)表示航迹偏航角误差Δσ偏离最佳攻击角度区域的最小角度；V为高超声速飞行器到目标的相对速度，Vo为综合考虑毁伤能力和控制代价的最优相对速度。
步骤1.2)中的综合攻击优势度为
其中：kχ,kd,kθ,kσ,kV为加权系数，不同参数设置对应不同的重要程度。
步骤1.2)中综合攻击优势度矩阵为S，所构建攻防综合效费比指标为：
其中，为攻击性能指标，Sij为飞行器i打击目标j的攻击优势度，Xij为攻击分配矩阵X中的元素，飞行器i攻击目标j时Xij标记为1，否则Xij标记为0；为目标的毁伤性能指标，Stj为第j个目标的价值，Pij为飞行器i对目标j的突防概率；为飞行器成本指标，Ci为飞行器i的成本；表示攻击效费比指标，表示毁伤效费比指标，最后J2表示获得攻防综合效费比指标，即攻击效费比与毁伤效费比之和。
优选地，步骤1.3)综合考虑目标的重要程度和目标的打击性能，利用强化学习方法实现多目标的智能分配，输出满足约束条件下最优的分配矩阵。其值函数迭代更新算法为Q-learning，更新算法为：
Q(s,a)←Q(s,a)+αr[Rr+γrmaxaQ(s′,a)-Q(s,a)]
其中，Q(s,a)为当前状态s与当前动作a所对应的值函数的具体取值，若状态集合为M维、动作集合为N维，则Q(s,a)为M×N维表格；αr为值函数迭代的校正系数，γr为折扣系数，Q(s,a)为当前状态s与当前动作a所对应的值函数的具体取值，Rr与s′分别为执行当前动作获得的回报值与下一时刻的状态。
步骤1.3)中所涉及的动作空间、状态空间设计、回报函数设计
S＝[f(Xij(k))min,f(Xij(k))max],k＝1,2,…,nm
其中，ai表示飞行器选择目标i，Xij(k)表示第k个分配矩阵的元素，针对m个飞行器攻击n个目标的情况，则存在nm个分配矩阵；f(Xij(k))为第k个分配矩阵对应的步骤1.2)攻防综合效费比指标J2的值；R为回报函数值，Xij为目标分配矩阵X中的元素。当某一动作即目标分配矩阵满足所有攻击约束时，回报函数值为实际攻防量化值与最大值1.2倍的差。当不满足攻击约束即某一高超声速飞行器分配了多个目标或者某一目标未分配合适数量的飞行器时给与-5的回报值。
步骤1.3)中输出的分配矩阵为使得攻防效费比性能指标J2最大的X；所涉及的约束条件为每发飞行器最多只能攻击一个目标，每个目标至少分配的飞行器数量为步骤1.1)中所确定的火力运用策略hj。
优选地，步骤2)中根据最优目标分配矩阵对多飞行器协同轨迹规划问题进行建模，对运动方程、过程约束进行凸化处理，进一步离散化后将得到离散化后的凸规划问题并求解；所涉及的多飞行器协同轨迹规划问题建模如式所示
P1:find ui
min J0＝C1(|λi(tf)-λi *|+|φi(tf)-φi *|)
其中，ui为倾侧角变化率，λi *和φi *分别为飞行器i分配打击目标的经度和纬度，λi(tf)和φi(tf)为飞行器i终端时刻的经度和纬度；C1为位置误差的权重系数；νi为飞行器i的倾侧角；qi和ni分别为飞行器i的热流率、动压和总过载；Cr，Cλ和Cφ为常数；ri(t)、λi(t)、φi(t)分别为飞行器i在时刻t的高度、经度和纬度；t0表示初始时间，tf表示终端时间。Eq.(3.31)为飞行器的运动方程为：
其中，λi是飞行器经度，φi是飞行器纬度，ri是飞行器高度，Vi是飞行器速度，θi是弹道倾角，σi是航迹偏航角，ωe为地球自转角速度，νi为飞行器倾侧角，Li是升力加速度，Di是阻力加速度，gi为重力加速度。
步骤2)中对非线性约束凸化处理后的多飞行器协同轨迹规划问题可描述为：
P2:find ui,κi,ξi
其中，Xi(τ)＝[ri,τ λi,τ φi,τ Vi,τ θi,τ σi,τ νi,τ]T，表示飞行器i在时刻τ的高度、经度、纬度、速度、倾角、偏航角和倾侧角，ui为倾侧角变化率，κi为松弛系数，ξi为时间膨胀因子；J0为终端位置偏差最小的目标函数，C2和C3为常数，A、G、C、D为系数矩阵，νmin和νmax表示倾侧角的最小最大值，umin和umax为倾侧角变化率的最小最大值，fj,max分别表示热流、动压和总过载的允许最大值，Cr，Cλ和Cφ为常数，Cd,min为协同飞行安全距离，δi为信赖域半径，fj(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束；f'j(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束的偏导数其中，倾侧角变化率ui，松弛系数κi和时间膨胀因子ξi；δi为信赖域半径，fj(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束；f'j(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束的偏导数。
步骤2)中离散化后的多飞行器协同轨迹规划问题可描述为：
P3:find Xi,l,ui,l,κi,ξi
其中，Xi,l＝[ri,l λi,l φi,l Vi,l θi,l σi,l νi,l]T，表示飞行器i在时刻l的高度、经度、纬度、速度、倾角、偏航角和倾侧角，ui为倾侧角变化率，κi为松弛系数，ξi为时间膨胀因子；J0为终端位置偏差最小的目标函数，C2和C3为常数，A、G、C、D为系数矩阵，νmin和νmax表示倾侧角的最小最大值，umin和umax为倾侧角变化率的最小最大值，fj,max分别表示热流、动压和总过载的允许最大值，Cr，Cλ和Cφ为常数，Cd,min为协同飞行安全距离，δi为信赖域半径，fj(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束；f'j(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束的偏导数。
优选地，步骤3)中利用凸优化求解器计算凸化后的多飞行器轨迹规划问题，迭代更新输出收敛解。其收敛条件为：
其中，表示终端近似误差，为相邻两次迭代解的全局误差变化量，ε是一个充分小的常值矢量。
步骤3)中输出收敛解，即为多飞行器协同编队的轨迹。
如图1和图2所示，本实施例多飞行器协同智能决策与轨迹在线规划方法的实施步骤包括：
1)综合考虑战场环境、目标态势以及飞行器自身等多种信息，通过构建多维度目标优势度模型和分层规划策略，并结合强化学习方法动态获得最优打击目标，输出最优目标分配矩阵；
本实施例中编队包含5个飞行器(中心飞行器hc0＝65000m、Vc0＝6500m/s、θc0＝0、ψc0＝90°、φc0＝27.5°N、λc0＝110°E；非中心飞行器1-4的初始参数为h10＝h20＝h30＝h40＝65000m、V10＝V20＝V30＝V40＝6500m/s、φ10＝30.7335°N、φ20＝29.1171°N、φ30＝25.8829°N、φ40＝24.2665°N、λ10＝110.0772°E、λ20＝110.0190°E、λ30＝110.0185°E、λ40＝110.0728°E、θ10＝θ20＝θ30＝θ40＝0、ψ10＝92.3917°、ψ20＝91.1858°、ψ30＝88.8315°、ψ40＝87.6777°；飞行器质量mass＝907kg、参考面积Sref＝0.48m2)。
本实施例中待打击目标为航空母舰1艘(φT1＝15.7639°N、λT1＝167.1612°E)、飞行器巡洋舰1艘(φT2＝15.8639°N、λT2＝167.2612°E)、飞行器驱逐舰1艘(φT3＝15.6639°N、λT3＝167.0612°E)、护卫舰2艘(航空母舰的位置附近根据构型随机生成)；分别为对应的加权系数；
本实施例中飞行器飞行过程中容许的最大热流密度、最大总过载、最大动压均为nt_max＝20、qmax＝2000000Pa。
本实施例中所选编对构型为通用性较高的中心飞行器为核心的编对构型，其参数设置为：
1.1)本实施例利用图3的目标综合量化评价层次模型对多目标进行重要度评估，层次分析法将目标综合评价体系分成四层：目标层、准则层、指标层、方案层，其层次结构模型如图3所示，构建决策矩阵A为
目标重要性量化矢量W为W＝[0.9151,0.3248,0.2257,0.0555,0.0555]T，求解混合整数优化问题使得其中：n个目标，m个飞行器，wj为目标重要性的量化值。得到火力运用决策结果为：
h＝[h1,h2,…,h5]T＝[3,1,1,0,0]T
1.2)根据相对运动信息进行攻击优势度评估，计算综合攻击优势度，进一步构建攻防综合效费比指标；
1.3)本实施例中利用强化学习方法实现多目标的智能分配，输出满足约束条件下最优的分配矩阵。智能决策执行时间为0.13s，其任务分配矩阵为：
表示分配中心飞行器、从飞行器2、从飞行器3攻击目标1航空母舰；分配从飞行器1攻击目标2飞行器巡洋舰；分配从飞行器4攻击目标3飞行器驱逐舰。最优攻防综合效费比指标为J＝4.3803，详见表1。
表1最优攻防综合效费比指标
2)根据最优目标分配矩阵对多飞行器协同轨迹规划问题进行建模，对非线性约束进行凸化处理，进一步网格离散化后将协同轨迹规划问题转化为凸规划问题；本实施例中转化后的凸规划问题可描述为：
P3:find Xi,l,ui,l,κi,ξi
3)本实施例中利用凸优化求解器计算凸化后的多飞行器轨迹规划问题，迭代更新输出收敛解，所涉及的迭代过程如图4所示。
S31:初始化；
S32:求解凸优化子问题P3；
S33:计算全局误差；判断是否收敛；如果是，则输出收敛解；如果否，则判断是否达到最大迭代数，如果是，则输出收敛解，如果否，更新参考轨迹，返回步骤S32。
其收敛条件为：
其中，为相邻两次迭代解的全局误差变化量。
本实施例仿真软件为Matlab2020b，仿真计算机配置为“Intel Core i73.20GHz 8核CPU+16GB内存”。全程轨迹结果如图5所示。本实施例的在线优化时间为6.27s，各飞行器飞行时间如表2所示。
表2中心编队构型各飞行器末段飞行时间
所得的末段轨迹结果如图6-图16所示。本实施例基于多目标动态分配的协同编队轨迹在线重规划方法计算时间小，且能够基于任务分配结果实现对多目标的协同打击。图6为优化所得末段高度-时间变化曲线，可以看出满足再入段与末段交接班高度、末段高度的约束条件，并且高度曲线先比较平滑，后急速下降，间接表明飞行器先以较大速度滑翔到目标附近空域，再急速俯冲命中目标，间接反映出符合末段性能指标函数设置的预期。图7和图8分别为优化所得末段速度-时间变化曲线、马赫数-时间变化曲线，符合末段性能指标函数设置的预期，优化所得终端速度均大于1000m/s或者3Ma，对绝大多数防空拦截系统而言，拦截难度非常大，结合高度曲线和速度曲线可知，优化所得末段轨迹反映出飞行器具有很强的突防能力。图9为优化所得末段星下点轨迹，区别于离线计算结果，基于凸优化的在线轨迹规划能够使5枚飞行器以当前构型为初始条件，精确命中各自分配的目标，同时不发生碰撞。图10和图11分别为优化所得末段航迹倾角-时间变化曲线、航迹偏角-时间变化曲线，符合末段性能指标函数设置的预期。图12和图13分别为优化所得末段攻角-时间变化曲线、倾侧角-时间变化曲线，可以看出均满足攻角、倾侧角约束条件，同时为符合末段性能指标函数设置的预期。图14-图16分别为优化所得末段热流密度-时间变化曲线、总过载-时间变化曲线、动压-时间变化曲线，可以看出均满足飞行器本体的热流密度、总过载、动压的约束条件。
本实施例多飞行器协同智能决策与轨迹在线规划方法基于目标重要度评估的火力运用决策，提出了基于强化学习的多目标打击任务分配与智能决策，并针对协同编队轨迹在线重规划问题，提出了基于序列凸优化的协同编队轨迹在线重规划方法。本实施例基于目标动态分配的协同编队轨迹在线重规划计算方法采用凸优化的方法，降低了计算量，为滑翔飞行器弹道规划与制导方法提供了有效的技术支撑。
此外，本实施例还提供一种多飞行器协同智能决策与轨迹在线规划方法系统，包括计算机设备，该计算机设备被编程以执行本实施例前述多飞行器协同智能决策与轨迹在线规划方法的步骤，或者该计算机设备的存储介质上存储有被编程以执行本实施例前述多飞行器协同智能决策与轨迹在线规划方法的计算机程序。此外，本实施例还提供一种计算机可读介质，该计算机可读存储介质上存储有被编程以执行本实施例前述多飞行器协同智能决策与轨迹在线规划方法的计算机程序。
综上，本发明提出的技术方案具备如下技术效果：本发明提出了基于强化学习的多目标打击任务分配与智能决策，并针对协同编队轨迹在线重规划问题，提出了基于序列凸优化的协同编队轨迹在线重规划方法，利用层次分析法，构建火力运用策略，计算综合攻击优势，构建攻防综合效费比指标，利用强化学习方法实现多目标智能分配，利用凸优化获得规划问题解。利用该方法获得的多飞行器系统编队轨迹规划结果，平衡了战场环境、目标态势及飞行器自身属性，所述计算速度快，获得结果准确，提高飞行器集群协调问题的优化速度。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种多飞行器协同智能决策与轨迹在线规划方法，基于多目标动态分配实现，其特征在于所述方法包括：
S1:综合战场环境、目标态势以及飞行器自身多种信息，构建多维度目标优势度模型和分层规划策略，结合强化学习方法动态获得最优打击目标，输出最优目标分配矩阵；
S2:根据步骤S1获得的最优目标分配矩阵对多飞行器协同编队轨迹规划问题进行建模，对所述建模中的非线性约束进行凸化处理，通过网格离散化将所述多飞行器协同轨迹规划问题转化为凸规划问题；
S3:利用凸优化求解器计算步骤S2中凸规划问题的多飞行器协同编队轨迹规划问题，通过迭代更新输出收敛解，即为所述多飞行器协同编队的轨迹。
2.根据权利要求1所述的多飞行器协同智能决策与轨迹在线规划方法，其特征在于，所述步骤S1具体包括：
S1.1利用层次分析法对多目标进行重要度评估，构建火力运用策略：
其中：n为目标数量，m为飞行器数量，wj为目标重要性的量化值，floor(·)和ceil(·)分别为向下取整函数和向上取整函数，hj表示分配打击目标j的飞行器数量，所有打击目标的分配结果构成了火力运用策略，J1为目标函数，k为1至n的整数，wk为第k个目标重要性的量化值；
S1.2根据相对运动信息进行攻击优势度评估，计算综合攻击优势度，进一步构建攻防综合效费比指标；
其中，为攻击性能指标，Sij为飞行器i打击目标j的攻击优势度，Xij为攻击分配矩阵X中的元素，飞行器i攻击目标j时Xij标记为1，否则Xij标记为0；为目标的毁伤性能指标，Stj为第j个目标的价值，Pij为飞行器i对目标j的突防概率；为飞行器成本指标，Ci为飞行器i的成本；表示攻击效费比指标，表示毁伤效费比指标，最后J2表示获得攻防综合效费比指标，即攻击效费比与毁伤效费比之和；
S1.3综合考虑目标的重要程度和目标的打击性能，利用强化学习方法实现多目标的智能分配，输出满足约束条件下攻防综合效费比指标最优的目标分配矩阵；所涉及的约束条件为：每发飞行器最多只能攻击一个目标，每个目标至少分配的飞行器数量为步骤S1.1中所确定的火力运用策略。
3.根据权利要求1所述的多飞行器协同智能决策与轨迹在线规划方法，其特征在于，所述步骤S2中所述的多飞行器协同轨迹规划问题建模为：
P1:find ui
min J0＝C1(|λi(tf)-λi *|+|φi(tf)-φi *|)
其中，ui为倾侧角变化率，λi *和φi *分别为飞行器i分配打击目标的经度和纬度，λi(tf)和φi(tf)为飞行器i终端时刻的经度和纬度；νi为飞行器i的倾侧角；qi和ni分别为飞行器i的热流率、动压和总过载，下标max代表飞行器i的热流率、动压和总过载最大值；Cr，Cλ和Cφ为常数；ri(t)、λi(t)、φi(t)、rj(t)、λj(t)、φj(t)分别为飞行器i、飞行器j在时刻t的高度、经度和纬度；t0表示初始时间，tf表示终端时间；θi是弹道倾角，σi是航迹偏航角，Cd,min为协同飞行安全距离，νmin和νmax表示倾侧角的最小最大值，umin和umax为倾侧角变化率的最小最大值，Eq.(3.31)为运动方程，设置如下：
其中，λi是飞行器的经度，φi是飞行器的纬度，ri是飞行器的高度，Vi是飞行器速度，θi是弹道倾角，σi是航迹偏航角，ωe为地球自转角速度，νi为飞行器倾侧角，Li是升力加速度，Di是阻力加速度，gi为重力加速度。
4.根据权利要求1所述的多飞行器协同智能决策与轨迹在线规划方法，其特征在于，所述步骤S3中所述迭代收敛条件为：
其中，为相邻两次迭代解的全局误差变化量。表示来自迭代解的终端状态矢量，k为当前迭代次数，i为第几枚弹，N为离散节点数，ε是一个充分小的常值矢量。
5.根据权利要求2所述的多飞行器协同智能决策与轨迹在线规划方法，其特征在于，所述综合攻击优势度为：
其中：kχ,kd,kθ,kσ,kV为加权系数，不同参数设置对应不同的重要程度；Sχ为相对方位角攻击优势度、Sd为相对距离攻击优势度、Sθ为速度倾角攻击优势度、Sσ为航迹偏航角攻击优势度、SV为相对速度攻击优势度。
6.根据权利要求5所述的多飞行器协同智能决策与轨迹在线规划方法，其特征在于，所述综合攻击优势度包括相对运动信息的攻击优势度，所述相对运动信息的攻击优势度包括相对方位角攻击优势度Sχ、相对距离攻击优势度Sd、速度倾角攻击优势度Sθ、航迹偏航角攻击优势度Sσ、相对速度攻击优势度SV：
其中，χhyp为当前飞行器相对于编队中心的方位角，χt为当前目标的相对方位角；dhyp为当前飞行器相对于编队中心的距离，dt为相对距离，dmax为根据任务选择的距离常数；θ为实时速度倾角，θf为终端最优速度倾角；Δσ为航迹偏航角误差，fσ(Δσ,σ0)表示航迹偏航角误差Δσ偏离最佳攻击角度区域的最小角度；V为高超声速飞行器到目标的相对速度，Vo为综合考虑毁伤能力和控制代价的最优相对速度，Ωσ为设定的航迹偏航角误差范围。
7.根据权利要求3所述的多飞行器协同智能决策与轨迹在线规划方法，其特征在于，离散化后的多飞行器协同轨迹规划问题可描述为：
P3:find Xi,l,ui,l,κi,ξi
其中，Xi,l＝[ri,l λi,l φi,l Vi,l θi,l σi,l νi,l]T，表示飞行器i在时刻l的高度、经度、纬度、速度、倾角、偏航角和倾侧角，ui为倾侧角变化率，κi为松弛系数，ξi为时间膨胀因子；J0为终端位置偏差最小的目标函数，C2和C3为常数，A、G、C、D为系数矩阵，fj,max分别表示热流、动压和总过载的允许最大值，Cr、Cλ和Cφ为常数，Cd,min为协同飞行安全距离，δi为信赖域半径，fj(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束；f'j(ri (k),Vi (k)),j＝1,2,3分别表示线性化后的热流、动压和总过载约束的偏导数。
8.一种多飞行器协同智能决策与轨迹在线规划系统，包括计算机设备，其特征在于：该计算机设备用以执行权利要求1～7中任意一项所述的多飞行器协同智能决策与轨迹在线规划方法的步骤。
9.一种计算机设备，包括存储器及处理器，其特征在于：所述存储器上存储有计算机程序，所述处理器执行所述程序以实现权利要求1～7中任意一项所述的多飞行器协同智能决策与轨迹在线规划方法。
10.一种计算机可读存储介质，其特征在于：该计算机可读存储介质上存储计算机程序，以实现权利要求1～7中任意一项所述的多飞行器协同智能决策与轨迹在线规划方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310896010.7A CN116954255B (zh) | 2023-07-20 | 2023-07-20 | 多飞行器协同智能决策与轨迹在线规划方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310896010.7A CN116954255B (zh) | 2023-07-20 | 2023-07-20 | 多飞行器协同智能决策与轨迹在线规划方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116954255A true CN116954255A (zh) | 2023-10-27 |
| CN116954255B CN116954255B (zh) | 2024-08-20 |
Family
ID=88450625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310896010.7A Active CN116954255B (zh) | 2023-07-20 | 2023-07-20 | 多飞行器协同智能决策与轨迹在线规划方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116954255B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324993A (zh) * | 2013-07-15 | 2013-09-25 | 中国电子科技集团公司第二十八研究所 | 一种基于多飞行器协同作战的轨迹优化方法 |
| CN111091273A (zh) * | 2019-11-29 | 2020-05-01 | 上海航天控制技术研究所 | 一种基于能力预测的多弹协同任务规划方法 |
| CN114610077A (zh) * | 2022-05-11 | 2022-06-10 | 北京航空航天大学 | 多高超声速飞行器轨迹规划方法和系统 |
| CN115268501A (zh) * | 2022-08-29 | 2022-11-01 | 北京航空航天大学 | 多飞行器协同再入轨迹规划方法、系统、电子设备及介质 |
-
2023
- 2023-07-20 CN CN202310896010.7A patent/CN116954255B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103324993A (zh) * | 2013-07-15 | 2013-09-25 | 中国电子科技集团公司第二十八研究所 | 一种基于多飞行器协同作战的轨迹优化方法 |
| CN111091273A (zh) * | 2019-11-29 | 2020-05-01 | 上海航天控制技术研究所 | 一种基于能力预测的多弹协同任务规划方法 |
| CN114610077A (zh) * | 2022-05-11 | 2022-06-10 | 北京航空航天大学 | 多高超声速飞行器轨迹规划方法和系统 |
| CN115268501A (zh) * | 2022-08-29 | 2022-11-01 | 北京航空航天大学 | 多飞行器协同再入轨迹规划方法、系统、电子设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| ZHANG YUANLONG等: "Lateral-profile planning: Three-dimensional-profile-based optimal trajectory generation", 《SCIENCE CHINA》, 31 December 2022 (2022-12-31), pages 3057 - 3068 * |
| 谢愈 等: "高超声速飞行器多目标复杂约束滑翔弹道优化", 《国防科技大学学报》, vol. 39, no. 2, 30 April 2017 (2017-04-30), pages 9 - 17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116954255B (zh) | 2024-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A novel real-time penetration path planning algorithm for stealth UAV in 3D complex dynamic environment | |
| CN108549402B (zh) | 基于量子乌鸦群搜索机制的无人机群任务分配方法 | |
| Zhang et al. | An improved constrained differential evolution algorithm for unmanned aerial vehicle global route planning | |
| CN111091273A (zh) | 一种基于能力预测的多弹协同任务规划方法 | |
| CN112712193A (zh) | 基于改进Q-Learning的多无人机局部航路规划方法及装置 | |
| Haghighi et al. | Multi-objective cooperated path planning of multiple unmanned aerial vehicles based on revisit time | |
| Wu et al. | Heterogeneous mission planning for multiple uav formations via metaheuristic algorithms | |
| Yuksek et al. | Cooperative planning for an unmanned combat aerial vehicle fleet using reinforcement learning | |
| Chai et al. | An interactive fuzzy physical programming for solving multiobjective skip entry problem | |
| Lei et al. | Moving time UCAV maneuver decision based on the dynamic relational weight algorithm and trajectory prediction | |
| CN116088576A (zh) | 一种基于改进鲸鱼算法的无人机三维路径规划方法 | |
| Shi et al. | Optimal trajectories of multi-UAVs with approaching formation for target tracking using improved Harris Hawks optimizer | |
| Xie et al. | A novel adaptive parameter strategy differential evolution algorithm and its application in midcourse guidance maneuver decision-making | |
| CN116954255B (zh) | 多飞行器协同智能决策与轨迹在线规划方法、系统及介质 | |
| Zhang et al. | Design of the fruit fly optimization algorithm based path planner for UAV in 3D environments | |
| Peng et al. | Chance-constrained sneaking trajectory planning for reconnaissance robots | |
| CN116698032A (zh) | 基于多目标自组织松鼠觅食机制的无人机航迹规划方法 | |
| Li et al. | Research On UAVs Reconnaissance Task Allocation Method Based On Communication Preservation | |
| Xing et al. | 3d trajectory planning of positioning error correction based on pso-a* algorithm | |
| Wei et al. | UCAV formation online collaborative trajectory planning using hp adaptive pseudospectral method | |
| Chen et al. | A Two‐Stage Method for UCAV TF/TA Path Planning Based on Approximate Dynamic Programming | |
| Khosravi et al. | Cooperative control for multi-target interception with sensing and communication limitations: A game-theoretic approach | |
| Mu et al. | Application of multi-scale quantum harmonic oscillator algorithm for multifactor task allocation problem in WSANs | |
| Zhou et al. | Multi‐UAVs Formation Autonomous Control Method Based on RQPSO‐FSM‐DMPC | |
| CN109658742B (zh) | 基于前序飞行信息的密集飞行自主冲突解脱方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |