CN108319132A - 用于无人机空中对抗的决策系统及方法 - Google Patents

用于无人机空中对抗的决策系统及方法 Download PDF

Info

Publication number
CN108319132A
CN108319132A CN201810025736.2A CN201810025736A CN108319132A CN 108319132 A CN108319132 A CN 108319132A CN 201810025736 A CN201810025736 A CN 201810025736A CN 108319132 A CN108319132 A CN 108319132A
Authority
CN
China
Prior art keywords
state
unmanned plane
prediction
coordinate value
red
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810025736.2A
Other languages
English (en)
Other versions
CN108319132B (zh
Inventor
胡笑旋
郭君
马华伟
夏维
罗贺
张任驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201810025736.2A priority Critical patent/CN108319132B/zh
Publication of CN108319132A publication Critical patent/CN108319132A/zh
Application granted granted Critical
Publication of CN108319132B publication Critical patent/CN108319132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Abstract

本发明提供一种用于无人机空中对抗的决策系统及方法，属于无人机领域。决策方法包括：步骤S10：获取在预定时间段内蓝方无人机的第一状态和红方无人机的第二状态；步骤S20：采用LSTM网络根据第一状态预测蓝方无人机在未来预定时刻的第一预测状态；步骤S30：从与红方无人机相关联的机动动作库中选取机动动作；步骤S40：根据红方无人机的当前状态和选取的机动动作计算红方无人机在执行机动动作后的未来预定时刻的第二预测状态；步骤S50：根据第二预测状态与第一预测状态计算在未来预定时刻蓝方无人机对红方无人机的威胁系数；步骤S60：重复步骤S30至步骤S50直到计算出所述威胁系数；步骤S70：选取最小威胁系数；步骤S80：输出与最小威胁系数对应的机动动作。

Description

用于无人机空中对抗的决策系统及方法
技术领域
本发明涉及无人机领域，具体地涉及一种用于无人机空中对抗的决策系统及方法。
背景技术
对于空中对抗领域的无人机决策方法主要包括两种：一是基于当前态势进行决策的方法。在此类中，分为两种情形。一种是在完全信息下，依据当前态势进行决策的空战决策方法，例如完全信息静态博弈，微分对策，影响图等。一种是不完全信息下，例如使用模糊理论，区间灰数，区间数层次分析法等方法将对不完全信息下的威胁或者攻击效能进行评估继而做出决策的空战决策方法。二是基于未来态势或态势变化趋势的决策方法。依据当前态势对未来态势进行预测，可以更好的掌握战场态势的发展，该类方法通过对当前态势和未来态势的评估来进行决策。基于态势预测和推理进行决策现也有许多的方法，例如：①滚动时域，②动态贝叶斯网络，③模糊动态博弈，④证据网络等。
但是，这两种方法均存在缺陷。第一类方法中，建立在完全信息条件下的决策方法无法解决信息不完全下的机动决策问题。第一类方法中，无论是完全信息条件下还是不完全信息条件下，都是依据当前态势进行机动决策，在决策中也不考虑敌方机动，不能把握战场变化趋势和未来威胁态势变化，具有局限性。第二类方法中，虽然在决策过程中考虑战场变化趋势，试图对未来态势进行推断，但是依然具有局限性：①滚动时域控制中，选择合适的值函数非常关键。对于简单的最优控制问题，可从相对应的HJB偏微分方程求得，但此问题的HJB方程实际上难以求解，使用近似值函数。近似值函数中，需要构建战术优势值。在构建战术优势值的过程中，需要构建敌方运动状态方程，并且已知敌方加速度，不能适用敌方机动完全未知的条件。②贝叶斯网络是概率论与图论的有机结合，所以贝叶斯网络在解决不确定性问题方面有着天然的优势。近年来贝叶斯网络已经成为不确定性研究领域的一大热门，因此有方法采用贝叶斯模型，或者动态贝叶斯网络模型对战场不确定性信息进行预测与评估。但是贝叶斯模型需要一定的先验知识，制定先验概率和条件概率。③模糊动态博弈方法需要已知敌我双方的策略集。④证据网络方法需要结合知识库及专家的先验知识构建评价函数。由此可见，第二类方法也都无法解决在敌方机动策略完全未知的情况下基于战场态势预测和推理的决策问题，即在敌方机动完全未知，没有先验规则的情况上，以上的方法都无法适用。
发明内容
本发明的目的是提供一种用于无人机空中对抗的决策系统及方法，该决策系统及方法在无人机模拟对抗时能够根据蓝方无人机的状态判断并输出红方无人机的机动动作。
为了实现上述目的，本发明实施方式提供一种用于无人机空中对抗的决策方法，该决策方法可以包括：
步骤S10：获取在预定时间段内蓝方无人机的第一状态和红方无人机的第二状态；
步骤S20：采用长短期记忆(Long Short-Term Memory，LSTM)网络根据第一状态预测蓝方无人机在未来预定时刻的第一预测状态；
步骤S30：从与红方无人机相关联的机动动作库中选取未被使用的机动动作；
步骤S40：根据红方无人机的当前状态和选取的机动动作计算红方无人机在执行机动动作后的未来预定时刻的第二预测状态；
步骤S50：根据第二预测状态与第一预测状态计算在未来预定时刻蓝方无人机对红方无人机的威胁系数；
步骤S60：重复步骤S30至步骤S50直到计算出所述机动动作库中的所有机动动作对应的威胁系数；
步骤S70：从所有威胁系数中选取最小威胁系数；
步骤S80：输出与所述最小威胁系数对应的机动动作。
可选地，所述红方的第一状态和蓝方的第二状态可以包括：位置信息、速度、俯仰角和偏航角，所述预定时间段包括从过去的预定时刻至当前时刻的时间区间。
可选地，所述位置信息包括第一坐标值、第二坐标值和第三坐标值，所述采用LSTM网络根据所述第一状态预测所述蓝方无人机在未来预定时刻的第一预测状态包括：
采用六个独立且结构相同的所述LSTM网络分别对所述第一状态的第一坐标值、所述第一状态的第二坐标值和所述第一状态的第三坐标值、所述第一状态的速度、所述第一状态的俯仰角和所述第一状态的偏航角进行预测，以生成预测的第一状态的第一坐标值、预测的第一状态的第二坐标值、预测的第一状态的第三坐标值、预测的第一状态的第一预测速度、预测的第一状态的第一预测俯仰角和预测的第一状态的第一预测偏航角；
关联所述预测的第一状态的第一坐标值、预测的第一状态的第二坐标值、预测的第一状态的第三坐标值、预测的第一状态的第一预测速度、预测的第一状态的第一预测俯仰角和预测的第一状态的第一预测偏航角以生成所述第一预测状态。
可选地，LSTM网络的输入数据可以为一维时间序列数据，方向可以为单向，层数可以为2层；所述LSTM网络可以采用衰减的学习速率，所述学习速率的初始值可以为1.0，所述学习速率的衰减值可以为0.5，LSTM网络的细胞单元的数量可以为100个，激活函数可以为双曲正切函数，所述LSTM网络还可以包括：用于防止过度拟合的退出层，所述退出层的保留节点数为0.8，所述LSTM网络采用均方误差的计算方式计算误差，确定权重参数的迭代更新方式采用RMSprop算法。
本发明的另一方面还提供一种用于无人机空中对抗的决策系统，该决策系统可以包括：
雷达，设置在红方无人机上；
处理器，被配置成用于执行下列步骤：
步骤S10：通过所述雷达获取蓝方无人机在预定时间段内的第一状态，通过所述红方无人机接收所述红方无人机在预定时间段内的第二状态；
步骤S20：采用长短期记忆LSTM网络根据所述第一状态预测所述蓝方无人机在未来预定时刻的第一预测状态；
步骤S30：从与所述红方无人机相关联的机动动作库中选取未被使用的机动动作；
步骤S40：根据所述红方无人机的当前状态和选取的机动动作计算所述红方无人机在执行所述机动动作后的所述未来预定时刻的第二预测状态；
步骤S50：根据所述第二预测状态与所述第一预测状态计算在所述未来预定时刻所述蓝方无人机对所述红方无人机的威胁系数；
步骤S60：重复步骤S30至步骤S50直到计算出所述机动动作库中的所有机动动作对应的威胁系数；
步骤S70：从所有威胁系数中选取最小威胁系数；
步骤S80：输出与所述最小威胁系数对应的机动动作。
可选地，所述红方的第一状态和蓝方的第二状态可以包括：位置信息、速度、俯仰角和偏航角，所述预定时间段包括从过去的预定时刻至当前时刻的时间区间。
可选地，所述位置信息包括第一坐标值、第二坐标值和第三坐标值，所述处理器进一步被配置成：
采用六个独立且结构相同的所述LSTM网络分别对所述第一状态的第一坐标值、所述第一状态的第二坐标值和所述第一状态的第三坐标值、所述第一状态的速度、所述第一状态的俯仰角和所述第一状态的偏航角进行预测，以生成预测的第一状态的第一坐标值、预测的第一状态的第二坐标值、预测的第一状态的第三坐标值、预测的第一状态的第一预测速度、预测的第一状态的第一预测俯仰角和预测的第一状态的第一预测偏航角；
关联所述预测的第一状态的第一坐标值、预测的第一状态的第二坐标值、预测的第一状态的第三坐标值、预测的第一状态的第一预测速度、预测的第一状态的第一预测俯仰角和预测的第一状态的第一预测偏航角以生成所述第一预测状态。
可选地，所述LSTM网络的输入数据可以为一维时间序列数据，方向可以为单向，层数可以为2层；所述LSTM网络可以采用衰减的学习速率，所述学习速率的初始值可以为1.0，所述学习速率的衰减值可以为0.5，所述LSTM网络的细胞单元的数量可以为100个，激活函数可以为双曲正切函数，所述LSTM网络还可以包括：用于防止过度拟合的退出层，所述退出层的保留节点数可以为0.8，所述LSTM网络可以采用均方误差的计算方式计算误差，确定权重参数的迭代更新方式可以采用RMSprop算法。
通过上述技术方案，本发明提供的用于无人机空中对抗的决策系统及方法能够通过LSTM网络根据蓝方无人机在过去一段时间的飞行状态预测蓝方无人机在未来时间的飞行状态，继而实现在无人机模拟对抗时判断并控制红方无人机的机动动作。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是根据本发明的一实施方式的用于无人机空中对抗的决策方法的流程图；
图2是根据本发明的一实施方式的用于无人机空中对抗的决策系统的结构框图。
具体实施方式
以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。
如图1所示是根据本发明的一实施方式的用于无人机空中对抗的决策方法的流程图。在图1中，该决策方法可以包括以下步骤：
在步骤S10中，获取在预定时间段内蓝方无人机的第一状态和红方无人机的第二状态。在该实施方式中，该预定时间段可以包括从过去的一个预定时刻至当前时刻的时间区间，例如从两分钟前至当前时刻之间的时间区间。该第一状态可以包括位置信息、速度、俯仰角和偏航角。在本发明的一个示例中，该俯仰角可以是无人机对于水平面的上下偏角，该偏航角可以是无人机的速度方向相对于飞行方向的左右偏角。可选地，该位置信息可以包括：第一坐标值、第二坐标值和第三坐标值。所以，该第一状态可以包括第一状态的第一坐标值、第一状态的第二坐标值、第一状态的第三坐标值、第一状态的第一速度、第一状态的第一仰角和第一状态的第一偏航角。结合上述预定时间段，可以理解为该六个要素均可以为由预定时间段内每个时刻对应的各个要素单独组成的数据序列。例如对于第一状态的第一坐标值x，该数据序列可以为在过去的两分钟内每一秒对应的第一坐标值x1、x2…做成的集合。相应的第二状态可以包括第二状态的第一坐标值、第二状态的第二坐标值、第二状态的第三坐标值、第二状态的第二速度、第二状态的第二仰角和第二状态的第二偏航角。在本发明的一个是示例中，该第一坐标值、第二坐标值和第三坐标值为预先设定的坐标系中的x、y、z方向上的坐标值。
在步骤S20中，采用六个独立且相同结构的LSTM网络根据第一状态预测蓝方无人机在未来预定时刻的第一预测状态。在该实施方式中，可以将蓝方无人机的从1到当前时刻t的第一状态a1、a2…at(其中，i为1至t之间的任意整数)的内容拆分开，以形成分别由第一坐标值x、第二坐标值y、第三坐标值z、速度矢量v、俯仰角θ和偏航角构成六组数据集合。采用六个独立且相同结构的LSTM网络分别对该六组数据集合进行计算，以预测出在未来预定时刻蓝方无人机的第一预测的第一坐标值xt+1、第一预测的第二坐标值yt+1、第一预测的第三坐标值zt+1、第一预测速度vt+1、第一预测俯仰角θt+1和第一预测偏航角的值。最后，将该蓝方无人机在未来预定时刻的第一预测的第一坐标值xt+1、第一预测的第二坐标值yt+1、第一预测的第三坐标值zt+1、第一预测速度vt+1、第一预测俯仰角θt+1和第一预测偏航角的值的关联起来，生成该蓝方无人机在未来预定时刻的第一预测状态at+1。在本发明的一个示例中，该LSTM网络的输入数据可以为一维序列数据(用于处理不同数据的LSTM网络结构相同，但是输入的一维系列数据可以不同)；以第一坐标值x为例，该一维序列数据可以是由过去一段时间(预定时间段)内该蓝方无人机的第一坐标值x1、x2、x3…xt组成。该LSTM网络的计算方向可以是单向，也即由输入至输出，其层数可以是2层。该LSTM网络可以是采用衰减的学习速率，该学习速率的初始值可以为1.0，该学习速率的衰减值可以为0.5。该LSTM网络的细胞单元(cell单元)可以为100个，该LSTM网络的激活函数可以为双曲正切函数(tanh函数)。在采用该LSTM网络计算该第一坐标值时，为了防止过度拟合，造成预测数据的误差，可以在该LSTM网络中添加退出层(dropout层)，该dropout层的保留节点数可以是0.8。对于该预测结果的误差的计算方式，在该实施方式中，可以采用均方误差(meansquared error)的方法计算该误差，对于确定权重参数的迭代更新方式可以采用RMSprop算法。其他例如对第二坐标值y、第三坐标值z、速度矢量v、俯仰角θ和偏航角的预测和上述采用LSTM网络对第一坐标值x的预测的计算方式相似，此处不再赘述。
在步骤S30中，从与红方无人机相关联的机动动作库中选取未被使用的机动动作。机动动作库中的机动动作可以指该控制红方无人机的加速度、俯仰角θ和偏航角的信息。
在步骤S40中，根据红方无人机的当前状态和选取的机动动作计算红方无人机在执行机动动作后的未来预定时刻的第二预测状态。在该实施方式中，可以将先将该未来预定时刻与当前时间之间的时间区间离散为多个较短的预定时间周期(每个时间周期均相等)。在单个时间周期内，根据上个周期末红方无人机的加速度、本周期开始时从与红方无人机关联的机动动作库中选择的加速度改变量计算本周期开始时的红方无人机加速度。还可以根据红方无人机上个周期末的偏航角、俯仰角以及本周期开始时的选择的偏航角和俯仰角的改变量计算本周期开始时的红方无人机的偏航角和俯仰角，根据本周期开始时红方无人机的位置信息(x、y和z的值)、红方无人机速度、红方无人机的加速度、红方无人机的偏航角和俯仰角计算红方无人机在本周期的行进轨迹，确定该红方无人机在该时间周期结束时的位置信息。在每个时间周期内重复上述步骤，直到计算出该红方无人机在未来预定时刻的第二预测状态。
在步骤S50中，根据第二预测状态与第一预测状态计算在未来预定时刻蓝方无人机对红方无人机的威胁系数。在该实施方式中，该步骤中的计算方法可以是：
第一步，根据蓝方无人机的第一预测状态和红方无人机的第二预测状态计算目标距离。在本发明的一个示例中，该目标距离可以是蓝方无人机与红方无人机的距离，例如根据第一预测状态中的位置信息和第二预测状态中的位置信息计算该目标距离。
第二步，根据公式(1)计算距离威胁系数T1。
其中，ri为目标距离，rm为预设的红方无人机的导弹射程，rr为红方无人机的雷达的最大跟踪距离，rmti为预设的蓝方无人机的导弹的攻击距离，max(rm，rmti)为rm和rmti中的最大值。
第三步，根据公式(2)计算速度威胁系数T2，
其中，vi为红方无人机在预测时刻的速度矢量，vz为蓝方无人机在预测时刻的速度矢量；
根据公式(3)计算威胁系数T，
T＝a1*T1*T2+a2*T2 (3)
其中，T1为距离威胁系数，T2为速度威胁系数，a1和a2为加权系数。在本发明的一个示例中，该a1和a2的值可以相等。上述威胁系数的计算公式是根据理论分析和模拟实战经验得出，并不限于对本发明的具体保护范围造成限制，本领域技术人员也可以理解为其他的计算公式也是适用的。
在步骤S60中，重复上述步骤S30至S50，直到计算出所有与红方无人机相关联的机动动作库中的未被使用的机动动作的威胁系数。
在步骤S70中，对比所有威胁系数，从该所有威胁系数中选取最小威胁系数。
在步骤S80中，输出与最小威胁系数对应的机动动作。在该实施方式中，该机动动作与该最小威胁系数相对应，因此，红方无人机在执行该机动动作时，相对于蓝方无人机处于最佳的飞行状态(威胁系数最小)，这使得红方无人机在模拟对抗的过程中处于优势地位。
图2是根据本发明的一实施方式的用于无人机空中对抗的决策系统的结构框图。在图2中该决策系统可以包括：
雷达1，设置在红方无人机上，用于检测蓝方无人机的第一状态并通过红方无人机接收红方无人机的第二状态。在该实施方式中，该第一状态和第二状态可以包括：位置信息、速度、俯仰角和偏航角。在本发明的一个示例中，该俯仰角可以是无人机对于水平面的上下偏角，该偏航角可以是无人机的速度方向相对于飞行方向的左右偏角。可选地，该位置信息可以包括：第一坐标值、第二坐标值和第三坐标值。在本发明的一个是示例中，该第一坐标值、第二坐标值和第三坐标值为预先设定的坐标系中的x、y、z方向上的坐标值。
处理器2，与雷达1连接，被配置成用于执行以下步骤：
在步骤S10中，通过雷达1获取在预定时间段内蓝方无人机的第一状态和红方无人机的第二状态；在该实施方式中，该预定时间段可以包括从过去的一个预定时刻至当前时刻的时间区间，例如从两分钟前至当前时刻之间的时间区间。该第一状态可以包括位置信息、速度、俯仰角和偏航角。在本发明的一个示例中，该俯仰角可以是无人机对于水平面的上下偏角，该偏航角可以是无人机的速度方向相对于飞行方向的左右偏角。可选地，该位置信息可以包括：第一坐标值、第二坐标值和第三坐标值。所以，该第一状态可以包括第一状态的第一坐标值、第一状态的第二坐标值、第一状态的第三坐标值、第一状态的第一速度、第一状态的第一仰角和第一状态的第一偏航角。结合上述预定时间段，可以理解为该六个要素均可以为由预定时间段内每个时刻对应的各个要素单独组成的数据序列。例如对于第一状态的第一坐标值x，该数据序列可以为在过去的两分钟内每一秒对应的第一坐标值x1、x2…做成的集合。相应的第二状态可以包括第二状态的第一坐标值、第二状态的第二坐标值、第二状态的第三坐标值、第二状态的第二速度、第二状态的第二仰角和第二状态的第二偏航角。在本发明的一个是示例中，该第一坐标值、第二坐标值和第三坐标值为预先设定的坐标系中的x、y、z方向上的坐标值。
在步骤S20中，采用六个独立且结构相同的LSTM网络根据蓝方无人机的第一状态预测该蓝方无人机在未来预定时刻的第一预测状态。在该实施方式中，处理器2可以将蓝方无人机的从1到当前时刻t的第一状态a1、a2…at(其中，i为1至t之间的任意整数)的内容拆分开，以形成分别由第一坐标值x、第二坐标值y、第三坐标值z、速度矢量v、俯仰角θ和偏航角构成六组数据集合。采用LSTM网络分别对该六组数据集合进行计算，以预测出在未来预定时刻蓝方无人机的第一预测的第一坐标值xt+1、第一预测的第二坐标值yt+1、第一预测的第三坐标值zt+1、第一预测速度vt+1、第一预测俯仰角θt+1和第一预测偏航角的值。最后，将该蓝方无人机在未来预定时刻的第一预测的第一坐标值xt+1、第一预测的第二坐标值yt+1、第一预测的第三坐标值zt+1、第一预测速度vt+1、第一预测俯仰角θt+1和第一预测偏航角的值的关联起来，生成该蓝方无人机在未来预定时刻的第一预测状态at+1。在本发明的一个示例中，该LSTM网络的输入数据可以为一维序列数据(用于处理不同数据的LSTM网络结构相同，但是输入的一维系列数据可以不同)；以第一坐标值x为例，该一维序列数据可以是由雷达1检测过去一段时间(预定时间段)内该蓝方无人机的第一坐标值x1、x2、x3…xt组成。该LSTM网络的计算方向可以是单向，也即由输入至输出，其层数可以是2层。在本发明的另一个实例中，该LSTM网络可以是采用衰减的学习速率，该学习速率的初始值可以为1.0，该学习速率的衰减值可以为0.5。在本发明的再一个示例中，该LSTM网络的细胞单元(cell单元)可以为100个，该LSTM网络的激活函数可以为双曲正切函数(tanh函数)。在采用该LSTM网络计算该第一坐标值时，为了防止过度拟合，造成预测数据的误差，可以在该LSTM网络中添加退出层(dropout层)，该dropout层的保留节点数可以是0.8。对于该预测结果的误差的计算方式，在该实施方式中，可以采用均方误差(mean squared error)的方法计算该误差，对于确定权重参数的迭代更新方式可以采用RMSprop算法。其他例如对第二坐标值y、第三坐标值z、速度矢量v、俯仰角θ和偏航角的预测和上述采用LSTM网络对第一坐标值x的预测的计算方式相似，此处不再赘述。
在步骤S30中，从与红方无人机相关联的机动动作库中选取未被使用的机动动作；该机动动作库中的机动动作可以指该控制红方无人机的加速度、俯仰角θ和偏航角的信息。
在步骤40中，根据红方无人机的当前状态和选取的机动动作计算红方无人机在执行机动动作后的未来预定时刻的第二预测状态。在该实施方式中，可以将先将该未来预定时刻与当前时间之间的时间区间离散为多个较短的预定的时间周期(每个时间周期均相等)。在单个时间周期内，处理器2根据上个周期末红方无人机的加速度、本周期开始时从与红方无人机关联的机动动作库中选择的加速度改变量计算本周期开始时的红方无人机加速度。还可以根据红方无人机上个周期末的偏航角、俯仰角以及本周期开始时的选择的偏航角和俯仰角的改变量计算本周期开始时的红方无人机的偏航角和俯仰角，根据本周期开始时红方无人机的位置信息(x、y和z的值)、红方无人机速度、红方无人机的加速度、红方无人机的偏航角和俯仰角计算红方无人机在本周期的行进轨迹，确定该红方无人机在该时间周期结束时的位置信息。在每个时间周期内重复上述步骤，直到计算出该红方无人机在未来预定时刻的第二预测状态。
在步骤S50中，根据第二预测状态与第一预测状态计算在未来预定时刻蓝方无人机对红方无人机的威胁系数。在该实施方式中，该步骤中的计算方法可以是：
第一步，根据蓝方无人机的第一预测状态和红方无人机的第二预测状态计算目标距离。在本发明的一个示例中，该目标距离可以是蓝方无人机与红方无人机的距离，例如根据第一预测状态中的位置信息和第二预测状态中的位置信息计算该目标距离。
第二步，根据公式(1)计算距离威胁系数T1，
其中，ri为目标距离，rm为预设的红方无人机的导弹射程，rr为红方无人机的雷达的最大跟踪距离，rmti为预设的蓝方无人机的导弹的攻击距离，max(rm，rmti)为rm和rmti中的最大值。
第三步，根据公式(2)计算速度威胁系数T2，
其中，vi为红方无人机在预测时刻的速度矢量，vz为蓝方无人机在预测时刻的速度矢量；
根据公式(3)计算威胁系数T，
T＝a1*T1*T2+a2*T2 (3)
其中，T1为距离威胁系数，T2为速度威胁系数，a1和a2为加权系数。在本发明的一个示例中，该a1和a2的值可以相等。
在步骤S60中，处理器2重复上述步骤S30至S50，直到计算出所有与红方无人机相关联的机动动作库中的未被使用的机动动作的威胁系数。
在步骤S70中，对比所有计算出的威胁系数，从该所有威胁系数中选取最小威胁系数。
在步骤S80中，向红方无人机输出与该最小威胁系数对应的机动动作以控制该红方无人机。在该实施方式中，该机动动作与该最小威胁系数相对应，因此，红方无人机在执行该机动动作时，相对于蓝方无人机处于最佳的飞行状态(威胁系数最小)，这使得红方无人机在模拟对抗的过程中处于相对优势地位。
该处理器2可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等。
在本申请的一种实施方式中，上述的用于无人机的决策方法可以应用于无人机或有人机上，换句话说，上述的用于无人机的决策系统可以安装在无人机或有人机上。
在本申请的另一种可替换实施方式中，上述的用于无人机的决策方法可以由模拟器(例如飞行或空战模拟器)来实现，模拟器可以通过软件的方式来实施。换句话说，上述的用于无人机的决策系统可以是通过软件的方式实施的模拟器。
通过上述技术方案，本发明提供的用于无人机的决策系统及方法能够使得红方无人机在无法得知蓝方无人机的机动策略时通过LSTM网络的计算预测出蓝方无人机的飞行轨迹，遍历红方无人机存储的机动动作，选取最小威胁系数所对应的机动动作，使得红方无人机在与蓝方无人机作模拟对抗时处于相对优势地位。
以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (8)

1.一种用于无人机空中对抗的决策方法，其特征在于，包括：
步骤S10：获取在预定时间段内蓝方无人机的第一状态和红方无人机的第二状态；
步骤S20：采用长短期记忆LSTM网络根据所述第一状态预测所述蓝方无人机在未来预定时刻的第一预测状态；
步骤S30：从与所述红方无人机相关联的机动动作库中选取未被使用的机动动作；
步骤S40：根据所述红方无人机的当前状态和选取的机动动作计算所述红方无人机在执行所述机动动作后的所述未来预定时刻的第二预测状态；
步骤S50：根据所述第二预测状态与所述第一预测状态计算在所述未来预定时刻所述蓝方无人机对所述红方无人机的威胁系数；
步骤S60：重复步骤S30至步骤S50直到计算出所述机动动作库中的所有机动动作对应的威胁系数；
步骤S70：从所有威胁系数中选取最小威胁系数；
步骤S80：输出与所述最小威胁系数对应的机动动作。
2.根据权利要求1所述的决策方法，其特征在于，所述红方的第一状态和蓝方的第二状态包括：位置信息、速度、俯仰角和偏航角，所述预定时间段包括从过去的预定时刻至当前时刻的时间区间。
3.根据权利要求2所述的决策方法，其特征在于，所述位置信息包括第一坐标值、第二坐标值和第三坐标值，所述采用长短期记忆LSTM网络根据所述第一状态预测所述蓝方无人机在未来预定时刻的第一预测状态包括：
采用六个独立且结构相同的所述LSTM网络分别对所述第一状态的第一坐标值、所述第一状态的第二坐标值和所述第一状态的第三坐标值、所述第一状态的速度、所述第一状态的俯仰角和所述第一状态的偏航角进行预测，以生成预测的第一状态的第一坐标值、预测的第一状态的第二坐标值、预测的第一状态的第三坐标值、预测的第一状态的第一预测速度、预测的第一状态的第一预测俯仰角和预测的第一状态的第一预测偏航角；
关联所述预测的第一状态的第一坐标值、预测的第一状态的第二坐标值、预测的第一状态的第三坐标值、预测的第一状态的第一预测速度、预测的第一状态的第一预测俯仰角和预测的第一状态的第一预测偏航角以生成所述第一预测状态。
4.根据权利要求3所述的决策方法，其特征在于，所述LSTM网络的输入数据为一维时间序列数据，方向为单向，层数为2层；所述LSTM网络采用衰减的学习速率，所述学习速率的初始值为1.0，所述学习速率的衰减值为0.5，所述LSTM网络的细胞单元的数量为100个，激活函数为双曲正切函数，所述LSTM网络还包括：用于防止过度拟合的退出层，所述退出层的保留节点数为0.8，所述LSTM网络采用均方误差的计算方式计算误差，确定权重参数的迭代更新方式采用RMSprop算法。
5.一种用于无人机空中对抗的决策系统，其特征在于，所述决策系统包括：
雷达，设置在红方无人机上；
处理器，被配置成执行下列步骤：
步骤S10：通过所述雷达获取蓝方无人机在预定时间段内的第一状态，通过所述红方无人机接收所述红方无人机在预定时间段内的第二状态；
步骤S20：采用长短期记忆LSTM网络根据所述第一状态预测所述蓝方无人机在未来预定时刻的第一预测状态；
步骤S30：从与所述红方无人机相关联的机动动作库中选取未被使用的机动动作；
步骤S40：根据所述红方无人机的当前状态和选取的机动动作计算所述红方无人机在执行所述机动动作后的所述未来预定时刻的第二预测状态；
步骤S50：根据所述第二预测状态与所述第一预测状态计算在所述未来预定时刻所述蓝方无人机对所述红方无人机的威胁系数；
步骤S60：重复步骤S30至步骤S50直到计算出所述机动动作库中的所有机动动作对应的威胁系数；
步骤S70：从所有威胁系数中选取最小威胁系数；
步骤S80：输出与所述最小威胁系数对应的机动动作。
6.根据权利要求5所述的决策系统，其特征在于，所述红方的第一状态和蓝方的第二状态包括：位置信息、速度、俯仰角和偏航角，所述预定时间段包括从过去的一个预定时刻至当前时刻的时间区间。
7.根据权利要求6所述的决策系统，其特征在于，所述位置信息包括第一坐标值、第二坐标值和第三坐标值，所述处理器进一步被配置成：
采用六个独立且结构相同的所述LSTM网络分别对所述第一状态的第一坐标值、所述第一状态的第二坐标值和所述第一状态的第三坐标值、所述第一状态的速度、所述第一状态的俯仰角和所述第一状态的偏航角进行预测，以生成预测的第一状态的第一坐标值、预测的第一状态的第二坐标值、预测的第一状态的第三坐标值、预测的第一状态的第一预测速度、预测的第一状态的第一预测俯仰角和预测的第一状态的第一预测偏航角；
关联所述预测的第一状态的第一坐标值、预测的第一状态的第二坐标值、预测的第一状态的第三坐标值、预测的第一状态的第一预测速度、预测的第一状态的第一预测俯仰角和预测的第一状态的第一预测偏航角以生成所述第一预测状态。
8.根据权利要求7所述的决策系统，其特征在于，所述LSTM网络的输入数据为一维时间序列数据，方向为单向，层数为2层；所述LSTM网络采用衰减的学习速率，所述学习速率的初始值为1.0，所述学习速率的衰减值为0.5，所述LSTM网络的细胞单元的数量为100个，激活函数为双曲正切函数，所述LSTM网络还包括：用于防止过度拟合的退出层，所述退出层的保留节点数为0.8，所述LSTM网络采用均方误差的计算方式计算误差，确定权重参数的迭代更新方式采用RMSprop算法。
CN201810025736.2A 2018-01-11 2018-01-11 用于无人机空中对抗的决策系统及方法 Active CN108319132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810025736.2A CN108319132B (zh) 2018-01-11 2018-01-11 用于无人机空中对抗的决策系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810025736.2A CN108319132B (zh) 2018-01-11 2018-01-11 用于无人机空中对抗的决策系统及方法

Publications (2)

Publication Number Publication Date
CN108319132A true CN108319132A (zh) 2018-07-24
CN108319132B CN108319132B (zh) 2021-01-26

Family

ID=62894691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810025736.2A Active CN108319132B (zh) 2018-01-11 2018-01-11 用于无人机空中对抗的决策系统及方法

Country Status (1)

Country Link
CN (1) CN108319132B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508042A (zh) * 2019-01-30 2019-03-22 合肥工业大学 用于无人机编队智能决策的控制方法、系统及存储介质
CN110471055A (zh) * 2019-07-08 2019-11-19 岭澳核电有限公司 飞行物轨迹预测方法、装置、可读存储介质及终端设备
CN110727289A (zh) * 2019-11-26 2020-01-24 中国航空工业集团公司沈阳飞机设计研究所 一种无人机飞行控制方法
CN110806691A (zh) * 2018-08-06 2020-02-18 上海交通大学 带有自适应策略的滚动时域优化无人机航迹规划方法
CN110991545A (zh) * 2019-12-10 2020-04-10 中国人民解放军军事科学院国防科技创新研究院 一种面向多智能体对抗的强化学习训练优化方法及装置
CN111461292A (zh) * 2020-03-17 2020-07-28 南京航空航天大学 一种无人机实时轨迹预测方法
CN112799421A (zh) * 2021-03-30 2021-05-14 北京三快在线科技有限公司 无人机的控制方法、装置、存储介质和电子设备
CN114489144A (zh) * 2022-04-08 2022-05-13 中国科学院自动化研究所 无人机自主机动决策方法、装置及无人机
CN114638298A (zh) * 2022-03-15 2022-06-17 天津大学 飞行器攻击行为预测方法及电子设备
CN115222199A (zh) * 2022-05-31 2022-10-21 中国电子科技集团公司第五十二研究所 一种基于胜率预测的空战关键节点确定方法和装置
CN116736883A (zh) * 2023-05-23 2023-09-12 天津大学 一种无人飞行集群智能协同运动规划的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804607B1 (en) * 2001-04-17 2004-10-12 Derek Wood Collision avoidance system and method utilizing variable surveillance envelope
CN101908097A (zh) * 2010-07-13 2010-12-08 北京航空航天大学 一种空战决策的粒子群优化方法
CN104155999A (zh) * 2014-07-31 2014-11-19 海南大学 战场环境下多无人机时敏任务动态分配算法
CN106873628A (zh) * 2017-04-12 2017-06-20 北京理工大学 一种多无人机跟踪多机动目标的协同路径规划方法
CN107102969A (zh) * 2017-04-28 2017-08-29 湘潭大学 一种时间序列数据的预测方法和系统
CN107121679A (zh) * 2017-06-08 2017-09-01 湖南师范大学 用于雷达回波外推的循环神经网络预测法及记忆单元结构
CN107239859A (zh) * 2017-06-05 2017-10-10 国网山东省电力公司电力科学研究院 基于串联长短期记忆循环神经网络的供热负荷预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804607B1 (en) * 2001-04-17 2004-10-12 Derek Wood Collision avoidance system and method utilizing variable surveillance envelope
CN101908097A (zh) * 2010-07-13 2010-12-08 北京航空航天大学 一种空战决策的粒子群优化方法
CN104155999A (zh) * 2014-07-31 2014-11-19 海南大学 战场环境下多无人机时敏任务动态分配算法
CN106873628A (zh) * 2017-04-12 2017-06-20 北京理工大学 一种多无人机跟踪多机动目标的协同路径规划方法
CN107102969A (zh) * 2017-04-28 2017-08-29 湘潭大学 一种时间序列数据的预测方法和系统
CN107239859A (zh) * 2017-06-05 2017-10-10 国网山东省电力公司电力科学研究院 基于串联长短期记忆循环神经网络的供热负荷预测方法
CN107121679A (zh) * 2017-06-08 2017-09-01 湖南师范大学 用于雷达回波外推的循环神经网络预测法及记忆单元结构

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUNFANGXU 等: "Chaotic artificial bee colony approach to Uninhabited Combat Air Vehicle (UCAV) path", 《AEROSPACE SCIENCE AND TECHNOLOGY》 *
刘辉舟 等: "对抗场景划分识别与多agent群体对抗策略选择研究", 《计算机应用研究》 *
孟光磊: "基于混合动态贝叶斯网的无人机空战态势评估", 《指挥控制与仿真》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110806691A (zh) * 2018-08-06 2020-02-18 上海交通大学 带有自适应策略的滚动时域优化无人机航迹规划方法
CN109508042B (zh) * 2019-01-30 2022-05-31 合肥工业大学 用于无人机编队智能决策的控制方法、系统及存储介质
CN109508042A (zh) * 2019-01-30 2019-03-22 合肥工业大学 用于无人机编队智能决策的控制方法、系统及存储介质
CN110471055A (zh) * 2019-07-08 2019-11-19 岭澳核电有限公司 飞行物轨迹预测方法、装置、可读存储介质及终端设备
CN110727289A (zh) * 2019-11-26 2020-01-24 中国航空工业集团公司沈阳飞机设计研究所 一种无人机飞行控制方法
CN110991545A (zh) * 2019-12-10 2020-04-10 中国人民解放军军事科学院国防科技创新研究院 一种面向多智能体对抗的强化学习训练优化方法及装置
CN111461292A (zh) * 2020-03-17 2020-07-28 南京航空航天大学 一种无人机实时轨迹预测方法
CN112799421A (zh) * 2021-03-30 2021-05-14 北京三快在线科技有限公司 无人机的控制方法、装置、存储介质和电子设备
CN114638298A (zh) * 2022-03-15 2022-06-17 天津大学 飞行器攻击行为预测方法及电子设备
CN114489144A (zh) * 2022-04-08 2022-05-13 中国科学院自动化研究所 无人机自主机动决策方法、装置及无人机
CN115222199A (zh) * 2022-05-31 2022-10-21 中国电子科技集团公司第五十二研究所 一种基于胜率预测的空战关键节点确定方法和装置
CN115222199B (zh) * 2022-05-31 2023-11-14 中国电子科技集团公司第五十二研究所 一种基于胜率预测的空战关键节点确定方法和装置
CN116736883A (zh) * 2023-05-23 2023-09-12 天津大学 一种无人飞行集群智能协同运动规划的方法
CN116736883B (zh) * 2023-05-23 2024-03-08 天津大学 一种无人飞行集群智能协同运动规划的方法

Also Published As

Publication number Publication date
CN108319132B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN108319132A (zh) 用于无人机空中对抗的决策系统及方法
CN113095481B (zh) 一种基于并行自我博弈的空战机动方法
CN113791634B (zh) 一种基于多智能体强化学习的多机空战决策方法
CN112180967B (zh) 基于评判-执行架构的多无人机协同对抗决策方法
CN112198892B (zh) 一种多无人机智能协同突防对抗方法
CN112947541B (zh) 一种基于深度强化学习的无人机意图航迹预测方法
CN110928329A (zh) 一种基于深度q学习算法的多飞行器航迹规划方法
CN113671825B (zh) 一种基于强化学习的机动智能决策规避导弹方法
CN114063644B (zh) 基于鸽群反向对抗学习的无人作战飞机空战自主决策方法
CN111783944A (zh) 基于组合训练的规则嵌入多智能体强化学习方法及装置
Zhang et al. Maneuver decision-making of deep learning for UCAV thorough azimuth angles
CN113625569A (zh) 一种基于深度强化学习和规则驱动的小型无人机防控混合决策方法及系统
CN116136945A (zh) 一种基于反事实基线的无人机集群对抗博弈仿真方法
CN116700079A (zh) 基于ac-nfsp的无人机对抗占位机动控制方法
Kong et al. Hierarchical multi‐agent reinforcement learning for multi‐aircraft close‐range air combat
Xianyong et al. Research on maneuvering decision algorithm based on improved deep deterministic policy gradient
CN112800679B (zh) 一种光电装备防御规划方法、装置、设备及存储介质
Vicerra et al. A multiple level MIMO fuzzy logic based intelligence for multiple agent cooperative robot system
CN112651486A (zh) 一种提高maddpg算法收敛速度的方法及其应用
CN116432539A (zh) 一种时间一致性协同制导方法、系统、设备及介质
Kong et al. Multi-ucav air combat in short-range maneuver strategy generation using reinforcement learning and curriculum learning
CN115320890A (zh) 一种基于prd-maddpg算法的脉冲式轨道追逃博弈方法
Huo et al. Application and comparison of particle swarm optimization and genetic algorithm in strategy defense game
Lu et al. Strategy Generation Based on DDPG with Prioritized Experience Replay for UCAV
CN115544898B (zh) 基于深度强化学习的多智能体攻防决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant