CN110989649B - 面向高机动固定翼无人机的飞行动作控制装置及训练方法 - Google Patents

面向高机动固定翼无人机的飞行动作控制装置及训练方法 Download PDF

Info

Publication number
CN110989649B
CN110989649B CN201911364796.8A CN201911364796A CN110989649B CN 110989649 B CN110989649 B CN 110989649B CN 201911364796 A CN201911364796 A CN 201911364796A CN 110989649 B CN110989649 B CN 110989649B
Authority
CN
China
Prior art keywords
controller
flight
instruction
layer
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911364796.8A
Other languages
English (en)
Other versions
CN110989649A (zh
Inventor
朴海音
孙智孝
孙阳
彭宣淇
杨晟琦
李思凝
费思邈
闫传博
姚宗信
刘仲
葛俊
史贵超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Aircraft Design and Research Institute Aviation Industry of China AVIC
Original Assignee
Shenyang Aircraft Design and Research Institute Aviation Industry of China AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aircraft Design and Research Institute Aviation Industry of China AVIC filed Critical Shenyang Aircraft Design and Research Institute Aviation Industry of China AVIC
Priority to CN201911364796.8A priority Critical patent/CN110989649B/zh
Publication of CN110989649A publication Critical patent/CN110989649A/zh
Application granted granted Critical
Publication of CN110989649B publication Critical patent/CN110989649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • G05D1/0825—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability using mathematical models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请属于无人机飞行器控制技术领域，特别涉及一种面向高机动固定翼无人机的飞行动作控制装置及训练方法；控制装置包括：上层控制器，用于宏观无人机飞行动作选择；下层控制器，用于对上层选择的飞行动作进行相对精细的连续引导指令优化；控制装置的训练方法包括如下步骤：对上层控制器和下层控制器进行双层神经网络控制；对所述上层控制器和下层控制器进行双层神经网络训练。本申请的面向高机动固定翼无人机的飞行动作控制装置及训练方法，通过上下两层指令协调控制，避免了只控制飞行轨迹产生的较大的指令滞后；另外，通过分层强化学习方法，避免人为设计只能覆盖数个设计点导致的局限性，且能够适应场景发生变化，实现控制器自学习和自演化。

Description

面向高机动固定翼无人机的飞行动作控制装置及训练方法
技术领域
本申请属于无人机飞行器控制技术领域，特别涉及一种面向高机动固定翼无人机的飞行动作控制装置及训练方法。
背景技术
飞行动作，尤其是基本战术机动是现代固定翼战斗机进行战术飞行的基本构成单元。传统的有人驾驶飞机主要通过飞行员操纵驾驶杆、油门杆和方向舵来完成机动飞行动作，从而实现完整的飞行或对抗任务。
而现有固定翼无人机的主要飞行控制模式是针对轨迹跟踪设计的，并不完全适用于高机动飞行，这主要是由以下几个缺点造成的：
1)现有固定翼无人机模式是通过给定航点或航线进行航迹跟踪，由于飞机跟踪目标航线相对于跟踪更为内环的指令过载、指令角速度等控制量有较大的指令滞后，因此导致现有方法无法适应高机动固定翼无人机做机动飞行；
2)已有固定翼无人机控制器控制模式为人类专家根据具体场景预先设计设定，一旦场景发生变化，则飞行轨迹控制模式无法自适应调整与进化。
发明内容
为了解决上述技术问题至少之一，本申请提供了一种面向高机动固定翼无人机的飞行动作控制装置及训练方法。
第一方面，本申请公开了本申请公开了一种面向高机动固定翼无人机的飞行动作控制装置，包括：
上层控制器，用于宏观无人机飞行动作选择；
下层控制器，用于对上层选择的飞行动作进行相对精细的连续引导指令优化。
根据本申请的至少一个实施方式，所述上层控制器用于宏观无人机飞行动作选择包括：
选择飞行动作，以及输入飞行状态向量S，输出离散的One-Hot编码机动控制向量。
根据本申请的至少一个实施方式，所述下层控制器用于对上层选择的飞行动作进行相对精细的连续引导指令优化包括：
根据上层控制器输出的One-Hot编码机动控制向量和飞行状态向量S进行连续引导控制量解算，输出引导控制指令；其中
通过上层控制器、下层控制器两层指令协调生成内外环综合控制指令，能够控制外环指令以及调节内环高动态连续指令。
根据本申请的至少一个实施方式，所述外环指令至少包括指令速度、指令航向；所述内环高动态连续指令至少包括指令角速度、指令过载。
第二方面，本申请还公开了一种面向高机动固定翼无人机的飞行动作控制装置的训练方法，包括如下步骤：
步骤一、对上层控制器和下层控制器进行双层神经网络控制；
步骤二、对上层控制器和下层控制器进行双层神经网络训练。
根据本申请的至少一个实施方式，所述步骤一包括：
步骤1.1、建立双层神经网络结构，第一层作为机动编码meta-controller，负责宏观无人机飞行动作选择；
步骤1.2、第二层是低级别steer-controller，根据机动编码meta-controller给出的飞行动作，选择对应的指令进行神经网络计算，输出最终的action指令；
步骤1.3、到达预设时间后，重复由机动编码meta-controller开展新一轮调用；
步骤1.4、Meta-controller接受外在奖励，同时给与低级别-Steer-Controller内在奖励；
步骤1.5、返回步骤1.1重复执行上述步骤。
根据本申请的至少一个实施方式，所述步骤1.1中，无人机飞行动作选择包括向左飞行、爬高、向右飞行、下滑、平飞；其中
所述步骤1.2中，是选择指令航向chi、指令爬升角gamma、指令航向角速率chi_dot、指令爬升角速度gamma_dot及指令飞行速度V的神经网络计算。
根据本申请的至少一个实施方式，所述步骤二包括：
步骤2.1、通过在飞行仿真器中持续调用双层神经网络控制阶段来进行采样，构成样本Record，其中，样本Record包括预定数量飞行状态向量s,、飞行机动动作编码g、飞行连续控制指令a、回报r及下一阶段飞行状态向量S’；
步骤2.2、下层steer-controller根据样本Record中的飞行连续控制指令a向量，和飞行机动动作编码g，评估每一个样本Record的steer-controller的最大累计回报值；
步骤2.3、上层meta-controller建立全局累计飞行回报值，来对不同目标情况下，上下两层协同控制飞行机动动作编码g和飞行连续控制指令a的共同外在奖励情况；
步骤2.4、上下两层controller进行学习更新，建立双层单步更新误差，通过随机梯度下降方法进行经验风险最小化，得到累积回报，完成双层神经网络训练；
步骤2.5、返回步骤2.1开展下一轮训练。
本申请至少存在以下有益技术效果：
本申请的面向高机动固定翼无人机的飞行动作控制装置及训练方法，通过上下两层指令协调生成内外环综合控制指令，能够控制从指令航向、指令速度这样的外环指令的同时，还能够调节指令角速度、指令过载等内环高动态连续指令，避免了只控制飞行轨迹产生的较大的指令滞后；另外，通过分层强化学习方法，自动产生大量样本来学习和适应复杂高维的多种动态飞行场景，避免人为设计只能覆盖数个设计点导致的局限性，且能够适应场景发生变化，实现控制器自学习和自演化。
附图说明
图1是本申请面向高机动固定翼无人机的飞行动作控制装置的训练方法的一实施例训练结果对比图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
第一方面，本申请公开了一种面向高机动固定翼无人机的飞行动作控制装置，可以包括上层控制器Meta-Controller和下层控制器Steer-Controller。
其中，上层控制器用于宏观无人机飞行动作选择；具体地，包括选择飞行动作，以及输入飞行状态向量S，输出离散的One-Hot编码机动控制向量。
下层控制器用于对上层选择的飞行动作进行相对精细的连续引导指令优化；具体地，包括根据上层控制器输出的One-Hot编码机动控制向量和飞行状态向量S进行连续引导控制量解算，输出引导控制指令。通过上下两层协调工作最终输出飞行控制系统能够接受的有效离散-连续混杂指令输入，从而实现复杂高动态机动动作。
综上，本申请的面向高机动固定翼无人机的飞行动作控制装置，通过上下两层指令协调生成内外环综合控制指令，能够控制从指令航向、指令速度这样的外环指令的同时，还能够调节指令角速度、指令过载等内环高动态连续指令，避免了只控制飞行轨迹产生的较大的指令滞后。
第二方面，本申请还公开了一种面向高机动固定翼无人机的飞行动作控制装置的训练方法；经过学习训练，使得上层控制器可用于宏观无人机飞行动作选择，而下层控制器则可在上层已选飞行动作基础上提供更为精细的连续引导指令优化，使高机动固定翼无人机能够实现与人类驾驶员媲美的机动飞行动作控制与自进化。
具体地，面向高机动固定翼无人机的飞行动作控制装置的训练方法包括如下步骤：
步骤一、对上层控制器和下层控制器进行双层神经网络控制。
其中，步骤一又具体包括：
步骤1.1、建立双层神经网络结构，第一层作为机动编码meta-controller，负责选择宏观机动动作，例如包括向左飞行、爬高、向右飞行、下滑、平飞。
步骤1.2、第二层是低级别steer-controller，根据机动编码meta-controller给出的目标选择指令航向chi、指令爬升角gamma、指令航向角速率chi_dot、指令爬升角速度gamma_dot及指令飞行速度V的神经网络计算，输出最终的action指令。
步骤1.3、到达规定时间后，重复由机动编码meta-controller开展新一轮调用。
步骤1.4、Meta-controller接受外在奖励，同时给与低级别-Steer-Controller内在奖励。
步骤1.5、返回步骤1.1重复执行上述步骤(即整个步骤一)。
步骤二、对所述上层控制器和下层控制器进行双层神经网络训练。
其中，步骤二又具体包括：
步骤2.1、通过在飞行仿真器中持续调用双层神经网络控制阶段来进行采样，构成样本Record，其中，样本Record包括预定数量飞行状态向量s,、飞行机动动作编码g、飞行连续控制指令a、回报r及下一阶段飞行状态向量S’；进一步，优选上述预定数量为不少于32000个。
步骤2.2、下层steer-controller根据样本Record中的飞行连续控制指令a向量，和飞行机动动作编码g，评估每一个样本Record的steer-controller的最大累计回报值，其计算公式如下：
其中，t代表当前时刻，πag为在当前飞行机动动作编码g下计算a向量的策略函数，γ为回报折扣因子，整个式子代表在πag作用下，下层steer-controller在当前s条件下面向g目标得到的累计预期回报的期望，在a向量下最大化该期望定义为最优Q函数即代表当前机动下，选取最佳飞行连续控制a向量获得的最佳收益。
步骤2.3、上层meta-controller根据建立全局累计飞行回报函数来估计不同目标情况下，上下两层协同控制动作g和a的共同外在奖励情况，其计算公式如下：
其中N为时间步，代表每N时间步切换一次上层控制策略，f为累计外部奖励，在机动号g下最大化累计预期f的期望定义为最优Q函数即代表当前机动下，选取最佳g动作获得的最佳收益。
步骤2.4、上下两层controller进行学习更新，建立双层单步更新误差，通过随机梯度下降方法进行经验风险最小化，从而在当前下得到更加好的累积回报，从而实现飞行轨迹控制模式自适应调整与进化，完成双层神经网络训练；具体通过如下公式实现：
y1，i＝r+γmaxa′Q1(s′，a′；θ1，i-1，g).；
其中θ1为学到的下层控制器参数，yi，i代表当前引导向量a作用下，预期最佳的累计Q函数，因此L1(θ1，i)代表预期最佳的累计Q函数与当前由神经网络表示的Q函数的差值，即时间差分误差，因此运用随机梯度下降方法，即可对这一误差针对下层控制器的神经网络参数θ1进行持续优化，实现基于采样的训练与进化；上层控制器的神经网络参数θ2的训练方式与下层控制器相同，区别在于其随机梯度的求解为在飞行机动动作编码g条件下的上层时间差分误差对上层控制器的神经网络参数θ2求梯度。
步骤2.5、返回步骤2.1开展下一轮训练。
因此，本申请的上述方法在以往的控制方法设计上进行了改进，控制与学习流程简单明确，易于工程实现，彻底解决了以往方法无法适应高机动固定翼无人机做机动飞行和飞行轨迹控制模式无法自适应调整与进化的问题。
综上所述，本申请的面向高机动固定翼无人机的飞行动作控制装置的训练方法，至少包括如下优点：
1)对无人机机动飞行达到指定的位置与速度这一任务进行了仿真分析实验。其中每次迭代采样32000样本。该方法与DQN直接控制底层指令航向chi、指令爬升角gamma、指令航向角速率chi_dot、指令爬升角速度gamma_dot及指令飞行速度V相比(参见图1所示)，累计飞行回报在50轮迭代后提升了3000左右，证明本方法能够明显提升飞行机动动作的学习效率；
2)通过上下两层指令协调生成内外环综合控制指令，能够控制从指令航向、指令速度这样的外环指令的同时，还能够调节指令角速度、指令过载等内环高动态连续指令，避免了只控制飞行轨迹产生的较大的指令滞后；
3)通过分层强化学习方法，自动产生大量样本来学习和适应复杂高维的多种动态飞行场景，避免人为设计只能覆盖数个设计点导致的局限性，且能够适应场景发生变化，实现控制器自学习和自演化。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种面向高机动固定翼无人机的飞行动作控制装置，其特征在于，包括：
上层控制器，用于宏观无人机飞行动作选择；
下层控制器，用于对上层选择的飞行动作进行相对精细的连续引导指令优化；所述上层控制器用于宏观无人机飞行动作选择包括：
选择飞行动作，以及输入飞行状态向量S，输出离散的One-Hot编码机动控制向量；所述下层控制器用于对上层选择的飞行动作进行相对精细的连续引导指令优化包括：
根据上层控制器输出的One-Hot编码机动控制向量和飞行状态向量S进行连续引导控制量解算，输出引导控制指令；其中
通过上层控制器、下层控制器两层指令协调生成内外环综合控制指令，能够控制外环指令以及调节内环高动态连续指令；所述外环指令至少包括指令速度、指令航向；所述内环高动态连续指令至少包括指令角速度、指令过载。
2.一种面向高机动固定翼无人机的飞行动作控制装置的训练方法，其特征在于，包括如下步骤：
步骤一、对权利要求1所述的面向高机动固定翼无人机的飞行动作控制装置中的上层控制器和下层控制器进行双层神经网络控制；
步骤二、对所述上层控制器和下层控制器进行双层神经网络训练。
3.根据权利要求2所述的面向高机动固定翼无人机的飞行动作控制装置的训练方法，其特征在于，所述步骤一包括：
步骤1.1、建立双层神经网络结构，第一层作为机动编码meta-controller，负责宏观无人机飞行动作选择；
步骤1.2、第二层是低级别steer-controller，根据机动编码meta-controller给出的飞行动作，选择对应的指令进行神经网络计算，输出最终的action指令；
步骤1.3、到达预设时间后，重复由机动编码meta-controller开展新一轮调用；
步骤1.4、Meta-controller接受外在奖励，同时给与低级别-Steer-Controller内在奖励；
步骤1.5、返回步骤1.1重复执行上述步骤。
4.根据权利要求3所述的面向高机动固定翼无人机的飞行动作控制装置的训练方法，其特征在于，所述步骤1.1中，无人机飞行动作选择包括向左飞行、爬高、向右飞行、下滑、平飞；其中
所述步骤1.2中，是选择指令航向chi、指令爬升角gamma、指令航向角速率chi_dot、指令爬升角速度gamma_dot及指令飞行速度V的神经网络计算。
5.根据权利要求4所述的面向高机动固定翼无人机的飞行动作控制装置的训练方法，其特征在于，所述步骤二包括：
步骤2.1、通过在飞行仿真器中持续调用双层神经网络控制阶段来进行采样，构成样本Record，其中，样本Record包括预定数量飞行状态向量s、飞行机动动作编码g、飞行连续控制指令a、回报r及下一阶段飞行状态向量S’；
步骤2.2、下层steer-controller根据样本Record中的飞行连续控制指令a向量，和飞行机动动作编码g，评估每一个样本Record的steer-controller的最大累计回报值；
步骤2.3、上层meta-controller建立全局累计飞行回报值，来对不同目标情况下，上下两层协同控制飞行机动动作编码g和飞行连续控制指令a的共同外在奖励情况；
步骤2.4、上下两层controller进行学习更新，建立双层单步更新误差，通过随机梯度下降方法进行经验风险最小化，得到累积回报，完成双层神经网络训练；
步骤2.5、返回步骤2.1开展下一轮训练。
CN201911364796.8A 2019-12-26 2019-12-26 面向高机动固定翼无人机的飞行动作控制装置及训练方法 Active CN110989649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911364796.8A CN110989649B (zh) 2019-12-26 2019-12-26 面向高机动固定翼无人机的飞行动作控制装置及训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911364796.8A CN110989649B (zh) 2019-12-26 2019-12-26 面向高机动固定翼无人机的飞行动作控制装置及训练方法

Publications (2)

Publication Number Publication Date
CN110989649A CN110989649A (zh) 2020-04-10
CN110989649B true CN110989649B (zh) 2023-07-25

Family

ID=70077128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911364796.8A Active CN110989649B (zh) 2019-12-26 2019-12-26 面向高机动固定翼无人机的飞行动作控制装置及训练方法

Country Status (1)

Country Link
CN (1) CN110989649B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162564B (zh) * 2020-09-25 2021-09-28 南京大学 基于模仿学习和强化学习算法的无人机飞行控制方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5509121A (en) * 1991-09-02 1996-04-16 Hitachi, Ltd. Multi-protocol communication control apparatus
CN1350354A (zh) * 2001-11-16 2002-05-22 清华大学 可控串联电容补偿最小时间控制器及其控制方法
CN104454697A (zh) * 2014-10-17 2015-03-25 北京航天益森风洞工程技术有限公司 大载荷快速插入机构高速驱动及定位方法
CN106595671A (zh) * 2017-02-22 2017-04-26 南方科技大学 一种基于强化学习的无人机路径规划方法和装置
WO2018090702A1 (zh) * 2016-11-16 2018-05-24 中国移动通信有限公司研究院 一种数据传输系统、方法、装置及计算机可读存储介质
CN109164821A (zh) * 2018-09-26 2019-01-08 中科物栖（北京）科技有限责任公司 一种无人机姿态训练方法及装置
WO2019061063A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 无人机图像采集方法及无人机
WO2019085834A1 (zh) * 2017-11-01 2019-05-09 华南理工大学 一种无人飞行器稳定飞行控制方法
CN110531786A (zh) * 2019-09-10 2019-12-03 西北工业大学 基于dqn的无人机机动策略自主生成方法
CN110555404A (zh) * 2019-08-29 2019-12-10 西北工业大学 基于人体姿态识别的飞翼无人机地面站交互装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194397B1 (en) * 2001-11-27 2007-03-20 Lockheed Martin Corporation Robust uninhabited air vehicle active missions

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5509121A (en) * 1991-09-02 1996-04-16 Hitachi, Ltd. Multi-protocol communication control apparatus
CN1350354A (zh) * 2001-11-16 2002-05-22 清华大学 可控串联电容补偿最小时间控制器及其控制方法
CN104454697A (zh) * 2014-10-17 2015-03-25 北京航天益森风洞工程技术有限公司 大载荷快速插入机构高速驱动及定位方法
WO2018090702A1 (zh) * 2016-11-16 2018-05-24 中国移动通信有限公司研究院 一种数据传输系统、方法、装置及计算机可读存储介质
CN106595671A (zh) * 2017-02-22 2017-04-26 南方科技大学 一种基于强化学习的无人机路径规划方法和装置
WO2019061063A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 无人机图像采集方法及无人机
WO2019085834A1 (zh) * 2017-11-01 2019-05-09 华南理工大学 一种无人飞行器稳定飞行控制方法
CN109164821A (zh) * 2018-09-26 2019-01-08 中科物栖（北京）科技有限责任公司 一种无人机姿态训练方法及装置
CN110555404A (zh) * 2019-08-29 2019-12-10 西北工业大学 基于人体姿态识别的飞翼无人机地面站交互装置及方法
CN110531786A (zh) * 2019-09-10 2019-12-03 西北工业大学 基于dqn的无人机机动策略自主生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟光磊,等.自动化飞行训练评估中的战机机动动作识别.北 京航空航天大学学报.2019,第46卷(第46期),1267-1274. *

Also Published As

Publication number Publication date
CN110989649A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN108319286B (zh) 一种基于强化学习的无人机空战机动决策方法
CN110471444B (zh) 基于自主学习的无人机智能避障方法
CN108594639A (zh) 一种基于强化学习的全垫升气垫船航迹跟踪控制方法
CN110531786B (zh) 基于dqn的无人机机动策略自主生成方法
CN110502033B (zh) 一种基于强化学习的固定翼无人机群集控制方法
CN110488859B (zh) 一种基于改进Q-learning算法的无人机航路规划方法
CN110806756B (zh) 基于ddpg的无人机自主引导控制方法
CN111538241B (zh) 一种平流层飞艇水平轨迹智能控制方法
CN107553490A (zh) 一种基于深度学习的单目视觉避障方法
CN108919640B (zh) 无人机自适应多目标跟踪的实现方法
Ma et al. Multi-robot target encirclement control with collision avoidance via deep reinforcement learning
CN111880567A (zh) 基于深度强化学习的固定翼无人机编队协调控制方法及装置
CN114675545B (zh) 一种基于强化学习的高超声速飞行器再入协同制导方法
CN111506063B (zh) 一种基于分层强化学习框架的移动机器人无图导航方法
CN110989649B (zh) 面向高机动固定翼无人机的飞行动作控制装置及训练方法
WO2022095060A1 (zh) 路径规划方法、路径规划装置、路径规划系统和介质
CN106200673B (zh) 一体化自动飞行机动控制方法
CN110502034A (zh) 一种基于深度强化学习的固定翼无人机群集控制方法
CN114089776B (zh) 一种基于深度强化学习的无人机避障方法
CN114237267B (zh) 基于强化学习的飞行机动决策的辅助方法
CN115033022A (zh) 面向移动平台基于专家经验的ddpg无人机降落方法
WO2022095067A1 (zh) 路径规划方法、路径规划装置、路径规划系统和介质
CN113741533A (zh) 一种基于模仿学习与强化学习的无人机智能决策系统
CN114253274B (zh) 基于数据驱动的网联混合车辆编队滚动优化控制方法
CN112947073A (zh) 一种基于模型预测控制的舰载机滑行轨迹跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant