CN114578861B - 一种利用阵风环境的无人机飞行控制策略设计方法 - Google Patents

一种利用阵风环境的无人机飞行控制策略设计方法 Download PDF

Info

Publication number
CN114578861B
CN114578861B CN202210461986.7A CN202210461986A CN114578861B CN 114578861 B CN114578861 B CN 114578861B CN 202210461986 A CN202210461986 A CN 202210461986A CN 114578861 B CN114578861 B CN 114578861B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
gust
action
control strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210461986.7A
Other languages
English (en)
Other versions
CN114578861A (zh
Inventor
阚梓
李道春
郑勇峰
姚卓尔
田茂江
申童
邵浩原
赵仕伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avic Chengdu Uav System Co ltd
Beihang University
Original Assignee
Avic Chengdu Uav System Co ltd
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avic Chengdu Uav System Co ltd, Beihang University filed Critical Avic Chengdu Uav System Co ltd
Priority to CN202210461986.7A priority Critical patent/CN114578861B/zh
Publication of CN114578861A publication Critical patent/CN114578861A/zh
Application granted granted Critical
Publication of CN114578861B publication Critical patent/CN114578861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种利用阵风环境的无人机飞行控制策略设计方法，包括建立无人机在阵风环境中的飞行动力学模型；选择无人机滚转角、风场梯度引起的滚转角速度和垂直风速变化率作为状态量，利用强化学习Q‑learning算法对状态量进行迭代训练，得到最优控制策略；根据得到的最优控制策略对阵风环境下的无人机进行飞行控制决策，通过PID控制器控制无人机实时滚转角改变其航向，使其找到上升气流并利用其进行爬升，本方法有效克服了目前常用的无人机利用阵风环境的飞行控制方法需要经过繁杂的调试过程且效果不理想的难题，可以自动适应不同阵风环境，显著提高无人机全天候安全飞行能力。

Description

一种利用阵风环境的无人机飞行控制策略设计方法
技术领域
本发明涉及无人机飞行控制方法的技术领域，具体为涉及一种利用阵风环境的无人机飞行控制策略设计方法。
背景技术
无人机凭借其独特的优势在各种领域发挥着越来越重要的作用。目前无人机执行的任务，通常要求它们具备较好的续航性能。而无人机在空中飞行时，尤其是穿越山区、海面以及复杂城市环境时，经常会遇到各种严重的大气扰流，当紊流有向上的速度分量时，理论上无人机可以借此提高升力；而当遭遇向下的气流时，无人机则可以减小升力，这一过程中无人机的平均升力足以抵消重力，维持其正常飞行，从而可以有效的提高无人机的续航时间和航程。
然而当前常规的无人机利用阵风环境的飞行控制方法效果不理想，如CN114020044A公开了一种柔性无人机抗侧风飞行控制方法，通过建立柔性飞行器的飞行动力学方程、模拟舵机的反应建立模型并利用静态输出反馈参数设计外环回路成形控制器。CN113805602A公开了一种考虑阵风影响的无人机飞行高度控制方法，通过构建开环阵风响应动力学模型；通过卡尔曼滤波法获得去噪后的无人机系统的状态量估计值。但上述飞行控制方法中，为了保证控制律中的关键参数能够在特定环境下正常工作，往往需要经过繁杂的调试过程，显著影响了无人机的续航时间和航程。
发明内容
针对目前常规无人机利用阵风环境的飞行控制方法调试困难，效果不理想的问题，提出一种基于强化学习技术的利用阵风环境的无人机飞行控制策略设计方法，可以自动适应阵风环境，显著提高无人机全天候安全飞行能力。
本发明完整的技术方案包括：
（1）建立无人机在阵风环境中的飞行动力学模型；
（2）利用Q-learning算法对当前时刻的状态量进行迭代训练；
所述迭代训练过程包括：
首先初始化Q-learning算法的动作价值函数，所述动作价值函数包括当前时刻的状态量，所述状态量包括无人机滚转角、风场梯度引起的滚转角速度和垂直风速变化率，其中所述垂直风速变化率为奖赏函数；
根据预定策略选择动作，并观测下一时刻的状态量和即时奖赏，根据即时奖赏更新动作价值函数，进行逐步迭代至动作价值函数收敛，得到控制策略；
（3）根据迭代训练得到的控制策略对阵风环境下的无人机进行飞行控制决策，通过控制无人机滚转角改变其航向，使其找到上升气流并利用其进行爬升。
步骤（1）中，所述无人机在阵风环境中的飞行动力学模型建立方法包括：
（1.1）在平面大地条件下，以地面坐标系为参考系，建立由无人机航向角、爬升角和无人机空速绝对值定义的无人机空速矢量公式；
（1.2）将无人机空速矢量表示为无人机相对地面参考坐标系的速度和风速的叠加；
（1.3）建立由无人机的升力、阻力和重力定义的无人机所受合力公式；
（1.4）建立风速场的空间梯度；
（1.5）建立无人机相对地面参考坐标系在x轴和z轴方向的加速度公式；
（1.6）建立无人机的爬升角变化率和比升力公式。
步骤（2）中，动作价值函数在迭代过程中，对每一状态下可以采取的每种动作所能带来的累积奖赏进行估计。
步骤（2）中，所述无人机滚转角由无人机自带的传感器获得。
步骤（2）中，风场梯度引起的滚转角速度，由无人机受到的总滚转角速度减去控制面偏转使滚转角达到参考滚转角时导致的滚转角速度，以及由于无人机气动力不对称而产生的滚转角速度得到。
步骤（2）中，所述预定策略为e-greedy策略。
步骤（3）中，所述根据训练得到的控制策略包括无人机的参考滚转角，通过PID控制器控制无人机的滚转角使无人机找到上升气流，具体的PID控制方法为：
Figure 558529DEST_PATH_IMAGE001
式中，
Figure 539254DEST_PATH_IMAGE002
为PID控制律解算后的副翼偏转角；
Figure 551072DEST_PATH_IMAGE003
是无人机滚转角随时间变化的函数表达；
Figure 499306DEST_PATH_IMAGE004
为副翼最大偏转角度，该参数根据计算得到的无人机的滚转响应的波动情况，进行调整确定；
Figure 887562DEST_PATH_IMAGE005
，
Figure 988373DEST_PATH_IMAGE006
，
Figure 171093DEST_PATH_IMAGE007
分别为PID控制器的比例参数、积分参数和微分参数。
本发明相对于现有技术的优点在于：
（1）本发明利用阵风环境的无人机飞行控制策略设计方法，在强化学习过程中，选择最能反映无人机阵风飞行特点的无人机滚转角、风场梯度引起的滚转角速度和垂直风速变化率作为状态量进行强化学习，并选择垂直风速变化率作为奖赏，这是本发明最重要的创新点，经过上述状态量强化学习训练后得到的飞行控制策略，相对现有技术实现了优化设计，避免了利用阵风环境的飞行控制方法调试过程繁杂，效果不理想的问题。
（2）为适应采用上述状态量进行强化学习的过程，本发明提出了无人机适合阵风环境的动力学模型，结合飞行过程中获得的部分参数，带入动力学模型进行求解，可以有效提高训练精度以及效率。
（3）本发明采用强化学习Q-learning算法获得的无人机利用阵风环境的最佳飞行控制策略，采用PID控制器进行阵风环境下的飞行控制，可以自动适应不同阵风环境，显著提高无人机全天候安全飞行能力。
附图说明
图1为本发明一种利用阵风环境的无人机飞行控制策略设计方法框架示意图。
图2为实施例中无人机控制策略图。
图3为实施例中无人机飞行轨迹图。
具体实施方式
下面将结合本申请实施方式中的附图，对本申请的实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本申请。
以下结合实施例和附图对本发明进行详细描述，但需要理解的是，所述实施例和附图仅用于对本发明进行示例性的描述，而并不能对本发明的保护范围构成任何限制。所有包含在本发明的发明宗旨范围内的合理的变换和组合均落入本发明的保护范围。
参照图1，对本实施方式所公开的技术方案进行进一步说明，需要指出的是，在本实施方式所用的参数符号中，如无特殊说明，上方带右向箭头的符号代表该参数的矢量值，而无箭头代表该参数的绝对值，即标量值；上方带有圆点的符号，代表圆点下方符号所代表参数的导数，圆点的个数为导数阶数。如以无人机空速为例，
Figure 370736DEST_PATH_IMAGE008
（上方带右向箭头）表示无人机空速矢量，而
Figure 562683DEST_PATH_IMAGE009
表示无人机空速的绝对值，为标量；
Figure 518001DEST_PATH_IMAGE010
表示无人机空速的一阶导数，
Figure 137201DEST_PATH_IMAGE011
表示无人机空速的二阶导数。此外，本发明中，
Figure 60027DEST_PATH_IMAGE012
是无人机滚转角，即无人机在当前时刻的滚转角，
Figure 790085DEST_PATH_IMAGE013
表示经过强化学习后给定的参考滚转角。
如图1所示，本实施方式公开的一种具体的利用阵风环境的无人机飞行控制方法，包括以下步骤：
S1：建立无人机在阵风环境中的飞行动力学模型
在平面大地假设下，以地面坐标系为参考坐标系。得到无人机的空速矢量值
Figure 599909DEST_PATH_IMAGE014
为：
Figure 390011DEST_PATH_IMAGE015
式中，
Figure 301597DEST_PATH_IMAGE016
为爬升角，
Figure 569768DEST_PATH_IMAGE017
为航向角，
Figure 827574DEST_PATH_IMAGE018
为无人机的空速绝对值。
将无人机空速矢量表示为无人机相对地面参考坐标系的速度和风速的叠加，即
Figure 460680DEST_PATH_IMAGE019
式中，
Figure 171147DEST_PATH_IMAGE020
为无人机相对地面参考坐标系的速度，由x轴、y轴和z轴三个方向的速度分量组成，
Figure 367642DEST_PATH_IMAGE021
为风速。
无人机受力为升力、阻力和重力的共同作用，根据牛顿第二定律，建立由无人机的升力、阻力和重力定义的无人机所受合力公式：
Figure 542272DEST_PATH_IMAGE022
式中，
Figure 283963DEST_PATH_IMAGE023
是无人机所受合力，
Figure 544043DEST_PATH_IMAGE024
是升力矢量；
Figure 794763DEST_PATH_IMAGE025
是阻力矢量；
Figure 89478DEST_PATH_IMAGE026
是重力矢量，
Figure 2070DEST_PATH_IMAGE027
是无人机质量，
Figure 749446DEST_PATH_IMAGE028
是重力加速度矢量；
Figure 287744DEST_PATH_IMAGE029
是物理时间；
Figure 374649DEST_PATH_IMAGE030
是无人机相对地面参考坐标系的加速度矢量。
令
Figure 848355DEST_PATH_IMAGE031
为风速场的空间梯度，建立风速场的空间梯度公式，表示为：
Figure 692815DEST_PATH_IMAGE032
式中，
Figure 644590DEST_PATH_IMAGE033
、
Figure 274417DEST_PATH_IMAGE034
和
Figure 919025DEST_PATH_IMAGE035
分别表示地面参考坐标系x、y和z轴三个方向上的风速分量。
将无人机的六自由度运动分解为纵向运动和横侧向运动，并主要考虑纵向运动的影响，建立无人机相对地面参考坐标系在x轴和z轴方向的加速度公式，得到：
Figure 250780DEST_PATH_IMAGE036
Figure 6247DEST_PATH_IMAGE037
式中，
Figure 989115DEST_PATH_IMAGE038
和
Figure 804624DEST_PATH_IMAGE039
表示无人机相对地面参考坐标系在x轴和z轴方向的加速度；
Figure 623676DEST_PATH_IMAGE040
和
Figure 917254DEST_PATH_IMAGE041
表示无人机相对地面参考坐标系在x轴和z轴方向的速度。
为了求解上述纵向飞行动力学模型，建立无人机爬升角随时间的变化率
Figure 833257DEST_PATH_IMAGE042
和比升力
Figure 442837DEST_PATH_IMAGE043
的公式如下：
Figure 545922DEST_PATH_IMAGE044
Figure 846453DEST_PATH_IMAGE045
式中，
Figure 413701DEST_PATH_IMAGE046
是升力和质量的比值；
Figure 695646DEST_PATH_IMAGE047
是爬升角随时间的变化率，
Figure 613924DEST_PATH_IMAGE048
是重力绝对值。
S2：设计无人机滚转控制器和基于强化学习的控制框架；
本方法中的无人机通过控制滚转角改变其航向，从而帮助其找到上升气流并控制无人机利用阵风能量进行爬升，从而增大其航时和航程。无人机的实时滚转角控制采用PID控制器，为了减小状态空间，PID控制器在1s时间内将飞机的滚转角调整至指令的大小，且无人机的响应不宜有过大的超调。
本实施方式中，无人机找到上升气流并控制无人机利用阵风能量的滚转控制策略，通过由强化学习得到的参考滚转角
Figure 124671DEST_PATH_IMAGE049
实现，无人机通过控制副翼的偏转角
Figure 812004DEST_PATH_IMAGE050
以控制其滚转，所用的PID控制律为：
Figure 766316DEST_PATH_IMAGE051
式中，
Figure 171889DEST_PATH_IMAGE002
为PID控制律解算后的副翼偏转角；
Figure 751906DEST_PATH_IMAGE003
是无人机滚转角随时间变化的函数表达；
Figure 293746DEST_PATH_IMAGE004
为副翼最大偏转角度，该参数根据计算得到的无人机的滚转响应的波动情况，进行调整确定；
Figure 917494DEST_PATH_IMAGE005
，
Figure 544785DEST_PATH_IMAGE006
，
Figure 397334DEST_PATH_IMAGE007
分别为PID控制器的比例参数、积分参数和微分参数。
本实施方中，将利用阵风环境的无人机飞行控制问题转化为一个马尔科夫决策过程。马尔科夫决策过程由状态空间，动作空间，状态转移概率和奖赏函数构成，其中转移概率表示在某状态采取某动作时到达的状态及相应取得的奖赏的概率分布。对于一个马尔科夫决策过程，目的是找到一个策略来最大化过程中得到的总奖赏或加权的平均奖赏。
该马尔科夫决策过程可以通过迭代求解贝尔曼方程得到最优解，具体为每个状态定义一个价值函数，每个状态采取的动作可以由价值函数计算得到。
本发明采用强化学习中的Q-learning算法，通过不停感知环境状态和即时奖赏，得到无人机利用阵风能量的滚转控制策略。通过迭代更新Q-learning算法的价值函数，对每一状态下可以采取的每种动作所能带来的累积奖赏进行估计。决策时依据该价值函数采取最优的策略或随机进行下一步动作以探索未知的状态，以达到全局最优的控制策略。结合PID控制器提供了姿态的控制和稳定，减小强化学习的状态空间，缩短训练时间。
S3，确定强化学习的状态量；
本发明选取无人机滚转角
Figure 262522DEST_PATH_IMAGE052
、风速梯度引起的滚转角速度
Figure 932538DEST_PATH_IMAGE053
和垂直风速变化率
Figure 676153DEST_PATH_IMAGE054
三个状态量，并将状态空间和动作空间离散化，组成本方法所使用的马尔科夫决策过程。
本发明强化学习过程中的状态量，通过传感器以及实测获得的部分参数，结合S1中的动力学模型进行解算获得。
本发明状态量中的无人机滚转角
Figure 457027DEST_PATH_IMAGE055
由无人机自带的传感器获得。
风速梯度引起的滚转角速度
Figure 848825DEST_PATH_IMAGE053
获得方式为：无人机受到的总滚转角速度包含会由空间中的风速梯度产生的滚转角速度、控制面偏转使滚转角达到参考滚转角时导致的滚转角速度以及由于无人机气动力不对称而产生的滚转角速度。本发明采用PID控制律进行滚转控制，有：
Figure 689742DEST_PATH_IMAGE056
式中，
Figure 681838DEST_PATH_IMAGE057
是风速梯度引起的滚转角速度的时间函数表达，
Figure 824DEST_PATH_IMAGE058
表示舵面偏转前一时刻的滚转角，
Figure 247128DEST_PATH_IMAGE059
是舵面偏转前一时刻和当前时刻的时间间隔；
Figure 258947DEST_PATH_IMAGE060
是无人机气动力不对称而产生的滚转角速度。
垂直风速变化率
Figure 708645DEST_PATH_IMAGE061
的获得方式如下式所示：
Figure 96901DEST_PATH_IMAGE062
其中，
Figure 197712DEST_PATH_IMAGE063
为风速在z轴方向上的分量；
Figure 380432DEST_PATH_IMAGE064
为无人机相对地面参考坐标系在z轴方向的速度分量；
Figure 347120DEST_PATH_IMAGE065
为无人机的空速纵向分量，即空速绝对值的z轴分量。其中无人机相对地面参考坐标系的速度及其各个方向上的速度分量可直接由惯性元件测量得到。
Figure 273487DEST_PATH_IMAGE065
受到攻角变化的影响，将
Figure 228805DEST_PATH_IMAGE065
的变化量表示为：
Figure 848005DEST_PATH_IMAGE066
其中，
Figure 269366DEST_PATH_IMAGE067
是无人机前向速度，即无人机空速绝对值的x轴分量，
Figure 733845DEST_PATH_IMAGE068
和
Figure 809249DEST_PATH_IMAGE069
分别为迎角和俯仰角的变化量，
Figure 802612DEST_PATH_IMAGE069
可通过测量和滤波得到，
Figure 822521DEST_PATH_IMAGE068
由下式求得：
Figure 480904DEST_PATH_IMAGE070
其中，
Figure 535448DEST_PATH_IMAGE071
为初始的攻角，
Figure 106238DEST_PATH_IMAGE072
为常数，由无人机的几何形状参数决定，可由试验测定。
S4，奖赏函数选取与强化学习Q-learning 迭代训练
本发明提出的无人机飞行控制方法的目标为控制无人机利用上升阵风爬升，增强其续航能力。
本发明选取垂直风速变化率
Figure 879022DEST_PATH_IMAGE054
为奖赏函数，该函数为风速的垂直分量
Figure 842561DEST_PATH_IMAGE073
的导数，采用Q-learning 算法，通过学习以逼近最优的动作价值函数，该动作价值函数表达为在t时刻状态为sq时，采取动作aq的价值，其算法如下：
动作价值函数包括当前时刻的状态量，初始化动作价值函数
Figure 751611DEST_PATH_IMAGE074
，随后根据预定策略
Figure 758881DEST_PATH_IMAGE075
和当前状态选择动作；观测下一步状态和即时奖赏
Figure 753382DEST_PATH_IMAGE076
，并根据即时奖赏
Figure 753568DEST_PATH_IMAGE076
更新动作价值函数的状态，其中即时奖赏
Figure 782704DEST_PATH_IMAGE077
，式中
Figure 695296DEST_PATH_IMAGE078
为衰减系数，该衰减系数可自行设定，取值范围为0~1；
Figure 645935DEST_PATH_IMAGE079
为迭代训练过程中之前每一时间步的即时奖励累积之和。
更新状态后，采用相同方法继续进行逐步迭代直到动作价值函数收敛，得到最优的控制策略。
实施例1
基于本发明的上述具体实施方式，对某型无人机进行利用阵风环境的飞行控制方法设计，具体包括：
在具有一个上升气流区域的阵风环境中，建立考虑该阵风环境的无人机飞行动力学模型，无人机从300m高度开始定直平飞，飞机的航向随机。飞机起点位于俯视平面的(0,0)处，上升气流中心位置在(1000,1000)处。训练中采用e-greedy策略，以e的概率采取最优动作；并以1-e的概率采取随机策略，靠近上升气流。每次训练3600s。待训练收敛后，采用贪心策略选择最优动作。
收敛后控制策略如图2所示。在无滚转力矩和垂直风速梯度的条件下，无人机会倾向于保持当前状态或随机向左或右小幅滚转；无人机感受到滚转力矩后，向相应方向滚转，从而靠近上升气流。
训练结束后得到的最优的飞行轨迹如图3所示，无人机初始航向为朝右飞行，开始阶段飞机高度不停下降并不断向左方偏航，在充分靠近热气流后，飞机进入盘旋，在上升热气流中盘旋上升。最终飞机上升至约632m高度处。
以上申请的仅为本申请的一些实施方式。对于本领域的普通技术人员来说，在不脱离本申请创造构思的前提下，还可以做出若干变型和改进，这些都属于本申请的保护范围。

Claims (7)

1.一种利用阵风环境的无人机飞行控制策略设计方法，其特征在于，包括如下步骤：
（1）建立无人机在阵风环境中的飞行动力学模型；
（2）利用Q-learning算法对当前时刻的状态量进行迭代训练；所述迭代训练过程包括：
首先初始化Q-learning算法的动作价值函数，所述动作价值函数包括当前时刻的状态量，所述状态量包括无人机滚转角、风场梯度引起的滚转角速度和垂直风速变化率，
垂直风速变化率
Figure 340920DEST_PATH_IMAGE001
由
Figure 148470DEST_PATH_IMAGE002
获得，
其中，
Figure 820760DEST_PATH_IMAGE003
为风速在z轴方向上的分量；
Figure 787579DEST_PATH_IMAGE004
为无人机相对地面参考坐标系在z轴方向的速度分量；
Figure 293647DEST_PATH_IMAGE005
为无人机的空速纵向分量，即空速绝对值的z轴分量；
Figure 319984DEST_PATH_IMAGE005
受到攻角变化的影响，将
Figure 936910DEST_PATH_IMAGE005
的变化量表示为：
Figure 882869DEST_PATH_IMAGE006
其中，
Figure 294259DEST_PATH_IMAGE007
是无人机前向速度，即无人机空速绝对值的x轴分量，
Figure 76402DEST_PATH_IMAGE008
和
Figure 965860DEST_PATH_IMAGE009
分别为迎角和俯仰角的变化量，
Figure 31905DEST_PATH_IMAGE009
通过测量和滤波得到，
Figure 614196DEST_PATH_IMAGE008
由下式求得：
Figure 149214DEST_PATH_IMAGE010
其中，
Figure 842363DEST_PATH_IMAGE011
为初始的攻角，
Figure 497336DEST_PATH_IMAGE012
为常数，由无人机的几何形状参数决定；
选取垂直风速变化率
Figure 250528DEST_PATH_IMAGE013
为奖赏函数，通过学习以逼近最优的动作价值函数，该动作价值函数表达为在t时刻状态为sq时，采取动作aq的价值，动作价值函数包括当前时刻的状态量，初始化动作价值函数
Figure 397476DEST_PATH_IMAGE014
，随后根据预定策略
Figure 769682DEST_PATH_IMAGE015
和当前状态选择动作；观测下一步状态和即时奖赏
Figure 420106DEST_PATH_IMAGE016
，并根据即时奖赏
Figure 468834DEST_PATH_IMAGE016
更新动作价值函数的状态，其中即时奖赏
Figure 837498DEST_PATH_IMAGE017
，式中
Figure 768324DEST_PATH_IMAGE018
为衰减系数，该衰减系数自行设定，取值范围为0~1；
Figure 538834DEST_PATH_IMAGE019
为迭代训练过程中之前每一时间步的即时奖励累积之和；
更新状态后，采用相同方法继续进行逐步迭代直到动作价值函数收敛，得到最优的控制策略；
（3）根据迭代训练得到的控制策略对阵风环境下的无人机进行飞行控制决策，通过控制无人机滚转角改变其航向，使其找到上升气流并利用其进行爬升。
2.根据权利要求1所述一种利用阵风环境的无人机飞行控制策略设计方法，其特征在于，步骤（1）中，无人机在阵风环境中的飞行动力学模型建立方法包括：
（1.1）在平面大地条件下，以地面坐标系为参考系，建立由无人机航向角、爬升角和无人机空速绝对值定义的无人机空速矢量公式；
（1.2）将无人机空速矢量表示为无人机相对地面参考坐标系的速度和风速的叠加；
（1.3）建立由无人机的升力、阻力和重力定义的无人机所受合力公式；
（1.4）建立风速场的空间梯度；
（1.5）建立无人机相对地面参考坐标系在x轴和z轴方向的加速度公式；
（1.6）建立无人机的爬升角变化率和比升力公式。
3.根据权利要求2所述一种利用阵风环境的无人机飞行控制策略设计方法，其特征在于，步骤（2）中，动作价值函数在迭代过程中，对每一状态下采取的每种动作所能带来的累积奖赏进行估计。
4.根据权利要求3所述一种利用阵风环境的无人机飞行控制策略设计方法，其特征在于，步骤（2）中，所述无人机滚转角由无人机自带的传感器获得。
5.根据权利要求4所述一种利用阵风环境的无人机飞行控制策略设计方法，其特征在于，步骤（2）中，风场梯度引起的滚转角速度，由无人机受到的总滚转角速度减去控制面偏转使滚转角达到参考滚转角时导致的滚转角速度，以及由于无人机气动力不对称而产生的滚转角速度得到。
6.根据权利要求5所述一种利用阵风环境的无人机飞行控制策略设计方法，其特征在于，步骤（2）中，所述预定策略为e-greedy策略。
7.根据权利要求6所述一种利用阵风环境的无人机飞行控制策略设计方法，其特征在于，步骤（3）中，根据训练得到的控制策略包括无人机的参考滚转角，通过PID控制器控制无人机的滚转角使无人机找到上升气流。
CN202210461986.7A 2022-04-29 2022-04-29 一种利用阵风环境的无人机飞行控制策略设计方法 Active CN114578861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210461986.7A CN114578861B (zh) 2022-04-29 2022-04-29 一种利用阵风环境的无人机飞行控制策略设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210461986.7A CN114578861B (zh) 2022-04-29 2022-04-29 一种利用阵风环境的无人机飞行控制策略设计方法

Publications (2)

Publication Number Publication Date
CN114578861A CN114578861A (zh) 2022-06-03
CN114578861B true CN114578861B (zh) 2022-08-16

Family

ID=81779048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210461986.7A Active CN114578861B (zh) 2022-04-29 2022-04-29 一种利用阵风环境的无人机飞行控制策略设计方法

Country Status (1)

Country Link
CN (1) CN114578861B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115981376B (zh) * 2023-03-20 2023-06-20 成都航空职业技术学院 一种基于气流模型的无人机长滞空飞行规划方法和装置
CN117250974B (zh) * 2023-09-25 2024-05-31 广州天海翔航空科技有限公司 一种在雷雨天气下无人机飞行控制方法及无人机
CN117420837B (zh) * 2023-12-19 2024-03-19 中国航天空气动力技术研究院 基于风场感知与能量增益的无人机航迹规划方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928329A (zh) * 2019-12-24 2020-03-27 北京空间技术研制试验中心 一种基于深度q学习算法的多飞行器航迹规划方法
CN111538241A (zh) * 2020-04-30 2020-08-14 中国人民解放军国防科技大学 一种平流层飞艇水平轨迹智能控制方法
CN113110546A (zh) * 2021-04-20 2021-07-13 南京大学 一种基于离线强化学习的无人机自主飞行控制方法
CN113821044A (zh) * 2021-07-06 2021-12-21 西北工业大学 基于强化学习的桥梁检测无人机自主导航与稳定控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100551777C (zh) * 2004-10-08 2009-10-21 贝尔直升机泰克斯特龙公司 用于自动飞行和风切变状况的控制系统
US10909864B2 (en) * 2018-06-27 2021-02-02 Intel Corporation Drone obstacle avoidance using real-time wind estimation
US20210403159A1 (en) * 2018-10-18 2021-12-30 Telefonaktiebolaget Lm Ericsson (Publ) Formation Flight of Unmanned Aerial Vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928329A (zh) * 2019-12-24 2020-03-27 北京空间技术研制试验中心 一种基于深度q学习算法的多飞行器航迹规划方法
CN111538241A (zh) * 2020-04-30 2020-08-14 中国人民解放军国防科技大学 一种平流层飞艇水平轨迹智能控制方法
CN113110546A (zh) * 2021-04-20 2021-07-13 南京大学 一种基于离线强化学习的无人机自主飞行控制方法
CN113821044A (zh) * 2021-07-06 2021-12-21 西北工业大学 基于强化学习的桥梁检测无人机自主导航与稳定控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
风扰影响下的无人机非线性广义最小方差跟踪控制;庞岩等;《控制理论与应用》;20160930;第35卷(第09期);全文 *

Also Published As

Publication number Publication date
CN114578861A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN114578861B (zh) 一种利用阵风环境的无人机飞行控制策略设计方法
CN111538241B (zh) 一种平流层飞艇水平轨迹智能控制方法
CN107563044B (zh) 基于在线安全学习的四旋翼无人机路径跟踪控制方法
CN109828602B (zh) 一种基于观测补偿技术的航迹回路非线性模型变换方法
CN109703768B (zh) 一种基于姿态/轨迹复合控制的软式空中加油对接方法
CN114355777B (zh) 一种基于分布式压力传感器与分段姿态控制的动态滑翔方法及系统
Woodbury et al. Autonomous soaring using reinforcement learning for trajectory generation
CN111982100A (zh) 一种无人机的航向角解算算法
CN109814593A (zh) 一种可自主寻热的低空太阳能无人机飞行控制方法和系统
CN109375642B (zh) 一种无人机节能控制方法
Schmidt et al. In-flight estimation of the aerodynamics of tethered wings for airborne wind energy
Tao et al. Modeling and control of a powered parafoil in wind and rain environments
CN115826594B (zh) 不依赖动态模型参数的无人潜航器切换拓扑编队控制方法
CN111506099A (zh) 一种无人机高度智能控制系统及方法
CN109703769A (zh) 一种基于预瞄策略的空中加油对接控制方法
Chen Research on AI application in the field of quadcopter UAVs
Brahim et al. Finite Time Adaptive SMC for UAV Trajectory Tracking Under Unknown Disturbances and Actuators Constraints
CN117148851A (zh) 基于粒子群优化算法的无人翼伞分段式航迹规划方法
Le Bras et al. Nonlinear image-based visual servo controller for automatic landing guidance of a fixed-wing aircraft
Roy Robust backstepping control for small helicopter
Munoz et al. Embedded robust nonlinear control for a four-rotor rotorcraft: Validation in real-time with wind disturbances
Abrougui et al. Flight Controller Design Based on Sliding Mode Control for Quadcopter Waypoints Tracking
Wang et al. Embodied airflow sensing for improved in-gust flight of flapping wing MAVs
CN112034872B (zh) 一种四旋翼无人机积分补偿确定性策略梯度控制方法
CN114527777A (zh) 基于自适应神经网络的无人机飞行控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant