CN112131661A - 一种无人机自主跟拍运动目标的方法 - Google Patents

一种无人机自主跟拍运动目标的方法 Download PDF

Info

Publication number
CN112131661A
CN112131661A CN202010946929.9A CN202010946929A CN112131661A CN 112131661 A CN112131661 A CN 112131661A CN 202010946929 A CN202010946929 A CN 202010946929A CN 112131661 A CN112131661 A CN 112131661A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
flight control
control strategy
simulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010946929.9A
Other languages
English (en)
Inventor
俞扬
詹德川
周志华
庞竟成
罗凡明
张云天
付聪
袁雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202010946929.9A priority Critical patent/CN112131661A/zh
Publication of CN112131661A publication Critical patent/CN112131661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)

Abstract

本发明公开一种无人机自主跟拍运动目标的方法，包括在模拟器中训练跟拍虚拟目标，实现步骤为：(1)构建无人机模拟器；(2)在无人机模拟器中采集样本；(3)利用采集样本进行无人机飞行控制策略训练；所述无人机飞行控制策略训练过程中，使用神经网络来表示初始无人机飞行控制策略模型，用当前的初始飞行控制策略模型在无人机模拟器中控制无人机，在无人机模拟器提供的马尔科夫过程中采样，针对收集到的样本，用近端策略优化的方法优化当前初始飞行控制策略模型，直至初始飞行控制策略模型不再提升，得到无人机飞行控制策略模型。相比以往的手工控制无人机航拍的方法，使用强化学习学出的飞行控制策略，由于训练采样丰富，往往能够面对各种复杂情况，有反应灵活、控制平稳、人力成本低等优点。

Description

一种无人机自主跟拍运动目标的方法
技术领域
本发明涉及一种无人机自主跟拍运动目标的方法，属于无人机控制技术领域和飞行器航拍技术领域。
背景技术
无人机在人们的生活、工作中正扮演越来越重要的角色，无人机航拍被越来越多的应用于视频录制、活动宣传等场景中。然而，现有的航拍方法大多是人为控制无人机进行拍摄，需要有专业的工作人员，按照相应任务的航拍需求，完成无人机的航拍任务。然而，人为控制无人机进行航拍面临着操作困难、难上手、需要经过长时间专业训练和资源损耗大等问题。
发明内容
发明目的：针对现有技术中存在的问题与不足，本发明提供一种无人机自主跟拍运动目标的方法，在模拟器中使用近端策略优化方法训练无人机智能飞行控制策略，并在真实场景中使用无人机智能飞行控制策略自动控制无人机航拍。相比以往的手工控制无人机航拍的方法，使用强化学习学出的飞行控制策略，由于训练采样丰富，往往能够面对各种复杂情况，有反应灵活、控制平稳、人力成本低等优点。
技术方案：一种无人机自主跟拍运动目标的方法，包含在模拟器里训练跟拍虚拟目标，包括以下步骤：(1)使用Unity构建无人机模拟器，无人机模拟器中，无人机状态信息和控制动作与真实环境保持一致；(2)在无人机模拟器中采集样本；(3)利用采集样本进行无人机飞行控制策略训练。
所述无人机模拟器用于近似模拟马尔科夫过程<S,A,P,R,γ>，提供与真实场景下无人机一致的观测信息，并提供与真实无人机一致的操作指令；同时，在模拟器中可以生成一个随机移动的运动目标。
所述无人机飞行控制策略训练过程中，使用神经网络来表示初始无人机飞行控制策略模型，用当前的初始飞行控制策略模型在无人机模拟器中控制无人机，在无人机模拟器提供的马尔科夫过程中采样，针对收集到的样本，用近端策略优化的方法优化当前初始飞行控制策略模型，直至初始飞行控制策略模型不再提升，得到无人机飞行控制策略模型。
所述无人机飞行控制策略训练过程中，通过神经网络与无人机模拟器的交互，实现采样中进行优化无人机飞行控制策略，使用随机梯度下降方法去优化神经网络的替代目标函数。随机梯度下降方法每次更新仅使用样本中的一小批数据，一组样本可以用于神经网络的多次更新，是一种高效的训练方法。
所述神经网络使用任意框架搭建神经网络，网络结构为多层全连接(fully-connected)网络。
所述的收集到的样本包含一个马尔科夫决策过程需要的全部信息，即一组样本包括S：无人机在模拟器中观测到的自身状态信息的集合；A：无人机采样过程中执行的全部操作指令的集合；R：无人机采样过程中获取的奖赏的集合；γ：无人机所获取奖赏的衰减系数。
所述的自身状态信息包含无人机的高度、经纬度、俯仰角、偏航角、滚转角、东向速度、北向速度、天向速度、东向加速度、北向加速度、天向加速度、目标与自身的相对位置等。
所述的操作指令包含无人机的滚转指令、俯仰指令、偏航指令以及动力指令。
所述的奖赏是多重奖赏函数混合的方式，具体包括无人机稳定度奖赏和跟踪目标精确度奖赏。
所述的衰减系数表示策略对于较长时间之后能获取奖赏的重视程度，取值范围为(0,1)，越接近1则越重视长期后的奖赏；越接近0则越重视近期奖赏。
训练所述无人机飞行控制策略训练包含以下步骤：
S01：为神经网络选择学习率、激活函数、网络结构、学习器等；
S02：使用任意方法搭建策略神经网络和状态价值神经网络作为当前初始飞行控制策略模型；
S03：在无人机模拟器中执行初始飞行控制策略模型，即将在模拟器中获得的无人机传感器获得的状态信息传递给神经网络，从初始飞行控制策略模型中获取相应的操作指令；
S04：将操作指令传递给模拟器中无人机，无人机执行该操作指令，一定时间后可以获得下一个状态信息；
S05：循环S03-S04直至与神经网络模拟器交互结束；
S06：将收集到的状态信息、操作指令和奖赏的集合汇总，使用近端策略优化方法来优化初始无人机飞行控制策略模型，得到最终的无人机飞行控制策略模型，优化目标函数为：
Figure BDA0002675608050000021
其中，
Figure BDA0002675608050000022
为t时刻的优势函数，其表达式为：
Figure BDA0002675608050000023
其中V为状态价值函数在t时刻的值，γ为所述衰减系数，θ为策略网络的参数，θold采样时策略网络的参数，π表示策略，E表示期望，V为价值函数，r为奖赏。
一种无人机自主跟拍运动目标的方法，还包括：在真实场景下可以选择需要跟拍的真实目标，调用在模拟器中训练的飞行控制策略模型，对真实无人机进行飞行控制，实现自主跟拍运动目标的功能。
应用所述飞行控制策略包含以下步骤：
S07：在现实环境中为无人机选择真实跟拍目标；
S08：使用任意框架搭建无人机飞行控制策略神经网络，读取飞行控制策略模型已经优化好的策略参数；
S09：将无人机传感器(雷达、测距仪、相机等)在真实环境中获取的信息进行组合(把每一个信息拼接成一组向量，作为策略模型的输入。)，传递给无人机飞行控制策略模型，获取无人机飞行控制策略模型给出的操作指令；
S10：无人机执行S09中获取的操作指令一段时间，获得下一个状态信息；
S11：循环S09-S10至自主跟拍运动目标任务结束。
与现有技术相比，本发明的有益效果是能够遍历现实场景中大多数情况，通过神经网络来近似连续状态空间上的策略函数，现实场景中的状态用连续状态空间表示。相比于通过树的方式遍历可能遇到的情况，更加高效与准确。
附图说明
图1为本发明的整体框架图；
图2为本发明训练无人机飞行控制策略和应用飞行控制策略的示意图；
图3为本发明中所述神经网络的网络结构；
图4为本发明的实际应用示意图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，无人机自主跟拍运动目标的方法，包括飞行控制策略在模拟器中训练的阶段和飞行控制策略在真实环境中的应用阶段。
如图2所示，飞行控制策略在模拟器中训练的阶段，包括如下步骤：
步骤101，设计神经网络结构、选择神经网络超参数，搭建神经网络。例如，一个策略网络可以包括5层全连接神经网络，每层神经网络使用relu函数作激活函数。
步骤102，建立无人机模拟器，该模拟器可以用于近似模拟马尔科夫过程<S,A,P,R,γ>，提供与真实场景下无人机一致的观测信息，并提供与真实无人机一致的操作指令。同时，在模拟器中可以生成一个随机移动的运动目标。使用当前无人机飞行控制策略在模拟器中训练飞行控制策略。在训练过程中时，交替执行在模拟器中采集样本、根据采集到的样本训练飞行控制策略两步骤，直至飞行控制策略训练完成，得到飞行控制策略模型。其完成指标可以是采集到的样本的累积奖赏不再增长。每次采集到的样本包括但不限于：
一条具有马尔科夫性的状态-动作-奖赏轨迹-衰减系数，其中状态、动作、奖赏的定义为：
无人机经历的状态集合，每一个状态包含无人机的高度、经纬度、俯仰角、偏航角、滚转角、东向速度、北向速度、天向速度、东向加速度、北向加速度、天向加速度、目标与自身的相对位置等；
无人机执行的操作指令集合，每一次的操作指令包含滚转指令、俯仰指令、偏航指令以及动力指令；
无人机获取的奖赏集合，每一次的奖赏由两部分组成：无人机稳定度奖赏，跟踪目标精确度奖赏。
衰减系数表示策略对于较长时间之后能获取奖赏的重视程度，取值范围为(0,1)，越接近1则越重视长期后的奖赏；越接近0则越重视近期奖赏。
如图2所述，应用阶段包括：
步骤201，保持与训练时相同的神经网络结构，无人机中的处理器首先读取已经训练好的飞行控制策略模型；
步骤202，为无人机选择跟拍目标。具体实施为，在画面中将需要跟拍的目标圈出，无人机内部处理程序经过处理，会将该运动物体设为跟拍目标。
步骤203：无人机使用飞行控制策略在真实环境中进行飞行与跟踪。交替执行以下步骤，直至跟拍任务结束：
①飞行控制策略会自动读取无人机传感器获得的无人机实时状态信息，包括无人机的高度、经纬度、俯仰角、偏航角、滚转角、东向速度、北向速度、天向速度、东向加速度、北向加速度、天向加速度、目标与自身的相对位置等；
②根据这些状态输入从飞行控制策略模型获取为了跟拍运动目标需要做出的飞行操控指令，该指令包含滚转指令、俯仰指令、偏航指令以及动力指令，实现实时控制无人机跟拍运动目标的功能。
图3是本发明神经网络的结构示意图。神经网络共包含两部分：飞行控制策略网络和无人机状态价值评估网络，前者输入无人机传感器观测到的状态信息，输出无人机飞行控制指令；后者输入无人机传感器观测到的状态信息。输出对当前状态的价值评估。
图4为本发明在应用阶段的简单示意图，以无人机自主跟拍行走中的人为例，无人机的传感器、摄像头等获取当前的观测信息，传递给飞行控制策略模型，由飞行控制策略得到当前无人机的控制指令，控制无人机进行跟拍。
本发明方法可以实现为系统，系统中飞行控制策略模型及飞行控制策略模型需要的相关数据存储在存储器上；系统通过处理器读取飞行控制策略模型，发出飞行控制策略模型给出的飞行控制指令，由无人机来执行。

Claims (6)

1.一种无人机自主跟拍运动目标的方法，其特征在于，包括在模拟器中训练跟拍虚拟目标，实现步骤为：(1)构建无人机模拟器；(2)在无人机模拟器中采集样本；(3)利用采集样本进行无人机飞行控制策略训练；
所述无人机模拟器用于近似模拟马尔科夫过程<S,A,P,R,γ>，提供与真实场景下无人机一致的观测信息，并提供与真实无人机一致的操作指令；在模拟器中生成随机移动的运动目标；
所述无人机飞行控制策略训练过程中，使用神经网络来表示初始无人机飞行控制策略模型，用当前初始飞行控制策略模型在无人机模拟器中控制无人机，在无人机模拟器提供的马尔科夫过程中采样，针对收集到的样本，用近端策略优化的方法优化当前初始飞行控制策略模型，直至初始飞行控制策略模型不再提升，得到无人机飞行控制策略模型。
2.根据权利要求1所述的无人机自主跟拍运动目标的方法，其特征在于，所述无人机飞行控制策略训练过程中，通过神经网络与无人机模拟器的交互，实现采样中进行优化无人机飞行控制策略，使用随机梯度下降方法去优化神经网络的替代目标函数。
3.根据权利要求1所述的无人机自主跟拍运动目标的方法，其特征在于，所述的收集到的样本包含一个马尔科夫决策过程需要的全部信息，即一组样本包括S：无人机在模拟器中观测到的自身状态信息的集合；A：无人机采样过程中执行的全部操作指令的集合；R：无人机采样过程中获取的奖赏的集合；γ：无人机所获取奖赏的衰减系数。
4.根据权利要求1所述的无人机自主跟拍运动目标的方法，其特征在于，训练所述无人机飞行控制策略训练包含以下步骤：
S01：为神经网络选择学习率、激活函数、网络结构、学习器；
S02：搭建策略神经网络和状态价值神经网络作为当前初始飞行控制策略模型；
S03：在无人机模拟器中执行初始飞行控制策略模型，即将在模拟器中获得的无人机传感器传递的状态信息发送给神经网络，获取相应的操作指令；
S04：将操作指令传递给模拟器中无人机，无人机执行该操作指令，获得下一个状态信息；
S05：循环S03-S04直至与神经网络模拟器交互结束；
S06：将收集到的状态信息、操作指令和奖赏的集合汇总，使用近端策略优化方法来优化初始无人机飞行控制策略模型，得到最终的无人机飞行控制策略模型，优化目标函数为：
Figure FDA0002675608040000011
其中，
Figure FDA0002675608040000012
为t时刻的优势函数，其表达式为：
Figure FDA0002675608040000013
其中V为状态价值函数在t时刻的值，γ为所述衰减系数。
5.根据权利要求1所述的无人机自主跟拍运动目标的方法，其特征在于，方法还包括：在真实场景下选择需要跟拍的真实目标，调用在模拟器中训练的飞行控制策略模型，对真实无人机进行飞行控制，实现自主跟拍运动目标的功能。
6.根据权利要求5所述的无人机自主跟拍运动目标的方法，其特征在于，在真实场景下选择需要跟拍的真实目标，调用在模拟器中训练的飞行控制策略模型，对真实无人机进行飞行控制，实现自主跟拍运动目标的功能，包含以下步骤：
S07：在现实环境中为无人机选择真实跟拍目标；
S08：使用任意框架搭建无人机飞行控制策略神经网络，读取飞行控制策略模型已经优化好的策略参数；
S09：将无人机传感器在真实环境中获取的信息进行组合，传递给无人机飞行控制策略模型，获取操作指令；
S10：获得无人机的下一个状态信息；
S11：循环S09-S10至自主跟拍运动目标任务结束。
CN202010946929.9A 2020-09-10 2020-09-10 一种无人机自主跟拍运动目标的方法 Pending CN112131661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010946929.9A CN112131661A (zh) 2020-09-10 2020-09-10 一种无人机自主跟拍运动目标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010946929.9A CN112131661A (zh) 2020-09-10 2020-09-10 一种无人机自主跟拍运动目标的方法

Publications (1)

Publication Number Publication Date
CN112131661A true CN112131661A (zh) 2020-12-25

Family

ID=73845474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010946929.9A Pending CN112131661A (zh) 2020-09-10 2020-09-10 一种无人机自主跟拍运动目标的方法

Country Status (1)

Country Link
CN (1) CN112131661A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110546A (zh) * 2021-04-20 2021-07-13 南京大学 一种基于离线强化学习的无人机自主飞行控制方法
CN113536467A (zh) * 2021-07-24 2021-10-22 深圳市北斗云信息技术有限公司 一种无人机远程操作显示系统
CN115861829A (zh) * 2023-03-02 2023-03-28 常州微亿智造科技有限公司 飞拍控制方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615243A (zh) * 2017-01-25 2018-10-02 北京三星通信技术研究有限公司 立体多媒体信息的确定方法、装置及系统
CN109164821A (zh) * 2018-09-26 2019-01-08 中科物栖（北京）科技有限责任公司 一种无人机姿态训练方法及装置
CN109445456A (zh) * 2018-10-15 2019-03-08 清华大学 一种多无人机集群导航方法
CN110291483A (zh) * 2018-03-14 2019-09-27 深圳市大疆创新科技有限公司 一种无人机控制方法、设备、无人机、系统及存储介质
CN111123963A (zh) * 2019-12-19 2020-05-08 南京航空航天大学 基于强化学习的未知环境自主导航系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615243A (zh) * 2017-01-25 2018-10-02 北京三星通信技术研究有限公司 立体多媒体信息的确定方法、装置及系统
CN110291483A (zh) * 2018-03-14 2019-09-27 深圳市大疆创新科技有限公司 一种无人机控制方法、设备、无人机、系统及存储介质
CN109164821A (zh) * 2018-09-26 2019-01-08 中科物栖（北京）科技有限责任公司 一种无人机姿态训练方法及装置
CN109445456A (zh) * 2018-10-15 2019-03-08 清华大学 一种多无人机集群导航方法
CN111123963A (zh) * 2019-12-19 2020-05-08 南京航空航天大学 基于强化学习的未知环境自主导航系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘庆杰 等: "面向智能避障场景的深度强化学习研究", 智能物联技术, no. 02, 18 September 2018 (2018-09-18), pages 1 - 6 *
顾江涛 等: "基于深度强化学习的无人机飞行路线规划", 计算机与数字工程, no. 06, 20 June 2020 (2020-06-20), pages 1 - 5 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110546A (zh) * 2021-04-20 2021-07-13 南京大学 一种基于离线强化学习的无人机自主飞行控制方法
CN113536467A (zh) * 2021-07-24 2021-10-22 深圳市北斗云信息技术有限公司 一种无人机远程操作显示系统
CN115861829A (zh) * 2023-03-02 2023-03-28 常州微亿智造科技有限公司 飞拍控制方法和系统

Similar Documents

Publication Publication Date Title
CN112131661A (zh) 一种无人机自主跟拍运动目标的方法
CN112256056B (zh) 基于多智能体深度强化学习的无人机控制方法及系统
CN111061277B (zh) 一种无人车全局路径规划方法和装置
CN113392935B (zh) 基于注意力机制的多智能体深度强化学习策略优化方法
CN112465151A (zh) 一种基于深度强化学习的多智能体联邦协作方法
CN111260027B (zh) 一种基于强化学习的智能体自动决策方法
WO2020103108A1 (zh) 一种语义生成方法、设备、飞行器及存储介质
WO2020103109A1 (zh) 一种地图生成方法、设备、飞行器及存储介质
CN112766499A (zh) 一种通过强化学习技术实现无人机自主飞行的方法
CN113110546B (zh) 一种基于离线强化学习的无人机自主飞行控制方法
CN112698646B (zh) 一种基于强化学习的航行器路径规划方法
CN112034888A (zh) 一种固定翼无人机自主控制协作策略训练方法
CN111950873A (zh) 基于深度强化学习的卫星实时引导任务规划方法及系统
CN112114592B (zh) 一种实现无人机自主穿越可移动框形障碍物的方法
CN112506210B (zh) 一种用于自主目标跟踪的无人机控制方法
CN114564036A (zh) 一种飞行轨迹原路复演方法及飞行器
CN115755956B (zh) 一种知识与数据协同驱动的无人机机动决策方法与系统
CN116224799A (zh) 一种多智能体博弈的控制策略优化方法及装置
CN111831010A (zh) 一种基于数字空间切片的无人机避障飞行方法
CN113359843A (zh) 一种无人机自主降落方法、装置、电子设备及存储介质
CN110110794A (zh) 基于特征函数滤波的神经网络参数更新的图像分类方法
CN114162146A (zh) 行驶策略模型训练方法以及自动驾驶的控制方法
CN111830848A (zh) 一种无人机超机动飞行性能仿真训练系统及方法
CN114089776A (zh) 一种基于深度强化学习的无人机避障方法
CN117406762A (zh) 一种基于分段式强化学习的无人机远程控制算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination