CN111045445A - 一种基于强化学习的飞行器智能避撞方法、设备、介质 - Google Patents
一种基于强化学习的飞行器智能避撞方法、设备、介质 Download PDFInfo
- Publication number
- CN111045445A CN111045445A CN201911012471.3A CN201911012471A CN111045445A CN 111045445 A CN111045445 A CN 111045445A CN 201911012471 A CN201911012471 A CN 201911012471A CN 111045445 A CN111045445 A CN 111045445A
- Authority
- CN
- China
- Prior art keywords
- aircraft
- flight
- reinforcement learning
- collision avoidance
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 22
- 230000003068 static effect Effects 0.000 claims abstract description 21
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims abstract description 6
- 239000003795 chemical substances by application Substances 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000007774 longterm Effects 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 239000010763 heavy fuel oil Substances 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于强化学习的飞行器智能避撞方法，包括步骤：查询状态，接收数据，计算位置，接收结果。本发明涉及电子设备与可读存储介质，用于执行一种基于强化学习的飞行器智能避撞方法。本发明通过获取航路、飞行器静态和动态数据，计算未来n个时刻点飞行器的空间位置，若飞行器之间距离达到危险阈值，则运用强化学习方法学习避撞策略，输出飞行器飞行调整指令，飞行器执行指令，更新飞行器航向，计算并返回效果评估值，通过效果评估值更新强化学习算法，使得算法在不断的迭代学习中不断优化，实现智能体自主学习与改进，自主避免碰撞的危险情况，解决多飞行器同时飞行时飞行器与飞行器之间的碰撞问题。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于强化学习的飞行器智能避撞方法、设备、介质。
背景技术
近年来我国飞行器行业发展迅速，飞行器已经被广泛地应用于军用、民用等各个领域。为了保障飞行安全，需要发展飞行器飞行避撞控制技术。
现有技术中的飞行器避撞控制方法，通过获取飞行器在当前状态下与静态障碍物之间的距离，并判断所述距离是否满足预设值，进而在所述距离不满足预设值时，根据所述距离控制飞行器调节飞行高度，以避免飞行器与所述静态状态障碍物发生碰撞，仅能够避免飞行器与静态障碍物发生碰撞，不能够避免多飞行器同时飞行时飞行器与飞行器之间发生碰撞的情况。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于强化学习的飞行器智能避撞方法，解决了现有技术中的飞行器避撞控制方法不能够避免多飞行器同时飞行时飞行器与飞行器之间发生碰撞的问题。
本发明提供一种基于强化学习的飞行器智能避撞方法，包括以下步骤：
查询状态，指令智能体发出查询空间智能体内各飞行器状态的指令；
接收数据，所述指令智能体接收所述空间智能体内各飞行器的规划航路、静态数据和动态数据；
计算位置，所述指令智能体通过所述规划航路、静态数据和动态数据计算各飞行器的空间位置，若飞行器之间距离达到危险阈值，则通过强化学习算法学习避撞策略，输出飞行器飞行调整指令；
接收结果，所述指令智能体接收所述空间智能体发送的评估结果和飞行器状态，返回奖励值，并跳转至所述计算位置步骤。
进一步地，所述接收数据步骤中，所述飞行器的静态数据和动态数据包括空间内所有飞行器信息、根据飞行计划、导航信息、气象信息、自身性能信息、飞行高度层信息生成飞行器的四维计划飞行轨迹、经纬度信息、航向、飞行速度、飞行高度、剩余燃油、剩余燃油飞行时间、飞行优先级、飞机机尾号。
进一步地，所述飞行计划包括飞行时间、航线、航路信息、飞行高度、目的地。
进一步地，所述计算位置步骤中，所述通过强化学习算法学习避撞策略包括以下步骤；
准备训练数据，收集各飞行器历史数据信息，对数据进行清洗，将数据按空间和时间维度划分；
设置参数，设置强化学习算法模型和参数，设置安全规则，所述安全规则包括纵向间隔、垂直间隔、横向间隔；
输入数据，将训练数据输入强化学习算法模型，输出飞行调整指令；
优化模型，不断更新所述强化学习算法模型的Q值函数，直到Q函数收敛，得到最好的模型。
进一步地，所述接收结果步骤中，所述奖励值包括安全和效率指标，所述安全和效率指标包括飞行效率、安全标准，奖励指标与短期执行效果和长期执行效果相关，所述短期执行效果的权重高于所述长期执行效果的权重，若所述飞行调整指令产生安全威胁，则产生惩罚指标，所述避撞策略的优劣取决于长期执行所述避撞策略后得到的累积奖赏，所述避撞策略在训练的过程中经过若干次迭代和训练后，当代表奖赏的Q值收敛到最大值时不断得到优化。
进一步地，所述接收结果步骤中，通过安全检查规则引擎按照现有的生产安全标准制定不同区域和飞行阶段飞行器安全间隔规则，计算所述奖励值的安全指标，以及对所述飞行调整指令进行安全标准检查，当所述飞行调整指令通过安全检查时，将所述飞行调整指令作为生产指令输出。
一种基于强化学习的飞行器智能避撞方法，包括以下步骤：
接收指令，空间智能体接收指令智能体发送的查询指令；
发送数据，所述空间智能体将当前空间内各飞行器的规划航路、静态数据和动态数据发送至所述指令智能体；
评估效果，所述空间智能体获取空间内飞行器的四维飞行轨迹，对执行飞行调整指令后的飞行器飞行状态进行评估，将评估结果和飞行器状态返回至所述指令智能体。
一种基于强化学习的飞行器智能避撞方法，包括以下步骤：
规划航路，初始化环境，各飞行器根据飞行计划规划航路；
执行指令，飞行器执行飞行调整指令，更新航向、航速、高度层。
一种电子设备，包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行上述一种基于强化学习的飞行器智能避撞方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述一种基于强化学习的飞行器智能避撞方法。
相比现有技术，本发明的有益效果在于：
本发明提供一种基于强化学习的飞行器智能避撞方法，包括以下步骤：查询状态，指令智能体发出查询空间智能体内各飞行器状态的指令；接收数据，指令智能体接收空间智能体内各飞行器的规划航路、静态数据和动态数据；计算位置，指令智能体计算各飞行器的空间位置，若飞行器之间距离达到危险阈值，则通过强化学习算法学习避撞策略，输出飞行器飞行调整指令；接收结果，指令智能体接收空间智能体发送的评估结果和飞行器状态，返回奖励值，并跳转至计算位置步骤。本发明涉及电子设备与可读存储介质，用于执行一种基于强化学习的飞行器智能避撞方法。本发明通过获取航路、飞行器静态和动态数据，计算未来n个时刻点飞行器的空间位置，若飞行器之间距离达到危险阈值，则运用强化学习方法学习避撞策略，输出飞行器飞行调整指令，飞行器执行指令，更新飞行器航向，计算并返回效果评估值，通过效果评估值更新强化学习算法，使得算法在不断的迭代学习中不断优化，实现智能体自主学习与改进，自主避免碰撞的危险情况，解决多飞行器同时飞行时飞行器与飞行器之间的碰撞问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的一种基于强化学习的飞行器智能避撞方法流程图；
图2为本发明实施例的强化学习算法学习避撞策略流程图；
图3为本发明实施例的智能体执行逻辑示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
一种基于强化学习的飞行器智能避撞方法，如图1所示，包括以下步骤：
规划航路，初始化环境，各飞行器根据飞行计划规划航路；飞行器可以是民航飞机、通航飞机或无人机。飞行器根据飞行计划、出发城市、目的地城市、导航信息、航路信息、气象信息、自身性能信息、飞行高度层信息生成飞行器的四维计划飞行轨迹。它能够接收执行管控指令信息，改变飞行的航向、航速、高度层，输出多个梯时间后的飞行位置和航向。
查询状态，指令智能体发出查询空间智能体内各飞行器状态的指令；指令智能体可以获取空间智能体的内飞行器信息，同时负责向飞行器下达飞行指令，指令智能体将飞行指令发给飞行器进行接收和执行。
接收指令，空间智能体接收指令智能体发送的查询指令；
发送数据，空间智能体将当前空间内各飞行器的规划航路、静态数据和动态数据发送至指令智能体；具体的，通过飞行计划系统、飞行器自有监视系统、空管监视系统数据获取航路、飞行器静态和动态数据；
接收数据，指令智能体接收空间智能体内各飞行器的规划航路、静态数据和动态数据；优选的，接收数据步骤中，飞行器的静态数据和动态数据包括空间内所有飞行器信息、根据飞行计划、导航信息、气象信息、自身性能信息、飞行高度层信息生成飞行器的四维计划飞行轨迹、经纬度信息、航向、飞行速度、飞行高度、剩余燃油、剩余燃油飞行时间、飞行优先级(特殊保障航班优先级)、飞机机尾号。飞行计划包括飞行时间、航线、航路信息、飞行高度、目的地。
计算位置，指令智能体通过规划航路、静态数据和动态数据计算未来n个时刻点各飞行器的空间位置，若飞行器之间距离达到危险阈值，则通过强化学习算法学习避撞策略，输出飞行器飞行调整指令；如图2所示，优选的，通过强化学习算法学习避撞策略包括以下步骤；
准备训练数据，收集各飞行器历史数据信息，对数据进行清洗，数据预处理包括但不限于将数据按空间和时间维度划分；
设置参数，设置强化学习算法模型和参数，设置安全规则，安全规则包括但不限于纵向间隔、垂直间隔、横向间隔；
输入数据，将训练数据输入强化学习算法模型DQN，模型输出飞行调整指令；
优化模型，不断更新强化学习算法模型的Q值函数，直到Q函数收敛，得到最好的模型。
执行指令，飞行器执行飞行调整指令，更新航向、航速、高度层。
评估效果，空间智能体获取空间内飞行器的四维飞行轨迹，具体为t0、t1、t2、t3四个时刻的四维飞行轨迹，对执行飞行调整指令后的飞行器飞行状态进行评估，综合考虑安全指标和效果指标，将评估结果和飞行器状态返回至指令智能体。
接收结果，如图3所示，指令智能体接收空间智能体发送的评估结果和飞行器状态，通过评估结果更新强化学习算法，使得强化学习算法在不断的迭代学习中不断优化，返回奖励值，并跳转至计算位置步骤，进行下一轮t+1时刻指令的运算，若有冲突预警信息则推送给客户端。本实施例中，奖励值包括安全和效率指标，安全和效率指标包括但不限于飞行效率、安全标准，奖励指标同时需要考虑短期执行效果和长期执行效果，短期执行效果的权重高于长期执行效果的权重，训练过程模型返回的指令如果产生安全威胁，系统将产生较大的惩罚指标，避撞策略的优劣取决于长期执行避撞策略后得到的累积奖赏，避撞策略在训练的过程中经过若干次迭代和训练后，当代表奖赏的Q值收敛到最大值时不断得到优化。通过安全检查规则引擎按照现有的生产安全标准制定不同区域和飞行阶段飞行器安全间隔等规则，在训练过程的奖励值计算中起到安全指标的计算作用，以及在生产过程中，对强化学习算法模型DQN输出的指令进行安全标准检查，当飞行调整指令通过安全检查时，将飞行调整指令作为生产指令输出。
一种电子设备，包括：处理器；
存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行上述一种基于强化学习的飞行器智能避撞方法。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行上述一种基于强化学习的飞行器智能避撞方法。
本发明提供一种基于强化学习的飞行器智能避撞方法，包括以下步骤：查询状态，指令智能体发出查询空间智能体内各飞行器状态的指令；接收数据，指令智能体接收空间智能体内各飞行器的规划航路、静态数据和动态数据；计算位置，指令智能体计算各飞行器的空间位置，若飞行器之间距离达到危险阈值，则通过强化学习算法学习避撞策略，输出飞行器飞行调整指令；接收结果，指令智能体接收空间智能体发送的评估结果和飞行器状态，返回奖励值，并跳转至计算位置步骤。本发明涉及电子设备与可读存储介质，用于执行一种基于强化学习的飞行器智能避撞方法。本发明通过获取航路、飞行器静态和动态数据，计算未来n个时刻点飞行器的空间位置，若飞行器之间距离达到危险阈值，则运用强化学习方法学习避撞策略，输出飞行器飞行调整指令，飞行器执行指令，更新飞行器航向，计算并返回效果评估值，通过效果评估值更新强化学习算法，使得算法在不断的迭代学习中不断优化，实现智能体自主学习与改进，自主避免碰撞的危险情况，解决多飞行器同时飞行时飞行器与飞行器之间的碰撞问题。
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。
Claims (10)
1.一种基于强化学习的飞行器智能避撞方法，其特征在于包括以下步骤：
查询状态，指令智能体发出查询空间智能体内各飞行器状态的指令；
接收数据，所述指令智能体接收所述空间智能体内各飞行器的规划航路、静态数据和动态数据；
计算位置，所述指令智能体通过所述规划航路、静态数据和动态数据计算各飞行器的空间位置，若飞行器之间距离达到危险阈值，则通过强化学习算法学习避撞策略，输出飞行器飞行调整指令；
接收结果，所述指令智能体接收所述空间智能体发送的评估结果和飞行器状态，返回奖励值，并跳转至所述计算位置步骤。
2.如权利要求1所述的一种基于强化学习的飞行器智能避撞方法，其特征在于：所述接收数据步骤中，所述飞行器的静态数据和动态数据包括空间内所有飞行器信息、根据飞行计划、导航信息、气象信息、自身性能信息、飞行高度层信息生成飞行器的四维计划飞行轨迹、经纬度信息、航向、飞行速度、飞行高度、剩余燃油、剩余燃油飞行时间、飞行优先级、飞机机尾号。
3.如权利要求2所述的一种基于强化学习的飞行器智能避撞方法，其特征在于：所述飞行计划包括飞行时间、航线、航路信息、飞行高度、目的地。
4.如权利要求1所述的一种基于强化学习的飞行器智能避撞方法，其特征在于：所述计算位置步骤中，所述通过强化学习算法学习避撞策略包括以下步骤；
准备训练数据，收集各飞行器历史数据信息，对数据进行清洗，将数据按空间和时间维度划分；
设置参数，设置强化学习算法模型和参数，设置安全规则，所述安全规则包括纵向间隔、垂直间隔、横向间隔；
输入数据，将训练数据输入强化学习算法模型，输出飞行调整指令；
优化模型，不断更新所述强化学习算法模型的Q值函数，直到Q函数收敛，得到最好的模型。
5.如权利要求4所述的一种基于强化学习的飞行器智能避撞方法，其特征在于：所述接收结果步骤中，所述奖励值包括安全和效率指标，所述安全和效率指标包括飞行效率、安全标准，奖励指标与短期执行效果和长期执行效果相关，所述短期执行效果的权重高于所述长期执行效果的权重，若所述飞行调整指令产生安全威胁，则产生惩罚指标，所述避撞策略的优劣取决于长期执行所述避撞策略后得到的累积奖赏，所述避撞策略在训练的过程中经过若干次迭代和训练后，当代表奖赏的Q值收敛到最大值时不断得到优化。
6.如权利要求4所述的一种基于强化学习的飞行器智能避撞方法，其特征在于：所述接收结果步骤中，通过安全检查规则引擎按照现有的生产安全标准制定不同区域和飞行阶段飞行器安全间隔规则，计算所述奖励值的安全指标，以及对所述飞行调整指令进行安全标准检查，当所述飞行调整指令通过安全检查时，将所述飞行调整指令作为生产指令输出。
7.一种基于强化学习的飞行器智能避撞方法，其特征在于包括以下步骤：
接收指令，空间智能体接收指令智能体发送的查询指令；
发送数据，所述空间智能体将当前空间内各飞行器的规划航路、静态数据和动态数据发送至所述指令智能体；
评估效果，所述空间智能体获取空间内飞行器的四维飞行轨迹，对执行飞行调整指令后的飞行器飞行状态进行评估，将评估结果和飞行器状态返回至所述指令智能体。
8.一种基于强化学习的飞行器智能避撞方法，其特征在于包括以下步骤：
规划航路，初始化环境，各飞行器根据飞行计划规划航路；
执行指令，飞行器执行飞行调整指令，更新航向、航速、高度层。
9.一种电子设备，其特征在于包括：处理器；
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行权利要求1-6任意一项所述的方法或权利要求7所述的方法或权利要求8所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1-6任意一项所述的方法或权利要求7所述的方法或权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911012471.3A CN111045445B (zh) | 2019-10-23 | 2019-10-23 | 一种基于强化学习的飞行器智能避撞方法、设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911012471.3A CN111045445B (zh) | 2019-10-23 | 2019-10-23 | 一种基于强化学习的飞行器智能避撞方法、设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111045445A true CN111045445A (zh) | 2020-04-21 |
| CN111045445B CN111045445B (zh) | 2023-11-28 |
Family
ID=70231736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911012471.3A Active CN111045445B (zh) | 2019-10-23 | 2019-10-23 | 一种基于强化学习的飞行器智能避撞方法、设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111045445B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111708355A (zh) * | 2020-06-19 | 2020-09-25 | 中国人民解放军国防科技大学 | 基于强化学习的多无人机动作决策方法和装置 |
| CN111857184A (zh) * | 2020-07-31 | 2020-10-30 | 中国人民解放军国防科技大学 | 基于深度强化学习的固定翼无人机群集控制避碰方法及装置 |
| CN111880549A (zh) * | 2020-09-14 | 2020-11-03 | 大连海事大学 | 面向无人船路径规划的深度强化学习奖励函数优化方法 |
| CN111897316A (zh) * | 2020-06-22 | 2020-11-06 | 北京航空航天大学 | 一种场景快变条件下的多飞行器自主决策方法 |
| CN114550506A (zh) * | 2022-02-10 | 2022-05-27 | 北方天途航空技术发展（北京）有限公司 | 训练机智能避险管理方法、装置、设备及存储介质 |
| CN111880549B (zh) * | 2020-09-14 | 2024-06-04 | 大连海事大学 | 面向无人船路径规划的深度强化学习奖励函数优化方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548661A (zh) * | 2016-11-29 | 2017-03-29 | 中国人民解放军国防科学技术大学 | 一种基于状态预测的空中防撞方法 |
| CN107272731A (zh) * | 2017-06-05 | 2017-10-20 | 陈金良 | 无人机自动避撞系统 |
| CN108820157A (zh) * | 2018-04-25 | 2018-11-16 | 武汉理工大学 | 一种基于强化学习的船舶智能避碰方法 |
| CN109649402A (zh) * | 2017-10-12 | 2019-04-19 | 本田技研工业株式会社 | 自主车辆策略的生成 |
| CN109739255A (zh) * | 2018-11-29 | 2019-05-10 | 北京航空航天大学 | 无人机的航行轨迹规划方法、装置及系统 |
| CN109831806A (zh) * | 2019-03-06 | 2019-05-31 | 西安电子科技大学 | 密集场景下面向用户优先级的基站协同缓存方法 |
| US20190217476A1 (en) * | 2018-01-12 | 2019-07-18 | Futurewei Technologies, Inc. | Robot navigation and object tracking |
| US20190266489A1 (en) * | 2017-10-12 | 2019-08-29 | Honda Motor Co., Ltd. | Interaction-aware decision making |
| CN110196605A (zh) * | 2019-04-26 | 2019-09-03 | 大连海事大学 | 一种强化学习的无人机群在未知海域内协同搜索多动态目标方法 |
-
2019
- 2019-10-23 CN CN201911012471.3A patent/CN111045445B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548661A (zh) * | 2016-11-29 | 2017-03-29 | 中国人民解放军国防科学技术大学 | 一种基于状态预测的空中防撞方法 |
| CN107272731A (zh) * | 2017-06-05 | 2017-10-20 | 陈金良 | 无人机自动避撞系统 |
| CN109649402A (zh) * | 2017-10-12 | 2019-04-19 | 本田技研工业株式会社 | 自主车辆策略的生成 |
| US20190266489A1 (en) * | 2017-10-12 | 2019-08-29 | Honda Motor Co., Ltd. | Interaction-aware decision making |
| US20190217476A1 (en) * | 2018-01-12 | 2019-07-18 | Futurewei Technologies, Inc. | Robot navigation and object tracking |
| CN108820157A (zh) * | 2018-04-25 | 2018-11-16 | 武汉理工大学 | 一种基于强化学习的船舶智能避碰方法 |
| CN109739255A (zh) * | 2018-11-29 | 2019-05-10 | 北京航空航天大学 | 无人机的航行轨迹规划方法、装置及系统 |
| CN109831806A (zh) * | 2019-03-06 | 2019-05-31 | 西安电子科技大学 | 密集场景下面向用户优先级的基站协同缓存方法 |
| CN110196605A (zh) * | 2019-04-26 | 2019-09-03 | 大连海事大学 | 一种强化学习的无人机群在未知海域内协同搜索多动态目标方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111708355A (zh) * | 2020-06-19 | 2020-09-25 | 中国人民解放军国防科技大学 | 基于强化学习的多无人机动作决策方法和装置 |
| CN111708355B (zh) * | 2020-06-19 | 2023-04-18 | 中国人民解放军国防科技大学 | 基于强化学习的多无人机动作决策方法和装置 |
| CN111897316A (zh) * | 2020-06-22 | 2020-11-06 | 北京航空航天大学 | 一种场景快变条件下的多飞行器自主决策方法 |
| CN111897316B (zh) * | 2020-06-22 | 2021-05-14 | 北京航空航天大学 | 一种场景快变条件下的多飞行器自主决策方法 |
| CN111857184A (zh) * | 2020-07-31 | 2020-10-30 | 中国人民解放军国防科技大学 | 基于深度强化学习的固定翼无人机群集控制避碰方法及装置 |
| CN111880549A (zh) * | 2020-09-14 | 2020-11-03 | 大连海事大学 | 面向无人船路径规划的深度强化学习奖励函数优化方法 |
| CN111880549B (zh) * | 2020-09-14 | 2024-06-04 | 大连海事大学 | 面向无人船路径规划的深度强化学习奖励函数优化方法 |
| CN114550506A (zh) * | 2022-02-10 | 2022-05-27 | 北方天途航空技术发展（北京）有限公司 | 训练机智能避险管理方法、装置、设备及存储介质 |
| CN114550506B (zh) * | 2022-02-10 | 2023-03-10 | 北方天途航空技术发展（北京）有限公司 | 训练机智能避险管理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111045445B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111045445A (zh) | 一种基于强化学习的飞行器智能避撞方法、设备、介质 | |
| CN106970648B (zh) | 城市低空环境下无人机多目标路径规划联合搜索方法 | |
| US8082102B2 (en) | Computing flight plans for UAVs while routing around obstacles having spatial and temporal dimensions | |
| US9513125B2 (en) | Computing route plans for routing around obstacles having spatial and temporal dimensions | |
| CN110031004B (zh) | 基于数字地图的无人机静态和动态路径规划方法 | |
| JP6357176B2 (ja) | 移動経路設定装置、移動経路設定方法及び移動経路設定プログラム | |
| CN106959700B (zh) | 一种基于上限置信区间算法的无人机群协同巡逻追踪轨迹规划方法 | |
| CN110349445B (zh) | 具有多个rta约束的有效飞行剖面 | |
| Chakrabarty et al. | Flight path planning for uav atmospheric energy harvesting using heuristic search | |
| CN104991895A (zh) | 一种基于三维空域网格的低空救援航空器航迹规划方法 | |
| CN105700549A (zh) | 一种基于序列小生境粒子群算法的无人机多航迹规划方法 | |
| Murrieta-Mendoza et al. | Lateral navigation optimization considering winds and temperatures for fixed altitude cruise using dijsktra’s algorithm | |
| Tu et al. | Path planning and obstacle avoidance based on reinforcement learning for UAV application | |
| CN111813144B (zh) | 一种基于改进羊群算法的多无人机协同航路规划方法 | |
| CN111256682B (zh) | 不确定条件下的无人机群路径规划方法 | |
| CN115060263A (zh) | 一种考虑低空风和无人机能耗的航迹规划方法 | |
| Geng et al. | A kind of route planning method for UAV based on improved PSO algorithm | |
| CN109445462B (zh) | 一种非确定环境下的无人机鲁棒路径规划方法 | |
| Kiam et al. | An ai-based planning framework for HAPS in a time-varying environment | |
| Wang et al. | UAV online path planning based on improved genetic algorithm | |
| Ma et al. | Volcanic ash region path planning based on improved A-star algorithm | |
| Wu et al. | Multi-phase trajectory optimization for an aerial-aquatic vehicle considering the influence of navigation error | |
| Hu et al. | UAS conflict resolution integrating a risk-based operational safety bound as airspace reservation with reinforcement learning | |
| WO2023081293A1 (en) | Smart routing for aircraft flight planning and associated systems and methods | |
| CN114879716A (zh) | 反制低空空域飞行器的执法无人机路径规划方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |