CN114237303A - 一种基于蒙特卡洛树搜索的无人机路径规划方法及装置 - Google Patents
一种基于蒙特卡洛树搜索的无人机路径规划方法及装置 Download PDFInfo
- Publication number
- CN114237303A CN114237303A CN202111364635.6A CN202111364635A CN114237303A CN 114237303 A CN114237303 A CN 114237303A CN 202111364635 A CN202111364635 A CN 202111364635A CN 114237303 A CN114237303 A CN 114237303A
- Authority
- CN
- China
- Prior art keywords
- initial state
- effective
- path
- actual
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000010845 search algorithm Methods 0.000 claims abstract description 54
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000002787 reinforcement Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012938 design process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于蒙特卡洛树搜索的无人机路径规划方法及装置，其中，所述方法包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，有效路径为以有效初始状态抵达实际目标点的路径，有效初始状态为在预设时间步内，在虚拟仿真环境中抵达实际目标点的初始状态，初始状态包括实际初始状态和假想初始状态，实际初始状态对应无人机位于实际初始点，假想初始状态对应无人机位于仿真虚拟环境中除实际初始点之外的其他位点；基于实际初始状态、有效初始状态，以及有效路径，确定无人机路径。通过本发明可以确保无人机路径搜索过程的收敛性。
Description
技术领域
本发明涉及无人机技术领域，尤其涉及一种基于蒙特卡洛树搜索的无人机路径规划方法及装置。
背景技术
近年来，无人机以其价格低、安全性高、续航能力强、结构简单等优势，被广泛应用于军事和民用等领域。其中，路径规划技术是保证无人机有效完成各类飞行任务的基础。
相关技术可知，基于常规路径规划算法，例如图搜索类算法、启发式算法、梯度算法以及随机树展开算法等进行路径规划，往往受限于多目标限制、局部解、计算复杂度高、网格依赖等，难以在各类复杂地理环境、未知环境或动态环境中应用，任务通用性无法保证。
目前，随着当前人工智能技术快速发展，以强化学习为代表的决策类算法在各类游戏场景中取得突破。但是，常规强化学习算法需要对每次决策过程赋予预期效用估计，否则难以保证计算结果收敛。由于设计过程性效用函数对人工经验依赖性强，导致无人机路径求解时间无法有效保证。
发明内容
本发明提供一种基于蒙特卡洛树搜索的无人机路径规划方法及装置，用以解决现有技术中在进行任务目标动态变化的路径规划过程中收敛性、时效性难保证的缺陷，实现在临时变更货物运输目的地等时效性较强的无人机自主寻路场景中，能够加速搜索进程，提高搜索效率。
本发明提供一种基于蒙特卡洛树搜索的无人机路径规划方法，包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，其中，所述基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径，包括：若所述有效初始状态与所述实际初始状态相同，则将所述有效路径确定为所述无人机路径；若所述有效初始状态与所述实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，并将所述有效路径与所述可行路径之和作为所述无人机路径。
根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，其中，所述基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，包括：以所述有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，所述假想有效初始状态为关于所述终止状态的有效初始状态；若所述假想有效初始状态为所述实际初始状态，则将由所述假想有效初始状态至所述终止状态的路径，作为所述实际初始状态至有效初始状态的可行路径；若所述假想有效初始状态不为所述实际初始状态，则以所述假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为所述实际初始状态，并将由所述假想有效初始状态至所述终止状态的路径作为所述实际初始状态至所述有效初始状态的可行路径。
根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，其中，所述基于蒙特卡洛树搜索算法，获取有效路径，包括：基于蒙特卡洛树搜索算法，获取以所述有效初始状态抵达所述实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为所述有效路径。
根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，其中，所述可行路径采用以下方式确定：基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为所述可行路径。
本发明还提供一种基于蒙特卡洛树搜索的无人机路径规划装置，包括：构建模块，用于基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；处理模块，用于实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；确定模块，用于基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划装置，其中，所述确定模块采用以下方式基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径：若所述有效初始状态与所述实际初始状态相同，则将所述有效路径确定为所述无人机路径；若所述有效初始状态与所述实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，并将所述有效路径与所述可行路径之和作为所述无人机路径。
根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划装置，其中，所述确定模块采用以下方式基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径：以所述有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，所述假想有效初始状态为关于所述终止状态的有效初始状态；若所述假想有效初始状态为所述实际初始状态，则将由所述假想有效初始状态至所述终止状态的路径，作为所述实际初始状态至有效初始状态的可行路径；若所述假想有效初始状态不为所述实际初始状态，则以所述假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为所述实际初始状态，并将由所述假想有效初始状态至所述终止状态的路径作为所述实际初始状态至所述有效初始状态的可行路径。
根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划装置，其中，所述处理模块采用以下方式基于蒙特卡洛树搜索算法，获取有效路径：基于蒙特卡洛树搜索算法，获取以所述有效初始状态抵达所述实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为所述有效路径。
根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划装置，其中，所述确定模块采用以下方式确定可行路径：基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为所述可行路径。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法，通过在固定时间步内进行路径搜索，可以得到有效初始状态以及有效路径，并将有效路径作为确定无人机路径的基础，进而确保无人机路径搜索过程的收敛性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是常规蒙特卡洛树搜索过程的示意图；
图2是本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法的流程示意图之一；
图3是本发明提供的基于实际初始状态、有效初始状态以及有效路径，确定无人机路径的流程示意图之一；
图4是本发明提供的基于蒙特卡洛树搜索进行无人机路径规划的示意图；
图5是本发明提供的获取实际初始状态至有效初始状态的可行路径的流程示意图之一；
图6是本发明提供的基于蒙特卡洛树搜索进行无人机路径规划的示意图之二；
图7是本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法的流程示意图之二；
图8是本发明提供的基于蒙特卡洛树搜索的无人机路径规划装置的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术可知，随着当前人工智能技术快速发展，以强化学习为代表的决策类算法，例如蒙特卡洛树搜索算法，在各类游戏场景中取得突破，其所具备的鲁棒性和演进能力也为无人机路径规划问题提供了新的可选项。常规强化学习算法，例如，蒙特卡洛树搜索是一种基于树数据结构的搜索算法，需要对每次决策过程赋予预期效用估计，否则难以保证计算结果收敛，而设计过程性效用函数对人工经验依赖性强，导致无人机路径求解时间无法有效保证。如图1所示，在无人机路径确定场景中，可以基于蒙特卡洛树搜索，以初始点L为根节点不断拓展子节点，并通过中间多代子节点的代际连接，确定由初始点L到终止点的路径。
本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，在预设时间步内，通过随机初始状态进行决策树搜索，利用所得局部路径效用值进行路径规划，能够有效应用于诸如临时变更货物运输目的地等时效性较强的无人机自主寻路场景中。
图2是本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法的流程示意图之一。
在本发明一示例性实施例中，如图2所示，基于蒙特卡洛树搜索的无人机路径规划方法可以包括步骤210至步骤230，下面将分别介绍各步骤。
在步骤210中，基于实际初始点和实际目标点，并发构建多个虚拟仿真环境。
在一种实施例中，可以根据无人机的实际任务路径规划任务场景，并确定实际初始点和实际目标点。进一步的，可以并发构建虚拟仿真环境。其中，在虚拟仿真环境中，可以构建与无人机任务场景对应的实体模型和环境模型，为确定无人机路径提供基础。
在又一种实施例中，可以利用经典强化学习理论，定义虚拟仿真环境中无人机路径规划问题。
在一示例中，无人机在0时刻，从初始位置(又称实际初始点)I出发，经过T个时间步，通过若干障碍物O抵达任务预定目的地(又称实际目标点)G。在某一时间步t时，无人机能够通过自身观测设备感知自身及周边环境状态st，此时，无人机控制端可以在可选指令集A中根据各指令效用差异π，选择最佳效用控制指令a，并将该指令发送至无人机执行端，并由虚拟仿真环境响应该指令，由此转入下一时间步t+1。可以令无人机在0时刻所感知状态为sI，在抵达实际目标点G时状态为sG，在触及障碍物时状态为sO。
若无人机成功抵达实际目标点G，可以定义该状态效用为rG＝r(sG)＝1。若无人机触碰障碍物，可以定义该状态效用为rO＝r(sO)＝-1。可以理解的是，本发明实施例的目标是为无人机选择合理行进路径，使其尽可能在短时间内抵达实际目标点G。
在步骤220中，实例化多个虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径。其中，有效路径为以有效初始状态抵达实际目标点的路径，有效初始状态为在预设时间步内，在虚拟仿真环境中抵达实际目标点的初始状态。其中，初始状态包括实际初始状态和假想初始状态，实际初始状态对应无人机位于实际初始点，假想初始状态对应无人机位于仿真虚拟环境中除实际初始点之外的其他位点。
在本发明一示例性实施例中，可以基于蒙特卡洛树搜索算法，获取以有效初始状态抵达实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为有效路径。可以理解的是，最大的第一效用值对应的路径为距离最短的路径。
在本发明一示例性实施例中，可以并发实例化ne个虚拟仿真环境，其中，对ne-1个虚拟仿真环境在实际目标点G和实际初始点I周围随机位置生成无人机模型作为其假想初始状态，定义假想初始状态为
i≤ne-1。对1个虚拟仿真环境在实际初始位置I生成无人机模型，并作为实际初始状态。可以理解的是，初始状态包括实际初始状态和假想初始状态，初始状态集合可以为
在步骤230中，基于实际初始状态、有效初始状态，以及有效路径，确定无人机路径。
在一种实施方式中，在虚拟仿真环境中，可以基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径。可以理解的是，有效初始状态为在预设时间步内可以抵达实际目标点的初始状态。由于是在固定时间步内进行路径搜索得到的有效初始状态，那么可以在固定时间步内获得有效路径。进一步的，将有效路径作为确定无人机路径的基础，可以有效确保无人机路径搜索过程的收敛性。
本发明将结合下述实施例对基于实际初始状态、有效初始状态以及有效路径，确定无人机路径的过程进行说明。
图3是本发明提供的基于实际初始状态、有效初始状态以及有效路径，确定无人机路径的流程示意图之一。
在本发明一示例性实施例中，如图3所示，基于实际初始状态、有效初始状态以及有效路径，确定无人机路径可以包括步骤310和步骤320，下面将分别介绍各步骤。
在步骤310中，若有效初始状态与实际初始状态相同，则将有效路径确定为无人机路径。
在步骤320中，若有效初始状态与实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径，并将有效路径与可行路径之和作为无人机路径。
在本公开一示例性实施例中，可以基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为可行路径。可以理解的是，最大的第二效用值对应的路径为距离最短的路径。进一步的，基于第一效用值和第二效用值分别确定的有效路径和可行路径均为距离最短的路径，进而可以确保无人机能够在短时间内抵达实际目标点。
继续以前文所述的初始状态集合为
为例，对确定无人机路径的过程进行说明。
在一种实施例中，可以基于蒙特卡洛树搜索算法，在固定时间步Tfix内求解以初始状态集合
中任意一种状态抵达实际目标点G的可行路径。其中，路径长度等于所需时间步，即
定义该状态为
i≤ne，该状态对应效用为
可以理解的是，基于蒙特卡洛树搜索算法在固定时间步Tfix内求解以初始状态集合
中任意一种状态抵达实际目标点G的可行路径，可以获取有效路径，以及有效初始状态。
在一示例中，若假想初始状态与无人机处于实际目标点的状态相同，即
可以令其状态效用r1,i＝rG＝1，路径长度
在又一示例中，若基于蒙特卡洛树搜索算法，以初始状态抵达实际目标点G进行多次搜索所得效用值不一致，可以取其最大效用值。其中，效用值最大的路径即为路程最短的路径。在一种实施例中，以有效初始状态抵达实际目标点G进行多次搜索所得第一效用值不一致，可以取其最大的第一效用值，其中，最大的第一效用值对应的路径为有效路径。在又一示例中，若由实际初始点I至实际目标点G的可行路径存在，即
那么，可以直接确定无人机路径。
在另一种实施例中，若假想初始状态与无人机处于实际目标点的状态不相同，即
可以状态集合
为子目标，继续并发实例化ne个虚拟仿真环境。并在子目标周围、实际初始点及其周围继续随机生成无人机模型作为关于子目标的初始状态，并利用蒙特卡洛树搜索算法按固定时间步计算抵达任意
的可行路径。可以定义上述关于子目标的假想初始状态为
j≤ne，其对应效用为
在一种实施例中，若假想初始状态与无人机处于实际目标点的状态相同，即
可以令其状态效用r2,j＝rG＝1，路径长度
进一步的，若假想初始状态与无人机处于实际目标点的状态不相同，即
可以再次以关于子目标的初始状态集合
进行路径搜索。经过n次迭代，直至获取由实际初始状态sI至任意假想起始状态
的可行路径，其中，l≤n。进一步的，将由实际初始状态(对应sI)至有效初始状态(对应某一假想起始状态
)的可行路径与有效路径之和，作为确定的无人机路径。其中，有效路径为以有效初始状态抵达实际目标点的路径。可以理解的是，由实际初始状态(对应sI)至有效初始状态(对应某一假想起始状态
)的可行路径可以是经过多次迭代获得。在一示例中，由实际初始状态(对应sI)至有效初始状态(对应某一假想起始状态
)的可行路径可以是多条可行路径之和。需要说明的是，确定的无人机路径可以是由实际初始点到实际目标点最短的路径。
图4是本发明提供的基于蒙特卡洛树搜索进行无人机路径规划的示意图。
结合图4可知，在本实施例中，基于蒙特卡洛树搜索算法进行部分搜索，即由实际目标点周围的初始状态(至少包括实际目标点周围的假想初始状态)发起搜索，并逐步向外层扩展进行多次搜索。通过此种方式，可以使得在规划无人机路径上的大量中间状态效用值得以表征，有效加速了搜索进程，避免因中间状态效用不明确所导致的无效探索。进一步的，在本实施例中，基于蒙特卡洛树搜索算法进行部分搜索，还包括由实际初始点周围的假想初始位置发起，其作用主要用以快速衔接可能联通实际目标点周围的假想初始状态，从而进一步提升无人机路径搜索效率。
本发明将结合下述实施例对基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径的过程进行说明。
图5是本发明提供的获取实际初始状态至有效初始状态的可行路径的流程示意图之一。
在本发明一示例性实施例中，如图5所示，基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径可以包括步骤510至步骤530，下面将分别介绍各步骤。
在步骤510中，以有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，假想有效初始状态为关于终止状态的有效初始状态。
在一种实施例中，由于已经在预设时间步内确定出以有效初始状态抵达实际目标点的路径，即有效路径。因此，为了在有限时间内确定无人机路径，需要在预设时间步内找到由实际初始状态至有效初始状态的可行路径。
结合图6可知，通过本发明的基于蒙特卡洛树搜索的无人机路径规划方法，在进行第一次搜索时，确定
为有效初始状态，并经过搜索确定L1为有效路径。进一步的，
为
作为终止状态的假想有效初始状态。
在步骤520中，若假想有效初始状态为实际初始状态，则将由假想有效初始状态至终止状态的路径，作为实际初始状态至有效初始状态的可行路径。
在一种示例中，继续结合图6进行说明，在进行第二次搜索时，若假想有效初始状态
为实际初始状态sI，即此时无人机位于实际初始点位置。那么，由假想有效初始状态
至其终止状态
的路径L2，作为实际初始状态至有效初始状态的可行路径。在本实施例中，确定的无人机路径为L1+L2。
在步骤530中，若假想有效初始状态不为实际初始状态，则以假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为实际初始状态，并将由假想有效初始状态至终止状态的路径作为实际初始状态至有效初始状态的可行路径。
继续结合图6进行说明，若前文所述的假想有效初始状态
不为实际初始状态sI，那么将继续以假想有效初始状态
作为新的终止状态进行第三次路径搜索。经过搜索确定关于
作为新的终止状态的假想有效初始状态
并判断假想有效初始状态
是否为实际初始状态sI。若假想有效初始状态
不为实际初始状态sI，那么将继续以假想有效初始状态
作为新的终止状态进行第四次路径搜索。经过搜索确定关于
作为新的终止状态的假想有效初始状态(可以将该假想有效初始状态称为
)为实际初始状态sI，那么由该假想有效初始状态
至终止状态
的路径L2+L3+L4，作为实际初始状态至有效初始状态的可行路径。在本实施例中，确定的无人机路径为L1+L2+L3+L4。
可以理解的是，假想有效初始状态是一种可以抵达相应终止状态的初始状态。以前文示例进行说明，当
作为终止状态时，可以抵达
的初始状态
为关于
的假想有效初始状态。
在本公开实施例中，采用了并发搜索和基于目标搜索两种策略，使得整个无人机路径规划的计算过程较为高效。在本实施例中，无需在无人机执飞前进行预先学习训练，即可满足无人机执飞过程中因目标变更所引发的临机在线规划任务需求，快速确定无人机路径。
本发明将结合下述实施例对基于蒙特卡洛树搜索的无人机路径规划方法进行说明。
图7是本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法的流程示意图之二。
在一种实施例中，如图7所示，基于蒙特卡洛树搜索的无人机路径规划方法可以包括步骤701至步骤714，下面将分别介绍各步骤。
在步骤701中，根据实际场景进行虚拟仿真环境建模。
在步骤702中，初始化公用缓冲池存储树搜索数据。
在一种实施例中，可以构建无人机强化学习虚拟仿真环境。其中，虚拟仿真环境可以提供对无人机位置姿态度量、控制指令响应、障碍物碰撞、目标抵达判定等功能的支持。无人机控制端能够通过虚拟仿真环境获取自身位置姿态、与目标点距离、与障碍物距离等状态信息，并可向虚拟仿真环境下达加减速、转向偏航等控制指令。
初始化公用数据缓冲池，用以更新每次树搜索后所产生的节点效用数据。
在步骤703中，实例化多个虚拟仿真环境。
在步骤704中，以无人机实际初始位置、实际初始位置周围、实际目标位置周围作为初始点生成无人机模型。
在步骤705中，进行蒙特卡洛树搜索。
在一种实施例中，可以实例化一个虚拟仿真环境，并在虚拟仿真环境中以无人机实际初始位置生成无人机模型，完成虚拟仿真环境初始化，并通过向虚拟仿真环境下达无人机控制指令，实现无人机在虚拟仿真环境中的运动。
需要说明的是，为了确保在固定时间步内完成对无人机路径的规划，可以设置最大仿真步长Tfix。
进一步的，可以从t＝0时刻开始，直至Tfix时刻结束，基于蒙特卡洛树搜索算法进行路径搜索。
在另一种实施例中，还可以构建一个递归形式的决策树Tree＝<V,E>。其中，V为决策树的一个节点，该节点表示某时刻的特定状态st，同时该节点包含所有已扩展子分支的效用和该节点被访问次数，若该节点已经为叶节点，则其效用为r(st)；E用以连接某节点的前序和后续状态节点，表示因下达控制指令所产生的状态变化。
在又一种实施例中，还可以根据上置信区间算法确定是否展开未探索新节点或继续开发已探索节点。
在步骤706中，判断是否找到实际初始位置至实际目标位置的可行路径。
在步骤707中，若找到实际初始位置至实际目标位置的可行路径，可以基于该可行路径，确定无人机路径。
在一种实施例中，在时间步达到Tfix时，首先检查该决策树是否有节点对应状态为无人机抵达实际目标位置，若存在，完成路径规划任务，结束整个搜索过程。
在步骤708中，若未找到实际初始位置至实际目标位置的可行路径，则继续判断是否找到假想初始位置至实际目标位置的可行路径。
在步骤709中，若找到假想初始位置至实际目标位置的可行路径，则更新假想初始位置效用值至公用缓冲池。
在步骤710中，连接所有可行路径，获得无人机路径。
在步骤711中，若未找到假想初始位置至实际目标位置的可行路径，实例化多个虚拟仿真环境。
在步骤712中，依次以存在可行路径的假想初始位置为假想目标，在其周围生成无人机模型重复进行蒙特卡洛树搜索，直至找到假想初始位置至假想目标的可行路径。
在步骤713中，更新假想初始位置效用值至公用缓冲池。
在步骤714中，连接所有可行路径，获得无人机路径。
在一种实施例中，在时间步达到Tfix时，若检查该决策树不存在节点对应状态为无人机抵达实际目标位置，则继续搜索是否有节点对应状态为无人机抵达假想目标位置。进一步的，实例化多个虚拟仿真环境，例如，实例化ne-1个虚拟仿真环境，以无人机实际初始、实际目标周围随机位置作为初始点，以抵达实际目标位置为终止状态进行蒙特卡洛树搜索。若找到可行路径，则连接由实际初始位置至实际目标位置的路径，完成路径规划任务，结束整个搜索过程。若未找到可行路径，则再次实例化多个虚拟环境执行上述搜索，直至获取实际初始位置至任意假想目标位置的可行路径，并由此导出由实际初始位置至实际目标位置的路径，完成路径规划任务，结束整个搜索过程。需要说明的是，可以通过计算效应值，确定可行路径。
在一种实施例中，在基于蒙特卡洛树搜索算法计算无人机各种状态的效用值后，可以在公用数据缓冲池中更新该状态所对应效用值。其中，公用数据缓冲池中更新的效用值可以作为后续确定可行路径的依据。
根据上述描述可知，本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法，可以利用蒙特卡洛树搜索算法进行有限深度搜索，获取特定状态(又可以称为有效初始状态)抵达实际目标点的有效路径，并以该特定状态作为终止状态，再次搜索其可行路径。由此构建由实际初始点通向实际目标点的无人机路径。其中，在每轮搜索时，可迭代生成下轮子目标效用函数，由此解决效用值难设计、路径搜索难并发的问题，保证无人机路径规划问题求解的高效稳定。
基于相同的构思，本发明还提供一种基于蒙特卡洛树搜索的无人机路径规划装置。
下面对本发明提供的基于蒙特卡洛树搜索的无人机路径规划装置进行描述，下文描述的基于蒙特卡洛树搜索的无人机路径规划装置与上文描述的基于蒙特卡洛树搜索的无人机路径规划方法可相互对应参照。
图8是本发明提供的基于蒙特卡洛树搜索的无人机路径规划装置的结构示意图。
在本发明一示例性实施例中，如图8所示，基于蒙特卡洛树搜索的无人机路径规划装置可以包括构建模块810、处理模块820和确定模块830。下面将分别介绍各模块。
构建模块810可以被配置为用于基于实际初始点和实际目标点，并发构建多个虚拟仿真环境。
处理模块820可以被配置为用于实例化多个虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径。其中，有效路径为以有效初始状态抵达实际目标点的路径，有效初始状态为在预设时间步内，在虚拟仿真环境中抵达实际目标点的初始状态，初始状态包括实际初始状态和假想初始状态，实际初始状态对应无人机位于实际初始点，假想初始状态对应无人机位于仿真虚拟环境中除实际初始点之外的其他位点。
确定模块830可以被配置为用于基于实际初始状态、有效初始状态，以及有效路径，确定无人机路径。
在本发明一示例性实施例中，确定模块830可以采用以下方式基于实际初始状态、有效初始状态，以及有效路径，确定无人机路径：若有效初始状态与实际初始状态相同，则将有效路径确定为无人机路径；若有效初始状态与实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径，并将有效路径与可行路径之和作为无人机路径。
在本发明一示例性实施例中，确定模块830可以采用以下方式基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径：以有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，假想有效初始状态为关于终止状态的有效初始状态；若假想有效初始状态为实际初始状态，则将由假想有效初始状态至终止状态的路径，作为实际初始状态至有效初始状态的可行路径；若假想有效初始状态不为实际初始状态，则以假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为实际初始状态，并将由假想有效初始状态至终止状态的路径作为实际初始状态至有效初始状态的可行路径。
在本发明一示例性实施例中，处理模块820可以采用以下方式基于蒙特卡洛树搜索算法，获取有效路径：基于蒙特卡洛树搜索算法，获取以有效初始状态抵达实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为有效路径。
在本发明一示例性实施例中，确定模块830可以采用以下方式确定可行路径：基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为可行路径。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关基于蒙特卡洛树搜索的无人机路径规划方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行基于蒙特卡洛树搜索的无人机路径规划方法，该方法包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于蒙特卡洛树搜索的无人机路径规划方法，该方法包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于蒙特卡洛树搜索的无人机路径规划方法，该方法包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于蒙特卡洛树搜索的无人机路径规划方法，其特征在于，所述方法包括：
基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；
实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；
基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
2.根据权利要求1所述的基于蒙特卡洛树搜索的无人机路径规划方法，其特征在于，所述基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径，包括：
若所述有效初始状态与所述实际初始状态相同，则将所述有效路径确定为所述无人机路径；
若所述有效初始状态与所述实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，并将所述有效路径与所述可行路径之和作为所述无人机路径。
3.根据权利要求2所述的基于蒙特卡洛树搜索的无人机路径规划方法，其特征在于，所述基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，包括：
以所述有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，所述假想有效初始状态为关于所述终止状态的有效初始状态；
若所述假想有效初始状态为所述实际初始状态，则将由所述假想有效初始状态至所述终止状态的路径，作为所述实际初始状态至有效初始状态的可行路径；
若所述假想有效初始状态不为所述实际初始状态，则以所述假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为所述实际初始状态，并将由所述假想有效初始状态至所述终止状态的路径作为所述实际初始状态至所述有效初始状态的可行路径。
4.根据权利要求1所述的基于蒙特卡洛树搜索的无人机路径规划方法，其特征在于，所述基于蒙特卡洛树搜索算法，获取有效路径，包括：
基于蒙特卡洛树搜索算法，获取以所述有效初始状态抵达所述实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为所述有效路径。
5.根据权利要求2所述的基于蒙特卡洛树搜索的无人机路径规划方法，其特征在于，所述可行路径采用以下方式确定：
基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为所述可行路径。
6.一种基于蒙特卡洛树搜索的无人机路径规划装置，其特征在于，所述装置包括：
构建模块，用于基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；
处理模块，用于实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；
确定模块，用于基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
7.根据权利要求6所述的基于蒙特卡洛树搜索的无人机路径规划装置，其特征在于，所述确定模块采用以下方式基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径：
若所述有效初始状态与所述实际初始状态相同，则将所述有效路径确定为所述无人机路径；
若所述有效初始状态与所述实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，并将所述有效路径与所述可行路径之和作为所述无人机路径。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364635.6A CN114237303B (zh) | 2021-11-17 | 2021-11-17 | 一种基于蒙特卡洛树搜索的无人机路径规划方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364635.6A CN114237303B (zh) | 2021-11-17 | 2021-11-17 | 一种基于蒙特卡洛树搜索的无人机路径规划方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114237303A true CN114237303A (zh) | 2022-03-25 |
| CN114237303B CN114237303B (zh) | 2022-09-06 |
Family
ID=80749907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111364635.6A Active CN114237303B (zh) | 2021-11-17 | 2021-11-17 | 一种基于蒙特卡洛树搜索的无人机路径规划方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114237303B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116027807A (zh) * | 2023-02-01 | 2023-04-28 | 南京航空航天大学 | 一种异构无人机群协同电力巡检方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108759839A (zh) * | 2018-04-11 | 2018-11-06 | 哈尔滨工程大学 | 一种基于态势空间的无人飞行器路径规划方法 |
| CN108844541A (zh) * | 2018-03-09 | 2018-11-20 | 广东电网有限责任公司机巡作业中心 | 一种基于巡检场景的机巡路径规划方法 |
| EP3432107A1 (en) * | 2017-07-21 | 2019-01-23 | LG Electronics Inc. | Cleaning robot and controlling method thereof |
| CN109270960A (zh) * | 2018-12-05 | 2019-01-25 | 中南大学 | 基于Radau伪谱法的在线最优反馈再入制导方法 |
| US20190101919A1 (en) * | 2017-03-01 | 2019-04-04 | Zoox, Inc. | Trajectory Generation Using Temporal Logic and Tree Search |
| EP3485337A1 (en) * | 2016-09-23 | 2019-05-22 | Apple Inc. | Decision making for autonomous vehicle motion control |
| CN110989352A (zh) * | 2019-12-06 | 2020-04-10 | 上海应用技术大学 | 一种基于蒙特卡洛树搜索算法的群体机器人协同搜索方法 |
| US10671076B1 (en) * | 2017-03-01 | 2020-06-02 | Zoox, Inc. | Trajectory prediction of third-party objects using temporal logic and tree search |
| CN111679679A (zh) * | 2020-07-06 | 2020-09-18 | 哈尔滨工业大学 | 基于蒙特卡洛树搜索算法的机器人状态规划方法 |
| CN112436971A (zh) * | 2020-11-25 | 2021-03-02 | 中国人民解放军军事科学院评估论证研究中心 | 基于蒙特卡洛树搜索的全域指控网络协作拓扑生成方法 |
| CN112925350A (zh) * | 2021-01-15 | 2021-06-08 | 中国人民解放军战略支援部队航天工程大学 | 一种多无人机分布式协同目标搜索方法 |
| CN113093802A (zh) * | 2021-04-03 | 2021-07-09 | 西北工业大学 | 一种基于深度强化学习的无人机机动决策方法 |
| CN113110592A (zh) * | 2021-04-23 | 2021-07-13 | 南京大学 | 一种无人机避障与路径规划方法 |
| GB202110177D0 (en) * | 2020-07-16 | 2021-09-01 | Ocado Innovation Ltd | A controller and method for transporting devices |
-
2021
- 2021-11-17 CN CN202111364635.6A patent/CN114237303B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3485337A1 (en) * | 2016-09-23 | 2019-05-22 | Apple Inc. | Decision making for autonomous vehicle motion control |
| US10671076B1 (en) * | 2017-03-01 | 2020-06-02 | Zoox, Inc. | Trajectory prediction of third-party objects using temporal logic and tree search |
| US20200387158A1 (en) * | 2017-03-01 | 2020-12-10 | Zoox, Inc. | Trajectory generation using temporal logic and tree search |
| US20190101919A1 (en) * | 2017-03-01 | 2019-04-04 | Zoox, Inc. | Trajectory Generation Using Temporal Logic and Tree Search |
| EP3590015A1 (en) * | 2017-03-01 | 2020-01-08 | Zoox, Inc. | Trajectory generation and execution architecture |
| EP3432107A1 (en) * | 2017-07-21 | 2019-01-23 | LG Electronics Inc. | Cleaning robot and controlling method thereof |
| CN108844541A (zh) * | 2018-03-09 | 2018-11-20 | 广东电网有限责任公司机巡作业中心 | 一种基于巡检场景的机巡路径规划方法 |
| CN108759839A (zh) * | 2018-04-11 | 2018-11-06 | 哈尔滨工程大学 | 一种基于态势空间的无人飞行器路径规划方法 |
| CN109270960A (zh) * | 2018-12-05 | 2019-01-25 | 中南大学 | 基于Radau伪谱法的在线最优反馈再入制导方法 |
| CN110989352A (zh) * | 2019-12-06 | 2020-04-10 | 上海应用技术大学 | 一种基于蒙特卡洛树搜索算法的群体机器人协同搜索方法 |
| CN111679679A (zh) * | 2020-07-06 | 2020-09-18 | 哈尔滨工业大学 | 基于蒙特卡洛树搜索算法的机器人状态规划方法 |
| GB202110177D0 (en) * | 2020-07-16 | 2021-09-01 | Ocado Innovation Ltd | A controller and method for transporting devices |
| CN112436971A (zh) * | 2020-11-25 | 2021-03-02 | 中国人民解放军军事科学院评估论证研究中心 | 基于蒙特卡洛树搜索的全域指控网络协作拓扑生成方法 |
| CN112925350A (zh) * | 2021-01-15 | 2021-06-08 | 中国人民解放军战略支援部队航天工程大学 | 一种多无人机分布式协同目标搜索方法 |
| CN113093802A (zh) * | 2021-04-03 | 2021-07-09 | 西北工业大学 | 一种基于深度强化学习的无人机机动决策方法 |
| CN113110592A (zh) * | 2021-04-23 | 2021-07-13 | 南京大学 | 一种无人机避障与路径规划方法 |
Non-Patent Citations (4)
| Title |
|---|
| ANDREW BROWN 等: "A sampling-based probabilistic path planner for multirotor air vehicles in cluttered environments", 《JOURNAL OF AEROSPACE ENGINEERING》 * |
| YU-WEI XIA 等: "A Path Planning Method Based on Improved Single Player-Monte Carlo Tree Search", 《IEEE ACCESS》 * |
| 吴鲁超 等: "基于蒙特卡罗法的飞行器航迹规划研究", 《农业装备与车辆工程》 * |
| 罗天洪 等: "基于过路径点的三次多项式插值函数的仿蜘蛛机器人足路径规划", 《机械传动》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116027807A (zh) * | 2023-02-01 | 2023-04-28 | 南京航空航天大学 | 一种异构无人机群协同电力巡检方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114237303B (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10466058B2 (en) | Navigation for vehicles | |
| Liu et al. | Multi-UAV path planning based on fusion of sparrow search algorithm and improved bioinspired neural network | |
| CN109597425B (zh) | 基于强化学习的无人机导航和避障方法 | |
| EP3985616A1 (en) | Multi-layer bounding box determination method, and collision detection and motion control methods and devices | |
| Huang et al. | A new dynamic path planning approach for unmanned aerial vehicles | |
| CN112947594B (zh) | 一种面向无人机的航迹规划方法 | |
| CN112711261B (zh) | 一种基于局部视野的多智能体编队规划方法 | |
| CN109556609B (zh) | 一种基于人工智能的避碰方法及装置 | |
| CN112947591A (zh) | 基于改进蚁群算法的路径规划方法、装置、介质及无人机 | |
| CN113253733A (zh) | 一种基于学习和融合的导航避障方法、装置及系统 | |
| CN114237303B (zh) | 一种基于蒙特卡洛树搜索的无人机路径规划方法及装置 | |
| Chen et al. | Dynamic obstacle avoidance for uavs using a fast trajectory planning approach | |
| Xue et al. | Multi-agent deep reinforcement learning for uavs navigation in unknown complex environment | |
| CN113139696B (zh) | 一种轨迹预测模型构建方法及轨迹预测方法、装置 | |
| CN111176324B (zh) | 一种多无人机分布式协同编队规避动态障碍的方法 | |
| Bolognini et al. | A scalable hierarchical path planning technique for autonomous inspections with multicopter drones | |
| CN109977455B (zh) | 一种适用于带地形障碍三维空间的蚁群优化路径构建方法 | |
| Zollars et al. | Simplex Methods for Optimal Control of Unmanned Aircraft Flight Trajectories | |
| CN114281105A (zh) | 一种面向变电站巡检的无人机路径规划方法 | |
| Huang et al. | Path planning for UAV reconnoitring in complex environment based on improved visibility graph and genetic algorithm | |
| US11999479B2 (en) | Fast path planning for dynamic avoidance in partially known environments | |
| Neto et al. | On the consensus of nonlinear agents in unknown cluttered environments using random planning | |
| EP4148706A1 (en) | Fast path planning for dynamic avoidance in partially known environments | |
| Chen et al. | Multi-objective monte-carlo tree search based aerial maneuvering control | |
| CN116991179B (zh) | 无人机搜索航迹的优化方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |