CN109597425A - 基于强化学习的无人机导航和避障方法 - Google Patents
基于强化学习的无人机导航和避障方法 Download PDFInfo
- Publication number
- CN109597425A CN109597425A CN201811215220.0A CN201811215220A CN109597425A CN 109597425 A CN109597425 A CN 109597425A CN 201811215220 A CN201811215220 A CN 201811215220A CN 109597425 A CN109597425 A CN 109597425A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- movement
- value
- strategy
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000006870 function Effects 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims description 8
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005183 dynamical system Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于强化学习的无人机导航和避障方法，其设计思想是：无人机每进行一步动作后，接收到环境的回报值，无人机通过回报值的大小来给上一步动作打分，形成一个动作‑状态分数网络，然后无人机根据当前的状态选择回报值最大的动作，反复进行以上步骤直到达到目标点。通过这种方法，能够实现无人机实时自主导航和避障功能，最终安全到达目标点。
Description
技术领域
本发明涉及一种基于强化学习的无人机导航和避障方法，其设计思想是：无人机每进行一步动作后，接收到环境的回报值，无人机通过回报值的大小来给上一步动作打分，形成一个动作-状态分数网络，然后无人机根据当前的状态选择回报值最大的动作，反复进行以上步骤直到达到目标点。通过这种方法，能够实现无人机实时自主导航和避障功能，最终安全到达目标点。
背景技术
无人机航路规划的基本目标是自主的获得一条能够避开威胁安全到达目标的飞行路径。近些年来，航路规划问题的技术方法发展迅速，有很多文献对该问题从不同方面提出了建模与求解方法。这些技术按照威胁信息获取方式的不同可以分为两大类：一类是静态航路规划技术，即基于环境先验完全信息的航路规划。无人机根据全局完整环境威胁信息构造出一条起始点和目标点之间的安全、可行、满意的路径；另一类是实时航路规划技术，在这部分工作中假设威胁环境预先完全未知或部分未知。此时，无人机只能获取有限范围(通常是传感器探测范围)内的威胁信息，为了安全到达目标就需要在飞行过程中实时规划航路。如果实时航路规划需要在机载计算机上运行，称为在线实时航路规划。下面分别从静态航路规划和实时航路规划两方面进行讨论。
第一方面是有关静态路径规划的方法。无人机静态路径规划的重点是如何在全部威胁环境已知的情况下计算得出一条全局优化路径。常用的规划方法包括：通过构造Voronoi图的方式搜索可行路径并优化；在学习阶段将威胁区域概率用图的形式描述，并在查询阶段构造两节点间的可行路径，或者采用概率路标法来构造路径；可视图法、Silhouettes法等。在已知全部威胁环境的情况下，这些方法可以针对全局威胁环境计算出安全可行或最优的飞行航路。然而，由于飞行区域巨大、无人机探测范围有限、威胁源类型多样以及威胁信息动态变化且难以精确描述等原因，无人机往往无法直接获取飞行区域的完整信息，而必须在飞行过程中实时探测，这就使得静态航路规划方法在实际应用中存在一定的局限性。鉴于以上原因，很多学者对实时航路规划方法开展了研究。
第二方面是有关实时航路规划的方法。无人机实时航路规划的重点是如何根据探测的有限环境信息规划出一条从起点到目标点的全局航路。目前的研究主要以机器人路径规划方法为参考，结合无人机性能以及飞行环境的特殊性来进行方法研究。目前，所提出的方法按照建模思想不同可以归为以下几种：
(1)基于概率的方法。Klasing等人采用基于Cell的概率路标(Cell-basedprobabilistic roadmaps)法实时对路径进行重规划；Jun和D’Andrea提出了一种基于威胁概率图的航路规划算法；Zengin和Dogan开发了动态环境下的概率模型框架(Probabilistic modeling framework)，为路径规划提供了较为完整的解决方案。
(2)数学规划方法。近来很多文献中给出了一系列利用混合整数规划来实时求解路径的方法；Shi和Wang采用Bayesian决策理论与动态规划算法相结合的方法来求解最优路径；另外，还有基于流函数(Stream Function)的人工势场的方法(Potential fieldapproaches)，全局动态窗口方法(Global dynamic window approaches)，基于进化计算的方法(Evolutionary computation)，边界跟踪方法(Bouncing based methods)等用于实时路径规划；Lan和Wen等人对采用不同规划方法进行路径规划的优缺点进行了分析和比较。
(3)全局路径规划与实时路径调整相结合的方法。Xiao和Gao等人首先采用Dijkstra算法根据改进的Voronoi图生成初始路径，然后在威胁信息变化时采用基于混合动态贝叶斯网络的转换线性动态系统对路径重新规划；Yan和Ding等人在给出初始路径的基础上采用基于路标图(Roadmap Diagram)的混合重规划方法(Hybrid path re-planningalgorithm)来实时搜索可行路径；Tarjan还基于有向图(Directed graphs)给出一种通用的可以解决大部分路径问题的一般性方法，并说明了构造路径表达式在某种意义上是最常见的路径问题，但这种方法在求解具体问题时的效率和可行性上都有一定的局限。
除了上述方法，还包括一些由静态方法(A*算法、Voronoi图法等)改进得到的实时方法，例如，Beard等人基于改进的Voronoi图动态生成可行路径；Bernhard等人使用Dijkstra算法给出了一种局部操作迭代步骤方法，进而用于确定每一步的最佳轨迹；Chen等人提出了基于D*算法在未知环境中进行无人战斗机航路规划的方法，其中还考虑了突发威胁。
但是以上航路规划方法面临着实时算法计算量大，环境描述的复杂性和局限性等特点，一直难以真正地应用在实际无人机系统中。随着近几年来机器学习技术的大热，机器学习方法在解决实际问题中的复杂性和实时性问题有非常好的效果，这一方法恰好能解决无人机在复杂环境中实时航路规划的问题。
发明内容
本发明的发明目的在于提供一种基于强化学习的无人机导航和避障方法，本发明通过在线学习能够实时获得无人机外界环境信息，学习无人机在何种环境下做出何种动作最为有效，通过本发明，无人机能完整地实现未知复杂障碍环境下的导航和避障，突破了原有航路规划算法实时计算的局限性和复杂性。
本发明的发明目的通过以下技术方案实现：
一种基于强化学习的无人机导航和避障方法，包含以下步骤：
a.初始化反映无人机状态与动作关系的Q值函数网络；
b.从环境中判断无人机的当前状态；
c.若无人机的当前状态为已陷入或即将陷入困境，则调用近邻危险区域逃离策略给出无人机要执行的动作；否则调用动作选择策略给出无人机作为要执行的动作；其中，动作选择策略依赖Q值网络函数计算出的各动作的回报值；
e.无人机执行动作，并获取动作的实际环境回报值和无人机的新状态；
f.利用实际环境回报值更新Q值函数网络；
g.将新状态设置为当前状态，重复c-g,直到无人机安全到达预设目标点。
优选地，动作选择策略按学习的阶段分为三部分：
在初始阶段，采用随机选择的策略，让无人机自由探索当前状态下合适的动作；
当无人机探索到足够的动作后，进入动作选择的第二阶段：引入Boltzmann分布对无人机的动作进行随机选择，某个动作被选择的概率为：
其中，P(ai|s)即为无人机处于状态s时选择某个动作ai的概率，T为虚拟温度因子，A为具有较高Q值的动作a的集合，e>0为一常量，它表示该动作选择策略优先考虑高Q值的程度，较大的e值会将较高的动作选择概率赋予具有较高Q值的动作a，从而使无人机能够利用它所学到的知识来选择它认为会使累积回报最大的动作，反之，较小的e值会使动作选择策略优先考虑高Q值的程度减小，其它小Q值得动作将获得更高的概率，从而可以使无人机继续探索那些当前Q值还不高的动作；
最后阶段，路径学习结果逐渐成熟，并且Q值逐渐趋向于所期望的状态-动作值，此时动作选择策略选择在当前状态下具有最大Q值对应的动作。
优选地，邻危险区域逃离策略采用三重策略，第一重，改变Boltzmann分布，使虚拟温度因子升高；第二重，调小无人机的动作步长，第三重，利用快速拓展随机树算法来避免无人机选择会导致碰壁的动作。
本发明的有益效果在于：本发明可以帮助无人机在完全未知的环境下进行导航和避障，最后安全到达目标点。本方法通过在线学习能够实时获得无人机外界环境信息，学习无人机在何种环境下做出何种动作。通过本发明，无人机能完整地实现未知复杂障碍环境下的导航和避障，突破了原有航路规划算法实时计算的局限性和复杂性。
附图说明
图1为基于强化学习的无人机导航和避障方法的流程示意图。
图2为Q值函数网络的学习流程示意图。
图3为随机树生成过程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
参见图1所示，本实施例所示的一种基于强化学习的无人机导航和避障方法，包含以下步骤：
a.初始化反映无人机状态与动作关系的Q值函数网络。
b.从环境中判断无人机的当前状态。其中，环境信息通过无人机的传感等获得。
c.若无人机的当前状态为已陷入或即将陷入困境，则调用近邻危险区域逃离策略给出无人机要执行的动作；否则调用动作选择策略给出无人机作为要执行的动作；其中，动作选择策略依赖Q值网络函数计算出的各动作的回报值。
e.无人机执行动作，并获取动作的实际环境回报值和无人机的新状态。
f.利用实际环境回报值更新Q值函数网络。
g.将新状态设置为当前状态，重复c-g,直到无人机安全到达预设目标点。
在上述步骤中，有以下四个技术要点：
一、Q值函数网络
在本发明中，由于神经网络的存储能力强，因此可以利用神经网络的泛化能力对没有学过的状态进行外推。本发明采取三层BP神经网络来存储Q值，对于不同的行为采用不同的单输出的网络分别存储其Q值。
BP神经网络的设置分为三层：输入向量、隐藏层和输出层。输入向量有两组状态空间，一组是对应于无人机可能选择的所有行为，一组是无人机的当前状态，包含了位置坐标、处在场景中哪一计算单元等，两者数量相等并且一一对应；隐藏层决定了神经网络的收敛速度和计算速度，在没有很多先验数据的基础下需要多次尝试，通过比较找到较好的效果；输出层对应于Q值函数网络中的Q值。在确定了BP神经网络的结构后，要通过输入和输出样本集对网络进行训练，即对神经网络的权值和阈值进行学习和修正。BP神经网络的学习过程分为两个阶段：
第一个阶段是向BP神经网络输入已知的学习样本，通过已设的网络结构和前一次迭代的权值和阈值，从神经网络的第一层向后计算各神经元的输出。
第二阶段是对神经网络各权值和阈值进行修改，算法从最后一层向前反过来计算各权值和阈值对总误差的影响，据此对各神经层的权值和阈值进行修改。
以上两个过程重复交替，直到达到收敛为止。
根据神经网络特性与原理，设计出Q值函数网络，流程如图2所示。
a.初始化神经网络及运行过程中所用到的参数；
b.初始化无人机状态和场景状态；
c.执行动作，获得无人机的新状态，同时获得实际环境回报值r。在此过程中，若与墙或障碍物发生碰撞，则无人机返回初始位置并重新开始；
d.根据BP算法训练神经网络；
e.将当前无人机的状态信息输入到神经网络中，获取Q值并根据该Q值选择动作；
f.重复步骤c-e，直到学习完毕，无人机成功到达目标点。
二、动作选择策略
由于在学习的不同阶段，无人机在某个状态下，每个动作所具有的Q值分布是不同的。在学习的初始阶段，有可能无人机被过度束缚从而在早期训练中某些动作具有较高的Q值，而影响无人机继续探索其它可能更高值得动作。然而，收敛定理则要求每个状态动作对的转换无限频繁的发生。因此如果无人机总是选择当前Q值最大的动作，则无法保证状态动作对的无限频繁发生性。因此通过概率的方式让无人机进行动作选择：有较高Q值的动作被赋予更高的概率值，但是所有的动作的概率都是不为零的正数。动作选择策略按学习的阶段分为三部分：
在初始阶段，为使无人机有充分的机会探索其它可能更高回报值的动作，在路径学习的最初期，采用随机选择的策略，让无人机自由探索当前状态下合适的动作。
随着学习进行，当无人机探索过足够的动作后，进入动作选择的第二阶段：引入Boltzmann分布对无人机的动作进行随机选择，某个动作被选择的概率为：
此式中，P(ai|s)即为无人机处于状态s时选择某个动作ai的概率，A为具有较高Q值的动作a的集合，e>0为一常量，它表示该动作选择策略优先考虑高Q值的程度。较大的e值将会将较高的动作选择概率赋予具有较高Q值的动作a，从而使无人机能够利用它所学到的知识来选择它认为会使累积回报最大的动作。反之，较小的e值会使动作选择策略优先考虑高Q值的程度减小，其它小Q值的动作可以获得更高的概率，从而可以使无人机继续探索那些当前Q值还不高的动作。在本论文中，e是随着迭代次数而变化的，以使在学习的早期无人机利用探索型策略，然后逐步转换到利用型的策略。T为虚拟温度因子，随着温度的增加，Q值相对于选择概率的影响因子越小，因此无人机的动作选择的随机性越强。
最后阶段，路径学习结果逐渐成熟，并且Q值逐渐趋向于所期望的状态-动作值，此时根据贪婪策略来选择无人机动作，即选择在现在状态下具有最大Q值对应的动作：
三、回报值与Q值更新策略
在本发明中，学习知识的直接途径是来自于环境给予无人机的回报值。当无人机执行完动作选择策略所选择的动作后，到达一个新的状态s’，同时通过对比当前状态与过去状态的关系，外界环境根据该动作a是否合适于先前状态，反馈给无人机一个实际回报值r。
当无人机得到该动作的实际回报值之后，根据该算法的学习策略：
计算该动作新的Q值矩阵，即实际的Q值。所得到的新的Q值矩阵同先前的Q值预测矩阵进行差值计算，作为该Q值函数网络的反向输入值，更新该Q函数网络以使学习速度和精度逐渐提高。
四、近邻危险区域逃离策略
在无人机的导航和避障过程中，有两种困境难以仅通过Q学习算法的网络化改进快速逃离：一个是在概率选择的动作选择策略下，难以保证无人机不自主选择动作而致使自身碰壁的概率；另一个是在存在局部最优陷阱的场景下，与障碍的距离反馈和与目标点的距离反馈之和，难以帮助无人机通过局部“示弱”的方法从而逃离局部困境。
为解决上述提到的这两个问题，本发明提出三重近邻危险区域逃离策略。第一重，改变Boltzmann分布，使虚拟温度因子升高，调高了行为选择策略的随机性，从而使无人机易于逃离当前最优的局部函数。第二重，调小无人机的动作步长，相当于“刹车”。第三重，学习快速拓展随机树的思想，利用快速拓展随机树算法的基本原理来避免无人机选择会导致碰壁的动作，并且可以防止无人机陷入局部最优问题。
设置阈值H(阈值大于无人机动作的步长)，当无人机与障碍物之间的距离d<H时，算法的第三重危险规避策略发挥作用。其主要原理如下:
无人机所处的场景Cfree进行建模，Cfree可看做一个N＝3的状态空间，分别代表无人机的位置坐标和方向角度，且此空间不会与障碍物发生碰撞。无人机启用快速拓展随机路径策略时所处的位置点位初始起点xinit，然后随机在Cfree空间上选取一个任意的位姿状态xrand，向xrand方向从起点xinit以步长ρ拓展一个随机树的节点x1，以此类推，在该空间中拓展出一个随机树，直到拓展出一个树的节点xk满足设置的停止条件，该节点与障碍之间的距离d大于设置值F并且距离目标点的距离较启用该近邻危险规避策略之前更短。于是，无人机选择随机树拓展出的路径xinit→xk，执行后并继续开始基于神经网络的Q学习过程进行无人机导航和避障。上述随机树构建过程如图3所示。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (3)
1.一种基于强化学习的无人机导航和避障方法，包含以下步骤：
a.初始化反映无人机状态与动作关系的Q值函数网络；
b.从环境中判断无人机的当前状态；
c.若无人机的当前状态为已陷入或即将陷入困境，则调用近邻危险区域逃离策略给出无人机要执行的动作；否则调用动作选择策略给出无人机作为要执行的动作；其中，动作选择策略依赖Q值网络函数计算出的各动作的回报值；
e.无人机执行动作，并获取动作的实际环境回报值和无人机的新状态；
f.利用实际环境回报值更新Q值函数网络；
g.将新状态设置为当前状态，重复c-g,直到无人机安全到达预设目标点。
2.根据权利要求1所述的基于强化学习的无人机导航和避障方法，其特征在于所述动作选择策略按学习的阶段分为三部分：
在初始阶段，采用随机选择的策略，让无人机自由探索当前状态下合适的动作；
当无人机探索到足够的动作后，进入动作选择的第二阶段：引入Boltzmann分布对无人机的动作进行随机选择，某个动作被选择的概率为：
其中，P(ai|s)即为无人机处于状态s时选择某个动作ai的概率，T为虚拟温度因子，A为具有较高Q值的动作a的集合，e>0为一常量，它表示该动作选择策略优先考虑高Q值的程度，较大的e值会将较高的动作选择概率赋予具有较高Q值的动作a，从而使无人机能够利用它所学到的知识来选择它认为会使累积回报最大的动作，反之，较小的e值会使动作选择策略优先考虑高Q值的程度减小，其它小Q值得动作将获得更高的概率，从而可以使无人机继续探索那些当前Q值还不高的动作；
最后阶段，路径学习结果逐渐成熟，并且Q值逐渐趋向于所期望的状态-动作值，此时动作选择策略选择在当前状态下具有最大Q值对应的动作。
3.根据权利要求2所述的基于强化学习的无人机导航和避障方法，其特征在于所述邻危险区域逃离策略采用三重策略，第一重，改变Boltzmann分布，使虚拟温度因子升高；第二重，调小无人机的动作步长，第三重，利用快速拓展随机树算法来避免无人机选择会导致碰壁的动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811215220.0A CN109597425B (zh) | 2018-10-18 | 2018-10-18 | 基于强化学习的无人机导航和避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811215220.0A CN109597425B (zh) | 2018-10-18 | 2018-10-18 | 基于强化学习的无人机导航和避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109597425A true CN109597425A (zh) | 2019-04-09 |
| CN109597425B CN109597425B (zh) | 2021-10-26 |
Family
ID=65957978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811215220.0A Active CN109597425B (zh) | 2018-10-18 | 2018-10-18 | 基于强化学习的无人机导航和避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109597425B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134140A (zh) * | 2019-05-23 | 2019-08-16 | 南京航空航天大学 | 一种环境信息未知连续状态下基于势函数奖赏dqn的无人机路径规划方法 |
| CN110345948A (zh) * | 2019-08-16 | 2019-10-18 | 重庆邮智机器人研究院有限公司 | 基于神经网络与q学习算法结合的动态避障方法 |
| CN110398986A (zh) * | 2019-04-28 | 2019-11-01 | 清华大学 | 一种多源数据迁移的无人机密集树林感知技术 |
| CN110488859A (zh) * | 2019-07-15 | 2019-11-22 | 北京航空航天大学 | 一种基于改进Q-learning算法的无人机航路规划方法 |
| CN110806759A (zh) * | 2019-11-12 | 2020-02-18 | 清华大学 | 一种基于深度强化学习的飞行器航线跟踪方法 |
| CN110806756A (zh) * | 2019-09-10 | 2020-02-18 | 西北工业大学 | 基于ddpg的无人机自主引导控制方法 |
| CN111216132A (zh) * | 2020-01-21 | 2020-06-02 | 桂林电子科技大学 | 基于改进rrt算法的六自由度机械臂路径规划方法 |
| CN111486847A (zh) * | 2020-04-29 | 2020-08-04 | 华中科技大学 | 一种无人机导航方法及系统 |
| CN113821044A (zh) * | 2021-07-06 | 2021-12-21 | 西北工业大学 | 基于强化学习的桥梁检测无人机自主导航与稳定控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106595671A (zh) * | 2017-02-22 | 2017-04-26 | 南方科技大学 | 一种基于强化学习的无人机路径规划方法和装置 |
| CN108319286A (zh) * | 2018-03-12 | 2018-07-24 | 西北工业大学 | 一种基于强化学习的无人机空战机动决策方法 |
| WO2018148225A2 (en) * | 2017-02-07 | 2018-08-16 | Lawrence Livermore National Security, Llc | Cryogenic pressurized storage with hump-reinforced vacuum jacket |
-
2018
- 2018-10-18 CN CN201811215220.0A patent/CN109597425B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018148225A2 (en) * | 2017-02-07 | 2018-08-16 | Lawrence Livermore National Security, Llc | Cryogenic pressurized storage with hump-reinforced vacuum jacket |
| CN106595671A (zh) * | 2017-02-22 | 2017-04-26 | 南方科技大学 | 一种基于强化学习的无人机路径规划方法和装置 |
| CN108319286A (zh) * | 2018-03-12 | 2018-07-24 | 西北工业大学 | 一种基于强化学习的无人机空战机动决策方法 |
Non-Patent Citations (1)
| Title |
|---|
| 高慧: "基于强化学习的移动机器人路径规划研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110398986A (zh) * | 2019-04-28 | 2019-11-01 | 清华大学 | 一种多源数据迁移的无人机密集树林感知技术 |
| CN110134140A (zh) * | 2019-05-23 | 2019-08-16 | 南京航空航天大学 | 一种环境信息未知连续状态下基于势函数奖赏dqn的无人机路径规划方法 |
| CN110134140B (zh) * | 2019-05-23 | 2022-01-11 | 南京航空航天大学 | 一种环境信息未知连续状态下基于势函数奖赏dqn的无人机路径规划方法 |
| CN110488859A (zh) * | 2019-07-15 | 2019-11-22 | 北京航空航天大学 | 一种基于改进Q-learning算法的无人机航路规划方法 |
| CN110345948A (zh) * | 2019-08-16 | 2019-10-18 | 重庆邮智机器人研究院有限公司 | 基于神经网络与q学习算法结合的动态避障方法 |
| CN110806756A (zh) * | 2019-09-10 | 2020-02-18 | 西北工业大学 | 基于ddpg的无人机自主引导控制方法 |
| CN110806756B (zh) * | 2019-09-10 | 2022-08-02 | 西北工业大学 | 基于ddpg的无人机自主引导控制方法 |
| CN110806759A (zh) * | 2019-11-12 | 2020-02-18 | 清华大学 | 一种基于深度强化学习的飞行器航线跟踪方法 |
| CN111216132A (zh) * | 2020-01-21 | 2020-06-02 | 桂林电子科技大学 | 基于改进rrt算法的六自由度机械臂路径规划方法 |
| CN111486847A (zh) * | 2020-04-29 | 2020-08-04 | 华中科技大学 | 一种无人机导航方法及系统 |
| CN113821044A (zh) * | 2021-07-06 | 2021-12-21 | 西北工业大学 | 基于强化学习的桥梁检测无人机自主导航与稳定控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109597425B (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109597425A (zh) | 基于强化学习的无人机导航和避障方法 | |
| Mohanan et al. | A survey of robotic motion planning in dynamic environments | |
| CN109655066B (zh) | 一种基于Q(λ)算法的无人机路径规划方法 | |
| Zhen et al. | Cooperative search-attack mission planning for multi-UAV based on intelligent self-organized algorithm | |
| Wu et al. | A hybrid algorithm of particle swarm optimization, metropolis criterion and RTS smoother for path planning of UAVs | |
| Zhao et al. | Survey on computational-intelligence-based UAV path planning | |
| CN107145161B (zh) | 无人机访问多目标点的航迹规划方法及装置 | |
| Dao et al. | A multi-objective optimal mobile robot path planning based on whale optimization algorithm | |
| Wen et al. | UAV online path planning algorithm in a low altitude dangerous environment | |
| Wen et al. | Online UAV path planning in uncertain and hostile environments | |
| Otte et al. | Any-time path-planning: Time-varying wind field+ moving obstacles | |
| Wang et al. | Improved quantum particle swarm optimization algorithm for offline path planning in AUVs | |
| Peng et al. | Online route planning for UAV based on model predictive control and particle swarm optimization algorithm | |
| CN110514206A (zh) | 一种基于深度学习的无人机飞行路径预测方法 | |
| CN112148008B (zh) | 一种基于深度强化学习的实时无人机路径预测方法 | |
| CN110926477A (zh) | 一种无人机航路规划及避障方法 | |
| CN108919818B (zh) | 基于混沌种群变异pio的航天器姿态轨道协同规划方法 | |
| Xu et al. | Heuristic and random search algorithm in optimization of route planning for Robot’s geomagnetic navigation | |
| Al-Sagban et al. | Neural-based navigation of a differential-drive mobile robot | |
| Zeng et al. | Optimal path planning based on annular space decomposition for AUVs operating in a variable environment | |
| Huang | A novel three-dimensional path planning method for fixed-wing UAV using improved particle swarm optimization algorithm | |
| Habib et al. | Mobile robot motion planning by point to point based on modified ant colony optimization and Voronoi diagram | |
| Lim et al. | Particle swarm optimization algorithms with selective differential evolution for AUV path planning | |
| Yao et al. | Multi-USV cooperative path planning by window update based self-organizing map and spectral clustering | |
| Wu et al. | Real-time three-dimensional smooth path planning for unmanned aerial vehicles in completely unknown cluttered environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |