CN111896006A - 一种基于强化学习和启发式搜索的路径规划方法及系统 - Google Patents

Abstract

本发明公开了一种基于强化学习和启发式搜索的路径规划方法及系统。该方法包括：S1：在马尔科夫决策过程框架下建立环境模型，所述环境模型的状态空间为S，动作空间为A，奖励函数为R，转移概率函数为P；S2：通过Dyna‑Q算法对所述环境模型进行采样更新，对每个状态‑动作对进行评估并确定目标点；S3：基于所述目标点，通过A*算法分别计算当前位置与起始点和所述目标点的欧式距离，确定初始路径；S4：对所述初始路径中每个状态‑动作对进行赋值；S5：根据每个状态‑动作对的评估值以及赋值，确定最优动作；S6：根据最优动作确定最优路径。本发明能够有效的加速强化学习的收敛速度，同时克服启发式搜索规划出次最优解等问题，从而更加快速、准确的规划路径。

Description

一种基于强化学习和启发式搜索的路径规划方法及系统

技术领域

本发明涉及路径规划领域，特别是涉及一种基于强化学习和启发式搜索的路径规划方法及系统。

背景技术

路径规划是指从起始点到目标点规划一条可行的无障碍路径。传统的路径规划算法分为三类：基于势场的算法，基于采样的算法和启发式搜索算法。最经典的势场算法是由Khatib提出的人工势场法，它假定在一个构型空间中，目标点产生引力场，障碍物产生斥力场，通过合理控制智能体的行走。当斥力过高时，智能体可能会被困在角落，停滞不前。在此基础上Orozco-Rosas等人提出将膜计算与遗传算法和人工势场法相结合，寻找参数来生成可行且安全的路径。基于采样的路径规划算法主要是由LaValle等人提出的快速探索随机树(RRTs)算法，该算法允许移动机器人通过在未知环境中随机采样的方法进行路径规划，但是规划出的路径可能是不平滑的甚至是不可行的。Karaman和Frazzoli对RRT算法进行了改进，提出了RRT*算法。Jeong等人利用三角不等式，改进ChooseParent和Rewire过程，提出了Quick-RRT*算法。在启发式搜索算法中，A*算法被广泛研究。A*算法是在Dijikstra基础上通过计算代价搜索和启发式搜索计算最佳优先搜索，当存在多个最小启发式函数值时，不能保证找到最优解。

强化学习是一种机器学习方法，通过不断的和环境进行交互进行学习。智能体的目的是通过评估每个状态-动作对的值使得在每个状态都能选择最合适的动作。强化学习已经成功应用于路径规划问题，但是强化学习和神经网络结合在学习过程中很不稳定并且容易手链到局部最优解的情况。相反，表格强化学习通过对地图的充分探索后能够保成收敛到最优解。然而，对于大型离散空间或者连续空间来说，大量的数据需要被存储，同时也需要大量的内存，导致效率低下。在强化学习中，Dyna-Q算法通过对采样数据建立模型加以利用，一定程度上加快了学习速度。但是由于缺乏地图的先验知识并且采样效率比较低，导致收敛速度较慢。

发明内容

本发明的目的是提供一种基于强化学习和启发式搜索的路径规划方法及系统，能够有效的加速强化学习的收敛速度，同时克服启发式搜索规划出此最优解的等问题，从而更加快速、准确的规划路径。

为实现上述目的，本发明提供了如下方案：

一种基于强化学习和启发式搜索的路径规划方法，包括：

S1：在马尔科夫决策过程框架下建立环境模型，所述环境模型的状态空间为S，动作空间为A，奖励函数为R，转移概率函数为P；

S2：通过Dyna-Q算法对所述环境模型进行采样更新，对每个状态-动作对进行评估并确定目标点；

S3：基于所述目标点，通过A*算法分别计算当前位置与起始点和所述目标点的欧式距离，确定初始路径；

S4：对所述初始路径中每个状态-动作对进行赋值；

S5：根据每个状态-动作对的评估值以及赋值，确定最优动作；

S6：根据最优动作确定最优路径。

进一步，所述步骤S1具体包括：

S11：利用环境的坐标对状态S进行表征；

S12：智能体所能行走的方向表征为环境的动作空间A；行走方向包括上、下、左以及右；

S13：当智能体碰到障碍物时，获得的奖励为-100，当到达目标点时，获得的奖励为1000，其余情况均为-1；

S14：当智能体在同一状态采取同一动作时，进入的状态是唯一的，所以转移概率函数P＝1。

进一步，所述步骤S2具体包括：

S21：当时间t时，状态为s_t∈S下，根据上置信边界策略选择动作a_t∈A，进入下一时刻状态s_t+1∈S，并得到奖励r_t+1；所述上置信边界策略为：

其中，Q(s_t,a_t)为在状态s下动作a的评估值，c为比例因子，N_t(a)表示在状态s下动作a被访问的次数，t表示从开始到现在所经历的时间步；

S22：采样得到的经验序列<s_t,a_t,s_t+1,a_t+1>，通过状态-动作对函数进行更新，公式为：

其中，α∈(0，1)表示学习率，γ∈(0，1)表示折损因子；

S23：采样得到的<s_t,a_t,s_t+1,a_t+1>存储到模型M(S,A)中，同时随机对模型M(S,A)中的元素进行抽取并利用状态-动作对进行训练。

进一步，所述步骤S3具体包括：

S31：利用A*算法的启发函数计算当前节点的启发值F(x,y)，表示为：

F(x,y)＝G(x,y)+H(x,y)

G(x,y)表示起始点到当前位置的欧式距离，H(x,y)表示目标点到当前位置的欧式距离；(x，y)表示当前点坐标，(o_x，o_y)表示起始点坐标，(g_x，g_y)表示目标点坐标；

S32：将开放列表中启发值F(x,y)最小的节点X(x,y)，加入到关闭列表，然后检查节点X(x,y)周围的点是否在开放列表当中，若否，则将X(x,y)周围的点加入开放列表；重复步骤S3确定初始路径。

进一步，所述最优动作a_t′的计算公式为：

其中，η和c为比例因子。

本发明还提供了一种基于强化学习和启发式搜索的路径规划系统，包括：

环境模型构建模块，用于在马尔科夫决策过程框架下建立环境模型，所述环境模型的状态空间为S，动作空间为A，奖励函数为R，转移概率函数为P；

更新模块，通过Dyna-Q算法对所述环境模型进行采样更新，对每个状态-动作对进行评估并确定目标点；

初始路径确定模块，基于所述目标点，通过A*算法分别计算当前位置与起始点和所述目标点的欧式距离，确定初始路径；

赋值模块，用于对所述初始路径中每个状态-动作对进行赋值；

最优动作确定模块，用于根据每个状态-动作对的评估值以及赋值，确定最优动作；

最优路径确定模块，用于根据最优动作确定最优路径。

进一步，起始点到当前位置的欧式距离的计算公式如下：

目标点到当前位置的欧式距离的计算公式如下：

(x，y)表示当前点坐标，(o_x，o_y)表示起始点坐标，(g_x，g_y)表示目标点坐标。

进一步，所述最优动作a_t′的计算公式为：

其中，η和c为比例因子。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

1)将强化学习与启发式搜索结合用于路径规划，在不需要任何环境先验知识的情况下能够进行路径规划，并且有效的加速了Dyna-Q的收敛速度，增强了算法的鲁棒性。

2)当启发式搜索规划出一条次最优路径时，通过Dyna-Q的构建的模型不断的对采集的状态-动作对更新，最终收敛到最优路径。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于强化学习和启发式搜索的路径规划方法的流程图；

图2为本发明实施例环境的地图；

图3为本发明实施例启发式搜索在地图中所规划的路径图；

图4为本发明与Dyna-Q算法在不同环境中到达目标点的次数和消耗的步数的对比图；

图5为η不同时，克服启发式搜索规划出的次最优路径所花费的时间步；

图6为本发明实施例基于强化学习和启发式搜索的路径规划系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于强化学习和启发式搜索的路径规划方法及系统，能够有效的加速强化学习的收敛速度，同时克服启发式搜索规划出此最优解的等问题，从而更加快速、准确的规划路径。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，基于强化学习和启发式搜索的路径规划方法包括以下步骤：

S1：在马尔科夫决策过程框架下建立环境模型，所述环境模型的状态空间为S，动作空间为A，奖励函数为R，转移概率函数为P。

S2：通过Dyna-Q算法对所述环境模型进行采样更新，对每个状态-动作对进行评估并确定目标点。

S3：基于所述目标点，通过A*算法分别计算当前位置与起始点和所述目标点的欧式距离，确定初始路径。

S4：对所述初始路径中每个状态-动作对进行赋值。

S5：根据每个状态-动作对的评估值以及赋值，确定最优动作。

S6：根据最优动作确定最优路径。

步骤S1具体包括：

S11：利用环境的坐标对状态S进行表征。

S12：智能体所能行走的方向表征为环境的动作空间A；行走方向包括上、下、左以及右。

S13：当智能体碰到障碍物时，获得的奖励为-100，当到达目标点时，获得的奖励为1000，其余情况均为-1。

S14：当智能体在同一状态采取同一动作时，进入的状态是唯一的，所以转移概率函数P＝1。

步骤S2具体包括：

S21：当时间t时，状态为s_t∈S下，根据上置信边界策略选择动作a_t∈A，进入下一时刻状态s_t+1∈S，并得到奖励r_t+1；所述上置信边界策略为：

其中，Q(s_t,a_t)为在状态s下动作a的评估值，c为比例因子，N_t(a)表示在状态s下动作a被访问的次数，t表示从开始到现在所经历的时间步。

S22：采样得到的经验序列<s_t,a_t,s_t+1,a_t+1>，通过状态-动作对函数进行更新，公式为：

其中，α∈(0，1)表示学习率，γ∈(0，1)表示折损因子；

S23：采样得到的<s_t,a_t,s_t+1,a_t+1>存储到模型M(S,A)中，同时随机对模型M(S,A)中的元素进行抽取并利用状态-动作对进行训练。使得每个状态-动作对尽可能的近似真实的Q^*(s_t,a_t)。

步骤S3具体包括：

S31：利用A*算法的启发函数计算当前节点的启发值F(x,y)，表示为：

F(x，y)＝G(x，y)+H(x，y) (3)

G(x,y)表示起始点到当前位置的欧式距离，H(x,y)表示目标点到当前位置的欧式距离；(x，y)表示当前点坐标，(o_x，o_y)表示起始点坐标，(g_x，g_y)表示目标点坐标；

S32：将开放列表中启发值F(x,y)最小的节点X(x,y)，加入到关闭列表，然后检查节点X(x,y)周围的点是否在开放列表当中，若否，则将X(x,y)周围的点加入开放列表；重复步骤S3确定初始路径。

步骤S5具体包括：将A*算法规划出的路径对应的状态-动作对赋予一定的值P(s,a)，通过一定比例与Q(s_t,a_t)结合，得到公式：

其中，η和c为比例因子。

具体实施例：

1)在状态s_t下，根据其当前的状态-动作值利用上置信边界策略结合A*算法规划出的路径利用公式(4)选择一个合适的动作a_t。

其中

其最优动作价值函数表示为q^*，并定义为

执行动作a_t，进入下一个状态s_t+1并获得奖励r_t+1，将采样得到的<s_t,a_t,s_t+1,a_t+1>作为与环境交互所获得的经验，利用公式(2)直接进行学习，并更新Q表中的状态-动作值。同时对采样的状态和状态动作对的访问次数加一。

N(s_t，a_t)＝N(s_t，a_t)+1 (8)

3)将采样得到的<s_t,a_t,s_t+1,a_t+1>同时存入M(S,A)模型当中，构建起经验模型。当直接学习更新完后，通过随机抽样的方式从M(S,A)抽取10组经验用于训练。

r，s′←M(s，a) (9)

更新状态-动作值来改善策略，每更新一次对采样的状态和状态动作对的访问次数加一。

4)当经验中包含目标值时，利用公式(3)分别计算当前位置同起始点和目标点的欧式距离，找到开放列表中启发值F(x,y)最小的节点X(x,y)，把它加入到关闭列表，然后检查节点X(x,y)周围的点是否在开放列表当中，若不在，则将其加入开放列表，若存在，则忽略它。重复上述过程，直到目标点包含在开放列表当中，通过关闭列表中的点反向连接，找到最优路径。本发明利用这条最优路径，用于缩小路径的范围并把这条路径对应的状态动作对赋予一定的数值对P(s,a)进行更新，并以一定的比例加入到状态-动作值当中。

按上述方案，环境的地图如图2所示，图2-a，2-b，2-c分别表示环境1，环境2和环境3。图中图中三角形代表智能体，圆形代表目标点，黑色方格代表障碍物，白色方格代表可行路径。当智能体行走在白色方格上，每次获得的奖励为-1，当智能体碰撞到黑色方格时，获得奖励-100并返回起始点，当智能体到达目标点时，获得奖励为1000并返回目标点。

按上述方案，A*算法在地图中所规划的路径图如图3所示，图3-a，3-b，3-c分别表示A*算法在环境1，环境2，环境3中所规划出的路径。由图3-a所示，A*算法规划出一条最优路径，而图3-b和图3-c表明A*算法规划出一条次最优路径。

图4为本发明与Dyna-Q算法做对比，在不同环境中到达目标点所消耗的步数。图4-a，4-b，4-c分别表示在环境1，环境2和环境3中达目标点所消耗的步数及到达目标点的次数。图4-a所示，总回合数为300，当A*算法直接规划出最优路径时，本发明会直接收敛到最优解并且到达目标点的次数为250次，而Dyna-Q算法则震荡逐渐收敛，到达目标点的次数为160次。图4-b表示，总回合数为500，当A*算法规划出次最优路径时，本发明会先收敛到次最优路径，随着训练次数的增加，在到达目标点134次时收敛到最优路径，到达目标点的次数为435次，而Dyna-Q算法到达目标点的次数为250次。图4-c表示，总回合数为4000，在相对较大的环境下，相较于Dyna-Q算法本发明的优势更加明显，到达目标点的次数为3452次，且克服了A*算法所规划出的次最优路径。由此可以看出，本发明相比于Dyna-Q算法收敛速度更高，且能够克服A*算法的缺点，有更强的鲁棒性。

图5表示当η不同时，克服启发式搜索规划出的次最优路径所花费的时间步。在环境2中，当η＝8时到达目标点130次后智能体找到最优路。随着η的增大，到达最优路径所花费的时间也越来越长。表明过大的η不利于克服启发式搜索规划出的次最优路径。

如图6所示，本发明还提供了一种基于强化学习和启发式搜索的路径规划系统，包括：

环境模型构建模块601，用于在马尔科夫决策过程框架下建立环境模型，所述环境模型的状态空间为S，动作空间为A，奖励函数为R，转移概率函数为P。

更新模块602，通过Dyna-Q算法对所述环境模型进行采样更新，对每个状态-动作对进行评估并确定目标点。

初始路径确定模块603，基于所述目标点，通过A*算法分别计算当前位置与起始点和所述目标点的欧式距离，确定初始路径。

起始点到当前位置的欧式距离的计算公式如下：

目标点到当前位置的欧式距离的计算公式如下：

赋值模块604，用于对所述初始路径中每个状态-动作对进行赋值。

最优动作确定模块605，用于根据每个状态-动作对的评估值以及赋值，确定最优动作。

最优路径确定模块606，用于根据最优动作确定最优路径。

所述最优动作的计算公式为：

其中，η和c为比例因子。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于强化学习和启发式搜索的路径规划方法，其特征在于，包括：

S1：在马尔科夫决策过程框架下建立环境模型，所述环境模型的状态空间为S，动作空间为A，奖励函数为R，转移概率函数为P；

S2：通过Dyna-Q算法对所述环境模型进行采样更新，对每个状态-动作对进行评估并确定目标点；

S3：基于所述目标点，通过A*算法分别计算当前位置与起始点和所述目标点的欧式距离，确定初始路径；

S4：对所述初始路径中每个状态-动作对进行赋值；

S5：根据每个状态-动作对的评估值以及赋值，确定最优动作；

S6：根据最优动作确定最优路径。

2.根据权利要求1所述的基于强化学习和启发式搜索的路径规划方法，其特征在于，所述步骤S1具体包括：

S11：利用环境的坐标对状态S进行表征。

S12：智能体所能行走的方向表征为环境的动作空间A；行走方向包括上、下、左以及右。

S13：当智能体碰到障碍物时，获得的奖励为-100，当到达目标点时，获得的奖励为1000，其余情况均为-1。

S14：当智能体在同一状态采取同一动作时，进入的状态是唯一的，所以转移概率函数P＝1。

3.根据权利要求1所述的基于强化学习和启发式搜索的路径规划方法，其特征在于，所述步骤S2具体包括：

S21：当时间t时，状态为st∈S下，根据上置信边界策略选择动作a_t∈A，进入下一时刻状态s_t+1∈S，并得到奖励r_t+1；所述上置信边界策略为：

其中，Q(s_t,a_t)为在状态s下动作a的评估值，c为比例因子，N_t(a)表示在状态s下动作a被访问的次数，t表示从开始到现在所经历的时间步。

S22：采样得到的经验序列<s_t,a_t,s_t+1,a_t+1>，通过状态-动作对函数进行更新，公式为：

其中，α∈(0，1)表示学习率，γ∈(0，1)表示折损因子；

S23：采样得到的<s_t,a_t,s_t+1,a_t+1>存储到模型M(S,A)中，同时随机对模型M(S,A)中的元素进行抽取并利用状态-动作对进行训练。

4.根据权利要求1所述的基于强化学习和启发式搜索的路径规划方法，其特征在于，所述步骤S3具体包括：

S31：利用A*算法的启发函数计算当前节点的启发值F(x,y)，表示为：

F(x,y)＝G(x,y)+H(x,y)

G(x,y)表示起始点到当前位置的欧式距离，H(x,y)表示目标点到当前位置的欧式距离；(x，y)表示当前点坐标，(o_x，o_y)表示起始点坐标，(g_x，g_y)表示目标点坐标；

S32：将开放列表中启发值F(x,y)最小的节点X(x,y)，加入到关闭列表，然后检查节点X(x,y)周围的点是否在开放列表当中，若否，则将X(x,y)周围的点加入开放列表；重复步骤S3确定初始路径。

5.根据权利要求1所述的基于强化学习和启发式搜索的路径规划方法，其特征在于，所述最优动作a_t′的计算公式为：

其中，η和c为比例因子。

6.一种基于强化学习和启发式搜索的路径规划系统，其特征在于，包括：

环境模型构建模块，用于在马尔科夫决策过程框架下建立环境模型，所述环境模型的状态空间为S，动作空间为A，奖励函数为R，转移概率函数为P；

更新模块，通过Dyna-Q算法对所述环境模型进行采样更新，对每个状态-动作对进行评估并确定目标点；

初始路径确定模块，基于所述目标点，通过A*算法分别计算当前位置与起始点和所述目标点的欧式距离，确定初始路径；

赋值模块，用于对所述初始路径中每个状态-动作对进行赋值；

最优动作确定模块，用于根据每个状态-动作对的评估值以及赋值，确定最优动作；

最优路径确定模块，用于根据最优动作确定最优路径。

7.根据权利要求6所述的基于强化学习和启发式搜索的路径规划系统，其特征在于，起始点到当前位置的欧式距离的计算公式如下：

目标点到当前位置的欧式距离的计算公式如下：

(x，y)表示当前点坐标，(o_x，o_y)表示起始点坐标，(gx，g_y)表示目标点坐标。

8.根据权利要求6所述的基于强化学习和启发式搜索的路径规划系统，其特征在于，所述最优动作a_t′的计算公式为：

其中，η和c为比例因子。

Images