CN114859905A - 一种基于人工势场法和强化学习的局部路径规划方法 - Google Patents

Abstract

本发明公开了一种基于人工势场法和强化学习的局部路径规划方法，包括：构建人工势场，所述人工势场由引力势场、斥力势场和道路势场叠加而成；基于人工势场训练无人车路径规划强化学习模型；利用训练后的无人车路径规划强化学习模型为无人车规划最优路径并更新车辆状态，重复以上步骤直到自车到达目标点。本发明改进了传统人工势场法斥力势场函数，引入了自车车速与障碍物车速；改进了道路势场函数，使道路边界处的势场变化更加理想。

Description

一种基于人工势场法和强化学习的局部路径规划方法

技术领域

本发明属于自动驾驶技术领域，尤其涉及一种基于人工势场法和强化学习的局部路径规划方法。

背景技术

随着智能体和人工智能理论的不断发展，无人驾驶技术日益成熟。无人驾驶汽车的工作过程可以分为感知、决策、控制三个部分，其中决策部分中的路径规划是无人驾驶汽车研究的关键技术之一。

目前无人驾驶汽车的路径规划技术分为两大类：全局路径规划和局部路径规划；而对局部路径规划方法的研究主要有：遗传算法，缺点是运算时间长，难以实现实时规划；滚动窗口方法，缺点是存在局部极值问题；模糊方法，缺点是模糊规则往往是人们通过经验预先制定的，所以无法学习和灵活性差；人工势场法，人工势场法是路径规划领域比较成熟和实时性较好的规划方法，工作原理是将环境信息抽象为引力场函数和斥力场函数，通过合力场函数来规划出一条从起始点到目标点的无碰撞路径。传统的人工势场法存在局部最优的问题，并且无法考虑车速等信息。

强化学习主要由智能体、环境、状态、动作、奖励组成；智能体执行了某个动作后，环境将会转换到一个新的状态，对于该新的状态环境会给出奖励信号。随后，智能体根据新的状态和环境反馈的奖励，按照一定的策略执行新的动作。智能体通过强化学习，可以知道自身在什么状态下，应该采取什么样的动作使得自身获得最大奖励。

发明内容

针对于上述现有技术的不足，本发明的目的在于提供一种基于人工势场法和强化学习的局部路径规划方法，以解决现有路径规划技术中对车速规划的考虑较少，且无法使车辆尽可能保持车道中心行驶的问题。

为达到上述目的，本发明采用的技术方案如下：

本发明的一种基于人工势场法和强化学习的局部路径规划方法，步骤如下：

(1)构建人工势场，所述人工势场由引力势场、斥力势场和道路势场叠加而成；

(2)基于步骤(1)中的人工势场训练无人车路径规划强化学习模型；

(3)利用训练后的无人车路径规划强化学习模型为无人车规划最优路径并更新车辆状态，重复以上步骤直到自车到达目标点。

进一步地，所述步骤(1)中的人工势场U的计算公式为：

U＝U_goal+U_obs+U_road (1)

引力势场U_goal的计算公式为：

U_goal＝-k_goal(x-x_goal) (2)

斥力势场U_obs的计算公式为：

道路势场U_road的计算公式为：

式中，R_x，R_y分别为自车与障碍物的纵向距离和横向距离，计算公式为：

式中，x、y分别为自车的纵向、横向位置坐标；k_goal、k_obs、k_road分别为引力增益系数、斥力增益系数、道路边界增益系数；k₁、k₂分别为自车速度增益系数和障碍物速度增益系数；x_goal为目标点的纵向位置坐标；x_obs、y_obs分别为障碍物的纵向、横向位置坐标；σ_x、σ_y分别为障碍物纵向影响距离和障碍物横向影响距离；v、v_obs分别为自车速度和障碍物速度；w为道路宽度；θ为道路边界影响范围系数，系数θ前的正负号与自车和车道中心线的横向距离有关，表示车辆在车道左侧或右侧；e为自然常数。

进一步地，所述步骤(2)中的训练方法具体为：

状态空间S＝{s_t＝(x,y,v)}，其中s_t为自车在t时刻的状态；动作空间A＝{左，前，右}；状态转移概率为P(s'|s,a)，表示从当前状态s_t采取动作a到达下一状态s_t+1的概率；策略为π(a|s)，表示在当前状态下采取动作a的概率；奖励函数r_t表示从当前状态s_t采取动作a到达下一状态s_t+1的奖励，计算公式为：

式中，α₁、α₂、α₃、α₄、α₅分别为车速保持、势能降低、车道中心保持、障碍物距离、目标点距离对应的权重系数；ΔU为s_t和s_t+1两个状态之间的势能差；

定义长期奖励为G_t＝γr_t+1+γ²r_t+2+…+γⁿr_t+n，表示从当前状态到结束的所有奖励，其中γ∈(0，1)，为累计回报折算因子；

定义状态价值函数为v_π(s_t)＝E(G_t|s_t)，表示从状态s_t采取策略π的期望奖励；定义动作价值函数为Q_π(s_t,a_t)＝E(G_t|s_t,a_t)，表示从状态s_t使用动作a_t后采取策略π的期望奖励，E为数学期望。

进一步地，所述步骤(3)中的规划最优路径方法为：

求解

即求解不同策略π下的最大动作价值函数，根据求解得到的使Q_π最大的策略π选择对应的动作a。

进一步地，所述步骤(3)中的求解方法选择粒子群算法，包括以下步骤：

(31)初始化粒子群，评价每个粒子的适应度，获取最优粒子的位置和速度，第i个粒子的位置表示为X_i＝(x_i1,x_i2,...x_iD)，第i个粒子的飞行的速度表示为V_i＝(v_i1,v_i2,...v_iD)；

(32)根据最优粒子的位置和速度，计算每个粒子由目标函数决定的适应度；

(33)评价每个粒子的适应度，并判断是否为最优解，更新粒子个体最优解pbest和全局最优解gbest，个体最优解和全局最优解位置分别为：

P_pbest＝(p_pbest1,p_pbest2,...p_pbestD),P_gbest＝(p_gbest1,p_gbest2,...p_gbestD) (7)

获取极值后，每个粒子更新的速度v_i,j和位置x_i,j由下式决定：

v_i,j(k+1)＝ωv_i,j(k)+c₁r₁(pbest_i,j(k)-x_i,j(k))+c₂r₂(gbest(k)-x_i,j(k)) (8)

式中，c₁、c₂为学习因子，r₁、r₂为在[0,1]之间的随机数，ω为惯性因子，惯性因子依据最大循环次数从ω_s线性递减至ω_e，由下式得出：

ω＝ω_s-(ω_s-ω_e)·I_c/I_max (9)

式中，ω_s为优化最初的惯性因子，ω_e为优化结束的惯性因子，I_max为最大循环次数，I_c为循环的当前次数；

(34)判断是否达到最大迭代次数，若达到最大迭代次数，则得到优化结果；若未达到最大迭代次数，则返回步骤(31)。

进一步地，执行动作a后更新状态，在新的状态下执行步骤(1)～(3)进入下一阶段的路径规划；循环进行以上操作，直到自车到达目标点附近即：

|x-x_goal|＜ε (10)

式中，ε为判断自车是否到达目标点附近的距离阈值。

本发明的有益效果：

1、本发明改进了传统人工势场法斥力势场函数，引入了自车车速与障碍物车速，建立了障碍物速度和势场影响范围之间的联系；改进了道路势场函数，使道路边界处的势场变化更加理想。

2、本发明结合了人工势场法和强化学习方法，将人工势场法中的势场变化作为强化学习中的奖励指标，同时在强化学习的奖励指标中引入了自车车速，满足路径规划中驾驶员对车速的要求，引入了车道保持指标，保证路径规划过程中车辆尽可能在车道中心行驶；另一方面，引入这些指标对强化学习的训练进行奖励，可以使强化学习的训练效率更高，进而能够更快的完成路径规划得到期望的路径。

附图说明

图1为本发明方法的流程图。

图2为引力势场图。

图3为斥力势场图。

图4为道路边界势场图。

图5为人工势场图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种基于人工势场法和强化学习的局部路径规划方法，步骤如下：

(1)构建人工势场，所述人工势场由引力势场、斥力势场和道路势场叠加而成；

参照图5所示，人工势场U的计算公式为：

U＝U_goal+U_obs+U_road (1)

参照图2所示，引力势场U_goal的计算公式为：

U_goal＝-k_goal(x-x_goal) (2)

参照图3所示，斥力势场U_obs的计算公式为：

参照图4所示，道路势场U_road的计算公式为：

式中，R_x，R_y分别为自车与障碍物的纵向距离和横向距离，计算公式为：

式中，x、y分别为自车的纵向、横向位置坐标；k_goal、k_obs、k_road分别为引力增益系数、斥力增益系数、道路边界增益系数；k₁、k₂分别为自车速度增益系数和障碍物速度增益系数；x_goal为目标点的纵向位置坐标；x_obs、y_obs分别为障碍物的纵向、横向位置坐标；σ_x、σ_y分别为障碍物纵向影响距离和障碍物横向影响距离；v、v_obs分别为自车速度和障碍物速度；w为道路宽度；θ为道路边界影响范围系数，系数θ前的正负号与自车和车道中心线的横向距离有关，表示车辆在车道左侧或右侧；e为自然常数。

(2)基于步骤(1)中的人工势场训练无人车路径规划强化学习模型；

其中，所述步骤(2)中的训练方法具体为：

状态空间S＝{s_t＝(x,y,v)}，其中s_t为自车在t时刻的状态；动作空间A＝{左，前，右}；状态转移概率为P(s'|s,a)，表示从当前状态s_t采取动作a到达下一状态s_t+1的概率；策略为π(a|s)，表示在当前状态下采取动作a的概率；奖励函数r_t表示从当前状态s_t采取动作a到达下一状态s_t+1的奖励，计算公式为：

式中，α₁、α₂、α₃、α₄、α₅分别为车速保持、势能降低、车道中心保持、障碍物距离、目标点距离对应的权重系数；ΔU为s_t和s_t+1两个状态之间的势能差；

定义长期奖励为G_t＝γr_t+1+γ²r_t+2+…+γⁿr_t+n，表示从当前状态到结束的所有奖励，其中γ∈(0，1)，为累计回报折算因子；

定义状态价值函数为v_π(s_t)＝E(G_t|s_t)，表示从状态s_t采取策略π的期望奖励；定义动作价值函数为Q_π(s_t,a_t)＝E(G_t|s_t,a_t)，表示从状态s_t使用动作a_t后采取策略π的期望奖励，E为数学期望。

(3)利用训练后的无人车路径规划强化学习模型为无人车规划最优路径并更新车辆状态，重复以上步骤直到自车到达目标点；

其中，所述步骤(3)中的规划最优路径方法为：

求解

即求解不同策略π下的最大动作价值函数，根据求解得到的使Q_π最大的策略π选择对应的动作a。

所述求解方法选择粒子群算法，包括以下步骤：

(31)初始化粒子群，评价每个粒子的适应度，获取最优粒子的位置和速度，第i个粒子的位置表示为X_i＝(x_i1,x_i2,…x_iD)，第i个粒子的飞行的速度表示为V_i＝(v_i1,v_i2,...v_iD)；

(32)根据最优粒子的位置和速度，计算每个粒子由目标函数决定的适应度；

(33)评价每个粒子的适应度，并判断是否为最优解，更新粒子个体最优解pbest和全局最优解gbest，个体最优解和全局最优解位置分别为：

P_pbest＝(p_pbest1,p_pbest2,...p_pbestD),P_gbest＝(p_gbest1,p_gbest2,...p_gbestD) (7)

获取极值后，每个粒子更新的速度v_i,j和位置x_i,j由下式决定：

v_i,j(k+1)＝ωv_i,j(k)+c₁r₁(pbest_i,j(k)-x_i,j(k))+c₂r₂(gbest(k)-x_i,j(k)) (8)

式中，c₁、c₂为学习因子，r₁、r₂为在[0,1]之间的随机数，ω为惯性因子，惯性因子依据最大循环次数从ω_s线性递减至ω_e，由下式得出：

ω＝ω_s-(ω_s-ω_e)·I_c/I_max (9)

式中，ω_s为优化最初的惯性因子，ω_e为优化结束的惯性因子，I_max为最大循环次数，I_c为循环的当前次数；

(34)判断是否达到最大迭代次数，若达到最大迭代次数，则得到优化结果；若未达到最大迭代次数，则返回步骤(31)。

具体地，执行动作a后更新状态，在新的状态下执行步骤(1)～(3)进入下一阶段的路径规划；循环进行以上操作，直到自车到达目标点附近即：

|x-x_goal|＜ε (10)

式中，ε为判断自车是否到达目标点附近的距离阈值。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (6)

1.一种基于人工势场法和强化学习的局部路径规划方法，其特征在于，步骤如下：

(1)构建人工势场，所述人工势场由引力势场、斥力势场和道路势场叠加而成；

(2)基于步骤(1)中的人工势场训练无人车路径规划强化学习模型；

(3)利用训练后的无人车路径规划强化学习模型为无人车规划最优路径并更新车辆状态，重复以上步骤直到自车到达目标点。

2.根据权利要求1所述的基于人工势场法和强化学习的局部路径规划方法，其特征在于，所述步骤(1)中的人工势场U的计算公式为：

U＝U_goal+U_obs+U_road (1)

引力势场U_goal的计算公式为：

U_goal＝-k_goal(x-x_goal) (2)

斥力势场U_obs的计算公式为：

道路势场U_road的计算公式为：

式中，R_x，R_y分别为自车与障碍物的纵向距离和横向距离，计算公式为：

式中，x、y分别为自车的纵向、横向位置坐标；k_goal、k_obs、k_road分别为引力增益系数、斥力增益系数、道路边界增益系数；k₁、k₂分别为自车速度增益系数和障碍物速度增益系数；x_goal为目标点的纵向位置坐标；x_obs、y_obs分别为障碍物的纵向、横向位置坐标；σ_x、σ_y分别为障碍物纵向影响距离和障碍物横向影响距离；v、v_obs分别为自车速度和障碍物速度；w为道路宽度；θ为道路边界影响范围系数，系数θ前的正负号与自车和车道中心线的横向距离有关，表示车辆在车道左侧或右侧；e为自然常数。

3.根据权利要求1所述的基于人工势场法和强化学习的局部路径规划方法，其特征在于，所述步骤(2)中的训练方法具体为：

状态空间S＝{s_t＝(x,y,v)}，其中s_t为自车在t时刻的状态；动作空间A＝{左，前，右}；状态转移概率为P(s'|s,a)，表示从当前状态s_t采取动作a到达下一状态s_t+1的概率；策略为π(a|s)，表示在当前状态下采取动作a的概率；奖励函数r_t表示从当前状态s_t采取动作a到达下一状态s_t+1的奖励，计算公式为：

式中，α₁、α₂、α₃、α₄、α₅分别为车速保持、势能降低、车道中心保持、障碍物距离、目标点距离对应的权重系数；ΔU为s_t和s_t+1两个状态之间的势能差；

定义长期奖励为G_t＝γr_t+1+γ²r_t+2+…+γⁿr_t+n，表示从当前状态到结束的所有奖励，其中γ∈(0，1)，为累计回报折算因子；

定义状态价值函数为v_π(s_t)＝E(G_t|s_t)，表示从状态s_t采取策略π的期望奖励；定义动作价值函数为Q_π(s_t,a_t)＝E(G_t|s_t,a_t)，表示从状态s_t使用动作a_t后采取策略π的期望奖励，E为数学期望。

4.根据权利要求1所述的基于人工势场法和强化学习的局部路径规划方法，其特征在于，所述步骤(3)中的规划最优路径方法为：

求解

即求解不同策略π下的最大动作价值函数，根据求解得到的使Q_π最大的策略π选择对应的动作a。

5.根据权利要求4所述的基于人工势场法和强化学习的局部路径规划方法，其特征在于，所述步骤(3)中的求解方法选择粒子群算法，包括以下步骤：

(31)初始化粒子群，评价每个粒子的适应度，获取最优粒子的位置和速度，第i个粒子的位置表示为X_i＝(x_i1,x_i2,...x_iD)，第i个粒子的飞行的速度表示为V_i＝(v_i1,v_i2,...v_iD)；

(32)根据最优粒子的位置和速度，计算每个粒子由目标函数决定的适应度；

(33)评价每个粒子的适应度，并判断是否为最优解，更新粒子个体最优解pbest和全局最优解gbest，个体最优解和全局最优解位置分别为：

P_pbest＝(p_pbest1,p_pbest2,...p_pbestD),P_gbest＝(p_gbest1,p_gbest2,...p_gbestD) (7)

获取极值后，每个粒子更新的速度v_i,j和位置x_i,j由下式决定：

v_i,j(k+1)＝ωv_i,j(k)+c₁r₁(pbest_i,j(k)-x_i,j(k))+c₂r₂(gbest(k)-x_i,j(k)) (8)

式中，c₁、c₂为学习因子，r₁、r₂为在[0,1]之间的随机数，ω为惯性因子，惯性因子依据最大循环次数从ω_s线性递减至ω_e，由下式得出：

ω＝ω_s-(ω_s-ω_e)·I_c/I_max (9)

式中，ω_s为优化最初的惯性因子，ω_e为优化结束的惯性因子，I_max为最大循环次数，I_c为循环的当前次数；

(34)判断是否达到最大迭代次数，若达到最大迭代次数，则得到优化结果；若未达到最大迭代次数，则返回步骤(31)。

6.根据权利要求5所述的基于人工势场法和强化学习的局部路径规划方法，其特征在于，执行动作a后更新状态，在新的状态下执行步骤(1)～(3)进入下一阶段的路径规划；循环进行以上操作，直到自车到达目标点附近即：

|x-x_goal|＜ε (10)

式中，ε为判断自车是否到达目标点附近的距离阈值。

Images