CN113291318A - 基于部分可观测马尔科夫模型的无人车盲区转弯规划方法 - Google Patents

Abstract

本发明涉及一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，包括：步骤1：获取当前路口的交通数据集；步骤2：转弯规划高层模型根据当前路口的交通数据集生成备选路径；步骤3：将备选路径输入基于部分可观测马尔科夫模型的转弯规划低层模型，输出无人车盲区转弯规划路径和规划速度；步骤4：完成无人车盲区转弯规划。与现有技术相比，本发明具有实时性好、安全性高、处理速度快、普适性好等优点。

Description

基于部分可观测马尔科夫模型的无人车盲区转弯规划方法

技术领域

本发明涉及无人驾驶技术领域，尤其是涉及一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法。

背景技术

自主驾驶是目前国内外研究的热点问题。无人驾驶车辆是一种通过传感器感知周围环境，结合地图信息，自主决策和规划路径，控制车辆到达目标地点的智能车辆。无人驾驶技术的目的是帮助驾驶员减少繁重的驾驶任务，提高交通效率，方便人们出行。国际工程师协会发布了无人驾驶车辆的6级自动化程度分类标准，从0级(无控制但有主动安全系统)到5级(无人为干预)。目前各科研机构与汽车企业的无人驾驶技术尚未达到5级，无人驾驶车辆仍然面临着各种复杂场景的挑战。

而无信号灯控制的路口规划便是一个十分危险且复杂的场景。建筑物、停放的大型车辆都可能对无人车的感知结果造成遮挡，在遮挡的未知盲区内可能存在自行车或者其他车辆。不考虑这些潜在障碍物对驾驶轨迹的影响，可能会发生严重的交通事故，威胁交通安全。而路口车辆不同的行驶意图(左转、右转、直行等)也将对无人车的规划造成不同的影响。若无人车无法预估其他车辆的意图，可能造成严重的交通事故。正是由于路口其他车辆不明确的行驶意图因素和由遮挡所造成的盲区因素，无信号灯路口的转弯规划十分困难且棘手，已经是无人驾驶决策规划中一个难点和重点。无人车如何安全、高效地通过无信号灯控制的交叉路口仍是一个亟待解决的问题。

决策与规划是自主车辆系统的关键模块之一，是连接感知信息与车辆控制的重要环节。很多学者针对该问题进行过研究，学者们对于路口的不确定性研究主要分为针对可见车辆的行驶意图和盲区风险这两部分进行。对于盲区风险，部分学者利用人工智能方法从人类驾驶数据中学习盲区情况下的驾驶行为，并做出决策和规划轨迹。人工智能的方法可以快速求解其他模型的未知参数，但数据的获取与分析是该类方法的难点，并且不具有可解释性。建模方法也是研究盲区风险的常用方法。但该方法对所建立模型的依赖性较大，并且潜在障碍物的运动不确定，因此该方法具有一定的局限性。对于路口其他车辆意图不确定的因素，图搜索方法被尝试用于该场景的规划。但由于该方法多用于静态环境中，交叉口的复杂性和快速变化使得该方法的计算和灵活性不足。

针对无信号灯交叉路口的规划问题，在以往的研究中大多数方法只考虑了交叉路口的某一特定因素，即盲区风险或不确定意图中的一个问题，很少有方法能将它们结合为整体进行考虑，并且以往方法使得无人车在交叉路口常常通行缓慢。然而，在实际的交叉口中，特别是在无人驾驶系统路口拐弯的规划中，盲区风险问题和其他车辆意图的不确定性往往同时存在，二者都会对自动车辆控制系统的安全行驶造成潜在的危害。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种实时性好、安全性高、处理速度快、普适性好的基于部分可观测马尔科夫模型的无人车盲区转弯规划方法。

部分可观测马尔可夫模型如图1所示，由(S,A,O,T,Z,R,b₀,γ)元祖组成。其中S是一组状态，A是一组动作，O是一组观察，T(s,a,s')＝f(s'|s,a)是状态之间的一组条件转移函数，Z(s',a,o)＝f(o|s',a)是一种观察概率转移函数，R(s,a)是奖励函数，b₀是初始的信念状态，γ是折扣因子。目标是使代理人在每个采样时间段都选择最佳行为，从而最大化其奖励

部分可观测马尔科夫问题常可以使用蒙特卡洛搜索方法(MCT)求解。

本发明的目的可以通过以下技术方案来实现：

一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，所述的转弯规划方法包括：

步骤1：获取当前路口的交通数据集；

步骤2：转弯规划高层模型根据当前路口的交通数据集生成备选路径；

步骤3：将备选路径输入基于部分可观测马尔科夫模型的转弯规划低层模型，输出无人车盲区转弯规划路径和规划速度；

步骤4：完成无人车盲区转弯规划。

优选地，所述的步骤2具体为：

步骤2-1：转弯规划高层模型统计当前路口交通数据集中的数据，确定最佳的备选转弯点，然后根据备选转弯点确定备选转弯半径，将无人车起始点、拐弯终止点生成由圆弧和直线组成的备选路径。

更加优选地，所述的步骤2还包括：

步骤2-2：对所有的备选路径进行无静态障碍物碰撞测试，保证备选路径上无静态障碍物。

更加优选地，所述的步骤2还包括：

步骤2-3：将备选路径由全局的笛卡尔坐标系转换为Frenet坐标系，并将转换后的路径轨迹输入转弯规划低层模型。

优选地，所述的转弯规划低层模型构建方法为：

步骤3-1：建立无信号灯交叉路口的部分可观测马尔科夫模型，确定模型的状态空间值，并分别建立无人车、可观测车辆和盲区内幻影车辆的状态值；

步骤3-2：确定模型的观测值和动作；

步骤3-3：进行盲区内未知车辆的表示；

步骤3-4：确定车辆的转移函数；

步骤3-5：确定模型奖励函数；

步骤3-6：求解马尔科夫模型，获得每个时刻无人车的最佳动作，实现无人车盲区转弯规划。

更加优选地，所述的步骤3-2具体为：

无人车的观测值为无人车的自车状态值；

可观测车辆的观测值为该车的速度和位置；

盲区内幻影车的观测值为给定路线上的实际视场范围o_p＝(ψ_p,r_p)，其中，ψ_p为自车可见到的盲区路段的视野范围大小，r_p为盲区内幻影车选择的路径。

更加优选地，所述的步骤3-3具体为：

对于盲区内车辆采用伯努利分布更新概率变化：

其中，Δψ为从当前时刻到下一个时刻自车能见到视野范围的变化量；ω为车流密度(该路段每百米存在的平均车辆数量)；

同时考虑最差情况，即：若盲区内有车辆存在，假设在盲区内的虚拟车辆是无限长的，幻影车辆在盲区视场角的最边缘并且以大于道路限速的速度行驶。

更加优选地，所述的步骤3-4具体为：

可观测车辆的转移函数为：

其中，认为可观测车辆将沿着路径行驶。l_k'为下一时刻可观测车辆在Frenet坐标系下的纵向位置；v_k'为下一时刻可观测车辆的速度；r_k'为下一时刻可观测车辆所在的路径；Δt为采样时间间隔；l₀为当前时刻可观测车辆在Frenet坐标系下的纵向位置；v₀为当前时刻可观测车辆的速度；r₀为当前时刻可观测车辆所选择的路径；a_k为可观测车辆的加速度；

盲区内若未没有幻影车存在，则转移函数为：

s_p＝(l_p,r_p,c_p)^T＝(max(Ψ_l,Ψ_l'),r_p,c_p)^T

其中，l_p为幻影车在Frenet坐标系下的纵向位置；r_p为幻影车所选择的路径；c_p为盲区内是否有幻影车(c_p＝1表示盲区内存在幻影车，c_p＝0表示盲区内不存在幻影车)；Ψ_l为当前时刻自车能看到的视野范围；Ψ_l'为下一时刻自车能看到的视野范围；

若盲区内幻影车出现在视野范围内，则转移函数为：

s_p＝(l_p,r_p,c_p)^T＝(min(Ψ_l,Ψ_l')-1.1·v_max·Δt,r_p,c_p)^T

其中，v_max为道路的最大速度限制；Δt为增加的一个采样周期时间。

更加优选地，所述的步骤3-5中奖励函数具体为：

R＝R_v+R_c+R_g+R_m+R_a

其中，R_v表示无人车实际速度与参考路径上参考速度之间的奖励函数；R_c表示无人车是否会和其他车辆相撞的奖励函数；R_g表示完成转弯的奖励函数；R_m是用于鼓励车辆在行驶时更加接近目标点的目标函数；R_a表示在转弯时无人车内舒适度奖励函数。

更加优选地，所述的步骤3-6具体为：

通过蒙特卡洛搜索树方法对马尔科夫模型进行计算，根据奖励函数最优策略，选择每个时刻的最佳动作，包括无人车的最佳加速度和最佳路径，实现无人车盲区转弯规划。

与现有技术相比，本发明具有以下有益效果：

一、实时性好，安全性高：本发明中的无人车盲区转弯规划方法使用部分可观测马尔可夫模型，在无人车行进的过程中，不断更新观测值，确定状态量和最优动作，确定了无人车转弯时的最优路径和最优速度，在保证安全的基础上，提高了无人车的通行效率，具有较好的实时性。

二、处理速度快：本发明中的无人车盲区转弯规划方法中高层框架设计了转弯点和备选路线并验证了合理性，低层框架使用Frenet坐标系，降低了问题的维度，大大降低了处理数据的时间消耗，加快了处理速度。

三、普适性好：本发明中的无人车盲区转弯规划方法虑了路口其他车辆的未知意图和可能存在的盲区风险，考虑了车辆通行的各种情况，将路口通行的问题统一到了一个整体模型方法中，更具普适性；同时以集合的形式来表示盲区车辆，充分考虑了交叉路口盲区可能存在障碍的危险，具有可迁移性。

附图说明

图1为本发明实施例中基于部分可观测马尔科夫模型的无人车盲区转弯规划方法的模型结构示意图；

图2为本发明实施例中无人车盲区转弯规划方法中幻影车的示意图；

其中，图2(a)为在t时刻无人车能看到的路口视野范围Ψ_t；图2(b)为从t时刻到t+1时刻，无人车更新了视野范围Ψ_t+1，并且盲区路段的视野范围内并没有出现可见车辆，幻影车辆还是认为存在视野范围的最边缘，并认为幻影车辆的长度为无限长；图2(c)为从t时刻到t+1时刻，无人车更新了视野范围Ψ_t+1，并且在t+1时刻时在盲区路段看到了车辆。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明提供了一种基于部分可观测马尔科夫模型的无人车盲区路口分层算法，该方法利用高层框架生成无人车的备选路径，利用基于部分可观测马尔科夫模型的低层框架进行规划和路径选择。该方法能实现无人车在无信号灯控制的交通路口转弯的安全性和高效性，具体包括：

步骤1：获取当前路口的交通数据集；

步骤2：转弯规划高层模型根据当前路口的交通数据集生成备选路径；

步骤2-1：转弯规划高层模型统计当前路口交通数据集中的数据，确定最佳的备选转弯点，然后根据备选转弯点确定备选转弯半径，将无人车起始点、拐弯终止点生成由圆弧和直线组成的备选路径；

步骤2-2：对所有的备选路径进行无静态障碍物碰撞测试，保证备选路径上无静态障碍物；

步骤2-3：将备选路径由全局的笛卡尔坐标系转换为Frenet坐标系，并将转换后的路径轨迹输入转弯规划低层模型；

步骤3：将备选路径输入基于部分可观测马尔科夫模型的转弯规划低层模型，输出无人车盲区转弯规划路径和规划速度；

步骤3-1：建立无信号灯交叉路口的部分可观测马尔科夫模型，确定模型的状态空间值，并分别建立无人车、可观测车辆和盲区内幻影车辆的状态值；

步骤3-2：确定模型的观测值和动作；

无人车的观测值为无人车的自车状态值；

可观测车辆的观测值为该车的速度和位置；

盲区内幻影车的观测值为给定路线上的实际视场范围o_p＝(ψ_p,r_p)，其中，ψ_p为自车实际能看到的视野范围大小(如图1左上图所示)，r_p为盲区内幻影车所选择的路径；

步骤3-3：进行盲区内未知车辆的表示；

对于盲区内车辆采用伯努利分布更新概率变化：

其中，Δψ为增加或减少的视野范围；ω为单位长度上的车流密度；

同时考虑最差情况，即：若盲区内有车辆存在，假设在盲区内的虚拟车辆是无限长的，幻影车辆在盲区视场角的最边缘并且以大于道路限速的速度行驶；

步骤3-4：确定车辆的转移函数；

可观测车辆的转移函数为：

其中，l_k'为下一时刻可观测车辆在Frenet坐标系下的纵向位置；v_k'为下一时刻可观测车辆的速度；r_k'为下一时刻可观测车辆所在的路径；Δt为采样时间间隔；l₀为当前时刻可观测车辆在Frenet坐标系下的纵向位置；v₀为当前时刻可观测车辆的速度；r₀为当前时刻可观测车辆所选择的路径；a_k为可观测车辆的加速度；

盲区内若未没有幻影车存在，则转移函数为：

s_p＝(l_p,r_p,c_p)^T＝(max(Ψ_l,Ψ_l'),r_p,c_p)^T

其中，l_p为幻影车在Frenet坐标系下的位置；r_p为幻影车所选择的路径；c_p为盲区内是否有幻影车(c_p＝1表示盲区内存在幻影车，c_p＝0表示盲区内不存在幻影车)；Ψ_l为当前时刻自车能看到的视野范围；Ψ_l'为下一时刻自车能看到的视野范围；

若盲区内幻影车出现在视野范围内，则转移函数为：

s_p＝(l_p,r_p,c_p)^T＝(min(Ψ_l,Ψ_l')-1.1·v_max·Δt,r_p,c_p)^T

其中，v_max为道路的最大速度限制；Δt为增加的一个采样时间；

步骤3-5：确定模型奖励函数；

R＝R_v+R_c+R_g+R_m+R_a

其中，R_v表示无人车实际速度与参考路径上参考速度之间的奖励函数；R_c表示无人车是否会和其他车辆相撞的奖励函数；R_g表示完成转弯的奖励函数；R_m是用于鼓励车辆在行驶时更加接近目标点的目标函数；R_a表示在转弯时无人车内舒适度奖励函数；

步骤3-6：求解部分可观测马尔科夫模型，获得每个时刻无人车的最佳动作，实现无人车盲区转弯规划；

通过蒙特卡洛搜索树方法对部分可观测马尔科夫模型进行计算，根据奖励函数最优策略，选择每个时刻的最佳动作，包括无人车的最佳加速度和最佳路径，实现无人车盲区转弯规划；

步骤4：完成无人车盲区转弯规划。

下面提供一种具体应用例：

如图1所示，在实际运行中，首先利用高层框架离线生成备选路径。

高层框架运行步骤如下：

步骤一，高层框架需统计交通数据集中的数据，确定最佳的备选转弯点。根据备选转弯点，确定备选转弯半径半径R_i＝(1-r_i)L(i＝1,2,3)，其中，L为转弯备选区域的三角形边长(如图1中的L所示)，r_i为根据交通路口数据集统计出的大概率拐弯点比率数据，表示转弯点TP1、TP2、TP3所在位置占边长L的比例。将无人车起始点、拐弯终止点生成由圆弧和直线组成的备选路径。

步骤二，备选路径需通过无静态障碍物碰撞测试，保证备选路径上无静态障碍物。碰撞检测时，将无人车等价为三个圆形，将三个圆形在路径上与周围静态障碍物进行碰撞检测，提高碰撞检测效率。

步骤三，将备选路径由全局的笛卡尔坐标系转换为Frenet坐标系

其中，

为对应笛卡尔坐标系下的向量坐标；v_x是笛卡尔坐标系下的线速度；a_a是笛卡尔坐标系下的加速度；θ_x是笛卡尔坐标系下的朝向；k_x是曲率；s是Frenet纵坐标；

是Frenet纵坐标对时间的导数；

是沿base frame的加速度；l是Frenet横坐标；

是Frenet横向速度；

是Frenet横向加速度；l'是Frenet横向坐标对纵向坐标的导数。该方法能降低后续在底层框架中的计算维度，并将该转换后的轨迹转入低层框架中。

基于部分可观测马尔科夫模型的无人车盲区路口分层算法的低层框架建模运算方法如下：

步骤一，建立无信号灯交叉路口的部分可观测马尔科夫模型。确定模型的状态空间值为s＝(s₀,s_k,...,s_p,...)^T，并分别建立无人车、可观测车辆、盲区内幻影车辆的状态值。

步骤二，确定模型的观测值和动作。对于观测模型，模型假定场景中没有传感器噪声，观察值可表示为o＝(o₀,o_k,...,o_p,...)。无人人就是从状态到观察值的直接映射，自我车辆知道自己的全部状态。而对向的可观测车辆的路径是未知的，知道可观测车辆的速度与位置。而对于盲区内可能存在的幻影车认为产生的观测值是给定路线上的实际视场范围o_p＝(ψ_p,r_p)。无人车的动作被定义在一个二维空间内，包括一个加减速动作a_v和一个是否选择该备选路径转弯的布尔量动作a_l。在这种情况下，路口左转弯的规划问题变成了纵向规划和选择备选路线的问题，有效的降低了维度。

步骤三，进行盲区内未知车辆的表示。对于被遮挡的盲区内的车辆，由于盲区的存在所以对于盲区内的车辆分布和数量无法准确观测到，并且也非常难表示盲区内所有可能的车辆配置情况。在这种情况下，将假设一种最糟糕的情况，盲区的边界以及视场角的大小会随着自生无人车的前进而不断更新，幻影车辆在盲区视场角的最边缘，并且以大于道路限速1.1倍的速度行驶，并且假设在盲区内的幻影车辆是无限长的，这样的可达集便考虑了盲区内可能存在幻影车辆的情况。在初始状态假设盲区边界存在一个幻影车辆。如果在下一个时刻，更新的盲区范围内没有车辆，那么在下一个盲区的视场角边界将放置一个无限长的幻影车辆。并且根据伯努利分布来更新盲区内存在车辆的概率变化。

步骤四，如图2所示，图2(a)为在t时刻无人车能看到的路口视野范围Ψ_t；图2(b)为在t时刻到t+1时刻，无人车更新了视野范围Ψ_t+1，并且盲区路段的视野范围内并没有出现可见车辆，幻影车辆还是认为存在视野范围的最边缘，并认为幻影车辆的长度为无限长；图2(c)为在t时刻到t+1时刻，无人车更新了视野范围Ψ_t+1，并且在新的t+1时刻时在盲区路段看到了车辆。假设所有车辆都在预定义的路径上行驶，则过渡模型也可以在Frenet坐标上定义。转移公式遵循S_t+1＝S_t+v_tΔt+0.5aΔt²。对于自车而言，遵循上述公式，并且车辆在每一个转弯点处决定是否需要转弯指令a_l＝1代表在这个转弯点选择该备选路径并进行转弯。如果车辆在之前的转弯点都没有被设置为进行急转弯指令，那么车辆将在最后一个转弯点TP3进行转弯指令。对于可观测车辆而言，转移函数为：

状态转换策略类似于自我车辆。

对于盲区内的车辆，根据伯努利分布，若c_p＝0，则表示盲区内没有幻影车s_p＝(l_p,r_p,c_p)^T＝(max(Ψ_l,Ψ_l'),r_p,c_p)^T。如果c_p＝1，则表示盲区内存在幻影车，并且车辆的一部分出现在了视野范围内，转移函数为s_p＝(l_p,r_p,c_p)^T＝(max(Ψ_l,Ψ_l')-1.1·v_max·Δt,r_p,c_p)^T。如果盲区内存在幻影车，并且全部出现在了视野范围内，那么则考虑下一个视场角的盲区范围内是否存在幻影车。

步骤五，确定奖励函数R＝R_v+R_c+R_g+R_m+R_a。其中R_v表示自我车辆的实际速度应该越接近参考路径上的参考速度，R_c表示是否自车会和别的车辆相撞的奖励函数，R_g表示到达了目标点，即在交叉路口完成了左转弯。R_m鼓励车辆在行驶时更加接近目标点，使得车辆能选择一条正确的路线。R_a表示在合理范围内需要让车辆行驶的更加平稳和舒适。

步骤六，根据上述设定的部分可观测马尔可夫模型，通过蒙特卡洛搜索树方法进行计算，根据回报最优策略，选择每一个时刻的最佳动作，包括无人车的最佳加速度和最佳路线，达到安全且高效的完成路口转弯的任务。

上述模型中高层框架利用路口交通数据集，统计并确定了无人车备选拐弯点，从而规划了无人车的备选路线。低层框架充分利用部分可观测马尔科夫模型的优势，通过部分已知的环境信息，例如可见车辆的速度、位姿，被遮挡区域的视场角等，不断更新盲区内存在车辆的概率，以及更新可见车辆行驶意图的概率，用最优策略得到最佳的无人车加速度和无人车的路径，从而使无人车高效且安全的通过无信号灯控制的交叉路口。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的转弯规划方法包括：

步骤1：获取当前路口的交通数据集；

步骤2：转弯规划高层模型根据当前路口的交通数据集生成备选路径；

步骤3：将备选路径输入基于部分可观测马尔科夫模型的转弯规划低层模型，输出无人车盲区转弯规划路径和规划速度；

步骤4：完成无人车盲区转弯规划。

2.根据权利要求1所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的步骤2具体为：

步骤2-1：转弯规划高层模型统计当前路口交通数据集中的数据，确定最佳的备选转弯点，然后根据备选转弯点确定备选转弯半径，将无人车起始点、拐弯终止点生成由圆弧和直线组成的备选路径。

3.根据权利要求2所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的步骤2还包括：

步骤2-2：对所有的备选路径进行无静态障碍物碰撞测试，保证备选路径上无静态障碍物。

4.根据权利要求2所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的步骤2还包括：

步骤2-3：将备选路径由全局的笛卡尔坐标系转换为Frenet坐标系，并将转换后的路径轨迹输入转弯规划低层模型。

5.根据权利要求1所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的转弯规划低层模型构建方法为：

步骤3-1：建立无信号灯交叉路口的部分可观测马尔科夫模型，确定模型的状态空间值，并分别建立无人车、可观测车辆和盲区内幻影车辆的状态值；

步骤3-2：确定模型的观测值和动作；

步骤3-3：进行盲区内未知车辆的表示；

步骤3-4：确定车辆的转移函数；

步骤3-5：确定模型奖励函数；

步骤3-6：求解马尔科夫模型，获得每个时刻无人车的最佳动作，实现无人车盲区转弯规划。

6.根据权利要求5所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的步骤3-2具体为：

无人车的观测值为无人车的自车状态值；

可观测车辆的观测值为该车的速度和位置；

盲区内幻影车的观测值为给定路线上的实际视场范围o_p＝(ψ_p,r_p)，其中，ψ_p为自车实际能看到的视野范围大小(如图1左上图所示)，r_p为盲区内幻影车所选择的路径。

7.根据权利要求5所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的步骤3-3具体为：

对于盲区内车辆采用伯努利分布更新概率变化：

其中，Δψ为从当前时刻到下一个时刻增加或减少的视野范围；ω为单位长度上的车流密度；

同时考虑最差情况，即：若盲区内有车辆存在，假设在盲区内的虚拟车辆是无限长的，幻影车辆在盲区视场角的最边缘并且以大于道路限速的速度行驶。

8.根据权利要求5所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的步骤3-4具体为：

可观测车辆的转移函数为：

其中，l_k'为在下一时刻可观测的车辆在Frenet坐标系下行驶到的纵向位置；v_k'为下一时刻时可观测车辆的速度；r_k'为下一时刻时可观测车辆选择的路径；Δt为采样时间间隔；l₀为当前时刻可观测车辆行驶到的位置；v₀为当前时刻可观测车辆的速度；r₀为当前时刻可观测车辆选择的路径；a_k为当前时刻下选择的加速度行为；

盲区内若未没有幻影车存在，则转移函数为：

s_p＝(l_p,r_p,c_p)^T＝(max(Ψ_l,Ψ_l'),r_p,c_p)^T

其中，l_p为幻影车在Frenet坐标系下行驶到的纵向位置；r_p为幻影车选择的路径；c_p盲区内是否有幻影车(c_p＝1表示盲区内存在幻影车，c_p＝0表示盲区内不存在幻影车)；Ψ_l为当前时刻自车能看到的视野范围；Ψ_l'为下一时刻自车能看到的视野范围；

若盲区内幻影车出现在视野范围内，则转移函数为：

s_p＝(l_p,r_p,c_p)^T＝(min(Ψ_l,Ψ_l')-1.1·v_max·Δt,r_p,c_p)^T

其中，v_max为道路的最大速度限制；Δt为增加的一个采样时间。

9.根据权利要求5所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的步骤3-5中奖励函数具体为：

R＝R_v+R_c+R_g+R_m+R_a

其中，R_v表示无人车实际速度与参考路径上参考速度之间的奖励函数；R_c表示无人车是否会和其他车辆相撞的奖励函数；R_g表示完成转弯的奖励函数；R_m是用于鼓励车辆在行驶时更加接近目标点的目标函数；R_a表示在转弯时无人车内舒适度奖励函数。

10.根据权利要求5所述的一种基于部分可观测马尔科夫模型的无人车盲区转弯规划方法，其特征在于，所述的步骤3-6具体为：

通过蒙特卡洛搜索树方法对马尔科夫模型进行计算，根据奖励函数最优策略，选择每个时刻的最佳动作，包括无人车的最佳加速度和最佳路径，实现无人车盲区转弯规划。

Images