CN113911136A - 一种无人驾驶车辆变道决策方法、系统、设备和介质 - Google Patents

Abstract

本申请公开了一种无人驾驶车辆变道决策方法、系统、设备和介质，方法包括：将全局地图中各道路的交叉口划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点；确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，目标枢纽点为无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点；根据无人驾驶车辆到各目标枢纽点的实时交通信息和各目标枢纽点到终点的全局收益，获取最优道路决策，改善了现有技术采用基于规则的变道决策方法，不能适用于环境的多样性和动态性，不能有效应用于无人驾驶车辆的决策系统的技术问题。

Description

一种无人驾驶车辆变道决策方法、系统、设备和介质

技术领域

本申请涉及无人驾驶车辆技术领域，尤其涉及一种无人驾驶车辆变道决策方法、系统、设备和介质。

背景技术

无人驾驶车辆为集环境感知与认知、动态规划与决策、行为控制与执行等多项功能于一体的综合智能平台，无人驾驶车辆研究的核心问题包括环境感知、行为决策和运动控制。

变道决策是无人驾驶车辆决策技术的主要组成部分，现有技术通常采用基于规则的变道决策方法，该方法通过设计人员手动设计出一系列规则来控制车辆的变道行为。由于规则为手动设计，不能适应于环境的多样性与动态性，该方法多应用于半无人驾驶或特定场景下，无法大规模应用于无人驾驶车辆的决策系统中。

发明内容

本申请提供了一种无人驾驶车辆变道决策方法、系统、设备和介质，用于改善现有技术采用基于规则的变道决策方法，不能适用于环境的多样性和动态性，不能有效应用于无人驾驶车辆的决策系统的技术问题。

有鉴于此，本申请第一方面提供了一种无人驾驶车辆变道决策方法，包括：

将全局地图中各道路的交叉口划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点；

确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，所述目标枢纽点为所述无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点；

根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息和各所述目标枢纽点到终点的全局收益，获取最优道路决策。

可选的，所述根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息和各所述目标枢纽点到终点的全局收益，获取最优道路决策，包括：

将所述无人驾驶车辆到各所述目标枢纽点的可行道路分割为若干个路径点；

将路径点的选择过程建模为马尔可夫决策模型；

计算所述无人驾驶车辆在当前路径点选择各可执行的动作后所到达下一路径点的状态转移概率，所述动作包括左转变道、右转变道和保持车道；

根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息计算所述无人驾驶车辆从当前路径点到下一路径点的短期时间损失；

将所述下一路径点作为当前路径点，返回所述计算所述无人驾驶车辆在当前路径点选择各可执行的动作后所到达下一路径点的状态转移概率的步骤，直至当前路径点为所述目标枢纽点，得到所述无人驾驶车辆在所有可行驶的路径点之间的状态转移概率和短期时间损失；

结合所述路径点之间的状态转移概率、所述路径点之间的短期时间损失和所述目标枢纽点到终点的全局收益，获取最优道路决策。

可选的，所述下一路径点包括所述无人驾驶车辆前进后的正前方路径点，

所述根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息计算所述无人驾驶车辆从当前路径点到下一路径点的短期时间损失，包括：

根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息获取的所述无人驾驶车辆周围的车辆数量和车辆速度计算车流速度；

根据所述车流速度计算所述无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间；

基于所述无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间获取所述无人驾驶车辆从当前路径点到正前方路径点的短期时间损失。

可选的，所述下一路径点还包括所述无人驾驶车辆左转变道后的左前方路径点或右转变道后的右前方路径点，

所述基于所述无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间获取所述无人驾驶车辆从当前路径点到正前方路径点的短期时间损失，之后还包括：

在所述无人驾驶车辆从当前路径点到前方路径点的短期时间损失上增加左转变道或右转变道的时间损失，得到所述无人驾驶车辆从当前路径点到左前方路径点或右前方路径点的短期时间损失。

可选的，所述结合所述路径点之间的状态转移概率、所述路径点之间的短期时间损失和所述所述目标枢纽点到终点的全局收益，获取最优道路决策，包括：

根据所述路径点之间的状态转移概率和所述路径点之间的短期时间损失，通过动态规划将各所述目标枢纽点到终点的全局收益叠加到所述无人驾驶车辆前方可行道路的路径点上，得到整体收益最大的最优道路决策。

可选的，所述确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，包括：

确定当前的目标枢纽点后，通过图搜索算法获取各目标枢纽点到终点的最短路径；

基于各所述目标枢纽点到终点的最短路径和预置行驶速度计算所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间；

基于所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间获取各所述目标枢纽点到终点的全局收益。

可选的，所述基于所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间获取各所述目标枢纽点到终点的全局收益，包括：

将所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间作为各所述目标枢纽点到终点的全局收益；

或，根据各目标枢纽点到终点的目标信息和所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间计算各所述目标枢纽点到终点的全局收益；

其中，所述目标信息包括红绿灯数量信息或收费站信息。

本申请第二方面提供了一种无人驾驶车辆变道决策系统，包括：

划分模块，用于将全局地图中各道路的交叉口划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点；

计算模块，用于确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的行驶时间，得到各所述目标枢纽点的全局收益，所述目标枢纽点为所述无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点；

道路决策模块，用于根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息和各所述目标枢纽点到终点的全局收益，获取最优道路决策。

本申请第三方面提供了一种无人驾驶车辆变道决策设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的无人驾驶车辆变道决策方法。

本申请第四方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第一方面任一种所述的无人驾驶车辆变道决策方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种无人驾驶车辆变道决策方法，包括：将全局地图中各道路的交叉口划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点；确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，目标枢纽点为无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点；根据无人驾驶车辆到各目标枢纽点的实时交通信息和各目标枢纽点到终点的全局收益，获取最优道路决策。

本申请实施例中，将全局地图划分为枢纽中心和枢纽点，在确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，通过各目标枢纽点到终点的全局收益可以知道从哪一个目标枢纽点进入枢纽中心比较好，然后结合无人驾驶车辆到各目标枢纽点的实时交通信息和各目标枢纽点到终点全局收益，获取最优道路决策，由于在获取最优道路决策的过程中考虑到了实时交通信息，因而可以很好的适用于环境的多样性与动态性，进而改善了现有技术采用基于规则的变道决策方法，不能适用于环境的多样性和动态性，不能有效应用于无人驾驶车辆的决策系统的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种无人驾驶车辆变道决策方法的一个流程示意图；

图2为本申请实施例提供的一种无人驾驶车辆变道决策方法的另一个流程示意图；

图3为本申请实施例提供的一种将无人驾驶车辆到目标枢纽点之间的可行道路分割为路径点后的结构示意图；

图4为本申请实施例提供的结合全局收益和短期时间损失获取最优道路决策的一个流程示意图；

图5为本申请实施例提供的一种无人驾驶车辆变道决策系统的一个结构示意图。

具体实施方式

本申请提供了一种无人驾驶车辆变道决策方法、系统、设备和介质，用于改善现有技术采用基于规则的变道决策方法，不能适用于环境的多样性和动态性，不能有效应用于无人驾驶车辆的决策系统的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1和图2，本申请提供的一种无人驾驶车辆变道决策方法的一个实施例，包括：

步骤101、将全局地图中各道路的交叉口划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点。

将全局地图中各道路的交叉口(包括十字路口、丁字路口等)划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点，其中，全局地图为高清地图，连接点包括枢纽中心的入口点和出口点，具体可以参考图2，枢纽点与枢纽点之间的连线为无人驾驶车辆在枢纽点之间的移动方式，例如，无人驾驶车辆可以由当前枢纽点通过变道等动作到达另一个枢纽点，但无人驾驶车辆在枢纽中心不能进行变道，枢纽点与枢纽点之间的连接关系需考虑全局地图和交通规则。

步骤102、确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，目标枢纽点为无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点。

可以根据无人驾驶车辆的当前位置确定当前的目标枢纽点，目标枢纽点为无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点，也就意味着，无人驾驶车辆可以通过目标枢纽点进入最近的枢纽中心。请参考图2，根据图2中无人驾驶车辆的位置可以确定，距离该无人驾驶车辆最近的枢纽中心为枢纽中心2，相应的，可以确定当前的目标枢纽点为该无人驾驶车辆前方可行道路到枢纽中心2的入口点。

确定当前的目标枢纽点后，通过图搜索算法获取各目标枢纽点到终点的最短路径；基于各目标枢纽点到终点的最短路径和预置行驶速度计算无人驾驶车辆从各目标枢纽点到终点的行驶时间；基于无人驾驶车辆从各目标枢纽点到终点的行驶时间获取各目标枢纽点到终点的全局收益。

具体的，可以将全局地图转换为一张由枢纽点构成的搜索图，然后可以通过图搜索算法(例如A-star算法)对该搜索图进行分析，以获取各目标枢纽点到终点的最短路径；然后，基于各目标枢纽点到终点的最短路径和预置行驶速度计算无人驾驶车辆从各目标枢纽点到终点的行驶时间，其中，该预置行驶速度可以为车道的限速值；最后，基于无人驾驶车辆从各目标枢纽点到终点的行驶时间获取各目标枢纽点到终点的全局收益。

在一种实施例中，可以将无人驾驶车辆从各目标枢纽点到终点的行驶时间作为各目标枢纽点到终点的全局收益，无人驾驶车辆通过该全局收益可以确定由哪个目标枢纽点进入枢纽中心可以最快到达终点。

在另一种实施例中，可以根据各目标枢纽点到终点的目标信息和无人驾驶车辆从各目标枢纽点到终点的行驶时间计算各目标枢纽点到终点的全局收益。本申请实施例中的目标信息包括红绿灯数量信息或收费站信息，目标信息还可以包括其他驾驶需求相关的信息。目标枢纽点到终点的全局收益可以由多个因素确定，例如，枢纽点与枢纽点之间的距离、枢纽点与枢纽点之间的红绿灯数量、是否有收费站、是否有部分枢纽点是想避免的等。因此，可以在行驶时间的基础上考虑红绿灯数量信息或收费站信息等来计算全局收益。具体的，综合考虑行驶时间和目标信息，可以对行驶时间和目标信息分配权重进行线性组合来获取全局收益，具体的权重分配情况可以根据实际情况进行设置，在此不作具体限定。

可以理解的是，各个目标枢纽点的全局收益取决于用户输入终点的位置，在用户没有更新终点时，各目标枢纽点的全局收益是固定的。

步骤103、根据无人驾驶车辆到各目标枢纽点的实时交通信息和各目标枢纽点到终点的全局收益，获取最优道路决策。

通过前述步骤，无人驾驶车辆可以知道各目标枢纽点的全局收益，可以参考图3中给出的各目标枢纽点的全局收益分别为20、100、100，全局收益越大(行驶时间越短)，可以越快到达终点。由于各目标枢纽点到终点的全局收益没有考虑无人驾驶车辆到目标枢纽点之间的实时交通信息，因此，这些全局收益不能告知无人驾驶车辆哪条道路最优。因此，本申请实施例将各目标枢纽点的全局收益与无人驾驶车辆到目标枢纽点之间的实时交通信息进行整合和平衡，以获取最优的道路选择。

请参考图4，本申请实施例中根据无人驾驶车辆到各目标枢纽点的实时交通信息和各目标枢纽点到终点的全局收益，获取最优道路决策的具体过程为：

S1031、将无人驾驶车辆到各目标枢纽点的可行道路分割为若干个路径点；

请参考图3，将无人驾驶车辆到各目标枢纽点的可行道路分割为若干个路径点，路径点之间的连线为无人驾驶车辆在路径点之间的移动方式，例如，前进、向左变道、向右变道。

S1032、将路径点的选择过程建模为马尔可夫决策模型；

本申请实施例中，将路径点的选择过程建模为马尔可夫决策模型，路径点为无人驾驶车辆可处于的状态。马尔可夫决策模型的原理为，对于一个随机过程，其未来状态的条件概率分布只依赖于当前状态，而不依赖于过去的状态。

S1033、计算无人驾驶车辆在当前路径点选择各可执行的动作后所到达下一路径点的状态转移概率，动作包括左转变道、右转变道和保持车道；

在各时刻，无人驾驶车辆的当前路径点(即当前状态)是已知的，无人驾驶车辆选择某一可执行的动作(左转变道、右转变道或保持车道)所到达的状态是不确定的，例如，在拥挤的道路中，无人驾驶车辆即使做出了变道的动作，也不一定能成功变道。因此，需要通过观测无人驾驶车辆周围的实时交通信息，动态计算无人驾驶车辆选择可执行的动作后所到达的下一路径点的状态转移概率，即状态转移概率是根据每一帧的交通信息实时更新的。可执行的动作由无人驾驶车辆所在的车道决定，例如，无人驾驶车辆在最右车道，该无人驾驶车辆右方没有可行道路，此时右转变道是不可执行的动作，直行和左转变道为可执行的动作。其中，状态转移概率的计算过程属于现有技术，在此不再进行赘述。

S1034、根据无人驾驶车辆到各目标枢纽点的实时交通信息计算无人驾驶车辆从当前路径点到下一路径点的短期时间损失；

无人驾驶车辆在各路径点之间的转移需要付出一定的时间损失，例如，无人驾驶车辆从当前路径点前进到正前方路径点需要花费10秒，从当前路径点变道至左前方路径点需要花费20秒。当无人驾驶车辆前方有一静止或行驶极慢的障碍物时，此时该无人驾驶车辆需要付出巨大的时间从当前路径点前进至正前方路径点，即无人驾驶车辆在各路径点之间转移所付出的时间损失与交通环境紧密相关，短期时间损失也是会根据每一帧的交通信息实时更新的。

本申请实施例中，下一路径点包括无人驾驶车辆前进后的正前方路径点，根据无人驾驶车辆到各目标枢纽点的实时交通信息计算无人驾驶车辆从当前路径点到下一路径点的短期时间损失，包括：

根据无人驾驶车辆到各目标枢纽点的实时交通信息获取的无人驾驶车辆周围的车辆数量和车辆速度计算车流速度；根据车流速度计算无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间；基于无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间获取无人驾驶车辆从当前路径点到正前方路径点的短期时间损失。

具体的，可以根据根据无人驾驶车辆到各目标枢纽点的实时交通信息获取无人驾驶车辆周围的车辆数量和车辆速度，根据交通流理论，通过无人驾驶车辆周围的车辆数量和车辆速度可以计算出车流速度；根据车流速度以及当前路径点和正前方路径点之间的距离，可以计算出无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间。

在一种实施例中，可以直接将无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间作为无人驾驶车辆从当前路径点到正前方路径点的短期时间损失。

在另一种实施例中，可以在路径点与路径点之间的短期时间损失的基础上考虑其他的损失，例如，不想让无人驾驶车辆行驶在最右车道或者不想让无人驾驶车辆进入公交车道等的用户喜好设置，这些用户喜好设置会产生一定的损失，因此，可以在路径点与路径点之间的短期时间损失的基础上增加由用户喜好设置所产生的损失，以得到无人驾驶车辆从当前路径点到正前方路径点的短期时间损失。

进一步，下一路径点还包括无人驾驶车辆左转变道后的左前方路径点或右转变道后的右前方路径点，无人驾驶车辆从当前路径点到左前方路径点或右前方路径点的短期时间损失的计算过程可以为：

在无人驾驶车辆从当前路径点到前方路径点的短期时间损失上增加左转变道或右转变道的时间损失，得到无人驾驶车辆从当前路径点到左前方路径点或右前方路径点的短期时间损失。

其中，左转变道或右转变道的时间损失可以通过变道产生的额外行驶距离计算得到，当无人驾驶车辆在不同限速车道进行变道时，还需要再考虑加速过程所产生的时间损失。

需要说明的是，除了上述给出计算短期时间损失的方法，还可以采用其他的方式来计算短期时间损失，例如，还可以通过大量实验来获取各种交通环境下的短期时间损失数据表，通过查表来获取相应交通环境下的短期时间损失。

S1035、将下一路径点作为当前路径点，返回步骤S1033，直至当前路径点为目标枢纽点，得到无人驾驶车辆在所有可行驶的路径点之间的状态转移概率和短期时间损失；

在计算得到无人驾驶车辆从当前路径点s₀到下一路径点s₁的状态转移概率以及转移时所需付出的短期时间损失后，将下一路径点s₁作为当前路径点；然后返回步骤S1033，计算无人驾驶车辆从当前路径点s₁到下一路径点s₂的状态转移概率以及转移时所需付出的短期时间损失，再将下一路径点s₂作为当前路径点，直至当前路径点为目标枢纽点，得到无人驾驶车辆在所有可行驶的路径点之间(有连接关系的两个路径点)的状态转移概率和短期时间损失。

S1036、结合路径点之间的状态转移概率、路径点之间的短期时间损失和目标枢纽点到终点的全局收益，获取最优道路决策。

根据路径点之间的状态转移概率和路径点之间的短期时间损失，通过动态规划将各目标枢纽点的全局收益叠加到无人驾驶车辆前方可行道路的路径点上，得到整体收益最大的最优道路决策。

从无人驾驶车辆的当前位置到目标枢纽点存在多条道路，即存在多个道路决策，需要在这多个道路决策中找到最优道路决策。通过前述步骤可以计算得到无人驾驶车辆从当前路径点到目标枢纽点对应的路径点之间的各个状态转移时的短期时间损失和状态转移概率，通过动态规划，在考虑到状态转移概率与短期时间损失的情况下，将每一个目标枢纽点的全局收益叠加到无人驾驶车辆前方可行道路的路径点上，综合各路径点上的全局收益和短期时间损失，得到各道路决策的整体收益，将整体收益最大的道路决策作为最优道路决策。除了动态规划的方式，还可以采用其他的方式(如蒙特卡罗方法)来获取最优道路决策。

可以理解的是，当无人驾驶车辆根据获取的最优道路决策通过图2中的枢纽中心2后，距离该无人驾驶车辆最近的枢纽中心则更新为枢纽中心1，此时的目标枢纽点更新为该无人驾驶车辆前方可行道路到枢纽中心1的入口点，再根据该无人驾驶车辆到当前的目标枢纽点之间的实时交通信息获取的路径点之间的状态转移概率和短期时间损失，以及当前的目标枢纽点到终点的全局收益获取当前的最优道路决策。

本申请实施例考虑到，若采用模型预测控制的方法来获取最优道路决策，需要通过求解复杂的优化问题来得到最优道路决策，需要大量的运算能力来求解非线性优化问题，严重依赖于环境模型的构建，难以被有效应用到无人驾驶车辆的决策系统中。而本申请实施例分两部分来求解优化问题，一部分是通过对枢纽点的全局搜索来获取目标枢纽点的全局收益，另一部分是通过观测实时交通信息，动态修正在不同状态之间转移所付出的时间损失与转移成功的概率，将高维度多智能体的优化问题简化为低维度单一智能体的优化问题，求解速度更快。通过对无人驾驶车辆的可行道路的全局收益与短期时间损失进行快速实时量化分析，对道路的短期时间损失与全局收益进行平衡，从而获取最优的一条目标道路，使得无人驾驶车辆可以以少量的运算获取最优道路决策，从而在最优的时间进行服从全局导航主动换道、主动换道超慢车、主动换道脱离潜在风险区域(如施工区域、交通事故区域等)、主动换道躲避优先车辆(如警车、救护车等)等。

本申请实施例中，将全局地图划分为枢纽中心和枢纽点，在确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，通过各目标枢纽点到终点的全局收益可以知道从哪一个目标枢纽点进入枢纽中心比较好，然后结合无人驾驶车辆到各目标枢纽点的实时交通信息和各目标枢纽点到终点全局收益，获取最优道路决策，由于在获取最优道路决策的过程中考虑到了实时交通信息，因而可以很好的适用于环境的多样性与动态性，进而改善了现有技术采用基于规则的变道决策方法，不能适用于环境的多样性和动态性，不能有效应用于无人驾驶车辆的决策系统的技术问题。

以上为本申请提供的一种无人驾驶车辆变道决策方法的一个实施例，以下为本申请提供的一种无人驾驶车辆变道决策系统的一个实施例。

请参考图5，本申请实施例提供的一种无人驾驶车辆变道决策系统，包括：

划分模块，用于将全局地图中各道路的交叉口划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点；

计算模块，用于确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，目标枢纽点为无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点；

道路决策模块，用于根据无人驾驶车辆到各目标枢纽点的实时交通信息和各目标枢纽点到终点的全局收益，获取最优道路决策。

作为进一步地改进，道路决策模块具体包括：

分割子模块，用于将无人驾驶车辆到各目标枢纽点的可行道路分割为若干个路径点；

建模子模块，用于将路径点的选择过程建模为马尔可夫决策模型；

状态转移概率计算子模块，用于将路径点的选择过程建模为马尔可夫决策模型，计算无人驾驶车辆在当前路径点选择各可执行的动作后所到达下一路径点的状态转移概率，动作包括左转变道、右转变道和保持车道；

短期时间损失计算子模块，用于根据无人驾驶车辆到各目标枢纽点的实时交通信息计算无人驾驶车辆从当前路径点到下一路径点的短期时间损失；

触发子模块，用于将下一路径点作为当前路径点，触发状态转移概率计算子模块，直至当前路径点为目标枢纽点，得到无人驾驶车辆在所有可行驶的路径点之间的状态转移概率和短期时间损失；

结合子模块，用于结合路径点之间的状态转移概率、路径点之间的短期时间损失和目标枢纽点到终点的全局收益，获取最优道路决策。

作为进一步地改进，下一路径点包括无人驾驶车辆前进后的正前方路径点，短期时间损失计算子模块具体用于：

根据无人驾驶车辆到各目标枢纽点的实时交通信息获取的无人驾驶车辆周围的车辆数量和车辆速度计算车流速度；

根据车流速度计算无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间；

基于无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间获取无人驾驶车辆从当前路径点到正前方路径点的短期时间损失。

作为进一步地改进，下一路径点还包括无人驾驶车辆左转变道后的左前方路径点或右转变道后的右前方路径点，短期时间损失计算子单元还用于：

在无人驾驶车辆从当前路径点到前方路径点的短期时间损失上增加左转变道或右转变道的时间损失，得到无人驾驶车辆从当前路径点到左前方路径点或右前方路径点的短期时间损失。

作为进一步地改进，结合子模块具体用于：

根据路径点之间的状态转移概率和路径点之间的短期时间损失，通过动态规划将各目标枢纽点的全局收益叠加到无人驾驶车辆前方可行道路的路径点上，得到整体收益最大的最优道路决策。

作为进一步地改进，计算模块具体包括：

第一获取子单元，用于确定当前的目标枢纽点后，通过图搜索算法获取各目标枢纽点到终点的最短路径；

行驶时间计算子单元，用于基于各目标枢纽点到终点的最短路径和预置行驶速度计算无人驾驶车辆从各目标枢纽点到终点的行驶时间；

第二获取子单元，用于基于无人驾驶车辆从各目标枢纽点到终点的行驶时间获取各目标枢纽点到终点的全局收益。

作为进一步地改进，第二获取子模块具体用于：

将无人驾驶车辆从各目标枢纽点到终点的行驶时间作为各目标枢纽点到终点的全局收益；

或，根据各目标枢纽点到终点的目标信息和无人驾驶车辆从各目标枢纽点到终点的行驶时间计算各目标枢纽点到终点的全局收益；

其中，目标信息包括红绿灯数量信息或收费站信息。

本申请实施例中，将全局地图划分为枢纽中心和枢纽点，在确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，通过各目标枢纽点到终点的全局收益可以知道从哪一个目标枢纽点进入枢纽中心比较好，然后结合无人驾驶车辆到各目标枢纽点的实时交通信息和各目标枢纽点到终点全局收益，获取最优道路决策，由于在获取最优道路决策的过程中考虑到了实时交通信息，因而可以很好的适用于环境的多样性与动态性，进而改善了现有技术采用基于规则的变道决策方法，不能适用于环境的多样性和动态性，不能有效应用于无人驾驶车辆的决策系统的技术问题。

本申请实施例还提供了一种无人驾驶车辆变道决策设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的无人驾驶车辆变道决策方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码被处理器执行时实现前述方法实施例提供的无人驾驶车辆变道决策方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种无人驾驶车辆变道决策方法，其特征在于，包括：

将全局地图中各道路的交叉口划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点；

确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，所述目标枢纽点为所述无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点；

根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息和各所述目标枢纽点到终点的全局收益，获取最优道路决策。

2.根据权利要求1所述的无人驾驶车辆变道决策方法，其特征在于，所述根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息和各所述目标枢纽点到终点的全局收益，获取最优道路决策，包括：

将所述无人驾驶车辆到各所述目标枢纽点的可行道路分割为若干个路径点；

将路径点的选择过程建模为马尔可夫决策模型；

计算所述无人驾驶车辆在当前路径点选择各可执行的动作后所到达下一路径点的状态转移概率，所述动作包括左转变道、右转变道和保持车道；

根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息计算所述无人驾驶车辆从当前路径点到下一路径点的短期时间损失；

将所述下一路径点作为当前路径点，返回所述计算所述无人驾驶车辆在当前路径点选择各可执行的动作后所到达下一路径点的状态转移概率的步骤，直至当前路径点为所述目标枢纽点，得到所述无人驾驶车辆在所有可行驶的路径点之间的状态转移概率和短期时间损失；

结合所述路径点之间的状态转移概率、所述路径点之间的短期时间损失和所述目标枢纽点到终点的全局收益，获取最优道路决策。

3.根据权利要求2所述的无人驾驶车辆变道决策方法，其特征在于，所述下一路径点包括所述无人驾驶车辆前进后的正前方路径点，

所述根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息计算所述无人驾驶车辆从当前路径点到下一路径点的短期时间损失，包括：

根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息获取的所述无人驾驶车辆周围的车辆数量和车辆速度计算车流速度；

根据所述车流速度计算所述无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间；

基于所述无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间获取所述无人驾驶车辆从当前路径点到正前方路径点的短期时间损失。

4.根据权利要求3所述的无人驾驶车辆变道决策方法，其特征在于，所述下一路径点还包括所述无人驾驶车辆左转变道后的左前方路径点或右转变道后的右前方路径点，

所述基于所述无人驾驶车辆从当前路径点前进到正前方路径点的行驶时间获取所述无人驾驶车辆从当前路径点到正前方路径点的短期时间损失，之后还包括：

在所述无人驾驶车辆从当前路径点到前方路径点的短期时间损失上增加左转变道或右转变道的时间损失，得到所述无人驾驶车辆从当前路径点到左前方路径点或右前方路径点的短期时间损失。

5.根据权利要求2所述的无人驾驶车辆变道决策方法，其特征在于，所述结合所述路径点之间的状态转移概率、所述路径点之间的短期时间损失和所述所述目标枢纽点到终点的全局收益，获取最优道路决策，包括：

根据所述路径点之间的状态转移概率和所述路径点之间的短期时间损失，通过动态规划将各所述目标枢纽点到终点的全局收益叠加到所述无人驾驶车辆前方可行道路的路径点上，得到整体收益最大的最优道路决策。

6.根据权利要求1所述的无人驾驶车辆变道决策方法，其特征在于，所述确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的全局收益，包括：

确定当前的目标枢纽点后，通过图搜索算法获取各目标枢纽点到终点的最短路径；

基于各所述目标枢纽点到终点的最短路径和预置行驶速度计算所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间；

基于所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间获取各所述目标枢纽点到终点的全局收益。

7.根据权利要求6所述的无人驾驶车辆变道决策方法，其特征在于，所述基于所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间获取各所述目标枢纽点到终点的全局收益，包括：

将所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间作为各所述目标枢纽点到终点的全局收益；

或，根据各目标枢纽点到终点的目标信息和所述无人驾驶车辆从各所述目标枢纽点到终点的行驶时间计算各所述目标枢纽点到终点的全局收益；

其中，所述目标信息包括红绿灯数量信息或收费站信息。

8.一种无人驾驶车辆变道决策系统，其特征在于，包括：

划分模块，用于将全局地图中各道路的交叉口划分为枢纽中心，将该全局地图中各道路与各枢纽中心的连接点划分为枢纽点；

计算模块，用于确定当前的目标枢纽点后，计算无人驾驶车辆从各目标枢纽点到终点的行驶时间，得到各所述目标枢纽点的全局收益，所述目标枢纽点为所述无人驾驶车辆前方可行道路到距离该无人驾驶车辆最近的枢纽中心的入口点；

道路决策模块，用于根据所述无人驾驶车辆到各所述目标枢纽点的实时交通信息和各所述目标枢纽点到终点的全局收益，获取最优道路决策。

9.一种无人驾驶车辆变道决策设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的无人驾驶车辆变道决策方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现权利要求1-7任一项所述的无人驾驶车辆变道决策方法。

Images