CN106828495A - 一种控制车辆行驶的方法及装置 - Google Patents

Abstract

本发明公开了一种控制车辆行驶的方法及装置，属于汽车控制技术领域。方法包括：获取车辆的全局行驶路径、实时位置和第一距离；将全局行驶路径划分为多个节点路段，并确定第一节点路段上的转弯位置；获取车辆与行驶方向上的下一个节点之间的待转距离；比较待转距离与转弯距离的大小；当待转距离大于转弯距离时，计算得到第一增强信号，并根据第一距离和第一增强信号采用强化学习算法确定第一行驶策略；当待转距离不大于转弯距离时，计算得到第二增强信号，根据第一距离、待转距离、转弯距离和第二增强信号，采用强化学习算法确定第二行驶策略；根据第一行驶策略和第二行驶策略控制车辆的行驶轨迹。本发明实现了车辆的自动驾驶。

Description

一种控制车辆行驶的方法及装置

技术领域

本发明属于汽车控制技术领域，特别涉及一种控制车辆行驶的方法及装置。

背景技术

随着汽车工业的发展，汽车的智能驾驶功能得到了越来越多的关注。

目前常见的智能驾驶功能通常有自动跟车功能、自动避障功能、车道保持功能等，然而，这些智能驾驶功能通常都只具有单一的功能，且各自独立完成工作，例如，自动跟车功能只可以实现汽车与前方汽车之间的自动跟车、自动避障功能只可以实现汽车自动避开行驶过程中遇到的障碍物，这些独立的智能驾驶功能均相互独立，无法配合。

发明内容

为了解决智能驾驶功能相互独立无法配合的问题，本发明实施例提供了一种控制车辆行驶的方法及其装置。所述技术方案如下：

本发明实施例提供了一种控制车辆行驶的方法，所述方法包括：

获取车辆在整个行驶过程中的全局行驶路径、所述车辆的在所述全局行驶路径中的实时位置和所述车辆与跟车车辆之间的第一距离；

将所述全局行驶路径以所述车辆需要转弯的路口为节点划分为多个节点路段，并确定所述多个节点路段中的第一节点路段上的转弯位置，所述第一节点路段为所述车辆所处的节点路段，所述转弯位置为所述车辆开始由所述第一节点路段转弯行驶至所述多个节点路段中的第二节点路段的位置，所述第一节点路段和所述第二节点路段是所述全局行驶路径中沿所述车辆的行驶方向相邻的两个节点路段；

根据所述实时位置和所述全局行驶路径，获取所述车辆与行驶方向上的下一个所述节点之间的待转距离；

比较所述待转距离与转弯距离的大小，所述转弯距离为所述第一节点路段上的所述转弯位置与所述第一节点路段和所述第二节点路段相交处的节点之间的距离；

当所述待转距离大于所述转弯距离时，根据所述第一距离计算得到第一增强信号，所述第一增强信号用于表示所述车辆跟车的可靠程度，并根据所述第一距离和所述第一增强信号采用强化学习算法确定第一行驶策略；

当所述待转距离不大于所述转弯距离时，根据所述第一距离、所述待转距离和所述转弯距离计算得到第二增强信号，所述第二增强信号用于表示所述车辆转弯的可靠程度，根据所述第一距离、所述待转距离、所述转弯距离和所述第二增强信号，采用强化学习算法确定第二行驶策略；

根据所述第一行驶策略和所述第二行驶策略控制所述车辆的行驶轨迹。

进一步地，根据所述第一距离计算得到第一增强信号，包括：

根据以下公式，计算得到所述第一增强信号，

其中，d为所述车辆上的前车检测装置的最大探测距离，Δd为所述前车检测装置检测出的所述第一距离。

进一步地，根据所述第一距离、所述待转距离和所述转弯距离计算得到第二增强信号，包括：

根据以下公式，计算得到所述第二增强信号，

其中，β为权值，0＜β＜1，y为所述转弯距离，Δy为所述待转距离。

进一步地，所述方法还包括：

检测所述第一距离是否超过第一阈值；

如果所述第一距离没有超过所述第一阈值，则获取所述车辆的实时速度；

检测所述实时速度是否超过所述第二阈值；

如果所述实时速度没有超过所述第二阈值，则检测所述车辆的两侧是否存在其他车辆；

如果所述车辆的两侧不存在其他车辆，则控制所述车辆进行变道超车。

进一步地，所述控制所述车辆进行变道超车，包括：

根据所述第一距离计算得到第三增强信号，所述第三增强信号用于表示所述车辆变道的可靠程度，并根据所述第一距离和所述第三增强信号采用强化学习算法确定第三行驶策略；

根据所述第三行驶策略控制所述车辆的变道超车。

另一方面，本发明实施例提供了一种控制车辆行驶的装置，所述装置包括：

获取模块，用于获取车辆在整个行驶过程中的全局行驶路径、所述车辆的在所述全局行驶路径中的实时位置和所述车辆与跟车车辆之间的第一距离；

节点划分模块，用于将所述获取模块获取的所述全局行驶路径以所述车辆需要转弯的路口为节点划分为多个节点路段，并确定所述多个节点路段中的第一节点路段上的转弯位置，所述第一节点路段为所述车辆所处的节点路段，所述转弯位置为所述车辆开始由所述第一节点路段转弯行驶至所述多个节点路段中的第二节点路段的位置，所述第一节点路段和所述第二节点路段是所述全局行驶路径中沿所述车辆的行驶方向相邻的两个节点路段；

所述获取模块，还用于根据所述实时位置和所述全局行驶路径，获取所述车辆与行驶方向上的下一个所述节点之间的待转距离；

比较模块，用于比较所述获取模块获取的所述待转距离与所述节点划分模块确定的转弯距离，所述转弯距离为所述第一节点路段上的所述转弯位置与所述第一节点路段和所述第二节点路段相交处的节点之间的距离；

第一计算模块，用于当所述获取模块获取的所述待转距离大于所述节点划分模块确定的所述转弯距离时，根据所述第一距离计算得到第一增强信号，所述第一增强信号用于表示所述车辆跟车的可靠程度，并根据所述第一距离和所述第一增强信号采用强化学习算法确定第一行驶策略；

第二计算模块，用于当所述获取模块获取的所述待转距离不大于所述节点划分模块确定的所述转弯距离时，根据所述第一距离、所述待转距离和所述转弯距离计算得到第二增强信号，所述第二增强信号用于表示所述车辆转弯的可靠程度，根据所述第一距离、所述待转距离、所述转弯距离和所述第二增强信号，采用强化学习算法确定第二行驶策略；

行驶模块，用于根据所述第一行驶策略和所述第二行驶策略控制所述车辆的行驶轨迹。

进一步地，所述第一计算模块包括：

第一计算单元，用于根据以下公式，计算得到所述第一增强信号，

其中，d为所述车辆上的前车检测装置的最大探测距离，Δd为所述前车检测装置检测出的所述第一距离。

进一步地，所述第二计算模块包括：

第二计算单元，用于根据以下公式，计算得到所述第二增强信号，

其中，β为权值，0＜β＜1，y为所述转弯距离，Δy为所述待转距离。

进一步地，所述控制车辆行驶的装置还包括：

检测模块，用于检测所述获取模块获取的所述第一距离是否超过第一阈值；

所述获取模块，还用于如果所述第一距离没有超过所述第一阈值，则获取所述车辆的实时速度；

所述检测模块，还用于检测所述获取模块获取的所述实时速度是否超过所述第二阈值；

所述检测模块，还用于如果所述实时速度没有超过所述第二阈值，则检测所述车辆的两侧是否存在车辆；

超车模块，用于如果所述车辆的两侧不存在其他车辆，则控制所述车辆进行变道超车。

进一步地，所述控制车辆行驶的装置还包括：

第三计算模块，用于根据所述第一距离计算得到第三增强信号，所述第三增强信号用于表示所述车辆变道的可靠程度，并根据所述第一距离和所述第三增强信号采用强化学习算法确定第三行驶策略；

所述超车模块，还用于根据所述第三行驶策略控制所述车辆的变道超车。

本发明实施例提供的技术方案带来的有益效果是：

在通过本发明实施例所提供的方法控制车辆行驶时，通过比较车辆的待转距离与转弯距离，当待转距离大于转弯距离时，表示车辆离需要转弯的路口较远，此时车辆的主要行驶任务是可靠的跟车，根据第一距离计算得到第一增强信号，并根据第一增强信号和第一距离确定第一行驶策略，以通过第一行驶策略实现对车辆的行驶轨迹的控制，即控制车辆实现可靠跟车；当待转距离不大于转弯距离时，表示车辆靠近需要转弯的路口，此时车辆的主要行驶任务是可靠的转弯，根据第一距离、待转距离和转弯距离计算得到第二增强信号，并根据第一距离、待转距离、转弯距离和第二增强信号确定第二行驶策略，以通过第二行驶策略实现对车辆的行驶轨迹的控制，即控制车辆实现可靠转弯。由于车辆的自动转弯和自动跟车功能相互结合，无需手动切换，所以解决了车辆的只能驾驶功能相互独立无法配合的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种控制车辆行驶的方法的流程图；

图2是本发明实施例提供的另一种控制车辆行驶的方法的流程图；

图3是本发明实施例提供的车辆的行驶示意图；

图4是本发明实施例提供的一种控制车辆行驶的装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种控制车辆行驶的方法，该方法适用于智能车辆，智能车辆可以为汽车或电动车，智能车辆包括导航系统、前车检测装置和旁车检测装置，导航系统用于设定车辆的全局行驶路径，前车检测装置用于检测车辆与前方跟车车辆之间的第一距离，旁车检测装置用于检测车辆与侧方相邻车辆之间的第二距离。

图1为一种控制车辆行驶的方法的流程图，如图1所示，该方法包括：

步骤101：获取车辆在整个行驶过程中的全局行驶路径、车辆的在全局行驶路径中的实时位置和车辆与跟车车辆之间的第一距离。

在上述实现方式中，整个行驶过程是指车辆预计行驶的全部路程，全局行驶路径为根据预计行驶的全部路程设定的从起点到终点的行驶路径，其中，起点、终点和行驶路径均可以由用户通过导航系统自行设置，行驶路径也可以由导航系统根据用户设定的起点和终点自动生成，实时位置可以通过导航系统获取。

步骤102：将全局行驶路径以车辆需要转弯的路口为节点划分为多个节点路段，并确定多个节点路段中的第一节点路段上的转弯位置，第一节点路段为车辆所处的节点路段，转弯位置为车辆开始由第一节点路段转弯行驶至多个节点路段中的第二节点路段的位置，第一节点路段和第二节点路段是全局行驶路径中沿车辆的行驶方向相邻的两个节点路段。

步骤103：根据实时位置和全局行驶路径，获取车辆与行驶方向上的下一个节点之间的待转距离。例如，当车辆在第一节点路段上行驶时，获取当前车辆与第一节点路段上的节点之间的距离。

步骤104：比较待转距离与转弯距离的大小，转弯距离为第一节点路段上的转弯位置与第一节点路段和第二节点路段相交处的节点之间的距离。当待转距离大于转弯距离时，执行步骤105；当待转距离不大于转弯距离时，执行步骤106。

步骤105：根据第一距离计算得到第一增强信号，第一增强信号用于表示车辆跟车的可靠程度，并根据第一距离和第一增强信号采用强化学习算法确定第一行驶策略。

在该步骤105中，车辆跟车的可靠程度可以通过与前车之间的距离表现，即通过第一距离的大小表现，第一距离越大，则表示车辆与前方跟车车辆之间的距离越大，越不容易产生安全事故，车辆跟车的可靠程度越高。

具体地，步骤105可以通过以下步骤实现：

步骤1051：根据第一距离计算得到第一增强信号。

步骤1052：根据第一距离，确定第一行驶策略，第一行驶策略包括针对车辆的车速调节和方向调节，根据第一行驶策略控制车辆的行驶轨迹。

步骤1053：获取与调整后的车辆的第一距离，并根据该第一距离计算得到调整后的车辆的第一增强信号。

步骤1054：比较步骤1051中计算得到的第一增强信号和步骤2053中计算得到调整后的车辆的第一增强信号，以得到比较结果，若调整后的车辆的第一增强信号表示的可靠程度高于第一增强信号表示的可靠程度，则将第一行驶策略记录为正确的第一行驶策略，若调整后的车辆的第一增强信号表示的可靠程度低于第一增强信号表示的可靠程度，则将第一行驶策略记录为错误的第一行驶策略。

步骤1055：根据比较结果调整第一行驶策略。

步骤106：根据第一距离、待转距离和转弯距离计算得到第二增强信号，第二增强信号用于表示车辆转弯的可靠程度，根据第一距离、待转距离、转弯距离和第二增强信号，采用强化学习算法确定第二行驶策略。

在该步骤106中，如果前车检测装置没有检测到前方存在跟车车辆，此时第一距离可以忽略不计，即不考虑跟车车辆对车辆转弯的影响，车辆转弯的可靠程度可以通过车辆与节点之间的距离表现，即通过待转距离表现，待转距离越小，则表示车辆与节点之间的距离越小，越接近需要转弯的节点，车辆转弯的可靠程度越高；如果前车检测装置检测到前方存在跟车车辆，那么需要考虑跟车车辆对车辆转弯的影响，所以车辆转弯的可靠程度可以通过两个方面来表示，一个方面是车辆跟车的可靠程度，另一个方面是车辆转弯的可靠程度，两者结合考虑。

步骤106可以通过以下步骤实现：

步骤1061：根据第一距离、待转距离和转弯距离计算得到第二增强信号。

步骤1062：根据第一距离、待转距离和转弯距离，确定第二行驶策略，第二行驶策略包括针对车辆的车速调节和方向调节，根据第二行驶策略控制车辆的行驶轨迹。

步骤1063：获取调整后的车辆的第一距离和待转距离，并根据该第一距离和待转距离计算得到调整后的车辆的第二增强信号。

步骤1064：比较步骤1061中计算得到的第二增强信号和步骤1063中计算得到的调整后的车辆的第二增强信号，以得到比较结果，若调整后的车辆的第二增强信号表示的可靠程度高于第二增强信号表示的可靠程度，则将第二行驶策略记录为正确的第二行驶策略，若调整后的车辆的第二增强信号表示的可靠程度低于第二增强信号表示的可靠程度，则将第二行驶策略记录为错误的第二行驶策略。

步骤1065：根据比较结果调整第二行驶策略。

步骤107：根据第一行驶策略和第二行驶策略控制车辆的行驶轨迹。

在通过本发明实施例所提供的方法控制车辆行驶时，通过比较车辆的待转距离与转弯距离，当待转距离大于转弯距离时，表示车辆离需要转弯的路口较远，此时车辆的主要行驶任务是可靠的跟车，根据第一距离计算得到第一增强信号，并根据第一增强信号和第一距离确定第一行驶策略，以通过第一行驶策略实现对车辆的行驶轨迹的控制，即控制车辆实现可靠跟车；当待转距离不大于转弯距离时，表示车辆靠近需要转弯的路口，此时车辆的主要行驶任务是可靠的转弯，根据第一距离、待转距离和转弯距离计算得到第二增强信号，并根据第一距离、待转距离、转弯距离和第二增强信号确定第二行驶策略，以通过第二行驶策略实现对车辆的行驶轨迹的控制，即控制车辆实现可靠转弯。由于车辆的自动转弯和自动跟车功能相互结合，避免了车辆在转弯和直线行驶的过程中与前方跟车车辆产生碰撞，并且自动转弯功能和自动跟车功能能够在需要的情况下各司其职，无需手动切换，解决了车辆的智能驾驶功能相互独立无法配合的问题。

图2为另一种控制车辆行驶的方法的流程图，如图2所示，该方法包括：

步骤201：获取车辆在整个行驶过程中的全局行驶路径、车辆的在全局行驶路径中的实时位置和车辆与跟车车辆之间的第一距离。其中，跟车车辆可以为车辆的前方，且与车辆处于同一车道上的其他车辆。

在上述实现方式中，整个行驶过程是指车辆预计行驶的全部路程，全局行驶路径为根据预计行驶的全部路程设定的从起点到终点的行驶路径，其中，起点、终点和行驶路径均可以由用户通过导航系统自行设置，行驶路径也可以由导航系统根据用户设定的起点和终点自动生成，实时位置可以通过导航系统获取。

具体实现时，车辆与跟车车辆之间的第一距离可以通过车辆的前车检测装置检测得到，前车检测装置可以为设置在车辆的前保险杠上的毫米波雷达，如图3所示，前车检测装置的最大探测距离为d，前车检测装置探测到的车辆与跟车车辆之间的第一距离为Δd。当前车检测装置在最大探测距离的范围内未探测到前方的跟车车辆时，则表示车辆前方不存在跟车车辆，此时Δd可以等于d，当前车检测装置在最大探测距离的范围内探测到前方的跟车车辆时，表示车辆前方存在跟车车辆，此时Δd等于前车检测装置的实际检测值。

需要说明的是，用户可以根据需求选择具有不同最大探测距离d的前车检测装置，例如6m、7m等，本发明对此不作限制。

步骤202：将全局行驶路径以车辆需要转弯的路口为节点划分为多个节点路段，并确定多个节点路段中的第一节点路段上的转弯位置，第一节点路段为车辆所处的节点路段，转弯位置为车辆开始由第一节点路段转弯行驶至多个阶段路段中的第二节点路段的位置，第一节点路段和第二节点路段是全局行驶路径中沿车辆的行驶方向相邻的两个节点路段。

具体实现时，可以通过以下步骤确定转弯位置：

首先，通过导航系统确定全局行驶路径和车辆的实时位置，然后，根据车辆的实时位置确定车辆所处的节点路段和车辆在行驶方向上的下一个节点路段，即第一节点路段和第二节点路段，最后，根据第一节点路段和第二节点路段之间的夹角的角度决定第一节点路段上的转弯位置，例如，当夹角较小时，可以适当减小转弯位置到第一节点路段和第二节点路段之间的交接处的距离，当夹角较大时，可以适当增大转弯位置到第一节点路段和第二节点路段之间的交接处的距离，以便于车辆转弯。

在该步骤202中，如图3所示，第一节点路段的转弯位置可以设置在第一节点路段的末端，即靠近需要转弯的路口的位置，节点可以设置在第二节点路段的始端，即同样靠近需要转弯的路口的位置。

步骤203：根据实时位置和全局行驶路径获取车辆与行驶方向上的下一个节点之间的待转距离Δy。

具体实现时，待转距离Δy可以通过导航系统根据车辆所处的实时位置和全局行驶路径得到。例如，将全局行驶路径导入坐标系，确定每一个节点在做坐标系中的坐标，并获取车辆在行驶过程中的实时坐标，然后通过实时坐标和对应节点的坐标，得到待转距离Δy，待转距离Δy可以是车辆与节点之间的直线距离。

步骤204：比较待转距离Δy与转弯距离y的大小，转弯距离y为第一节点路段上的转弯位置与第一节点路段和第二节点路段相交处的节点之间的距离。

当待转距离Δy大于转弯距离y时，表示车辆此时还未到达转弯位置，此时车辆行驶的主要目标是实现车辆的可靠跟车，执行步骤205；当待转距离Δy不大于转弯距离y时，表示车辆此时已经达到转弯位置，此时车辆行驶的主要目标是实现车辆的可靠转弯，次要目标是现实车辆的可靠跟车，执行步骤207。

步骤205：根据第一距离计算得到第一增强信号，第一增强信号用于表示车辆跟车的可靠程度，并根据第一距离和第一增强信号采用强化学习算法确定第一行驶策略。

具体实现时，步骤205可以通过如下步骤实现：

步骤2051：通过以下公式根据第一距离计算得到第一增强信号，

其中，d为车辆上的前车检测装置的最大探测距离，Δd为前车检测装置检测出的第一距离。

可见，由于d为定值，随着Δd的增大，r也随之增大，也就是说，车辆与跟车车辆之间的距离越大，则第一增强信号越大，即车辆的跟车行驶越可靠。

步骤2052：根据第一距离，确定第一行驶策略，第一行驶策略包括针对车辆的车速调节和方向调节，根据第一行驶策略控制车辆的行驶轨迹。

步骤2053：获取与调整后的车辆的第一距离，并根据该第一距离计算得到调整后的车辆的第一增强信号。

步骤2054：比较步骤1051中计算得到的第一增强信号和步骤2053中计算得到调整后的车辆的第一增强信号，以得到比较结果，若调整后的车辆的第一增强信号表示的可靠程度高于第一增强信号表示的可靠程度，则将第一行驶策略记录为正确的第一行驶策略，若调整后的车辆的第一增强信号表示的可靠程度低于第一增强信号表示的可靠程度，则将第一行驶策略记录为错误的第一行驶策略。

步骤2055：根据比较结果调整第一行驶策略。

在上述实现方式中，如果比较结果表示该第一行驶策略为正确的第一行驶策略，那么车辆在后续行驶中继续执行该行驶策略，直至第一距离达到安全值(安全值可以为用户设置的数值，也可以为前车检测装置的最大探测距离d)，此时车辆保持匀速行驶，直至该第一行驶策略在车辆行驶的过程中，因道路环境和跟车车辆的车速变化而被判断为错误的第一行驶策略，如果比较结果表示该第一行驶策略为错误的第一行驶策略，那么调整该第一行驶策略，即改变针对车辆的速度调节和方向调节，从而提高车辆跟车的可靠程度。需要说明的是，在行驶策略中，针对车辆的方向调节可以包括左和右两个方向，调节幅度可以为车辆的最小可转角度至最大可转角度中的任一角度，同样的，针对车辆的车速调节可以为车辆在该节点路段中符合相关法律规定的任一速度。

具体地，如果比较结果表示该第一行驶策略为错误的行驶策略，需要对第一行驶策略进行调整，那么可以随机选择另外一种第一行驶策略，并将错误的第一行驶策略储存下来，从而避免车辆在后续的行驶过程中，重复选择该错误的第一行驶策略。

需要说明的是，如果车辆第一次通过本实施例所提供的方法控制车辆行驶，则步骤2052中的第一行驶策略可以随机选择，然后再通过步骤2053-步骤2055的方法，不断调节第一行驶策略，以使得车辆能够自主的学习，从而实现可靠的自动跟车。

在待转距离大于转弯距离时，即车辆还未到达转弯位置时，可以通过步骤206实现车辆的自动变道超车。然而，当待转距离不大于转弯距离时，即车辆需要转弯时，车辆会执行减速操作，以保证车辆的可靠转弯，所以此时不需要考虑车辆变道超车的问题。

步骤206：判断车辆是否需要变道超车，如果需要，则车辆自动变道超车。

具体实现时，步骤206可以通过如下步骤实现：

步骤2061：检测第一距离Δd是否超过第一阈值。

在上述实现方式中，第一阈值可以为d/2，如果第一距离Δd超过了第一阈值，那么表示车辆与前方跟车车辆之间的距离较大，不需要变道超车，结束步骤206，如果第一距离Δd没有超过第一阈值，那么表示车辆与前方跟车车辆之间的距离较小，需要变道超车，执行步骤2062。

步骤2062：获取车辆的实时速度Δv。

在上述实现方式中，车辆的实时速度Δv可以通过导航系统获得，也可以直接通过车辆的行车电脑获得，本发明对此不作限制。

步骤2063：检测实时速度Δv是否超过第二阈值。

在上述实现方式中，第二阈值可以为当前节点路段上的最大法定速度v的0.1倍，即0.1v，如果实时速度Δv超过了第二阈值，则表示前方跟车车辆的车速不慢，没有必要变道超车，继续保持跟车，结束步骤206，如果实时速度Δv没有超过第二阈值，则表示前方跟车车辆的车速过慢，有必要变道超车，执行步骤2064。

步骤2064：通过车辆的旁车检测装置检测车辆的两侧是否存在其他车辆。

在上述实现方式中，旁车检测装置可以为超声波雷达，如果车辆的两侧存在其他车辆，则表示此时不能变道超车，避免与其他车辆产生碰撞，此时δ为车辆与两侧其他车辆之间的距离，结束步骤206，并继续执行步骤201，如果车辆的两侧不存在其他车辆，则表示此时可以变道超车，此时δ＝0，执行步骤2065。

步骤2065：控制车辆进行变道超车。

具体实现时，该步骤S2065可以包括：

首先，根据第一距离计算得到第三增强信号，第三增强信号用于表示车辆变道的可靠程度，并根据第一距离和第三增强信号采用强化学习算法确定第三行驶策略。

然后，根据第三行驶策略控制车辆进行变道超车。

需要说明的是，第三增强信号可以通过步骤2051中的公式计算得到，并且第三行驶策略的确定方式和调整方式的具体过程可以与步骤2051-步骤2055中基本相同，在此不做赘述。另外，如果车辆在变道超车完成后，依然未还未到达转弯位置，那么此时车辆继续保持跟车，并正常行驶，如果车辆在变道超车完成后，到达转弯位置，那么此时车辆开始转弯，具体详见步骤207。

步骤207：根据第一距离、待转距离和转弯距离计算得到第二增强信号，第二增强信号用于表示车辆转弯的可靠程度，根据第一距离、待转距离、转弯距离和第二增强信号，采用强化学习算法确定第二行驶策略。

具体实现时，步骤207可以通过如下步骤实现：

步骤2071：通过以下公式根据第一距离、待转距离和转弯距离计算得到第二增强信号，

其中，β为权值，β＝0.75，y为转弯距离，Δy为待转距离。当β＝0.75时，可以较好的表示，此时车辆行驶的主要目标是实现车辆的可靠转弯，而实现车辆的可靠跟车是次要目标，需要说明的是，权值β可以根据实际的需求进行调整，本发明对此不作限制。

步骤2072：根据第一距离、待转距离和转弯距离，确定第二行驶策略，第二行驶策略包括针对车辆的车速调节和方向调节，根据第二行驶策略控制车辆的行驶轨迹。

步骤2073：获取调整后的车辆的第一距离和待转距离，并根据该第一距离和待转距离通过步骤2071中的公式计算得到调整后的车辆的第二增强信号。

步骤2074：比较步骤2071中计算得到的第二增强信号和步骤2073中计算得到的调整后的车辆的第二增强信号，以得到比较结果，若调整后的车辆的第二增强信号表示的可靠程度高于第二增强信号表示的可靠程度，则将第二行驶策略记录为正确的第二行驶策略，若调整后的车辆的第二增强信号表示的可靠程度低于第二增强信号表示的可靠程度，则将第二行驶策略记录为错误的第二行驶策略。

步骤2075：根据比较结果调整第二行驶策略。

在上述实现方式中，如果比较结果表示该第二行驶策略为正确的第二行驶策略，那么车辆在后续行驶中继续执行该行驶策略，直至该第二行驶策略在车辆行驶的过程中，因道路环境的变化而被判断为错误的第二行驶策略，如果比较结果表示该第二行驶策略为错误的第二行驶策略，那么调整该第二行驶策略，即改变针对车辆的速度调节和方向调节，从而提高车辆跟车的可靠程度。需要说明的是，在行驶策略中，针对车辆的方向调节可以包括左和右两个方向，调节幅度可以为车辆的最小可转角度至最大可转角度中的任一角度，同样的，针对车辆的车速调节可以为车辆在该节点路段中符合相关法律规定的任一速度。

具体地，如果比较结果表示该第二行驶策略为错误的行驶策略，需要对第二行驶策略进行调整，那么可以随机选择另外一种第二行驶策略，并将错误的第二行驶策略储存下来，从而避免车辆在后续的行驶过程中，重复选择该错误的第二行驶策略。

需要说明的是，如果车辆第一次通过本实施例所提供的方法控制车辆行驶，则步骤2072中的第二行驶策略可以随机选择，然后再通过步骤2073-步骤2077的方法，不断调节第二行驶策略，以使得车辆能够自主的学习，从而实现可靠的自动转弯。

步骤208：根据第一行驶策略、第二行驶策略和第三行驶策略控制车辆的行驶轨迹。

在通过本发明实施例所提供的方法控制车辆行驶时，通过比较车辆的待转距离与转弯距离，当待转距离大于转弯距离时，表示车辆离需要转弯的路口较远，此时车辆的主要行驶任务是可靠的跟车，根据第一距离计算得到第一增强信号，并根据第一增强信号和第一距离确定第一行驶策略，以通过第一行驶策略实现对车辆的行驶轨迹的控制，即控制车辆实现可靠跟车，并且当车辆需要变道超车时，还可以实现车辆的自动变道超车；当待转距离不大于转弯距离时，表示车辆靠近需要转弯的路口，此时车辆的主要行驶任务是可靠的转弯，根据第一距离、待转距离和转弯距离计算得到第二增强信号，并根据第一距离、待转距离、转弯距离和第二增强信号确定第二行驶策略，以通过第二行驶策略实现对车辆的行驶轨迹的控制，即控制车辆实现可靠转弯。由于车辆的自动转弯、自动变道超车和自动跟车功能相互结合，无需手动切换，所以解决了车辆的只能驾驶功能相互独立无法配合的问题。

图4为一种控制车辆行驶的装置的结构示意图，如图4所示，该装置包括：

获取模块100，用于获取车辆在整个行驶过程中的全局行驶路径、车辆的在全局行驶路径中的实时位置和车辆与跟车车辆之间的第一距离。

节点划分模块200，用于将获取模块100获取的全局行驶路径以车辆需要转弯的路口为节点划分为多个节点路段，确定每个节点路段上的转弯位置，转弯位置为车辆开始由第一节点路段转弯行驶至第二节点路段的位置，第一节点路段和第二节点路段是全局行驶路径中沿车辆的行驶方向任意相邻的两个节点路段，将第一节点路段上的转弯位置与第二节点路段上的节点之间的距离设为转弯距离。

获取模块100，还用于根据实时位置和全局行驶路径获取车辆与行驶方向上的下一个节点之间的待转距离。

比较模块300，用于比较获取模块100获取的待转距离与节点划分模块200确定的转弯距离。

第一计算模块400，用于当获取模块100获取的待转距离大于节点划分模块200确定的转弯距离时，根据第一距离计算得到第一增强信号，第一增强信号用于表示车辆跟车的可靠程度，并根据第一距离和第一增强信号采用强化学习算法确定第一行驶策略。

第二计算模块500，用于当获取模块100获取的待转距离不大于节点划分模块200确定的转弯距离时，根据第一距离、待转距离和转弯距离计算得到第二增强信号，第二增强信号用于表示车辆转弯的可靠程度，根据第一距离、待转距离、转弯距离和第二增强信号，采用强化学习算法确定第二行驶策略。

行驶模块900，用于根据第一行驶策略和第二行驶策略控制车辆的行驶轨迹。

具体地，第一计算模块400包括：

第一计算单元，用于根据以下公式，计算得到第一增强信号，

其中，d为车辆上的前车检测装置的最大探测距离，Δd为前车检测装置检测出的第一距离。

具体地，第二计算模块500包括：

第二计算单元，用于根据以下公式，计算得到第二增强信号，

其中，β为权值，β＝0.75，y为转弯距离，Δy为待转距离。

具体地，控制车辆行驶的装置还包括：

检测模块600，用于检测获取模块100获取的第一距离是否超过第一阈值。

获取模块100，还用于如果第一距离没有超过第一阈值，则获取车辆的实时速度。

检测模块600，还用于检测获取模块100获取的实时速度是否超过第二阈值。

检测模块600，还用于如果实时速度没有超过第二阈值，则通过车辆的旁车检测装置检测车辆的两侧是否存在车辆。

超车模块700，用于如果车辆的两侧不存在其他车辆，则控制车辆进行变道超车。

具体地，控制车辆行驶的装置还包括：

第三计算模块800，用于根据第一距离计算得到第三增强信号，第三增强信号用于表示车辆变道的可靠程度，并根据第一距离和第三增强信号采用强化学习算法确定第三行驶策略。

超车模块700，还用于根据第三行驶策略控制车辆的变道超车。

在通过本发明实施例所提供的装置控制车辆行驶时，通过比较车辆的待转距离与转弯距离，当待转距离大于转弯距离时，表示车辆离需要转弯的路口较远，此时车辆的主要行驶任务是可靠的跟车，根据第一距离计算得到第一增强信号，并根据第一增强信号和第一距离确定第一行驶策略，以通过第一行驶策略实现对车辆的行驶轨迹的控制，即控制车辆实现可靠跟车，并且当车辆需要变道超车时，还可以实现车辆的自动变道超车；当待转距离不大于转弯距离时，表示车辆靠近需要转弯的路口，此时车辆的主要行驶任务是可靠的转弯，根据第一距离、待转距离和转弯距离计算得到第二增强信号，并根据第一距离、待转距离、转弯距离和第二增强信号确定第二行驶策略，以通过第二行驶策略实现对车辆的行驶轨迹的控制，即控制车辆实现可靠转弯。由于车辆的自动转弯、自动变道超车和自动跟车功能相互结合，无需手动切换，所以解决了车辆的只能驾驶功能相互独立无法配合的问题。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种控制车辆行驶的方法，其特征在于，所述方法包括：

获取车辆在整个行驶过程中的全局行驶路径、所述车辆的在所述全局行驶路径中的实时位置和所述车辆与跟车车辆之间的第一距离；

将所述全局行驶路径以所述车辆需要转弯的路口为节点划分为多个节点路段，并确定所述多个节点路段中的第一节点路段上的转弯位置，所述第一节点路段为所述车辆所处的节点路段，所述转弯位置为所述车辆开始由所述第一节点路段转弯行驶至所述多个节点路段中的第二节点路段的位置，所述第一节点路段和所述第二节点路段是所述全局行驶路径中沿所述车辆的行驶方向相邻的两个节点路段；

根据所述实时位置和所述全局行驶路径，获取所述车辆与行驶方向上的下一个所述节点之间的待转距离；

比较所述待转距离与转弯距离的大小，所述转弯距离为所述第一节点路段上的所述转弯位置与所述第一节点路段和所述第二节点路段相交处的节点之间的距离；

当所述待转距离大于所述转弯距离时，根据所述第一距离计算得到第一增强信号，所述第一增强信号用于表示所述车辆跟车的可靠程度，并根据所述第一距离和所述第一增强信号采用强化学习算法确定第一行驶策略；

当所述待转距离不大于所述转弯距离时，根据所述第一距离、所述待转距离和所述转弯距离计算得到第二增强信号，所述第二增强信号用于表示所述车辆转弯的可靠程度，根据所述第一距离、所述待转距离、所述转弯距离和所述第二增强信号，采用强化学习算法确定第二行驶策略；

根据所述第一行驶策略和所述第二行驶策略控制所述车辆的行驶轨迹。

2.根据权利要求1所述控制车辆行驶的方法，其特征在于，根据所述第一距离计算得到第一增强信号，包括：

根据以下公式，计算得到所述第一增强信号，

$r=-\left(\frac{d-\mathrm{\Δ}d}{\mathrm{\Δ}d}\right);$

其中，d为所述车辆上的前车检测装置的最大探测距离，Δd为所述前车检测装置检测出的所述第一距离。

3.根据权利要求2所述控制车辆行驶的方法，其特征在于，根据所述第一距离、所述待转距离和所述转弯距离计算得到第二增强信号，包括：

根据以下公式，计算得到所述第二增强信号，

$R=-\[(1-\mathrm{\β})\left(\frac{d-\mathrm{\Δ}d}{\mathrm{\Δ}d}\right)+\mathrm{\β}\left(\frac{y-\mathrm{\Δ}y}{y}\right)\];$

其中，β为权值，0＜β＜1，y为所述转弯距离，Δy为所述待转距离。

4.根据权利要求1所述控制车辆行驶的方法，其特征在于，所述方法还包括：

检测所述第一距离是否超过第一阈值；

如果所述第一距离没有超过所述第一阈值，则获取所述车辆的实时速度；

检测所述实时速度是否超过所述第二阈值；

如果所述实时速度没有超过所述第二阈值，则检测所述车辆的两侧是否存在其他车辆；

如果所述车辆的两侧不存在其他车辆，则控制所述车辆进行变道超车。

5.根据权利要求4所述控制车辆行驶的方法，其特征在于，所述控制所述车辆进行变道超车，包括：

根据所述第一距离计算得到第三增强信号，所述第三增强信号用于表示所述车辆变道的可靠程度，并根据所述第一距离和所述第三增强信号采用强化学习算法确定第三行驶策略；

根据所述第三行驶策略控制所述车辆的变道超车。

6.一种控制车辆行驶的装置，其特征在于，所述装置包括：

获取模块，用于获取车辆在整个行驶过程中的全局行驶路径、所述车辆的在所述全局行驶路径中的实时位置和所述车辆与跟车车辆之间的第一距离；

节点划分模块，用于将所述获取模块获取的所述全局行驶路径以所述车辆需要转弯的路口为节点划分为多个节点路段，并确定所述多个节点路段中的第一节点路段上的转弯位置，所述第一节点路段为所述车辆所处的节点路段，所述转弯位置为所述车辆开始由所述第一节点路段转弯行驶至所述多个节点路段中的第二节点路段的位置，所述第一节点路段和所述第二节点路段是所述全局行驶路径中沿所述车辆的行驶方向相邻的两个节点路段；

所述获取模块，还用于根据所述实时位置和所述全局行驶路径，获取所述车辆与行驶方向上的下一个所述节点之间的待转距离；

比较模块，用于比较所述获取模块获取的所述待转距离与所述节点划分模块确定的转弯距离，所述转弯距离为所述第一节点路段上的所述转弯位置与所述第一节点路段和所述第二节点路段相交处的节点之间的距离；

第一计算模块，用于当所述获取模块获取的所述待转距离大于所述节点划分模块确定的所述转弯距离时，根据所述第一距离计算得到第一增强信号，所述第一增强信号用于表示所述车辆跟车的可靠程度，并根据所述第一距离和所述第一增强信号采用强化学习算法确定第一行驶策略；

第二计算模块，用于当所述获取模块获取的所述待转距离不大于所述节点划分模块确定的所述转弯距离时，根据所述第一距离、所述待转距离和所述转弯距离计算得到第二增强信号，所述第二增强信号用于表示所述车辆转弯的可靠程度，根据所述第一距离、所述待转距离、所述转弯距离和所述第二增强信号，采用强化学习算法确定第二行驶策略；

行驶模块，用于根据所述第一行驶策略和所述第二行驶策略控制所述车辆的行驶轨迹。

7.根据权利要求6所述控制车辆行驶的装置，其特征在于，所述第一计算模块包括：

第一计算单元，用于根据以下公式，计算得到所述第一增强信号，

$r=-\left(\frac{d-\mathrm{\Δ}d}{\mathrm{\Δ}d}\right);$

其中，d为所述车辆上的前车检测装置的最大探测距离，Δd为所述前车检测装置检测出的所述第一距离。

8.根据权利要求7所述控制车辆行驶的装置，其特征在于，所述第二计算模块包括：

第二计算单元，用于根据以下公式，计算得到所述第二增强信号，

$R=-\[(1-\mathrm{\β})\left(\frac{d-\mathrm{\Δ}d}{\mathrm{\Δ}d}\right)+\mathrm{\β}\left(\frac{y-\mathrm{\Δ}y}{y}\right)\];$

其中，β为权值，0＜β＜1，y为所述转弯距离，Δy为所述待转距离。

9.根据权利要求6所述控制车辆行驶的装置，其特征在于，所述控制车辆行驶的装置还包括：

检测模块，用于检测所述获取模块获取的所述第一距离是否超过第一阈值；

所述获取模块，还用于如果所述第一距离没有超过所述第一阈值，则获取所述车辆的实时速度；

所述检测模块，还用于检测所述获取模块获取的所述实时速度是否超过所述第二阈值；

所述检测模块，还用于如果所述实时速度没有超过所述第二阈值，则检测所述车辆的两侧是否存在车辆；

超车模块，用于如果所述车辆的两侧不存在其他车辆，则控制所述车辆进行变道超车。

10.根据权利要求9所述控制车辆行驶的装置，其特征在于，所述控制车辆行驶的装置还包括：

第三计算模块，用于根据所述第一距离计算得到第三增强信号，所述第三增强信号用于表示所述车辆变道的可靠程度，并根据所述第一距离和所述第三增强信号采用强化学习算法确定第三行驶策略；

所述超车模块，还用于根据所述第三行驶策略控制所述车辆的变道超车。