CN113324556B - 基于车路协同强化学习的路径规划方法及装置、应用系统 - Google Patents

Abstract

本发明涉及一种基于车路协同强化学习的路径规划方法及装置、应用系统，初始化车辆状态参数；调节主路车辆加速度a₁值；根据调节后的主路车辆加速度a₁值，计算匝道车辆到达交汇口时的主路车辆所在位置；根据匝道车辆到达交汇口时的主路车辆所在位置、主路车辆速度、匝道车辆速度，计算强化学习的增强信号值r；根据强化学习的增强信号值r，对所述调节后的主路车辆加速度a₁值进行评价，评价结果包括最优、好、坏和决策失败；当规划决策次数达到设定的阈值M时，结束本次学习。本发明通过强化学习方法使车辆自主决策最优路径规划，能灵活地应对匝道车辆加/减速度的变化，更具客观性、灵活性、自适应性，同时使能耗控制达到最优。

Description

基于车路协同强化学习的路径规划方法及装置、应用系统

技术领域

本发明涉及一种基于车路协同强化学习的路径规划方法及装置、应用系统。

背景技术

据统计,每年在高速匝道发生的交通事故占总事故的30％以上。如图1所示，10为主路车辆，20为匝道汇入车辆，无论车辆10是人工驾驶还是自动驾驶，视野范围均无法覆盖到匝道区域，车辆10与车辆20可能会在匝道汇入口处发生碰撞事故。如果车辆为了避免碰撞，每次即将到达匝道汇入口时都减速，虽然可减少碰撞事故，但降低了通行效率，同时增加了车辆能耗。

车路协同是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。如图2所示，1为主路车辆，可为货车、客车、轿车或其他车辆，可为燃油车也可为电动车，2为匝道汇入车辆，车型不限，可为货车、客车、轿车或其他车辆，可为燃油车也可为电动车，3为路侧感知设备，可通过与匝道车辆通信的方式或采集匝道道路信息的方式获取匝道车辆信息，并发送给主路车辆，主路车辆通过提前加速或减速的方式避免匝道汇入口的碰撞事故发生。

如图3所示，安全汇车的最终结果是，车辆交汇时，车辆1的目标位置需在车辆2的前方或后方，保持相对速度为0，保持最佳的安全距离d^*(d^*的数值根据速度的不同而不同)通行。如图4所示的匝道安全汇车示例，车辆在接收到路侧设备3发送的匝道车辆信息后，计算出汇车最佳的目标位置和速度，此时车辆车速为v₁，与目标位置距离为s，目标位置车辆车速为v₂。在距离的s行驶过程中,车辆有无限种方法能使得在汇车时,相对速度为0,相对距离为d^*,如,可以以恒定的减速度a₁进行减速(假设v₁>v₂),行驶了距离s后,v₁＝v₂,也可先以较大减速度a₁进行减速,再以恒定速度v₂行驶至目标位置,也可先以较大减速度进行减速,再以较小减速度进行减速。

现有车路协同学习路径规划方法是通过监督学习的方式进行路径规划，即人为定义加减速策略，定义距离、速度、加/减速度的对应关系，使车辆安全、无碰撞通行。这种人为设定的方式具有较大主观性，灵活性、自适应性不强，尤其当遇到车辆2的加/减速度a₂不断变化时，这种路径规划方法存在较大不稳定性，使得实际运行时车辆能量消耗过大。

发明内容

本发明的发明目的在于提供一种车路协同强化学习路径规划方法及装置、应用系统，通过强化学习方法使车辆自主决策最优路径规划，能灵活地应对匝道车辆加/减速度的变化，更具客观性、灵活性、自适应性，同时使能耗控制达到最优。

基于同一发明构思，本发明具有三个独立的技术方案：

1、一种基于车路协同强化学习的路径规划方法，其特征在于，包括如下步骤：

步骤1：初始化车辆状态参数；所述参数包括主路车辆速度、匝道车辆速度、主路车辆加速度a₁、匝道车辆加速度a₂、主路车辆与交汇口相距的距离s₁、匝道车辆与交汇口相距的距离s₂；

步骤2：进行规划决策，调节主路车辆加速度a₁值；

步骤3：根据调节后的主路车辆加速度a₁值，计算匝道车辆到达交汇口时的主路车辆所在位置；根据匝道车辆到达交汇口时的主路车辆所在位置、主路车辆速度、匝道车辆速度，计算强化学习的增强信号值r；

步骤4：根据强化学习的增强信号值r，对所述调节后的主路车辆加速度a₁值进行评价，评价结果包括最优、好、坏和决策失败；当评价结果为决策失败时，返回步骤1，进行新一次学习实验；

步骤5：调节匝道车辆加速度a₂值，返回步骤2，进行下一次规划决策；当规划决策次数达到设定的阈值M时，结束本次学习。

进一步地，步骤4中，当强化学习的增强信号值r＝0时，规划决策评价结果为最优，

式中，d^*为匝道车辆到达交汇口时，主路车辆与匝道车辆的最佳安全距离，d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离，v₁为匝道车辆到达交汇口时，主路车辆的速度，v₂为匝道车辆到达交汇口时，匝道车辆的速度，α为权重系数，0<α<1。

进一步地，步骤4中，当时，增强信号值r＝-1，评价结果为决策失败；

式中，v₁为匝道车辆到达交汇口时，主路车辆的速度，v₂为匝道车辆到达交汇口时，匝道车辆的速度；n为设定的值，0<n<1；

进一步地，步骤4中，当d≥2·d^*时，增强信号值r＝-1，评价结果为决策失败；

d^*为匝道车辆到达交汇口时，主路车辆与匝道车辆的最佳安全距离，d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离。

进一步地，当d＝0时，增强信号值r＝-1，评价结果为决策失败；

d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离。

进一步地，步骤2中，初次规划决策时，随机调节主路车辆加速度a₁值；非初次规划决策时，根据上一次规划决策的评价结果，调节主路车辆加速度a₁值以优化规划决策。

进一步地，步骤5中，调节匝道车辆加速度a₂值时，

a₂＝a₂+rand，rand为一个随机数，可为整数或小数，可为正数或负数。

进一步地，当学习实验次数达到设定的阈值N时，结束学习。

2、一种车路协同强化学习路径规划装置，用于执行上述的方法。

3、一种应用上述方法的路径规划系统，包括：

主路车辆，所述主路车辆包含有感知模块、决策模块、执行模块、通信模块，所述感知模块用于感知车辆周围环境，所述决策模块用于决策行驶路径，所述执行模块用于执行决策命令，所述通信模块用于与路侧单元或车辆或云平台进行通信；

路侧设备，所述路侧设备包含有路侧感知单元、通信模块，所述路侧感知单元用于感知道路状态信息，所述通信模块用于与车辆或云端通信；

匝道车辆，所述匝道车辆可通过所述路侧设备的感知单元进行观测。

本发明具有的有益效果：

本发明规划决策调节主路车辆加速度a1值；根据调节后的主路车辆加速度a1值，计算匝道车辆到达交汇口时，主路车辆所在位置；根据匝道车辆到达交汇口时，主路车辆所在位置、主路车辆速度、匝道车辆速度，计算强化学习的增强信号值；根据强化学习的增强信号值r，对规划决策结果进行评价，评价分为最优、好、坏和决策失败，随机调节匝道车辆加速度a2值进行再次规划决策，并再次对规划决策结果评价。本发明通过上述强化学习方法，使得匝道车辆加速度a2在试验范围内的海量数值均有对应的决策评价，能灵活地应对匝道车辆加/减速度的变化，更具客观性、灵活性、自适应性，同时使实际运行时车辆能量消耗效果达到最优。

本发明强化学习的增强信号值r＝0时，规划决策结果评价为最优，

式中，d^*为匝道车辆到达交汇口时，主路车辆与匝道车辆的最佳安全距离，d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离，v₁为匝道车辆到达交汇口时，主路车辆的速度，v₂为匝道车辆到达交汇口时，匝道车辆的速度，α为权重系数，0<α<1。强化学习的增强信号值r＝-1时，规划决策结果评价为规划决策失败；当时，增强信号值r＝-1；当d≥2·d^*时，增强信号值r＝-1；当d＝0时，增强信号值r＝-1。本发明通过上述强化学习的增强信号值计算方法，进一步保证对规划决策评价的准确性。

附图说明

图1是主路车辆和匝道车辆交汇时的危险状态示意图；

图2是基于车路协同的匝道安全汇车示意图；

图3是基于车辆协同的匝道安全汇车结果示意图；

图4是匝道安全汇车示例示意图；

图5是匝道汇入车路协同工作原理图；

图6是强化学习工作原理图；

图7是本发明车路协同强化学习路径规划方法流程图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

实施例一：

基于车路协同强化学习的路径规划方法

如图6所示，强化学习工作原理为，t时刻，车辆物理模型将对应相应的状态量X(t)及当前状态量获得的增强信号r(t)输入强化学习系统，强化学习系统根据增强信号的数值，对之前的决策动作进行评价，并产生新的决策动作U(t)，并反馈给车辆物理模型。车辆物理模型执行决策动作U(t)，得到新的状态量X(t+1)及新状态量的增强信号r(t+1)，并将这些信号输入给强化学习系统，进行学习。

如图7所示，本发明车路协同强化学习路径规划方法包括如下步骤：

步骤1：初始化车辆状态参数；所述参数包括主路车辆速度、匝道车辆速度、主路车辆加速度a₁、匝道车辆加速度a₂、主路车辆与交汇口相距的距离s₁、匝道车辆与交汇口相距的距离s₂。

初始化时，设定最大试验次数N，设定每次试验的最大步长M(即，每次试验执行多少次决策命令)。

步骤2：进行规划决策，调节主路车辆加速度a₁值。

初次规划决策时，随机调节主路车辆加速度a₁值；非初次规划决策时，根据上一次规划决策的评价结果，调节主路车辆加速度a₁值以优化规划决策。

步骤3：根据调节后的主路车辆加速度a₁值，结合车辆物理模型(车辆状态参数)，计算匝道车辆到达交汇口时的主路车辆所在位置；根据匝道车辆到达交汇口时的主路车辆所在位置、主路车辆速度、匝道车辆速度，计算强化学习的增强信号值r。

步骤4：根据强化学习的增强信号值r，对所述调节后的主路车辆加速度a₁值进行评价，评价结果包括最优、好、坏和决策失败；当评价结果为决策失败时，返回步骤1，进行新一次学习实验；

强化学习的增强信号值r＝0时，规划决策结果评价为最优，

式中，d^*为匝道车辆到达交汇口时，主路车辆与匝道车辆的最佳安全距离，d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离，v₁为匝道车辆到达交汇口时，主路车辆的速度，v₂为匝道车辆到达交汇口时，匝道车辆的速度，α为权重系数，0<α<1。这种增强信号的设计方式使得系统能综合考虑位置与相对速度，使得系统能在保持最佳距离的同时，消耗最小能耗。当d＝d^*且v₁＝v₂时，增强信号r＝0，系统实现最优路径规划。

强化学习的增强信号值r＝-1时，评价结果为决策失败；

当时，增强信号值r＝-1；评价结果为决策失败；

式中，v₁为匝道车辆到达交汇口时，主路车辆的速度，v₂为匝道车辆到达交汇口时，匝道车辆的速度；n为设定的值，0<n<1；

如，n＝0.1表示v₁已经超出v₂的10％。这种设定方式，使得相对速度不能过大，避免碰撞发生。

当d≥2·d^*时，增强信号值r＝-1；评价结果为决策失败；

d^*为匝道车辆到达交汇口时，主路车辆与匝道车辆的最佳安全距离，d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离。距离超过最佳安全距离的2倍，虽然安全，但对于距离过大，消耗的能耗过大。

当d＝0时，增强信号值r＝-1，评价结果为决策失败。

d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离。距离为0表示发生碰撞。

强化学习系统将根据增强信号的数值，获得上一步长决策行为的反馈，来判断上一步长决策行为是最优、好、坏还是决策失败，根据数值大小判断“好”的程度强化学习系统将根据增强信号的反馈，不断调整规划决策策略。

步骤5：调节匝道车辆加速度a₂值，返回步骤2，进行下一次规划决策；当规划决策次数达到设定的阈值M时，结束本次学习实验，对本次学习实验数据进行储存，返回步骤1，进行新一次学习实验。

调节匝道车辆加速度a₂值时，按照如下方式调节匝道车辆加速度a₂值

a₂＝a₂+rand，rand为一个随机数，可为整数或小数，可为正数或负数。

当学习实验次数达到设定的阈值N时，结束学习。

实施例二：

车路协同强化学习路径规划装置

所述车路协同强化学习路径规划装置用于执行上述强化学习方法。

学习结束后，强化学习系统自主学会了应对不同速度、加速度、距离的路径规划方法，即通过强化学习自主找到了速度、加速度、距离的最优对应关系。将学习经验储存并拷贝到实车中。实车在实际驾驶过程中，在匝道汇入口无论遇到何种状况，都能自主规划最优、无碰撞的路径，有效减少车辆能耗。

实施例三：

应用上述车路协同强化学习路径规划方法的路径规划系统

如图5所示，实车匝道汇入车路协同工作原理为，主路车辆1包含有101感知模块，用于感知车辆周围环境，102决策模块用于决策行驶路径，103执行模块，用于执行决策命令，对油门、刹车、转向进行控制，104通信模块，用于与路侧单元或车辆或云平台进行通信。路侧设备3包含有301路侧感知单元，用于感知道路状态信息，302通信模块，用于与车辆或云端通信，303边缘计算单元(可包含也可不包含)，用于对感知信息的计算处理。匝道车辆2可通过路侧设备3的感知单元301进行观测，如果车辆2具备车路协同功能，也可通过通信模块302接收车辆2的信息。具备车路协同功能的车辆2包含有201车况信息监控，包括速度、加速度等信息等，202通信模块，用于与路侧设备、车辆或平台通信。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (6)

1.一种基于车路协同强化学习的路径规划方法，其特征在于，包括如下步骤：

步骤1：初始化车辆状态参数；所述参数包括主路车辆速度、匝道车辆速度、主路车辆加速度a₁、匝道车辆加速度a₂、主路车辆与交汇口相距的距离s₁、匝道车辆与交汇口相距的距离s₂；

步骤2：进行规划决策，调节主路车辆加速度a₁值；

步骤3：根据调节后的主路车辆加速度a₁值，计算匝道车辆到达交汇口时的主路车辆所在位置；根据匝道车辆到达交汇口时的主路车辆所在位置、主路车辆速度、匝道车辆速度，计算强化学习的增强信号值r；

步骤4：根据强化学习的增强信号值r，对所述调节后的主路车辆加速度a₁值进行评价，评价结果包括最优、好、坏和决策失败；当评价结果为决策失败时，返回步骤1，进行新一次学习实验；

步骤5：调节匝道车辆加速度a₂值，返回步骤2，进行下一次规划决策；当规划决策次数达到设定的阈值M时，结束本次学习；

步骤4中，当强化学习的增强信号值r＝0时，评价结果为最优，

式中，d^*为匝道车辆到达交汇口时，主路车辆与匝道车辆的最佳安全距离，d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离，v₁为匝道车辆到达交汇口时，主路车辆的速度，v₂为匝道车辆到达交汇口时，匝道车辆的速度，α为权重系数，0<α<1；

步骤4中，当时，增强信号值r＝-1，评价结果为决策失败；

式中，v₁为匝道车辆到达交汇口时，主路车辆的速度，v₂为匝道车辆到达交汇口时，匝道车辆的速度；n为设定的值，0<n<1；

步骤4中，当d≥2·d^*时，增强信号值r＝-1，评价结果为决策失败；

d^*为匝道车辆到达交汇口时，主路车辆与匝道车辆的最佳安全距离，d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离；

步骤4中，当d＝0时，增强信号值r＝-1，评价结果为决策失败；

d为匝道车辆到达交汇口时，主路车辆与匝道车辆的实际距离。

2.根据权利要求1所述的路径规划方法，其特征在于：步骤2中，初次规划决策时，随机调节主路车辆加速度a₁值；非初次规划决策时，根据上一次规划决策的评价结果，调节主路车辆加速度a₁值以优化规划决策。

3.根据权利要求1所述的路径规划方法，其特征在于：步骤5中，按照如下方式调节匝道车辆加速度a₂值：

a₂＝a₂+rand，rand为一个随机数。

4.根据权利要求1所述的路径规划方法，其特征在于:当学习实验次数达到设定的阈值N时，结束学习。

5.一种车路协同强化学习路径规划装置，其特征在于，用于执行权利要求1至4任何一项所述的方法。

6.一种应用权利要求1至4任何一项所述方法的路径规划系统，其特征在于，包括：

主路车辆，所述主路车辆包含有感知模块、决策模块、执行模块、通信模块，所述感知模块用于感知车辆周围环境，所述决策模块用于决策行驶路径，所述执行模块用于执行决策命令，所述通信模块用于与路侧单元或车辆或云平台进行通信；

路侧设备，所述路侧设备包含有路侧感知单元、通信模块，所述路侧感知单元用于感知道路状态信息，所述通信模块用于与车辆或云端通信；

匝道车辆，所述匝道车辆可通过所述路侧设备的感知单元进行观测。