CN111580526A - 面向固定车辆编队场景的协同驾驶方法 - Google Patents

Abstract

本发明公开了一种面向固定车辆编队场景的协同驾驶方法，包括步骤如下：将固定车辆编队，编队为

、

、

、…、

，并标记

为车队车首；获取目标车队中各自动驾驶车辆的位置，并按照步骤1中编队的顺序进行车辆先后编排；分别接收车队中各车辆采集到的路况信息；根据各车辆所采集到的路况信息，利用深度Q网络算法计算损失函数及寻找最优策略，并输出最优的驾驶指令；将除首车外的各辆车所采集到的车道路况信息分别与前一序号的自动驾驶车辆所采集到的车道路况信息进行比对。本发明方法能够提高不同行驶环境下车辆对环境及车道信息获取的准确度，通过数据比较判决的方法，来降低车队中单个自动驾驶车辆特殊情况下获得错误信息的概率。

Description

面向固定车辆编队场景的协同驾驶方法

技术领域

本发明涉及一种面向固定车辆编队场景的协同驾驶方法，属于车辆驾驶技术领域。

背景技术

随着汽车智能化技术的发展，智能汽车可以实现自动驾驶。在自动驾驶技术中，获知车辆行驶道路的车道信息(例如车道线位置、车与车道线的距离、车在车道中的位置等)将会给自动驾驶车辆带来极大的辅助，可以提高自动驾驶车辆的行驶安全性。由于自动驾驶车辆行驶环境复杂多变，自动驾驶车辆往往会安装多种传感器对周围环境进行感知，而定位服务和环境信息准确获取是多种传感器的主要目标。目前的定位服务主要采用RTK技术、IMU、激光雷达和视觉进行定位，但每一种定位方式都存在本身的局限性；例如RTK在有遮挡的情况下，定位精度只能达到分米级甚至是米级，完全无法满足自动驾驶的需要；激光雷达在恶劣天气条件下无法进行定位；视觉定位在昏暗的环境中定位效果很差，此时便可以用多辆车同时获取环境和位置信息协同行进来弥补。因此在获取车道信息时，首先通过不同传感器对车道信息进行感知，然后通过信息融合的方式，将不同传感器监测到的车道信息融合起来，提高多种环境场景下车量对环境信息获取的准确度。因此，如何保证车辆协同获取信息的准确性，是自动驾驶车辆安全行驶的重要保障。

发明内容

为了克服现有技术中存在的不足，本发明提供一种面向固定车辆编队场景的协同驾驶方法，以解决现有技术中协同驾驶编队车辆对复杂环境判断力精确度不高的问题。

为实现上述目的，本发明采用的技术方案如下：

本发明的一种面向固定车辆编队场景的协同驾驶方法，包括步骤如下：

步骤1：将固定车辆编队，编队为S₁、S₂、S₃、…、S_n，并标记S₁为车队车首；

步骤2：获取目标车队中各自动驾驶车辆的位置，并按照步骤1中编队的顺序进行车辆先后编排；

步骤3：分别接收车队中各车辆采集到的路况信息；

步骤4：根据各车辆所采集到的路况信息，利用深度Q网络算法计算损失函数及寻找最优策略，并输出最优的驾驶指令；

步骤5：将除首车外的各辆车所采集到的车道路况信息分别与前一序号的自动驾驶车辆所采集到的车道路况信息进行比对，根据比对情况分别执行步骤6与步骤7；

步骤6：若车队中除S₁外的自动驾驶车辆S_x在非跟随前一自动驾驶车辆行驶的情况下与其后一自动驾驶车辆所采集的路况信息存在一定区别，则判定该路况为特殊路况；此时，将该自动驾驶车辆S_x定为车首，将S_x前n-x个自动驾驶车辆临时编出车队后，以S_x与其之后的自动驾驶车辆编为临时新车队，S_x为临时车首重新进行路况信息采集，重复以上步骤，并继续行驶；

步骤7：若车队中的车辆均处在跟随前一车辆的行驶状态，或者在非跟随状态所采集到的路况信息与前一车辆采集到的路况信息无区别，则非跟随车辆调整为跟随车辆S₁的车队中，跟随的车辆按照车队的车首的决策行驶。

进一步地，所述步骤1具体包括：将自动驾驶车辆进行人工编队，记录车辆S₁为车首；车首接收的信息作为最主要的车辆行驶依据并在将其产生的行驶决策传输给后续跟随自动驾驶车辆。

进一步地，所述步骤2具体包括：获取各辆车的相对位置、经纬度及行驶状态。

进一步地，所述步骤3中的路况信息为各车辆采集到的环境图像信息。

进一步地，所述步骤4具体包括：空间上通过计算损失函数，使用梯度下降方法反向传播来更新深度Q网络的权重参数θ，重复训练，直至损失函数收敛，寻找到最优策略，损失函数如下：

L(θ)＝E[r+γmax_aQ(s′，a′，θ′)-Q(s，a，θ)]² (1)

计算Q值如下：

Q*(s，a)＝Q(s，a)+α(r+γmax_aQ(s′，a′)-Q(s，a)) (2)

其中，s为自动驾驶车辆所处的当前状态，s′为自动驾驶车辆完成动作后的下一个状态，a为当前做出的动作，a′为下一个选择的动作，r为当前做出动作所获得的奖励，θ为主网络权值参数，θ′为目标网络权值参数，γ为折扣因子；

时间上通过寻找时间上的依赖关系的能力，实现驾驶场景图像前后帧之间的信息关联；利用CNN和LSTM构成的深度时空神经网络，提取连续帧图像的空间和时间信息，并将时空信息输入深度Q网络输出最优的驾驶指令，实现在自动驾驶中的运动规划。

进一步地，所述方法还包括步骤8：继续对采集到的路况信息的比较，直至n个自动驾驶车辆采集的路况信息一致，将S₁、S₂、…、S_x-1重新编入车队。

本发明的有益效果：

本发明方法能够提高不同行驶环境下车辆对环境及车道信息获取的准确度，通过数据比较判决的方法，来降低车队中单个自动驾驶车辆特殊情况下获得错误信息的概率。更进一步通过判决后的进行的数据反馈步骤，解决了复杂交通路况中各自动驾驶车辆获取信息不相同，以至于各自动驾驶车辆无法做出准确的路况判断的问题。

附图说明

图1为本发明方法原理图。

图2为CNN结构图。

图3为LSTM神经元结构示意图。

图4为深度时空Q网络结构图。

图5为复杂路况车队行驶图。

图6为重新编队的车队行驶图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

参照图1所示，本发明的一种面向固定车辆编队场景的协同驾驶方法，包括步骤如下：

步骤1：将固定车辆编队，编队为S₁、S₂、S₃、…、S_n，并标记S₁为车队车首；

步骤2：获取目标车队中各自动驾驶车辆的位置，并按照步骤1中编队的顺序进行车辆先后编排；

步骤3：分别接收车队中各车辆采集到的路况信息；

步骤4：根据各车辆所采集到的路况信息，利用深度Q网络算法对不同的环境特征进行判断以做出行进方向、方式的决策；

步骤5：将除首车外的各辆车所采集到的车道路况信息分别与前一序号的自动驾驶车辆所获得的车道路况信息进行比对，根据比对情况分别执行步骤6与步骤7；

步骤6：若车队中除S₁外的自动驾驶车辆S_x在非跟随前一自动驾驶车辆行驶的情况下与其后一自动驾驶车辆所采集的路况信息存在一定区别，则判定该路况为特殊路况；此时，将该自动驾驶车辆S_x定为车首，将S_x前n-x个自动驾驶车辆临时编出车队后，以S_x与其之后的自动驾驶车辆编为临时新车队，S_x为临时车首重新进行路况信息采集，重复以上步骤，并继续行驶；

步骤7：若车队中的车辆均处在跟随前一车辆的行驶状态，或者在非跟随状态所采集到的路况信息与前一车辆采集到的路况信息无区别，则非跟随车辆调整为跟随车辆S₁的车队中，跟随的车辆按照车队的车首的决策行驶。

所述步骤2具体包括：获取各辆车的相对位置(车距)、经纬度(绝对位置)及行驶状态。

深度Q网络是深度强化学习的一种经典算法，其将深度学习中的卷积神经网络和强化学习中的Q学习(Q-Learning)结合起来，利用CNN估计值函数。其中，将环境图像数据作为状态输入CNN中，输出从状态中提取的环境特征，然后建立强化学习模型，其核心是三元组：行驶状态、行驶动作、奖励。自动驾驶车辆通过获取的当前环境状态来选取一个行驶动作，并观察得到的奖励和下一个状态，再由得到的信息不断更新网络，从而使自动驾驶车辆学会选择更优的行驶动作，获取更大的奖励。在DQN实现中，通过将从环境中获取的信息输入到主训练Q网络，经过Q函数的计算，获得一系列动作a与Q值相对应的序列，让自动驾驶车辆选取Q值最大的行驶动作，由这个行驶动作来产生新的状态环境并获得奖励。并且在训练的同时，将自动驾驶车辆与环境交互所获得的数据存放到回放经验池中，然后在后续训练中随机抽取数量固定的数据样本送入网络中训练，通过计算损失函数，使用梯度下降方法反向传播来更新Q网络的权重参数θ，重复训练，直至损失函数收敛，寻找到最优策略，损失函数如公式(1)所示：

L(θ)＝E[r+γmax_aQ(s′，a′，θ′)-Q(s，a，θ)]² (1)

计算Q值如公式(2)所示：

Q^*(s，a)＝Q(s，a)+α(r+γmax_aQ(s′，a′)-Q(s，a)) (2)

其中，s为自动驾驶车辆所处的当前状态，s′为自动驾驶车辆完成行驶动作后的下一个状态，a为当前做出的行驶动作，a′为下一个选择的行驶动作，r为当前做出行驶动作所获得的奖励，θ为主网络权值参数，θ′为目标网络权值参数，γ为折扣因子；

深度时空Q网络

由于DQN只利用CNN提取图像空间特征，而没有考虑时间关联性，而在自动驾驶的场景图像中，既包含了静态的当前帧图像的空间信息，又包含了动态的前后帧图像的时间信息，因此如果直接采用原始的DQN会导致时间特征的丢失，降低运动规划指令预测的准确性。由于LSTM能够处理较长的时间序列，因此本发明采用LSTM作为深度时空Q网络的时间特征提取层，提取自动驾驶场景序列图像的前后帧图像的长期时间信息，解决强化学习在长期学习中存在的问题。本发明设计的DSTQN特征提取模型由两部分组成，一个是CNN部分，一个是LSTM部分。为兼顾提取驾驶场景图像特征和网络的轻量化问题，使用如图3所示的CNN结构。该网络一共有4层，输入图像是将从车载相机中获取的连续4帧图像，加入定向导航的指向信息处理后，将每帧图像转化成84×84的8位单通道彩色图像，并堆叠起来构成一组84×84×4的图像信息。接下来是3个卷积层，卷积核大小依次为8×8、4×4和3×3，卷积核的数量分别为32，64和64。第4层为全连接层，输出4×1×512的节点映射集合。

本发明采用的LSTM结构如图3所示LSTM神经元通过三个门来控制细胞状态：遗忘门、输入门和输出门。遗忘门以上一层神经元的输出h_t-1和本层输入的数据x_t为输入，通过Sigmoid层处理得到f_t，表示上一层细胞状态c_t-1被遗忘的概率；输入门第一部分是h_t-1和x_t通过Sigmoid层(如图3中σ所示)处理后输出i_t，第二部分使用tanh激活函数(如图3中tanh所示)，输出为c_t,i_t×c_t表示多少新信息被保留；将旧细胞状态c_t-1×f_t加上i_t×c_t，得到新的细胞状态c_t；第三阶段即输出门，首先将h_t-1和x_t输入Sigmoid层，处理得到[0,1]区间的o_t，然后将新的细胞状态c_t通过tanh函数处理后与o_t相乘得到当前神经元的输出h_t。

虽然通过CNN输入前后4帧的图像来关联短期时间序列，但是难以通过这种方式提取长期的时间信息，因此本发明在利用CNN提取自动驾驶图像的空间特征之后，把空间特征信息通过LSTM层进行时间处理，提取前后帧之间的时间信息，其过程如图4所示。对于CNN提取的特征向量x_t，然后将这个特征向量输入到LSTM网络中，h_t和h_t-1即为当前LSTM单元和上一个单元的输出。每个LSTM单元输出之后再通过1个512节点的全连接层后经过Q网络输出Q值。本发明设置的LSTM网络以T(T＝10，为经验值)帧展开来进行训练。与原始的DQN相比，加入了LSTM网络的DSTQN可以处理较长的输入序列，并拥有寻找时间上的依赖关系的能力，实现驾驶场景图像前后帧之间的信息关联。本发明利用CNN和LSTM构成的深度时空神经网络，提取连续帧图像的空间和时间信息，并将时空信息输入Q网络输出合适的驾驶指令，实现在自动驾驶中的运动规划。

示例中，以n＝3时进行举例，此时车队中包含三辆自动驾驶车辆；

如图5所示，在此复杂路况下，除了编队车辆S1,S2,S3外还有路人驾驶的车辆A。车辆A挡住了S3，而S2又被S1挡住。编队车辆S1,S2,S3均正常向前行驶并且所采集环境信息大致相同但是路况信息有所区别，S1可以准确采集到前方路况信息，而S2与S3则无法准确采集到前方路况信息。

此时三个车辆分别采集信息后，S1采集到的为前方道路的路况信息与在左后方有车辆A，后方有S2，无法获取S3所在位置。S2所采集到的路况信息为此时前方为S1，左后方为S3，S3所采集到的信息为右上方为S2，前方为车辆A，无法获取S1所在位置。此时S1与S3所采集到的路况信息有一定区别，并且S3没有跟随在S2之后行驶，故判定为特殊路况。

将S2、S3临时编出车队，并以S2、S3进行临时编队，S2为车首。此时S3没有跟随S2行驶但S2、S3采集到的路况信息没有很大区别，进行决策判断，S3减速右转跟随S2行驶。之后由于S3跟随S2，S2跟随S1，采集到的环境信息没有很大区别；重新编为车队继续行驶，如图6所示。

尽管以上本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下，在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (6)

1.一种面向固定车辆编队场景的协同驾驶方法，其特征在于，包括步骤如下：

步骤1：将固定车辆编队，编队为S₁、S₂、S₃、…、S_n，并标记S₁为车队车首；

步骤2：获取目标车队中各自动驾驶车辆的位置，并按照步骤1中编队的顺序进行车辆先后编排；

步骤3：分别接收车队中各车辆采集到的路况信息；

步骤4：根据各车辆所采集到的路况信息，利用深度Q网络算法计算损失函数及寻找最优策略，并输出最优的驾驶指令；

步骤5：将除首车外的各辆车所采集到的车道路况信息分别与前一序号的自动驾驶车辆所采集到的车道路况信息进行比对，根据比对情况分别执行步骤6与步骤7；

步骤6：若车队中除S₁外的自动驾驶车辆S_x在非跟随前一自动驾驶车辆行驶的情况下与其后一自动驾驶车辆所采集的路况信息存在一定区别，则判定该路况为特殊路况；此时，将该自动驾驶车辆S_x定为车首，将S_x前n-x个自动驾驶车辆临时编出车队后，以S_x与其之后的自动驾驶车辆编为临时新车队，S_x为临时车首重新进行路况信息采集，重复以上步骤，并继续行驶；

步骤7：若车队中的车辆均处在跟随前一车辆的行驶状态，或者在非跟随状态所采集到的路况信息与前一车辆采集到的路况信息无区别，则非跟随车辆调整为跟随车辆S₁的车队中，跟随的车辆按照车队的车首的决策行驶。

2.根据权利要求1所述的面向固定车辆编队场景的协同驾驶方法，其特征在于，所述步骤1具体包括：将自动驾驶车辆进行人工编队，记录车辆为车首；车首接收的信息作为最主要的车辆行驶依据并在将其产生的行驶决策传输给后续跟随自动驾驶车辆。

3.根据权利要求1所述的面向固定车辆编队场景的协同驾驶方法，其特征在于，所述步骤2具体包括：获取各辆车的相对位置、经纬度及行驶状态。

4.根据权利要求1所述的面向固定车辆编队场景的协同驾驶方法，其特征在于，所述步骤3中的路况信息为各车辆采集到的环境图像信息。

5.根据权利要求1所述的面向固定车辆编队场景的协同驾驶方法，其特征在于，所述步骤4具体包括：空间上通过计算损失函数，使用梯度下降方法反向传播来更新深度Q网络的权重参数θ，重复训练，直至损失函数收敛，寻找到最优策略，损失函数如下：

L(θ)＝E[r+γmax_aQ(s′，a′，θ′)-Q(s，a，θ)]² (1)

计算Q值如下：

Q^*(s，a)＝Q(s，a)+α(r+γmax_aQ(s′，a′)-Q(s，a)) (2)

其中，s为自动驾驶车辆所处的当前状态，s′为自动驾驶车辆完成动作后的下一个状态，a为当前做出的动作，a′为下一个选择的动作，r为当前做出动作所获得的奖励，θ为主网络权值参数，θ′为目标网络权值参数，γ为折扣因子；

时间上通过寻找时间上的依赖关系的能力，实现驾驶场景图像前后帧之间的信息关联；利用CNN和LSTM构成的深度时空神经网络，提取连续帧图像的空间和时间信息，并将时空信息输入深度Q网络输出最优的驾驶指令，实现在自动驾驶中的运动规划。

6.根据权利要求1所述的面向固定车辆编队场景的协同驾驶方法，其特征在于，所述方法还包括步骤8：继续对采集到的路况信息的比较，直至n个自动驾驶车辆采集的路况信息一致，将S₁、S₂、…、S_x-1重新编入车队。

Images