CN105930625B - Q学习结合神经网络的智能驾驶行为决策系统的设计方法 - Google Patents

Abstract

本发明涉及的是Q学习结合神经网络的智能驾驶行为决策系统的设计方法，通过车载传感器及组播网络的主从节点通信，实现了车与车的数据交换，通过多车预警算法在有危险时对驾驶员进行预警，用Q学习结合神经网络的方法进行智能决策，为驾驶员提供安全快速的行为决策。验证实验结果表明，本文设计的智能决策系统数据获取的时间和决策算法的时间都较短，总时延在0.5s，能为驾驶员提供实时的最优驾驶行为决策，以辅助驾驶员安全驾驶。

Description

Q学习结合神经网络的智能驾驶行为决策系统的设计方法

技术领域

本发明涉及的是Q学习结合神经网络的智能驾驶行为决策系统的设计方法。先通过车载传感器及组播网络的主从节点通信，实现了车与车的数据交换，然后通过多车预警算法在有危险时对驾驶员进行预警，最后用Q学习结合神经网络的方法进行智能决策，为驾驶员提供安全快速的行为决策。

背景技术

汽车在行驶过程中，驾驶员必须时刻观察周围环境信息，做出正确的判断才能保证汽车行驶的安全性，严重的交通事故往往是由于驾驶员决策不当造成的。驾驶员在决策过程中，如果能实时获得周围车辆的确定信息，包括位置、速度、行驶方向等，就能及时做出正确的驾驶行为以避免交通事故的发生。然而收到的信息并不都是有用的，如果需要驾驶员整合这些信息，就会由于花费时间长易造成机会丢失或误判。因此，对信息进行快速筛选和处理，对驾驶员在极短时间内做出正确决策是非常有帮助的。

目前驾驶行为决策的研究，如基于层次状态机与多属性决策方法的无人驾驶决策模型，其中上层状态机进行驾驶场景的转换，下层状态机是基于多属性决策模型进行驾驶行为择优。该模型是通过摄像头和雷达获取数据的，会存在时延和误差，导致数据类型只有距离和速度，而且没有明确决策所需的时间。基于模糊逻辑决策算法的驾驶行为决策，用不同的函数描述每个驾驶行为特征，根据车间距离、位置，输出正确的决策以避免车辆碰撞。该算法只以车间距离作为决策依据，决策时间也未给出。基于增强学习的智能驾驶方法，先对汽车当前状态离散化，设计行车道行驶和超车道行驶两个驾驶行为，采用Q学习算法进行驾驶决策。该方法由于状态离散化导致数据不完整，而两个驾驶行为不足以涵盖所有驾驶行为，且决策时间较长，需0.82s。

发明内容

上述方法首先没有考虑车与车之间的相互影响；而且数据获取都是用传感器、摄像头和雷达，不可避免的会产生误差和时延；再加上算法本身所需时间，最后实现的智能辅助驾驶效果有限。针对这些问题，在研究的多三角网组播通信模型的基础上，在车与车(V2V)应用层面进行数据的快速交互，保证数据的全面性和准确性；并设计了结合神经网络的Q学习算法的快速智能决策系统，确保输出的是接近实时的最优决策以辅助驾驶员安全驾驶。

1、数据交换

WAVE协议是V2V、车与路之间进行数据交互的协议。WAVE协议应用层采用SAEJ2735协议作为安全消息集。集中基本消息类型(BSM，Basic Safety Message)定义了车辆本身的信息：位置、速度、加速度等。为了便于预警和决策，本专利新增了三个消息类型，如表1黑体字。其中action表示要实施的智能驾驶行为；emergencyBrake是急刹车预警的条件，是根据brakes定义的；changeLane是换道预警的条件，是根据lightSet和变道安全距离定义的。

表1消息定义

类型	名称	占用字节数
			speed	Speed	2bytes
brakes	BrakeSystemStatus	1byte
			lightSet	ExteriorLights	1byte
action	Action	1byte
			emergencyBrake	EmergencyBrake	2bit
changeLane	ChangeLane	2bit

在研究多三角形网络组播通信模型的基础上，进行车辆主从节点通信，实现实时数据交换后，获取周围车辆信息。车与车的数据交换过程如下：

1)车载传感器时刻监听自身状态，并将接收到的信息用SAE J2735标准进行定义，通过网络层的WSMP(WAVE Short Message Protocol)协议对其进行封装，先经LLC层，再经物理层以多三角网组播通信的路由形式发送出去；

2)发送出去的WSM(WAVE Short Message)信息在控制信道上(CCH)被周围车辆实时监听，当周围车辆监听到WSM消息后，将该数据包提交给相应的程序；

3)相应的程序先对WSM进行解包，得到符合J2735标准格式的消息，然后获取其中的位置和速度等信息；

4)将提取的信息显示在用户界面上，并发送给智能决策系统，作为智能决策的依据。

图1(a)是双向8车道高速公路的仿真界面，箭头所指为车辆行驶方向，车辆位置对应的是XY平面上的坐标，在实际应用中，是由GPS得到。由于高速公路车辆速度为60-120km/h，为了便于仿真，对20-140km/h用七个量化等级量化，对应图1(b)中的速度1-7。当选择Car5为研究对象时，Car5收到的信息如图1(b)所示，其中负号的数据是与Car5方向相反的数据。

2、智能决策

智能决策系统从V2V数据交换中得到了外部环境信息，以及该车的车载传感器监测到的行驶信息。它对这两类信息进行筛选，然后送到预警和Q学习决策模块，处理后把预警或最优决策提供给驾驶员，如图2所示。

1)筛选

外部环境信息和汽车行驶信息并非都对决策有用，需要进行筛选。由于WAVE协议的通信距离是300m，只要每辆车获取通信距离内的前方车辆信息，并与之保持安全距离，就可以保证每辆车安全行驶。首先提取该车道和相邻车道前方车辆的有用信息，包括位置、速度、驾驶行为、刹车情况和变道情况；最后将这些信息进行处理，作为预警和决策的输入。

2)预警

汽车在行驶时，一旦前方驾驶员决策不当(如急刹车)，若后方驾驶员不能及时作出反应，很容易造成多车连环相撞。传统的预警算法大多是基于安全距离的本车预警，对于该车道后方的车辆没有警示作用。因此，本专利设计了多车预警算法。

在进行多车预警之前有以下定义：

a、最小安全距离

安全距离是指前车刹车时与后车之间的距离要大于等于两车刹车距离之差。由于安全消息集中增加了3个定义，因此这里对车联网环境下最小安全距离Ds在公式(1)中重新定义如下：

其中D_l、D_f分别是前车及后车的刹车距离，v_l、v_f分别是前车及后车的速度，a_l、a_f分别是前车及后车的最大减速度，τ_tra是数据交换时间，τ_sys是智能决策系统决策时间，τ_hum是驾驶员收到智能决策系统输出的反应时间。

b、变道安全距离

如果驾驶员换道不当，容易发生交通事故。因此，提醒驾驶员变道的安全性是十分必要的。对变道过程进行建模，如图3(a)所示。如果M与Lo、Ld和Fo的距离均大于最小安全距离，则M变道时，只要M与Fd的距离D_c大于安全换道距离，就可以保证换道安全。仿真得到M与Fd的安全距离曲线如图3(b)所示，为了安全起见，本专利以安全性为99.9％的曲线所代表的距离作为M与Fd之间的安全换道距离。

根据筛选后的信息判断该车和前方车辆是否存在危险。如果存在则对驾驶员进行预警。以SAE J2735协议为基础，以变道预警和急刹车预警为例，描述多车预警的具体步骤如表2所示。

表2多车预警步骤

以急刹车为例，对多车预警仿真结果如图4所示。当Car1急刹车之后，立即向周围车辆发送信息，位于Car1通信距离内、同一车道的后方车辆：Car3、Car6、Car8，通过自身智能决策系统中的多车预警算法，发出预警的同时转发了该危险信息的内容，如图4(b)。相关研究表明，只要提前2s以上预警，就可以防止追尾事故的发生。由于WAVE通信时延在0.1s内，且数据筛选和预警的处理时延都在毫秒级，因此，如果车速为120km/h，600m内某车道最多有6辆车，第6辆车收到第1辆车急刹信息的最大时延是0.6s，远远小于2s，因此该预警方式可以避免高速上因急刹车导致的多车连环相撞。而600m外的汽车已经有足够的时间应对前方的急刹车，没必要对其进行预警，如图4(a)中的Car9虽然收到了危险信息但是没有发出预警。对变道预警的仿真，和急刹车预警类似，多次仿真结果表明通过多车预警，驾驶员可以快速准确的得到变道信息，及时做出反应。

3)Q学习决策

Q学习是一种与模型无关的强化学习算法。它的一个典型特征是：一个目标明确的Agent在与不确定性环境交互中，可以将所有问题考虑进去从而找到一个最优决策。Q学习算法的更新方式如公式(2)：

其中，(s_t，a_t)为时刻t下的状态-行为对，r(s_t，a_t)是在状态s_t下执行a_t获得的立即回报，α是学习率，γ是折扣因子。Q(s_t，a_t)是累积回报函数。该算法的目标是在状态s_t下找到能使Q值最大的最优行为a_t。

状态-行为对分别来自于状态空间和行为空间。定义汽车的状态空间为：该车的速度V，该车与前车的距离D₁，前车的速度V_l1，与目标车道前车的距离D₂，目标车道前车的速度V_l2，与目标车道后车的距离D₃，目标车道后车的速度V_f3和车道最大限速V_lim。定义驾驶行为空间为：加速(CarAccelerate)，减速(CarDecelerate)，车辆保持(CarKeep)，左变道(CarLeftLane)和右变道(CarRightLane)。

根据相关研究，定义行车安全指标，如公式(3)，行车效率指标，如公式(4)。

其中D_s是最小安全距离，D是两车的实际距离。A₁∈[0，1]，随着A₁的增大，汽车安全性增大。

其中，V_f是车的速度，V_lim是车道允许的最大速度。A₂∈[0，1]，随着A₂的增大，行车效率增大。

基于行车安全和行车效率，如公式(5)定义奖励函数：

r(s，a)代表了行车安全与行车效率二者的折中，r(s，a)是有界的，其值越大，表示当前的行车距离和行车速度越理想。

有了上述相关定义之后，考虑用Q学习算法来进行智能驾驶行为决策。然而，由于汽车的状态变量在实际中是一个连续变化的量，如果只采用Q学习，则要对汽车状态进行离散化，从而出现状态变量的空间复杂性问题(维数灾难)。因此，本专利利用BP神经网络的泛化能力，结合Q学习算法来解决这一问题，即利用神经网络来训练和保存Q值，从而实现对状态连续变化的汽车进行智能决策。基于神经网络的Q学习如图5所示，神经网络的输入是筛选后的数据及预警信息，输出是驾驶员采取每个行为所对应的Q值，经过行为选择，得到最优决策Q_max。

结合神经网络的Q学习决策步骤如下：

①初始化BP神经网络权值及各项参数(公式(2)中α＝1，γ＝0.9)；

②输入汽车状态-行为的离线数据，进行学习，以训练神经网络；

③把获得的当前环境下的数据，输入已训练好的神经网络中，计算输出的Q值，若Q_max＝Q_changeLane，判断换道的安全性如下：

a.换道安全，则Q_max＝Q_ChangeLane

b.换道不安全，则Q_max＝Q_max(other)

④根据Q_max值，输出选择的最优驾驶行为argmax Q*；

⑤更新决策，转到③

通过上述决策算法，可以得到汽车当前状态驾驶员应采取的最优行为，从而为驾驶员提供辅助安全驾驶。

附图说明

图1 V2V的数据交换(a)界面显示(b)收到的信息

图2智能决策系统

图3安全换道距离(a)安全换道距离模型(b)M与Fd的安全距离曲线

图4多车预警仿真(a)用户界面显示(b)预警信息

图5基于神经网络的Q学习

图6决策仿真图(a)初始图(b)决策后图

图7最优决策输出

具体实施方式

在双向8车道高速公路上，对智能决策算法进行测试。车辆的初始位置和量化速度如图6(a)所示。以Car1为研究对象，驾驶员执行决策结果如图6(b)所示。其中，中间环节的智能决策输出如图7。

图7给出了决策系统在得到环境信息后，对其进行筛选、处理后，输出的最优决策。收到Car2的action是要左变道，Car3～6均在加速。Car1智能决策系统收到Car2～6发送的信息，通过筛选并且结合自身的情况，由算法得到每个行为的Q值。其中，车辆保持的Q值最大，即车辆保持是当前环境下的最优行为。由于Car2速度等于Car1速度，并且Car2要左变道，对于Car1，车辆保持是最优驾驶行为。

本专利通过随机分布的车辆，共进行了50次仿真，统计得到智能决策系统输出最优决策的时间平均是0.4s，由于基于WAVE协议的车联网数据交换时延在0.1s以内，可以得出，智能决策系统的总时延在0.5s，小于基于增强学习的驾驶决策时间0.82s。

Claims (1)

1.一种Q学习结合神经网络的智能驾驶行为决策系统的设计方法，包括以下步骤：

A.数据交换

车与车的数据交换过程如下：

i、车载传感器时刻监听自身状态，并将接收到的信息用SAE J2735标准进行定义，通过网络层的WSMP(WAVE Short Message Protocol)协议对其进行封装，先经LLC层，再经物理层以多三角网组播通信的路由形式发送出去；

ii、发送出去的WSM(WAVE Short Message)信息在控制信道上(CCH)被周围车辆实时监听，当周围车辆监听到WSM消息后，将该数据包提交给相应的程序；

iii、相应的程序先对WSM进行解包，得到符合J2735标准格式的消息，然后获取其中的位置、速度、驾驶行为、刹车情况和变道情况这些信息；

iv、将提取的信息显示在用户界面上，并发送给智能决策系统，作为智能决策的依据

B.数据筛选

外部环境信息和汽车行驶信息并非都对决策有用，需要进行筛选，由于WAVE协议的通信距离是300m，只要每辆车获取通信距离内的前方车辆信息，并与之保持安全距离，就可以保证每辆车安全行驶；提取本车道和相邻车道前方车辆的有用信息，包括位置、速度、驾驶行为、刹车情况和变道情况；将这些信息进行处理，作为预警和决策的输入；

C.预警

根据筛选后的信息判断该车和前方车辆是否存在危险，如果存在则对驾驶员进行预警：

i、对于车辆变道过程，当传感器检测到变道灯亮起时，在SAE J2735的ExteriorLights消息中，leftTurnSignalOn或rightTurnSignalOn为真，根据车联网数据交换的周边车辆信息，分析汽车与同一车道及目标车道前后车辆之间的距离，如果不满足安全换道距离阈值，则判定换道不可行，即changeLane＝False，在用户界面发出警告，提醒驾驶员取消此次变道；若换道可行，即changeLane＝True，向周围车辆发送换道消息，周围车辆收到汽车的变道信息后，判断与自身的相关性，在同一车道或目标车道的车辆，提醒驾驶员做出反应；

ii、在急刹车预警中，当刹车片检测到驾驶员急刹或者速度传感器检测到在1s内车辆速度减幅超过50％，即判定车辆急刹车，即emergencyBrake＝True，将此时的BrakeAppliedStatus消息发送出去，当车辆收到急刹车辆发出的信息，判断车辆与急刹车辆的是否位于同一车道，若是则对驾驶员进行预警；

D.决策

i、定义汽车的状态空间为：该车的速度V，该车与前车的距离D₁，前车的速度V_l1，与目标车道前车的距离D₂，目标车道前车的速度V_l2，与目标车道后车的距离D₃，目标车道后车的速度V_f3和车道最大限速V_lim；定义驾驶行为空间为：加速，即CarAccelerate，减速，即CarDecelerate，车辆保持，即CarKeep，左变道，即CarLeftLane和右变道，即CarRightLane；

ii、定义行车安全指标，如公式(3)：

其中D_s是最小安全距离，D是两车的实际距离，A₁∈[0，1]，随着A₁的增大，汽车安全性增大；

定义行车效率指标，如公式(4)：

其中，V_f是车的速度，V_lim是车道允许的最大速度，A₂∈[0，1]，随着A₂的增大，行车效率增大；

基于行车安全和行车效率，定义奖励函数，如公式(5)：

其中，r(s，a)代表了行车安全与行车效率二者的折中取值，r(s，a)是有界的，其值越大，表示当前的行车距离和行车速度越理想；

iii、结合神经网络的Q学习决策步骤如下：

①初始化BP神经网络权值及各项参数；

②输入汽车状态-行为的离线数据，进行学习，以训练神经网络；

③把获得的当前环境下的数据，输入已训练好的神经网络中，计算输出的Q值，若Q_max＝Q_ChangeLane，换道安全性的判断如下：

a.换道安全，则Q_max＝Q_ChangeLane

b.换道不安全，则Q_max＝Q_max(other)

④根据Q_max值，输出选择的最优驾驶行为π*＝argmax Q*；

⑤更新决策，转到③

通过上述决策算法，可以得到汽车当前状态驾驶员应采取的最优行为，从而为驾驶员提供辅助安全驾驶。