CN112896170B - 一种车路协同环境下的自动驾驶横向控制方法 - Google Patents

Abstract

本发明涉及一种车路协同环境下的自动驾驶横向控制方法，包括：结合车辆平面运动模型、三维路面高程模型、四分之一车辆模型，建立自动驾驶仿真平台；以烦恼率、垂向加速度变化率、偏角加速度变化率作为舒适性评价指标；以换道时间、车辆与目标车道中心线之间的距离作为安全性评价指标；以此建立自动驾驶奖励函数，基于DDPG结构，构建自动驾驶横向控制模型；将当前的车辆位置与速度、车辆前方路面高程图像和车辆悬架振动状态输入自动驾驶横向控制模型，实时输出得到车道选择数据以及偏角加速度变化率，以此控制自动驾驶车辆的行驶状态。与现有技术相比，本发明能够实时准确控制自动驾驶车辆的换道行为和偏角加速度变化率，可靠地实现车辆横向控制。

Description

一种车路协同环境下的自动驾驶横向控制方法

技术领域

本发明涉及自动驾驶控制技术领域，尤其是涉及一种车路协同环境下的自动驾驶横向控制方法。

背景技术

近年来，随着我国公路建设进程的不断推进，投入运营和使用的道路里程数逐年增加，道路养护成为道路工作者的关注重点。但是受到人力、物力和财力的限制，许多小范围的道路不平整被忽视，甚至很多起伏明显的道路无法得到及时的养护。当车辆行驶在这些不平整路段时，车辆速度和行驶舒适性降低明显，影响车辆的操纵稳定性，进而导致道路交通拥堵和事故。舒适性自动驾驶的决策控制是基于道路基础设施全息感知和车路实时通讯，综合安全、舒适的速度、方向盘转角控制目标，实现自动驾驶车辆实时车辆换道、偏角变化率决策与实时控制。

目前，车辆偏角决策控制主要依据周围车辆的位置和运动状态实现。但是在现有自动驾驶车辆横向决策控制的研究中，缺少基于路面信息的行车舒适性分析的车辆偏角控制。遇到路面不平整时自动驾驶车辆无法提前调整车辆姿态，使得车辆偏角急剧变化，导致驶行舒适性降低、安全隐患增大。

传统的车辆偏角决策主要基于动态规划、模型预测控制等方法，但是这些方法大都处理相对静态的驾驶环境，无法结合随机性较强的道路交通环境；同时，依靠这些方法无法实现高维度、连续状态空间与决策空间的自动驾驶决策与控制。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种车路协同环境下的自动驾驶横向控制方法，以实时控制决策车辆换道行为和加速度偏角变化率，实现自动驾驶实时横向控制、提升行车舒适性。

本发明的目的可以通过以下技术方案来实现：一种车路协同环境下的自动驾驶横向控制方法，包括以下步骤：

S1、结合车辆平面运动模型、三维路面高程模型以及四分之一车辆模型，以建立自动驾驶仿真平台，利用车辆平面运动模型得到车辆的位置与速度、利用三维路面高程模型得到车辆前方路面高程图像、利用四分之一车辆模型得到车辆的悬架振动数据；

S2、基于自动驾驶仿真平台输出的数据信息，分别计算烦恼率、垂向加速度变化率以及偏角加速度变化率，以作为自动驾驶舒适性评价指标；

以换道时间、车辆与目标车道中心线之间的距离作为自动驾驶安全性评价指标；

基于舒适性评价指标和安全性评价指标，建立自动驾驶奖励函数；

S3、根据自动驾驶奖励函数，基于DDPG(Deep Deterministic Policy Gradient，深度确定性策略梯度)结构，构建自动驾驶横向控制模型；

S4、将当前的车辆位置与速度、车辆前方路面高程图像和车辆悬架振动状态输入自动驾驶横向控制模型，实时输出得到车道选择数据以及偏角加速度变化率，以此控制自动驾驶车辆的行驶状态。

进一步地，所述步骤S1具体包括以下步骤：

S11、采用车辆的运动学模型描述自动驾驶车辆的纵向运动特性、采用IDM(Intelligent Driver Model，智能驾驶员模型)描述车辆的跟车行为，结合车辆的偏角数据，共同构建车辆平面运动模型；

S12、从装有激光雷达的路面高程检测车获取路面高程信息，通过还原三维路面图像，构建三维路面高程模型；

S13、将路面高程数据转换为时域模型，之后建立四分之一车辆模型，以构建车辆的状态-空间方程；

S14、结合车辆平面运动模型、三维路面高程模型和四分之一车辆模型，建立自动驾驶仿真平台，以实时模拟车辆纵向、横向运动和垂向振动。

进一步地，所述步骤S11的具体过程为：

采用车辆的运动学模型以描述车辆在时刻t以加速度a(t)行驶后，在t+1时刻自动驾驶车辆运动状态：

V(t+1)＝V(t)+a(t)ΔT

其中，V(t)是自动驾驶车辆在时刻t的速度，a(t)是自动驾驶车辆在时刻t的加速度，ΔT是仿真步长，S(t)是自动驾驶车辆在时刻t的位置；

车辆的纵向运动和前车状态有关，采用IDM模型来描述车辆的跟车行为：

a(t)＝a_m[1-(V(t)/v₀(t))^δ-(s*(t)/s(t))²]

其中，a_m是车辆最大加速度，v₀(t)是车辆在t时刻的期望速度，δ是加速度指数，s(t)是前后车间距，s₀是前后车停止时的最小间距，T_h是安全车头时距，Δv(t)是前后车速度差，β是车辆最大减速度；

在横向控制中，当车辆采用一定的偏角变化率后，车辆的偏角发生改变：

其中，θ_T是T时刻车辆偏角，θ₀是初始时刻车辆偏角，Jerk_yaw(t)是t时刻车辆的偏角变化率；

进而根据车辆之前的位置以及纵向、横向的决策控制更新车辆平面运动的状态：

其中，x_t,y_t为车辆在t时刻所在位置，Δt为t时刻与t+1时刻之间的时间差。

进一步地，所述步骤S13的具体过程为：

为了确保路面高程数据能够作为悬架模型的输入，设定车辆在车道内沿规定路径行驶；考虑到换道行为时间较短，因此忽略换道过程中的车辆振动情况，同时将路面高程空间数据转为时域模型，设定车辆悬架数据的采样时间为T_s，激光雷达检测车的行驶速度为v，则采集到的与位置(x,y)有关的路面高程数据q(x,y)，其中x为车辆横向位置，y为车辆纵向位置。当自动驾驶车辆以速度V(t)行驶时，此刻输入的路面高程为：

为了模拟乘客感受到的车辆振动情况，通过建立装载半主动悬架的四分之一车辆模型，构建路面时域模型与车辆振动之间的关系，当自动驾驶车辆以变速{V(0),V(1),...,V(t)}在道路上行驶时，并且输入整车模型的路面高程数据为{q(x,S(0)),q(x,S(1)),...,q(x,S(t))}，根据牛顿第二定律建立动力学方程：

其中，m_s为簧载质量，

为簧载质量加速度，c_s为悬架阻尼，

为簧载质量速度，

为非簧载质量速度，k_s为悬架刚度，z_s为簧载质量位移，z_u为非簧载质量位移，F为阻尼力，m_u为非簧载质量，

为非簧载质量加速度，k_t为轮胎刚度，q为路面位移；

为了分析车辆垂向振动加速度随时间的变化情况，根据路面时域模型、车辆动力学模型，建立状态-空间方程：

进一步地，所述步骤S2中烦恼率的计算过程具体为：

将自动驾驶振动的采样频率设置为100Hz，计算自动驾驶车辆座位垂向加速度的时间序列的自相关函数，进而采用傅里叶变换得到其功率谱密度函数：

其中，R_α(τ)是自动驾驶车辆垂向振动的自相关函数，

是该振动的功率谱密度函数，

为振动的角频率，j为虚数单位；

由于人体对于振动的感知只集中在部分频段，在相邻频域的振动感受比较相似，而在不同频段中的差异较大，因此采用三分之一倍频程带通滤波方法，将整个频率划分成23份，并对每个频带的功率谱密度积分，在此基础上，进一步考虑人体对于不同频带振动感受的不同，为各频带的功率谱密度积分乘以相应的权重，获得自动驾驶车辆座位垂向振动加速度的均方根值：

其中，a_w为自动驾驶车辆座位垂向振动加速度的均方根值，

为基于人体舒适感受的第i个频带的权重，u_i为第i个频带的上限频率，d_i为第i个频带的下限频率，f为振动的频率；

之后引入心理学中烦恼率的概念，即不能忍受当前车辆振动情况的人的比例，并将此作为行驶舒适性的主观评价指标，由于主观反应的概念隶属度值与振动加速度的对数值成正比，同时人体感受性差异可认为服从对数正态分布，因此可以求解出与不同加权加速度均方根值对应的烦恼率：

其中，x_min为自动驾驶车辆乘客无法忍受的垂向振动加速度下限，v(x)为隶属度函数，x为垂向振动加速度，δ为振动参数，取值范围为0.19～0.31，a和b均为常数，x_max为自动驾驶车辆乘客无法忍受的垂向振动加速度上限。

进一步地，所述步骤S2中垂向加速度变化率的计算公式为：

其中，Jerk_ver(t)为t时刻自动驾驶车辆垂向加速度变化率，a_ver(t)，a_ver(t-1)分别为t时刻和(t-1)时刻自动驾驶车辆垂向加速度，ΔT为仿真步长。

进一步地，所述步骤S2中偏角加速度变化率的计算公式为：

其中，Jerk_yaw(t)为t时刻自动驾驶车辆偏角加速度变化率，a_yaw(t)，a_yaw(t-1)分别为t时刻和(t-1)时刻自动驾驶车辆偏角加速度，ΔT为仿真步长。

进一步地，所述步骤S2中自动驾驶奖励函数具体为：

r＝w₁r_e+w₂r_d+w₃r_c+w₄r_yawj+w₅r_verj+w₆r_rms

r_e＝-dt

其中，r为自动驾驶奖励，r_e、r_d、r_c、r_yawj、r_verj、r_rms分别对应换道时间、车辆与目标车道中心线距离、碰撞惩罚、偏角加速度变化率、垂向加速度变化率和加速度均方根值，w₁、w₂、w₃、w₄、w₅、w₆分别为对应的权重值，dt为从换道开始到车辆到达目标车辆中心线位置的时间，Δd_lat(t)为t时刻车辆距离目标车道中心线的距离，D为安全距离阈值，μ为惩罚系数，r_ver(t)为t时刻纵向加速度变化率评价指标，Jerk_ver为自动驾驶车辆座位垂向加速度变化率，Jerk_vermax为最大垂向加速度变化率，T_e为一个回合的总时长。

进一步地，所述步骤S3具体包括以下步骤：

S31、以车辆悬架振动状态、路面输入、车辆前方路面和交通参与者图像为状态，以车辆实时偏角加速度变化率和车道选择为动作，结合自动驾驶奖励函数，建立强化学习模型；

S32、基于DDPG结构，分别建立表演者Actor和评论家Critic网络各两个，以确定强化学习模型的数据交互架构；

S33、通过获取实测路面高程数据，并将获取的路面高程数据划分为训练集和测试集，对强化学习模型进行训练，得到自动驾驶横向控制模型。

进一步地，所述步骤S32中强化学习模型的数据交互架构具体为：对于表演者网络，在每个时刻将状态s(t)作为第一表演者网络的输入，输出动作a(t)，将状态s(t+ΔT)作为第二表演者网络的输入，输出动作a(t+ΔT)；

对于评论家网络，在每个时刻将状态s(t)和a(t)作为第一评论家网络的输入，输出Q(s(t),a(t))，将状态s(t+ΔT)和a(t+ΔT)作为第二评论家网络的输入，输出Q'(s(t+ΔT),a(t+ΔT))；

通过最小化损失函数公式更新第一评论家网络：

其中，γ为贝尔曼公式参数，即折减率；

通过最小化损失函数

更新第一表演者网络；

每隔一定步长将第一表演者和第一评论家网络的参数赋予对应的第二表演者和第二评论家网络中，使得两个网络的参数更新参在一定的时间差，以防止网络输出过高估计，保证强化学习模型对于动作选择和评价的准确性。

与现有技术相比，本发明具有以下优点：

一、本发明提出一种协同舒适和安全的自动驾驶横向控制方法，通过考虑车辆横向运动和垂向受力，以构建全局和实时舒适性评价体系，能够有效提升自动驾驶车辆在粗糙路面上的服务质量，减少由自动驾驶车辆决策不当引起的交通事故，本发明利用强化学习的优势，可基于大量的、高维度的全局路面信息、车辆状态、交通信息，实时准确控制车辆换道行为以及车辆偏角变化率，从而可靠地实现自动驾驶横向控制。

二、本发明通过构建包含车辆平面运动模型、三维路面高程模型以及四分之一车辆模型的自动驾驶交通仿真平台，能够实时准确地得到车辆位置、速度、路面高程数据以及车辆悬架振动数据；根据烦恼率、垂向速度变化率、车辆偏角变化率、车辆间距、距碰撞时间建立奖励函数，由此可全面保证控制结果的舒适性与安全性；以车辆悬架振动、路面输入、车辆前方路面和交通参与者图像为状态，以车辆实时偏角加速度变化率和车道选择为动作，建立强化学习模型，结合模型训练，进一步保证模型参数的最优化，最终实现了一种协同考虑舒适性和安全性的自动驾驶智能控制方法，使得自动驾驶车辆能够实时根据前方路面高程、道路交通情况、自身车辆状态协同考虑舒适性和安全性选择偏角变化率、车道。

附图说明

图1为本发明的方法流程示意图；

图2为实施例中三维路面图像示意图；

图3为自动驾驶横向控制效果示意图；

图4为自动驾驶车辆与环境交互结构示意图；

图5为强化学习模型的训练流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种车路协同环境下的自动驾驶横向控制方法，包括以下步骤：

S1、结合车辆平面运动模型、三维路面高程模型以及四分之一车辆模型，以建立自动驾驶仿真平台，利用车辆平面运动模型得到车辆的位置与速度、利用三维路面高程模型得到车辆前方路面高程图像、利用四分之一车辆模型得到车辆的悬架振动数据；

S2、基于自动驾驶仿真平台输出的数据信息，分别计算烦恼率、垂向加速度变化率以及偏角加速度变化率，以作为自动驾驶舒适性评价指标；

以换道时间、车辆与目标车道中心线之间的距离作为自动驾驶安全性评价指标；

基于舒适性评价指标和安全性评价指标，建立自动驾驶奖励函数；

S3、根据自动驾驶奖励函数，基于DDPG结构，构建自动驾驶横向控制模型；

S4、将当前的车辆位置与速度、车辆前方路面高程图像和车辆悬架振动状态输入自动驾驶横向控制模型，实时输出得到车道选择数据以及偏角加速度变化率，以此控制自动驾驶车辆的行驶状态。

本实施例应用上述方法的具体过程为：

(1)结合车辆平面运动模型、三维路面高程模型、四分之一车辆模型建立自动驾驶仿真平台。

在本实施例中，为了准确描述模型自动驾驶车辆的纵向运动特性，采用车辆的运动学模型以描述车辆在时刻t以加速度a(t)行驶后，在t+1时刻自动驾驶车辆运动状态：

V(t+1)＝V(t)+a(t)ΔT

其中V(t)是自动驾驶车辆在时刻t的速度，a(t)是自动驾驶车辆在时刻t的加速度，ΔT是仿真步长，S(t)是自动驾驶车辆在时刻t的位置。

车辆的纵向运动和前车状态有关，采用IDM模型来描述车辆的跟车行为：

a(t)＝a_m[1-(V(t)/v₀(t))^δ-(s*(t)/s(t))²]

其中a_m是车辆最大加速度，v₀(t)是车辆在t时刻的期望速度，δ是加速度指数，s(t)是前后车间距，s₀是前后车停止时的最小间距，T_h是安全车头时距，Δv(t)是前后车速度差，β是车辆最大减速度。

在横向控制中，当车辆采用一定的偏角变化率后，车辆的偏角发生改变：

其中θ_T是T时刻车辆偏角，θ₀是初始时刻车辆偏角，Jerk_yaw(t)是t时刻车辆的偏角变化率。

进而根据车辆之前的位置以及纵向和横向的决策控制更新车辆平面运动的状态：

其中x_t,y_t为车辆在t时刻所在位置，Δt为t时刻与t+1时刻与的时间差。

如图2所示，根据装有激光雷达的路面高程检测车传回的路面高程信息，还原三维路面图像。为了确保路面高程数据能够作为悬架模型的输入，本发明设定车辆在车道内沿规定路径行驶。考虑到换道行为时间较短忽略换道过程中的车辆振动情况，同时将路面高程空间数据转为时域模型。设定车辆悬架数据的采样时间为T_s，激光雷达检测车的行驶速度为v，则采集到的与位置(x,y)有关的路面高程数据q(x,y)，其中x为车辆横向位置，y为车辆纵向位置。当自动驾驶车辆以速度V(t)行驶时，此刻输入的路面高程为：

为了模拟乘客感受到的车辆振动情况，通过建立装载半主动悬架的四分之一车辆模型，构建路面时域模型与车辆振动之间的关系。当自动驾驶车辆以变速{V(0),V(1),...,V(t)}在道路上行驶时，并且输入整车模型的路面高程数据为{q(x,S(0)),q(x,S(1)),...,q(x,S(t))}。根据牛顿第二定律建立动力学方程：

其中m_s为簧载质量，

为簧载质量加速度，c_s为悬架阻尼，

为簧载质量速度，

为非簧载质量速度，k_s为悬架刚度，z_s为簧载质量位移，z_u为非簧载质量位移，F为阻尼力，m_u为非簧载质量，

为非簧载质量加速度，k_t为轮胎刚度，q为路面位移。

为了分析车辆垂向振动加速度随时间的变化情况，根据路面时域模型、车辆动力学模型，建立状态-空间方程：

根据以上车辆平面运动模型、三维路面高程模型、四分之一车辆模型建立自动驾驶仿真平台，实时模拟车辆纵向、横向运动和垂向振动。

(2)提出基于烦恼率、垂向加速度变化率、偏角加速度变化率的全局和实时行车舒适性评价方法。

其中，全局行车舒适评价采用国际标准ISO2631-1997所提供的基于加权加速度均方根的行车舒适性评价指标，利用功率谱密度算法分析自动驾驶车辆垂向振动加速度。将自动驾驶振动的采样频率设置为100Hz，计算自动驾驶车辆座位垂向加速度的时间序列的自相关函数，进而采用傅里叶变换得到其功率谱密度函数：

其中R_α(τ)是自动驾驶车辆垂向振动的自相关函数，

是该振动的功率谱密度函数，

为振动的角频率，j为虚数单位。由于人体对于振动的感知只集中在部分频段，在相邻频域的振动感受比较相似，而在不同频段中的差异较大，因此采用三分之一倍频程带通滤波方法，将整个频率划分成23份，并对每个频带的功率谱密度积分。在此基础上，进一步考虑人体对于不同频带振动感受的不同，为各频带的功率谱密度积分乘以相应的权重，获得自动驾驶车辆座位垂向振动加速度的均方根值：

其中a_w为自动驾驶车辆座位垂向振动加速度的均方根值，

为基于人体舒适感受的第i个频带的权重，u_i为第i个频带的上限频率，d_i为第i个频带的下限频率，f为振动的频率。

尽管垂向振动加速度的均方根值可以客观反应行车舒适性，但是不同乘客对于车辆行驶舒适性要求不同，再加上主观感受的影响，单凭ISO2631-1997所推荐的行车舒适性评价方法来看，很难反应出不同乘客对于振动的不同感受。因此为了量化这种影响，引入心理学中烦恼率的概念，即不能忍受当前车辆振动情况的人的比例，并将此作为行驶舒适性的主观评价指标。由于主观反应的概念隶属度值与振动加速度的对数值成正比，同时人体感受性差异可认为服从对数正态分布，因此可以求解出与不同加权加速度均方根值对应的烦恼率：

其中x_min为自动驾驶车辆乘客无法忍受的垂向振动加速度下限，v(x)为隶属度函数，x为垂向振动加速度，δ为振动参数，取值范围为0.19～0.31，a和b均为常数，x_max为自动驾驶车辆乘客无法忍受的垂向振动加速度上限。

实时舒适评价以车辆实时悬架垂向振动加速度及其变化率、偏角加速度变化率、偏角加速度为指标。

车辆实时悬架垂向振动加速度可由步骤(1)中的状态空间模型计算得到。进而自动驾驶车辆垂向加速度变化率的计算公式为：

其中Jerk_ver(t)为t时刻自动驾驶车辆垂向加速度变化率，a_ver(t)为t时刻自动驾驶车辆垂向加速度；ΔT为环境更新的时间间隔，即仿真步长。

自动驾驶车辆偏角加速度变化率的计算公式为：

其中Jerk_yaw(t)为t时刻自动驾驶车辆偏角加速度变化率，a_yaw(t)为t时刻自动驾驶车辆偏角加速度；ΔT为环境更新的时间间隔，即仿真步长。

(3)训练基于强化学习的协同考虑舒适性和安全性的智能驾驶决策模型，并优选模型参数。

如图3所示，本发明以车辆悬架振动状态、路面输入、车辆前方路面和交通参与者图像为状态，以车辆实时偏角加速度变化率Jerk_yaw和车道选择为动作，建立强化学习模型。其中为了简化车道选择的表达将车道按照一定方向标号，状态s与动作a的公式如下：

a＝[Jerk_yaw,L]

其中P_r为自动驾驶车辆前方路面高程图像，P_t为自动驾驶车辆前方交通参与者图像，L为车辆选择换到的车道。

定义在自动驾驶车辆从环境中获得奖励r与换道时间、车辆与目标车道中心线距离、碰撞惩罚、偏角加速度变化率、垂向加速度变化率、加速度均方根值的关系。

r＝w₁r_e+w₂r_d+w₃r_c+w₄r_yawj+w₅r_verj+w₆r_rms

为了防止换道时间过长而降低道路交通整体通行效率、导致交通事故的发生，在车辆换道仿真时需要对不安全的换道行为进行惩罚。本发明将换道时间和车辆与目标车道中心线的距离为安全评价指标，换道时间越长、车辆距目标车道中心线越远越易发生车辆碰撞。此外，为了保证训练的效果需要惩罚发生碰撞的情况，保证自动驾驶智能体能够学到安全驾驶。

所述的换道时间是在车辆换道行为完成后，计算从换道开始到车辆到达目标车辆中心线位置的时间：

r_e＝-dt

其中dt为换道时间。

所述的车辆与目标车道中心线的距离是车辆横向坐标距离目标车道中心线坐标的距离，当车辆距离车道中心线过远时需要对此刻选择的动作进行惩罚：

其中Δd_lat(t)为t时刻车辆距离目标车道中心线的距离，D为安全距离阈值，μ为惩罚系数。

为了保证应用模型时不出现车辆碰撞的情况，在训练的过程中发生车辆碰撞则进行惩罚，并终止该回合的训练：

由于在自动驾驶车辆运动换道过程中，车辆偏角的变化对于车辆运动和驾驶员感受有很大的影响。当偏角加速度变化率接近零时，认为乘客可以在换道的过程中获得较为舒适的乘车体验。通过取偏角加速度变化率的平方去掉正负号的影响，并将其归一化：

对于路面坑槽、车辙、减速带、错台、拥包等路面不平整情况，易发生车辆垂向加速度的突然变化。与转向行车舒适性评价类似，根据自动驾驶车辆座位的垂向加速度变化率，分析车辆的当前车道和偏角变化率选择策略对人体舒适感受造成的影响：

其中r_verj(t)为t时刻垂向加速度变化率评价指标，Jerk_ver为自动驾驶车辆座位垂向加速度变化率，Jerk_vermax为最大垂向加速度变化率。

根据ISO2631-1997标准中的规定，当车辆行驶完整段道路以后，采用加速度均方根值分析全局的纵向和垂向加速度对舒适的影响：

其中T_e为一个回合的总时长，a_w为上述步骤(2)中所述的按照频率加权的加速度。

基于强化学习的自动驾驶车辆决策控制中的车辆决策控制系统与环境交互的过程如图4所示，此处采用DDPG结构，并分别建立表演者Actor和评论家Critic网络各两个，即Evaluate网络(网络1)和Target网络(网络2)。对于表演者网络，在每个时刻将状态s(t)作为表演者网络1的输入，输出动作a(t)，将状态s(t+ΔT)作为表演者网络2的输入，输出动作a(t+ΔT)。对于评论家网络，在每个时刻将状态s(t)和a(t)作为评论家网络1的输入，输出Q(s(t),a(t))，将状态s(t+ΔT)和a(t+ΔT)作为评论家网络2的输入，输出Q'(s(t+ΔT),a(t+ΔT))。通过最小化损失函数公式更新评论家网络1：

其中γ为贝尔曼公式参数，即折减率。

通过最小化损失函数

更新表演者网络1。每隔一定步长将表演者和评论家的网络1的参数赋予对应的网络2中，使得两个网络的参数更新参在一定的时间差，以防止网络输出过高估计，保证强化学习模型对于动作选择和评价的准确性。

本实施例中，基于车路协同系统中的上海市实测路面高程数据建立强化学习训练集和测试集，按照图5的流程对模型进行训练。对本发明中的强化学习模型参数进行调优得到最优的智能决策控制模型。本发明中的强化学习模型参数主要包括算法参数和网络参数。

强化学习算法参数如下表所示：

网络参数由层的类型、层数、神经元数量、激活函数构成。表演者网络和评论家网络的状态输入分为两个部分，一部分是采用卷积神经网络层处理图像，采用3*3卷积核，另一部分是直接用全连接处理车辆状态和路面高程信息，而后将两者的输出拼接在一起。表演者网络后面的部分由三层全连接构成，前几层激活函数为relu，最后一层激活函数为tanh，并乘以相应的数值，将动作映射到偏角变化率和车道编号的范围，即[-3,3]m/s²和[1,n]。表演者网络各层的神经元数量为200-100-50。评论家网络前部分由状态部分输出和动作拼接组成，网络后面的部分由三层全连接构成，三层的激活函数均为relu。评论家网络各层的神经元数量为100-100-50。同时考虑到DDPG结构输出的是连续动作，但是车道是离散的，因此将车道选择的结果四舍五入得到整数，以作为下一步长车辆选择的车道。

通过以上步骤，最终建立了协同考虑舒适性和安全性的自动驾驶智能决策控制方法，实现了自动驾驶车辆实时根据前方路面高程、道路交通情况、自身车辆状态协同考虑舒适性和安全性选择偏角变化率、车道。

本发明考虑到在车路协同系统中，基于大宽带、低时延、广连接的5G通讯技术和高精度地图，激光检测车获取路面高程数据后，可将数据实时上传至路侧单元和云端道路基础设施信息管理平台。同时，道路中的车辆也将车辆的位置、速度、加速度信息发送给路侧单元，形成完整的路面、道路交通数据库。在颠簸路面环境下，当车辆在路侧单元的通讯范围内时，三维路面高程信息、周围车辆的运动状态等由路侧单元发送给自动驾驶车辆，车辆可以采用机器视觉、深度学习等方法对前方道路路面质量做出预判，结合道路交通情况，做出合适的换道决策并采用合适的车辆偏角加速度变化率，实现自动驾驶车辆实时横向控制。

由此，本发明提出一种运用综合应用路面质量检测、高精度定位、车路协同、车路通讯、强化学习、动态规划、神经网络等技术，以实现基于高频率路面高程检测、车辆运行状态的车辆偏角变化率、换道选择决策与控制方法，用于解决不平整路面造成的行驶舒适度降低、道路通行效率降低的问题，能够在颠簸路面环境下协同考虑安全性和舒适性，实时准确控制自动驾驶车辆的换道行为和偏角加速度变化率，其中，在所述自动驾驶仿真平台中，模拟车辆在实际道路行驶过程中所产生的垂向振动加速度和以及周围道路交通参与者的运动情况，采用车辆跟驰模型描述自动车辆和周围车辆的纵向驾驶行为；

在行车安全评价、舒适性评价方法中，以车辆间距、距碰撞时间为自动驾驶安全性评价指标，并以烦恼率评价车辆纵向运动全局舒适性，垂向加速度变化率、车辆偏角变化率为自动驾驶横向运动实时舒适性评价指标；

在所述的模型训练和参数选择中，自动驾驶车辆以前方一定范围内的路面高程数据和交通参与者运动状态信息平面图像、自身运动和振动情况为状态，以车辆偏角角速度变化率、车道选择为动作，根据烦恼率、垂向速度变化率、车辆偏角变化率、车辆间距、距碰撞时间建立奖励函数，设定车辆碰撞训练终止条件，训练强化学习模型选择合适的车道行驶和偏角加速度变化率，并最终确定模型的算法和网络参数。

Claims (9)

1.一种车路协同环境下的自动驾驶横向控制方法，其特征在于，包括以下步骤：

S1、结合车辆平面运动模型、三维路面高程模型以及四分之一车辆模型，以建立自动驾驶仿真平台，利用车辆平面运动模型得到车辆的位置与速度、利用三维路面高程模型得到车辆前方路面高程图像、利用四分之一车辆模型得到车辆的悬架振动数据；

S2、基于自动驾驶仿真平台输出的数据信息，分别计算烦恼率、垂向加速度变化率以及偏角加速度变化率，以作为自动驾驶舒适性评价指标；

以换道时间、车辆与目标车道中心线之间的距离作为自动驾驶安全性评价指标；

基于舒适性评价指标和安全性评价指标，建立自动驾驶奖励函数；

所述烦恼率的计算过程具体为：

将自动驾驶振动的采样频率设置为100Hz，计算自动驾驶车辆座位垂向加速度的时间序列的自相关函数，进而采用傅里叶变换得到其功率谱密度函数：

其中，R_α(τ)是自动驾驶车辆垂向振动的自相关函数，

是该振动的功率谱密度函数，

为振动的角频率，j为虚数单位；

由于人体对于振动的感知只集中在部分频段，在相邻频域的振动感受比较相似，而在不同频段中的差异较大，因此采用三分之一倍频程带通滤波方法，将整个频率划分成23份，并对每个频带的功率谱密度积分，在此基础上，进一步考虑人体对于不同频带振动感受的不同，为各频带的功率谱密度积分乘以相应的权重，获得自动驾驶车辆座位垂向振动加速度的均方根值：

其中，a_w为自动驾驶车辆座位垂向振动加速度的均方根值，

为基于人体舒适感受的第i个频带的权重，u_i为第i个频带的上限频率，d_i为第i个频带的下限频率，f为振动的频率；

之后引入心理学中烦恼率的概念，即不能忍受当前车辆振动情况的人的比例，并将此作为行驶舒适性的主观评价指标，由于主观反应的概念隶属度值与振动加速度的对数值成正比，同时人体感受性差异可认为服从对数正态分布，因此可以求解出与不同加权加速度均方根值对应的烦恼率：

其中，x_min为自动驾驶车辆乘客无法忍受的垂向振动加速度下限，v(x)为隶属度函数，x为垂向振动加速度，δ为振动参数，取值范围为0.19～0.31，a和b均为常数，x_max为自动驾驶车辆乘客无法忍受的垂向振动加速度上限；

S3、根据自动驾驶奖励函数，基于DDPG结构，构建自动驾驶横向控制模型；

S4、将当前的车辆位置与速度、车辆前方路面高程图像和车辆悬架振动状态输入自动驾驶横向控制模型，实时输出得到车道选择数据以及偏角加速度变化率，以此控制自动驾驶车辆的行驶状态。

2.根据权利要求1所述的一种车路协同环境下的自动驾驶横向控制方法，其特征在于，所述步骤S1具体包括以下步骤：

S11、采用车辆的运动学模型描述自动驾驶车辆的纵向运动特性、采用IDM描述车辆的跟车行为，结合车辆的偏角数据，共同构建车辆平面运动模型；

S12、从装有激光雷达的路面高程检测车获取路面高程信息，通过还原三维路面图像，构建三维路面高程模型；

S13、将路面高程数据转换为时域模型，之后建立四分之一车辆模型，以构建车辆的状态-空间方程；

S14、结合车辆平面运动模型、三维路面高程模型和四分之一车辆模型，建立自动驾驶仿真平台，以实时模拟车辆纵向、横向运动和垂向振动。

3.根据权利要求2所述的一种车路协同环境下的自动驾驶横向控制方法，其特征在于，所述步骤S11的具体过程为：

采用车辆的运动学模型以描述车辆在时刻t以加速度a(t)行驶后，在t+1时刻自动驾驶车辆运动状态：

V(t+1)＝V(t)+a(t)ΔT

其中，V(t)是自动驾驶车辆在时刻t的速度，a(t)是自动驾驶车辆在时刻t的加速度，ΔT是仿真步长，S(t)是自动驾驶车辆在时刻t的位置；

车辆的纵向运动和前车状态有关，采用IDM模型来描述车辆的跟车行为：

a(t)＝a_m[1-(V(t)/v₀(t))^δ-(s*(t)/s(t))²]

其中，a_m是车辆最大加速度，v₀(t)是车辆在t时刻的期望速度，δ是加速度指数，s(t)是前后车间距，s₀是前后车停止时的最小间距，T_h是安全车头时距，Δv(t)是前后车速度差，β是车辆最大减速度；

在横向控制中，当车辆采用一定的偏角变化率后，车辆的偏角发生改变：

其中，θ_T是T时刻车辆偏角，θ₀是初始时刻车辆偏角，Jerk_yaw(t)是t时刻车辆的偏角变化率；

进而根据车辆之前的位置以及纵向、横向的决策控制更新车辆平面运动的状态：

其中，x_t,y_t为车辆在t时刻所在位置，Δt为t时刻与t+1时刻之间的时间差。

4.根据权利要求3所述的一种车路协同环境下的自动驾驶横向控制方法，其特征在于，所述步骤S13的具体过程为：

为了确保路面高程数据能够作为悬架模型的输入，设定车辆在车道内沿规定路径行驶；考虑到换道行为时间较短，因此忽略换道过程中的车辆振动情况，同时将路面高程空间数据转为时域模型，设定车辆悬架数据的采样时间为T_s，激光雷达检测车的行驶速度为v，则采集到的与位置(x,y)有关的路面高程数据q(x,y)，其中x为车辆横向位置，y为车辆纵向位置。当自动驾驶车辆以速度V(t)行驶时，此刻输入的路面高程为：

为了模拟乘客感受到的车辆振动情况，通过建立装载半主动悬架的四分之一车辆模型，构建路面时域模型与车辆振动之间的关系，当自动驾驶车辆以变速{V(0),V(1),...,V(t)}在道路上行驶时，并且输入整车模型的路面高程数据为{q(x,S(0)),q(x,S(1)),...,q(x,S(t))}，根据牛顿第二定律建立动力学方程：

其中，m_s为簧载质量，

为簧载质量加速度，c_s为悬架阻尼，

为簧载质量速度，

为非簧载质量速度，k_s为悬架刚度，z_s为簧载质量位移，z_u为非簧载质量位移，F为阻尼力，m_u为非簧载质量，

为非簧载质量加速度，k_t为轮胎刚度，q为路面位移；

为了分析车辆垂向振动加速度随时间的变化情况，根据路面时域模型、车辆动力学模型，建立状态-空间方程：

5.根据权利要求1所述的一种车路协同环境下的自动驾驶横向控制方法，其特征在于，所述步骤S2中垂向加速度变化率的计算公式为：

其中，Jerk_ver(t)为t时刻自动驾驶车辆垂向加速度变化率，a_ver(t)，a_ver(t-1)分别为t时刻和(t-1)时刻自动驾驶车辆垂向加速度，ΔT为仿真步长。

6.根据权利要求5所述的一种车路协同环境下的自动驾驶横向控制方法，其特征在于，所述步骤S2中偏角加速度变化率的计算公式为：

其中，Jerk_yaw(t)为t时刻自动驾驶车辆偏角加速度变化率，a_yaw(t)，a_yaw(t-1)分别为t时刻和(t-1)时刻自动驾驶车辆偏角加速度，ΔT为仿真步长。

7.根据权利要求6所述的一种车路协同环境下的自动驾驶横向控制方法，其特征在于，所述步骤S2中自动驾驶奖励函数具体为：

r＝w₁r_e+w₂r_d+w₃r_c+w₄r_yawj+w₅r_verj+w₆r_rms

r_e＝-dt

其中，r为自动驾驶奖励，r_e、r_d、r_c、r_yawj、r_verj、r_rms分别对应换道时间、车辆与目标车道中心线距离、碰撞惩罚、偏角加速度变化率、垂向加速度变化率和加速度均方根值，w₁、w₂、w₃、w₄、w₅、w₆分别为对应的权重值，dt为从换道开始到车辆到达目标车辆中心线位置的时间，Δd_lat(t)为t时刻车辆距离目标车道中心线的距离，D为安全距离阈值，μ为惩罚系数，r_ver(t)为t时刻纵向加速度变化率评价指标，Jerk_ver为自动驾驶车辆座位垂向加速度变化率，Jerk_vermax为最大垂向加速度变化率，T_e为一个回合的总时长。

8.根据权利要求1所述的一种车路协同环境下的自动驾驶横向控制方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、以车辆悬架振动状态、路面输入、车辆前方路面和交通参与者图像为状态，以车辆实时偏角加速度变化率和车道选择为动作，结合自动驾驶奖励函数，建立强化学习模型；

S32、基于DDPG结构，分别建立表演者Actor和评论家Critic网络各两个，以确定强化学习模型的数据交互架构；

S33、通过获取实测路面高程数据，并将获取的路面高程数据划分为训练集和测试集，对强化学习模型进行训练，得到自动驾驶横向控制模型。

9.根据权利要求8所述的一种车路协同环境下的自动驾驶横向控制方法，其特征在于，所述步骤S32中强化学习模型的数据交互架构具体为：对于表演者网络，在每个时刻将状态s(t)作为第一表演者网络的输入，输出动作a(t)，将状态s(t+ΔT)作为第二表演者网络的输入，输出动作a(t+ΔT)；

对于评论家网络，在每个时刻将状态s(t)和a(t)作为第一评论家网络的输入，输出Q(s(t),a(t))，将状态s(t+ΔT)和a(t+ΔT)作为第二评论家网络的输入，输出Q'(s(t+ΔT),a(t+ΔT))；

通过最小化损失函数公式更新第一评论家网络：

其中，γ为贝尔曼公式参数，即折减率；

通过最小化损失函数

更新第一表演者网络；

每隔一定步长将第一表演者和第一评论家网络的参数赋予对应的第二表演者和第二评论家网络中，使得两个网络的参数更新参在一定的时间差，以防止网络输出过高估计，保证强化学习模型对于动作选择和评价的准确性。

Images