CN112896186B - 一种车路协同环境下的自动驾驶纵向决策控制方法 - Google Patents

Abstract

本发明涉及一种车路协同环境下的自动驾驶纵向决策控制方法，包括：对原始路面高程数据按照不同路面等级分类，分析得到不同车速在不同等级路面上行驶时的烦恼率；基于动态规划方法，结合道路中车辆速度规划关键节点以及烦恼率数据，根据安全、舒适、高效的驾驶需求，确定出各节点的自动驾驶车辆速度；定义强化学习模型中与现实自动驾驶相对应的关键要素，参考实际路面情况以构建模型训练环境，建立基于DDPG结构的自动驾驶实时纵向加速度和垂向阻尼力控制模型，以实时输出得到自动驾驶车辆的纵向加速度和垂向阻尼力，从而控制自动驾驶车辆的行驶状态。与现有技术相比，本发明能够有效解决不平整路面造成的行驶舒适度降低、道路通行效率降低的问题。

Description

一种车路协同环境下的自动驾驶纵向决策控制方法

技术领域

本发明涉及自动驾驶决策控制技术领域，尤其是涉及一种车路协同环境下的自动驾驶纵向决策控制方法。

背景技术

近年来，随着我国公路与城市道路建设的不断推进，投入运营和使用的道路里程数逐年增加。但就目前的道路使用情况而言，由路面不平整造成的行驶舒适度降低、道路通行效率降低、交通事故多发，尤其在大交通量路段，车辆速度降低幅度明显，道路交通拥堵严重，为此，现有技术针对智能驾驶速度决策控制开展了广泛研究，速度决策控制主要是基于道路基础设施全息感知和车路实时通讯，综合安全、舒适速度控制目标，以实现驾驶车辆实时驾驶速度决策，进而提升驾驶车辆乘坐舒适性的方法。

目前，车辆速度决策控制的研究主要基于汽车行驶工况，缺少基于道路基础设施的车辆行驶质量分析和速度控制。车辆速度决策与控制如果仅仅依靠车辆运行数据难以满足车辆控制需求，它只能利用当前的车辆运行状态和交通流状态制定速度决策，无法结合路面状况实现预判。而且在路面不平整时无法提前调整速度，使得车辆速度急剧变化，导致驶行舒适度降低、安全隐患增大。

传统的车辆速度决策主要基于规则、概率、学习的方法，如博弈论、马尔科夫链、支持向量机等等。但是这些方法大都基于大量实际驾驶行为数据，并且实际数据往往无法涵盖各种驾驶情况；同时，依靠这些方法无法实现高维度状态空间与高维度决策空间的驾驶速度决策与控制。因此需要一种实时反馈且基于探索的车辆速度决策与控制技术。

在当前车路协同大范围布设的背景下，自动驾驶应运而生，基于大宽带、低时延、广连接的5G通讯技术和高精度地图，激光检测车获取路面高程数据后，可将数据实时上传至路侧单元和云端道路基础设施信息管理平台，并将路面数据实时发送给过往车辆；同时，依托于车载定位、高精度地图，车辆能够准确判断在所处位置；再加上，现有自动驾驶车辆车载单元可以实现智能计算、车辆实时控制。现阶段，应该充分协同智慧的路和智能的车，发挥车路协同技术的优势，合理地依据路侧基础设施提供的路面质量数据和车端数据，针对半主动悬架的优势和特点，实现多目标智能驾驶速度和阻尼力决策与控制。但道路交通系统实时产生大量的道路、车辆信息，如何在路面不平整导致行驶舒适度降低、道路通行效率降低时，能够让自动驾驶车辆运用好这些数据并做出合理准确的决策控制是自动驾驶领域面临的一大问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种车路协同环境下的自动驾驶纵向决策控制方法，以实现车辆驾驶纵向加速度、垂向减震器阻尼力的实时决策与控制，从而解决不平整路面造成的行驶舒适度降低、道路通行效率降低的问题。

本发明的目的可以通过以下技术方案来实现：一种车路协同环境下的自动驾驶纵向决策控制方法，包括以下步骤：

S1、获取原始路面高程数据，通过建立自动驾驶车辆纵向运动与垂向振动仿真环境，得到自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率；

S2、基于动态规划方法，结合道路中车辆速度规划关键节点以及步骤S1得到的烦恼率数据，根据安全、舒适、高效的驾驶需求，以确定出各节点的自动驾驶车辆速度；

S3、根据路面高程数据、自动驾驶车辆速度以及悬架振动状态，基于DDPG(DeepDeterministic Policy Gradient，深度确定性策略梯度)结构，构建自动驾驶纵向加速度与垂向减震器阻尼力控制模型；

S4、将当前的前方路面高程数据、车辆速度规划以及悬架状态输入自动驾驶纵向加速度与垂向减震器阻尼力控制模型中，实时输出得到自动驾驶车辆的纵向加速度和垂向阻尼力，以此控制自动驾驶车辆的行驶状态。

进一步地，所述步骤S1具体包括以下步骤：

S11、获取原始路面高程数据，并按照不同路面等级进行分类；

S12、依次建立自动驾驶车辆纵向运动学模型以及垂向振动模型，之后基于ISO2631-1997中的舒适性客观评价指标，结合不同乘客对于振动的感受，采用烦恼率作为舒适性的主观评价指标，计算得到自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率。

进一步地，所述步骤S11具体是按照标准ISO 8608对原始路面高程数据进行路面等级分类。

进一步地，所述步骤S12的具体过程为：

S121、采用车辆的运动学模型描述自动驾驶车辆的纵向运动特性；

S122、将路面高程空间数据转换为时域模型，之后建立车辆动力学模型，以共同构建车辆的状态-空间方程，用于分析车辆垂向振动加速度随时间的变化；

S123、根据ISO2631-1997所提供的基于加权加速度均方根的行车舒适性评价指标，利用功率谱密度算法分析自动驾驶车辆垂向振动加速度，结合不能忍受当前车辆振动情况的人的比例，并将此作为行驶舒适性的主观评价指标，求解出与不同加权加速度均方根值对应的烦恼率，即为自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率。

进一步地，所述步骤S121具体是采用车辆的运动学模型以描述车辆在时刻t以加速度a(t)行驶后，在t+1时刻自动驾驶车辆运动状态：

V(t+1)＝V(t)+a(t)ΔT

其中，V(t)是自动驾驶车辆在时刻t的速度，a(t)是自动驾驶车辆在时刻t的加速度，ΔT是仿真步长，S(t)是自动驾驶车辆在时刻t的位置；

所述步骤S122具体是设定车辆悬架数据的采样时间为T_s，激光雷达检测车的行驶速度为v，则采集到的与位置(x,y)有关的路面高程数据q(x,y)，其中，x为车辆横向位置，y为车辆纵向位置，当自动驾驶车辆以速度V(t)行驶时，此刻输入的路面高程为：

为了模拟乘客感受到的车辆振动情况，通过建立装载半主动悬架的四分之一车辆模型，构建路面时域模型与车辆振动之间的关系，当自动驾驶车辆以变速{V(0),V(1),...,V(t)}在道路上行驶时，并且输入整车模型的路面高程数据为{q(x,S(0)),q(x,S(1)),...,q(x,S(t))}，根据牛顿第二定律建立动力学方程：

其中，m_s为簧载质量，

为簧载质量加速度，c_s为悬架阻尼，

为簧载质量速度，

为非簧载质量速度，k_s为悬架刚度，z_s为簧载质量位移，z_u为非簧载质量位移，F为垂向阻尼力，m_u为非簧载质量，

为非簧载质量加速度，k_t为轮胎刚度，q为路面位移；

为了分析车辆垂向振动加速度随时间的变化情况，根据路面时域模型、车辆动力学模型，建立状态-空间方程：

所述步骤S123具体是将自动驾驶振动的采样频率设置为100Hz，计算自动驾驶车辆座位垂向加速度的时间序列的自相关函数，进而采用傅里叶变换得到其功率谱密度函数：

其中，R_α(τ)是自动驾驶车辆垂向振动的自相关函数，

是该振动的功率谱密度函数，

为振动的角频率，j为虚数单位；

由于人体对于振动的感知只集中在部分频段，在相邻频域的振动感受比较相似，而在不同频段中的差异较大，因此采用三分之一倍频程带通滤波方法，将整个频率划分成23份，并对每个频带的功率谱密度积分，在此基础上，进一步考虑人体对于不同频带振动感受的不同，为各频带的功率谱密度积分乘以相应的权重，获得自动驾驶车辆座位垂向振动加速度的均方根值：

其中，a_w为自动驾驶车辆座位垂向振动加速度的均方根值，

为基于人体舒适感受的第i个频带的权重，u_i为第i个频带的上限频率，d_i为第i个频带的下限频率，f为振动的频率；

之后引入心理学中烦恼率的概念，即不能忍受当前车辆振动情况的人的比例，并将此作为行驶舒适性的主观评价指标，由于主观反应的概念隶属度值与振动加速度的对数值成正比，同时人体感受性差异可认为服从对数正态分布，因此可以求解出与不同加权加速度均方根值对应的烦恼率：

其中，x_min为自动驾驶车辆乘客无法忍受的垂向振动加速度下限，v(x)为隶属度函数，x为垂向振动加速度，δ为振动参数，取值范围为0.19～0.31，a和b均为常数，x_max为自动驾驶车辆乘客无法忍受的垂向振动加速度上限；

根据以上步骤计算出自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率。

进一步地，所述步骤S2具体是通过设定车辆匀速通过粗糙路段，并根据粗糙路段起讫点具体位置和车辆速度过渡段长度，以确定车辆速度规划关键节点。

进一步地，所述步骤S2具体包括以下步骤：

S21、计算自动驾驶车辆以不同速度v₁,v₂,...,v_N行驶在粗糙路段节点i上的烦恼率集A_i＝{A_i(v₁),A_i(v₂),...,A_i(v_N)}；

S22、为了保证车辆速度的合理过渡，在平整路面靠近粗糙路段部分每50米设定相应的烦恼率集：

A_i-1,j＝A_i+1,j＝0.6A_i,j

A_i-2,j＝A_i+2,j＝0.3A_i,j

其中，A_i,j为粗糙路段上j附近的第i个速度规划节点；

S23、为了实现安全、舒适、高效的速度规划目标，按照动态规划算法求解全局最优速度规划的思路，从道路的最后一个节点往前优化至第一个节点，建立相应的最小化问题模型：

V_i∈[v_min,v_max]

其中，J_i(v_i)为i点至N点的代价函数，g_i(v_i)为i点的代价函数，V_i为速度v_i的可能的取值，ρ₁,ρ₂,ρ₃,ρ₄为烦恼率、安全、加速度、效率的权重，v_l为车辆能够行驶的最大速度，L_i为i点的位置，通过设定不同的权重组合，即可得到不同权重下针对车辆空间位置的速度规划曲线。

进一步地，所述步骤S23中安全的速度规划目标具体为车辆在道路限速范围内行驶且与限速之间的差值保持在预设的范围内；

舒适的速度规划目标具体为烦恼率小于20％且纵向加速度最小化；

效率的速度规划目标具体为车辆速度与道路限速之间的差值最小化。

进一步地，所述步骤S3具体包括以下步骤：

S31、定义强化学习模型中与现实自动驾驶相对应的关键要素，参考实际路面情况以构建模型训练环境，所述强化学习模型中，定义车辆前方速度规划、悬架状态和路面高程为智能体观察的状态s；定义智能体根据状态s输出的下一时刻动作a为车辆纵向加速度和垂向悬架阻尼力；定义纵向运动控制奖励的监测对象为车辆当前速度与速度规划的偏差、纵向加速度、纵向加速度变化率；定义垂向悬架阻尼力控制奖励的监测对象为悬架簧载部分垂向加速度及其变化率；

S32、基于DDPG结构，分别建立表演者Actor和评论家Critic网络各两个，以确定强化学习模型的数据交互架构；

S33、将获取的原始路面高程数据划分为训练集和测试集，对强化学习模型进行训练，得到自动驾驶纵向速度与垂向减震器阻尼力控制模型。

进一步地，所述步骤S32中强化学习模型的数据交互架构具体为：对于表演者网络，在每个时刻将状态s(t)作为第一表演者网络的输入，输出动作a(t)，将状态s(t+ΔT)作为第二表演者网络的输入，输出动作a(t+ΔT)；

对于评论家网络，在每个时刻将状态s(t)和a(t)作为第一评论家网络的输入，输出Q(s(t),a(t))，将状态s(t+ΔT)和a(t+ΔT)作为第二评论家网络的输入，输出Q'(s(t+ΔT),a(t+ΔT))；

通过最小化损失函数公式更新第一评论家网络：

其中，γ为贝尔曼公式参数，即折减率；

通过最小化损失函数

更新第一表演者网络；

每隔一定步长将第一表演者和第一评论家网络的参数赋予对应的第二表演者和第二评论家网络中，使得两个网络的参数更新参在一定的时间差，以防止网络输出过高估计，保证强化学习模型对于动作选择和评价的准确性。

与现有技术相比，本发明具有以下优点：

一、本发明提出针对不同等级路面进行安全、舒适、高效的速度规划，进而利用强化学习模型根据车辆振动状态、路面高程、速度规划信息，实时输出合适的纵向加速度和垂向阻尼力，提升行车舒适性，其中，本发明创新性提出结合速度规划和车辆实时控制的二阶段自动驾驶车辆纵向决策控制方法，并同时考虑车辆纵向运动和垂向受力构建舒适性评价体系。该方法、模型可作为自动驾驶车辆的实时决策控制手段，能够有效提升自动驾驶车辆在粗糙路面上的服务质量，相比于传统车辆控制手段，本发明利用强化学习的优势，可基于大量的全局路面信息、车辆状态、交通信息，实现准确的车辆纵向加速度和垂向阻尼力的快速决策和控制，从而解决不平整路面造成的行驶舒适度降低、道路通行效率降低的问题。

二、本发明通过模型设计了基于全局速度规划、路面信息、车辆悬架状态的自动驾驶车辆纵向运动和垂向振动实时同步控制，实现了车路协同环境下面向舒适性自动驾驶车辆的决策控制，解决了大量车路信息的情况下自动驾驶车辆决策控制实时性、准确性的问题；本发明建立的车路协同环境下的面向舒适性自动驾驶的纵向决策控制方法，实现了在车路协同的环境中车辆可以基于实时的高效速度规划、路面高程数据、车辆自身情况调整实时纵向加速度和垂向悬架阻尼力，在保证安全和高效的基础上提升行车舒适性。

附图说明

图1为本发明的方法流程示意图；

图2为实施例中不同等级路面的烦恼率数据示意图；

图3为实施例中车辆速度动态规划结果示意图；

图4为自动驾驶车辆与环境交互结构示意图；

图5为强化学习模型的训练流程示意图；

图6为本发明中自动驾驶实时纵向决策控制效果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种车路协同环境下的自动驾驶纵向决策控制方法，包括以下步骤：

S1、获取原始路面高程数据，通过建立自动驾驶车辆纵向运动与垂向振动仿真环境，得到自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率，具体是对原始的路面高程数据按照标准ISO 8608进行分类，得到不同等级路面高程数据集；

基于ISO 2631-1997中的舒适性客观评价指标，结合不同乘客对于振动的感受，采用烦恼率作为舒适性的主观评价指标，从而计算出自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率以得到烦恼率数据集；

S2、基于动态规划方法，结合道路中车辆速度规划关键节点以及步骤S1得到的烦恼率数据，根据安全、舒适、高效的驾驶需求，以确定出各节点的自动驾驶车辆速度，具体是设定车辆匀速通过粗糙路段，并根据粗糙路段起讫点具体位置和车辆速度过渡段长度，确定车辆速度规划关键节点；

分别将安全、舒适、高效定义为车辆在道路限速范围内行驶且与限速之间的差值保持在一定范围内、烦恼率小于20％且纵向加速度较小、速度尽量接近道路限速；

建立动态规划目标函数，并设计不同的权重数值，选择合适的速度规划曲线作为实时自动驾驶车辆纵向决策控制的参考；

S3、根据路面高程数据、自动驾驶车辆速度以及悬架振动状态，基于DDPG结构，构建自动驾驶纵向加速度与垂向减震器阻尼力控制模型，具体是通过定义强化学习模型中与现实自动驾驶相对应的关键要素，参考实际路面情况以构建模型训练环境，对强化学习模型进行训练，以得到控制模型，在强化学习模型中，定义车辆前方速度规划、悬架状态和路面高程为智能体观察的状态s；

定义智能体根据状态s输出的下一时刻动作a为车辆纵向加速度和垂向悬架阻尼力；

定义纵向运动控制奖励的监测对象为车辆当前速度与速度规划的偏差、纵向加速度、纵向加速度变化率；

定义垂向悬架阻尼力控制奖励的监测对象为悬架簧载部分垂向加速度及其变化率；

S4、将当前的前方路面高程数据、车辆速度规划以及悬架状态输入自动驾驶纵向加速度与垂向减震器阻尼力控制模型中，实时输出得到自动驾驶车辆的纵向加速度和垂向阻尼力，以此控制自动驾驶车辆的行驶状态。

本实施例应用上述方法的具体过程为：

(1)对原始路面高程检测数据按照不同路面等级分类，建立自动驾驶车辆纵向运动与垂向振动仿真环境，分析以不同车速在不同等级路面上行驶时的烦恼率。

在本实施例中，为了准确模型自动驾驶车辆的纵向运动特性，采用车辆的运动学模型以描述车辆在时刻t以加速度a(t)行驶后，在t+1时刻自动驾驶车辆运动状态：

V(t+1)＝V(t)+a(t)ΔT

其中V(t)是自动驾驶车辆在时刻t的速度，a(t)是自动驾驶车辆在时刻t的加速度，ΔT是仿真步长，S(t)是自动驾驶车辆在时刻t的位置。

为了确保路面高程数据能够作为悬架模型的输入，将路面高程空间数据转为时域模型。设定车辆悬架数据的采样时间为T_s，激光雷达检测车的行驶速度为v，则采集到的与位置(x,y)有关的路面高程数据q(x,y)，其中x为车辆横向位置，y为车辆纵向位置。当自动驾驶车辆以速度V(t)行驶时，此刻输入的路面高程为：

为了模拟乘客感受到的车辆振动情况，通过建立装载半主动悬架的四分之一车辆模型，构建路面时域模型与车辆振动之间的关系。当自动驾驶车辆以变速{V(0),V(1),...,V(t)}在道路上行驶时，并且输入整车模型的路面高程数据为{q(x,S(0)),q(x,S(1)),...,q(x,S(t))}。根据牛顿第二定律建立动力学方程：

其中m_s为簧载质量，

为簧载质量加速度，c_s为悬架阻尼，

为簧载质量速度，

为非簧载质量速度，k_s为悬架刚度，z_s为簧载质量位移，z_u为非簧载质量位移，F为垂向阻尼力，m_u为非簧载质量，

为非簧载质量加速度，k_t为轮胎刚度，q为路面位移。

为了分析车辆垂向振动加速度随时间的变化情况，根据路面时域模型、车辆动力学模型，建立状态-空间方程：

根据国际标准ISO2631-1997所提供的基于加权加速度均方根的行车舒适性评价指标，利用功率谱密度算法分析自动驾驶车辆垂向振动加速度。将自动驾驶振动的采样频率设置为100HZ，计算自动驾驶车辆座位垂向加速度的时间序列的自相关函数，进而采用傅里叶变换得到其功率谱密度函数：

其中R_α(τ)是自动驾驶车辆垂向振动的自相关函数，

是该振动的功率谱密度函数，

为振动的角频率，j为虚数单位。由于人体对于振动的感知只集中在部分频段，在相邻频域的振动感受比较相似，而在不同频段中的差异较大，因此采用三分之一倍频程带通滤波方法，将整个频率划分成23份，并对每个频带的功率谱密度积分。在此基础上，进一步考虑人体对于不同频带振动感受的不同，为各频带的功率谱密度积分乘以相应的权重，获得自动驾驶车辆座位垂向振动加速度的均方根值：

其中a_w为自动驾驶车辆座位垂向振动加速度的均方根值，

为基于人体舒适感受的第i个频带的权重，u_i为第i个频带的上限频率，d_i为第i个频带的下限频率，f为振动的频率。

尽管垂向振动加速度的均方根值可以客观反应行车舒适性，但是不同乘客对于车辆行驶舒适性要求不同，再加上主观感受的影响，单凭ISO2631-1997所推荐的行车舒适性评价方法来看，很难反应出不同乘客对于振动的不同感受。因此为了量化这种影响，引入心理学中烦恼率的概念，即不能忍受当前车辆振动情况的人的比例，并将此作为行驶舒适性的主观评价指标。由于主观反应的概念隶属度值与振动加速度的对数值成正比，同时人体感受性差异可认为服从对数正态分布，因此可以求解出与不同加权加速度均方根值对应的烦恼率：

其中x_min为自动驾驶车辆乘客无法忍受的垂向振动加速度下限，v(x)为隶属度函数，x为垂向振动加速度，δ为振动参数，取值范围为0.19～0.31，a和b均为常数，x_max为自动驾驶车辆乘客无法忍受的垂向振动加速度上限。

根据以上步骤计算出自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率，并将其存为如图2所示的烦恼率数据集。

(2)采用动态规划方法，制定各规划节点安全、舒适、高效的自动驾驶纵向决策。

根据上述步骤(1)，计算自动驾驶车辆以不同速度v₁,v₂,...,v_N行驶在粗糙路段节点i上的烦恼率集A_i＝{A_i(v₁),A_i(v₂),...,A_i(v_N)}。由于平整路段上的车辆振动幅度较小，进而将其忽略不计。如图3所示，为了保证车辆速度的合理过渡，在平整路面靠近粗糙路段部分每50米设定相应的烦恼率集：

A_i-1,j＝A_i+1,j＝0.6A_i,j

A_i-2,j＝A_i+2,j＝0.3A_i,j

其中A_i,j为粗糙路段上j附近的第i个速度规划节点。

为了实现安全、舒适、高效的速度规划目标，按照动态规划算法求解全局最优速度规划的思路，从道路的最后一个节点往前优化至第一个节点，建立相应的最小化问题模型：

其中J_i(v_i)为i点至N点的代价函数，g_i(v_i)为i点的代价函数，V_i为速度v_i的可能的取值，为了保证车辆在限速范围内行驶，同时降低动态规划的计算量，因此根据节点i所在路段的限制速度设置速度取值范围V_i∈[v_min,v_max]，并按照3.6km/h为单位创建用于取值的速度数据集。

为了平衡不同的速度规划目标，赋予安全、舒适、效率以不同的权重：

其中ρ₁,ρ₂,ρ₃,ρ₄为烦恼率、安全、加速度、效率的权重，v_l为车辆能够行驶的最大速度，L_i为i点的位置。如图3所示，设定不同的权重组合，并根据速度规划结果选择Spd5作为自动驾驶加速度决策的参考：

Spd1:ρ₁＝100,ρ₂＝50,ρ₃＝1,ρ₄＝1

Spd2:ρ₁＝1,ρ₂＝1,ρ₃＝1,ρ₄＝50

Spd3:ρ₁＝1,ρ₂＝1,ρ₃＝500,ρ₄＝1

Spd4:ρ₁＝50,ρ₂＝1,ρ₃＝1,ρ₄＝1

Spd5:ρ₁＝10,ρ₂＝2,ρ₃＝12,ρ₄＝1

其中Spd1,Spd2,Spd3,Spd4,Spd5为不同权重下针对车辆空间位置的速度规划曲线。

(3)定义强化学习模型中与现实自动驾驶相对应的关键要素，参考实际路面情况以构建模型训练环境，建立基于DDPG结构的舒适性自动驾驶的实时纵向速度和垂向减震器阻尼力控制模型，

在强化学习模型中，具体是以车辆悬架振动状态、路面输入、车辆前方速度规划为强化学习模型状态

以车辆实时纵向加速度和悬架垂向减振器阻尼力为强化学习模型的动作，建立自动驾驶车辆从环境中获得奖励r与实时纵向、垂向的加速度和加速度变化率、速度差的关系r＝w₁r_lona+w₂r_vera+w₃r_lonj+w₄r_verj+w₅r_spd。

本发明以车辆悬架振动状态、路面输入、车辆前方速度规划为状态，以车辆实时纵向加速度a_lon和悬架垂向减振器阻尼力F为动作，建立强化学习模型。状态s与动作a的公式如下：

a＝[a_lon,F]

其中S为自动驾驶车辆当前的位置，ΔT为仿真步长，n为速度规划预知数量。

定义在自动驾驶车辆从环境中获得奖励r与实时垂向、纵向的加速度和加速度变化率、速度差的关系。

r＝w₁r_lona+w₂r_vera+w₃r_lonj+w₄r_verj+w₅r_spd

根据强化学习模型输出的实时纵向加速度和悬架模型输出的实时垂向加速度，计算基于加速度的奖励：

r_vera(t)＝-|a_ver(t)|

r_lona(t)＝-|a_lon(t)|

进而根据车辆运动过程中回传的纵向加速度时间序列，计算纵向加速度变化率：

其中Jerk_lon(t)为t时刻自动驾驶车辆纵向加速度变化率，a_lon(t)为t时刻自动驾驶车辆纵向加速度。由于在自动驾驶车辆运动的过程中，纵向加速度是矢量，当车辆前加速时加速度为正数，减速时为负数。因此，当纵向加速度变化率接近零时，认为乘客可以在纵向上获得较为舒适的乘车体验。在计算纵向加速度变化率的基础上，通过取加速度变化率的平方去掉正负号的影响，并将其归一化：

其中r_lonj(t)为t时刻纵向加速度变化率评价指标，Jerk_lonmax为最大纵向加速度变化率。

对于路面坑槽、车辙、减速带、错台、拥包等路面不平整情况，易发生车辆垂向加速度的突然变化。与纵向行车舒适性评价类似，根据自动驾驶车辆座位的垂向加速度变化率，分析车辆的当前速度控制策略对人体舒适感受造成的影响：

其中r_verj(t)为t时刻垂向加速度变化率评价指标，Jerk_ver为自动驾驶车辆座位垂向加速度变化率，Jerk_vermax为最大垂向加速度变化率。

在保证舒适行车的基础上，为了使自动驾驶车辆的速度满足安全、高效的要求，将车辆速度与动态规划速度之间的差距作为评价标准，同时考虑不同空间位置速度规划对纵向加速度决策的影响予以不同的权重：

其中v_ref(t)为t时刻自动驾驶车辆速度参考值，a_i为与空间位置相关的权重。

基于强化学习的自动驾驶车辆决策控制中的车辆决策控制系统与环境交互的过程如图4所示，此处采用DDPG结构，并分别建立表演者Actor和评论家Critic网络各两个，即Evaluate网络(网络1)和Target网络(网络2)。对于表演者网络，在每个时刻将状态s(t)作为表演者网络1的输入，输出动作a(t)，将状态s(t+ΔT)作为表演者网络2的输入，输出动作a(t+ΔT)。对于评论家网络，在每个时刻将状态s(t)和a(t)作为评论家网络1的输入，输出Q(s(t),a(t))，将状态s(t+ΔT)和a(t+ΔT)作为评论家网络2的输入，输出Q'(s(t+ΔT),a(t+ΔT))。通过最小化损失函数公式更新评论家网络1：

其中γ为贝尔曼公式参数，即折减率。

通过最小化损失函数

更新表演者网络1。每隔一定步长将表演者和评论家的网络1的参数赋予对应的网络2中，使得两个网络的参数更新参在一定的时间差，以防止网络输出过高估计，保证强化学习模型对于动作选择和评价的准确性。

本实施例中，基于车路协同系统中的上海市实测路面高程数据建立强化学习训练集和测试集，按照图5的流程对模型进行训练。对本发明中的强化学习模型参数进行调优得到最优的纵向决策控制模型。本发明中的强化学习模型参数主要包括算法参数和网络参数。

强化学习算法参数如下表所示：

网络参数由层的类型、层数、神经元数量、激活函数构成。表演者网络由三层全连接构成，前两层激活函数为relu，最后一层激活函数为tanh，并乘以相应的数值，将动作映射到纵向加速度和垂向阻尼力的范围，即[-3,3]m/s²和[-600,600]N。表演者网络各层的神经元数量为200-100-50。评论家网络由三层全连接构成，三层的激活函数均为relu。评论家网络各层的神经元数量为100-100-50。

通过以上步骤，最终建立了车路协同环境下的面向舒适性自动驾驶的纵向决策控制方法，图6所示为最终的控制效果示意图，以此实现了在车路协同的环境中车辆可以根据实时接收的安全、舒适、高效速度规划、路面高程数据，根据车辆自身情况调整实时纵向加速度和垂向悬架阻尼力，在保证安全和高效的基础上提升行车舒适性。

综上所述，本发明提供一种运用综合应用路面质量检测、高精度定位、车路协同、车路通讯、强化学习、动态规划、神经网络等技术实现基于道路基础设施信息、车辆运行状态的车辆纵向加速度、垂向减震器阻尼力决策与控制的方法，用于解决不平整路面造成的行驶舒适度降低、道路通行效率降低的问题，本技术方案能够在车路协同环境下结合路侧单元向车辆发送实时路面微观信息，基于行车舒适性评价指标，实现车辆驾驶纵向加速度、垂向减震器阻尼力的实时决策与控制，为解决舒适性自动驾驶任务提供了新的思路。

Claims (7)

1.一种车路协同环境下的自动驾驶纵向决策控制方法，其特征在于，包括以下步骤：

S1、获取原始路面高程数据，通过建立自动驾驶车辆纵向运动与垂向振动仿真环境，得到自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率；

S2、基于动态规划方法，结合道路中车辆速度规划关键节点以及步骤S1得到的烦恼率数据，根据安全、舒适、高效的驾驶需求，以确定出各节点的自动驾驶车辆速度；

S3、根据路面高程数据、自动驾驶车辆速度以及悬架振动状态，基于DDPG结构，构建自动驾驶纵向加速度与垂向减震器阻尼力控制模型；

S4、将当前的前方路面高程数据、车辆速度规划以及悬架状态输入自动驾驶纵向加速度与垂向减震器阻尼力控制模型中，实时输出得到自动驾驶车辆的纵向加速度和垂向阻尼力，以此控制自动驾驶车辆的行驶状态；

所述步骤S1具体包括以下步骤：

S11、获取原始路面高程数据，并按照不同路面等级进行分类；

S12、依次建立自动驾驶车辆纵向运动学模型以及垂向振动模型，之后基于ISO2631-1997中的舒适性客观评价指标，结合不同乘客对于振动的感受，采用烦恼率作为舒适性的主观评价指标，计算得到自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率；

所述步骤S12的具体过程为：

S121、采用车辆的运动学模型描述自动驾驶车辆的纵向运动特性；

S122、将路面高程空间数据转换为时域模型，之后建立车辆动力学模型，以共同构建车辆的状态-空间方程，用于分析车辆垂向振动加速度随时间的变化；

S123、根据ISO2631-1997所提供的基于加权加速度均方根的行车舒适性评价指标，利用功率谱密度算法分析自动驾驶车辆垂向振动加速度，结合不能忍受当前车辆振动情况的人的比例，并将此作为行驶舒适性的主观评价指标，求解出与不同加权加速度均方根值对应的烦恼率，即为自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率；

所述步骤S121具体是采用车辆的运动学模型以描述车辆在时刻t以加速度a(t)行驶后，在t+1时刻自动驾驶车辆运动状态：

V(t+1)＝V(t)+a(t)ΔT

其中，V(t)是自动驾驶车辆在时刻t的速度，a(t)是自动驾驶车辆在时刻t的加速度，ΔT是仿真步长，S(t)是自动驾驶车辆在时刻t的位置；

所述步骤S122具体是设定车辆悬架数据的采样时间为T_s，激光雷达检测车的行驶速度为v，则采集到的与位置(x,y)有关的路面高程数据q(x,y)，其中，x为车辆横向位置，y为车辆纵向位置，当自动驾驶车辆以速度V(t)行驶时，此刻输入的路面高程为：

为了模拟乘客感受到的车辆振动情况，通过建立装载半主动悬架的四分之一车辆模型，构建路面时域模型与车辆振动之间的关系，当自动驾驶车辆以变速{V(0),V(1),...,V(t)}在道路上行驶时，并且输入整车模型的路面高程数据为{q(x,S(0)),q(x,S(1)),...,q(x,S(t))}，根据牛顿第二定律建立动力学方程：

其中，m_s为簧载质量，

为簧载质量加速度，c_s为悬架阻尼，

为簧载质量速度，

为非簧载质量速度，k_s为悬架刚度，z_s为簧载质量位移，z_u为非簧载质量位移，F为垂向阻尼力，m_u为非簧载质量，

为非簧载质量加速度，k_t为轮胎刚度，q为路面位移；

为了分析车辆垂向振动加速度随时间的变化情况，根据路面时域模型、车辆动力学模型，建立状态-空间方程：

所述步骤S123具体是将自动驾驶振动的采样频率设置为100Hz，计算自动驾驶车辆座位垂向加速度的时间序列的自相关函数，进而采用傅里叶变换得到其功率谱密度函数：

其中，R_α(τ)是自动驾驶车辆垂向振动的自相关函数，

是该振动的功率谱密度函数，

为振动的角频率，j为虚数单位；

由于人体对于振动的感知只集中在部分频段，在相邻频域的振动感受比较相似，而在不同频段中的差异较大，因此采用三分之一倍频程带通滤波方法，将整个频率划分成23份，并对每个频带的功率谱密度积分，在此基础上，进一步考虑人体对于不同频带振动感受的不同，为各频带的功率谱密度积分乘以相应的权重，获得自动驾驶车辆座位垂向振动加速度的均方根值：

其中，a_w为自动驾驶车辆座位垂向振动加速度的均方根值，

为基于人体舒适感受的第i个频带的权重，u_i为第i个频带的上限频率，d_i为第i个频带的下限频率，f为振动的频率；

之后引入心理学中烦恼率的概念，即不能忍受当前车辆振动情况的人的比例，并将此作为行驶舒适性的主观评价指标，由于主观反应的概念隶属度值与振动加速度的对数值成正比，同时人体感受性差异可认为服从对数正态分布，因此可以求解出与不同加权加速度均方根值对应的烦恼率：

其中，x_min为自动驾驶车辆乘客无法忍受的垂向振动加速度下限，v(x)为隶属度函数，x为垂向振动加速度，δ为振动参数，取值范围为0.19～0.31，a和b均为常数，x_max为自动驾驶车辆乘客无法忍受的垂向振动加速度上限；

根据以上步骤计算出自动驾驶车辆以不同速度在不同等级道路上行驶时的烦恼率。

2.根据权利要求1所述的一种车路协同环境下的自动驾驶纵向决策控制方法，其特征在于，所述步骤S11具体是按照标准ISO 8608对原始路面高程数据进行路面等级分类。

3.根据权利要求1所述的一种车路协同环境下的自动驾驶纵向决策控制方法，其特征在于，所述步骤S2具体是通过设定车辆匀速通过粗糙路段，并根据粗糙路段起讫点具体位置和车辆速度过渡段长度，以确定车辆速度规划关键节点。

4.根据权利要求3所述的一种车路协同环境下的自动驾驶纵向决策控制方法，其特征在于，所述步骤S2具体包括以下步骤：

S21、计算自动驾驶车辆以不同速度v₁,v₂,...,v_N行驶在粗糙路段节点i上的烦恼率集A_i＝{A_i(v₁),A_i(v₂),...,A_i(v_N)}；

S22、为了保证车辆速度的合理过渡，在平整路面靠近粗糙路段部分每50米设定相应的烦恼率集：

A_i-1,j＝A_i+1,j＝0.6A_i,j

A_i-2,j＝A_i+2,j＝0.3A_i,j

其中，A_i,j为粗糙路段上j附近的第i个速度规划节点；

S23、为了实现安全、舒适、高效的速度规划目标，按照动态规划算法求解全局最优速度规划的思路，从道路的最后一个节点往前优化至第一个节点，建立相应的最小化问题模型：

V_i∈[v_min,v_max]

其中，J_i(v_i)为i点至N点的代价函数，g_i(v_i)为i点的代价函数，V_i为速度v_i的可能的取值，ρ₁,ρ₂,ρ₃,ρ₄为烦恼率、安全、加速度、效率的权重，v_l为车辆能够行驶的最大速度，L_i为i点的位置，通过设定不同的权重组合，即可得到不同权重下针对车辆空间位置的速度规划曲线。

5.根据权利要求4所述的一种车路协同环境下的自动驾驶纵向决策控制方法，其特征在于，所述步骤S23中安全的速度规划目标具体为车辆在道路限速范围内行驶且与限速之间的差值保持在预设的范围内；

舒适的速度规划目标具体为烦恼率小于20％且纵向加速度最小化；

效率的速度规划目标具体为车辆速度与道路限速之间的差值最小化。

6.根据权利要求4所述的一种车路协同环境下的自动驾驶纵向决策控制方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、定义强化学习模型中与现实自动驾驶相对应的关键要素，参考实际路面情况以构建模型训练环境，所述强化学习模型中，定义车辆前方速度规划、悬架状态和路面高程为智能体观察的状态s；定义智能体根据状态s输出的下一时刻动作a为车辆纵向加速度和垂向悬架阻尼力；定义纵向运动控制奖励的监测对象为车辆当前速度与速度规划的偏差、纵向加速度、纵向加速度变化率；定义垂向悬架阻尼力控制奖励的监测对象为悬架簧载部分垂向加速度及其变化率；

S32、基于DDPG结构，分别建立表演者Actor和评论家Critic网络各两个，以确定强化学习模型的数据交互架构；

S33、将获取的原始路面高程数据划分为训练集和测试集，对强化学习模型进行训练，得到自动驾驶纵向速度与垂向减震器阻尼力控制模型。

7.根据权利要求6所述的一种车路协同环境下的自动驾驶纵向决策控制方法，其特征在于，所述步骤S32中强化学习模型的数据交互架构具体为：对于表演者网络，在每个时刻将状态s(t)作为第一表演者网络的输入，输出动作a(t)，将状态s(t+ΔT)作为第二表演者网络的输入，输出动作a(t+ΔT)；

对于评论家网络，在每个时刻将状态s(t)和a(t)作为第一评论家网络的输入，输出Q(s(t),a(t))，将状态s(t+ΔT)和a(t+ΔT)作为第二评论家网络的输入，输出Q'(s(t+ΔT),a(t+ΔT))；

通过最小化损失函数公式更新第一评论家网络：

其中，γ为贝尔曼公式参数，即折减率；

通过最小化损失函数

更新第一表演者网络；

每隔一定步长将第一表演者和第一评论家网络的参数赋予对应的第二表演者和第二评论家网络中，使得两个网络的参数更新参在一定的时间差，以防止网络输出过高估计，保证强化学习模型对于动作选择和评价的准确性。

Images