CN115009304A - 一种基于端到端的自动驾驶车辆实现方法 - Google Patents

Abstract

本发明公开了一种基于端到端的自动驾驶车辆实现方法，面向雨雪天气下的复杂道路环境，通过构造雨雪天气下的车道线边界模糊、遮挡以及缺失特点的数据集和多目标动态环境数据集，采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将模型进行压缩，构建多目标动态障碍物的模型及数据集，提出了虚拟数据的控制方法，采用虚拟数据实现车辆的虚拟控制，并设计了冗余控制系统，以应对车辆控制功能失效问题。本该发明解决了端到端学习方法的鲁棒性较差特点，实现了从感知到控制的端到端的自动驾驶车辆方法，有助于提升车辆的实时响应性，更好地实现在复杂道路环境的自动驾驶。

Description

一种基于端到端的自动驾驶车辆实现方法

技术领域

本发明属于智能车辆领域，具体涉及到一种基于端到端的自动驾驶车辆实现方法。

背景技术

目前自动驾驶车辆技术主要基于环境感知、导航定位以及决策规划控制等系列环节实现行驶任务，在较为复杂的道路场景可以有助于更好地实现车辆的智能化，例如城市附带交通的复杂交叉十字路口、要求快速通行能力的高速公路环境以及在非结构化道路场景下，自动驾驶车辆不仅对于硬件传感器的配置较高，而且对于环境感知、导航定位以及决策规划控制等环节的技术要求同样较高，才能更好地实现安全行驶。随着人工智能技术的兴起，复杂的自动驾驶系列环节技术可以更加简化，以适应车辆的实时性和智能化特征，同时可以节约成本，尤其面对一些轻型的道路场景，自动驾驶车辆可以采用端到端方法更好地实现落地。本发明基于特定的道路场景，建立了一款基于端到端方法的自动驾驶车辆实现技术，不仅简化了自动驾驶车辆的系统复杂度和冗余度，而且更好地实现了车辆前端到后端的实时性获取，更好地提升了车辆智能化水平。

发明内容

发明目的：本发明提出一种基于端到端的自动驾驶车辆实现方法，提升车辆的实时响应性，更好地实现在复杂道路环境的自动驾驶。

技术方案：本发明提供一种基于端到端的自动驾驶车辆实现方法，具体包括以下步骤：

(1)构造雨雪天气下的车道线边界模糊、遮挡以及缺失特点的数据集和多目标动态环境数据集；

(2)采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将注意力机制结构设计在前向编码网络中；

(3)构建多目标动态障碍物的模型，并采用有监督学习进行雨雪天气下图像数据的标注任务，进行复杂道路环境的多目标跟踪；

(4)设定具有前馈预测效果的闭环控制系统，以实现车辆的控制；

(5)提出非线性模型预测控制系统，以前一时刻的实时数据为依据，采用卡尔曼滤波算法预测车辆下一时刻的数据作为虚拟数据，以虚拟数据为样本，采用最优控制算法实现车辆的安全行驶，一直到车辆安全停止；

(6)当车辆控制功能失效时，提出冗余控制系统；所述冗余控制系统以自适应模型预测控制算法为主，不断地检测道路环境的状态、车道线数据、多目标动态障碍物的状态，以车辆所能安全行驶的状态参数作为主要判断依据，确保车辆有效地行驶各种道路环境中。

进一步地，所述步骤(1)实现过程如下：

利用车载视觉传感器获取道路车道线的视频数据，道路车道线视频数据是基于雨雪和晴天下二车道、三车道和单车道场景的车道线缺失成分、模糊以及被遮挡区域，然后将视频数据压缩成一幅幅图片格式，形成基于复杂非结构化道路环境的车道线数据集，将数据集划分为训练集、验证集和测试集的比例为7：1：2；将数据集进行标注，并且将标注后的车道线图像转成语义分割标签图和实例分割标签图。

进一步地，所述步骤(2)实现过程如下：

采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将注意力机制结构设计在前向编码网络中，在输出聚类车道线数据中，采用三次多项式拟合；

将增加注意力机制的Lanenet网络模型进行压缩，首先依据权重距离度量将数值较低的权重压缩，并且进行卷积核压缩，首先对网络模型进行稀疏化，并且设计相应的卷积核压缩比例，进行深层卷积核的压缩，针对多车道线场景下车道线的特征，设计准确率和响应速度为主的多目标优化任务，使算法能得到不同场景下的优化：

建立以准确率变化量和模型参数变化量为目标的多目标优化函数：

Obj_max＝20·α·(m-M)+β·X

α+β＝1

其中，α为准确率变化权重系数，决定在优化过程中算法准确率的重要程度，β为压缩权重系数，决定在优化过程中算法响应速度的重要程度，取值为正；M为算法的原始准确率，m为算法优化后的准确率，X为算法优化后的压缩比例，N为算法的原始参数量，n为算法优化后的参数量。

进一步地，所述步骤(3)实现过程如下：

针对雨雪天气下的复杂道路环境，构建激光雷达点云数据，对点云进行滤波简化，除去冗余点云，以形成标准的样本数据集，并建立点云数据结构的空间离散点拓扑关系，实现点云的快速邻域搜索，以创建起有效的点云图；

针对雨雪天气下的复杂道路环境，采用车载传感器实现视觉传感器的图像数据获取，并且构建视觉传感器图像数据集，从数据集中获取多目标动态障碍物的数据信息，并构建训练集、验证集和测试集的比例为8：1：1；将数据集进行标注，并且将标注后的多动态目标转成语义分割标签图和实例分割标签图；

在进行图像数据的模型训练时，首先采用有监督学习方法将多目标动态障碍物图像数据进行数据标注，以保证对多目标跟踪的实时准确；

通过激光雷达对多目标的跟踪和视觉传感器对目标的跟踪后，将跟踪的多目标状态、遮挡区域进行后融合，确保对多目标的位置进行实时性跟踪，将多目标跟踪识别数据输入到操作系统中，以数据流形式实现对通道数据传输。

进一步地，所述步骤(4)实现过程如下：

当多目标动态障碍物行驶状态瞬时发生变化，设定安全的车间距，调整车辆处于巡航状态，并且采用LQR算法间接干预瞬时行驶状态控制，将控制误差保持在[1％-5％]范围内，作为最佳行驶路径的特征补充，当行驶状态超过这个误差后，使用LQR算法掌管车辆的控制，控制系统自动关闭非线性模型预测控制算法的车辆控制作用，以确保车辆在复杂道路环境的安全行驶；具体为：

式中，

是可选择性算法，M_non-mpc是非线性模型预测控制算法，L_QR是LQR算法，d_safe是安全车间距表达；

当车辆的转向角信号发生突变或者不稳定状态时，此时采用LQR直接干预车辆的控制任务，并且通过补充上一时刻的转向角信号作为系统的输入变量，以稳定地实现车辆的控制，具体为：

式中，κ_t接管算法的参数，M_non-mpc是非线性模型预测控制算法，L_QR是LQR算法，δ是方向盘转角，δ_t是当前车辆转向角，δ_t-1是前一时刻转向角。

进一步地，所述步骤(5)实现过程如下：

设定t₀时刻车辆的实时数据包括车辆状态、加速度以及转向角信息((s₀ a₀ δ₀))，以虚拟数据作为参考依据，采用卡尔曼滤波算法进行车辆下一时刻t₁的数据预测任务，卡尔曼滤波的状态和观测方程如下：

式中，x_t是状态量，z_t是观测量，u_t是输入量，α_t是随机变量；则通过卡尔曼滤波算法进行车辆下一时刻t₁、t₂、t_n的数据预测，分别表述为：

((s₁ a₁ δ₁))、((s₂ a₂ δ₂))、…、((s_n a_n δ_n))

由于车辆行驶环境的场景各有不同，所以，赋予t_n一定的阈值范围，表述为：

当车辆状态区域非正常数值预测范围时，此时便可以停止t_n时刻的估计迭代，车辆此刻设置状态值为零，即车辆通过制动停车，此时估计过程结束：

((s_n a_n δ_n))→(0 0 0)

而车辆所预测的最终时刻状态是((s_n-1 a_n-1 δ_n-1))，则只需要控制从以下的时间序列状态即可：

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))…→((s_n-1 a_n-1 δ_n-1))

依次类推，车辆所预测的最终时刻状态，需要根据设定的阈值范围去界定最终的状态，表述为：

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))…→((s_n-2 a_n-2 δ_n-2))

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))…→((s_n-3 a_n-3 δ_n-3))

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))→((s₃ a₃ δ₃))

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))

具备了车辆状态预测值后，从t₁时刻产生的虚拟数据作为样本，采用最优控制算法实现对车辆的控制，其表达式为：

动态系统的运动学约束条件为：

状态约束条件：0≤s(t)≤s_max、0≤a(t)≤a_max、0≤δ(t)≤δ_max；

式中，L是车长，x、y分别是大地坐标系纵轴和横轴，β是航向角。

进一步地，所述步骤(6)实现过程如下：

当车辆行驶在下一时刻偏离所规划的预设路径时，以车辆偏离原来的路径的误差作为状态的主要判断依据，冗余控制系统实现如下：

式中，α代表所接管的控制算法，M_non-mpc代表非线性模型预测控制算法，M_adp-mpc代表自适应模型预测控制算法，t_err代表所跟踪的路径误差；

当车辆瞬时发生侧向滑移，车速在瞬间容易发生突变，使车辆减少滑移倾向，冗余控制系统实现如下：

式中，v是指车速，v_nor指的是正常车速，v_non-nor指的是非正常车速，d_saf安全距离；

当非线性模型预测控制系统出现失效情况，判断依据是车辆的转向角信号变化情况，冗余控制系统实现如下：

式中，δ是方向盘转角，M_non-mpc代表非线性模型预测控制算法，M_adp-mpc代表自适应模型预测控制算法；

当车辆行驶过程中遇到紧急情况时，非线性模型预测控制算法不能快速响应车辆控制，采用冗余控制系统来实现车辆对于紧急制动情况的处理，冗余控制系统实现如下：

式中，λ是接管控制参数，v是车速。

有益效果：与现有技术相比，本发明的有益效果：本发明专利提供的端到端的自动驾驶车辆实现方法，基于雨雪天气下复杂道路环境展开研究，通过构建模型，通过构造雨雪天气下的车道线边界模糊、遮挡以及缺失特点的数据集和多目标动态环境数据集，并采用迁移学习将网络参数输入到自创建数据集，采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将模型进行压缩；构建了多重控制算法以确保车辆的控制效果，同时提出了虚拟数据的控制方法，采用虚拟数据实现车辆的虚拟控制，并设计了冗余控制系统，以应对车辆控制功能失效问题；本发明专利解决了端到端学习方法的鲁棒性较差特点，简化了传统自动驾驶车辆感知、导航定位、决策规划和控制五大复杂环节，实现了从感知到控制的端到端的自动驾驶车辆方法，有助于提升车辆的实时响应性，更好地实现在复杂道路环境的自动驾驶。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出一种基于端到端的自动驾驶车辆实现方法，具体包括以下步骤：

步骤1：构造雨雪天气下的车道线边界模糊、遮挡以及缺失特点的数据集和多目标动态环境数据集。

利用车载视觉传感器去感知道路车道线的视频数据，所获取的道路车道线视频数据是基于雨雪和晴天下二车道、三车道和单车道场景的车道线缺失成分、模糊以及被遮挡区域，有车道线的道路数据集不在本数据集采集范围内。

创建基于复杂非结构化道路环境的车道线数据集，获取的数据集特点是满足车道线特征；训练集、验证集和测试集的比例为7：1：2。将数据集进行标注，并且将标注后的车道线图像转成语义分割标签图和实例分割标签图。

步骤2：采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将注意力机制结构设计在前向编码网络中。

在输出聚类车道线数据中，采用三次多项式拟合，具体过程可以表述为：

将输入图像进行归一化等预处理操作后，首先采用segnet架构进行图像的语义分割和实例分割任务，首先经过预处理的数据图像经过注意力机制，然后通过编码和解码的方式，通过权值共享，以加快模型训练和响应速度，其中卷积核的设计采用了空洞卷积来增大局部感受野，以便获得更多图像特征。

其次使用交叉熵构建语义分割的损失函数，其计算公式如下：

其中，m为算法一次处理的样本个数，n为分类问题的类别个数，p(x_ij)是真实的概率分布，q(x_ij)是预测概率分布，对于语义分割网络来说，只存在背景和车道线两类。

实例分割损失函数主要有三部分组成，分别为方差项、距离项和正则损失项，方差项主要是便于将元素往车道线中心靠拢，距离项是使车道线的元素相互保持距离，则构建的损失函数为：

L＝αL_d+βL_v+γL_r

其中，其中C为车道线数量，N_c为车道线中的元素数量，x_i表示元素在映射空间中的位置，μ_c表示车道线元素在映射空间的中心位置，C_A、C_B为不同的两条车道线，||·||为L2距离，[x]₊＝max(0,x)，δ_v、δ_d、α、β、γ分别是超参数。

最后采用agnes聚类算法将车道线进行合并及去噪，并采用三次多式进行车道线拟合，最终获取车道线识别。

将增加注意力机制的Lanenet网络模型进行压缩，首先依据权重距离度量将数值较低的权重压缩，并且进行卷积核压缩，首先对网络模型进行稀疏化，并且设计相应的卷积核压缩比例，进行深层卷积核的压缩，针对多车道线场景下车道线的特征，设计准确率和响应速度为主的多目标优化任使算法能得到不同场景下的优化。

对于模型剪枝任务，首要的是进行权重剪枝，将重要性较小的权重删去，其次进行卷积核剪枝，针对特定深度的卷积核采取特定的剪枝比例，保留浅层网络所含的特征信息，将深层网络的作用率较低的参数进行剪枝，并且在每一层的剪枝设定系数项，通过设定系数项的不同值，设定目标函数中的变量模型压缩比例为ψ，则卷积层的卷积核应减少ρ·ψ，进一步设定压缩阈值，当卷积核少于所设定的阈值，就剪去卷积核，同时针对各层的剪枝阈值特点，进行卷积核不同等级的剪枝。

建立以准确率变化量和模型参数变化量为目标的多目标优化函数，以平衡压缩后的模型准确率，目标函数公式如下：

Obj_max＝20α·(m-M)+β·ψ

α+β＝1

其中，α为准确率变化权重系数，决定在优化过程中算法准确率的重要程度，β为压缩权重系数，决定在优化过程中算法响应速度的重要程度，取值为正。M为算法的原始准确率，m为算法优化后的准确率，X为算法优化后的压缩比例，N为算法的原始参数量，n为算法优化后的参数量。

采用Tusimple数据集中带有基于雨雪和晴天下二车道、三车道和单车道场景的车道线缺失成分、模糊以及被遮挡区域部分数据集进行数据训练，根据准确率、车道线检测真假结果作为评价指标，得出训练的参数，然后采用迁移学习方法，将获取的参数进行自创建车道线数据集的训练，分别进行算法的抗干扰能力验证、车道线边界模糊、遮挡以及缺失、阴雨天环境下的检测效果研究。

步骤3：构建多目标动态障碍物的模型，并采用有监督学习进行雨雪天气下图像数据的标注任务，进行复杂道路环境的多目标跟踪；

针对雨雪天气下的复杂道路环境，构建激光雷达点云数据，对点云进行滤波简化，除去冗余点云，以形成标准的样本数据集，并建立点云数据结构的空间离散点拓扑关系，实现点云的快速邻域搜索，以创建起有效的点云图。

从点云数据图中选取雨雪天气下的动态障碍物，构建网络模型，以KITTI数据集作为数据输入进行数据训练，获取训练后的网络参数，然后采用迁移学习方法将网络参数作为进行步骤①中自创建的点云数据集，以实现动态障碍物的特征提取，并实现对多目标动态障碍物的跟踪功能。

针对雨雪天气下的复杂道路环境，采用车载传感器实现视觉传感器的图像数据获取，并且构建视觉传感器图像数据集，从数据集中获取多目标动态障碍物的数据信息，并构建训练集、验证集和测试集的比例为8：1：1。将数据集进行标注，并且将标注后的多动态目标转成语义分割标签图和实例分割标签图，以更好地进行多目标检测与跟踪功能。

采用KITTI数据集作为数据输入到yolov5模型，进行图像数据训练，获取训练后的网络参数，然后采用迁移学习方法将网络参数输入到③中自创建的图像数据集，以更好地探测多目标动态障碍物。

为更好地实现车辆在雨雪天气下，对多目标动态障碍物的探测能力，在进行图像数据的模型训练时，首先采用有监督学习方法将多目标动态障碍物图像数据进行数据标注，以保证在雨雪天气下对多目标跟踪的实时准确，具体可以表述为：

首先将获取的雨雪天气下的视频以间隔5帧取一次的速度生成图片，并且进行自定义标签，以标注图片中的障碍物信息，并进行格式转化和关键信息提取，最终实现多目标障碍物的目标检测。

通过激光雷达对多目标的跟踪和觉传感器对目标的跟踪后，将跟踪的多目标状态、遮挡区域进行后融合，确保对多目标的位置进行实时性跟踪，将多目标跟踪识别数据输入到操作系统中，以数据流形式实现对通道数据传输。

步骤4：设定具有前馈预测效果的闭环控制系统，以实现车辆的控制。

从操作系统中节点订阅感知层信息，获取自动驾驶车辆控制所需的数据，获取自动驾驶车辆控制输入数据，基于雨雪道路环境下，设定车辆状态的可行驶阈值范围，采用非线性模型预测控制算法实现车辆的控制功能；基于非结构化道路环境的车道线边界模糊、遮挡以及缺失情况，多目标动态障碍物行驶具有不可预测性，因此设定具有前馈预测效果的闭环控制系统，以确定车辆的实际控制效果。

当多目标动态障碍物行驶状态瞬时发生变化，此时设定安全的车间距，调整车辆处于巡航状态，并且采用LQR算法间接干预瞬时行驶状态控制，此时将控制误差保持在[1％-5％]范围内，作为最佳行驶路径的特征补充，当行驶状态超过这个误差后，使用LQR算法掌管车辆的控制，此时系统自动关闭非线性模型预测控制算法的车辆控制作用，以确保车辆在复杂道路环境的安全行驶。具体可以表示为：

式中，

是可选择性算法，M_non-mpc是非线性模型预测控制算法，L_QR是LQR算法，d_safe是安全车间距表达。

当车辆的转向角信号发生突变或者不稳定状态时，此时采用LQR直接干预车辆的控制任务，并且通过补充上一时刻的转向角信号作为系统的输入变量，以稳定地实现车辆的控制，具体可以表述为：

式中，κ_t接管算法的参数，M_non-mpc是非线性模型预测控制算法，L_QR是LQR算法，δ是方向盘转角，δ_t是当前车辆转向角，δ_t-1是前一时刻转向角。

步骤5：提出非线性模型预测控制系统，以前一时刻的实时数据为依据，采用卡尔曼滤波算法预测车辆下一时刻的数据作为虚拟数据，以虚拟数据为样本，采用最优控制算法实现车辆的安全行驶，一直到车辆安全停止。

虚拟数据特点是一段从实时数据终点的行驶状态作为起点状态到停车状态的数据，在接管从上下文传感器到控制环节中运行。具体过程可以表述为：

设定前一时刻t₀时刻车辆的实时数据包括车辆状态、加速度以及转向角信息，可以表述为：((s₀ a₀ δ₀))，以虚拟数据作为参考依据，采用卡尔曼滤波算法进行车辆下一时刻t₁的数据预测任务，卡尔曼滤波的状态和观测方程如下：

式中，x_t是状态量，z_t是观测量，u_t是输入量，α_t是随机变量。则通过卡尔曼滤波算法进行车辆下一时刻t₁、t₂、t_n的数据预测，分别可以表述为：

((s₁ a₁ δ₁))、((s₂ a₂ δ₂))、…、((s_n a_n δ_n))

由于车辆行驶环境的场景各有不同，所以，赋予t_n一定的阈值范围，可以表述为：

当车辆状态区域非正常数值预测范围时，此时便可以停止t_n时刻的估计迭代，车辆此刻设置状态值为零，即车辆通过制动停车，此时估计过程结束，可以表述为：

((s_n a_n δ_n))→(0 0 0)

而车辆所预测的最终时刻状态是((s_n-1 a_n-1 δ_n-1))，则只需要控制从以下的时间序列状态即可，可以表述为：

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))…→((s_n-1 a_n-1 δ_n-1))

依次类推，车辆所预测的最终时刻状态，需要根据设定的阈值范围去界定最终的状态，可以表述为：

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))…→((s_n-2 a_n-2 δ_n-2))

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))…→((s_n-3 a_n-3 δ_n-3))

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))→((s₃ a₃ δ₃))

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))

具备了上述的车辆状态预测值后，从t₁时刻产生的虚拟数据作为样本，采用最优控制算法实现对车辆的控制，其表达式为：

动态系统的运动学约束条件为：

状态约束条件：0≤s(t)≤s_max、0≤a(t)≤a_max、0≤δ(t)≤δ_max，L是车长，

式中，x、y分别是大地坐标系纵轴和横轴，β是航向角。

步骤6：当车辆控制功能失效时，提出冗余控制系统；所述冗余控制系统以自适应模型预测控制算法为主，不断地检测道路环境的状态、车道线数据、多目标动态障碍物的状态，以车辆所能安全行驶的状态参数作为主要判断依据，确保车辆有效地行驶各种道路环境中。

当车辆行驶在下一时刻偏离所规划的预设路径时，非线性模型预测控制算法无法控制车辆沿着跟踪路径行驶，此时控制系统触发冗余控制系统，采用所增加的冗余控制系统来接管车辆控制，以自适应模型预测控制算法为基础，以车辆偏离原来的路径的误差作为状态的主要判断依据，其切换方式如下：

式中，α代表所接管的控制算法，M_non-mpc代表非线性模型预测控制算法，M_adp-mpc代表自适应模型预测控制算法，t_err代表所跟踪的路径误差；

当车辆瞬时发生侧向滑移，车速在瞬间容易发生突变，此时系统主动启动冗余控制系统，通过冗余控制算法系统实现对车辆的安全控制，使车辆减少滑移倾向，其切换模式如下：

式中，v是指车速，v_nor指的是正常车速，v_non-nor指的是非正常车速，d_saf安全距离；

当原来的非线性模型预测控制系统出现失效情况，此时系统主动启动冗余控制系统，以接管车辆控制的行驶功能，以保证车辆安全行驶，判断依据是车辆的转向角信号变化情况，其切换模式如下：

式中，δ是方向盘转角，M_non-mpc代表非线性模型预测控制算法，M_adp-mpc代表自适应模型预测控制算法。

当车辆行驶过程中遇到紧急情况时，原来的非线性模型预测控制算法不能快速响应车辆控制，此时系统采用冗余控制系统来实现车辆对于紧急制动情况的处理，保证车辆在行驶过程中可以快速控制车辆，当冗余控制系统接管车辆控制任务时，非线性模型预测控制算法会暂时关闭车辆控制任务，直到任务解除，再恢复到车辆控制任务中，具体可以表述为：

式中，λ是接管控制参数，v是车速。

雨雪天气下车辆以不超过40km/h低速行驶，为验证非线性模型预测控制算法的有效性，首先将实车环境感知数据导入到半物理仿真平台上，采用实车场景-通道优化-控制算法-状态输出为开环，将现实道路场景实时输入到半物理平台中，以实车场景虚拟化-虚拟数据-控制算法-状态输出为闭环验证集，两种状态输出误差保持在1％准确率之内，若超出了误差准确率范围，便需要重新调试控制参数，以确保控制算法的有效性。具体过程如下：

设定实车场景-通道优化-控制算法-状态输出为开环的车辆状态表示为：

((s₁ a₁ δ₁)(s₂ a₂ δ₂)…(s_n a_n δ_n))

式中，s₁、s₂、s_n分别是实车情况下的车辆状态，a₁、a₂、a_n分别是实车情况下的加速度状态，δ₁、δ₂、δ_n分别是实车情况下的转向角状态；

实车场景虚拟化-虚拟数据-控制算法-状态输出为闭环的车辆状态表示为：

((s_vir-1 a_vir-1 δ_vir-1)(s_vir-2 a_vir-2 δ_vir-2)…(s_vir-n a_vir-n δ_vir-n))

式中，s_vir-1、s_vir-2、s_vir-n分别是实车情况下的车辆状态，a_vir-1、a_vir-2、a_vir-n分别是实车情况下的加速度状态，δ_vir-1、δ_vir-2、δ_vir-n分别是实车情况下转向角状态；

验证两种场景模式下的数据信息误差，可以表示为：

式中，△s₁、△s₂，△s_n分别是车辆状态的误差，△a₁，△a₂，△a_n分别是车辆加速度的误差，△δ₁、△δ₂、△δ_n分别是车辆转向角的误差；

通过验证两种场景下的数据信息的误差率，当误差率保持在1％准确率之内，那么可以标明实车数据是有效的，具体可以表示为：

式中，

是车辆状态的误差率，

是车辆加速度误差率，

是车辆转向角误差率；则判断误差准确率可以表示为：

若误差准确率超过1％，则可以调整非线性模型预测控制算法的预测时域，通过滚动优化，选择合适的控制时域和预测时域数值，方便车辆实时性控制。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化，凡是在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (7)

1.一种基于端到端的自动驾驶车辆实现方法，其特征在于，包括以下步骤：

(1)构造雨雪天气下的车道线边界模糊、遮挡以及缺失特点的数据集和多目标动态环境数据集；

(2)采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将注意力机制结构设计在前向编码网络中；

(3)构建多目标动态障碍物的模型，并采用有监督学习进行雨雪天气下图像数据的标注任务，进行复杂道路环境的多目标跟踪；

(4)设定具有前馈预测效果的闭环控制系统，以实现车辆的控制；

(5)提出非线性模型预测控制系统，以前一时刻的实时数据为依据，采用卡尔曼滤波算法预测车辆下一时刻的数据作为虚拟数据，以虚拟数据为样本，采用最优控制算法实现车辆的安全行驶，一直到车辆安全停止；

(6)当车辆控制功能失效时，提出冗余控制系统；所述冗余控制系统以自适应模型预测控制算法为主，不断地检测道路环境的状态、车道线数据、多目标动态障碍物的状态，以车辆所能安全行驶的状态参数作为主要判断依据，确保车辆有效地行驶各种道路环境中。

2.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述步骤(1)实现过程如下：

利用车载视觉传感器获取道路车道线的视频数据，道路车道线视频数据是基于雨雪和晴天下二车道、三车道和单车道场景的车道线缺失成分、模糊以及被遮挡区域，然后将视频数据压缩成一幅幅图片格式，形成基于复杂非结构化道路环境的车道线数据集，将数据集划分为训练集、验证集和测试集的比例为7：1：2；将数据集进行标注，并且将标注后的车道线图像转成语义分割标签图和实例分割标签图。

3.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述步骤(2)实现过程如下：

采用基于NLNet的空间和通道双注意力机制的Lanenet模型进行车道线识别，将注意力机制结构设计在前向编码网络中，在输出聚类车道线数据中，采用三次多项式拟合；

将增加注意力机制的Lanenet网络模型进行压缩，首先依据权重距离度量将数值较低的权重压缩，并且进行卷积核压缩，首先对网络模型进行稀疏化，并且设计相应的卷积核压缩比例，进行深层卷积核的压缩，针对多车道线场景下车道线的特征，设计准确率和响应速度为主的多目标优化任务，使算法能得到不同场景下的优化：

建立以准确率变化量和模型参数变化量为目标的多目标优化函数：

Obj_max＝20·α·(m-M)+β·X

α+β＝1

其中，α为准确率变化权重系数，决定在优化过程中算法准确率的重要程度，β为压缩权重系数，决定在优化过程中算法响应速度的重要程度，取值为正；M为算法的原始准确率，m为算法优化后的准确率，X为算法优化后的压缩比例，N为算法的原始参数量，n为算法优化后的参数量。

4.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述步骤(3)实现过程如下：

针对雨雪天气下的复杂道路环境，构建激光雷达点云数据，对点云进行滤波简化，除去冗余点云，以形成标准的样本数据集，并建立点云数据结构的空间离散点拓扑关系，实现点云的快速邻域搜索，以创建起有效的点云图；

针对雨雪天气下的复杂道路环境，采用车载传感器实现视觉传感器的图像数据获取，并且构建视觉传感器图像数据集，从数据集中获取多目标动态障碍物的数据信息，并构建训练集、验证集和测试集的比例为8：1：1；将数据集进行标注，并且将标注后的多动态目标转成语义分割标签图和实例分割标签图；

在进行图像数据的模型训练时，首先采用有监督学习方法将多目标动态障碍物图像数据进行数据标注，以保证对多目标跟踪的实时准确；

通过激光雷达对多目标的跟踪和视觉传感器对目标的跟踪后，将跟踪的多目标状态、遮挡区域进行后融合，确保对多目标的位置进行实时性跟踪，将多目标跟踪识别数据输入到操作系统中，以数据流形式实现对通道数据传输。

5.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述步骤(4)实现过程如下：

当多目标动态障碍物行驶状态瞬时发生变化，设定安全的车间距，调整车辆处于巡航状态，并且采用LQR算法间接干预瞬时行驶状态控制，将控制误差保持在[1％-5％]范围内，作为最佳行驶路径的特征补充，当行驶状态超过这个误差后，使用LQR算法掌管车辆的控制，控制系统自动关闭非线性模型预测控制算法的车辆控制作用，以确保车辆在复杂道路环境的安全行驶；具体为：

式中，A_dsafe是可选择性算法，M_non-mpc是非线性模型预测控制算法，L_QR是LQR算法，d_safe是安全车间距表达；

当车辆的转向角信号发生突变或者不稳定状态时，此时采用LQR直接干预车辆的控制任务，并且通过补充上一时刻的转向角信号作为系统的输入变量，以稳定地实现车辆的控制，具体为：

式中，κ_t接管算法的参数，M_non-mpc是非线性模型预测控制算法，L_QR是LQR算法，δ是方向盘转角，δ_t是当前车辆转向角，δ_t-1是前一时刻转向角。

6.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述步骤(5)实现过程如下：

设定t₀时刻车辆的实时数据包括车辆状态、加速度以及转向角信息((s₀ a₀ δ₀))，以虚拟数据作为参考依据，采用卡尔曼滤波算法进行车辆下一时刻t₁的数据预测任务，卡尔曼滤波的状态和观测方程如下：

式中，x_t是状态量，z_t是观测量，u_t是输入量，α_t是随机变量；则通过卡尔曼滤波算法进行车辆下一时刻t₁、t₂、t_n的数据预测，分别表述为：

((s₁ a₁ δ₁))、((s₂ a₂ δ₂))、…、((s_n a_n δ_n))

由于车辆行驶环境的场景各有不同，所以，赋予t_n一定的阈值范围，表述为：

当车辆状态区域非正常数值预测范围时，此时便可以停止t_n时刻的估计迭代，车辆此刻设置状态值为零，即车辆通过制动停车，此时估计过程结束：

((s_n a_n δ_n))→(0 0 0)

而车辆所预测的最终时刻状态是((s_n-1 a_n-1 δ_n-1))，则只需要控制从以下的时间序列状态即可：

((s₁ a₁ δ₁))→((s₂ a₂ δ₂))…→((s_n-1 a_n-1 δ_n-1))

依次类推，车辆所预测的最终时刻状态，需要根据设定的阈值范围去界定最终的状态，表述为：

具备了车辆状态预测值后，从t₁时刻产生的虚拟数据作为样本，采用最优控制算法实现对车辆的控制，其表达式为：

动态系统的运动学约束条件为：

状态约束条件：0≤s(t)≤s_max、0≤a(t)≤a_max、0≤δ(t)≤δ_max；

式中，L是车长，x、y分别是大地坐标系纵轴和横轴，β是航向角。

7.根据权利要求1所述的一种基于端到端的自动驾驶车辆实现方法，其特征在于，所述步骤(6)实现过程如下：

当车辆行驶在下一时刻偏离所规划的预设路径时，以车辆偏离原来的路径的误差作为状态的主要判断依据，冗余控制系统实现如下：

式中，α代表所接管的控制算法，M_non-mpc代表非线性模型预测控制算法，M_adp-mpc代表自适应模型预测控制算法，t_err代表所跟踪的路径误差；

当车辆瞬时发生侧向滑移，车速在瞬间容易发生突变，使车辆减少滑移倾向，冗余控制系统实现如下：

式中，v是指车速，v_nor指的是正常车速，v_non-nor指的是非正常车速，d_saf安全距离；

当非线性模型预测控制系统出现失效情况，判断依据是车辆的转向角信号变化情况，冗余控制系统实现如下：

式中，δ是方向盘转角，M_non-mpc代表非线性模型预测控制算法，M_adp-mpc代表自适应模型预测控制算法；

当车辆行驶过程中遇到紧急情况时，非线性模型预测控制算法不能快速响应车辆控制，采用冗余控制系统来实现车辆对于紧急制动情况的处理，冗余控制系统实现如下：

式中，λ是接管控制参数，v是车速。

Images