CN114763136A - 一种基于深度学习的引导车驾驶辅助系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的引导车驾驶辅助系统，该系统包括：前向碰撞预警子系统：检测前向障碍物，并估计前向障碍物与引导车之间的距离以进行碰撞判断预警；驾驶员异常行为检测子系统：建立基于对比学习的驾驶员异常行为检测模型，以判断驾驶员是否发生驾驶异常行为；车道线偏离预警子系统：通过USFC车道线检测模块检测车道线，并基于相对位置判断是否发生车道线偏离。与现有技术相比，本发明部署价格低、系统泛化性强、涵盖范围广，能够高效而鲁棒的完成驾驶辅助任务，方便、大规模地部署在现有的驾驶系统中，使智能车列引导车能提前发现前撞危险、车道偏离危险和避免驾驶员分心驾驶，及时地做出反应和预警，提高了行驶过程中的安全性。

Description

一种基于深度学习的引导车驾驶辅助系统

技术领域

本发明涉及智能驾驶技术领域，尤其是涉及一种基于深度学习的引导车驾驶辅助系统。

背景技术

主动安全技术因为可以使得驾驶者在最快的时间察觉可能发生的危险，从而引起注意和提高安全性而备受关注。与此同时，前向碰撞预警、驾驶员异常行为检测和车道线偏离预警作为驾驶员辅助系统最常见的任务，也已经成为了当前自动驾驶的研究热点之一：前向碰撞指的是车辆在行驶过程中，距离前方的车辆过近，从而可能导致产生交通事故；驾驶员异常行为则指的是驾驶员出现诸如抽烟、打电话、打瞌睡等妨碍正常驾驶的行为，这些异常行为会带来潜在的交通危险；车道线偏离指的是车辆在行驶过程中，偏离自身行驶车道，偏向于相邻车道，从而产生交通安全隐患的驾驶行为。

近几年来随着各大厂家对驾驶员辅助驾驶系统的投入，都涌现出许多驾驶辅助系统，这些辅助算法在开放目标检测数据集上的检测效果和性能都很出色，可是现有的系统存在有如下缺点：

其一，现有的驾驶员辅助系统往往针对单车进行设计，这就导致其不能适用于车列驾驶，例如其往往不会集合多种功能，这就产生了一定的交通隐患。

其二，现有的驾驶员辅助算法往往采用专家模型等非学习的传统方法，导致了其面对复杂场景和一些特殊情景时的准确性和鲁棒性差。

其三，少部分基于深度学习的现有算法在设备价格、场景泛化等方面仍有欠缺，例如，在前撞预警的距离估计上往往依赖于昂贵的激光雷达或运算复杂的双目系统，在异常行为监测中依赖分类网络对数据集依赖大等等。发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的引导车驾驶辅助系统。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的引导车驾驶辅助系统，该系统包括：

前向碰撞预警子系统：通过障碍物检测模型检测前向障碍物，并建立相机位姿估计预测前向障碍物与引导车之间的距离以进行碰撞判断预警；

驾驶员异常行为检测子系统：建立基于对比学习的驾驶员异常行为检测模型，以判断驾驶员是否发生驾驶异常行为；

车道线偏离预警子系统：通过USFC车道线检测模块检测车道线，并建立多阈值TLC模型算法基于相对位置判断是否发生车道线偏离；

ROS读取通讯机制子系统：包括视频流输出节点、网络数据读取节点和网络输出节点，用以实现各子系统的数据通信。

所述的前向碰撞预警子系统的进行碰撞判断预警包括以下步骤：

11)在引导车安装用以获取前视视频的摄像头，并对摄像头进行内外参标定；

12)构建并训练障碍物检测模型，用于对交通场景中包括车辆和行人的障碍物进行检测；

13)建立相机几何成像模型，用于从障碍物检测模型中获取检测信息，估计引导车与前向障碍物之间的距离；

14)当引导车与前向障碍物之间的距离低于距离阈值时进行报警。

3.根据权利要求2所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的步骤12)中，障碍物检测模型具体为基于YOLOv5的目标检测网络。

所述的障碍物检测模型在训练时，其损失函数的表达式为：

其中，λ_coord、λ_noobj分别为超参数，x_i为网格i上的预测框中心在x轴上的位置，

为网格i上的真实框中心在x轴上的位置，y_i为网格i上的预测框中心在y轴上的位置，

为网格i上的真实框中心在y轴上的位置，S²表示一张图片共划分为S×S块网格，B为每一网格中预测框数量，w_i为网格i上预测框的宽度，

为网格i上真实框的宽度，h_i为网格i上预测框的高度，

为网格i上真实框的高度，C_i为网格i上预测框的置信度，

为网格i真实框的置信度，

为判断第i个网格中的第j个预测框是否对应真实框，若是则为1，反之为0，

为判断第i个网格中的第j个预测框是否不对应真实框，若是则为1，反之为0，p_i(c)为网格i上是否为第c类的概率预测，

为网格i上第c类的真值，Localization error为坐标预测损失，Confidence error为置信度预测损失，Class probabilities error为类别预测损失。

所述的超参数λ_coord取值为5，用以更加重视位置检测损失，所述的超参数λ_noobj取值为0.5，对没有对象的网格，减少对其位置置信度的关注。

所述的步骤13)中，通过相机几何成像模型获取引导车与前向障碍物之间的距离，具体为：

假设引导车在水平的路面上行驶时，投影模型为理想几何模型，影机与地面平行，通过引导车所行驶的路面与引导车本体构成的几何坐标结合摄像头所标定得到的内参计算引导车与前向障碍物之间的距离Z，则有：

Z＝f*H/y＝F*H/Y

其中，f表示摄像头的焦距，y为前向障碍物与路面的接触点与图像中线的距离，H为摄像头与地面之间的距离，F为摄像机的等效垂直焦距，Y为引导车底部到图像中间位置的像素数。

所述的驾驶员异常行为检测子系统进行驾驶员异常行为检测包括以下步骤：

21)在引导车安装用以获取驾驶室视频的摄像头，并对摄像头进行内外参标定；

22)构建并训练驾驶员异常行为检测模型；

23)通过训练好的驾驶员异常行为检测模型进行异常行为检测，具体为：

基于对比学习，将异常行为检测模型提取到的图像行为特征向量与正常驾驶行为的特征向量进行对比，若向量差值小于异常阈值，则判断为正常驾驶行为，反之则为异常驾驶行为。

所述的步骤22)中，驾驶员异常行为检测模型包括：

基于3D-CNN的视频流特征提取模块：用以提取驾驶室视频图像流的特征，得到512维度的特征向量；

两层全连接网络模块：用以压缩和交互视频图像流的高维特征，输入512维度的特征向量，得到128维度的特征向量；

L2正则化的网络模块：用以对特征向量进行归一化，使得其能够进行对比，输入128维度的特征向量，得到正则化的128维度的特征向量。

在训练驾驶员异常行为检测模型过程中，模型以最大化正常驾驶行为v_ny和v_nx之间的相似度，同时最小化正常驾驶行为v_ny和异常驾驶行为v_am之间的相似度为目标，进行优化迭代，则损失函数

的表达式为：

其中，

为指示函数，当x≠y时返回1，其余情况返回0，τ为温度系数，K为正常行为的数量，M为异常行为的数量，L_xy代表正样本x的一对正对与其所有负对组成的最小损失函数。

所述的车道线偏离预警子系统通过基于USFC的车道线检测模型进行车道线检测，通过输入的前视视频图像获取车道线检测信息进行车道线偏离预警，当择一满足以下条件时，则标识符值为1发出预警：

u＝θ＞θ₀

u＝L/v＜t₀

其中，u为判定是否发出预警的标识符，如果u＝1则发出预警，u＝0则不发出预警，d₁为当前车辆左方车道线距离车辆中心的距离，d₂为当前车辆右方车道线距离车辆中心的距离，W为车辆宽度，D₀为所设定的车辆偏离阈值，θ为车道线偏离角度，θ₀为对应的车道线偏离角度的阈值，t₀为对应的驶出车道线的阈值时间，L为完全驶出当前车道的距离，v为当前车速。

与现有技术相比，本发明具有以下优点：

本发明针对目前驾驶员辅助系统往往局限于单一车辆和现有非学习方法问题提出了一种驾驶辅助系统，能够高效而鲁棒的完成驾驶辅助任务，并能方便地部署在现有的智能驾驶系统中，从而使智能车列引导车能提前发现前撞危险、车道偏离危险和避免驾驶员分心驾驶，及时地做出反应和预警，提高行驶过程中的安全性。

附图说明

图1为本发明中前撞子系统示意图。

图2为本发明中驾驶员异常行为检测子系统示意图。

图3为本发明中车道线偏离预警子系统示意图。

图4为本发明中前撞预警子系统中的YOLO模块结构示意图。

图5为本发明中前撞预警子系统中的前向障碍物距离估计模块原理示意图

图6为本发明中驾驶员异常行为检测子系统中的3D-CNN结构示意图。

图7为本发明中驾驶员异常行为检测子系统中的全连接层和L2正则化结构图。

图8为本发明中车道线偏离预警子系统中的USFC结构图。

图9为本发明中车道线偏离预警子系统中道偏离预警算法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明提供一种基于深度学习的引导车驾驶辅助系统，该系统包括前向碰撞预警子系统、驾驶员异常行为检测子系统和车道线偏离预警子系统，在前向碰撞预警子系统中，采用基于YOLO-V5的障碍物预警模型实现对前向障碍物的快速高效检测，随后基于相机几何成像模型估计出前向障碍物与车辆之间的距离；驾驶员异常行为检测子系统则基于对比学习，通过判断特征向量偏移量是否大于阈值γ来检测是否为异常行为。在车道线偏离预警子系统中，采用USFC算法来实现对车道线的高效、鲁棒、准确检测，通过相对位置判断是否发生偏离。

构建上述引导车驾驶辅助系统的步骤如下：

1)建立前撞预警子系统，具体步骤如下：

(1-1)在引导车安装用以获取前视视频的摄像头，并对摄像头的内外参进行标定，标定内参用于消除镜头造成的图像畸变，标定外参用于确定图像上的点对应在现实世界中的位置，标定过程可以参考棋盘法，用待标定摄像头拍摄多张包含棋盘标定板的图像，然后输入Matlab的Calibration工具箱中，得到摄像头的内外参；

(1-2)构建障碍物预警模型，并使用构建的数据进行训练，得到理想的网络参数，具体为：

首先，建立基于YOLOv5的目标检测网络，用于将输入的前视视频图像信息进行物体检测，得到前向障碍物的检测框信息；

然后，建立基于相机几何成像模型的距离检测模块，将上步骤中的障碍物检测信息输入到该模块中，估计障碍物与车辆之间的距离，其过程如下：

通过引导车所行驶的路面与引导车本体构成的几何坐标结合摄像头所标定得到的内参来计算引导车与前向障碍物之间的距离，其中，假设引导车在水平的路面上行驶时，投影模型为理想几何模型，影机与地面平行，设p点表示摄像头，其相对于车的体积来说很小，可看成质点，f表示摄像头的焦距，H为摄像头与地面之间的距离，y为前向障碍物B与路面的接触点与图像中线的距离，假设Z为引导车A和前向障碍物B之间的实际距离，根据三角形相似原理可得：y/f＝H/Z，由此，可以得到引导车与前向障碍物之间的实际距离为：

Z＝f*H/y

摄像头参数设定后，引导车与前向障碍物之间的实际距离的计算公式可写为下式：

Z＝f*H/y＝F*H/Y

其中，F为摄像机的等效垂直焦距，Y为车辆底部到图像中间位置的像素数。

最后，数据集输入YOLO v5网络，训练YOLO v5网络，利用损失函数反向传播，进行网络参数的更新，得到最终结果，其损失函数为：

其中，超参数λ_coord＝5，更加重视位置检测损失；λ_noobj＝0.5，对没有对象的网格，减少对其位置置信度的关注，，x_i为网格i上的预测框中心在x轴上的位置，

为网格i上的真实框中心在x轴上的位置，y_i为网格i上的预测框中心在y轴上的位置，

为网格i上的真实框中心在y轴上的位置，S²为一张图片共划分为S×S块网格，B为每一网格中预测框数量，w_i为网格i上预测框的宽度，

为网格i上真实框的宽度，h_i为网格i上预测框的高度，

为网格i上真实框的高度，C_i为网格i上预测框的置信度，

为网格i真实框的置信度，

为判断第i个网格中的第j个预测框是否对应真实框，若是则为1，反之为0，

为判断第i个网格中的第j个预测框是否不对应真实框，若是则为1，反之为0，pi(c)为网格i上是否为第c类的概率预测，

为网格i上第c类的真值，Localization error为坐标预测损失，Confidence error为置信度预测损失，Class probabilities error为类别预测损失。

(1-3)构建ROS读取通讯机制，对实时视频信息进行前向障碍物预警，ROS通信机制包括视频流输出节点、网络数据读取节点和网络输出节点。

2)建立驾驶员异常行为检测子系统，具体步骤如下：

(2-1)在引导车安装用以获取驾驶室视频的摄像头，并对摄像头的内外参进行标定，标定内参用于消除镜头造成的图像畸变，标定外参用于确定图像上的点对应在现实世界中的位置，标定过程可以参考棋盘法，用待标定摄像头拍摄多张包含棋盘标定板的图像，然后输入Matlab的Calibration工具箱中，得到摄像头的内外参；

(2-2)构建驾驶员异常行为检测模型，具体为：

首先，建立基于3D-CNN的视频流特征提取模块，用于将输入的驾驶室视频图像流进行特征提取，得到512维度的特征向量；

然后，建立两层全连接网络模块，将512维度的特征向量输入其中，得到128维度的特征向量；

之后，建立L2正则化的网络模块，将128维度的特征向量输入其中，得到正则化后的128维度向量，将其与训练得到的正常驾驶行为的特征向量进行对比，若差异小于某一阈值则为正常驾驶行为，反之则为异常驾驶行为。

在训练驾驶员异常行为检测模型过程中，假设有K个正常行为，有M个异常行为，将它们标号为z∈1，...，K+M，同时将第x对正常行为和异常的输出特征向量标注为v_nx和v_ax，故针对每一个正常样本，我们共可以选出K(K-1)个正对和KM对负对，则损失函数

的表达式为：

其中，

为指示函数，当j≠i时返回1，其余情况返回0，τ为温度系数，L_xy代表正样本x的一对正对和其所有负对组成的最小损失函数，由于特征向量v已经经过归一化，则

代表余弦相似度。模型以最大化正常驾驶行为v_ny和v_nx之间的相似度，同时最小化正常驾驶行为v_ny和异常驾驶行为v_am之间的相似度为目标，进行优化迭代。

(2-3)构建ROS读取通讯机制，对实时视频信息进行驾驶员异常行为检测，ROS通信机制包括视频流输出节点、网络数据读取节点和网络输出节点。

3)建立车道线偏离子系统，具体步骤如下：

(3-1)在引导车安装用以获取前视视频的摄像头，并对摄像头的内外参进行标定，标定内参用于消除镜头造成的图像畸变，标定外参用于确定图像上的点对应在现实世界中的位置，标定过程可以参考棋盘法，用待标定摄像头拍摄多张包含棋盘标定板的图像，然后输入Matlab的Calibration工具箱中，得到摄像头的内外参；

(3-2)构建车道线偏离模型，并使用构建的数据进行训练，得到理想的网络参数，具体为：

首先，建立基于USFC的车道线检测网络，用于根据输入的前视视频的图像信息进行车道线检测，得到车道线检测信息。其区别于已有车道线检测算法将问题建模为全像素分割问题，将车道线检测问题建模为寻找车道线在图像中某些行的位置的集合，即基于行方向上的位置选择、分类，只需要处理人为设定的h个行分类问题，每个行的分类问题是w维的。

(3-3)建立综合多场景阈值的TLC模型，将上步骤中的车道线检测信息输入模块中，该模块通过相对位置来进行车道线预警，根据不同的道路场景选取了一个综合多场景的阈值，以确保整个偏离预警更加精准，则有：

u＝d₁-W/2＜D₀；or u＝d₂-W/2＜D₀；or u＝θ＞θ₀；or u＝L/v＜t₀。

其中，u为判定是否发出预警的标识符，如果u＝1则发出预警，而u＝0则不发出预警，d₁为当前车辆左方车道线距离车辆中心的距离，d₂为当前车辆右方车道线距离车辆中心的距离，W为车辆宽度，D₀为所设定的车辆偏离阈值，θ为车道线偏离角度，θ₀为对应的车道线偏离角度的阈值，t₀为对应的驶出车道线的阈值时间，L为完全驶出当前车道的距离，v为当前车速。

(3-4)构建ROS读取通讯机制，对实时视频信息进行车道线偏移预警，ROS通信机制包括视频流输出节点、网络数据读取节点和网络输出节点。

综上，本发明提出了一种基于深度学习的引导式物流车引导车驾驶辅助系统，可以高效而鲁棒的完成驾驶辅助任务，并能方便地部署在现有的智能驾驶系统中，从而使智能车列跟随车能提前发现前撞危险、车道偏离危险和避免驾驶员分心驾驶，及时地做出反应和预警，提高了行驶过程中的安全性。

熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的引导车驾驶辅助系统，其特征在于，该系统包括：

前向碰撞预警子系统：通过障碍物检测模型检测前向障碍物，并建立相机位姿估计预测前向障碍物与引导车之间的距离以进行碰撞判断预警；

驾驶员异常行为检测子系统：建立基于对比学习的驾驶员异常行为检测模型，以判断驾驶员是否发生驾驶异常行为；

车道线偏离预警子系统：通过USFC车道线检测模块检测车道线，并建立多阈值TLC模型算法基于相对位置判断是否发生车道线偏离；

ROS读取通讯机制子系统：包括视频流输出节点、网络数据读取节点和网络输出节点，用以实现各子系统的数据通信。

2.根据权利要求1所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的前向碰撞预警子系统的进行碰撞判断预警包括以下步骤：

11)在引导车安装用以获取前视视频的摄像头，并对摄像头进行内外参标定；

12)构建并训练障碍物检测模型，用于对交通场景中包括车辆和行人的障碍物进行检测；

13)建立相机几何成像模型，用于从障碍物检测模型中获取检测信息，估计引导车与前向障碍物之间的距离；

14)当引导车与前向障碍物之间的距离低于距离阈值时进行报警。

3.根据权利要求2所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的步骤12)中，障碍物检测模型具体为基于YOLOv5的目标检测网络。

4.根据权利要求3所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的障碍物检测模型在训练时，其损失函数的表达式为：

其中，λ_coord、λ_noobj分别为超参数，x_i为网格i上的预测框中心在x轴上的位置，

为网格i上的真实框中心在x轴上的位置，y_i为网格i上的预测框中心在y轴上的位置，

为网格i上的真实框中心在y轴上的位置，S²表示一张图片共划分为S×S块网格，B为每一网格中预测框数量，w_i为网格i上预测框的宽度，

为网格i上真实框的宽度，h_i为网格i上预测框的高度，

为网格i上真实框的高度，C_i为网格i上预测框的置信度，

为网格i真实框的置信度，

为判断第i个网格中的第j个预测框是否对应真实框，若是则为1，反之为0，

为判断第i个网格中的第j个预测框是否不对应真实框，若是则为1，反之为0，p_i(c)为网格i上是否为第c类的概率预测，

为网格i上第c类的真值，Localizationerror为坐标预测损失，Confidence error为置信度预测损失，Class probabilities error为类别预测损失。

5.根据权利要求4所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的超参数λ_coord取值为5，用以更加重视位置检测损失，所述的超参数λ_noobj取值为0.5，对没有对象的网格，减少对其位置置信度的关注。

6.根据权利要求3所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的步骤13)中，通过相机几何成像模型获取引导车与前向障碍物之间的距离，具体为：

假设引导车在水平的路面上行驶时，投影模型为理想几何模型，影机与地面平行，通过引导车所行驶的路面与引导车本体构成的几何坐标结合摄像头所标定得到的内参计算引导车与前向障碍物之间的距离Z，则有：

Z＝f*H/y＝F*H/Y

其中，f表示摄像头的焦距，y为前向障碍物与路面的接触点与图像中线的距离，H为摄像头与地面之间的距离，F为摄像机的等效垂直焦距，Y为引导车底部到图像中间位置的像素数。

7.根据权利要求1所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的驾驶员异常行为检测子系统进行驾驶员异常行为检测包括以下步骤：

21)在引导车安装用以获取驾驶室视频的摄像头，并对摄像头进行内外参标定；

22)构建并训练驾驶员异常行为检测模型；

23)通过训练好的驾驶员异常行为检测模型进行异常行为检测，具体为：

基于对比学习，将异常行为检测模型提取到的图像行为特征向量与正常驾驶行为的特征向量进行对比，若向量差值小于异常阈值，则判断为正常驾驶行为，反之则为异常驾驶行为。

8.根据权利要求7所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的步骤22)中，驾驶员异常行为检测模型包括：

基于3D-CNN的视频流特征提取模块：用以提取驾驶室视频图像流的特征，得到512维度的特征向量；

两层全连接网络模块：用以压缩和交互视频图像流的高维特征，输入512维度的特征向量，得到128维度的特征向量；

L2正则化的网络模块：用以对特征向量进行归一化，使得其能够进行对比，输入128维度的特征向量，得到正则化的128维度的特征向量。

9.根据权利要求8所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，在训练驾驶员异常行为检测模型过程中，模型以最大化正常驾驶行为v_ny和v_nx之间的相似度，同时最小化正常驾驶行为v_ny和异常驾驶行为v_am之间的相似度为目标，进行优化迭代，则损失函数

的表达式为：

其中，

为指示函数，当x≠y时返回1，其余情况返回0，τ为温度系数，K为正常行为的数量，M为异常行为的数量，L_xy代表正样本x的一对正对与其所有负对组成的最小损失函数。

10.根据权利要求1所述的一种基于深度学习的引导车驾驶辅助系统，其特征在于，所述的车道线偏离预警子系统通过基于USFC的车道线检测模型进行车道线检测，通过输入的前视视频图像获取车道线检测信息进行车道线偏离预警，当择一满足以下条件时，则标识符值为1发出预警：

u＝θ＞θ₀

u＝L/v＜t₀

其中，u为判定是否发出预警的标识符，如果u＝1则发出预警，u＝0则不发出预警，d₁为当前车辆左方车道线距离车辆中心的距离，d₂为当前车辆右方车道线距离车辆中心的距离，W为车辆宽度，D₀为所设定的车辆偏离阈值，θ为车道线偏离角度，θ₀为对应的车道线偏离角度的阈值，t₀为对应的驶出车道线的阈值时间，L为完全驶出当前车道的距离，v为当前车速。

Images