CN109002745A - 一种基于深度学习和跟踪技术的车道线实时检测方法 - Google Patents

Abstract

本发明提出了一种车道线实时高精度检测的方法。该方法结合了深度学习技术的卷积神经网络模型和Kalman跟踪技术，车道线检测速度快、精度高，可以高精度地实时检测不同复杂路况的车道线，有效去除了路面阴影、反光等自然或人为噪声的干扰。

Description

一种基于深度学习和跟踪技术的车道线实时检测方法

技术领域

本文设计一种基于深度学习技术的卷积神经网络模型和Kalman跟踪方法的车道线实时检测方法，属于计算机视觉和深度学习领域。

背景技术

随着计算机视觉技术的快速发展，如何高精度、高效率、便捷地实时检测车道线成为无人驾驶技术的关键基础和研究热点技术之一。目前，传统的车道线检测方法仍然基于计算机图形学，在对无人车获取的图像进行去噪以及图像形态学计算后，采用概率霍夫变化或者轮廓查找的方法提取车道线中的点，然后用数学方法对这些点进行筛选、分类，最终拟合成车道线。这种传统的车道线检测方法虽然速度快，但精度不高，存在一些不足：由于无法完全消除路面附近区域阴影和反光等自然环境的影响，检测误差较大，对复杂路况适用性较差；传统检测方法中的图像预处理和车道线点的筛选参数设置具有特殊性，对不同路况的普适性较差；传统车道线检测方法受到路面其他物体如车辆、行人、标识物等的干扰时容易检测失败，缺乏实际的商业利用价值。

深度学习是机器学习研究中的一个新领域，是当前机器学习领域最前沿和热门的课题之一。目前，深度学习的方法已经被广泛使用到无人车的道路检测和分割以及目标识别等方面，精度较传统方法高，但速度较慢，很难达到实时处理要求的每秒30帧的要求。

因此提出一种同时保证精度和效率的车道线实时检测方法，对于无人车领域有着深远的意义。

发明内容

本发明是为了克服上述现有技术的不足，提出的一种基于深度学习和跟踪技术的车道线实时检测方法，该方法克服了传统车道线检测方法的精度较差和普适性不佳的缺点，以及深度学习方法效率低下的不足，可以进行不同复杂路况的实时高精度车道线检测。

为了实现上述目的，本发明采用的技术方案如下：

基于深度学习和跟踪技术的车道线实时检测方法，包括如下步骤：步骤1，预先基于海量数据训练用于图像分割的基于全卷积神经网络的SegNet模型；步骤2，图像预处理，包括图像的去噪、划分兴趣区域等；步骤3，对首帧(关键帧)图像采用神经网络模型检测车道线；步骤4，对首帧后的3帧中车道线的位置采用Kalman跟踪算法预测；步骤5，末帧(关键帧)图像重复步骤3检测车道线，循环步骤3-5，直至结束。

相比于以往方法，本发明基于深度学习和跟踪技术的车道线实时检测方法具有以下有益效果：

(1)综合了深度学习技术的准确性和Kalman跟踪方法的快速性，车道线提取精度高、速度快，1秒可处理约30-40帧；

(2)采用了基于全卷积神经网络的SegNet模型，分类正确率高，共享卷积核的结构有利于处理高维度图像，输入数据灵活，效率高；

(3)有效去除了传统车道线检测方法中难以解决的高光、阴影等自然噪声的影响；

(4)对不同复杂路况的适用性较好，商业利用价值高。

附图说明

图1为本发明方法算法流程图。

图2SegNet模型结构

图3为本发明方法车道线实时检测的详细步骤和结果示意图。

具体实施方式

下面结合附图和实施例，对本发明方法的详细步骤作进一步说明。

1.预先训练SegNet模型

SegNet是基于caffe框架的旨在解决自动驾驶或者智能机器人的图像语义分割深度网络。SegNet是基于全卷积神经网络，修改VGG-16网络得到的语义分割网络。SegNet网络结构图如图2所示。前期的车道线检测模型的训练包括制作训练数据集、设计卷积神经网络结构和参数，以及模型训练等。

2.图像预处理

图像预处理包括两大内容：图像模糊，降低噪声；根据实际情况确定需要检测的车道线范围，划分兴趣区域。图像模糊采用高斯模糊方法，高斯滤波器采用7×7大小。图像兴趣区域的大小根据相机位置确定，满足的要求是兴趣区域的图像高度代表的实际距离大于最大车速下的无人车响应距离。划分兴趣区域可以进一步提高车道线检测精度和效率。

3.对车道线进行Kalman跟踪

卡尔曼滤波(Kalman filtering)是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。它的基本假设是相邻两个时刻之间系统状态不变。实际情况中，在最大车速下，3帧以内或者0.1秒以内的图像中车道线的位置变化很小，因此首帧后的连续3帧可以采用Kalman跟踪算法进行预测，其主要步骤如下：

(1)确定状态转移矩阵，矩阵中包含速度信息；

(2)获取首帧图像检测的车道线位置，作为Kalman滤波的初始位置。

(3)用首帧位置进行预测，每预测10次将结果输出

(4)预测完末帧(首帧后第4帧)，末帧预测结果和步骤5的车道线检测结果进行比较，。

4.更新Kalman跟踪并循环

利用预先训练好的SegNet模型对末帧(首帧后第4帧)图像进行车道线检测，其结果不仅作为下一次Kalman跟踪的初始状态，也和步骤4中末帧的Kalman跟踪结果进行比较，并反馈调节Kalman滤波器的参数，以使Kalman跟踪精度逐渐提高。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步说明，所用理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于深度学习和跟踪技术的车道线实时检测方法，其特征在于，包括如下步骤：

步骤1，预先基于海量数据训练用于目标分割的SegNet模型；

步骤2，图像预处理，包括图像的去噪、划分兴趣区域等；

步骤3，对首帧(关键帧)图像采用SegNet模型检测车道线；

步骤4，对首帧后的3帧图像中车道线的位置采用Kalman跟踪算法预测；

步骤5，末帧(关键帧)图像重复步骤3检测车道线，循环步骤3-5，直至结束。

2.根据权利要求1所述基于深度学习和跟踪技术的车道线实时检测方法，其特征在于，所述步骤1的具体步骤为：

(1)构建训练数据集；

(2)确定卷积神经网络相关参数

(3)模型训练

基于深度学习和跟踪技术的车道线实时检测方法采用了基于全卷积神经网络(FullConvolutional Network，FCN)的SegNet模型，分类正确率高，共享卷积核的结构有利于处理高维度图像，并且输入灵活、效率高。

3.根据权利要求1所述基于深度学习和跟踪技术的车道线实时检测方法，其特征在于，所述步骤2的具体步骤为：

(1)图像模糊，降低噪声；

(2)根据实际情况确定需要检测的车道线范围，划分兴趣区域。

4.根据权利要求1所述基于深度学习和跟踪技术的车道线实时检测方法，其特征在于，所述步骤3的具体步骤为：

利用预先训练好的SegNet模型对首帧图像进行车道线的检测。SegNet模型的输入为RGB图像，输出为图像分割后的车道线。

5.根据权利要求1所述基于深度学习和跟踪技术的车道线实时检测方法，其特征在于，所述步骤4的具体步骤为：

基于深度学习和跟踪技术的车道线实时检测方法的重要前提是车道线位置在3帧以内变化很小，因此首帧后的连续3帧采用Kalman跟踪算法进行预测，每预测10次将结果输出，直至预测完末帧(首帧后第4帧)，末帧预测结果和步骤5的车道线检测结果进行比较。

6.根据权利要求1所述基于深度学习和跟踪技术的车道线实时检测方法，其特征在于，所述步骤5的具体步骤为：

利用预先训练好的SegNet模型对末帧(首帧后第4帧)图像进行车道线检测，其结果不仅作为下一次Kalman跟踪的初始状态，也和步骤4中末帧的Kalman跟踪结果进行比较，并反馈调节Kalman滤波器的参数，以使Kalman跟踪精度逐渐提高。