CN114782678A - 一种先全局定位后局部检测的车道线检测方法 - Google Patents

Abstract

本发明公开了一种先全局定位后局部检测的车道线检测方法，按照先全局后部分的思想，通过基于全局检测的车道线检测算法，先全局定位，后精准检测；先使用以ResNet为基础改进的车道线回归坐标回归网络，全局检测车道线的大体位置，后将全局检测结果输入改进的K‑means算法，精确检测车道线位置。本发明对K‑means算法的主要改进为：对于每张图像的处理，不再初始化质心，而是继续使用上一帧图像的聚类结果代替初始化质心。这大大减少了计算量，提高了检测速度。本发明不仅减少网络模型的参数和计算复杂度，节约计算资源，还可以避免局部检测不准确的弊端。

Description

一种先全局定位后局部检测的车道线检测方法

技术领域

本发明涉及自动驾驶辅助中的车道线检测技术领域，尤其涉及一种先全局定位后局部检测的车道线检测方法。

背景技术

当今社会汽车工业技术与经济水平的飞速发展，使得全世界机动车辆的保有量迅速攀升。汽车的广泛普及给人们的生活带来便利的同时也给人们的生命安全造成了很多问题，如交通拥堵、交通事故、环境污染等。随着车辆交通事故的增多，道路行车安全变得越加重要，汽车的自动驾驶和高级辅助驾驶功能受到了越来越多的关注和研究。在自动驾驶和高级驾驶辅助系统中，基于视觉的车道线检测是自动驾驶和高级驾驶辅助系统中的车道偏移报警系统(LDW)和车道保持系统(LKA)的核心，其主要功能为：可以安全引导自动驾驶车辆行驶到规定的主车道内的正确位置，保障驾驶车辆安全规范行驶。

现有的车道线检测方法主要分为传统图像处理方法和基于深度学习的方法：

(1)基于图像处理的传统方法：早期的车道线检测算法采用经典方法，通过图像预处理、特征提取来提取车道标识。这些特征主要是颜色特征和纹理特征。这些特征通过霍夫变换或卡尔曼滤波器等算法结合，在识别出车道线后采用后处理拟合的方式形成最终的车道线。这些传统的方法具有计算成本低的优点，但它们只能在有限的场景中进行，并且对光照条件、行驶车辆遮挡、道路的磨损状态等非常敏感。因此，当车道线标识出现纹理遮挡或者道路车道标识没有或者因时间久远而褪去时，车道线检测基本上很难通过人工提取特征进行检测，在这些复杂的道路场景情况下，基于图像处理的传统方法很难胜任自动驾驶的车道线检测任务。

(2)基于深度学习的检测方法：随着深度学习的发展，深度学习在图像分类、目标检测和语义分割等计算机视觉任务中表现出了优异的性能，基于神经网络的深度学习方法已成功应用于车道线检测任务中。大多数基于深度学习方法使用卷积神经网络(CNN)提取特征，其主流的方法是基于语义分割，将车道线检测视为一种语义分割任务，其中每个像素被预测为一个类别标签，以表明该像素是否属于图像中的车道标识。这些方法证明了利用CNN可以提取出车道的高级语义特征，可以在一些复杂的道路情况下有效地分割和检测到车道线。通过卷积神经网络等深度学习中的语义分割方法可以扩大感受野，提高对图像中上下文的关联特征信息的提取，这样对于车道线标识出现纹理遮挡或者道路车道标识没有或者因时间久远而褪去时也可以检测出车道线。对于车道线检测方法实际应用来说，算法模型偏向于可在对计算资源有限的嵌入式等设备上运行，且保证模型在速度与精度上更好的平衡。但是这种方法计算量极大，对硬件要求较高，导致装车成本较高，不利于大面积应用于市场。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种先全局定位后局部检测的车道线检测方法。

本发明为解决上述技术问题采用以下技术方案：

一种先全局定位后局部检测的车道线检测方法，包括以下步骤：

步骤1)，获取待识别图像，并确定ROI区域为消失点下方的大小为1792×448的部分，确定输入图像的分辨率大小为224×224；

步骤2)，建立车道线坐标回归网络ResNet-17，设定从第一层到第四层的卷积层，即为四个减半层的卷积核大小为6×6，步幅是2，填充为2；第五层为恒等映射层，设置其卷积核大小为1×1，步幅是1，填充为0；第六层也为减半层，卷积核大小为6×6，步幅是2，填充为2；车道线坐标回归网络ResNet-17对特征图进行五次减半层，使得最终特征图由224×224变为7×7；

确定标注方式为点坐标标记，确定训练采用的平方损失函数，公式表示为

L[Y,f(x)]＝(Y-f(x))²

其中，f(x)表示深度学习网络的预测值，Y表示真实值，L表示预测值与单个样本的差异的损失函数；

步骤3)，将分辨率大小为224×224的图像输入ResNet-17车道线坐标回归网络，对车道线特征进行提取，获取其车道线的定位信息；

步骤4)，依靠获取的车道线定位信息，在ROI区域以每个定位点为中心按照50×50的尺寸将含有车道线的部分裁剪下来；

步骤5)，将步骤4)中裁剪得到的图像每六张依次连接拼成一张图片，在聚类后，二值化处理拼成的图像；

步骤5.1)，将步骤4)中裁剪得到的图像每六张依次连接拼成一张图片，然后将其像素值展开排成一列并随机选三个像素值当作质心；

步骤5.2)，展开像素值平方的矩阵x²，

展开质心平方矩阵μ²，

展开相乘项矩阵2×μ×x，

使用x²+μ²-2×μ×x即可求出每个样本到质心之间的距离；

步骤5.3)，根据矩阵每一行的最小值，确定其属于的类别，并重新计算质心；

步骤5.4)，重复上述步骤，直至平方损失误差达到0.01；

步骤5.5)，从第二张图像开始，在进行聚类时，把步骤5.1)中的随机设定质心改变为使用上一张图像步骤5.1)计算而来的质心进行本次聚类质心初始化；

步骤5.6)，对每一张图像重复步骤5.2)至步骤5.4)进行聚类；

步骤5.7)，二值化处理拼成的图像；

步骤6)，将步骤5)得到的图像剪切分离，还原为6张图片，依次计算每张图片的重心，获得车道线的精准位置；

步骤7)，通过精确的车道线位置信息使用最小二乘法拟合出车道线。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明不仅减少网络模型的参数和计算复杂度，节约计算资源，还可以避免局部检测不准确的弊端。

附图说明

图1是本发明车道线检测算法流程示意图；

图2是本发明车道线坐标回归网络ResNet-17的特征图尺寸变换示意图；

图3是本发明车道线坐标回归网络ResNet-17的网络结构示意图；

图4是本发明裁剪下的图像拼接方式示意图；

图5是本发明二值化拼接图像后的效果示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。

应当理解，尽管这里可以使用术语第一、第二、第三等描述各个元件、组件和/或部分，但这些元件、组件和/或部分不受这些术语限制。这些术语仅仅用于将元件、组件和/或部分相互区分开来。因此，下面讨论的第一元件、组件和/或部分在不背离本发明教学的前提下可以成为第二元件、组件或部分。

本实施例提供了一种基于深度神经网络的道路车道线检测方法，方法流程如附图1所示，包括以下步骤：

步骤1)，获取待识别图像，并确定ROI区域为消失点下方的大小为1792×448的部分，确定输入图像的分辨率大小为224×224；

步骤2)，将图像输入车道线坐标回归网络，该网络命名为ResNet-17，对整图车道线特征进行提取，获取整图车道线的定位信息；

具体地，本发明设计的网络需要对特征图进行五次减半层，最终特征图由输入的224×224变为输出的7×7，变换过程如附图2所示。设定从第一层到第四层的卷积层，即为四个减半层的卷积核大小为6×6，步幅是2，填充为2。第五层为恒等映射层，设置其卷积核大小为1×1，步幅是1，填充为0。第六层也为减半层，卷积核大小为6×6，步幅是2，填充为2。具体结构如附图3所示。

确定标注方式为点坐标标记，确定训练采用平方损失函数；公式表示为

L[Y,f(x)]＝(Y-f(x))²

其中，f(x)表示深度学习网络的预测值，Y表示真实值，L表示预测值与单个样本的差异的损失函数；

步骤3)，将分辨率大小为224×224的图像输入ResNet-17车道线坐标回归网络，对车道线特征进行提取，获取其车道线的定位信息；

步骤4)，依靠ResNet-17车道线坐标回归网络获取的车道线定位信息，在ROI区域，即分辨率大小为1792×448的图像中以每个定位点为中心按照50×50的尺寸将含有车道线的部分裁剪下来。将裁剪下来的图像每六张依次连接拼成一张图片，如附图4所示。

步骤5)，将拼接好的图像输入到基于K-means改进的局部车道线重心检测算法，在聚类后，二值化该图像，如附图5所示。

步骤5.1)，将拼接好的图像的像素值展开排成一列并随机选三个像素值当作质心；

步骤5.2)，展开像素值平方的矩阵x²)，

展开质心平方矩阵μ²)，

展开相乘项矩阵2×μ×x)，

使用x²+μ²-2×μ×x即可求出每个样本到质心之间的距离；

步骤5.3)，根据矩阵每一行的最小值，确定其属于的类别，并重新计算质心；

步骤5.4)，重复上述步骤，直至平方损失误差达到0.01；

步骤5.5)，从第二张图像开始，在进行聚类时，把步骤5.1)中的随机设定质心改变为使用上一张图像步骤5.1)计算而来的质心进行本次聚类质心初始化；

步骤5.6)，对每一张图像重复步骤5.2)至步骤5.4)进行聚类；

步骤5.7)，二值化处理拼成的图像。如附图5所示。

步骤6)，将拼接得到的图像剪切分离，还原为6张图片，依次计算每张图片的重心，获得车道线的精准位置。

步骤7)，通过精确的车道线位置信息使用最小二乘法拟合出车道线。

本发明主要按照先全局后部分的思想，通过基于全局检测的车道线检测算法，先全局定位，后精准检测。先使用以ResNet为基础改进的车道线回归坐标回归网络，全局检测车道线的大体位置，后将全局检测结果输入改进的K-means算法，精确检测车道线位置。本发明对K-means算法的主要改进为：对于每张图像的处理，不再初始化质心，而是继续使用上一帧图像的聚类结果代替初始化质心。这大大减少了计算量，提高了检测速度。本发明不仅减少网络模型的参数和计算复杂度，节约计算资源，还可以避免局部检测不准确的弊端。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种先全局定位后局部检测的车道线检测方法，其特征在于，包括以下步骤：

步骤1)，获取待识别图像，并确定ROI区域为消失点下方的大小为1792×448的部分，确定输入图像的分辨率大小为224×224；

步骤2)，建立车道线坐标回归网络ResNet-17，设定从第一层到第四层的卷积层，即为四个减半层的卷积核大小为6×6，步幅是2，填充为2；第五层为恒等映射层，设置其卷积核大小为1×1，步幅是1，填充为0；第六层也为减半层，卷积核大小为6×6，步幅是2，填充为2；车道线坐标回归网络ResNet-17对特征图进行五次减半层，使得最终特征图由224×224变为7×7；

确定标注方式为点坐标标记，确定训练采用的平方损失函数，公式表示为

L[Y,f(x)]＝(Y-f(x))²

其中，f(x)表示深度学习网络的预测值，Y表示真实值，L表示预测值与单个样本的差异的损失函数；

步骤3)，将分辨率大小为224×224的图像输入ResNet-17车道线坐标回归网络，对车道线特征进行提取，获取其车道线的定位信息；

步骤4)，依靠获取的车道线定位信息，在ROI区域以每个定位点为中心按照50×50的尺寸将含有车道线的部分裁剪下来；

步骤5)，将步骤4)中裁剪得到的图像每六张依次连接拼成一张图片，在聚类后，二值化处理拼成的图像；

步骤5.1)，将步骤4)中裁剪得到的图像每六张依次连接拼成一张图片，然后将其像素值展开排成一列并随机选三个像素值当作质心；

步骤5.2)，展开像素值平方的矩阵x²，

展开质心平方矩阵μ²，

展开相乘项矩阵2×μ×x，

使用x²+μ²-2×μ×x即可求出每个样本到质心之间的距离；

步骤5.3)，根据矩阵每一行的最小值，确定其属于的类别，并重新计算质心；

步骤5.4)，重复上述步骤，直至平方损失误差达到0.01；

步骤5.5)，从第二张图像开始，在进行聚类时，把步骤5.1)中的随机设定质心改变为使用上一张图像步骤5.1)计算而来的质心进行本次聚类质心初始化；

步骤5.6)，对每一张图像重复步骤5.2)至步骤5.4)进行聚类；

步骤5.7)，二值化处理拼成的图像；

步骤6)，将步骤5)得到的图像剪切分离，还原为6张图片，依次计算每张图片的重心，获得车道线的精准位置；

步骤7)，通过精确的车道线位置信息使用最小二乘法拟合出车道线。

Images