CN111008600A - 一种车道线检测方法 - Google Patents

Abstract

本发明公开了一种车道线检测方法，包括：构建车道线回归检测网络，通过对输入图像进行处理，获得输入图像中车道线起始位置图和车道线曲线参数图；对一系列车道线图像进行预处理，得到训练数据集；采用分类回归融合训练方法训练车道线回归检测网络，得到车道线回归检测模型；对于待检测图像，通过车道线回归检测模型获得车道线起始位置图和车道线曲线参数图，进而获得完整车道线。该方法直接预测车道线曲线参数，无需繁琐的后处理步骤，解决了现有方法在进行车道线检测时对环境干扰过于敏感而导致的检测鲁棒性差、效率低下等问题，使得车道线检测算法可应用于交通监控等复杂场景下。

Description

一种车道线检测方法

技术领域

本发明涉及智能交通技术领域，尤其涉及一种车道线检测方法。

背景技术

随着视频监控技术和深度学习技术的发展，智能交通系统成为未来交通系统的发展方向，可以缓解日益加剧的城市交通拥堵顽疾，减少交通违章和恶性交通事故现象，也为各类交通事故以及人身财产安全的事后处理提供有力的证据。而在这个过程中，车道线作为机动车辆在道路上的规则线，是评判机动车辆是否存在违规的重要因素之一，故车道线检测系统是智能交通系统的重要组成部分之一。

目前车道线检测的传统方法主要是基于图像处理手段从图像中提取车道线的边缘特征，从而确定车道线的位置。在专利CN21051044724《车道线检测方法和装置》中，采用动态双阈值算法来提取车道线边缘，确定车道线位置来实现车道线检测。在专利CN201810688772《一种车道线检测方法》中，采用局部灰度阈值方法提取边缘特征，之后再将属于同一车道线的像素点进行聚类从而实现车道线的检测。上述方法都是针对车道线较为清晰完整、光照均匀、不存在遮挡等的简单场景，如高速公路。如果直接将其应用在交通监控等场景，不均匀光照、残缺模糊车道线、复杂背景等环境因素将会严重影响车道线检测算法的效果，会导致所得到的边缘信息缺失甚至错误，进而漏检或者错检车道线。可见，传统的车道线检测方法对环境因素过于敏感，鲁棒性较差，无法用于交通监控等复杂场景。

随着深度学习的成熟，车道线检测技术开始与深度学习技术相结合。在专利CN201710957247《一种基于多任务网络的车道线检测方法》中，采用多任务神经网络，输出检测框框定车道线的各个部分，之后再进行聚类以及车道线拟合等后处理步骤得到完整的车道线。在专利CN201810459204《一种基于并联卷积神经网络的车道线检测方法》中，采用并联卷积神经网络，分别来检测不同的对象，从而实现不同车道线的分割检测。使用深度学习方法进行车道线检测，可以在一定程度上提升车道线检测算法的鲁棒性和准确性。

然而上述的传统方法和基于深度学习的方法，都仍存在较大的技术瓶颈。这两种方法都需要繁琐的后处理步骤，将在图像中检测到的车道线像素点进行聚类或拟合成整条的车道线，当场景复杂时，会存在大量的噪声点，严重影响检测的精度和速度。

发明内容

本发明的目的是提供一种车道线检测方法，解决了现有车道线检测算法鲁棒性差、后处理步骤繁琐、效率较低等问题。

本发明的目的是通过以下技术方案实现的：

一种车道线检测方法，包括：

构建车道线回归检测网络，通过对输入图像进行处理，获得输入图像中车道线起始位置图和车道线曲线参数图；

对一系列车道线图像进行预处理，得到训练数据集；

采用分类回归融合训练方法训练车道线回归检测网络，得到车道线回归检测模型；

对于待检测图像，通过车道线回归检测模型获得车道线起始位置图和车道线曲线参数图，进而获得完整车道线。

由上述本发明提供的技术方案可以看出，直接预测车道线曲线参数，无需繁琐的后处理步骤，解决了现有方法在进行车道线检测时对环境干扰过于敏感而导致的检测鲁棒性差、效率低下等问题，使得车道线检测算法可应用于交通监控等复杂场景下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种车道线检测方法的流程图；

图2为本发明实施例提供的车道线回归检测网络的示意图；

图3为本发明实施例提供的车道线检测处理流程图

图4为本发明实施例提供的车道线回归检测模型输出示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种车道线检测方法，无需显式地进行图像车道线分割，具有更高的执行效率；本发明的网络模型可以识别任意多条车道线，待检测车道线数目不要求固定；使用深度神经网络直接预测车道线的曲线参数，是一种端到端的检测方法，不需要任何繁琐的后处理步骤，算法效率高，准确度高，鲁棒性强。该方法主要包括如下步骤：

步骤1、构建车道线回归检测网络，通过对输入图像进行处理，获得输入图像中车道线起始位置图和车道线曲线参数图。

本发明实施例中，车道线回归检测网络是专门设计的深度神经网络，无需显式地进行图像车道线分割，具有更高的执行效率。

如图2所示，所述车道线回归检测网络主要包括：卷积网络特征提取模块、车道线起始点检测模块和车道线曲线参数预测模块；其中，车道线起始点检测模块和车道线曲线参数预测模块均接在卷积网络特征提取模块之后，即两者共享特征提取。

1)卷积网络特征提取模块。

本发明实施例中，卷积网络特征提取模块将输入图像转换为空间尺寸更小的特征图。通常来说，输入图像为车道线图像。

所述卷积网络特征提取模块主要包括依次连接的卷积层、激活层与下采样层(如BiSeNet)假设输入图像大小为h×w×3，通过卷积层、激活层与下采样层后，输出特征图的大小为

其中，h代表图像高度，w代表图像宽度，3代表图像通道(例如RGB通道)，n代表下采样倍数，c代表所提取的特征图的通道数。该模块通过卷积网络能够提取图像的丰富语义信息，同时通过调整下采样倍数n能够均衡空间分辨率和处理计算量。

2)车道线起始点检测模块。

所述车道线起始点检测模块，利用提取出的特征图，生成表征车道线起始点的位置图，该模块由一个卷积层构成(如卷积核大小为3，步幅为1)，其输入是大小为

的特征图，输出的车道线起始位置图大小为

其中，2代表车道线起始位置图的通道数。

特别地，车道线起始点为图像中车道线与图像边缘(如左右边缘与下边缘)的相交点，因此只在输出位置图的边缘进行检测车道线起始点。由于输出位置图的尺寸是原始输入图像尺寸的1/n，因此对于输出位置图边缘上每一个点，其在原始输入图像上对应n×n的区域，则输出位置图边缘每个点对应的2个通道值分别表示其对应n×m区域的中心点与任一车道线起始点距离大于和小于设定阈值的概率。该模块能够检测任意数量的车道线起始点，无需固定车道线数量。

3)车道线曲线参数预测模块。

所述车道线曲线参数预测模块，利用提取出的特征图，生成表征车道线曲线的参数图，该模块由一个卷积层构成(如卷积核大小为3，步幅为1)，其输入是大小为

的特征图，输出车道线曲线参数图大小为

其中，p代表车道线曲线参数图的通道数。特别地，对于参数图上每个特征点，只有当特征点在任意一条车道线上时才进行预测，每个特征点对应的p个通道的值为一条p-1次多项式曲线的各个项的系数，这里把多项式系数作为曲线参数。

步骤2、对一系列车道线图像进行预处理，得到训练数据集。

本发明实施例中，对图像进行预处理并提取车道线标注信息(已知信息)，建立车道线回归检测网络所需的训练数据集。首先，对输入的交通采集图像进行缩放，使其长宽均为n的整数倍，其中的n为卷积网络特征提取模块中下采样倍数；再进行车道线起始点定位和车道线采样。具体来说：

1)车道线起始点定位。

车道线起始点定位是指，对输入图像中的车道线起始点坐标进行处理，为车道线起始点检测模块提供监督信息：首先构建一个大小为

的起始点矩阵，每个点对应输入图像的n×n区域；然后根据标注信息获取所有车道线在输入图像上的起始点坐标，当起始点矩阵的边缘上任意一个点对应的n×n区域中心点与任一车道线起始点距离小于设定阈值时，则起始点矩阵中相应边缘点的值设为1，否则设为0。

本发明实施例中，由于车道线起始点位于图像的(左右下)边缘，因此，矩阵边缘对应于图像上的边缘，即矩阵边缘是指矩阵中的第一列、最后一列以及最后一行。

2)车道线采样。

车道线采样是指，对输入图像中的车道线坐标进行处理，为车道线曲线参数预测模块提供监督信息，具体地，首先构建一个大小为

的参数矩阵，之后对图像中所有的车道线进行均匀采样出m/2个点；对于该参数矩阵上每个点，若其对应输入图像中任意一条车道线上的坐标点，将该车道线采样出的m/2个点减去参数矩阵中相应点对应输入图像中坐标，并除以输入图像宽高进行归一化，放入m个通道中，其余参数点m个通道均置0；遍历完后，将该参数矩阵进行输出保存，作为对应图片的监督信息。经过车道线采样，得到离散的车道线信息，方便之后车道线曲线参数模块loss(损失)的计算。

本发明实施例中，步骤1与步骤2不区分执行的先后顺序，可以先执行步骤1或步骤2，也可以二者同步执行。

步骤3、采用分类回归融合训练方法训练车道线回归检测网络，得到车道线回归检测模型。

本发明实施例中，利用训练数据集，根据设计的车道线检测损失函数，对车道线回归检测网络进行端到端训练，所述车道线检测损失函数包括：起始点检测损失函数和车道线曲线回归损失函数。

1)起始点检测损失函数。

起始点检测损失函数是指，用于车道线起始点检测模块任务的损失函数，采用交叉熵损失，计算公式为L＝-[y_labellog _pre+(1-y_label)log(1-y_pre)]，其中y_label是车道线起始点定位生成的标签信息，y_pre是起始点检测模块预测的起始点位置信息；计算时，首先将起始点检测模块预测的起始点位置信息所构成的位置矩阵进行softmax操作归一化，之后对位置矩阵边缘上每个点与对应标签矩阵每个点代入公式，最后进行平均；

2)车道线曲线回归损失函数。

车道线曲线回归损失函数是指，用于车道线曲线参数预测模块任务的损失函数，采用回归问题的SmoothL1损失，计算方式为：将车道线采样点的高度坐标代入模型预测的曲线方程中，获取预测的宽度坐标，当预测宽度坐标与真实宽度坐标差值的绝对值大于设定阈值时，计算与真实宽度坐标的L1距离作为损失，否则计算与真实宽度坐标的L2距离作为损失。

本发明实施例中，曲线方程指p-1次的多项式方程，各项的系数来自于曲线参数图，对于每个在车道线上的曲线参数特征点都会生成一条p-1次多项式方程来表示其所在的车道线。

本领域技术人员可以理解，训练车道线回归检测网络是为了获得最优的模型参数，从而得到训练好的车道线回归检测网络，也即车道线回归检测模型。

步骤4、对于待检测图像，通过车道线回归检测模型获得车道线起始位置图和车道线曲线参数图，进而获得完整车道线。

如图3所示，本步骤优选实施方式如下：

1)前向推理计算即将待检测图像进行预处理，再输入至车道线回归检测模型中，得到如图4所示的车道线起始位置图和车道线曲线参数图。

2)根据获得的车道线起始位置图进行起始点过滤，获得图像中所有车道线的起始点。

具体来说：将车道线起始位置图经进行softmax操作，对经softmax后的车道线起始位置图矩阵边缘进行遍历，对于边缘上的当前点，若第2通道大于第1通道的值，且第2通道的值在以当前点为中心的设定区域中局部最大，则认为当前点为某一车道线起始点，否则过滤当前点。

3)根据得到的所有车道线的起始点以及车道线曲线参数图，进行曲线参数生成，获得对应车道线的多段曲线参数，最终得到由所有车道线的起始点和车道线曲线参数表达的完整车道线。

具体来说：将车道线视为多段曲线，根据车道线曲线参数图以及得到的每条车道线的起始点，在车道线曲线参数图上取出每条车道线起始点对应位置的曲线参数，作为每条车道线第一段曲线的参数；之后每隔固定高度Δ_h，根据上一段曲线的末端点的位置，从曲线参数图相应位置中获得下一段的曲线参数，分段获取，直至到达设定高度为止。

需要说明的是，本发明所涉及的各个参数(例如h、w、m、n等)以及各个阈值的具体数值可以由用户根据实际情况或者经验来选定。

相对于现有技术而言，本发明主要获得如下技术效果：

1)本发明无需进行车道线分割，规避了现有方法在进行车道线分割时鲁棒性差的问题。

2)使用深度神经网络进行车道线参数回归，只需一次回归过程，算法效率高。

3)无需繁琐的后处理步骤，进一步简化了车道线检测过程，提高了算法的效率与适用性。

为了便于理解，下面结合具体示例对本发明做进一步说明。

如图1所示，输入原始待处理的车道线图像数据集，构建训练所用的车道线数据集。然后利用神经网络(也即，车道线回归检测网络)在构建好的数据集上进行训练，得到训练好的网络模型(也即，车道线回归检测模型)。最后进行前向推理，获得车道线参数矩阵并进行分析，获得完整的车道线参数。

1、车道线训练数据集构建。

首先对数据集中的图像进行缩放，获得车道线网络训练的输入数据。然后根据数据集提供原始的标注信息，将同一车道线的标签点连接起来获得车道线的实例图。最后根据生成好的实例图均匀采样出若干点，并在图像边缘(下侧，左侧以及右侧)确定与各个车道线交汇处，作为车道线起始位置，最终获得车道线网络训练的标签信息。

作为示例，可以对于每条车道线均匀采样出20个点作为标签，并将图片缩放为256*512。

2、神经网络模型训练。

首先收集含有车道线的图像并进行车道线训练数据集构建，利用构建好的数据集，使用深度学习框架，建立神经网络，通过反向传播算法以及梯度下降策略，使得损失函数最小化，最终得到训练好的神经网络模型，网络模型结构图如图2所示。

作为示例，神经网络采用基于ResNet18的BiSeNet网络。

3、车道线参数矩阵获得。

首先将待检测的图像输入到训练好的车道线检测回归网络，然后网络进行前向传播，最终得到一个

的起始点位置矩阵和一个

的曲线参数矩阵，如图4所示(其中h代表图像高度，w代表图像宽度，n为网络下采样的倍数，p为曲线的多项式系数的数量)。

作为示例，取h为256，w为512，n为8，p为8，即曲线为7次多项式，含有8个多项式系数。

1)起始点过滤。

在获得起始点位置矩阵之后，进行起始点过滤来获取图像中每一条车道线的起始点。如图3所示，首先将起始点位置矩阵逐点进行softmax操作，即将各个点对应的通道值归一化到[0,1]。然后在经历softmax之后的矩阵边缘位置(下侧，左侧以及右侧)进行遍历。对于遍历经过的每一个点，该点对应两个通道，若第2个通道的值大于第1个通道的值，且为在设定的区域范围内局部最大，将该点作为某一车道线的起始点。最终，当遍历完矩阵边缘的所有位置，便获得该图像中所有车道线的起始点。

作为示例，设定的区域范围为3x3范围。

2)曲线参数生成。

根据生成的曲线参数矩阵，进行曲线参数生成来获得车道线的曲线参数表示。如图3所示，首先根据起始点过滤得到的车道线起始点作为索引，在曲线参数矩阵的对应位置取出初始段的车道曲线的p个多项式系数。然后在固定的间隔高度，将高度坐标代入初始段的多项式表示中，确定初始段车道曲线在此高度下的坐标点，在曲线参数矩阵对应位置取出下一段曲线的p个多项式系数。之后以此类推，不断在固定的间隔高度确定下一段的曲线的p个多项式系数，直至到达设定的高度为止。

作为示例，取固定的间隔高度为10个像素，设定高度为图像高的1/3处。

3)车道线完整参数。

根据起始点过滤得到的起始点，以及曲线参数生成的获得车道线的多段多项式表示，将某一起始点以及对应的车道线多段多项式认为是图像中对应车道线的完整参数。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种车道线检测方法，其特征在于，包括：

构建车道线回归检测网络，通过对输入图像进行处理，获得输入图像中车道线起始位置图和车道线曲线参数图；

对一系列车道线图像进行预处理，得到训练数据集；

采用分类回归融合训练方法训练车道线回归检测网络，得到车道线回归检测模型；

对于待检测图像，通过车道线回归检测模型获得车道线起始位置图和车道线曲线参数图，进而获得完整车道线。

2.根据权利要求1所述的一种车道线检测方法，其特征在于，所述车道线回归检测网络包括：卷积网络特征提取模块、车道线起始点检测模块和车道线曲线参数预测模块；

其中，车道线起始点检测模块和车道线曲线参数预测模块均接在卷积网络特征提取模块之后。

3.根据权利要求2所述的一种车道线检测方法，其特征在于，对交通采集图像进行预处理包括：

对输入的交通采集图像进行缩放，使其长宽均为n的整数倍，其中的n为卷积网络特征提取模块中下采样倍数；再进行车道线起始点定位和车道线采样；其中：

车道线起始点定位是指，对输入图像中的车道线起始点坐标进行处理，为车道线起始点检测模块提供监督信息：首先构建一个大小为

的起始点矩阵，每个点对应输入图像的n×n区域；然后根据预先得到的标注信息获取所有车道线在输入图像上的起始点坐标，当起始点矩阵边缘上任意一个点对应的n×n区域中心点与任一车道线起始点距离小于设定阈值时，则起始点矩阵中相应边缘点的值设为1，否则设为0；

车道线采样是指，对输入图像中的车道线坐标进行处理，为车道线曲线参数预测模块提供监督信息，具体地，首先构建一个大小为

的参数矩阵，之后对图像中所有的车道线进行均匀采样出m/2个点；对于该参数矩阵上每个点，若其对应输入图像中任意一条车道线上的坐标点，将该车道线采样出的m/2个点减去参数矩阵中相应点对应输入图像中坐标，并除以输入图像宽高进行归一化，放入m个通道中，其余参数点m个通道均置0；遍历完后，将该参数矩阵进行输出保存。

4.根据权利要求2所述的一种车道线检测方法，其特征在于，所述卷积网络特征提取模块包括依次连接的卷积层、激活层与下采样层；

输入图像大小为h×w×3，通过卷积层、激活层与下采样层后，输出特征图的大小为

其中，h代表图像高度，w代表图像宽度，3代表图像通道，n代表下采样倍数，c代表所提取的特征图的通道数。

5.根据权利要求2或3或4所述的一种车道线检测方法，其特征在于，所述车道线起始点检测模块的输入是大小为

的特征图，输出的车道线起始位置图大小为

其中，h代表图像高度，w代表图像宽度，n代表卷积网络特征提取模块中下采样倍数，c代表所提取的特征图的通道数，2代表车道线起始位置图的通道数；第1通道与第2通道的值分别表示相应点对应n×n区域的中心点与任一车道线起始点距离大于和小于设定阈值的概率。

6.根据权利要求2或3或4所述的一种车道线检测方法，其特征在于，所述车道线曲线参数预测模块的输入是大小为

的特征图，输出车道线曲线参数图大小为

其中，h代表图像高度，w代表图像宽度，n代表卷积网络特征提取模块中下采样倍数，c代表所提取的特征图的通道数，p代表车道线曲线参数图的通道数。

7.根据权利要求2所述的一种车道线检测方法，其特征在于，所述采用分类回归融合训练方法训练车道线回归检测网络，得到车道线回归检测模型包括：

利用训练数据集，根据设计的车道线检测损失函数，对车道线回归检测网络进行端到端训练，所述车道线检测损失函数包括：起始点检测损失函数和车道线曲线回归损失函数；

起始点检测损失函数是指，用于车道线起始点检测模块任务的损失函数，采用交叉熵损失，计算公式为L＝-[y_labellog _pre+(1-y_label)log(1-y_pre)]，其中y_label是车道线起始点定位生成的标签信息，y_pre是起始点检测模块预测的起始点位置信息；计算时，首先将起始点检测模块预测的起始点位置信息所构成的位置矩阵进行softmax操作归一化，之后对位置矩阵边缘上每个点与对应标签矩阵每个点代入公式，最后进行平均；

车道线曲线回归损失函数是指，用于车道线曲线参数预测模块任务的损失函数，采用回归问题的SmoothL1损失，计算方式为：将车道线采样点的高度坐标代入模型预测的曲线方程中，获取预测的宽度坐标，当预测宽度坐标与真实宽度坐标差值的绝对值大于设定阈值时，计算与真实宽度坐标的L1距离作为损失，否则计算与真实宽度坐标的L2距离作为损失。

8.根据权利要求1或2所述的一种车道线检测方法，其特征在于，所述对于待检测图像，通过车道线回归检测模型获得车道线起始位置图和车道线曲线参数图，进而获得完整车道线包括：

将待检测图像进行预处理，再输入至车道线回归检测模型中，得到车道线起始位置图和车道线曲线参数图；

根据获得的车道线起始位置图进行起始点过滤，获得图像中所有车道线的起始点；

根据得到的所有车道线的起始点以及车道线曲线参数图，进行曲线参数生成，获得对应车道线的多段曲线参数，最终得到由所有车道线的起始点和车道线曲线参数表达的完整车道线。

9.根据权利要求8所述的一种车道线检测方法，其特征在于，所述根据获得的车道线起始位置图进行起始点过滤包括：

将车道线起始位置图进行softmax操作，对经softmax后的车道线起始位置图矩阵边缘进行遍历，对于边缘上的当前点，若第2通道大于第1通道的值，且第2通道的值在以当前点为中心的设定区域中最大，则认为当前点为某一车道线起始点，否则过滤当前点；其中，第1通道与第2通道的值分别表示相应点对应n×n区域的中心点与任一车道线起始点距离大于和小于设定阈值的概率，n为车道线回归检测网络中卷积网络特征提取模块的下采样倍数。

10.根据权利要求8所述的一种车道线检测方法，其特征在于，所述根据得到的所有车道线的起始点以及车道线曲线参数图，进行曲线参数生成包括：

将车道线视为多段曲线，根据车道线曲线参数图以及得到的每条车道线的起始点，在车道线曲线参数图上取出每条车道线起始点对应位置的曲线参数，作为每条车道线第一段曲线的参数；之后每隔固定高度Δ_h，根据上一段曲线的末端点的位置，从曲线参数图相应位置中获得下一段的曲线参数，分段获取，直至到达设定高度为止。

Images