CN111914749A - 基于神经网络的车道线识别方法及其系统 - Google Patents

Abstract

一种基于神经网络的车道线识别方法，包括:S101、对包含车道线的原始图像进行降噪处理；S102、对降噪处理后的图像进行边缘增强处理；S103、获取包含车道线像素点的二值化图像；S104、通过透视变换矩阵H对所述二值化图像进行处理，得到车道线拟合曲线。本发明采用传统方法进行降噪、边缘增强以及车道线像素提取，降低数据处理运算量并减轻后续精细检测的负担，改善流程的实时性，后续则使用神经网络进行车道线识别，提升了对复杂噪声与场景的处理能力，在精度、效率、适用性上都较传统方法有所提升。

Description

基于神经网络的车道线识别方法及其系统

技术领域

本发明属于车道线识别技术领域，尤其涉及一种基于神经网络的车道线识别方法及其系统。

背景技术

使用计算机视觉和人工智能算法的车辆辅助驾驶以及全自动无人驾驶技术，为未来大流量、高流速、高安全交通运输，提供了可及可见的广阔前景。车道线检测是其中最重要的组成部分之一，稳定准确的车道检测是防碰撞、偏离预警、避让行人、路径规划等任务的基础。现有的车道线检测技术大致可分为三类：传统图像处理方法、经典机器学习方法以及基于神经网络的深度学习方法。

在传统图像处理方法中，选取的车道线先验特征一般涉及颜色、灰度、边缘宽度、边缘梯度等，但是这些方法中存在如下缺点：车道线的颜色特征容易受到阴影的影响，导致不能精确地将阴影和车道线分离开；计算消失点前噪声仍较多，影响了消失点计算的准确性，也使得耗时更长；对摄像头角度、焦距、俯仰角度等参数要求较苛刻，计算量大。

在利用经典机器学习的方法中，通过滑动窗口方法，用两个级联分类器各进行粗分类，最后融合两个分类器结果得到候选区域，或者对每个像素建立颜色、边缘、纹理特征，并送入分类器进行分类，对图像进行像素级分割。机器学习的引入增加了算法的鲁棒性，但是，人工构造的特征有着局限性和经验性，不具备普适区分能力。

基于神经网络的深度学习方法在计算机视觉领域表现了其强大的能力。深度卷积神经网络可以自动提取强大的特征用于分类等任务。例如基于像素级的分类网络-SegNet，可以对场景分割并检测车道线、树木、建筑、行人等类别，但其结构复杂，实时性较差，同时对硬件要求较高。

面对车道线的多样性和环境的复杂性，孤立使用传统的方法都有其局限性。

发明内容

基于此，针对上述技术问题，提供一种基于神经网络的车道线识别方法及其系统。

为解决上述技术问题，本发明采用如下技术方案：

一种基于神经网络的车道线识别方法，包括:

S101、对包含车道线的原始图像进行降噪处理；

S102、对降噪处理后的图像进行边缘增强处理；

S103、获取包含车道线像素点的二值化图像；

S104、通过透视变换矩阵H：

对所述二值化图像进行处理，得到车道线拟合曲线：

将所述二值化图像中的车道线像素点p_i＝[x_i y_i 1]^T∈P通过矩阵H转换为鸟瞰视角下的车道线像素点p′_i＝[x′_i y′_i 1]^T∈P′；

通过最小二乘法对转换后的像素点进行二阶或者三阶多项式的拟合，得到鸟瞰视图下的车道线拟合曲线x‘＝f(y′)；

通过所述矩阵H的逆矩阵H^-1将所述车道线拟合曲线x‘＝f(y′)进行逆变换，得到最终的车道线拟合曲线x*‘＝f(y*′)；

所述透视变换矩阵H由预训练的神经网络预测得到。

所述神经网络采用3x3的卷积结构、ReLU激活函数以及最大池化层降维并在最后添加两个全连接层，并采用Batchnorm算法进行训练。

所述步骤S101采用引导滤波对包含车道线的原始图像进行降噪处理。

所述步骤S102包括：

将降噪处理后的原始图像转换为灰度图，该灰度图的像素点的像素值为I_gray；

对所述灰度图进行卷积核kernel的卷积处理，得到卷积图像，该卷积图像的像素点的像素值

对所述卷积图像的像素点的像素值I_conv取绝对值并进行缩放处理，使像素值被限制在区间[0,255]中，得到结果值I_result＝Scale(|I_conv|)；

其中，

Scale为缩放处理函数。

所述步骤S103基于边缘增强处理后图像的梯度特征以及颜色特征，定位车道线像素所在位置，得到包含车道线像素点的二值化图像：

将边缘增强处理后的图像的每个像素点的水平方向导数sobelX、梯度大小MOG以及梯度方向DOG与根据先验经验设定的阈值范围(X_min，X_max)、(MOG_min，MOG_max)以及(DOG_min，DOG_max)进行匹配，得到包含梯度过滤后的车道线像素点的二值化图像；

对边缘增强处理后的图像进行HLS转换，将RGB图像转化为包含色相、亮度以及饱和度的图像，将每个像素点的饱和度与根据先验经验设定的阈值范围(S_min，S_max)进行匹配，得到包含颜色过滤后的车道线像素点的二值化图像；

取梯度过滤后的二值化图像以及颜色过滤后的二值化图像的像素点的交集，作为车道线像素点，得到包含车道线像素点的二值图像。

本方案还涉及一种基于神经网络的车道线识别系统，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：

S101、对包含车道线的原始图像进行降噪处理；

S102、对降噪处理后的图像进行边缘增强处理；

S103、获取包含车道线像素点的二值化图像；

S104、通过透视变换矩阵H：

对所述二值化图像进行处理，得到车道线拟合曲线：

将所述二值化图像中的车道线像素点p_i＝[x_i y_i 1]^T∈P通过矩阵H转换为鸟瞰视角下的车道线像素点p′_i＝[x′_i y′_i 1]^T∈P′；

通过最小二乘法对转换后的像素点进行二阶或者三阶多项式的拟合，得到鸟瞰视图下的车道线拟合曲线x‘＝f(y′)；

通过所述矩阵H的逆矩阵H^-1将所述车道线拟合曲线x‘＝f(y′)进行逆变换，得到最终的车道线拟合曲线x*‘＝f(y*′)；

所述透视变换矩阵H由预训练的神经网络预测得到。

所述神经网络采用3x3的卷积结构、ReLU激活函数以及最大池化层降维并在最后添加两个全连接层，并采用Batchnorm算法进行训练。

所述步骤S101采用引导滤波对包含车道线的原始图像进行降噪处理。

所述步骤S102包括：

将降噪处理后的原始图像转换为灰度图，该灰度图的像素点的像素值为I_gray；

对所述灰度图进行卷积核kernel的卷积处理，得到卷积图像，该卷积图像的像素点的像素值

对所述卷积图像的像素点的像素值I_conv取绝对值并进行缩放处理，使像素值被限制在区间[0,255]中，得到结果值I_result＝Scale(|I_conv|)；

其中，

Scale为缩放处理函数。

所述步骤S103基于边缘增强处理后图像的梯度特征以及颜色特征，定位车道线像素所在位置，得到包含车道线像素点的二值化图像：

将边缘增强处理后的图像的每个像素点的水平方向导数sobelX、梯度大小MOG以及梯度方向DOG与根据先验经验设定的阈值范围(X_min，X_max)、(MOG_min，MOG_max)以及(DOG_min，DOG_max)进行匹配，得到包含梯度过滤后的车道线像素点的二值化图像；

对边缘增强处理后的图像进行HLS转换，将RGB图像转化为包含色相、亮度以及饱和度的图像，将每个像素点的饱和度与根据先验经验设定的阈值范围(S_min，S_max)进行匹配，得到包含颜色过滤后的车道线像素点的二值化图像；

取梯度过滤后的二值化图像以及颜色过滤后的二值化图像的像素点的交集，作为车道线像素点，得到包含车道线像素点的二值图像。

本发明采用传统方法进行降噪、边缘增强以及车道线像素提取，降低数据处理运算量并减轻后续精细检测的负担，改善流程的实时性，后续则使用神经网络进行车道线识别，提升了对复杂噪声与场景的处理能力，在精度、效率、适用性上都较传统方法有所提升。

附图说明

下面结合附图和具体实施方式本发明进行详细说明：

图1为本发明的流程图。

图2为本发明的图像过滤局部线形模型图；

图3为本发明的转换矩阵转换原理图。

具体实施方式

如图1所示，一种基于神经网络的车道线识别方法，包括:

S101、对包含车道线的原始图像进行降噪处理。

S102、对降噪处理后的图像进行边缘增强处理。

S103、获取包含车道线像素点的二值化图像(车道线像素提取)。

S104、通过透视变换矩阵H：

对上述二值化图像进行处理，得到车道线拟合曲线。

从步骤S103中得到的包含每条车道线像素的二值化图像，如果直接在这种图像上拟合车道线，则需要使用高阶多项式。一种常见的解决方法是通过一个固定的转换矩阵将原始图像转换为鸟瞰图像(即俯视视角)，该图像下车道线是互相平行的，可以用二次或者三次多项式来进行拟合，该方法的问题是用一个转换矩阵来处理所有图像，在面对各种真实场景中的复杂路况时会出现真实道路点“飘移”的现象。

为解决上述问题，本专利训练了一个可以预测变换矩阵H的神经网络。该网络的输入是包含车道线像素图像，输出则是该图像对应的车道线变换矩阵H。经过矩阵H变换后的车道点可以最佳地拟合二阶或三阶多项式。网络以输入图像为条件，从而使网络能够在地平面变化的情况下调整投影参数(即矩阵H中的六个位置参数x₁-x₆)，以便车道拟合仍然正确。

该网络训练过程大致如下：首先经过一轮前向，可以得到一个变换矩阵H。假设给定的车道线图像中包含N个真实车道线像素点，且每个点P的坐标分别为pi＝[xi,y_i,1]^T，使用转换矩阵转换P'＝HP并假设得到对应转换后点P'的坐标pi‘＝[x_i',y_i',1]^T。然后要计算损失函数Loss：首先利用最小二乘法的闭式解w＝(Y^TY)^-1Y^Tx'对这些转化转换后的像素点进行二项式拟合f(y')＝αy'²+βy'+γ。其中w＝[α,β,γ]^T，x'＝[x'₁,x'₂,…,x'_N]^T。

此时得到的拟合曲线再经过逆矩阵H^-1投影回原来的视角，就可以得到对应的点pi*＝[x_i*,y_i,1]^T，那么损失函数Loss就可以表示为

该网络采用的训练集为TuSimple车道线数据集，其中包括3600+张训练图像和2782张测试图像，这些图像包含天气情况较好和稍好环境下白天不同时刻的车道线图像。

如图3所示，具体处理过程如下：

1、将二值化图像中的车道线像素点p_i＝[x_i y_i 1]^T∈P通过矩阵H转换为鸟瞰视角下的车道线像素点p′_i＝[x′_i y′_i 1]^T∈P‘，P为像素点p_i的集合，P‘为像素点p′_i的集合。

2、通过最小二乘法对转换后的像素点进行二阶或者三阶多项式的拟合，得到鸟瞰视图下的车道线拟合曲线x‘＝f(y′)。

3、通过矩阵H的逆矩阵H^-1将车道线拟合曲线x‘＝f(y′)进行逆变换，得到最终的车道线拟合曲线x*‘＝f(y*′)；

本发明采用传统方法进行降噪、边缘增强以及车道线像素提取，降低数据处理运算量并减轻后续精细检测的负担，改善流程的实时性，后续则使用神经网络进行车道线识别，提升了对复杂噪声与场景的处理能力，在精度、效率、适用性上都较传统方法有所提升。

在本实施例中，如表1(神经网络结构表)所示，为了使运行速度能够满足实际需求，神经网络采用3x3的卷积结构，同时采用Batchnorm(BN)算法加速神经网络训练，采用ReLU激活函数加快速度并减轻梯度消失的问题，并使用最大池化层降维并在最后添加两个全连接层。

表1

在本实施例中，步骤S101采用引导滤波对包含车道线的原始图像进行降噪处理。具体如下：

引导滤波(导向滤波)是一种近年来提出的图像滤波算法，在车道线处理领域是一种新的尝试。在该算法中，通过一张引导图I，对初始图像P(输入图像)进行滤波处理，使得最后的输出图像大体上与初始图像P相似，但是纹理部分与引导图I相似。其典型应用有两个：保边图像平滑和抠图处理。当引导图为输入图像时，引导滤波就成为了一个可以保持边缘的去噪滤波操作。考虑到从实际图像中提取车道线像素的过程对图像抠图准确度以及边缘信息保留程度要求较高，因此该算法适合于对复杂环境下提取车道线信息的操作。

假设引导滤波函数的输出与输入在一个二维空间内满足线性关系：

q_i＝p_i-n_i。

在第一个公式中，q_i是去除噪声或者纹理之后的图像，I_i是引导图像的像素值，i和k是像素索引，a和b是当窗口中心位于k时该线性函数的系数。对该公式两边取梯度可得q'＝aI'，即当引导图I有梯度时，输出q也有类似的梯度)，参见图2。

第二个公式中，q_i为输出图像信息，p_i为输入图像信息，n_i是要被过滤掉的噪声信息。我们希望最终输出图像和原始图像之间的差距最小(既最大可能保留图像的原始信息)，将优化问题转化为下面方程最优解问题，也就是让下式最小：

在上述公式中，μ_k和

表示图像I_i在局部窗口ω_k中的均值和方差。|ω|则是该窗口中的全部像素个数，

表示p在窗口ω_k中的均值，∈为规整化参数。令I＝p，那么a_k和b_k可以表示为：

b_k＝(1-a_k)μ_k。

此时我们可以通过调整∈的值来控制图像的降噪效果：

如果令∈＝0，那么此时有a_k＝1，b_k＝0,若E(a_k，b_k)取最小值，那么有I_i＝p_i，此时的滤波器没有任何效果，图像的输出等于输入。

如果∈＞0，在像素变化小的区域(即方差较小)，图像I_i在窗口ω_k中基本保持固定，此时有

这相当于一个加权的均值滤波；在方差较大处，此时图像I_i在窗口ω_k中变化较大，有

这种情况下对图像的滤波效果比较弱，有助于保持图像的边缘信息。因此在窗口大小保持不变的情况下，∈的值越大，引导滤波对图像的降噪效果越明显。

在计算每个窗口的线形系数时，会出现同一个像素被多个窗口包含的情况，即每个像素由多个线形函数所描述。那么要确定某一点的输出像素时，只要将包含该像素的所有线性函数取均值即可，如下所示：

其中，输出值q与a和b在一个窗口中的均值有关，我们将上一过程中得到两个图像a_k，b_k都进行盒式滤波，得到两个新的图像a′_i，b′_i，然后使用公式q_i＝a′_iI_i+b′_i就得到最终降噪后的图像。

在本实施例中，步骤S102具体过程如下：

车道线与车道线周围区域相比较，在灰度图中的亮度高，在车道线边缘会有亮度的突变，然后经历一段高亮度后到达另一侧边缘，再经历一次亮度突变。这种特性在观测中较为稳定，且可通过梯度模板捕获。

1、将降噪处理后的原始图像转换为灰度图，该灰度图的像素点的像素值为Igray。

2、对灰度图进行卷积核kernel的卷积处理，得到卷积图像，该卷积图像的像素点的像素值

3、对卷积图像的像素点的像素值I_conv取绝对值并进行缩放处理，使像素值被限制在区间[0,255]中，得到结果值I_result＝Scale(|I_conv|)。

其中，

Scale为缩放处理函数。

上述卷积核kernel基于车道线先验特征，通过该卷积核可以只计算图像的水平梯度，忽略图像中其它方向的梯度，在很好地保留车道线信息的同时减少了图像中其它物体产生的非水平方向梯度特征干扰，较传统边缘增强处理方法(Laplacian算法、Sobel算法、Canny算法等)更适合车道线信息处理这一场景。

在本实施例中，步骤S103基于边缘增强处理后图像的梯度特征以及颜色特征，定位车道线像素所在位置，得到包含车道线像素点的二值化图像，具体如下：

1、将边缘增强处理后的图像的每个像素点的水平方向导数sobelX、梯度大小MOG以及梯度方向DOG与根据先验经验设定的阈值范围(X_min，X_max)、(MOG_min，MOG_max)以及(DOG_min，DOG_max)进行匹配，得到包含梯度过滤后的车道线像素点的二值化图像。

2、对边缘增强处理后的图像进行HLS转换，将RGB图像转化为包含色相、亮度以及饱和度的图像，将每个像素点的饱和度(S通道)与根据先验经验设定的阈值范围(S_min，S_max)进行匹配，得到包含颜色过滤后的车道线像素点的二值化图像。

3、取梯度过滤后的二值化图像以及颜色过滤后的二值化图像的像素点的交集，作为车道线像素点，得到包含车道线像素点的二值图像。

本方案还涉及一种基于神经网络的车道线识别系统，包括存储模块，存储模块包括由处理器加载并执行的多条指令，如图1所示，：

S101、对包含车道线的原始图像进行降噪处理。

S102、对降噪处理后的图像进行边缘增强处理。

S103、获取包含车道线像素点的二值化图像(车道线像素提取)。

S104、通过透视变换矩阵H：

对上述二值化图像进行处理，得到车道线拟合曲线。

从步骤S103中得到的包含每条车道线像素的二值化图像，如果直接在这种图像上拟合车道线，则需要使用高阶多项式。一种常见的解决方法是通过一个固定的转换矩阵将原始图像转换为鸟瞰图像(即俯视视角)，该图像下车道线是互相平行的，可以用二次或者三次多项式来进行拟合，该方法的问题是用一个转换矩阵来处理所有图像，在面对各种真实场景中的复杂路况时会出现真实道路点“飘移”的现象。

为解决上述问题，本专利训练了一个可以预测变换矩阵H的神经网络。该网络的输入是包含车道线像素图像，输出则是该图像对应的车道线变换矩阵H。经过矩阵H变换后的车道点可以最佳地拟合二阶或三阶多项式。网络以输入图像为条件，从而使网络能够在地平面变化的情况下调整投影参数(即矩阵H中的六个位置参数x₁-x₆)，以便车道拟合仍然正确。

该网络训练过程大致如下：首先经过一轮前向，可以得到一个变换矩阵H。假设给定的车道线图像中包含N个真实车道线像素点，且每个点P的坐标分别为pi＝[x_i,y_i,1]^T，使用转换矩阵转换P'＝HP并假设得到对应转换后点P'的坐标pi‘＝[x_i',y_i',1]^T。然后要计算损失函数Loss：首先利用最小二乘法的闭式解w＝(Y^TY)^-1Y^Tx'对这些转化转换后的像素点进行二项式拟合f(y')＝αy'²+βy'+γ。其中w＝[α,β,γ]^T，x'＝[x'₁,x'₂,…,x'_N]^T。

此时得到的拟合曲线再经过逆矩阵H^-1投影回原来的视角，就可以得到对应的点pi*＝[x_i*,y_i,1]^T，那么损失函数Loss就可以表示为

该网络采用的训练集为TuSimple车道线数据集，其中包括3600+张训练图像和2782张测试图像，这些图像包含天气情况较好和稍好环境下白天不同时刻的车道线图像。

如图3所示，具体处理过程如下：

1、将二值化图像中的车道线像素点p_i＝[x_i y_i 1]^T∈P通过矩阵H转换为鸟瞰视角下的车道线像素点p′_i＝[x′_i y′_i 1]^T∈P‘，P为像素点p_i的集合，P‘为像素点p′_i的集合。

2、通过最小二乘法对转换后的像素点进行二阶或者三阶多项式的拟合，得到鸟瞰视图下的车道线拟合曲线x‘＝f(y′)。

3、通过矩阵H的逆矩阵H^-1将车道线拟合曲线x‘＝f(y′)进行逆变换，得到最终的车道线拟合曲线x*‘＝f(y*′)；

本发明采用传统方法进行降噪、边缘增强以及车道线像素提取，降低数据处理运算量并减轻后续精细检测的负担，改善流程的实时性，后续则使用神经网络进行车道线识别，提升了对复杂噪声与场景的处理能力，在精度、效率、适用性上都较传统方法有所提升。

在本实施例中，如表1(神经网络结构表)所示，为了使运行速度能够满足实际需求，神经网络采用3x3的卷积结构，同时采用Batchnorm(BN)算法加速神经网络训练，采用ReLU激活函数加快速度并减轻梯度消失的问题，并使用最大池化层降维并在最后添加两个全连接层。

Type	Filters	Size	Output
				Conv+BN+ReLU	16	3*3	128*64
Conv+BN+ReLU	16	3*3	128*64
				Maxpool		2*2/2	64*32
Conv+BN+ReLU	32	3*3	64*32
				Conv+BN+ReLU	32	3*3	64*32
Maxpool		2*2/2	32*16
				Conv+BN+ReLU	64	3*3	32*16
Conv+BN+ReLU	64	3*3	32*16
				Maxpool		2*2/2	16*8
Linear+BN+ReLU		1*1	1024

表1

在本实施例中，步骤S101采用引导滤波对包含车道线的原始图像进行降噪处理。具体如下：

引导滤波(导向滤波)是一种近年来提出的图像滤波算法，在车道线处理领域是一种新的尝试。在该算法中，通过一张引导图I，对初始图像P(输入图像)进行滤波处理，使得最后的输出图像大体上与初始图像P相似，但是纹理部分与引导图I相似。其典型应用有两个：保边图像平滑和抠图处理。当引导图为输入图像时，引导滤波就成为了一个可以保持边缘的去噪滤波操作。考虑到从实际图像中提取车道线像素的过程对图像抠图准确度以及边缘信息保留程度要求较高，因此该算法适合于对复杂环境下提取车道线信息的操作。

假设引导滤波函数的输出与输入在一个二维空间内满足线性关系：

q_i＝p_i-n_i。

在第一个公式中，q_i是去除噪声或者纹理之后的图像，I_i是引导图像的像素值，i和k是像素索引，a和b是当窗口中心位于k时该线性函数的系数。对该公式两边取梯度可得q'＝aI'，即当引导图I有梯度时，输出q也有类似的梯度)，参见图2。

第二个公式中，q_i为输出图像信息，p_i为输入图像信息，n_i是要被过滤掉的噪声信息。我们希望最终输出图像和原始图像之间的差距最小(既最大可能保留图像的原始信息)，将优化问题转化为下面方程最优解问题，也就是让下式最小：

在上述公式中，μ_k和

表示图像I_i在局部窗口ω_k中的均值和方差。|ω|则是该窗口中的全部像素个数，

表示p在窗口ω_k中的均值，∈为规整化参数。令I＝p，那么a_k和b_k可以表示为：

b_k＝(1-a_k)μ_k。

此时我们可以通过调整∈的值来控制图像的降噪效果：

如果令∈＝0，那么此时有a_k＝1，b_k＝0,若E(a_k，b_k)取最小值，那么有I_i＝p_i，此时的滤波器没有任何效果，图像的输出等于输入。

如果∈＞0，在像素变化小的区域(即方差较小)，图像I_i在窗口ω_k中基本保持固定，此时有

这相当于一个加权的均值滤波；在方差较大处，此时图像I_i在窗口ω_k中变化较大，有

这种情况下对图像的滤波效果比较弱，有助于保持图像的边缘信息。因此在窗口大小保持不变的情况下，∈的值越大，引导滤波对图像的降噪效果越明显。

在计算每个窗口的线形系数时，会出现同一个像素被多个窗口包含的情况，即每个像素由多个线形函数所描述。那么要确定某一点的输出像素时，只要将包含该像素的所有线性函数取均值即可，如下所示：

其中，输出值q与a和b在一个窗口中的均值有关，我们将上一过程中得到两个图像a_k，b_k都进行盒式滤波，得到两个新的图像a′_i，b′_i，然后使用公式q_i＝a′_iI_i+b′_i就得到最终降噪后的图像。

在本实施例中，步骤S102具体过程如下：

车道线与车道线周围区域相比较，在灰度图中的亮度高，在车道线边缘会有亮度的突变，然后经历一段高亮度后到达另一侧边缘，再经历一次亮度突变。这种特性在观测中较为稳定，且可通过梯度模板捕获。

1、将降噪处理后的原始图像转换为灰度图，该灰度图的像素点的像素值为I_gray。

2、对灰度图进行卷积核kerrnel的卷积处理，得到卷积图像，该卷积图像的像素点的像素值

3、对卷积图像的像素点的像素值I_conv取绝对值并进行缩放处理，使像素值被限制在区间[0,255]中，得到结果值I_result＝Scale(|I_conv|)。

其中，

Scale为缩放处理函数。

上述卷积核kernel基于车道线先验特征，通过该卷积核可以只计算图像的水平梯度，忽略图像中其它方向的梯度，在很好地保留车道线信息的同时减少了图像中其它物体产生的非水平方向梯度特征干扰，较传统边缘增强处理方法(Laplacian算法、Sobel算法、Canny算法等)更适合车道线信息处理这一场景。

在本实施例中，步骤S103基于边缘增强处理后图像的梯度特征以及颜色特征，定位车道线像素所在位置，得到包含车道线像素点的二值化图像，具体如下：

1、将边缘增强处理后的图像的每个像素点的水平方向导数sobelX、梯度大小MOG以及梯度方向DOG与根据先验经验设定的阈值范围(X_min，X_max)、(MOG_min，MOG_max)以及(DOG_min，DOG_max)进行匹配，得到包含梯度过滤后的车道线像素点的二值化图像。

2、对边缘增强处理后的图像进行HLS转换，将RGB图像转化为包含色相、亮度以及饱和度的图像，将每个像素点的饱和度(S通道)与根据先验经验设定的阈值范围(S_min，S_max)进行匹配，得到包含颜色过滤后的车道线像素点的二值化图像。

3、取梯度过滤后的二值化图像以及颜色过滤后的二值化图像的像素点的交集，作为车道线像素点，得到包含车道线像素点的二值图像。

但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (10)

1.一种基于神经网络的车道线识别方法，其特征在于，包括:

S101、对包含车道线的原始图像进行降噪处理；

S102、对降噪处理后的图像进行边缘增强处理；

S103、获取包含车道线像素点的二值化图像；

S104、通过透视变换矩阵H：

对所述二值化图像进行处理，得到车道线拟合曲线：

将所述二值化图像中的车道线像素点p_i＝[x_i y_i 1]^T∈P通过矩阵H转换为鸟瞰视角下的车道线像素点p′_i＝[x′_i y′_i 1]^T∈P‘；

通过最小二乘法对转换后的像素点进行二阶或者三阶多项式的拟合，得到鸟瞰视图下的车道线拟合曲线x‘＝f(y′)；

通过所述矩阵H的逆矩阵H^-1将所述车道线拟合曲线x‘＝f(y′)进行逆变换，得到最终的车道线拟合曲线x^*‘＝f(y^*′)；

所述透视变换矩阵H由预训练的神经网络预测得到。

2.根据权利要求1所述的一种基于神经网络的车道线识别方法，其特征在于，所述神经网络采用3x3的卷积结构、ReLU激活函数以及最大池化层降维并在最后添加两个全连接层，并采用Batchnorm算法进行训练。

3.根据权利要求1或2所述的一种基于神经网络的车道线识别方法，其特征在于，所述步骤S101采用引导滤波对包含车道线的原始图像进行降噪处理。

4.根据权利要求3所述的一种基于神经网络的车道线识别方法，其特征在于，所述步骤S102包括：

将降噪处理后的原始图像转换为灰度图，该灰度图的像素点的像素值为I_gray；

对所述灰度图进行卷积核kernel的卷积处理，得到卷积图像，该卷积图像的像素点的像素值

对所述卷积图像的像素点的像素值I_conv取绝对值并进行缩放处理，使像素值被限制在区间[0,255]中，得到结果值I_result＝Scale(|I_conv|)；

其中，

Scale为缩放处理函数。

5.根据权利要求4所述的一种基于神经网络的车道线识别方法，其特征在于，所述步骤S103基于边缘增强处理后图像的梯度特征以及颜色特征，定位车道线像素所在位置，得到包含车道线像素点的二值化图像：

将边缘增强处理后的图像的每个像素点的水平方向导数sobelX、梯度大小MOG以及梯度方向DOG与根据先验经验设定的阈值范围(X_min，X_max)、(MOG_min，MOG_max)以及(DOG_min，DOG_max)进行匹配，得到包含梯度过滤后的车道线像素点的二值化图像；

对边缘增强处理后的图像进行HLS转换，将RGB图像转化为包含色相、亮度以及饱和度的图像，将每个像素点的饱和度与根据先验经验设定的阈值范围(S_min，S_max)进行匹配，得到包含颜色过滤后的车道线像素点的二值化图像；

取梯度过滤后的二值化图像以及颜色过滤后的二值化图像的像素点的交集，作为车道线像素点，得到包含车道线像素点的二值图像。

6.一种基于神经网络的车道线识别系统，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的多条指令：

S101、对包含车道线的原始图像进行降噪处理；

S102、对降噪处理后的图像进行边缘增强处理；

S103、获取包含车道线像素点的二值化图像；

S104、通过透视变换矩阵H：

对所述二值化图像进行处理，得到车道线拟合曲线：

将所述二值化图像中的车道线像素点p_i＝[x_i y_i 1]^T∈P通过矩阵H转换为鸟瞰视角下的车道线像素点p′_i＝[x′_i y′_i 1]^T∈P‘；

通过最小二乘法对转换后的像素点进行二阶或者三阶多项式的拟合，得到鸟瞰视图下的车道线拟合曲线x‘＝f(y′)；

通过所述矩阵H的逆矩阵H^-1将所述车道线拟合曲线x‘＝f(y′)进行逆变换，得到最终的车道线拟合曲线x^*‘＝f(y^*′)；

所述透视变换矩阵H由预训练的神经网络预测得到。

7.根据权利要求6所述的一种基于神经网络的车道线识别系统，其特征在于，所述神经网络采用3x3的卷积结构、ReLU激活函数以及最大池化层降维并在最后添加两个全连接层，并采用Batchnorm算法进行训练。

8.根据权利要求6或7所述的一种基于神经网络的车道线识别系统，其特征在于，所述步骤S101采用引导滤波对包含车道线的原始图像进行降噪处理。

9.根据权利要求8所述的一种基于神经网络的车道线识别系统，其特征在于，所述步骤S102包括：

将降噪处理后的原始图像转换为灰度图，该灰度图的像素点的像素值为I_gray；

对所述灰度图进行卷积核kernel的卷积处理，得到卷积图像，该卷积图像的像素点的像素值

对所述卷积图像的像素点的像素值I_conv取绝对值并进行缩放处理，使像素值被限制在区间[0,255]中，得到结果值I_result＝Scale(|I_conv|)；

其中，

Scale为缩放处理函数。

10.根据权利要求9所述的一种基于神经网络的车道线识别系统，其特征在于，所述步骤S103基于边缘增强处理后图像的梯度特征以及颜色特征，定位车道线像素所在位置，得到包含车道线像素点的二值化图像：

将边缘增强处理后的图像的每个像素点的水平方向导数sobelX、梯度大小MOG以及梯度方向DOG与根据先验经验设定的阈值范围(X_min，X_max)、(MOG_min，MOG_max)以及(DOG_min，DOG_max)进行匹配，得到包含梯度过滤后的车道线像素点的二值化图像；

对边缘增强处理后的图像进行HLS转换，将RGB图像转化为包含色相、亮度以及饱和度的图像，将每个像素点的饱和度与根据先验经验设定的阈值范围(S_min，S_max)进行匹配，得到包含颜色过滤后的车道线像素点的二值化图像；

取梯度过滤后的二值化图像以及颜色过滤后的二值化图像的像素点的交集，作为车道线像素点，得到包含车道线像素点的二值图像。

Images