CN108960055A - 一种基于局部线段模式特征的车道线检测方法 - Google Patents

Abstract

本发明涉及模式识别技术领域，涉及一种基于局部线段模式特征的车道线检测方法，包括以下步骤，S1、建立图像库；S2、计算图像库的LLP纹理特征向量；S3、根据LLP纹理特征向量，对神经网络算法进行迭代优化。本发明对图像进行碎化成若干片段后再利用车道线检测算法进行LLP特征识别出相对应的车道线，有效避免噪声干扰，有利于直线和曲线检测，提高车道线检测精度，解决了现有技术中由于道路图像受阴影干扰严重，车道通常有弯道以及部分道路颠簸不平，导致在车道线检测时对城市道路图像质量要求过高，检测精度较低的缺陷，能有效提高阴影抗干扰性能，对局部信息提取精细且兼顾弥补周边远端信息的缺失，达到提高车道线检测精度的目的。

Description

一种基于局部线段模式特征的车道线检测方法

技术领域

本发明涉及模式识别技术领域，更具体地说，涉及一种基于局部线段模式特征的车道线检测方法。

背景技术

车道线检测就是对摄像机拍摄的图像进行预处理，从图像中提取出车道标示线或道路边界信息。车道线检测技术主要用于汽车无人驾驶、军事安全辅助驾驶、车联网、智能物流、计算机视觉等领域。随着汽车工业的快速发展，道路交通运输给人们带来巨大便利的同时，由此引发的交通事故已成为全球安全问题之一，因此，车道偏离预警等智能驾驶系统显得尤为重要。车辆偏离预警最重要的问题就是车道线检测与跟踪，对于如何快速准确地提取出车道线，在过去的十多年中国内外学者进行了大量的研究并开发出了一些基于视觉的车道线检测系统。

现在的城市结构化道路的车道线检测过程主要有以下三种方法：一、利用机器视觉采集车道图像，通过Soble算子和Hough变换提取车道线，缺点是对图像质量要求太高，对阴影区域无法正确识别。二、利用前向视觉采集道路环境信息，双阈值法二值化图像，后续处理采用的是增强转移网络技术，道路模型是直线模型，缺点是只能对直道进行检测和识别，对弯道检测功能不完善。三、将透视图像通过逆透视变换(IPM)转换为逆透视图像，然后在逆透视图像中检测车道线，逆透视图像可以很真实的反映路面的大小形状，在逆透视图像中中车道线是保持恒宽的；但当摄像机姿态发生变化或道路出现颠簸不平时，得到的逆透视图像是变形的，车道线检测会完全失败。

发明内容

有鉴于此，本发明提供了一种基于局部线段模式特征的车道线检测方法，解决现有技术中由于道路图像受阴影干扰严重，车道通常有弯道以及部分道路颠簸不平，导致在车道线检测时对城市道路图像质量要求过高，检测精度较低的缺陷。

一种基于局部线段模式特征的车道线检测方法，包括以下步骤：S1、建立图像库，具体为：S11、采集图像；S12、对图像进行灰度转换；S13、将灰度转换后的图像划分为原始道路图像库和测试道路图像库；S14、对原始道路图像库中的图像进行切割标记后生成区域道路数据库。

S2、利用车道线检测算法计算图像库的LLP纹理特征向量；具体为：S21、计算区域道路数据库的图像中所有像素点的LLP特征值；S22、对区域道路数据库中的所有图像样本进行细化分割成若干个样本块；S23、对样本块进行类别频率统计得到LLP特征直方图；S24、对LLP直方图进行归一化处理；S25、将经归一化处理后的所有样本块的LLP特征直方图连接成特征向量，建立LLP纹理特征向量。

S3、根据LLP纹理特征向量，对神经网络算法进行迭代优化；具体为：S31、建立样本：在区域道路数据库所有正负样本中，随机选取已经提取LLP纹理特征向量后的x个正样本，x个负样本作为神经网络的训练样本，剩下的y个正样本和y个负样本作为训练完成后的测试样本；S32、建立样本矩阵：从神经网络的训练样本中随机选取正样本和负样本一正一负组成样本矩阵；S33、建立神经网络模型；预设神经网络模型；S34、优化神经网络模型：将样本矩阵放入到神经网络模型中，调整神经网络模型各个参数，得到最高精度，保存该最高精度下训练完成后的神经网络权值模型，得到经优化后最佳的神经网络算法；S35、测试神经网络算法：将图像库中的初始图像带入到经优化后最佳的神经网络算法中进行测试，得到最终的神经网络模型。

优选地，该车道线检测算法具体为：

其中，(x_c,y_c)表示中心像素，i_c表示中心点灰度值，i_p表示采样点灰度值，s(x)为符号函数。

优选地，该车道线检测方法还包括有步骤S4；所述步骤S4具体为：将图像库的图像送入到神经网络算法内进行识别标记出车道线。

优选地，该步骤S14具体为：S141、图像切割：逐次对原始道路图像库中的每张图像切取样本；S142、对样本进行标定：含车道线的样本标记为正样本，否则均标记为负样本；S143、图像分类：将正样本和负样本导出生成区域道路数据库。

优选地，在步骤S141中，逐次对原始道路图像库的每张图像中均割取至少一个m*m矩形区域小块作为样本。

优选地，该步骤S21具体为：S211、选取阈值：选取LLP中两条线段的交点为中心，并以此中心灰度值为阈值；S212、标定采样点：两条线段上以及一个圆形领域上各自的8个采样点的灰度值与阈值相比较，若采样点灰度值大于中心灰度值，则该采样点的位置被标记为1，否则为0，从而产生8位二进制数；S213、二进制编码：利用等价模式，将生8位二进制数划分为59个二进制值，并按照从小到大的顺序分别编码为0-58，得到LLP中两条线段交点的LLP特征值；S214、依次遍历区域道路数据库中所有图像样本的像素点，得到区域道路数据库的图像样本的LLP特征值。

优选地，该步骤S22具体为：对区域道路数据库中的所有图像样本进行金字塔C层分割，每张图像样本分割成1*1+2*2+3*3+…+c*c＝C块样本块。

优选地，该步骤S23具体为：对样本块的像素点进行二进制处理并进行编码，统计样本块的各个像素点在0-58类中每一类出现的频率。

从上述的技术方案可以看出，本发明的有益效果为：

本发明先采集图像建立图像数据库，然后对图像数据库中的部分图像进行初次分割并利用车道线检测算法求取相对应的区域道路图像的LLP特征值，然后再对图像数据库中的部分图像进行二次细化分割并进行归一化处理后得到LLP纹理特征向量，最后对神经网络算法进行迭代优化获得最佳神经网络算法用于标记识别车道线；因此，本发明对图像进行碎化成若干片段后再进行LLP特征识别出相对应的车道线，有效避免噪声干扰，有利于直线和曲线检测，提高车道线检测精度，解决了现有技术中由于道路图像受阴影干扰严重，车道通常有弯道以及部分道路颠簸不平，导致在车道线检测时对城市道路图像质量要求过高，检测精度较低的缺陷，能有效提高阴影抗干扰性能，对局部信息提取精细且兼顾弥补周边远端信息的缺失，达到提高车道线检测精度的目的。

附图说明

图1为本发明实施例提供的一种基于局部线段模式特征的车道线检测方法的步骤流程图。

图2为建立图像库的具体步骤流程图。

图3为生成区域道路数据库的具体步骤流程图。

图4为计算LLP纹理特征向量的具体步骤流程图。

图5为计算LLP特征值的具体步骤流程图。

图6为神经网络算法的迭代优化的具体步骤流程。

图7为LLP特征算法原理图。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所述的附图作简单地介绍，显而易见，下面的描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

具体实施方式

如图1-7所示，本发明实施例公开了一种基于局部线段模式特征的车道线检测方法，包括以下步骤：

S1、建立图像库，具体为：S11、采集图像；S12、对图像进行灰度转换；S13、将灰度转换后的图像划分为原始道路图像库和测试道路图像库；S14、对原始道路图像库中的图像进行切割标记后生成区域道路数据库。

更具体地，该步骤S14为：S141、图像切割：逐次对原始道路图像库中的每张图像切取样本；S142、对样本进行标定：含车道线的样本标记为正样本，否则均标记为负样本；S143、图像分类：将正样本和负样本导出生成区域道路数据库。在步骤S141中，逐次对原始道路图像库的每张图像中均割取至少一个m*m矩形区域小块作为样本。

S2、利用车道线检测算法计算图像库的LLP纹理特征向量；具体为：S21、计算区域道路数据库的图像中所有像素点的LLP特征值；S22、对区域道路数据库中的所有图像样本进行细化分割成若干个样本块；S23、对样本块进行类别频率统计得到LLP特征直方图；S24、对LLP直方图进行归一化处理；S25、将经归一化处理后的所有样本块的LLP特征直方图连接成特征向量，建立LLP纹理特征向量。

具体地，该车道线检测算法具体为：

其中，(x_c,y_c)表示中心像素，i_c表示中心点灰度值，i_p表示采样点灰度值，s(x)为符号函数。

更具体地，该步骤S21为：S211、选取阈值：选取LLP中两条线段的交点为中心，并以此中心灰度值为阈值；S212、标定采样点：两条线段上以及一个圆形领域上各自的8个采样点的灰度值与阈值相比较，若采样点灰度值大于中心灰度值，则该采样点的位置被标记为1，否则为0，从而产生8位二进制数；S213、二进制编码：利用等价模式，将生8位二进制数划分为59个二进制值，并按照从小到大的顺序分别编码为0-58，得到LLP中两条线段交点的LLP特征值；S214、依次遍历区域道路数据库中所有图像样本的像素点，得到区域道路数据库的图像样本的LLP特征值。

该步骤S22具体为：对区域道路数据库中的所有图像样本进行金字塔C层分割，每张图像样本分割成1*1+2*2+3*3+…+c*c＝C块样本块。

该步骤S23具体为：对样本块的像素点进行二进制处理并进行编码，统计样本块的各个像素点在0-58类中每一类出现的频率。

S3、根据LLP纹理特征向量，对神经网络算法进行迭代优化；具体为：S31、建立样本：在区域道路数据库所有正负样本中，随机选取已经提取LLP纹理特征向量后的x个正样本，x个负样本作为神经网络的训练样本，剩下的y个正样本和y个负样本作为训练完成后的测试样本；S32、建立样本矩阵：从神经网络的训练样本中随机选取正样本和负样本一正一负组成样本矩阵；S33、建立神经网络算法；预设神经网络模型，并将神经网络模型放置到神经网络算法中；S34、优化神经网络算法：将样本矩阵放入到神经网络模型中，调整BP神经网络各个参数，得到最高精度，保存该最高精度下训练完成后的神经网络权值模型，得到经优化后最佳的神经网络算法；S35、测试神经网络算法：将图像库中的初始图像带入到经优化后最佳的神经网络算法中进行测试，得到最终的神经网络算法。

此外，该车道线检测方法还包括有步骤S4；所述步骤S4具体为：将图像库的图像送入到神经网络算法内进行识别标记出车道线。

在本实施例中，使用车载摄像头以及无人机采集大量城市结构化道路图片，进行灰度转换生成灰度图像后将其分为两个图像库，其中一个作为原始道路图像库，另一个作为测试道路图像库；然后使用标定软件逐次对原始道路图像库中的每张图像切取大量m×m矩形区域小块作为样本，并对其贴标签，样本中含车道线的标记为正样本，否则均标记为负样本，然后将所有样本导出生成区域道路数据库；使用QT-Creator软件编写标定程序并构建标定工程，对原始道路图像进行标定，采用双点标定法，在原始道路图像中切取标定双点间经过矩形扩展形成的区域小块，小块的尺寸大小选取为48*48；从原始道路图像库中切取出共12万个小块样本，其中正负样本各6万个，将这12万个小块样本存储并导出生成区域道路数据库。正样本即判定为道路车道线，负样本则是除正样本外一切非道路车道线的样本，例如道路中车辆、行人；道路两旁护栏、树木、房屋、山脉；道路远方的天空等等；利用该车道线检测算法求出图像的LLP特征值：选取LLP中两条线段的交点为中心，并以此中心灰度值为阈值，两条线段上以及一个圆形领域上各自的8个采样点的灰度值与中心的灰度值进行比较，若采样点灰度值大于中心灰度值，则该采样点的位置被标记为1，否则为0。这样，每条线段及圆形领域上的8个点经过比较可产生8位二进制数。其中二进制编码中0-1转换次数U≤2的共58个二进制值，其余U>2的归为一个bin记为0，将这59个二进制值按从小到大的顺序分别编码为0-58，这个新的编码就是中心像素的LLP特征值，依次遍历图像中所有像素点得到区域道路图像的LLP特征值；如图7所示，其中(x_c,y_c)是中心Center像素，圆上的领域像素位置为(x_p,y_p)可通过公式(1)及双线性插值公式(2)得出，R＝1.5为采样半径，中心点灰度值是i_c，而i_p则是线段Line上和圆圈Circle上采样点的灰度值，s(x)为符号函数。Line1、Line2以及Circle上均取了P＝8个采样点，线段Line1、Line2上采样顺序自上向下，从左到右，采样间隔d＝1，其中Line1和Line2夹角a＝90°，则各自的LLP特征值可由公式(3)得出。

此外，为了进一步说明本实施例，在所述的步骤S23中，使用Uniform Pattern LBP特征的59类0-1跳变降维统计特征方法；使用LLP特征算法去提取道路车道线特征；特征统计时0-1跳变降维方法：采样点数目为8个，即LBP特征值有28种，共256个值，正好对应灰度图像的0-255，因此原始的LBP特征图像是一幅正常的灰度图像，而等价模式LBP特征，根据0-1跳变次数，将这256个LBP特征值分为了59类，从跳变次数上划分：跳变0次—2个，跳变1次—0个，跳变2次—56个，跳变3次—0个，跳变4次—140个，跳变5次—0个，跳变6次—56个，跳变7次—0个，跳变8次—2个。共9种跳变情况，将这256个值进行分配，跳变小于2次的为等价模式类，共58个，他们对应的值按照从小到大分别编码为1—58，即它们在LBP特征图像中的灰度值为1—58，而除了等价模式类之外的混合模式类被编码为0。

为了能多尺度的统计区域道路图像中的特征，对区域道路数据库中的所有图像进行金字塔c层分割，每张图像分割成1×1+2×2+3×3+.......+c×c＝C块；为了能多尺度的提取特征对其进行金字塔5层分割，每张图像分割成1×1+2×2+3×3+4×4+5×5＝55块；利用该车道线检测算法对分割后的每一块统计LLP特征直方图，即0-58类中每一类出现的频率，然后对该直方图归一化处理，最后将得到的每个小块的统计直方图进行连接成为一个特征向量，也就是整幅道路区域图像的LLP纹理特征向量；统计出每块的0-58类中每一类别出现的总次数n，然后将v＝n/N得到各个类别在总类别中的占比值v，其中N表示总类别出现次数。于是归一化后得到一个由59个类别的占比值v组成的59维特征向量，将每个区域道路图像中所有小块得到的59维向量连接起来，得到一个59×55＝3245维特征向量，将两条线段和圆上的得到的特征向量串联起来形成3245*3＝9735维LLP纹理特征向量；在区域道路数据库所有正负样本中，随机选取已经提取LLP纹理特征向量后的x个正样本，x个负样本作为神经网络的训练样本，剩下的y个正样本和y个负样本作为训练完成后的测试样本。为了正负样本的均衡，将提取特征向量后正样本和负样本一正一负组成样本矩阵，送入BP神经网络进行训练及测试，调整BP神经网络各个参数，得到最高精度，保存该最高精度下训练完成后的神经网络权值模型；在区域道路数据库12万个正负样本中，随机选取已经提取LLP纹理特征向量后的5万个正样本，5万个负样本作为神经网络的训练样本，剩下的1万个正样本和1万个负样本作为训练完成后的测试样本。为了正负样本的均衡，将提取特征向量后的6万个正样本和6万个负样本一正一负组成样本矩阵，送入BP神经网络进行训练及测试，调整BP神经网络各个参数，得到最高精度，保存该最高精度下训练完成后的神经网络权值模型；利用BP神经网络权值模型对测试道路图像库的大图进行检测，采用多尺度窗口对大图进行滑动检测，检测结果为车道线便标记出来，最后得到整张大图的车道线。

本发明对现今最流行的Uniform Pattern LBP特征进行了改进并应用于道路车道线检测。原有的Uniform Pattern LBP特征具有对阴影不敏感的优点，对阴影的抗干扰能力强，同时对采样点附近局部信息的提取非常精细，但是对于发散开的周边信息并没有考虑到，这会遗漏部分关键特征，使检测精度降低。本发明对现今主流的LBP特征提取算法进行大幅改进，提出了区别于传统道路检测方法的新的车道线检测算法，在大量样本数据库下，使用新的道线检测算法即LLP特征算法，提取特征并输入给BP神经网络进行训练测试，得到高精度分类器，实现车道线的检测；且本发明提出的LLP特征算法可以结合现有UniformPattern LBP特征对阴影抗干扰能力强以及对局部信息提取精细的优点，同时兼顾弥补周边远端信息的缺失，提高车道线检测精度。

从上述的技术方案可以看出，本发明先采集图像建立图像数据库，然后对图像数据库中的部分图像进行初次分割并求取相对应的区域道路图像的LLP特征值，然后再对图像数据库中的部分图像进行二次细化分割并进行归一化处理后得到LLP纹理特征向量，最后对神经网络算法进行迭代优化获得最佳神经网络算法用于标记识别车道线；因此，本发明对图像进行碎化成若干片段后再进行LLP特征识别出相对应的车道线，有效避免噪声干扰，有利于直线和曲线检测，提高车道线检测精度，解决了现有技术中由于道路图像受阴影干扰严重，车道通常有弯道以及部分道路颠簸不平，导致在车道线检测时对城市道路图像质量要求过高，检测精度较低的缺陷，能有效提高阴影抗干扰性能，对局部信息提取精细且兼顾弥补周边远端信息的缺失，达到提高车道线检测精度的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分相互参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于局部线段模式特征的车道线检测方法，其特征在于，包括以下步骤：

S1、建立图像库；

S2、利用车道线检测算法计算图像库的LLP纹理特征向量；

S3、根据LLP纹理特征向量，对神经网络进行迭代优化。

2.如权利要求1所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，所述车道线检测算法具体为：

其中，(x_c,y_c)表示中心像素，i_c表示中心点灰度值，i_p表示采样点灰度值，s(x)为符号函数。

3.如权利要求1所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，所述步骤S1具体为：

S11、采集图像；

S12、对图像进行灰度转换；

S13、将灰度转换后的图像划分为原始道路图像库和测试道路图像库；

S14、对原始道路图像库中的图像进行切割标记后生成区域道路数据库。

4.如权利要求3所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，所述步骤S14具体为：

S141、图像切割：逐次对原始道路图像库中的每张图像切取样本；

S142、对样本进行标定：含车道线的样本标记为正样本，否则均标记为负样本；

S143、图像分类：将正样本和负样本导出生成区域道路数据库。

5.如权利要求4所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，在步骤S141中，逐次对原始道路图像库的每张图像中均割取至少一个m*m矩形区域小块作为样本。

6.如权利要求4所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，所述步骤S2具体为：

S21、利用该车道线检测算法计算区域道路数据库的图像中所有像素点的LLP特征值；

S22、对区域道路数据库中的所有图像样本进行细化分割成若干个样本块；

S23、对样本块进行类别频率统计得到LLP特征直方图；

S24、对LLP直方图进行归一化处理；

S25、将经归一化处理后的所有样本块的LLP特征直方图连接成特征向量，建立LLP纹理特征向量。

7.如权利要求6所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，所述步骤S21具体为：

S211、选取阈值：选取LLP中两条线段的交点为中心，并以此中心灰度值为阈值；

S212、标定采样点：两条线段上以及一个圆形领域上各自的8个采样点的灰度值与阈值相比较，若采样点灰度值大于中心灰度值，则该采样点的位置被标记为1，否则为0，从而产生8位二进制数；

S213、二进制编码：利用等价模式，将生8位二进制数划分为59个二进制值，并按照从小到大的顺序分别编码为0-58，得到LLP中两条线段交点的LLP特征值；

S214、依次遍历区域道路数据库中所有图像样本的像素点，得到区域道路数据库的图像样本的LLP特征值。

8.如权利要求6所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，所述步骤S22具体为：对区域道路数据库中的所有图像样本进行金字塔C层分割，每张图像样本分割成1*1+2*2+3*3+…+c*c＝C块样本块。

9.如权利要求7所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，所述步骤S23具体为：对样本块的像素点进行二进制处理并进行编码，统计样本块的各个像素点在0-58类中每一类出现的频率。

10.如权利要求4所述的一种基于局部线段模式特征的车道线检测方法，其特征在于，所述步骤S3具体为：

S31、建立样本：在区域道路数据库所有正负样本中，随机选取已经提取LLP纹理特征向量后的x个正样本，x个负样本作为神经网络的训练样本，剩下的y个正样本和y个负样本作为训练完成后的测试样本；

S32、建立样本矩阵：从神经网络的训练样本中随机选取正样本和负样本一正一负组成样本矩阵；

S33、建立神经网络模型；

S34、优化神经网络模型：将样本矩阵放入到神经网络模型中，调整神经网络模型各个参数，得到最高精度，保存该最高精度下训练完成后的神经网络权值模型，得到经优化后最佳的神经网络算法；

S35、测试神经网络模型：将图像库中的初始图像带入到经优化后最佳的神经网络算法中进行测试，得到最终的神经网络模型。