CN105335704A - 一种基于双线性插值的车道线识别方法与装置 - Google Patents

Abstract

本发明涉及一种基于双线性插值的车道线识别方法与装置，属于汽车智能辅助驾驶系统技术领域。本发明首先将采集到的原始道路图像经灰度化和中值滤波处理后，然后利用最小二乘算法检测消失点的位置，并根据消失点的位置选取适当的缩放区域，最后利用双线性插值将缩放区域放大到原来的尺寸。将缩放的图像和原始图像都与Sobel算子进行卷积运算，并将结果进行多次迭代逻辑运算，以消除大部分的异常点。本发明能有效地去除干扰如树木、车辆、建筑或者阴影等的边缘，从而提高车道线特征提取的准确性。

Description

一种基于双线性插值的车道线识别方法与装置

技术领域

本发明涉及一种基于双线性插值的车道线识别方法与装置，属于汽车智能辅助驾驶系统技术领域。

背景技术

近年来，随着我国综合国力的增强，公路建设里程迅猛增长，人们对汽车的需求量也越来越大。根据公安部相关数据显示，截止2012年底，驾驶机动车的人数达到了2.6亿，而且驾驶人数以每年2647万的速度在增长。很显然在这种情况下，由汽车带来的问题也日益增多。对于我们国家来说，汽车保有量占世界汽车保有量的百分之三左右，然而由交通事故所造成的死亡人数却占世界的百分之十六。

车道线是保证车辆安全行驶的重要信息，因此能否正确检测出车道线是实现车辆自主导航或辅助驾驶的关键，所以对车道线检测技术的研究对智能车的发展有重要意义。基于车道线检测的辅助驾驶系统会在车辆将要偏离当前车道时发生相应的警示，提醒驾驶员车辆即将压线，使驾驶员有反应时间做出处理。根据相应估计，该系统可以减少至少24％的由于车道线偏离引起的交通事故。如果能够提出一种有效的车道线检测算法，能够满足各种复杂路况，具有十分重要的现实意义。

目前多数车道线检测算法可以分为两种:基于特征的方法和基于模型的方法。基于特征的方法是用分割等算法来定位道路区域，而基于模型的方法是通过数学模型来表示道路的边缘。很多基于特征的算法都可以检测出无标识或者非结构化道路，而基于模型的算法通常在检测阶段加入许多约束条件使得误差达到最小，并且用抛物线或者样条来简单描述车道线。不管哪种方法，算法的性能和车道线特征的提取紧密相连。最流行的车道线特征提取算法就是根据边缘信息来确定，将白色或者黄色的车道线边界与路面分开来。但是，边缘阈值的过高或者过低，都会检测出大量不相关的特征点，导致检测失败。利用DCT系数可以来定位对角线上的高频位置，但是这种寻求车道边缘的方法不足够准确。

发明内容

本发明的目的是提供一种基于双线性插值的车道线识别方法与装置，以解决雨天、暗光照、雾天、阴影等复杂条件下车道线特征提取不准确，鲁棒性和实时性偏低的问题。

本发明为解决上述技术问题提供了一种基于双线性插值的车道线识别方法，该识别方法包括以下步骤：

1)将采集到的原始道路图像转换为灰度图像，并对灰度图像进行滤波和边缘检测；

2)检测滤波处理后消失点的位置，并根据消失点的位置截取一定缩放比的图像；

3)对截取的图像进行双线性插值，使截取的图像放大到原来的尺寸；

4)对插值处理后的图像进行边缘检测；

5)将步骤1)得到边缘检测图像和步骤4)中的得到边缘检测图像进行逻辑运算，得到第一次迭代特征图像；

6)改变缩放比，重复步骤2)-5)，直至迭代次数达到要求，最终得到的迭代特征图像即为识别出的车道线图像。

所述步骤2)采用最小二乘法来检测消失点的位置，消失点的位置为：

其中vpm为消失点的横坐标，vpn为消失点的纵坐标，θ_i表示某一条车道线与X轴的夹角。

所述步骤2)中缩放比的选取是从100％到90％线性递减，所选取区域满足下列规则：

其中M为原图像行的总数，N为原图像列的总数，z为选取的缩放比，L为截取后子图像的左边界，U为截取后子图像的上边界。

所述步骤1)和步骤4)中的边缘检测均采用改进的Sobel边缘检测算法，改进的Sobel边缘检测算法是将Sobel边缘检测算法中的模板方向改为±45°，并将系数翻倍。

所述步骤5)中的迭代图像是将两幅边缘检测图像对应像素之间进行逻辑与运算得到。

本发明还提供了一种基于双线性插值的车道线识别装置，该识别装置包括：

将采集到的原始道路图像转换为灰度图像的图像灰度化模块；

对灰度图像进行滤波的滤波处理模块；

用于检测滤波处理后消失点位置的消失点检测模块；

用于根据消失点的位置截取一定缩放比图像的图像缩放截取模块；

用于对截取的图像进行双线性插值处理，使截取的图像放大到原来的尺寸的双线性插值处理模块；

用于对原始图像和插值处理后图像进行边缘检测的边缘检测模块；

用于得到将原始边缘检测图像和插值处理后的边缘检测图像进行逻辑运算，以得到迭代特征图像的特征检测对对比模块。

所述消失点检测模块采用最小二乘法来检测消失点的位置，消失点的位置为：

其中vpm为消失点的横坐标，vpn为消失点的纵坐标，θ_i表示某一条车道线与X轴的夹角。

所述图像缩放截取模块选取的缩放比是从100％到90％线性递减，所选取区域满足下列规则：

其中M为原图像行的总数，N为原图像列的总数，z为选取的缩放比，L为截取后子图像的左边界，U为截取后子图像的上边界。

所述边缘检测模块均采用改进的Sobel边缘检测算法，改进的Sobel边缘检测算法是将Sobel边缘检测算法中的模板方向改为±45°，并将系数翻倍。

所述特征检测对比模块是将两幅边缘检测图像对应像素之间进行逻辑与运算得到迭代特征图像的。

本发明的有益效果是:本发明首先将采集到的原始道路图像经灰度化和中值滤波处理后，然后利用最小二乘算法检测消失点的位置，并根据消失点的位置选取适当的缩放区域，最后利用双线性插值将缩放区域放大到原来的尺寸。将缩放的图像和原始图像都与Sobel算子进行卷积运算，并将结果进行多次迭代逻辑运算，以消除大部分的异常点。本发明能有效地去除干扰如树木、车辆、建筑或者阴影等的边缘，从而提高车道线特征提取的准确性。

附图说明

图1是本发明基于双线性插值的车道线识别方法的流程图；

图2是中值滤波原理示意图；

图3-a是本发明实施例中所选取的原始道路图像；

图3-b是本发明实施例中滤波后的道路图像；

图4是本发明实施例中选择缩放区域示意图；

图5是本发明实施例中所采用的改进Sobel算子模板示意图；

图6-a是本发明实施例中边缘检测结果示意图；

图6-b是本发明实施例中第一次迭代结果示意图；

图6-c是本发明实施例中第三次迭代结果示意图；

图6-d是本发明实施例中第五次迭代结果示意图；

图7-a是本发明实验例中所选取的雨天原始道路图像；

图7-b是图7-a采用Sobel边缘检测后得到车道线示意图；

图7-c是图7-a采用本发明方法识别出的车道线示意图；

图8-a是本发明实验例中所选取的带有阴影的原始道路图像；

图8-b是图8-a采用Sobel边缘检测后得到车道线示意图；

图8-c是图8-a采用本发明方法识别出的车道线示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的说明。

本发明的基于双线性插值的车道线识别方法的实施例

本发明的车道线识别方法是将原始道路图像经灰度化和中值滤波处理后，利用最小二乘算法来检测消失点的大概位置，根据消失点的位置选取适当的缩放区域。最后利用双线性插值将缩放区域放大到原来的尺寸。将缩放的图像和原始图像都与提出的Sobel算子进行卷积运算，将结果进行多次迭代逻辑运算，可以消除大部分的异常点，其流程如图1所示，具体实施步骤如下。

1、首先将车载视觉系统采集到的彩色图像经灰度化转换为灰度图像。灰度化采用如下形式：

式中，Vgray代表灰度化后的像素灰度值，R、G、B分别代表RGB彩色模型的三个分量。

2、对灰度化后的图像进行中值滤波处理。采用3x3的窗口，把二维窗口中的数据一维化，并排列其顺序，由公式(2)求出其中值Me，然后用中值Me代替窗口中心X₂₂原来的灰度值，如图2所示。本实施例中采集的原始道路图像如图3-a所示，经中值滤波后得到图像如图3-b所示。

Me＝Median{x₁₁,x₁₂,x₁₃…x₃₃}(2)

3.对滤波后的灰度图像进行边缘检测，以得到相应的边缘图像。

由于经典Sobel算子只能够检测到水平方向和垂直方向，必然限制了道路图像的应用范围和检测精度。并且，当道路图像受到强烈阴影干扰或光照不足的情况下，无法达到理想的分割效果。故而有必要对算子进行改进，以增强检测的效果，因此本实施例中的边缘检测采用改进的Sobel边缘检测算法，即将滤波后的灰度图像与改进的Sobel算子进行卷积运算。

由于大多数车道线具有斜直线特性，所以将模板方向改为±45°。同时，考虑到在弱光照下，车道线和路面之间灰度级差别不大，将算子系数翻倍，因此构造的用于提取左右车道线的改进Sobel算子模板如图5所示。

4、利用最小二乘法检测消失点的大概位置。理想情况下，图像中所有与车道线平行的线都交于消失点，就是说消失点到平行线的距离为0。根据这个思想，可以将消失点的检测问题转换为一个求最小值的问题。假设车道线的公式为：

ρ＝xcosθ+ysinθ(3)

假设存在的消失点坐标为vp(vpm,vpn)，横坐标为vpm纵坐标为vpn，i表示图像中的某一个像素，θ_i表示某一条车道线与X轴的夹角，在参数空间构造目标函数：

当P最大时所对应的点即为消失点。因此对(4)式求一阶微分得：

将公式(5)改成：

其中, 那么消失点的位置为：

5、根据消失点的位置，按照缩放比从原图截取子图像。如图4所示，定义消失点的位置vp(vpm,vpn)，输入图像行的总数是M，列的总数是N，缩放比例为z。设原图为I,大小为M*N，子图像为I₁，大小为zM*zN。

选取合适的z值。缩放比z也是非常重要的一个参数。实验表明，如果缩放区域选择过小，则可能引起图像失真。如果此时车道线不连续、破损或异物遮挡时，在特征提取阶段就会导致大量的车道线特征丢失。缩放比的选取是从100％到90％线性递减。第一次迭代选取z＝98％。根据缩放比z求出L和U的值。L和U分别是I₁左边界和上边界，所选区域必须满足下列规则：

6、选好区域后，利用双线性插值将子图像I₁放大到原来的尺寸。这一步几乎会将所有的点移动到新位置，只保留消失点的位置不动。图片缩放就是改变图像的分辨率，常借助于图像插值来实现。在插值阶段，出于对算法复杂性和实时性的考虑，选择双线性插值。

对于子图像I₁的一个目标像素，设置坐标通过反向变换得到的浮点坐标为(k+u,j+v)(其中k、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，是取值[0,1)区间的浮点数)，则这个目标像素的值f(k+u,j+v)可由原图像I中坐标为(k,j)、(k+1,j)、(k,j+1)、(k+1,j+1)的四个像素值决定，即：

f(k+u,j+v)＝(1-u)(1-v)f(k,j)+(1-u)vf(k,j+1)+

(10)

u(1-v)f(k+1,j)+uvf(k+1,j+1)

经过双线性变换后，得到放大后的图像I'₁。

7、将原始图像I与放大后的图像I'₁都与改进的Sobel算子进行卷积，得到边缘提取后的图像J和J₁。构造的用于提取左右车道线的改进Sobel算子模板如图4所示。

将此模板与灰度图像做卷积运算，若结果为负直接赋值为0；若结果溢出，则赋值255。结果为二值图像。

8、将J与J₁对应像素做逻辑与运算，得到第一次迭代图像A，即：

A＝J&J₁(11)

式中“&”表示与运算。

9、改变缩放比z的值，重复步骤5-8，得到图像J₂J₃,…J_n。n为迭代次数。如果噪声较小，三次迭代已经足够，选取的缩放比分别为：98％，96％，94％。若异常点较多，五次迭代也可满足系统需求，选取的缩放比分别是：98％，96％，94％，92％，90％。在每次迭代时应用边缘检测，然后将边缘图片与原始边缘图片进行比较。设最终边缘提取结果为A_n，则

A_n＝J&J₁&J₂...&J_n(12)

本实施例中边缘检测结果如图6-a所示，第一次迭代后的得到图像如图6-b所示，第三次迭代后的得到图像如图6-c所示，第五次迭代后的得到图像如图6-d所示。

实验结果比较

为了比较本发明提出的双线性插值算法对车道线特征提取的效果，分别用Sobel算子和所发明的方法对两种典型工况下的车道线进行特征提取，实验结果如下。

图7-a是针对雨天，暗光照情况下的车道线特征提取。此车道线被积水覆盖、光照较弱，由提取结果可明显看到，直接利用Sobel边缘检测的方法可以提取出车道线信息，但是同时包含较多异常点，如图7-b所示；而经过迭代后，可以除去大部分异常点，并且较好地提取出车道线信息，如图7-c所示。

图8-a是针对车道线被路旁存在的建筑物、树木等遮挡而造成阴影情况下的车道线特征提取。由于在感兴趣区域内存在大量阴影，利用Sobel边缘检测的方法提取出较多不需要的点，如图8-b所示；与其不同的是，本发明所用方法却实现了很好的去噪效果，有效提取出车道线特征点，如图8-c所示。

本发明根据消失点的位置选取适当的缩放区域。最后利用双线性插值将缩放区域放大到原来的尺寸。将缩放的图像和原始图像都与提出的Sobel算子进行卷积运算，将结果进行多次迭代逻辑运算，可以消除大部分的异常点。并且通过上述实验例说明，本发明在雨天、暗光照、雾天、阴影等复杂条件下，能够有效提取出车道线特征，提高车道线检出率，鲁棒性较好。

本发明的基于双线性插值的车道线识别装置的实施例

本发明的基于双线性插值的车道线识别装置包括：

将采集到的原始道路图像转换为灰度图像的图像灰度化模块；

对灰度图像进行滤波的滤波处理模块；

用于检测滤波处理后消失点位置的消失点检测模块；

用于根据消失点的位置截取一定缩放比图像的图像缩放截取模块；

用于对截取的图像进行双线性插值处理，使截取的图像放大到原来的尺寸的双线性插值处理模块；

用于对原始图像和插值处理后图像进行边缘检测的边缘检测模块；

用于得到将原始边缘检测图像和插值处理后的边缘检测图像进行逻辑运算，以得到迭代特征图像的特征检测对对比模块。

各模块分别与方法实施例中步骤1-8对应，各模块实现对应步骤的功能，这里不再赘述。

Claims (10)

1.一种基于双线性插值的车道线识别方法，其特征在于，该识别方法包括以下步骤：

1)将采集到的原始道路图像转换为灰度图像，并对灰度图像进行滤波和边缘检测；

2)检测滤波处理后消失点的位置，并根据消失点的位置截取一定缩放比的图像；

3)对截取的图像进行双线性插值，使截取的图像放大到原来的尺寸；

4)对插值处理后的图像进行边缘检测；

5)将步骤1)得到边缘检测图像和步骤4)中的得到边缘检测图像进行逻辑运算，得到第一次迭代特征图像；

6)改变缩放比，重复步骤2)-5)，直至迭代次数达到要求，最终得到的迭代特征图像即为识别出的车道线图像。

2.根据权利要求1所述的基于双线性插值的车道线识别方法，其特征在于，所述步骤2)采用最小二乘法来检测消失点的位置，消失点的位置为：

$\left\{\begin{array}{c}vpm=\frac{CD-BE}{AD-B^2}\\ vpn=\frac{AE-BC}{AD-B^2}\end{array}\right.$

其中 $A=\underset{i=1}{\overset{n}{\Σ}}{\cos }^2{\mathrm{\θ}}_i,B=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{sin\θ}}_i{\mathrm{cos\θ}}_i,C=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ρ}}_i{\mathrm{cos\θ}}_i,D=\underset{i=1}{\overset{n}{\Σ}}{\sin }^2,$ vpm为消失点的横坐标，vpn为消失点的纵坐标，θ_i表示某一条车道线与X轴的夹角。

3.根据权利要求2所述的基于双线性插值的车道线识别方法，其特征在于，所述步骤2)中缩放比的选取是从100％到90％线性递减，所选取区域满足下列规则：

$\frac{vpn}{N-vpn}=\frac{vpn-L}{L+zN-vpn}$

$\frac{vpm}{M-vpm}=\frac{vpm-U}{U+zM-vpm}$

其中M为原图像行的总数，N为原图像列的总数，z为选取的缩放比，L为截取后子图像的左边界，U为截取后子图像的上边界。

4.根据权利要求3所述的基于双线性插值的车道线识别方法，其特征在于，所述步骤1)和步骤4)中的边缘检测均采用改进的Sobel边缘检测算法，改进的Sobel边缘检测算法是将Sobel边缘检测算法中的模板方向改为±45°，并将系数翻倍。

5.根据权利要求3所述的基于双线性插值的车道线识别方法，其特征在于，所述步骤5)中的迭代图像是将两幅边缘检测图像对应像素之间进行逻辑与运算得到。

6.一种基于双线性插值的车道线识别装置，其特征在于，该识别装置包括：

将采集到的原始道路图像转换为灰度图像的图像灰度化模块；

对灰度图像进行滤波的滤波处理模块；

用于检测滤波处理后消失点位置的消失点检测模块；

用于根据消失点的位置截取一定缩放比图像的图像缩放截取模块；

用于对截取的图像进行双线性插值处理，使截取的图像放大到原来的尺寸的双线性插值处理模块；

用于对原始图像和插值处理后图像进行边缘检测的边缘检测模块；

用于得到将原始边缘检测图像和插值处理后的边缘检测图像进行逻辑运算，以得到迭代特征图像的特征检测对对比模块。

7.根据权利要求6所述的基于双线性插值的车道线识别装置，其特征在于，所述消失点检测模块采用最小二乘法来检测消失点的位置，消失点的位置为：

$\left\{\begin{array}{c}vpm=\frac{CD-BE}{AD-B^2}\\ vpn=\frac{AE-BC}{AD-B^2}\end{array}\right.$

其中 $A=\underset{i=1}{\overset{n}{\Σ}}{\cos }^2{\mathrm{\θ}}_i,B=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{sin\θ}}_i{\mathrm{cos\θ}}_i,C=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ρ}}_i{\mathrm{cos\θ}}_i,D=\underset{i=1}{\overset{n}{\Σ}}{\sin }^2{\mathrm{\θ}}_i,$ vpm为消失点的横坐标，vpn为消失点的纵坐标，θ_i表示某一条车道线与X轴的夹角。

8.根据权利要求7所述的基于双线性插值的车道线识别装置，其特征在于，所述图像缩放截取模块选取的缩放比是从100％到90％线性递减，所选取区域满足下列规则：

$\frac{vpn}{N-vpn}=\frac{vpn-L}{L+zN-vpn}$

$\frac{vpm}{M-vpm}=\frac{vpm-U}{U+zM-vpm}$

其中M为原图像行的总数，N为原图像列的总数，z为选取的缩放比，L为截取后子图像的左边界，U为截取后子图像的上边界。

9.根据权利要求8所述的基于双线性插值的车道线识别装置，其特征在于，所述边缘检测模块均采用改进的Sobel边缘检测算法，改进的Sobel边缘检测算法是将Sobel边缘检测算法中的模板方向改为±45°，并将系数翻倍。

10.根据权利要求6-9中任一项所述的基于双线性插值的车道线识别装置，其特征在于，所述特征检测对比模块是将两幅边缘检测图像对应像素之间进行逻辑与运算得到迭代特征图像的。