CN105608429B - 基于差分激励的鲁棒车道线检测方法 - Google Patents

Abstract

本发明提出了一种基于差分激励的鲁棒车道线检测方法，包括如下步骤：对车载视觉系统采集的图片进行感兴趣区域提取，将感兴趣区域转化为灰度图，然后对灰度图进行中值滤波去噪；在灰度图上进行差分处理，取出差分结果中最大的一部分作为候选点，对图像进行二值化；按行扫描二值图像，选取满足规则的连续目标区域的最中间三个点作为投票点；在投票点集上进行改进Hough变换，在变换过程中通过角度约束和距离约束消除干扰线段，且即时消除已被检测点对后续直线检测的影响，从而精确检测出车道线。针对城市道路路面存在反光、污迹，车道线退化、污损等复杂情况下的车道线检测问，本发明在保持甚至提高了实时性的同时，检测精度高，鲁棒性强。

Description

基于差分激励的鲁棒车道线检测方法

技术领域

本发明涉及自主驾驶和计算机视觉技术领域，涉及到城市道路路面存在反光、污迹，车道线退化、污损等复杂情况下的车道线检测领域，尤其涉及一种基于差分激励的鲁棒车道线检测方法。

背景技术

近年来，汽车自主驾驶技术得到大量关注并取得突破性进展，将在军事、智能交通方面有广阔的应用前景。在没有道路先验信息的条件下，从车载视觉系统获取的道路图像中检测出车道线的位置、走向等信息的技术是汽车自主驾驶技术的关键组成部分。作为智能交通领域的重点研究内容，车道线检测一直以来都是学者们关注的热点。

最近几十年，学者们提出大量基于视觉的方法用于车道线检测。其中最常用的方法是利用Canny等算子求出原始图像中的边缘信息，将边缘信息映射到Hough空间中，找出最优拟合直线。由于该方法严重依赖对原始图像的边缘检测，如果路面存在裂痕、阴影等干扰因素时，将极大地降低检测的精确度。针对常用方法的不足，部分研究人员尝试从颜色的角度解决问题，提出对RGB图像的各颜色通道图像单独进行处理，进而再对路面车道线的分布进行分析。然而该方法容易受到光照条件的影响，例如在光线较强的情况下，基于颜色的方法将得到一个错误的分割结果。部分学者采用局部阈值分割方法求出原始图像的二值图，对二值图进行形态学操作、去噪等一系列处理后，利用Hough变换提取出车道线。该方法运算较复杂，影响系统的实时性，且容易受到光照变化的影响。此外还有学者提出先利用逆透视变换(Inverse Perspective Mapping，IPM)生成路面俯视图，再检测车道线。IPM方法能极大地去除非路面背景信息，且能使车道线彼此平行地出现，极大地方便后序检测。该方法在路面平整，相机矫正参数已知的情况下，能较好地检测出车道线。但是路面情况将随着车辆的移动而不断变化，路面不可能一直平整，且相机的外部参数也在不停地变化，因此该方法不能产生出可信赖的检测结果。以上所提方法大部分只有在车道线清晰，光照良好的条件下才能得到较好的检测结果。所以这就亟需本领域技术人员解决相应的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于差分激励的鲁棒车道线检测方法。

为了实现本发明的上述目的，本发明提供了一种基于差分激励的鲁棒车道线检测方法，包括如下步骤：

S1：图像预处理；从车载视觉系统采集到的原始图像中提取感兴趣区域，将感兴趣区域转化成灰度图像，并对灰度图进行中值滤波去噪；

S2：差分激励；利用k×k的窗口对灰度图像进行差分激励处理，提取图像的显著纹理信息，取差分结果中最大的n％作为人眼能识别的有效信号，将灰度图像二值化；

S3：投票点选取；从上往下扫描二值图像的每一行，对每一行中的每一段连续目标区域，计算其长度len，如果len_min≤len≤len_max，则选取该段目标区域的最中间三个(x,y_mid-1),(x,y_mid),(x,y_mid+1)作为投票点，其中x为目标区域横坐标、y_mid为目标区域纵坐标中间值，y_mid-1为目标区域纵坐标中间值减一列，y_mid+1为目标区域纵坐标中间值加一列；

S4：改进Hough变换；在投票点集上进行Hough变换，在变换过程中，通过角度约束、距离约束以及即时消除已检测直线对后续直线检测的影响，排除干扰线段，从而精确检测出车道线。

所述的基于差分激励的鲁棒车道线检测方法，优选的，所述S1中提取感兴趣区域包括：

由于路面信息主要集中在原始图像的中间部分，采用公式ROI＝I(uproi*m:(1-downroi)*m,1:n,1:d)提取感兴趣区域，去除干扰信息；其中I代表采集的原始图像，m代表I的行数、n代表I的列数、d代表I的颜色通道数，uproi为以天空为代表的背景信息所占的比例，downroi为以车头为代表的背景信息所占的比例，ROI表示提取出的感兴趣区域。

所述的基于差分激励的鲁棒车道线检测方法，优选的，所述S2中差分激励包括：

S2-1：构建两个k阶矩阵矩阵的中心点值为k²-1，其余值为-1，f_w2的中心点值为1，其余值为0；其中k的取值为H为图像的高度、W为图像的宽度；

S2-2：利用对灰度图像进行滤波处理，即 其中表示卷积运算，grayIM表示待处理的灰度图像；

S2-3：v₁代表了图像中每个像素与邻域中其他像素灰度值之差的总和，v₂为窗口中心像素灰度值；通过G_ratio＝v₁/v₂得到灰度图像grayIM的窗口为k的差分激励值G_ratio；

S2-4：由于G_ratio值的范围过大，利用反正切变换将其映射至区间得到 最终差分激励值

所述的基于差分激励的鲁棒车道线检测方法，优选的，所述S4中改进Hough变换包括：

S4-1:在参数空间ρ和θ中建立一个二维累加数组Array，初始化该数组，其中ρ和θ已经分别量化到[ρ_min,ρ_max]和[θ_min,θ_max]中；

S4-2：顺序搜索所有投票点，对每个点(x,y)，让θ依次取[θ_min,θ_max]中的值，运用ρ＝xcosθ+ysinθ计算相应的ρ值，根据ρ和θ值对数组Array(ρ,θ)进行累加：Array(ρ,θ)＝Array(ρ,θ)+1；

S4-3：取出累加数组中的最大值peak，如果peak大于阈值T，则取出peak对应的直线l_c，否则算法结束，其中l_c的下标c表示该直线为候选直线；

S4-4：在车载视觉系统采集到的图像中，车道线通常分布在图像的左右两边，且有一定斜率；其斜率的绝对值|θ|必在范围θ_min～θ_max之内，其中H_roi是感兴趣区域的高度，W_roi是感兴趣区域的宽度；若l_c＜θ_min且l_c＞θ_max，则将l_c当作干扰线段去除，跳到S4-7执行。

所述的基于差分激励的鲁棒车道线检测方法，优选的，所述S4中改进Hough变换还包括：

S4-5：为避免同一条车道线被检测成了多条车道线，两条车道线的角度差不能小于θ_T；将l_c与已检测出的直线两两相比，若它与任何已检测出的直线的角度差小于θ_T，则将其当干扰信息舍去，跳到S47执行；

S4-6:由于车道有固定宽度，故车道线之间存在一定间隔；在感兴趣区域的正中间作一条直线l:x＝H_roi/2，先求已检测出的直线与l的交点集，再求l_c与l的交点，计算该交点与其他交点之间的距离，若存在距离小于阈值T_d，则将l_c当干扰信息舍去，跳到S4-7执行，其中l代表感兴趣区域正中间的一条固定水平直线；

S4-7：对直线l_c上的所有投票点，让θ依次取[θ_min,θ_max]中的值，根据ρ＝xcosθ+ysinθ计算出相应的ρ值，根据ρ和θ对累加数组Array进行减1操作，即Array(ρ,θ)＝Array(ρ,θ)-1，从而消除已被检测点对后续车道线检测的影响；

S4-8：计算以检测出的车道线的数量，若小于4，则跳到S43执行；否则算法运行结束。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明通过差分激励处理提取出图像的显著纹理信息，极大地消除背景因素的干扰，而投票点的选取能进一步减少用于Hough变换数据规模，提高了算法的实时性。改进Hough变换通过设置角度约束、距离约束，及时消除已检测投票点对后续检测的影响，有效地排除了干扰线段，提高了算法的检测精度。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个优选实施方式中基于差分激励的鲁棒车道线检测方法的流程图；

图2是本发明一个优选实施方式中差分激励方法的示意图；

图3是本发明一个优选实施方式中差分激励处理的结果示意图，其中，图3a展示了差分激励处理的结果；图3b是对图3a进行二值化处理的结果示意图；

图4是本发明一个优选实时方式中投票点选取示意图，其中，图4展示了对图3b进行投票点选取处理后的结果示意图；

图5是本发明一个优选实时方式中改进Hough变换方法的角度约束示意图；

图6是本发明一个优选实时方式中改进Hough变换方法的夹角约束和距离约束示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种基于差分激励的鲁棒车道线检测方法，如图1所示，包括如下步骤：

S1：图像预处理。从车载视觉系统采集到的原始图像中提取出感兴趣区域，将感兴趣区域转化成灰度图像，并对灰度图进行中值滤波去噪；

S2：差分激励。利用k×k的窗口对灰度图像进行差分激励处理，提取图像的显著纹理信息，取差分结果中最大的n％作为人眼能识别的有效信号，将灰度图像二值化，其中n的取值范围为5～15；

S3：投票点选取。从上往下扫描二值图像的每一行，对每一行中的每一段连续目标区域，计算其长度len，如果len_min≤len≤len_max，则选取该段目标区域的最中间三个(x,y_mid-1),(x,y_mid),(x,y_mid+1)作为投票点；

S4：改进Hough变换。在投票点集上进行Hough变换，在变换过程中，通过角度约束、距离约束以及即时消除已检测直线对后续直线检测的影响，排除干扰线段，从而精确检测出车道线。

在本发明的一种优选实施方式中，本发明采用中科院合肥研究院与西交大人机所联合发布的环境感知能力测试公开数据库作为检测对象，基于差分激励的鲁棒车道线检测方法的具体实施步骤为：

第一步：图像预处理。在本实施方式中，图像预处理方法为：

由于路面信息主要集中在原始图像的下半部分，采用公式ROI＝I(uproi*m:(1-downroi)*m,1:n,1:d)提取感兴趣区域，除去天空、车头等信息。其中I代表采集的原始图像，m、n、d分别代表I的行数、列数及颜色通道数，uproi代表以天空为代表的背景信息所占的比例，downroi为以车头为代表的背景信息所占的比例,ROI表示提取出的感兴趣区域。将提取出的感兴趣区域转换成灰度图像，利用3x3的窗口对灰度图进行中值滤波去噪。在本实施方式中，所选的原始图像的大小为480×640，uproi、downroi分别取值为0.08和0.3。

第二步：差分激励。在本实施方式中，差分激励的方法为：

S11：对于图2中灰度图像grayIM的某个像素x_c而言，在3×3窗口中的差分激励为该像素灰度值与8-邻域的像素灰度值之差的总和与该像素灰度值的比值利用图2所示差分激励窗口对图像grayIM进行滤波：

其中，grayIM表示输入的灰度图像，表示卷积运算。从上面两个式子可以看出，v₁代表了图像中每个像素与邻域中其他像素灰度值之差的总和，v₂为窗口中心像素灰度值。通过v₁、v₂得到图像grayIM的3×3窗口的差分激励值G_ratio：

G_ratio＝v₁/v₂

由于G_ratio值的范围过大，利用反正切变换将其映射至区间得到最终差分激励值：

差分激励的窗口可扩展为其他尺度，且不同窗口尺度下的计算方法与尺度为3×3时类似。在本实施方式中，所选的差分激励窗口大小为13×13。

S12：图3a列出了差分激励的运算结果，其中包含很多与车道线无关的背景噪声等干扰信息。根据韦伯定理，当信号的差分激励值ξ大于阈值k时，该信号的变化能够引起人类视觉系统的注意，故本文取差分激励结果中最大的10％作为有效信号并将其二值化，得到如图3b的结果。

第三步：投票点选取。在本实施方式中，投票点选取的方法为：

该方法从上往下扫描二值图像的每一行，对每一行中的每一段连续目标区域，计算其长度len，如果len_min≤len≤len_max，则选取该段目标区域的最中间三个(x,y_mid-1),(x,y_mid),(x,y_mid+1)作为投票点。

如图4所示，投票点选取方法，当扫描到第row1行时，该行有一段从(x₁,y₁)到(x₁,y₂)的连续目标区域，其长度为：len1＝y₂-y₁+1。由于len1＞len_max，因此该段区域不可能包含车道线信息，直接忽略掉。该处理方法可以进一步去除背景信息。当扫描到第row2行时，该行有len2、len3、dot1三段目标区域，且dot1的长度为1个像素。因为len_min＜len2＜len_max、len_min＜len3＜len_max、dot1＜len_min，所以对len2和len3，取其最中间三个点作为投票点，例如len3的投票点为：对于噪音点dot1，由于其长度小于len_min，故直接忽略掉。该处理方法可以去除所有宽度小于len_min的噪音信息。

在本实施方式中，len_min、len_max分别取2和30。图4展示了对图3b进行投票点选取处理后的结果。

第四步：改进Hough变换。在本实施方式中，改进Hough变换的方法为：

S41:在参数空间ρθ中建立一个二维累加数组Array，初始化该数组，其中ρ和θ已经分别量化到[ρ_min,ρ_max]和[θ_min,θ_max]中。在本实施方式中，由于车道线的角度只能在-90～+90度之间，故θ_min、θ_max分别取-90和89.5，[θ_min,θ_max]中共包含360个元素，元素间的相互间隔为0.5。本实施方式根据感兴趣区域的对角线长度来确定ρ_min和ρ_max的值，它们取值分别为-706，706，[ρ_min,ρ_max]中共包含1411个元素，元素间的相互间隔为1.0014；

S42：顺序搜索所有投票点，对每个点(x,y)，让θ依次取[θ_min,θ_max]中的值，运用ρ＝xcosθ+ysinθ计算相应的ρ值，根据ρ和θ值对数组Array(ρ,θ)进行累加：Array(ρ,θ)＝Array(ρ,θ)+1；

S43：取出累加数组中的最大值peak，如果peak大于阈值T，则取出peak对应的候选直线l_c，否则算法结束。在本实施方式中，阈值T的大小取为60；

S44：如图5所示，在车载视觉系统采集到的图像中，车道线通常分布在图像的左右两边，其斜率的绝对值|θ|必在范围θ_min～θ_max之内。在本实施方式中，其中H_roi是感兴趣区域的高度，W_roi是感兴趣区域的宽度。若l_c＜θ_min且l_c＞θ_max，则将l_c当作干扰线段去除，跳到S47执行；

S45：为避免同一条车道线被检测成了多条车道线(如图6中的l₂与l₃)，经过大量的实验验证；两条车道线的角度差不能小于θ_T。将l_c与已检测出的直线两两相比，若它与任何已检测出的直线的角度差小于θ_T，则将其当干扰信息舍去，跳到S47执行。本实施方式中，θ_T的取值为8°；

S46:由于车道有固定宽度，故车道线之间存在一定间隔。在感兴趣区域的正中间作一条直线l:x＝H_roi/2，先求已检测出的直线与l的交点集，再求l_c与l的交点，计算该交点与其他交点之间的距离，若存在距离小于阈值T_d，则将l_c当干扰信息舍去(如图6中的l₄)，跳到S47执行。本实施方式中，T_d的取值为100；

S47：对直线l_c上的所有投票点，让θ依次取[θ_min,θ_max]中的值，根据ρ＝xcosθ+ysinθ计算出相应的ρ值，根据ρ和θ对累加数组H进行减1操作，即Array(ρ,θ)＝Array(ρ,θ)-1，从而消除已被检测点对后续车道线检测的影响；

S48：计算以检测出的车道线的数量，若小于4，则跳到S43执行；否则算法运行结束。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种基于差分激励的鲁棒车道线检测方法，其特征在于，包括如下步骤：

S1：图像预处理；从车载视觉系统采集到的原始图像中提取感兴趣区域，将感兴趣区域转化成灰度图像，并对灰度图进行中值滤波去噪；

S2：差分激励；利用k×k的窗口对灰度图像进行差分激励处理，提取图像的显著纹理信息，取差分结果中最大的n％作为人眼能识别的有效信号，将灰度图像二值化；

S3：投票点选取；从上往下扫描二值图像的每一行，对每一行中的每一段连续目标区域，计算其长度len，如果len_min≤len≤len_max，则选取该段目标区域的最中间三个(x,y_mid-1),(x,y_mid),(x,y_mid+1)作为投票点，其中x为目标区域横坐标、y_mid为目标区域纵坐标中间值，y_mid-1为目标区域纵坐标中间值减一列，y_mid+1为目标区域纵坐标中间值加一列；

S4：改进Hough变换；在投票点集上进行Hough变换，在变换过程中，通过角度约束、距离约束以及即时消除已检测直线对后续直线检测的影响，排除干扰线段，从而精确检测出车道线；

所述S4中改进Hough变换包括：

S4-1:在参数空间ρ和θ中建立一个二维累加数组Array，初始化该数组，其中ρ和θ已经分别量化到[ρ_min,ρ_max]和[θ_min,θ_max]中；

S4-2：顺序搜索所有投票点，对每个点(x,y)，让θ依次取[θ_min,θ_max]中的值，运用ρ＝xcosθ+ysinθ计算相应的ρ值，根据ρ和θ值对数组Array(ρ,θ)进行累加：Array(ρ,θ)＝Array(ρ,θ)+1；

S4-3：取出累加数组中的最大值peak，如果peak大于阈值T，则取出peak对应的直线l_c，否则算法结束，其中l_c的下标c表示该直线为候选直线；

S4-4：在车载视觉系统采集到的图像中，车道线通常分布在图像的左右两边，且有一定斜率；其斜率的绝对值|θ|必在范围θ_min～θ_max之内，其中H_roi是感兴趣区域的高度，W_roi是感兴趣区域的宽度；若l_c<θ_min且l_c>θ_max，则将l_c当作干扰线段去除，跳到S4-7执行；

S4-5：为避免同一条车道线被检测成了多条车道线，两条车道线的角度差不能小于θ_T；将l_c与已检测出的直线两两相比，若它与任何已检测出的直线的角度差小于θ_T，则将其当干扰信息舍去，跳到S4-7执行；

S4-6:由于车道有固定宽度，故车道线之间存在一定间隔；在感兴趣区域的正中间作一条直线l:x＝H_roi/2，先求已检测出的直线与l的交点集，再求l_c与l的交点，计算该交点与其他交点之间的距离，若存在距离小于阈值T_d，则将l_c当干扰信息舍去，跳到S4-7执行，其中l代表感兴趣区域正中间的一条固定水平直线；

S4-7：对直线l_c上的所有投票点，让θ依次取[θ_min,θ_max]中的值，根据ρ＝xcosθ+ysinθ计算出相应的ρ值，根据ρ和θ对累加数组Array进行减1操作，即Array(ρ,θ)＝Array(ρ,θ)-1，从而消除已被检测点对后续车道线检测的影响；

S4-8：计算以检测出的车道线的数量，若小于4，则跳到S4-3执行；否则算法运行结束。

2.根据权利要求1所述的基于差分激励的鲁棒车道线检测方法，其特征在于，所述S1中提取感兴趣区域包括：

由于路面信息主要集中在原始图像的中间部分，采用公式ROI＝I(uproi*m:(1-downroi)*m,1:n,1:d)提取感兴趣区域，去除干扰信息；其中I代表采集的原始图像，m代表I的行数、n代表I的列数、d代表I的颜色通道数，uproi为以天空为代表的背景信息所占的比例，downroi为以车头为代表的背景信息所占的比例，ROI表示提取出的感兴趣区域。

3.根据权利要求1所述的基于差分激励的鲁棒车道线检测方法，其特征在于，所述S2中差分激励包括：

S2-1：构建两个k阶矩阵 矩阵的中心点值为k²-1，其余值为-1，的中心点值为1，其余值为0；其中k的取值为H为图像的高度、W为图像的宽度；

S2-2：利用对灰度图像进行滤波处理，即

其中表示卷积运算，grayIM表示待处理的灰度图像；

S2-3：v₁代表了图像中每个像素与邻域中其他像素灰度值之差的总和，v₂为窗口中心像素灰度值；通过G_ratio＝v₁/v₂得到灰度图像grayIM的窗口为k的差分激励值G_ratio；

S2-4：由于G_ratio值的范围过大，利用反正切变换将其映射至区间得到最终差分激励值