CN105678285B - 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 - Google Patents

Abstract

本发明公布了一种自适应的道路鸟瞰图变换方法和道路车道检测方法，包括道路边界特征提取、道路边界分割提取、道路边界点提取、道路边界模型建模和匹配、通过自适应鸟瞰图变换得到鸟瞰图变换矩阵，将道路图像灰度图映射为鸟瞰图。道路车道检测方法还包括先进行车道标记过滤和特征提取和车道标记位置估计，再通过所述车道标记位置，在道路场景图像中提取得到车道标记的位置。本发明方法具备更好的健壮性，能够处理含有大量阴影干扰的路面；避免了现有方法中固定变换参数存在的问题，能够自动地调节系统参数，从而更加准确地提取车道标记线的位置。

Description

一种自适应的道路鸟瞰图变换方法和道路车道检测方法

技术领域

本发明涉及机器视觉领域，尤其涉及一种自适应的道路鸟瞰图变换方法和基于该方法对道路车道进行检测的方法。

背景技术

智能车辆感知可以拯救人类生命，减少经济损失，其中道路检测是智能车辆感知不可或缺的一部分。汽车主动安全技术使得汽车能够积极主动地检测事故，解决了传统汽车安全只能在事发后被动地减轻事故伤害的缺陷。汽车主动安全关键技术之一是环境感知，旨在通过分析传感器采集的数据得到周围的信息。驾驶中最基本的任务是跟随道路，因此道路检测在车辆感知中扮演着重要的角色，对交通安全问题有重大研究意义。绝大多数道路都有白色或者黄色的车道线标志，与深色的道路有很好的视觉区分性。通常采用挂载在车前窗的摄像头采集道路图像，从一幅驾驶员视角的道路图片中定位车道标记，从而完成道路检测的任务。

针对目标检测问题，通常的实现方法一般包括自底而上或者自顶向下两种方法。其中，自底而上的方法先从图像中一级一级地提取特征，然后用提取出的最高层特征去匹配对象模型，这类方法从特征出发，因此也称为基于特征的方法。另一种方法与之相反，从上层模型出发，用预定义的模型去匹配图像特征，因此也叫做基于模型的方法。车道线检测通常也划分为基于特征的和基于模型的两类方法。基于模型的方法关注高层特征，具有较高的鲁棒性，但有限的预定义模型往往很难准确匹配多样的道路模型，如道路模型选用几个离散的曲率值去匹配图像时，准确性受到约束，且不能匹配复杂的路况如S型的弯道。另一方面，对于基于特征的方法，由于图像特征的多变性，很难找到一种普适性的特征检测算法过滤掉各种可能出现的噪声。常见的检测算法基于颜色、边缘、亮度等特征。当道路图像被严重的阴影覆盖时，阴影围成的区域也具备这些特征，仅凭底层特征筛选车道线像素是十分困难的。

具体地，典型的基于特征的方法采用车道标记线像素相对于周边的路面像素较亮的特征，由于存在透视效应，即各行的车道标记线宽度不同，所以通常对图像中的各行独立地进行处理。在图像中的每一行用一个以“暗-亮-暗”渐变的模板去匹配各个像素点，匹配度越高就说明该像素点越可能是车道标记像素，匹配度反映了该点为车道标记的概率。由于透视图具有远小近大的特征，从近到远各行的模板宽度也要进行调整。

具体地，典型的基于模型的方法对道路的高层特征建模，将道路车道标记线抽象为在鸟瞰图中相互平行的直线，利用该高层模型匹配底层特征，以获得更高的鲁棒性。上述基于模型的方法(即基于鸟瞰图的方法)往往需要预先获知变换矩阵的各个系数值，因此需要先对摄像头进行标定。在使用前先通过标定实验计算出变换矩阵，不仅使设备安装工作变得繁琐，还有潜在的问题：一方面，如果摄像头发生晃动或者位置移动，原有的变换矩阵就无法奏效，造成检测结果偏差甚至出错；另一方面，即使摄像头固定，车辆上下坡以及和道路不平行时都会造成变换的不准问题，上下坡时变换图中的路面区域变成了梯形，而车辆与道路不平行时，路面区域就变形成了平行四边形。文献(Zhang D,Fang B,Yang W,etal.Robust inverse perspective mapping based on vanishing point[C]//Security,Pattern Analysis,and Cybernetics(SPAC),2014International Conference on.IEEE,2014:458-463.)记载了传统的基于一次标定的鸟瞰图变换方法存在的问题，如图1所示，鸟瞰图变换IPM(Inverse Perspective Mapping，反透视变换)为消除透视效应的变换，即将摄像机从沿着道路方向看到的景象转换为俯视图；其中，a)表示摄像头标定时，得到的鸟瞰图是正常的情况；b)表示水平路遇到上坡，得到的鸟瞰图变形成为了梯形的情况；c)表示下坡路遇到水平路而造成失真的情况；d)表示水平路遇到下坡的梯形失真情况；e)表示车不是正对着道路行驶，有右偏或者摄像头相对于车辆右偏的情形，而造成路面区域变形为平行四边形的情况。f)表示车相对路面左偏或者摄像头相对于车辆左偏的情形下的失真。图1中的γ代表偏离的夹角。因此，现有基于模型的方法存在的问题，主要分为两方面，一是需要提前标定，二是有潜在问题：一方面摄像头移动后需要重新标定，另一方面即便摄像头保持固定也会产生失真。

发明内容

为了克服上述现有技术的不足，本发明提供一种自适应的道路图像鸟瞰图变换方法和基于该方法对道路车道进行检测的方法，

本发明提供的技术方案是：

一种自适应的道路鸟瞰图变换方法，包括道路边界建模过程和鸟瞰图变换过程，包括如下步骤：

1)道路边界特征提取：根据道路场景图像，通过对图像进行灰度化处理抽取道路边界特征，得到一个表征道路边界概率的道路图像灰度图；

2)道路边界分割提取：提取道路边界区域，得到二值图；根据二值图得到所述道路场景图像中的各个像素是否是道路边界；

3)道路边界点提取，获得分隔路面和道路边界的点；

4)道路边界模型建模和匹配：对道路边界进行建模，通过步骤4)所提取得到的边界点拟合得到两条曲线，用于表征道路的边界；

5)通过自适应鸟瞰图变换得到鸟瞰图变换矩阵，通过所述鸟瞰图变换矩阵将步骤1)所述道路图像灰度图映射为鸟瞰图，由此得到变换后的道路鸟瞰图。

针对上述自适应的道路鸟瞰图变换方法，进一步地，在步骤1)所述道路场景图像为以驾驶员视角采集的道路图像，包括行程记录仪拍摄的RGB格式图像；在对图像进行灰度化处理之前先对采集到的道路图像进行裁剪；所述图像灰度化处理，具体采用算术平均值或加权平均值将RGB三个通道合成一个灰度通道，采用S'特征减弱阴影对道路边界提取的干扰；S'特征的定义如下：

(式1)

其中，R，G,B分别是所述RGB格式图像中像素点的红、绿、蓝三种颜色分量值，是计算得到的特征值。

针对上述自适应的道路鸟瞰图变换方法，进一步地，步骤2)通过图像阈值分割方法提取道路边界区域，得到一张前景为道路边界的二值图；所述图像阈值分割方法为大津算法或最大类间方差法。

针对上述自适应的道路鸟瞰图变换方法，进一步地，步骤3)通过二次扫描法提取道路边界点，具体包括：

先自下而上按列扫描，标记第一次遇到前景点的作为候选道路边界特征点；再自中间向左右两侧按行扫描；标记左侧第一次遇到的候选特征点作为左边界特征点，右侧第一次遇到的候选特征点作为右边界特征点。

针对上述自适应的道路鸟瞰图变换方法，进一步地，步骤4)对提取的道路边界点进行建模拟合，道路边界模型采用双直线模型；对提取的道路边界点进行拟合，采用Hough变换分别对道路左右边界拟合直线，将拟合成的两条直线的交点定义为消失点，两条直线和图像最后一行构成两个交点，这两个交点和一个消失点(共三个点)构成一个表征路面区域的三角形。

针对上述自适应的道路鸟瞰图变换方法，进一步地，步骤5)所述自适应鸟瞰图变换具体通过步骤3)所述提取得到的道路边界信息选取一个梯形区域表征近视野的路面，将所述梯形区域通过透视变换映射为一个矩形区域，由此得到鸟瞰图变换矩阵。

本发明还提供一种道路车道检测方法，针对道路场景图像，先通过自适应的道路鸟瞰图变换方法得到变换后的道路鸟瞰图，然后进行车道标记过滤和特征提取和车道标记位置估计，再通过所述车道标记位置，在所述道路场景图像中提取得到车道标记的位置；在上述通过自适应的道路鸟瞰图变换方法得到变换后的道路鸟瞰图的基础上，还包括如下步骤：

6)车道标记特征提取：在步骤5)所述变换后的道路鸟瞰图中提取车道标记特征，得到一个表征车道标记特征的平面灰度图；

7)车道标记位置估计：首先针对步骤6)得到的平面灰度图进行二值化和去噪，再对步骤5)所述变换后的道路鸟瞰图中的车道标记进行定位，在平面灰度图中估计车道标记的位置；

8)车道标记定位：根据步骤7)得到的位置信息，在所述原始道路场景图像中提取得到车道标记的位置。

针对上述一种道路车道检测方法，优选地，步骤6)将得到的鸟瞰图中的车道标记线按列分布，所述对图像进行车道标记特征提取，具体采用车道标记具有的车道标记区域的灰度值比两侧的路面高的DLD特征，采用滤波模板对图像进行滤波。

针对上述一种道路车道检测方法，优选地，步骤7)还对滤波得到的特征图进行归一化，将图像像素的灰度值调整到0-1之间；对滤波后得到的图像进行固定阈值的二值化；再对二值化后的图像进行连通分量分析方法去噪；统计所述二值图中各列的车道标记像素个数，将个数最多的一列作为车道标记的位置，由此对鸟瞰图中的车道标记定位而得到车道标记位置。

针对上述一种道路车道检测方法，优选地，步骤8)所述原始图像车道标记定位，具体是：根据步骤7)得到的鸟瞰图中车道标记的位置，通过式4计算得到路面分割比r；再由路面分割比r计算得到车道标记的位置：

∵

∴x_R＝(1-r)×x_E+r×x_F (式4)

式4中，EF为原始图像中的任意一行；EF的左右边界点E和F的位置为已知，用x_E和x_F表示；x_R为行车道标记线的位置。

与现有技术相比，本发明的有益效果是：

路面环境错综复杂，为了辅助在具有挑战性的场景下(如道路两侧树木造成阴影干扰，路面存在积水、反光等)检测车道标记，通常通过一次校准的鸟瞰图变换(也叫反透视变换)参数构建道路图像的鸟瞰图。现有的变换方法需要先对摄像头进行标定，而且一次标定后的变换矩阵固定，无法自适应地更新，出现问题需要重新做标定，且一次校准的鸟瞰图变换结果在车辆遇到上下坡或者车辆与道路具有倾角的情况下存在失真。本发明提供一种不需要标定的、能够自适应更新的道路图像鸟瞰图变换方法和基于该方法对道路车道进行检测的方法。本发明方法是一种自动的反透视变换方法，本发明方法包括了基于特征的方法和基于模型的方法，首先基于特征自底而上(特征到模型)，再基于模型自顶而下(模型到特征)，该方法基于道路边缘，避免了固定参数鸟瞰图变换中的失真问题。进一步地，本发明基于上述自适应鸟瞰图变换方法，提供一种抗阴影的车道标记检测方法。相比现有的基于特征的方法，本发明方法具备更好的健壮性，能够处理含有大量阴影干扰的路面；相比现有的基于模型的方法，本发明方法避免了固定变换参数存在的问题，能够自动地调节系统参数，从而更加准确地提取车道标记线的位置。

附图说明

图1是现有的一次标定鸟瞰图变换可能造成的问题的示意图；

其中，a)表示摄像头标定时，得到的鸟瞰图是正常的情况；b)表示水平路遇到上坡，得到的鸟瞰图变形成为了梯形的情况；c)表示下坡路遇到水平路而造成失真的情况；d)表示水平路遇到下坡的梯形失真情况；e)表示车不是正对着道路行驶，有右偏或者摄像头相对于车辆右偏的情形，而造成路面区域变形为平行四边形的情况。f)表示车相对路面左偏或者摄像头相对于车辆左偏的情形下的失真。图中的γ代表偏离的夹角。

图2是本发明实施例提供方法的流程框图。

图3是本发明实施例中采用的原始图片以及在原始图片上选取表征近视野路面的梯形框的示意图。

图4是本发明实施例中，原始图片和鸟瞰图的关系；

其中，(a)为驾驶员视角得到的原始图片的道路抽象，点A、B、C、D围成区域为梯形表示通过图3所示梯形框选取方法选取的路面区域；该梯形的两腰AD和BC表示道路的边界，PQ表示车道标记线的位置，它们相交于一个消失点O；在梯形ABCD内任取平行于两底边的一条线EF代表图像中的任意一行，其与车道标记线PQ相交于R；

(b)为鸟瞰图，其中A’B’C’D’E’F’P’Q’R’各点为原始图片中各点分别对应到鸟瞰图中的点。

图5是本发明实施例中，所选梯形区域变换得到的鸟瞰图。

图6是本发明实施例的变换效果示例，本发明方法用于处理多种具有不利因素的场景可获得良好效果，方法的鲁棒性佳；

其中，(a)为路面存在大量弱阴影干扰的情形；(b)为路面存在大片强阴影干扰的情形.；(c)为为路面存在高亮的反光的情形；(d)为路面存在车辆干扰的情形；(e)为路面存在积水的情形；(f)为路边铺有水泥的情形；(g)(h)(i)(j)为多车道的情形；(i)(j)(k)为存在路面标记的情形；(l)为桥面；(m)(n)为弯道。

阴影干扰、强光干扰、路面积水干扰、路面车辆干扰等具有挑战性的场景下的变换效果。

图7是本发明实施例中用于对鸟瞰图进行滤波的滤波模板。

图8是本发明实施例中对鸟瞰图进行滤波得到的滤波结果示意图。

图9是本发明实施例中对车道标记特征图进行二值化得到的结果示意图。

图10是本发明实施例中对车道标记特征图进行去噪得到的结果示意图。

图11是本发明实施例中对车道标记所在列定位的效果图。

图12是采用本发明方法对多种道路情形的道路车道进行检测得到的检测结果图；

其中，其中，(a)为原始图像，从上到下依次是弱阴影，强阴影，高光，路面反光，十字路口，路面标记干扰，弯道.；(b)为提取出的边界特征灰度图以及提取出左右道路边界、中间的车道标记线的标注.；(c)为道路的鸟瞰图，以及提取出的车道线特征二值图标注。

图13是采用本发明提供方法对道路边界采用弯道模型进行处理的示意图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种自适应的道路图像鸟瞰图变换方法及其车道标记检测方法，图2是本发明实施例的流程框图；其中，自适应的道路图像鸟瞰图变换方法包括道路边界建模过程和鸟瞰图变换过程，具体包括包括道路图像的预处理、边界检测提取、边界模型拟合、变换点选择、变换矩阵求解等，执行步骤如下：

1)道路边界特征提取；

输入一个由车载摄像头采集的驾驶员视角的道路场景图片，抽取其中的道路边界特征，得到一个表征道路边界概率的灰度图。在输出的灰度图中，越亮的区域越可能是道路边界，反之越不可能是道路边界；

优选的，在以驾驶员视角采集的道路图像中(如行程记录仪拍摄的图像)，道路主要集中在图像下方，图像上方的像素对后续处理没有用处，故先对摄像头采集到的道路图像进行裁剪，去掉图像上方1/4的区域。

本发明中采用的图像灰度化方法有两种，在自适应鸟瞰图变换方法的道路边界特征提取过程中，用的是S’特征灰度化方法；在车道标记检测方法的车道特征提取过程中，用的是亮度特征灰度化方法；S’特征灰度图，即通过公式将RGB通道合成一个表征道路边界概率的灰度通道，最终得到的是一个变换矩阵，记录了原始图像和鸟瞰图图像之间的对应关系；在基于自适应鸟瞰图变换方法的车道标记检测中，用的是亮度特征灰度图，可选的亮度特征提取方法是采用算术平均值或加权平均值或最大值将RGB三个通道合成一个灰度通道。

因此，对图像灰度化时，采集的彩色图像一般为RGB格式，其中R、G、B三个通道的图像相关性很大，没有必要都处理，通常的做法是将图像进行灰度化，即采用算术平均值或加权平均值将三个通道合成一个灰度通道。即两部分的输入都是原始道路图像，它们的第一个步骤不同：前者选用的是S’公式，后者选用的是RGB三通道的算术平均值或加权平均值或最大值。可选地，可以采用S'特征减弱阴影对道路边界提取的干扰。S'特征的定义如下：

(式1)

其中，R,G,B分别是所述像素点的红、绿、蓝三种颜色分量值，是计算得到的特征值。

2)道路边界分割；

分割出道路边界区域，输出是一个二值图，即判定图像中的各个像素是否道路边界。白色表示是边界，黑色表示不是边界。

本发明实施例中，通过图像阈值分割的方法提取道路边界区域，得到一张二值图(前景为道路边界)。优选的阈值分割方法为大津算法或最大类间方差法(Otsu方法)。

3)道路边界点提取；

提取出分隔路面和道路边界的点。

本发明实施例中，通过二次扫描法提取道路边界点，先自下而上按列扫描，标记第一次遇到前景点的作为候选道路边界特征点；再自中间向左右两侧按行扫描，标记左侧第一次遇到的候选特征点作为左边界特征点，右侧第一次遇到的候选特征点作为右边界特征点。

4)道路边界模型匹配；

对道路边界进行建模，通过前面提取的边界点拟合成两条曲线表征道路的边界。

本发明实施例中，对提取的道路边界点进行拟合，其中：

路面建模采用双直线模型，采用Hough变换分别对道路左右边界拟合直线，将拟合成的两条直线的交点定义为消失点，两条直线和图像最后一行构成两个交点，这两个交点和一个消失点(三个点)构成一个表征路面区域的三角形。

此三个点表示整个路面区域，之后再将这个三角形沿着某一行划分为上下两部分，上面是一个三角形，代表的是远处的路面，下面是一个梯形，代表的是近处的路面；由于近处的路面中道路近似为直线，计算变换矩阵更精确，所以采用近处的路面做变换。

本发明提供的自适应鸟瞰图变换的关键是通过前面提取的道路边界信息选取一个梯形区域表征近视野的路面，将其通过透视变换映射到到一个矩形区域中去。图4是本发明实施例中，原始图片和鸟瞰图的关系；其中，(a)为驾驶员视角得到的原始图片的道路抽象，点A、B、C、D围成区域为梯形表示通过图3所示梯形框选取方法选取的路面区域；该梯形的两腰AD和BC表示道路的边界，PQ表示车道标记线的位置，它们相交于一个消失点O；在梯形ABCD内任取平行于两底边的一条线EF代表图像中的任意一行，其与车道标记线PQ相交于R；(b)为鸟瞰图，其中各点为原始图片中各点对应到鸟瞰图中的点。A’B’C’D’E’F’P’Q’R’分别对应原图中的ABCDEFPQR，具体地，A’B’C’D’为转换后的鸟瞰路面区域，E’F’为EF转换到鸟瞰图对应的行，P’Q’为转换后的车道标记线，交点R’对应原图中的R。

对于弯道，远视野路面的车道标记线会在变换得到的鸟瞰图中发生转弯，不利于后续的提取，而路面的近处区域近似为直线，故取三角形的中位线以下的梯形部分(表征近视野的路面)做变换，将该梯形区域映射为一个矩形区域。

5)鸟瞰图变换：得到鸟瞰图变换矩阵，通过该矩阵将道路图像灰度图映射为鸟瞰图；

通过道路边界建模，提取得到道路边界模型特征；进一步地完成自适应鸟瞰图变换，即将一幅驾驶员视角的含有透视效应(远小近大)的道路图像作为输入，得到一个鸟瞰图(bird view image，像飞在空中的鸟儿俯瞰到的平面图像)作为输出。此处的道路图像灰度图为道路亮度特征灰度图，选用的是RGB三道的算术平均值或加权平均值或最大值，表征道路的亮度特征，用于车道标记线提取。

鸟瞰图变换矩阵(透视变换矩阵)可以通过从源图像和目标图像取四对点得到，这里我们取梯形的四个顶点为四个源点，取一个固定的变换矩形(长宽根据具体精度要求定义，优选的为60个像素行，80个像素列)变换后得到的鸟瞰图如图5所示。采用本发明所述鸟瞰图变换不仅极大地缩小了处理像素数，提高处理效率，而且使得车道标记线集中分布在一列，为后续车道标记的定位、路面标记识别等应用的处理提供了方便。

理论上，通过上述自适应鸟瞰图变换方法得到的转换图中的车道标记具有按列对齐的特点，其理论上的论证如下：梯形区域的选取如图3所示，抽象成几何问题如图4所示。近视野的道路边界和车道标记可以简化为线段。我们对近视野的路面做几何抽象，如图4左图(a)所示，其中ABCD为前面我们选取的梯形区域，其两腰AD和BC表示道路的边界，PQ表示车道标记线的位置，它们相交于一个消失点O。在梯形ABCD内任取平行于两底边的一条线EF代表图像中的任意一行，其与车道标记线PQ相交于R。由下面的推导可知，ER和EF的长度的比例与这条线所处的位置无关，是一个固定值，我们称之为路面分割比，用r表示ER和EF的比，如式2：

∵∴ (式2)

式2中的参数为图4的几何图形中的相应线段；式2中有上划线的参数代表线段的长度；

而在图4(b)鸟瞰图中的对应点仍满足上述比例关系，即：

(式3)

注意在鸟瞰图中，道路边界A’D’和B’C’是纵向对齐的，根据前面的比例关系，这使得道路标记P’Q’也在鸟瞰图中纵向对齐。

采用本实施例提供的自动鸟瞰图变换方法得到的鸟瞰图变换效果如图6，该方法可用于处理阴影干扰、强光干扰、路面积水干扰、路面车辆干扰等具有挑战性的场景，能够获得良好效果，方法的鲁棒性佳。

在上述道路边界建模和鸟瞰图变换的基础上，进行车道标记检测，执行操作如下：

6)车道标记特征提取；

车道标记过滤和特征提取：在所得的平面图像(鸟瞰图)中提取车道标记特征，得到一个表征车道标记概率的灰度图。在输出的灰度图中，越亮的区域越可能是车道标记，反之越不可能是车道标记。

本发明实施例中，得到的鸟瞰图中的车道标记线按列分布，对该图像进行车道标记特征提取时，具体利用车道标记的DLD(Dark-Light-Dark)特征，DLD特征即车道标记区域的灰度值比两侧的路面高的特点，采用如图7所示的滤波模板对图像进行滤波。在鸟瞰图中滤波可以利用多行车道标记线的特征，不同于现有的基于特征的滤波方法对各行独立地滤波，不仅不需要调整滤波模板的尺寸，还提高了去噪能力(加上了行之间关系的约束)。滤波结果得到如图8所示的平面灰度图。

7)车道标记位置估计：在平面灰度图中估计车道标记的位置；

首先进行特征图二值化和去噪，再对鸟瞰图中的车道标记定位。本发明实施例中，可选的，对滤波得到的特征图进行归一化，将图像像素的灰度值调整到0-1之间；对滤波后得到的图像进行固定阈值的二值化，优选的阈值为0.6，二值化结果如图9所示；对二值化后的图像进行连通分量分析方法去噪，即统计图像中各个连通域的面积，去除其中面积较小的噪声区域，去噪结果如图10所示。

统计所得二值图中各列的车道标记像素个数(即值为1的点的个数)，将个数最多的一列作为车道标记的位置，图11是本实施例对鸟瞰图中的车道标记定位得到的车道标记位置示意图。

8)车道标记定位：通过前面所得的位置信息，在原始透视图像中提取出车道标记的位置。

原始透视图像即步骤1)中的道路场景图像；

原始图像车道标记定位：根据上述步骤中鸟瞰图中车道标记的位置，路面分割比r可以通过计算得到。对原始图像中的任意一行EF，其左右边界点E和F的位置已知，用x_E和x_F表示，该行车道标记线的位置x_R可以根据r通过式4计算得到。每一行车道标记线的位置得出之后，对这些点拟合成一条曲线即可完成对车道标记线的定位。对于道路边界采用双直线模型的情形，车道标记线也采用直线模型，车道线的定位可简化为求出最后一行的车道线位置Q，再求过消失点O和Q的直线(如图4)即为车道标记线位置。

∵

∴x_R＝(1-r)×x_E+r×x_F (式4)

x_R＝1-r (式5)

对于道路边界采用弯道模型的情形，本方法同样适用。如图13所示，在曲线路面上仍然取一个梯形区域做所述的自适应鸟瞰图变换，在变换图中计算得到r后，再利用式4计算原始图像每一行车道标记的位置。

图12是采用本发明方法对多种道路情形的道路车道进行检测得到的检测结果图；其中，

(a)为路面存在大量弱阴影干扰的情形；(b)为路面存在大片强阴影干扰的情形.；(c)为为路面存在高亮的反光的情形；(d)为路面存在车辆干扰的情形；(e)为路面存在积水的情形；(f)为路边铺有水泥的情形；(g)(h)(i)(j)为多车道的情形；(i)(j)(k)为存在路面标记的情形；(l)为桥面；(m)(n)为弯道。可以看出，相比现有的基于特征的方法，本发明方法具备更好的健壮性，能够处理含有大量阴影干扰的路面；相比现有的基于模型的方法，本发明方法避免了固定变换参数存在的问题，能够自动地调节系统参数，从而更加准确地提取车道标记线的位置。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种自适应的道路鸟瞰图变换方法，包括道路边界建模过程和鸟瞰图变换过程，执行步骤如下：

1)道路边界特征提取：根据道路场景图像，通过对图像进行灰度化处理抽取道路边界特征，得到一个表征道路边界概率的道路图像灰度图；

2)道路边界分割提取：提取道路边界区域，得到二值图；根据二值图得到所述道路场景图像中的各个像素是否是道路边界；

3)道路边界点提取，获得分隔路面和道路边界的点；

4)道路边界模型建模和匹配：对道路边界进行建模，通过步骤3)所提取得到的边界点拟合得到两条曲线，用于表征道路的边界；

5)通过步骤4)所得到的边界道路模型得到鸟瞰图变换矩阵，通过所述鸟瞰图变换矩阵将步骤1)所述道路图像灰度图映射为鸟瞰图，由此得到变换后的道路鸟瞰图。

2.如权利要求1所述自适应的道路鸟瞰图变换方法，其特征是，在步骤1)所述道路场景图像为以驾驶员视角采集的道路图像，包括行程记录仪拍摄的RGB格式图像；在对图像进行灰度化处理之前先对采集到的道路图像进行裁剪；所述对图像进行灰度化处理，具体采用算术平均值或加权平均值将RGB三个通道合成一个灰度通道，采用S'特征减弱阴影对道路边界提取的干扰；S'特征的定义如下：

其中，R,G,B分别是所述RGB格式图像中像素点的红、绿、蓝三种颜色分量值，S′是计算得到的特征值。

3.如权利要求1所述自适应的道路鸟瞰图变换方法，其特征是，步骤2)通过图像阈值分割方法提取道路边界区域，得到一张前景为道路边界的二值图；所述图像阈值分割方法为大津算法或最大类间方差法。

4.如权利要求1所述自适应的道路鸟瞰图变换方法，其特征是，步骤3)通过二次扫描法提取道路边界点，具体包括：

先自下而上按列扫描，标记第一次遇到前景点的作为候选道路边界特征点；再自中间向左右两侧按行扫描；标记左侧第一次遇到的候选特征点作为左边界特征点，右侧第一次遇到的候选特征点作为右边界特征点。

5.如权利要求1所述自适应的道路鸟瞰图变换方法，其特征是，步骤4)对提取的道路边界点进行建模拟合，道路边界模型采用双直线模型；对提取的道路边界点进行拟合，采用Hough变换分别对道路左右边界拟合直线，将拟合成的两条直线的交点定义为消失点，两条直线和图像最后一行构成两个交点，这两个交点和一个消失点构成一个表征路面区域的三角形。

6.如权利要求1所述自适应的道路鸟瞰图变换方法，其特征是，步骤5)所述通过边界道路模型得到鸟瞰图变换矩阵，具体是通过步骤3)所述提取得到的道路边界信息选取一个梯形区域表征近视野的路面，将所述梯形区域通过透视变换映射为一个矩形区域，由此得到鸟瞰图变换矩阵。

7.一种道路车道检测方法，针对道路场景图像，先通过自适应的道路鸟瞰图变换方法得到变换后的道路鸟瞰图，然后进行车道标记过滤和特征提取和车道标记位置估计，再通过所述车道标记位置，在所述道路场景图像中提取得到车道标记的位置；包括如下步骤：

1)道路边界特征提取：根据道路场景图像，通过对图像进行灰度化处理抽取道路边界特征，得到一个表征道路边界概率的道路图像灰度图；

2)道路边界分割提取：提取道路边界区域，得到二值图；根据二值图得到所述道路场景图像中的各个像素是否是道路边界；

3)道路边界点提取，获得分隔路面和道路边界的点；

4)道路边界模型建模和匹配：对道路边界进行建模，通过步骤4)所提取得到的边界点拟合得到两条曲线，用于表征道路的边界；

5)通过自适应鸟瞰图变换得到鸟瞰图变换矩阵，通过所述鸟瞰图变换矩阵将步骤1)所述道路图像灰度图映射为鸟瞰图，由此得到变换后的道路鸟瞰图；

6)车道标记特征提取：在步骤5)所述变换后的道路鸟瞰图中提取车道标记特征，得到一个表征车道标记特征的平面灰度图；

7)车道标记位置估计：首先针对步骤6)得到的平面灰度图进行二值化和去噪，再对步骤5)所述变换后的道路鸟瞰图中的车道标记进行定位，在平面灰度图中估计车道标记的位置；

8)车道标记定位：根据步骤7)得到的位置信息，在所述道路场景图像中提取得到车道标记的位置。

8.如权利要求7所述一种道路车道检测方法，其特征是，步骤6)将得到的鸟瞰图中的车道标记线按列分布，所述对图像进行车道标记特征提取，具体采用车道标记具有的车道标记区域的灰度值比两侧的路面高的DLD特征，采用滤波模板对图像进行滤波。

9.如权利要求7所述一种道路车道检测方法，其特征是，步骤7)还对滤波得到的特征图进行归一化，将图像像素的灰度值调整到0-1之间；对滤波后得到的图像进行固定阈值的二值化；再对二值化后的图像进行连通分量分析方法去噪；统计所述二值化后的图像中各列的车道标记像素个数，将个数最多的一列作为车道标记的位置，由此对鸟瞰图中的车道标记定位而得到车道标记位置。

10.如权利要求7所述一种道路车道检测方法，其特征是，步骤8)所述车道标记定位，具体是：根据步骤7)得到的鸟瞰图中车道标记的位置，通过式4计算得到路面分割比r；再由路面分割比r计算得到车道标记的位置：

∴x_R＝(1-r)×x_E+r×x_F (式4)

式4中，EF为原始图像中的任意一行；EF的左右边界点E和F的位置为已知，用x_E和x_F表示；x_R为行车道标记线的位置。