CN107862290B - 车道线检测方法及系统 - Google Patents

Abstract

公开了一种车道线检测方法和系统，该方法包括：从前向道路图像中选择道路区域作为前向第一感兴趣区域，对前向第一感兴趣区域进行逆透视变换，得到前向俯视图；沿着后向道路图像的纵向中心线对后向道路图像进行水平翻转，并从翻转的后向道路图像中选择道路区域作为后向第一感兴趣区域，对后向第一感兴趣区域进行逆透视变换，得到后向俯视图；从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像；对有效图像中的待拟合点进行拟合，获得拟合车道线；对拟合车道线进行延伸和反逆透视变换，获得最终车道线。本发明利用前向与后向两个摄像头拍摄的道路图像来避免强光照对车辆行驶环境感知造成的影响，有效检测车道线。

Description

车道线检测方法及系统

技术领域

本发明涉及图像处理领域，特别涉及一种利用前后摄像机的车道线检测方法及系统。

背景技术

近年来，随着社会经济快速发展和人民生活水平的不断提高，我国汽车化进程不断加快。随着公路建设里程的增长、汽车保有量的增加、车流量的加大以及行车速度的提高，道路交通事故呈逐年上升的态势，特别是特大恶性交通事故频繁发生，给人民的生命财产和国民经济造成了巨大的损失。

计算机和电子领域的快速发展对缓解交通问题起到了重要的作用。近些年来研究人员开发了许多保障行车安全的驾驶系统，能够在驾驶员疲劳或精神分散、车辆出现无意识偏离时进行主动报警。这些研究成果将大大降低交通事故发生的可能性，对保证人身财产安全有着重要意义。

高级驾驶辅助系统(ADAS)是当前国际智能交通系统研究的重要内容，其通过技术手段替代部分驾驶任务，为汽车提供日益完善的辅助驾驶功能，逐步实现汽车的智能化，并最终走向完全无人驾驶的智能汽车。道路检测是高级驾驶辅助系统中的核心问题之一，其关键就是快速准确地利用车载传感器获取前方道路的车道标识线或道路线边缘。

道路检测对于信息采集处理的实时性、行驶过程中控制的鲁棒性以及自主运行决策的可行性都有很高的要求。实时性是指系统处理数据必须与车辆的高速行驶同步进行；鲁棒性是指智能车辆对不同的道路环境(如高速公路、市区标准公路、普通公路等)、复杂的路面环境(如路面及车道线的宽度、颜色、纹理、动态随机障碍等)、以及变化的气候条件(如日照及景物阴影、黄昏与夜晚、阴天与雨雪等)均具有良好的适应性。这些要求对智能车辆环境感知中的计算机视觉技术提出很大挑战，对实时高效的图像处理算法的研究迫在眉睫。

一种现有车道线检测方法针对车道线多为虚线或因污迹掩盖、磨损导致的车道标线不连续等情况，在利用前一帧图像检测结果设置感兴趣区域并进行车道线跟踪的基础上，通过区域对比度分析筛选当前有效车道线检测区域并通过自适应阈值对图像进行分割处理。这种方法主要能够处理道路线发生破损或本身道路线不清晰的情况。当车辆处于逆光场景中时，由于受光线影响，道路线难以在摄像机中成像，同时图像整体对比度较低，此时利用该方法进行检测的准确性会大大降低。

在一种针对复杂路况的车道线检测方法中，首先将彩色道路图像转换为灰度图像并进行中值滤波处理，同时使用局部阈值分割方法在感兴趣区域内的道路图像进行二值化处理以提取车道线特征信息。然后基于提取出的车道线特征点分布规律，对车道线进行拟合。这种方法比较复杂，在选取特征点进行拟合的过程中计算量较大，实时性较差。此外，在逆光状态下，光斑还会产生过多噪点，这为特征点的选取映入过多干扰，加大了拟合出现错误的机率。

因此，期待开发一种准确率高、效率高的车道线检测方法。

发明内容

本发明的目的是提出一种车道线检测方法和系统，其能够避免强光照对车辆行驶环境感知造成的影响，有效检测车道线。

本发明一方面提出了一种车道线检测方法，包括：

从前向道路图像中选择道路区域作为前向第一感兴趣区域，对所述前向第一感兴趣区域进行逆透视变换，得到前向俯视图；

沿着后向道路图像的纵向中心线对所述后向道路图像进行水平翻转，并从翻转的后向道路图像中选择道路区域作为后向第一感兴趣区域，对所述后向第一感兴趣区域进行逆透视变换，得到后向俯视图；

从所述前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像；

对所述有效图像中的待拟合点进行拟合，获得拟合车道线；

对所述拟合车道线进行延伸和反逆透视变换，获得最终车道线。

优选地，所述车道线检测方法还包括：

对所述前向第一感兴趣区域和/或后向第一感兴趣区域进行直方图均衡化处理、二值化处理和高斯平滑滤波处理的至少其中之一。

优选地，所述从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像包括：

分别以所述前向俯视图和所述后向俯视图作为当前图像，执行以下步骤：

子步骤302：针对所述当前图像中的每一列像素，计算所述一列像素的灰度值之和，以所述一列像素在所述当前图像中的横向位置为横坐标、以所述一列像素的灰度值之和为纵坐标绘制灰度值之和曲线；

子步骤303：设定灰度阈值区间，计算所述灰度值之和曲线在所述灰度阈值区间内的极大值点的数目，并计算所述极大值点所对应的横坐标之间的最大差值；

子步骤304：如果所述极大值点的数目小于第一阈值或者所述最大差值大于第二阈值，将所述当前图像作为有效图像。

优选地，所述从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像还包括：

在所述当前图像中确定第二感兴趣区域，将所述当前图像中所述第二感兴趣区域以外的区域置黑，其中所述第二感兴趣区域包含当前车道所在的区域。

优选地，所述对有效图像中的待拟合点进行拟合，获得拟合车道线包括：

子步骤401：以所述有效图像的纵向中心线为分界线，将所述有效图像划分为左侧子区域和右侧子区域；

子步骤402：分别在所述左侧子区域和所述右侧子区域中确定多个滑动窗口，所述滑动窗口包括当前车道的车道线；

子步骤403：分别将所述左侧子区域中的多个滑动窗口和所述右侧子区域中的多个滑动窗口进行合并，获得左侧拟合区域和右侧拟合区域；

子步骤404：分别对所述左侧拟合区域和所述右侧拟合区域中的待拟合点进行拟合，获得左侧拟合车道线和右侧拟合车道线。

优选地，通过以下子步骤在每个子区域中确定多个滑动窗口：

子步骤4021：统计所述子区域中每一列像素的灰度值之和，将灰度值之和最大的列在所述有效图像中的横坐标记为MaxX，以横坐标MaxX为底边中点的横坐标、以所述子区域的下边界的纵坐标为底边中点的纵坐标生成具有第一宽度和第一高度的第一滑动窗口，所述第一滑动窗口为矩形；

子步骤4022：统计所述第一滑动窗口中灰度值高于预定阈值的像素点的平均横坐标AverX，以所述平均横坐标AverX为底边中点的横坐标、以所述第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第一宽度和第一高度的第二滑动窗口，所述第二滑动窗口为矩形；

子步骤4023：以生成的第二滑动窗口作为子步骤4022中的所述第一滑动窗口，重复执行子步骤4022，直到生成的第二滑动窗口达到所述有效图像的上边界。

优选地，通过以下子步骤对每个拟合区域中的待拟合点进行拟合，获得相应的拟合车道线：

子步骤4041：选择所述拟合区域内灰度值高于预定阈值的像素点作为待拟合点，并计算所述拟合区域内的待拟合点的数量；

子步骤4042：根据所述拟合区域内的待拟合点的数量，对所述拟合区域内的待拟合点进行直线拟合或曲线拟合，获得拟合车道线，其中，当所述待拟合点的数量大于或等于预设的数量阈值时，对所述待拟合点进行曲线拟合，当所述待拟合点的数量小于所述数量阈值时，对所述待拟合点进行直线拟合。

优选地，基于最小二乘法利用二次型曲线对所述待拟合点进行曲线拟合。

优选地，所述对拟合车道线进行延伸包括：

如果所述有效图像是前向俯视图，将所述拟合车道线底部向下延伸；

如果所述有效图像是后向俯视图，沿着所述后向俯视图的横向中心线将所述拟合车道线进行垂直翻转，然后将垂直翻转后的拟合车道线顶部向上延伸。

本发明另一方面还提供一种车道线检测系统，所述系统包括：

存储器，存储有计算机可执行指令；

处理器，所述处理器运行所述存储器中的计算机可执行指令，执行以下步骤：

从前向道路图像中选择道路区域作为前向第一感兴趣区域，对所述前向第一感兴趣区域进行逆透视变换，得到前向俯视图；

沿着后向道路图像的纵向中心线对所述后向道路图像进行水平翻转，并从翻转的后向道路图像中选择道路区域作为后向第一感兴趣区域，对所述后向第一感兴趣区域进行逆透视变换，得到后向俯视图；

从所述前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像；

对所述有效图像中的待拟合点进行拟合，获得拟合车道线；

对所述拟合车道线进行延伸和反逆透视变换，获得最终车道线。

优选地，所述处理器还执行以下步骤：

对所述前向第一感兴趣区域和/或后向第一感兴趣区域进行直方图均衡化处理、二值化处理和高斯平滑滤波处理的至少其中之一。

优选地，所述从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像包括：

分别以所述前向俯视图和所述后向俯视图作为当前图像，执行以下步骤：

子步骤302：针对所述当前图像中的每一列像素，计算所述一列像素的灰度值之和，以所述一列像素在所述当前图像中的横向位置为横坐标、以所述一列像素的灰度值之和为纵坐标绘制灰度值之和曲线；

子步骤303：设定灰度阈值区间，计算所述灰度值之和曲线在所述灰度阈值区间内的极大值点的数目，并计算所述极大值点所对应的横坐标之间的最大差值；

子步骤304：如果所述极大值点的数目小于第一阈值或者所述最大差值大于第二阈值，将所述当前图像作为有效图像。

优选地，所述从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像还包括：

在所述当前图像中确定第二感兴趣区域，将所述当前图像中所述第二感兴趣区域以外的区域置黑，其中所述第二感兴趣区域包含当前车道所在的区域。

优选地，所述对有效图像中的待拟合点进行拟合，获得拟合车道线包括：

子步骤401：以所述有效图像的纵向中心线为分界线，将所述有效图像划分为左侧子区域和右侧子区域；

子步骤402：分别在所述左侧子区域和所述右侧子区域中确定多个滑动窗口，所述滑动窗口包括当前车道的车道线；

子步骤403：分别将所述左侧子区域中的多个滑动窗口和所述右侧子区域中的多个滑动窗口进行合并，获得左侧拟合区域和右侧拟合区域；

子步骤404：分别对所述左侧拟合区域和所述右侧拟合区域中的待拟合点进行拟合，获得左侧拟合车道线和右侧拟合车道线。

优选地，通过以下子步骤在每个子区域中确定多个滑动窗口：

子步骤4021：统计所述子区域中每一列像素的灰度值之和，将灰度值之和最大的列在所述有效图像中的横坐标记为MaxX，以横坐标MaxX为底边中点的横坐标、以所述子区域的下边界的纵坐标为底边中点的纵坐标生成具有第一宽度和第一高度的第一滑动窗口，所述第一滑动窗口为矩形；

子步骤4022：统计所述第一滑动窗口中灰度值高于预定阈值的像素点的平均横坐标AverX，以所述平均横坐标AverX为底边中点的横坐标、以所述第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第一宽度和第一高度的第二滑动窗口，所述第二滑动窗口为矩形；

子步骤4023：以生成的第二滑动窗口作为子步骤4022中的所述第一滑动窗口，重复执行子步骤4022，直到生成的第二滑动窗口达到所述有效图像的上边界。

优选地，通过以下子步骤对每个拟合区域中的待拟合点进行拟合，获得相应的拟合车道线：

子步骤4041：选择所述拟合区域内灰度值高于预定阈值的像素点作为待拟合点，并计算所述拟合区域内的待拟合点的数量；

子步骤4042：根据所述拟合区域内的待拟合点的数量，对所述拟合区域内的待拟合点进行直线拟合或曲线拟合，获得拟合车道线，其中，当所述待拟合点的数量大于或等于预设的数量阈值时，对所述待拟合点进行曲线拟合，当所述待拟合点的数量小于所述数量阈值时，对所述待拟合点进行直线拟合。

优选地，基于最小二乘法利用二次型曲线对所述待拟合点进行曲线拟合。

优选地，所述对拟合车道线进行延伸包括：

如果所述有效图像是前向俯视图，将所述拟合车道线底部向下延伸；

如果所述有效图像是后向俯视图，沿着所述后向俯视图的横向中心线将所述拟合车道线进行垂直翻转，然后将垂直翻转后的拟合车道线顶部向上延伸。

本发明的有益效果在于：

1.利用前向与后向两个摄像头拍摄的道路图像来避免强光照对车辆行驶环境感知造成的影响，有效检测车道线；

2.将前向及后向道路图像转换为俯视图后对其图像质量进行判断，选择成像清晰的图像作为有效图像并进行车道线检测，从而提高检测准确率；

3.通过基于灰度统计的滑动窗口方法来确定拟合窗口，然后在拟合窗口中对待拟合点进行拟合获得拟合车道线，进一步提高车道线的检测效率和准确率；

4.针对不同的待拟合点数量分别采用直线拟合或者曲线拟合法，以提高拟合的准确性；

5.能够排除车道上的其他车辆或障碍物的干扰，大大提高车道线检测的效率和准确性。

本发明的装置和方法具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。

附图说明

通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。

图1显示根据本发明示例性实施例的车道线检测方法的流程图；

图2显示根据本发明示例性实施例的车道线检测方法的摄像头安装示意图；

图3a和图3b分别显示根据本发明示例性实施例的车道线检测方法的前向道路图像和前向俯视图；

图4a和图4b分别显示根据本发明示例性实施例的车道线检测方法的后向道路图像和后向俯视图；

图5a和图5b分别显示根据本发明示例性实施例的车道线检测方法的二值化处理后的前向俯视图和后向俯视图；

图6a和图6b分别显示根据本发明示例性实施例的车道线检测方法的置黑处理后的前向俯视图和后向俯视图；

图7显示根据本发明示例性实施例的车道线检测方法的第一滑动窗口；

图8显示根据本发明示例性实施例的车道线检测方法的全部滑动窗口；

图9显示根据本发明示例性实施例的车道线检测方法的拟合车道线；

图10显示根据本发明示例性实施例的车道线检测方法的延伸后的拟合车道线。

具体实施方式

下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

一般在智能车辆辅助驾驶系统中主要通过安装在车辆前方的摄像头来感知前方道路信息、检测车道有效标识线。在车辆行驶过程中，由于所处场景及天气状况多变，总会产生阳光直射现象，相应的在摄像头所拍摄的图像中会无法避免的产生逆光现象，如图1所示。在逆光图像中，道路线条成像变差，同时还会引入光斑等其他干扰，这势必为有效道路线的准确检测带来巨大影响。

经过观察发现，当车辆前向出现逆光现象时，其后向(向车辆后方看)却不存在逆光现象；相反的，当后向出现逆光现象时，前向便不存在这种现象。即当车辆行驶在阳光直射场景中时，前向及后向图像中必有一个不会发生逆光，成像清晰。为此，可通过在车辆上安装前向与后向两个摄像头来避免强光照对车辆行驶环境感知造成的影响，有效识别、检测车道标识线。

在本发明实施例中，为了降低光照对摄像机所拍摄图像的影响，提高车道线检测准确率，分别在车头及车尾各安装一个摄像机，如图2所示。这样当车辆行驶在强光照场景中时，其中一个摄像机处于逆光角度难以捕捉清晰道路线图像，相反方向的另一个摄像机必然处于顺光状态，拍摄的车道线图像相对较为清晰，依据此图像便可对当前道路车道线进行检测。此外，通过顺光方向图像的检测结果可推导得出逆光方向图像的车道线，以此提高检测准确性及场景适用性。

图1显示根据本发明示例性实施例的车道线检测方法的流程图，该方法包括以下步骤：

步骤1：从前向道路图像中选择道路区域作为前向第一感兴趣区域，对前向第一感兴趣区域进行逆透视变换，得到前向俯视图。

本发明实施例在车头及车尾各安装一个摄像机，车头摄像机获得前向道路图像，车尾摄像机获得后向道路图像，摄像机的安装示意图如图2所示。摄像机拍摄的道路图像中除了包括有效道路区域外，一般还包括天空、树木、房屋等景物。为了提高检测方法的速度和准确性，首先从道路图像中选择道路区域作为第一感兴趣区域(ROI)。由于摄像机的安装位置和角度是固定的，因此可以从道路图像中选择位于图像下部的区域作为第一感兴趣区域，下部区域的高度范围可根据摄像机的安装角度进行设定。

此外，车辆周围及左右侧道路上不可避免的会出现其它干扰车辆，且相比于高速公路，城市道路标识线中实线与虚线切换相对频繁，受光线及道路两侧物体影响产生的阴影及不规则场景更为复杂。为降低光线干扰、提高算法鲁棒性，可先对ROI区域进行预处理，以增强图像的局部对比度，消除光线对图像的影响，更好地显示曝光不足图像中的细节。可以对ROI区域进行直方图均衡化处理，然后通过二值化处理将ROI区域转化为黑白图像。此外，在图像质量不佳的情况下，还可以对ROI区域进行高斯平滑滤波，去除干扰噪点。另外，还可以对ROI区域进行缩放处理。

经过预处理之后，对前向第一感兴趣区域进行逆透视变换，例如可通过IPM算法对前向第一感兴趣区域进行逆透视变换，得到前向俯视图。

步骤2：沿着后向道路图像的纵向中心线对对后向道路图像进行水平翻转，并从翻转的后向道路图像中选择道路区域作为后向第一感兴趣区域，对后向第一感兴趣区域进行逆透视变换，得到后向俯视图。

在同一时刻摄像机拍摄的图像中，前向图像与后向图像成镜像相反的关系，为使后续车道线检测过程中坐标统一，首先沿着车尾摄像头所拍摄的后向道路图像的纵向中心线对后向道路图像进行水平翻转，然后从翻转的后向道路图像中选择道路区域作为后向第一感兴趣区域，对后向第一感兴趣区域进行逆透视变换，得到后向俯视图。与步骤1类似，在对后向第一感兴趣区域进行逆透视变换之前，可以对后向第一感兴趣区域进行预处理。

步骤3：从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像。

在本发明实施例中，在利用前向俯视图或者后向俯视图进行车道线检测之前，首先要判断该俯视图是否有参考意义。如果俯视图为逆光场景中的摄像机拍摄所得，则其中多存在光斑且车道线成像效果较差，即使经过多次处理也无法在图像中复原整条车道线，势必会为后续的处理带来干扰。因此，在对车道线进行检测前，首先需要判断前向俯视图和后向俯视图的图像质量，选取不存在逆光现象、成像清晰的图像作为后续检测阶段的有效图像。

具体地，步骤3可以包括：

分别以前向俯视图和后向俯视图作为当前图像，执行以下步骤：

子步骤301：在当前图像中确定第二感兴趣区域，将当前图像中第二感兴趣区域以外的区域置黑，其中第二感兴趣区域包含当前车道所在的区域；

在本发明实施例中，重点识别车辆当前车道的车道线，为此，可先在当前图像中确定第二感兴趣区域，其中第二感兴趣区域包含当前车道所在的区域，然后将当前图像中第二感兴趣区域以外的区域置黑，以降低干扰噪点的影响。在车道较少的情况下，当前图像中仅存在当前车道的车道线，那么可以省略该步骤。

由于在当前图像中，当前车道一般位于图像的中间位置，因此，选取以当前图像的中心为中心的具有预定宽度的矩形区域作为第二感兴趣区域，其中第二感兴趣区域的高度等于当前图像的高度。预定宽度可以根据摄像头的固有参数、安装角度、有效图像的尺寸等进行设置，保证第二感兴趣区域包含当前车道所在的区域，这是本领域技术人员容易实现的，在此不再赘述。

子步骤302：针对当前图像中的每一列像素，计算该列像素的灰度值之和，以该列像素在当前图像中的横向位置为横坐标、以该列像素的灰度值之和为纵坐标绘制灰度值之和曲线；

子步骤303：设定灰度阈值区间，计算灰度值之和曲线在灰度阈值区间内的极大值点的数目，并计算所述极大值点所对应的横坐标之间的最大差值；例如，灰度阈值区间可以为5～110，且可以根据实际应用路况进行调整；

子步骤304：如果极大值点的数目小于第一阈值或者最大差值大于第二阈值，判断当前图像的图像质量较好，将其作为有效图像；换言之，如果极大值点的数目大于第一阈值且最大差值小于第二阈值，判断当前图像的图像质量差，不能作为有效图像；第一阈值的范围例如可以在10～20之间，第二阈值的范围可以在50～70之间，且可以根据实际应用路况进行调整。

一般情况下，前向俯视图和后向俯视图中仅有一幅图像的质量较好。如果前向俯视图和后向俯视图的图像质量均较好，经过子步骤303的判断均可以作为有效图像，那么可任意挑选其中的一幅作为有效图像。另外，如果前向俯视图和后向俯视图的图像质量均较差，那么可以放弃选择，继续处理摄像机拍摄下一帧图像。

步骤4：对有效图像中的待拟合点进行拟合，获得拟合车道线。

确定有效图像之后，即可对有效图像中的待拟合点进行拟合，获得拟合车道线。

特别地，在本发明实施例中，通过观察有效图像发现，当车辆行驶在一条车道的正中央时，两侧的车道线呈现垂直形式，当车辆进行变道或者道路发生转弯时，两侧的车道线会变得倾斜或弯曲。此外，考虑到车道线常为虚线，在对每条车道线进行拟合前优选地应当确定有效的拟合窗口，使其能完全覆盖一条完整的车道线，从而拟合窗口中的待拟合点均在车道线上，以提高拟合的准确性。为此，本发明实施例提出了一种基于灰度统计的滑动窗口方法，通过该方法来确定拟合窗口，然后在拟合窗口中对待拟合点进行拟合。

具体地，步骤4可以包括以下子步骤：

子步骤401：以有效图像的纵向中心线为分界线，将有效图像划分为左侧子区域和右侧子区域；

子步骤402：分别在左侧子区域和右侧子区域中确定多个滑动窗口，所述滑动窗口包括当前车道的车道线；

子步骤403：分别将左侧子区域中的多个滑动窗口和右侧子区域中的多个滑动窗口进行合并，获得左侧拟合区域和右侧拟合区域；

子步骤404：分别对左侧拟合区域和右侧拟合区域中的待拟合点进行拟合，获得左侧拟合车道线和右侧拟合车道线。

其中，通过以下子步骤在每个子区域中确定多个滑动窗口：

子步骤4021：统计子区域中每一列像素的灰度值之和，将灰度值之和最大的列在有效图像中的横坐标记为MaxX，以横坐标MaxX为底边中点的横坐标、以子区域的下边界的纵坐标为底边中点的纵坐标生成具有第一宽度和第一高度的第一滑动窗口，第一滑动窗口为矩形；

子步骤4022：统计第一滑动窗口中灰度值高于预定阈值的像素点的平均横坐标，将其记为AverX，以平均横坐标AverX为底边中点的横坐标、以第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第一宽度和第一高度的第二滑动窗口，第二滑动窗口为矩形；

由于路面一般为黑色或其他较深的颜色，车道线一般为白色或黄色，因此在有效图像中，以灰度值高于预定阈值的像素点作为潜在的车道线点，进行后续计算。预定阈值一般可在180-200之间，如果在前述步骤中已经对图像进行了二值化处理，那么灰度值高于预定阈值的像素点就是白色像素点，即预定阈值为254。此外，第一宽度和第一高度可以根据有效图像的尺寸以及图像的质量来确定。

子步骤4023：以生成的第二滑动窗口作为子步骤4022中的第一滑动窗口，重复执行子步骤4022，直到生成的第二滑动窗口达到有效图像的上边界。

车道线可能为实线，也可能为虚线。当车道线为虚线时，在有效图像中同一侧车道线的两段白色标识线之间会存在一定间隔，且在视频的某一帧图像中还会出现只有一段白色标识线的情况，这便导致拟合窗口中待拟合点的数量差别较大的情况。为提高拟合的准确性，根据待拟合点的数量选取直线拟合或曲线拟合两种不同的拟合方法。具体地，可以通过以下子步骤对每个拟合区域中的待拟合点进行拟合，获得相应的拟合车道线：

子步骤4041：选择拟合区域内灰度值高于预定阈值的像素点作为待拟合点，并计算拟合区域内的待拟合点的数量；

子步骤4042：根据拟合区域内的待拟合点的数量，对拟合区域内的待拟合点进行直线拟合或曲线拟合，获得拟合车道线；

具体的，预设数量阈值，当拟合区域内的待拟合点的数量大于该数量阈值时，对这些待拟合点进行曲线拟合，获得拟合车道线。为了保证拟合结果贴近真实车道线，例如可基于最小二乘法利用二次型曲线对待拟合点进行曲线拟合。当拟合区域内的待拟合点的数量小于或等于该数量阈值时，对这些待拟合点进行直线拟合，获得拟合车道线。例如可基于最小二乘法对待拟合点进行直线拟合。

步骤5：对拟合车道线进行延伸和反逆透视变换，获得最终车道线。

步骤4中的有效图像可能是前向俯视图，也可能是后向俯视图，相应地，获得的拟合车道线来自于前向俯视图或者后向俯视图中之一。因此，在本步骤中，对拟合车道线进行延伸，使其从车辆前方一直延伸到车辆后方。

具体的，如果有效图像是前向俯视图，那么将拟合车道线底部向下延伸，如果有效图像是后向俯视图，那么首先沿着后向俯视图的横向中心线将拟合车道线进行垂直翻转，使其在后向俯视图中与前向俯视图中具有相同的视角，然后再将拟合车道线顶部向上延伸，延伸的长度可以根据俯视图的尺寸来确定。

对拟合车道线进行延伸之后，再通过反逆透视变换，将拟合车道线还原到原始道路图像中，获得最终车道线。

需要注意的是，如果在前述步骤中对图像进行了缩放变换，那么在此步骤中还需要进行缩放还原，使其恢复到原始大小。

应用示例

在该应用示例中，如图2所示在车辆的车头和车尾分别安装前向摄像机和后向摄像机。其中，前向摄像机安装在车辆前挡风玻璃中上部，俯角为25°～40°，后向摄像机安装在两个车尾灯中部，俯角为15°～30°。两摄像机规格相同，拍摄所得图像的大小为1280×800像素。

以下描述根据本发明示例性实施例的车道线检测方法，其包括以下步骤：

步骤1：从前向道路图像(如图3a所示)中选择道路区域作为前向第一感兴趣区域(如图3a中矩形方框所示)，前向第一感兴趣区域的大小为1280×350像素。为增强对黑夜及雾天场景的适应性，将前向第一感兴趣区域转换为灰度图像后进行直方图均衡化处理，以增强图像对比度，然后，对前向第一感兴趣区域进行逆透视变换，得到前向俯视图，如图3b所示。

步骤2：沿着后向道路图像的纵向中心线对后向道路图像(如图4a所示)进行水平翻转，并从翻转的后向道路图像中选择道路区域作为后向第一感兴趣区域(如图4a中矩形方框所示)，后向第一感兴趣区域的大小为1280×350像素。类似地，将后向第一感兴趣区域转换为灰度图像后进行直方图均衡化处理，然后，对后向第一感兴趣区域进行逆透视变换，得到后向俯视图，如图4b所示。

步骤3：从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像。

具体地，分别以前向俯视图和后向俯视图作为当前图像，执行以下步骤：

(1)对当前图像进行滤波处理，以降低随机噪声产生的干扰，然后通过大津算法(OTSU)对当前图像进行二值化处理，将其转换为黑白图像，处理之后的前向俯视图和后向俯视图分别如图5a和5b所示；

(2)在当前图像中确定第二感兴趣区域，将当前图像中第二感兴趣区域以外的区域置黑。在本实施例中，当前车道的左、右车道线主要出现在当前图像中部100像素宽度的范围内，因此选取以当前图像的中心为中心的宽度为300像素的矩形区域作为第二感兴趣区域，然后将第二感兴趣区域以外的区域置黑，针对前向俯视图和后向俯视图得到的结果分别如图6a和6b所示。

(3)针对当前图像中的每一列像素，计算该列像素的灰度值之和，以该列像素在当前图像中的横向位置为横坐标、以该列像素的灰度值之和为纵坐标绘制灰度值之和曲线，并通过高斯滤波对灰度值之和曲线进行平滑处理；

(4)设定灰度阈值区间，计算灰度值之和曲线在灰度阈值区间内的极大值点的数目，并计算极大值点所对应的横坐标之间的最大差值；在本实施例中，灰度阈值区间为5～110；

(5)设定第一阈值为13，设定第二阈值为55，如果极大值点的数目小于第一阈值或者最大差值大于第二阈值，判断当前图像的图像质量较好，将其作为有效图像；在本实施例中，后向俯视图的图像质量较好，将其作为有效图像。

步骤4：对有效图像中的待拟合点进行拟合，获得拟合车道线。

具体地，步骤4包括以下子步骤：

子步骤401：以有效图像的纵向中心线为分界线，将有效图像划分为左侧子区域和右侧子区域；

子步骤402：分别在左侧子区域和右侧子区域中确定多个滑动窗口，所述滑动窗口包括当前车道的车道线；

具体的，通过以下子步骤在每个子区域中确定多个滑动窗口：

子步骤4021：统计子区域中每一列像素的灰度值之和，将灰度值之和最大的列在有效图像中的横坐标记为MaxX，以横坐标MaxX为底边中点的横坐标、以子区域的下边界的纵坐标为底边中点的纵坐标生成具有第一宽度和第一高度的第一滑动窗口，第一滑动窗口为矩形，图7显示了左侧子区域和右侧子区域中的第一滑动窗口，其中第一宽度为20像素，第一高度为40像素；

子步骤4022：统计第一滑动窗口中灰度值高于预定阈值的像素点的平均横坐标，将其记为AverX，以平均横坐标AverX为底边中点的横坐标、以第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第一宽度和第一高度的第二滑动窗口，第二滑动窗口为矩形；

子步骤4023：以生成的第二滑动窗口作为子步骤4022中的第一滑动窗口，重复执行子步骤4022，直到生成的第二滑动窗口达到有效图像的上边界；图8显示了左侧子区域和右侧子区域中的所有滑动窗口，每个子区域内的滑动窗口分别能够覆盖一条完整的车道线；

子步骤403：分别将左侧子区域中的多个滑动窗口和右侧子区域中的多个滑动窗口进行合并，获得左侧拟合区域和右侧拟合区域；

子步骤404：分别对左侧拟合区域和右侧拟合区域中的待拟合点进行拟合，获得左侧拟合车道线和右侧拟合车道线；

具体地，通过以下子步骤对每个拟合区域中的待拟合点进行拟合，获得相应的拟合车道线：

子步骤4041：选择拟合区域内灰度值高于预定阈值的像素点作为待拟合点，并计算拟合区域内的待拟合点的数量；在本实施例中，预定阈值为254，即选择白色像素点作为待拟合点；

子步骤4042：根据拟合区域内的待拟合点的数量，对拟合区域内的待拟合点进行直线拟合或曲线拟合，获得拟合车道线；具体的，预设数量阈值为550，当拟合区域内的待拟合点的数量大于该数量阈值时，基于最小二乘法利用二次型曲线对这些待拟合点进行曲线拟合，获得拟合车道线，当拟合区域内的待拟合点的数量小于或等于该数量阈值时，基于最小二乘法对这些待拟合点进行直线拟合，获得拟合车道线；最终得到的拟合车道线如图9所示。

步骤5：对拟合车道线进行延伸和反逆透视变换，获得最终车道线。

首先沿着后向俯视图的横向中心线将拟合车道线进行垂直翻转，然后再将拟合车道线顶向上延伸400像素的高度，如图10所示。在图10中，方框为车辆当前位置，两侧的线条为经过延伸之后的拟合车道线。最后对拟合车道线进行反逆透视变换，获得最终车道线。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (14)

1.一种车道线检测方法，其特征在于，包括：

从前向道路图像中选择道路区域作为前向第一感兴趣区域，对所述前向第一感兴趣区域进行逆透视变换，得到前向俯视图；

沿着后向道路图像的纵向中心线对所述后向道路图像进行水平翻转，并从翻转的后向道路图像中选择道路区域作为后向第一感兴趣区域，对所述后向第一感兴趣区域进行逆透视变换，得到后向俯视图；

从所述前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像；

对所述有效图像中的待拟合点进行拟合，获得拟合车道线；

对所述拟合车道线进行延伸和反逆透视变换，获得最终车道线；

其中，所述对有效图像中的待拟合点进行拟合，获得拟合车道线包括：

子步骤401：以所述有效图像的纵向中心线为分界线，将所述有效图像划分为左侧子区域和右侧子区域；

子步骤402：分别在所述左侧子区域和所述右侧子区域中确定多个滑动窗口，所述滑动窗口包括当前车道的车道线；

子步骤403：分别将所述左侧子区域中的多个滑动窗口和所述右侧子区域中的多个滑动窗口进行合并，获得左侧拟合区域和右侧拟合区域；

子步骤404：分别对所述左侧拟合区域和所述右侧拟合区域中的待拟合点进行拟合，获得左侧拟合车道线和右侧拟合车道线；

通过以下子步骤在每个子区域中确定多个滑动窗口：

子步骤4021：统计所述子区域中每一列像素的灰度值之和，将灰度值之和最大的列在所述有效图像中的横坐标记为MaxX，以横坐标MaxX为底边中点的横坐标、以所述子区域的下边界的纵坐标为底边中点的纵坐标生成具有第一宽度和第一高度的第一滑动窗口，所述第一滑动窗口为矩形；

子步骤4022：统计所述第一滑动窗口中灰度值高于预定阈值的像素点的平均横坐标AverX，以所述平均横坐标AverX为底边中点的横坐标、以所述第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第一宽度和第一高度的第二滑动窗口，所述第二滑动窗口为矩形；

子步骤4023：以生成的第二滑动窗口作为子步骤4022中的所述第一滑动窗口，重复执行子步骤4022，直到生成的第二滑动窗口达到所述有效图像的上边界。

2.根据权利要求1所述的车道线检测方法，其特征在于，还包括：

对所述前向第一感兴趣区域和/或后向第一感兴趣区域进行直方图均衡化处理、二值化处理和高斯平滑滤波处理的至少其中之一。

3.根据权利要求1所述的车道线检测方法，其特征在于，所述从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像包括：

分别以所述前向俯视图和所述后向俯视图作为当前图像，执行以下步骤：

子步骤302：针对所述当前图像中的每一列像素，计算所述一列像素的灰度值之和，以所述一列像素在所述当前图像中的横向位置为横坐标、以所述一列像素的灰度值之和为纵坐标绘制灰度值之和曲线；

子步骤303：设定灰度阈值区间，计算所述灰度值之和曲线在所述灰度阈值区间内的极大值点的数目，并计算所述极大值点所对应的横坐标之间的最大差值；

子步骤304：如果所述极大值点的数目小于第一阈值或者所述最大差值大于第二阈值，将所述当前图像作为有效图像。

4.根据权利要求3所述的车道线检测方法，其特征在于，所述从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像还包括：

在所述当前图像中确定第二感兴趣区域，将所述当前图像中所述第二感兴趣区域以外的区域置黑，其中所述第二感兴趣区域包含当前车道所在的区域。

5.根据权利要求1所述的车道线检测方法，其特征在于，通过以下子步骤对每个拟合区域中的待拟合点进行拟合，获得相应的拟合车道线：

子步骤4041：选择所述拟合区域内灰度值高于预定阈值的像素点作为待拟合点，并计算所述拟合区域内的待拟合点的数量；

子步骤4042：根据所述拟合区域内的待拟合点的数量，对所述拟合区域内的待拟合点进行直线拟合或曲线拟合，获得拟合车道线，其中，当所述待拟合点的数量大于或等于预设的数量阈值时，对所述待拟合点进行曲线拟合，当所述待拟合点的数量小于所述数量阈值时，对所述待拟合点进行直线拟合。

6.根据权利要求5所述的车道线检测方法，其特征在于，基于最小二乘法利用二次型曲线对所述待拟合点进行曲线拟合。

7.根据权利要求1所述的车道线检测方法，其特征在于，所述对拟合车道线进行延伸包括：

如果所述有效图像是前向俯视图，将所述拟合车道线底部向下延伸；

如果所述有效图像是后向俯视图，沿着所述后向俯视图的横向中心线将所述拟合车道线进行垂直翻转，然后将垂直翻转后的拟合车道线顶部向上延伸。

8.一种车道线检测系统，其特征在于，所述系统包括：

存储器，存储有计算机可执行指令；

处理器，所述处理器运行所述存储器中的计算机可执行指令，执行以下步骤：

从前向道路图像中选择道路区域作为前向第一感兴趣区域，对所述前向第一感兴趣区域进行逆透视变换，得到前向俯视图；

沿着后向道路图像的纵向中心线对所述后向道路图像进行水平翻转，并从翻转的后向道路图像中选择道路区域作为后向第一感兴趣区域，对所述后向第一感兴趣区域进行逆透视变换，得到后向俯视图；

从所述前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像；

对所述有效图像中的待拟合点进行拟合，获得拟合车道线；

对所述拟合车道线进行延伸和反逆透视变换，获得最终车道线；

其中，所述对有效图像中的待拟合点进行拟合，获得拟合车道线包括：

子步骤401：以所述有效图像的纵向中心线为分界线，将所述有效图像划分为左侧子区域和右侧子区域；

子步骤402：分别在所述左侧子区域和所述右侧子区域中确定多个滑动窗口，所述滑动窗口包括当前车道的车道线；

子步骤403：分别将所述左侧子区域中的多个滑动窗口和所述右侧子区域中的多个滑动窗口进行合并，获得左侧拟合区域和右侧拟合区域；

子步骤404：分别对所述左侧拟合区域和所述右侧拟合区域中的待拟合点进行拟合，获得左侧拟合车道线和右侧拟合车道线；

通过以下子步骤在每个子区域中确定多个滑动窗口：

子步骤4021：统计所述子区域中每一列像素的灰度值之和，将灰度值之和最大的列在所述有效图像中的横坐标记为MaxX，以横坐标MaxX为底边中点的横坐标、以所述子区域的下边界的纵坐标为底边中点的纵坐标生成具有第一宽度和第一高度的第一滑动窗口，所述第一滑动窗口为矩形；

子步骤4022：统计所述第一滑动窗口中灰度值高于预定阈值的像素点的平均横坐标AverX，以所述平均横坐标AverX为底边中点的横坐标、以所述第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第一宽度和第一高度的第二滑动窗口，所述第二滑动窗口为矩形；

子步骤4023：以生成的第二滑动窗口作为子步骤4022中的所述第一滑动窗口，重复执行子步骤4022，直到生成的第二滑动窗口达到所述有效图像的上边界。

9.根据权利要求8所述的车道线检测系统，其特征在于，所述处理器还执行以下步骤：

对所述前向第一感兴趣区域和/或后向第一感兴趣区域进行直方图均衡化处理、二值化处理和高斯平滑滤波处理的至少其中之一。

10.根据权利要求8所述的车道线检测系统，其特征在于，所述从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像包括：

分别以所述前向俯视图和所述后向俯视图作为当前图像，执行以下步骤：

子步骤302：针对所述当前图像中的每一列像素，计算所述一列像素的灰度值之和，以所述一列像素在所述当前图像中的横向位置为横坐标、以所述一列像素的灰度值之和为纵坐标绘制灰度值之和曲线；

子步骤303：设定灰度阈值区间，计算所述灰度值之和曲线在所述灰度阈值区间内的极大值点的数目，并计算所述极大值点所对应的横坐标之间的最大差值；

子步骤304：如果所述极大值点的数目小于第一阈值或者所述最大差值大于第二阈值，将所述当前图像作为有效图像。

11.根据权利要求10所述的车道线检测系统，其特征在于，所述从前向俯视图和后向俯视图中选择不存在逆光现象的俯视图作为有效图像还包括：

在所述当前图像中确定第二感兴趣区域，将所述当前图像中所述第二感兴趣区域以外的区域置黑，其中所述第二感兴趣区域包含当前车道所在的区域。

12.根据权利要求8所述的车道线检测系统，其特征在于，通过以下子步骤对每个拟合区域中的待拟合点进行拟合，获得相应的拟合车道线：

子步骤4041：选择所述拟合区域内灰度值高于预定阈值的像素点作为待拟合点，并计算所述拟合区域内的待拟合点的数量；

子步骤4042：根据所述拟合区域内的待拟合点的数量，对所述拟合区域内的待拟合点进行直线拟合或曲线拟合，获得拟合车道线，其中，当所述待拟合点的数量大于或等于预设的数量阈值时，对所述待拟合点进行曲线拟合，当所述待拟合点的数量小于所述数量阈值时，对所述待拟合点进行直线拟合。

13.根据权利要求12所述的车道线检测系统，其特征在于，基于最小二乘法利用二次型曲线对所述待拟合点进行曲线拟合。

14.根据权利要求8所述的车道线检测系统，其特征在于，所述对拟合车道线进行延伸包括：

如果所述有效图像是前向俯视图，将所述拟合车道线底部向下延伸；

如果所述有效图像是后向俯视图，沿着所述后向俯视图的横向中心线将所述拟合车道线进行垂直翻转，然后将垂直翻转后的拟合车道线顶部向上延伸。

Images