CN108038416A - 车道线检测方法及系统 - Google Patents

车道线检测方法及系统 Download PDF

Info

Publication number
CN108038416A
CN108038416A CN201711105837.2A CN201711105837A CN108038416A CN 108038416 A CN108038416 A CN 108038416A CN 201711105837 A CN201711105837 A CN 201711105837A CN 108038416 A CN108038416 A CN 108038416A
Authority
CN
China
Prior art keywords
window
area
fitting
stationary
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711105837.2A
Other languages
English (en)
Other versions
CN108038416B (zh
Inventor
孟凯
何君舰
刘瑞祥
赵东旭
沈海寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leauto Intelligent Technology Beijing Co Ltd
Original Assignee
Leauto Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leauto Intelligent Technology Beijing Co Ltd filed Critical Leauto Intelligent Technology Beijing Co Ltd
Priority to CN201711105837.2A priority Critical patent/CN108038416B/zh
Publication of CN108038416A publication Critical patent/CN108038416A/zh
Application granted granted Critical
Publication of CN108038416B publication Critical patent/CN108038416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images

Abstract

一种车道线检测方法及系统,该方法包括:从道路图像中选择道路区域作为第一感兴趣区域;对第一感兴趣区域进行逆透视变换,得到第一感兴趣区域的俯视图;在俯视图中确定拟合窗口,并确定拟合窗口中的待拟合点;对拟合窗口中的待拟合点进行拟合,获得拟合车道线;对拟合车道线进行反逆透视变换,获得最终车道线。本发明能够准确进行车道线拟合,且计算效率高。

Description

车道线检测方法及系统
技术领域
本发明涉及图像处理领域,特别涉及一种基于单目视觉的结构化道路的车道线检测方法及系统。
背景技术
近年来,随着社会经济快速发展和人民生活水平的不断提高,我国汽车化进程不断加快。随着公路建设里程的增长、汽车保有量的增加、车流量的加大以及行车速度的提高,道路交通事故呈逐年上升的态势,特别是特大恶性交通事故频繁发生,给人民的生命财产和国民经济造成了巨大的损失。
经研究发现,在城市高速公路上发生的交通事故中有四成与车辆偏离车道行驶有关,并且车道线偏离也是造成车辆侧翻事故的一个重要因素。与以安全带和安全气囊为主要设施的汽车被动安全技术的研究相比,在汽车行驶过程中避免发生碰撞的汽车主动安全技术的研究对解决汽车交通安全问题起着更重要的作用。
高级驾驶辅助系统(ADAS)是当前国际智能交通系统研究的重要内容,其通过技术手段替代部分驾驶任务,为汽车提供日益完善的辅助驾驶功能,逐步实现汽车的智能化,并最终走向完全无人驾驶的智能汽车。道路检测是高级驾驶辅助系统中的核心问题之一,其关键就是快速准确地利用车载传感器获取前方道路的车道标识线或道路线边缘。
在现有的复杂路况的车道线检测方法中,首先将彩色道路图像转换为灰度图像并进行中值滤波处理,同时使用局部阈值分割方法对感兴趣区域内的道路图像进行二值化处理以提取车道线特征信息,然后基于提取出的车道线特征点分布规律,采用去相关RANSAC方法对左、右车道线分别进行并行识别。在分别提取左、右车道线特征点后使用RANSAC方法进行拟合的过程中,虽然可以通过控制点提高拟合准确性,但计算量很高,方法比较复杂,不适合实时应用。
在现有的结构化道路的车道线检测算法中,考虑到弯道场景的存在,一般首先会对原视频图像进行预处理,然后依据图像特点选取车道线出现的感兴趣区域(ROI),在此基础上选择直曲线相结合的模型。其中在直线检测过程中主要采用Hough变换的方法,在弯道检测过程中主要选用曲线拟合的方法。在提取感兴趣区域的过程中,一般会依据图像特点选择一个固定区域作为感兴趣区域,其中会包括道路干扰,例如路旁的花草、另一车道的车辆等。在这样的条件下直接进行Hough变换直线检测或曲线模型拟合会无法排除干扰噪声的影响,导致检测精度降低。因此,期待开发一种准确率高的车道线检测方法。
发明内容
本发明的目的是提供一种车道线检测方法及系统,其能够克服现有检测方法检测精度较低、速度较慢的问题。
本发明一方面提供一种车道线检测方法,包括:
从道路图像中选择道路区域作为第一感兴趣区域;
对所述第一感兴趣区域进行逆透视变换,得到第一感兴趣区域的俯视图;
在所述俯视图中确定拟合窗口,并确定所述拟合窗口中的待拟合点;
对所述拟合窗口中的待拟合点进行拟合,获得拟合车道线;
对所述拟合车道线进行反逆透视变换,获得最终车道线。
优选地,所述车道线检测方法还包括:
对所述第一感兴趣区域进行缩放处理、直方图均衡化处理、二值化处理和高斯平滑滤波处理的至少其中之一。
优选地,所述在所述俯视图中确定拟合窗口包括:
将所述俯视图划分为固定窗口所在区域和滑动窗口所在区域,其中所述固定窗口所在区域位于所述滑动窗口所在区域的下方;
在所述固定窗口所在区域内确定固定窗口,所述固定窗口包括当前车道的车道线在所述固定窗口所在区域内的部分;
在所述滑动窗口所在区域内根据所述固定窗口确定多个滑动窗口,所述多个滑动窗口包括当前车道的车道线在所述滑动窗口所在区域内的部分;
对所述固定窗口和所述多个滑动窗口进行合并,作为所述拟合窗口。
优选地,所述在所述固定窗口所在区域内确定固定窗口包括:
计算所述固定窗口所在区域的每一列像素的灰度值之和,以一列像素在所述固定窗口所在区域中的横向位置为横坐标、以所述一列像素的灰度值之和为纵坐标绘制灰度值之和曲线,在所述固定窗口所在区域中所述灰度值之和曲线的极大值所对应的横向位置处做纵向直线;
以所述纵向直线为中心生成具有第一宽度和第一高度的矩形,作为所述固定窗口,其中所述第一高度等于所述固定窗口所在区域的高度。
优选地,所述在所述固定窗口所在区域内确定固定窗口还包括:
将重叠面积超过预定比例的矩形合并。
优选地,所述在所述滑动窗口所在区域内根据所述固定窗口确定多个滑动窗口包括:
子步骤305:计算所述固定窗口内灰度值高于预定阈值的像素点的平均横坐标Averx,以所述平均横坐标Averx为底边中点的横坐标、以所述固定窗口的上边界的纵坐标为底边中点的纵坐标生成具有第二宽度和第二高度的第一滑动窗口,所述第一滑动窗口为矩形;
子步骤306:计算所述第一滑动窗口内灰度值高于预定阈值的像素点的平均横坐标Averx’,以所述平均横坐标Averx’为底边中点的横坐标、以所述第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第二宽度和所述第二高度的第二滑动窗口,所述第二滑动窗口为矩形;
子步骤307:以生成的第二滑动窗口作为子步骤306中的所述第一滑动窗口,重复执行子步骤306,直到生成的第二滑动窗口达到所述第一感兴趣区域的上边界。
优选地,所述固定窗口所在区域为所述俯视图的下半部分区域。
优选地,所述车道线检测方法还包括:
在所述俯视图中确定第二感兴趣区域,将所述俯视图中所述第二感兴趣区域以外的区域置黑,其中所述第二感兴趣区域包含当前车道所在的区域。
优选地,选取以所述俯视图的中心为中心的具有预定宽度的矩形区域作为所述第二感兴趣区域,其中所述第二感兴趣区域的高度等于所述俯视图的高度。
优选地,选择所述拟合窗口内灰度值高于预定阈值的像素点作为所述待拟合点。
优选地,所述对所述拟合窗口中的待拟合点进行拟合,获得拟合车道线包括:
针对所述第一感兴趣区域的俯视图,计算所述拟合窗口中的待拟合点的数量;
根据所述待拟合点的数量,对所述拟合窗口中的待拟合点进行直线拟合或曲线拟合,获得拟合车道线,其中,当所述待拟合点的数量大于预设的数量阈值时,对所述待拟合点进行曲线拟合,当所述待拟合点的数量小于所述数量阈值时,对所述待拟合点进行直线拟合。
优选地,基于最小二乘法利用二次型曲线对所述待拟合点进行曲线拟合。
本发明另一方面提供一种车道线检测系统,所述系统包括:
存储器,存储有计算机可执行指令;
处理器,所述处理器运行所述存储器中的计算机可执行指令,执行以下步骤:
从道路图像中选择道路区域作为第一感兴趣区域;
对所述第一感兴趣区域进行逆透视变换,得到第一感兴趣区域的俯视图;
在所述俯视图中确定拟合窗口,并确定所述拟合窗口中的待拟合点;
对所述拟合窗口中的待拟合点进行拟合,获得拟合车道线;
对所述拟合车道线进行反逆透视变换,获得最终车道线。
优选地,所述处理器还执行以下步骤:
对所述第一感兴趣区域进行缩放处理、直方图均衡化处理、二值化处理和高斯平滑滤波处理的至少其中之一。
优选地,所述在所述俯视图中确定拟合窗口包括:
将所述俯视图划分为固定窗口所在区域和滑动窗口所在区域,其中所述固定窗口所在区域位于所述滑动窗口所在区域的下方;
在所述固定窗口所在区域内确定固定窗口,所述固定窗口包括当前车道的车道线在所述固定窗口所在区域内的部分;
在所述滑动窗口所在区域内根据所述固定窗口确定多个滑动窗口,所述多个滑动窗口包括当前车道的车道线在所述滑动窗口所在区域内的部分;
对所述固定窗口和所述多个滑动窗口进行合并,作为所述拟合窗口。
优选地,所述在所述固定窗口所在区域内确定固定窗口包括:
计算所述固定窗口所在区域的每一列像素的灰度值之和,以一列像素在所述固定窗口所在区域中的横向位置为横坐标、以所述一列像素的灰度值之和为纵坐标绘制灰度值之和曲线,在所述固定窗口所在区域中所述灰度值之和曲线的极大值所对应的横向位置处做纵向直线;
以所述纵向直线为中心生成具有第一宽度和第一高度的矩形,作为所述固定窗口,其中所述第一高度等于所述固定窗口所在区域的高度。
优选地,所述在所述固定窗口所在区域内确定固定窗口还包括:
将重叠面积超过预定比例的矩形合并。
优选地,所述在所述滑动窗口所在区域内根据所述固定窗口确定多个滑动窗口包括:
子步骤305:计算所述固定窗口内灰度值高于预定阈值的像素点的平均横坐标Averx,以所述平均横坐标Averx为底边中点的横坐标、以所述固定窗口的上边界的纵坐标为底边中点的纵坐标生成具有第二宽度和第二高度的第一滑动窗口,所述第一滑动窗口为矩形;
子步骤306:计算所述第一滑动窗口内灰度值高于预定阈值的像素点的平均横坐标Averx’,以所述平均横坐标Averx’为底边中点的横坐标、以所述第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第二宽度和所述第二高度的第二滑动窗口,所述第二滑动窗口为矩形;
子步骤307:以生成的第二滑动窗口作为子步骤306中的所述第一滑动窗口,重复执行子步骤306,直到生成的第二滑动窗口达到所述第一感兴趣区域的上边界。
优选地,所述固定窗口所在区域为所述俯视图的下半部分区域。
优选地,所述处理器还执行以下步骤:
在所述俯视图中确定第二感兴趣区域,将所述俯视图中所述第二感兴趣区域以外的区域置黑,其中所述第二感兴趣区域包含当前车道所在的区域。
优选地,选取以所述俯视图的中心为中心的具有预定宽度的矩形区域作为所述第二感兴趣区域,其中所述第二感兴趣区域的高度等于所述俯视图的高度。
优选地,选择所述拟合窗口内灰度值高于预定阈值的像素点作为所述待拟合点。
优选地,所述对所述拟合窗口中的待拟合点进行拟合,获得拟合车道线包括:
针对所述第一感兴趣区域的俯视图,计算所述拟合窗口中的待拟合点的数量;
根据所述待拟合点的数量,对所述拟合窗口中的待拟合点进行直线拟合或曲线拟合,获得拟合车道线,其中,当所述待拟合点的数量大于预设的数量阈值时,对所述待拟合点进行曲线拟合,当所述待拟合点的数量小于所述数量阈值时,对所述待拟合点进行直线拟合。
优选地,基于最小二乘法利用二次型曲线对所述待拟合点进行曲线拟合。
本发明的有益效果在于:
1.通过逆透视变换对道路区域进行转换,以提高后续处理的速度和准确性;
2.采用滑动窗口法确定拟合窗口,在拟合窗口中进行车道线拟合,提高拟合的准确性;
3.针对不同的待拟合点数量分别采用直线拟合或者曲线拟合法,以提高拟合的准确性;
4.能够排除车道上的其他车辆或障碍物的干扰,大大提高车道线检测的效率和准确性。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显。
图1示出了根据本发明示例性实施例的车道线检测方法的流程图;
图2示出了根据本发明示例性实施例的车道线检测方法的道路图像;
图3示出了根据本发明示例性实施例的车道线检测方法的预处理后的第一感兴趣区域;
图4示出了根据本发明示例性实施例的车道线检测方法的第一感兴趣区域的俯视图;
图5示出了根据本发明示例性实施例的车道线检测方法的置黑第二感兴趣区域之后的俯视图;
图6示出了根据本发明示例性实施例的车道线检测方法的纵向直线示意图;
图7示出了根据本发明示例性实施例的车道线检测方法的纵向直线扩展示意图;
图8示出了根据本发明示例性实施例的车道线检测方法的固定窗口;
图9示出了根据本发明示例性实施例的车道线检测方法的第一滑动窗口;
图10示出了根据本发明示例性实施例的车道线检测方法的全部滑动窗口;
图11示出了根据本发明示例性实施例的车道线检测方法的待拟合点;
图12示出了根据本发明示例性实施例的车道线检测方法的拟合车道线;
图13示出了根据本发明示例性实施例的车道线检测方法的最终车道线。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
图1显示了根据本发明示例性实施例的车道线检测方法的流程图,其包括以下步骤:
步骤1:从道路图像中选择道路区域作为第一感兴趣区域。
为了最大程度获得前方道路图像,通常将摄像机安装在车身前部。摄像机拍摄的道路图像中除了包括有效道路区域外,一般还包括天空、树木、房屋等景物。为了提高检测方法的速度和准确性,首先从道路图像中选择道路区域作为第一感兴趣区域(ROI)。
由于摄像机的安装位置和角度是固定的,因此可以从道路图像中选择位于图像下部的区域作为第一感兴趣区域,下部区域的高度范围可根据摄像机的安装角度进行设定。
步骤2:对第一感兴趣区域进行逆透视变换,得到第一感兴趣区域的俯视图。
在城市化道路中,车辆前方及左右侧道路上不可避免的会出现其它干扰车辆,且相比于高速公路,城市道路标识线中实线与虚线切换相对频繁,受光线及道路两侧物体影响产生的阴影及不规则场景更为复杂。为降低光线干扰、提高算法鲁棒性,可先对ROI区域进行预处理,以增强图像的局部对比度,消除光线对图像的影响,更好地显示曝光不足图像中的细节。可以对ROI区域进行直方图均衡化处理,然后通过二值化处理将ROI区域转化为黑白图像。此外,在图像质量不佳的情况下,还可以对ROI区域进行高斯平滑滤波,去除干扰噪点。另外,还可以对ROI区域进行缩放处理。
经过预处理之后,对第一感兴趣区域进行逆透视变换,例如可通过IPM算法对第一感兴趣区域进行逆透视变换,得到第一感兴趣区域的俯视图。
步骤3:在俯视图中确定车道线拟合窗口,并确定车道线拟合窗口中的待拟合点。
观察第一感兴趣区域的俯视图中可以发现,当车辆行驶在一条车道的正中央时,两侧的车道线呈现垂直形式,当车辆进行变道或者道路发生转弯时,两侧的车道线会变得倾斜或弯曲。此外,考虑到车道线常为虚线,在对每条车道线进行拟合前优选地应当确定有效的拟合窗口,使其能完全覆盖一条完整的车道线,从而拟合窗口中的待拟合点均在车道线上,以提高拟合的准确性。为此,本发明实施例提出了一种基于灰度统计的滑动窗口方法,通过该方法来确定拟合窗口,然后在拟合窗口中对待拟合点进行拟合。
在本步骤中,首先可以执行以下子步骤301,以降低干扰噪点的影响。
子步骤301:在俯视图中确定第二感兴趣区域,将俯视图中第二感兴趣区域以外的区域置黑,其中第二感兴趣区域包含当前车道所在的区域;
在本发明实施例中,重点识别车辆当前车道的车道线,为此,可先在俯视图中确定第二感兴趣区域,其中第二感兴趣区域包含当前车道所在的区域,然后将俯视图中第二感兴趣区域以外的区域置黑,以降低干扰噪点的影响。在车道较少的情况下,俯视图中仅存在当前车道的车道线,那么可以省略该步骤。
由于在俯视图中,当前车道一般位于图像的中间位置,因此,选取以俯视图的中心为中心的具有预定宽度的矩形区域作为第二感兴趣区域,其中第二感兴趣区域的高度等于俯视图的高度。预定宽度可以根据摄像头的固有参数、安装角度、俯视图的尺寸等进行设置,保证第二感兴趣区域包含当前车道所在的区域,这是本领域技术人员容易实现的,在此不再赘述。
在一个示例中,在俯视图中确定拟合窗口包括:
将俯视图划分为固定窗口所在区域和滑动窗口所在区域,其中固定窗口所在区域位于滑动窗口所在区域的下方;
在固定窗口所在区域内确定固定窗口,固定窗口包括当前车道的车道线在固定窗口所在区域内的部分;
在滑动窗口所在区域内根据固定窗口确定多个滑动窗口,多个滑动窗口包括当前车道的车道线在滑动窗口所在区域内的部分;
对固定窗口和多个滑动窗口进行合并,作为拟合窗口。
在一个示例中,由于摄像头拍摄图像所呈现的透视关系,当车辆处于弯道区域时,左右两侧车道线在俯视图像的上半部分会发生弯曲,而在下半部分区域基本不会弯曲,为直线形式。此外,在俯视图的下半部分图像中,车道线对应的点比较集中,干扰噪点较为分散。依据这一特点,在实施例中可以将俯视图的下半部分区域确定为固定窗口所在区域,在该区域中确定后述的固定窗口。或者,也可以根据实际需要适当地扩大或减小固定窗口所在区域。
在一个示例中,在固定窗口所在区域内确定固定窗口包括子步骤303和304:
子步骤303:计算固定窗口所在区域的每一列像素的灰度值之和,以一列像素在固定窗口所在区域中的横向位置(即列序号)为横坐标、以该列像素的灰度值之和为纵坐标绘制灰度值之和曲线,在固定窗口所在区域中灰度值之和曲线的极大值所对应的横向位置处做纵向直线;
子步骤304:以纵向直线为中心生成具有第一宽度和第一高度的矩形,作为固定窗口,其中第一高度等于固定窗口所在区域的高度;
特别地,当存在多个灰度值之和曲线的极大值时,在子步骤303中将获得多条纵向直线,可以将重叠面积超过预定比例的矩形合并,作为固定窗口,预定比例一般设定在0.2至0.4之间。
特别地,第一宽度可以根据固定窗口所在区域的尺寸来确定。
子步骤304获得的固定窗口包括左固定窗口和右固定窗口,两个固定窗口内分别包括当前车道的左车道线和右车道线。
在一个示例中,在滑动窗口所在区域内根据固定窗口确定多个滑动窗口包括子步骤305-307:
子步骤305:计算固定窗口内灰度值高于预定阈值的像素点的平均横坐标,将其记为Averx,以平均横坐标Averx为底边中点的横坐标、以固定窗口的上边界的纵坐标为底边中点的纵坐标生成具有第二宽度和第二高度的第一滑动窗口,第一滑动窗口为矩形;
由于路面一般为黑色或其他较深的颜色,车道线一般为白色或黄色,因此在俯视图中,以灰度值高于预定阈值的像素点作为潜在的车道线点,进行后续计算。预定阈值一般可在180-200之间,如果在前述步骤中已经对图像进行了二值化处理,那么灰度值高于预定阈值的像素点就是白色像素点,即预定阈值为254。此外,第二宽度一般可以等于或略大于第一宽度,第二高度可以根据俯视图的尺寸来确定。
子步骤306:计算第一滑动窗口内灰度值高于预定阈值的像素点的平均横坐标,将其记为Averx’,以平均横坐标Averx’为底边中点的横坐标、以第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有第二宽度和第二高度的第二滑动窗口,第二滑动窗口为矩形;
子步骤307:以生成的第二滑动窗口作为子步骤306中的第一滑动窗口,重复执行子步骤306,直到生成的第二滑动窗口达到第一感兴趣区域的上边界。
执行子步骤305-307之后,对固定窗口和多个滑动窗口进行合并,可获得覆盖当前车道的车道线的拟合窗口,拟合窗口包括左拟合窗口和右拟合窗口,分别覆盖当前车道的左车道线和右车道线。
最后,选择拟合窗口内灰度值高于预定阈值的像素点作为待拟合点,这些点是潜在的车道线点。
步骤4:对拟合窗口中的待拟合点进行拟合,获得拟合车道线。
车道线可能为实线,也可能为虚线。当车道线为虚线时,在俯视图中同一侧车道线的两段白色标识线之间会存在一定间隔,且在视频的某一帧图像中还会出现只有一段白色标识线的情况,这便导致拟合窗口中待拟合点的数量差别较大的情况。为提高拟合的准确性,根据待拟合点的数量选取直线拟合或曲线拟合两种不同的拟合方法,具体步骤如下:
子步骤401:针对步骤2的俯视图,计算拟合窗口中的待拟合点的数量;
在步骤3中已经确定了待拟合点,在本步骤中,针对步骤2的俯视图,在该俯视图中,计算窗口中待拟合点的数量,可以最大限度地避免遗漏待拟合点。
子步骤402:根据拟合窗口中的待拟合点的数量,对拟合窗口中的待拟合点进行直线拟合或曲线拟合,获得拟合车道线;
具体的,预设数量阈值,当拟合窗口中的待拟合点的数量大于该数量阈值时,对这些待拟合点进行曲线拟合,获得拟合车道线。为了保证拟合结果贴近真实车道线,例如可基于最小二乘法利用二次型曲线对待拟合点进行曲线拟合。当拟合窗口中的待拟合点的数量小于或等于该数量阈值时,对这些待拟合点进行直线拟合,获得拟合车道线。例如可基于最小二乘法对待拟合点进行直线拟合。
步骤5:对拟合车道线进行反逆透视变换,获得最终车道线。
通过反逆透视变换,将拟合车道线还原到原始道路图像中,获得最终车道线。
需要注意的是,如果在前述步骤中对图像进行了缩放变换,那么在此步骤中还需要进行缩放还原,使其恢复到原始大小。
本发明实施例还提供一种车道线检测系统,所述系统包括:
存储器,存储有计算机可执行指令;
处理器,处理器运行存储器中的计算机可执行指令,执行以下步骤:
从道路图像中选择道路区域作为第一感兴趣区域;
对所述第一感兴趣区域进行逆透视变换,得到第一感兴趣区域的俯视图;
在所述俯视图中确定拟合窗口,并确定所述拟合窗口中的待拟合点;
对所述拟合窗口中的待拟合点进行拟合,获得拟合车道线;
对所述拟合车道线进行反逆透视变换,获得最终车道线。
在一个示例中,所述处理器还执行以下步骤:
对所述第一感兴趣区域进行缩放处理、直方图均衡化处理、二值化处理和高斯平滑滤波处理的至少其中之一。
在一个示例中,所述在所述俯视图中确定拟合窗口包括:
将所述俯视图划分为固定窗口所在区域和滑动窗口所在区域,其中所述固定窗口所在区域位于所述滑动窗口所在区域的下方;
在所述固定窗口所在区域内确定固定窗口,所述固定窗口包括当前车道的车道线在所述固定窗口所在区域内的部分;
在所述滑动窗口所在区域内根据所述固定窗口确定多个滑动窗口,所述多个滑动窗口包括当前车道的车道线在所述滑动窗口所在区域内的部分;
对所述固定窗口和所述多个滑动窗口进行合并,作为所述拟合窗口。
在一个示例中,所述在所述固定窗口所在区域内确定固定窗口包括:
计算所述固定窗口所在区域的每一列像素的灰度值之和,以一列像素在所述固定窗口所在区域中的横向位置为横坐标、以所述一列像素的灰度值之和为纵坐标绘制灰度值之和曲线,在所述固定窗口所在区域中所述灰度值之和曲线的极大值所对应的横向位置处做纵向直线;
以所述纵向直线为中心生成具有第一宽度和第一高度的矩形,作为所述固定窗口,其中所述第一高度等于所述固定窗口所在区域的高度。
在一个示例中,所述在所述固定窗口所在区域内确定固定窗口还包括:
将重叠面积超过预定比例的矩形合并。
在一个示例中,所述在所述滑动窗口所在区域内根据所述固定窗口确定多个滑动窗口包括:
子步骤305:计算所述固定窗口内灰度值高于预定阈值的像素点的平均横坐标Averx,以所述平均横坐标Averx为底边中点的横坐标、以所述固定窗口的上边界的纵坐标为底边中点的纵坐标生成具有第二宽度和第二高度的第一滑动窗口,所述第一滑动窗口为矩形;
子步骤306:计算所述第一滑动窗口内灰度值高于预定阈值的像素点的平均横坐标Averx’,以所述平均横坐标Averx’为底边中点的横坐标、以所述第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第二宽度和所述第二高度的第二滑动窗口,所述第二滑动窗口为矩形;
子步骤307:以生成的第二滑动窗口作为子步骤306中的所述第一滑动窗口,重复执行子步骤306,直到生成的第二滑动窗口达到所述第一感兴趣区域的上边界。
在一个示例中,所述固定窗口所在区域为所述俯视图的下半部分区域。
在一个示例中,所述处理器还执行以下步骤:
在所述俯视图中确定第二感兴趣区域,将所述俯视图中所述第二感兴趣区域以外的区域置黑,其中所述第二感兴趣区域包含当前车道所在的区域。
在一个示例中,选取以所述俯视图的中心为中心的具有预定宽度的矩形区域作为所述第二感兴趣区域,其中所述第二感兴趣区域的高度等于所述俯视图的高度。
在一个示例中,选择所述拟合窗口内灰度值高于预定阈值的像素点作为所述待拟合点。
在一个示例中,所述对所述拟合窗口中的待拟合点进行拟合,获得拟合车道线包括:
针对所述第一感兴趣区域的俯视图,计算所述拟合窗口中的待拟合点的数量;
根据所述待拟合点的数量,对所述拟合窗口中的待拟合点进行直线拟合或曲线拟合,获得拟合车道线,其中,当所述待拟合点的数量大于预设的数量阈值时,对所述待拟合点进行曲线拟合,当所述待拟合点的数量小于所述数量阈值时,对所述待拟合点进行直线拟合。
在一个示例中,基于最小二乘法利用二次型曲线对所述待拟合点进行曲线拟合。
应用示例
以下参考图2所示的道路图像描述根据本发明示例性实施例的车道线检测方法,其包括以下步骤:
步骤1:从道路图像中选择道路区域作为第一感兴趣区域。
在实施例中,为了检测车辆前方30米范围内的车道线,将摄像机安装在车辆前挡风玻璃中上部,俯角为15°~30°,拍摄所得图像的尺寸为1280×800像素,如图2所示。经过标定,将道路图像中第450行至图像底部共1280×350像素范围内的区域作为第一感兴趣区域,如图中虚线框所示。
步骤2:对第一感兴趣区域进行预处理和逆透视变换,得到第一感兴趣区域的俯视图。
为了提高计算效率,对第一感兴趣区域进行预处理,首先将第一感兴趣区域缩放为480×400像素,然后进行直方图均衡化处理、二值化处理和高斯平滑滤波处理,预处理后的第一感兴趣区域如图3所示,图像中仅剩下有效车道线及部分干扰噪点。最后,对预处理后的第一感兴趣区域进行逆透视变换,得到第一感兴趣区域的俯视图,如图4所示。
步骤3:在俯视图中确定车道线拟合窗口,并确定车道线拟合窗口中的待拟合点。
步骤3包括以下子步骤:
子步骤301:在俯视图中确定第二感兴趣区域,将俯视图中第二感兴趣区域以外的区域置黑。在本实施例中,当前车道的左、右车道线主要出现在俯视图中部100像素宽度的范围内,因此选取以俯视图的中心为中心的宽度为300像素的矩形区域作为第二感兴趣区域,然后将第二感兴趣区域以外的区域置黑,得到的结果如图5所示。
子步骤302:将俯视图划分为固定窗口所在区域和滑动窗口所在区域,其中将俯视图的下半部分区域作为固定窗口所在区域,固定窗口所在区域的上方是滑动窗口所在区域。
子步骤303:计算固定窗口所在区域的每一列像素的灰度值之和,以一列像素在固定窗口所在区域中的横向位置为横坐标、以该列像素的灰度值之和为纵坐标绘制灰度值之和曲线,在固定窗口所在区域中灰度值之和曲线的极大值所对应的横向位置处做纵向直线,如图6中的纵向细线所示。
子步骤304:以纵向直线为中心生成具有第一宽度和第一高度的矩形,如图7所示,然后将重叠面积超过预定比例的矩形合并,作为固定窗口,其中第一宽度为7像素,第一高度等于固定窗口所在区域的高度,预定比例设为0.3,得到的固定窗口如图8所示;
子步骤305:计算固定窗口内灰度值高于预定阈值的像素点的平均横坐标,将其记为Averx,以平均横坐标Averx为底边中点的横坐标、以固定窗口的上边界的纵坐标为底边中点的纵坐标生成具有第二宽度和第二高度的第一滑动窗口,第一滑动窗口为矩形;在本实施例中,第二宽度设为20像素,第二高度设为15像素,固定窗口的上边界的纵坐标为200(像素),得到的第一滑动窗口如图9所示;
子步骤306:计算第一滑动窗口内灰度值高于预定阈值的像素点的平均横坐标,将其记为Averx’,以平均横坐标Averx’为底边中点的横坐标、以第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有第二宽度和第二高度的第二滑动窗口,第二滑动窗口为矩形;
子步骤307:以生成的第二滑动窗口作为子步骤306中的第一滑动窗口,重复执行子步骤306,直到生成的第二滑动窗口达到第一感兴趣区域的上边界,得到的所有滑动窗口如图10所示。
子步骤308:对固定窗口和多个滑动窗口进行合并,作为拟合窗口。
子步骤309:选择拟合窗口内的白色像素点作为待拟合点,如图11中部的灰色线条所示。
步骤4:对拟合窗口中的待拟合点进行拟合,获得拟合车道线。
针对第一感兴趣区域的俯视图,计算拟合窗口中的待拟合点的数量;待拟合点的数量小于预设的数量阈值550,因此基于最小二乘法对待拟合点进行直线拟合,拟合结果如图12所示。
步骤5:对拟合车道线进行缩放变换和反逆透视变换,获得最终车道线,如图13中灰色直线所示。
上述技术方案只是本发明的一种实施例,对于本领域内的技术人员而言,在本发明公开的原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施例的描述,因此前面的描述只是优选的,而并不具有限制性的意义。

Claims (10)

1.一种车道线检测方法,其特征在于,包括:
从道路图像中选择道路区域作为第一感兴趣区域;
对所述第一感兴趣区域进行逆透视变换,得到第一感兴趣区域的俯视图;
在所述俯视图中确定拟合窗口,并确定所述拟合窗口中的待拟合点;
对所述拟合窗口中的待拟合点进行拟合,获得拟合车道线;
对所述拟合车道线进行反逆透视变换,获得最终车道线。
2.根据权利要求1所述的车道线检测方法,其特征在于,还包括:
对所述第一感兴趣区域进行缩放处理、直方图均衡化处理、二值化处理和高斯平滑滤波处理的至少其中之一。
3.根据权利要求1所述的车道线检测方法,其特征在于,所述在所述俯视图中确定拟合窗口包括:
将所述俯视图划分为固定窗口所在区域和滑动窗口所在区域,其中所述固定窗口所在区域位于所述滑动窗口所在区域的下方;
在所述固定窗口所在区域内确定固定窗口,所述固定窗口包括当前车道的车道线在所述固定窗口所在区域内的部分;
在所述滑动窗口所在区域内根据所述固定窗口确定多个滑动窗口,所述多个滑动窗口包括当前车道的车道线在所述滑动窗口所在区域内的部分;
对所述固定窗口和所述多个滑动窗口进行合并,作为所述拟合窗口。
4.根据权利要求3所述的车道线检测方法,其特征在于,所述在所述固定窗口所在区域内确定固定窗口包括:
计算所述固定窗口所在区域的每一列像素的灰度值之和,以一列像素在所述固定窗口所在区域中的横向位置为横坐标、以所述一列像素的灰度值之和为纵坐标绘制灰度值之和曲线,在所述固定窗口所在区域中所述灰度值之和曲线的极大值所对应的横向位置处做纵向直线;
以所述纵向直线为中心生成具有第一宽度和第一高度的矩形,作为所述固定窗口,其中所述第一高度等于所述固定窗口所在区域的高度。
5.根据权利要求4所述的车道线检测方法,其特征在于,所述在所述固定窗口所在区域内确定固定窗口还包括:
将重叠面积超过预定比例的矩形合并。
6.根据权利要求3所述的车道线检测方法,其特征在于,所述在所述滑动窗口所在区域内根据所述固定窗口确定多个滑动窗口包括:
子步骤305:计算所述固定窗口内灰度值高于预定阈值的像素点的平均横坐标Averx,以所述平均横坐标Averx为底边中点的横坐标、以所述固定窗口的上边界的纵坐标为底边中点的纵坐标生成具有第二宽度和第二高度的第一滑动窗口,所述第一滑动窗口为矩形;
子步骤306:计算所述第一滑动窗口内灰度值高于预定阈值的像素点的平均横坐标Averx’,以所述平均横坐标Averx’为底边中点的横坐标、以所述第一滑动窗口的上边界的纵坐标为底边中点的纵坐标生成具有所述第二宽度和所述第二高度的第二滑动窗口,所述第二滑动窗口为矩形;
子步骤307:以生成的第二滑动窗口作为子步骤306中的所述第一滑动窗口,重复执行子步骤306,直到生成的第二滑动窗口达到所述第一感兴趣区域的上边界。
7.根据权利要求3所述的车道线检测方法,其特征在于,所述固定窗口所在区域为所述俯视图的下半部分区域。
8.根据权利要求1所述的车道线检测方法,其特征在于,还包括:
在所述俯视图中确定第二感兴趣区域,将所述俯视图中所述第二感兴趣区域以外的区域置黑,其中所述第二感兴趣区域包含当前车道所在的区域。
9.根据权利要求8所述的车道线检测方法,其特征在于,选取以所述俯视图的中心为中心的具有预定宽度的矩形区域作为所述第二感兴趣区域,其中所述第二感兴趣区域的高度等于所述俯视图的高度。
10.根据权利要求1所述的车道线检测方法,其特征在于,选择所述拟合窗口内灰度值高于预定阈值的像素点作为所述待拟合点。
CN201711105837.2A 2017-11-10 2017-11-10 车道线检测方法及系统 Active CN108038416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711105837.2A CN108038416B (zh) 2017-11-10 2017-11-10 车道线检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711105837.2A CN108038416B (zh) 2017-11-10 2017-11-10 车道线检测方法及系统

Publications (2)

Publication Number Publication Date
CN108038416A true CN108038416A (zh) 2018-05-15
CN108038416B CN108038416B (zh) 2021-09-24

Family

ID=62093887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711105837.2A Active CN108038416B (zh) 2017-11-10 2017-11-10 车道线检测方法及系统

Country Status (1)

Country Link
CN (1) CN108038416B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002795A (zh) * 2018-07-13 2018-12-14 清华大学 车道线检测方法、装置及电子设备
CN109034047A (zh) * 2018-07-20 2018-12-18 京东方科技集团股份有限公司 一种车道线检测方法及装置
CN109145722A (zh) * 2018-07-09 2019-01-04 北京农业智能装备技术研究中心 作物行识别方法及装置
CN109543520A (zh) * 2018-10-17 2019-03-29 天津大学 一种面向语义分割结果的车道线参数化方法
CN109886122A (zh) * 2019-01-23 2019-06-14 珠海市杰理科技股份有限公司 车道线检测方法、装置、计算机设备和存储介质
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技(上海)有限公司 一种车道线检测的方法及设备
CN110135252A (zh) * 2019-04-11 2019-08-16 长安大学 一种用于无人车的自适应精准车道线检测及偏离预警方法
CN111160086A (zh) * 2019-11-21 2020-05-15 成都旷视金智科技有限公司 车道线识别方法、装置、设备和存储介质
CN112183214A (zh) * 2020-09-02 2021-01-05 上海眼控科技股份有限公司 车辆弯道行驶状态判别方法、装置、计算机设备和介质
CN113011293A (zh) * 2021-03-05 2021-06-22 郑州天迈科技股份有限公司 一种行道线参数实时提取方法
CN113780082A (zh) * 2021-08-10 2021-12-10 南昌大学 一种基于滑动窗口搜索的车道线检测方法
CN115619856A (zh) * 2022-12-05 2023-01-17 中质智通检测技术有限公司 基于车路协同感知的车道定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541061A (zh) * 2012-02-07 2012-07-04 清华大学 基于视听觉信息的缩微智能车
CN105261020A (zh) * 2015-10-16 2016-01-20 桂林电子科技大学 一种快速车道线检测方法
WO2017118688A1 (fr) * 2016-01-05 2017-07-13 Valeo Schalter Und Sensoren Gmbh Fr Procédé mis en œuvre dans un véhicule automobile et véhicule automobile associé
CN107330376A (zh) * 2017-06-06 2017-11-07 广州汽车集团股份有限公司 一种车道线识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541061A (zh) * 2012-02-07 2012-07-04 清华大学 基于视听觉信息的缩微智能车
CN105261020A (zh) * 2015-10-16 2016-01-20 桂林电子科技大学 一种快速车道线检测方法
WO2017118688A1 (fr) * 2016-01-05 2017-07-13 Valeo Schalter Und Sensoren Gmbh Fr Procédé mis en œuvre dans un véhicule automobile et véhicule automobile associé
CN107330376A (zh) * 2017-06-06 2017-11-07 广州汽车集团股份有限公司 一种车道线识别方法及系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145722A (zh) * 2018-07-09 2019-01-04 北京农业智能装备技术研究中心 作物行识别方法及装置
CN109002795A (zh) * 2018-07-13 2018-12-14 清华大学 车道线检测方法、装置及电子设备
CN109002795B (zh) * 2018-07-13 2021-08-27 清华大学 车道线检测方法、装置及电子设备
CN109034047A (zh) * 2018-07-20 2018-12-18 京东方科技集团股份有限公司 一种车道线检测方法及装置
US10970566B2 (en) 2018-07-20 2021-04-06 Boe Technology Group Co., Ltd. Lane line detection method and apparatus
CN109034047B (zh) * 2018-07-20 2021-01-22 京东方科技集团股份有限公司 一种车道线检测方法及装置
CN109543520A (zh) * 2018-10-17 2019-03-29 天津大学 一种面向语义分割结果的车道线参数化方法
CN109886122B (zh) * 2019-01-23 2021-01-29 珠海市杰理科技股份有限公司 车道线检测方法、装置、计算机设备和存储介质
CN109886122A (zh) * 2019-01-23 2019-06-14 珠海市杰理科技股份有限公司 车道线检测方法、装置、计算机设备和存储介质
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技(上海)有限公司 一种车道线检测的方法及设备
CN110008851B (zh) * 2019-03-15 2021-11-19 深兰科技(上海)有限公司 一种车道线检测的方法及设备
CN110135252A (zh) * 2019-04-11 2019-08-16 长安大学 一种用于无人车的自适应精准车道线检测及偏离预警方法
CN111160086A (zh) * 2019-11-21 2020-05-15 成都旷视金智科技有限公司 车道线识别方法、装置、设备和存储介质
CN111160086B (zh) * 2019-11-21 2023-10-13 芜湖迈驰智行科技有限公司 车道线识别方法、装置、设备和存储介质
CN112183214A (zh) * 2020-09-02 2021-01-05 上海眼控科技股份有限公司 车辆弯道行驶状态判别方法、装置、计算机设备和介质
CN113011293A (zh) * 2021-03-05 2021-06-22 郑州天迈科技股份有限公司 一种行道线参数实时提取方法
CN113780082A (zh) * 2021-08-10 2021-12-10 南昌大学 一种基于滑动窗口搜索的车道线检测方法
CN115619856A (zh) * 2022-12-05 2023-01-17 中质智通检测技术有限公司 基于车路协同感知的车道定位方法
CN115619856B (zh) * 2022-12-05 2023-04-07 中质智通检测技术有限公司 基于车路协同感知的车道定位方法

Also Published As

Publication number Publication date
CN108038416B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN108038416A (zh) 车道线检测方法及系统
CN107862290A (zh) 车道线检测方法及系统
CN107730520A (zh) 车道线检测方法及系统
CN104700072B (zh) 基于车道线历史帧的识别方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN108280450A (zh) 一种基于车道线的高速公路路面检测方法
CN107066986A (zh) 一种基于单目视觉的车道线与前方障碍物检测方法
CN106529505A (zh) 一种基于图像视觉的车道线检测方法
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
CN105488454A (zh) 基于单目视觉的前方车辆检测与测距
CN106887004A (zh) 一种基于块匹配的车道线检测方法
CN104392212A (zh) 一种基于视觉的道路信息检测及前方车辆识别方法
CN108171695A (zh) 一种基于图像处理的高速公路路面检测方法
CN104881661B (zh) 基于结构相似度的车辆检测方法
CN105740782A (zh) 一种基于单目视觉的驾驶员换道过程量化方法
CN110210451A (zh) 一种斑马线检测方法
CN105426868A (zh) 一种基于自适应感兴趣区域的车道检测方法
CN202134079U (zh) 一种无人驾驶车辆车道标志线识别与报警装置
CN103679205A (zh) 基于阴影假设和分层hog对称特征验证的前车检测方法
CN107909047A (zh) 一种汽车及其应用的车道检测方法及系统
CN103593981A (zh) 一种基于视频的车型识别方法
CN107886034A (zh) 行车提醒方法、装置及车辆
CN109948433A (zh) 一种嵌入式人脸跟踪方法及装置
CN109190483A (zh) 一种基于视觉的车道线检测方法
CN113095283B (zh) 一种基于动态roi和改进萤火虫算法的车道线提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant