CN110414425A - 一种基于灭点检测的宽度自适应车道线检测方法及系统 - Google Patents
一种基于灭点检测的宽度自适应车道线检测方法及系统 Download PDFInfo
- Publication number
- CN110414425A CN110414425A CN201910680871.5A CN201910680871A CN110414425A CN 110414425 A CN110414425 A CN 110414425A CN 201910680871 A CN201910680871 A CN 201910680871A CN 110414425 A CN110414425 A CN 110414425A
- Authority
- CN
- China
- Prior art keywords
- lane line
- lane
- vanishing point
- width
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Abstract
本发明涉及一种基于灭点检测的宽度自适应车道线检测方法及系统,包括车道线标识提取模块、车道线拟合模块和车道线追踪模块,在车道线标识提取模块内,首先对输入图片进行逐行扫描获取满足先验车道线宽度要求的左右边缘对特征,再将左右边缘对特征聚类以获得车道线标识,对车道线标识依据颜色、大小、位置进行筛选;在车道线拟合模块内,首先将车道线标识拟合为解析形式,再利用车道线投票得到灭点,然后利用灭点对拟合出的车道线进行筛选;在车道线追踪模块内,利用卡尔曼滤波实现车道线追踪,实现连续视频输入下的优化,并计算最优化宽度阈值,向车道线标识提取模块反馈该最优化宽度阈值,以获得更好的性能。本发明能实现宽度自适应,提高车道线检测的性能。
Description
技术领域
本发明涉及一种智能汽车环境感知领域,特别是关于一种基于灭点检测的宽度自适应车道线检测方法及系统。
背景技术
在智能汽车系统中,车道线检测技术是结构化道路中环境感知的重要内容,是车道偏离预警、换道预警等驾驶辅助功能的基础。由于人工标识的车道线带有规则的边缘特征和颜色特征,这两种特征是基于图像的车道线检测技术的基础。由于车辆、路沿、阴影等也会产生边缘,现有基于边缘的车道线检测方法在复杂路况中将受到较为严重的干扰;而基于颜色特征的车道线检测方法则受到光照条件和反射率的影响,路面上的白色车辆等也会对其造成干扰。
为提高鲁棒性,一些研究运用透视关系,利用灭点对车道线进行过滤,这种方法立足于平行假设,将不平行于车道线的噪声滤除。但是独立的灭点检测模块往往是用图像边缘细节特征进行聚类或投票的方案,需要较多计算资源,因此在智能汽车上应用时受到实时性的限制。
发明内容
针对上述问题,本发明的目的是提供一种基于灭点检测的宽度自适应车道线检测方法及系统,其将边缘特征和颜色特征结合起来,并运用满足实时性要求的灭点检测算法以提高鲁棒性,利用卡尔曼滤波进行多车道线追踪,在此基础上,将车道线追踪结果提供的最优化宽度阈值反馈到特征提取的步骤,实现宽度自适应,进一步提高车道线检测的性能。
为实现上述目的,本发明采取以下技术方案:一种基于灭点检测的宽度自适应车道线检测方法,该方法基于一检测系统实现,以车载相机拍摄的连续图片作为输入,该检测系统包括车道线标识提取模块、车道线拟合模块和车道线追踪模块,其包括以下步骤:1)在车道线标识提取模块内,首先对输入图片进行逐行扫描获取满足先验车道线宽度要求的左右边缘对特征,再将左右边缘对特征聚类以获得车道线标识,对车道线标识依据颜色、大小、位置进行筛选;2)在车道线拟合模块内,首先将车道线标识拟合为解析形式,再利用车道线投票得到灭点,然后利用灭点对拟合出的车道线进行筛选;3)在车道线追踪模块内,利用卡尔曼滤波实现车道线追踪,实现连续视频输入下的优化,并计算最优化宽度阈值,向车道线标识提取模块反馈该最优化宽度阈值,以获得更好的性能。
进一步,所述步骤1)中,左右边缘对特征的获取方法包括以下步骤:1.1) 进行预处理:将输入图片中地平线以上部分去除;1.2)将输入图片转化为灰度图,利用车道线的高亮度,在灰度图上检测灰度跳变的位置,作为可能的车道线边缘特征;1.3)边缘提取结束后,逐行选取符合车道线宽度要求的边缘对特征,若某一左边缘与某一右边缘距离满足预先设定的宽度范围要求,则记其为边缘对;1.4) 将左右边缘对特征聚类以获得车道线标识;1.5)依据颜色、大小和位置对车道线标识进行筛选。
进一步,所述步骤1.2)中,灰度跳变的检测方法为:1.2.1)对图片进行逐行扫描,对每一个像素坐标(x,y),计算该处平均灰度梯度;1.2.2)若某处平均灰度梯度为局部极值且大于预先设定的梯度阈值,则视其为边缘特征,根据梯度的正负区分左边缘和右边缘;1.2.3)梯度阈值与该处灰度值成比例设置。
进一步,所述步骤1.4)中,车道线标识获取方法为:1.4.1)根据边缘对特征之间的几何距离、角度,将其聚集为若干区块;1.4.2)逐一考察边缘对特征,将第一个边缘对特征初始化为第一个区块;每考察一个边缘对特征,就与现有各区块的位置、角度进行比较:首先将该区块所包含的各边缘对的中点进行二次拟合,判断待考察的边缘对与拟合曲线的偏差,若小于预先设定的阈值,则将其聚类到该区块中,若不能聚类到任一现有区块,则记其为新的区块;1.4.3)重复步骤1.4.2)的操作,直到所有边缘对特征都用完,所生成的每个区块都是一个车道线标识,从而实现了车道线标识的检测。
进一步,所述步骤1.5)中,筛选原则为:1.5.1)颜色的筛选条件:依据颜色的筛选在HSI颜色空间中进行,判断是否满足S小于Sth,或Hmin<H<Hmax,不满足的车道线标识则被剔除;1.5.2)车道线特征数的条件:判断车道线标识中所含有的车道线特征数是否大于预先设定的阈值,若不大于则将该车道标识剔除; 1.5.3)灭点距离的条件:判断车道线标识到灭点的距离是否小于预先设定值,不小于则将该车道标识剔除;同时满足1.5.1)颜色的筛选条件和1.5.2)车道线特征数的条件,或同时满足1.5.1)颜色的筛选条件和1.5.3)灭点距离的条件,则该车道线标识为有效车道线标识。
进一步,所述步骤2)中,车道线拟合模块需将车道线标识进行拟合得到解析表达,并根据灭点检测对拟合出的车道线进行过滤,具体包括以下步骤:2.1)对步骤1)得到的车道线标识进行互相关联,若有共线的车道线标识则将其合并为一个车道线标识,以使一条虚线车道线上的数个标识合并为一个整体,然后对车道线标识进行二次拟合,得到备选车道线方程;2.2)得到所有备选车道线方程后,根据灭点进行筛选,以去除不符合透视关系要求的线。
进一步,所述步骤2.2)中,筛选方法为基于格点的灭点检测及车道线筛选:2.2.1)通过标定得到无偏航角和俯仰角时的静态灭点,在静态灭点周围设置一系列格点,计算每个格点内经过的备选车道线条数,经过备选车道线最多的格点的中心则为检测得到的灭点;2.2.2)灭点检测完成后,根据灭点位置进行车道线筛选,设置接受区域,备选车道线经过接受区域,即到灭点的距离小于等于给定阈值时则接受。
进一步,所述步骤3)中,车道线追踪模块内采用的是多车道线追踪方法:滤波对象是车道线方程的二次拟合系数,即滤波中的状态量;首先计算当前检测到的车道线与已有状态量之间的距离矩阵,每一状态量寻找最近的检测线,若距离小于给定阈值则匹配;连续多帧未被匹配的状态量则认为已丢失,将被删除,而未被匹配到的检测线则上溯多帧,若该检测线在之前的数帧连续出现,则它成为新的状态量;被匹配到的状态量则根据匹配的检测线进行卡尔曼滤波,需进行预测和更新。
进一步,所述步骤3)中,车道线追踪模块向车道线标识提取模块提供最优化宽度阈值,其方法如下:3.1)在相机位置固定的情况下,车道线的宽度不随时间变化;如果某条车道线的跟踪次数超过预先设定的阈值,则认为此车道线被完全确认,用确认的车道线宽度来代表当前透视状态下的车道线宽度;3.2)判断确认的车道线数量是否超过预先设定的数量阈值Nmax,若被确认的线数量超过预先设定阈值Nmax时,则剔除最早被确认的车道线;3.3)将当前所有被确认的车道线的平均宽度将作为标准宽度,上下允许有预先设定的误差,计算特征提取的最优化宽度阈值,向车道线标识提取模块提供最优化宽度阈值。
一种基于灭点检测的宽度自适应车道线检测系统,其包括车道线标识提取模块、车道线拟合模块和车道线追踪模块;所述车道线标识提取模块内,首先对输入图片进行逐行扫描获取满足先验车道线宽度要求的左右边缘对特征,再将左右边缘对特征聚类以获得车道线标识,对车道线标识依据颜色、大小、位置进行筛选;所述车道线拟合模块内,首先将车道线标识拟合为解析形式,再利用车道线投票得到灭点,然后利用灭点对拟合出的车道线进行筛选;所述车道线追踪模块内,利用卡尔曼滤波实现车道线追踪,实现连续视频输入下的优化,并计算最优化宽度阈值,向车道线标识提取模块反馈该最优化宽度阈值,以获得更好的性能。
本发明由于采取以上技术方案,其具有以下优点:1、本发明可实现较为鲁棒的多车道线实时检测,满足城市工况下智能汽车环境感知的需求。2、本发明将边缘与颜色特征结合起来,提高了车道线检测的鲁棒性。3、本发明改进的灭点检测方法,利用灭点对车道线进行筛选,在满足检测的要求下简化了灭点检测的计算,节约计算资源。4、本发明在以卡尔曼滤波实现车道线追踪的基础上,以稳定追踪的车道线宽度为基础,为特征提取步骤提供宽度自适应阈值,提高在不同场景、不同透视工况下的适应能力。
附图说明
图1是本发明的整体流程示意图;
图2是车道线标识提取模块自适应宽度阈值效果图;
图2a是车道线标识提取模块中数据集1中的图片效果图;
图2b是车道线标识提取模块中初始宽度阈值效果图;
图2c是车道线标识提取模块中优化宽度阈值效果图;
图2d是车道线标识提取模块中数据集2中的图片效果图;
图2e是车道线标识提取模块中数据集1最优宽度阈值效果图;
图2f是车道线标识提取模块中数据集2最优宽度阈值效果图;
图3是车道线标识筛选流程图;
图4是灭点检测及车道线筛选示意图;
图5是多车道线追踪框架图;
图6是算法效果示意图;
图7是生成优化宽度阈值流程图;
图8是车道线追踪模块向车道线标识提取模块提供最优化宽度阈值方法流程图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示,本发明提供一种基于灭点检测的宽度自适应车道线检测方法,该方法基于一检测系统实现,以车载相机拍摄的连续图片作为输入,该检测系统包括车道线标识提取模块、车道线拟合模块和车道线追踪模块,其包括以下步骤:
1)在车道线标识提取模块内,首先对输入图片进行逐行扫描获取满足先验车道线宽度要求的左右边缘对特征,再将左右边缘对特征聚类以获得车道线标识,对车道线标识依据颜色、大小、位置进行筛选;
2)在车道线拟合模块内,首先将车道线标识拟合为解析形式,再利用车道线投票得到灭点,然后利用灭点对拟合出的车道线进行筛选;
3)在车道线追踪模块内,利用卡尔曼滤波实现车道线追踪,实现连续视频输入下的优化,并计算最优化宽度阈值,向车道线标识提取模块反馈该最优化宽度阈值,以获得更好的性能。
上述步骤1)中,左右边缘对特征的获取方法包括以下步骤:
1.1)进行预处理:将输入图片中地平线以上部分去除,以消除天空和建筑物所带来的影响。
1.2)将输入图片转化为灰度图,利用车道线的高亮度,在灰度图上检测灰度跳变的位置,作为可能的车道线边缘特征;
灰度跳变的检测方法为:
1.2.1)为实现灰度跳变的检测,对图片进行逐行扫描,对每一个像素坐标(x,y),计算该行(同一行的y坐标相同)在该像素处的平均灰度梯度:
式中,G(x,y)为该处梯度,I(u,y)为像素(u,y)的灰度值,F为计算平均灰度梯度所用的邻域大小,可根据图片大小进行设置。
1.2.2)若某处平均灰度梯度为局部极值且大于预先设定的梯度阈值,则视其为边缘特征,根据梯度的正负可区分左边缘和右边缘。
1.2.3)梯度阈值与该处灰度值成比例设置,使较亮处和较暗处的梯度阈值不同,可以减小光照造成的影响。
1.3)边缘提取结束后,逐行选取符合车道线宽度要求的边缘对特征,若某一左边缘与某一右边缘距离满足预先设定的宽度范围要求,则记其为边缘对;
其中,宽度范围按照透视原理进行设置:
其中,h为图片高度,yvp为灭点y坐标,whmax和whmin为图片底端的最大宽度和最小宽度阈值。高度y处的宽度阈值wymax和wymin与灭点的高度差成比例设置,而灭点处的宽度为0。其中,灭点为一点透视中的概念,指的是平行车道线在图像平面内汇聚的点。
图片底端的宽度阈值根据车道线追踪模块的反馈信息进行优化设置。由于相机位置、透视关系等的差异,为提高算法适应性,本发明采用了自适应宽度阈值。初始宽度阈值较为宽松,以避免漏检;后续按照卡尔曼滤波所确认的历史车道线宽度来设定阈值,则为当前场景下的优化宽度阈值。通过一个实例说明边缘对提取的有效性,以及自适应宽度阈值的效果。如图2a所示,为数据集1中的一张图片,图2b为较为宽松的初始宽度阈值检测效果,可见道路上的标识和人行横道都被检出。图2c则为卡尔曼滤波给出的优化阈值检测效果,通过车道线追踪得到优化宽度阈值,道路标识和人行横道都过宽,不满足历史车道线宽度要求,因此被滤除。图2d为数据集2中的一张图片,图2e为数据集1的优化阈值检测效果,由于数据集2中的车道线略宽,因此数据集1的优化阈值造成漏检。可见,固定阈值是难以适应各种透视情况的。图2f为数据集2的优化阈值检测效果,可见,上述自适应宽度阈值方案可以适应不同透视情况。这一步得到的结果是大量小横线,没有宏观特征。
1.4)将左右边缘对特征聚类以获得车道线标识:边缘对特征提取得到的车道线特征为大量小横线,需要对其进行聚类,才能反映出车道线的宏观几何特征;其包括以下步骤:
1.4.1)根据边缘对特征之间的几何距离、角度,可以将其聚集为若干区块。
1.4.2)逐一考察边缘对特征,将第一个边缘对特征初始化为第一个区块;每考察一个边缘对特征,就与现有各区块的位置、角度进行比较:首先将该区块所包含的各边缘对的中点进行二次拟合,判断待考察的边缘对与拟合曲线的偏差,若小于预先设定的阈值,则将其聚类到该区块中,若不能聚类到任一现有区块,则记其为新的区块;
1.4.3)重复步骤1.4.2)的操作,直到所有边缘对特征都用完,所生成的每个区块都是一个车道线标识,从而实现了车道线标识的检测。
1.5)对车道线标识进行筛选:如图3所示,依据颜色、大小和位置对车道线标识进行筛选,筛选原则为:
1.5.1)颜色的筛选条件:依据颜色的筛选在HSI颜色空间中进行,判断是否满足S小于Sth,或Hmin<H<Hmax,不满足的车道线标识则被剔除;
其中,H通道代表色相,S通道代表饱和度,I通道代表亮度,对车道线标识的平均HSI进行计算以排除可能的局部噪声的影响;
由于特征提取在灰度图上进行,已经考虑了亮度因素,因此不再用I通道进行筛选。白色车道线的低饱和度和黄色车道线的色相信息,可以作为两种车道线的筛选标准,颜色不符合要求的车道线标识则被剔除。
1.5.2)车道线特征数的条件:判断车道线标识中所含有的车道线特征数是否大于预先设定的阈值,若不大于则将该车道标识剔除;
由于干扰噪声(如路边草地等)常常较为细碎,而车道线则具有连续的宏观特征,因此若车道线标识中所含有的车道线特征数较少也将会被剔除;
1.5.3)灭点距离的条件:判断车道线标识到灭点的距离是否小于预先设定值,不小于则将该车道标识剔除;
根据透视关系,较远处车道线标识较小,因此若车道标识接近灭点也将其保留。
同时满足1.5.1)颜色的筛选条件和1.5.2)车道线特征数的条件,或同时满足1.5.1)颜色的筛选条件和1.5.3)灭点距离的条件,则该车道线标识为有效车道线标识,车道线标识检测与筛选效果如图4所示,其中白色为经过筛选保留下来的标识,灰色则为被剔除的标识。
上述步骤2)中,车道线拟合模块需将车道线标识进行拟合得到解析表达,并根据灭点检测对拟合出的车道线进行过滤,具体包括以下步骤:
2.1)对步骤1)得到的车道线标识进行互相关联,若有共线的车道线标识则将其合并为一个车道线标识,以使一条虚线车道线的数个标识合并为一个整体。然后对车道线标识进行二次拟合,得到备选车道线方程。
2.2)得到所有备选车道线方程后,根据灭点进行筛选,以去除不符合透视关系要求的线;
筛选方法为:平行车道线在图像平面内交于灭点,可以据此去除不通过灭点的线。车辆的俯仰和偏航运动将造成图像平面内灭点位置的改变,因此需要实时检测灭点位置,而不能依赖预设的固定灭点。现有灭点检测常通过图像内局部直线特征的投票来实现,而局部直线特征常通过边缘检测来进行。本发明中由于之前步骤已经进行了备选车道线方程的计算,为避免重复计算,直接使用备选车道线方程来投票。为进一步节约计算资源,筛选方法为基于格点的灭点检测及车道线筛选,如图5所示:
2.2.1)通过标定得到无偏航角和俯仰角时的静态灭点,在静态灭点周围设置一系列格点,计算每个格点内经过的备选车道线条数,经过备选车道线最多的格点的中心则为检测得到的灭点。
2.2.2)灭点检测完成后,即可根据灭点位置进行车道线筛选,由于备选车道线检测存在误差,且真实路况中车道线也并非严格交于一点,因此需要设置接受区域,如图5中所示的圆形区域,备选车道线经过此区域,即到灭点的距离小于等于给定阈值时则接受。接受区域大于格点大小,以保证投票中经过该格点的备选车道线被接受。
上述方法得到的灭点可能并不是距离误差全局最优的像素,但由于筛选车道线时必须要允许一定误差,上述方法的精确度是足够的。由于格点数量远小于所有格点所覆盖的像素数量,这一投票方法可以大大地减少计算量,平均计算时间在0.01s以下,可以适应实时车道线检测的需求。经过灭点筛选得到的车道线即为车道线拟合模块的最终输出。
上述步骤3)中,车道线追踪模块在连续输入下可以进一步提高车道线检测性能。本发明采用的是多车道线追踪方法,需要处理车道线增加和减少的情况,因此采用多目标追踪,如图6所示:
多车道线追踪是基于卡尔曼滤波实现的,滤波对象是车道线方程的二次拟合系数,也即滤波中的状态量。第一张输入图片的车道线检测结果直接生成状态量。之后的检测中,首先计算当前检测到的车道线与已有状态量之间的距离矩阵,每一状态量寻找最近的检测线,若距离小于给定阈值则匹配。连续多帧未被匹配的状态量可认为已丢失,将被删除,而未被匹配到的检测线则上溯多帧,若该未被匹配到的检测线在之前的数帧连续出现,则它成为新的状态量。被匹配到的状态量则根据匹配的检测线进行卡尔曼滤波,需进行预测和更新两个步骤,预测步骤如下式所示:
P(i|i-1)=AP(i-1)AT+Q (5)
X(i|i-1)=AX(i) (6)
其中,X为状态量,P为协方差矩阵,Q为过程噪声,A为状态转移矩阵。i 代表上一步检测,i|i-1代表预测。一条车道线用其二次方程的三个系数ai bi ci来代表,多车道线追踪中,记车道线条数为n,则完整的状态量X记为:
X=[a1 b1 c1 a2 b2 c2 … an bn cn]T (7)
状态转移矩阵A被置为单位阵,因为最常见的车道保持工况中车道线位置是不变的。
则更新步骤为:
K(i)=P(i|i-1)HT(HP(i|i-1)HT+R)-1 (8)
P(i)=(I-K(i)H)P(i|i-1) (9)
X(i)=X(i|i-1)+K(i)(Y(i)-HX(i|i-1)) (10)
其中,Y为观测量,即与X下标对应的当前检测到的车道线。H为观测矩阵,也设为单位阵。K为卡尔曼增益矩阵。X(i)为卡尔曼滤波结果,也是算法最终输出,最终输出的效果如图7所示。可见,本发明的车道线检测算法在光照良好的公路对道路标识、车辆遮挡、人行道等干扰下仍具有较好的检测性能。
上述步骤3)中,如图8所示,车道线追踪模块向车道线标识提取模块提供最优化宽度阈值,其方法如下:
3.1)在相机位置固定的情况下,车道线的宽度不随时间变化。如果某条车道线的跟踪次数超过预先设定的阈值,则认为此车道线被完全确认,可以用确认的车道线宽度来代表当前透视状态下的车道线宽度。
3.2)判断确认的车道线数量是否超过预先设定的数量阈值Nmax,若被确认的线数量超过预先设定阈值Nmax时,则剔除最早被确认的车道线;
3.3)将当前所有被确认的车道线的平均宽度将作为标准宽度,这一标准宽度即可为下一帧输入图片检测的车道线标识提取模块提供优化的宽度阈值。具体实现方法为:在该标准宽度上下根据预先设定的误差范围,设定下一帧边缘对提取中的最大和最小宽度阈值(参见公式(2)、(3))。
本发明还提供一种基于灭点检测的宽度自适应车道线检测系统,其包括车道线标识提取模块、车道线拟合模块和车道线追踪模块;
车道线标识提取模块内,首先对输入图片进行逐行扫描获取满足先验车道线宽度要求的左右边缘对特征,再将左右边缘对特征聚类以获得车道线标识,对车道线标识依据颜色、大小、位置进行筛选;
车道线拟合模块内,首先将车道线标识拟合为解析形式,再利用车道线投票得到灭点,然后利用灭点对拟合出的车道线进行筛选;
车道线追踪模块内,利用卡尔曼滤波实现车道线追踪,实现连续视频输入下的优化,并计算最优化宽度阈值,向车道线标识提取模块反馈该最优化宽度阈值,以获得更好的性能。
上述各实施例仅用于说明本发明,各个步骤都是可以有所变化的,在本发明技术方案的基础上,凡根据本发明原理对个别步骤进行的改进和等同变换,均不应排除在本发明的保护范围之外。
Claims (10)
1.一种基于灭点检测的宽度自适应车道线检测方法,该方法基于一检测系统实现,以车载相机拍摄的连续图片作为输入,该检测系统包括车道线标识提取模块、车道线拟合模块和车道线追踪模块,其特征在于包括以下步骤:
1)在车道线标识提取模块内,首先对输入图片进行逐行扫描获取满足先验车道线宽度要求的左右边缘对特征,再将左右边缘对特征聚类以获得车道线标识,对车道线标识依据颜色、大小、位置进行筛选;
2)在车道线拟合模块内,首先将车道线标识拟合为解析形式,再利用车道线投票得到灭点,然后利用灭点对拟合出的车道线进行筛选;
3)在车道线追踪模块内,利用卡尔曼滤波实现车道线追踪,实现连续视频输入下的优化,并计算最优化宽度阈值,向车道线标识提取模块反馈该最优化宽度阈值,以获得更好的性能。
2.如权利要求1所述检测方法,其特征在于:所述步骤1)中,左右边缘对特征的获取方法包括以下步骤:
1.1)进行预处理:将输入图片中地平线以上部分去除;
1.2)将输入图片转化为灰度图,利用车道线的高亮度,在灰度图上检测灰度跳变的位置,作为可能的车道线边缘特征;
1.3)边缘提取结束后,逐行选取符合车道线宽度要求的边缘对特征,若某一左边缘与某一右边缘距离满足预先设定的宽度范围要求,则记其为边缘对;
1.4)将左右边缘对特征聚类以获得车道线标识;
1.5)依据颜色、大小和位置对车道线标识进行筛选。
3.如权利要求2所述检测方法,其特征在于:所述步骤1.2)中,灰度跳变的检测方法为:
1.2.1)对图片进行逐行扫描,对每一个像素坐标(x,y),计算该处平均灰度梯度;
1.2.2)若某处平均灰度梯度为局部极值且大于预先设定的梯度阈值,则视其为边缘特征,根据梯度的正负区分左边缘和右边缘;
1.2.3)梯度阈值与该处灰度值成比例设置。
4.如权利要求2所述检测方法,其特征在于:所述步骤1.4)中,车道线标识获取方法为:
1.4.1)根据边缘对特征之间的几何距离、角度,将其聚集为若干区块;
1.4.2)逐一考察边缘对特征,将第一个边缘对特征初始化为第一个区块;每考察一个边缘对特征,就与现有各区块的位置、角度进行比较:首先将该区块所包含的各边缘对的中点进行二次拟合,判断待考察的边缘对与拟合曲线的偏差,若小于预先设定的阈值,则将其聚类到该区块中,若不能聚类到任一现有区块,则记其为新的区块;
1.4.3)重复步骤1.4.2)的操作,直到所有边缘对特征都用完,所生成的每个区块都是一个车道线标识,从而实现了车道线标识的检测。
5.如权利要求2所述检测方法,其特征在于:所述步骤1.5)中,筛选原则为:
1.5.1)颜色的筛选条件:依据颜色的筛选在HSI颜色空间中进行,判断是否满足S小于Sth,或Hmin<H<Hmax,不满足的车道线标识则被剔除;
1.5.2)车道线特征数的条件:判断车道线标识中所含有的车道线特征数是否大于预先设定的阈值,若不大于则将该车道标识剔除;
1.5.3)灭点距离的条件:判断车道线标识到灭点的距离是否小于预先设定值,不小于则将该车道标识剔除;
同时满足1.5.1)颜色的筛选条件和1.5.2)车道线特征数的条件,或同时满足1.5.1)颜色的筛选条件和1.5.3)灭点距离的条件,则该车道线标识为有效车道线标识。
6.如权利要求1所述检测方法,其特征在于:所述步骤2)中,车道线拟合模块需将车道线标识进行拟合得到解析表达,并根据灭点检测对拟合出的车道线进行过滤,具体包括以下步骤:
2.1)对步骤1)得到的车道线标识进行互相关联,若有共线的车道线标识则将其合并为一个车道线标识,以使一条虚线车道线上的数个标识合并为一个整体,然后对车道线标识进行二次拟合,得到备选车道线方程,
2.2)得到所有备选车道线方程后,根据灭点进行筛选,以去除不符合透视关系要求的线。
7.如权利要求6所述检测方法,其特征在于:所述步骤2.2)中,筛选方法为基于格点的灭点检测及车道线筛选:
2.2.1)通过标定得到无偏航角和俯仰角时的静态灭点,在静态灭点周围设置一系列格点,计算每个格点内经过的备选车道线条数,经过备选车道线最多的格点的中心则为检测得到的灭点;
2.2.2)灭点检测完成后,根据灭点位置进行车道线筛选,设置接受区域,备选车道线经过接受区域,即到灭点的距离小于等于给定阈值时则接受。
8.如权利要求1所述检测方法,其特征在于:所述步骤3)中,车道线追踪模块内采用的是多车道线追踪方法:滤波对象是车道线方程的二次拟合系数,即滤波中的状态量;首先计算当前检测到的车道线与已有状态量之间的距离矩阵,每一状态量寻找最近的检测线,若距离小于给定阈值则匹配;连续多帧未被匹配的状态量则认为已丢失,将被删除,而未被匹配到的检测线则上溯多帧,若该检测线在之前的数帧连续出现,则它成为新的状态量;被匹配到的状态量则根据匹配的检测线进行卡尔曼滤波,需进行预测和更新。
9.如权利要求1所述检测方法,其特征在于:所述步骤3)中,车道线追踪模块向车道线标识提取模块提供最优化宽度阈值,其方法如下:
3.1)在相机位置固定的情况下,车道线的宽度不随时间变化;如果某条车道线的跟踪次数超过预先设定的阈值,则认为此车道线被完全确认,用确认的车道线宽度来代表当前透视状态下的车道线宽度;
3.2)判断确认的车道线数量是否超过预先设定的数量阈值Nmax,若被确认的线数量超过预先设定阈值Nmax时,则剔除最早被确认的车道线;
3.3)将当前所有被确认的车道线的平均宽度将作为标准宽度,上下允许有预先设定的误差,计算特征提取的最优化宽度阈值,向车道线标识提取模块提供最优化宽度阈值。
10.一种基于灭点检测的宽度自适应车道线检测系统,其特征在于包括:车道线标识提取模块、车道线拟合模块和车道线追踪模块;
所述车道线标识提取模块内,首先对输入图片进行逐行扫描获取满足先验车道线宽度要求的左右边缘对特征,再将左右边缘对特征聚类以获得车道线标识,对车道线标识依据颜色、大小、位置进行筛选;
所述车道线拟合模块内,首先将车道线标识拟合为解析形式,再利用车道线投票得到灭点,然后利用灭点对拟合出的车道线进行筛选;
所述车道线追踪模块内,利用卡尔曼滤波实现车道线追踪,实现连续视频输入下的优化,并计算最优化宽度阈值,向车道线标识提取模块反馈该最优化宽度阈值,以获得更好的性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910680871.5A CN110414425A (zh) | 2019-07-26 | 2019-07-26 | 一种基于灭点检测的宽度自适应车道线检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910680871.5A CN110414425A (zh) | 2019-07-26 | 2019-07-26 | 一种基于灭点检测的宽度自适应车道线检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110414425A true CN110414425A (zh) | 2019-11-05 |
Family
ID=68363369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910680871.5A Pending CN110414425A (zh) | 2019-07-26 | 2019-07-26 | 一种基于灭点检测的宽度自适应车道线检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110414425A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942481A (zh) * | 2019-12-13 | 2020-03-31 | 西南石油大学 | 一种基于图像处理的纵跳检测方法 |
CN112101321A (zh) * | 2020-11-18 | 2020-12-18 | 蘑菇车联信息科技有限公司 | 灭点提取方法、装置、电子设备及存储介质 |
CN112507867A (zh) * | 2020-12-04 | 2021-03-16 | 华南理工大学 | 一种基于EDLines线特征的车道线检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971521A (zh) * | 2014-05-19 | 2014-08-06 | 清华大学 | 道路交通异常事件实时检测方法及装置 |
CN104318258A (zh) * | 2014-09-29 | 2015-01-28 | 南京邮电大学 | 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 |
US20180293447A1 (en) * | 2017-04-05 | 2018-10-11 | Denso Corporation | Road parameter calculator |
CN109409202A (zh) * | 2018-09-06 | 2019-03-01 | 惠州市德赛西威汽车电子股份有限公司 | 基于动态感兴趣区域的鲁棒性车道线检测方法 |
CN109598256A (zh) * | 2018-12-25 | 2019-04-09 | 斑马网络技术有限公司 | 进出坡道判断方法、装置、车辆、存储介质及电子设备 |
CN109670455A (zh) * | 2018-12-21 | 2019-04-23 | 联创汽车电子有限公司 | 计算机视觉车道线检测系统及其检测方法 |
-
2019
- 2019-07-26 CN CN201910680871.5A patent/CN110414425A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971521A (zh) * | 2014-05-19 | 2014-08-06 | 清华大学 | 道路交通异常事件实时检测方法及装置 |
CN104318258A (zh) * | 2014-09-29 | 2015-01-28 | 南京邮电大学 | 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 |
US20180293447A1 (en) * | 2017-04-05 | 2018-10-11 | Denso Corporation | Road parameter calculator |
CN109409202A (zh) * | 2018-09-06 | 2019-03-01 | 惠州市德赛西威汽车电子股份有限公司 | 基于动态感兴趣区域的鲁棒性车道线检测方法 |
CN109670455A (zh) * | 2018-12-21 | 2019-04-23 | 联创汽车电子有限公司 | 计算机视觉车道线检测系统及其检测方法 |
CN109598256A (zh) * | 2018-12-25 | 2019-04-09 | 斑马网络技术有限公司 | 进出坡道判断方法、装置、车辆、存储介质及电子设备 |
Non-Patent Citations (3)
Title |
---|
JINSHENG XIAO ET AL: "Lane Detection Based on Road Module and Extended Kalman Filter", 《IMAGE AND VIDEO TECHNOLOGY》 * |
JUNHWA HUR ET AL: "Multi-Lane Detection in Urban Driving Environments Using Conditional Random Fields", 《2013 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 * |
王俊: "无人驾驶车辆环境感知系统关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110942481A (zh) * | 2019-12-13 | 2020-03-31 | 西南石油大学 | 一种基于图像处理的纵跳检测方法 |
CN110942481B (zh) * | 2019-12-13 | 2022-05-20 | 西南石油大学 | 一种基于图像处理的纵跳检测方法 |
CN112101321A (zh) * | 2020-11-18 | 2020-12-18 | 蘑菇车联信息科技有限公司 | 灭点提取方法、装置、电子设备及存储介质 |
CN112101321B (zh) * | 2020-11-18 | 2021-02-02 | 蘑菇车联信息科技有限公司 | 灭点提取方法、装置、电子设备及存储介质 |
CN112507867A (zh) * | 2020-12-04 | 2021-03-16 | 华南理工大学 | 一种基于EDLines线特征的车道线检测方法 |
CN112507867B (zh) * | 2020-12-04 | 2022-04-22 | 华南理工大学 | 一种基于EDLines线特征的车道线检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
CN101334836B (zh) | 一种融合色彩、尺寸和纹理特征的车牌定位方法 | |
Cheng et al. | Extraction and classification of road markings using mobile laser scanning point clouds | |
CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
CN107463890B (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
CN107330376B (zh) | 一种车道线识别方法及系统 | |
EP0827127B1 (en) | Local positioning apparatus, and method therefor | |
Jung et al. | A lane departure warning system using lateral offset with uncalibrated camera | |
CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
CN100544446C (zh) | 用于视频监控的实时运动检测方法 | |
EP2958054A2 (en) | Hazard detection in a scene with moving shadows | |
CN103324936B (zh) | 一种基于多传感器融合的车辆下边界检测方法 | |
CN110414355A (zh) | 基于视觉的右方位空停车位与泊车过程中车位线检测方法 | |
CN109784344A (zh) | 一种用于地平面标识识别的图像非目标滤除方法 | |
CN106778593A (zh) | 一种基于多地面标志融合的车道级定位方法 | |
CN105718870A (zh) | 自动驾驶中基于前向摄像头的道路标线提取方法 | |
CN110502983B (zh) | 一种检测高速公路中障碍物的方法、装置及计算机设备 | |
CN110414425A (zh) | 一种基于灭点检测的宽度自适应车道线检测方法及系统 | |
CN105373135A (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
DE102009050492A1 (de) | Detektion eines freien Pfads unter Verwendung eines segmentierungsbasierten Verfahrens | |
DE102009050505A1 (de) | Detektion eines freien Pfads durch Strassenmodellerstellung | |
JP2003228711A (ja) | レーンマーク認識方法 | |
JP2002197444A (ja) | 車両の走行路認識装置 | |
DE102009048892A1 (de) | Pixelbasierte strukturreiche Detektion eines freien Pfads | |
CN109190483B (zh) | 一种基于视觉的车道线检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191105 |
|
WD01 | Invention patent application deemed withdrawn after publication |