CN105718870A - 自动驾驶中基于前向摄像头的道路标线提取方法 - Google Patents

自动驾驶中基于前向摄像头的道路标线提取方法 Download PDF

Info

Publication number
CN105718870A
CN105718870A CN201610029894.6A CN201610029894A CN105718870A CN 105718870 A CN105718870 A CN 105718870A CN 201610029894 A CN201610029894 A CN 201610029894A CN 105718870 A CN105718870 A CN 105718870A
Authority
CN
China
Prior art keywords
image
road
roadmarking
photographic head
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610029894.6A
Other languages
English (en)
Other versions
CN105718870B (zh
Inventor
苏晓聪
陶靖琦
朱敦尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WUHAN KOTEI TECHNOLOGY Corp
Original Assignee
WUHAN KOTEI TECHNOLOGY Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WUHAN KOTEI TECHNOLOGY Corp filed Critical WUHAN KOTEI TECHNOLOGY Corp
Priority to CN201610029894.6A priority Critical patent/CN105718870B/zh
Publication of CN105718870A publication Critical patent/CN105718870A/zh
Application granted granted Critical
Publication of CN105718870B publication Critical patent/CN105718870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法,其通过逆透视变换得到当前车辆前方道路标线的正射视图,并根据常规车辆行驶方式形成的部分先验知识,约束当前求解道路分割初始化阈值,采用初始化阈值对正射影像视图进行分割,判断边缘像素点是否呈现的平行性、投影直方图呈现的等距性,最终提取得到车道线、路面交通标志、车辆停止线、斑马线等道路标线。本发明所述道路标线提取方法的执行速率高,通过对投影直方图进行操作,能够降低残缺图像细节对于检测、提取的影响,提高提取方法的鲁棒性。同时增加了少量先验知识的约束,采用近似、分治、降维的技术手段,进一步降低了提取精度范围,限制部分道路场景子区域的处理。

Description

自动驾驶中基于前向摄像头的道路标线提取方法
技术领域
本发明涉及自动驾驶行业的交通信息检测领域,具体涉及一种自动驾驶中基于前向摄像头的道路标线提取方法。
背景技术
随着计算机科学和机器人技术的发展,自动驾驶车辆在军事、民用和科学研究等诸多方面得到了广泛的应用,它集中了结构学、电子学、控制论和人工智能等多学科的最新研究成果,具有广阔的应用前景。
能够实时检测到当前道路的行驶环境,是自动驾驶、车辆自主行驶技术的核心功能,而针对车道线、路面交通标志等道路标线的实时提取,又是构成安全、智能行驶环境的重要前提。
现阶段基于摄像头的道路标线提取方法大多数对影像采集环境有较高的要求,比如采集到的影像中可能仅包含当前车辆行驶的道路部分,一旦在复杂的城市交通环境中进行应用,极易受到其他车辆车体、道路两侧树木阴影等环境因素的干扰,无法得到准确的提取结果。
有实用价值的车辆自动驾驶道路标线提取方法,必须同时具备实时性、鲁棒性、实用性条件,否则在具体应用过程中,会受到极大的限制,高速、准确、实用的自动驾驶道路标线提取方法在智能交通检测系统中占据着基础的核心地位。
发明内容
针对现阶段技术的不足,本发明的目的是提供一种自动驾驶中基于前向摄像头的道路标线提取方法,用于满足先进自动驾驶系统对于获取车辆当前行驶环境信息的实时性、鲁棒性、实用性需求。
一种自动驾驶中基于前向摄像头的道路标线提取方法,其包括以下步骤:
S1、采集当前前方道路场景视频流,获取当前帧的图像数据,对采集到的每一帧图像数据进行逆透视变换矩阵操作,并结合预先标定参数,得到车辆前方的正射影像视图;
S2、根据常规车辆行驶方式形成的部分先验知识,约束当前求解道路分割初始化阈值,通过初始分割阈值进行图像分割,得到道路场景的序列图像;
S3、在经过图像分割之后得到的图像序列之中,通过对车辆前向可通行区域的求取,判别不同于道路场景的部分;
S4、分别对经过图像阈值分割后的图像序列作AND操作,得到道路平面区域内的二值图,通过分析透视特性、平行关系,进行道路标线的判定与识别。
本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法,其通过逆透视变换得到当前车辆前方道路标线的正射视图,并根据常规车辆行驶方式形成的部分先验知识,约束当前求解道路分割初始化阈值,采用初始化阈值对正射影像视图进行分割,判断边缘像素点是否呈现的平行性、投影直方图呈现的等距性,最终提取得到车道线、路面交通标志、车辆停止线、斑马线等道路标线。
本发明所述道路标线提取方法的执行速率高,能够满足城市环境下路面交通标志的快速检测与提取,通过对投影直方图进行操作,能够降低残缺图像细节对于检测、提取的影响,提高提取方法的鲁棒性。同时增加了少量先验知识的约束,采用近似、分治、降维的技术手段,进一步降低复杂问题的求解难度,合理的降低了提取精度范围,限制部分道路场景子区域的处理,进一步增加了本发明方法的实用性。
附图说明
图1是本发明实施例中所述的自动驾驶中基于前向摄像头的道路标线提取方法的流程框图;
图2是本发明实施例中所述自动驾驶车辆车载前向相机系统中摄像头安装角度示意图;
图3是图1中步骤S2的流程框图;
图4是本发明实施例中基于粗划分区域的图像分割的示意性场景;
图5是本发明实施例中阈值分割时的摄像头场景示意性图像;
图6是本发明实施例中进行示意性阈值分割之后所得到的阈值分割序列图像;
其中a)为当前场景中属于路面较暗部分的像素点分类示意图;b)为当前场景中属于普通路面部分的像素点分类示意图;c)为当前场景中属于道路标线部分的像素点分类示意图;d)为当前场景中属于路面部分受到强光照影响部分的像素点分类示意图;
图7是图1中步骤S3的流程框图;
图8是图1中步骤S4的流程框图;
图9是本发明实施例中由检测到的两侧行道线确定的停止线检测、路面标志检测的兴趣区域示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明,应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法,其包括以下步骤:
S1、自动驾驶车辆上前向安装的摄像头实时采集当前前方道路场景视频流,并获取当前帧的图像数据,对摄像头采集到的每一帧场景图像进行逆透视变换矩阵操作,并结合预先标定参数,得到当前运行时车辆前方的碎片化的正射影像视图;
所述预先标定参数包括以下三部分参数,摄像头的相机内参数,摄像头安装时距离地面的高度,以及摄像头的相机视场角度。
如图2所示,图2表示的是摄像头安装参数的示意图,其中摄像头安装时距地高度h,摄像头视场与地面夹角由theta标示;通过对当前摄像头采集的图像应用逆透视变换矩阵,将视角转为鸟瞰形式,即得到当前道路场景的正射影像碎片。
S2、自动驾驶车辆在正常的、结构化的城市道路中行驶,根据常规车辆行驶方式,可以形成部分先验知识,用于约束当前求解道路分割初始化阈值。如图3所示,具体包括如下子步骤:
S21、基于粗划分区域的方法标示得到初始路面像素采样区域;
S22、在每一帧正射碎片图像中,对初始路面像素采样区域进行局部的采样与计算,得到初始的影像分割阈值;
S23、估计道路与天空分界的消失线的位置;
S24、在初始分割阈值辅助下,进行图像分割,得到分割后的道路场景的序列图像。
如图4所示,距离当前自动驾驶车辆前方0.5m范围内,如果未出现任何车辆图像,则可以取得一小块像素的梯度值均衡区域,作为当前道路路面像素点的初始采样区域。
图4中,矩形ABCD界定为自动驾驶车辆前向摄像头直接拍摄所得到的场景图示,图像左上角点o为坐标原点,水平向右方向为x轴方向,垂直向下为y轴方向。根据逆透视变换关系,可以将自动驾驶车辆前方0.5m及车辆宽度的视野区域,即图4中浅灰色四边形OPQR,作为默认的初始路面像素采样区域。
另外,在图4中标记出了估计的道路与天空分界的消失线Line_S的位置,在不改变摄像头安装状态,以及有关道路延伸为平面的先验性假设的条件下,消失线Line_S在摄像头拍摄的场景中不会发生上下位移。消失线Line_S在场景图像ABCD中由线段MN表示,消失线Line_S以下的图像部分即为当前道路场景图像;
其中,在对消失线Line_S位置的估计运算中,可选地,包括以下3种位置估计运算方式:
直接在本实施例中设定固定的高度比例值;
和/或基于天空像素色彩和地面像素色彩的先验信息,计算每行图像像素值的统计方差直方图中的局部极小值;
和/或基于天空像素色彩的先验信息,通过统计图像中每行的蓝色色彩分量的直方图分布得到。
通过初始路面像素采样区域可以计算得到初始分割阈值,在初始分割阈值辅助下,根据多类别之间的类间方差方法(OTSU),和/或KMeans聚类方法,和/或FloodFill运算,对当前道路场景图像中所有像素值进行图像分割,得到分割后的道路场景的序列图像。
所述序列图像由多张二值图像组成,二值图像由0或1表示每一个像素点的像素值,每一张二值图像则代表不同分类类别中,属于这一个类别的场景像素点的分布,如果某一像素点隶属于此分类类别,则将在序列中这一分类二值图像中标示像素值为1;
如图5和图6所示,在本实施例中针对图5灰度图进行图像分割处理后,得到阈值分割序列图像,其中:
a)为当前场景中属于路面较暗部分的像素点分类示意图;
b)为当前场景中属于普通路面部分的像素点分类示意图;
c)为当前场景中属于道路标线部分的像素点分类示意图;
d)为当前场景中属于路面部分受到强光照影响部分的像素点分类示意图。
S3、在经过图像分割之后得到的图像序列之中,通过对车辆前向可通行区域的求取,判别不同于道路场景的部分。如图7所示,具体包括如下子步骤:
S31、从序列图像中判别属于道路区域的二值图像,求取进行车辆前向可通行区域,生成可通行区域掩膜图像;
对于当前实施例中摄像头直接采集到的彩色图像,分别用b、g、r分别代表其中任意像素点的蓝、绿、红三通道像素值,经过0.299*b+0.587*g+0.114*r计算可以得到当前像素点的灰度化后像素值,对图像上每一个像素点执行灰度化操作可以得到灰度图,灰度图像通过边缘检测Canny算子得到此时的边缘图像二值图表示,然后按列自图像平面底部向上依次作可通行区域游程,直到遇到边缘图像二值图中的任意一边缘点即停止,此时就得到了可通行区域中的一列,以上就是可通行区域的快速判断方法,生成的可通行区域采用二值图表示,该二值图称为可通行区域的掩膜图像;
S32、可通行区域掩膜图像与图像序列中每一类二值图进行AND操作,得到图像序列中每一类场景下当前分类可通行区域的二值图,确定当前序列图像中属于普通路面部分的像素点分类的二值图;
具体的,判断图像序列中某一分类可通行区域的二值图像是否是普通路面的像素点分类图,可以直接比较本步骤中AND操作后二值图像中存在的白色像素点总数,总数最大的一类,即属于序列图像中普通路面部分的像素点分类图。
另外,经过上述判断后,需要进一步对当前场景下,道路子连通区域进行求取与标定,具体方法如下:
S33、从序列图像中筛选出的隶属于普通路面部分的像素点二值图,对该二值图做连通域分析,得到连通域的集合;
S34、分析连通域集合,计算每一个连通域的面积与细长度,按单个连通域面积大小降序排列中,细长度最大的一个连通域为当前二值图中的道路平面子连通区域。
其中,连通域的面积是指连通域内像素点构成的连通区域的像素区域大小;连通域的细长度则是连通区域最小外包矩形的长宽比,近似值估算为连通区域面积和连通区域厚度平方的比值,而区域厚度可以通过连续的形态学腐蚀运算的最大迭代次数得到;
确定当前针对连通域集合,按单个连通域面积大小降序排列中,细长度最大的一个连通域,为当前二值图中的道路平面子连通区域;
需要说明的是,上一步骤中可能得到的只是道路平面子连通区域,是对于整体的、完整的路面区域的一种合理的近似与逼近。在本实施例中,对上一步骤中求取的道路平面子连通区域,按照图像坐标下的上、下、左、右划分为4条道路平面边缘,分别采用二次多项式y=ax2+bx+c进行曲线拟合,以拟合后的4条曲线所绘制的连通区域作为上一步骤的替代,由记录图像中组成连通区域的像素的位置序列,改为记录a、b、c这3个二次多项式参数,进一步合理的降低了存储空间的损耗。
S4、分别对经过图像阈值分割后的图像序列作AND操作,得到道路平面区域内的二值图,通过分析透视特性、平行关系,进行道路标线的判定与识别。如图8所示,具体包括如下子步骤:
S41、通过线检测算子,快速判断当前二值图中存在的直线或线段,如果当前二值图中的直线或线段符合平行性、等距性,则认为当前分割的二值图属于道路标线这一类别;
可选地,所述线检测算子包括Hough运算,和/或概率Hough运算,和/或LSD算子检测。
在正射模式的视图中,所有属于道路场景这一平面的物体,会呈现出正确的、符合平面投影的视图关系,而其他在原始影像中并非属于道路场景的物体,则会表现出错误的拉伸、缩放、旋转等视图关系;相似的,对于未经过逆透视变换的原始图像,所呈现的则是明确的透视性质,所有在正射试图下平行的元素,比如相邻的两条车道线,符合的透视关系是两者或者两者的延长线会相交于一点,这一点在透视场景下被称为消失点。
因此,可以通过判断分类后的二值图中,更符合车道线在平面上出现的平行性、投影直方图上出现的等距性,则认为当前分割的二值图属于道路标线这一类别,其上的所有图像像素所组成的连通区域,整体表现出符合正射条件下的平行性质,或者在垂直方向的投影直方图中,局部极大值的峰值点之间,基本保持了一个特定的间隔,这个间隔近似的等于当前自动驾驶车辆行驶的道路上的一个单独车道的横向宽度在摄像机成像平面坐标系上折算的像素距离。
路面交通信息的检测,主要是指车道线检测与斑马线检测,停止线检测,以及其他的路面交通标志的检测。车道线是智能车辆在行驶中需要实时循迹地、追踪地一种路面交通信息;另外,斑马线与车道线类似,都是对与智能车辆行驶方向同向的直线或线段进行检测,筛选符合正射视图下平行性质的直线对。
其中,在上一步骤中所得到的线段,其主要来源和构成是路面的道路标线和路面自身之间的像素值阶跃,从梯度上看即从“亮”的道路标线(一般粉刷在路面平面上的道路标线为白色或黄色)到“暗”的路面(城市道路一般由两种路面组成,经过刷黑后的沥青路面,和色彩较灰暗的水泥路面)之间的梯度跳变,这些梯度极值点的组合就是线段的来源。
一般的,一条车道线从水平方向分析,会被检测到两条垂直方向的线段,分别是车道线左、右两侧的边缘。若存在一个行车道,则理论上应该存在两条车道线,和四条垂直方向的线段。两条线段之间可能间隔了一个车道线宽度的距离,或者是一个行车道宽度的距离。
S42、在判断出车道线后,将两侧车道线之间的一个行车道宽度的道路区域作为检测停止线、路面交通标志的兴趣区域,根据兴趣区域的位置与方向,构建一处兴趣区域的水平投影直方图。
如图9所示,图9是本发明实施例中由检测到的两侧行道线确定的停止线检测、路面标志检测的兴趣区域示意图。其中,Lane_Left为所确定的左侧车道线的简单示意,Lane_Right为右侧车道线的简单示意,ROI为待检测的兴趣区域,此时的坐标系和摄像头拍摄的道路场景,与图4相同。
由图9可知,ROI并不是水平方向上,直接选择从左侧车道线Lane_Left的右侧边缘,至右侧车道线Lane_Right的左侧边缘,而是仅选择从左侧车道线Lane_Left的右侧边缘到右侧车道线Lane_Right的左侧边缘中的60%宽度区域。一方面,更小的待检测的兴趣区域代表着更少的需要被运算的数据,对于改善现有运算的实时性有着极大帮助;另一方面,路面交通标志往往不会占据整个车道宽度,而占据了整个车道宽度的一般是减速带、停止线、道路阴影、路面破损等。
此时需要根据ROI的位置与方向,构建一处ROI的水平投影直方图,具体步骤如下:
对于子区域ROI,从原始场景灰度图中截取相应部分的子区域灰度图,从新采用OTSU方法进行图像二值化。此时,对于原始大场景下的一小块局部区域做二次二值化,原因是:OTSU方法为全局二值化方法,参与二值化阈值运算的像素点不同,最终得到的图像分割阈值也不尽相同,因此对于小的局部区域二次操作,能够得到局部区域更精细化的二值化结果。
计算Lane_Left、Lane_Right角度,并执行相应的旋转,使得当前场景中的车道相对于图6中的坐标轴x,为相应的最为垂直的关系。
采用的方法是首先通过线检测算法(Hough运算,和\或概率Hough运算,和\或LSD算子检测),得到相应的直线以及其对应的角度,计算此时所有直线对应的角度均值,为粗旋转角度,将此时二值图像旋转到粗旋转角度;进一步,将做精细的旋转角度检测,将二值图像按x正方向为旋转轴,依次从﹣10°旋转到﹢10°,对于每一个旋转后的二值图,按照垂直于x轴方向做垂直投影直方图,计算当前直方图的方差,在所得到的方差序列中找到最大的方差,此时对应的角度即精细旋转操作时依赖的旋转角。
对此时的二值图中,ROI区域做一次快速像素点统计,一但白色(前景)像素点总数≥ROI区域大小的30%,或者,进行水平投影直方图,其中某一行的白色像素点总数≥ROI区域行长度的90%,则进入下一步骤,否则返回,继续下一帧的处理。
不满足此步骤中的两则判断,则说明当前ROI区域内可能根本不存在任何道路交通标志或者停止线,直接退出当前流程,节约运算开销。
S43、如果水平投影直方图中某一行的白色像素点总数≥兴趣区域的宽度90%,则提取子区域图像,根据所述子区域的高宽比初步筛选出停止线;
此时,求取当前所有满足行的白色像素点总数≥ROI区域的宽度90%的行标记出来得到候选的行序列,将ROI区域向左、右扩展,再次将候选的行序列进行水平的直方图投影,判断是否依旧满足ROI区域宽度阈值,一但满足则可能是存在停止线,计算此时仍满足ROI区域宽度阈值的行序列所构成的连通区域的高宽比,如果满足标准情况下停止线和车道宽度的比例阈值范围,则在当前ROI区域内,检测到了车辆停止线。
进一步,可以结合当前地图与GPS定位信号来判断,自动驾驶车辆是否行驶在有停止线的道路路口,以便做出置信度最高的停止线检测的结论输出。
S44、如果兴趣区域内白色像素点总数≥兴趣区域大小的30%,则在兴趣区域内存在路面交通标识,可以直接提取;
S45、将兴趣区域内的图像输出至图像检测判别机或图像识别引擎中,即可得到当前兴趣区域处的路面交通标志的语义输出。
至此,本发明的实施例即完成一种对道路标线的提取流程。
本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法,其通过逆透视变换得到当前车辆前方道路标线的正射视图,并根据常规车辆行驶方式形成的部分先验知识,约束当前求解道路分割初始化阈值,采用初始化阈值对正射影像视图进行分割,判断边缘像素点是否呈现的平行性、投影直方图呈现的等距性,最终提取得到车道线、路面交通标志、车辆停止线、斑马线等道路标线。
本发明所述道路标线提取方法的执行速率高,能够满足城市环境下路面交通标志的快速检测与提取,通过对投影直方图进行操作,能够降低残缺图像细节对于检测、提取的影响,提高提取方法的鲁棒性。同时增加了少量先验知识的约束,采用近似、分治、降维的技术手段,进一步降低复杂问题的求解难度,合理的降低了提取精度范围,限制部分道路场景子区域的处理,进一步增加了本发明方法的实用性。
以上装置实施例与方法实施例是一一对应的,装置实施例简略之处,参见方法实施例即可。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应超过本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可檫除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (9)

1.一种自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,所述自动驾驶中基于前向摄像头的道路标线提取方法包括以下步骤:
S1、采集当前前方道路场景视频流,获取当前帧的图像数据,对采集到的每一帧图像数据进行逆透视变换矩阵操作,并结合预先标定参数,得到车辆前方的正射影像视图;
S2、根据常规车辆行驶方式形成的部分先验知识,约束当前求解道路分割初始化阈值,通过初始分割阈值进行图像分割,得到道路场景的序列图像;
S3、在经过图像分割之后得到的图像序列之中,通过对车辆前向可通行区域的求取,判别不同于道路场景的部分;
S4、分别对经过图像阈值分割后的图像序列作AND操作,得到道路平面区域内的二值图,通过分析透视特性、平行关系,进行道路标线的判定与识别。
2.根据权利要求1所述自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,所述步骤S1中,预先标定参数包括:摄像头的相机内参数,摄像头安装时距离地面的高度,以及摄像头的相机视场角度。
3.根据权利要求1所述自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,所述步骤S2包括以下分步骤:
S21、基于粗划分区域的方法标示得到初始路面像素采样区域;
S22、在每一帧正射碎片图像中,对初始路面像素采样区域进行局部的采样与计算,得到初始的影像分割阈值;
S23、估计道路与天空分界的消失线的位置;
S24、在初始分割阈值辅助下,进行图像分割,得到分割后的道路场景的序列图像。
4.根据权利要求3所述自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,所述图像分割是通过多类别之间的类间方差方法,和/或KMeans聚类方法,和/或FloodFill运算,对当前道路场景图像中所有像素值进行分类。
5.根据权利要求3所述自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,对消失线位置的估计运算中,包括以下3种位置估计运算方式:
直接设定固定的高度比例值;
和/或基于天空像素色彩和地面像素色彩的先验信息,计算每行图像像素值的统计方差直方图中的局部极小值;
和/或基于天空像素色彩的先验信息,通过统计图像中每行的蓝色色彩分量的直方图分布得到。
6.根据权利要求1所述自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,所述步骤S3包括以下分步骤:
S31、从序列图像中判别属于道路区域的二值图像,求取进行车辆前向可通行区域,生成可通行区域掩膜图像;
S32、可通行区域掩膜图像与图像序列中每一类二值图进行AND操作,得到图像序列中每一类场景下当前分类可通行区域的二值图,确定当前序列图像中属于普通路面部分的像素点分类的二值图;
S33、从序列图像中筛选出的隶属于普通路面部分的像素点二值图,对该二值图做连通域分析,得到连通域的集合;
S34、分析连通域集合,计算每一个连通域的面积与细长度,按单个连通域面积大小降序排列中,细长度最大的一个连通域为当前二值图中的道路平面子连通区域。
7.根据权利要求6所述自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,所述步骤S32中,采用直接比较AND操作后二值图像中存在的白色像素点总数的方法确定当前序列图像中属于普通路面部分的像素点分类的二值图,其中总数最大的一类,即属于普通路面部分的像素点分类图。
8.根据权利要求1所述自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,所述步骤S4包括以下分步骤:
S41、通过线检测算子,快速判断当前二值图中存在的直线或线段,如果当前二值图中的直线或线段符合平行性、等距性,则认为当前分割的二值图属于道路标线这一类别;
S42、在判断出车道线后,将两侧车道线之间的一个行车道宽度的道路区域作为检测停止线、路面交通标志的兴趣区域,根据兴趣区域的位置与方向,构建一处兴趣区域的水平投影直方图;
S43、如果水平投影直方图中某一行的白色像素点总数≥兴趣区域的宽度90%,则提取子区域图像,根据所述子区域的高宽比初步筛选出停止线;
S44、如果兴趣区域内白色像素点总数≥兴趣区域大小的30%,则在兴趣区域内存在路面交通标识,可以直接提取;
S45、将兴趣区域内的图像输出至图像检测判别机或图像识别引擎中,即可得到当前兴趣区域处的路面交通标志的语义输出。
9.根据权利要求8所述自动驾驶中基于前向摄像头的道路标线提取方法,其特征在于,所述线检测算子包括Hough运算,和/或概率Hough运算,和/或LSD算子检测。
CN201610029894.6A 2016-01-15 2016-01-15 自动驾驶中基于前向摄像头的道路标线提取方法 Active CN105718870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610029894.6A CN105718870B (zh) 2016-01-15 2016-01-15 自动驾驶中基于前向摄像头的道路标线提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610029894.6A CN105718870B (zh) 2016-01-15 2016-01-15 自动驾驶中基于前向摄像头的道路标线提取方法

Publications (2)

Publication Number Publication Date
CN105718870A true CN105718870A (zh) 2016-06-29
CN105718870B CN105718870B (zh) 2019-06-14

Family

ID=56147876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610029894.6A Active CN105718870B (zh) 2016-01-15 2016-01-15 自动驾驶中基于前向摄像头的道路标线提取方法

Country Status (1)

Country Link
CN (1) CN105718870B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群系统及神经网络视觉导航方法
CN106960192A (zh) * 2017-03-23 2017-07-18 深圳智达机械技术有限公司 自动驾驶中基于前向摄像头的道路标线提取系统
CN107153823A (zh) * 2017-05-22 2017-09-12 北京北昂科技有限公司 一种基于视觉关联双空间的车道线特征提取方法
CN107665327A (zh) * 2016-07-29 2018-02-06 高德软件有限公司 一种车道线检测方法及装置
CN107895375A (zh) * 2017-11-23 2018-04-10 中国电子科技集团公司第二十八研究所 基于视觉多特征的复杂道路线提取方法
CN107918775A (zh) * 2017-12-28 2018-04-17 聊城大学 一种辅助车辆安全驾驶的斑马线检测方法及系统
CN108133484A (zh) * 2017-12-22 2018-06-08 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN108229244A (zh) * 2016-12-14 2018-06-29 贵港市瑞成科技有限公司 一种智能车前方运动车辆的检测方法
CN108460815A (zh) * 2017-02-22 2018-08-28 腾讯科技(深圳)有限公司 地图道路要素编辑方法和装置
CN108492596A (zh) * 2018-03-16 2018-09-04 武汉理工大学 一种基于视知觉的地下互通立交防追尾方法
CN108629227A (zh) * 2017-03-15 2018-10-09 纵目科技(上海)股份有限公司 在图像中确定车辆左右边界的方法及系统
CN108860016A (zh) * 2018-07-04 2018-11-23 广东猪兼强互联网科技有限公司 一种机器人智能教练辅助驾驶系统
CN108921079A (zh) * 2018-06-27 2018-11-30 盯盯拍(深圳)技术股份有限公司 拍摄角度调整方法、拍摄角度调整设备以及车载摄像装置
CN109116846A (zh) * 2018-08-29 2019-01-01 五邑大学 一种自动驾驶方法、装置、计算机设备和存储介质
CN109325389A (zh) * 2017-07-31 2019-02-12 比亚迪股份有限公司 车道线识别方法、装置及车辆
CN109409247A (zh) * 2018-09-30 2019-03-01 百度在线网络技术(北京)有限公司 交通标志识别方法和装置
CN109427062A (zh) * 2017-08-30 2019-03-05 深圳星行科技有限公司 道路特征标记方法、装置、计算机设备以及可读存储介质
CN109840471A (zh) * 2018-12-14 2019-06-04 天津大学 一种基于改进Unet网络模型的可行道路分割方法
CN109886081A (zh) * 2018-12-31 2019-06-14 武汉中海庭数据技术有限公司 一种车道线形点串提取方法和装置
CN110210451A (zh) * 2019-06-13 2019-09-06 重庆邮电大学 一种斑马线检测方法
CN110307791A (zh) * 2019-06-13 2019-10-08 东南大学 基于三维车辆边界框的车辆长度及速度计算方法
CN110675635A (zh) * 2019-10-09 2020-01-10 北京百度网讯科技有限公司 相机外参的获取方法、装置、电子设备及存储介质
CN110770741A (zh) * 2018-10-31 2020-02-07 深圳市大疆创新科技有限公司 车道线识别方法和装置、车辆
WO2020048487A1 (zh) * 2018-09-05 2020-03-12 北京嘀嘀无限科技发展有限公司 一种图像数据处理方法及系统
CN110889342A (zh) * 2019-11-13 2020-03-17 江苏理工学院 一种减速带的识别方法
CN111428537A (zh) * 2019-01-09 2020-07-17 阿里巴巴集团控股有限公司 一种道路导流带边缘提取方法、装置和设备
CN111460866A (zh) * 2019-01-22 2020-07-28 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111507287A (zh) * 2020-04-22 2020-08-07 山东省国土测绘院 一种航空影像中道路斑马线角点提取方法及系统
CN111695373A (zh) * 2019-03-12 2020-09-22 中国科学院上海高等研究院 斑马线的定位方法、系统、介质及设备
CN111898540A (zh) * 2020-07-30 2020-11-06 平安科技(深圳)有限公司 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN112396051A (zh) * 2019-08-15 2021-02-23 纳恩博(北京)科技有限公司 可通行区域的确定方法及装置、存储介质、电子装置
CN112508112A (zh) * 2020-12-12 2021-03-16 武汉中海庭数据技术有限公司 基于停止线相对位置的斑马线融合方法及系统
WO2021056309A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for detecting road markings from a laser intensity image
CN112785595A (zh) * 2019-11-07 2021-05-11 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN112989991A (zh) * 2021-03-09 2021-06-18 贵州京邦达供应链科技有限公司 车道线检测方法及装置、电子设备和计算机可读存储介质
CN113002548A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 高度的确定方法和装置
CN113408457A (zh) * 2021-06-29 2021-09-17 西南交通大学 一种联合高分影像和视频图像的道路信息智能提取方法
CN113487688A (zh) * 2021-05-18 2021-10-08 浙江大华技术股份有限公司 一种道路标志检测方法、装置以及计算机可读存储介质
CN113689713A (zh) * 2020-05-19 2021-11-23 昆山研达电脑科技有限公司 基于行车记录仪的车速监测方法
CN114550118A (zh) * 2022-02-23 2022-05-27 烟台大学 一种基于视频图像驱动的高速公路全自动智能划线方法
CN114998770A (zh) * 2022-07-06 2022-09-02 中国科学院地理科学与资源研究所 一种公路标识提取方法及系统
CN115797631A (zh) * 2022-12-01 2023-03-14 复亚智能科技(太仓)有限公司 一种不同行驶方向的道路范围1+1分割方法
CN116071725A (zh) * 2023-03-06 2023-05-05 四川蜀道新能源科技发展有限公司 一种路面标线识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0810569A1 (en) * 1996-05-28 1997-12-03 Matsushita Electric Industrial Co., Ltd. Lane detection sensor and navigation system employing the same
JP2004246798A (ja) * 2003-02-17 2004-09-02 Nissan Motor Co Ltd 車線検出装置
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN102208019A (zh) * 2011-06-03 2011-10-05 东南大学 基于车载摄像机的车辆变道检测方法
CN103177246A (zh) * 2013-03-26 2013-06-26 北京理工大学 基于动态区域划分的双模型车道线识别方法
CN103991449A (zh) * 2014-06-12 2014-08-20 北京联合大学 一种车辆行进控制方法及系统
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0810569A1 (en) * 1996-05-28 1997-12-03 Matsushita Electric Industrial Co., Ltd. Lane detection sensor and navigation system employing the same
JP2004246798A (ja) * 2003-02-17 2004-09-02 Nissan Motor Co Ltd 車線検出装置
CN101608924A (zh) * 2009-05-20 2009-12-23 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
CN102208019A (zh) * 2011-06-03 2011-10-05 东南大学 基于车载摄像机的车辆变道检测方法
CN103177246A (zh) * 2013-03-26 2013-06-26 北京理工大学 基于动态区域划分的双模型车道线识别方法
CN103991449A (zh) * 2014-06-12 2014-08-20 北京联合大学 一种车辆行进控制方法及系统
CN104899554A (zh) * 2015-05-07 2015-09-09 东北大学 一种基于单目视觉的车辆测距方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MOHAMED ALY: "Real time detection of lane markers in urban streets", 《 2008 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665327A (zh) * 2016-07-29 2018-02-06 高德软件有限公司 一种车道线检测方法及装置
CN107665327B (zh) * 2016-07-29 2020-03-13 高德软件有限公司 一种车道线检测方法及装置
CN108229244A (zh) * 2016-12-14 2018-06-29 贵港市瑞成科技有限公司 一种智能车前方运动车辆的检测方法
CN108460815B (zh) * 2017-02-22 2022-06-17 腾讯科技(深圳)有限公司 地图道路要素编辑方法和装置
CN108460815A (zh) * 2017-02-22 2018-08-28 腾讯科技(深圳)有限公司 地图道路要素编辑方法和装置
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群系统及神经网络视觉导航方法
CN106940562B (zh) * 2017-03-09 2023-04-28 华南理工大学 一种移动机器人无线集群系统及神经网络视觉导航方法
CN108629227B (zh) * 2017-03-15 2021-04-06 纵目科技(上海)股份有限公司 在图像中确定车辆左右边界的方法及系统
CN108629227A (zh) * 2017-03-15 2018-10-09 纵目科技(上海)股份有限公司 在图像中确定车辆左右边界的方法及系统
CN106960192A (zh) * 2017-03-23 2017-07-18 深圳智达机械技术有限公司 自动驾驶中基于前向摄像头的道路标线提取系统
CN107153823A (zh) * 2017-05-22 2017-09-12 北京北昂科技有限公司 一种基于视觉关联双空间的车道线特征提取方法
CN109325389A (zh) * 2017-07-31 2019-02-12 比亚迪股份有限公司 车道线识别方法、装置及车辆
CN109427062A (zh) * 2017-08-30 2019-03-05 深圳星行科技有限公司 道路特征标记方法、装置、计算机设备以及可读存储介质
CN107895375B (zh) * 2017-11-23 2020-03-31 南京莱斯电子设备有限公司 基于视觉多特征的复杂道路线提取方法
CN107895375A (zh) * 2017-11-23 2018-04-10 中国电子科技集团公司第二十八研究所 基于视觉多特征的复杂道路线提取方法
CN108133484A (zh) * 2017-12-22 2018-06-08 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN108133484B (zh) * 2017-12-22 2022-01-28 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法及装置、计算设备
CN107918775B (zh) * 2017-12-28 2020-04-17 聊城大学 一种辅助车辆安全驾驶的斑马线检测方法及系统
CN107918775A (zh) * 2017-12-28 2018-04-17 聊城大学 一种辅助车辆安全驾驶的斑马线检测方法及系统
CN108492596A (zh) * 2018-03-16 2018-09-04 武汉理工大学 一种基于视知觉的地下互通立交防追尾方法
CN108492596B (zh) * 2018-03-16 2020-12-01 武汉理工大学 一种基于视知觉的地下互通立交防追尾方法
CN108921079A (zh) * 2018-06-27 2018-11-30 盯盯拍(深圳)技术股份有限公司 拍摄角度调整方法、拍摄角度调整设备以及车载摄像装置
CN108860016A (zh) * 2018-07-04 2018-11-23 广东猪兼强互联网科技有限公司 一种机器人智能教练辅助驾驶系统
CN109116846A (zh) * 2018-08-29 2019-01-01 五邑大学 一种自动驾驶方法、装置、计算机设备和存储介质
WO2020048487A1 (zh) * 2018-09-05 2020-03-12 北京嘀嘀无限科技发展有限公司 一种图像数据处理方法及系统
CN109409247B (zh) * 2018-09-30 2022-05-13 阿波罗智联(北京)科技有限公司 交通标志识别方法和装置
CN109409247A (zh) * 2018-09-30 2019-03-01 百度在线网络技术(北京)有限公司 交通标志识别方法和装置
CN110770741A (zh) * 2018-10-31 2020-02-07 深圳市大疆创新科技有限公司 车道线识别方法和装置、车辆
CN109840471A (zh) * 2018-12-14 2019-06-04 天津大学 一种基于改进Unet网络模型的可行道路分割方法
CN109840471B (zh) * 2018-12-14 2023-04-14 天津大学 一种基于改进Unet网络模型的可行道路分割方法
CN109886081A (zh) * 2018-12-31 2019-06-14 武汉中海庭数据技术有限公司 一种车道线形点串提取方法和装置
CN111428537A (zh) * 2019-01-09 2020-07-17 阿里巴巴集团控股有限公司 一种道路导流带边缘提取方法、装置和设备
CN111428537B (zh) * 2019-01-09 2023-05-23 阿里巴巴集团控股有限公司 一种道路导流带边缘提取方法、装置和设备
CN111460866B (zh) * 2019-01-22 2023-12-22 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111460866A (zh) * 2019-01-22 2020-07-28 北京市商汤科技开发有限公司 车道线检测及驾驶控制方法、装置和电子设备
CN111695373B (zh) * 2019-03-12 2024-02-02 中国科学院上海高等研究院 斑马线的定位方法、系统、介质及设备
CN111695373A (zh) * 2019-03-12 2020-09-22 中国科学院上海高等研究院 斑马线的定位方法、系统、介质及设备
CN110307791A (zh) * 2019-06-13 2019-10-08 东南大学 基于三维车辆边界框的车辆长度及速度计算方法
CN110210451B (zh) * 2019-06-13 2022-07-08 重庆邮电大学 一种斑马线检测方法
CN110210451A (zh) * 2019-06-13 2019-09-06 重庆邮电大学 一种斑马线检测方法
CN110307791B (zh) * 2019-06-13 2020-12-29 东南大学 基于三维车辆边界框的车辆长度及速度计算方法
CN112396051A (zh) * 2019-08-15 2021-02-23 纳恩博(北京)科技有限公司 可通行区域的确定方法及装置、存储介质、电子装置
WO2021056309A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for detecting road markings from a laser intensity image
CN110675635A (zh) * 2019-10-09 2020-01-10 北京百度网讯科技有限公司 相机外参的获取方法、装置、电子设备及存储介质
CN110675635B (zh) * 2019-10-09 2021-08-03 北京百度网讯科技有限公司 相机外参的获取方法、装置、电子设备及存储介质
WO2021088505A1 (zh) * 2019-11-07 2021-05-14 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN112785595A (zh) * 2019-11-07 2021-05-11 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
CN110889342A (zh) * 2019-11-13 2020-03-17 江苏理工学院 一种减速带的识别方法
CN113002548A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 高度的确定方法和装置
CN113002548B (zh) * 2019-12-19 2022-10-28 华为技术有限公司 高度的确定方法和装置
CN111507287B (zh) * 2020-04-22 2023-10-24 山东省国土测绘院 一种航空影像中道路斑马线角点提取方法及系统
CN111507287A (zh) * 2020-04-22 2020-08-07 山东省国土测绘院 一种航空影像中道路斑马线角点提取方法及系统
CN113689713A (zh) * 2020-05-19 2021-11-23 昆山研达电脑科技有限公司 基于行车记录仪的车速监测方法
CN111898540A (zh) * 2020-07-30 2020-11-06 平安科技(深圳)有限公司 车道线检测方法、装置、计算机设备及计算机可读存储介质
CN112508112A (zh) * 2020-12-12 2021-03-16 武汉中海庭数据技术有限公司 基于停止线相对位置的斑马线融合方法及系统
CN112989991A (zh) * 2021-03-09 2021-06-18 贵州京邦达供应链科技有限公司 车道线检测方法及装置、电子设备和计算机可读存储介质
CN113487688A (zh) * 2021-05-18 2021-10-08 浙江大华技术股份有限公司 一种道路标志检测方法、装置以及计算机可读存储介质
CN113408457A (zh) * 2021-06-29 2021-09-17 西南交通大学 一种联合高分影像和视频图像的道路信息智能提取方法
CN114550118A (zh) * 2022-02-23 2022-05-27 烟台大学 一种基于视频图像驱动的高速公路全自动智能划线方法
CN114550118B (zh) * 2022-02-23 2023-07-11 烟台大学 一种基于视频图像驱动的高速公路全自动智能划线方法
CN114998770A (zh) * 2022-07-06 2022-09-02 中国科学院地理科学与资源研究所 一种公路标识提取方法及系统
CN115797631A (zh) * 2022-12-01 2023-03-14 复亚智能科技(太仓)有限公司 一种不同行驶方向的道路范围1+1分割方法
CN115797631B (zh) * 2022-12-01 2023-12-01 复亚智能科技(太仓)有限公司 一种不同行驶方向的道路范围1+1分割方法
CN116071725A (zh) * 2023-03-06 2023-05-05 四川蜀道新能源科技发展有限公司 一种路面标线识别方法及系统
CN116071725B (zh) * 2023-03-06 2023-08-08 四川蜀道新能源科技发展有限公司 一种路面标线识别方法及系统

Also Published As

Publication number Publication date
CN105718870B (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN105718870A (zh) 自动驾驶中基于前向摄像头的道路标线提取方法
CN110178167B (zh) 基于摄像机协同接力的路口违章视频识别方法
CN105373794B (zh) 一种车牌识别方法
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
CN101334836B (zh) 一种融合色彩、尺寸和纹理特征的车牌定位方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN105488454B (zh) 基于单目视觉的前方车辆检测与测距
CN102708356B (zh) 一种基于复杂背景下的车牌自动定位和识别方法
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN110210451B (zh) 一种斑马线检测方法
Huang et al. On-board vision system for lane recognition and front-vehicle detection to enhance driver's awareness
CN104036262B (zh) 一种lpr车牌筛选识别的方法和系统
CN104050450A (zh) 一种基于视频的车牌识别方法
CN104899554A (zh) 一种基于单目视觉的车辆测距方法
CN105893949A (zh) 一种复杂路况场景下的车道线检测方法
CN104134222A (zh) 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN105741324A (zh) 移动平台上的运动目标检测识别与跟踪方法
CN107220976B (zh) 一种航拍公路图像的公路定位方法
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
CN102842037A (zh) 一种基于多特征融合的车辆阴影消除方法
CN107180230B (zh) 通用车牌识别方法
CN112001216A (zh) 一种基于计算机的汽车行驶车道检测系统
CN103544489A (zh) 一种车标定位装置及方法
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN103279755A (zh) 基于汽车底部阴影特征的快速车牌定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant