CN108256510B - 一种道路边缘线检测方法、装置及终端 - Google Patents

一种道路边缘线检测方法、装置及终端 Download PDF

Info

Publication number
CN108256510B
CN108256510B CN201810201071.6A CN201810201071A CN108256510B CN 108256510 B CN108256510 B CN 108256510B CN 201810201071 A CN201810201071 A CN 201810201071A CN 108256510 B CN108256510 B CN 108256510B
Authority
CN
China
Prior art keywords
road
line
disparity map
detected
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810201071.6A
Other languages
English (en)
Other versions
CN108256510A (zh
Inventor
冯谨强
赵英芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Co Ltd
Original Assignee
Hisense Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Co Ltd filed Critical Hisense Co Ltd
Priority to CN201810201071.6A priority Critical patent/CN108256510B/zh
Publication of CN108256510A publication Critical patent/CN108256510A/zh
Application granted granted Critical
Publication of CN108256510B publication Critical patent/CN108256510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种道路边缘线检测方法、装置及终端,涉及辅助驾驶技术领域,该方法包括:获取包含道路区域的视差图和对应的V视差图,从所述V视差图中检测道路线;确定所述V视差图的每一列中位于所述道路线以上的预设数量个像素点;从所述视差图中提取与所述预设数量个像素点对应的视差点,生成待检测视差图;基于所述待检测视差图检测直线,并从所述直线中确定道路边缘线。通过本发明可提升道路边缘线检测的准确度。

Description

一种道路边缘线检测方法、装置及终端
技术领域
本发明涉及辅助驾驶技术领域,尤其涉及一种道路边缘线检测方法、装置及终端。
背景技术
道路边缘线检测是汽车辅助驾驶技术的一个重要环节,通过道路边缘线检测可有效确定道路行驶区域,进而在道路行驶区域进行障碍物检测及预警,降低交通事故的发生概率。
现有道路边缘检测方法主要是基于路面区域进行直线检测,再基于道路边缘特点从检测出的直线中筛选道路边缘。由于路面区域通常包含较多车道线,导致检测出的直线过多,增加道路边缘筛选的难度以及运算量,影响道路边缘线检测的准确度。
发明内容
本发明为了解决现有道路边缘线检测准确度不高的问题,提供一种道路边缘线检测方法、装置及终端,用以提升道路边缘线检测的准确度。
为实现上述发明目的,本发明提供了如下技术方案:
第一方面,本发明提供一种道路边缘线检测方法,所述方法包括:
获取包含道路区域的视差图和对应的V视差图,从所述V视差图中检测道路线;
确定所述V视差图的每一列中位于所述道路线以上的预设数量个像素点;
从所述视差图中提取与所述预设数量个像素点对应的视差点,生成待检测视差图;
基于所述待检测视差图检测直线,并从所述直线中确定道路边缘线。
可选的,
所述预设数量与所述V视差图中当前列的视差值呈正相关关系。
可选的,所述从所述直线中确定道路边缘线,包括:
基于所述V视差图中的道路线,确定道路消失点所在行;
基于所述道路消失点所在行,确定所述待检测视差图中道路边缘线的交点的行范围;
确定所述待检测视差图中直线的交点所在行;
若所述交点所在行落入所述行范围,确定该交点对应直线为道路边缘线。
可选的,所述确定该交点对应直线为道路边缘线,包括:
若存在多个交点所在行落入所述行范围,获取交点对应直线与所述待检测图像最后一行构成的三角形的面积;
选择面积最大的三角形对应的两条直线作为道路边缘线。
可选的,若不存在交点所在行落入所述行范围,将距离所述道路消失点所在行最近的交点对应的直线作为道路边缘线。
第二方面,本发明还提供一种道路边缘线检测方法,所述方法包括:
获取包含道路区域的视差图的V视差图和U视差图,从所述V视差图中检测道路线;
确定所述V视差图的每一列中位于所述道路线以上的预设数量个第一像素点;
从所述U视差图中提取与所述预设数量个第一像素点对应的第二像素点,生成待检测U视差图;
基于所述待检测U视差图检测直线,并从所述直线中确定道路边缘线。
可选的,所述从所述直线中确定道路边缘线,包括:
基于道路消失点所在行,确定所述待检测U视差图中道路边缘线的交点的行范围;
确定所述待检测U视差图中直线的交点所在行;
若所述交点所在行落入所述行范围,确定该交点对应直线为道路边缘线。
第三方面,本发明提供一种道路边缘线检测装置,所述装置包括:
检测单元,用于获取包含道路区域的视差图和对应的V视差图,从所述V视差图中检测道路线;
确定单元,用于确定所述V视差图的每一列中位于所述道路线以上的预设数量个像素点;
提取单元,用于从所述视差图中提取与所述预设数量个像素点对应的视差点,生成待检测视差图;
筛选单元,用于基于所述待检测视差图检测直线,并从所述直线中确定道路边缘线。
第四方面,本发明提供一种道路边缘线检测终端,包括摄像头组件、处理器以及机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现上述道路边缘线检测方法。
第五方面,本发明提供一种机器可读存储介质,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现上述道路边缘线检测方法。
由以上描述可以看出,本发明提供了一种道路边缘线检测方法,该方法从V视差图中检测道路线,再从原始视差图中提取与V视差图中道路线以上一定范围(包括绿化带、马路牙子等高出路面的部分)内的像素点对应的视差点,生成待检测视差图,由于该待检测视差图包含了位于道路边缘的绿化带、马路牙子等高出路面的物体的视差点,因此,可保证从待检测视差图中检测出道路边缘,同时,也正由于选取了道路线以上视差点生成待检测视差图,因此,可有效过滤掉大量位于路面上的车道线的视差点,基于该包含较少车道线视差点的待检测视差图检测直线,可降低车道线对道路边缘线检测的影响,提升道路边缘线检测准确度。
同理,本发明还提供了一种道路边缘线检测方法,该方法在确定出位于V视差图中道路线以上一定范围内的像素点后,从U视差图中提取对应像素点,生成待检测U视差图,该待检测U视差图同样保留了道路边缘信息,同时剔除了大量位于路面的车道线上的像素点,因此,可有效降低车道线对道路边缘线检测准确度的影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例示出的一种道路边缘线检测方法流程图;
图2是本发明实施例示出的一种道路场景下的基于边的视差图;
图3是在图2所示基于边的视差图的基础上转换得到的V视差图;
图4是从图3所示V视差图中检测出的道路线的示意图;
图5是本发明实施例示出的V视差图的某一列中位于道路线以上的N个像素点的示意图;
图6是在图5所示V视差图中确定出的所有位于道路线以上的像素点所覆盖区域的示意图;
图7是在图4所示V视差图中确定出的所有位于道路线以上的像素点所覆盖区域的示意图;
图8是基于图7所示位于两条白色斜实线之间的像素点从图2所示视差图中提取对应视差点生成的待检测视差图;
图9是本发明实施例示出的V视差图中道路消失点所在行的示意图;
图10是基于图8所示待检测视差图检测出的满足预设约束条件的直线的示意图;
图11是本发明实施例示出的一种直线交点在待检测视差图中的位置示意图;
图12是本发明实施例示出的另一种直线交点在待检测视差图中的位置示意图;
图13是本发明实施例示出的另一种直线交点在待检测视差图中的位置示意图;
图14是基于图10所示直线检测出的位于待检测视差图中的道路边缘线的示意图;
图15是本发明实施例示出的位于视差图中的道路边缘线的示意图;
图16是本发明实施例示出的另一种道路边缘线检测方法流程图;
图17是在图2所示基于边的视差图的基础上转换得到的U视差图;
图18是基于图7所示位于两条白色斜实线之间的像素点从图17所示U视差图中提取的对应像素点生成的待检测U视差图;
图19是基于图18所示待检测U视差图检测出的满足预设约束条件的直线的示意图;
图20是基于图19所示直线检测出的位于待检测U视差图中的道路边缘线的示意图;
图21是本发明实施例示出的道路边缘线检测终端的结构示意图;
图22是本发明实施例示出的一种道路边缘线检测逻辑的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明提供一种道路边缘线检测方法,参见图1,为本发明道路边缘线检测方法的一个实施例流程图,该实施例对道路边缘线检测的过程进行描述。
步骤101,获取包含道路区域的视差图和对应的V视差图,从所述V视差图中检测道路线。
视差图可由双目相机拍摄的同一场景的左图像和右图像计算得到,包含基准图(左图像和右图像中一个为基准图,另一个为匹配图)中每一个像素点的视差值。视差图中某一点(u,v)的值,代表对应基准图中横坐标为u、纵坐标为v的像素点的视差值(用d表示)。本发明中,将视差图中的点称为视差点。
V视差图可由视差图转换得到。V视差图的纵坐标与视差图的纵坐标相同,代表图像的行数,V视差图的横坐标代表视差值,V视差图中某一点(d,v)的值,代表对应视差图中纵坐标为v的行中视差值为d的点的个数。本发明中,将V视差图中的点称为像素点。
本发明可通过车载双目相机拍摄同一道路场景的左、右图像,并基于左、右图像计算得到该道路场景的视差图,参见图2,为本发明实施例示出的一种道路场景下的基于边的视差图。将该基于边的视差图转换成对应的V视差图,如图3所示,为在图2所示基于边的视差图的基础上转换得到的V视差图。
从V视差图中检测道路线。可选的,对V视差图进行二值化处理,根据预设的约束条件(例如,直线角度约束)对二值化后的V视差图进行霍夫直线检测,从检测出的直线中选择投票数最多的直线作为道路线。参见图4,为从图3所示V视差图中检测出的道路线(白色斜实线400)的示意图。
步骤102,确定所述V视差图的每一列中位于所述道路线以上的预设数量个像素点。
该预设数量与V视差图中当前列的视差值呈正相关关系,即当前列的视差值越小,则从该列上确定出的位于道路线以上的像素点越少,可通过如下公式表示:
Figure BDA0001594510190000071
其中,d为V视差图的横坐标,代表当前列的视差值;B为双目相机的基线长度;h为道路两侧高出路面的高度(例如,取道路两侧马路牙子的高度);N为确定出的高度h在当前列(视差值d)中位于道路线以上的像素点的个数。
例如,利用公式(1)确定V视差图的每一列中高出路面0.2m(h=0.2m)内的像素点的个数。
参见图5,为本发明实施例示出的V视差图的某一列中位于道路线以上的N个像素点的示意图。图5所示道路线可通过如下直线方程表示:
v=k×d+b 公式(2)
其中,k为道路线的斜率;b为道路线的截距;d为V视差图的横坐标,代表视差值;v为V视差图的纵坐标,代表行数。
根据公式(2)计算每一个视差值d在道路线上对应像素点的纵坐标v,如图5所示,视差值d1在道路线上对应像素点A的纵坐标为v1,从v1沿列d1向上(纵坐标减小的方向)查找N个像素点,例如,若N=3,则从视差点A沿列d1向上查找3个像素点。同理,对道路线上每一个像素点沿像素点所在列向上查找对应N个像素点,N与当前列的视差值呈正相关关系。如图6所示,为由各列位于道路线以上的N个像素点所覆盖区域(斜线区域)的示意图。该覆盖区域对应图7所示位于两条白色斜实线700和710之间的区域(图7为在图4所示V视差图基础上确定出的位于道路线以上的像素点的覆盖区域的示意图)。
步骤103,从所述视差图中提取与所述预设数量个像素点对应的视差点,生成待检测视差图。
基于V视差图中确定出的位于每一列中道路线以上的预设数量个像素点,提取视差图中对应的视差点;基于从视差图中提取的视差点,生成待检测视差图,该待检测视差图与对应视差图大小一致。如图8所示,为基于图7所示位于两条白色斜实线之间的像素点,从图2所示视差图中提取对应视差点生成的待检测视差图。
需要说明的是,由于从视差图中提取的是高于路面以上一定范围内的视差点(对应V视差图的每一列中道路线以上预设数量个像素点),因此,位于路面上的车道线基本被过滤掉,而位于道路两侧的高于路面的绿化带、马路牙子等物体对应的部分视差点被提取到待检测视差图中,如图8所示,原位于图2路面中间的车道线的视差点基本被过滤掉,而位于道路两侧的物体的视差点比较密集。
步骤104,基于所述待检测视差图检测直线,并从所述直线中确定道路边缘线。
对待检测视差图进行二值化处理,并基于二值化后的待检测视差图检测直线(例如,霍夫直线检测),从检测出的直线中筛选道路边缘线。由于前述步骤103已将大量位于路面的车道线过滤掉,因此,可减少本步骤检测出的直线的数量,降低对道路边缘线检测的影响,提升道路边缘线检测的准确度。
在一种可选的实施方式中,本步骤包括:
基于V视差图中的道路线,确定道路消失点所在行。例如,将V视差图中道路线上视差值为0(或趋近于0)的像素点所在行,确定为道路消失点所在行。如图9所示,道路线与v轴的交点B(0,v2)为道路线上视差值为0的像素点,将该像素点所在行(图中行向虚线)作为道路消失点所在行。
基于V视差图中道路消失点所在行,确定待检测视差图中道路边缘线的交点的行范围。由于待检测视差图与视差图的大小一致(横、纵坐标相同),视差图的纵坐标与V视差图的纵坐标相同,因此,可得出待检测视差图的纵坐标与V视差图的纵坐标相同,则V视差图中道路消失点所在行(对应纵坐标)与待检测视差图中道路消失点所在行(对应纵坐标)相同。道路边缘线的交点通常汇聚于道路消失点附近,因此,本发明基于道路消失点所在行,确定道路边缘线交点的行范围,例如,预设行数阈值为vT,当前道路消失点所在行的纵坐标为v2,则道路边缘线交点的行范围(对应纵坐标范围)为(v2-vT,v2+vT)。
将待检测视差图分成左右相等的两个部分,分别从左侧部分和右侧部分检测满足预设约束条件的直线,例如,该约束条件为:左侧部分直线角度范围为0~90度;右侧部分直线角度范围为90~180度;且投票数大于最小投票数阈值NumT,该最小投票数阈值NumT可通过如下公式表示:
Figure BDA0001594510190000091
其中,vH为待检测视差图中最大行数对应的纵坐标;v2为道路消失点所在行的纵坐标;β为调节因子;M为预设的最小投票数。
参见图10,为基于图8所示待检测视差图检测出的满足预设约束条件的直线的示意图,其中,竖直白实线为中心线,将待检测视差图分为左侧部分和右侧部分,图中的灰色斜实线为满足预设约束条件检测出的直线。
确定待检测视差图中检测出的直线的交点所在行。可选的,获取待检测视差图中位于左侧部分的直线与位于右侧部分的直线的交点的纵坐标(即交点所在行)。
若交点所在行落入道路边缘线交点的行范围,确定该交点对应直线为道路边缘线。如图11所示,两条直线的交点C的纵坐标(交点C所在行)为v3,位于道路边缘线交点的行范围(v2-vT,v2+vT)之间,其中,v2为道路消失点所在行,因此,可确定交点C对应的两条直线为道路边缘线。
若存在多个交点所在行落入道路边缘线交点的行范围,获取交点对应直线与待检测图像最后一行构成的三角形的面积;选择面积最大的三角形对应的两条直线作为道路边缘线。如图12所示,交点C1~C6所在行均落入行范围(v2-vT,v2+vT),则计算每个交点对应直线与待检测视差图下边缘(最后一行)所构成三角形的面积,面积最大的三角形对应的两条直线作为道路边缘线,图12中交点C1对应的两条直线与待检测视差图下边缘构成的三角形面积最大,因此,确定C1对应的两条直线为道路边缘线。
若不存在交点所在行落入道路边缘线交点的行范围,将距离道路消失点所在行最近的交点对应的直线作为道路边缘线。如图13所示,交点C1~C4所在行均未落入行范围(v2-vT,v2+vT),则选择距离道路消失点所在行v2最近的交点C1的两条直线作为道路边缘线。
基于上述确定道路边缘线的方法,可从图10所示直线中检测出如图14所示的位于待检测视差图中的道路边缘线(白色斜实线);由于待检测视差图与视差图的大小一致,因此,可基于待检测视差图中道路边缘线的位置,确定视差图中道路边缘线的位置,如图15所示,白色斜实线1500和1510为道路边缘线。
从以上描述可以看出,本发明从V视差图中检测道路线,再从原始视差图中提取道路线以上一定范围(包括绿化带、马路牙子等高出路面的部分)内的视差点,生成待检测视差图,由于该待检测视差图中包含的视差点为高出路面的物体的视差点,因此,可过滤掉大量位于路面的车道线的视差点,从而降低车道线对道路边缘线检测的影响,提升道路边缘线检测的准确度。
参考图2,为基于车载摄像机拍摄的包含道路场景的左、右图像,计算得到的基于边的视差图。现有技术基于视差图中路面区域检测直线;再基于道路边缘的特点(例如,道路边缘的长度、密度)从检测出的直线中筛选出道路边缘线。从图2中可以看出,由于路面区域存在大量的车道线,必然导致检测出过多的直线,从而增加道路边缘线筛选的难度以及运算量,影响道路边缘线检测的准确度。
而本发明将图2所示基于边的视差图转换为图3所示的V视差图后,从V视差图中检测道路线,得到如图4所示道路线(白色斜实线400);再基于V视差图中每一列的视差值,查找每一列中位于道路线以上的N个像素点,得到如图7所示位于两条白色斜实线700和710之间的像素点;从图2所示视差图中,提取与图7位于两条白色斜实线之间的像素点对应的视差点,生成如图8所示待检测视差图,从图8中可以看出,已将大量车道线上的视差点过滤掉;基于该包含较少车道线视差点的待检测视差图检测直线,得到如图10所示包含较少直线的待检测视差图;基于图10所示直线检测道路边缘线,得到如图14所示的已检测出道路边缘线(两条白色斜实线)的待检测视差图,进而基于道路边缘线在待检测视差图中的位置,确定道路边缘线在基于边的视差图中的位置,得到如图15所示的检测出道路边缘线(两条白色斜实线1500和1510)的基于边的视差图。本发明通过过滤位于车道线上的视差点,降低车道线对道路边缘检测的影响,提升道路边缘线检测的准确度。
本发明还提供一种道路边缘线检测方法,参见图16,为本发明道路边缘线检测方法的另一个实施例流程图,该实施例对道路边缘线检测的过程进行描述。
步骤1601,获取包含道路区域的视差图的V视差图和U视差图,从所述V视差图中检测道路线。
视差图和V视差图在前述步骤101中已介绍,这里不再赘述。
U视差图也可由视差图转换得到。U视差图的横坐标与视差图的横坐标相同,代表图像的列数,U视差图的纵坐标代表视差值,U视差图中某一点(u,d)的值,代表对应视差图中横坐标为u的列中视差值为d的点的个数。参见图17,为在图2所示基于边的视差图的基础上转换得到的U视差图。本发明中,将U视差图中的点称为像素点。
本步骤从V视差图中检测道路线,具体参见前述步骤101的描述,在此不再赘述。
步骤1602,确定所述V视差图的每一列中位于所述道路线以上的预设数量个第一像素点。
参见前述步骤102的描述,在此不再赘述。需要说明的是,本实施例,将V视差图的每一列中位于道路线以上的预设数量个像素点称为第一像素点。
步骤1603,从所述U视差图中提取与所述预设数量个第一像素点对应的第二像素点,生成待检测U视差图。
本步骤可基于视差图中的视差点、U视差图中的像素点、V视差图中的像素点的对应关系,从U视差图中提取与V视差图中预设数量个第一像素点对应的像素点(记为第二像素点),生成待检测U视差图,该待检测U视差图与U视差图大小一致。如图18所示,为基于图7所示位于两条白色斜实线700和710之间的第一像素点,从图17所示U视差图中提取的第二像素点生成的待检测U视差图。
由于从U视差图中提取的是高于路面以上一定范围内的第二像素点,因此,位于路面上的车道线的像素点基本被过滤掉,位于道路两侧的高于路面的绿化带、马路牙子等物体的部分像素点被提取到待检测U视差图中,如图18所示,原位于图17路面中间的车道线的像素点基本被过滤掉,位于道路两侧的物体的部分像素点被保留。
步骤1604,基于所述待检测U视差图检测直线,并从所述直线中确定道路边缘线。
对待检测U视差图进行二值化处理,并基于二值化后的待检测U视差图检测直线(例如,霍夫直线检测),从检测出的直线中筛选道路边缘线。由于前述步骤1603已将大量位于路面的车道线过滤掉,因此,可减少本步骤检测出的直线的数量,降低对道路边缘线检测的影响,提升道路边缘线检测的准确度。
在一种可选的实施方式中,本步骤包括:
基于道路消失点所在行,确定待检测U视差图中道路边缘线的交点的行范围。在基于U视差图得到的待检测U视差图中,通常将视差值为0(或趋近于0)的行确认为道路消失点所在行,在该道路消失点所在行附近确定道路边缘线的交点的行范围,例如,预设行数阈值为dT,当前道路消失点所在行的纵坐标为d2,则道路边缘线交点的行范围(对应纵坐标范围)为(d2-dT,d2+dT),当d2为0时,道路边缘线交点的行范围为(-dT,dT)。
从待检测U视差图中检测满足预设约束条件的直线,检测过程参见前述步骤104的描述,这里不再赘述。参见图19,为基于图18所示待检测U视差图检测出的满足预设约束条件的直线的示意图,其中,灰色斜实线为满足预设约束条件检测出的直线。
确定待检测U视差图中直线的交点所在行;若交点所在行落入道路边缘线交点的行范围(d2-dT,d2+dT),确定该交点对应直线为道路边缘线,具体确定道路边缘线的过程参见前述步骤104的描述,这里不再赘述。
参见图20,为从图19所示直线中检测出的位于待检测U视差图中的道路边缘线(白色斜实线)的示意图;由于该待检测U视差图与U视差图大小一致,而U视差图中的像素点与视差图中的视差点存在对应关系,因此,可基于待检测U视差图中道路边缘线的位置,得到如图15所示的位于视差图中的道路边缘线(白色斜实线1500和1510)。
从以上描述可以看出,本发明从V视差图中检测道路线,再从U视差图中提取与V视差图中道路线以上一定范围(包括绿化带、马路牙子等高出路面的部分)内的像素点对应的像素点,生成待检测U视差图,由于该待检测U视差图中包含的像素点为高出路面的物体的像素点,因此,可过滤掉大量位于路面的车道线的像素点,从而降低车道线对道路边缘线检测的影响,提升道路边缘线检测的准确度。
参考图2,为基于车载摄像机拍摄的包含道路场景的左、右图像,计算得到的基于边的视差图。现有技术基于视差图中路面区域检测直线;再基于道路边缘的特点(例如,道路边缘的长度、密度)从检测出的直线中筛选出道路边缘线。从图2中可以看出,由于路面区域存在大量的车道线,必然导致检测出过多的直线,从而增加道路边缘线筛选的难度以及运算量,影响道路边缘线检测的准确度。
而本发明将图2所示基于边的视差图转换为图3所示的V视差图和图17所示的U视差图。从V视差图中检测道路线,得到如图4所示道路线(白色斜实线400));再基于V视差图中每一列的视差值,查找每一列中位于道路线以上的N个第一像素点,得到如图7所示位于两条白色斜实线700和710之间的第一像素点;从图17所示U视差图中,提取与图7位于两条白色斜实线之间的第一像素点对应的第二像素点,生成如图18所示待检测U视差图,从图18中可以看出,已将大量车道线上的像素点过滤掉;基于该包含较少车道线像素点的待检测U视差图检测直线,得到如图19所示包含较少直线的待检测U视差图;基于图19所示直线检测道路边缘线,得到如图20所示的已检测出道路边缘线(两条白色斜实线)的待检测U视差图,进而基于道路边缘线在待检测U视差图中的位置,确定道路边缘线在基于边的视差图中的位置,得到如图15所示的检测出道路边缘线(两条白色斜实线1500和1510)的基于边的视差图。本发明通过过滤位于车道线上的像素点,降低车道线对道路边缘检测的影响,提升道路边缘线检测的准确度。
图21为本发明提供的一种道路边缘线检测终端的硬件结构示意图。该终端21包括处理器2101、存储有机器可执行指令的机器可读存储介质2102、摄像头组件2104。其中,处理器2101与机器可读存储介质2102可经由系统总线2103通信。并且,通过读取并执行机器可读存储介质2102中与道路边缘线检测逻辑对应的机器可执行指令,处理器2101可执行上文描述的道路边缘线检测方法。
本文中提到的机器可读存储介质2102可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
摄像头组件2104用于采集图像,该摄像头组件2104可以包括至少两个摄像头,该至少两个摄像头可以分别为双目摄像头的左摄像头和右摄像头。
如图22所示,从功能上划分,上述道路边缘线检测逻辑可以包括检测单元2201、确定单元2202、提取单元2203以及筛选单元2204,其中:
检测单元2201,用于获取包含道路区域的视差图和对应的V视差图,从所述V视差图中检测道路线;
确定单元2202,用于确定所述V视差图的每一列中位于所述道路线以上的预设数量个像素点;
提取单元2203,用于从所述视差图中提取与所述预设数量个像素点对应的视差点,生成待检测视差图;
筛选单元2204,用于基于所述待检测视差图检测直线,并从所述直线中确定道路边缘线。
可选的,
所述预设数量与所述V视差图中当前列的视差值呈正相关关系。
可选的,所述筛选单元2204从所述直线中确定道路边缘线,包括:
基于所述V视差图中的道路线,确定道路消失点所在行;基于所述道路消失点所在行,确定所述待检测视差图中道路边缘线的交点的行范围;确定所述待检测视差图中直线的交点所在行;若所述交点所在行落入所述行范围,确定该交点对应直线为道路边缘线。
可选的,所述筛选单元2204确定该交点对应直线为道路边缘线,包括:
若存在多个交点所在行落入所述行范围,获取交点对应直线与所述待检测图像最后一行构成的三角形的面积;选择面积最大的三角形对应的两条直线作为道路边缘线。
可选的,所述筛选单元2204还包括:
若不存在交点所在行落入所述行范围,将距离所述道路消失点所在行最近的交点对应的直线作为道路边缘线。
可选的,
检测单元2201,用于获取包含道路区域的视差图的V视差图和U视差图,从所述V视差图中检测道路线;
确定单元2202,用于确定所述V视差图的每一列中位于所述道路线以上的预设数量个第一像素点;
提取单元2203,用于从所述U视差图中提取与所述预设数量个第一像素点对应的第二像素点,生成待检测U视差图;
筛选单元2204,用于基于所述待检测U视差图检测直线,并从所述直线中确定道路边缘线。
可选的,筛选单元2204从所述直线中确定道路边缘线,包括:
基于道路消失点所在行,确定所述待检测U视差图中道路边缘线的交点的行范围;确定所述待检测U视差图中直线的交点所在行;若所述交点所在行落入所述行范围,确定该交点对应直线为道路边缘线。
本发明还提供一种包括机器可执行指令的机器可读存储介质,例如图21中的机器可读存储介质2102,所述机器可执行指令可由道路边缘线检测终端中的处理器2101执行,以实现以上描述的道路边缘线检测方法。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (8)

1.一种道路边缘线检测方法,其特征在于,所述方法包括:
获取包含道路区域的视差图和对应的V视差图,从所述V视差图中检测道路线;
确定所述V视差图的每一列中位于所述道路线以上的预设数量个像素点;
从所述视差图中提取与所述预设数量个像素点对应的视差点,生成待检测视差图;
基于所述待检测视差图检测直线,并基于所述V视差图中的道路线,确定道路消失点所在行;
基于所述道路消失点所在行,确定所述待检测视差图中道路边缘线的交点的行范围;确定所述待检测视差图中直线的交点所在行;若所述交点所在行落入所述行范围,确定该交点对应直线为道路边缘线。
2.根据权利要求1所述的方法,其特征在于,所述预设数量与所述V视差图中当前列的视差值呈正相关关系。
3.根据权利要求2所述的方法,其特征在于,所述确定该交点对应直线为道路边缘线,包括:
若存在多个交点所在行落入所述行范围,获取交点对应直线与所述待检测图像最后一行构成的三角形的面积;
选择面积最大的三角形对应的两条直线作为道路边缘线。
4.根据权利要求2或3所述的方法,其特征在于,若不存在交点所在行落入所述行范围,将距离所述道路消失点所在行最近的交点对应的直线作为道路边缘线。
5.一种道路边缘线检测方法,其特征在于,所述方法包括:
获取包含道路区域的视差图的V视差图和U视差图,从所述V视差图中检测道路线;
确定所述V视差图的每一列中位于所述道路线以上的预设数量个第一像素点;
从所述U视差图中提取与所述预设数量个第一像素点对应的第二像素点,生成待检测U视差图;
基于所述待检测U视差图检测直线,并基于道路消失点所在行,确定所述待检测U视差图中道路边缘线的交点的行范围;
确定所述待检测U视差图中直线的交点所在行;若所述交点所在行落入所述行范围,确定该交点对应直线为道路边缘线。
6.一种道路边缘线检测装置,其特征在于,所述装置包括:
检测单元,用于获取包含道路区域的视差图和对应的V视差图,从所述V视差图中检测道路线;
确定单元,用于确定所述V视差图的每一列中位于所述道路线以上的预设数量个像素点;
提取单元,用于从所述视差图中提取与所述预设数量个像素点对应的视差点,生成待检测视差图;
筛选单元,用于基于所述待检测视差图检测直线,并基于所述V视差图中的道路线,确定道路消失点所在行;基于所述道路消失点所在行,确定所述待检测视差图中道路边缘线的交点的行范围;确定所述待检测视差图中直线的交点所在行;若所述交点所在行落入所述行范围,确定该交点对应直线为道路边缘线。
7.一种道路边缘线检测终端,其特征在于,包括摄像头组件、处理器以及机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现权利要求1-5任一所述的方法步骤。
8.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN201810201071.6A 2018-03-12 2018-03-12 一种道路边缘线检测方法、装置及终端 Active CN108256510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810201071.6A CN108256510B (zh) 2018-03-12 2018-03-12 一种道路边缘线检测方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810201071.6A CN108256510B (zh) 2018-03-12 2018-03-12 一种道路边缘线检测方法、装置及终端

Publications (2)

Publication Number Publication Date
CN108256510A CN108256510A (zh) 2018-07-06
CN108256510B true CN108256510B (zh) 2022-08-12

Family

ID=62746244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810201071.6A Active CN108256510B (zh) 2018-03-12 2018-03-12 一种道路边缘线检测方法、装置及终端

Country Status (1)

Country Link
CN (1) CN108256510B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210126365A (ko) * 2020-04-10 2021-10-20 팅크웨어(주) 차량 주행 영상 기반의 차선 검출 방법, 차선 검출 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN113221652A (zh) * 2021-04-09 2021-08-06 南京云计趟信息技术有限公司 确定道路类别的方法、装置及终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999972B (zh) * 2010-11-24 2013-07-03 上海理工大学 一种基于立体视觉的盲人辅助行走装置及其辅助方法
CN103854008B (zh) * 2012-12-04 2019-10-18 株式会社理光 路面检测方法和装置
CN104050654B (zh) * 2013-03-11 2017-06-09 株式会社理光 道路边缘检测方法和装置
CN103475838B (zh) * 2013-06-21 2017-03-15 青岛海信电器股份有限公司 一种基于边缘自适应的去隔行方法
CN106327466B (zh) * 2015-06-24 2018-12-21 株式会社理光 道路分割物的检测方法和装置
US20190012789A1 (en) * 2015-07-21 2019-01-10 Heptagon Micro Optics Pte. Ltd. Generating a disparity map based on stereo images of a scene
CN107305688B (zh) * 2016-04-15 2020-10-27 株式会社理光 检测道路消失点的方法、装置和系统
CN107392103B (zh) * 2017-06-21 2020-06-26 海信集团有限公司 路面车道线的检测方法及装置、电子设备

Also Published As

Publication number Publication date
CN108256510A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN106951879B (zh) 基于摄像头与毫米波雷达的多特征融合车辆检测方法
US10140529B2 (en) Method, apparatus and device for detecting lane lines
JP6606610B2 (ja) 走路境界推定装置及びそれを用いた走行支援システム
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
CN104166834B (zh) 路面检测方法和装置
Kowsari et al. Real-time vehicle detection and tracking using stereo vision and multi-view AdaBoost
KR101472787B1 (ko) 차선 인식 시스템 및 그 방법
CN107909036B (zh) 一种基于视差图的道路检测方法及装置
US10803605B2 (en) Vehicle exterior environment recognition apparatus
CN111539907B (zh) 用于目标检测的图像处理方法及装置
EP3115933B1 (en) Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
CN110088766B (zh) 车道线识别方法、车道线识别装置以及非易失性存储介质
KR101224027B1 (ko) 영상의 장면 정보를 이용한 전방 차량 검출 방법
CN108256510B (zh) 一种道路边缘线检测方法、装置及终端
CN112927283A (zh) 测距方法及装置、存储介质及电子设备
JP2020095622A (ja) 画像処理装置および画像処理方法
CN108596012B (zh) 一种障碍物框合并方法、装置及终端
CN111753749A (zh) 一种基于特征匹配的车道线检测方法
CN109558765B (zh) 汽车及车道线的检测方法、装置
CN108399360A (zh) 一种连续型障碍物检测方法、装置及终端
JP2020095623A (ja) 画像処理装置および画像処理方法
US10810757B2 (en) Vehicle exterior environment recognition apparatus
CN107958226B (zh) 一种道路曲线检测方法、装置和终端
CN108319910B (zh) 一种车辆识别方法、装置及终端
JP6718025B2 (ja) 車両周辺の小物体領域を識別する装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant