CN103164851B - 道路分割物检测方法和装置 - Google Patents

道路分割物检测方法和装置 Download PDF

Info

Publication number
CN103164851B
CN103164851B CN201110409269.1A CN201110409269A CN103164851B CN 103164851 B CN103164851 B CN 103164851B CN 201110409269 A CN201110409269 A CN 201110409269A CN 103164851 B CN103164851 B CN 103164851B
Authority
CN
China
Prior art keywords
parallax
point
angle
aerial view
lane segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110409269.1A
Other languages
English (en)
Other versions
CN103164851A (zh
Inventor
鲁耀杰
游赣梅
郑继川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201110409269.1A priority Critical patent/CN103164851B/zh
Priority to EP12195430.9A priority patent/EP2605181A3/en
Priority to JP2012268295A priority patent/JP6107097B2/ja
Priority to US13/708,013 priority patent/US9373043B2/en
Publication of CN103164851A publication Critical patent/CN103164851A/zh
Application granted granted Critical
Publication of CN103164851B publication Critical patent/CN103164851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

公开了一种检测道路分割物的方法和装置,其中获得包括道路区域的视差俯瞰图;从视差俯瞰图中检测平行线作为道路分割物。利用视差俯瞰图检测道路分割物,可以消除道路分割物的高度的影响,使得可以一次同时检测出多种形式的道路分割物。

Description

道路分割物检测方法和装置
技术领域
本发明涉及道路检测和对象检测,更具体地涉及道路分割物检测方法和装置。
背景技术
驾驶辅助系统的应用日渐普及。而道路或车道警告系统(Lane/Roaddetectionwarning,LDW/RDW)是驾驶辅助系统的子系统,可以避免碰撞,更准确地确定驾驶方向等。道路或车道检测对于LDW/RDW系统非常关键,只有在知道了道路信息的基础上才可能做进一步的处理,例如警告。一般通过检测道路分割物来检测道路或车道。
道路分割物包括路肩石、白线、栅栏和其他能够标识路的区域以及车道的物体。
概括而言,有两类检测道路的方法:基于特征的方法和基于建模的方法。
基于特征的方法通过组合一些道路特征来定位道路图像中的道路或车道,道路特征例如有着色的线或者车道边缘等。
基于建模的方法首先确定一个道路模型,例如是直线或者抛物线,然后用一些参数来代表道路。
这两类方法仅关注很少道路分割物的特定特征,因此不能灵活地检测任意道路分割物的特征,例如,建模方法的一个模型仅适用于一种道路分割物,如仅适用于路肩石,而不适用于白线或栅栏,而为每种道路分割物专门建立特有的模型是低效的。
在美国专利US7346190B2中,公开了一种道路检测方法,该方法将三维坐标沿横跨道路的方向投影到二维坐标,并生成沿横跨道路的方向的直方图,基于该直方图来确定车道线。该方法不适用于道路高度不一致的情况,例如斜坡路。
此外,当前的道路检测大部分基于单色图像或偏光图像,在道路边缘暗淡的图像或者环境复杂例如存在倾斜道路的情况下,道路检测效果不佳。
发明内容
鉴于现有技术中的上述问题,提出了本发明。
根据本发明的一个方面,提供了一种道路分割物的检测方法,可以包括:获得包括道路区域的视差俯瞰图;从视差俯瞰图中检测平行线作为道路分割物。
该从视差俯瞰图中检测平行线的操作可以包括:以视差值为零的点作为基本点,针对各个基本点,计算由视差俯瞰图中的每个非零点和该基本点确定的直线与等视差线之间的夹角的角度,由此得到关于该基本点的夹角的角度分布;以及基于各个基本点的夹角的角度分布来检测平行线。
基于各个基本点的夹角的角度分布来检测平行线可以包括:以基本点中夹角的角度分布聚合度按从高到低的顺序排于前N位的基本点和/或聚合度的值大于预定聚合度阈值的基本点作为道路消失点,其中N是大于等于1的整数,道路消失点是平行的道路分割物在视差俯瞰图中的交点,沿不同方向平行的道路分割物在视差俯瞰图中的交点不同;以关于道路消失点的夹角的角度分布中角度的出现频度大于预定阈值的夹角和道路消失点所确定的直线作为表示道路分割物所在的平行线。
该道路分割物的检测方法还可以包括:在确定视差俯瞰图中的作为道路分割物的平行线后,根据如此找到的道路分割物在对应视差图中的高度、位置或区域特征中的至少一种来对各个道路分割物进行进一步区分。
获得包括道路区域的视差俯瞰图可以包括:获得包括道路区域的视差图;从视差图中估计道路区域并且移除非道路区域;以及从移除了非道路区域的视差图转换得到该包括道路区域的视差俯瞰图。
根据本发明的另一方面,提供了一种道路分割物的检测装置,可以包括:视差俯瞰图获得部件,获得包括道路区域的视差俯瞰图;以及道路分割物检测部件,从视差俯瞰图中检测平行线作为道路分割物。
本发明的道路分割物检测方法和装置利用视差俯瞰图检测平行线作为道路分割物,可以消除道路分割物高度各异的影响,且可以一次性地检测出多种形式的道路分割物。
而且,本发明的道路分割物检测方法和装置同样可以适用于检测不平路面相关的道路分割物。
本发明的道路分割物检测方法和装置充分利用了视差俯瞰图中平行线相交于视差为零的点的特征,能同时检测多个道路分割物,同时由于多个道路分割物相互约束,保证了检测精度。
附图说明
图1是有助于理解本发明的、作为本发明应用环境的示例的车载系统示意图;
图2是根据本发明一个实施例的道路分割物检测方法的整体流程图;
图3是根据本发明一个实施例的获得包括道路区域的视差俯瞰图的示例性方法的流程图;
图4是在从视差图中移除道路区域前后的对比示意图;
图5是图4中的视差图以及转换后得到的视差俯瞰图的对比示意图;
图6是从视差俯瞰图中检测平行线作为道路分割物的示例性方法的流程图;
图7是示出基本点相关联的夹角以及角度计算的示意图;
图8是示出夹角角度的分布示例的示意图;
图9是示出各个基本点的聚合度曲线的示意图;
图10是示出根据本发明实施例的检测出的视差俯瞰图中的道路消失点和作为道路分割物的平行线的示意图;以及
图11是示出根据本发明实施例的道路分割物检测装置的框图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
将按如下顺序进行描述:
1、发明思想概述和基本概念介绍
2、实施例
2.1、道路分割物检测的整体过程
2.2、视差俯瞰图的获得
2.3、视差俯瞰图中平行线的检测
2.3.1、基本点相关联的夹角的角度分布
2.3.2、道路消失点的确定
2.3.3、作为平行线的道路分割物的检测
2.3.4、道路分割物的进一步区分
2.4、道路分割物检测装置
3、总结
<1、发明思想概述和基本概念介绍>
在具体描述之前,首先总体介绍一下本发明的思想,以便本领域人员更好地理解本发明:考察各种道路分割物,例如,白线、路肩石、栅栏、道路边缘,它们的共性是在一般情况下是平行的。它们的不同在于,高度和面积各异,例如栅栏最高,所占面积最大,路肩石次之,而白线最低,所占面积最小。U-视差图(U-disparity)具有如下两大特性:一是俯瞰图或鸟视图的特性(故下文中称之为视差俯瞰图),即消除了高度这一维度的特征;二是在视差俯瞰图中,各个平行线彼此相交于视差为零的视差点上。为此,本发明考虑利用视差俯瞰图的此两大特性,通过从视差俯瞰图中检测平行线来一次性检测各种道路分割物。
下面介绍一下基本概念,以便于理解。
视差,实际指从某一基线两端各引一直线到同一较远物体时,其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角,叫做这两个点的视差角,两点之间的距离称作基线。只要知道视差角度和基线长度,就可以计算出目标和观测者之间的距离。
视差图(disparitymap)是以任一幅图像为基准,其大小为该基准图像的大小,元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到,或者通过立体视图中的深度图计算得到。
普通二维视差图中的某点坐标以(u,v)表示,其中u为横坐标,v为纵坐标;点(u,v)处的像素的像素值用d(u,v)表示,表示该点(u,v)处的视差。
视差俯瞰图或U-视差图可以从视差图中计算得到。U-视差图中任意一点(u,d)的灰度值是对应视差图的横坐标为u的列中视差值等于d的点的个数。
<2、实施例>
<2.1道路分割物检测的整体过程>
图1是有助于理解本发明的、作为本发明应用环境的示例的车载系统示意图。本发明的软件或者硬件实现可以作为其中的道路检测部件。
图2是根据本发明一个实施例的道路分割物检测方法200的整体流程图。
在步骤S210中,获得包括道路区域的视差俯瞰图。如前面所述,可以通过双目相机、多目相机、立体相机拍摄并计算得到包括道路区域的视差图,由视差图变换得到视差俯瞰图;或者从立体视图中获得深度图,根据深度图得到视差图,由视差图变换得到视差俯瞰图。后面将参考图3说明步骤S210实现的一个优选实施例。
在步骤S220中,从视差俯瞰图中检测平行线作为道路分割物。如前所述,在大多数情况下,诸如路肩石、栅栏、各种分道线等的道路分割物都是平行的。因此,可以通过检测平行线来检测道路分割物。关于从视差俯瞰图中检测平行线的方法,下文将参考图6详细描述。
<2.2视差俯瞰图的获得>
下面,参考图3描述根据本发明一个实施例的图2中步骤S210的获得包括道路区域的视差俯瞰图的方法。
在步骤S310中,获得包括道路区域的视差图。具体地,例如,可以通过车载双目相机来拍得左图像和右图像,基于左图像和右图像计算得到视差图。
在步骤S320中,从视差图中估计道路区域并且移除非道路区域。
关于估计道路区域,有以下方法:1)考虑到摄像机的角度不会频繁变化,因此可以利用摄像机的参数例如角度和高度来估计;2)可以通过使用v-视差图来进行,例如找到v视差图中的斜线;3)以及文献“RoadapproximationinEuclideanandV-DisparitySpace:AComparativeStudy”AngleD.Sappa等中介绍的方法。替代地,也可以由人工指定道路区域信息。
在获得道路区域信息后,从视差图中移除非道路区域。
另外,还可以采用预定高度阈值rh来将自路面起高度大于rh的所有点移除。因为,高度大于rh的点可能代表路上的车辆、骑自行车的人或者电线杆等噪声。
图4是移除前后的对比示意图。其中左边的图表示移除操作前的视差图,右边的图表示移除操作后的视差图。
通过移除非道路区域,降低了非目标对象的影响,提高了后续道路分割物检测的准确率和速度。
在步骤330中,从移除了非道路区域的视差图转换得到该包括道路区域的视差俯瞰图。
下面描述转换操作。对于视差图D,表示为:
D=d(u,v)其中,u∈[0,w),v∈[0,h)
h是视差图的高度,w视差图的宽度,di(ui,vi)是点(ui,vi)的视差值
对应的视察俯瞰图U表示为:
U=pu(u,d)其中,u∈[0,w),d∈(0,dmax]
dmax是视差图D中的视差最大值。
视差俯瞰图中的pui(ui,di)∈U是视差俯瞰图中的点(ui,vi)的灰度值,其等于对应视差图D中所有满足u=ui且d=di的点的个数,也在横坐标为ui的列中视差为di的点的个数。
图5示出了图4中的移除后的视差图以及转换后得到的视差俯瞰图。
此外,这里还可以对如此得到的视差俯瞰图进行一些后处理,例如去噪,其中一种实现方式是,将所有灰度值小于预定阈值的点都从视差俯瞰图中去除,也即将所有灰度值小于预定阈值的点的灰度值改为零。这是因为,噪声一般是离散点,在视差图的各列中,不会存在很多视差一样的噪声点。另外,为了避免无意地去除诸如白线的分道线,优选地,将预定阈值设置为较小值,例如设置为1。
<2.3视差俯瞰图中平行线的检测>
下面参考图6来具体描述从视差俯瞰图中检测平行线作为道路分割物的方法的示例600。
如图6所示,在步骤610中,计算各个基本点相关联的夹角的角度分布。具体地,以视差值为零的点作为基本点,针对各个基本点,计算由视差俯瞰图中的每个视差非零点和该基本点确定的直线与等视差线之间的夹角的角度,由此得到关于该基本点的夹角的角度分布。稍后将参考图7详细描述该步骤的操作。
在步骤620中,基于各个基本点的夹角的角度分布来检测平行线。稍后将参考图8详细描述该步骤的操作。
<2.3.1基本点相关联的夹角的角度分布>
如前文所述,在三维空间中,平行线是不相交的,或者可以认为是相交于无穷远处。但是在视差俯瞰图中,平行线相交于视差值等于零的一个点,我们将此交点称为道路消失点,视差值等于零表示该点在左右眼看来是一样的,该点应该在无穷远处。在视差俯瞰图中,视差值等于零的点位于一条横线上,我们将视差值等于零的点统称为基本点。因此,下一步的操作是,确定在若干基本点中哪个或哪些基本点是平行线的交点,也即是道路消失点。
在各个道路分割物均彼此平行的情况下,则在视差俯瞰图中只存在一个道路消失点,设为(x0,0),所有道路分割物在视差俯瞰图中都相交于此点。而对于一个道路分割物例如栅栏A而言,在视差俯瞰图中,属于栅栏A的点都在通过道路消失点(x0,0)的一条直线La上;而对于另一道路分割物例如栅栏B,在视差俯瞰图中,属于栅栏B的点都在通过道路消失点(x0,0)的另一条直线Lb上;类似地,对于另一道路分割物例如分道线C,在视差俯瞰图中,属于分道线C的点都在通过道路消失点(x0,0)的另一条直线Lc上。那么,如果考察由视差俯瞰图中的每个视差非零点和基本点确定的直线与等视差线之间的夹角的角度分布,则相比于其他基本点,道路消失点(x0,0)的角度分布最集中,也即分散度最低。这是因为,对于同一道路分割物,其上的各点相关于道路消失点的夹角的角度都是一样的,即角度分布会比较集中。而如果该基本点不是道路消失点,则即使同一道路分割物上的各点,它们相关于该基本点的夹角的角度也是不一样的,也即角度分布会比较分散。因此可以通过确定基本点中夹角分布,来取其中分布较集中的点作为道路消失点。在确定了道路消失点后,可以确定各个相交于该道路消失点的直线,由此检测出平行线作为道路分割物。
下面参考图7描述各个基本点相关联的夹角以及角度分布的计算。
如图7所示,设基本点以b(x,0)表示,其中x∈[0,w),各个基本点所在的视差线以m表示,视差俯瞰图中任一视差非零点p(u,d)∈U,以及通过基本点b和p的直线以n表示,直线m和n之间的夹角以θ表示。
则夹角θ的正切为从而可以求得夹角θ。
在对于视差俯瞰图中的每个视差非零点求得上述θ后,可以按如下公式计算得到θ的分布:
Dis x ( &theta; ) = C &theta; N 其中θ∈Θ
其中X表示基本点集合,N是视差俯瞰图中视差非零点的数目,Θ是夹角θ的角度的取值集合。
Cθ表示由基本点X和视差俯瞰图中的每个视差非零点确定的直线和等视差线的夹角的角度等于θ的视差非零点的数目。
图8示出了夹角角度的分布示例,其中横坐标x表示基本点的位置,纵坐标θ表示夹角角度,各点的灰度值表示关于基本点x的夹角的角度θ的分布Disx(θ)。
<2.3.2道路消失点的确定>
在确定了夹角分布后,可以把基本点中夹角的角度分布聚合度按从高到低顺序,将排于前N位的基本点作为道路消失点,其中N是大于等于1的整数。如前所述,道路消失点是平行的道路分割物在视差俯瞰图中的交点,沿不同方向平行的道路分割物在视差俯瞰图中的交点不同,也即有可能存在多个道路消失点,比如对应于十字交叉路口的视差俯瞰图中,可能存在2个道路消失点。
上述取排于前N位的基本点作为道路消失点仅为示例,可以取聚合度的值大于预定聚合度阈值的基本点作为道路消失点。
为此,针对每个基本点,计算其相关联的夹角的角度的聚合程度。例如,用如下的公式来模拟聚合度
Enp=-∑θ(Dis(θ)×log(Dis(θ)))
其中,Enp越小,表示该基本点相关联的夹角θ的聚合度越大,也即分散程度越低。
图9示出了各个基本点的聚合度曲线示意图,其中横坐标为基本点的位置,纵坐标表示聚合度,例如-Enp。
上述计算夹角聚合度的方式仅为示例,可以采用其他反映分布的聚合程度的方法,例如信息墒聚类方法,如DBSCAN,OPTICS,DENCLUE等。
在各个基本点的夹角分布的聚合度确定之后,可以选取Enp最小(即,聚合度最大或分散程度最低)的基本点作为道路消失点。
在认为可能存在多个道路消失点(例如交叉路口)的情况下,可以取聚合度排于前N位例如前两位的基本点作为道路消失点。
作为替代,可以选取聚合度大于预定聚合度阈值的基本点作为道路消失点。
作为替代,也可以选取去合度排于前N位并且去合度大于预定聚合度阈值的基本点作为道路消失点。
<2.3.3作为平行线的道路分割物的检测>
在确定道路消失点之后,可以确定相交于此道路消失点的直线为道路分割物。
具体地,设道路消失点为b0(x0,0),设关于道路消失点b0(x0,0)的夹角的角度集合为ANGS,考察该角度集合ANGS中各个角度θ的出现频度Disx0(θ),将出现频度Disx0(θ)大于预定阈值tθ的夹角和道路消失点b0所确定的直线作为表示道路分割物所在的平行线。
即,道路分割物和道路消失点所确定的夹角θt应满足
θt∈ANGS且Disx0t)>tθ
也就是说,关于道路消失点b0(x0,0)的夹角的角度为θt的点的个数越多,这些点越可能是一直线上的点。
将如此确定的夹角θt和道路消失点b0(x0,0)所确定的直线作为道路分割物。
图10示出了根据本发明实施例的检测出的视差俯瞰图中的道路消失点和作为道路分割物的平行线的示例。
利用视差俯瞰图检测道路分割物,因为斜坡道路、有高度的栅栏、路肩石在视差俯瞰图中均变成了线,所以可以忽略道路分割物的高度,使得可以通过一次计算,同时检测出多种形式的道路分割物,例如栅栏、路肩石、分道线等。
本发明充分利用了视差俯瞰图中平行线相交于视差为零的点的特征,能同时检测多个道路分割物,同时由于多个道路分割物相互约束,保证了检测精度。
上述结合图6描述的检测平行线方法仅为示例,任何在视差俯瞰图中检测平行线的方法均可以用于本发明。例如,一种替代的检测平行线方法是,检测视差俯瞰图中的各条直线,确定各条直线中彼此的交点,将彼此交点位于视差点为零的等视差线上的直线判定为平行线。
<2.3.4道路分割物的进一步区分>
在确定视差俯瞰图中的作为道路分割物的平行线后,根据如此找到的道路分割物在对应视差图中的高度、位置或区域特征中的至少一种来对各个道路分割物进行进一步区分。
具体地,可以将视差俯瞰图中的平行线还原到视差图中,然后考察各个平行线在视差图中的对应区域的高度、位置或区域特征,以进一步区分各个道路分割物。例如,视差图中的对应区域的高度符合栅栏的高度区间,则判定其位栅栏;如果其高度符合路肩石的高度区间,则判定其属于路肩石。此外,就位置而言,路肩石一般位于道路两侧,而栅栏一般位于路中间,分道线分散于道路上。就区域而言,栅栏所占面积较大,路肩石次之,而分道线所占面积最少。这样,利用各种道路分割物之间的特征间的区别,可以进一步区分各种道路分割物。也可以根据各种道路分割物之间的特征来对检测结果进行验证。
<2.4、道路分割物检测装置>
图11示出了根据本发明实施例的道路分割物检测装置1100的框图。
如图11所示,道路分割物检测装置1100可以包括:视差俯瞰图获得部件1110,获得包括道路区域的视差俯瞰图;以及道路分割物检测部件1120,从视差俯瞰图中检测平行线作为道路分割物。
其中,道路分割物检测部件1120从视差俯瞰图中检测平行线的操作可以包括:以视差值为零的点作为基本点,针对各个基本点,计算由视差俯瞰图中的每个视差非零点和该基本点确定的直线与等视差线之间的夹角的角度,由此得到关于该基本点的夹角的角度分布;以及基于各个基本点的夹角的角度分布来检测平行线。
基于各个基本点的夹角的角度分布来检测平行线可以包括:以基本点中夹角的角度分布聚合度按从高到低的顺序排于前N位的基本点或者聚合度的值大于预定聚合度阈值的基本点作为道路消失点,其中N是大于等于1的整数,道路消失点是平行的道路分割物在视差俯瞰图中的交点,沿不同方向平行的道路分割物在视差俯瞰图中的交点不同;以及以关于道路消失点的夹角的角度分布中角度的出现频度大于预定阈值的夹角和道路消失点所确定的直线作为表示道路分割物所在的平行线。
<3、总结>
上文描述了检测道路分割物的方法和装置,其中获得包括道路区域的视差俯瞰图;从视差俯瞰图中检测平行线作为道路分割物。
利用视差俯瞰图检测道路分割物,因为斜坡道路、有高度的栅栏、路肩石在视差俯瞰图中均变成了线,所以可以忽略道路分割物的高度,使得可以通过一次计算,同时检测出多种形式的道路分割物,例如栅栏、路肩石、分道线等。
本发明充分利用了视差俯瞰图中平行线相交于视差为零的点的特征,能同时检测多个道路分割物,同时由于多个道路分割物相互约束,保证了检测精度。
另外,对于非平面的道路例如斜坡路来说,一般的道路检测方法例如基于图像识别的方法难于处理,本发明的视差俯瞰图可以消除道路以及道路分割物高度的影响,因此同样适合检测不平道路相关的道路分割物。
在前面的描述中提到,视差俯瞰图一般是从视差图转换得到的,不过,可以想见的是,也可以直接从特殊相机例如双目相机、多目相机、立体相机拍摄的左右图像中直接计算得出视差俯瞰图,或者直接通过立体视图中的深度图计算得到。
上文描述的利用各个基本点相关的夹角分布来检测平行线的方法仅为示例,任何在视差俯瞰图中检测平行线的方法均可以用于本发明。例如,一种替代的检测平行线方法是,检测视差俯瞰图中的各条直线,确定各条直线中彼此的交点,将彼此交点位于视差点为零的等视差线上的直线判定为平行线。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行,例如,标准激光点/区域特征值的获取步骤和候选激光点/区域的生成步骤之间是独立,可以并行或以任意先后顺序进行。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (6)

1.一种道路分割物的检测方法,包括:
获得包括道路区域的视差俯瞰图;
从视差俯瞰图中检测平行线作为道路分割物,
其中,该从视差俯瞰图中检测平行线的操作包括:
以视差值为零的点作为基本点,针对各个基本点,计算由视差俯瞰图中的每个视差非零点和该基本点确定的直线与等视差线之间的夹角的角度,由此得到关于该基本点的夹角的角度分布;以及
基于各个基本点的夹角的角度分布来检测平行线,
其中,基于各个基本点的夹角的角度分布来检测平行线包括:
以基本点中夹角的角度分布聚合度按从高到低的顺序排于前N位的基本点和/或聚合度的值大于预定聚合度阈值的基本点作为道路消失点,其中N是大于等于1的整数,道路消失点是平行的道路分割物在视差俯瞰图中的交点,沿不同方向平行的道路分割物在视差俯瞰图中的交点不同;
以关于道路消失点的夹角的角度分布中角度的出现频度大于预定阈值的夹角和道路消失点所确定的直线作为表示道路分割物所在的平行线,
其中,聚合度反映分布的聚合程度。
2.根据权利要求1的方法,所述关于每个基本点X的夹角的角度分布按如下公式计算:
Dis x ( &theta; ) = C &theta; N 其中θ∈Θ
其中X表示基本点,N是视差俯瞰图中视差非零点的数目,Θ是夹角的角度的取值集合;
Cθ是由基本点X和视差俯瞰图中的每个视差非零点确定的直线和等视差线的夹角的角度等于θ的视差非零点的数目。
3.根据权利要求1的方法,还包括:
在确定视差俯瞰图中的作为道路分割物的平行线后,根据找到的道路分割物在对应视差图中的高度、位置或区域特征中的至少一种来对各个道路分割物进行进一步区分。
4.根据权利要求1的方法,还包括:
对于从视差图转换得到的视差俯瞰图,视差俯瞰图的横坐标以u表示,纵坐标以d表示,d表示视差,各点的值Pui(ui,di)∈U是视差图中所有横坐标为ui视差为di的点的数目,将值Pui(ui,di)小于特定阈值的点的值Pui(ui,di)均设为零。
5.根据权利要求1的方法,其中所述获得包括道路区域的视差俯瞰图包括:
获得包括道路区域的视差图;
从视差图中估计道路区域并且移除非道路区域;以及
从移除了非道路区域的视差图转换得到该包括道路区域的视差俯瞰图。
6.一种道路分割物的检测装置,包括:
视差俯瞰图获得部件,获得包括道路区域的视差俯瞰图;以及
道路分割物检测部件,从视差俯瞰图中检测平行线作为道路分割物,
其中,道路分割物检测部件从视差俯瞰图中检测平行线的操作包括:
以视差值为零的点作为基本点,针对各个基本点,计算由视差俯瞰图中的每个视差非零点和该基本点确定的直线与等视差线之间的夹角的角度,由此得到关于该基本点的夹角的角度分布;以及
基于各个基本点的夹角的角度分布来检测平行线,
其中基于各个基本点的夹角的角度分布来检测平行线包括:
以基本点中夹角的角度分布聚合度按从高到低的顺序排于前N位的基本点或者聚合度的值大于预定聚合度阈值的基本点作为道路消失点,其中N是大于等于1的整数,道路消失点是平行的道路分割物在视差俯瞰图中的交点,沿不同方向平行的道路分割物在视差俯瞰图中的交点不同;以及
以关于道路消失点的夹角的角度分布中角度的出现频度大于预定阈值的夹角和道路消失点所确定的直线作为表示道路分割物所在的平行线,
其中,聚合度反映分布的聚合程度。
CN201110409269.1A 2011-12-09 2011-12-09 道路分割物检测方法和装置 Active CN103164851B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110409269.1A CN103164851B (zh) 2011-12-09 2011-12-09 道路分割物检测方法和装置
EP12195430.9A EP2605181A3 (en) 2011-12-09 2012-12-04 Method and apparatus for detecting road partition
JP2012268295A JP6107097B2 (ja) 2011-12-09 2012-12-07 道路分割体検知方法及び装置
US13/708,013 US9373043B2 (en) 2011-12-09 2012-12-07 Method and apparatus for detecting road partition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110409269.1A CN103164851B (zh) 2011-12-09 2011-12-09 道路分割物检测方法和装置

Publications (2)

Publication Number Publication Date
CN103164851A CN103164851A (zh) 2013-06-19
CN103164851B true CN103164851B (zh) 2016-04-20

Family

ID=47429577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110409269.1A Active CN103164851B (zh) 2011-12-09 2011-12-09 道路分割物检测方法和装置

Country Status (4)

Country Link
US (1) US9373043B2 (zh)
EP (1) EP2605181A3 (zh)
JP (1) JP6107097B2 (zh)
CN (1) CN103164851B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN104252707B (zh) * 2013-06-27 2017-06-06 株式会社理光 对象检测方法和装置
CN104376297B (zh) * 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
CN103712602A (zh) * 2013-12-09 2014-04-09 广西科技大学 一种基于双目视觉道路障碍物自动检测的方法
KR101551026B1 (ko) * 2013-12-24 2015-09-07 현대자동차주식회사 차량 검출 방법
JP6299373B2 (ja) * 2014-04-18 2018-03-28 富士通株式会社 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
CN106157283A (zh) * 2015-04-01 2016-11-23 株式会社理光 道路分割物的检测方法和装置
EP3333828B1 (en) * 2015-08-04 2020-12-09 Nissan Motor Co., Ltd. Step detection device and step detection method
CN106228560B (zh) * 2016-07-28 2019-05-14 长安大学 一种复杂场景下的人数统计方法
JP7206583B2 (ja) * 2016-11-25 2023-01-18 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
CN107229908B (zh) * 2017-05-16 2019-11-29 浙江理工大学 一种车道线检测方法
JP6855325B2 (ja) * 2017-05-25 2021-04-07 京セラ株式会社 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム
CN109033927B (zh) * 2017-06-09 2022-01-04 株式会社理光 检测道路分割物的方法和装置以及计算机可读存储介质
KR102421855B1 (ko) 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
CN108399360B (zh) * 2018-01-22 2021-12-24 海信集团有限公司 一种连续型障碍物检测方法、装置及终端
CN108319931B (zh) * 2018-03-12 2020-11-06 海信集团有限公司 一种图像处理方法、装置及终端
KR102519666B1 (ko) 2018-10-15 2023-04-07 삼성전자주식회사 이미지 변환 장치 및 방법
CN111062911B (zh) * 2019-11-15 2023-08-18 北京中科慧眼科技有限公司 基于路面信息的成像环境评价方法、装置、系统和存储介质
WO2021241482A1 (ja) * 2020-05-25 2021-12-02 国立大学法人静岡大学 経路検出装置
US20230196791A1 (en) * 2021-12-21 2023-06-22 Gm Cruise Holdings Llc Road paint feature detection

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1292380C (zh) * 2004-06-24 2006-12-27 复旦大学 一种基于3-像素基元组合的直线描述与探测方法
EP2098992A1 (en) * 2006-11-08 2009-09-09 NEC Corporation Vanishing point detecting system, vanishing point detecting method, and vanishing point detecting program

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
ES2180110T3 (es) * 1997-11-24 2003-02-01 Weiglhofer Gerhard Detector de coherencia.
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
US7321386B2 (en) * 2002-08-01 2008-01-22 Siemens Corporate Research, Inc. Robust stereo-driven video-based surveillance
US7397929B2 (en) * 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
JP4107587B2 (ja) * 2003-12-17 2008-06-25 三菱電機株式会社 車線認識画像処理装置
JP2005251106A (ja) 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
JP2005346381A (ja) * 2004-06-02 2005-12-15 Calsonic Kansei Corp 立体物認識装置及び方法
EP2765533A1 (en) * 2004-07-26 2014-08-13 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
FR2874300B1 (fr) * 2004-08-11 2006-11-24 Renault Sas Procede de calibration automatique d'un systeme de stereovision
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
US7664315B2 (en) * 2004-11-03 2010-02-16 Tyzx, Inc. Integrated image processor
US7587081B2 (en) * 2005-09-28 2009-09-08 Deere & Company Method for processing stereo vision data using image density
JP4607193B2 (ja) * 2005-12-28 2011-01-05 本田技研工業株式会社 車両及びレーンマーク検出装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
WO2007124502A2 (en) * 2006-04-21 2007-11-01 Sarnoff Corporation Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
JP4797794B2 (ja) * 2006-05-24 2011-10-19 日産自動車株式会社 歩行者検出装置および歩行者検出方法
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
JP4868964B2 (ja) * 2006-07-13 2012-02-01 三菱ふそうトラック・バス株式会社 走行状態判定装置
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US8462988B2 (en) * 2007-01-23 2013-06-11 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
JP5145585B2 (ja) * 2007-06-08 2013-02-20 国立大学法人 熊本大学 物標検出装置
JP2009041972A (ja) * 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
US8120644B2 (en) * 2009-02-17 2012-02-21 Autoliv Asp, Inc. Method and system for the dynamic calibration of stereovision cameras
JP5188430B2 (ja) * 2009-03-24 2013-04-24 富士重工業株式会社 画像処理装置
EP2246806B1 (en) * 2009-04-29 2014-04-02 Autoliv Development AB Vision method and system for automatically detecting objects in front of a motor vehicle
JP5293815B2 (ja) * 2009-06-02 2013-09-18 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理用プログラム
TW201043507A (en) * 2009-06-05 2010-12-16 Automotive Res & Testing Ct Method for detection of tilting of automobile and headlamp automatic horizontal system using such a method
JP5375958B2 (ja) * 2009-06-18 2013-12-25 富士通株式会社 画像処理装置および画像処理方法
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
JP5350297B2 (ja) * 2010-03-17 2013-11-27 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
FR2958767B1 (fr) * 2010-04-09 2016-11-11 Commissariat Energie Atomique Procede de detection de cibles dans des images stereoscopiques.
JP5267592B2 (ja) * 2010-04-09 2013-08-21 株式会社デンソー 物体認識装置
JP2011237646A (ja) * 2010-05-11 2011-11-24 Panasonic Corp 3次元撮像装置
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
EP2458331B1 (en) * 2010-11-24 2016-01-27 Denso Corporation Road estimation device and method for estimating road
CN103262139B (zh) * 2010-12-15 2015-06-24 本田技研工业株式会社 行车道识别装置
US8489287B2 (en) * 2010-12-31 2013-07-16 Automotive Research & Test Center Vehicle roll over prevention safety driving system and method
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP5914013B2 (ja) * 2011-08-08 2016-05-11 東芝アルパイン・オートモティブテクノロジー株式会社 運転支援装置
US8818125B2 (en) * 2011-10-07 2014-08-26 Texas Instruments Incorporated Scene adaptive filter design for improved stereo matching
US9762881B2 (en) * 2011-11-03 2017-09-12 Texas Instruments Incorporated Reducing disparity and depth ambiguity in three-dimensional (3D) images
CN103123722B (zh) * 2011-11-18 2016-04-27 株式会社理光 道路对象检测方法和系统
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
US20130177237A1 (en) * 2012-01-09 2013-07-11 Gregory Gerhard SCHAMP Stereo-vision object detection system and method
JP2014006882A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1292380C (zh) * 2004-06-24 2006-12-27 复旦大学 一种基于3-像素基元组合的直线描述与探测方法
EP2098992A1 (en) * 2006-11-08 2009-09-09 NEC Corporation Vanishing point detecting system, vanishing point detecting method, and vanishing point detecting program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhencheng Hu;Zhencheng Hu;《IEEE Processing of Intelligent Vehicles Symposium》;20050608;第48-54页 *

Also Published As

Publication number Publication date
US20130148856A1 (en) 2013-06-13
JP2013123221A (ja) 2013-06-20
EP2605181A2 (en) 2013-06-19
US9373043B2 (en) 2016-06-21
CN103164851A (zh) 2013-06-19
EP2605181A3 (en) 2014-12-31
JP6107097B2 (ja) 2017-04-05

Similar Documents

Publication Publication Date Title
CN103164851B (zh) 道路分割物检测方法和装置
US10217007B2 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
Jog et al. Pothole properties measurement through visual 2D recognition and 3D reconstruction
JP6657789B2 (ja) 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
EP2662804B1 (en) Method and apparatus for detecting continuous road partition
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
CN103679691A (zh) 连续型道路分割物检测方法和装置
CN103177236A (zh) 道路区域检测方法和装置、分道线检测方法和装置
EP2637126B1 (en) Method and apparatus for detecting vehicle
CN103837139A (zh) 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN104376297A (zh) 道路上的线型指示标志的检测方法和装置
Perrollaz et al. A visibility-based approach for occupancy grid computation in disparity space
CN103489175A (zh) 路面检测方法和装置
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
CN107491065B (zh) 利用障碍物的地面边界信息检测物体的侧面的方法和装置
CN110667474B (zh) 通用障碍物检测方法、装置与自动驾驶系统
CN103679120A (zh) 不平道路的检测方法和系统
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
JP2023068010A (ja) 自己位置推定装置
CN103577790A (zh) 道路转弯类型检测方法和装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP5786793B2 (ja) 車両検出装置
CN104252707A (zh) 对象检测方法和装置
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant