CN103679691A - 连续型道路分割物检测方法和装置 - Google Patents

连续型道路分割物检测方法和装置 Download PDF

Info

Publication number
CN103679691A
CN103679691A CN201210360018.3A CN201210360018A CN103679691A CN 103679691 A CN103679691 A CN 103679691A CN 201210360018 A CN201210360018 A CN 201210360018A CN 103679691 A CN103679691 A CN 103679691A
Authority
CN
China
Prior art keywords
disparity map
partage
continuous type
type road
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210360018.3A
Other languages
English (en)
Other versions
CN103679691B (zh
Inventor
刘殿超
刘媛
刘童
师忠超
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201210360018.3A priority Critical patent/CN103679691B/zh
Priority to JP2013183550A priority patent/JP6273725B2/ja
Priority to EP13183432.7A priority patent/EP2711867A3/en
Priority to US14/025,008 priority patent/US9311542B2/en
Publication of CN103679691A publication Critical patent/CN103679691A/zh
Application granted granted Critical
Publication of CN103679691B publication Critical patent/CN103679691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

公开了具有高度的连续型道路分割物检测方法和检测装置。所述检测方法包括:获得包括该连续型道路分割物的视差图以及对应的U视差图;获取从前N帧的U视差图检测到该连续型道路分割物时的中间检测结果;利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物。

Description

连续型道路分割物检测方法和装置
技术领域
本发明总体涉及图像处理,更具体地涉及连续型道路分割物的检测方法和检测装置。
背景技术
驾驶辅助系统的应用日渐普及。而道路或车道警告系统(Lane/Roaddetection warning,LDW/RDW)是驾驶辅助系统的子系统,可以避免碰撞,更准确地确定驾驶方向等。道路或车道检测对于LDW/RDW系统非常关键,只有在知道了道路信息的基础上才可能做进一步的处理,例如警告。一般通过检测道路分割物来检测道路或车道。
道路分割物包括路肩石、白线、栅栏和其他能够标识路的区域以及车道的物体。在道路分割物中,存在具有一定高度的连续型道路分割物,常见的比如栅栏、灌木丛、路肩石等。
对于具有一定高度的连续型道路分割物,目前已经提出了一些检测方法。
例如,在非专利文献1,Giancarlo Alessandretti,Alberto Broggi,and PietroCerri等人的文章Vehicle and Guard Rail Detection Using Radar and Vision DataFusion,IEEE 2007 TRANSACTIONS ON INTELLIGENT TRANSPORTATIONSYSTEMS中,介绍了一种雷达和光学相机相结合输入的车辆和栅栏检测方法。雷达图像辅助提供了灰度图像无法获取的材质信息,从而帮助实现车辆和栅栏的检测。然而,该方法由于环境条件的变化和视觉上产生的几何形变,因此在实际应用过程中很难获得稳定的结果,并且运算量也非常大。
因此,希望能提供一种具有一定高度的连续型道路分割物的检测技术,该技术能够在复杂的环境中更加稳定准确,具有较高的检测率,并且运算量能够大幅减少。
发明内容
根据本发明的一个方面,提供了一种具有高度的连续型道路分割物检测方法,包括:获得包括该连续型道路分割物的视差图以及对应的U视差图;获取从前N帧的U视差图检测到该连续型道路分割物时的中间检测结果;利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物。
根据本发明的另一个方面,提供了一种具有高度的连续型道路分割物检测装置,包括:图像获取部分,用于获得包括该连续型道路分割物的视差图以及对应的U视差图;中间检测结果获取部分,用于获取从前N帧的U视差图检测到该连续型道路分割物时的中间检测结果;检测部分,用于利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物。
在根据本发明的实施例的具有高度的连续型物体检测方法和装置中,通过追踪获取并利用在历史帧U视差图中进行检测的中间检测结果,来从当前帧U视差图检测连续型道路分割物,因此可以大大减少检测的计算量,提高检测准确性,并提高检测效率。
附图说明
图1示意性地示出了具有栅栏部分的视差图以及对应的U视差图和V视差图;
图2示出了根据本发明第一实施例的栅栏检测方法的总体流程图;
图3示出了根据本发明第一实施例的栅栏检测方法的子流程图;
图4是栅栏在U视差图中的示意图;
图5是栅栏在U视差图中的另一示意图;
图6示意性地示出了视差图中平行于地面的切片、视差图落在切片上的视差点形成的V视差图以及视差图落在切片上的视差点形成的U视差图;
图7示出了根据本发明一个实施例的具有高度的连续型道路分割物检测装置的总体配置图;以及
图8是示出根据本发明实施例的具有高度的连续型道路分割物检测系统的总体硬件框图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
在本发明的实施例中,使用了视差、视差图、V视差图和U视差图的概念。这些概念是本领域公知的,因此在这里只对这些概念进行简单的介绍。
视差,是指从相隔一定距离的两个点观察同一个目标所产生的方向差异。当利用例如双目相机拍摄同一个目标的左右两幅图像时,该目标的视差可以理解为该目标在左图像中的横坐标与在右图像中的横坐标之间的差。
视差图(disparity map)是以任一图像为基准图像,其尺寸为该基准图像的尺寸,并且其每个点(像素点)的灰度值为基准图像中对应点的视差的图像。可以以本领域公知的很多方式获得视差图。例如,可以从双目相机拍摄的左图像和右图像计算得到视差图,可以从多目相机或立体相机拍摄的图像计算得到视差图,或者可以通过立体视图中的深度图计算得到视差图。
基准图像中的点的坐标可以表示为(x,y),其中x为横坐标,y为纵坐标。在通过转换该基准图像而获得的二维视差图中,与点(x,y)对应的点的坐标可以表示为(u,v),其中u为横坐标,v为纵坐标,并且u=x,v=y。视差图中每个点处的灰度值为该点处的视差,用d表示。可替换地,可以将视差图中的点表示为(u,v,d)以便同时反映点的坐标和视差。
V视差图和U视差图可以从视差图导出。V视差图看起来像是原始三维场景的测视图,其横坐标轴为d轴,纵坐标轴为v轴,其上的点可表示为(d,v),并且点(d,v)的灰度值(亮度值)是对应视差图的纵坐标为v的行中视差等于d的点的数量,因此,可以通过统计该数量或者使用本领域公知的其他方法来从视差图导出V视差图。U视差图看起来像是原始三维场景的鸟瞰图,其横坐标轴为u轴,纵坐标轴为d轴,其上的点可表示为(u,d),并且点(u,d)的灰度值(亮度值)是对应视差图的横坐标为u的列中视差等于d的点的数量,因此,可以通过统计该数量或者使用本领域公知的其他方法来从视差图导出U-视差图。图1示意性地示出了具有栅栏部分的视差图以及对应的U视差图和V视差图。
根据本发明实施例的检测技术可以应用于任何具有高度的连续型道路分割物。所谓具有高度的连续型道路分隔物指的是以路面为基准具有一定高度、并沿道路方向延伸的具有分割道路功能的物体,例如路边的栅栏、灌木丛、路肩石等。需要注意的是,这里物体的高度无需固定,也不需要等高。在下文中将以栅栏为例,对根据本发明实施例的用于检测具有高度的连续型道路分割物的方法进行描述。
<第一实施例>
图2示出了根据本发明第一实施例的栅栏检测方法的总体流程图。
如图2所示,在步骤S21中,获得包括该栅栏的视差图以及对应的U视差图。
任何现有的获取视差图的方法均可以用于本发明。例如,可以通过双目相机、多目相机、立体相机拍摄并计算得到包括栅栏的视差图。具体地,例如,可以通过双目相机来拍摄左图像和右图像,基于左图像和右图像计算得到视差图。或者,可以从立体视图中获得深度图,根据深度图得到视差图。获得视差图后,由视差图变换得到对应的U视差图和对应的V视差图。
在步骤S22中,获取从前一帧的U视差图检测到栅栏时的中间检测结果。
一般情况下,栅栏呈直线形式延伸,因而在U视差图中表现为直线,从而可以通过在U视差图中检测直线来检测栅栏。具体地,可以使用各种直线检测方法在U视差图中检测直线从而定位栅栏的位置,随后通过用预定的检测参数对检测出的直线进行过滤,获得最终的检测结果。众所周知,存在着多种从图像中检测直线的方法,在以下的说明中,将以霍夫变换为例进行描述。
霍夫变换是一种常用的从图像中检测直线的方法。平面直角坐标系中的直线方程y=kx+b经过霍夫变换可以表示为r=x·cosθ+y·sinθ,其中r表示该直线与原点之间的距离,而θ表示该直线与x轴的夹角。这样,对于具有坐标(x0,y0)的任意一点,穿过该点的所有直线满足r(θ)=x0·cosθ+y0·sinθ。当通过霍夫变换检测直线时,对于图像中的每一个点确定穿过该点的以r,θ的形式表示的直线的集合(即对于0°到360°的范围中以一定角度间隔取样的每一个θ角计算对应的r值),穿过每一个点的直线的集合的坐标可以构成霍夫空间中的一条曲线,多条曲线在霍夫空间中的交点代表由相应点形成的直线。通常,由最多条曲线相交形成的交点代表检测出的直线。
在检测连续视频信号中的栅栏时,一种最基本的方式是在每一帧U视差图中单独地检测直线以确定栅栏的位置,即在当前帧U视差图中进行检测时不参考在历史各帧的U视差图中检测到直线时的参数;或者仅仅参考历史各帧中的最终检测结果在当前帧U视差图中进行检测。容易想到,这样的检测方法的检测效率必然较低,并且计算量很大。
如上所述,栅栏通常呈连续的直线形式延伸,因此在通过例如上述霍夫变换检测直线时,相邻若干帧U视差图中检测到的直线的θ角应该变化不大。因此,当在当前帧U视差图中检测直线时,可以追踪并利用前一帧U视差图中检测到的直线的θ角,从而减小当前帧中进行检测所需的计算量。
在步骤S23中,利用所获得的中间检测结果,从当前帧U视差图检测栅栏。
在该步骤中,利用所获得的中间检测结果,同样使用例如霍夫变换在当前帧U视差图中检测直线从而定位栅栏的位置,随后通过用预定的检测参数对检测出的直线进行过滤,获得最终的检测结果。图3示出了该处理过程的示例性流程图。下面,将结合图3进行具体的描述。
在步骤S231,根据所获得的中间检测结果缩小从当前帧U视差图进行检测的范围。具体的,在当前帧中,仅在从步骤S220获得的、在前一帧U视差图中检测到的直线的θ角的周围(即+/-Δ°的范围中)以一定角度间隔取样θ角并计算对应的r值,即缩小了检测直线的霍夫空间,从而可以减小计算量。
在步骤S232,在缩小后的范围中检测出候选栅栏。具体的,例如在利用霍夫变换检测直线时,确定缩小的霍夫空间中的峰值点,即由最多条曲线相交形成的交点,由此得到由该峰值点表示的直线。
在步骤S233,判断检测出的候选栅栏是否满足预定的检测参数的阈值条件,并且当满足阈值条件时,将该检测出的候选栅栏作为检测结果。所述检测参数及其阈值条件用于反映目标栅栏的特征,并且可以根据具体情况和要求预先确定。例如,阈值条件可以是直线上的点数是否达到要求阈值(例如250个点)、检测出的直线的长度是否满足最小阈值(例如对应于250个像素值的长度)、形成的直线上是否有超过阈值(例如40个像素)的裂口,等等任何适当的条件。只有当检测出的栅栏满足阈值条件时,才将其作为正确的检测结果。
在以上的描述中,在从当前帧U视差图检测栅栏时,仅追踪并利用前一帧U视差图中检测到的直线的θ角。事实上,追踪并利用前N帧U视差图中检测到的直线的θ角,以在当前帧U视差图中进行检测也是可以的。例如,可以在步骤S22中获取分别对应于前N帧U视差图的N个θ角,随后通过例如加权取平均值、简单取平均值等任何适当的方法确定在步骤S23中将要利用的θ角。接着在步骤S23中,利用该确定的θ角,从当前帧U视差图检测栅栏。
上面以霍夫变换为例对根据本发明实施例的栅栏检测方法进行了描述。实际上,可以采用各种其他线检测方法在U视差图中检测直线从而定位栅栏的位置。容易理解,当采用除了霍夫变换以外的其他线检测方法时,可以类似地追踪获取和利用相应的中间检测参数。
在上述本发明第一实施例的检测方法中,通过追踪获取并利用前N帧的U视差图检测到栅栏时的中间检测结果,来从当前帧U视差图检测栅栏。因此,可以大大减少检测的计算量,提高检测准确性,并提高检测效率。
<第二实施例>
在第一实施例中,通过追踪获取并利用历史帧的U视差图的中间检测结果,减少了当前帧的检测中的计算量,从而提高了检测效率。在本实施例中,通过追踪并自适应地调整检测参数的阈值条件,进一步提高了检测效率,同时增加了检测物体时的适应性和鲁棒性。
如前所述,检测参数及其阈值条件用于反映目标栅栏的特征,并且可以根据具体情况和要求预先确定。直线检测参数通常有两种类型,一种是基本参数,例如最小线长,最大裂口长度等,它们一般根据道路状况和栅栏特点变化比较小;另一种是特别参数,例如线上点的数目、线上点的密度,点在线上的允许误等,这些参数会受到例如光照、天气等环境的影响,因此相较于基本参数变化较大。对于这两种参数,都可以进行追踪,并根据当前帧的信息(例如直方图、U视差图中像素点的个数等等)或历史帧和当前帧中应用的检测参数的阈值进行自适应的调整,以便更加适应各种环境变化,提高检测的准确率和效率。
检测参数及其阈值条件的含义以及如何选择适当的检测参数并设定其阈值条件均是本领域技术人员公知的。此处,对其中示例性的最小线长、最大裂口长度、线上点的数量、线上点的密度、点在线上的允许误差进行简单的介绍,以便于理解本发明。
最小线长是对检测出的直线的长度的要求。当检测出的直线的长度达到阈值时,该直线才有可能被保留下来作为检测结果。
由于目标栅栏未必总是连续的,所以代表栅栏的直线可能会有断断续续的情况,允许一定程度的断裂可以增加检测到完整目标物体的机会。因此,用最大裂口长度描述允许在直线上存在的裂口的最大长度。
线上点的密度是一个重要的参数,如果检测出的直线上的点的密度大于该密度阈值,则认为该直线上有足够的点,因此是有效的;否则若密度过低,则认为该直线是无效的,即不能作为检测结果。
线上点的数目与线上点的密度是类似的,如果检测出的直线上的点的数目大于阈值,则认为该直线上有足够的点,因此是有效的;否则若数目过少,则认为该直线是无效的,即不能作为检测结果。
由于点的分布是杂乱无章的,因此各个点不一定完全准确地落在某条直线上,因此允许一定的距离误差就能使得更多的点落在线上,增加检测到完整目标物体的机会。点在线上的允许误差是用于反映这一特征的检测参数。只要点到线的距离小于该参数的设定阈值,则认为点在该条直线上。例如,以通过霍夫变换检测直线为例,如前所述,穿过每一个点的直线的集合的坐标可以构成霍夫空间中的一条曲线,多条曲线在霍夫空间中的交点代表由相应点形成的直线。当多个点准确的落在某一条直线上时,多条对应的曲线在霍夫空间中的交点的尖峰形态很强,即该交点是一个精确的点。然而当各个点不能完全准确落在某条直线上,所述交点的尖峰形态可能较为平缓,即该交点并非是一个精确的点,而是某一小的区域,此时需要设定点在线上的允许误差。更明确的说,交点的尖峰形态越平缓,点在线上的允许误差应该设定得相对越大。
容易理解,检测参数并不止以上所举例说明的,而是可以根据具体环境设定任何适当的其他检测参数。
根据本实施例的栅栏检测方法与第一实施例中的方法基本相同,其区别仅在于步骤S232。具体的,在本实施例的该步骤S232’中,当缩小后的范围中能够形成栅栏的像素点数目太少时,调整检测参数的阈值,同时在该缩小后的范围中检测出候选的栅栏。
举例来说,假设在拍摄原始三维场景图时,由于不同天气、不同时间、不同光照、不同场景等环境因素的影响,导致固定阈值产生很多局限性,例如某一段时间内光照较弱导致曝光量较低,导致当前帧的U视差图中可能形成栅栏的像素点的数目太少(例如小于某一阈值),以致将从该U视差图中检测出的直线将无法满足上述检测参数的阈值条件。此时,可以调整检测参数的阈值,以降低对检测出的直线的参数要求,使得在后续的步骤S233中能够得到满足检测参数的阈值条件的检测结果。例如,在当前帧的U视差图中有可能形成栅栏的像素点的数目太少时,可以减小例如前述的最小线长、线上点的数量、线上点的密度的阈值,也可以增大例如最大裂口长度、点在线上的允许误差的阈值。通过这种自适应的调整检测参数,可以减少漏检并提高检测效率。可以理解,如果当前帧的U视差图中可能形成栅栏的像素点的数目太多,也可以与上述调整相反地调整检测参数的阈值,以提高对检测出的直线的参数要求,从而提高检测的精确度。
以上描述了根据当前帧U视差图的信息自适应地调整该当前帧U视差图中应用的检测参数的阈值。另一方面,在本实施例中,可以根据历史帧和当前帧U视差图的信息特征自适应的调整检测参数,从而增加检测物体时候的适应性和鲁棒性。
例如,假设如上所述由于突发环境因素例如反光等,导致曝光变化从而影响获取图像质量,因此在从当前帧的U视差图检测栅栏时对检测参数的阈值进行了较大的调整,而在下一帧中导致曝光量变化的突发环境因素消失,即环境因素又恢复到与形成历史帧U视差图时相似。或者,例如假设在从当前帧的U视差图检测栅栏时,错误地对检测参数的阈值进行了较大的调整。可以理解,此时该进行了较大的调整的检测参数显示不适合后续帧的U视差图。为了解决这一问题,可以在第一实施例中描述的检测方法的步骤S23之后,追踪当前帧U视差图和至少前一帧U视差中应用的检测参数的阈值,并据此调整将在下一帧U视差图中应用的检测参数的阈值,以避免局部最小值问题。
举例来说,假设当前帧为t,则对于以上作为示例描述的几个检测参数,可以根据下面的计算式调整第t+1帧中使用的检测参数的阈值:
最小线长:length(t+1)=F(length(t),length(t-1),length(t-2),…)
最大裂口长度:gap(t+1)=F(gap(t),gap(t-1),gap(t-2),…)
线上点的数量:numinline(t+1)=F(numinline(t),numinline(t-1),
numinline(t-2),...)
线上点的密度:density(t+1)=F(density(t),density(t-1),density(t-2),...)
点在线上的允许误差:bias(t+1)=F(bias(t),bias(t-1),bias(t-2),...)   (1)
其中F(...)可以是任何进行追踪调整的算法,例如为了考虑处理速度可以采用简单的计算平均值的方式。并且从上面的计算式中可以看出,可以基于当前帧和N个历史帧中的检测参数进行调整,其中N≥1,并且具体取值可以根据具体情况由用户适当地设定。
在上述本发明第二实施例的检测方法中,描述了根据当前帧U视差图的信息自适应地调整当前帧U视差图中应用的检测参数的阈值,以及跟踪获取当前帧U视差图和历史帧U视差图的信息自适应地调整下一帧U视差图中应用的检测参数的阈值。通过这样的自适应调整,能够进一步提高检测效率,同时增加检测物体时的适应性和鲁棒性。
<第三实施例>
根据本实施例的栅栏检测方法与第一实施例和第二实施例中的方法基本相同,其区别仅在于在步骤S231之前还包括步骤S230:确定U视差图中包含有栅栏的感兴趣区域。也就是说,在本实施例中,不是从包含有栅栏的整个U视差图中进行检测,而是仅在整个U视差图中的感兴趣区域中进行检测。
感兴趣区域通常是根据实验结果或者历史经验确定的。例如,在观察很多栅栏在U视差图上的位置后总结出,左侧栅栏的角度通常在30度和45之间,如图4和图5所示。由此可以确定U视差图中包含栅栏的感兴趣区域(即角度在30度和45之间的区域),并且通过仅在该感兴趣区域中进行检测,可以提高检测率和缩短计算时间。类似的,可以根据栅栏的例如位置、长度范围等确定U视差图中的感兴趣区域。
<变型>
以上已经对根据本发明实施例的栅栏检测方法进行了描述,下面将对所述检测方法的一些可能的变型进行描述。
在以上的实施例中,描述了从U视差图检测栅栏的方法。如前所述,获取U视差图的方法是本领域中公知的,并且由于在拍摄的原始三维场景图中,路面几乎是整个三维场景中的最低平面,因此通常U视差图是指原始视差图落在路面上的视差点形成的U视差图。而在本发明的一个变型中,U视差图采用原始视差图落在与路面平行的切片上的视差点形成的U视差图。
设想一下,在视差图对应的三维世界中,用平行于地面的切片切割该三维世界中的所有物体,这时与切片相交的物体的点都位于同一平行于地面的平面上,通过适当选取切片的高度,切片可以只与高度在某范围内的物体相交。例如,在检测栅栏的情况下,可以在通常的栅栏高度取值范围内安排切片,这样的切片不与路面上的白线、路基以及高处的建筑物相交,从而避免了这些物体的干扰,使得要处理的切片上的信息大大降低,因此可以减少检测的计算量,提高检测效率。
图6中的左上图示意性地示出了视差图中平行于路面的切片,如其中灰色部分所示,图6中的右上图示意性地示出了视差图落在该切片上的视差点形成的V视差图,其中V视差图中的直线对应于视差图中的水平切片,图6中的左下图示意性地示出了视差图落在该切片上的视差点形成的U视差图,其中的栅栏看起来近似直线。
为了获得视差图落在切片上的视差点形成的U视差图,可以利用各种已知的方法。例如,参见本申请人的申请号为201210147642.5的发明中描述的示例性方法。
前面各实施例均以所检测的栅栏是直线型的情况加以说明,但本发明并不局限于此。在本发明的又一个变型中,可以对随着道路的拐弯而呈弯曲形式的栅栏进行检测。
具体地,在该变型中可以从包括弯曲栅栏的U视差图检测多个相连但斜率不同的线段来拟合曲线,从而检测弯曲的栅栏。
在以上根据本发明实施例的方法中,以栅栏为例进行了描述,但如上所述,本发明的方法可以应用任意具有高度的连续型道路分割物的检测。
<具有高度的连续型道路分割物检测装置的总体配置>
图7示出了根据本发明一个实施例的具有高度的连续型道路分割物检测装置的总体配置图。
如图7所示,该连续型道路分割物检测装置700包括:图像获取部分710,用于获得包括该连续型道路分割物的视差图以及对应的U视差图;中间检测结果获取部分720,用于获取从前N帧的U视差图检测到该连续型道路分割物时的中间检测结果;检测部分730,用于利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物。
虽然图7中未示出,但是该连续型道路分割物检测装置700还可以包括检测参数调整部分,用于追踪当前帧U视差图和/或至少前一帧U视差中应用的检测参数的阈值,并据此调整将在下一帧U视差图中应用的检测参数的阈值。
另外,虽然图中并未示出,图7中的检测部分730可以例如包括:范围确定部分,根据中间检测结果缩小从当前帧U视差图进行检测的范围;候选目标检测部分,在缩小后的范围中检测出候选的连续型道路分割物;检测结果确定部分,判断检测出的候选的连续型道路分割物是否满足预定的检测参数的阈值条件,并且当满足阈值条件时,将该检测出的候选的连续型道路分割物作为检测结果。
<系统硬件配置>
本发明还可以通过一种具有高度的连续型道路分割物硬件检测系统来实施。图8是示出根据本发明实施例的具有高度的连续型道路分割物检测系统的总体硬件框图。如图8所示,该检测系统800包括:输入设备810,用于从外部输入有关图像或信息,例如立体相机拍摄的左右图像或深度信息,或者连续型道路分割物部分的视差图等,该摄入设备可以用例如键盘、鼠标器、以及通信网络及其所连接的远程输入设备来实现;处理设备820,用于实施上述的按照本发明实施例的具有高度的连续型道路分割物检测方法,或者实施为上述的具有高度的连续型道路分割物检测装置,该处理设备可以用例如计算机的中央处理器或其它具有处理能力的芯片来实现;输出设备830,用于向外部输出实施连续型道路分割物检测所得到的结果,该输出设备可以用例如显示器、打印机、以及通信网络及其所连接的远程输出设备来实现;以及存储设备840,用于以易失或非易失的方式存储上述连续型道路分割物检测过程所涉及的图像、视差图、U视差图、V视差图、中间检测结果、检测参数及其阈值等各种图像和数据,该存储设备可以用例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等各种易失或非易失性存储器来实现。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何部分,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现。
因此,本发明公开的检测技术还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。本发明所公开的检测技术也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现,或者通过存储有这样的程序产品的任意存储介质来实现。
还需要指出的是,在本发明的装置和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。另外,执行上述系列处理的步骤可以按照描述的先后顺序执行,但是各步骤并非必须顺序执行,某些步骤可以并行或彼此独立地执行。
上述的具体实施方式并不构成对本发明保护范围的限制。本领域技术人员应该明白,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种具有高度的连续型道路分割物检测方法,包括:
获得包括该连续型道路分割物的视差图以及对应的U视差图;
获取从前N帧的U视差图检测到该连续型道路分割物时的中间检测结果;
利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物。
2.如权利要求1所述的检测方法,其中所述U视差图是视差图落在与原始三维场景中的路面平行的切片上的视差点形成的U视差图。
3.如权利要求1所述的检测方法,其中利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物进一步包括:确定当前帧U视差图中包含有该连续型道路分割物的感兴趣区域。
4.如权利要求1所述的检测方法,其中通过利用霍夫变换从U视差图检测代表该连续型道路分割物的直线来检测该连续型道路分隔物,所述中间检测结果是θ值,该θ值表示代表连续型道路分割物的直线与X轴的夹角。
5.如权利要求1-4中任意一项所述的检测方法,其中利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物进一步包括:
根据所述中间检测结果缩小从当前帧U视差图进行检测的范围,
在缩小后的范围中检测出候选的连续型道路分割物,
判断检测出的候选的连续型道路分割物是否满足预定的检测参数的阈值条件,并且当满足阈值条件时,将该检测出的候选的连续型道路分割物作为检测结果。
6.如权利要求5所述的检测方法,其中在缩小后的范围中检测出候选的连续型道路分割物进一步包括:当缩小后的范围中能够形成连续型道路分割物的像素点数目太少时,调整所述检测参数的阈值。
7.如权利要求6所述的检测方法,还包括步骤,追踪当前帧U视差图和至少前一帧U视差中的应用的检测参数的阈值,并据此调整将在下一帧U视差图中应用的检测参数的阈值。
8.如权利要求5所述的检测方法,其中所述预定的检测参数包括以下中的至少一项:代表该连续型道路分割物的线的最小线长、该线上的最大裂口长度、该线上的像素点的数量、该线上的像素点的密度、像素点在该线上的允许误差。
9.如权利要求1到8中任意一项所述的检测方法,其中利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物进一步包括:通过从U视差图检测多个相连但斜率不同的线段,来检测弯曲的连续型道路分割物。
10.一种具有高度的连续型道路分割物检测装置,包括:
图像获取部分,用于获得包括该连续型道路分割物的视差图以及对应的U视差图;
中间检测结果获取部分,用于获取从前N帧的U视差图检测到该连续型道路分割物时的中间检测结果;
检测部分,用于利用所获得的中间检测结果,从当前帧U视差图检测该连续型道路分割物。
CN201210360018.3A 2012-09-24 2012-09-24 连续型道路分割物检测方法和装置 Active CN103679691B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210360018.3A CN103679691B (zh) 2012-09-24 2012-09-24 连续型道路分割物检测方法和装置
JP2013183550A JP6273725B2 (ja) 2012-09-24 2013-09-05 連続型道路分割体検知方法及び検知装置
EP13183432.7A EP2711867A3 (en) 2012-09-24 2013-09-06 Method and apparatus for detecting continuous road partition
US14/025,008 US9311542B2 (en) 2012-09-24 2013-09-12 Method and apparatus for detecting continuous road partition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210360018.3A CN103679691B (zh) 2012-09-24 2012-09-24 连续型道路分割物检测方法和装置

Publications (2)

Publication Number Publication Date
CN103679691A true CN103679691A (zh) 2014-03-26
CN103679691B CN103679691B (zh) 2016-11-16

Family

ID=49115429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210360018.3A Active CN103679691B (zh) 2012-09-24 2012-09-24 连续型道路分割物检测方法和装置

Country Status (4)

Country Link
US (1) US9311542B2 (zh)
EP (1) EP2711867A3 (zh)
JP (1) JP6273725B2 (zh)
CN (1) CN103679691B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157283A (zh) * 2015-04-01 2016-11-23 株式会社理光 道路分割物的检测方法和装置
CN106339659A (zh) * 2015-07-10 2017-01-18 株式会社理光 检测道路分割物的方法和装置
CN107392103A (zh) * 2017-06-21 2017-11-24 海信集团有限公司 路面车道线的检测方法及装置、电子设备
CN108345893A (zh) * 2018-03-15 2018-07-31 京东方科技集团股份有限公司 一种直线检测方法、装置、计算机存储介质及终端
CN108389228A (zh) * 2018-03-12 2018-08-10 海信集团有限公司 地面检测方法、装置及设备
CN109726681A (zh) * 2018-12-29 2019-05-07 北京航空航天大学 一种基于机器学习识别与图像分割的盲道识别定位算法
CN111354032A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种生成视差图的方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
KR101551026B1 (ko) * 2013-12-24 2015-09-07 현대자동차주식회사 차량 검출 방법
CN104700072B (zh) * 2015-02-06 2018-01-19 中国科学院合肥物质科学研究院 基于车道线历史帧的识别方法
WO2017047282A1 (ja) 2015-09-15 2017-03-23 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
KR101699014B1 (ko) * 2015-12-11 2017-01-23 재단법인대구경북과학기술원 스테레오 카메라를 이용한 객체 검출 방법 및 장치
KR101677875B1 (ko) * 2016-04-12 2016-11-18 숭실대학교산학협력단 선분 인식 방법 및 장치
CN107976688A (zh) * 2016-10-25 2018-05-01 菜鸟智能物流控股有限公司 一种障碍物的检测方法及相关装置
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
KR102541560B1 (ko) * 2017-09-14 2023-06-08 삼성전자주식회사 객체 인식 방법 및 장치
CN108132675B (zh) * 2017-11-23 2020-02-21 东南大学 一种工厂巡视无人机自主路径巡航以及智能避障方法
CN108416305B (zh) * 2018-03-12 2020-12-01 海信集团有限公司 连续型道路分割物的位姿估计方法、装置及终端
WO2020090250A1 (ja) * 2018-10-31 2020-05-07 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120644B2 (en) * 2009-02-17 2012-02-21 Autoliv Asp, Inc. Method and system for the dynamic calibration of stereovision cameras
CN102668540A (zh) * 2009-12-25 2012-09-12 株式会社理光 成像设备、车载成像系统、路面外观检测方法以及目标检测设备
CN103186771A (zh) * 2011-12-27 2013-07-03 哈曼(中国)投资有限公司 用于检测障碍物的方法和驾驶员辅助系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
JP4067340B2 (ja) * 2002-06-05 2008-03-26 富士重工業株式会社 対象物認識装置および対象物認識方法
CN102467655A (zh) 2010-11-05 2012-05-23 株式会社理光 多角度人脸检测方法和系统
CN103390269B (zh) * 2012-05-11 2016-12-28 株式会社理光 连续型道路分割物检测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120644B2 (en) * 2009-02-17 2012-02-21 Autoliv Asp, Inc. Method and system for the dynamic calibration of stereovision cameras
CN102668540A (zh) * 2009-12-25 2012-09-12 株式会社理光 成像设备、车载成像系统、路面外观检测方法以及目标检测设备
CN103186771A (zh) * 2011-12-27 2013-07-03 哈曼(中国)投资有限公司 用于检测障碍物的方法和驾驶员辅助系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
R LABAYRADE ET AL: "Real time obstacle detection in stereovision on non flat road geometry through "v-disparity" representation", 《INTELLIGENT VEHICLE SYMPOSIUM, IEEE》, vol. 2, 17 June 2002 (2002-06-17), pages 646 - 651, XP010635896 *
ZHENCHENG HU ET AL: "A Complete U-V-Disparity Study for Stereovision Based 3D Driving Environment Analysis", 《FIFTH INTERNATIONAL CONFERENCE ON 3-D DIGITAL IMAGING AND MODELING》, 13 June 2005 (2005-06-13), pages 204 - 211, XP010810998, DOI: doi:10.1109/3DIM.2005.6 *
陈雪 等: "基于双目立体视觉的障碍物检测方法", 《软件导刊》, vol. 11, no. 2, 28 February 2012 (2012-02-28), pages 146 - 148 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157283A (zh) * 2015-04-01 2016-11-23 株式会社理光 道路分割物的检测方法和装置
CN106339659A (zh) * 2015-07-10 2017-01-18 株式会社理光 检测道路分割物的方法和装置
CN107392103A (zh) * 2017-06-21 2017-11-24 海信集团有限公司 路面车道线的检测方法及装置、电子设备
CN107392103B (zh) * 2017-06-21 2020-06-26 海信集团有限公司 路面车道线的检测方法及装置、电子设备
CN108389228A (zh) * 2018-03-12 2018-08-10 海信集团有限公司 地面检测方法、装置及设备
CN108389228B (zh) * 2018-03-12 2021-04-20 海信集团有限公司 地面检测方法、装置及设备
CN108345893A (zh) * 2018-03-15 2018-07-31 京东方科技集团股份有限公司 一种直线检测方法、装置、计算机存储介质及终端
CN111354032A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种生成视差图的方法及装置
CN111354032B (zh) * 2018-12-24 2023-10-20 杭州海康威视数字技术股份有限公司 一种生成视差图的方法及装置
CN109726681A (zh) * 2018-12-29 2019-05-07 北京航空航天大学 一种基于机器学习识别与图像分割的盲道识别定位算法

Also Published As

Publication number Publication date
US9311542B2 (en) 2016-04-12
CN103679691B (zh) 2016-11-16
US20140086451A1 (en) 2014-03-27
EP2711867A3 (en) 2016-05-25
JP6273725B2 (ja) 2018-02-07
JP2014067406A (ja) 2014-04-17
EP2711867A2 (en) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103679691A (zh) 连续型道路分割物检测方法和装置
CN103164851B (zh) 道路分割物检测方法和装置
Jog et al. Pothole properties measurement through visual 2D recognition and 3D reconstruction
Shinzato et al. Road terrain detection: Avoiding common obstacle detection assumptions using sensor fusion
Yao et al. Estimating drivable collision-free space from monocular video
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
CN101930609B (zh) 接近的目标物检测方法及装置
CN103177236A (zh) 道路区域检测方法和装置、分道线检测方法和装置
CN105335955A (zh) 对象检测方法和对象检测装置
CN104299244A (zh) 基于单目相机的障碍物检测方法及装置
CN103489175A (zh) 路面检测方法和装置
El Bouziady et al. Vehicle speed estimation using extracted SURF features from stereo images
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN102609938A (zh) 一种从单幅图像检测道路消失点的方法
Muresan et al. Real-time object detection using a sparse 4-layer LIDAR
Li et al. Lane marking quality assessment for autonomous driving
Samadzadegan et al. Automatic lane detection in image sequences for vision-based navigation purposes
Mehtab et al. 3D vehicle detection using cheap LiDAR and camera sensors
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
Fakhfakh et al. Weighted v-disparity approach for obstacles localization in highway environments
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
Ho et al. Localization on freeways using the horizon line signature
Srivastava et al. Lane detection using median filter Wiener filter and integrated Hough transform
Hu et al. Roadside curb detection based on fusing stereo vision and mono vision
Lee et al. A stereo matching algorithm based on top-view transformation and dynamic programming for road-vehicle detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant