CN103679127A - 检测道路路面的可行驶区域的方法和装置 - Google Patents

检测道路路面的可行驶区域的方法和装置 Download PDF

Info

Publication number
CN103679127A
CN103679127A CN201210358202.4A CN201210358202A CN103679127A CN 103679127 A CN103679127 A CN 103679127A CN 201210358202 A CN201210358202 A CN 201210358202A CN 103679127 A CN103679127 A CN 103679127A
Authority
CN
China
Prior art keywords
disparity map
road
detection window
map
pavement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210358202.4A
Other languages
English (en)
Other versions
CN103679127B (zh
Inventor
游赣梅
鲁耀杰
师忠超
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201210358202.4A priority Critical patent/CN103679127B/zh
Priority to JP2013183551A priority patent/JP6295553B2/ja
Priority to EP13185130.5A priority patent/EP2713309B1/en
Priority to US14/034,689 priority patent/US9242601B2/en
Publication of CN103679127A publication Critical patent/CN103679127A/zh
Application granted granted Critical
Publication of CN103679127B publication Critical patent/CN103679127B/zh
Priority to JP2018028660A priority patent/JP6531846B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种检测道路路面的可行驶区域的方法和设备。所述方法包括：根据包括道路路面的灰度图导出视差图，并且从该视差图中检测道路路面；从视差图中删除相对于道路路面的高度大于预定高度阈值的部分，产生子视差图；将该子视差图转换为U-视差图；在U-视差图中检测可行驶区域；以及将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域。上述方法和设备不依赖于道路上的白线或栅栏，因此具有更广泛的应用范围。此外，所述方法和装置利用从视差图获得的U-视差图来检测道路路面的可行驶区域，具有良好的噪声鲁棒性和可靠性。

Description

检测道路路面的可行驶区域的方法和装置
技术领域
本发明涉及道路检测，更具体地涉及检测道路路面的可行驶区域的方法和设备。
背景技术
目前，正在研究汽车辅助驾驶技术。这种技术能够在用户驾驶汽车时向用户提供必要的信息和/或警告，以避免车辆碰撞、车辆偏离道路等危险情况。在某些情况下，甚至可以使用辅助驾驶技术来自动地控制汽车行进。
对于辅助驾驶技术而言，重要的是正确地检测道路路面的可行驶区域。已经提出了很多检测道路路面的可行驶区域的方法。例如，美国专利申请公开US20100250064A1公开了一种利用道路两侧的白线来检测可行驶区域的方法，但是这种方法不适用于两侧没有白线的道路。美国专利申请公开US20050015201A1公开了一种对道路进行分割并且使用距离和分段的斜率来检测可行驶路面的方法，但是这种方法不适用于道路上的点较为稀疏的稀疏视差图。
因此，需要一种能够可靠地检测道路路面的可行驶区域的方法和设备。
发明内容
鉴于现有技术中的上述问题，提出了本发明。本发明的目的是提供一种能够可靠地检测道路路面的可行驶区域的方法和设备。
根据本发明的一个方面，提供了一种检测道路路面的可行驶区域的方法，包括：根据包括道路路面的灰度图导出视差图，并且从该视差图中检测道路路面；从视差图中删除相对于道路路面的高度大于预定高度阈值的部分，产生子视差图；将该子视差图转换为U-视差图；在U-视差图中检测可行驶区域；以及将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域。
根据本发明的上述方面，所述从视差图中检测道路路面的步骤可以包括：将视差图转换为V-视差图；以及在V-视差图中拟合代表道路路面的道路线。
根据本发明的上述方面，可以通过从视差图中删除在道路线上方并且距道路线的距离大于所述预定高度阈值的部分，来产生子视差图。
根据本发明的上述方面，在U-视差图中检测可行驶区域的步骤可以包括：在U-视差图中选择位于可行驶区域中的初始位置；通过从初始位置起在U-视差图中移动预定大小的检测窗口来检测U-视差图中的特定区域，作为可行驶区域，该特定区域包括所述初始位置，并且当检测窗口在该特定区域内移动时，该检测窗口内的有效点的数量始终小于预定数量阈值，其中所述有效点是亮度大于亮度阈值的点。
根据本发明的上述方面，通过从初始位置起在U-视差图中移动预定大小的检测窗口来检测U-视差图中的特定区域的步骤可以包括：a）从所述初始位置起沿行的方向向左水平移动检测窗口，当满足第一预定条件时停止移动检测窗口，并且记录该窗口的停止位置作为该行的左停止位置，然后从所述初始位置起沿行的方向向右水平移动检测窗口，当满足第二预定条件时停止移动检测窗口，并且记录该窗口的停止位置作为该行的右停止位置；b）将检测窗口向上移动等于该检测窗口高度的距离，重复步骤a）；c）重复步骤b），直到检测窗口到达U-视差图的上边缘或者同一行内的左停止位置与右停止位置相邻为止；d）在U-视差图中提取通过移动检测窗口而覆盖的区域作为可行驶区域，其中，所述第一预定条件为以下条件之一：检测窗口内的有效点的数量大于预定数量阈值；尽管检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口到达U-视差图左边缘；尽管检测窗口没有到达左边缘并且检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口的位置距上一行的左停止位置的水平距离小于预定距离阈值；所述第二预定条件为以下条件之一：检测窗口内的有效点的数量大于预定数量阈值；尽管检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口到达U-视差图右边缘；尽管检测窗口没有到达右边缘并且检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口的位置距上一行的右停止位置的水平距离小于预定距离阈值。
根据本发明的上述方面，将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域的步骤可以包括：获取在U-视差图中检测的可行驶区域中的每个点的坐标；利用在V-视差图中拟合的道路线的表达式，将各个点的坐标转换为灰度图中的坐标，从而获得灰度图中的可行驶区域内的各个点的坐标；根据灰度图中的可行驶区域内的各个点的坐标，提取灰度图中的可行驶区域。
根据本发明的另一方面，提供了一种检测道路路面的可行驶区域的设备，包括：道路路面检测装置，被配置为根据包括道路路面的灰度图导出视差图，并且从该视差图中检测道路路面；子视差图产生装置，被配置为从视差图中删除相对于道路路面的高度大于预定高度阈值的部分，产生子视差图；U-视差图产生装置，被配置为将该子视差图转换为U-视差图；U-视差图检测装置，在U-视差图中检测可行驶区域；以及可行驶区域转换装置，被配置为将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域。
根据本发明的上述方面，所述道路路面检测装置可以包括：V-视差图产生单元，被配置为将视差图转换为V-视差图；以及道路线拟合单元，被配置为在V-视差图中拟合代表道路路面的道路线。
根据本发明的上述方面，U-视差图检测装置可以包括：选择单元，被配置为在U-视差图中选择位于可行驶区域中的初始位置；检测单元，被配置为通过从初始位置起在U-视差图中移动预定大小的检测窗口来检测U-视差图中的特定区域，作为可行驶区域，该特定区域包括所述初始位置，并且当检测窗口在该特定区域内移动时，该检测窗口内的有效点的数量始终小于预定数量阈值，其中所述有效点是亮度大于亮度阈值的点。
根据本发明的上述方面，所述可行驶区域转换装置可以包括：坐标提取单元，被配置为获取U-视差图中的可行驶区域中的每个点的坐标；转换单元，被配置为利用在V-视差图中拟合的道路线的表达式，将各个点的坐标转换为灰度图中的坐标，从而获得灰度图中的可行驶区域内的各个点的坐标；可行驶区域提取单元，被配置为根据灰度图中的可行驶区域内的各个点的坐标，提取灰度图中的可行驶区域。
根据本发明上述方面的用于检测道路路面的可行驶区域的方法和设备不依赖于道路上的白线或栅栏，因此具有更广泛的应用范围。此外，所述方法和设备利用从视差图获得的U-视差图，基于检测窗口中的有效点密度来检测可行驶区域，因而具有良好的噪声鲁棒性和可靠性。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征和优点将会变得更加清楚，其中：
图1示意性地示出了从视差图导出V-视差图的过程；
图2示意性地示出了从视差图导出U-视差图的过程；
图3示意性地示出了可执行根据本发明实施例的用于检测道路路面的可行驶区域的方法的系统的示意图；
图4是根据本发明实施例的用于检测道路路面的可行驶区域的方法的流程图；
图5示出了利用双目相机拍摄的左右图像之一的示例；
图6示出了以图5所示的图像为基准图像计算的视差图；
图7示出了通过转换图6所示的视差图获得的V-视差图；
图8示出在图7所示的V-视差图中进行拟合而获得的道路线；
图9示意性地示出了计算视差图中位于道路路面上方的点距道路路面的距离的图；
图10示出了通过从图6所示的视差图中删除相对于道路路面的高度大于预定高度阈值的部分而获得的子视差图；
图11示出了通过转换图10所示的子视差图获得的U-视差图；
图12示出了在图11所示的U-视差图中选择初始位置并且设置检测窗口的过程的图；
图13示出了从初始位置起图向左移动检测窗口的过程的图；
图14示出了确定在该行中检测窗口的左停止位置的图；
图15示出了从初始位置起图向右移动检测窗口的过程的图；
图16示出了确定在该行中检测窗口的右停止位置的图；
图17示出了将检测窗口向上移动之后的初始位置的图；
图18示出了从图17所示的初始位置起向左移动检测窗口的过程的图；
图19示出了确定在该行中检测窗口的左停止位置的图；
图20示出了从图17所示的初始位置起向右移动检测窗口的过程的图；
图21示出了确定在该行中检测窗口的右停止位置的图；
图22示意性地示出了在图11所示的U-视差图中检测的可行驶区域；
图23示意性地示出了在U-视差图和灰度图之间的坐标转换；
图24示意性地示出了在图5所示的灰度图中检测的道路路面的可行驶区域；
图25示出了根据本发明实施例的用于检测道路路面的可行驶区域的设备的框图；
图26示出了图25所示的道路路面检测装置的详细结构的框图；
图27示出了图25所示的U-视差图检测装置的详细结构的框图；
图28示出了图25所示的可行驶区域检测装置的详细结构的框图；
图29示出了用硬件实现根据本发明实施例的用于检测道路路面的可行驶区域的设备时的硬件配置的示意图。
应当注意，这些图不一定是按比例绘制的，它们只是用于说明的目的，而不是限制本发明。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
<基本概念介绍>
在本发明的实施例中，使用了视差、视差图、V-视差图和U-视差图的概念。这些概念是本领域公知的，因此在这里只对这些概念进行简单的介绍。
视差，是指从相隔一定距离的两个点上观察同一个目标所产生的方向差异。当利用例如双目相机拍摄同一个目标的左右两幅图像时，该目标的视差可以理解为该目标在左图像中的横坐标与在右图像中的横坐标之间的差。
视差图（disparity map）是以任一图像为基准图像，其尺寸为该基准图像的尺寸，其每个点（像素点）对应于基准图像中与该点坐标相同的点，并且其每个点的灰度值为基准图像中对应点的视差的图像。可以以本领域公知的很多方式获得视差图。例如，可以从双目相机拍摄的左图像和右图像计算得到视差图，可以从多目相机或立体相机拍摄的图像计算得到视差图，或者可以通过立体视图中的深度图计算得到视差图。在使用双目相机拍摄左右图像的情况下，可以对左右图像应用绝对差值之和立体匹配算法(Sum of AbsoluteDifferences,SAD)来计算视差图，或者也可以使用本领域公知的其他算法来计算视差图。
基准图像中的点的坐标可以表示为（x，y），其中x为横坐标，y为纵坐标，y越小，该点离相机越近。在通过转换该基准图像而获得的二维视差图中，与点（x，y）对应的点的坐标可以表示为（u，v），其中u为横坐标，v为纵坐标，并且u=x，v=y。视差图中每个点处的灰度值为该点处的视差，用d表示。可替换地，可以将视差图中的点表示为（u，v，d）以便同时反映点的坐标和视差。
V-视差图和U-视差图可以从视差图导出。V-视差图可以视为视差图的侧视图，其横坐标轴为d轴，纵坐标轴为v轴，其上的点可表示为（d，v），并且点（d，v）的灰度值（亮度值）是对应视差图的纵坐标为v的行中视差等于d的点的数量，因此，可以通过统计该数量或者使用本领域公知的其他方法来从视差图导出V-视差图。图1示意性地示出了从视差图导出V-视差图的过程。U-视差图可以视为视差图的俯视图，其横坐标轴为u轴，纵坐标轴为d轴，其上的点可表示为（u，d），并且点（u，d）的灰度值（亮度值）是对应视差图的横坐标为u的列中视差等于d的点的数量，因此，可以通过统计该数量或者使用本领域公知的其他方法来从视差图导出U-视差图。图2示意性地示出了从视差图导出U-视差图的过程。
<实施例>
下面，将参照附图描述根据本发明实施例的用于检测道路路面的可行驶区域的方法和装置。
首先，描述根据本发明实施例的用于检测道路路面的可行驶区域的方法。该方法例如可以通过图3所示的系统执行。如图3所示，可以在汽车上安装双目相机。当汽车在道路上行驶时，利用双目相机拍摄汽车前方的包括道路路面的左右两幅图像。所述图像被输入芯片，该芯片处理左右图像，获得视差图，并且按照下文所述的方式，基于该视差图而检测道路路面上的可行驶区域。
图4示出了根据本发明实施例的用于检测道路路面的可行驶区域的方法的流程图。
如图4所示，在步骤S401中，根据包括道路路面的灰度图导出视差图，并且从该视差图中检测道路路面。
在使用双目相机的情况下，可以首先获取包括道路路面的左右图像（灰度图）。例如，可以将双目相机安装在车上，并且拍摄车辆前方的包括道路路面的左右两幅灰度图像，或者，可以用双目相机拍摄包括道路路面的左右两幅彩色图像并且将其转换为灰度图。图5示出了利用双目相机拍摄的左右两幅灰度图像之一的示例，在下文中，将以该图像为例进行描述。如图5所示，在该图像上建立xy坐标系，其上的点可以表示为（x，y）。
然后，可以选择左图像和右图像中的任意一副图像为基准图像，并且使用左图像和右图像来导出视差图，该视差图当然也包括道路路面。可以使用上文所述的方法而从左右图像计算视差图，在这里不再赘述。图6示出了以图5所示的图像为基准图像计算的视差图。如图6所示，在视差图上建立uv坐标系，该视差图上与点（x，y）对应的点可以被表示为（u，v，d），其中u=x，v=y，d为该点的视差。应当注意，在使用匹配算法来从左图像和右图像计算视差图时，物体的边缘（例如道路路面的边缘、道路路面上的障碍物、道路路面之外的物体的边缘）等更易于被识别，而诸如道路路面之类的不存在边缘的部分则相对难以被识别，因此，在所述视差图中，与所述边缘对应的位置具有更密集的点，而诸如道路路面的可行驶区域之类的不存在边缘的部分则具有较为稀疏的点。
接下来，根据所述视差图来检测道路路面。
具体地，首先可以将所述包括道路路面的视差图转换为V-视差图。可以使用上文所述的方法进行这一转换，在这里不再赘述。图7示出了通过转换图6所示的视差图获得的V-视差图。
然后，可以在V-视差图中拟合代表道路路面的道路线。在通过安装在车上的照相机拍摄的图像中，道路路面从图像下方开始向上方延伸且逐渐变窄，在图像上方中，非道路路面的其他物体增多。相应地，在V-视差图中，与道路路面对应的点更多地位于图中显示的所有点的下部，而上部的点更多地对应于非道路路面的其他物体。因此，可以在V-视差图显示的所有点中选择最低的一部分点进行拟合，由此可以拟合出代表道路路面的道路线，并且获得该道路线的表达式v=kd+b，其中，k为道路线的斜率，b为常数。例如，可以使用在Jun Zhao,Mark Albert Whitty和Jayantha Katupitiya发表的论文“Detection of Non-f1at Ground Surfaces Using V-Disparity Images”，2009IEEE/RSJ International Conference on Intelligent Robots and Systems，October11-15,2009St.Louis,USA中提出的方法来进行该拟合。在图7所示的示例中，通过按照上述方式选择最低的一部分点来进行拟合，可以获得图8所示的道路线，其表达式为v=0.5d+233。
返回图4，在步骤402中，从视差图中删除相对于道路路面的高度大于预定高度阈值的部分，产生子视差图。
众所周知，在道路两侧可能存在电线杆、树木、柱子等高的物体。此外，在道路上方的天空中也可能存在高架电线。在如下文所述使用U-视差图识别道路路面的可行驶区域时，如果不对这种情况进行适当的处理，这些非道路路面的物体会被反映在U-视差图中并且可能被错误地检测为道路路面。
为了避免这样的问题，考虑到上述物体相对于道路路面有一定的高度这一事实，可以预先设置高度阈值，从视差图中删除相对于道路路面的高度大于预定高度阈值的部分以产生子视差图，然后使用该子视差图而不是视差图来产生U-视差图。如上文所述，V-视差图中的道路线代表道路路面，因此可以通过从视差图中删除在道路线上方并且距道路线的距离大于所述预定高度阈值的部分，来产生子视差图。所述高度阈值可以根据道路的实际情况（例如障碍物的种类、高度、分布等）灵活地设定，例如可以设定为4米。
具体地，首先，可以对视差图中位于道路路面上方的每个点p（u’，v’，d’），计算其相对于道路路面的高度。点p（u’，v’，d’）在V-视差图中的坐标为（d’，v’）。V-视差图中的道路线的表达式为v=kd+b，因此，在V-视差图中位于道路线（道路路面）上的具有视差d’的点r的坐标为（d’，kd’+b），则在V-视差图上，点p相对于点r（或道路路面）的像素距离为v’-(kd’+b)，换言之，在V-视差图上，点p与道路路面之间的距离为v’-(kd’+b)个像素。通过将该像素距离乘以每个像素对应的物理空间中的实际距离m，就可以计算出在物理空间中点p相对于道路路面的高度。可以使用本领域公知的各种方法来计算每个像素对应的物理空间中的实际距离m。例如，可以使用在GaryBradski和Adrian Kaebler所著的“Learning OpenCV”，O’Reilly Media中提出的方法来计算实际距离m，在这里不再赘述。在图8的例子中，对于视差图中的点（400，800，600），按照上述方式，可以计算出其距道路路面的像素距离为800-(0.5*600+233)=267。假设每个像素对应的实际距离m为4毫米，则该点相对于道路路面的高度为267像素*4毫米/像素=1068毫米，如图9所示。
然后，可以将视差图中位于道路路面上方的点相对于道路路面的高度与所述高度阈值进行比较。如果该点相对于道路路面的高度大于高度阈值，则从视差图中删除该点，反之则保留该点。在图9所示的示例中，由于1068毫米小于高度阈值4米，因此保留该点。
通过对V-视差图中位于道路线上方的每个点都执行上述操作，可以确定相对于道路路面的高度大于高度阈值的所有点，然后，通过在视差图中将这些点删除，可以产生子视差图。在图8所示的示例中，当将预定高度设为4米时，可以获得图10所示的子视差图。
接下来，在步骤S403中，将该子视差图转换为U-视差图。可以使用上文所述的方法或者本领域公知的其他方法来进行这一转换。例如，可以使用Zhencheng Hu,Francisco Lamosa和Keiichi Uchimura发表的论文“A CompleteU-V-Disparity Study for Stereovision Based 3D Driving Environment Analysis”,Proceedings of the Fifth International Conference on 3-D Digital Imaging andModeling 2005(3DIM'05),pp.204-211中提出的方法来进行这一转换，在这里不再赘述。在上述示例中，通过转换图10所示的子视差图获得的U-视差图如图11所示。
返回图4，在步骤S404中，在上述U-视差图中检测可行驶区域。
如上文所述，在视差图中，与各种边缘（例如道路边缘、道路上的障碍物的边缘等）对应的位置具有更密集的点，而与诸如道路路面的可行驶区域之类的不存在边缘或边缘较少的部分则具有较为稀疏的点，因此，在将这样的视差图转换为U-视差图时，在U-视差图中与所述边缘（其对应于不可行驶区域）对应的点具有更高的亮度，而与道路路面的可行驶区域对应的点则具有较低的亮度。可以基于这一事实来在U-视差图中检测可行驶区域。简单地说，可以设置预定大小的检测窗口和亮度阈值，并且在U-视差图中从预先选择的必然位于可行驶区域内的某个初始位置开始移动该检测窗口，当该检测窗口内的有效点（亮度超过该亮度阈值的点）的数量(或称为有效点密度)超过预定数量阈值时，可以认为该检测窗口的当前位置位于道路路面的可行驶区域边缘或之外。所述检测窗口的大小和所述亮度阈值可以根据道路的实际情况或者对于检测精度的要求而灵活地设定。最终，通过检测窗口的移动，可以从U视差图中检测出特定区域作为可行驶区域，该特定区域包括所述初始位置，并且当检测窗口在该特定区域内移动时，该检测窗口内的有效点的数量始终小于所述数量阈值。该移动过程实际上相当于逐渐扩展最初置于初始位置的检测窗口所包含的小的可行驶区域以获得最终的可行驶区域。所述初始位置可以自由地设定，只要其位于可行驶区域内即可。通常，由于车辆在道路上行驶时，紧邻车辆正前方的位置不会有障碍物并且位于可行驶区域内，因此，当如上文所述基于安装在车辆上的相机拍摄的灰度图检测可行驶区域时，优选地，可以在U-视差图中选择与上述位置对应的位置，即U-视差图最下方中间处的位置作为初始位置。
可以按照各种方式来移动检测窗口。优选地，可以使用8邻域（8-CCA）方法来移动检测窗口，以便检测上述特定区域。下面将结合图11所示的U-视差图来描述使用8邻域方法移动检测窗口的示例过程。
首先，在U-视差图中选择所述初始位置。如图12所示，在这里，选择位于U-视差图最下端中央的位置作为所述初始位置。检测窗口被置于该初始位置，如图12中的方框“1”所示。
然后，从所述初始位置起沿行的方向向左水平移动检测窗口，如图13所示，当满足第一预定条件时停止移动检测窗口，并且记录该窗口的停止位置作为该行的左停止位置。该左停止位置即为可行驶区域在该行的左边缘位置。所述第一预定条件可以是以下条件之一：（1）检测窗口内的有效点的数量大于预定数量阈值；（2）尽管检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口到达U-视差图左边缘；（3）尽管检测窗口没有到达左边缘并且检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口的位置距上一行的左停止位置的水平距离小于第一距离阈值。当满足条件（1）时，这说明检测窗口已经移动到可行驶区域边缘上或边缘之外，因此应当停止向左移动该检测窗口。当满足条件（2）时，虽然此时检测窗口仍然在可行驶区域内，但是由于检测窗口已经到达U-视差图左边缘，因此应当停止向左移动检测窗口。条件（3）的设定则是基于以下事实：在相机拍摄的图像中，越靠近图像下端，所显示的道路路面越宽，相应地，所显示的可行驶区域也越宽，而越靠近图像上端，所显示的道路路面越窄，相应地，所显示的可行驶区域也越窄，因此，检测窗口越向上移动，其左停止位置应当越靠近图像的水平方向的中心线，换言之，当前行的左停止位置应当在上一行的左停止位置的右侧。当满足条件（3）时，这表明虽然不满足上述条件（1）和（2），但是检测窗口的当前位置已经到达上一行的左停止位置附近，为了避免检测结果违背上述事实，应当停止向左移动检测窗口。所述第一距离阈值可以根据道路的实际情况或者对于检测结果的精度要求而灵活地设定。在图13的示例中，由于检测窗口位于U-视差图最下面的一行，并且检测窗口内的有效点的数量始终没有大于所述数量阈值，因此检测窗口最终移动到U-视差图左边缘，即，该行的左停止位置为U-视差图左边缘，如图14所示。
接下来，从所述初始位置起沿行的方向向右水平移动检测窗口，如图15所示，当满足第二预定条件时停止移动检测窗口，并且记录该窗口的停止位置作为该行的右停止位置。与第一预定条件类似，所述第二预定条件为以下条件之一：检测窗口内的有效点的数量大于预定数量阈值；尽管检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口到达U-视差图右边缘；尽管检测窗口没有到达右边缘并且检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口的位置距上一行的右停止位置的水平距离小于第二距离阈值。第一距离阈值可以与第二距离阈值相同或不同，但是优选地将二者设置为相同。在图15的示例中，类似地，检测窗口最终移动到U-视差图右边缘，即，该行的右停止位置为U-视差图右边缘，如图16所示。
接下来，将检测窗口向上移动一行，即上移等于该检测窗口高度的距离，重复上述向左和向右移动检测窗口的操作，并且记录该行的左停止位置和右停止位置。应当注意，当将检测窗口向上移动时，在该行中移动检测窗口的初始位置可以是第一行中的初始位置上移的对应位置，也可以是重新选择的该行内位于可行驶区域中的其他位置。
在该行的移动完成之后，重复将检测窗口上移一行、向左和向右移动检测窗口、并且记录该行的左停止位置和右停止位置的操作，直到检测窗口到达U-视差图的上边缘或者同一行内的左停止位置与右停止位置相邻为止。
随着检测窗口的上移，检测窗口停止移动所满足的条件可能发生变化。例如，图17-21示出了当在中间行向左和向右移动检测窗口的情况，其中，当向左和向右移动检测窗口时，由于检测窗口内的有效点的数量大于数量阈值而停止移动检测窗口。
然后，在U-视差图中提取通过移动检测窗口而覆盖的区域作为可行驶区域，如图22所示。这样，通过在U-视差图中逐行地移动检测窗口，可以逐步扩展初始可行驶区域，从而获得最终的可行驶区域。应当注意，上文所述的逐行移动检测窗口的方式仅仅是说明性的，而是限制性的，也可以采用其他移动方式，例如逐列地移动检测窗口，只要最终能够检测出上述特定区域即可。
返回图4，在步骤S405中，将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域。
具体地，在U-视差图中检测出可行驶区域之后，可以获取该可行驶区域中的各个点的坐标（u’，d’）。
由于在V-视差图中已经确定了道路线的表达式v=kd+b，因此随后可以基于各个点的坐标（u’，d’），利用该表达式计算出各个点的v’坐标(v’=kd’+b)，从而计算出各个点在视差图中的坐标（u’,v’），该坐标即为各个点在灰度图中的坐标（x’=u’,y’=v’）。图23示出了该坐标转换的示例。如图23所示，对于U-视差图中的点PP（400，800），根据道路线表达式v=0.5d+233，可以计算出该点的v’坐标为633，因此，该点在灰度图上的坐标为（400，633）。
接下来，根据灰度图中的可行驶区域内的各个点的坐标，提取灰度图中的可行驶区域。图24示意性地示出了在上述示例中提取的道路路面的可行驶区域。
可以看到，根据本发明实施例的上述方法并不依赖于道路上的白线、栅栏等等，因此具有更广泛的适用范围。此外，在上述检测方法中，使用U-视差图来检测可行驶区域，在此期间，使用检测窗口中的有效点的密度，并且考虑相邻行的停止位置之间的关系来检测可行驶区域，因此可以显著降低噪声对检测结果的影响，使得该方法具有良好的噪声鲁棒性和可靠性。
下面，参照图25来描述根据本发明实施例的用于检测道路路面的可行驶区域的设备。该设备可以执行上文所述的方法。
如图25所示，检测设备250包括道路路面检测装置251、子视差图产生装置252、U-视差图产生装置253、U-视差图检测装置254以及可行驶区域转换装置255。
道路路面检测装置251根据包括道路路面的灰度图导出视差图，并且从该视差图中检测道路路面。图26示出了道路路面检测装置251的详细结构。如图26所示，道路路面检测装置251包括：V-视差图产生单元2511，其将视差图转换为V-视差图；以及道路线拟合单元2512，其在V-视差图中确定代表道路路面的道路线。
子视差图产生装置252从视差图中删除相对于道路路面的高度大于预定高度阈值的部分，产生子视差图。子视差图产生装置252可以按照上文所述的方式来产生子视差图，在这里不再赘述。
U-视差图产生装置253将该子视差图转换为U-视差图。
U-视差图检测装置254在U-视差图中检测可行驶区域。图27示出了U-视差图检测装置254的详细结构。如图27所示，U-视差图检测装置254包括选择单元2541，其在U-视差图中选择位于可行驶区域中的初始位置；以及检测单元2542，其通过从初始位置起在U-视差图中移动预定大小的检测窗口来检测U-视差图中的特定区域，作为可行驶区域，该特定区域包括所述初始位置，并且当检测窗口在该特定区域内移动时，该检测窗口内的有效点的数量始终小于预定数量阈值，其中所述有效点是亮度大于亮度阈值的点。如上文所述，所述初始位置优选地是U-视差图最下端中间的位置。此外，检测单元2542可以按照上文所述的方式（例如使用8邻域法）移动检测窗口，从而检测U-视差图中的可行驶区域。
可行驶区域转换装置255将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域。图28示出了可行驶区域转换装置255的详细结构。如图28所示，可行驶区域转换装置255包括：坐标提取单元2551，其获取在U-视差图中检测的可行驶区域中的每个点的坐标；转换单元2552，其基于各个点的坐标，利用在V-视差图中拟合的道路线的表达式，计算灰度图中的可行驶区域内的各个点的坐标；以及可行驶区域提取单元2553，其根据灰度图中的可行驶区域内的各个点的坐标，提取灰度图中的可行驶区域。
道路路面检测装置251、子视差图产生装置252、U-视差图产生装置253、U-视差图检测装置254和可行驶区域转换装置255以及它们的各个组件可以按照参照图4描述的方式执行上述操作，在这里不再赘述。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和设备的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
例如，图29示出了用硬件实现上述设备时的硬件配置的示意图。如图29所示，该设备可以包括：输入装置290，用于从外部输入将要处理的图像，例如双目相机拍摄的左右图像、立体相机拍摄的立体视频等，其例如可以包括键盘、鼠标、以及通信网络及其所连接的远程输入设备等等；处理装置291，用于从输入装置290接收所述图像，并且对所述图像实施上述的按照本发明实施例的用于检测道路路面的可行驶区域的方法，或者用于实现参照图25-28所述的设备的各个组件和子组件，其例如可以包括计算机的中央处理器或其它的具有处理能力的芯片（如图3所示）等等；存储装置292，用于以易失或非易失的方式存储上述从输入装置290接收的图像以及处理装置291在执行处理期间产生的各种数据和/或结果等等，其例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器；以及输出装置293，用于向外部输出所检测的可行驶区域，其例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出装置等等。
本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者设备的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是，在本发明的设备和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
此外，尽管在上文中在汽车辅助驾驶的背景下描述了本发明，但是本发明也可以应用于车辆检测和跟踪、驾驶预警等其他领域。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种检测道路路面的可行驶区域的方法，包括：
根据包括道路路面的灰度图导出视差图，并且从该视差图中检测道路路面；
从视差图中删除相对于道路路面的高度大于预定高度阈值的部分，产生子视差图；
将该子视差图转换为U-视差图；
在U-视差图中检测可行驶区域；以及
将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域。
2.如权利要求1所述的方法，其中，从视差图中检测道路路面的步骤包括：
将视差图转换为V-视差图；以及
在V-视差图中拟合代表道路路面的道路线。
3.如权利要求2所述的方法，其中，通过从视差图中删除在道路线上方并且距道路线的距离大于所述预定高度阈值的部分，来产生子视差图。
4.如权利要求1所述的方法，其中，在U-视差图中检测可行驶区域的步骤包括：
在U-视差图中选择位于可行驶区域中的初始位置；
通过从初始位置起在U-视差图中移动预定大小的检测窗口来检测U-视差图中的特定区域，作为可行驶区域，该特定区域包括所述初始位置，并且当检测窗口在该特定区域内移动时，该检测窗口内的有效点的数量始终小于预定数量阈值，其中所述有效点是亮度大于亮度阈值的点。
5.如权利要求4所述的方法，其中，通过从初始位置起在U-视差图中移动预定大小的检测窗口来检测U-视差图中的特定区域的步骤包括：
a）从所述初始位置起沿行的方向向左水平移动检测窗口，当满足第一预定条件时停止移动检测窗口，并且记录该窗口的停止位置作为该行的左停止位置，然后从所述初始位置起沿行的方向向右水平移动检测窗口，当满足第二预定条件时停止移动检测窗口，并且记录该窗口的停止位置作为该行的右停止位置；
b）将检测窗口向上移动等于该检测窗口高度的距离，重复步骤a）；
c）重复步骤b），直到检测窗口到达U-视差图的上边缘或者同一行内的左停止位置与右停止位置相邻为止；
d）在U-视差图中提取通过移动检测窗口而覆盖的区域作为可行驶区域，
其中，所述第一预定条件为以下条件之一：检测窗口内的有效点的数量大于预定数量阈值；尽管检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口到达U-视差图左边缘；尽管检测窗口没有到达左边缘并且检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口的位置距上一行的左停止位置的水平距离小于第一距离阈值；
所述第二预定条件为以下条件之一：检测窗口内的有效点的数量大于预定阈值；尽管检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口到达U-视差图右边缘；尽管检测窗口没有到达右边缘并且检测窗口内的有效点的数量没有大于预定数量阈值，但是检测窗口的位置距上一行的右停止位置的水平距离小于第二距离阈值。
6.如权利要求2所述的方法，其中，将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域的步骤包括：
获取在U-视差图中检测的可行驶区域中的各个点的坐标；
基于各个点的坐标，利用在V-视差图中拟合的道路线的表达式，计算灰度图中的可行驶区域内的各个点的坐标；
根据灰度图中的可行驶区域内的各个点的坐标，提取灰度图中的可行驶区域。
7.一种检测道路路面的可行驶区域的设备，包括：
道路路面检测装置，被配置为根据包括道路路面的灰度图导出视差图，并且从该视差图中检测道路路面；
子视差图产生装置，被配置为从视差图中删除相对于道路路面的高度大于预定高度阈值的部分，产生子视差图；
U-视差图产生装置，被配置为将该子视差图转换为U-视差图；
U-视差图检测装置，在U-视差图中检测可行驶区域；以及
可行驶区域转换装置，被配置为将在U-视差图中检测的可行驶区域转换为灰度图中的可行驶区域。
8.如权利要求7所述的设备，其中，所述道路路面检测装置包括：
V-视差图产生单元，被配置为将视差图转换为V-视差图；以及
道路线拟合单元，被配置为在V-视差图中拟合代表道路路面的道路线。
9.如权利要求7所述的设备，其中，U-视差图检测装置包括：
选择单元，被配置为在U-视差图中选择位于可行驶区域中的初始位置；
检测单元，被配置为通过从初始位置起在U-视差图中移动预定大小的检测窗口来检测U-视差图中的特定区域，作为可行驶区域，该特定区域包括所述初始位置，并且当检测窗口在该特定区域内移动时，该检测窗口内的有效点的数量始终小于预定数量阈值，其中所述有效点是亮度大于亮度阈值的点。
10.如权利要求2所述的设备，其中，所述可行驶区域转换装置包括：
坐标提取单元，被配置为获取在U-视差图中检测的可行驶区域中的每个点的坐标；
转换单元，被配置为基于各个点的坐标，利用在V-视差图中拟合的道路线的表达式，计算灰度图中的可行驶区域内的各个点的坐标；
可行驶区域提取单元，被配置为根据灰度图中的可行驶区域内的各个点的坐标，提取灰度图中的可行驶区域。
CN201210358202.4A 2012-09-24 2012-09-24 检测道路路面的可行驶区域的方法和装置 Active CN103679127B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201210358202.4A CN103679127B (zh) 2012-09-24 2012-09-24 检测道路路面的可行驶区域的方法和装置
JP2013183551A JP6295553B2 (ja) 2012-09-24 2013-09-05 道路路面の可走行領域の検知方法及び検知装置
EP13185130.5A EP2713309B1 (en) 2012-09-24 2013-09-19 Method and device for detecting drivable region of road
US14/034,689 US9242601B2 (en) 2012-09-24 2013-09-24 Method and device for detecting drivable region of road
JP2018028660A JP6531846B2 (ja) 2012-09-24 2018-02-21 道路路面の可走行領域の検知方法及び検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210358202.4A CN103679127B (zh) 2012-09-24 2012-09-24 检测道路路面的可行驶区域的方法和装置

Publications (2)

Publication Number Publication Date
CN103679127A true CN103679127A (zh) 2014-03-26
CN103679127B CN103679127B (zh) 2017-08-04

Family

ID=49230563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210358202.4A Active CN103679127B (zh) 2012-09-24 2012-09-24 检测道路路面的可行驶区域的方法和装置

Country Status (4)

Country Link
US (1) US9242601B2 (zh)
EP (1) EP2713309B1 (zh)
JP (2) JP6295553B2 (zh)
CN (1) CN103679127B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868688A (zh) * 2015-02-09 2016-08-17 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN105868687A (zh) * 2015-02-09 2016-08-17 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN106056569A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN106060516A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 立体物检测装置以及立体物检测方法
CN106228134A (zh) * 2016-07-21 2016-12-14 北京奇虎科技有限公司 基于路面图像的可行驶区域检测方法、装置及系统
CN106485233A (zh) * 2016-10-21 2017-03-08 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN107031332A (zh) * 2015-10-05 2017-08-11 福特全球技术公司 用于检查路面的系统和方法
CN107358168A (zh) * 2017-06-21 2017-11-17 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107506711A (zh) * 2017-08-15 2017-12-22 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN107729856A (zh) * 2017-10-26 2018-02-23 海信集团有限公司 一种障碍物检测方法及装置
WO2018058355A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 汽车可行驶区域实时检测方法和系统
CN107909009A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN107958222A (zh) * 2017-12-12 2018-04-24 海信集团有限公司 一种路面检测方法、装置及终端
CN107977654A (zh) * 2017-12-25 2018-05-01 海信集团有限公司 一种道路区域检测方法、装置及终端
CN108229406A (zh) * 2018-01-11 2018-06-29 海信集团有限公司 一种车道线检测方法、装置及终端
CN108243623A (zh) * 2016-09-28 2018-07-03 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN109074745A (zh) * 2016-04-21 2018-12-21 株式会社电装 驾驶辅助装置
CN109862349A (zh) * 2019-02-18 2019-06-07 北京中科慧眼科技有限公司 视差图的质量检测方法、装置与自动驾驶系统
CN109858372A (zh) * 2018-12-29 2019-06-07 浙江零跑科技有限公司 一种车道级精度自动驾驶结构化数据分析方法
CN109886064A (zh) * 2017-12-06 2019-06-14 Trw有限公司 确定可驾驶空间的边界的方法
CN109977845A (zh) * 2019-03-21 2019-07-05 百度在线网络技术（北京）有限公司 一种可行驶区域检测方法及车载终端
CN110222557A (zh) * 2019-04-22 2019-09-10 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质
CN110969071A (zh) * 2019-06-13 2020-04-07 北京中科慧眼科技有限公司 一种基于可行驶区域的障碍物检测方法、装置及系统
CN113665591A (zh) * 2021-09-28 2021-11-19 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN114365182A (zh) * 2019-09-05 2022-04-15 京瓷株式会社 物体检测装置、物体检测系统、移动体和物体检测方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN104050654B (zh) * 2013-03-11 2017-06-09 株式会社理光 道路边缘检测方法和装置
KR101551026B1 (ko) * 2013-12-24 2015-09-07 현대자동차주식회사 차량 검출 방법
KR101566910B1 (ko) * 2014-07-09 2015-11-13 현대모비스 주식회사 차량 운전 보조 장치 및 그 동작 방법
JP6440411B2 (ja) * 2014-08-26 2018-12-19 日立オートモティブシステムズ株式会社 物体検出装置
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
KR102188164B1 (ko) * 2014-11-26 2020-12-07 현대자동차주식회사 3차원 데이터를 이용한 도로 인식 방법
KR102299575B1 (ko) * 2015-03-09 2021-09-07 삼성전자주식회사 위상 검출 픽셀들로부터 깊이 맵을 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치
DE102015007592A1 (de) * 2015-06-16 2016-12-22 Audi Ag Trajektoriebasierte Fahrwerksregelung
CN104964708B (zh) * 2015-08-03 2017-09-19 苏州科技学院 一种基于车载双目视觉的路面坑槽检测方法
KR102050179B1 (ko) * 2015-08-04 2019-11-28 닛산 지도우샤 가부시키가이샤 단차 검출 장치 및 단차 검출 방법
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US11086334B2 (en) 2016-07-21 2021-08-10 Mobileye Vision Technologies Ltd. Crowdsourcing a sparse map for autonomous vehicle navigation
CA3029124A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
JP6611353B2 (ja) 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
JP6888950B2 (ja) 2016-12-16 2021-06-18 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置、外界認識装置
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
CN107356916B (zh) * 2017-06-21 2019-11-29 海信集团有限公司 车距检测方法及装置、电子设备、计算机可读存储介质
JP6960827B2 (ja) * 2017-11-08 2021-11-05 フォルシアクラリオン・エレクトロニクス株式会社 路面領域検出装置
CN107958226B (zh) * 2017-12-15 2020-05-22 海信集团有限公司 一种道路曲线检测方法、装置和终端
CN108197590B (zh) * 2018-01-22 2020-11-03 海信集团有限公司 一种路面检测方法、装置、终端及存储介质
CN110807347B (zh) * 2018-08-06 2023-07-25 海信集团有限公司 障碍物检测方法、装置及终端
CN109583327A (zh) * 2018-11-13 2019-04-05 青岛理工大学 一种双目视觉麦苗行迹拟合方法
WO2021076099A1 (en) 2019-10-15 2021-04-22 Google Llc Weather and road surface type-based navigation directions
CN111189650A (zh) * 2020-01-22 2020-05-22 长安大学 一种无人车协同行驶能力测试系统及测试方法
CN112036227B (zh) * 2020-06-10 2024-01-16 北京中科慧眼科技有限公司 一种路面可行驶区域检测方法、装置以及自动驾驶系统
CN114663397B (zh) * 2022-03-22 2023-05-23 小米汽车科技有限公司 可行驶区域的检测方法、装置、设备及存储介质
CN115346003A (zh) * 2022-10-18 2022-11-15 中科慧眼(天津)研究开发有限公司 一种基于双目立体视觉的路面冲击分级方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3285575B2 (ja) * 1996-08-28 2002-05-27 松下電器産業株式会社 道路領域抽出装置および方法
US5917937A (en) * 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US7224357B2 (en) * 2000-05-03 2007-05-29 University Of Southern California Three-dimensional modeling based on photographic images
US7715591B2 (en) * 2002-04-24 2010-05-11 Hrl Laboratories, Llc High-performance sensor fusion architecture
JP2004185425A (ja) * 2002-12-04 2004-07-02 Denso Corp レーンマーク識別方法及び装置
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US20050015201A1 (en) 2003-07-16 2005-01-20 Sarnoff Corporation Method and apparatus for detecting obstacles
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
US7587081B2 (en) * 2005-09-28 2009-09-08 Deere & Company Method for processing stereo vision data using image density
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
JP2009133753A (ja) * 2007-11-30 2009-06-18 Toshiba Corp 画像処理装置及びその方法
JP5792064B2 (ja) * 2008-07-25 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 字幕の三次元表示処理
JP5075152B2 (ja) 2009-03-24 2012-11-14 日立オートモティブシステムズ株式会社 車両制御装置
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
FR2959576A1 (fr) * 2010-05-03 2011-11-04 Thomson Licensing Procede d’affichage d’un menu de reglage et dispositif correspondant
US8488870B2 (en) * 2010-06-25 2013-07-16 Qualcomm Incorporated Multi-resolution, multi-window disparity estimation in 3D video processing
CN102467655A (zh) 2010-11-05 2012-05-23 株式会社理光 多角度人脸检测方法和系统
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JEAN-PHILIPPE TAREL等: "Long-Range Road Detection for Off-line Scene Analysis", 《IEEE》 *
JIA WANG等: "Motion Detection in Driving Environment Using U-V-Disparity", 《COMPUTER VISION-ACCV 2006》 *
NICOLAS SOQUET等: "Free Space Estimation for Autonomous Navigation", 《PROCEEDINGS OF THE 5TH INTERNATIONAL CONFERENCE ON COMPUTER VISION SYSTEMS (ICVS 2007)》 *
侯学勇等: "基于二维激光测距仪的道路可行区域提取", 《东南大学学报》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868687A (zh) * 2015-02-09 2016-08-17 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN105868688B (zh) * 2015-02-09 2019-05-31 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN105868687B (zh) * 2015-02-09 2019-05-31 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN105868688A (zh) * 2015-02-09 2016-08-17 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN106056569A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN106060516A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 立体物检测装置以及立体物检测方法
CN106056569B (zh) * 2015-04-17 2019-03-29 丰田自动车株式会社 行驶路面检测装置和行驶路面检测方法
CN107031332A (zh) * 2015-10-05 2017-08-11 福特全球技术公司 用于检查路面的系统和方法
CN109074745A (zh) * 2016-04-21 2018-12-21 株式会社电装 驾驶辅助装置
CN109074745B (zh) * 2016-04-21 2024-03-08 株式会社电装 驾驶辅助装置
CN106228134A (zh) * 2016-07-21 2016-12-14 北京奇虎科技有限公司 基于路面图像的可行驶区域检测方法、装置及系统
WO2018058355A1 (zh) * 2016-09-28 2018-04-05 驭势科技（北京）有限公司 汽车可行驶区域实时检测方法和系统
CN108243623B (zh) * 2016-09-28 2022-06-03 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN108243623A (zh) * 2016-09-28 2018-07-03 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN106485233A (zh) * 2016-10-21 2017-03-08 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN106485233B (zh) * 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
CN107358168A (zh) * 2017-06-21 2017-11-17 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107358168B (zh) * 2017-06-21 2019-12-27 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107506711A (zh) * 2017-08-15 2017-12-22 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN107729856A (zh) * 2017-10-26 2018-02-23 海信集团有限公司 一种障碍物检测方法及装置
WO2019080557A1 (zh) * 2017-10-26 2019-05-02 海信集团有限公司 一种障碍物检测方法及装置
CN107909009A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN107909009B (zh) * 2017-10-27 2021-09-17 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN109886064B (zh) * 2017-12-06 2023-09-01 Trw有限公司 确定可驾驶空间的边界的方法
CN109886064A (zh) * 2017-12-06 2019-06-14 Trw有限公司 确定可驾驶空间的边界的方法
CN107958222A (zh) * 2017-12-12 2018-04-24 海信集团有限公司 一种路面检测方法、装置及终端
CN107977654A (zh) * 2017-12-25 2018-05-01 海信集团有限公司 一种道路区域检测方法、装置及终端
CN107977654B (zh) * 2017-12-25 2020-07-31 海信集团有限公司 一种道路区域检测方法、装置及终端
CN108229406A (zh) * 2018-01-11 2018-06-29 海信集团有限公司 一种车道线检测方法、装置及终端
CN109858372A (zh) * 2018-12-29 2019-06-07 浙江零跑科技有限公司 一种车道级精度自动驾驶结构化数据分析方法
CN109862349A (zh) * 2019-02-18 2019-06-07 北京中科慧眼科技有限公司 视差图的质量检测方法、装置与自动驾驶系统
CN109862349B (zh) * 2019-02-18 2021-05-18 北京中科慧眼科技有限公司 视差图的质量检测方法、装置与自动驾驶系统
CN109977845A (zh) * 2019-03-21 2019-07-05 百度在线网络技术（北京）有限公司 一种可行驶区域检测方法及车载终端
CN109977845B (zh) * 2019-03-21 2021-08-17 百度在线网络技术（北京）有限公司 一种可行驶区域检测方法及车载终端
CN110222557B (zh) * 2019-04-22 2021-09-21 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质
CN110222557A (zh) * 2019-04-22 2019-09-10 北京旷视科技有限公司 路况的实时检测方法、装置、系统和存储介质
CN110969071B (zh) * 2019-06-13 2023-08-18 北京中科慧眼科技有限公司 一种基于可行驶区域的障碍物检测方法、装置及系统
CN110969071A (zh) * 2019-06-13 2020-04-07 北京中科慧眼科技有限公司 一种基于可行驶区域的障碍物检测方法、装置及系统
CN114365182A (zh) * 2019-09-05 2022-04-15 京瓷株式会社 物体检测装置、物体检测系统、移动体和物体检测方法
CN113665591A (zh) * 2021-09-28 2021-11-19 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN113665591B (zh) * 2021-09-28 2023-07-11 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质

Also Published As

Publication number Publication date
EP2713309B1 (en) 2019-02-27
JP2018133089A (ja) 2018-08-23
EP2713309A2 (en) 2014-04-02
EP2713309A3 (en) 2015-03-18
JP6295553B2 (ja) 2018-03-20
US20140086477A1 (en) 2014-03-27
JP2014067407A (ja) 2014-04-17
CN103679127B (zh) 2017-08-04
JP6531846B2 (ja) 2019-06-19
US9242601B2 (en) 2016-01-26

Similar Documents

Publication Publication Date Title
CN103679127A (zh) 检测道路路面的可行驶区域的方法和装置
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
US10878288B2 (en) Database construction system for machine-learning
US8976999B2 (en) Vehicle detection apparatus
US9042639B2 (en) Method for representing surroundings
US8867790B2 (en) Object detection device, object detection method, and program
US20160232412A1 (en) Traveling road surface detection apparatus and traveling road surface detection method
CN103177236A (zh) 道路区域检测方法和装置、分道线检测方法和装置
US20110311108A1 (en) Method for detecting objects
US20140347484A1 (en) Apparatus and method for providing surrounding environment information of vehicle
CN104166834A (zh) 路面检测方法和装置
JP6597792B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN110110678B (zh) 道路边界的确定方法和装置、存储介质及电子装置
JPWO2017145634A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN111198378A (zh) 基于边界的自主探索方法和装置
Yiruo et al. Complex ground plane detection based on v-disparity map in off-road environment
JP4956099B2 (ja) 壁検出装置
García et al. Fusion procedure for pedestrian detection based on laser scanner and computer vision
CN110211172B (zh) 立体图像中的快速地平面区分
Ma et al. A real time object detection approach applied to reliable pedestrian detection
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
Fleischmann et al. An adaptive detection approach for autonomous forest path following using stereo vision
JP2019114150A (ja) 車外環境認識装置
Vatavu et al. Real-time environment representation based on occupancy grid temporal analysis using a dense stereo-vision system
US20220383643A1 (en) Object detection device, object detection system, mobile object, and object detection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant