CN103177236A - 道路区域检测方法和装置、分道线检测方法和装置 - Google Patents

道路区域检测方法和装置、分道线检测方法和装置 Download PDF

Info

Publication number
CN103177236A
CN103177236A CN201110434873XA CN201110434873A CN103177236A CN 103177236 A CN103177236 A CN 103177236A CN 201110434873X A CN201110434873X A CN 201110434873XA CN 201110434873 A CN201110434873 A CN 201110434873A CN 103177236 A CN103177236 A CN 103177236A
Authority
CN
China
Prior art keywords
disparity map
oblique line
lines
road
detect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201110434873XA
Other languages
English (en)
Other versions
CN103177236B (zh
Inventor
游赣梅
郑继川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201110434873.XA priority Critical patent/CN103177236B/zh
Priority to US13/705,718 priority patent/US8861791B2/en
Priority to EP12196446.4A priority patent/EP2608111A3/en
Priority to JP2012279530A priority patent/JP6136244B2/ja
Publication of CN103177236A publication Critical patent/CN103177236A/zh
Priority to US14/483,771 priority patent/US9378424B2/en
Application granted granted Critical
Publication of CN103177236B publication Critical patent/CN103177236B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种检测分道线的方法和装置，包括：获得包括道路区域的视差图和对应的V-视差图；在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面；获得与该多个斜线段对应的多个分道线感兴趣区域的视差图；以及在分道线感兴趣区域的视差图中，检测分道线。还公开了一种检测道路区域的方法和装置，包括：获得包括道路区域的V-视差图；以及在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面。利用本发明的检测道路区域的方法和装置、检测分道线的方法和装置，可以快速、准确地检测不平道路以及分道线。

Description

道路区域检测方法和装置、分道线检测方法和装置
技术领域
本发明涉及道路检测和对象检测，更具体地涉及分道线检测方法和装置，以及道路区域检测方法和装置。
背景技术
驾驶辅助系统的应用日渐普及。而道路或车道警告系统(Lane/Roaddetection warning，LDW/RDW)是驾驶辅助系统的子系统，可以避免碰撞，更准确地确定驾驶方向等。道路或车道检测对于LDW/RDW系统非常关键，只有在知道了道路信息的基础上才可能做进一步的处理，例如警告。一般通过检测分道线来检测道路或车道。
因为环境和地形的缘故，许多路面不是一个平面，而是经常出现上坡或下坡的斜坡路面。例如，中国的山城重庆存在很多高低不平的山路，香港和日本东京等的一些城市道路也是不平的，另外许多地方的郊区道路都是不平的。
当前使用立体视觉的主要方法都假设路面是一个平面，因而对于斜坡道路，不能准确地检测到分道线。
在美国专利公开20060239509中，公开了一种分道线识别设备，此专利基于光照强度和图像一侧的距离来检测分道线的候选点，然后对分道线候选点进行霍夫变换以找到分道线。此专利采用强度范围来找到道路感兴趣区，此专利基于强度和距离选择候选分道线，对亮度较敏感。
在文章Real Time Obstacle Detection in Stereovision on Non Flat RoadGeometry Through“V-disparity”Representation，Labayrade，R.；Aubert，D.；Tarel，J.-P，IEEE Intelligent Vehicles Symposium 2002，pp646-651，Vol.2中提出的方法中，在V-视差图中得到具有K个最高霍夫变换值的线。在K条线中，具有最高累计灰度值的线被选择为道路映射，于是可以得到道路感兴趣区。从道路感兴趣区中用霍夫变换找到分道线。
在美国专利US7346190B2中，公开了一种分道线检测方法，该方法将三维坐标沿横跨道路的方向投影到二维坐标，并生成沿横跨道路的方向的直方图，基于该直方图来确定分道线。该方法不适用于道路高度不一致的情况，例如斜坡路。
此外，当前的道路检测大部分基于单色图像或偏光图像，在道路边缘暗淡的图像或者环境复杂例如存在倾斜道路的情况下，道路检测效果不佳。
发明内容
鉴于现有技术中的上述问题，提出了本发明。
本发明的一个目的是检测不平道路。
本发明的另一目的是检测分道线。
根据本发明的一个方面，提供了一种分道线检测方法，可以包括：获得包括道路区域的视差图和对应的V-视差图；在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面；获得与该多个斜线段对应的多个分道线感兴趣区域的视差图；以及在分道线感兴趣区域的视差图中，检测分道线。
该分道线检测方法还可以包括：对于每条在视差图中检测到的分道线：在U-视差图中，获得与视差图中所检测到的分道线上的点对应的点，判断这些点是否在一条既非水平线也非垂直线的斜线上，如果确定这些点不在一条斜线上，则丢弃该分道线。
该分道线检测方法还可以包括：在所述检测多个斜线段之前，从V-视差图中删除长度大于预定阈值的垂直竖线。
根据本发明的另一方面，提供了一种道路区域检测方法，包括：获得包括道路区域的V-视差图；在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面。
根据本发明的再一个方面，提供了一种分道线检测装置，可以包括：视差图和V-视差图获得部件，用于获得包括道路区域的视差图和对应的V-视差图；V-视差图中道路平面检测部件，用于在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面；分道线感兴趣区域获得部件，用于获得与该多个斜线段对应的多个分道线感兴趣区域的视差图；以及分道线检测部件，用于在分道线感兴趣区域视差图中，检测分道线。
根据本发明的再一个方面，提供了一种道路区域检测装置，包括：V-视差图获得部件，用于获得包括道路区域的V-视差图；V-视差图中道路平面检测部件，用于在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面。
根据本发明实施例的分道线检测方法和装置利用V-视差图，按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，来找到依次相邻的多个道路平面，可以更快速，更精确地拟合不平路面。
利用U-视差图来验证分道线检测结果，可以进一步提高检测准确率。
此外，本发明另一实施例中，可以通过检测和删除V-视差图中的竖线来消除障碍物，进一步提高检测速度和准确率。
附图说明
图1是有助于理解本发明的、作为本发明应用环境的示例的车载系统示意图；
图2是根据本发明一个实施例的分道线检测方法的整体流程图；
图3示例地示出了在车上安装双目相机情况下的系统操作示意图；
图4示意性示出了利用双目相机拍摄得到的左图和右图的示例；
图5示意性地示出了左右图像和计算获得的对应视差图；
图6示出了从视差图获得V-视差图的计算示意图；
图7示出了从视差图获得U-视差图的计算示意图；
图8示出了根据本发明一个实施例的V-视差图中检测拟合不平路面的多个斜线段的流程图；
图9示出了拍摄车前景的各参数表示含义的示意图；
图10示意性地示出了所找到的第一斜线和对应的平坦路区域；
图11示意性示出了在找出相对水平路面后，寻找可靠点，进而获取毗邻倾斜路面区域的过程；
图12示出了根据本发明一个实施例的从V-视差图的所找到的斜线段还原出视差图中的分道线感兴趣区域的示意图；
图13示出了根据斜率过滤分道线前后的对比示意图；
图14示出了根据本发明第二实施例的分道线检测的整体过程的流程图；
图15示意性地示出了视差图中的分道线在U-视差图中的投影，以及验证和过滤分道线的结果；
图16示出了根据本发明第三实施例的分道线检测的整体过程的流程图；
图17示出了根据本发明一个实施例在V-视差图中检测并删除竖线的示例性流程图；
图18示意性示出了在V-视差图中找到的竖线以及删除竖线后的结果；
图19示出了根据本发明一实施例的分道线检测装置的框图；
图20示出了根据本发明一个实施例的道路平面检测方法的整体流程图；
图21示出了根据本发明一个实施例的道路平面检测装置的框图；以及
图22是示出按照本发明实施例的检测道路区域和/或检测分道线的系统1000的硬件配置的概念图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
将按如下顺序进行描述：
1、发明思想概述和基本概念介绍
2、第一实施例
2.1、分道线检测的整体过程
2.2、视差图、V-视差图和U-视差图(可选)的获得
2.3、V-视差图中拟合不平路面的多个斜线段的检测
2.4、视差图中分道线感兴趣区域的获得
2.5、分道线感兴趣区域中分道线的检测
3、第二实施例
4、第三实施例
5、分道线检测装置
6、道路平面检测方法
7、道路平面检测装置
8、系统硬件配置
9、总结
<1、发明思想概述和基本概念介绍>
在具体描述之前，首先总体介绍一下本发明的思想，以便本领域人员更好地理解本发明：为了检测分道线，首先应该确定道路区域。V-视差图已被本领域技术人员应用来检测平坦路面。形象地说，可以将V-视差图理解为视差图的横向投影，即侧视图。一段平坦路面在V-视差图中呈现为一段斜线段。因此，本发明人想到，对于不平的路面，其可以视为由多段平坦路面组成，该多段平坦路面在V-视差图中呈现为多段斜率不同的斜线段。类比一下，利用多段平坦路面来拟合不平路面就如同数学中用多个小直线段来拟合曲线一样。由此，可以通过在V-视差图中检测多个斜线段来获得不平道路区域。在确定了道路区域之后，进而可以在道路区域中检测分道线。
下面介绍一下基本概念，以便于理解。
视差，实际指从某一基线两端各引一直线到同一较远物体时，其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。
视差图(disparity map)是以任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。
普通二维视差图中的某点坐标以(u，v)表示，其中u为横坐标，v为纵坐标；点(u，v)处的像素的像素值用d(u，v)表示，表示该点(u，v)处的视差。
为便于理解，形象地说，V-视差图可以视为视差图的侧视图，而U-视差图可以视为视差图的俯视图。V-视差图或U-视差图可以从视差图中计算得到。V-视差图中任意一点(d，v)的灰度值是对应视差图的纵坐标为v的行中视差值等于d的点的个数。U-视差图中任意一点(u，d)的灰度值是对应视差图的横坐标为u的列中视差值等于d的点的个数。
<2、第一实施例>
<2.1分道线检测的整体过程>
图1是有助于理解本发明的、作为本发明应用环境的示例的车载系统示意图。本发明的软件或者硬件实现可以作为其中的道路检测部件。
图2是根据本发明一个实施例的分道线检测方法2000的整体流程图。
在步骤S2100中，获得包括道路区域的视差图和对应的V-视差图。如前面所述，可以通过双目相机、多目相机、立体相机拍摄并计算得到包括道路区域的视差图，由视差图变换得到V-视差图；或者从立体视图中获得深度图，根据深度图得到视差图，由视差图变换得到视差俯瞰图。后面将参考图3、4、5、6、7详细描述视差图和V-视差图的获得。
在步骤S2200中，在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面。后面，将参考图8对此详细描述。
在本实施例中，并非任意检测多个斜线段，而是按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，这是因为如本领域技术人员公知的，视差与距离成倒数关系，这里的距离是相对于拍摄的相机而言的。在双目相机安装在汽车上的情况下，视差图像中距离汽车最近的路面可以认为与汽车水平面平行，希望将该段路面先检测到，然后再由近及远(即视差由大到小的顺序)的顺序依次检测各段路面。V值体现的是高度，与常见的普通坐标系不同，在V视差图中，V坐标轴是自坐标原点向下延伸，按V值从大到小表示是按从低到高的顺序进行检测，因为，一般而言，路面是最低的。这样的检测顺序可以保证快速准确地检测到路面，而减少将一段高高的楼顶检测为路面的可能性。假设随机选取一个斜线段作为起始路面开始依次的话，很可能找到的该斜线段不是道路平面，而是树木，高楼等建筑，因为树木、高楼体现出来也可能是一条斜线段。
在步骤S2300中，在视差图中获得与该多个斜线段对应的多个分道线感兴趣区域。在V-视差图获得代表多个道路平面的多个斜线段后，可以将该多个斜线段还原回视差图中，由此在视差图中获得了道路区域，也即多个分道线感兴趣区域。后面将参考图12对此详细描述。
在步骤S2400中，在视差图中，在每个分道线感兴趣区域中，检测分道线。在视差图中，分道线呈现斜线段的形式，因此可以通过在每个分道线感兴趣区域中寻找斜线段来检测分道线。
<2.2、视差图、V-视差图和U-视差图(可选)的获得>
下面，参考图3、4、5、6、7描述根据本发明一个实施例的获得包括道路区域的视差图、V-视差图和U-视差图(可选)的方法。
下面描述利用双目相机来获得视差图、V-视差图和U-视差图的情况。不过，本发明并不局限于此，如前文所述，可以通过多目相机、立体相机拍摄并计算得到包括道路区域的视差图，由视差图变换得到V-视差图和和U-视差图；或者从立体视图中获得深度图，根据深度图得到视差图，由视差图变换得到V-视差和U-视差图。
图3示例地示出了在车上安装双目相机情况下的系统操作示意图。
如图3所示，汽车上配备有双目相机，双目相机拍摄左右图像，作图图像存储在系统的存储器中，芯片处理该左右图像，获得视差图、V-视差图和U-视差图(可选)，以及可以进行后续的道路区域检测和分道线检测处理。
图4示意性示出了利用双目相机拍摄得到的左图像和右图像的示例，。
可以根据左右图像施用绝对差值之和立体匹配算法(Sum of AbsoluteDifferences，SAD)来计算视差图。可以在Videre Design，“stereo on a chip(STOC)”，http://www.videredesign.com/templates/stoc.htm中找到关于SAD算法的详细介绍。
图5示意性地示出了左右图像和计算获得的对应视差图。
获得视差图后，可以从视差图计算得到V-视差图。对于V-视差图中任意一点(d，v)，它的灰度值是视差图行v中视差值等于d的点的个数。
图6示出了从视差图获得V-视差图的计算示意图。其中，左侧图为视差图，右侧图为计算得到的V-视差图。在V-视差图中，水平轴表示视差d，垂直轴表示高度v。
类似地，获得视差图后，可以从视差图计算得到U-视差图。对于U-视差图中任意一点(u，d)，它的灰度值是视差图列u中视差值等于d的点的个数。
图7示出了从视差图获得U-视差图的计算示意图。其中，上图为视差图，下图为计算得到的U-视差图。在U-视差图中，水平轴表示宽度u，垂直抽表示视差d。
<2.3、V-视差图中拟合不平路面的多个斜线段的检测>
下面将描述在V-视差图中，检测多个斜线段来拟合不平路面。
图8示出了根据本发明一个实施例的V-视差图中检测拟合不平路面的多个斜线段的流程图。
如图8所示，在步骤S2210中，从视差最大且V值最大处开始检测第一斜线段作为第一道路平面。可以利用霍夫变换在V-视差图中找线，并且将其中从视差最大且V值最大处起的第一个斜线段作为第一道路平面。
替代地，也可以从视差最大且V值最大的点开始寻找连续点，以从连续点得到的第一个斜线段作为第一道路平面。
此外，替代地，也可以在霍夫变换找到的线中过滤得到斜线段，在所寻找到的斜线段之中，选择通过点最多的斜线段、视差最大的斜线段、长度最长的斜线段中的一个斜线段作为第一斜线段，即作为第一道路平面。
如前文所述，因为我们是从视差最大且V值最大处起寻找第一斜线段，因此可以更快速、准确地找到相对于汽车水平的道路平面，下文偶尔也将之称为相对水平路面。
另外，如果拍摄车前景的相机参数可以获得，则可以直接获得第一斜线段的表示公式为：
h b &Delta; = f sin &theta; + V cos &theta;
其中h是拍摄左图和右图的相机到路面的高度，b是左右相机中心点的距离，θ是图像平面与路面的夹角，f是相机焦距，Δ表示斜线段上点的视差，V表示斜线段上对应点的V坐标值。
图9示出了拍摄车前景的各参数表示含义的示意图，其中(XW，YW，ZW)表示世界坐标系统，(xl，yl，z1)和(xr，yr，zr)分别表示左图和右图的像平面坐标系统，θ是图像平面与路面的夹角。如本领域技术人员公知的，可以对图像进行从世界坐标系统(XW，YW，ZW)到左右立体相机坐标系统中的(U，V)的转换，并进而可以推导出视差。这方面技术并非本发明重点，这里不对其详述，不过可以从文献“A complete U-V-disparity study for stereovision based 3D driving environmentanalysis”，Zhencheng Hu，Lamosa，F.，Uchimura，K.，Fifth International Conference on3-D Digital Imaging and Modeling，2005，pp204-211中找到对该方面内容的详细介绍。
图10示意性地示出了所找到的第一斜线和对应的平坦路区域。
在步骤S2220中，在该斜线段所在的水平区域以上且视差更小的相邻的区域中寻找第二斜线段作为第二道路平面。
示例性地，可以通过寻找预定数目个可靠点然后进行线性拟合来获得第二斜线段。本文中可靠点指的是更有可能是道路上的点。这里可以定义可靠点的灰度值大于预定阈值、不在任意一条垂直线上、且视差值小于第一斜线段上的点的视差值。
这里，规定可靠点的灰度值大于预定阈值是为了过滤噪声点。如前所述，V-视差图中的一个点(d，v)的灰度值表示在视差图中的对应行v中视差为d的点的个数，所以可以想见视差图中一个行上的路面上的各点的视差应该接近，即相同视差的点的个数较多，表现为在对应V-视差图中的点的灰度值较大，而如果为噪声点，则噪声点一般无规律个数较少，因此在对应V-视差图中的点的灰度值较小。
这里，规定可靠点不在任一垂直线段上，这是因为V-视差图中的垂直线段不会是路面，而更可能是一棵树或楼房等。
这里，规定可靠点的视差值小于第一斜线段上的点的视差值，表示要按照视差值从大到小的顺序进行查找可靠点，也即按照距车从近到远的距离来寻找路面。
将利用该预定数目个可靠点来拟合得到第二斜线段，因此可靠点的数目至少为2。
不过本发明不局限于通过寻找可靠点进行线性拟合来得到，任何在毗邻区域内寻找斜线段的方法(诸如霍夫变换)均可以用于本发明。
在步骤S2230，判断是否找到了第二斜线段，如果没有找到，则作为路面的斜线段检测处理终止，此过程结束。
如果找到了，则前进到步骤S2240，将第二斜线段设为第一斜线段，然后返回到步骤S2220，继续下一轮迭代，直到无法找到下一第二斜线段。
图11示意性示出了在找出相对水平路面后，寻找可靠点，进而获取毗邻倾斜路面区域的过程。其中图(1)表示标出相对水平路面的V-视差图，然后在相对水平路面之上寻找可靠点，图(2)示出了找到的可靠点，图(3)示出了通过例如线性回归拟合得到的斜线段，图(4)示出了标出各路面的V-视差图。
<2.4、视差图中分道线感兴趣区域的获得>
在V-视差图中获得表示多个道路平面的多个斜线段后，可以将该多个斜线段在视差图中还原，即找到其对应视差图区域，在本文中，将这样的区域成为分道线感兴趣区域。
获得分道线感兴趣区域的视差图的一种方法是，针对V-视差图中的每个斜线段构造一个新的对应的分道线感兴趣区域视差图。具体过程如下：
对于V-视差图中检测到的每个斜线段，生成各点灰度值均初始化为零的新视差图(Img1)。对于斜线段上的每一点，(di，vi)，在视差图中找到所有在行vi上视差值等于di的点。假设这些点是(u1’，vi)，(u2’，vi)，…，于是在新生成的视差图中(Img1)，在点(u1’，vi)，(x2’，vi)，…上设置灰度值为di。当遍历完斜线段上所有点时得到Img1，即分道线感兴趣区视差图。
替代地，获得与V-视差图中检测到各个斜线段对应的分道线感兴趣区域视差图的另一种方法是，对于斜线段上的每一点(di，vi)，找到视差图中的对应行，将该行中视差值不等于di的所有点视差设置为零。
图12示出了根据本发明一个实施例的从V-视差图的所找到的斜线段还原出视差图中的分道线感兴趣区域的示意图。其中左上图表示V-视差图，右上图表示视差图，通过在视差图中与V-视差图相同的行中找相同视差值的点，来获得了左下图的视差图中的道路区域，右下图表示视差图中作为相对水平路面的分道线感兴趣区域。
需要说明的是，可以在一个视差图中得到多个分道线感兴趣区域，也可以获得针对每个分道线感兴趣区域的单独的视差图。
优选地，如果任一分道线感兴趣区域在视差图中V轴上的长度大于预定阈值，则沿高度方向分割该分道线感兴趣区域以得到新的分道线感兴趣区域。这样做是基于下述考虑：一段实际的道路，虽然路面是平坦的，但是其可能是弯弯曲曲的，例如可能先向左弯一下，然后向右弯一下。这种情况下，这样的路在V视差图中仍然体现为一段斜线段，只不过可能是较长的斜线段。但是因为路是左弯又右弯的，所以分道线也是左弯又右弯的，那么在视差图中这样的分道线不是一条直线，而是左弯一下右弯一下的分道线。为此，通过沿高度方向分割该分道线感兴趣区域，可以得到新的分道线感兴趣区域，在分割步长适当的情况下，新的分道线感兴趣区域中的分道线可以是直线。由此可以通过检测各段新的分道线感兴趣区域中的分道线来拟合得到弯曲的分道线。关于分割步长，可以根据经验设置，也可以通过多次训练学习得到。
<2.5、分道线感兴趣区域中分道线的检测>
在得到的分道线感兴趣区域视差图中用霍夫变换检测线。
优选地，因为图像来自车前相机并且车是在路上，所以在视差图中分道线的斜率应该在一个预定范围内，因此可以根据分道线的斜率来过滤分道线，例如，如果所检测的分道线的斜率不在预定范围内，则丢弃该分道线。
图13示出了根据斜率过滤分道线前后的对比示意图。其中，左图是利用霍夫变换在分道线感兴趣区域视差图中检测到的线，右图是根据斜率过滤分道线后的结果。可见，通过根据分道线的斜率来过滤分道线，可以滤掉很多噪声，从而可以获得更准确的分道线检测结果。
<3、第二实施例>
图14示出了根据本发明第二实施例的分道线检测的整体过程2000’的流程图。
图14所示的第二实施例的分道线检测过程2000’与图2所示的第一实施例中的分道线检测过程2000不同在于多了步骤S2500，即在U-视差图中，验证检测到的分道线。对于其它步骤，可参考图2中的对应步骤以及描述，这里不再赘述。
根据U-视差图的性质，分道线在U-视差图中应呈现斜线的形式，关于此特征的详细描述可在文献“A complete U-V-disparity study for stereovisionbased 3D driving environment analysis”，Zhencheng Hu，Lamosa，F.，Uchimura，K.，Fifth International Conference on 3-D Digital Imaging and Modeling，2005，pp204-211中找到。可以利用此性质来验证和过滤检测到的分道线。
为此，首先将视差图中检测到的分道线投影到U-视差图中。这可以利用参考图7所述的从视差图计算U-视差图的方法来实现。
具体实现可以为：首先将U-视差图中所有点的灰度值初始化为零，然后对于视差图中一条分道线上的点(ui，vi)，假设它的灰度值/视差值是di，于是在U-视差图中点(ui，di)上设置灰度值为一非0值，例如250。根据这种方法，我们得到U-视差图中与该分道线对应的点集合。
在获得了一条分道线在U-视差图中投影的点集合后，如果此点集合在一条斜线上，例如此直线为d＝au+b，则认为此待验证的分道线是分道线，否则丢弃该待验证的分道线。
图15示意性地示出了视差图中的分道线在U-视差图中的投影，以及验证和过滤分道线的结果。其中左上图表示视差图和其中检测到的分道线，左下图为视差图中的分道线在U-视差图中的投影结果，右图表示经验证和过滤后再U-视差图中的分道线。
通过利用分道线在U-视差图中应为斜线的性质来进一步过滤和验证检测到的分道线，可以进一步提高检测的准确率。
<4、第三实施例>
图16示出了根据本发明第三实施例的分道线检测的整体过程2000”的流程图。
图16所示的第三实施例的分道线检测过程2000”与图2所示的第一实施例中的分道线检测过程2000不同在于多了步骤S2110，即在V-视差图中检测多个斜线段之前，从V-视差图中删除长度大于预定阈值的垂直竖线。对于其它步骤，可参考图2中的对应步骤以及描述，这里不再赘述。
如前所述，V-视差图可视为视差图的侧视图，因此视差图中的立着的车、人、树等障碍物在V-视差图中呈现为竖线的形式。由此，可以通过检测V-视差图中的竖线，并将其删除来去除障碍物等噪声，从而后续可以更加快速准确地检测分道线。
图17示出了根据本发明一个实施例在V-视差图中检测并删除竖线的示例性流程图。
如图17所示，输入V-视差图，在步骤S2111中，设置列＝0，即从第一列开始。
在步骤S2112中，在此列中找连续点，得到竖线。
在步骤S2113中，判断竖线长度是否大于预定阈值。如果答案是肯定的，则前进到步骤S2114，否则前进到步骤S2116。
在步骤S2114中，从V-视差图中删除找到的竖线，然后前进到步骤S2115.
在步骤S2115中，判断是否为最后一列，如果是，则过程终止，否则前进到步骤S2116。
在步骤S2116中，前进到下一列，然后返回到步骤S2112，在新列中检测和删除竖线。
图18示意性示出了在V-视差图中找到的竖线以及删除竖线后的结果。其中最左侧图为原始V-视差图，中间图示意了找到的竖线，最右侧图示意了删除该竖线后的结果。
<5、分道线检测装置>
图19示出了根据本发明一实施例的分道线检测装置1900的框图。
如图19所示，分道线检测装置1900可以包括：视差图和V-视差图获得部件1910，用于获得包括道路区域的视差图和对应的V-视差图；V-视差图中道路平面检测部件1920，用于在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面；分道线感兴趣区域获得部件2930，用于获得与该多个斜线段对应的多个分道线感兴趣区域的视差图；以及分道线检测部件1940，用于在分道线感兴趣区域视差图中，检测分道线。关于分道线检测装置1900各部件的操作可以参考结合图2所示的流程图进行的描述，这里不再赘述。
<6、道路平面检测方法>
图20示出了根据本发明一个实施例的道路平面检测方法300的整体流程图。
如图20所示，在步骤S310中，获得包括道路区域的V-视差图。此步骤的操作与结合图2描述的步骤S2100的操作类似，不同在于并不必需获得包括道路区域的视差图。这里同样可以从左右图像先计算得到视差图，然后从视差图计算得到V-视差图。不过也可以直接从左右图像计算得到V-视差图。或者从立体图像计算出深度图，然后从深度图来计算得到视差图，然后从视差图计算得到V-视差图。或者也可以从立体图像计算出深度图，然后直接从深度图计算得到V-视差图。
在步骤S320中，在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面。此步骤的操作与结合图2描述的步骤S2200的操作相同，这里不再赘述。
在V-视差图中获得道路平面区域后，这样的道路平面区域可以作为进一步操作的基础。在图2中，示出了在视差图中的对应分道线感兴趣区域中来检测分道线。不过这只是一个应用示例。可以想见，也可以在对应的U-视差图中，在对应的道路平面区域中来直接检测分道线。而且，后续操作并不局限于检测分道线，也可以检测车辆，检测栅栏、路肩石等等。
利用本实施例的道路平面检测方法，可以精确地检测不平路面。
<7、道路平面检测装置>
图21示出了根据本发明一个实施例的道路平面检测装置400的框图。
道路平面检测装置400可以包括：V-视差图获得部件410，用于获得包括道路区域的V-视差图；V-视差图中道路平面检测部件420，用于在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面
道路平面检测装置400所获得的道路平面区域可以作为进一步操作的基础。在图2中，示出了在视差图中的对应分道线感兴趣区域中来检测分道线。不过这只是一个应用示例。可以想见，也可以在对应的U-视差图中，在对应的道路平面区域中来直接检测分道线。而且，后续操作并不局限于检测分道线，也可以检测栅栏、路肩石，甚至检测行人、车辆等等。
利用本实施例的道路平面检测装置，可以精确地检测不平路面。
<8、系统硬件配置>
本发明还可以通过一种检测道路区域和/或检测分道线的系统来实施。图22是示出按照本发明实施例的检测道路区域和/或检测分道线的系统1000的硬件配置的概念图。如图22所示，检测道路区域和/或检测分道线的系统1000可以包括：输入设备1100，用于从外部输入将要处理的图像，例如双目相机拍摄的左右图像、立体相机拍摄的立体视频等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的检测道路区域的方法和/或检测分道线的方法，或者实施为上述的按照本发明实施例的检测道路区域和/或检测分道线的设备，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络(未示出)，根据处理过程的需要而从网络获取数据例如左右图像等等；输出设备1300，用于向外部输出实施上述检测道路区域和/或检测分道线的过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述从网络中查找与主题词相关的名称的过程所涉及的图像、所得的结果、命令、中间数据等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
<9、总结>
上文描述了分道线检测的方法和装置，包括：获得包括道路区域的视差图和对应的V-视差图；在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面；获得与该多个斜线段对应的多个分道线感兴趣区域的视差图；以及在分道线感兴趣区域的视差图中，检测分道线。
上述分道线检测方法和装置利用V-视差图，按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，来找到依次相邻的多个道路平面，可以更快速，更精确地拟合不平路面。
此外，本发明另一实施例中，可以利用U-视差图来验证分道线检测结果，可以进一步提高检测准确率。
此外，本发明另一实施例中，可以通过检测和删除V-视差图中的竖线来消除障碍物，进一步提高检测速度和准确率。
上文还描述了道路平面检测的方法和装置，包括：获得包括道路区域的视差图和对应的V-视差图；在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面。
上述道路平面检测方法和装置可以快速、准确地检测不平路面。
在前面的描述中提到，从视差图计算得到的V-视差图和/或U-视差图，不过，可以想见的是，V-视差图和/或U-视差图也可以直接从特殊相机例如双目相机、多目相机、立体相机拍摄的左右图像中直接计算得出，或者直接通过立体视图中的深度图计算得到。
在前述实施例中，在V-视差图中检测出道路平面后，在视差图中检测分道线。不过可以想见，也可以直接在U-视差图中检测分道线，或者可以在视差图中和在U-视差图中均检测分道线并组合两者的检测结果来得到最终检测结果。还可以想见，可以利用这样的道路平面信息来在并非视差图像的普通图像中通过图像识别的方法来检测分道线。
另外，前述实施例中，检测的目标是分道线，不过本发明并不局限于此，也可以在所检测的道路平面区域中检测其他道路分割物，例如路肩石、栅栏，甚至检测道路上的行人和车辆。
另外，在前述实施例中，利用霍夫变换来检测线，不过本发明并不局限于此，任何其他根据点检测线的方法诸如线性拟合的方法均可以用于本发明。
另外，前述实施例中，示意的是车向前行驶，双目相机拍摄车前景的情况。不过本发明同样适用于倒车情况下，双目相机拍摄车后景的情况，只不过这时检测的是车后方的路面。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行，例如，前文中是在检测出所有V-视差图中作为道路平面的斜线段之后，才检测斜线段对应的分道线感兴趣区域的分道线，不过当然可以在检测出一个斜线段之后，立即获得该斜线段对应的分道线感兴趣区域，然后在该分道线感兴趣区域中检测分道线，之后才检测下一个毗邻斜线段，或者并行进行下一毗邻斜线段的检测和当前斜线段对应分道线感兴趣区域的获得和分道线的检测。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种分道线检测方法，包括：
获得包括道路区域的视差图和对应的V-视差图；
在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面；
获得与该多个斜线段对应的多个分道线感兴趣区域的视差图；以及
在分道线感兴趣区域的视差图中，检测分道线。
2.根据权利要求1的分道线检测方法，还包括：
对于每条在视差图中检测到的分道线：
在U-视差图中，获得与视差图中所检测到的分道线上的点对应的点，判断这些点是否在一条既非水平线也非垂直线的斜线上，
如果确定这些点不在一条斜线上，则丢弃该分道线。
3.根据权利要求1的分道线检测方法，所述在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段包括：
第一步骤，从视差最大V值最大处开始检测第一斜线段作为第一道路平面；
第二步骤，在该第一斜线段所在的水平区域以上且相邻的区域寻找第二斜线段作为第二道路平面；
第三步骤，以第二斜线段代替第一斜线段，重复第二步骤的操作，直到无法找到斜线段。
4.根据权利要求3的分道线检测方法，在V-视差图中检测第一斜线段作为第一道路平面包括：
利用霍夫变换找到所有斜线段；
在所寻找到的斜线段之中，选择通过点最多的斜线段、视差最大的斜线段、长度最长的斜线段中的一个斜线段作为第一斜线段。
5.根据权利要求3的分道线检测方法，其中视差图是根据车前景的左图和右图计算得到的，在V-视差图中检测第一斜线段作为第一道路平面包括：
寻找满足下述公式的点，以得到第一斜线段，
h b &Delta; = f sin &theta; + V cos &theta;
其中h是拍摄左图和右图的相机到路面的高度，b是左右相机中心点的距离，θ是图像平面与路面的夹角，f是相机焦距，Δ表示斜线段上点的视差，V表示斜线段上对应点的V坐标值。
6.根据权利要求1的分道线检测方法，包括：
在所述检测多个斜线段之前，从V-视差图中删除长度大于预定阈值的垂直竖线。
7.根据权利要求1的分道线检测方法，还包括：
如果任一分道线感兴趣区域在视差图中V轴上的长度大于预定阈值，则沿高度方向分割该分道线感兴趣区域以得到新的分道线感兴趣区域。
8.根据权利要求1的分道线检测方法，还包括：
如果所检测的分道线的斜率不在预定范围内，则丢弃该分道线。
9.一种道路区域检测方法，包括：
获得包括道路区域的V-视差图；
在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面。
10.一种分道线检测装置，包括：
视差图和V-视差图获得部件，用于获得包括道路区域的视差图和对应的V-视差图；
V-视差图中道路平面检测部件，用于在V-视差图中按照视差从大到小以及V值从大到小的顺序依次检测多个斜线段，作为依次相邻的多个道路平面；
分道线感兴趣区域获得部件，用于获得与该多个斜线段对应的多个分道线感兴趣区域的视差图；以及
分道线检测部件，用于在分道线感兴趣区域视差图中，检测分道线。
CN201110434873.XA 2011-12-22 2011-12-22 道路区域检测方法和装置、分道线检测方法和装置 Expired - Fee Related CN103177236B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201110434873.XA CN103177236B (zh) 2011-12-22 2011-12-22 道路区域检测方法和装置、分道线检测方法和装置
US13/705,718 US8861791B2 (en) 2011-12-22 2012-12-05 Method and device for detecting road region as well as method and device for detecting road line
EP12196446.4A EP2608111A3 (en) 2011-12-22 2012-12-11 Method and device for detecting road region as well as method and device for detecting road line
JP2012279530A JP6136244B2 (ja) 2011-12-22 2012-12-21 道路領域検知方法及び装置、並びに道路分離線検知方法及び装置
US14/483,771 US9378424B2 (en) 2011-12-22 2014-09-11 Method and device for detecting road region as well as method and device for detecting road line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110434873.XA CN103177236B (zh) 2011-12-22 2011-12-22 道路区域检测方法和装置、分道线检测方法和装置

Publications (2)

Publication Number Publication Date
CN103177236A true CN103177236A (zh) 2013-06-26
CN103177236B CN103177236B (zh) 2016-06-01

Family

ID=47325936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110434873.XA Expired - Fee Related CN103177236B (zh) 2011-12-22 2011-12-22 道路区域检测方法和装置、分道线检测方法和装置

Country Status (4)

Country Link
US (2) US8861791B2 (zh)
EP (1) EP2608111A3 (zh)
JP (1) JP6136244B2 (zh)
CN (1) CN103177236B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252706A (zh) * 2013-06-27 2014-12-31 株式会社理光 特定平面的检测方法和系统
CN104252707A (zh) * 2013-06-27 2014-12-31 株式会社理光 对象检测方法和装置
CN104299219A (zh) * 2013-07-19 2015-01-21 株式会社理光 物体检测方法和装置
CN104376297A (zh) * 2013-08-12 2015-02-25 株式会社理光 道路上的线型指示标志的检测方法和装置
CN104732196A (zh) * 2013-12-24 2015-06-24 现代自动车株式会社 车辆检测方法及系统
CN104902261A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
CN105291982A (zh) * 2014-07-23 2016-02-03 通用汽车环球科技运作有限责任公司 快速且可靠的停止线检测器
CN105681861A (zh) * 2016-03-04 2016-06-15 青岛海信电器股份有限公司 一种终端显示字幕的调节方法和系统
CN106295607A (zh) * 2016-08-19 2017-01-04 北京奇虎科技有限公司 道路识别方法及装置
CN106327466A (zh) * 2015-06-24 2017-01-11 株式会社理光 道路分割物的检测方法和装置
CN107924570A (zh) * 2015-09-01 2018-04-17 奥托立夫开发公司 用于机动车辆的视觉系统和控制视觉系统的方法
CN107977654A (zh) * 2017-12-25 2018-05-01 海信集团有限公司 一种道路区域检测方法、装置及终端
CN108319931A (zh) * 2018-03-12 2018-07-24 海信集团有限公司 一种图像处理方法、装置及终端
CN108388875A (zh) * 2018-03-12 2018-08-10 海信集团有限公司 路面相关线的校验方法、装置及存储介质
CN109426760A (zh) * 2017-08-22 2019-03-05 聚晶半导体股份有限公司 一种道路图像处理方法与道路图像处理装置
CN109508673A (zh) * 2018-11-13 2019-03-22 大连理工大学 一种基于棒状像素的交通场景障碍检测与识别方法
CN109862349A (zh) * 2019-02-18 2019-06-07 北京中科慧眼科技有限公司 视差图的质量检测方法、装置与自动驾驶系统
CN110633600A (zh) * 2018-06-21 2019-12-31 海信集团有限公司 一种障碍物检测方法及装置
CN111243003A (zh) * 2018-11-12 2020-06-05 海信集团有限公司 车载双目摄像机及其检测道路限高杆的方法、装置
CN113822218A (zh) * 2021-09-30 2021-12-21 厦门汇利伟业科技有限公司 车道线检测方法及计算机可读存储介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA031127B1 (ru) * 2011-03-29 2018-11-30 Юра Трейд, Лимитед Способ и устройство для создания и аутентификации защищенных документов
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN103679127B (zh) * 2012-09-24 2017-08-04 株式会社理光 检测道路路面的可行驶区域的方法和装置
DE102012112104A1 (de) * 2012-12-11 2014-06-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur befahrbarkeitsanalyse
CN103712602A (zh) * 2013-12-09 2014-04-09 广西科技大学 一种基于双目视觉道路障碍物自动检测的方法
CN104715249B (zh) 2013-12-16 2018-06-05 株式会社理光 物体跟踪方法和装置
US9285230B1 (en) * 2013-12-20 2016-03-15 Google Inc. Methods and systems for detecting road curbs
CN104021388B (zh) * 2014-05-14 2017-08-22 西安理工大学 基于双目视觉的倒车障碍物自动检测及预警方法
CN105335955B (zh) 2014-07-17 2018-04-10 株式会社理光 对象检测方法和对象检测装置
JP6440411B2 (ja) * 2014-08-26 2018-12-19 日立オートモティブシステムズ株式会社 物体検出装置
WO2016044296A1 (en) 2014-09-15 2016-03-24 Second Sight Medical Products, Inc. Method and system for detecting obstacles for a visual prosthesis
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JP6769477B2 (ja) * 2016-03-10 2020-10-14 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
EP3432264A4 (en) * 2016-03-17 2019-07-10 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGE RECORDING, MOBILE BODY DEVICE CONTROL SYSTEM, PICTURE PROCESSING METHOD AND PROGRAM
WO2017158964A1 (ja) * 2016-03-18 2017-09-21 株式会社リコー 画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法
US10962982B2 (en) * 2016-07-21 2021-03-30 Mobileye Vision Technologies Ltd. Crowdsourcing the collection of road surface information
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
EP3379453A1 (en) 2017-03-20 2018-09-26 Continental Automotive GmbH Device for calculating a position estimate of a vehicular object
CN107563326A (zh) * 2017-08-31 2018-01-09 京东方科技集团股份有限公司 一种行车辅助方法、行车辅助装置和车辆
CN107958222B (zh) * 2017-12-12 2020-10-16 海信集团有限公司 一种路面检测方法、装置及终端
US11202055B2 (en) * 2018-02-28 2021-12-14 Blackberry Limited Rapid ground-plane discrimination in stereoscopic images
CN112130550B (zh) * 2019-06-24 2024-03-12 北京市商汤科技开发有限公司 一种道路图像处理方法、装置、电子设备及存储介质
US11511576B2 (en) * 2020-01-24 2022-11-29 Ford Global Technologies, Llc Remote trailer maneuver assist system
KR20210124603A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
US11541910B1 (en) * 2022-01-07 2023-01-03 Plusai, Inc. Methods and apparatus for navigation of an autonomous vehicle based on a location of the autonomous vehicle relative to shouldered objects
US11840257B2 (en) * 2022-03-25 2023-12-12 Embark Trucks Inc. Lane change determination for vehicle on shoulder

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937079A (en) * 1996-09-05 1999-08-10 Daimler-Benz Ag Method for stereo image object detection
US20080304705A1 (en) * 2006-12-12 2008-12-11 Cognex Corporation System and method for side vision detection of obstacles for vehicles
US20090041337A1 (en) * 2007-08-07 2009-02-12 Kabushiki Kaisha Toshiba Image processing apparatus and method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3556766B2 (ja) * 1996-05-28 2004-08-25 松下電器産業株式会社 道路白線検出装置
EP0863381B1 (en) * 1997-03-07 2004-06-02 Pioneer Electronic Corporation Navigation apparatus
JP3352655B2 (ja) 1999-09-22 2002-12-03 富士重工業株式会社 車線認識装置
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
JP3630100B2 (ja) * 2000-12-27 2005-03-16 日産自動車株式会社 車線検出装置
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP2005251106A (ja) 2004-03-08 2005-09-15 Mitsubishi Electric Corp 車線認識装置
JP4659631B2 (ja) 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
DE102006062061B4 (de) * 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
EP2458331B1 (en) * 2010-11-24 2016-01-27 Denso Corporation Road estimation device and method for estimating road
CN103262139B (zh) * 2010-12-15 2015-06-24 本田技研工业株式会社 行车道识别装置
JP2012243049A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP5914013B2 (ja) * 2011-08-08 2016-05-11 東芝アルパイン・オートモティブテクノロジー株式会社 運転支援装置
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937079A (en) * 1996-09-05 1999-08-10 Daimler-Benz Ag Method for stereo image object detection
US20080304705A1 (en) * 2006-12-12 2008-12-11 Cognex Corporation System and method for side vision detection of obstacles for vehicles
US20090041337A1 (en) * 2007-08-07 2009-02-12 Kabushiki Kaisha Toshiba Image processing apparatus and method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHUNG-HEE LEE: "使用立体视觉中的本地最大频率的二值V-视差图来进行障碍物定位", 《IEEE》, 30 November 2008 (2008-11-30), pages 1 - 4 *
JUN ZHAO: "使用V-视差图检测不平坦路面", 《IEEE》, 31 October 2009 (2009-10-31), pages 4584 - 4589 *
NICOLAS SOQUET: "道路分割监督的自主导航的扩展V-视差算法", 《IEEE》, 31 July 2007 (2007-07-31), pages 160 - 165 *
ZHENCHENG HU: "一种基于场景分析的立体视觉算法——U-V视差", 《IEEE》, 30 June 2005 (2005-06-30), pages 48 - 54 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252706B (zh) * 2013-06-27 2017-04-12 株式会社理光 特定平面的检测方法和系统
CN104252707A (zh) * 2013-06-27 2014-12-31 株式会社理光 对象检测方法和装置
CN104252706A (zh) * 2013-06-27 2014-12-31 株式会社理光 特定平面的检测方法和系统
CN104252707B (zh) * 2013-06-27 2017-06-06 株式会社理光 对象检测方法和装置
CN104299219A (zh) * 2013-07-19 2015-01-21 株式会社理光 物体检测方法和装置
CN104376297A (zh) * 2013-08-12 2015-02-25 株式会社理光 道路上的线型指示标志的检测方法和装置
CN104376297B (zh) * 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
CN104732196A (zh) * 2013-12-24 2015-06-24 现代自动车株式会社 车辆检测方法及系统
CN104732196B (zh) * 2013-12-24 2019-06-28 现代自动车株式会社 车辆检测方法及系统
CN104902261A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
CN105291982A (zh) * 2014-07-23 2016-02-03 通用汽车环球科技运作有限责任公司 快速且可靠的停止线检测器
CN105291982B (zh) * 2014-07-23 2018-05-08 通用汽车环球科技运作有限责任公司 快速且可靠的停止线检测器
CN106327466A (zh) * 2015-06-24 2017-01-11 株式会社理光 道路分割物的检测方法和装置
CN106327466B (zh) * 2015-06-24 2018-12-21 株式会社理光 道路分割物的检测方法和装置
CN107924570A (zh) * 2015-09-01 2018-04-17 奥托立夫开发公司 用于机动车辆的视觉系统和控制视觉系统的方法
CN105681861A (zh) * 2016-03-04 2016-06-15 青岛海信电器股份有限公司 一种终端显示字幕的调节方法和系统
CN106295607A (zh) * 2016-08-19 2017-01-04 北京奇虎科技有限公司 道路识别方法及装置
CN109426760A (zh) * 2017-08-22 2019-03-05 聚晶半导体股份有限公司 一种道路图像处理方法与道路图像处理装置
CN107977654A (zh) * 2017-12-25 2018-05-01 海信集团有限公司 一种道路区域检测方法、装置及终端
CN107977654B (zh) * 2017-12-25 2020-07-31 海信集团有限公司 一种道路区域检测方法、装置及终端
CN108388875A (zh) * 2018-03-12 2018-08-10 海信集团有限公司 路面相关线的校验方法、装置及存储介质
CN108319931A (zh) * 2018-03-12 2018-07-24 海信集团有限公司 一种图像处理方法、装置及终端
CN108388875B (zh) * 2018-03-12 2020-09-04 海信集团有限公司 路面相关线的校验方法、装置及存储介质
CN108319931B (zh) * 2018-03-12 2020-11-06 海信集团有限公司 一种图像处理方法、装置及终端
CN110633600A (zh) * 2018-06-21 2019-12-31 海信集团有限公司 一种障碍物检测方法及装置
CN110633600B (zh) * 2018-06-21 2023-04-25 海信集团有限公司 一种障碍物检测方法及装置
CN111243003A (zh) * 2018-11-12 2020-06-05 海信集团有限公司 车载双目摄像机及其检测道路限高杆的方法、装置
CN109508673A (zh) * 2018-11-13 2019-03-22 大连理工大学 一种基于棒状像素的交通场景障碍检测与识别方法
CN109862349A (zh) * 2019-02-18 2019-06-07 北京中科慧眼科技有限公司 视差图的质量检测方法、装置与自动驾驶系统
CN109862349B (zh) * 2019-02-18 2021-05-18 北京中科慧眼科技有限公司 视差图的质量检测方法、装置与自动驾驶系统
CN113822218A (zh) * 2021-09-30 2021-12-21 厦门汇利伟业科技有限公司 车道线检测方法及计算机可读存储介质

Also Published As

Publication number Publication date
JP2013134780A (ja) 2013-07-08
CN103177236B (zh) 2016-06-01
US20130163821A1 (en) 2013-06-27
US8861791B2 (en) 2014-10-14
US9378424B2 (en) 2016-06-28
US20140379257A1 (en) 2014-12-25
JP6136244B2 (ja) 2017-05-31
EP2608111A3 (en) 2014-09-17
EP2608111A2 (en) 2013-06-26

Similar Documents

Publication Publication Date Title
CN103177236A (zh) 道路区域检测方法和装置、分道线检测方法和装置
Pfeiffer et al. Efficient representation of traffic scenes by means of dynamic stixels
JP6131704B2 (ja) 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
Toulminet et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis
Oniga et al. Processing dense stereo data using elevation maps: Road surface, traffic isle, and obstacle detection
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN103679120B (zh) 不平道路的检测方法和系统
CN103679127A (zh) 检测道路路面的可行驶区域的方法和装置
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
Parra et al. Robust visual odometry for vehicle localization in urban environments
Salman et al. Distance measurement for self-driving cars using stereo camera
CN103679691A (zh) 连续型道路分割物检测方法和装置
Gao et al. UV-disparity based obstacle detection with 3D camera and steerable filter
CN103123722A (zh) 道路对象检测方法和系统
CN104166834A (zh) 路面检测方法和装置
CN103164851A (zh) 道路分割物检测方法和装置
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
Yiruo et al. Complex ground plane detection based on v-disparity map in off-road environment
CN104252707A (zh) 对象检测方法和装置
Benacer et al. A novel stereovision algorithm for obstacles detection based on UV-disparity approach
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법
CN103971356B (zh) 基于视差信息的街景图像目标分割方法及装置
Lee et al. Feature-based lateral position estimation of surrounding vehicles using stereo vision
Yang et al. Road detection by RANSAC on randomly sampled patches with slanted plane prior
Teoh et al. Ground plane detection for autonomous vehicle in rainforest terrain

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160601

Termination date: 20201222