CN100452093C - 路面行驶车道检测装置 - Google Patents

路面行驶车道检测装置 Download PDF

Info

Publication number
CN100452093C
CN100452093C CNB200480023582XA CN200480023582A CN100452093C CN 100452093 C CN100452093 C CN 100452093C CN B200480023582X A CNB200480023582X A CN B200480023582XA CN 200480023582 A CN200480023582 A CN 200480023582A CN 100452093 C CN100452093 C CN 100452093C
Authority
CN
China
Prior art keywords
mentioned
line
curve
traveling lane
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB200480023582XA
Other languages
English (en)
Other versions
CN1836266A (zh
Inventor
柿并俊明
平槙崇
秋田时彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN1836266A publication Critical patent/CN1836266A/zh
Application granted granted Critical
Publication of CN100452093C publication Critical patent/CN100452093C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

提供一种能够稳定地确定行驶车道的边界线的位置的路面行驶车道检测装置。由边缘点检测装置(ED )从图像中的轮廓线中检测出多个边缘点，由段群作成装置(SD)基于各边缘点间的距离与方位的连续性而作成线段，并对存在规定的关系的多个线段进行分组化，从而作成段群。并且，由曲线检测装置(CD)检测出与该段群相吻合的曲线。而且，由车道边界线位置确定装置(LD)，在构成最接近行驶车道中心的曲线的段群具有规定的长度以及反复周期时，确定为最内侧标记线，将与其外侧相邻的曲线的位置，确定为行驶车道的边界线的位置。

Description

路面行驶车道检测装置
技术领域
本发明涉及一种路面上的行驶车道检测装置，特别是涉及一种从连续拍摄车辆前方的路面而得到的图像中检测出行驶车道的路面行驶车道检测装置。
背景技术
在汽车的自动控制以及司机的驾驶支援等中，从用摄像机拍摄的图像中正确且可靠地检测出路面上的行驶车道已经变得很重要。通常，在路面上以识别行驶车道(车线)的边界的车道边界线为首而根据各种目的涂装有标记线，其中混杂有如实线或虚线或方块状这样的不同形态的标记线、以及如白色或黄色这样的不同色彩的标记线，进一步也存在复合这些标记线的情况。
例如，图3是在隧道的入口附近的2车道的路面上的包括标记线的图像DS的一个例子，作为表示行驶车道DL左侧边界的车道边界线LB而采用白色或黄色的实线的标记线，而将涂装在其内侧的白色的方块状的标记线作为行驶引导线LG来使用。还有，作为表示行驶车道DL的右侧边界的车道边界线RB而采用白色或黄色的虚线的标记线，而将涂装在其内侧的白色的方块状的标记线作为行驶引导线RG来使用。通常，这些标记线的宽度设定成20cm，还有，虚线标记线的涂装部的长度设定成8m，涂装部之间的空白部分的长度设定成12m。还有，方块状的标记线的宽度设定成30cm，涂装部的长度设定成2～3m，涂装部之间的空白部分的长度设定成2～3m。此外，在本申请中，车道边界线或者行驶引导线意味着从功能上分类的标记线，指路面上的白色或黄色的这些标记线时，称之为车道标记。
针对检测出由上述那样的各种标记线进行识别的路面上的行驶车道的装置，一直以来有各种提案，例如专利文献1中公开的内容。在此公报中的关于车辆用行驶道判定装置以及车辆控制装置，以由被检测的相互相邻的多条标记线正确设定车辆的规定基准线为目的，而以如下方式构成。即，从利用摄像机得到的拍摄图像检测出画在道路的路面上的标记线，从中抽取应该成为划分行驶车道的一对白线的标记线。并且，检测出作为白线而被抽取的一对标记线的间隔。在已检测出作为白线被抽取的一对标记线的间隔的情况下，从利用摄像机得到的拍摄图像中检测出在道路的至少一侧存在相邻的多条标记线时，基于此时刻已检测出的作为白线的一对标记线的间隔，将与该间隔最为一致的一对标记线作为白线而进行抽取。
还有，在专利文献2中提出了以可靠地检测出车道边界为目的，具有如下结构的车道边界检测装置。即，具有：第一轮廓信息检测装置，其将相对于图像数据的空间性浓度变化的灵敏度设定得较高，并从图像数据抽取第一轮廓线信息；第二轮廓信息检测装置，其将相对于图像数据的空间性浓度变化的灵敏度设定得较低，并从图像数据抽取第二轮廓线信息；轮廓抽取装置，其从第一以及第二轮廓线信息抽取白线群的最外轮廓信息，并且，基于该最外轮廓信息来设定车道边界位置。因此，由于相对于浓度变化的灵敏度被设定得较高，因此一方包含有对应于白线之间间隙的边缘的信息，而另一方没有包含该信息，因此容易进行对应于该间隙的边缘的信息的删除。
进而，在专利文献3也提出了与上述同样的目的的、具有如下结构的车道边界检测装置。即，最外轮廓抽取部(专利文献3中的附图标记15。以下相同)基于存储在帧缓冲部(13)的原图像数据、与包括由边缘检测部(14)检测出的边缘的位置信息的轮廓数据，抽取白线群的最外轮廓信息。最外轮廓抽取部(15)基于包括从原图像数据抽取的边缘的位置信息的轮廓数据，判定该边缘是否对应于形成在构成白线群的白线之间的间隙，并将对应于该间隙的边缘从轮廓数据中删除。
并且，专利文献4也提出了与上述同样的目的的、具有如下结构的车道边界检测装置。即，用拍摄装置拍摄包括规定区域的车线的移动体的行驶车道，而获得图像数据。基于该获得的图像数据作成浓度直方图，并检测出直方图的集群而进行分组。并且，在进行过分组的直方图中检测出成为各自直方图的中央的第一中央位置，并基于第一中央位置，检测出在进行过分组的直方图的集群中成为中央的第二中央位置。进而，基于不同组的直方图彼此的第二中央位置，检测出车道标记或存在多个车道标记的车道标记群的中央，并决定车道标记边界位置，因此，通过基于图像数据的直方图的作成，可以进行可靠的车道标记边界位置的检测。
另一方面，关于图像处理技术，公知有作为直线检测方法的霍夫(Hough)变换，例如，就在下面的非专利文献1中有其说明。这种霍夫变换公知为对噪音的可靠的直线检测方法，其特征在于，在将(x，y)坐标系的点变换成(ρ，θ)极坐标系上的曲线的过程中，基于在(x，y)坐标系上位于同一个直线上的特征点的(ρ，θ)坐标系上的曲线，在一点相交。进而，近年来在计算机视觉上，作为鲁棒法的一种的RANSAC(Random SampleConsensus：随机取样一致性算法)受人注目，在下面的非专利文献2中有详细的说明。还有，在下面的非专利文献3中也有对RANSAC的说明。
专利文献1：JP特开2003-168198号公报。
专利文献2：JP特开2003-187227号公报。
专利文献3：JP特开2003-187252号公报。
专利文献4：JP特开2003-178399号公报。
非专利文献1：田村秀行监修“计算机图像处理入门”，总研出版，昭和60年3月10日第一版第1次印刷发行，127页以及128页。
非专利文献2：Martin A.Fischero及Robert C.Bolles著“Random SampleConsensus：A Paradigm for Model Fitting with Applications to Image Analysisand Automated Cartography”，Graphics and Image Processing，vol.24(6)，page381-395.1981年发行。
非专利文献3：Richard Hartley及Andrew Zisserman著“Multiple ViewGeometry in Computer Vision”，Cambridge University Press.2000年8月发行，101页至107页。
发明的公开
在上述的专利文献1中记载有，作为道路的车道边界线而至少在一侧检测出相互相邻的多个标记线时，基于此时刻检测出的一对标记线的间隔，将与该间隔最为一致的一对标记线作为白线而进行抽取，将两侧的车道边界线的间隔保持一定作为前提。还有，从多个标记线中确定出基准线并非容易的事情，期待进一步的改善。
另外，在上述的专利文献2中，通过相对于空间性浓度变化的灵敏度不同的两种轮廓检测方法，对于多个标记线的间隙降低灵敏度而确定最外轮廓位置，即使由于照明条件等的原因而标记线和间隙的对比度不充分，或者饱和而图像失真，都能够可靠地确定出最外轮廓的位置，但是极难检测出位于原来的车道边界线的位置的标记线。
进而，在专利文献3中记载的装置，若边缘的间隔狭小或者两个边缘位置的浓度之差较小，则识别为多个标记线的间隙，不采用该数据而抽取最外轮廓位置，从而能够与上述同样、可靠地确定出最外轮廓的位置，但是这方法也极难检测出位于原来的车道边界线的位置的标记线。
并且，在专利文献4中记载的装置，作成对图像进行微分而获得的边缘的直方图并进行分组，检测出各自标记线的中央位置以及作为组的中央位置，根据标记线的数量等，将中央位置或最内侧的位置作为基准线来使用，但是，很难说充分满足了可靠地确定出车道标记边界线的位置的要求。特别是，在图3所示的方块状的标记线的宽度有30cm宽，因此若该方块状的标记线在行驶车道的两侧暂时被识别为车道边界线，则也包括方块状的标记线与实际的车道边界线的间隔，车道宽度(车线宽度)比实际的车道宽度变窄了将近1m，从而有时很难顺利地进行行驶控制等。因此，有必要相对于行驶车道的边界线可靠地识别出方块状的标记线。
因此，本发明的目的在于提供一种从连续拍摄车辆前方的路面而得到的图像中检测出行驶车道的路面行驶车道检测装置，能够可靠地确定出行驶车道的边界线的位置。
为了达成上述目的，本发明是一种路面行驶车道检测装置，从由拍摄装置对路面进行连续拍摄而得到的图像中检测出行驶车道，其中，具有：边缘点检测装置，其从图像中的轮廓线中检测出多个边缘点；段群作成装置，其针对由该边缘点检测装置检测出的多个边缘点，基于各边缘点间的距离与方位的连续性而作成线段，并对存在规定的关系的多个线段进行分组化，从而作成段群；曲线检测装置，其检测出与该段群作成装置作成的段群相吻合的曲线；车道边界线位置确定装置，其将由该曲线检测装置检测出的曲线中分布在左右车道边界附近的多个曲线、与上述段群作成装置作成的段群进行对照，在构成最接近上述行驶车道的中心的曲线的段群具有规定的长度以及反复周期时，确定为最内侧标记线，将相对于上述行驶车道的中心而与上述最内侧标记线的外侧相邻的曲线的位置，确定为上述行驶车道的边界线的位置。并且，在上述的曲线中包含有实质上由多个直线构成曲线的情况。可以说作为存在规定的关系的多个线段，是针对规定的线段，顺次选择例如存在于规定的距离与方位的范围内的线段而取得的。
而且，在上述路面行驶车道检测装置中，上述段群作成装置，在上述多个线段中，将相对于规定的线段而存在于规定的距离与方位的范围内的其他的线段作为一个组，从而作成上述段群。或者，也可以是上述段群作成装置针对基于由上述边缘点检测装置检测出的多个边缘点的边缘点群，基于各边缘点间的距离与方位的连续性，作成上述线段。另外，也可以是上述段群作成装置在基于上述多个线段的线段群中，在相对于规定的线段而设定的规定的距离与方位的范围内存在其他线段时，判定它们存在上述规定的关系，将它们作为属于同一组来进行处理。
另外，本发明也可以是一种路面行驶车道检测装置，从由拍摄装置对路面进行连续拍摄而得到的图像中检测出行驶车道，其中，具有：边缘点检测装置，其从图像中的轮廓线中检测出多个边缘点；曲线检测装置，其检测出与由该边缘点检测装置检测出的多个边缘点相吻合的边缘点群的曲线；段群作成装置，其将用于构成由该曲线检测装置检测出的曲线的边缘点群进行分组化，从而作成段群；车道边界线位置确定装置，其将由上述曲线检测装置检测出的曲线中分布在左右车道边界附近的多个曲线、与上述段群作成装置作成的段群进行对照，在构成最接近上述行驶车道的中心的曲线的段群具有规定的长度以及反复周期时，确定为最内侧标记线，将相对于上述行驶车道的中心而与上述最内侧标记线的外侧相邻的曲线的位置，确定为上述行驶车道的边界线的位置。
而且，也可以是上述段群作成装置针对用于构成由上述曲线检测装置检测出的曲线的边缘点群，作成边缘直方图(edge histogram)，将用于直方图峰值的边缘点群进行分组化，从而作成上述段群。并且优选将上述边缘直方图制成相对于上述边缘点群的垂直成分而在水平方向上作成的水平方向边缘直方图。
另外，也可以是上述边缘点检测装置在由上述拍摄装置拍摄的图像上检测出上述多个边缘点之后，将上述多个边缘点的坐标值反投影到三维路面坐标上，作为上述多个边缘点而输出。
另外，为了达成上述目的，本发明提供一种路面行驶车道检测装置，从由拍摄装置连续拍摄对路面进行连续拍摄而所得到的图像中检测出行驶车道，其特征在于，具有：边缘点检测装置，其从图像中的轮廓线中检测出多个边缘点；段群作成装置，其针对由该边缘点检测装置检测出的多个边缘点，基于各边缘点间的距离与方位的连续性而来作成线段，并对由该线段构成且处于存在规定的关系的多个线段进行分组化，从而以此作成段群；曲线检测装置，其通过曲线拟合来检测出与该段群作成装置所作成的段群相吻合的曲线；车道边界线位置确定装置，其将由该曲线检测装置检测出的曲线中分布在左右车道边界附近的多个曲线、与上述段群作成装置所作成的段群进行对照，在构成最接近上述行驶车道的中心的曲线的段群具有规定的长度以及反复周期时，确定为最内侧标记线，将与相对于上述行驶车道的中心而与上述最内侧标记线相对于上述行驶车道的中心的外侧相邻的曲线的位置，确定为上述行驶车道的边界线的位置。
进而，本发明也可以提供一种路面行驶车道检测装置，从由拍摄装置连续拍摄对路面进行连续拍摄而所得到的图像中检测出行驶车道，其特征在于，具有：边缘点检测装置，其从图像中的轮廓线中检测出多个边缘点；曲线检测装置，其通过曲线拟合来检测出与由该边缘点检测装置检测出的多个边缘点相吻合的边缘点群的曲线；段群作成装置，其将用于构成由该曲线检测装置检测出的曲线的边缘点群进行分组化，从而以此作成段群；车道边界线位置确定装置，其将由上述曲线检测装置检测出的曲线中分布在左右车道边界附近的多个曲线、与上述段群作成装置所作成的段群进行对照，在构成最接近上述行驶车道的中心的曲线的段群具有规定的长度以及反复周期时，确定为最内侧标记线，将相对于上述行驶车道的中心而与上述最内侧标记线相对于上述行驶车道的中心的外侧相邻的曲线的位置，确定为上述行驶车道的边界线的位置。
由于本发明具有上述结构，因此具有如下的效果。即，在构成最接近行驶车道的中心的曲线的段群具有规定的长度以及反复周期时，确定为最内侧标记线，将相对于行驶车道的中心而与最内侧标记线的外侧相邻的曲线的位置，确定为行驶车道的边界线的位置，因此能够将段群具有规定的长度以及反复周期的方块状的标记线区别于行驶车道的边界线而可靠的排除在外。因此，能够稳定地确定行驶车道的边界线的位置。
上述段群作成装置通过如上所述构成，从而能够适当地作成段群。另外，上述边缘点检测装置通过如上所述构成，能够正确地进行多个边缘点的检测以及处理。
附图的简单说明
图1是表示本发明一实施方式的路面行驶车道装置的主要结构的框图。
图2是表示本发明一实施方式的路面行驶车道装置的硬件结构的框图。
图3是表示在本发明一实施方式中拍摄的图像的一例的正面图。
图4是表示在本发明一实施方式中被投影在路面坐标上的多个边缘点的俯视图。
图5是表示在本发明一实施方式中被投影在路面坐标上的线段的俯视图。
图6是表示在本发明一实施方式中线段的分组化的一个例子的俯视图。
图7是表示在本发明的其他实施方式中被投影在路面坐标上的车道标记的俯视图、和与此对应的水平方向直方图的曲线图。
附图标记的说明
VD拍摄装置
ED边缘点检测装置
SD段群作成装置
CD曲线检测装置
LD车道边界线位置确定装置
CM摄像机
VB视频输入缓冲电路
SY同步分离电路
FM帧存储器
VC图像处理部
VP图像数据控制部
EP边缘点检测部
CP曲线检测部
SP段群作成部
LP车道边界线位置确定部
实施发明的最佳方式
针对上述结构的本发明的路面行驶车道检测装置的具体的实施方式，参照以下附图进行说明。图1表示路面行驶车道检测装置的一实施方式，以由拍摄装置VD对路面进行连续拍摄，从拍摄所得到的图像中检测出行驶车道的方式构成。在本实施方式中，具有：边缘点检测装置ED，其从图像中的轮廓线中检测出多个边缘点；段群作成装置SD，其针对由该边缘点检测装置ED检测出的多个边缘点，基于各边缘点间的距离与方位的连续性而作成线段，并对存在规定的关系的多个线段进行分组化，从而作成段群；曲线检测装置CD，其检测出与该段群作成装置SD作成的段群相吻合的曲线。而且，在车道边界线位置确定装置LD，将由曲线检测装置CD检测出的曲线中分布在左右车道边界附近的多个曲线、与段群作成装置SD作成的段群进行对照，在构成最接近行驶车道中心的曲线的段群具有规定的长度以及反复周期时，确定为最内侧标记线，将相对于该行驶车道中心而与最内侧标记线的外侧相邻的位置，确定为行驶车道的边界线的位置。
上述图1的路面行驶车道检测装置具有图2所示的硬件结构。即，在未图示的车辆的前方，安装有作为拍摄装置VD的例如CCD摄像机(以下简称为摄像机)CM，连续拍摄包括路面的车辆前方的可见区域。摄像机CM的影像信号经过视频输入缓冲电路VB、同步分离电路SY进行A/D转换，并被存储在帧存储器FM中。由图像处理部VC对被存储在该帧存储器FM中的图像数据进行处理。图像处理部VC由图像数据控制部VP、边缘点检测部EP、段群作成部SP、曲线检测部CP以及车道边界线位置确定部LP构成。并且，边缘点检测部EP、段群作成部SP、曲线检测部CP以及车道边界线位置确定部LP分别对应于图1的边缘点检测装置ED、段群作成装置SD、曲线检测装置CD以及车道边界线位置确定装置LD。
在图像处理部VC中，从帧存储器FM内的图像数据中，由图像数据控制部VP调出被指定了地址的数据，并发送到边缘点检测部EP，而在此检测出多个边缘点。对这样被检测出的边缘点数据，本实施方式中，在段群作成装置SD，基于各边缘点间的距离与方位的连续性而作成线段，对存在规定的关系的多个线段进行分组化，从而作成段群。此外，由曲线检测装置CD检测出与由该段群作成装置SD作成的段群相吻合的曲线。而且，在车道边界线位置确定部LP，从如上所述那样地由曲线检测部CP检测出的曲线数据中，选择分布在左右的车道边界附近的多个曲线，将这些多个曲线与由段群作成部SP作成的段群进行对照，在构成最接近行驶车道中心的曲线的段群具有规定的长度以及反复周期时，确定为最内侧标记线。而且，将相对于该行驶车道中心而与最内侧标记线的外侧相邻的曲线的位置，确定为行驶车道的边界线的位置。
这样确定的行驶车道的边界线的位置，进一步根据需要，与行驶车道的宽度、道路的曲率、与自身车辆的位置、姿态角等的检测结果一起被供给到系统控制部SC(计算机)，并经由输出接口电路OU而输出到外部的系统设备(未图示)。此外，图2中的CL、PW、IN分别为时钟电路、电源电路以及输入接口电路。
以下，说明上述边缘点检测部EP、段群作成部SP、曲线检测部CP以及车道边界线位置确定部LP各部的处理。首先，在边缘点检测部EP中，如图3所示，从由摄像机CM拍摄的图像DS中检测出多个边缘点，从多个边缘点的图像面(未图示)向三维路面坐标进行反投影。即，基于在图像面上检测出的多个边缘点以及摄像机CM的参数，如图4所示，将这些多个边缘点的坐标值作为三维路面坐标的点群而进行反投影(图4的线表示边缘点群)。而且，由于作为车道标记的白线(图3的LB、LG、RB、RG)颜色变浅或被污染、或摄像机CM的性能等原因，导致图像上的白线相邻的部分相连结，所以如图4的上方所示，能够成为与下方部分不同的边缘点群，但是通过后述的处理可以不引发误差而做出适当的判定。
在曲线检测部CP中，对于被反投影在路面上的多个边缘点(以图4为代表，用EGP表示)，例如通过上述的RANSAC而拟画出含有多个直线的曲线，从而进行曲线拟合。关于该曲线的拟画(曲线拟合)，可以利用上述的霍夫变换，也可以使用例如最小二乘法。另外，也可以基于规定的属性而对边缘点群EGP进行分组化，来进行曲线拟合。
此外，如图5所示，由段群作成部SP对上述边缘点群EGP，基于各边缘点间的距离与方位的连续性来作成线段LS。接着，在线段群中，在对某个线段LS设定的距离与方位的范围内如果存在其他线段LS，则那些线段LS、LS被当作属于同一组来处理，通过反复进行该处理而如图6所示那样地形成多个组(对于车道中心，将内侧的组作为SGI、将外侧的组作为SGO)。而且，虽然在图6中选择正边缘(在白线的左侧，图5中作为LS(+)而表示)而被分组化，但负边缘(在白线的右侧，图5中作为LS(-)而表示)也同样被分组化。
然后，对于进行了分组化的线段LS做曲线拟合(曲线拟画)。此时也可基于规定的属性进行分组化，来进行曲线拟合。用该线段，查证由曲线检测部CP检测出的曲线是由何种属性的边缘点构成的。例如如果图6的组SGI的曲线由多个周期性的短线构成，则可判定该曲线是拟画方块状等的比较短的标记线而成的。而且，这样，线段在纵向或横向上具有规定的长度以及周期，在车道边界线位置确定部LP中，判断是方块状的标记线时，将该曲线(例如图3的RG)从车道边界线候补中剔出，判定相对于车道中心的方块状的标记线(图3的RG)的外侧的曲线(图3的RB)为行驶车道的边界线。
虽然在上述实施方式中，首先求出线段LS，并将其分组化而进行曲线拟合，但也可以作成如下的实施方式：如图1的虚线箭头所示那样构成，检测出与多个边缘点相吻合的曲线，对用于构成该曲线的边缘点群进行分组化，从而作成段群。即，在图2的图像处理部VC中，由曲线检测部CP检测出与多个边缘点相吻合的曲线，在段群作成部SP相对用于构成该曲线的边缘点群的垂直成分，作成水平方向边缘直方图，从而将用于构成直方图峰值的边缘点群分组化，作成段群。
具体地说，如图7的HG所示，对应于被反投影在三维路面坐标的路面上的多个边缘点，作成水平方向的边缘直方图。根据该实施方式，虽然如图7所示那样出现多个峰值PK，但由于在各自的峰值位置含有多个垂直线成分，所以能够将用于构成各直方图峰值的边缘群作为一个组。而且，直方图峰值在纵向(或横向)具有规定的长度以及周期，在车道边界线位置确定部LP，当判断为方块状的标记线时，将该标记线(RG)从车道边界线候补中剔出，相对于车道中心，将方块状的标记线(RG)的外侧的标记线(RB)作为车道的边界线。
如上所述，表示设置在行驶路面上的车道边界的标记线中除了简单的实线、虚线之外，还存在将该简单的标记线与方块状的标记线组合而成的多条线，因此在以往的装置中很难可靠地确定出想要作为车道边界而检测出的标记线(车道边界线)的位置，但是，本发明的上述任何一个实施方式中，均可以可靠地确定出车道边界线的位置。而且，能够实现充分满足警报系统和控制系统所期待的高可靠性的边界线的识别。
产业上的可利用性
本发明的路面行驶车道检测装置能够如上所述那样可靠地确定行驶车道的边界线的位置，因此，能够适用于例如车辆等的各种警报系统和控制系统。

Claims (11)

1.一种路面行驶车道检测装置，从拍摄装置连续拍摄路面所得到的图像中检测行驶车道，其特征在于，具有：
边缘点检测装置，其从图像中的轮廓线检测多个边缘点；
段群作成装置，其针对该边缘点检测装置检测出的多个边缘点，基于各边缘点间的距离与方位的连续性来作成线段，并对由该线段构成且相互处于规定的关系的多个线段进行分组，以此作成段群；
曲线检测装置，其通过曲线拟合来检测与该段群作成装置所作成的段群相吻合的曲线；
车道边界线位置确定装置，其将该曲线检测装置检测出的曲线中分布在左右车道边界附近的多个曲线与上述段群作成装置所作成的段群进行对照，在构成最接近上述行驶车道的中心的曲线的段群具有规定的长度以及反复周期时确定为最内侧标记线，将与上述最内侧标记线相对于上述行驶车道的中心的外侧相邻的曲线的位置，确定为上述行驶车道的边界线的位置。
2.如权利要求1所述的路面行驶车道检测装置，其特征在于，上述段群作成装置在上述多个线段中，将在相对于规定的线段而存在于规定的距离与方位的范围内的其他的线段作为一个组，以此作成上述段群。
3.如权利要求1所述的路面行驶车道检测装置，其特征在于，上述段群作成装置针对由上述边缘点检测装置检测出的多个边缘点构成的边缘点群，基于各边缘点间的距离与方位的连续性来作成上述线段。
4.如权利要求1所述的路面行驶车道检测装置，其特征在于，上述段群作成装置在基于上述多个线段的线段群中，在针对规定的线段所设定的规定的距离与方位的范围内存在其他线段时，判定为处于上述规定的关系，作为属于同一个组来进行处理。
5.如权利要求1所述的路面行驶车道检测装置，其特征在于，上述曲线检测装置对被分组的线段进行曲线拟合，以此检测上述曲线。
6.如权利要求1所述的路面行驶车道检测装置，其特征在于，在上述线段在纵向或横向具有规定的长度以及周期，从而判断为方块状的标记线时，上述车道边界线位置确定装置将该方块状的标记线从车道边界线候补中去除，将上述方块状的标记线相对于上述行驶车道的中心的外侧的曲线判定为上述行驶车道的边界线。
7.如权利要求1所述的路面行驶车道检测装置，其特征在于，上述边缘点检测装置在上述拍摄装置所拍摄的图像上检测出上述多个边缘点之后，将上述多个边缘点的坐标值反投影到三维路面坐标上并作为上述多个边缘点进行输出。
8.一种路面行驶车道检测装置，从拍摄装置连续拍摄路面所得到的图像中检测行驶车道，其特征在于，具有：
边缘点检测装置，其从图像中的轮廓线检测多个边缘点；
曲线检测装置，其通过曲线拟合来检测与该边缘点检测装置检测出的多个边缘点相吻合的边缘点群的曲线；
段群作成装置，其将用于构成该曲线检测装置检测出的曲线的边缘点群进行分组，以此作成段群；
车道边界线位置确定装置，其将上述曲线检测装置检测出的曲线中分布在左右车道边界附近的多个曲线与上述段群作成装置所作成的段群进行对照，在构成最接近上述行驶车道的中心的曲线的段群具有规定的长度以及反复周期时确定为最内侧标记线，将与上述最内侧标记线相对于上述行驶车道的中心的外侧相邻的曲线的位置，确定为上述行驶车道的边界线的位置。
9.如权利要求8所述的路面行驶车道检测装置，其特征在于，上述段群作成装置针对用于构成上述曲线检测装置检测出的曲线的边缘点群，作成边缘直方图，对用于直方图峰值的边缘点群进行分组，以此作成上述段群。
10.如权利要求9所述的路面行驶车道检测装置，其特征在于，在上述直方图峰值在纵向或横向具有规定的长度以及周期，从而判断为方块状的标记线时，上述车道边界线位置确定装置将该方块状的标记线从车道边界线候补中去除，将上述方块状的标记线相对于上述行驶车道的中心的外侧的曲线判定为上述行驶车道的边界线。
11.如权利要求8所述的路面行驶车道检测装置，其特征在于，上述边缘点检测装置在上述拍摄装置所拍摄的图像上检测出上述多个边缘点之后，将上述多个边缘点的坐标值反投影到三维路面坐标上并作为上述多个边缘点进行输出。
CNB200480023582XA 2003-09-24 2004-09-22 路面行驶车道检测装置 Expired - Fee Related CN100452093C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP331356/2003 2003-09-24
JP2003331356A JP3956926B2 (ja) 2003-09-24 2003-09-24 路面走行レーン検出装置

Publications (2)

Publication Number Publication Date
CN1836266A CN1836266A (zh) 2006-09-20
CN100452093C true CN100452093C (zh) 2009-01-14

Family

ID=34373039

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200480023582XA Expired - Fee Related CN100452093C (zh) 2003-09-24 2004-09-22 路面行驶车道检测装置

Country Status (6)

Country Link
US (1) US20070084655A1 (zh)
EP (1) EP1667085A4 (zh)
JP (1) JP3956926B2 (zh)
KR (1) KR100784307B1 (zh)
CN (1) CN100452093C (zh)
WO (1) WO2005029440A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4365352B2 (ja) * 2005-07-06 2009-11-18 本田技研工業株式会社 車両及びレーンマーク認識装置
JP4905648B2 (ja) * 2006-02-21 2012-03-28 学校法人東京理科大学 車両用刺激提示装置及び刺激提示方法
KR101035761B1 (ko) * 2006-07-06 2011-05-20 포항공과대학교 산학협력단 차선 인식을 위한 영상 처리 방법 및 시스템
JP2009237901A (ja) * 2008-03-27 2009-10-15 Zenrin Co Ltd 路面標示地図生成方法
US8384776B2 (en) * 2009-04-22 2013-02-26 Toyota Motor Engineering And Manufacturing North America, Inc. Detection of topological structure from sensor data with application to autonomous driving in semi-structured environments
CN101567086B (zh) * 2009-06-03 2014-01-08 北京中星微电子有限公司 一种车道线检测方法及其设备
JP5363921B2 (ja) * 2009-08-31 2013-12-11 富士重工業株式会社 車両用白線認識装置
CN102713987B (zh) * 2010-01-29 2014-10-01 丰田自动车株式会社 道路信息检测装置以及车辆行驶控制装置
JP5469509B2 (ja) * 2010-03-31 2014-04-16 パナソニック株式会社 車線位置検出装置および車線位置検出方法
WO2012089261A1 (en) * 2010-12-29 2012-07-05 Tomtom Belgium Nv Method of automatically extracting lane markings from road imagery
JP5452518B2 (ja) * 2011-02-09 2014-03-26 富士重工業株式会社 車両用白線認識装置
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
KR101295077B1 (ko) * 2011-12-28 2013-08-08 전자부품연구원 다양한 도로 상황에서의 차선 검출 및 추적 장치
CN102968770A (zh) * 2012-11-30 2013-03-13 华为技术有限公司 噪声消除方法及装置
CN103150905B (zh) * 2013-02-06 2015-12-09 广州畅通智能交通科技有限公司 路侧安装波频检测器检测交通流的方法
JP6169366B2 (ja) * 2013-02-08 2017-07-26 株式会社メガチップス 物体検出装置、プログラムおよび集積回路
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
CN103630122B (zh) * 2013-10-15 2015-07-15 北京航天科工世纪卫星科技有限公司 一种单目视觉车道线检测方法及其测距方法
CN104648397B (zh) * 2013-11-19 2017-05-17 沙漠科技股份有限公司 车道偏移警示系统及方法
JP6274936B2 (ja) * 2014-03-25 2018-02-07 ダイハツ工業株式会社 運転支援装置
FR3019508B1 (fr) * 2014-04-08 2017-12-08 Alstom Transp Tech Procede de detection de rails sur lesquels circule un vehicule ferroviaire
US9321461B1 (en) * 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
RU2686279C1 (ru) * 2015-08-04 2019-04-24 Ниссан Мотор Ко., Лтд. Устройство обнаружения уступов и способ обнаружения уступов
KR101694347B1 (ko) * 2015-08-31 2017-01-09 현대자동차주식회사 차량 및 차선인지방법
JP6530685B2 (ja) * 2015-09-15 2019-06-12 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出システム、物体検出方法および物体検出プログラム
CN108885831B (zh) 2016-03-24 2020-04-14 日产自动车株式会社 行进路检测方法及行进路检测装置
CA3018663C (en) 2016-03-24 2019-04-30 Nissan Motor Co., Ltd. Travel lane detection method and travel lane detection device
JP7024176B2 (ja) * 2016-09-27 2022-02-24 日産自動車株式会社 走路検出方法及び走路検出装置
KR101910256B1 (ko) * 2016-12-20 2018-10-22 전자부품연구원 카메라 기반 도로 곡률 추정을 위한 차선 검출 방법 및 시스템
CN108335404B (zh) * 2018-02-07 2020-09-15 深圳怡化电脑股份有限公司 边缘拟合方法及验钞设备
US10860868B2 (en) * 2018-04-18 2020-12-08 Baidu Usa Llc Lane post-processing in an autonomous driving vehicle
CN112384962B (zh) * 2018-07-02 2022-06-21 日产自动车株式会社 行驶辅助方法及行驶辅助装置
JP2020085788A (ja) * 2018-11-29 2020-06-04 太陽誘電株式会社 鉄損の算出方法及び算出装置
CN112950740A (zh) * 2019-12-10 2021-06-11 中交宇科（北京）空间信息技术有限公司 高精地图道路中心线的生成方法、装置、设备及存储介质
CN113212352B (zh) * 2020-02-06 2023-05-05 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
CN111611862B (zh) * 2020-04-22 2022-09-09 浙江众合科技股份有限公司 一种基于曲线拟合的地铁轨道半自动标注方法
KR102499334B1 (ko) * 2021-06-28 2023-02-14 (주)뷰런테크놀로지 라이다 센서를 이용하여 차선을 검출하는 방법 및 상기 방법을 수행하는 차선 검출 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249597A (ja) * 1995-03-15 1996-09-27 Nissan Motor Co Ltd 道路形状検出装置
JPH1185999A (ja) * 1997-09-13 1999-03-30 Honda Motor Co Ltd 車両用白線検出装置
US5904725A (en) * 1995-04-25 1999-05-18 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus
CN1351317A (zh) * 2000-10-27 2002-05-29 新鼎系统股份有限公司 图像检测系统与方法
JP2003030626A (ja) * 2001-07-18 2003-01-31 Toshiba Corp 画像処理装置及びその方法
JP2003228711A (ja) * 2001-11-30 2003-08-15 Hitachi Ltd レーンマーク認識方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
JP3993259B2 (ja) * 1996-07-31 2007-10-17 アイシン精機株式会社 画像処理装置
US5991427A (en) * 1996-07-31 1999-11-23 Aisin Seiki Kabushiki Kaisha Method and apparatus for detecting a lane on a road
JPH1067252A (ja) * 1996-08-29 1998-03-10 Aisin Seiki Co Ltd 車両走行状態検出装置
JP3373773B2 (ja) * 1998-01-27 2003-02-04 株式会社デンソー レーンマーク認識装置、車両走行制御装置および記録媒体
JP3463858B2 (ja) * 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP3635244B2 (ja) * 2001-05-16 2005-04-06 富士通テン株式会社 カーブｒ補正方法及びその装置
JP3662218B2 (ja) * 2001-12-18 2005-06-22 アイシン精機株式会社 車線境界検出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249597A (ja) * 1995-03-15 1996-09-27 Nissan Motor Co Ltd 道路形状検出装置
US5904725A (en) * 1995-04-25 1999-05-18 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus
JPH1185999A (ja) * 1997-09-13 1999-03-30 Honda Motor Co Ltd 車両用白線検出装置
CN1351317A (zh) * 2000-10-27 2002-05-29 新鼎系统股份有限公司 图像检测系统与方法
JP2003030626A (ja) * 2001-07-18 2003-01-31 Toshiba Corp 画像処理装置及びその方法
JP2003228711A (ja) * 2001-11-30 2003-08-15 Hitachi Ltd レーンマーク認識方法

Also Published As

Publication number Publication date
JP3956926B2 (ja) 2007-08-08
KR20060057004A (ko) 2006-05-25
JP2005100000A (ja) 2005-04-14
US20070084655A1 (en) 2007-04-19
EP1667085A4 (en) 2007-02-07
KR100784307B1 (ko) 2007-12-13
EP1667085A1 (en) 2006-06-07
WO2005029440A1 (ja) 2005-03-31
CN1836266A (zh) 2006-09-20

Similar Documents

Publication Publication Date Title
CN100452093C (zh) 路面行驶车道检测装置
CN100424724C (zh) 路面行驶车道检测装置
JP6519262B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP4650079B2 (ja) 物体検出装置、および方法
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
EP0827127B1 (en) Local positioning apparatus, and method therefor
EP0700017A2 (en) Method and apparatus for directional counting of moving objects
KR960042482A (ko) 물체 관측 방법 및 그 방법을 이용한 물체 관측 장치와, 이 장치를 이용한 교통 흐름 계측 장치 및 주차장 관측 장치
JPH11252587A (ja) 物体追跡装置
KR102491527B1 (ko) 카메라 영상에서 대상의 감지
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
JP2002008019A (ja) 軌道認識装置及び軌道認識装置を用いた鉄道車両
GB2344205A (en) Vehicle identification
JPH06225308A (ja) 走行路検出装置
JPH10187974A (ja) 物流計測装置
JP3999345B2 (ja) 自車位置認識装置、自車位置認識方法及びプログラム
KR101558285B1 (ko) 주행 차로 인식 장치 및 그것의 주행 차로 인식 방법
JP2662583B2 (ja) 車上距離検出装置
JP2001116512A (ja) 車間距離測定方法および車間距離測定装置
JP2557350B2 (ja) 速度測定方式
CN112149622B (zh) 一种铁路道岔识别方法和系统
CN118103881A (zh) 用于确定车辆自身位置的方法及装置
KR20240081060A (ko) 영상속 객체의 시각적 표지를 보정하는 방법 및 그 장치
JP2000182184A (ja) 車載空中線検出方法および装置
JPH0663743B2 (ja) 位置測定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090114

Termination date: 20091022