CN101405783B - 道路区划线检测装置 - Google Patents

道路区划线检测装置 Download PDF

Info

Publication number
CN101405783B
CN101405783B CN200780009978.2A CN200780009978A CN101405783B CN 101405783 B CN101405783 B CN 101405783B CN 200780009978 A CN200780009978 A CN 200780009978A CN 101405783 B CN101405783 B CN 101405783B
Authority
CN
China
Prior art keywords
division line
road
road division
line
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200780009978.2A
Other languages
English (en)
Other versions
CN101405783A (zh
Inventor
西田诚
高井勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101405783A publication Critical patent/CN101405783A/zh
Application granted granted Critical
Publication of CN101405783B publication Critical patent/CN101405783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0244—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using reflecting strips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

本发明涉及道路区划线检测装置，能够灵活应对道路路面状况而高精度地进行道路区划线的特征点的提取，从而能够实现高精度的道路区划线的检测。在本发明中，从由对车辆前方区域进行拍摄的相机拍摄到的拍摄图像中，将亮度变化大于预定阈值的像素部位作为表现路面上的道路区划线的边缘点而提取(步骤106)，根据该提取出的边缘点来生成描绘在道路上的道路区划线的候补线(步骤108)，根据该生成的道路区划线的候补线的数目，来改变与提取上述边缘点时使用的亮度变化有关的预定阈值(步骤122～130)。具体地说，当候补线的数目超过预定条数时，将该阈值向高值改变，使得难以进行边缘点的提取，另一方面，当候补线的数目没有达到预定条数时，将该阈值向低值改变，使得容易进行边缘点的提取。

Description

道路区划线检测装置
技术领域
本发明涉及道路区划线检测装置，特别涉及根据由被安装在车辆上并对车辆周边的路面进行拍摄的拍摄单元拍摄到的拍摄图像来检测描绘在道路路面上的道路区划线的道路区划线检测装置。
背景技术
以往，公知有如下的道路区划线检测装置，即：检测描绘在道路上的、划分车辆行驶的车道的白线等道路区划线(例如，参照专利文献1)。该装置具有安装在自身车辆上的、拍摄车辆前方区域的相机，并对由该相机拍摄到的拍摄图像进行处理，由此检测道路区划线。具体地说，从包含白线等道路区划线的拍摄图像中，将亮度达到作为基准的阈值以上的部分作为该道路区划线的特征点而提取出多个，用线将这些多个特征点相互连结起来，由此将特征点数目多的候补线确定为道路区划线。
专利文献1：日本专利文献第2861638号公报。
发明内容
发明所要解决的问题
然而，如果提取上述道路区划线的特征点时使用的参数、即亮度的基准阈值被固定为恒定值，则在作为道路区划线的特征点而被从拍摄图像提取出的部分中可能会产生包含大量干扰的情况，结果容易发生道路区划线的误检测。另一方面，本来应作为道路区划线的特征点而被提取出的部分可能会由于描绘在道路路面上的道路区划线的涂装的剥离或擦除等而产生无法作为特征点被提取的情况，结果恐怕难以检测道路区划线。
本发明是鉴于上述方面而完成的，其目的在于提供一种道路区划线检测装置，能够灵活应对道路路面状况而高精度地进行道路区划线的特征点的提取，从而能够实现高精度的道路区划线的检测。
用于解决问题的手段
为了达到上述的目的，本发明提供一种道路区划线检测装置，包括：拍摄单元，对车辆周边的路面进行拍摄；以及特征点提取单元，从由所述拍摄单元拍摄到的拍摄图像中将预定参数满足基准的部分作为表现路面上的道路区划线的特征点而提取出来；所述道路区划线检测装置根据由所述特征点提取单元提取出的所述特征点来检测描绘在道路上的道路区划线，其特征在于，还包括：候补线生成单元，根据由所述特征点提取单元提取出的所述特征点来生成所述道路区划线的候补线；以及基准改变单元，根据由所述候补线生成单元生成的所述候补线的数目来改变所述基准，所述基准与由所述特征点提取单元从拍摄图像中提取所述特征点时使用的预定参数有关。
在该方式的发明中，在预定参数满足基准的部分作为表现道路区划线的特征点被提取出后，根据该提取出的特征点来生成道路区划线的候补线。道路区划线在行车道的两侧一般存在预定条数(通常为一条)。当道路区划线的候补线在行车道一侧超过该预定条数而被生成时，被认为该候补线代表预定条数的真正的道路区划线和由其他的干扰引起的线，并可以判断为干扰容易作为道路区划线的特征点被提取。另一方面，当道路区划线的候补线在行车道一侧没有生成预定条数时，可以判断为由于描绘在道路路面上的真正的道路区划线的例如涂装的剥离等而其特征点难以被提取。
在本发明中，根据生成的候补线的数目来改变与从拍摄图像中提取道路区划线特征点时使用的预定参数有关的基准。根据该构成，在提取道路区划线的特征点时，能够抑制干扰作为道路区划线的特征点被提取，并且能够防止难以提取描绘在道路路面上的道路区划线的特征点。因此，根据本发明，能够灵活应对道路路面状况而高精度地进行道路区划线的特征点的提取，从而能够实现高精度的道路区划线的检测。
另外，在该发明中，“候补线的数目”为包括“候补线的有无”的概念。
上述道路区划线检测装置也可以为如下方式：当由所述候补线生成单元生成的所述候补线的数目没有达到预定数时，所述基准改变单元改变所述基准，以比当前更容易进行所述特征点的提取。
另外，上述道路区划线检测装置也可以为如下方式：当由所述候补线生成单元生成的所述候补线的数目超过预定数时，所述基准改变单元改变所述基准，以比当前更难以进行所述特征点的提取。
另外，上述道路区划线检测装置也可以为如下方式：当由所述候补线生成单元生成的所述候补线的数目没有达到预定数时，所述基准改变单元改变所述基准，以比当前更容易进行所述特征点的提取，当由所述候补线生成单元生成的所述候补线的数目超过预定数时，所述基准改变单元改变所述基准，以比当前更难以进行所述特征点的提取。
另外，在上述道路区划线检测装置中，如果所述基准改变单元将所述基准分阶段地改变预定单位，则能够使从拍摄图像中提取道路区划线的特征点方面的基准收敛成良好地应对干扰程序或道路区划线的擦除程度等路面状况的恰当值，因此能够实现更高精度的道路区划线的检测。
此时，如果当由所述特征点提取单元提取的所述特征点的数目的时间变化为预定值以上时，所述基准改变单元一下子将所述基准改变超过所述预定单位的幅度，则当例如进入隧道时或退出时等道路路面的日照状态突然发生变化时，也能够防止道路区划线成为未检测出的状态或不需要的干扰被提取出的状态长时间地持续，因此能够防止道路区划线的检测精度下降。
如果上述道路区划线检测装置包括根据描绘在行车道一侧的道路区划线的条数来改变所述预定数的预定数改变单元，则当描绘在行车道的一侧的道路区划线的条数发生时间变化时、即当该道路区划线从单线向复合线变化时或者相反从复合线向单线变化时，也能够灵活地应对该道路路面状况而进行道路区划线的特征点的提取，因此能够实现更高精度的道路区划线的检测。
此时，所述预定数改变单元也可以采用如下方式：当描绘在道路一侧的道路区划线的形状从由一条线构成的单线向由多条线构成的复合线变化时，所述预定数改变单元使所述预定数增加。
另外，如果在上述道路区划线检测装置中所述基准改变单元改变与由所述特征点提取单元从下次以后的拍摄图像中提取所述特征点时使用的预定参数有关的所述基准，则能够降低从一个拍摄图像中检测道路区划线的计算成本或处理量。
另外，上述道路区划线检测装置也可以采用如下方式：所述预定参数为亮度或亮度变化。
发明的效果
根据本发明，能够灵活应对道路路面状况而高精度地进行道路区划线的特征点的提取，从而能够实现高精度的道路区划线的检测。
附图说明
图1是包括作为本发明的一个实施例的道路区划线检测装置的系统的构成图；
图2是用于说明从一帧拍摄图像中提取出亮度变化大的边缘点时产生的不良情况的图；
图3是在本实施例的道路区划线检测装置中被执行的控制程序的一个例子的流程图；
图4是表示描绘在道路路面上的道路区划线的形状为由一条构成的单线的状况和该形状为由多条线构成的复合线的状况的图；
图5是在本实施例的道路区划线检测装置中被执行的子程序的一个例子的流程图。
标号说明
10道路区划线检测装置
12相机
14图像处理部
SH阈值
COUNT道路区划线的候补的数目
具体实施方式
以下，对本发明优选的实施例进行说明。
图1表示包括作为本发明的一个实施例的、安装在车辆上的道路区划线检测装置10的系统的构成图。本实施例的道路区划线检测装置10包括相机12和图像处理部14。相机12被配设在车身前部的保险杠或格栅上或者车厢内前部的外视镜的撑条上。相机12为具有面向车辆前方的行进方向的光轴的、拍摄车辆前方区域的例如CCD相机。
在相机12上连接有图像处理部14。相机12拍摄的结果，即得到的拍摄图像作为视频信号被供应给图像处理部14。如后详述，图像处理部14根据从相机12发送来的视频信号来检测/推定描绘在道路上的用于划分车辆行驶的车道的实线状或虚线状的白线或黄线等道路区划线。然后，道路区划线检测装置10计算自身车辆相对于该图像处理部14检测/推定出的道路区划线的横向位置。
本实施例的系统包括与上述道路区划线检测装置10连接的自动转向控制装置16。自动转向控制装置16包括电子控制单元(以下，称为转向ECU)18。在转向ECU18上连接有转向马达20和车速传感器22。转向马达20按照从转向ECU18提供的指令信号产生用于使车辆转向的转矩。车速传感器22输出与车辆的速度相应的信号。转向ECU18根据车速传感器22的输出信号检测车速。另外，道路区划线检测装置10计算出的自身车辆的横向位置信息被供应给转向ECU18。当自身车辆将要从横向位置偏离，例如自身车辆将要从道路区划线偏离时，转向ECU18向转向马达20供应指令信号以实现与车速相应的车辆的自动转向，以避免偏离(避免偏离控制)。
以下，对本实施例的道路区划线检测装置10的动作进行说明。
在本实施例的道路区划线检测装置10中，图像处理部14定期地获得相机12拍摄到的拍摄图像。由于道路一般多用沥青铺装，因此道路会以亮度(1uminance)低的颜色(主要为黑色)显现在获得的拍摄图像上。另一方面，由于白线等道路区划线以比较高的亮度描绘在道路上，因此道路区划线会以亮度高的颜色(白色或黄色)显现在获得的拍摄图像上。因此，可以利用道路与构成道路区域线的物标之间的亮度差从拍摄图像中提取构成白线等道路区划线的物标。
图像处理部14每当获得一帧来自相机12的拍摄图像时，将整个该一帧拍摄图像以预定间隔沿左右方向扫描，并按每个像素来判断亮度变化(对比度)是否大于预定阈值。然后，从该获得的一帧拍摄图像中将亮度变化大的像素部分作为边缘点提取出来。另外，如果在整个拍摄图像之中仅对存在构成道路区划线的物标的可能性高的区域进行该边缘点的提取，则就缩短处理时间而言比较理想，但是对整个拍摄图像进行了该边缘点提取之后，仅对存在构成道路区划线的物标的可能性高的区域进行过滤处理也能够得到相同的效果。
图像处理部14从一帧拍摄图像中进行了边缘点提取之后将全部边缘点彼此用线连结起来，由此尝试生成作为道路区划线的候补的线状的边缘线。
当构成道路区划线的物标为实线状时，来自一帧拍摄图像的边缘点沿该道路区划线几乎会无间隙地出现。另外，当构成道路区划线的物标为虚线状时，由于存在虚线的断开部分(无线部)，因此来自一帧拍摄图像的边缘点有可能会间隔出现，但是此时该边缘点还会沿道路区划线出现以便连接虚线的有线部分来修补该断开部分。因此，作为如上所述将从一帧拍摄图像中提取出的边缘点彼此连结起来的结果，图像处理部14首先分别对拍摄图像内的左右两侧进行直线检测，检测每单位距离存在预定数目以上的边缘点的线。然后，当通过该直线检测检测出上述线时，将该线作为道路区划线的候补而保留。
另外，构成白线等道路区划线的物标以某种程度的粗度(宽度)被描画在道路上，因此在每一条道路区划线上在该道路区划线的左端和右端必定存在成对的亮度变化变大的边缘点对。因此，图像处理部14在进行了上述的直线检测之后，对在由该直线检测检测出的每单位距离存在预定数以上的边缘点的各线进行对(pair)判断，判断是否存在边缘点对。然后，将不存在该边缘点对的上述线从道路区划线的候补中排除，而将存在边缘点对的上述线作为道路区划线的候补而保留。
另外，由于构成白线等道路区划线的物标被连续描绘在道路上，因此显现在拍摄图像上的该物标的位置不会在连续的帧间发生大变化。另一方面，由于路面干扰几乎不会连续出现在道路上，因此显现在拍摄图像上的该干扰在连续的帧间位置会发生大变化(突然出现)。因此，图像处理部14在一帧拍摄图像上进行了上述的对判断之后，根据通过该对判断判断为彼此成为边缘点对的一对线在拍摄图像上的位置(尤其是左右位置)与在预定时间前(跟前)的过去帧中检测出的道路区划线在该拍摄图像上的位置之间的关系，进行连续性判断，即在当前帧中判断来自过去帧的、位置具有连续性的上述一对线。然后，将在拍摄图像上的位置与过去的道路区划线不连续的一对线从道路区划线的候补中排除，另一方面，将在拍摄图像上的位置与过去的道路区划线连续的一对线作为道路区划线的候补而保留。
图像处理部14通过连续性判断将位置具有连续性的上述一对线生成为边缘线，该边缘线为道路区划线的候补。然后，将该存在预定数以上的边缘点的边缘线作为道路上的道路区划线来检测/推定，计算自身车辆相对于该道路区划线的横向位置。
图2表示用于说明从一帧拍摄图像提取出亮度变化大的边缘点时产生的不良情况的图。另外，图2示出的相机拍摄图像内的状况是从道路路面的正上方垂直观察所得到的。另外，在图2中，将黑圆点表示为表示真正的道路区划线的边缘点，将黑三角表示为由干扰引起的边缘点。
但是，如果与用于从相机12的拍摄图像中提取边缘点的亮度变化有关的上述阈值被固定为恒定值，则在从拍摄图像中作为边缘点提取出的部分中可能会产生包含大量干扰成分的情况(图2的(A))，有时会生成多个作为道路区划线的候补的边缘线(图2的(B))，从而容易产生道路区划线的误检测。另一方面，本来应作为边缘点而被提取出的部分由于描绘在道路路面上的道路区划线的涂装的剥离等而可能会产生无法作为边缘点被提取的情况(图2的(C))，从而恐怕难以检测道路区划线。
因此，本实施例的道路区划线检测装置10在以下方面具有第一特征，即：能够灵活应对道路路面状况而高精度地从一帧拍摄图像中提取边缘点，从而能够实现高精度的道路区划线的检测。以下，参照图3来说明本实施例的第一特征部。
一般来说，描绘在车辆行驶的道路路面上的白线等道路区划线在该车道的两侧各存在预定条数(通常为一条)。因此，当根据从相机拍摄图像中提取出的边缘点生成的道路区划线的候补线(边缘线)的数目在行车道一侧超过该预定条数时，可以判断为该候补线示出了描绘在道路上的预定条数的真正的道路区划线和亮度变化不太大的由其他干扰引起的线。另外，当根据从相机拍摄图像中提取出的边缘点生成的道路区划线的候补线(边缘线)的数目在行车道一侧没有达到该预定条数时，可以判断为由于描绘在道路上的真正的道路区划线的例如涂装的剥落或擦除等而使该边缘点难以提取。
在本实施例中，通过按每个像素来判断亮度变化是否大于预定阈值而从相机拍摄图像提取边缘点，并将亮度变化较大的像素部分作为边缘点提取出来。就这方面而言，当根据从相机拍摄图像中提取出的边缘点经过上述的直线检测、对判断、以及连续性判断而实际生成的道路区划线的候补线的数目超过预先设定的预定条数(通常为一条)时，如果提高与用于边缘点提取时的亮度变化有关的上述预定阈值，以使干扰难以作为边缘点被提取，则能够尽可能地排除不表现真正的道路区划线的干扰作为道路区划线的边缘点被提取的情况。另外，当根据从相机拍摄图像中提取出的边缘点实际生成的道路区划线的候补线的数目没有达到预定条数时，如果降低上述预定阈值，以使表现真正的道路区划线的物标容易作为边缘点被提取，则能够尽可能地排除表现真正的道路区划线的物标没有作为边缘线被提取的情况。
图3表示为了实现上述功能而在本实施例的道路区划线检测装置10中由图像处理部14执行的控制程序的一个例子的流程图。图3所示的流程图是输入相机12拍摄的拍摄图像的每隔预定时间反复起动的程序。当图3所示的程序被起动时，首先执行步骤100的处理。
在步骤100中，进行相机12拍摄的作为视频信号输出的拍摄图像的输入处理，在步骤102中，计算在上述步骤100中输入的拍摄图像的画面亮度(1uminance)。
在步骤104中，进行确定预定阈值SH的处理，所述预定阈值SH与从相机12的拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关。该阈值SH的初始值(例如车辆点火起动时的数值)可以预先设定为能够将构成真正的道路区划线的物标作为边缘点提取的一般的值(例如，预先确定的下限值)，如后详述，该阈值SH与自身车辆在当前时刻之前行驶的道路的路面状况一致，可以在预先确定的下限值与上限值的可变幅度之间上下变化。
在步骤106中，进行以下处理，即：按照在上述步骤100中输入的一帧相机拍摄图像的每个像素来判断亮度变化是否大于在上述步骤104中确定的预定阈值SH，由此使用该预定阈值SH从一帧相机拍摄图像中提取构成道路区划线的物标的边缘点。
在步骤108中，进行以下处理，即：将在上述步骤S106中提取出的每个像素的多个边缘点分别在图像左右彼此恰当地用线连结起来，并且进行上述的直线检测、对判断、以及连续性判断，在图像左右两侧分别将保留的线状的边缘线生成为最终的道路区划线的候补。然后，在步骤110中，将由上述步骤108的处理结果生成的边缘线用于表示最终的道路区划线，由此可以检测出自身车辆相对于该道路区划线的横向位置，该横向位置信息被输出给自动转向控制装置16。另外，在进行该步骤110的处理时，当由上述步骤108的处理结果分别在图像左右生成的边缘线有多条时，将其中边缘点数最多的一条用于表示道路区划线即可。
另外，当在步骤108中生成了道路区划线的候补时，在步骤112中进行在图像内左右两侧(即，行车道两侧)分别计算该生成的道路区划线的候补的数目COUNT的处理。并且，对行车道两侧各自的道路区划线的候补独立进行以下处理。
在步骤114中判断在上述步骤112中计算出的道路区划线的候补数COUNT是否低于预定数COUNT0。另外，该预定数COUNT0为应描绘在车辆行驶的道路路面上的车道一侧的道路区划线的条数，通常的道路区划线在车道一侧一般存在一条，因此通常被设定为“1”。但是，如后所述，当车辆在日本国内多见的如下道路、即道路区划线以由两条或三条等多条线构成的复合线而被描绘在行车道一侧的道路上行驶时(例如，使用导航装置检测出自身车辆在道路区划线形状为复合线的道路上行驶时等)，该预定数COUNT0被设定为多个(例如，两条或三条)。相反地，当自身车辆由道路区划线描绘成复合线的状态行驶到描绘成通常的单线的道路上时，再次被设定为“1”。当步骤114中的处理结果是COUNT<COUNT0不成立时，接着进行步骤116的处理。
在步骤116中，进行如下判断，即：判断构成在上述步骤108中作为最终表示道路区划线的边缘线而生成的边缘线的边缘点的、从前次拍摄图像到本次拍摄图像的减少数是否为第一预定值以上。该第一预定值为在例如进入隧道时等由道路路面的亮度变化大的状态切换为亮度变化小的状态时可能产生的边缘点数的一般减少数，预先由实验确定。另外，由于在车辆行驶中进入隧道时等阴影的存在而致使道路路面的亮度变化变大在实际情况下是从距离自身车辆很远的区域开始的，反映到相机拍摄图像上则是上部开始的。因此，在本步骤116的处理中，也可以判断在显现出车辆远方区域的拍摄图像内、尤其是上部，边缘点数是否急剧减少。
当上述步骤116中的处理的结果显示上述的边缘点数的减少数低于第一预定值时，可以判断为车辆在亮度没有减少很大的、通常的道路上行驶，因此接着进行步骤118的处理。在步骤118中，判断在上述步骤112中计算出的道路区划线的候补数COUNT是否大于上述的预定数COUNT0。结果，当判断为COUNT>COUNT0不成立时，可以判断为从输入的一帧拍摄图像中生成了期望数的道路区划线的候补，接着进行步骤120的处理。
在步骤120中，进行如下判断，即：构成在上述步骤108中作为最终表示道路区划线的边缘线而生成的边缘线的边缘点的、从前次拍摄图像到本次拍摄图像的增加数是否为第二预定值以上。该第二预定值为在例如从隧道退出时等由道路路面的亮度变化小的状态切换为亮度变化大的状态时可能产生的边缘点数的一般增加数，预先由实验确定。另外，该第二预定值也可以设定为与上述第一预定值相同的值。另外，由于在车辆行驶中从隧道退出时等阴影的消失而致使道路路面的亮度变化变大在实际情况下是从距离自身车辆很远的区域开始的，反映到相机拍摄图像上则是从上部开始的。因此，在本步骤120的处理中，也可以判断在显现出车辆远方区域的拍摄图像内的特别是上部边缘点数是否急剧增加。
上述步骤120中的处理的结果，当上述的边缘点数的增加数低于第二预定值时，可以判断为车辆在亮度没有增加很大的、通常的道路上行驶，因此接着进行步骤122的处理。在步骤122中，进行将预定阈值SH维持为现状的处理，所述预定阈值SH与从由下次的程序输入的相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关。
另一方面，当上述步骤114中的处理的结果显示COUNT<COUNT0成立时，可以判断为从在上述步骤100中输入的一帧拍摄图像中生成的道路区划线的候补数比应描绘在道路路面上的道路区划线的期望数少，因此接着进行步骤124的处理。
在步骤124中进行如下的处理，即：将预定阈值SH比在上述步骤104中确定的现状值降低预定量，所述预定阈值SH与从相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关。另外，该预定量被设定为上述边缘点的阈值SH在下限值与上限值之间包括该下限值和上限值在内可以变化三阶段以上所需要的变化量。
当进行了本步骤124的处理时，在下次的程序中，该降低的预定阈值SH被用作与从在那时刻输入的相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关的预定阈值SH(步骤104)。在此情况下，容易从下次得到的相机拍摄图像(下一帧的相机拍摄图像)中生成道路区划线的候补。
另外，当在步骤116中判断为构成作为最终表示道路区划线的边缘线而生成的边缘线的边缘点的减少数为第一预定值以上时，可以判断为车辆在隧道入口等从亮度变化大的状态切换为亮度变化小的状态的道路上行驶，因此接着进行步骤126的处理。
在步骤126中进行如下处理，即：将预定阈值SH从在上述步骤104中确定的当前值一下子降低超过上述预定量的量，所述预定阈值SH与从相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关。另外，在该情况下，预定阈值SH的降低幅度可以为至少超过在上述步骤124中使用的预定量的量，即只要与分阶段地每次降低该预定量的情况相比减少了该阶段数的量即可，可以是将该预定量2倍或3倍等之后而得到的值、或者使该阈值SH一下子达到下限值的值。
当进行了本步骤126的处理时，在下次的程序中，该降低的预定阈值SH被用作与从在那时刻输入的相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关的预定阈值SH(步骤104)。在此情况下，更容易从下一帧的相机拍摄图像中生成道路区划线的候补。
另外，当步骤118中的处理的结果显示COUNT>COUNT0成立时，可以判断为从在上述步骤100中输入的一帧拍摄图像中生成的道路区划线的候补数比应描绘在道路路面上的道路区划线的期望数多，因此接着进行步骤128的处理。
在步骤128中进行如下的处理，即：将预定阈值SH比在上述步骤104中确定的当前值提高预定量，所述预定阈值SH与从相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关。另外，该预定量被设定为上述边缘点的阈值SH在下限值与上限值之间包括该下限值和上限值在内可以变化三阶段以上所需要的变化量，也可以设定为与降低上述的阈值SH时的预定量相同的值。
当进行了本步骤128的处理时，在下次的程序中，该上升后的预定阈值SH被用作与从在那时刻输入的相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关的预定阈值SH(步骤104)。在此情况下，难以从下一帧的相机拍摄图像中生成道路区划线的候补。
另外，当在步骤120中判断为构成作为最终表示道路区划线的边缘线而生成的边缘线的边缘点的增加数为第二预定值以上时，可以判断为车辆在隧道出口等从亮度变化小的状态切换为亮度变化大的状态的道路上行驶，因此接着进行步骤130的处理。
在步骤130中进行如下处理，即：将预定阈值SH从在上述步骤104中确定的当前值一下子提高超过上述预定量的量，所述预定阈值SH与从相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关。另外，在该情况下，预定阈值SH的提高幅度可以为至少超过在上述步骤128中使用的预定量的量，即只要与分阶段地每次提高该预定量的情况相比减少了该阶段数的量即可，可以是将该预定量2倍或3倍等之后而得到的值、或者使该阈值SH一下子达到上限值的值。
当进行了本步骤130的处理时，在下次的程序中，该上升的预定阈值SH被用作与从在那时刻输入的相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关的预定阈值SH(步骤104)。在此情况下，更难以从下一帧的相机拍摄图像中生成道路区划线的候补。
这样，根据上述图3所示的程序，可以利用作为最终的道路区划线的候补的边缘线的生成结果，来改变预定阈值SH，所述边缘线是每当输入来自相机12的拍摄图像时，根据从该图像中提取出的边缘点经过直线检测、对判断、以及连续性判断而得到的，所述预定阈值SH与从相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关。具体地说，当最终的道路区划线的候补数没有达到期望数而较少时，可以将该阈值SH向低值改变，以比当前更容易进行边缘点的提取，从而更容易生成边缘线，另一方面，当该道路区划线的候补数超过期望数而较多时，可以将该阈值SH向高值改变，以比当前更难以进行边缘点的提取，从而更难以生成边缘线。
在本实施例中，当与从相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关的预定阈值SH如上所述地改变时，以后该改变后的预定阈值SH被用于从下次相机12拍摄的拍摄图像(下一帧的相机拍摄图像)中提取边缘点时。
因此，根据本实施例的构成，一旦根据从相机拍摄图像中提取出的边缘点实际生成的道路区划线的候补线数超过预先确定的预定数时，以后，将与从相机拍摄图像中提取边缘点时使用的亮度变化有关的阈值SH向高值改变，使得难以提取该边缘点，由此能够尽量排除不表示真正的道路区划线的干扰作为道路区划线的边缘点被提取。一旦根据从相机拍摄图像中提取出的边缘点实际生成的道路区划线的候补线数没有达到预定数时，以后，将与从相机拍摄图像中提取边缘点时使用的亮度变化有关的阈值SH向低值改变，使得容易提取该边缘点，由此能够尽量排除表示真正的道路区划线的物标由于涂装剥离或擦除等没有作为边缘线被提取的情况。
根据本实施例的道路区划线检测装置10，能够灵活地应对道路路面状况而高精度地从相机12的拍摄图像中提取表示道路区划线的边缘点，以能够在排除干扰的情况下将真正的道路区划线可靠地生成为候补线，由此能够实现高精度的道路区划线的检测。
另外，在本实施例中，与从相机拍摄图像中提取边缘点时使用的亮度变化有关的阈值SH的改变反映到从下一帧的相机拍摄图像提取边缘点时。即，与在某时刻从相机拍摄图像中提取边缘点时使用的亮度变化有关的阈值SH是根据在那之前的一个时刻从相机拍摄图像中生成的道路区划线的候补数而确定的。因此，根据本实施例，不需要对所输入的一个相机拍摄图像分别反复多次进行边缘点提取处理或边缘线生成处理，分别进行一次即可，因此能够降低伴随着从一个相机拍摄图像检测道路区划线方面的图像处理的计算成本、处理量以及处理时间，从而能够实现图像处理能力的减轻。
另外，如上所述，在阈值SH的改变反映在从下一帧的相机拍摄图像中提取边缘点时的构成中，延迟一帧的量应用该改变后的阈值SH。但是，一般来说，描绘在道路路面上的道路区划线的擦除等状态在相机拍摄图像的帧间不会变化很大，因此在应用上述阈值SH时延迟一帧的量不成问题。因此，根据本实施例的构成，延迟一帧的量来应用改变后的阈值SH几乎不会产生不良情况。
另外，在本实施例中，与从相机拍摄图像中提取边缘点时使用的亮度变化有关的阈值SH的改变(降低及上升)通常是：每当输入相机拍摄图像时分阶段地每次改变预定量。根据该构成，如果干扰多，则可以分阶段地提高与从相机拍摄图像中提取道路区划线的边缘点时使用的亮度变化有关的阈值SH，另一方面，如果未检测出道路区划线，则可以分阶段地降低上述阈值SH。因此，根据本实施例的道路区划线检测装置10，能够良好地应对干扰程度或实际的道路区划线的擦除程度等道路路面状况，使上述的阈值SH向恰当的值自动地收敛，从而能够生成期望条数的候补线，即能够在排除干扰的情况下可靠地检测出描绘在道路上的道路区划线，因此能够实现更高精度的道路区划线的检测。
但是，当相机拍摄图像中的边缘点数的每单位时间的变化(时间变化)比较大时，可以判断为车辆在隧道出入口等亮度变化的程度(对比度)变化较大的道路上，因此在从相机拍摄图像中恰当地检测道路区划线的方面来说，在其切换前后迅速地改变上述阈值SH较合适。在本实施例中，如图3所示，当从每个相机拍摄图像中提取出的边缘点数从前次程序到本次程序时间变化较大时，该阈值SH不是分阶段地每次被改变预定量，而是超过该预定量一下子改变该预定量的2倍或3倍、或者改变为下限值或上限值。因此，根据本实施例的构成，当隧道出入口等道路路面的对比度突然发生变化时，也能够防止由于阈值SH分阶段地改变而产生的道路区划线成为未检测出的状态或者提取出大量不需要的干扰的状态长时间地持续，由此能够防止降低道路区划线的检测精度。
并且，在本实施例中，根据通过彼此用线将从相机拍摄图像提取出的多个边缘点连结起来且进行上述直线检测、对判断、以及连续性判断而去除了某种程度的干扰后最终保留的道路区划线的候补数来进行预定阈值SH的改变，所述预定阈值SH与从该相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关。在该构成中，在拍摄图像上作为干扰不构成直线的边缘点通过直线检测、或者即使干扰存在为直线状该边缘点也可以通过对判断、或者即使干扰以对排列成直线状该边缘点也可以通过连续性判断而大多分别从构成道路区划线的物标的边缘点中排除。因此，在生成道路区划线的候补后，存在这种表现干扰的边缘点几乎不会成为妨碍，对上述预定阈值SH的改变几乎不会带来影响。
即，即使存在表现干扰的边缘点，也可以通过直线检测、对判断、以及连续性判断来排除的边缘点就生成与预定阈值SH的改变有关的最终的道路区划线的候补而言不会成为必要的边缘点，因此可以避免进行不必要的上述预定阈值SH的改变。因此，根据本实施例，能够高精度且稳定地从相机拍摄图像中检测道路区划线。
然而，描绘在道路路面上的行车道一侧的道路区划线的形状有如图4的(B)所示由一条构成的单线的情况和如图4的(A)所示由多条(在图4的(A)中为2条)线构成的复合线的情况。如上所述，在本实施例中，与从相机拍摄图像中提取道路区划线的边缘点时使用的亮度变化有关的阈值SH根据最终的道路区划线的候补数COUNT进行控制。具体地说，如果道路区划线的候补数COUNT超过预定数COUNT0，则提高该阈值SH。因此，在道路区划线的形状为复合线的情况下，如果该预定数COUNT0始终被设定为“1”，则可以产生上述阈值SH持续上升的不良情况，相反地，如果该预定数COUNT0始终被设定为多个，则在单线行驶时可能产生干扰容易被误检测为道路区划线的不良情况。
因此，本实施例的道路区划线检测装置10根据描绘在道路路面上的道路区划线的形状来改变预定数COUNT0，所述预定数COUNT0为道路区划线候补的阈值，由此在避免上述不良情况的方面具有第二特征。以下，参照图5来说明本实施例的第二特征部。
图5表示在本实施例的道路区划线检测装置10中图像处理部14执行的子程序的一个例子的流程图。图5所示的程序为每隔预定时间被反复起动的程序。当图5所示的程序被起动时，首先进行步骤150的处理。
在步骤150中，判断描绘在当前时刻自身车辆行驶的道路上的道路区划线的形状是否为由多条线构成的复合线。该判断例如可以根据使用存储有描绘在道路上的道路区划线的形状的信息的导航装置检测出的自身车辆在道路上的位置是否为道路区划线被描绘成复合线的位置来进行，也可以根据是否判断出作为相机12的拍摄图像的处理结果从该相机拍摄图像检测出的道路区划线由复合线构成来进行。
其结果，当进行了否定判断时，道路区划线的形状被判断为单线，因此接着在步骤152中进行将作为道路区划线候补的阈值的预定数COUNT0设定为“1”的处理。当进行了该处理时，以后，在上述图3所示的程序中的步骤114、118中，以该设定的预定数COUNT0为基准，进行与道路区划线的候补数COUNT有关的判断。
另一方面，当进行了肯定判断时，道路区划线的形状被判断为由多条线构成的复合线，因此接着在步骤154中进行将作为道路区划线候补的阈值的预定数COUNT0设定为“2”的处理。另外，此时设定的预定数COUNT0不限于“2”，当检测出构成该复合线的道路区划线的条数时，设定为该数(例如当为由三条线构成的复合线时，为“3”)即可。当进行了该处理时，以后，在上述图3所示的程序中的步骤114、118中，以该设定的预定数COUNT0为基准，进行与道路区划线的候补数COUNT有关的判断。
根据上述图5所示的程序，可以根据实际描绘在道路路面上的道路区划线的形状来改变作为道路区划线候补的阈值的预定数COUNT0。具体地说，当道路区划线的形状为单线时，将该预定数COUNT0改变设定为通常的“1”，另一方面，当道路区划线的形状为复合线时，可以使该预定数COUNT0从1增加改变设定为多个(例如，“2”)。
在该构成中，当描绘在行车道的一侧的道路区划线的条数发生时间变化时，具体地说当该道路区划线的形状从单线向复合线变化时，也可以防止与从相机拍摄图像中提取边缘点时使用的亮度变化有关的阈值SH持续上升，相反地，当该道路区划线的形状从复合线向单线变化时，可以避免在单线行驶时干扰容易被误检测为道路区划线。因此，根据本实施例的道路区划线检测装置10，能够灵活地应对道路区划线的形状变化的道路路面状况而从相机拍摄图像中提取边缘点，因此能够实现更高精度的道路区划线的检测。
这样，根据本实施例的系统，由于能够高精度地实现道路区划线的检测，因此能够抑制自身车辆相对于错误的道路区划线的横向位置被计算出的情况或自身车辆相对于道路区划线的横向位置完全不能计算出的情况。因此，能够使用真正的道路区划线恰当且可靠地进行通过自动转向控制装置16避免使自身车辆从道路区划线偏离的避免偏离控制。
在上述的实施例中，相机12相当于权利要求记载的“拍摄单元”，亮度变化相当于权利要求记载的“预定参数”，预定阈值SH相当于权利要求记载的“基准”，边缘点相当于权利要求记载的“特征点”，预定数COUNT0相当于权利要求记载的“预定数”，与预定阈值SH有关的预定量相当于权利要求记载的“预定单位”。
另外，在上述的实施例中，通过图像处理部14执行图3所示的程序中步骤106的处理来实现权利要求记载的“特征点提取单元”，通过图像处理部14执行步骤108的处理来实现权利要求记载的“候补线生成单元”，通过执行步骤122、124、126、128、130的处理来实现权利要求记载的“基准改变单元”，通过图像处理部14执行图5所示的程序中步骤152、154的处理来实现权利要求记载的“预定数改变单元”。
另外，在上述实施例中，为了改变与从相机拍摄图像中提取构成道路区划线的物标的边缘点时使用的亮度变化有关的预定阈值SH而使用道路区划线的候补数，并通过对从相机拍摄图像中提取出的边缘点进行直线检测、对判断、以及连续性判断生成该道路区划线的候补，但是生成该道路区划线的候补的手法不限于此，也可以通过其他的方法来进行。
另外，在上述实施例中，分别与处于道路左右两侧的道路区划线相对应而设置上述预定阈值SH，并左右独立地实施该阈值SH的改变即可。在该构成中，由于根据在图像左右两侧分别生成的各道路区划线的候补独立地进行阈值SH的改变，因此例如当左侧的道路区划线被阳光照射比较明亮而右侧的道路区划线没有被阳光照射比较黑暗时，也可以分别恰当地设定阈值SH，因此能够灵活地应对道路路面状况而高精度地从相机12的拍摄图像中提取表现道路区划线的边缘点，从而能够实现更高精度的道路区划线的检测。
另外，在上述实施例中，当根据边缘线数改变预定阈值SH时，将该改变后的预定阈值SH用于从下次的相机拍摄图像(下一帧的相机拍摄图像)中提取边缘点，但是本发明不限于此，也可以用于从下下次或更后的相机拍摄图像中提取边缘点。
另外，也可以将该改变后的预定阈值SH用于为了检测/推定应向自动转向控制装置16输出信息的道路区划线而从原相机拍摄图像中再次提取边缘点时，所述原相机拍摄图像用于计算出最终的道路区划线的候补数。在该变形例的构成中，也能够与上述的本实施例的构成相同，得到如下的效果，即：能够灵活地应对道路路面状况而高精度地从相机拍摄图像中提取表现道路区划线的边缘点，以能够在排除干扰的情况下将真正的道路区划线可靠地作为候补线而生成。但是，在该变形例的构成中，需要使来自相机12的拍摄图像的全部数据作为缓冲而存储在存储器中之后，对每一个相机拍摄图像在阈值互不相同的情况下分别进行两次以上的边缘点提取和边缘线生成，因此图像处理量庞大，需要高的图像处理能力。
另外，在上述的实施例中，当从一帧的相机拍摄图像中生成的道路区划线的候补数COUNT低于预定数COUNT0或者超过该预定数COUNT0时，直接改变用于边缘点提取的阈值SH，但是也可以在从相机拍摄图像中生成的道路区划线的候补数COUNT低于预定数COUNT0或者超过该预定数COUNT0的状态在预先设定的多个帧中持续或持续了预定时间时，改变上述的阈值SH。
另外，在上述的实施例中，在从相机拍摄图像中提取出构成道路区划线的物标的边缘点方面，将亮度变化用作了参数，所述亮度变化为高亮度与低亮度之差，但是也可以将亮度自身用作参数。
另外，上述的实施例用于将检测/推定出的道路区划线作为计算自身车辆的横向位置的基准、自身车辆将要从道路区划线偏离时避免偏离的车辆的自动转向上，但是本发明不限于此，也可以用于在自身车辆将要从道路区划线偏离时向车辆驾驶者进行扩音输出或显示输出的警报、警告控制上，还可以用于在行驶中为了沿着道路区划线点亮头灯而切换该点灯方向的控制上。
另外，本国际申请主张基于2006年3月24日申请的日本专利申请2006—82812号的优先权，在本国际专利申请中参照引用了该日本专利申请的全部内容。

Claims (7)

1.一种道路区划线检测装置，包括：拍摄单元，对车辆周边的路面进行拍摄；以及特征点提取单元，从由所述拍摄单元拍摄到的拍摄图像中将预定参数满足基准的部分作为表现路面上的道路区划线的特征点而提取出来；所述道路区划线检测装置根据由所述特征点提取单元提取出的所述特征点来检测描绘在道路上的道路区划线，其特征在于，还包括：
候补线生成单元，根据由所述特征点提取单元提取出的所述特征点来生成所述道路区划线的候补线；以及
基准改变单元，当由所述候补线生成单元生成的所述候补线的数目没有达到预定数时，该基准改变单元改变所述基准，使得比当前更容易进行所述特征点的提取，并且，当由所述候补线生成单元生成的所述候补线的数目超过预定数时，该基准改变单元改变所述基准，使得比当前更难以进行所述特征点的提取，其中，所述基准与由所述特征点提取单元从拍摄图像中提取所述特征点时使用的预定参数有关。
2.如权利要求1所述的道路区划线检测装置，其特征在于，
所述基准改变单元阶段性地改变所述基准，每阶段改变预定单位。
3.如权利要求2所述的道路区划线检测装置，其特征在于，
当由所述特征点提取单元提取的所述特征点的数目的时间变化为预定值以上时，所述基准改变单元一下子将所述基准改变超过所述预定单位的幅度。
4.如权利要求1所述的道路区划线检测装置，其特征在于，
包括预定数改变单元，该预定数改变单元根据描绘在行车道一侧的道路区划线的条数来改变所述预定数。
5.如权利要求4所述的道路区划线检测装置，其特征在于，
当描绘在道路一侧的道路区划线的形状从由一条线构成的单线变成由多条线构成的复合线时，所述预定数改变单元使所述预定数增加。
6.如权利要求1所述的道路区划线检测装置，其特征在于，
所述基准改变单元改变与由所述特征点提取单元从下次及其以后的拍摄图像中提取所述特征点时使用的预定参数有关的所述基准。
7.如权利要求1所述的道路区划线检测装置，其特征在于，所述预定参数为亮度或亮度变化。
CN200780009978.2A 2006-03-24 2007-03-22 道路区划线检测装置 Active CN101405783B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP082812/2006 2006-03-24
JP2006082812A JP4248558B2 (ja) 2006-03-24 2006-03-24 道路区画線検出装置
PCT/JP2007/055881 WO2007111220A1 (ja) 2006-03-24 2007-03-22 道路区画線検出装置

Publications (2)

Publication Number Publication Date
CN101405783A CN101405783A (zh) 2009-04-08
CN101405783B true CN101405783B (zh) 2014-07-09

Family

ID=38541140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780009978.2A Active CN101405783B (zh) 2006-03-24 2007-03-22 道路区划线检测装置

Country Status (5)

Country Link
US (1) US8477999B2 (zh)
EP (1) EP2009611B8 (zh)
JP (1) JP4248558B2 (zh)
CN (1) CN101405783B (zh)
WO (1) WO2007111220A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007061658A1 (de) * 2007-12-18 2009-06-25 Adc Automotive Distance Control Systems Gmbh Klassifikation der Fahrzeugumgebung
JP5012607B2 (ja) * 2008-03-21 2012-08-29 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
JP4947008B2 (ja) * 2008-08-07 2012-06-06 トヨタ自動車株式会社 車線区分線認識装置、車線維持支援装置及び車線区分線認識方法
JP4661934B2 (ja) * 2008-10-09 2011-03-30 株式会社デンソー 画像処理装置
US8396285B2 (en) * 2009-04-20 2013-03-12 Hewlett-Packard Development Company, L.P. Estimating vanishing points in images
JP5533059B2 (ja) * 2010-03-12 2014-06-25 三菱電機株式会社 撮像装置
JP5035371B2 (ja) * 2010-03-15 2012-09-26 アイシン精機株式会社 横断歩道検出装置、横断歩道検出システム，横断歩道検出方法及びプログラム
US9355321B2 (en) * 2010-09-16 2016-05-31 TomTom Polska Sp. z o o. Automatic detection of the number of lanes into which a road is divided
JP5541099B2 (ja) * 2010-11-05 2014-07-09 株式会社デンソー 道路区画線認識装置
JP5500507B2 (ja) * 2010-11-30 2014-05-21 サクサ株式会社 画像処理装置及び画像処理方法
JP5626578B2 (ja) * 2010-12-02 2014-11-19 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援プログラム、及び走行支援方法
CN102184535B (zh) * 2011-04-14 2013-08-14 西北工业大学 一种车辆所在车道边界检测方法
JP5709629B2 (ja) * 2011-04-19 2015-04-30 キヤノン株式会社 撮像装置及び制御方法
JP5810654B2 (ja) * 2011-06-13 2015-11-11 トヨタ自動車株式会社 区画線認識装置、区画線認識方法、プログラム及び媒体
KR20130051681A (ko) * 2011-11-10 2013-05-21 한국전자통신연구원 노면 표식물 인식 시스템 및 방법
US9349069B2 (en) * 2011-11-21 2016-05-24 Analog Devices, Inc. Dynamic line-detection system for processors having limited internal memory
CN102682292B (zh) * 2012-05-10 2014-01-29 清华大学 基于单目视觉的道路边缘检测及粗定位方法
JP5918689B2 (ja) * 2012-12-14 2016-05-18 株式会社日本自動車部品総合研究所 駐車支援装置
JP5966965B2 (ja) 2013-02-19 2016-08-10 株式会社デンソー 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
JP6082293B2 (ja) * 2013-03-25 2017-02-15 富士重工業株式会社 車両用白線認識装置
CN103383733B (zh) * 2013-05-16 2016-09-14 浙江智尔信息技术有限公司 一种基于半机器学习的车道视频检测方法
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP6329413B2 (ja) * 2014-03-28 2018-05-23 株式会社Ｓｕｂａｒｕ 車外環境認識装置
JP6130809B2 (ja) 2014-04-25 2017-05-17 本田技研工業株式会社 車線認識装置
US10152780B2 (en) * 2015-11-02 2018-12-11 Cognex Corporation System and method for finding lines in an image with a vision system
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
JP6341191B2 (ja) * 2015-12-16 2018-06-13 トヨタ自動車株式会社 情報演算装置
JP6659379B2 (ja) * 2016-01-28 2020-03-04 日立オートモティブシステムズ株式会社 道路情報認識システム及び道路情報認識方法
US10558222B2 (en) * 2016-07-21 2020-02-11 Mobileye Vision Technologies Ltd. Navigating a vehicle using a crowdsourced sparse map
US10607481B2 (en) 2017-02-27 2020-03-31 International Business Machines Corporation Dynamic road width division for adaptive road-space utilization
US10140530B1 (en) 2017-08-09 2018-11-27 Wipro Limited Method and device for identifying path boundary for vehicle navigation
JP6710190B2 (ja) * 2017-09-29 2020-06-17 クラリオン株式会社 区画線認識装置
CN108021921A (zh) * 2017-11-23 2018-05-11 塔普翊海（上海）智能科技有限公司 图像特征点提取系统及其应用
CN108509906B (zh) * 2018-03-30 2022-02-08 长安大学 无人机航拍路基线光点捕捉双阈值Radon识别方法
JP7068017B2 (ja) * 2018-04-13 2022-05-16 株式会社Soken 車両の走行路認識装置及び走行制御装置
CN109857103B (zh) * 2019-01-22 2023-04-07 秦皇岛天业通联重工科技有限公司 一种自动驾驶车辆的控制方法、装置及系统
US11023747B2 (en) 2019-03-05 2021-06-01 Here Global B.V. Method, apparatus, and system for detecting degraded ground paint in an image
JP7325296B2 (ja) 2019-10-25 2023-08-14 日産自動車株式会社 物体認識方法及び物体認識システム
JP2022123988A (ja) * 2021-02-15 2022-08-25 本田技研工業株式会社 区画線認識装置
JP7537314B2 (ja) * 2021-03-01 2024-08-21 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0881612A2 (en) * 1997-05-29 1998-12-02 Mitsubishi Heavy Industries, Ltd. System for optically detecting vehicles traveling along the lanes of a road
CN1331408A (zh) * 2000-06-22 2002-01-16 松下电器产业株式会社 机动车检测装置和机动车检测方法
JP2003337997A (ja) * 2002-05-21 2003-11-28 Aisin Seiki Co Ltd 車線境界検出装置
JP2004246798A (ja) * 2003-02-17 2004-09-02 Nissan Motor Co Ltd 車線検出装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04152406A (ja) 1990-10-16 1992-05-26 Toyota Motor Corp ライン検出装置
JP2861638B2 (ja) 1992-06-16 1999-02-24 松下電器産業株式会社 走行レーン検出装置
DE19680415C2 (de) * 1995-04-26 2003-02-06 Hitachi Ltd Bildbearbeitungsvorrichtung für Fahrzeuge
JPH08320998A (ja) 1995-05-25 1996-12-03 Nissan Motor Co Ltd レーンマーカ検出装置
TW349211B (en) * 1996-01-12 1999-01-01 Sumitomo Electric Industries Method snd apparatus traffic jam measurement, and method and apparatus for image processing
DE69736764T2 (de) * 1996-08-28 2007-01-25 Matsushita Electric Industrial Co., Ltd., Kadoma Lokales Positionierungsgerät und Verfahren dafür
US6163022A (en) * 1997-05-20 2000-12-19 Matsushita Electric Industrial Co., Ltd. Imaging apparatus, distance measurement apparatus and method for measuring distance
JP2986439B2 (ja) * 1998-01-12 1999-12-06 松下電器産業株式会社 車両用画像処理装置
JPH11205663A (ja) 1998-01-20 1999-07-30 Nissan Motor Co Ltd 車両用撮像装置の露光量制御装置
JP3102478B2 (ja) * 1998-08-17 2000-10-23 日本電気株式会社 線状マーク検出方法および装置
JP3575346B2 (ja) * 1999-09-03 2004-10-13 日本電気株式会社 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体
JP4925498B2 (ja) * 2000-07-12 2012-04-25 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
JP3651387B2 (ja) * 2000-11-22 2005-05-25 日産自動車株式会社 白線検出装置
KR100391442B1 (ko) * 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법
JP3630100B2 (ja) * 2000-12-27 2005-03-16 日産自動車株式会社 車線検出装置
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP3862015B2 (ja) * 2002-10-25 2006-12-27 オムロン株式会社 車載用レーダ装置
JP2005157723A (ja) 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法
JP4162618B2 (ja) * 2004-03-12 2008-10-08 株式会社豊田中央研究所 車線境界判定装置
JP2005301603A (ja) * 2004-04-09 2005-10-27 Denso Corp 走行車線検出装置
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP4093208B2 (ja) * 2004-05-28 2008-06-04 トヨタ自動車株式会社 車両用走路判定装置
JP2006082812A (ja) 2004-09-14 2006-03-30 Lintec Corp ラベル剥離方法、剥離装置及びラベル貼付装置
JP4321821B2 (ja) * 2005-01-28 2009-08-26 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
JP4152406B2 (ja) 2005-08-31 2008-09-17 大王製紙株式会社 食品用吸収紙の製造方法
JP4638370B2 (ja) * 2006-03-29 2011-02-23 富士重工業株式会社 車線逸脱防止装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0881612A2 (en) * 1997-05-29 1998-12-02 Mitsubishi Heavy Industries, Ltd. System for optically detecting vehicles traveling along the lanes of a road
CN1331408A (zh) * 2000-06-22 2002-01-16 松下电器产业株式会社 机动车检测装置和机动车检测方法
JP2003337997A (ja) * 2002-05-21 2003-11-28 Aisin Seiki Co Ltd 車線境界検出装置
JP2004246798A (ja) * 2003-02-17 2004-09-02 Nissan Motor Co Ltd 車線検出装置

Also Published As

Publication number Publication date
JP4248558B2 (ja) 2009-04-02
US20090034799A1 (en) 2009-02-05
CN101405783A (zh) 2009-04-08
EP2009611A1 (en) 2008-12-31
EP2009611B8 (en) 2019-09-04
JP2007257449A (ja) 2007-10-04
US8477999B2 (en) 2013-07-02
EP2009611B1 (en) 2019-07-03
WO2007111220A1 (ja) 2007-10-04
EP2009611A4 (en) 2015-04-08

Similar Documents

Publication Publication Date Title
CN101405783B (zh) 道路区划线检测装置
JP4914234B2 (ja) 先行車両検出装置
EP2682896B1 (en) In-vehicle apparatus
US7839272B2 (en) Vehicle surroundings monitoring apparatus
JP3909691B2 (ja) 車載用画像処理装置
JP4980970B2 (ja) 撮像手段の調整装置および物体検出装置
JP6236039B2 (ja) 車外環境認識装置
JP4990806B2 (ja) 撮像手段の調整装置および車外監視装置
JP6034923B1 (ja) 車外環境認識装置
JP5884635B2 (ja) 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
CN104871523A (zh) 车载用控制装置
CN108528448A (zh) 车辆行驶自动控制方法和装置
JP4980939B2 (ja) 撮像手段の調整装置および物体検出装置
US20170136962A1 (en) In-vehicle camera control device
CN108536134A (zh) 车辆行驶自动控制方法和装置
CN104842875A (zh) 用于生成要显示的图像的设备及方法
US11039078B2 (en) Method and device for predictable exposure control of at least one first vehicle camera
JP7068017B2 (ja) 車両の走行路認識装置及び走行制御装置
EP3395613B1 (en) Headlight control device
JP2007124676A (ja) 車載用画像処理装置
JP2007172504A (ja) 付着物検出装置及び付着物検出方法
JP4572826B2 (ja) 道路区画線検出装置
JP3875889B2 (ja) 画像式速度検知システム及び画像式速度検知方法
JP2013060108A (ja) 前照灯制御装置
CN202641689U (zh) 车外监视装置及具有该车外监视装置的行驶控制装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant