CN104835139A - 车道边界线检测装置 - Google Patents

车道边界线检测装置 Download PDF

Info

Publication number
CN104835139A
CN104835139A CN201510058144.7A CN201510058144A CN104835139A CN 104835139 A CN104835139 A CN 104835139A CN 201510058144 A CN201510058144 A CN 201510058144A CN 104835139 A CN104835139 A CN 104835139A
Authority
CN
China
Prior art keywords
line
lane
point
lane boundary
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510058144.7A
Other languages
English (en)
Other versions
CN104835139B (zh
Inventor
片冈祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN104835139A publication Critical patent/CN104835139A/zh
Application granted granted Critical
Publication of CN104835139B publication Critical patent/CN104835139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Abstract

本发明提供一种能够适当地检测表示车道边界线的参数的车道边界线检测装置。车道边界线检测装置(1)具备:判定部(42),其根据行驶路面图像,区分并判定复合线区域和非复合线区域;算出部(44),其在由判定部判定为是复合线区域的情况下,在行驶路面图像的复合线区域内算出复合线的中央点的候补点;抽出部(43),其在由判定部判定为是非复合线区域的情况下,在行驶路面图像的非复合线区域内从车道边界线段抽出车道边界点;统合部(45),其基于由算出部算出的复合线的中央点的候补点和由抽出部抽出的车道边界点,生成统合车道边界点群;以及推定部(46),其基于由统合部生成的统合车道边界点群,推定表示车道边界线的车道边界线参数。

Description

车道边界线检测装置
技术领域
本发明涉及车道边界线检测装置。
背景技术
作为以往的车道边界线检测装置,例如,在专利文献1中公开了一种如下的道路形状推定装置,该道路形状推定装置在行驶路面上描绘有复合线的行驶区域中,根据拍摄路面而得到的图像来检测多条边缘线,将这些边缘线中的1条以上的边缘线连结而形成复合边缘线,基于最靠近道路的中央的内侧复合边缘线的信息,求出包括对路面进行了拍摄的相机的横向偏移和道路宽度的道路形状参数,所述复合线形成为包括车道边界线(例如,实线的白线)和辅助线(例如,虚线的白线)。该道路形状推定装置基于内侧复合边缘线与外侧复合边缘线的距离来求出修正量,使用该修正量来对横向偏移和道路宽度进行修正。由此,即使是与车道划分线平行地涂画有辅助线的行驶道路,该道路形状推定装置也能够不受分辨率的降低所导致的来自辅助线的影响,而根据拍摄道路的路面得到的图像高精度地推定道路形状。
现有技术文献
专利文献1:日本特开2013-120458号公报
发明内容
发明要解决的问题
上述专利文献1所记载的道路形状推定装置,例如,若在上述复合线和由车道边界线形成的单线的切换地点处,对基于最靠近道路的中央的内侧复合边缘线的信息的道路形状参数的横向偏移和道路宽度实施如上所述的修正,则在单线的行驶区域中表示车道边界线的参数与实际相比可能会过于向道路的外侧偏移。因此,上述道路形状推定装置在更合适的表示车道边界线的参数的推定这一点上还有改善的余地。
本发明是鉴于上述情况而完成的发明,其目的在于提供一种能够适当地检测表示车道边界线的参数的车道边界线检测装置。
用于解决问题的手段
为了达成上述目的,本发明的车道边界线检测装置的特征在于,具备:判定部,其根据拍摄车辆的行驶路面得到的行驶路面图像,区分并判定复合线区域和非复合线区域,所述复合线区域是在所述行驶路面上描绘有包含车道边界线和沿着该车道边界线的辅助线而形成的复合线的区域,所述非复合线区域是在所述行驶路面上描绘有由所述车道边界线形成的单线的区域;算出部,其在由所述判定部判定为是所述复合线区域的情况下,在所述行驶路面图像的所述复合线区域内算出所述复合线的车道宽度方向上的中央点的候补点,所述车道宽度方向是与沿着所述车道边界线的车道方向交叉的方向;抽出部,其在由所述判定部判定为是所述非复合线区域的情况下,在所述行驶路面图像的所述非复合线区域内进行所述车道边界线的车道边界线段的检测,从所述车道边界线段抽出车道边界点;统合部,其基于由所述算出部算出的所述复合线的中央点的候补点和由所述抽出部抽出的所述车道边界点,生成统合车道边界点群;以及推定部,其基于由所述统合部生成的所述统合车道边界点群,推定表示所述车道边界线的车道边界线参数。
另外,在上述车道边界线检测装置中,可以设为:所述算出部,在所述行驶路面图像的所述复合线区域内,从沿着所述车道宽度方向排列的所述复合线的多个边缘点群中,将所述车道宽度方向的一侧的多个边缘点与所述车道宽度方向的另一侧的多个边缘点分别组合,对各组合的所述车道宽度方向的中央位置进行投票,将投票数最多的所述中央位置作为所述复合线的中央点的候补点而算出,该所述车道宽度方向的一侧的多个边缘点和该所述车道宽度方向的另一侧的多个边缘点是被推定为构成所述车道边界线以及所述辅助线的边缘点。
另外,在上述车道边界线检测装置中,可以设为:所述算出部,在各所述中央位置的所述投票数相等的情况下,将该各中央位置全部作为所述复合线的中央点的候补点而算出。
另外,在上述车道边界线检测装置中,可以设为:所述算出部,选定沿着所述车道宽度方向的间隔为预先设定的阈值内的所述一侧的边缘点和所述另一侧的边缘点的组合,对该选定的组合的所述车道宽度方向的中央位置进行投票。
另外,在上述车道边界线检测装置中,可以设为:所述车道边界线是实线,所述辅助线是虚线,由所述抽出部检测到的所述车道边界线段是所述车道边界线的车道中央侧的边缘线段。
发明效果
本发明的车道边界线检测装置,基于统合车道边界点群来推定车道边界线参数,因此起到如下效果:无论在复合线区域、非复合线区域、以及复合线区域和非复合线区域的切换区域的哪个区域中,都能够适当地检测表示车道边界线的参数,所述统合车道边界点群是基于在行驶路面上描绘有复合线的复合线区域中算出的复合线的中央点的候补点和在行驶路面上描绘有单线的非复合线区域中抽出的车道边界点的点群。
附图说明
图1是表示实施方式的车道边界线检测装置的概略结构图。
图2是表示实施方式的车道边界线检测装置中所使用的行驶路面图像的一例的示意图。
图3是对实施方式的车道边界线检测装置算出中央点候补点的一例进行说明的示意图。
图4是对实施方式的车道边界线检测装置算出中央点候补点的一例进行说明的示意图。
图5是表示实施方式的车道边界线检测装置的处理流程的一例的流程图。
图6是对比较例的车道边界线检测装置进行说明的示意图。
标号说明
1 车道边界线检测装置
2 车辆
3 图像传感器
4 图像ECU
40 边缘点检测装置
41 边缘线段检测装置
42 复合线区域判定装置(判定部)
43 非复合线区域运算装置(抽出部)
43a 车道边界线段检测装置
43b 车道边界点抽出装置
44 复合线区域运算装置(算出部)
44a 边缘点群中央位置投票装置
44b 投票峰值点抽出装置
45 车道边界点统合装置(统合部)
46 白线参数推定装置(推定部)
47 输出装置
50 车道边界线
51 辅助线
52 复合线
53 单线
54 车道边界线段
55 车道边界点
56 候补点
57 统合车道边界点群
60 白线边缘线
A 复合线区域
B 非复合线区域
具体实施方式
以下,基于附图,对本发明的实施方式进行详细说明。此外,本发明被该实施方式所限定。另外,下述实施方式中的构成要素包括本领域技术人员能够容易置换的要素或实质上相同的要素。
[实施方式]
图1是表示实施方式的车道边界线检测装置的概略结构图。图2是表示实施方式的车道边界线检测装置所使用的行驶路面图像的一例的示意图。图3、图4是说明实施方式的车道边界线检测装置算出中央点候补点的一例的示意图。图5是表示实施方式的车道边界线检测装置的处理流程的一例的流程图。图6是说明比较例的车道边界线检测装置的示意图。
图1所示的本实施方式的车道边界线检测装置1搭载于作为自身车辆的车辆2,对在该车辆2的行驶路面上描绘的车道边界线进行检测。典型地,本实施方式的车道边界线检测装置1进行复合线区域和非复合线区域的判别,根据各区域使特征点的检测方法不同来检测该车道边界线,所述复合线区域是在行驶路面上描绘有包含车道边界线和辅助线而形成的复合线的区域,所述非复合线区域是在行驶路面上描绘有由车道边界线形成的单线的区域。车道边界线检测装置1,例如,在复合线区域中,进行对复合线的边缘点群中的预定的中央位置的投票,将该投票峰值点作为复合线的中央点的候补点而算出,另一方面,在非复合线区域中,进行车道边界线的车道边界线段的检测,从车道边界线段中抽出车道边界点。然后,车道边界线检测装置1使用对复合线的中央点的候补点和车道边界点进行统合而得到的统合车道边界点群来推定表示车道边界线的车道边界线参数。由此,车道边界线检测装置1能够适当地检测表示车道边界线的车道边界线参数。本实施方式的车道边界线检测装置1通过将图1所示的构成要素搭载于车辆2来实现。以下,参照图1、图2,对车道边界线检测装置1的结构进行具体说明。
此外,在以下说明中,如图2所示,将沿着该车道边界线50的方向称为车道方向,将与该车道方向正交(交叉)的方向称为车道宽度方向。另外,在此,在车道方向上,将车辆2的行驶方向前方侧称为车道方向里侧,将行驶方向后方侧称为车道方向跟前侧,在车道宽度方向上,朝向车道方向里侧,将左侧称为车道宽度方向左侧,将右侧称为车道宽度方向右侧。
另外,如图2所例示的行驶路面图像所示,车道边界线50是对作为在车辆2的行驶路面上设置的行驶线的车道L进行划分的边界主线,设置在车道宽度方向的左右两端。在此,车道边界线50是实线的白线。因此,车道边界线检测装置1所检测的车道边界线参数是白线参数。以下,设为车道边界线参数是白线参数来进行说明。辅助线51是沿着车道边界线50的线,是辅助该车道边界线50的从属的线。辅助线51被设置成在车道宽度方向上与车道边界线50隔开间隔而相邻。在此,辅助线51是虚线的白线。复合线区域A是在行驶路面上描绘有包含上述车道边界线50和上述辅助线51而形成的复合线52的区域。在图2中,在车道宽度方向左右描绘有一对复合线52,车道宽度方向左侧的复合线52由1条车道边界线50和在该车道边界线50的车道中央侧设置的1条辅助线51构成,车道宽度方向右侧的复合线52由1条车道边界线50和在该车道边界线50的车道中央侧及外侧设置的2条辅助线51构成。另一方面,非复合线区域B是在行驶路面上描绘有由上述车道边界线50形成的单线53的区域。在图2中,在车道宽度方向左右描绘有一对单线53。在图2中,车道方向跟前侧的区域成为复合线区域A,车道方向里侧的区域成为非复合线区域B。另外,以下,虽然设为车道边界线检测装置1在非复合线区域B中检测的车道边界线50的车道边界线段54是车道边界线50的车道中央侧的边缘线段来进行说明,但也可以是车道外侧的边缘线段。
如图1所示,车道边界线检测装置1具备作为拍摄装置的图像传感器3和作为图像处理装置的图像ECU(Electronic Control Unit:电子控制单元)4。在以下说明中,关于具体处理的说明适当参照图2。
图像传感器3对车辆2的行驶路面进行拍摄。图像传感器3例如以具有预定的俯角的方式固定在车内后视镜(room mirror)附近,以能够连续对车辆2的行驶路面进行拍摄,并向图像ECU4输出拍摄到的行驶路面的图像即行驶路面图像。如图2所例示,图像传感器3能够拍摄到车辆2前方的预定距离的远方的位置。图像传感器3既可以是单眼相机,也可以是立体相机。另外,图像传感器3所拍摄的图像既可以是黑白也可以是彩色。
图像ECU4对图像传感器3所拍摄到的行驶路面图像实施各种图像处理来检测车道边界线50。图像ECU4构成为包括电子电路,该电子电路以包括CPU、ROM、RAM以及接口的周知的微型计算机作为主体。图像ECU4与上述图像传感器3电连接,被输入与检测结果对应的电信号。另外,图像ECU4电连接有输出所检测到的车道边界线50的白线参数的各种装置。图像ECU4以预定的采样周期连续地对来自图像传感器3的输入图像即行驶路面图像进行处理。
在功能概念上,本实施方式的图像ECU4构成为包括边缘点检测装置40、边缘线段检测装置41、作为判定部的复合线区域判定装置42、作为抽出部的非复合线区域运算装置43、作为算出部的复合线区域运算装置44、作为统合部的车道边界点统合装置45、作为推定部的白线参数推定装置46、以及输出装置47。边缘点检测装置40、边缘线段检测装置41、复合线区域判定装置42、非复合线区域运算装置43、复合线区域运算装置44、车道边界点统合装置45、白线参数推定装置46、输出装置47能够经由电连接的装置而与各装置、存储部等之间授受各种信息。
边缘点检测装置40与图像传感器3连接,根据从图像传感器3输入的行驶路面图像来检测边缘点。在此,边缘点是指在行驶路面图像上被推定为构成在行驶路面上描绘的车道边界线50、辅助线51的边缘的点,典型地是在行驶路面图像上位于亮度、辉度等大不相同的区域的边界的点,换言之,是亮度、辉度等急剧变化的点。边缘点检测装置40以预定的采样周期使用各种过滤器(filter)等连续地对来自图像传感器3的行驶路面图像进行处理,将如上所述亮度、辉度等急剧变化的点作为边缘点进行检测。边缘点检测装置40,在行驶路面图像中将沿着车道宽度方向的检测线(参照图2中的单点划线)设为1线,根据伴随车辆2的行驶而依次拍摄的行驶路面图像,以预定的采样周期对在车道方向上隔开预定间隔的各检测线依次检测边缘点。
边缘线段检测装置41与边缘点检测装置40连接,被输入与边缘点检测装置40所检测到的边缘点相关的信息,基于输入的边缘点群来检测边缘线段。边缘线段检测装置41对于由边缘点检测装置40对每条检测线进行检测并沿着车道方向蓄积的边缘点群,例如使用Hough变换等各种直线检测方法进行直线近似,从而检测可能成为构成车道边界线50、辅助线51的边缘的候补的边缘线段。
复合线区域判定装置42与边缘线段检测装置41连接,根据拍摄车辆2的行驶路面而得到的行驶路面图像,区分并判定在行驶路面上描绘有复合线52的复合线区域A和在行驶路面上描绘有单线53的非复合线区域B。复合线区域判定装置42例如基于与边缘点检测装置40所检测到的边缘点相关的信息、与边缘线段检测装置41所检测到的边缘线段相关的信息等,来区分并判定复合线区域A和非复合线区域B。复合线区域判定装置42对于预先设定的预定范围的每个区域,例如基于边缘点的合计数、边缘线段的水平方向的合计数、成对的边缘线段的数等,来判定该区域是否是复合线区域A、是否是非复合线区域B。复合线区域判定装置42,例如,在边缘线段的合计数和/或边缘点的合计数为预先设定的阈值以上的情况下,判定为该区域是复合线区域A,在边缘线段的合计数和/或边缘点的合计数低于阈值的情况下,判定为该区域是非复合线区域B。
在由复合线区域判定装置42判定为是非复合线区域B的情况下,非复合线区域运算装置43在行驶路面图像的非复合线区域B内进行车道边界线50的车道边界线段54的检测,从车道边界线段54抽出车道边界点55。在功能概念上,本实施方式的非复合线区域运算装置43构成为包括车道边界线段检测装置43a和车道边界点抽出装置43b。
车道边界线段检测装置43a与复合线区域判定装置42连接,在由复合线区域判定装置42判定为是非复合线区域B的情况下,基于与边缘线段检测装置41所检测到的边缘线段相关的信息等,进行车道边界线50的车道边界线段54的检测。在此,如上所述,边缘线段检测装置41所检测的车道边界线段54是车道边界线50的车道中央侧的边缘线段,但不限于此,典型地,只要是在白线参数的输出目的地的控制中所使用的侧的边缘线段即可。车道边界线段检测装置43a例如根据边缘线段检测装置41所检测到的边缘线段的位置、长度、斜率等,从该检测到的边缘线段中,检测最像车道边界线50的车道中央侧的边缘线段的边缘线段作为车道边界线段54。车道边界线段检测装置43a在预定的非复合线区域B内,在车道宽度方向左右分别各检测出1条车道边界线段54。
车道边界点抽出装置43b与车道边界线段检测装置43a连接,从车道边界线段检测装置43a所检测到的各车道边界线段54抽出车道边界点55。车道边界点抽出装置43b对各检测线,将各车道边界线段54反推、分解为构成该各车道边界线段54的边缘点,将此作为车道边界点55。车道边界点抽出装置43b在预定的非复合线区域B内,在车道宽度方向左右分别从各车道边界线段54抽出车道边界点55。
在由复合线区域判定装置42判定为是复合线区域A的情况下,复合线区域运算装置44在行驶路面图像的复合线区域A内算出车道宽度方向上的复合线52的中央点的候补点56。复合线区域运算装置44例如进行对复合线52的边缘点群中的预定的中央位置的投票,将该投票峰值点作为复合线52的中央点的候补点56而算出。更具体而言,复合线区域运算装置44在行驶路面图像的复合线区域A内,从沿着车道宽度方向排列的复合线52的多个边缘点群中,对车道宽度方向的一侧的多个边缘点和车道宽度方向的另一侧的多个边缘点分别进行组合,对各组合的车道宽度方向的中央位置进行投票,将投票数最多的中央位置即投票峰值点作为复合线52的中央点的候补点56而算出,所述车道宽度方向的一侧的多个边缘点和车道宽度方向的另一侧的多个边缘点是被推定为构成车道边界线50和辅助线51的边缘点。此时,复合线区域运算装置44,选定沿着车道宽度方向的间隔为预先设定的阈值内的上述一侧的边缘点和上述另一侧的边缘点的组合,对该选定的组合的车道宽度方向的中央位置进行投票,从而能够排除能够推定为明显不构成车道边界线50或辅助线51的边缘点的组合来进行中央位置的投票。上述阈值例如根据假想的车道边界线50的宽度和/或辅助线51的宽度等而预先设定即可。另外,在各中央位置的投票数相等的情况下,复合线区域运算装置44将该各中央位置都作为复合线52的中央点的候补点56而算出即可。复合线区域运算装置44在预定的复合线区域A内,在车道宽度方向左右分别作为复合线52的中央点的候补点56而算出。在功能概念上,本实施方式的复合线区域运算装置44构成为包括边缘点群中央位置投票装置44a和投票峰值点抽出装置44b。
以下,参照图3、图4,对由复合线区域运算装置44的边缘点群中央位置投票装置44a和投票峰值点抽出装置44b算出复合线52的中央点的候补点56的一例进行说明。图3、图4中,将横轴设为车道宽度方向位置,将纵轴设为行驶路面图像上的辉度。图3表示车道宽度方向右侧的复合线52,图4表示车道宽度方向左侧的复合线52。图3、图4所示的上升边缘点58a、58b、58c、58d、58e是辉度急剧变化的点中的、从车道宽度方向左侧朝向右侧辉度急剧上升的边缘点。另一方面,下降边缘点59a、59b、59c、59d、59e是辉度急剧变化的点中的、从车道宽度方向左侧朝向右侧辉度急剧降低的边缘点。
边缘点群中央位置投票装置44a与复合线区域判定装置42连接,在由该复合线区域判定装置42判定为是复合线区域A的情况下,从沿着车道宽度方向排列的复合线52的多个边缘点群中,对车道宽度方向的一侧的多个边缘点和车道宽度方向的另一侧的多个边缘点分别进行组合,对各组合的车道宽度方向的中央位置进行投票,所述车道宽度方向的一侧的多个边缘点和车道宽度方向的另一侧的多个边缘点是被推定为构成车道边界线50和辅助线51的边缘点。边缘点群中央位置投票装置44a在预定的复合线区域A内,在车道宽度方向左右分别进行复合线52的中央位置的投票。
在图3的例子中,边缘点群中央位置投票装置44a选定上升边缘点58a、58b、58c作为推定为构成车道边界线50和辅助线51的车道宽度方向的一侧的多个边缘点,选定下降边缘点59a、59b、59c作为另一侧的多个边缘点。然后,边缘点群中央位置投票装置44a例如选定上升边缘点58a和下降边缘点59a、下降边缘点59a和上升边缘点58b、下降边缘点59a和上升边缘点58c、上升边缘点58b和下降边缘点59b、下降边缘点59b和上升边缘点58c、上升边缘点58c和下降边缘点59c,作为沿着车道宽度方向的间隔为阈值内的组合。然后,边缘点群中央位置投票装置44a对上升边缘点58a和下降边缘点59a的中央位置C1、下降边缘点59a和上升边缘点58b的中央位置C2、下降边缘点59a和上升边缘点58c的中央位置C3、上升边缘点58b和下降边缘点59b的中央位置C4、下降边缘点59b和上升边缘点58c的中央位置C5、上升边缘点58c和下降边缘点59c的中央位置C6进行投票。
在图4的例子中,边缘点群中央位置投票装置44a选定上升边缘点58d、58e作为被推定为构成车道边界线50和辅助线51的车道宽度方向的一侧的多个边缘点,选定下降边缘点59d、59e作为另一侧的多个边缘点。然后,边缘点群中央位置投票装置44a例如选定上升边缘点58d和下降边缘点59d、下降边缘点59d和上升边缘点58e、上升边缘点58e和下降边缘点59e,作为沿着车道宽度方向的间隔为阈值内的组合。然后,边缘点群中央位置投票装置44a对上升边缘点58d和下降边缘点59d的中央位置C7、下降边缘点59d和上升边缘点58e的中央位置C8、上升边缘点58e和下降边缘点59e的中央位置C9进行投票。
投票峰值点抽出装置44b与边缘点群中央位置投票装置44a连接,根据由边缘点群中央位置投票装置44a进行的投票来算出复合线52的中央点的候补点56。投票峰值点抽出装置44b将投票数最多的中央位置即投票峰值点作为复合线52的中央点的候补点56而算出。另外,在各中央位置的投票数相等的情况下,投票峰值点抽出装置44b将该各中央位置都作为复合线52的中央点的候补点56而算出。投票峰值点抽出装置44b在预定的复合线区域A内,在车道宽度方向左右分别根据复合线52的中央位置的投票来算出复合线52的中央点的候补点56。在图3的例子中,由于中央位置C3、C4是投票峰值点,所以投票峰值点抽出装置44b将该中央位置C3(C4)作为复合线52的中央点的候补点56而算出。在图4的例子中,由于各中央位置的投票数相等,所以投票峰值点抽出装置44b将各中央位置C7、C8、C9都作为复合线52的中央点的候补点56而算出。
返回图1,车道边界点统合装置45基于由复合线区域运算装置44算出的复合线52的中央点的候补点56和由非复合线区域运算装置43抽出的车道边界点55,生成统合车道边界点群57。车道边界点统合装置45与非复合线区域运算装置43、复合线区域运算装置44连接,对复合线区域A中的复合线52的中央点的候补点56和非复合线区域B中的车道边界点55进行统合,作为统合车道边界点群57。车道边界点统合装置45在预定的复合线区域A内,在车道宽度方向左右分别对复合线52的中央点的候补点56和非复合线区域B中的车道边界点55进行统合,生成统合车道边界点群57。车道边界点统合装置45使得反映沿着车道方向根据预定的采样周期而依次检测的边缘点,依次更新统合车道边界点群57。
白线参数推定装置46基于统合车道边界点群57,来推定作为表示车道边界线50的车道边界线参数的白线参数。白线参数推定装置46与车道边界点统合装置45连接,例如通过对由车道边界点统合装置45统合的统合车道边界点群57进行模型拟合来推定白线参数。白线参数推定装置46例如使用最小二乘法等,根据统合车道边界点群57来推定表示车道边界线50的车道中央侧的边缘线的曲线。白线参数推定装置46例如应用由下述数学式(1)表示的3次曲线模型,根据统合车道边界点群57来确定表示车道边界线50的车道中央侧的边缘线的曲线。
x=a·z3+b·z2+c·z+d···(1)
在上述数学式(1)中,“x”是车道宽度方向位置,“z”是车道方向距离。本实施方式的白线参数推定装置46例如算出数学式(1)中的系数a、b、c、d作为白线参数。在数学式(1)中,典型地,系数a表示车道边界线50的车道中央侧的边缘线的曲率变化率,系数b表示车道边界线50的车道中央侧的边缘线的曲率,系数c表示车道边界线50的车道中央侧的边缘线的斜率,系数d表示车道边界线50的车道中央侧的边缘线的偏移。白线参数推定装置46在车道宽度方向左右分别从统合车道边界点群57算出表示车道边界线50的车道中央侧的边缘线的上述白线参数。白线参数推定装置46基于根据预定的采样周期依次更新的统合车道边界点群57,依次更新白线参数。图2所例示的白线边缘线60是由白线参数推定装置46推定出的白线参数所表示的车道边界线(白线)50的车道中央侧边缘线的一例。
输出装置47与白线参数推定装置46连接,向各种装置输出由白线参数推定装置46推定出的白线参数。输出装置47向控制装置输出推定出的白线参数,所述控制装置使用该白线参数进行各种控制,例如进行控制车辆2以使得该车辆2不脱离车道L的LKA(Lane Keeping Assist:车道保持辅助)控制等。
接着,参照图5的流程图,说明车道边界线检测装置1的处理流程的一例。此外,这些控制例程以每数ms~数十ms的控制周期反复执行。
首先,图像ECU4的边缘点检测装置40取得图像传感器3所拍摄到的行驶路面图像(步骤ST1)。
接着,边缘点检测装置40根据在步骤ST1中取得的行驶路面图像,对沿着线宽方向的每条检测线,检测可能成为构成车道边界线50、辅助线51的边缘点的候补的边缘点,并蓄积到存储部(步骤ST2)。
接着,图像ECU4的边缘线段检测装置41根据蓄积有在步骤ST2中对每条检测线检测出的边缘点的边缘点群,检测可能成为构成车道边界线50、辅助线51的边缘的候补的边缘线段,并蓄积到存储部(步骤ST3)。
接着,图像ECU4的复合线区域判定装置42基于在预定的区域中蓄积的边缘点和在预定的区域中蓄积的边缘线段,根据行驶路面图像来区分并判定复合线区域A和非复合线区域B,判定伴随车辆2的行驶而依次设定的预定范围的区域是否是复合线区域A(步骤ST4)。
在由复合线区域判定装置42判定为预定范围的区域不是复合线区域A、即是非复合线区域B的情况下(步骤ST4:否),图像ECU4的非复合线区域运算装置43的车道边界线段检测装置43a进行下述处理。即,车道边界线段检测装置43a基于在预定范围的区域中蓄积的边缘线段,检测车道边界线50的车道边界线段(车道中央侧的边缘线段)54,并蓄积到存储部(步骤ST5)。
接着,图像ECU4的非复合线区域运算装置43的车道边界点抽出装置43b从在预定范围的区域中蓄积的车道边界线段54抽出车道边界点55,并蓄积到存储部(步骤ST6),然后移向步骤ST7的处理。
在步骤ST4中由复合线区域判定装置42判定为预定范围的区域是复合线区域A的情况下(步骤ST4:是),图像ECU4的复合线区域运算装置44的边缘点群中央位置投票装置44a进行下述处理。即,边缘点群中央位置投票装置44a基于在预定范围的区域中蓄积的边缘点,从沿着车道宽度方向排列的复合线52的多个边缘点群中,对车道宽度方向的一侧的多个边缘点和车道宽度方向的另一侧的多个边缘点分别进行组合,对各组合的车道宽度方向的中央位置进行投票(步骤ST9),所述车道宽度方向的一侧的多个边缘点和车道宽度方向的另一侧的多个边缘点是被推定为构成车道边界线50和辅助线51的边缘点。
接着,图像ECU4的复合线区域运算装置44的投票峰值点抽出装置44b根据边缘点群中央位置投票装置44a的投票结果,算出复合线52的中央点的候补点56,并蓄积到存储部(步骤ST10),然后移向步骤ST7的处理。在该情况下,投票峰值点抽出装置44b将投票数最多的中央位置、即投票峰值点作为复合线52的中央点的候补点56而算出。另外,在各中央位置的投票数相等的情况下,投票峰值点抽出装置44b将该各中央位置都作为复合线52的中央点的候补点56而算出。
在步骤ST7的处理中,图像ECU4的车道边界点统合装置45将当前的控制周期之前蓄积的车道边界线段54和当前的控制周期之前蓄积的复合线52的中央点的候补点56统合,生成统合车道边界点群57(步骤ST7)。
接着,图像ECU4的白线参数推定装置46基于由车道边界点统合装置45统合的统合车道边界点群57,推定作为表示车道边界线50的车道边界线参数的白线参数(步骤ST8),结束当前的控制周期,然后移向下一控制周期。在该情况下,白线参数推定装置46例如算出上述数学式(1)中的系数a、b、c、d作为白线参数。
如上所述构成的车道边界线检测装置1,基于统合车道边界点群57来推定白线参数,因此,无论在复合线区域A、非复合线区域B、以及复合线区域A和非复合线区域B的切换区域的哪一区域中,都能够适当地检测表示车道边界线50的参数,所述车道边界点群57是基于在复合线区域A中算出的复合线52的中央点的候补点56和在非复合线区域B中抽出的车道边界点55的点群。图6表示比较例的车道边界线检测装置的白线参数检测的一例。比较例的车道边界线检测装置,在描绘有包含车道边界线50和辅助线51而形成的复合线52的复合线区域A中,根据行驶路面图像来检测多个边缘线,将这些边缘线中的1条以上的边缘线连结而生成复合边缘线,基于最靠近道路的中央的内侧复合边缘线的信息,求出包括拍摄了行驶路面图像的相机的横向偏移和道路宽度的白线参数,并且,基于内侧复合边缘线和外侧复合边缘线的距离求出修正量,对白线参数进行修正。在该情况下,若比较例的车道边界线检测装置例如在复合线52和单线53的切换地点、即复合线区域A和非复合线区域B的切换区域中,对基于最靠近道路的中央的内侧复合边缘线的信息的白线参数,实施如上所述的修正,则如图6所示,在非复合线区域B中,白线参数所表示的车道边界线50的车道中央侧的白线边缘线与实际相比会过于向道路的外侧偏移。与此相对,车道边界线检测装置1,如上所述,基于统合车道边界点群57来推定白线参数,从而如图2所示,即使在复合线区域A和非复合线区域B的切换区域中,也能够抑制白线参数所表示的车道边界线50的车道中央侧的白线边缘线60与实际相比过于向道路的外侧偏移。
根据以上说明的车道边界线检测装置1,具备复合线区域判定装置42、复合线区域运算装置44、非复合线区域运算装置43、车道边界点统合装置45以及白线参数推定装置46。复合线区域判定装置42根据拍摄车辆2的行驶路面而得到的行驶路面图像,区分并判定复合线区域A和非复合线区域B,复合线区域A是在行驶路面上描绘有包含车道边界线50和沿着该车道边界线50的辅助线51而形成的复合线52的区域,非复合线区域B是在行驶路面上描绘有由车道边界线50形成的单线53的区域。复合线区域运算装置44,在由复合线区域判定装置42判定为是复合线区域A的情况下,在行驶路面图像的复合线区域A内算出与沿着车道边界线50的车道方向交叉的车道宽度方向上的复合线52的中央点的候补点56。非复合线区域运算装置43,在由复合线区域判定装置42判定为是非复合线区域B的情况下,在行驶路面图像的非复合线区域B内进行车道边界线50的车道边界线段54的检测,从车道边界线段54抽出车道边界点55。车道边界点统合装置45,基于由复合线区域运算装置44算出的复合线52的中央点的候补点56和由非复合线区域运算装置43抽出的车道边界点55,生成统合车道边界点群57。白线参数推定装置46,基于由车道边界点统合装置45生成的统合车道边界点群57,推定表示车道边界线50的白线参数。因此,车道边界线检测装置1基于统合车道边界点群57来推定白线参数,所以能够适当地检测表示车道边界线50,所述统合车道边界点群57是基于在参数复合线区域A中算出的复合线52的中央点的候补点56和在非复合线区域B中抽出的车道边界点55的点群。
此外,上述的本发明的实施方式的车道边界线检测装置不限于上述实施方式,能够在权利要求书所记载的范围内进行各种变更。
以上说明的复合线区域运算装置44对中央点的候补点56的算出不限于上述方法。复合线区域运算装置44例如也可以将能够推定为构成复合线52的边缘点中的、最靠车道中央侧的边缘点和最靠车道外侧的边缘点的中间作为复合线52的中央点的候补点56。另外,复合线区域运算装置44例如也可以对在预定行驶距离和/或预定时间内蓄积的边缘点实施统计性的处理,利用频率分布等来算出复合线52的中央点的候补点56。

Claims (5)

1.一种车道边界线检测装置,其特征在于,具备:
判定部,其根据拍摄车辆的行驶路面得到的行驶路面图像,区分并判定复合线区域和非复合线区域,所述复合线区域是在所述行驶路面上描绘有包含车道边界线和沿着该车道边界线的辅助线而形成的复合线的区域,所述非复合线区域是在所述行驶路面上描绘有由所述车道边界线形成的单线的区域;
算出部,其在由所述判定部判定为是所述复合线区域的情况下,在所述行驶路面图像的所述复合线区域内算出所述复合线的车道宽度方向上的中央点的候补点,所述车道宽度方向是与沿着所述车道边界线的车道方向交叉的方向;
抽出部,其在由所述判定部判定为是所述非复合线区域的情况下,在所述行驶路面图像的所述非复合线区域内进行所述车道边界线的车道边界线段的检测,从所述车道边界线段抽出车道边界点;
统合部,其基于由所述算出部算出的所述复合线的中央点的候补点和由所述抽出部抽出的所述车道边界点,生成统合车道边界点群;以及
推定部,其基于由所述统合部生成的所述统合车道边界点群,推定表示所述车道边界线的车道边界线参数。
2.根据权利要求1所述的车道边界线检测装置,其中,
所述算出部,在所述行驶路面图像的所述复合线区域内,从沿着所述车道宽度方向排列的所述复合线的多个边缘点群中,将所述车道宽度方向的一侧的多个边缘点与所述车道宽度方向的另一侧的多个边缘点分别组合,对各组合的所述车道宽度方向的中央位置进行投票,将投票数最多的所述中央位置作为所述复合线的中央点的候补点而算出,该所述车道宽度方向的一侧的多个边缘点和该所述车道宽度方向的另一侧的多个边缘点是被推定为构成所述车道边界线以及所述辅助线的边缘点。
3.根据权利要求2所述的车道边界线检测装置,其中,
所述算出部,在各所述中央位置的所述投票数相等的情况下,将该各中央位置全部作为所述复合线的中央点的候补点而算出。
4.根据权利要求2或3所述的车道边界线检测装置,其中,
所述算出部,选定沿着所述车道宽度方向的间隔为预先设定的阈值内的所述一侧的边缘点和所述另一侧的边缘点的组合,对该选定的组合的所述车道宽度方向的中央位置进行投票。
5.根据权利要求1~4中任一项所述的车道边界线检测装置,其中,
所述车道边界线是实线,
所述辅助线是虚线,
由所述抽出部检测到的所述车道边界线段是所述车道边界线的车道中央侧的边缘线段。
CN201510058144.7A 2014-02-07 2015-02-04 车道边界线检测装置 Active CN104835139B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014022843A JP5895955B2 (ja) 2014-02-07 2014-02-07 車線境界線検出装置
JP2014-022843 2014-02-07

Publications (2)

Publication Number Publication Date
CN104835139A true CN104835139A (zh) 2015-08-12
CN104835139B CN104835139B (zh) 2018-08-31

Family

ID=

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846906A (zh) * 2015-11-19 2017-06-13 福特全球技术公司 用于提高骑行者安全性的动态车道定位
CN107021103A (zh) * 2015-12-16 2017-08-08 丰田自动车株式会社 信息计算装置
CN107884795A (zh) * 2016-09-30 2018-04-06 厦门雅迅网络股份有限公司 基于gps的进出区域的判断方法及其系统
CN108027976A (zh) * 2015-09-11 2018-05-11 富士胶片株式会社 行驶支援装置以及基于行驶支援装置的行驶支援方法
CN108473134A (zh) * 2016-02-16 2018-08-31 本田技研工业株式会社 车辆控制装置、车辆控制方法及车辆控制程序
CN109969193A (zh) * 2017-12-27 2019-07-05 丰田自动车株式会社 车辆
CN112026767A (zh) * 2020-08-27 2020-12-04 重庆长安汽车股份有限公司 自适应巡航对护栏误识别的处理方法、系统及车辆
CN112384962A (zh) * 2018-07-02 2021-02-19 日产自动车株式会社 行驶辅助方法及行驶辅助装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052080A1 (en) * 2009-08-31 2011-03-03 Fuji Jukogyo Kabushiki Kaisha White road line recognition device for vehicle
CN103057470A (zh) * 2012-12-06 2013-04-24 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
JP2013120458A (ja) * 2011-12-06 2013-06-17 Fujitsu Ltd 道路形状推定装置及びプログラム
CN103440649A (zh) * 2013-08-23 2013-12-11 安科智慧城市技术(中国)有限公司 一种车道边界线检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110052080A1 (en) * 2009-08-31 2011-03-03 Fuji Jukogyo Kabushiki Kaisha White road line recognition device for vehicle
JP2013120458A (ja) * 2011-12-06 2013-06-17 Fujitsu Ltd 道路形状推定装置及びプログラム
CN103057470A (zh) * 2012-12-06 2013-04-24 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
CN103440649A (zh) * 2013-08-23 2013-12-11 安科智慧城市技术(中国)有限公司 一种车道边界线检测方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027976A (zh) * 2015-09-11 2018-05-11 富士胶片株式会社 行驶支援装置以及基于行驶支援装置的行驶支援方法
CN108027976B (zh) * 2015-09-11 2021-10-29 富士胶片株式会社 行驶支援装置以及基于行驶支援装置的行驶支援方法
CN106846906A (zh) * 2015-11-19 2017-06-13 福特全球技术公司 用于提高骑行者安全性的动态车道定位
CN107021103A (zh) * 2015-12-16 2017-08-08 丰田自动车株式会社 信息计算装置
CN108473134A (zh) * 2016-02-16 2018-08-31 本田技研工业株式会社 车辆控制装置、车辆控制方法及车辆控制程序
CN108473134B (zh) * 2016-02-16 2021-10-15 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN107884795A (zh) * 2016-09-30 2018-04-06 厦门雅迅网络股份有限公司 基于gps的进出区域的判断方法及其系统
CN107884795B (zh) * 2016-09-30 2021-06-29 厦门雅迅网络股份有限公司 基于gps的进出区域的判断方法及其系统
CN109969193A (zh) * 2017-12-27 2019-07-05 丰田自动车株式会社 车辆
CN112384962A (zh) * 2018-07-02 2021-02-19 日产自动车株式会社 行驶辅助方法及行驶辅助装置
CN112384962B (zh) * 2018-07-02 2022-06-21 日产自动车株式会社 行驶辅助方法及行驶辅助装置
CN112026767A (zh) * 2020-08-27 2020-12-04 重庆长安汽车股份有限公司 自适应巡航对护栏误识别的处理方法、系统及车辆

Also Published As

Publication number Publication date
JP5895955B2 (ja) 2016-03-30
EP2905723B1 (en) 2019-03-27
EP2905723A1 (en) 2015-08-12
US9317755B2 (en) 2016-04-19
US20150227799A1 (en) 2015-08-13
JP2015149029A (ja) 2015-08-20

Similar Documents

Publication Publication Date Title
CN106463064B (zh) 物体识别装置和使用该物体识别装置的车辆行驶控制装置
JP5895955B2 (ja) 車線境界線検出装置
JP7291129B2 (ja) 路面状態と天候に基づく環境影響を認識し評価する方法及び装置
EP2963634B1 (en) Stereo camera device
US8208021B2 (en) Vehicle and lane mark detection device
JP5966965B2 (ja) 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
US9352746B2 (en) Lane relative position estimation method and system for driver assistance systems
EP1354767A2 (en) Vehicle surroundings monitoring apparatus and vehicle traveling control system incorporating the apparatus
CN107792070B (zh) 车辆的驾驶辅助装置
CN110088802B (zh) 物体检测装置
WO2013136878A1 (ja) 物体検出装置
KR101968349B1 (ko) 영상 정보를 이용한 차선 경계 검출 방법
US10503984B2 (en) Object detection device
US8160300B2 (en) Pedestrian detecting apparatus
US20180005073A1 (en) Road recognition apparatus
WO2014002692A1 (ja) ステレオカメラ
EP3087532B1 (en) Method for determining a width of a target vehicle by means of a camera system of a motor vehicle, camera system and motor vehicle
JP6426512B2 (ja) 走行区画線認識装置
JP3626905B2 (ja) 車外監視装置
US20200193184A1 (en) Image processing device and image processing method
JP6200780B2 (ja) 車線認識判定装置
US11417117B2 (en) Method and device for detecting lanes, driver assistance system and vehicle
CN104835139B (zh) 车道边界线检测装置
JP5452518B2 (ja) 車両用白線認識装置
JP2023051408A (ja) 運転支援装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant