CN111149131B - 区划线识别装置 - Google Patents

区划线识别装置 Download PDF

Info

Publication number
CN111149131B
CN111149131B CN201880063043.0A CN201880063043A CN111149131B CN 111149131 B CN111149131 B CN 111149131B CN 201880063043 A CN201880063043 A CN 201880063043A CN 111149131 B CN111149131 B CN 111149131B
Authority
CN
China
Prior art keywords
line
candidate
score
candidates
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880063043.0A
Other languages
English (en)
Other versions
CN111149131A (zh
Inventor
待井君吉
绪方健人
中村淳哉
清水直树
榎本彩乃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN111149131A publication Critical patent/CN111149131A/zh
Application granted granted Critical
Publication of CN111149131B publication Critical patent/CN111149131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

本发明的课题在于能够实现利用多个摄像机的准确的线型判定。本发明的区划线识别装置具备：多个摄像机(101)；线型判定部(210)，其从由所述多个摄像机得到的各图像中检测区划线候选并判定其种类；区划线位置算出部，其算出检测到的区划线候选的位置；可靠度算出部，其使用所述检测到的区划线候选的位置关系来计算各区划线候选的可靠度；概率计算部(204)，其以所述可靠度在阈值以上的区划线候选的线型为输入来求各线型的概率；以及线型确定部(205)，其根据概率计算部的结果来最终确定该区划线的线型。

Description

区划线识别装置
技术领域
本发明涉及识别车辆行驶环境中的路面标识的装置。
背景技术
专利文献1记载了一种道路形状获取装置，其将根据构成道路的路段生成的路段平面分割为网格，从规定以上的白线存在概率的所述网格中获取道路形状，该道路形状获取装置具有：地图数据存储单元，其存储有所述道路的路段信息；白线存在概率存储单元，其针对每一所述网格而存储有更新后的白线存在概率或者初始值的白线存在概率；位置检测单元，其检测车辆的位置；白线检测单元，其检测所述道路的白线；以及白线存在概率设定单元，其将与检测到的所述白线相对应的所述网格起规定范围的网格的白线存在概率以及所述白线存在概率存储单元中存储的白线存在概率运用于贝叶斯更新公式来更新所述白线存在概率存储单元中存储的白线存在概率。
现有技术文献
专利文献
专利文献1：日本专利特开2008-3253号公报
专利文献2：日本专利特开2014-027539号公报
发明内容
发明要解决的问题
专利文献1是通过对由单一摄像机得到的识别结果进行概率处理来求出白线的存在概率。但是，在对由单一摄像机得到的结果进行概率处理的情况下，若相同结果持续出现，则其概率会持续上升，因此，有可能持续弄错线型或白线位置。此外，也没有用于修正持续弄错的结果的手段。
但是，这一问题仅靠保持多个摄像机是解决不了的。在保持多个摄像机的情况下，设置位置、角度会使得图像的状况不一样，因此，未必能始终信赖所有摄像机的结果。因而，须判断应信赖哪一摄像机来选择恰当的摄像机。
本发明是鉴于上述问题而成，其目的在于提供一种能够准确地判定划分车道的区划线的线型的区划线识别装置。
解决问题的技术手段
解决上述问题的本发明的区划线识别装置具备：多个摄像机；线型判定部，其从由所述多个摄像机得到的各图像中检测区划线候选并判定其种类；区划线位置算出部，其算出检测到的区划线候选的位置；可靠度算出部，其使用检测到的所述区划线候选的位置关系来计算各区划线候选的可靠度；概率计算部，其以所述可靠度在阈值以上的区划线候选的线型为输入来求各线型的概率；以及线型确定部，其根据概率计算部的结果来最终确定该区划线的线型。
发明的效果
根据本发明，能够实现利用多个摄像机的准确的线型判定。根据本说明书的记述、附图，将明确本发明相关的更多特征。此外，上述以外的课题、构成及效果将通过以下实施方式的说明来加以明确。
附图说明
图1为表示装置的构成例的图。
图2为表示软件构成的例子的图。
图3为表示处理流程的概略的图。
图4为表示特征点提取的处理的流程图。
图5为表示白线候选提取的处理的流程图。
图6为白线候选提取处理的概念图。
图7为线型判定处理的流程图。
图8为可靠性高的白线候选的选择处理的流程图。
图9为分值化处理的流程图。
图10为白线候选的位置关系例。
图11为分值化结果例。
图12为道路类别和与其相对应的道路宽度的关系。
图13为可靠度的判定处理的流程图。
图14为可靠度的判定例。
图15为可靠度的判定处理的流程图。
图16为可靠度的判定处理的流程图。
图17为线型概率算出部的软件构成图。
图18为内部数据结构。
图19为线型概率算出部的处理的流程图。
图20为线型概率确定部的处理的流程图。
图21为使用摄像机以外的情况下的装置的构成例。
图22为使用摄像机以外的情况下的软件构成例。
图23为说明去噪的处理的流程图。
图24为说明去噪的事例的图。
具体实施方式
图1为表示本发明中的装置的构成例的图。本实施方式中的区划线识别装置搭载于汽车等车辆中，根据摄像机拍摄到的图像来识别构成车道的白线等区划线。区划线识别装置通过车辆上搭载的硬件与控制硬件的软件的协作来实现。
区划线识别装置具备：用于监视车辆前方的前摄像机101-Fr、用于监视后方的后摄像机101-Rr、用于监视车辆左侧方的左侧方摄像机101-SL、用于监视车辆右侧方的右侧方摄像机101-SR、对这些摄像机图像进行处理的图像处理装置102、以及用于存储地图信息等的存储装置103。
CPU104使用图像处理装置102的处理结果将构成车辆的自身车道、相邻车道的白线的信息储存至存储器105。并且，将该信息通过CAN I/F106传输至CAN总线107而送至车辆控制单元108。
图2为表示本发明中的软件构成的例子的图。对应于各摄像机101而针对每一摄像机配备线型判定部201、白线距离算出部202。
线型判定部201设置在图像处理装置102中，根据从摄像机101拍摄到的图像中提取到的特征点来检测白线。继而，根据该结果来判定线型。
作为提取特征点的方法，例如有使用亮度值相当于黑色与相当于白色的交界边缘的方法。若它们的距离相当于白线宽度，便视为特征点。另外也考虑各种方法，而本实施例中可为任意方法。此外，在该线型判定部中，根据提取到的特征点的信息来提取直线。该方法于后文叙述。
白线距离算出部202算出自身车辆到各白线候选的距离。这可以通过将白线候选上的特征点坐标转换为世界坐标来实现。这一内容也在后文叙述。
可靠度判定部203判定采用从哪一摄像机检测到的白线候选。判定各摄像机的脏污情况、各摄像机是否误检测到了白线，从而选择恰当的候选。
线型概率算出部204以各白线候选的线型为输入对它们进行概率处理而针对每一线型算出概率(概率计算部)。线型确定部205根据线型概率算出部204算出的各线型的概率来确定最终的线型。线型概率算出部204和线型确定部205于后文叙述。
图3为表示本发明中的处理流程的概略的图。这是1帧图像的处理。首先，有摄像机数量程度的反复处理。在最初的步骤301中，判定摄像机镜头的脏污。该方法可以运用公知方法，例如可以运用日本专利特开2014-027539(专利文献2)等揭示那样的方法，详细说明从略。接着，在步骤302中，评价镜头的脏污情况。若有镜头的脏污，则对于应由该摄像机捕捉的白线设定不采用标记(步骤309)。
即，该摄像机不予使用，转移至下一摄像机的处理。
在没有镜头的脏污的情况下，转移至步骤303之后。在步骤303中，从各摄像机图像提取特征量来检测白线候选。接着，在步骤304中，判定各白线候选的线型。作为判定线型的方法，存在有跨及多帧而积累白线的有无信息、使用其周期性来区分实线与虚线，而本实施例中可为任意方法。步骤301到304的处理相当于线型判定部201的处理。接着，在步骤305中，算出各白线候选与自身车辆的距离。这相当于白线距离算出部202的处理。关于步骤305的处理，使用图5的白线检测流程的步骤507中求出的白线候选位置。自身车辆到白线候选的距离是白线候选位置减去车宽/2得到的值。
步骤301～305是每一摄像机的处理。之后是使用各摄像机的所有结果的处理。在步骤306中，选择可靠性高的白线候选。这相当于可靠度判定部203的处理。接着，在步骤307中，对所选择的白线候选的线型进行概率处理。作为概率处理，例如运用贝叶斯统计的理论等比较理想，求出作为识别对象的所有线型相关的概率。这相当于线型概率算出部204的处理。最后，在步骤308中，根据求出的概率来最终确定线型。此处，选择概率最大的线型等即可。这相当于线型确定部205的处理。
图4为表示所述线型判定部201中特征点提取的处理的流程图。此处，设想前摄像机和后摄像机来进行说明。
首先，在步骤401中，进行从输入的图像中提取边缘的处理。作为边缘提取的方法，例如使用索贝尔滤波器等微分滤波器来制作边缘图像的方法比较理想。或者，也可根据亮度将整个图像分类为路面、白线、其他，将各分类的交界视为边缘来加以提取。接着，针对提取到的各边缘而检查边缘强度，探索强度极大、极小的边缘(步骤402)。
首先，在各Y坐标上从左往右(从X坐标的较小一方往较大一方)探索边缘，寻找边缘强度为正的边缘(从亮度低变为亮度高的交界)。进一步往右探索，寻找边缘强度为负的边缘(从亮度高变为亮度低的交界)。判定这些X坐标的差分是否处于阈值的范围内(步骤403)，若在阈值以内，则将它们当中距自身车辆较近一方的边缘坐标视为特征点，转换为世界坐标加以保存(步骤404)。由此，例如沥青的接缝、焦油的溢出痕迹等在没有出现白色区域的情况下仅提取到边缘这样的特征点便不会被误检测为白线特征量。
当提取了所有特征点时，在步骤405中进行去除可能是噪声的特征点的处理。该处理可以通过使用处理区域内的特征量的位置的分布、特征点区段的长度等来实现。这一内容于后文叙述。
通常，图像坐标与世界坐标的关系可以借助摄像机的外部参数和内部参数来记述，向世界坐标的转换可以通过使用这些摄像机参数来实现。获取各摄像机的外部参数和内部参数的处理称为校准处理，揭示有各种技术，可以使用这些技术。该校准处理有的是仅在汽车出厂时实施1次、有的是在行驶中随时实时执行，情况多种多样。在本实施例中，可获取已保持的校准结果，此外，也可在行驶中每次都执行校准处理。
通过对所有边缘坐标执行上述处理，可以提取白线特征量。再者，在侧方摄像机的情况下，X坐标、Y坐标的处理须颠倒过来。例如，在本流程图中，只要采用将X、Y的处理颠倒过来或者将图像旋转90°来进行处理中的任一方法，便能实现同样的处理。
图23为说明步骤405的特征点去噪的处理的流程图。此处，以侧方摄像机为前提来进行叙述。首先，在步骤2300中，将拍摄图像的处理区域内的所有特征点坐标转换为无畸变坐标系的坐标。接着，在步骤2301中，按一定的高度来分割处理区域。接着，进入分割数的循环。
在步骤2302中，在该分割区域内求出特征量的Y坐标的标准偏差。接着，在步骤2303中，评价Y坐标的标准偏差的值，若标准偏差大于阈值，则认为是噪声的可能性较高，从而在步骤2306中将该分割区域内的特征点全部删除。在侧方摄像机的情况下，照出的白线大致水平，因此，若Y坐标的标准偏差较大，则为噪声的可能性较高。
若步骤2303中标准偏差在阈值以内，则在步骤2304中求出分割区域内的特征点区段的长度的最大值(区段长度最大值)。在本实施例中，制作相互在一定间隔以内的特征点的集合，将其X方向的长度作为区段长度，求该长度的最大值。接着，在步骤2305中评价该最大值，在区段长度最大值为阈值以下的情况下(区段长度最大值≤阈值)，判断是噪声的可能性较高，从而在步骤2306中将该分割区域内的特征点全部删除。若照到了白线，则区段长度应当达到一定长度以上，若区段长度较短，则为噪声的可能性较高。
图24为说明特征点去噪的事例的图。图24的(a)为表示从有畸变的图像中提取到的特征点的分布的样子的图。图24的(b)为表示通过步骤2300的处理将图24的(a)的特征点坐标转换成无畸变坐标系的结果的图。图24的(c)为表示通过步骤2301的处理按一定的高度来分割处理区域的结果的图。
在本实施例中，是将侧方摄像机拍摄到的图像分割成区域2401、2402这2个，但分割数可任意决定。区域2401内，特征点的Y方向的位置配置得零乱而分散，相对于此，区域2402内，特征点的Y方向的位置是以处于大致固定的范围内的方式排列的。当针对该数据运用步骤2302之后的处理时，如图24的(d)所示，关于区域2401，认为是噪声的可能性较高而将特征点全部删除，关于区域2402，特征点原样留下。如此，可以根据特征点的分布状况来去除噪声。
图5为表示所述线型判定部201中特征点提取后的白线候选提取的处理的流程图。首先，在步骤501中，将转换成共通坐标的特征点投影至共通坐标的X轴。接着，在步骤502中，按每一X坐标来总计出所投影的特征量的累积值。所谓特征量，是指可以与像素值或亮度值调换的值，以在该X轴上扫描的方式累积该值。在步骤503中，提取该累积值达到阈值以上且极大的X坐标。
图6概念性地展示了到此处为止的处理。图6为白线候选提取处理的概念图，展示了总计的概念。将转换结果601上的各特征点投影至X坐标并以柱状图的形式表示各X坐标上的特征量的累积值，检测值极大的X坐标。其中，对于累积值超过阈值th的X坐标，认为有可能存在白线，对于累积值不超过阈值th的X坐标，认为不存在白线。也就是说，先粗略地找到直线候选，接着在各极大X坐标中判断特征点的可靠性。
接着，进入上述检测到的极大X坐标的循环。在步骤504中，对该X坐标上的特征点数量进行计数。在步骤505中，评价计数得到的特征点数量，若在阈值以上，则在步骤506中保存该X坐标。
当极大X坐标的循环结束时，求出步骤506中保存的X坐标当中分值最大的X坐标，将该X坐标确定为白线候选位置(步骤507)。
此外，除了图5所示的内容以外，也可使用斜投影等方法。即，在以一定的幅度改变坐标轴的角度的情况下将特征点投影至各坐标轴，总计出边缘强度的累积值。继而，求出边缘强度最大的角度和位置，由此，能检测到白线候选。
图7为步骤304的线型判定处理的流程图。该处理利用以下内容：在区划线为虚线的情况下，白线上会有间隔，在区划线为实线的情况下，线的描绘是连续的。首先，在步骤701中，以Y坐标对特征点坐标进行排序。接着，在步骤702、703中将变量初始化。
接着，进入Y坐标循环，在步骤704中，读入1个特征点坐标，计算与前一特征点的Y坐标的差分。对差分与最大差分值进行比较(步骤706)，若差分在最大差分值以上，则进行将该差分作为最大差分值的更新(步骤707)。继而，读入下一特征点坐标(步骤708)，重复这些处理。
当针对所有特征点的处理结束时，在步骤709中对最大差分值与阈值进行比较，若最大差分值在阈值以上，则判定为虚线(步骤710)，在最大差分值小于阈值的情况下，判定为实线(步骤711)。
此外，作为图7所示以外的线型判定的方法，使用每一帧的白线有无的周期性的方法也比较理想。
图8为步骤306中的选择可靠性高的白线候选的处理的流程图。首先，在步骤801中，将从各摄像机提取到的白线候选彼此的距离分值化。接着，使用该分值来判定各白线候选的可靠度，留下可靠度在阈值以上的白线候选(步骤802)。使用附图，对步骤801、802的处理进一步进行说明。
图9为图8的步骤801中的分值化的处理的流程图。
首先，在步骤901中，选择自身以外的白线候选。也就是说，将自身与所选择的白线候选的关系分值化。换句话说，将从多个白线候选当中选择作为基准的白线候选(自身)与它以外的白线候选(自身以外的白线候选)的关系分值化。判定这两者(自身和自身以外的白线候选)从自身车辆观察是否处于同一侧(右侧或左侧)(步骤902)。若在同一侧，则按照步骤903来计算分值。也就是说，将30cm(第1阈值)减去自身(第一区划线候选)与自身以外的白线候选(第二区划线候选)之间的距离得到的值作为局部分值。即，在同一侧的白线候选的情况下，若距离差在30cm以内，则视为是同一白线。于是，若距离差在30cm以内，则以取正的方式设定分值。
另一方面，在相互在相反侧的白线候选的情况下，即，在自身和自身以外的白线候选分隔在自身车辆的右侧和左侧的情况下，按照步骤904来计算分值。若是相互在相反侧，则这些白线候选间距离应相当于车道宽度。因而，距离误差为白线候选间距离与车道宽度的差分。于是，分值为60cm减去距离误差。也就是说，将60cm(第2阈值)减去自身(第一区划线候选)与自身以外的白线候选(第二区划线候选)之间的距离与车道宽度的差分得到的值作为局部分值。在处于同一侧的情况下，若距离差在30cm以内，则视为同一白线，因此，若它们相互在相反侧，则只要距离差在2倍即60cm以内，在位置关系上就是妥当的。于是，在距离差在60cm以内的情况下，以取正的方式设定分值。计算了分值后，在步骤905中对分值进行缓冲。作自身以外的白线候选数程度的循环，并以作白线候选数程度的循环的方式针对所有白线候选加以执行。
其中，图9中使用的30cm或60cm这样的值是本实施例的说明用的值，在实施时须恰当地加以调整。
设想图10的位置关系，对步骤801的分值化的处理进行叙述。图10为说明白线候选的出现方式的事例的图，展示了白线候选的位置关系例。图10的(1)～(6)分别为位于前左、左侧方、后左、前右、右侧方、后右的白线候选。对于该白线候选的位置关系，像图9的步骤903、904所示那样定义2条白线的相对距离误差，针对所有的白线的组合算出分值。图10中，坐标系是以自身车辆中心为原点的世界坐标系。再者，单位设为cm，(1)～(6)的白线候选中的X坐标分别设为-170、-240、-168、180、280、181。
例如，考虑将(1)与(2)的关系分值化的情况。距离误差为|-170－(-240)|＝70，因此分值为30－70＝-40。此外，若将(1)与(4)的关系分值化，则距离误差为||(-170－180)|－350|＝0，分值为60－0＝60。当针对(1)～(6)这所有的区段的组合执行这些计算时，生成图11的数据1101那样的数据。图11为说明分值化的事例的图。
此处是将车道宽度假定为350cm来进行说明，但实际上，根据道路的不同，车道宽度是不一样的。为了应对不同车道宽度，例如从汽车导航系统获得行驶中的道路类别而设定与该类别相符的车道宽度比较理想。或者，也可从汽车导航系统获得行驶中的道路的车道宽度。
图12为表示道路类别和与其相对应的道路宽度的关系的不同道路的区划线信息的例子的表。不同道路的区划线信息1201是从汽车导航系统所使用的地图数据获得的信息，是例如以文本数据或数据库的形式储存在存储装置103中的数据。再者，不同道路的区划线信息1201中展示的道路类别、道路宽度、虚线间隔是一例，并不限定于这些内容。通过参考这样的数据，能够获得车道宽度。
接着，使用图13，对步骤802的可靠度的判定处理流程的内容进行说明。
首先，针对所有白线候选计算分值的合计(步骤1301)。接着，在步骤1302中，判定分值合计的最小值是否为0以下。此外，判定是否剩有评价对象白线候选。若两者为是(分值合计的最小值为0以下而且剩有评价对象白线候选时)，则前进至步骤1303，将分值合计最小的白线候选排除。继而，以剩下的白线候选为对象再次计算分值合计(步骤1304)。再次计算分值合计时，以将排除掉的白线候选的分值去掉的方式加以执行。其后，返回至步骤1302来执行相同的判定。并且，若判定条件中的某一方为否，即，在分值合计的最小值大于0或者未剩有评价对象白线候选的情况下，结束处理(结束)，若为是，则重复前文所述的步骤1303之后的处理。
图14为说明可靠度判定的事例的图。使用图14，对将步骤802的可靠度的判定运用于图11的数据1101的情形进行说明。步骤1301的处理的结果为数据1401。接着，在步骤1302中判定分值合计值的最小值。此时，白线候选(5)的分值-297最小，而且是负值。因而，前进至步骤1303将白线候选(5)排除，在步骤1304中再次计算分值合计。其结果为数据1402。
接着，返回至步骤1302判定分值最小值。此时，白线候选(2)的分值-103最小而且是负值。因而，前进至步骤1303将白线候选(2)排除，在步骤1304中再次计算分值合计。其结果为数据1403。
继而，返回至步骤1302判定分值最小值，这时，剩余白线候选中分值全部为正，所以处理在此处结束。结果，认为是误检测的白线候选为(2)和(5)，使用剩下的白线候选(1)、(3)、(4)、(6)来实施线型判定。
图15为步骤802的可靠度的判定的一例。其中，在未能连续检测到相同位置的白线的情况下，不采用该位置的白线候选，实施检测白线的位置的数量(本实施例中最大为6)程度的判定。
步骤1501为判定是否检测到白线候选的处理。不仅包含在图像上是否检测到白线，还包含通过图13的处理流程是否判断为误检测的判定。在图10的例子的情况下，对于白线候选(2)和(5)的判定是未检测到，这以外的白线候选的判定是检测到。
在未检测到的情况下，在步骤1502中使未测出次数递增。进而，在步骤1504中评价未测出次数，若在阈值以上，则在步骤1505中对该位置的白线候选设定不采用标记。在检测到的情况下，在步骤1503中将未测出次数重置为0，在步骤1506中重置该位置的不采用标记。
通过执行该处理，即便存在白线候选的未测出或误识别，也能防止因该数据而误判定线型。
图16也是步骤802的可靠度的判定的一例。借助最终的线型与各白线候选的线型的一致率来判定可靠度。首先，在步骤1601中，获得检测到的各白线候选的线型。接着，在步骤1602中，与线型的最终结果进行比较。若一致，则在步骤1604中使一致数递增，若不一致，则在步骤1603中使不一致数递增。
接着，在步骤1605中求一致率。以此前处理过的帧的数量来除一致数(一致数/处理帧数)。其中，计算一致率的对象数据也可不是系统轨道起到当前帧为止的全部数据，例如也可将最新的100帧的结果作为对象，或者也可将车道变更之后的数据作为对象。接着，在步骤1606中评价一致率，若为阈值以上，则在步骤1608中设定不采用标记。若一致率不到阈值，则在步骤1607中重置该位置的不采用标记。
通过执行该处理，可以将线型判定结果不可信赖的白线候选排除、在不受该数据影响的情况下判定线型。
图17为线型概率算出部204的软件构成图。此处，以使用贝叶斯理论作为概率计算的方法为前提来进行说明。但贝叶斯理论只是实施的一种形态，也可使用其他方法。
识别结果信息1702为线型、不采用标记、一致率等。在概率计算部1701中，设定有不采用标记或者一致率不到阈值的白线候选的信息不予使用，使用这以外的信息来计算各线型的存在概率。
似然度信息1703是表示在某一线型存在的情况下判定各线型的存在的概率的值，可以储存好事前测量出的值。关于事前概率1704，放入适当的值作为初始值便没有问题。例如，若识别对象线型为实线和虚线，则可将各线型的事前概率的初始值设为0.5，若识别对象线型有3种，则可将各自的初始值设为0.33。
概率计算部1701使用识别结果信息1702、似然度信息1703、事前概率1704来输出作为识别对象的各线型相关的事后概率1705。具体而言，使用下式来算出各线型的存在概率。下式中是将识别对象线型设为实线和虚线来进行说明，但即便追加其他线型，也可以通过同样的公式来算出各线型的存在概率。该事后概率1705应在该帧中求出，是各线型的存在概率。并且，在处理下一帧时，事后概率1705就成为事前概率1704。
[数式1]
H0：虚线为正解
H1：实线为正解
Df：线型判定结果(前摄像机)
Ds：线型判定结果(侧方摄像机)
Dr：线型判定结果(后摄像机)
P(H1|Df,Ds,Dr)：事后概率
P(Df|H1)：似然度(前摄像机)
P(Ds|H1)：似然度(侧方摄像机)
P(Dr|H1)：似然度(后摄像机)
P(H1)：事前概率
图18为算出各线型的存在概率所需的数据的内部结构。白线候选数1801为白线候选的数量，本实施例中为6。线型判定结果1802为该帧内的最终的线型判定结果。也就是使用事后概率1705来最终判定的结果。似然度信息1703是成为识别对象的各线型的似然度，与上文所述一致。图18展示识别对象线型为实线和虚线的情况下的例子。似然度信息1703-1是实线区间内将线型判定为实线的概率，似然度信息1703-2是实线区间内将线型判定为虚线的概率，似然度信息1703-3是虚线区间内将线型判定为实线的概率，似然度信息1703-4是虚线区间内将线型判定为虚线的概率。
接着，对白线候选信息1804进行说明。白线候选信息1804存在白线候选数1801所示数量程度的信息组(フィールド)。
白线位置1805例如表示“前右”、“后左”等位置。事前概率1704与前文所述一致。再者，事前概率1704针对识别对象线型各方加以保持，若识别对象为实线和虚线，则像事前概率1704-1、1704-2那样加以保持。再者，在识别对象线型增加的情况下，也须针对增加的线型加以保持。
识别结果信息1702是针对各白线候选的识别结果，存在检测到的白线候选的数量程度的信息。距离1808表示距车辆的距离，单位为毫米、厘米或米。再者，在该位置上未测出的情况下，存储预先定义的常数。
线型1809为该白线候选的线型，本实施例中为实线或虚线，而在未测出的情况下，存储预先定义的常数。
不采用标记1810与前文所述一致，是表示最终判定线型时是否使用该位置的白线候选信息1804的标记。
一致数1811也与前文所述一致，是步骤1604中计数得到的值。不一致数1812也一样，是步骤1603中计数得到的值。一致率1813也一样，是步骤1605中计算得到的值。
图19为线型概率算出部204的处理流程。首先，在步骤1901中，获得白线候选的不采用标记的值。也就是图18的不采用标记1810的值。在步骤1902中评价不采用标记的值，若设定有不采用标记，则转移至下一白线候选的处理。若未设定有不采用标记，则在步骤1903中获得线型判定结果，在步骤1904中获得与该线型判定结果相关的似然度的值。例如在线型判定结果为实线的情况下，需要获得的似然度的值为似然度信息1703-1、1703-3。
针对所有白线候选执行这些处理，在步骤1905中应用到前面展示过的贝叶斯理论的公式中。由此，可以针对各识别对象线型计算出存在概率。
再者，图18、图19中对于未测出的情况未作图示，但未测出的情况下也一样，可以应用到贝叶斯理论的公式中来求出白线不存在的概率。在似然度信息中存储好未测出的情况下的似然度的值，在步骤1905中将未测出的情况下的似然度信息应用到贝叶斯理论的公式中即可。
图20为线型确定部205的处理流程。首先，在步骤2001中，将变量初始化。将事后概率的最大值设为0、最终的线型设为“未测出”。之后进入识别对象线型数的循环。
在步骤2002中获得该线型的事后概率。也就是步骤1905中计算出的事后概率。接着，在步骤2003中评价该事后概率，判定事后概率是否为最大值以上而且在阈值以上。此处的阈值是预先任意地决定好用于将该线型判断为最终的线型的值，但与该阈值的比较并不是必需的。若结果为否，则认为不是该线型，返回至步骤2002。若为是，则将最大值替换为该线型的事后概率，最终线型也替换为该线型。
关于最终确定的线型，在识别对象线型数的循环结束时参考最终线型即可。再者，在最大值保持0不变的情况下，视为未测出来加以处理即可。
如此一来，可以使用多个摄像机来判定白线的线型，但本发明也可以通过使用摄像机以外的传感器来加以实施。图21为其构成的一例。可以设置立体摄像机2101、全景摄像机2102、LiDAR(激光测距仪)2103中的至少任一种来代替摄像机101。立体摄像机2101上连接有图像处理装置2104，全景摄像机2102上连接有图像处理装置2105。再者，这些图像处理装置也可为同一个。LiDAR2103的数据可以在CPU104中加以处理。
在该构成中也一样，由各传感器检测白线候选并对其进行概率处理，由此可以判定线型。其软件构成示于图22。线型判定部2201从立体摄像机2101的图像中检测白线候选并判定其线型。白线位置算出部2204算出自身车辆到白线的距离。
LiDAR2102、全景摄像机2103也一样，由各线型判定部2202、2203和白线位置算出部2204、2205执行同样的处理。这些处理的结果在可靠度判定部203、线型概率算出部204、线型确定部205中加以处理，确定最终的线型。这些处理与前文所述一致。
以上，对本发明的实施方式进行了详细叙述，但本发明并不限定于所述实施方式，可以在不脱离权利要求书记载的本发明的精神的范围内进行各种设计变更。例如，所述实施方式是为了以易于理解的方式说明本发明所作的详细说明，并非一定限定于具备说明过的所有构成。此外，可以将某一实施方式的构成的一部分替换为其他实施方式的构成，此外，也可以对某一实施方式的构成加入其他实施方式的构成。进而，可以对各实施方式的构成的一部分进行其他构成的追加、删除、替换。
符号说明
101：摄像机(传感器)、201：线型判定部、202：白线距离算出部(区划线距离算出部)、203：可靠度判定部、204：线型概率算出部(概率计算部)、205：线型确定部。

Claims (9)

1.一种区划线识别装置，其特征在于，具备：
多个传感器；
线型判定部，其从由所述多个传感器得到的各图像中检测区划线候选并判定该区划线候选的线型；
区划线位置算出部，其算出检测到的区划线候选的位置；
可靠度算出部，其使用检测到的所述区划线候选的位置关系来计算各区划线候选的可靠度；
概率计算部，其以所述可靠度在阈值以上的区划线候选的线型为输入来求各线型的概率；以及
线型确定部，其根据所述概率计算部的结果来最终确定区划线的线型，
所述可靠度算出部将区划线候选彼此的距离分值化，使用该分值来计算各所述区划线候选的可靠度，
判定从多个所述区划线候选当中选择作为基准的第一区划线候选和它以外的第二区划线候选从自身车辆观察是否在同一侧，
在同一侧的情况下，将第1阈值减去所述第一区划线候选与所述第二区划线候选的距离得到的值作为局部分值，
在相互在相反侧的情况下，将第2阈值减去所述第一区划线候选与所述第二区划线候选的距离与车道宽度的差分得到的值作为局部分值，
在针对所述区划线候选彼此的各组合计算出所述局部分值后，针对所述区划线候选各方而合计所述局部分值，将合计值作为所述分值。
2.根据权利要求1所述的区划线识别装置，其特征在于，
所述线型判定部根据所述区划线是否连续或者每一帧的区划线有无的周期性来进行所述区划线候选的线型的判定。
3.根据权利要求1所述的区划线识别装置，其特征在于，
所述可靠度算出部根据从多个所述区划线候选当中选择作为基准的所述区划线候选与它以外的所述区划线候选的关系来进行所述分值化。
4.根据权利要求3所述的区划线识别装置，其特征在于，
在从多个所述区划线候选当中选择作为基准的所述区划线候选与它以外的所述区划线候选的距离差在规定范围内的情况下，所述可靠度算出部判断是同一区划线。
5.根据权利要求1所述的区划线识别装置，其特征在于，
所述可靠度算出部使用未测出达到了一定次数以上的区划线位置以外的信息。
6.根据权利要求1所述的区划线识别装置，其特征在于，
所述可靠度算出部对所述多个传感器分别输出的线型判定结果与所述线型确定部输出的线型进行对照来求出一致的比例，使用该比例达到了阈值以上的区划线位置的信息。
7.根据权利要求1所述的区划线识别装置，其特征在于，
所述概率计算部使用贝叶斯理论。
8.根据权利要求1所述的区划线识别装置，其特征在于，
所述传感器为单镜头摄像机。
9.根据权利要求1所述的区划线识别装置，其特征在于，
所述传感器为立体摄像机、激光测距仪、全景摄像机中的至少1种。
CN201880063043.0A 2017-09-29 2018-09-28 区划线识别装置 Active CN111149131B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-192242 2017-09-29
JP2017192242A JP6710190B2 (ja) 2017-09-29 2017-09-29 区画線認識装置
PCT/JP2018/036194 WO2019065945A1 (ja) 2017-09-29 2018-09-28 区画線認識装置

Publications (2)

Publication Number Publication Date
CN111149131A CN111149131A (zh) 2020-05-12
CN111149131B true CN111149131B (zh) 2023-09-15

Family

ID=65903455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880063043.0A Active CN111149131B (zh) 2017-09-29 2018-09-28 区划线识别装置

Country Status (5)

Country Link
US (1) US11275956B2 (zh)
EP (1) EP3690814B1 (zh)
JP (1) JP6710190B2 (zh)
CN (1) CN111149131B (zh)
WO (1) WO2019065945A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7314638B2 (ja) * 2019-06-14 2023-07-26 オムロン株式会社 白線検出装置及び方法
US20220089187A1 (en) * 2020-09-22 2022-03-24 Coast Autonomous, Inc. Multi-layer autonomous vehicle control architecture
JP7221469B2 (ja) * 2020-12-11 2023-02-13 三菱電機株式会社 信頼度推定装置、位置推定装置、及び信頼度推定方法
JP2022158530A (ja) * 2021-04-02 2022-10-17 日立Astemo株式会社 情報処理装置および情報処理方法
JP7462113B2 (ja) 2021-05-17 2024-04-04 Eizo株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2023007052A (ja) * 2021-07-01 2023-01-18 日立Astemo株式会社 運転支援装置及び運転支援方法
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101405783A (zh) * 2006-03-24 2009-04-08 丰田自动车株式会社 道路区划线检测装置
CN102739951A (zh) * 2011-04-06 2012-10-17 富士施乐株式会社 图像处理装置及图像处理方法
JP2017010464A (ja) * 2015-06-25 2017-01-12 富士通株式会社 車線検出装置及び車線検出方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4616046B2 (ja) 2005-03-22 2011-01-19 本田技研工業株式会社 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両
JP4899657B2 (ja) 2006-06-21 2012-03-21 トヨタ自動車株式会社 道路形状取得装置
JP4950858B2 (ja) 2007-11-29 2012-06-13 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識プログラム
JP5677900B2 (ja) * 2011-06-29 2015-02-25 株式会社日本自動車部品総合研究所 車載白線認識装置
JP6055224B2 (ja) 2012-07-27 2016-12-27 クラリオン株式会社 レンズ洗浄装置
JP6185418B2 (ja) 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP6220327B2 (ja) * 2014-07-23 2017-10-25 株式会社Ｓｏｋｅｎ 走行区画線認識装置、走行区画線認識プログラム
JP6272204B2 (ja) 2014-10-02 2018-01-31 株式会社Ｓｏｋｅｎ 道路区画線情報取得装置
CN104899858A (zh) * 2015-02-15 2015-09-09 北京联合大学 基于双摄像机图像融合的车道线识别方法
JP6568437B2 (ja) * 2015-09-17 2019-08-28 クラリオン株式会社 区画線認識装置
JP6702849B2 (ja) * 2016-12-22 2020-06-03 株式会社Ｓｏｋｅｎ 区画線認識装置
DE112017007327T5 (de) * 2017-03-27 2019-12-05 Mitsubishi Electric Corporation Fahrzeugpositions-schätzvorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101405783A (zh) * 2006-03-24 2009-04-08 丰田自动车株式会社 道路区划线检测装置
CN102739951A (zh) * 2011-04-06 2012-10-17 富士施乐株式会社 图像处理装置及图像处理方法
JP2017010464A (ja) * 2015-06-25 2017-01-12 富士通株式会社 車線検出装置及び車線検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王越 ; 范先星 ; 刘金城 ; 庞振营 ; .结构化道路上应用区域划分的车道线识别.计算机应用.2015,(09),第279-283页. *

Also Published As

Publication number Publication date
JP6710190B2 (ja) 2020-06-17
US11275956B2 (en) 2022-03-15
JP2019067159A (ja) 2019-04-25
EP3690814B1 (en) 2022-07-06
WO2019065945A1 (ja) 2019-04-04
EP3690814A4 (en) 2021-06-02
EP3690814A1 (en) 2020-08-05
US20200265246A1 (en) 2020-08-20
CN111149131A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111149131B (zh) 区划线识别装置
CN110555361B (zh) 车道分类的图像处理方法
CN107719233B (zh) 车道偏离警告系统和与其相关联的方法
US8184859B2 (en) Road marking recognition apparatus and method
US9047518B2 (en) Method for the detection and tracking of lane markings
US10891738B2 (en) Boundary line recognition apparatus and branch road determination apparatus
JP6971177B2 (ja) 区画線認識装置
JP2016081525A (ja) 車両用画像認識システム、及び対応法
JP4793324B2 (ja) 車両監視装置および車両監視方法
WO2006101004A1 (ja) 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、車両、および車両用画像処理システムの構成方法
CN110088807B (zh) 分隔线识别装置
US10235579B2 (en) Vanishing point correction apparatus and method
CN112298194B (zh) 一种车辆的换道控制方法及装置
JP2015064752A (ja) 車両監視装置、および車両監視方法
JP3319383B2 (ja) 走行路認識装置
JP2014194698A (ja) 道路端検出システム、方法およびプログラム
JP2014067320A (ja) ステレオカメラ装置
JP2017211765A (ja) 物体認識装置
Rosebrock et al. Real-time vehicle detection with a single camera using shadow segmentation and temporal verification
JP2015215661A (ja) 認識装置
CN109284665B (zh) 用于减少对象识别方法的检测候选者数量的方法和装置
WO2023068034A1 (ja) 画像処理装置
KR102327342B1 (ko) 차량용 카메라 보정 장치
JPH1021411A (ja) 走行路認識装置
JP2020011675A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant