CN108885831A - 行进路检测方法及行进路检测装置 - Google Patents

行进路检测方法及行进路检测装置 Download PDF

Info

Publication number
CN108885831A
CN108885831A CN201680083901.9A CN201680083901A CN108885831A CN 108885831 A CN108885831 A CN 108885831A CN 201680083901 A CN201680083901 A CN 201680083901A CN 108885831 A CN108885831 A CN 108885831A
Authority
CN
China
Prior art keywords
traveling
traveling road
circle
road
point group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680083901.9A
Other languages
English (en)
Other versions
CN108885831B (zh
Inventor
土谷千加夫
佐野泰仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN108885831A publication Critical patent/CN108885831A/zh
Application granted granted Critical
Publication of CN108885831B publication Critical patent/CN108885831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

行进路检测方法及行进路检测装置，行进路检测方法使基于车辆上搭载的目标物检测传感器检测到的多个行进路特征点的连续性而提取的平行的多个行进路边界点群重合，基于重合的多个行进路边界点群中包含的行进路特征点推定行进路形状，基于平行的多个行进路边界点群的横向位置和行进路形状决定行进路边界。

Description

行进路检测方法及行进路检测装置
技术领域
本发明涉及行进路检测方法及行进路检测装置。
背景技术
目前，已知有由路面的图像检测行驶车道的装置(专利文献1)。在专利文献1中，首先，相对于倒投影在路面座标上的多个边缘点，制成水平方向的边缘直方图。而且，求出边缘直方图的峰值位置，提取有助于峰值位置的边缘组并将其作为一个组，从而检测车道标记。
专利文献1：(日本)特开2005－100000号公报
但是，由于越靠路肩，污染物越多，故而被检测到的边缘点的数量变少，或者随着远离车辆，被检测到的边缘点的数量越少。因此，在专利文献1的装置中，在行进路上平行地描绘的车道标记会以不平行的状态被推定。
发明内容
本发明是鉴于上述课题而设立的，其目的在于提供一种能够稳定地检测行进路边界的形状的行进路检测方法及行进路检测装置。
本发明一方面的行进路检测方法，使基于车辆上搭载的目标物检测传感器检测到的多个行进路特征点的连续性而提取的平行的多个行进路边界点群重合，基于重合的多个行进路边界点群中包含的行进路特征点推定行进路形状，基于平行的多个行进路边界点群的横向位置和行进路形状决定行进路边界。
根据本发明，能够将属于相对于其他的行进路不平行的分支路等的行进路特征点排除来推定行进路形状。因此，能够稳定地检测行进路边界的形状。
附图说明
图1是表示第一实施方式的行进路检测装置l的构成的框图；
图2是表示使用了图1所示的行进路检测装置1的行进路检测方法之一例的流程图；
图3A是表示车辆51在平缓右转弯的双车道道路中的左侧车道行驶的样子的俯瞰图；
图3B(a)是表示由图3A的第一周边地图生成的第二周边地图之一例的俯瞰图，图3B(b)是表示由图3B(a)的第二周边地图生成的直方图之一例的曲线图；
图4A是表示与平行的多个行进路边界点群的各个拟合的五个道路模型函数(KK0、KK1、KK2、KK3、KK4)和各行进路边界点群中包含的行进路特征点FP的俯瞰图；
图4B是表示使平行的多个行进路边界点群中包含的行进路特征点FP重合的状态的俯瞰图；
图5A是表示基于重合的多个行进路边界点群中包含的行进路特征点FP推定的行进路形状BC的俯瞰图；
图5B是表示分别移动了道路模型函数(KK0～KK4)的y轴方向的偏移量(横向位置：d0～d4)后的行进路形状(BC0～BC4)的俯瞰图；
图6是表示第一实施方式的变形例的行进路检测方法之一例的流程图；
图7是表示在上次处理循环中求得的行进路边界(SK1、SK2、SK3、SK4)的俯瞰图；
图8是表示第二实施方式的行进路检测装置2的构成的框图；
图9A表示图8的摄像头34′拍摄到的图像52之一例；
图9B是表示向俯瞰座标上的位置转换的行进路特征点FP的俯瞰图；
图10是表示第三实施方式的行进路检测方法之一例的流程图；
图11A是表示构成主要的行进路54的行进路形状(BC1～BC3)的多个行进路特征点FP1、和属于分支路55的多个行进路特征点FP2的俯瞰图；
图11B是从图11A删除行进路特征点FP1，留下了构成分支路55的行进路形状(BC4、BC5)的多个行进路特征点FP2的状态的俯瞰图。
标记说明
1、2：行进路检测装置
10：移动量检测传感器
11：目标物检测传感器
12：行进路检测电路
22：行进路形状推定电路
23：行进路边界评价电路
51：车辆
BC0～BC5：行进路形状
FP：行进路特征点
具体实施方式
(第一实施方式)
接着，参照附图详细地说明实施方式。
参照图1说明第一实施方式的行进路检测装置1的整体构成。行进路检测装置1由车辆上搭载的传感器检测到的路面上的行进路特征点检测车辆行驶的行进路的边界。行进路检测装置1具有搭载于车辆上的目标物检测传感器11、基于车辆的移动速度及车辆的横摆率检测车辆的移动量的移动量检测传感器10、基于目标物检测传感器11检测到的多个行进路特征点及移动量检测传感器10检测到的车辆的移动量检测行进路边界的行进路检测电路12。
目标物检测传感器11检测在车辆周围的路面上标示的白线(包含车道标记)。目标物检测传感器11具有安装于车辆上的摄像头34、由摄像头34拍摄到的数字图像检测包含白线的路面标示的图像处理电路35。检测到的路面标示作为由表示其位置的多个行进路特征点构成的特征点群来表现。图像处理电路35作为行进路特征点，只要例如检测图像的明亮度敏锐地或者不连续地变化的部位(亮度边缘)即可。
移动量检测传感器10具有车轮速传感器31、横摆率传感器32、移动量检测电路33。车轮速传感器31检测车辆具有的车轮的转速。横摆率传感器32检测车辆的横摆率。移动量检测电路33由车轮的转速及车辆的横摆率检测规定时间内的车辆的移动量。车辆的移动量例如包含车辆的移动方向及移动距离。
行进路检测电路12可使用具有CPU(中央处理装置)、存储器及输入输出部的微型计算机实现。将用于使微型计算机作为行进路检测电路12起作用的计算机程序(行进路检测程序)安装在微型计算机中并执行。由此，微型计算机作为行进路检测电路12起作用。另外，在此，表示了由软件实现行进路检测电路12的例子，但显然也能够准备用于执行以下所示的各信息处理的专用硬件而构成行进路检测电路12。另外，也可以通过个别的硬件构成行进路检测电路12中包含的多个电路(21、24、25)。进而，不仅行进路检测电路12，图像处理电路35及移动量检测电路33各个也同样地可作为软件或专用的硬件而实现。另外，行进路检测电路12也可以兼用作与车辆相关的其他控制使用的电子控制单元(ECU)。
行进路检测电路12包含周边地图生成电路21、行进路形状推定电路22及行进路边界评价电路23。周边地图生成电路21生成由特征点群构成的车辆周围的地图(第一周边地图)，该特征点群基于检测到特征点群的时刻间的车辆的移动量结合了由目标物检测传感器11检测到的特征点群的履历。换言之，周边地图生成电路21考虑车辆的移动量而结合了在不同时刻观测到的行进路特征点。由此，累积行进路特征点的检测履历而生成第一周边地图。
具体地，摄像头34每隔规定时间对车辆周围的路面进行拍摄。移动量检测传感器10检测该规定时间内的车辆的移动方向及移动距离。周边地图生成电路21使行进路特征点的位置向车辆的移动方向的反方向移动车辆的移动距离。周边地图生成电路21反复进行该操作，考虑车辆的移动量而结合在不同时刻观测到的多个行进路特征点，由此，累积多个行进路特征点的检测履历而生成第一周边地图。
如图3A所示，车辆51在平缓右转弯的双车道道路中的左侧车道行驶。在图3A中表示定义该双车道道路的三个行进路边界(SKa、SKb、SKc)。周边地图生成电路21生成的第一周边地图包含沿着三个行进路边界(SKa、SKb、SKc)检测到的特征点群(未图示)。另外，在实施方式中，使用将车辆51的位置设为原点，将车辆51的行进方向设为x轴，将车辆51的车宽方向设为y轴的平面坐标。
行进路形状推定电路22基于第一周边地图中包含的多个行进路特征点的连续性提取行进路边界点群。而且，在提取出平行的多个行进路边界点群的情况下，行进路形状推定电路22使平行的多个行进路边界点群重合，基于重合的多个行进路边界点群中包含的行进路特征点来推定行进路形状。以下，对行进路形状推定电路22的处理动作进行详细地说明。
行进路形状推定电路22通过车宽方向(y轴方向)的座标的频次来判定多个行进路特征点的连续性。例如，行进路形状推定电路22将车辆51的位置设为原点，将车辆51的车宽方向设为y轴，将与y轴正交的轴设为时间轴(t轴)，不考虑车辆51的移动量，制成第二周边地图。行进路形状推定电路22如图3B(a)所示，基于该检测时刻(t)及车宽方向的位置(y座标)，在第二周边地图上描绘图3A所示的第一周边地图中包含的多个行进路特征点FP。
如图3A所示，若车辆51沿着行进路行驶，则如图3B(a)的第二周边地图所示，相对于时间轴(t轴)不考虑车辆51的移动量，故而行进路特征点FP在车宽方向上的位置(y座标)大致一定。因此，与道路形状(平缓的右转弯)无关地，行进路特征点FP成为沿着与t轴平行的直线的图样。
行进路形状推定电路22将第二周边地图上的行进路特征点FP如图3B(b)所示地投影在沿着y轴的一次元直方图上。行进路形状推定电路22能够由直方图判定多个行进路特征点的连续性。
行进路形状推定电路22检测直方图的峰值(y座标)，通过对每个峰值将第二周边地图上的行进路特征点FP分组而提取行进路边界点群。另外，通过在第二周边地图上将行进路特征点FP分组，与将第一周边地图上的行进路特征点FP分组相比，能够容易地将行进路特征点FP分组。被分组后的多个行进路特征点FP构成一个行进路边界点群。另外，通过进行使用了直方图的分组，行进路形状推定电路22能够同时提取平行的多个行进路边界点群。或者，行进路形状推定电路22能够代替使用直方图，通过使用已知的方法以曲线近似行进路特征点FP，能够相对于边界点群拟合多个曲线。而且，行进路形状推定电路22能够判断拟合的多个曲线是否为平行线。
接着，行进路形状推定电路22在第一周边地图上，相对于各行进路边界点群拟合由道路模型函数表现的曲线。道路模型函数例如为三次函数(y＝ax3+bx2+cx+d)。该情况下，行进路形状推定电路22算出系数a、b、c及d。在此，也可以使用基于最小二乘法的函数拟合，但在进一步要求稳定性的情况下，也可以使用RANSAC(Random sample consensus)等抗差推定。
行进路形状推定电路22判断是否提取了平行的多个行进路边界点群。具体地，行进路形状推定电路22判断为拟合了系数a、b及c大致一致且系数d不同的道路模型函数的多个行进路边界点群相互平行。或者，也可以判断在直方图上是否能检测到两个以上的峰值。
图4A所示的俯瞰图表示与平行的多个行进路边界点群的各个拟合的五个道路模型函数(KK0、KK1、KK2、KK3、KK4)和行进路边界点群中包含的行进路特微点FP。五个道路模型函数(KK0～KK4)如下。
KK0:y＝ax3+bx2+cx+d0
KK1:y＝ax3+bx2+cx+d1
KK2:y＝ax3+bx2+cx+d2
KK3:y＝ax3+bx2+cx+d3
KK4:y＝ax3+bx2+cx+d4
在五个道路模型函数(KK0～KK4)中，系数a、b及c一致，且系数d不同。在以本车为原点的xy座标系中，各道路模型函数的常量项d0、d1、d2、d3、d4相当于道路模型函数的y轴方向的偏移量(横向位置)。换言之，表示了平行的多个行进路边界点群间的横向位置关系，另外，表示了平行的多个行进路边界点群间的相对位置关系。另外，表示了由道路模型函数(KK0～KK4)求出y轴方向的偏移量(横向位置)的例子，但也能够将沿着图3B(b)的y轴的一维直方图的y轴的SKa、SKb、SKc点的座标设为行进路边界点群的偏移量(横向位置)。因此，能够省去各行进路边界点群的道路模型函数的运算。
接着，在提取出平行的多个行进路边界点群的情况下，行进路形状推定电路22如图4B所示，使平行的多个行进路边界点群中包含的行进路特征点FP向相反方向移动与拟合的道路模型函数(KK0～KK4)的y轴方向的偏移量(d0、d1、d2、d3、d4)相同的量。由此，行进路形状推定电路22能够使平行的多个行进路边界点群中包含的行进路特征点FP重合。另外，使行进路特征点FP重合的位置既可以是y轴的零点，也可以使其他的行进路边界点群移动而与平行的多个行进路边界点群的任一个行进路边界点群重合。
行进路形状推定电路22在第一周边地图，如图5A所示，基于重合的多个行进路边界点群中包含的行进路特征点FP推定行进路形状BC。具体地，相对于重合的多个行进路边界点群拟合道路模型函数。在道路模型函数为三次函数(y＝ax3+bx2+cx+d)的情况下，行进路形状推定电路22算出系数a、b、c及d。行进路形状BC由道路模型函数来表现。
行进路边界评价电路23基于平行的多个行进路边界点群的横向位置(偏移量)和行进路形状BC来决定行进路边界。具体地，行进路边界评价电路23如图5B所示，使行进路形状BC分别移动道路模型函数(KK0～KK4)的y轴方向的偏移量(横向位置：d0～d4)。换言之，基于行进路形状BC和各行进路边界点群在车宽方向的位置(y座标)，以行进路形状BC将各行进路边界的位置复原。
行进路边界评价电路23基于各行进路边界点群中包含的行进路特征点相对于行进路形状(BC0、BC1、BC2、BC3、BC4)的吻合度，决定行进路边界。行进路边界评价电路23将距行进路形状(BC0、BC1、BC2、BC3、BC4)的距离比基准值小的行进路特征点的数量作为上述的吻合度进行计数。行进路边界评价电路23在计数的行进路特征点的数量比规定值少时，判断为吻合度低，在行进路特征点的数量为规定值以上时，判断为吻合度高。而且，将判断为吻合度低的行进路形状(BC0)作为从误检测的行进路特征点(FPf1、FPf12)提取的行进路形状而舍弃掉。另一方面，行进路边界评价电路23将判断为吻合度高的行进路形状(BC1、BC2、BC3、BC4)决定为行进路边界，作为行进路检测结果，将由决定的行进路边界构成的行进路位置信息输出。
接着，参照图2的流程图对使用了图1所示的行进路检测装置1的行进路检测方法之一例进行说明。在此，说明图1所示的行进路检测装置1中的行进路检测电路12的动作顺序。图2所示的处理以规定周期反复进行。
首先，在步骤S01中，如参照图3A、图3B(a)及图3B(b)说明地，行进路检测电路12基于多个行进路特征点FP的连续性提取行进路边界点群。
详细地，首先，周边地图生成电路21考虑车辆的移动量而结合在不同时刻观测到的行进路特征点FP。由此，累积行进路特征点FP的检测履历而生成第一周边地图。而且，行进路形状推定电路22基于第一周边地图中包含的多个行进路特征点的连续性提取行进路边界点群。行进路形状推定电路22检测图3B(b)的直方图的峰值(y座标)，通过对每个峰值，将图3B(a)的第二周边地图上的行进路特征点FP分组，从而提取行进路边界点群。另外，行进路形状推定电路22相对于提取的各行进路边界点群拟合由道路模型函数表现的曲线。例如，算出三次函数(y＝ax3+bx2+cx+d)的系数a、b、c及d。
进入步骤S02，行进路形状推定电路22判断在步骤S01中是否提取出平行的多个行进路边界点群。例如，若在沿着y轴的一维直方图中同时发现两个以上峰值，则能够判断为提取出平行的多个行进路边界点群。或者，行进路形状推定电路22也可以在具有系数a、b及c大致一致且系数d不同的道路模型函数时，判断为提取出平行的多个行进路边界点群。
在步骤S02为“是”的情况下，由于能够进行平行的多个行进路边界点群的重合处理，故而进入步骤S03，在步骤S02为“否”的情况下，由于不能进行重合处理，故而进入步骤S06。
在步骤S03中，行进路形状推定电路22如图4B所示地，使平行的多个行进路边界点群中包含的行进路特征点FP向相反方向移动与拟合的道路模型函数(KK0～KK4)的y轴方向的偏移量(d0～d4)相同的量。由此，行进路形状推定电路22能够使平行的多个行进路边界点群重合。
在步骤S04中，行进路形状推定电路22相对于重合的多个行进路边界点群拟合道路模型函数。由此，行进路形状推定电路22如图5A所示地，能够基于重合的多个行进路边界点群中包含的行进路特征点FP推定行进路形状BC。
在步骤S05中，行进路边界评价电路23如图5B所示，使行进路形状BC分别移动道路模型函数(KK0～KK4)的y轴方向的偏移量(横向位置：d0～d4)。由此，行进路边界评价电路23能够基于各行进路边界点群的车宽方向的位置(y座标)将各行进路边界的位置复原。
在步骤S06中，行进路边界评价电路23基于各行进路边界点群中包含的行进路特征点FP相对于行进路形状(BC0～BC4)的吻合度，决定行进路边界。具体地，首先，行进路边界评价电路23算出行进路特征点FP相对于行进路形状(BC0～BC4)的吻合度。而且，行进路边界评价电路23将判断为吻合度比规定值低的行进路形状(BC0)作为从误检测的行进路特征点(FPf1、FPf2)提取的行进路形状而舍弃掉。另一方面，行进路边界评价电路23将判断为吻合度为规定值以上的行进路形状(BC1～BC4)决定为行进路边界，作为行进路检测结果，将由决定的行进路边界构成的行进路位置信息输出。
另外，在未提取出平行的多个行进路边界点群的情况下(在S02为“否”)，代替在S05中被复原的行进路形状(BC0～BC4)，在S01算出行进路特征点FP相对于拟合的道路模型函数的吻合度即可。
(第一实施方式的变形例)
图1所示的行进路检测装置1也可以在步骤S01所示的行进路边界点群的提取处理中，由在前次处理循环求出的行进路边界构成初步的车道组，提取行进路边界点群。
参照图6的流程图说明第一实施方式的变形例的行进路检测方法之一例。在此，对行进路检测装置1中的行进路检测电路12的动作顺序进行说明。以规定周期反复进行图2所示的处理。代替图2的步骤S01执行步骤S10及步骤S20。除此之外的步骤S03～06与图2相同，省略说明。
在步骤S10中，行进路形状推定电路22使用在上次处理循环中求出的行进路边界构成初步的车道组。具体地，如图7所示，在上次的处理循环中，对求出四条行进路边界(SK1、SK2、SK3、SK4)的情况进行说明。
SK1：y＝a'x3+b'x2+c'x+d'1
SK2：y＝a'x3+b'x2+c'x+d'2
SK3：y＝a'x3+b'x2+c'x+d'3
SK4：y＝a'x3+b'x2+c'x+d'4
在四条行进路边界(SK1～SK4)中，系数a'、b'及c'一致且偏移量(y轴截距:d'0～d'4)不同。行进路形状推定电路22由四条行进路边界(KK1～KK4)求出平均的行进路宽度(w)。即，分别求出相邻的行进路边界间的距离(行进路宽度)，并求出其平均值(w)。而且，行进路形状推定电路22在四条行进路边界(KK1～KK4)的两侧分别添加具有行进路宽度(w)的新的行进路边界(SKw、SK－w)。行进路形状推定电路22，共计构成六条行进路边界(KK1～KK4、SKw、SK－w)作为初步的车道组。
另外，在变形例中，对使用在前次处理循环中求出的行进路边界构成初步的车道组的例子进行说明，但不限于此，例如也可以根据地图信息的车道组信息构成初步的车道组。
进入步骤S20，行进路形状推定电路22通过基于与初步的车道组的吻合度将行进路特征点FP分组而提取行进路边界点群。行进路形状推定电路22求出行进路特征点FP与构成初步的车道组的各行进路边界(KK1～KK4、SKw、SK－w)的距离，将行进路特征点FP分配给距离最小的的行进路边界(KK1～KK4、SKw、SK－w)。而且，对分配给同一行进路边界的行进路特征点进行分组，并作为一个行进路边界点群提取。
在此，将行进路特征点FP的座标设为(xi、yi)，将行进路边界设为y＝a'x3+b'x2+c'x+d'的话，行进路特征点FP与行进路边界的距离可作为yi－(a'x3+b'x2+c'x+d')的绝对值而得到。在该时刻将任何行进路特征点FP均不构成的行进路边界舍弃掉。
而且，与第一实施方式的步骤S01同样，行进路形状推定电路22相对于分配给同一行进路边界(KK1～KK4、SKw、SK－w)的特征点群，拟合三次函数，由得到的常数项(d)求出行进路边界相对于座标系原点的偏移量。
如以上说明地，根据第一实施方式及其变形例，可得到以下的作用效果。
行进路形状推定电路22基于重合的多个行进路边界点群中包含的行进路特征点FP推定行进路形状(BC0～BC4)，行进路边界评价电路23基于平行的多个行进路边界点群的横向位置(d0～d4)和行进路形状(BC0～BC4)，决定行进路边界。由此，能够将属于相对于其他行进路不平行的分支路等的行进路特征点排除而推定行进路形状。因此，在当前的观测中能够稳定地推定主要的行进路的形状，可得到行进路整体的车道数及车道宽度的信息。
第一周边地图中包含的多个行进路特征点是在不同时刻被检测，且考虑车辆的移动量而结合的行进路特征点。由此，与仅由在一时刻检测到的行进路特征点判断行进路形状的情况相比，能够以更高的精度推定行进路形状。
行进路边界评价电路23基于各行进路边界点群中包含的行进路特征点相对于行进路形状(BC0～BC4)的吻合度(确切度)决定行进路边界。由此，能够基于吻合度将误检测的行进路特徽点(FPf1、FPf2)及误推定的行进路形状舍弃掉。
(第二实施方式)
在第二实施方式中，对代替在不同时刻检测且考虑车辆的移动量而结合的行进路特征点，仅由在一时刻检测到的行进路特征点求出行进路形状及行进路边界的例子进行说明。
参照图8对第二实施方式的行进路检测装置2的构成进行说明。行进路检测装置2无需考虑车辆的移动量结合行进路特征点，生成第一周边地图，故而不具有图1的移动量检测传感器10。另外，行进路检测电路12不具有图1的周边地图生成电路21。另外，在第二实施方式中，摄像头34'以其拍摄方向朝向车辆的行进方向的路面的状态设置在车辆上。其他构成与行进路检测装置1相同。
摄像头34'安装在车辆的车室内前方，对车辆前方的路面标识进行拍摄。图9A表示摄像头34'拍摄到的图像52之一例。图像52中包含表示行进路边界的路面标识(车道标记56)。图像处理电路35将图像52的明亮度敏锐地变化或不连续变化的车道标记56的边缘部分作为行进路特征点FP进行检测。
行进路形状推定电路22如图9B所示，将检测到的行进路特征点FP在图像52上的位置向从车辆51上方看到的俯瞰座标上的位置进行变换。行进路形状推定电路22基于摄像头34'相对于路面的安装角度、即拍摄方向相对于路面所成的角度、以及摄像头34'距路面的距离，进行视点转换处理。而且，行进路形状推定电路22在图9B的俯瞰座标上，对每个行进路边界56，将行进路特征点FP分组而提取行进路特征点群。即，行进路形状推定电路22代替图3A及图3B(a)所示的第一及第二周边地图，对图9B的俯瞰座标所示的行进路特征点FP进行处理。另外，在图9B中，在摄像头34'的视角53a、53b内检测行进路特征点FP。若取得行进路特征点FP的车宽方向的座标(y座标)的频次，则相对于1帧图像中的特征点，与图3B(b)同样地，能够制成直方图。因此，行进路形状推定电路22只要由该直方图判定多个行进路特征点FP的连续性即可。
其他行进路形状推定电路22的动作及行进路边界评价电路23的动作与第一实施方式或其变形例相同，省略说明。另外，表示使用了行进路检测装置2的行进路检测方法的流程图与图2或图6相同。
这样，根据第二实施方式，与在不同时刻检测且考虑车辆的移动量而结合的行进路特征点相比，能够在更短的时间检测行进路形状及行进路边界。特别是，通过摄像头34'对在车辆51前方的路面上标识的路面标识进行拍摄，能够检测由过去的行进路特征点的检测履历不能够得到的、车辆51前方的行进路边界。
(第三实施方式)
在第三实施方式中，说明通过在检测到主要的行进路(主干道)后的再检索，检测与主要的行进路不同的行进路、例如检测分支路的例子。在此，对在第一实施方式(图2)所示的主要的行进路的检测处理之后附加分支路的再检索处理的例子进行说明，但也可以在第一实施方式的变形例(图6)或第二实施方式之后实施。
参照图10的流程图对第三实施方式的行进路检测方法之一例进行说明。在此，对行进路检测装置1中的行进路检测电路12的动作顺序进行说明。图10所示的处理以规定周期反复进行。
步骤S01～步骤S06与第一实施例相同，省略说明。
在步骤S06之后进入步骤S30，行进路检测电路12在步骤S06中判断是否具有基准值以上的吻合度的行进路形状。即，判断是否具有由于吻合度为基准值以上而判定为行进路边界的行进路形状。在检测到行进路边界的情况下(S30中为“是”)，不仅检测被检测到的主要的行进路(主干道)的行进路边界，也检测其他行进路(分支路)的行进路边界，经由步骤S31返回步骤S01。另一方面，在未检测到行进路边界的情况下(在S30为“否”)，将由至此决定的行进路边界构成的行进路位置信息输出并结束。
在步骤S31中，行进路检测电路12提取行进路特征点FP相对于行进路形状的吻合度比规定值低的行进路边界点群。例如，如图11A所示，将构成主要的行进路54的行进路形状(BC1～BC3)的多个行进路特征点FP1(吻合点群)删除，仅留下不构成主要的行进路54的行进路边界的行进路特征点FP2。
返回步骤S01，将留下的行进路特征点FP2分组并提取行进路边界点群。之后，通过再次执行步骤S02～S06，行进路检测电路12作为分支路55的行进路边界，能够检测图11B所示的行进路形状(BC4、BC5)。之后，进入步骤S31，但在图11A及图11B的例子中，仅为主干道54和分支路55这两条路线，故而检测到分支路之后，仅提取构成主干道以及分支路的行进路边界点群以外的特征点群。即，由于不构成行进路形状(BC1～BC3)的行进路特征点不留下，故而在步骤S06不检测行进路边界，在步骤S31判断为“否”。将由至此决定的主干道54及分支路55的行进路边界构成的行进路位置信息输出并结束处理循环。
如以上说明地，根据第三实施方式，提取相对于行进路形状(BC1～BC3)的吻合度比规定值低的行进路边界点群，基于吻合度比规定值低的行进路边界点群推定其他行进路形状(BC4、BC5)。由此，不仅能够推定行进路形状(主要的行进路)，也能够推定其他的行进路形状(分支路等)。
另外，对第一实施方式中使用了直方图的行进路特征点的分组处理进行了说明。显然，在第二实施方式中若取得车宽方向的座标(y座标)的频次，则相对于1帧的图像52の中的行进路特征点FP，能够制成直方图。同样地，在第三实施方式中也能够进行使用了直方图的行进路特征点的分组处理。例如，将曲线相对于属于图11B所示的分支路55的行进路特征点FP近似，使x轴与近似曲线的倾斜方向一致而进行再设定。由此，能够再次进行使用了直方图的行进路特征点FP2的分组处理。
在上述各实施方式中表示的各功能可通过一个或多个处理电路来实现。处理电路包含具有电路的处理装置等被设定程序的处理装置。处理装置还包含以执行实施方式记载的功能的方式被安排的具有特定用途的集成电路(ASIC)或现有型的电路零件那样的装置。
在实施方式中，表示了具有移动量检测传感器10及目标物检测传感器11的单机型行进路检测装置(1、2)，但行进路检测装置可作为使用了经由无线通信网的计算机网络的客户服务器模型而实现。该情况下，例如具有移动量检测传感器10及目标物检测传感器11的车辆51(客户)经由计算机网络与行进路检测装置(服务器)连接。由此，能够将具有图1或图8所示的行进路检测电路12的服务器经由计算机网络与移动量检测传感器10及目标物检测传感器11连接。该情况下，行进路检测装置主要由行进路检测电路12(服务器)构成，移动量检测传感器10及目标物检测传感器11不包含在行进路检测装置中。
以上，根据实施例对本发明的内容进行了说明，但本发明不限于上述记载，对于本领域技术人员来说，可进行各种变形及改进。

Claims (5)

1.一种行进路检测方法，使用行进路检测电路进行检测，该行进路检测电路基于车辆上搭载的目标物检测传感器检测到的多个行进路特征点检测行进路边界，其特征在于，
所述行进路检测电路基于所述多个行进路特征点的连续性提取行进路边界点群，
在提取出平行的多个行进路边界点群的情况下，使平行的所述多个行进路边界点群重合，
基于重合的多个行进路边界点群中包含的行进路特征点推定行进路形状，
基于平行的所述多个行进路边界点群的横向位置和所述行进路形状决定行进路边界。
2.如权利要求1所述的行进路检测方法，其特征在于，所述多个行进路特征点是在不同时刻检测且考虑车辆的移动量而结合的行进路特征点。
3.如权利要求1或2所述的行进路检测方法，其特征在于，所述行进路检测电路基于各行进路边界点群中包含的行进路特征点相对于所述行进路形状的吻合度来决定行进路边界。
4.如权利要求1～3中任一项所述的行进路检测方法，其特征在于，所述行进路检测电路提取行进路边界点群中包含的行进路特征点相对于所述行进路形状的吻合度比规定值低的行进路边界点群，基于所述吻合度比规定值低的行进路边界点群推定其他的行进路形状。
5.一种行进路检测装置，其特征在于，具有：
行进路形状推定电路，其基于车辆上搭载的目标物检测传感器检测到的多个行进路特征点提取行进路边界点群，在提取出平行的多个行进路边界点群的情况下，使平行的所述多个行进路边界点群重合，基于重合的多个行进路边界点群中包含的行进路特征点来推定行进路形状；
行进路边界评价电路，其基于平行的所述多个行进路边界点群的横向位置和所述行进路形状决定行进路边界。
CN201680083901.9A 2016-03-24 2016-03-24 行进路检测方法及行进路检测装置 Active CN108885831B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/059397 WO2017163367A1 (ja) 2016-03-24 2016-03-24 走路検出方法及び走路検出装置

Publications (2)

Publication Number Publication Date
CN108885831A true CN108885831A (zh) 2018-11-23
CN108885831B CN108885831B (zh) 2020-04-14

Family

ID=59900032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680083901.9A Active CN108885831B (zh) 2016-03-24 2016-03-24 行进路检测方法及行进路检测装置

Country Status (10)

Country Link
US (1) US10614321B2 (zh)
EP (1) EP3435352B1 (zh)
JP (1) JP6617828B2 (zh)
KR (1) KR20180122691A (zh)
CN (1) CN108885831B (zh)
BR (1) BR112018069472B1 (zh)
CA (1) CA3018661C (zh)
MX (1) MX2018011509A (zh)
RU (1) RU2725561C2 (zh)
WO (1) WO2017163367A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6740470B2 (ja) * 2017-05-19 2020-08-12 パイオニア株式会社 測定装置、測定方法およびプログラム
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
US11023746B2 (en) 2019-01-02 2021-06-01 Here Global B.V. Lane count estimation
WO2020240274A1 (en) * 2019-05-28 2020-12-03 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
US11932245B2 (en) * 2020-09-01 2024-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for improving path selection for automated driving
JP7556406B2 (ja) 2020-12-03 2024-09-26 日本電気株式会社 ライン位置推定装置、方法およびプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
US20050270374A1 (en) * 2004-06-02 2005-12-08 Toyota Jidosha Kabushiki Kaisha Lane boundary detector
CN1836267A (zh) * 2003-09-24 2006-09-20 爱信精机株式会社 路面行驶车道检测装置
JP2006350571A (ja) * 2005-06-14 2006-12-28 Toyota Motor Corp 道路区画線検出装置
JP2007241468A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車線変更検出装置
US20090041337A1 (en) * 2007-08-07 2009-02-12 Kabushiki Kaisha Toshiba Image processing apparatus and method
CN102184535A (zh) * 2011-04-14 2011-09-14 西北工业大学 一种车辆所在车道边界检测方法
JP2012022574A (ja) * 2010-07-15 2012-02-02 Fuji Heavy Ind Ltd 車両用白線認識装置
CN103098111A (zh) * 2010-09-24 2013-05-08 丰田自动车株式会社 行驶道路推定装置及程序
JP5568029B2 (ja) * 2011-02-09 2014-08-06 富士重工業株式会社 車両用白線認識装置
US9245188B2 (en) * 2013-12-11 2016-01-26 Hanwha Techwin Co., Ltd. Lane detection system and method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
US5991427A (en) * 1996-07-31 1999-11-23 Aisin Seiki Kabushiki Kaisha Method and apparatus for detecting a lane on a road
JP3584194B2 (ja) 2000-02-22 2004-11-04 株式会社ホンダエレシス 白線検出方法および白線検出装置
JP4551018B2 (ja) * 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
JP3603836B2 (ja) * 2001-11-20 2004-12-22 日産自動車株式会社 道路白線認識装置
JP2004200351A (ja) * 2002-12-18 2004-07-15 Hitachi Ltd 露光装置及び露光方法
JP3956926B2 (ja) * 2003-09-24 2007-08-08 アイシン精機株式会社 路面走行レーン検出装置
JP4616046B2 (ja) * 2005-03-22 2011-01-19 本田技研工業株式会社 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
JP4965991B2 (ja) * 2006-01-10 2012-07-04 株式会社リコー カラー画像形成装置
US7916935B2 (en) * 2006-09-19 2011-03-29 Wisconsin Alumni Research Foundation Systems and methods for automatically determining 3-dimensional object information and for controlling a process based on automatically-determined 3-dimensional object information
JP5363921B2 (ja) * 2009-08-31 2013-12-11 富士重工業株式会社 車両用白線認識装置
JP5035371B2 (ja) * 2010-03-15 2012-09-26 アイシン精機株式会社 横断歩道検出装置、横断歩道検出システム，横断歩道検出方法及びプログラム
US20120022739A1 (en) * 2010-07-20 2012-01-26 Gm Global Technology Operations, Inc. Robust vehicular lateral control with front and rear cameras
US9098751B2 (en) * 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
MX2014000649A (es) * 2011-08-02 2014-04-30 Nissan Motor Dispositivo de asistencia de manejo y metodo de asistencia de manejo.
MX2014000652A (es) * 2011-08-02 2014-04-30 Nissan Motor Dispositivo de deteccion de objeto solido y metodo de deteccion de objeto solido.
RU2544775C1 (ru) * 2011-09-12 2015-03-20 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов
RU2571871C2 (ru) * 2012-12-06 2015-12-27 Александр ГУРЕВИЧ Способ определения границ дороги, формы и положения объектов, находящихся на дороге, и устройство для его выполнения
JP6259239B2 (ja) 2013-09-27 2018-01-10 株式会社Ｓｕｂａｒｕ 車両用白線認識装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
CN1836267A (zh) * 2003-09-24 2006-09-20 爱信精机株式会社 路面行驶车道检测装置
US20050270374A1 (en) * 2004-06-02 2005-12-08 Toyota Jidosha Kabushiki Kaisha Lane boundary detector
JP2006350571A (ja) * 2005-06-14 2006-12-28 Toyota Motor Corp 道路区画線検出装置
JP2007241468A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車線変更検出装置
US20090041337A1 (en) * 2007-08-07 2009-02-12 Kabushiki Kaisha Toshiba Image processing apparatus and method
JP2012022574A (ja) * 2010-07-15 2012-02-02 Fuji Heavy Ind Ltd 車両用白線認識装置
CN103098111A (zh) * 2010-09-24 2013-05-08 丰田自动车株式会社 行驶道路推定装置及程序
JP5568029B2 (ja) * 2011-02-09 2014-08-06 富士重工業株式会社 車両用白線認識装置
CN102184535A (zh) * 2011-04-14 2011-09-14 西北工业大学 一种车辆所在车道边界检测方法
US9245188B2 (en) * 2013-12-11 2016-01-26 Hanwha Techwin Co., Ltd. Lane detection system and method

Also Published As

Publication number Publication date
CA3018661C (en) 2020-06-09
US20190095723A1 (en) 2019-03-28
JPWO2017163367A1 (ja) 2019-02-14
EP3435352B1 (en) 2021-11-17
RU2018137203A3 (zh) 2020-04-24
MX2018011509A (es) 2019-01-10
WO2017163367A1 (ja) 2017-09-28
BR112018069472B1 (pt) 2023-12-19
JP6617828B2 (ja) 2019-12-18
CN108885831B (zh) 2020-04-14
KR20180122691A (ko) 2018-11-13
RU2725561C2 (ru) 2020-07-02
CA3018661A1 (en) 2017-09-28
RU2018137203A (ru) 2020-04-24
EP3435352A1 (en) 2019-01-30
US10614321B2 (en) 2020-04-07
BR112018069472A2 (pt) 2019-02-12
EP3435352A4 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
CN108885831A (zh) 行进路检测方法及行进路检测装置
CN106056570B (zh) 路面坡度检测装置
CN113421289B (zh) 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN102208012B (zh) 风景匹配参考数据生成系统及位置测量系统
Zhou et al. A fast and accurate segmentation method for ordered LiDAR point cloud of large-scale scenes
CN108256411A (zh) 由摄像机图像车辆定位的方法和系统
EP2372611A2 (en) Scene matching reference data generation system and position measurement system
CN106030680B (zh) 自身位置计算装置以及自身位置计算方法
CN104732196B (zh) 车辆检测方法及系统
CN106978774A (zh) 一种路面坑槽自动检测方法
CN107247926B (zh) 一种人体检测方法及装置
CN104156932A (zh) 一种基于光流场聚类的运动目标分割方法
CN109074741A (zh) 行进路检测方法及行进路检测装置
CN111149131A (zh) 区划线识别装置
CN108225334A (zh) 一种基于三维实景数据的定位方法及装置
CN107239743A (zh) 一种基于投影法的刻度线读数自动检测方法
JP6456244B2 (ja) カメラキャリブレーション方法および装置
CN106339683A (zh) 一种路考红绿灯识别方法及装置
CN106845535A (zh) 基于点云的典型零部件识别方法
CN109344677B (zh) 识别立体物的方法、装置、车辆和存储介质
CN115619873A (zh) 一种基于轨迹溯源的雷视自动标定方法
CN107851391A (zh) 台阶检测装置及台阶检测方法
CN114742876A (zh) 一种土地视觉立体测量方法
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
Nyaruhuma et al. Evidence of walls in oblique images for automatic verification of buildings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant