CN105022985B - 车道识别装置 - Google Patents

车道识别装置 Download PDF

Info

Publication number
CN105022985B
CN105022985B CN201510121902.5A CN201510121902A CN105022985B CN 105022985 B CN105022985 B CN 105022985B CN 201510121902 A CN201510121902 A CN 201510121902A CN 105022985 B CN105022985 B CN 105022985B
Authority
CN
China
Prior art keywords
demarcation
line
candidate item
marginal point
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510121902.5A
Other languages
English (en)
Other versions
CN105022985A (zh
Inventor
森直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN105022985A publication Critical patent/CN105022985A/zh
Application granted granted Critical
Publication of CN105022985B publication Critical patent/CN105022985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种车道识别装置，其具有分界线候选项识别部和分界线候选项修正部。分界线候选项识别部根据摄像头的拍摄图像中具有规定连续性的边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项。分界线候选项修正部在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别。

Description

车道识别装置
技术领域
本发明涉及一种根据摄像头的拍摄图像来识别车道(lane)的车道识别装置。
背景技术
现有技术中，人们公知一种车道识别装置，其从由车载摄像头拍摄得到的车辆前方的道路的图像中，检测出设置在道路上的用于划分行驶车道的白线等行车线标识(lanemark)，识别车道的边界。
对于现有技术中的车道识别装置，在自车道与分岔道路的分岔部分处未划设有自车道的行车线标识时，有可能误将分岔车道的行车线标识识别为自车道的行车线标识，分岔车道的识别精度较低。
发明内容
鉴于上述情况，提出了本发明，本发明的目的在于提供一种车道识别装置，该车道识别装置即使在自车道与分岔车道的分岔部分处未划设有自车道的行车线标识时，也能够适当地识别出自车道的分界位置。
本发明的车道识别装置具有：边缘点提取部，其从安装在车辆上的摄像头所拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；分界线候选项识别部，其根据具有规定连续性的所述边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项；分界线候选项修正部，其在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别。
在本发明的车道识别装置中，由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时(判断为不平行时)，所述车辆行驶的自车道的行车线标识中断，识别出分岔车道的行车线标识的可能性较高。因而，此时，所述分界线候选项修正部将与真实空间中的远方位置相对应的边缘点除外而再次对分界线候选项进行识别。
由此，能够将从随着到所述车辆的距离变长而远离自车道分界线的分岔车道的行车线标识的图像部分中提取出的边缘点除外，从而能够根据从所述车辆附近的自车道的行车线标识中提取出的边缘点来识别分界线候选项。因此，即使在自车道与分岔车道的分岔部分处未划设有自车道的行车线标识时，也能够适当地识别出自车道分界线的位置。
另外，本发明可以采用如下结构：所述车道识别装置具有边缘点信息存储部，所述边缘点信息存储部存储被所述分界线候选项修正部除外的边缘点的信息，在识别出的左右一对分界线候选项的平行度从处于所述规定水平以下的状态变为超过所述规定水平的状态时，所述分界线候选项识别部在下一次的识别分界线候选项的处理中，利用所述边缘点信息存储部所存储的边缘点的信息，对所述一对分界线候选项进行识别。
采用该结构，由于所述车辆的摇晃等的影响而使所述分界线候选项提取处理中提取出的左右一对分界线候选项的平行度暂时在规定水平以下时，当所述车辆的摇晃等得到控制时，能够利用所述除外边缘点存储部所存储的信息，快速地对所述左右一对分界线候选项进行识别。
另外，本发明可以采用如下结构：所述分界线候选项修正部在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，当与未被除外的边缘点序列具有规定连续性、真实空间中的对应位置到所述摄像头的距离在所述规定距离以上的边缘点序列被提取出来时，连接这两个边缘点序列来识别分界线候选项。
采用该结构，通过连接与所述车辆附近的位置相对应的边缘点序列和与所述车辆远方的位置相对应的边缘点序列这两个边缘点序列，能够提高分界线候选项的识别精度。
另外，本发明可以采用如下结构：所述车道识别装置具有转向控制部，所述转向控制部控制所述车辆的转向机构，使所述车辆在由所述分界线候选项识别部识别出的左右一对分界线候选项的中间位置附近行驶。
采用该结构，当所述车辆在自车道与分岔车道的分岔部分行驶时，由于由所述转向控制部控制所述转向机构，使所述车辆在由所述分界线候选项识别部识别出的左右一对分界线候选项的中间位置附近行驶，因而能够避免所述车辆偏向分岔车道侧。
另外，本发明可以采用如下结构：所述分界线候选项修正部针对分别与所述车辆之间具有一定距离的多个部分(位置)，对左右一对分界线候选项的平行度进行判断，其中，将左右一对分界线候选项的平行度在所述规定水平以下的相应部分与所述车辆之间的距离作为所述规定距离。
采用该结构，针对分别与所述车辆之间具有一定距离的多个部分，对左右一对分界线候选项的平行度进行判断，能够防止在平行度判断的间隔较长时，在像道路的分岔部分那样的平行度突然发生变化的部分，算出错误的平行度。
本发明的车辆具有：摄像头，其对车辆周围进行拍摄；边缘点提取部，其从所述摄像头所拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；分界线候选项识别部，其根据具有规定连续性的所述边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项；分界线候选项修正部，其在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别。
采用本发明的车辆，能够获得与上述本发明的车道识别装置相同的作用及效果。
本发明的车道识别方法包括如下工序：边缘点提取工序，即，从安装在车辆上的摄像头所拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；分界线候选项识别工序，即，根据具有规定连续性的所述边缘点，识别出分界线候选项，该分界线候选项是划分车道的左右一对分界线的候选项；分界线候选项修正工序，即，在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别；除外边缘点信息存储工序，即，存储所述分界线候选项识别工序中被除外的边缘点的信息；恢复平行工序，即，在所述分界线候选项识别工序中识别出的左右一对分界线候选项的平行度从处于所述规定水平以下的状态变为超过所述规定水平的状态时，在下一次的分界线候选项识别工序中，利用所述边缘点信息存储工序中存储的边缘点的信息，对所述一对分界线候选项进行识别。
通过将本发明的车道识别方法在所适用的车辆中实施，能够获得与上述本发明的车道识别装置相同的作用及效果。
附图说明
图1是车道识别装置的结构图。
图2是道路特征量(曲率、曲率变化量、车辆横向位置、车道方向)的说明图。
图3是道路特征量(车道宽度、车道宽度变化量)的说明图。
图4是车道识别处理的流程图。
图5是道路特征量的推定处理的说明图。
图6是用粒子向量进行的滤波处理的说明图。
图7是道路的分岔部分的拍摄图像的说明图。
图8是真实空间中的道路的分岔部分的说明图。
【附图标记说明】
1：车辆(自车辆)；2：摄像头；7：转向装置；10：车道识别装置；11：拍摄图像获取部；12：边缘图像生成部；13：分界线候选项识别部；14：分界线候选项修正部；15：除外边缘点信息存储部；20：图像存储器；21：拍摄图像；22：边缘图像。
具体实施方式
下面，参照图1～8对本发明的车道识别装置的实施方式进行说明。
如图1所示，车道识别装置10安装在车辆1(相当于本发明的车辆)上，该车辆1具有摄像头2(彩色摄像头)、扬声器5、显示器6以及转向机构7。
车道识别装置10是由未图示的CPU、存储器、各种接口电路等构成的电路单元，其通过由CPU执行存储于存储器中的用于识别车道的程序，来发挥拍摄图像获取部11、边缘图像生成部12(兼具本发明的边缘点提取部的功能)、分界线候选项识别部13、分界线候选项修正部14、除外边缘点信息存储部15以及转向控制部16的功能。另外，由车道识别装置10实施本发明的车道识别方法。
如图2、3所示，车道识别装置10用特征向量VR(＝(RCv，RCvd，Cd，Rdr，Rw，ΔRw))来定义车辆1(自车辆)正在行驶的道路上的车道的形状，该特征向量VR的分量分别为：曲率(RCv)、曲率变化率(RCvd)、车辆横向位置(Cd)、车道倾斜角度(Rdr)、车道宽度(Rw)、车道宽度变化量(ΔRw)。
如图2所示，车道识别装置10通过由后述的分界线候选项识别部13或者分界线候选项修正部14所实施的处理，来识别车道的左侧分界线XL(表示车道的左侧分界位置的线)和右侧分界线XR(表示车道的右侧分界位置的线)。曲率(RCv)是根据左右一对分界线XL、XR而确定的车道的曲率，曲率变化率(RCv)是曲率的空间导数。
另外，车辆横向位置(Cd)是车道的中央位置Xc与车辆1之间的间隔，车道倾斜角度(Rdr)是车道相对于车辆1的行进方向(Cdr)的倾斜角度，车道宽度(Rw)是左侧分界线XL与右侧分界线XR之间的距离。
另外，如图3所示，车道宽度变化量ΔRw是车道宽度Rw1与车道宽度Rw2之间的差值，其中，车道宽度Rw1是车辆1附近的位置L1(例如到车辆1的距离为0m的地点)处的车道宽度，车道宽度Rw2是车辆1远方的位置L2(例如到车辆1的距离为30m的地点)处的车道宽度。
在车辆1所行驶的车道的左侧分界线XL和右侧分界线XR相互平行的直线道路的情况下，车道宽度变化量ΔRw大致为零。与此相对，在车辆1所行驶的车道的左侧分界线XL和右侧分界线XR不平行时，车道宽度变化量ΔRw随着平行度的变小而变大。
利用特征向量由下面的公式(1)所示的3次方程式来表示道路形状。
其中，Y表示以车辆1为原点的真实空间坐标系的垂直坐标(车辆1的行进方向)，X表示以车辆1为原点的真实空间坐标系的水平坐标，RCvd表示曲率变化率，RCv表示曲率，Rdr表示车道倾斜角度。
通过将Y(X)向车道宽度方向的左侧移动车道宽度(Rw)的一半，再向车道宽度方向的左侧移动与车辆横向位置(Cd)相对应的距离，就能够表示出左侧分界线。另外，通过将Y(X)向车道宽度方向的右侧移动车道宽度(Rw)的一半，再向车道宽度方向的左侧移动与车辆横向位置(Cd)相对应的距离，就能够表示出右侧分界线。
下面，依照图4所示流程图，说明由车道识别装置10实施的对车辆1正在行驶的道路上的车道的形状进行识别的处理。车道识别装置10每隔规定的控制周期实施图4所示的流程，识别车道的形状。
图4中的步骤1是由拍摄图像获取部11实施的处理。拍摄图像获取部11接收由摄像头2输出的车辆1周围(前方)的影像信号，根据该影像信号的彩色数据成分(颜色分量)(R值，G值，B值)而得到以R值、G值、B值作为各像素数据的彩色拍摄图像21。然后，拍摄图像获取部11将该车辆1前方的拍摄图像21的数据存储于图像存储器20。
接下来的步骤2是由边缘图像生成部12实施的处理。边缘图像生成部12进行将拍摄图像21的彩色数据成分转换为辉度数据成分的处理(灰度化处理)，生成灰度图像(多值图像)。然后，边缘图像生成部12从灰度图像中提取出边缘点(与周围部分的像素(图像部分)之间的辉度差(辉度的变化量)在规定值以上的像素)，生成边缘图像22(参照图1)。
另外，摄像头2为黑白摄像头时，由于能够由各像素的辉度而得到灰度模式的拍摄图像，因而不需要实施上述根据彩色拍摄图像而生成灰度图像的处理。此外，步骤2的提取边缘点的处理相当于本发明的车道识别方法中的边缘点提取工序。
接下来的步骤3～4是由分界线候选项识别部13实施的处理。如图5所示，分界线候选项识别部13例如从这个(这一次的)控制周期所生成的边缘图像22中，选定具有连续性的边缘点序列PL1(＝PL11，PL12，…，PLl8)，其中，设想这些点是从表示车道的左侧分界位置的左侧行车线标识中提取出来的。另外，分界线候选项识别部13选定具有连续性的边缘点序列PR1(＝PR11，PR12，…，PRl7)，其中，设想这些点是从表示车道的右侧分界位置的右侧行车线标识中提取出来的。
然后，分界线候选项识别部13用最小二乘法以2次方程式或者3次方程式来近似表征左侧的边缘点序列PL1，识别出左侧分界线候选项EL1。另外，分界线候选项识别部13除去作为除外点(噪声)的边缘点NL11、NL12、NL13，这些边缘点NL11、NL12、NL13与左侧分界线候选项EL1之间的距离在规定距离以上。
同样，分界线候选项识别部13用最小二乘法以2次方程式或者3次方程式来近似表征右侧的边缘点序列PR1(PR11，PR12，…，PRl7)，识别出右侧分界线候选项ER1。另外，分界线候选项识别部13除去作为除外点(噪声)的边缘点NR11、NR12、NR13，这些边缘点NR11、NR12、NR13与右侧分界线候选项ER1之间的距离在规定距离以上。
另外，步骤4的识别左右侧分界线候选项的处理相当于本发明的车道识别方法中的分界线候选项识别工序。
在接下来的步骤5中，分界线候选项识别部13根据左侧分界线候选项EL1和右侧分界线候选项ER1，求出这个控制周期的道路形状的特征向量VR1。然后，分界线候选项识别部13将特征向量VR1的数据存储于存储器，作为下个(下一次的)控制周期中的用边缘点序列进行滤波处理(粒子滤波处理)所使用的特征向量VR2的数据。
另外，分界线候选项识别部13将边缘点序列PR1、PL1的数据(位置数据)存储于存储器，这些数据与特征向量VR2相关，作为下个控制周期中的粒子滤波处理所使用的边缘点序列PL2(左侧分界线侧)、PR2(右侧分界线侧)的数据。
在下个控制周期以后的控制周期中，分界线候选项识别部13进行图6所示粒子滤波处理，算出道路形状的特征向量VR1。
如图6所示，分界线候选项识别部13在步骤111中，基于上个(上一次的)控制周期存储的特征向量VR2表示的道路形状和车辆1的车速等，使上个控制周期存储的边缘点序列PL2、PR2发生变化(移动)，从而算出边缘点序列PL3、PR3，即，边缘点序列PL3、PR3是变化后的边缘点序列PL2、PR2。
在接下来的步骤112中，分界线候选项识别部13根据边缘点序列PL3、PR3进行如下修正，即，从边缘点序列PL3、PR3中将规定边缘点除外，该规定边缘点是，与根据这个控制周期中的边缘点序列的观测值(这一次的观测值)PL1所识别出的左侧分界线候选项EL1或者根据这个控制周期中的边缘点序列的观测值(这一次的观测值)PL2所识别出的右侧分界线候选项ER1之间的距离在规定距离以上的边缘点。然后，在步骤113中，分界线候选项识别部13将在步骤112中被修正了的边缘点序列作为这个控制周期中的边缘点序列的预测值(这一次的预测值)PL4、PR4。
分界线候选项识别部13在步骤101中，算出如上述那样算出的这个控制周期中的边缘点序列的预测值PL4、PR4与边缘点序列的观测值PL1、PR1之间的似然度，该似然度表示预测值PL4、PR4与观测值PL1、PR1的一致程度。具体而言，分界线候选项识别部13算出规定3次方程式所示的曲线与这一次的观测值PL1、PR1所示的边缘点序列以及这一次的预测值PL4、PR4所示的边缘点序列的各边缘点之间的距离的倒数，将该倒数作为似然度，上述规定3次方程式是根据这次的观测值PL1、PR1而得到的用上述公式(1)表现的方程式。
然后，分界线候选项识别部13在步骤110中，从似然度较高的边缘点中选择规定个数的边缘点，作为下个控制周期使用的边缘点序列PL2、PR2存储于存储器。另外，分界线候选项识别部13在步骤102中，对这一次的观测值PL1、PR1所示的边缘点序列以及这一次的预测值PL4、PR4进行根据似然度的加权，在步骤103中算出特征向量VR1，将该特征向量VR1作为这个控制周期中的道路形状的推定值。
图4中的步骤6～11以及步骤30、步骤31是由分界线候选项修正部14实施的处理。在步骤6中，分界线候选项修正部14对特征向量VR1的车道宽度变化量ΔRw是否大于平行度阈值ΔRwth进行判断。在此，伴随着车道在前方的变宽、左右侧分界线的平行度变小，车道宽度变化量ΔRw变大。
分界线候选项修正部14在车道宽度变化量ΔRw大于平行度阈值ΔRwth时(左右侧分界线的平行度在规定水平以下时)，进入步骤20，将平行度变量DP加上规定值X。另外，在车道宽度变化量ΔRw在平行度阈值ΔRwth以下时，进入步骤7，分界线候选项修正部14从平行度变量DP中减去X。
在步骤8中，分界线候选项修正部14对平行度变量DP是否在0以下进行判断。在平行度变量DP大于0时(左右侧分界线不平行)，进入步骤30。
在此，图7表示由摄像头2拍摄的车辆1前方的图像Im1。Im1中包括：虚线状行车线标识的图像部分71a～74a，其规定车辆1正在行驶的自车道的左侧分界线；实线状行车线标识的图像部分51a和虚线状行车线标识的图像部分52a、53a，其规定自车道的右侧分界线；图像部分61a，其规定从自车道分岔的分岔车道的分界线。
若将图7的拍摄图像中包含的各行车线标识的图像部分转换为(各行车线标识在)真实空间中的位置，则如图8所示那样。在图8中，示出了如下部分：由图像部分71a～74a转换而来的自车道的左侧分界线L1的行车线标识71b～74b、由图像部分51a～53a转换而来的自车道的右侧分界线L2的行车线标识51b～53b、以及由图像部分61a转换而来的分岔车道的行车线标识61b。
在此，图1所示转向控制部16根据由分界线候选项修正部14算出的道路形状的特征向量VR1的信息，识别出车道的左侧分界线以及右侧分界线的位置，进行转向控制，以使车辆1在左侧分界线的位置XL与右侧分界线的位置XR之间的中央位置行驶。
因此，如图8所示，当在车辆1正在行驶于分岔部分时，误将分岔车道的行车线标识61b识别为自车道的行车线标识，将根据行车线标识61b识别出的分岔车道的分界线L3作为自车辆的右侧分界线而进行转向控制时，如Zf所示，车辆1偏离自车道的左侧分界线L1和分岔车道的分界线L3之间的中央位置。
因此，分界线候选项修正部14在步骤8中判断为平行度变量DP大于0时，在步骤30中，将远方的边缘点除外而再次对分界线候选项进行识别。在图8所示的例子中，MisT所划分的区域中未划设规定自车道的右侧分界线的行车线标识，为了将位于与MisT所划分的区域相对应的位置处的边缘点除外，而将对应的真实空间位置到车辆1的距离在EfT以上的边缘点除外。
像这样，通过将对应的真实空间位置到车辆1的距离在EfT以上的边缘点除外，基于规定自车道的右侧分界线的行车线标识在分岔之前的位置，再次对右侧分界线L2进行识别。于是，由此能够防止误将分岔车道的分界线L3识别为自车道的右侧分界线。
此时，从图6中的步骤110所选择的下个(下一次的)边缘点序列的候选项PR3、PL3中，删除在步骤30中被除外的边缘点的信息。另外，根据步骤30中再次识别出的分界线候选项，对下个控制周期中使用的特征向量VR2进行修正。
此外，步骤30的处理相当于本发明的车道识别方法中的分界线候选项修正工序。
在接下来的步骤31中，分界线候选项修正部14通过除外边缘点信息存储部15将步骤30中被除外的边缘点的信息(边缘点位置的数据)存储于存储器，之后进入步骤11，将分界线候选项的信息输出到转向装置，之后返回步骤1。另外，步骤31的处理相当于本发明的车道识别方法中的除外边缘点信息存储工序。
另外，步骤8中平行度变量DP在0以下时(左右侧分界线候选项相互平行)，进入步骤9，分界线候选项修正部14将平行度变量DP设为0。然后，在接下来的步骤10中，当存在由除外边缘点信息存储部15所存储的边缘点(步骤30中被除外的边缘点的信息)时，利用该边缘点的信息识别分界线候选项，之后进入步骤11。
此时，在图6中的步骤101、步骤110中，算出包含暂且被除外的边缘点在内的各边缘点的似然度，选择在下个控制周期中使用的边缘点。
像这样，通过利用暂且被除外的边缘点的信息，在由于车辆1的振动等的影响而暂时判定为左右侧分界线不平行时，能够在该影响消失时快速地识别出原本的自车道的分界线。
另外，在步骤10中，左右侧分界线恢复到相互平行的状态时，利用暂且被除外的边缘点再次识别分界线候选项，该处理相当于本发明的车道识别方法中的恢复平行工序。
【变形实施方式】
如图8所示，在开始对分岔部分前方的行车线标识52b进行识别之后，在判断为行车线标识52b和车辆1附近的行车线标识51b之间的连续性在规定水平以上时，可以连接行车线标识53b和行车线标识51b而识别出右侧分界线。
另外，还可以如下这样：针对分别与车辆1之间具有一定距离(例如2m)的多个部分，由分界线候选项修正部14对左右一对分界线候选项的平行度进行判断，将左右一对分界线候选项的平行度在规定水平以下的相应部分与车辆1之间的距离，作为在图4中的步骤30中判断为远方的距离EfT。

Claims (8)

1.一种车道识别装置，其特征在于，
具有：
边缘点提取部，其从安装在车辆上的摄像头所拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；
分界线候选项识别部，其根据具有规定连续性的所述边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项；
分界线候选项修正部，其在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别；
边缘点信息存储部，其存储被所述分界线候选项修正部除外的边缘点的信息，
所述分界线候选项识别部在识别出的左右一对分界线候选项的平行度从处于所述规定水平以下的状态变为超过所述规定水平的状态时，在下一次的识别分界线候选项的处理中，利用所述边缘点信息存储部所存储的边缘点的信息，对所述一对分界线候选项进行识别。
2.一种车道识别装置，其特征在于，
具有：
边缘点提取部，其从安装在车辆上的摄像头所拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；
分界线候选项识别部，其根据具有规定连续性的所述边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项；
分界线候选项修正部，其在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别，
所述分界线候选项修正部在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，当与未被除外的边缘点序列具有规定连续性、真实空间中的对应位置到所述摄像头的距离在所述规定距离以上的边缘点序列被提取出来时，连接这两个边缘点序列来识别分界线候选项。
3.根据权利要求1或2所述的车道识别装置，其特征在于，
所述分界线候选项修正部针对分别与所述车辆之间具有一定距离的多个部分，对左右一对分界线候选项的平行度进行判断，将左右一对分界线候选项的平行度在所述规定水平以下的相应部分与所述车辆之间的距离作为所述规定距离。
4.根据权利要求1或2所述的车道识别装置，其特征在于，
具有转向控制部，所述转向控制部控制所述车辆的转向机构，使所述车辆在由所述分界线候选项识别部识别出的左右一对分界线候选项的中间位置附近行驶。
5.一种车辆，其特征在于，
具有：
摄像头，其对车辆周围进行拍摄；
边缘点提取部，其从所述摄像头拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；
分界线候选项识别部，其根据具有规定连续性的所述边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项；
分界线候选项修正部，其在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别；
边缘点信息存储部，其存储被所述分界线候选项修正部除外的边缘点的信息，
所述分界线候选项识别部在识别出的左右一对分界线候选项的平行度从处于所述规定水平以下的状态变为超过所述规定水平的状态时，在下一次的识别分界线候选项的处理中，利用所述边缘点信息存储部所存储的边缘点的信息，对所述一对分界线候选项进行识别。
6.一种车道识别方法，其特征在于，
包括：
边缘点提取工序，即，从安装在车辆上的摄像头所拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；
分界线候选项识别工序，即，根据具有规定连续性的所述边缘点，识别出分界线候选项，该分界线候选项是划分车道的左右一对分界线的候选项；
分界线候选项修正工序，即，在由所述分界线候选项识别工序识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别；
除外边缘点信息存储工序，即，存储所述分界线候选项识别工序中被除外的边缘点的信息；
恢复平行工序，即，在所述分界线候选项识别工序中识别出的左右一对分界线候选项的平行度从处于所述规定水平以下的状态变为超过所述规定水平的状态时，在下一次的所述分界线候选项识别工序中，利用所述边缘点信息存储工序中存储的边缘点的信息，对所述一对分界线候选项进行识别。
7.一种车辆，其特征在于，
具有：
摄像头，其对车辆周围进行拍摄；
边缘点提取部，其从所述摄像头拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；
分界线候选项识别部，其根据具有规定连续性的所述边缘点，识别出分界线候选项，所述分界线候选项是划分车道的左右一对分界线的候选项；
分界线候选项修正部，其在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别，
所述分界线候选项修正部在由所述分界线候选项识别部识别出的左右一对分界线候选项的平行度在规定水平以下时，当与未被除外的边缘点序列具有规定连续性、真实空间中的对应位置到所述摄像头的距离在所述规定距离以上的边缘点序列被提取出来时，连接这两个边缘点序列来识别分界线候选项。
8.一种车道识别方法，其特征在于，
包括：
边缘点提取工序，即，从安装在车辆上的摄像头所拍摄的拍摄图像中，提取出与周围部分之间的辉度差在规定水平以上的边缘点；
分界线候选项识别工序，即，根据具有规定连续性的所述边缘点，识别出分界线候选项，该分界线候选项是划分车道的左右一对分界线的候选项；
分界线候选项修正工序，即，在由所述分界线候选项识别工序识别出的左右一对分界线候选项的平行度在规定水平以下时，将真实空间中的对应位置到所述摄像头的距离在规定距离以上的边缘点除外，根据未被除外的边缘点中的具有规定连续性的边缘点，再次对左右一对分界线候选项进行识别；
在识别出的左右一对分界线候选项的平行度从处于所述规定水平以下的状态变为超过所述规定水平的状态时，在下一次的识别分界线候选项的处理中，利用在所述除外边缘点信息存储工序中存储的边缘点的信息，对所述一对分界线候选项进行识别。
CN201510121902.5A 2014-04-25 2015-03-19 车道识别装置 Active CN105022985B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014090970A JP6130809B2 (ja) 2014-04-25 2014-04-25 車線認識装置
JP2014-090970 2014-04-25

Publications (2)

Publication Number Publication Date
CN105022985A CN105022985A (zh) 2015-11-04
CN105022985B true CN105022985B (zh) 2018-09-28

Family

ID=54261995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510121902.5A Active CN105022985B (zh) 2014-04-25 2015-03-19 车道识别装置

Country Status (4)

Country Link
US (1) US9690994B2 (zh)
JP (1) JP6130809B2 (zh)
CN (1) CN105022985B (zh)
DE (1) DE102015207373B4 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6087858B2 (ja) * 2014-03-24 2017-03-01 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP6441616B2 (ja) * 2014-08-29 2018-12-19 株式会社ゼンリン 位置特定装置、運転支援装置および制御プログラム
JP2018005618A (ja) * 2016-07-04 2018-01-11 株式会社Ｓｏｋｅｎ 道路認識装置
BR112019000126B1 (pt) * 2016-07-05 2023-05-16 Nissan Motor Co., Ltd Método de controle de deslocamento e dispositivo de controle de deslocamento
JP6702849B2 (ja) * 2016-12-22 2020-06-03 株式会社Ｓｏｋｅｎ 区画線認識装置
MX2020002171A (es) 2017-08-30 2020-07-14 Nissan Motor Metodo de correccion de posicion y dispositivo de correccion de error de posicion para vehiculo de conduccion asistida.
JP7053211B2 (ja) 2017-10-04 2022-04-12 株式会社Soken 運転支援装置
US10839139B2 (en) 2018-04-17 2020-11-17 Adobe Inc. Glyph aware snapping
DE102018112177A1 (de) * 2018-05-22 2019-11-28 Connaught Electronics Ltd. Fahrspurdetektion auf der Basis von Fahrspurmodellenn
US10846878B2 (en) * 2019-03-28 2020-11-24 Adobe Inc. Multi-axis equal spacing smart guides
US10832442B2 (en) * 2019-03-28 2020-11-10 Adobe Inc. Displaying smart guides for object placement based on sub-objects of reference objects
CN111353466B (zh) * 2020-03-12 2023-09-22 北京百度网讯科技有限公司 车道线识别处理方法、设备、存储介质
CN113705273A (zh) * 2020-05-20 2021-11-26 上海高德威智能交通系统有限公司 交通标志识别方法、装置及电子设备
US11932245B2 (en) * 2020-09-01 2024-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for improving path selection for automated driving
JP2022137534A (ja) * 2021-03-09 2022-09-22 本田技研工業株式会社 地図生成装置および車両位置認識装置
US11808601B2 (en) 2021-03-23 2023-11-07 Here Global B.V. System and method for updating linear traffic feature data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813370B1 (en) * 1999-09-22 2004-11-02 Fuji Jukogyo Kabushiki Kaisha Lane marker recognizing apparatus
JP2004310522A (ja) * 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN102951159A (zh) * 2012-11-07 2013-03-06 浙江吉利汽车研究院有限公司杭州分公司 车道偏离预警系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2902340B2 (ja) * 1995-12-28 1999-06-07 アルパイン株式会社 車両位置修正方法
JP4092308B2 (ja) * 2004-06-02 2008-05-28 トヨタ自動車株式会社 境界線検出装置
JP4358147B2 (ja) * 2005-04-28 2009-11-04 本田技研工業株式会社 車両及びレーンマーク認識装置
JP4616068B2 (ja) * 2005-04-28 2011-01-19 本田技研工業株式会社 車両、画像処理システム、画像処理方法及び画像処理プログラム
JP4603421B2 (ja) * 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP4408095B2 (ja) * 2005-06-03 2010-02-03 本田技研工業株式会社 車両及び路面標示認識装置
JP4185077B2 (ja) * 2005-07-15 2008-11-19 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP2007104171A (ja) * 2005-10-03 2007-04-19 Omron Corp 前方監視装置
JP4603970B2 (ja) 2005-12-15 2010-12-22 トヨタ自動車株式会社 道路区画線検出装置
JP4248558B2 (ja) 2006-03-24 2009-04-02 トヨタ自動車株式会社 道路区画線検出装置
DE102006047636A1 (de) 2006-10-09 2008-04-10 Robert Bosch Gmbh Verfahren für die Steuerung eines Fahrerassistenzsystems
JP4886597B2 (ja) * 2007-05-25 2012-02-29 アイシン・エィ・ダブリュ株式会社 レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4937030B2 (ja) * 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
JP2009041972A (ja) * 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
JP4622001B2 (ja) * 2008-05-27 2011-02-02 トヨタ自動車株式会社 道路区画線検出装置および道路区画線検出方法
JP5007840B2 (ja) * 2009-05-22 2012-08-22 トヨタ自動車株式会社 運転支援装置
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
JP5747482B2 (ja) * 2010-03-26 2015-07-15 日産自動車株式会社 車両用環境認識装置
DE102010020984A1 (de) 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
JP5603687B2 (ja) * 2010-07-15 2014-10-08 富士重工業株式会社 車両用白線認識装置
JP5594246B2 (ja) * 2011-07-20 2014-09-24 株式会社デンソー 車線認識装置
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
JP5907141B2 (ja) * 2013-10-18 2016-04-20 トヨタ自動車株式会社 車両の走行経路演算装置
US9395192B1 (en) * 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
JP6093314B2 (ja) * 2014-02-14 2017-03-08 株式会社デンソー 境界線認識装置
US10115026B2 (en) * 2014-04-04 2018-10-30 Delphi Technologies, Inc. Method for lane detection
EP3154835A1 (en) * 2014-06-10 2017-04-19 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
JP6096723B2 (ja) * 2014-07-11 2017-03-15 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP6220327B2 (ja) * 2014-07-23 2017-10-25 株式会社Ｓｏｋｅｎ 走行区画線認識装置、走行区画線認識プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813370B1 (en) * 1999-09-22 2004-11-02 Fuji Jukogyo Kabushiki Kaisha Lane marker recognizing apparatus
JP2004310522A (ja) * 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
CN102951159A (zh) * 2012-11-07 2013-03-06 浙江吉利汽车研究院有限公司杭州分公司 车道偏离预警系统

Also Published As

Publication number Publication date
DE102015207373A1 (de) 2015-10-29
US9690994B2 (en) 2017-06-27
DE102015207373B4 (de) 2024-05-29
CN105022985A (zh) 2015-11-04
JP6130809B2 (ja) 2017-05-17
JP2015210618A (ja) 2015-11-24
US20150310283A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
CN105022985B (zh) 车道识别装置
US8259174B2 (en) Camera auto-calibration by horizon estimation
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
US9424649B1 (en) Moving body position estimation device and moving body position estimation method
CN105405319B (zh) 车辆的接近物体检测装置以及车辆的接近物体检测方法
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
CN108073943A (zh) 图像数据提取装置以及图像数据提取方法
WO2015125298A1 (ja) 自己位置算出装置及び自己位置算出方法
CN106062849B (zh) 自己位置计算装置及自己位置计算方法
JP2007264714A (ja) 車線認識装置
JP6176387B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6237874B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6416712B2 (ja) ピッチ角推定装置
WO2015125300A1 (ja) 自己位置算出装置及び自己位置算出方法
Lefebvre et al. Vehicle detection and tracking using mean shift segmentation on semi-dense disparity maps
JP2017058274A (ja) 計測装置、方法及びプログラム
JP2020086545A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN104517099B (zh) 滤波装置和环境识别系统
Hultqvist et al. Detecting and positioning overtaking vehicles using 1D optical flow
KR101998027B1 (ko) 악천후에서의 도로 객체 검출 기법 학습을 위한 안개 및 비 영상 합성 기법 및 시스템
JP2006285493A (ja) 道路モデル推定装置及び道路モデル推定方法
WO2020036039A1 (ja) ステレオカメラ装置
JP6992344B2 (ja) ランドマーク選定方法及びランドマーク選定装置
Kim et al. Real-time moving object detection using a vehicle-mounted monocular rear-view fisheye camera
CN104517098B (zh) 滤波装置及环境识别系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant