CN104520894A - 路旁物检测装置 - Google Patents

路旁物检测装置 Download PDF

Info

Publication number
CN104520894A
CN104520894A CN201280073243.7A CN201280073243A CN104520894A CN 104520894 A CN104520894 A CN 104520894A CN 201280073243 A CN201280073243 A CN 201280073243A CN 104520894 A CN104520894 A CN 104520894A
Authority
CN
China
Prior art keywords
roadside
unit
thing
line segment
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280073243.7A
Other languages
English (en)
Inventor
竹前嘉修
渡边章弘
一野史也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN104520894A publication Critical patent/CN104520894A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/25—Road altitude
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)

Abstract

本发明提供一种使用多个拍摄图像来检测路旁物的路旁物检测装置，该路旁物检测装置的特征在于，具有：高度信息检测单元，其解析多个所述拍摄图像，来检测距本车辆的距离小于阈值的附近区域的拍摄对象的高度信息；高度变化检测单元，其根据所述附近区域的高度信息来检测路面因路旁物而产生的高度变化；特征点外插单元，其将检测到所述高度变化的位置决定为所述路旁物的特征点，基于道路模型将所述特征点外插于距本车辆的距离在所述阈值以上的远方区域；以及路旁物检测单元，其基于所述特征点外插单元外插所述特征点而得到的虚拟线来设定所述路旁物的搜索范围，从所述搜索范围检测所述远方区域的所述路旁物。

Description

路旁物检测装置
技术领域
本发明涉及使用多个拍摄图像来检测路旁物的路旁物检测装置。
背景技术
已知有利用由车载拍摄装置拍摄到的白线来进行防止从车道偏离等各种驾驶辅助的技术。存在检测不到白线的情况、为了提高白线的检测精度而检测路缘石、人行道台阶作为白线的线索的情况(例如参照专利文献1。)。在专利文献1中公开了一种图像识别装置，利用路缘石侧面部的长度增减和与路面平行的平行部的长度增减与距拍摄装置的距离相应地变化这一情况，来检测路缘石。
然而，在专利文献1所公开的图像识别装置中，存在难以检测距车辆较远的路缘石的问题。
图26的(a)是表示拍摄到的远方的路缘石和附近的路缘石的图的一个例子，图26的(b)是示意地表示图26的(a)的照片的图的一个例子。在车辆的左侧存在路缘石，拍摄到侧面部稍有阴影。侧面部以及与路面平行的平行部的长度越向远方越短，所以在专利文献1所记载的检测方法中，越是远方的路缘石，越难以检测。
专利文献1：日本特开2007-018037号公报
发明内容
鉴于上述课题，本发明的目的在于提供一种还能够检测远方的路缘石等路旁物的路旁物检测装置。
本发明是使用多个拍摄图像来检测路旁物的路旁物检测装置，其特征在于，具有：高度信息检测单元，其解析多个上述拍摄图像来检测距本车辆的距离小于阈值的附近区域的拍摄对象的高度信息；高度变化检测单元，其根据上述附近区域的高度信息来检测路面因路旁物而产生的高度变化；特征点外插单元，其将检测到上述高度变化的位置决定为上述路旁物的特征点，根据道路模型将上述特征点外插于距本车辆的距离在上述阈值以上的远方区域；路旁物检测单元，其基于上述特征点外插单元外插上述特征点而得到的虚拟线来设定上述路旁物的搜索范围，从上述搜索范围检测上述远方区域的上述路旁物。
能够提供一种还能够检测远方的路缘石等路旁物的路旁物检测装置。
附图说明
图1是概要地说明利用路旁物检测装置检测路旁物的图的一个例子。
图2是包括路旁物检测装置的驾驶辅助系统的概要结构图的一个例子。
图3是拍摄装置计算机的功能框图的一个例子。
图4是对路旁物检测装置的动作顺序进行说明的流程图的一个例子。
图5是滤波处理的一个例子的图。
图6是对视差的搜索进行说明的图的一个例子。
图7是表示利用等角拟合(equiangular fitting)求出子像素视差的求法的一个例子的图。
图8是对路面区域的推断进行说明的图的一个例子。
图9是对道路坐标系和平面坐标系等进行说明的图的一个例子。
图10是对阶梯差的检测进行说明的图的一个例子。
图11是对车行道参数的推断进行说明的图的一个例子。
图12是对搜索范围的设定进行说明的图的一个例子。
图13是表示边缘线段检测部检测边缘线段的步骤的流程图的一个例子。
图14是拍摄装置计算机的功能框图的一个例子(实施例2)。
图15是表示路旁物检测装置从图像检测路缘石、人行道台阶的步骤的流程图的一个例子(实施例2)。
图16是对模板匹配的处理步骤进行说明的流程图的一个例子。
图17是对模板匹配进行说明的图的一个例子。
图18是拍摄装置计算机的功能框图的一个例子(实施例3)。
图19是表示路旁物检测装置从图像检测路缘石、人行道台阶的步骤的流程图的一个例子(实施例3)。
图20是示意性地说明白线的检测的图的一个例子。
图21是对利用搜索范围设定部设定搜索范围进行说明的图的一个例子。
图22是表示边缘线段检测部检测边缘线段的步骤的流程图的一个例子。
图23是拍摄装置计算机的功能框图的一个例子(实施例4)。
图24是表示路旁物检测装置从图像检测路缘石、人行道台阶的步骤的流程图的一个例子(实施例4)。
图25是对利用搜索范围设定部设定搜索范围进行说明的图的一个例子。
图26是表示拍摄的远方的路缘石和附近的路缘石的图的一个例子(现有图)。
附图标记说明：
11…右拍摄装置；12…左拍摄装置；13…拍摄装置计算机；21…立体图像获取部；22…变形修正/平行化部；23…边缘提取部；24…视差计算部；25…路面检测部；26…路面构造推断部；27…阶梯差判断部；28…车行道参数推断部；29…搜索范围设定部；30…边缘线段检测部；32…模板匹配部；33…白线检测部；34…先行车检测部；100…白线检测装置。
具体实施方式
以下，一边参照附图一边列举实施例，对用于实施本发明的方式进行说明。
实施例1
图1是对利用路旁物检测装置检测路旁物进行概要地说明的图的一个例子。首先，路旁物检测装置利用立体拍摄装置拍摄车辆的行进方向，并获取三维信息。虽然三维信息能够从画面的整体获取，但路旁物检测装置仅推断附近区域的路面构造。仅使用附近区域的图像是因为越是远方越容易包括视差的误差。
路旁物检测装置利用三维信息或者路面构造，从附近区域检测高度方向上有一定以上阶梯差的特征点。例如，在水平方向扫描图像数据，检测视为路缘石的阶梯差。在如图的A点那样的路缘石上的像素和如B点所示那样路缘石以外的像素中，高度不同，所以能够检测路缘石所形成的阶梯差。路旁物例如是路缘石或者人行道台阶，但包括比路面高且沿道路敷设的地表物。
对于由路缘石的阶梯差形成的特征点，在一次水平方向的扫描中检测三点(图的“×”标记)。应予说明，在为人行道成为与路缘石相同高度的人行道台阶的情况下，检测两点的阶梯差。
若将该阶梯差的位置(坐标)应用于道路模型，则能够求出道路模型的系数(车行道参数)。应予说明，道路模型是以公式及其系数表示道路形状的道路形状表现形式。若道路模型确定，则能够在未检测三维信息的远方的图像中，通过外插道路模型，来推断出有路缘石的范围。所谓道路模型的外插是指在远方区域计算出通过道路模型的公式确定的点。这些点的集合成为线，在本实施例中将该线称作虚拟线。
与附近区域相同，能够期待在远方区域的图像中将路缘石的阶梯差作为边缘进行检测。于是，通过在水平方向左右地移动虚拟线，来设定边缘的搜索范围。路旁物检测装置从该搜索范围检测路缘石的边缘(图的三角标记)。
若有路缘石，则应检测三条几乎平行的直线，若有人行道台阶，则应检测两条几乎平行的直线。因而，路旁物检测装置将边缘变换为直线等，从边缘提取线段。并且，在水平方向的一定距离内检测到三条几乎平行的直线的情况下，检测路缘石，在水平方向的一定距离内检测到二条几乎平行的直线的情况下，检测人行道台阶。
像这样，通过利用能够得到准确的距离信息的附近区域的三维信息，能够提高远方的路缘石或者人行道台阶的检测精度。
〔结构例〕
图2表示包括路旁物检测装置100的驾驶辅助系统500的概要结构图的一个例子。驾驶辅助系统500具有经由CAN(Controller AreaNetwork：控制器区域网络)总线等车载LAN相互连接的路旁物检测装置100、驾驶辅助ECU(Electronic Control Unit：电子控制单元)200以及工作设备300。
路旁物检测装置100除了将下述的车行道参数发送给驾驶辅助ECU200外，还将至障碍物的目标信息等发送给驾驶辅助ECU200。驾驶辅助ECU200基于车行道参数、目标信息来判断驾驶辅助的必要性，并向工作设备300请求工作。工作设备300例如是仪表板的警报装置、电动动力转向装置、以及制动执行装置等。
车行道参数例如是道路的曲率(半径)、道路的车道宽度、本车辆在车道内的横向位置、本车辆相对于道路的横摆角等。驾驶辅助ECU200使用与车载LAN连接的其他的ECU或者传感器检测出的信息(例如车轮速度、转向角、偏航率等)来进行驾驶辅助。作为使用了车行道参数的驾驶辅助，已知有LDW(Lane Departure Warning：车道偏离预警)、LKA(Lane Keeping Assist：车道保持辅助)等。LDW是指在根据横向位置、横摆角以及车速而存在偏离车道的可能性的情况下，通过警报音、振动等唤起驾驶员注意的驾驶辅助。LKA是控制电动动力转向装置来对转向轴施加转向转矩或控制每个车轮的制动、发动机输出，以使本车辆在车道内的目标行驶线上行驶的驾驶辅助方式。除了控制转向转矩或者每个车轮的制动、发动机输出，以使在目标行驶线上行驶以外，也有进行控制以使在存在从车道偏离的可能性时维持车道的LKA。像这样，能够通过检测白线，来进行多种驾驶辅助。应予说明，在本实施例中，能够通过白线来检测车行道参数，在白线的检测困难的情况下，能够通过路缘石、人行道台阶来检测车行道参数。
另外，目标信息例如是距离信息、相对速度以及方位(横向位置)。驾驶辅助ECU200从方位(横向位置)提取存在发生碰撞可能性的障碍物，若根据距离信息和相对速度计算出的TTC(Time To Collision：碰撞时间)在预定值以下，则进行鸣响警报音、减速等驾驶辅助。
路旁物检测装置100具有右拍摄装置11、左拍摄装置12、以及拍摄装置计算机13。由右拍摄装置11和左拍摄装置12构成一个立体拍摄装置。将立体拍摄装置例如以光轴朝向车辆前方的方式配置于车室内后视镜，但也能够配置于车顶等其它地方。右拍摄装置11和左拍摄装置12以预定间隔(基线长)分离配置。右拍摄装置11和左拍摄装置12分别具有CCD或者CMOS、背面照射CMOS等固体拍摄元件。右拍摄装置11和左拍摄装置12可以是仅获取亮度信息的黑白的拍摄装置，也可以是彩色的拍摄装置。
右拍摄装置11和左拍摄装置12分别几乎同时地周期性地拍摄车辆前方的预定范围。在路面标识有白线的情况下，在图像上拍摄有路缘石(或者人行道台阶)以及白线。应予说明，白线只不过是划分车道的路面标识的一个例子。在表现为白线的情况下，不局限于白色的线，包括有彩色的线状标识、点线、虚线、虫点(Botts'dots)以及猫眼(cat's-eye)等。
拍摄装置计算机13是具备CPU、ROM、RAM、CAN控制器、输入输出I/F、以及其他通常电路的计算机。如下述那样，拍摄装置计算机13进行变形修正/平行化、阶梯差的检测、车行道参数的推断、以及远方区域的线段的检测等。
〔关于拍摄装置计算机的功能〕
图3表示拍摄装置计算机13的功能框图的一个例子。拍摄装置计算机13具有立体图像获取部21、变形修正/平行化部22、边缘提取部23、视差检测部24、路面检测部25、路面构造推断部26、阶梯差判断部27、车行道参数推断部28、搜索范围设定部29、以及边缘线段检测部30。
这些各功能在图4的流程图中示出的路旁物检测装置100的动作中发挥功能。以下，基于图4按顺序对这些各功能进行说明。应予说明，每当拍摄左右一对图像时反复执行图4的步骤。
＜S10图像数据的获取＞
立体图像获取部21分别获取右拍摄装置11进行周期性地拍摄得到的图像以及左拍摄装置12进行周期性地拍摄得到的图像的图像数据，并存储至缓存器等。
＜S20变形修正/平行化＞
变形修正/平行化部22使用预先获取的拍摄装置的外部参数以及内部参数,来修正左右图像的变形并进行平行化。内部参数例如是指右拍摄装置11和左拍摄装置12各自的透镜的变形、畸变像差、拍摄元件的变形、焦距等。例如通过参照基于透镜的设计值生成的修正变换表，对图像数据进行修正来减少透镜的变形。通过基于使用了半径方向的畸变像差的模型的参数推断对图像数据进行修正，来减少畸变像差。
外部参数例如是将拍摄装置的安装位置和方向进行数值化得到的。由于在左右拍摄装置的安装位置(例如高度)以及方向(间距、侧摆、横摆)存在稍许差别，所以存在右拍摄装置11和左拍摄装置12的光轴高度不完全一致且不完全平行的情况。因此，由于该外部参数的差别，例如存在右拍摄装置11和左拍摄装置12的拍摄系统以光轴为中心相对地旋转的情况。为了减少这样的旋转，在立体拍摄装置中，在出厂前由车辆厂商等进行校准。在校准中，分别利用右拍摄装置11和左拍摄装置12拍摄变形校正用的方格图(chart)。校正用的方格图描绘正方形的白格和黑格以棋盘格状反转的格子。例如，以右拍摄装置11的图像的白黑格与左拍摄装置12的图像的白黑格一致的方式，确定出像素彼此的对应关系。对应关系被登记于表，例如与右拍摄装置11的全部像素对应地设定将修正前的像素位置变换至哪个像素位置。
在图中，将用于基于内部参数和外部参数进行左右图像的变形修正以及平行化的数据设为查找表31。通过像这样进行变形修正以及平行化，能够进行高效的视差搜索。
图5的(a)是表示平行化了的右拍摄装置11的图像数据和左拍摄装置12的图像数据的一个例子的图。在本实施方式中，作为道路坐标系，将车辆宽度方向设为X轴，将车辆高度方向设为Y轴，以及将行进方向设为Z轴。坐标P(X，Y，Z)分别映于左拍摄装置12的像素Pl和右拍摄装置11的像素Pr。
＜S30视差计算＞
在检测视差时，搜索像素Pr对应像素Pl。由于知晓两个图像已被平行化，所以路旁物检测装置100仅与水平方向平行地搜索图像数据即可。
应予说明，也可以针对变形修正/平行化部22进行了平行化的左右图像数据进行视差搜索，但通过在进行边缘强调处理之后进行视差搜索，会使搜索变得容易。因此，边缘提取部23从左右图像提取边缘。已知各种边缘提取的滤波器，但例如使用索贝尔(sobel)滤波器。
图5的(b)是表示滤波处理的结果的一个例子的图。在原始图像上拍摄有白线、护栏、以及树木等，但通过滤波处理，右拍摄装置11和左拍摄装置12的图像变成强调了白线、护栏或者树木的端部的(在图中以白色的像素表示)图像。
图6的(a)是对视差的搜索进行说明的图的一个例子。这里，着眼于右图像数据的像素，从左图像数据确定出与右图像数据一致(相关性最高或者具有一定以上相关性)的区域。视差计算部27对包括所着眼的像素的区域(以下称作“窗口”)，计算SAD(Sum of AbsoluteDifference：绝对差值和)或者SSD(Sum of Squared Differences：差方和)。SAD是每个像素的像素值的差的绝对值的合计，SSD是每个像素的像素值的差的平方和。SAD和SAD的任意一个越小，意味着窗口所包含的图像的一致度越高。
如图示那样，在着眼于(x，y)的像素的情况下，生成以像素(x，y)为中心的矩形窗口，从右图像也生成以像素(x，y)为中心的窗口。视差计算部27若在左图像的窗口和右图像的窗口中计算SAD或者SSD，则将右图像的窗口的整体向右偏移一个像素(pixel)，来计算SAD或者SSD，并反复进行。换句话说，由于被平行化，所以在右图像中不将窗口向y轴方向偏移，只向x方向逐个像素地偏移即可。
图6的(b)表示x方向的偏移量(视差)和SAD的关系的一个例子。SAD相对于偏移量示出极小值。表示几个极小值中的最小值的像素的偏移量是在右图像中着眼的像素(x，y)的视差。
预先决定x方向的搜索范围。但是，视差计算部27也可以针对右图像在x方向的全部像素求出SAD或者SSD，还可以在不决定搜索范围而在SAD或者SSD示出了阈值以下的极小值的情况下，停止SAD或者SSD的计算。前者能够求出最准确的视差，后者能够高效地求出某种程度准确的视差。
应予说明，也可以如上述那样根据亮度图像求出视差。另外，还可以根据边缘图像和亮度图像这双方来求出视差。在使用了边缘图像和亮度图像这双方的情况下，将SAD或者SSD为极小的像素的偏移量的平均作为视差，或者对边缘图像和亮度图像进行加权来决定视差。通过这样，能够更加准确地求出视差。
视差计算部27除了计算像素单位的整数视差之外，还计算子像素视差。已知子像素视差的求法有等角拟合、抛物线拟合等。
另外，可以在画面的整体中获取视差，考虑仅在附近区域使用，也可以仅在附近区域获取视差。
图7是表示利用等角拟合求出子像素视差的求法的一个例子的图。在图7中示出图6的(b)的SAD为最小值的视差以及该SAD前后的SAD值。将SAD为最小值的视差的SAD值设为c，将与最小值相比视差小的一侧的SAD值设为a，将与最小值相比视差大的一侧的SAD值设为b。若a＝b，则SAD为最小值的视差为子像素单位的视差。在图示那样为a＞b的情况下，子像素视差SP成为比SAD为最小值的视差大的值。在a＜b的情况下相反。在等角拟合中，针对SAD为最小值的视差，按照以下方式求出子像素视差SP。
在a＞b的情况下SP＝(a-b)/2(a-b)
在a≤b的情况下SP＝-(b-c)/2(b-c)
视差计算部27将整数视差和子像素视差SP的和决定为注视像素的视差。若像这样以像素单位求出视差，则能够计算出至以像素单位映于像素的物的距离。
＜S40路面推断＞
路面检测部25根据视差图像推断路面的构造。因此，首先从图像仅推断路面的区域。应予说明，所谓路面的区域，不区分路缘石、人行道台阶等步行者所行走的区域和车辆所行驶的车道，若是没有立体物的平坦区域，则设为路面的区域。
图8是对路面区域的推断进行说明的图的一个例子。在图8中，在图像上重叠表示视差信息。通过将亮度与视差对应并与图像数据重叠，将相同视差的像素加工成为相同程度的亮度。
在图像中拍摄有立体物的情况下，至立体物的距离在该立体物中为同程度，所以视差也为相同程度。与此相对，路面越处于远方，视差越大，所以y方向的视差根据y值而不同。因而，从图像的y坐标的下端向上方扫描(图的箭头)，在视差的差别在预定值内的像素连续的情况下，能够判断为立体物。在视差的差别在预定值内的像素不连续的情况下，能够判断为路面(的视差)。应予说明，由于在本实施例中检测子像素单位的视差，所以将预定值设为小于一个像素。
在以图示的箭头扫描的情况下，在包括人行道、路缘石扫描路面时，视差逐渐变大，所以判断为路面。若开始先行车辆的扫描，则视差的变化限制在预定值内，所以判断为立体物。
＜S50路面构造的推断＞
路面构造推断部26仅使用相对于车辆在附近区域的视差信息，来进行路面构造的推断。通过仅使用附近区域的图像数据，能够不使用容易包含误差的远方的视差信息地推断路面构造。附近区域是视差信息的精度有可靠性的区域，取决于立体拍摄装置的质量、设计。另外，在视差信息的精度受到白天和夜间的差别、或者晴天和雨天的差别等影响的情况下，即使是搭载于某车辆的同一立体拍摄装置，也存在附近区域不固定的情况。由此，附近区域是考虑条件恶化的情况，针对视差信息的精度在阈值以上的某区域(从图像的y坐标的下端开始预定像素个数)设置了预定余量的区域(换句话说，是比视差信息的精度为阈值以上的某区域稍窄的区域)。另外，也可以利用照度传感器等检测白天或夜间，另外利用雨传感器等检测天气，从而可变地设定附近区域。通过这样，能够根据给视差信息的精度带来影响的状况，来最大限地利用至远方的视差信息。
首先，路面构造推断部26利用视差信息来计算至附近区域的路面的距离D。
D＝(f×B)/(Δd)
f是透镜的焦距，B是基线长，Δd是视差(像素个数×拍摄元件的像素间距)。
另外，如图9的(a)所示那样获取道路坐标系。将透镜的中心设为原点，将从左向右的水平方向设为X轴，将车辆的高度方向设为Y轴，将车辆的行进方向设为Z轴。另外，图像内的点的坐标系亦即平面坐标系是原点在道路坐标系的Z轴上，并具有与X轴平行的x轴，与Y轴平行的y轴的坐标系。在透镜至像的距离长到能够忽略焦距f的情况下，能够按照以下公式求出处于距离D的物体的高度Y、横向位置X。
X＝xD/f
Y＝-yD/f
若知道X、Y，就知道D，所以能够求出Z。由此，能够得到路面的Y坐标，所以能够将Z轴方向的路面的构造定型化。
图9的(b)是对路面构造的定式化进行说明的图的一个例子。路面一般是平坦的，另外，除了原本特殊的地形之外，在法令等中预定了道路设计方面的坡度上限。由此，能够利用一次函数、二次函数近似表达。如将剖面曲率设为a，将间距设为b，将拍摄装置高度设为c，则例如按照下述的公式表示路面构造。
Y＝a×Z2+b×Z+c…(1)
将距离D代入Z，将根据距离D求出的Y代入式(1)，能够通过使用最小二乘法等决定a、b、c。应予说明，能够递归地求出系数即可，除了最小二乘法之外，也可以使用牛顿法、高斯牛顿法等。
＜S60阶梯差检测＞
阶梯差判断部27从路面(未进行路缘石、人行道台阶和车道的区分)检测阶梯差。在通过上述处理推断为路面的区域的像素中，求出距离D、高度Y、以及横向位置X。另外，求出路面构造。
阶梯差判断部27使用路面构造和高度Y中的至少一方来检测阶梯差。也可以直接使用三维信息的高度Y，但存在三维信息有偏差的情况。因此，优选使用如式(1)等那样根据路面构造求出的高度Y。然而，也能够直接使用三维信息的高度Y来检测阶梯差。
图10是对阶梯差的检测进行说明的图的一个例子。在图10的(a)中，针对y坐标的值固定的像素向x方向描绘箭头线(以下称作“扫描水平线”)。阶梯差判断部27在求出了高度Y的y方向的区域沿扫描水平线进行扫描，并读出高度Y。
图10的(b)是将像素和阶梯差对应地进行说明的图的一个例子。在图10的(b)中，在路面的左侧有人行道台阶，所以点A、点B的高度Y为相同程度。点B至点D的像素与人行道台阶的阶梯差的侧面部相当，所以高度Y采用点B和点D之间的值。点D以后的例如点E的高度Y为车道，所以与X坐标无关而几乎固定。应予说明，只是示意性地表示点B至点D的高度Y，点C的高度在点B的高度Y以下在点D的高度Y以上即可。
由此，由于点B的高度Y和点D的高度Y不同，因此阶梯差判断部27检测为阶梯差(判断为有阶梯差)。应予说明，由于阶梯差的高度例如由道路构造例预定，所以以该值为参考来设定阶梯差的阈值(例如15cm)。该值可以根据国家、地域而变更。
因而，阶梯差判断部27沿扫描水平线从左向右地读出高度Y，并在高度Y低于阈值程度的情况下，或者沿与扫描水平线相反的方向从右向左地读出高度Y，并在高度Y上升至阈值程度的情况下，检测阶梯差。应予说明，也可以将扫描水平线的扫描范围限定于比图像的中央靠左侧等，这样，能够抑制处理负荷，提高阶梯差的检测速度。
另外，路缘石、人行道台阶的阶梯差从路面几乎以90度立起，所以也可以将高度Y变化的X轴方向的范围例如限制在10cm～30cm左右。这样，能够抑制虽然没有路缘石、人行道台阶但从放置物品的地方检测阶梯差。
阶梯差判断部27将点B、点D确定为特征点。因而，针对一条扫描水平线确定出两个特征点。这些特征点的距离D(Z)、高度Y、以及横向位置X明确。
图10的(c)是将路缘石的情况的像素和阶梯差对应地进行说明的图的一个例子。在路缘石的情况下，比路缘石靠近图像一端的区域为与车道相同的高度Y。因而，点F、点E的高度Y为相同程度。然后，在点A处，高度Y急剧变大，至点B维持相同程度的高度Y。点B以后的高度与图10的(b)相同。
由此，阶梯差判断部27在沿扫描水平线从左向右地读出高度Y的情况下，高度Y增大至阈值程度，进一步地在沿扫描水平线从左向右地读出高度Y的情况下，高度Y减少至阈值程度的情况，检测阶梯差。沿与扫描水平线相反的方向进行扫描的情况也相同。应予说明，在为路缘石的情况下，也可以仅根据高度Y的增大或者减少中的一方来检测阶梯差。
阶梯差判断部27将点A、点B、点D确定为特征点。因而，在路缘石的情况下，针对一个扫描水平线确定出三个特征点。
另外，路缘石、人行道台阶的剖面形状多为侧面部以90度立起的情况，但在以90度以上的平缓的角度立起，或以90度以下的锐角立起的情况下，也能够根据高度Y检测阶梯差。此外，路缘石、人行道台阶的剖面形状不受限定。另外，也可以在路缘石、人行道台阶埋设猫眼。
＜S70车行道参数的推断＞
车行道参数推断部28设定道路模型，并决定道路模型的系数，由此来推断车行道的车行道参数。道路多是基于回旋曲线、B样条(B-spline)模型来设计的。由于路缘石、人行道台阶是沿道路配置的，所以能够预想到也沿道路模型来检测特征点。
图11是对车行道参数的推断进行说明的图的一个例子。例如，在为人行道台阶的情况下，对每条扫描水平线检测两个特征点。车行道参数推断部28根据这些特征点分别推断出道路模型的系数。系数的推断有几种方法。例如：使用道路模型的公式并代入多个特征点的坐标，并通过最小二乘法确定出道路模型的系数的方法；使用卡尔门滤波器、粒子滤波器(particle filter)等最大似然值推断手法来推断出系数的方法。若求出系数则基于道路模型求出车行道参数。
作为道路模型的一个例子，例如按照以下方式进行定义。
X＝X0+θ×Z+0.5×c×Z2…(2)
X0是在Z＝0处从XZ平面的原点至特征点的距离。θ是右拍摄装置11或者左拍摄装置12的光轴和路缘石或者人行道台阶所成的角(车辆的横摆角)。将θ相对于正面方向右向设为正。c是道路的曲率。从XZ平面的定义，左转弯c为负，右转弯c为正。根据式(2)，以X0为起点，修正由横摆角引起的偏移(在车辆具有右向横摆的情况下，向左方向倾斜地拍摄白线，所以修正该倾斜量)，以z的平方使曲率c作用。
车行道参数推断部28将XZ平面的特征点的坐标(X，Z)代入至式(2)，以最小二乘法求出θ和c。由此，在车行道参数内，能够求出横摆角θ和道路的曲率c(半径R)。另外，路宽W是根据任意的Z坐标处的从左侧的白线(在有白线的情况下为白线，若没有白线则为左侧的路缘石等的特征点)至右侧的白线(在有白线的情况下为白线，若没有白线则为右侧的路缘石等的特征点)的距离求出的。车道内的本车辆的位置例如是将行车线的中央位置设为0(基准)并通过W/2-Xo来表示的。像这样，能够根据路缘石、人行道台阶求出车行道参数。
＜S80搜索范围的设定＞
搜索范围设定部29使用决定了系数的道路模型，来设定边缘的搜索范围。边缘的搜索范围是用于搜索远方区域的路缘石或人行道台阶的边缘的图像处理范围。
图12是对搜索范围的设定进行说明的图的一个例子。通过车行道参数推断部28，根据附近区域的特征点决定出预定的道路模型的车行道参数。搜索范围设定部29首先使用所决定的车行道参数，来计算远方区域的任意的Z处的X。由此，得到将路缘石、人行道台阶的特征点外插至远方区域的虚拟线41。
搜索范围设定部29将虚拟线与虚拟线对称地或者不对称地平行移动预定距离来设定搜索范围。虚拟线41存在于二条直线之间。例如，在直线道路中，通过将虚拟线41向X轴方向的正方向和负方向(左侧和右侧)平行地移动预定距离，来设定两条搜索范围线42、43。正方向的搜索范围线43至负方向的搜索范围线42为边缘的搜索范围。
另外，道路在前方转弯，路缘石等相对于画面的y轴向具有倾斜的情况下，通过将虚拟线41相对于虚拟线41向斜上和斜下平行地移动预定距离，来设定两条搜索范围线42、43。另外，道路在前方转弯，在拍摄与画面的x轴方向大致平行的路缘石等的情况下，通过将虚拟线41相对于虚拟线41向上方向和下方向平行移动预定距离，来设定搜索范围。应予说明，虚拟线41至搜索范围线42的距离、虚拟线41至搜索范围线43的距离可以相等(对称)，也可以不相等(不对称)。
在为人行道台阶的情况下，根据特征点得到二条虚拟线41，在为路缘石的情况下得到三条虚拟线41。因此，在对一条特征点的各虚拟线分别设定了搜索范围的情况下，为了设定搜索范围，设定虚拟线的条数×2条的线段。
另外，搜索范围设定部29也可以相对于X值最大的虚拟线41向X值变大的方向设定搜索范围线43，相对于X值最小的虚拟线41向X值变小的方向设定搜索范围线42。这样，即使在像路缘石那样检测三个特征点的虚拟线41，也可以为了搜索范围的设定而设定二条搜索范围线42、43。
＜S90边缘线段的检测＞
边缘线段检测部30从搜索范围检测边缘线段。由于边缘提取部已经提取边缘，所以检测搜索范围的边缘。这些边缘包含与附近区域的特征部连续的边缘，所以，边缘线段检测部30检测与附近区域的特征部连续的边缘线段。
图13的(a)是表示边缘线段检测部30检测边缘线段的步骤的流程图的一个例子。
首先，边缘线段检测部30读出搜索范围的边缘(S301)。
边缘线段检测部30对边缘实施霍夫变换(S302)。该霍夫变换以线段的检测为目的，所以优选概率霍夫变换。通过概率霍夫变换检测的线段具有端点，另外，通过相同端点的线段只有一个。应予说明，也可以不利用霍夫变换检测线段，例如求出通过两点的边缘的一次函数，通过确定出处于该一次函数上的其他边缘来检测线段。
接下来，边缘线段检测部30提取一定以上长度的线段(S303)。所谓一定以上长度的线段是以某种程度覆盖远方区域的程度的长度(例如10～30米)。边缘线段可以在Z方向上中断，载在Z方向的直线(斜率和截距均相同)上的多条边缘线段的长度是一定以上长度即可。
边缘线段检测部30判断一定以上长度的线段在水平方向(X方向)的一定距离内是否有二条或者三条(S304)。另外，也可以在条件中加入一定以上长度的线段几乎平行这样的条件。该情况下的一定距离是有路缘石或者人行道台阶的特征点的范围，所以例如设为数十cm(50cm～100cm)即可。
图13的(b)是表示一定以上长度的线段的条数和路缘石或者人行道台阶的判断的一个例子的图。在有二条的情况下，为人行道台阶的特征点的可能性高，在有三条的情况下，为路缘石的特征点的可能性高。这样，能够检测远方区域的路缘石或者人行道台阶。
由此，边缘线段检测部30在检测到了二条边缘线段的情况下检测人行道台阶，在检测到了三条边缘线段的情况下检测路缘石(S305)。
应予说明，在一定以上长度的线段只有一条的情况下，也可以判断为是路缘石或者人行道台阶的特征点。但是，为了不成为误检测，优选进一步加入条件。例如仅在附近区域的特征点的斜率和一定以上长度的线段的斜率一致的情况下，判断为是路缘石或者人行道台阶的特征点。
另外，在一定以上长度的线段有四条以上的情况下，能够从附近区域的特征点的个数锁定。例如，若附近区域的特征点为三个，则排除一定以上长度的线段中的斜率最不同的线段，或者排除在附近区域和远方区域的边界线处距附近区域的特征点最远的线段。
这样，通过检测远方区域的路缘石或者人行道台阶，来决定远方区域的车行道参数。因而，例如在检测不到远方区域的白线的情况下，也能够决定远方区域的车行道参数，驾驶辅助ECU能够基于车行道参数进行驾驶辅助。
如以上说明的那样，本实施例的路旁物检测装置100使用附近区域的精度高的视差信息来检测阶梯差，并将阶梯差的特征点外插至远方区域，从而能够提高远方区域的路缘石、人行道台阶的检测精度。
实施例2
在实施例1中，从搜索范围的边缘检测线段来检测路缘石、人行道台阶，但在本实施例中，对外插了特征点的区域实施模板匹配来检测路缘石、人行道台阶的路旁物检测装置100进行说明。
图14表示本实施例的拍摄装置计算机13的功能框图的一个例子。在图14中，省略已经说明过的功能的说明，对主要部分进行说明。图14的拍摄装置计算机13具有模板匹配部32。模板匹配部32根据附近区域的路缘石的图像制作模板图像，并与搜索范围的图像进行模板匹配。
图15是表示路旁物检测装置100从图像检测路缘石、人行道台阶的步骤的流程图的一个例子。在图15中，将实施例1的步骤S90的处理置换为模板匹配。
＜S92模板匹配＞
图16是对模板匹配的处理步骤进行说明的流程图的一个例子，图17是对模板匹配进行说明的图的一个例子。
模板匹配部32切出附近区域包括路缘石的图像(亮度图像)来制作模板图像(S401)。优选要切出的范围至少包括路缘石的侧面部。应予说明，在路缘石中，与人行道台阶不同，在人行道侧也有特征点，所以优选以包括特征点的方式切出。这些特征点从图10的(b)和(c)明确，所以，模板匹配部32能够以最佳的尺寸切出模板图像。另一方面，在为人行道台阶的情况下，改变要切出的图像的尺寸的必要性低，所以，可以与人行道台阶或路缘石无关，共用要切出的尺寸。例如，使模板图像的横向尺寸为特征点BD的间隔的2倍左右，使纵向的尺寸为与其相同程度或稍小。
优选模板匹配部32从附近区域中距车辆最远的区域切出模板图像。这是因为容易切出与远方区域的路缘石、人行道台阶相似的模板图像。
应予说明，在附近区域固定，从距车辆最远的区域切出模板图像的情况下，模板图像的尺寸也应为相同程度，所以并不是基于特征点来决定切出的图像，能够预先预定模板图像的尺寸。
另外，将模板图像设为亮度图像，但也可以从边缘图像切出模板图像。
接下来，模板匹配部32以外插道路模型得到的虚拟线41为中心，对远方区域的搜索范围的图像实施模板匹配(S402)。虚拟线41存在于远方区域的路缘石、人行道台阶的特征点或者该特征点的附近的可能性高。因此，模板匹配部32以远方区域的虚拟线41为中心，利用模板图像实施模板匹配。由于模板匹配是利用图像进行的，所以将虚拟线41变换为平面坐标系。应予说明，从搜索范围中距本车辆的距离近的部分开始进行模板匹配。例如，将搜索范围向远方方向划分成几个组，以组为单位进行模板匹配。
模板匹配部32每当在组内使像素偏移并且进行搜索时，就计算相似度。相似度例如是SAD、SSD的倒数。
接下来，模板匹配部32在组内的搜索范围中确定出最大的相似度，并判断该值是否在阈值以上(S403)。
在相似度在阈值以上的情况下(S403的是)，模板匹配部32决定为在得到最高相似度的模板图像的位置有路缘石(S404)。由于在模板图像中得到特征点，所以在与模板图像同尺寸的搜索区域的图像中，能够推断为在对应的像素有特征点。或者，即使从与模板图像相同尺寸的搜索区域的图像检测边缘，也能够确定出特征点的位置。
模板匹配部32切出判断为有路缘石的图像，并设定为新的模板图像(S405)。
模板匹配部32使用新的模板图像，对搜索范围的下一个区域反复步骤S20以后的处理。在远方区域，路缘石、人行道台阶逐渐变小，所以也可以删除模板图像的外边缘等，来逐渐减小模板图像。
像这样，一边确定远方区域的路缘石或者人行道台阶的位置一边切换模板图像，反复确定远方的路缘石或者人行道台阶，所以，能够将与检测对象的路缘石或者人行道台阶相似的图像设定为模板图像。因而，能够提高远方区域的路缘石或者人行道台阶的检测精度。
实施例3
在本实施例中，对利用白线来检测远方区域的路缘石或者人行道台阶的路旁物检测装置100进行说明。
图18表示本实施例的拍摄装置计算机13的功能框图的一个例子。在图18中，省略已经说明过的功能的说明，对主要部分进行说明。图18的拍摄装置计算机13具有白线检测部33。白线检测部33检测拍摄装置计算机13的拍摄范围的路缘石或者人行道台阶侧的白线。由此，能够在图像中拍摄仅在行进方向的左侧的路缘石或人行道台阶侧的白线、仅在右侧的路缘石或人行道台阶侧的白线、或者左右双方的路缘石或人行道台阶侧的白线。
另外，边缘线段检测部30也具有实施例1的拍摄装置计算机，但本实施例的边缘线段检测部30检测边缘线段，并且评价与白线的平行度、与白线的距离并确定出路缘石、人行道台阶的特征点所形成的边缘线段。
图19是表示路旁物检测装置100从图像检测路缘石、人行道台阶的步骤的流程图的一个例子。在图19中新追加了步骤S100的白线检测处理。另外，步骤S80、S90的处理是利用了白线的处理，所以与实施例1不同。
＜S100白线检测＞
白线检测部33从右拍摄装置11或者左拍摄装置12拍摄得到的图像检测白线。在为立体拍摄装置的情况下，可以从任意一方的拍摄装置的图像检测白线，也可以从右拍摄装置11和左拍摄装置12的图像的共用区域检测白线。
图20是对白线的检测进行示意性地说明的图的一个例子。白线检测部33从边缘图像或者亮度图像检测白线。在图20中，示意性地表示图像数据(平面坐标系的白线)。白线检测部33确定出边缘提取部23提取的边缘中边缘强度在阈值以上的像素。在图20中，分别在左右白线中求出从道路的亮度变化为白线亮度的边缘、以及从白线亮度变换为道路亮度的边缘。应予说明，也可以推断为在道路的中央没有白线，将白线的检测区域分别限制在图像右侧的一部分和左侧的一部分。由此，能够减少拍摄装置计算机13的处理负荷。
白线检测部33由下至上在画面检测边缘强度在阈值以上的像素。由于即使白线是直线，在图像中也拍摄成“ハ”字形(下方的间隔宽，上方的间隔宽的二条直线状)，所以延长如此地搜索到的多个边缘并反复搜索。若存在白线，则在左右白线中分别在画面的由下至上的方向得到边缘。若实线的白线被较好地拍摄到，则该边缘被连续地检测，若是点或虚线，则该边缘被隔开间隔地检测。
白线检测部33通过判断边缘是否是几乎连续地被检测，或者在未几乎连续地被检测的情况下边缘的间隔是否是等间隔等，来判断能否将边缘推断为白线的一部分。在判断为边缘是白线的一部分的情况下，通过将左右二条边缘线的宽度与一般白线的宽度相比等，来删除不是白线的部分，从而左右分别地检测白线。白线检测部33能够使用道路坐标系和平面坐标系的对应式，以XZ平面表示白线边缘。
应予说明，未必限于在行进方向的左右有白线，有仅检测到一侧白线的情况。在本实施例中，至少检测路缘石或者人行道台阶侧的白线。例如，在左侧通行规则的国家，相对于行进方向检测左侧的白线，在右侧通行规则的国家，检测右侧的白线。另外，在道宽较窄，并在左右有路缘石的情况下，即使检测到左右任意一侧的白线，在本实施例的效果中也没有大的差别。由此，相对于行进方向，可以检测左右任意一侧的白线，在检测到左右白线这双方的情况下，将距本车辆位置最近的白线利用于搜索范围的设定。
＜S80搜索范围的设定＞
图21是对利用搜索范围设定部29设定搜索范围进行说明的图的一个例子。在比路缘石靠车道侧标示有白线。路缘石或者人行道台阶与该白线相比处于人行道侧。
搜索范围设定部29平行移动外插的虚拟线41来设定搜索范围线42、43，但此时以搜索范围线43不超过白线的方式，再设定(修正)搜索范围。例如，以车道侧的搜索范围线43与白线相比靠人行道侧的方式(以从虚拟线至白线之间远离虚拟线的方式)进行平行移动即可。由此，能够在包括路缘石、人行道台阶的状态下缩小搜索范围，能够缩短边缘线段的检测时间。
＜S90边缘线段的检测＞
边缘线段检测部30从搜索范围检测边缘线段，并将该边缘线段与白线进行比较，来锁定路缘石、人行道台阶的特征点的边缘线段。
图22是表示边缘线段检测部30检测边缘线段的步骤的流程图的一个例子。在图22中新追加了步骤S311的处理。
边缘线段检测部30从在步骤S303中检测出的一定以上长度的线段进一步提取以下的边缘线段(S311)。
·与白线的平行度在阈值以上
·与白线的距离在预定范围内
为了求出平行度，对白线应用一次函数并利用最小二乘法等进行函数化。由于边缘线段是直线，所以能够通过比较边缘线段和白线的斜率来确定出平行度。另外，对于与白线的距离，求出从边缘线段上的任意的点引出的与边缘线段垂直的线与白线相交的点，作为与边缘线段上的点的两点间的距离求出。
将平行度的阈值例如设为5～10度左右。另外，根据附近区域的白线和路缘石或者人行道台阶的距离来设定搜索白线的预定范围。即，在附近区域，若白线和路缘石或者人行道台阶的距离为50cm，则对该距离加入余量而例如设为60cm。
边缘线段检测部30将这样确定出的二条或者三条边缘线段判断为是由路缘石或者人行道台阶的特征点形成的边缘线段。
这样，本实施例的路旁物检测装置100能够利用路缘石侧的白线，提高远方区域的路缘石或者人行道台阶的检测精度。
实施例4
在本实施例中，对利用先行车辆来检测远方区域的路缘石或者人行道台阶的路旁物检测装置100进行说明。
图23表示本实施例的拍摄装置计算机13的功能框图的一个例子。在图23中，省略已经说明过的功能的说明，对主要部分进行说明。图23的拍摄装置计算机13具有先行车检测部34。先行车检测部34检测对先行于本车辆行驶的先行车进行检测。另外，搜索范围设定部29以与先行车相比靠人行道侧的方式，再设定搜索范围的搜索范围线。
图24是表示路旁物检测装置100从图像检测路缘石、人行道台阶的步骤的流程图的一个例子。在图24中，新追加步骤S110的先行车检测处理。另外，步骤S80的处理是利用了先行车的处理，所以与实施例1不同。
＜S110先行车的检测＞
先行车检测部34使用预先准备的模板来检测图像中的先行车辆。另外，也可以利用光流(optical flow)。例如，将分组为像素值的变化连续的几个组，并相对于路面以比0大的速度移动，且处于本车辆前方的组推断为先行车辆。另外，也可以利用微波等雷达装置来检测先行车，但在从图像求出的情况下，先行车的横向位置的检测精度较高的情况较多。
先行车检测部34将至先行车的距离和横向位置对应地进行记录。通过检测距离，能够确认先行车行驶在远方区域。另外，先行车检测部34记录过去的几个帧的距离和横向位置。由此，能够求出先行车的轨迹。
＜S80搜索范围的设定＞
图25是对利用搜索范围设定部29设定搜索范围进行说明的图的一个例子。先行车正在行驶，路缘石或者人行道台阶与先行车相比靠人行道侧。
搜索范围设定部29平行移动虚拟线41来设定搜索范围，此时，以搜索范围线43不与先行车重合的方式，再设定搜索范围。例如，以车道侧的搜索范围线43比先行车靠人行道侧的方式进行平行移动即可。由此，能够在包括路缘石、人行道台阶的状态下缩小搜索范围，能够缩短边缘线段的检测时间。
步骤S90的边缘线段的检测方法与实施例1相同。另外，在先行车过去的横向位置具有预定长度以上长度的情况下，也可以将横向位置的轨迹设为白线，与实施例3一样地判断平行度、距离。
像这样，本实施例的路旁物检测装置100能够利用先行车，提高远方区域的路缘石或者人行道台阶的检测精度。
如以上说明的那样，本实施方式的路旁物检测装置100能够高精度地检测远方的路缘石、人行道台阶的特征点，能够进行检测不到白线的情况下的车行道参数的获取。另外，也能够作为白线的检测的线索。
应予说明，以上，分成实施例进行了说明，但也能够适当地结合实施例1～4中的两个以上加以应用。另外，通过实施例对路缘石、人行道台阶的检测方法进行了说明，但本发明并不局限于上述实施例，能够在本发明的范围内进行各种变形以及改进。例如，也能够同样地对路缘石、人行道台阶以外的相对于路面具有高度的路旁物进行检测。
应予说明，本国际申请主张基于2012年6月19日申请的日本专利申请2012-138141号的优先权，在本国际申请中援用日本专利申请2012-138141号的全部内容。

Claims (7)

1.一种路旁物检测装置，使用多个拍摄图像来检测路旁物，其特征在于，具有：
高度信息检测单元，其解析多个所述拍摄图像来检测距本车辆的距离小于阈值的附近区域的拍摄对象的高度信息；
高度变化检测单元，其根据所述附近区域的高度信息来检测路面因路旁物而产生的高度变化；
特征点外插单元，其将检测到所述高度变化的位置决定为所述路旁物的特征点，根据道路模型将所述特征点外插于距本车辆的距离在所述阈值以上的远方区域；以及
路旁物检测单元，其基于由所述特征点外插单元外插所述特征点而得到的虚拟线来设定所述路旁物的搜索范围，从所述搜索范围检测所述远方区域的所述路旁物。
2.根据权利要求1所述的路旁物检测装置，其特征在于，
所述路旁物检测单元具有：
搜索范围设定单元，其通过将所述虚拟线以相对于该虚拟线对称或者不对称的方式平行移动预定距离，来设定所述路旁物的所述搜索范围；和
线段确定单元，其检测所述搜索范围的边缘，从所述边缘生成一条以上的线段，基于所述线段的数量以及长度中的至少任一个来确定从处于所述远方区域的所述路旁物的所述特征点生成的所述线段。
3.根据权利要求1所述的路旁物检测装置，其特征在于，
所述路旁物检测单元具有：
搜索范围设定单元，其通过将所述虚拟线以相对于该虚拟线对称或者不对称的方式平行移动预定距离，来设定所述路旁物的所述搜索范围；和
模板匹配单元，其切出所述附近区域的包括所述路旁物在内的模板图像，利用所述模板图像对所述搜索范围实施模板匹配，由此来检测所述远方区域的所述路旁物。
4.根据权利要求1所述的路旁物检测装置，其特征在于，
具有车道划分标识检测单元，所述车道划分标识检测单元根据多个所述拍摄图像中的至少一个，来检测出划分出本车辆所行驶的车道的车道划分标识，
所述路旁物检测单元具有：
搜索范围设定单元，其通过将所述虚拟线在所述虚拟线和相对于行进方向在左侧或者右侧中距本车辆较近一侧的车道划分标识之间沿从所述虚拟线分离的方向平行移动，并且在与所述方向相反的方向将所述虚拟线向从该虚拟线分离的方向平行移动预定距离，来设定所述路旁物的所述搜索范围；和
线段确定单元，其检测所述搜索范围的边缘，从所述边缘生成一个以上的线段，基于所述线段的数量以及长度中的至少任一个，来确定从处于所述远方区域的所述路旁物的所述特征点生成的所述线段。
5.根据权利要求1所述的路旁物检测装置，其特征在于，
具有先行车辆检测单元，所述先行车辆检测单元以至少对先行车辆的横向位置进行检测的方式来对该先行车辆进行检测，
所述路旁物检测单元具有：
搜索范围设定单元，其通过将所述虚拟线在所述虚拟线和所述先行车辆之间沿从所述虚拟线分离的方向平行移动，并且在与所述方向相反的方向将所述虚拟线向从该虚拟线分离的方向平行移动预定距离，来设定所述路旁物的所述搜索范围；和
线段确定单元，其检测所述搜索范围的边缘，从所述边缘生成一个以上的线段，基于所述线段的数量以及长度中的至少任一个，来确定从处于所述远方区域的所述路旁物的所述特征点生成的所述线段。
6.根据权利要求3所述的路旁物检测装置，其特征在于，
所述模板匹配单元从所述搜索范围中距本车辆近的区域开始进行模板匹配，在根据所述附近区域的所述模板图像检测出所述远方区域的所述路旁物的情况下，将包括检测出的所述路旁物在内的区域设定为新的所述模板图像，从所述搜索范围中下一个距本车辆近的区域开始进行模板匹配。
7.根据权利要求2、4、5中任一项所述的路旁物检测装置，其特征在于，
在从处于所述远方区域的所述路旁物的所述特征点生成的所述线段为两条的情况下，所述线段确定单元推断为有人行道台阶，在所述线段为三条的情况下，所述线段确定单元推断为有路缘石。
CN201280073243.7A 2012-06-19 2012-10-26 路旁物检测装置 Pending CN104520894A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012138141A JP5829980B2 (ja) 2012-06-19 2012-06-19 路側物検出装置
JP2012-138141 2012-06-19
PCT/JP2012/077808 WO2013190719A1 (ja) 2012-06-19 2012-10-26 路側物検出装置

Publications (1)

Publication Number Publication Date
CN104520894A true CN104520894A (zh) 2015-04-15

Family

ID=49768336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073243.7A Pending CN104520894A (zh) 2012-06-19 2012-10-26 路旁物检测装置

Country Status (5)

Country Link
US (1) US9676330B2 (zh)
EP (1) EP2863358A4 (zh)
JP (1) JP5829980B2 (zh)
CN (1) CN104520894A (zh)
WO (1) WO2013190719A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650563A (zh) * 2015-10-28 2017-05-10 现代自动车株式会社 校正误识别的车道的信息的方法和系统
CN107045620A (zh) * 2015-10-27 2017-08-15 富士通天株式会社 图像处理设备和图像处理方法
CN107430774A (zh) * 2014-11-18 2017-12-01 日立汽车系统株式会社 行驶道路识别装置和使用其的行驶辅助系统
CN109815879A (zh) * 2019-01-18 2019-05-28 北京地平线机器人技术研发有限公司 目标检测方法、装置和电子设备
CN110654381A (zh) * 2019-10-09 2020-01-07 北京百度网讯科技有限公司 用于控制车辆的方法和装置
CN111316322A (zh) * 2017-11-08 2020-06-19 歌乐株式会社 路面区域检测装置
CN112455435A (zh) * 2019-09-06 2021-03-09 丰田自动车株式会社 驾驶辅助装置
CN112513573A (zh) * 2018-08-13 2021-03-16 日立汽车系统株式会社 立体摄像机装置
US20230051270A1 (en) * 2020-02-25 2023-02-16 Hitachi Astemo, Ltd. Processing device

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101769408B1 (ko) * 2011-03-29 2017-08-18 쥬라 트레이드, 리미티드 보안 문서들을 생성하고 인증하기 위한 방법 및 장치
DE102012112104A1 (de) * 2012-12-11 2014-06-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur befahrbarkeitsanalyse
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP2015179368A (ja) * 2014-03-19 2015-10-08 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP6412934B2 (ja) 2014-05-28 2018-10-24 京セラ株式会社 物体検出装置、物体検出装置を設置した車両およびプログラム
KR102159355B1 (ko) * 2014-06-13 2020-09-23 현대모비스 주식회사 차량자동제어방법 및 차량자동제어장치
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
JP6295859B2 (ja) * 2014-07-08 2018-03-20 株式会社デンソー 車載システム、情報処理装置、及びプログラム
JP6357050B2 (ja) * 2014-08-19 2018-07-11 日野自動車株式会社 運転支援システム
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
KR20160054825A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 주행 가능 공간 판단 장치 및 방법
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
JP6477340B2 (ja) * 2015-08-04 2019-03-06 日産自動車株式会社 道路境界検出装置、自己位置推定装置及び道路境界検出方法
KR102050179B1 (ko) 2015-08-04 2019-11-28 닛산 지도우샤 가부시키가이샤 단차 검출 장치 및 단차 검출 방법
CA2994652C (en) 2015-08-04 2019-09-10 Nissan Motor Co., Ltd. Step detection device and step detection method
JP6462544B2 (ja) * 2015-09-17 2019-01-30 株式会社東芝 推定装置、方法及びプログラム
DE102016201304A1 (de) * 2016-01-28 2017-08-03 Robert Bosch Gmbh Vorrichtung und Verfahren zum Erfassen eines Randsteins in einer Umgebung eines Fahrzeugs sowie System zur Randsteinkontrolle für ein Fahrzeug
EP3416132B1 (en) 2016-02-08 2021-06-16 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, and image processing method and program
JP6544257B2 (ja) * 2016-02-09 2019-07-17 株式会社リコー 情報処理システム、情報処理方法及び情報処理プログラム
JP6662449B2 (ja) * 2016-03-09 2020-03-11 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
EP3217374A1 (en) * 2016-03-10 2017-09-13 Volvo Car Corporation Method and system for estimating a boundary of a road technical field
JP6723079B2 (ja) 2016-06-08 2020-07-15 日立オートモティブシステムズ株式会社 物体距離検出装置
RU2742222C2 (ru) * 2016-07-12 2021-02-03 Ниссан Мотор Ко., Лтд. Способ управления движением транспортного средства и устройство управления движением транспортного средства
CA3029124A1 (en) * 2016-07-21 2018-01-25 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US11086334B2 (en) * 2016-07-21 2021-08-10 Mobileye Vision Technologies Ltd. Crowdsourcing a sparse map for autonomous vehicle navigation
US9990728B2 (en) * 2016-09-09 2018-06-05 Adobe Systems Incorporated Planar region guided 3D geometry estimation from a single image
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
JP6740116B2 (ja) * 2016-12-23 2020-08-12 株式会社Ｚｍｐ 移動車両
JP7034158B2 (ja) * 2017-06-15 2022-03-11 日立Astemo株式会社 車両システム
WO2019031137A1 (ja) 2017-08-07 2019-02-14 日立オートモティブシステムズ株式会社 路側物検出装置、路側物検出方法及び路側物検出システム
JP6548312B2 (ja) 2017-09-19 2019-07-24 株式会社Ｓｕｂａｒｕ 画像処理装置
JP6923472B2 (ja) * 2018-03-23 2021-08-18 ヤンマーパワーテクノロジー株式会社 障害物検知システム
US20200049513A1 (en) * 2018-08-10 2020-02-13 Delphi Technologies, Llc Positioning system
EP3620332B1 (en) * 2018-09-05 2021-03-10 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
US11926339B2 (en) * 2018-09-30 2024-03-12 Great Wall Motor Company Limited Method for constructing driving coordinate system, and application thereof
US10735716B2 (en) * 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
US10915762B1 (en) 2018-12-07 2021-02-09 Waymo Llc Sidewalk detection for pedestrian behavior modeling
JP7203586B2 (ja) * 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
US11370329B2 (en) * 2019-02-27 2022-06-28 Toyota Jidosha Kabushiki Kaisha Control apparatus of vehicle seat
US11238604B1 (en) * 2019-03-05 2022-02-01 Apple Inc. Densifying sparse depth maps
JP7167834B2 (ja) * 2019-04-24 2022-11-09 中西金属工業株式会社 障害物・段差検知システム、及び移動体の注意喚起システム
KR102255924B1 (ko) * 2019-09-27 2021-05-25 주식회사 서울로보틱스 레인을 검출하는 차량 및 방법
JP7380196B2 (ja) * 2019-12-25 2023-11-15 株式会社ジェイテクト 位置関係検出装置
JP2021103132A (ja) * 2019-12-25 2021-07-15 株式会社ジェイテクト 位置関係検出システム
JP7482054B2 (ja) * 2020-02-27 2024-05-13 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
US11634124B2 (en) * 2020-08-26 2023-04-25 Carvi Inc. Method of recognizing median strip and predicting risk of collision through analysis of image
US11741718B2 (en) 2021-05-18 2023-08-29 Hitachi Astemo, Ltd. Light interference detection during vehicle navigation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090240432A1 (en) * 2008-03-18 2009-09-24 Denso Corporation Vehicle-installation obstacle detection apparatus
CN102227758A (zh) * 2008-11-28 2011-10-26 日立汽车系统株式会社 摄像装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07271978A (ja) 1994-03-29 1995-10-20 Toshiba Corp 画像処理装置
JP3866328B2 (ja) * 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JPH10307627A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd 自律走行作業車の作業境界検出装置及び倣い走行制御装置
JPH1114376A (ja) 1997-06-20 1999-01-22 Nissan Motor Co Ltd 車両用走行路検出装置
JP3920535B2 (ja) * 2000-06-12 2007-05-30 株式会社日立製作所 車両検出方法及び車両検出装置
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
JP4635746B2 (ja) 2005-07-05 2011-02-23 株式会社豊田中央研究所 画像認識装置
JP4835201B2 (ja) * 2006-02-27 2011-12-14 トヨタ自動車株式会社 立体形状検出装置
JP4801821B2 (ja) * 2007-09-21 2011-10-26 本田技研工業株式会社 道路形状推定装置
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
JP2010020476A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP5441549B2 (ja) 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
US8791806B2 (en) * 2011-11-28 2014-07-29 Trimble Navigation Limited Real-time detection of hazardous driving
JP2013142972A (ja) 2012-01-10 2013-07-22 Toyota Motor Corp 走行路認識装置
JP2013161190A (ja) 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090240432A1 (en) * 2008-03-18 2009-09-24 Denso Corporation Vehicle-installation obstacle detection apparatus
CN102227758A (zh) * 2008-11-28 2011-10-26 日立汽车系统株式会社 摄像装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DANESCU R 等: "probabilistic lane tracking in difficult road scenarios using stereovision", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
ONIGA F 等: "processing dense stereo data using elevation maps：road surface，traffic isle and obstacle detection", 《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》 *
THOMAS MICHALKE 等: "A self-adaptive approach for curbstone/roadside detection based on human-like signal processing and multisensor fusion", 《INTELLIGENT VEHICLES SYMPOSIUM》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107430774A (zh) * 2014-11-18 2017-12-01 日立汽车系统株式会社 行驶道路识别装置和使用其的行驶辅助系统
CN107045620A (zh) * 2015-10-27 2017-08-15 富士通天株式会社 图像处理设备和图像处理方法
CN106650563A (zh) * 2015-10-28 2017-05-10 现代自动车株式会社 校正误识别的车道的信息的方法和系统
CN111316322B (zh) * 2017-11-08 2023-10-13 歌乐株式会社 路面区域检测装置
CN111316322A (zh) * 2017-11-08 2020-06-19 歌乐株式会社 路面区域检测装置
CN112513573B (zh) * 2018-08-13 2022-06-10 日立安斯泰莫株式会社 立体摄像机装置
CN112513573A (zh) * 2018-08-13 2021-03-16 日立汽车系统株式会社 立体摄像机装置
CN109815879A (zh) * 2019-01-18 2019-05-28 北京地平线机器人技术研发有限公司 目标检测方法、装置和电子设备
CN112455435A (zh) * 2019-09-06 2021-03-09 丰田自动车株式会社 驾驶辅助装置
CN112455435B (zh) * 2019-09-06 2023-09-01 丰田自动车株式会社 驾驶辅助装置
US11648936B2 (en) 2019-10-09 2023-05-16 Apollo Intelligent Driving Technology (Beiiing) Co., Ltd. Method and apparatus for controlling vehicle
CN110654381A (zh) * 2019-10-09 2020-01-07 北京百度网讯科技有限公司 用于控制车辆的方法和装置
US20230051270A1 (en) * 2020-02-25 2023-02-16 Hitachi Astemo, Ltd. Processing device
US11881034B2 (en) * 2020-02-25 2024-01-23 Hitachi Astemo, Ltd. Processing device

Also Published As

Publication number Publication date
EP2863358A1 (en) 2015-04-22
US20150165972A1 (en) 2015-06-18
EP2863358A4 (en) 2016-07-06
JP2014002608A (ja) 2014-01-09
JP5829980B2 (ja) 2015-12-09
US9676330B2 (en) 2017-06-13
WO2013190719A1 (ja) 2013-12-27

Similar Documents

Publication Publication Date Title
CN104520894A (zh) 路旁物检测装置
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别系统及方法
CN109844762B (zh) 车载用图像处理装置
US10373338B2 (en) Calculation device, camera device, vehicle, and calibration method
JP5880703B2 (ja) 車線区分標示検出装置、運転支援システム
US11373532B2 (en) Pothole detection system
US9349058B2 (en) Vehicular path sensing system and method
CN103731652B (zh) 移动面分界线认知装置和方法、以及移动体设备控制系统
JP4676373B2 (ja) 周辺認識装置、周辺認識方法、プログラム
US20140320644A1 (en) Determination of a height profile of the surroundings of a vehicle by means of a 3d camera
EP1403615A2 (en) Apparatus and method for processing stereoscopic images
JP4901275B2 (ja) 走行誘導障害物検出装置および車両用制御装置
CN103196418A (zh) 一种弯道车距测量方法
CN108974007B (zh) 确定主动巡航控制的兴趣物体
US10846546B2 (en) Traffic signal recognition device
JP2007264712A (ja) 車線検出装置
CN107886030A (zh) 车辆识别方法、装置及车辆
JP2020187474A (ja) 走行車線認識装置、走行車線認識方法およびプログラム
JP5421819B2 (ja) 車線認識装置
CN107886729A (zh) 车辆识别方法、装置及车辆
JP5910180B2 (ja) 移動物体位置姿勢推定装置及び方法
JP3440956B2 (ja) 車両用走行路検出装置
JP6441558B2 (ja) 物体位置判定装置
JP2017129543A (ja) ステレオカメラ装置及び車両
JP5888275B2 (ja) 道路端検出システム、方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150415

WD01 Invention patent application deemed withdrawn after publication