CN104115188A - 立体物检测装置 - Google Patents

立体物检测装置 Download PDF

Info

Publication number
CN104115188A
CN104115188A CN201380009568.3A CN201380009568A CN104115188A CN 104115188 A CN104115188 A CN 104115188A CN 201380009568 A CN201380009568 A CN 201380009568A CN 104115188 A CN104115188 A CN 104115188A
Authority
CN
China
Prior art keywords
light source
threshold value
stereoscopic article
unit
confidence level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380009568.3A
Other languages
English (en)
Other versions
CN104115188B (zh
Inventor
早川泰久
深田修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN104115188A publication Critical patent/CN104115188A/zh
Application granted granted Critical
Publication of CN104115188B publication Critical patent/CN104115188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

具有：立体物检测单元(32、33)，其在对不同的时刻的鸟瞰视野图像进行位置对齐而得到的差分图像上基于具有大于或等于第1阈值的差分的像素数，生成差分波形信息，在规定的检测框内在差分波形信息大于或等于第2阈值的情况下，基于差分波形信息，对立体物进行检测；光源检测单元(35)，其用于对光源进行检测；可信度判定单元(34)，其用于对光源是在更相邻车道行驶的其他车辆的前大灯的可信度进行判定；控制单元(35)，其在可信度大于或等于规定值的情况下，对第1阈值或者第2阈值进行设定，以使得在检测框内在与将光源与拍摄单元(10)连接的线相比为前方的前方区域中难以检测到立体物，在可信度小于规定值的情况下，对第1阈值或者第2阈值进行设定，以使得随着从检测框内的中央侧朝向前端或者后端而难以检测到立体物。

Description

立体物检测装置
技术领域
本发明涉及立体物检测装置。
本申请基于2012年3月1日申请的日本国专利申请的特愿2012－045356主张优先权，对于认可通过文献的参照进行的编入的指定国，通过参照将上述的申请所记载的内容编入引入本申请中，作为本申请的记载的一部分。
背景技术
当前，已知有如下技术：将在不同的时刻拍摄到的两张拍摄图像变换为鸟瞰视野图像，基于变换后的两张鸟瞰视野图像的差分对障碍物进行检测(参照专利文献1)。
专利文献1：日本特开2008－227646号公报
发明内容
在夜间，使用对本车辆后方进行拍摄的图像，对在与本车辆所行驶的车道相邻的相邻车道上行驶的其他车辆进行检测的情况下，如果在与相邻车道相邻的车道(下面也称为更相邻车道)行驶的其他车辆的前大灯的光向检测区域照射，有时会将该前大灯的光的像误检测为在相邻车道上行驶的其他车辆。因此，想到了如下方法：在本车辆后方检测到光源的情况下，与光源的位置相对应地提高用于对在相邻车道上行驶的其他车辆进行检测的检测基准，从而排除在更相邻车道上行驶的其他车道的前大灯的影响。但是，在检测到的光源不是在更相邻车道上行驶的其他车辆的前大灯的情况下，如果为了排除在更相邻车道行驶的车辆的前大灯的影响，而变更检测基准，有时反而无法适当地对在相邻车道上行驶的其他车辆进行检测。
本发明所要解决的课题在于，在对在与本车辆行驶的车道相邻的相邻车道上行驶的其他车辆进行检测时，排除从在与相邻车道相邻的更相邻车道上行驶的其他车辆的前大灯照射的光的影响，准确地检测在相邻车道上行驶的其他车辆。
本发明通过如下方式解决上述课题：对存在于本车辆后方的光源进行检测，对检测到的光源是在与相邻车道相邻的更相邻车道行驶的其他车辆的前大灯的可信度进行计算，在计算出的可信度大于或等于规定值的情况下，基于拍摄单元与光源之间的位置关系，对用于检测相邻车辆的检测基准进行设定，在可信度小于规定值的情况下，与距拍摄单元的后方距离相对应地设定用于检测相邻车辆的阈值。
根据本发明，基于检测到的光源是在与相邻车道相邻的更相邻车道上行驶的其他车辆的前大灯的可信度，对用于检测立体物的阈值进行设定，从而，在检测到的光源是在相邻车道上行驶的其他车辆的前大灯的情况下，也能够适当地排除前大灯的光的影响，能够适当地检测在相邻车道上行驶的其他车辆。
附图说明
图1是搭载有第1实施方式涉及的立体物检测装置的车辆的概略构成图。
图2是表示图1的车辆的行驶状态的俯视图。
图3是表示第1实施方式涉及的计算机的详细情况的框图。
图4是用于对第1实施方式涉及的位置对齐部的处理的概要进行说明的图，(a)是表示车辆的移动状态的俯视图、(b)是表示位置对齐的概要的图像。
图5是表示由第1实施方式涉及的立体物检测部生成差分波形的情形的概略图。
图6是用于对第1实施方式涉及的相邻车辆的检测方法进行说明的图。
图7是表示检测区域A1、A2内的检测位置处的亮度与第1阈值α1之间的关系的一个例子的曲线图。
图8是用于对距照相机的后方距离与第1阈值α1之间的关系进行说明的图。
图9A是表示更相邻车辆的前大灯的光向检测区域A1、A2内的区域R2照射的情景的图。
图9B是表示更相邻车辆的前大灯的光向检测区域A1、A2内的区域R1照射的情景的图。
图9C是表示更相邻车辆的前大灯的光向检测区域A1、A2内的区域R3照射的情景的图。
图10是表示第1阈值对应图的一个例子的曲线图，其中，该第1阈值对应图表示检测区域A1、A2内的检测位置处的亮度与阈值α2’之间的关系。
图11是表示第2阈值对应图的一个例子的图，该第2阈值对应图表示检测区域A1、A2内的检测位置处的亮度与阈值α2”之间的关系进行表示的。
图12是表示对从第2阈值对应图获得的阈值α2”的权重wt进行了规定的控制对应图的一个例子的图。
图13是用于对图12所示的控制对应图的调整方法进行说明的图。
图14是表示由第1实施方式涉及的立体物检测部分割的小区域的图。
图15是表示由第1实施方式涉及的立体物检测部获得的柱状图的一个例子的图。
图16是表示由第1实施方式涉及的立体物检测部进行的加权的图。
图17是表示由第1实施方式涉及的立体物检测部获得的柱状图的其他例子的图。
图18是表示第1实施方式涉及的相邻车辆检测方法的流程图。
图19是步骤S105的阈值α的设定处理的流程图。
图20是表示第2实施方式涉及的计算机的详细情况的框图。
图21是表示车辆的行驶状态的图，(a)是表示检测区域等的位置关系的俯视图、(b)是表示实际空间中的检测区域等的位置关系的斜视图。
图22是用于对第2实施方式涉及的亮度差计算部的动作进行说明的图，(a)是表示鸟瞰视野图像中的注视线、参照线、注视点以及参照点的位置关系的图，(b)是表示实际空间中的注视线、参照线、注视点以及参照点的位置关系的图。
图23是用于对第2实施方式涉及的亮度差计算部的详细的动作进行说明的图，(a)表示鸟瞰视野图像中的检测区域的图，(b)表示鸟瞰视野图像中的注视线、参照线、注视点以及参照点的位置关系的图。
图24是表示用于对边缘检测动作进行说明的图像例的图。
图25是表示检测区域A1、A2内的检测位置处的亮度与第3阈值β1之间的关系的一个例子的曲线图。
图26是用于对距照相机的后方距离与第3阈值β1之间的关系进行说明的图。
图27是表示第3阈值对应图的一个例子的图，其中，该第3阈值对应图表示检测区域A1、A2内的亮度与阈值β2’之间的关系。
图28是表示第4阈值对应图的一个例子的图，其中，该第4阈值对应图表示检测区域A1、A2内的亮度与阈值β2”之间的关系。
图29是表示对从第4阈值对应图获得的阈值β2”的权重wt进行了规定的控制对应图的一个例子的图。
图30是表示边缘线与边缘线上的亮度分布的图，(a)是表示在立体物(相邻车辆)存在于检测区域中的情况下的亮度分布的图，(b)是表示在立体物不存在于检测区域中的情况下的亮度分布的图。
图31是表示第2实施方式涉及的相邻车辆检测方法的流程图。
图32是表示其他实施方式涉及的控制对应图的图。
具体实施方式
《第1实施方式》
图1是搭载有第1实施方式涉及的立体物检测装置1的车辆的概略构成图。本实施方式涉及的立体物检测装置1的目的在于，对在本车辆V1变更车道时有可能接触的存在于相邻车道的车辆(下面也称为相邻车辆V2)进行检测。如图1所示，本实施方式涉及的立体物检测装置1包括照相机10、车速传感器20和计算机30。
如图1所示，照相机10在本车辆V1的后方的高度h的部位处以光轴从水平向下成为角度θ的方式安装于车辆V1上。照相机10从该位置对本车辆V1的周围环境中的规定区域进行拍摄。车速传感器20用于对本车辆V1的行驶速度进行检测，例如根据由对车轮的转速进行探测的车轮速度传感器检测出的车轮速度计算车速。计算机30对存在于本车辆后方的相邻车道的相邻车辆进行检测。
图2是表示图1的本车辆V1的行驶状态的俯视图。如图2所示，照相机10以规定的视场角a对车辆后方侧进行拍摄。此时，照相机10的视场角a设定为除了能够拍摄本车辆V1所行驶的车道之外，还能拍摄其左右的车道(相邻车道)的视场角。
图3是表示图1的计算机30的详细情况的框图。此外，在图3中为了明确连接关系，也图示了照相机10、车速传感器20。
如图3所示，计算机30具有视点变换部31、位置对齐部32、立体物检测部33、可信度判定部34、以及检测基准设定部35。下面，对各自的结构进行说明。
视点变换部31输入利用照相机10的拍摄而获得的规定区域的拍摄图像数据，将输入的拍摄图像数据视点变换为鸟瞰观察的状态的鸟瞰视野图像数据。所谓鸟瞰观察的状态是从上空例如铅垂向下俯视的假想照相机的视点观察到的状态。该视点变换能够以例如日本特开2008－219063号公报所记载的方式执行。将拍摄图像数据视点变换为鸟瞰视野图像数据是基于下述原理，即，立体物所特有的铅垂边缘在向鸟瞰视野图像数据的视点变换时，被变换为通过特定的定点的直线组，因此只要利用此原理，就能够识别平面物和立体物。
位置对齐部32将通过视点变换部31的视点变换而获得的鸟瞰视野图像数据依次输入，对输入的不同时刻的鸟瞰视野图像数据的位置进行位置对齐。图4是用于说明位置对齐部32的处理的概要的图，(a)是表示本车辆V1的移动状态的俯视图、(b)是表示位置对齐的概要的图像。
如图4的(a)所示，设为当前时刻的本车辆V1位于P1，一个时刻前的本车辆V1位于P1’。另外，相邻车辆V2位于本车辆V1的后侧方向上，处于与本车辆V1并行的状态，设为当前时刻的相邻车辆V2位于P2，一个时刻前的相邻车辆V2位于P2’。并且，设为本车辆V1以一个时刻移动了距离d。此外，一个时刻前既可以是从当前时刻起早预定的时间(例如1个控制周期)的时刻，也可以是早任意的时间的时刻。
在这样的状态下，当前时刻的鸟瞰视野图像PBt如图4的(b)所示。在该鸟瞰视野图像PBt中，对于描绘在路面上的白线，成为矩形形状，比较准确地成为俯视的状态，但对于相邻车辆V2(位置P2)，发生歪斜。另外，对于一个时刻前的鸟瞰视野图像PBt-1也同样地，对于描绘在路面上的白线，成为矩形形状，比较准确地成为俯视的状态，但对于相邻车辆V2(位置P2’)，发生歪斜。其原因在于，如上所述，立体物的铅垂边缘(除了严格意义上的铅垂边缘以外，还包含从路面以三维空间立起的边缘)由于向鸟瞰视野图像数据的视点变换处理而呈现为沿着歪斜的方向的直线组，与此相对，路面上的平面图像不包含铅垂边缘，因此，即使进行视点变换，也不产生那样的歪斜。
位置对齐部32在数据上执行如上述的鸟瞰视野图像PBt、PBt-1的位置对齐。此时，位置对齐部32使一个时刻前的鸟瞰视野图像PBt-1偏置，并使其与当前时刻的鸟瞰视野图像PBt的位置一致。图4的(b)中的左侧的图像和中央的图像表示偏置了移动距离d’的状态。该偏置量d’是与图4的(a)所示的本车辆V1的实际的移动距离d相对应的鸟瞰视野图像数据上的移动量，基于来自车速传感器20的信号和从一个时刻前到当前时刻为止的时间确定。
另外，在位置对齐后，位置对齐部32取得鸟瞰视野图像PBt、PBt-1的差分，生成差分图像PDt的数据。在此，在本实施方式中，位置对齐部32为了与照度环境的变化相对应，而将鸟瞰视野图像PBt、PBt-1的像素值的差绝对值化，在该绝对值大于或等于规定的阈值th时，差分图像PDt的像素值设为“1”，在绝对值小于规定的阈值th时，差分图像PDt的像素值设为“0”，从而能够生成如图4的(b)的右侧所示的差分图像PDt的数据。
返回到图3，立体物检测部33基于图4的(b)所示的差分图像PDt的数据，对立体物进行检测。此时，立体物检测部33对于实际空间上的立体物的移动距离也进行计算。在进行立体物的检测和移动距离的计算时，立体物检测部33首先生成差分波形。
在生成差分波形时，立体物检测部33在差分图像PDt中设定检测区域。本例的立体物检测装置1的目的在于，对在本车辆V1变更车道时有可能接触的相邻车辆计算移动距离。因此，在本例中，如图2所示在本车辆V1的后侧方设定矩形形状的检测区域A1、A2。此外，这样的检测区域A1、A2既可以根据相对于本车辆V1的相对位置进行设定，也可以以白线的位置为基准进行设定。在以白线的位置为基准进行设定的情况下，立体物检测装置1可以利用例如现有的白线识别技术等。
另外，如图2所示，立体物检测部33将设定的检测区域A1、A2的本车辆V1侧的边(沿着行驶方向的边)识别为接地线L1、L2。通常接地线是指立体物与地面接触的线，但在本实施方式中不是与地面接触的线，而是如上所述地设定。此外，即使是该情况下，从经验上来看，本实施方式涉及的接地线与根据相邻车辆V2原来的位置求出的接地线之差也不会过大，在实际使用方面没有问题。
图5是表示由立体物检测部33生成差分波形的情形的概略图。如图5所示，立体物检测部33根据在由位置对齐部32计算出的差分图像PDt(图4的(b)的右图)中与检测区域A1、A2相当的部分，生成差分波形DWt。此时，立体物检测部33沿着由于视点变换而立体物歪斜的方向，生成差分波形DWt。此外，在图5所示的例中，出于方便，仅采用检测区域A1进行说明，但对于检测区域A2也以同样的顺序生成差分波形DWt。
具体地进行说明，首先，立体物检测部33在差分图像PDt的数据上对立体物歪斜的方向上的线La进行定义。然后，立体物检测部33在线La上对表示规定的差分的差分像素DP的数量进行计数。在本实施方式中，表示规定的差分的差分像素DP是差分图像PDt的像素值以“0”、“1”表现，示出“1”的像素作为差分像素DP进行计数。
立体物检测部33在对差分像素DP的数量进行了计数之后，求出线La与接地线L1的交点CP。然后，立体物检测部33使交点CP与计数数量相对应，基于交点CP的位置对横轴位置、即图5右图的上下方向轴上的位置进行确定，并且，根据计数数量对纵轴位置、即图5右图的左右方向轴上的位置进行确定，作为交点CP处的计数数量进行标示。
以下，同样地，立体物检测部33对立体物歪斜的方向上的线Lb、Lc…进行定义，对差分像素DP的数量进行计数，基于各交点CP的位置确定横轴位置，根据计数数量(差分像素DP的数量)确定纵轴位置并进行标示。立体物检测部33依次重复上述内容而进行频率分布化，从而如图5右图所示生成差分波形DWt。
在此，差分图像PDt的数据上的差分像素PD是在不同的时刻的图像中存在变化的像素，换言之，也可以说是存在有立体物的部位。因此，在存在有立体物的部位，沿着立体物歪斜的方向对像素数进行计数而进行频率分布化，从而生成差分波形DWt。尤其是，沿着立体物歪斜的方向对像素数量进行计数，因此，对于立体物根据高度方向的信息生成差分波形DWt。
此外，如图5左图所示，立体物歪斜的方向上的线La和线Lb与检测区域A1重复的距离不同。因此，如果检测区域A1被差分像素DP充满，则线La上的差分像素DP的数量多于线Lb上的差分像素DP的数量。因此，在立体物检测部33根据差分像素DP的计数数量确定纵轴位置的情况下，基于立体物歪斜的方向上的线La、Lb与检测区域A1重复的距离进行标准化。如果列举具体例，在图5左图中线La上的差分像素DP有6个，线Lb上的差分像素DP有5个。因此，在图5中根据计数数量确定纵轴位置时，立体物检测部33将计数数量除以重复距离等而进行标准化。由此，如差分波形DWt所示，与立体物歪斜的方向上的线La、Lb相对应的差分波形DWt的值大致相同。
在生成差分波形DWt之后，立体物检测部33基于生成的差分波形DWt进行对存在于相邻车道的相邻车辆的检测。在此，图6是用于说明由立体物检测部33进行的相邻车辆的检测方法的图，示出差分波形DWt和对相邻车辆进行检测的阈值α的一个例子。如图6所示，立体物检测部33对生成的差分波形DWt的峰值是否大于或等于与该差分波形DWt的峰值的位置相对应的阈值α进行判断。并且，立体物检测部33在差分波形DWt的峰值小于阈值α的情况下，判断为在检测区域A1、A2中不存在相邻车辆，另一方面，在差分波形DWt的峰值大于或等于阈值α的情况下，判断为在检测区域A1、A2中存在相邻车辆，从而对存在于相邻车道的相邻车辆进行检测。
如上所述，差分波形DWt是表示规定亮度差的像素的分布信息的一个方式，本实施方式中的“像素的分布信息”可视为表示沿着在将拍摄图像视点变换为鸟瞰视野图像时立体物歪斜的方向检测的“亮度差大于或等于规定阈值的像素”的分布的状态的信息。即，立体物检测部33在由视点变换部31获得的鸟瞰视野图像上，将在视点变换为鸟瞰视野图像时立体物歪斜的方向上，亮度差大于或等于规定阈值th的像素的分布信息作为差分波形DWt进行检测，并且，在立体物歪斜的方向上的像素的分布的程度(差分波形DWt上的差分像素DP的计数数量)大于或等于阈值α的情况下，基于差分波形DWt对立体物进行检测。
下面，说明用于对相邻车辆进行检测的阈值α的设定方法。
阈值α由图3所示的检测基准设定部35设定。在本实施方式中，如后所述，检测基准设定部35基于由图3所示的可信度判定部34检测到的可信度，将对应于距照相机10的后方距离而设定的第1阈值α1、和对应于照相机10与光源之间的位置关系而设定的第2阈值α2中的任一个设定为用于基于差分波形DWt对相邻车辆进行检测的阈值α。
可信度判定部34在本车辆后侧方检测到光源的情况下，将检测到的光源是在本车辆后侧方的更相邻车道(与本车道的隔着一个车道而相邻的车道)行驶的其他车辆(下面称为更相邻车辆)的前大灯的确信性作为可信度进行判定。下面说明由可信度判定部34进行的可信度的判定方法。此外，在本实施方式中，如后所述，光源的检测由检测基准设定部35进行。
在本实施方式中，可信度判定部34基于检测到的光源的数量、光源的位置和光源的状态的时间变化，对检测到的光源是更相邻车辆的前大灯的可信度进行判定。
例如，可信度判定部34在检测区域A1、A2内所检测到的光源的数量较多的情况下，判断为检测到的光源是例如路灯、灯饰的广告牌等，是更相邻车辆的前大灯的可能性较低，判定为检测到的光源是更相邻车辆的前大灯的可信度较低。
另外，可信度判定部34基于光源的位置、即光源的高度(光源的铅垂方向上的位置)、光源的车宽方向上的位置和光源的本车辆行进方向上的位置，对检测到的光源是更相邻车辆的前大灯的可信度进行判定。例如，可信度判定部34在光源的高度较高的情况下，判断为检测到的光源是源于路灯的可能性较高的光源，判定为检测到的光源是更相邻车辆的前大灯的可信度较低。另外，可信度判定部34判断为，光源的车宽方向上的位置越远离本车辆，则检测到的光源是存在于与相邻车道相比远离本车辆的更相邻车道上的更相邻车辆的前大灯的可能性越高，判定为检测到的光源是更相邻车辆的前大灯的可信度较高。并且，可信度判定部34判断为，光源的本车辆行进方向上的位置越远离本车辆，则检测到的光源是更相邻车辆的前大灯的可能性越低，判定为检测到的光源是更相邻车辆的前大灯的可信度较低。
并且，可信度判定部34基于光源的状态的时间变化，对检测到的光源是更相邻车辆的前大灯的可信度进行判定。例如，可信度判定部34在检测到的光源的大小的时间变化较小的情况下，判断为检测到的光源是在与相邻车道相比远离本车辆的更相邻车道上行驶的更相邻车辆的前大灯的可能性较高，判定为检测到的光源是更相邻车辆的前大灯的可信度较高。另外，例如，可信度判定部34在检测到的光源的位置的时间变化较小的情况下、及检测到的光源的亮度的时间变化较小的情况下，也判断为检测到的光源是在与相邻车道相比远离本车辆的更相邻车道上行驶的更相邻车辆的前大灯的可能性较高，判定为检测到的光源是更相邻车辆的前大灯的可信度较高。
并且，可信度判定部34基于这些光源的数量、光源的位置和光源的状态的时间变化，对检测到的光源是更相邻车辆的前大灯的可信度综合地进行判定。这样，通过对光源的数量、光源的位置和光源的状态的时间变化综合地进行判断，从而能够对检测到的光源是否为源于更相邻车辆的前大灯的光源进行适当的判定。此外，可信度判定部34也可以构成为在对可信度进行判定时增加检测到的光源的大小。例如，可信度判定部34可构成为：在检测到的光源的大小与更相邻车辆的通常的前大灯的大小相差较大的情况下，判定为可信度较低。
并且，检测基准设定部35对由可信度判定部34判定的可信度是否大于或等于规定值进行判断，在可信度小于规定值的情况下，将后述的对应于距照相机10的后方距离而设定的第1阈值α1设定为用于基于差分波形DWt对相邻车辆进行检测的阈值α，另一方面，在可信度大于或等于规定值的情况下，将后述的对应于照相机10与光源之间的位置关系而设定的第2阈值α2设定为用于基于差分波形DWt对相邻车辆进行检测的阈值α。在此，首先，对与距照相机10的后方距离相对应的第1阈值α1的设定方法进行说明。
检测基准设定部35针对与图5左图所示的立体物歪斜的方向上的各线La、Lb、Lc…相对应的检测区域A1、A2内的每个位置(下面称为检测区域A1、A2内的检测位置)，对应于检测区域A1、A2内的检测位置处的亮度(例如，图5左图所示的立体物歪斜的方向上的各线La、Lb、Lc…上的差分像素DP的平均亮度等)以及距照相机10的后方距离，设定第1阈值α1。在此，图7是表示检测区域A1、A2内的检测位置处的亮度与第1阈值α1之间的关系的一个例子的曲线图，图8是用于对距照相机10的后方距离与第1阈值α1之间的关系进行说明的图。
具体而言，如图7所示，检测区域A1、A2内的检测位置处的亮度越高，检测基准设定部35将与该检测位置相对应的第1阈值α1设定为越高的值。由此，例如，亮度较高的更相邻车辆(存在于与本车道的隔着一个车道而相邻的车道上的车辆)的前大灯的光照射到相邻车道的情况下，基于更相邻车辆的前大灯的光的差分波形DWt的峰值也小于第1阈值α1，能够排除更相邻车辆的前大灯的光的影响，因此，能够有效地防止将更相邻车辆的前大灯的光的像误检测为相邻车辆。
并且，检测基准设定部35基于与距照相机10的后方距离对应地设定的第1阈值α1的增益，对与检测区域A1、A2内的检测位置处的亮度对应地设定的第1阈值α1进行变更。例如，如图8左图所示，检测基准设定部35与距照相机10的后方距离对应地将检测区域A1、A2分割成3个区域。在图8左图所示的例子中，检测基准设定部35将检测区域A1、A2分割成如下三个区域：距照相机10的后方距离小于距离D1的区域R1；距照相机10的后方距离大于或等于距离D1且小于距离D2的区域R2；距照相机10的后方距离大于或等于距离D2且小于距离D3的区域R3。此外，对于图8，仅图示检测区域A1并进行说明，但对检测区域A2也同样地设定有第1阈值α1的增益。
如图8右图所示，第1阈值α1的增益与距照相机10的后方距离对应地设定。例如，在检测区域A1中距照相机10的后方距离大于或等于距离D1且小于距离D2的区域R2中，第1阈值α1的增益被设定为恒定的值。相对于此，在检测区域A1中距照相机10的后方距离小于距离D1的区域R1中，成为比在区域R2中设定的第1阈值α1高的增益，另外，距照相机10的后方距离越小(越接近本车辆)、第1阈值α1的增益越高。并且，在检测区域A1中距照相机10的后方距离大于或等于距离D2的区域R3也成为比在区域R2中设定的第1阈值α1高的增益，另外，距照相机10的后方距离越大(越远离本车辆)、第1阈值α1的增益越高。
在这里，图9A表示在检测区域A2内的区域R2中检测到更相邻车辆V3的前大灯的情景。如图9A所示，在检测区域A2中的区域R2中，更相邻车辆的前大灯的光从更相邻车辆向照相机10直线照射，入射到照相机10的前大灯的光量变多，因此，区域R2中的亮度比检测区域A2中的其他区域R1、R2高。因此，如图8右图所示，在检测区域A1、A2内的区域R2中，在第1阈值α1的增益设为与检测区域A1、A2内的其他区域R1、R3相比较低的值的情况下，如图7所示，检测基准设定部35也能够对应于区域R2中的较高的亮度将阈值α设定得较高，由此，在区域R2中，能够有效地防止将更相邻车辆V3的前大灯的光误检测为相邻车辆。此外，对于图9A，仅图示检测区域A2进行说明，但对于检测区域A1也是同样的(后述的图9B、图9C中也相同)。
另外，图9B表示在检测区域A2内的区域R1中检测到更相邻车辆V3的前大灯的情景。如图9B所示，在与本车辆较近的区域R1中检测到更相邻车辆V3的前大灯的情况下，在从更相邻车辆V3照射的前大灯的光中向本车辆V1所存在的方向照射的仅一部分的光入射到照相机10。因此，在检测区域A1、A2中的与本车辆较近的区域R1中，通常，与检测区域A1、A2的区域R2相比，向照相机10入射的前大灯的光量较少，区域R1的亮度变低。因此，如图7所示，只是对应于亮度对第1阈值α1进行变更，有时会将照射到区域R1的更相邻车辆V3的前大灯的光误检测为相邻车辆。尤其是，在区域R1中，距照相机10的后方距离越小(与本车辆越近)，从更相邻车辆V3照射的前大灯的光越弱。相对于此，在本实施方式中，如图8右图所示，在区域R1中，与区域R2相比，第1阈值α1的增益设定得较高，并且，距照相机10的后方距离越小(与本车辆越近)，第1阈值α1的增益设定得越高。因此，在本实施方式中，检测基准设定部35即使在区域R1中检测到的更相邻车辆V3的前大灯的亮度较低的情况下也能够将阈值α变更为较高的值，由此，即使在区域R1中检测到的更相邻车辆V3的前大灯的亮度较低的情况下，也能够有效地防止将更相邻车辆V3的前大灯的光误检测为相邻车辆V2。
另外，图9C表示在检测区域A2内的区域R3中检测到更相邻车辆V3的前大灯的情景。如图9C所示，从位于与检测区域A1、A2相比的后方的位置处的多个车辆(例如，图9C所示的更相邻车辆V3、与该更相邻车辆V3相比位于更后方的车辆等)向离本车辆较远的区域R3照射各种亮度的光。即，有时在区域R3中检测到的更相邻车辆V3的前大灯的光的亮度比区域R2中的光的亮度低，在这样的情况下，如图7所示，只是对应于亮度变更第1阈值α1，有时会将照射到区域R3的更相邻车辆V3的前大灯的光的像误检测为相邻车辆。尤其是，在区域R3中，存在距照相机10的后方距离越大(越远离本车辆)，照射的前大灯的光的亮度越波动的倾向，有可能照射亮度更低的光。相对于此，在本实施方式中，如图8右图所示，在区域R3中，与区域R1同样地，与区域R2相比，第1阈值α1的增益设定得较高，并且，距照相机10的后方距离越大(越远离本车辆)，第1阈值α1的增益设定得越高。因此，在本实施方式中，检测基准设定部35即使在区域R3中检测到的更相邻车辆V3的前大灯的亮度较低的情况下，也能够将第1阈值α1变更为较高的值，由此，即使在区域R3中检测到的更相邻车辆V3的前大灯的亮度较低的情况下，也能够有效地防止将更相邻车辆V3的前大灯的光误检测为相邻车辆V2。
如上所述，如图7所示，检测基准设定部35与检测区域A1、A2内的检测位置处的亮度相对应地设定第1阈值α1，并且，如图8所示，将设定的第1阈值α1的增益与距照相机10的后方距离对应地变更，从而，如图6所示，对与检测区域A1、A2内的各检测位置相对应的第1阈值α1进行设定。例如，检测基准设定部35参照图7，与图5左图所示的线La上的差分像素DP的亮度相对应地设定第1阈值α1，并且，利用图8右图所示的第1阈值α1的增益中的线La的交点CP的位置处的第1阈值α1的增益，对设定的阈值即第1阈值α1进行变更，从而对与线La相对应的位置的第1阈值α1进行计算。同样地，检测基准设定部35对与线Lb、Lc…相对应的位置的第1阈值α1进行计算，从而，如图6所示，对与检测区域A1、A2内的各检测位置相对应的第1阈值α1进行设定。
此外，检测基准设定部35用于进行阈值α的设定，从而能够防止将照射到相邻车道的更相邻车辆V3的前大灯的光的像误检测为相邻车辆。因此，在本实施方式中，也可以构成为将与距照相机10的后方距离相对应地变更第1阈值α1的处理仅在更相邻车辆V3使前大灯亮灯的条件(例如，夜间)下执行。此外，检测基准设定部35例如在由照相机10拍摄到的图像的亮度小于或等于规定值的情况下，可判断为更相邻车辆V3使前大灯亮灯的条件(例如，夜间)。
下面，对与照相机10和光源之间的位置关系相对应的第2阈值α2的设定方法进行说明。在本实施方式中，检测基准设定部35具有如图10所示表示检测区域A1、A2内的检测位置处的亮度与规定的阈值α2’之间的关系的第1阈值对应图、和如图11所示表示检测区域A1、A2内的检测位置处的亮度与规定的阈值α2”之间的关系的第2阈值对应图。图10所示的第1阈值对应图被设定为，容易对相邻车辆的特征部分即轮胎轮毂进行检测，在亮度比较低的情况下阈值α2’成为较低的值。另一方面，图11所示的第2阈值对应图被设定为，例如即使在检测区域A1、A2内检测到更相邻车辆(存在于与本车道隔着一个车道而相邻的更相邻车道上的车辆)的前大灯的光的情况下，也为了使在检测到的前大灯周边不产生相邻车辆的误检测，即使在亮度比较低的情况下，阈值α2”也成为较高的值。具体而言，与在图10所示的第1阈值对应图中规定的阈值阈值α2’相比较，在图11所示的第2阈值对应图中规定的阈值α2”被设定为，即使在亮度较低的情况下也不会小于规定值St。
并且，检测基准设定部35使用与检测区域A1、A2内的检测位置处的亮度相对应地从图10所示的第1阈值对应图获得的阈值α2’、与检测区域A1、A2内的检测位置处的亮度对应地从图11所示的第2阈值对应图获得的阈值α2”，并按照下述式1，在检测区域内A1、A2内的检测位置中计算用于对相邻车辆进行检测的第2阈值α2。
[式1]
第2阈值α2＝{(1－wt)·从第1阈值对应图获得的阈值α2’)+(wt·从第2阈值对应图获得的阈值α2”)
此外，在上述式1中、wt是从第2阈值对应图(对防止前大灯周边的误检测加以重视的对用图)获得的阈值α2”的权重，该权重wt基于图12所示的控制对应图确定。
在这里，图12是对从第2阈值对应图获得的阈值α2”的权重wt进行规定的控制对应图的一个例子。此外，在图12所示的控制对应图中，纵轴表示从第2阈值对应图获得的阈值α2”的权重wt，横轴表示检测位置的本车辆行进方向上的位置。在图12所示的控制对应图中，在后述的基准位置PO处，权重wt为最大的“1”。因此，在按照上述式1计算出第2阈值α2的情况下，基准位置PO处的第2阈值α2与从对防止前大灯周边的误检测加以重视的第2阈值对应图获得的阈值α2”相等。另外，在图12所示的控制对应图中，在基准位置PO附近权重wt也成为接近“1”的值。因此，在按照上述式1计算出第2阈值α2的情况下，基准位置PO附近的第2阈值α2成为与从第2阈值对应图获得的阈值α2”接近的值。
另外，在图12所示的控制对应图中，在基准位置PO的后方，与基准位置PO的前方相比，在从基准位置PO稍微离开的位置处，权重wt成为“0”。因此，在按照上述式1计算出第2阈值α2的情况下，基准位置PO的后方的第2阈值α2与从容易对相邻车辆的轮胎轮毂进行检测的第1阈值对应图获得的阈值α2’相等。相反，在基准位置PO的前方，从第2阈值对应图获得的阈值α2”的权重wt以较高的值推移。因此，在按照上述式1计算出第2阈值α2的情况下，与基准位置PO的后方相比，在基准位置PO的前方，计算出对防止前大灯周边的误检测加以重视的阈值α2”。
并且，在本实施方式中，检测基准设定部35使用图12所示的控制对应图，在计算出用于对相邻车辆进行检测的第2阈值α2之前对应于照相机10与光源之间的位置关系，对图12所示的控制对应图进行调整。下面，参照图13，对图12所示的控制对应图的调整方法进行说明。在这里，图13是用于对图12所示的控制对应图的调整方法进行说明的图。
即，如图13的(A)右图所示，检测基准设计部35首先根据由照相机10拍摄到的拍摄图像对更相邻车辆V3的前大灯等光源进行检测。然后，检测基准设定部35对检测到的光源的重心位置进行检测，并对通过光源的重心位置和照相机10的中心位置的直线Lc进行设定。并且，检测基准设定部35对直线Lc与检测区域A2的更相邻车道侧的边(沿着行驶方向的边)L2’的交点O进行计算。此外，由检测基准设定部35进行的光源的检测方法随后论述。
并且，如图13的(A)左图所示，检测基准设定部35以使交点O与图12所示的控制对应图的基准位置PO一致的方式进行图12所示的控制对应图的调整。在这里，图13的(B)例示了从图13的(A)所示的情景而更相邻车辆V3向本车辆V1接近的情景。在图13的(B)所示的情景中，更相邻车辆V3向本车辆V1接近，因此，直线Lc与检测区域A2的线L2’的交点O与图13的(A)所示的交点O相比向前方(Y轴负方向)移动。因此，如图13的(B)左图所示，利用检测基准设定部35以使图13的(B)右图所示的交点O的位置与图12所示的控制对应图的基准位置PO一致的方式，对图12所示的控制对应图进行调整，从而如图13的(B)左图所示，图12所示的控制对应图与图13的(A)左图所示的控制对应图相比，整体上向前方(Y轴负方向)偏移，由此，光源的位置与图12所示的控制对应图的基准位置PO相对应。
如上所述，通过使光源的位置与图12所示的控制对应图的基准位置PO相对应，在与光源相比为前方的区域Rf(即，在以本车辆的行进方向设为Y方向、以车宽方向设为X方向的XY平面中，Y方向上的照相机10的位置设为0、与照相机10相比后方设为Y＞0，将直线Lc以Y＝kX表示的情况下，成为Y＜kX的区域)中，能够增大从第2阈值对应图获得的阈值2”的权重wt。因此，在按照上述式1计算出第2阈值α2的情况下，在与光源相比前方的区域中，可获得对防止前大灯周边的误检测加以重视的第2阈值α2。
另一方面，通过使光源的位置与图12所示的控制对应图的基准位置PO相对应，从而在与光源相比后方的区域Rr(即，在以本车辆的行进方向设为Y方向、以车宽方向设为X方向的XY平面中，将Y方向上的照相机10的位置设为0、将与照相机10相比的后方设为Y＞0，在将直线Lc以Y＝kX表示的情况下，成为Y≥kX的区域)中，能够减小从第2阈值对应图获得的阈值α2”的权重wt。因此，在按照上述式1计算出第2阈值α2的情况下，在与光源相比的后方的区域中，可获得容易对相邻车辆的轮胎轮毂进行检测的第2阈值α2。
此外，为了有效地防止将向相邻车道照射的更相邻车辆的前大灯的光误检测为相邻车辆的情况，检测基准设定部35对第2阈值α2进行变更。因此，在本实施方式中，能够构成为，检测基准设定部35对第2阈值α2的变更仅在更相邻车辆使前大灯亮灯的夜间进行。此外，检测基准设定部35例如在由照相机10拍摄到的图像的亮度小于或等于规定值的情况下判断为夜间即可。
如上所述，检测基准设定部35能够对与距照相机10的后方距离相对应地设定的第1阈值α1、与照相机10和光源之间的位置关系相对应地设定的第2阈值α2进行设定。并且，检测基准设定部35对由可信度判定部34判定出的可信度是否大于或等于规定值进行判断，在可信度小于规定值的情况下，将第1阈值α1设定为用于基于差分波形DWt对相邻车辆进行检测的阈值α，另一方面，在可信度大于或等于规定值的情况下，将第2阈值α2设定为用于基于差分波形DWt对相邻车辆进行检测的阈值α。
下面，返回立体物检测部33的说明。在检测到存在于相邻车道的立体物之后，立体物检测部33通过一个时刻前的差分波形DWt－1与当前时刻的差分波形DWt之间的对比，对存在于相邻车辆上的立体物的移动距离进行计算。即，立体物检测部33根据差分波形DWt、DWt－1的时间变化对移动距离进行计算。
详细地进行说明，立体物检测部33如图14所示地将差分波形DWt分割为多个小区域DWt1～DWtn(n为大于或等于2的任意的整数)。图14是表示由立体物检测部33分割的小区域DWt1～DWtn的图。如图14所示，小区域DWt1～DWtn例如相互重复地分割。例如小区域DWt1与小区域DWt2重复，小区域DWt2与小区域DWt3重复。
然后，立体物检测部33针对每个小区域DWt1～DWtn求出偏置量(差分波形的横轴方向(图14的上下方向)上的移动量)。在这里，偏置量根据一个时刻前的差分波形DWt－1与当前时刻的差分波形DWt之差(横轴方向的距离)求出。此时，立体物检测部33对针对每个小区域DWt1～DWtn判定使一个时刻前的差分波形DWt－1沿着横轴方向移动时与当前时刻的差分波形DWt之间的误差成为最小的位置(横轴方向上的位置)，将与差分波形DWt－1的原来的位置与误差成为最小的位置之间的横轴方向的移动量作为偏置量求出。然后，立体物检测部33对针对每个小区域DWt1～DWtn求出的偏置量进行计数并绘制柱状图。
图15是表示利用立体物检测部33获得的柱状图的一个例子的图。如图15所示，各小区域DWt1～DWtn与一个时刻前的差分波形DWt－1之间的误差成为最小的移动量即偏置量存在些许的波动。因此，立体物检测部33将包含波动在内的偏置量绘制成柱状图，根据柱状图计算移动距离。此时，立体物检测部33根据柱状图的极大值对相邻车辆的移动距离进行计算。即，在图15所示的例中，立体物检测部33将表示柱状图的极大值的偏置量作为移动距离τ*计算。这样，在本实施方式中，即使偏置量存在波动，也能够根据该极大值计算准确性更高的移动距离。此外，移动距离τ*是相邻车辆相对于本车辆V1的相对移动距离。因此，立体物检测部33在对绝对移动距离进行计算的情况下基于所得到的移动距离τ*和来自车速传感器20的信号对绝对移动距离进行计算。
如上所述，在本实施方式中，根据在不同的时刻生成的差分波形DWt的误差成为最小时的差分波形DWt的偏置量对立体物的移动距离进行计算，从而根据波形这样的1维的信息的偏置量对移动距离进行计算，在计算移动距离时能够抑制计算成本。另外，通过将在不同的时刻生成的差分波形DWt分割成多个小区域DWt1～DWtn，能够获得多个表示立体物的各自的部位的波形，由此，能够针对立体物的各自的部位求出偏置量，能够根据多个偏置量求出移动距离，因此，能够提高移动距离的计算精度。另外，在本实施方式中，通过根据包含高度方向的信息在内的差分波形DWt的时间变化，对立体物的移动距离进行计算，从而与仅着眼于1点的移动这样的情况相比，能够使时间变化前的检测部位和时间变化后的检测部位包含高度方向的信息地被指定，因此，在立体物中容易成为相同的部位，根据相同的部位的时间变化对移动距离进行计算，从而提高移动距离的计算精度。
此外，也可以是，在绘制柱状图时，立体物检测部33针对多个小区域DWt1～DWtn中的每一个进行加权，对应于权重对针对每个小区域DWt1～DWtn求出的偏置量进行计数并绘制柱状图。图16是表示由立体物检测部33进行加权的图。
如图16所示，小区域DWm(m为大于或等于1且小于或等于n－1的整数)是平坦的。即，在小区域DWm中，表示规定的差分的像素数的计数的最大值与最小值之差变小。立体物检测部33对这样的小区域DWm设较小的权重。其原因在于，平坦的小区域DWm没有特征，在计算偏置量时误差变大的可能性较高。
另一方面，小区域DWm+k(k为小于或等于n－m的整数)具有起伏。即，在小区域DWm中，表示规定的差分的像素数的计数的最大值与最小值之差变大。立体物检测部33针对这样的小区域DWm增大权重。其原因在于，具有起伏的小区域DWm+k存在特征，能够准确地进行偏置量的计算的可能性较高。通过这样加权，能够提高移动距离的计算精度。
此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成多个小区域DWt1～DWtn，但在移动距离的计算精度要求并不是很高的情况下，也可以不分割成小区域DWt1～DWtn。在该情况下，立体物检测部33根据差分波形DWt与差分波形DWt－1之间的误差成为最小时的差分波形DWt的偏置量对移动距离进行计算。即，求出一个时刻前的差分波形DWt－1与当前时刻的差分波形DWt之间的偏置量的方法并不限定于上述内容。
此外，在本实施方式中，立体物检测部33求出本车辆V1(照相机10)的移动速度，根据求出的移动速度求出静止物的偏置量。在求出静止物的偏置量之后，立体物检测部33在忽视了柱状图的极大值中的相当于静止物的偏置量后对相邻车辆的移动距离进行计算。
图17是表示由立体物检测部33获得的柱状图的另一个例子的图。在照相机10的视场角内除了相邻车辆之外还存在静止物的情况下，在获得的柱状图中出现两个极大值τ1、τ2。在该情况下，两个极大值τ1、τ2中的某一个为静止物的偏置量。因此，立体物检测部33根据移动速度求出针对静止物的偏置量，忽视相当于该偏置量的极大值，采用剩余一个极大值对立体物的移动距离进行计算。由此，能够防止由于静止物而使立体物的移动距离的计算精度降低的情况。
此外，即使忽视相当于静止物的偏置量，也存在多个极大值的情况下，设想为在照相机10的视场角内存在多台相邻车辆。但是，在检测区域A1、A2内存在多个相邻车辆是极为罕见的。因此，立体物检测部33中止移动距离的计算。由此，在本实施方式中，能够防止极大值存在多个这样对错误的移动距离进行计算的情况。
下面，对本实施方式的相邻车辆检测处理进行说明。图18是表示本实施方式的相邻车辆检测处理的流程图。如图18所示，首先，利用计算机30从照相机10取得拍摄图像P的数据(步骤S101)，利用视点变换部31基于所取得的拍摄图像P的数据生成鸟瞰视野图像PBt的数据(步骤S102)。
然后，位置对齐部33对鸟瞰视野图像PBt的数据和一个时刻前的鸟瞰视野图像PBt-1的数据进行位置对齐，生成差分图像PDt的数据(步骤S103)。之后，立体物检测部33根据差分图像PDt的数据对像素值为“1”的差分像素DP的数量进行计数，生成差分波形DWt(步骤S104)。
检测基准设定部35进行用于基于差分波形DWt对相邻车辆进行检测的阈值α的设定(步骤S105)。在此，图19是表示步骤S105的阈值α的设定处理的流程图。如图19所示，检测基准设定部35首先根据由照相机10拍摄到的拍摄图像对更相邻车辆的前大灯等光源进行检测(步骤S201)。
在这里，检测基准设定部35排除噪声的影响，将其他车辆的前大灯作为光源适当地检测，因此，将拍摄图像中的与周边的明亮度之差大于或等于规定值sd、且大于或等于规定值s1的大小的图像区域作为与光源相对应的区域进行检测。
因此，检测基准设定部35首先进行拍摄图像的边缘处理，将与周边的明亮度之差大于或等于规定值sd的区域作为光源候补进行检测。此外，在本实施方式中，检测基准设定部35为了适当地检测光源，并不将规定值sd限定为恒定的值，例如能够基于从照相机10至光源候补为止的后方距离、光源候补所存在的区域的亮度，对规定值sd进行变更。例如，检测基准设定部35具有与亮度对应地设定的规定值sd的阈值对应图、与从照相机10至光源候补为止的后方距离对应地设定的规定值sd的阈值对应图，对上述两个阈值对应图进行比较，能够将在各个阈值对应图中获得的规定值sd中较高的规定值sd，选择为用于对光源候补进行检测的规定值sd。
并且，检测基准设定部35在检测到的光源候补中，将大于或等于规定值s1的大小的图像区域作为与光源相对应的区域进行检测。此外，规定值sl也并不限定为恒定的值，例如检测基准设定部35也可以对应于从照相机10至光源候补为止的后方距离，对规定值sl进行变更。例如，在检测区域A1、A2的本车辆行进方向上的长度为10m的情况下，检测基准设定部35将检测区域A1、A2分割成如下三个区域：在检测区域A1、A2中在车辆行进方向上从与照相机10最近的位置起0m～1.5m的区域R1、1.5m～6m的区域R2、6m～10m的区域R3。并且，检测基准设定部35能够在检测区域A1、A2中在距本车辆较近的区域R1和距本车辆较远的区域R3中将例如大于或等于纵×横为5×5像素的图像区域作为与光源相对应的区域进行检测，在检测区域A1、A2中的中央的区域R2中将例如大于或等于纵×横为7×7像素的图像区域作为与光源相对应的区域进行检测。
此外，在步骤S201中，在无法检测到光源的情况下，检测基准设定部35例如将阈值α设定为预定的阈值，完成步骤S105的阈值α的设定处理。
然后，利用可信度判定部34进行检测到的光源是本车辆后侧方的更相邻车辆的前大灯的可信度的判定(步骤S202)。如上所述，可信度判定部34基于光源的数量、光源的位置、光源的状态的时间变化和光源的大小，综合地对检测到的光源是更相邻车辆的前大灯的可信度进行判定。然后，检测基准设定部35基于步骤S202中的可信度的判定结果，判断可信度是否大于或等于规定值，在可信度大于或等于规定值的情况下，为了与距照相机10的后方距离相对应地设定阈值α，进入步骤S204，在可信度小于规定值的情况下，为了基于照相机10与光源之间的位置关系对阈值α进行设定，进入步骤S208。
在步骤S204中，如图7所示，利用检测基准设定部35，对应于检测位置的亮度进行该检测位置处的第1阈值α1的取得。然后，如图8所示，检测基准设定部35基于与距照相机10的后方距离对应地规定的第1阈值α1的增益，对在步骤S204中取得的第1阈值α1进行变更(步骤S205)。然后，检测基准设定部35针对检测区域A1、A2内的全部检测位置的每一个，计算第1阈值α1，针对检测区域A1、A2内的全部检测位置计算出第1阈值α1的情况下(步骤S206＝Yes)，如图6所示，将计算出的第1阈值α1设定为用于基于差分波形DWt对相邻车辆进行检测的阈值α。
另一方面，在步骤S203中，在判断为可信度小于规定值的情况下，进入步骤S208。在步骤S208中，如图13的(A)右图所示，检测基准设定部35对通过检测到的光源的重心位置和照相机10的中心位置的直线Lc进行设定，并且，检测基准设定部35对设定的直线Lc与检测区域A2的更相邻车道侧的边L2’的交点O进行计算(步骤S209)。然后，如图13的(B)左图所示，检测基准设定部35对图12所示的控制对应图进行调整，以使在步骤S209中计算出的交点O与图12所示的控制对应图的基准位置PO一致(步骤S210)。
然后，检测基准设定部35为了容易检测相邻车辆的轮胎轮毂而使用设定有阈值α2’的第1阈值对应图(参照图7)、对防止前大灯周边的误检测加以重视而设定有阈值α2”的第2阈值对应图(参照图8)、在步骤S210中调整后的控制对应图，并按照上述式1对第2阈值α2进行计算(步骤S211)。然后，检测基准设定部35针对检测区域A1、A2内的全部检测位置的每一个，计算第2阈值α2，在检测区域A1、A2内的全部检测位置计算出第2阈值α2的情况下(步骤S212＝Yes)，如图6所示，将计算出的第2阈值α2设定为用于基于差分波形DWt对相邻车辆进行检测的阈值α(步骤S213)。
返回到图18，立体物检测部33对在步骤S104中生成的差分波形DWt的峰值是否大于或等于在步骤S105中生成的阈值α进行判断(步骤S106)。在差分波形DWt的峰值并不大于或等于阈值α的情况下，即几乎没有差分的情况下，认为在拍摄图像P内并不存在相邻车辆。因此，在判断为差分波形DWt的峰值并不大于或等于阈值α的情况下(步骤S106＝No)，立体物检测部33判断为在相邻车道上并不存在相邻车辆(步骤S115)，结束图18所示的处理。
另一方面，在判断为差分波形DWt的峰值大于或等于阈值α的情况下(步骤S106＝Yes)，立体物检测部33判断为立体物存在于相邻车道，则进入步骤S107，利用立体物检测部33将差分波形DWt分割成多个小区域DWt1～DWtn。然后，立体物检测部33对小区域DWt1～DWtn中的每一个进行加权(步骤S108)，对小区域DWt1～DWtn中的每一个的偏置量进行计算(步骤S109)，进行加权而生成柱状图(步骤S110)。
然后，立体物检测部33基于柱状图对相邻车辆相对于本车辆的移动距离即相对移动距离进行计算(步骤S111)。并且，立体物检测部33根据相对移动距离对相邻车辆的绝对移动速度进行计算(步骤S112)。此时，立体物检测部33对相对移动距离进行时间微分而计算相对移动速度，并且，与由车速传感器20检测到的本车车速相加，计算相邻车辆的绝对移动速度。
之后，立体物检测部33对相邻车辆的绝对移动速度是否大于或等于10km/h且相邻车辆相对于本车辆的相对移动速度是否小于或等于+60km/h进行判断(步骤S113)。在满足这两者的情况下(步骤S113＝Yes)，立体物检测部33判断为在相邻车道上存在相邻车辆(步骤S114)。然后，结束图18所示的处理。另一方面，在任一者不满足的情况下(步骤S113＝No)，立体物检测部33判断为在相邻车道上并不存在相邻车辆(步骤S115)。然后，结束图18所示的处理。
此外，在本实施方式中，重点在于：将本车辆的后侧方设为检测区域A1、A2，在本车辆变更了车道的情况下是否有可能接触。因此，执行步骤S113的处理。即，如果以本实施方式的系统在高速道路上工作为前提，则在相邻车辆的速度小于10km/h的情况下，即使存在有相邻车辆，在车道变更时相邻车辆也位于离本车辆较远的后方的位置，因此成为问题的情况较少。同样地，在相邻车辆相对本车辆的相对移动速度超过+60km/h的情况下(即，相邻车辆以比本车辆的速度大60km/h的速度移动的情况下)，在车道变更时相邻车辆在本车辆的前方移动，因此成为问题的情况较少。因此，在步骤S113中也可以说是对车道变更时成为问题的相邻车辆进行判断。
另外，在步骤S113中对相邻车辆的绝对移动速度是否大于或等于10km/h且相邻车辆相对于本车辆的相对移动速度是否小于或等于+60km/h进行判断，从而具有以下效果。例如有时由于照相机10的安装误差而有可能将静止物的绝对移动速度检测为几km/h。由此，通过对是否大于或等于10km/h进行判断，能够降低将静止物判断为相邻车辆的可能性。另外，由于噪声而有可能将相邻车辆相对于本车辆的相对速度检测为超过+60km/h的速度。由此，通过对相对速度是否小于或等于+60km/h进行判断，从而能够降低由噪声导致的误检测的可能性。
并且，也可以取代步骤S113的处理，判断相邻车辆的绝对移动速度不为负、不为0km/h。另外，在本实施方式中，重点在于：在本车辆变更了车道的情况下是否有可能接触，因此，在步骤S114中检测到相邻车辆的情况下，也可以向本车辆的驾驶员发出警告声、或者利用规定的显示装置进行相当于警告的显示。
如以上所示，在第1实施方式中，在不同的时刻对本车辆后方的检测区域A1、A2进行拍摄，将拍摄到的拍摄图像变换为鸟瞰视野图像，基于不同的时刻的鸟瞰视野图像的差分，生成差分图像PDt。然后，沿着由于视点变换而立体物歪斜的方向对表示规定的差分的像素数进行计数而进行频率分布化，从而根据差分图像PDt的数据生成差分波形DWt。然后，判断所生成的差分波形DWt的峰值是否大于或等于与距照相机10的后方距离、或者与照相机10和光源之间的位置关系相对应地设定的阈值α，在差分波形DWt的峰值大于或等于阈值α的情况下，判断为在相邻车道上存在相邻车辆，从而能够适当地检测存在于相邻车道上的相邻车辆。
即，在本实施方式中，在基于差分波形DWt对相邻车辆进行检测时，对本车辆后侧方的光源进行检测，基于检测到的光源的数量、光源的位置、光源的大小和光源的状态的时间变化，对检测到的光源是更相邻车辆的前大灯的可信度进行判定。然后，在可信度大于或等于规定值的情况下，将基于照相机10与光源之间的位置关系获得的第2阈值α2设定为阈值α。即，在检测到的光源是更相邻车辆的前大灯的可能性较高的情况下，如图10所示，在与光源相比前方的区域设定阈值α，以防止前大灯周边的误检测，在与光源相比后方的区域设定阈值α，以容易对相邻车辆的轮胎轮毂进行检测。由此，例如，即使由于照相机10的镜头的弄脏而使前大灯(光源)周边的亮度变高，而难以对存在于前大灯(光源)的后方的特征部分即相邻车辆的轮胎轮毂进行检测的情况下，在轮胎轮毂不存在的与前大灯(光源)相比的前方的区域，为了防止前大灯周边的误检测而将阈值α设定得较高，因此，能够有效地防止由更相邻车辆的前大灯导致的相邻车辆的误检测，另外，在与前大灯(光源)相比的后方的区域为了容易对相邻车辆的轮胎轮毂进行检测而设定阈值α，因此，能够适当地对存在于与前大灯(光源)相比的后方的区域的相邻车辆的轮胎轮毂进行检测。
另一方面，在可信度小于规定值的情况下，将基于距照相机10的后方距离而获得的第1阈值α1设定为阈值α。即，在检测到的光源是更相邻车辆的前大灯的可能性较低的情况下，如图8所示，在检测区域A1、A2中的离本车辆较近的区域R1及离本车辆较远的区域R3中，与中央的区域R2相比，阈值α的增益设定得较高。由此，在区域R1、R3中，在从更相邻车辆的前大灯照射的前大灯的光的亮度较低的情况下，也能够将阈值α设定得较高，能够有效地防止将照射到区域R1、R3的更相邻车辆V3的前大灯的光的像误检测为相邻车辆。
并且，在本实施方式中，在可信度小于规定值的情况下，将基于距照相机10的后方距离而获得的第1阈值α1设定为阈值α，在可信度大于或等于规定值的情况下，将基于照相机10与光源之间的位置关系而获得的第2阈值α2设定为阈值α。在此，在可信度大于或等于规定值的情况下，即，在检测到的光源是更相邻车辆的前大灯的可能性较高的情况下，将基于照相机10与光源之间的位置关系而获得的第2阈值α2作为阈值α，从而与在检测到的光源是更相邻车辆的前大灯的可能性较高的情况下将基于距照相机10的后方距离而获得的第1阈值α1为设定阈值α的情况相比，能够排除更相邻车辆的前大灯的影响，能够获得适当地检测相邻车辆的更好的效果。
另外，在可信度小于规定值的情况下，即，在检测到的光源是更相邻车辆的前大灯的可能性较低的情况下，将基于照相机10与光源之间的位置关而系获得的第2阈值α2设定为阈值α的情况下，例如，在与光源相比的前方的区域中将阈值α设定得过高，则有时发生在相邻车辆实际存在的情况下无法适当地检测相邻车辆的误检测。因此，在本实施方式中，在可信度小于规定值的情况下，通过将基于距照相机10的后方距离而获得的第1阈值α2设定为阈值α，与在可信度小于规定值的情况下将基于照相机10与光源之间的位置关系而获得的第2阈值α2设定为阈值α的情况相比，能够更有效地防止由更相邻车辆的前大灯的光导致的相邻车辆的误检测，能够更适当地检测相邻车辆。
《第2实施方式》
以下，对第2实施方式涉及的立体物检测装置1a进行说明。如图20所示，第2实施方式涉及的立体物检测装置1a取代第1实施方式的计算机30而具有计算机30a，除了以如下面说明所示地动作以外，与第1实施方式相同。在此，图20是表示第2实施方式涉及的计算机30a的详细情况的框图。
如图20所示，第2实施方式涉及的立体物检测装置1a具有照相机10和计算机30a，计算机30a由视点变换部31、亮度差计算部36、边缘线检测部37、立体物检测部33a、可信度判定部34和检测基准设定部35a构成。下面对第2实施方式涉及的立体物检测装置1a的各结构进行说明。
图21是表示图20的照相机10的拍摄范围等的图，图21的(a)是俯视图，图21的(b)表示从本车辆V1起后侧方的实际空间上的斜视图。如图21的(a)所示，照相机10设为规定的视场角a，从该规定的视场角a所包含的本车辆V1拍摄后侧方。照相机10的视场角a与图2所示的情况同样地，设定为在照相机10的拍摄范围内除了包括本车辆V1行驶的车道之外，还包括相邻的车道。
本例的检测区域A1、A2在俯视(鸟瞰的状态)下为梯形状，这些检测区域A1、A2的位置、大小以及形状基于距离d1～d4确定。此外，该图21所示的例子的检测区域A1、A2并不限于梯形状，也可以如图2所示在鸟瞰的状态下呈矩形等其他形状。
在这里，距离d1是从本车辆V1至接地线L1、L2为止的距离。接地线L1、L2是指在与本车辆V1所行驶的车道相邻的车道上存在的立体物与地面接触的线。在本实施方式中，其目的在于，对在本车辆V1的后侧方在与本车辆V1的车道相邻的左右的车道行驶的相邻车辆V2等(包含两轮车等)进行检测。因此，能够根据从本车辆V1至白线W为止的距离d11以及从白线W至预测为相邻车辆V2所行驶的位置为止的距离d12，预先大致固定地确定成为相邻车辆V2的接地线L1、L2的位置即距离d1。
另外，对于距离d1，并不限于固定地确定的情况，也可以是可变的。在该情况下，计算机30a利用白线识别等技术对白线W相对于本车辆V1的位置进行识别，基于识别出的白线W的位置，确定距离d11。由此，距离d1能够使用所确定的距离d11可变地设定。在下面的本实施方式中，相邻车辆V2所行驶的位置(距白线W的距离d12)以及本车辆V1所行驶的位置(距白线W的距离d11)大致确定，因此，固定地确定距离d1。
距离d2是从本车辆V1的后端部沿着车辆行进方向延伸的距离。该距离d2确定为至少检测区域A1、A2被收纳在照相机10的视场角a内。尤其是在本实施方式中，距离d2设定为与被视场角a划分出的范围相接触。距离d3是表示检测区域A1、A2的车辆行进方向上的长度的距离。该距离d3基于成为检测对象的立体物的大小而确定。在本实施方式中，检测对象为相邻车辆V2等，因此，距离d3设定为包含相邻车辆V2在内的长度。
如图21的(b)所示，距离d4是表示在实际空间中以包含相邻车辆V2等的轮胎的方式设定的高度的距离。距离d4在鸟瞰视野图像中为图21的(a)所示的长度。此外，距离d4也可以设为在鸟瞰视野图像中不包含与左右的相邻车道进一步相邻的车道(即隔着一个车道而相邻的更相邻车道)的长度。其原因在于，如果包含从本车辆V1的车道隔着一个车道而相邻的车道，则无法区分在本车辆V1所行驶的车道即本车道的左右的相邻车道上存在相邻车辆V2、还是在隔着一个车道而相邻的更相邻车道上存在更相邻车辆。
如上所述，距离d1～距离d4被确定，由此，检测区域A1、A2的位置、大小以及形状被确定。具体地进行说明，利用距离d1对呈梯形的检测区域A1、A2的上边b1的位置进行确定。利用距离d2对上边b1的始点位置C1进行确定。利用距离d3对上边b1的终点位置C2进行确定。利用从照相机10朝向始点位置C1延伸的直线L3对呈梯形的检测区域A1、A2的侧边b2进行确定。同样地利用从照相机10朝向终点位置C2延伸的直线L4对呈梯形的检测区域A1、A2的侧边b3进行确定。利用距离d4对呈梯形的检测区域A1、A2的下边b4的位置进行确定。这样，由各边b1～b4围成的区域成为检测区域A1、A2。如图21的(b)所示，该检测区域A1、A2在从本车辆V1起后侧方的实际空间上成为正方形(长方形)。
返回到图20，向视点变换部31输入由照相机10进行拍摄而获得的规定区域的拍摄图像数据。视点变换部31对输入的拍摄图像数据进行向鸟瞰的状态的鸟瞰视野图像数据的视点变换处理。鸟瞰的状态是指从上空例如从铅垂向下(或者稍微斜向下)俯视的假想照相机的视点观察的状态。该视点变换处理能够通过例如日本特开2008－219063号公报所记载的技术实现。
亮度差计算部36为了对鸟瞰视野图像所包含的立体物的边缘进行检测，对利用视点变换部31进行视点变换后的鸟瞰视野图像数据进行亮度差的计算。亮度差计算部36针对实际空间中的沿着铅垂方向延伸的铅垂假想线的多个位置中的每一个，计算该各位置的旁边的两个像素间的亮度差。亮度差计算部36能够通过将实际空间中的沿着铅垂方向延伸的铅垂假想线仅设定1根的方法、将铅垂假想线设定两根的方法中的任一个方法计算亮度差。
在这里，对将铅垂假想线设定两根的具体的方法进行说明。亮度差计算部36针对视点变换后的鸟瞰视野图像设定与在实际空间中沿着铅垂方向延伸的线段相当的第1铅垂假想线、与第1铅垂假想线不同并与在实际空间中沿着铅垂方向延伸的线段相当的第2铅垂假想线。亮度差计算部36沿着第1铅垂假想线以及第2铅垂假想线连续地求出第1铅垂假想线上的点和第2铅垂假想线上的点之间的亮度差。下面，对该亮度差计算部36的动作详细地进行说明。
如图22的(a)所示，亮度差计算部36对与在实际空间中沿着铅垂方向延伸的线段相当且通过检测区域A1的第1铅垂假想线La(下面称为注视线La)进行设定。另外，亮度差计算部36对与注视线La不同并与在实际空间中沿着铅垂方向延伸的线段相当且通过检测区域A1的第2铅垂假想线Lr(下面称为参照线Lr)进行设定。在这里，参照线Lr设定于在实际空间中与注视线La分开规定距离的位置。此外，与在实际空间中沿着铅垂方向延伸的线段相当的线，是指在鸟瞰视野图像中从照相机10的位置Ps起呈放射状扩散的线。该呈放射状扩散的线是沿着在变换成鸟瞰时立体物歪斜的方向的线。
亮度差计算部36在注视线La上设定注视点Pa(第1铅垂假想线上的点)。另外，亮度差计算部36在参照线Lr上设定参照点Pr(第2铅垂假想线上的点)。这些注视线La、注视点Pa、参照线Lr、参照点Pr在实际空间上成为图22的(b)所示的关系。从图22的(b)可明确，注视线La以及参照线Lr是在实际空间上沿着铅垂方向延伸的线，注视点Pa和参照点Pr是在实际空间上设定在大致相同高度的点。此外，注视点Pa和参照点Pr并不是必须要严格地处于相同高度，允许可视为注视点Pa和参照点Pr处于相同高度程度的误差。
亮度差计算部36求出注视点Pa与参照点Pr之间的亮度差。假设如果注视点Pa与参照点Pr之间的亮度差较大，则认为在注视点Pa与参照点Pr之间存在边缘。尤其是，在第2实施方式中，为了检测存在于检测区域A1、A2中的立体物，针对鸟瞰视野图像，作为在实际空间上沿着铅垂方向延伸的线段而设定铅垂假想线，因此，在注视线La与参照线Lr之间的亮度差较高的情况下，在注视线La的设定部位存在立体物的边缘的可能性较高。因此，图20所示的边缘线检测部37基于注视点Pa与参照点Pr之间的亮度差，检测边缘线。
对这一点更详细地进行说明。图23是表示亮度差计算部36的详细动作的图，图23的(a)是表示鸟瞰的状态的鸟瞰视野图像，图23的(b)是将图23的(a)所示的鸟瞰视野图像的一部分B1放大后的图。此外，对于图23也仅图示检测区域A1进行说明，但对于检测区域A2也以同样的顺序计算亮度差。
在相邻车辆V2映在由照相机10拍摄到的拍摄图像内的情况下，如图23的(a)所示，相邻车辆V2出现在鸟瞰视野图像内的检测区域A1中。如在图23的(b)中示出的图23的(a)中的区域B1的放大图所示，在鸟瞰视野图像上，在相邻车辆V2的轮胎的橡胶部分上设定有注视线La。在该状态下，亮度差计算部36首先设定参照线Lr。参照线Lr沿着铅垂方向设定于在实际空间上从注视线La分离规定的距离的位置处。具体而言，在本实施方式涉及的立体物检测装置1a中，参照线Lr设定于在实际空间上从注视线La分离10cm的位置处。由此，参照线Lr设定于在鸟瞰视野图像上例如从相邻车辆V2的轮胎的橡胶分离相当于10cm的相邻车辆V2的轮胎的轮毂上。
然后，亮度差计算部36在注视线La上设定多个注视点Pa1～PaN。在图23的(b)中，出于方便说明，设定有6个注视点Pa1～Pa6(下面在表示任意的点的情况下，简称为注视点Pai)。此外，设定在注视线La上的注视点Pa的数量可以是任意个。在下面的说明中，设为N个注视点Pa设定在注视线La上而进行说明。
然后，亮度差计算部36以在实际空间上与各注视点Pa1～PaN处于相同高度的方式设定各参照点Pr1～PrN。然后，亮度差计算部36对处于相同高度的注视点Pa与参照点Pr彼此的亮度差进行计算。由此，亮度差计算部36针对实际空间中的沿着铅垂方向延伸的铅垂假想线的多个位置(1～N)中的每一个，计算两个像素的亮度差。亮度差计算部36例如在第1注视点Pa1与第1参照点Pr1之间计算亮度差，在第2注视点Pa2与第2参照点Pr2之间计算亮度差。由此，亮度差计算部36沿着注视线La以及参照线Lr连续地求出亮度差。即，亮度差计算部36依次求出第3注视点Pa3～第N注视点PaN与第3参照点Pr3～第N参照点PrN之间的亮度差。
亮度差计算部36在检测区域A1内一边将注视线La挪动，一边反复执行上述的参照线Lr的设定、注视点Pa以及参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部36一边分别将注视线La以及参照线Lr在实际空间上沿着接地线L1的延伸方向将位置改变相同距离，一边反复执行上述的处理。亮度差计算部36例如将在上次处理中作为参照线Lr的线设定为注视线La，相对于该注视线La设定参照线Lr，依次求出亮度差。
如上所述，在第2实施方式中，根据在实际空间上处于大致相同高度的注视线La上的注视点Pa和参照线Lr上的参照点Pr求出亮度差，从而能够明确地检测出在存在沿着铅垂方向延伸的边缘的情况下的亮度差。另外，为了进行在实际空间中沿着铅垂方向延伸的铅垂假想线彼此的亮度比较，即使由于变换为鸟瞰视野图像而立体物与距路面的高度相对应地被拉长，也不会影响立体物的检测处理，而能够提高立体物的检测精度。
返回到图20，边缘线检测部37根据由亮度差计算部36计算出的连续的亮度差，检测边缘线。例如，在图23的(b)所示的情况下，第1注视点Pa1和第1参照点Pr1位于相同的轮胎部分，因此，亮度差较小。另一方面，在第2注视点Pa2～第6注视点Pa6位于轮胎的橡胶部分处，第2参照点Pr2～第6参照点Pr6位于轮胎的轮毂部分处。因而，第2参照点Pa2～第6注视点Pa6与第2参照点Pr2～第6参照点Pr6之间的亮度差变大。因此，边缘线检测部37能够检测出在亮度差较大的第2注视点Pa2～第6注视点Pa6与第2参照点Pr2～第6参照点Pr6之间存在边缘线。
具体而言，边缘线检测部37在对边缘线进行检测时，首先按照下述的式2，并根据第i个注视点Pai(坐标(xi，yi))和第i个参照点Pri(坐标(xi’，yi’))之间的亮度差，使第i个注视点Pai带有属性。
[式2]
在I(xi，yi)＞I(xi’，yi’)+t时，
s(xi，yi)＝1
在I(xi，yi)＜I(xi’，yi’)－t时，
s(xi，yi)＝－1
除了上述以外时，
s(xi，yi)＝0
在上述式2中，t表示规定的阈值，I(xi，yi)表示第i个注视点Pai的亮度值，I(xi’，yi’)表示第i个参照点Pri的亮度值。根据上述式2，在注视点Pai的亮度值比参照点Pri与阈值t相加而得到的亮度值高的情况下，该注视点Pai的属性s(xi，yi)成为‘1’。另一方面，在注视点Pai的亮度值比从参照点Pri减去亮度阈值t而得到的亮度值低的情况下，该注视点Pai的属性s(xi，yi)成为‘－1’。在注视点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，注视点Pai的属性s(xi，yi)成为‘0’。
然后，边缘线检测部37基于下述式3并根据沿着注视线La的属性s的连续性c(xi，yi)，判定注视线La是否是边缘线。
[式3]
在s(xi，yi)＝s(xi+1，yi+1)时(且除了0＝0)，
c(xi，yi)＝1
在上述以外时，
c(xi，yi)＝0
在注视点Pai的属性s(xi，yi)与相邻的注视点Pai+1的属性s(xi+1，yi+1)相同的情况下，连续性c(xi，yi)成为‘1’。在注视点Pai的属性s(xi，yi)与相邻的注视点Pai+1的属性s(xi+1，yi+1)不相同的情况下，连续性c(xi，yi)成为‘0’。
然后，边缘线检测部37对注视线La上的全部的注视点Pa的连续性c求出总和。边缘线检测部37通过将求出的连续性c的总和除以注视点Pa的数N而将连续性c标准化。然后，边缘线检测部37在标准化的值超过阈值θ的情况下，将注视线La判断为边缘线。此外，阈值θ是预先通过实验等设定的值。
即，边缘线检测部37基于下述式4，判断注视线La是否是边缘线。然后，边缘线检测部37对在检测区域A1上描绘出的注视线La的全部判断是否是边缘线。
[式4]
Σc(xi，yi)/N＞θ
如上所述，在第2实施方式中，基于注视线La上的注视点Pa与参照线Lr上的参照点Pr之间的亮度差，使注视点Pa带有属性，基于沿着注视线La的属性的连续性c，判断该注视线La是否是边缘线，因此，能够将亮度较高的区域与亮度较低的区域之间的边界作为边缘线进行检测，按照人的自然的感觉进行边缘检测。对该效果详细地进行说明。图24是表示对边缘线检测部37的处理进行说明的图像例的图。该图像例是表示亮度较高的区域与亮度较低的区域反复的条纹花样的第1条纹花样101、和表示亮度较低的区域与亮度较高的区域反复的条纹花样的第2条纹花样102相邻的图像。另外，在该图像例中，第1条纹花样101的亮度较高的区域与第2条纹花样102的亮度较低的区域相邻，并且，第1条纹花样101的亮度较低的区域与第2条纹花样102的亮度较高的区域相邻。位于该第1条纹花样101与第2条纹花样102之间的边界的部位103，存在根据人的感觉而不察觉为边缘的倾向。
相对于此，亮度较低的区域与亮度较高的区域相邻，因此，如果仅凭亮度差对边缘进行检测，则该部位103被识别为边缘。但是，边缘线检测部37除了部位103处的亮度差之外，仅在该亮度差的属性存在连续性的情况下，将部位103判定为边缘线，因此，能够抑制边缘线检测部37将不被人的感觉识别为边缘线的部位103识别为边缘线的误判定，能够按照人的感觉进行边缘检测。
返回到图20，立体物检测部33a基于由边缘线检测部37检测到的边缘线的量，检测立体物。如上所述，本实施方式涉及的立体物检测装置1a对在实际空间上沿着铅垂方向延伸的边缘线进行检测。检测到较多的沿着铅垂方向延伸的边缘线，是指立体物存在于检测区域A1、A2的可能性较高。因此，立体物检测部33a基于由边缘线检测部37检测到的边缘线的量，检测立体物。具体而言，立体物检测部33a对由边缘线检测部37检测到的边缘线的量是否大于或等于规定的阈值β进行判断，在边缘线的量大于或等于规定的阈值β的情况下，判断为由边缘线检测部37检测到的边缘线为立体物的边缘线，由此，将基于边缘线的立体物检测为相邻车辆V2。
如上所述，边缘线是表示规定亮度差的像素的分布信息的一个方式，本实施方式中的“像素的分布信息”可视为表示沿着在将拍摄图像视点变换为鸟瞰视野图像时立体物歪斜的方向检测的“亮度差大于或等于规定阈值的像素”的分布的状态的信息。即，立体物检测部33a在利用视点变换部31获得的鸟瞰视野图像中，沿着视点变换为鸟瞰视野图像时立体物歪斜的方向，检测亮度差大于或等于阈值t的像素的分布信息，在立体物歪斜的方向上的像素的分布的程度(边缘线的量)大于或等于规定阈值β的情况下，基于像素的分布信息(边缘线)，检测立体物。
此外，在第2实施方式中，用于基于边缘线对相邻车辆进行检测的阈值β由检测基准设定部35a设定。在第2实施方式中，检测基准设定部35a与第1实施方式同样地将基于由图20所示的可信度判定部34检测到的可信度，将与距照相机10的后方距离对应地设定的第3阈值β1以及与照相机10和光源之间的位置关系对应地设定的第4阈值β2中的任一个，设定为用于基于边缘线对相邻车辆进行检测的阈值β。
即，检测基准设定部35a对由可信度判定部34判定出的可信度是否大于或等于规定值进行判断，在可信度小于规定值的情况下，将与距照相机10的后方距离相对应地设定的第3阈值β1设定为用于基于边缘线对相邻车辆进行检测的阈值β，另一方面，在可信度大于或等于规定值的情况下，将与照相机10和光源之间的位置关系相对应地设定的第4阈值β2设定为用于基于边缘线对相邻车辆进行检测的阈值β。
此外，在第2实施方式中，可信度判定部34与第1实施方式同样地，基于检测到的光源的数量、光源的位置和光源的状态的时间变化，综合地对检测到的光源是更相邻车辆的前大灯的可信度进行判定。如上所述，通过对光源的数量、光源的位置和光源的状态的时间变化综合地进行判断，能够适当地对检测到的光源是否为源于更相邻车辆的前大灯的光源进行判定。并且，可信度判定部34能够与第1实施方式同样地构成为，在对可信度进行判定时增加检测到的光源的大小。
在这里，在第2实施方式中，检测基准部设定部35A以下述方式设定第3阈值β1。即，检测基准设定部35a与第1实施方式同样地，如图25所示，检测区域A1、A2内的检测位置(例如，检测区域A1、A2内的与注视线La相对应的位置)的亮度越高，将第3阈值β1设定为越高的值。另外，如图26所示，检测基准设定部35a在检测区域A1、A2中的区域R1中，将第3阈值β1的增益设为比区域R2大，从而在检测区域A1、A2内的区域R1中，与检测区域A1、A2内的区域R2相比，将与亮度对应地设定的第3阈值β1变更为较高的值。并且，检测基准设定部35a在检测区域A1、A2内的区域R1中，距照相机10的后方距离越小(离本车辆越近)，将第3阈值β1的增益设为越大，从而离本车辆越近，将与亮度对应地设定的第3阈值β1变更为越高的值。
另外，同样地，如图22所示，检测基准设定部35a在检测区域A1、A2中的区域R3中，也是将第3阈值β1的增益设为比检测区域A1、A2内的区域R2中大，从而在检测区域A1、A2内的区域R3中，与检测区域A1、A2内的区域R2相比，将与亮度对应地设定的第3阈值β1变更为较高的值。并且，检测基准设定部35a在检测区域A1、A2内的区域R3中，距照相机10的后方距离越大(离本车辆越远)，将第3阈值β1的增益设为越大，从而在检测区域A1、A2内的区域R3中，离本车辆越远，将与亮度对应地设定的第3阈值β1变更为越高的值。
由此，第2实施方式也与第1实施方式同样地，例如在夜间更相邻车辆V3的前大灯的光向相邻车道照射的情景中，即使是从更相邻车辆V3照射的前大灯的光的亮度较高的区域R2，或者即使是从更相邻车辆V3照射前大灯的光的亮度较低的区域R1、R3，也能够有效地防止将前大灯的光的像误检测为相邻车辆。
另外，在第2实施方式中，检测基准部设定部35a以下述方式设定第4阈值β2。即，检测基准设定部35a与第1实施方式同样地，具有如图27所示为了容易检测相邻车辆的特征部分即轮胎轮毂而与检测区域A1、A2内的检测位置处的亮度相对应地设定有规定的阈值β2’的第3阈值对应图、图28如所示为了在前大灯周边不发生相邻车辆的误检测而与检测区域A1、A2内的检测位置处的亮度相对应地设定有规定的阈值β2”的第4阈值对应图。另外，与第1实施方式同样，如图29所示，检测基准设定部35a具有对从第4阈值对应图获得的阈值β2”的权重wt进行规定的控制对应图。
并且，检测基准设定部35a与第1实施方式同样地，按照下述式5，对应于光源的位置，利用在图29所示的控制对应图中规定的阈值β2”的权重wt，对通过第3阈值对应图获得的阈值β2’和通过第4阈值对应图获得的阈值β2”进行加权，由此，计算用于基于边缘信息对相邻车辆进行检测的第4阈值β2。此外，在第2实施方式中也与第1实施方式同样地，使检测到的光源的位置与图29所示的控制对应图的基准位置PO一致并进行图29的控制对应图的调整。
[式5]
第4阈值β2＝{(1－wt)·从第3阈值对应图获得的阈值β2’}+(wt·从第4阈值对应图获得的阈值β2”)
如上所述，检测基准设定部35a能够对与距照相机10的后方距离相对应地设定的第3阈值β1、与照相机10和光源之间的位置关系相对应地设定的第4阈值β2进行设定。并且，检测基准设定部35a对由可信度判定部34判定出的可信度是否大于或等于规定值进行判断，在可信度小于规定值的情况下，将第3阈值β1设定为用于基于边缘线对相邻车辆进行检测的阈值β，另一方面，在可信度大于或等于规定值的情况下，将第4阈值β2设定为用于基于边缘线对相邻车辆进行检测的阈值β。
另外，立体物检测部33a在对立体物进行检测之前，判定由边缘线检测部37检测到的边缘线是否正确。立体物检测部33a判定边缘线上的鸟瞰视野图像的沿着边缘线的亮度变化是否大于或等于规定的阈值tb。在边缘线上的鸟瞰视野图像的亮度变化大于或等于阈值tb的情况下，判断为该边缘线是由于误判定而检测到的。另一方面，在边缘线上的鸟瞰视野图像的亮度变化小于阈值tb的情况下，判定为该边缘线是正确的。此外，该阈值tb是通过实验等预先设定的值。
图30是表示边缘线的亮度分布的图，图30的(a)表示作为立体物的相邻车辆V2存在于检测区域A1中的情况下的边缘线以及亮度分布，图30的(b)表示在检测区域A1中不存在立体物的情况下的边缘线以及亮度分布。
如图30的(a)所示，被判断为在鸟瞰视野图像中设定于相邻车辆V2的轮胎橡胶部分的注视线La是边缘线。在该情况下，注视线La上的鸟瞰视野图像的亮度变化是平稳的。这取决于：由照相机10拍摄到的图像被视点变换为鸟瞰视野图像，从而相邻车辆V2的轮胎在鸟瞰视野图像内被拉长。另一方面，如图30的(b)所示，在鸟瞰视野图像中在描绘于路面上的“50”这样的白色文字部分设定的注视线La被误判定为边缘线。在该情况下，注视线La上的鸟瞰视野图像的亮度变化起伏较大。其原因在于，在边缘线上混有白色文字中的亮度较高的部分和路面等亮度较低的部分。
基于如上述的注视线La上的亮度分布的不同，立体物检测部33a判定边缘线是否是由于误判定而检测到的。在沿着边缘线的亮度变化大于或等于规定的阈值tb的情况下，立体物检测部33a判断为，该边缘线是由于误判定而检测到的，该边缘线并不是源于立体物的。由此，抑制路面上的“50”这样的白色文字、路边的杂草等被判定为边缘线而使立体物的检测精度降低。另一方面，立体物检测部33a在沿着边缘线的亮度变化小于规定的阈值tb的情况下，判断为该边缘线是立体物的边缘线，判断为存在有立体物。
具体而言，立体物检测部33a按照下述式6、7中的某一个，对边缘线的亮度变化进行计算。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述式6利用注视线La上的第i个亮度值I(xi，yi)与相邻的第i+1个亮度值I(xi+1，yi+1)之间的差分的平方的合计值，评价亮度分布。另外，下述式7利用注视线La上的第i个亮度值I(xi，yi)、相邻的第i+1个亮度值I(xi+1，yi+1)之间的差分的绝对值的合计值，评价亮度分布。
[式6]
相当于铅垂方向的评价值＝Σ[{I(xi，yi)－I(xi+1，yi+1)}2]
[式7]
相当于铅垂方向的方向评价值＝Σ|I(xi，yi)－I(xi+1，yi+1)|
此外，不限于式7，也可以如下述式8所示，采用阈值t2而将相邻的亮度值的属性b二值化，针对全部的注视点Pa求出该二值化的属性b的总和。
[式8]
相当于铅垂方向的评价值＝Σb(xi，yi)
但是，在|I(xi，yi)－I(xi+1，yi+1)|＞t2时，
b(xi，yi)＝1
在上述以外时，
b(xi，yi)＝0
在注视点Pai的亮度值与参照点Pri的亮度值之间的亮度差的绝对值大于阈值t2的情况下，该注视点Pa(xi，yi)的属性b(xi，yi)成为‘1’。在除此以外的关系的情况下，注视点Pai的属性b(xi，yi)成为‘0’。该阈值t2是为了判定注视线La未处于相同的立体物上而通过实验等预先设定的。并且，立体物检测部33a对注视线La上的所有注视点Pa求出属性b的总和，并求出相当于铅垂方向的评价值，从而对边缘线是否源于立体物、立体物是否存在进行判定。
下面，对第2实施方式涉及的相邻车辆检测方法进行说明。图31是表示本实施方式涉及的相邻车辆检测方法的详细情况的流程图。此外，在图31中，出于方便，对以检测区域A1为对象的处理进行说明，但对于检测区域A2也执行同样的处理。
首先，在步骤S301中，利用照相机10对由视场角a以及安装位置指定的规定区域进行拍摄，利用计算机30a取得由照相机10拍摄到的拍摄图像P的图像数据。然后，在步骤S302中，视点变换部31对取得的图像数据进行视点变换，生成鸟瞰视野图像数据。
然后，在步骤S303中，亮度差计算部36在检测区域A1上设定注视线La。此时，亮度差计算部36将与在实际空间中沿着铅垂方向延伸的线相当的线设定为注视线La。然后，在步骤S304中，亮度差计算部36在检测区域A1上设定参照线Lr。此时，亮度差计算部36将与在实际空间中沿着铅垂方向延伸的线段相当且在实际空间上与注视线La分开规定距离的线设定为参照线Lr。
然后，在步骤S305中，亮度差计算部36在注视线La上设定多个注视点Pa。此时，亮度差计算部36设定在进行利用边缘线检测部37的边缘检测时不会成为问题的程度的数量的注视点Pa。另外，在步骤S306中，亮度差计算部36将参照点Pr设定为在实际空间上注视点Pa与参照点Pr处于大致相同高度。由此，注视点Pa与参照点Pr沿着大致水平方向排列，容易对在实际空间中沿着铅垂方向延伸的边缘线进行检测。
然后，在步骤S307中，亮度差计算部36对在实际空间中处于相同高度的注视点Pa与参照点Pr之间的亮度差进行计算。然后，边缘线检测部37按照上述式2对各注视点Pa的属性s进行计算。然后，在步骤S308中，边缘线检测部37按照上述式3，对各注视点Pa的属性s的连续性c进行计算。然后，在步骤S309中，边缘线检测部37按照上述式4，对将连续性c的总和标准化而得到的值是否大于阈值θ进行判定。并且，在判断为标准化而得到的值大于阈值θ的情况下(步骤S309＝Yes)，在步骤S310中，边缘线检测部37将该注视线La检测为边缘线。然后，处理转向步骤S311。在判断为标准化而得到值不大于阈值θ的情况下(步骤S309＝No)，边缘线检测部37不将该注视线La检测为边缘线，处理转向步骤S311。
在步骤S311中，计算机30a判断是否针对能够在检测区域A1上设定的全部的注视线La的执行了上述的步骤S303～步骤S310的处理。在判断为未针对全部的注视线La进行上述处理的情况下(步骤S311＝No)，使处理返回到步骤S303，重新设定注视线La，反复进行至步骤S311为止的处理。另一方面，在判断为对全部的注视线La进行了上述处理的情况下(步骤S311＝Yes)，处理转向步骤S312。
在步骤S312中，立体物检测部33a针对在步骤S310中检测到的各边缘线，计算沿着该边缘线的亮度变化。立体物检测部33a按照上述式6、7、8中的任一式，计算边缘线的亮度变化。然后，在步骤S313中，立体物检测部33a将边缘线中的亮度变化大于或等于规定的阈值tb的边缘线除外。即，判定为亮度变化较大的边缘线不是正确的边缘线，边缘线不使用于立体物的检测。其原因在于，如上所述，能够抑制检测区域A1所包含的路面上的文字、路边的杂草等被检测为边缘线。因而，规定的阈值tb是预先通过实验等求出的，是基于因路面上的文字、路边的杂草等产生的亮度变化而设定的值。另一方面，立体物检测部33a将边缘线中的亮度变化小于规定的阈值tb的边缘线判断为立体物的边缘线，由此，检测存在于相邻车辆的立体物。
然后，在步骤S314中，利用检测基准设定部35a进行用于判定在步骤S313中检测到的立体物是否是相邻车辆的阈值β的设定。具体而言，检测基准设定部35a与第1实施方式的步骤S105同样地，对本车辆后侧方的光源进行检测，对表示检测到的光源是本车辆后侧方的更相邻车辆的前大灯的确信性的可信度进行判定。并且，检测基准设定部35a在可信度大于或等于规定值的情况下，将第3阈值β1设定为用于基于边缘线对相邻车辆进行检测的阈值β，另一方面，在可信度小于规定值的情况下，将第4阈值β2设定为用于基于边缘线对相邻车辆进行检测的阈值β。
在步骤S315中，利用立体物检测部33a进行边缘线的量是否大于或等于在步骤S314中设定的阈值β的判断。在判定为边缘线的量大于或等于阈值β的情况下(步骤S315＝Yes)，在步骤S316中，立体物检测部33a判定为在检测区域A1内存在相邻车辆。另一方面，在判定为边缘线的量不大于或等于阈值β的情况下(步骤S315＝No)，在步骤S317中，立体物检测部33a判定为在检测区域A1内不存在相邻车辆。之后，结束图31所示的处理。
如以上所示，在第2实施方式中，对立体物的边缘信息进行检测，基于检测到的边缘信息，进行相邻车辆的检测。具体而言，对在鸟瞰视野图像中检测到的边缘线的量是否大于或等于对应于距照相机10的后方距离或者照相机10与光源之间的位置关系而设定的规定的阈值β进行判断，在检测到的边缘线的量大于或等于规定的阈值β的情况下，将具有该边缘线的立体物判断为相邻车辆，对存在于相邻车道的相邻车辆进行检测。另外，在第2实施方式中，在基于边缘信息对相邻车辆进行检测时，对本车辆后侧方的光源进行检测，对检测到的光源是更相邻车辆的前大灯的可信度进行判定。并且，在可信度小于规定值的情况下，将基于距照相机10的后方距离而获得的第3阈值β1设定为阈值β，另一方面，在可信度大于或等于规定值的情况下，将基于照相机10与光源之间的位置关系而获得的第4阈值β2设定为阈值β。由此，在第2实施方式中，除了第1实施方式的效果之外，即使在基于边缘信息对相邻车辆进行检测时，在检测到的光源是相邻车辆的前大灯的情况下，或者在不是更相邻车辆的前大灯的情况下，也能够适当地检测相邻车辆。
此外，以上说明的实施方式是为了容易理解本发明而记载的，并不是为了限定本发明而记载的。因而，在上述的实施方式中公开的各要素是还包含属于本发明的保护范围的全部的设计变更、等同物在内的主旨。
例如，在上述第1实施方式中，例示了如下的结构，即，如上述式1所示，利用在图12所示的控制对应图中规定的权重wt，对从图10所示的第1阈值对应图获得的阈值α2’、从图11所示的第2阈值对应图获得的阈值α2”进行加权，并对第2阈值α2进行计算的结构，但并不限定于该结构，例如也可以构成为，不使用图11所示的第2阈值对应图，而如下述式9所示，利用在图32所示的控制对应图中规定的权重wt，对从图10所示的第1阈值对应图获得的阈值α2’进行加权，对第2阈值α2进行计算。
[式9]
第2阈值α2＝(wt·从第1阈值对应图获得的阈值α2’)
此外，在图32所示的控制对应图中被设定为，基准位置PO处的权重wt为x(x＞1)，在与基准位置PO相比的后方的位置，权重wt为1。并且，在图32所示的控制对应图中，与图12所示的控制对应图同样，与基准位置PO的后方相比，在基准位置PO的前方，权重wt以较高的值推移。因此，在该情况下，在使光源的位置与基准位置PO相对应的情况下，也能够在有效地防止前大灯周边的相邻车辆的误检测，并且能够适当地对存在于与前大灯(光源)相比的后方的区域的相邻车道上的轮胎轮毂进行检测，其结果，能够适当地对在相邻车道上行驶的相邻车辆进行检测。
另外，在上述第1实施方式中例示了如下结构，即，将鸟瞰视野图像PBt、PBt-1的像素值的差绝对值化，在该绝对值大于或等于规定的阈值th时，将差分图像PDt的像素值设为“1”，在绝对值小于规定的阈值th时，将差分图像PDt的像素值设为“0”，但也可以构成为将该阈值th对应于距照相机10的后方距离或者照相机10与光源之间的位置关系，进行变更。
具体而言，检测基准设定部35在可信度小于规定值的情况下，例如，如图8左图所示，与检测区域A1、A2内的区域R2相比，在检测区域A1、A2内的区域R1和区域R3中，将阈值th的增益设为较大，另一方面，也可以构成为，在可信度大于或等于规定值的情况下，例如，如图13的(A)右图所示，在检测区域A1、A2中，在与光源相比前方的区域Rf中，比与光源相比后方的区域Rr，将阈值th的增益设为较大。由此，例如，在更相邻车辆的前大灯照射的情况下，更相邻车辆的前大灯的光难以作为差分波形DWt被检测，能够有效地防止将更相邻车辆的前大灯的光误检测为相邻车辆。
并且，在上述第1实施方式中，例示了如下结构，即，利用位置对齐部32将差分图像PDt的像素值检测为“0”或者“1”，基于该差分图像PDt，利用立体物检测部33将差分图像PDt的像素值为“1”的像素作为差分像素DP进行计数，从而对立体物进行检测的结构，但并不限定于该结构，也可以构成为，例如，利用位置对齐部32，以将鸟瞰视野图像PBt、PBt-1的像素值的差绝对值化而得到的值，对差分图像PDt的像素值进行检测，利用立体物检测部33将超过规定的差分阈值的像素作为差分像素DP进行计数。
另外，在上述第1实施方式中，例示了如下结构，即，将拍摄到的当前时刻的图像和一个时刻前的图像变换成鸟瞰图，在进行变换后的鸟瞰图的位置对齐后，生成差分图像PDt，对生成后的差分图像PDt沿着歪斜方向(将拍摄到的图像变换成鸟瞰图时的立体物的歪斜方向)进行评价而生成差分波形DWt的结构，但并不限定于此，也可以是如下的结构。例如可以构成为，仅将一个时刻前的图像变换成鸟瞰图，在对变换后的鸟瞰图进行位置对齐之后，再次变换成与拍摄到的图像相当的图像，利用该图像和当前时刻的图像生成差分图像PDt，对生成后的差分图像PDt沿着与歪斜方向相当的方向(即，将歪斜方向变换成拍摄图像上的方向而得到的的方向)进行评价，从而生成差分波形DWt。即，如果能够进行当前时刻的图像和一个时刻前的图像之间的位置对齐，根据进行了位置对齐的两个图像的差分，生成差分图像PDt，并沿着变换成鸟瞰图时的立体物的歪斜方向对差分图像PDt进行评价，则没有必要一定明确地生成鸟瞰图。
并且，在上述第1实施方式中，基于来自速度传感器20的信号，判断本车辆V1的车速，但不限于此，也可以构成为根据不同的时刻的多个图像推定速度。在该情况下，不需要车速传感器20，能够实现结构的简化。
此外，在上述第1实施方式中，例示了如下结构：在可信度大于或等于规定值的情况下，为了适当地检测出相邻车辆的轮胎轮毂利用由图12所示的控制对应图规定的权重wt，对从第1阈值对应图获得的阈值α2’、从第2阈值对应图获得的阈值α2”进行加权，从而在与光源的位置相比为后方的区域中降低阈值α，但除了该构成之外，也可以构成为，例如，对从照相机10的中心位置到光源的重心位置为止的车宽方向上的距离L进行计算，对应于该距离L，变更相对于与光源相对应的基准阈值PO为后方的阈值α。也可以构成为，例如，从照相机10的中心位置到光源的重心为止的车宽方向上的距离L越大，判断为检测到的光源是在离本车道较远的更相邻车道上行驶的更相邻车辆的前大灯的可能性较高，将光源的后方处的阈值α设为越高。由此，在前大灯(光源)的后方也能够有效地防止由更相邻车辆的前大灯的光导致的相邻车辆的误检测。
另外，在上述第2实施方式中，例示了如下结构：在注视点Pai与参照点Pri之间的亮度差大于或等于阈值t的情况下，将注视点Pai的属性s设定为“1”或者“－1”，注视点Pai的属性s(xi，yi)和相邻的注视点Pai+1的属性s(xi+1，yi+1)连续地大于或等于规定的阈值θ，将“1”或者“－1”的注视线La检测为边缘线，但也可以构成为，在该结构的基础上，将该阈值t、阈值θ对应于距照相机10的后方距离或照相机10与光源之间的位置关系，进行变更。
具体而言，也可以构成为，检测基准设定部35在可信度小于规定值的情况下，例如，如图8左图所示，在检测区域A1、A2内的区域R1和区域R3中，与检测区域A1、A2内的区域R2相比增大阈值t、阈值θ的增益，另一方面，在可信度大于或等于规定值的情况下，例如，如图13的(A)右图所示，在检测区域A1、A2中的、与光源相比靠前方的区域Rf中，与相对于光源靠后方的区域Rr相比增大阈值t、阈值θ的增益。由此，在检测到的光源是更相邻车辆的前大灯的情况下，更相邻车辆的前大灯的光难以作为边缘线被检测，能够有效地防止将更相邻车辆的前大灯的光的像误检测为相邻车辆。
此外，在上述第2实施方式中，例示了如下结构：按照上述式6、7、8中的任一个对边缘线的亮度变化进行计算，将边缘线中的亮度变化大于或等于规定的阈值tb的边缘线除外，但除了该结构之外，也可以构成为，使该阈值tb与检测到的光源的位置对应地变更。
具体而言，也可以构成为，检测基准设定部35在可信度小于规定值的情况下，例如，如图8左图所示，在检测区域A1、A2内的区域R1和区域R3中，与检测区域A1、A2内的区域R2相比增大阈值tb的增益，另一方面，在可信度大于或等于规定值的情况下，例如，如图13的(A)右图所示，在检测区域A1、A2中的、与光源相比靠前方的区域Rf中，与相对于光源靠后方的区域Rr相比增大阈值tb的增益。在该情况下，也在检测到的光源是更相邻车辆的前大灯的情况下，更相邻车辆的前大灯的光难以作为边缘线被检测，能够有效地防止将更相邻车辆的前大灯的光的像误检测为相邻车辆。
此外，上述实施方式的照相机10相当于本发明的拍摄单元，视点变换部31相当于本发明的图像变换单元，位置对齐部32、立体物检测部33、33a、亮度差计算部36和边缘线检测部37相当于本发明的立体物检测单元，检测基准设定部35、35a相当于本发明的光源检测单元及立体物检测控制单元，可信度判定部34相当于本发明的可信度判定单元。
标号的说明
1、1a…立体物检测装置
10…照相机
20…车速传感器
30、30a…计算机
31…视点变换部
32…位置对齐部
33、33a…立体物检测部
34…可信度判定部
35、35a…检测基准设定部
36…亮度差计算部
37…边缘线检测部
a…视场角
A1、A2…检测区域
CP…交点
DP…差分像素
DWt、DWt’…差分波形
DWt1～DWm、DWm+k～DWtn…小区域
L1、L2…接地线
La、Lb…立体物歪斜的方向上的线
P…拍摄图像
PBt…鸟瞰视野图像
PDt…差分图像
V1…本车辆
V2…相邻车辆
V3…更相邻车辆

Claims (13)

1.一种立体物检测装置，其特征在于，具有：
拍摄单元，其拍摄以本车辆后方的相邻车道为基准的规定区域；
图像变换单元，其将由所述拍摄单元获得的拍摄图像视点变换为鸟瞰视野图像；
立体物检测单元，其使由所述图像变换单元获得的不同的时刻的鸟瞰视野图像的位置在鸟瞰视野上位置对齐，在该位置对齐后的鸟瞰视野图像的差分图像上，对表示大于或等于规定的第1阈值的差分的像素数进行计数而进行频率分布化，从而生成差分波形信息，在设定于所述规定区域内的检测框内，在所述差分波形信息大于或等于规定的第2阈值的情况下，基于所述差分波形信息对存在于相邻车道的立体物进行检测；
光源检测单元，其基于由所述拍摄单元获得的图像，对存在于本车辆后方的光源进行检测；
可信度判定单元，其基于由所述光源检测单元检测到的所述光源的样式，对所述光源是在与相邻车道相邻的更相邻车道上行驶的其他车辆的前大灯的可信度进行判定；以及
控制单元，其在所述可信度大于或等于规定值的情况下，对所述第1阈值或者所述第2阈值进行设定，以使得在所述检测框内在与将所述光源与所述拍摄单元连接的线相比为前方的前方区域中，相对于在与将所述光源与所述拍摄单元连接的线相比为后方的后方区域，更难以检测到所述立体物，在所述可信度小于规定值的情况下，对第1阈值或者第2阈值进行设定，以使得随着从所述检测框内的中央侧朝向前端或者后端而难以检测到所述立体物。
2.根据权利要求1所述的立体物检测装置，其特征在于，
所述可信度判定单元，将由所述光源检测单元检测到的所述光源的数量作为所述光源的样式而确定，并基于所确定的所述光源的数量，对所述可信度进行判定。
3.根据权利要求1或2所述的立体物检测装置，其特征在于，
所述可信度判定单元，将由所述光源检测单元检测到的所述光源的位置作为所述光源的样式而确定，并基于所确定的所述光源的位置，对所述可信度进行判定。
4.根据权利要求1至3中任一项所述的立体物检测装置，其特征在于，
所述可信度判定单元，将由所述光源检测单元检测到的所述光源的大小作为所述光源的样式而确定，并基于所确定的所述光源的大小，对所述可信度进行判定。
5.根据权利要求1至4中任一项所述的立体物检测装置，其特征在于，
所述可信度判定单元，将由所述光源检测单元检测到的所述光源的状态的时间变化作为所述光源的样式而确定，并基于所确定的所述光源的状态的时间变化，对所述可信度进行判定。
6.根据权利要求1至5中任一项所述立体物检测装置，其特征在于，
所述控制单元，在所述可信度小于规定值的情况下，确定出前端部、后端部和中央部，并对所述第1阈值或者所述第2阈值进行设定，以使与所述中央部相比在所述前端部和所述后端部处难以检测到所述立体物，其中，该前端部包含所述检测框的前端，并且距所述拍摄单元的后方距离小于规定的第1距离，该后端部包含所述检测框的后端，并且距所述拍摄单元的后方距离大于或等于第2距离，该第2距离比所述第1距离大，该中央部位于所述前端部和所述后端部之间，并且，距所述拍摄单元的后方距离大于或等于所述第1距离且小于所述第2距离。
7.一种立体物检测装置，其特征在于，具有：
拍摄单元，其对包含本车辆后方的相邻车道在内的规定的检测对象区域进行拍摄；
图像变换单元，其将由所述拍摄单元获得的图像视点变换为鸟瞰视野图像；
立体物检测单元，其从由所述图像变换单元获得的鸟瞰视野图像中对大于或等于规定的第1阈值的边缘信息进行检测，在设定于所述规定区域内的检测框内，在所述边缘信息大于或等于规定的第2阈值的情况下，基于所述边缘信息，对存在于相邻车道的立体物进行检测；
光源检测单元，其基于由所述拍摄单元获得的图像，对存在于本车辆后方的光源进行检测；
可信度判定单元，其基于由所述光源检测单元检测到的所述光源的样式，对所述光源是在与相邻车道相邻的更相邻车道上行驶的其他车辆的前大灯的可信度进行判定；以及
控制单元，其在所述可信度大于或等于规定值的情况下，对所述第1阈值或者所述第2阈值进行设定，以使得在所述检测框内在与将所述光源与所述拍摄单元连接的线相比为前方的前方区域中，相对于在与将所述光源与所述拍摄单元连接的线相比为后方的后方区域，更难以检测到所述立体物，在所述可信度小于规定值的情况下，对第1阈值或者第2阈值进行设定，以使得随着从所述检测框内的中央侧朝向前端或者后端而难以检测到所述立体物。
8.根据权利要求7所述的立体物检测装置，其特征在于，
所述可信度判定单元，将由所述光源检测单元检测到的所述光源的数量作为所述光源的样式而确定，并基于所确定的所述光源的数量，对所述可信度进行判定。
9.根据权利要求7或8所述的立体物检测装置，其特征在于，
所述可信度判定单元，将由所述光源检测单元检测到的所述光源的位置作为所述光源的样式而确定，并基于所确定的所述光源的位置，对所述可信度进行判定。
10.根据权利要求7至9中任一项所述的立体物检测装置，其特征在于，
所述可信度判定单元，将由所述光源检测单元检测到的所述光源的大小作为所述光源的样式而确定，并基于所确定的所述光源的大小，对所述可信度进行判定。
11.根据权利要求7至10中任一项所述的立体物检测装置，其特征在于，
所述可信度判定单元，将由所述光源检测单元检测到的所述光源的状态的时间变化作为所述光源的样式而确定，并基于所确定的所述光源的状态的时间变化，对所述可信度进行判定。
12.根据权利要求7至11中任一项所述的立体物检测装置，其特征在于，
所述控制单元在所述可信度小于规定值的情况下，特定出前端部、后端部和中央部，并对所述第1阈值或者所述第2阈值进行设定，以使与所述中央部相比在所述前端部和所述后端部处难以检测到所述立体物，其中，该前端部包含所述检测框的前端，并且距所述拍摄单元的后方距离小于规定的第1距离，该后端部包含所述检测框的后端，并且距所述拍摄单元的后方距离大于或等于第2距离，该第2距离比所述第1距离大，该中央部位于所述前端部和所述后端部之间，并且，距所述拍摄单元的后方距离大于或等于所述第1距离且小于所述第2距离。
13.一种立体物检测装置，其特征在于，具有：
拍摄单元，其拍摄以本车辆后方的相邻车道为基准的规定区域；
图像变换单元，其将由所述拍摄单元获得的图像视点变换为鸟瞰视野图像；
立体物检测单元，其在由所述图像变换单元获得的所述鸟瞰视野图像上，在视点变换为所述鸟瞰视野图像时立体物歪斜的方向上，对亮度差大于或等于规定的第1阈值的像素的分布信息进行检测，在设定于所述规定区域内的检测框内，在所述立体物歪斜的方向上的所述像素的分布程度大于或等于规定的第2阈值的情况下，基于所述像素的分布信息，进行所述立体物的检测；
光源检测单元，其基于由所述拍摄单元获得的图像，对存在于本车辆后方的光源进行检测；
可信度判定单元，其基于由所述光源检测单元检测到所述光源的样式，对所述光源是在与相邻车道相邻的更相邻车道行驶的其他车辆的前大灯的可信度进行判定；
控制单元，其在所述可信度大于或等于规定值的情况下，对所述第1阈值或者所述第2阈值进行设定，以使得在所述检测框内在与将所述光源与所述拍摄单元连接的线相比为前方的前方区域中，相对于在与将所述光源与所述拍摄单元连接的线相比为后方的后方区域，更难以检测到所述立体物，在所述可信度小于规定值的情况下，对第1阈值或者第2阈值进行设定，以使得随着从所述检测框内的中央侧朝向前端或者后端而难以检测到所述立体物。
CN201380009568.3A 2012-03-01 2013-02-26 立体物检测装置 Active CN104115188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-045356 2012-03-01
JP2012045356 2012-03-01
PCT/JP2013/054857 WO2013129356A1 (ja) 2012-03-01 2013-02-26 立体物検出装置

Publications (2)

Publication Number Publication Date
CN104115188A true CN104115188A (zh) 2014-10-22
CN104115188B CN104115188B (zh) 2017-03-08

Family

ID=49082553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380009568.3A Active CN104115188B (zh) 2012-03-01 2013-02-26 立体物检测装置

Country Status (8)

Country Link
US (1) US9135511B2 (zh)
EP (1) EP2821958A4 (zh)
JP (1) JP5804180B2 (zh)
CN (1) CN104115188B (zh)
BR (1) BR112014020404B1 (zh)
MX (1) MX350354B (zh)
RU (1) RU2616538C2 (zh)
WO (1) WO2013129356A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107110971A (zh) * 2015-01-08 2017-08-29 微软技术许可有限责任公司 多模式深度成像
CN108351958A (zh) * 2015-10-22 2018-07-31 日产自动车株式会社 停车位的框线的检测方法及装置
CN109313509A (zh) * 2016-04-21 2019-02-05 奇跃公司 视野周围的视觉光环

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY160274A (en) * 2010-08-19 2017-02-28 Nissan Motor Three-dimensional object detection device and three-dimensional object detection method
JP6177632B2 (ja) * 2013-09-11 2017-08-09 アルパイン株式会社 車両位置検出装置および車両後側方警報装置
JP6426455B2 (ja) * 2014-12-09 2018-11-21 クラリオン株式会社 接近車両検出装置
DE102015004330A1 (de) * 2015-04-09 2016-10-13 Eisenmann Se Lage- und Positionserkennung für eine Fördereinrichtung
WO2018002932A1 (en) * 2016-06-30 2018-01-04 Ariel Scientific Innovations Ltd. Lane level accuracy using vision of roadway lights and particle filter
FR3056807B1 (fr) * 2016-09-28 2020-08-28 Valeo Schalter & Sensoren Gmbh Dispositif d'aide a la conduite d'un vehicule
KR101906999B1 (ko) * 2016-10-25 2018-12-05 주식회사 와이즈오토모티브 차량과 인접 차로의 객체 간 거리 계산 장치 및 방법
US10288410B2 (en) * 2016-11-10 2019-05-14 The Boeing Company Method and system for identifying wire contact insertion holes of a connector
US11493914B2 (en) * 2020-06-26 2022-11-08 Intel Corporation Technology to handle ambiguity in automated control systems
WO2023133282A1 (en) * 2022-01-07 2023-07-13 Ouster, Inc. Logic for controlling histogramming of measurements of lidar sensors

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017807A1 (en) * 2004-07-26 2006-01-26 Silicon Optix, Inc. Panoramic vision system and method
CN1813168A (zh) * 2003-08-28 2006-08-02 奥林巴斯株式会社 物体识别装置
CN102044170A (zh) * 2009-10-22 2011-05-04 富士重工业株式会社 车辆的驾驶辅助控制装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08193831A (ja) 1995-01-13 1996-07-30 Nissan Motor Co Ltd 接近車両検出装置
DE10253509A1 (de) * 2002-11-16 2004-06-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
JP4906437B2 (ja) * 2006-08-22 2012-03-28 アルパイン株式会社 周辺監視システム
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP5355209B2 (ja) * 2009-05-01 2013-11-27 アルパイン株式会社 ナビゲーション装置、自車の走行車線の判定方法および判定プログラム
RU2533645C2 (ru) * 2010-05-27 2014-11-20 Сергей Анатольевич Королев Интеллектуальная транспортная система и способ её использования
JP5251927B2 (ja) * 2010-06-21 2013-07-31 日産自動車株式会社 移動距離検出装置及び移動距離検出方法
JP5809785B2 (ja) * 2010-07-30 2015-11-11 日立オートモティブシステムズ株式会社 車両用外界認識装置およびそれを用いた配光制御システム
US8888304B2 (en) * 2012-05-10 2014-11-18 Christopher V. Beckman Optical control techniques

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1813168A (zh) * 2003-08-28 2006-08-02 奥林巴斯株式会社 物体识别装置
US20060017807A1 (en) * 2004-07-26 2006-01-26 Silicon Optix, Inc. Panoramic vision system and method
CN102044170A (zh) * 2009-10-22 2011-05-04 富士重工业株式会社 车辆的驾驶辅助控制装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107110971A (zh) * 2015-01-08 2017-08-29 微软技术许可有限责任公司 多模式深度成像
CN108351958A (zh) * 2015-10-22 2018-07-31 日产自动车株式会社 停车位的框线的检测方法及装置
CN108351958B (zh) * 2015-10-22 2022-03-25 日产自动车株式会社 停车位的框线的检测方法及装置
CN109313509A (zh) * 2016-04-21 2019-02-05 奇跃公司 视野周围的视觉光环
CN109313509B (zh) * 2016-04-21 2022-01-07 奇跃公司 视野周围的视觉光环

Also Published As

Publication number Publication date
BR112014020404B1 (pt) 2021-08-31
US9135511B2 (en) 2015-09-15
BR112014020404A2 (pt) 2021-05-25
WO2013129356A1 (ja) 2013-09-06
JPWO2013129356A1 (ja) 2015-07-30
RU2616538C2 (ru) 2017-04-17
CN104115188B (zh) 2017-03-08
MX350354B (es) 2017-09-04
RU2014139609A (ru) 2016-04-20
US20140363050A1 (en) 2014-12-11
JP5804180B2 (ja) 2015-11-04
EP2821958A1 (en) 2015-01-07
MX2014010245A (es) 2014-11-12
EP2821958A4 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
CN104115188A (zh) 立体物检测装置
CN104115186A (zh) 立体物检测装置
RU2636120C2 (ru) Устройство обнаружения трехмерных объектов
CN104115204A (zh) 立体物检测装置
US9591274B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
CN104509090B (zh) 车载用图像识别装置
CN104115203A (zh) 立体物检测装置
CN104508723B (zh) 图像处理装置
US20140168440A1 (en) Three-dimensional object detection device
CN104094311B (zh) 立体物检测装置
CN104508722A (zh) 车载用周围环境识别装置
CN104246821A (zh) 三维物体检测装置和三维物体检测方法
JP5943077B2 (ja) 立体物検出装置および立体物検出方法
CN104685866A (zh) 三维物体检测装置以及三维物体检测方法
CN104115201A (zh) 立体物检测装置
CN104509100A (zh) 三维物体检测装置以及三维物体检测方法
CN104508728A (zh) 三维物体检测装置
JP5835459B2 (ja) 立体物検出装置
JP2023089311A (ja) 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant