CN104508725B - 三维物体检测装置和三维物体检测方法 - Google Patents

三维物体检测装置和三维物体检测方法 Download PDF

Info

Publication number
CN104508725B
CN104508725B CN201380039924.6A CN201380039924A CN104508725B CN 104508725 B CN104508725 B CN 104508725B CN 201380039924 A CN201380039924 A CN 201380039924A CN 104508725 B CN104508725 B CN 104508725B
Authority
CN
China
Prior art keywords
mentioned
camera lens
dimensional body
state
judged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380039924.6A
Other languages
English (en)
Other versions
CN104508725A (zh
Inventor
早川泰久
深田修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN104508725A publication Critical patent/CN104508725A/zh
Application granted granted Critical
Publication of CN104508725B publication Critical patent/CN104508725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/46—Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Signal Processing (AREA)

Abstract

具备：摄像机(10)，其拍摄车辆后方；三维物体检测部(33)，其基于获取到的图像检测上述车辆后方的三维物体；镜头清洗装置(100)，其按照规定的镜头清洗工序，使用清洗液清洗摄像机(10)的镜头(11)；镜头状态判断部(38)，其基于镜头清洗工序的向镜头喷射清洗液的定时，判断镜头(11)的状态是否为规定的控制对象状态；以及控制部(39)，其在判断为镜头状态是控制对象状态的情况下，通过将紧挨在判断为镜头状态是控制对象状态之前的检测或判断结果保持规定时间，来抑制检测出三维物体。

Description

三维物体检测装置和三维物体检测方法
技术领域
本发明涉及一种三维物体检测装置和三维物体检测方法。
本申请要求2012年7月27日申请的日本专利申请的特愿2012-166514的优先权，针对文献参照中引用的指定国，上述申请记载的内容作为参照引用入本申请中，并作为本申请的记载的一部分。
背景技术
已知如下一种障碍物检测装置(参照专利文献1)：对拍摄车辆周围得到的图像进行俯视变换，使用时间上不同的两个俯视变换图像的差分检测障碍物。
专利文献1：日本特开2008-227646号公报
发明内容
发明要解决的问题
在以往的技术中，由于摄像机的镜头的脏污诱发错误检测，因此在摄像动作中进行清洗镜头的处理，但是存在如下问题：当为了清洗镜头而吹送清洗液时，由于附着于镜头表面的清洗液的影响而图像信息发生变化，无法准确地检测三维物体。
本发明要解决的课题在于提供一种即使在向镜头吹送清洗液时也高精度地检测存在于检测区域的其它车辆的三维物体检测装置。
用于解决问题的方案
本发明通过以下技术解决上述课题：基于规定的镜头清洗工序的内容判断镜头的状态是否为规定的控制对象状态，在镜头状态是控制对象状态的情况下，将紧挨在判断为镜头状态是上述控制对象状态之前的检测或判断结果保持规定时间，从而抑制检测出要检测的三维物体。
发明的效果
本发明在使用清洗液清洗镜头的情况下，与镜头的状态相应地以维持镜头清洗前的检测结果或判断结果的方式抑制三维物体的检测处理和判断处理，因此能够防止已经检测出的三维物体因镜头清洗处理而转变为未检测出、或者虽然未检测出但因镜头清洗处理而转变为检测出等的错误判断。其结果，能够防止因清洗镜头而检测结果的精度下降，从而能够提供一种高精度地检测行驶于检测区域的其它车辆的三维物体检测装置。
附图说明
图1是应用了本发明的三维物体检测装置的一个实施方式所涉及的车辆的概要结构图。
图2是表示图1的车辆的行驶状态的俯视图(基于差分波形信息的三维物体检测)。
图3是表示图1的计算机的详细内容的框图。
图4是用于说明图3的对位部的处理概要的图，(a)是表示车辆的移动状态的俯视图，(b)是表示对位的概要的图像。
图5是表示图3的三维物体检测部生成差分波形的情形的概要图。
图6是表示通过图3的三维物体检测部分割出的小区域的图。
图7是表示由图3的三维物体检测部得到的直方图的一例的图。
图8是表示图3的三维物体检测部的加权的图。
图9是表示图3的拖影检测部的处理以及基于该处理计算差分波形的处理的图。
图10是表示由图3的三维物体检测部得到的直方图的另一例的图。
图11是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之一)。
图12是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之二)。
图13是表示图1的车辆的行驶状态的图(基于边缘信息的三维物体检测)，(a)是表示检测区域等的位置关系的俯视图，(b)是表示实际空间中的检测区域等的位置关系的立体图。
图14是用于说明图3的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
图15是用于说明图3的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。
图16是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域存在三维物体(车辆)时的亮度分布的图，(b)是表示在检测区域不存在三维物体时的亮度分布的图。
图17是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之一)。
图18是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之二)。
图19是表示用于说明边缘检测动作的图像例的图。
图20是表示由镜头清洗后的摄像机拍摄得到的图像信息的一例的图。
图21是表示镜头清洗装置的结构概要的图。
图22是用于说明镜头清洗工序的时序图。
图23是表示镜头清洗时的镜头的状态与各处理的精度的对应的图。
图24是表示镜头清洗时的镜头的状态与各处理的控制内容的对应的图。
图25是表示考虑了镜头状态的三维物体判断的控制过程的流程图。
图26是表示与控制对象状态相应的控制对象处理以及设定控制内容的控制过程的流程图。
图27是用于说明保持时间的时序图。
图28是表示其它例子所涉及的车载摄像机的清洗装置的结构的框图。
图29是表示其它例子所涉及的车载摄像机的清洗装置的结构的立体图。
图30是设置于其它例子所涉及的车载摄像机的清洗装置的摄像机部件的局部剖切立体图。
图31是设置于其它例子所涉及的车载摄像机的清洗装置的喷嘴前端部的剖视图。
图32是表示设置于其它例子所涉及的车载摄像机的清洗装置的喷嘴前端部与摄像机的配置关系的说明图。
图33是其它例子所涉及的车载摄像机的清洗装置的喷嘴部件的剖视图。
图34是表示其它例子所涉及的车载摄像机的清洗装置的控制部的详细结构的框图。
图35是表示其它例子所涉及的车载摄像机的清洗装置的处理过程的流程图。
图36是表示通过其它例子所涉及的车载摄像机的清洗装置执行的加压清洗模式的处理的时序图。
图37是表示通过其它例子所涉及的车载摄像机的清洗装置执行的吹气模式的处理的时序图。
图38是表示通过其它例子所涉及的车载摄像机的清洗装置执行的连续注液模式的处理的时序图。
具体实施方式
<第一实施方式>
图1是应用了本发明的三维物体检测装置1的一个实施方式所涉及的车辆的概要结构图。本例的三维物体检测装置1是将本车辆的驾驶员在驾驶过程中应予以注意的其它车辆、例如本车辆V在车道变更时有可能接触的其它车辆检测为障碍物的装置。特别地，本例的三维物体检测装置1检测行驶于与本车辆所行驶的车道相邻的邻近车道(以下还简称为邻近车道)的其它车辆。另外，本例的三维物体检测装置1能够计算所检测出的其它车辆的移动距离、移动速度。因此，以下说明的一例表示将三维物体检测装置1搭载于本车辆V并检测在本车辆周围检测的三维物体中的行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆的例子。如该图所示，本例的三维物体检测装置1具备包括使车辆后方的影像成像的镜头11的摄像机10、车速传感器20、计算机30、以及清洗镜头11的镜头清洗装置100。
摄像机10如图1所示那样在本车辆V后方的高度h的地方以光轴相对于水平向下形成角度θ的方式安装于本车辆V。摄像机10从该位置拍摄本车辆V的周围环境中的规定区域。在本实施方式中，为了检测本车辆V后方的三维物体而设置的摄像机1是一个，但是也能够为了其它的用途而设置例如用于获取车辆周围的图像的其它的摄像机。车速传感器20用于检测本车辆V的行驶速度，并根据例如由检测车轮转速的车轮速度传感器检测出的车轮速度来计算车速。计算机30检测车辆后方的三维物体，并且在本例中关于该三维物体计算移动距离和移动速度。
图2是表示图1的本车辆V的行驶状态的俯视图。如该图所示，摄像机10以规定的视角a拍摄车辆后方。此时，摄像机10的视角a被设定为除了能够拍摄到本车辆V所行驶的车道以外还能够拍摄到该车道左右的车道的视角。能够拍摄的区域包含在本车辆V的后方与本车辆V的行驶车道左右相邻的邻近车道上的检测对象区域A1、A2。此外，本实施方式中的车辆后方不只包含车辆的正后方，还包含车辆的正后方侧的侧方。所拍摄的车辆后方的区域与摄像机10的视角相应地设定。虽然是一例，但是设定成在将沿着车长方向的车辆的正后方设为零度的情况下，所拍摄的车辆后方的区域包含从正后方向起左右0度～90度、优选0度～70度等的区域。
图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像机10、车速传感器20以及镜头清洗装置100。
如图3所示，计算机30具备视点变换部31、对位部32、三维物体检测部33、三维物体判断部34、镜头状态判断部38、控制部39以及拖影检测部40。本实施方式的计算部30是与利用差分波形信息检测三维物体的检测模块有关的结构。本实施方式的计算部30也能够设为与利用边缘信息检测三维物体的检测模块有关的结构。该情况能够将图3所示的结构中的由对位部32以及三维物体检测部33构成的检测模块结构A替换为用虚线包围的由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成的检测模块结构B来构成。当然也能够具备检测模块结构A和检测模块结构B两方，能够利用差分波形信息进行三维物体的检测，并且也能够利用边缘信息进行三维物体的检测。在具备检测模块结构A和检测模块结构B的情况下，例如能够与明亮度等环境因素相应地使检测模块结构A和检测模块结构B中的某一个进行动作。以下，关于各结构进行说明。
<基于差分波形信息检测三维物体>
本实施方式的三维物体检测装置1根据由拍摄车辆后方的单眼的摄像机1获得的图像信息来检测存在于车辆后方的右侧检测区域或左侧检测区域的三维物体。
视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像机的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于如下原理能够识别平面物体和三维物体，该原理为三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群。此外，在后述的利用边缘信息检测三维物体时也使用视点变换部31的图像变换处理的结果。
对位部32依次输入由视点变换部31的视点变换得到的鸟瞰视点图像数据，并对所输入的不同时刻的鸟瞰视点图像数据的位置进行对准。图4是用于说明对位部32的处理概要的图，(a)是表示本车辆V的移动状态的俯视图，(b)是表示对位的概要的图像。
如图4的(a)所示，设为当前时刻的本车辆V位于V1，前一时刻的本车辆V位于V2。另外，设为其它车辆VX位于本车辆V的后侧方向并与本车辆V处于并列行驶状态，当前时刻的其它车辆VX位于V3，前一时刻的其它车辆VX位于V4。并且，设为本车辆V在一时刻移动了距离d。此外，前一时刻可以是从当前时刻起相隔预先决定时间(例如一个控制周期)的过去时刻，也可以是相隔任意时间的过去时刻。
在这样的状态中，当前时刻的鸟瞰视点图像PBt如图4的(b)所示那样。在该鸟瞰视点图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是处于位置V3的其它车辆VX的位置发生倾倒。另外，前一时刻的鸟瞰视点图像PBt-1也同样地，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是处于位置V4的其它车辆VX发生倾倒。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包含在三维空间中从路面立起的边缘)通过变换为鸟瞰视点图像数据的视点变换处理而表现为沿着倾倒方向的直线群，与此相对地路面上的平面图像不包含铅垂边缘，因此即使进行视点变换也不会产生那样的倾倒。
对位部32在数据上执行如上所述的鸟瞰视点图像PBt、PBt-1的对位。此时，对位部32使前一时刻的鸟瞰视点图像PBt-1偏移来使位置与当前时刻的鸟瞰视点图像PBt相一致。图4的(b)的左侧的图像和中央的图像表示偏移了移动距离d’后的状态。该偏移量d’是与图4的(a)所示的本车辆V的实际的移动距离d对应的鸟瞰视点图像数据上的移动量，是根据来自车速传感器20的信号和从前一时刻至当前时刻的时间而决定的。
另外，在对位之后，对位部32取鸟瞰视点图像PBt、PBt-1的差分，生成差分图像PDt的数据。在此，差分图像PDt的像素值可以是将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化得到的像素值，也可以为了对应照度环境的变化而在该绝对值超过规定的阈值p时设为“1”，在不超过规定的阈值p时设为“0”。图4的(b)的右侧的图像是差分图像PDt。该阈值p可以预先设定，也可以按照后述的控制部39的与镜头状态判断部38的检测结果相应的控制命令进行变更。
返回图3，三维物体检测部33根据图4的(b)所示的差分图像PDt的数据来检测三维物体。此时，本例的三维物体检测部33还计算在实际空间中的三维物体的移动距离。在三维物体的检测以及移动距离的计算时，三维物体检测部33首先生成差分波形。此外，在三维物体的移动速度的计算中使用三维物体的每单位时间的移动距离。而且，三维物体的移动速度能够在判断三维物体是否为车辆时使用。
在生成差分波形时，本实施方式的三维物体检测部33在差分图像PDt中设定检测区域。本例的三维物体检测装置1将本车辆V的驾驶员予以注意的其它车辆、特别是在本车辆V进行车道变更时有可能接触的行驶于与本车辆V所行驶的车道相邻的车道的其它车辆作为检测对象物进行检测。因此，在根据图像信息检测三维物体的本例中，在由摄像机1得到的图像中的本车辆V的右侧和左侧设定两个检测区域。具体地说，在本实施方式中，如图2所示那样在本车辆V后方的左侧和右侧设定矩形状的检测区域A1、A2。在该检测区域A1、A2中检测出的其它车辆被检测为行驶于与本车辆V所行驶的车道相邻的邻近车道的障碍物。此外，这样的检测区域A1、A2可以根据相对于本车辆V的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，移动距离检测装置1例如最好利用已有的白线识别技术等。
另外，三维物体检测部33将所设定的检测区域A1、A2的在本车辆V侧的边(沿着行驶方向的边)识别为触地线L1、L2(图2)。通常，触地线是指三维物体接触地面的线，但是在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与本来基于其它车辆VX的位置求出的触地线之差也不会过大，从而在实际使用上没有问题。
图5是表示图3所示的三维物体检测部33生成差分波形的情形的概要图。如图5所示，三维物体检测部33根据由对位部32计算出的差分图像PDt(图4的(b)的右图)中的相当于检测区域A1、A2的部分来生成差分波形DWt。此时，三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方便仅使用检测区域A1进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DWt。
具体地说，三维物体检测部33在差分图像DWt的数据上定义三维物体倾倒的方向上的线La。然后，三维物体检测部33对线La上示出规定的差分的差分像素DP的个数进行计数。在此，在差分图像DWt的像素值是将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化得到的像素值的情况下，示出规定的差分的差分像素DP是超过规定的阈值的像素，在差分图像DWt的像素值用“0”、“1”表现的情况下，示出规定的差分的差分像素DP是表示“1”的像素。
三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地线L1的交点CP。然后，三维物体检测部33将交点CP与计数数进行对应，根据交点CP的位置来决定横轴位置、即在图5的右图的上下方向轴上的位置，并且根据计数数决定纵轴位置、即在图5的右图的左右方向轴的位置，绘制出交点CP处的计数数。
以下同样地，三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc···进行定义，来对差分像素DP的个数进行计数，根据各交点CP的位置决定横轴位置、基于计数数(差分像素DP的个数)决定纵轴位置进行绘制。三维物体检测部33依次重复上述内容进行频数分布化来如图5右图所示那样生成差分波形DWt。
此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，三维物体检测部33在基于差分像素DP的计数数决定纵轴位置的情况下，根据三维物体倾倒的方向上的线La、Lb与检测区域A1相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中基于计数数决定纵轴位置时，三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
在生成差分波形DWt之后，三维物体检测部33通过与前一时刻的差分波形DWt-1的对比来计算移动距离。即，三维物体检测部33基于差分波形DWt、DWt-1的时间变化来计算移动距离。
详细地说，三维物体检测部33如图6所示那样将差分波形DWt分割成多个小区域DWt1～DWtn(n为2以上的任意整数)。图6是表示由三维物体检测部33分割出的小区域DWt1～DWtn的图。小区域DWt1～DWtn例如图6所示那样以相互重叠的方式进行分割。例如小区域DWt1与小区域DWt2重叠，小区域DWt2与小区域DWt3重叠。
接着，三维物体检测部33按各小区域DWt1～DWtn求出偏移量(差分波形的横轴方向(图6的上下方向)的移动量)。在此，根据前一时刻的差分波形DWt-1与当前时刻的差分波形DWt之差(横轴方向的距离)来求出偏移量。此时，三维物体检测部33按各小区域DWt1～DWtn，在使前一时刻的差分波形DWt-1沿横轴方向移动时，判断出与当前时刻的差分波形DWt的误差最小的位置(横轴方向的位置)，求出差分波形DWt-1的原来的位置与误差最小的位置的在横轴方向的移动量来作为偏移量。然后，三维物体检测部33对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。
图7是表示由三维物体检测部33得到的直方图的一例的图。如图7所示，各小区域DWt1～DWtn与前一时刻的差分波形DWt-1的误差最小的移动量即偏移量稍微产生偏差。因此，三维物体检测部33将包含偏差的偏移量制作成直方图，基于直方图计算移动距离。此时，三维物体检测部33根据直方图的极大值计算三维物体的移动距离。即，在图7所示的例子中，三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离τ*。此外，该移动距离τ*是其它车辆VX相对于本车辆V的相对移动距离。因此，三维物体检测部33在计算绝对移动距离的情况下，根据所得到的移动距离τ*和来自车速传感器20的信号来计算绝对移动距离。
此外，在制作成直方图时，三维物体检测部33也可以针对多个小区域DWt1～DWtn中的每一个进行加权，与权重相应地对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。图8是表示三维物体检测部33的加权的图。
如图8所示，小区域DWm(m为1以上、n-1以下的整数)是平坦的。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差小。三维物体检测部33针对这样的小区域DWm将权重减小。这是因为关于平坦的小区域DWm没有特征，从而在计算偏移量时误差变大的可能性高。
另一方面，小区域DWm+k(k为n-m以下的整数)有大量的起伏。即，小区域DWm的示出规定的差分的像素数的计数数的最大值与最小值之差大。三维物体检测部33针对这样的小区域DWm将权重增大。这是因为关于有很多起伏的小区域DWm+k具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。
此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成了多个小区域DWt1～DWtn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域DWt1～DWtn。在这种情况下，三维物体检测部33根据差分波形DWt与差分波形DWt-1的误差变为最小时的差分波形DWt的偏移量来计算移动距离。即，求前一时刻的差分波形DWt-1与当前时刻的差分波形DWt的偏移量的方法不限定于上述内容。
返回图3，计算机30具备拖影检测部40。拖影检测部40根据由摄像机10拍摄得到的摄像图像的数据来检测拖影的产生区域。此外，由于拖影是在CCD图像传感器等中产生的过曝光现象，因此如果采用使用了不产生这样的拖影的CMOS图像传感器等的摄像机10，则也可以省略拖影检测部40。
图9是用于说明拖影检测部40的处理以及基于该处理的差分波形DWt的计算处理的图像图。首先，设为对拖影检测部40输入了存在拖影S的摄像图像P的数据。此时，拖影检测部40根据摄像图像P检测拖影S。拖影S的检测方法多种多样，例如在一般的CCD(Charge-Coupled Device：电荷耦合器件)摄像机的情况下，从光源仅向图像下方向产生拖影S。因此，在本实施方式中，检索从图像下侧向图像上方具有规定值以上的亮度值且在纵方向上连续的区域，将其确定为拖影S的产生区域。
另外，拖影检测部40生成关于拖影S的产生部分将像素值设为“1”、将除此以外的部分设为“0”的拖影图像SP的数据。在生成后，拖影检测部40将拖影图像SP的数据发送到视点变换部31。另外，输入了拖影图像SP的数据的视点变换部31将该数据视点变换为鸟瞰视点的状态。由此，视点变换部31生成拖影鸟瞰视点图像SBt的数据。在生成后，视点变换部31将拖影鸟瞰视点图像SBt的数据发送到对位部33。另外，视点变换部31还将前一时刻的拖影鸟瞰视点图像SBt-1的数据发送到对位部33。
对位部32在数据上执行拖影鸟瞰视点图像SBt、SBt-1的对位。关于具体的对位，与在数据上执行鸟瞰视点图像PBt、PBt-1的对位的情况相同。另外，在对位后，对位部32关于各拖影鸟瞰视点图像SBt、SBt-1的拖影S的产生区域取逻辑或。由此，对位部32生成掩模图像MP的数据。在生成后，对位部32将掩模图像MP的数据发送到三维物体检测部33。
三维物体检测部33关于掩模图像MP中的相当于拖影S的产生区域的部分，将频数分布的计数数设为零。即，在生成了如图9所示那样的差分波形DWt的情况下，三维物体检测部33将拖影S的计数数SC设为零，生成校正后的差分波形DWt’。
此外，在本实施方式中，三维物体检测部33求出车辆V(摄像机10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。
图10是表示由三维物体检测部33得到的直方图的另一例的图。在摄像机10的视角内除了其它车辆VX以外还存在静止物体的情况下，在得到的直方图中出现两个极大值τ1、τ2。在这种情况下，两个极大值τ1、τ2中的某一方是静止物体的偏移量。因此，三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的极大值，采用剩下的一方的极大值计算三维物体的移动距离。
此外，在即使忽略了相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像机10的视角内存在多辆其它车辆VX。但是，在检测区域A1、A2内存在多辆其它车辆VX的情形是非常少见的。因此，三维物体检测部33中止移动距离的计算。
接着，说明基于差分波形信息的三维物体检测过程。图11和图12是表示本实施方式的三维物体检测过程的流程图。如图11所示，首先，计算机30输入由摄像机10得到的摄像图像P的数据，由拖影检测部40生成拖影图像SP(S1)。接着，视点变换部31根据来自摄像机10的摄像图像P的数据生成鸟瞰视点图像PBt的数据，并且根据拖影图像SP的数据生成拖影鸟瞰视点图像SBt的数据(S2)。
然后，对位部33将鸟瞰视点图像PBt的数据和前一时刻的鸟瞰视点图像PBt-1的数据进行对位，并且将拖影鸟瞰视点图像SBt的数据和前一时刻的拖影鸟瞰视点图像SBt-1的数据进行对位(S3)。在该对位之后，对位部33生成差分图像PDt的数据，并且生成掩模图像MP的数据(S4)。之后，三维物体检测部33根据差分图像PDt的数据和前一时刻的差分图像PDt-1的数据生成差分波形DWt(S5)。在生成差分波形DWt之后，三维物体检测部33将差分波形DWt中的相当于拖影S的产生区域的计数数设为零，从而抑制拖影S所产生的影响(S6)。
之后，三维物体检测部33判断差分波形DWt的峰值是否为第一阈值α以上(S7)。该第一阈值α能够预先设定，也能够按照图3所示的控制部39的控制命令进行变更，稍后记述其详细内容。在此，在差分波形DWt的峰值不为第一阈值α以上的情况下、即几乎不存在差分的情况下，认为在摄像图像P内不存在三维物体。因此，在判断为差分波形DWt的峰值不为第一阈值α以上的情况下(S7：“否”)，三维物体检测部33判断为不存在三维物体，从而不存在作为障碍物的其它车辆(图12：S16)。然后，结束图11和图12所示的处理。
另一方面，在判断为差分波形DWt的峰值为第一阈值α以上的情况下(S7：“是”)，三维物体检测部33判断为存在三维物体，将差分波形DWt分割成多个小区域DWt1～DWtn(S8)。接着，三维物体检测部33针对各小区域DWt1～DWtn进行加权(S9)。之后，三维物体检测部33计算各小区域DWt1～DWtn的偏移量(S10)，考虑权重生成直方图(S11)。
然后，三维物体检测部33基于直方图计算三维物体相对于本车辆V的移动距离、即相对移动距离(S12)。接着，三维物体检测部33根据相对移动距离计算三维物体的绝对移动速度(S13)。此时，三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车速度来计算绝对移动速度。
之后，三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下(S14)。在满足双方的情况下(S14：“是”)，三维物体检测部33判断为三维物体是其它车辆VX(S15)。然后，结束图11和图12所示的处理。另一方面，在有任一方不满足的情况下(S14：“否”)，三维物体检测部33判断为不存在其它车辆(S16)。然后，结束图11和图12所示的处理。
此外，在本实施方式中，将本车辆V的后侧方设为检测区域A1、A2，检测本车辆V在行驶过程中应予以注意的行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX，特别是，重点在于在本车辆V进行车道变更的情况下是否有接触的可能性。这是为了在本车辆V进行车道变更的情况下，判断是否有可能接触到行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX。因此，执行了步骤S14的处理。即，当以使本实施方式的系统在高速公路上工作的情形为前提时，在三维物体的速度小于10km/h的情况下，即使存在其它车辆VX，在进行车道变更时由于位于距本车辆V很远的后方，因此很少会成为问题。同样地，在三维物体相对于本车辆V的相对移动速度超过+60km/h的情况下(即，三维物体相对于本车辆V的速度以大于60km/h的速度移动的情况下)，在进行车道变更时，由于在本车辆V的前方移动，因此很少会成为问题。因此，在步骤S14中，也可以说判断出了在进行车道变更时成为问题的其它车辆VX。
另外，通过在步骤S14中判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下，由此存在以下的效果。例如，根据摄像机10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数km/h的情况。因此，通过判断是否为10km/h以上，能够减少将静止物体判断为是其它车辆VX的可能性。另外，有可能由于噪声而导致将三维物体相对于本车辆V的相对速度检测为超过+60km/h的速度。因此，通过判断相对速度是否为+60km/h以下，能够减少因噪声引起的错误检测的可能性。
在步骤S14中，能够任意地设定用于判断其它车辆VX的相对移动速度的阈值。例如能够将-20km/h以上且100km/h以下设定为相对移动速度的阈值。在此，负的下限值为检测物移动至本车辆VX的后方、即检测物逐渐移向后方的状态时的移动速度的下限值。该阈值能够适当地预先设定，但是能够按照后述的控制部39的控制命令进行变更。
并且也可以是，代替步骤S14的处理，而判断绝对移动速度不为负、不为0km/h。另外，在本实施方式中，重点在于本车辆V在进行车道变更的情况下是否有接触的可能性，因此在步骤S15中检测出其它车辆VX的情况下，可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。
另外，在步骤S15中，判断由三维物体检测部33检测出的三维物体是否在规定时间T以上被持续检测出。然后，在该三维物体在规定时间T以上被持续检测出的情况下，进入步骤S16，将该三维物体判断为是存在于右侧检测区域A1或左侧检测区域A2的其它车辆。另一方面，在未被持续检测出的情况下，进入步骤S17，判断为不存在其它车辆。
这样，根据本例的基于差分波形信息的三维物体的检测过程，沿着通过视点变换而三维物体倾倒的方向，对在差分图像PDt的数据上示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形DWt。在此，在差分图像PDt的数据上示出规定的差分的像素是指在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，通过沿着三维物体倾倒的方向对像素数进行计数并进行频数分布化，由此生成差分波形DWt。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息来生成差分波形DWt。然后，根据包含高度方向的信息的差分波形DWt的时间变化来计算三维物体的移动距离。因此，与仅着眼于1个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易得到三维物体中相同的部分，从而根据相同部分的时间变化来计算移动距离，能够提高移动距离的计算精度。
另外，关于差分波形DWt中的相当于拖影S的产生区域的部分，将频数分布的计数数设为零。由此，去除差分波形DWt中的由拖影S产生的波形部位，从而能够防止将拖影S错误识别为三维物体的情形。
另外，根据在不同的时刻生成的差分波形DWt的误差最小时的差分波形DWt的偏移量来计算三维物体的移动距离。因此，根据波形这样的一维的信息的偏移量来计算移动距离，从而能够在计算移动距离时抑制计算成本。
另外，将在不同时刻生成的差分波形DWt分割成多个小区域DWt1～DWtn。通过像这样分割成多个小区域DWt1～DWtn，由此得到多个表示三维物体的各个部分的波形。另外，针对各小区域DWt1～DWtn求出各个波形的误差最小时的偏移量，对针对各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图，由此计算三维物体的移动距离。因此，针对三维物体的各个部分求出偏移量，并根据多个偏移量求出移动距离，从而能够提高移动距离的计算精度。
另外，针对多个小区域DWt1～DWtn中的每一个进行加权，与权重相应地对针对各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。因此，关于特征性的区域将权重增大，关于非特征性的区域将权重减小，由此能够更适当地计算移动距离。因而，能够进一步提高移动距离的计算精度。
另外，关于差分波形DWt的各小区域DWt1～DWtn，示出规定的差分的像素数的计数的最大值与最小值之差越大，则使权重越大。因此，越是最大值与最小值之差大的特征性的起伏区域则权重越大，关于起伏小的平坦的区域，权重变小。在此，就形状来说，与平坦的区域相比，起伏大的区域更容易正确地求出偏移量，因此通过越是最大值与最小值之差大的区域则使权重越大，由此能够进一步提高移动距离的计算精度。
另外，根据对针对各小区域DWt1～DWtn求出的偏移量进行计数得到的直方图的极大值，计算三维物体的移动距离。因此，即使偏移量产生偏差，也能够根据该极大值来计算正确性更高的移动距离。
另外，求出关于静止物体的偏移量，并忽略该偏移量，因此能够防止由于静止物体而导致三维物体的移动距离的计算精度下降的情形。另外，在忽略了相当于静止物体的偏移量之后，如果存在多个极大值，则中止三维物体的移动距离的计算。因此，能够防止如存在多个极大值那样的错误地计算移动距离的情形。
此外，在上述实施方式中，根据来自车速传感器20的信号判断本车辆V的车速，但是不限于此，也可以根据不同时刻的多个图像来估计速度。在这种情况下，不需要车速传感器，能够实现结构的简单化。
另外，在上述实施方式中，将拍摄到的当前时刻的图像和前一时刻的图像变换为鸟瞰图，对变换后的鸟瞰图进行对位之后生成差分图像PDt，对所生成的差分图像PDt沿着倾倒方向(将拍摄到的图像变换为鸟瞰图时的三维物体的倾倒方向)进行评价来生成差分波形DWt，但是不限定于此。例如也可以仅将前一时刻的图像变换为鸟瞰图，对变换得到的鸟瞰图进行对位之后再次变换为与所拍摄的图像相当的图像，用该图像和当前时刻的图像生成差分图像，对所生成的差分图像沿着相当于倾倒方向的方向(即，将倾倒方向变换为摄像图像上的方向所得到的方向)进行评价来生成差分波形DWt。即，对当前时刻的图像和前一时刻的图像进行对位，根据进行对位后的两个图像的差分生成差分图像PDt，只要能够沿着将差分图像PDt变换为鸟瞰图时的三维物体的倾倒方向进行评价，也可以不必明确地生成鸟瞰图。
<基于边缘信息检测三维物体>
接着，说明能够代替图3所示的三维物体的检测模块A而进行动作的三维物体的检测模块B。三维物体的检测模块B由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成，利用边缘信息检测三维物体。图13是表示图3的摄像机10的摄像范围等的图，图13的(a)是俯视图，图13的(b)表示本车辆V后侧方的实际空间中的立体图。如图13的(a)所示，摄像机10形成为规定的视角a，从本车辆V拍摄包含于该规定的视角a中的后侧方。摄像机10的视角a与图2所示的情况同样地被设定成在摄像机10的摄像范围内、除了包含本车辆V所行驶的车道以外还包含相邻的车道。
本例的检测区域A1、A2在俯视图(鸟瞰视点的状态)中形成为梯形状，这些检测区域A1、A2的位置、大小以及形状根据距离d1～d4决定。此外，该图所示的例子的检测区域A1、A2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。
在此，距离d1是从本车辆V到触地线L1、L2的距离。触地线L1、L2是指存在于与本车辆V所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆V的后侧方行驶于与本车辆V的车道相邻的左右车道的其它车辆VX等(包含二轮车等)。因此，能够事先根据本车辆V至白线W的距离d11和从白线W至预测为其它车辆VX所行驶的位置的距离d12，来大致固定地决定作为其它车辆VX的触地线L1、L2的位置的距离d1。
另外，关于距离d1，不限于决定为固定的值的情况，也可以设为可变。在这种情况下，计算机30通过白线识别等技术来识别白线W相对于本车辆V的位置，根据识别出的白线W的位置来决定距离d11。由此，使用所决定的距离d11以可变的方式设定距离d1。在以下的本实施方式中，由于其它车辆VX行驶的位置(距白线W的距离d12)和本车辆V行驶的位置(距白线W的距离d11)大致固定，因此设为距离d1被决定为固定的值。
距离d2是从本车辆V的后端部沿车辆行进方向延伸的距离。以检测区域A1、A2至少收容在摄像机10的视角a内的方式决定该距离d2。特别地，在本实施方式中，距离d2被设定为与由视角a划分的范围相连。距离d3是表示检测区域A1、A2的在车辆行进方向上的长度的距离。该距离d3根据作为检测对象的三维物体的大小决定。在本实施方式中，由于检测对象是其它车辆VX等，因此距离d3被设定为包含其它车辆VX的长度。
距离d4是如图13的(b)所示那样表示被设定成在实际空间中包含其它车辆VX等的轮胎的高度的距离。距离d4在鸟瞰视点图像中设为图13的(a)所示的长度。此外，距离d4也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆V的车道隔一车道的邻近车道，则无法区分是在作为本车辆V所行驶的车道的本车道的左右邻近车道内存在其它车辆VX、还是在隔一车道的邻近车道内存在其它车辆VX。
如以上那样决定距离d1～距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体地说，根据距离d1，决定形成梯形的检测区域A1、A2的上边b1的位置。根据距离d2，决定上边b1的起点位置C1。根据距离d3，决定上边b1的终点位置C2。根据从摄像机10向起点位置C1延伸的直线L3，决定形成梯形的检测区域A1、A2的侧边b2。同样地，根据从摄像机10向终点位置C2延伸的直线L4，决定形成梯形的检测区域A1、A2的侧边b3。根据距离d4，决定形成梯形的检测区域A1、A2的下边b4的位置。这样，由各边b1～b4包围的区域设为检测区域A1、A2。该检测区域A1、A2如图13的(b)所示那样在本车辆V后侧方的实际空间中形成为正方形(长方形)。
返回图3，视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据。视点变换部31针对所输入的摄像图像数据进行视点变换处理来形成为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下(或者稍微斜向下)俯视的虚拟摄像机的视点观看的状态。例如能够通过日本特开2008-219063号公报所记载的技术来实现该视点变换处理。
亮度差计算部35为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部35能够通过仅设定一条在实际空间中的铅垂方向上延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
针对设定两条铅垂虚拟线的具体方法进行说明。亮度差计算部35针对进行视点变换得到的鸟瞰视点图像来设定与实际空间中在铅垂方向延伸的线段相当的第一铅垂虚拟线以及与第一铅垂虚拟线不同并与实际空间中在铅垂方向延伸的线段相当的第二铅垂虚拟线。亮度差计算部35沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。以下，详细说明该亮度差计算部35的动作。
亮度差计算部35如图14的(a)所示那样设定与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部35设定与关注线La不同并与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第二铅垂虚拟线Lr(以下称为参照线Lr)。在此，参照线Lr被设置于距离关注线La分离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向延伸的线段相当的线是指在鸟瞰视点图像中从摄像机10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
亮度差计算部35在关注线La上设定关注点Pa(第一铅垂虚拟线上的点)。另外，亮度差计算部35在参照线Lr上设定参照点Pr(第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间中形成图14的(b)所示的关系。如从图14的(b)显而易见地，关注线La和参照线Lr是在实际空间中在铅垂方向延伸的线，关注点Pa和参照点Pr是在实际空间中被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。
亮度差计算部35求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差大时，认为在关注点Pa与参照点Pr之间存在边缘。因此，图3所示的边缘线检测部36根据关注点Pa与参照点Pr的亮度差来检测边缘线。
更详细地说明该点。图15是表示亮度差计算部35的详细动作的图，图15的(a)表示鸟瞰视点状态的鸟瞰视点图像，图15的(b)是将图15的(a)所示的鸟瞰视点图像的一部分B1放大后的图。此外，关于图15，仅图示检测区域A1进行说明，关于检测区域A2，也以相同的过程计算亮度差。
在摄像机10拍摄到的摄像图像内拍摄有其它车辆VX的情况下，如图15的(a)所示那样，在鸟瞰视点图像内的检测区域A1出现其它车辆VX。如图15的(b)示出图15的(a)中的区域B1的放大图那样，设为在鸟瞰视点图像上，在其它车辆VX的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部35首先设定参照线Lr。参照线Lr被设定在实际空间中沿铅垂方向距关注线La规定的距离的位置处。具体地说，在本实施方式所涉及的三维物体检测装置1中，参照线Lr被设定在实际空间中与关注线La相距10cm的位置处。由此，参照线Lr在鸟瞰视点图像上例如被设定在与其它车辆VX的轮胎的橡胶相距相当于10cm的距离的其它车辆VX的轮胎的轮辋(wheel)上。
接着，亮度差计算部35在关注线La上设定多个关注点Pa1～PaN。在图15的(b)中，为了便于说明，设定了六个关注点Pa1～Pa6(以下，在表示任意的点的情况下，仅称为关注点Pai)。此外，在关注线La上设定的关注点Pa的个数可以是任意的。在以下的说明中，设为在关注线La上设定了N个关注点Pa进行说明。
接着，亮度差计算部35将各参照点Pr1～PrN设定成在实际空间中与各关注点Pa1～PaN相同的高度。而且，亮度差计算部35计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1～N)中的每个位置计算两个像素间的亮度差。亮度差计算部35例如计算第一关注点Pa1与第一参照点Pr1之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部35沿着关注线La和参照线Lr连续地求出亮度差。即，亮度差计算部35依次求出第三～第N关注点Pa3～PaN与第三～第N参照点Pr3～PrN的亮度差。
亮度差计算部35在检测区域A1内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部35在实际空间中沿触地线L1的延伸方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部35例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。
返回图3，边缘线检测部36根据由亮度差计算部35计算出的连续的亮度差来检测边缘线。例如在图15的(b)所示的情况下，第一关注点Pa1和第一参照点Pr1位于相同的轮胎部分，因此亮度差小。另一方面，第二关注点～第六关注点Pa2～Pa6位于轮胎的橡胶部分，第二参照点～第六参照点Pr2～Pr6位于轮胎的轮辋部分。因而，第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6的亮度差变大。因此，边缘线检测部36能够检测出在亮度差大的第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6之间存在边缘线。
具体地说，边缘线检测部36在检测边缘线时，首先依照下述的数式1，根据第i个关注点Pai(坐标(xi，yi))与第i个参照点Pri(坐标(xi’，yi’))的亮度差来对第i个关注点Pai赋予属性。
[数1]
I(xi，yi)＞I(xi’，yi’)+t时
s(xi，yi)＝1
I(xi，yi)＜I(xi’，yi’)-t时
s(xi，yi)＝-1
在上述以外的情况时
s(xi，yi)＝0
在上述数式1中，t表示阈值，I(xi，yi)表示第i个关注点Pai的亮度值，I(xi’，yi’)表示第i个参照点Pri的亮度值。根据上述数式1，在关注点Pai的亮度值高于参照点Pri加上阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘1’。另一方面，在关注点Pai的亮度值低于从参照点Pri减去阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘﹣1’。在关注点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，关注点Pai的属性s(xi，yi)为‘0’。该阈值t可以预先设定，也能够按照图3所示的控制部39发出的控制命令进行变更，在后记述其详细内容。
接着，边缘线检测部36基于下述数式2，根据沿着关注线La的属性s的连续性c(xi，yi)判断关注线La是否为边缘线。
[数2]
s(xi，yi)＝s(xi+1，yi+1)时(且除了0＝0)，
c(xi，yi)＝1
在上述以外的情况时，
c(xi，yi)＝0
在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)相同的情况下，连续性c(xi，yi)为‘1’。在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)不同的情况下，连续性c(xi，yi)为‘0’。
接着，边缘线检测部36关于关注线La上的全部关注点Pa的连续性c求出总和。边缘线检测部36通过将求出的连续性c的总和除以关注点Pa的个数N，来对连续性c进行标准化。边缘线检测部36在进行了标准化的值超过阈值θ的情况下，将关注线La判断为边缘线。此外，阈值θ是预先通过实验等设定的值。阈值θ可以预先设定，也可以按照后述的控制部39的与镜头状态判断部38的判断结果相应的控制命令进行变更。
即，边缘线检测部36基于下述数式3判断关注线La是否为边缘线。而且，边缘线检测部36关于描绘在检测区域A1上的全部关注线La判断是否为边缘线。
[数3]
Σc(xi，yi)/N＞θ
返回图3，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。如上述那样，本实施方式所涉及的三维物体检测装置1检测在实际空间中在铅垂方向延伸的边缘线。检测出很多的在铅垂方向延伸的边缘线就是在检测区域A1、A2存在三维物体的可能性高。因此，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。并且，三维物体检测部37在检测三维物体之前，判断由边缘线检测部36检测出的边缘线是否为正确的边缘线。三维物体检测部37判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否大于规定的阈值。在边缘线上的鸟瞰视点图像的亮度变化大于阈值的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化不大于阈值的情况下，判断为该边缘线是正确的边缘线。此外，该阈值是通过实验等预先设定的值。
图16是表示边缘线的亮度分布的图，图16的(a)表示在检测区域A1内存在作为三维物体的其它车辆VX时的边缘线和亮度分布，图16的(b)表示在检测区域A1内不存在三维物体时的边缘线和亮度分布。
如图16的(a)所示，设为判断为在鸟瞰视点图像中设定于其它车辆VX的轮胎橡胶部分的关注线La是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像机10拍摄到的图像被视点变换为鸟瞰视点图像，由此其它车辆VX的轮胎在鸟瞰视点图像内被拉长。另一方面，如图16的(b)所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线La被错误判断为是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。
根据如以上那样的关注线La上的亮度分布的差异，三维物体检测部37判断边缘线是否为由于错误判断而检测出的。三维物体检测部37在沿着边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的。而且，在检测三维物体时不使用该边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。
具体地说，三维物体检测部37通过下述数式4、数式5中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述数式4通过关注线La上的第i个亮度值I(xi，yi)与相邻的第i+1个亮度值I(xi+1，yi+1)的差分的平方的合计值来评价亮度分布。下述数式5通过关注线La上的第i个亮度值I(xi，yi)和相邻的第i+1个亮度值I(xi+1，yi+1)的差分的绝对值的合计值来评价亮度分布。
[数4]
铅垂对应方向的评价值＝Σ[{I(xi，yi)-I(xi+1，yi+1)}2]
[数5]
铅垂对应方向的评价值＝Σ|I(xi，yi)-I(xi+1，yi+1)|
此外，不限于数式5，也可以如下述数式6那样，利用阈值t2将相邻的亮度值的属性b进行二值化，来将该二值化得到的属性b关于全部的关注点Pa进行总和。
[数6]
铅垂对应方向的评价值＝Σb(xi，yi)
其中，|I(xi，yi)-I(xi+1，yi+1)|＞t2时，
b(xi，yi)＝1
在上述以外的情况时，
b(xi，yi)＝0
在关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pa(xi，yi)的属性b(xi，yi)为‘1’。在除此以外的关系的情况下，关注点Pai的属性b(xi，yi)为‘0’。该阈值t2是为了判断关注线La不在相同的三维物体上而通过实验等预先设定的。而且，三维物体检测部37将关于关注线La上的全部关注点Pa的属性b进行总和来求出铅垂对应方向的评价值，判断边缘线是否为正确的边缘线。
接着，关于本实施方式所涉及的利用边缘信息的三维物体检测方法进行说明。图17和图18是表示本实施方式所涉及的三维物体检测方法的详细内容的流程图。此外，在图17和图18中，为了方便，说明以检测区域A1为对象的处理，但是关于检测区域A2，也执行相同的处理。
如图17所示，首先，在步骤S21中，摄像机10拍摄由视角a和安装位置所确定的规定区域。接着，视点变换部31在步骤S22中输入在步骤S21中由摄像机10拍摄得到的摄像图像数据，进行视点变换来生成鸟瞰视点图像数据。
接着，在步骤S23中，亮度差计算部35在检测区域A1上设定关注线La。此时，亮度差计算部35将与在实际空间中在铅垂方向延伸的线相当的线设定为关注线La。接着，在步骤S24中，亮度差计算部35在检测区域A1上设定参照线Lr。此时，亮度差计算部35将相当于在实际空间中在铅垂方向延伸的线段且与关注线La在实际空间中相距规定距离的线设定为参照线Lr。
接着，在步骤S25中，亮度差计算部35在关注线La上设定多个关注点Pa。此时，亮度差计算部35设定在边缘线检测部36检测边缘时不会成为问题的程度的个数的关注点Pa。另外，在步骤S26中，亮度差计算部35将参照点Pr设定成在实际空间中关注点Pa和参照点Pr处于大致相同的高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测在实际空间中在铅垂方向上延伸的边缘线。
接着，在步骤S27中，亮度差计算部35计算在实际空间中处于相同高度的关注点Pa与参照点Pr的亮度差。接着，边缘线检测部36依照上述的数式1计算各关注点Pa的属性s。接着，在步骤S28中，边缘线检测部36依照上述的数式2计算各关注点Pa的属性s的连续性c。接着，在步骤S29中，边缘线检测部36依照上述数式3，判断将连续性c的总和标准化得到的值是否大于阈值θ。在判断为标准化得到的值大于阈值θ的情况下(S29：“是”)，在步骤S30中，边缘线检测部36将该关注线La检测为边缘线。然后，处理转移到步骤S31。在判断为标准化得到的值不大于阈值θ的情况下(S29：“否”)，边缘线检测部36不将该关注线La检测为边缘线，处理转移到步骤S31。该阈值θ能够预先设定，但是也能够与控制部39的控制命令相应地进行变更。
在步骤S31中，计算机30判断是否关于检测区域A1上可设定的全部关注线La执行了上述的步骤S23～步骤S30的处理。在判断为尚未关于全部的关注线La进行上述处理的情况下(S31：“否”)，将处理返回步骤S23，重新设定关注线La，并重复进行步骤S31为止的处理。另一方面，在判断为关于全部的关注线La进行了上述处理的情况下(S31：“是”)，处理转移到图18的步骤S32。
在图18的步骤S32中，三维物体检测部37关于在图17的步骤S30中检测出的各边缘线计算沿着该边缘线的亮度变化。三维物体检测部37依照上述数式4、数式5、数式6中的任一个来计算边缘线的亮度变化。接着，在步骤S33中，三维物体检测部37去除边缘线中的亮度变化大于规定的阈值的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用该边缘线。这是为了抑制如上述那样检测区域A1中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值是指预先通过实验等求出的根据由于路面上的文字、路肩的杂草等而产生的亮度变化设定的值。
接着，在步骤S34中，三维物体检测部37判断边缘线的量是否为第二阈值β以上。此外，该第二阈值β预先通过实验等求出而设定，也能够按照图3所示的控制部39发出的控制命令进行变更，在后记述其详细内容。例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等根据在检测区域A1内出现的四轮车的边缘线的个数来设定该第二阈值β。在判断为边缘线的量为第二阈值β以上的情况下(S34：“是”)，并在由三维物体检测部33检测出的三维物体在规定时间T以上被持续检测出的情况下(S35：“是”)，在步骤S36中，三维物体检测部37检测为在检测区域A1内存在三维物体(S36)。另一方面，在判断为边缘线的量不为第二阈值β以上的情况下(S34：“否”)，并在由三维物体检测部33检测出的三维物体未在规定时间T以上被持续检测出的情况下(S35：“否”)，三维物体检测部37判断为在检测区域A1内不存在三维物体(S37)。该第二阈值β能够预先设定，也能够与控制部39的控制命令相应地进行变更。此外，关于检测出的全部三维物体，可以都判断为是行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆VX，也可以考虑检测出的三维物体相对于本车辆V的相对速度来作为其它车辆VX的特征而判断是否为行驶于邻近车道的其它车辆VX。
如上所述，根据本实施方式的利用边缘信息的三维物体的检测方法，为了检测存在于检测区域A1、A2的三维物体，而针对鸟瞰视点图像设定作为在实际空间中在铅垂方向延伸的线段的铅垂虚拟线。而且，能够针对沿着铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素的亮度差，根据该亮度差的连续性来判断有无三维物体。
具体地说，针对鸟瞰视点图像中的检测区域A1、A2设定相当于在实际空间中在铅垂方向延伸的线段的关注线La以及与关注线La不同的参照线Lr。然后，沿着关注线La和参照线Lr连续地求出关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差。这样，通过连续地求出点之间的亮度差，来求出关注线La与参照线Lr的亮度差。在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定部分存在三维物体的边缘的可能性高。由此，能够根据连续的亮度差检测三维物体。特别地，为了进行在实际空间中在铅垂方向延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理。因而，根据本例的方法，能够提高三维物体的检测精度。
另外，在本例中，求出铅垂虚拟线附近的大致相同高度的两个点的亮度差。具体地说，根据在实际空间中处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，因此能够明确地检测出存在在铅垂方向延伸的边缘的情况下的亮度差。
并且，在本例中，根据关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差来对关注点Pa赋予属性，根据沿着关注线La的属性的连续性c来判断该关注线La是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而能够按照人的自然的感觉进行边缘检测。详细地说明该效果。图19是表示对边缘线检测部36的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。
与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部36除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部36能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测。
并且，在本例中，在由边缘线检测部36检测出的边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的边缘线。在将由摄像机10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在其它车辆VX的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，如果将描绘在路面上的文字等错误判断为边缘线，则在鸟瞰视点图像中混合包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因而，通过如本例那样判断沿着边缘线的鸟瞰视点图像的亮度变化，能够识别出由于错误判断而检测出的边缘线，从而能够提高三维物体的检测精度。
<三维物体的最终判断>
返回图3，本例的三维物体检测装置1具备上述的两个三维物体检测部33(或三维物体检测部37)、三维物体判断部34、镜头状态判断部38以及控制部39。三维物体判断部34基于三维物体检测部33(或三维物体检测部37)的检测结果，最终判断检测出的三维物体是否为存在于检测区域A1、A2的其它车辆VX。三维物体检测部33(或三维物体检测部37)、三维物体判断部34按照控制部39的指令进行反映了镜头状态判断部38的判断结果的三维物体的检测。
关于三维物体判断部34进行说明。本实施方式的三维物体判断部34最终判断三维物体检测部33、37所检测出的三维物体是否为存在于检测区域A1、A2的其它车辆VX。具体地说，三维物体判断部34在三维物体检测部33、37检测三维物体的检测结果持续整个规定时间T的期间的情况下，判断为三维物体是存在于检测区域A1、A2的其它车辆VX。不特别地进行限定，三维物体判断部34也可以在从差分波形信息抽出的差分波形的峰数、峰值、移动速度等处于规定值域且该状态持续规定时间以上的情况下，最终判断三维物体是否为存在于检测区域A1、A2的其它车辆VX，还可以在从边缘信息抽出的边缘的连续性、将总和进行标准化得到的值、边缘线的量等处于规定值域且该状态持续规定时间以上的情况下，最终判断三维物体是否为存在于检测区域A1、A2的其它车辆VX。
在通过三维物体检测部33、37检测出的三维物体在规定时间以上被持续检测出的情况下，本实施方式的三维物体判断部34将该三维物体判断为是存在于右侧检测区域或左侧检测区域的其它车辆VX。
顺便提及，在三维物体判断部34判断为所检测出的三维物体是存在于检测区域A1、A2的其它车辆VX的情况下，执行向乘员通知等的处理。该三维物体判断部34能够按照控制部39的控制命令抑制判断为所检测出的三维物体是其它车辆VX。控制部39与镜头状态判断部38的判断结果相应地生成控制命令。
接着，关于镜头状态判断部38进行说明。本实施方式的镜头状态判断部38根据由镜头清洗装置100执行的镜头清洗工序的内容，判断镜头11的状态是否为预先设定的控制对象状态。
也就是说，本实施方式的镜头状态判断部38判断由镜头清洗装置100使用清洗液进行清洗的情况下的镜头11的状态。是因为当使用清洗液进行镜头11的清洗时，清洗液附着于镜头11而对摄像图像产生影响。图20示出在清洗镜头11时获取到的图像信息K的一例。如图20所示，当通过清洗而清洗液附着于镜头11时，通过镜头11拍摄到的图像信息中拍摄有清洗液的像。顺便提及，图20的下侧的影像是车牌LP的像，上侧的淡墨的部分是摄像机10的外壳C的像。车牌LP与外壳C之间的区域的图像信息K随着本车辆V的移动而时时刻刻发生变化。图像信息K包含本车辆V所行驶的道路的路面RD的像和在该路面RD之上扩展的后方的天空SK的像。在图20所示的图像信息K中拍摄有附着于镜头11的清洗液W的像。
当使用如图20那样的通过附着有清洗液W的镜头11拍摄得到的图像信息K进行图像变换处理时，导出与清洗液的像W相应的差分波形信息、边缘信息。当通过上述的方法基于这样的图像信息计算差分波形信息或边缘信息并进行三维物体检测处理时，存在将清洗液的像W错误识别为其它车辆VX的像的情况。
在此，关于镜头清洗装置100进行说明。图21中示出本实施方式的镜头清洗装置100的概要结构。如图21所示，镜头清洗装置100具备：至少暂时储存清洗液的清洗液容器101；输送从清洗液容器101供给的清洗液的流路102；滴下口103a、103b，其形成在流路102的端部，向镜头11的表面滴下清洗液W；对从外部供给的气体进行压缩的空气压缩机104；输送压缩气体的管105；以及喷出口106，其形成在管105的端部，向镜头11的表面吹送气体E。控制装置110控制镜头清洗装置100的上述各结构的动作。控制装置110通过按照预先定义的规定的镜头清洗工序的控制程序来清洗镜头11。此外，将镜头清洗装置100的其它例子作为第二实施方式在后面记述。当然也能够将本发明的控制应用于第二实施方式所涉及的镜头清洗装置100。
镜头清洗工序的内容不特别地限定，但是本实施方式的镜头清洗工序包括镜头湿润工序、第一空气吹送工序、清洗工序以及第二空气吹送工序。图22是表示本实施方式的镜头清洗工序的时序图。在本实施方式的镜头清洗工序中，为了使镜头11的表面润湿而向镜头11滴下清洗液W的“镜头湿润工序A”、为了使滴下的清洗液W遍布镜头11的整个表面而以规定间隔断续地多次向镜头11吹送气体的“第一空气吹送工序B”、向镜头11吹送清洗液W来冲洗镜头11表面的脏污的“清洗工序C”、使清洗液W蒸发来使镜头11的表面干燥的“第二空气吹送工序D”按照A→B→C→D的顺序被执行。
具体地说，控制装置110当在定时TG0开始清洗处理时，首先执行“镜头湿润工序A”。在该“镜头湿润工序A”中，在200ms左右的期间进行向镜头11的表面连续地滴下清洗液W的清洗液滴下处理P1。控制装置110使“镜头湿润工序A”在定时TG1结束，之后开始“第一空气吹送工序B”。在第一空气吹送工序B中，多次进行扩散用空气吹送处理P2～P4。在本实施方式中，在300ms～100ms的周期内断续地进行三次20ms的吹送气体的处理，但是气体的吹送周期、吹送时间、吹送次数能够根据气体的供给能力、镜头11的大小任意地设定。控制装置110在“第一空气吹送工序B”完成的定时TG2之后开始“清洗工序C”，在5秒～10秒左右的期间进行向镜头11的表面吹送清洗液W的清洗液吹送处理P10，在其完成定时TG3之后开始“干燥工序D”，在30秒左右的期间进行向镜头11的表面吹送气体的干燥用空气吹送处理P20。
镜头状态判断部38根据上述的镜头清洗工序的内容判断镜头11的状态。是因为在镜头湿润工序A、第一空气吹送工序B、清洗工序C、第二空气吹送工序D的各工序的进展状况中，镜头11的状态时刻发生变化。本实施方式的镜头状态判断部38从附着于镜头11的清洗液W的量的观点出发判断镜头11的状态。
在正进行镜头湿润工序A的清洗液滴下处理P1或清洗工序C的清洗液吹送处理P10的情况下，镜头状态判断部38判断为附着于镜头11的清洗液的量相对较多。将该状态定义为作为进行三维物体的检测控制的对象的“第一控制对象状态”。另外，在正进行第一空气吹送工序B的扩散用空气吹送处理P2、P3、P4的情况下，当镜头状态判断部38相对地进行评价时判断为附着于镜头11的清洗液的量为中程度。将该状态定义为作为进行三维物体的检测控制的对象的“第二控制对象状态”。并且，在正进行第二空气吹送工序D的干燥用空气吹送处理P20的情况下，镜头状态判断部38判断为附着于镜头11的清洗液的量相对较少。将该状态定义为作为进行三维物体的检测控制的对象的“第三控制对象状态”。
由于在镜头清洗时清洗液附着于镜头11上，因此在镜头清洗时拍摄得到的图像信息的可靠性与在通常时(镜头非清洗时)拍摄得到的图像信息的可靠性相比变差，因此在镜头清洗时，通过始终执行后述的三维物体检测处理的抑制控制，能够提高对其它车辆的检测精度。
但是，在始终执行三维物体检测处理的抑制控制的情况下，处理负荷增加，并且在能够确保可靠性的情况下也进行抑制控制，有时反而产生对其它车辆的检测精度下降的情况。
因此，发明人们关于前述的使用差分波形信息检测行驶于邻近车道的其它车辆的处理、或者使用边缘信息检测行驶于邻近车道的其它车辆的处理分别重复验证在镜头清洗时检测其它车辆的精度，进一步缩小了对其它车辆的检测精度下降的情况。
具体地说，发明人们在使用边缘信息的其它车辆检测处理中得出在进行清洗液滴下处理P1的镜头湿润工序A以及进行清洗液吹送处理P10的清洗工序C中(镜头状态为第一控制对象状态)在镜头清洗时其它车辆检测的精度下降的可能性特别高这样的分析结果。考虑这是由于在镜头湿润工序A、清洗工序C中大量的清洗液覆盖镜头11，清洗液的膜妨碍镜头11的成像功能，因此与三维物体对应的边缘不容易出现。
另外，发明人们在使用差分波形信息的其它车辆检测处理中得出在进行扩散用空气吹送处理P2、P3、P4的第一空气吹送工序B中(镜头状态为第二控制对象状态)在镜头清洗时其它车辆检测的精度下降的可能性特别高这样的分析结果。考虑这是由于在第一空气吹送工序B中通过断续地吹送的空气而大量的清洗液被分散成球状在镜头11上运动，因此对差分波形信息的结果产生影响。
并且，发明人们得出在第一空气吹送工序A最后进行的空气吹送工程的开始定时至其结束定时为止以及进行干燥用空气吹送处理P20的第二空气吹送工序D中(镜头状态为第三控制对象状态)使用差分波形信息时的相对速度的检测结果和使用边缘信息时的相对速度的检测结果的精度下降的可能性特别高这样的分析结果。考虑这是由于在第二空气吹送工序D中通过连续地吹送的空气而清洗液在镜头11上流动，因此对边缘信息和差分波形信息的经时变化产生影响。另外，是因为在第一空气吹送工序A中，最初时清洗液多，但是空气的吹送处理次数增加，在最后的空气吹送处理中可以看到与第二空气吹送工序D同样的现象。
在图23中汇总了发明人们的以上的考察结果。
为了解决上述课题，在本发明的本实施方式所涉及的三维物体检测装置1中，控制部39根据镜头状态判断部38判断镜头状态的判断结果，抑制检测出的三维物体被错误判断为是其它车辆VX。
下面，说明本实施方式的三维物体检测装置1的控制部39。本实施方式的控制部39获取前次处理中的镜头状态判断部38的判断结果，在该判断结果中判断镜头11的状态是否为规定的控制对象状态、即是否为控制部39要执行抑制控制的状态。本发明中的“控制对象状态“是指镜头11上至少附着有清洗液的状态。在附着有清洗液的该状态中包含正在吹送清洗液的状态、所吹送的清洗液残留于镜头11的状态、或者在吹送清洗液之后吹送空气而之后清洗液仍残留在镜头11上的状态中的至少一个状态。
然后，在由镜头状态判断部38判断为镜头状态是预先定义的前述的第一～第三控制对象状态的情况下，控制部39将紧挨在判断为镜头状态是各控制对象状态之前的检测结果保持规定时间、换言之是将检测出的三维物体是否为其它车辆VX的判断的输出中断规定时间，由此抑制所检测出的三维物体被错误判断为是其它车辆VX。即，信任受到镜头清洗影响之前的检测、判断结果，并继续采用该检测、判断结果，在受到镜头清洗影响的控制对象状态下中止用于求检测、判断结果的处理。
这样，根据镜头清洗时的镜头11的状态抑制三维物体的检测处理和判断处理而维持镜头清洗前的检测结果或判断结果，因此能够防止进行检测出的三维物体因镜头清洗处理反而变为未检测出、或者未检测出但因镜头清洗处理反而变为被检测出等的错误判断。其结果，即使在使用差分波形信息检测其它车辆VX的情况下或使用边缘信息检测边缘信息的情况下，也防止因清洗镜头11而检测结果的精度下降，从而能够提供一种高精度地检测行驶于检测区域的其它车辆的三维物体检测装置。
在这种情况下，在由镜头状态判断部38判断为镜头状态是控制对象状态且紧挨在判断为镜头状态是控制对象状态之前识别出正在由三维物体检测部33、37检测出三维物体的检测状态的情况下，控制部39将紧挨在判断为镜头状态是控制对象状态之前的检测结果保持规定时间，并将关于所检测出的三维物体是否为其它车辆VX的判断或其输出中断规定时间。
也就是说，控制部39只在因镜头清洗而成为控制对象状态之前检测出三维物体的情况下，将紧挨在这之前的检测结果保持规定时间，并将关于所检测出的三维物体是否为其它车辆VX的判断或其输出中断规定时间，从而抑制所检测出的三维物体被错误判断为是其它车辆VX。
这样，继续采用在受到镜头清洗影响之前检测出其它车辆VX的可靠性高的检测、判断结果，在受到镜头清洗影响的控制对象状态下中止用于求检测、判断结果的处理，因此能够抑制检测、判断结果受到镜头清洗影响，从而能够高精度地检测其它车辆VX。
此外，作为本处理中的控制对象状态，能够设定前述的第一控制对象状态、第二控制对象状态以及第三控制对象状态中的任一个状态。当然，也可以将第一～第三控制对象状态全部作为控制对象状态，将紧挨在这之前的检测结果保持规定时间，并将关于所检测出的三维物体是否为其它车辆VX的判断或其输出中断规定时间。此外，作为第一～第三控制对象状态，基于本实施方式的清洗工序进行定义，但是能够根据不同的清洗工序定义不同的控制对象状态。在这种情况下，能够将清洗液被点滴前后的状态、吹送清洗液前后的状态等“镜头11上附着有清洗液的状态”定义为“控制对象状态”。在“镜头11上附着有清洗液的状态”中包含在点滴清洗液之后或吹送清洗液之后吹送空气而在镜头11上残留有清洗液的状态。
考虑到前述的其它车辆VX的检测精度下降的情况，在使用差分波形信息检测三维物体的情况下本实施方式的控制部39将第二控制对象状态设定为控制对象状态，在使用边缘信息检测三维物体的情况下本实施方式的控制部39将第一控制对象状态设定为控制对象状态。
在三维物体检测部33使用差分波形信息检测三维物体的处理中，在镜头状态判断部38将镜头状态判断为是附着于镜头11的清洗液的量为中程度的第二控制对象状态的情况下，本实施方式的控制部39将紧挨在判断为镜头状态是第二控制对象状态之前的检测结果保持规定时间，将关于所检测出的三维物体是否为其它车辆VX的判断或其输出中断规定时间。顺便提及，镜头状态判断部38基于镜头清洗工序是第一空气吹送工序B的开始定时至该第一空气吹送工序B的完成定时为止，来将镜头状态判断为是附着于镜头11的清洗液的量为中程度的第二控制对象状态。
由此，在使用差分波形信息检测三维物体的处理中，在判断为是镜头清洗处理或者由于附着于镜头11的清洗液而导致对其它车辆VX的检测精度下降的倾向高的第二控制对象状态的情况下，能够选择性地执行用于抑制对其它车辆VX的错误检测的处理，因此能够使得处理负荷少，从而不执行过度的抑制处理。其结果，能够提高对其它车辆VX的检测精度。
镜头状态判断部38识别出的第一空气吹送工序B中的空气吹送次数P2～P4越多，控制部39将保持紧挨在判断为镜头状态是第二控制对象状态之前的检测结果的规定时间设定得越短。如前述的那样，在第一空气吹送工序B中，预测出通过断续地吹送的空气而大量的清洗液被分散成球状在镜头11上运动的情形，该现象为起因而对差分波形信息产生影响。在第一空气吹送工序B中每次断续地执行空气的吹送时，积存在镜头11上的清洗液都被逐渐吹走，从而在镜头11上运动的清洗液减少。也就是说，空气的吹送次数越多，对差分波形信息产生影响的镜头11上的清洗液的量越是减少，因此通过缩短保持紧挨在判断为镜头状态是第二控制对象状态之前的检测结果的规定时间，能够使实时的检测结果优先。
另一方面，在三维物体检测部37使用边缘信息检测三维物体的处理中，在镜头状态判断部38将镜头状态判断为是附着于镜头11的清洗液的量为高程度的第一控制对象状态的情况下，本实施方式的控制部39将紧挨在判断为镜头状态是第一控制对象状态之前的检测结果保持规定时间，并将关于所检测出的三维物体是否为其它车辆VX的判断或其输出中断规定时间。顺便提及，镜头状态判断部38将镜头清洗工序为从其开始定时至镜头湿润工序A的完成定时为止的镜头状态、或者从清洗工序C的开始定时至清洗工序C的结束定时为止的镜头状态判断为是附着于镜头11的清洗液的量为高程度的第一控制对象状态。
由此，在使用边缘信息检测三维物体的处理中，在判断为是镜头清洗处理或者是由于附着于镜头11的清洗液而导致其它车辆VX的检测精度下降的倾向高的第一控制对象状态的情况下，能够选择性地执行用于抑制对其它车辆VX的错误检测的处理，因此能够使得处理负荷少，从而不执行过度的抑制处理。其结果，能够提高对其它车辆VX的检测精度。
另外，在镜头状态判断部38将镜头状态判断为是附着于镜头11的清洗液的量为少量的第三控制对象状态的情况下，本实施方式的控制部39将紧挨在判断为镜头状态是第三控制对象状态之前检测出的三维物体的相对速度或基于该相对速度导出的三维物体是否为其它车辆VX的判断结果保持规定时间，并将关于所检测出的三维物体是否为其它车辆VX的判断或其输出中断规定时间。顺便提及，镜头状态判断部38将在第一空气吹送工序A中最后进行空气吹送处理P4的开始定时至其结束定时为止以及第二空气吹送工序D的开始定时至该第二空气吹送工序D的完成定时为止的镜头状态判断为是附着于镜头11的清洗液的量为少量的第三控制对象状态。本处理在使用差分波形信息检测三维物体的处理和使用边缘信息检测三维物体的处理中都能够应用。
由此，在干燥工序中通过连续地吹送的空气而在镜头11上移动的清洗液对差分波形信息、边缘信息的经时的变化产生影响而判断为是三维物体的相对速度的检测精度下降的倾向高的第三控制对象状态的情况下，选择性地抑制相对速度的检测处理，因此能够使得处理负荷少，从而不执行过度的抑制处理。其结果，能够提高对其它车辆VX的检测精度。
在图24中汇总了上述的与镜头11的各控制对象状态对应的控制处理内容。
为了防止将所检测出的三维物体错误判断为其它车辆VX而将本实施方式的控制命令发送到三维物体检测部33、37、三维物体判断部34。本实施方式的计算机30是电子计算机，因此针对三维物体检测处理、三维物体判断处理、镜头状态判断处理的控制命令可以预先嵌入于各处理的程序中，也可以在执行时发送。由此，在判断为镜头11处于规定的控制对象状态的情况下，将紧挨在该判断之前的检测、判断结果原样保持并中断新的检测、判断处理，因此能够防止因镜头清洗处理而诱发的错误检测。
下面，根据图25的流程图说明本实施方式的三维物体检测装置1的控制过程。图25所示的处理是在前次的三维物体检测处理之后利用前次处理的结果进行的本次的三维物体检测处理。
首先，在图25所示的步骤S41中，镜头状态判断部38基于由镜头清洗装置100执行的镜头清洗工序的内容，判断镜头11的状态是否为规定的控制对象状态。
在此，基于图26的流程图说明镜头状态的判断处理的控制过程。镜头状态判断部38从镜头上附着的清洗液的量的观点出发，基于镜头清洗工序的内容判断镜头状态。在步骤S62中，在正进行镜头湿润工序A的清洗液滴下处理P1或清洗工序C的清洗液吹送处理P10的情况下，镜头状态判断部38判断为附着于镜头11的清洗液的量相对较多，进入步骤S65。然后，在步骤S65中，镜头状态判断部38判断为镜头状态是第一控制对象状态。
在接下来的步骤S63中，在正进行第一空气吹送工序B的扩散用空气吹送处理P2、P3、P4的情况下，当镜头状态判断部38相对地进行评价时判断为附着于镜头11的清洗液的量为中程度，进入步骤S66。然后，在步骤S66中，镜头状态判断部38判断为镜头状态是第二控制对象状态。
在接下来的步骤S64中，在正进行第二空气吹送工序D的干燥用空气吹送处理P20的情况下，并在正进行第一空气吹送工序B中的最后的扩散用空气吹送处理P4的情况下，镜头状态判断部38判断为附着于镜头11的清洗液的量相对较少，进入步骤S67。然后，在步骤S67中，镜头状态判断部38判断为镜头状态是第三控制对象状态。
进一步确定成为控制对象的处理。在步骤S65中判断为镜头状态是第一控制对象状态的情况下，进入步骤S68，将三维物体的检测处理和判断处理设为控制对象处理(设为执行紧挨在这之前的结果的保持处理的对象)。同样地在步骤S66中判断为镜头状态是第二控制对象状态的情况下，进入步骤S69，将三维物体的检测处理和判断处理设为控制对象处理(设为执行紧挨在这之前的结果的保持处理的对象)。
在步骤S67中判断为镜头状态是第三控制对象状态的情况下，进入步骤S70，将相对速度的检测以及基于相对速度的三维物体的检测处理和判断处理设为控制对象处理(设为执行紧挨在这之前的结果的保持处理的对象)。
并且，在镜头状态是第一控制对象状态的情况下，在步骤S71中将检测、判断处理的保持时间或中断时间设定为T3。在镜头状态是第二控制对象状态的情况下，在步骤S72中将检测、判断处理的保持时间或中断时间设定为T2。在镜头状态是第三控制对象状态的情况下，在步骤S73中将检测、判断处理的保持时间或中断时间设定为T1。针对相对速度的检测或基于相对速度的三维物体的检测、判断处理的保持时间或中断时间T1比针对三维物体的检测、判断处理的保持时间或中断时间T2、T3短。这是因为基于三维物体的检测结果的经时的变化信息检测相对速度，因此当将过去的结果保持长时间时有可能所检测出的相对速度的精度下降。另外，基于边缘信息进行三维物体检测处理的情况下的保持时间或中断时间T3能够设定得比基于差分波形信息进行三维物体检测处理的情况下的保持时间或中断时间T2长。这是因为附着于镜头11的清洗液的量多的第一控制对象状态有持续相对较长的时间的倾向。当然，T3和T2也可以设定为相同长度的时间。
在判断镜头状态、确定控制对象处理并决定保持时间、中断时间T1～T3的处理之后、或者与其并行地进行图25的步骤S42以后的处理。
返回图25，在步骤42中，控制部39对步骤41的判断结果进行评价。控制部39在步骤S41中将镜头状态判断为是被定义为执行抑制控制的状态的“控制对象状态”的情况下，进入步骤S43，在将镜头状态判断为不是被定义为执行抑制控制的状态的“控制对象状态”的情况下，进入步骤S46。镜头11的“控制对象状态”能够适当地进行定义。例如在基于边缘信息检测其它车辆VX的情况下，能够将“控制对象状态”定义为图23、24所示的第一控制对象状态，在基于差分波形信息检测其它车辆VX的情况下，能够将“控制对象状态”定义为图23、24所示的第二控制对象状态。与此同时地能够将“控制对象状态”定义为图23、24所示的第三控制对象状态。
在步骤S43中，控制部39将紧挨在判定为镜头状态是控制对象状态之前的检测或判断结果保持规定时间，并将关于所检测出的三维物体是否为其它车辆VX的判断处理(检测处理)或其输出处理中断规定时间。
基于图27说明本处理。首先，以与三维物体有关的检测、判断结果在定时E10～E11的时间E1产生、在之后的定时W10～W11的时间W判断为镜头状态是控制对象状态的情况为例。控制部39保持与在紧挨在判定为镜头状态是控制对象状态的定时W1之前的时间E1检测出的三维物体有关的检测、判断结果。也就是说，控制部39在经过了与三维物体有关的检测、判断结果被输出的定时E10～E11之后的规定时间K1的期间将该时间E1中的检测、判断结果假设为实际的检测、判断结果，基于此执行其它车辆VX的判断处理(三维物体检测处理)。规定时间K1能够任意地设定。通过紧挨在这之前的检测、判断结果的保持处理、新的检测、判断处理或其输出处理的中断，将实际执行了的时间E1中的检测、判断结果处理(假设)为在时间E10中检测、判断出的结果。
这样，控制部39将紧挨在镜头状态成为规定的控制对象状态之前的检测结果或判断结果保持规定时间，在镜头状态成为规定的控制对象状态之后的规定时间不根据新获取到的图像信息进行三维物体是否为其它车辆VX的判断。通过本处理，即使在检测结果的精度容易下降的镜头状态是规定的控制对象状态的情况下，也能够抑制将所检测出的三维物体错误判断为是其它车辆VX。
在步骤43之后可以直接进入步骤S46，也可以经过步骤S44、45的处理后进入步骤S46。在步骤S44中，控制部39判断三维物体检测部33、37是否正在检测出三维物体。然后，在正在检测出三维物体的情况下，进入步骤S45，延长在步骤S43中执行的保持检测、判断结果的规定时间，延长将检测、判断处理或其输出处理中断的规定时间。基于检测出三维物体这样的检测、判断结果的可靠性高这样的观点，尊重三维物体检测过程中的判断，从而提高其它车辆VX的检测精度。
在接下来的步骤S46中，根据差分波形信息或边缘信息检测三维物体(其它车辆)，并且在步骤S47中判断在步骤S46中检测出的三维物体是否为其它车辆VX，在三维物体是其它车辆VX的情况下，在步骤S48中输出存在其它车辆的意思的判断结果，在三维物体不是其它车辆VX的情况下，在步骤S49中输出不存在其它车辆的意思的判断结果。步骤S46和步骤S47中的处理与之前在图11和12中说明的基于差分波形信息的对其它车辆VX的检测处理、同样地在图17和图18中说明的基于边缘信息的对其它车辆VX的检测处理相同。另外，在步骤S44中没有检测出三维物体的情况下，进入步骤S50结束三维物体的检测处理，或者也可以进入步骤S49判断为不存在其它车辆。
<第二实施方式>
下面，基于附图说明能够作为本发明的第一实施方式的镜头清洗装置100应用的其它的镜头清洗装置100。
本实施方式的镜头清洗装置100具备以喷出口朝向摄像机的镜头面的方式配置且具有将清洗液引导向喷出口的清洗液通路和将压缩空气引导向喷出口的空气通路的喷嘴、向喷嘴送出清洗液的清洗液送出单元以及向喷嘴送出压缩空气的压缩空气送出单元，通过使清洗液送出单元动作且使压缩空气送出单元断续地多次动作，从喷出口喷射清洗液和压缩空气清洗镜头面。
图28是表示本发明的一个实施方式所涉及的车载摄像机的镜头清洗装置的结构的框图。如图28所示，本实施方式所涉及的镜头清洗装置100具备：清洗液贮存容器2，其储存清洗液；清洗液泵3(清洗液供给单元)，其将储存在该清洗液贮存容器2中的清洗液送出；空气泵5(压缩空气供给单元)，其送出压缩空气；以及喷嘴7，其向摄像机1的镜头面喷出清洗液、压缩空气、或者清洗液和压缩空气的混合。
还具备：清洗液配管4，其将由清洗液泵3送出的清洗液引导至储存该清洗液的二次容器13；空气配管6，其将由空气泵5送出的压缩空气引导至喷嘴部件22的喷嘴7；以及控制部8(控制单元)，其控制清洗液泵3和空气泵5的动作。
图29的(a)是表示在搭载于车辆的后部的摄像机1上设置了本实施方式所涉及的镜头清洗装置100的状态的立体图，图29的(b)是在图29的(a)中从“A”方向观察镜头清洗装置100得到的图。如图29的(a)所示，在固定于车辆后部的摄像机1的侧部附近设置有同样固定于车辆后部并清洗镜头面1a的喷嘴部件22。在喷嘴部件22设置有盖7d以及向镜头面1a喷出清洗液和压缩空气的喷嘴7。如图29的(b)所示，在喷嘴7的前端部设置有喷出清洗液和压缩空气的两个喷出口10a、10b。即，构成为通过从喷嘴7的喷出口10a、10b向镜头面1a喷出清洗液和压缩空气来去除附着于镜头面1a的异物。
图30是图29的(a)所示的喷嘴部件22的局部剖切立体图。如图30所示，在设置于喷嘴部件22的前端侧的喷嘴7的中央部设置有导入压缩空气的空气通路12，在该空气通路12的左右两侧设置有导入清洗液的清洗液通路11a、11b。另外，空气通路12的前端和清洗液通路11a、11b的前端以朝向摄像机1的镜头面1a的方式弯曲成大致直角。
并且，在清洗液通路11a、11b的上游侧设置有暂时储存清洗液的二次容器13。在该二次容器13的侧部设置有用于连接清洗液配管4的插头13a以及用于连接空气配管6的插头13b，其中，插头13b经由设置于二次容器13的下方的流路与空气通路12连接。即，经由插头13b而导入到喷嘴部件22中的压缩空气直接被导入至空气通路12。
另外，插头13a与二次容器13连接，经由该插头13a供给的清洗液从二次容器13的上方流入内部。此时，从插头13a连接至二次容器13的配管如图33的(b)的附图标记23所示那样地朝向铅垂方向。稍后记述该配管23的详细情况。
另外，如图30所示，二次容器13的底部与两个系统的清洗液通路11a、11b连接。因而，由图28所示的空气泵5送出的压缩空气经由空气配管6被导入至喷嘴7的空气通路12，另一方面，由清洗液泵3送出的清洗液被储存于二次容器13，之后被导入至两个系统的清洗液通路11a、11b。
图31的(b)是表示喷嘴前端部的详细结构的说明图，示出了图31的(a)所示的附图标记P1的部分的剖视图。如图31的(b)所示，在喷嘴7的前端部的中央设置有空气通路12，以隔着该空气通路12的方式设置有两个清洗液通路11a、11b。
各清洗液通路11a、11b与前端部15a、15b连接，此时，使前端部15a、15b的流路面积小于清洗液通路11a、11b的流路面积。因而，在清洗液通路11a、11b中流动的清洗液在前端部15a、15b中流速变快。
另一方面，空气通路12的前端分支为两个前端部14a、14b。此时，使前端部14a、14b的流路面积小于空气通路12的流路面积。因而，在空气通路12中流动的压缩空气在通过前端部14a、14b时流速变快。
而且，一个清洗液通路11a的前端部15a与空气通路12的一个前端部14a合流而成为合流通路16a，该合流通路16a的前端设为喷出口10a(参照图29的(b))。另外，另一个清洗液通路11b的前端部15b与空气通路12的另一个前端部14b合流而成为合流通路16b，该合流通路16b的前端设为喷出口10b(参照图29的(b))。此时，合流通路16a与合流通路16b去向前端侧朝向彼此分散的方向。
因而，当将由图28所示的清洗液泵3送出的清洗液储存于二次容器13并利用空气泵5送出压缩空气时，压缩空气以提高流速的方式被喷射，并且，通过喷射压缩空气使清洗液通路11a、11b变为负压来吸引二次容器13中储存的清洗液。因此，压缩空气和清洗液经由两个合流通路16a、16b从喷出口10a、10b喷射，并被吹送至镜头面1a。此时，通过如图32所示那样地向分散的方向喷射清洗液和压缩空气混合而成的液体，能够清洗整个镜头面1a。
另外，如图31的(b)所示，喷嘴7的前端部的喷射面7a构成为突出至比其周围的侧面7b更靠前方的位置。因而，能够防止从喷出口10a、10b喷射出的清洗液附着于喷嘴7的侧面7b。具体地说，能够防止清洗液附着于图32的附图标记P2、P3所示的区域。
图33的(b)是从“D”方向观察图33的(a)所示的喷嘴部件22得到的剖视图。如图33的(b)所示，在喷嘴7的底面7c与摄像机1的上表面1b之间设置有少许间隙。并且，间隙的宽度构成为随着去向里侧而变窄。通过这样的结构，即使在清洗液浸入到喷嘴7的底面7c与摄像机1的上表面1b之间的情况下，该清洗液也会因表面张力渐渐推到喷嘴7与摄像机1的间隙部分的里侧，从摄像机1的正面观察时的左右侧被排出到外部。也就是说，通过使喷嘴7的底面7c与摄像机1的上表面1b之间存在少许的间隙，能够避免清洗液滞留并固化等问题。
另外，如图33的(b)所示，在设置于喷嘴7的上游侧的二次容器13的上部设置有用于向该二次容器13内供给清洗液的供给口13c，在该供给口13c设置有朝向铅垂方向的配管23。而且，该配管23与图30所示的插头13a连接。通过使配管23朝向铅垂方向，能够避免在停止通过清洗液泵3(参照图28)供给清洗液的情况下管路中储存的清洗液不规则地流入到二次容器13内。即，能够防止在二次容器13内为空的状态下由于振动等而导致清洗液流入到二次容器13内。
另外，在二次容器13的上表面设置有止回阀24。止回阀24例如是伞形阀，构成为在二次容器13内的压力变为负压的情况下打开阀来从通气孔25导入外界空气，在二次容器13内的压力变为正压的情况下关闭阀来防止向外界空气的排出。
并且，如图33的(b)所示那样地构成为，二次容器13的底面13d以去向前侧(图中左侧)而下降的方式倾斜，并且，二次容器13的出口配管以及设置于喷嘴7的清洗液通路11a、11b、空气通路12(参照图30)也同样地以去向前侧而下降的方式倾斜。通过设为这样的结构，二次容器13内储存的清洗液不会滞留在固定的位置，而是由于各部位的倾斜而可靠地流向下游侧。
接着，参照图34所示的框图来说明图28所示的控制部8(控制单元)的详细结构。如图34所示，控制部8与搭载于车辆的控制部件连接来获取本车速度信息31、雨刷开关信息32、清洗器开关信息33、档位信息34以及车头灯开关信息35各种车辆信息，还获取由摄像机1拍摄到的影像即摄像机影像信息41。
另外，该控制部8具有：脏污状态判断部55(脏污状态判断单元)，其根据摄像机影像信息41来判断在摄像机1的镜头面1a上是否产生了脏污；以及清洗动作判断部51，其根据各种车辆信息来判断镜头面1a的清洗模式(详细情况在以后叙述)。还具备：空气泵驱动部52，其基于由清洗动作判断部51判断出的清洗模式来控制空气泵5的驱动；清洗液泵驱动部53，其控制清洗液泵3的驱动；以及通知部54，在清洗动作发生异常时，该通知部54输出通知信号。另外，控制部8与警报器61连接，在由通知部54输出了通知信号时，该警报器61发出警报。
接着，说明与清洗动作判断部51的判断结果相应地适当设定的各种清洗模式。在本实施方式中，设定有喷射清洗液和压缩空气来清洗镜头面1a的加压清洗模式、仅送出压缩空气来去除附着于镜头面1a的水滴的吹气模式以及断续地向镜头面1a滴下清洗液使得脏污难以附着于镜头面1a的连续注液模式这三个模式，与镜头面1a的脏污状态以及天气状况等各种条件相应地适当选择三个模式中的某一个来执行，由此有效地清洗摄像机1。
首先，说明加压清洗模式。在加压清洗模式中，通过图34所示的清洗液泵驱动部53的控制来短时间地驱动清洗液泵3以在二次容器13内储存清洗液，与此同时通过空气泵驱动部52的控制来驱动空气泵5。具体地说，如图36的(a)、图36的(b)所示，在时刻t0同时驱动清洗液泵3和空气泵5。
于是，在时间t0～t1(例如200msec)，清洗液贮存容器2中贮存的清洗液经由清洗液配管4被供给至二次容器13，清洗液储存在该二次容器13内。此外，时间t0～t1被设定为通过清洗液泵3使二次容器13内存满清洗液的时间。
另外，由空气泵5送出的压缩空气经由空气配管6被导入至图30所示的喷嘴7内的空气通路12，之后，该压缩空气从图31的(b)所示的前端部14a、14b向合流通路16a、16b送出。此时，前端部14a、14b被设定为流路面积比空气通路12的流路面积小，因此在前端部14a、14b中空气的流速变快。因而，作为合流通路16a、16b的下游侧的清洗液通路11a、11b的前端部15a、15b变为负压，二次容器13内储存的清洗液被吸引，吸引出的清洗液经由清洗液通路11a、11b流入合流通路16a、16b。
其结果，清洗液在合流通路16a、16b中成为雾状并与压缩空气一同被喷射出来。因而，能够将雾状的清洗液从作为合流通路16a、16b的前端的喷出口10a、10b喷射出来并吹送至镜头面1a。因此，能够利用雾状的清洗液和空气压力的协同作用来去除附着于镜头面1a的异物。
另外，当喷射二次容器13内的清洗液并在图36的(b)所示的时刻t2将清洗液全部消耗时，在之后的t2～t3期间会仅喷射压缩空气，能够通过该压缩空气去除附着于镜头面1a的水滴。
也就是说，加压清洗模式是如下的模式：使空气泵5(压缩空气供给单元)动作来从喷出口10a、10b喷射压缩空气，并且利用由于喷射压缩空气而产生的负压来吸引被供给至清洗液通路11a、11b的清洗液并从喷出口10a、10b喷射清洗液，利用喷射出的压缩空气和清洗液来清洗镜头面1a。该加压清洗模式适于去除附着于镜头面1a的泥等异物的用途。
另外，如果将图36的(a)所示的清洗液泵3的驱动时间设定得长(例如将t0～t1期间设为400msec)，则能够通过清洗液泵3的压力压出二次容器13内储存的清洗液，能够以加压的方式将清洗液供给至清洗液通路11a、11b，因此能够对镜头面1a进行高压清洗。
接着，说明吹气模式。在吹气模式中，在二次容器13内没有储存清洗液的状态下，控制图34所示的空气泵驱动部52只对空气泵5进行驱动。具体地说，如图37的(a)所示，使清洗液泵3停止，并如图37的(b)所示，在时间t10～t11(例如2秒)驱动空气泵5。这样，压缩空气经由空气通路12的前端部14a、14b以及合流通路16a、16b从喷出口10a、10b喷射出来，并被吹送至镜头面1a。其结果，能够通过空气压去除附着于摄像机1的镜头面1a的水滴。
此时，与二次容器13连接的配管23如图33的(b)所示那样地朝向大致铅垂方向，另外，二次容器13的底面13d以及清洗液的配管向下方倾斜，因此，在二次容器13内及其配管中没有残留清洗液。因此，即使在由于喷射压缩空气而使二次容器13内变为负压的情况下，也能够防止清洗液被导入至合流通路16a、16b侧，从而能够防止清洗液混入压缩空气中。因此，能够避免发生在喷射压缩空气来去除附着于镜头面1a的水滴时混入压缩空气中的清洗液再次附着于镜头面1a这样的问题。即，吹气模式是如下的模式：在切断清洗液的供给的状态下，从空气泵5(压缩空气供给单元)将压缩空气送出至空气配管6并从喷出口10a、10b喷射压缩空气来清洗镜头面1a。另外，吹气模式适于去除附着于镜头面1a的水滴。
接着，说明连续注液模式。在连续注液模式中，通过清洗液泵驱动部53的控制来从清洗液泵3向二次容器13内供给清洗液，并且通过空气泵驱动部52的控制来断续地驱动空气泵5，由此向镜头面1a滴下清洗液。具体地说，如图38所示，在时间t20～t21驱动清洗液泵3来在二次容器13中储存清洗液，之后从时刻t22开始在时间T1期间断续地多次驱动空气泵5，由此每次少量地向镜头面1a滴下清洗液。例如，将时间t22～t23设为30msec来向镜头面1a每次少量(例如0.25cc)地滴下清洗液。
其结果，能够使镜头面1a总是保持被润湿的状态，从而能够防止在雨天时本车扬起的水滴中含有的脏污成分析出。即，连续注液模式是如下的模式：从喷出口10a、10b断续地多次喷射压缩空气，利用由于喷射压缩空气而产生的负压来吸引清洗液，并从喷出口10a、10b向镜头面1a喷射清洗液。而且，该连续注液模式适于通过在雨天时将镜头面1a保持被润湿的状态来预先防止脏污成分沉淀在镜头面1a上。
如果使用具备上述结构的第二实施方式的镜头清洗装置100，则能够在控制装置110的控制下执行在第一实施方式中所说明的规定的清洗工序。
接着，参照图35所示的流程图说明如上述那样构成的本实施方式所涉及的车载摄像机的清洗装置100的作用。图35示出了控制部8的处理过程，按每个规定的运算周期执行该处理过程。首先，在步骤S1中，控制部8的清洗动作判断部51获取本车辆信息。即，获取图34所示的各种车辆信息30，具体地说，获取本车速度信息31、雨刷开关信息32、清洗器开关信息33、档位信息34以及车头灯开关信息35。
在步骤S2中，控制部8的脏污状态判断部55获取摄像机影像信息41。
在步骤S3中，脏污状态判断部55根据摄像机影像来判断在镜头面1a上是否产生了脏污。能够通过对拍摄到的图像实施规定的图像处理并判断是否存在光被遮挡的部位来进行是否产生了脏污的判断。另外，关于镜头面1a的脏污判断，也可以是根据车头灯开关信息35来判断白天黑夜，并根据是白天还是黑夜来改变脏污判断的条件。通过进行这样的处理，能够进行精度更高的脏污判断。然后，在产生了脏污的情况下(在步骤S3中为“有”)，进入步骤S4的处理，在没有产生脏污的情况下(在步骤S3中为“无”)，进入步骤S7的处理。
在步骤S4中，清洗动作判断部51判断过去的加压清洗次数是否小于预先设定的阈值次数(例如三次)。然后，在小于阈值次数的情况下(在步骤S4中为“是”)，在步骤S5中，清洗动作判断部51在加压清洗模式下清洗镜头面1a。即，利用空气泵驱动部52驱动空气泵5并利用清洗液泵驱动部53驱动清洗液泵3，由此从喷嘴7的喷出口10a、10b喷射清洗液和压缩空气来清洗附着于镜头面1a的脏污。
另一方面，在过去的加压清洗次数为阈值次数以上的情况下(在步骤S4中为“否”)，尽管进行了阈值次数的加压清洗模式下的清洗还是判断为没有去除镜头面1a上的脏污，因此，在步骤S6中通过通知部54输出警报信号。由此，能够通过警报器61发出警报，使驾驶员注意到镜头面1a上的脏污未被去除。
另外，在步骤S3的处理中判断为在镜头面1a上没有产生脏污的情况下，在步骤S7中判断当前的天气是否是雨天。在该处理中，例如根据雨刷开关信息32，在雨刷处于工作中的情况下判断为是雨天。然后，在判断为是雨天的情况下，进入步骤S8的处理，在判断为不是雨天的情况下，进入步骤S11的处理。
在步骤S8中，清洗动作判断部51求出与本车辆的速度相应的吹气频度。具体地说，在控制部8所具有的存储器(省略图示)等中事先存储表示车辆的速度与吹气模式下的清洗的频度的关系的数据，在获取到图34所示的本车速度信息31时，参照该数据设定与该本车速度信息对应的吹气模式下的清洗的频度。例如，将针对最快车速的频度作为最大频度而设为两秒间隔，将针对车辆停止时的频度作为最小频度而设为两分钟间隔，对该期间的速度进行线性插值来求出频度。也就是说，设定为车辆的速度越快则吹气模式下的清洗的频度越大。
进一步，在步骤S9中，清洗动作判断部51检测附着于镜头面1a的水滴量，与水滴量相应地校正吹气模式下的清洗的频度。具体地说，将附着于镜头面1a的水滴是标准大小的情况设为系数“1”，在附着的水滴的大小比标准大的情况下将系数设为1以上，在比标准小的情况下将系数设为1以下，来校正吹气模式下的清洗的频度。
然后，在步骤S10中，清洗动作判断部51利用吹气模式来清洗镜头面1a。具体地说，通过对空气泵驱动部52输出控制指令来使空气泵5动作以送出压缩空气。由此，能够经由空气通路12的前端部14a、14b从喷出口10a、10b喷出压缩空气并吹送至镜头面1a，从而能够去除附着于该镜头面1a的水滴。以与设定的频度相应地设定的时间间隔反复执行该吹气模式下的清洗。
另一方面，在步骤S7的处理中判断为是雨天的情况下(在步骤S7中为“是”)，在步骤S11中，清洗动作判断部51求出与本车辆的速度相应的清洗液的滴下频度。具体地说，在控制部8所具有的存储器(省略图示)等中事先存储表示车辆的速度与连续注液模式下的清洗的频度的关系的数据，在获取到图34所示的本车速度信息31时，参照该数据设定与该本车速度信息对应的连续注液模式下的清洗的频度。例如，将针对最快速度的频度作为最大频度而设为10秒间隔，将针对车辆停止时的频度作为最小频度而设为20秒间隔，对该期间的速度进行线性插值来求出频度。也就是说，设定为车辆的速度越快则连续注液模式下的清洗的频度越大。
进一步，在步骤S12中，清洗动作判断部51检测附着于镜头面1a的水滴量，与水滴量相应地校正连续注液模式下的清洗的频度。具体地说，将附着于镜头面1a的水滴是标准大小的情况设为系数“1”，在附着的水滴的大小比标准大的情况下将系数设为1以上，在比标准小的情况下将系数设为1以下，来校正连续注液模式下的清洗的频度。
然后，在步骤S13中，清洗动作判断部51利用连续注液模式来清洗镜头面1a。由此，能够将清洗液从喷出口10a、10b喷出并滴下至镜头面1a，从而能够有效地防止在该镜头面1a附着脏污。以与设定的频度相应地设定的时间间隔反复执行该连续注液模式下的清洗。
这样，能够与镜头面1a的脏污状态以及天气是否为雨天的条件相应地适当选择各种清洗模式，以与此时的条件最适合的清洗模式清洗摄像机1的镜头面1a。
此外，在上述的处理中也可以设为，从档位信息34获取当前的档位，仅在为D档(驱动档)且为规定速度(例如30Km/h)以上时执行各清洗模式下的动作。
这样，在本实施方式所涉及的车载摄像机的镜头清洗装置100中，在喷嘴7的前端部设置有空气通路12并在该空气通路12附近设置有清洗液通路11a、11b，并且使空气通路12的前端部14a、14b与清洗液通路11a、11b的前端部15a、15b合流。因而，采用在通过清洗液泵3的动作而在二次容器13内储存了清洗液的状态下断续地多次(例如4次)使空气泵5动作来向空气通路12供给压缩空气的连续注液模式，通过从前端部14a、14b喷射压缩空气，能够使清洗液通路11a、11b侧变为负压来从二次容器13吸引清洗液，并经由合流路16a、16b断续地喷射清洗液。通过空气的波动使清洗液的粒子微细化并将其喷射出来，由此能够用少量的清洗液高效地清洗镜头面1a。
另外，能够使镜头面1a成为被清洗液润湿的状态，从而能够使脏污难以附着于镜头面1a。并且，由于断续地注入二次容器13内储存的清洗液，因此能够削减用于清洗的清洗液量。
另外，在天气是雨天时，如果采用连续注液模式向镜头面1a喷射清洗液，则能够防止由于泥、雨水的溅起等引起的脏污向镜头面1a上的附着。并且，由于车辆的速度越快则连续注入的频度越高，因此能够进行与速度相应的适当的清洗液的喷射。
另外，通过在切断清洗液的状态下使空气泵5动作，能够进行吹气模式下的压缩空气的喷射，因此能够去除附着于镜头面1a的水滴。而且，在镜头面1a没有产生脏污并且是雨天时，通过选择吹气模式，即使在车辆行驶时雨水溅起并附着于镜头面1a的情况下，也能够可靠地将其去除而通过摄像机1拍摄清晰的图像。并且，车辆的速度越快则吹气模式下的清洗的频度越高，因此能够进行与速度相应的水滴去除。
还能够进行如下的加压清洗模式：通过将压缩空气供给至空气通路12并从前端部14a、14b喷射出来，能够使清洗液通路11a、11b侧变为负压来吸引清洗液，使清洗液与压缩空气在合流路16a、16b中混合并喷射至镜头面1a。因而，能够使清洗液成为雾状，从而能够削减进行清洗所需的清洗液量。而且，由于在镜头面1a产生脏污的情况下且是在清洗模式下进行清洗，因此在镜头面1a上产生了脏污时，能够即时地对其进行清洗来去除脏污。
另外，在尽管进行了规定次数的加压清洗模式下的清洗但脏污未被去除的情况下发出警报，因此能够使驾驶员注意到在镜头面1a上附着有脏污。
另外，在本实施方式所涉及的车载摄像机的镜头清洗装置100中，适当地选择加压清洗模式、吹气模式以及连续注液模式中的某一个模式来清洗镜头面1a，因此能够利用与驾驶状况相应的适当的模式进行镜头面1a的清洗。
以上，基于图示的实施方式说明了本发明的车载摄像机的镜头清洗装置，但本发明不限定于此，各部分的结构能够替换成具有相同功能的任意的结构。
例如，在上述的实施方式中，对在喷嘴7内设置一个系统的空气通路12和两个系统的清洗液通路11a、11b并使这些通路合流而形成两个系统的合流通路16a、16b的例子进行了说明，但本发明不限定于此，也能够构成为一个以上的空气通路与一个以上的清洗液通路在前端部合流。
另外，在上述的实施方式中，构成为在喷嘴7的前端部使压缩空气与清洗液合流，但是本发明不限定于此，也可以构成为将空气通路与清洗液通路靠近地配置，在从空气通路喷出压缩空气时，利用此时的负压使从清洗液通路供给的清洗液成为雾状并喷射出来。在这种情况下，如图31的(b)所示的各前端部14a与15a以及14b与15b不合流，而是以分别靠近的状态进行喷射。
根据如以上那样构成并进行动作的本发明的本实施方式所涉及的三维物体检测装置1，起到下面的效果。
(1)根据本实施方式的三维物体检测装置1，在使用清洗液清洗镜头11的情况下，与镜头11的润湿状况相应地以维持镜头清洗前的检测结果或判断结果的方式抑制三维物体的检测处理和判断处理，因此能够防止已经检测出的三维物体因镜头清洗处理反而为未检测出、或者未检测出但因镜头清洗处理反而变为检测出等的错误判断。其结果，防止因清洗镜头11而检测结果的精度下降，从而能够提供一种高精度地检测行驶于检测区域的其它车辆的三维物体检测装置1。无论是基于差分波形信息检测其它车辆VX的情况还是基于边缘信息检测其它车辆VX的情况都同样地起到该效果。
(2)根据本实施方式的三维物体检测装置1，只在因镜头清洗而成为控制对象状态之前检测出三维物体的情况下，将紧挨在这之前的检测结果保持规定时间，并将关于所检测出的三维物体是否为其它车辆VX的判断或其输出中断规定时间，由此能够根据在受到镜头清洗影响之前检测出其它车辆VX的这样可靠性高的检测、判断结果，高精度地检测其它车辆VX。
(3)根据本实施方式的三维物体检测装置1，在使用差分波形信息检测三维物体的处理中，在判断为是镜头清洗处理或者由于附着于镜头11的清洗液而导致对其它车辆VX的检测精度下降的倾向高的第二控制对象状态的情况下，能够选择性地执行用于抑制对其它车辆VX的错误检测的处理，因此能够使得处理负荷少，从而不执行过度的抑制处理。其结果，能够提高对其它车辆VX的检测精度。
(4)根据本实施方式的三维物体检测装置1，空气的吹送次数越多，对差分波形信息产生影响的镜头11上的清洗液的量越是减少，因此通过缩短保持紧挨在判断为镜头状态是第二控制对象状态之前的检测结果的规定时间，能够使实时的检测结果优先。
(5)根据本实施方式的三维物体检测装置1，在使用边缘信息检测三维物体的处理中，在判断为是镜头清洗处理或者是由于附着于镜头11的清洗液而导致对其它车辆VX的检测精度下降的倾向高的第一控制对象状态的情况下，能够选择性地执行用于抑制对其它车辆VX的错误检测的处理，因此能够使得处理负荷少，从而不执行过度的抑制处理。其结果，能够提高对其它车辆VX的检测精度。
(6)根据本实施方式的三维物体检测装置1，在干燥工序中通过连续地吹送的空气而在镜头11上移动的清洗液对差分波形信息、边缘信息的经时的变化产生影响而判断为是三维物体的相对速度的检测精度下降的倾向高的第三控制对象状态的情况下，选择性地抑制相对速度的检测处理，因此能够使得处理负荷少，从而不执行过度的抑制处理。其结果，能够提高对其它车辆VX的检测精度。
上述摄像机10相当于本发明所涉及的摄像机，上述视点变换部31相当于本发明所涉及的图像变换单元，上述对位部32和三维物体检测部33相当于本发明所涉及的三维物体检测单元，上述亮度差计算部35、边缘线检测部36以及三维物体检测部37相当于本发明所涉及的三维物体检测单元，上述三维物体判断部34相当于三维物体判断单元，上述镜头状态判断部38相当于镜头状态判断单元，上述控制部39相当于控制单元，上述车速传感器20相当于车速传感器，镜头清洗装置100相当于镜头清洗单元。
本实施方式中的对位部21将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，得到对位后的该鸟瞰视点图像，但是能够以与检测对象的种类、所要求的检测精度相应的精度进行该“对位”处理。可以是以同一时刻和同一位置为基准进行对位之类的严格意义上的对位处理，也可以是掌握各鸟瞰视点图像的坐标这样的程度缓和的对位处理。
附图标记说明
1：三维物体检测装置；10：摄像机；11：镜头；20：车速传感器；30：计算机；31：视点变换部；32：对位部；33、37：三维物体检测部；34：三维物体判断部；35：亮度差计算部；36：边缘检测部；38：镜头状态判断部；39：控制部；40：拖影检测部；100：镜头清洗装置；110：控制装置；101：清洗水容器；102：清洗水流路；103a、103b：滴下口；104：空气压缩机；105：空气流路；106a、106b：喷出口；a：视角；A1、A2：检测区域；CP：交点；DP：差分像素；DWt、DWt’：差分波形；DWt1～DWm、DWm+k～DWtn：小区域；L1、L2：触地线；La、Lb：三维物体倾倒的方向上的线；P：摄像图像；PBt：鸟瞰视点图像；PDt：差分图像；MP：掩模图像；S：拖影；SP：拖影图像；SBt：拖影鸟瞰视点图像；V：本车辆；VX：其它车辆。
与第二实施方式的镜头清洗装置有关的附图标记
1：摄像机；1a：镜头面；1b：上表面；2：清洗液贮存容器；3：清洗液泵；4：清洗液配管；5：空气泵；6：空气配管；7：喷嘴；7a：喷射面；7b：侧面；7c：底面；7d：盖；8：控制部；10a、10b：喷出口；11a、11b：清洗液通路；12：空气通路；13：二次容器；13a、13b：插头；13c：供给口；13d：底面；14a、14b：前端部；15a、15b：前端部；16a、16b：合流通路；22：喷嘴部件；23：配管；24：止回阀；25：通气孔；30：车辆信息；31：本车速度信息；32：雨刷开关信息；33：清洗器开关信息；34：档位信息；35：车头灯开关信息；41：摄像机影像信息；51：清洗动作判断部；52：空气泵驱动部；53：清洗液泵驱动部；54：通知部；55：清洗动作判断部；55：状态判断部；61：警报器；100：清洗装置。

Claims (14)

1.一种三维物体检测装置，具备：
摄像机，其具备使车辆后方的影像成像的镜头；
三维物体检测单元，其基于由上述摄像机获取到的图像，检测上述车辆后方的三维物体；
镜头清洗单元，其喷射清洗液来清洗上述摄像机的镜头；
镜头状态判断单元，其基于由上述镜头清洗单元执行的镜头清洗工序的向上述镜头喷射清洗液的定时，判断镜头状态是否为规定的控制对象状态；以及
控制单元，其在由上述镜头状态判断单元判断为上述镜头状态是上述控制对象状态的情况下，通过将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测或判断结果保持规定时间，来抑制检测出上述三维物体。
2.根据权利要求1所述的三维物体检测装置，其特征在于，还具备：
图像变换单元，其将由上述摄像机获得的图像视点变换为鸟瞰视点图像；以及
三维物体判断单元，其判断由上述三维物体检测单元检测出的三维物体是否为其它车辆，
其中，上述三维物体检测单元将由上述图像变换单元获得的不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，在该对位后的鸟瞰视点图像的差分图像上沿着视点变换为上述鸟瞰视点图像时三维物体倾倒的方向对在上述差分图像上示出规定的差分的像素数进行计数并进行频数分布化，由此生成差分波形信息，基于该差分波形信息检测三维物体，
上述镜头清洗单元具备供给清洗液的泵和向上述镜头上喷射所供给的该清洗液的喷嘴，以按照规定的镜头清洗工序的规定的定时向上述镜头上喷射清洗液来清洗上述摄像机的镜头，
在由上述镜头状态判断单元判断为上述镜头状态是上述控制对象状态的情况下，上述控制单元通过将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测或判断结果保持规定时间，来抑制检测出上述三维物体、或者抑制该三维物体被判断为是上述其它车辆。
3.根据权利要求1或2所述的三维物体检测装置，其特征在于，
在由上述镜头状态判断单元判断为上述镜头状态是上述控制对象状态且紧挨在判断为上述镜头状态是上述控制对象状态之前识别出正在由上述三维物体检测单元检测出上述三维物体的检测状态的情况下，上述控制单元将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测结果保持规定时间。
4.根据权利要求1或2所述的三维物体检测装置，其特征在于，
镜头清洗单元按照包含镜头润湿工序、第一空气吹送工序、清洗工序以及第二空气吹送工序的规定的镜头清洗工序，使用清洗液清洗镜头，
上述镜头状态判断单元将从上述第一空气吹送工序的开始定时至该第一空气吹送工序的完成定时为止的镜头状态判断为是附着于上述镜头的清洗液的量为中程度的控制对象状态，
在判断为上述镜头状态是附着于该镜头的清洗液的量为中程度的控制对象状态的情况下，上述控制单元将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测结果保持规定时间。
5.根据权利要求3所述的三维物体检测装置，其特征在于，
镜头清洗单元按照包含镜头润湿工序、第一空气吹送工序、清洗工序以及第二空气吹送工序的规定的镜头清洗工序，使用清洗液清洗镜头，
上述镜头状态判断单元将从上述第一空气吹送工序的开始定时至该第一空气吹送工序的完成定时为止的镜头状态判断为是附着于上述镜头的清洗液的量为中程度的控制对象状态，
在判断为上述镜头状态是附着于该镜头的清洗液的量为中程度的控制对象状态的情况下，上述控制单元将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测结果保持规定时间。
6.根据权利要求4所述的三维物体检测装置，其特征在于，
上述镜头状态判断单元识别所判断出的上述镜头状态下的上述第一空气吹送工序的空气吹送次数，
所识别出的上述空气吹送次数越多，上述控制单元将保持紧挨在判断为上述镜头状态是上述控制对象状态之前的检测结果的规定时间设定得越短。
7.根据权利要求5所述的三维物体检测装置，其特征在于，
上述镜头状态判断单元识别所判断出的上述镜头状态下的上述第一空气吹送工序的空气吹送次数，
所识别出的上述空气吹送次数越多，上述控制单元将保持紧挨在判断为上述镜头状态是上述控制对象状态之前的检测结果的规定时间设定得越短。
8.根据权利要求2所述的三维物体检测装置，其特征在于，
上述三维物体检测单元基于上述差分波形信息检测存在于检测区域的三维物体，并且根据规定时间内的上述差分波形信息的波形的时间变化计算三维物体的相对速度，
在上述三维物体的相对速度在规定的值域范围内的状态持续规定时间以上的情况下，上述三维物体判断单元判断为上述三维物体是其它车辆，
镜头清洗单元按照包含镜头润湿工序、第一空气吹送工序、清洗工序以及第二空气吹送工序的规定的镜头清洗工序，使用清洗液清洗镜头，
上述镜头状态判断单元将从在上述第一空气吹送工序中最后进行的空气吹送处理的开始定时至该空气吹送处理的结束定时为止以及从上述第二空气吹送工序的开始定时至该第二空气吹送工序的完成定时为止的镜头状态判断为是附着于上述镜头的清洗液的量为少量的控制对象状态，
在判断为上述镜头状态是附着于该镜头的清洗液的量为少量的控制对象状态的情况下，上述控制单元将紧挨在判断为上述镜头状态是上述控制对象状态之前检测出的上述三维物体的相对速度或基于该相对速度导出的上述三维物体是否为其它车辆的判断结果保持规定时间。
9.根据权利要求1所述的三维物体检测装置，其特征在于，还具备：
图像变换单元，其将由上述摄像机获得的图像视点变换为鸟瞰视点图像；以及
三维物体判断单元，其判断由上述三维物体检测单元检测出的三维物体是否为其它车辆，
其中，上述三维物体检测单元在由上述图像变换单元获得的鸟瞰视点图像上沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向检测相邻的图像区域的亮度差为规定阈值以上的边缘信息，基于该边缘信息检测三维物体，
上述镜头清洗单元具备供给清洗液的泵和向上述镜头上喷射所供给的该清洗液的喷嘴，以按照规定的镜头清洗工序的规定的定时向上述镜头上喷射清洗液来清洗上述摄像机的镜头，
在由上述镜头状态判断单元判断为上述镜头状态是上述控制对象状态的情况下，上述控制单元通过将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测或判断结果保持规定时间，来抑制检测出上述三维物体、或者抑制该三维物体被判断为是上述其它车辆。
10.根据权利要求9所述的三维物体检测装置，其特征在于，
在由上述镜头状态判断单元判断为上述镜头状态是上述控制对象状态且紧挨在判断为上述镜头状态是上述控制对象状态之前识别出正在由上述三维物体检测单元检测出上述三维物体的检测状态的情况下，上述控制单元将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测结果保持规定时间。
11.根据权利要求9或10所述的三维物体检测装置，其特征在于，
镜头清洗单元按照包含镜头润湿工序、第一空气吹送工序、清洗工序以及第二空气吹送工序的规定的镜头清洗工序，使用清洗液来清洗镜头，
上述镜头状态判断单元将从镜头清洗工序的开始定时至上述镜头润湿工序的完成定时为止的镜头状态、或者从清洗工序的开始定时至该清洗工序的结束定时为止的镜头状态判断为是附着于上述镜头的清洗液的量为高程度的控制对象状态，
在判断为上述镜头状态是附着于该镜头的清洗液的量为高程度的控制对象状态的情况下，上述控制单元将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测结果保持规定时间。
12.根据权利要求9或10所述的三维物体检测装置，其特征在于，
上述三维物体检测单元基于上述边缘信息检测存在于检测区域的三维物体，并且根据规定时间内的上述边缘信息的时间变化计算三维物体的相对速度，
在上述三维物体的相对速度在规定的值域范围内的状态持续规定时间以上的情况下，上述三维物体判断单元判断为上述三维物体是其它车辆，
镜头清洗单元按照包含镜头润湿工序、第一空气吹送工序、清洗工序以及第二空气吹送工序的规定的镜头清洗工序，使用清洗液来清洗镜头，
上述镜头状态判断单元将从在上述第一空气吹送工序中最后进行的空气吹送处理的开始定时至该空气吹送处理的结束定时为止以及从上述第二空气吹送工序的开始定时至该第二空气吹送工序的完成定时为止的镜头状态判断为是附着于上述镜头的清洗液的量为少量的控制对象状态，
上述控制单元在判断为上述镜头状态是附着于该镜头的清洗液的量为少量的控制对象状态的情况下，将紧挨在判断为上述镜头状态是上述控制对象状态之前检测出的上述三维物体的相对速度或基于该相对速度导出的上述三维物体是否为其它车辆的判断结果保持规定时间。
13.根据权利要求11所述的三维物体检测装置，其特征在于，
上述三维物体检测单元基于上述边缘信息检测存在于检测区域的三维物体，并且根据规定时间内的上述边缘信息的时间变化计算三维物体的相对速度，
在上述三维物体的相对速度在规定的值域范围内的状态持续规定时间以上的情况下，上述三维物体判断单元判断为上述三维物体是其它车辆，
镜头清洗单元按照包含镜头润湿工序、第一空气吹送工序、清洗工序以及第二空气吹送工序的规定的镜头清洗工序，使用清洗液来清洗镜头，
上述镜头状态判断单元将从在上述第一空气吹送工序中最后进行的空气吹送处理的开始定时至该空气吹送处理的结束定时为止以及从上述第二空气吹送工序的开始定时至该第二空气吹送工序的完成定时为止的镜头状态判断为是附着于上述镜头的清洗液的量为少量的控制对象状态，
上述控制单元在判断为上述镜头状态是附着于该镜头的清洗液的量为少量的控制对象状态的情况下，将紧挨在判断为上述镜头状态是上述控制对象状态之前检测出的上述三维物体的相对速度或基于该相对速度导出的上述三维物体是否为其它车辆的判断结果保持规定时间。
14.一种三维物体检测方法，其中，三维物体检测装置的计算机执行以下步骤：
基于由摄像机获得的图像检测车辆后方的三维物体，该摄像机搭载于上述车辆并具备使车辆后方的影像成像的镜头；
基于在由喷射清洗液来清洗上述摄像机的镜头的镜头清洗装置执行的镜头清洗工序中的向上述镜头喷射清洗液的定时，判断镜头状态是否为规定的控制对象状态；以及
在判断为上述镜头状态是规定的控制对象状态的情况下，通过将紧挨在判断为上述镜头状态是上述控制对象状态之前的检测或判断结果保持规定时间，来抑制检测出上述三维物体。
CN201380039924.6A 2012-07-27 2013-07-24 三维物体检测装置和三维物体检测方法 Active CN104508725B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012166514 2012-07-27
JP2012-166514 2012-07-27
PCT/JP2013/070008 WO2014017519A1 (ja) 2012-07-27 2013-07-24 立体物検出装置及び立体物検出方法

Publications (2)

Publication Number Publication Date
CN104508725A CN104508725A (zh) 2015-04-08
CN104508725B true CN104508725B (zh) 2016-11-16

Family

ID=49997328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039924.6A Active CN104508725B (zh) 2012-07-27 2013-07-24 三维物体检测装置和三维物体检测方法

Country Status (10)

Country Link
US (1) US9862320B2 (zh)
EP (1) EP2879114A4 (zh)
JP (1) JP5900622B2 (zh)
CN (1) CN104508725B (zh)
BR (1) BR112015001817B1 (zh)
IN (1) IN2015KN00314A (zh)
MX (1) MX346025B (zh)
MY (1) MY158602A (zh)
RU (1) RU2572954C1 (zh)
WO (1) WO2014017519A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007175A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 車載環境認識装置
JP2014026049A (ja) * 2012-07-25 2014-02-06 Sony Corp クリーニング装置とクリーニング方法および撮像装置
JP6348770B2 (ja) * 2014-05-08 2018-06-27 日産自動車株式会社 カメラ装置および立体物検出装置
JP6435633B2 (ja) * 2014-05-08 2018-12-12 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP6319204B2 (ja) * 2015-06-26 2018-05-09 株式会社デンソー 車両用の前照灯制御装置
JP6922169B2 (ja) 2016-08-24 2021-08-18 ソニーグループ株式会社 情報処理装置および方法、車両、並びに情報処理システム
JP2018116159A (ja) * 2017-01-18 2018-07-26 株式会社デンソーテン 異物除去制御装置、異物除去制御方法、及び、異物除去制御プログラム
CN110958962B (zh) * 2017-07-24 2023-07-18 株式会社小糸制作所 车辆用清洁系统及车辆用清洁器控制装置
JP7055619B2 (ja) 2017-11-14 2022-04-18 株式会社デンソーテン 気体噴出装置および気体噴出方法
JP7356410B2 (ja) * 2018-03-07 2023-10-04 株式会社小糸製作所 車両用のクリーナ付きセンサシステム
JP7037117B2 (ja) * 2018-04-16 2022-03-16 トヨタ自動車株式会社 運転支援装置
JP7216526B2 (ja) * 2018-11-21 2023-02-01 株式会社Subaru 車外環境認識装置および車外環境認識方法
CN111324756A (zh) * 2018-12-17 2020-06-23 上海博泰悦臻电子设备制造有限公司 车辆及其基于实物产生装饰动画的方法和系统
US10771665B1 (en) * 2019-02-27 2020-09-08 Ford Global Technologies, Llc Determination of illuminator obstruction by known optical properties
JP7230173B2 (ja) * 2019-03-01 2023-02-28 株式会社日立製作所 置去り物検知装置および置去り物検知方法
CN112017239B (zh) * 2019-05-31 2022-12-20 北京市商汤科技开发有限公司 确定目标对象朝向方法、智能驾驶控制方法和装置及设备
JP7243480B2 (ja) * 2019-06-25 2023-03-22 株式会社デンソー 車載センサ洗浄装置
JP7293039B2 (ja) * 2019-08-16 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
JP7337602B2 (ja) * 2019-08-28 2023-09-04 キヤノン株式会社 撮像装置、コンピュータプログラム及び記憶媒体
FR3112741B1 (fr) * 2020-07-22 2022-07-15 Valeo Systemes Dessuyage Dispositif de nettoyage d’un système de détection
EP3968274A1 (en) * 2020-09-14 2022-03-16 Tata Consultancy Services Limited Method and system for asset inspection using unmanned aerial vehicles
JP7481985B2 (ja) * 2020-09-30 2024-05-13 株式会社小松製作所 作業機械
CN112804429B (zh) * 2021-01-07 2022-06-03 中国民用航空飞行学院 一种机场障碍物筛查装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09292656A (ja) * 1996-02-27 1997-11-11 Fuji Photo Optical Co Ltd カメラレンズ部の水滴除去装置
CN2714389Y (zh) 2004-08-04 2005-08-03 刘长春 多功能车辆后视镜防雨保洁装置
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
JP4978484B2 (ja) 2007-02-16 2012-07-18 セイコーエプソン株式会社 防水型電子機器
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2009286216A (ja) * 2008-05-28 2009-12-10 Denso Corp 風圧発生装置
US20120117745A1 (en) * 2009-09-29 2012-05-17 Denso Corporation On-board optical sensor cover and on-board optical sensor apparatus
RU2455177C2 (ru) * 2009-09-29 2012-07-10 Денсо Корпорейшн Оболочка бортового оптического сенсора и устройство бортового оптического сенсора
RU2424925C1 (ru) * 2009-11-06 2011-07-27 Осман Мирзаевич Мирза Способ очистки входного элемента видеокамеры, установленной на транспортном средстве
JP2011245989A (ja) * 2010-05-27 2011-12-08 Asmo Co Ltd 車載カメラ用ウォッシャノズル、車載カメラ、及び車両用ウォッシャ装置
JP5251927B2 (ja) 2010-06-21 2013-07-31 日産自動車株式会社 移動距離検出装置及び移動距離検出方法
JP5413516B2 (ja) * 2010-08-19 2014-02-12 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP5516382B2 (ja) * 2010-12-20 2014-06-11 株式会社デンソー 車載光学センサの洗浄システム

Also Published As

Publication number Publication date
MX346025B (es) 2017-03-02
EP2879114A4 (en) 2015-10-21
MY158602A (en) 2016-10-18
IN2015KN00314A (zh) 2015-07-10
US9862320B2 (en) 2018-01-09
JPWO2014017519A1 (ja) 2016-07-11
US20150145956A1 (en) 2015-05-28
CN104508725A (zh) 2015-04-08
RU2572954C1 (ru) 2016-01-20
EP2879114A1 (en) 2015-06-03
JP5900622B2 (ja) 2016-04-06
WO2014017519A1 (ja) 2014-01-30
BR112015001817B1 (pt) 2022-11-16
BR112015001817A2 (pt) 2019-12-31
MX2015001241A (es) 2015-04-10

Similar Documents

Publication Publication Date Title
CN104508725B (zh) 三维物体检测装置和三维物体检测方法
CN104508726B (zh) 三维物体检测装置和三维物体检测方法
CN104507765B (zh) 摄像机装置、三维物体检测装置以及镜头清洗方法
CN104470771B (zh) 车载摄像机的清洗装置以及车载摄像机的清洗方法
CN104509091B (zh) 水滴检测装置以及使用水滴检测装置的三维物体检测装置
CN104508727B (zh) 三维物体检测装置和三维物体检测方法
CN104509102B (zh) 三维物体检测装置和异物检测装置
US20230394810A1 (en) Advanced path prediction
US20150329083A1 (en) On-Board Device
CN105632186B (zh) 检测车辆加塞行为的方法和装置
CN103797529B (zh) 三维物体检测装置
CN102855774B (zh) 车辆周围监视装置
CN104392239B (zh) 一种车牌识别方法及系统
CN104012081B (zh) 三维物体检测装置
JP6348770B2 (ja) カメラ装置および立体物検出装置
CN110088807A (zh) 分隔线识别装置
CN104978563A (zh) 行车线标识识别装置
JP6260444B2 (ja) カメラ装置及びレンズ洗浄方法
JP7463159B2 (ja) 液滴検出装置
JP6435633B2 (ja) 立体物検出装置及び立体物検出方法
CN117392621A (zh) 一种机动车右转不礼让行人行为识别方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant