CN104507765A - 摄像机装置、三维物体检测装置以及镜头清洗方法 - Google Patents

摄像机装置、三维物体检测装置以及镜头清洗方法 Download PDF

Info

Publication number
CN104507765A
CN104507765A CN201380040046.XA CN201380040046A CN104507765A CN 104507765 A CN104507765 A CN 104507765A CN 201380040046 A CN201380040046 A CN 201380040046A CN 104507765 A CN104507765 A CN 104507765A
Authority
CN
China
Prior art keywords
mentioned
attachment
foreign matter
dimensional body
camera lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380040046.XA
Other languages
English (en)
Other versions
CN104507765B (zh
Inventor
早川泰久
深田修
竹村雅幸
清原将裕
村松彰二
入江耕太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Nissan Motor Co Ltd filed Critical Clarion Co Ltd
Publication of CN104507765A publication Critical patent/CN104507765A/zh
Application granted granted Critical
Publication of CN104507765B publication Critical patent/CN104507765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/08—Waterproof bodies or housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B60S1/0848—Cleaning devices for cameras on vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明具备搭载于车辆并具备镜头(11)的摄像机(10)、依照规定的镜头清洗工序清洗镜头的镜头清洗装置(100)、根据获取到的摄像图像中所包含的像素的像素值来判断包含附着于镜头(11)的异物的附着度的附着状态的附着状态判断部(38)以及根据判断得到的异物的附着状态控制清洗液的供给定时的控制部(101)，附着状态判断部(38)在异物的附着度为规定阈值内的情况下，判断为镜头(11)的脏污的附着状态是第一状态，在判断为镜头(11)的脏污的附着状态是第一状态的情况下，进行使镜头清洗装置100延迟清洗液的供给定时的控制，该规定阈值为第一附着阈值以上且小于第二附着阈值。

Description

摄像机装置、三维物体检测装置以及镜头清洗方法
技术领域
本发明涉及一种摄像机装置、三维物体检测装置以及镜头清洗方法。
本申请要求2012年7月27日申请的日本专利申请的特愿2012-166530以及特愿2012-166531的优先权，针对文献参照中引用的指定国，上述申请记载的内容作为参照引用入本申请中，并作为本申请的记载的一部分。
背景技术
已知如下一种车载摄像机(参照专利文献1)：通过向设置于车身的摄像机的前面的玻璃吹送高压空气和高压水来去除由于泥溅起等所附着的脏污。
专利文献1：日本特开2001-171491号公报
发明内容
发明要解决的问题
在以往的技术中，在泥溅起等容易产生脏污的降雨时，执行去除镜头的脏污的清洗动作，但是由于与镜头的实际的脏污状态无关地执行镜头的清洗，因此存在无用地消耗清洗水这样的问题。
本发明要解决的课题在于，在与于镜头的脏污状态相应的适当的定时执行镜头的清洗。
用于解决问题的方案
本发明通过与镜头的脏污状态相应地控制清洗动作的开始定时来节省清洗水的无用消耗，从而解决上述课题。
发明的效果
本发明在与镜头的脏污状态相应的定时或者以与镜头的脏污状态相应的清洗液量执行清洗处理，因此能够节省清洗水并适当地清洗镜头脏污。
附图说明
图1是应用了本发明的三维物体检测装置的一个实施方式所涉及的车辆的概要结构图。
图2是表示图1的车辆的行驶状态的俯视图(基于差分波形信息的三维物体检测)。
图3是表示图1的计算机的详细内容的框图。
图4是用于说明图3的对位部的处理概要的图，(a)是表示车辆的移动状态的俯视图，(b)是表示对位的概要的图像。
图5是表示图3的三维物体检测部生成差分波形的情形的概要图。
图6是表示通过图3的三维物体检测部分割出的小区域的图。
图7是表示由图3的三维物体检测部得到的直方图的一例的图。
图8是表示图3的三维物体检测部的加权的图。
图9是表示图3的拖影检测部的处理以及基于该处理计算差分波形的处理的图。
图10是表示由图3的三维物体检测部得到的直方图的另一例的图。
图11是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之一)。
图12是表示由图3的视点变换部、对位部、拖影检测部以及三维物体检测部执行的利用差分波形信息的三维物体检测方法的流程图(之二)。
图13是表示图1的车辆的行驶状态的图(基于边缘信息的三维物体检测)，(a)是表示检测区域等的位置关系的俯视图，(b)是表示实际空间中的检测区域等的位置关系的立体图。
图14是用于说明图3的亮度差计算部的动作的图，(a)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图，(b)是表示实际空间中的关注线、参照线、关注点以及参照点的位置关系的图。
图15是用于说明图3的亮度差计算部的详细动作的图，(a)是表示鸟瞰视点图像中的检测区域的图，(b)是表示鸟瞰视点图像中的关注线、参照线、关注点以及参照点的位置关系的图。
图16是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域存在三维物体(车辆)时的亮度分布的图，(b)是表示在检测区域不存在三维物体时的亮度分布的图。
图17是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之一)。
图18是表示由图3的视点变换部、亮度差计算部、边缘线检测部以及三维物体检测部执行的利用边缘信息的三维物体检测方法的流程图(之二)。
图19是表示用于说明边缘检测动作的图像例的图。
图20是表示摄像机的安装例的立体图。
图21A是表示通过镜头上附着有颗粒小的异物的摄像机拍摄得到的图像信息的一例的图。
图21B是表示通过镜头上附着有颗粒大的异物的摄像机拍摄得到的图像信息的一例的图。
图22是表示镜头清洗装置的控制机构的概要的图。
图23是用于说明镜头清洗工序的时序图。
图24是镜头清洗装置的一部分，是摄像机装置1000的局部剖切立体图。
图25是设置于摄像机装置1000的镜头清洗装置的喷嘴前端部的剖视图。
图26A是表示镜头上附着有颗粒小的异物的情况下的摄像图像的像素的情形的一例的图。
图26B是表示镜头上附着有颗粒大的异物的情况下的摄像图像的像素的情形的一例的图。
图27是用于说明与镜头的脏污的附着状态相应的异物的附着度的变化量的图。
图28A是表示异物的附着度的变化量与清洗液供给开始定时之前的时间之间的关系的一例的图。
图28B是表示异物的平均粒径与清洗液供给开始定时之前的时间之间的关系的一例的图。
图29是表示镜头的脏污的附着状态的评价可靠度与清洗液供给开始定时之前的时间之间的关系的一例的图。
图30是表示本发明的本实施方式所涉及的摄像机装置的控制过程的流程图。
图31是用于说明本发明的本实施方式所涉及的三维物体检测装置检测其它车辆的处理的控制过程的流程图。
具体实施方式
<第一实施方式>
图1是应用了具备本发明的摄像机装置1000的三维物体检测装置1的一个实施方式所涉及的车辆的概要结构图。本例的三维物体检测装置1是将本车辆V的驾驶员在驾驶过程中应予以注意的其它车辆、例如本车辆V在车道变更时有可能靠近乃至接触的其它车辆检测为障碍物的装置。特别地，本例的三维物体检测装置1检测行驶于与本车辆所行驶的车道相邻的邻近车道(以下还简称为邻近车道)的其它车辆。另外，本例的三维物体检测装置1能够计算所检测出的其它车辆的移动距离、移动速度。因此，以下说明的一例表示将三维物体检测装置1搭载于本车辆V并检测在本车辆周围检测的三维物体中的行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆的例子。如该图所示，本例的三维物体检测装置1具备摄像机10、车速传感器20、计算机30以及清洗摄像机10的镜头11的镜头清洗装置100。
摄像机10如图1所示那样在本车辆V后方的高度h的地方以光轴相对于水平向下形成角度θ的方式安装于本车辆V。摄像机10从该位置拍摄本车辆V的周围环境中的规定区域。在本实施方式中，为了检测本车辆V后方的三维物体而设置的摄像机10是一个，但是也能够为了其它的用途而设置例如用于获取车辆周围的图像的其它的摄像机。车速传感器20用于检测本车辆V的行驶速度，并根据例如由检测车轮转速的车轮速度传感器检测出的车轮速度来计算车速。计算机30检测车辆后方的三维物体，并且在本例中关于该三维物体计算移动距离和移动速度。
图2是表示图1的本车辆V的行驶状态的俯视图。如该图所示，摄像机10以规定的视角a拍摄车辆后方侧。此时，摄像机10的视角a被设定为除了能够拍摄到本车辆V所行驶的车道以外还能够拍摄到该车道左右的车道的视角。能够拍摄的区域包含在本车辆V的后方与本车辆V的行驶车道左右相邻的邻近车道上的检测对象区域A1、A2。
图3是表示图1的计算机30的详细内容的框图。此外，在图3中，为了明确连接关系，还图示了摄像机10、车速传感器20、镜头清洗装置100、车辆控制器100、导航装置200、ABS(防抱死制动系统：Anti-locked braking system，以下相同)装置300、TCS(牵引力控制系统：Traction Control System，以下相同)装置400、VDC(车辆动力学控制：Vehicle Dynamics Control)装置500。车速传感器20、ABS装置300、TCS装置400、VDC装置500搭载于车辆中，通过车辆控制器100能够与本实施方式的三维物体检测装置100之间发送和接收信息。上述各装置能够通过CAN(Controller Area Network：控制器区域网)等车载通信网络进行信息的发送和接收。
如图3所示，计算机30具备视点变换部31、对位部32、三维物体检测部33、三维物体判断部34、附着状态判断部38、控制部39、拖影检测部40以及行驶道路状态判断部41。本实施方式的计算部30是与利用差分波形信息检测三维物体的检测模块有关的结构。本实施方式的计算部30也能够设为与利用边缘信息检测三维物体的检测模块有关的结构。该情况能够将图3所示的结构中的由对位部32以及三维物体检测部33构成的检测模块结构A替换为用虚线包围的由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成的检测模块结构B来构成。当然能够具备检测模块结构A和检测模块结构B两方，能够利用差分波形信息进行三维物体的检测并且利用边缘信息进行三维物体的检测。在具备检测模块结构A和检测模块结构B的情况下，例如能够与明亮度等环境因素相应地使检测模块结构A和检测模块结构B中的某一个进行动作。以下，关于各结构进行说明。
<利用差分波形信息检测三维物体>
本实施方式的三维物体检测装置1根据由拍摄车辆后方的单眼的摄像机1获得的图像信息来检测存在于车辆后方的右侧检测区域或左侧检测区域的三维物体。
视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据，将所输入的摄像图像数据视点变换为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下俯视的虚拟摄像机的视点观看的状态。能够例如日本特开2008-219063号公报所记载的那样执行该视点变换。将摄像图像数据视点变换为鸟瞰视点图像数据是因为基于如下原理能够识别平面物体和三维物体，该原理为三维物体所特有的铅垂边缘通过视点变换为鸟瞰视点图像数据而被变换为通过特定的定点的直线群。此外，在后述的利用边缘信息检测三维物体过程中也使用视点变换部31的图像变换处理的结果。
对位部32依次输入由视点变换部31的视点变换得到的鸟瞰视点图像数据，并对所输入的不同时刻的鸟瞰视点图像数据的位置进行对位。图4是用于说明对位部32的处理概要的图，(a)是表示本车辆V的移动状态的俯视图，(b)是表示对位的概要的图像。
如图4的(a)所示，设为当前时刻的本车辆V位于V1，前一时刻的本车辆V位于V2。另外，设为其它车辆VX位于本车辆V的后侧方向并与本车辆V处于并列行驶状态，当前时刻的其它车辆VX位于V3，前一时刻的其它车辆VX位于V4。并且，设为本车辆V在一时刻移动了距离d。此外，前一时刻可以是从当前时刻起相隔预先决定时间(例如一个控制周期)的过去时刻，也可以是相隔任意时间的过去时刻。
在这样的状态中，当前时刻的鸟瞰视点图像PBt如图4的(b)所示那样。在该鸟瞰视点图像PBt中，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是处于位置V3的其它车辆VX的位置发生倾倒。另外，前一时刻的鸟瞰视点图像PBt-1也同样地，描绘在路面上的白线为矩形状，是比较准确地以俯视观察所形成的状态，但是处于位置V4的其它车辆VX发生倾倒。如已经记述的那样，是因为三维物体的铅垂边缘(除了严格意义上的铅垂边缘以外还包含在三维空间中从路面立起的边缘)通过变换为鸟瞰视点图像数据的视点变换处理而表现为沿着倾倒方向的直线群，与此相对地路面上的平面图像不包含铅垂边缘，因此即使进行视点变换也不会产生那样的倾倒。
对位部32在数据上执行如上所述的鸟瞰视点图像PBt、PBt-1的对位。此时，对位部32使前一时刻的鸟瞰视点图像PBt-1偏移来使位置与当前时刻的鸟瞰视点图像PBt相一致。图4的(b)的左侧的图像和中央的图像表示偏移了移动距离d’后的状态。该偏移量d’是与图4的(a)所示的本车辆V的实际的移动距离d对应的鸟瞰视点图像数据上的移动量，是根据来自车速传感器20的信号和从前一时刻至当前时刻的时间而决定的。
另外，在对位之后，对位部32取鸟瞰视点图像PBt、PBt-1的差分，生成差分图像PDt的数据。在此，差分图像PDt的像素值可以是将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化得到的像素值，也可以为了对应照度环境的变化而在该绝对值超过规定的阈值p时设为“1”，在不超过规定的阈值p时设为“0”。图4的(b)的右侧的图像是差分图像PDt。该阈值p可以预先设定，也可以按照后述的控制部39的与附着状态判断部38的检测结果相应的控制命令进行变更。
返回图3，三维物体检测部33根据图4的(b)所示的差分图像PDt的数据来检测三维物体。此时，本例的三维物体检测部33还计算在实际空间中的三维物体的移动距离。在三维物体的检测以及移动距离的计算时，三维物体检测部33首先生成差分波形。此外，在三维物体的移动速度的计算中使用三维物体的每单位时间的移动距离。而且，三维物体的移动速度能够在判断三维物体是否为车辆时使用。
在生成差分波形时，本实施方式的三维物体检测部33在差分图像PDt中设定检测区域。本例的三维物体检测装置1将本车辆V的驾驶员予以注意的其它车辆、特别是在本车辆V进行车道变更时有可能接触的行驶于与本车辆V所行驶的车道相邻的车道的其它车辆作为检测对象物进行检测。因此，在根据图像信息检测三维物体的本例中，在由摄像机1得到的图像中的本车辆V的右侧和左侧设定两个检测区域。具体地说，在本实施方式中，如图2所示那样在本车辆V后方的左侧和右侧设定矩形状的检测区域A1、A2。在该检测区域A1、A2中检测出的其它车辆被检测为行驶于与本车辆V所行驶的车道相邻的邻近车道的障碍物。此外，这样的检测区域A1、A2可以根据相对于本车辆V的相对位置进行设定，也可以将白线的位置作为基准进行设定。在以白线的位置为基准进行设定的情况下，移动距离检测装置1例如优选利用已有的白线识别技术等。
另外，三维物体检测部33将所设定的检测区域A1、A2的在本车辆V侧的边(沿着行驶方向的边)识别为触地线L1、L2(图2)。通常，触地线是指三维物体接触地面的线，但是在本实施方式中不是接触地面的线而是如上述那样进行设定。此外，在这种情况下，从经验上看本实施方式所涉及的触地线与本来基于其它车辆VX的位置求出的触地线之差也不会过大，从而在实际使用上没有问题。
图5是表示图3所示的三维物体检测部33生成差分波形的情形的概要图。如图5所示，三维物体检测部33根据由对位部32计算出的差分图像PDt(图4的(b)的右图)中的相当于检测区域A1、A2的部分来生成差分波形DWt。此时，三维物体检测部33沿着通过视点变换而三维物体倾倒的方向生成差分波形DWt。此外，在图5所示的例子中，为了方便仅使用检测区域A1进行说明，但是关于检测区域A2，也以相同的过程生成差分波形DWt。
具体地说，三维物体检测部33在差分图像DWt的数据上定义三维物体倾倒的方向上的线La。然后，三维物体检测部33对线La上示出规定的差分的差分像素DP的个数进行计数。在此，在差分图像DWt的像素值是将鸟瞰视点图像PBt、PBt-1的像素值之差绝对值化得到的像素值的情况下，示出规定的差分的差分像素DP是超过规定的阈值的像素，在差分图像DWt的像素值用“0”、“1”表现的情况下，示出规定的差分的差分像素DP是表示“1”的像素。
三维物体检测部33在对差分像素DP的个数进行计数之后，求出线La与触地线L1的交点CP。然后，三维物体检测部33将交点CP与计数数进行对应，根据交点CP的位置来决定横轴位置、即在图5的右图的上下方向轴的位置，并且根据计数数决定纵轴位置、即在图5的右图的左右方向轴的位置，绘制出交点CP的计数数。
以下同样地，三维物体检测部33对三维物体倾倒的方向上的线Lb、Lc···进行定义，来对差分像素DP的个数进行计数，根据各交点CP的位置决定横轴位置、基于计数数(差分像素DP的个数)决定纵轴位置进行绘制。三维物体检测部33依次重复上述内容进行频数分布化来如图5右图所示那样生成差分波形DWt。
此外，如图5左图所示，三维物体倾倒的方向上的线La和线Lb与检测区域A1相重叠的距离不同。因此，当假设检测区域A1被差分像素DP填满时，线La上的差分像素DP的个数多于线Lb上的差分像素DP的个数。因此，三维物体检测部33在基于差分像素DP的计数数决定纵轴位置的情况下，根据三维物体倾倒的方向上的线La、Lb与检测区域A1相重叠的距离来进行标准化。当列举具体例时，在图5左图中，在线La上有6个差分像素DP，在线Lb上有5个差分像素DP。因此，在图5中基于计数数决定纵轴位置时，三维物体检测部33将计数数除以重叠距离等来进行标准化。由此，如差分波形DWt所示那样，与三维物体倾倒的方向上的线La、Lb对应的差分波形DWt的值大致相同。
在生成差分波形DWt之后，三维物体检测部33通过与前一时刻的差分波形DWt-1的对比来计算移动距离。即，三维物体检测部33基于差分波形DWt、DWt-1的时间变化来计算移动距离。
详细地说，三维物体检测部33如图6所示那样将差分波形DWt分割成多个小区域DWt1～DWtn(n为2以上的任意整数)。图6是表示由三维物体检测部33分割出的小区域DWt1～DWtn的图。小区域DWt1～DWtn例如图6所示那样以相互重叠的方式进行分割。例如小区域DWt1与小区域DWt2重叠，小区域DWt2与小区域DWt3重叠。
接着，三维物体检测部33按各小区域DWt1～DWtn求出偏移量(差分波形的横轴方向(图6的上下方向)的移动量)。在此，根据前一时刻的差分波形DWt-1与当前时刻的差分波形DWt之差(横轴方向的距离)来求出偏移量。此时，三维物体检测部33按各小区域DWt1～DWtn，在使前一时刻的差分波形DWt-1沿横轴方向移动时，判断出与当前时刻的差分波形DWt的误差最小的位置(横轴方向的位置)，求出差分波形DWt-1的原来的位置与误差最小的位置的在横轴方向的移动量来作为偏移量。然后，三维物体检测部33对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。
图7是表示由三维物体检测部33获得的直方图的一例的图。如图7所示，各小区域DWt1～DWtn与前一时刻的差分波形DWt-1的误差最小的移动量即偏移量稍微产生偏差。因此，三维物体检测部33将包含偏差的偏移量制作成直方图，基于直方图计算移动距离。此时，三维物体检测部33根据直方图的极大值计算三维物体的移动距离。即，在图7所示的例子中，三维物体检测部33将表示直方图的极大值的偏移量计算为移动距离τ*。此外，该移动距离τ*是其它车辆VX相对于本车辆V的相对移动距离。因此，三维物体检测部33在计算绝对移动距离的情况下，根据所得到的移动距离τ*和来自车速传感器20的信号来计算绝对移动距离。
此外，在制作成直方图时，三维物体检测部33也可以针对多个小区域DWt1～DWtn中的每一个进行加权，与权重相应地对按各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。图8是表示三维物体检测部33的加权的图。
如图8所示，小区域DWm(m为1以上、n-1以下的整数)是平坦的。即，小区域DWm的示出规定的差分的像素数的计数的最大值与最小值之差小。三维物体检测部33针对这样的小区域DWm将权重减小。这是因为关于平坦的小区域DWm没有特征，从而在计算偏移量时误差变大的可能性高。
另一方面，小区域DWm+k(k为n-m以下的整数)有大量的起伏。即，小区域DWm的示出规定的差分的像素数的计数数的最大值与最小值之差大。三维物体检测部33针对这样的小区域DWm将权重增大。这是因为关于有很多起伏的小区域DWm+k具有特征，从而能够正确地进行偏移量的计算的可能性高。通过像这样进行加权，能够提高移动距离的计算精度。
此外，为了提高移动距离的计算精度，在上述实施方式中，将差分波形DWt分割成了多个小区域DWt1～DWtn，但是在移动距离的计算精度要求不那么高的情况下，也可以不分割成小区域DWt1～DWtn。在这种情况下，三维物体检测部33根据差分波形DWt与差分波形DWt-1的误差变为最小时的差分波形DWt的偏移量来计算移动距离。即，求前一时刻的差分波形DWt-1与当前时刻的差分波形DWt的偏移量的方法不限定于上述内容。
返回图3，计算机30具备拖影检测部40。拖影检测部40根据由摄像机10拍摄得到的摄像图像的数据来检测拖影的产生区域。此外，由于拖影是在CCD图像传感器等中产生的过曝光现象，因此如果采用使用了不产生这样的拖影的CMOS图像传感器等的摄像机10，则也可以省略拖影检测部40。
图9是用于说明拖影检测部40的处理以及该处理产生的差分波形DWt的计算处理的图像图。首先，设为对拖影检测部40输入了存在拖影S的摄像图像P的数据。此时，拖影检测部40根据摄像图像P检测拖影S。拖影S的检测方法多种多样，例如在一般的CCD(Charge-Coupled Device：电荷耦合器件)摄像机的情况下，从光源仅向图像下方向产生拖影S。因此，在本实施方式中，检索从图像下侧向图像上方具有规定值以上的亮度值且在纵方向上连续的区域，将其确定为拖影S的产生区域。
另外，拖影检测部40生成关于拖影S的产生部分将像素值设为“1”，将除此以外的部分设为“0”的拖影图像SP的数据。在生成后，拖影检测部40将拖影图像SP的数据发送到视点变换部31。另外，输入了拖影图像SP的数据的视点变换部31将该数据视点变换为鸟瞰视点的状态。由此，视点变换部31生成拖影鸟瞰视点图像SBt的数据。在生成后，视点变换部31将拖影鸟瞰视点图像SBt的数据发送到对位部33。视点变换部31还将前一时刻的拖影鸟瞰视点图像SBt-1的数据发送到对位部33。
对位部32在数据上执行拖影鸟瞰视点图像SBt、SBt-1的对位。关于具体的对位，与在数据上执行鸟瞰视点图像PBt、PBt-1的对位的情况相同。另外，在对位后，对位部32关于各拖影鸟瞰视点图像SBt、SBt-1的拖影S的产生区域取逻辑或。由此，对位部32生成掩模图像MP的数据。在生成后，对位部32将掩模图像MP的数据发送到三维物体检测部33。
三维物体检测部33关于掩模图像MP中的相当于拖影S的产生区域的部分，将频数分布的计数数设为零。即，在生成了如图9所示那样的差分波形DWt的情况下，三维物体检测部33将拖影S的计数数SC设为零，生成校正后的差分波形DWt’。
此外，在本实施方式中，三维物体检测部33求出车辆V(摄像机10)的移动速度，根据求出的移动速度求出关于静止物体的偏移量。在求出静止物体的偏移量之后，三维物体检测部33忽略直方图的极大值中的相当于静止物体的偏移量之后计算三维物体的移动距离。
图10是表示由三维物体检测部33获得的直方图的另一例的图。在摄像机10的视角内除了其它车辆VX以外还存在静止物体的情况下，在获得的直方图中出现两个极大值τ1、τ2。在这种情况下，两个极大值τ1、τ2中的某一方是静止物体的偏移量。因此，三维物体检测部33根据移动速度求出关于静止物体的偏移量，忽略相当于该偏移量的极大值，采用剩下的一方的极大值计算三维物体的移动距离。
此外，在即使忽略相当于静止物体的偏移量也存在多个极大值的情况下，设想在摄像机10的视角内存在多辆其它车辆VX。但是，在检测区域A1、A2内存在多辆其它车辆VX的情形是非常少见的。因此，三维物体检测部33中止移动距离的计算。
接着，说明基于差分波形信息的三维物体检测过程。图11和图12是表示本实施方式的三维物体检测过程的流程图。如图11所示，首先，计算机30输入由摄像机10得到的摄像图像P的数据，由拖影检测部40生成拖影图像SP(S1)。接着，视点变换部31根据来自摄像机10的摄像图像P的数据生成鸟瞰视点图像PBt的数据，并且根据拖影图像SP的数据生成拖影鸟瞰视点图像SBt的数据(S2)。
然后，对位部33将鸟瞰视点图像PBt的数据和前一时刻的鸟瞰视点图像PBt-1的数据进行对位，并且将拖影鸟瞰视点图像SBt的数据和前一时刻的拖影鸟瞰视点图像SBt-1的数据进行对位(S3)。在该对位之后，对位部33生成差分图像PDt的数据，并且生成掩模图像MP的数据(S4)。之后，三维物体检测部33根据差分图像PDt的数据和前一时刻的差分图像PDt-1的数据生成差分波形DWt(S5)。在生成差分波形DWt之后，三维物体检测部33将差分波形DWt中的相当于拖影S的产生区域的计数数设为零，从而抑制拖影S所产生的影响(S6)。
之后，三维物体检测部33判断差分波形DWt的峰值是否为第一阈值α以上(S7)。该第一阈值α是预先设定的，也能够按照图3所示的控制部39的控制命令进行变更，在后记述其详细内容。在此，在差分波形DWt的峰值不为第一阈值α以上的情况下、即几乎不存在差分的情况下，认为在摄像图像P内不存在三维物体。因此，在判断为差分波形DWt的峰值不为第一阈值α以上的情况下(S7：“否”)，三维物体检测部33判断为不存在三维物体，从而不存在作为障碍物的其它车辆(图12：S16)。然后，结束图11和图12所示的处理。
另一方面，在判断为差分波形DWt的峰值为第一阈值α以上的情况下(S7：“是”)，三维物体检测部33判断为存在三维物体，将差分波形DWt分割成多个小区域DWt1～DWtn(S8)。接着，三维物体检测部33针对各小区域DWt1～DWtn进行加权(S9)。之后，三维物体检测部33计算各小区域DWt1～DWtn的偏移量(S10)，考虑权重并生成直方图(S11)。
然后，三维物体检测部33基于直方图计算三维物体相对于本车辆V的移动距离、即相对移动距离(S12)。接着，三维物体检测部33根据相对移动距离计算三维物体的绝对移动速度(S13)。此时，三维物体检测部33对相对移动距离进行时间微分来计算相对移动速度，并且加上由车速传感器20检测出的本车速度来计算绝对移动速度。
之后，三维物体检测部33判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下(S14)。在满足双方的情况下(S14：“是”)，三维物体检测部33判断为三维物体是其它车辆VX(S15)。然后，结束图11和图12所示的处理。另一方面，在有任一方不满足的情况下(S14：“否”)，三维物体检测部33判断为不存在其它车辆(S16)。然后，结束图11和图12所示的处理。
此外，在本实施方式中，将本车辆V的后侧方设为检测区域A1、A2，检测本车辆V在行驶过程中应予以注意的行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX，特别是，重点在于在本车辆V进行车道变更的情况下是否有接触的可能性。这是为了在本车辆V进行车道变更的情况下，判断是否有可能接触到行驶于与本车辆的行驶车道相邻的邻近车道的其它车辆VX。因此，执行了步骤S14的处理。即，当以使本实施方式的系统在高速公路上工作的情形为前提时，在三维物体的速度小于10km/h的情况下，即使存在其它车辆VX，在进行车道变更时由于位于距本车辆V很远的后方，因此很少会成为问题。同样地，在三维物体相对于本车辆V的相对移动速度超过+60km/h的情况下(即，三维物体相对于本车辆V的速度以大于60km/h的速度移动的情况下)，在进行车道变更时，由于在本车辆V的前方移动，因此很少会成为问题。因此，在步骤S14中，也可以说判断出了在进行车道变更时成为问题的其它车辆VX。
另外，通过在步骤S14中判断三维物体的绝对移动速度是否为10km/h以上且三维物体相对于本车辆V的相对移动速度是否为+60km/h以下，由此存在以下的效果。例如，根据摄像机10的安装误差，有可能存在将静止物体的绝对移动速度检测出是数km/h的情况。因此，通过判断是否为10km/h以上，能够减少将静止物体判断为是其它车辆VX的可能性。另外，有可能由于噪声而导致将三维物体相对于本车辆V的相对速度检测为超过+60km/h的速度。因此，通过判断相对速度是否为+60km/h以下，能够减少因噪声引起的错误检测的可能性。
在步骤S14中，能够任意地设定用于判断其它车辆VX的相对移动速度的阈值。例如能够将-20km/h以上且100km/h以下设定为相对移动速度的阈值。在此，负的下限值为检测物移动至本车辆VX的后方、即检测物逐渐移向后方的状态时的移动速度的下限值。该阈值能够适当地预先设定，但是能够按照后述的控制部39的控制命令进行变更。
并且也可以是，代替步骤S14的处理，而判断绝对移动速度不为负、不为0km/h。另外，在本实施方式中，重点在于本车辆V在进行车道变更的情况下是否有接触的可能性，因此在步骤S15中检测出其它车辆VX的情况下，可以向本车辆的驾驶员发出警告音，或者通过规定的显示装置进行相当于警告的显示。
另外，在步骤S15中，判断由三维物体检测部33检测出的三维物体是否在规定时间T以上被持续检测出。然后，在该三维物体在规定时间T以上被持续检测出的情况下，进入步骤S16，将该三维物体判断为是存在于右侧检测区域A1或左侧检测区域A2的其它车辆。另一方面，在未被持续检测出的情况下，进入步骤S17，判断为不存在其它车辆。
这样，根据本例的基于差分波形信息的三维物体的检测过程，沿着通过视点变换而三维物体倾倒的方向，对在差分图像PDt的数据上示出规定的差分的像素数进行计数来进行频数分布化，由此生成差分波形DWt。在此，在差分图像PDt的数据上示出规定的差分的像素是指在不同时刻的图像中存在变化的像素，换言之，可以说是存在三维物体的部分。因此，在存在三维物体的部分，通过沿着三维物体倾倒的方向对像素数进行计数来进行频数分布化，由此生成差分波形DWt。特别地，由于沿着三维物体倾倒的方向对像素数进行计数，因此根据针对三维物体来说在高度方向上的信息来生成差分波形DWt。然后，根据包含高度方向的信息的差分波形DWt的时间变化来计算三维物体的移动距离。因此，与仅着眼于1个点的移动的情况相比，时间变化前的检测部分和时间变化后的检测部分由于包含高度方向的信息进行确定，因此容易得到三维物体中相同的部分，从而根据相同部分的时间变化来计算移动距离，能够提高移动距离的计算精度。
另外，关于差分波形DWt中的相当于拖影S的产生区域的部分，将频数分布的计数数设为零。由此，去除差分波形DWt中的由拖影S产生的波形部位，从而能够防止将拖影S错误识别为三维物体的情形。
另外，根据在不同的时刻生成的差分波形DWt的误差最小时的差分波形DWt的偏移量来计算三维物体的移动距离。因此，根据波形这样的一维的信息的偏移量来计算移动距离，从而能够在计算移动距离时抑制计算成本。
另外，将在不同时刻生成的差分波形DWt分割成多个小区域DWt1～DWtn。通过像这样分割成多个小区域DWt1～DWtn，由此获得多个表示三维物体的各个部分的波形。另外，针对各小区域DWt1～DWtn求出各个波形的误差最小时的偏移量，对针对各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图，由此计算三维物体的移动距离。因此，针对三维物体的各个部分求出偏移量，并根据多个偏移量求出移动距离，从而能够提高移动距离的计算精度。
另外，针对多个小区域DWt1～DWtn中的每一个进行加权，与权重相应地对针对各小区域DWt1～DWtn求出的偏移量进行计数来制作直方图。因此，关于特征性的区域将权重增大，关于非特征性的区域将权重减小，由此能够更适当地计算移动距离。因而，能够进一步提高移动距离的计算精度。
另外，关于差分波形DWt的各小区域DWt1～DWtn，示出规定的差分的像素数的计数的最大值与最小值之差越大，则使权重越大。因此，越是最大值与最小值之差大的特征性的起伏区域则权重越大，关于起伏小的平坦的区域，权重变小。在此，就形状来说，与平坦的区域相比，起伏大的区域更容易正确地求出偏移量，因此通过越是最大值与最小值之差大的区域则使权重越大，由此能够进一步提高移动距离的计算精度。
另外，根据对针对各小区域DWt1～DWtn求出的偏移量进行计数获得的直方图的极大值，计算三维物体的移动距离。因此，即使偏移量产生偏差，也能够根据该极大值来计算正确性更高的移动距离。
另外，求出关于静止物体的偏移量，并忽略该偏移量，因此能够防止由于静止物体而导致三维物体的移动距离的计算精度下降的情形。另外，在忽略了相当于静止物体的偏移量之后，如果存在多个极大值，则中止三维物体的移动距离的计算。因此，能够防止如存在多个极大值那样的错误地计算移动距离的情形。
此外，在上述实施方式中，根据来自车速传感器20的信号判断本车辆V的车速，但是不限于此，也可以根据不同时刻的多个图像来估计速度。在这种情况下，不需要车速传感器，能够实现结构的简单化。
另外，在上述实施方式中，将拍摄到的当前时刻的图像和前一时刻的图像变换为鸟瞰图，对变换后的鸟瞰图进行对位之后生成差分图像PDt，对所生成的差分图像PDt沿着倾倒方向(将拍摄到的图像变换为鸟瞰图时的三维物体的倾倒方向)进行评价来生成差分波形DWt，但是不限定于此。例如也可以仅将前一时刻的图像变换为鸟瞰图，对变换得到的鸟瞰图进行对位之后再次变换为与所拍摄的图像相当的图像，用该图像和当前时刻的图像生成差分图像，对所生成的差分图像沿着相当于倾倒方向的方向(即，将倾倒方向变换为摄像图像上的方向所得到的方向)进行评价来生成差分波形DWt。即，对当前时刻的图像和前一时刻的图像进行对位，根据进行对位后的两个图像的差分生成差分图像PDt，只要能够沿着将差分图像PDt变换为鸟瞰图时的三维物体的倾倒方向进行评价，也可以不必明确地生成鸟瞰图。
<基于边缘信息检测三维物体>
接着，说明能够代替图3所示的三维物体的检测模块A而进行动作的三维物体的检测模块B。三维物体的检测模块B由亮度差计算部35、边缘线检测部36以及三维物体检测部37构成，利用边缘信息检测三维物体。图13是表示图3的摄像机10的摄像范围等的图，图13的(a)是俯视图，图13的(b)表示本车辆V后侧方的实际空间中的立体图。如图13的(a)所示，摄像机10形成为规定的视角a，从本车辆V拍摄包含于该规定的视角a中的后侧方。摄像机10的视角a与图2所示的情况同样地被设定成在摄像机10的摄像范围内、除了包含本车辆V所行驶的车道以外还包含相邻的车道。
本例的检测区域A1、A2在俯视图(鸟瞰视点的状态)中形成为梯形状，这些检测区域A1、A2的位置、大小以及形状基于距离d1～d4决定。此外，该图所示的例子的检测区域A1、A2不限于梯形状，也可以是如图2所示那样在鸟瞰视点的状态下为矩形等其它的形状。
在此，距离d1是从本车辆V到触地线L1、L2的距离。触地线L1、L2是指存在于与本车辆V所行驶的车道相邻的车道的三维物体接触地面的线。在本实施方式中，目的是检测在本车辆V的后侧方行驶于与本车辆V的车道相邻的左右车道的其它车辆VX等(包含二轮车等)。因此，能够事先根据本车辆V至白线W的距离d11和从白线W至预测为其它车辆VX所行驶的位置的距离d12，来大致固定地决定作为其它车辆VX的触地线L1、L2的位置的距离d1。
另外，关于距离d1，不限于决定为固定的值的情况，也可以设为可变。在这种情况下，计算机30通过白线识别等技术来识别白线W相对于本车辆V的位置，根据识别出的白线W的位置来决定距离d11。由此，使用所决定的距离d11以可变的方式设定距离d1。在以下的本实施方式中，由于其它车辆VX行驶的位置(距白线W的距离d12)和本车辆V行驶的位置(距白线W的距离d11)大致固定，因此设为距离d1被决定为固定的值。
距离d2是从本车辆V的后端部沿车辆行进方向延伸的距离。以检测区域A1、A2至少收容在摄像机10的视角a内的方式决定该距离d2。特别地，在本实施方式中，距离d2被设定为与由视角a划分的范围相连。距离d3是表示检测区域A1、A2的在车辆行进方向上的长度的距离。该距离d3根据作为检测对象的三维物体的大小决定。在本实施方式中，由于检测对象是其它车辆VX等，因此距离d3被设定为包含其它车辆VX的长度。
距离d4是如图13的(b)所示那样表示被设定成在实际空间中包含其它车辆VX等的轮胎的高度的距离。距离d4在鸟瞰视点图像中设为图13的(a)所示的长度。此外，距离d4也能够设为不包含鸟瞰视点图像中相比于左右的邻近车道的下一邻近车道(即，隔一车道的邻近车道)的长度。这是因为如果包含与本车辆V的车道隔一车道的邻近车道，则无法区分是在作为本车辆V所行驶的车道的本车道的左右邻近车道内存在其它车辆VX、还是在隔一车道的邻近车道内存在其它车辆VX。
如以上那样决定距离d1～距离d4，由此决定检测区域A1、A2的位置、大小以及形状。具体地说，根据距离d1，决定形成梯形的检测区域A1、A2的上边b1的位置。根据距离d2，决定上边b1的起点位置C1。根据距离d3，决定上边b1的终点位置C2。根据从摄像机10向起点位置C1延伸的直线L3，决定形成梯形的检测区域A1、A2的侧边b2。同样地，根据从摄像机10向终点位置C2延伸的直线L4，决定形成梯形的检测区域A1、A2的侧边b3。根据距离d4，决定形成梯形的检测区域A1、A2的下边b4的位置。这样，由各边b1～b4包围的区域设为检测区域A1、A2。该检测区域A1、A2如图13的(b)所示那样在本车辆V后侧方的实际空间中形成为正方形(长方形)。
返回图3，视点变换部31输入由摄像机10拍摄得到的规定区域的摄像图像数据。视点变换部31针对所输入的摄像图像数据进行视点变换处理来形成为鸟瞰视点状态的鸟瞰视点图像数据。鸟瞰视点状态是指从上空、例如从铅垂向下(或者稍微斜向下)俯视的虚拟摄像机的视点观看的状态。例如能够通过日本特开2008-219063号公报所记载的技术来实现该视点变换处理。
亮度差计算部35为了检测鸟瞰视点图像中包含的三维物体的边缘，而针对由视点变换部31进行视点变换得到的鸟瞰视点图像数据进行亮度差的计算。亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素间的亮度差。亮度差计算部35能够通过仅设定一条在实际空间中的铅垂方向延伸的铅垂虚拟线的方法以及设定两条铅垂虚拟线的方法中的任一个方法来计算亮度差。
针对设定两条铅垂虚拟线的具体方法进行说明。亮度差计算部35针对进行视点变换得到的鸟瞰视点图像来设定与实际空间中在铅垂方向延伸的线段相当的第一铅垂虚拟线以及与第一铅垂虚拟线不同并与实际空间中在铅垂方向延伸的线段相当的第二铅垂虚拟线。亮度差计算部35沿着第一铅垂虚拟线和第二铅垂虚拟线连续地求出第一铅垂虚拟线上的点与第二铅垂虚拟线上的点的亮度差。以下，详细说明该亮度差计算部35的动作。
亮度差计算部35如图14的(a)所示那样设定与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第一铅垂虚拟线La(以下称为关注线La)。另外，亮度差计算部35设定与关注线La不同并与实际空间中在铅垂方向延伸的线段相当且通过检测区域A1的第二铅垂虚拟线Lr(以下称为参照线Lr)。在此，参照线Lr被设置于距离关注线La分离实际空间中的规定距离的位置处。此外，与实际空间中在铅垂方向延伸的线段相当的线是指在鸟瞰视点图像中从摄像机10的位置Ps起呈放射状扩展的线。该呈放射状扩展的线是沿着在变换为鸟瞰视点时三维物体倾倒的方向的线。
亮度差计算部35在关注线La上设定关注点Pa(第一铅垂虚拟线上的点)。另外，亮度差计算部35在参照线Lr上设定参照点Pr(第二铅垂虚拟线上的点)。这些关注线La、关注点Pa、参照线Lr、参照点Pr在实际空间中形成图14的(b)所示的关系。如从图14的(b)显而易见地，关注线La和参照线Lr是在实际空间中在铅垂方向延伸的线，关注点Pa和参照点Pr是在实际空间中被设定为大致相同的高度的点。此外，关注点Pa和参照点Pr并不一定需要是严格上的相同的高度，关注点Pa和参照点Pr被视为相同高度的程度的误差是允许的。
亮度差计算部35求出关注点Pa与参照点Pr的亮度差。假设关注点Pa与参照点Pr的亮度差大时，认为在关注点Pa与参照点Pr之间存在边缘。因此，图3所示的边缘线检测部36根据关注点Pa与参照点Pr的亮度差来检测边缘线。
更详细地说明该点。图15是表示亮度差计算部35的详细动作的图，图15的(a)表示鸟瞰视点状态的鸟瞰视点图像，图15的(b)是将图15的(a)所示的鸟瞰视点图像的一部分B1放大后的图。此外，关于图15，仅图示检测区域A1进行说明，关于检测区域A2，也以相同的过程计算亮度差。
在摄像机10拍摄到的摄像图像内拍摄有其它车辆VX的情况下，如图15的(a)所示那样，在鸟瞰视点图像内的检测区域A1出现其它车辆VX。如图15的(b)示出图15的(a)中的区域B1的放大图那样，设为在鸟瞰视点图像上，在其它车辆VX的轮胎的橡胶部分上设定了关注线La。在该状态中，亮度差计算部35首先设定参照线Lr。参照线Lr被设定在实际空间中沿铅垂方向距关注线La规定的距离的位置处。具体地说，在本实施方式所涉及的三维物体检测装置1中，参照线Lr被设定在实际空间中与关注线La相距10cm的位置处。由此，参照线Lr在鸟瞰视点图像上例如被设定在与其它车辆VX的轮胎的橡胶相距相当于10cm的距离的其它车辆VX的轮胎的轮辋(wheel)上。
接着，亮度差计算部35在关注线La上设定多个关注点Pa1～PaN。在图15的(b)中，为了便于说明，设定了六个关注点Pa1～Pa6(以下，在表示任意的点的情况下，仅称为关注点Pai)。此外，在关注线La上设定的关注点Pa的个数可以是任意的。在以下的说明中，设为在关注线La上设定了N个关注点Pa进行说明。
接着，亮度差计算部35将各参照点Pr1～PrN设定成在实际空间中与各关注点Pa1～PaN相同的高度。而且，亮度差计算部35计算相同高度的关注点Pa与参照点Pr的亮度差。由此，亮度差计算部35针对沿着在实际空间中的铅垂方向上延伸的铅垂虚拟线的多个位置(1～N)中的每个位置计算两个像素间的亮度差。亮度差计算部35例如计算第一关注点Pa1与第一参照点Pr1之间的亮度差，计算第二关注点Pa2与第二参照点Pr2之间的亮度差。由此，亮度差计算部35沿着关注线La和参照线Lr连续地求出亮度差。即，亮度差计算部35依次求出第三～第N关注点Pa3～PaN与第三～第N参照点Pr3～PrN的亮度差。
亮度差计算部35在检测区域A1内移动关注线La的同时重复执行上述的参照线Lr的设定、关注点Pa和参照点Pr的设定、亮度差的计算这样的处理。即，亮度差计算部35在实际空间中沿触地线L1的延伸方向以相同的距离改变关注线La和参照线Lr各自的位置的同时重复执行上述的处理。亮度差计算部35例如将在前次处理中成为参照线Lr的线设定为关注线La，针对该关注线La设定参照线Lr，依次求出亮度差。
返回图3，边缘线检测部36根据由亮度差计算部35计算出的连续的亮度差来检测边缘线。例如在图15的(b)所示的情况下，第一关注点Pa1和第一参照点Pr1位于相同的轮胎部分，因此亮度差小。另一方面，第二关注点～第六关注点Pa2～Pa6位于轮胎的橡胶部分，第二参照点～第六参照点Pr2～Pr6位于轮胎的轮辋部分。因而，第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6的亮度差变大。因此，边缘线检测部36能够检测出在亮度差大的第二关注点～第六关注点Pa2～Pa6与第二参照点～第六参照点Pr2～Pr6之间存在边缘线。
具体地说，边缘线检测部36在检测边缘线时，首先依照下述的数式1，根据第i个关注点Pai(坐标(xi，yi))与第i个参照点Pri(坐标(xi’，yi’))的亮度差来对第i个关注点Pai赋予属性。
[数1]
I(xi，yi)＞I(xi’，yi’)+t时
s(x i，y i)＝1
I(xi，yi)＜I(xi’，yi’)-t时
s(xi，yi)＝-1
在上述以外的情况时
s(x i，y i)＝0
在上述数式1中，t表示阈值，I(xi，yi)表示第i个关注点Pai的亮度值，I(xi’，yi’)表示第i个参照点Pri的亮度值。根据上述数式1，在关注点Pai的亮度值高于参照点Pri加上阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘1’。另一方面，在关注点Pai的亮度值低于从参照点Pri减去阈值t得到的亮度值的情况下，该关注点Pai的属性s(xi，yi)为‘﹣1’。在关注点Pai的亮度值与参照点Pri的亮度值为除此以外的关系的情况下，关注点Pai的属性s(xi，yi)为‘0’。该阈值t可以预先设定，也能够按照图3所示的控制部39发出的控制命令进行变更，在后记述其详细内容。
接着，边缘线检测部36基于下述数式2，根据沿着关注线La的属性s的连续性c(xi，yi)判断关注线La是否为边缘线。
[数2]
s(x i，y i)＝s(x i+1，y i+1)时(且除了0＝0)，
c(x i，y i)＝1
在上述以外的情况时，
c(x i，y i)＝0
在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)相同的情况下，连续性c(xi，yi)为‘1’。在关注点Pai的属性s(xi，yi)与相邻的关注点Pai+1的属性s(xi+1，yi+1)不同的情况下，连续性c(xi，yi)为‘0’。
接着，边缘线检测部36关于关注线La上的全部关注点Pa的连续性c求出总和。边缘线检测部36通过将求出的连续性c的总和除以关注点Pa的个数N，来对连续性c进行标准化。边缘线检测部36在进行了标准化的值超过阈值θ的情况下，将关注线La判断为边缘线。此外，阈值θ是预先通过实验等设定的值。阈值θ可以预先设定，也可以按照后述的控制部39的与附着状态判断部38的判断结果相应的控制命令进行变更。
即，边缘线检测部36基于下述数式3判断关注线La是否为边缘线。而且，边缘线检测部36关于描绘在检测区域A1上的全部关注线La判断是否为边缘线。
[数3]
∑c(xi，yi)/N＞θ
返回图3，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。如上述那样，本实施方式所涉及的三维物体检测装置1检测在实际空间中在铅垂方向延伸的边缘线。检测出很多的在铅垂方向延伸的边缘线就是在检测区域A1、A2存在三维物体的可能性高。因此，三维物体检测部37根据由边缘线检测部36检测出的边缘线的量来检测三维物体。并且，三维物体检测部37在检测三维物体之前，判断由边缘线检测部36检测出的边缘线是否为正确的边缘线。三维物体检测部37判断沿着边缘线上的鸟瞰视点图像的边缘线的亮度变化是否大于规定的阈值。在边缘线上的鸟瞰视点图像的亮度变化大于阈值的情况下，判断为该边缘线是由于错误判断而检测出的。另一方面，在边缘线上的鸟瞰视点图像的亮度变化不大于阈值的情况下，判断为该边缘线是正确的边缘线。此外，该阈值是通过实验等预先设定的值。
图16是表示边缘线的亮度分布的图，图16的(a)表示在检测区域A1内存在作为三维物体的其它车辆VX时的边缘线和亮度分布，图16的(b)表示在检测区域A1内不存在三维物体时的边缘线和亮度分布。
如图16的(a)所示，设为判断为在鸟瞰视点图像中设定于其它车辆VX的轮胎橡胶部分的关注线La是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化平缓。这是由于由摄像机10拍摄到的图像被视点变换为鸟瞰视点图像，由此其它车辆VX的轮胎在鸟瞰视点图像内被拉长。另一方面，如图16的(b)所示，设为鸟瞰视点图像中被设定在描绘于路面上的“50”这样的白色文字部分上的关注线La被错误判断为是边缘线。在这种情况下，关注线La上的鸟瞰视点图像的亮度变化为起伏大的变化。这是因为在边缘线上混杂有白色文字中的亮度高的部分和路面等的亮度低的部分。
根据如以上那样的关注线La上的亮度分布的差异，三维物体检测部37判断边缘线是否为由于错误判断而检测出的。三维物体检测部37在沿着边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的。而且，在检测三维物体时不使用该边缘线。由此，抑制路面上的“50”这样的白色文字、路肩的杂草等被判断为边缘线，从而抑制三维物体的检测精度下降。
具体地说，三维物体检测部37通过下述数式4、数式5中的任一个来计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间中的铅垂方向的评价值。下述数式4通过关注线La上的第i个亮度值I(xi，yi)与相邻的第i+1个亮度值I(xi+1，yi+1)的差分的平方的合计值来评价亮度分布。下述数式5通过关注线La上的第i个亮度值I(xi，yi)和相邻的第i+1个亮度值I(xi+1，yi+1)的差分的绝对值的合计值来评价亮度分布。
[数4]
铅垂对应方向的评价值＝∑[{I(xi，yi)-I(xi+1，yi+1)}2]
[数5]
铅垂对应方向的评价值＝∑|I(x i，y i)-I(x i+1，y i+1)|
此外，不限于数式5，也可以如下述数式6那样，利用阈值t2将相邻的亮度值的属性b进行二值化，来将该二值化得到的属性b关于全部的关注点Pa进行总和。
[数6]
铅垂对应方向的评价值＝∑ b(xi，yi)
其中，|I(x i，y i)-I(xi+1，yi+1)|＞t2时，
b(x i，y i)＝1
在上述以外的情况时，
b(x i，y i)＝0
在关注点Pai的亮度值与参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pa(xi，yi)的属性b(xi，yi)为‘1’。在除此以外的关系的情况下，关注点Pai的属性b(xi，yi)为‘0’。该阈值t2是为了判断关注线La不在相同的三维物体上而通过实验等预先设定的。而且，三维物体检测部37将关于关注线La上的全部关注点Pa的属性b进行总和来求出铅垂对应方向的评价值，判断边缘线是否为正确的边缘线。
接着，关于本实施方式所涉及的利用边缘信息的三维物体检测方法进行说明。图17和图18是表示本实施方式所涉及的三维物体检测方法的详细内容的流程图。此外，在图17和图18中，为了方便，说明以检测区域A1为对象的处理，但是关于检测区域A2，也执行相同的处理。
如图17所示，首先，在步骤S21中，摄像机10拍摄由视角a和安装位置所确定的规定区域。接着，视点变换部31在步骤S22中输入在步骤S21中由摄像机10拍摄得到的摄像图像数据，进行视点变换来生成鸟瞰视点图像数据。
接着，在步骤S23中，亮度差计算部35在检测区域A1上设定关注线La。此时，亮度差计算部35将与在实际空间中在铅垂方向延伸的线相当的线设定为关注线La。接着，在步骤S24中，亮度差计算部35在检测区域A1上设定参照线Lr。此时，亮度差计算部35将相当于在实际空间中在铅垂方向延伸的线段且与关注线La在实际空间中相距规定距离的线设定为参照线Lr。
接着，在步骤S25中，亮度差计算部35在关注线La上设定多个关注点Pa。此时，亮度差计算部35设定在边缘线检测部36检测边缘时不会成为问题的程度的个数的关注点Pa。另外，在步骤S26中，亮度差计算部35将参照点Pr设定成在实际空间中关注点Pa和参照点Pr处于大致相同的高度。由此，关注点Pa和参照点Pr在大致水平方向上排列，容易检测在实际空间中在铅垂方向延伸的边缘线。
接着，在步骤S27中，亮度差计算部35计算在实际空间中处于相同高度的关注点Pa与参照点Pr的亮度差。接着，边缘线检测部36依照上述的数式1计算各关注点Pa的属性s。接着，在步骤S28中，边缘线检测部36依照上述的数式2计算各关注点Pa的属性s的连续性c。接着，在步骤S29中，边缘线检测部36依照上述数式3，判断将连续性c的总和标准化得到的值是否大于阈值θ。在判断为标准化得到的值大于阈值θ的情况下(S29：“是”)，在步骤S30中，边缘线检测部36将该关注线La检测为边缘线。然后，处理转移到步骤S31。在判断为标准化得到的值不大于阈值θ的情况下(S29：“否”)，边缘线检测部36不将该关注线La检测为边缘线，处理转移到步骤S31。该阈值θ能够预先设定，但是也能够与控制部39的控制命令相应地进行变更。
在步骤S31中，计算机30判断是否关于检测区域A1上可设定的全部关注线La执行了上述的步骤S23～步骤S30的处理。在判断为尚未关于全部的关注线La进行上述处理的情况下(S31：“否”)，将处理返回步骤S23，重新设定关注线La，并重复进行步骤S31为止的处理。另一方面，在判断为关于全部的关注线La进行了上述处理的情况下(S31：“是”)，处理转移到图18的步骤S32。
在图18的步骤S32中，三维物体检测部37关于在图17的步骤S30中检测出的各边缘线计算沿着该边缘线的亮度变化。三维物体检测部37依照上述数式4、数式5、数式6中的任一个来计算边缘线的亮度变化。接着，在步骤S33中，三维物体检测部37去除边缘线中的亮度变化大于规定的阈值的边缘线。即，判断为亮度变化大的边缘线不是正确的边缘线，在检测三维物体时不使用该边缘线。这是为了抑制如上述那样检测区域A1中包含的路面上的文字、路肩的杂草等被检测为边缘线的情形。因而，规定的阈值是指预先通过实验等求出的根据由于路面上的文字、路肩的杂草等而产生的亮度变化设定的值。
接着，在步骤S34中，三维物体检测部37判断边缘线的量是否为第二阈值β以上。此外，该第二阈值β预先通过实验等求出而设定，也能够按照图3所示的控制部39发出的控制命令进行变更，在后记述其详细内容。例如在设定四轮车作为检测对象的三维物体的情况下，预先通过实验等基于在检测区域A1内出现的四轮车的边缘线的个数来设定该第二阈值β。在判断为边缘线的量为第二阈值β以上的情况下(S34：“是”)，并在由三维物体检测部33检测出的三维物体在规定时间T以上被持续检测出的情况下(S35：“是”)，在步骤S36中，三维物体检测部37检测为在检测区域A1内存在三维物体(S36)。另一方面，在判断为边缘线的量不为第二阈值β以上的情况下(S34：“否”)，并在由三维物体检测部33检测出的三维物体未在规定时间T以上被持续检测出的情况下(S35：“否”)，三维物体检测部37判断为在检测区域A1内不存在三维物体(S37)。该第二阈值β能够预先设定，也能够与控制部39的控制命令相应地进行变更。此外，关于检测出的全部三维物体，可以都判断为是行驶于与本车辆V所行驶的车道相邻的邻近车道的其它车辆VX，也可以考虑检测出的三维物体相对于本车辆V的相对速度来作为其它车辆VX的特征而判断是否为行驶于邻近车道的其它车辆VX。
如上所述，根据本实施方式的利用边缘信息的三维物体的检测方法，为了检测存在于检测区域A1、A2的三维物体，而针对鸟瞰视点图像设定作为在实际空间中在铅垂方向延伸的线段的铅垂虚拟线。而且，能够针对沿着铅垂虚拟线的多个位置中的每个位置计算该各位置附近的两个像素的亮度差，根据该亮度差的连续性来判断有无三维物体。
具体地说，针对鸟瞰视点图像中的检测区域A1、A2设定相当于在实际空间中在铅垂方向延伸的线段的关注线La以及与关注线La不同的参照线Lr。然后，沿着关注线La和参照线Lr连续地求出关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差。这样，通过连续地求出点之间的亮度差，来求出关注线La与参照线Lr的亮度差。在关注线La与参照线Lr的亮度差高的情况下，在关注线La的设定部分存在三维物体的边缘的可能性高。由此，能够根据连续的亮度差检测三维物体。特别地，为了进行在实际空间中在铅垂方向延伸的铅垂虚拟线之间的亮度比较，即使通过变换为鸟瞰视点图像而三维物体与距路面的高度相应地被拉长，也不会影响三维物体的检测处理。因而，根据本例的方法，能够提高三维物体的检测精度。
另外，在本例中，求出铅垂虚拟线附近的大致相同高度的两个点的亮度差。具体地说，根据在实际空间中处于大致相同高度的关注线La上的关注点Pa和参照线Lr上的参照点Pr求出亮度差，因此能够明确地检测出存在有在铅垂方向延伸的边缘的情况下的亮度差。
并且，在本例中，根据关注线La上的关注点Pa与参照线Lr上的参照点Pr的亮度差来对关注点Pa赋予属性，根据沿着关注线La的属性的连续性c来判断该关注线La是否为边缘线，因此能够将亮度高的区域与亮度低的区域的边界检测为边缘线，从而能够按照人的自然的感觉进行边缘检测。详细地说明该效果。图19是表示对边缘线检测部36的处理进行说明的图像例的图。该图像例是表示亮度高的区域和亮度低的区域反复的条纹图案的第一条纹图案101与表示亮度低的区域和亮度高的区域反复的条纹图案的第二条纹图案102相邻的图像。另外，该图像例为第一条纹图案101的亮度高的区域与第二条纹图案102的亮度低的区域相邻，并且第一条纹图案101的亮度低的区域与第二条纹图案102的亮度高的区域相邻。位于该第一条纹图案101与第二条纹图案102的边界的部位103根据人的感觉而倾向于不认为是边缘。
与此相对地，由于亮度低的区域与亮度高的区域相邻，因此如果仅依据亮度差检测边缘，则导致该部位103被识别为边缘。但是，边缘线检测部36除了部位103处的亮度差以外，仅在该亮度差的属性存在连续性的情况下将部位103判断为边缘线，因此边缘线检测部36能够抑制将以人的感觉不识别为边缘线的部位103识别为边缘线的错误判断，从而能够按照人的感觉进行边缘检测。
并且，在本例中，在由边缘线检测部36检测出的边缘线的亮度变化大于规定的阈值的情况下，判断为该边缘线是由于错误判断而检测出的边缘线。在将由摄像机10获取到的摄像图像变换为鸟瞰视点图像的情况下，存在该摄像图像中包含的三维物体以被拉长的状态出现在鸟瞰视点图像中的倾向。例如上述那样在其它车辆VX的轮胎被拉长的情况下，由于轮胎这一个部位被拉长，因此形成被拉长的方向上的鸟瞰视点图像的亮度变化小的倾向。对于此，如果将描绘在路面上的文字等错误判断为边缘线，则在鸟瞰视点图像中混合包含文字部分这样的亮度高的区域和路面部分这样的亮度低的区域。在这种情况下，在鸟瞰视点图像中，被拉长的方向的亮度变化有变大的倾向。因而，通过如本例那样判断沿着边缘线的鸟瞰视点图像的亮度变化，能够识别出由于错误判断而检测出的边缘线，从而能够提高三维物体的检测精度。
这样，本实施方式的三维物体检测装置1根据通过摄像机10获取到的图像信息检测三维物体。图20是表示作为摄像单元的摄像机10的立体图，是从车辆的后方左侧部观察得到的立体图。如上所述，在摄像机10中包括构成摄影光学系统的镜头(或者保护滤镜)11，但是由于摄像机被安装于车辆的车厢外，因此雨滴、从路面扬起的沙子、尘土、泥、溅起的泥水等异物附着于摄像机10的外表面即镜头11上的情形较多。有可能附着于镜头11的沙子、泥等异物的轮廓所形成的像素的特征被抽出，从而所抽出的该特征被错误检测为三维物体。
在图21A和图21B中示出通过附着有异物的镜头11拍摄到的图像的一例。图21A和图21B的下侧的影像是车牌LP的像，上侧的淡墨的部分是摄像机10的外壳C的像。车牌LP与外壳C之间的区域的图像信息K时时刻刻发生变化。图像信息K包含本车辆V所行驶的道路的路面RD的像和在该路面RD上扩展的后方的天空SK的像。
图21A是在行驶于存在沙子、泥等的道路时拍摄到的图像。如图21A所示，粒径小的细沙粒CL大量附着于镜头11的表面。该状态在行驶于沙地、尘土多的场所的情况下发生。当行驶于例如路面被干燥的沙子、泥等覆盖的道路(包含非柏油路、柏油路)时，沙子扬起，从而粒径小的细沙、尘土附着于镜头表面。如图21A所示，粒径小的细小的多个沙粒CL1遍布附着于镜头11整面。由于粒径小的细小的沙粒CL1相互吸引，因此成为在镜头11的表面形成了沙粒膜那样的状态。
图21B也是在行驶于沙子、泥等存在的道路时拍摄到的图像，如该图所示，粒径比较大的几个沙粒CL2分散于镜头11的表面。该状态在行驶于降雨中、降雨后等水多的场所的情况下发生。例如在行驶于雨水、地下水及其它的水浸湿的道路(包含非柏油路、柏油路)、泥泞的道路的情况下发生。当行驶于例如路面被含水的沙子、泥等覆盖的道路(包含非柏油路、柏油路)时，泥、泥水被扬起，沙子、尘土聚集(集合)成的粒径比较大的泥、沙子聚集成的泥CL2附着于镜头表面。如图21B所示，粒径大的泥CL2以块的状态(聚集后的状态)附着于镜头11的表面的局部。
如图21A、图21B所示，有时在异物附着于镜头11的状态下拍摄得到的图像信息中包含有沙子、泥等异物所形成的像的信息，因此无法准确地检测三维物体。因此，在本实施方式中，具备清洗镜头11的镜头清洗装置100。
在此，说明镜头清洗装置100。本实施方式的镜头清洗装置100具备供给清洗液的泵以及将所供给的该清洗液喷射到镜头11的表面上的喷嘴，在向镜头11的表面供给清洗液的供给定时或者依照至少规定了清洗液的使用量的规定的镜头清洗工序的规定的定时向镜头上喷射清洗液来清洗摄像机10的镜头11。
图22中示出本实施方式的镜头清洗装置100的概要结构。如图22所示，镜头清洗装置100具备：清洗液容器101，其至少暂时地储存清洗液；流路102，其输送从清洗液容器101供给的清洗液；滴下口103a、103b，其形成在流路102的端部，向镜头11的表面滴下清洗液W；空气压缩机104，其对从外部供给的气体进行压缩；管105，其输送压缩气体；以及喷出口106，其形成在管105的端部，向镜头11的表面吹送气体E。镜头清洗装置100的上述各结构的动作由控制装置110控制。控制装置110通过依照预先定义的规定的镜头清洗工序的控制程序来清洗镜头11。
镜头清洗工序的内容不特别地限定，但是本实施方式的镜头清洗工序包括镜头湿润工序、第一空气吹送工序、清洗工序以及第二空气吹送工序。图23是表示本实施方式的镜头清洗工序的时序图。在本实施方式的镜头清洗工序中，为了使镜头11的表面湿润而向镜头11滴下清洗液W的“镜头湿润工序A”、为了使被滴下的清洗液W遍布于镜头11的表面整体而以规定间隔多次向镜头11断续地吹送气体的“第一空气吹送工序B”、向镜头11吹送清洗液W来冲洗镜头11表面的脏污的“清洗工序C”、使清洗液W蒸发来使镜头11的表面干燥的“第二空气吹送工序D”按照A→B→C→D的顺序被执行。
具体地说，控制装置110当在定时TG0指示清洗执行处理的开始时，在经过了预先设定的时间F1之后，开始清洗液的供给，执行“镜头湿润工序A”。在该“镜头湿润工序A”中，在200ms左右的期间进行将清洗液W连续地滴下至镜头11的表面的清洗液滴下处理P1。控制装置110在定时TG1使“镜头湿润工序A”结束，之后开始“第一空气吹送工序B”。在第一空气吹送工序B中，进行多次扩散用空气吹送处理P2～P4。在本实施方式中，以300ms～100ms为周期断续地进行将气体在20ms的期间吹送3次的处理，但是气体的吹送周期、吹送时间、吹送次数能够根据气体的供给能力、镜头11的大小任意地设定。控制装置110在“第一空气吹送工序B”完成的定时TG2之后开始“清洗工序C”，在5秒～10秒左右的期间进行向镜头11的表面吹送清洗液W的清洗液吹送处理P10，在其完成定时TG3之后开始“干燥工序D”，在30秒左右的期间进行向镜头11的表面吹送气体的干燥用空气吹送处理P20。
清洗工序不限定于上述内容，够任意地定义。例如也可以省略“镜头湿润工序A”、“第一空气吹送工序B”，当在定时TG0指示清洗执行处理的开始时，在经过了预先设定的时间F1之后开始清洗液的供给，进行向镜头11吹送清洗液W来冲洗镜头11表面的脏污的“清洗工序C”，并进行使清洗液W蒸发来使镜头11的表面干燥的“第二空气吹送工序D”。在这种情况下，只有清洗工序C、D，按照C→D的顺序执行。本实施方式的清洗工序在开始定时之后开始清洗液的供给。该开始定时与清洗液的供给之间的时间差为规定的时间F1，但是该时间差为信号的发送和接收的时间差的程度，包含小于1秒的较短的时间。
另外，图24和图25是表示包括图20所示的摄像机10的摄像机装置1000所具备的清洗液的供给机构的图。图24是镜头清洗装置的一部分，是摄像机装置1000的局部剖切立体图，图25是设置于摄像机装置1000的镜头清洗装置的喷嘴前端部的剖视图。
图24是喷嘴部件22的局部剖切立体图。如图3所示，在设置于喷嘴部件22的前端侧的喷嘴7中，在其中央部设置有导入压缩空气的空气通路12，在该空气通路12的左右两侧设置有导入清洗液的清洗液通路11a、11b。另外，空气通路12和清洗液通路11a、11b的前端大致直角地弯曲以朝向摄像头1的镜头面1a。
并且，在清洗液通路11a、11b的上游侧设置有暂时储存清洗液的二次容器13。在该二次容器13的侧部设置有用于连接清洗液配管4的插头13a以及用于连接空气配管6的插头13b，其中，插头13b经由设置在二次容器13的下方的流路与空气通路12连接。即，经由插头13b导入喷嘴部件22内的压缩空气直接被导入到空气通路12。另外，插头13a与二次容器13连接，经由该插头13a供给的清洗液从二次容器13的上方流入内部。此时，从插头13a连接至二次容器13的配管朝向铅垂方向。
另外，如图24所示，二次容器13的底部与两个系统的清洗液通路11a、11b连接。因而，由空气压缩机104送出的压缩空气经由空气配管6被导入至喷嘴7的空气通路12，另一方面，从清洗液容器101送出的清洗液被储存于二次容器13，之后被导入至两个系统的清洗液通路11a、11b。
图25的(b)是表示喷嘴前端部的详细结构的说明图，示出了图25的(a)所示的附图标记P1的部分的剖视图。如图25的(b)所示，在喷嘴7的前端部的中央设置有空气通路12，以隔着该空气通路12的方式设置有两个清洗液通路11a、11b。各清洗液通路11a、11b分别与前端部15a、15b连接，此时，使前端部15a、15b的流路面积小于清洗液通路11a、11b的流路面积。因而，在清洗液通路11a、11b中流动的清洗液在前端部15a、15b中流速变快。
另一方面，空气通路12的前端分支为两个前端部14a、14b。此时，使前端部14a、14b的流路面积小于空气通路12的流路面积。因而，在空气通路12中流动的压缩空气在通过前端部14a、14b时流速变快。
而且，一个清洗液通路11a的前端部15a与空气通路12的一个前端部14a合流而形成合流通路16a，该合流通路16a的前端设为喷出口10a。另外，另一个清洗液通路11b的前端部15b与空气通路12的另一个前端部14b合流而形成合流通路16b，该合流通路16b的前端设为喷出口10b。此时，合流通路16a与合流通路16b朝向前端侧而朝向彼此分散的方向。
因而，当将从具备泵的清洗液容器101送出的清洗液储存于二次容器13并由空气压缩机104送出压缩空气时，压缩空气被提高流速并喷射，并且，通过喷射压缩空气使清洗液通路11a、11b变为负压来吸引二次容器13中储存的清洗液。因此，压缩空气和清洗液经由两个合流通路16a、16b从喷出口10a、10b喷射出，并被吹送至镜头面1a。此时，通过将清洗液和压缩空气混合而成的液体向扩散于镜头11的表面的方向喷射，能够清洗整个镜头面1a。另外，如图25的(b)所示，喷嘴7的前端部的喷射面7a构成为比其周围的侧面7b更向前方突出。因而，能够防止从喷出口10a、10b喷射出的清洗液附着于喷嘴7的侧面7b。
接着，说明本实施方式的镜头清洗装置1000或三维物体检测装置1所具备的附着状态判断部38。附着状态判断部38根据所获取到的摄像图像中包含的像素的像素值，基于附着于镜头11的规定区域的异物的附着度判断脏污的附着状态。镜头11的规定区域能够任意地设定。可以是镜头11整体，也可以是任意决定的一部分。优选的是，在该镜头11的规定区域中包含检测区域A1、A2所包含的被摄体的像被成像的区域。
在本实施方式中，“异物的附着度”包含“异物的附着量”和“异物的附着比例”，“异物的附着度的变化”包含“异物的附着量的变化”和“异物的附着比例的变化”。
“异物的附着量”是附着于镜头11的表面的异物的量的指标。虽然没有特别限定，但是“异物的附着量”能够根据与附着于镜头11的表面的异物对应的像素的数量进行判断。另外，与附着于镜头11的表面的异物对应的像素能够根据各像素的像素值进行判断。
“异物的附着量的变化”是在规定时间内附着于镜头11的异物的增加和减少的程度。在本实施方式中，根据与异物对应的图像(像素数)计算“异物的附着量”和“异物的附着量的变化”。
“异物的附着比例”是基于针对规定面积的区域的异物的附着面积的指标。“异物的附着比例”也包含异物的分散度(分布程度)的概念，在规定面积的区域中，是表示该区域内的异物的存在偏差的指标。“异物的附着比例的变化”是规定时间内的附着于镜头11的异物的存在面积比的变化的程度、或者规定时间内的附着于镜头11的异物的存在偏差的变化的程度。在本实施方式中，根据与异物对应的图像(像素数)计算“异物的附着比例”和“异物的附着比例的变化”。
下面，在实施方式中，作为“异物的附着度”的一例，使用“异物的附着量”、“异物的附着比例”、“异物的附着量的变化”、“异物的附着比例的变化”的用语进行说明。
下面，关于异物的附着度是异物的附着量或异物的附着量的变化量的情况进行说明。
本发明中的“第一附着阈值”包含“第一变化阈值”和“第二变化阈值”。“第一变化阈值”和“第二变化阈值”是在异物的附着度为异物的附着量或异物的附着量的变化量的情况下在判断镜头11的脏污的附着状态时使用的阈值。
本实施方式的附着状态判断部38计算异物的附着度、异物的附着度的变化量，在该变化量为规定阈值内的情况下，判断为镜头11的脏污的附着状态是第一状态，该规定阈值为预先设定的第一变化阈值(是第一附着阈值的一个方式。以下相同)以上且小于第二变化阈值(是第二附着阈值的一个方式。以下相同)。用于评价分散度的第一分散阈值和第二分散阈值以及用于评价分散度的变化量的第一分散阈值和第二分散阈值是根据实验结果等分别设定的。本实施方式中的第一状态是指细小的颗粒(粒径小的粒子)附着于镜头11的状态，例如对应图21A所示的状态。图26A中示出根据从图21A所示的摄像图像中抽出的具有规定值域的像素值的像素的像素数求出异物的附着度的方法。
如图26A所示，根据在某定时拍摄到的摄像图像上被赋予各地址的各像素的像素值，判断异物是否附着于与各像素对应的摄像区域，进一步判断异物的附着比例等异物的附着状态。是否附着有异物的判断方法不特别地限定。能够根据摄像图像的像素值判断是否附着有异物。也可以将像素值为规定值域内的像素判断为是与异物对应的像素。虽然不特别地限定，但是例如也可以根据与异物对应的像素值低于与三维物体对应的像素值且移动距离小这样的特征，按照是规定范围的亮度差的像素且规定时间内的移动距离小于规定值的基准进行判断，还可以仅根据移动距离小的特征进行判断。而且，对被判断为附着有异物的像素的个数进行计数。根据在某定时被判断为附着有异物的像素的个数的计数值，能够计算在该定时的异物的附着度(包含附着量、附着比例。以下相同)，根据在不同的多个定时被判断为附着有异物的像素的个数的计数值，能够计算在所述定时的异物的附着度(附着量、附着比例)的变化量。
本实施方式中的第一变化阈值(第一附着阈值的一个方式)是为了获取行驶于由于路面上的状态而产生的干扰的影响被排除后的柏油路的情况下的基准状态中的异物的附着量的变化(控制值)而根据在本车辆V行驶于路面没有图案的柏油路或路面没有凹凸的柏油路时由附着状态判断部38计算出的异物的附着量的变化量设定的阈值。在检测出比该第一变化阈值低的异物的附着量的变化量的情况下，能够预测出车辆V行驶于不易附着沙子、泥的例如柏油路。也就是说，能够判断为是沙子等粒径小的异物附着于镜头11的状态的可能性低。另一方面，在检测出比该第一变化阈值高的异物的附着量的变化量的情况下，能够预测出车辆V行驶于容易附着沙子、泥的例如非柏油路。
本实施方式中的第二变化阈值是为了排除路面上附有的图案等的干扰的影响而根据在本车辆V行驶于路面附有图案的柏油路或路面形成有凹凸的柏油路时由附着状态判断部38计算出的异物的附着量的变化量设定的阈值。路面的图案、路面的凹凸有时在摄像图像中表现为轮廓模糊、不移动的像。因此，有时导致将路面的图案、路面的凹凸判断为附着于镜头11的异物。根据发明人们的实验，基于路面的图案、路面的凹凸所产生的(被检测为异物的)像素的分散度大于因细小沙子的附着所产生的异物的分散度或异物的分散度的变化量。因此，在检测出比第二变化阈值大的异物的附着量的变化量的情况下，能够预测出本车辆V行驶于路面附有图案的柏油路或路面形成有凹凸的柏油路。同时，能够判断为是沙子等粒径小的异物附着于镜头11的状态的可能性低。另一方面，在检测出比该第二变化阈值小的异物的附着变化量的情况下，能够预测出车辆V行驶于容易附着沙子、泥的例如非柏油路且沙子等细小的颗粒的异物附着于镜头11。也就是说，能够判断为是沙子等粒径小的异物附着于镜头11的状态的可能性高。
这样，异物的附着量的变化量在作为预先设定的第一变化阈值以上且小于第二变化阈值的阈值的规定阈值内的情况下，判断为镜头11的脏污的附着状态是第一状态，由此能够识别出在行驶于没有图案、凹凸的柏油路时各种大小的异物附着于镜头11的状态和细小的颗粒(粒径小的颗粒)附着于镜头11的第一状态，并且能够识别出在行驶于有图案、凹凸的柏油路时这些路面的图案、凹凸的像被包含在摄像图像中的状态和细小的颗粒(粒径小的颗粒)附着于镜头11的第一状态。由此，能够准确地判断出附着有细小的颗粒(粒径小的颗粒)的第一状态。
另外，本实施方式的附着状态判断部38在异物的附着量的变化量为第二变化阈值以上的情况下，判断为镜头11的脏污的附着状态是第二状态。本实施方式中的第二状态是指大颗粒(粒径大的聚集物)附着于镜头11的状态，对应图21B所示的状态。图26B中示出根据从图21B所示的摄像图像抽出的具有规定值域的像素值的像素的像素数求出异物的附着量的方法。图26B所示的例子中的异物的附着量、异物的附着量的变化量、异物的附着比例、异物的附着比例的变化量的计算方法与关于图26A的说明相同，因此省略说明，引用上述的说明。顺便提及，在图26B所示的例子中，相对于全部像素90，判断为附着有异物的像素数为28个，因此异物的附着比例能够求出为大约31％。
如之前记述的那样，第二变化阈值是根据在本车辆V行驶于路面附有图案的柏油路或路面形成有凹凸的柏油路时检测出的异物的附着量的变化量而设定的值。根据发明人们的实验，聚集而成的泥等附着于镜头11的情况下的异物的附着变化量虽然也取决于该泥块的大小，但是倾向于比由于路面的图案、路面的凹凸而被检测出的异物的附着量的变化量大。因此，在本实施方式中，以能够通过实验求出的第二变化阈值为基准值进行设定。在检测出该第二变化阈值以上的异物的附着量的变化量的情况下，能够预测出正行驶于容易附着聚集而成的泥等颗粒大的异物的例如泥泞的非柏油路。此外，为了判断异物附着的第二状态，也可以另外定义比第二变化阈值高的第三变化阈值。
图27表示第一变化阈值和第二变化阈值、在第一状态中检测出的第一附着变化量以及在第二状态中检测出的第二附着变化量的一例。在清洗开始的触发为异物的附着量的情况下，在超过清洗开始的阈值的时间点的变化量的关系如图27所示那样为第二变化阈值R<第一附着变化量CL1(第一状态)<第二附着变化量CL2(第二状态)<第二变化阈值Q。
下面，说明异物的附着度为异物的附着比例或异物的附着比例的变化量的情况。
本发明中的“第一附着阈值”包含“第一分散阈值”，“第二附着阈值”包含“第二分散阈值”。“第一分散阈值”和“第二分散阈值”是在异物的附着度为异物的附着比例或异物的附着比例的变化量的情况下判断镜头11的脏污的附着状态时使用的阈值。
本实施方式的附着状态判断部38计算异物的附着比例或附着比例的变化量(分散变化量)，在该附着比例或附着比例的变化量(分散变化量)在作为预先设定的第一分散阈值(是第一附着阈值的一个方式。以下相同)以上且小于第二分散阈值(是第二附着阈值的一个方式。以下相同)的阈值的规定阈值内的情况下，判断为镜头11的脏污的附着状态是第一状态。用于评价附着比例的第一分散阈值和第二分散阈值以及用于评价附着比例的变化量的第一分散阈值和第二分散阈值分别根据实验结果等进行设定。
如之前记述的那样，本实施方式中的第一状态是指细小的颗粒(粒径小的颗粒)附着于镜头11的状态，例如对应图21A所示的状态。图26A中示出根据从图21A所示的摄像图像抽出的具有规定值域的像素值的像素的像素数来求出异物的附着量的方法。
如图26A所示，根据在某定时拍摄到的摄像图像上被赋予各地址的各像素的像素值，判断在与各像素对应的摄像区域是否附着有异物，进一步判断异物的附着比例等异物的附着状态。是否附着有异物的判断方法不特别地限定。例如可以根据与异物对应的像素值比与三维物体对应的像素值低且移动距离小这样的特征，按照是规定范围的亮度差的像素且规定时间内的移动距离小于规定值这样的基准进行判断，也可以仅根据移动距离小这样的特征进行判断。而且，对被判断为附着有异物的像素的个数进行计数。根据在某定时被判断为附着有异物的像素的个数的计数值，能够计算在该定时的异物的附着量，根据在不同的多个定时被判断为附着有异物的像素的个数的计数值，能够计算在所述定时的异物的附着比例或异物的附着比例的变化量。
另外，能够根据在某定时被判断为附着有异物的像素的分布，求出异物的附着比例(是在镜头11上的异物的检测位置的附着比例、分散程度。是附着度的一个指标。以下相同。)。并且，能够根据在多个不同的定时中的异物的附着比例，计算异物的附着比例的变化量。异物的附着比例的计算方法不特别地限定，例如能够将被判断为附着有异物的像素数相对于全部像素数所占的比例定义为附着比例。在图26A所示的例子中，相对于全部像素90，被判断为附着有异物的像素数为68个，因此附着比例能够求出为大约76％。此外，单位像素能够任意地定义。如图26A所示，可以设定为整体由90个单位像素构成，也可以设定为将3×3的9个像素作为一个像素单位而由10个单位像素构成。另外，能够随着时间的经过求出异物的附着比例，根据不同的多个定时中的异物的附着比例计算异物的附着比例的变化量。
本实施方式中的第一分散阈值是为了获取行驶于由于路面上的状态而产生的干扰的影响被排除后的柏油路的情况下的基准状态中的异物的附着量的变化(控制值)而根据在本车辆V行驶于路面没有图案的柏油路或路面没有凹凸的柏油路时由附着状态判断部38计算出的异物的附着比例或附着比例的变化量设定的阈值。在检测出比该第一分散阈值低的异物的附着比例或附着比例的变化量(分散变化量)的情况下，能够预测出车辆V行驶于不易附着沙子、泥的例如柏油路。也就是说，能够判断为是沙子等粒径小的异物附着于镜头11的状态的可能性低。另一方面，在检测出比该第一分散阈值高的异物的附着比例或附着比例的变化量(分散变化量)的情况下，能够预测出车辆V行驶于容易附着沙子、泥的例如非柏油路。
本实施方式中的第二分散阈值是为了排除路面上附有的图案等的干扰的影响而根据在本车辆V行驶于路面附有图案的柏油路或路面形成有凹凸的柏油路时由附着状态判断部38计算出的异物的附着比例或异物的附着比例的变化量设定的阈值。路面的图案、路面的凹凸有时在摄像图像中表现为轮廓模糊、不移动的像。因此，有时导致将路面的图案、路面的凹凸判断为附着于镜头11的异物。根据发明人们的实验，基于路面的图案、路面的凹凸所产生的(被检测为异物的)像素的附着比例大于细小沙子的附着所产生的异物的附着比例或异物的附着比例的变化量。因此，在检测出比第二分散阈值大的异物的附着比例或异物的附着比例的变化量的情况下，能够预测为本车辆V行驶于路面附有图案的柏油路或路面形成有凹凸的柏油路。同时，能够判断为是沙子等粒径小的异物附着于镜头11的状态的可能性低。另一方面，在检测出比该第二分散阈值小的异物的附着比例或异物的附着比例的变化量的情况下，能够预测出车辆V行驶于容易附着沙子、泥的例如非柏油路且沙子等细小颗粒的异物附着于镜头11。也就是说，能够判断为是沙子等粒径小的异物附着于镜头11的状态的可能性高。
这样，异物的附着比例或附着比例的变化量在作为预先设定的第一分散阈值以上且小于第二分散阈值的阈值的规定阈值内的情况下，判断为镜头11的脏污的附着状态是第一状态，由此能够识别出在行驶于没有图案、凹凸的柏油路时各种大小的异物附着于镜头11的状态和细小的颗粒(粒径小的颗粒)附着于镜头11的第一状态，并且能够识别出在行驶于有图案、凹凸的柏油路时这些路面的图案、凹凸的像被包含在摄像图像中的状态和细小的颗粒(粒径小的颗粒)附着于镜头11的第一状态。由此，能够准确地判断出附着有细小的颗粒(粒径小的颗粒)的第一状态。
另外，本实施方式的附着状态判断部38在异物的附着比例或异物的附着比例的变化量为第二分散阈值以上的情况下，判断为镜头11的脏污的附着状态是第二状态。本实施方式中的第二状态是指大颗粒(粒径大的聚集物)附着于镜头11的状态，对应图21B所示的状态。图26B中示出根据从图21B所示的摄像图像抽出的像素数来求出异物的附着量的方法。图26B所示的例子中的异物的附着量、异物的附着量的变化量、异物的附着比例、异物的附着比例的变化量的计算方法与关于图26A的说明相同，因此省略说明，引用上述的说明。顺便提及，在图26B所示的例子中，相对于全部像素90，判断为附着有异物的像素数为28个，因此异物的附着比例能够求出为大约31％。
如之前记述的那样，第二分散阈值是根据在本车辆V行驶于路面附有图案的柏油路或路面形成有凹凸的柏油路时检测出的异物的附着比例或异物的附着比例的变化量设定的值。根据发明人们的实验，聚集而成的泥等附着于镜头11的情况下的异物的附着比例或异物的附着比例的变化量虽然也取决于该泥块的大小，但是倾向于比由于路面的图案、路面的凹凸而被检测出的附着比例或附着比例的变化量大。因此，在本实施方式中，以能够通过实验求出的第二分散阈值为基准值进行设定。在检测出该第二分散阈值以上的附着比例或附着比例的变化量的情况下，能够预测出正行驶于容易附着聚集而成的泥等颗粒大的异物的例如泥泞的非柏油路。此外，为了判断异物附着的第二状态，可以另外定义比第二分散阈值高的第三分散阈值。关于该第三分散阈值，也可以关于异物的附着比例和异物的附着比例的变化量这两方进行定义。
图27示出第一分散阈值和第二分散阈值、在第一状态中检测出的第一分散量或第一分散变化量(异物的附着比例的变化量)以及在第二状态中检测出的第二分散量或第二分散变化量(异物的附着比例的变化量)的一例。在该图中，虽然连续地示出了相对于时间的附着比例，但是也能够作为在任意的定时的不连续的值来获取异物的附着比例。在清洗开始的触发是异物的附着量的情况下，在超过清洗开始的阈值的时间点的异物的附着比例或异物的附着比例的变化量的关系如图27所示那样为第二分散阈值R<第一分散变化量CL1(第一状态)<第二分散变化量CL2(第二状态)<或第二分散阈值Q第二分散阈值R<第一附着比例(第一状态)<第二附着比例CL2(第二状态)<第二分散阈值Q。
接着，说明镜头清洗装置100的控制部101。
本实施方式的镜头清洗装置100的控制部101在附着于镜头11的异物的附着度(包含附着量、附着量的变化、附着比例、附着比例的变化。以下相同)为规定阈值以上的情况下，清洗镜头11。该规定阈值能够根据在行驶于干燥的非柏油路等时细小的颗粒附着于镜头的附着度来通过实验进行设定。
特别地，本实施方式的镜头清洗装置100的控制部101在判断为镜头11的脏污的附着状态是第一状态的情况下，优选使镜头清洗装置100所进行的清洗液的供给定时比预定的供给定时延迟规定时间。也就是说，在判断为镜头的脏污的附着状态是第一状态的情况下，暂时中止清洗液的供给，在经过规定时间之后执行清洗。
此外，本实施方式的镜头清洗装置100执行清洗处理的触发不特别地限定，可以将规定时间的经过作为触发，也可以将驾驶员对开始命令的输入作为触发。本实施方式的镜头清洗装置100的控制部101在由附着状态判断部38判断出的附着于镜头11的异物的附着度为规定值以上的情况下，开始执行镜头清洗工序。
如之前记述的那样，第一状态是指在镜头11的表面附着有细小的颗粒(粒径小的颗粒)的状态。这样，如果在沙子等细小的颗粒(粒径小的颗粒)附着于镜头11的表面时供给清洗液，则水被保持在细小的颗粒之间而形成泥状态，从而难以从镜头11的表面去除沙子等。因此，在判断为镜头的脏污的附着状态是第一状态的情况下，使清洗液的供给定时延迟而不供给清洗液。由此，不进行脏污的去除效果低的清洗而能够节省清洗液的使用量，并能够避免镜头11的脏污状态变差那样的情形。
另外，镜头控制装置100的控制部101在判断为镜头清洗装置100所进行的清洗液供给镜头11的脏污的附着状态是第一状态的情况下，使在镜头清洗工序中规定的清洗液的供给量增加。图28A中示出附着变化量与清洗液供给的开始定时之前的时间之间的关系。如该图所示，随着附着变化量增加，清洗液供给的开始定时之前的时间被延长。此时，作为延长清洗液供给的开始定时之前的时间的方法之一，可以将作为清洗液供给的开始触发的附着度的阈值变更为较大的值。由此，在附着度达到变更后的阈值之前不进行清洗液的供给，因此结果能够延长清洗液供给的开始定时之前的时间。此外，具体的关系不特别地限定，可以是用实线表示的阶梯状态的关系，也可以是用虚线表示的直线状的关系。
具有异物的粒径越小(异物越细小)则异物的附着量的变化量、附着比例的变化量越大的倾向。因此，根据本实施方式的控制，如图28B所示那样，异物的平均粒径越小，越使清洗液供给的开始定时之前的时间延长。根据该控制，在附着有粒径小的异物时，能够使清洗液的供给定时延迟。作为延长清洗液供给的开始定时之前的时间的方法，如之前记述的那样也可以将作为清洗液供给的开始触发的附着度(附着量)的阈值变更为较大的值。此外，异物的平均粒径的定义不特别地限定，可以是几何学的外切长方体的长度、宽、厚度的平均值，可以是属于三轴径、统计径、当量径及其它分类的粒径，可以是以JISZ8901规定的粒径的测量方法所得到的粒径，也可以是50％累计粒径等体积平均径。
如之前记述的那样，在细小的颗粒(粒径小的颗粒)附着于镜头11的表面的第一状态下，如果供给少量的清洗水则反而导致结块。因此，在镜头11的脏污的附着状态是第一状态的情况下，优选大量地供给清洗液。即使是细小的颗粒(粒径小的颗粒)附着于镜头11的表面的第一状态，也能够通过供给大量的清洗液来高效地去除附着于镜头11的沙子等细小的颗粒。
本实施方式的镜头控制装置100的控制部101在异物的附着度的变化量、例如附着量的变化量、附着比例的变化量越大时，使清洗液的供给量的量增加得越多。也就是说，异物的粒径越小，则使清洗液的供给量的量增加得越多。在之前记述的图28A、图28B中都示出该关系的一例。由于异物的粒径越小则越容易聚集，因此粒子越细小，则使提供清洗液的定时越延迟，通过将所存储的清洗液一下子供给出进行清洗，能够进行与脏污的状况相应的适当的清洗处理，并能够节省清洗液。
本实施方式的镜头控制装置100的控制部101在异物的附着度的变化量越大时使清洗液的供给量增加得越多。异物的粒径越小，则越容易聚集，如果提供少量的清洗液，反而妨碍异物的去除。因此，优选的是，越是异物的附着度的变化量大、异物的粒径小则越是一次性供给大量的清洗液，来冲掉脏污。这样，通过一次性供给使清洗定时延迟而节省的清洗液，由此即使异物的粒径小也能够去除。通过供给大量的清洗液进行清洗，能够进行与脏污的状况相应的适当的清洗处理，并能够节省清洗液。
另一方面，本实施方式的镜头控制装置100的控制部101在判断为镜头11的脏污的附着状态是第二状态的情况下，使镜头清洗装置100供给清洗液的供给定时提前。在异物的附着度的变化量低且如泥等聚集物那样粒径大的异物附着于镜头11的状态下，不会像之前记述的那样由于供给清洗水而异物聚集，如果供给清洗水则能够容易地去除的可能性高。因此，在镜头11的脏污的附着状态是第二状态的情况下，使清洗液的供给定时提前来进行清洗。当聚集而成的异物附着于镜头11时，也存在遮蔽镜头11的大部分的可能性，因此通过提前将其去除，能够维持三维物体的检测精度。
本实施方式的镜头控制装置100的控制部101在判断为镜头11的脏污的附着状态是第二状态的情况下，使清洗液的供给量增加。如泥等聚集物那样粒径大的异物能够用少量的清洗水去除的情况较多。因此，在镜头11的脏污的附着状态是第二状态的情况下，使清洗液的供给量减少来进行清洗。通过缩短清洗液供给之前的时间，另一方面使清洗液的供给量减少，能够节省清洗液的消耗量。从与缩短清洗液供给之前的时间等同的观点出发，也可以缩短清洗液供给的周期。
本实施方式的镜头控制装置100的控制部101计算由附着状态判断部38判断出的附着于镜头11的异物的附着度与第一附着阈值之差。在该差较小时，实际测量出的异物的附着度表示接近用于判断第二状态的下限阈值的值。也就是说，根据实际测量出的异物的附着度的变化而判断出的镜头11的脏污的附着状态不是附着有细小的颗粒的第二状态，而是接近作为基准而求出的在没有图案且平坦的柏油路上附着有异物的状态。因此，附着状态判断部38在实际测量出的异物的附着度与第一附着阈值之差较小的情况下，判断为与异物的附着状态有关的判断结果的可靠度低，判断出的可靠度越低，则将使清洗液的供给定时延迟的时间设定得越长。只要是判断结果的可靠度低这样的前提，则是即使在判断为镜头的脏污的附着状态是第二状态的情况下但实际也可以不进行清洗的状态的可能性高。
同样地，本实施方式的镜头控制装置100的控制部101在由附着状态判断部38判断出的附着于镜头11的异物的附着度与第二附着阈值之差较小时，判断为与异物的附着状态有关的判断结果的可靠度低，判断出的可靠度越低，则将使清洗液的供给定时延迟的时间设定得越长。在本实施方式中，在这样的场景下不进行清洗处理，从而节省清洗液。由此，能够减少清洗液的使用量。
图29中示出镜头11的脏污的附着状态的判断结果的可靠度与供给清洗液之前的时间之间的关系的一例。关系的具体的线性能够通过实验适当地设定。
本实施方式的摄像机装置1000为了有效地使用清洗液，而在本车辆V离开如细小颗粒的异物附着那样的环境的状态下开始清洗液的供给。在本车辆V从路面为沙地等的非柏油路移动至柏油路的情况下，向镜头11供给清洗液。
根据图30的流程图说明本实施方式的摄像机装置1000的镜头11的清洗处理。
如图30所示，如果处理开始，就在步骤S41中，附着状态判断部38根据附着于镜头的异物的附着度判断附着状态。在步骤S42中，附着状态判断部38在实时计算出的异物的附着度的变化量在作为预先设定的第一附着阈值以上且小于第二附着阈值的阈值的规定阈值内的情况下，进入步骤S42，判断为镜头11的脏污的附着状态是第一状态。也就是说，是在镜头11的表面附着有沙子等细小颗粒的异物的状态。在步骤S42中，在异物的附着度的变化量不在作为预先设定的第一附着阈值以上且小于第二附着阈值的阈值的规定阈值内但异物的附着度的变化量为第二附着阈值以上的情况下，进入步骤S43，判断为镜头11的脏污的附着状态是第二状态。也就是说，是在镜头11的表面附着有泥等体积比较大的异物的状态。
具体地说，在异物的附着度是异物的附着量的情况下，在步骤S42中，附着状态判断部38在实时计算出的异物的附着量的变化量在作为预先设定的第一变化阈值以上且小于第二变化阈值的阈值的规定阈值内的情况下，进入步骤S42，判断为镜头11的脏污的附着状态是第一状态。在步骤S42中，在异物的附着量的变化量不在作为预先设定的第一变化阈值以上且小于第二变化阈值的阈值的规定阈值内但异物的附着量的变化量为第二变化阈值以上的情况下，进入步骤S43，判断为镜头11的脏污的附着状态是第二状态。
在异物的附着度是异物的附着比例的情况下，在步骤S42中，附着状态判断部38在实时计算出的异物的分散度或异物的分散度的变化量在作为预先设定的第一分散阈值以上且小于第二分散阈值的阈值的规定阈值内的情况下，进入步骤S42，判断为镜头11的脏污的附着状态是第一状态。在步骤S42中，在异物的分散度或异物的分散度的变化量不在作为预先设定的第一分散阈值以上且小于第二分散阈值的阈值的规定阈值内但异物的分散度或异物的分散度的变化量为第二分散阈值以上的情况下，进入步骤S43，判断为镜头11的脏污的附着状态是第二状态。
在异物的附着度的变化量小于第一阈值的情况下，判断为本车辆行驶于柏油路，在异物的附着度的变化量为第二阈值以上、或者为比第二阈值高的另外设定的第三阈值以上的情况下，判断为检测出路面的图案、凹凸的可能性高，不变更默认设定的清洗液供给开始定时以及默认设定的清洗液的供给量。
具体地说，在异物的附着度为异物的附着量的情况下，在异物的附着量的变化量小于第一变化阈值时，判断为本车辆行驶于柏油路，在异物的附着量的变化量为第二变化阈值以上、或者为比第二变化阈值高的另外设定的第三变化阈值以上时，判断为检测出路面的图案、凹凸的可能性高，不变更默认设定的清洗液供给开始定时和默认设定的清洗液的供给量。
在异物的附着度为异物的附着比例的情况下，在异物的附着比例(分散度)或异物的附着比例的变化量小于第一分散阈值时，判断为本车辆行驶于柏油路，在异物的分散度或异物的分散度的变化量为第二分散阈值以上、或者为比第二分散阈值高的另外设定的第三分散阈值以上时，判断为检测出路面的图案、凹凸的可能性高，不变更默认设定的清洗液供给开始定时和默认设定的清洗液的供给量。
在判断为镜头11的脏污的附着状态是第一状态的情况下，进入步骤S44，使清洗液的供给开始的定时延迟。关于该延迟，可以使预先定义的规定的清洗工序的开始定时延迟，也可以使图23所示的清洗液的供给之前设定的时间F1延长。并且，进入步骤S45，使清洗液的供给量增加。
在判断为镜头11的脏污的附着状态是第二状态的情况下，进入步骤S46，使清洗液的供给开始的定时提前(提早)。该处理可以使预先定义的规定的清洗工序的开始定时提早，也可以缩短图23所示的清洗液的供给之前所设定的时间F1。进而，进入步骤S47，使清洗液的供给量减少。
接着，在步骤S48中，在后述的行驶道路状态判断部41判断为本车辆V所行驶的行驶道路是柏油路的情况下，进入步骤S48，解除正使清洗液的供给中断的状态，来向镜头11供给清洗液。
接着，根据本车辆V的行驶状态判断解除清洗液供给中断的定时。具体地说，本实施方式的摄像机装置1000具备根据本车辆V所获取的行驶信息判断本车辆V所行驶的行驶道路是柏油路或是非柏油路的行驶道路状态判断部41。然后，镜头清洗装置100的控制部101在由行驶道路状态判断部41判断为本车辆V所行驶的行驶道路是柏油路的情况下，向镜头11供给清洗液。这样，如果在判断为镜头11的脏污状态是第一状态之后判断为本车辆V正行驶于柏油路，则镜头11上再附着沙子等细小颗粒的可能性低。在向镜头11供给了清洗液时，如果在沙子等存在的非柏油路行驶，则导致沙子吸附在镜头11上的清洗液中。该状态的沙子聚集，不容易去除。因此，在本实施方式中，在变为本车辆V行驶于柏油路的状态起向镜头11供给清洗液。由此，防止由于所供给的清洗液而使沙子等再次附着于镜头11上，从而能够有效地进行镜头11的清洗。
本实施方式的行驶道路状态判断部41根据车辆获取的行驶信息，判断车辆V所行驶的行驶道路是柏油路或是非柏油路。本实施方式的“非柏油路”或“柏油路”是基于行驶时溅起泥的可能性进行的分类，因此虽然是被实施了铺设处理的道路，但是由柏油、混凝土覆盖的道路的表面再被雪、泥或沙子等覆盖的道路也包含在“非柏油路”中。也就是说，无论是柏油路还是非柏油路，均包含具有柏油、混凝土的层的道路。另外，下面依次说明判断行驶道路是柏油路或是非柏油路的方法。
在第一判断方法中，一般地，着眼于柏油路路面能够显示(能够看到)用于区分车道的白线的倾向高、非柏油路没有显示(看不到)该白线的点，根据是否能够从摄像机10的摄像图像中抽出白线来判断行驶道路是否为柏油路。
本实施方式的行驶道路状态判断部41从由摄像机10获取到的图像中抽出路面上所显示的白线信息，在抽出了白线信息的情况下，判断为本车辆V所行驶的行驶道路是柏油路，在没有抽出白线信息的情况下，判断为本车辆V所行驶的行驶道路是非柏油路。在此，白线抽出或白线检测能够使用在申请时已知的方法。
根据本方法，通过能否抽出白线信息来推测行驶道路的状态，还能够预测附着于镜头11的异物的性状及其运动状态，因此能够适当地进行异物检测处理和三维物体检测处理。
在第二判断方法中，一般地，着眼于在车辆行驶于柏油路时车辆V所具备的各车轮的车轮速度没有偏差且各车轮呈现在规定范围内的相同的车轮速度的点，根据车辆V的车轮速度的偏差的程度判断行驶道路是否为柏油路。
本实施方式的行驶道路状态判断部41获取本车辆V所具备的多个车轮的各车轮速度，在获取到的多个各车轮速度的偏差小于规定值的情况下，判断为本车辆V所行驶的行驶道路是柏油路，在获取到的多个车轮速度的偏差为规定值以上的情况下，判断为本车辆V所行驶的行驶道路是非柏油路。各车轮的车轮速度通过车速传感器20检测，直接或通过车辆控制器100获取。
作为判断各车轮速度的偏差的程度的方法，在前轮速度与后轮速度之差小于规定值的情况下，判断为行驶道路是柏油路，在前轮速度与后轮速度之差为规定值以上的情况下，判断为行驶道路是柏油路。或者，在右侧车轮速度与左侧车轮速度之差小于规定值的情况下，判断为行驶道路是柏油路，在右侧车轮速度与左侧车轮速度之差为规定值以上的情况下，判断为行驶道路是柏油路。在本实施方式中，在非转弯时进行该判断。这是因为在转弯时，各车轮的车轮速度是不同的。另外，车轮速度的比较方法、即偏差的程度的判断方法不特别地限定，但是在本实施方式中，关于各车轮获取针对时刻的车轮速度的信息，关于各信息使用低通滤波器进行信号处理，通过比较平滑化后的车轮速度峰值的位置和值，来对各车轮的速度的偏差进行评价。
根据本方法，根据车轮速度的偏差来推测行驶道路的状态，还能够预测附着于镜头11的异物的性状及其运动状态，因此能够适当地进行异物检测处理和三维物体检测处理。
在第三判断方法中，一般地着眼于在车辆行驶于柏油路时发生滑行、轮胎的空转、横滑等的频率相对较低但在车辆行驶于非柏油路时发生滑行、轮胎的空转、横滑等的频率相对较高的点，根据本车辆V所配备的滑行发生防止装置、横滑防止装置、轮胎空转防止装置的启动有无、启动的次数等，判断行驶道路是否是柏油路。
本实施方式的三维物体检测装置1从作为车载的滑行发生防止装置的ABS(Anti-locked braking system：防抱死刹车系统)装置300获取与其动作有关的动作信息，从TCS(Traction Control System：牵引力控制系统)装置400获取与其动作有关的动作信息，从作为空转防止装置的VDC(Vehicle DynamicsControl：车辆动态控制)装置500获取与其动作有关的动作信息。各动作信息可以直接从各装置获取，也可以通过车辆控制器100获取。
在此，针对各装置进行说明。
本实施方式的ABS装置300是通过防止在急刹车或在低摩擦道路上刹车的情况下等轮胎被锁死(转动停止)来维持车辆的行驶安全的同时提高能够通过方向盘转向来避开障碍物的可能性的装置。本实施方式的ABS装置根据安装于各车轮轴的车速传感器20所检测出的车轮速度信息来最佳地控制刹车。能够使用具备滑行发生防止功能的其它装置。
本实施方式的TSC装置400防止车辆起步时/加速时车轮的空转。TSC装置400根据本车辆自身的速度和各车轮的车轮速度检测车轮的空转，通过降低从引擎传递的驱动力来消除控制状态。本装置能够在泥泞的道路、降雪时/降雪后的道路等非柏油路中在路面与轮胎的摩擦系数下降的情况下，提高车辆姿势的稳定性。此外，作为空转防止装置，除了TSC装置400以外，还能够使用TRC(Traction Control：牵引力控制)、TCL(Traction Control)等具备空转防止功能的其它装置。
本实施方式的VDC装置500根据本车辆V的驾驶操作和车速，自动地进行刹车、引擎输出的控制，从而在泥泞的道路、降雪时/降雪后的道路等容易打滑的路面、弯路拐弯时、在避开障碍物时减轻车辆的横滑。作为横滑防止装置，除了VDC装置500以外，还能够使用ESC装置等具备横滑防止功能的其它装置。该ESC装置存在在泥泞的道路、降雪时/降雪后的道路等容易打滑的路面、弯路拐弯时、在避开障碍物时产生后轮的横滑(转向过度)前轮的横滑(转向不足)的情况。在这种情况下，通过与检测出的车辆运动状态相应地自动加压的刹车控制以及引擎扭矩的控制来防止横滑，使转弯时的车辆的姿势稳定。
本实施方式的行驶道路状态判断部41获取与ABS装置300、TSC装置400、或VDC装置500的动作有关的信息，在动作次数或动作频率小于规定值的情况下，判断为车辆V所行驶的行驶道路是柏油路，获取与ABS装置300、TSC装置400、或VDC装置500的动作有关的信息，在动作次数或动作频率为规定值以上的情况下，判断为车辆V所行驶的行驶道路是非柏油路。
根据本方法，在车辆的姿势紊乱时，根据控制车辆的ABS装置300、TSC装置400、或VDC装置500的动作信息推测行驶道路的状态，还能够预测附着于镜头11的异物的性状及其运动状态，因此能够适当地进行异物检测处理和三维物体检测处理。
作为第四判断方法，由导航装置200确定当前位置和本车辆V的行驶道路，参照导航装置200所具备的地图信息中包含的道路信息，能够判断本车辆V的行驶道路是柏油路还是非柏油路。另外，由导航装置200确定本车辆V的当前位置，在本车辆V的停止位置与地图信息所具备的路口位置对应的情况下，判断为本车辆V所行驶的行驶道路是柏油路。此外，本实施方式的导航装置200能够访问的地图信息按每条道路对应是柏油路或非柏油路的道路属性信息，并且对应路口位置和位置确定信息(纬度、经度)。此外，上述道路属性信息、路口信息也能够通过导航装置200所具备的通信装置获取。
<三维物体的最终判断>
返回图3，本例的三维物体检测装置1具备上述的两个三维物体检测部33(或三维物体检测部37)、三维物体判断部34、附着状态判断部38以及控制部39。三维物体判断部34根据三维物体检测部33(或三维物体检测部37)的检测结果，最终判断检测出的三维物体是否为存在于检测区域A1、A2的其它车辆VX。三维物体检测部33(或三维物体检测部37)、三维物体判断部34按照控制部39的指令进行反映出附着状态判断部38的判断结果的三维物体的检测。
说明三维物体判断部34。本实施方式的三维物体判断部34最终判断三维物体检测部33、37所检测出的三维物体是否为存在于检测区域A1、A2的其它车辆VX。具体地说，三维物体判断部34在三维物体检测部33、37检测三维物体的结果在规定时间T的整个期间持续出现的情况下，判断为三维物体是存在于检测区域A1、A2的其它车辆VX。不特别地进行限定，三维物体判断部34也可以在从差分波形信息抽出的差分波形的峰值数、峰值、移动速度等处于规定值域、其状态持续规定时间以上的情况下，最终判断三维物体是否为存在于检测区域A1、A2的其它车辆VX，还可以在从边缘信息抽出的边缘的连续性、将总和标准化得到的值、边缘线的量等处于规定值域、其状态持续规定时间以上的情况下，最终判断三维物体是否为存在于检测区域A1、A2的其它车辆VX。
本实施方式的三维物体判断部34在规定时间以上持续检测出由三维物体检测部33、37检测出的三维物体的情况下，将该三维物体判断为存在于右侧检测区域或左侧检测区域的其它车辆VX。
顺便提及，在三维物体判断部34判断为检测出的三维物体是存在于检测区域A1、A2的其它车辆VX的情况下，执行向乘员通知等的处理。该三维物体判断部34能够按照控制部39的控制命令，判断为所检测出的三维物体是其它车辆VX。控制部39根据附着状态判断部38的判断结果生成控制命令。
在由附着状态判断部38判断为附着于镜头11的异物的附着度为规定值以上的情况下，本实施方式的控制部39抑制检测三维物体，并抑制该三维物体被判断为是其它车辆VX。
本实施方式的控制命令为了防止将检测出的三维物体错误地判断为其它车辆VX，而被发送到三维物体检测部33、37、三维物体判断部34。本实施方式的计算机30是电子计算机，因此针对三维物体检测处理、三维物体判断处理、附着状态判断处理的控制命令可以预先嵌入于各处理的程序中，也可以在执行发送。
为了抑制由三维物体检测部33、37检测三维物体、或者由三维物体判断部37将三维物体判断为是其它车辆，控制部39将各处理中使用的各阈值与比初始值、标准值及其它设定值相比变高(使得不容易进行检测)，或者将与各阈值进行比较的输出值变低(使得不容易进行检测)。此外，在控制部39进行促进处理的情况下，促进处理成为判断为抑制处理的控制。
具体的处理内容如下。
利用差分波形信息检测三维物体的三维物体检测部33在差分波形信息为规定的第一阈值α以上时检测出三维物体的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将第一阈值α变高使得不容易检测三维物体的控制命令，将该控制命令输出到三维物体检测部33。
同样地，三维物体检测部33在差分波形信息为规定的第一阈值α以上时检测出三维物体的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值变低并输出的控制命令，将该控制命令输出到三维物体检测部38。
另外，在利用差分波形信息检测三维物体的三维物体检测部33抽出示出阈值p以上的像素值的像素数作为示出规定的差分的像素数的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将阈值p变高使得不容易检测三维物体的控制命令，并将该控制命令输出到三维物体检测部38。
同样地，在三维物体检测部33抽出示出阈值p以上的像素值的像素数作为规定的差分的像素数的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将沿着在视点变换为鸟瞰视点图像时三维物体倾倒的方向在差分图像上抽出的像素数变低并输出的控制命令，将该控制命令输出到三维物体检测部38。例如，控制部39为了抑制出现由三维物体检测部33(或三维物体检测部37)得到存在三维物体的检测结果、或者由三维物体判断部34得到最终判断为三维物体是其它车辆VX的判断结果，而局部屏蔽检测区域A1、A2、或者调整用于检测、判断的阈值、输出值。
在利用边缘信息检测三维物体的三维物体检测部37根据示出规定阈值t以上的亮度差的像素抽出边缘线的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将规定阈值t变高使得不容易检测三维物体的控制命令，将该控制命令输出到三维物体检测部37。
同样地，在利用边缘信息检测三维物体的三维物体检测部37根据示出规定阈值t以上的亮度差的像素抽出边缘线的情况下，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将像素的亮度值变低输出的控制命令，并将该控制命令输出到三维物体检测部37。
在利用边缘信息检测三维物体的三维物体检测部37根据边缘信息中包含的具有阈值θ以上的长度的边缘线来检测三维物体的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将阈值θ变高使得不容易检测三维物体的控制命令，并将该控制命令输出到三维物体检测部37。
同样地，在利用边缘信息检测三维物体的三维物体检测部37根据边缘信息中包含的具有阈值θ以上的长度的边缘线来检测三维物体的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将所检测出的边缘信息的边缘线的长度的值变低输出的控制命令，并将该控制命令输出到三维物体检测部37。
在利用边缘信息检测三维物体的三维物体检测部37根据边缘信息中包含的规定长度以上的边缘线、例如具有阈值θ以上的长度的边缘线的条数是否为第二阈值β以上的判断来检测三维物体的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将第二阈值β变高使得不容易检测三维物体的控制命令，并将该控制命令输出到三维物体检测部37。
在利用边缘信息检测三维物体的三维物体检测部37根据边缘信息中包含的规定长度以上的边缘线、例如具有阈值θ以上的长度的边缘线的条数是否为第二阈值β以上的判断来检测三维物体的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成将所检测出的规定长度以上的边缘线的条数变低输出的控制命令，并将该控制命令输出到三维物体检测部37。
另外，三维物体判断部34在检测出的三维物体的移动速度为预先设定的规定速度以上时将该三维物体判断为是其它车辆的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成使将三维物体判断为是其它车辆时的作为下限的规定速度变高使得不容易检测三维物体的控制命令，并将该控制命令输出到三维物体判断部34。
同样地，三维物体判断部34在所检测出的三维物体的移动速度是预先设定的规定速度以上时将该三维物体判断为是其它车辆的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成使与将三维物体判断为是其它车辆时的作为下限的规定速度进行比较的三维物体的移动速度变低并输出的控制命令，将该控制命令输出到三维物体判断部34。
另外，三维物体判断部34在所检测出的三维物体的移动速度小于预先设定的规定速度时将该三维物体判断为是其它车辆的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成使将三维物体判断为是其它车辆时的作为上限的规定速度变低的控制命令，并将该控制命令输出到三维物体判断部34。
同样地，三维物体判断部34在所检测出的三维物体的移动速度小于预先设定的规定速度时将该三维物体判断为是其它车辆的情况中，控制部39在判断为附着于镜头11的异物的附着度为规定值以上的情况下，生成使与将三维物体判断为是其它车辆时的作为上限的规定速度进行比较的三维物体的移动速度变高的控制命令，并将该控制命令输出到三维物体判断部34。
此外，在此，“移动速度”包含三维物体的绝对速度以及三维物体相对于本车辆的相对速度。可以根据三维物体的相对速度计算三维物体的绝对速度，也可以根据三维物体的绝对速度计算三维物体的相对速度。
下面，根据图31的流程图说明本实施方式的三维物体检测装置1的控制过程。
首先，在图31所示的步骤S61中，附着状态判断部38判断附着于镜头11的异物的附着度是否为规定量以上。为了判断是否进行三维物体检测的抑制处理而设定的阈值“规定量”被设定为判断是否异物附着达到了三维物体的检测处理的精度被破坏的程度的值。
在附着于镜头11的异物的附着度为规定值以上的情况下，进入步骤S62，将三维物体检测中使用的各种阈值变高输出，并将与各种阈值进行比较的输出值变低输出。
顺便提及，第一阈值α是在图11的步骤S7中用于判断差分波形DWt的峰值的。阈值θ是对图17的步骤S29中的将各关注点Pa的属性的连续性c的总和标准化得到的值(边缘的长度)进行判断的阈值，第二阈值β是图18的步骤34中的对边缘线的量(条数)进行评价的阈值。这样，通过将判断的阈值变高，来调整检测灵敏度使得不容易检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将附着于镜头11的异物错误检测为其它车辆VX。
本实施方式的控制部39向三维物体检测部33输出使对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值变低输出的控制命令。对在鸟瞰视点图像的差分图像上示出规定的差分的像素数进行计数并进行频数分布化得到的值是指在图11的步骤S5中生成的差分波形DWt的纵轴的值。
另外，本实施方式的控制部39向三维物体检测部37输出使所检测出的边缘信息变低输出的控制命令。所检测出的边缘信息除了是图17的步骤S29中的对各关注点Pa的属性的连续性c的总和进行标准化得到的值即边缘线的长度以外，还是图18的步骤34中的边缘线的量。控制部39当判断为附着于镜头11的异物的附着度为规定值以上时，将对各关注点Pa的属性的连续性c的总和进行标准化得到的值或边缘线的量变低使得避免将附着于镜头11的异物检测为三维物体并使得在下一次的处理中不容易检测三维物体。这样，能够通过降低输出值来调整检测灵敏度使得不容易检测行驶于本车辆V的行驶车道附近的其它车辆VX，因此能够防止将附着于镜头11的异物错误检测为行驶于相邻的车道的其它车辆VX。
在接下来的步骤S63中，根据差分波形信息或边缘信息检测三维物体(其它车辆)，并且，在步骤S64中，判断在步骤S63中检测出的三维物体是否为其它车辆VX，在三维物体是其它车辆VX的情况下，在步骤S65中输出存在其它车辆的意思的判断结果，在三维物体不是其它车辆VX的情况下，在步骤S66中输出不存在其它车辆的意思的判断结果。步骤S63和步骤S64中的处理与之前在图11和图12中说明的基于差分波形信息的其它车辆VX的检测处理、同样在图17和图18中说明的基于边缘信息的其它车辆VX的检测处理相同。另外，在步骤S64中没有检测出三维物体的情况下，可以判断为不存在其它车辆，也可以结束三维物体的检测处理。
根据如以上那样构成并进行动作的本发明的本实施方式所涉及的摄像机装置1000、三维物体检测装置1、镜头清洗方法，起到下面的效果。
(1)根据本实施方式的摄像机装置1000，在判断为镜头的脏污的附着状态是第一状态的情况下，使清洗液的供给定时延后以不供给清洗液，因此省略脏污的去除效果低的清洗工序从而节省清洗液的使用量，并能够避免水被保持在细小的颗粒之间而形成泥状态从而难以从镜头11的表面去除沙子等那样的情形。
(2)根据本实施方式的摄像机装置1000，即使是细小的颗粒(粒径小的颗粒)附着于镜头11的表面的第一状态，也能够通过供给大量的清洗液来高效地去除附着于镜头11的沙子等细小的颗粒。
(3)根据本实施方式的摄像机装置1000，通过异物的附着度的变化量越大则越是延长使清洗液的供给定时延迟的时间，由此颗粒越细小粒子，能够越使提供清洗液的定时延迟地进行清洗。由此，能够进行与脏污的状况相应的适当的清洗处理，并能够节省清洗液。
(4)根据本实施方式的摄像机装置1000，通过异物的附着度的变化量越大则越是增加清洗液的供给量，由此异物的粒径越小，越是能够一次性供给大量的清洗液来冲掉脏污。由此，能够进行与脏污的状况相应的适当的清洗处理，并能够节省清洗液。
(5)根据本实施方式的摄像机装置1000，在异物的附着度的变化量在作为预先设定的第一附着阈值以上且小于第二附着阈值的阈值的规定阈值内的情况下，通过判断为镜头11的脏污的附着状态是第一状态，能够识别出在行驶于没有图案、凹凸的柏油路时各种大小的异物附着于镜头11的状态和细小的颗粒(粒径小的颗粒)附着于镜头11的第一状态，并且能够识别出在行驶于有图案、凹凸的柏油路时这些路面的图案、凹凸的像被包含在摄像图像中的状态和细小的颗粒(粒径小的颗粒)附着于镜头11的第一状态。由此，能够准确地判断出附着有细小的颗粒(粒径小的颗粒)的第一状态。
(6)根据本实施方式的摄像机装置1000，在镜头11的脏污的附着状态是第二状态的情况下，通过使清洗液的供给定时提早来进行清洗，来去除遮蔽镜头11的大部分的、聚集而成的异物，由此能够维持三维物体的检测精度。
(7)根据本实施方式的摄像机装置1000，在镜头11的脏污的附着状态是第二状态的情况下，通过使清洗液的供给量减少来进行清洗，能够缩短清洗液供给之前的时间，另一方面节省清洗液的消耗量。
(8)根据本实施方式的摄像机装置1000，在实际测量出的异物的附着度与第一附着阈值之差较小的情况下，判断为与异物的附着状态有关的判断结果的可靠度低，判断出的可靠度越低，则将使清洗液的供给定时延迟的时间设定得越长，因此在即使判断为镜头的脏污的附着状态是第二状态但实际也可以不进行清洗的情况下，节省清洗液。由此，能够减少清洗液的使用量。
(9)根据本实施方式的摄像机装置1000，通过在成为本车辆V行驶于柏油路的状态后向镜头11供给清洗液，能够防止由于所供给的清洗液而使沙子等再次附着于镜头11上，从而能够有效地进行镜头11的清洗。
(10)根据本实施方式的三维物体检测装置1，本实施方式的控制部39根据附着状态判断部38，在附着于镜头11的异物的附着度为规定值以上的情况下，抑制检测三维物体，并抑制该三维物体被判断为是其它车辆VX，因此能够适当地检测三维物体。无论是在使用差分图像信息检测其它车辆VX的情况下，还是在使用边缘信息检测其它车辆VX的情况下，同样地起到上述记载的作用和效果。
上述摄像机10相当于本发明所涉及的摄像单元，上述视点变换部31相当于本发明所涉及的图像变换单元，上述对位部32和三维物体检测部33相当于本发明所涉及的三维物体检测单元，上述亮度差计算部35、边缘线检测部36及三维物体检测部37相当于本发明所涉及的三维物体检测单元，上述三维物体判断部34相当于三维物体判断单元，上述附着状态判断部38相当于附着状态判断单元，上述控制部39相当于控制单元，上述行驶道路状态判断部41相当于行驶道路状态判断单元，上述车速传感器20相当于车速传感器，上述镜头清洗装置100相当于镜头清洗单元，上述控制部101相当于镜头清洗控制单元。
本发明中的“分布信息”是与在由视点变换部31(图像变换单元)获得的鸟瞰视点图像上在视点变换为鸟瞰视点图像时三维物体倾倒的方向上亮度差为规定的阈值以上的像素的分布有关的信息。“分布信息”至少包含本发明中的“差分波形信息”和“边缘信息”。
本实施方式中的对位部21将不同时刻的鸟瞰视点图像的位置以鸟瞰视点进行对位，得到该对位后的鸟瞰视点图像，但是能够以与检测对象的种类、所要求的检测精度相应的精度进行该“对位”处理。可以是以同一时刻和同一位置为基准进行对位之类的严格意义上的对位处理，也可以是掌握各鸟瞰视点图像的坐标这样的程度缓和的对位处理。
附图标记说明
1：三维物体检测装置；10：摄像机；11：镜头；20：车速传感器；30：计算机；31：视点变换部；32：对位部；33、37：三维物体检测部；34：三维物体判断部；35：亮度差计算部；36：边缘检测部；38：附着状态判断部；39：控制部；40：拖影检测部；41：行驶道路状态判断部；100：镜头清洗装置；38：镜头状态评价部；110：镜头清洗控制部；101：清洗水容器；102：清洗水流路；103a、103b：滴下口；104：空气压缩机；105：空气流路；106a、106b：喷出口；200：导航装置；300：ABS装置；400：TSC装置；500：VDC装置；600：导航装置；a：视角；A1、A2：检测区域；CP：交点；DP：差分像素；DWt、DWt’：差分波形；DWt1～DWm、DWm+k～DWtn：小区域；L1、L2：触地线；La、Lb：三维物体倾倒的方向上的线；P：摄像图像；PBt：鸟瞰视点图像；PDt：差分图像；MP：掩模图像；S：拖影；SP：拖影图像；SBt：拖影鸟瞰视点图像；V：本车辆；VX：其它车辆。

Claims (13)

1.一种摄像机装置，其特征在于，具有：
摄像单元，其搭载于车辆，具备使车辆周围的影像成像的镜头；
镜头清洗单元，其向上述镜头上喷射清洗液来清洗上述镜头；
附着状态判断单元，其基于上述摄像单元所拍摄到的摄像图像来计算附着于上述镜头的异物的附着度；以及
镜头清洗控制单元，其在上述异物的附着度为规定阈值以上的情况下，使上述镜头清洗单元清洗上述镜头。
2.根据权利要求1所述的摄像机装置，其特征在于，
上述附着状态判断单元根据获取到的上述摄像图像所包含的像素的像素值以及与附着于上述镜头的表面的异物对应的上述像素的像素数来计算上述异物的附着量作为上述附着度，根据上述异物的附着量判断上述镜头的脏污的附着状态。
3.根据权利要求1所述的摄像机装置，其特征在于，
上述附着状态判断单元根据获取到的上述摄像图像所包含的像素的像素值以及与附着于上述镜头的表面的异物对应的上述像素和/或上述像素值的分布来计算上述异物的附着比例作为上述附着度，根据上述异物的附着比例判断上述镜头的脏污的附着状态。
4.根据权利要求1所述的摄像机装置，其特征在于，
上述附着状态判断单元根据获取到的上述摄像图像所包含的像素的像素值以及与附着于上述镜头的表面的异物对应的上述像素的在规定时间内的像素数的变化来计算上述异物的附着量的变化作为上述附着度的变化，根据上述异物的附着量的变化判断上述镜头的脏污的附着状态。
5.根据权利要求1所述的摄像机装置，其特征在于，
上述附着状态判断单元根据获取到的上述摄像图像所包含的像素的像素值以及与附着于上述镜头的表面的异物对应的上述像素和/或上述像素值的在规定时间内的分布的变化来计算上述异物的附着比例的变化作为上述附着度的变化，根据上述异物的附着比例的变化判断上述镜头的脏污的附着状态。
6.根据权利要求1所述的摄像机装置，其特征在于，
上述附着状态判断单元在上述异物的附着度为规定阈值内的情况下，判断为上述镜头的脏污的附着状态是第一状态，该规定阈值为预先设定的第一附着阈值以上且小于第二附着阈值，
上述镜头清洗控制单元根据判断出的上述异物的附着状态控制上述清洗液的供给定时，在判断为上述镜头的脏污的附着状态是第一状态的情况下，进行禁止上述镜头清洗单元清洗上述镜头的控制。
7.根据权利要求6所述的摄像机装置，其特征在于，
上述第一附着阈值是根据在上述车辆行驶于路面没有图案的柏油路或路面没有凹凸的柏油路时由上述附着状态判断单元计算出的上述异物的附着度设定的阈值。
8.根据权利要求6所述的摄像机装置，其特征在于，
上述第二附着阈值是根据在上述车辆行驶于路面上附有图案的柏油路或路面上形成有凹凸的柏油路时由上述附着状态判断单元计算出的上述异物的附着度设定的阈值。
9.根据权利要求1～8中的任一项所述的摄像机装置，其特征在于，
在上述异物的附着度为上述第二附着阈值以上的情况下，上述附着状态判断单元判断为上述镜头的脏污的附着状态是第二状态，
在判断为上述镜头的脏污的附着状态是第二状态的情况下，上述镜头清洗控制单元使上述镜头清洗单元执行上述镜头的清洗。
10.根据权利要求1～9中的任一项所述的摄像机装置，其特征在于，
还具备行驶道路状态判断单元，该行驶道路状态判断单元根据上述车辆所获取的行驶信息，判断上述车辆所行驶的行驶道路是柏油路还是非柏油路，
在由上述行驶道路状态判断单元判断为上述本车辆所行驶的行驶道路是柏油路的定时，上述镜头清洗控制单元使得向镜头供给上述清洗液。
11.根据权利要求10所述的摄像机装置，其特征在于，
上述行驶道路状态判断单元获取上述车辆所具备的多个车轮的各车轮速度，在获取到的多个上述车轮速度的偏差小于规定值的情况下，判断为上述车辆所行驶的行驶道路是柏油路。
12.一种三维物体检测装置，具备：
根据权利要求1～11中的任一项所述的摄像机装置；
图像变换单元，其将由上述摄像机获得的图像视点变换为鸟瞰视点图像；
三维物体检测单元，其生成在由上述图像变换单元获得的上述鸟瞰视点图像上沿着在视点变为上述鸟瞰视点图像时三维物体倾倒的方向而亮度差为规定的阈值以上的像素的分布信息，根据该分布信息检测三维物体；
三维物体判断单元，其判断由上述三维物体检测单元检测出的三维物体是否为其它车辆；以及
控制单元，其在由上述附着状态判断单元判断为附着于上述镜头的异物的附着度为规定值以上的情况下，抑制检测上述三维物体并判断为该三维物体是上述其它车辆。
13.一种摄像机装置的镜头清洗方法，该摄像机装置具备镜头和镜头清洗装置，该镜头清洗装置依照至少规定了向上述镜头表面供给清洗液的供给定时的规定的镜头清洗工序，向上述镜头上喷射清洗液来清洗上述镜头，该镜头清洗方法的特征在于，包括以下步骤：
根据获取到的上述摄像图像所包含的像素的像素值，计算附着于上述镜头的异物的附着度，在该异物的附着度为规定阈值内的情况下，判断为上述镜头的脏污的附着状态是第一状态，该规定阈值为预先设定的第一附着阈值以上且小于第二附着阈值；以及
在判断为上述镜头的脏污的附着状态是第一状态的情况下，进行禁止上述镜头清洗单元清洗上述镜头的控制。
CN201380040046.XA 2012-07-27 2013-07-26 摄像机装置、三维物体检测装置以及镜头清洗方法 Active CN104507765B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012-166530 2012-07-27
JP2012166531 2012-07-27
JP2012-166531 2012-07-27
JP2012166530 2012-07-27
PCT/JP2013/070310 WO2014017626A1 (ja) 2012-07-27 2013-07-26 カメラ装置、立体物検出装置及びレンズ洗浄方法

Publications (2)

Publication Number Publication Date
CN104507765A true CN104507765A (zh) 2015-04-08
CN104507765B CN104507765B (zh) 2017-02-22

Family

ID=49997431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380040046.XA Active CN104507765B (zh) 2012-07-27 2013-07-26 摄像机装置、三维物体检测装置以及镜头清洗方法

Country Status (5)

Country Link
US (1) US9804386B2 (zh)
EP (1) EP2878498B1 (zh)
JP (1) JP6045589B2 (zh)
CN (1) CN104507765B (zh)
WO (1) WO2014017626A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056571A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 路面检测装置和路面检测系统
CN106803871A (zh) * 2015-11-25 2017-06-06 通用汽车环球科技运作有限责任公司 相机系统
CN107953862A (zh) * 2017-12-05 2018-04-24 惠州市德赛西威汽车电子股份有限公司 带手动及自动清洗的车载摄像头及其控制方法
CN108848361A (zh) * 2018-07-13 2018-11-20 网易（杭州）网络有限公司 用于交互式投影仪的方法、介质、装置和计算设备
CN109689446A (zh) * 2016-09-05 2019-04-26 株式会社小糸制作所 清洁器、带清洁器的传感器以及具有该清洁器或该带清洁器的传感器的车辆
CN109835343A (zh) * 2017-11-27 2019-06-04 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN110214102A (zh) * 2017-01-23 2019-09-06 株式会社小糸制作所 车辆用清洗系统以及具备车辆用清洗系统的车辆
CN110386114A (zh) * 2018-04-16 2019-10-29 丰田自动车株式会社 驾驶辅助装置
CN110632077A (zh) * 2018-06-01 2019-12-31 发那科株式会社 视觉传感器的镜头或镜头盖的异常检测系统
CN111051155A (zh) * 2017-09-11 2020-04-21 本田技研工业株式会社 车辆
CN111147761A (zh) * 2019-12-28 2020-05-12 中国第一汽车股份有限公司 一种车用摄像设备清洗方法、系统、车辆及存储介质
CN113200022A (zh) * 2021-04-28 2021-08-03 广州文远知行科技有限公司 一种传感器的清洁方法、装置、设备及存储介质
CN113423620A (zh) * 2019-02-18 2021-09-21 株式会社小糸制作所 污垢检测系统、LiDAR单元、车辆用传感系统及车辆
CN113458072A (zh) * 2021-07-06 2021-10-01 广东固特超声股份有限公司 一种智能终端控制的眼镜超声波清洗方法及清洗机
CN115416615A (zh) * 2022-11-04 2022-12-02 江阴瑞兴塑料玻璃制品有限公司 车辆前档玻璃灰尘的监测和清洗系统
CN116039531A (zh) * 2023-04-03 2023-05-02 成都零一通途科技有限公司 一种车载道路巡检装置及巡检方法
CN117191809A (zh) * 2023-08-30 2023-12-08 宿州绍宸智能科技有限公司 基于数据分析的玻璃检测设备故障监测预警系统

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448411B1 (ko) * 2010-08-19 2014-10-07 닛산 지도우샤 가부시키가이샤 입체물 검출 장치 및 입체물 검출 방법
EP2858755B1 (en) 2011-03-10 2017-09-20 dlhBowles Inc. Integrated automotive system, nozzle assembly and remote control method for cleaning an image sensor's lens
US10350647B2 (en) 2011-03-10 2019-07-16 Dlhbowles, Inc. Integrated automotive system, nozzle assembly and remote control method for cleaning an image sensor's exterior or objective lens surface
EP2871629B1 (en) * 2012-07-03 2018-08-15 Clarion Co., Ltd. Vehicle-mounted environment recognition device
BR112015000243B1 (pt) * 2012-07-11 2021-07-13 Nissan Motor Co., Ltd Dispositivo de limpeza para câmera montada em veículo e método de limpar câmera montada em veículo
CN103997622B (zh) * 2014-03-27 2017-02-22 上海海事大学 无人值守监控摄像头的自动清洗方法
CN106660525B (zh) 2014-04-11 2020-06-02 Dlh鲍尔斯公司 紧凑低轮廓喷嘴组合件和远程控制的图像传感器清洗系统
EP3489091B1 (en) 2014-04-16 2021-09-08 dlhBowles Inc. Integrated image sensor support and method for simultaneously cleaning a plurality of image sensors
US9607242B2 (en) * 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
DE102015110264A1 (de) * 2015-06-25 2016-12-29 Cl Schutzrechtsverwaltungs Gmbh Vorrichtung zur generativen Herstellung wenigstens eines dreidimensionalen Objekts
JP6833337B2 (ja) * 2016-03-31 2021-02-24 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
EP3367660B1 (en) 2017-02-27 2019-12-25 Veoneer Sweden AB A camera device comprising a dirt detection unit
JP6672202B2 (ja) * 2017-03-03 2020-03-25 株式会社デンソーアイティーラボラトリ 車載カメラシステム、付着物検出装置、付着物除去方法、及び付着物検出プログラム
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
US10676071B2 (en) * 2017-05-03 2020-06-09 GM Global Technology Operations LLC System and method for automated cleaning of a sensor lens
US10189429B2 (en) * 2017-06-26 2019-01-29 Ford Global Technologies, Llc Vehicle sensor cleaning based on a vehicle occupancy status
US20190068025A1 (en) * 2017-08-30 2019-02-28 GM Global Technology Operations LLC Magnetically-Driven Actuator Assembly
JP7182053B2 (ja) * 2017-12-12 2022-12-02 株式会社デンソー 車両用洗浄システム
KR20190047243A (ko) 2017-10-27 2019-05-08 현대자동차주식회사 카메라 렌즈 오염 경고 장치 및 방법
KR102348123B1 (ko) 2017-10-27 2022-01-07 현대자동차주식회사 카메라 렌즈 오염 경고 장치 및 방법
JP7055619B2 (ja) 2017-11-14 2022-04-18 株式会社デンソーテン 気体噴出装置および気体噴出方法
JP6810683B2 (ja) * 2017-12-28 2021-01-06 本田技研工業株式会社 制御装置および車両
JP7210882B2 (ja) * 2018-01-30 2023-01-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN108416337A (zh) * 2018-04-28 2018-08-17 北京小米移动软件有限公司 提醒用户清洁镜头的方法及装置
US10549723B2 (en) * 2018-05-04 2020-02-04 Ford Global Technologies, Llc Vehicle object-detection sensor assembly
US10836356B2 (en) 2018-09-20 2020-11-17 Ford Global Technologies, Llc Sensor dirtiness detection
US10829091B2 (en) 2018-09-20 2020-11-10 Ford Global Technologies, Llc Vehicle sensor cleaning
US10771665B1 (en) * 2019-02-27 2020-09-08 Ford Global Technologies, Llc Determination of illuminator obstruction by known optical properties
US11209280B2 (en) * 2019-07-31 2021-12-28 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for route selection
JP7251425B2 (ja) * 2019-09-20 2023-04-04 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7151675B2 (ja) * 2019-09-20 2022-10-12 株式会社デンソーテン 付着物検出装置および付着物検出方法
US11673532B2 (en) * 2019-12-23 2023-06-13 Continental Automotive Systems, Inc. Automatic camera washer deactivation
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
CN112183401A (zh) * 2020-09-30 2021-01-05 敦泰电子（深圳）有限公司 图像采集方法、芯片及图像采集装置
CN112622766B (zh) * 2020-12-30 2023-12-26 广州威玛尔电子科技有限公司 一种可自动清理的汽车倒车摄像头
US20230366997A1 (en) * 2022-05-12 2023-11-16 GM Global Technology Operations LLC Surface cleaning system to clean lidar sensor of an autonomous vehicle
JP2024016501A (ja) * 2022-07-26 2024-02-07 トヨタ自動車株式会社 車載カメラ遮蔽状態判定装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259358A (ja) * 2002-03-06 2003-09-12 Nissan Motor Co Ltd カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
JP2008262333A (ja) * 2007-04-11 2008-10-30 Nissan Motor Co Ltd 路面判別装置および路面判別方法
CN201432644Y (zh) * 2009-07-17 2010-03-31 初明明 一种自动清洗汽车后视摄像头的装置
US20110080494A1 (en) * 2009-10-02 2011-04-07 Sanyo Electric Co., Ltd. Imaging apparatus detecting foreign object adhering to lens
CN102310843A (zh) * 2010-05-27 2012-01-11 阿斯莫有限公司 车载摄像机的清洗喷嘴、车载摄像机以及车辆的清洗设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4713583A (en) * 1986-09-08 1987-12-15 Hochstein Peter A Headlamp cleaning system
JPH11250396A (ja) * 1998-02-27 1999-09-17 Hitachi Ltd 車両位置情報表示装置および方法
DE19818643A1 (de) * 1998-04-25 1999-10-28 Reitter & Schefenacker Gmbh Leuchte, insbesondere Heckleuchte, für Kraftfahrzeuge
US6160369A (en) * 1999-10-12 2000-12-12 E-Lead Electronic Co., Ltd. Optically operated automatic control system for windshield wipers
JP2001171491A (ja) 1999-12-16 2001-06-26 Matsushita Electric Ind Co Ltd 車載カメラ装置及び車載カメラの洗浄方法
US8180099B2 (en) * 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP4899954B2 (ja) * 2007-03-14 2012-03-21 株式会社ニコン カメラ
DE102009000079A1 (de) * 2009-01-08 2010-07-15 Robert Bosch Gmbh Verfahren und Steuergerät zur Erkennung eines gefährlichen Fahrzustandes eines Fahrzeugs
JP5056919B2 (ja) * 2009-09-29 2012-10-24 株式会社デンソー 車載光学センサカバー及び車載光学センサ装置
US20120117745A1 (en) * 2009-09-29 2012-05-17 Denso Corporation On-board optical sensor cover and on-board optical sensor apparatus
JP5240874B2 (ja) 2011-02-17 2013-07-17 株式会社名機製作所 型締装置
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
US9707896B2 (en) * 2012-10-15 2017-07-18 Magna Electronics Inc. Vehicle camera lens dirt protection via air flow

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259358A (ja) * 2002-03-06 2003-09-12 Nissan Motor Co Ltd カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
JP2008262333A (ja) * 2007-04-11 2008-10-30 Nissan Motor Co Ltd 路面判別装置および路面判別方法
CN201432644Y (zh) * 2009-07-17 2010-03-31 初明明 一种自动清洗汽车后视摄像头的装置
US20110080494A1 (en) * 2009-10-02 2011-04-07 Sanyo Electric Co., Ltd. Imaging apparatus detecting foreign object adhering to lens
CN102310843A (zh) * 2010-05-27 2012-01-11 阿斯莫有限公司 车载摄像机的清洗喷嘴、车载摄像机以及车辆的清洗设备

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056571B (zh) * 2015-04-17 2018-09-07 丰田自动车株式会社 路面检测装置和路面检测系统
CN106056571A (zh) * 2015-04-17 2016-10-26 丰田自动车株式会社 路面检测装置和路面检测系统
CN106803871A (zh) * 2015-11-25 2017-06-06 通用汽车环球科技运作有限责任公司 相机系统
CN106803871B (zh) * 2015-11-25 2019-10-08 通用汽车环球科技运作有限责任公司 相机系统
US11794702B2 (en) 2016-09-05 2023-10-24 Koito Manufacturing Co., Ltd. Cleaner, sensor with cleaner, and vehicle including cleaner or sensor with cleaner
CN109689446A (zh) * 2016-09-05 2019-04-26 株式会社小糸制作所 清洁器、带清洁器的传感器以及具有该清洁器或该带清洁器的传感器的车辆
CN110214102A (zh) * 2017-01-23 2019-09-06 株式会社小糸制作所 车辆用清洗系统以及具备车辆用清洗系统的车辆
CN110214102B (zh) * 2017-01-23 2022-12-06 株式会社小糸制作所 车辆用清洗系统以及具备车辆用清洗系统的车辆
CN111051155A (zh) * 2017-09-11 2020-04-21 本田技研工业株式会社 车辆
CN109835343B (zh) * 2017-11-27 2022-03-08 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN109835343A (zh) * 2017-11-27 2019-06-04 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN107953862A (zh) * 2017-12-05 2018-04-24 惠州市德赛西威汽车电子股份有限公司 带手动及自动清洗的车载摄像头及其控制方法
CN110386114B (zh) * 2018-04-16 2022-09-27 丰田自动车株式会社 驾驶辅助装置
CN110386114A (zh) * 2018-04-16 2019-10-29 丰田自动车株式会社 驾驶辅助装置
CN110632077A (zh) * 2018-06-01 2019-12-31 发那科株式会社 视觉传感器的镜头或镜头盖的异常检测系统
CN110632077B (zh) * 2018-06-01 2024-05-24 发那科株式会社 视觉传感器的镜头或镜头盖的异常检测系统
CN108848361A (zh) * 2018-07-13 2018-11-20 网易（杭州）网络有限公司 用于交互式投影仪的方法、介质、装置和计算设备
CN113423620A (zh) * 2019-02-18 2021-09-21 株式会社小糸制作所 污垢检测系统、LiDAR单元、车辆用传感系统及车辆
CN111147761A (zh) * 2019-12-28 2020-05-12 中国第一汽车股份有限公司 一种车用摄像设备清洗方法、系统、车辆及存储介质
CN113200022A (zh) * 2021-04-28 2021-08-03 广州文远知行科技有限公司 一种传感器的清洁方法、装置、设备及存储介质
CN113458072A (zh) * 2021-07-06 2021-10-01 广东固特超声股份有限公司 一种智能终端控制的眼镜超声波清洗方法及清洗机
CN113458072B (zh) * 2021-07-06 2022-01-18 广东固特超声股份有限公司 一种智能终端控制的眼镜超声波清洗方法及清洗机
CN115416615A (zh) * 2022-11-04 2022-12-02 江阴瑞兴塑料玻璃制品有限公司 车辆前档玻璃灰尘的监测和清洗系统
CN116039531B (zh) * 2023-04-03 2023-09-29 成都零一通途科技有限公司 一种车载道路巡检装置及巡检方法
CN116039531A (zh) * 2023-04-03 2023-05-02 成都零一通途科技有限公司 一种车载道路巡检装置及巡检方法
CN117191809A (zh) * 2023-08-30 2023-12-08 宿州绍宸智能科技有限公司 基于数据分析的玻璃检测设备故障监测预警系统
CN117191809B (zh) * 2023-08-30 2024-03-22 宿州绍宸智能科技有限公司 基于数据分析的玻璃检测设备故障监测预警系统

Also Published As

Publication number Publication date
US20150177512A1 (en) 2015-06-25
EP2878498B1 (en) 2020-06-24
US9804386B2 (en) 2017-10-31
WO2014017626A1 (ja) 2014-01-30
JPWO2014017626A1 (ja) 2016-07-11
EP2878498A4 (en) 2017-03-15
JP6045589B2 (ja) 2016-12-21
CN104507765B (zh) 2017-02-22
EP2878498A1 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
CN104507765A (zh) 摄像机装置、三维物体检测装置以及镜头清洗方法
US11663917B2 (en) Vehicular control system using influence mapping for conflict avoidance path determination
CN104508725A (zh) 三维物体检测装置和三维物体检测方法
CN104508726B (zh) 三维物体检测装置和三维物体检测方法
JP7499256B2 (ja) ドライバの挙動を分類するためのシステムおよび方法
WO2014017403A1 (ja) 車載用画像認識装置
JP6133861B2 (ja) 状態認識システム及び状態認識方法
CN104508727A (zh) 三维物体检测装置和三维物体检测方法
CN104509102A (zh) 三维物体检测装置和异物检测装置
DE102015224171A1 (de) Neigungserkennung bei Zweirädern
JP5859652B2 (ja) 水滴検出装置及び水滴検出装置を用いた立体物検出装置
CN104685866A (zh) 三维物体检测装置以及三维物体检测方法
CN104509100A (zh) 三维物体检测装置以及三维物体检测方法
CN104508728B (zh) 三维物体检测装置
JP6756908B2 (ja) 車両周囲の歩行者を検出する方法及び装置
CN104094311A (zh) 立体物检测装置
JP6003986B2 (ja) 立体物検出装置、立体物検出方法及び異物検出装置
CN113838060A (zh) 用于自主车辆的感知系统
US20210403020A1 (en) Vehicular control system with detection and prevention of unintended motion
JP7402753B2 (ja) 安全支援システム、および車載カメラ画像分析方法
CN113840079A (zh) 对从无人驾驶车辆相机所获取的图像的划分
CN113838115A (zh) 从自主车辆相机获取的图像中的深度估计

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kanagawa

Patentee after: NISSAN MOTOR Co.,Ltd.

Patentee after: Faurecia Gele Electronics Co.,Ltd.

Address before: Kanagawa

Patentee before: NISSAN MOTOR Co.,Ltd.

Patentee before: CLARION Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231123

Address after: Kanagawa

Patentee after: NISSAN MOTOR Co.,Ltd.

Address before: Kanagawa

Patentee before: NISSAN MOTOR Co.,Ltd.

Patentee before: Faurecia Gele Electronics Co.,Ltd.