CN104509090A - 车载用图像识别装置 - Google Patents

车载用图像识别装置 Download PDF

Info

Publication number
CN104509090A
CN104509090A CN201380039863.3A CN201380039863A CN104509090A CN 104509090 A CN104509090 A CN 104509090A CN 201380039863 A CN201380039863 A CN 201380039863A CN 104509090 A CN104509090 A CN 104509090A
Authority
CN
China
Prior art keywords
vehicle
image
unit
degree
camera lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380039863.3A
Other languages
English (en)
Other versions
CN104509090B (zh
Inventor
入江耕太
竹村雅幸
村松彰二
早川泰久
深田修
清原将裕
宇田川玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Nissan Motor Co Ltd filed Critical Clarion Co Ltd
Publication of CN104509090A publication Critical patent/CN104509090A/zh
Application granted granted Critical
Publication of CN104509090B publication Critical patent/CN104509090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明的车载用图像识别装置即使在镜头污浊时，也可以从所拍摄的图像中可靠地检测移动物体。摄像单元(10)设置在本车辆(5)中并通过镜头(12)观测本车辆(5)的周围，并且将观测到的光信号变换为图像信号，车辆检测单元(70)从摄像单元(10)所拍摄的图像中，以规定的检测灵敏度进行本车辆5的周围存在的其它车辆(6)的检测，检测灵敏度调整单元(50)根据白浊程度(U)的高低，将车辆检测单元(70)的检测灵敏度向提高检测灵敏度的方向调整，并且，根据附着程度计算单元(26)所算出的、泥、水滴等附着物对镜头(12)的附着程度(M)进行了校正。

Description

车载用图像识别装置
技术领域
本发明涉及利用车载的摄像机检测出其它车辆的位置或车道标记的位置等的车载用图像识别装置。
背景技术
近年来，在车辆上安装摄像机，利用该摄像机观测车辆的周边，从观测到的图像中，检测其它车辆的位置或车道标记的位置等，根据检测的其它车辆的位置和车道标记的位置，判断与其它车辆的接触的可能性或脱离车道的可能性而唤起注意的车载用图像识别装置被实际应用。
在这样的系统中，在雨天行驶时，存在本车辆卷起的水分附着在摄像机的镜头表面的情况。而且，行驶在未铺设道路时，存在本车辆卷起的尘土附着在摄像机的镜头表面的情况。进而，在喷洒了融雪剂的道路行驶时，存在本车辆卷起的融雪剂附着在摄像机的镜头表面的情况。然后，由于这些附着物变干，水分、尘土或融雪剂中包含的杂质析出而堆积在镜头表面，在镜头表面上生成白色的污浊(以下，称为白浊)。
如果在镜头表面上生成有白浊的部位(白浊部)，则入射到镜头的光在白浊部中散射，因此在观测的图像中产生模糊或污痕。而且，由于该模糊或污痕，作为检测对象的其它车辆或车道标记的影像的对比度减小，因此存在发生未检测或误检测其它车辆或车道标记的可能性。并且，由于发生这样的未检测或误检测，因此存在不能执行与其它车辆的位置或车道标记的位置有关的、准确的注意唤起的忧虑。
特别是，在车辆的乘员不能将摄像机所拍摄的图像目视确认的系统中，由于乘员不能确认镜头白浊的情况，所以上述的未检测或误检测给乘员带来对系统的不信任感。
为了防止这样的未检测或误检测，例如公开有车辆用障碍物检测装置(例如，专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2012－38048号公报
发明内容
发明要解决的课题
在专利文献1中记载的车辆用障碍物检测装置中，摄像机的镜头上附着的异物等作为在时间上位置不变化的不动区域来检测，通过将这样检测到的不动区域从障碍物的检测对象中去除，使障碍物检测的精度提高。
但是，在镜头上附着的异物中，存在透光性高的水滴那样的、难以检测为不动区域的物体。
而且，在镜头上附着的异物的区域范围广的情况下，能够执行障碍物检测的区域变窄，所以存在导致障碍物检测性能劣化的忧虑。
本发明鉴于上述课题而完成，目的是提供一种车载用图像识别装置，即使在镜头产生白浊的状态或者镜头上附着有附着物的状态下，也可以可靠地检测出其它车辆的位置或车道标记的位置等。
用于解决课题的手段
本发明涉及车载用图像识别装置，其即使在镜头上产生白浊时以及在镜头上附着泥或水滴等附着物时，也可以检测出其它车辆的位置或车道标记的位置。
即，本发明的技术方案1的车载用图像识别装置的特征在于，所述车载用图像识别装置包括：摄像单元，其设置在本车辆中并通过镜头观测所述本车辆的周围，并且将观测到的所述本车辆的周围的光信号变换为图像信号；图像识别应用执行单元，其从所述摄像单元拍摄的图像中，以规定的检测灵敏度进行所述本车辆的周围存在的移动物体的检测；白浊程度计算单元，其从所述图像信号中计算出所述镜头的白浊程度；附着程度计算单元，其计算出泥、水滴等附着物对所述镜头的附着程度；以及检测灵敏度调整单元，其根据所述白浊程度的高低，向使所述检测灵敏度提高的方向进行调整，所述检测灵敏度调整单元根据泥、水滴等附着物对所述镜头的附着程度，校正所述检测灵敏度。
按照这样构成的本发明的技术方案1的车载用图像识别装置，摄像单元设置在本车辆中并通过镜头观测本车辆的周围，并且将观测到的本车辆的周围的光信号变换为图像信号，图像识别应用执行单元从摄像单元所拍摄的图像中，以规定的检测灵敏度进行本车辆的周围存在的移动物体的检测，检测灵敏度调整单元根据白浊程度的高低，将该图像识别应用执行单元的检测灵敏度向提高检测灵敏度的方向调整，在该检测灵敏度调整单元中，由于根据附着程度计算单元算出的、泥、水滴等附着物对镜头的附着程度进行了校正，所以即使在镜头上附着泥、水滴等附着物的情况下，由于需要以上的检测灵敏度的提高被抑制，所以可以可靠地检测本车辆周围存在的移动物体。
发明效果
按照本发明的车载用图像识别装置，与镜头的白浊程度或附着物的附着状态无关，能够可靠地检测出其它车辆的位置或车道标记的位置等。
附图说明
图1是说明作为安装有本发明所涉及的车载用图像识别装置的车载系统的一例的BSW(Blind Spot Warning,盲点警告)系统的图。
图2是表示本发明的实施例1所涉及的车载用图像识别装置的概略结构的方框图。
图3是表示本发明的第1白浊程度计算单元的细节结构的方框图。
图4是表示本发明的第2白浊程度计算单元的细节结构的方框图。
图5是表示本发明的附着程度计算单元的细节结构的方框图。
图6是表示本发明的接近车辆检测单元的细节结构的方框图。
图7是在本发明的实施例1中所执行的主例程(routine)的流程图。
图8是说明镜头的白浊的发生状况的图，(a)表示在没有白浊的状态下拍摄的图像的例子，以及该图像中的亮度分布的例子。(b)表示在有白浊的状态下拍摄的图像的例子，以及该图像中的亮度分布的例子。
图9是表示基于在本发明的实施例1中所执行的亮度斜率的白浊程度计算处理的流程的流程图。
图10是表示本发明的实施例1中的光源区域检测处理的一例的图，(a)表示拍摄的图像。(b)表示将拍摄的图像缩小后的图像。(c)表示将图像(b)2值化，并进行了贴标签处理的图像。(d)表示从图像(c)中检测到满足条件的光源区域的结果。
图11是说明在本发明的实施例1中，进行用于根据亮度斜率计算出白浊程度的光源区域检测处理的范围的图。
图12是说明在本发明的实施例1中，通过用于计算出白浊程度的光源区域检测处理而检测的区域的形状的图，(a)表示成为检测对象的光源区域的形状特征。(b)表示不成为检测对象的区域的例子。
图13是说明在本发明的实施例1中，为了计算白浊程度，计算亮度斜率的规定线的一例、以及亮度斜率的一例的图。
图14是说明在本发明的实施例1中，表示白浊程度的可信度的推移的状态转移的图。
图15是表示基于在本发明的实施例1中所执行的边缘强度的白浊程度计算处理的流程的流程图。
图16是表示在本发明的实施例1中所执行的附着物检测处理的流程的流程图。
图17是表示在本发明的实施例1中，在拍摄的图像中设定有区块的例子的图。
图18的(a)是表示拍摄的图像的例子的图。(b)是表示从该图像中检测到的边缘结构点的例子的图。
图19是用于说明在本发明的实施例1中，对明亮的周围区块进行计数的步骤的图。
图20是说明在本发明的实施例1中所执行的视点变换图像之间的位置匹配处理的概要的图，(a)是表示车辆的移动状态的平面图。(b)是表示位置匹配的概要的图。
图21是说明在本发明的实施例1中，根据视点变换图像的差分结果来生成差分波形的状况的图，(a)是说明由视点变换图像的差分结果生成差分波形的方法的图。(b)是表示生成的差分波形的例子的图。
图22是表示在本发明的实施例1中，通过立体物检测单元分割的小区域的图。
图23是表示在本发明的实施例1中，通过立体物检测单元获得的直方图的一例的图。
图24是表示根据镜头的污浊程度来校正车辆检测处理的阈值的方法的图。
图25是表示基于在本发明的实施例1中所执行的差分运算的车辆检测处理的流程的流程图。
图26是说明基于边缘信息的立体物检测的图，(a)是表示检测区域等的位置关系的平面图。(b)是表示实际空间中的检测区域等的位置关系的立体图。
图27是用于说明亮度差计算单元的动作的图，(a)是表示视点变换图像中的关注线、参照线、关注点、以及参照点的位置关系的图。(b)是表示实际空间中的关注线、参照线、关注点、以及参照点的位置关系的图。
图28是用于说明亮度差计算单元的细节动作的图，(a)是表示视点变换图像中的检测区域的图。(b)是表示视点变换图像中的关注线、参照线、关注点、以及参照点的位置关系的图。
图29是表示边缘线和边缘线上的亮度分布的图，(a)是表示在检测区域中存在立体物(车辆)的情况的亮度分布的图。(b)是表示在检测区域中不存在立体物的情况的亮度分布的图。
图30是表示根据镜头的污浊程度来校正车辆检测处理的阈值的方法的另一个图。
图31是表示基于在本发明的实施例1中所执行的边缘信息的车辆检测处理的流程的流程图。
具体实施方式
以下，参照附图说明本发明的车载用图像识别装置的实施方式。而且，在以下的说明中，将图像中存储的浓淡值称为亮度值。
实施例1
本实施例是将本发明的车载用图像识别装置适用于安装有BSW系统(图像识别应用)的车辆上的例子，该BSW系统对行驶中的本车辆的后方进行监视，并在本车辆后方的相邻车道有车辆接近时进行唤起注意或警报。
首先，使用图1说明BSW系统的动作。用于监视本车辆5的后方的摄像单元10以朝后方向的方式安装在本车辆5的后部，并对包含本车辆5的后方的左右相邻车道的范围ω(包含道路2的车道Y1、Y2、Y3的范围)进行拍摄。然后，从拍摄的图像中，通过图像处理检测出相邻的车道Y1的检测区域X1、以及相邻的车道Y3的检测区域X2中存在的接近车辆。
BSW系统在本车辆5以规定车速以上行驶时被起动，从摄像单元10开始的规定的距离范围内，在与车道Y2相邻的车道Y1、Y3中检测出其它车辆6并确认为所检测到的其它车辆6正在接近本车辆5时，将其它车辆6认定为接近车辆。
其它车辆6正在接近本车辆5的情况是通过按照时间序列分析摄像单元10所拍摄的图像来判定。细节如后所述。
然后，在认定为其它车辆6正在接近时，通过使本车辆5所具有的例如指示器点亮，以此将其它车辆6的存在作为视觉信息传递给驾驶员(1次警报)。
进而，在驾驶员没有注意到该视觉信息，并且向其它车辆6所存在的车道Y1侧打出方向指示灯而欲进行车道变更时，通过进行指示器的闪烁和警报音的鸣响，更明确地向驾驶员传递其它车辆6的存在(2次警报)，促使车道变更动作的中断。
接着，使用图2，说明实施例1的车载用图像识别装置的结构。图2是表示将本实施例的车载用图像识别装置适用于安装有上述的BSW系统的本车辆5时的结构图。
如图2所示，实施例1的车载用图像识别装置8包括：设置在本车辆5(图1中图示)的后部牌照附近，并对图1所示的范围ω进行观测的摄像单元10；从摄像单元10所拍摄的图像中检测出安装在摄像单元10的前方的镜头12的白浊程度和泥、水滴等附着物的附着程度的镜头污浊检测单元20；根据所检测到的镜头12的白浊程度和泥、水滴等附着物的附着程度来计算镜头12的污浊程度的镜头污浊程度计算单元30；对如后所述的车辆检测单元70中的其它车辆6的检测灵敏度进行调整的检测灵敏度调整单元50；获取本车辆5的车速的车辆信息获取单元60；以及检测出从本车辆5的后方接近的其它车辆6的车辆检测单元70(图像识别应用执行单元)。
而且，所述摄像单元10、所述检测灵敏度调整单元50、所述车辆信息获取单元60、所述车辆检测单元70构成为BSW系统9。
所述摄像单元10进一步包括：镜头12；由将光信号光电变换为电信号的例如CMOS元件构成的光电变换单元14；以及对光电变换后的电信号的增益进行调整的增益调整单元16。
所述镜头污浊检测单元20进一步包括：由第1白浊程度计算单元22及第2白浊程度计算单元24所构成的白浊程度计算单元25，第1白浊程度计算单元22根据摄像单元10所拍摄的图像中的亮度斜率来计算出镜头12的白浊程度，第2白浊程度计算单元24根据摄像单元10所拍摄的图像中的亮度值的方差(Variance)来计算出镜头12的白浊程度；以及检测出镜头12上附着的泥、水滴等附着物的附着程度计算单元26。
此外，所述车辆检测单元70包括：从摄像单元10所拍摄的图像中检测出本车辆5的后方的立体物，计算出该立体物的移动距离和移动速度，并当作接近车辆来检测的接近车辆检测单元72；以及在利用接近车辆检测单元72检测到接近车辆时，通过指示器或蜂鸣器唤起注意的警报输出单元74。
接着，使用图3至图5，说明镜头污浊检测单元20的细节结构。
如图3所示，构成白浊程度计算单元25的所述第1白浊程度计算单元22由以下单元构成：检测后续车辆的前照灯的影像的区域检测单元22a；计算区域检测单元22a所检测到的区域中的、规定线上的亮度斜率的亮度斜率计算单元22b；判定在不同的时间由区域检测单元22a所检测到的区域是否为同一光源的影像的类似性计算单元22c；以及决定所计算出的白浊程度的可信度的可信度决定单元22d。
此外，如图4所示，构成白浊程度计算单元25的所述第2白浊程度计算单元24由以下单元构成：计算摄像单元10所拍摄的图像中的边缘强度的边缘强度计算单元24a；以及从边缘强度计算单元24a所计算的边缘强度求出图像中的边缘强度的分布，并根据画面中的边缘强度的分布计算出镜头12的白浊程度的边缘强度分析单元24b。
进而，如图5所示，附着程度计算单元26由以下单元构成：在摄像单元10所拍摄的图像中设定处理区域而分割为多个区块的处理区域设定单元26a；从所述图像中检测出边缘强度弱的区域的边缘检测单元26b；获取边缘强度弱的区域及其周围的区域的亮度值而计算出亮度分布的亮度分布计算单元26c；根据按照时间序列累积的亮度值，计算出亮度值的时间序列变化的亮度变化计算单元26d；以及根据边缘检测单元26b、亮度分布计算单元26c、亮度变化计算单元26d的处理结果来判定镜头12的附着物的有无的附着物判定单元26e。
接着，使用图6，说明构成车辆检测单元70的接近车辆检测单元72的细节结构。
图6所示的接近车辆检测单元72是利用差分波形信息检测出接近车辆(其它车辆6)的部件，并包括：视点变换单元72a、位置匹配单元72b、以及立体物检测单元72c。
另外，本实施例1的接近车辆检测单元72也可以是利用边缘信息检测出接近车辆(其它车辆6)的结构。在该情况下，在图6所示的结构中，可以构成为：将由位置匹配单元72b及立体物检测单元72c所构成的检测块A1替换为用虚线包围的、由亮度差计算单元72g、边缘线检测单元72h、以及立体物检测单元72i所构成的检测块A2。
当然，可以具有检测块A1以及检测块A2两者，利用差分波形信息进行接近车辆的检测的同时，还可利用了边缘信息进行接近车辆的检测。在同时具有检测块A1和检测块A2的情况下，例如，可以根据亮度等环境因素，使检测块A1或者检测块A2的其中一个动作。
接着，使用图7的流程图，说明实施例1的车载用图像识别装置8的一连串动作的流程。
首先，在步骤S1中，利用所述车辆信息获取单元60获取作为本车辆5的车辆信息的车速。
接着，在步骤S2中，判定由所述车辆信息获取单元60所获取的车速信号的值是否为规定值(例如1km/h)以上。然后，当车速信号的值为规定值以上时，进至步骤S3而起动BSW系统9。另一方面，当车速未满规定值时，返回步骤S1。
接着，在步骤S4中，利用所述摄像单元10拍摄本车辆5的后方的图像。然后，透过镜头12的光信号在光电变换单元14中变换为电信号，进一步在增益调整单元16中放大而生成图像信号I(x，y)。以后，将这样生成的图像信号I(x，y)简单称为图像I(x，y)。
所述增益调整单元16为了使光电变换单元14中变换的电信号的电平(level)成为规定的电平，提供适当的增益而将其放大，并当作图像I(x，y)。由此，即使在暗的环境下，也可以通过提供适当的增益而得到SN比(signal-noise ratio)高的图像I(x，y)。另外，该增益调整与拍摄一起随时执行，在增益调整单元16中成为可以监视最新的增益的值的结构。
接着，在步骤S5中，在所述第1白浊程度计算单元22和所述第2白浊程度计算单元24中计算出镜头12的白浊程度。该处理的步骤在图8、图9中表示，但是关于其细节在后叙述。
然后，在步骤S6中，在所述附着程度计算单元26中检测出在镜头12上附着的泥、水滴等附着物。该处理的步骤在图10中表示，但是关于其细节在后叙述。
接着，在步骤S7中，在所述镜头污浊程度计算单元30中计算出镜头12的污浊程度。但是关于其细节在后叙述。
然后，在步骤S8中，将所述第1白浊程度计算单元22和所述第2白浊程度计算单元24所算出的镜头12的白浊程度、以及所述附着程度计算单元26所算出的镜头12上附着的泥、水滴等附着物的附着程度通知给所述检测灵敏度调整单元50，在检测灵敏度调整单元50中根据所通知到的镜头12的白浊程度和附着程度，校正车辆检测灵敏度。
接着，在步骤S9中，在所述接近车辆检测单元72中从摄像单元10拍摄的图像中检测出接近车辆。该处理的步骤在图25、图31中表示，但是关于其细节在后叙述。
接着，在步骤S10中，根据所述接近车辆检测单元72中所检测到的其它车辆6的有无以及其它车辆6相对于本车辆5的相对速度，判定输出警报的必要性的有无。然后，有输出警报的必要性时进至步骤S11，没有输出警报的必要性时返回步骤S4。
然后，在步骤S11中，在所述警报输出单元74中通过指示器或蜂鸣器输出警报，并向本车辆5的乘员告知接近车辆的存在而唤起注意。
接着，对于图7的流程图中进行的个别的处理，按照顺序说明其细节。
(基于亮度斜率的白浊程度计算处理)
首先，使用图8～图15说明图7的步骤S5中进行的白浊程度计算处理的细节。在白浊程度计算单元25中，通过基于摄像单元10所拍摄的图像中的亮度斜率的方法以及基于摄像单元10所拍摄的图像中的边缘强度的分布的方法来计算镜头12的白浊程度。这里，将根据亮度斜率计算出的镜头12的白浊程度设为U1，将根据边缘强度的分布计算出的镜头12的白浊程度设为U2。
第1白浊程度计算单元22从摄像单元10所拍摄的图像I(x，y)中检测出后续车辆的前照灯的影像或者由于太阳光的反射而产生的影像，在这样检测的影像中设定规定线，根据该规定线上的亮度斜率计算出镜头的白浊程度U1。
这是因为利用了如前照灯或太阳那样强的光源的影像由于镜头的白浊而散射，进而，根据镜头的白浊程度所散射的程度变化，白浊程度越高，其被观测到的明亮的区域变成更宽的影像的现象。
图8(a)、图8(b)是通过车载用图像识别装置8的摄像单元10实际观测到的、包含与本车辆5在同一车道上行驶的后续车辆的前照灯的图像I(x，y)。并且，图8(a)表示镜头12的表面没有白浊的情况的图像，图8(b)表示镜头12的表面有白浊的情况的图像。
图8(a)、图8(b)的图像I(x，y)的下侧所示的曲线图是在一张曲线图上表示以前照灯的影像中的搜索开始点O为起始点，向左方向延伸的搜索方向(线)OP上的亮度值的分布(以后，称为亮度分布Ld)、以及以前照灯的影像中的搜索开始点O为起始点，向右方向延伸的线OQ上的亮度分布Ld的图。
在图8(a)中，将从线OP上的亮度分布Ld低于阈值A开始至低于比阈值A小的阈值B为止的左右方向像素数设为LW，并且，将从线OQ上的亮度分布Ld低于阈值A开始至低于比阈值A小的阈值B为止的左右方向像素数设为RW时，如果使用亮度差DI(＝A－B)，并且将亮度斜率g当作DI/LW(线OP上的亮度斜率)以及－DI/RW(线OQ上的亮度斜率)来计算时，则在没有白浊的图8(a)的情况下，亮度斜率g的绝对值成为大的值，亮度分布Ld的扩张度变得狭窄而陡峭。
另一方面，在有白浊的图8(b)的情况下，亮度斜率g的绝对值成为小的值，亮度分布Ld的扩张度变宽。
第1白浊程度计算单元22利用该亮度斜率g的大小来计算出镜头12的白浊程度U1。即，亮度斜率g的绝对值越小，所算出的白浊程度U1越高。另外，虽然细节如后所述，但是为了提高白浊程度计算的可靠性，在亮度斜率g小的状态持续了一定期间的情况下，判断为发生了白浊。
以下，使用图9，详细地说明第1白浊程度计算单元22进行的白浊程度U1的计算方法。
在步骤S20中，将所述摄像单元10所拍摄的图像I(x，y)(以后，简单地记载为图像I)以规定的比例缩小而生成缩小图像I’(x，y)(以后，简单地记载为缩小图像I’)。这样将图像缩小是为了将图像的尺寸变小而减少进行图像处理时所需要的存储量，进而提高处理速度。另外，具体的缩小率在考虑所使用的计算机环境以及图像的分辨率等而决定。
此外，上述的图像的缩小是通过像素的剔除(間引き)来进行，但是这也可以通过进行近旁像素的亮度值的平均化来缩小。通过该处理，图10(a)所示的图像被缩小为图10(b)所示的图像那样。
接着，在步骤S21中，在步骤S20中缩小的缩小图像I’中设定用于检测后续车的前照灯的影像或者太阳光的反射像的区域。在本实施例中，设定在与本车辆5同一车道Y2上行驶的后续车的前照灯的影像所映照的区域，从该区域中检测出后续车的前照灯的影像或者太阳光的反射像。通过这样限制处理区域，可以减轻计算机的负担。
在图11中表示这样设定的处理区域的例子。如图11所示，对于横向像素数n、纵向像素数m的图像，设定将左上设为(x1，y1)，将右下设为(x2，y2)的处理区域E。
该处理区域E的上下方向位置是通过以摄像单元10相对于本车辆5的高度方向的安装位置和上下方向的安装角度来决定的、相当于无限远点的消失点的上下方向座标VY(参照图11)的位置为基准来设定。
此外，该处理区域E的左右方向位置是根据摄像单元10相对于本车辆5的左右方向的安装位置来设定。即，如果摄像单元10设置在本车辆5的中央时，则处理区域E在缩小图像I’中左右对称地设定。图11是摄像单元10对本车辆5的安装位置左右偏移的情况的例子，在左右非对称的位置上设定处理区域E。
接着，在步骤S22中，对在步骤S21中所设定的处理区域E的内部，将缩小图像I’以规定的阈值进行2值化而变换为2值图像，进而，进行对形成2值图像的各个区域标上编号的贴标签处理。这里，在规定的阈值中，使用通过预先实验等设定的、可以检测在与本车辆5同一车道Y2行驶的后续车的前照灯的影像的值、以及可以检测太阳光的反射像的值。另外，该阈值被存储在区域检测单元22a中。
然后，在图像I已被拍摄时，从增益调整单元16读出图像I的增益的值，在读出的增益的值为规定值以上时，将所拍摄到的图像I的环境判断为夜间，并应用用于检测后续车辆的前照灯的影像的阈值进行图像I的2值化。
另一方面，在图像I的增益的值不足规定值时，将所拍摄到的图像I的环境判断为白天，并应用用于检测太阳光的反射像的阈值来进行图像I的2值化。
通过该2值化、贴标签处理，得到图10(c)所示的图像。
接着，在步骤S23中，判定在步骤S22中进行了贴标签处理的图像中是否存在前照灯的影像或者太阳光的反射像。使用图12(a)、图12(b)说明这里所进行的处理。
所述摄像单元10所拍摄的、在与本车辆5同一车道Y2行驶的后续车的前照灯的影像成为如图12(a)所示的区域R0那样的大致圆形。因此，对于贴标签处理后的各个区域，判定区域的面积对于与该区域外接的矩形区域(纵向像素数H0，横向像素数W0)的面积H0W0具有规定的比例以上的占有率的情况、以及区域外接的四边形的宽度和高度没有规定比例以上的不同的情况，判断是否为前照灯的影像。
此外，所述摄像单元10所拍摄的太阳光的反射像也与区域R0一样成为大致圆形，所以与前照灯的影像一样，将表示影像的形状的占有率的阈值和外接四边形的纵横比例的阈值分别数值化，判定实际检测的区域是否满足该条件。
通过该判定，例如图12(b)所示的区域R1、R2、R3那样的形状的区域被判断为不是前照灯的影像或者太阳光的反射像而丢弃。
通过该判定，如图10(d)所示，选择一个满足条件的区域。另外，在发现多个满足条件的区域时，选择一个面积最大的区域。而且，在没有发现满足条件的区域时(步骤S23为“否”时)，返回主例程(图7)。
接着，在步骤S24中，计算出在步骤S23中所选择的区域的重心位置G。在将区域的重心位置G的座标设为G(Gx，Gy)时，将构成区域的全部像素的左右方向座标的总和除以区域的面积来计算重心位置G的左右方向位置Gx，将构成区域的全部像素的上下方向座标的总和除以区域的面积来计算重心位置G的上下方向位置Gy。
接着，在步骤S25中，在缩小图像I’中设定用于计算亮度斜率g的搜索开始点O和用于计算亮度斜率的搜索方向(线)。通过实验等决定难以受到本车辆5卷起的溅痕、后续车辆的前照灯的路面反射、在相邻车道行驶的车辆的前照灯等的影响的位置、方向设定为该搜索开始点O以及线即可。
在本实施例中，如图13所示，在区域R0的重心位置G和区域R0的最上部的点J之间设定用于计算亮度斜率g的搜索开始点O。图13是说明计算亮度斜率的线OP、OQ的设定例、以及在该线OP、OQ中计算的亮度斜率的一例的图。
即，将搜索开始点O的上下方向座标设为Oy，将区域R0的最上部的点J的上下方向座标设为Jy，并通过(式1)求出Oy。
Oy＝Jy+(Gy－Jy)/Thy   (式1)
这里，对阈值Thy设定为比0大的值。另外，阈值Thy的值根据实验等设定。
而且，如图13所示，将通过搜索开始点O并且与通过区域R0的重心位置G的水平线平行的线设定为线OP、线OQ。
接着，在步骤S26中，在线OP上，从搜索开始点O向点P读取收纳在缩小图像I’中的亮度值，从而计算亮度分布Ld，进而，在线OQ上，读取收纳在缩小图像I’中的亮度值，从而计算亮度分布Ld。
这样计算的亮度分布Ld如图13所示的曲线图那样。另外，该曲线图是为了使说明便于理解，将线OP上的亮度分布和线OQ上的亮度分布表示在一个曲线图上。
接着，在步骤S27中，求出亮度分布Ld的左右的缓坡(裾野)的大小。这里，预先准备亮度值的阈值A、和比A小的亮度值的阈值B，从搜索开始点O开始向点P向左方向搜索先前作成的亮度分布Ld，如图13所示，亮度值低于阈值A的位置和亮度值低于阈值B的位置的间隔作为左右方向像素数Lw来计算。而且，从搜索开始点O开始向点Q向右方向搜索先前作成的亮度分布Ld，亮度值低于阈值A的位置和亮度值低于阈值B的位置的间隔作为左右方向像素数Rw来计算。
接着，在步骤S28中计算出亮度斜率g。具体地说，使用前述的作为阈值A和阈值B的差分值的亮度差DI(＝A－B)，将线OP上的亮度斜率g作为DI/Lw来计算，将线OQ上的亮度斜率g作为－DI/Rw来计算。
接着，在步骤S29中，判定作为区域R0的左右的亮度斜率g的DI/Lw和－DI/Rw是否存在对称性。该对称性是通过确认由(式2)算出的亮度斜率g的差距(gap)GI是否为规定的阈值ThG以下的来进行。
GI＝(|Lw|－|Rw|)/(|Lw|+|Rw|)   (式2)
在多个区域左右方向连接而出现的情况下，由于先前计算出的亮度斜率g的大小左右不同，所以通过(式2)算出的差距GI比阈值ThG变大。于是，在该情况下不进行白浊程度的计算，并转移到步骤S35。
接着，在步骤S30中，计算镜头12的白浊程度U1。如(式3)所示，将白浊程度U1当作先前计算出的作为左右的亮度斜率g的DI/Lw和－DI/Rw的绝对值的平均值来计算。
U1＝{(Lw/DI)+(Rw/DI)}/2   (式3)
另外，在(式3)中，虽然将亮度斜率g的倒数进行平均化，但这是为了使镜头12的白浊程度越高(越污浊)，U1的值变得越大。
接着，在步骤S31中，判定先前所检测出的区域R0是否与其前一次的处理中所检测出的区域R0为同一区域，即，是否能够认为是同一光源的影像。
该判定是通过比较由过去的处理所算出的白浊程度U1的平均值Ave(U1)和由(式3)所算出的最新的白浊程度U1来进行，在过去的白浊程度的平均值Ave(U1)和最新的白浊程度U1的差小时，则判定为基于由同一光源生成的影像的区域。
该处理在所述类似性计算单元22c中进行，具体地说，在满足(式4)时，判定为同一光源的影像。
ThLOW＜U1/Ave(U1)＜ThHIGH   (式4)
这里，ThLOW是判定为同一光源的影像的最低阈值，ThHIGH是判定为同一光源的影像的最大阈值。
在步骤S31中，在判定为同一光源的影像时，接着，在步骤S32中，用于表示连续检测到视为同一光源的影像的总计次数T递增(increment)而进至步骤S34。另外，步骤S32以后的处理在所述可信度决定单元22d中进行，在步骤S32中所递增的总计次数T的值随时被存储在可信度决定单元22d中。
另一方面，在步骤S31中，在判定为不是同一光源的影像时，接着，在步骤S33中，总计次数T递减(decrement)而进至步骤S35。而且，在步骤S33中所递减的总计次数T的值随时被存储在可信度决定单元22d中。
接着，在步骤S34中，先前在步骤S30中所算出的白浊程度U1被存储在可信度决定单元22d中。而且，根据由过去的处理所算出的白浊程度的平均值Ave(U1)和先前所算出的白浊程度U1，再次计算并更新白浊程度的平均值Ave(U1)。更新后的白浊程度的平均值Ave(U1)的值被存储在可信度决定单元22d中。
接着，在步骤S35中，判定并更新所算出的白浊程度的可信度F。可信度F是由上述的总计次数T的值来表示。而且，T的值越大，即，越是根据连续检测到的、被认为是同一光源的影像的亮度斜率所算出的白浊程度U1，则判定为可信度F越高，从而更新可信度F的值。
而且，在本实施例中，如图14所示，将可信度F分为四个等级即Ph0、Ph1、Ph2、Ph3来进行管理。其中，Ph3表示可信度为最高的状态，即，所算出的白浊程度U1为最可信赖的状态。而且，可信度F的等级是根据T的值迁移。
即，在图14中，在初期状态中可信度F的等级为Ph0，在表示连续检测到视为同一光源的影像的总计次数T的值超过规定值T1时，可信度F的等级转移到Ph1。之后，在总计次数T的值超过规定值T2时可信度F的等级转移到Ph2，进而，在总计次数T的值超过规定值T3时可信度F的等级转移到Ph3。
另一方面，在可信度F的等级为Ph3时，如果总计次数T的值递减而低于规定值T4时，则可信度F的等级转移到Ph2，之后，在总计次数T的值低于规定值T5时可信度F的等级转移到Ph1，进而，在总计次数T的值低于规定值T6时可信度F的等级转移到Ph0。
在可信度F转移到别的等级时，为了防止马上返回原来的等级的摆动(hunting)，在可信度F转移到高等级时，对总计次数T加上规定值Tc1，此外，在可信度F转移到低等级时，从总计次数T减去规定值Tc2也可。而且，在执行可信度F的更新时，结束图9的处理而返回主例程(图7)。
(基于边缘强度的白浊程度计算处理)
第2白浊程度计算单元24从摄像单元10拍摄的图像I中，根据边缘强度的分布计算出镜头的白浊程度U2。
在镜头12的表面产生白浊时，图像I变得不清晰。该不清晰的程度随着白浊程度变高而变大。在本实施例中，该不清晰的程度是根据图像I中的边缘强度的分布来计算。
以下，使用图15说明白浊程度U2的计算步骤。
首先，在图15的步骤S40中，在所述边缘强度计算单元24a中，在摄像单元10所拍摄的图像I中设定进行边缘检测的区域。进行边缘检测的区域既可以作为图像I整体，也可以限定为边缘容易出现的位置。
即，如果是白天，则设定包含本车辆5的后方的地平线的区域，对该区域的内部进行边缘检测，根据由地平线形成的边缘计算出边缘强度也可。如果是夜间，则设定包含与本车辆5行驶的车道Y2相邻的车道Y1、Y3的区域，对该区域的内部进行边缘检测，根据在相邻车道存在的其它车辆6的边缘计算出边缘强度也可。这里，如前所述，白天和夜间的识别可以根据增益调整单元16中调整的增益的值来进行。
接着，在步骤S41中，在所述边缘强度计算单元24a中，使边缘检测运算符(operator)作用于步骤S40中所设定的区域中，对图像I中的各像素求出边缘强度。这时使用的边缘检测滤波器的系数不特别限制。
接着，在步骤S42中，在所述边缘强度分析单元24b中，将对图像I的每个像素算出的边缘强度的值平均而计算出平均边缘强度。另外，平均边缘强度是用已进行边缘检测的区域的面积来进行归一化。这样算出的平均边缘强度越小，图像I的清晰度越低，即判断为白浊程度越高。此外，平均边缘强度越大，则图像I的清晰度越高，即判断为白浊程度越低。
另外，平均边缘强度不仅从1张图像中计算出，还可以通过将不同的时间所拍摄的多个图像的平均边缘强度平均化来计算出。由此，即使在图像I中混入突发性的干扰的情况下，也可以稳定地评价图像I的清晰度。而且，这时，持续规定时间而求出平均边缘强度的变化，在平均边缘强度的变化量小时，可以作为所算出的平均边缘强度即白浊程度的可靠性高者，计算先前说明的可信度F。
然后，在步骤S43中，根据平均边缘强度计算出白浊程度U2。具体地说，例如，将所述归一化的平均边缘强度的倒数作为白浊程度U2来计算。
(附着物检测处理)
接着，使用图16～图19说明在图7的步骤S6中进行的附着物检测处理的细节。在附着程度计算单元26中，根据图像I中的边缘强度和亮度值的分布计算出镜头12上附着的泥或水滴等附着物的附着程度。这里，将附着程度计算单元26中算出的附着物的附着程度设为M。
以下，使用图16，以检测附着有泥的情况为例，详细地说明在附着程度计算单元26中进行的附着物的附着程度M的计算方法。
首先，在步骤S50中，在所述处理区域设定单元26a中，以规定的比例缩小摄像单元10所拍摄的图像I而得到缩小图像I’。这样缩小图像是为了将图像的尺寸缩小而减少进行图像处理时所需要的存储量，进而，提高处理速度。另外，具体的缩小率是可以考虑所使用的计算机环境以及图像的分辨率等而决定。然后，在缩小图像I’中设定进行附着物检测的区域。
这里生成的缩小图像I’虽然以与先前叙述的为了计算白浊程度而生成的缩小图像I’一样的符号来记载，但是这些缩小率不需要设为一样的值，只要按照与各个图像对应的比例缩小即可。
进行附着物检测的区域是可以设定为缩小图像I’的整体，但是在本实施例中，将包含使用的作为图像识别应用的BSW系统9的车辆检测区域的区域当作处理对象区域。通过这样设定处理对象区域，可以提高图像识别应用的精度，并且还提高附着物检测处理的处理效率。
进而，在步骤S50中，将所设定的处理对象区域如图17所示分割为多个区块201。然后，以后的处理以该区块为单位进行。在本实施例中，各区块201的尺寸设定为检测的附着物的大小以下。通过设定为这样的尺寸，可以确实且有效地仅检测泥污。此外，这样分割的各区块201的座标等的信息，与对各区块赋予的区块编号相对应地存储在处理区域设定单元26a中。
接着，在步骤S51中，在所述边缘检测单元26b中进行边缘检测处理以及对边缘检测结果的干扰去除。边缘检测处理是对在步骤S50中所生成的缩小图像I’进行。该边缘检测使用以往公知的方法进行即可。然后，对根据边缘检测的结果所获得的边缘强度进行阈值处理而仅提取所需要的边缘结构点。即，该边缘强度ρ生成仅具有弱边缘构成点的边缘图像E(x，y)，该弱边缘构成点为具有规定的范围内的值的边缘结构点。
在图18(b)中表示这样生成的边缘图像E(x，y)的一例。图18(b)是从图18(a)所示的缩小图像I’获得的边缘图像E(x，y)，泥污部分作为弱边缘来被检测。
另外，即使一样是泥污，行驶在未铺设道路(off load)等路面状态差的道路时的泥污和行驶在铺设道路(on load)时的泥污，有时其浓度和色调等也不同，弱边缘强度的程度也不同。此外，根据附着物的种类，有时其边缘强度也不同。因此，根据路面状态、其它行驶状况、附着物的种类、附着状况等，预先准备多个对于边缘强度ρ的阈值，在执行附着物检测处理时，判断使用哪一个阈值也可。
在步骤S51中，进一步进行去除存在于所生成的边缘图像E(x，y)中的干扰的干扰去除处理。在本实施例中，将满足以下条件的边缘结构点定义为干扰。
(a)在前次的处理中所检测到的边缘图像E(x，y)中的边缘结构点，在此次边缘检测处理中未在相同的位置被检测到时；
(b)面积为规定值以下的边缘结构点。
首先，取得在时刻t所生成的边缘图像E(x，y，t)和通过其前一次的边缘检测处理来在时刻t-Δt所生成的边缘图像E(x，y，t-Δt)的逻辑积，将满足所述(a)的条件的边缘结构点作为干扰去除。这是因为考虑到，要在附着物检测处理中检测的边缘结构点是附着在镜头12上的附着物的边缘，并且附着在镜头12上的附着物能够在一定时间内相同位置上持续存在。
接着，将满足上述(b)条件的边缘结构点作为干扰去除。这是因为考虑到，附着在镜头12上的污浊的边缘成为某种程度的块，所以独立的小的边缘不是污浊。通过进行以上那样的干扰去除，可以高精度地进行镜头附着物的检测。
接着，在步骤S52中，在所述亮度分布计算单元26c中进行亮度分布计算处理。这里，首先，对在步骤S50中所设定的每个区块201，计算出各区块201内的像素的平均亮度值Iave(u，v)。这里，u，v分别表示各区块的横向位置和纵向位置。另外，平均亮度值Iave(u，v)是通过对每个区块201求出区块201内部的像素的亮度值的总和，将求出的亮度值的总和除以区块201的面积(像素数)来计算。
接着，在步骤S53中，根据各区块的平均亮度值Iave(u，v)设定关注区块、和该关注区块周围的区块(以下，称为周围区块)。在图19中用粗线表示的区块为关注区块201a。该关注区块201a是从平均亮度值低的区块中选择。即，因为附着有泥污的区域的亮度值具有比没有附着泥污的区域的平均亮度值变低的倾向。
此外，周围区块201b被选择于位于关注区块201a外围的与该关注区块201a相邻的区块201的外围的区块。即，因为考虑到，泥污不仅是一个块，而且还附着在其相邻的区块上的情况较多，所以在关注区块201a和与其相邻的区块中平均亮度值Iave(u，v)的差小。因此，比与关注区块201a相邻的区块更外侧的区块作为周围区块201b来选择。
另外，周围块201b的设定方法不限于此，在附着物的附着面积小等情况下，也可以设定与关注区块201a相邻的区块201作为周围区块201b。此外，在附着物的附着面积大的情况下，也可以设定从关注区块201a离开数个区块的区块作为周围区块201b。
接着，在步骤S54中，对具有比关注区块201a的平均亮度值Iave(u，v)高的平均亮度值Iave(u，v)的周围区块201b(明亮的周围区块)的数量进行计数。在该情况下，也使用2值化前的亮度值来计数。接着，计算明亮的周围区块201b的比例(明亮的周围区块数/周围区块的总数)。这时，对于存在泥污的区块(关注区块201a)，明亮的周围区块数的比例变高。
接着，在步骤S55中，从在边缘检测处理中所检测到的边缘图像E(x，y)中计数构成弱边缘的像素数。该弱边缘的计数使用2值化后的图像来进行。附着在镜头12上的泥污不能对焦而轮廓模糊，具有弱边缘成为块而存在的倾向。因此，在本实施例的附着物检测处理中，对于每个区块计数弱边缘构成点的数量，并存储计数得数。
在对一张缩小图像I’结束了上述处理后，在步骤S56中，进行处理时间判定处理。在步骤S56中，判定是否经过了一定时间，当经过了一定时间时进至步骤S57，当未经过一定时间时，返回至步骤S50。
这样，通过将从步骤S50至步骤S55在规定的时间内重复多次，按照时间序列存储平均亮度值、明亮的周围区块的比例、弱边缘的计数得数等信息。另外，该规定的时间是根据附着物的种类、车速等的车辆信息等任意设定。例如，在雨天、未铺设路上行驶中，由于泥污频繁地附着，所以需要在短时间内进行泥污的检测，同时需要迅速警告。因此，优选将规定的时间设定得较短。
与此相反，在晴天、铺设道路上行驶中，由于泥污难以附着，所以为了能够进行高精度的检测，将信息长时间积累的为佳，因此，优选将规定的时间设定得较长。
接着，在步骤S57中，在所述亮度变化计算单元26d中进行亮度变化提取处理。附着在镜头12上的泥污即使经过时间也难以移动并且透过性低，所以该区域内的时间方向的亮度值变动小。为了调查这样的时间方向的亮度值的变化，计算出相同区块的平均亮度值Iave(u，v)的时间方向的平均值和方差。
在步骤S57中，首先，通过将相同区块的平均亮度值Iave(u，v)对时间方向进行平均化，从而计算出每个区块的时间平均亮度值E0。
接着，根据所算出的每个区块的时间平均亮度值E0，对每个区块计算出时间方向的平均亮度值Iave(u，v)的方差V。
接着，在步骤S58中，在所述附着物判定单元26e中进行泥污判定。
泥污判定是通过根据以下说明的信息，对每个区块201计算出表示泥相似度的得分来进行。
即，在弱边缘的计数得数比阈值少的区块201中，认为泥的附着率低，表示泥相似度的得分低。此外，在周围区块201b中的明亮的区块数的比例比阈值高的情况下，认为区块201的表示泥相似度的得分高。然后，如果进一步表示泥相似度的得分高的区块201的平均亮度值的方差在规定的阈值以下时，则认为区块201上附着有泥的可能性高。
根据这样算出的表示泥相似度的得分，在区块201的泥相似度得分为阈值以上，进而，区块201的时间平均亮度值E0的方差V为规定的阈值以下时，则判断为区块201上存在有泥污。然后，计算出与表示泥相似度的得分相应的附着程度M。
另外，在上述的例子中虽然说明了进行泥污的判定的情况，但是附着物不限于泥，即使在附着有水滴的情况下，也可以同样计算出其附着程度M。然后，在结束步骤S58时，则返回主例程(图7)。
(镜头污浊程度计算处理)
接着，说明在图7的步骤S7中进行的镜头污浊程度计算处理的细节。
这里根据先前算出的第1白浊程度U1、第2白浊程度U2、附着程度M，将镜头12的污浊程度量化。
具体地说，首先，根据第1白浊程度U1或者第2白浊程度U2的值计算镜头12的白浊程度U。这时，可以仅根据第1白浊程度U1计算白浊程度U，也可以仅根据第2白浊程度U2计算白浊程度U，而且，还可以使用第1白浊程度U1和第2白浊程度U2两者计算白浊程度U。
然后，至于使用第1白浊程度U1、第2白浊程度U2的哪一个，根据计算这些值的环境或者第1白浊程度U1、第2白浊程度U2的可信度来决定即可。
即，例如，监视增益调整单元16调整的增益的值，当增益的大小为规定值以上时，即为夜间时，由于本车辆5的后续车辆的前照灯被清晰地图像化，因此使用所计算的第1白浊程度U1的值来计算白浊程度U的值即可。
但是，即使是夜间，在不存在后续车辆时，因为不能根据前照灯的影像来计算第1白浊程度U1，所以在未检测到前照灯的影像时，使用第2白浊程度U2的值来计算白浊程度U的值即可。
另一方面，在增益的大小未满规定值时，即为白天时，由于太阳光的反射像被清晰地图像化，因此使用所计算的第1白浊程度U1的值来计算白浊程度U的值即可。
但是，即使是白天，在不存在太阳光的反射像时，因为不能根据太阳光的反射像来计算第1白浊程度U1，所以在未检测到太阳光的反射像时，使用第2白浊程度U2的值来计算白浊程度U的值即可。
然后，将这样算出的白浊程度U的值和先前所算出的附着程度M的值通知给检测灵敏度调整单元50。
(车辆检测阈值的校正处理)
接着，在图7的步骤S8中，进行在车辆检测单元70中所进行的其它车辆6的检测时的车辆检测灵敏度的校正。该处理是在所述检测灵敏度调整单元50中进行。
在检测灵敏度调整单元50中，根据白浊程度U的值和附着程度M的值，校正车辆检测单元70所进行的车辆检测时使用的各种阈值的值。关于具体的阈值的内容，如后所述。
这样校正阈值的值是因为，在白浊程度U的值大时，即在镜头12的表面产生有白浊时，摄像单元10所拍摄的图像I的清晰度降低，所以例如在进行边缘检测时，如果不将边缘检测的阈值校正为比没有产生白浊时小的值，则不能检测车辆。
但是，实际上仅根据白浊程度U的值校正各种阈值还不够。即，在镜头12的表面产生有白浊之外，还附着有泥、水滴时，即使白浊程度本身相同，在所述第1白浊程度计算单元22中也判断为白浊进一步加重，从而算出比实际更高的白浊程度U。
然后，在根据这样算出的更高的白浊程度U校正各种阈值时，由于车辆的检测灵敏度变得过高，容易检测到不需要的干扰，所以反而车辆的检测变得困难。
因此，检测灵敏度调整单元50不仅考虑白浊程度U的值，还考虑附着程度M的值，即使在白浊程度U的值大(白浊程度高)时，也在附着程度M的值大时，抑制各种阈值的校正量。另外，关于阈值的具体的校正方法如后所述。
(车辆检测处理)
接着，使用图25说明图7的步骤S9中进行的车辆检测处理的细节。
《基于差分波形信息的立体物的检测》
首先，在步骤S60中，在所述检测灵敏度调整单元50中对接近车辆检测单元72设定根据镜头12的污浊程度(白浊程度U和附着程度M)校正后的各种阈值的值。该处理的细节如后所述。
接着，在步骤S61中，在所述视点变换单元72a中将摄像单元10所拍摄的图像I变换为从上空垂直向下俯视的假想图像。以后，将该变换称为视点变换，将通过视点变换生成的假想图像称为视点变换图像。
该视点变换是通过以下处理来进行，即对设置在与路面的相对关系已知的位置上的摄像机所拍摄的包含路面的图像I，假设在图像I的整体中映照有路面，并进行座标变换而使得从正上方俯视该路面。将拍摄的图像I变换为视点变换图像的是为了利用立体物所特有的垂直边缘通过视点变换而变换为通过特定的定点的直线群的原理，从而识别平面物和立体物。另外，通过视点变换而变换为视点变换图像还可利用在后述的基于边缘信息的立体物的检测中。
接着，在步骤S62中，将在视点变换单元72a中所获得的视点变换图像依次输入到所述位置匹配单元72b，并进行所输入的不同时刻的视点变换图像之间的位置匹配。
图20是说明位置匹配单元72b中进行的处理的概要的图，图20(a)是表示本车辆5的移动状态的平面图，图20(b)表示位置匹配的概要。
如图20(a)所示，假设在当前时刻本车辆5位于位置V1，在一时刻前本车辆5位于位置V2。此外，假设其它车辆6位于与本车辆5行驶的车道相邻的车道的后方，在当前时刻其它车辆6位于位置V3，在一时刻前其它车辆6位于位置V4。进而，假设本车辆5在一时刻内仅移动了移动距离d。另外，所谓一时刻前，可以是离当前时刻预定时间(例如1控制周期)的过去的时刻，也可以是任意时间的过去的时刻。
在这样的状态中，当前时刻的视点变换图像PBt在图20(b)中表示。在该视点变换图像PBt中，路面上描画的白线为矩形，但是在位于位置V3的其它车辆6的区域中发生倾倒。此外，关于一时刻前的视点变换图像PBt－1也一样，虽然在路面上描画的白线为矩形，但是在位于位置V4的其它车辆6的区域中发生倾倒。
这是因为相对于立体物的垂直边缘由于视点变换而变成为沿着倾倒方向的直线群，如白线那样被描画在路面上的花纹不包含垂直边缘，所以即使进行了视点变换也不会发生那样的倾倒。
位置匹配单元72b进行上述那样生成的视点变换图像PBt和视点变换图像PBt－1的位置匹配。这时，位置匹配单元72b使一时刻前的视点变换图像PBt－1仅偏移与在一时刻内本车辆5移动的距离对应的量，使其与当前时刻的视点变换图像PBt位置一致。
图20(b)的左侧的视点变换图像PBt和中央的视点变换图像PBt－1表示仅偏移了偏移量d’的状态。该偏移量d’是图20(a)所示的与本车辆5的实际移动距离d对应的视点变换图像上的移动量，根据从车辆信息获取单元60获得的本车辆5的车速和从一时刻前至当前时刻为止的时间来决定。
接着，在步骤S63中，在进行了视点变换图像PBt、PBt－1的位置匹配后取差分，并生成差分图像PDt。这里，收纳于差分图像PDt中的亮度值，可以是视点变换图像PBt、PBt－1的对应的像素的亮度值的差的绝对值，也可以是为了与照度环境的变化对应而在该绝对值超过了第1阈值p时设为“1”，在没有超过时设为“0”。
图20(b)的右侧的图像为差分图像PDt。另外，所述第1阈值p是预先在检测灵敏度调整单元50中进行了校正后，在步骤S60中对接近车辆检测单元72设定的值。其校正方法如后所述。
接着，在步骤S64以后，在所述立体物检测单元72c中根据图20(b)所示的差分图像PDt检测立体物。这时，立体物检测单元72c也一并计算立体物的移动距离。
计算立体物的检测以及移动距离之际，首先，在步骤S64中，所述立体物检测单元72c生成根据差分图像PDt算出的差分波形DWt。
生成差分波形DWt之际，立体物检测单元72c首先在差分图像PDt的内部设定立体物的检测区域。
所述接近车辆检测单元72检测在本车辆5变更车道时有接触的可能性的、在与本车辆5行驶的车道相邻的车道行驶的其它车辆6。
因此，在由摄像单元10所获得的图像I中，在本车辆5的右侧和左侧设定两个检测区域。在本实施例中，在图1所示本车辆5的后方的右侧和左侧分别设定矩形的检测区域X1、X2。然后，将在该检测区域X1、X2的内部所检测到的其它车辆6作为接近车辆来检测。另外，这样的检测区域X1、X2既可以根据对本车辆5的相对位置进行设定，也可以以道路上的白线的位置为基准进行设定。在以道路上的白线的位置为基准进行设定的情况下，例如以利用现有的白线识别技术等检测到的白线的位置为基准。
此外，立体物检测单元72c将检测区域X1、X2的本车辆5侧的边(沿着本车辆5的行驶方向的边)识别为图1所示的接地线L1、L2。
图21表示由所述立体物检测单元72c所生成的差分波形的状况的概略图。如图21所示，立体物检测单元72c从位置匹配单元72b所算出的差分图像PDt(图20(b)的右图)中的相当于检测区域X1、X2的内部的部分生成差分波形DWt。这时，沿着由于视点变换而立体物倾倒的方向生成差分波形DWt。另外，在图21所示的例子中，为了方便，仅使用检测区域X1进行说明，但是对于检测区域X2也通过同样的步骤生成差分波形DWt。
以下，具体地说明差分波形DWt的生成方法。立体物检测单元72c首先在差分图像PDt中设定如图21(a)所示的沿着立体物倾倒的方向的线La。然后，在所设定的线La上对具有规定值以上的差分值的像素DP的数量进行计数。这里，所谓具有规定值以上的差分值的像素DP(以下，简单称为像素DP)，是在差分图像PDt的亮度值(像素值)为将视点变换图像PBt、PBt－1的亮度值的差绝对值化后的值时，超过第1阈值p的像素；是在以“0”、“1”表现差分图像PDt的亮度值的情况下，表示“1”的像素。
立体物检测单元72c在对具有第1阈值p以上的差分值的像素DP的数量进行计数后，求出线La和接地线L1的交点CP。然后，将交点CP和像素DP的计数得数相对应，根据交点CP的位置，决定横轴位置，即图21(b)的上下方向轴上的位置，并且根据像素DP的计数得数决定纵轴位置，即图21(b)的左右方向轴上的位置，在这样决定的横轴位置、纵轴位置的交点进行标绘。
以下同样地，立体物检测单元72c设定沿着立体物倾倒的方向的线Lb、Lc…，对像素DP的数量进行计数，根据各交点CP的位置，决定图21(b)的对应的横轴位置，根据像素DP的计数得数决定纵轴位置，在该位置进行标绘。这样，生成图21(b)所示的差分波形DWt。
另外，如图21(a)所示，沿着立体物倾倒的方向的线La和线Lb所横切检测区域X1的距离不同。因此，假设检测区域X1由像素DP填满时，线La上的像素DP比线Lb上的像素DP的计数得数多。因此，在根据像素DP的计数得数决定纵轴位置时，立体物检测单元72c根据沿着立体物倾倒的方向的线La、Lb横切检测区域X1的距离，将像素DP的计数得数归一化。
例如，在图21(a)中，线La上的像素DP的计数得数为6，线Lb上的像素DP的计数得数为5。因此，在图21(a)中根据计数得数决定纵轴位置之际，立体物检测单元72c将计数得数除以所述横切的距离而进行归一化。
之后，在步骤S65中，在立体物检测单元72c中判断在步骤S64中所生成的差分波形DWt的峰值是否为第2阈值α以上。该第2阈值α是预先在检测灵敏度调整单元50中进行了校正后，在步骤S60中对接近车辆检测单元72设定的值。该校正方法如后所述。
这里，在差分波形DWt的峰值不为第2阈值α以上的情况下，即差分值几乎没有的情况下，判断为在所拍摄的图像I中不存在立体物。因此，在判断为差分波形DWt的峰值不为第2阈值α以上时(步骤S65为“否”时)进至步骤S74，在步骤S74中，判断为不存在立体物即其它车辆6，从而结束图25的车辆检测处理，之后，返回主例程(图7)。
另一方面，在判断为差分波形DWt的峰值为第2阈值α以上时(步骤S65为“是”时)，立体物检测单元72c判断为存在立体物，并进行当前时刻的差分波形DWt与一时刻前的差分波形DWt－1的对比，计算立体物的移动距离。
为此，首先在步骤S66中，如图22所示，在立体物检测单元72c中将差分波形DWt分割为多个小区域DWt1～DWtn(n为2以上的任意的整数)。这时，如图22所示，小区域DWt1～DWtn以相叠加的方式分割。即，在图22中，小区域DWt1和小区域DWt2相叠加，小区域DWt2和小区域DWt3相叠加。
接着，在步骤S68中，立体物检测单元72c对分割的每个小区域DWt1～DWtn求出偏移量(差分波形的横轴方向(图21(b)的上下方向)的移动量)。该偏移量根据一时刻前的差分波形DWt－1和当前时刻的差分波形DWt的差(横轴方向的距离)求出。
具体地说，，将一时刻前的差分波形DWt－1向横轴方向(图21(b)的上下方向)移动时，判定与当前时刻的差分波形DWt的误差为最小的位置，对每个小区域DWt1～DWtn求出差分波形DWt－1的原来的位置与误差最小的位置在横轴方向的移动量作为偏移量。
然后，在步骤S69中，立体物检测单元72c将对每个小区域DWt1～DWtn的所求出的偏移量进行计数而生成直方图。另外，这时，也可以对多个小区域DWt1～DWtn的每一个预先加权，将对每个小区域DWt1～DWtn所求出的偏移量根据权重进行计数而直方图化。
例如，在小区域DWti平坦时，即像素DP的计数得数的最大值和最小值的差在变小时，减小权重。这是因为，在平坦的小区域DWti中没有特征，所以计算偏移量之际误差变大的可能性高。
另一方面，在小区域DWti起伏较多时，即像素DP的计数得数的最大值和最小值的差在变大时，增大权重。这是因为，在起伏较多的小区域DWti中存在特征，所以能够正确计算出偏移量的可能性高。通过这样加权，可以提高移动距离的计算精度。
图23是表示在步骤S69中所生成的直方图的一例的图。如图23所示，在各小区域DWt1～DWtn与一时刻前的差分波形DWt－1的误差为最小的偏移量上会产生一些偏差。
接着，在步骤S70中，在立体物检测单元72c中根据提供直方图的极大值的位置，计算作为立体物的移动距离的相对移动距离τ＊。
即，在图23所示的直方图的例子中，将表示直方图的极大值的偏移量作为相对移动距离τ＊来计算。该相对移动距离τ＊是其它车辆6相对于本车辆5的相对移动距离。
接着，在步骤S71中，在立体物检测单元72c中根据相对移动距离计算出立体物的绝对移动速度。这里，将相对移动距离进行时间微分(timederivative)而计算出相对移动速度，同时将在车辆信息获取单元60中所获取的本车速度相加而计算出绝对移动速度。
另外，为了提高移动距离的计算精度，如上述那样将差分波形DWt分割为多个小区域DWt1～DWtn，但是在移动距离的算出精度没有要求那么高的情况下也可以不分割为小区域DWt1～DWtn。在该情况下，立体物检测单元72c根据差分波形DWt和差分波形DWt－1的误差为最小时的差分波形DWt的偏移量来计算出移动距离。即求出一时刻前的差分波形DWt－1与当前时刻的差分波形DWt的偏移量的方法不限于上述内容。
接着，在步骤S72中，在立体物检测单元72c中判定立体物的绝对移动速度是否进入在规定的速度范围内。规定的速度范围使用预先设定的值。然后，在立体物的绝对移动速度处于规定的速度范围内时(步骤S72为“是”时)，进至步骤S73，在步骤S73中，判断立体物为其它车辆6，之后，返回主例程(图7)。
另一方面，在立体物的绝对移动速度不处于规定的速度范围内时(步骤S72为“否”时)，进至在步骤S74，在步骤S74中，判断不存在立体物即其它车辆6，结束图25的车辆检测处理，之后，返回主例程(图7)。
这里，使用图24说明第1阈值p和第2阈值α的校正方法。图24(a)是说明对应于镜头12的污浊程度的第1阈值p的校正方法的图，图24(b)是说明对应于镜头12的污浊程度的第2阈值α的校正方法的图。
首先，使用图24(a)说明第1阈值p的校正方法。在没有镜头12的污浊时，第1阈值p在检测灵敏度调整单元50中被设定为规定值p0。图24(a)的横轴表示在白浊程度计算单元25中所算出的镜头12的白浊程度U，越向右表示白浊程度U越高。
然后，第1阈值p是白浊程度U越高其被校正为越小。将第1阈值p校正而变小，以此提高车辆的检测灵敏度。而且，这时，将第1阈值p进一步校正，从而抑制根据附着程度计算单元26中所算出的泥、水滴等附着物对镜头12的附着程度M而变小的程度。
即，如图24(a)所示，有附着物时(虚线)与没有附着物时(实线)相比，即使镜头12的白浊程度变高，将第1阈值p的值的降低量减小。
将这样校正的第1阈值p的值设定于接近车辆检测单元72，并用于车辆检测处理。而且，在车辆检测处理中，在镜头12的白浊程度U高时，提高检测灵敏度，当差分图像PDt中检测到小的差分值时，将该点作为立体物(其它车辆)的候选来检测，但是在镜头12上有附着物时，抑制检测灵敏度的提高，若在差分图像PDt中没有检测出比刚才大的差分值时，则不能作为立体物的候选来检测。
然后，第2阈值α也按照与第1阈值p一样的考虑方法进行校正。即，如图24(b)所示，在没有镜头12的污浊时设定为规定值α0的第2阈值α是根据附着程度计算单元26中所算出的泥、水滴等附着物的镜头12的附着程度M来进行校正，在镜头12的白浊程度U高时，提高检测灵敏度，在差分波形DWt中检测到小的峰值时，将该点作为立体物(其它车辆)的候选来检测，在镜头12上有附着物时，抑制检测灵敏度的提高，若在差分波形DWt中没有检测到比刚才大的峰值，则不能作为立体物的候选来检测。
另外，在图24(a)、(b)中，虽然表示了根据白浊程度U的高低将第1阈值p、第2阈值α分别校正为线性的例子，但是第1阈值p、第2阈值α的校正方法不限于此。即，例如根据白浊程度U的高低将第1阈值p、第2阈值α以台阶状(分级地)校正也可。
此外，也可以按照夜间和白天，设定车辆检测灵敏度(第1阈值p和第2阈值α)的校正方法。即，相对于白天，在夜间降低与镜头12的白浊程度U相应的车辆检测灵敏度(第1阈值p和第2阈值α)的抑制量，可以进一步可靠地检测出接近车辆。另外，如上所述，夜间和白天的判定是可以根据增益调整单元16中所调整的增益的值进行，在增益的值为规定值以上时判定为夜间，除此之外判定为白天。
进而，也可以根据检测到的立体物(接近车辆)的绝对移动速度和本车辆5的车速计算出接近车辆的相对速度，根据这样算出的相对速度的大小设定车辆检测灵敏度(第1阈值p和第2阈值α)的校正方法。即，在所算出的相对速度具有规定值以上的正的值时，即本车辆5在被接近车辆从后方追上而超车时，降低与镜头12的白浊程度U相应的车辆检测灵敏度(第1阈值p和第2阈值α)的抑制量，从而进一步可靠地检测出接近车辆。
《基于边缘信息的立体物的检测》
接着，说明能够取代图6所示的检测块A1而工作的、由亮度差计算单元72g、边缘线检测单元72h、以及立体物检测单元72i构成的利用边缘信息的立体物的检测块A2。
图26是表示所述摄像单元10的撮像范围等的图，图26(a)表示平面图，图26(b)表示本车辆5的后侧方的实际空间上的立体图。如图26(a)所示，摄像单元10拍摄本车辆5的后侧方的规定的范围ω。
本实施例的检测区域X1、X2在视点变换图像中成为梯形，这些检测区域X1、X2的位置、大小、以及形状是根据距离d1～d4来决定。另外，检测区域X1、X2不限于梯形，视点变换图像中也可以是矩形等其它形状。
这里，距离d1是从本车辆5至接地线L1、L2的距离。接地线L1、L2的意思是在与本车辆5所行驶的车道相邻的车道上存在的立体物与地面接触的线。在本实施例中，目的是检测在本车辆5的后侧方与本车辆5的车道相邻的车道上行驶的其它车辆6。因此，根据从本车辆5至白线W的距离d11、以及从白线W至预测为其它车辆6行驶的位置的距离d12，可以大致固定地决定成为其它车辆6的接地线L1、L2的位置即距离d1。
距离d2是从本车辆5的后端部向车辆行进方向延伸的距离。该距离d2被决定成将检测区域X1、X2至少收敛在摄像单元10的拍摄范围内。距离d3是表示检测区域X1、X2在车辆行进方向中的长度的距离。该距离d3是根据成为检测对象的立体物的大小来决定。在本实施例中，由于检测对象为其它车辆6，所以距离d3被设定为包含其它车辆6的长度。
如图26(b)所示，距离d4是表示设定为包含实际空间中其它车辆6等的轮胎的高度的距离。距离d4在视点变换图像中成为图26(a)所示的部位的长度。另外，距离d4也可以是不包含比视点变换图像中左右相邻车道进一步相邻的车道(即隔一个车道的车道)的长度。
如上所述，距离d1～距离d4被决定，由此检测区域X1、X2的位置、大小、以及形状被决定。如若具体地说明，则通过距离d1决定形成梯形的检测区域X1、X2的上底边b1的位置。通过距离d2决定上底边b1的起始点位置C1。通过距离d3决定上底边b1的终点位置C2。通过从摄像单元10向起始点位置C1延伸的直线L3决定形成梯形的检测区域X1、X2的侧边b2。同样，通过从摄像单元10向终点位置C2延伸的直线L4决定形成梯形的检测区域X1、X2的侧边b3。另外，通过距离d4决定形成梯形的检测区域X1、X2的下底边b4的位置。
这样，由各边b1～b4包围的区域成为检测区域X1。如图26(b)所示，该检测区域X1在从本车辆5向后侧方的实际空间上为正四边形(长方形)。而且，虽然在图26(b)中没有记载，但是对于检测区域X2也一样。
为了检测视点变换图像中所包含的立体物的边缘，如图6所示的亮度差计算单元72g对于通过视点变换单元72a进行了视点变换的视点变换图像计算亮度差。亮度差计算单元72g对沿着在实际空间中的垂直方向延伸的垂直假想线的多个位置的每一个，计算该各个位置近旁的两个像素间的亮度差。亮度差计算单元72g通过仅设定一根在实际空间中的垂直方向延伸的垂直假想线的方法、和设定两根垂直假想线的方法的任意一个来计算亮度差。
说明设定两根垂直假想线的具体方法。亮度差计算单元72g对视点变换图像设定相当于在实际空间向垂直方向延伸的线段的第1垂直假想线、以及相当于与第1垂直假想线不同的在实际空间中向垂直方向延伸的线段的第2垂直假想线。亮度差计算单元72g沿着第1垂直假想线和第2垂直假想线，连续求出第1垂直假想线上的点和第2垂直假想线上的点的亮度差。以下，详细地说明该亮度差计算单元72g的动作。
如图27(a)所示，亮度差计算单元72g设定相当于在实际空间向垂直方向延伸的线段并且通过检测区域X1的第1垂直假想线Le(以下，称为关注线Le)。而且，亮度差计算单元72g设定与关注线Le不同的、相当于在实际空间向垂直方向延伸的线段的并且通过检测区域X1的第2垂直假想线Lr(以下，称为参照线Lr)。这里参照线Lr被设定在从关注线Le离开实际空间中的规定距离的位置。另外，相当于实际空间中向垂直方向延伸的线段的线是，在视点变换图像中从摄像单元10的位置Ps放射状地扩散的线。
亮度差计算单元72g在关注线Le上设定关注点Pe(第1垂直假想线上的点)。而且亮度差计算单元72g在参照线Lr上设定参照点Pr(第2垂直假想线上的点)。这些关注线Le、关注点Pe、参照线Lr、参照点Pr在实际空间中成为图27(b)所示的关系。即，关注线Le以及参照线Lr是在实际空间中向垂直方向延伸的线，关注点Pe和参照点Pr是在实际空间上处于大致相同高度的点。
亮度差计算单元72g求出关注点Pe和参照点Pr的亮度差。假设在关注点Pe和参照点Pr的亮度差大时，认为在关注点Pe和参照点Pr之间存在边缘。因此，图6的边缘线检测单元72h根据关注点Pe和参照点Pr的亮度差检测边缘线。
更详细地说明这一点。图28是表示亮度差计算单元72g的详细动作的图，图28(a)表示视点变换图像，图28(b)表示扩大了图28(a)的视点变换图像的一部分B1的图。另外，在图28中仅图示检测区域X1来说明，但是对于检测区域X2也通过同样的步骤计算亮度差。
在摄像单元10所拍摄的图像I内映照了其它车辆6的情况下，如图28(a)所示，在视点变换图像的检测区域X1出现其它车辆6。然后，如图28(b)所示，在视点变换图像上，在其它车辆6的轮胎的橡胶部分上设定关注线Le。在该状态中，亮度差计算单元72g首先设定参照线Lr。参照线Lr在从关注线Le离开实际空间上规定的距离的位置，沿着垂直方向进行设定。
具体地说，在接近车辆检测单元72中，参照线Lr被设定在从关注线Le离开实际空间上例如10cm的位置。因此，视点变换图像上，参照线Lr例如被设定在从其它车辆6的轮胎的橡胶离开相当于10cm的其它车辆6的轮胎的车轮上。
接着，亮度差计算单元72g在关注线Le上设定多个关注点Pe1～PeN。在图28(b)中，为了方便说明，设定6个关注点Pe1～Pe6(以下，在表示任意的点的情况下简单称为关注点Pei)。另外，在关注线Le上设定的关注点Pe的数量可以是任意的。在以下的说明中，作为在关注线Le上设定了总数N个关注点Pe的情况进行说明。
接着，亮度差计算单元72g设定各参照点Pr1～PrN，使其在实际空间上与各关注点Pe1～PeN为相同高度。然后，亮度差计算单元72g计算相同高度之间的关注点Pe和参照点Pr的亮度差。由此，亮度差计算单元72g对于沿着在实际空间中的垂直方向上延伸的垂直假想线的多个位置的每一个，计算两个像素的亮度差。
即，亮度差计算单元72g例如在第1关注点Pe1和第1参照点Pr1之间计算亮度差，在第2关注点Pe2和第2参照点Pr2之间计算亮度差。由此，亮度差计算单元72g沿着关注线Le以及参照线Lr，连续地求出亮度差。
亮度差计算单元72g一边错开检测区域X1内中关注线Le，一边分别反复执行参照线Lr的设定、关注点Pe以及参照点Pr的设定、亮度差的计算。即，亮度差计算单元72g一边将关注线Le以及参照线Lr的各自的位置在实际空间上接地线L1的延伸方向上改变同一距离，一边反复执行上述的处理。然后，亮度差计算单元72g例如将成为前次处理中参照线Lr的线设定为关注线Le，并对该关注线Le设定参照线Lr，依次求出亮度差。
返回图6，边缘线检测单元72h根据通过亮度差计算单元72g算出的连续的亮度差，检测边缘线。例如，在图28(b)的情况下，第1关注点Pe1和第1参照点Pr1因为位于一样的轮胎部分，所以亮度差小。另一方面，第2～第6关注点Pe2～Pe6位于轮胎的橡胶部分，并且第2～第6参照点Pr2～Pr6位于轮胎的车轮部分。因此，第2～第6关注点Pe2～Pe6和第2～第6参照点Pr2～Pr6的亮度差变大。因此，边缘线检测单元72h可以检测出在亮度差大的第2～第6关注点Pe2～Pe6和第2～第6参照点Pr2～Pr6之间存在边缘线。
具体地说，边缘线检测单元72h在检测边缘线之际，首先按照(式5)所示的三个规则，根据第i个关注点Pei(座标(xi，yi))和第i个参照点Pri(座标(xi’，yi’))的亮度差，给第i个关注点Pei赋予属性s。即，
在I(xi，yi)＞I(xi’，yi’)+w时s(xi，yi)＝1
在I(xi，yi)＜I(xi’，yi’)－w时s(xi，yi)＝－1
在上述以外时s(xi，yi)＝0   (式5)
在(式5)中，w表示第3阈值，I(xi，yi)表示第i个关注点Pei的亮度值，I(xi’，yi’)表示第i个参照点Pri的亮度值。按照上述(式5)，在关注点Pei的亮度值比对参照点Pri加上第3阈值w的亮度值高的情况下，该关注点Pei的属性s(xi，yi)为“1”。另一方面，在关注点Pei的亮度值比从参照点Pri减去第3阈值w的亮度值低的情况下，该关注点Pei的属性s(xi，yi)为“－1”。关注点Pei的亮度值和参照点Pri的亮度值为除此之外的关系的情况下，关注点Pei的属性s(xi，yi)为“0”。该第3阈值w是预先在检测灵敏度调整单元50中进行了校正后，设定在接近车辆检测单元72的值。其校正方法如后所述。
接着边缘线检测单元72h根据(式6)所示的两个规则，计算沿着关注线Le的属性s的连续性c(xi，yi)。
在s(xi，yi)＝s(xi+1，yi+1)时c(xi，yi)＝1
除了上述以外时c(xi，yi)＝0   (式6)
在关注点Pei的属性s(xi，yi)和相邻的关注点Pei+1的属性s(xi+1，yi+1)一样的情况下，连续性c(xi，yi)为“1”。在关注点Pei的属性s(xi，yi)和相邻的关注点Pei+1的属性s(xi+1，yi+1)不一样的情况下，连续性c(xi，yi)为“0”。
接着，边缘线检测单元72h求出关注线Le上的全部关注点Pe的连续性c的总和。边缘线检测单元72h通过将求出的连续性c的总和除以关注点Pe的总数N，将连续性c归一化。边缘线检测单元72h在归一化后的连续性c超过了第4阈值θ的情况下，将关注线Le判断为边缘线。另外，第4阈值θ是预先在检测灵敏度调整单元50中进行了校正后，设定在接近车辆检测单元72的值。其校正方法如后所述。
即，边缘线检测单元72h根据(式7)判断关注线Le是否为边缘线。然后，边缘线检测单元72h对检测区域X1上描画的全部关注线Le，判断是否为边缘线。
Σc(xi，yi)/N＞θ   (式7)
返回图6，立体物检测单元72i根据由边缘线检测单元72h检测到的边缘线的量检测立体物。如上所述，接近车辆检测单元72检测在实际空间上向垂直方向延伸的边缘线。较多地检测到向垂直方向延伸的边缘线是说明在检测区域X1、X2中存在立体物的可能性高。因此，立体物检测单元72i根据由边缘线检测单元72h检测到的边缘的量来检测立体物。进而，立体物检测单元72i在检测立体物之前，判定由边缘线检测单元72h检测到的边缘线是否为正确的边缘线。立体物检测单元72i判定沿着边缘线上的视点变换图像的边缘线的亮度变化是否大于规定的阈值。在边缘线上的视点变换图像的亮度变化大于规定的阈值的情况下，判断该边缘线是由于误判定而检测到的。另一方面，在边缘线上的视点变换图像的亮度变化不大于规定的阈值的情况下，判定该边缘线为正确的边缘线。另外，该规定的阈值是通过实验等预先设定的值。
图29是表示边缘线的亮度分布的图，图29(a)表示在检测区域X1中存在作为立体物的其它车辆6的情况的边缘线以及亮度分布，图29(b)表示在检测区域X1中不存在立体物的情况的边缘线以及亮度分布。
如图29(a)所示，假设将视点变换图像中其它车辆6的轮胎橡胶部分上设定的关注线Le判断为边缘线。在该情况下，关注线Le上的视点变换图像的亮度变化平缓。这是因为，通过将摄像单元10所拍摄的图像I进行视点变换，其它车辆6的轮胎在视点变换图像内被拉伸。
另一方面，如图30(b)所示，假设在视点变换图像中，在路面上描绘的“50”这样的白色文字部分中设定的关注线Le被误判定为边缘线。在该情况下，关注线Le上的视点变换图像的亮度变化起伏大。这是因为在边缘线上，白色文字中的亮度高的部分和路面等的亮度低的部分混合存在。
根据以上那样的关注线Le上的亮度分布的不同，立体物检测单元72i判定边缘线是否为因误判定而检测的边缘线。立体物检测单元72i在沿着边缘线的亮度变化大于规定的阈值的情况下，判定为该边缘线是由于误判定而检测的边缘线。于是，在立体物的检测中不使用该边缘线。由此，抑制由于将路面上的“50”这样的白色文字或路边的杂草等判定为边缘线而导致的立体物的检测精度的降低。
具体地说，立体物检测单元72i通过下述(式8)、(式9)的其中一个计算边缘线的亮度变化。该边缘线的亮度变化相当于实际空间上的垂直方向的评价值。下述(式8)通过将关注线Le上的第i个亮度值I(xi，yi)和相邻的第i+1个亮度值I(xi+1，yi+1)的差分的平方的合计值评价亮度分布。下述(式9)通过关注线Le上的第i个亮度值I(xi，yi)和相邻的第i+1个亮度值I(xi+1，yi+1)的差分的绝对值的合计值评价亮度分布。
相当于垂直方向的评价值＝Σ[{I(xi，yi)－I(xi+1，yi+1)}2]   (式8)
相当于垂直方向的评价值＝Σ|I(xi，yi)－I(xi+1，yi+1)|   (式9)
另外，不限于(式8)、(式9)，也可以如(式10)那样，使用阈值t2将相邻的亮度值的属性b进行2值化，对于全部的关注点Pe，将该2值化后的属性b计算总和。
相当于垂直方向的评价值＝Σb(xi，yi)
这里，|I(xi，yi)－I(xi+1，yi+1)|＞t2时b(xi，yi)＝1
除了上述以外时b(xi，yi)＝0   (式10)
在关注点Pei的亮度值和参照点Pri的亮度值的亮度差的绝对值大于阈值t2的情况下，该关注点Pe(xi，yi)的属性b(xi，yi)为“1”。在除此之外的关系的情况下，关注点Pei的属性b(xi，yi)为“0”。为了判定关注线Le不存在于相同立体物上，通过实验等预先设定该阈值t2。然后，立体物检测单元72i将关于关注线Le上的全部关注点Pe的属性b计算总和，求出相当于垂直方向的评价值，判定边缘线是否正确。
这里，使用图30说明第3阈值w和第4阈值θ的校正方法。图30(a)是说明对应于镜头12的污浊程度的第3阈值w的校正方法的图，图30(b)是说明对应于镜头12的污浊程度的第4阈值θ的校正方法的图。
首先，使用图30(a)说明第3阈值w的校正方法。在没有镜头12的污浊时，第3阈值w在检测灵敏度调整单元50中被设定为规定值w0。图30(a)的横轴表示在白浊程度计算单元25中所算出的镜头12的白浊程度U，越向右表示白浊程度U越高。
然后，校正第3阈值w，使得白浊程度U越高，第3阈值w越小。通过将第3阈值w校正为小，从而提高车辆的检测灵敏度。然后，这时，进一步根据附着程度计算单元26所算出的泥、水滴等附着物对镜头12的附着程度M，校正第3阈值w，以便抑制变小的程度。
即，如图30(a)所示，在有附着物时(虚线)，与没有附着物时(实线)相比，镜头12的白浊程度虽然变高，但是第3阈值w的值的降低量变小。
这样校正的第3阈值w的值设定在接近车辆检测单元72，将其用于车辆检测处理。然后，在车辆检测处理中，虽然在镜头12的白浊程度U高时，提高检测灵敏度，若检测到设定在视点变换图像中的关注线Le和参照线Lr之间亮度差时，则将该点作为立体物(其它车辆)的候选来检测，但是在镜头12上有附着物时，抑制检测灵敏度的提高，若在关注线Le和参照线Lr之间未检测到比刚才大的亮度差时，则不作为立体物的候选来检测。
然后，通过与第3阈值w一样的考虑方法校正第4阈值θ。即，如图30(b)所示，在没有镜头12的污浊时被设定为规定值θ0的第4阈值θ根据附着程度计算单元26所算出的泥、水滴等附着物对镜头12的附着程度M进行校正，在镜头12的白浊程度U高时，提高检测灵敏度，若设定在视点变换图像中的关注线Le上的属性s为s＝1的像素的连续性c高时，则将该关注线Le判定为边缘线，但是在镜头12上有附着物时，抑制检测灵敏度的提高，若关注线Le上的属性s为s＝1的像素的连续性c没有成为比刚才高的值时，则不作为边缘线来检测。
另外，在图30(a)、图30(b)中，虽然示出了根据白浊程度U的高度，分别线性地校正第3阈值w、第4阈值θ的例子，但是第3阈值w、第4阈值θ的校正方法不限于此。即，例如，也可以根据白浊程度U的高度，阶梯状(分级状)地校正第3阈值w、第4阈值θ。
接着，说明利用了本实施方式的边缘信息的立体物检测方法。图31是表示本实施方式的立体物检测方法的细节的流程图。另外，在图31中为了方便，说明以检测区域X1为对象的处理，但是对于检测区域X2也执行同样的处理。
如图31所示，首先在步骤S80中，在所述检测灵敏度调整单元50中根据镜头12的污浊程度(白浊程度U和附着程度M)所校正的第3阈值w和第4阈值θ的值设定于接近车辆检测单元72。
接着，在步骤S81中，在所述视点变换单元72a中将摄像单元10所拍摄的图像I变换为从上空垂直向下俯视的视点变换图像。
进而，在步骤S82中，亮度差计算单元72g在检测区域X1的内部设定关注线Le。这时，亮度差计算单元72g将相当于实际空间上向垂直方向延伸的线的线设定为关注线Le。
然后，在步骤S83中，亮度差计算单元72g在检测区域X1的内部，将对应于实际空间上向垂直方向延伸的线段的并且与关注线Le在实际空间上离开规定距离的线设定为参照线Lr。
接着，在步骤S84中，亮度差计算单元72g在关注线Le上设定多个关注点Pe。这时，亮度差计算单元72g设定在边缘线检测单元72h进行的边缘检测时不构成问题的程度的数量的关注点Pe。此外，亮度差计算单元72g在步骤S85中设定参照点Pr，使得在实际空间上，关注点Pe和参照点Pr为大致一样的高度。由此，关注点Pe和参照点Pr在大致水平方向排列，容易检测实际空间上向垂直方向延伸的边缘线。
然后，在步骤S86中，亮度差计算单元72g计算在实际空间上为一样的高度的关注点Pe和参照点Pr的亮度差。然后，边缘线检测单元72h按照上述(式5)，计算各关注点Pe的属性s。
进而，在步骤S87中，边缘线检测单元72h按照上述(式6)，计算各关注点Pe的属性s的连续性c。
接着，在步骤S88中，边缘线检测单元72h按照上述(式7)，判定将连续性c的总和归一化后的值是否大于第4阈值θ。在判定为归一化后的值大于第4阈值θ时(步骤S88为“是”时)，边缘线检测单元72h在步骤S89中，将该关注线Le作为边缘线来检测。然后，处理转移到步骤S90。另一方面，在步骤S88中，在判定为归一化后的值不大于第4阈值θ时(步骤S88为“否”时)，边缘线检测单元72h将该关注线Le不作为边缘线来检测，处理转移到步骤S90。
然后，在步骤S90中，接近车辆检测单元72判断是否对检测区域X1上可设定的全部关注线Le执行了上述的步骤S82～步骤S89的处理。在判断出未对全部关注线Le进行上述处理时(步骤S90为“否”时)，返回步骤S82，设定新的关注线Le，重复直至步骤S89的处理。另一方面，在判断出已对全部关注线Le进行了上述处理时(步骤S90为“是”时)，转移到步骤S91。
接着，在步骤S91中，立体物检测单元72i对于在步骤S89中检测到的各边缘线计算沿着该边缘线的亮度变化。立体物检测单元72i按照上述(式8)、(式9)、(式10)中的任意一个，计算边缘线的亮度变化。接着，立体物检测单元72i在步骤S92中，在边缘线中去除亮度变化大于规定的阈值的边缘线。即，亮度变化大的边缘线被判定为不是正确的边缘线，不将边缘线用于立体物的检测。如上所述，这是为了抑制将检测区域X1中包含的路面上的文字、路边的杂草等检测作为边缘线的情况。因此，规定的阈值成为通过预先实验等求出的、根据因路面上的文字、路边的杂草等而产生的亮度变化而设定的值。
接着，立体物检测单元72i在步骤S93中判断边缘线的量是否为第5阈值β以上。另外，该第5阈值β预先通过实验等求出而设定。例如，在设定四轮车作为检测对象的情况下，该第5阈值β预先通过实验等，根据在检测区域X1内出现的四轮车的边缘线的数量进行设定。在判定为边缘线的量为第5阈值β以上时(步骤S93为“是”时)，立体物检测单元72i在步骤S94中，判断为在检测区域X1内存在立体物。
另一方面，在判定为边缘线的量不为第5阈值β以上的情况下(步骤S93为“否”时)，立体物检测单元72i判断在检测区域X1内不存在立体物。之后，结束图31所示的处理，返回主例程(图7)。
另外，检测到的立体物，可以判断为在与本车辆5行驶的车道相邻的相邻车道行驶的其它车辆6，也可以考虑对于检测到的立体物的本车辆5的相对速度而判断是否为在相邻车道行驶的其它车辆6。
另外，在实施例1中，说明了使用差分波形信息检测立体物(接近车辆)的方法、以及使用边缘信息检测立体物(接近车辆)的方法，但是检测接近车辆的方法不限于此。即，例如，可以不进行实施例1中说明的视点变换，而通过对于摄像单元10所拍摄的图像I进行计算光流(optical flow)等的图像处理来检测立体物(接近车辆)。并且，在那时可以在检测灵敏度调整单元50中，通过根据镜头12的白浊程度U、附着物的附着程度M，校正用于从时间序列图像中检测特征点的阈值、或在将特征点之间相对应时判定为已对应的阈值，可靠地检测其它车辆6。
如以上说明的那样，按照这样构成的本发明的一个实施方式的车载用图像识别装置8，摄像单元10设置在本车辆5中并通过镜头12观测本车辆5的周围，并且将观测到的本车辆5的周围的光信号变换为图像信号，图像识别应用执行单元、例如车辆检测单元70从摄像单元10所拍摄的图像中，以规定的检测灵敏度进行本车辆5的周围存在的移动物体、例如其它车辆6的检测，检测灵敏度调整单元50根据白浊程度U的高低，将该图像识别应用执行单元、例如车辆检测单元70的检测灵敏度向提高检测灵敏度的方向调整，在该检测灵敏度调整单元50中，由于根据附着程度计算单元26所算出的、泥、水滴等附着物对镜头12的附着程度M进行了校正，所以即使在镜头12上附着泥、水滴等附着物的情况下，由于需要以上的检测灵敏度的提高被抑制，所以可以与镜头12的白浊程度U、附着物的附着程度M无关地、可靠地检测出其它车辆6的位置。
此外，按照本发明的一个实施方式的车载用图像识别装置8，白浊程度计算单元22通过摄像单元10所拍摄的图像I的亮度斜率和边缘强度分布的至少一个来计算镜头12的白浊程度U，所以可以不依赖于本车辆5的外部的明度，稳定并可靠地计算镜头12的白浊程度U。
而且，按照本发明的一个实施方式的车载用图像识别装置8，由于附着程度计算单元26所算出的泥、水滴等对镜头12的附着程度M越高时，越抑制检测灵敏度调整单元50中其它车辆6的检测灵敏度的提高，所以即使在伴随附着程度M高而判定为白浊程度U高时，也可以抑制其它车辆6的检测灵敏度的提高，由此，在图像识别应用执行单元、例如车辆检测单元70中，可以可靠地检测其它车辆6。
进而，按照本发明的一个实施方式的车载用图像识别装置8，由于检测灵敏度调整单元50校正以下的阈值中的至少一个，即从摄像单元10所拍摄的1张图像I中检测具有亮度差的像素的第1阈值p、从摄像单元10在不同的时刻所拍摄的时间序列图像中检测具有亮度变化的像素的第2阈值α、或者在将从摄像单元10在不同的时刻所拍摄的时间序列图像中检测到的具有亮度变化的像素之间相对应时判断为已对应的阈值中的至少一个阈值，所以即使在镜头12有污浊时，在图像识别应用执行单元、例如车辆检测单元70中，也可以进一步可靠地检测其它车辆6。
此外，按照本发明的一个实施方式的车载用图像识别装置8，检测灵敏度调整单元50在镜头12的白浊程度U和泥、水滴等附着物对镜头12的附着程度M越高时，校正所述阈值中的至少一个阈值，与白天相比，夜间抑制检测灵敏度提高，所以相对于白天，夜间降低与镜头12的白浊程度U相应的车辆检测灵敏度(例如，第1阈值p和第2阈值α)的抑制量，可以进一步可靠地检测其它车辆6。
而且，按照本发明的一个实施方式的车载用图像识别装置8，图像识别应用执行单元、例如车辆检测单元70检测位于本车辆5的后方，并接近本车辆5的其它车辆6，所以在本车辆5进行车道变更时，可以可靠地进行后方的安全确认。
进而，按照本发明的一个实施方式的车载用图像识别装置8，检测灵敏度调整单元50在镜头12的白浊程度U和泥、水滴等附着物对镜头12的附着程度M高时，其它车辆6越以规定的正的相对速度接近本车辆5时，越抑制检测灵敏度的提高，所以例如在相对速度具有规定值以上的正的值时，即，本车辆5被接近车辆从后方追上时，降低与镜头12的白浊程度U相应的车辆检测灵敏度(例如，第1阈值p和第2阈值α)的抑制量，可以进一步可靠地检测接近车辆。
另外，与车载用图像识别装置8同时动作的图像识别应用不限于BSW系统9。即，也可以适用于从摄像单元10所拍摄的图像I中检测出根据本车辆5的行驶位置而移动的白线等车道标记的位置，根据这样检测的车道标记的位置，事先检测脱离车道并告知该情况的LDW(Lane Departure Warning，偏离车道警报)系统或其它的系统中。
以上，通过附图详细叙述了本发明的实施例，但是由于实施例只不过是本发明的例示，所以本发明不仅限于实施例的结构，只要是不脱离本发明的要旨的范围的设计的变更等，当然包含在本发明中。
与关联申请的相互参照
本申请要求基于2012年7月27日向日本专利局提出申请的特愿2012－167702号的优先权，其全部公开内容通过参照完全引入本说明书中。
标号说明
8   车载用图像识别装置
9   BSW系统
10  摄像单元
12  镜头
14  光电变换单元
16  增益调整单元
20  镜头污浊检测单元
22  第1白浊程度计算单元
24  第2白浊程度计算单元
25  白浊程度计算单元
26  附着程度计算单元
30  镜头污浊程度计算单元
50  检测灵敏度调整单元
60  车辆信息获取单元
70  车辆检测单元
72  接近车辆检测单元
74  警报输出单元

Claims (7)

1.一种车载用图像识别装置，其特征在于，
所述车载用图像识别装置包括：
摄像单元，其设置在本车辆中并通过镜头观测所述本车辆的周围，并且将观测到的所述本车辆的周围的光信号变换为图像信号；
图像识别应用执行单元，其从所述摄像单元拍摄的图像中，以规定的检测灵敏度进行所述本车辆的周围存在的移动物体的检测；
白浊程度计算单元，其从所述图像信号中计算出所述镜头的白浊程度；
附着程度计算单元，其计算出泥、水滴等附着物对所述镜头的附着程度；以及
检测灵敏度调整单元，其根据所述白浊程度的高低，向使所述检测灵敏度提高的方向进行调整，
所述检测灵敏度调整单元根据泥、水滴等附着物对所述镜头的附着程度，校正所述检测灵敏度。
2.如权利要求1所述的车载用图像识别装置，其特征在于，
所述白浊程度计算单元通过所述摄像单元所拍摄的图像的亮度斜率和边缘强度分布的至少一个来计算出所述镜头的白浊程度。
3.如权利要求1或如权利要求2所述的车载用图像识别装置，其特征在于，
所述附着程度计算单元所算出的泥、水滴等对所述镜头的附着程度越高时，所述检测灵敏度调整单元越抑制所述检测灵敏度的提高。
4.如权利要求1至如权利要求3的任意一项所述的车载用图像识别装置，其特征在于，
所述检测灵敏度调整单元校正以下阈值中的至少一个阈值，即，从所述摄像单元所拍摄的1张图像中检测具有亮度差的像素的阈值；从所述摄像单元在不同的时刻所拍摄的时间序列图像中检测具有亮度变化的像素的阈值；或者，在将从所述摄像单元在不同的时刻所拍摄的时间序列图像中检测到的具有亮度变化的像素之间相对应时判断为已对应的阈值。
5.如权利要求1至如权利要求4的任意一项所述的车载用图像识别装置，其特征在于，
所述镜头的白浊程度和泥、水滴等附着物对所述镜头的附着程度越高时，所述检测灵敏度调整单元校正所述阈值中的至少一个，从而与白天相比，在夜间越抑制所述检测灵敏度的提高。
6.如权利要求1至权利要求5的任意一项所述的车载用图像识别装置，其特征在于，
所述图像识别应用执行单元是检测位于所述本车辆的后方、正在接近所述本车辆的其它车辆的单元。
7.如权利要求6所述的车载用图像识别装置，其特征在于，
在所述镜头的白浊程度和泥、水滴等附着物对所述镜头的附着程度高时，所述其它车辆正在以规定的正的相对速度越接近所述本车辆时，所述检测灵敏度调整单元越抑制所述检测灵敏度的提高。
CN201380039863.3A 2012-07-27 2013-07-19 车载用图像识别装置 Active CN104509090B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012167702 2012-07-27
JP2012-167702 2012-07-27
PCT/JP2013/069667 WO2014017403A1 (ja) 2012-07-27 2013-07-19 車載用画像認識装置

Publications (2)

Publication Number Publication Date
CN104509090A true CN104509090A (zh) 2015-04-08
CN104509090B CN104509090B (zh) 2016-08-24

Family

ID=49997216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039863.3A Active CN104509090B (zh) 2012-07-27 2013-07-19 车载用图像识别装置

Country Status (10)

Country Link
US (1) US9288381B2 (zh)
EP (1) EP2879370B1 (zh)
JP (1) JP6126094B2 (zh)
CN (1) CN104509090B (zh)
BR (1) BR112015001872B1 (zh)
IN (1) IN2015KN00489A (zh)
MX (1) MX341857B (zh)
MY (1) MY184347A (zh)
RU (1) RU2573110C1 (zh)
WO (1) WO2014017403A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317700A (zh) * 2017-06-09 2017-11-03 湖北理工学院 车载边缘计算节点选择系统及方法
CN110999273A (zh) * 2017-08-02 2020-04-10 歌乐株式会社 附着物检测装置和具有其的车辆系统
CN111405177A (zh) * 2020-03-09 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质
CN111583169A (zh) * 2019-01-30 2020-08-25 杭州海康威视数字技术股份有限公司 一种车载相机镜头的污染处理方法及系统
CN113841188A (zh) * 2019-05-13 2021-12-24 日本电信电话株式会社 交通流估计装置、交通流估计方法、交通流估计程序及存储了交通流估计程序的存储介质

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104520913B (zh) * 2012-07-03 2016-12-07 歌乐株式会社 车载环境识别装置
US9445057B2 (en) * 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
JP6163207B2 (ja) 2013-07-18 2017-07-12 クラリオン株式会社 車載装置
JP6380843B2 (ja) * 2013-12-19 2018-08-29 株式会社リコー 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
EP3149656B1 (en) * 2014-05-27 2020-01-15 Robert Bosch GmbH Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
KR102263731B1 (ko) * 2014-11-11 2021-06-11 현대모비스 주식회사 주변차량의 위치정보 보정 시스템 및 방법
JP6476921B2 (ja) * 2015-01-29 2019-03-06 住友電気工業株式会社 危険車両検知システム及び車載情報処理装置
KR101757263B1 (ko) * 2015-07-08 2017-07-12 현대자동차주식회사 근거리 물체 감지 장치 및 방법과 이를 이용한 차량
JP6644509B2 (ja) * 2015-10-01 2020-02-12 アルパイン株式会社 車両検知警報装置および車両検知警報方法
SE541846C2 (en) * 2016-02-10 2019-12-27 Scania Cv Ab Method and control unit for rear view
WO2017169189A1 (ja) * 2016-03-30 2017-10-05 日本電気株式会社 解析装置、解析方法及びプログラム
US10904409B2 (en) * 2016-07-27 2021-01-26 Kyocera Corporation Detection apparatus, imaging apparatus, moveable body, and detection method
EP3306522A1 (en) * 2016-10-06 2018-04-11 Continental Automotive GmbH Device for determining a region of interest on and/or within a vehicle windscreen
EP3306523A1 (en) * 2016-10-06 2018-04-11 Continental Automotive GmbH Device for determining a glare situation caused by a transparent screen of a vehicle
JP6755161B2 (ja) * 2016-10-24 2020-09-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
US11034295B2 (en) * 2017-02-02 2021-06-15 Magna Electronics Inc. Vehicle vision system using at least two cameras
JP7112181B2 (ja) * 2017-03-24 2022-08-03 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP6996200B2 (ja) * 2017-09-29 2022-01-17 富士通株式会社 画像処理方法、画像処理装置、および画像処理プログラム
EP3483781B1 (en) * 2017-11-13 2021-10-06 Continental Automotive GmbH Device for detecting windshield blockage
JP7210882B2 (ja) * 2018-01-30 2023-01-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
US10691957B2 (en) * 2018-02-12 2020-06-23 ITS Plus, Inc. Method for increasing the accuracy of traffic cameras using optical masking technology
JP2020109541A (ja) * 2018-12-28 2020-07-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7163766B2 (ja) * 2018-12-28 2022-11-01 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7234630B2 (ja) * 2018-12-28 2023-03-08 株式会社デンソーテン 付着物検出装置
US11257375B2 (en) * 2018-12-31 2022-02-22 Ficosa Adas, S.L.U. Method and system for detecting objects in a vehicle blind spot
US10943129B2 (en) 2019-01-04 2021-03-09 Ford Global Technologies, Llc Low-light sensor cleaning
JP7426987B2 (ja) * 2019-03-26 2024-02-02 株式会社小糸製作所 撮影システムおよび画像処理装置
JP7151675B2 (ja) * 2019-09-20 2022-10-12 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7200894B2 (ja) * 2019-09-20 2023-01-10 株式会社デンソーテン 付着物検出装置および付着物検出方法
GB2588655B (en) * 2019-10-31 2022-08-17 Jaguar Land Rover Ltd Control system and method for a vehicle
CN111443490B (zh) * 2020-04-15 2022-11-18 杭州赶梦科技有限公司 一种ar hud的虚像显示区域调节方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061123A1 (en) * 2000-11-22 2002-05-23 Nissan Motor Co., Ltd. Apparatus and method for detecting road white line for automotive vehicle
US20030137593A1 (en) * 2002-01-18 2003-07-24 Honda Giken Kogyo Kabushiki Kaisha Infrared image-processing apparatus
US20040183906A1 (en) * 2003-03-20 2004-09-23 Nobuharu Nagaoka Device for monitoring around vehicle

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6369650U (zh) * 1986-10-27 1988-05-11
JP3734512B2 (ja) * 1993-12-27 2006-01-11 株式会社メニコン コンタクトレンズ外観検査方法および外観検査装置
JP2001052185A (ja) 1999-08-13 2001-02-23 Mitsubishi Precision Co Ltd 車両検出方法および車両検出装置
JP2003044863A (ja) 2001-07-30 2003-02-14 Nissan Motor Co Ltd 仕切線認識装置
JP2004153422A (ja) * 2002-10-29 2004-05-27 Toshiba Corp 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法
US7340767B2 (en) * 2003-06-26 2008-03-04 Matsushita Electric Industrial Co, Ltd. Camera apparatus, image server and image server system
RU2286267C2 (ru) * 2004-11-09 2006-10-27 Аркадий Вениаминович Дубровский Система зеркал транспортного средства
JP2007318355A (ja) 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
JP2008064630A (ja) * 2006-09-07 2008-03-21 Hitachi Ltd 付着物検知機能付き車載用撮像装置
EP2351351B1 (en) * 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
JP2012038048A (ja) * 2010-08-06 2012-02-23 Alpine Electronics Inc 車両用障害物検出装置
KR101042302B1 (ko) * 2010-12-27 2011-06-17 위재영 차량 외부 영상 장치용 하우징
JP6120395B2 (ja) * 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
EP2871101B1 (en) * 2012-07-03 2020-06-17 Clarion Co., Ltd. Vehicle surrounding monitoring device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061123A1 (en) * 2000-11-22 2002-05-23 Nissan Motor Co., Ltd. Apparatus and method for detecting road white line for automotive vehicle
US20030137593A1 (en) * 2002-01-18 2003-07-24 Honda Giken Kogyo Kabushiki Kaisha Infrared image-processing apparatus
US20040183906A1 (en) * 2003-03-20 2004-09-23 Nobuharu Nagaoka Device for monitoring around vehicle

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107317700A (zh) * 2017-06-09 2017-11-03 湖北理工学院 车载边缘计算节点选择系统及方法
CN107317700B (zh) * 2017-06-09 2020-06-30 湖北理工学院 车载边缘计算节点选择系统及方法
CN110999273A (zh) * 2017-08-02 2020-04-10 歌乐株式会社 附着物检测装置和具有其的车辆系统
CN110999273B (zh) * 2017-08-02 2021-08-10 歌乐株式会社 附着物检测装置和具有其的车辆系统
CN111583169A (zh) * 2019-01-30 2020-08-25 杭州海康威视数字技术股份有限公司 一种车载相机镜头的污染处理方法及系统
CN113841188A (zh) * 2019-05-13 2021-12-24 日本电信电话株式会社 交通流估计装置、交通流估计方法、交通流估计程序及存储了交通流估计程序的存储介质
CN113841188B (zh) * 2019-05-13 2024-02-20 日本电信电话株式会社 交通流估计装置、交通流估计方法、存储介质
CN111405177A (zh) * 2020-03-09 2020-07-10 Oppo广东移动通信有限公司 图像处理方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
RU2573110C1 (ru) 2016-01-20
EP2879370A4 (en) 2016-05-11
EP2879370B1 (en) 2020-09-02
JP6126094B2 (ja) 2017-05-10
US9288381B2 (en) 2016-03-15
BR112015001872B1 (pt) 2021-11-03
MY184347A (en) 2021-04-01
MX2015001004A (es) 2015-11-23
CN104509090B (zh) 2016-08-24
IN2015KN00489A (zh) 2015-07-17
EP2879370A1 (en) 2015-06-03
WO2014017403A1 (ja) 2014-01-30
MX341857B (es) 2016-09-05
US20150201120A1 (en) 2015-07-16
JPWO2014017403A1 (ja) 2016-07-11
BR112015001872A2 (pt) 2017-08-08

Similar Documents

Publication Publication Date Title
CN104509090A (zh) 车载用图像识别装置
US20220250610A1 (en) Vehicular automated parking system
CN102288165B (zh) 移动距离检测装置和移动距离检测方法
EP2879382B1 (en) Three-dimensional object detection device and foreign object detection device
CN104508723B (zh) 图像处理装置
CN110287905B (zh) 一种基于深度学习的交通拥堵区域实时检测方法
CN104246821B (zh) 三维物体检测装置和三维物体检测方法
JP2020042831A (ja) 道路の垂直輪郭検出
CN104508722A (zh) 车载用周围环境识别装置
US9965690B2 (en) On-vehicle control device
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
EP2682896A2 (en) In-vehicle apparatus
CN104106105A (zh) 立体物检测装置
CN104012081A (zh) 三维物体检测装置
CN104115188A (zh) 立体物检测装置
CN104115186A (zh) 立体物检测装置
CN106503636A (zh) 一种基于视觉图像的道路视距检测方法及装置
JP6139088B2 (ja) 車両検知装置
CN104685866A (zh) 三维物体检测装置以及三维物体检测方法
CN104508728B (zh) 三维物体检测装置
CN104115204A (zh) 立体物检测装置
CN104115203A (zh) 立体物检测装置
Kim et al. Real-time moving object detection using a vehicle-mounted monocular rear-view fisheye camera
Rosebrock et al. Real-time vehicle detection with a single camera using shadow segmentation and temporal verification
CN109886120A (zh) 一种斑马线检测方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Saitama Prefecture, Japan

Patentee after: Faurecia Gele Electronics Co.,Ltd.

Patentee after: NISSAN MOTOR Co.,Ltd.

Address before: Saitama Prefecture, Japan

Patentee before: Clarion Co.,Ltd.

Patentee before: NISSAN MOTOR Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20230727

Address after: Kanagawa

Patentee after: NISSAN MOTOR Co.,Ltd.

Address before: Saitama Prefecture, Japan

Patentee before: Faurecia Gele Electronics Co.,Ltd.

Patentee before: NISSAN MOTOR Co.,Ltd.

TR01 Transfer of patent right