CN103529639B - 镜头附着物检测装置、镜头附着物检测方法以及车辆系统 - Google Patents

镜头附着物检测装置、镜头附着物检测方法以及车辆系统 Download PDF

Info

Publication number
CN103529639B
CN103529639B CN201310276919.9A CN201310276919A CN103529639B CN 103529639 B CN103529639 B CN 103529639B CN 201310276919 A CN201310276919 A CN 201310276919A CN 103529639 B CN103529639 B CN 103529639B
Authority
CN
China
Prior art keywords
mentioned
region
camera lens
brightness value
treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310276919.9A
Other languages
English (en)
Other versions
CN103529639A (zh
Inventor
入江耕太
村松彰二
加藤贤治
清原将裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN103529639A publication Critical patent/CN103529639A/zh
Application granted granted Critical
Publication of CN103529639B publication Critical patent/CN103529639B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供一种镜头附着物的检测装置等，可以高精度地检测附着在车载照相机等上的镜头附着物，并且可以提高利用图像的车辆检测、车道检测、行人检测等图像检测应用的性能。安装在车辆系统上的镜头附着物检测装置（130）包括：边缘提取部（26），其将从由照相机（20）拍摄到的输入图像（100）制成的边缘图像（103）分割为多个区块（201），并将边缘强度在阈值范围内的区块（201）作为关注区块（201a）并提取；亮度分布提取部（37），其取得关注区块（201a）以及周围区块（201b）的亮度值；亮度变化提取部（38），其取得关注区块（201a）的亮度值的时间序列变化；以及附着物判别部（32），其基于亮度值的时间序列变化来判别有无附着物。

Description

镜头附着物检测装置、镜头附着物检测方法以及车辆系统
技术领域
本发明涉及检测照相机等的镜头上的附着物的镜头附着物检测装置、镜头附着物检测方法以及具备镜头附着物检测装置的车辆系统。
背景技术
以往，公知有在变更车道时，利用安装在车辆上的照相机检测在车辆后方的死角处存在的其他车辆、行人，并通过警告音、显示灯来提醒驾驶员注意的系统。另外，还公知有利用照相机检测道路上的白线，当驾驶员偏离车道时，通过警告音、显示灯提醒驾驶员注意的系统等。另外，还公知有检测从后面接近的车辆并报警的系统、检测停车线框来辅助停车的系统等。以下，将使用了图像识别技术的车载系统称为图像检测应用(image sensingapplication)。
在这种系统中使用的照相机有时设置在车辆的外部，并且，由于在车辆行驶中使用，所以在镜头表面上容易附着溅泥等污渍。如果这种污渍的附着变得严重，则由照相机拍摄到的被拍摄体的检测精度下降，会对上述的检测车辆、行人的系统、检测白线的系统等图像检测应用的性能产生影响。因此，在驾驶员等发现污渍时，向镜头喷射空气、清洗液来去除污渍。
但是，因为有时驾驶员会未注意到污渍而放任不管，所以开发了用于自动检测镜头的污渍、通知驾驶员产生了污渍并提醒清洗、或者自动进行清洗的污渍检测装置(例如，参照专利文献1)。在该专利文献1所记载的污渍检测装置中，对于在不同的定时用照相机拍摄到的2幅图像分别求取浓度值，提取它们的差分并进行累计，从而取得累计图像。在该累计图像中，将浓度值在规定的浓度值以下的区域、即经过时间后也未发生变化的区域判断为附着有污渍的区域。另外，如果该污渍的附着区域具有对照相机的图像处理产生影响的面积，则判断为镜头被污染，而向驾驶员、清洗装置发出污渍附着的信号。
(现有技术文献)
(专利文献)
专利文献1：日本特开2003-259358号公报
但是，在上述专利文献1中记载的污渍检测装置中，对于不是污渍但随时间变化少的景色、被拍摄静物(例如，长而连续的护栏、桥梁的栏杆、人行道等)，由于其差分的累计图像的浓度值增高，所以有时会被误判定为污渍。因此，要求开发出能够仅检测污渍等镜头附着物的高精度的技术。
发明内容
本发明鉴于上述情况而提出，其目的在于提供一种可以高精度地仅检测附着在照相机等的镜头上的泥、灰尘、水滴等镜头附着物的镜头附着物检测装置、镜头附着物检测方法、以及具备镜头附着物检测装置的车辆系统。
为了实现上述的目的，本发明的镜头附着物检测装置的特征在于，具备：边缘提取部，其基于来自具有镜头的拍摄装置的输入图像来制成边缘图像，将边缘图像分割成各个区域分别包含多个像素的多个区域，并将边缘强度在阈值范围内的区域作为关注区域并提取；亮度分布提取部，其取得关注区域的亮度值以及上述关注区域的周围区域的亮度值；亮度变化提取部，其与规定时间间隔相对应地取得由亮度分布提取部取得的关注区域的亮度值以及周围区域的亮度值，并基于与上述规定时间间隔对应的关注区域的亮度值，来取得关注区域的亮度值的时间序列变化；以及附着物判别部，其基于关注区域的亮度值的时间序列变化来判别有无附着物。
根据这样构成的本发明的镜头附着物检测装置，能够高精度地仅检测附着在照相机等的镜头上的泥、灰尘、水滴等镜头附着物。因此，能够迅速地向驾驶员、自动清洗系统通知镜头的污染等，可以实现镜头附着物的迅速去除。另外，能够良好地实施使用照相机的车辆检测等图像检测应用。另外，通过与周围的亮度值的比较、亮度值的经时变化检测镜头附着物，因此不会将镜头附着物以外的东西检测为镜头附着物，可以实现仅对镜头附着物的高精度的检测。因此，不会发生不必要地向驾驶员通知污渍、不必要地进行自动清洗的情况，能够提高处理效率。
另外，本发明的镜头附着物检测装置可以还具备掩蔽处理部，上述掩蔽处理部从关注区域中排除由边缘提取部提取的、边缘强度在阈值范围内的区域中的、镜头附着物以外的区域。通过采用这样的结构，在边缘强度在阈值范围内的区域中的、亮度值的时间序列变化少、关注区域的亮度值比该关注区域的周围区域的亮度值低那样的、发生了容易误识别为泥渍的路面状况(例如，行车线标记、车辙、本车影子)、照明环境(例如，太阳光、车灯类等光源)的情况下，也能够从关注区域中排除镜头附着物以外的拍摄物体。因此，能够更高精度地进行附着物判别部中的镜头附着物的有无判断。
另外，本发明的镜头附着物检测方法是由上述的镜头附着物检测装置所执行的镜头附着物检测方法，其特征在于，具有以下步骤：边缘提取处理，其基于输入图像制成边缘图像，将边缘图像分割成各个区域分别包含多个像素的多个区域，并将边缘强度在阈值范围内的区域作为关注区域并提取；亮度值分布提取处理，其取得关注区域的亮度值以及上述关注区域的周围区域的亮度值；亮度值变化提取处理，其与规定时间间隔对应地取得由亮度值分布提取处理取得的关注区域的亮度值以及周围区域的亮度值，并基于所取得的与规定时间间隔对应的关注区域的亮度值，来取得关注区域的亮度值的时间序列变化；以及附着物判别部，其基于关注区域的亮度值的时间序列变化，来判别有无附着物。
另外，本发明的车辆系统的特征在于，具备：上述的镜头附着物检测装置；安装在车辆上、具有镜头、并拍摄车辆的周边的拍摄装置；以及基于镜头附着物检测装置针对由拍摄装置拍摄到的输入图像所检测到的镜头附着物的检测信息而动作的至少一个应用部。
根据本发明，能够提供可以高精度地仅检测附着在照相机等的镜头上的泥、灰尘、水滴等镜头附着物的镜头附着物检测装置、镜头附着物检测方法、以及具备这样的镜头附着物检测装置的车辆系统。
附图说明
图1是表示安装有具备本发明的第一、第二实施例的镜头附着物检测装置的车辆系统的车辆的概略图。
图2是表示具备第一以及第二实施例的镜头附着物检测装置的车辆系统的结构的方框说明图。
图3是用于说明将处理对象图像区块化的步骤的说明图，(a)表示在输入图像中车辆检测以及车道检测所使用的区域，(b)表示对包含这些区域的区域进行了区块化的状态。
图4是用于说明输入图像和利用边缘提取部输出的边缘图像的关系的说明图，(a)表示输入于边缘提取部的输入图像，(b)表示从边缘提取部输出的边缘图像。
图5是用于说明取得处理区块的亮度平均的步骤的说明图。
图6是用于说明统计明亮的周围区块的步骤的说明图，(a)表示关注区块及其周围区块，(b)表示在第二实施例中作为计数的处理对象的周围区块。
图7是用于说明对弱的边缘数量进行计数的步骤的说明图，是具有弱的边缘的区块的概念图。
图8是用于说明以时间序列积累亮度值信息的说明图，表示在存储部中存储的记录的图像。
图9是用于说明行车线的掩蔽处理的说明图，(a)表示左侧区域用边缘滤波器的概略图，(b)表示右侧区域用边缘滤波器的概略图，(c)表示后视中的行车线的影像。
图10是用于说明行车线的掩蔽处理的说明图，表示在右侧区域和左侧区域中分别采用滤波器，生成边缘图像的步骤。
图11是用于说明车辙的掩蔽处理的说明图，(a)表示车辙映现的输入图像的影像，(b)表示将输入图像分割成多个框，来检测出边缘的状态，(c)表示由掩蔽处理部生成的车辙掩蔽图像。
图12是用于说明光源的掩蔽处理的说明图，(a)表示夕阳映现的输入图像的影像，(b)表示由掩蔽处理部生成的光源掩蔽图像。
图13是用于说明本车影子的掩蔽处理的说明图，(a)表示本车影子映现的输入图像的影像，(b)表示由掩蔽处理部生成的本车影子掩蔽图像。
图14是用于说明车身的掩蔽处理的说明图，(a)表示车身映现的输入图像的影像，(b)表示由掩蔽处理部生成的车身掩蔽图像。
图15是表示进行掩蔽处理之前的弱的边缘图像和进行掩蔽处理之后的弱的边缘图像的概略图。
图16是表示第一实施例中的镜头附着检测处理的流程的概略流程图。
图17是表示处理区域取得处理的流程的概略流程图。
图18是表示边缘提取处理的流程的概略流程图。
图19是表示亮度分布提取处理的流程的概略流程图。
图20是表示附着物判别处理的流程的概略流程图。
图21是表示第二实施例中的镜头附着检测处理的流程的概略流程图。
(附图标记的说明)
1：车辆；10：车辆系统；20：照相机(拍摄装置)；21：镜头；
30：镜头附着物检测装置；32：附着物判别部；36：边缘提取部；
37：亮度分布提取部；38：亮度变化提取部；39：掩蔽处理部；
51：清洗部；53：警告音发生部；54：显示部；52：图像检测应用部；
60：存储部；101：输入图像；201：区块(区域)；
201a：关注区块(关注区域)；201b：周围区块(周围区域)。
具体实施方式
以下，参照附图对具备本发明的镜头附着物检测装置的车辆系统的实施方式进行说明。
<第一实施例>
图1是表示安装有具备第一实施例的镜头附着物检测装置的车辆系统的车辆1的行驶状态的图。在车辆1的后方设置有照相机20。由于该照相机20的拍摄视角是ω，能够宽范围地拍摄后方，所以能够拍摄成为驾驶员的死角的区域。使用照相机20执行车辆检测应用等。例如，如图1所示，车辆1在由车道L1～L3组成的三车道道路2的车道L2上行驶，当该车辆1欲从车道L2变更到车道L1上时，会利用设置在车辆1上的照相机20来检测在车辆2的后方死角处存在的其他车辆3。检测到其他车辆3的车辆检测应用系统通过发出警告音、点亮显示灯来提醒驾驶员注意。
另外，在本实施例中，作为后方的照相机20的镜头附着物检测装置来进行了实施，但本发明并不局限于此。在将照相机设置在前方、侧面的情况下，也可以检测那些照相机等的、任何的镜头附着物。另外，其中，也可以以通知是否在任意的镜头上附着了附着物的方式构成镜头附着物检测装置。
使用图2说明第一实施例的车辆系统10的系统结构。第一实施例的车辆系统10安装在车辆1上，如图2所示，构成为具备：拍摄本车辆1的后方的图像的照相机(拍摄装置)20；基于从照相机20输入的输入图像来检测镜头附着物的镜头附着物检测装置30；基于由镜头附着物检测装置30检测到的结果来进行自动清洗的清洗功能(清洗部)51；发出警告音来通知驾驶员存在镜头附着物的警告音发生部53；利用灯、文字显示来通知驾驶员存在镜头附着物的显示部54；车辆检测、车道检测等图像的检测应用部52；以及存储处理程序、在各处理中使用的数据等的存储部60。
照相机20构成为具备：镜头21、将利用镜头21成像的图像转换为模拟电信号的拍摄元件22、以及调整由拍摄元件22取得的图像的增益的增益调整部23。存储部60存储程序、数据，可以是硬盘、外接存储器等，也可以是RAM、ROM等暂时存储数据的单元。
镜头附着物检测装置30构成为具备：对从照相机20输入的输入图像进行各种处理并积累图像信息的图像处理部31；基于来自图像处理部31的信息来判别镜头附着物的有无的附着物判别部32；取得车速等车辆信息的车辆信息取得部33；基于镜头附着物的有无来生成向其他处理部输出的输出信息的输出信息生成部34；以及存储利用图像处理部31所取得的图像信息、附着物判别部32中的判别结果等的存储部60。在第一实施例的镜头附着物检测装置30中，作为存储部，兼用车辆系统10所具备的存储部60。这样的镜头附着物检测装置30、图像检测应用部52可以构成为由具有CPU、存储器、I/O、定时器等的计算机所执行的程序。另外，在镜头附着物检测装置30中，对镜头附着物检测处理编程化，以预先规定的周期重复执行处理。
如图2中的实线所示，第一实施例的图像处理部31构成为具有：取得来自照相机20的输入图像，设定处理区域并分割成多个区块的处理区域取得部35；从输入图像中提取边缘强度弱的区域的边缘提取部36；取得边缘强度弱的区域及其周围的区域的亮度值并提取亮度分布的亮度分布提取部37；基于以时间序列积累的亮度值来取得亮度值的时间序列变化的亮度变化提取部38。
以下，使用图3～图8的处理的说明图以及图16～图20的流程图来说明第一实施例的镜头附着物检测装置30中的镜头附着物检测处理。在此，说明作为镜头附着物检测出泥渍时的处理步骤。
如图16的流程图所示，第一实施例的镜头附着物检测处理具有：车辆信息取得处理(步骤S10)；车速判定处理(步骤S20)；处理区域取得处理(步骤S30)；边缘提取处理(步骤S40)；亮度分布提取处理(步骤S50)；处理时间判定处理(S60)；亮度变化提取处理(步骤S70)；附着物判别处理(步骤S80)；以及输出信息生成处理(步骤S90)。这些处理由控制部(CPU)进行控制。
(车辆信息取得处理以及车速判定处理)
车辆信息取得处理(步骤S10)、车速判定处理(步骤S20)由车辆信息取得部33执行。车辆信息取得部33取得从车速传感器等发送来的速度信息(步骤S10)。接着，判定该车速是否在规定值以上(例如10km/h以上)(步骤S20)。在判定为车速在规定值以上的情况下(“是”)，进入接下来的处理区域取得处理(步骤S30)，在判定为小于10km/h的情况下(“否”)，跳过步骤S30～步骤S80的处理，进入输出信息生成处理(步骤S90)，之后结束镜头附着物检测处理整体。即，泥渍在车辆1的行驶中容易附着。因此，在车辆1不行驶时、或者缓慢行驶时，泥渍难以附着，判断为不需要进行镜头附着物检测处理。
另外，在第一实施例中，如上所述，将镜头附着物检测处理的继续执行、结束的判断基准设定为一个规定值，但本发明并不局限于此。例如，也可以在开始条件和结束条件中以不同的规定速度进行判断，还可以将发动机起动、换挡等作为判断基准。另外，也可以基于泥渍容易附着的道路状况(未铺设的道路(off-road，野外)行驶中)、天气状况(雨天等)的车辆信息来进行判断。
(处理区域取得处理)
处理区域取得处理(步骤S30)由处理区域取得部35执行。使用图17的流程图来详细说明处理区域取得处理。处理区域取得部35首先取得并缩小从照相机20输入的输入图像(步骤S31)。但是，本发明并不局限于此，还可以不缩小地使用。但是，通过在以后的处理中使用这样缩小的图像，可以提高处理速度，并且可以减小图像信息等的存储容量。
接着，处理区域取得部35从缩小的单色图像中设定作为处理对象的区域(步骤S32)。该处理对象区域也可以是输入图像的全部，但在本实施例中，如图3(a)、(b)所示，在输入图像中，将包含本实施例所使用的图像检测应用部52的处理区域(例如，车辆检测中的处理区域B、车道检测中的处理区域L、判断清洗部51中的自动清洗实施的区域等)的区域作为处理对象区域102。这样，通过对至少包含所使用的图像检测应用部52或者各个功能的处理区域的位置的镜头附着物进行检测，能够提高图像检测应用的精度，并且还能够提高镜头附着物检测处理的处理效率。
然后，如图3(b)所示，将该处理对象区域分割成多个区块201(步骤S33)。以后的处理以这种区块单位进行，与以像素单位进行处理相比能够高效率地进行处理。在本实施例中，各区块201的尺寸被设定为想要检测的污渍的大小以下。通过设定为这样的尺寸，能够可靠且高效率地仅检测泥渍。另外，这样分割出的各区块201的坐标等区块信息与区块编号建立对应地存储在存储部60等中。
(边缘提取处理)
边缘提取处理(步骤S40)利用边缘提取部36来执行。使用图18的流程图来说明边缘提取处理的详细内容。如图18所示，边缘提取部36首先将在处理区域取得处理(步骤S30)中缩小了的输入图像缩小，取得黑白的浓淡图像(步骤S41)。通过这样缩小图像来谋求处理的高效化。然后，边缘提取部36进行缩小的输入图像的边缘提取(步骤S42)。这种边缘提取能够使用以往公知的方法进行。然后，使用提取的边缘图像进行针对边缘强度的阈值处理，在仅提取了在本处理中所需的边缘后，进行二值化处理(步骤S43)。在阈值处理中，例如，生成边缘强度ρ仅剩下规定范围内的边缘(弱边缘)的边缘图像。图4表示利用边缘提取处理而从输入图像100生成的边缘图像103的影像图。如图4(b)所示的边缘图像所示那样，从图4(a)所示的输入图像中将泥渍部分作为弱的边缘提取。
然而，即便是同样的泥渍，对于在未铺设的道路等路况差的道路上行驶时的泥渍和在铺设道路(on-road，公路)上行驶时的泥渍而言，有时浓度、色调等不同，弱的边缘强度的程度也不同。另外，根据附着物的种类，有时边缘强度也不同。因此，也可以与这种道路状况、其他行驶状况、附着物的种类、附着状况等相应地预先准备多个阈值，并在执行镜头附着物检测时判断使用哪个阈值。
接着，进行去除在上述生成的弱边缘图像中存在的噪声的噪声去除处理(步骤S44)。在本实施例中，将以下那样的边缘定义为噪声。
(a)与前次提取的边缘图像的边缘位置不同的位置处的边缘
(b)面积在规定值以下的边缘
首先，取得在步骤S43中提取的边缘图像和前次提取的边缘图像的逻辑积，去除上述(a)的噪声。即，这是由于，在本实施例的镜头附着物检测处理中想提取的边缘是附着在镜头上的污渍的边缘，而附着在镜头上的污渍在一定时间持续存在于某一场所，因此瞬间提取的边缘有可能是噪声的缘故。另外，“前次提取的边缘图像”表示在前次进行的边缘提取处理中得到的边缘图像。由于本处理在规定时间内重复多次，所以是将本次的边缘提取处理的边缘图像与前次处理中提取的边缘图像进行比较。但是，当是第一次处理的情况下，因为前次的边缘图像不存在，所以(a)的噪声去除可以跳过。
接着，将上述(b)的面积在规定值以下的边缘作为噪声去除。即，因为假定为附着在镜头上的污渍的边缘达到某程度的块而被提取，所以不将这样独立的小的边缘判断为污渍。通过进行以上那样的噪声去除，能够高精度地进行镜头附着物的检测。
(亮度分布提取处理)
亮度分布提取处理(步骤S50)由亮度分布提取部37执行。使用图19的流程图以及图5、图6的说明图来说明亮度分布提取处理的详细内容。首先，在亮度分布提取部37，如图5所示，按在处理对象区域的设定处理中设定并分割出的每一个区块，利用下式(1)计算区块内的像素的亮度值I的平均亮度值I ave(步骤S51)。在下式(1)中，u、v表示区块的x，y坐标，N、M表示区块内的x方向(横)以及y方向(纵)的像素数，n、m表示区块内的像素的x方向(横)以及y方向(纵)的位置(相对坐标)，nmin、mmin表示区块内的开头的像素的坐标。另外，亮度值使用进行二值化前的浓淡图像。
[式1]
在亮度分布提取处理中，接下来，基于用上述式(1)计算出的各区块的平均亮度值，来选择关注区块和所述关注区块的周围的区块(以下，称为“周围区块”)(步骤S52)。在图6(a)中用粗线表示的区块201a是关注区块。该关注区块201a从平均亮度值低的区块201中选择。即，附着有泥渍的区域的亮度值存在比未附着的区域的平均亮度值低的趋势。因此，在本实施例的镜头附着物检测处理中，将这种趋势作为泥渍的特征来利用，在后面的附着物判别处理中进行有无泥渍附着的判定。
另外，周围区块201b可选择与关注区块201a的外周的所述关注区块201a相邻的、位于区块201的外周上的区块201b。即，这是由于，在多数情况下，泥渍不仅附着在一个区块上，还附着在其相邻的区块上，因此认为在关注区块201a和与其相邻的区块中不存在平均亮度值的差的缘故。因此，将比相邻的区块更靠外侧的区块选择为周围区块201b。另外，本发明不限于此，在附着物的附着面积小的情况下等，也可以将与关注区块201a相邻的区块201选择为周围区块201b。另外，在附着物的附着面积大的情况下等，可以将远离关注区块201a多个区块的区块选择为周围区块201b。
如上所述，在选择出关注区块201a和周围区块201b后，对具有比关注区块201a的平均亮度值高的平均亮度值的周围区块201b的数目进行计数(步骤S53)。在这种情况下，也使用二值化前的浓淡图像来进行计数。接着，计算明亮的周围区块201b的比例(明亮的周围区块数/周围区块的总数)(步骤S54)。结果，对于存在泥渍的区块(关注区块201a)而言，平均亮度值高的明亮的周围区块数的比例高。
接着，使用在边缘提取处理(步骤S40)中提取出的边缘图像来对弱的边缘进行计数(步骤S55)。这种弱的边缘的计数使用二值化后的图像进行。附着在镜头上的泥渍无法对焦而轮廓模糊，并存在弱的边缘集中存在的趋势。因此，在本实施例的镜头附着物检测处理中，按每个区块来对弱的边缘的数目进行计数。图7显示了弱的边缘的影像。在所述区块中，在由内侧的白线包围的部分存在弱的边缘。另外，弱的边缘的计数数目存储在存储部60中。
(处理时间判定处理)
以上，针对一个输入图像结束上述处理后，利用控制部进行图16的处理时间判定处理(步骤S60)。判定是否经过了一定时间，在经过了的情况下，进入接下来的亮度变化提取处理(步骤S70)。在未经过一定时间的情况下，重复处理区域取得处理(步骤S30)、边缘提取处理(步骤S40)、以及亮度分布提取处理(步骤S50)。这样，通过在规定时间内重复多次步骤S30～步骤S50，将平均亮度值、明亮的周围区块的比例、弱的边缘的计数数目等信息按照时间序列积累在存储部60中。在本实施例中，在20秒期间按每1秒进行处理20次并积累信息。另外，这种时间可以根据附着物的种类、车速等车辆信息、其他的状态来任意地设定。例如，在雨天时、或在未铺设的道路上行驶时，因为泥渍频繁附着，所以需要能够在短时间内检测到泥渍，并且迅速报警。因此，优选将时间设定得短。与此相对，在晴天时、或在铺设道路上行驶时，由于泥渍不易附着，所以为了可以进行高精度的检测，优选以长时间积累信息，因此优选将时间设定得长。
(亮度变化提取处理)
亮度变化提取处理(步骤S70)由亮度变化提取部38执行。使用图8的说明图来说明亮度变化提取处理的详细内容。由于附着在镜头上的泥渍即便经过时间也不易移动，且透射性低，所以这种区域内的时间方向(经时)上的亮度值的变化小。为了调查这种时间方向上的像素值的变化，在存储部60中积累规定时间的量的平均亮度值(区块的代表亮度值)。即，将步骤S50的亮度分布提取处理中取得的平均亮度值按每个区块积累在存储部60中。图8表示存储并积累在存储部60中的、按时间的各区块的平均亮度值的记录的影像。
基于这种积累的平均亮度值，使用下式(2)来计算每个区块的代表亮度值E。在下式(2)中，Iave表示区块的平均亮度值，i表示区块的编号，N表示一定时间(进行了处理的时间)。
[式2]
接着，基于在上述式(2)中计算出的每个区块的平均亮度值，使用下述式(3)来计算每个区块的时间方向的方差V。即，使用在包含当前的规定时间内在过去处理并积累的一个循环的量的代表亮度值来计算时间方向的方差。按每个区块计算代表亮度值的时间方向的方差V。在下述式(3)中，Iave表示区块的平均亮度值，i表示区块编号，N表示一定时间(进行处理的时间)。
[式3]
(附着物判别处理)
如果积累信息的处理结束，则接着由附着物判别部32执行附着物判别处理(步骤S80)。由于在本实施例中进行泥渍的检测，所以在本处理中，以“泥渍相似度”的方式，将附着物限定并表现为“泥”，但本发明并不限于此，也能够如“水滴相似度”那样将“泥”改换为各种附着物。
使用图20的流程图来说明附着物判别处理的详细内容。首先，基于积累在存储部60中的以下的信息按每个区块计算泥渍相似度的得分(score)(步骤S81)。
(a)弱的边缘的计数数目
(b)周围区块中的明亮的周围区块数目的比例
(c)每个处理区块的平均亮度值的方差
具体而言，由于在弱的边缘的计数数目比阈值少的关注区块中，泥的附着率低，所以不统计泥渍相似度的得分。另外，在周围区块中的明亮的区块数目的比例比阈值高的情况下，得分的附加率(加算率)大。另外，如果每个区块的平均亮度值的方差在规定的范围内，则得分的附加率大。
接着，基于以下的信息，来进行泥渍判定(步骤S82)。在满足以下任意一个条件的情况下，判断为有泥渍。
(a)泥渍相似度的得分在阈值以上
(b)每个处理区块的方差值在阈值以下
另外，在本实施例中，在判定出泥渍后，在后述的输出信息生成处理中，为将泥渍信息发送到清洗部51、车辆检测、车道检测等图像检测应用部52，生成输出用的信息。为了在这种处理中使用，在泥渍判定中，计算以下所示的信息作为判定结果。将这种计算结果存储在存储部60中。
(a)每个处理区块的泥渍判定结果(有/无泥渍附着)
(b)处理区块上的泥渍面积(单位：区块)
其次，基于泥渍判定结果来计算以下所示的泥渍附着率(步骤S83)。另外，以下的信息是一个例子，可以利用使用污渍附着信息的图像检测应用(移动体检测、停车线框识别等)、对污渍的应对方法等，来计算任意的信息。
(a)车道检测中的处理区域的泥渍附着率
(b)车辆检测中的处理区域的泥渍附着率
(c)自动清洗实施判断区域的处理区块中的泥渍附着率
(输出信息生成处理)
输出信息生成处理(步骤S90)由输出信息生成部34执行。在此，基于由附着物判别处理计算出的各种信息，生成并输出用于发送到其他应用、装置等中的输出信息。另外，在车速判定处理(步骤S20)中，当判定为“否”而跳过了处理的情况下，输出旨在表示不进行镜头附着物检测处理的意思的输出信息(清零信息等)。
基于来自镜头附着物检测装置30的输出信息，例如，清洗部51进行镜头的清洗处理。在警告音发生部53、显示部54中进行警告音的发生、警告灯、文字等的显示，提醒驾驶员注意。另外，在车辆检测、车道检测等图像检测应用部52中，将输出信息用于各个处理的判断信息等。另外，向这些装置、应用的任意一个发送信息，进行什么样的处理是任意的，能够根据车辆系统10的结构来适当地选择。
以上，在第一实施例中，能够高精度地检测有无泥渍附着。因此，可以可靠地将镜头的污渍等通知给驾驶员、自动清洗装置等，能够迅速去除镜头附着物，能够良好地实施使用照相机的车辆检测等图像检测应用，可以实现高性能的车辆行驶。另外，因为用亮度值以及亮度值的经时变化双方检测附着物，所以不易经时变化的景色、护栏、栏杆、人行道等镜头附着物以外的拍摄物体被排除在关注区域之外，可以进行高精度的检测。结果，不会不必要地向驾驶员通知有污渍、不会进行不必要的自动清洗，可以高效率、毫不浪费地进行良好的车辆行驶。
另外，在第一实施例中，在边缘提取处理、亮度分布处理中，将各个提取数据存储并积累在存储部60中，经过了一定时间后，通过亮度变化提取处理进行统计处理。但是，本发明并不限于此，还可以构成为：亮度变化提取处理存储在边缘提取处理、亮度分布处理中提取出的数据。另外，还可以构成为：亮度变化提取处理利用定时器来监视时间，在经过了一定时间后，进行统计处理。
<第二实施例>
以下对具备第二实施例的镜头附着物检测装置的车辆系统进行说明。关于第二实施例的车辆系统的结构，除了设置有用于抑制误检测的掩蔽处理部之外，具有和第一实施例的车辆系统相同的结构。因此，使用图2对第二实施例的车辆系统的结构进行说明，并且对于和第一实施例相同的结构，标注同一附图标记并省略详细的说明。
如图2所示，具备第二实施例的镜头附着物检测装置的车辆系统10构成为具备：照相机(拍摄装置)20、镜头附着物检测装置30、清洗部51、图像检测应用部52、警告音发生部53、显示部54和存储部60等。
第二实施例的图像处理部31如图2的实线以及虚线所示，构成为具备：处理区域取得部35、边缘提取部36、亮度分布提取部37、亮度变化提取部38和掩蔽处理部39。
以下，使用附图对第二实施例的镜头附着物检测装置30中的镜头附着物检测处理进行说明。在本实施例中，作为镜头附着物也检测泥渍。另外，在处理的说明中，对于与第一实施例同样的处理，也使用相同的说明图以及相同的流程图来进行说明。
如图21的流程图所示，第二实施例的镜头附着物检测处理具有：各种车辆信息取得处理(步骤S110)、处理继续进行判定处理(步骤S120)、处理区域取得处理(步骤S130)、边缘提取处理(步骤S140)、掩蔽处理(步骤S150)、亮度分布提取处理(步骤S160)、处理时间判定处理(步骤S170)、亮度变化提取处理(步骤S180)、附着物判别处理(步骤S190)、以及输出信息生成处理(步骤S200)。这些处理由控制部(CPU)进行控制。
(各种车辆信息取得处理)
在各种车辆信息取得处理(步骤S110)中，首先，利用车辆信息取得部33取得车速信息、铺设道路或者未铺设道路信息、昼夜信息等各种车辆信息。另外，还可以取得晴、雨、雪等天气信息。铺设道路或未铺设道路的信息可以通过任意的方法取得，例如可以基于照相机20的图像、GPS信息来进行判断，还可以基于汽车导航信息来进行判断。另外，昼夜信息通过针对由照相机20的拍摄元件22取得的图像的、增益调整部23的增益调整的状态来判别。在针对图像的增益调整提高的情况下，表示取得了暗的图像，可以判断为是夜间。相反，在增益调整降低的情况下，表示取得了亮的图像，可以判断为是白天。车速信息通过来自速度传感器的信号信息取得。天气信息可以利用风挡刮水器的驱动信号来判断有无降雨，也可以从具有通信功能的汽车导航信息等中取得。
(处理继续进行判定处理)
在处理继续进行判定处理(步骤S120)中，基于上述取得的各种车辆信息来判定是否继续进行镜头附着物检测处理。首先，在昼夜判定中，如果基于增益调整判定为是白天，则接着进行清洗状态判定，如果判定为是白天之外(夜里、其他)，则跳过步骤S130～S190的处理，进入输出信息生成处理(步骤S200)，之后处理整体结束。
另外，在第二实施例中，将车辆1的发动机的起动、行驶开始等作为触发，来起动镜头附着检测处理，如上所述，基于昼夜和清洗状态进行镜头附着物检测处理的继续进行、结束、中断的判定。但是，本发明并不限于此，还可以根据行驶状况等将任意条件作为判定对象。例如，可以如第一实施例那样，基于车速来进行判定。另外，也可以基于铺设道路、未铺设道路来进行判定，例如是未铺设道路时起动本处理。
(处理区域取得处理)
处理区域取得处理(步骤S130)由处理区域取得部35执行，对来自照相机20的输入图像设定处理对象区域并进行区块化。在本实施例中，也是将包含车辆检测中的处理区域、车道检测中的处理区域、自动清洗判断区域的区域作为处理对象区域。处理区域取得处理的概要与第一实施例相同，因而省略说明。
(边缘提取处理)
边缘提取处理(步骤S140)由边缘提取部36以及掩蔽处理部39执行。关于本实施例中的边缘提取处理，除了使用掩蔽处理部39掩蔽了行车线标记(以下，简称为“行车线”)的图像，边缘提取部36利用边缘提取(步骤S42)提取边缘之外，与第一实施例进行同样的处理。因此，对于同样的处理省略说明，这里仅对行车线的掩蔽处理进行说明。显示在道路上的行车线的影像通常被照相机20清楚地拍摄，因此通常在与道路的分界线处，难以检测出弱的边缘。但是，当行车线不清晰时、被污染的情况下，边缘部分模糊，有时会检测出弱的边缘，往往难以和镜头附着物的弱的边缘加以区别。因此，进行行车线的掩蔽处理，是为了提高道路上的行车线的镜头附着物检测处理的检测精度而进行的。
对于行车线的掩蔽处理，参照图9、图10的说明图来进行说明。图9(c)表示在拍摄车辆的背后的图像(后视)上映现出的行车线的影像图像。这样，为了抑制从消失点开始呈八字形左右对称地显现的行车线L、R的边缘提取，将图像分成左右各一半，并应用分别为左用和右用准备的滤波器。图9(a)所示的左区域用边缘滤波器(从右上向左下变得明亮的边缘滤波器)是以不提取图9(c)的L部分的行车线的边缘为目的的滤波器。图9(b)所示的右区域用边缘滤波器(从左上向右下变得明亮的边缘滤波器)是以不提取图9(c)的R部分的行车线的边缘为目的的滤波器。另外，目的还在于通过增大滤波器尺寸，来减少噪声边缘。
如图10所示，在分割为左右的输入图像中应用右区域用、左区域用滤波器来抑制行车线后，提取右区域、左区域的各自的边缘。将在这种右区域与左区域中分别独立地得到的边缘图像进行结合，来生成边缘图像。另外，行车线的掩蔽也可以在进行后述的光源等的掩蔽处理时一起进行。但是，通过在提取边缘图像的步骤中进行行车线的掩蔽，不仅能够实现边缘提取处理的高效化、高速化，在以后的处理中，也不会对不必要的边缘进行计数等，也可以实现这些处理的高效化等。
接着，基于上述生成的弱边缘图像，进行阈值处理和二值化处理，进行噪声去除(参照图18的步骤S43、S44)。由于这些处理也与第一实施例同样，所以省略详细的说明。
(掩蔽处理)
掩蔽处理(步骤S150)利用掩蔽处理部39执行。在本实施例中进行车辙的掩蔽处理和光源的掩蔽处理。使用图11、图12的说明图来说明掩蔽处理的详细内容。
如图11所示，首先说明车辙掩蔽图像制成用的各种处理。在路面上产生的车辙有因雪而产生的车辙、因雨而产生的车辙等。另外，在未铺设道路的情况下，会在路面上出现因残留的轮胎的痕迹而产生的车辙。这些车辙的轮廓有时作为弱的边缘被提取，从而难以进行与泥渍的弱边缘的判别。因此，有时在弱边缘提取时产生影响(噪声)，而为了高效率且高精度地进行弱边缘提取，要掩蔽包含车辙的区域。另外，车辙在天气是雪天、雨天等时，在铺设道路上行驶等中容易发生。因此，在车辙不易产生的晴天时、在铺设道路上行驶等中也可以跳过所述车辙图像处理、车辙掩蔽处理。另外，由于根据这些条件的差异，出现的车辙的浓淡也会发生变化，因此也可以与条件的差异对应地调整在掩蔽图像的生成处理中使用的参数。
在车辙检测中，在如图11(a)所示的输入图像中确定车辙的轮廓位置。为此，比较与规定时间对应的输入图像，检测在车辆行进方向上弱的边缘在时间上、空间上连续的区域。在图11(b)中，将处理对象区域分割成多个小框，将两个框连续地检测出边缘的像素以白色表示。进而，提取在世界坐标(world coordinate，且在这里，X轴为车辆宽度方向，Y轴为垂直地面方向，Z轴为车辆的行驶方向)上边缘沿Z轴方向连续的线，将所述线作为掩蔽对象区域。图11(c)表示通过这种处理制成的掩蔽图像。以下说明这些处理的详细内容。
首先，如图11(b)上图所示，将处理对象区域分割成多个小框，对框内的边缘的有无进行确认并计数。另外，如图11(b)下图所示，与这种处理同时地取得将各个框在世界坐标上排列在Z轴、X轴上时的投影。这种情况下，投影的是有无边缘(0/1)而不是边缘数。
接下来，基于上述车辙检测数据，对每条线进行有无车辙的判定。在车辙的判定中使用投影在X轴上的有边缘区域数，并按照以下的顺序进行。
(1)车辙判定
在该判定时，在处理对象区域的外缘部和外边缘以外使用不同的判定。另外，外缘部定义为X轴投影的左端侧的规定区域、右端侧的规定区域。在外缘部以外的情况下，当满足以下条件(a)&(b)时，判定为在该线上有车辙。在外缘部的情况下，当满足以下条件(c)时，判定为在该线上有车辙。
(a)该线的有边缘区域数在阈值1以上。
(b)在该线的左右各两条线中存在有边缘区域数小于阈值2的线。
(c)该线的有边缘区域数在阈值3以上。
(2)车辙持续判定
在上述(1)的判定中，在判定为没有车辙的情况(不满足上述(1)的条件的情况)但在最近检测出有车辙并满足以下条件(d)以及(e)双方的情况下，继续进行该线的有车辙判定。另外，有车辙持续的期间被设定为两次(1秒期间)，在利用本处理继续进行有车辙判定的情况下也再次设定持续期间。
(d)该线的有边缘区域数在阈值1的1/2以上。
(e)该线的左右各两条线中存在有边缘区域数小于阈值2的1/2的线。
基于上述车辙检测结果，制成对判定为有车辙的线进行掩蔽的图像(步骤S153)。具体而言，按照以下的顺序制成掩蔽图像。通过以下的顺序，制成图11(c)所示那样的车辙掩蔽图像。
(a)用白色涂抹输出图像。
(b)搜索X轴投影70区域中的车辙判定结果，如果是判定为有车辙的线，则用黑色涂抹该对象区域。
接着，说明用于掩蔽包含光源的区域的各种处理。在本车后方，存在太阳等光源，在该光源的路面反射区域的分界线处提取弱的边缘。由该光源产生的弱的边缘难以与泥渍的弱的边缘进行区别，有时会对镜头附着物检测处理的性能造成影响。光源的掩蔽处理以抑制这种影响为目的而进行。图12(a)示出光源和路面反射的影像图像，图12(b)示出掩蔽了光源的光源掩蔽图像。以下说明针对这种输入图像的光源的掩蔽图像制成步骤。
作为光源区域的信息，在本实施例中使用以下的信息。
(a)夕阳判定结果
(b)扩散/反射区域
对于上述(a)、(b)的信息而言，因为是具有规定值以上的亮度的区域，所以通过以规定亮度值对输入图像进行二值化，能够取得光源区域。另外，光源区域的信息并不限于此，也可以使用其他任何信息。这样，在与光源区域重合的处理区块中，将泥渍相似度得分清零。即，在进行后述的附着物判别处理时，不将与光源区域重合的处理区块设定计数对象，据此能够防止对泥渍以外的区域(光源区域)进行计数。
这样，在本实施例中，进行包含车辙的区域和包含光源的区域的掩蔽处理，但本发明并不限于此，为了更高效率且高精度地进行边缘提取，还可以掩蔽可成为噪声的任意对象物。作为可成为掩蔽对象的其他例子，可以列举图13所示的本车影子、图14所示的车身等。掩蔽本车影子是因为有时因本车影子的轮廓而会检测出弱的边缘，从而对泥渍的边缘检测造成影响的缘故。因此，在本处理中，如图13所示，制成用于掩蔽本车影子轮廓的掩蔽图像。另外，在输入图像中显现的本车影子并不是固定的，因时间、方向在图像中显现的影像不同。这种情况下，也积累规定时间的输入图像，从没有经时变化的部分中确定本车影子，据此制成掩蔽图像。这种本车影子的确定例如可以基于影像的形状来进行，还可以基于预先准备的本车影子的样本图像等来进行。另外，影子的轮廓还根据天气、光的强度而变化，另外，在阴天等有时不出现影子。因此，可以基于天气信息来改变本车影子的掩蔽图像的生成处理，还可以跳过生成处理本身。
与此相对，由于车身的影像根据照相机20的安装位置等而被固定地确定，所以不需要进行经时处理，也可以预先准备图14所示那样的掩蔽图像。或者，可以在镜头附着物检测处理起动时，作为初始处理，从输入图像中取得车身的影像，生成掩蔽图像。另外，如上所述，也可以在该步骤中进行行车线的掩蔽处理。图15中示出进行掩蔽处理前的弱的边缘图像和进行掩蔽处理后的弱的边缘图像的影像图像。另外，在图15中，制成车辙掩蔽图像、本车影子掩蔽图像、车身掩蔽图像，并示出进行了掩蔽处理的影像。
(亮度分布提取处理)
亮度分布提取处理(步骤S160)由亮度分布提取部37执行。在第二实施例中的亮度分布提取处理除了不对被掩蔽的区块进行处理之外，进行与第一实施例的处理同样的处理。因此，对于同样的处理省略说明，在此对于第一实施例不同的处理进行说明。
在第一实施例中，在进行关注区块、周围区块的选择(步骤S52)时，作为周围区块，将位于与关注区块相邻的区块的外周的所有区块选择为处理对象的周围区块。但是，在第二实施例中，如图6(b)所示，从处理对象区块201c中选择周围区块201b。因此，虚线部分不作为周围区块201b被选择。这种处理对象区块201c是在上述掩蔽处理(步骤S150)中未被掩蔽的部分。即，被掩蔽的区域不作为处理对象区块。通过这样的处理，在防止对泥渍以外的暗的区块进行计数的同时，处理对象区块减少，因此，能够提高处理速度。另外，在对弱的边缘进行计数的处理(步骤S55)中，由于不对被掩蔽的部分的弱的边缘进行计数，因此也能够使处理速度得以提高。
(处理时间判定处理)
在第二实施例的处理时间判定处理(步骤S170)中，在判断是否经过了一定时间时，根据是铺设道路还是未铺设道路，区分使用进行上述各个处理以及信息的积累的时间间隔。即，在是未铺设道路的情况下，因为泥渍易于附着，所以以短时间的积累信息就能够检测有无泥渍，因而将时间间隔设定得短。与此相对，在是铺设道路的情况下，因为与未铺设道路相比泥渍不易附着，所以将时间间隔设定得长，以便积累长时间的信息来进行判定。另外，由于在本实施例中检测泥渍的有无，因此根据是铺设道路还是未铺设道路来设定信息积累的时间间隔，但本发明并不限于此。例如，在检测水滴的情况下，也可以根据天气来调整时间间隔。另外，即便是检测有无泥渍，也可以不仅根据道路状况，还根据天气来调整时间间隔。
(亮度变化提取处理)
亮度变化提取处理(步骤S180)由亮度变化提取部38执行。在第二实施例中的亮度变化提取处理中，进行与第一实施例的处理同样的处理。因此，省略处理的详细说明。另外，在本处理中，也不对被掩蔽的区块进行处理，因此能够实现处理速度的提高。
(附着物判别处理)
若充分取得积累信息，则接着由附着物判别部32进行附着物判别处理(步骤S190)。第二实施例中的附着物判别处理除了不对被掩蔽的区块进行计数之外，进行与第一实施例的处理同样的处理。因此，对于同样的处理省略说明，在此，对于第一实施例不同的处理进行说明。
在对每个区块计算泥渍相似度得分时(步骤S81)，上述的各个掩蔽处理中被掩蔽的区块不作为各个处理中的计数对象。即，如上所述，与光源区域重合的处理区块、以及与车辙重合的处理区块、与本车影子重合的处理区块、与本车车身重合的处理区块不作为泥渍相似度的计数对象。
(输出信息生成处理)
输出信息生成处理(步骤S200)在输出信息生成部34中执行。第二实施例中的输出信息生成处理也进行与第一实施例的处理同样的处理。因此省略处理的详细说明。
如上所述，在第二实施例中，在发生了容易误识别为泥渍的路面状况(例如，行车线标记、车辙、本车影子)、照明环境(例如，太阳光、车辆灯光类等光源)的情况下，由于进行了从关注区块中去除镜头附着物以外的拍摄物体的掩蔽处理，所以能够更高精度地检测有无泥渍附着。另外，通过不将掩蔽区域设定为泥渍判定处理的对象，可以高速且高效率地进行镜头附着物检测处理整体。
在上述的第一、第二实施例中，说明了进行泥渍的检测的例子，但本发明并不限于泥渍的检测，也可以用于水滴、灰尘、涂料、鸟粪等其他任意镜头附着物的检测装置、检测处理。例如，在镜头上附着了雨、雾等水滴的情况下，产生拍摄图像畸变、无法对焦等不良情况，有时对车辆检测、车道检测等图像检测应用的动作造成影响。因此，还需要检测水滴的附着，执行用空气等吹掉、提醒驾驶员注意等对策。
在上述各实施例中，为了检测泥渍，在亮度分布提取处理中关注区块的平均亮度值比周围区块低，并且，在亮度变化提取处理中，在平均亮度值的变化小的情况下，判断为有泥渍的附着。即，这是由于泥渍的光透射性低、发黑，因而亮度变小的缘故。与此相对，水滴的光透射性高、与周围的亮度大致相同，但存在亮度随时间变化的趋势。另外，在附着有水滴的情况下，也会在水滴的外周提取弱的边缘，但有时这种边缘强度的程度也与泥渍不同。因此，在检测弱的边缘的情况中当关注区块的平均亮度值与周围区块相同时、在亮度变化提取处理中平均亮度值的变化大的情况下，即,在亮度分布提取处理中取得的关注区块的亮度值和周围的区域比较比规定值大的情况下，能够判断为有水滴附着。
因而，在检测水滴附着的情况下，在第一、第二实施例中，在边缘提取处理中提取弱的边缘强度时，优选构成为使用适合于水滴的阈值。另外，在亮度变化提取处理中，构成为在将关注区块的平均亮度值与周围区块进行比较时，判断亮度是否相同。另外，在亮度变化提取处理中，构成为判断亮度变化是否大。这样，优选利用执行与附着物的种类对应的处理那样的逻辑，来构成镜头附着物检测处理。另外，优选以根据附着物的种类、状态进行最佳的处理的方式构筑车辆系统。
另外，由于第一实施例、第二实施例只不过是本发明的示例，所以本发明并不仅限于实施例的结构。不脱离本发明的主旨的范围的设计的变更等当然也包含在本发明中。

Claims (10)

1.一种镜头附着物检测装置，具备：
处理区域获取部，其根据来自具有镜头的拍摄装置的输入图像来设定处理对象区域，并将上述处理对象区域分割成各区域分别包含多个像素的多个区域；
上述镜头附着物检测装置的特征在于还具备：
边缘提取部，其从上述多个区域的每一个中提取弱边缘而生成边缘图像；
亮度分布提取部，其计算上述多个区域的每一个的像素的亮度值的规定时间的量的平均亮度值而按时间序列积累，根据上述平均亮度值之间的比较来选择关注区域，选择上述关注区域的周围的区域作为周围区域，对具有与上述关注区域的平均亮度值不同的平均亮度值的上述周围区域的数量进行计数，对计数出的上述周围区域的比例进行计算，使用由上述边缘提取部生成的上述边缘图像来对弱边缘的数量进行计数；
亮度变化提取部，其针对上述多个区域的每一个来计算由上述亮度分布提取部所获取并按时间序列积累的上述平均亮度值的按时间的方差；以及
附着物判别部，其基于由上述亮度分布提取部计数出的上述弱边缘的数量、由上述亮度分布提取部计算出的上述周围区域的数量的比例和由上述亮度变化提取部计算出的上述多个区域的每一个的平均亮度值的方差来判别有无附着物，将上述关注区域与上述周围区域进行比较，在平均亮度值比规定值小且由上述亮度变化提取部取得的上述平均亮度值的时间序列变化比规定值小的情况下，判定为在上述关注区域上附着有透射性低的附着物，而在平均亮度值比规定值大且上述平均亮度值的时间序列变化比规定值大的情况下，判定为在上述关注区域上附着有透射性高的附着物。
2.根据权利要求1所述的镜头附着物检测装置，其特征在于，
还包括掩蔽处理部，其构成为从上述关注区域中排除包含在朝向上述输入图像的消失点的方向上延伸的边缘的区域。
3.根据权利要求1所述的镜头附着物检测装置，其特征在于，
还包括掩蔽处理部，其构成为从上述关注区域中排除包含上述输入图像中映现的在路面上产生的车辙的区域。
4.根据权利要求1所述的镜头附着物检测装置，其特征在于，
还包括掩蔽处理部，其构成为从上述关注区域中排除包含上述输入图像中映现的、设置了上述拍摄装置的被安装部的影子的区域。
5.根据权利要求1所述的镜头附着物检测装置，其特征在于，
还包括掩蔽处理部，其构成为从上述关注区域中排除包含上述输入图像中映现的光源的像的区域。
6.一种由根据权利要求1～5中的任意一项所述的镜头附着物检测装置所执行的根据输入图像来设定处理对象区域，并将上述处理对象区域分割成各区域分别包含多个像素的多个区域的镜头附着物检测方法，其特征在于，还进行以下步骤：
边缘提取处理，其从上述多个区域的每一个中提取弱边缘而生成边缘图像；
亮度分布提取处理，其计算上述多个区域的每一个的像素的亮度值的规定时间的量的平均亮度值而按时间序列积累，根据上述平均亮度值之间的比较来选择关注区域，选择上述关注区域的周围的区域作为周围区域，对具有与上述关注区域的平均亮度值不同的平均亮度值的上述周围区域的数量进行计数，对计数出的上述周围区域的比例进行计算，使用由上述边缘提取处理所生成的上述边缘图像来对弱边缘的数量进行计数；
亮度变化提取处理，其针对上述多个区域的每一个计算由上述亮度分布提取处理所获取并按时间序列积累的上述平均亮度值的按时间的方差；以及
附着物判别处理，其基于由上述亮度分布提取处理计数出的上述弱边缘的数量、由上述亮度分布提取处理计算出的上述周围区域的数量的比例和由上述亮度变化提取处理计算出的上述多个区域的每一个的平均亮度值的方差来判别有无附着物，将上述关注区域与上述周围区域进行比较，在平均亮度值比规定值小且由上述亮度变化提取处理取得的上述平均亮度值的时间序列变化比规定值小的情况下，判定为在上述关注区域上附着有透射性低的附着物，而在平均亮度值比规定值大且上述平均亮度值的时间序列变化比规定值大的情况下，判定为在上述关注区域上附着有透射性高的附着物。
7.根据权利要求6所述的镜头附着物检测方法，其特征在于，
还进行取得至少包含车速信息的车辆信息的车辆信息取得处理，
上述车辆信息取得处理在基于上述车速信息判断为车速在阈值以下时，结束全部的处理。
8.根据权利要求6或7所述的镜头附着物检测方法，其特征在于，
当上述输入图像的增益调整值在阈值以上时，结束全部的处理。
9.一种车辆系统，其特征在于，具备：
根据权利要求1～5中的任意一项所述的镜头附着物检测装置；
安装在车辆上、具有镜头、并拍摄上述车辆的周边的拍摄装置；以及
基于上述镜头附着物检测装置针对由上述拍摄装置拍摄到的输入图像所检测的上述镜头附着物的检测信息而动作的至少一个应用部。
10.根据权利要求9所述的车辆系统，其特征在于，
上述镜头附着物检测装置仅针对由上述镜头拍摄到的输入图像中的、上述应用部所使用的区域来检测上述镜头附着物。
CN201310276919.9A 2012-07-03 2013-07-03 镜头附着物检测装置、镜头附着物检测方法以及车辆系统 Expired - Fee Related CN103529639B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012149537 2012-07-03
JP2012-149537 2012-07-03
JP2013133576A JP6117634B2 (ja) 2012-07-03 2013-06-26 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP2013-133576 2013-06-26

Publications (2)

Publication Number Publication Date
CN103529639A CN103529639A (zh) 2014-01-22
CN103529639B true CN103529639B (zh) 2017-06-13

Family

ID=48747958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310276919.9A Expired - Fee Related CN103529639B (zh) 2012-07-03 2013-07-03 镜头附着物检测装置、镜头附着物检测方法以及车辆系统

Country Status (4)

Country Link
US (1) US9224051B2 (zh)
EP (1) EP2682898B1 (zh)
JP (1) JP6117634B2 (zh)
CN (1) CN103529639B (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953658B2 (ja) 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
US9542605B2 (en) * 2012-07-03 2017-01-10 Clarion Co., Ltd. State recognition system and state recognition method
US9083864B2 (en) * 2013-07-31 2015-07-14 Ford Global Technologies, Llc Self-cleaning camera lens
KR102066290B1 (ko) * 2013-08-30 2020-01-14 현대모비스 주식회사 차량의 영상인식장치 및 그 방법
DE102013019138A1 (de) * 2013-11-12 2015-05-13 Application Solutions (Electronics and Vision) Ltd. Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
JP5995899B2 (ja) * 2014-03-24 2016-09-21 日立建機株式会社 自走式産業機械の画像処理装置
CN103997622B (zh) * 2014-03-27 2017-02-22 上海海事大学 无人值守监控摄像头的自动清洗方法
WO2015183889A1 (en) 2014-05-27 2015-12-03 Robert Bosch Gmbh Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
JP6206334B2 (ja) * 2014-06-10 2017-10-04 株式会社デンソー 検出装置
CN105227947B (zh) * 2014-06-20 2018-10-26 南京中兴软件有限责任公司 污垢检测方法及装置
JP2016033729A (ja) * 2014-07-31 2016-03-10 クラリオン株式会社 周囲環境認識装置
US9607242B2 (en) * 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
EP3113477B1 (en) * 2015-06-30 2017-08-02 Axis AB Monitoring camera
EP3113108B1 (en) * 2015-07-02 2020-03-11 Continental Automotive GmbH Detection of lens contamination using expected edge trajectories
CN106427783B (zh) * 2016-11-11 2019-12-10 北京汽车股份有限公司 车载摄像头和具有它的车辆
US10339812B2 (en) 2017-03-02 2019-07-02 Denso International America, Inc. Surrounding view camera blockage detection
JP6833575B2 (ja) 2017-03-15 2021-02-24 本田技研工業株式会社 歩行支援装置、歩行支援方法、及びプログラム
US10518754B2 (en) 2017-04-07 2019-12-31 Uatc, Llc Autonomous vehicle sensor cleaning system
JP6832224B2 (ja) 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2019029897A (ja) 2017-08-01 2019-02-21 パナソニックＩｐマネジメント株式会社 画像監視装置、画像監視方法および画像監視プログラム
JP6772113B2 (ja) * 2017-08-02 2020-10-21 クラリオン株式会社 付着物検出装置、および、それを備えた車両システム
JP6970911B2 (ja) * 2017-08-04 2021-11-24 パナソニックＩｐマネジメント株式会社 汚れ検出装置の制御方法、および汚れ検出装置
US10778967B2 (en) * 2017-08-24 2020-09-15 Qualcomm Incorporated Systems and methods for improving performance of a robotic vehicle by managing on-board camera defects
DE102017215718B4 (de) * 2017-09-07 2019-06-13 Audi Ag Verfahren zum Auswerten eines optischen Erscheinungsbildes in einer Fahrzeugumgebung und Fahrzeug
US20190106085A1 (en) * 2017-10-10 2019-04-11 GM Global Technology Operations LLC System and method for automated decontamination of vehicle optical sensor lens covers
JP6810683B2 (ja) * 2017-12-28 2021-01-06 本田技研工業株式会社 制御装置および車両
JP7210882B2 (ja) * 2018-01-30 2023-01-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
DE112018006861B4 (de) * 2018-02-16 2021-07-29 Mitsubishi Electric Corporation Unregelmäßigkeit-Detektionsvorrichtung und Unregelmäßigkeit-Detektionsverfahren
US10549723B2 (en) * 2018-05-04 2020-02-04 Ford Global Technologies, Llc Vehicle object-detection sensor assembly
JP6933608B2 (ja) * 2018-06-01 2021-09-08 ファナック株式会社 視覚センサのレンズまたはレンズカバーの異常検出システム
JP7200572B2 (ja) * 2018-09-27 2023-01-10 株式会社アイシン 付着物検出装置
JP7271908B2 (ja) * 2018-11-08 2023-05-12 株式会社アイシン 周辺監視装置
CN109655234B (zh) * 2018-12-19 2020-09-04 中国大恒(集团)有限公司北京图像视觉技术分公司 一种针对于相机的自动化测试方法
JP2020108060A (ja) * 2018-12-28 2020-07-09 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7151476B2 (ja) 2018-12-28 2022-10-12 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7163766B2 (ja) 2018-12-28 2022-11-01 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7151479B2 (ja) 2018-12-28 2022-10-12 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7265693B2 (ja) 2018-12-28 2023-04-27 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP2020109541A (ja) * 2018-12-28 2020-07-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7230507B2 (ja) * 2018-12-28 2023-03-01 株式会社デンソーテン 付着物検出装置
US10943129B2 (en) 2019-01-04 2021-03-09 Ford Global Technologies, Llc Low-light sensor cleaning
JP7205234B2 (ja) * 2019-01-07 2023-01-17 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7283081B2 (ja) * 2019-01-07 2023-05-30 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN109696788B (zh) * 2019-01-08 2021-12-14 武汉精立电子技术有限公司 一种基于显示面板的快速自动对焦方法
CN111583169A (zh) * 2019-01-30 2020-08-25 杭州海康威视数字技术股份有限公司 一种车载相机镜头的污染处理方法及系统
US10497107B1 (en) * 2019-07-17 2019-12-03 Aimotive Kft. Method, computer program product and computer readable medium for generating a mask for a camera stream
CN110532876B (zh) * 2019-07-26 2024-09-03 纵目科技（上海）股份有限公司 夜晚模式镜头附着物的检测方法、系统、终端和存储介质
CN110532875B (zh) * 2019-07-26 2024-06-21 纵目科技（上海）股份有限公司 夜晚模式镜头付着物的检测系统、终端和存储介质
JP7200893B2 (ja) * 2019-09-20 2023-01-10 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7234884B2 (ja) * 2019-09-20 2023-03-08 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7243546B2 (ja) * 2019-09-20 2023-03-22 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2021050932A (ja) * 2019-09-20 2021-04-01 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7172931B2 (ja) * 2019-09-20 2022-11-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7200894B2 (ja) * 2019-09-20 2023-01-10 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7188336B2 (ja) * 2019-09-20 2022-12-13 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7172930B2 (ja) * 2019-09-20 2022-11-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
TWI721606B (zh) * 2019-10-17 2021-03-11 神達數位股份有限公司 攝影方法及裝置
CN111147761A (zh) * 2019-12-28 2020-05-12 中国第一汽车股份有限公司 一种车用摄像设备清洗方法、系统、车辆及存储介质
US11588957B2 (en) * 2020-06-24 2023-02-21 Baidu Usa Llc Dirty monocular camera detection methods for autonomous driving vehicle
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
DE102021112236A1 (de) 2021-05-11 2022-11-17 Zf Cv Systems Global Gmbh Bewegungserkennungs-Verfahren zur Erkennung einer Bewegung bei einem Fahrzeug, Monitorverfahren mittels dem ein Zustand eines Monitorsensors überprüfbar ist und Fahrzeug
CN113409271B (zh) * 2021-06-21 2022-02-11 广州文远知行科技有限公司 一种镜头油污的检测方法、装置及设备
CN113240672B (zh) * 2021-06-21 2024-08-13 广州文远知行科技有限公司 镜头污染物的检测方法、装置、设备及存储介质
CN113920700A (zh) * 2021-09-23 2022-01-11 国网山西省电力公司晋中供电公司 基于颜色识别的灰尘沉积度检测系统
JP7398643B2 (ja) * 2022-03-29 2023-12-15 パナソニックＩｐマネジメント株式会社 画像監視装置
JP7398644B2 (ja) * 2022-03-29 2023-12-15 パナソニックＩｐマネジメント株式会社 画像監視装置
WO2023189980A1 (ja) * 2022-03-31 2023-10-05 ヌヴォトンテクノロジージャパン株式会社 固定物検出手段、固定物検出方法、及び、プログラム
WO2024099562A1 (de) 2022-11-10 2024-05-16 Zf Cv Systems Global Gmbh Bewegungserkennungs-verfahren zur erkennung einer bewegung bei einem fahrzeug, monitorverfahren mittels dem ein zustand eines monitorsensors überprüfbar ist und fahrzeug

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259358A (ja) * 2002-03-06 2003-09-12 Nissan Motor Co Ltd カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2004153422A (ja) * 2002-10-29 2004-05-27 Toshiba Corp 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法
DE10322087A1 (de) * 2003-05-15 2004-12-02 Daimlerchrysler Ag Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems
US20060115121A1 (en) * 2004-11-30 2006-06-01 Honda Motor Co., Ltd. Abnormality detecting apparatus for imaging apparatus
JP2006254206A (ja) * 2005-03-11 2006-09-21 Secom Co Ltd 画像信号処理装置
JP2007189369A (ja) * 2006-01-12 2007-07-26 Alpine Electronics Inc カメラのレンズ汚れ検出装置及び画像表示システム
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
WO2010038223A1 (en) * 2008-10-01 2010-04-08 Hi-Key Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4087600B2 (ja) * 2001-12-13 2008-05-21 セコム株式会社 画像監視装置
US7103208B2 (en) * 2002-08-26 2006-09-05 Eastman Kodak Company Detecting and classifying blemishes on the transmissive surface of an image sensor package
JP4463126B2 (ja) * 2005-02-15 2010-05-12 三洋電機株式会社 撮像装置
US8553088B2 (en) 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
JP2008258982A (ja) * 2007-04-05 2008-10-23 Canon Inc 画像処理装置及びその制御方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259358A (ja) * 2002-03-06 2003-09-12 Nissan Motor Co Ltd カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2004153422A (ja) * 2002-10-29 2004-05-27 Toshiba Corp 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法
DE10322087A1 (de) * 2003-05-15 2004-12-02 Daimlerchrysler Ag Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems
US20060115121A1 (en) * 2004-11-30 2006-06-01 Honda Motor Co., Ltd. Abnormality detecting apparatus for imaging apparatus
JP2006254206A (ja) * 2005-03-11 2006-09-21 Secom Co Ltd 画像信号処理装置
JP2007189369A (ja) * 2006-01-12 2007-07-26 Alpine Electronics Inc カメラのレンズ汚れ検出装置及び画像表示システム
JP2007318355A (ja) * 2006-05-24 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置およびレンズ汚れ検出方法
WO2010038223A1 (en) * 2008-10-01 2010-04-08 Hi-Key Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device

Also Published As

Publication number Publication date
EP2682898A1 (en) 2014-01-08
JP2014030188A (ja) 2014-02-13
US9224051B2 (en) 2015-12-29
US20140010408A1 (en) 2014-01-09
JP6117634B2 (ja) 2017-04-19
CN103529639A (zh) 2014-01-22
EP2682898B1 (en) 2015-12-09

Similar Documents

Publication Publication Date Title
CN103529639B (zh) 镜头附着物检测装置、镜头附着物检测方法以及车辆系统
RU2571368C1 (ru) Устройство обнаружения трехмерных объектов, способ обнаружения трехмерных объектов
CN103523014B (zh) 车载装置
JP6163207B2 (ja) 車載装置
KR100874461B1 (ko) 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치
US8543254B1 (en) Vehicular imaging system and method for determining roadway width
US8436902B2 (en) Method and system for weather condition detection with image-based road characterization
JP6174975B2 (ja) 周囲環境認識装置
JP2019029940A (ja) 付着物検出装置、および、それを備えた車両システム
WO2014017403A1 (ja) 車載用画像認識装置
CN104395156A (zh) 车辆周围监视装置
CN111357012A (zh) 用于识别与评估车道状况和与天气相关的环境影响的方法和装置
EP3021109A1 (en) Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices
CN104412573A (zh) 车载装置
CN1751391A (zh) 自动汽车外部灯光控制系统
JPH07210795A (ja) 画像式交通流計測方法と装置
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
DE102006055906A1 (de) Verfahren zur Erkennung von Reflektoren, Schildern und Fahrzeuglichtern
JP2013025568A (ja) 接近障害物検出装置及びプログラム
JP4300274B2 (ja) 雪検知システム
WO2022264894A1 (ja) 物体検知装置、物体検知方法およびプログラム
KR20230039865A (ko) 관제용 카메라를 활용한 주야간 주행 검지시스템
Gruesbeck Vision Based Lane Detection and Departure
CN103516968A (zh) 镜头白浊状态诊断装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170613