CN110999273B - 附着物检测装置和具有其的车辆系统 - Google Patents

附着物检测装置和具有其的车辆系统 Download PDF

Info

Publication number
CN110999273B
CN110999273B CN201880050218.4A CN201880050218A CN110999273B CN 110999273 B CN110999273 B CN 110999273B CN 201880050218 A CN201880050218 A CN 201880050218A CN 110999273 B CN110999273 B CN 110999273B
Authority
CN
China
Prior art keywords
attached matter
region
area
outline
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880050218.4A
Other languages
English (en)
Other versions
CN110999273A (zh
Inventor
万代浩平
绪方健人
福田大辅
金子修造
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN110999273A publication Critical patent/CN110999273A/zh
Application granted granted Critical
Publication of CN110999273B publication Critical patent/CN110999273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供能够检测包含轮廓不明确的附着物在内的附着在摄像装置的透镜等上的水滴、泥、垃圾等附着物的附着物检测装置和具有其的车辆系统。附着物检测装置(320)用于检测设置在移动体上的摄像装置(200)拍摄的拍摄图像中映现的附着物，其包括：轮廓提取部(321)，其从上述拍摄图像中提取附着物的轮廓的区域作为轮廓区域；内侧提取部(322)，其从上述拍摄图像中提取附着物的轮廓的内侧的区域作为内侧区域；和附着物检测区域判断部(323)，其将上述轮廓区域与附着物的轮廓进行比较，将形状和亮度中的任一者相符的轮廓区域检测为附着物轮廓区域，并将上述内侧区域与附着物的轮廓的内侧进行比较，将形状和亮度中的任一者相符的内侧区域检测为附着物内侧区域，从上述附着物轮廓区域和上述附着物内侧区域中的任一者中，检测出由附着物的轮廓和轮廓的内侧中的任一者构成的透镜附着物的区域作为附着物检测区域。

Description

附着物检测装置和具有其的车辆系统
技术领域
本发明涉及附着物检测装置和具有其的车辆系统，例如，涉及对附着在设置于车辆等移动体上的摄像机的透镜等上的附着物进行检测的附着物检测装置、和包括该附着物检测装置的车辆系统。
背景技术
有搭载了使用设置在车辆上的摄像机(下面，有时称为车载摄像机)拍摄的拍摄图像来检测车辆周边的物体和标识的功能(下面，称为周围传感)的车辆系统。例如，为如下的车辆系统：根据设置在车辆背面的车载摄像机拍摄的拍摄图像来检测车辆后方存在的其它车辆和行人(下面，有时统称为“障碍物”)，并通过声音或显示灯等提醒司机注意。
当车载摄像机的透镜上附着有水滴、泥、垃圾等附着物(下面，有时称为透镜附着物)时，该透镜附着物映入车载摄像机拍摄的拍摄图像，位于透镜附着物的背后的景色被隐藏。其结果，在上述那样的车辆系统中，无法检测出隐藏在透镜附着物的背后的障碍物。
因此，设计了根据拍摄图像来检测透镜附着物的方式。例如，专利文献1中公开了如下的车辆系统：将在车辆行驶过程中没有时间变化的图像区域检测为透镜附着物映入的区域，当检测出的区域的大小超过阈值时，停止使用车载摄像机进行的周围传感。该方式是利用了在车辆行驶时景色流动，而在透镜附着物映现的区域中透镜附着物持续映现不变化的透镜附着物检测方式。
但是，在车辆的行进方向上一样的景色(例如，路面、护栏、人行道等)映现的图像区域也不会伴随车辆的移动而产生时间变化。因此，在专利文献1所记载的透镜附着物检测方式中，这样的景色也有可能误检测为透镜附着物。
作为对于这样的技术问题提高透镜附着物的检测精度的方法，专利文献2中公开了利用边缘特征和明亮度的方式。在该方式中，将车载摄像机拍摄的拍摄图像分割成多个区域(块)后，首先提取边缘强度为范围内(弱边缘)的块，然后提取其周围(相邻的块的进一步邻近)明亮的块多的块。通过该处理，将透镜附着物的模糊的轮廓作为弱边缘提取，然后检测遮蔽外部光而变暗的透镜附着物的区域。
现有技术文献
专利文献
专利文献1：日本特开2012-38048号公报
专利文献2：日本特开2014-30188号公报
发明内容
发明要解决的技术问题
但是，在专利文献2所记载的透镜附着物检测方式中，检测透镜附着物的模糊的轮廓(弱边缘)，但是不检测该轮廓的内侧。越大的透镜附着物，与轮廓相比其内侧的比率越大，因此，在上述专利文献2所记载的透镜附着物检测方式中，对大的透镜附着物的检测性能会降低。其结果，在附着了大的透镜附着物的情况下，有可能无法停止使用车载摄像机的拍摄图像进行的周围传感。
另外，在透镜附着物为没有厚度的水滴的情况下，其轮廓不明确，轮廓的检测变得困难。而当将水滴的不明确的轮廓作为检测对象时，即使是与透镜附着物无关的景色，也会被检测为透镜附着物。
本发明是鉴于上述情况而做出的，其目的在于提供能够对包括轮廓不明确的附着物在内的附着在车载摄像机的透镜等上的水滴、泥、垃圾等附着物进行检测的附着物检测装置、和具有其的车辆系统。
用于解决技术问题的手段
为了解决上述的技术问题，本发明提供一种附着物检测装置，其用于检测设置在移动体上的摄像装置拍摄的拍摄图像中映现的附着物，所述附着物检测装置的特征在于，包括：轮廓提取部，其从所述拍摄图像中提取附着物的轮廓的区域作为轮廓区域；内侧提取部，其从所述拍摄图像中提取附着物的轮廓的内侧的区域作为内侧区域；和附着物检测区域判断部，其将所述轮廓区域与附着物的轮廓进行比较，将形状和亮度中的任一者相符的轮廓区域检测为附着物轮廓区域，并将所述内侧区域与附着物的轮廓的内侧进行比较，将形状和亮度中的任一者相符的内侧区域检测为附着物内侧区域，从所述附着物轮廓区域和所述附着物内侧区域中的任一者中，检测出由附着物的轮廓和轮廓的内侧中的任一者构成的附着物的区域作为附着物检测区域。
另外，本发明提供一种车辆系统，其特征在于，包括：所述附着物检测装置；搭载在车辆上对所述车辆周边进行拍摄的所述摄像装置；和根据所述摄像装置拍摄的拍摄图像来检测物体和/或标识的周围传感部，其基于所述附着物检测区域判断部检测出的所述附着物检测区域来改变动作。
发明效果
采用本发明，能够高精度地检测出包括轮廓不明确的附着物在内的附着在摄像装置的透镜等上的水滴、泥、垃圾等映现在摄像装置拍摄的拍摄图像中的附着物。
而且，能够检测出摄像装置的拍摄图像中的附着物的区域，因此，如果将该附着物检测区域与该拍摄图像重叠地显示在车内的显示器等上，则能够向司机明示车辆系统识别出了附着物。
而且，在使用拍摄图像的周围传感中，如果将摄像装置的拍摄图像中的附着物的区域掩蔽，则还能够抑制由附着物引起的周围传感的不良。
上述以外的技术问题、技术方案和效果，通过下面的实施方式的说明将变得清楚。
附图说明
图1是表示搭载有包括实施方式1的附着物检测装置的车辆系统的车辆的概略图。
图2是表示包括实施方式1的附着物检测装置的车辆系统的结构的框图。
图3是表示实施方式1的附着物检测装置进行的附着物检测处理的流程的概略流程图。
图4是表示处理区域设定处理的流程的概略流程图。
图5是表示轮廓提取处理的流程的概略流程图。
图6是表示内侧提取处理的流程的概略流程图。
图7是表示附着物检测区域判断处理的流程的概略流程图。
图8是表示由存在透镜附着物的摄像机拍摄的拍摄图像的例子。
图9是附着物检测区域被突出显示的拍摄图像的例子。
图10是附着物检测区域被突出显示的俯瞰图像的例子。
图11是附着物检测区域多的区域被突出显示的拍摄图像的例子。
图12是将附着物检测区域掩蔽的掩蔽图像的例子。
图13是将包围附着物检测区域的框的内侧掩蔽的掩蔽图像的例子。
图14是将附着物检测区域多的分割区域掩蔽的掩蔽图像的例子。
图15是表示包括实施方式2的附着物检测装置的车辆系统的结构的框图。
图16是表示实施方式2的附着物检测装置进行的附着物检测处理的流程的概略流程图。
具体实施方式
下面，参照附图对本发明的附着物检测装置和具有该附着物检测装置的车辆系统的实施方式进行说明。
＜实施方式1＞
[车辆系统的装置结构]
图1是从上往下看搭载有包括实施方式1的附着物检测装置的车辆系统1000的车辆100的图。图2是表示图1所示的车辆系统1000的结构的框图。
在图示实施方式的车辆系统1000中，在车辆100的车身前面设置有作为摄像装置的摄像机200。该摄像机200包括对车身前方的景色进行成像的透镜210和将透镜210的成像转换成电信号的摄像元件220，将摄像机200的前方的景色作为拍摄图像输出。摄像机200拍摄的拍摄图像经由电缆等被传送至装载在车辆100中的处理装置300并被处理。
处理装置300包括附着物检测部(附着物检测装置)320，其用于执行根据摄像机200的拍摄图像检测附着在摄像机200的透镜210上的水滴、泥、垃圾等透镜附着物的功能(下面，称为“附着物检测”)。
处理装置300还包括周围传感部340，其用于执行根据摄像机200的拍摄图像检测车辆100前方的障碍物和标识等的应用程序(下面，称为“周围传感”)。这可以使用公知的各种应用程序。例如，已知有在停车场中检测停车位线的应用程序、检测横穿车辆100前方的行人的应用程序等。但是，周围传感部340并不是本实施方式中必不可缺的构成要素，也可以是不具有周围传感部340的车辆系统1000。
处理装置300还包括车辆自动驾驶控制部350，其基于周围传感部340的检测结果使车辆100自动地驾驶。例如，在要将车辆100停车的场景中，使车辆100向在车辆100的周边检测出的任一个停车位行驶。另外，如果在车辆100的行进方向上检测到障碍物，则使车辆100停车。但是，车辆自动驾驶控制部350并不是本实施方式中必不可缺的构成要素，也可以是不具有车辆自动驾驶控制部350的车辆系统1000。
处理装置300与设置在车辆100的内部(车内)的声音产生装置401、显示器402、显示灯403以及设置在摄像机200上的清洗装置404以可通信的方式连接，使它们基于附着物检测部320检测出的透镜附着物的信息进行动作。例如，在透镜210被透镜附着物严重弄脏的情况下，使用声音产生装置401或显示器402、显示灯403指示车辆100的乘客清扫透镜210。并且，使清洗装置404动作而自动清扫透镜210。清洗装置404可以使用公知的各种方式。例如，有利用安装在摄像机200上的擦拭装置将附着在透镜210表面的透镜附着物擦掉的方式、向透镜210喷射水或风等将附着在透镜210上的透镜附着物除去的方式等。但是，在本实施方式中，声音产生装置401、显示器402、显示灯403、清洗装置404并不是必不可缺的构成要素，可以缺少任一个，也可以全都没有。另外，它们也可以是其它的形式。例如，可以代替声音产生装置401，使驾驶席的安全带振动。
在本实施方式中，摄像机200设置在车辆100的车身前面对车辆100前方进行拍摄，但是本实施方式并不限定于此。例如，也可以是设置在车身背面对车辆100后方进行拍摄的摄像机，也可以是设置在车身侧面对车辆100侧方和车辆100斜前方等进行拍摄的摄像机，也可以是设置在车内对车辆100的外侧进行拍摄的摄像机。摄像机200可以为1台，也可以为多台。
在本实施方式中，通过处理装置300(的附着物检测部320)执行的附着物检测来检测附着在摄像机200的透镜210上的附着物，但是本实施方式中，附着物的附着部位并不限定于透镜210。将位于摄像机200的摄像元件220的前方的、固定于车辆100或摄像机200上的透明的面上附着的附着物作为检测对象。例如，在摄像机200设置在车辆100的车内的情况下，不仅将附着在摄像机200的透镜210上的映现在摄像机200的拍摄图像中的附着物作为检测对象，而且将附着在位于摄像机200的前方的车辆100的前挡玻璃上的映现在摄像机200的拍摄图像中的附着物也作为检测对象。
在本实施方式中，处理装置300与摄像机200分离，利用电缆等连接，但是本实施方式并不限定于此。例如，也可以是处理装置300与摄像机200通过无线通信进行连接。也可以是处理装置300内置在摄像机200中。
在本实施方式中，处理装置300装载在车辆100上，但是也可以是设置在车辆100的外部。在该情况下，处理装置300与装载在车辆100上的摄像机200、声音产生装置401、显示器402、显示灯403、清洗装置404可通过利用无线通信的网络连接。
在本实施方式中，将透镜210的透镜附着物的信息通知给车辆100的车内的乘客，但是本实施方式并不限定于此。也可以是将声音产生装置401、显示器402、显示灯403设置在车辆100的外部，向车辆100的外部通知。这例如能够通过将设置有声音产生装置401、显示器402、显示灯403的功能的便携式终端经由无线通信网络与处理装置300连接而实现。
[车辆系统的功能结构]
使用图2对实施方式1的车辆系统1000的结构和其功能进行更详细的说明。
本实施方式1的车辆系统1000，如上所述，搭载在车辆100中，如图2所示，包括摄像机200、处理装置300、声音产生装置401、显示器402、显示灯403和清洗装置404，其中，处理装置300包括车辆信息获取部310、附着物检测部320、输出信息生成部330、周围传感部340和车辆自动驾驶控制部350。
摄像机200对车辆100的前方进行拍摄生成拍摄图像。但是，本实施方式并不限定于此。如上所述，也可以是对车辆100的后方或侧方进行拍摄生成拍摄图像。
处理装置300的周围传感部340根据摄像机200的拍摄图像来检测位于车辆100的前方的物体和标识等。也可以是同时使用声纳等摄像机200以外的外界识别装置来检测位于车辆100的前方的物体和标识等的车辆系统1000。
车辆自动驾驶控制部350基于周围传感部340的检测结果，控制车辆100的各种致动器(发动机、加速器、制动器、变速杆、转向器等)，使该车辆100自动地驾驶。
车辆信息获取部310从汇集由设置在车辆100中的传感器测定的车辆信息的车辆系统1000获取车辆信息(车速等)。但是，本实施方式并不限定于此。也可以是直接从上述的传感器获取车辆信息。另外，在附着物检测部320的处理中不使用车辆信息的情况下，也可以将该处理部省略。
附着物检测部320包括轮廓提取部321、内侧提取部322、附着物检测区域判断部323和透镜状态判断部324，基于由车辆信息获取部310获取的车辆信息(车速等)对摄像机200的拍摄图像进行处理。在此，轮廓提取部321从摄像机200的拍摄图像中提取具有透镜附着物的轮廓的特征的区域(轮廓区域)。内侧提取部322从摄像机200的拍摄图像中提取具有透镜附着物的(轮廓的)内侧的特征的区域(内侧区域)。附着物检测区域判断部323基于轮廓区域和内侧区域来检测透镜附着物映现的区域(附着物检测区域)。透镜状态判断部324基于附着物检测区域来判断摄像机200的透镜210的弄脏程度。关于该附着物检测部320进行的附着物检测处理，将在后面详细说明。
输出信息生成部330生成基于附着物检测部320的附着物检测区域判断部323检测出的附着物检测区域或透镜状态判断部324判断出的透镜状态的信息，并将其分别输出至周围传感部340和车辆自动驾驶控制部350、声音产生装置401、显示器402、显示灯403、清洗装置404。
{输出信息生成部330的处理}
对上述输出信息生成部330的处理进行更详细的说明。
输出信息生成部330生成基于附着物检测部320检测出的透镜210的附着物检测区域或弄脏程度的信号，并将其分别输入至周围传感部340、车辆自动驾驶控制部350、声音产生装置401、显示器402、显示灯403、清洗装置404。
例如，在透镜210的弄脏程度严重的情况下，向周围传感部340输入使周围传感停止的信号，并向车辆自动驾驶控制部350输入使车辆100停车的命令。并且，利用从声音产生装置401发出的声音、显示在显示器402上的文字或图标、显示灯403的颜色等，对车辆100的乘客通知透镜210已严重弄脏、将停止周围传感部340进行的周围传感、将使车辆100停车。另外，向清洗装置404输入清扫透镜210的命令。
本实施方式的输出信息生成部330的动作并不限定于上述内容。
例如，当在显示器402上显示如图8所示的摄像机200的拍摄图像6000的情况下，可以如图9所示的那样，显示将附着物检测部320检测出的附着物检测区域6100包围的框6200以突出显示。另外，在对摄像机200的拍摄图像进行坐标转换将从上空往下看车辆100及其周边而得到的图像(俯瞰图像)7000显示在显示器402上的情况下，可以如图10所示的那样，与俯瞰图像7000重叠地显示将俯瞰图像7000上的附着物检测区域7100包围的框7200。通过这样的处理，能够向车辆100的乘客明示车辆系统1000识别出了透镜210的附着物。为了不将瞬间误检测为附着物的区域突出显示，可以是使得将持续检测出一定以上的时间的附着物检测区域突出显示。
另外，也可以是如图11所示的那样，将摄像机200的拍摄图像6000分割成多个区域(分割区域)，按每个分割区域来判断附着物检测区域6100的面积，将附着物检测区域6100的面积为阈值以上的分割区域突出显示，并显示在显示器402上。在图11所示的例子中，摄像机200的拍摄图像6000在横向上被分割成3个分割区域6301、6302、6303，附着物检测区域6100的面积大的分割区域(图11中的右侧的分割区域)6303用实线突出显示。在处理装置300与透镜附着物的种类相应地具有多个不同的附着物检测部320的情况下，可以与透镜附着物的种类相应地改变分割区域，或改变附着物检测区域6100的面积的判断所使用的阈值(判断阈值)。
输出信息生成部330可以包括掩蔽区域生成部331，其基于附着物检测部320的附着物检测区域判断部323检测出的附着物检测区域，生成将周围传感部340不应利用的区域除外的掩蔽图像。例如，掩蔽区域生成部331生成将图8的拍摄图像6000中的附着物检测区域6100直接掩蔽的图12那样的掩蔽图像8001。为了不将瞬间误检测为附着物的区域掩蔽，可以是以将持续检测出一定以上的时间的附着物检测区域掩蔽的方式生成掩蔽图像。本实施方式的掩蔽区域生成部331生成的掩蔽图像并不限定于该例子。除了上述以外，也可以是生成将图9那样的包围附着物检测区域6100的框6200的内侧掩蔽的图13那样的掩蔽图像8002，也可以是生成将图11那样的附着物检测区域6100多的分割区域6303整体掩蔽的图14那样的掩蔽图像8003。也可以是与周围传感部340的周围传感能力相应地改变分割区域6303的范围或判断阈值。例如，对于即使缺损小于20个像素的区域也正常地发挥作用的周围传感，可考虑将分割区域的面积或判断阈值设为20个像素以上。
掩蔽区域生成部331生成的掩蔽图像被传送至周围传感部340和车辆自动驾驶控制部350。周围传感部340利用该掩蔽图像从摄像机200的拍摄图像中除去存在透镜附着物的区域，并用于周围传感。从而，能够进行不受透镜附着物影响的周围传感。但是，无法检测位于被掩蔽图像掩蔽的区域的物体和标识等，因此，也可以是周围传感部340将被掩蔽图像掩蔽的区域作为未知区域输出。另外，车辆自动驾驶控制部350将被掩蔽图像除去的区域识别为使用摄像机200的拍摄图像的周围传感部340的未知区域，假定在该未知区域存在障碍物或移动体来控制车辆。例如，车辆自动驾驶控制部350进行不使车辆100向未知区域行进的车辆控制。
{附着物检测部320的附着物检测处理}
下面，使用图3～7的流程图，对实施方式1的附着物检测部(附着物检测装置)320的附着物检测处理进行详细的说明。
如图3的流程图所示，实施方式1的附着物检测部320的附着物检测处理主要包括：作为附着物检测处理的前处理的车辆信息获取处理(步骤S310)和车速判断处理(步骤S311)；处理区域设定处理(步骤S320)；轮廓提取处理(步骤S321)；内侧提取处理(步骤S322)；提取判断处理(步骤S328)；附着物检测区域判断处理(步骤S323)；累积初始化处理(步骤S329)；以及透镜状态判断处理(步骤S324)，周期性地连续执行这些处理。
(车辆信息获取处理和车速判断处理)
车辆信息获取处理(步骤S310)和车速判断处理(步骤S311)由处理装置300的车辆信息获取部310执行。在车辆信息获取处理(步骤S310)中，从车辆系统1000获取由设置在车辆100中的速度传感器测定的车辆100的行驶速度(车速)。在接下来的车速判断处理(步骤S311)中，判断该车速是否为规定速度以上(例如10km/h以上)。在车速为规定速度以上的情况下(“是”)，进入接下来的处理区域设定处理(步骤S320)，在车速小于规定速度的情况下(“否”)，跳过透镜210的附着物的检测处理(步骤S320至步骤S329的处理)进入透镜状态判断处理(步骤S324)。该跳过处理是因为，在车速低的情况下，在检测透镜210的附着物的处理(步骤S320至步骤S329的处理)中，将伴随车辆100的行驶而变化的背景从附着物检测区域除去的处理无法有效地发挥作用，误检测增加。但是，在检测透镜210的附着物的处理(步骤S320至步骤S329的处理)的性能高、且车速低时的误检测少的情况下，可以省略车辆信息获取部310和车辆信息获取处理(步骤S310)、车速判断处理(步骤S311)。
在上述的车速判断处理(步骤S311)中，判断所使用的车速的阈值(车速判断阈值)可以不是固定值。例如，可以是根据在上一次执行的附着物检测处理中是否跳过了透镜210的附着物的检测处理(步骤S320至步骤S329的处理)，来改变判断阈值。例如，在跳过了透镜210的附着物的检测处理的情况下，可考虑使判断阈值减小，使得容易执行附着物检测处理。
在本实施方式中，在车速判断处理(步骤S311)中，将车速用于处理的分支判断，但是本实施方式并不限定于此。例如，也可以是将车辆100的变速杆的状态或车轮的方向等其它的车辆信息用于判断基准。也可以是将多个车辆信息复合而用于判断基准。例如，可以是使得仅在车轮向前、且车速为10km/h以上的情况下，执行透镜210的附着物的检测处理。
(处理区域设定处理)
处理区域设定处理(步骤S320)在附着物检测部320中进行各种处理之前执行。使用图4的流程图对处理区域设定处理(步骤S320)的详细内容进行说明。
首先，获取与摄像机200的拍摄图像的各像素对应的世界坐标(步骤S3201)。在此，假定拍摄图像中映现的被摄体全部为没有高度的平面，假设获取的世界坐标为距车辆100的距离和方向。
接着，获取摄像机200的拍摄图像中有可能出现透镜附着物的区域(透镜附着物出现区域)(步骤S3202)。例如，假设为除被摄像机遮光罩覆盖而不会附着透镜附着物的区域以外的区域。但是，本实施方式并不限定于此。存在像车辆100即本车的车身映现的区域那样，虽然有可能附着透镜附着物，但是即使没有透镜附着物也不会映现景色的区域。可以是将除该区域以外的图像区域作为透镜附着物出现区域获取。
接着，获取附着物检测部320能够检测透镜附着物的区域(透镜附着物可检测区域)(步骤S3203)。例如，存在无法获取透镜附着物的整体形状的拍摄图像的端部、与车辆100的行驶相伴的变化小的远方的区域等附着物检测的检测性能低的区域。将除这些区域以外的图像区域作为透镜附着物可检测区域获取。
接着，获取使用摄像机200的拍摄图像的周围传感部340的周围传感会被透镜附着物阻碍的区域(透镜附着物阻碍区域)(步骤S3204)。例如，在周围传感部340进行停车位检测的情况下，功能会被与作为其检测范围的路面重叠的透镜附着物阻碍，因此，将路面映现的区域作为透镜附着物阻碍区域获取。
在步骤S3202～3204的各步骤中可以使用步骤S3201中获取的世界坐标。例如，在步骤S3202中基于世界坐标将车身映现的区域除去，在步骤S3203中将附着物检测的精度低的距车辆100一定距离以上的远方的区域除去。
然后，将步骤S3202～3204中获取的各区域统合，生成用于附着物检测处理的处理区域(步骤S3205)。
(轮廓提取处理)
轮廓提取处理(步骤S321)由附着物检测部320的轮廓提取部321执行，用于提取具有透镜附着物的轮廓的特征的区域(轮廓区域)。使用图5的流程图对该轮廓提取处理(步骤S321)的实施方式进行说明。
首先，将摄像机200的拍摄图像缩小(步骤S3211)。该处理是为了减轻后面的处理负担而进行的，在本实施方式中也可以省略该处理。
接着，从缩小后的拍摄图像生成边缘图像(步骤S3212)。在此，边缘图像的生成可以使用公知的各种方法。例如，已知有对拍摄图像应用索贝尔滤波器或拉普拉斯滤波器的方式等。
接着，从步骤S3212中生成的边缘图像，提取具有与透镜附着物的轮廓相当的特定范围的边缘强度的边缘区域(步骤S3213)。例如，提取边缘强度为中强度的区域(模糊边缘区域)。通过该处理，可提取出距摄像机200的距离短、摄像机200无法聚焦而在透镜附着物的周围出现的模糊、和在具有厚度的透镜附着物的轮廓出现的影子。
本实施方式并不对提取的边缘强度进行限定。例如，在透镜附着物为水滴的情况下，有时在映入水滴的景色中也会出现中强度的边缘，通过将该边缘强度包含在提取的范围内，还能够同时检测水滴的映入。在作为透镜附着物在夜间检测出水滴或水滴痕的情况下，它们在街灯的光下发白，在其轮廓产生强的边缘，因此，在夜间(换言之，在周围的照度低时)，作为模糊边缘区域提取的边缘强度也可以包含强边缘。
接着，每次执行轮廓提取处理(步骤S321)时，对模糊边缘区域提取处理(步骤S3213)提取出的模糊边缘区域进行累积(步骤S3214)。
然后，在接下来的累积次数判断处理(步骤S3215)中，如果累积次数为阈值(轮廓累积判断阈值)以上，则执行轮廓区域提取处理(步骤S3216)，如果累积次数小于轮廓累积判断阈值，则结束轮廓提取处理(步骤S321)。在轮廓区域提取处理(步骤S3216)中，将以轮廓累积判断阈值以上的频率出现的模糊边缘区域作为轮廓区域提取，并结束轮廓提取处理(步骤S321)。通过该处理，能够将出现频率低的模糊边缘区域作为噪声除去。在此，累积次数判断处理(步骤S3215)中的轮廓累积判断阈值也可以不是固定值。例如，也可以是基于摄像机200的照度传感器或拍摄图像的明亮度，在噪声多的明亮的场景中提高轮廓累积判断阈值。如果步骤S3213中提取的模糊边缘区域中噪声少，则也可以省略一系列的累积处理(步骤S3214)和累积次数判断处理(步骤S3215)。
通过这些一系列的处理，提取透镜附着物的轮廓(轮廓区域)。
但是，上述的例子是提取透镜附着物的轮廓的方法的一个例子，本实施方式并不限定于此。下面给出其它的例子。
(轮廓提取处理的其它方式1)
在轮廓提取处理(步骤S321)中，作为透镜附着物的轮廓的特征提取了中强度边缘，但是也可以使用其它的特征。例如，在透镜附着物具有特殊的形状的情况下，可以将上述的步骤S3212、S3213替换成提取该特殊的形状的处理。例如，在检测水滴那样轮廓为圆形的透镜附着物的情况下，能够通过对拍摄图像实施圆提取处理，来提取水滴的轮廓区域。另外，步骤S3212生成的边缘图像和步骤S3213提取的模糊边缘区域中，透镜附着物的轮廓已被强调，因此，可以对该边缘图像和模糊边缘区域实施圆提取处理，提高水滴的轮廓区域的提取精度。在此，圆提取可以使用公知的方式。例如，已知有使用霍夫变换的圆提取处理。如果使用该方式，则能够从包含噪声的模糊边缘区域提取水滴的轮廓，因此，能够省略除去噪声的一系列的累积处理(步骤S3214)和累积次数判断处理(步骤S3215)。但是，累积处理(步骤S3214)和累积次数判断处理(步骤S3215)还具有抑制上述的圆提取的误检测的效果，因此，在误检测多的情况下，最好执行上述的累积处理等。
(轮廓提取处理的其它方式2)
一系列的累积处理(步骤S3214)和累积次数判断处理(步骤S3215)可以替换成降低噪声的公知的方法。例如，如果对步骤S3213中提取了模糊边缘区域的图像实施闭合处理(closing process)，则能够删除相邻没有区域的孤立的噪声。
(轮廓提取处理的其它方式3)
透镜附着物的轮廓具有亮度的偏差(亮度分散)小、且频率低的特征。因此，作为边缘图像生成处理(步骤S3212)的其它方式，也可以是对具有多个像素的每个区域提取亮度分散或频率，在模糊边缘区域提取处理(步骤S3213)中，将亮度分散或频率为规定的范围内的区域作为模糊边缘区域提取。在此，提取的亮度分散或频率的范围可与透镜附着物的轮廓的模糊或影子相应地设定。可将该处理替换成边缘图像生成处理(步骤S3212)和模糊边缘区域提取处理(步骤S3213)。(轮廓提取处理的其它方式4)
透镜附着物的轮廓具有颜色和亮度向轮廓的外侧单调地变化的特征，因此，也可以提取这样的区域(渐变区域)。例如，如果沿着横向扫描拍摄图像而提取亮度在一定的长度范围内以一定的变化量单调地增加或减少的区域，则能够提取出纵向的轮廓。在此，提取的长度和变化量可与透镜附着物的轮廓的宽度和其亮度变化量相应地设定。可将该处理替换成边缘图像生成处理(步骤S3212)和模糊边缘区域提取处理(步骤S3213)。
(轮廓提取处理的其它方式5)
透镜附着物的模糊的轮廓，虽然背景能透过，但是其亮度与原来的背景的亮度不同。在透镜附着物暗的情况下，透过的背景的亮度变暗，在透镜附着物亮的情况下，透过的背景的亮度变亮。因此，也可以是提取拍摄图像上的位置因车辆100的移动而变化的物体(路面等)，并提取在车辆100的移动的前后亮度总是暗或亮地变化的区域。可将该处理替换成边缘图像生成处理(步骤S3212)和模糊边缘区域提取处理(步骤S3213)。
(轮廓提取处理的其它方式6)
也可以是将提取透镜附着物的轮廓的不同特征的多个上述处理组合来提取透镜附着物的轮廓(模糊边缘区域)。
(内侧提取处理)
接下来的内侧提取处理(步骤S322)由附着物检测部320的内侧提取部322执行，用于提取具有透镜附着物的轮廓的内侧的特征的区域(内侧区域)。使用图6的流程图对该内侧提取处理(步骤S322)的实施方式进行说明。
首先，将摄像机200的拍摄图像缩小(步骤S3221)。该处理是为了减轻后面的处理负担而进行的，在本实施方式中也可以省略该处理。也可以是通过利用轮廓提取处理(步骤S321)的拍摄图像缩小处理(步骤S3221)生成的图像，而省略该处理。
接着，从缩小后的拍摄图像生成边缘图像(步骤S3222)。在此，边缘图像的生成可以使用公知的各种方法。例如，已知有对拍摄图像应用索贝尔滤波器或拉普拉斯滤波器的方式等。也可以是通过利用轮廓提取处理(步骤S321)的边缘图像生成处理(步骤S3222)生成的边缘图像，而省略该处理。
该步骤S3222中，也可以是以强调透镜附着物的区域与不是透镜附着物的区域的差异的方式，生成强调了在路面出现的那样的细边缘的边缘图像。例如，细边缘的信息会因拍摄图像缩小处理(步骤S3221)而消失，因此，通过省略该处理，能够强调细边缘。
接着，从步骤S3222中生成的边缘图像，提取具有与透镜附着物的轮廓的内侧相当的边缘强度的区域(步骤S3223)。例如，提取几乎没有边缘强度的区域(小边缘区域)(换言之，比轮廓提取处理(步骤S321)中提取的轮廓区域弱的边缘区域、或者没有边缘强度的区域)。通过该处理，可提取出距摄像机200的距离短、也有时摄像机200无法聚焦、几乎没有出现边缘的透镜附着物。该步骤S3223中提取的边缘强度可与透镜附着物的轮廓的内侧的弱的边缘强度相应地设定。
本实施方式并不对提取的边缘强度进行限定。例如，在透镜附着物为水滴的情况下，有时在映入水滴的景色中也会出现中强度的边缘，通过将该边缘强度包含在提取的范围内，还能够同时检测水滴的映入。
接着，每次执行内侧提取处理(步骤S322)时，对通过小边缘区域提取处理(步骤S3223)提取的小边缘区域进行累积(步骤S3224)。
然后，在接下来的累积次数判断处理(步骤S3225)中，如果累积次数为阈值(内侧累积判断阈值)以上，则执行内侧区域提取处理(步骤S3226)，如果累积次数小于内侧累积判断阈值，则结束内侧提取处理(步骤S322)。在内侧区域提取处理(步骤S3226)中，将以内侧累积判断阈值以上的频率出现的小边缘区域作为内侧区域提取，并结束内侧提取处理(步骤S322)。通过该处理，能够将出现频率低的小边缘区域作为噪声除去。在此，累积次数判断处理(步骤S3225)中的内侧累积判断阈值也可以不是固定值。例如，也可以是基于摄像机200的照度传感器或拍摄图像的明亮度，在噪声多的明亮的场景中提高内侧累积判断阈值。如果步骤S3223中提取的小边缘区域中噪声少，则也可以省略一系列的累积处理(步骤S3224)和累积次数判断处理(步骤S3225)。
通过这些一系列的处理，提取透镜附着物的轮廓的内侧(内侧区域)。
但是，上述的例子是提取透镜附着物的轮廓的内侧的方法的一个例子，本实施方式并不限定于此。下面给出其它的例子。
(内侧提取处理的其它方式1)
泥等透镜附着物遮挡外部光，因此，轮廓的内侧的亮度低。因此，提取亮度低的区域作为透镜附着物的轮廓的内侧(小边缘区域)。可将该处理替换成边缘图像生成处理(步骤S3222)和小边缘区域提取处理(步骤S3223)。
(内侧提取处理的其它方式2)
在透镜附着物为水滴或水滴痕的情况下，它们在夜间在街灯的光下发白，因此，可以为提取在夜间亮度高的区域的处理。在此提取的亮度的范围可与夜间在街灯的光下发亮的水滴或水滴痕相应地设定。可将该处理替换成边缘图像生成处理(步骤S3222)和小边缘区域提取处理(步骤S3223)。
(内侧提取处理的其它方式3)
由摄像机200拍摄的彩色的拍摄图像中，透镜附着物的轮廓的内侧大多为灰色系统。因此，将灰色系统的区域作为透镜附着物的轮廓的内侧(小边缘区域)提取。可将该处理替换成边缘图像生成处理(步骤S3222)和小边缘区域提取处理(步骤S3223)。
(内侧提取处理的其它方式4)
另外，还有预先获取透镜附着物的轮廓的内侧的图案形状，通过与获取的图案形状的匹配(图案匹配)，来提取透镜附着物的轮廓的内侧的小边缘区域的方法。可将该处理替换成边缘图像生成处理(步骤S3222)和小边缘区域提取处理(步骤S3223)。使用本例的图案的方法并不限定于此。例如，也可以是使用透镜附着物的轮廓的边缘的图案。在该情况下，能够从边缘图像生成处理(步骤S3222)中生成的边缘图像提取图案。
(内侧提取处理的其它方式5)
在透镜附着物具有特殊的形状的情况下，可以将步骤S3222、S3223替换成提取该特殊的形状的处理。例如，在检测水滴那样形状为圆形的透镜附着物的情况下，能够通过对拍摄图像实施圆提取处理，来提取水滴。可将该处理替换成边缘图像生成处理(步骤S3222)和小边缘区域提取处理(步骤S3223)。也可以是对步骤S3222中生成的边缘图像和步骤S3223中提取的小边缘区域实施圆提取处理。圆提取可以使用公知的方式。例如，有使用与圆形状的匹配处理或霍夫变换的方法。在使用霍夫变换的情况下，如果在通过边缘提取处理提取出小边缘区域的轮廓之后，使用霍夫变换，则能够提取圆区域的轮廓。如果使用这些方式，则能够从包含噪声的小边缘区域提取水滴的轮廓的内侧(小边缘区域)，因此，能够省略除去噪声的一系列的累积处理(步骤S3224)和累积次数判断处理(步骤S3225)。但是，该累积处理(步骤S3224)和累积次数判断处理(步骤S3225)还具有抑制上述的圆提取的误检测的效果，因此，在误检测多的情况下，最好执行上述的累积处理等。(内侧提取处理的其它方式6)
一系列的累积处理(步骤S3224)和累积次数判断处理(步骤S3225)可以替换成降低噪声的公知的方法。例如，如果对步骤S3223中提取了小边缘区域的图像执行闭合处理，则能够删除相邻没有区域的孤立的噪声。另外，如果步骤S3223中提取的小边缘区域中噪声少，则也可以省略一系列的累积处理(步骤S3214)和累积次数判断处理(步骤S3215)。
(内侧提取处理的其它方式7)
透镜附着物的轮廓的内侧的区域具有亮度分散小、且频率低的特征。因此，也可以是在边缘图像生成处理(步骤S3222)中，对具有多个像素的每个区域提取亮度分散或频率，在小边缘区域提取处理(步骤S3223)中，将亮度分散或频率为阈值以下的区域作为小边缘区域提取。在此，提取的亮度分散或频率的阈值可以与透镜附着物的轮廓的内侧的特征相应地设定。
(内侧提取处理的其它方式8)
透镜附着物的轮廓的内侧大多背景无法透过。因此，也可以是提取拍摄图像上的位置因车辆100的移动而变化的物体(路面等)，并提取在车辆100的移动的前后亮度总是为一定值或以一定量变化的区域。可将这些处理替换成边缘图像生成处理(步骤S3222)和小边缘区域提取处理(步骤S3223)。
(内侧提取处理的其它方式9)
也可以是将提取透镜附着物的轮廓的内侧的不同特征的多个上述处理组合来提取透镜附着物的轮廓的内侧(小边缘区域)。
此外，上述的轮廓提取处理(步骤S321)和内侧提取处理(步骤S322)的各处理可以以任意顺序进行。
(提取判断处理)
接下来的提取判断处理(S328)由附着物检测部320的附着物检测区域判断部323执行，用于判断轮廓提取部321(的轮廓提取处理(步骤S321))和内侧提取部322(的内侧提取处理(步骤S322))是否分别提取了轮廓区域和内侧区域。在已提取了轮廓区域和内侧区域的情况下，执行接下来的附着物检测区域判断处理(步骤S323)和累积初始化处理(步骤S329)，在没有提取出轮廓区域和内侧区域的情况下，跳过这些处理(步骤S323、S329)进入透镜状态判断处理(步骤S324)。
(附着物检测区域判断处理)
附着物检测区域判断处理(步骤S323)由附着物检测部320的附着物检测区域判断部323执行，在每次轮廓提取部321和内侧提取部322分别提取轮廓区域和内侧区域时，判断轮廓区域和内侧区域是否为透镜附着物的轮廓和轮廓的内侧，并对附着在透镜210上的透镜附着物的区域(附着物检测区域)进行检测。
使用图7的流程图对该附着物检测区域判断处理(步骤S323)的实施方式进行说明。
(轮廓区域的分组处理)
首先，将由上述的轮廓提取处理(步骤S321)提取的轮廓区域利用连接的轮廓区域彼此进行分组(步骤S3231)。该分组可以使用公知的分组处理，例如，可以使用图像的标记处理。
(轮廓区域的形状判断处理)
接着，对步骤S3231中分组的每个轮廓区域，比较并判断其形状的特征是否与透镜附着物的轮廓的形状的特征一致(相符)(步骤S3232)。
形状的特征根据透镜附着物的种类的不同而不同，但是具有一定的宽度、具有面积的上限是普遍的特征。因此，只要判断分组的轮廓区域的宽度或面积是否在规定的范围内即可。
在水滴那样圆的透镜附着物的情况下，可以对分组的轮廓区域进行圆判断。圆判断可以使用公知的方法。例如，可以通过使用基于霍夫变换的圆提取处理，来判断在处理范围内是否能够提取圆形状的轮廓区域。
但是，根据轮廓提取处理(步骤S321)的边缘图像生成处理(步骤S3212)中的边缘图像的生成方法的不同，有可能边缘图像中无法出现透镜附着物的轮廓的全貌。例如，在使用提取横向的边缘的索贝尔滤波器生成边缘图像的情况下，作为边缘图像，仅提取透镜附着物的轮廓的纵长的部分。因此，即使对圆的水滴，上述的圆判断也无法有效地发挥作用。在该情况下，可以是判断分组的轮廓区域的长度或倾斜度是否在规定的范围内。区域的倾斜度可以通过例如直线近似求得。该直线近似可以使用公知的方法，例如可以利用基于最小二乘法或霍夫变换的直线提取。另外，具有倾斜的直线相对于包含区域的矩形的面积比率(矩形占有率)低，因此，作为以倾斜角为基准的值，也可以使用该矩形占有率等。
(轮廓区域的亮度判断处理)
接着，对进行了形状判断的轮廓区域的组，比较并判断其亮度是否具有(符合)透镜附着物的轮廓的亮度的特征(步骤S3233)。
透镜附着物的轮廓中，淡的亮度扩展，因此，例如，可对分组的每个轮廓区域求得亮度值的分散，并判断分散是否在规定的范围内。但是，本实施方式并不限定于此。除了上述以外，也可以是对分组的每个轮廓区域求得频率成分，并判断频率成分的平均值是否在规定的范围内。
透镜附着物的轮廓具有颜色和亮度向轮廓的外侧单调地变化的特征，因此，也可以提取这样的区域(渐变区域)。例如，可以沿着横向扫描拍摄图像而提取亮度在一定的长度范围内以一定的变化量单调地增加或减少的区域。在此，一定的长度和变化量可与透镜附着物的轮廓的宽度和该亮度变化量相应地设定。
(轮廓区域的内侧判断处理)
接着，对判断了形状和亮度的轮廓区域的组，判断其是否与透镜附着物的内侧相邻(步骤S3234)。通常，透镜附着物不仅出现轮廓，还出现内侧，因此，不与透镜附着物的内侧相邻的轮廓区域可判断为不是透镜附着物的轮廓区域，因此，将这样的轮廓区域除外。作为该透镜附着物的内侧，可以使用内侧提取部322提取的小边缘区域等。
但是，在分组的轮廓小的情况下，对应的透镜附着物的大小也小，存在没有提取出其内侧区域的情况。因此，在轮廓小的情况下，可以是使用内侧提取处理(步骤S322)不会提取的特征弱的内侧区域。该特征弱的内侧区域，例如可以通过内侧提取处理(步骤S322)将小边缘区域提取处理(步骤S3223)中提取的边缘强度的范围扩展至更强的强度的另一个小边缘提取处理来生成。
通过这些处理，能够从轮廓提取处理(步骤S321)中提取的轮廓区域检测出透镜附着物的轮廓(附着物轮廓区域)。通过这样仅提取透镜附着物的轮廓，也能够有效地检测出轮廓的比例大的小粒的透镜附着物等。
此外，步骤S3232～S3234中使用的各种判断处理彼此可以以任意顺序进行，而且也不需要执行全部的判断处理。也可以是一并使用2个以上的判断处理来复合地判断。
(内侧区域的分组处理)
接着，将由上述的内侧提取处理(步骤S322)提取的内侧区域利用连接的内侧区域彼此进行分组(步骤S3235)。该分组可以使用公知的分组处理，例如，可以使用图像的标记处理。
(内侧区域的形状判断处理)
接着，对步骤S3235中分组的每个内侧区域，比较并判断其形状是否具有(符合)与透镜附着物的轮廓的内侧的形状相适的特征(步骤S3236)。
形状的特征根据透镜附着物的种类的不同而不同，但是具有一定的宽度、具有面积的下限和上限是普遍的特征。因此，只要判断分组的内侧区域或面积是否在规定的范围内即可。
除此以外，透镜附着物还具有容易成块的特征。因此，透镜附着物的纵宽和横宽容易成为相同程度，而且相对于外接矩形的占有比(矩形占有率)容易成为圆的值(0.785)附近。因此，也可以是判断分组的内侧区域的纵横比或外接矩形占有率是否在规定的范围内。
在水滴那样圆的透镜附着物的情况下，可以对分组的内侧区域进行圆判断。圆判断可以使用公知的方法。例如，如果利用轮廓跟踪处理等提取内侧区域的轮廓，则能够根据轮廓的长度与内侧区域的面积的关系来求得圆形度，能够判断圆形度是否为阈值以上。在此，也有时水滴为椭圆，因此，也可以是求得区域的椭圆度来对椭圆化引起的圆形度的降低进行修正。也可以使用作为圆判断的方法已知的霍夫变换。能够通过对利用轮廓跟踪处理等提取的轮廓进行基于霍夫变换的圆提取处理，来判断内侧区域是否为圆形状。如果使用该方法，则能够将部分地缺损的内侧区域的缺损部位补充完整。
(内侧区域的亮度判断处理)
接着，对进行了形状判断的内侧区域的组，比较并判断其亮度是否具有(符合)透镜附着物的轮廓的内侧的亮度的特征(步骤S3237)。
在透镜附着物的轮廓的内侧，相似的亮度扩展，因此，对例如分组的每个内侧区域求得亮度值的分散，并判断分散是否在规定的范围内。但是，本实施方式并不限定于此。除了上述以外，也可以是对分组的每个内侧区域求得频率成分，并判断频率成分的平均值是否在规定的范围内。
透镜附着物的内侧具有外部光难以透过、没有颜色、亮度低的特征。例如，可以是对分组的每个内侧区域获取灰色系统颜色的比例或平均亮度，并提取灰色系统颜色的比例高的内侧区域或平均亮度低的内侧区域。
(内侧区域的轮廓判断处理)
接着，对判断了形状和亮度的内侧区域的组，判断其是否与透镜附着物的轮廓相邻(步骤S3238)。通常，透镜附着物会出现轮廓，因此，不与透镜附着物的轮廓相邻的(即，在外侧不具有附着物的轮廓的特征的)内侧区域可判断为不是透镜附着物的内侧区域，因此，将这样的内侧区域除外。作为该透镜附着物的轮廓，可以使用轮廓提取部321提取的模糊边缘区域。
但是，在透镜附着物为没有厚度的水滴的情况下，背景会投影在水滴中，因此几乎看不见该水滴的轮廓。因此，可以是将轮廓提取处理(步骤S321)中不会提取的特征弱的轮廓区域(换言之，与轮廓提取部321提取的轮廓区域相比特征弱的轮廓区域)包含在模糊边缘区域中。该特征弱的轮廓区域，例如可以通过轮廓提取处理(步骤S321)将模糊边缘提取处理(步骤S3213)中提取的边缘强度的范围扩展至更弱的强度的另一个模糊边缘提取处理来生成。
通过这些处理，能够从内侧提取处理(步骤S322)中提取的内侧区域检测出透镜附着物的轮廓的内侧(附着物内侧区域)。通过这样仅提取透镜附着物的内侧，也能够有效地检测出轮廓弱的透镜附着物等。
此外，步骤S3236～S3238中使用的各种判断处理彼此可以以任意顺序进行，而且也不需要执行全部的判断处理。也可以是一并使用2个以上的判断处理来复合地判断。
(附着物检测区域提取处理)
最后，将在上述的处理(步骤S3231～S3238)中作为附着物轮廓区域、附着物内侧区域提取的区域重叠而作为附着物检测区域提取(步骤S3239)。
在此，可以是将附着物轮廓区域与附着物内侧区域复合来决定附着物检测区域。例如，如果仅将附着物轮廓区域与附着物内侧区域彼此相邻地被检测出的区域(换言之，彼此相邻的附着物轮廓区域和附着物内侧区域)检测为附着物检测区域，则能够仅检测出具有轮廓的明确的透镜附着物。
但是，在上述实施方式中，在仅检测出附着物轮廓区域和附着物内侧区域中的任一者的情况下，无法检测出透镜附着物。在该情况下，如果将附着物轮廓区域和附着物内侧区域均检测为附着物检测区域，则能够检测出没有厚度的水滴那样轮廓弱的透镜附着物、和几乎没有内侧的小粒的透镜附着物等各种透镜附着物。
在附着物检测区域判断处理(步骤S323)中，也可以是参照以前检测出的附着物轮廓区域和附着物内侧区域、或者附着物检测区域，仅将检出频率高的附着物轮廓区域和附着物内侧区域、或者附着物检测区域作为最终输出。
在本实施方式中，也可以是将轮廓区域与内侧区域独立地处理，从各自检测出附着物轮廓区域和附着物内侧区域，但是当然也可以是将轮廓区域与内侧区域合成后判断其形状或亮度。在该情况下，无法将在轮廓和其内侧不同的特征用于判断，但是能够减少形状或亮度的判断处理的量，减轻处理负担。
(累积初始化处理)
在接下来的累积初始化处理(步骤S329)中，对通过轮廓提取处理(步骤S321)的累积处理(步骤S3214)累积的模糊边缘区域和累积次数进行初始化。另外，同样地，对通过内侧提取处理(步骤S322)的累积处理(步骤S3224)累积的小边缘区域和累积次数进行初始化。从而，在接下来执行附着物检测区域检测处理时，在轮廓提取处理(步骤S321)和内侧提取处理(步骤S322)中分别再次重新提取轮廓区域和内侧区域。
也可以是该累积初始化处理(步骤S329)仅删除已累积的模糊边缘区域和小边缘区域中的、旧的累积数据。
在轮廓区域和内侧区域的提取时机不同的情况下，也可以是仅对轮廓区域和内侧区域中已提取的一者的区域进行附着物检测区域判断处理(步骤S323)和累积初始化处理(步骤S329)。
(透镜状态判断处理)
接下来的透镜状态判断处理(步骤S324)由附着物检测部320的透镜状态判断部324执行，基于在附着物检测区域判断处理(步骤S323)中检测出的附着物检测区域来判断摄像机200的透镜210的弄脏程度。
例如，将附着物检测区域判断处理(步骤S323)中检测出的附着物检测区域的总面积作为弄脏程度，判断该值是否超过阈值，由此，检测透镜210是否严重弄脏。在此，可以根据附着物检测区域的大小和位置、与位置相应的附着物检测区域判断处理(步骤S323)的精度、车速或检测持续时间等，来改变附着物检测区域对弄脏程度的贡献率。例如，如果得知在车速低时在拍摄图像的中央弄脏且附着检测处理的误检测增加，则在车速低时，对于拍摄图像的中央的附着物检测区域降低对弄脏程度的贡献率(换言之，表示透镜210的弄脏程度的指标的大小)是有效的。在只要透镜附着物的大小不超过规定的面积，周围传感部340的检测性能就不会劣化的情况下，也可以是仅对分组的附着物检测区域的每一个的面积超过规定的面积的情况提高对弄脏程度的贡献率。在周围传感部340中，周围传感结果的重要度根据该附着物检测区域的图像位置而改变的情况下，也可以是与附着物检测区域的图像位置相应地改变对弄脏程度的贡献率。
也可以是与检测出的透镜附着物的种类相应地改变对弄脏程度的贡献率。透镜附着物的种类不仅包括是轮廓还是内侧，而且包括是水滴、是泥、还是污点等透镜附着物的种类本身。透镜附着物的种类可以通过在附着物检测部320的附着物检测处理中，将检测的参数和处理对各种透镜附着物进行优化来检测。例如，在透镜附着物为薄的污点的情况下，能够透过污点看到背景，因此，可考虑降低对弄脏程度的贡献度。
[实施方式1的效果]
如上所述，在本实施方式1中，通过分别检测透镜附着物的轮廓和内侧，能够高精度地检测出包括轮廓不明确的附着物在内的附着在摄像机200的透镜210等上的水滴、泥、垃圾等映现在摄像机200拍摄的拍摄图像中的附着物(的附着区域)。
不过，在本实施方式中，在通过内侧提取处理(步骤S322)的小边缘区域提取处理(步骤S3223)提取的小边缘区域中包含不是透镜附着物的轮廓的内侧的宽广区域的情况下，有时通过累积处理(步骤S3224)来削减区域，削减后的区域的形状接近透镜附着物的内侧的特征。同样，在通过轮廓提取处理(步骤S321)的模糊边缘区域提取处理(步骤S3213)提取的模糊边缘区域中包含不是透镜附着物的轮廓的宽广区域的情况下，有时通过累积处理(步骤S3214)来削减区域，削减后的区域的形状接近透镜附着物的轮廓的特征。其结果，有可能附着物检测区域判断处理(步骤S323)不将这样的区域除外而发生误检测。因此，可以是对内侧提取处理(步骤S322)的小边缘区域提取处理(步骤S3223)中提取的小边缘区域、和轮廓提取处理(步骤S321)的模糊边缘区域提取处理(步骤S3213)中提取的模糊边缘区域，也在累积前执行附着物检测区域判断处理(步骤S323)。但是，在该情况下，处理负担增大，因此，其中可以使用简化的处理。例如，只要通过累积处理(步骤S3214、S3224)将面积大幅缩小的轮廓区域或内侧区域预先除外即可。
＜实施方式2＞
接着，使用图15、16对实施方式2的附着物检测部(附着物检测装置)320的附着物检测处理进行说明。本实施方式2除了在附着物检测部320中增加了附着物检测区域跟踪部325以外，具有与上述实施方式1相同的结构。因此，使用图15对实施方式2的附着物检测部320的结构进行说明，并且使用图16对实施方式2的附着物检测部320的附着物检测处理进行说明，对于与上述实施方式1相同的结构和处理，标注相同的附图标记省略其详细说明，下面仅对不同点进行详细说明。
实施方式2的透镜附着物检测部320，如图15所示，包括对由附着物检测区域判断部323检测出的透镜附着物的区域(附着物检测区域)进行跟踪的附着物检测区域跟踪部325。
该附着物检测区域跟踪部325在附着物检测部320进行的附着物检测处理中，执行图16所示的附着物检测区域跟踪处理(步骤S555)。
在图16所示的附着物检测区域跟踪处理(步骤S555)中，对附着物检测区域判断处理(步骤S323)中检测出的附着物检测区域进行跟踪。该跟踪处理可以使用公知的跟踪处理。例如，可以是对包含附着物检测区域的附近的区域进行图案匹配。该图案匹配所使用的图像可以是拍摄图像，也可以是其边缘图像。所跟踪的区域能够不依赖于其前段的附着物检测区域判断处理(步骤S323)的结果而作为透镜附着物的检测区域(附着物检测区域)，从而，能够抑制由外部干扰等引起的检测的中断。
也可以是，对于以前检测出1次的附着物检测区域(包括附着物轮廓区域、附着物内侧区域)或连续稳定地检测出的附着物检测区域，对包含该区域的图像区域，轮廓提取部321、内侧提取部322、附着物检测区域判断部323使轮廓提取处理(步骤S321)、内侧提取处理(步骤S322)、附着物检测区域判断处理(步骤S323)的提取条件(边缘强度的提取范围和累积时间等)放宽，从而抑制由外部干扰等引起的检测的中断。
在透镜附着物为水滴的情况下，有由于外部光的变化而在透镜附着物的内侧出现轮廓的成分的情况。因此，在上述的附着物内侧区域的检测处理中，可以是在以前检测出1次或连续稳定地检测出的附着物内侧区域中，将轮廓提取处理中提取的轮廓区域作为内侧区域处理。同样，也可以是将附着物轮廓区域作为附着物内侧区域处理。从而，能够抑制内侧区域或附着物内侧区域的时间上的中断。同样，在上述的附着物轮廓区域的检测处理中，可以是在以前检测出1次或连续稳定地检测出的附着物轮廓区域中，将内侧提取处理中提取的内侧区域作为轮廓区域处理，也可以是将附着物内侧区域作为附着物轮廓区域处理。
本发明并不限定于上述的实施方式，包括各种变形形式。例如，上述的实施方式为了容易理解地说明本发明而详细地进行了说明，但是并不一定限定于包括所说明的所有构成要素。可以将某个实施方式的构成要素的一部分替换成其它实施方式的构成要素，也可以在某个实施方式的构成要素的基础上加入其它实施方式的构成要素。还可以对各实施方式的构成要素的一部分进行其它构成要素的增加、删除、替换。
上述的各构成要素、功能、处理部、处理方法等的一部分或全部，例如可以通过利用集成电路进行设计等而由硬件实现。上述的各构成要素、功能等也可以是通过处理器对实现各自的功能的程序进行解释并执行，而由软件实现。实现各功能的程序、表格、文件等信息可以放在存储器、硬盘、SSD(Solid State Drive：固态硬盘)等存储装置、或IC卡、SD卡、DVD等记录介质中。
关于控制线和信息线，仅示出了认为说明上需要的部分，并不一定示出了产品上的所有的控制线和信息线。实际上也可以认为几乎所有的构成要素相互连接。
附图标记说明
100 车辆
200 摄像机(摄像装置)
210 透镜
220 摄像元件
300 处理装置
310 车辆信息获取部
320 附着物检测部(附着物检测装置)
321 轮廓提取部
322 内侧提取部
323 附着物检测区域判断部
324 透镜状态判断部
325 附着物检测区域跟踪部
330 输出信息生成部
331 掩蔽区域生成部
340 周围传感部
350 车辆自动驾驶控制部
401 声音产生装置
402 显示器
403 显示灯
404 清洗装置
1000 车辆系统

Claims (12)

1.一种附着物检测装置，其用于检测设置在移动体上的摄像装置拍摄的拍摄图像中映现的附着物，所述附着物检测装置的特征在于，包括：
轮廓提取部，其从所述拍摄图像中提取附着物的轮廓的区域作为轮廓区域；
内侧提取部，其从所述拍摄图像中提取附着物的轮廓的内侧的区域作为内侧区域；和
附着物检测区域判断部，其将所述轮廓区域与附着物的轮廓进行比较，将形状和亮度中的任一者相符的轮廓区域检测为附着物轮廓区域，并将所述内侧区域与附着物的轮廓的内侧进行比较，将形状和亮度中的任一者相符的内侧区域检测为附着物内侧区域，从所述附着物轮廓区域和所述附着物内侧区域中的任一者中，检测出由附着物的轮廓和轮廓的内侧中的任一者构成的附着物的区域作为附着物检测区域。
2.根据权利要求1所述的附着物检测装置，其特征在于：
所述轮廓提取部从所述拍摄图像中提取具有特定范围的边缘强度的边缘区域作为轮廓区域，所述内侧提取部从所述拍摄图像中提取比所述轮廓区域弱的边缘区域和没有边缘强度的区域中的任一者作为内侧区域。
3.根据权利要求1所述的附着物检测装置，其特征在于：
还包括透镜状态判断部，其基于所述附着物检测区域来判断所述摄像装置的透镜的弄脏程度。
4.根据权利要求3所述的附着物检测装置，其特征在于：
所述透镜状态判断部根据所述附着物检测区域的位置相应地改变表示所述透镜的弄脏程度的指标的大小。
5.根据权利要求1所述的附着物检测装置，其特征在于：
所述附着物检测区域判断部将所述内侧区域中的在外侧不具有附着物的轮廓的部分从所述附着物内侧区域除去。
6.根据权利要求5所述的附着物检测装置，其特征在于：
所述附着物检测区域判断部不将在外侧具有弱轮廓区域的所述内侧区域从所述附着物内侧区域除去，其中，所述弱轮廓区域是在与所述轮廓提取部提取所述轮廓区域的提取条件相比使提取条件放宽的情况下得到的轮廓区域。
7.根据权利要求1所述的附着物检测装置，其特征在于：
所述附着物检测区域判断部将所述附着物轮廓区域和所述附着物内侧区域均检测为所述附着物检测区域。
8.根据权利要求1所述的附着物检测装置，其特征在于：
所述附着物检测区域判断部将彼此相邻的所述附着物轮廓区域和所述附着物内侧区域检测为所述附着物检测区域。
9.根据权利要求1所述的附着物检测装置，其特征在于：
还包括跟踪所述附着物检测区域的附着物检测区域跟踪部。
10.根据权利要求9所述的附着物检测装置，其特征在于：
在所述附着物检测区域判断部以前检测出的所述附着物内侧区域中，将所述轮廓区域和所述附着物轮廓区域中的任一者作为所述内侧区域和所述附着物内侧区域中的任一者处理。
11.根据权利要求9所述的附着物检测装置，其特征在于：
参照所述附着物检测区域判断部以前检测出的所述附着物轮廓区域和所述附着物内侧区域中的任一者或所述附着物检测区域，对包含该区域的图像区域，所述轮廓提取部和所述内侧提取部中的任一者使所述轮廓区域和所述内侧区域中的任一者的提取条件放宽。
12.一种车辆系统，其特征在于，包括：
权利要求1～11中任一项所述的附着物检测装置；
搭载在车辆上对所述车辆的周边进行拍摄的所述摄像装置；和
根据所述摄像装置拍摄的拍摄图像来检测物体和/或标识的周围传感部，其基于所述附着物检测区域判断部检测出的所述附着物检测区域来改变动作。
CN201880050218.4A 2017-08-02 2018-07-27 附着物检测装置和具有其的车辆系统 Active CN110999273B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-150190 2017-08-02
JP2017150190A JP6772113B2 (ja) 2017-08-02 2017-08-02 付着物検出装置、および、それを備えた車両システム
PCT/JP2018/028229 WO2019026785A1 (ja) 2017-08-02 2018-07-27 付着物検出装置、および、それを備えた車両システム

Publications (2)

Publication Number Publication Date
CN110999273A CN110999273A (zh) 2020-04-10
CN110999273B true CN110999273B (zh) 2021-08-10

Family

ID=65233949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880050218.4A Active CN110999273B (zh) 2017-08-02 2018-07-27 附着物检测装置和具有其的车辆系统

Country Status (5)

Country Link
US (1) US11142124B2 (zh)
EP (1) EP3664431B1 (zh)
JP (1) JP6772113B2 (zh)
CN (1) CN110999273B (zh)
WO (1) WO2019026785A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7243480B2 (ja) * 2019-06-25 2023-03-22 株式会社デンソー 車載センサ洗浄装置
CN112150534A (zh) * 2019-06-28 2020-12-29 深圳市商汤科技有限公司 图像采集设备遮挡状态检测方法、装置、设备和存储介质
JP7243546B2 (ja) 2019-09-20 2023-03-22 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7200893B2 (ja) * 2019-09-20 2023-01-10 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7156225B2 (ja) * 2019-09-20 2022-10-19 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7188336B2 (ja) * 2019-09-20 2022-12-13 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7272226B2 (ja) 2019-10-07 2023-05-12 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
CN110855871A (zh) * 2019-12-06 2020-02-28 盐城市何达城市开发建设有限公司 一种物业管理用监控摄像头
US11328428B2 (en) 2019-12-18 2022-05-10 Clarion Co., Ltd. Technologies for detection of occlusions on a camera
JP7463159B2 (ja) 2020-03-26 2024-04-08 株式会社デンソーテン 液滴検出装置
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
CN116829421A (zh) * 2021-01-22 2023-09-29 株式会社小糸制作所 传感器系统、车辆的控制方法以及车辆
CN112581473B (zh) * 2021-02-22 2021-05-18 常州微亿智造科技有限公司 一种基于实现表面缺陷检测灰度图像定位算法的方法
US11954894B2 (en) * 2021-04-08 2024-04-09 Rivian Ip Holdings, Llc Systems and methods for determining camera blockage
JPWO2023067704A1 (zh) * 2021-10-19 2023-04-27
US11798151B1 (en) * 2022-04-25 2023-10-24 Rivian Ip Holdings, Llc Systems and methods for determining image capture degradation of a camera sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111532A (zh) * 2010-05-27 2011-06-29 周渝斌 相机镜头遮挡检测系统及方法
CN103523014A (zh) * 2012-07-03 2014-01-22 歌乐株式会社 车载装置
WO2014017523A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 水滴検出装置及び水滴検出装置を用いた立体物検出装置
CN104509090A (zh) * 2012-07-27 2015-04-08 歌乐牌株式会社 车载用图像识别装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4542929B2 (ja) * 2005-03-18 2010-09-15 セコム株式会社 画像信号処理装置
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
JP2012038048A (ja) 2010-08-06 2012-02-23 Alpine Electronics Inc 車両用障害物検出装置
JP2012141691A (ja) * 2010-12-28 2012-07-26 Fujitsu Ten Ltd 映像処理装置
JP6251169B2 (ja) * 2012-07-03 2017-12-20 クラリオン株式会社 車載装置、制御装置
JP6117634B2 (ja) * 2012-07-03 2017-04-19 クラリオン株式会社 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP5883732B2 (ja) * 2012-07-03 2016-03-15 クラリオン株式会社 環境認識装置
EP2871101B1 (en) * 2012-07-03 2020-06-17 Clarion Co., Ltd. Vehicle surrounding monitoring device
JP2014026049A (ja) * 2012-07-25 2014-02-06 Sony Corp クリーニング装置とクリーニング方法および撮像装置
JP6055224B2 (ja) * 2012-07-27 2016-12-27 クラリオン株式会社 レンズ洗浄装置
DE102013019138A1 (de) * 2013-11-12 2015-05-13 Application Solutions (Electronics and Vision) Ltd. Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
JP6174975B2 (ja) * 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
JP6246014B2 (ja) * 2014-02-18 2017-12-13 クラリオン株式会社 外界認識システム、車両、及びカメラの汚れ検出方法
CN104143185B (zh) * 2014-06-25 2017-05-31 东软集团股份有限公司 一种污点区域检测方法
JP2016033729A (ja) 2014-07-31 2016-03-10 クラリオン株式会社 周囲環境認識装置
JP6832105B2 (ja) * 2016-09-23 2021-02-24 株式会社デンソーテン 水滴検出装置、水滴検出方法および水滴検出プログラム
US10552706B2 (en) * 2016-10-24 2020-02-04 Fujitsu Ten Limited Attachable matter detection apparatus and attachable matter detection method
JP6936070B2 (ja) * 2017-08-01 2021-09-15 トヨタ自動車株式会社 周辺監視装置
JP2019029897A (ja) * 2017-08-01 2019-02-21 パナソニックＩｐマネジメント株式会社 画像監視装置、画像監視方法および画像監視プログラム
DE112018006324T5 (de) * 2017-12-12 2020-08-20 Denso Corporation Fahrzeugreinigungssystem

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111532A (zh) * 2010-05-27 2011-06-29 周渝斌 相机镜头遮挡检测系统及方法
CN103523014A (zh) * 2012-07-03 2014-01-22 歌乐株式会社 车载装置
WO2014017523A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 水滴検出装置及び水滴検出装置を用いた立体物検出装置
CN104509090A (zh) * 2012-07-27 2015-04-08 歌乐牌株式会社 车载用图像识别装置
CN104509091A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 水滴检测装置以及使用水滴检测装置的三维物体检测装置

Also Published As

Publication number Publication date
WO2019026785A1 (ja) 2019-02-07
JP6772113B2 (ja) 2020-10-21
EP3664431A4 (en) 2021-05-05
EP3664431B1 (en) 2023-02-22
US20210122294A1 (en) 2021-04-29
JP2019029940A (ja) 2019-02-21
EP3664431A1 (en) 2020-06-10
CN110999273A (zh) 2020-04-10
US11142124B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
CN110999273B (zh) 附着物检测装置和具有其的车辆系统
JP6117634B2 (ja) レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
US9956941B2 (en) On-board device controlling accumulation removing units
CN106652465B (zh) 一种道路异常驾驶行为的识别方法及系统
CN109565536B (zh) 车载装置
JP6120395B2 (ja) 車載装置
TWI607901B (zh) 影像修補系統及其方法
JP5883732B2 (ja) 環境認識装置
EP2754123B1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
CN111860120B (zh) 车载相机自动遮挡检测方法和装置
JP2005509984A (ja) 画像強調を用いて自動車の安全性を向上させる方法及びシステム
US20140241589A1 (en) Method and apparatus for the detection of visibility impairment of a pane
US20080181535A1 (en) Fog isolation and rejection filter
CN111815556B (zh) 基于纹理提取和小波变换的车载鱼眼相机自诊断方法
JPH06314340A (ja) 車両周辺監視装置
JP2013025568A (ja) 接近障害物検出装置及びプログラム
US20220014674A1 (en) Imaging system and image processing apparatus
Chien et al. An image based overexposed taillight detection method for frontal vehicle detection in night vision
JP2015215645A (ja) 解析装置、解析方法、及び、プログラム
JP4710437B2 (ja) 対象物探索装置
WO2018074076A1 (ja) 撮像装置
EP2945116A1 (en) Method and apparatus for providing an augmented image of a vehicle's surrounding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant