CN110954920B - 附着物检测装置 - Google Patents

附着物检测装置 Download PDF

Info

Publication number
CN110954920B
CN110954920B CN201910910742.0A CN201910910742A CN110954920B CN 110954920 B CN110954920 B CN 110954920B CN 201910910742 A CN201910910742 A CN 201910910742A CN 110954920 B CN110954920 B CN 110954920B
Authority
CN
China
Prior art keywords
section
region
attached matter
processing
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910910742.0A
Other languages
English (en)
Other versions
CN110954920A (zh
Inventor
上田康贵
铃木崇士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN110954920A publication Critical patent/CN110954920A/zh
Application granted granted Critical
Publication of CN110954920B publication Critical patent/CN110954920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种附着物检测装置包括：获取部分(38)，其被配置为获得从成像部分(14,14a，14b，14c，14d)输出的捕获图像数据；检测部分(40)，其被配置为基于捕获图像数据检测成像部分的成像表面(46)的多个区域(46a)中的每一个的附着物(52)是否存在；以及判断部分(42)，其被配置为将可靠区域和不可靠区域彼此区分，由处理装置(30,32,34,36)利用捕获图像数据执行的预定运算处理的可靠性属性在可靠区域中保持等于或大于预定值，并且可靠性属性在不可靠区域中小于预定值。

Description

附着物检测装置
技术领域
本公开大体涉及附着物检测装置。
背景技术
传统上，存在一种系统，其使得显示装置基于由布置在车辆处的成像部分(相机)捕获的捕获图像数据来显示图像，并且允许例如驾驶员识别车辆周围的环境，以及/或者基于图像执行检测障碍物的存在或不存在和/或检测障碍物的接近。在例如包括污垢的物质附着在这种系统的成像部分的成像表面(例如，透镜)上的情况下，可能无法适当地显示图像，和/或可能无法适当地执行使用图像的图像处理和/或检测处理。因此，例如，提出了一种技术，其控制和/或通知附着物的附着状态的变化，和/或向外部移动终端通知附着状态(例如，将作为专利参考文献1参考的JP2018-26671A和将作为专利参考文献2参考的JP5521990)。
在传统系统的情况下，当检测到附着物时，使用由成像部分捕获的图像的其他处理装置，包括停车辅助处理，障碍物检测处理和接近物体识别处理，被配置为使得其处理被禁止。也就是说，在检测附着物的装置处，执行这样的处理，其限制了其他处理装置的处理。然而，在某些情况下，附着物不会覆盖整个成像表面。即使在这种情况下，如果以正常方式(例如，障碍物的检测)起作用的其他处理装置甚至可以稍微或部分地使用，则有助于提高便利性。
因此，需要一种附着物检测装置，其即使在由成像部分捕获的图像中识别附着物的附着的情况下也允许有效使用其他处理装置，并且可以例如向驾驶员连续地提供有用的信息，从而使装置有用。
发明内容
根据本公开的一个方面，一种附着物检测装置包括：获取部分，其被配置为获得从被配置为安装在车辆上的成像部分输出的捕获图像数据；以及检测部分，其被配置为基于捕获图像数据在成像部分的成像表面被划分为多个区域的情况下，检测成像表面的多个区域中的每个区域的附着物的存在或不存在。附着物检测装置包括判断部分，该判断部分配置成基于检测到附着物的区域将可靠区域和不可靠区域彼此区分开。在可靠区域中，由处理装置使用捕获图像数据执行的预定运算处理的可靠性属性保持等于或大于预定值，并且在不可靠区域中，可靠性属性小于预定值。
根据上述配置，用户可以容易地识别可靠区域和不可靠区域的存在。用户还知道，运算处理的可靠性属性被维持在附着物附着的区域以外的可靠区域，并且处理装置可以在可靠区域中有效地使用。
根据本公开的另一方面，附着物检测装置还包括显示处理部分，该显示处理部分被配置为基于判断部分的判断结果，使显示装置以可靠区域和不可靠区域能够彼此辨别的方式显示可靠区域和不可靠区域。
根据上述配置，例如，通过附着物的附着来降低运算处理的可靠性属性的区域，以及附着物未附着且确保可靠性并且可以执行正常运算处理的区域容易被用户识别。
根据前述实施例，检测部分在检测部分检测到附着物的情况下估计附着物的类型。
根据上述配置，允许用户容易地识别什么种类或类型的附着物被附着。
根据前述实施例，显示处理部分被配置为确定不可靠区域中的附着物的显示方式。
根据上述配置，在存在附着物的情况下，用户容易知道其他处理装置正在执行可靠处理的区域。
根据前述实施例，显示处理部分被配置为显示与不可靠区域相对应的通知消息。
根据上述配置，容易使用户理解存在不可靠区域，其中运算处理的可靠性小于预定值，和/或他或她需要注意不可靠区域的存在。
附图说明
通过参考附图考虑的以下详细描述，本公开的前述和附加特征和特性将变得更加明显，其中：
图1是示出可安装这里公开的实施例的附着物检测装置的车辆的示例的示意性平面图；
图2是包括该实施例的附着物检测装置的车辆控制系统的配置的示例性框图；
图3是示出了CPU的配置的示例性框图，其中实现了包括本实施例的附着物检测装置(附着物检测部分)的各模块；
图4是示出该实施例的附着物检测装置的成像部分的成像表面的区域的划分的示例性示意图；
图5是示出了由该实施例的附着物检测装置在其上显示运算处理的可靠区域和不可靠区域的显示装置的示例的示例性示意图；
图6是示出了由该实施例的附着物检测装置在其上显示运算处理的可靠区域和不可靠区域的显示装置的另一示例的示例性示意图；
图7是示出根据本实施例的附着物检测装置的附着物的检测结果的输出的示例的示意图；和
图8是示出根据该实施例的附着物检测装置的处理流程的示例的流程图。
具体实施方式
这里公开的实施例将在下面描述。下面描述的实施例的配置，以及通过配置获得的操作，结果和效果是示例。本公开可以利用除了下面公开的实施例之外的配置来实现，并且可以获得基于基本配置的各种效果和衍生效果中的至少一个。
图1是车辆10的示意性平面图，其上安装有本实施例的附着物检测装置。例如，车辆10可以是驱动源是内燃机(发动机)的汽车(内燃机车辆)，驱动源是电动机(马达)的汽车(例如，电动车辆，燃料电池车辆)，包括内燃机和电动机两者作为驱动源的汽车(混合动力车辆)。车辆10可以安装有各种变速装置或变速器，和/或致动或驱动内燃机和/或电动机所需的各种装置(例如，系统，零件和部件)。例如，可以以各种方式设置与车辆10的车轮12(前轮12F，后轮12R)的驱动相关的装置的类型，数量和/或布局。
如图1中以示例性方式所示，车辆10包括例如用作多个成像部分14的四个成像部分14a，14b，14c，14d。例如，每个成像部分14是数码相机，其中包括例如电荷耦合器件(CCD)或CMOS图像传感器(CIS)的成像元件。每个成像部分14被配置为以预定帧速率输出运动图像的数据(捕获图像数据)。每个成像部分14包括广角镜头或鱼眼镜头，并且被配置为例如在水平方向上成像或捕获140度到220度的范围。例如，布置在车辆10的外周的每个成像部分14(14a至14d)的光轴可以倾斜地向下设置。因此，成像部分14(14a至14d)顺序地成像或捕获车辆10外部的周围环境，并输出捕获的周围环境作为捕获图像数据。车辆10外部的周围环境可包括例如车辆10可在其上移动的道路表面，设置在道路表面上的标记或标志(例如，箭头，分隔线，指示停车位和/或车道分界线的停车框架)，和/或物体(例如，包括行人和/或其他车辆的障碍物)。
例如，成像部分14a设置在车辆10的前侧，即，车辆10的在车辆前后方向上的前方在车辆宽度方向上的大致中心处的端部分处，例如，在前保险杠10a或前格栅(grill)处。成像部分14a可以捕获包括车辆10的前端部分(例如，前保险杠10a)的前方图像。例如，成像部分14b设置在车辆10的后侧，即，在车辆10的在车辆前后方向上的后方在车辆宽度方向上的大致中央处的端部分处，例如，在后保险杠10b上方。成像部分14b可以捕获包括车辆10的后端部分(例如，后保险杠10b)的后方区域。例如，成像部分14c设置在车辆10的右侧端部分处，例如，设置在右侧车门后视镜10c处，并且可以捕获包括主要在相对于车辆10的右侧的区域(例如，从右前方到右后方的区域)的右侧图像。例如，成像部分14d设置在车辆10的左侧端部分处，例如，设置在左侧车门后视镜10d处，并且可以捕获包括主要在相对于车辆10的左侧的区域(例如，从左前方到左后方的区域)的左侧图像。
例如，基于在成像部分14a至14d处获得的捕获图像数据，执行运算处理和/或图像处理，从而生成包括更宽视场的图像和/或生成与从上方，前方和/或侧方观察的车辆10的视图对应的虚拟图像(透视图像(平面图像)，侧视图像和/或前视图像)。由各个成像部分14a至14d成像的捕获图像数据(图像)可以包括彼此重叠的重叠区域。例如，由成像部分14a捕获的捕获图像数据的右侧端部分和由成像部分14c捕获的捕获图像数据的前侧端部分彼此重叠。当两个图像彼此连接(合成或复合)时，可以执行混合处理(blendprocessing)，通过该混合处理，前方图像的捕获图像数据和右侧图像的捕获图像数据中的每一个的预定百分比(例如，a％)用于合成图像。通过执行混合处理，合成图像使得前方图像和右侧图像逐渐改变，并且由亮度和/或颜色的差异产生的边界线变得不太明显。以类似的方式，通过对前方图像和左侧图像，对左侧图像和后方图像，对后方图像和右侧图像执行混合处理，边界线在合成的整个周围图像中变得不太明显。
在每个成像部分14处获得的捕获图像数据显示在设置在车厢处的显示装置上，使得车辆10周围的情况被提供给包括驾驶员的用户，例如，如上所述。如下所述，捕获图像数据也被提供给通过图像处理执行各种检测和/或感测的处理装置(处理部分)，并且可以用于控制车辆10。
图2是包括待安装在车辆10上的附着物检测装置的车辆控制系统100的配置的示例性框图。显示装置16和声音输出装置18设置在车辆10的车厢内。显示装置16例如是液晶显示器(LCD)或有机电致发光显示器(OELD)。声音输出装置18例如是扬声器。显示装置16覆盖有透明操作输入部分20，包括触摸板。用户(例如，驾驶员)可以经由操作输入部分20在视觉上识别在显示装置16的显示屏幕上显示的图像。用户可以通过操作操作输入部分20来执行操作输入，例如，通过用他或她的手指在与显示在显示装置16的显示屏幕上的图像相对应的位置处触摸，推动和/或移动操作输入部分20。例如，显示装置16，声音输出装置18，操作输入部分20等设置在监视器装置22处。例如，监视器装置22布置在车辆10的仪表板处，以定位在车辆宽度方向上，即，在左右方向上的中心部分处。监视器装置22可以包括操作输入部分，该操作输入部分包括例如开关，拨盘，操纵杆，按钮。例如，监视器装置22还可以用作导航系统和/或音频系统。
如图2所示，除了成像部分14(14a至14d)和监视器装置22之外，车辆控制系统100(包括附着物检测装置)还包括电子控制单元(ECU)24。在车辆控制系统100处，例如，ECU24和监视器装置22经由用作电信线路的车载网络26电连接。例如，车载网络26被配置为控制器区域网络(CAN)。ECU24可以通过经由车载网络26发送控制信号来执行各种系统的控制。例如，ECU24还可以经由车载网络26接收操作输入部分20和/或各种开关的操作信号，和/或各种传感器的检测信号。用于使车辆10行驶的各种系统(例如，转向系统，制动系统，驱动系统)和/或各种传感器(例如，转向传感器，车轮速度传感器，加速度传感器)连接到车载网络26，然而，将省略对系统和传感器的说明。
例如，ECU24向监视器装置22发送与基于从成像部分14获得的捕获图像数据生成的周围图像和/或声音有关的数据。例如，ECU24包括中央处理单元(CPU)24a，只读存储器(ROM)24b，随机存取存储器(RAM)24c，显示控制部分24d，声音控制部分24e和SSD(固态驱动器，闪存)24f。
CPU 24a读取存储(安装)在包括ROM 24b的非易失性存储器中的程序，并根据程序施行或执行运算处理。例如，ROM 24b存储每个程序和执行每个程序所需的或用于执行每个程序的参数。CPU 24a包括例如图3所示的各种模块，并执行成像部分14的附着物检测处理和/或与显示在显示装置16上的图像有关的处理。例如，CPU 24a对由成像部分14捕获的捕获图像数据执行运算处理和/或图像处理，并检测每个成像部分14的成像表面上的附着物的附着位置(附着区域)，估计附着物的类型，并根据附着物的附着位置切换显示。CPU 24a基于附着物的附着位置将可靠区域和不可靠区域彼此区分开。在可靠区域中，通过使用捕获图像数据在其他处理装置(处理部分，系统)处执行的运算处理(成像处理和/或识别处理)的可靠性属性(reliability property)保持等于或大于预定值。在不可靠区域中，可靠性属性小于预定值。例如，CPU 24a可以经由显示装置16向用户通知区分的判断结果。除了附着物检测装置之外，CPU 24a还包括实现例如用于控制车辆10的停车辅助处理，障碍物检测处理和接近物体识别处理的模块。稍后将对CPU 24a进行详细说明。
RAM 24c临时存储用于CPU 24a处的运算处理的各种数据。例如，在ECU24处执行的运算处理中，显示控制部分24d主要执行在显示装置16处显示的图像数据的图像合成。例如，在ECU24处执行的运算处理中，声音控制部分24e主要执行在声音输出部分18处输出的声音数据的处理。SSD 24f是可重写的非易失性存储器，并且即使在ECU 24的电源开关关闭的情况下也保持数据。例如，CPU 24a，ROM 24b和RAM 24c可以集成在同一封装中。ECU24可以包括其中其他逻辑操作处理器和/或逻辑电路包括数字信号处理器(DSP)，代替CPU24a，的配置。代替SSD 24f，可以设置硬盘驱动器(HDD)。SSD 24f和/或HDD可以与ECU 24分开设置。
在该实施例中，硬件和软件(控制程序)一起工作，因此ECU24基于对成像部分14的成像表面的附着物检测处理和检测的结果，管理要在显示装置16上显示的图像的图像生成处理。通过执行例如相对于由成像部分14捕获的捕获图像数据的图像处理，ECU 24检测附着物是否附着到成像表面的多个划分区域中的任何一个。在检测到附着物的情况下，ECU24根据检测到的附着物的附着区域的位置，区分可靠区域和不可靠区域，在可靠区域，使用捕获图像数据执行预定运算处理的处理装置处的运算处理的可靠性属性等于或者大于预定值，在不可靠区域，可靠性属性小于预定值。即，即使在存在减少了运算处理的可靠性的区域的情况下，ECU24也允许用户识别出处理装置(处理部分)的运算处理在确保可靠性的有限区域中是有效的，并且ECU 24尽可能地向处理装置(处理部分)和/或用户提供有用或有助的信息。通过向用户指示不可靠区域，ECU 24使用户强烈或敏锐地意识到附着物被附着，并且ECU 24帮助用户识别到处理装置(处理部分)可以小心或谨慎地在有限区域中使用。
图3是包括在ECU 24中的CPU 24a的配置的示例性框图。作为上述附着检测部分，例如，CPU 24a包括各种模块，其执行附着物附着的区域的检测处理，在附着物被检测的情况下区分可靠区域和不可靠区域的判断处理，以及将判断结果呈现给用户的显示处理。可靠区域和不可靠区域用于使用捕获图像日期的处理装置(处理部分)的运算处理。除了附着物检测装置之外，ECU24还包括实现通过使用捕获图像数据执行预定运算处理的处理装置的各种模块。CPU 24a读取安装并存储在包括ROM 24b的存储器中的程序并执行该程序，从而实现各种模块。例如，如图3所示，CPU 24a例如实现附着物检测部分28，停车辅助部分30，障碍物检测处理部分32，接近物体识别处理部分34和光轴偏差检测处理部分36。停车辅助部分30，障碍物检测处理部分32，接近物体识别处理部分34和光轴偏差检测处理部分36例如是利用成像部分14捕获的捕获图像数据执行预定运算处理的处理装置(处理部分)的示例。因此，CPU 24a可以实现除了上述示例之外的各种处理装置(处理部分)。这些处理装置可以在与CPU 24a不同的CPU或不同的ECU处实现，或者可以配置为专用硬件。停车辅助部分30执行获得将车辆10引导至目标停车区域(停车框架)的行驶路线，并且通过自主运行或手动运行引导车辆10的处理，该目标停车区域是基于由每个成像部分14获得的捕获图像数据而设定的。障碍物检测处理部分32基于通过每个成像部分14获得的捕获图像数据，利用例如模式匹配处理，执行例如检测可能存在于车辆10周围的障碍物的处理。以与障碍物检测处理部分32类似的方式，接近物体识别处理部分34基于通过每个成像部分14获得的捕获图像数据利用例如模式匹配处理检测例如可能存在于车辆10周围的障碍物，并进一步跟踪障碍物，从而执行识别障碍物的处理。例如，光轴偏差检测处理部分36通过在壁表面处应用前灯(headlight)进行检查来执行光轴偏差检测的处理，使得成像部分14a捕获壁表面的图像，然后分析所捕获的图像数据。例如，已知技术可应用于停车辅助部分30，障碍物检测处理部分32，接近物体识别处理部分34和光轴偏差检测处理部分36，因此详细结构和/或其操作的说明将在该实施例中省略。
例如，附着物检测部分28包括获取部分38，检测部分40，判断部分42和显示处理部分44，其用作用于实现与附着物相关的检测处理以及基于检测结果的显示处理的详细模块。
获取部分38顺序地获得在每个成像部分14处捕获的捕获图像数据。在该实施例中，例如，每个成像部分14可以将成像部分14的识别码附加到在成像部分14处捕获的捕获图像数据，然后可以将具有识别码的图像数据输出到获取部分38。或者，在获取部分38处，识别输出源的识别码可以附加到在成像部分14处捕获的捕获图像数据的每个数据。获取部分38可以对在每个成像部分14处捕获的捕获图像数据执行失真校正和/或亮度校正，从而将数据的状态转换为可以容易地检测到附着物的状态。
例如，检测部分40包括附着物检测处理部分40a和类型估计部分40b，作为详细模块。
例如，附着物检测处理部分40a通过对当车辆10行驶时由成像部分14以预定时间间隔按时间顺序捕获的多个捕获图像数据(图像)中的每一个执行成像处理(例如，已知的差分检测处理)，然后检测图像中的不动元素，来检测成像表面上的附着物的存在或不存在。在安装在正在行驶的车辆10上的成像部分14a处捕获的图像中，图像的内容随时改变。然而，如果包括疯狂飞溅物(mad splash)和/或水滴的附着物附着到成像表面(例如，透镜)，则附着部分停留在按时间顺序捕获的捕获图像数据(图像)中的相同位置处。另一方面，在未附着附着物的部分，显示的内容随时间变化。因此，通过获得以预定时间间隔(例如，0.5秒)成像的至少两个图像之间的差异，可以判断附着物附着到显示内容不改变的部分(除了在图像中捕获的车身的一部分)。在这种情况下，可以设置判断阈值以判断附着物。因此，在轻微污垢(附着)的情况下，例如，基本上不隐藏或阻挡图像内容物的小附着物和/或透明且几乎不会引起光反射和/或光折射的薄水滴，可以判断为“没有附着物”。对于使用捕获的图像数据的每个处理装置(例如，每个处理部分，停放辅助部分30)，可以通过例如测试或实验预先确定判断阈值，并且判断阈值可以存储在例如ROM 24b中。判断阈值可以在处理装置之间相同，或者可以设置为对于处理装置彼此不同。
如图4所示，成像部分14的成像表面46被分成多个区域46a，并且附着物检测处理部分40a可以判断多个区域46a中的哪个被检测到的附着物附着。在图4的情况下，为了简化附图，成像表面46被分成十六个区域46a，即，垂直列中的四个区域46a和水平行中的四个区域46a(竖直×水平＝4 x 4)。然而，成像表面46实际上以更详细的方式划分为更多数量的区域，例如，水平行中的十到二十个区域和垂直列中的十到二十个区域，使得更精确地检测附着物的附着位置。
作为其他附着物检测技术，例如，已知使用空间频率的检测。对由成像部分14捕获的图像(例如，各个区域46a的图像)执行FFT(傅立叶变换)处理，并且将图像变换为频域的指示。在这种情况下，如果附着物附着到成像部分14的成像表面(例如，透镜)，则光被模糊，因此出现在图像中的物体的边缘模糊。也就是说，高频范围的频率部分变得衰减或减弱。在发生上述现象的情况下，可以判断附着物附着到成像表面，并且可以识别附着有附着物的区域46a。在这种情况下，可以利用由成像部分14a中的一个捕获的一个图像来执行附着物的检测，并且可以使用当车辆10停止和/或以极低的速度行驶时获得的图像进行附着物检测。附着物的检测不限于上述技术，可以使用已知技术。通过允许检测部分40基于过去的检测结果来学习附着物是否被附着，可以提高检测效率。
在附着物检测处理部分40a检测到附着物的情况下，类型估计部分40b估计附着的附着物的类型。例如，可以估计附着物是不透光的物质，其不容易透射光，例如，在被判断为具有附着至其的附着物的区域46a的亮度或透射率低于预定阈值(亮度低或透射率低)的情况下的“疯狂飞溅物”。相反，可以估计附着物是容易透射光的物质并且包括透明度，例如，在被判断为具有附着至其的附着物的区域46a的亮度或透射率等于或高于预定阈值(亮度高或透射率高)的情况下的“水滴”。在判断为附着物的物质随时间移动的情况下，类型估计部分40b可以估计附着物是包括流体性或流动性的“水滴”。相反，在被判断为附着物的物质即使随着时间流逝也不移动的情况下，类型估计部分40b可以估计附着物是不包括流体性或流动性的“疯狂飞溅物”。
在附着物检测处理部分40a检测到附着物的情况下，判断部分42根据附着物的位置(区域46a)区分“可靠区域”和“不可靠区域”，在“可靠区域”中，使用捕获图像数据执行预定的运算处理的处理装置(例如，停车辅助部分30和/或障碍物检测处理部分32)处的运算处理的可靠性属性保持等于或大于预定值，在“不可靠区域”中，可靠性属性彼此小于预定值。“可靠区域”是与成像部分14的成像表面的已被判断为附着物未附着到其上的区域46a相对应的区域。通过相对于“可靠区域”执行运算处理(例如，白线检测处理)，例如在可靠区域的区域46a的捕获图像数据(部分数据)中捕获例如白线的情况下，在确保了等于或大于预定值的可靠性属性的状态下，可以以正常方式检测白线。另一方面，“不可靠区域”是与成像部分14的成像表面的已被判断为附着有附着物质的区域46a相对应的区域。在相对于“不可靠区域”执行运算处理(例如，白线检测处理)的情况下，即使例如在不可靠区域的区域46a的捕获图像数据(部分数据)中捕获白线，也可以认为白线被附着物隐藏或覆盖，因此不被识别。也就是说，可以认为不能执行将可靠性属性保持为等于或大于预定值的检测(检测的可靠性属性小于预定值)。
例如，显示处理部分44包括详细模块，其包括显示方式处理部分44a和消息处理部分44b，用于基于判断部分42的判断结果，使显示装置16以可以辨别或区分可靠区域和不可靠区域的方式显示可靠区域和不可靠区域。
如图5和图6所示，例如，显示方式处理部分44a允许显示装置16的显示区域48以包括第一显示区域48a和第二显示区域48b的二分结构显示。例如，在第一显示区域48a中显示由成像部分14a成像并且指示相对于车辆10的前侧的情况的实际图像50(例如，其上已经执行了失真校正和/或亮度校正的图像)。图5中所示的是附着物52附着到第一显示区域48a的中心区域的实例。图6中所示的是附着物(附着物体)52附着到第一显示区域48a的左侧区域的实例。结果，允许用户(例如，驾驶员)直观地理解附着物52附着到成像部分14a的成像表面的哪个区域(位置)。如图5和6所示，可以显示与附着物52存在的位置相对应的一个或多个区域46a(区域框架)。
例如，功能显示视图54显示在第二显示区域48b中。功能显示视图54允许用户容易地想象在目前正在进行运算处理的处理装置(例如，停车辅助部分30，障碍物检测处理部分32，接近物体识别处理部分34)中正被识别(检测，提取)的内容。功能显示视图54执行这样的显示，其清楚地指示由于附着物52的附着而降低了处理装置的识别(检测，提取)的可靠性属性的不可靠区域以及可靠性属性被保持为正常的可靠区域。
例如，在正在执行停车辅助部分30的处理的情况下，停车辅助部分30可以基于由成像部分14捕获的捕获图像数据来检测包括中心线，分隔线和/或停车框架的白线，以便获得目标停车区域和/或引导路线。在第二显示区域48b中指示白线检测功能显示视图54a，其指示正在执行或正在运行检测白线的功能。对应于显示在第一显示区域48a中并附着有附着物52的区域46a，例如，在白线检测功能显示视图54a中指示包括例如十字(X)标记的标记58。包括例如十字(X)标记的标记58表示相对于中心区域中的白线56不可能进行可靠的识别。相反，标记58没有设置在与附着物52未附着的区域相对应的右方和左方区域中。也就是说，白线检测功能显示视图54a示出了在维持可靠性属性的状态下可以进行白线识别的区域存在。
如上所述，在附着物52存在于实际图像50的中心区域的情况下，利用由成像部分14a成像的捕获图像数据的中心区域的白线检测的可靠性属性低或者不能执行检测处理。换句话说，在图5的情况下，可以如在右方区域和左方区域中通常进行的那样执行白线检测。结果，在维持可靠性属性的状态下，即使在附着物52附着到成像部分14a的成像表面的情况下，停放辅助部分30也能够在有限区域中执行白线检测，并且可以将有用信息(例如，白线上的信息)提供给停车辅助部分30和/或用户。
在正在执行障碍物检测处理部分32的处理的情况下，例如，可以通过基于由成像部分14成像的捕获图像数据相对于图像执行模式匹配处理来检测可能存在于车辆10周围的行人，其他车辆和/或结构。在这种情况下，在第二显示区域48b中，显示表示正在执行障碍物(例如，行人，其他车辆，结构)的检测功能的障碍物检测功能显示视图54b。在障碍物检测功能显示视图54b中，对应于在第一显示区域48a中显示且附着有附着物52的区域46a，显示表示不可能可靠地检测中心区域中的障碍物60的标记58(例如，行人标记)，标记58包括例如十字(X)标记或符号。标记58没有设置在与附着物52未附着的区域相对应的右方区域和左方区域中。也就是说，障碍物检测功能显示视图54b显示存在可以在维持可靠性属性的状态下执行障碍物识别的区域。
类似地，在图6的第二显示区域48b中，显示白线检测功能显示视图54a和障碍物检测功能显示视图54b，并且对应于显示在第一显示区域48a中并附着有附着物52的区域46a，显示指示不可能可靠识别左方区域中的白线56和/或障碍物60的标记58，标记58包括例如十字(X)标记。标记58没有设置在与未附着附着物52的区域对应的中心区域和右方区域中。也就是说，表明可以在维持可靠性属性的状态下执行白线识别和/或障碍物识别。
在图5和6中，功能显示视图54c提供空白显示。在正在执行基于由成像部分14捕获的捕获图像数据的其他处理部分的运算处理的情况下，如果由于附着物52的存在，识别的可靠性属性小于预定值，在功能显示视图54c中显示指示处理功能的图像，并且标记58也在功能显示视图54c中指示。例如，白线检测功能显示视图54a，障碍物检测功能显示视图54b等可以显示在固定位置处，或者可以按照执行运算处理的顺序显示。在上述视图显示在固定位置的情况下，显示位置容易使用户直观地识别显示的内容。
如上所述，功能显示视图54显示在第二显示区域48b中，因此通知用户识别出由于附着物52的附着而存在可靠区域和不可靠区域。也就是说，允许用户容易地识别出包括停车辅助部分30和/或障碍物检测处理部分32的处理部分是部分可用的，而不是这些处理部分完全不可用。
在该实施例中，其他处理装置(处理部分)操作并且还相对于与已检测到附着物52的区域相对应的区域执行运算处理，而不省略或跳过运算处理。也就是说，其他处理装置(处理部分)不会基于附着物52的附着而省略处理(没有给出功能限制)，因此在不遗漏处理的情况下进行操作。
在图5和图6中的每一个中示出的功能显示视图54的情况下，区域在横向方向上被划分为三个部分，然而，可以以更详细的方式划分该区域。例如，该区域可以在上下方向上进一步分成两个部分，以便总共显示为六个划分的部分。
显示方式处理部分44a可以允许显示第一显示区域48a和第二显示区域48b中的任何一个。例如，可以基于用户做出的操作输入部分20的操作来改变显示装置16的显示方式。在这种情况下，允许第一显示区域48a或第二显示区域48b以放大的方式显示在作为有限区域的显示装置16的显示区域中，从而有助于提高用户的可识别性。当仅显示第一显示区域48a时，例如，可以在附着有附着物52并且然后被判断为不可靠区域的区域中设置与标记58类似的十字“X”标记。
显示方式处理部分44a可以基于由类型估计部分40b估计的附着物52的类型，改变在实际图像50中显示或示出附着物52的方式。例如，在附着物52的类型被估计为例如基本上隐藏图像内容的“疯狂飞溅物”的情况下，附着物52可以用容易暗示或给出“疯狂飞溅物”的想法的一种或者多种基于深棕色的显示颜色显示。相反，在附着物52的类型被估计为例如在某种程度上透射图像内容的“水滴”的情况下，附着物52可以用容易暗示或给出“水滴”的想法的一种或者多种基于浅蓝色的显示颜色显示。如上所述，通过根据附着物52的类型确定实际图像50中的附着物52的显示方式(例如，显示颜色)，允许用户容易且直观地识别附着物52的类型，因此用户可以容易地确定附着物52的去除时间。例如，在附着物52是水滴的情况下，用户可以确定等待和查看，因为在车辆行驶期间可能通过例如风压去除水滴。相反，在附着物52是疯狂飞溅物的情况下，使得用户确定尽快去除疯狂飞溅物是理想的，因为随着时间的推移它将固化。通过便于识别附着物52的类型，可以增强显示的娱乐方面，这可以有助于提高商品的价值。
在实际图像50中，显示方式处理部分44a可以显示区域46a，在区域46a中，附着物52具有一种或多种颜色，该一种或多种颜色包括易于与其他区域区分的透射方式。例如，其中存在附着物52的区域46a可以显示为浅或淡“红色”和/或浅或淡“黄色”。其中存在附着物52的区域46a可以以闪烁或闪光的方式显示和/或其亮度可以改变。例如，显示方式的确定可以是用于通过使用基于捕获图像数据的图像来指示用于指示存在附着物的区域的方式，以及用于通过使用例如标记简单地指示附着物存在的区域的方式的确定。在使用基于捕获图像的图像显示其中存在附着物的区域的情况下，可以根据附着物的类型确定叠加在图像上的附着物的显示方式(例如，显示颜色)。
消息处理部分44b在显示区域48的消息区域48c中显示与不可靠区域相对应的通知消息。例如，在如图5所示的附着物52附着到成像表面的中心区域的情况下，可以显示包括“附着物在显示屏的中心区域中且该区域的检测精度降低。目视查看中心区域。”的消息。例如，在如图6所示的附着物52附着在成像表面的左方区域中的情况下，可以显示包括“附着物在显示屏的左方区域中且该区域的检测精度降低。目视查看左方区域。”的消息。例如，通过显示上述消息，容易使用户理解处理装置(处理部分)中存在不可靠区域和/或用户需要知道在运算处理期间存在不可靠区域。附着物检测部分28可以经由声音输出装置18输出包括与上述消息类似的内容的声音或音频消息。消息处理部分44b还可以显示与功能显示视图54中显示的内容相对应的消息，包括“中心区域中的白线检测的可靠性降低。”和/或“中心区域中的障碍物(行人)检测的可靠性降低。”。
图7是示出由显示处理部分44输出附着物52的检测结果的示例的示意图。如上所述，ECU24的CPU24a基于在成像部分14(14a至14d)处获得的图像检测例如附着物52的附着区域和/或类型，并且使得显示装置16在附着附着物52的状态下显示实际图像50和/或功能显示视图54。在另一个实施例中，例如，ECU24的CPU24a可以使得用户可以通过使用无线通信在车辆10外部查看的外部显示装置62(例如，移动终端和/或个人计算机)来显示实际图像50或功能显示视图54，实际图像50指示附着物52的附着区域，附着物52的类型等。例如，通过在外部显示装置62上显示指示附着物52的附着区域和/或附着物52的类型的实际图像50，或功能显示视图54，诸如附着物52的清除操作的维护的操作效率可以增强。通过允许用户在外部显示装置62上识别指示附着物52的类型的实际图像50，可以增强显示的娱乐方面，从而有助于提高商品价值。
图3中示出的模块配置是示例，并且只要执行类似的处理，就可以适当地划分和/或集成功能。
将参考图8所示的流程图说明由包括上述配置的附着物检测部分28执行的附着物检测处理的处理流程的示例。
当车辆10的电力供应接通(ON)时，无论车辆是否在行驶，CPU 24a总是监视是否存在涉及由每个成像部分14捕获的捕获图像数据的图像处理且正在执行处理(即，在操作中)的处理部分(例如，停车辅助部分30)(S100)。在不存在涉及图像处理并且正在执行处理的处理部分(例如，停车辅助部分30)的情况下(S100处的否)，流程结束一次。
在存在涉及图像处理并且正在执行处理的处理部分(例如，停车辅助部分30)的情况下(S100中的是)，获取部分38顺序地获得由每个成像部分14成像的捕获图像数据(S102)。接下来，附着物检测处理部分40a基于由获取部分38获得的捕获图像数据来检测附着物52的存在或不存在(S104)。在检测到附着物52的情况下(S106中的“是”)，附着物检测处理部分40a判断(估计)附着物52的附着区域(S108)。类型估计部分40b执行检测到的附着物52的类型的估计(S110)。基于附着物52的附着区域，判断部分42检测正在执行的处理部分(例如，停车辅助部分30)的运算处理的可靠区域(不可靠区域)(S112)。在可靠区域占据成像表面的预定百分比或更多(例如，40％或更大)的情况下，判断部分42判断关于正在执行的处理部分(例如，停车辅助部分30)，可以进行限制使用(S114处的是)。显示方式处理部分44a基于类型估计部分40b的估计结果确定附着物52的显示方式(S116)。显示方式处理部分44a基于附着物52的附着位置确定功能显示视图54的显示内容(S118)。例如，显示方式处理部分44a确定白线检测功能显示视图54a的显示，并确定包括例如十字“X”标记的标记58要显示的位置。基于正在执行的处理部分(例如，停车辅助部分30)的功能和/或附着物52的附着位置，消息处理部分44b从例如ROM 24b读出将被呈现给用户的消息并确定读出消息(S120)。例如，该消息对应于显示消息，该显示消息指示处理部分(例如，停车辅助部分30)的有限使用是可能的，并且包括“附着物存在于显示屏幕的中心区域中并且该区域的检测精度降低。目视查看中心区域。”。
例如，显示处理部分44生成合成或复合图像，其中要在消息区域48c中显示的实际图像50，功能显示视图54和显示消息彼此组合(S122)。在合成图像的实际图像50上，叠加了已经确定了显示方式的附着物52。CPU 24a执行图像输出处理，其经由显示控制部分24d输出所生成的合成图像，并使显示装置16显示图像(S124)。
在S114，在可靠区域占小于成像表面的预定百分比(例如，小于40％)的情况下，判断部分42做出关于正在执行的处理部分(例如，停车辅助部分30)的判断，例如，不能执行足够的图像识别处理，因此不能使用处理部分(S114处的否)。消息处理部分44b例如从ROM24b读出指示处理部分(例如，停车辅助部分30)不可用的消息并确定该消息(S126)。例如，该消息包括“由于附着物而无法获得令人满意的图像。停止使用图像的白线检测功能。”该处理移动到S122，其中生成合成图像。在这种情况下，功能显示视图54可以是不显示或隐藏，或者例如可以在所有区域中提供诸如“X”标记的标记58。
在S106，在判断不存在附着物52的情况下(不存在影响图像处理的这种附着物)(S106中的否)，消息处理部分44b例如从ROM读出指示处理部分(例如，停车辅助部分30)以正常方式可用的消息并确定该消息(S128)。例如，该消息包括“正常执行停车辅助”。该处理移动到S122，其中生成合成图像。在这种情况下，功能显示视图54可以在没有提供诸如“X”标记的标记58的状态下显示，或者功能显示视图54可以不显示或隐藏。
如上所述，根据本实施例的附着物检测装置，允许用户容易地识别由成像部分14捕获的图像中的可靠区域和不可靠区域的存在。此外，用户可以容易地识别出包括停车辅助部分30的处理部分(处理装置)的运算处理保持在除附着物52所附着的区域之外的可靠区域中并且处理部分在可靠区域中有效使用。结果，即使在检测到附着物52的附着的情况下，处理部分(处理装置)和/或用户也可以被连续地提供包括其他处理装置(处理部分)的效用值的信息。
在前述实施例中，示出了这样的示例，其中第一显示区域48a将正视图(frontview)显示为实际图像50，并且第二显示区域48b通过由处理部分使用前方图像执行的运算处理显示指示检测状态的功能显示视图54。在其他示例中，例如，在处理部分使用后方视图执行运算处理的情况下，后方视图显示为实际图像50，并且使用后方图像指示检测状态的功能显示视图54显示在第二显示区域48b中。
例如，在本实施例的CPU 24a处执行的用于附着物检测处理的程序可以被配置为以可安装或可执行的文件的形式记录在包括CD-ROM，软盘(FD)，CD-R，DVD(数字多功能盘)等的计算机可读存储介质中，并被提供。
可以配置成使得附着物检测处理程序存储在连接到包括因特网的网络的计算机上，并且通过允许通过网络下载程序来提供。例如，在该实施例中执行的附着物检测处理程序可以被配置为经由包括因特网的网络提供或分布。
这里公开的前述实施例和变型作为示例给出，并且不旨在限制本公开的范围。实施例和变型可以以其他各种方式实现，并且在不脱离本公开的范围的情况下可以进行各种省略，替换和改变。实施例及其变型包括在本公开的范围和/或主题中，并且包括在权利要求的范围中描述的公开内容中以及在其等同物的范围内。

Claims (4)

1.一种附着物检测装置，其特征在于，包括：
获取部分（38），所述获取部分被配置为获得捕获图像数据，所述捕获图像数据从被配置为安装在车辆（10）上的成像部分（14，14a，14b，14c，14d）输出；
检测部分（40），所述检测部分被配置为基于所述捕获图像数据，在所述成像部分（14，14a，14b，14c，14d）的成像表面（46）被划分为多个区域（46a）的情况下，检测所述成像表面（46）的所述多个区域（46a）中的每一个的附着物（52）的存在或不存在；
判断部分（42），所述判断部分被配置为基于检测到所述附着物（52）的所述区域（46a），将可靠区域和不可靠区域彼此区分开；以及
显示处理部分（44），所述显示处理部分被配置为基于所述判断部分（42）的判断结果，使显示装置（16）以所述可靠区域和所述不可靠区域彼此能够辨别的方式显示所述可靠区域和所述不可靠区域，
在所述可靠区域中，由处理装置（30，32，34，36）利用所述捕获图像数据执行的预定运算处理的可靠性属性保持等于或大于预定值；并且
在所述不可靠区域中，所述可靠性属性小于所述预定值，
在所述可靠区域占据所述成像表面的预定百分比或更多的情况下，关于正在执行的所述处理装置，所述判断部分判断为可以进行限制使用。
2.根据权利要求1所述的附着物检测装置，其特征在于，其中在所述检测部分（40）检测到所述附着物（52）的情况下，所述检测部分（40）估计所述附着物（52）的类型。
3.根据权利要求1或2所述的附着物检测装置，其特征在于，其中所述显示处理部分（44）被配置为确定所述不可靠区域中的所述附着物（52）的显示方式。
4.根据权利要求1所述的附着物检测装置，其特征在于，其中所述显示处理部分（44）被配置为显示与所述不可靠区域对应的通知消息。
CN201910910742.0A 2018-09-27 2019-09-25 附着物检测装置 Active CN110954920B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-181204 2018-09-27
JP2018181204A JP7200572B2 (ja) 2018-09-27 2018-09-27 付着物検出装置

Publications (2)

Publication Number Publication Date
CN110954920A CN110954920A (zh) 2020-04-03
CN110954920B true CN110954920B (zh) 2024-05-14

Family

ID=69946330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910910742.0A Active CN110954920B (zh) 2018-09-27 2019-09-25 附着物检测装置

Country Status (3)

Country Link
US (1) US10991086B2 (zh)
JP (1) JP7200572B2 (zh)
CN (1) CN110954920B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
JP7457239B2 (ja) 2020-04-16 2024-03-28 日本製鉄株式会社 磁区構造の解析方法及び解析システム
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
CN112785525B (zh) * 2021-01-26 2022-08-16 桂林电子科技大学 基于深度学习去除刀具刃口图像中的附着物的方法和系统
JP2023166065A (ja) * 2022-05-09 2023-11-21 日立Astemo株式会社 異常診断装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907011A (zh) * 2011-11-02 2014-07-02 株式会社理光 附着物检测器和车辆装备控制装置
CN103959041A (zh) * 2011-11-30 2014-07-30 株式会社理光 附着物探测器和附着物检测方法
CN104428655A (zh) * 2012-07-13 2015-03-18 株式会社理光 成像单元、附着物质检测器、用于车辆的控制系统以及车辆

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5297183A (en) 1976-02-12 1977-08-15 Nec Home Electronics Ltd Production of air tight terminal
US7103208B2 (en) * 2002-08-26 2006-09-05 Eastman Kodak Company Detecting and classifying blemishes on the transmissive surface of an image sensor package
JP4130434B2 (ja) * 2004-11-30 2008-08-06 本田技研工業株式会社 撮像装置の異常検知装置
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP5521990B2 (ja) 2010-11-16 2014-06-18 株式会社デンソー 車載カメラ用付着物報知装置
JP5680436B2 (ja) * 2011-02-15 2015-03-04 アルパイン株式会社 車載カメラレンズ用異物付着判定装置
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
JP6117634B2 (ja) * 2012-07-03 2017-04-19 クラリオン株式会社 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
WO2015183889A1 (en) * 2014-05-27 2015-12-03 Robert Bosch Gmbh Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
JP2016033729A (ja) * 2014-07-31 2016-03-10 クラリオン株式会社 周囲環境認識装置
JP6576887B2 (ja) 2016-08-09 2019-09-18 クラリオン株式会社 車載装置
JP6755161B2 (ja) * 2016-10-24 2020-09-16 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2018074191A (ja) * 2016-10-24 2018-05-10 パナソニックＩｐマネジメント株式会社 車載映像表示システム、車載映像表示方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103907011A (zh) * 2011-11-02 2014-07-02 株式会社理光 附着物检测器和车辆装备控制装置
CN103959041A (zh) * 2011-11-30 2014-07-30 株式会社理光 附着物探测器和附着物检测方法
CN104428655A (zh) * 2012-07-13 2015-03-18 株式会社理光 成像单元、附着物质检测器、用于车辆的控制系统以及车辆

Also Published As

Publication number Publication date
JP7200572B2 (ja) 2023-01-10
JP2020050119A (ja) 2020-04-02
US20200104991A1 (en) 2020-04-02
US10991086B2 (en) 2021-04-27
CN110954920A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110954920B (zh) 附着物检测装置
JP5022609B2 (ja) 撮像環境認識装置
US20200086793A1 (en) Periphery monitoring device
US8896687B2 (en) Lane departure prevention support apparatus, method of displaying a lane boundary line and program
JP6816389B2 (ja) 周辺監視装置
US9296336B2 (en) Image display device and image display method
WO2018061256A1 (ja) 周辺監視装置
CN110001523B (zh) 周边监视装置
CN111108023B (zh) 停车辅助装置
JP2019204364A (ja) 周辺監視装置
US11420678B2 (en) Traction assist display for towing a vehicle
US11393223B2 (en) Periphery monitoring device
JP4751894B2 (ja) 自動車の前方にある障害物を検知するシステム
JP5192007B2 (ja) 車両の周辺監視装置
US11301701B2 (en) Specific area detection device
CN111612701A (zh) 周边监视装置
JP4768499B2 (ja) 車載周辺他車検出装置
CN114999205B (zh) 泊车辅助方法和泊车辅助装置
JP2021056717A (ja) 物体検知装置
JP2019153932A (ja) 汚れ報知装置
JP7110577B2 (ja) 周辺監視装置
US20240119873A1 (en) Vehicular driving assist system with head up display
CN116758780A (zh) 一种车辆环视预警方法、装置及系统
JP2023091910A (ja) 車両の表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kariya City, Aichi Prefecture, Japan's Asahi 2 chome 1 GA

Applicant after: AISIN Co.,Ltd.

Address before: Kariya City, Aichi Prefecture, Japan's Asahi 2 chome 1 GA

Applicant before: AISIN SEIKI Kabushiki Kaisha

GR01 Patent grant
GR01 Patent grant