CN111567028A - 图像处理装置、拍摄系统、移动体、以及图像处理方法 - Google Patents

图像处理装置、拍摄系统、移动体、以及图像处理方法 Download PDF

Info

Publication number
CN111567028A
CN111567028A CN201980006852.2A CN201980006852A CN111567028A CN 111567028 A CN111567028 A CN 111567028A CN 201980006852 A CN201980006852 A CN 201980006852A CN 111567028 A CN111567028 A CN 111567028A
Authority
CN
China
Prior art keywords
image
outdoor
camera
controller
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980006852.2A
Other languages
English (en)
Other versions
CN111567028B (zh
Inventor
横田匡司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN111567028A publication Critical patent/CN111567028A/zh
Application granted granted Critical
Publication of CN111567028B publication Critical patent/CN111567028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B1/00—Details of electric heating devices
    • H05B1/02—Automatic switching arrangements specially adapted to apparatus ; Control of heating devices
    • H05B1/0227—Applications
    • H05B1/023—Industrial applications
    • H05B1/0236—Industrial applications for vehicles
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B3/00—Ohmic-resistance heating
    • H05B3/84—Heating arrangements specially adapted for transparent or reflecting areas, e.g. for demisting or de-icing windows, mirrors or vehicle windshields
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B60S1/58—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens for rear windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9586—Windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

能够准确地判定生成图像的拍摄装置以及拍摄图像的光路上的光学构件的异常，而不受环境影响。图像处理装置具有：第一接收部，接收第一图像，第二接收部，接收拍摄范围包括第一图像的拍摄范围的至少一部分的第二图像，以及控制器，基于第一图像和第二图像的拍摄范围中的共同部分，判定第一图像或第二图像的异常。

Description

图像处理装置、拍摄系统、移动体、以及图像处理方法
相关申请的相互参照
本申请主张2018年1月27日申请的日本国专利申请2018-005942的优先权，并将所述申请的全部公开内容引入于此以用于参照。
技术领域
本发明涉及图像处理装置、拍摄系统、移动体以及图像处理方法。
背景技术
以往，提出了一种判定移动体的挡风玻璃起雾雾的技术。例如，在专利文献1中记载了如下技术：基于由经由挡风玻璃的拍摄所生成的图像的明度分布来判定挡风玻璃的污垢以及雾。由此，使用于去除挡风玻璃的雾的装置进行动作，而无需移动体的驾驶者进行操作，从而驾驶者的便利性提高。
现有技术文献
专利文献
专利文献1：日本特开平2-130455号公报
发明内容
用于解决问题的手段
本发明的图像处理装置具有第一接收部、第二接收部以及控制器。所述第一接收部接收第一图像。所述第二接收部接收拍摄范围包括所述第一图像的拍摄范围的至少一部分的第二图像。所述控制器基于所述第一图像和所述第二图像的拍摄范围中的共同部分，判定所述第一图像或所述第二图像的异常。
本发明的拍摄系统具有第一拍摄装置、第二拍摄装置以及图像处理装置。所述第一拍摄装置生成第一图像。第二拍摄装置生成拍摄范围包括所述第一图像的拍摄范围的至少一部分的第二图像。所述图像处理装置包括第一接收部、第二接收部以及控制器。所述第一接收部接收第一图像。所述第二接收部接收第二图像。所述控制器基于所述第一图像和所述第二图像的拍摄范围中的共同部分，判定所述第一图像或所述第二图像的异常。
本发明的移动体具有第一拍摄装置、第二拍摄装置以及图像处理装置。所述第一拍摄装置生成第一图像。第二拍摄装置生成拍摄范围包括所述第一图像的拍摄范围的至少一部分的第二图像。所述图像处理装置包括第一接收部、第二接收部以及控制器。所述第一接收部接收第一图像。所述第二接收部接收第二图像。所述控制器基于所述第一图像和所述第二图像的拍摄范围中的共同部分，判定所述第一图像或所述第二图像的异常。
本发明的图像处理方法是图像处理装置执行的图像处理方法。所述图像处理装置接收第一图像。所述图像处理装置接收拍摄范围包括所述第一图像的拍摄范围的至少一部分的第二图像。所述图像处理装置基于所述第一图像和所述第二图像的拍摄范围中的共同部分，判定所述第一图像或所述第二图像的异常。
附图说明
图1是表示搭载了本发明的一实施方式的拍摄系统的移动体的例子的图。
图2是图1所示的拍摄系统的功能框图。
图3是图2所示的室外摄像头的功能框图。
图4是图2所示的室内摄像头的功能框图。
图5是表示室外摄像头起雾的情况下的室外摄像头图像以及室内摄像头图像的亮度直方图的一例的图。
图6是表示室外摄像头以及挡风玻璃未起雾的情况下的室外摄像头图像以及室内摄像头图像的亮度直方图的一例的图。
图7是表示室外摄像头发生故障的情况下的室外摄像头图像以及室内摄像头图像的亮度直方图的一例的图。
图8是表示挡风玻璃起雾的情况下的室外摄像头图像以及室内摄像头图像的亮度直方图的另一例的图。
图9是表示室内摄像头发生故障的情况下的室外摄像头图像以及室内摄像头图像的亮度直方图的一例的图。
图10A是表示图2所示的图像处理装置所进行的控制的顺序的一部分的流程图。
图10B是表示图2所示的图像处理装置所进行的控制的顺序的一部分的流程图。
图11是表示室外摄像头图像或室内摄像头图像的与边缘交叉的方向上的距任意的基准点规定的方向的距离的像素的亮度的图。
具体实施方式
由搭载于移动体的拍摄装置所生成的图像的明度分布因时间段、天气、被拍摄体、照明等周围环境而大幅变化。即，在由搭载于移动体的拍摄装置所生成的图像中，明度分布并非仅因挡风玻璃起雾而变化，因此，有时难以基于明度分布准确地判定起雾。
根据本发明的一实施方式，能够准确地判定生成图像的拍摄装置以及对图像进行拍摄的光路上的光学构件的异常，而不受环境影响。
下面，参照附图来说明本发明的第一实施方式。
如图1所示，本发明的第一实施方式的拍摄系统1搭载于移动体2。如图2所示，拍摄系统1包括作为第一拍摄装置的室外摄像头3、作为第二拍摄装置的室内摄像头4、图像处理装置5、加热装置6、清洗装置7、室外摄像头用显示装置8(第一显示装置)、室内摄像头用显示装置9(第二显示装置)等。在下面，有时将室外摄像头3以及室内摄像头4仅称为“拍摄装置”。
室外摄像头3安装于移动体2的外侧，以对移动体2的室外进行拍摄。室外摄像头3通过以不经由移动体2的挡风玻璃21的方式对室外的被拍摄体进行拍摄而生成图像(第一图像)。在下面，将由室外摄像头3生成的图像成为“室外图像”。挡风玻璃21是隔开移动体2的室外和室内的对可视光具有透过性的光学构件。挡风玻璃21可以包括后挡风玻璃、前挡风玻璃、侧窗等。例如，如图1所示，室外摄像头3可以是以对移动体2的后方的被拍摄体进行拍摄的方式安装于该移动体2的后摄像头。室外摄像头3并不限定于后摄像头，例如，也可以是以对移动体2的前方或侧方的被拍摄体进行拍摄的方式安装于该移动体2的摄像头。
如图3所示，室外摄像头3包括第一光学系统31(光学系统)、第一拍摄元件32、第一图像处理处理器33、第一控制处理器34、第一CAN(Controller Area Network：控制器局域网)收发器35、第一通信部36、加热部37、清洗部38。
第一光学系统31包括一个以上的透镜。第一光学系统31使从被拍摄体入射的光在第一拍摄元件32的拍摄面成像为被拍摄体像。透镜能够采用广角透镜。透镜也可以使用鱼眼透镜。
第一拍摄元件32(拍摄元件)由CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等构成。第一拍摄元件32以与构成第一光学系统31的透镜的光轴OX垂直的方式安装。第一拍摄元件32对被拍摄体像进行拍摄而生成图像。具体而言，第一拍摄元件32通过对由第一光学系统31成像的被拍摄体像进行光电转换而生成第一图像。
第一图像处理处理器33是对第一拍摄元件32通过光电转换所生成的图像进行各种图像处理的图像处理专用的处理器，例如，由ISP(Image Signal Processor：图像信号处理器)等构成。第一图像处理处理器33进行第一拍摄元件32的控制、第一光学系统31的校正、噪音降低等处理。在第一光学系统31所包含的透镜为广角透镜的情况下，第一图像处理处理器33也可以校正因广角透镜在图像上产生的失真。
第一控制处理器34是执行室外摄像头3的各种控制的部分，能够包括根据软件程序执行处理的MPU(Micro Processing Unit：微处理单元)等处理器。
第一CAN收发器35是用于经由CAN通信与控制移动体2的ECU(Engine ControlUnit：发动机控制单元、或Electric Control Unit：电子控制单元)收发信息的接口。ECU例如通过控制与移动体2关联使用的被控制装置，能够控制移动体2的行驶。被控制装置例如也可以包括发动机、马达、变速器、汽车空调器、电动车窗、汽车导航系统、汽车音响、平视显示器等，但并不限定于此。
第一通信部36是用于与图像处理装置5收发信息的接口。第一通信部36与图像处理装置5进行通信时使用的通信方式也可以近距离的无线通信标准，也可以是有线通信标准。近距离的无线通信标准例如也可以包括IEEE802.11、Bluetooth(注册商标)、IrDA(InfraredData Association)、NFC(Near Field Communication)、TrasferJet以及ZigBee等。
加热部37基于图像处理装置5的控制对第一光学系统31进行加热。加热部37也可以在从图像处理装置5接收加热信号时，通过公知的方法对第一光学系统31进行加热。
清洗部38基于图像处理装置5的控制对第一光学系统31进行清洗。清洗部38也可以在从图像处理装置5接收清洗信号时，通过公知的方法对第一光学系统31进行清洗。
室内摄像头4安装于移动体2的室内。室内摄像头4通过经由移动体2的挡风玻璃21对室外的被拍摄体进行拍摄而生成室内摄像头图像(第二图像)。室内摄像头4以将该室外摄像头3的拍摄范围的至少一部分包含于拍摄范围的方式生成图像。在下面，将由室内摄像头4生成的图像称为“室内图像”。例如，在室外摄像头3为后摄像头的情况下，挡风玻璃21也可以是后挡风玻璃。
如图1所示，室内摄像头4例如是以对移动体2的后方的被拍摄体进行拍摄的方式安装于该移动体2的室内镜用摄像头。室内摄像头4并不限定于室内镜用摄像头，例如，也可以是以对移动体2的前方或侧方的被拍摄体进行拍摄的方式安装于该移动体2的摄像头。如图4所示，室内摄像头4包括第二光学系统41、第二拍摄元件42(拍摄元件)、第二图像处理处理器43、第二控制处理器44、第二CAN收发器45、第二通信部46。第二光学系统41、第二拍摄元件42以及第二图像处理处理器43分别与第一光学系统31、第一拍摄元件32以及第一图像处理处理器33类似，因此，省略其说明。第二控制处理器44、第二CAN收发器45以及第二通信部46分别与第一控制处理器34、第一CAN收发器35以及第一通信部36相同，因此，省略其说明。
如图2所示，图像处理装置5包括第一接收部51、第二接收部52、控制器53、发送部54。
第一接收部51接收由室外摄像头3生成的室外摄像头图像。第一接收部51在与室外摄像头3进行通信时，使用与第一通信部36使用的通信方式相对应的通信方式。
第二接收部52接收由室内摄像头4生成的室内摄像头图像。第二接收部52在与室内摄像头4进行通信时，使用与第二通信部46使用的通信方式相对应的通信方式。第二接收部52也可以兼用作第一接收部51，也可以是与第一接收部51不同的接收部。
控制器53也可以是例如CPU等处理器。控制器53也可以是集成了其他结构构件的SoC(System-on-a-Chip：片上系统)等集成电路。控制器53也可以是组合多个集成电路的结构。控制器53总体地控制图像处理装置5的动作而实现各种功能。
控制器53基于室外摄像头图像与室内摄像头图像的拍摄范围中的共同部分(下面，简称为“共同部分”)，判定室外摄像头图像或室内摄像头图像的异常。在下面，将室外摄像头图像与室内摄像头图像的拍摄范围中的共同部分合适地简称为“共同部分”。室外摄像头图像的异常是例如因异物附着于室外摄像头3的第一光学系统31或室外摄像头3发生故障而产生的图像的异常。室内摄像头图像的异常是例如因异物附着于移动体2的挡风玻璃21或室内摄像头4发生故障而产生的图像的异常。异物例如包括雾、污垢。在后面详细说明控制器53执行的室外摄像头图像或室内摄像头图像的异常的判定。
发送部54基于控制器53进行的室外摄像头图像或室内摄像头图像的异常的判定，将各种控制信号经由CAN通信等通信网络向清洗装置7以及加热装置6发送。发送部54基于控制器53进行的室外摄像头图像或室内摄像头图像的异常的判定，将各种图像经由通信网络向室外摄像头用显示装置8以及室内摄像头用显示装置9发送。在后面详细说明发送部54执行的各种控制信号以及图像的发送。
加热装置6基于控制器53的控制对挡风玻璃21进行加热。加热装置6也可以通过公知的方法对挡风玻璃21进行加热。例如，加热装置6也可以具有与挡风玻璃21接触配置的热线，在接收用于命令加热的加热信号时，对热线进行加热。由此，能够去除附着于挡风玻璃21的异物。
清洗装置7基于控制器53的控制对挡风玻璃21进行清洗。清洗装置7也可以通过公知的方法对挡风玻璃21进行清洗。例如，清洗装置7也可以容纳有液体洗涤剂，在接收用于命令清洗的清洗信号时，向挡风玻璃21射出液体洗涤剂。清洗装置7也可以具有刮水器，在接收用于命令清洗的清洗信号时或射出液体洗涤剂时，使刮水器与挡风玻璃21滑动接触。由此，能够去除附着于挡风玻璃21的污垢。
室外摄像头用显示装置8显示从图像处理装置5发送来的图像。具体而言，若从图像处理装置5向室外摄像头用显示装置8发送室内摄像头图像，则室外摄像头用显示装置8显示该室内摄像头图像。若从图像处理装置5向室外摄像头用显示装置8发送室外摄像头图像，则室外摄像头用显示装置8显示该室外摄像头图像。
室内摄像头用显示装置9显示从图像处理装置5发送来的图像。具体而言，若从图像处理装置5向室内摄像头用显示装置9发送室内摄像头图像，则室内摄像头用显示装置9显示该室内摄像头图像。若从图像处理装置5向室内摄像头用显示装置9发送室外摄像头图像，则室内摄像头用显示装置9显示该室外摄像头图像。
在此，详细地说明图像处理装置5的控制器53执行的室外摄像头图像或室内摄像头图像的异常的判定。控制器53基于表示室外摄像头图像以及室内摄像头图像彼此的各像素的规定的特征的像素特征值来判定异常。像素特征值例如为亮度。在下面说明控制器53基于室外摄像头图像以及室内摄像头图像的亮度来判定异常。像素特征值并不限定于亮度，例如，也可以是色度或明度。
控制器53生成由第一接收部51接收的室外摄像头图像的共同部分的表示亮度的分布(像素特征值的分布)的亮度直方图(第一直方图)。控制器53生成由第二接收部52接收的室内摄像头图像的共同部分的表示亮度分布的亮度直方图(第二直方图)。作为控制器53生成第二直方图的对象的室内摄像头图像和作为控制器53生成第一直方图的对象的室外摄像头图像分别所生成的时刻在规定时间内。规定时间是预计室外摄像头3的拍摄范围内的环境和室内摄像头4的拍摄范围内的环境的差异不会对基于异物的影响的图像的异常的判定造成影响的时间。例如，室外摄像头图像和室外摄像头图像也可以大致同时生成。
控制器53基于室外图像特性值(第一图像特性值)以及室内图像特性值(第二图像特性值)来判定异常。室外图像特性值是表示室外图像的共同部分的亮度的特性的值。室外图像特性值例如是图5所示那样的表示室外摄像头图像的亮度的分布的宽度的室外分布宽度W1(第一分布宽度)。室内图像特性值是表示室内图像的共同部分中的像素分布的特性的值。室内图像特性值例如是表示室内摄像头图像的亮度的分布的宽度的室内分布宽度W2(第二分布宽度)。
室外分布宽度W1是例如图5所示那样的在室外摄像头图像中去除了亮度高的规定比例的像素和亮度低的规定比例的像素后的亮度中的、从最高亮度L1max减去最低亮度L1min所得的值。室内分布宽度W2是去除亮度高的规定比例的像素和亮度低的规定比例的像素后的亮度中的、从最高亮度L2max减去最低亮度L2min所得的值。规定比例例如为10％。
控制器53基于室外摄像头图像以及室内摄像头图像计算分布宽度比率R(图像特性比率)。分布宽度比率R是表示室外摄像头图像与室内摄像头图像中的亮度的分布的差异的值。分布宽度比率R例如是室外分布宽度W1与室内分布宽度W2的比率。在本实施方式中，对分布宽度比率R为室外分布宽度W1与室内分布宽度W2的比率W1/W2进行说明，将分布宽度比率R记载为分布宽度比率W1/W2。
具体而言，控制器53基于室外摄像头图像以及室内摄像头图像分别生成第一直方图以及第二直方图。控制器53基于第一直方图以及第二直方图分别计算室外分布宽度W1以及室内分布宽度W2。然后，控制器53通过计算室内分布宽度W2与室外分布宽度W1的比率来计算分布宽度比率W1/W2。
在此，参照图5～图9对第一直方图以及第二直方图的例子进行说明。
在挡风玻璃21上未附着有异物的情况下，例如，如图5以及图6所示，室内摄像头图像的亮度例如在该亮度是由8位表示的A/D转换值的情况下，有时分布在0至255的范围内。该分布还取决于时间段、天气、被拍摄体、照明等周围环境。此时，若在室外摄像头3的第一光学系统31上也未附着有异物，如图6所示，室外摄像头图像的亮度的分布与室内摄像头图像的亮度的分布类似。因此，预计分布宽度比率W1/W2处于包含1的规定范围(例如，0.9～1.1)内。另一方面，在室外摄像头3的第一光学系统31上附着有异物的情况下，光难以透过第一光学系统31或光因异物而散射，因此，到达第一拍摄元件32的光量减少或所拍摄的图像的对比度降低。因此，如图5所示，室外摄像头图像的亮度相比室内摄像头图像的亮度，分布在狭窄的范围内。因此，分布宽度比率W1/W2小于1，而且，比在第一光学系统31上未附着有异物的情况的分布宽度比率W1/W2小。
在室外摄像头3发生故障的情况下，第一拍摄元件32无法正常地生成图像。多数情况下，发生故障的室外摄像头3的图像整面变为亮度大致为0的黑色。因此，如图7所示，室外摄像头图像的亮度相比图5所示的情况，分布在更狭窄的范围内。室外分布宽度W1向图5所示情况更小。在该情况下，若室内摄像头4未发生故障且在挡风玻璃21上未附着有异物，则分布宽度比率W1/W2相比图5所示的情况更小。
在第一光学系统31上附着有异物的情况下，也取决于周围环境，但如图8所示，室外摄像头图像的亮度例如在该亮度为由8位表示的A/D转换值的情况下，分布在0至255的范围内。另一方面，在挡风玻璃21上附着有异物的情况下，光难以透过挡风玻璃21，或者，光因异物而散射，因此，到达室内摄像头4的第二拍摄元件42的光量减少或所拍摄的图像的对比度降低。因此，室内摄像头图像的亮度相比室外摄像头图像的亮度，分布在狭窄的范围内。在该情况下，分布宽度比率W1/W2大于1，而且，比在挡风玻璃21上附着有异物的情况大。
在室内摄像头4发生故障的情况下，第二拍摄元件42无法正常地生成图像。因此，如图9所示，室内摄像头图像的亮度相比图8所示的情况分布在更狭窄的范围内。在该情况下，室内分布宽度W2相比图8所示的情况更小。此时，若室外摄像头3未发生故障且在第一光学系统31上未附着有异物，则分布宽度比率W1/W2相比图8所示的情况更大。
这样，分布宽度比率W1/W2因拍摄装置的故障或异物附着于光学构件而导致的室外摄像头图像或室内摄像头图像的异常而发生变化。利用这一点，控制器53基于分布宽度比率W1/W2来判定室外摄像头图像或室内摄像头图像的异常。然后，控制器53基于室外摄像头图像或室内摄像头图像的异常的判定结果来进行各种处理。在下面，详细地说明控制器53进行的异常的判定以及各种处理。
首先，说明控制器53使用室外异物判定值K1(第一值)以及室外摄像头故障判定值K2(第二值)来判定室外摄像头图像的异常的例子。室外异物判定值K1是大于0且小于1的值。室外异物判定值K1是预计通过预先的实验在第一光学系统31上附着有异物的情况或室外摄像头3发生故障的情况下所计算出的分布宽度比率W1/W2的最大值。室外摄像头故障判定值K2大于0且小于室外异物判定值K1的值。室外摄像头故障判定值K2是预计通过预先的实验在室外摄像头3发生故障的情况下所计算出的分布宽度比率W1/W2的最大值。
控制器53判定分布宽度比率W1/W2是否在室外异物判定值K1以下。在判定为分布宽度比率W1/W2在室外异物判定值K1以下的情况下，控制器53判定为因室外摄像头3的故障或异物附着于第一光学系统31而室外摄像头图像存在异常。
在判定为室外摄像头图像存在异常时，控制器53进行用于去除室外摄像头3的第一光学系统31的异物的异物去除控制。在异物去除控制中包括第一光学系统31的加热以及清洗。
具体而言，控制器53也可以以室外摄像头3的加热部37加热第一光学系统31的方式进行异物去除控制。例如，控制器53也可以在判定为分布宽度比率W1/W2在室外异物判定值K1以下的情况下，通过发送部54向室外摄像头3发送用于命令第一光学系统31的加热的加热信号。
控制器53也可以以室外摄像头3的清洗部38清洗第一光学系统31的方式进行异物去除控制。例如，控制器53也可以在判定为分布宽度比率W1/W2在室外异物判定值K1以下的情况下，通过发送部54向室外摄像头3发送用于命令第一光学系统31的清洗的清洗信号。
控制器53也可以判定分布宽度比率W1/W2是否在室外摄像头故障判定值K2以下。控制器53也可以在判定为分布宽度比率W1/W2在室外摄像头故障判定值K2以下的情况下，判定因室外摄像头3的故障而室外摄像头图像存在异常即室外摄像头3存在异常。
控制器53也可以在判定为室外摄像头3存在异常的情况下，将表示室外摄像头3的故障的室外故障信息向室外摄像头用显示装置8发送。控制器53也可以将室内摄像头图像向室外摄像头用显示装置8发送。控制器53也可以从室内摄像头图像切取出室外摄像头3的拍摄范围。控制器53也可以对失真、亮度、对比度等进行校正，以使室内摄像头图像变为由室外摄像头3拍摄的情况的失真、亮度、对比度。控制器53也可以将校正后的室内摄像头图像向室外摄像头用显示装置8发送。
控制器53也可以在判定为分布宽度比率W1/W2在室外异物判定值K1以下且大于室外摄像头故障判定值K2的情况下，判定因异物附着于第一光学系统31而室外摄像头图像存在异常。在该情况下，控制器53也可以将表示异物附着于第一光学系统31的光学系统异物信息向室外摄像头用显示装置8发送。室外摄像头用显示装置8也可以接收光学系统异物信息并对其进行显示。
接着，说明控制器53使用挡风玻璃异物判定值K3(第三值)以及室内摄像头故障判定值K4(第四值)来判定室内摄像头图像的异常的例子。挡风玻璃异物判定值K3为大于1的值。挡风玻璃异物判定值K3是预计通过预先的实验在异物附着于挡风玻璃21或室内摄像头4发生故障的情况下所计算出的分布宽度比率W1/W2的最小值。室内摄像头故障判定值K4是大于挡风玻璃异物判定值K3的值。室内摄像头故障判定值K4是预计通过预先的实验在室内摄像头4发生故障的情况下所计算出的分布宽度比率W1/W2的最小值。
控制器53判定分布宽度比率W1/W2是否在挡风玻璃异物判定值K3以上。在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，控制器53判定为因室内摄像头4的故障或异物附着于到达室内摄像头4的第二拍摄元件42的光透过的构件而室内摄像头图像存在异常。到达室内摄像头4的第二拍摄元件42的光透过的构件例如是挡风玻璃21或第二光学系统41。
在判定为室内摄像头图像存在异常时，控制器53进行用于去除挡风玻璃21的异物的异物去除控制。在异物去除控制中包括挡风玻璃21的加热以及清洗。
具体而言，控制器53也可以以加热装置6加热挡风玻璃21的方式进行异物去除控制。例如，控制器53也可以在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，向加热装置6发送用于命令挡风玻璃21的加热的加热信号。
控制器53也可以以清洗装置7清洗挡风玻璃21的方式进行异物去除控制。例如，控制器53也可以在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，向清洗装置7发送用于命令挡风玻璃21的清洗的清洗信号。
控制器53判定分布宽度比率W1/W2是否在室内摄像头故障判定值K4以上。在判定为分布宽度比率W1/W2在室内摄像头故障判定值K4以上的情况下，控制器53判定为因室内摄像头4的故障而室内摄像头图像存在异常即室内摄像头4存在异常。
控制器53也可以在判定为室内摄像头4存在异常的情况下，将表示室内摄像头4的故障的室内故障信息向室内摄像头用显示装置9发送。控制器53也可以将室外摄像头图像向室内摄像头用显示装置9发送。控制器53也可以从室外摄像头图像切取出室内摄像头4的拍摄范围，并对失真、亮度、对比度等进行校正，以使室外摄像头图像成为由室内摄像头4拍摄的情况的失真、亮度、对比度。控制器53也可以将校正后的室外摄像头图像向室内摄像头用显示装置9发送。
控制器53也可以在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上且小于室内摄像头故障判定值K4的情况下，判定因异物附着于挡风玻璃21而室内摄像头图像存在异常。在该情况下，控制器53也可以将表示异物附着于挡风玻璃21的挡风玻璃异物信息向室内摄像头用显示装置9发送。室内摄像头用显示装置9也可以接收挡风玻璃异物信息并对其进行显示。
接着，参照图10A以及图10B所示的流程图对基于控制器53的图像处理方法进行说明。在第一接收部51接收室外摄像头图像，第二接收部52接收室内摄像头图像，室外摄像头图像和室内摄像头图像分别拍摄的时刻在规定时间内的情况下，控制器53开始处理。
首先，控制器53计算分布宽度比率W1/W2(步骤S11)。具体而言，控制器53基于由第一接收部51接收的室外摄像头图像生成第一直方图。然后，控制器53基于第一直方图来计算室外分布宽度W1。控制器53基于由第二接收部52接收的室内摄像头图像生成第二直方图。然后，控制器53基于第二直方图来计算室内分布宽度W2。然后，控制器53计算室外分布宽度W1与室内分布宽度W2的比率即分布宽度比率W1/W2。
控制器53判定分布宽度比率W1/W2是否在室外异物判定值K1以下(步骤S12)。
在步骤S12中判定为分布宽度比率W1/W2在室外异物判定值K1以下的情况下，控制器53判定为室外摄像头图像存在异常，并以室外摄像头3的加热部37加热第一光学系统31的方式进行控制(步骤S13)。
控制器53计算第一光学系统31的加热后的分布宽度比率W1/W2(步骤S14)。
控制器53判定在步骤S14中计算出的第一光学系统31的加热后的分布宽度比率W1/W2是否在室外异物判定值K1以下(步骤S15)。
在步骤S15中判定为分布宽度比率W1/W2在室外异物判定值K1以下的情况下，控制器53判定为室外摄像头图像存在异常，并以室外摄像头3的清洗部38清洗第一光学系统31的方式进行控制(步骤S16)。
控制器53计算第一光学系统31的清洗后的分布宽度比率W1/W2(步骤S17)。
控制器53判定在步骤S17中计算出的第一光学系统31的清洗后的分布宽度比率W1/W2是否在室外异物判定值K1以下(步骤S18)。
在步骤S18判定为分布宽度比率W1/W2在室外异物判定值K1以下的情况下，控制器53判定分布宽度比率W1/W2是否在室外摄像头故障判定值K2以下(步骤S19)。
在步骤S19中判定为分布宽度比率W1/W2在室外摄像头故障判定值K2以下的情况下，控制器53判定为室外摄像头3存在异常。然后，控制器53将室外摄像头故障信息通过发送部54向室外摄像头用显示装置8发送(步骤S20)。
控制器53将室内摄像头图像通过发送部54向室外摄像头用显示装置8发送(步骤S21)。此时，控制器53也可以对室内摄像头图像进行校正，并通过发送部54发送校正后的室内摄像头图像。控制器53也可以将室内摄像头图像通过发送部54向室内摄像头用显示装置9发送。
在步骤S19中判定为分布宽度比率W1/W2比室外摄像头故障判定值K2大的情况下，控制器53将表示异物附着于第一光学系统31的光学系统异物信息通过发送部54向室外摄像头用显示装置8发送(步骤S22)。
在步骤S12、步骤S15或步骤S18中判定为分布宽度比率W1/W2比室外异物判定值K1大的情况下，控制器53判定分布宽度比率W1/W2是否在挡风玻璃异物判定值K3以上(步骤S23)。
在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，控制器53判定为室内摄像头图像存在异常，并以加热装置6加热挡风玻璃21的方式进行控制(步骤S24)。
控制器53计算挡风玻璃21的加热后的分布宽度比率W1/W2(步骤S25)。
控制器53判定在步骤S25中所计算出的挡风玻璃21的加热后的分布宽度比率W1/W2是否在挡风玻璃异物判定值K3以上(步骤S26)。
在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，控制器53判定为室内摄像头图像存在异常，并以清洗装置7清洗挡风玻璃21的方式进行控制(步骤S27)。
控制器53计算挡风玻璃21的清洗后的分布宽度比率W1/W2(步骤S28)。
控制器53再次判定在步骤S28中所计算出的挡风玻璃21的清洗后的分布宽度比率W1/W2是否在挡风玻璃异物判定值K3以上(步骤S29)。
在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，控制器53判定分布宽度比率W1/W2是否在室内摄像头故障判定值K4以上(步骤S30)。
在步骤S30中判定为分布宽度比率W1/W2在室内摄像头故障判定值K4以上的情况下，控制器53判定为室内摄像头4存在异常。然后，控制器53将室内摄像头故障信息通过发送部54向室内摄像头用显示装置9发送(步骤S31)。
控制器53通过发送部54将室外摄像头图像向室内摄像头用显示装置9发送(步骤S32)。此时，控制器53也可以对室外摄像头图像进行校正，并通过发送部54发送校正后的室外摄像头图像。控制器53也可以将室外摄像头图像通过发送部54向室外摄像头用显示装置8发送。
在步骤S30中判定为分布宽度比率W1/W2小于室内摄像头故障判定值K4的情况下，控制器53通过发送部54将挡风玻璃异物信息向室内摄像头用显示装置9发送(步骤S33)。
如上所述，根据第一实施方式，图像处理装置5具有接收室外摄像头图像的第一接收部51、接收室内摄像头图像的第二接收部52。而且，图像处理装置5具有控制器53，该控制器53基于室外摄像头图像和室内摄像头图像的拍摄范围中的共同部分来判定室内摄像头图像或室外摄像头图像的异常。由摄像头生成的图像因周围环境的影响而大幅地变化。因此，仅基于一个图像来判定是否因摄像头的故障或异物附着于光学构件而图像存在异常是困难的。例如，在由一个摄像头生成的图像整体由接近于黑色的色调表示的情况下，难以判定是由于被拍摄体为接近于黑色的色调或者是由于光学构件起雾。例如，在由一个摄像头生成的图像整体由接近于黑色的色调表示的情况下，难以判定是由于被拍摄体为接近于黑色的色调还是由于摄像头发生故障。相对于此，第一实施方式的室外摄像头图像和室内摄像头图像在拍摄范围中的共同部分的周围环境是相同的。因此，图像处理装置5通过比较室内摄像头图像和室外摄像头图像能够准确地判定异常。
根据第一实施方式，室外摄像头图像以不经由挡风玻璃21的方式拍摄被拍摄体而生成。室内摄像头图像以经由挡风玻璃21的方式拍摄被拍摄体而生成。因此，在挡风玻璃21上附着有污垢、雾等异物的情况下，室内摄像头图像的共同部分为与通过不经由挡风玻璃21的拍摄所生成的室外摄像头图像的共同部分不同的图像。因此，第一实施方式的图像处理装置5通过比较在同一周围环境下所生成的室内摄像头图像和室外摄像头图像，能够判定因异物附着于挡风玻璃21所引起的异常。
根据第一实施方式，在判定为分布宽度比率W1/W2在室外异物判定值K1以下的情况下，图像处理装置5判定为室外摄像头图像存在异常，并进行第一光学系统31的异物去除控制。因此，能够消除室外摄像头图像的异常。
根据第一实施方式，在判定为异物去除控制后的分布宽度比率W1/W2在室外异物判定值K1以下的情况下，若判定为该分布宽度比率在室外摄像头故障判定值K2以下，则图像处理装置5判定为室外摄像头3存在异常。由此，图像处理装置5能够将表示室外摄像头图像的故障的室外故障信息向室外摄像头用显示装置8发送。室外摄像头用显示装置8能够显示室外故障信息。因此，移动体2的驾驶者能够识别室外摄像头3的故障。然后，驾驶者通过利用由室内摄像头4所生成的室内摄像头图像注意并确认移动体2的室外的状况或提前修理室外摄像头3，能够安全地驾驶。
根据第一实施方式，在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，图像处理装置5判定为室内摄像头图像存在异常，并进行用于去除第二光学系统41或挡风玻璃21的异物的异物去除控制。因此，图像处理装置5能够消除室内摄像头图像的异常。
根据第一实施方式，在判定为异物去除控制后的分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，若判定为该分布宽度比率在室内摄像头故障判定值K4以上，则图像处理装置5判定为室内摄像头4存在异常。由此，图像处理装置5能够将表示室内摄像头图像的故障的室内故障信息向室内摄像头用显示装置9发送。室内摄像头用显示装置9能够显示室内故障信息。因此，移动体2的驾驶者能够识别室内摄像头4的故障。并且，驾驶者通过利用室外摄像头图像代替室内摄像头图像来注意并确认移动体2的室外的状况或提前修理室内摄像头4，能够安全地驾驶。
根据第一实施方式，在判定为室外摄像头3存在异常的情况下，图像处理装置5将基于室内摄像头图像的图像向室外摄像头用显示装置8发送。由此，移动体2的驾驶者能够通过室内摄像头图像来识别室外的状况，以取代无法参照室外摄像头图像的情况。在判定为室内摄像头4存在异常的情况下，图像处理装置5将基于室外摄像头图像的图像向室内摄像头用显示装置9发送。由此，移动体2的驾驶者能够通过室外摄像头图像来识别室外的状况，以取代无法参照室内摄像头图像的情况。
接着，说明本发明的第二实施方式。
在第二实施方式中，仅说明与第一实施方式不同的结构。在第二实施方式中省略说明的结构与第一实施方式相同。
在第一实施方式中，室外图像特性值是表示室外图像的亮度分布的宽度的室外分布宽度W1。室内图像特性值是表示室内图像的亮度分布的宽度的室内分布宽度W2。但是，在第二实施方式中，室外图像特性值是图5所示那样的室外摄像头图像的亮度的最大度数F1(第一最大度数)。室内图像特性值是室内摄像头图像的亮度的最大度数F2(第二最大度数)。图像特性比率是最大度数F2与最大度数F1的比率即最大度数比率F2/F1。
在异物附着于室外摄像头3的情况下，因该异物使到达室外摄像头3的光的量变少。因此，在室外摄像头图像的亮度分布中，与低的亮度对应的度数变高。另一方面，若在室内摄像头4上未附着有异物，则随着因异物导致光的量的减少带来的与低的亮度对应的度数的增加较少。在该情况下，最大度数比率F2/F1比在室外摄像头3上未附着有异物的情况小。类似地，在挡风玻璃21上附着有异物且在室外摄像头3上未附着有异物的情况下，最大度数比率F2/F1比在挡风玻璃21上未附着有异物的情况大。
因此，控制器53也可以使用室外异物判定值K1以及室外摄像头故障判定值K2，基于最大度数比率F2/F1来判定室外摄像头图像的异常。第二实施方式中的室外异物判定值K1以及室外摄像头故障判定值K2也可以是分别与第一实施方式的室外异物判定值K1以及室外摄像头故障判定值K2不同的值。控制器53也可以使用挡风玻璃异物判定值K3以及室内摄像头故障判定值K4，基于最大度数比率F2/F1来判定室内摄像头图像的异常。第二实施方式中的挡风玻璃异物判定值K3以及室内摄像头故障判定值K4也可以是分别与第一实施方式的挡风玻璃异物判定值K3以及室内摄像头故障判定值K4不同的值。
如上所述，根据第二实施方式，图像处理装置5基于室外摄像头图像和室内摄像头图像的拍摄范围中的共同部分，来判定室内摄像头图像或室外摄像头图像的异常。因此，与第一实施方式类似地，能够准确地判定室内摄像头图像或室外摄像头图像的异常。
另外，根据第二实施方式，图像处理装置5基于最大度数比率F2/F1来判定室外摄像头图像或室内摄像头图像的异常。在最大度数F1比最大度数F2大的情况下，能够推定为因室外摄像头3的故障或异物的附着而室外摄像头图像存在异常。在最大度数F1比最大度数F2小的情况下，能够推定为因室内摄像头4的故障或异物附着于挡风玻璃21而室外摄像头图像存在异常。因此，图像处理装置5能够准确地判定室内摄像头图像或室外摄像头图像的异常。
接着，参照附图对本发明的第三实施方式进行说明。
在第三实施方式中，仅说明与第一实施方式不同的结构。在第三实施方式中省略说明的结构与第一实施方式相同。
在第三实施方式中，室外图像特性值是室外摄像头图像所包含的被拍摄体间的边界的边缘宽度WE1(第一边缘宽度)。室内图像特性值是室内摄像头图像所包含的被拍摄体间的边界的边缘宽度WE2(第二边缘宽度)。图像特性比率是室内摄像头图像的边缘宽度WE2与室外摄像头图像的边缘宽度WE1的比率即边缘宽度比率WE2/WE1。
边缘宽度WE1以及边缘宽度WE2是分别表示室外摄像头图像以及室内摄像头图像的对比度的高低的值。边缘宽度WE1以及边缘宽度WE2是在边缘区域中亮度发生变化的区域的宽度。边缘区域是通过公知的方法从室外摄像头图像以及室内摄像头图像中的一方的图像提取的包括边缘的区域、以及另一方的图像中的与该区域相对应的区域。
具体而言，在从室外摄像头图像提取边缘区域的情况下，室外摄像头图像的边缘区域为所提取的边缘区域。在该情况下，室内摄像头图像的边缘区域是与室外摄像头图像的边缘区域相对应的区域。在边缘区域从该室内摄像头图像提取的情况下，室外摄像头图像的边缘区域是所提取的边缘区域。在该情况下，室内摄像头图像的边缘区域是与室外摄像头图像的边缘区域相对应的区域。
图11是表示与边缘交叉的方向上的与距基准点的距离相对应的像素的亮度的图。参照图11来进行说明，像素特征值变化的区域是亮度处于上限侧亮度(上限侧特征值)与下限侧亮度(下限侧特征值)之间的区域。因此，边缘宽度WE1是室外摄像头图像的边缘区域中的与上限侧亮度相对应的位置P1max和与下限侧亮度相对应的位置P1min之差。上限侧亮度例如是边缘区域中的最高亮度乘以小于1的规定系数(例如，0.8)所得的亮度。下限侧亮度是边缘区域中的最低亮度乘以大于1的规定系数(例如，1.2)所得的亮度。例如，边缘宽度WE2是室内摄像头图像的与边缘区域相对应的区域中的与上限侧亮度相对应的位置P2max和与下限侧亮度相对应的位置P2min之差。
在室外摄像头3上附着有异物的情况下，到达室外摄像头3的光因该异物发生散射以及/或被吸收，因此，与在室外摄像头3上未附着有异物的情况相比，亮度的对比度变低。因此，在室外摄像头3上附着有异物的情况下，室外摄像头图像的边缘宽度WE1比未附着有异物的情况大。另一方面，在挡风玻璃21上未附着有异物的情况下，随着因异物所导致的光的量的减少带来的室内摄像头图像的对比度的降低少，室内摄像头图像的边缘宽度WE2不会变大。因此，在室外摄像头3上附着有异物且在挡风玻璃21上未附着有异物的情况下，边缘宽度比率WE2/WE1比在室外摄像头3上未附着有异物的情况小。类似地，在挡风玻璃21上附着有异物且在室外摄像头3未附着有异物的情况下，边缘宽度比率WE2/WE1比在挡风玻璃21上未附着有异物的情况大。
因此，控制器53通过公知的方法分别从室外摄像头图像以及室内摄像头图像提取边缘。在从室外摄像头图像以及室内摄像头图像中的任一个提取边缘区域时，控制器53基于该边缘区域来计算边缘宽度WE1以及边缘宽度W2。具体而言，在从室外摄像头图像提取边缘区域时，控制器53基于该边缘区域来计算边缘宽度WE1。控制器53基于室内摄像头图像的与边缘区域相对应的区域来计算边缘宽度WE2。然后，控制器53计算边缘宽度比率WE2/WE1。
而且，控制器53也可以使用室外异物判定值K1以及室外摄像头故障判定值K2，基于边缘宽度比率WE2/WE1来判定室外摄像头图像的异常。第三实施方式中的室外异物判定值K1以及室外摄像头故障判定值K2也可以是分别与第一实施方式的室外异物判定值K1以及室外摄像头故障判定值K2不同的值。控制器53也可以使用挡风玻璃异物判定值K3以及室内摄像头故障判定值K4，基于边缘宽度比率WE2/WE1来判定室内摄像头图像的异常。第三实施方式中的挡风玻璃异物判定值K3以及室内摄像头故障判定值K4也可以是分别与第一实施方式的挡风玻璃异物判定值K3以及室内摄像头故障判定值K4不同的值。
如上所述，根据第三实施方式，图像处理装置5基于边缘宽度比率WE2/WE1来判定室外摄像头图像或室内摄像头图像的异常。图像的对比度因在光学构件上附着有污垢、雾等异物而降低。因此，图像处理装置5通过使用因对比度而变动的边缘宽度WE1以及WE2，能够判定室外摄像头图像或室内摄像头图像的异常。
接着，参照附图来说明本发明的第四实施方式。
在第四实施方式中，仅说明与第三实施方式不同的结构。在第四实施方式中省略说明的结构与第一实施方式相同。
在第四实施方式中，室外图像特性值是图11所示那样的室外摄像头图像的边缘等级LE1(第一边缘等级)。室内图像特性值是室内摄像头图像的边缘等级LE2(第二边缘等级)。图像特性比率是室内摄像头图像的边缘等级LE1与室外摄像头图像的边缘等级LE2的比率即边缘等级比率LE1/LE2。
边缘等级LE1以及边缘等级LE2是表示室外摄像头图像的对比度的高低的值。例如，边缘等级LE1也可以是室外摄像头图像的边缘区域中的亮度的变化率为规定值以上的区域的最大亮度(最大的像素特征值)和最小亮度(最小的像素特征值)之差。边缘等级LE2也可以是室内摄像头图像的边缘区域中的亮度的变化率为规定值以上的区域的最大亮度和最小亮度之差。亮度的变化率例如是各像素的亮度和与该像素在与边缘交叉的方向上相邻的像素的亮度之差。第四实施方式中的边缘区域与第三实施方式中的边缘区域相同。
在室外摄像头3上附着有异物的情况下，到达室外摄像头3的光因该异物而发生散射，因此，亮度的对比度相比在室外摄像头3上未附着有异物的情况变低。因此，在室外摄像头3上附着有异物的情况下，室外摄像头图像的边缘等级LE1比未附着有异物的情况小。另一方面，在挡风玻璃21上未附着有异物的情况下，随着因异物所引起的光的散射带来的室内摄像头图像的对比度的降低少，室外摄像头图像的边缘等级LE1不会变小。因此，边缘等级比率LE1/LE2比在室外摄像头3上未附着有异物的情况小。类似地，在挡风玻璃21上附着有异物且在室外摄像头3未附着有异物的情况下，边缘等级比率LE1/LE2比在挡风玻璃21上未附着有异物的情况大。
因此，控制器53也可以使用室外异物判定值K1以及室外摄像头故障判定值K2，基于边缘等级比率LE1/LE2来判定室外摄像头图像的异常。第四实施方式中的室外异物判定值K1以及室外摄像头故障判定值K2也可以是分别与第三实施方式的室外异物判定值K1以及室外摄像头故障判定值K2不同的值。控制器53也可以使用挡风玻璃异物判定值K3以及室内摄像头故障判定值K4，基于边缘等级比率LE1/LE2来判定室内摄像头图像的异常。第四实施方式中的挡风玻璃异物判定值K3以及室内摄像头故障判定值K4也可以是分别与第三实施方式的挡风玻璃异物判定值K3以及室内摄像头故障判定值K4不同的值。
如上所述，根据第四实施方式，图像处理装置5基于边缘等级比率LE1/LE2来判定室外摄像头图像或室内摄像头图像的异常。通过拍摄透过该光学构件的光所生成的图像的对比度因在光学构件上附着有污垢、雾等异物而降低。因此，图像处理装置5通过使用因对比度而变动的边缘等级比率LE1以及LE2，能够判定室外摄像头图像或室内摄像头图像的异常。
接着，对本发明的第五实施方式进行说明。
在第五实施方式中，仅说明与第一实施方式不同的结构。在第五实施方式中省略说明的结构与第一实施方式相同。
在第一实施方式中，控制器53基于室外图像特性值以及室内图像特性值来判定室外摄像头图像或室内摄像头图像的异常。相对于此，在第五实施方式中，控制器53基于对室外摄像头图像的共同部分进行二值化所得到的室外二值化图像和对室内摄像头图像的共同部分进行二值化所得到室内二值化图像，判定室外摄像头图像或室内摄像头图像的异常。具体而言，控制器53判定室外二值化图像的各像素和室内二值化图像的相对应的像素彼此是否一致。控制器53计算一致的像素数相对于整体的像素数的比率即一致率。在一致率在阈值以下的情况下，控制器53可以判定室外二值化图像和室内二值化图像中的某一个存在异常。
如上所述，根据第五实施方式，图像处理装置5基于室外二值化图像和室内二值化图像的拍摄范围中的共同部分来判定异常。若室外摄像头图像和室内摄像头图像中的任一个均无异常，则室外二值化图像和室内二值化图像中的相对应的各像素一致的情况较多。但是，图像的亮度因在光学构件附着有污垢、雾等异物而变低。即，因异物附着于光学构件而导致一致率降低。因此，图像处理装置5能够基于室外二值化图像和室内二值化图像的拍摄范围中的共同部分来判定异常。
上述的实施方式中的“移动体”包括汽车和工业车辆，但并不限定于此，也可以包括轨道车辆以及生活车辆、在跑道上行驶的固定翼飞机。汽车包括客车、卡车、公共汽车、两轮车、以及无轨电车等，但并不限定于此，也可以包括在道路上行驶的其他车辆。工业车辆包括农业和建筑用的工业车辆。工业车辆包括叉车和高尔夫车，但并不限定于此。农业用的工业车辆包括拖拉机、耕耘机、移植机、割捆机、联合收割机和割草机，但并不限定于此。建筑用的工业车辆包括推土机、铲运机、铲车、吊车、倾卸车和压路机，但并不限定于此。车辆包括通过人力行驶的车辆。此外，车辆的分类并不限于上述。例如，汽车可以包括能够在道路上行驶的工业车辆，也可以包括多个类别相同的车辆。
上述的实施方式说明了代表性的例子，但本领域技术人员能够在本发明的主旨以及范围内进行多种变更以及置换是显而易见的。因此，本发明不应被理解为限定于上述的实施方式，在不脱离权利要求的范围的情况下，能够进行各种变形或变更。例如，能够将实施方式以及实施例中记载的多个结构块组合为一个或分割一个结构块。
在上述的实施方式中，控制器53在判定为分布宽度比率W1/W2在室外摄像头故障判定值K2以下的情况下，判定室外摄像头3存在异常，但并不限定于此。例如，控制器53也可以在分布宽度比率W1/W2在室外摄像头故障判定值K2以上且室外分布宽度W1在第一故障值K5以下的情况下，判定室外摄像头3存在异常。
在上述的实施方式中，控制器53在判定为分布宽度比率W1/W2在室内摄像头故障判定值K4以上的情况下，判定室内摄像头4存在异常，但并不限定于此。例如，控制器53也可以在分布宽度比率W1/W2在室内摄像头故障判定值K4以上且室内分布宽度W2在第二故障值K6以下的情况下，判定室内摄像头4存在异常。
在室外摄像头3发生故障的情况下，与时间段、天气、被拍摄体、照明等周围环境无关，如图7所示，预计室外摄像头图像的亮度的分布范围窄。因此，能够基于室外分布宽度W1更准确地判定室外摄像头3的故障。类似地，能够基于室内分布宽度W2更准确地判定室内摄像头4的故障。
在上述的实施方式中，第一拍摄装置是室外摄像头3，第二拍摄装置是室内摄像头4，但并不限定于此。例如，第一拍摄装置以及第二拍摄装置也可以均是室外摄像头3。在该情况下，控制器53在判定为分布宽度比率W1/W2在挡风玻璃异物判定值K3以上的情况下，判定因异物附着于第二光学系统41而未附着于挡风玻璃21导致由第二拍摄装置拍摄图像(第二图像)存在异常。控制器53也可以在判定为第二拍摄装置存在异常时，进行用于去除第二光学系统41的异物而不是挡风玻璃21的异物的异物去除控制。
在上述的实施方式中，室外摄像头3具有加热部37以及清洗部38，但并非限定于此。例如，室外摄像头3也可以不具有加热部37以及清洗部38，而在室外摄像头3的附近设置有与室外摄像头3不同的设备即加热器以及清洗器。在该情况下，控制器53也可以通过将加热信号以及清洗信号不向室外摄像头3发送而分别向加热器以及清洗器发送来控制该加热器以及该清洗器。并且，加热器可以在接收到加热信号时对第一光学系统31进行加热。清洗器可以在接收到清洗信号时对第一光学系统31进行清洗。
在上述的实施方式中，控制器53分别对第一光学系统31以及挡风玻璃21进行加热并对其进行清洗，但并不限定于此。例如，控制器53也可以分别对第一光学系统31以及挡风玻璃21进行加热而不对其进行清洗。例如，控制器53也可以不分别对第一光学系统31以及挡风玻璃21进行加热而对其进行清洗。控制器53通过加热或清洗来进行异物去除控制，但并不限定于此。控制器53可以通过任意的方法去除附着于第一光学系统31以及挡风玻璃21的异物。
在上述的实施方式中，控制器53在使用室外异物判定值K1以及室外摄像头故障判定值K2判定室外摄像头图像的异常后，使用挡风玻璃异物判定值K3以及室内摄像头故障判定值K4判定室内摄像头图像的异常。但是，判定室内摄像头图像的异常的方法并不限定于此。例如，控制器53也可以在使用挡风玻璃异物判定值K3以及室内摄像头故障判定值K4判定室内摄像头图像的异常后，使用室外异物判定值K1以及室外摄像头故障判定值K2判定室外摄像头图像的异常。
附图标记的说明：
1 拍摄系统
2 移动体
3 室外摄像头(第一拍摄装置)
4 室内摄像头(第二拍摄装置)
5 图像处理装置
6 加热装置
7 清洗装置
8 室外摄像头用显示装置(第一显示装置)
9 室内摄像头用显示装置(第二显示装置)
31 第一光学系统
32 第一拍摄元件
33 第一图像处理处理器
34 第一控制处理器
35 第一CAN收发器
36 第一通信部
37 加热部
38 清洗部
41 第二光学系统
42 第二拍摄元件
43 第二图像处理处理器
44 第二控制处理器
45 第二CAN收发器
46 第二通信部
51 第一接收部
52 第二接收部
53 控制器
54 发送部

Claims (20)

1.一种图像处理装置，其中，
具有：
第一接收部，接收第一图像，
第二接收部，接收拍摄范围包括所述第一图像的拍摄范围的至少一部分的第二图像，以及
控制器，基于所述第一图像和所述第二图像的拍摄范围中的共同部分，判定所述第一图像或所述第二图像的异常。
2.如权利要求1所述的图像处理装置，其中，
所述第一接收部接收不经由隔开室外和室内的光学构件对被拍摄体进行拍摄而生成的所述第一图像，
所述第二接收部接收经由所述光学构件对所述被拍摄体进行拍摄而生成的所述第二图像。
3.如权利要求1或2所述的图像处理装置，其中，
所述控制器使用基于第一图像特性值以及第二图像特性值的图像特性比率来判定所述异常，所述第一图像特性值表示所述第一图像的所述共同部分的特性，所述第二图像特性值表示所述第二图像的所述共同部分的特性。
4.如权利要求3所述的图像处理装置，其中，
所述第一图像特性值是表示所述第一图像的像素特征值的分布的宽度的第一分布宽度，所述第二图像特性值是表示所述第二图像的像素特征值的分布的宽度的第二分布宽度，所述像素特征值表示各像素的规定的特征，
所述控制器将所述第一分布宽度与所述第二分布宽度的比率作为所述图像特性比率，并基于所述图像特性比率判定所述异常。
5.如权利要求3所述的图像处理装置，其中，
所述第一图像特性值是所述第一图像的像素特征值的分布中的度数的最大值即第一最大度数，所述第二图像特性值是所述第二图像的像素特征值的分布中的度数的最大值即第二最大度数，所述像素特征值表示各像素的规定的特征，
所述控制器将所述第二最大度数与所述第一最大度数的比率作为所述图像特性比率，并基于所述图像特性比率判定所述异常。
6.如权利要求3所述的图像处理装置，其中，
所述第一图像特性值是在所述第一图像中所计算出的边缘宽度即第一边缘宽度，所述第二图像特性值是在所述第二图像中所计算出的与在所述第一图像中所计算出的所述边缘相对应的边缘的宽度即第二边缘宽度，
所述控制器将所述第二边缘宽度与所述第一边缘宽度的比率作为所述图像特性比率，并基于所述图像特性比率判定所述异常。
7.如权利要求6所述的图像处理装置，其中，
在将表示各像素的规定的特征的值作为像素特征值时，所述第一边缘宽度以及所述第二边缘宽度是在包括所述边缘的边缘区域中所述像素特征值发生变化的区域的宽度。
8.如权利要求7所述的图像处理装置，其中，
所述像素特征值发生变化的区域是所述边缘区域的所述像素特征值处于比所述边缘区域的所述像素特征值的最小值大的下限侧特征值与比所述边缘区域的所述像素特征值的最大值小的上限侧特征值之间的区域。
9.如权利要求3所述的图像处理装置，其中，
所述第一图像特性值是第一边缘等级，所述第一边缘等级是在所述第一图像中所提取的包括边缘的边缘区域中的像素特征值的与所述边缘交叉的方向的变化率在规定值以上的区域的最大的像素特征值与最小的像素特征值之差，所述第二图像特性值是第二边缘等级，所述第二边缘等级是所述第二图像中的与所述第一图像中的所述边缘区域相对应的区域中的所述像素特征值的与所述边缘交叉的方向的变化率在规定值以上的区域的最大的像素特征值与最小的像素特征值之差，所述像素特征值表示各像素的规定的特征，
所述控制器将所述第一边缘等级与所述第二边缘等级的比率作为所述图像特性比率，并基于所述图像特性比率判定所述异常。
10.如权利要求4～9中任一项所述的图像处理装置，其中，
所述控制器在判定为所述图像特性比率为大于0且小于1的第一值以下的情况下，判定所述第一图像存在异常，并进行用于去除附着于生成所述第一图像的第一拍摄装置的光学系统的异物的异物去除控制。
11.如权利要求10所述的图像处理装置，其中，
所述控制器通过对所述第一拍摄装置进行清洗或加热来进行异物去除控制。
12.如权利要求10或11所述的图像处理装置，其中，
在所述图像特性比率为比所述第一值低的第二值以下的情况下，所述控制器判定生成所述第一图像的第一拍摄装置存在异常。
13.如权利要求4～9中任一项所述的图像处理装置，其中，
所述控制器在判定为所述图像特性比率为大于1的第三值以上的情况下，判定所述第二图像存在异常，并进行用于去除附着于到达生成所述第二图像的第二拍摄装置的拍摄元件的光透过的构件上的异物的异物去除控制。
14.如权利要求13所述的图像处理装置，其中，
所述控制器通过对所述构件进行清洗或加热来进行异物去除控制。
15.如权利要求13或14所述的图像处理装置，其中，
在所述图像特性比率为比所述第三值高的第四值以上的情况下，所述控制器判定生成所述第二图像的第二拍摄装置存在异常。
16.如权利要求4、5、7～9中任一项所述的图像处理装置，其中，
所述像素特征值是亮度、色度或明度。
17.如权利要求1～16中任一项所述的图像处理装置，其中，
所述控制器还具有发送部，该发送部在判定为所述第一图像存在异常的情况下，将基于所述第二图像的图像向在所述第一图像不存在异常的情况下发送所述第一图像的第一显示装置发送，在判定为所述第二图像存在异常的情况下，将基于所述第一图像的图像向在所述第二图像不存在异常的情况下发送所述第二图像的第二显示装置发送。
18.一种拍摄系统，其中，
具有：
第一拍摄装置，生成第一图像，
第二拍摄装置，生成拍摄范围包括所述第一图像的拍摄范围的至少一部分的第二图像，
图像处理装置，包括：第一接收部，接收所述第一图像；第二接收部，接收所述第二图像；以及控制器，基于所述第一图像和所述第二图像的拍摄范围中的共同部分，判定所述第一图像或所述第二图像的异常。
19.一种移动体，其中，
具有：
第一拍摄装置，生成第一图像，
第二拍摄装置，生成拍摄范围包括所述第一图像的拍摄范围的至少一部分的第二图像，
图像处理装置，包括：第一接收部，接收所述第一图像；第二接收部，接收所述第二图像；以及控制器，基于所述第一图像和所述第二图像的拍摄范围中的共同部分，判定所述第一图像或所述第二图像的异常。
20.一种图像处理方法，由图像处理装置执行，其中，
接收第一图像，
接收拍摄范围包括所述第一图像的拍摄范围的至少一部分的第二图像，
基于所述第一图像和所述第二图像的拍摄范围中的共同部分，判定所述第一图像或所述第二图像的异常。
CN201980006852.2A 2018-01-17 2019-01-07 图像处理装置、拍摄系统、移动体、以及图像处理方法 Active CN111567028B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-005942 2018-01-17
JP2018005942A JP7074482B2 (ja) 2018-01-17 2018-01-17 画像処理装置、撮像システム、移動体、および画像処理方法
PCT/JP2019/000107 WO2019142675A1 (ja) 2018-01-17 2019-01-07 画像処理装置、撮像システム、移動体、および画像処理方法

Publications (2)

Publication Number Publication Date
CN111567028A true CN111567028A (zh) 2020-08-21
CN111567028B CN111567028B (zh) 2021-09-21

Family

ID=67301434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980006852.2A Active CN111567028B (zh) 2018-01-17 2019-01-07 图像处理装置、拍摄系统、移动体、以及图像处理方法

Country Status (5)

Country Link
US (1) US11551340B2 (zh)
EP (1) EP3742719A4 (zh)
JP (1) JP7074482B2 (zh)
CN (1) CN111567028B (zh)
WO (1) WO2019142675A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414486B2 (ja) 2019-11-21 2024-01-16 日立Astemo株式会社 車載ステレオカメラ
DE102020130481A1 (de) * 2020-11-18 2022-05-19 Daimler Ag Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars
WO2023007776A1 (ja) 2021-07-29 2023-02-02 日立Astemo株式会社 画像処理装置及び画像処理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245354A (ja) * 2008-03-31 2009-10-22 Honda Motor Co Ltd 車両走行支援装置、車両、車両走行支援プログラム
JP2012228916A (ja) * 2011-04-25 2012-11-22 Kyocera Corp 車載カメラシステム
JP2014043121A (ja) * 2012-08-24 2014-03-13 Hitachi Automotive Systems Ltd 車載カメラ装置
CN106218587A (zh) * 2016-07-25 2016-12-14 青岛海信移动通信技术股份有限公司 一种开启除雾功能的方法和设备
JP2017049412A (ja) * 2015-09-01 2017-03-09 富士通株式会社 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP2017092753A (ja) * 2015-11-12 2017-05-25 セイコーエプソン株式会社 画像処理装置、ロボットおよびロボットシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02130455A (ja) 1988-11-11 1990-05-18 Nissan Motor Co Ltd ウィンドガラス面曇り検出装置
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
JP5056919B2 (ja) * 2009-09-29 2012-10-24 株式会社デンソー 車載光学センサカバー及び車載光学センサ装置
JP4957850B2 (ja) 2010-02-04 2012-06-20 カシオ計算機株式会社 撮像装置、警告方法、および、プログラム
JP2013029451A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
JP5879219B2 (ja) * 2012-07-03 2016-03-08 クラリオン株式会社 車載用環境認識装置
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
CN107040709A (zh) 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人系统、机器人以及图像处理方法
JP6259482B2 (ja) * 2016-03-18 2018-01-10 株式会社Ｓｕｂａｒｕ 車両用表示制御装置
WO2017203970A1 (ja) * 2016-05-24 2017-11-30 ソニー株式会社 車載用情報処理装置、車載用情報処理システム、情報処理方法及びプログラム
EP4155128A1 (en) * 2016-12-09 2023-03-29 Kyocera Corporation Imaging apparatus, image processing apparatus, display system, and vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245354A (ja) * 2008-03-31 2009-10-22 Honda Motor Co Ltd 車両走行支援装置、車両、車両走行支援プログラム
JP2012228916A (ja) * 2011-04-25 2012-11-22 Kyocera Corp 車載カメラシステム
JP2014043121A (ja) * 2012-08-24 2014-03-13 Hitachi Automotive Systems Ltd 車載カメラ装置
JP2017049412A (ja) * 2015-09-01 2017-03-09 富士通株式会社 撮像装置、合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP2017092753A (ja) * 2015-11-12 2017-05-25 セイコーエプソン株式会社 画像処理装置、ロボットおよびロボットシステム
CN106218587A (zh) * 2016-07-25 2016-12-14 青岛海信移动通信技术股份有限公司 一种开启除雾功能的方法和设备

Also Published As

Publication number Publication date
JP2019125942A (ja) 2019-07-25
EP3742719A1 (en) 2020-11-25
US20210073971A1 (en) 2021-03-11
JP7074482B2 (ja) 2022-05-24
WO2019142675A1 (ja) 2019-07-25
US11551340B2 (en) 2023-01-10
CN111567028B (zh) 2021-09-21
EP3742719A4 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
US10432847B2 (en) Signal processing apparatus and imaging apparatus
CN111567028B (zh) 图像处理装置、拍摄系统、移动体、以及图像处理方法
US11836989B2 (en) Vehicular vision system that determines distance to an object
US9205810B2 (en) Method of fog and raindrop detection on a windscreen and driving assistance device
US20160096477A1 (en) Vehicle vision system with gray level transition sensitive pixels
JP6480605B2 (ja) 撮像装置、撮像システム、車両及び異物判定方法
US20140354811A1 (en) Vehicle vision system with enhanced low light capabilities
US20130300869A1 (en) Vehicle vision system with lens pollution detection
JP6081034B2 (ja) 車載カメラ制御装置
US20210142496A1 (en) Depth acquisition device and depth acquisition method
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
US9230189B2 (en) Method of raindrop detection on a vehicle windscreen and driving assistance device
JP6933955B2 (ja) サイドミラー装置、サイドミラーシステム、および車両
KR102284128B1 (ko) 차량용 카메라
US11979655B2 (en) Method to detect and overcome degradation image quality impacts
KR101684782B1 (ko) 우적 감응형 와이퍼 장치
EP2542453A1 (en) Method and device of raindrop detection on a windscreen
WO2013035320A1 (ja) 観察装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant