JP2019153932A

JP2019153932A - Soil notification device

Info

Publication number: JP2019153932A
Application number: JP2018037947A
Authority: JP
Inventors: 宏行渡邉; Hiroyuki Watanabe
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2018-03-02
Filing date: 2018-03-02
Publication date: 2019-09-12

Abstract

To provide a soil notification device capable of properly reporting soil on the imaging surfaces of imaging units mounted on a vehicle.SOLUTION: The soil notification device comprises units such as an acquisition unit for acquiring captured image data respectively output from a plurality of imaging units mounted on a vehicle, a detection unit for detecting soil on an imaging surface for each imaging unit on the basis of the captured image data, and an output unit for outputting a soil notification which makes it possible to identify an imaging unit where the soil is detected when the soil on the imaging surface is detected.SELECTED DRAWING: Figure 3

Description

本発明の実施形態は、汚れ報知装置に関する。 Embodiments described herein relate generally to a dirt notification device.

従来、車両に設置された複数の撮像部（カメラ）により撮像された撮像画像データに基づく画像を表示装置に表示させて、車両の周辺の状況を運転者等に認識させたり、その画像に基づいて障害物の接近等を報知させたりするシステムがある。このようなシステムにおいて、撮像部の撮像面（例えばレンズ）に汚れ等が付着している場合、適切な内容の表示ができなかったり、適切な画像処理や報知ができなかったりする場合がある。そのため、撮像部(撮像面)の汚れ検出を行い、汚れが検出された場合には、汚れ報知を行ったり、撮像した画像に基づく障害物検出等の処理を実行しないようにしたりするシステムが提案されている。 Conventionally, an image based on captured image data captured by a plurality of imaging units (cameras) installed in a vehicle is displayed on a display device so that a driver or the like can recognize a situation around the vehicle, or based on the images. There is a system that notifies the approach of obstacles. In such a system, when dirt or the like adheres to the imaging surface (for example, a lens) of the imaging unit, it may not be possible to display appropriate contents or perform appropriate image processing or notification. Therefore, a system is proposed that detects dirt on the imaging unit (imaging surface), and if dirt is detected, notifies dirt or does not execute processing such as obstacle detection based on the captured image. Has been.

特開２００３−２５９３５８号公報JP 2003-259358 A

しかしながら、従来のシステムの場合、汚れの有無が通知されるのみで、利用者（例えば、運転者等）は、複数の撮像部のいずれに汚れが生じているのかが、咄嗟に判断し難く迅速な対処ができない場合があった。したがって、車載される複数の撮像部の撮像面の汚れを適切に報知することができる汚れ報知装置が提供できれば、汚れ洗浄等の対応を適切なタイミングで迅速に行うことが可能となり有意義である。 However, in the case of a conventional system, only the presence or absence of dirt is notified, and it is difficult for a user (for example, a driver or the like) to quickly determine which of the plurality of imaging units is dirty. There was a case that it was not possible to cope with it. Therefore, if it is possible to provide a dirt notification device capable of appropriately reporting dirt on the imaging surfaces of a plurality of on-vehicle imaging units, it is meaningful that it is possible to quickly deal with dirt cleaning and the like at an appropriate timing.

本発明の実施形態にかかる汚れ報知装置は、例えば、車両に搭載された複数の撮像部からそれぞれ出力される撮像画像データを取得する取得部と、上記撮像画像データに基づき、上記撮像部ごとに撮像面の汚れを検出する検出部と、上記撮像面の汚れが検出された場合に、当該汚れが検出された上記撮像部の識別が可能な汚れ報知を出力する出力部と、を備える。この構成によれば、例えば、汚れが検出された撮像部の識別（特定）を容易に行わせることが可能になり、汚れに対する対応を適切なタイミングで迅速に行わせることができる。 The dirt notification device according to the embodiment of the present invention includes, for example, an acquisition unit that acquires captured image data output from each of a plurality of imaging units mounted on a vehicle, and each imaging unit based on the captured image data. A detection unit that detects dirt on the imaging surface; and an output unit that outputs a contamination notification that can identify the imaging unit in which the contamination is detected when the contamination on the imaging surface is detected. According to this configuration, for example, it is possible to easily identify (specify) an imaging unit in which dirt is detected, and to quickly deal with dirt at an appropriate timing.

本発明の実施形態にかかる汚れ報知装置の上記出力部は、例えば、上記複数の撮像部から出力される撮像画像データに基づく画像を表示装置に表示する場合に、汚れが検出された上記撮像部を特定する指標を上記画像に重畳表示するようにしてもよい。この構成によれば、例えば、汚れが検出された撮像部の位置の認識を容易に行わせることができる。 The output unit of the dirt notification device according to the embodiment of the present invention, for example, when the image based on the picked-up image data output from the plurality of image pickup units is displayed on a display device, the image pickup unit in which dirt is detected An index for specifying the image may be superimposed on the image. According to this configuration, for example, it is possible to easily recognize the position of the imaging unit where the dirt is detected.

本発明の実施形態にかかる汚れ報知装置の上記出力部は、例えば、上記複数の撮像部から出力される撮像画像データに基づく画像を表示装置に表示する場合に、汚れが検出された上記撮像部の上記画像の表示態様と汚れが検出されない上記撮像部の上記画像の表示態様とを異ならせるようにしてもよい。この構成によれば、例えば、汚れている撮像部の画像の輝度を変化させたり、色調を変化させたり、点滅させたりすることができる。この場合、汚れが検出された撮像部による画像自体の表示は行われるので、撮像部から撮像画像データが出力されていない場合（故障の場合）と出力されている場合（汚れの場合）との識別を容易に行わせることができることに加え、いずれの撮像部に汚れが生じているかの判断を容易に行わせることができる。 The output unit of the dirt notification device according to the embodiment of the present invention, for example, when the image based on the picked-up image data output from the plurality of image pickup units is displayed on a display device, the image pickup unit in which dirt is detected The display mode of the image may be different from the display mode of the image of the imaging unit in which dirt is not detected. According to this configuration, for example, it is possible to change the brightness of the image of the dirty imaging unit, change the color tone, or blink the image. In this case, since the image itself is displayed by the imaging unit in which the dirt is detected, when the captured image data is not output from the imaging unit (in the case of failure) and when it is output (in the case of contamination) In addition to being able to easily identify, it is possible to easily determine which imaging unit is contaminated.

図１は、実施形態にかかる汚れ報知装置を搭載可能な車両の一例を示す模式的な平面図である。FIG. 1 is a schematic plan view illustrating an example of a vehicle on which the dirt notification device according to the embodiment can be mounted. 図２は、実施形態にかかる汚れ報知装置を含む汚れ報知処理システムの構成の例示的なブロック図である。FIG. 2 is an exemplary block diagram of a configuration of a stain notification processing system including the stain notification device according to the embodiment. 図３は、実施形態にかかる汚れ報知装置のＣＰＵの構成の例示的なブロック図である。FIG. 3 is an exemplary block diagram of the configuration of the CPU of the dirt notification device according to the embodiment. 図４は、実施形態にかかる汚れ報知装置による、汚れ報知（警報）の一例を示す模式図である。FIG. 4 is a schematic diagram illustrating an example of a stain notification (alarm) by the stain notification device according to the embodiment. 図５は、実施形態にかかる汚れ報知装置による、汚れ報知（警報）の他の例を示す模式図である。Drawing 5 is a mimetic diagram showing other examples of dirt information (alarm) by the dirt information device concerning an embodiment.

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。 Hereinafter, exemplary embodiments of the present invention are disclosed. The configuration of the embodiment shown below and the operations, results, and effects brought about by the configuration are examples. The present invention can be realized by configurations other than those disclosed in the following embodiments, and at least one of various effects based on the basic configuration and derivative effects can be obtained. .

図１は、本実施形態の汚れ報知装置が搭載される車両１０の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。 FIG. 1 is a schematic plan view of a vehicle 10 on which the dirt notification device of the present embodiment is mounted. The vehicle 10 may be, for example, an automobile (an internal combustion engine automobile) using an internal combustion engine (engine, not shown) as a drive source, or an automobile (electric vehicle) using an electric motor (motor, not shown) as a drive source. Or a fuel cell vehicle or the like, or a vehicle (hybrid vehicle) using both of them as drive sources. Further, the vehicle 10 can be mounted with various transmissions, and various devices (systems, components, etc.) necessary for driving the internal combustion engine and the electric motor can be mounted. In addition, the system, number, layout, and the like of devices related to driving of the wheels 12 (front wheels 12F, rear wheels 12R) in the vehicle 10 can be set in various ways.

図１に例示されるように、車両１０には、複数の撮像部１４として、例えば六つの撮像部１４ａ〜１４ｆが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、例えば、車両１０の外周部に配置される撮像部１４（１４ａ〜１４ｄ）の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４（１４ａ〜１４ｄ）は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す線、車線分離線等を含む）や物体（障害物として、例えば、歩行者、車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像データとして出力する。 As illustrated in FIG. 1, for example, six imaging units 14 a to 14 f are provided in the vehicle 10 as the plurality of imaging units 14. The imaging unit 14 is a digital camera that incorporates an imaging element such as a charge coupled device (CCD) or a CMOS image sensor (CIS). The imaging unit 14 can output moving image data (captured image data) at a predetermined frame rate. The imaging unit 14 has a wide-angle lens or a fish-eye lens, respectively, and can capture a range of, for example, 140 ° to 220 ° in the horizontal direction. For example, the optical axis of the imaging unit 14 (14a to 14d) arranged on the outer peripheral portion of the vehicle 10 may be set obliquely downward. Therefore, the imaging unit 14 (14a to 14d) is a road surface on which the vehicle 10 can move and marks (including arrows and division lines, lines indicating parking spaces, lane separation lines, etc.) and objects (obstacles). As, for example, the surrounding environment outside the vehicle 10 including a pedestrian, a vehicle, etc.) is sequentially photographed and output as captured image data.

撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｂの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｂ）を含む後方領域を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。 The imaging unit 14a is provided at, for example, the front side of the vehicle 10, that is, the front side in the front-rear direction of the vehicle and the substantially center end in the vehicle width direction, for example, the front bumper 10a, the front grille, etc. A front image including the front bumper 10a) can be taken. In addition, the imaging unit 14b is provided, for example, at the rear side of the vehicle 10, that is, at the rear side in the vehicle front-rear direction, at a substantially central end in the vehicle width direction, for example, at a position above the rear bumper 10b. A rear region including (for example, the rear bumper 10b) can be imaged. Further, the imaging unit 14c is provided on, for example, the right end of the vehicle 10, for example, the right door mirror 10c, and includes a right side including a region centered on the right side of the vehicle 10 (for example, a region from right front to right rear). A square image can be captured. The imaging unit 14d is provided on, for example, the left end of the vehicle 10, for example, the left door mirror 10d, and includes a left side image including a region centered on the left side of the vehicle 10 (for example, a region from the left front to the left rear). Can be imaged.

例えば、撮像部１４ａ〜１４ｄで得られた撮像画像データに基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成したりすることができる。なお、各撮像部１４ａ〜１４ｄが撮像する撮像画像データ（画像）には、互いに重複する重複領域を設けてもよい。例えば、撮像部１４ａの撮像した撮像画像データの右側の端部と撮像部１４ｃが撮像した撮像画像データの前方側の端部とが重複する。そして、二つの画像を繋げる（合成する）場合、前方画像の撮像画像データと右側方画像の撮像画像データのそれぞれａ％を利用して画像を合成するブレンド処理を実行してもよい。ブレンド処理を実行することにより、前方画像と右側方画像とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。同様に、前方画像と左側方画像、左側方画像と後方画像、後方画像と右側方画像についてもブレンド処理を施すことで、合成した周辺画像全体において境界線を目立ちにくくすることができる。 For example, by performing arithmetic processing and image processing based on the captured image data obtained by the imaging units 14a to 14d, an image with a wider viewing angle is generated, or the vehicle 10 is moved upward, forward, sideward, etc. A virtual image viewed from above (a bird's-eye view image (planar image), a side view image, a front view image, etc.) can be generated. In addition, you may provide the overlapping area | region which mutually overlaps in the captured image data (image) which each imaging part 14a-14d images. For example, the right end of the captured image data captured by the image capturing unit 14a overlaps with the front end of the captured image data captured by the image capturing unit 14c. Then, when two images are connected (combined), a blending process for combining the images using a% of the captured image data of the front image and the captured image data of the right side image may be executed. By executing the blending process, the front image and the right side image are synthesized so as to gradually change, and the boundary line caused by the difference in brightness and hue can be made inconspicuous. Similarly, by applying blend processing to the front image and the left side image, the left side image and the back image, and the back image and the right side image, it is possible to make the boundary line inconspicuous in the entire synthesized peripheral image.

撮像部１４ｅは、車両１０の車室内の例えば、ルームミラー１０ｅの一部に車室内を撮像可能な姿勢で設けられ、運転者や乗員等を認識するための画像を撮像可能である。例えば、運転者や乗員の搭乗の有無検出や運転者の顔認識（例えば、居眠りや脇見運転の検出等）を行う際に利用可能な画像を撮像することができる。また、撮像部１４ｆは、車両１０の車室内の例えば、ルームミラー１０ｅの背面（車両前方面）の一部に車両前方方向を撮像可能な姿勢で設けられ、例えば、車両前方や前走車等を認識するための画像を撮像可能である。例えば、予め設定した車速内で車両１０を自動的に加減速させたり、前走車との車間距離を適切に維持しながら追従走行させたりする制御を行う際に利用可能な画像を撮像することができる。 The imaging unit 14e is provided, for example, in a part of the interior of the vehicle 10 with a posture capable of imaging the interior of the vehicle, and can capture an image for recognizing a driver, an occupant, and the like. For example, it is possible to capture an image that can be used when detecting the presence or absence of a driver or an occupant or performing driver's face recognition (for example, detection of dozing or looking aside). In addition, the imaging unit 14f is provided in a posture capable of imaging the front direction of the vehicle, for example, on a part of the rear surface of the room mirror 10e (the front surface of the vehicle) in the vehicle interior of the vehicle 10, for example, in front of the vehicle or in front of the vehicle. An image for recognizing can be captured. For example, taking an image that can be used when performing control to automatically accelerate or decelerate the vehicle 10 within a preset vehicle speed or to follow the vehicle while maintaining an appropriate distance from the preceding vehicle. Can do.

図２は、車両１０に搭載される汚れ報知装置を含む汚れ報知処理システム１００の構成の例示的なブロック図である。車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。乗員（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、乗員は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。 FIG. 2 is an exemplary block diagram of a configuration of a dirt notification processing system 100 including a dirt notification device mounted on the vehicle 10. A display device 16 and an audio output device 18 are provided in the passenger compartment of the vehicle 10. The display device 16 is, for example, an LCD (liquid crystal display) or an OELD (organic electroluminescent display). The audio output device 18 is, for example, a speaker. The display device 16 is covered with a transparent operation input unit 20 such as a touch panel, for example. An occupant (for example, a driver) can visually recognize an image displayed on the display screen of the display device 16 via the operation input unit 20. In addition, the occupant can perform an operation input by operating the operation input unit 20 by touching, pushing, or moving the operation input unit 20 with a finger or the like at a position corresponding to the image displayed on the display screen of the display device 16. it can. The display device 16, the audio output device 18, the operation input unit 20, and the like are provided, for example, in a monitor device 22 that is positioned in the vehicle width direction of the dashboard of the vehicle 10, that is, the central portion in the left-right direction. The monitor device 22 can have an operation input unit (not shown) such as a switch, a dial, a joystick, and a push button. The monitor device 22 can be used also as, for example, a navigation system or an audio system.

また、図２に例示されるように、汚れ報知処理システム１００（汚れ報知装置）は、撮像部１４（１４ａ〜１４ｆ）やモニタ装置２２に加え、ＥＣＵ２４（electronic control unit）が含まれる。汚れ報知処理システム１００では、ＥＣＵ２４やモニタ装置２２は、電気通信回線としての車内ネットワーク２６を介して電気的に接続されている。車内ネットワーク２６は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ２４は、車内ネットワーク２６を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク２６を介して、操作入力部２０や各種スイッチの操作信号等や図示を省略している各種センサの検出信号等を、受け取ることができる。 Further, as illustrated in FIG. 2, the dirt notification processing system 100 (dirt notification apparatus) includes an ECU 24 (electronic control unit) in addition to the imaging unit 14 (14a to 14f) and the monitor device 22. In the dirt notification processing system 100, the ECU 24 and the monitor device 22 are electrically connected via an in-vehicle network 26 as an electric communication line. The in-vehicle network 26 is configured as a CAN (controller area network), for example. The ECU 24 can control various systems by sending a control signal through the in-vehicle network 26. Further, the ECU 24 can receive operation signals of the operation input unit 20 and various switches, detection signals of various sensors not shown, and the like via the in-vehicle network 26.

ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像等や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ２４ａ（central processing unit）や、ＲＯＭ２４ｂ（read only memory）、ＲＡＭ２４ｃ（random access memory）、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ２４ｆ（solid state drive、フラッシュメモリ）等を有している。 The ECU 24 transmits, to the monitor device 22, peripheral images and the like related to sound generated based on the captured image data acquired from the imaging unit 14. The ECU 24 includes, for example, a CPU 24a (central processing unit), a ROM 24b (read only memory), a RAM 24c (random access memory), a display control unit 24d, an audio control unit 24e, an SSD 24f (solid state drive, flash memory), and the like. ing.

ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＣＰＵ２４ａは、例えば、図３に示すような各種モジュールを備え、撮像部１４の汚れ検出処理や表示装置１６で表示される画像に関連した処理を実行する。例えば、ＣＰＵ２４ａは、撮像部１４が撮像した撮像画像データに演算処理、画像処理等を実行して、撮像部１４ごとのの撮像面の汚れの有無を検出したり、撮像画像データに補正処理や演算処理、画像処理等を実行したりして、複数の画像を繋ぎ合わせた周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ２４ａの詳細は後述する。 The CPU 24a reads a program stored (installed) in a non-volatile storage device such as the ROM 24b, and executes arithmetic processing according to the program. The ROM 24b stores each program and parameters necessary for executing the program. For example, the CPU 24 a includes various modules as illustrated in FIG. 3, and executes a stain detection process of the imaging unit 14 and a process related to an image displayed on the display device 16. For example, the CPU 24a performs arithmetic processing, image processing, and the like on the captured image data captured by the imaging unit 14 to detect the presence or absence of dirt on the imaging surface for each imaging unit 14, or to perform correction processing on the captured image data. A peripheral image (for example, a bird's-eye view image) obtained by connecting a plurality of images is generated by executing arithmetic processing, image processing, or the like. Details of the CPU 24a will be described later.

ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示される画像データの合成等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。 The RAM 24c temporarily stores various types of data used in computations by the CPU 24a. In addition, the display control unit 24 d mainly performs synthesis of image data displayed on the display device 16 among the arithmetic processing in the ECU 24. In addition, the voice control unit 24e mainly performs processing of voice data output from the voice output device 18 among the calculation processes in the ECU 24. The SSD 24f is a rewritable nonvolatile storage unit, and can store data even when the power of the ECU 24 is turned off. Note that the CPU 24a, the ROM 24b, the RAM 24c, and the like can be integrated in the same package. Further, the ECU 24 may have a configuration in which another logical operation processor such as a DSP (digital signal processor) or a logic circuit is used instead of the CPU 24a. Further, an HDD (hard disk drive) may be provided in place of the SSD 24f, and the SSD 24f and the HDD may be provided separately from the ECU 24.

本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、撮像部１４ごとの汚れ検出処理およびその結果に基づき表示装置１６に表示する画像の画像生成処理を司る。ＥＣＵ２４は、車両１０が走行中に撮像部１４が時系列で所定時間間隔を空けて撮像した複数の撮像画像データ（画像）ごとに画像処理、例えば、周知の差分検出処理を施し、画像上で不動の要素を検出する。例えば、走行中の車両１０に搭載された撮像部１４ａで撮像した画像は、時々刻々と画像内容が変化する。しかしながら、仮に、撮像面（例えばレンズ）に泥はね等の汚れが付着していた場合、その汚れ部分は、時系列で撮像された撮像画像データ（画像）上で同じ位置にと止まる。一方、汚れのない部分は、時々刻々と表示内容が変化する。したがって、所定時間（例えば、１秒等）間隔を空けた少なくとも二つの画像の差分を取ることにより、表示内容の変化がない部分（画像に写り込んでいる車体部分を除く部分）を汚れ部分として特定することができる。 In the present embodiment, the ECU 24 manages the dirt detection process for each image capturing unit 14 and the image generation process for an image displayed on the display device 16 based on the result of the cooperation of hardware and software (control program). The ECU 24 performs image processing, for example, a well-known difference detection process for each of a plurality of captured image data (images) captured by the imaging unit 14 in time series with a predetermined time interval while the vehicle 10 is traveling. Detect stationary elements. For example, the image content of the image captured by the imaging unit 14a mounted on the traveling vehicle 10 changes every moment. However, if dirt such as mud splashes adheres to the imaging surface (for example, a lens), the dirt portion stops at the same position on the captured image data (image) captured in time series. On the other hand, the display content changes from moment to moment in a clean portion. Therefore, by taking a difference between at least two images separated by a predetermined time (for example, 1 second), a portion where the display content is not changed (a portion excluding the vehicle body portion reflected in the image) is regarded as a dirty portion. Can be identified.

また、他の汚れ検出技術としては、例えば、周知の空間周波数を用いた検出が知られている。撮像部１４が撮像した画像ごとにＦＦＴ（フーリエ変換）処理を施し、周波数領域の表示に直す。この場合、撮像部１４の撮像面（例えばレンズ）が汚れていると光がぼけるので、画像に写り込んでいる物体のエッジがぼける。つまり、高域の周波数部分が減衰する（無くなる）。このような現象が生じている場合、撮像面に汚れが存在すると判定することができる。この場合、撮像部１４が撮像した一つの画像で汚れの検出が可能であり、車両１０が停車している場合や極低速で撮像された画像を用いても汚れ検出が可能になる。また、撮像部１４ｅの場合、主として車室内を撮像するので、汚れ部分と同様にシートやピラーなど、位置が変化しない物体が画像内に写り込むが、画像の周波数を解析することにより汚れ検出が可能になる。なお、汚れ検出は、これらの技術に限定されず、周知の技術が利用可能である。 As another dirt detection technique, for example, detection using a known spatial frequency is known. Each image captured by the image capturing unit 14 is subjected to FFT (Fourier transform) processing to restore the display in the frequency domain. In this case, since the light is blurred when the imaging surface (for example, a lens) of the imaging unit 14 is dirty, the edge of the object reflected in the image is blurred. That is, the high frequency part attenuates (is lost). When such a phenomenon occurs, it can be determined that there is dirt on the imaging surface. In this case, it is possible to detect dirt using one image captured by the imaging unit 14, and it is possible to detect dirt even when the vehicle 10 is stopped or using an image captured at an extremely low speed. In the case of the imaging unit 14e, since the interior of the vehicle is mainly imaged, an object that does not change its position, such as a sheet or a pillar, appears in the image in the same manner as the dirt portion. However, the dirt detection can be performed by analyzing the frequency of the image. It becomes possible. The contamination detection is not limited to these techniques, and a well-known technique can be used.

図３は、ＥＣＵ２４に含まれるＣＰＵ２４ａの構成の例示的なブロック図である。ＣＰＵ２４ａは、上述したような汚れ検出処理と汚れの通知（警報)処理を実行するための各種モジュールを備える。各種モジュールは、ＣＰＵ２４ａがＲＯＭ２４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現される。例えば、ＣＰＵ２４ａは、図３に示されるように、画像取得部２８、汚れ検出部３０、画像変換部３２、警報出力部３４等のモジュールを備える。また、警報出力部３４は、指標重畳部３４ａ、表示態様変更部３４ｂ等を含む。 FIG. 3 is an exemplary block diagram of the configuration of the CPU 24 a included in the ECU 24. The CPU 24a includes various modules for executing the dirt detection process and the dirt notification (alarm) process as described above. The various modules are realized by the CPU 24a reading a program installed and stored in a storage device such as the ROM 24b and executing it. For example, as shown in FIG. 3, the CPU 24 a includes modules such as an image acquisition unit 28, a dirt detection unit 30, an image conversion unit 32, and an alarm output unit 34. The alarm output unit 34 includes an index superimposing unit 34a, a display mode changing unit 34b, and the like.

画像取得部２８は、各撮像部１４が撮像した画像を表示制御部２４ｄを介して取得する。本実施形態の場合は、例えば、各撮像部１４は、撮像した撮像画像データに撮像部１４ごとの識別符号を添付して画像取得部２８に出力してもよいし、画像取得部２８側で取得した撮像画像データごとに出力元を識別する識別符号を添付するようにしてもよい。画像取得部２８は、取得した画像を汚れ検出部３０や画像変換部３２に提供する。なお、撮像部１４が撮像した撮像に歪み補正等の画像処理を施して表示する場合や、画像処理を施さずに表示する場合、それらの画像に他のデータを重畳表示する場合等は、その処理を表示制御部２４ｄで行い、表示装置１６で表示させるようにしてもよい。 The image acquisition unit 28 acquires an image captured by each imaging unit 14 via the display control unit 24d. In the case of this embodiment, for example, each imaging unit 14 may attach an identification code for each imaging unit 14 to the captured image data and output it to the image acquisition unit 28, or on the image acquisition unit 28 side. You may make it attach the identification code which identifies an output origin for every acquired captured image data. The image acquisition unit 28 provides the acquired image to the dirt detection unit 30 and the image conversion unit 32. In addition, when the image picked up by the image pickup unit 14 is subjected to image processing such as distortion correction and displayed, or when displayed without image processing, when other data is superimposed on the image, The processing may be performed by the display control unit 24d and displayed on the display device 16.

汚れ検出部３０は、画像取得部２８から各撮像部１４の画像を取得すると、撮像部１４ごとに汚れ検出を実行する。汚れ検出は、上述したように、撮像部１４が時系列で所定時間間隔を空けて撮像した複数の画像に、例えば、差分検出処理を施すことによって検出してもよいし、撮像部１４が撮像した一つの画像にＦＦＴ処理を施すことによって検出してもよい。なお、汚れ検出を実行するときの車両１０の車速が所定値（例えば、３０ｋｍ／ｈ）以上の場合、汚れ検出部３０は、撮像部１４ａ〜撮像部１４ｄに対しては、十分な差分画像が取得できると見なし、例えば差分検出処理を適用する。一方、車両１０の車速が所定値未満の場合、汚れ検出部３０は、撮像部１４ａ〜撮像部１４ｄに対して、十分な差分画像が取得できない場合があると見なし、ＦＦＴ処理を適用する。また、汚れ検出部３０は、撮像部１４ｅ、撮像部１４ｆについては、上述したように、車室内の物品や前走車が不動体と認識されて汚れ部分と誤認識される可能性があるため、ＦＦＴ処理を適用する。なお、汚れ検出部３０は、車速が所定値以上の場合に、ＦＦＴ処理を撮像部１４ａ〜撮像部１４ｄで撮像した画像に適用してもよい。また、差分検出処理とＦＦＴ処理の両方を適用してもよい。この場合、例えば検出精度の向上に寄与できる。 When the stain detection unit 30 acquires the image of each imaging unit 14 from the image acquisition unit 28, the stain detection unit 30 performs stain detection for each imaging unit 14. As described above, the stain detection may be detected by performing, for example, a difference detection process on a plurality of images captured by the imaging unit 14 at a predetermined time interval in time series, or by the imaging unit 14. Detection may be performed by performing FFT processing on the single image. In addition, when the vehicle speed of the vehicle 10 when executing the dirt detection is equal to or higher than a predetermined value (for example, 30 km / h), the dirt detection unit 30 has a sufficient difference image for the imaging units 14a to 14d. For example, a difference detection process is applied. On the other hand, when the vehicle speed of the vehicle 10 is less than the predetermined value, the dirt detection unit 30 considers that a sufficient difference image may not be acquired for the imaging unit 14a to the imaging unit 14d, and applies FFT processing. In addition, as described above, the dirt detection unit 30 may misrecognize an article in the vehicle interior or a preceding vehicle as a non-moving object and a misrecognized part as a dirt part with respect to the imaging unit 14e and the imaging unit 14f. , FFT processing is applied. Note that the dirt detection unit 30 may apply the FFT processing to images captured by the imaging units 14a to 14d when the vehicle speed is equal to or higher than a predetermined value. Further, both the difference detection process and the FFT process may be applied. In this case, it can contribute to improvement of detection accuracy, for example.

画像変換部３２は、画像取得部２８が取得した各撮像部１４の画像に対して、例えば、視点変換処理を施して、車両１０を中心とする俯瞰画像を生成する。図４は、汚れ報知を行う場合に表示装置１６に表示される画面３６の模式的な表示例である。通常の表示状態において、表示装置１６の画面３６には、通常画面３８が例えば画面３６の表示領域の全域を利用して表示されている。通常画面３８として、例えばナビゲーション画面やオーディオ画面である。また、通常画面３８として、撮像部１４で撮像された車両１０の周囲画像等が表示される場合がある。例えば、車両１０の走行状態に応じて、自動的に車両１０の周辺画像が表示される。例えば、後退走行時には、撮像部１４ｂで撮像された車両１０の後方画像が表示される。また、運転者の操作により前方画像や側方画像を表示することもできる。 The image conversion unit 32 performs, for example, a viewpoint conversion process on the image of each imaging unit 14 acquired by the image acquisition unit 28 to generate an overhead image centered on the vehicle 10. FIG. 4 is a schematic display example of the screen 36 displayed on the display device 16 when notification of dirt is performed. In the normal display state, the normal screen 38 is displayed on the screen 36 of the display device 16 by using, for example, the entire display area of the screen 36. The normal screen 38 is, for example, a navigation screen or an audio screen. In addition, as the normal screen 38, an image around the vehicle 10 captured by the imaging unit 14 may be displayed. For example, the surrounding image of the vehicle 10 is automatically displayed according to the traveling state of the vehicle 10. For example, when traveling backward, a rear image of the vehicle 10 captured by the imaging unit 14b is displayed. In addition, a front image and a side image can be displayed by a driver's operation.

そして、汚れ検出部３０により撮像部１４の撮像面（例えば、レンズ）の汚れが検出された場合、撮像部１４の設置位置を容易に運転者等に認識させることができる、画像変換部３２が生成した俯瞰画像４０が表示される。図４は、汚れ警報を行うための俯瞰画像４０が表示される場合であり、通常画面３８の表示領域が縮小され、俯瞰画像４０が並んで表示される例を示している。この場合、通常画面３８の表示内容を維持した状態で、撮像部１４の汚れ警報を行うことができる。別の実施形態では、通常画面３８を一旦非表示として俯瞰画像４０を画面３６の全表示領域を用いて表示するようにしてもよい。この場合、運転者の警報認識性を向上させることができる。 When the dirt detection unit 30 detects dirt on the imaging surface (for example, a lens) of the imaging unit 14, the image conversion unit 32 can easily make the driver recognize the installation position of the imaging unit 14. The generated overhead image 40 is displayed. FIG. 4 shows a case where an overhead image 40 for performing a dirt alarm is displayed, and an example in which the display area of the normal screen 38 is reduced and the overhead image 40 is displayed side by side. In this case, it is possible to perform a stain alarm on the imaging unit 14 while maintaining the display content of the normal screen 38. In another embodiment, the normal screen 38 may be temporarily hidden and the overhead image 40 may be displayed using the entire display area of the screen 36. In this case, the driver's alarm recognizability can be improved.

画像変換部３２は、前述したように、撮像部１４ａ〜撮像部１４ｄが撮像した画像にブレンド処理を施すことにより、隣接する二つの画像を繋ぎ合わせる場合に、画像間で明るさや色調の違いによる境界線が形成することを防止している。その一方で、本実施形態の場合、撮像部１４ａ〜撮像部１４ｄに対応する撮像領域４２ａ〜４２ｄを明確にするために、境界線４２ｅを表示している。したがって、隣接する画像の明るさや色調の繋がり具合を滑らかにし、違和感が生じない画像とするとともに、汚れが存在する場合には、汚れが存在する撮像領域４２ａ〜４２ｄが明確に識別できるようにしている。なお、各撮像部１４が撮像した画像には、車両１０の一部しか写っていないため、画像変換部３２が生成する俯瞰画像４０には、車両１０を俯瞰視した自車アイコン１０Ａを、例えばＲＯＭ２４ｂから読み出して表示する。 As described above, the image conversion unit 32 performs blend processing on the images captured by the image capturing unit 14a to the image capturing unit 14d, thereby connecting two adjacent images, depending on differences in brightness and color tone between the images. The boundary line is prevented from forming. On the other hand, in the case of this embodiment, the boundary line 42e is displayed in order to clarify the imaging regions 42a to 42d corresponding to the imaging units 14a to 14d. Therefore, the connection between the brightness and color tone of adjacent images is smoothed to make the image uncomfortable, and when there is dirt, the imaging regions 42a to 42d where the dirt exists can be clearly identified. Yes. In addition, since only a part of the vehicle 10 is shown in the image captured by each imaging unit 14, in the overhead image 40 generated by the image conversion unit 32, for example, the own vehicle icon 10A when the vehicle 10 is viewed overhead is displayed. The data is read from the ROM 24b and displayed.

警報出力部３４は、汚れ検出部３０により撮像部１４の撮像面（例えばレンズ）の汚れが検出された場合、汚れが検出された撮像部１４を認識（特定）可能なように画像変換部３２が生成した俯瞰画像４０上に警報を出力する。例えば、指標重畳部３４ａは、汚れ警報を行うための指標として、撮像部１４を示すカメラアイコン４４と、その撮像部１４は汚れが原因で本来の性能を発揮できないことを示す汚れマーク４６を自車アイコン１０Ａ上の汚れが検出された撮像部１４に対応する位置に重畳表示する。この場合、カメラアイコン４４と汚れマーク４６とで汚れ報知（汚れ情報）を表示している。図４の場合、車両１０の前方を撮像する撮像部１４ａが汚れている場合を例示している。また、図４の場合、汚れマーク４６の一例として、例えば、「×」マークを示しているが、汚れが検出された撮像部１４が強調できればよく、他のマークでもよいし、汚れマーク４６を省略してカメラアイコン４４を赤色表示させたり、点滅表示させたりしてもよい。同様に、後方の撮像部１４ｂや側方の撮像部１４ｃ（撮像部１４ｄ）に汚れが検出された場合には、同様なカメラアイコン４４や汚れマーク４６が自車アイコン１０Ａの対応する部分に重畳表示される。 When the dirt detection unit 30 detects dirt on the imaging surface (for example, a lens) of the imaging unit 14, the alarm output unit 34 can recognize (specify) the imaging unit 14 in which the dirt is detected. An alarm is output on the bird's-eye view image 40 generated. For example, the index superimposing unit 34a automatically uses a camera icon 44 indicating the image capturing unit 14 and a dirt mark 46 indicating that the image capturing unit 14 cannot perform its original performance due to contamination as an index for performing a dirt alarm. The image is superimposed and displayed at a position corresponding to the imaging unit 14 where the dirt on the car icon 10A is detected. In this case, a dirt notification (dirt information) is displayed by the camera icon 44 and the dirt mark 46. In the case of FIG. 4, the case where the imaging part 14a which images the front of the vehicle 10 is dirty is illustrated. In the case of FIG. 4, for example, an “x” mark is shown as an example of the dirt mark 46, but it is sufficient that the imaging unit 14 in which the dirt is detected can be emphasized, other marks may be used, and the dirt mark 46 may be used. Alternatively, the camera icon 44 may be displayed in red or blinking. Similarly, when dirt is detected in the rear imaging unit 14b or the side imaging unit 14c (imaging unit 14d), similar camera icons 44 and dirt marks 46 are superimposed on corresponding portions of the vehicle icon 10A. Is displayed.

このように、汚れが検出された撮像部１４の設置位置を視覚的に容易に認識できるように表示することにより、汚れに対する対応を適切なタイミングで迅速に行わせることができる。なお、この場合、通常画面３８に汚れが検出された撮像部１４の画像を用いた実画像が表示されていた場合、その実画像を非表示として、その実画像の精度（信頼性）が低下していることを運転者に認識させやすくしてもよい。また別の実施形態では、通常画面３８として、汚れが検出された撮像部１４の画像を用いた実画像（汚れ付き）を継続して表示させてもよい。この場合、俯瞰画像４０で出力されている警報が撮像部１４の故障ではなく、汚れに起因するものであることを容易に運転者に認識させることができる。なお、俯瞰画像４０で汚れ警報を視覚化して出力することに加え、音声等で例えば「前方撮像部が汚れています。クリーニングしてください。」等のメッセージを音声出力装置１８を用いて出力してもよい。 In this way, by displaying the installation position of the imaging unit 14 where the dirt is detected so that it can be easily visually recognized, it is possible to quickly deal with the dirt at an appropriate timing. In this case, when a real image using the image of the imaging unit 14 in which dirt is detected is displayed on the normal screen 38, the real image is not displayed and the accuracy (reliability) of the real image is reduced. It may be easy for the driver to recognize that the vehicle is present. In another embodiment, as the normal screen 38, an actual image (with dirt) using the image of the imaging unit 14 in which dirt is detected may be continuously displayed. In this case, the driver can easily recognize that the alarm output in the bird's-eye view image 40 is not a failure of the imaging unit 14 but is caused by dirt. In addition to visualizing and outputting a dirt alarm in the overhead image 40, a message such as “The front imaging unit is dirty. Please clean.” Is output using the voice output device 18 by voice or the like. May be.

図５は、汚れ報知を行う場合に表示装置１６に表示される画面３６の模式的な別の表示例である。警報出力部３４の表示態様変更部３４ｂは、汚れ検出部３０により車両１０の撮像面（例えばレンズ）の汚れが検出された場合、汚れが検出された撮像部１４を認識（特定）可能なように、汚れが検出された撮像部１４の撮像領域４２ａ〜４２ｄ（画像）の表示態様を変更する。例えば、図５に模式的に示すように、俯瞰画像４０において汚れが検出された撮像部１４の撮像領域４２ａ（例えば前方領域）をスモーク表示４８に変更する。この場合、スモーク表示４８は、汚れが検出された撮像部１４の撮像領域４２ａの全域に対して施すため、汚れが検出された撮像部１４の特定およびその認識を容易に運転者にさせることができる。また、通常画面３８に汚れが検出された撮像部１４の画像を用いた実画像が表示されていた場合、その実画像を非表示として、その実画像の精度（信頼性）が低下していることを運転者に認識させやすくしてもよい。また別の実施形態では、通常画面３８として、汚れが検出された撮像部１４の画像を用いた実画像（汚れ付き）を継続して表示させてもよい。この場合、通常画面３８もスモーク表示４８にしてもよい。その結果、俯瞰画像４０で出力されている警報が撮像部１４の故障ではなく、汚れに起因するものであることを容易に運転者に認識させることができる。 FIG. 5 is another schematic display example of the screen 36 displayed on the display device 16 when performing dirt notification. The display mode changing unit 34b of the alarm output unit 34 can recognize (specify) the imaging unit 14 in which the dirt is detected when the dirt detecting unit 30 detects the dirt on the imaging surface (for example, a lens) of the vehicle 10. In addition, the display mode of the imaging regions 42a to 42d (images) of the imaging unit 14 in which dirt is detected is changed. For example, as schematically illustrated in FIG. 5, the imaging area 42 a (for example, the front area) of the imaging unit 14 in which dirt is detected in the overhead image 40 is changed to the smoke display 48. In this case, since the smoke display 48 is applied to the entire imaging area 42a of the imaging unit 14 in which the dirt is detected, the driver can easily identify and recognize the imaging unit 14 in which the dirt is detected. it can. In addition, when a real image using the image of the imaging unit 14 from which dirt is detected is displayed on the normal screen 38, the real image is not displayed, and the accuracy (reliability) of the real image is reduced. You may make it easy for a driver to recognize. In another embodiment, as the normal screen 38, an actual image (with dirt) using the image of the imaging unit 14 in which dirt is detected may be continuously displayed. In this case, the normal screen 38 may also be a smoke display 48. As a result, it is possible to make the driver easily recognize that the alarm output in the bird's-eye view image 40 is not a failure of the imaging unit 14 but is caused by dirt.

なお、汚れが検出された撮像部１４の撮像領域の表示態様の変更は、スモーク表示４８のみならず、表示態様変更部３４ｂは、例えば、他の汚れが非検出の表示領域と輝度を異ならせてもよい。例えば、輝度を高くしたり、輝度を低くしたりしてもよい。また、表示態様変更部３４ｂは、汚れが検出された撮像部１４の撮像領域の表示色を、例えば、「赤色」や「黄色」等注意喚起しやすい色調に変化させてもよい。この場合も撮像部１４で撮像された画像はそのまま表示することができるので、撮像部１４の故障ではなく、汚れ警報であることを運転者に認識させやすくすることができる。なお、表示態様変更部３４ｂによる表示態様の変更は、汚れの程度（汚れ面積の大きさ等）に応じて、段階的に変化させてもよい。例えば、軽度の汚れの場合の表示色を「黄色」、中程度の汚れの場合の表示色を「オレンジ色」、強度の汚れの場合の表示色を「赤色」等に変化させてもよい。この場合、汚れ程度に応じた対処方法を運転者に選択させ易くなる。 Note that the display mode of the imaging area of the imaging unit 14 in which the dirt is detected is changed not only in the smoke display 48 but also in the display mode changing unit 34b, for example, by making the brightness different from the display area in which other dirt is not detected. May be. For example, the luminance may be increased or the luminance may be decreased. Further, the display mode changing unit 34b may change the display color of the imaging region of the imaging unit 14 in which the dirt is detected, for example, a color tone that is easy to call attention such as “red” or “yellow”. Also in this case, the image picked up by the image pickup unit 14 can be displayed as it is, so that the driver can easily recognize that it is not a failure of the image pickup unit 14 but a dirt alarm. Note that the display mode change by the display mode change unit 34b may be changed in stages according to the degree of contamination (such as the size of the dirty area). For example, the display color for light stains may be changed to “yellow”, the display color for medium stains may be changed to “orange”, and the display color for intense stains may be changed to “red”. In this case, it becomes easy for the driver to select a coping method according to the degree of contamination.

上述の説明では、カメラアイコン４４および汚れマーク４６を用いた警報例と、スモーク表示４８等を用いた警報例を示したが、カメラアイコン４４と汚れマーク４６の少なくとも一方とスモーク表示４８とを組み合わせた警報を行ってもよい。この場合、より認識性の高い警報を運転者に提供することができる。また、図４の例では、自車アイコン１０Ａを中心とする俯瞰画像４０上に、カメラアイコン４４および汚れマーク４６を重畳表示する例を示したが、画面３６上に自車アイコン１０Ａのみを表示し、カメラアイコン４４や汚れマーク４６を自車アイコン１０Ａ上で汚れ検出された撮像部１４に対応する部分に重畳するようにしてもよい。この場合、汚れ警報を出力するために使用する画面３６の表示領域を縮小することが可能である。その結果、通常画面３８を同時に表示する場合でも通常画面３８の縮小が抑制可能となり、通常画面３８の視認性の低下が防止できる。なお、この場合、自車アイコン１０Ａは、汚れを検出した場合のみならず、画面３６に常時表示するようにしてもよい。また、自車アイコン１０ＡをＬＥＤ等で構成するインジケータ等で表示してもよい。同様に、カメラアイコン４４や汚れマーク４６もＬＥＤ等を用いて表示可能である。この場合、汚れ警報に関するＣＰＵ２４ａの構成のうち、画像変換部３２が省略可能であり、また、警報出力部３４も汚れに対応する撮像部１４等を示すＬＥＤを点灯させる構成にすることが可能で、ＣＰＵ２４ａで実現するモジュールの簡略化に寄与できる。 In the above description, the alarm example using the camera icon 44 and the dirt mark 46 and the alarm example using the smoke display 48 are shown. However, the camera icon 44 and at least one of the dirt mark 46 and the smoke display 48 are combined. You may be alerted. In this case, a more recognizable warning can be provided to the driver. In the example of FIG. 4, an example in which the camera icon 44 and the dirt mark 46 are superimposed on the overhead image 40 centering on the own vehicle icon 10 </ b> A is shown, but only the own vehicle icon 10 </ b> A is displayed on the screen 36. The camera icon 44 and the dirt mark 46 may be superimposed on a part corresponding to the imaging unit 14 on which the dirt is detected on the own vehicle icon 10A. In this case, it is possible to reduce the display area of the screen 36 used for outputting the dirt alarm. As a result, even when the normal screen 38 is displayed simultaneously, the reduction of the normal screen 38 can be suppressed, and the visibility of the normal screen 38 can be prevented from being lowered. In this case, the own vehicle icon 10A may be displayed on the screen 36 not only when the dirt is detected, but also on the screen 36 at all times. Moreover, you may display the own vehicle icon 10A with the indicator etc. which comprise LED etc. Similarly, the camera icon 44 and the dirt mark 46 can be displayed using LEDs or the like. In this case, the image conversion unit 32 can be omitted from the configuration of the CPU 24a regarding the contamination alarm, and the alarm output unit 34 can also be configured to turn on the LED indicating the imaging unit 14 corresponding to the contamination. This can contribute to simplification of the module realized by the CPU 24a.

ところで、車両１０において、撮像部１４が撮像した画像に基づく制御は種々行われる。例えば、駐車支援を行う場合には、撮像部１４が撮像した画像に基づき、駐車目標位置やその駐車目標位置に誘導するための誘導経路の算出を行う。この場合、撮像部１４の撮像面に汚れが付着している場合、駐車目標位置や誘導経路の算出精度が低下する場合があり、駐車支援制御が中止される場合がある。このような場合、図４や図５に示すように、汚れ警報を出力することにより、制御が中止された原因が撮像部１４の撮像面の汚れであることを運転者等に認識させやすく、制御の中止に対する対応を迅速に行わせたり、制御中止に対する不安感を解消させやすくしたりすることが容易にできる。 By the way, in the vehicle 10, various controls based on the image captured by the imaging unit 14 are performed. For example, when parking assistance is performed, a parking target position and a guidance route for guiding to the parking target position are calculated based on an image captured by the imaging unit 14. In this case, when dirt is attached to the imaging surface of the imaging unit 14, the calculation accuracy of the parking target position and the guidance route may be lowered, and the parking support control may be stopped. In such a case, as shown in FIGS. 4 and 5, by outputting a dirt alarm, it is easy for a driver or the like to recognize that the cause of the control being stopped is dirt on the imaging surface of the imaging unit 14, It is possible to easily deal with the suspension of control and to easily eliminate the anxiety about the suspension of control.

また、撮像部１４ｅが撮像する画像は、前述したように、運転者や他の乗員の有無の検出や、運転者の居眠りや脇見運転等の車内状況の検出に利用可能であるが、埃や指紋等による汚れによって、それらの検出精度が低下し検出エラーとなる場合がある。この場合も、俯瞰画像４０上で汚れ警報を行うことにより、車内状況の検出エラーが撮像部１４ｅの撮像面の汚れが原因であることを容易に表示可能である。その結果、車内状況の検出精度の低下を迅速に解消することが可能になり、適切な検出精度の維持が容易にできる。また、ルームミラー１０ｅの背面側に配置される撮像部１４ｆの場合、埃や指紋に加え、フロントウインドウの汚れ等が原因になる場合がある。このような場合も同様に前走車等の検出エラーが撮像部１４ｆの撮像面の汚れが原因であることを容易に表示可能である。その結果、車両前方の検出精度の低下を迅速に解消することが可能になり、適切な検出精度の維持が容易にできる。 Further, as described above, the image captured by the imaging unit 14e can be used to detect the presence or absence of a driver or other occupants, and to detect in-vehicle conditions such as a driver's sleep or driving aside. Due to contamination due to fingerprints or the like, the detection accuracy may be reduced and a detection error may occur. Also in this case, by performing a dirt alarm on the bird's-eye view image 40, it can be easily displayed that the detection error of the in-vehicle situation is caused by the dirt on the imaging surface of the imaging unit 14e. As a result, it is possible to quickly eliminate a decrease in detection accuracy of the in-vehicle situation, and it is possible to easily maintain appropriate detection accuracy. In addition, in the case of the imaging unit 14f disposed on the back side of the room mirror 10e, the front window may be soiled in addition to dust and fingerprints. In such a case as well, it can be easily displayed that the detection error of the preceding vehicle or the like is caused by the contamination of the imaging surface of the imaging unit 14f. As a result, it is possible to quickly eliminate the decrease in detection accuracy ahead of the vehicle, and it is possible to easily maintain appropriate detection accuracy.

このように、汚れが原因で、撮像部１４の撮像した画像を用いた制御の精度が低下したり、検出エラーが出されたりする場合、例えば、画面３６の一部（通常画面３８や俯瞰画像４０）に、精度低下や検出エラーの原因が、撮像面の汚れであることを示すメッセージを併せて表示するようにしてもよい。この場合、システムエラーと撮像面の汚れの関係をより明確に運転者に認識させることができる。 As described above, when the accuracy of control using the image captured by the imaging unit 14 is reduced or a detection error is generated due to contamination, for example, a part of the screen 36 (the normal screen 38 or the overhead image). 40), a message indicating that the cause of the decrease in accuracy or detection error is contamination of the imaging surface may be displayed together. In this case, the driver can be made to recognize the relationship between the system error and the dirt on the imaging surface more clearly.

本実施形態のＣＰＵ２４ａで実行される汚れ報知処理のためのプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 The program for the dirt notification process executed by the CPU 24a of the present embodiment is a file in an installable or executable format, and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk). For example, the program may be recorded on a computer-readable recording medium.

さらに、汚れ報知処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される汚れ報知処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 Further, the dirt notification processing program may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the dirt notification processing program executed in the present embodiment may be provided or distributed via a network such as the Internet.

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments and modifications of the present invention have been described, these embodiments and modifications are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１０…車両、１０Ａ…自車アイコン、１４，１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ，１４ｆ…撮像部、１６…表示装置、２４…ＥＣＵ、２４ａ…ＣＰＵ、２８…画像取得部、３０…汚れ検出部、３２…画像変換部、３４…警報出力部、３４ａ…指標重畳部、３４ｂ…表示態様変更部、１００…汚れ報知処理システム。 DESCRIPTION OF SYMBOLS 10 ... Vehicle, 10A ... Own-vehicle icon, 14, 14a, 14b, 14c, 14d, 14e, 14f ... Imaging part, 16 ... Display apparatus, 24 ... ECU, 24a ... CPU, 28 ... Image acquisition part, 30 ... Dirt detection 32, an image conversion unit, 34, an alarm output unit, 34a, an index superimposing unit, 34b, a display mode changing unit, 100, a stain notification processing system.

Claims

An acquisition unit that acquires captured image data output from each of a plurality of imaging units mounted on the vehicle;
A detection unit for detecting dirt on the imaging surface for each imaging unit based on the captured image data;
An output unit that outputs a dirt notification capable of identifying the imaging unit in which the dirt is detected when dirt on the imaging surface is detected;
A dirt notification device comprising:

The output unit, when displaying an image based on captured image data output from the plurality of imaging units on a display device, superimposes and displays an index for identifying the imaging unit in which dirt is detected on the image. The dirt notification device according to 1.

When the output unit displays an image based on the captured image data output from the plurality of imaging units on a display device, the display mode of the image of the imaging unit in which contamination is detected and the imaging in which contamination is not detected The contamination notification device according to claim 1 or 2, wherein a display mode of the image of a part is different.