JP2023146714A - 画像監視装置 - Google Patents

Abstract

【課題】車載カメラのレンズに汚れが付着していることの誤検出を抑制することができる画像監視装置を提供する。【解決手段】本開示に係る画像監視装置は、取得部と、通知部とを備える。前記取得部は、撮像部が撮像した車両の外部の画像を取得する。前記通知部は、前記画像において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する。前記通知部は、前記画像に含まれる空の領域である空領域の前記平坦領域の割合が閾値以上であり、前記画像に含まれる地面の領域である地面領域の前記平坦領域の割合が閾値以上であり、前記空領域の前記平坦領域の輝度値の平均と前記地面領域の前記平坦領域の輝度値の平均との差が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知しない。【選択図】図４

Description

本開示は、画像監視装置に関する。

従来、車両は、車載カメラが撮像した画像に基づいて把握した車両の周囲の状況に応じた各種処理を実行する。車載カメラのレンズが汚れている場合、車両は、車両の周囲の状況を把握することができない。そこで、車載カメラが撮像した画像に基づいて、車載カメラのレンズに汚れが付着しているか否かを判定する技術が知られている。このような技術では、車載カメラが撮像した画像に含まれる輝度値が平坦なブロックの数、つまり輝度値が平坦な領域の広さに基づいて、レンズに汚れが付着しているか否かを判定する。

特許第６７３１６４５号公報

しかしながら、車載カメラが撮像した画像には、レンズに汚れが付着していなくても、輝度値が平坦な領域が形成される場合がある。この場合、画像監視装置は、レンズに汚れが付着していると誤検出してしまうことがある。

本開示は、車載カメラのレンズに汚れが付着していることの誤検出を抑制することができる画像監視装置を提供する。

本開示に係る画像監視装置は、取得部と、通知部とを備える。前記取得部は、撮像部が撮像した車両の外部の画像を取得する。前記通知部は、前記画像において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する。前記通知部は、前記画像に含まれる空の領域である空領域の前記平坦領域の割合が閾値以上であり、前記画像に含まれる地面の領域である地面領域の前記平坦領域の割合が閾値以上であり、前記空領域の前記平坦領域の輝度値の平均と前記地面領域の前記平坦領域の輝度値の平均との差が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知しない。

本開示に係る画像監視装置によれば、車載カメラのレンズに汚れが付着していることの誤検出を抑制ことができる。

図１は、第１の実施形態に係る車載装置を備える車両の一例を示す図である。 図２は、第１の実施形態に係る車両の運転席近傍の構成の一例を示す図である。 図３は、第１の実施形態に係る車載カメラのハードウェア構成の一例を示す図である。 図４は、第１の実施形態に係る画像処理部の機能構成の一例を示すブロック図である。 図５は、昼間撮像画像の一例を示す図である。 図６は、夜間撮像画像の一例を示す図である。 図７は、光源夜間撮像画像の一例を示す図である。 図８は、第１の実施形態に係る画像処理部が実行する空領域解析処理の一例を示すフローチャートである。 図９は、第１の実施形態に係る画像処理部が実行する地面領域解析処理の一例を示すフローチャートである。 図１０は、第１の実施形態に係る画像処理部が実行する汚れ通知処理の一例を示すフローチャートである。

以下、図面を参照しながら、本開示に係る画像監視装置の実施形態について説明する。

（第１の実施形態）
図１は、第１の実施形態に係る車載装置１００を備える車両１の一例を示す図である。図１に示すように、車両１は、車体１２と、車体１２に所定方向に沿って配置された２対の車輪１３とを備える。２対の車輪１３は、１対のフロントタイヤ１３ｆ及び１対のリアタイヤ１３ｒを備える。

なお、図１に示す車両１は４つの車輪１３を備えるが、車輪１３の数はこれに限定されるものではない。例えば、車両１は、２輪車であっても良い。

車体１２は、車輪１３に結合され、車輪１３によって移動可能である。この場合、２対の車輪１３が配置される所定方向が車両１の走行方向となる。車両１は、不図示のギヤの切り替え等により前進または後退することができる。また、車両１は、操舵により右左折することもできる。

また、車体１２は、フロントタイヤ１３ｆ側の端部である前端部Ｆと、リアタイヤ１３ｒ側の端部である後端部Ｒを有する。車体１２は上面視で略矩形をしており、略矩形状の４つの角部を端部と呼ぶ場合もある。また、図１では図示を省略するが、車両１は、表示装置、スピーカ、および操作部を備える。

車体１２の前後端部Ｆ，Ｒであって、車体１２の下端付近には１対のバンパー１４が設けられている。１対のバンパー１４のうち、フロントバンパー１４ｆは車体１２の下端部付近の前面全体と側面の一部を覆う。１対のバンパー１４のうち、リアバンパー１４ｒは車体１２の下端部付近の後面全体と側面の一部を覆う。

車体１２の所定の端部には、超音波等の音波の送受波を行う送受波部１５ｆ，１５ｒが配置される。例えば、フロントバンパー１４ｆには１つ以上の送受波部１５ｆが配置され、リアバンパー１４ｒには１つ以上の送受波部１５ｒが配置される。以下、送受波部１５ｆ，１５ｒを特に限定しない場合には、単に送受波部１５という。また、送受波部１５の数および位置は、図１に示す例に限定されるものではない。例えば、車両１は、左右の側方に送受波部１５を備えても良い。

本実施形態においては、超音波を使用したソナーを送受波部１５の一例とするが、送受波部１５は、電磁波を送受波するレーダーであっても良い。あるいは、車両１は、ソナーとレーダーの両方を備えても良い。また、送受波部１５を単にセンサと称しても良い。

送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物を検出する。また、送受波部１５は、音波または電磁波の送受結果に基づいて、車両１の周囲の障害物と車両１との距離を計測する。

また、車両１は、車両１の前方を撮影する第１の車載カメラ１６ａ、車両１の後方を撮影する第２の車載カメラ１６ｂ、車両１の左側方を撮影する第３の車載カメラ１６ｃ、および車両１の右側方を撮影する第４の車載カメラを備える。第４の車載カメラは図示を省略する。

以下、第１の車載カメラ１６ａ、第２の車載カメラ１６ｂ、第３の車載カメラ１６ｃ、および第４の車載カメラを特に区別しない場合には単に車載カメラ１６という。車載カメラ１６の位置及び数は図１に示す例に限定されるものではない。例えば、車両１は、また、第１の車載カメラ１６ａおよび第２の車載カメラ１６ｂの２台のみを備えても良い。あるいは、車両１は、上述の例の他に、さらに他の車載カメラを有しても良い。

車載カメラ１６は、車両１の周囲の映像を撮影可能であり、例えば、カラー画像を撮影するカメラである。なお、車載カメラ１６が撮影する画像データは、動画でも良いし、静止画でも良い。また、車載カメラ１６は、車両１に内蔵されたカメラであっても良いし、車両１に後付けされたドライブレコーダーのカメラ等であっても良い。

また、車両１には、車載装置１００が搭載される。車載装置１００は、車両１に搭載可能な情報処理装置であり、例えば、車両１の内部に設けられたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、もしくはＯＢＵ（Ｏｎ Ｂｏａｒｄ Ｕｎｉｔ）である。あるいは、車載装置１００は、車両１のダッシュボード付近に設置された外付けの装置であっても良い。なお、車載装置１００はカーナビゲーション装置等を兼ねても良い。

次に、本実施形態の車両１の運転席近傍の構成について説明する。図２は、第１の実施形態に係る車両１の運転席１３０ａ近傍の構成の一例を示す図である。

図２に示すように、車両１は運転席１３０ａ、および助手席１３０ｂを備える。また、運転席１３０ａの前方にはフロントガラス１８０、ダッシュボード１９０、ステアリングホイール１４０、表示装置１２０、および操作ボタン１４１が設けられる。

表示装置１２０は、車両１のダッシュボード１９０に設けられたディスプレイである。表示装置１２０は、一例として、図２に示すようにダッシュボード１９０の中央に位置する。表示装置１２０は例えば液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。また、表示装置１２０は、タッチパネルを兼ねても良い。表示装置１２０は、本実施形態における表示部の一例である。

また、ステアリングホイール１４０は、運転席１３０ａの正面に設けられ、ドライバ（運転者）によって操作可能である。ステアリングホイール１４０の回転角度、つまり操舵角は、操舵輪であるフロントタイヤ１３ｆの向きの変化と電気的または機械的に連動する。なお、操舵輪はリアタイヤ１３ｒでも良いし、フロントタイヤ１３ｆとリアタイヤ１３ｒの両方が操舵輪であっても良い。

操作ボタン１４１は、ユーザによる操作を受け付け可能なボタンである。なお、本実施形態においてユーザは、例えば車両１の運転者である。なお、操作ボタン１４１の位置は図２に示す例に限定されるものでなく、例えばステアリングホイール１４０に設けられても良い。操作ボタン１４１は、本実施形態における操作部の一例である。また、表示装置１２０がタッチパネルを兼ねる場合は、表示装置１２０が操作部の一例であっても良い。また、不図示のタブレット端末、スマートフォン、リモートコントローラ、または電子キー等の、車両１の外部から車両１に対して信号を送信可能な操作端末を、操作部の一例としても良い。

次に、本実施形態の車載カメラ１６のハードウェア構成について説明する。

図３は、第１の実施形態に係る車載カメラ１６のハードウェア構成の一例を示す図である。図３に示すように、車載カメラ１６は、レンズ１６１、撮像素子１６２、洗浄部１６３、映像信号処理部１６４、露光制御部１６５、画像処理部１６６、及び画像メモリ１６７を備える。

レンズ１６１は、透明の材料により形成される。そして、レンズ１６１は、入射した光を発散又は集束する。

撮像素子１６２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサである。撮像素子１６２は、レンズ１６１を通過した光を受光し、映像信号に変換する。

洗浄部１６３は、水などをレンズ１６１に噴射することにより、レンズ１６１に付着した汚れを洗浄する装置である。

映像信号処理部１６４は、撮像素子１６２から出力された映像信号に基づいて、画像を生成する。露光制御部１６５は、映像信号処理部１６４により生成される画像の明るさを制御する。すなわち、映像信号処理部１６４は、露光制御部１６５により制御された明るさの画像を生成する。例えば、露光制御部１６５は、画像が暗い場合に、画像の明るさを上げる。一方、露光制御部１６５は、画像が明るい場合に、画像の明るさを下げる。

画像処理部１６６は、映像信号処理部１６４により生成された画像に対して各種画像処理を実行する。画像メモリ１６７は、画像処理部１６６の主記憶装置である。画像メモリ１６７は、画像処理部１６６による画像処理のワーキングメモリとして使用される。

画像処理部１６６は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、画像処理を制御する。例えば、画像処理部１６６は、プロセッサ１６６Ａ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６６Ｂ、メモリ１６６Ｃ、及びＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１６６Ｄを備える。

プロセッサ１６６Ａは、例えば、コンピュータプログラムを実行可能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。なお、プロセッサ１６６Ａは、ＣＰＵに限定されない。例えば、プロセッサ１６６Ａは、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であってもよいし、他のプロセッサであってもよい。

ＲＡＭ１６６Ｂは、キャッシュまたはバッファなどとして使用される揮発性メモリである。メモリ１６６Ｃは、例えば、コンピュータプログラムを含む各種情報を記憶する不揮発性メモリである。プロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。

Ｉ／Ｏインタフェース１６６Ｄは、画像処理部１６６の入出力を制御する。例えば、Ｉ／Ｏインタフェース１６６Ｄは、映像信号処理部１６４、画像メモリ１６７、及び車載装置１００との通信を実行する。

なお、洗浄部１６３は、車載カメラ１６と一体に形成されずに、独立した装置であってもよい。また、画像処理部１６６及び画像メモリ１６７は、車載カメラ１６に限らず、車載装置１００に設けられていても良いし、独立した装置であってもよいし、他の装置に組み込まれていても良い。

次に、第１の実施形態に係る画像処理部１６６が有する機能について説明する。

図４は、第１の実施形態に係る画像処理部１６６の機能構成の一例を示すブロック図である。画像処理部１６６のプロセッサ１６６Ａは、特定のコンピュータプログラムをメモリ１６６Ｃから読み出してＲＡＭ１６６Ｂに展開することによって、各種機能を実現する。更に詳しくは、画像処理部１６６は、画像取得部１６６１、領域検出部１６６２、空領域解析部１６６３、地面領域解析部１６６４、汚れ検出部１６６５、汚れ通知部１６６６、及び洗浄制御部１６６７を備える。

画像取得部１６６１は、車載カメラ１６が撮像した車両１の外部の画像を取得する。画像取得部１６６１は、取得部の一例である。更に詳しくは、画像取得部１６６１は、映像信号処理部１６４から画像を取得する。例えば、画像取得部１６６１は、昼間に撮像された昼間撮像画像Ｇ１ａを取得する。また、画像取得部１６６１は、夜間に撮像された夜間撮像画像Ｇ１ｂを取得する。また、画像取得部１６６１は、月や街灯などの光源Ｇ１２４（図７参照）を含む光源夜間撮像画像Ｇ１ｃを取得する。

図５は、昼間撮像画像Ｇ１ａの一例を示す図である。昼間撮像画像Ｇ１ａは、昼間に撮像された画像である。図５に示すように、昼間撮像画像Ｇ１ａは、非撮像領域Ｇ１１ａと、撮像領域Ｇ１２ａとを有する。非撮像領域Ｇ１１ａは、撮像素子１６２の検知領域ではあるが、車載カメラ１６の筐体などにより車両１の外部が撮像されない領域である。撮像領域Ｇ１２ａは、レンズ１６１を介して入射した光により、車両１の外部を撮像した領域である。

撮像領域Ｇ１２ａは、水平線Ｇ１２１ａと、空領域Ｇ１２２ａと、地面領域Ｇ１２３ａとを有する。水平線Ｇ１２１ａは、空と地面との境界を示す線である。空領域Ｇ１２２ａは、昼間撮像画像Ｇ１ａにおける空の領域である。空領域Ｇ１２２ａは、明るい昼間に撮像されているため、輝度値は高い。また、図５に示す空領域Ｇ１２２ａは、物体が無い。そのため、空領域Ｇ１２２ａは、各画素の輝度値の差が小さく、輝度値のばらつきが平坦な領域である。

地面領域Ｇ１２３ａは、昼間撮像画像Ｇ１ａにおける地面の領域である。ここで、地面は、路面であってもよいし、コンクリート舗装であってもよいし、雪原であってもよいし、砂原であってもよいし、草原であってもよいし、他の面であってもよい。地面領域Ｇ１２３ａは、路面の場合、つまりアスファルトの場合、輝度値は低い。また、図５に示す地面領域Ｇ１２３ａは、物体が無い。そのため、地面領域Ｇ１２３ａは、各画素の輝度値の差が小さく、輝度値のばらつきが平坦な領域である。

図６は、夜間撮像画像Ｇ１ｂの一例を示す図である。夜間撮像画像Ｇ１ｂは、夜間に撮像された画像である。図６に示すように、夜間撮像画像Ｇ１ｂは、非撮像領域Ｇ１１ｂと、撮像領域Ｇ１２ｂとを有する。撮像領域Ｇ１２ｂは、水平線Ｇ１２１ｂと、空領域Ｇ１２２ｂと、地面領域Ｇ１２３ｂとを有する。

空領域Ｇ１２２ｂは、暗い夜間に撮像されているため、輝度値は低い。また、図６に示す空領域Ｇ１２２ｂは、物体が無い。そのため、空領域Ｇ１２２ｂは、各画素の輝度値の差が小さく、輝度値のばらつきが平坦な領域である。地面領域Ｇ１２３ｂは、雪原の場合、月明かりや街灯等の光を反射するため、輝度値は高い。また、図６に示す地面領域Ｇ１２３ｂは、物体が無い。そのため、地面領域Ｇ１２３ｂは、各画素の輝度値の差が小さく、輝度値のばらつきが平坦な領域である。

図７は、光源夜間撮像画像Ｇ１ｃの一例を示す図である。光源夜間撮像画像Ｇ１ｃは、夜間に撮像され、月や街灯などの光源Ｇ１２４を空領域Ｇ１２２ｃに有する画像である。図７に示すように、光源夜間撮像画像Ｇ１ｃは、非撮像領域Ｇ１１ｃと、撮像領域Ｇ１２ｃとを有する。撮像領域Ｇ１２ｃは、水平線Ｇ１２１ｃと、空領域Ｇ１２２ｃと、地面領域Ｇ１２３ｃとを有する。

空領域Ｇ１２２ｃは、暗い夜間に撮像されているため、輝度値は低い。また、図７に示す空領域Ｇ１２２ｃは、光源Ｇ１２４があるため、光源Ｇ１２４の周囲は輝度値が高い。すなわち、図７に示す空領域Ｇ１２２ｃは、光源Ｇ１２４とその周囲を除いて、各画素の輝度値の差が小さく、輝度値のばらつきが平坦な領域である。一方、光源Ｇ１２４とその周囲以外の空領域Ｇ１２２ｃは、輝度値のばらつきが小さい、つまり輝度値の平坦な領域である。また、図７に示す地面領域Ｇ１２３ｃは、物体が無い。そのため、地面領域Ｇ１２３ｃは、各画素の輝度値の差が小さく、輝度値のばらつきが平坦な領域である。

なお、昼間撮像画像Ｇ１ａと、夜間撮像画像Ｇ１ｂと、光源夜間撮像画像Ｇ１ｃとを区別しない場合には、撮像画像Ｇ１と呼称する。昼間撮像画像Ｇ１ａの水平線Ｇ１２１ａと、夜間撮像画像Ｇ１ｂの水平線Ｇ１２１ｂと、光源夜間撮像画像Ｇ１ｃの水平線Ｇ１２１ｃとを区別しない場合には、水平線Ｇ１２１と呼称する。昼間撮像画像Ｇ１ａの空領域Ｇ１２２ａと、夜間撮像画像Ｇ１ｂの空領域Ｇ１２２ｂと、光源夜間撮像画像Ｇ１ｃの空領域Ｇ１２２ｃとを区別しない場合には、空領域Ｇ１２２と呼称する。昼間撮像画像Ｇ１ａの地面領域Ｇ１２３ａと、夜間撮像画像Ｇ１ｂの地面領域Ｇ１２３ｂと、光源夜間撮像画像Ｇ１ｃの地面領域Ｇ１２３ｃとを区別しない場合には、地面領域Ｇ１２３と呼称する。

領域検出部１６６２は、画像取得部１６６１により取得された撮像画像Ｇ１から各種領域を検出する。すなわち、領域検出部１６６２は、画像取得部１６６１により取得された撮像画像Ｇ１から空領域Ｇ１２２と、地面領域Ｇ１２３とを検出する。

更に詳しくは、領域検出部１６６２は、撮像画像Ｇ１から水平線Ｇ１２１を検出する。そして、領域検出部１６６２は、車載カメラ１６が撮像した撮像画像Ｇ１に含まれる水平線Ｇ１２１に基づいて、空領域Ｇ１２２と地面領域Ｇ１２３とを検出する。領域検出部１６６２は、検出部の一例である。領域検出部１６６２は、撮像画像Ｇ１の水平線Ｇ１２１よりも上側を空領域Ｇ１２２として検出する。また、領域検出部１６６２は、撮像画像Ｇ１の水平線Ｇ１２１よりも下側を地面領域Ｇ１２３として検出する。

ここで、水平線Ｇ１２１は、車載カメラ１６の水平方向に対する角度に対応した位置に形成される。例えば、水平線Ｇ１２１は、車載カメラ１６が水平方向よりも上向きの場合には、撮像画像Ｇ１の中心よりも下側に配置される。一方、水平線Ｇ１２１は、車載カメラ１６が水平方向よりも下向きの場合には、撮像画像Ｇ１の中心よりも上側に配置される。そこで、領域検出部１６６２は、水平方向に対する車載カメラ１６の角度に基づいて、水平線Ｇ１２１を検出する。

車載カメラ１６の設置条件を変えることで、水平線Ｇ１２１が撮像される位置を予め定めるようにしてもよい。同様に、車載カメラ１６の設置条件を変えることで、空領域Ｇ１２２と地面領域Ｇ１２３が撮像される位置を予め定めるようにしてもよい。即ち、領域検出部１６６２によって、水平線Ｇ１２１と空領域Ｇ１２２および地面領域Ｇ１２３を検出することは必須ではない。

空領域解析部１６６３は、空領域Ｇ１２２を解析する。更に詳しくは、空領域解析部１６６３は、領域検出部１６６２により空領域Ｇ１２２が検出された場合に、図５、図６、及び図７に示す点線で区切られたブロックごとに解析する。

空領域解析部１６６３は、空領域Ｇ１２２に含まれるブロック数を計数する。また、空領域解析部１６６３は、図７に示す光源夜間撮像画像Ｇ１ｃなどのように、月や街灯などの光源Ｇ１２４を除外して、ブロック数を計数する。すなわち、空領域解析部１６６３は、夜間撮像画像Ｇ１ｂの場合に、ブロックの輝度値が第１閾値未満であることを条件に、計数する。ここで、ブロック数は、後述する処理に使用する。そして、月や街灯などの光源Ｇ１２４は、汚れでは無いが、解析の対象にすると誤差が生じるため除外する。なお、空領域解析部１６６３は、夜間撮像画像Ｇ１ｂであるか否かを、時刻により判定してもよいし、車両１の外部の明るさを検知するセンサの検知結果により判定してもよいし、他の方法により判定してもよい。

空領域解析部１６６３は、空領域Ｇ１２２において輝度値が平坦なブロックである平坦ブロックの数を計数する。空領域Ｇ１２２の平坦ブロックとは、撮像画像Ｇ１の空領域Ｇ１２２を複数のブロックに分割した場合に、ブロック内において各画素の輝度値の差が第２閾値未満のブロックのことである。言い換えると、空領域Ｇ１２２の平坦ブロックとは、ブロック内の最大輝度値と最小輝度値との差が、第２閾値未満のブロックのことである。すなわち、空領域解析部１６６３は、領域検出部１６６２により空領域Ｇ１２２が検出された場合に、図５、図６、及び図７に示す点線で区切られたブロックごとに、空領域Ｇ１２２の平坦ブロックであるか否かを判定する。そして、空領域解析部１６６３は、空領域Ｇ１２２の平坦ブロックの数を計数する。

また、空領域解析部１６６３は、空領域Ｇ１２２の平坦ブロック率を算出する。すなわち、空領域解析部１６６３は、空領域Ｇ１２２に含まれるブロックのうち、平坦ブロックの割合を算出する。

また、空領域解析部１６６３は、ブロックごとにブロック内の各画素の輝度値の平均である平均輝度値を算出する。

さらに、空領域解析部１６６３は、空領域Ｇ１２２の各ブロックの輝度値の平均を算出する。すなわち、空領域解析部１６６３は、空領域Ｇ１２２の各ブロックの平均輝度値の合計値を、空領域Ｇ１２２のブロック数で除算することにより、空領域Ｇ１２２のブロックの輝度値の平均を算出する。なお、空領域Ｇ１２２のブロックの輝度値の平均は、各ブロックの平均輝度値の平均に限らず、各ブロックの最大輝度値の平均であってもよいし、各ブロックの最小輝度値の平均であってもよいし、他の輝度値の平均であってもよい。

地面領域解析部１６６４は、地面領域Ｇ１２３を解析する。更に詳しくは、地面領域解析部１６６４は、領域検出部１６６２により地面領域Ｇ１２３が検出された場合に、図５、図６、及び図７に示す点線で区切られたブロックごとに解析する。

地面領域解析部１６６４は、地面領域Ｇ１２３において輝度値が平坦なブロックである平坦ブロックの数を計数する。地面領域Ｇ１２３の平坦ブロックとは、撮像画像Ｇ１の地面領域Ｇ１２３を複数のブロックに分割した場合に、ブロック内において各画素の輝度値の差が第３閾値未満のブロックのことである。言い換えると、地面領域Ｇ１２３の平坦ブロックとは、ブロック内の最大輝度値と最小輝度値との差が、第３閾値未満のブロックのことである。地面領域解析部１６６４は、領域検出部１６６２により空領域Ｇ１２２が検出された場合に、ブロックごとに、地面領域Ｇ１２３の平坦ブロックであるか否かを判定する。そして、地面領域解析部１６６４は、地面領域Ｇ１２３の平坦ブロックの数を計数する。

また、地面領域解析部１６６４は、地面領域Ｇ１２３の平坦ブロック率を算出する。すなわち、地面領域解析部１６６４は、地面領域Ｇ１２３に含まれるブロックのうち、地面領域Ｇ１２３の平坦ブロックの割合を算出する。

また、地面領域解析部１６６４は、ブロックごとにブロック内の各画素の輝度値の平均である平均輝度値を算出する。

さらに、地面領域解析部１６６４は、地面領域Ｇ１２３の各ブロックの輝度値の平均を算出する。すなわち、地面領域解析部１６６４は、地面領域Ｇ１２３の各ブロックの平均輝度値の合計値を、地面領域Ｇ１２３のブロック数で除算することにより、地面領域Ｇ１２３のブロックの輝度値の平均を算出する。なお、地面領域Ｇ１２３のブロックの輝度値の平均は、各ブロックの平均輝度値の平均に限らず、各ブロックの最大輝度値の平均であってもよいし、各ブロックの最小輝度値の平均であってもよいし、他の輝度値の平均であってもよい。

汚れ検出部１６６５は、車載カメラ１６が撮像した撮像画像Ｇ１に基づいて、車載カメラ１６に付着した汚れを検出する。

ここで、車載カメラ１６のレンズ１６１に泥などの汚れが付着した場合、撮像素子１６２は、レンズ１６１に付着した濃度の濃い汚れにより可視光を受光できなくなる。そのため、汚れが付着した部分に対応する画像は、輝度値が低くなる。すなわち、汚れが付着した部分に対応する画像は、各画素の輝度値の差が小さい領域である平坦領域になる。そこで、汚れ検出部１６６５は、撮像画像Ｇ１に含まれる平坦領域の割合に基づいて、汚れが付着しているか否かを判定する。

更に詳しくは、図５、図６、及び図７に示すように、空領域Ｇ１２２及び地面領域Ｇ１２３は、各画素の輝度値の差が小さい平均領域となる。そこで、汚れ検出部１６６５は、空領域解析部１６６３により算出された空領域Ｇ１２２の平坦ブロック率が第４閾値以上であるか否かを判定する。また、汚れ検出部１６６５は、地面領域解析部１６６４により算出された地面領域Ｇ１２３の平坦ブロック率が第５閾値以上であるか否かを判定する。

また、図５に示すように、晴天の空領域Ｇ１２２とアスファルトの地面領域Ｇ１２３との場合、空領域Ｇ１２２の輝度値と地面領域Ｇ１２３の輝度値との差は、大きくなる。または、図６、及び図７に示すように、夜空の空領域Ｇ１２２と雪原の地面領域Ｇ１２３との場合、空領域Ｇ１２２の輝度値と地面領域Ｇ１２３の輝度値との差は、大きくなる。そこで、汚れ検出部１６６５は、空領域Ｇ１２２の平均輝度値と、地面領域Ｇ１２３の平均輝度値とのが第６閾値以上の場合に、汚れが付着していないと判定する。

ここで、車両１のレンズ１６１に濃度が濃く、且つ面積が大きな汚れが付着する場合、撮像画像Ｇ１は、汚れにより、大きな平坦領域が大きく形成される。そこで、汚れ検出部１６６５は、所定の条件下で、撮像画像Ｇ１において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していると判定する。具体的には、汚れ検出部１６６５は、空領域Ｇ１２２の平坦ブロック率が第４閾値未満、又は、地面領域Ｇ１２３の平坦ブロック率が第５閾値未満、又は、空領域Ｇ１２２の平均輝度値と地面領域Ｇ１２３の平均輝度値との差が第６閾値未満の場合に、空領域Ｇ１２２と地面領域Ｇ１２３とを合わせた領域の平坦ブロック率が第７閾値以上であれば、レンズ１６１に汚れが付着していると判定する。

汚れ通知部１６６６は、車載カメラ１６が撮像した撮像画像Ｇ１において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。汚れ通知部１６６６は、通知部の一例である。すなわち、汚れ通知部１６６６は、汚れ検出部１６６５により車載カメラ１６のレンズ１６１に汚れが付着していると判定された場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。

例えば、汚れ通知部１６６６は、表示装置１２０などに車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。なお、汚れ通知部１６６６は、表示装置１２０に限らず、音声により通知してもよいし、ＬＥＤなどを発光させることにより通知してもよいし、他の方法により通知してもよい。

撮像画像Ｇ１において各画素の輝度値の差が小さい平坦領域の割合が閾値以上の場合であっても、車載カメラ１６のレンズ１６１は、汚れが付着していない場合がある。このような場合に、汚れ通知部１６６６は、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

更に詳しくは、汚れ通知部１６６６は、撮像画像Ｇ１に含まれる空の領域である空領域Ｇ１２２の平坦領域の割合が閾値以上であり、撮像画像Ｇ１に含まれる地面の領域である地面領域Ｇ１２３の平坦領域の割合が閾値以上であり、空領域Ｇ１２２の平坦領域の輝度値の平均と地面領域Ｇ１２３の平坦領域の輝度値の平均との差が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。言い換えると、汚れ通知部１６６６は、空領域Ｇ１２２の平坦ブロック率が第４閾値以上であり、地面領域Ｇ１２３の平坦ブロック率が第５閾値以上であり、空領域Ｇ１２２の平均輝度値と地面領域Ｇ１２３の平均輝度値との差が第６閾値以上である場合に、レンズ１６１に汚れが付着していることを通知しない。

また、汚れ通知部１６６６は、空領域Ｇ１２２の平坦領域の割合が閾値未満、又は地面領域Ｇ１２３の平坦領域の割合が閾値未満であり、且つ、空領域Ｇ１２２と地面領域Ｇ１２３とを合わせた領域において平坦領域の割合が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。言い換えると、汚れ通知部１６６６は、空領域Ｇ１２２の平坦ブロック率が第４閾値未満、又は地面領域Ｇ１２３の平坦ブロック率が第５閾値未満であり、空領域Ｇ１２２と地面領域Ｇ１２３とを合わせた領域において平坦ブロック率が第７閾値以上の場合に、レンズ１６１に汚れが付着していることを通知する。

また、汚れ通知部１６６６は、空領域Ｇ１２２の平坦領域の割合が閾値未満、又は地面領域Ｇ１２３の平坦領域の割合が閾値未満であり、且つ、空領域Ｇ１２２と地面領域Ｇ１２３とを合わせた領域において輝度値の平坦領域の割合が閾値未満の場合に、レンズ１６１に汚れが付着していることを通知しない。言い換えると、汚れ通知部１６６６は、空領域Ｇ１２２の平坦ブロック率が第４閾値未満、又は地面領域Ｇ１２３の平坦ブロック率が第５閾値未満であり、空領域Ｇ１２２と地面領域Ｇ１２３とを合わせた領域において平坦ブロック率が第７閾値未満の場合に、レンズ１６１に汚れが付着していることを通知しない。

また、汚れ通知部１６６６は、輝度値が閾値以上の領域を除外した空領域Ｇ１２２の平坦領域の割合が閾値以上であり、地面領域Ｇ１２３の平坦領域の割合が閾値以上であり、空領域Ｇ１２２の平坦領域の輝度値の平均と地面領域Ｇ１２３の平坦領域の輝度値の平均との差が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。言い換えると、汚れ通知部１６６６は、月や街灯などの光源Ｇ１２４の領域を除外した空領域Ｇ１２２の平坦ブロック率が第４閾値以上であり、地面領域Ｇ１２３の平坦ブロック率が第５閾値以上であり、空領域Ｇ１２２の平均輝度値と地面領域Ｇ１２３の平均輝度値との差が第６閾値以上である場合に、レンズ１６１に汚れが付着していることを通知しない。

洗浄制御部１６６７は、洗浄部１６３を制御して車載カメラ１６のレンズ１６１を洗浄する。例えば、汚れ通知部１６６６は、汚れが付着していることが汚れ検出部１６６５により検出された場合に、レンズ１６１に汚れが付着していることを表示装置１２０に表示させる。これに伴い、運転者等の操作者は、操作ボタン１４１や表示装置１２０が兼ねるタッチパネルを使用して、洗浄部１６３に洗浄させる操作を入力する。そして、洗浄制御部１６６７は、洗浄部１６３に洗浄させる操作を受け付けた場合に、洗浄部１６３にレンズ１６１を洗浄させる。

次に、画像処理部１６６が実行する空領域解析処理の流れについて説明する。

図８は、第１の実施形態に係る画像処理部１６６が実行する空領域解析処理の一例を示すフローチャートである。画像処理部１６６は、空領域解析処理において、空領域Ｇ１２２のブロックごとに解析する。また、画像処理部１６６は、１秒などの一定期間が経過する毎に空領域解析処理を実行する。

空領域解析部１６６３は、空領域Ｇ１２２の解析に使用する変数を初期化する（ステップＳ１１）。

空領域解析部１６６３は、空領域Ｇ１２２の処理対象のブロックについて輝度値の差を算出する（ステップＳ１２）。言い換えると、空領域解析部１６６３は、処理対象のブロック内の最大輝度値から最小輝度値を減算する。

空領域解析部１６６３は、光源夜間撮像画像Ｇ１ｃの場合に、空領域Ｇ１２２の処理対象のブロックについて輝度値が第１閾値未満であるか否かを判定する（ステップＳ１３）。ここで、輝度値は、ブロック内の平均値であってもよいし、ブロック内の最大値であってもよいし、ブロック内の最小値であってもよいし、ブロック内の他の値であってもよい。言い換えると、空領域解析部１６６３は、月や街灯などの光源Ｇ１２４を含むブロックであるか否かを判定する。また、画像処理部１６６は、光源夜間撮像画像Ｇ１ｃの場合に、ステップＳ１３を実行する。

輝度値が第１閾値以上の場合に（ステップＳ１３；Ｎｏ）、空領域解析部１６６３は、ステップＳ１２に移行して別のブロックに対して処理を実行する。

輝度値が第１閾値未満の場合に（ステップＳ１３；Ｙｅｓ）、空領域解析部１６６３は、空領域Ｇ１２２のブロックの数を示す空ブロック数に１を加算する（ステップＳ１４）。

空領域解析部１６６３は、処理対象のブロック内の最大輝度値から最小輝度値を減算した値が第２閾値未満であるか否かを判定する（ステップＳ１５）。すなわち、空領域解析部１６６３は、処理対象のブロックが平坦ブロックであるか否かを判定する。

最大輝度値から最小輝度値を減算した値が第２閾値以上の場合に（ステップＳ１５；Ｎｏ）、空領域解析部１６６３は、ステップＳ１２に移行して別のブロックに対して処理を実行する。

最大輝度値から最小輝度値を減算した値が第２閾値未満の場合に（ステップＳ１５；Ｙｅｓ）、空領域解析部１６６３は、平坦ブロックの数を示す平坦ブロック数に１を加算する（ステップＳ１６）。

空領域解析部１６６３は、空領域Ｇ１２２の全てのブロックに対する処理が終了したか否かを判定する（ステップＳ１７）。全てのブロックに対する処理が終了していない場合に（ステップＳ１７；Ｎｏ）、空領域解析部１６６３は、ステップＳ１２に移行して別のブロックに対して処理を実行する。

全てのブロックに対する処理が終了した場合に（ステップＳ１７；Ｙｅｓ）、空領域解析部１６６３は、空領域Ｇ１２２のブロックのうち、平坦ブロックの割合を示す平坦ブロック率を算出する（ステップＳ１８）。すなわち、空領域解析部１６６３は、空ブロック数から平坦ブロック数を除算する。

空領域解析部１６６３は、空領域Ｇ１２２の平均輝度値を算出する（ステップＳ１９）。すなわち、空領域解析部１６６３は、空領域Ｇ１２２の各ブロックの輝度値を加算し、空ブロック数で除算する。ここで、各ブロックの輝度値は、各ブロックの最大値、最小値、平均値のいずれかであってもよい。

以上により、画像処理部１６６は、空領域解析処理を終了する。

次に、画像処理部１６６が実行する地面領域解析処理の流れについて説明する。

図９は、第１の実施形態に係る画像処理部１６６が実行する地面領域解析処理の一例を示すフローチャートである。地面領域解析部１６６４は、地面領域解析処理において、地面領域Ｇ１２３のブロックごとに解析する。また、画像処理部１６６は、１秒などの一定期間が経過する毎に地面領域解析処理を実行する。

地面領域解析部１６６４は、地面領域Ｇ１２３の解析に使用する変数を初期化する（ステップＳ２１）。

地面領域解析部１６６４は、地面領域Ｇ１２３の処理対象のブロックについて輝度値の差を算出する（ステップＳ２２）。言い換えると、地面領域解析部１６６４は、処理対象のブロック内の最大輝度値から最小輝度値を減算する。

地面領域解析部１６６４は、地面領域Ｇ１２３のブロックの数を示す地面ブロック数に１を加算する（ステップＳ２３）。

地面領域解析部１６６４は、処理対象のブロック内の最大輝度値から最小輝度値を減算した値が第３閾値未満であるか否かを判定する（ステップＳ２４）。すなわち、地面領域解析部１６６４は、処理対象のブロックが平坦ブロックであるか否かを判定する。

最大輝度値から最小輝度値を減算した値が第３閾値以上の場合に（ステップＳ２４；Ｎｏ）、地面領域解析部１６６４は、ステップＳ２２に移行して別のブロックに対して処理を実行する。

最大輝度値から最小輝度値を減算した値が第３閾値未満の場合に（ステップＳ２４；Ｙｅｓ）、地面領域解析部１６６４は、平坦ブロックの数を示す平坦ブロック数に１を加算する（ステップＳ２５）。

地面領域解析部１６６４は、地面領域Ｇ１２３の全てのブロックに対する処理が終了したか否かを判定する（ステップＳ２６）。全てのブロックに対する処理が終了していない場合に（ステップＳ２６；Ｎｏ）、地面領域解析部１６６４は、ステップＳ２２に移行して別のブロックに対して処理を実行する。

全てのブロックに対する処理が終了した場合に（ステップＳ２６；Ｙｅｓ）、地面領域解析部１６６４は、地面領域Ｇ１２３のブロックのうち、平坦ブロックの割合を示す平坦ブロック率を算出する（ステップＳ２７）。すなわち、地面領域解析部１６６４は、地面ブロック数から平坦ブロック数を除算する。

地面領域解析部１６６４は、地面領域Ｇ１２３の平均輝度値を算出する（ステップＳ２８）。すなわち、地面領域解析部１６６４は、地面領域Ｇ１２３の各ブロックの輝度値を加算し、地面ブロック数で除算する。ここで、各ブロックの輝度値は、各ブロックの最大値、最小値、平均値のいずれかであってもよい。

以上により、画像処理部１６６は、地面領域解析処理を終了する。

次に、車載カメラ１６が実行する汚れ通知処理の流れについて説明する。

図１０は、第１の実施形態に係る画像処理部１６６が実行する汚れ通知処理の一例を示すフローチャートである。画像処理部１６６は、空領域解析処理及び地面領域解析処理が実行される度に汚れ通知処理を実行する。

汚れ検出部１６６５は、空領域Ｇ１２２の平坦ブロック率が第４閾値以上であるか否かを判定する（ステップＳ３１）。空領域Ｇ１２２の平坦ブロック率が第４閾値未満（ステップＳ３１；Ｎｏ）、汚れ検出部１６６５は、ステップＳ３５に移行する。

空領域Ｇ１２２の平坦ブロック率が第４閾値以上の場合に（ステップＳ３１；Ｙｅｓ）、汚れ検出部１６６５は、地面領域Ｇ１２３の平坦ブロック率が第５閾値以上であるか否かを判定する（ステップＳ３２）。地面領域Ｇ１２３の平坦ブロック率が第５閾値未満（ステップＳ３２；Ｎｏ）、汚れ検出部１６６５は、ステップＳ３５に移行する。

空領域Ｇ１２２の平坦ブロック率が第５閾値以上の場合に（ステップＳ３２；Ｙｅｓ）、汚れ検出部１６６５は、空領域Ｇ１２２と地面領域Ｇ１２３との平均輝度値の差が第６閾値以上であるか否かを判定する（ステップＳ３３）。平均輝度値の差が第６閾値未満の場合に（ステップＳ３３；Ｎｏ）、汚れ検出部１６６５は、ステップＳ３５に移行する。

平均輝度値の差が第６閾値以上の場合に（ステップＳ３３；Ｙｅｓ）、汚れ検出部１６６５は、車載カメラ１６のレンズ１６１に汚れが付着していないと判定する（ステップＳ３４）。また、汚れ通知部１６６６は、通知しないと判定する。

汚れ検出部１６６５は、空領域Ｇ１２２の平坦ブロック数と、地面領域Ｇ１２３の平坦ブロック数とを合算することにより平坦ブロック数の合計値を算出する（ステップＳ３５）。

汚れ検出部１６６５は、空領域Ｇ１２２のブロック数である空ブロック数と、地面領域Ｇ１２３のブロック数である地面ブロック数とを合算することによりブロック数の合計値を算出する（ステップＳ３６）。

汚れ検出部１６６５は、空領域Ｇ１２２と、地面領域Ｇ１２３とを合わせた領域の平坦ブロック率が第７閾値未満であるか否かを判定する（ステップＳ３７）。すなわち、汚れ検出部１６６５は、平坦ブロック数の合計値を、ブロック数の合計値で除算することにより平坦ブロック率を算出する。そして、汚れ検出部１６６５は、算出した平坦ブロック率が第７閾値未満であるか否かを判定する。

平坦ブロック率が第７閾値未満の場合に（ステップＳ３７；Ｙｅｓ）、汚れ検出部１６６５は、ステップＳ３４に移行する。

平坦ブロック率が第７閾値以上の場合に（ステップＳ３７；Ｎｏ）、汚れ通知部１６６６は、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する（ステップＳ３８）。

以上により、画像処理部１６６は、汚れ通知処理を終了する。

以上のように、第１の実施形態に係る画像処理部１６６は、車載カメラ１６が撮像した車両１の外部の撮像画像Ｇ１を取得する。また、画像処理部１６６は、撮像画像Ｇ１において各画素の輝度値の差が小さい平坦領域の割合が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知する。しかしながら、画像処理部１６６は、空領域Ｇ１２２の平坦領域の割合が閾値以上であり、地面領域Ｇ１２３の平坦領域の割合が閾値以上であり、空領域Ｇ１２２の輝度値の平均と地面領域Ｇ１２３の輝度値の平均との差が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。

すなわち、画像処理部１６６は、空領域Ｇ１２２の平坦領域の割合が閾値以上であり、地面領域Ｇ１２３の平坦領域の割合が閾値以上であり、且つ、空領域Ｇ１２２と地面領域Ｇ１２３との平均輝度値の差が閾値以上の場合、汚れは付着していないと判定して通知しない。よって、画像処理部１６６は、車載カメラ１６のレンズ１６１に汚れが付着していることの誤検出を抑制することができる。

また、図１０のフローチャートは一例であって、Ｓ３１,Ｓ３２の処理を行わず、スタート後Ｓ３３以降の判断もすることもできる。これは第１の実施形態においては第４閾値と第５閾値を０に設定することによって実施することができる。即ち空領域Ｇ１２２と地面領域Ｇ１２３の平坦ブロックの輝度平均の差があるときに汚れを通知しない。すなわち、汚れ通知部１６６６は、撮像画像Ｇ１に含まれる空領域Ｇ１２２内の平坦領域が検出され、撮像画像Ｇ１に含まれる地面領域Ｇ１２３の平坦領域が検出され、空領域Ｇ１２２の平坦領域の輝度値と地面領域Ｇ１２３の平坦領域の輝度値との差が第６閾値以上の場合に車載カメラ１６のレンズ１６１に汚れが付着していることを通知しない。この場合に、例えば、空領域Ｇ１２２あるいは地面領域Ｇ１２３の平坦領域の輝度値はそれぞれの平坦領域の平均輝度値とする。なお、空領域Ｇ１２２あるいは地面領域Ｇ１２３の平坦領域の輝度値は、各ブロックの平均輝度値の平均に限らず、各ブロックの最大輝度値の平均であってもよいし、各ブロックの最小輝度値の平均であってもよいし、他の輝度値の平均であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 車両
１６ 車載カメラ
１２０ 表示装置
１４１ 操作ボタン
１６１ レンズ
１６２ 撮像素子
１６３ 洗浄部
１６４ 映像信号処理部
１６５ 露光制御部
１６６ 画像処理部
１６７ 画像メモリ
１６６Ａ プロセッサ
１６６Ｂ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
１６６Ｃ メモリ
１６６Ｄ Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース
１６６１ 画像取得部
１６６２ 領域検出部
１６６３ 空領域解析部
１６６４ 地面領域解析部
１６６５ 汚れ検出部
１６６６ 汚れ通知部
１６６７ 洗浄制御部
Ｇ１ 撮像画像
Ｇ１ａ 昼間撮像画像
Ｇ１ｂ 夜間撮像画像
Ｇ１ｃ 光源夜間撮像画像
Ｇ１１ａ、Ｇ１１ｂ、Ｇ１１ｃ 非撮像領域
Ｇ１２ａ、Ｇ１２ｂ、Ｇ１２ｃ 撮像領域
Ｇ１２１、Ｇ１２１ａ、Ｇ１２１ｂ、Ｇ１２１ｃ 水平線
Ｇ１２２、Ｇ１２２ａ、Ｇ１２２ｂ、Ｇ１２２ｃ 空領域
Ｇ１２３、Ｇ１２３ａ、Ｇ１２３ｂ、Ｇ１２３ｃ 地面領域
Ｇ１２４ 光源

地面領域解析部１６６４は、地面領域Ｇ１２３において輝度値が平坦なブロックである平坦ブロックの数を計数する。地面領域Ｇ１２３の平坦ブロックとは、撮像画像Ｇ１の地面領域Ｇ１２３を複数のブロックに分割した場合に、ブロック内において各画素の輝度値の差が第３閾値未満のブロックのことである。言い換えると、地面領域Ｇ１２３の平坦ブロックとは、ブロック内の最大輝度値と最小輝度値との差が、第３閾値未満のブロックのことである。地面領域解析部１６６４は、領域検出部１６６２により地面領域Ｇ１２３が検出された場合に、ブロックごとに、地面領域Ｇ１２３の平坦ブロックであるか否かを判定する。そして、地面領域解析部１６６４は、地面領域Ｇ１２３の平坦ブロックの数を計数する。

更に詳しくは、図５、図６、及び図７に示すように、空領域Ｇ１２２及び地面領域Ｇ１２３は、各画素の輝度値の差が小さい平坦領域となる。そこで、汚れ検出部１６６５は、空領域解析部１６６３により算出された空領域Ｇ１２２の平坦ブロック率が第４閾値以上であるか否かを判定する。また、汚れ検出部１６６５は、地面領域解析部１６６４により算出された地面領域Ｇ１２３の平坦ブロック率が第５閾値以上であるか否かを判定する。

また、図５に示すように、晴天の空領域Ｇ１２２とアスファルトの地面領域Ｇ１２３との場合、空領域Ｇ１２２の輝度値と地面領域Ｇ１２３の輝度値との差は、大きくなる。または、図６、及び図７に示すように、夜空の空領域Ｇ１２２と雪原の地面領域Ｇ１２３との場合、空領域Ｇ１２２の輝度値と地面領域Ｇ１２３の輝度値との差は、大きくなる。そこで、汚れ検出部１６６５は、空領域Ｇ１２２の平均輝度値と、地面領域Ｇ１２３の平均輝度値との差が第６閾値以上の場合に、汚れが付着していないと判定する。

ここで、車載カメラ１６のレンズ１６１に濃度が濃く、且つ面積が大きな汚れが付着する場合、撮像画像Ｇ１は、汚れにより、大きな平坦領域が大きく形成される。そこで、汚れ検出部１６６５は、所定の条件下で、撮像画像Ｇ１において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上の場合に、車載カメラ１６のレンズ１６１に汚れが付着していると判定する。具体的には、汚れ検出部１６６５は、空領域Ｇ１２２の平坦ブロック率が第４閾値未満、又は、地面領域Ｇ１２３の平坦ブロック率が第５閾値未満、又は、空領域Ｇ１２２の平均輝度値と地面領域Ｇ１２３の平均輝度値との差が第６閾値未満の場合に、空領域Ｇ１２２と地面領域Ｇ１２３とを合わせた領域の平坦ブロック率が第７閾値以上であれば、レンズ１６１に汚れが付着していると判定する。

地面領域Ｇ１２３の平坦ブロック率が第５閾値以上の場合に（ステップＳ３２；Ｙｅｓ）、汚れ検出部１６６５は、空領域Ｇ１２２と地面領域Ｇ１２３との平均輝度値の差が第６閾値以上であるか否かを判定する（ステップＳ３３）。平均輝度値の差が第６閾値未満の場合に（ステップＳ３３；Ｎｏ）、汚れ検出部１６６５は、ステップＳ３５に移行する。

Claims (8)

1. 撮像部が撮像した車両の外部の画像を取得する取得部と、
   前記画像において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する通知部と、
   を備え、
   前記通知部は、前記画像に含まれる空の領域である空領域の前記平坦領域の割合が閾値以上であり、前記画像に含まれる地面の領域である地面領域の前記平坦領域の割合が閾値以上であり、前記空領域の前記平坦領域の輝度値の平均と前記地面領域の前記平坦領域の輝度値の平均との差が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
   画像監視装置。
2. 請求項１に記載の画像監視装置であって、
   前記通知部は、前記空領域の前記平坦領域の割合が閾値未満、又は前記地面領域の前記平坦領域の割合が閾値未満であり、且つ、前記空領域と前記地面領域とを合わせた領域において前記平坦領域の割合が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する、
   画像監視装置。
3. 請求項１又は２に記載の画像監視装置であって、
   前記通知部は、前記空領域の前記平坦領域の割合が閾値未満、又は前記地面領域の前記平坦領域の割合が閾値未満であり、且つ、前記空領域と前記地面領域とを合わせた領域において前記平坦領域の割合が閾値未満の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
   画像監視装置。
4. 請求項１から３の何れか一項に記載の画像監視装置であって、
   前記通知部は、輝度値が閾値以上の領域を除外した前記空領域の前記平坦領域の割合が閾値以上であり、前記地面領域の前記平坦領域の割合が閾値以上であり、前記空領域の前記平坦領域の輝度値の平均と前記地面領域の前記平坦領域の輝度値の平均との差が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知しない、
   画像監視装置。
5. 請求項１から４の何れか一項に記載の画像監視装置であって、
   前記撮像部が撮像した前記画像に含まれる水平線に基づいて、前記空領域と前記地面領域とを検出する検出部を更に備える、
   画像監視装置。
6. 請求項５に記載の画像監視装置であって、
   前記検出部は、水平方向に対する前記撮像部の角度に基づいて、前記水平線を検出する、
   画像監視装置。
7. 撮像部が撮像した車両の外部の画像を取得する取得部と、
   前記画像において各画素の輝度値の差が小さい領域である平坦領域の割合が閾値以上の場合に、前記撮像部のレンズに汚れが付着していることを通知する通知部と、
   を備え、
   前記通知部は、前記画像に含まれる空の領域内の平坦領域が検出され、前記画像に含まれる地面の領域内の平坦領域が検出され、前記空の領域の平坦領域の輝度値と前記地面の領域の平坦領域の輝度値との差が閾値以上の場合に前記撮像部のレンズに汚れが付着していることを通知しない、
   画像監視装置。
8. 請求項７に記載の画像監視装置であって、
   前記空の領域あるいは前記地面の領域の平坦領域の輝度値はそれぞれの平坦領域の平均輝度値とする、
   画像監視装置。

Images