JP2018017601A - 画像処理装置、画像処理方法、撮像装置、及び移動体 - Google Patents

Abstract

【課題】少ない部品により手間をかけずに撮像レンズに一様に付着した異物の有無を判定する。【解決手段】画像処理装置１は、撮像レンズ２１１を用いて撮像された画像を取得する画像取得部２２１と、画像が撮像されたときに、画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部２２４と、画像取得部２２１が取得した画像の少なくとも一つを基準画像として記憶するとともに、基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの照度Ｉとの相関関係を記憶可能なメモリ２２３と、取得画像に撮像されている被写体が、基準画像に撮像されている被写体と同一であると判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度Ｉと、相関関数とに基づいて、撮像レンズの異物の有無を判定するプロセッサ２２２と、を備える。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、撮像装置、及び移動体に関する。

従来、撮像装置を構成する撮像レンズ全体にわたって汚れや曇り等の異物が付着することによって、一様に光の透過率が低減する場合に、その旨を検知する装置が知られている。

例えば、特許文献１に記載の画像処理システムは、発光部と、該発光部によって発光される光の波長を有する光のみを透過させる光学フィルタを備えて、発光部によって発光され、ウィンドウガラスに反射されて光学フィルタを透過した光が撮像素子に結像することによって撮像された画像に基づいて曇りや汚れを検出している。

特開２００５−１９５５６６号公報

しかしながら、上述のような従来技術の方法では、曇りや汚れを検出するために光源及び光学フィルタが必要となるため、それらを設置するための手間がかかり、費用が高くなる。

したがって、これらの点に着目してなされた本発明の目的は、少ない部品により手間をかけずに撮像レンズに一様に付着した汚れ又は曇り等の異物の有無を判定する画像処理装置、画像処理方法、撮像装置、及び移動体を提供することにある。

上記目的を達成する画像処理装置は、撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像に撮像されている被写体が、基準画像に撮像されている被写体と同一であるか否かを判定し、前記基準画像に撮像されている被写体と同一であると判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を備える。

上記目的を達成する画像処理方法は、画像処理装置が実行する画像処理方法であって、前記画像処理装置が、撮像レンズを用いて撮像された画像を取得する画像取得ステップと、前記画像処理装置が、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得ステップと、前記画像処理装置が、メモリに、前記画像取得ステップで取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶する記憶ステップと、前記画像処理装置が、前記画像取得ステップで取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関数とに基づいて、前記撮像レンズの異物の有無を判定する判定ステップと、を含む。

上記目的を達成する撮像装置は、撮像レンズと、前記撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関数とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を含む画像処理装置と、を備える。

上記目的を達成する移動体は、撮像レンズと、前記撮像レンズを用いて画像が撮像される環境の照度を計測する照度計と、前記撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関数とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を有する画像処理装置を含む撮像装置と、を備える。

本発明の一実施形態によれば、少ない部品により手間をかけずに撮像レンズに一様に付着した異物の有無を判定することを可能とする。

移動体に搭載された画像処理システムの概略構成を示す図である。 図１に示す画像処理システムの機能ブロック図である。 画像処理装置が取得した画像の平均輝度と、照度計によって測定された照度との関係を示す図である。 第１の実施形態における画像処理システムの処理フローを示すフロー図である。 第２の実施形態における画像処理システムの処理フローを示すフロー図である。 第３の実施形態における画像処理システムの処理フローを示すフロー図である。

以下、本発明の第１の実施形態について、図面を参照して説明する。

図１に示すように、第１の実施形態に係る画像処理システム１は、移動体４に搭載され、照度計１０、撮像装置（カメラ）２０、表示装置３０、照明装置４０等を含んで構成される。照度計１０、表示装置３０、照明装置４０は、それぞれ通信ケーブル、通信ネットワーク等を介してカメラ２０と接続されて情報を送受信する。また、カメラ２０は、通信ケーブル等を介して、ＥＣＵ（Engine Control Unit）等と接続されて情報を送受信する。ここで、本願における「移動体」は、例えば、乗用車、トラック、バスといった道路上を走行する車両等を意味する。

照度計１０は、移動体４の任意の位置、例えば、フロントガラスの最下部に固定して取り付けられる。照度計１０は、計測部１１、通信インタフェース１２等を含んで構成される。

計測部１１は、カメラ２０が画像を撮像する環境の照度Ｉを計測する。

通信インタフェース１２は、計測部１１によって計測された照度Ｉを表す照度情報を画像処理装置２２に送信する。通信インタフェース１２は、物理コネクタ、無線通信機等とすることができる。物理コネクタには、電気コネクタ、光コネクタ、及び電磁コネクタが含まれる。また、無線通信機には、Bluetooth（登録商標）及びIEEE802.11を含む各規格に準拠する無線通信機、並びにアンテナが含まれる。

カメラ２０は、移動体４の後方を撮像するように設置される。また、カメラ２０は、前方又は側方を撮像するように設置されてもよい。図２に示すように、カメラ２０は、撮像部２１、画像処理装置２２等を含んで構成される。

撮像部２１は、撮像レンズ２１１、撮像素子２１２、信号処理部２１３等を含んで構成される。

撮像レンズ２１１は、該撮像レンズ２１１に入射した光が撮像素子２１２で結像するように集光するレンズである。撮像レンズ２１１は、例えば、魚眼レンズ、超広角レンズで構成されてもよい。撮像レンズ２１１は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。

撮像素子２１２は、撮像レンズ２１１によって結像された画像を撮像する撮像素子である。撮像素子２１２は、ＣＣＤ（Charge-Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

信号処理部２１３は、画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行するプロセッサである。

信号処理部２１３は、該撮像素子２１２で結像された画像を表す画像信号を生成する。また、信号処理部２１３は、画像について、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってもよい。

画像処理装置２２は、画像取得部２２１、プロセッサ２２２、メモリ２２３、通信インタフェース２２４等を含んで構成される。

画像取得部２２１は、信号処理部２１３によって生成された画像信号の入力を受けることによって画像信号が表す画像を取得する、撮像部２１とのインタフェースである。

プロセッサ２２２は、画像取得部２２１によって取得した画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のＣＰＵ（中央処理装置：Central Processing Unit）である。

プロセッサ２２２は、撮像部２１によって撮像され、画像取得部２２１によって取得された画像（以降、「取得画像」という）と、照度計１０によって計測され、通信インタフェース２２４によって取得された照度Ｉとに基づいて、一様な異物の有無を判定する。異物には、撮像レンズ２１１に付着した汚れ又は曇りが含まれる。また、プロセッサ２２２は、異物の付着度合いである汚れ度又は曇り度を判定する。

ここで、プロセッサ２２２における一様な汚れの有無を判定する機能について詳細に説明する。

プロセッサ２２２は、画像取得部２２１によって取得された取得画像に撮像された被写体と、メモリ２２３に記憶されている基準画像に撮像された被写体とが同一であるか否かを判定する。

そのため、プロセッサ２２２は、取得画像と基準画像との類似性を示す指標Ｓを画像マッチングによって算出する。基準画像とは、汚れ判定が実施される前に、汚れ判定実施場所でカメラ２０によって撮像された汚れ判定の基準となる画像である。汚れ判定実施場所は、移動体４のユーザが日常生活において定期的に滞在又は訪問することになっている場所であって、例えば、ユーザの自宅の駐車場、職場の駐車場等である。

類似性を示す指標Ｓとは、例えば、一般的な画像マッチングで用いられるＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）等である。ＳＳＤは、基準画像の画素値と、取得画像の対応する位置にある画素値との差の二乗を基準画像及び取得画像の全ての画素について足し合わせた値である。ＳＡＤは、基準画像の画素値と、取得画像の対応する位置にある画素値との差の絶対値を基準画像及び取得画像の全ての画素について足し合わせた値である。そのため、指標ＳをＳＳＤ又はＳＡＤとする場合、指標Ｓが低いほど基準画像と取得画像は類似している。

プロセッサ２２２は、ＳＳＤを指標Ｓとして算出すると、算出した指標Ｓと所定の閾値Ｓ_ｔｈとに基づいて、取得画像の被写体が基準画像の被写体と同一であるか否かを判定する。具体的には、プロセッサ２２２は、指標Ｓが所定の閾値Ｓ_ｔｈ未満である場合、取得画像の被写体が基準画像の被写体と同一であると判定し、指標Ｓが所定の閾値Ｓ_ｔｈ以上である場合、取得画像の被写体が基準画像の被写体と同一でないと判定する。所定の閾値Ｓ_ｔｈとは、指標Ｓがこの値より大きい場合に、取得画像の被写体は基準画像の被写体でないと、予め実験により決定される値である。ここで、プロセッサ２２２は、指標ＳとしてＳＳＤの代わりにＳＡＤを算出してもよい。

また、プロセッサ２２２は、基準画像からエッジを検出した基準エッジ画像と、取得画像からエッジを検出した取得エッジ画像とに基づいて、上述のようにＳＳＤ又はＳＡＤを指標Ｓとして算出し、取得画像の被写体が基準画像の被写体と同一であるか否かを判定してもよい。

プロセッサ２２２が、取得画像に撮像された被写体と基準画像に撮像された被写体とが同一であるか否かを判定する方法は上述の方法に限られず、任意の方法により行うことができる。

また、プロセッサ２２２は、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像のうち、撮像レンズ２１１が汚れていないとみなせる状態で撮像された取得画像を構成する画素の輝度の平均値（以降、「平均輝度Ｌ_ａ」という）と、取得画像が撮像されたときに照度計１０によって計測された照度Ｉとの相関関係を示す相関関数を算出する。本実施形態では、プロセッサ２２２が平均輝度Ｌ_ａと照度Ｉとに基づいて相関関数を算出する例を説明するが、平均輝度Ｌ_ａの代わりに、取得画像を構成する画素の輝度の合計に基づいて相関関数を算出してもよい。このような平均輝度Ｌ_ａ、輝度の合計等の、取得画像全体に係る輝度に関する特性を表す情報を輝度情報という。

具体的には、プロセッサ２２２は、取得画像の被写体が基準画像の被写体と同一であると判定すると、取得画像の平均輝度Ｌ_ａを算出する。そして、プロセッサ２２２は、平均輝度Ｌ_ａを算出すると、図３に示すような、取得画像が撮像されたときに照度計１０によって計測された照度Ｉと平均輝度Ｌ_ａとの組合せをメモリ２２３に記憶させる。

また、プロセッサ２２２は、初期状態から、所定の数の、照度Ｉと平均輝度Ｌ_ａとの組合せがメモリ２２３に記憶されると、メモリ２２３に記憶されている組合せに基づいて、照度Ｉと平均輝度Ｌ_ａとの相関関係を示す、図３の実線に示すような一次関数を相関関数として算出する。ここで、初期状態とは、新しく製造された撮像レンズ２１１がカメラ２０に設置された状態のこと、カメラ２０に設置されている撮像レンズ２１１が清掃され、汚れが取り払われた状態のこと等をいう。また、所定の数とは、照度Ｉと平均輝度Ｌ_ａとの組合せを記憶するための処理が繰り返されても、画像に影響を与える程度の一様の汚れが撮像レンズ２１１に付着していないと見込まれる数であって、信頼できる相関関数を算出するために十分であるとされる組合せの数である。

また、プロセッサ２２２は、相関関数が算出された以降に、さらに撮像画像と照度Ｉとが取得され、平均輝度Ｌ_ａと照度Ｉとの組合せが所定の数より多くメモリ２２３に記憶されると、新たに記憶された平均輝度Ｌ_ａと、照度Ｉと、相関関係とに基づいて撮像レンズ２１１の汚れの有無を判定する。

具体的には、プロセッサ２２２は、計測された照度Ｉに基づいて相関関係を満たす理想輝度Ｌ_ｉを算出する。相関関係とは、上述のように、撮像レンズ２１１が汚れていないとみなせる状態での照度Ｉと平均輝度Ｌ_ａとの関係を示す相関関数である。したがって、理想輝度Ｌ_ｉは、撮像レンズ２１１が汚れていない場合に、照度計１０で計測された照度Ｉであるときに撮像された画像において期待される平均輝度Ｌ_ａである。

そこで、プロセッサ２２２は、平均輝度Ｌ_ａが理想輝度Ｌ_ｉより所定の閾値Ｌ_ｔｈ以上、低いか否かを判定することによって撮像レンズ２１１の汚れの有無を判定する。所定の閾値Ｌ_ｔｈとは、平均輝度Ｌ_ａと理想輝度Ｌ_ｉとの差がこの値より大きい場合に、撮像レンズ２１１を用いて撮像された画像が、以降で実施される各種解析等の結果に不正確さをもたらすと想定される値であって、予めの実験により決定される。

具体的には、プロセッサ２２２は、平均輝度Ｌ_ａが理想輝度Ｌ_ｉより所定の閾値Ｌ_ｔｈ以上、低い場合、撮像レンズ２１１の汚れがあると判定する。図３に示す例で説明すると、（１）に示す点は、照度Ｉ_１で撮像された取得画像の平均輝度がＬ_ａ１であることを示している。プロセッサ２２２は、実線で示される相関関数を用いて、照度Ｉ_１が測定された場合の理想輝度Ｌ_ｉはＬ_ｉ１であると算出する。この場合、平均輝度Ｌ_ａ１が理想輝度Ｌ_ｉ１より所定の閾値Ｌ_ｔｈ以上低いため、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定する。

また、プロセッサ２２２は、平均輝度Ｌ_ａが理想輝度Ｌ_ｉより所定の閾値Ｌ_ｔｈ以上低くない場合、撮像レンズ２１１に汚れがないと判定する。図３に示す例で説明すると、（２）に示す点は、照度Ｉ_２で撮像された取得画像の平均輝度がＬ_ａ２であることを示している。プロセッサ２２２は、実線で示される相関関数を用いて、照度Ｉ_２が測定された場合の理想輝度Ｌ_ｉはＬ_ｉ２であると算出する。この場合、平均輝度Ｌ_ａ２が理想輝度Ｌ_ｉ２より所定の閾値Ｌ_ｔｈ以上低くないため、プロセッサ２２２は、撮像レンズ２１１に汚れがないと判定する。

なお、プロセッサ２２２は、上述のように、平均輝度Ｌ_ａの代わりに、取得画像を構成する画素の輝度の合計に基づいて相関関数を算出する場合、画素の輝度の合計が理想輝度Ｌ_ｉに取得画像の画素数を乗じた値より所定の閾値以上低いか否かに基づいて撮像レンズ２１１に汚れがあるか否かを判定する。

さらに、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定した場合、平均輝度Ｌ_ａと理想輝度Ｌ_ｉとの差に基づいて、撮像レンズ２１１の汚れ度を判定する。プロセッサ２２２は、平均輝度Ｌ_ａと理想輝度Ｌ_ｉとの差が大きいほど汚れ度が高いと判定する。例えば、プロセッサ２２２は、差が理想輝度Ｌ_ｉの０％以上で１０％未満である場合に汚れ度１とし、差が理想輝度Ｌ_ｉの１０％以上で２０％未満である場合に汚れ度２とする。汚れ度の設定の方法、差に基づく汚れ度の判定の方法は、これに限られず任意の方法であってよい。

また、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定し、汚れ度を判定すると、汚れている旨及び汚れ度を含む汚れ情報を、通信インタフェース２２４を介して出力する。

メモリ２２３は、汚れ判定実施場所で撮像部２１によって撮像され、画像取得部２２１によって取得した画像を基準画像として記憶する。また、プロセッサ２２２によって算出された、図３に示すような、取得画像の平均輝度Ｌ_ａと該取得画像が撮像されたときに照度計１０によって計測された照度Ｉとの組合せを記憶する。また、メモリ２２３は、プロセッサ２２２によって算出された、照度Ｉと平均輝度Ｌ_ａとの相関関係を示す相関関数を記憶可能である。

通信インタフェース２２４は、照度情報取得部として、照度計１０によって送信された照度情報を受ける。また、通信インタフェース２２４は、プロセッサ２２２が出力した汚れ情報を表示装置３０、照明装置４０、ＥＣＵ等に送信する。通信インタフェース２２４は、通信インタフェース１２と同様に、物理コネクタ、無線通信機等とすることができる。

表示装置３０は、通信インタフェース３１、表示用プロセッサ３２、表示パネル３３等を含んで構成される。

通信インタフェース３１は、画像処理装置２２から通信インタフェース２２４を介して送信された汚れ情報を受信する。通信インタフェース３１は、通信インタフェース１２と同様に、物理コネクタ、無線通信機等とすることができる。

表示用プロセッサ３２は、通信インタフェース３１によって受信した汚れ情報を表示パネル３３に表示させる。

照明装置４０は、カメラ２０が撮像する方向を照射するように設置される。照明装置４０は、通信インタフェース４１、照射制御部４２、発光部４３等を含んで構成される。

通信インタフェース４１は、画像処理装置２２から通信インタフェース２２４を介して送信された汚れ情報を受信する。通信インタフェース４１は、通信インタフェース１２と同様に、物理コネクタ、無線通信機等とすることができる。

照射制御部４２は、通信インタフェース４１によって受信した汚れ情報に基づいて、発光部４３による照射の明るさを制御する。

発光部４３は、照射制御部４２によって制御された明るさで、カメラ２０が撮像する方向を照射する。

続いて、本実施形態の画像処理システム１の画像処理方法について、図４を参照して説明する。

本画像処理の前提として、撮像部２１は、汚れ判定実施場所におけるユーザの指示入力、あるいは移動体４のイグニッションをＯＮ又はＯＦＦするといった車両を操作するための車両操作入力に基づいて、汚れ判定実施場所を特定の画角で撮像する。

撮像部２１によって汚れ判定実施場所が撮像されると、信号処理部２１３が撮像された画像を表す画像信号を画像処理装置２２に出力する。そして、画像処理装置２２のメモリ２２３は、画像信号が表す画像を基準画像として記憶しておく。メモリ２２３は、複数の画像を基準画像として記憶することができる。画像処理装置２２は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。

以上のように、画像処理装置２２のメモリ２２３には、常に基準画像が記憶された状態にある。この状態で、画像処理装置２２に指示入力又は車両操作入力がされると、撮像部２１は画像を撮像する（ステップＳ１１）。

また、指示入力又は車両操作入力がされると、すなわち、ステップＳ１１でカメラ２０によって画像が撮像されるときに、照度計１０は周囲環境の照度Ｉを計測する（ステップＳ１２）。照度計１０による照度Ｉの測定は、指示入力又は車両操作入力と同時である必要はなく、計測部１１の計測にかかる時間、及び、信号の伝達にかかる時間等の範囲内でずれていてよい。あるいは、照度Ｉは、周辺環境の照度Ｉが変化しない範囲で、例えば、１０秒以内の範囲でずらして測定してもよい。

ステップＳ１１で、画像が撮像されると、画像取得部２２１が、撮像された画像を取得画像として取得し、プロセッサ２２２が、取得画像に撮像された被写体がメモリ２２３に記憶されている基準画像に撮像された被写体と同一であるか否かを判定する（ステップ１３）。同一の被写体を撮像したものか否かの判定は、例えば、基準画像と取得画像とを画像マッチングすることによって画像の類似性を示す指標Ｓを算出することによって行うことができる。

具体的には、プロセッサ２２２は、指標Ｓを算出し、指標Ｓが所定の閾値Ｓ_ｔｈ以上であるか否かを判定する。プロセッサ２２２は、指標Ｓが所定の閾値Ｓ_ｔｈ以上である場合、取得画像に撮像されている被写体が基準画像に撮像されている被写体ではないと判定し、画像処理システム１は処理を終了する。また、プロセッサ２２２は、指標Ｓが所定の閾値Ｓ_ｔｈ未満である場合、取得画像に撮像されている被写体が基準画像に撮像されている被写体と同一であると判定する。

ステップＳ１３で、取得画像に撮像された被写体が基準画像に撮像された被写体と同一でないと判定されると、画像処理システム１は処理を終了する。取得画像に撮像された被写体が基準画像に撮像された被写体と同一であると判定されると、プロセッサ２２２は、取得画像の平均輝度Ｌ_ａを算出する（ステップＳ１４）。

ステップＳ１４で、平均輝度Ｌ_ａが算出されると、メモリ２２３は、平均輝度Ｌ_ａと、ステップＳ１２で計測された照度Ｉとの組合せを記憶する（ステップＳ１５）。

ステップＳ１５で、メモリ２２３が照度Ｉと平均輝度Ｌ_ａとの組合せを記憶すると、プロセッサ２２２は、メモリ２２３に記憶されている照度Ｉと平均輝度Ｌ_ａとの組合せが所定の数以下かである否かを判定する（ステップＳ１６）。

ステップＳ１６で、照度Ｉと平均輝度Ｌ_ａとの組合せが所定の数以下であると判定された場合、プロセッサ２２２は、組合せの数が所定の数であるか否かを判定する（ステップＳ１７）。

ステップＳ１７で、組合せの数が所定の数であると判定された場合、プロセッサ２２２は、照度Ｉと平均輝度Ｌ_ａとの相関関係を示す、一次関数で表される相関関数を算出し（ステップＳ１８）、メモリ２３が算出された相関関数を記憶する。そして、画像処理システム１は処理を終了する。

ステップＳ１７で、組合せの数が所定の数でないと判定された場合、画像処理システム１は処理を終了する。

ステップＳ１６で、組合せの数が所定の数以下でないと判定された場合、プロセッサ２２２は、ステップＳ１２で計測された照度Ｉに基づいて、ステップＳ１８で算出され、記憶された相関関数を用いて理想輝度Ｌ_ｉを算出する（ステップＳ１９）。

ステップＳ１９で、理想輝度Ｌ_ｉが算出されると、プロセッサ２２２は、平均輝度Ｌ_ａが理想輝度Ｌ_ｉより所定の閾値Ｌ_ｔｈ以上低いか否かを判定する（ステップＳ２０）。

ステップＳ２０で、平均輝度Ｌ_ａが理想輝度Ｌ_ｉより所定の閾値Ｌ_ｔｈ以上低くないと判定された場合、プロセッサ２２２は撮像レンズ２１１に汚れがないと判定して（ステップＳ２１）、処理を終了する。

ステップＳ２０で、平均輝度Ｌ_ａが理想輝度Ｌ_ｉより所定の閾値Ｌ_ｔｈ以上、低いと判定された場合、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定する（ステップＳ２２）。

ステップＳ２２で、撮像レンズ２１１に汚れがあると判定されると、プロセッサ２２２は、平均輝度Ｌ_ａと理想輝度Ｌ_ｉとの差に基づいて、撮像レンズ２１１の汚れ度を判定する（ステップＳ２３）。

ステップＳ２３で、撮像レンズ２１１の汚れ度が判定されると、プロセッサ２２２は、通信インタフェース２２４を介して、撮像レンズ２１１が汚れている旨及び汚れ度を含む汚れ情報を表示装置３０、照明装置４０、ＥＣＵのいずれか１つ以上に出力する（ステップＳ２４）。

ステップＳ２４で、汚れ情報が表示装置３０に出力されると、表示装置３０は汚れ情報を表示する（ステップＳ２５）。このとき、表示装置３０は、汚れ情報に基づいて撮像レンズ２１１のクリーニングを促す注意を表示してもよい。

また、ステップＳ２４で汚れ情報が照明装置４０に出力されると、照明装置４０は汚れ情報に基づいて明るさを制御、例えば、汚れ情報に含まれる汚れ度が高いほど、光量を多くするようライトを制御してもよい（ステップＳ２５）。また、ステップＳ２４でＥＣＵに汚れ情報が出力されると、ＥＣＵは汚れ情報に基づいて、移動体４を制御してもよい。

第１の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Ｌ_ａと、該取得画像が撮像されたときの照度Ｉとの相関関数を算出し、算出された相関関数に基づいて撮像レンズ２１１の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ２１１が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができる。

また、第１の実施形態においては、移動体４に搭載された照明装置４０は、画像処理装置２２によって出力された汚れ情報に基づいて照射の明るさを制御するため、撮像部２１は適切な照度Ｉで画像を撮像することができる。そのため、撮像レンズ２１１が汚れていても所望の輝度を有する画像を撮像することができる。したがって、撮像部２１によって撮像された画像を用いる画像処理が適切に実行されることになる。

以下、本発明の第２の実施形態について、図面を参照して説明する。

第２の実施形態に係る画像処理システム２は、第１の実施形態に係る画像処理システム１と同様に移動体４に搭載された照度計１０、カメラ２０、表示装置３０、照明装置４０等を含んで構成される。

第２の実施形態におけるプロセッサ２２２は、第１の実施形態におけるプロセッサ２２２と同様に、照度Ｉと平均輝度Ｌ_ａとの相関関係を示す相関関数を算出し、メモリ２２３が算出された相関関数を記憶する点で同様である。以降の説明では、第１の実施形態と同様にして算出された相関関数、すなわち所定の数の、照度Ｉと平均輝度Ｌ_ａとの組合せよって算出された相関関数を第１の相関関数という。

第２の実施形態におけるプロセッサ２２２は、初期状態から、照度Ｉと平均輝度Ｌ_ａとの組合せが所定の数より多く記憶されると、メモリ２３に記憶されている最新の所定の数の照度Ｉと平均輝度Ｌ_ａとの組合せに基づいて、第２の相関関数を算出する。

そして、プロセッサ２２２は、第１の相関関数と第２の相関関数との解離度に基づいて撮像レンズ２１１の汚れの有無を判定する。例えば、プロセッサ２２２は、各相関関数の０次の係数の差を解離度として算出し、解離度が所定の閾値以上である場合には、撮像レンズ２１１に汚れがあると判定する。また、プロセッサ２２２は、第１の相関関数の０次の係数と第２の相関関数の０次の係数との差が所定の閾値未満である場合には、撮像レンズ２１１に汚れがないと判定する。

続いて、第２の実施形態の画像処理システム２の画像処理方法について、図５を参照して説明する。

まず、第１の実施形態と同様に、本画像処理の前提として、汚れ判定実施場所における指示入力又は車両操作入力に基づいて、撮像部２１は、汚れ判定実施場所を特定の画角で撮像する。メモリ２２３は、複数の画像を基準画像として記憶することができる。画像処理装置２２は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。

この状態で開始される、図５のステップＳ３１〜Ｓ３７に示す画像処理システム２の処理は、図４のステップＳ１１〜Ｓ１７に示す第１の実施形態の画像処理システム１の処理と同様である。

ステップＳ３７で、組合せの数が所定の数であると判定された場合、プロセッサ２２２は、照度Ｉと平均輝度Ｌ_ａとの相関関係を示す、一次関数で表される相関関数を第１の相関関数として算出し（ステップＳ３８）、メモリ２２３が算出された相関関数を記憶する。そして、画像処理システム１は処理を終了する。

ステップＳ３７で、組合せの数が所定の数でないと判定された場合、画像処理システム１は処理を終了する。

ステップＳ３６で、組合せの数が所定の数以下でないと判定された場合、プロセッサ２２２は、メモリ２２３に記憶されている最新の、所定の数の照度Ｉと平均輝度Ｌ_ａとの組合せに基づいて、照度Ｉと平均輝度Ｌ_ａとの相関関係を示す、一次関数で表される第２の相関関数を算出する（ステップＳ３９）。

ステップＳ３９で、第２の相関関数が算出されると、プロセッサ２２２は、第１の相関関数と第２の相関関数との解離度を算出する（ステップＳ４０）。

ステップＳ４０で解離度が所定の閾値以上であるか否かを判定する（ステップＳ４１）。

ステップＳ４１で、解離度が所定の閾値未満であると判定された場合、プロセッサ２２２は撮像レンズ２１１に汚れがないと判定して（ステップＳ４２）、処理を終了する。

ステップＳ４１で解離度が所定の閾値以上であると判定された場合、プロセッサ２２２は、撮像レンズ２１１に汚れがあると判定する（ステップＳ４３）。

ステップＳ４３で、撮像レンズ２１１に汚れがあると判定されると、プロセッサ２２２は、解離度に基づいて撮像レンズ２１１の汚れ度を判定する（ステップＳ４４）。

ステップＳ４４で、撮像レンズ２１１の汚れ度が判定されると、プロセッサ２２２は、通信インタフェース２２４を介して、汚れている旨及び汚れ度を含む汚れ情報を表示装置３０、照明装置４０、ＥＣＵのいずれか１つ以上に出力する（ステップＳ４５）。

ステップＳ４５で表示装置３０に汚れ情報が出力されると、表示装置３０は汚れ情報を表示する（ステップＳ４６）。このとき、表示装置３０は、汚れ情報に基づいて撮像レンズ２１１のクリーニングを促す注意を表示してもよい。

また、ステップＳ４５で汚れ情報が照明装置４０に出力されると、照明装置４０は汚れ情報に基づいて明るさを制御、例えば、汚れ情報に含まれる汚れ度が高いほど、光量を高くするようライトを制御してもよい（ステップＳ４６）。また、ステップＳ４５でＥＣＵに汚れ情報が出力されると、ＥＣＵは汚れ情報に基づいて、移動体４を制御してもよい。

以上、説明したように、第２の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Ｌ_ａと、該取得画像が撮像されたときの照度Ｉとの相関関数を算出し、算出した相関関数に基づいて撮像レンズ２１１の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ２１１が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができるという第１の実施形態と同様の効果を奏する。

続いて、本発明の第３の実施形態について、図面を参照して説明する。

第３の実施形態に係る画像処理システム３は、第１の実施形態に係る画像処理システム１と同様に移動体４に搭載された照度計１０、カメラ２０、表示装置３０、照明装置４０等を含んで構成される。

第３の実施形態におけるプロセッサ２２２は、第１の実施形態におけるプロセッサ２２２と同様であるが、取得画像に撮像された被写体が基準画像に撮像されている被写体と同一であるか否かを判定する処理を行う前に、取得画像に撮像された局所的な汚れを検出する。

ここで、プロセッサ２２２が、局所的な汚れを検出する方法の一例について説明する。

局所的な汚れを検出するための前提として、メモリ２２３は、移動体４が複数の異なる場所にいるとき、又は移動体４が複数の異なる方位を向いているときに撮像部２１によってそれぞれ撮像された画像を記憶している。

この状態で、指示入力又は車両への操作入力がされて、撮像部２１によって撮像が行われると、プロセッサ２２２は、複数の画像における互いに対応する領域の画素値の差が所定の範囲内である領域があるか否かを判定する。また、プロセッサ２２２は、複数の画像における互いに対応する領域における画素値の差が所定の範囲内である領域があった場合、該領域を除く、複数の画像の互いに対応する領域の画素値は異なるか否かを判定する。複数の画像に画素値が同一である領域があり、該領域を除く領域の画素値は各画像で異なる場合、プロセッサ２２２は、画素値が同一である領域に対応する、撮像レンズ２１１部分に局所的な汚れが付着していると判定する。

ここで、判定に用いられる複数の画像には、上述のように指示入力等の前に記憶された画像と、指示入力等の後に撮像部２１によって撮像された取得画像とが含まれてもよいし、指示入力等の前に記憶された複数の画像のみが含まれてもよい。

また、プロセッサ２２２は、局所的な汚れが撮像された領域の、取得画像の全領域に対する割合である局所的汚れ割合を算出する。そして、プロセッサ２２２は、局所的汚れ割合が所定の閾値未満である場合、取得画像の局所的な汚れが撮像されていない領域に撮像された被写体が、基準画像の対応する領域に撮像された被写体と同一であるかの判定、及び撮像レンズ２１１の一様な汚れの有無の判定を行う。プロセッサ２２２は、局所的汚れ割合が所定の閾値以上である場合、取得画像と基準画像との被写体が同一であるかの判定、及び撮像レンズ２１１の一様な汚れの有無の判定を行わない。ここで、所定の閾値とは、予めの実験によって定められた、局所的汚れ割合がこの値以上であると上記の判定に信頼性を損なうと見込まれる割合である。

また、プロセッサ２２２は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定する。判定の具体的な方法については、第１の実施形態における方法と同様である。

また、プロセッサ２２２は、取得画像における局所的な汚れがない領域の平均輝度Ｌ_ａを算出して、算出した平均輝度Ｌ_ａに基づいて一様な汚れの有無を判定する。一様な汚れの有無の判定の具体的は方法については、第１の実施形態又は第２の実施形態における汚れの有無の判定の方法と同様である。

続いて、本実施形態の画像処理システム３の画像処理方法について、図６を参照して説明する。

まず、第１の実施形態と同様に、本画像処理の前提として、汚れ判定実施場所における指示入力又は車両操作入力に基づいて、撮像部２１は、汚れ判定実施場所を特定の画角で撮像する。

撮像部２１によって汚れ判定実施場所が撮像されると、信号処理部２１３が撮像された画像を表す画像信号を画像処理装置２２に出力する。そして、画像処理装置２２のメモリ２２３は、画像信号が表す画像を基準画像として記憶しておく。メモリ２２３は、複数の画像を基準画像として記憶することができる。画像処理装置２２は、指示入力又は車両操作入力がされる度に撮像された画像から、撮像される頻度の高い同一被写体の画像群を選択し、その中の一つの画像を基準画像として記憶することができる。

以上のように、画像処理装置２２のメモリ２２３には、常に基準画像が記憶された状態にある。この状態で、画像処理装置２２に指示入力又は車両操作入力がされると、撮像部２１は画像を撮像する（ステップＳ５１）。

また、指示入力又は車両操作入力がされると、すなわち、ステップＳ５１でカメラ２０によって画像が撮像されるときに、照度計１０は周囲環境の照度Ｉを計測する（ステップＳ５２）。

ステップＳ５１で、画像が撮像されると、プロセッサ２２２が、複数の画像を用いて撮像レンズ２１１の局所的な汚れを検出するための処理を行って、汚れが検出されたか否かを判定する（ステップＳ５３）。

ステップＳ５３で、局所的な汚れが検出されなかった場合、取得画像の全領域と基準画像の全領域とを画像マッチングすることによって、取得画像に撮像された被写体がメモリ２２３に記憶された基準画像に撮像された被写体と同一であるか否かを判定する（ステップＳ５５）。

ステップＳ５３で、局所的な汚れが検出された場合、取得画像において撮像レンズ２１１の局所的な汚れに対応する領域の、全領域に対する局所的汚れ割合を算出し、局所的汚れ割合が閾値未満か否かを判定する（ステップＳ５４）。

ステップＳ５４で局所的汚れ割合が所定の閾値以上であると判定されると、画像処理システム３は処理を終了する。ステップＳ５４で割合が所定の閾値未満であると判定されると、プロセッサ２２２は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定する（ステップＳ５５）。

ステップＳ５５で、取得画像に撮像された被写体が基準画像に撮像された被写体と同一でないと判定された場合、画像処理システム３は処理を終了する。ステップＳ５５で取得画像に撮像された被写体が基準画像に撮像された被写体と同一であると判定された場合、プロセッサ２２２は、取得画像の平均輝度Ｌ_ａを算出する（ステップＳ５６）。

ステップＳ５６では、プロセッサ２２２は、ステップＳ５３で局所的な汚れが検出されなかった場合、取得画像の全領域、又は予め定められた所定の領域の平均輝度Ｌ_ａを算出する。また、プロセッサ２２２は、ステップＳ５３で局所的な汚れが検出された場合、取得画像の全領域又は所定の領域のうち、局所的な汚れがない領域の平均輝度Ｌ_ａを算出する。

ステップＳ５７以降の処理は、第１の実施形態におけるステップＳ１５以降の処理と同様である。ただし、ステップＳ６０において、プロセッサ２２２は、ステップＳ５６で局所的な汚れがない領域について算出された平均輝度Ｌ_ａに基づいて相関関数を算出する。そして、ステップＳ６１においては、ステップＳ６０で局所的な汚れがない領域について算出された平均輝度Ｌ_ａに基づいて算出された相関関数と、ステップＳ５２で測定された照度Ｉとに基づいて理想輝度Ｌ_ｉを算出する。

なお、第３の実施形態のプロセッサ２２２は、図６のステップＳ６１〜Ｓ６５に示すように、平均輝度Ｌ_ａと理想輝度Ｌ_ｉとに基づいて、撮像レンズ２１１の汚れの有無及び汚れ度を判定しているが、この限りではなく、第２の実施形態と同様に第１の相関関数と第２の相関関数とに基づいて、撮像レンズ２１１の汚れの有無及び汚れ度を判定してもよい。

以上、説明したように、第３の実施形態においては、基準画像に撮像されている被写体と同一の被写体が撮像されている取得画像の平均輝度Ｌ_ａと、該取得画像が撮像されたときの照度Ｉとの相関関数を算出し、算出した相関関数とに基づいて撮像レンズ２１１の汚れの有無を判定するため、光源や光フィルタを用いない少ない部品点数で、撮像レンズ２１１が汚れているか否かを把握することができる。これに伴い、光源や光フィルタを設置するための手間及びコストを低減させることができ、簡易に汚れを判定することができるという第１の実施形態と同様の効果を奏する。

また、第３の実施形態においては、プロセッサ２２２は、取得画像における局所的な汚れが撮像されていない領域と、該領域に対応する基準画像上の領域とを用いて、それぞれに撮像されている被写体が同一であるか否かを判定する。そのため、局所的な汚れに起因して被写体が同一であるか否かの判定が不正確になるのを防ぐことができる。

また、第３の実施形態においては、また、プロセッサ２２２は、取得画像における局所的な汚れがない領域の平均輝度Ｌ_ａを算出して、算出した平均輝度Ｌ_ａに基づいて一様な汚れの有無を判定する。そのため、平均輝度Ｌ_ａが局所的な汚れに起因して一様な汚れの有無の判定が不正確となるのを防ぐことができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。

上述の実施形態においては、メモリ２２３には１つの基準画像が記憶されていてもよいし、複数の基準画像が記憶されていてもよい。メモリ２２３に１つの基準画像が記憶されている場合、プロセッサ２２２は、取得画像と１つの基準画像との類似性を示す指標Ｓを算定する。メモリ２２３に複数の基準画像が記憶されている場合、プロセッサ２２２は、取得画像と複数の基準画像それぞれとの類似性を示す指標Ｓを算出し、取得画像に最も類似している基準画像の指標Ｓ、すなわち最も低い指標Ｓ_Ｌについて閾値Ｓ_ｔｈと比較する。そして、プロセッサ２２２は最も低い指標Ｓ_Ｌが閾値Ｓ_ｔｈ未満であると判定した場合、該指標Ｓ_Ｌに係る、取得画像に最も類似している基準画像を用いて上述のように汚れの有無を判定する。この場合、例えば、プロセッサ２２２は、複数の基準画像のうち、取得画像に最も類似している基準画像を一意に識別する画像識別情報を、通信インタフェース２２４を介して表示装置３０等に出力することもできる。

また、上述の実施形態においては、プロセッサ２２２は、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定しているが、この処理において、取得画像の全ての領域を用いてもよいし、取得画像の一部の領域を用いてもよい。また、上述の実施形態においては、プロセッサ２２２は、取得画像の平均輝度Ｌ_ａを算出しているが、この処理では取得画像の全領域を構成する画素の平均輝度Ｌ_ａを算出してもよいし、取得画像の所定の領域を構成する画素の平均輝度Ｌ_ａを算出してもよい。プロセッサ２２２が所定の領域に係る平均輝度Ｌ_ａを算出する場合、全領域に係る平均輝度Ｌ_ａを算出する場合に比べて、処理負荷を低減させることが可能となる。

また、上述の実施形態において、プロセッサ２２２が、基準画像と取得画像との類似性を示す指標Ｓに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体と同一であるか否かを判定しているが、この限りではない。例えば、プロセッサ２２２は、基準画像が取得された位置を表す位置情報と、取得画像が撮像された位置を表す位置情報が一致しているか否かに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体であるか否かを判定してもよい。この場合、移動体４はＧＰＳ受信機を備え、通信インタフェース２２４は、ＧＰＳ受信機から送信された移動体４の位置情報に基づいて撮像位置の位置情報を取得する位置情報取得部として機能する。なお、ここでの「一致」とは厳密な一致を意味するものではなく、基準画像が取得された位置と取得画像が撮像された位置とで同一の被写体が撮像されるであろうと期待される程度に離れていてもよい。

この場合、プロセッサ２２２は、基準画像が取得されたときのカメラ２０の方向を表す方向情報を取得し、位置情報と方向情報とに基づいて、取得画像に撮像された被写体が基準画像に撮像された被写体であるか否かを判定してもよい。この場合、プロセッサ２２２は、移動体４に取り付けられているジャイロセンサによって検出された移動体４の方向に基づいて、検出されたカメラ２０の方向を取得する。

また、上述の実施形態において、プロセッサ２２２が、計測された照度Ｉと、算出された平均輝度Ｌ_ａとの相関関係を示す相関関数を算出する処理において、任意の方法により、照度Ｉに対する平均輝度Ｌ_ａの異常値を検出し、該異常値を除外して相関関数を算出してもよい。

また、上述の実施形態において、プロセッサ２２２は、汚れの有無及び汚れ度を判定するとしたが、例えば、撮像レンズ２１１の曇りの有無及び曇り度を判定してもよい。この場合、通信インタフェース２２４は、表示装置３０、照明装置４０、ＥＣＵ等に、撮像レンズ２１１に曇りがある旨、及び曇り度を含む曇り情報を出力する。

１，２，３ 画像処理システム
４ 移動体
１０ 照度計
１１ 計測部
１２ 通信インタフェース
２０ 撮像装置（カメラ）
２１ 撮像部
２２ 画像処理装置
３０ 表示装置
３１ 通信インタフェース
３２ 表示用プロセッサ
３３ 表示パネル
２１１ 撮像レンズ
２１２ 撮像素子
２１３ 信号処理部
２２１ 画像取得部
２２２ プロセッサ
２２３ メモリ
２２４ 通信インタフェース

Claims (10)

1. 撮像レンズを用いて撮像された画像を取得する画像取得部と、
   前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、
   前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、
   前記画像取得部によって取得された取得画像に撮像されている被写体が、基準画像に撮像されている被写体と同一であるか否かを判定し、前記基準画像に撮像されている被写体と同一であると判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を備える画像処理装置。
2. 前記プロセッサは、前記取得画像と前記基準画像との類似性を示す指標を算出し、該指標に基づいて、前記取得画像に撮像された被写体が前記基準画像に撮像された被写体とが同一であるか否かを判定する請求項１に記載の画像処理装置。
3. 画像が撮像されたときの位置情報を取得する位置情報取得部をさらに備え、
   前記プロセッサは、前記取得画像が撮像された位置情報と前記基準画像が撮像された位置情報とに基づいて、前記取得画像に撮像された被写体が前記基準画像に撮像された被写体と同一であるか否かを判定する請求項１に記載の画像処理装置。
4. 前記プロセッサは、前記相関関係が記憶された以降に取得された照度について前記相関関係を満たす理想輝度を算出し、前記取得画像の輝度情報と前記理想輝度とに基づいて、前記撮像レンズに異物があると判定する請求項１から３の何れか一項に記載の画像処理装置。
5. 前記プロセッサは、前記撮像レンズに異物があると判定した場合、前記取得画像の輝度情報と前記理想輝度との差に基づいて前記撮像レンズの異物の付着度合いを判定する請求項４に記載の画像処理装置。
6. 前記プロセッサは、所定の数の、前記照度と前記輝度情報との組合せが前記メモリに記憶されると、前記所定の数の組合せに基づいて前記相関関係を示す第１の相関関数を算出し、前記所定の数を超えて、前記照度と前記輝度情報との組合せが前記メモリに記憶されると、前記メモリに記憶された最新の、所定の数の組合せに基づいて前記相関関係を示す第２の相関関数を算出し、前記第１の相関関数と前記第２の相関関数との解離度が所定の閾値以上である場合に、前記撮像レンズに異物があると判定する請求項１から３の何れか一項に記載の画像処理装置。
7. 画像処理装置が実行する画像処理方法であって、
   前記画像処理装置が、撮像レンズを用いて撮像された画像を取得する画像取得ステップと、
   前記画像処理装置が、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得ステップと、
   前記画像処理装置が、メモリに、前記画像取得ステップで取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶する記憶ステップと、
   前記画像処理装置が、前記画像取得ステップで取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定する判定ステップと、を含む画像処理方法。
8. 撮像レンズと、
   前記撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を含む画像処理装置と、
   を備える撮像装置。
9. 撮像レンズと、
   前記撮像レンズを用いて画像が撮像される環境の照度を計測する照度計と、
   前記撮像レンズを用いて撮像された画像を取得する画像取得部と、前記画像が撮像されたときに、前記画像が撮像された環境の照度を表す照度情報を取得する照度情報取得部と、前記画像取得部が取得した画像の少なくとも一つを基準画像として記憶するとともに、前記基準画像と同一の被写体を撮像した取得画像の輝度情報と、該取得画像が撮像されたときの前記照度との相関関係を記憶可能なメモリと、前記画像取得部によって取得された取得画像が、前記基準画像と同一の被写体を撮像したものか否かを判定し、前記基準画像と同一の被写体を撮像したものと判定した場合、該取得画像の輝度情報と、該取得画像が撮像されたときの照度と、前記相関関係とに基づいて、前記撮像レンズの異物の有無を判定するプロセッサと、を有する画像処理装置を含む撮像装置と、を備える移動体。
10. 前記画像が撮像される環境を照射する照明装置をさらに備え、
    前記プロセッサは、前記撮像レンズの異物があると判定すると、その旨を表す汚れ情報又は曇り情報を前記照明装置に出力し、
    前記照明装置は、前記汚れ情報又は曇り情報に基づいて明るさを制御する請求項９に記載の移動体。

Images