JP2019096320A - きれい又はよごれたキャプチャ画像判定 - Google Patents

Abstract

【課題】キャプチャ装置によってキャプチャされた画像がきれいであるか又は汚れているかを判定する、改善された方法を提供する。【解決手段】方法は、画像のキャプチャ装置によってキャプチャされた画像を受信すること、受信した画像を所定の分割基準に従って複数の画像部分に分割すること、画像部分の幾つかの各々に対して、画像部分のラプラシアン・フィルタを実行して、画像部分のラプラシアン・フィルタ特徴を含む特徴ベクトルを生成すること、特徴ベクトルの少なくとも幾つかの各々を、対応する画像部分の清潔さ又は汚れの確率的な値を含む清潔さ及び汚れの指数を対応する特徴ベクトルに応じて生成するように学習している第１機械学習モジュールに送信すること及び第１機械学習モジュールによって生成された清潔さ及び汚れの指数に応じて、画像がきれいであるか又は汚れているかを判定することを含む。【選択図】図３

Description

本開示は、キャプチャ装置によってキャプチャされた画像がきれいである（よごれてない）又はよごれているか否かを判定する方法、並びに、このような方法を実行するのに適切なコンピュータ・プログラム及びコンピュータ・システムに関する。

（背景）
当該技術分野において、キャプチャ装置（例えばカメラ）の動作を監視する多くの方法及びシステムが既知であり、その技術水準によれば、例えば、キャプチャ装置によってキャプチャされた画像がよごれているか否かを判定することができる。よごれたキャプチャ画像（例えば、対応するカメラの「外部」レンズがよごれているため）は、信頼性が低く、したがって、対応するアプリケーションでは使用することができない。例えば、車両の障害物検出システムは、十分にきれいでないレンズを通って画像がキャプチャされた場合に、対応するオンボード・カメラ（車載カメラ）からの画像品質が悪いために、使用することができない。レンズは、例えば、粉塵の蓄積、泥の飛沫、悪意のあるペインティング等によって、よごれてしまう。よごれたキャプチャ画像はまた、カメラの内部コンポーネントに悪影響を与えるカメラ内の異常な内部状態（例えば、湿気）から生じ得る。例えば、内部撮像センサは、カメラの不十分な水密性等によって生じた異常状態のために、ゆがんだ像を得ることがある。

オンボードカメラはまた、リアビュー・ミラーとして使用することができる。この場合、キャプチャ画像は、ドライバ（運転者）が運転位置にいる時にそのドライバによって視認されるディスプレイ上に表示される。車は、この型（対応するカメラを備える）のリアビュー・ミラーを少なくとも２つ有することができる。このようなリアビュー・ミラー・システムでは、カメラによって撮像された画像は、合理的にきれいであることが重要である。

カメラ・レンズの清潔さ又は汚れは、例えば、そのレンズの外部表面、すなわち、そのレンズの汚れを生じさせる外部環境に露呈させるレンズ表面の清潔さ又は汚れと言うことができる。仮に、レンズが外部保護薄層を備える場合、レンズの清潔さ又は汚れは、このような保護積層物の清潔さ又は汚れとして解釈される。

画像センサとその画像センサの視野内に形成された透明保護層とを含む画像システムは、既知である。このような画像システムは、所定パターンで発光する光源を含む。画像センサによってキャプチャされた画像データ内の所定パターンの反射バージョンの検出を含む。画像システムは、その後、所定パターンの反射バージョンに応じて、画像センサの視野内の障害物が存在するか否かを判定する。

周辺状況の画像領域の用途の画像装置も既知である。画像装置は、画像装置の視野内に存在する物体及びテクスチャ（texture）に関する情報を捕捉することができる。その後、視野内の物体又はテクスチャは、画像装置によって認識される。認識された物体の形状又はテクスチャとその物体の形状又はテクスチャに関して得られていた情報とに基づき、認識された物体の形状又はテクスチャの歪み度が、計算される。対応するレンズの清潔さ又は汚れは、その後、認識された物体の形状又はテクスチャから計算された歪み度に基づき判定される。

他の既知の検出装置は、カメラのレンズ汚れが重くなるほど、画像の合成波の変化が大きくなるという事実に焦点を当てている。この検出装置は、合成波の各画像周波数成分を抽出すること、及び、背景画像とは無関係にその周波数成分間の大小関係の変化（画像周波数パワー分布）を分析することによって、カメラ上のレンズ汚れの有無を検出する。

本開示の目的は、キャプチャ装置によってキャプチャされた画像がきれいである又はよごれているか否かを判定する従来技術の方法並びにコンピュータ・プログラム及びコンピュータ・システムを改善することである。

（概要）
第１の態様において、画像のキャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているか否かを判定する方法が提供される。その方法は、前記キャプチャ装置によってキャプチャされた画像を受信すること、及び、受信した前記画像を所定の分割基準に従って複数の画像部分に分割すること、を含む。

その方法は、前記画像部分の幾つかの各々に対して、前記画像部分のラプラシアン・フィルタを実行して、前記画像部分のラプラシアン・フィルタ特徴を含む特徴ベクトルを生成すること、を更に含む。

その方法は、生成した前記特徴ベクトルの少なくとも幾つかの各々を第１機械学習モジュールに送信又は供給すること、を更に備え、前記第１機械学習モジュールは、対応する特徴ベクトルに応じて清潔さ／汚れの指数を生成するように学習され、前記清潔さ／汚れの指数は、対応する画像部分の清潔さ又は汚れの確率的な値を含む。

その方法は、前記第１機械学習モジュールによって生成された清潔さ／汚れの前記指数に応じて、前記画像がきれいであるか又はよごれているかを判定すること、を更に含む

前述のとおり、キャプチャされた画像内の汚れは、対応するカメラのレンズ上など、例えば、粉塵の蓄積、泥の飛沫、悪意のあるペインティング等によって、多様な理由によって生じる。よごれているキャプチャ画像は、カメラの内部コンポーネントに悪影響を与えるカメラ内の異常な内部状態（湿度等）によっても生じる。例えば、内部の撮像センサは、カメラの低い耐水性等によって生じた異常な状態に起因して、ゆがんで機能し得る。この意味において、本開示を通して、表現間の以下の等価性が想定されている。

発明者らは、画像から算出された、例えば尖度、平均値、分散、モーメント、平均グレー値等のラプラシアン・フィルタ特徴が、驚いたことに、対応する画像（の部分）の清潔さ／汚れの信頼できる指数を提供できることを認識した。更に、発明者らは、機械学習技術によって効率的に且つ柔軟に実施できる、ラプラシアン・フィルタ特徴と清潔さ／汚れの状態との間の信頼できる相関又は対応を認識した。したがって、提案する方法は、カメラによって撮像された画像の清潔さ／汚れのレベルを自動的に検出するための信頼できる手法を提供することができる。加えて、提案する方法は、例えば、線形分類器、サポート・ベクター・マシン（ＳＶＭ）等を備える第１機械学習モジュールにおける定期的な又は時間どおりの学習によって、その信頼性を更に改善することができる。

分割の勝利の戦略は、ラプラシアン・フィルタに提供される撮像画像から部分への分割によって、その提案方法に適用することができる。その後、結果として得られるラプラシアン・フィルタ特徴は、部分レベルでの清潔さ／汚れの指数を生成するために、分類器（又は同様のモジュール）に提供される。最後に、全体画像の状態は、清潔さ／汚れの指数に応じて判定される。画像は、精度と効率との間の良好なバランスを達成するために、（より）大きい又は（より）小さい部分に分割することができる。小さい部分は方法の精度を改善する一方、大きい部分はその効率（実行時間）を改善する。方法を試験的に実施して、所望の精度及び効率の条件を満たす最適な分割基準を見つけることもできる。分割基準は、方法（及び対応するソフトウェア）のライフサイクルに沿って精度及び効率間の最善のバランスを確保するために必要な回数だけ再調整することもできる。

全体として、キャプチャ画像の清潔さ／汚れの状態を判定するために、異なるアプローチ又はその組み合わせが考えられる。第１のアプローチにおいて、部分レベルの清潔さ／汚れの指数が集約されて、結果として得られた集約値は、画像の清潔さ／汚れを決定するための対応する閾値と比較することができる。第２のアプローチにおいて、きれいである部分（又はよごている部分）の数は、部分レベルの清潔さ／汚れの指数に応じて決定され、きれいである部分（又はよごている部分）のその数は、画像の清潔さ／汚れを決定するための対応する閾値と比較することができる。第３のアプローチにおいて、第２機械学習モジュールを使用すれば、清潔さ／汚れの指数に応じて、画像の状態を生成することができる。これらについての詳細は、本開示の別の部分で説明する。

本開示に従う方法において画像が処理される状態を改善するために、画素又は部分／指数のレベルで、キャプチャされた画像に異なるフィルタを適用することができる。潜在的に間違った汚れ検出を訂正するために、エッジ／シャープネスの分析に基づく部分／指数のレベルに、コンテキストベースのフィルタを適用することができる。時間フィルタを部分／指数のレベルに実行すれば、外れ値としての清潔さ／汚れの指数を識別し、その後、その外れ値の訂正／破棄を実施することができる。ラプラシアン・フィルタを画像レベルに実行すれば、前述のエッジ／シャープネスの分析が容易になる。これらのフィルタについての詳細は、本開示の別の部分で説明する。

第２の態様において、プログラム命令を備えるコンピュータ・プログラムが提供され、ここで、そのプログラム命令は、上述の方法をコンピュータ・システムに実行させて、キャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているか否かを判定させることができる。コンピュータ・プログラムは、記録媒体に組み込まれ、且つ／又は、搬送信号によって運ばれる。

第３の態様において、画像のキャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているか否かを判定するシステムが提供される。そのシステムは、キャプチャ装置によってキャプチャされた画像を受信するための受け付け（受信）モジュールと、受信した画像を所定の分割基準に従って複数の画像部分に分割するための分割モジュールと、を備える。

システムは、更に、画像部分の幾つかの各々に対して、画像部分のラプラシアン・フィルタを実行して、画像部分のラプラシアン・フィルタ特徴を含む特徴ベクトルを生成するためのフィルタ・モジュールを備える。

システムは、更に、生成した特徴ベクトルの少なくとも幾つかの各々を第１機械学習モジュールに供給（送信）するための供給（送信）モジュールを備え、ここで、第１機械学習モジュールは、対応する特徴ベクトルに応じて清潔さ／汚れの指数を生成するように学習され、また、清潔さ／汚れの指数は、対応する画像部分の清潔さ又は汚れの確率的な値を含む。

システムは、更に、第１機械学習モジュールによって生成された清潔さ／汚れの指数に応じて、画像がきれいであるか又はよごれているか否かを判定するための状態判定モジュールを備える。

システム（すなわち、その中のモジュール）は、その詳細が本開示の別の部分で説明されているように、コンピュータ手段、電子手段、又はその組み合わせによって実施することができる。

本明細書において、用語の「モジュール」は、ソフトウェア、ファームウェア、ハードウェア、及び／又は、それらの多様な組み合わせを意味するものとして理解することができる。なお、モジュールは、例示的なものである。様々なアプリケーションをサポートするために、モジュールの組み合わせ、統合、分離、及び／又は複製を実施することができる。また、本明細書に説明される、特定のモジュールで実施される機能は、特定のモジュールで実施される機能の代わりに、或いは、その機能に加えて、１以上の他のモジュール及び／又は１以上の他の装置によって実施することができる。

更に、モジュールは、ローカル又はリモートである、複数のデバイス及び／又はその他の複数のコンポーネントによって実装することができる。加えて、モジュールは、１の装置から移動して他の装置に追加されてもよく、また、モジュールは、その両方の装置に組み込まれてもよい。ソフトウェア実装は、コンピュータ・コードを記憶可能である、例えば、メモリ装置、フロッピ・ディスク、コンパクト・ディスク（ＣＤ）、デジタル多目的ディスク（ＤＶＤ）、又は、その他の装置等の１以上の記憶媒体に、実体的に組み込むことができる。

幾つかの例において、車両ビジョン・システムは、キャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているか否かを判定するための上述の任意のシステムを備える状態で、提供することができる。車両も、このようなビジョン・システムを備える状態で、提供することができる。車両は、自動車とすることができる。画像のキャプチャ装置は、カメラ又はライダー（LIDAR）又は小さい装置とすることができる。

これらの利点及び特徴並びに他の利点及び特徴は、詳細な説明及び図面を考慮することによって明らかになるであろう。

（図面の簡単な説明）
これに限定されることのない本開示の例は、添付の図面を参照しながら、以下に説明される。
図１は、キャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているかを判定する例に従うシステムを備えることができる監視システム又はビジョン・システムの概略図を示す。 図２は、キャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているかを判定する例に従うシステムの概略ブロック図である。 図３は、キャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているかを判定する例に従う方法の概要フローチャートである。 図４ａ及び図４ｂは、本開示に従う方法に適した例のコンテキストベースのフィルタを概要的に図示する。

（実施例の詳細な説明）
図１は、キャプチャ装置によってキャプチャされた画像がきれいである（clean）か又はよごれている（dirty）かを判定する例に従うシステムを備えることができる監視システム又はビジョン・システムの概略図を示す。キャプチャ装置100（例えばカメラ）は、対応するレンズ101を介して周囲の画像（例えば、写真、ビデオ等）を取り込むように、構成することができる。カメラ100は、図において、監視カメラである。しかしながら、他のアプリケーションも想定され、例えば、障害物を検出するための車両内の検出カメラ／ビジョン・カメラ、運転支援システム、リアビューミラー・ミラー・システム等の車両のその他のモニタリング・システムが含まれる。このようなビジョン・システムは、任意の型の任意の媒体上を移動できる車両、例えばボート、飛行機、車等に適している。

上述のアプリケーション及びその他の何れにおいても、カメラ100のレンズ101は、例えば、粉塵の蓄積、泥の飛沫、悪意のあるペインティング等によって、よごれてしまう可能性がある。レンズの汚れが酷い時に、カメラ100は、品質が十分でない画像を生成することになる。したがって、例えば、自動洗浄システムの起動、手動クリーニング用アラームのトリガ等の対応する是正措置を講じるために、レンズの101の汚れがいつ酷くなったのかを判定することが重要である。

カメラ100は、コンピュータ・システムと接続可能であり、コンピュータ・システムは、レンズ101がきれいであるか又はよごれているかを判定するために、カメラからの画像を処理することができる。幾つかの例において、コンピュータ・システムは、参照符号102で示されるように、カメラ100に対してローカルに配置することができる。特に、コンピュータ・システム102は、カメラに内蔵されてもよい。他の例において、コンピュータ・システムは、適切な接続107を介してカメラ100と接続可能なクラウド・システム104であってもよい。別の他の例において、例えばインターネット等の接続ネットワーク103を介してカメラ100と接続可能なリモート・システム105であってもよい。この場合、カメラ100及びネットワーク103間の対応する接続106と、ネットワーク103及びリモート・システム105間の対応する接続108と、が実施されてもよい。

コンピュータ・システム102,104,105は、本開示に従うレンズの清潔さ／汚れを判定するシステムを含むことができる。清潔さ／汚れを判定するシステムは、コンピュータ・システム102,104,105の中の何れか１つ中に完全に組み込まれてもよく、或いは、コンピュータ・システム102,104,105間の幾つかに分散されてもよい。後者の場合、例えば、レンズの清潔さ／汚れを判定するシステムを構成する幾つかのモジュールがコンピュータ・システム102,104,105のうちの１つに在中し、残りのモジュールがコンピュータ・システム102,104,105のうちの他に設けられてもよい。この分散手法において、コンピュータ・システム102,104,105は、したがって、レンズの清潔さ／汚れを判定するための対応する機能を協働して実施することができる。

レンズの清潔さ／汚れを判定するシステムは、コンピュータ手段、電子手段、又はその組み合わせによって実施することができる。コンピュータ手段は、１組の命令（すなわち、コンピュータ・プログラム）であってもよく、次に、レンズの清潔さ／汚れを判定するシステムは、メモリ及びプロセッサを備えて、そのメモリ内に記憶された１組の命令が組み込まれて、それらの命令は、そのプロセッサによって実行可能である。命令は、レンズの清潔さ／汚れを判定する方法を実行するための機能を備える。

レンズの清潔さ／汚れを判定するシステムが電子手段によって実施される場合、そのコントローラは、例えば、ＣＰＬＤ（Complex Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）、又は、ＡＳＩＣ（Application-Specific Integrated Circuit）である。

レンズの清潔さ／汚れを判定するシステムが電子手段及びコンピュータ手段の組み合わせによって実施される場合、コンピュータ手段は、１組の命令（例えばコンピュータ・プログラム）であり、また、電子手段は、レンズの清潔さ／汚れを判定する方法における対応する１又は複数のステップを実施可能な任意の電子回路である。

コンピュータ・プログラムは、記憶媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢドライブ、コンピュータ・メモリ又はＲＯＭ）に組み込まれるか、或いは、搬送信号（例えば、電気搬送信号又は光搬送信号）によって運ばれる。

コンピュータ・プログラムは、ソース・コード、オブジェクト・コード、部分的にコンパイルされている等のコード中間ソース及びオブジェクト・コード等の形式で、或いは、レンズの清潔さ／汚れを判定する方法の実施に使用が適したその他の形式である。そのコンピュータ・プログラムは、任意の物体又はデバイスで運ぶことができる

例えば、運ぶものは、ＣＤ−ＲＯＭ、半導体ＲＯＭ、その他のＲＯＭ等の記憶媒体、或いは、ハードディスク等の磁気記録媒体を備える。更に、運ぶものは、電気ケーブル又は光ケーブルを介して、或いは、ラジオ又はその他の手段によって、搬送される電気信号又は光信号等の送信可能なキャリアであってもよい。

ケーブル又は他の装置若しくは手段によって直接に搬送される信号にコンピュータ・プログラムが組み込まれる場合、運ぶもの又はキャリアは、このようなケーブル又は他の装置若しくは手段によって構成される。

代替的に、運ぶもの又はキャリアは、コンピュータ・プログラムが組み込まれた集積回路（IC: integrated circuit）であってもよく、そのＩＣは、レンズの清潔さ／汚れを判定する方法を実行するように、或いは、その方法の実行に使用できるように、適合される。

図２は、キャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているかを判定する例に従うシステム200の概略ブロック図である。システム200は、図１に示されたものと同様な手法に使用することができるので、先の図面の参照符号は、図２の説明に使用することができる。システム200は、受け付けモジュール201、分割モジュール202、フィルタ・モジュール203、供給モジュール204及び状態判定モジュール205を備えることができる。

受付モジュール201は、レンズ101を通って画像キャプチャ装置100によってキャプチャされた画像を受信するように、構成される。システム200がカメラ100に関してリモート／クラウドの位置である時に、受付モジュール201は、通信機能を備えることができる。システム200がカメラ100に対してローカルに配置される時に、受付モジュール201は、カメラ100及びシステム200間の物理的な接続機能を備えることができる。システム200がカメラ100の内部にある時に、受付モジュール201は、画像キャプチャ・ハードウェア／ソフトウェアと清潔さ／汚れ判定ソフトウェア／ハードウェアとの間のインターフェース機能を備えることができる。カメラ100及びシステム200間の接続は、任意の型の既知の無線又は有線とすることができる。画像が受信されると、受付モジュール201は、画像を分割モジュール202に提供する。

分割モジュール202は、事前定義された分割基準に従って、受信した画像を複数の画像部分に分割するように、構成される。その目的に使用される分割基準は、任意であって、例として、例えば四角形、矩形等のｎ×ｍの画像部分からなるマトリックスである。レンズ101の清潔さ／汚れの判定精度を増加させるために、より小さい部分を使用することができる。或いは、より大きい部分を使用することで、レンズ101の清潔さ／汚れの判定時間を減少させることができる。画像部分の寸法は、精度及び実行時間（効率）間で良好なバランスを保てるように、事前に定義することができる。画像が分割されると、分割モジュール202は、その部分的な画像をフィルタ・モジュール203に供給することができる。

フィルタ・モジュール203は、各画像部分（又は少なくとも幾つかの画像部分）に関して、画像部分のラプラシアン・フィルタを実行して画像部分のラプラシアン・フィルタ特徴を含む特徴ベクトルを生成するように、構成される。特徴ベクトルは、画像部分のラプラシアン・フィルタにおける尖度、平均値、分散、モーメント等のラプラシアン・フィルタ特徴を含むことができる。驚くべきことに、発明者らによる様々な実験から、ラプラシアン・フィルタ特徴と画像部分の清潔さ／汚れとの間に良好で正確な相関が明らかになった。発明者らは、更に、その良好な相関が例えば分類技術等の機械学習技術を介して効果的に実施できることを確認した。画像部分の特徴ベクトルが生成されると、フィルタ・モジュール203は、その特徴ベクトルを供給モジュール204に供給することができる。

供給モジュール204は、生成された各特徴ベクトルを第１機械学習モジュールに供給するように、構成することができ、その第１機械学習モジュールは、対応する特徴ベクトルに応じた清潔さ／汚れの指数を生成するように訓練又は学習されている。清潔さ／汚れの指数は、対応する画像部分の清潔さ又は汚れの統計的な値を含むことができる。第１機械学習モジュールは、供給モジュール204内に設けられてもよく、或いは、供給モジュール204の外部にあってもよい。第１機械学習モジュールは、例えば線形分類器（linear classifier）、サポート・ベクター・マシン（SVM: Support Vector Machine）等、或いは、それらの組み合わせを備えることができる。既知の機械学習手法を使用すれば、ラプラシアン・フィルタ特徴と清潔さ／汚れの統計的な指数／値との間の既知の相関を満たすサンプル・データに基づき、第１機械学習モジュールをオフラインでトレーニング又は学習させることができる。清潔さ／汚れの指数が生成されると、供給モジュール204は、その指数を状態判定モジュール205に供給することができる。

状態判定モジュール205は、第１機械学習モジュールによって生成された清潔さ／汚れの指数に応じて、画像がきれいであるか又はよごれているかを判定するように、構成することができる。状態判定モジュール205は、したがって、第１機械学習モジュールによって生成された清潔さ／汚れの指数（部分的なレベル）に応じて、レンズ全体がきれいであるか又はよごれているかを示す全体としての統計的な値を生成することができる。状態判定モジュール205は、以下の状態判定アプローチの何れかに基づくことができる。

第１状態判定アプローチにおいて、第１機械学習モジュールによって提供された清潔さ／汚れの指数は、集約（加算、蓄積）されて、画像／レンズの全体の清潔さ／汚れの指数が生成されて、それは、全体の清潔さ／汚れの閾値と比較される。全体の清潔さ／汚れの指数が全体の清潔さ／汚れの閾値を超える場合、そのレンズに起因してよごれた状態となる。そうでない場合、そのレンズに起因してきれいな状態となる。全体の清潔さ／汚れの閾値は、新しい既知の入力データと対応する予想出力データとに基づき定期的に又は時間的に調整（adjust）することができる。このように、この方法の精度は、方法（並びに、対応するシステム及びソフトウェア）のライフサイクルに応じて、継続的に改善することができる。

第２状態判定アプローチにおいて、第１機械学習モジュールによって提供された清潔さ／汚れの指数は、部分がきれいであるか又はよごれていると判定されたか否かに応じて、カウントされる。このカウントは、したがって、きれない部分の数及び／又はよごれている部分の数を生成することができる。レンズ全体は、その生成された、きれない部分の数及び／又はよごれている部分の数に応じて、きれいであるか又はよごれているかを判定される。１例において、よごれている部分の数がよごれている部分の閾値を超える場合、そのレンズに起因してよごれた状態となる。そうでない場合、そのレンズに起因してきれいな状態となる。別の例において、きれいである部分の数がきれいである部分の閾値を超える場合、そのレンズに起因してきれいな状態となる。そうでない場合、そのレンズに起因してよごれた状態となる。このように、部分の清潔さ／汚れの閾値は、新しい既知の入力データと対応する予想出力データとに基づき定期的に又は時間的に調整することができる。このように、この方法の精度は、方法（並びに、対応するシステム及びソフトウェア）のライフサイクルに応じて、継続的に改善することができる。

第３状態判定アプローチにおいて、第１機械学習モジュールによって提供された清潔さ／汚れの指数は、第２機械学習モジュールに送られ、その第２機械学習モジュールは、部分の対応する清潔さ／汚れの指数に応じて、画像に関する全体の清潔さ／汚れの指数を生成するように、トレーニングされている。幾つかの例において、第２機械学習モジュールから出力された画像の全体の清潔さ／汚れの指数は、レンズの状態を直接に仮定することができる。他の例において、レンズの状態は、場合によっては、第２機械学習モジュールから出力された画像の全体の清潔さ／汚れの指数に何らかの変更を実施することによって、得ることができる。

第２機械学習モジュールは、状態判定モジュール205内に設けられてもよく、或いは、第２機械学習モジュールの外部にあってもよい。第２機械学習モジュールは、例えば線形分類器、サポート・ベクター・マシン（ＳＶＭ）等、或いは、それらの組み合わせを備えることができる。既知の機械学習手法を使用すれば、部分レベルの清潔さ／汚れの指数と画像全体の全体的な清潔さ／汚れの指数との間の既知の相関を満たすサンプル・データに基づき、第２機械学習モジュールをオフラインでトレーニングさせることができる。このように、この方法の精度は、方法（並びに、対応するシステム及びソフトウェア）のライフサイクルに応じて、継続的に改善することができる。

上述の状態決定アプローチの任意の組み合わせは、より正確な結果を生成するために、状態決定モジュール205と協働して実施することができる。例えば、異なる状態判定アプローチを実施する異なるサブモジュールから得られた結果を組み合わせて、画像全体／レンズ全体の清潔さ／汚れの結合指数を生成することができる。この組み合わせ又は結合は、例えば、レンズに起因する最終的な状態として仮定される平均指数の計算に基づくことができる。平均指数の計算は、重み付き（weighted）計算であってもよく、例えば、各状態決定アプローチに関連する指数は、対応する状態判定アプローチに起因する事前定義された信頼度（confidence）に基づき重み付けすることができる。

システム200は、汚れ（よごれた部分）を示す清潔さ／汚れの指数で近隣（連続）画像部分からなる１以上のよごれたブロックを判定し、且つ、その１以上のよごれたブロックの１以上のエッジを検出するために、コンテキスト（context）ベースのフィルタ・モジュール（図示せず）を更に備えることができる。コンテキストベースのフィルタ・モジュールは、１以上のエッジのシャープネスを判定するように、更に構成することができる。コンテキストベースのフィルタ・モジュールは、エッジに隣接するきれいな部分のシャープネス及び／又は清潔さ指数（汚れ指数）に応じて、よごれたブロックのよごれた部分の清潔さ／汚れの指数を調整するように、更に構成することができる。きれいな部分は、清潔さを示す清潔さ／汚れの指数を持つ部分である。

本発明者らは、レンズ上の清潔から汚れへの、又はその逆の、イメージ化された変化が急激ではなくむしろ緩やかであることを認識した。したがって、過大なシャープネスは、一般的にはレンズ上の汚れに対応しない急激な変化を示すことができる。例えば、車載カメラによって撮像された画像内の明確なシャープネス（急激さ）は、レンズ上の汚れではなくむしろ、道路マージン、道路ライン等に対応する傾向にある。したがって、過度に急激な変化／エッジが検出される時に、提案したコンテキストベースのフィルタ・モジュールは、汚れ確率（清潔さ／汚れの指数）の減少に基づき汚れの誤検出を訂正（correct）し又は低くすることができる。

シャープネスは、よごれているブロック内のエッジに含まれる汚れ部分の例えば尖度に応じて、決定することができる。このシャープネスは、第３機械学習モジュール（例えば線形分類器、ＳＶＭ等）に入力することができ、その第３機械学習モジュールは、シャープネスに応じて清潔さ／汚れの確率変化を出力するように、トレーニングされている。その後、よごれているブロック内の汚れ部分の清潔さ／汚れの指数は、第３機械学習モジュールによって生成された清潔さ／汚れの確率変化に従って変更することよって調整することができる。清潔さ／汚れの確率の変化は、対応する清潔さ／汚れの指数に加算又は減算される確率的な値を備えることができる。これを考慮すれば、よごれていると以前に分類された画像部分は、提案したコンテキストベースのフィルタ実行の結果としてきれいであると再分類することができる。画像部分のシャープネスは、フィルタ・モジュール203によって生成された画像部分の特徴ベクトル内に含まれるラプラシアン・フィルタ特徴に応じて判定することもできる。

前述の清潔さ／汚れの確率変化の判定は、（追加的に、或いは、代替的に）エッジに隣接するきれいである部分の全体の清潔さの判定を備えることができる。この全体の清潔さは、隣接するきれいである部分の清潔さ／汚れの指数の、例えば代表値、平均値、最大値、集計値等に対応することができる。この全体の清潔さは、例えば、前述の第３機械学習モジュールによって考慮されてもよく、これにより、よごれているブロック内の汚れ部分に伝搬される、対応する清潔さ／汚れの確率変化を生成してもよい。全体の清潔さが高い程、清潔さ／汚れの確率変化への隣接するきれいな部分による影響が高くなる。全体の清潔さが低い程、清潔さ／汚れの確率変化への隣接するきれいな部分による影響が低くなる。

図４ａ及び図４ｂは、本開示に従う方法に適した例のコンテキストベースのフィルタを概要的に図示する。図４ａは、きれいな部分403,404（白い正方形）及びよごれている部分401,402（影付き正方形）が判定された受信画像400を示す。きれいな部分は、清潔さを示した清潔さ／汚れの指数を有する画像部分である一方、よごれている部分は、汚れを示した清潔さ／汚れの指数を有する画像部分である。清潔さ／汚れの指数が汚れを示している隣接の画像部分である２つのブロック401,402は、特定の例において、判定されている。よごれている部分のブロックは、注目領域（ＲＯＩ: Regions of Interest）401,402としても示されている。

簡略化のために、図４ｂは、先の図からの隣接のよごれている部分（又はセル（cell））のブロック又は注目領域（ＲＯＩ）401,402のうちの１つにフォーカスする。特に、汚れ部分401のブロックは、より詳細に図示されている。ブロック401のエッジは、複数の隣接するきれいな部分／セルを有するブロック401内のよごれている部分（又はセル）の選択によって判定される。複数の隣接するきれいな部分を備える、このよごれている部分の選択は、画像400の最外部分を無視することができる。よごれている部分／セルのＲＯＩ内に含まれる（画像の）最外部分／セルは、ＲＯＩ境界（border）セルと呼ぶこともできる。

図示の特定の例において、よごれているセル410は、２つの隣接するきれいなセル413,414を有し、また、よごれているセル411は、３つの隣接するきれいなセル413,414,415を有し、また、よごれているセル412は、３つの隣接するきれいなセル414,415,416を有する。同様に、よごれている部分／セル407は、３つの隣接するきれいなセルを有することが図示されている。したがって、よごれている部分410,411,412は、ブロック／ＲＯＩ401のエッジ409を形成し、また、単一のよごれている部分407は、ブロック／ＲＯＩ401の他のエッジを形成する。ＲＯＩのエッジを形成する部分／セルは、ＲＯＩ外郭（contour）セルと呼ぶこともできる。

画像400の最外部分部分は、画像400の最左列417、最右列418、最始行419及び最終行420に含まれる部分である。図示の特定の例において、領域405を形成する３つの部分及び領域406を形成する８つの部分は、複数の隣接のきれいな部分を有する、よごれている部分の選択から除外される。したがって、領域405及び406の部分は、ブロック401のエッジを有していない。言い換えれば、ＲＯＩ境界セル405,406は、ＲＯＩ外郭セル407,409ではない。同様に、エッジ407は、３つの隣接するきれいなセルのうちの２つが画像の最外セルであるので、無視される。特に、この２つの隣接するきれいなセルは、画像400の最始行419内に含まれている。

ブロック401のエッジ409が決定されると、対応するシャープネスは、そのエッジ内の画像部分に対して決定される。このようなシャープネスは、説明中の他の部分で提案された手法のように、その目的を達成する既知の方法に従って決定することができる。決定された（すべての又は部分的な）各シャープネスに関して、シャープネスが事前定義された急激な閾値を超えているか否かの検証を実施することができる。検証が肯定／真の場合、そのようなシャープネスを有する画像部分は、候補として、調整された清潔さ／汚れの指数を維持することができる。そうでない場合、そのシャープネスを有する画像部分は、無視される。

急激な閾値は、シャープネスがその閾値を超える時に清潔さから汚れへの（又はその逆の）急激な／明確な移行、又は、シャープネスがその閾値を超えない時に滑らかな／緩やかな変化を意味するように、事前に定義することができる。シャープネスと閾値との一致は、急激な／緩やかな移行をおおよそ意味することができる。急激な閾値は、可能な限り網羅的に、多様な急激な変化及び緩やかな変化を表す既知の入力及び出力でトレーニングされた線形分類器等を介して、事前に定義することができる。

ＲＯＩ401のセルの清潔さ／汚れの指数（清潔さ／汚れの確率的な値／信頼度）は、エッジ／外郭409の隣のきれいな部分413,414,415,416の全体の清潔さに応じて、調整することができる。ＲＯＩ401内のセルの清潔さ／汚れの指数は、（外郭／エッジの各々又は幾つかに対して）以下の式を介して計算されるアルファ因子に依存する上述の原理に従って調整することができる。

ここで、
「adjusted weight contour」は、対応する外郭／エッジのアルファ係数であり、
「#cells region contour」は、外郭におけるセル数（図４ｂの例において、外郭409は、３つのセル410,411,412を有する）であり、
「#cells border of ROI」は、ＲＯＩの境界におけるセル数（図４ｂの例において、境界405が３つのセルを有し境界406が８つのセルを有するので、ＲＯＩの境界におけるセル数は、１１である）であり、
「WEIGHT_COUNTOUR」は、多様な例示的な状況を表す既知の入力及び出力で線形分類器等をトレーニングすることによって（再）定義することができるトレーニング（学習）後係数である。

アルファ係数（adjusted weight contour）が対応するＲＯＩ401に対して計算されると、隣接するきれいなセルの最大の（maximum）／より高い（higher）清潔さ／汚れの指数の測定が決定される。測定の決定は、対応する外郭におけるセルの各々（又は幾つか）に対して、最大の／より高い清潔さを表す隣接のきれいなセルの清潔さ／汚れの指数／信頼度を選択することを含む。特定の例において、きれいなセル413,414の最大の／より高い清潔さ／汚れの指数は、よごれたセル410のために選択されてもよく、また、きれいなセル413,414,415の最大の／より高い清潔さ／汚れの指数は、よごれたセル411のために選択されてもよく、また、きれいなセル414,415,416の最大の／より高い清潔さ／汚れの指数は、よごれたセル412のために選択されてもよい。

最大の／より高い清潔さ／汚れの指数の上述の選択が完了すると、選択された最大の／より高い清潔さ／汚れの指数（又は確率／信頼）が加算（追加）される。加算の結果は、その後、考慮された外郭／エッジにおけるセル／部分の数によって除算され、これにより、隣接のきれいなセルの清潔さは、対応する外郭によって承継されるという信頼度を得ることができる。次の式は、したがって、その目的のために使用することができる。

ここで、
「clean confidence contour」は、外郭がその隣のきれいなセルの清潔さを承継するという信頼度である、
「#cells region contour」は、対応する外郭におけるセル数（図４ｂの例において、外郭409は、３つのセル410,411,412を有する）であり、
「maximum clean confidence_i」は、選択された外郭におけるｉ番目のよごれているセルに隣接するきれいなセルの清潔さ／汚れの指数／信頼度であり、それは、ｉ番目のよごれているセルのうち他のものと比較して最大の／より高い清潔さを表しており、
「Σ_{i∈region countor} maximum clean confidence_i」は、外郭におけるよごれているセルの各々（又は幾つか）のために選択された隣接のきれいなセルの清潔さ／汚れの指数／信頼度の加算である。

clean confidence contour（外郭清潔信頼度）が決定されると、ＲＯＩ内のセルの清潔さ／汚れの指数／信頼度は、adjusted weight contour（外郭調整重み）に依存する高い効果又は低い効果によって調整することができる。この調整は、以下の式によって決定することができる。

ここで、
「corrected clean confidence inner cell」は、ＲＯＩ内の対応するセルの調整された清潔さ／汚れの指数又は信頼度であり、
「clean confidence inner cell」は、（調整前の）セルの現在の清潔さ／汚れの指数又は信頼度である。

システム200は、キャプチャ装置によって時間とともにキャプチャされた異なる画像において画像部分の清潔さ／汚れの指数に関して時間フィルタを実施するように構成された時間フィルタ・モジュール（図示せず）を更に備えることができる。一連の画像がカメラ100によってキャプチャされる場合、特定の画像部分は、その一連の画像中の１つの画像から他の画像に変化する状態（清潔さ／汚れの指数）を明らかにすることができる。提案した時間フィルタ実行は、事後分析用等、廃棄され、訂正され、記憶される外れ値（異常値）の指数を検出することを含むことができる。

外れ値の検出は、対応する画像部分の清潔さ／汚れの指数の要約値（例えば、最大値、平均値、中央値等）を決定すること、及び、要約値に関する清潔さ／汚れの指数の偏差が事前に定義された偏差閾値を超えているか否かを決定することを含むことができる。事前に定義された偏差閾値を超える清潔さ／汚れの指数は、その後、外れ値として分類される。時間Ｔで撮像された画像内の部分の清潔さ／汚れの指数が要約値に関して大きな偏差を有し、且つ、時間Ｔ＋Δ及び／又はＴ−Δで撮像された他の画像内の部分の清潔さ／汚れの指数が非常に小さな偏差を有する場合、何か異常が発生した可能性がある。この場合、その異常である又は外れの指数を破棄し、（例えば補間技術に基づき）外れの指数を訂正し、事後解析、解析等のために外れの指数を記録する等の是正措置を実施することができる。

提案した時間フィルタは、カメラ100によって撮像された一連の画像のすべての画像部分に適用することができる。所定数の画像を含む一連うちの画像の間隔／範囲は、部分レベルでの時間フィルタを実行するように、考慮することができる。

システム200は、画素レベルで対応する画像にラプラシアン・フィルタを実行するように構成されたラプラシアン・フィルタ・モジュール（図示せず）を更に備えることができる。このフィルタ実行は、ラプラシアン畳み込み（convolution）カーネルを決定すること、及び、画像の各画素にラプラシアン畳み込みカーネルを適用することを含むことができる。ラプラシアン畳み込みカーネルは、例えば[0 1 0; 1 -4 1; 0 1 0]のような典型的なマトリックス構成の形式で事前に定義することができる。このマトリックス（又は同様のもの）は、画像内の各画素の値によって畳み込まれ、結果的に連続する画素に影響を与えることができる。ラプラシアン・フィルタは、画像内の急激な変化（エッジ）の領域の発見を容易にする微分フィルタである。したがって、ラプラシアン・フィルタは、（本開示の他の部分で説明されているように）コンテキストベースのフィルタ・モジュールによって実行されるエッジ（及びシャープネス）の検出を容易にするために実行することができる。ラプラシアン・フィルタ実行は、カメラ100によって取り込まれたすべての画像上で個別に（画素レベルで）実行されてもよい。

図３は、キャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているかを判定する例に従う方法の概要フローチャートである。この方法は、先の図面に関して説明したようなシステムによって実施することができる。したがって、図１及び図２の参照符号は、以下の図３の説明に使用することができる。

ブロック300では、方法は、例えば、その方法の開始要求をシステム200によって受信することなど、その結果としてスタート（start）する。この要求は、対応する車両、監視システム、ビジョン・システム等がオンされる時などに、自動的に生成することができる。

ブロック301では、レンズ101を通ったカメラ100によってキャプチャされた画像は、システム200によって受信される。この機能は、システム200の受け付けモジュール201によって実行することができる。このモジュール201に関して説明した機能原理は、このブロック301に関して同様に考慮することができる。

ブロック302では、受信された画像は、事前に定義された分割基準に従って、複数の画像部分に分割することができる。この機能は、システム200の分割モジュール202によって実行することができる。このモジュール202に関して説明した機能詳細は、このブロック302に関して同様に考慮することができる。

ブロック303では、（ブロック302からの）画像部分の少なくとも幾つかの各々に関してラプラシアン・フィルタを実施して、画像部分のラプラシアン・フィルタ特徴を含む特徴ベクトルを生成することができる。この機能（画像部分レベルでのラプラシアン・フィルタ）は、システム200のフィルタ・モジュール203によって実行することができる。このモジュール203に関して説明した基礎は、このブロック303に関して同様に考慮することができる。

ブロック304では、（ブロック303からの）生成された特徴ベクトルの少なくとも幾つかの各々は、第１機械学習モジュールに送られて、そこでは、対応する特徴ベクトルに応じて清潔さ／汚れの指数を生成するように、事前学習がなされている。この機能は、システム200の供給モジュール204によって実行することができる。このモジュール204に関して説明した詳細機能は、このブロック304に関して同様に考慮することができる。

ブロック305では、レンズの状態が決定され、これは、そのレンズがきれいであるか又はよごれているかを示しており、このような結果は、第１機械学習モジュールによって出力される清潔さ／汚れの指数に依存する。この機能は、システム200の状態判定モジュール205によって実行することができる。このモジュール205に関して説明した詳細説明は、このブロック305に関して同様に考慮することができる。

ブロック306では、方法は、予め定義された終了（end）条件が満たされたか否かを検証することができる。検証の結果が肯定（または真）の場合、方法は、方法の実行を終了させるブロック307に進む。そうでない場合、方法は、ブロック301に戻り、新しい画像を受信し、方法の手順が繰り返される。

最終条件は、方法の終了要求を含むことができ、この場合、方法（コンピュータ・プログラム）は、（ブロック307で）完全に終了する。最終条件は、例えば、画像を受信しない最大経過時間を考慮することができ、この場合、方法／プログラムは、（ブロック307で）例えばスタンバイ（待機）状態に移行することができる。ブロック307では、スタンバイ状態は、新しい画像の待機中にコンピュータ・プログラムを非作動させ、新しい画像の受信でそれを再度作動させることができる。最終条件は、例えば、車両、監視システム、ビジョン・システム等がオフされた時などに、満たすことができる。

方法は、別の第１ブロック（図示せず）を追加的に備えて、そこでは、カメラ100によって撮像された対応する画像に関して、画像部分、及び関連する清潔さ／汚れの指数に、コンテキストベースのフィルタを実行することができる。このフィルタ実行は、前述のコンテキストベースのフィルタ・モジュールに関連して説明した機能原理と同じもの又は類似のものを考慮するコンテキストベースのフィルタ・モジュールによって実施することができる。

方法は、別の第２ブロック（図示せず）を更に追加的に備えて、そこでは、撮像装置によって撮像された時間を伴う異なる画像内の画像部分の清潔さ／汚れの指数に時間フィルタを実行することができる。このフィルタ実行は、前述の時間フィルタ・モジュールに関連して説明した詳細機能と同じもの又は類似のものを考慮する時間フィルタ・モジュールによって実施することができる。

方法は、別の第３ブロック（図示せず）を更に追加的に備えて、そこでは、レンズ101を介してガメラ100に撮像された対応する画像に画素レベルでのラプラシアン・フィルタを実行することができる。このフィルタ実行は、前述のラプラシアン・フィルタ・モジュールに関連して説明した機能本質と同じもの又は類似のものを考慮するラプラシアン・フィルタ・モジュールによって実施することができる。

（実例の）本詳細な説明で説明した方法の目的は、カメラのレンズの清潔さ又は汚れのためにカメラ（又は同様の装置）によってキャプチャされた画像がきれいであるか又はよごれているかを判定することである。実例の詳細な説明の他の部分で記述したとおり、よごれているキャプチャ画像は、様々な状況によって生じる。例えば、（耐水性が低い等のために）カメラ内の水分は、カメラの内部コンポーネント（例えば、撮像センサ）に悪影響を与え、キャプチャ画像上の汚れも引き起こしてしまう。したがって、開示した方法は、例えばレンズ、センサ等のキャプチャ画像上の汚れを引き起こすカメラ内のコンポーネントにおける汚れを判定するために使用することができる。

本明細書には幾つかの例のみが開示されているが、それらの他の代替物、改変物、使用物及び／又は等価物が可能である。更に、記載された例の全ての可能な組合せも含まれる。したがって、本開示の範囲は、特定の例に限定されるべきものではなく、添付の特許請求項の範囲の公正な解釈によって決定されるべきものである。

Claims (15)

1. 画像のキャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているかを判定する方法であって、
   前記キャプチャ装置によってキャプチャされた画像を受信すること、
   受信した前記画像を所定の分割基準に従って複数の画像部分に分割すること、
   前記画像部分の幾つかの各々に対して、前記画像部分のラプラシアン・フィルタを実行して、前記画像部分のラプラシアン・フィルタ特徴を含む特徴ベクトルを生成すること、
   生成した前記特徴ベクトルの少なくとも幾つかの各々を第１機械学習モジュールであって、対応する画像部分の清潔さ又は汚れの確率的な値を含む清潔さ／汚れの指数を対応する特徴ベクトルに応じて生成するように学習された前記第１機械学習モジュールに送信すること、及び、
   前記第１機械学習モジュールによって生成された清潔さ／汚れの前記指数に応じて、前記画像がきれいであるか又はよごれているかを判定すること、
   を含む方法。
2. 請求項１に記載の方法であって、
   前記第１機械学習モジュールは、線形分類器である、
   方法。
3. 請求項１又は２に記載の方法であって、
   前記画像がきれいであるか又はよごれているかの前記判定は、
   前記第１機械学習モジュールによって提供される清潔さ／汚れの前記指数を集約して、前記画像の全体の清潔さ／汚れの指数を生成すること、及び、
   前記画像の前記全体の清潔さ／汚れの前記指数が全体の清潔さ／汚れの閾値を超えるか否かによって、前記画像がきれいであるか又はよごれているかを判定すること、
   を有する、
   方法。
4. 請求項１乃至３の何れか１項に記載の方法であって、
   前記画像がきれいであるか又はよごれているかの前記判定は、
   きれいな部分の数及び／又はよごれている部分の数を決定するために、前記第１機械学習モジュールによって提供される清潔さ／汚れの前記指数をカウントすること、及び、
   きれいな部分の前記数がきれいな部分の閾値を超えるか否か及び／又はよごれている部分の前記数がよごれている部分の閾値を超えるか否かによって、前記画像がきれいであるか又はよごれているかを判定すること、
   を有する、
   方法。
5. 請求項１乃至４の何れか１項に記載の方法であって、
   前記画像がきれいであるか又はよごれているかの前記判定は、
   前記第１機械学習モジュールによって提供される清潔さ／汚れの前記指数を第２機械学習モジュールであって、前記画像の全体の清潔さ／汚れの指数を画像部分の対応する清潔さ又は汚れの指数に応じて生成するように学習された前記第２機械学習モジュールに送信すること、及び、
   前記第２機械学習モジュールによって生成された前記画像の前記全体の清潔さ／汚れの前記指数に応じて、前記画像がきれいであるか又はよごれているかを判定すること、
   を有する、
   方法。
6. 請求項１乃至５の何れか１項に記載の方法であって、
   対応する画像部分の前記ラプラシアン・フィルタによって得られる前記ラプラシアン・フィルタ特徴は、前記画像部分の前記ラプラシアン・フィルタにおける尖度、平均値、分散、平均グレー値、１以上のモーメントのうちの少なくとも１つを有する、
   方法。
7. 請求項１乃至６の何れか１項に記載の方法であって、
   前記キャプチャ装置によって時間とともにキャプチャされた異なる画像における対応する画像部分の清潔さ／汚れの指数に関して時間フィルタを実行すること、
   を更に含む方法。
8. 請求項７に記載の方法であって、
   前記時間フィルタの前記実行は、
   対応する画像部分の複数の清潔さ／汚れの指数から要約値を決定すること、及び、
   前記複数の清潔さ／汚れの前記指数と前記要約値との間の偏差に応じて、１以上の外れ値を決定すること、
   を有する、
   方法。
9. 請求項８に記載の方法であって、
   前記要約値は、対応する画像部分の前記複数の清潔さ／汚れの前記指数における最大値又は平均値又は中央値である、
   方法。
10. 請求項１乃至９の何れか１項に記載の方法であって、
    全体として対応する画像にコンテキストベースのフィルタであって、
    清潔さ／汚れの指数が汚れを示した隣接のよごれている部分を含む１以上のよごれているブロックを決定すること、
    前記１以上のよごれているブロックの１以上のエッジを検出すること、
    前記１以上のエッジのシャープネスを決定すること、及び、
    前記シャープネス、及び／又は、清潔さ／汚れの指数が清潔を示した前記エッジに隣接するきれいな部分の前記清潔さ／汚れの前記指数に応じて、前記よごれているブロックの前記よごれている部分の清潔さ／汚れの指数を調整すること、
    を有する前記フィルタを実行すること、
    を更に含む方法。
11. 請求項１０に記載の方法であって、
    前記よごれているブロックにおける前記画像部分の前記清潔さ／汚れの前記指数の前記調整は、
    清潔から汚れへの急激な変化又はその逆の急激な変化を示すように急激な閾値の上のシャープネスを選択し、選択したシャープネスに応じて前記清潔さ／汚れの前記指数を調整すること、及び／又は、
    隣接のきれいな部分の全体の清潔さを決定し、前記隣接のきれいな部分の前記全体の清潔さに応じて前記清潔さ／汚れの前記指数を調整すること、
    を有する、
    方法。
12. 請求項１乃至１１の何れか１項に記載の方法であって、
    対応する画像の画素レベルのラプラシアン・フィルタであって、ラプラシアン畳み込みカーネルを決定すること及び前記画像の各画素に前記ラプラシアン畳み込みカーネルを適用することを有する前記ラプラシアン・フィルタを、実行すること、
    を更に含む方法。
13. 請求項１乃至１２の何れか１項に記載の方法をコンピュータ・システムに実行させて、キャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているかを判定させるためのプログラム命令を備えるコンピュータ・プログラム。
14. 記録媒体に組み込まれ、且つ／又は、搬送信号によって運ばれる請求項１３に記載のコンピュータ・プログラム。
15. 画像のキャプチャ装置によってキャプチャされた画像がきれいであるか又はよごれているかを判定するシステムであって、
    前記キャプチャ装置によってキャプチャされた画像を受信するための受け付けモジュールと、
    受信した前記画像を所定の分割基準に従って複数の画像部分に分割するための分割モジュールと、
    前記画像部分の幾つかの各々に対して、前記画像部分のラプラシアン・フィルタを実行して、前記画像部分のラプラシアン・フィルタ特徴を含む特徴ベクトルを生成するためのフィルタ・モジュールと、
    生成した前記特徴ベクトルの少なくとも幾つかの各々を第１機械学習モジュールであって、対応する画像部分の清潔さ又は汚れの確率的な値を含む清潔さ／汚れの指数を対応する特徴ベクトルに応じて生成するように学習された前記第１機械学習モジュールに供給するための供給モジュールと、
    前記第１機械学習モジュールによって生成された清潔さ／汚れの前記指数に応じて、前記画像がきれいであるか又はよごれているかを判定するための状態判定モジュールと、
    を備えるシステム。