JP2012503345A - 撮像センサー上のゴミを検出する検出装置とその方法 - Google Patents

Abstract

実際の景観（12）を撮影した画像(14)の撮像センサー（20）上のゴミ(18)を検出するシステムと方法は、撮像センサー（20）上にゴミ(18)が在るかを決める為に撮像画像（14）の色相チャネル（466）、輝度チャネル（470）及び彩度チャネル（468）の内少なくとも一つを評価する制御システム（22）を含む。例えば、撮像画像(14)の撮像センサー（20）上のゴミ（18）を決める為に撮像画像（14）の色相チャネル（466）と輝度チャネル（470）を評価する。色相チャネル（466）と輝度チャネル（470）からの情報により、制御システム（22）は撮像画像（14）の複数の画素（362）毎に演算によるゴミ（18）の確率（572）を求める事が出来る。

Description

1つ以上の被写体を含む景観の像を撮るのに、一般的にカメラが使われる。多くのカメラは、カメラ本体と、カメラの光学的性能を調整する為に別のレンズと交換可能な取外し可能なレンズと、を含む。残念ながら、レンズをカメラ本体から取外す時に、カメラの撮像センサーの上にゴミが溜まる。

さらに、撮像センサー上のゴミの為、撮影した画像は、このカメラで撮影した画像の質を下げる1つ以上の画像収差が含むことがある。

本発明は、実際の景観（シーン）を撮影した一枚の画像から撮像センサー上のゴミを検出する制御システムに関する。1つの実施形態に於いて、この制御システムで撮像センサー上にゴミが付いているかを測定する為に、撮影した画像の色相チャネル、輝度チャネル及び彩度チャネルの内少なくとも1つを評価する。例えば、制御システムは、撮像センサー上にゴミが付いているかを測定する為に、撮影した画像の色相チャネルと輝度チャネルを評価することができる。1つの実施形態に於いて、制御システムは、この色相チャネルと輝度チャネルに基づき、撮影した画像の複数の画素毎にゴミの確率を求める。

これにより、制御システムは、一枚の画像を評価し、撮像センサーは清掃する必要があることを、使用者に知らせる事が可能となる。

付加的に、制御システムは、各画素の反転確率を求める為に、画素毎に１から演算で得た確率を差し引く。さらに、制御システムは、フィルタリングした確率を得る為に、画素毎の演算して得た確率、若しくは反転確率のどちらか一方にフィルターを適用する。次いで、制御システムは、所定の確率閾値より低い値を持った全てのフィルタリングした確率を０の値の2値確率に設定し、所定の確率閾値より高い値を持ち且つテスト確率値と等しい確率を持った全てのフィルタリングした確率を1の値の2値確率に設定する事により、2値画像を創生する。

さらに、後述する様に、ゴミに関する不正確な表示数を減らす為に、制御システムは、１の値の2値確率を持った任意の隣接する画素を1つ以上の画素群にグループ化できる。そして、制御システムは、各画素群の結び付いた画素サイズを確定する。最後に、制御システムは、(i)所定の低画素数より大きい、(ii)所定の高画素数より小さい、結び付いた画素サイズを持った任意の画素群をゴミとして識別する。

本発明はまた、実際の景観を撮影した一枚の画像を使って、撮像センサー上のゴミを検出するカメラと、撮像センサー上のゴミを検出する方法に関する。

本発明の構成と操作の両方に関し、添付の記載と同じ符号は同じ箇所を指す添付の図面の参照により、本発明の新規な特徴と本発明自体を最も良く理解することが出来る。
景観、本発明の特徴を有する撮影装置並びに撮影した画像の簡略図。 図１の撮影装置の簡略化した正面透視図。 撮影した画像の簡略した画素を示す。 図３の撮像画像の色相チャネルの簡略化した画素を示す。 図３の撮像画像の彩度チャネルの簡略化した画素を示す。 図３の撮像画像の輝度チャネルの簡略化した画素を示す。 図３の撮像画像の画素に関する演算して求めた確率の簡略化した画素を示す。 図３の撮像画像の画素に関する反転確率の簡略化した画素を示す。 図３の撮像画像の画素に関する平均確率の簡略化した画素を示す。 図３の撮像画像の画素に関する2値確率の簡略化した画素を示す。 撮像センサー上のゴミの存否を測定する1つの方法を示すフローチャート。 本発明の特徴を有するシステムに関するもう一つの実施形態を示す。

図１は、本発明の特徴を有する撮影装置10（例えばカメラ）と実際の景観（シーン）12に関する簡略化した透視図である。撮影装置10は、撮影装置10の撮像センサー20（仮想線で図示）の上にあるゴミ18（ｄで図示）が原因の1つ以上の画像収差16（aで図示）を含んだ撮像画像14（撮影装置10から離して図示）を記録する。1つの実施形態に於いて、撮影装置10は、撮像センサー20上のゴミ18があるかを推定するために、実際の景観12の一枚のデジタル画像14を解析する独自の方法を使用する制御システム22（仮想線で図示）を含む。

概略すると、或る実施形態に於いて、本方法は、撮像センサー20上のゴミの存否を推定するのに、撮影した画像14から色相チャネル情報と輝度チャネル情報を使う。その後、制御システム22は、撮像センサー20は清掃の必要がある事を、撮影装置10の使用者に知らせる。

撮影装置10で撮影される景観12の種類は色々変えることができる。例えば、景観12には動物、植物、哺乳類、そら、環境等の1つ以上の被写体24を含むことができる。簡単のため、図１には、1つの被写体24を含む景観12を図示した。代替的に、景観12に1つ以上の被写体24を含む事が出来る。図１の被写体24は、人物の簡略化した棒線図である。

撮像センサー20上のゴミ18の位置はランダムで、制御システム22は、撮像センサー20の任意の領域に在るゴミ18の位置を探し出すことができることに留意すること。撮像画像14は、1つ以上の被写体を含んだ実際の景観12由来のものであって、撮影装置10の光学機器の上に置かれたレンズキャップ（不図示）の付いた撮像画像14ではないことに留意すること。

此処に記載する本方法は、記憶される高解像の撮像画像14やスルー画像の様な低解像の撮像画像に使用する事が出来ることに留意すること。

図２は、撮影装置10の1つの非排他的実施形態の簡略化した正面透視図である。この実施形態に於いて、撮影装置10は、デジタルカメラであり、制御システム22（仮想線の箱で図示）に加え、装置フレーム236、光学機器238、及び撮像センサー20（仮想線の箱で図示）を含む。これら構成品のデザインは、設計上の必要性と、撮影装置10の種類に合わせて変える事が可能である。更に、これら構成品の1つ以上を欠いて撮影装置10をデザインする事が可能である。付加的に又は代替的に、撮影装置10は、景観12のビデオ（映像）を取込めるようにデザインする事が可能である。

装置フレーム236は、堅牢で、撮影装置10のその他構成品の少なくとも幾つかを支える事が出来る。一実施形態に於いて、装置フレーム236は、カメラのその他構成部品の少なくとも幾つかを中に入れ保持する空洞を形成する、概して長方形形状の中空体を含む。

装置フレーム236は、撮像センサー20に到達する光量を制御する為に連動して動く絞り244とシャッター機構246を含むことができる。シャッター機構246は、シャッターボタン248によって作動される。シャッター機構246は、一定の時間の間に撮像センサー20上で光が焦点を結ぶ様に他と連動して作動する一組のブラインド（時に“ブレード”と称される）を含むことができる。代替的に、例えば、シャッター機構246を全て電子的にし、可動部品を全く含まない事が可能である。例えば、電子撮像センサー20は、ブラインドの機能を行なう様に撮影時間を電子的に制御させる事が出来る。

光学機器238は、撮像センサー20上に光を合焦させるべく一枚のレンズ若しくは相互に連動して動く組合わされたレンズを含むことができる。一実施形態に於いて、光学機器238は、装置フレーム236から取外し可能である。これにより、撮影装置10の光学的性能を変化させるよう、他の光学機器238を装置フレーム236に選択的に取付ける事が出来る。

撮像センサー20は、撮像画像１４の情報を取込む（図１に図示）。撮像センサー20のデザインは、撮影装置10の種類に伴い変えられる。デジタルタイプのカメラ用撮像センサー20の場合、センサー機器250(仮想線で図示)、フィルター機器252（仮想線で図示）及び記憶系254（仮想線で図示）を含む。

センサー機器250は、絞り244を通過する情報（例えば光）を受け、その光を電気に変換する。デジタルカメラ用のセンサー機器250の非排他的一例として、電荷結合素子（CCD）が知られている。デジタルカメラに採用しても良い別のセンサー機器250は、相補性金属酸化膜半導体（CMOS）技術を使用している。

センサー機器250は、それ自身によって、センサー機器250の表面に当たる光の総量の記録のみを行いながら、センサー機器グレースケール画像を作る。従って、フルカラーの画像を作る為には、画像の色を取込む為のフィルター機器252が一般的に使われる。

これら画像が最終的に印刷されたり、削除されたり、若しくは補助記憶系やプリンターに転送やダウンロードされる迄、種々の撮像画像14を記憶系254は記憶する。記憶系254を撮影装置フレーム236に固着若しくは取外し可能に取付ける事が出来る。最適な記憶系244の非排他的例として、フラッシュ・メモリー、フロッピー・デイスク（商標登録）、ハード・デイスク、または、書込み可能なCD若しくはDVDがある。

制御システム22は、撮影装置10の電子構成品と、電気的に接続され、その操作を制御する。制御システム22は、一つ以上のプロセッサーと回路を含むことができる。そして、制御システム22は、此処に記載する一つ以上の機能を行なうよう、プログラムされる事が出来る。図２に於いて、制御システム22は撮影装置フレーム236と撮影装置10の他の構成品とに繋がっている。さらに、制御システムは、装置フレーム236の内部に置かれる。

或る実施形態に於いて、制御システムは撮像センサー20上のゴミの存否を推定し、ゴミの検出を使用者に知らせるソフトウェアを含んでいる。

図１に戻り、撮影装置10は、撮像画像14を表示する画像表示器56を含む。これにより、使用者は、どの撮像画像14を保存し、削除すべきかを決める事が出来る。図１に於いて、画像表示器56は、撮影装置10の残りの部分に固定して取付けられている。代替的に、表示器56を回動可能にする蝶番取り付け系（不図示）で、画像表示器56を固定する事が出来る。画像表示器56の非排他的一例として、LCD画面（スクリーン）がある。

さらに、画像表示器56は、撮影装置10の機能を制御する為に使用可能なその他情報を表示することが出来る。例えば、画像表示器56は、撮像センサーは清掃の必要があるという使用者への通知58を含むことが出来る。例えば、通知58は、文字若しくはエラーメッセージで良い。付加的に又は代替的に、表示器56は、撮像センサー20のゴミの凡その場所を表示する事が出来る。代替的に、撮影装置10には撮像センサー20の清掃が必要な際には光を発する一つ以上の指示光を含む事が出来る。

さらに、撮影装置10は、撮影装置10の機能を使用者が制御出来るような、制御システム22と電気的に繋がっている一つ以上のスイッチ60を含むことが出来る。例えば、一つ以上の制御スイッチ60を、撮影装置10を此処に記載するゴミ除去処理へ選択的に切り替えるように使う事が出来る。

図３は、撮像画像314を、簡略化した16×16の画素362で表わしている。簡単のため、本例に於いて、撮像画像314は、極めて均一な色をした景観（図３に不図示）をとらえている。例えば、景観は、均一な色の空、若しくは色ムラの無い均一な色をした壁にできる。代替的に、例えば、本方法は、色が均一で無い景観の撮像画像で、撮像センサー上のゴミを検出するよう使う事が出来る。

図３から図８は、夫々X軸及びY軸を図示する２次元方位系を含むことに留意すること。この例では、画素362の夫々をこの座標系との関係で名前をつけることが出来る。例えば、下の左隅の画素362を画素（X1, Y1）、上方の右隅の画素362は画素（X16, Y16）、と識別出来る。代替的に、画素362を別なやり方で識別する事も可能である。

図３に於いて、大部分の画素362は同じ赤青緑（RGB）色値、つまりC1を有する。然しながら、幾つかの画素362は、C１とは違うC2のRGB色値を持つ。これは、撮像センサー上のゴミ（図３に不図示）により、これらRGB値が、これら画素として僅かながら異なるからである。

C1とC2の符号は、図３での描写の都合上選択したに過ぎないことに留意すること。一般的には、RGB色空間として、各画素に、赤値、青値、緑値がある。この例に於いては、(i) C１の各画素は、全く同一の赤値、青値、緑値（例えば、赤＝18、青＝25、緑＝132）を持ち、(ii) C２の各画素は、全く同一の赤値、青値、緑値（例えば、赤＝118、青＝29、緑＝131）を持ち、(iii) 画素C1の赤、青、及び／又は緑の値は、画素C2の赤、青、及び／又は緑の値とは異なっている。

図３に於いて、画素(X3,Y12)、(X3,Y13)、(X3,Y14)、(X3,Y15)、(X4,Y12)、(X4,Y13)、(X4,Y14)、(X4,Y15)、(X5,Y13)、(X5,Y14)、(X5,Y15)、(X6,Y7)、(X7,Y7)、(X14,Y2)、(X15,Y2)、(X14,Y3)、(X15,Y3)、(X13,Y4)、(X14,Y4)、(X15,Y4)をC2とし、これらは撮像センサー上にあるゴミの影響でその他の画素と色が異なっている。この簡易な例に於いて、この例で撮像された景観の色は均一であるので、画素の色のばらつきは景観のばらつきにより生じたものではない。

本発明は、一つの撮影画像中の色のばらつきが、撮像センサー上にあるゴミによるものかを推定する為の独自の方法を提供する。一実施形態に於いて、制御システム22(図１に図示)は、各画素でゴミの確率を演算する為に撮影画像314を解析する。例えば、制御システム22は、撮影画像314をRGBの色空間から色相、彩度、輝度の（HSV）色空間に変換できる。これは、RGB色空間からHSV色空間への単純な変換で可能である。次いで、制御システム22は、撮像センサー上のゴミの確率を求める為に、HSVチャネルのうち一つ以上（例えば、(i)色相チャネル及び輝度チャネル、(ii)彩度チャネル及び輝度チャネル、または(iii)色相チャネル、彩度チャネル及び輝度チャネル）からの情報を解析する。

図４Ａは、図３の撮像画像314から得られる色相チャネル466を、簡易化した16×16の画素で表わし、図４Ｂは、図３の撮像画像314から得られる彩度チャネル468を、簡易化した16×16の画素で表わし、図４Ｃは、図３の撮像画像314から得られる輝度チャネル470を、簡易化した16×16の画素で表わしている。

図４Ａに於いて、画素362のぞれぞれは同一の色相値、つまりＨ１を有する。これは、此処に記載する通り、撮像センサー上のゴミは、一般的に彩度値に影響を及ぼさないからである。換言すると、本例に於いて、景観の色は均一であるため、色相チャネルは、例えこの画素にゴミが付いても、各画素にて同じ値を有することになる。Ｈ１の符号は、図４Ａでの描写の都合上選択したに過ぎない事に留意すること。

同様に、図４Ｂに於いて、画素362のぞれぞれは同一の彩度値、つまりＳ１を有する。これは、撮像センサー上のゴミは、一般的に彩度値に影響を及ぼさないからである。Ｓ１の符号は、図４Ｂでの描写の都合上選択したに過ぎない事に留意すること。

さらに、図４Ｃに於いて、画素362の殆どは同一の輝度値、つまりＶ１を有する。ただし、画素362の幾つかは、Ｖ１と異なるＶ２の輝度値を持つ。これは、撮像センサー上のゴミにより、これら輝度値が違ってくるためである。Ｖ１及びＶ２の符号は、図４Ｃでの描写の都合上選択したに過ぎない事に留意すること。

撮像センサー上のゴミにより、輝度値はより暗くなる事に留意すること。従って、本例に於いて、輝度Ｖ２は輝度Ｖ１より小さい（つまり、より暗い）。

図４Ｃに於いて、画素(X3,Y12)、(X3,Y13)、(X3,Y14)、(X3,Y15)、(X4,Y12)、(X4,Y13)、(X4,Y14)、(X4,Y15)、(X5,Y13)、(X5,Y14)、(X5,Y15)、(X6,Y7)、(X7,Y7)、(X14,Y2)、(X15,Y2)、(X14,Y3)、(X15,Y3)、(X13,Y4)、(X14,Y4)、(X15,Y4)をＶ2とし、Ｖ２は、撮像センサー上のゴミにより、他の画素と異なる輝度値を持つ。

此処に記載する通り、一実施形態に於いて、制御システム22（図１に図示）は、一つのデジタル画像314から、センサーのゴミを検出する為のアルゴリズムを使用する。一実施形態に於いて、センサーのゴミは、未知の位置と形状を持った画像に於ける小さな局所的領域を、乗法的に減衰させる事を前提にしている。本発明は、この領域または複数の領域を検出する方式を開示する。

具体的には、此処に記載する通り、制御システム22は、HSVチャネルの内1つ以上からの情報に基づき、各画素若しくは画素群に於けるゴミの確率を求める事が出来る。基本的には、上記した通り、画素若しくは画素群に在るゴミは彩度チャンネル値に影響を及ぼすこと無く輝度チャネル値に影響を及ぼす。一実施形態に於いて、ゴミ検出の問題を、確率論的枠組み（フレームワーク）に当てはめる。具体的には、画素（または、画素領域）毎に、制御システム22は、彩度（ｈ）値を所与とする特定の輝度（ｖ）値を見た確率を決める。これは次の様に数式化出来る。
P(V=v|H=h) 方程式１

此処で、Pは確率で、VとHは画像の輝度と色相を示す任意の変数である。ベイズ定理を使って、次の通りこの確率を展開する事が出来る。
P(V=v|H=h)=P(H=h|V=v)P(V=v)/P(H=h) 方程式２

式２を簡単に表わすと次の様になる。
P(V|H)=P(H|V)P(V)/P(H) 方程式3

条件付き確率P(H|V)と周辺確率P(V)を、一つのヒストグラムを使って、一つの画像から夫々推定する事が出来る。一実施形態に於いて、画像中の全ての画素に於いて、これらの確率を求める。代替的に、画素群 (画像区分) 毎にこれらの確率を求める事が出来る。

このモデルに基づくと、ゴミのある領域は小さな推定確率P(V|H)を持つ事になる。

一実施形態に於いて、夫々の色相値に従い画素をグループ化する。例えば、Ｈ１の色相値を有する画素を一つに纏め、Ｈ２の色相値を有する画素を一つに纏める。次いで、色相群毎の輝度値の分布を決定する。ゴミの在りそうな箇所は、統計的に起こりそうもない輝度値（即ち、P(V|H)がゼロに近い）を有する箇所である。換言すると、均一な色相値を持った画素毎の輝度値を評価する。こうする事で、確率分布を構築する事が出来る。次いで、期待確率分布の外にある任意の画素を、予想されるゴミとして最初に分類する。

式３を直接使って確率を求める。具体的には、確率P(H|V)、P(V)及びP(H)が、任意の所与の値Ｈ及びＶに関する基本的な確率を与える。従って、任意の所与の画素に関し、画像が、ＲＧＢ色空間からＨＳＶの色空間に変換される。次に、各画素に関する最終的な確率を出す為に、全ての画素毎に関するＨ及びＶ値を、これら演算して得られた確率に代入する。

簡単な例として、二つの一意的な値Ｈ（0,1）と、二つの一意的な値Ｖ（0,1）のみを持つ画像を取込む。さらに、本例に於いて、
P(H=0)=0.5, P(H=1)=0.1, で
P(V=0)=0.75, P(V=1)=0.25, で
P(H=0|V=0)=0.9, P(H=1|V=0)=0.1, P(H=0|V=1)=0.7, P(H=1|V=1)=0.3

本例に於いて、例えば、V=0とH=1を有する画素の確率は
P(V=0|H=1)=P(H=1|V=0)P(V=0)/P(H=1)=0.1*0.75/0.5=0.15

これにより、各画素に於ける演算による確率が求められる。

図５は、図３の撮像画像314の画素362に関する演算で得た確率572を、簡易化した16×16の画素で表わしている。具体的には、制御システム22は、撮像画像314の各画素362に於けるゴミの確率を演算し、図５は、その結果得られた演算で得た確率572を示している。

此処に記載した通り、画素362のそれぞれは、ゼロと１の間の数である演算で得られた確率572を有することになる。簡単のため、画素の殆どは、同じ確率値、即ち0.9である。しかし、画素362の幾つかは演算確率値0.1、また幾つかは演算確率値0.2である。これは、撮像センサー上のゴミ（図３に不図示）のために、これらの画素に於けるこれら確率値が違った値になり、これら画素に於ける色相値として予想したものより暗くなるからである。0.1、0.2及び0.9の演算で得た確率は、参照の都合上選らばれたものに過ぎず、任意の画像の実際の確率では無いことに留意すること。

図5に於いて、(i)画素(X3,Y12)、(X3,Y13)、(X3,Y14)、(X3,Y15)、(X4,Y12)、(X4,Y13)、(X4,Y14)、(X4,Y15)、(X5,Y13)、(X5,Y14)、(X5,Y15)、(X14,Y2)、(X15,Y2)、(X14,Y3)、(X15,Y3)、(X13,Y4)、(X14,Y4)、(X15,Y4)は0.1の確率値、 (X6,Y7)と(X7,Y7)は0.2の確率値で残りの画素は0.9の確率値である。

本例に於いて、より低い演算確率値（例えば、0.1や0.2）を持った画素は、ゴミが在りそうな画素であり、一方、より高い確率値（例えば、0.9）の画素は、ゴミが在りそうな画素ではない。これは幾分直感に反する。従って、演算で求めた確率572を、制御システム22で反転する。

図６は、図３の撮像画像314の画素362に関する反転した確率674を、簡易化した16×16の画素で表わしている。具体的には、制御システム22は、１から演算で求めた確率を差し引く。この結果、より低い反転演算確率値（例えば、0.1や0.2）の画素は、ゴミが在りそうな画素ではなく、一方、より高い反転演算確率値（例えば、0.9）の画素は、ゴミが在りそうな画素となる。これは次の様に表わせる。
IP=1-P 方程式4

ここで、IPは反転した確率でPは演算で得た確率である。

図６に於いて、(i)画素(X3,Y12)、(X3,Y13)、(X3,Y14)、(X3,Y15)、(X4,Y12)、(X4,Y13)、(X4,Y14)、(X4,Y15)、(X5,Y13)、(X5,Y14)、(X5,Y15)、(X14,Y2)、(X15,Y2)、(X14,Y3)、(X15,Y3)、(X13,Y4)、(X14,Y4)、(X15,Y4)は0.9の反転確率値、(X6,Y7)と(X7,Y7)は0.8の反転確率値で残りの画素は0.1の反転確率値である。演算確率572か反転確率674を求めてから、誤検出(ゴミとして分類されたゴミの無い箇所)を低減する為に、後処理フィルタリング（フィルター処理）を行なう。例えば、擬似画素や孤立画素を取除く為に以下に記載するフィルタリング工程を、演算確率572、若しくは反転確率674に施す。

図７は、フィルタリングした確率776を、簡易化した16×16の画素で表わしている。具体的には、図７は、個々の反転確率674が、制御システム22により、3×3メジアンフィルターにかけられた後の、フィルタリングした確率776を示す。3×3メジアンフィルターで、個々の画素が、その特定の画素を囲むように隣接した8つの画素と比較され、その平均値が、その画素に関するフィルタリングした確率776として選ばれる。

例えば、図６に戻り、反転確率値0.9の画素（X4, Y12）のフィルタリングする場合、(i)画素（X4, Y13）の反転確率0.9、(ii) 画素（X5, Y13）の反転確率0.9、(iii) 画素（X5, Y12）の反転確率0.1、(iv) 画素（X5, Y11）の反転確率0.1、(v) 画素（X4, Y11）の反転確率0.1、(vi) 画素（X3, Y11）の反転確率0.1、(vii) 画素（X3, Y12）の反転確率0.9、(viii) 画素（X3, Y13）の反転確率0.9を検討する。本例に於いて、これら画素（焦点となる画素（X4、Y12）を含む）の内5つの画素は値0.9で、4つの画素は値0.1である。よって、画素（X4、Y12）のフィルタリングした確率776は0.9となる。フィルタリングした確率776を生成するよう、各画素でこの処理を繰り返す。

代替的に、 このフィルターは、別の種類のフィルターでも良く、例えば、(i)4×4メジアンフィルター、(ii) 5×5メジアンフィルター、(iii) 9×9メジアンフィルター、若しくは(iv) フィルタリングした確率776を得るために、隣接する画素の値を平均化する平均フィルターでも良い。さらに代替的に、フィルタリングした確率776を得るため、代わりに図５の演算で得た確率572にこのフィルターを使用しても良い。

次いで、或る実施形態に於いては、フィルタリングした確率776を2値確率878に変換して、フィルタリングした確率776を更に処理する。一実施形態に於いて、制御システム22は、所定の確率閾値より低い値を持つ全てのフィルタリングした確率776を、０の値の2値確率878となるように設定し、(i)所定のテスト確率値と同じ値を有する、及び(ii)所定の確率閾値と同じか若しくはそれより大きい値を有する全てのフィルタリングした確率を、１の値の２値確率となるように設定して、２値画像880を創生する。

図8は、２値確率878を、簡易化した16×16の画素で表わしている。この例に於いて、所定の確率閾値は、例えば0.85とでき、所定のテスト確率値は0.9である。この例により、(i)0.85未満の値のフィルタリングした確率776の全てを、０の値の2値確率に、(ii)所定のテスト確率値(例えば、本例では0.9)と同じ値の全てのフィルタリングした確率776を、１の値の2値確率に、(iii)0.85と同じか若しくはこれより大きいが、目下の所定のテスト確率値(例えば、本例では0.9)とは同じでない値を有する全てのフィルタリングした確率776を、０の値の2値確率に、変換する。

所定の確率閾値以上の値ごとに、上記処理を繰り返すことに留意すること。例えば、一部のフィルタリングした確率776が0.93の値である場合、 (i)0.85未満の数値を有する全てのフィルタリングした確率776を、０の値の2値確率に、(ii)所定のテスト確率値(例えば、本例では0.93)と同じ値を有する全てのフィルタリングした確率776を、１の値の2値確率に、そして(iii) 0.85と同じか若しくはこれより大きいが、目下の所定のテスト確率値(例えば、本例では0.93)と同じでない値を有する全てのフィルタリングした確率776を、０の値の２値確率に、変換して２値確率878を生成する。さらにもう一例として、一部のフィルタリングした確率776が0.97の値の場合、 (i)0.85未満の数値を有する全てのフィルタリングした確率776を、０の値の2値確率に、(ii)所定のテスト確率値(例えば、本例では0.97)と同じ値を有する全てのフィルタリングした確率776を、１の値の2値確率に、そして(iii) 0.85と同じか若しくはこれより大きいが、目下の所定のテスト確率値(例えば、本例では0.97)と同じでない値を有する全てのフィルタリングした確率776を、０の値の２値確率に、変換して２値確率878を生成する。

代替的に、例えば、所定の確率閾値未満の値を有する全てのフィルタリングした確率776を、１の値の２値確率878に設定し、所定のテスト確率値と同じ値の全てのフィルタリングした確率776を０の値の２値確率878に設定することで、２値表記の切り替えが可能であることに留意すること。さらに代替的に、別の所定の確率閾値を活用できる。別の非排他的例に於いて、所定の確率閾値は、0.88、0.90、0.92、0.94、または0.96にできる。

次に、制御システム22は、隣接し且つ１の値の２値確率を持つ画素を、一つ以上の画素群882にグループ化する。図８に図示した２値画像880の例では、１の値の２値確率を持って隣り合う画素として、2つの画素群882がある。代替的に、２値画像880は、相隔たる画素群を２以下、若しくは２以上含むことができる。

次に、制御システム22は、画素群882毎に、結び付いた画素（結合画素）サイズ884（濃い線で図示）を定める。例に於いて、図８に図示する様に、画素群882の1つは、9画素の結び付いた画素サイズ884であり、一方、他の画素群は、２画素の結び付いた画素サイズ884である。この例に於いて、1つの画素群882に9つの画素、他の画素群882に２つの画素がある。従って、結び付いた画素サイズ884の大きさは、各画素群882に於いて結び付いた画素の数による。

此処に記載する通り、ゴミは、略隣り合う９つの画素と、225個の画素との間を、主として占める。従って、誤検出数を減らす為に、或る実施形態に於いては、制御システム22は、所定の低画素数より大きいか同一か、及び／叉は、所定の高画素数より小さいか同一か、で結びついている画素サイズ884を有する画素群882を、ゴミとして特定する。例えば、所定の低画素数を9画素に、一方、所定の高画素数を225画素にできる。この例に於いて、制御システム22は、図８から9画素の画素群882を、ゴミと特定し、一方、2画素の画素群882は非常に小さい。

従って、制御システム22は、小さな画素群882（有意のゴミにしては小さ過ぎるため）と、大きな画素群882（ゴミにしては大き過ぎ、景観の外観であると思われるため）と、を無視する。

他の所定の低画素数や他の所定の高画素数を利用できることに留意すること。代替的に、所定の低画素数の非排他的例として、7、8、10、12若しくは15画素を、また、代替的に、所定の高画素数の非排他的例として、200,250,300画素をとることができる。

追加的に、ゴミ領域の極小箇所や著しく大きな箇所を除去した後、制御システム22は、これらの値がゴミの影響下にあることを確かめる為、もう1つのテストを行うことができる。例えば、制御システム22は、ゴミがあると思われる領域の平均輝度値が、そのゴミ周りの境界領域付近の平均輝度値より小さいかを調べる。これは、真のゴミ領域は、予想されるゴミ領域に隣接する画素の輝度値より小さい（より暗い）輝度値を有するはずであるからである。

図４Cに戻り、９画素の画素群882における画素の平均輝度値はV2、一方、9画素の画素群882に隣接する画素の平均輝度値はV1である。此処に記載する通り、V2はV1より小さい。従って、制御システム22は、9画素の画素群882がゴミである事を確認できる。

次いで、見込み画素群のV値が、隣接する画素のV値より小さい事を確認した後、制御システム22は、ユーザーに撮像センサー20の清掃時期である事を知らせることができる。

図9は、撮像センサー上にゴミが在るかを推定する為に使われる一つ以上のステップ（工程）を示すフロー・チャートである。ステップ910で、実際の景観の画像を一枚撮像する。上記した通り、制御システムは、撮像センサー上にゴミが在るかを判断する為に撮影した画像の色相チャネル、輝度チャネル及び彩度チャネルの内少なくとも一つを調べる。例えば、制御システムは、撮像センサー上にゴミが在るかを判断する為に撮影した画像の色相チャネルと輝度チャネルを調べる。ステップ912で、制御システムは、色相チャネルと輝度チャネルに基づき撮影した画像の複数の画素に関しゴミの確率を求める。

次いで、ステップ914で、制御システムは、画素毎に反転確率を求める為に、画素毎に１から演算で得た確率を差し引く。次に、ステップ916で、制御システムは、フィルタリングした確率を求める為にフィルターを各画素に適用する。更に、ステップ918で、制御システムは、所定の確率閾値より低い値を持った全てのフィルタリングした確率を、０の値の２値確率に設定し、所定の確率閾値より高い値を持った全てのフィルタリングした確率を、１の値の２値確率に設定することにより２値画像を創生する。

次いで、ステップ920で、制御システムは、１の値の２値確率を有する任意の隣り合う画素を、１つ以上の画素群にグループ化する。次に、ステップ922で、制御システムは、画素群毎にその結び付いた画素サイズを決定する。制御システムは、 (i)所定の低画素数よりも大きい叉は同じ結びついた画素サイズ、及び(ii)所定の高画素数よりも小さい叉は同じ結びついた画素サイズ、を持った任意の画素群を予想されるゴミとして識別する。

次に、ステップ924で、制御システムは、予想されるゴミ領域の平均輝度値と、そのゴミ周りの境界領域付近の平均輝度値と、を比較する。

ステップ926で、制御システムは、見込みゴミに近い境界領域の平均輝度値より小さな、ゴミ在りと予想される領域における平均輝度値を持った、任意のゴミ在りと予想される領域を、ゴミとして識別する。最後に、ステップ928で、制御システムは、使用者に見込みゴミの存在を知らせる。

図10は、本発明の特徴を有する装置1010のもう１つの実施形態である。本実施形態に於いて、装置1010は撮影装置10と電気的に接続されたコンピューター1090を含む。さらに、この実施形態に於いて、撮影装置10からの撮像画像（図10に不図示）をコンピューター1090に転送する事が可能で、ゴミ検出に関する１つ以上のステップをコンピューター1090の制御システム1022が実行する。これにより、コンピューター1090の制御システム1022は一枚の撮像画像から撮像センサー上のゴミを検出する事が出来る。

本発明の他の態様も可能であることに留意すること。例えば、(i)確率を求めるために、色相チャネル情報の代わりに彩度チャネル情報を使用できる、または(ii)確率を求めるために、色相チャネルと彩度チャネルの両情報を使用する事が可能である。後者は、P(V|S)とP(H|V)とを別々に求め、それぞれゴミを測定し、その結果を単純に合成して行なう。代替的に、確率P(V|H,S)、即ちHとSを所与としてVの確率を求める事が出来る。

さらに、全体としての検出能力を上げる為に、付加的な幾何計測を、基本とする確率論的枠組みに組み込む事が可能である。例えば、この幾何計測は、輝度チャネルの二次導関数に基づくことができる。具体的には、ゴミの地点（輝度がその周囲の領域より低い場所）は、局所的に正の二次導関数を持つ。この計測結果を、以下の様に、既存の確率論的枠組みに組み込む事が可能である。標準のフィルタリング操作を使って、輝度チャネルの水平及び垂直方向の２次導関数を求める。これらの導関数を夫々VxxとVyyとする。夫々の値をシグモイド式：1/(1+0.25exp(-Vxx)^2)に通す。このシグモイドは、VxxとVyyが負の値の時０値をとり、VxxとVyyが正の値の時１の値へ遷移する。

P(V|H)をP(V|H)×1/(1+0.25exp(-Vxx)^2)×1/(1+0.25exp(-Vyy)^2)で置き換える事により、これらの測定結果が、ゴミ確率P(V|H)に組み込まれる。ある領域が、正の水平及び垂直方向の導関数を持たない場合、それがゴミである確率は低くなる。この様に、色相、輝度および幾何情報に基づいて、ゴミ領域をより精度良く分離出来る。

Claims (29)

1. 実際の景観の撮像画像を記録する撮影装置の、撮像センサー上のゴミを検出するシステムであって、
   前記システムは、前記撮像センサー上にゴミが在るかを推定する為に、前記実際の景観の前記撮像画像を評価する制御システムを含むシステム。
2. 前記制御システムは、前記撮像センサー上にゴミが在るかを測定する為に、前記撮像画像の色相チャネル、輝度チャネル及び彩度チャネルの内少なくとも1つからの情報を評価する請求項１記載のシステム。
3. 前記制御システムは、前記撮像センサー上にゴミが在るかを測定する為に、前記撮像画像の色相チャネルと輝度チャネルからの情報を評価する請求項１記載のシステム。
4. 前記制御システムは、前記色相チャネルと前記輝度チャネルからの情報に基づき、前記撮像画像の複数の画素に関しゴミの確率を求める請求項3記載のシステム。
5. 前記制御システムは、画素毎に反転確率を求める為に、画素毎に１から前記演算で得た確率を差し引く請求項4記載のシステム。
6. 前記制御システムは、フィルタリングした確率を求める為に、各画素に関する前記演算で得た確率または前記反転確率にフィルターを適用する請求項5記載のシステム。
7. 前記制御システムは、所定の確率閾値よりも低い値を有する全てのフィルタリングした確率を０の値の2値確率に設定し、さらに所定のテスト確率値と同じ値を有する全てのフィルタリングした確率を1の値の2値確率に設定することにより2値画像を創生する請求項6記載のシステム。
8. 前記制御システムは、１の値の2値確率を持った隣接する画素を一画素群にグループ化して、前記画素群の結び付いた画素のサイズを決定する請求項7記載のシステム。
9. 前記制御システムは、所定の小さな画素数より大きく且つ所定の大きな画素数より少なく結び付いた画素サイズを持った画素群を、見込みゴミとして識別する請求項7記載のシステム。
10. 前記制御システムは、前記撮像センサー上にゴミが在るかを測定する為に、前記撮像画像の彩度チャネルと輝度チャネルからの情報を評価する請求項１記載のシステム。
11. 撮像センサーと請求項1のシステムを含む撮影装置。
12. 実際の景観の撮像画像を取込むカメラであって、
    前記実際の景観の撮像画像の情報を取込む撮像センサーと、
    前記撮像センサー上にゴミが在るかを推定する為に、前記撮像画像からの、輝度チャネルと、色相チャネル及び彩度チャネルの内少なくとも一方と、を評価する制御システムと、を含むカメラ。
13. 前記制御システムは、前記輝度チャネルと、前記色相チャネル及び前記彩度チャネルの内少なくとも一方に基づき、前記撮像画像の複数の画素に関しゴミの確率を求める請求項12記載のカメラ。
14. 前記制御システムは、画素毎に反転確率を求める為に、画素毎に１から前記演算で得た確率を差し引く請求項13記載のカメラ。
15. 前記制御システムは、フィルタリングした確率を求める為に、各画素の前記演算で得た確率または前記反転確率にフィルターを適用する請求項14記載のカメラ。
16. 前記制御システムは、所定の確率閾値よりも低い値を有する全てのフィルタリングした確率を０の値の2値確率に設定し、所定のテスト確率値と同じ値を有する全てのフィルタリングした確率を1の値の2値確率に設定することにより2値画像を創生する請求項15記載のカメラ。
17. 前記制御システムは、１の値の2値確率を持った隣接する画素を一画素群にグループ化し、各画素群に関する結び付いた画素サイズを確定する請求項16記載のカメラ。
18. 前記制御システムは、所定の小さな画素数より大きく且つ所定の大きな画素数より少なく結び付いた画素サイズを持った画素群を、見込みゴミとして識別する請求項17記載のカメラ。
19. 前記制御システムは、前記見込みゴミ付近の輝度値より小さな輝度値を持った任意の見込みゴミをゴミとして識別する請求項18記載のカメラ。
20. 実際の景観の撮像画像を記録する撮影装置の、撮像センサー上のゴミを検出する方法であって、
    前記撮像センサー上にゴミが在るかを推定する為に前記実際の景観の前記撮像画像を評価する工程を含む方法。
21. 前記評価の工程は、前記撮像センサー上にゴミが在るかを測定する為に、前記撮像画像の色相チャネル、輝度チャネル及び彩度チャネルの内少なくとも1つを評価する工程を含む請求項20記載の方法。
22. 前記評価の工程は、前記撮像センサー上にゴミが在るかを測定する為に、前記撮像画像の色相チャネルと輝度チャネルを評価する工程を含む請求項20記載の方法。
23. 前記評価の工程は、前記色相チャネルと前記輝度チャネルに基づき、前記撮像画像の複数の画素に関し演算で得たゴミの確率を求める事を含む請求項22記載の方法。
24. 画素毎に反転確率を求める為に、画素毎に１から前記演算で得た確率を差し引く工程を更に含む請求項23記載の方法。
25. フィルタリングした確率を求める為に、各画素の前記演算で求めた確率または前記反転確率にフィルターを適用する工程を更に含む請求項24記載の方法。
26. 所定の確率閾値よりも低い値を有する全てのフィルタリングした確率を０の値の2値確率に設定し、所定のテスト確率値と同じ値を有する全てのフィルタリングした確率を1の値の2値確率に設定することにより2値画像を創生する工程を更に含む請求項25記載の方法。
27. １の値の2値確率を持った隣接する画素を一画素群にグループ化し、前記画素群の結び付いた画素サイズを確定する工程を更に含む請求項26記載の方法。
28. 所定の小さな画素数より大きく且つ所定の大きな画素数より少なく結び付いた画素サイズを持った画素群を、見込みゴミとして識別する工程を更に含む請求項27記載の方法。
29. 前記評価の工程は、前記撮像センサー上にゴミが在るかを決める為に、前記撮像画像の彩度チャネルと輝度チャネルを評価する工程を含む請求項20記載の方法。

Images