JP2009524884A - 画像内の照明域を識別する方法及びシステム - Google Patents

Abstract

本発明の第１の例示的な実施形態では、画像内の照明域を決定する自動化されコンピュータ化された方法が提供される。この方法は、画像内の均等な線形トークンを識別するステップと、均等な線形トークンを利用して照明域を識別するステップとを含む。

Description

これは、２００６年１月２７日に出願された米国特許出願第１１／３４１，７５３号の利益を主張するものである。

近代のコンピュータ技術の多くの有意で商業的に重要な用途は、画像に関連する。これらには、画像処理、画像解析、及びコンピュータビジョンの用途が含まれる。コンピュータを利用して画像に関連する操作を的確かつ正確に実行するに当たっての問題は、視覚世界で発生している物理現象を真に反映し、表現するアルゴリズムの開発である。例えば、画像内で影と有形物のエッジとを正確かつ的確に区別するコンピュータの能力は、科学者にとって解決されない問題であってきた。物理的な物体のエッジの的確かつ正確な検出なしでは画像の他の処理が不可能であるため、エッジ検出は、画像処理における必須の作業である。投じられた影をその影を投じている物体から区別できなければ、コンピュータが物体を認識することは不可能である。

物体エッジ検出に対する初期の従来の手法は、画像内の輝度境界の解析を含む。この解析では、有形物により生じる境界が鮮鋭化されるのに対して、影により生じる境界が、影の半影効果によりソフト化又は平滑化されるものと仮定される。この手法は、コンピュータにより的確に実行することができるアルゴリズムにより実施することができるが、その結果は不正確なことが多い。現実世界では、影が鮮鋭な境界をなし、逆に、有形物のエッジが柔らかい境界をなす多くの場合がある。したがって、影及びエッジの認識に従来の技法を利用する場合、影認識に関して誤検出及び検出漏れの大きな可能性がある。これは、例えば、影に似ているため、コンピュータにより影として誤って識別されるマテリアル／物質のエッジであり、又は物体境界として誤って解釈される鮮鋭な影の境界である。したがって、画像に関連するコンピュータの動作に利用することができる的確で正確な技法の開発が永続的に必要とされる。

本発明は、画像内の照明域を識別するための、視覚世界で発生する物理現象を的確かつ正確に反映し表現する画像技法を含む方法及びシステムを提供する。

本発明の第１の例示的な実施形態では、画像内の照明域を決定する自動化されコンピュータ化された方法が提供される。この方法は、画像内の線形トークンを識別するステップと、線形トークンを利用して照明域を識別するステップとを含む。

本発明の第２の例示的な実施形態では、画像の影／明ピクセルを決定する自動化されコンピュータ化される方法が提供される。この方法は、画像内の均等トークンを識別するステップと、均等トークンを利用して画像の影／明ピクセルを識別するステップとを含む。

本発明の第３の例示的な実施形態では、画像内の影を決定する自動化されコンピュータ化される方法が提供される。この方法は、画像の固有のスペクトル比を計算するステップと、固有のスペクトル比を利用して画像内の影を識別するステップとを含む。

本発明の第４の例示的な実施形態では、画像内のマテリアル（物質）エッジを決定する自動化されコンピュータ化される方法が提供される。この方法は、画像の照明勾配を計算するステップと、照明勾配を利用して画像内のマテリアルエッジを識別するステップと含む。

本発明の第５の例示的な実施形態では、画像内の照明域を決定する自動化されコンピュータ化された方法が提供される。この方法は、画像内のトークンを識別するステップと、識別されたトークンをクラスタ化して群にするステップと、トークン群を利用して照明域を識別するステップとを含む。

本発明のさらなる実施形態によれば、コンピュータシステムであって、上述した方法を実行するように構成（例えば、プログラム）された１つ又は複数のコンピュータを含むコンピュータシステムが提供される。本発明の他の実施形態によれば、コンピュータ可読媒体であって、上述した実施形態を実施するようにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを記憶したコンピュータ可読媒体が提供される。この自動化されコンピュータ化された方法は、デジタルコンピュータ、アナログコンピュータ、光学センサ、状態機械、シーケンサ、又は本発明の方法のステップを実行するように設計可能又はプログラム可能な任意の機器若しくは装置により実行することができる。

これより図面、最初は図１を参照して、画像に関連する操作を実行するように準備され構成されたコンピュータシステム１０のブロック図を示す。ＣＰＵ１２が、例えばデジタルカメラ１４等の装置に、例えばＵＳＢポートを介して結合される。デジタルカメラ１４は、カメラ１４にローカルに記憶されている画像をＣＰＵ１２にダウンロードするように動作する。ＣＰＵ１２は、ダウンロードされた画像を画像ファイル１８としてメモリ１６に記憶する。ＣＰＵ１２は、画像ファイル１８にアクセスして、モニタ２０に表示し、又はプリンタ２２でプリントアウトする。

あるいは、ＣＰＵは、例えば、デジタルカメラ１４又はロボット等の装置に組み込まれたマイクロプロセッサとして実施することができる。ＣＰＵは、例えば、ロボット動作又はユーザとのインタラクティブ動作と併せた画像に関連するリアルタイム操作のためにリアルタイムオペレーティングシステムを装備することもできる。

図２に示すように、各画像ファイル１８はｎ×ｍピクセルアレイを含む。各ピクセルｐは、全体画像の離散部分に対応する画素である。すべてのピクセルが一緒になって、画像ファイル１８により表される画像を画定する。各ピクセルは、カラーバンドセット、例えば、画素の赤、緑、及び青の色成分（ＲＧＢ）に対応するデジタル値を含む。本発明は、各バンドが電磁スペクトルに対応する任意のマルチバンド画像に適用可能である。本発明は、グレースケール画像（シングルバンド）と併せて利用することも可能である。各ピクセルアレイはｎ行ｍ列を含み、ピクセルｐ（１，１）で始まり、ピクセルｐ（ｎ，ｍ）で終わる。画像を表示又は印刷する場合、ＣＰＵ１２は、対応する画像ファイル１８をメモリ１６から検索し、場合によっては、一般に既知のように、画像ファイル１８内のピクセルのデジタル値に応じてモニタ２０又はプリンタ２２を動作させる。

画像操作において、ＣＰＵ１２は、記憶されている画像ファイル１８のピクセルのＲＧＢ値を解析して、例えば、画像内の一定反射率領域を識別して単一の有形物を識別する等の様々な目的を達成するように動作する。本発明の基本的発見の基礎をなす基本観察は、画像が２つの成分、すなわちマテリアル及び照明を含むことである。画像内のすべての変化は、これらの成分のうちの一方又は他方によって生じる。ＣＰＵ１２により記憶されている画像ファイル１８の、モニタ２０上に表示にされて人間の目に見えるものは、例えば、デジタルカメラ１４により撮影されたシーン内の有形物の鏡面反射特性及び内部反射特性と、写真が撮影された時間に存在した照明域内の照明束との相互作用により生じるピクセル色値である。照明束は周辺光源及び入射光源を含む。入射光源は、影を生じさせる光であり、影の周長の外側に見られる。周辺光源は、影の明るい側及び暗い側の両方に存在する光であるが、暗い領域内においてより知覚することができる。

照明域内の入射光源すなわち直接光源と周辺光源との相互作用により生じるスペクトルシフトの認識を通して、マテリアル側面と照明束とを区別するようにコンピュータシステム１０を動作させることができる。マテリアル及び照明のうちの一方が画像内で分かっている場合、他方を容易に推定することができる。入射光源及び周辺光源のスペクトルは、互いに異なり得る。実際に、周辺光源のスペクトルは、相互反射の影響によりシーン全体を通して変化し得る。相互反射がない場合、影により生じるスペクトルシフト、すなわち、入射光源の強度の低減は、画像内に示されるシーンに存在する、異なるマテリアルにわたって不変である。

本発明の一特徴によれば、画像内の一定反射率エリアを識別し、それにより、単一の有形物を識別するために、トークン解析を使用することができる。線形トークンは、画像の連結領域を含む非均質トークンであり、連結される領域の隣接ピクセルは、正の傾きに沿って暗端（影内）から明端（照らされる端）までＲＧＢ空間内のシリンダ内に入る、異なる色測定値を有する。シリンダ構成は、色変化が、画像に示されるシーンの単一のマテリアルにわたって影を形成している照明の変化（すなわち、照明域内の入射すなわち直接光源と周辺光源との相互作用としての入射光源の強度の低減）によるものである場合、本発明の一特徴により二光源二色性反射モデル（ＢＩＤＲモデル）により予測される。線形トークンの説明、識別、及び使用のために、ＢＩＤＲモデルは、Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}＝ｃ_ｂ（λ）ｌ_ｄ（λ）γ_ｂ＋Ｍ_ａ（λ）ｃ_ｂ（λ）として記述することができる。式中、Ｉ_{（ｘ，ｙ，ｚ，θ，φ，λ）}は、波長８の方向２、Ｎでの（ｘ，ｙ，ｚ）における表面点の放射輝度であり、ｃ_ｂ（λ）は、波長８での表面の幾何学的形状から独立した内部反射率であり、ｌ_ｄ（λ）は、波長λでの入射光源であり、γ_ｂは、影係数_{Ｓｘ，ｙ，ｚ}と幾何学的係数ｍ_ｂ（θ_ｉ）との積であり、Ｍ_ａ（λ）は、入射光源を除いた、周辺光源と半球上の幾何学的内部反射率との積である。

ＢＩＤＲモデルのより詳細な考察については、２００６年１月２７日に出願された「Bi-illuminant Dichromatic Reflection Model For Image Manipulation」という名称の同時係属中の米国特許出願第１１／３４１，７５１号明細書を参照する。これは、参照により本明細書に援用される。

これより図３を参照して、画像内の線形トークンを識別するフローチャートを示す。ステップ１００において、ＣＰＵ１２に、処理のために画像ファイル１８が与えられる。ＣＰＵ１２は、線形トークン識別に向けて画像内の各ピクセルをテストする。ステップ１０２において、現在のピクセルについて、ＣＰＵ１２は、現在のピクセルの周囲の局所エリアをテストして、現在のピクセル及びその近傍ピクセルが、ＢＩＤＲモデルにより予測されるＲＧＢ空間内の線形セグメントすなわちシリンダ（ＢＩＤＲシリンダ）内に入るか否かを判断する。図４は、本発明の一特徴により、γ_ｂ＝０（完全に影になる）からγ_ｂ＝１（完全に照らされる）まで簡易二光源二色性反射モデルの実行により決定される、完全に影になった色値から完全に照らされた色値までの単一のマテリアルの色のＲＧＢ色空間でのグラフを示す。図４に示すように、ＢＩＤＲモデルは、影、光、及び半影内の特定のマテリアルの測定色がすべて、ＲＧＢ空間（図４に示される立方体）内の線に沿って延在することを予測する。

実際には、録画に使用されるカメラ又は他のセンサは、通常、ノイズを有し、画像内のマテリアルで完全に均等な色のものはない。したがって、表面の外観値は、マテリアル及びイメージングセンサノイズ特性のばらつきにより決まる幅を有するシリンダ内に入る。本発明のＢＩＤＲモデルにおいて考慮される入射光源及び周辺光源により内部反射を表すシリンダは、シーン内のあらゆる固有色に一意の開始場所を有する。開始場所は、周辺照明と内部色との積によって決まり、ＲＧＢ空間内のシリンダの傾きは、入射照明と内部色との積によって決まる。

図５ａ及び図５ｂは、エラーバウンドがシリンダを形成する、完全に影になった色値から完全に照らされた色値までのマテリアルの色を示すＲＧＢ空間でのグラフである。図５ａでは、シリンダは、ＢＩＤＲモデルにより予測されたＲＧＢ線の周りに示され、シリンダ直径の寸法は、録画に使用される記録装置のノイズ及びばらつきの関数である。

図５ｂは、完全に影になった端での同じ絶対距離が、線の完全に照らされた端での線からの同じ絶対距離よりも実際には大きな色差を表すことを認めた円錐形状のシリンダを示す。これは、影端でのカラーバンド強度の大きさが、影端での線からの実際距離の、明端よりも大きい割合であることによる。例えば、シリンダの影端（ＲＧＢ）＝（５，６，８）での色及び明端での色（１００，１２０，１６０）を考える。ＣＰＵ１２が、両方の色値から赤色に向けてそれぞれ１０単位分、色値を変更する場合、その結果は、影色値（１５，６，８）及び明色値（１１０，１２０，１６０）である。暗端では、色は明らかな青色から明らかな赤色にシフトしたのに対して、明端では、色は青のままである。この差を補償するために、同じ大きさの色変更が、それに対応して線から的確な絶対距離を有するように、影端を狭め、明端を広げるような調整がシリンダに対して行われる。

近傍ピクセルセットが、例えば、図５ｂに示すようなＲＧＢ空間内のシリンダを画定する場合、ＣＰＵ１２はそのピクセルセットを線形トークンとして指定する。その理由は、ＢＩＤＲモデルにより予測されるように、そのようなピクセルセットの色値が、投げかけられた影による入射光源量の変化又は単一のマテリアル上のシーンジオメトリ変化によるものであり得るためである。しかし、そのようなシリンダは、一定照明下でのあるマテリアルから別のマテリアルへの遷移によっても生じ得る。あるマテリアルから別のマテリアルへの遷移によって生じるシリンダは、後述するいくつかのフィルタリングステップの実行を通して識別される。ＣＰＵ１２は、画像内の各ピクセルに対してステップ１０２を繰り返して、画像内の線形トークンセットを識別する。

ステップ１０４、１０６、１０７、１０８、１０９は、ＣＰＵ１２が、ステップ１０２において識別された線形トークンセットが実際に単一のマテリアルにわたる影によるものであることを確認するために実施することができる任意のフィルタである。ステップ１０４において、ＣＰＵ１２は、任意に、２つの空間的に隣接するピクセルの差が、線形トークン内の最も明るいピクセルと最も暗いピクセルとの差の選択された割合よりも大きい各識別線形トークンをフィルタリングして除去する。半影の影は、一般に、最暗から最明への漸進的な変化を示すため、半影内の任意の２つの空間的に隣接するピクセル間の割合変化は比較的小さいはずである。これとは対照的に、ピントがはっきりと合った画像内の２つのマテリアル間の遷移は非常に急激であることが多く、１、２、又は３つのピクセルの空間で行われる。

ステップ１０６において、ＣＰＵ１２は、任意に、不合理な光源を示唆する傾きを有する線形トークンをフィルタリングして除去する。周辺光源は、スペクトル比Ｓ＝Ｄ／（Ｂ−Ｄ）により測定することができる。式中、Ｄは、画像内のピクセル対の暗ピクセルを表し、Ｂは明ピクセルを表す。スペクトル比は、異なるマテリアル、照明変化、又はこれらの両方に起因し得る画像内に示されるシーンの２つのエリアの色又は強度の差に基づく比である。

画像の照明束による固有のスペクトル比又は光源比を求める自動化されコンピュータ化された方法が、２００６年１月２７日に出願された「Method and System For Identifying Illumination Flux In An Image」という名称の同時係属中の米国特許出願第１１／３４１，７４２号明細書に開示されており、これは参照により本明細書に援用される。

ＢＩＤＲモデルに関してスペクトル比Ｓ＝Ｄ／（Ｂ−Ｄ）を記述すると、Ｓ＝Ｍ_ａ（λ）ｃ_ｂ（λ）／（［ｃ_ｂ（λ）ｌ_ｄ（λ）γ_ｂ＋Ｍ_ａ（λ）ｃ_ｂ（λ）］−Ｍ_ａ（λ）ｃ_ｂ（λ））である。式中、λは画像内のカラーバンドセットを表す。この式はＳ＝Ｍ_ａ（λ）／ｌ_ｄ（λ）γ_ｂに変形される。γ_ｂはスカラーであるため、スペクトル比での異なるカラーバンド、例えばＲＧＢ値の相対的な割合は一定である。したがって、画像内の所与の直接光源及び周辺光源の対に関して、Ｄがγ_ｂ＝０を有するものと仮定され、かつ明ピクセルＢがいくらかの入射光源を受けている場合、正規化されたスペクトル比は、同じマテリアルに対応するすべての明暗ピクセル対に対して一定である。したがって、スペクトル比は、ＢＩＤＲモデルにより、色補正調整のためのピクセル値処理のベースとして、例えば、図５ｂに示されるような色補正シリンダ内に入る色調整の予測として利用することができる画像の特性及び特徴の表現である。

経験的観察は、最も飽和した周辺光源が、例えば、０．８以下の比を有することを示す。０．８を超えるいかなる値も、色変化が照明によってのみ発生した可能性が低く、厳密にマテリアル変化或いはマテリアル変化及び照明変化の組み合わせにより発生したことを示す。したがって、例えば、０．８を超える比を有する識別線形トークンは、識別線形トークンからフィルタリングされて除外される。飽和閾値は、比を決定するために使用される測定の的確性に基づいて調整することができる。

ステップ１０７において、ＣＰＵ１２は、任意に、「フィンガ」テストに不合格の線形トークンをフィルタリングして除去する。フィンガフィルタリングは、線形トークンにより測定される局所画像勾配全体に直交するピクセルのピクセル色値を解析して、略一定の色値がいずれかの方向に現れているか否かを判断することを含む。シーン内のポイントでの色のサンプリングではなく、ピクセルは、ある小さなエリアの平均色を測定する。マテリアル境界は鮮鋭である傾向を有し、２つのマテリアルの鮮鋭な境界では、ピクセルは２つのマテリアルのいくらかの部分で重複する可能性が高く、そのピクセルの色は２つのマテリアルの割合に依存する。解析がマテリアル境界に沿って移動する場合、境界に沿った隣接ピクセルは、２つのマテリアルの異なる割合を有し、ひいては異なる色を有する可能性が高い。図３ｂはこの特性を示す。照明境界では、解析が線形トークンにより取り込まれた画像勾配に直交して移動する場合、通常、照明遷移はマテリアル遷移よりも減衰されるため、通常、色は略一定のままである。

本発明の一特徴によれば、フィンガテストは、線形トークンの周縁に沿った各ピクセルの解析を含む。まず、線形トークンにより取り込まれる主要画像勾配の方向が測定される。次に、線形トークン上の各周縁ピクセルについて、ＣＰＵ１２はピクセルの色を記録する。その後、ＣＰＵ１２は、直交からいずれかの方向に例えば４５度離れるいくらかのばらつきを許して、測定された画像勾配におおよそ直交する方向においてピクセルを調べる。おおよそ直交する方向でのピクセルのいずれかが、対象周縁ピクセルとおおよそ同じ色である場合、ＣＰＵ１２は解析のフォーカスをそのピクセルに移す。新たにフォーカスされたピクセルから解析が続けられ、元の周縁ピクセルと同じ色の予め選択された数の略直交するピクセルが識別され（て、フィンガが確立され）るまで、これらのステップが繰り返される。このルーチンは、線形トークンの各周縁ピクセルに対して繰り返される。周縁ピクセルのすべてが所定の長さのフィンガを有する場合、線形トークンは受け入れられる。この点において、完全に水平、垂直、又は斜めのフィンガはいずれも、センサのピクセル格子間とマテリアル境界とが偶然に位置合わせされたことによるものであり得る。したがって、任意の完全に水平、垂直、又は斜めのフィンガを有する線形トークンは、拒絶するか、又は低信頼スコアを与えることができる。

線形トークンは、照明又はマテリアルのいずれかが変化しているロケーションで発生する。変化が、波打った表面上又は複数の葉により投じられる影からの斑になった照明等の繰り返し変化している照明によるものである場合、波の明端上の線形トークンの母集団は、暗端上の線形トークンと同様である。したがって、波の中間にある線形トークンＡは、明端及び暗端上の線形トークンと同様の母集団を有する。一方、マテリアル境界を交差する線形トークンは、一般に、いずれの端上の線形トークンとも同様の母集団を有さない。それに代えて、一方の母集団が１つのマテリアルに対応し、トークンの他方の端での母集団は第２のマテリアルに対応する。ステップ１０８において、ＣＰＵ１２は、サポートフィルタリングを使用し、マテリアル差を使用して、マテリアル境界を交差する線形トークンをフィルタリングして除去する。

このために、画像内の線形トークンＡを考える。画像内でＡの一端に近いが、画像のＡと同じエリアに交差しないトークンのセットは母集団Ｂとなる。画像内でＡの他端に近いが、Ａと同じエリアに交差しないトークンのセットは母集団Ｃになる。母集団Ｂ及びＣを画定するエリアは、マスクを使用して、又は線形トークンＡの一端に相対する距離及び向きを使用して計算することができる。境界は湾曲する可能性があり、又は線形トークンＡに直交して位置合わせされない可能性があるため、２つ以上のマスクを使用することも可能であり、その場合には、すべてのマスクの出力を使用してフィルタリング判断が下される。

その後、ＣＰＵ１２は、母集団Ｂ及びＣを特徴付けて比較するように動作する。特徴付けの一方法は、平均シフトアルゴリズム又はＲＡＮＳＡＣアルゴリズム等の当該技術分野において既知の他の方法を使用して、母集団内の最大の複数の線形トークンに適合するＲＧＢ空間内の傾き及び交点を識別する。特徴付け後、母集団Ｂ及びＣが互いと同様の傾き及び交点を有し、かつ線形トークンＡと同様の傾き及び交点を有する場合、線形トークンＡはいずれかの側にサポート領域を有すると言える。いずれの側にもサポート領域を有さない線形トークンは、潜在的なマテリアル境界としてフィルタリングして除去することができる。

ステップ１０９において、線形トークンは、任意に、線形トークン内の最も鮮鋭なエッジのロケーションによりフィルタリングすることができる。線形トークン内のすべての隣接ピクセル間のＲＧＢ空間での差が測定される。この最大差が線形トークンの中央付近で発生する場合、線形トークンはセンタリングされていると言え、フィルタリングにパスする。センタリングされたトークンについてのフィルタリングは、サポートフィルタリングをより効果的にする。

ステップ１０２、１０４、１０６、１０７、１０８、１０９のフィルタリング動作の完了後、ＣＰＵ１２は、画像の線形トークンのセット又は群を出力する（ステップ１１０）。

図６は、トークン群を使用して一定反射率領域を識別するフローチャートを示す。ステップ２００において、ＣＰＵ１２に、画像ファイル１８からの画像エリアが与えられる。ステップ２０２において、ＣＰＵ１２はトークンリスト及びトークングラフを計算する。トークンリストの生成は、上述した図３ａのルーチンの実行を通して識別される線形トークンに加えて、２００６年１月２７日に出願された「Method and System For Identifying Illumination Flux In An Image」という名称の同時係属中の米国特許出願第１１／３４１，７４２号明細書に教示されているような均等トークンの識別を含むことができる。トークングラフは、ＣＰＵ１２により識別されたトークン間の近傍関係、例えば、対象トークンの２０ピクセル内のすべてのトークンを示すグラフである。トークン群は影の長さに沿って、又は波打った表面にわたって延在することができるため、グラフを使用して、対象トークンの近傍にある類似するトークンを識別することができる。トークングラフを生成する方法は、同時係属中の米国特許出願第１１／３４１，７４２号明細書において開示されている。

ステップ２０２の完了後、ＣＰＵ１２は、トークングラフの近傍のすべての対を調べて、近傍トークン間の変化が照明変化によるものであるか否かを評価する（ステップ２０４）。調査は１組のテストを含む。第１のテストでは、ＣＰＵ１２は、１つの近傍トークンがすべてのカラーバンドにおいてその他の近傍トークンよりも暗いか否かを判断する。

第２のテストにおいて、ＣＰＵ１２は、より明るいトークン色をより暗いトークン色に結びつける線が、トークン色を示している色空間の原点に近づいているか否かを判断する。ＣＰＵ１２は、原点とより暗いトークン色値とを結ぶ線と２つのトークン色値を結ぶ線との角度を計算することにより近接関係を評価する。角度が閾値、例えば１０度よりも大きい場合、２つのトークン間の変化はマテリアル変化であると考えられる。このテストは、上述したスペクトル比飽和フィルタと同様である。

第３のテストにおいて、ＣＰＵ１２は、２つの領域間の境界ピクセル対に沿った反射率比Ｒｉ＝（ＡｉＢｉ）／（Ａｉ＋Ｂｉ）がわずかな分散を有するか否か、及び０に近いか否か（ノイズ許容差内で）を判断する。

ステップ２０４の完了後、ＣＰＵ１２は、近傍トークンが、ステップ２０４において求められた可能な照明変化によりリンクされ、トークンの色値がＲＧＢ空間内にシリンダ（ＢＩＤＲシリンダ）を画定するトークン群を探してトークンリストを探索する（ステップ２０８）。トークン群は、トークングラフにおいて示される近傍関係に従って編成することができる。平行して、ＣＰＵは、画像の固有の局所スペクトル比のセットを計算することができる（ステップ２０６）。照明境界は、上述したように、入射光源と周辺光源との相互作用によって生じるため、照明変化に関連する画像全体を通してのスペクトル比は、境界の明るい側の色又はマテリアル特徴に関係なく一貫しておおよそ等しいはずである。したがって、本発明のトークン群解析においてスペクトル比が、シーンの固有のスペクトル比におよそ等しい場合、これは、トークン間で変化している色値が実際に照明に起因するものであることを示すものである。

２００６年１月２７日に出願された「Method and System For Identifying Illumination Flux In An Image」という名称の同時係属中の米国特許出願第１１／３４１，７４２号明細書において教示されるように、画像の特徴比の的確性及び正確性を向上させるために、照明境界のスペクトル比情報は局所レベルで求められる。すなわち、光源比、画像内に示されるシーンのいくつかの予め選択された各局所エリアについて求められる。次に、境界の解析は、画像内の境界の特定のロケーションのスペクトル比を利用して実行される。局所的に関連するスペクトル比を求めることは、現実世界の画像で直面し得る複雑性、例えば、室内の異なるいくつかの光源の相互作用、相互反射等に対応する。同時係属中の出願の教示によれば、局所スペクトル比は、画像の局所エリアの動的サンプリングによりコンピュータシステム１０により自動的に求められて、画像の空間−スペクトル特徴、すなわち、照明束を示す状況を含む特徴が識別される。

上述したように、スペクトル比はＳ＝Ｄ／（Ｂ−Ｄ）である。ステップ２１０において、ＣＰＵ１２は、識別された各トークン群のピクセルのスペクトル比を計算することができる。トークン群は空間的に隣接するトークンの集まりを含み、これらトークンはすべてＲＧＢシリンダ上にある。比の明色及び暗色は、トークン群内で最も明るいトークン及び最も暗いトークンの色である。トークン群のスペクトル比が、トークンロケーションの固有のスペクトル比と大幅に異なる場合、そのトークン群により表されるＲＧＢシリンダは、照明変化のみに対応するものではない可能性があるため、その群を拒絶することができる。

ステップ２１２において、ＣＰＵ１２は、任意に、類似するトークン群をクラスタ化し併合することができる。クラスタ化のために、ＣＰＵは、２つのトークンの距離をｄ＝２つのＢＩＤＲシリンダの傾き間のユークリッド距離＋０．５＊（シリンダ１の明端ピクセルからシリンダ２の軸までの距離＋シリンダ１の暗端ピクセルからシリンダ２の軸までの距離＋シリンダ２の明端ピクセルからシリンダ１の軸までの距離＋シリンダ２の暗端ピクセルからシリンダ１の軸までの距離）＋０．５＊（｜シリンダ１の明ロケーション−シリンダ２の明ロケーション｜＋｜シリンダ１の暗ロケーション＋シリンダ２の暗ロケーション｜）として定義する。次に、ＣＰＵは、リーダ−フォロア（leader-follower）（オンライン）クラスタ化又は階層凝集型クラスタ化等の当該技術分野において周知の任意のクラスタ化アルゴリズムの１つ又はこのような任意の方法の組み合わせを実行する。クラスタ化の目標は、クラスタ内の任意の２つのトークン間の最大許容距離が小さな閾値に設定されるように、非常に類似するトークンを一緒に群化することである。

クラスタ化の結果は、各クラス内のすべてのトークン間に高度の類似性があり、かつ各トークン群が、変化する照明下での単一のマテリアルを表すように編成されたトークン群のセット又はクラスである。クラスタ化の結果として特定の群内で見つけられるすべてのトークンは、同じ色の遷移、例えば緑色表面上の周辺光から５０％入射照明への偏移を表すべきである。

ステップ２１４において、ステップ２１２のクラスタ化を介して求められた各トークン群について、ＣＰＵ１２は、トークンが、ＢＩＤＲモデルにより予測される単一のマテリアルの画像内の照明変化を表すものと仮定する。ＣＰＵ１２は、入射すなわち直接光源を推定するか、又は直接光源が白色であると仮定する。入射光源の推定は、通常、今日の市販のカメラに内蔵されるホワイトバランスアルゴリズムを通して得ることができる。白色入射光源を仮定すると、スペクトルは均等（１，１，１）である。次に、ＣＰＵ１２は、トークン群内のピクセルにより示される物体のマテリアル色を計算することができる。

マテリアル色、光源、及びピクセル画像値は、以下のように関連する：画像値＝マテリアル色＊光源。したがって、トークン群内のピクセル（トークン群は、本発明のＢＩＤＲモデルによる単一のマテリアルにわたる影の表現である）は、画像内の単一のマテリアルにより示される一定反射率領域の正確な色を決定するベースを提供する。ＣＰＵ１２による出力（ステップ２１６）は、識別されたトークン群の解析を通して識別されたマテリアル域を示すものである。

図７は、本発明の一特徴により線形トークン及びＢＩＤＲシリンダを使用して、画像の一定反射率領域を識別するフローチャートである。ステップ２１８において、ＣＰＵ１２に画像エリアが与えられる。ステップ２２０において、線形トークンが、図３のステップ１００−１１０（任意のフィルタリングステップ１０４−１０９のうちの任意のステップを含む）を通して識別される。ステップ２２２からのスペクトル比の局所推定を使用して、任意に、ステップ２２４において、線形トークンをさらにフィルタリングすることができる。

ステップ２２６において、類似する線形トークンが一緒に群化される。クラスタ化のために、ＣＰＵは、２つの線形トークン間の距離をｄ＝２つのＢＩＤＲシリンダの傾き間のユークリッド距離＋０．５＊（シリンダ１の明端ピクセルからシリンダ２の軸までの距離＋シリンダ１の暗端ピクセルからシリンダ２の軸までの距離＋シリンダ２の明端ピクセルからシリンダ１の軸までの距離＋シリンダ２の暗端ピクセルからシリンダ１の軸までの距離）＋０．５＊（｜シリンダ１の明ロケーション−シリンダ２の明ロケーション｜＋｜シリンダ１の暗ロケーション＋シリンダ２の暗ロケーション｜）として定義する。次に、ＣＰＵは、リーダ−フォロア（オンライン）クラスタ化又は階層的凝集型クラスタ化等の当該技術分野において周知の任意のクラスタ化アルゴリズムの１つ又はこのような任意の方法の組み合わせを実行する。クラスタ化の目標は、クラスタ内の任意の２つの線形トークン間の最大許容距離が小さな閾値に設定されるように、非常に類似した線形トークンを群化することである。

クラスタ化の結果は、各クラス内のすべての線形トークン間に高度の類似性があるように編成された線形トークンのセット又はクラスである。クラスタ化の結果として特定の群内に見つけられるすべての線形トークンは、同じ色遷移、例えば緑色の表面上の周辺光から５０％入射照明への色遷移を表すべきである。

ステップ２２８において、各線形トークン群が調べられ、ＣＰＵ１２は、群内のすべての線形トークンを包含するＲＧＢ空間内のＢＩＤＲシリンダを計算する。各群について、線形トークンは、ステップ２３０において、標準領域成長のためのシードピクセルとして使用される。領域成長は、当該技術分野において周知の技法である。領域はシードピクセルから成長し、メンバシップ基準は、追加のピクセルが計算されたＢＩＤＲシリンダ内になければならないというものである。

次に、ＣＰＵ１２は重複領域を群化する（ステップ２３１）。領域が大きな重複を有する場合、同じマテリアルの現れである可能性が高い。ある線形トークン群は、例えば、相互反射からの緑色周辺光を有する影になった緑色から入射に照らされた緑色への遷移を記述することができ、別の線形トークン群は、例えば、青色天空光周辺光を有する影になった緑色から入射で照らされた緑色への遷移を記述することができる。２つの領域は、緑色マテリアル上の異なる照明遷移を記述し、入射で照らされた領域において重複する。領域を群化するために十分な重複は、例えば、少なくとも１０％のピクセルが他方の領域内にもある領域として定義することができる。

ステップ２３２において、各領域群について、すべてのバリエーションが照明によるものである、すなわち、領域群がすべて１つのマテリアル上にあるものと仮定される。個々の各領域は、そのマテリアル上のある周辺色から入射照明への遷移のいくらかの部分を記述し、重複する領域群が、異なるスペクトルを有する可能な複数の周辺光源がある、変化する照明条件下での単一のマテリアルの検出を提供する。各領域群について、マテリアル色は、領域内の最も明るい色として、又は例えば、９５パーセンタイルの輝度値を有するピクセルの色として推定することができる。次に、単純な関係：画像色＝マテリアル色＊照明色により、領域群にわたる照明色を求めることができる。これにより、照明域及びマテリアル域が生成される（ステップ２３４）。

図８は、本発明の一特徴によりＮ次トークンを使用して、画像の影になった領域及び照らされた領域を識別するフローチャートである。ステップ３００において、ＣＰＵ１２に、画像ファイル１８のエリアの均等トークンリストが与えられる。均等トークンは、領域全体を通しておよそ一定（例えば、記録機器の予想ノイズマージンによって決まる範囲内）のピクセル値を有する画像の連結領域である。ＣＰＵ１２は、シード内のピクセルの中の一致したピクセル値を探してシード、例えば、ピクセルアレイをテストすることにより均等トークンを識別し、シードが一致値テストに合格した場合、シードを成長させることができる。均等トークン識別のより詳細な説明は、２００６年１月２７日に出願された「Method and System For Identifying Illumination Flux In An Image」という名称の同時係属中の米国特許出願第１１／３４１，７４２号明細書において開示されている。

ステップ３０２において、固有の局所スペクトル比がＣＰＵ１２により識別される。ステップ３０４において、ＣＰＵ１２は、固有のスペクトル比に整合する均等トークンのすべての近傍対を識別する。すなわち、ＣＰＵ１２は、対の各トークンから１つずつのピクセル対がスペクトル比Ｓ＝Ｄ／（Ｂ−Ｄ）が固有のスペクトル比に等しいか否かを判断する。任意のこのようなトークン対は、影内のトークン及び照らされたトークンを表し、このような各対は２次トークンを含む。ステップ３０６において、ＣＰＵ１２は、均等トークンの整合する対のピクセルからトレーニングセットを作成する。影内のトークンからのピクセルは（−１）とラベリングされ、照らされているトークンからのピクセルは（１）とラベリングされる。Ｎ次トークン、例えば、影／明関係において互いに整合する２つの２次トークン等を対として使用することができる。

ステップ３０８において、ＣＰＵ１２は、２次トークン内の影／明トークン対の各ピクセルのベクトルを生成する。ベクトルは、ピクセルロケーション、ピクセルカラー、及びラベル（−１又は１）を含む。各ベクトルは６つの要素：ピクセルロケーション（ｘ，ｙ）、ピクセルカラー（ｒ，ｇ，ｂ）、及びラベル（−１又は１）を有する。ステップ３１０は、ニューラルネットワーク、サポートベクタマシン、又はｋ最近傍等の任意の周知の関数あてはめ又は機械学習アルゴリズムにより実施することができる。学習アルゴリズムは、ｘ、ｙ、ｒ、ｇ、及びｂの入力に応じて−１又は１を出力する関数を作成する。したがって、画像内の任意のピクセルについて、これらの値を関数に入力し、結果として得られる分類が出力される。ステップ３１２において、ＣＰＵはその関数を使用して、画像のすべてのピクセルを影又は明のいずれかとして分類し、影マスクを出力する（ステップ３１４）。

図９は、本発明の一特徴により比ラベリングを使用して画像の影になったエリアを識別し補正するフローチャートである。ステップ３１６において、ＣＰＵ１２に、画像ファイル１８及び画像ファイル１８の固有のスペクトル比が与えられる。ステップ３１８において、ＣＰＵ１２は、影内であり得る画像のすべてのピクセルを識別する。識別は、ＣＰＵ１２が個々の各ピクセルを一度に１つずつテストして、対象ピクセルが影内にあるのに十分に暗いか否か、例えば、画像の強度範囲の５０％未満の強度レベルであるか否かを判断することにより実施することができる。ステップ３２０において、おそらく画像内の影内にあるのに十分に暗いと判断される各ピクセルについて、ＣＰＵ１２は、画像エリアの所与の固有のスペクトル比に整合又は厳密に整合する対象暗ピクセルとのスペクトル比を有する任意のより明るいピクセルを探して、対象ピクセルの周囲の画像の近傍エリア、例えば３０×３０平方のピクセルを探索する。２つ以上のより明るいピクセルが整合する場合、ＣＰＵ１２は、固有のスペクトル比に相対するエラー量又はより明るいピクセルの輝度により、より明るいピクセルのセットを順序づけることができる。最良の整合（固有のスペクトル比及び最も明るいピクセルに最も近い）又は順序付きのより明るいピクセルの重み付き平均を、対応する暗ピクセルと共に比ラベル対として使用することができる。

ステップ３２２において、ＣＰＵ１２は、影ピクセルとして各比レベルの各暗ピクセルをマークし、画像のすべての影ピクセルを含む影マスクを出力する（ステップ３２４）。あるいは、ステップ３２６において、ＣＰＵ１２は、暗ピクセルの色及び強度を対応する比ラベル対内の明ピクセルの色及び強度に変更することにより、影ピクセルとして指定された各ピクセルを変更するように動作することができる。ステップ３２８において、ＣＰＵ１２は影のない画像を出力する。

図１０は、本発明の一特徴により画像内の照明勾配を識別するフローチャートである。照明勾配は、直接すなわち入射光源が測定可能な程度で変化している画像の比較的小さなエリアである。照明勾配が存在する画像のエリアの例は、影のうちの半影及び円柱体の湾曲した表面である。ステップ４００において、ＣＰＵに、画像ファイル１８及び画像の線形トークンセットが与えられる。所与のセットの線形トークンは、図３のルーチンの実行を通してＣＰＵ１２により識別することができる。ステップ４０２において、線形トークンリスト内の各線形トークンについて、ＣＰＵ１２は、標準領域成長でのように、ＲＧＢシリンダに沿ったピクセルへの類似性に関して線形トークンに隣接するピクセルを調べることにより、線形トークンを成長させる。

ステップ４０４において、ＣＰＵ１２は、成長したシリンダの明端及び暗端を推定する。ＣＰＵ１２により求められる大半の線形トークンは、完全に照らされたピクセルを完全な暗ピクセルに連結しない。線形トークンが成長するにつれて、ステップ４０２において、線形トークンにより画定される線に沿った領域内のピクセルの範囲は、より明るい端及びより暗い端に向かって成長する傾向を有する。成長した線形トークンの最も明るい端のピクセル及び最も暗い端の各ピクセルをとることにより、それはシリンダの真の長さを過大に予測しがちである。したがって、推定は、例えば、９０パーセンタイルの輝度値を有する成長した領域内のピクセルを明端ピクセルとして含み、１０パーセンタイルの輝度値を有するピクセルを暗端ピクセルとして含む。

明端及び暗端を基準点として使用して、ＣＰＵは、ＲＧＢシリンダの部分を半影として選択する（ステップ４０６）。半影は、完全な影領域（周辺照明のみ）と入射光源による完全な照明領域との間の部分的な影である。半影は、完全照明と周辺照明との間の遷移領域である。成長したシリンダの長さを範囲［０，１］内の数として設定し、部分［０．３，０．７］を半影部分として選択することにより、半影を推定することができる。

ステップ４０８において、成長したシリンダの選択された半影の中央内のピクセルから開始して、ＣＰＵ１２は、半影内に入る連結領域内のすべてのピクセルを見つける。ステップ４１０において、ＣＰＵ１２は、連結エリア内で見つけられたすべてのピクセルをマークする。成長したシリンダ内では、成長した領域内の半影部分を暗領域又は明領域と分離できることが予期される。半影内で連結領域を見つけるための元のシードピクセルは、成長前に、元の線形トークン（選択された半影の中央）内から選択される。暗エリア又は明エリアによる分離により断続エリアがある場合、ステップ４０２−４１０を介してテストされた別の線形トークンが、省かれたピクセルをマークすることができる。ステップ４１２において、ＣＰＵ１２は、すべての線形トークンの処理に基づいて、２つ以上のマークを有するすべてのピクセルを照明勾配としてラベリングし、照明勾配により示される照明エッジについての情報を出力する（ステップ４１４）。

図１１は、本発明の一特徴により照明勾配を使用して画像内のマテリアルエッジを識別するフローチャートである。照明勾配が、図１０のルーチンの実行を通してＣＰＵ１２により識別されると、照明勾配を使用して、マテリアルエッジを識別することができる。上述したように、本発明の重要な観察によれば、画像は２つの成分、すなわち、マテリアル及び照明を含む。画像内のすべての変化は、これらの成分のうちの一方又は他方によって生じる。これらのうちの一方が分かっている場合、他方を決定することができる。図１１のルーチンは、この原理を利用して、画像内のマテリアルエッジを識別する。ステップ４１６において、ＣＰＵに、画像ファイル１８等の入力画像が与えられる。平行して、ＣＰＵ１２は、ステップ４１８及び４２０のそれぞれにおいて、標準エッジ検出器を実行させて、画像内のすべてのエッジを識別するとともに、図１１のルーチンを実行して、照明変化による画像のエッジに対応する照明勾配を識別する。

ステップ４２２において、ＣＰＵ１２は、照明勾配情報をフィルタとして使用して、各エッジを照明勾配情報と比較することにより、標準エッジ検出器により決定された、照明変化によるエッジをマスクアウトする。結果は、マテリアルエッジ情報の出力である（ステップ４２４）。

上記明細書において、本発明を特定の例示的な実施形態及びその例を参照して説明した。しかし、添付の特許請求の範囲に記載される本発明のより広い趣旨及び範囲から逸脱することなく、それらに対して様々な修正及び変更を行うことが可能なことが明らかであろう。したがって、本明細書及び図面は、限定の意味ではなく例示として見なされるべきである。

画像に関連する操作を実行するように準備され構成されるコンピュータシステムのブロック図である。 図１のコンピュータシステムに記憶される画像のｎ×ｍピクセルアレイ画像ファイルを示す。 本発明の一特徴により画像内の線形トークンを識別するフローチャートである。 マテリアル境界の画像及び境界のピクセル値を示す。 本発明の一特徴による簡易二光源二色性反射モデルの実行により決定される完全に影になった色値から完全に照らされた色値までのマテリアルの色を示すＲＧＢ色空間でのグラフである。 本発明の一特徴による二光源二色性反射モデルの実行により測定される、エラーバウンドがシリンダを形成する、完全に影になった色値から完全に照らされた色値までのマテリアルの色を示すＲＧＢ色空間でのグラフである。 本発明の一特徴によりトークン群を使用して画像の一定反射率領域を識別するフローチャートである。 本発明の一特徴により線形トークンを使用して画像の一定反射率領域を識別するフローチャートである。 本発明の一特徴によりＮ次トークンを使用して画像の影領域及び明領域を識別するフローチャートである。 本発明の一特徴により比ラベリングを使用して画像の影エリアを識別し補正するフローチャートである。 本発明の一特徴により画像内の照明勾配を識別するフローチャートである。 本発明の一特徴により照明勾配を利用して画像内のマテリアルエッジを識別するフローチャートである。

Claims (16)

1. 画像内の照明域を決定する自動化されコンピュータ化された方法であって、
   前記画像内の線形トークンを識別するステップと、
   前記線形トークンを利用して、照明域を識別するステップと
   を含む、方法。
2. 前記線形トークンを識別するステップは、選択されたピクセルの周囲の局所エリアをテストして、ＲＧＢ空間にシリンダを形成する線形セグメントの構造を決定することにより実行される、請求項１に記載の方法。
3. 前記線形トークンを識別するステップは、そのような各線形トークンが前記画像内の照明変化に対応することを確認するために、識別された各線形トークンをフィルタリングすることを含む、請求項１に記載の方法。
4. 前記線形トークンを利用して、照明域を識別するステップは、画像の線形トークンをクラスタ化してトークン群にし、各トークン群のマテリアル色を計算することにより実行される、請求項１に記載の方法。
5. 前記画像の線形トークンをクラスタ化してトークン群にし、各トークン群のマテリアル色を計算するステップは、トークン群のＢＩＤＲシリンダを計算することにより実行される、請求項４に記載の方法。
6. 画像の影／明ピクセルを決定する自動化されコンピュータ化された方法であって、
   前記画像内の均等トークンを識別するステップと、
   前記均等トークンを利用して、前記画像の影／明ピクセルを識別するステップと
   を含む、方法。
7. 前記均等トークンを利用して、影／明ピクセルを識別するステップは、暗／明トークン対からトレーニングセットを作成し、当該トレーニングセットを利用して、学習関数を実行し、前記画像のピクセルを影又は明として区別する関数を生成することにより実行される、請求項６に記載の方法。
8. 画像内の影を決定する自動化されコンピュータ化された方法であって、
   前記画像の固有のスペクトル比を計算するステップと、
   前記固有のスペクトル比を利用して、前記画像内の影を識別するステップと
   を含む、方法。
9. 前記固有のスペクトル比を利用して、前記画像内の影を識別するステップは、予め選択された暗／明ピクセル対のスペクトル比を前記固有のスペクトル比と比較して整合を探すことにより実行される、請求項８に記載の方法。
10. 画像内のマテリアルエッジを決定する自動化されコンピュータ化された方法であって、
    前記画像の照明勾配を計算するステップと、
    前記照明勾配を利用して、前記画像内のマテリアルエッジを識別するステップと
    を含む、方法。
11. 画像内の照明域を決定する自動化されコンピュータ化された方法であって、
    前記画像内のトークンを識別するステップと、
    前記識別されたトークンをクラスタ化して群にするステップと、
    トークン群を利用して、照明域を識別するステップと
    を含む、方法。
12. 前記トークンは均等トークンを含む、請求項１１に記載の方法。
13. 前記トークンは、均等トークン及び線形トークンを含む、請求項１１に記載の方法。
14. 前記識別されたトークンをクラスタ化して群にするステップは、隣接するトークンのスペクトル的及び空間的な関係をテストして、前記画像内の照明変化により連結されたトークンの群を形成することにより実行される、請求項１１に記載の方法。
15. 前記トークン群を利用して照明域を識別するステップは、各トークン群のマテリアル色を計算することにより実行される、請求項１１に記載の方法。
16. 前記各トークン群のマテリアル色を計算するステップは、各トークン群のＢＩＤＲシリンダを計算することにより実行される、請求項１５に記載の方法。
    

Images