JP2015501037A - デジタル画像に関する色解析 - Google Patents

Abstract

本発明の例示的な第1実施形態では、画像を処理するための自動化されコンピュータ化された方法が提供される。本発明の１つの特徴によれば、この方法は、画像を示す画像ファイルをコンピュータメモリに提供するステップと、画像に関する空間スペクトル情報に応じて固有成分情報を決定するステップと、固有成分情報に応じて解析情報を計算するステップとを含む。

Description

本発明は、デジタル画像に関する色解析に関する。

現代のコンピュータ技術の多くの有意義な、かつ商業的に重要な用途は、画像に関するものである。これらには、画像処理、画像解析、及びコンピュータビジョンアプリケーションが含まれる。例えば、物体認識や光学文字認識などのコンピュータビジョンアプリケーションにおいては、画像の照明アスペクトと物質（素材）アスペクトの分離により、コンピュータパフォーマンスの精度を大幅に改良することができることが判明している。画像の照明アスペクトと物質アスペクトに関係する重要な先駆的な発明は、Richard Mark Friedhoffに付与された「Differentiation Of Illumination And Reflection Boundaries」という名称の特許文献１、及びRichard Mark Friedhoffらに付与された「Method And System For Identifying Illumination Flux In An Image」という名称の特許文献２に開示されている（これらの特許を、本明細書では以後、Friedhoff特許と総称する）。

米国特許第７，８７３，２１９号明細書 米国特許第７，６７２，５３０号明細書

本発明は、Friedhoff特許の根本の教示内容に対する改良及び向上を提供し、照明成分及び物質反射成分を含む画像の固有成分を識別し、固有成分から導出される解析情報を提供するための方法を含む。

本発明の例示的な第1実施形態では、画像を処理するための自動化されコンピュータ化された方法が提供される。本発明の１つの特徴によれば、この方法は、画像を示す画像ファイルをコンピュータメモリに提供するステップと、画像に関する空間スペクトル情報に応じて固有成分情報を決定するステップと、固有成分情報に応じて解析情報を計算するステップとを含む。

本発明の例示的な第２実施形態では、コンピュータシステムが提供される。コンピュータシステムは、ＣＰＵと、画像を含む画像ファイルを記憶するメモリとを備える。本発明の１つの特徴によれば、ＣＰＵは、画像に関する空間スペクトル情報に応じて固有成分情報を決定し、固有成分情報に応じて解析情報を計算するためのルーチンを実行するように配置され構成される。

本発明の例示的な第３実施形態では、コンピュータ可読媒体に実装されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、画像を示す画像ファイルをコンピュータメモリに提供し、画像に関する空間スペクトル情報に応じて固有成分情報を決定し、固有成分情報に応じて解析情報を計算するようにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを含む。

本発明の例示的な第４実施形態では、デバイスが提供される。このデバイスは、ＣＰＵと、画像を含む画像ファイルを記憶するメモリとを備え、ＣＰＵが、画像に関する空間スペクトル情報に応じて固有成分情報を決定し、固有成分情報に応じて解析情報を計算するためのルーチンを実行するように配置され構成され、デバイスはさらに、解析情報を表示するためのＣＰＵに結合されたディスプレイを備える。

本発明の第５の例示的実施形態では、ディスプレイデバイスが提供される。このディスプレイデバイスは、画像の固有成分情報に応じて計算される解析情報を表示するように配置され構成される。

本発明の更なる実施形態によれば、上述した方法を行うように構成された（例えばプログラムされた）１つ又は複数のコンピュータを含むコンピュータシステムが提供される。本発明の他の実施形態によれば、上述した実施形態を実施するためにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを記憶している非一時的なコンピュータ可読媒体が提供される。本発明は、例えば集積回路チップにおけるようなハードウェア回路として実装される命令を含む、本発明の方法を実行するためにコンピュータで使用可能な情報を実施する任意の製品として、コンピュータ可読媒体を企図する。自動化されコンピュータ化された方法は、デジタルコンピュータ、アナログコンピュータ、光センサ、状態機械、シーケンサ、又は、本発明の方法のステップを実施するように設計もしくはプログラムすることができる任意のデバイスもしくは装置によって行うことができる。

画像に関係付けられた操作／動作を行うように配置され構成されたコンピュータシステムのブロック図である。 図１のコンピュータシステムに記憶されている画像に関するｎ×ｍ画素／ピクセルアレイ画像ファイルを示す図である。 本発明の例示的実施形態に従う、図１に示される色解析ボックスの制御及び表示パネルの図である。 本発明の１つの特徴に従う、色解析ボックス上に表示するために色解析を実施するためのフローチャートである。 本発明の１つの特徴に従う、画像に関する照明強度ヒストグラム情報を解析するためのフローチャートである。 本発明の１つの特徴に従って図２の画像ファイル内のタイプＣトークン領域を識別するためのフローチャートである。 タイプＣトークンの識別において一例として使用される元の画像／オリジナル画像を示す図である。 図５ｂの画像内のタイプＣトークン領域を示す図である。 本発明の１つの特徴に従って図５ｃのタイプＣトークンから生成されるタイプＢトークンを示す図である。 本発明の１つの特徴に従って図５ａのフローチャートのルーチンによって識別されたタイプＣトークンをテスト／試験するためのルーチンに関するフローチャートである。 本発明の１つの特徴による対数色空間色度面のグラフィック表現の図である。 入力画像に示される色のリストを決定／判定するためのフローチャートである。 対数色度空間に関する向きを決定するためのフローチャートである。 図８のルーチンの実行により決定された入力画像の色に関する対数色度座標を決定するためのフローチャートである。 図１０のルーチンの実行により決定された対数色度座標を増強／増補するためのフローチャートである。 本発明の１つの特徴による、対数色度座標をクラスタリングするためのフローチャートである。 本発明の１つの特徴による空間ハッシュに関するグリッドの例示図である。 図１２のルーチンの実行により決定されたクラスタに対数色度座標を割り当てるためのフローチャートである。 対数色度クラスタリングに基づいて均一な反射率の領域を検出するためのフローチャートである。 固有画像を生成するために、同一物質制約に従って画像の照明アスペクトと物質アスペクトとを識別及び分離するために使用される［Ａ］［ｘ］＝［ｂ］行列関係の表現を示す図である。 図５ｂの元の画像に対応する照明画像と物質画像を含む固有画像を例示する図である。 本発明の１つの特徴による、図１６に例示される固有画像に適用されるエッジ保存ぼかし後処理技法に関するフローチャートである。 本発明の１つの特徴による、図１６に例示される固有画像に適用されるアーチファクト減少後処理技法に関するフローチャートである。 本発明の１つの特徴による、図１６に例示される固有画像に適用されるＢＩＤＲモデル施行後処理技法に関するフローチャートである。 二光源二色性反射モデルによって予測される、完全陰影色値から完全照明色値への物質に関する色を示す、ＲＧＢ色空間内でのグラフである。

次に図面を参照し、まず図１を参照すると、画像に関係する操作を行うように配置され構成されたコンピュータシステム１０のブロック図が示されている。ＣＰＵ１２は、例えばＵＳＢポートを介して、例えばデジタルカメラ１４などのデバイスに結合される。デジタルカメラ１４は、ビデオカメラを備えることができ、カメラ１４にローカルに記憶された画像をＣＰＵ１２にダウンロードするように動作する。ＣＰＵ１２は、ダウンロードされた画像を画像ファイル１８としてメモリ１６に記憶する。モニタ２０に表示するため、又はプリンタ２２で印刷するために、画像ファイル１８にＣＰＵ１２がアクセスすることができる。さらに、ＣＰＵ１２は、色解析ボックス２４に結合される。色解析ボックス２４は、ＣＰＵ１２によって計算及び出力される照明及び色情報を表示する。色解析ボックス２４は、個別の構成要素でよく、又はコンピュータシステム１０に組み込むことができる。

あるいは、ＣＰＵ１２は、例えばデジタルカメラ１４やロボットなどのデバイスに埋め込まれたマイクロプロセッサとして実装することができる。また、例えばロボット操作やユーザとの対話操作に関連して、画像に関係するリアルタイム操作のためのリアルタイム操作システムをＣＰＵ１２に備え付けることもできる。

図２に示されるように、各画像ファイル１８は、ｎ×ｍの画素アレイ／ピクセルアレイを備える。各画素ｐは、全体の画像の別々の部分に対応するピクチャ要素である。全ての画素が合わさって、画像ファイル１８によって表現される画像を定義する。各画素は、ピクチャ要素の１組のカラーバンド、例えば赤色、緑色、及び青色成分（ＲＧＢ）に対応するデジタル値を備える。本発明は、各バンドが電磁スペクトルの一部に対応する任意のマルチバンド画像に適用可能である。画素アレイは、ｎ行ｍ列を含み、画素ｐ（１，１）から始まり、画素ｐ（ｎ，ｍ）で終わる。画像を表示又は印刷するとき、ＣＰＵ１２は、一般に知られているように、対応する画像ファイル１８をメモリ１６から検索し、画像ファイル１８内の画素のデジタル値に応じて、場合によりモニタ２０又はプリンタ２２を動作させる。

画像操作中、ＣＰＵ１２は、例えば、画像の固有成分、例えば画像ファイル１８に示される画像の照明特性及び物質反射特性などを識別することなど、様々な目的を実現するために、記憶されている画像ファイル１８の画素のＲＧＢ値を解析するように動作する。Friedhoff特許に開示されて特許請求されている、本発明の基本的な発見の根底にある根本的な観察は、画像が２つの成分、すなわち物質成分と照明成分とを備えることである。画像内の全ての変化は、これらの成分の一方又は他方によって引き起こされる。画像の照明特性及び物質反射特性に関する知識により、例えば、画像処理、画像解析、及びコンピュータビジョンアプリケーションの改良された、より正確な処理を実現することができる。

例えば、画像が２つの成分、すなわち物質成分と照明成分を備えるという根本的な観察に基づいて、コンピュータシステム１０は、空間スペクトル情報の認識及び解析により、例えば物体縁部など画像の物質アスペクトと照明境界とを区別するように動作させることができる。空間スペクトル情報は、カラーバンドに関する連続する画素間のスペクトル関係（例えば画素のＲＧＢ値）や画素スペクトル特性の空間的広がりなど、画像ファイル１８に示される画像の連続する画素に関連する情報である。空間スペクトル情報は、例えば、画像に示される単一物質領域や、画像に影響を及ぼす照明など、画像の固有の特性に関連する様式で、ＣＰＵ１２によって処理される。本発明の教示によれば、例えば照明に関連する空間スペクトル情報を使用して、例えば放送及び映像制作環境でのシーン解析で使用するための重要な解析情報を導出することができる。

このために、空間スペクトル情報の一例は、入射又は直接光源と周囲光源との相互作用によって引き起こされるスペクトルシフトに関連する情報であり、それらの光源は、画像ファイル１８に示される画像がデジタルカメラ１４によって記録される時点に存在する照明を合わさって構成する。入射光源と周囲光源に関するスペクトルは互いに異なることがある。Friedhoff特許の教示の１つによれば、陰影を引き起こす照明境界に関するスペクトルシフト情報は、入射光源と周囲光源の相互作用によって生成される特性スペクトル比によって表される。

陰影によって引き起こされるスペクトルシフト、すなわち入射光源の強度の減少は、画像に示されるシーン内に存在する異なる物質にわたって実質的に不変となる。したがって、決定されるとき、陰影を定義する照明境界に関するスペクトル比は、処理される画像に示される複数の物質にわたる照明変化に特有のものとなり、以下に論じるように、解析情報を導出するために適用することができる。

スペクトル比は、画像に示されるシーンの２つの領域間の色又は強度の相違に基づく比であり、そのような相違は、異なる物質、照明変化、又はそれら両方によって引き起こされることがある。特性スペクトル比は、照明境界に関するスペクトル比であり、これを使用して、画像全体にわたる照明境界の識別など、画像に関する照明情報を識別することができる。一般に、特性スペクトル比は、（周囲照明によって照明される）照明境界の暗色側と、（周囲照明＋直接照明によって照明される）境界の明色側との相対色情報を提供する。Friedhoff特許は、以下により詳細に述べるように、画像に関する特性スペクトル比を決定するための自動プロセスを教示する。

さらに、空間スペクトル情報は、固有画像を生成するために使用することができる技法を実現可能にする。固有画像は、元の画像、例えば入力された画像ファイル１８内に示される画像に対応する。固有画像は、例えば、画像内に示される表面上の各点に入射する光の強度及び色を捕捉するための照明画像と、画像内に示される表面の反射特性（表面が反射する光の各波長のパーセンテージ）を捕捉するための物質反射画像とを含む。固有画像内で物質から照明を分離することによって、より効果的であり正確な更なる色及び照明解析のために最適化された画像がＣＰＵ１２に提供される。

本発明の１つの特徴によれば、空間スペクトル情報（例えば特性スペクトル比）と、ＣＰＵ１２によって決定及び生成される、空間スペクトル情報に基づく任意の得られる情報（例えば固有画像）とが、処理される画像に関する解析情報を導出するために使用される。処理される画像は、ビデオの一連の画像でよい。解析情報は、デジタルカメラ１４によって記録されるシーンのアスペクト、例えば、放送スタジオのセットに関する照明強度及び相対キーライト及びフィルライト（fill light）情報に関する。解析情報は、例えばセット照明の制御において例えば放送担当者が使用するために、ＣＰＵ１２に結合された色解析ボックス２４の制御及び表示パネル上にリアルタイムで表示される。

本発明の例示的実施形態に従って計算される、照明強度や相対キーライト／フィルライト情報などの解析情報は、セット照明の制御において多くの利点を提供する。例えば、連続性を改良するために、解析情報を使用することができる。特定のシーンが数日にわたって記録されるとき、シーンが記録されている環境、例えば屋外環境での照光は、日毎に変化することがある。解析結果は、一貫したフィルライト／キーライト関係を有するようにシーンに関する照明を修正することができるように、照明デザイナーを支援することができる。例えば、照明デザイナーは、同じ深さ及び色で陰影を保つために、解析結果に基づいて照明を修正する。

多くの映像制作において、演者は、グリーンスクリーンの前で演じ、次いで、別の背景に合成される。最良の結果を得るために、演者に対する照明が、背景に対する照明に合致しなければならない。各演者と背景とに関する照明が同じであることを保証するために、照明デザイナーがシーン解析結果を使用することができる。解析結果の同様の有利な用途は、テレプレゼンスに関する。数人のニュースアナウンサーが、しばしば異なる場所におり、同じ場所にいるように見えるように合成される。合成結果は、照明を合致させるために各場所からの解析情報を使用することによって最適化される。

図３は、本発明の例示的実施形態による、図１に示される色解析ボックス２４の制御及び表示パネルの例示である。入力画面２６は、ＣＰＵ１２によって現在処理されている入力画像、例えば図１６に例示されるような元の画像を表示する。固有画像画面２８は、ＣＰＵ１２によって計算されて、任意選択で（図示されるように、図１６の照明画像からの）固有照明画像、又は任意選択で物質反射画像（例えば図１６の物質画像）、又はそれら両方を表示する。

色解析ボックス２４のパネル上に一連のユーザ制御機能３０を取り付けることができ、ユーザ制御機能３０はそれぞれ、適切な制御回路（図示せず）に結合される。例えば、固有画像画面２８上の表示を照明画像から物質反射画像に変えるトグルスイッチにユーザ制御機能の１つを結合させることができる。出力画面３２は、ＣＰＵ１２による、解析中の現在の画像に関する空間スペクトル情報の処理から導出される解析情報を表示する。本発明の例示的実施形態では、統計量出力画面３２に表示される解析情報は、照明強度ヒストグラム、陰影深さ表示、及び相対フィルライト色（relative fill light color）の表示を含む。

図４ａは、本発明の１つの特徴による、色解析ボックス２４上に表示するために色解析結果を決定するためのプロセスを実施するためのフローチャートである。ステップ１０００で、ＣＰＵ１２は、入力として画像ファイル１８を受信し、画像ファイル１８は、単一画像、又はビデオでの一連の画像の１つを表す。任意選択で、ステップ１００２で、ＣＰＵ１２は、入力画像を使用して、照明画像と物質反射画像とを生成する。例示的実施形態では、ＣＰＵ１２は、対数色度クラスタリング及び空間スペクトル演算子／制約／ソルバ技法を実行して、固有画像を生成する。

本発明の１つの特徴によれば、固有画像処理は、トークンレベルで行われる。トークンは、画像の連接領域を定義する空間スペクトル演算子であり、この領域の画素は、物質と照明の識別など、画像の特徴及び特性の識別に関連する様式で互いに関係付けられている。トークンの画素は、例えば画素間の色の密接な相関など均質性因子に関して、又はＲＧＢ空間などの色空間内で幾何学的に関係する異なる色値（一般にテクスチャと呼ばれる）など不均質性因子に関して関係付けることができる。本発明は、トークン領域を識別するために、画像ファイル１８内に示される画像の連続する画素に関連する空間スペクトル情報を利用する。上述したように、空間スペクトル情報は、画素のカラーバンドに関する連続する画素間のスペクトル関係（例えば画素のＲＧＢ値）と、単一の物質に関連する画素スペクトル特性の空間的な広がりとを含む。

本発明の１つの例示的実施形態によれば、トークンはそれぞれ、タイプＡトークン、タイプＢトークン、又はタイプＣトークンとして分類される。タイプＡトークンは、連続する画素を備える連接画像領域であり、これらの画素は、シーン内で単一の物質（均一な反射率）を含む取り得る最大の画像領域を表す。タイプＢトークンも、連続する画像を備える連接画像領域であり、これらの画素は、シーン内で単一の物質を含む画像領域を表すが、必ずしもその物質に対応する均一な反射率の最大領域ではない。また、タイプＢトークンは、どれも同一の反射率（物質の色）を有するが、必ずしもその物質の色に対応する全ての画素ではない、１つ又は複数の画像領域又は画素の集合と定義することもできる。タイプＣトークンは、トークンの連続する画素が類似の画像性質を有する連接画像領域を備え、ここで、類似性は、画像を記録するために使用される撮像システムに関する雑音モデルに関して定義される。

次に図５ａを参照すると、本発明の１つの特徴による、図２の画像ファイル１８に示されるシーン内でタイプＣトークン領域を識別するためのフローチャートが示されている。本発明の１つの特徴によれば、図５ａのステップを利用して、タイプＣトークンを画像内で容易に識別し、次いで解析及び処理して、タイプＢトークンを構成することができる。

１次の均一かつ均質なタイプＣトークンは、画像の連続する画素間で単一のロバストな色測定値を備える。識別ルーチンの開始時、ＣＰＵ１２は、メモリ内の領域マップをセットアップする。ステップ１００で、ＣＰＵ１２は、領域マップをクリアし、領域ＩＤを割り当てる。領域ＩＤは、始めは１に設定される。画素数に対応するルーチンに関する反復数が、ｉ＝０に設定され、トークンを決定するためにシードとして使用するためのＮ×Ｎ画素アレイに関する数値が、初期値Ｎ＝Ｎ_{ｓｔａｒｔ}に設定される。Ｎ_{ｓｔａｒｔ}は、任意の整数＞０でよく、例えば１１又は１５画素に設定することができる。

ステップ１０２で、シードテストが開始される。ＣＰＵ１２は、例えば第１の画素ｉ＝１、すなわち画素（１，１）（図２参照）、すなわち画像ファイル１８の第１のＮ×Ｎサンプルの左上隅の画素を選択する。次いで、決定ブロック１０４で、この画素がテストされて、選択された画素が良好なシードの一部であるか判断される。このテストは、選択された画素の色値と、予め選択された数の、シードとしての隣接画素（例えばＮ×Ｎアレイ）の色値との比較を含むことができる。色値の比較は、画素の複数のカラーバンド値（本発明者らの例ではＲＧＢ）に関するものでよい。比較の結果、シード内の画素に関して（記録デバイスの雑音レベル内で）ほぼ等しい値ではない場合、ＣＰＵ１２は、次のＮ×Ｎシードサンプルに関してＩの値を増分し（ステップ１０６）、例えばＩ＝２、すなわち画素（１，２）とし、次いで、Ｉ＝ｉ_ｍａｘであるか判断するためにテストする（決定ブロック１０８）。

画素値がｉ_ｍａｘである場合、結果の改良のためにシードサイズを減少させることを決定するためのしきい値として選択される値Ｎが、例えばＮ＝１５からＮ＝１２に減少される（ステップ１１０）。本発明の１つの例示的実施形態では、ｉ_ｍａｘは、図２に示されるように画素（ｎ，ｍ）で終了する画像内の画素の数に設定することができる。このようにして、図５ａのルーチンは、減少されたＮ値に関するルーチンを繰り返す前に、最初のＮ値で画像全体をパースする。

シードサイズの減少後、ルーチンはステップ１０２に戻り、トークンシードに関してテストを続ける。ステップ１１０で、解析が完了したかどうか判断するために、Ｎ_ｓｔｏｐ値（例えばＮ＝２）もチェックされる。Ｎの値がＮ_ｓｔｏｐである場合、ＣＰＵ１２は、画像画素アレイの調査を完了して、ルーチンから出る。

ｉの値がｉ_ｍａｘ未満であり、ＮがＮ_ｓｔｏｐよりも大きい場合、ルーチンは、ステップ１０２に戻り、トークンシードに関するテストを続ける。
良好なシード（ほぼ等しい画素値を有するＮ×Ｎアレイ）が見出されると（ブロック１０４）、そのシードからトークンが成長される。ステップ１１２で、ＣＰＵ１２は、シードからの画素を待ち行列にプッシュする。待ち行列（キュー）内の画素は全て、領域マップ内で現行領域（現在の領域）ＩＤでマークされている。次いで、ＣＰＵ１２は、待ち行列が空かどうか問い合わせる（決定ブロック１１４）。待ち行列が空でない場合、ルーチンはステップ１１６に進む。

ステップ１１６で、ＣＰＵ１２は、先頭の画素／フロントピクセルを待ち行列から抜き出し（ポップアップし）、ステップ１１８に進む。ステップ１１８で、ＣＰＵ１２は、対象画素の周りの「良好な」隣接画素、すなわち対象画素と色値がほぼ等しい隣接画素を現行領域ＩＤでマークする。マークされた良好な隣接画素は全て領域マップ内に配置され、やはり待ち行列にプッシュされる。次いで、ＣＰＵ１２は決定ブロック１１４に戻る。待ち行列が空になるまでステップ１１４、１１６、１１８のルーチンが繰り返される。そのとき、現行領域内のトークンを形成する画素は全て、領域マップ内でタイプＣトークンとして識別されてマークされる。

待ち行列が空であるとき、ＣＰＵ１２はステップ１２０に進む。ステップ１２０で、ＣＰＵ１２は、次のトークンの識別で使用するために領域ＩＤを増分する。次いで、ＣＰＵ１２は、ステップ１０６に戻り、新たな現行トークン領域に関してルーチンを繰り返す。

Ｎ＝Ｎ_ｓｔｏｐに達する（図５ａのフローチャートのステップ１１０）と、又は画像と一致する領域マップが完成すると、ルーチンは、トークン生成タスクを完了する。図５ｂは、トークンの識別における一例として使用される元の画像である。画像は、青色領域及び陰影付きの青色領域、ならびに青緑色領域及び陰影付きの青緑色領域を示す。図５ｃは、図５ｂの画像に関して、例えば図５ａのルーチンの実行により識別された領域マップに対応するトークン領域（タイプＣトークン）を示す。トークン領域は、図５ｂの画像のトークン作成を示すためにカラーコード化され、画像の完全な青色及び青緑色の領域と色付き領域の陰影との間の半影領域を含む。

各タイプＣトークンが、画像の連続する画素間で単一のロバストな色測定値を有する画像領域を備える一方で、トークンは、物質境界をまたいで成長することができる。典型的には、異なる物質が、ネック領域を介して一体につながって１つのタイプＣトークンを成し、ネック領域は、多くの場合、陰影境界に位置されるか、又は類似の色調であるが異なる強度を有する、異なる物質を横切る照明の変化を含む領域内に位置される。ネック画素は、隣接する画素の特性を検査することによって識別することができる。ある画素が、対応するトークン内部にない２つの連続する画素を両側に有し、かつ対応するトークン内部にある２つの連続する画素を両側に有するとき、その画素はネック画素と定義される。

図６は、タイプＣトークンに関するネックテストに関するフローチャートを示す。ステップ１２２で、ＣＰＵ１２は、識別されたトークンの各画素を検査して、検査中の画素の任意のものがネックを形成するかどうか判断する。図６のルーチンは、図５ａのルーチンの実行中に特定のトークンが識別された直後に、サブルーチンとして実行することができる。ネックとして識別される全ての画素が「成長不可能」とマークされる。決定ブロック１２４で、ＣＰＵ１２は、任意の画素がマークされたかどうか判断する。

マークされていない場合、ＣＰＵ１２は、図６のルーチンから出て、図５ａのルーチンに戻る（ステップ１２６）。

マークされている場合、ＣＰＵ１２は、ステップ１２８に進み、シードサイズ及び領域ＩＤに関するカウントを変えずに、図５ａのルーチンに従って、現行のトークンのマークされていない画素の中から選択されたシード位置からトークンを再成長させるように動作する。再成長プロセス中、ＣＰＵ１２は、「成長不可能」と事前にマークされた画素は含まない。トークンが再成長された後、事前にマークされた画素がマークを外され、したがって、他のトークンがそれらの画素に成長することができる。

事前にマークされた画素を含まないトークンの再成長後、ＣＰＵ１２は、ステップ１２２に戻り、新たに再成長されたトークンをテストする。ネックテストは、物質境界を横切るタイプＣトークンを識別し、識別されたトークンを再成長させて、タイプＢトークンを作成するために使用するのに適した単一物質タイプＣトークンを提供する。

図５ｄは、本発明の１つの特徴に従って図５ｃのタイプＣトークンから生成されたタイプＢトークンを示す。本発明は、画像ファイル１８に関するタイプＢトークンを構成するために、対数色度クラスタリング／クラスタ化を使用する新規の例示的な技法を提供する。対数色度は、照明不変色度空間を開発するための技法である。

対数色度表現を使用して照明と反射とを分離するための方法及びシステムは、参照により本明細書に明示的に援用する米国特許第７，５９６，２６６号明細書に開示されている。米国特許第７，５９６，２６６号明細書に教示されている技法を使用して、例えばタイプＣトークンによって表現される画像の各色に関する照明不変対数色度表現値を提供することができる。画像画素のカラーバンド値の対数値が、対数色空間グラフにプロットされる。次いで、米国特許第７，５９６，２６６号明細書に教示されているように、対数値が、二光源二色性反射モデル（ＢＩＤＲモデル）に応じて方向付けられた対数色度投影面に投影されて、各画素に関する対数色度値を提供する。ＢＩＤＲモデルは、色変化が、画像内に示されるシーンの単一の物質にわたって陰影を形成する照明変化によるものであるとき、異なる色測定値が、正の傾きに沿った暗色端部（陰影）から明色端部（照明端部）へのＲＧＢ空間内の円筒形内に入ると予測する。

図７は、米国特許第７，５９６，２６６号明細書に開示されている発明の１つの特徴による対数色空間、二照明色度面のグラフィック表現である。色度面のアライメントは、色度面に垂直なベクトルＮによって決定され、Ｎ＝ｌｏｇ（Ｂｒｉｇｈｔ_{ｖｅｃｔｏｒ}）−ｌｏｇ（Ｄａｒｋ_{ｖｅｃｔｏｒ}）＝ｌｏｇ（ｌ＋１／Ｓ_{ｖｅｃｔｏｒ}）と定義される。平面の座標ｕ，ｖは、ｕ軸としての色度面上への緑色軸の投影と、ｖ軸として定義されるｕとＮの外積とによって定義することができる。本発明者らの例では、図７に示されるように、物質Ａ、Ｂ、Ｃに関する各対数値が色度面上に投影され、したがって平面内で対応するｕ，ｖ座標値（色度値）を有する。

したがって、米国特許第７，５９６，２６６号明細書に開示されている技法に従って、ＣＰＵ１２によって、図７に示されるように、画像ファイル１８内の各画素のＲＧＢ値を、画像ファイル値ｐ（ｎ，ｍ，Ｒ，Ｇ，Ｂ）から対数値にマッピングし、次いで色度面への投影によって、対応するｕ，ｖ値にマッピングすることができる。次いで、ＣＰＵ１２によって、画像ファイル１８内の各画素ｐ（ｎ，ｍ，Ｒ，Ｇ，Ｂ）が、２次元の色度値：ｐ（ｎ，ｍ，ｕ，ｖ）によって置き換えられて、元のＲＧＢ画像の色度表現を提供する。一般に、Ｎバンド画像に関して、Ｎ個の色値が、Ｎ−１個の色度値によって置き換えられる。色度表現は、真に正確な照明不変表現である。なぜなら、その表現が基づくＢＩＤＲモデルが、元の画像を引き起こした照明光束を正確かつ適正に表現するからである。

本願の関連出願である、２０１０年１１月１０日出願の「System and Method for Identifying Complex Tokens in an Image」という名称の米国特許出願第１２／９２７，２４４号明細書（参照により本明細書に明示的に援用し、本明細書では以後「関連発明」と呼ぶ）で開示されて特許請求されている発明によれば、均一な反射率の領域（タイプＢトークン）の識別のために、ＣＰＵ１２に入力された画像ファイル１８内に示される各色に関して、対数色度値が計算される。例えば、タイプＣトークンの各画素は、画像を記録するために使用される機器の雑音レベル内で、同一のタイプＣトークンの全ての他の成分画素と（例えばＲＧＢ値に関して）ほぼ同一の色値である。したがって、各特定のタイプＣトークンの成分画素に関する色値の平均を使用して、対数色度解析におけるそれぞれのタイプＣトークンに関する色値を表すことができる。

図８は、入力画像、例えば画像ファイル１８に示される色のリストを決定するためのフローチャートである。ステップ２００で、入力画像ファイル１８が、処理のためにＣＰＵ１２に入力される。ステップ２０２及び２０４で、ＣＰＵ１２は、入力画像ファイル１８内に示される色を決定する。ステップ２０２で、ＣＰＵ１２は、色のリストのために、上述した図５ａのルーチンの実行によりＣＰＵ１２によって決定される各タイプＣトークンに関する平均色を計算する。ＣＰＵ１２は、解析のために、トークンの成分画素の数に関して最小のトークンサイズ、又は図５ａのルーチンに従ってタイプＣトークンを決定するために使用される最小のシードサイズ（Ｎ×Ｎアレイ）を任意選択で要求するように動作させることができる。最小サイズ要件は、画像に関する色のリスト内の色測定値が、入力された画像に示されるシーン内の色の正確な描写であり、ブレンド画素のアーチファクトではないことを保証するように実装される。

ブレンド画素は、異なる色の２つの画像領域の間の画素である。２つの領域の間の色がＲＧＢ空間内にプロットされる場合、色間に線形遷移があり、１つの領域から次の領域に向かう各ブレンド画素は、２つの領域の色の重み付け平均である。したがって、各ブレンド画素は、画像の真の色を表現しない。ブレンド画素が存在する場合、ブレンド画素からなる比較的小さいタイプＣトークンを、２つの別の色の領域の間の画像の領域に関して識別することができる。サイズ最小値を要求することによって、ＣＰＵ１２は、ブレンド画素からなるトークンを解析から省くことができる。

ステップ２０４で、ＣＰＵ１２は、代替として、画素レベルでの色、すなわち、図２に示されるような入力画像ファイル１８の画素のＲＧＢ値を収集することができる。ＣＰＵ１２は、より正確な色のリストのために、解析で使用される画像ファイル１８の各画素が、フィルタ出力による最小の安定性又は局所標準偏差を有することを任意選択で要求するように動作させることができる。例えば、第２次導関数エネルギーを使用して、画像の画素の安定性を示すことができる。

この手法では、ＣＰＵ１２は、ガウス微分（Difference of Gaussians）、ガウスのラプラシアン（Laplacian of Gaussian）、又は同様のフィルタを使用して、入力画像ファイル１８内に示される画像の全ての照明条件を網羅するように画像全体にわたって分配された各画素又は画素の部分集合での第２次導関数を計算する。次いで、検査される各画素に関する第２次導関数エネルギーを、ＣＰＵ１２によって、各色バンドでの第２次導関数の絶対値（又はグレースケール画像での単一の値の絶対値）の平均として、各色バンドでの第２次導関数の値の平方和（又はグレースケール画像での単一の値の平方和）として、色バンドにわたる最大平方第２次導関数値（又はグレースケール画像での単一の値の平方）として、又は任意の同様の方法で計算することができる。各画素に関する第２次導関数エネルギーの計算後、ＣＰＵ１２は、画素のエネルギー値を解析する。第２次導関数エネルギーと画素安定性との反比例関係が存在し、エネルギーが高ければ高いほど、対応する画素は不安定になる。

ステップ２０６で、ＣＰＵ１２は、（ステップ２０２及び／又は２０４の一方又は両方の実行後に）色のリストを出力する。関連発明の１つの特徴によれば、更なる処理は全て、各ステップ２０２又は２０４からのリストを使用して実行することができ、又は各後続のステップで使用されるリスト（ステップ２０２又は２０４からのリストの一方又は他方）を変えることができる。

図９は、関連発明の１つの特徴による、対数色度表現に関する向きを決定するためのフローチャートである。例えば、ＣＰＵ１２は、図７に示されるように、対数色度面に対する垂線Ｎに関する向きを決定する。ステップ２１０で、ＣＰＵ１２は、図８のルーチンのステップ２０６で出力されたリストなど、入力ファイル１８に関する色のリストを受信する。ステップ２１２で、ＣＰＵ１２は、対数色度空間に関する向きを決定する。

米国特許第７，５９６，２６６号明細書に教示されるように、また上述したように、色度面の向きは、Ｎによって表現され、Ｎは、色度表現、例えば図７の色度面に垂直なベクトルである。向きは、ＣＰＵ１２によって、いくつかの技法の任意の１つの実行により推定される。

例えば、ＣＰＵ１２は、米国特許第７，５９６，２６６号明細書に完全に開示されているように、エントロピー最小化、ユーザによる同一物質の照明／陰影領域の手動選択、又は入力画像ファイル１８の画像に関する（向きＮに対応する）特性スペクトル比の使用に基づいて推定値を決定することができる。特性スペクトル比は、Friedhoff特許で完全に開示されている様々な技法の任意の１つの実施することによって、ＣＰＵ１２によって自動的に決定することができる。これらの技法は、画像内でＸ−ｊｕｎｃｔｉｏｎを識別することを含む。Ｘ−ｊｕｎｃｔｉｏｎは、物質縁部と照明境界が互いに交差する画像の領域であり、空間スペクトル情報の優れた一例である。Friedhoff特許に開示されている技法によれば、スペクトル比は、識別されたＸ−ｊｕｎｃｔｉｏｎによって定義される画像の領域内で、照明境界に関して決定される。

より高い次元の色セット、例えばＲＹＧＢ空間（赤色、黄色、緑色、青色）に関しては、対数色度垂線Ｎは、入力された空間よりも１次元低い次元を有する下位空間を定義する。したがって、４次元のＲＹＧＢ空間では、垂線Ｎは、３次元の対数色度空間を定義する。４次元ＲＹＧＢ値が３次元対数色度空間に投影されるとき、対数色度空間内部の投影された値は、照明変化によって影響を及ぼされない。

ステップ２１４で、ＣＰＵ１２は、垂線Ｎに関する向きを出力する。図７の例で例示されるように、垂線Ｎは、３次元ＲＧＢ空間内でのｕ，ｖ平面に対する向きを定義する。

図１０は、図８のルーチンのステップ２０２又は２０４で識別されるように入力画像の色に関する対数色度座標を決定／判定するためのフローチャートである。ステップ２２０で、色のリストが、ＣＰＵ１２に入力される。色のリストは、図８のルーチンのステップ２０２の実行により生成されたリスト、又はステップ２０４の実行により生成されたリストを備えることができる。ステップ２２２で、図９のルーチンの実行により決定された垂線Ｎに関する対数色度向きも、ＣＰＵ１２に入力される。

ステップ２２４で、ＣＰＵ１２は、色のリスト内の各色に関する対数値を計算するように動作して、図７に例示されるように、対数値をそれぞれの（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ）座標で３次元対数空間内にプロットする。物質Ａ、Ｂ、及びＣは、ステップ２２０でＣＰＵ１２に入力された色のリストからの特定の色に関する対数値を表す。また、ＣＰＵ１２によって、ｕ，ｖ座標と、ステップ２２２でＣＰＵ１２に入力されたＮによって設定される向きとを用いて、３次元対数空間内で対数色度面が計算される。対数色度面での各ｕ，ｖ座標も、３次元対数空間内の対応する（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ）座標によって表すことができる。

関連発明の１つの特徴によれば、ＣＰＵ１２は、次いで、各色に関するｕ，ｖ対数色度座標を決定するために、色Ａ、Ｂ、及びＣに関する対数値を対数色度面上に投影する。各ｕ，ｖ対数色度座標は、３次元対数空間内の対応する（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ）座標によって表現することができる。ＣＰＵ１２は、ステップ２２６で、対数色度座標のリストを出力する。リストは、各色と、ｕ，ｖ対数色度座標、及び（解析で使用される色のリストに応じて（ステップ２０２（トークン）又は２０４（画素）））それぞれの色を有する画素（又はタイプＣトークン）とを相互参照する。

図１１は、関連発明の１つの特徴による、更なる次元を用いて画素又はタイプＣトークンに関する対数色度座標を任意選択で増強／増補するためのフローチャートである。ステップ２３０で、図１０のルーチンの実行により入力画像の色に関して決定された対数色度座標のリストが、ＣＰＵ１２に入力される（所与される）。ステップ２３２で、ＣＰＵ１２は、増補での使用のために、入力画像ファイル１８にアクセスする。

ステップ２３４で、ＣＰＵ１２は、任意選択で、各対応する画素（又はタイプＣトークン）に関するトーンマッピング強度を用いて各対数色度座標を増補するように動作する。トーンマッピング強度は、任意の既知のトーンマッピング技法を使用して決定される。トーンマッピング強度情報を用いた増補は、同様の対数色度座標と同様のトーンマッピング強度との両方に従ってグループ化される画素又はトークンをクラスタリングするための基礎を提供する。これは、クラスタリングステップの精度を改良する。

ステップ２３６で、ＣＰＵ１２は、任意選択で、対応する画素に関するｘ，ｙ座標（又はタイプＣトークンの成分画素に関するｘ，ｙ座標の平均）を用いて各対数色度座標を増補するように動作する（Ｐ（１，１）からＰ（Ｎ，Ｍ）への画素配置を示す図２参照）。したがって、ｘ，ｙ座標情報を用いたクラスタリングステップは、その特性が望まれるときには、空間的に制限された配置でグループを提供する。

各ステップ２３４及び２３６において、増補された情報は、各場合にそれぞれ因子ｗ_１、及びｗ_２、ｗ_３によって重み付けすることができ、増補された座標における異なる次元の相対的な重要性及びスケールを指定する。重み付け因子ｗ_１、及びｗ_２、ｗ_３は、ユーザ指定される。したがって、画素又はタイプＣトークンに関する（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ）座標は、（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ，Ｔ^＊ｗ_１，ｘ^＊ｗ_２，ｙ^＊ｗ_３）に増補され、ここで、Ｔ、ｘ、及びｙは、それぞれ、トーンマッピングされた強度、ｘ座標、ｙ座標である。

ステップ２３８で、ＣＰＵ１２は、増補された座標のリストを出力する。増補された対数色度座標は、画素の正確な照明不変表現を提供し、又は、例えばタイプＣトークンなど入力画像の指定された領域的配置を提供する。関連発明及び本発明の１つの特徴によれば、対数色度座標の照明不変特性は、例えばタイプＢトークンなど、単一の物質又は反射率の画像の領域を識別するための基礎として依拠される。

図１２は、本発明の１つの特徴に従って対数色度座標をクラスタリング／クリスタ化するためのフローチャートである。ステップ２４０で、増補された対数色度座標のリストが、ＣＰＵ１２に入力される。ステップ２４２で、ＣＰＵ１２は、対数色度座標をクラスタリングするように動作する。関連発明の教示によれば、クラスタリングステップは、例えば既知のｋ平均法（k-means clustering）によって実施することができる。関連発明によれば、任意の既知のクラスタリング技法を使用して、対数色度座標をクラスタリングして、同様の対数色度座標値のグループを決定することができる。関連発明及び本発明のそれぞれの教示によれば、ＣＰＵ１２は、各対数色度座標を、それぞれの座標が属するグループに相関させる。

本発明の１つの特徴によれば、クラスタリングステップ２４２は、データベース管理で使用されるタイプのインデックス、例えば、ハッシュインデックス、空間ハッシュインデックス、Ｂ木（b-trees）、又はデータベース管理システムで一般に使用される任意の他の既知のインデックスに応じて実施される。インデックスに応じてクラスタリングステップ２４２を実施することによって、画像の各画素又はトークンに関するクラスタグループを識別するのに必要とされる比較の数が最小化される。したがって、クラスタリングステップは、ＣＰＵ１２によって最小時間量で実行することができ、全体の画像処理を速める。

図１２ａは、本発明の例示的実施形態の１つの特徴による、空間ハッシュに関するグリッドの例示である。図１２ａに示されるように、空間ハッシュは、処理された画像をバケットのグリッドに分割し、各バケットは、spatial Thresh×spatial Threshとなるように寸法設定される。グリッドは、クラスタグループに関するｕ，ｖ対数色度値のヒストグラムを表す。各クラスタが作成されるとき、クラスタへの参照が、グリッドの適当なバケットに配置される。

処理された画像の各新たな画素又はトークンは、要素（画素又はトークン）がクラスタリングプロセスでの新たなグループであるかのように、グリッド内に、それが占有するバケット内に配置される。次いで、画素又はトークンは、検査される要素が占めるバケットを取り囲む３×３のバケットグリッド内で、クラスタに関して検査される。要素は、例えば、要素がcluster Meanに関するしきい値内にある場合、３×３グリッド内のクラスタグループに追加される。

また、ＣＰＵ１２は、クラスタリングステップで識別される各グループに関する中心を計算するように動作する。例えば、ＣＰＵ１２は、（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ，ｌｏｇＴ）空間に対する各グループに関する中心を決定することができる。

ステップ２４４で、ＣＰＵ１２は、（対応する画素又はタイプＣトークンに相互参照される）対数色度座標に関するクラスタグループメンバーシップのリスト、及び／又はクラスタグループ中心のリストを出力する。

本発明の更なる特徴によれば、クラスタグループメンバーシップのリストを、画像特性のユーザ入力を用いて増補することができる。例えば、ユーザは、同一の物質反射率である画像の画素又は領域を指定することができる。ＣＰＵ１２は、ユーザ指定された同一の反射率の画素又は領域を、クラスタリンググループメンバーシップ情報にオーバーレイするように動作する。

上述したように、クラスタリング方法の実行時、ＣＰＵ１２は、図６のルーチンのステップ２０２の実行により生成されたリスト、又はステップ２０４の実行により生成されたリストからの色のリストを使用することができる。識別されたクラスタグループを入力画像に適用する際、クラスタリング方法で使用されるのと同一の色セット（ステップ２０２に対応する色のリスト、又はステップ２０４に対応する色のリストの一方）を使用するようにＣＰＵ１２を動作させることができ、又は、異なる色セット（ステップ２０２に対応する色のリスト、又はステップ２０４に対応する色のリストの他方）を適用するように動作させることができる。異なる色セットが使用される場合、ＣＰＵ１２は、図１１のルーチンを実行するように進行する。

図１３は、本発明の１つの特徴による、クラスタグループの識別後に異なる色リストが使用されるときの、図１２のルーチンの実行により決定されたクラスタに対数色度座標を割り当てるためのフローチャートである。ステップ２５０で、ＣＰＵ１２は、ここでは新たな色のリストに対して、図１０のルーチンを再び実行する。例えば、ステップ２０２で生成される色（タイプＣトークンに基づく色）のリストを使用してクラスタグループを識別し、次いで、ＣＰＵ１２が、ステップ２０４で生成された色（画素に基づく色）のリストに基づいてクラスタグループに対して対数色度座標を分類するように動作する場合、図１３のルーチンのステップ２５０が実行されて、入力画像ファイル１８内の画素の色に関する対数色度座標を決定する。

ステップ２５２で、クラスタ中心のリストが、ＣＰＵ１２に入力される。ステップ２５４で、ＣＰＵ１２は、ステップ２５０で識別された各対数色度座標を、最も近いクラスタグループ中心に従って分類するように動作する。ステップ２５６で、ＣＰＵ１２は、新たな色リストに基づいて、対数色度座標に関するクラスタグループメンバーシップのリストを出力し、ステップ２５０で使用された色のリスト（ステップ２０２で生成された色のリスト又はステップ２０４で生成された色のリスト）に応じて、対応する画素又はタイプＣトークンと相互参照する。

図１４は、本発明の１つの特徴による、対数色度クラスタリングに基づいて均一な反射率の領域を検出するためのフローチャートである。ステップ２６０で、入力画像ファイル１８が、ＣＰＵ１２に再び提供される。ステップ２６２で、ステップ２５０で使用された色のリストに応じた画素又はタイプＣトークンの１つが、ＣＰＵ１２に入力される。ステップ２６４で、ステップ２４４又は２５６からのクラスタメンバーシップ情報が、ＣＰＵ１２に入力される。

ステップ２６６で、ＣＰＵ１２は、同一のクラスタグループメンバーシップを有する各画素、又は例えばタイプＣトークンなど入力画像の指定された領域をマージして単一の画像領域にし、均一な反射率の領域（タイプＢトークン）を表すように動作する。ＣＰＵ１２は、場合により、入力画像ファイル１８に関する画像又はトークン全てに関してそのようなマージ操作を行う。ステップ２６８で、ＣＰＵ１２は、均一な反射率の（及び、対数色度座標がステップ２３４及び／又は２３６で増補された場合には、同様のトーンマッピング強度及びｘ，ｙ座標も）全ての領域のリストを出力する。関連発明の特徴に従って決定される均一な反射率の各領域（タイプＢトークン）が、場合によっては、領域にわたる大きな照明変化を伴うことに留意すべきである。

米国特許出願公開第２０１０／０１４２８２５号明細書は、同一物質制約に基づく最適化されたソリューションを含む、画像内の照明と物質を分離するための空間スペクトル演算子／制約／ソルバモデルを教示している。米国特許出願公開第２０１０／０１４２８２５号明細書に教示されている同一物質制約は、関連発明の教示に従って決定することができるタイプＣトークン及びタイプＢトークンを利用する。この制約関係は、同一のタイプＢトークンの一部である全てのタイプＣトークンが、同一物質に制約されるというものである。この制約は、タイプＢトークンの定義、すなわち、連続する画素を備える連接画像領域であって、シーン内で単一の物質を包含する画像の領域を表現するが、必ずしもその物質に対応する最大領域ではない連接画像領域という定義を施行する。したがって、同一のタイプＢトークン内にあるタイプＣトークンは全て、タイプＢトークンに課される定義によって、同一物質のものであるが、必ずしも同一照明ではない。したがって、タイプＣトークンは、異なる照明によって引き起こされる観察される見た目の差に対応するように制約される。

図１５は、米国特許出願公開第２０１０／０１４２８２５号明細書に教示されているように、同一物質制約に従って画像の照明アスペクトと物質アスペクトとを識別及び分離するために使用される［Ａ］［ｘ］＝［ｂ］行列関係の表現である。基本式Ｉ＝ＭＬ（Ｉ＝画像ファイル１８に記憶されている、記録された画像値、Ｍ＝物質反射、及びＬ＝照明）に基づいて、ｌｏｇ（Ｉ）＝ｌｏｇ（ＭＬ）＝ｌｏｇ（Ｍ）＋ｌｏｇ（Ｌ）である。これは、ｉ＝ｍ＋ｌと書き換えることができ、ここで、ｉはｌｏｇ（Ｉ）を表し、ｍはｌｏｇ（Ｍ）を表し、ｌはｌｏｇ（Ｌ）を表す。同一物質の制約関係では、（図１５に示される）３つのタイプＣトークンａ、ｂ、及びｃが、ａ、ｂ、及びｃによって定義される対応するタイプＢトークンによって定義される単一の反射率の領域内にある一例では、ｍ_ａ＝ｍ_ｂ＝ｍ_ｃである。この例において、各タイプＣトークンに関するＩ値は、トークンの成分画素の記録された色値に関する平均色値である。ａ、ｂ、及びｃ、すなわちこの例のタイプＣトークンは、図５ｄに例示される青色のタイプＢトークンに対応することがある。

ｍ_ａ＝ｉ_ａ−ｌ_ａ、ｍ_ｂ＝ｉ_ｂ−ｌ_ｂ、及びｍ_ｃ＝ｉ_ｃ−ｌ_ｃであるので、これらの数学的関係は、同一物質制約では、（１）ｌ_ａ＋（−１）ｌ_ｂ＋（０）ｌ_ｃ＝（ｉ_ａ−ｉ_ｂ）、（１）ｌ_ａ＋（０）ｌ_ｂ＋（−１）ｌ_ｃ＝（ｉ_ａ−ｉ_ｃ）、及び（０）ｌ_ａ＋（１）ｌ_ｂ＋（−１）ｌ_ｃ＝（ｉ_ｂ−ｉ_ｃ）と表現することができる。

したがって、図１５の行列式において、［ｂ］行列でのｌｏｇ（Ｉ）に関する様々な値（ｉ_ａ、ｉ_ｂ、ｉ_ｃ）は、隣接するタイプＣトークンａ、ｂ、及びｃの成分画素に関する記録された平均画素色値から分かる。０、１、及び１からなる［Ａ］行列は、上述したように、同一物質制約を表現する方程式の組によって定義される。［Ａ］行列内で上から下への行の数は、トークンに課される実際の制約の数に対応し、この場合は３であり、すなわち３つの隣接するタイプＣトークン間での同一物質制約である。［Ａ］行列内で左から右への列の数は、求解すべき未知数の数に対応し、この場合、やはり３つのトークンに関する３つの照明値である。したがって、ＣＰＵ１２によって、［ｘ］行列における各タイプＣトークンａ、ｂ、及びｃの照明成分に関する値をこの行列式で求解することができる。各値は、本発明者らの例のカラーバンド（赤色、緑色、及び青色など）に対応する３つの値のベクトルであり、又は、例えばグレースケール画像では単一の値でもよいことに留意すべきである。

照明値が分かると、ＣＰＵ１２によって、式Ｉ＝ＭＬを使用して物質の色を計算することができる。ここで、トークンａ、ｂ、及びｃによって定義される領域に関して、元の画像での各画素をそれぞれ計算された照明値及び物質値によって置き換えることによって、固有照明画像及び固有物質画像を生成することができる。図３ｂに示される元の画像に対応する照明画像と物質画像の一例が図１６に例示されている。

本発明による対数色度クラスタリング技法によって得られるタイプＣトークン及びタイプＢトークンを利用する、米国特許出願公開第２０１０／０１４２８２５号明細書の技法及び教示による制約／ソルバモデルの実装は、元の入力画像に対応する固有画像を生成するための非常に効果的かつ効率的な方法を提供する。固有画像は、画像処理、画像解析、及びコンピュータビジョンアプリケーションの精度及び効率を向上させるために使用することができる。

しかし、本発明の例示的実施形態の実施により生成される固有画像は、処理された画像内に示されるシーンの見た目を歪めるアーチファクトを含むことがある。アーチファクトは、本発明の固有画像生成方法の実行により、又は上述した画像特性のユーザ入力などユーザ変更により導入されることがある。したがって、本発明の１つの特徴によれば、アーチファクトを減少させるために様々な後処理技法を実施することができる。

図１７は、固有画像内に示される照明アスペクト及び物質反射アスペクトの質を改良するための、本発明の１つの特徴による、図１６に例示される固有画像に適用されるエッジ保存ぼかし後処理技法に関するフローチャートである。ステップ３００で、ＣＰＵ１２は、入力として、元の画像（画像ファイル１８）と、上述したように図１５に示される行列式を解くことによりＣＰＵ１２によって決定された対応する固有物質反射画像及び固有照明画像とを受信する。

ステップ３０２で、ＣＰＵ１２は、エッジ保存平滑化フィルタを適用することによって、照明画像内の照明のエッジ保存ぼかしを行うように動作する。エッジ保存平滑化フィルタは、例えば、双方向フィルタ、ガイデットフィルタ、ミーンシフトフィルタ（mean-shift filter）、メジアンフィルタ、異方性分散など、既知のフィルタの任意の１つでよい。フィルタは、照明画像に１回又は複数回適用することができる。例示的実施形態では、双方向フィルタが、照明画像に２回適用される。さらに、複数の異なるタイプのフィルタを連続して適用することもでき、例えば、メジアンフィルタと、それに続く双方向性フィルタである。

ステップ３０４で、ＣＰＵ１２は、式Ｉ＝ＭＬに基づいて、かつ画像ファイル１８の元の画像と、ステップ３０２で修正された照明画像とを使用して、固有物質反射画像を再計算する。ステップ３０６で、ＣＰＵ１２は、図１７のルーチンの実行によりＣＰＵ１２によって修正された固有物質反射画像及び固有照明画像を出力する。

照明画像に適用される平滑化フィルタは、例えばコンピュータグラフィックスなどのアプリケーションで使用されるときに、固有画像の見た目にいくつかの改良をもたらす。例えば、コンピュータグラフィックスでは、いくつかの特別な効果を実現するためにテクスチャマッピングが使用される。アーティストは、テクスチャマッピングの実施において、何らかのファインスケールテクスチャが物質反射画像内で照明を生み出すようにすることが望ましいと考える。ステップ３０２で照明画像を平滑化することによって、以下に述べるステップ３０４での物質画像の再計算後、ファインスケールテクスチャが物質反射画像に移される。

さらに、ステップ３０２での照明の平滑化は、陰影照明のいくらか（表面の湾曲による照明強度変化）を物質反射画像に戻し、何らかの湾曲表現を物質画像に与える。これは、コンピュータグラフィックスアプリケーションでのアーティスティックレンダリング（artistic rendering）のためにより適した、改良された物質の描写をもたらす。

さらに、小さな反射率変化は、時として、誤って照明画像に入る。ステップ３０２での平滑化は、反射率変化を物質画像に戻す。

図１８は、固有画像内に示される照明アスペクト及び物質反射アスペクトの質を改良するための、本発明の１つの特徴による、図１６に例示される固有画像に適用されるアーチファクト減少後処理技法に関するフローチャートである。ステップ４００で、ＣＰＵ１２は、入力として、元の画像（画像ファイル１８）と、上述したように図１５に示される行列式を解くことによりＣＰＵ１２によって決定された対応する固有物質反射画像及び固有照明画像とを受信する。任意選択で、固有画像は、図１７のルーチンの実行によりＣＰＵ１２によって事前に修正することができる。

ステップ４０２で、ＣＰＵ１２は、元の画像と物質反射画像とのそれぞれの画素に関して導関数（隣接する画素の差）を計算するように動作する。水平方向及び垂直方向での隣接する画素間の変化は、元の画像に示されるシーン内の照明変化及び異なる物質によって引き起こされる。ＣＰＵ１２が、元の画像を固有照明画像及び固有物質反射画像に分解するように動作するとき、いくらかの変化が照明画像内で生じ、いくらかの変化が物質反射画像内で生じる。理想的には、照明画像内の変化の全てが、照明の変化に起因し、物質反射画像内の変化の全てが、異なる物質に起因する。

したがって、照明変化を除去することによって、物質反射画像の変化は、元の画像の変化よりも真に小さいはずである。しかし、固有画像を生成するためのプロセスの不正確さが、物質反射画像に現れる新たなエッジをもたらすことがある。

ステップ４０４で、ＣＰＵ１２は、物質反射画像に関する導関数を元の画像に関する導関数と比較することによって、新たに現れるエッジによって引き起こされるアーチファクトを識別するように動作する。ＣＰＵ１２は、物質反射画像の各導関数に関して、符号は保存されるが、大きさは、元の画像と物質反射画像との導関数の大きさの最小値に設定されるように、物質反射画像の導関数を修正する。修正は、以下の式によって表現することができる。
新たな反射画像の導関数＝（前の反射画像の導関数の絶対値と、元の画像の導関数の絶対値との小さい方）×（前の反射画像の導関数の符号）

ステップ４０６で、ＣＰＵは、修正された導関数を積分して、新たな物質反射画像を計算する。新たな画像は、アーチファクトに起因する新たに現れるエッジを含まない物質反射画像である。積分を行うために、任意の既知の技法を実施することができる。例えば、ＣＰＵ１２は、離散コサイン変換を使用して２次元ポアソン方程式を解くことによって、数値的２Ｄ積分を行うように動作することができる。

ステップ４０８で、ＣＰＵ１２は、式Ｉ＝ＭＬに基づいて、かつ画像ファイル１８の元の画像と、ステップ４０４及び４０６で修正された物質反射画像とを使用して、固有照明画像を再計算する。ステップ４０８で、ＣＰＵ１２は、図１８のルーチンの実行によりＣＰＵ１２によって修正された固有物質反射画像及び固有照明画像を出力する。

図１９は、固有画像内に示される照明アスペクト及び物質反射アスペクトの質を改良するための、本発明の１つの特徴による、図１６に例示される固有画像に適用されるＢＩＤＲモデル施行後処理技法に関するフローチャートである。

上述したように、ＢＩＤＲモデルは、完全な陰影から完全な照明への半陰影で、物質に関する正しい色を予測する。図２０に示されるように、ＢＩＤＲモデルの予測によれば、例えばＲＧＢ色空間内での、完全陰影色値から完全照明色値への物質に関する色は、色空間内で概してライン（線）を成す。完全陰影では、物質は周囲光源によって照明され、完全照明時には、物質は、周囲光源と、画像ファイル１８のデジタル画像が記録された時点でシーン内に存在した直接又は入射光源によって照明される。

ＢＩＤＲモデルによれば、画像内の照明値も、周囲光源の色から、周囲光源と直接光源との複合の色まで延びる直線を定義する。対数色空間では、ＢＩＤＲモデルによって予測される照明ラインが、図５に例示される対数色空間色度面の垂線Ｎに対応する。

上述したように、固有照明画像及び固有物質画像の生成時の様々な不正確さは、例えば、ＢＩＤＲモデルによって予測される照明値に関するラインから逸脱する、生成された固有照明画像内の照明値をもたらすこともある。本発明によれば、ＢＩＤＲモデルの照明ライン予測を使用して、ｌｏｇ（ＲＧＢ）空間内で線形であるように照明を修正することによって、そのような不正確さを補正する。

図１９を再び参照すると、ステップ５００で、ＣＰＵ１２は、図７に例示される垂線Ｎに対応するＢＩＤＲ照明向きを入力として受信する。本発明の例示的実施形態では、上述したように、Ｎは、ＣＰＵ１２によって図９のルーチンの実行により決定される。その場合、図９のルーチンの実行により決定されるＮは、上述したクラスタリングプロセスと、図１９に例示されるＢＩＤＲモデル施行後処理技法との両方で使用される。

照明画像及び物質反射画像が、例示的実施形態の対数色度クラスタリング技法とは異なる方法によって生成される場合、向きＮは、ＣＰＵ１２によって、図９のルーチンの実行により、図１９のルーチンの実行前に別個のステップで決定される。Ｎが別個のステップで決定されるとき、ＣＰＵ１２は、元の画像又は照明画像に対して操作することができる。さらに、上述したように処理がユーザ入力に基づくとき、ユーザは、元の画像又は照明画像から選択を行うことができる。

さらに、ステップ５００で、ＣＰＵ１２は、ここでも、入力として、元の画像（画像ファイル１８）と、やはり上述したように図１３に示される行列式を解くことによりＣＰＵ１２によって決定された対応する固有物質反射画像及び固有照明画像とを受信する。任意選択で、固有画像は、図１７及び図１８の一方又は両方のルーチンの実行によりＣＰＵ１２によって事前に修正することができる。

ステップ５０２で、ＣＰＵ１２は、照明画像内の完全照明色を決定する。完全照明色（周囲＋直接）は、照明画像内で示される最も明るい色値でよい。しかし、最も明るい値は、画像内の雑音又は他の外れ値により不正確であることがある。本発明の好ましい例示的実施形態では、予め選択された強度パーセンタイル範囲（例えば、８７〜９２パーセンタイル）内の全ての照明色値を見つけ、それらの値の平均を計算することによって、より正確な決定が行われる。平均は、完全照明色値として使用される。そのような手法は、固有照明画像内の照明変化の明色端部のロバストな推定値を提供する。

ステップ５０４で、ＣＰＵ１２は、照明画像内の画素によって示される全ての照明色を、（ステップ５００でＣＰＵ１２に入力された）向きＮを有し、ステップ３０２で決定された完全照明色を通過するライン上の最も近い点に投影することによって、照明画像の画素全てを修正するように動作する。したがって、照明画像の各画素の色は、ＢＩＤＲモデル予測によって要求される最も近い値に適合するように修正される。

ステップ５０２で計算されたときに完全照明色値よりも大きい強度を有する照明画像の画素に関して、特殊なケースが存在する。この特殊なケースは、いくつかの異なる方法に従ってＣＰＵ１２によって取り扱うことができる。第１の方法では、各高強度画素を照明ライン上の最も近い値に投影することによって、全ての他の画素と同様に修正が完了される。第２の方法では、各高強度画素が、完全照明色値に設定された画素によって置き換えられる。第３の方法によれば、各高強度画素が、元の画像と同様の色値で保たれる。

追加の方法は、各高強度画素に関して、第１の方法と第３の方法に従って決定された値、又は第２の方法と第３の方法に従って決定された値の重み付け平均を使用することによって実施される。値が、ステップ５０２で計算された完全照明色値よりも大幅には明るくない高強度画素と同様であるとき、重みは、第１又は第２の方法に従って計算された値を優先する。高強度画素に関する値が完全照明色値よりも大幅に明るいときには、第３の方法によって計算された値が優先される。そのような重み付け方式は、画像特性に関する式Ｉ＝ＭＬが、例えば鏡面反射の存在下で不正確であるときに有用である。

照明値に関する相対重みを決定するために、任意の既知の技法を実施することができる。本発明の例示的実施形態では、シグモイド関数が構成され、それにより、高強度画素の強度が完全照明色値又はその付近であるときには、全ての重みが第１又は第２の方法に従って決定された値にかかり、強度が増加するにつれて、第１又は第２の方法に従って決定された値と第３の方法に従って決定された値との間で、均等に重み付けされた値へ滑らかに移行する。その後、強度が完全照明色値を大幅に超えて増加するとき、第３の方法に従って決定された値に重みが完全にかかるまで、更なる滑らかな移行が生じる。

ステップ５０６で、ＣＰＵ１２は、式Ｉ＝ＭＬに基づいて、かつ画像ファイル１８の元の画像と、ステップ５０４で修正された照明画像とを使用して、固有物質反射画像を再計算する。ステップ５０８で、ＣＰＵ１２は、ＢＩＤＲモデルの予測に厳密に従うように修正された固有物質反射画像及び固有照明画像を出力する。

最良の結果を得るために、上述した後処理技法を、ｌｏｇ（ＲＧＢ）空間で実行することができる。また、様々な技法を上述した順序で実行することができる。１つ又は複数の後処理技法が実行された後、最終的な修正された固有画像は、ＣＰＵ１２によって、望みに応じてホワイトバランス処理及び／又はスケール調整して、出力することができる。

本発明の例示的実施形態の別の特徴によれば、ＣＰＵ１２によって、カメラ１４によって記録されたシーン内に示される顔に対して、追加の処理が実施される。米国特許出願公開第２０１１／０１５０３３８号明細書が、単一反射技法を使用して固有画像を生成するための方法を教示する。いくつかの画像ファイル１８に示される画像は、単一物質、例えば人間の顔の皮膚によって占められている。そのような場合、米国特許出願公開第２０１１／０１５０３３８号明細書に開示されている方法は、固有画像の生成に関連するコンピュータ処理を改良するために、単一反射領域が画像を占めていることを利用する。

本発明の例示的実施形態では、ＣＰＵ１２は、画像内で顔を位置特定するために、既知の目の検出器又は他の顔標識点の位置特定機能を実行し、次いで、各検出された顔領域に対して、米国特許出願公開第２０１１／０１５０３３８号明細書によって教示される単一反射技法を適用して、皮膚画素からなる単一物質領域を識別する。ＣＰＵ１２は、検出された目又は他の顔特徴点の周りで、所定のサイズの領域を切り取るように動作させることができ、顔領域を画定し、切り取られた領域に米国特許出願公開第２０１１／０１５０３３８号明細書の技法を適用する。ＣＰＵ１２によって識別される皮膚画素の各領域に関して、ＣＰＵ１２は、各検出された顔領域の皮膚に関する物質反射、例えば特定の顔領域に関する９４〜９７パーセンタイルの最も明るい皮膚画素の平均を推定することができる。式Ｉ＝ＭＬに基づいて、ＣＰＵ１２は、次いで、皮膚画素及び物質反射性推定値に関する記録された値を使用して、各顔にわたる照明を推定することができる。

図４ａをもう一度参照すると、照明画像と物質反射画像の生成（ステップ１００２）後、ＣＰＵ１２はステップ１００４に進む。ステップ１００４で、ＣＰＵ１２は、照明強度ヒストグラム、陰影深さ表示、及び相対フィルライト色の表示を含む、出力画面３２上に表示するために解析情報を決定するために使用される様々な統計量を計算するように動作する。

本発明の例示的実施形態では、統計量は、固有画像に対して、又は元の画像から決定される。さらに、画像内の各顔に関する統計量は、米国特許出願公開第２０１１／０１５０３３８号明細書によって教示される技法を実施してＣＰＵ１２によって決定された、顔に関する物質及び照明推定値に基づくことができる。任意選択で、ＣＰＵ１２は、画像全体に関する適切な推定値について、顔に関する結果を画像の残りの部分に関する結果に対して滑らかに補間することができる。

例えば、相対フィルライト情報は、特性スペクトル比を決定することによって、元の画像から導出することができる。本発明の好ましい実施形態では、特性スペクトル比は、Ｄａｒｋ／（Ｂｒｉｇｈｔ−Ｄａｒｋ）の比によって表現され、ここで、Ｄａｒｋは、照明境界の暗色側での色であり、Ｂｒｉｇｈｔは、境界の明色側での色である。上述したように、暗色側では、画像は周囲照明によって照明され、明色側では、画像は周囲照明＋直接照明によって照明される。式Ｉ＝ＭＬに関して、特性スペクトル比Ｓは、以下の式によって表現することができる。
Ｓ＝周囲光源＊反射率／（（周囲光源＋直接光源）＊反射率−周囲光源＊反射率）
Ｓ＝周囲光源／直接光源

ブロードキャストに関して、フィルライトは、周囲照明に対応し、キーライトは、直接照明に対応する。したがって、特性スペクトル比は、相対フィルライト／キーライトの情報の表現を提供する。

ＣＰＵ１２が、上述した対数色度クラスタリング技法を使用して固有画像を生成する（ステップ１００２）、及び／又はＢＩＤＲ施行後処理技法を実施する場合、図９のルーチンの実行によって決定されるＮ値（これは特性スペクトル比に対応する）は、相対フィルライト／キーライト情報の表現として使用することができる。そうでない場合、向きＮは、ＣＰＵ１２によって、別個のステップで決定されて、図９のルーチンを実行する。

ステップ１００４で、ＣＰＵ１２はまた、照明強度ヒストグラムを計算するように動作する。本発明の例示的実施形態では、ＣＰＵ１２は、ステップ１００２で生成された照明画像の対数色空間表現に対してヒストグラム計算を実施し、ビン数のリストを作成することによってヒストグラム処置を開始し、リストでの各ビン数は、０に初期化される。各ビン数は、特定の強度での照明画像内の画素の数のカウントを表す。ビンの数は、ユーザによって設定することができる。

本発明の例示的実施形態では、ビン数は１００に設定される。１００のビン数は、−５．０〜０．０の対数色空間内の範囲をカバーする。−５．０〜０．０の範囲に関する１００のビン数の場合、最初のビンは、−５．０〜−４．９５の強度を有する照明画像内の全ての画素のカウントであり、第２のビンは、−４．９５〜−４．９０に関するカウントであり、以下同様に続き、最後のビンは、−０．０５〜０．０の範囲に関するカウントである。

ビン数が設定された後、ＣＰＵ１２は、照明画像内の全ての画素にわたってループする。本発明の好ましい実施形態では、特定の画素はカウントされない。例えば、人間の顔に関して、顔マスクを使用して、解析中の画像内に示される各顔を参照することができ、顔マスク内部の画素のみが、ヒストグラム処置中にカウントされる。さらに、目や口などの顔特徴点を示す画素を無視することができる。これらの特徴点は、適応形状モデルや、各顔マスク内部の所定の形状によって輪郭を取るなどの技法によって決定することができる。上述したように、各それぞれの顔に関する推定された照明及び物質反射を使用して、各検出された顔に関して、個別の照明強度ヒストグラムを計算することができる。

照明画像の各画素がカウントされるように、ＣＰＵ１２は、画素の強度を検査して、増分すべきヒストグラムの対応するビンを決定する。カウントすべき全ての画素の検査の完了後、リストのビンによって表される各強度範囲内の画素の数に関する整数カウントのヒストグラムが決定される。

ステップ１０６で、ＣＰＵ１２は、ステップ１００４で計算された統計量の表示となる出力を生成するように動作する。例えば、相対フィルライト色を表す特性スペクトル比は、ＲＧＢ空間内にあるとき、以下のような３次元ベクトルを備える。
Ｖ＝（Ｄ_ｒｅｄ／（Ｂ_ｒｅｄ−Ｄ_ｒｅｄ），Ｄ_{ｇｒｅｅｎ}／（Ｂ_{ｇｒｅｅｎ}−Ｄ_{ｇｒｅｅｎ}），Ｄ_ｂｌｕｅ／（Ｂ_ｂｌｕｅ−Ｄ_ｂｌｕｅ））
ここで、Ｂ_ｒｅｄは、明色側の色での色測定値の赤色チャネルであり、Ｄ_ｒｅｄは、暗色側での赤色チャネル色であり、Ｂ_{ｇｒｅｅｎ}及びＢ_ｂｌｕｅは、それぞれ明色側での緑色及び青色チャネル色を表し、Ｄ_{ｇｒｅｅｎ}及びＤ_ｂｌｕｅは、それぞれ暗色側での緑色及び青色チャネル色を表す。

したがって、Ｓ＝周囲光源／直接光源の関係により、ＣＰＵ１２は、特性スペクトル比のベクトル表現を使用して、相対フィルライト／キーライト情報を表す色に関するＲＧＢ値を導出することができる。ＲＧＢ値は、色、及び／又は色相／彩度の円上の位置として表示することができる。強度に関係しないフィルライトの相対的な色を表示するために、特性スペクトル比に関するベクトル表現を、単位長さを有するように正規化することができ、又は例えば、色相や彩度など別の標準的な色度表現に変換することができる。図３を参照すると、色は、出力画面３２の左下隅で画面ディスプレイに示され、位置は、出力画面３２の右下隅に示される、色相／彩度の円を横切る２つのラインの交点によって示される。

さらに、ステップ１００６で、ＣＰＵ１２は、ステップ１００４で計算されたヒストグラム値をプロットするために、標準的なプロット技法を実行するように動作する。各検出される顔に関して個別の照明強度ヒストグラムが計算された場合、各顔に関して個別のプロットを行うことができる。図３に示されるように、水平軸に沿ったプロットは、対数スケール又は線形スケールでプロットされた強度である。上述した例示的実施形態では、−５．０〜０．０の対数範囲を使用した。この範囲は調節可能であることがあり、例えば、ユーザ制御３０の１つを、ＣＰＵ１２に範囲情報を提供するように構成することができる。したがって、シーン内の陰影が浅い場合には、ユーザは、−２．０〜０．０の範囲を指定することができ、又は陰影が深い場合には、−１０．０〜０．０の範囲を指定することができる。ステップ１００４での照明強度ヒストグラム計算は、ユーザ指定範囲を使用して実行される。任意選択で、水平軸の範囲は、自動的に設定することができる。例えば、この範囲は、解析中の画像の照明強度範囲と一致するように設定することができる。

垂直軸上で、プロットは、水平軸に沿ってプロットされる各特定の強度レベルでの画素の数を示す。垂直軸は、ヒストグラム内の最大数の画素がプロットでカバーされるようにスケール調整される。

ステップ１００６の実行を続けるために、図４ｂは、陰影深さ表示などの出力を導出するために、照明強度ヒストグラム情報を解析するためのフローチャートを示す。ステップ１０１０で、照明強度ヒストグラムがＣＰＵ１２に入力される。ステップ１０１２で、ＣＰＵ１２は、任意選択でヒストグラムを平滑化する。ステップ１０１４で、ＣＰＵは、ヒストグラムを検査して、予め指定された隔離基準に見合うピーク値を位置特定する。

隔離基準は、トポグラフィでの技術用語であり、ピークによる占有半径に関係し、あるピーク値から、最も近い、より高いピーク値への距離を指定する。隔離値が設定されると、ＣＰＵ１２は、ヒストグラムを示すグラフ内で、最も明るい隔離ピークと最も暗い隔離ピークとを見出す。最も明るい隔離ピークの位置は、完全照明の照明強度を提供し、最も暗い隔離ピークの位置は、完全陰影の照明強度を提供する。

ステップ１０１６で、ＣＰＵ１２は、陰影深さを計算する。２つの隔離ピークの強度値の比（又は対数値の差）が、陰影深さの尺度である。グラフ内にただ１つの隔離ピークしか存在しない場合には、シーン内に陰影は存在せず、陰影深さは１．０に設定される。ステップ１０１８で、ＣＰＵ１２は、ステップ１００６の実行を完了するために、陰影深さ情報を出力する。

図４ａを再び参照すると、ステップ１００８で、ＣＰＵ１２は、図４ａ及び図４ｂのルーチンの実行により計算される色解析情報を出力する。図１に示されるように、ＣＰＵ１２の出力は、照明強度ヒストグラム、陰影深さ、及び相対フィルライト色を含む色解析情報の表示のために、色解析ボックス２４に結合される。図３に示されるように、表示はまた、解析中の元の画像、及び計算された固有画像を含むこともできる。代替実施形態では、色解析情報は、モニタ２０上に表示される。

以上の明細書において、本発明を、その特定の例示的実施形態及び例を参照して説明してきた。しかし、添付の特許請求の範囲に記載する本発明のより広範な精神及び範囲から逸脱することなく、様々な修正及び変更をそれらに加えることができることは明らかであろう。したがって、明細書及び図面は、限定的な意味ではなく例示的なものとみなすべきである。

Claims (20)

1. 画像を処理するための自動化されコンピュータ化された方法であって、
   画像を示す画像ファイルをコンピュータメモリに提供するステップと、
   前記画像に関する空間スペクトル情報に応じて固有成分情報を決定するステップと、
   前記固有成分情報に応じて解析情報を計算するステップと
   を備えて構成される方法。
2. 計算された解析情報を表示する追加のステップを含む、請求項１に記載の方法。
3. 固有成分情報が照明画像を含む、請求項１に記載の方法。
4. 前記固有成分情報に応じて解析情報を計算する前記ステップが、前記照明画像の照明強度ヒストグラムを計算することによって行われる、請求項３に記載の方法。
5. 前記照明強度ヒストグラムに応じて陰影深さ表示を計算する追加のステップを含む、請求項４に記載の方法。
6. 前記空間スペクトル情報が特性スペクトル比を備える、請求項１に記載の方法。
7. 前記固有成分情報に応じて解析情報を計算する前記ステップが、相対フィルライト色を表現するために、前記特性スペクトル比に固有の固有成分情報を使用することによって行われる、請求項６に記載の方法。
8. ＣＰＵと、画像を含む画像ファイルを記憶するメモリとを備えるコンピュータシステムであって、
   前記ＣＰＵが、前記画像に関する空間スペクトル情報に応じて固有成分情報を決定し、前記固有成分情報に応じて解析情報を計算するためのルーチンを実行するように配置され構成される、コンピュータシステム。
9. コンピュータ可読媒体に実装されたコンピュータプログラム製品であって、画像を示す画像ファイルをコンピュータメモリに提供し、前記画像に関する空間スペクトル情報に応じて固有成分情報を決定し、前記固有成分情報に応じて解析情報を計算するようにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを含む、コンピュータプログラム製品。
10. 計算された解析情報を表示する更なるプロセスステップを含む、請求項９に記載のコンピュータプログラム製品。
11. 前記固有成分情報が照明画像を含む、請求項９に記載のコンピュータプログラム製品。
12. 前記固有成分情報に応じて解析情報を計算するための前記プロセスステップが、前記照明画像の照明強度ヒストグラムを計算することによって行われる、請求項１１に記載のコンピュータプログラム製品。
13. 前記照明強度ヒストグラムに応じて陰影深さ表示を計算する追加のプロセスステップを含む、請求項１２に記載のコンピュータプログラム製品。
14. 前記空間スペクトル情報が特性スペクトル比を備える、請求項９に記載のコンピュータプログラム製品。
15. 前記固有成分情報に応じて解析情報を計算するための前記プロセスステップが、相対フィルライト色を表現するために、前記特性スペクトル比に固有の固有成分情報を使用することによって行われる、請求項１４に記載のコンピュータプログラム製品。
16. ＣＰＵと、画像を含む画像ファイルを記憶するメモリとを備えるデバイスであって、
    前記ＣＰＵが、前記画像に関する空間スペクトル情報に応じて固有成分情報を決定し、前記固有成分情報に応じて解析情報を計算するためのルーチンを実行するように配置され構成され、デバイスがさらに、前記解析情報を表示するため前記ＣＰＵに結合されたディスプレイを備える、デバイス。
17. 前記解析情報が、照明強度ヒストグラム、陰影深さ、及び相対フィルライト色情報を含む、請求項１６に記載のディスプレイ。
18. 前記画像に関する空間スペクトル情報に応じて固有成分情報を決定する前記ステップが、前記画像内に示される顔に関する固有成分情報を決定することによって行われる、請求項１に記載の方法。
19. 前記画像に関する空間スペクトル情報に応じて固有成分情報を決定するための前記プロセスステップが、前記画像内に示される顔に関する固有成分情報を決定することによって行われる、請求項９に記載のコンピュータプログラム製品。
20. 前記ＣＰＵ１２が、前記画像内に示される顔に関する固有成分情報を決定することによって、前記画像に関する空間スペクトル情報に応じて固有成分情報を決定するための前記ステップを実行する、請求項１６に記載のデバイス。

Images