JP2015501968A - 固有画像の生成を改良するための後処理 - Google Patents

Abstract

本発明の第１の例示的実施形態では、画像を処理するための自動化されコンピュータ化された方法が提供される。本発明の１つの特徴によれば、方法は、画像を示す画像ファイルをコンピュータメモリに提供するステップと、画像に対応する固有画像を生成するステップと、二光源二色性反射モデルに応じて固有画像を修正するステップとを含む。

Description

本発明は、固有画像の生成を改良するための後処理に関する。

現代のコンピュータ技術の多くの有意義な、かつ商業的に重要な用途は、画像に関するものである。これらには、画像処理、画像解析、及びコンピュータビジョンアプリケーションが含まれる。例えば、物体認識や光学文字認識などのコンピュータビジョンアプリケーションにおいては、画像の照明アスペクトと物質（素材）アスペクトの分離により、コンピュータパフォーマンスの精度を大幅に改良することができることが判明している。画像の照明アスペクトと物質アスペクトに関係する重要な先駆的な発明は、Richard Mark Friedhoffに付与された「Differentiation Of Illumination And Reflection Boundaries」という名称の特許文献１、及びRichard Mark Friedhoffらに付与された「Method And System For Identifying Illumination Flux In An Image」という名称の特許文献２に開示されている（これらの特許を、本明細書では以後、Friedhoff特許と総称する）。

米国特許第７，８７３，２１９号明細書 米国特許第７，６７２，５３０号明細書

本発明は、Friedhoff特許の根本の教示内容に対する改良及び向上を提供し、改良された結果を得るために後処理技法を含む、固有画像を正確かつ適正に識別する画像技法を備える方法及びシステムを含む。

本発明の例示的な第１実施形態では、画像を処理するための自動化されコンピュータ化された方法が提供される。本発明の１つの特徴によれば、方法は、画像を示す画像ファイルをコンピュータメモリに提供するステップと、画像に対応する固有画像を生成するステップと、二光源二色性反射モデルに応じて固有画像を修正するステップとを含む。

本発明の例示的な第２実施形態では、コンピュータシステムが提供される。コンピュータシステムは、ＣＰＵと、画像を含む画像ファイルを記憶するメモリとを備える。本発明の１つの特徴によれば、ＣＰＵは、画像に対応する固有画像を生成し、二光源二色性反射モデルに応じて固有画像を修正するためのルーチンを実行するように配置及び構成される。

本発明の例示的な第３実施形態では、コンピュータ可読媒体に実装されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、画像を示す画像ファイルをコンピュータメモリに提供し、画像に対応する固有画像を生成し、二光源二色性反射モデルに応じて固有画像を修正するようにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを含む。

本発明のさらなる実施形態によれば、上述した方法を行うように構成された（例えばプログラムされた）１つ又は複数のコンピュータを含むコンピュータシステムが提供される。本発明の他の実施形態によれば、上述した実施形態を実施するためにコンピュータを制御するように動作可能なコンピュータ実行可能プロセスステップを記憶している非一時的なコンピュータ可読媒体が提供される。本発明は、例えば集積回路チップにおけるようなハードウェア回路として実装される命令を含む、本発明の方法を実行するためにコンピュータで使用可能な情報を実施する任意の製品としてコンピュータ可読媒体を企図する。自動化され、コンピュータ化された方法は、デジタルコンピュータ、アナログコンピュータ、光センサ、状態機械、シーケンサ、集積チップ、又は、本発明の方法のステップを実施するように設計もしくはプログラムすることができる任意のデバイスもしくは装置によって行うことができる。

画像に関係する操作／動作を実行するように配置され構成されたコンピュータシステムのブロック図である。 図１のコンピュータシステムに記憶されている画像に関するｎ×ｍ画素／ピクセルアレイ画像ファイルを示す図である。 本発明の１つの特徴に従って図２の画像ファイル内のタイプＣトークン領域を識別するためのフローチャートである。 タイプＣトークンの識別において一例として使用される元の画像／オリジナル画像を示す図である。 図３ｂの画像内のタイプＣトークン領域を示す図である。 本発明の１つの特徴に従って図３ｃのタイプＣトークンから生成されるタイプＢトークンを示す図である。 本発明の１つの特徴に従って図３ａのフローチャートのルーチンによって識別されたタイプＣトークンをテスト／試験するためのルーチンに関するフローチャートである。 本発明の１つの特徴による対数色空間色度面のグラフィック表現の図である。 入力画像に示される色のリストを決定／判定するためのフローチャートである。 対数色度空間に関する向きを決定するためのフローチャートである。 図６のルーチンの実行により決定された入力画像の色に関する対数色度座標を決定するためのフローチャートである。 図８のルーチンの実行により決定された対数色度座標を増強／増補するためのフローチャートである。 本発明の１つの特徴に従って対数色度座標をクラスタリングするためのフローチャートである。 本発明の１つの特徴による空間ハッシュに関するグリッドの例示図である。 図１０のルーチンの実行により決定されたクラスタに対数色度座標を割り当てるためのフローチャートである。 対数色度クラスタリングに基づいて均一な反射率の領域を検出するためのフローチャートである。 固有画像を生成するために、同一物質制約に従って画像の照明アスペクトと物質アスペクトとを識別及び分離するために使用される［Ａ］［ｘ］＝［ｂ］行列関係の表現を示す図である。 図３ｂの元の画像に対応する照明画像と物質画像を含む固有画像を例示する図である。 本発明の１つの特徴による、図１４に例示される固有画像に適用されるエッジ保存ぼかし後処理技法に関するフローチャートである。 本発明の１つの特徴による、図１４に例示される固有画像に適用されるアーチファクト減少後処理技法に関するフローチャートである。 本発明の１つの特徴による、図１４に例示される固有画像に適用されるＢＩＤＲモデル施行後処理技法に関するフローチャートである。 二光源二色性反射モデルによって予測される、完全陰影色値から完全照明色値への物質に関する色を示す、ＲＧＢ色空間内でのグラフである。

次に図面を参照し、まず図１を参照すると、画像に関係する操作を行うように配置及び構成されたコンピュータシステム１０のブロック図が示されている。ＣＰＵ１２は、例えばＵＳＢポートを介して、例えばデジタルカメラ１４などのデバイスに結合される。デジタルカメラ１４は、カメラ１４にローカルに記憶された画像をＣＰＵ１２にダウンロードするように動作する。ＣＰＵ１２は、ダウンロードされた画像を画像ファイル１８としてメモリ１６に記憶する。モニタ２０に表示するため、又はプリンタ２２で印刷するために、画像ファイル１８にＣＰＵ１２がアクセスすることができる。

あるいは、ＣＰＵ１２は、例えばデジタルカメラ１４やロボットなどのデバイスに埋め込まれたマイクロプロセッサとして実装することができる。また、例えばロボット操作やユーザとの対話操作に関連して、画像に関係するリアルタイム操作のためのリアルタイム操作システムをＣＰＵ１２に備え付けることもできる。

図２に示されるように、各画像ファイル１８は、ｎ×ｍの画素アレイ／ピクセルアレイを備える。各画素ｐは、全体の画像の別々の部分に対応するピクチャ要素である。全ての画素が合わさって、画像ファイル１８によって表現される画像を定義する。各画素は、ピクチャ要素の１組のカラーバンド、例えば赤色、緑色、及び青色成分（ＲＧＢ）に対応するデジタル値を備える。本発明は、各バンドが電磁スペクトルの一部に対応する任意のマルチバンド画像に適用可能である。画素アレイは、ｎ行ｍ列を含み、画素ｐ（１，１）から始まり、画素ｐ（ｎ，ｍ）で終わる。画像を表示又は印刷するとき、ＣＰＵ１２は、一般に知られているように、対応する画像ファイル１８をメモリ１６から検索し、画像ファイル１８内の画素のデジタル値に応じて、場合によりモニタ２０又はプリンタ２２を動作させる。

画像操作中、ＣＰＵ１２は、例えば、画像ファイル１８に記録されたシーン内に示される単一の物質に対応する画像の領域を識別することなど、様々な目的を実現するために、記憶／格納されている画像ファイル１８の画素のＲＧＢ値を解析するように動作する。本発明の基本的な発見の根底にある根本的な観察は、画像が２つの成分、すなわち物質成分と照明成分を備えることである。画像内の全ての変化は、これらの成分の一方又は他方によって引き起こされる。これらの成分の一方、例えば物質成分を検出するための方法は、物質又は物体の幾何形状、例えば物体の縁部を照明及び陰影の境界と区別するためのメカニズムを提供する。

そのようなメカニズムは、固有画像を生成するために使用することができる技法を実現可能にする。固有画像は、元の画像、例えば入力された画像ファイル１８内に示される画像に対応する。固有画像は、例えば、画像内に示される表面上の各点に入射する光の強度及び色を捕捉するための照明画像と、画像内に示される表面の反射特性（表面が反射する光の各波長のパーセンテージ）を捕捉するための物質反射画像とを含む。固有画像内で物質から照明を分離することによって、より効果的かつ正確なさらなる処理のために最適化された画像がＣＰＵ１２に提供される。

本発明の１つの特徴によれば、処理は、トークンレベルで行われる。トークンは、画像の連接領域であり、この領域の画素は、物質と照明の識別など、画像の特徴及び特性の識別に関連する様式で互いに関係付けられている。トークンの画素は、例えば画素間の色の密接な相関など均質性因子に関して、又はＲＧＢ空間などの色空間内で幾何学的に関係する異なる色値（一般にテクスチャと呼ばれる）など不均質性因子に関して関係付けることができる。本発明は、トークン領域を識別するために、画像ファイル１８内に示される画像の連続する画素に関連する空間スペクトル情報を利用する。空間スペクトル情報は、画素のカラーバンド、例えばＲＧＢ値に関する連続する画素間のスペクトル関係と、単一の物質に関連する画素スペクトル特性の空間的な広がりとを含む。

本発明の１つの例示的実施形態によれば、トークンはそれぞれ、タイプＡトークン、タイプＢトークン、又はタイプＣトークンとして分類される。タイプＡトークンは、連続する画素を備える連接画像領域であり、これらの画素は、シーン内で単一の物質（均一な反射率）を含む取り得る最大の画像領域を表す。タイプＢトークンも、連続する画像を備える連接画像領域であり、これらの画素は、シーン内で単一の物質を含む画像領域を表すが、必ずしもその物質に対応する均一な反射率の最大領域ではない。また、タイプＢトークンは、どれも同一の反射率（物質の色）を有するが、必ずしもその物質の色に対応する全ての画素ではない、１つ又は複数の画像領域又は画素の集団と定義することもできる。タイプＣトークンは、トークンの連続する画素が類似の画像性質を有する連接画像領域を備え、ここで、類似性は、画像を記録するために使用される撮像システムに関する雑音モデルに関して定義される。

次に図３ａを参照すると、本発明の１つの特徴による、図２の画像ファイル１８内に示されるシーン内でタイプＣトークン領域を識別するためのフローチャートが示されている。本発明の１つの特徴によれば、図３ａのステップを利用して、タイプＣトークンを画像内で容易に識別し、次いで解析及び処理して、タイプＢトークンを構成することができる。

１次の均一かつ均質なタイプＣトークンは、画像の連続する画素間で単一のロバストな色測定値を備える。識別ルーチンの開始時、ＣＰＵ１２は、メモリ内の領域マップをセットアップする。ステップ１００で、ＣＰＵ１２は、領域マップをクリアし、領域ＩＤを割り当てる。領域ＩＤは、始めは１に設定される。画素数に対応するルーチンに関する反復数が、ｉ＝０に設定され、トークンを決定するためにシードとして使用するためのＮ×Ｎ画素アレイに関する数値が、初期値Ｎ＝Ｎ_{ｓｔａｒｔ}に設定される。Ｎ_{ｓｔａｒｔ}は、任意の整数＞０でよく、例えば１１又は１５画素に設定することができる。

ステップ１０２で、シードテストが開始される。ＣＰＵ１２は、例えば第１の画素ｉ＝１、すなわち画素（１，１）（図２参照）、すなわち画像ファイル１８の第１のＮ×Ｎサンプルの左上隅の画素を選択する。次いで、決定ブロック１０４で、この画素がテストされて、選択された画素が良好なシードの一部であるか判断される。このテストは、選択された画素の色値と、予め選択された数の、シードとしての隣接画素（例えばＮ×Ｎアレイ）の色値との比較を含むことができる。色値の比較は、画素の複数のカラーバンド値（本発明者らの例ではＲＧＢ）に関するものでよい。比較の結果、シード内の画素に関して（記録デバイスの雑音レベル内で）ほぼ等しい値ではない場合、ＣＰＵ１２は、次のＮ×Ｎシードサンプルに関してｉの値を増分し（ステップ１０６）、例えばｉ＝２、すなわち画素（１，２）とし、次いで、ｉ＝ｉ_ｍａｘであるか判断するためにテストする（決定ブロック１０８）。

画素値が、ｉ_ｍａｘ、すなわち改良された結果を得るためにシードサイズを減少させることを決定するためのしきい値として選択された値である場合、シードサイズＮが、例えばＮ＝１５からＮ＝１２に減少される（ステップ１１０）。本発明の１つの例示的実施形態では、ｉ_ｍａｘは、図２に示されるように画素（ｎ，ｍ）で終了する画像内の画素の数に設定することができる。このようにして、図３ａのルーチンは、第１のＮ値で画像全体をパースし、その後、減少されたＮ値に関してルーチンを繰り返す。

シードサイズの減少後、ルーチンはステップ１０２に戻り、トークンシードに関してテストを続ける。また、ステップ１１０で、解析が完了したかどうか判断するために、Ｎ_ｓｔｏｐ値（例えばＮ＝２）もチェックされる。Ｎの値がＮ_ｓｔｏｐである場合、ＣＰＵ１２は、画像画素アレイの調査を完了して、ルーチンから出る。

ｉの値がｉ_ｍａｘ未満であり、ＮがＮ_ｓｔｏｐよりも大きい場合、ルーチンは、ステップ１０２に戻り、トークンシードに関するテストを続ける。
良好なシード（ほぼ等しい画素値を有するＮ×Ｎアレイ）が見出されると（ブロック１０４）、そのシードからトークンが成長される。ステップ１１２で、ＣＰＵ１２は、シードからの画素を待ち行列にプッシュする。待ち行列（キュー）内の画素は全て、領域マップ内で現行領域（現在の領域）ＩＤでマークされている。次いで、ＣＰＵ１２は、待ち行列が空かどうか問い合わせる（決定ブロック１１４）。待ち行列が空でない場合、ルーチンはステップ１１６に進む。

ステップ１１６で、ＣＰＵ１２は、待ち行列から先頭の画素／フロントピクセルを抜き出し（ポップアップし）、ステップ１１８に進む。ステップ１１８で、ＣＰＵ１２は、対象画素の周りの「良好な」隣接画素、すなわち対象画素と色値がほぼ等しい隣接画素を現行領域ＩＤでマークする。マークされた良好な隣接画素は全て領域マップ内に配置され、やはり待ち行列にプッシュされる。次いで、ＣＰＵ１２は決定ブロック１１４に戻る。待ち行列が空になるまでステップ１１４、１１６、１１８のルーチンが繰り返される。そのとき、現行領域内のトークンを形成する画素は全て、領域マップ内でタイプＣトークンとして識別されてマークされる。

待ち行列が空であるとき、ＣＰＵ１２はステップ１２０に進む。ステップ１２０で、ＣＰＵ１２は、次のトークンの識別で使用するために領域ＩＤを増分する。次いで、ＣＰＵ１２は、ステップ１０６に戻り、新たな現行トークン領域に関してルーチンを繰り返す。

Ｎ＝Ｎ_ｓｔｏｐに達する（図３ａのフローチャートのステップ１１０）と、又は画像と一致する領域マップが完成すると、ルーチンは、トークン生成タスクを完了する。図３ｂは、トークンの識別において一例として使用される元の画像である。画像は、青色領域及び陰影付きの青色領域、ならびに茶色領域及び陰影付きの茶色領域を示す。図３ｃは、図３ｂの画像に関して、例えば図３ａのルーチンの実行により識別された領域マップに対応するトークン領域（タイプＣトークン）を示す。トークン領域は、図３ｂの画像のトークン作成を示すためにカラーコード化され、画像の完全な青色及び茶色の領域と色付き領域の陰影との間の半影領域を含む。

各タイプＣトークンが、画像の連続する画素間で単一のロバストな色測定値を有する画像領域を備える一方で、トークンは、物質境界をまたいで成長することができる。典型的には、異なる物質が、ネック領域を介して一体につながって１つのタイプＣトークンを成し、ネック領域は、多くの場合、陰影境界に位置されるか、又は類似の色調であるが異なる強度を有する、異なる物質を横切る照明の変化を含む領域内に位置される。ネック画素は、隣接する画素の特性を検査することによって識別することができる。ある画素が、対応するトークン内部にない２つの連続する画素を両側に有し、かつ対応するトークン内部にある２つの連続する画素を両側に有するとき、その画素はネック画素と定義される。

図４は、タイプＣトークンに関するネックテストに関するフローチャートを示す。ステップ１２２で、ＣＰＵ１２は、識別されたトークンの各画素を検査して、検査中の画素の任意のものがネックを形成するかどうか判断する。図４のルーチンは、図３ａのルーチンの実行中に特定のトークンが識別された直後に、サブルーチンとして実行することができる。ネックとして識別される全ての画素が「成長不可能」とマークされる。決定ブロック１２４で、ＣＰＵ１２は、任意の画素がマークされたかどうか判断する。

マークされていない場合、ＣＰＵ１２は、図４のルーチンから出て、図３ａのルーチンに戻る（ステップ１２６）。

マークされている場合、ＣＰＵ１２は、ステップ１２８に進み、シードサイズ及び領域ＩＤに関するカウントを変えずに、図３ａのルーチンに従って、現行のトークンのマークされていない画素の中から選択されたシード位置からトークンを再成長させるように動作する。再成長プロセス中、ＣＰＵ１２は、「成長不可能」と事前にマークされた画素は含まない。トークンが再成長された後、事前にマークされた画素がマークを外され、したがって、他のトークンがそれらの画素に成長することができる。

事前にマークされた画素を含まないトークンの再成長後、ＣＰＵ１２は、ステップ１２２に戻り、新たに再成長されたトークンをテストする。ネックテストは、物質境界を横切るタイプＣトークンを識別し、識別されたトークンを再成長させて、タイプＢトークンを作成するために使用するのに適した単一物質タイプＣトークンを提供する。

図３ｄは、本発明の１つの特徴に従って図３ｃのタイプＣトークンから生成されたタイプＢトークンを示す。本発明は、画像ファイル１８に関するタイプＢトークンを構成するために、対数色度クラスタリング／クラスタ化を使用する新規の例示的な技法を提供する。対数色度は、照明不変色度空間を開発するための技法である。

対数色度表現を使用して照明と反射とを分離するための方法及びシステムは、参照により本明細書に明示的に援用する米国特許第７，５９６，２６６号明細書に開示されている。米国特許第７，５９６，２６６号明細書に教示されている技法を使用して、例えばタイプＣトークンによって表現される画像の各色に関する照明不変対数色度表現値を提供することができる。画像画素のカラーバンド値の対数値が、対数色空間グラフにプロットされる。次いで、米国特許第７，５９６，２６６号明細書に教示されているように、対数値が、二光源二色性反射モデル（ＢＩＤＲモデル）に応じて方向付けられた対数色度投影面に投影されて、各画素に関する対数色度値を提供する。ＢＩＤＲモデルは、色変化が、画像内に示されるシーンの単一の物質にわたって陰影を形成する照明変化によるものであるとき、異なる色測定値が、正の傾きに沿った暗色端部（陰影）から明色端部（照明端部）へのＲＧＢ空間内の円筒形内に入ると予測する。

図５は、米国特許第７，５９６，２６６号明細書に開示されている発明の１つの特徴による対数色空間の二照明色度面のグラフィック表現である。色度面のアライメントは、色度面に垂直なベクトルＮによって決定され、Ｎ＝ｌｏｇ（Ｂｒｉｇｈｔ_{ｖｅｃｔｏｒ}）−ｌｏｇ（Ｄａｒｋ_{ｖｅｃｔｏｒ}）＝ｌｏｇ（ｌ＋１／Ｓ_{ｖｅｃｔｏｒ}）と定義される。平面の座標ｕ，ｖは、ｕ軸としての色度面上への緑色軸の投影と、ｖ軸として定義されるｕとＮの外積とによって定義することができる。本発明者らの例では、図５に示されるように、物質Ａ、Ｂ、Ｃに関する各対数値が色度面上に投影され、したがって平面内で対応するｕ，ｖ座標値（色度値）を有する。

したがって、米国特許第７，５９６，２６６号明細書に開示されている技法に従って、ＣＰＵ１２によって、図５に示されるように、画像ファイル１８内の各画素のＲＧＢ値を、画像ファイル値ｐ（ｎ，ｍ，Ｒ，Ｇ，Ｂ）から対数値にマッピングし、次いで色度面への投影によって、対応するｕ，ｖ値にマッピングすることができる。次いで、ＣＰＵ１２によって、画像ファイル１８内の各画素ｐ（ｎ，ｍ，Ｒ，Ｇ，Ｂ）が、２次元の色度値：ｐ（ｎ，ｍ，ｕ，ｖ）によって置き換えられて、元のＲＧＢ画像の色度表現を提供する。一般に、Ｎバンド画像に関して、Ｎ個の色値が、Ｎ−１個の色度値によって置き換えられる。色度表現は、真に正確な照明不変表現である。なぜなら、その表現が基づくＢＩＤＲモデルが、元の画像を引き起こした照明光束を正確かつ適正に表現するからである。

本願の関連出願である、２０１０年１１月１０日出願の「System and Method for Identifying Complex Tokens in an Image」という名称の米国特許出願第１２／９２７，２４４号明細書（参照により本明細書に明示的に援用し、本明細書では以後「関連発明」と呼ぶ）で開示されて特許請求されている発明によれば、均一な反射率の領域（タイプＢトークン）の識別のために、ＣＰＵ１２に入力された画像ファイル１８内に示される各色に関して、対数色度値が計算される。例えば、タイプＣトークンの各画素は、画像を記録するために使用される機器の雑音レベル内で、同一のタイプＣトークンの全ての他の成分画素と（例えばＲＧＢ値に関して）ほぼ同一の色値である。したがって、各特定のタイプＣトークンの成分画素に関する色値の平均を使用して、対数色度解析におけるそれぞれのタイプＣトークンに関する色値を表すことができる。

図６は、入力画像、例えば画像ファイル１８に示される色のリストを決定するためのフローチャートである。ステップ２００で、入力画像ファイル１８が、処理のためにＣＰＵ１２に入力される。ステップ２０２及び２０４で、ＣＰＵ１２は、入力画像ファイル１８内に示される色を決定する。ステップ２０２で、ＣＰＵ１２は、色のリストのために、上述した図３ａのルーチンの実行によりＣＰＵ１２によって決定される各タイプＣトークンに関する平均色を計算する。ＣＰＵ１２は、解析のために、トークンの成分画素の数に関して最小のトークンサイズ、又は図３ａのルーチンに従ってタイプＣトークンを決定するために使用される最小のシードサイズ（Ｎ×Ｎアレイ）を任意選択で要求するように動作させることができる。最小サイズ要件は、画像に関する色のリスト内の色測定値が、入力された画像に示されるシーン内の色の正確な表現であり、ブレンド画素のアーチファクトではないことを保証するように実装される。

ブレンド画素は、異なる色の２つの画像領域の間の画素である。２つの領域の間の色がＲＧＢ空間内にプロットされる場合、色間に線形遷移があり、１つの領域から次の領域に向かう各ブレンド画素は、２つの領域の色の重み付け平均である。したがって、各ブレンド画素は、画像の真の色を表現しない。ブレンド画素が存在する場合、ブレンド画素からなる比較的小さいタイプＣトークンを、異なる色の２つの領域の間の画像領域に関して識別することができる。サイズ最小値を要求することによって、ＣＰＵ１２は、ブレンド画素からなるトークンを解析から省くことができる。

ステップ２０４で、ＣＰＵ１２は、代替として、画素レベルでの色、すなわち、図２に示されるような入力画像ファイル１８の画素のＲＧＢ値を収集することができる。ＣＰＵ１２は、より正確な色のリストのために、解析で使用される画像ファイル１８の各画素が、フィルタ出力による最小の安定性又は局所標準偏差を有することを任意選択で要求するように動作させることができる。例えば、第２次導関数エネルギーを使用して、画像の画素の安定性を示すことができる。

この手法では、ＣＰＵ１２は、ガウス微分（Difference of Gaussians）、ガウスのラプラシアン（Laplacian of Gaussian）、又は同様のフィルタを使用して、入力画像ファイル１８内に示される画像の全ての照明条件を網羅するように画像全体にわたって分配された各画素又は画素の部分集合での第２次導関数を計算する。次いで、検査される各画素に関する第２次導関数エネルギーを、ＣＰＵ１２によって、各色バンドでの第２次導関数の絶対値（又はグレースケール画像での単一の値の絶対値）の平均として、各色バンドでの第２次導関数の値の平方和（又はグレースケール画像での単一の値の平方和）として、色バンドにわたる最大平方第２次導関数値（又はグレースケール画像での単一の値の平方）として、又は任意の同様の方法で計算することができる。各画素に関する第２次導関数エネルギーの計算後、ＣＰＵ１２は、画素のエネルギー値を解析する。第２次導関数エネルギーと画素安定性との反比例関係が存在し、エネルギーが高ければ高いほど、対応する画素は不安定になる。

ステップ２０６で、ＣＰＵ１２は、（ステップ２０２及び／又は２０４の一方又は両方の実行後に）色のリストを出力する。関連発明の１つの特徴によれば、さらなる処理は全て、各ステップ２０２又は２０４からのリストを使用して実行することができ、又は各後続のステップで使用されるリスト（ステップ２０２又は２０４からのリストの一方又は他方）を変えることができる。

図７は、関連発明の１つの特徴による、対数色度表現に関する向きを決定するためのフローチャートである。例えば、ＣＰＵ１２は、図５に示されるように、対数色度面に対する垂線Ｎに関する向きを決定する。ステップ２１０で、ＣＰＵ１２は、図６のルーチンのステップ２０６で出力されたリストなど、入力ファイル１８に関する色のリストを受信する。ステップ２１２で、ＣＰＵ１２は、対数色度空間に関する向きを決定／判定する。

米国特許第７，５９６，２６６号明細書に教示されるように、また上述したように、色度面の向きは、Ｎによって表現され、Ｎは、色度表現、例えば図５の色度面に垂直なベクトルである。向きは、ＣＰＵ１２によって、いくつかの技法の任意の１つの実行により推定される。例えば、ＣＰＵ１２は、米国特許第７，５９６，２６６号明細書に完全に開示されているように、エントロピー最小化、ユーザによる同一物質の照明／陰影領域の手動選択、又は入力画像ファイル１８の画像に関する（向きＮに対応する）特性スペクトル比の使用に基づいて推定値を決定することができる。

より高い次元の色セット、例えばＲＹＧＢ空間（赤色、黄色、緑色、青色）に関しては、対数色度垂線Ｎは、入力された空間よりも１次元低い次元を有する下位空間を定義する。したがって、４次元のＲＹＧＢ空間では、垂線Ｎは、３次元の対数色度空間を定義する。４次元ＲＹＧＢ値が３次元対数色度空間に投影されるとき、対数色度空間内部の投影された値は、照明変化によって影響を及ぼされない。

ステップ２１４で、ＣＰＵ１２は、垂線Ｎに関する向きを出力する。図５の例で例示されるように、垂線Ｎは、３次元ＲＧＢ空間内でのｕ，ｖ平面に対する向きを定義する。

図８は、図６のルーチンのステップ２０２又は２０４で識別されるように入力画像の色に関する対数色度座標を決定／判定するためのフローチャートである。ステップ２２０で、色のリストが、ＣＰＵ１２に入力される（所与される）。色のリストは、図６のルーチンのステップ２０２の実行により生成されたリスト、又はステップ２０４の実行により生成されたリストを備えることができる。ステップ２２２で、図７のルーチンの実行により決定された垂線Ｎに関する対数色度向きも、ＣＰＵ１２に入力される。

ステップ２２４で、ＣＰＵ１２は、色のリスト内の各色に関する対数値を計算するように動作して、図５に例示されるように、対数値をそれぞれの（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ）座標で３次元対数空間内にプロットする。物質Ａ、Ｂ、及びＣは、ステップ２２０でＣＰＵ１２に入力された色のリストからの特定の色に関する対数値を表す。また、ＣＰＵ１２によって、ｕ，ｖ座標と、ステップ２２２でＣＰＵ１２に入力されたＮによって設定される向きとを用いて、３次元対数空間内で対数色度面が計算される。対数色度面での各ｕ，ｖ座標も、３次元対数空間内の対応する（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ）座標によって表すことができる。

関連発明の１つの特徴によれば、ＣＰＵ１２は、次いで、各色に関するｕ，ｖ対数色度座標を決定するために、色Ａ、Ｂ、及びＣに関する対数値を対数色度面上に投影する。各ｕ，ｖ対数色度座標は、３次元対数空間内の対応する（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ）座標によって表現することができる。ＣＰＵ１２は、ステップ２２６で、対数色度座標のリストを出力する。リストは、各色と、ｕ，ｖ対数色度座標、及び（解析で使用される色のリスト（ステップ２０２（トークン）又は２０４（画素））に応じて）それぞれの色を有する画素（又はタイプＣトークン）とを相互参照する。

図９は、関連発明の１つの特徴による、さらなる次元を用いて画素又はタイプＣトークンに関する対数色度座標を任意選択で増強／増補するためのフローチャートである。ステップ２３０で、図８のルーチンの実行により入力画像の色に関して決定された対数色度座標のリストが、ＣＰＵ１２に入力される（所与される）。ステップ２３２で、ＣＰＵ１２は、増補に使用するために、入力画像ファイル１８にアクセスする。

ステップ２３４で、ＣＰＵ１２は、任意選択で、各対応する画素（又はタイプＣトークン）に関するトーンマッピング強度を用いて各対数色度座標を増補するように動作する。トーンマッピング強度は、任意の既知のトーンマッピング技法を使用して決定される。トーンマッピング強度情報を用いた増補は、同様の対数色度座標と同様のトーンマッピング強度との両方に従ってグループ化される画素又はトークンをクラスタリングするための基礎を提供する。これは、クラスタリングステップの精度を改良する。

ステップ２３６で、ＣＰＵ１２は、任意選択で、対応する画素に関するｘ，ｙ座標（又はタイプＣトークンの成分画素に関するｘ，ｙ座標の平均）を用いて各対数色度座標を増補するように動作する（Ｐ（１，１）からＰ（Ｎ，Ｍ）への画素配置を示す図２参照）。したがって、ｘ，ｙ座標情報を用いたクラスタリングステップは、その特性が望まれるときには、空間的に制限された配置でグループを提供する。

各ステップ２３４及び２３６において、増補された情報は、各場合にそれぞれ因子ｗ_１、及びｗ_２、ｗ_３によって重み付けすることができ、増補された座標における異なる次元の相対的な重要性及びスケールを指定する。重み付け因子ｗ_１、及びｗ_２、ｗ_３は、ユーザ指定される。したがって、画素又はタイプＣトークンに関する（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ）座標は、（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ，Ｔ^＊ｗ_１，ｘ^＊ｗ_２，ｙ^＊ｗ_３）に増補され、ここで、Ｔ、ｘ、及びｙは、それぞれ、トーンマッピングされた強度、ｘ座標、ｙ座標である。

ステップ２３８で、ＣＰＵ１２は、増補された座標のリストを出力する。増補された対数色度座標は、画素の正確な照明不変表現を提供し、又は、例えばタイプＣトークンなど入力画像の指定された領域的配置を提供する。関連発明及び本発明の１つの特徴によれば、対数色度座標の照明不変特性は、例えばタイプＢトークンなど、単一の物質又は反射率の画像の領域を識別するための基礎として依拠される。

図１０は、本発明の１つの特徴による、対数色度座標をクラスタリング／クラスタ化するためのフローチャートである。ステップ２４０で、増補された対数色度座標のリストが、ＣＰＵ１２に入力される。ステップ２４２で、ＣＰＵ１２は、対数色度座標をクラスタリングするように動作する。関連発明の教示によれば、クラスタリングステップは、例えば既知のｋ平均法（k-means clustering）によって実施することができる。関連発明によれば、任意の既知のクラスタリング技法を使用して、対数色度座標をクラスタリングして、同様の対数色度座標値のグループを決定することができる。関連発明及び本発明のそれぞれの教示によれば、ＣＰＵ１２は、各対数色度座標を、それぞれの座標が属するグループに相関させる。

本発明の１つの特徴によれば、クラスタリングステップ２４２は、データベース管理で使用されるタイプのインデックス、例えば、ハッシュインデックス、空間ハッシュインデックス、Ｂ木（b-trees）、又はデータベース管理システムで一般に使用される任意の他の既知のインデックスに応じて実施される。インデックスに応じてクラスタリングステップ２４２を実施することによって、画像の各画素又はトークンに関するクラスタグループを識別するのに必要とされる比較の数が最小化される。したがって、クラスタリングステップは、ＣＰＵ１２によって最小時間量で実行することができ、全体の画像処理を速める。

図１０ａは、本発明の例示的実施形態の１つの特徴による、空間ハッシュに関するグリッドの例示である。図１０ａに示されるように、空間ハッシュは、処理された画像をバケットのグリッドに分割し、各バケットは、spatial Thresh×spatial Threshとなるように寸法設定される。グリッドは、クラスタグループに関するｕ，ｖ対数色度値のヒストグラムを表す。各クラスタが作成されるとき、クラスタへの参照が、グリッドの適当なバケットに配置される。

処理された画像の各新たな画素又はトークンは、要素（画素又はトークン）がクラスタリングプロセスでの新たなグループであるかのように、グリッド内で、それが占めるバケット内に配置される。次いで、画素又はトークンは、検査される要素が占めるバケットを取り囲む３×３のバケットグリッド内で、クラスタに関して検査される。要素は、例えば、要素がcluster Meanに関するしきい値内にある場合、３×３グリッド内のクラスタグループに追加される。

また、ＣＰＵ１２は、クラスタリングステップで識別される各グループに関する中心を計算するように動作する。例えば、ＣＰＵ１２は、（ｌｏｇＲ，ｌｏｇＧ，ｌｏｇＢ，ｌｏｇＴ）空間に対する各グループに関する中心を決定することができる。

ステップ２４４で、ＣＰＵ１２は、（対応する画素又はタイプＣトークンに相互参照される）対数色度座標に関するクラスタグループメンバーシップのリスト、及び／又はクラスタグループ中心のリストを出力する。

本発明のさらなる特徴によれば、クラスタグループメンバーシップのリストを、画像特性のユーザ入力を用いて増補することができる。例えば、ユーザは、同一の物質反射率である画像の画素又は領域を指定することができる。ＣＰＵ１２は、ユーザ指定された同一の反射率の画素又は領域を、クラスタリンググループメンバーシップ情報にオーバーレイするように動作する。

上述したように、クラスタリング方法の実行時、ＣＰＵ１２は、図６のルーチンのステップ２０２の実行により生成されたリスト、又はステップ２０４の実行により生成されたリストからの色のリストを使用することができる。識別されたクラスタグループを入力画像に適用する際、クラスタリング方法で使用されるのと同一の色セット（ステップ２０２に対応する色のリスト、又はステップ２０４に対応する色のリストの一方）を使用するようにＣＰＵ１２を動作させることができ、又は、異なる色セット（ステップ２０２に対応する色のリスト、又はステップ２０４に対応する色のリストの他方）を適用するように動作させることもできる。異なる色セットが使用される場合、ＣＰＵ１２は、図１１のルーチンを実行するように進行する。

図１１は、本発明の１つの特徴による、クラスタグループの識別後に異なる色リストが使用されるときの、図１０のルーチンの実行により決定されたクラスタに対数色度座標を割り当てるためのフローチャートである。ステップ２５０で、ＣＰＵ１２は、ここでは新たな色のリストに対して、図８のルーチンを再び実行する。例えば、ステップ２０２で生成される色（タイプＣトークンに基づく色）のリストを使用してクラスタグループを識別し、次いで、ＣＰＵ１２が、ステップ２０４で生成された色（画素に基づく色）のリストに基づいてクラスタグループに対して対数色度座標を分類するように動作する場合、図１１のルーチンのステップ２５０が実行されて、入力画像ファイル１８内の画素の色に関する対数色度座標を決定する。

ステップ２５２で、クラスタ中心のリストが、ＣＰＵ１２に入力される。ステップ２５４で、ＣＰＵ１２は、ステップ２５０で識別された各対数色度座標を、最も近いクラスタグループ中心に従って分類するように動作する。ステップ２５６で、ＣＰＵ１２は、新たな色リストに基づいて、対数色度座標に関するクラスタグループメンバーシップのリストを出力し、ステップ２５０で使用された色のリスト（ステップ２０２で生成された色のリスト又はステップ２０４で生成された色のリスト）に応じて、対応する画素又はタイプＣトークンと相互参照する。

図１２は、本発明の１つの特徴による、対数色度クラスタリングに基づいて均一な反射率の領域を検出するためのフローチャートである。ステップ２６０で、入力画像ファイル１８が、ＣＰＵ１２に再び提供される。ステップ２６２で、ステップ２５０で使用された色のリストに応じた画素又はタイプＣトークンの１つが、ＣＰＵ１２に入力される。ステップ２６４で、ステップ２４４又は２５６からのクラスタメンバーシップ情報が、ＣＰＵ１２に入力される。

ステップ２６６で、ＣＰＵ１２は、同一のクラスタグループメンバーシップを有する各画素、又は例えばタイプＣトークンなど入力画像の指定された領域をマージして単一の画像領域にし、均一な反射率の領域（タイプＢトークン）を表すように動作する。ＣＰＵ１２は、場合により、入力画像ファイル１８に関する画像又はトークン全てに関してそのようなマージ操作を行う。ステップ２６８で、ＣＰＵ１２は、均一な反射率の（及び、対数色度座標がステップ２３４及び／又は２３６で増補された場合には、同様のトーンマッピング強度及びｘ，ｙ座標も）全ての領域のリストを出力する。本発明の特徴に従って決定される均一な反射率の各領域（タイプＢトークン）が、場合によっては、領域にわたる大きな照明変化を伴うことに留意すべきである。

米国特許出願公開第２０１０／０１４２８２５号明細書は、同一物質制約に基づく最適化されたソリューションを含む、画像内の照明と物質を分離するための制約／ソルバモデルを教示している。米国特許出願公開第２０１０／０１４２８２５号明細書に教示されている同一物質制約は、本発明の教示に従って決定することができるタイプＣトークン及びタイプＢトークンを利用する。この制約関係は、同一のタイプＢトークンの一部である全てのタイプＣトークンが、同一物質に制約されるというものである。この制約は、タイプＢトークンの定義、すなわち、連続する画素を備える連接画像領域であって、シーン内で単一の物質を包含する画像の領域を表現するが、必ずしもその物質に対応する最大領域ではない連接画像領域という定義を施行する。したがって、同一のタイプＢトークン内にあるタイプＣトークンは全て、タイプＢトークンに課される定義によって、同一物質のものであるが、必ずしも同一照明ではない。したがって、タイプＣトークンは、異なる照明によって引き起こされる観察される見た目の相違に対応するように制約される。

図１３は、米国特許出願公開第２０１０／０１４２８２５号明細書に教示されているように、同一物質制約に従って画像の照明アスペクトと物質アスペクトとを識別及び分離するために使用される［Ａ］［ｘ］＝［ｂ］行列関係の表現である。基本式Ｉ＝ＭＬ（Ｉ＝画像ファイル１８に記憶されている、記録された画像値、Ｍ＝物質反射、及びＬ＝照明）に基づいて、ｌｏｇ（Ｉ）＝ｌｏｇ（ＭＬ）＝ｌｏｇ（Ｍ）＋ｌｏｇ（Ｌ）である。これは、ｉ＝ｍ＋ｌと書き換えることができ、ここで、ｉはｌｏｇ（Ｉ）を表し、ｍはｌｏｇ（Ｍ）を表し、ｌはｌｏｇ（Ｌ）を表す。同一物質の制約関係では、（図１３に示される）３つのタイプＣトークンａ、ｂ、及びｃが、ａ、ｂ、及びｃによって定義される対応するタイプＢトークンによって定義される単一の反射率の領域内にある一例では、ｍ_ａ＝ｍ_ｂ＝ｍ_ｃである。この例において、各タイプＣトークンに関するＩ値は、トークンの成分画素の記録された色値に関する平均色値である。ａ、ｂ、及びｃ、すなわちこの例のタイプＣトークンは、図３ｄに例示される青色のタイプＢトークンに対応することがある。

ｍ_ａ＝ｉ_ａ−ｌ_ａ、ｍ_ｂ＝ｉ_ｂ−ｌ_ｂ、及びｍ_ｃ＝ｉ_ｃ−ｌ_ｃであるので、これらの数学的関係は、同一物質制約では、（１）ｌ_ａ＋（−１）ｌ_ｂ＋（０）ｌ_ｃ＝（ｉ_ａ−ｉ_ｂ）、（１）ｌ_ａ＋（０）ｌ_ｂ＋（−１）ｌ_ｃ＝（ｉ_ａ−ｉ_ｃ）、及び（０）ｌ_ａ＋（１）ｌ_ｂ＋（−１）ｌ_ｃ＝（ｉ_ｂ−ｉ_ｃ）と表現することができる。

したがって、図１３の行列式において、［ｂ］行列でのｌｏｇ（Ｉ）に関する様々な値（ｉ_ａ、ｉ_ｂ、ｉ_ｃ）は、隣接するタイプＣトークンａ、ｂ、及びｃの成分画素に関する記録された平均画素色値から分かる。０、１、及び１からなる［Ａ］行列は、上述したように、同一物質制約を表現する方程式の組によって定義される。［Ａ］行列内で上から下への行の数は、トークンに課される実際の制約の数に対応し、この場合は３であり、すなわち３つの隣接するタイプＣトークン間での同一物質制約である。［Ａ］行列内で左から右への列の数は、求解すべき未知数の数に対応し、この場合、やはり３つのトークンに関する３つの照明値である。したがって、ＣＰＵ１２によって、［ｘ］行列における各タイプＣトークンａ、ｂ、及びｃの照明成分に関する値をこの行列式で求解することができる。各値は、本発明者らの例のカラーバンド（赤色、緑色、及び青色など）に対応する３つの値のベクトルであり、又は、例えばグレースケール画像では単一の値でもよいことに留意すべきである。

照明値が分かると、ＣＰＵ１２によって、式Ｉ＝ＭＬを使用して物質の色を計算することができる。ここで、トークンａ、ｂ、及びｃによって定義される領域に関して、元の画像での各画素をそれぞれ計算された照明値及び物質値によって置き換えることによって、固有照明画像及び固有物質画像を生成することができる。図３ｂに示される元の画像に対応する照明画像と物質画像の一例が図１４に例示されている。

本発明による対数色度クラスタリング技法によって得られるタイプＣトークン及びタイプＢトークンを利用する、米国特許出願公開第２０１０／０１４２８２５号明細書の技法及び教示による制約／ソルバモデルの実装は、元の入力画像に対応する固有画像を生成するための非常に効果的かつ効率的な方法を提供する。固有画像は、画像処理、画像解析、及びコンピュータビジョンアプリケーションの精度及び効率を向上させるために使用することができる。

しかし、本発明の例示的実施形態の実施により生成される固有画像は、処理された画像内に示されるシーンの見た目を歪めるアーチファクトを含むことがある。アーチファクトは、本発明の固有画像生成方法の実行により、又は上述した画像特性のユーザ入力などユーザ変更により導入されることがある。したがって、本発明の１つの特徴によれば、アーチファクトを減少させるために様々な後処理技法を実施することができる。

図１５は、固有画像内に示される照明アスペクト及び物質反射アスペクトの質を改良するための、本発明の１つの特徴による、図１４に例示される固有画像に適用されるエッジ保存ぼかし後処理技法に関するフローチャートである。ステップ３００で、ＣＰＵ１２は、入力として、元の画像（画像ファイル１８）と、上述したように図１３に示される行列式を解くことによりＣＰＵ１２によって決定された対応する固有物質反射画像及び固有照明画像とを受信する。

ステップ３０２で、ＣＰＵ１２は、エッジ保存平滑化フィルタを適用することによって、照明画像内の照明のエッジ保存ぼかしを行うように動作する。エッジ保存平滑化フィルタは、例えば、双方向フィルタ、ガイデットフィルタ、ミーンシフトフィルタ（mean-shift filter）、メジアンフィルタ、異方性分散など、既知のフィルタの任意の１つでよい。フィルタは、照明画像に１回又は複数回適用することができる。例示的実施形態では、双方向フィルタが、照明画像に２回適用される。さらに、複数の異なるタイプのフィルタを連続して適用することもでき、例えば、メジアンフィルタと、それに続く双方向性フィルタである。

ステップ３０４で、ＣＰＵ１２は、式Ｉ＝ＭＬに基づいて、かつ画像ファイル１８の元の画像と、ステップ３０２で修正された照明画像とを使用して、固有物質反射画像を再計算する。ステップ３０６で、ＣＰＵ１２は、図１５のルーチンの実行によりＣＰＵ１２によって修正された固有物質反射画像及び固有照明画像を出力する。

照明画像に適用される平滑化フィルタは、例えばコンピュータグラフィックスなどのアプリケーションで使用されるときに、固有画像の見た目にいくつかの改良をもたらす。例えば、コンピュータグラフィックスでは、いくつかの特別な効果を実現するためにテクスチャマッピングが使用される。アーティストは、テクスチャマッピングの実施において、何らかのファインスケールテクスチャが物質反射画像内で照明を生み出すようにすることが望ましいと考える。ステップ３０２で照明画像を平滑化することによって、以下に述べるステップ３０４での物質画像の再計算後、ファインスケールテクスチャが物質反射画像に移される。

さらに、ステップ３０２での照明の平滑化は、いくらかの陰影照明（表面の湾曲による照明強度変化）を物質反射画像に戻し、いくらかの湾曲表現を物質画像に与える。これは、コンピュータグラフィックスアプリケーションでのアーティスティックレンダリング（artistic rendering）のためにより適した、改良された物質の描写をもたらす。

さらに、小さな反射率変化は、時として、誤って照明画像に入る。ステップ３０２での平滑化は、反射率変化を物質画像に戻す。

図１６は、固有画像内に示される照明アスペクト及び物質反射アスペクトの質を改良するための、本発明の１つの特徴による、図１４に例示される固有画像に適用されるアーチファクト減少後処理技法に関するフローチャートである。ステップ４００で、ＣＰＵ１２は、入力として、元の画像（画像ファイル１８）と、上述したように図１３に示される行列式を解くことによりＣＰＵ１２によって決定された対応する固有物質反射画像及び固有照明画像とを受信する。任意選択で、固有画像は、図１５のルーチンの実行によりＣＰＵ１２によって事前に修正することができる。

ステップ４０２で、ＣＰＵ１２は、元の画像と物質反射画像とのそれぞれの画素に関して導関数（隣接する画素の差）を計算するように動作する。水平方向及び垂直方向での隣接する画素間の変化は、元の画像に示されるシーン内の照明変化及び異なる物質によって引き起こされる。ＣＰＵ１２が、元の画像を固有照明画像及び固有物質反射画像に分解するように動作するとき、いくらかの変化が照明画像内で生じ、いくらかの変化が物質反射画像内で生じる。理想的には、照明画像内の変化の全てが、照明の変化に起因し、物質反射画像内の変化の全てが、異なる物質に起因する。

したがって、照明変化を除去することによって、物質反射画像の変化は、元の画像の変化よりも真に小さいはずである。しかし、固有画像を生成するためのプロセスの不正確さが、物質反射画像に現れる新たなエッジをもたらすことがある。

ステップ４０４で、ＣＰＵ１２は、物質反射画像に関する導関数を元の画像に関する導関数と比較することによって、新たに現れるエッジによって引き起こされるアーチファクトを識別するように動作する。ＣＰＵ１２は、物質反射画像の各導関数に関して、符号は保存されるが、大きさは、元の画像と物質反射画像との導関数の大きさの最小値に設定されるように、物質反射画像の導関数を修正する。修正は、以下の式によって表現することができる。
新たな反射画像の導関数＝（前の反射画像の導関数の絶対値と、元の画像の導関数の絶対値との小さい方）×（前の反射画像の導関数の符号）

ステップ４０６で、ＣＰＵは、修正された導関数を積分して、新たな物質反射画像を計算する。新たな画像は、アーチファクトに起因する新たに現れるエッジを含まない物質反射画像である。積分を行うために、任意の既知の技法を実施することができる。例えば、ＣＰＵ１２は、離散コサイン変換を使用して２次元ポアソン方程式を解くことによって、数値的２Ｄ積分を行うように動作することができる。

ステップ４０８で、ＣＰＵ１２は、式Ｉ＝ＭＬに基づいて、かつ画像ファイル１８の元の画像と、ステップ４０４及び４０６で修正された物質反射画像とを使用して、固有照明画像を再計算する。ステップ４０８で、ＣＰＵ１２は、図１６のルーチンの実行によりＣＰＵ１２によって修正された固有物質反射画像及び固有照明画像を出力する。

図１７は、固有画像内に示される照明アスペクト及び物質反射アスペクトの質を改良するための、本発明の１つの特徴による、図１４に例示される固有画像に適用されるＢＩＤＲモデル施行後処理技法に関するフローチャートである。

上述したように、ＢＩＤＲモデルは、完全陰影から完全照明への半影において、物質に関する正しい色を予測する。図１８に示されるように、ＢＩＤＲモデルの予測によれば、例えばＲＧＢ色空間内での、完全陰影色値から完全照明色値への物質に関する色は、色空間内で概してライン（線）を成す。完全陰影では、物質は周囲光源によって照明され、完全照明時には、物質は、周囲光源と、画像ファイル１８のデジタル画像が記録された時点でシーン内に存在した直接又は入射光源によって照明される。

ＢＩＤＲモデルによれば、画像内の照明値も、周囲光源の色から、周囲光源と直接光源との複合の色まで延びるラインを定義する。対数色空間では、ＢＩＤＲモデルによって予測される照明ラインが、図５に例示される対数色空間色度面の垂線Ｎに対応する。

上述したように、固有照明画像及び固有物質画像の生成時の様々な不正確さは、例えば、ＢＩＤＲモデルによって予測される照明値に関するラインから逸脱する、生成された固有照明画像内の照明値をもたらすこともある。本発明によれば、ＢＩＤＲモデルの照明ライン予測を使用して、ｌｏｇ（ＲＧＢ）空間内で線形であるように照明を修正することによって、そのような不正確さを補正する。

図１７を再び参照すると、ステップ５００で、ＣＰＵ１２は、図５に例示される垂線Ｎに対応するＢＩＤＲ照明向きを入力として受信する。本発明の例示的実施形態では、上述したように、Ｎは、ＣＰＵ１２によって図７のルーチンの実行により決定される。その場合、図７のルーチンの実行により決定されるＮは、上述したクラスタリングプロセスと、図１７に例示されるＢＩＤＲモデル施行後処理技法との両方で使用される。

照明画像及び物質反射画像が、例示的実施形態の対数色度クラスタリング技法とは異なる方法によって生成される場合、向きＮは、ＣＰＵ１２によって、図７のルーチンの実行により、図１７のルーチンの実行前に別個のステップで決定される。Ｎが別個のステップで決定されるとき、ＣＰＵ１２は、元の画像又は照明画像に対して操作することができる。さらに、上述したように処理がユーザ入力に基づくとき、ユーザは、元の画像又は照明画像から選択を行うことができる。

さらに、ステップ５００で、ＣＰＵ１２は、ここでも、入力として、元の画像（画像ファイル１８）と、やはり上述したように図１３に示される行列式を解くことによりＣＰＵ１２によって決定された対応する固有物質反射画像及び固有照明画像とを受信する。任意選択で、固有画像は、図１５及び図１６の一方又は両方のルーチンの実行によりＣＰＵ１２によって事前に修正することができる。

ステップ５０２で、ＣＰＵ１２は、照明画像内の完全照明色を決定する。完全照明色（周囲＋直接）は、照明画像内で示される最も明るい色値でよい。しかし、最も明るい値は、画像内の雑音又は他の外れ値により不正確であることがある。本発明の好ましい例示的実施形態では、予め選択された強度パーセンタイル範囲（例えば、８７〜９２パーセンタイル）内の全ての照明色値を見つけ、それらの値の平均を計算することによって、より正確な決定が行われる。平均は、完全照明色値として使用される。そのような手法は、固有照明画像内の照明変化の明色端部のロバストな推定値を提供する。

ステップ５０４で、ＣＰＵ１２は、照明画像内の画素によって示される全ての照明色を、（ステップ５００でＣＰＵ１２に入力された）向きＮを有し、ステップ３０２で決定された完全照明色を通過するライン上の最も近い点に投影することによって、照明画像の画素全てを修正するように動作する。したがって、照明画像の各画素の色は、ＢＩＤＲモデル予測によって要求される最も近い値に適合するように修正される。

ステップ５０２で計算されたときに完全照明色値よりも大きい強度を有する照明画像の画素に関して、特殊なケースが存在する。この特殊なケースは、いくつかの異なる方法に従ってＣＰＵ１２によって取り扱うことができる。第１の方法では、各高強度画素を照明ライン上の最も近い値に投影することによって、全ての他の画素と同様に修正が完了される。第２の方法では、各高強度画素が、完全照明色値に設定された画素によって置き換えられる。第３の方法によれば、各高強度画素が、元の画像と同様の色値で保たれる。

追加の方法は、各高強度画素に関して、第１の方法と第３の方法に従って決定された値、又は第２の方法と第３の方法に従って決定された値の重み付け平均を使用することによって実施される。値が、ステップ５０２で計算された完全照明色値よりも大幅には明るくない高強度画素と同様であるとき、重みは、第１又は第２の方法に従って計算された値を優先する。高強度画素に関する値が完全照明色値よりも大幅に明るいときには、第３の方法によって計算された値が優先される。そのような重み付け方式は、画像特性に関する式Ｉ＝ＭＬが、例えば鏡面反射の存在下で不正確であるときに有用である。

照明値に関する相対重みを決定するために、任意の既知の技法を実施することができる。本発明の例示的実施形態では、シグモイド関数が構成され、それにより、高強度画素の強度が完全照明色値又はその付近であるときには、全ての重みが第１又は第２の方法に従って決定された値にかかり、強度が増加するにつれて、第１又は第２の方法に従って決定された値と第３の方法に従って決定された値との間で、均等に重み付けされた値へ滑らかに移行する。その後、強度が完全照明色値を大幅に超えて増加するとき、第３の方法に従って決定された値に重みが完全にかかるまで、さらなる滑らかな移行が生じる。

ステップ５０６で、ＣＰＵ１２は、式Ｉ＝ＭＬに基づいて、かつ画像ファイル１８の元の画像と、ステップ５０４で修正された照明画像とを使用して、固有物質反射画像を再計算する。ステップ５０８で、ＣＰＵ１２は、ＢＩＤＲモデルの予測に厳密に従うように修正された固有物質反射画像及び固有照明画像を出力する。

最良の結果を得るために、上述した後処理技法を、ｌｏｇ（ＲＧＢ）空間で実行することができる。また、様々な技法を上述した順序で実行することができる。１つ又は複数の後処理技法が実行された後、最終的な修正された固有画像は、ＣＰＵ１２によって、望みに応じてホワイトバランス処理及び／又はスケール調整して、出力することができる。

以上の明細書において、本発明をその特定の例示的実施形態及び例を参照して説明してきた。しかし、添付の特許請求の範囲に記載する本発明のより広範な精神及び範囲から逸脱することなく、様々な修正及び変更をそれらに加えることができることは明らかであろう。したがって、本明細書及び図面は、限定的な意味合いではなく例示的なものとみなすべきである。

Claims (7)

1. 画像を処理するための自動化されコンピュータ化された方法であって、
   画像を示す画像ファイルをコンピュータメモリに提供するステップと、
   前記画像に対応する固有画像を生成するステップと、
   二光源二色性反射モデルに応じて前記固有画像を修正するステップと
   を備えて構成される方法。
2. 前記固有画像が、照明画像を備え、二光源二色性反射モデルに応じて前記固有画像を修正するステップを行うことが、前記照明画像に示される照明色を、前記二光源二色性反射モデルに応じて方向付けられたラインに投影することによって行われる、請求項１に記載の方法。
3. 固有物質画像を提供するさらなるステップと、前記修正された照明画像に応じて前記物質画像を修正するさらなるステップとを含む、請求項２に記載の方法。
4. ＣＰＵと、
   画像を含む画像ファイルを記憶するメモリと
   を備え、前記ＣＰＵが、前記画像に対応する固有画像を生成し、かつ二光源二色性反射モデルに応じて前記固有画像を修正するためのルーチンを実行するように配置され構成される、
   コンピュータシステム。
5. コンピュータ可読媒体に実装されたコンピュータプログラム製品であって、画像を示す画像ファイルをコンピュータメモリに提供し、前記画像に対応する固有画像を生成し、二光源二色性反射モデルに応じて前記固有画像を修正するようにコンピュータを制御するよう動作可能なコンピュータ実行可能プロセスステップを含む、コンピュータプログラム製品。
6. 前記固有画像が、照明画像を備え、二光源二色性反射モデルに応じて前記固有画像を修正するプロセスステップが、前記照明画像内に示される照明色を、前記二光源二色性反射モデルに応じて方向付けられたラインに投影するためのプロセスステップによって実施される、請求項５に記載のコンピュータプログラム製品。
7. 固有物質画像を提供するためのさらなるプロセスステップと、前記修正された照明画像に応じて前記物質画像を修正するためのさらなるプロセスステップとを含む、請求項６に記載のコンピュータプログラム製品。

Images