JP2017102896A - シーンにおける光源の反射率パラメータ及び位置を推定する方法及び装置 - Google Patents

Abstract

【課題】シーンの鏡面反射の光源の反射率パラメータ及び位置を推定する方法、装置及びしシステムを提供する。【解決手段】ピクセルベースの画像レジストレーションを含み、それによりシーケンスに亘る３次元シーン位置画像強度のプロファイルが推定され、プロファイルは、３次元位置及びピクセルの組に付属され、登録したシーケンスにおけるその強度を表示し、鏡面反射効果を明らかにする可変プロファイル及び拡散反射のみを明らかにする固定プロファイルを区別し、各可変プロファイルに関して拡散反射率が推定され、強度プロファイルから減算され、鏡面反射プロファイルが推定され、鏡面反射のパラメータが観察された各３次元点に関して推定され、鏡面反射効果に関する少なくとも１つの光源の位置が推定され、任意選択で、パラメータは、反復してリファインされ、色情報及び鏡面反射率パラメータが決定される。【選択図】図８

Description

本原理は、画像処理、より具体的には、シーンにおける少なくとも１つの光源の反射率パラメータ及び位置を推定する方法及び装置に関する。

通常は、画像処理は、画像のキャプチャーによる撮像素子上に記録された物体（object）の「外観（appearance、アピアランス）」に基づく。物体の外観は、物体の表面で反射した後、光源から光を受け取る撮像素子によって得られる。現在は、しかしながら、画像処理は、また拡張現実画像の処理を含み、そこでは、仮想物体である、コンピュータ生成グラフックス画像が、現実の画像の上に横たわる。

このような応用では、正確に予測し、予期される反射及び影をシーンに適用するために、シーンの物体表面の光源の特性及び反射特性を推定する必要がある。一旦光源の特性が分かれば、照明の位置及び反射特性を修正することも可能である。

シーンの光源特性及び反射特性を推定する現在の技術において、光源の取り込み画像、すなわち、光源の画像が必要である。ある場合には、そのような画像は、シーンのイメージングと連動して得られ、他の例では、光源の単独の画像が取り込まれなければならない。いずれにしても、シーンの光源特性及び反射特性を推定するには光源の画像の取り込みが必須である。

しかしながら、非常に有益なことは、光源の画像の取り込みの必要なしにシーンの光源特性及び反射特性を推定できることである。

本原理の実施形態は、シーンにおける少なくとも１つの光源の反射率パラメータ及び位置の推定を行う方法及び装置を提供することによって先行技術の欠如に取り組む。

本原理の一実施形態において、シーンにおける少なくとも１つの光源の反射率パラメータ及び位置を推定する方法は、シーンにおける複数の位置に関する強度プロファイルを決定することと、可変の強度プロファイルから固定の強度プロファイルを分離することと、可変の強度プロファイルを使用して拡散反射の反射率成分を推定することと、拡散反射成分から鏡面反射パラメータを導出することと、導出した鏡面反射パラメータから光源の向きを決定することと、少なくとも１つの決定された光源の向きを使用して少なくとも１つの光源の位置を推定することとを、含む。

本原理の別の実施形態において、シーンにおける少なくとも１つの光源の反射率パラメータ及び位置を推定する装置が、制御プログラムと、命令と、コンテンツと、及びデータを保存するように適合されたメモリと、制御プログラムと命令を実行するように適合されたプロセッサとを含む。制御プログラム及び命令の実行に応じて、プロセッサは、装置にシーンにおける複数の位置に関する強度プロファイルを決定し、可変の強度プロファイルから固定の強度プロファイルを分離し、可変強度プロファイルを使用して拡散反射の反射率成分を推定し、拡散反射の成分から鏡面反射のパラメータを導出し、導出した鏡面反射のパラメータから光源の向きを決定し、少なくとも１つの決定された光源の向きを使用して少なくとも１つの光源の位置を推定する。

本原理の教示は、添付図面を併用して、以下の詳細な説明を考慮することにより
図１は、表面上の特定の点を考慮した鏡面反射の正規化ベクトルの図式的な表現である。 図２は、鏡面反射の効果を包含する色／強度プロファイルの図式的な表現である。 図３は、本原理の実施形態に従ったフィルタリング後の図２の色／強度プロファイルの図式的な表現である。 図４は、本原理の実施形態に従った可変プロファイルから固定プロファイルを分離する方法のフロー図である。 図５は、本原理の実施形態に従った拡散反射成分から鏡面反射パラメータを導出する方法のフロー図である。 図６は、本原理の実施形態に従った点の法線ベクトル及び反射光ベクトルの図式的な表現である。 図７は、本原理の実施形態に従った光源の３Ｄ（３次元）位置の推定の図的記述である。 図８は、本原理の実施形態に従ったシーンにおける少なくとも１つの光源の位置を推定する方法のフロー図である。 図９は、本原理の実施形態に従った上述の微調整プロセスに従った光源の色と鏡面反射率パラメータを推定する方法のフロー図である。 図１０は、本原理の実施形態に従ったRGBDシーケンスを使用してシーンにおける少なくとも１つの光源の反射率パラメータ及び位置を推定する装置の高レベルブロック図である。

本原理の実施形態は、ＲＧＢＤシーケンスを使用してシーンにおける少なくとも１つの光源の反射率パラメータ及び位置を推定する方法及び装置を有利に提供する。本原理は、可変鏡面反射効果に関連する結果色変数（resultant color variables）の文脈内で主として説明されるが、本原理の特定の実施形態は本発明の範囲に制限するように扱われるべきではない。グレースケールデータと同様に色データにも本原理のコンセプトが有利であり得るということは、当業者によって認識され、本原理の教示により知らされる。

図に示されたいくつかの要素の機能は、専用のハードウェア及び適切なソフトウェアに関連するソフトウェアを実行する能力があるハードウェアの使用を介しても提供され得る。プロセッサにより提供される場合、機能は、単一の専用プロセッサにより、単一の共用プロセッサにより、又はいくつかは共用可能な複数の個別のプロセッサにより提供され得る。その上、「プロセッサ（processor）」又は「コントローラ（controller）」という語の明示的な使用は、ソフトウェアを実行する能力のあるハードウェアを排他的に参照すると解釈すべきではなく、制限無く、デジタルシグナルプロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを保存するリードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶装置を黙示的に含み得る。さらに、本発明の特定の例だけではなく本発明の原理、態様、及び実施形態を説明する本明細書におけるすべての表現は、本発明の構造的な及び機能的な均等物を包含することを意図する。加えて、そのような均等物は、将来開発される均等物（例えば、構造にかかわらず同じ機能を実行するように開発されたいかなる要素）だけでなく、現在知られている均等物も含む意図である。

それ故に、例えば、ここで示されたブロック図は、本発明の原理を具体化した実例となるシステム構成要素及び／又は回路の概念的な見方を説明することが当業者によって理解される。同様に、いずれのフローチャート、フロー図、状態遷移図、擬似コード等は、コンピュータ読取可能媒体中に実質的に表現され得る様々なプロセスを表し、そのようなコンピュータ又はプロセッサが明示的に示されていようがいまいが、コンピュータ又はプロセッサによって実行されることを理解されたい。

さらに、添付図面に示された構成するシステムの構成要素及び方法の幾つかは、ソフトウェアとして実装されることができ、システム構成要素又は処理機能ブロック間の実際の接続は、本原理がプログラムされる仕方に依存して異なり得る。ここでの教示を前提として、当業者は、本原理のこれら及び類似の実装又は構成を意図することができる。

明細書において、本原理の「一つの実施形態（one embodiment）」又は「一実施形態（an embodiment）」及び他のこれらの変形への参照は、本原理の少なくとも1つの実施形態に含まれる実施形態と関連して説明される特定の機能、構造、特徴等を意味する。したがって、明細書のいたるところで現れる表現「一つの実施形態において（in one embodiment）」又は「一実施形態において（in an embodiment）」及び他の変形の出現は、必ずしも全て同じ実施形態を参照している訳ではない。

手短に言えば、本原理のいくつかの実施形態に従って、例えばシーンにおける物体表面の拡散反射及び鏡面反射の反射率を推定し、シーンの鏡面反射率の光源の位置を推定する、方法、装置及びシステムが提供される。本原理の実施形態は、興味のあるシーンの前を移動するセンサー（例えば、キネクト（Kinect））からのＲＧＢシーケンス及びデプスマップ（Depth map）の取得に基づいている。本原理の実施形態に従って、光源の検知及びそれらの位置の推定に専用の他のセンサーは必要ない。センサーは、興味があるシーンを観察するために使用され、光源を観察するためには使用されない。そのため、本発明の実施形態は、興味があるシーン中で観察される表面の反射率特性及び興味があるシーンを示すＲＧＢフレーム及びデプスマップから光源を推定することができる。

本原理の１つの実施形態において、興味があるシーンにおける光源によって生成される可変鏡面反射効果が、シーンの光源の位置の推定に使用される。すなわち、シーンを検出するセンサーの移動、光源の位置、表面の方向、及びそれらの反射率特性に依存して、いくつかの表面の位置がフレームからフレームへ変化する色を表示する。このような情報を使用して、参照フレーム（reference frame）のピクセルの色／強度プロファイル（color/intensity profile）が形成される。プロファイルは、シーケンスに沿ってフレームからフレームへと対応する３次元位置の色又は強度の変化を表現する。すなわち、３次元点の投影の位置がフレームからフレームへと変化し、しかし、デプスマップは利用可能で、センサーの位置（sensor pose）は測定されるので、３次元位置はフレームからフレームへと追跡され、センサーフレームを介して観察される強度／色は、可変プロファイルを作るために測定される。本原理に従って、可変プロファイルの情報が、光源の位置及び対応する３次元位置（参照フレームのピクセル）の鏡面反射パラメータを推定するために使用される。

固有の画像分解は、画像をその反射率及び影（shading）の成分に分離することを意図する。反射率成分、Rは、照明環境に独立した表面位置の固有（intrinsic）の色、又はアルベド（albedo）を含む。一方、影の成分、Sは、影を含むいくつかの照明効果から構成される。
画像Ｉは、下記の式（１）に示されるように、これらの２つの成分の積と見なされる。
ここで、pは画像空間（image space）における点を示す。反射率は、拡散反射成分に制限されることに留意すべきである。したがって、そのような場合は、ありそうな鏡面反射の存在に関して、解決法はロバストでなければならない。

ＲＧＢＤシーケンス（色＋深度）を使用した反射率パラメータの既知の推定解法がある。このような解法では、時間フィルタリングは鏡面反射成分から拡散反射成分を黙示的に分離する傾向があり、しかし、その結果、鏡面反射効果は、影を有するシェーディングに単純に委ねられる。しかしながら、鏡面反射効果を特定し、分析するにはより精度が求められる。

さらに、固有の画像における分解は、鏡面反射率及び鏡面反射の照明画像の明示的な推定に拡張される。この場合、照明の特徴は、鏡面反射の照明画像を得る鏡面反射強度マップの分解を介して表現される。後の画像は、照明情報を含むが、鏡面反射表面に固有のデータも含む。このような解法は、３次元光源の位置を必要としない応用で使われ得るが、その位置を必要とする場合は、十分ではない。

さらにもっと、３次元シーンにおける物理現象を説明するいくつかの解法が提案されている。例えば、フォン（Phong）鏡面反射モデルは、下記の式（２）に従って、光沢のある（shiny）表面の鏡面反射と粗い表面の拡散反射の組合せとして、表面が光を反射する方法を説明する。
右辺の加算の第１の成分は、アンビエント照明に関連し、第２の成分は拡散反射照明（ｍでの総和が光源の数に適用される）を参照し、第３の成分は、鏡面反射照明を参照する。パラメータｋ_ａ、ｋ_ｄ及びｋ_ｓは、それぞれアンビエント、拡散反射（アルベド）及び鏡面反射の反射係数である。パラメータαは「光沢度（shininess）」を参照し、すなわち、パラメータの値が大きければ大きい程、鏡のようになる。

図１は、表面の特定の点を考慮した鏡面反射の正規化ベクトルの図形表示を示す。すなわち、特定の表面の位置を考慮して、正規化ベクトル
（外１）
は、それぞれ、面法線、光源の向き、表面のこの点から取る光の完全に反射した光線の向き、及びセンサーの方を指す向きである。
（外２）
、
（外３）
及び
（外４）
は、下記の式（３）に従った関係で関連付けられる。
反射率マップ、R^ｐは、向きパラメータ、
（外５）
と混同されるべきではない点に留意すべきである。

このようなモデルを使うために、物体表面の反射率パラメータ及び光源は、最初に推定される。光源は、シーンの中央に置かれたカメラからの光源の直接観察を介して、又は光源を反射する光プローブ（同様にシーンの中央に置かれた）の観察を介して、多くの場合、特定される。さらに、典型的にはステレオを介して光源の３次元位置を見つけるための少なくとも２つのカメラがあるはずである（そうしないと光源の単なる向きがシーンの特定の３次元点を介して特定される）。

既存の解法では、携帯型カメラを介して平らな鏡面反射表面のリアルタイム表面光照射野（light-field）キャプチャーが提案されてきた。拡散及び鏡面の反射成分は、プローブ又は追加のカメラの必要性なく回復される。実際には、携帯型移動カメラがいくつかの視野角の下で平らな（planar）物体の表面をキャプチャーする。所定の３次元点の複数の観察から、拡散反射成分が中央値（median value）として導出され、それから、鏡面反射値が観察された色から拡散反射値を引くことにより各観察から得られる。下記の式（４）として示されたフォンの式は、位置の鏡面反射成分
（外６）
を記述するために使用される。
観察された表面は、平らであることを意図する。パラメータｋ_ｓ及びαは、表面に亘って一定である。さらに、光源は、離れている（反射光の向きは、表面に亘って一定であると仮定する）と仮定する。平らな表面の４D光照射野（鏡面反射成分に対応した）は、いくつかの観察（面上の２Ｄ位置及び観察の２Ｄ向き）から作られる。鏡面反射パラメータの推定はない。

他の従来の解法では、異なる物体からできたシーンが考慮される。このような解法では、ＲＧＢＤキネクトセンサがシーンを観察するために使用され、魚眼カメラが光源をキャプチャーする。フォンモデルは、そして下記の式（５）に示されたように（アンビエント照明を使わずに）使用される。
各物体は、反射率パラメータ、すなわちｋ_ｄ、ｋ_ｓ及びαの固有の組を有する。
これらのパラメータは、下記の式（６）を最小化するセグメンテーション後に別々に各物体に関して推定される。
上記式は、ピクセル強度及びそのフォンモデル分解（Phong model decomposition）の間のある物体のすべてのピクセルに亘って合計された、平方（二乗）誤差（square error）を表す。

本原理の実施形態に従って、拡散反射及び鏡面反射の表面反射率が既知のジオメトリ（geometry）を持つＲＧＢ画像シーケンスから推定される。ジオメトリは、以前に推定された、又はＲＧＢ＋デプス（depth）センサー（例えば、キネクト（Kinect）センサー）経由でＲＧＢフレームと共にデプスマップとして、オンラインでキャプチャーされ得る。静止３次元シーンにおいて、ＲＧＢＤセンサーは、シーンをあちこち移動し、いくつかの視野角（view angle）でシーンが観察される。ＲＧＢ及びデプスフレームのセットが、センサー軌跡に沿って取得される。シーンに付随するある座標系に関するカメラ位置が各フレームで利用できる。

３次元ジオメトリを使用して、面法線が計算され、任意の３次元視点からの物体による表面のオクルージョン（occlusion）が推定できる。シーンにおける表面の特定の点を仮定すると、ビデオシーケンスのフレームにおける対応画像点は、見つけることができ、可視（visible）か、遮蔽されている（occluded）か、又は視野外（out of filed）として分類され得る。したがって、入力ビデオシーケンスのフレームを考慮すれば、各ピクセルの色プロファイルを推定することが可能である（点が視点から可視である限りは）。１つの実施形態において、プロファイルは、視点の組を介してシーンにおける対応する３次元点の色の斬新的変化を説明する３重のカーブ（triple curve）を含む。特定のカーブは、各ピクセルに関して選択され得る。例えば、１つの実施例において、カーブは、「グリーン（green：緑）」カーブ又は色から輝度（luminance）への変換に使用される共通の式の１つに従って場合により重み付けされた３つの色成分の合計に対応する代わりとなるカーブであり得る。フォンの式を使って、プロファイルは、下記式（７）に従って説明され得る。
式（７）において、変数「ｔ」は、画像添え字を参照する。静的なアンビエント（ambient）成分及び拡散反射成分は、パラメータ
（外７）
にグループ化される。鏡面反射成分において、パラメータｋ_ｓ及びαは、位置Ｐに固有であり、時間的に一定である。ベクトル
（外８）
は、位置Ｐ及び光源ｍの両方に固有である。フレーム「ｔ」における３次元位置Ｐの視点ベクトル、
（外９）
のみが、シーケンスに沿って変化し得る。したがって、プロファイルにおける変化は、鏡面反射効果における変化に関連する。３次元位置が視野（view）「ｔ」において観察されない場合、値は「未定（undermined）」となり、処理されない。

参照画像と他の登録した画像のピクセルを介して観察されたシーンの３次元位置の反射率パラメータを推定するために、色／強度プロファイルが分析される。成功するには、シーンの視点が推定に関して利用できるいくつかの情報を十分に提供しなければならない。

各３次元位置に関して、もし色／強度プロファイルが可変であれば、３次元位置は、鏡面反射の表面に属する。一方、プロファイルは、下記の理由のうちの少なくとも１つのために一定であり得る。
・要点は、純粋に拡散反射であること（表面に光沢がある場合にそのような効果を出す光源にもかかわらず鏡面反射効果がないこと）
・要点は、鏡面反射効果を受けない（カメラの軌跡又は光源を遮蔽する物体の存在に沿って鏡面反射効果を作れる光源が無いこと）
・シーケンスすべてに亘る鏡面反射効果（短い軌跡及び広い光源による）
図２は、鏡面反射効果を包含する色／強度プロファイルの図式的な表示である。図２のカーブは、シーンの異なる視点の組の至る所での特定の表面点の３つのＲＧＢ色チャネルの合計の漸進的変化に対応している。横（水平）軸は、フレーム番号（frame number）に対応し、縦（垂直）軸は、３つのＲＧＢ色チャネルの合計に対応している。

本原理の実施形態に従う、可変色／強度プロファイルは、固定色／強度プロファイルから分離される。固定プロファイルから可変プロファイルをより良く分離するために、一連の前処理ステップが遂行される。最初に、各ピクセルに対して強度情報が不足しているフレームの数が決定される。フレーム総数の半分を超えるフレームに対して強度情報が不足している場合は、プロファイル情報は考慮されない。本原理の別の実施形態では、５０％未満以外の他のパーセンテージが使用され得る。残りのプロファイルに対して、カーブを滑らかにし、より利用できる情報を取得するために、１次元ガウシアンフィルタ（1D Gaussian filter）が適用される。その次に、強度プロファイルに関して、最小値（minimum）、最大値（maximum）、平均（mean）、中央値（median）、分散（variance）及び標準偏差（standard deviation）の少なくとも１つを含む一連の統計情報が決定される。

図３は、本原理に従った上述のフィルタをかけた後の図２の色／強度プロファイルの図式的な表示である。図３において説明するように、図２のフィルタ後のプロファイルは、さらに識別可能な情報を有する滑らかなカーブを提供する。図３の情報を使用して、固定プロファイルとして又は可変プロファイルとしてのプロファイルを分類するために閾値が選択される。例えば、本原理の１つの実施形態及び図３のプロファイルを参照して、中央値と平均値の間の差の絶対値が、第１の閾値（例えば、Ｔｈ１＝１０）より大きいか又は標準偏差が別の閾値（例えば、Ｔｈ２＝２８）より大きいと分かる場合、プロファイルが可変のものであると認められる。これらの統計データ間の違いを顕著にする視点の組の間、ピクセルが鏡面反射照明の影響の下にあるという事実を閾値が説明することを考慮すべきである点に注目していただきたい。閾値より低い強度プロファイルは、固定プロファイルと認められる。本原理のいくつかの実施形態において、鏡面反射効果を有する全ての点を選択するように、閾値は選ばれる。それらは、例えば、学習段階（learning stage）又は最初の反復（first iteration）から選ばれる。過度の選択の場合は、誤って選択された点は、反復中に捨てることができる。

図４は、本原理の実施形態に従った可変プロファイルからの固定プロファイルの分離方法のフロー図を示す。図４の方法４００は、Ｎ個の登録されたフレームに関する色／強度プロファイルが導出されるステップ４０２から始まる。上述の通り、本原理の一実施形態において、静的３次元シーンでは、ＲＧＢＤセンサーがシーンをあちこち移動し、それによりシーンはいくつかの視野角の下で観察される。ＲＧＢ及びデプスフレームの組が、センサーの軌跡に沿って取得される。方法４００が、そして、ステップ４０４に進み得る。

ステップ４０４において、色／強度プロファイルが考慮されるべきか否かが決定される。上述の通り、本原理の１つの実施形態において、各ピクセルに関して、強度情報が不足しているフレームの数が決定される。全フレーム数の半分超で強度情報が不足している場合、プロファイル情報は、考慮されない。考慮されないプロファイル情報は、これ以上何もされない。考慮されるべき強度プロファイルに対して、方法４００は、ステップ４０６へ進むことができる。

ステップ４０６において、考慮される色／強度プロファイルの編集物（compilation）にフィルタリング処理が適用される。上述の通り、本原理の１つの実施形態において、カーブを滑らかにするために考慮される色／強度プロファイルの編集物に起因するカーブを滑らかにするために、１次元ガウシアンフィルタが考慮されるべき色／強度プロファイルに適用される。方法４００は、そして、ステップ４０８へ進むことができる。

ステップ４０８において、フィルタされた色／強度プロファイルの統計データが決定される。上述の通り、本原理の一実施形態において、強度プロファイルに関する最小値、最大値、平均、中央値、分散、標準偏差のうちの少なくとも１つを含む一連の統計情報を決定する。方法４００は、次に、ステップ４１０へ進むことができる。

ステップ４１０において、プロファイルを固定プロファイルとして又は可変プロファイルとして分類するために閾値が選択される。上述の通り、本原理の１つの実施形態において、中央値と平均の間の差の絶対値が第１の閾値（例えば、Ｔｈ１＝１０）より大きいと分かった場合、又は標準偏差が別の閾値（例えばＴｈ２＝２８）より大きい場合には、プロファイルは可変のものであると判断される。方法４００は、そして終了する。

可変プロファイルを持つピクセルに関して、光源が希薄である（sparse）と仮定すると、３次元点は、かなりの数の表示（view）において拡散反射のみよって観察される。

シーン解析から及び以前の結果に基づくと、各ピクセルの拡散反射率成分
（外１０）
は、可変のフィルタしたプロファイルの最小値と等しくなる。そのため、拡散反射率に対する色成分の推定は、下記の通り回復される。
そして、下記の式（８）に従って、拡散反射成分推定
（外１１）
から鏡面反射プロファイルを導出する。
光源が希薄であると認められ、点光源としてモデル化されると、たった１つの光源が、同時に鏡面反射効果を作り出す。移動カメラが、その軌跡に沿って所定の３次元点における鏡面反射効果を交差すると、位置のプロファイルがコブ（lobe）になる。しかし、軌跡が長いと、プロファイルは、１つの以上のコブを持ち得る。本原理に従って、コブは、コブの間の最小値で分離される。そして、１つのコブの存在において、プロファイルは、以下の式（９）によって説明される。

未知のパラメータは、光沢度α、光源の「鏡面（mirror）」向き
（外１２）
、及び光強度を統合した鏡面反射率
（外１３）
である。添え字ｍは、光源を特定する。各プロファイルの鏡面反射プロファイルを推定するために、最初にただ１つの光源しかないと仮定すると、鏡面反射パラメータは、下記の式（１０）に従って推定される。
上記式（１０）において、定数
（外１４）
は、強度プロファイルの最大値に等しい。さらに、プロファイルが可能な最大値に達するという保証が無いので、推定は、以下の式（１１）に従った推定プロセスにおいて追って改良される。
ピクセルが、プロファイルカーブの最大にあるとき、「鏡面（mirror）」反射が視点ベクトル、
（外１５）
に対応し、下記の式（１２）に従って決定され得る。
推定のための第３のパラメータは、「光沢度（shininess）」α_pである（簡単のため、式で点Ｐを参照するｐは、省かれている）。このパラメータは、各材料（material）に対して固有で、より滑らかでより鏡のような表面に対してより大きいことが知られている。数学的に言えば、より大きなα_pは、カーブがより細い。本原理の１つの実施形態において、「光沢度」パラメータα_pを推定するために、ネルダー・ミード探索（ＮＭＳ：Nelder Mead Search）が最小化プロセスとして使用される。そのような実施形態では、直接探索法（direct search method）が使用され、その理由は、導関数が未知であり、上述の例では微分（derivation）又は連続性（continuity）が保証されない値の組が存在する非線形最適化問題を扱えるからである。この方法は、シンプレックスの概念を使用し、それは、ｎ次元におけるｎ＋１個の頂点の特定の多面体である。シンプレックスの例は、線における線セグメント、平面における三角形、３次元空間における４面体等を含む。直接サーチ法は、滑らかに変化する目的関数を持つｎ個の変数を有する問題の局所最適の近似である。

本原理の１つの実施形態において、上述の対象の最小化を解く目的関数は、下記の式（１３）に従って表現される。
この式において、フレームｔ、
（外１６）
における点Ｐの観察された鏡面反射の強度と式（１０）のフォンモデルによる強度の間の誤差は、点Ｐの選択された鏡面反射プロファイルに亘って加算される。最小値を持つ目的関数、F_p（α）に関する光沢度パラメータ、α_pは、最良の推定として保存される。

図５は、本原理の一実施形態に従って、上述の通り、拡散反射成分から鏡面反射パラメータを導出する方法のフロー図を示す。図５の方法５００は、ステップ５０２で開始され、その間に鏡面反射光強度が推定される。例えば、上述の通り、本発明の１つの実施形態において、定数
（外１７）
は、強度プロファイルの最大値に等しい。方法５００は、次に、ステップ５０４に進むことができる。

ステップ５０４において、鏡面反射が推定される。これは上述の通りであり、本原理の１つの実施形態において、ピクセルがプロファイルカーブの最大値であるとき、「鏡面」反射（‘mirror’ reflection）が視点ベクトルに対応し、式（１２）に従って決定される。方法５００は、次に、ステップ５０６へ進むことができる。

ステップ５０６において、光沢度パラメータが推定される。これは、上述の通り、本原理の１つの実施形態において、「光沢度」パラメータα_pを推定するために、ネルダー・ミード探索（ＮＭＳ）が最小化プロセスとして使用される。方法５００は、次に終了する。

上述の通りシーンの鏡面反射パラメータを推定すると、光源の向きが推定できる。すなわち、可変プロファイルを持つ各観察された３次元点、Ｐに関する「鏡面」反射ベクトル、
（外１８）
は既知であるため、対応する光の向きは、下記の式（１４）に従って計算することができる。
図６は、点、Ｐの法線及び反射光ベクトルの図形的表現を示す。図６に示され、上述の通り、３次元点、Ｐに関する「鏡面」反射ベクトル、
（外１９）
が既知であるので、対応する光の向きは計算することができる。ずなわち、図６に示されるように、画像ピクセルに対応する３次元点に接続されている法線
（外２０）
は、シーン（例えば、デプスフレーム）の利用可能なジオメトリから計算できる。

本原理の１つの実施形態において、光源の３次元位置を推定するためにネルダー・ミード探索法が下記検討事項と共に使用される。
・ベクトル
（外２１）
は、光源の３次元位置を表現し、
・３次元点Ｐの座標のベクトル
（外２２）
は、光源による鏡面反射に依存し
・各３次元点の光源の向き：
（外２３）

上述の実施形態において、正規化の後、ベクトル
（外２４）
及びベクトル
（外２５）
の間のスカラー積の選択された３次元点に亘る合計を最大化するベクトル
（外２６）
を推定することが目的である。これは、これらのベクトル間の角度の選択された３次元点に亘る合計を最小化することに等しい。本原理の１つの実施形態において、上述の最小化目標を解決する目的関数は、以下の式（１５）に従って表される。
式（１５）において、添え字、Ｎは、ベクトルが正規化されていることを表す。図７は、本原理の実施形態に従って、光源の３次元位置の推定の図的記述を示す。図７に示されるように、光源の３次元位置は、上述の通り、シーンの３点を使用して本原理の実施形態に従って、推定される。

図８は、本原理の実施形態に従ったシーンにおける少なくとも１つの光源の位置を推定する方法のフロー図を示す。方法８００は、ステップ８０２で始まり、その間、シーンにおける複数の位置（location）の強度プロファイルが決定される。例えば、上述の通り、本原理の１つの実施形態において、ＲＧＢＤセンサーがシーンをあちこち移動し、それによって、様々な視野角の下でシーンが観察される。ＲＧＢ及びデプスフレームの組が、センサーの軌跡に沿って取得される。シーンに付随する所定の座標に関連したカメラ位置が各フレームにおいて利用できる。方法８００は、次にステップ８０４へ進む。

ステップ８０４で、固定強度プロファイルは、可変強度プロファイルから分離される。例えば、上述の通り、本原理の１つの実施形態において、強度プロファイルを決定するために使用されるセンサーの各ピクセルに関して、強度情報が掛けているフレームの数が計算され、強度情報が掛けている閾値パーセントを越える強度プロファイルの強度情報は、考慮されない。その次に、残った強度プロファイルにフィルタが適用される。そして、少なくとも最小の強度値、最大の強度値、平均強度値、中央強度値、強度プロファイルの分散、強度プロファイルの標準偏差が決定され、強度プロファイルが可変プロファイル又は固定プロファイルであるか決定するために、少なくとも１つの強度プロファイルの決定された強度値に閾値が適用される。方法８００は、次にステップ８０６に進む。

ステップ８０６で、拡散反射成分が可変強度プロファイルを使用して決定される。例えば、上述の通り、本原理の１つの実施形態において、拡散反射成分がそれぞれの可変強度プロファイルの最小強度値に等しいと考えられ、いくつかの実施形態において、拡散反射成分は、可変強度プロファイルの各色成分に関して推定される。方法８００は、次にステップ８０８に進む。

ステップ８０８で、鏡面反射パラメータが拡散反射成分を使用して導出される。例えば、上述の通り、本原理の１つの実施形態において、鏡面反射光強度、鏡面反射ベクトル、及び光沢度成分のような鏡面反射パラメータは、光源の光向きベクトルの推定に関して導出される。方法８００は、次にステップ８１０へ進む。

ステップ８１０において、光向きベクトルは、導出された鏡面反射パラメータから決定できる。方法８００は、ステップ８１２へ進むことができる。

ステップ８１２で、少なくとも１つの光源の位置が、少なくとも決定された光向きベクトルを使用して推定される。例えば、上述の通り、本原理の１つの一実施形態において、光源の３次元位置が図７で上述のようにシーンにおける３つの点を使用して推定される。

方法８００は、次に終了し得る。

任意選択として、本原理のいくつかの実施形態に従って、上記の決定された推定を改良することができる。具体的には、本原理の１つの実施形態において、このオプションは、可変プロファイルを有する各ピクセルＰに関する要素
（外２７）
、光源の色
（外２８）
及びこれらのピクセルＰの鏡面反射率
（外２９）
の推定の改善につながる。すなわち、上述の通り、本原理のいくつかの実施形態において、光源３次元位置の推定は、最大強度値がプロファイルにおいて利用可能であるという仮定に基づいている。しかしながら、シーケンス獲得の間、プロファイルがその最大値に達するという補償はないので、改善ステップは、本原理の実施形態に従って、パラメータの推定を改善するために実施され得る。さらに具体的に言うと、カメラの座標システムにおける各点の位置及び光源位置の推定は、既知であるので、光向きベクトル
（外３０）
は、更新することができ、その結果として、各位置、Ｐの「鏡面」反射ベクトル、
（外３１）
は、以下の式（１６）及び式（１７）に従って、改善され得る。
上述の式（１６）及び式（１７）において、ベクトル
（外３２）
は、
（外３３）
として記載され、添え字Ｐは、特定の点、Ｐを参照するということに注意されたい。

フォンの反射モデルを使用して、
（外３４）
は、以下の式（１８）に従って導出することができる。

上記式（１８）において、
（外３５）
は、位置Ｐの鏡面反射プロファイルにおける選択された観察の数である。観察は、閾値を超える
（外３６）
の値を持つもののみを選択することにより限定することができ、それにより、２つのベクトル間の角度が閾値より小さくなる。本原理の１つの実施形態によれば、
（外３７）
に関する閾値は、コサイン３０度になる。さらに、前提条件は、また、
（外３８）
がゼロではないことである。そして、本原理の１つの実施形態において、０．１に設定された第２の閾値は、観察の選択に導入される。

本原理に従って、鏡面反射の反射率定数
（外３９）
は、
（外４０）
から導き出される。すなわち、同じ光源に対応するフィルタされた可変プロファイルの組を使用して、各３次元点、Ｐに影響を与える鏡面反射光源の色ベクトル、
（外４１）
を決定することができる。さらに具体的には、鏡面反射光源の色ベクトル、
（外４２）
は、最大強度及び最小強度に対応するベクトル間の差に等しい。平均色ベクトル
（外４３）
は、鏡面反射色ベクトル
（外４４）
の組から導き出せる。後者の組は、ベクトル、
（外４５）
（最大強度に対応する）に対応するこれらのベクトルに制限され、
（外４６）
は、飽和成分を持たないので（すなわち、全ての色成分が２５５未満）、この最大値は、ゼロの第１微分係数を持つ。

続いて、強度、
（外４７）
は、３色成分の合計として、１つの実施形態において、光源色ベクトル、
（外４８）
から導き出すことができ、鏡面反射率は、以下の式（１９）に従って、各点、Ｐに関して導き出すことができる。
上述の通り、要素
（外４９）
の値は、式（１８）で上述のフォンの反射率モデルの式を使用して計算される。図９は、本原理の実施形態に従った上述の改良プロセスに従った光源色及び鏡面反射率パラメータを推定する方法のフロー図を示す。方法９００は、ステップ９０２で始まり、その間、カメラの座標系における各点の位置及び光源位置の推定は既知であるので、光向きベクトル
（外５０）
は更新される。方法９００は、次にステップ９０４に進み得る。ステップ９０４において、各位置、Ｐに対する「鏡面」反射ベクトル、
（外５１）
の値は、改善される。例えば、本原理の１つの実施形態において、上述の通り、鏡面反射ベクトルは、式（１６）及び式（１７）に従って改善される。方法９００は、次に、ステップ９０６へ進み得る。ステップ９０６において、鏡面反射光強度は導出される。例えば、本原理の１つの実施形態において、上述の通り、鏡面反射光強度は、フォンの鏡面反射モデル及び式（１８）の使用に従って導き出される。方法９００は、次にステップ９０８へ進み得る。ステップ９０８において、各３次元点、Ｐに影響を与える鏡面反射光源の色ベクトル、
（外５２）
が決定される。例えば、本原理の１つの実施形態において、上述の取り、鏡面反射光源の色ベクトル、
（外５３）
は、最大及び最小の強度に対応するベクトル間の差に等しい。方法９００は、次にステップ９１０に進み得る。ステップ９１０において、鏡面反射率が導出される。例えば、本原理の１つの実施形態において、上述の通り、鏡面反射率は、式（１９）に従って、各点、Ｐに関して導出される。方法９００は、次に終了し得る。

図１０は、本原理の実施形態に従って、ＲＧＢＤシーケンスを使用したシーンにおける少なくとも１つの光源の反射率パラメータ及び位置を推定する装置の高レベルブロック図を示す。図１０の装置は、プロセッサ１０１０、及び制御プログラム、命令、ソフトウェア、ビデオコンテンツ、データ等を保存するためのメモリ１０２０を備える。プロセッサ１０１０は、電源、クロック回路、キャッシュメモリ等及びメモリ１０２０に保存されたソフトウェアルーチンの実行をアシストする回路のような従来のサポート回路１０３０と連携する。そのようなものとして、ソフトウェア処理としてここで検討された処理ステップのいくつかは、例えば、幾つかのステップを実行するプロセッサ１０１０と連携する回路として、ハードウェアの中に実装され得る。図１０の装置は、装置と通信する幾つかの個別の機能構成要素間のインタフェースを形成する入力・出力回路１０４０も含む。図１０の装置は、本原理に従った幾つかの制御機能を実行するようにプログラムされた汎用コンピュータとして示されているが、本発明は、例えば特定用途向け集積回路（ＡＳＩＣ）としてハードウェア中に実装されても良い。そのようなものとして、ここに説明された処理ステップは、ソフトウェア、ハードウェア又はその組み合わせとして均等に実行されると広く解釈されることを意図している。（説明に役に立ち、制限する意図ではなく）ＲＧＢＤシーケンスを使用したシーンにおける少なくとも１つの光源の反射率パラメータ及び位置を推定する方法、装置、及びシステムの幾つかの実施形態を説明してきたが、修正及び変形は、上述の教示を踏まえて当業者によってなし得ることに留意されたい。したがって、変更は、発明の範囲内で開示された発明の特定の実施形態において可能である。上述は、本原理の幾つかの実施形態を対象にしているが、他の及びさらなる発明の実施形態が、それについての基本的な範囲から逸脱することなく考案され得る。

Claims (15)

1. シーンにおいて少なくとも１つの光源の反射率パラメータ及び位置を推定する方法であって、前記方法は、
   前記シーンにおける複数の位置に関する強度プロファイルを決定し、
   可変強度プロファイルを使用して拡散反射率成分を推定し、
   前記拡散反射率成分から導出した鏡面反射パラメータから光源の向きを決定し、
   少なくとも１つの決定された光源の向きを使用して前記少なくとも１つの光源の位置を推定する、方法。
2. 前記方法が、さらに可変強度プロファイルから固定強度プロファイルを分離することを含み、
   前記分離することが、
   前記強度プロファイルの少なくとも１つに関して、少なくとも最小強度値、最大強度値、平均強度値、中間強度値、前記強度プロファイルの分散、及び前記強度プロファイルの標準偏差を決定し、
   少なくとも１つの強度プロファイルの前記決定された強度値に閾値を適用することにより、強度プロファイルが可変プロファイルか又は固定プロファイルかを決定することを含む、請求項１に記載の方法。
3. 前記閾値を適用することが、
   強度プロファイルの中央強度値及び平均強度値の間の差の絶対値が閾値より大きいか判定し、
   もし前記差の前記値が前記閾値より大きい場合、前記強度プロファイルは可変強度プロファイルと見なす、
   請求項２に記載の方法。
4. 前記閾値を適用することが、
   強度プロファイルの標準偏差が閾値より大きいか判定し、
   前記標準偏差の前記値が、前記閾値より大きい場合、前記強度プロファイルは可変強度プロファイルと見なす、
   請求項２に記載の方法。
5. 前記拡散反射率成分は、可変強度プロファイルのそれぞれの前記最小強度値に等しい、請求項１に記載の方法。
6. 前記拡散反射率成分は、前記可変強度プロファイルの各色成分に関して推定される、請求項５に記載の方法。
7. 前記鏡面反射パラメータは、鏡面反射光強度、鏡面反射ベクトル及び光沢度成分のうちの少なくとも１つを含む、請求項１に記載の方法。
8. 前記鏡面反射光強度を導出するために、強度プロファイルのそれぞれの最大強度値が使用される、請求項７に記載の方法。
9. 前記鏡面反射ベクトルは、最大鏡面反射光強度値を使用して導出され、且つ視点ベクトルと等しいと見なされる、請求項８に記載の方法。
10. 前記光沢度成分は、最小化関数を既知の鏡面反射光強度及び鏡面反射値に適用し、
    前記光沢度成分の最良の推定として最小値を持つ前記関数の結果を使用して導出される、請求項７に記載の方法。
11. 前記光源の向きが、鏡面反射ベクトル及び法線ベクトルを使用して決定される、請求項１に記載の方法。
12. 前記光源の前記位置が、ベクトル
    （外５４）
    間の角度の選択された３次元点に亘る前記合計を最小化することによって推定される、請求項１に記載の方法。
13. 前記鏡面反射パラメータ及び前記光源の向きを更新し、色ベクトル及び鏡面反射率パラメータを決定することを含む、請求項１に記載の方法。
14. シーンにおける少なくとも１つの光源の反射率パラメータ及び位置を推定する装置であって、前記装置は、
    制御プログラム、命令、コンテンツ及びデータを保存するように適応されたメモリと、
    前記制御プログラム及び前記命令を実行するように適応されたプロセッサであって、前記プロセッサは前記制御プログラムを実行すると、前記装置に、
    前記シーンにおける複数の位置に関する強度プロファイルを決定させ、
    前記可変強度プロファイルを使用して、拡散反射率成分を推定させ、
    前記拡散反射率成分から導出された鏡面反射パラメータから光源の向きを決定させ、
    少なくとも１つの決定された光源の向きにを使用して前記少なくとも1つの光源の位置を推定させる、装置。
15. 前記光源の向きが鏡面反射ベクトル及び法線ベクトルを使用して決定される、請求項１４に記載の装置。