JP2013253946A - 光源分布推定装置、光源分布推定方法及び光源分布推定プログラム - Google Patents

Abstract

【課題】光源分布推定について物体の準備やシーン中の物体の反射特性の測定などの事前手続きによる障壁を低くすることができる光源分布推定装置を提供する。
【解決手段】球体をシーンに配置して撮影したカラー画像を入力する手段と、入力した画像から球体の領域画像を抽出する手段と、得られた球体の領域画像をグレイスケールの球体の領域画像に変換する手段と、得られたグレイスケールの球体の領域画像から、グレイスケール光源分布情報を求める手段と、得られた球体の領域画像と、グレイスケールの球体の領域画像と、グレイスケール光源分布情報とから、光源色情報を求める手段と、得られたグレイスケール光源分布情報と、光源色情報とから、ＲＧＢ成分を持つ光源分布情報を求める手段とを備える。
【選択図】図１

Description

本発明は、画像から光源分布推定を行う光源分布推定装置、光源分布推定方法及び光源分布推定プログラムに関する。

従来からシーンの光源分布を推定する方法には、全周囲カメラや金属球を用いて光源そのものを撮影する方法、拡散反射面からなる白色球を撮影し、その陰影から光源分布を推定する方法、物体から落とされる影の方向やその濃さによって光源分布を推定する方法が存在する。

全周囲カメラを用いる方法では、全周囲の画像に光源が撮影されているという前提のもと、その光源の画像中での位置、画素値から光源の方向、色、強度を推定する（例えば、非特許文献１、２参照）。金属球を用いる方法は全周囲カメラを用いる方法と同様の考え方から実現されており、金属球に映りこんだ外界のシーンに光源があるという前提のもと、その光源の位置と画素値から、金属球周囲の光源の方向、色、強度を推定する（例えば、非特許文献３参照）。拡散反射面からなる白色球を利用する方法では、球の陰影をもとに、球の周囲の光源の色、強度、方向を推定する（例えば、非特許文献４参照）。物体から落とされる影を利用する方法では、形状既知の物体が反射特性既知の平面に落とす影の方向や影の濃さから、光源分布を推定する（例えば、非特許文献５参照）。

Imari Sato, Yoichi Sato, and Katsushi Ikeuchi, Acquiring a radiance distribution to superimpose virtual objects onto a real scene, IEEE Transactions on Visualization and Computer Graphics, Volume 5, Issue 1, pages 1-12,1999. 佐藤いまり，林田守広，甲斐郁代，佐藤洋一，池内克史，実光環境下での画像生成 ： 基礎画像の線形和による高速レンダリング手法， 電子情報通信学会論文誌． Ｄ−ＩＩ，情報・システム，ＩＩ−パターン処理 Ｊ８４−Ｄ−ＩＩ（８），ｐａｇｅｓ １８６４−１８７２，２００１． Kusuma Agusanto, Li Li, Zhu Chuangui, and Ng Wan Sing, Photorealistic rendering for augmented reality using environment illumination, Proceedings of the Second IEEE and ACM International Symposium on Mixed and AugmentedReality (ISMAR), pages 208-216, 2003. Miika Aittala, Inverse lighting and photorealistic rendering for augmented reality, The Visual Computer, Volume 26, Issue 6, pages 669-678,2010. 佐藤いまり，佐藤洋一，池内克史，物体の陰影に基づく光源環境の推定，情報処理学会誌：コンピュータビジョンとイメージメディア，Ｖｏｌｕｍｅ ４１，Ｎｕｍｂｅｒ ＳＩＧ １０（ＣＶＩＭ １），ｐａｇｅｓ ３１−４０，２０００．

しかしながら、従来の光源分布推定手法においては、以下のような問題がある。全周囲カメラを用いる場合には、光源分布推定のために専用の機器を用いる必要がある。ここで用いる全周囲カメラは現状、汎用的な機器ではないため、この手法で光源分布推定を利用する人々や場面が限られる。また、金属球や拡散反射面からなる白色球などを用いる場合には、光源分布推定を行う際にそれらの物体を準備しなければならないという問題がある。また、物体が平面に落とす影を利用する方法では、物体が影を落とす平面の反射特性が既知でなければならないという問題がある。

すなわち、従来の光源分布推定手法では、特殊な物体が必要であるもしくは、シーン中の平面について事前に反射特性の測定を行う必要があり、適用場面が限定されてしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、光源分布推定について物体の準備やシーン中の物体の反射特性の測定などの事前手続きによる障壁を低くすることができる光源分布推定装置、光源分布推定方法及び光源分布推定プログラムを提供することを目的とする。

本発明は、球体をシーンに配置して撮影したカラー画像を入力する画像入力手段と、前記画像入力手段により入力した前記画像から前記球体の領域画像を抽出する球体領域抽出手段と、前記球体領域抽出手段により得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換手段と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算手段と、前記球体領域抽出手段により得られた前記球体の領域画像と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報とから、光源色情報を求める光源色計算手段と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報と、前記光源色計算手段により得られた前記光源色情報とから、ＲＧＢ成分を持つ光源分布情報を求めるＲＧＢ光源分布計算手段とを備えることを特徴とする。

本発明は、球体をシーンに配置して撮影したカラー画像を入力する画像入力手段と、前記画像入力手段により入力した前記画像から前記球体の領域画像を抽出する球体領域抽出手段と、前記球体領域抽出手段により得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換手段と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算手段と、前記球体領域抽出手段により得られた前記球体の領域画像と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報とから、光源色情報を求める光源色計算手段と、前記球体領域抽出手段により得られた前記球体の領域画像と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報と、前記光源色計算手段により得られた前記光源色情報とから、前記球体表面の拡散反射率を求める拡散反射率計算手段と、前記球体領域抽出手段により得られた前記球体の領域画像と、前記拡散反射率計算手段により得られた前記拡散反射率とから、ＲＧＢ光源分布情報を求めるＲＧＢ光源分布計算手段とを備えることを特徴とする。

本発明は、球体をシーンに配置して撮影したカラー画像を入力する画像入力手段と、前記画像入力手段により入力した前記画像から前記球体の領域画像を抽出する球体領域抽出手段と、前記球体領域抽出手段により得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換手段と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算手段と、前記球体領域抽出手段により得られた前記球体の領域画像と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報とから、鏡面反射領域画像と拡散反射領域画像とを生成する鏡面反射・拡散反射分離手段とを備えることを特徴とする。

本発明は、前記グレイスケール光源分布計算手段により得られたグレイスケール光源分布情報を用いて正則化グレイスケール光源分布情報を求める正則化グレイスケール光源分布計算手段をさらに備えることを特徴とする。

本発明は、球体をシーンに配置して撮影したカラー画像を入力する画像入力ステップと、前記画像入力ステップにより入力した前記画像から前記球体の領域画像を抽出する球体領域抽出ステップと、前記球体領域抽出ステップにより得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換ステップと、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算ステップと、前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報とから、光源色情報を求める光源色計算ステップと、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報と、前記光源色計算ステップにより得られた前記光源色情報とから、ＲＧＢ成分を持つ光源分布情報を求めるＲＧＢ光源分布計算ステップとを備えることを特徴とする。

本発明は、球体をシーンに配置して撮影したカラー画像を入力する画像入力ステップと、前記画像入力ステップにより入力した前記画像から前記球体の領域画像を抽出する球体領域抽出ステップと、前記球体領域抽出ステップにより得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換ステップと、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算ステップと、前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報とから、光源色情報を求める光源色計算ステップと、前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報と、前記光源色計算ステップにより得られた前記光源色情報とから、前記球体表面の拡散反射率を求める拡散反射率計算ステップと、前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記拡散反射率計算ステップにより得られた前記拡散反射率とから、ＲＧＢ光源分布情報を求めるＲＧＢ光源分布計算ステップとを備えることを特徴とする。

本発明は、球体をシーンに配置して撮影したカラー画像を入力する画像入力ステップと、前記画像入力ステップにより入力した前記画像から前記球体の領域画像を抽出する球体領域抽出ステップと、前記球体領域抽出ステップにより得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換ステップと、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算ステップと、前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報とから、鏡面反射領域画像と拡散反射領域画像とを生成する鏡面反射・拡散反射分離ステップとを備えることを特徴とする。

本発明は、前記グレイスケール光源分布計算ステップにより得られたグレイスケール光源分布情報を用いて正則化グレイスケール光源分布情報を求める正則化グレイスケール光源分布計算ステップをさらに有することを特徴とする。

本発明は、コンピュータを、前記光源分布推定装置として機能させるための光源分布推定プログラムである。

本発明によれば、従来、必須であった光源分布推定における物体や機器の準備やシーン中の物体について反射特性を測定するなどの事前手続きによる障壁を低くすることができる。これによって光源分布推定が可能となる場面や機会が増加するという効果が得られる。また推定された光源分布は例えばＣＧモデル（コンピュータグラフィックスモデル）の実シーンへの合成に利用することができる。ＣＧの陰影にシーンから推定された光源分布を適用することによってＣＧモデルが実際のシーンにある光源の影響を受けているかのように表現することが可能になるという効果が得られる。

本発明の第１の実施形態の構成を示すブロック図である。 図１に示す装置の処理動作と各処理における入出力を示す図である。 本発明の第２の実施形態の構成を示すブロック図である。 図３に示す装置の処理動作と各処理における入出力を示す図である。 本発明の第３の実施形態の構成を示すブロック図である。 図５に示す装置の処理動作と各処理における入出力を示す図である。 カラー球体画像をグレイスケールに変換したグレイスケール球体画像を示す図である。 球面調和基底関数の例を示す図である。 球面調和基底関数の和で表現したグレイスケール光源分布を示す図である。 グレイスケール球体画像の一例を示す図である。 図１０のグレイスケール球体画像を入力として、（４）式により導出したグレイスケール光源分布を示す図である。 図１０のグレイスケール球体画像を入力として、（５）式により導出したグレイスケール光源分布を示す図である。 球体画像中で光源からの光を鏡面反射している面を示す図である。 球体画像中での拡散反射面を示す図である。 第３の実施形態において、鏡面反射・拡散反射領域分離に用いる球体画像を示す図である。 第３の実施形態において、球体画像から鏡面反射領域を抽出した結果を示す図である。 第３の実施形態において、球体画像から拡散反射領域を抽出した結果を示す図である。

以下、図面を参照して、本発明の実施形態による光源分布推定装置を説明する。まず、本発明の概要について説明する。映像制作や拡張現実の用途でＣＧモデル（コンピュータグラフィックスモデル）を実シーンに合成して表示する際に、そのままＣＧモデルをシーンに重ねて表示したのではＣＧモデルが画像の中で浮いてしまう。ＣＧモデルがシーンに実際に存在するような画像を生成するためには、シーンの光源によって生じたかのような陰影や色味を、ＣＧに適用して合成する必要があり、その際にシーンにおける光源分布の情報が必要となる。本発明は、対象シーン中に単色の球体を配置して撮影した画像から光源分布を推定するものである。

＜第１の実施形態＞
図１は第１の実施形態の構成を示すブロック図である。同図に示すように、光源分布推定装置は、コンピュータ装置によって構成し、画像入力部１と、データ蓄積部２と、球体領域抽出部３と、グレイスケール変換部４と、グレイスケール光源分布計算部５と、光源色計算部６と、ＲＧＢ光源分布計算部７を備えている。

次に、図２を参照して、図１に示す光源分布推定装置の処理動作を説明する。まず、画像入力部１は単色の球体をシーンに配置して撮影したカラー画像を入力として受け取り、それを入力画像としてデータ蓄積部２に書き込む。データ蓄積部２は各機能部から読み取り、書き込みが可能な記憶装置である。

次に、球体領域抽出部３はデータ蓄積部２に格納されている入力画像から球体の領域を抽出し、球体領域の画像をカラー球体画像としてデータ蓄積部２に書き込む（ステップＳ１）。例えばハフ変換による円検出や手動の領域選択などの方法によって球体領域を抽出する手法があり、ここでの球体領域抽出はどのような手法によって実現されても構わない。

次に、グレイスケール変換部４は、データ蓄積部２に格納されているカラー球体画像を読み取り、グレイスケールに変換し、それをグレイスケール球体画像としてデータ蓄積部２に書き込む（ステップＳ２）。ここでは画素値を球体の法線方向ｎ＝（ｎｘ，ｎｙ，ｎｚ）の関数とし、カラー球体画像のＲＧＢ画素値を（Ｉｒ（ｎ），Ｉｇ（ｎ），Ｉｂ（ｎ））と表す。このとき、グレイスケール画像の画素値Ｉ（ｎ）は（１）式によって求められる。
Ｉ（ｎ）＝０．２９９・Ｉｒ（ｎ）＋０．５８７・Ｉｇ（ｎ）＋０．１１４・Ｉｂ（ｎ）・・・（１）

なお、座標系としては３次元直交座標系を用いている。得られたグレイスケール球体画像を図７に示す。このグレイスケール球体画像をデータ蓄積部２に書き込む。

次に、グレイスケール光源分布計算部５は、データ蓄積部２に格納されているグレイスケール球体画像に対して、グレイスケールの光源分布を求め、それをグレイスケール光源分布としてデータ蓄積部２に書き込む（ステップＳ３）。光源分布の表現には、球面調和基底関数を用いる。球面調和基底関数は球体の表面の法線方向ｎについての関数であり、光源分布は球面調和基底関数の和として（２）式のように表現することができる。

ここでｉ（ｎ）は光源分布であり、Ｌｋ（ｋ＝１．．．Ｎ）は球面調和基底関数の係数、ｈｋ（ｎ）（ｋ＝１．．．Ｎ）は球面調和基底関数である。Ｎは任意の正の整数を取ることができるが、現実の照明環境下に適用できる表現能力を有し、かつ光源分布の導出の際に鏡面反射による影響を小さくすることができるように、Ｎ＝９程度とするのが良い。
（３）式はＮ＝９の場合の球面調和基底関数の一例であり、（３）式の球面調和基底関数を図８に示す。
ｈ１（ｎ）＝０．２８２０９５
ｈ２（ｎ）＝０．４８８６０３×ｎｙ
ｈ３（ｎ）＝０．４８８６０３×ｎｚ
ｈ４（ｎ）＝０．４８８６０３×ｎｘ
ｈ５（ｎ）＝１．０９２５４８×ｎｘ×ｎｙ
ｈ６（ｎ）＝１．０９２５４８×ｎｙ×ｎｚ
ｈ７（ｎ）＝０．３１５３９２×（３×ｎｚ^２−１）
ｈ８（ｎ）＝１．０９２５４８×ｎｘ×ｎｚ
ｈ９（ｎ）＝０．５４６２７４×（ｘ^２−ｙ^２） ・・・（３）

上記ｉ（ｎ）とＩ（ｎ）との２乗誤差和を最小化するような係数Ｌｋ（ｋ＝１…Ｎ）を求めることにより、対象シーンの光源分布を求める。具体的には、Ｍ個のサンプル点について、（４）式にしたがってＬｋ（ｋ＝１…Ｎ）を定める。

得られたｉ（ｎ）はグレイスケール画像であり、この画像をデータ蓄積部２に書き込む。以上によって求めたｉ（ｎ）、すなわち球面調和基底関数の和で表現したグレイスケール光源分布を図９に示す。

なお、球面調和基底関数の数をＮ＝９とする場合には、（５）式に従ってＬｋを定めてもよい。
（５）式は、（４）式に球面調和関数の係数の比についての正則化項を加えたものであり、球面調和基底関数の係数の比に制約を加えるものである。（５）式において、λ１、λ２は任意の定数であり，制約の強さを定める。ここで、ａ_１、ａ_２ は、拡散反射表面の球面上における光源分布を表現するために、球面調和関数の係数の絶対値を制御する定数であり、例えばａ_１＝４／３、ａ_２＝５／１６のように設定する。なお、（５）式はニュートン法などの反復法によって解くことができるが、その際のＬｋ（ｋ＝１．．．９）の初期値を（４）式の解としてもよい。

図１０のグレイスケール球体画像を入力とし、（４）式により導出したグレイスケール光源分布を図１１に、（５）式より導出したグレイスケール光源分布を図１２に示す。なお球の画像は８ｂｉｔ階調画像であり、（５）式の解の算出は、λ_１＝０．０００１、λ_２＝０．０００１、ａ_１＝４／３、ａ_２＝５／１６とし、初期値として（４）式の解を与え、ニュートン法により行った。図１１と図１２の最大の違いは、図１１では球の下部境界付近に明線が見られるが、図１２ではそのような明線が見られないことである。図１１のように境界付近が特に明るくなることは光源分布としては不自然であり、このような不自然な効果を低減するのに、（５）式で導入した正則化が機能する。

ただし、（４）式により導出した光源分布に図１１で示したような明線は常に生じるものではない。また、（５）式では反復法によって解を求める必要があるため、（４）式の導出よりも計算時間がかかる。よって、計算時間に敏感な問題を扱う際には（４）式によって導出したグレイスケール光源分布を用いる方が適している場合もある。

次に、光源色計算部６は、データ蓄積部２に格納されている、カラー球体画像とグレイスケール球体画像とグレイスケール光源分布を読み取り、それらにより対象シーンの光源の色を求め、それを光源色としてデータ蓄積部２に書き込む（ステップＳ４）。光源色の導出は（６）式によって行う。

ここでｔｈｒｅｓｈｏｌｄ１、ｔｈｒｅｓｈｏｌｄ２は定数であり、閾値として用いている。また、光源色を（ＩＲ，ＩＧ，ＩＢ）、カラー球体画像のＲＧＢ画素値を（Ｉｒ（ｎ），Ｉｇ（ｎ），Ｉｂ（ｎ））としている。ｗｈｅｒｅ以降は平均値（（６）式中のａｖｅｒａｇｅ）と最大値（（６）式中のｍａｘ）を求める範囲を定めており、ｗｈｅｒｅ以降の条件にあてはまるｎを法線方向とする面は球体画像中で光源からの光を鏡面反射している面となる。（６）式におけるｗｈｅｒｅ以降の条件を満たす、球体画像中で光源からの光を鏡面反射している面を図１３に示す。

（６）式においては鏡面反射面が光源色となるという性質を利用しており、また光源色の輝度をカラー球体画像の最大輝度とする補正をしている。なお、ｗｈｅｒｅ以降については、９個程度の少数の球面調和基底関数によって光源分布を表現すると、参照画像上の高周波な成分による影響を受けにくく、また鏡面反射は拡散反射と比較して画像上で高周波な成分となるという性質を利用している。以上によって求めた（ＩＲ，ＩＧ，ＩＢ）をデータ蓄積部２に書き込む。

次に、ＲＧＢ光源分布計算部７は、データ蓄積部２に格納されているグレイスケール光源分布と光源色を読み取り、ＲＧＢ成分を持つ光源分布を求め、それをＲＧＢ光源分布としてデータ蓄積部２に書き込む。ＲＧＢ光源分布の導出は（７）式によって行う。

以上の処理によって求めたＲＧＢ光源分布ｉ（ｎ）はＲＧＢ成分を持つ画像であり、この画像をデータ蓄積部２に書き込む。

＜第２の実施形態＞
次に、本発明の第２の実施形態による光源分布推定装置を説明する。図３は、第２の実施形態の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、拡張反射率計算部８が新たに設けられている点である。

次に、図４を参照して、図３に示す装置の処理動作を説明する。図４において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。この図に示す動作が図２に示す動作と異なる点は、拡張反射率計算部ステップが新たに動作する点である。

拡散反射率計算部８は、データ蓄積部２格納されている、カラー球体画像とグレイスケール球体画像とグレイスケール光源分布と光源色を読み取り、ＲＧＢ各成分について球体表面の拡散反射率を求め、これを拡散反射率としてデータ蓄積部２書き込む（ステップＳ６）。球体表面の拡散反射率の導出は（８）式にしたがって行う。

ここでｔｈｒｅｓｈｏｌｄ３は定数であり、閾値として用いている。また、（ρｒ，ρｇ，ρｂ）はそれぞれ球体表面の（Ｒ，Ｇ，Ｂ）成分についての拡散反射率である。ｗｈｅｒｅ以降はサンプリングに関する条件であり、ｗｈｅｒｅ以降の条件にあてはまるｎを法線方向とする面は球体画像中で拡散反射面となる。ｗｈｅｒｅ以降の条件を満たさない点は（８）式の２乗誤差和を計算する際のサンプル点として用いない。（８）式におけるｗｈｅｒｅ以降の条件を満たす、球体画像中での拡散反射面を図１４に示す。

（８）式のｗｈｅｒｅ以降の拡散反射面の判定においては、９個程度の少数の球面調和基底関数によって光源分布を表現すると、参照画像上の高周波な成分による影響を受けにくく、また鏡面反射は拡散反射と比較して画像上で高周波な成分となるという性質を利用している。以上の処理動作で求めた（ρｒ，ρｇ，ρｂ）をデータ格納部２書き込む。

次に、ＲＧＢ光源分布計算部７は、データ蓄積部２に格納されている、カラー球体画像と拡散反射率を読み取り、ＲＧＢ光源分布を求め、そのＲＧＢ光源分布をデータ蓄積部２に書き込む（ステップＳ５）。ＲＧＢ光源分布の計算には、ＲＧＢ各成分について球面調和基底関数の係数ＬＲｋ（ｋ＝１．．．Ｎ），ＬＧｋ（ｋ＝１．．．Ｎ），ＬＢｋ（ｋ＝１．．．Ｎ）を（９）式に従い、Ｍ個のサンプリング点についてカラー球体画像との２乗誤差を最小化するように定める。

（９）式によって求めた係数ＬＲｋ（ｋ＝１．．．Ｎ），ＬＧｋ（ｋ＝１．．．Ｎ），ＬＢｋ（ｋ＝１．．．Ｎ）から、ＲＧＢ光源分布ｉ（ｎ）を（１０）式によって求める。以上の処理動作によって求めたＲＧＢ光源分布ｉ（ｎ）はＲＧＢ成分を持つ画像であり、この画像をデータ蓄積部２に書き込む。

＜第３の実施形態＞
次に、本発明の第３の実施形態による光源分布推定装置を説明する。図５は、第３の実施形態の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、光源色計算部６、ＲＧＢ光源分布計算部７に代えて、鏡面反射・拡散反射分離部９が設けられている点である。

次に、図６を参照して、図５に示す装置の処理動作を説明する。図６において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。この図に示す動作が図２に示す動作と異なる点は、光源色計算部ステップ、ＲＧＢ光源分布計算ステップに代えて、鏡面反射・拡散反射分離ステップが動作する点である。

鏡面反射・拡散反射分離部９は、データ蓄積部２に格納されている、カラー球体画像とグレイスケール球体画像とグレイスケール光源分布を読み取り、カラー球体画像を鏡面反射領域画像と拡散反射領域画像に分離し、これらの画像をデータ蓄積部２に書き込む（ステップＳ７）。具体的には、法線方向がｎの点が鏡面反射領域に属するか拡散反射領域に属するかを示す関数として（１１）式のＳＰＤＦ（ｎ）を考える。

ここでｔｈｒｅｓｈｏｌｄ４は定数であり、閾値として用いている。また、ここでは９個程度の少数の球面調和基底関数によって光源分布を表現すると、参照画像上の高周波な成分による影響を受けにくく、また鏡面反射は拡散反射と比較して画像上で高周波な成分となるという性質を利用している。

ＳＰＤＦ（ｎ）＝１となるｎを法線方向とする面は鏡面反射領域に含まれ、ＳＰＤＦ（ｎ）＝０となるｎを法線方向とする面は拡散反射領域に含まれる。カラー球体画像中で、ＳＰＤＦ（ｎ）＝１となる領域のみの画素を取り出した画像を鏡面反射領域画像とし、ＳＰＤＦ（ｎ）＝０となる領域のみの画素を取り出した画像を拡散反射領域画像とし、これらの鏡面反射領域画像と拡散反射領域画像をデータ蓄積部２に書き込む。

図１５、図１６、図１７に鏡面反射・拡散反射分離の一例を示す。図１５は鏡面反射・拡散反射分離に用いる球体画像であり、図１５の球体画像から、鏡面反射領域を抽出した結果を示す図を図１６に、拡散反射領域を抽出した結果を示す図を図１７に示す。

以上説明したように、従来手法で用いる物体よりも入手が容易な物体を利用することにより光源推定を可能とするために、単色の球体をシーンに配置し撮影することで、光源分布推定を可能とした。また、本手法では従来の影を利用する手法とは異なり、シーン中の物体について事前に反射特性を測定する必要はない。また、本手法で用いる球体は金属のような鏡面からなるものでなければ、単色であればどのような色であってもよく、表面が拡散反射と鏡面反射をするという性質を有していればよい。これにより、手近にある球形の物体を用いることで光源分布推定を行うことが可能となり、光源分布推定を行うことができる場面や機会が増加する。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより光源分布推定処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

光源分布推定について物体の準備やシーン中の物体の反射特性の測定などの事前手続きによる障壁を低くすることが不可欠な用途に適用できる。

１・・・画像入力部、２・・・データ蓄積部、３・・・球体領域抽出部、４・・・グレイスケール変換部、５・・・グレイスケール光源分布計算部、６・・・光源色計算部、７・・・ＲＧＢ光源分布計算部、８・・・拡散反射率計算部、９・・・鏡面反射・拡散反射分離部

Claims (9)

1. 球体をシーンに配置して撮影したカラー画像を入力する画像入力手段と、
   前記画像入力手段により入力した前記画像から前記球体の領域画像を抽出する球体領域抽出手段と、
   前記球体領域抽出手段により得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換手段と、
   前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算手段と、
   前記球体領域抽出手段により得られた前記球体の領域画像と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報とから、光源色情報を求める光源色計算手段と、
   前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報と、前記光源色計算手段により得られた前記光源色情報とから、ＲＧＢ成分を持つ光源分布情報を求めるＲＧＢ光源分布計算手段と
   を備えることを特徴とする光源分布推定装置。
2. 球体をシーンに配置して撮影したカラー画像を入力する画像入力手段と、
   前記画像入力手段により入力した前記画像から前記球体の領域画像を抽出する球体領域抽出手段と、
   前記球体領域抽出手段により得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換手段と、
   前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算手段と、
   前記球体領域抽出手段により得られた前記球体の領域画像と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報とから、光源色情報を求める光源色計算手段と、
   前記球体領域抽出手段により得られた前記球体の領域画像と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報と、前記光源色計算手段により得られた前記光源色情報とから、前記球体表面の拡散反射率を求める拡散反射率計算手段と、
   前記球体領域抽出手段により得られた前記球体の領域画像と、前記拡散反射率計算手段により得られた前記拡散反射率とから、ＲＧＢ光源分布情報を求めるＲＧＢ光源分布計算手段と
   を備えることを特徴とする光源分布推定装置。
3. 球体をシーンに配置して撮影したカラー画像を入力する画像入力手段と、
   前記画像入力手段により入力した前記画像から前記球体の領域画像を抽出する球体領域抽出手段と、
   前記球体領域抽出手段により得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換手段と、
   前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算手段と、
   前記球体領域抽出手段により得られた前記球体の領域画像と、前記グレイスケール変換手段により得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算手段により得られた前記グレイスケール光源分布情報とから、鏡面反射領域画像と拡散反射領域画像とを生成する鏡面反射・拡散反射分離手段と
   を備えることを特徴とする光源分布推定装置。
4. 前記グレイスケール光源分布計算手段により得られたグレイスケール光源分布情報を用いて正則化グレイスケール光源分布情報を求める正則化グレイスケール光源分布計算手段をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の光源分布推定装置。
5. 球体をシーンに配置して撮影したカラー画像を入力する画像入力ステップと、
   前記画像入力ステップにより入力した前記画像から前記球体の領域画像を抽出する球体領域抽出ステップと、
   前記球体領域抽出ステップにより得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換ステップと、
   前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算ステップと、
   前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報とから、光源色情報を求める光源色計算ステップと、
   前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報と、前記光源色計算ステップにより得られた前記光源色情報とから、ＲＧＢ成分を持つ光源分布情報を求めるＲＧＢ光源分布計算ステップと
   を備えることを特徴とする光源分布推定方法。
6. 球体をシーンに配置して撮影したカラー画像を入力する画像入力ステップと、
   前記画像入力ステップにより入力した前記画像から前記球体の領域画像を抽出する球体領域抽出ステップと、
   前記球体領域抽出ステップにより得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換ステップと、
   前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算ステップと、
   前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報とから、光源色情報を求める光源色計算ステップと、
   前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報と、前記光源色計算ステップにより得られた前記光源色情報とから、前記球体表面の拡散反射率を求める拡散反射率計算ステップと、
   前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記拡散反射率計算ステップにより得られた前記拡散反射率とから、ＲＧＢ光源分布情報を求めるＲＧＢ光源分布計算ステップと
   を備えることを特徴とする光源分布推定方法。
7. 球体をシーンに配置して撮影したカラー画像を入力する画像入力ステップと、
   前記画像入力ステップにより入力した前記画像から前記球体の領域画像を抽出する球体領域抽出ステップと、
   前記球体領域抽出ステップにより得られた前記球体の領域画像をグレイスケールの球体の領域画像に変換するグレイスケール変換ステップと、
   前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像から、グレイスケール光源分布情報を求めるグレイスケール光源分布計算ステップと、
   前記球体領域抽出ステップにより得られた前記球体の領域画像と、前記グレイスケール変換ステップにより得られた前記グレイスケールの球体の領域画像と、前記グレイスケール光源分布計算ステップにより得られた前記グレイスケール光源分布情報とから、鏡面反射領域画像と拡散反射領域画像とを生成する鏡面反射・拡散反射分離ステップと
   を備えることを特徴とする光源分布推定方法。
8. 前記グレイスケール光源分布計算ステップにより得られたグレイスケール光源分布情報を用いて正則化グレイスケール光源分布情報を求める正則化グレイスケール光源分布計算ステップをさらに有することを特徴とする請求項５から７のいずれか１項に記載の光源分布推定方法。
9. コンピュータを、請求項１から４のいずれか１項に記載の光源分布推定装置として機能させるための光源分布推定プログラム。