JP2015007830A - 光源情報推定装置、光源情報推定方法及びプログラム - Google Patents

Abstract

【課題】特殊な装置、器具を用いることなく、簡易な環境の下で光源情報を推定できるようする。【解決手段】光源情報推定装置として、輝度値変換部により得られた映像における被写体領域の輝度値に基づいて撮像位置からの奥行きを示す奥行き情報を計算し、映像の撮像位置から被写体までの距離を測定して得られた距離情報と奥行き情報とに基づいて、被写体領域において光源から照射された光により輝度値が周囲より高くなっている被照射領域を抽出し、奥行き情報に基づいて抽出された被照射領域における法線方向を計算し、被照射領域における法線方向と被照射領域の輝度値とに基づいて被照射領域から光源への光源方向を計算し、複数の被写体領域ごとの被照射領域に対応して計算された光源方向に基づいて光源の位置を計算するように構成する。【選択図】図５

Description

本発明は、光源情報推定装置、光源情報推定方法及びプログラムに関する。

画像処理において光源方向の異なるシーンの映像を合成した場合には、シーン中の被写体に対する光の当たり方に矛盾が生じるために違和感のある映像になる。そこで、光学的に整合性のある映像が得られるようにすることを目的として、映像に基づいて光源方向や光源位置などの光源情報を推定する手法が提案されている。
光源情報を推定する手法として、１つには、シーン中に参照物体を配置したうえで、カメラ等の撮像系に特殊なデバイスを利用して直接的又は間接的に光源を撮像することによって、光源方向や光源位置を推定する手法が知られている。このような手法として、魚眼レンズや全方位カメラを用いて映像中に被写体と光源の両方が含まれるように撮像を行って得られた映像を利用して相対的な光源位置を推定する手法が知られている（例えば、非特許文献１参照）。あるいは、被写体と同じシーン中に金属球を配置し、金属球に映った光源から光源位置を推定する手法が知られている（例えば、非特許文献２参照）。

大蔵，川上，池内："光源環境と対象物の同時撮影による屋外物体の拡散反射率推定とその評価"，情報処理学会論文誌 コンピュータビジョンとイメージメディア, vol.2, no.1, pp.32-41(2009) Debevec, P.E.: "Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics with Global Illumination and High Dynamic Range Photography", Proceedings of SIGGRAPH 98, pp.189-198 (1998)

しかし、非特許文献１，２による手法では、魚眼レンズや全方位カメラ等の特殊な撮像装置あるいは金属球などのような特殊な器具が必要になる。このために、これらの特殊な撮像装置あるいは器具などの入手が困難であったり、入手可能であるとしてもそのために多くの労力やコストを要するなどの問題がある。また、このような特殊な撮像装置や器具などを用いて撮像された映像は特殊であり、一般的な撮像系で取得した映像を推定対象として利用できない。また、非特許文献１，２による手法では、映像中に光源が映るようにするために複雑なキャリブレーションが事前に必要になる。
このように、非特許文献１，２による手法は、使用する装置や器具が特殊で複雑なキャリブレーションも必要であり、これに伴って推定対象とする画像も特殊なものとなるために手軽さに欠けるという問題がある。

本発明は、このような事情に鑑みてなされたもので、特殊な装置、器具や複雑なキャリブレーション等を必要とせずに、簡易な環境の下で光源情報を推定できるようにすることを目的とする。

本発明の一態様は、推定利用映像において被写体の存在する被写体領域を選択する被写体領域選択部と、前記被写体領域の画素値を輝度値に変換する輝度値変換部と、前記輝度値変換部により得られた前記被写体領域の輝度値に基づいて前記推定利用映像を撮像した際の撮像位置からの奥行きを示す奥行き情報を計算する奥行き情報計算部と、前記推定利用映像を撮像した撮像位置から前記被写体領域に対応する被写体までの距離を測定して得られた距離情報と、前記奥行き情報計算部により計算された奥行き情報とに基づいて、前記被写体領域において光源から照射された光により輝度値が周囲より高くなっている被照射領域を抽出する被照射領域抽出部と、前記奥行き情報計算部により計算された奥行き情報に基づいて、前記被照射領域抽出部により抽出された被照射領域における法線方向を計算する法線方向計算部と、前記法線方向計算部が計算した前記被照射領域における法線方向と、前記被照射領域抽出部により抽出された前記被照射領域の輝度値とに基づいて、前記被照射領域から光源への光源方向を計算する光源方向計算部と、複数の被写体領域ごとの被照射領域に対応して計算された光源方向に基づいて光源の位置を計算する光源位置計算部とを備える光源情報推定装置である。

本発明の一態様は、推定利用映像の画素値を輝度値に変換する輝度値変換部と、前記輝度値変換部により得られた輝度値に基づいて、前記推定利用映像を撮像した際の撮像位置からの奥行きを示す奥行き情報を計算する奥行き情報計算部と、前記奥行き情報計算部により計算された奥行き情報と、前記推定利用映像を撮像した撮像位置から被写体までの距離を測定して得られた距離情報とに基づいて、光源から照射された光により輝度値が周囲より高くなっている被照射領域を推定利用映像から複数抽出する被照射領域抽出部と、前記被照射領域抽出部により抽出された複数の被照射領域におけるテクスチャ領域を判定し、前記被照射領域抽出部により抽出された複数の被照射領域の各々から前記テクスチャ領域を除いた複数の非テクスチャ領域を抽出するテクスチャ領域判定部と、前記奥行き情報計算部により計算された奥行き情報に基づいて、前記複数の非テクスチャ領域ごとの法線方向を計算する法線方向計算部と、前記法線方向計算部が計算した前記複数の非テクスチャ領域ごとの法線方向と、前記複数の非テクスチャ領域ごとの輝度値とに基づいて、前記複数の非テクスチャ領域から光源への光源方向を計算する光源方向計算部と、前記光源方向計算部により計算された複数の非テクスチャ領域ごとに対応した光源方向に基づいて光源位置を求める光源位置計算部とを備える光源情報推定装置である。

本発明の一態様は、上記の光源情報推定装置であって、前記距離情報における距離値を表す数値範囲が前記推定利用映像の画素値を表す数値範囲に対応するように正規化する正規化部をさらに備える。

本発明の一態様は、上記の光源情報推定装置であって、前記輝度値変換部により得られた輝度値と前記距離情報の少なくともいずれか一方についてのノイズを除去するノイズ除去部をさらに備える。

本発明の一態様は、推定利用映像において被写体の存在する被写体領域を選択する被写体領域選択ステップと、前記被写体領域の画素値を輝度値に変換する輝度値変換ステップと、前記輝度値変換ステップにより得られた前記被写体領域の輝度値に基づいて前記推定利用映像を撮像した際の撮像位置からの奥行きを示す奥行き情報を計算する奥行き情報計算ステップと、前記推定利用映像を撮像した撮像位置から前記被写体領域に対応する被写体までの距離を測定して得られた距離情報と、前記奥行き情報計算ステップにより計算された奥行き情報とに基づいて、前記被写体領域において光源から照射された光により輝度値が周囲より高くなっている被照射領域を抽出する被照射領域抽出ステップと、前記奥行き情報計算ステップにより計算された奥行き情報に基づいて、前記被照射領域抽出ステップにより抽出された被照射領域における法線方向を計算する法線方向計算ステップと、前記法線方向計算ステップが計算した前記被照射領域における法線方向と、前記被照射領域抽出ステップにより抽出された前記被照射領域の輝度値とに基づいて、前記被照射領域から光源への光源方向を計算する光源方向計算ステップと、複数の被写体領域ごとの被照射領域に対応して計算された光源方向に基づいて光源の位置を計算する光源位置計算ステップとを備える光源情報推定方法である。

本発明の一態様は、推定利用映像の画素値を輝度値に変換する輝度値変換ステップと、前記輝度値変換ステップにより得られた輝度値に基づいて、前記推定利用映像を撮像した際の撮像位置からの奥行きを示す奥行き情報を計算する奥行き情報計算ステップと、前記奥行き情報計算ステップにより計算された奥行き情報と、前記推定利用映像を撮像した撮像位置から被写体までの距離を測定して得られた距離情報とに基づいて、光源から照射された光により輝度値が周囲より高くなっている被照射領域を推定利用映像から複数抽出する被照射領域抽出ステップと、前記被照射領域抽出ステップにより抽出された複数の被照射領域におけるテクスチャ領域を判定し、前記被照射領域抽出ステップにより抽出された複数の被照射領域の各々から前記テクスチャ領域を除いた複数の非テクスチャ領域を抽出するテクスチャ領域判定ステップと、前記奥行き情報計算ステップにより計算された奥行き情報に基づいて、前記複数の非テクスチャ領域ごとの法線方向を計算する法線方向計算ステップと、前記法線方向計算ステップが計算した前記複数の非テクスチャ領域ごとの法線方向と、前記複数の非テクスチャ領域ごとの輝度値とに基づいて、前記複数の非テクスチャ領域から光源への光源方向を計算する光源方向計算ステップと、前記光源方向計算ステップにより計算された複数の非テクスチャ領域ごとに対応した光源方向に基づいて光源位置を求める光源位置計算ステップとを備える光源情報推定方法である。

本発明の一態様は、コンピュータを、上記の光源情報推定装置の各部として機能させるためのプログラムである。

以上説明したように、本発明によれば、特殊な装置、器具や複雑なキャリブレーション等を必要とせずに、簡易な環境の下で光源情報を推定できるようになるという効果が得られる。

第一実施形態に係る光源情報推定装置の構成例を示す図である。 推定利用映像における１つの被写体に対応する被写体領域と被照射領域の一例を示す図である。 図２の推定利用映像に対応した距離情報と奥行き情報との関係性を示す図である。 ３つの被写体が撮像された推定利用映像の内容の一例を示す図である。 第一実施形態に係る光源情報推定装置が実行する処理手順例を示すフローチャートである。 第二実施形態に係る光源情報推定装置の構成例を示す図である。 第二実施形態に係る光源情報推定装置が実行する処理手順例を示すフローチャートである。 第二実施形態に係る光源情報推定装置による被照射領域の抽出結果の一例を示す図である。 光源からの照射される光による輝度変化の特性と、テクスチャによる輝度変化の特性とを比較して示す図である。

［第一実施形態］
図１は、第一実施形態に係る光源情報推定装置１００の構成例を示す図である。なお、本実施形態における光源情報は、光源に関する情報として、少なくとも光源の位置（光源位置）を含む情報である。
同図に示す光源情報推定装置１００は、映像入力部１０１、距離情報入力部１０２、被写体領域選択部１０３、輝度値変換部１０４、補正部１０５、奥行き情報計算部１０６、光源情報計算部１０７及び記憶部１０８を備える。

映像入力部１０１は、光源情報の推定に利用する推定利用映像を入力する。一例として、映像入力部１０１は、撮像装置により特定の被写体を撮像した映像を推定利用映像として入力する。撮像装置が撮像する環境については屋内であってもよいし屋外であってもよい。
映像入力部１０１は、入力した推定利用映像を記憶部１０８に記憶させる。

以降の説明においては、推定利用映像は、Ｒ（赤），Ｇ（緑），Ｂ（青）の三原色により表現される形式の場合を例に挙げるが、他の表色系により表現される形式であってもよい。

距離情報入力部１０２は、距離情報を入力する。距離情報は、推定利用映像を撮像した際の撮像位置から被写体までの距離について測定した情報である。距離情報は、例えば二次元配列データとして配列された距離の測定値（距離値）を推定利用映像の画素ごとに対応付けた形式であればよい。
また、距離情報入力部１０２の具体例としては、測距を行って距離値を取得することのできるデバイスであればよい。あるいは、距離情報入力部１０２は、複数の撮像装置を利用して撮像を行った際の視差に基づいて距離を測定する構成であってもよい。

被写体領域選択部１０３は、推定利用映像において被写体の存在する被写体領域を選択する。
例えば、被写体領域選択部１０３は、映像入力部１０１が入力して記憶部１０８に記憶させた推定利用映像を読み出す。被写体領域選択部１０３は、読み出した推定利用映像から被写体領域を選択する。被写体領域は、例えば１つの被写体が対応し、推定利用映像において同じ素材、同じ色を示す部分の領域である。
被写体領域選択部１０３は、例えば予め設定された形状とのパターンマッチングなどの照合処理を実行することにより被写体領域を選択すればよい。あるいは、被写体領域選択部１０３は、マウスやデジタイザなどの入力デバイスに対する操作によって推定利用映像上で指定された領域を被写体領域として選択してもよい。

被写体領域選択部１０３は、選択した被写体領域の情報を記憶部１０８に記憶させる。この際、被写体領域選択部１０３は、選択した被写体領域を推定利用映像上でマスク領域として設定したマスク情報を記憶部１０８に記憶させればよい。この場合のマスク情報は、例えば、推定利用映像を形成する画素のうち、被写体領域に含まれている画素の画素値を「１」とし、被写体領域以外の画素の画素値を「０」とした情報である。

輝度値変換部１０４は、被写体領域の画素値を輝度値に変換する。
例えば、輝度値変換部１０４は、映像入力部１０１が入力して記憶部１０８に記憶させた推定利用映像を読み出す。また、輝度値変換部１０４は、被写体領域選択部１０３が記憶部１０８に記憶させた被写体領域の情報（マスク情報）を読み出す。
輝度値変換部１０４は、読み出した推定利用映像における画素のうちで、読み出したマスク情報により被写体領域に含まれていることが示されている画素の画素値を輝度値に変換する。
輝度値変換部１０４は、上記のように求めた輝度値の情報を記憶部１０８に記憶させる。
輝度値変換部１０４は、以下の式１に表されるように、座標（ｉ，ｊ）ごとの画素の輝度値Ｙについて、Ｒ，Ｇ，Ｂ成分の重み付き線形和によって求めることができる。

補正部１０５は、輝度値変換部１０４により求められた輝度値と、距離情報入力部１０２が入力した距離情報が示す距離値とについて補正を行う。補正部１０５は、ノイズ除去部１５１と正規化部１５２を備える。

ノイズ除去部１５１は、輝度値変換部１０４により求められた被写体領域の輝度値のノイズを除去する。また、ノイズ除去部１５１は、距離情報入力部１０２が入力した距離情報が示す距離値のノイズを除去する。なお、ノイズ除去部１５１が除去の対象とするノイズは、局所的なノイズであり、例えばテクスチャなどに対応する成分も局所的なノイズに含められる。

ノイズ除去部１５１が局所的なノイズを除去するための手法としては特に限定されるものではないが、ここでは、バイラテラルフィルタによる平滑化を用いた処理を例に挙げる。
バイラテラルフィルタによるノイズ除去部１５１は、以下の式２として表される演算によりノイズを除去する。

式２では、座標（ｉ，ｊ）ごとの輝度値Ｙ’（ｉ，ｊ）のノイズを除去する例を示している。式２において、ｍ，ｎは、フィルタサイズｗに対して
ｗ=２ｍ＋１＝２ｎ＋１
を満たす定数であり、σ₁、σ₂は、それぞれ、空間方向および画素値方向の重み係数である。なお、フィルタサイズｗは、通常は「３」、「５」、「７」等の奇数が用いられ、数値が大きいほど細かい部分が平滑化され大局的な情報が求められる。

ノイズ除去部１５１は、上記と同様の処理によって、距離情報入力部１０２が入力した距離情報が示す距離値についてもノイズ除去を行う。ノイズ除去部１５１は、ノイズを除去した被写体領域の輝度値と距離情報とを記憶部１０８に記憶させる。
なお、例えば、映像入力部１０１が入力した段階での推定利用映像に含まれるノイズが一定以下であるような条件であれば、ノイズ除去部１５１による輝度値からのノイズ除去については必ずしも実行する必要はない。同様に、距離情報入力部１０２が入力した段階での距離情報の距離値に含まれるノイズが一定以下であるような条件であれば、ノイズ除去部１５１による距離値からのノイズ除去については必ずしも実行する必要はない。

正規化部１５２は、距離情報を正規化する。つまり、正規化部１５２は、距離情報が示す距離値を表す数値範囲が推定利用映像の画素値を表す数値範囲に対応するように正規化する。
距離情報における距離値を表す数値範囲は、例えば、測距を行うデバイスの性能に依存するために、必ずしも、推定利用映像の画素値を表す数値範囲と対応しているとは限らない。しかし、本実施形態においては、光源情報の推定にあたり、推定利用映像に基づく輝度値と距離情報が示す距離値とを比較する処理を含む。そこで、本実施形態においては、距離情報における距離値を表す数値範囲が推定利用映像に対応していない場合には、推定利用映像に対応するように、距離値を表す数値範囲を正規化する。
なお、正規化部１５２による距離情報の正規化は、例えばノイズ除去部１５１によりノイズ除去が行われた後の距離情報を対象として行えばよい。あるいは、正規化部１５２により正規化した後の距離情報についてノイズ除去部１５１がノイズ除去を行うようにしてもよい。

一例として、推定利用映像の画素値が８ビット（Ｒ，Ｇ，Ｂの３つの成分で２４ビット）である場合について説明する。画素値が８ビットである場合、画素値の数値範囲は０〜２５５である。この場合、距離情報における座標（ｉ，ｊ）の距離値ｄは、以下の式３により推定利用映像の画素値に対応させるように正規化し、正規化距離値Ｄｓ（ｉ，ｊ）として求めることができる。式３において、ｄ_ｍａｘは、距離情報における距離値が取り得る最大値である。具体的に、距離値が１０ビットで表される場合、ｄ_ｍａｘは「１０２４」である。
正規化部１５２は、上記のように求めた正規化距離値を記憶部１０８に記憶させる。

距離情報の距離値を表す数値範囲が推定利用映像の画素値を表す数値範囲と同じ、もしくは、相違していても許容範囲である場合には、距離値ｄをそのまま正規化距離値Ｄｓ（ｉ，ｊ）として用いてもよい。また、距離値を表す数値範囲内において信頼性が一定以上の距離値の範囲と、推定利用映像の画素値を表す数値範囲とが同じ、もしくは、相違していても許容範囲である場合にも、距離値ｄをそのまま正規化距離値Ｄｓ（ｉ，ｊ）として用いることができる。

奥行き情報計算部１０６は、輝度値変換部１０４により得られた被写体領域の輝度値に基づいて奥行き情報を計算する。奥行き情報は、推定利用映像を撮像した際の撮像位置からの奥行き（距離）を示す。奥行き情報は、画像上の物体の輝度値が、撮像位置から離れるのに応じて低下する傾向にあることに基づいて求められる情報である。
ここでは撮像位置からの距離が「０」である場合の奥行き情報を「０」とし、距離が大きくなるにしたがって奥行き情報も大きくなって最大値に近づいていくものとする。ここで、奥行き情報が８ビットで表される場合、奥行き情報は、距離が大きくなっていくのに応じて「２５５」に近づいていく。この場合、奥行き情報計算部１０６は、以下の式４によって座標（ｉ，ｊ）ごとの奥行き情報Ｄｙを求めることができる。

このように、奥行き情報は、撮像位置から被写体までの距離を示す点では、距離情報と同様である。しかし、距離情報が測定により得られる情報であるのに対し、奥行き情報は、撮像位置からの距離に応じて輝度が変化することを前提として、被写体領域の輝度値を利用した演算により求められる点が異なる。
なお、奥行き情報計算部１０６は、式４による演算以外によって奥行き情報を求めてもよく、例えば撮像位置からの距離が離れていくのに応じて輝度が低下していくような関係に基づく演算であればよい。

光源情報計算部１０７は、光源情報を計算する。光源情報計算部１０７は、被照射領域抽出部１７１、法線方向計算部１７２、光源方向計算部１７３及び光源位置計算部１７４を備える。
被照射領域抽出部１７１は、距離情報が示す距離値と奥行き情報とに基づいて被照射領域を抽出する。被照射領域は、被写体領域において光源から照射された光により輝度値が周囲より高くなっている領域である。
被照射領域抽出部１７１は、補正部１０５のノイズ除去部１５１と正規化部１５２とによりノイズ除去と正規化が行われた距離情報を記憶部１０８から読み出す。また、被照射領域抽出部１７１は、奥行き情報計算部１０６により計算された被写体領域における奥行き情報を記憶部１０８から読み出す。

図２及び図３を参照して、被照射領域抽出部１７１による被照射領域の抽出手法について説明する。
被写体としての物体の表面は、その法線方向と光源方向との一致度が高くなるほど光源から照射される光を受けやすいことから、周囲と比較して相対的に輝度が高くなる。奥行き情報は被写体領域の輝度に基づいて求められることから、被写体の表面において法線方向が光源方向と一致している位置を中心とする部分については撮像位置に近いことを示す値が求められる。
一方、距離情報の距離値は、測定により求められていることから、奥行き情報のように被写体の表面における輝度の影響を受けて変化することはない。

図２の推定利用映像においては、被写体３１１に対応して選択された被写体領域３１２が示されている。同図の被写体領域３１２において、被写体の表面の法線方向が光源方向とほぼ一致していることにより輝度が高くなっている部分が被照射領域３１３であり、被照射領域抽出部１７１が抽出すべき領域である。

図２において、座標ｘ１は、推定利用映像の座標ｙ１に対応する水平方向において、距離情報が示す距離値が撮像位置に最も近い位置を示す値となる位置である。一方、座標ｘ２〜ｘ３の範囲は、推定利用映像の座標ｙ１に対応する水平方向において、被照射領域３１３に対応して周囲よりも高い輝度が得られている範囲である。

図３は、図２の座標ｙ１に対応する水平方向における距離情報の距離値と、奥行き情報とを比較して示す図である。図３において、線Ｌｎ１が距離情報の距離値を示し、線Ｌｎ２が奥行き情報を示す。図３において、横軸は推定利用映像の水平方向における画素位置であり、縦軸は距離情報が示す画素ごとの距離値と画素ごとの奥行き情報の値である。

図３にも示されるように、距離情報である線Ｌｎ１は、座標ｘ１が極大値となっており、撮像位置に最も近い位置であることを示している。一方、奥行き情報である線Ｌｎ２は、座標ｘ２からｘ３の間において極大値が得られている。つまり、奥行き情報では、被照射領域３１３が光源から光を受けて高輝度となっている影響で、被照射領域３１３に対応する範囲内の座標が撮像位置に最も近いとして検出されている。
このように、距離情報と奥行き情報では、同じ撮像位置からの距離を示す情報であるが、光源からの光の影響を受けることにより、それぞれが異なる結果を示す。

そのうえで、奥行き情報は、撮像位置からの距離が離れるのに応じて輝度が低下していくという現象に基づいて求められる。このために、距離情報の距離値が極大値となり現実の撮像位置からの距離が最も近くなる位置では、奥行き情報としてもある程度の輝度が得られることから、比較的高い輝度が得られる傾向にある。
一方、奥行き情報において光源からの光を受けた影響で撮像位置から近い値となった位置は、実際には撮像位置から離れている場合が多い。

具体的に、図３の例の場合であれば、座標ｘ１における距離値と奥行き情報の値は比較的に近い。これは、例えば前述のように、距離値が極大値とされて現実の撮像位置からの距離が最も近いとされる位置では、奥行き情報においてもある程度以上の輝度が得られることに起因している。
一方、奥行き情報として極大値を含む座標ｘ２〜ｘ３の範囲は、実際に撮像位置と最も近い位置である座標ｘ１からずれている。このために、座標ｘ２〜ｘ３の範囲における正規化距離値は奥行き情報と乖離している度合いが高い。

そこで、本実施形態の被照射領域抽出部１７１は、上記のような距離情報と奥行き情報の性質の違いを利用して、以下のように被照射領域を抽出する。
つまり、被照射領域抽出部１７１は、被写体領域において、距離情報が示す距離値（正規化距離値Ｄｓを用いる）と、奥行き情報Ｄｙの差分が閾値以上の座標の画素の集合による領域を、被照射領域として抽出する。

具体的に、図２及び図３との対応では、被照射領域抽出部１７１は、座標ｙ１に対応するｘ座標ごとに、正規化距離値Ｄｓと奥行き情報Ｄｙの差分ｄｔ（絶対値）を算出する（ｄｔ＝｜Ｄｓ−Ｄｙ｜）。そして、被照射領域抽出部１７１は、算出した差分ｄｔが予め定めた閾値以上の座標の画素については被照射領域に含まれる画素に含める。
図３の場合、座標ｘ２と座標ｘ３における差分ｄｔ２とｄｔ３（ｄｔ２＝ｄｔ３）がそれぞれ閾値と等しく、その間の座標範囲における差分ｄｔは閾値より大きい。一方、座標ｘ２から座標ｘ３の範囲以外の座標における差分ｄｔは、座標ｘ１における差分ｄｔ１を含めて、閾値未満である。従って、この場合の被照射領域抽出部１７１は、座標ｘ２から座標ｘ３の範囲の画素を被照射領域に含める。
上記図３の例は、図２の座標ｙ１のみに対応したｘ座標の画素についての抽出結果である。被照射領域抽出部１７１は、同様にして被写体領域における他の座標からも被写体領域に含まれる画素を抽出する。
上記のような処理により、例えば図３の場合には被写体領域３１２から被照射領域３１３が抽出される。被照射領域抽出部１７１は、被写体領域の抽出結果を記憶部１０８に記憶させる。

なお、被写体領域において光源からの光の照射を受けて高輝度となっている領域は、１つの場合もあれば複数の場合もある。被照射領域抽出部１７１は、光源からの光の照射を受けて高輝度となっている領域が１つの場合には、これに応じて１つの被写体領域を抽出し、光源からの光の照射を受けて高輝度となっている領域が複数であれば、これらの領域の数に応じた複数の被照射領域を抽出する。

法線方向計算部１７２は、被照射領域抽出部１７１が抽出した被照射領域における法線方向を計算する。法線方向を求める手法としては、対象の領域における曲面の方程式を利用する手法、外積を用いた演算による手法などが知られているが、法線方向計算部１７２は、これらのどの手法によって法線方向を求めてもよい。

一例として、法線方向計算部１７２が曲面の方程式を利用して法線方向を計算する場合の手法例について説明する。
３次元曲面の方程式は、例えば、以下の式５を満たす係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを求めることによって得られる。式５において、Ｚ（ｘ，ｙ）は座標（ｘ，ｙ）における距離情報である。
係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを求める際には、対象領域（被照射領域）全体の輝度値を用いてもよい。あるいは、対象領域を例えば３×３画素程度のサイズの小領域に分割し、小領域ごとに係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを求めたうえで、小領域ごとの係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを平均化するなどして最終的な係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを求めるようにしてもよい。あるいは、被照射領域から最も輝度の高い中心座標を求め、中心座標を中心とする部分領域（例えば、５×５画素や７×７画素程度のサイズ）について、係数ａ，ｂ，ｃ，ｄ，ｅ，ｆを求めるようにしてもよい。

式５により表される曲面上の点Ｐ（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）における接平面の係数が法線ベクトルであり、法線方向計算部１７２は法線ベクトルを法線方向として計算する。Ｐ_ｘ，Ｐ_ｙは映像面上の座標値であり、Ｐ_ｚは距離情報が示す座標（Ｐ_ｘ，Ｐ_ｙ）における距離値（正規化距離値Ｄｓ）である。点Ｐ上の接平面は、以下の式６によって表される。

また、法線方向計算部１７２が外積を利用して法線方向（法線ベクトル）計算する場合の手法例について説明する。
この場合の法線方向計算部１７２は、距離情報の距離値（正規化距離値Ｄｓ）を被照射領域の画素に対応させて二次元配列させた距離画像上の点Ｐ（Ｐ_ｘ，Ｐ_ｙ）に対し，以下の式７として示すように４つのベクトルＶＵ，ＨＲ，ＶＤ，ＨＬを生成する。これら４つのベクトルはそれぞれ、ｘ座標軸上とｙ座標軸上における正・負の各ベクトルに対応する。式７におけるｋは整数値であり、例えば、４，６，８・・・というように複数の値をとる。

法線方向計算部１７２は、式７を用いて同じ値のｋを代入して求めたベクトルＶＵ，ＨＲ，ＶＤ，ＨＬの間で互いに隣接するベクトル同士の外積を求める。この場合、１種類のｋに対しては４種類の外積が求められる。法線方向計算部１７２は、上記の外積を求める演算をｋの種類（例えば、ｋ＝４，６，８の３種類）ごとに対応して行い、求められた外積の平均を、点Ｐにおける法線ベクトル（法線方向）として求める。
法線方向計算部１７２は、法線方向についての計算結果を記憶部１０８に記憶させる。

光源方向計算部１７３は、法線方向計算部１７２が計算した被照射領域における法線方向と、被照射領域抽出部１７１により抽出された被照射領域とに基づいて、被照射領域から光源への光源方向を計算する。
例えば，光源方向計算部１７３は、被照射領域抽出部１７１により抽出された被照射領域において最も輝度の高い点（画素）である最大輝度点Ｍ（Ｍ_ｘ，Ｍ_ｙ，Ｍ_ｚ）を含むｎ×ｎの所定サイズの領域における法線ベクトル（法線方向）の平均を光源方向として求める。
あるいは、光源方向計算部１７３は、被照射領域抽出部１７１により抽出された被照射領域に対応して距離情報が示す距離値（正規化距離値Ｄｓ）と奥行き情報Ｄｙとの差分に基づいて、法線方向計算部１７２が計算した被照射領域における法線方向についての重み付け平均値を求め、求められた重み付け平均値を光源方向としてもよい。

光源位置計算部１７４は、光源の位置を計算する。この際、光源位置計算部１７４は、複数の被写体領域ごとの被照射領域に対応して計算された複数の光源方向に基づいて光源の位置を計算する。
つまり、本実施形態における推定利用映像は、１シーン内に複数の異なる被写体を含む映像である。具体例として、図４には、シーン内に３つの被写体３１１、３２１、３３１が存在している推定利用映像が示されている。

被写体領域選択部１０３は、これら複数の被写体３１１、３２１、３３１のそれぞれに対応する被写体領域３１２、３２２、３３２を選択する。また、輝度値変換部１０４、補正部１０５、奥行き情報計算部１０６、被照射領域抽出部１７１、法線方向計算部１７２及び光源方向計算部１７３は、選択された複数の被写体領域３１２、３２２、３３２ごとに対応した処理を実行する。これにより、複数の被写体領域３１２、３２２、３３２における被照射領域３１３、３２３、３３３ごとに対応して複数の法線方向Ｖ１、Ｖ２、Ｖ３が求められる。光源位置計算部１７４は、法線方向Ｖ１、Ｖ２、Ｖ３を利用して光源位置を計算する。

図４の例では、理想的には法線方向Ｖ１、Ｖ２、Ｖ３が示す法線を延長させていけば、それぞれが一点で交わる。このように複数の法線方向のそれぞれが交わる一点が光源位置である。光源位置計算部１７４は、所定の演算により、複数の被照射領域ごとに対応して求められた複数の法線方向に法線を延長させた際にそれぞれが交わる一点を求め、求めた位置を光源位置とすることができる。

ただし、３以上の法線方向を求めた場合、各法線方向に対応する法線の延長が一点で交わることは稀である。そこで、光源位置計算部１７４は、複数の法線方向のうちの２つの組合せごとに交点を求める。具体的に、図４の例のように３つの法線方向が求められた場合には、２つの法線方向の組合せは３通りであるから、３つの交点が求められる。
光源位置計算部１７４は、上記のように求めた２つの法線方向の組合せごとに対応する交点の座標についての平均値を求め、求めた平均値により表される座標を光源位置とすればよい。

図５は、第一実施形態における光源情報推定装置１００が実行する処理手順例を示している。
映像入力部１０１は推定利用映像を入力し、例えば記憶部１０８に記憶させる（ステップＳ１０１）。これまでの説明から分かるように、本実施形態の推定利用映像は、シーン内に複数の被写体が収まるように撮像された映像のデータである。

被写体領域選択部１０３は、ステップＳ１０１により入力された推定利用映像から１つの被写体に対応する被写体領域を選択する（ステップＳ１０２）。前述のように、被写体領域選択部１０３は、被写体領域を指定する操作に応じて被写体領域を選択しても良いし、パターンマッチングなどにより被写体領域を特定して選択するようにしてもよい。被写体領域選択部１０３は、前述のように、選択した被写体領域について、推定利用映像における被写体領域をマスクとするマスク情報として記憶部１０８に記憶させる。

輝度値変換部１０４は、例えば式１として示した演算により、推定利用映像における被写体領域に含まれる画素を輝度値に変換する（ステップＳ１０３）。輝度値変換部１０４は、変換により得られた被写体領域の輝度値のデータを記憶部１０８に記憶させる。
ノイズ除去部１５１は、ステップＳ１０３により得られた被写体領域の輝度値からノイズを除去する（ステップＳ１０４）。ノイズ除去部１５１は、前述のように、例えば式２に示した演算によりノイズを除去することができる。ノイズ除去部１５１は、ノイズを除去した被写体領域の輝度値のデータを記憶部１０８に記憶させる。

奥行き情報計算部１０６は、ステップＳ１０４によりノイズが除去された被写体領域の輝度値を利用して、被写体領域における奥行き情報を計算する（ステップＳ１０５）。奥行き情報計算部１０６は、例えば奥行き情報が８ビットで表される場合には、式４により奥行き情報を求めることができる。
奥行き情報計算部１０６は、計算した奥行き情報を記憶部１０８に記憶させる。

また、距離情報入力部１０２は、撮像位置から被写体までの距離を測定して得られた距離情報を入力する（ステップＳ１０６）。
ノイズ除去部１５１は、ステップＳ１０６により得られた距離情報が示す距離値からノイズを除去する（ステップＳ１０７）。
正規化部１５２は、ステップＳ１０７によりノイズが除去された距離情報における距離値を表す数値範囲が推定利用映像の画素値を表す数値範囲に対応するように正規化する（ステップＳ１０８）。正規化部１５２は、例えば、推定利用映像の画素値が８ビットで表される場合については、式３により正規化することができる。
正規化部１５２は、正規化された距離値（正規化距離値Ｄｓ）による距離情報を記憶部１０８に記憶させる。
ここで、図５にも示しているように、ステップＳ１０１〜Ｓ１０５の処理と、ステップＳ１０６〜Ｓ１０８の処理とは並行して実行されてよい。

光源情報計算部１０７において、被照射領域抽出部１７１は、ステップＳ１０５により計算された奥行き情報と、ステップＳ１０８により正規化された距離情報とに基づいて、被写体領域における被照射領域を抽出する（ステップＳ１０９）。
被照射領域抽出部１７１は、前述のように、例えば正規化距離値Ｄｓと奥行き情報Ｄｙの差分ｄｔ（絶対値）が閾値以上の画素で形成される領域を被照射領域として抽出することができる。

法線方向計算部１７２は、ステップＳ１０９により抽出された被照射領域における法線方向を計算する（ステップＳ１１０）。
前述のように、法線方向計算部１７２は、曲面の方程式を利用した手法として式５、式６を用いた演算により法線方向を計算することができる。あるいは、法線方向計算部１７２は、外積を利用する手法として、例えば式７を用いた演算により法線方向を計算することができる。

光源方向計算部１７３は、ステップＳ１１０により計算された１つの被写体の被照射領域に対応する法線方向を利用して、光源方向を計算する（ステップＳ１１１）。光源方向計算部１７３は、前述のように、例えば被照射領域における最大輝度点Ｍ（Ｍ_ｘ，Ｍ_ｙ，Ｍ_ｚ）を含む所定サイズの領域における法線ベクトル（法線方向）の平均を光源方向として求めることができる。

次に、例えば光源方向計算部１７３は、全ての被写体領域ごとに対応して光源方向を計算済みであるか否かについて判定する（ステップＳ１１２）。まだ光源方向を計算していない被写体領域が残っている場合（ステップＳ１１２−ＮＯ）、ステップＳ１０２に処理が戻ることにより、被写体領域選択部１０３が次の被写体に対応する被写体領域の選択を実行する。そして、続くステップＳ１０３〜Ｓ１０６、Ｓ１０９〜Ｓ１１１の処理によって新たに選択された被写体領域に対応する光源方向が求められる。

上記のように被写体領域ごとの光源方向が順次求められていき、全ての被写体領域ごとに対応する光源方向の計算が完了すると（ステップＳ１１２−ＹＥＳ）、光源位置計算部１７４は、複数の被写体領域ごとに対応して計算された複数の光源方向を利用して光源位置を計算する（ステップＳ１１３）。この際、光源位置計算部１７４は、前述のように、光源方向の２つの組みあわせごとに求めた交点の座標の平均値を求め、求められた座標の平均値を光源位置の計算結果とすることができる。

このように、第一実施形態による光源情報推定装置１００は、１枚の推定利用映像内の被写体領域における被照射領域の情報に基づいて光源位置を推定することができる。この場合において、推定利用映像は複数の被写体が収まるように一般の撮像装置により撮像して得ることができる。つまり、本実施形態では、例えば魚眼レンズや金属球などの特殊な物体を用いる必要がない。また、例えば映像内に光源が存在するように事前にキャリブレーションを行う必要もない。このように、本実施形態においては、特殊な装置、器具やキャリブレーションを必要とすることなく簡易な環境のもとで光源情報を推定することができる。

［第二実施形態］
続いて、第二実施形態について説明する。
図６は、第二実施形態に係る光源情報推定装置１００Ａの構成例を示している。なお、図６において図１と同一部分には同一符号を付し、ここでは、主に図１の構成との相違点について説明する。
光源情報推定装置１００Ａにおいては、図１の光源情報推定装置１００における被写体領域選択部１０３が省略される。また、光源情報計算部１０７においては、テクスチャ領域判定部１７５がさらに備えられる。

図７のフローチャートを参照して、第二実施形態の光源情報推定装置１００Ａが実行する処理手順例について説明する。
まず、映像入力部１０１は、推定利用映像を入力する（ステップＳ２０１）。ステップＳ２０１の処理は、図５のステップＳ１０１と同様である。ただし、光源情報推定装置１００Ａにおいては被写体領域選択部１０３が省略されていることで、図５のステップＳ１０２の被写体領域を選択するステップは省略される。

そして、第二実施形態において、輝度値変換部１０４は、被写体領域を対象とするのではなく、ステップＳ２０１により入力された推定利用映像の全体を対象として、推定利用映像の各画素を輝度値に変換する（ステップＳ２０２）。
これに伴い、ノイズ除去部１５１も、ステップＳ２０２により得られた推定利用映像の輝度値を対象としてノイズを除去する（ステップＳ２０３）。
また、奥行き情報計算部１０６は、ステップＳ２０３によりノイズが除去された推定利用映像の輝度値から、推定利用映像全体における奥行き情報を計算する（ステップＳ２０４）。

なお、ステップＳ２０５、Ｓ２０６、Ｓ２０７の処理については、図５のステップＳ１０６、Ｓ１０７、Ｓ１０８の処理と同様でよい。

第二実施形態において、被照射領域抽出部１７１は、奥行き情報と距離情報とに基づいて、被照射領域を推定利用映像から複数抽出する（ステップＳ２０８）。奥行き情報は、奥行き情報計算部１０６がステップＳ２０４を実行することにより得られている。また、被照射領域抽出部１７１は、距離情報については、ステップＳ２０７により正規化された距離情報を利用する。

第二実施形態における被照射領域抽出部１７１は、推定利用映像の全体に対応する画素を対象として、距離情報が示す距離値（正規化距離値Ｄｓ）と奥行き情報Ｄｙの差分ｄｔを求める。そして、被照射領域抽出部１７１は、求められた差分ｄｔが閾値以上の画素から成る領域を被照射領域として抽出する。

具体例として、ステップＳ２０１により入力された推定利用映像が図４に示したように３つの被写体３１１、３２１、３３１が含まれる内容である場合のステップＳ２０８による被照射領域の抽出結果の例を図８に示す。
図８の推定利用映像においては、図４の推定利用映像における被写体３１１に対応して、被照射領域４１１が抽出されている。また、図８の推定利用映像においては、図３の被写体３２１に対応して、被照射領域４２１、４２２が抽出されている。また、また、図８の推定利用映像においては、図３の被写体３３１に対応して、被照射領域４３１、４３２が抽出されている。

ここで、ステップＳ２０８では、選択された被写体領域ではなく推定利用映像全体を対象として被照射領域の抽出を行っている。このため、ステップＳ２０８により抽出された被照射領域には、実際に光源からの光を受けて高輝度となっている本来の被照射領域ではない領域も含まれている可能性が高い。

本来、被照射領域ではないが被照射領域として抽出される可能性の高い領域としては、テクスチャが存在しているテクスチャ領域を挙げることができる。テクスチャの面は多様な角度を有するために、その面全体としては光源に向いていなくとも、テクスチャのパターンに応じて色や明るさが変化する。このために、テクスチャのパターンにおける明るい部分が奥行きの少ない部分として計算され、距離情報との差分ｄｔも拡大する。これにより、ステップＳ２０８による処理の場合、テクスチャ領域が被照射領域として誤って抽出される可能性が高くなる。

そこで、テクスチャ領域判定部１７５は、ステップＳ２０８にて被照射領域抽出部１７１が抽出した複数の被照射領域におけるテクスチャ領域を判定する（ステップＳ２０９）。そして、テクスチャ領域判定部１７５は、複数の被照射領域の各々から、ステップＳ２０９により判定したテクスチャ領域を除いた複数の非テクスチャ領域を抽出する（ステップＳ２１０）。

ステップＳ２０９によるテクスチャ領域の判定手法について、図９を参照して説明する。図９には、水平方向における画素位置に応じた輝度変化として、線Ｌｎ１１、Ｌｎ１２が示されている。線Ｌｎ１１は、テクスチャではない面に対して光源からの光が照射された場合の輝度変化を示す。線Ｌｎ１２は、テクスチャ領域における輝度変化を示す。
線Ｌｎ１１から分かるように、光源からの光が照射された場合の輝度変化は、光源の空間分布であるために緩やかに変化する。一方、テクスチャ領域では物体表面の色の変化による輝度変化であるために、線Ｌｎ１２のように、或る画素位置にて急峻に変化し、直線的であるという性質がある。
このことからすれば、テクスチャ領域であるか否かの判定は、例えば、座標ｘ１１〜Ｘ１２の範囲のように輝度値が一定以上の変化の度合いを示す座標範囲において、輝度の変化が或る一点において急峻であるか否かにより判定することができる。換言すれば、輝度値が一定以上の変化の度合いを示す座標範囲における輝度の変化が漸次的である場合にはテクスチャ領域ではないと判定できる。

このことから、テクスチャ領域判定部１７５は、ステップＳ２０９において以下のようにテクスチャ領域を判定すればよい。
つまり、テクスチャ領域判定部１７５は、ステップＳ２０８により抽出された被照射領域ごとに、所定の領域サイズごとの二次微分を求め、二次微分が所定の閾値以上であればテクスチャ領域であると判定すればよい。
より具体的には、座標ｘ１１〜Ｘ１２の範囲において線Ｌｎ１２として示されるテクスチャ領域の輝度の一次微分の値はほぼ３値で表現され、二次微分の値（絶対値）としては大きくなる。
一方、座標ｘ１１〜Ｘ１２の範囲において線Ｌｎ１１として示されるテクスチャ領域の輝度の一次微分の値は段階的に増減することから、二次微分の値はテクスチャ領域の場合と比較して小さくなる。

次に、テクスチャ領域判定部１７５は、ステップＳ２０８により抽出された複数の被照射領域から、ステップＳ２０９により判定したテクスチャ領域を除外した非テクスチャ領域を抽出する。このように抽出された非テクスチャ領域は、例えば、光源からの光を受けて高輝度となっている本来の被照射領域のみから成る領域により近くなっている。
なお、被照射領域から非テクスチャ領域を除外することによって、被照射領域が存在しなくなる場合もある。つまり、抽出される非テクスチャ領域の数は、ステップＳ２０８により抽出された被照射領域の数と同じである必要はなく、より少ない数であってもよい。

ステップＳ２１０の処理を経た段階では、複数の被照射領域から抽出された非テクスチャ領域が複数得られている。
そこで、法線方向計算部１７２は、複数の非テクスチャ領域のうちの１つを対象として法線方向を算出する（ステップＳ２１１）。法線方向の計算にあたって、法線方向計算部１７２は、第一実施形態と同様に、曲面の方程式を利用した手法や外積を求める手法を使用すればよい。
次に、光源方向計算部１７３は、ステップＳ２１１により計算された１つの非テクスチャ領域の法線方向を利用して、同じ１つの非テクスチャ領域に対応する光源方向を計算する（ステップＳ２１２）。このときの計算手法としても第一実施形態と同様でよい。

次に、光源方向計算部１７３は、ステップＳ２１０により抽出された全ての非テクスチャ領域についての光源方向を計算済みか否かについて判定する（ステップＳ２１３）。ここで、未だ光源方向を計算していない非テクスチャ領域が残っている場合（ステップＳ２１３−ＮＯ）には、ステップＳ２１１に処理が戻る。これにより、次の非テクスチャ領域についての光源方向の計算が行われる。
そして、全ての非テクスチャ領域についての光源方向の計算が終了すると（ステップＳ２１３−ＹＥＳ）、光源位置計算部１７４は、ステップＳ２１１〜Ｓ２１３によって計算された各非テクスチャ領域についての光源方向を利用して光源位置を計算する（ステップＳ２１４）。この際、光源位置計算部１７４は、第一実施形態と同様に、２つの法線方向の組合せごとに対応する交点の座標についての平均値を求め、求めた平均値により表される座標を光源位置とすればよい。

このように第二実施形態では、事前に推定利用映像から被写体領域を選択しなくとも光源情報を推定することができる。つまり、本実施形態では、手動で被写体領域を指定する必要がなくなり、より簡易かつ手軽な環境の下で光源情報を推定することができる。
また、第二実施形態においては、テクスチャ領域を判定して被照射領域からテクスチャ領域を除外した非テクスチャ領域を光源情報の推定処理の対象としている。このような処理によって、テクスチャなどに代表される物体の局所的なくぼみや突出などの形状変化により被写体の表面上で良好な球面が得られないような状態であっても、推定誤差を小さくすることができる。

なお、上述の光源情報推定装置１００、１００Ａにおける各機能部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の光源情報推定装置１００、１００Ａの処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１００，１００Ａ 光源情報推定装置
１０１ 映像入力部
１０２ 距離情報入力部
１０３ 被写体領域選択部
１０４ 輝度値変換部
１０５ 補正部
１０６ 奥行き情報計算部
１０７ 光源情報計算部
１０８ 記憶部

Claims (7)

1. 推定利用映像において被写体の存在する被写体領域を選択する被写体領域選択部と、
   前記被写体領域の画素値を輝度値に変換する輝度値変換部と、
   前記輝度値変換部により得られた前記被写体領域の輝度値に基づいて前記推定利用映像を撮像した際の撮像位置からの奥行きを示す奥行き情報を計算する奥行き情報計算部と、
   前記推定利用映像を撮像した撮像位置から前記被写体領域に対応する被写体までの距離を測定して得られた距離情報と、前記奥行き情報計算部により計算された奥行き情報とに基づいて、前記被写体領域において光源から照射された光により輝度値が周囲より高くなっている被照射領域を抽出する被照射領域抽出部と、
   前記奥行き情報計算部により計算された奥行き情報に基づいて、前記被照射領域抽出部により抽出された被照射領域における法線方向を計算する法線方向計算部と、
   前記法線方向計算部が計算した前記被照射領域における法線方向と、前記被照射領域抽出部により抽出された前記被照射領域の輝度値とに基づいて、前記被照射領域から光源への光源方向を計算する光源方向計算部と、
   複数の被写体領域ごとの被照射領域に対応して計算された光源方向に基づいて光源の位置を計算する光源位置計算部と
   を備える光源情報推定装置。
2. 推定利用映像の画素値を輝度値に変換する輝度値変換部と、
   前記輝度値変換部により得られた輝度値に基づいて、前記推定利用映像を撮像した際の撮像位置からの奥行きを示す奥行き情報を計算する奥行き情報計算部と、
   前記奥行き情報計算部により計算された奥行き情報と、前記推定利用映像を撮像した撮像位置から被写体までの距離を測定して得られた距離情報とに基づいて、光源から照射された光により輝度値が周囲より高くなっている被照射領域を推定利用映像から複数抽出する被照射領域抽出部と、
   前記被照射領域抽出部により抽出された複数の被照射領域におけるテクスチャ領域を判定し、前記被照射領域抽出部により抽出された複数の被照射領域の各々から前記テクスチャ領域を除いた複数の非テクスチャ領域を抽出するテクスチャ領域判定部と、
   前記奥行き情報計算部により計算された奥行き情報に基づいて、前記複数の非テクスチャ領域ごとの法線方向を計算する法線方向計算部と、
   前記法線方向計算部が計算した前記複数の非テクスチャ領域ごとの法線方向と、前記複数の非テクスチャ領域ごとの輝度値とに基づいて、前記複数の非テクスチャ領域から光源への光源方向を計算する光源方向計算部と、
   前記光源方向計算部により計算された複数の非テクスチャ領域ごとに対応した光源方向に基づいて光源位置を求める光源位置計算部と
   を備える光源情報推定装置。
3. 前記距離情報における距離値を表す数値範囲が前記推定利用映像の画素値を表す数値範囲に対応するように正規化する正規化部をさらに備える
   請求項１または２に記載の光源情報推定装置。
4. 前記輝度値変換部により得られた輝度値と前記距離情報の少なくともいずれか一方についてのノイズを除去するノイズ除去部をさらに備える、
   請求項１から３のいずれか一項に記載の光源情報推定装置。
5. 推定利用映像において被写体の存在する被写体領域を選択する被写体領域選択ステップと、
   前記被写体領域の画素値を輝度値に変換する輝度値変換ステップと、
   前記輝度値変換ステップにより得られた前記被写体領域の輝度値に基づいて前記推定利用映像を撮像した際の撮像位置からの奥行きを示す奥行き情報を計算する奥行き情報計算ステップと、
   前記推定利用映像を撮像した撮像位置から前記被写体領域に対応する被写体までの距離を測定して得られた距離情報と、前記奥行き情報計算ステップにより計算された奥行き情報とに基づいて、前記被写体領域において光源から照射された光により輝度値が周囲より高くなっている被照射領域を抽出する被照射領域抽出ステップと、
   前記奥行き情報計算ステップにより計算された奥行き情報に基づいて、前記被照射領域抽出ステップにより抽出された被照射領域における法線方向を計算する法線方向計算ステップと、
   前記法線方向計算ステップが計算した前記被照射領域における法線方向と、前記被照射領域抽出ステップにより抽出された前記被照射領域の輝度値とに基づいて、前記被照射領域から光源への光源方向を計算する光源方向計算ステップと、
   複数の被写体領域ごとの被照射領域に対応して計算された光源方向に基づいて光源の位置を計算する光源位置計算ステップと
   を備える光源情報推定方法。
6. 推定利用映像の画素値を輝度値に変換する輝度値変換ステップと、
   前記輝度値変換ステップにより得られた輝度値に基づいて、前記推定利用映像を撮像した際の撮像位置からの奥行きを示す奥行き情報を計算する奥行き情報計算ステップと、
   前記奥行き情報計算ステップにより計算された奥行き情報と、前記推定利用映像を撮像した撮像位置から被写体までの距離を測定して得られた距離情報とに基づいて、光源から照射された光により輝度値が周囲より高くなっている被照射領域を推定利用映像から複数抽出する被照射領域抽出ステップと、
   前記被照射領域抽出ステップにより抽出された複数の被照射領域におけるテクスチャ領域を判定し、前記被照射領域抽出ステップにより抽出された複数の被照射領域の各々から前記テクスチャ領域を除いた複数の非テクスチャ領域を抽出するテクスチャ領域判定ステップと、
   前記奥行き情報計算ステップにより計算された奥行き情報に基づいて、前記複数の非テクスチャ領域ごとの法線方向を計算する法線方向計算ステップと、
   前記法線方向計算ステップが計算した前記複数の非テクスチャ領域ごとの法線方向と、前記複数の非テクスチャ領域ごとの輝度値とに基づいて、前記複数の非テクスチャ領域から光源への光源方向を計算する光源方向計算ステップと、
   前記光源方向計算ステップにより計算された複数の非テクスチャ領域ごとに対応した光源方向に基づいて光源位置を求める光源位置計算ステップと
   を備える光源情報推定方法。
7. コンピュータを、
   請求項１から４のいずれか一項に記載の光源情報推定装置の各部として機能させるためのプログラム。

Images