JP2014006658A - 陰影情報導出装置、陰影情報導出方法及びプログラム - Google Patents

Abstract

【課題】陰影を付与したコンピュータグラフィックスオブジェクトを手軽にシーン画像に合成できる環境をユーザに提供できるようにする。
【解決手段】シーンとしての画像内容を有するシーン画像に対応するデプスマップに基づいてシーン画像が示すシーンの法線マップを導出する。また、シーン画像とデプスマップと法線マップとの少なくともいずれか１つに基づいて参照物体の領域部分である参照物体領域を抽出する。そして、シーン画像と法線マップと前記参照物体領域とに基づいて陰影情報を導出する。
【選択図】図１

Description

本発明は、陰影情報を導出する技術に関する。

拡張現実においては、例えば仮想物体などのＣＧ（コンピュータグラフィックス）オブジェクトをシーン画像に合成する際に、そのＣＧオブジェクトに陰影を付与することが行われている。このように、ＣＧオブジェクトに対応して陰影を付加することによって、シーン画像においてそのＣＧオブジェクトが実際に存在しているかのように見せることができる。

上記のように陰影を付加するのにあたっては陰影情報が利用される。陰影情報とは、シーン画像におけるＣＧオブジェクトの合成位置に対応させて実シーンにＣＧオブジェクトの実体を位置させたとした場合に生じる陰影が、シーン画像においてはどのように表現されるのかを示す情報である。

陰影情報の導出は、例えば、シーンにおける光源に関する情報（光源情報）を推定し、この光源情報に基づいてＣＧオブジェクトのレンダリングを行うことにより実現されている。
光源情報を推定するにあたり、例えば全方位を撮像する全方位カメラを利用するというものが知られている（例えば、非特許文献１および非特許文献２参照）。この手法は、全方位を撮像した画像のいずれかの部分において光源が撮像されていることを前提としている。そのうえで、この手法は、全方位カメラにより撮像した画像に基づいて、シーン画像に対応する光源の位置、色、位置、強度などを推定するというものである。

また、金属球を利用する手法が知られている（例えば、非特許文献３参照）。この手法は、上記の全方位カメラに準じた考え方に基づいている。つまり、この手法は、金属球に映った周囲のシーンの映像において光源も含まれていることを前提とする。そのうえで、この手法は、周囲のシーンが映り込んでいる金属球の画像に基づいて光源の位置、色、位置、強度などを推定するものである。
また、拡散反射面を有する白色球を利用する手法が知られている（例えば、非特許文献４参照）。この手法では、白色球の画像において現れている陰影に基づいて、その白色球の周囲における光源の色、強度、方向等を推定するものである。
さらに、反射特性が既知の平面において生じる形状が既知の物体の影に基づいて光源分布を推定するという手法も知られている（例えば、非特許文献５参照）。

Imari Sato, Yoichi Sato, and Katsushi Ikeuchi, Acquiring a radiance distribution to superimpose virtual objects onto a real scene, IEEE Transactions on Visualization and Computer Graphics, Volume 5, Issue 1, pages 1-12, 1999. 佐藤いまり，林田守広，甲斐郁代，佐藤洋一，池内克史，実光環境下での画像生成 ： 基礎画像の線形和による高速レンダリング手法， 電子情報通信学会論文誌． Ｄ−ＩＩ，情報・システム，ＩＩ−パターン処理 Ｊ８４−Ｄ−ＩＩ（８），ｐａｇｅｓ １８６４−１８７２，２００１． Kusuma Agusanto, Li Li, Zhu Chuangui, and Ng Wan Sing, Photorealistic rendering for augmented reality using environment illumination, Proceedings of the Second IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR), pages 208-216, 2003. Miika Aittala, Inverse lighting and photorealistic rendering or augmented reality, The Visual Computer, Volume 26, Issue 6, pages 669-678, 2010. 佐藤いまり，佐藤洋一，池内克史，物体の陰影に基づく光源環境の推定，情報処理学会誌：コンピュータビジョンとイメージメディア，Ｖｏｌｕｍｅ ４１，Ｎｕｍｂｅｒ ＳＩＧ １０（ＣＶＩＭ １），ｐａｇｅｓ ３１−４０，２０００．

非特許文献１、２による手法を利用する場合には全方位カメラが必要である。この全方位カメラは、例えば魚眼レンズを備える特殊な機器であって、例えばコンシューマなどともいわれる一般のエンドユーザが手軽に入手できるものではない。
また、非特許文献３、４による手法の場合にも、金属球あるいは拡散反射面を有する白色球を準備する必要がある。このような金属球や白色球も器具としては特殊でありエンドユーザが容易に入手できるものではない。
また、非特許文献５による手法の場合、物体の形状と平面の反射特性が既知である必要がある。この場合、ユーザは、これらの物体の形状と平面の反射特性を測定しなければならず、このためには、一定以上の専門知識を必要とする。
このように、非特許文献１〜５によるいずれの手法も、例えば一般的でない装置や器具を必要としたり、あるいは、専門知識を必要とする。したがって、非特許文献１〜５のいずれの手法によっても、例えば拡張現実において陰影のあるＣＧオブジェクトをシーン画像に合成できるような環境をエンドユーザに提供することは難しい。

本発明は、このような事情に鑑みてなされたもので、陰影を付与したＣＧオブジェクトを手軽にシーン画像に合成できる環境をユーザに提供可能とする技術の提供を目的とする。

上述した課題を解決するために、本発明の一態様としての陰影情報導出装置は、シーンとしての画像内容を有するシーン画像に対応するデプスマップに基づいて前記シーン画像が示すシーンの法線マップを導出する法線マップ導出部と、前記シーン画像と前記デプスマップと前記法線マップとの少なくともいずれか１つに基づいて参照物体の領域部分である参照物体領域を抽出する参照物体領域抽出部と、前記シーン画像と前記法線マップと前記参照物体領域とに基づいて陰影情報を導出する陰影情報導出部とを備える。

また、本発明の陰影情報導出装置は、正則化された陰影情報が導出されるように、陰影情報の導出に利用する所定のパラメータを補正する陰影情報正則化部をさらに備える。

また、本発明の一態様としての陰影導出方法は、シーンとしての画像内容を有するシーン画像に対応するデプスマップに基づいて前記シーン画像が示すシーンの法線マップを導出する法線マップ導出ステップと、前記シーン画像と前記デプスマップと前記法線マップとの少なくともいずれか１つに基づいて参照物体の領域部分である参照物体領域を抽出する参照物体領域抽出ステップと、前記シーン画像と前記法線マップと前記参照物体領域とに基づいて陰影情報を導出する陰影情報導出ステップとを備える。

また、本発明の陰影情報導出装置は、正則化された陰影情報が導出されるように、陰影情報の導出に利用する所定のパラメータを補正する陰影情報正則化ステップをさらに備える。

また、本発明の一態様としてのプログラムは、コンピュータを、上記の陰影情報導出装置として機能させるためのものである。

以上説明したように、本発明によれば、陰影を付与したＣＧオブジェクトを手軽にシーン画像に合成できる環境をユーザに提供できるという効果が得られる。

本発明の第１の実施形態における陰影情報導出装置の構成例を示す図である。 シーン画像の一例を示す図である。 デプスマップの一例を示す図である。 法線マップを可視化して示す図である。 参照物体領域の抽出結果を示す図である。 本実施形態において利用する球面調和関数を可視化して示す図である。 本実施形態における陰影情報を可視化して示す図である。 陰影情報により陰影を付与したＣＧオブジェクトの一例を示す図である。 陰影情報により陰影を付与したＣＧオブジェクトが合成されたシーン画像の一例を示す図である。 第１の実施形態における陰影情報導出装置が実行する処理手順例を示す図である。 第２の実施形態における陰影情報導出装置の構成例を示す図である。 シーン画像の一例を示す図である。 デプスマップの一例を示す図である。 本実施形態の陰影情報正則化部により正則化されていない陰影情報を可視化して示す図である。 本実施形態の陰影情報正則化部により正則化された陰影情報を可視化して示す図である。 第２の実施形態における陰影情報導出装置が実行する処理手順例を示す図である。

＜第１の実施形態＞
［陰影情報導出装置の構成例］
以下、本発明の第１の実施形態の陰影情報導出装置について説明する。本実施形態の陰影情報導出装置は、シーン画像と、このシーン画像についてのデプスマップを入力して陰影情報を導出する。

本実施形態において、陰影情報とは、シーン画像におけるＣＧ（コンピュータグラフィックス）オブジェクトの合成位置に対応させて実シーンにＣＧオブジェクトの実体を位置させたとした場合に生じる陰影を、シーン画像において表現するための情報である。この陰影情報は、ＣＧオブジェクトを合成したシーン画像において、ＣＧオブジェクトの位置やシーンの照明に応じた陰影を与えるのに利用される。このようにして陰影が与えられることで、シーン画像においてＣＧオブジェクトが自然に見えることになり、ＣＧオブジェクトが合成されたシーン画像の現実感が向上する。

図１は、第１の実施形態における陰影情報導出装置１００の構成例を示している。この図に示す陰影情報導出装置１００は、シーン画像入力部１０１、デプスマップ入力部１０２、法線マップ導出部１０３、参照物体領域抽出部１０４、陰影情報導出部１０５の各機能部を備える。なお、これらの機能部は、例えばＣＰＵ（Central Processing Unit）などがプログラムを実行することにより実現される。また、陰影情報導出装置１００は、記憶部１０６、表示部１０７および操作部１０８などのデバイスを備える。

シーン画像入力部１０１は、シーンとしての画像内容を有するシーン画像２０１を外部から入力し、記憶部１０６に記憶させる。
本実施形態におけるシーン画像２０１は、例えば現実の或る環境を撮像して得られた画像であればよい。
図２は、上記のように現実の或る環境を撮像して得られたシーン画像２０１の画像内容の一例を示している。

デプスマップ入力部１０２は、シーン画像２０１に対応するデプスマップ２０２を外部から入力し、記憶部１０６に記憶させる。このデプスマップ２０２は、シーン画像２０１における被写空間に含まれる被写体や背景などの対象物に対する視点からの距離を示す信号値（デプス値）を二次元平面に配置された画素ごとの画素値（輝度）とする画像信号である。このデプスマップ２０２を形成する画素は、シーン画像２０１を形成する画素と対応する。

図３は、図２のシーン画像２０１に対応するデプスマップ２０２の例を示している。この図に示すデプスマップ２０２において、各画素に対応する位置の被写体は、その輝度値が高くなるほど撮影位置（視点）との間の距離が長くなっていくことを示す。

なお、シーン画像入力部１０１が入力するシーン画像２０１とデプスマップ入力部１０２が入力するデプスマップ２０２は、コンシューマ（エンドユーザ）向けのＲＧＢカメラとデプスセンサを備えた撮影装置により撮影を行って得ることができる。このような撮影装置の１つとして、例えば、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎのＫｉｎｅｃｔ（登録商標）が知られている。

法線マップ導出部１０３は、記憶部１０６に記憶されるデプスマップ２０２に基づいてシーン画像２０１が示すシーンの法線マップを導出する。ここでの法線マップは、画素ごとに正則化された物体表面の法線を格納したデータである。

このために、法線マップ導出部１０３は、記憶部１０６からデプスマップ２０２を読み込む。次に、法線マップ導出部１０３は、デプスマップ２０２を形成する各画素の座標（画素座標）とデプス値（画素値）とを利用して、シーンにおける３次元頂点の位置（画素座標）を算出する。次に、法線マップ導出部１０３は、算出した３次元頂点の１つに注目し、デプスマップ２０２においてその注目した３次元頂点から縦に隣接する３次元頂点に向かうベクトルと、横に隣接する３次元頂点へと向かうベクトルとを求める。そして、法線マップ導出部１０３は、これら２つのベクトルの外積を求めることにより、注目した頂点における法線を導出する。
法線マップ導出部１０３は、上記の手順により画素ごとに法線を求め、これらの法線により法線マップ２０３を生成する。このように、法線マップ導出部１０３は法線マップ２０３を導出する。そして、法線マップ導出部１０３は、導出した法線マップ２０３を記憶部１０６に記憶させる。

具体例として、法線マップ導出部１０３は、以下の式（１）により、画素座標（ｕ，ｖ）における法線ｎ（ｕ，ｖ）を求める。

式（１）によっては、法線ベクトルとしての法線ｎ（ｕ，ｖ）が求められる。なお、式（１）において、ｄ（ｕ，ｖ）は（ｕ，ｖ）における奥行値（デプス）であり、Ｋはデプスマップ２０２を撮像した撮像装置（デプスセンサ）の内部パラメータ行列である。この内部パラメータ行列Ｋは、撮像装置により撮像される撮像平面上の実世界座標を画素座標に変換する行列である。また、撮像平面上の実世界座標の原点は撮影位置であり、撮像平面上の実世界座標の奥行きは、デプスマップ２０２が示す画素ごとのデプス値に対応する。

図４は、図３に示したデプスマップ２０２から導出された法線マップ２０３を画像により可視化した例を示している。この図に示す法線マップ２０３は、現実にはＲＧＢにより表現されるカラー画像である。そのうえで、この図の法線マップ２０３は、例えば、上記のように画素座標ごとに求められた３次元の法線ベクトル成分の値が、それぞれ、対応の画素座標の画素のＲＧＢの各成分の値に変換されている。つまり、図４の法線マップ２０３の画像は、画素ごとの法線ベクトル成分の値を、色により表現するように可視化している。

参照物体領域抽出部１０４は、シーン画像２０１とデプスマップ２０２と法線マップ２０３との少なくともいずれか１つに基づいて参照物体の領域部分である参照物体領域を抽出する。なお、参照物体は、シーンにおいてＣＧオブジェクトが配置される位置の光源情報を取得するにあたって陰影情報導出部１０５が参照する物体である。

参照物体領域抽出部１０４は、例えば以下のように参照物体領域を抽出する。つまり、参照物体領域抽出部１０４は、記憶部１０６から、シーン画像２０１とデプスマップ２０２と法線マップ２０３のうちのいずれか１つを抽出対象データとして読み込む。参照物体領域抽出部１０４は、このように読み込まれた抽出対象データの画像を、例えば表示部１０７に表示させる。
ユーザは、表示された画像の被写体のうちから参照物体とする物体を決定する。この際、ユーザは、シーン画像に合成するＣＧオブジェクトにできるだけ近く、また、できるだけ陰影が明確に現れている物体を参照物体として決定するとよい。そして、ユーザは、表示された画像から参照物体が表示されている領域を選択するための所定の操作を操作部１０８に対して行う。
参照物体領域抽出部１０４は、読み込みを行った抽出対象データから、上記の操作により選択された領域を参照物体領域２０４として抽出する。参照物体領域抽出部１０４は、抽出した参照物体領域２０４を記憶部１０６に記憶する。

または、参照物体領域抽出部１０４は、以下のように参照物体領域２０４を抽出してもよい。つまり、参照物体領域抽出部１０４は、記憶部１０６から、シーン画像２０１とデプスマップ２０２と法線マップ２０３をそれぞれ抽出対象データとして読み込む。そして、参照物体領域抽出部１０４は、例えば、読み込んだシーン画像２０１とデプスマップ２０２と法線マップ２０３のいずれかの画像を表示部１０７に表示させる。一例として、ユーザにとっては、シーン画像２０１が最もシーンを見やすいので、参照物体領域抽出部１０４は、シーン画像２０１を表示させればよい。

この場合、ユーザは、表示された画像から参照物体として決定した領域における一部領域を指定する操作を操作部１０８に対して行う。
参照物体領域抽出部１０４は、抽出対象データであるシーン画像２０１とデプスマップ２０２と法線マップ２０３のそれぞれに対して個別に閾値を設定している。そのうえで、参照物体領域抽出部１０４は、操作により指定された一部領域において決定した代表点を起点として、シーン画像２０１とデプスマップ２０２と法線マップ２０３のそれぞれを対象として隣接する画素を探索していく。

そして、参照物体領域抽出部１０４は、探索過程において、シーン画像２０１とデプスマップ２０２と法線マップ２０３のうちのいずれかにおいて、隣接する画素同士の画素値の差が閾値以上となった場合に、その隣接する画素の境界を、参照物体領域とそれ以外の領域との境界部分として決定する。そして、参照物体領域抽出部１０４は、シーン画像２０１とデプスマップ２０２と法線マップ２０３との間で上記のように決定された境界部分を総合することにより、参照物体領域としての輪郭の画素座標を特定する。このようにしても、参照物体領域抽出部１０４は、参照物体領域２０４を抽出することができる。

なお、参照物体領域抽出部１０４は、上記のようにデータに閾値を設定して参照物体領域２０４を抽出する処理について、例えばシーン画像２０１とデプスマップ２０２と法線マップ２０３のうちの２つ以下の組み合わせを対象として行ってもよい。ただし、シーン画像２０１とデプスマップ２０２と法線マップ２０３をすべて利用たほうが、輝度とデプス値と法線方向のすべての情報の組み合わせにより参照物体領域２０４と背景との境界を特定できるので、参照物体領域２０４の抽出精度は高くなる。

図５は、参照物体領域抽出部１０４による参照物体領域２０４の抽出結果を画像として示す図である。この図において、参照物体領域２０４に該当する部分は、黒色の背景画像において白色となっている部分である。この白色の部分は、例えば、図２のシーン画像における人の左上腕部分である。

陰影情報導出部１０５は、シーン画像２０１と法線マップ２０３と参照物体領域２０４とに基づいて陰影情報を導出する。
一具体例として、陰影情報導出部１０５は、以下のように陰影情報を導出する。

まず、陰影情報導出部１０５は、記憶部１０６からシーン画像２０１と法線マップ２０３と参照物体領域２０４とを読み出す。

陰影情報導出部１０５は、読み出した参照物体領域２０４に含まれる画素ごとに番号ｎ（ｎ＝１・・・Ｎ）を付す。なお、参照物体領域２０４に含まれる画素の配列と番号ｎとの対応は演算結果には影響を及ぼさないので、参照物体領域２０４に含まれる画素に対する番号ｎの付与規則については特に限定されない。

陰影情報導出部１０５は、陰影情報を導出するのに、球面調和関数を用いる。球面調和関数を用いることによっては、例えば光源数が増加しても問題が複雑にならない、また、少数の基底によって拡散反射の陰影を高精度で表現できるなどの利点がある。

球面調和関数は、球面座標（θ，φ）についての関数であり、以下の式（２）により定義される。

式（２）において、ｌ、ｍは整数であり、例えば、ｌ≧０、−１≦ｍ≦１である。ｌは次数を示す。つまり、この例では、「０≦ｌ≦２」の３次による９つの球面調和関数を用いる。また、Ｋｌｍは正則化係数であり、Ｐｌｍはルジャンドル（Legendre）陪関数である。

本実施形態においては、球面調和関数を例えば上記のように９つとするように一定数以下に限定することによって、未知の反射特性の物体から拡散反射の陰影を導出するにあたってのロバスト性を向上させることができる。

図６は、図５に示した参照物体領域２０４に対応する９つの球面調和関数の例を画像により可視化して示している。

陰影情報導出部１０５は、図６のように表現される９つの球面調和関数を統合するにあたり、球面調和関数ごとに係数（重み）を設定する。このために、例えば、陰影情報導出部１０５は、以下の式（３）により表される誤差関数Ｅ（ｗ）を最小にするような重みｗを求める。式（３）において、Ｉｎは参照物体領域２０４中のｎ番目の画素の輝度値であり、（θｎ，φｎ）は同画素の位置における法線ベクトルである。

なお、陰影情報導出部１０５は、例えばＱＲ分解などの手法を利用した演算により厳密にＥ（ｗ）の最小化を行うことができる。

そして、陰影情報導出部１０５は、式（３）により算出した整数ｌ、ｍの組み合わせごとの重みｗｍｌと球面調和関数とを利用して、以下の式（４）により陰影情報Ｉ(θ，φ)を求める。

陰影情報導出部１０５は、上記のように求めた陰影情報Ｉ(θ，φ)を、陰影情報２０５として記憶部１０６に記憶させる。
図７は、これまでの説明にしたがって求められた陰影情報２０５を画像により可視化して示したものである。

上記のように導出された陰影情報２０５は、例えば拡張現実に対応するレンダリングエンジンが、ＣＧオブジェクトをシーン画像２０１に合成するのに利用することができる。この際、例えばレンダリングエンジンは、ＣＧオブジェクトの法線方向（θ，φ）にしたがってＩ（θ，φ）を陰影として適用する。

図８は、図７に示した陰影情報２０５を適用して陰影を付与したＣＧオブジェクトの例を示している。
図９は、図８のように陰影を付与したＣＧオブジェクトを元のシーン画像２０１に合成した合成画像２０１Ａを示している。
このように、陰影情報２０５を適用して陰影を付与することで、例えば図９にも示されるように、ＣＧオブジェクトの陰影はシーンにおける光源の状態にほぼ合致することになる。これにより、合成画像２０１Ａのシーンにおいて存在するＣＧオブジェクトの実在感が向上する。

また、図１において、記憶部１０６は、これまでの説明から理解されるように、シーン画像２０１、デプスマップ２０２、法線マップ２０３、参照物体領域２０４および陰影情報２０５などの陰影情報の導出に利用するデータを記憶する。なお、記憶部１０６に対応するデバイスとしては、例えば、ＨＤＤ（Hard Disc Drive）やフラッシュメモリなどを採用できる。
また、表示部１０７は、参照物体領域抽出部１０４の制御に応じて、抽出対象データなどの画像を表示する。
操作部１０８は、例えばユーザが参照物体の領域を表示部１０７に表示された画像から選択するための操作に使用される操作子や操作デバイスを一括して示したものである。このような操作部１０８の操作子や操作デバイスには、例えばマウスやキーボードなどが含まれる。

［処理手順例］
図１０のフローチャートは、第１の実施形態の陰影情報導出装置１００が実行する処理手順例を示している。
まず、シーン画像入力部１０１は、シーン画像２０１を入力して記憶部１０６に記憶させる（ステップＳ１０１）。
また、デプスマップ入力部１０２は、デプスマップ２０２を入力して記憶部１０６に記憶させる（ステップＳ１０２）。

次に、法線マップ導出部１０３は、記憶部１０６からデプスマップ２０２を読み込む（ステップＳ１０３）。
法線マップ導出部１０３は、読み込んだデプスマップ２０２を利用して前述のように法線マップ２０３を導出する（ステップＳ１０４）。法線マップ導出部１０３は、導出した法線マップ２０３を記憶部１０６に記憶させる（ステップＳ１０５）。

次に、参照物体領域抽出部１０４は、抽出対象データを入力する（ステップＳ１０６）。抽出対象データは前述のように、シーン画像２０１とデプスマップ２０２と法線マップ２０３の少なくともいずれか１つである。
参照物体領域抽出部１０４は、前述のように、例えばユーザの操作に応じて抽出対象データから参照物体領域２０４を抽出する（ステップＳ１０７）。参照物体領域抽出部１０４は、抽出した参照物体領域２０４を記憶部１０６に記憶させる（ステップＳ１０８）。

次に、陰影情報導出部１０５は、シーン画像２０１と法線マップ２０３と参照物体領域２０４とを入力する（ステップＳ１０９）。
陰影情報導出部１０５は、入力したシーン画像２０１と法線マップ２０３と参照物体領域２０４とを利用して、前述のように、陰影情報２０５を導出する（ステップＳ１１０）。
陰影情報導出部１０５は、このように導出した陰影情報２０５を記憶部１０６に記憶させる（ステップＳ１１１）。

＜第２の実施形態＞
［陰影情報導出装置の構成例］
次に、第２の実施形態について説明する。
図１１は、第２の実施形態における陰影情報導出装置１００Ａの構成例を示している。なお、この図において、図１と同一部分には同一符号を付して、ここでの説明は省略する。

図１１に示す陰影情報導出装置１００Ａは、図１の陰影情報導出装置１００の構成に対して、陰影情報正則化部１０９をさらに備える。
陰影情報正則化部１０９は、正則化された陰影情報２０５が導出されるように、陰影情報２０５の導出に利用する所定のパラメータを補正する。ここでの正則化は、導出された陰影が拡散反射の陰影に適合するように制約を加えることをいう。また、陰影情報正則化部１０９が補正対象とするパラメータは、球面調和関数の係数（重みｗ）である。
なお、この陰影情報正則化部１０９は、例えばＣＰＵがプログラムを実行することにより実現できる。

例えば、参照物体が鏡面反射するものであったり、デプスマップ２０２が示すデプス値に誤差が生じていることなどが要因となって、式(３)に基づいて求めた重みｗの次数間での比が、拡散反射の陰影には好ましくない結果となる可能性がある。このような結果が生じた場合、陰影情報２０５自体も、拡散反射の陰影に適合しないものとなってしまう。

拡散反射の陰影に適合していない陰影情報２０５により生じる不具合の一具体例として、例えばリンギングアーティファクトが生じる場合がある。
図１４は、図１２に示すシーン画像２０１と、図１３に示すデプスマップ２０２を入力し、図１２において白抜きの矢印で示す球の領域を参照物体領域２０４として抽出した場合に導出される陰影情報２０５を画像により可視化したものである。
図１４に示す陰影情報２０５においては、白抜きの矢印で示すように、円の左下の縁に沿うようにして明線が生じている。この明線がリンギングアーティファクトである。このリンギングアーティファクトとしての明線は、実世界の拡散反射では観察されないものである。このようなリンギングアーティファクトが生じないような陰影情報２０５を導出することができれば、これによりＣＧオブジェクトに付与される陰影についての実シーンとの合致度がさらに高くなる。

第２の実施形態における陰影情報正則化部１０９は、図１４に示したようなリンギングアーティファクトなどの現象を低減するために、以下のように陰影情報を正則化する。
つまり、陰影情報正則化部１０９は、先の式（３）により表されるエラー関数Ｅ（ｗ）に対して正則化項を加算したエラー関数Ｅ’（ｗ）を最小化する重みｗを求めるものである。エラー関数Ｅ’（ｗ）を以下の式（５）に示す。

なお、式（５）における２つの正則化項におけるλ_１とλ_２は、それぞれ、制約の強さを調節するための正則化係数である。

拡散反射の陰影を表現した際の球面調和関数の重みｗの次数間の関係は、１次（ｌ＝１）の重みの絶対値が０次（ｌ＝０）の重みの絶対値の「２／３」程度であり、２次（ｌ＝２）の重みの絶対値が０次の重みの絶対値の「１／４」程度であることが知られている。
このことに基づいて、球面調和関数の次数間の２乗和の関係は以下のように求めることができる。
つまり、０次に対する１次の重みの２乗和は、１次に対応する球面調和関数の数である「３」と、１次の重みの絶対値に対する０次（ｌ＝０）の重みの絶対値の比である「２／３」とにより、３×（２／３）^２＝４／３倍である。
また、０次に対する２次の重みの２乗和は、２次に対応する球面調和関数の数である「５」と、２次（ｌ＝１）の重みの絶対値に対する０次（ｌ＝０）の重みの絶対値の比である「１／４」とにより、５×（１／４）^２＝５／１６倍である。
式（５)のエラー関数Ｅ’（ｗ）は、上記のように求められた２乗和の倍数が示す係数比を維持するように制約を与えたものである。このように制約を与えることは、すなわち、拡散反射の陰影を表現した際の球面調和関数の重みｗの比により制約を与えることを意味する。

陰影情報正則化部１０９は、例えば、陰影情報導出部１０５が求めた式（３）のエラー関数Ｅ（ｗ）についての最小化結果を初期値として利用して、式（５）のエラー関数Ｅ’（ｗ）を最小化する重みｗを求めることができる。このように求められた球面調和関数の重みｗは、拡散反射の陰影を表現するのに適した比を有している。
なお、陰影情報正則化部１０９は、例えば、式（３）のエラー関数Ｅ（ｗ）についての最小化結果を初期値として利用してＮｅｗｔｏｎ法により式（５）のエラー関数Ｅ’（ｗ）を最小化する重みｗを求めてもよい。

第２の実施形態において、陰影情報導出部１０５は、上記のように陰影情報正則化部１０９により求められたエラー関数Ｅ’（ｗ）に対応する重みｗを利用して、式（４）の演算によって正則化陰影情報２０５Ａを求める。このように導出された正則化陰影情報２０５Ａは、例えば第１の実施形態における陰影情報２０５が正則化されたものであり、拡散反射の陰影の表現に適合したものとなっている。

図１５は、上記のように導出された正則化陰影情報２０５Ａを画像により可視化して示したものである。なお、この図１５に示す正則化陰影情報２０５Ａは、図１４と同様に、図１２に示すシーン画像２０１と、図１３に示すデプスマップ２０２を入力し、図１２において白抜きの矢印で示す球の領域を参照物体領域２０４として抽出した場合に導出されるものである。
図１５と図１４を比較して分かるように、図１５に示す正則化陰影情報２０５Ａでは、白抜きの矢印により示される箇所におけるリンギングアーティフェクトが大幅に低減されている。
そして、この正則化陰影情報２０５Ａにより拡散反射のＣＧオブジェクトに陰影を付与することによっては、そのＣＧオブジェクトのシーンにおける実在感が高まる。

［処理手順例］
図１６のフローチャートは、第２の実施形態における陰影情報導出装置１００Ａが実行する処理手順例を示している。なお、この図に示すステップにおいて、図１０と同じ処理のものについては同一符号を付し、ここでの説明を省略する。
陰影情報導出部１０５は、シーン画像２０１と法線マップ２０３と参照物体領域２０４とを入力した後（ステップＳ１０９）、式（３）のエラー関数Ｅ（ｗ）を最小化する重みｗを算出する（ステップＳ１１０Ａ）。
次に、陰影情報正則化部１０９は、ステップＳ１１０Ａにより求められた重みｗについて、式（５）のエラー関数Ｅ’（ｗ）を最小化する重みｗを求めることにより補正する（ステップＳ１１０Ｂ）。
そして、陰影情報導出部１０５は、ステップＳ１１０Ｂにより補正された重みｗを利用して、正則化陰影情報２０５Ａを算出する（ステップＳ１１０Ｃ）。これにより、陰影情報導出部１０５は正則化された陰影情報を導出したことになる。そして、陰影情報導出部１０５は、算出した正則化陰影情報２０５Ａを記憶部１０６に記憶させる（ステップＳ１１１）。このような処理によって、第２の実施形態における陰影情報導出装置１００Ａは、拡散反射に対応して正則化された陰影情報を得ることができる。

なお、図１や図１１における各機能部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本実施形態の陰影情報の導出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００、１００Ａ…陰影情報導出装置， １０１…シーン画像入力部， １０２…デプスマップ入力部， １０３…法線マップ導出部， １０４…参照物体領域抽出部， １０５…陰影情報導出部， １０６…記憶部， １０７…表示部， １０８…操作部， １０９…陰影情報正則化部， ２０１…シーン画像， ２０１Ａ…合成画像， ２０２…デプスマップ， ２０３…法線マップ， ２０４…参照物体領域， ２０５…陰影情報， ２０５Ａ…正則化陰影情報

Claims (5)

1. シーンとしての画像内容を有するシーン画像に対応するデプスマップに基づいて前記シーン画像が示すシーンの法線マップを導出する法線マップ導出部と、
   前記シーン画像と前記デプスマップと前記法線マップとの少なくともいずれか１つに基づいて参照物体の領域部分である参照物体領域を抽出する参照物体領域抽出部と、
   前記シーン画像と前記法線マップと前記参照物体領域とに基づいて陰影情報を導出する陰影情報導出部と、
   を備える陰影情報導出装置。
2. 正則化された陰影情報が導出されるように、陰影情報の導出に利用する所定のパラメータを補正する陰影情報正則化部をさらに備える、
   請求項１に記載の陰影情報導出装置。
3. シーンとしての画像内容を有するシーン画像に対応するデプスマップに基づいて前記シーン画像が示すシーンの法線マップを導出する法線マップ導出ステップと、
   前記シーン画像と前記デプスマップと前記法線マップとの少なくともいずれか１つに基づいて参照物体の領域部分である参照物体領域を抽出する参照物体領域抽出ステップと、
   前記シーン画像と前記法線マップと前記参照物体領域とに基づいて陰影情報を導出する陰影情報導出ステップと、
   を備える陰影情報導出方法。
4. 正則化された陰影情報が導出されるように、陰影情報の導出に利用する所定のパラメータを補正する陰影情報正則化ステップをさらに備える、
   請求項３に記載の陰影情報導出方法。
5. コンピュータを、請求項１または２に記載の陰影情報導出装置として機能させるためのプログラム。