JP2014120079A - 陰影情報導出装置、陰影情報導出方法及びプログラム - Google Patents

陰影情報導出装置、陰影情報導出方法及びプログラム Download PDF

Info

Publication number
JP2014120079A
JP2014120079A JP2012276252A JP2012276252A JP2014120079A JP 2014120079 A JP2014120079 A JP 2014120079A JP 2012276252 A JP2012276252 A JP 2012276252A JP 2012276252 A JP2012276252 A JP 2012276252A JP 2014120079 A JP2014120079 A JP 2014120079A
Authority
JP
Japan
Prior art keywords
shadow information
dimensional point
deriving
unit
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012276252A
Other languages
English (en)
Other versions
JP5909176B2 (ja
Inventor
Yasuhiro Yao
泰洋 八尾
Harumi Kawamura
春美 川村
Akira Kojima
明 小島
Original Assignee
Nippon Telegr & Teleph Corp <Ntt>
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegr & Teleph Corp <Ntt>, 日本電信電話株式会社 filed Critical Nippon Telegr & Teleph Corp <Ntt>
Priority to JP2012276252A priority Critical patent/JP5909176B2/ja
Publication of JP2014120079A publication Critical patent/JP2014120079A/ja
Application granted granted Critical
Publication of JP5909176B2 publication Critical patent/JP5909176B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】従来にない方法で陰影情報を導出すること。
【解決手段】複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて多視点画像が示すシーン全体の三次元点群を導出する三次元再構成部と、三次元再構成部が導出したシーン全体の三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出部と、参照物体領域抽出部が抽出した参照物体の三次元点群の法線を導出する法線導出部と、参照物体の三次元点群と参照物体の三次元点群の法線とに基づいて陰影情報を導出する陰影情報導出部と、を備える陰影情報導出装置。
【選択図】図1

Description

本発明は、陰影情報を導出する技術に関する。
拡張現実においては、例えば仮想物体などのCG(コンピュータグラフィックス)オブジェクトをシーン画像に合成する際に、そのCGオブジェクトに陰影を付与することが行われている。このように、CGオブジェクトに対応して陰影を付加することによって、シーン画像においてそのCGオブジェクトが実際に存在しているかのように見せることができる。
上記のように陰影を付加するのにあたっては陰影情報が利用される。陰影情報とは、シーン画像におけるCGオブジェクトの合成位置に対応させて実シーンにCGオブジェクトの実体を位置させたとした場合に生じる陰影が、シーン画像においてはどのように表現されるのかを示す情報である。
陰影情報の導出は、例えば、シーンにおける光源に関する情報(光源情報)を推定し、この光源情報に基づいてCGオブジェクトのレンダリングを行うことにより実現されている。
光源情報を推定するにあたり、例えば全方位を撮像する全方位カメラを利用するというものが知られている(例えば、非特許文献1参照)。この手法は、全方位を撮像した画像のいずれかの部分において光源が撮像されていることを前提としている。そのうえで、この手法は、全方位カメラにより撮像した画像に基づいて、シーン画像に対応する光源の位置、色、位置、強度などを推定するというものである。
また、金属球を利用する手法が知られている(例えば、非特許文献2参照)。この手法は、上記の全方位カメラに準じた考え方に基づいている。つまり、この手法は、金属球に映った周囲のシーンの映像において光源も含まれていることを前提とする。そのうえで、この手法は、周囲のシーンが映り込んでいる金属球の画像に基づいて光源の位置、色、位置、強度などを推定するものである。
また、拡散反射面を有する白色球を利用する手法が知られている(例えば、非特許文献3参照)。この手法では、白色球の画像において現れている陰影に基づいて、その白色球の周囲における光源の色、強度、方向等を推定するものである。
さらに、反射特性が既知の平面において生じる形状が既知の物体の影に基づいて光源分布を推定するという手法も知られている(例えば、非特許文献4参照)。
また、使用する機器やシーン中の物体の反射特性の測定などの事前手続きを必要としない手法も知られている(例えば、非特許文献5参照)。この手法は、Kinect(登録商標)などのRGB+Dセンサを用いてカラー画像と共に距離計測によって奥行情報を取得することでデプスマップを取得する。そして、この手法は、取得したカラー画像及びデプスマップを入力として少数の球面調和関数の重みのみを求めることで、陰影情報の導出を行う。
佐藤いまり,林田守広,甲斐郁代,佐藤洋一,池内克史,実光環境下での画像生成 : 基礎画像の線形和による高速レンダリング手法, 電子情報通信学会論文誌. D−II,情報・システム,II−パターン処理 J84−D−II(8),pages 1864−1872,2001. Kusuma Agusanto, Li Li, Zhu Chuangui, and Ng Wan Sing, Photorealistic rendering for augmented reality using environment illumination, Proceedings of the Second IEEE and ACM International Symposium on Mixed and AugmentedReality (ISMAR), pages 208-216, 2003. Miika Aittala, Inverse lighting and photorealistic rendering or augmented reality, The Visual Computer, Volume 26, Issue 6, pages 669-678, 2010. 佐藤いまり,佐藤洋一,池内克史,物体の陰影に基づく光源環境の推定,情報処理学会誌:コンピュータビジョンとイメージメディア,Volume 41,Number SIG 10(CVIM 1),pages 31−40,2000. 八尾泰洋,磯和之,川村春美,小島明,拡散反射と認知される陰影の一般物体からの取得,VR学研報,Volume 17,Number CS−1,2012.
非特許文献1による手法を利用する場合には全方位カメラが必要である。この全方位カメラは、例えば魚眼レンズを備える特殊な機器であって、例えばコンシューマなどともいわれる一般のエンドユーザが手軽に入手できるものではない。
また、非特許文献2、3による手法の場合にも、金属球あるいは拡散反射面を有する白色球を準備する必要がある。このような金属球や白色球も器具としては特殊でありエンドユーザが容易に入手できるものではない。
また、非特許文献4による手法の場合、物体の形状と平面の反射特性が既知である必要がある。この場合、ユーザは、これらの物体の形状と平面の反射特性を測定しなければならず、このためには、一定以上の専門知識を必要とする。
また、非特許文献5による手法の場合、Kinect(登録商標)などのRGB+Dセンサを用いてカラー画像及びデプスマップを取得する必要がある。このようなKinect(登録商標)も装置としては一般的には普及していないため、使用できる場面が限定されてしまう。
このように、非特許文献1〜5によるいずれの手法も、例えば一般的でない装置や器具を必要としたり、あるいは、専門知識を必要とする。したがって、非特許文献1〜5のいずれの手法によっても、例えば拡張現実において陰影のあるCGオブジェクトをシーン画像に合成できるような環境をエンドユーザに提供することは難しい。
上記事情に鑑み、本発明は、従来にない方法で陰影情報を導出する技術の提供を目的としている。
本発明の一態様は、複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて前記多視点画像が示すシーン全体の三次元点群を導出する三次元再構成部と、前記三次元再構成部が導出したシーン全体の前記三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出部と、参照物体領域抽出部が抽出した前記参照物体の三次元点群の法線を導出する法線導出部と、前記参照物体の三次元点群と前記参照物体の三次元点群の法線とに基づいて陰影情報を導出する陰影情報導出部と、を備える陰影情報導出装置である。
本発明の一態様は、複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて前記多視点画像が示すシーン全体の三次元点群を導出する三次元再構成ステップと、前記三次元再構成ステップによって導出されたシーン全体の前記三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出ステップと、参照物体領域抽出ステップによって抽出された前記参照物体の三次元点群の法線を導出する法線導出ステップと、前記参照物体の三次元点群と前記参照物体の三次元点群の法線とに基づいて陰影情報を導出する陰影情報導出ステップと、を有する陰影情報導出方法である。
本発明の一態様は、コンピュータを、請求項1に記載の陰影情報導出装置として機能させるためのプログラムである。
本発明により、従来にない方法で陰影情報を導出することが可能となる。
第1の実施形態における陰影情報導出装置の構成例を示す図である。 多視点画像の一例を示す図である。 三次元点群を可視化して示す図である。 参照物体の三次元点群の抽出結果を示す図である。 参照物体の三次元点群の法線の導出結果を示す図である。 第1および第2の実施形態において利用する球面調和関数を可視化して示す図である。 第1の実施形態における陰影情報を可視化して示す図である。 陰影情報により陰影を付与したCGオブジェクトの一例を示す図である。 第1の実施形態における陰影情報導出装置が実行する処理手順例を示す図である。 第2の実施形態における陰影情報導出装置の構成例を示す図である。 第2の実施形態の陰影情報正則化部により正則化されていない陰影情報を可視化して示す図である。 第2の実施形態の陰影情報正則化部により正則化された陰影情報を可視化して示す図である。 第2の実施形態における陰影情報導出装置が実行する処理手順例を示す図である。
<第1の実施形態>
[陰影情報導出装置の構成例]
以下、本発明の第1の実施形態の陰影情報導出装置について説明する。本実施形態の陰影情報導出装置は、多視点画像を入力して陰影情報を導出する。多視点画像とは、参照物体を取り囲むように複数の視点から撮影されたシーンとしての画像内容を有する画像である。
本実施形態において、陰影情報とは、シーン画像におけるCG(コンピュータグラフィックス)オブジェクトの合成位置に対応させて実シーンにCGオブジェクトの実体を位置させたとした場合に生じる陰影を、多視点画像において表現するための情報である。この陰影情報は、CGオブジェクトを合成したシーン画像において、CGオブジェクトの位置やシーンの照明に応じた陰影を与えるのに利用される。このようにして陰影が与えられることで、シーン画像においてCGオブジェクトが自然に見えることになり、CGオブジェクトが合成されたシーン画像の現実感が向上する。
図1は、第1の実施形態における陰影情報導出装置100の構成例を示している。この図に示す陰影情報導出装置100は、多視点画像入力部101、三次元再構成部102、領域抽出部103、法線導出部104、陰影情報導出部105の各機能部を備える。なお、これらの機能部は、例えばCPU(Central Processing Unit)などがプログラムを実行することにより実現される。また、陰影情報導出装置100は、記憶部106などのデバイスを備える。
多視点画像入力部101は、多視点画像201を外部から入力し、記憶部106に記憶させる。ここで、参照物体は、シーンにおいてCGオブジェクトが配置される位置の光源情報を取得するにあたって陰影情報導出部105が参照する物体である。なお、参照物体は、表面が多数の法線方向を持つ、丸みを帯びた物体が望ましい。
本実施形態における多視点画像201は、例えば現実の或る環境を複数の視点から撮像して得られた画像であればよい。即ち、多視点画像201は、必ずしも時系列順に撮像された画像である必要はない。
図2は、上記のように現実の或る環境を複数の視点から撮像して得られた多視点画像201の画像内容の一例を示している。図2に示す例では、多視点画像201として複数の視点から撮像された10枚のシーン画像201−1〜201−10が示されている。なお、符号20で示されている物体が参照物体である。
三次元再構成部102は、記憶部106に記憶される多視点画像201が示すシーン全体の三次元点群202を導出する。ここでの三次元点群は、多視点画像201から再構成された各点の三次元位置と色(RGB値)を表すデータである。
三次元再構成部102は、例えば以下のようにしてシーン全体の三次元点群202を導出する。まず、三次元再構成部102は、記憶部106から多視点画像201を読み込む。次に、三次元再構成部102は、多視点画像201の特徴点を抽出する。三次元再構成部102は、多視点画像201間で、抽出した特徴点の対応付けを行う。そして、三次元再構成部102は、シーン全体の三次元点群とカメラ位置とを推定する。この処理によって三次元再構成部102は、全てのシーン画像201−1〜201−10で整合性の取れていた特徴点に対応する点のみ再構成する。そのため、一般的にはシーン全体に対して密な三次元点群が得られることはなく、シーン全体に対して少数の三次元点群が得られる。
次に、三次元再構成部102は、再構成された疎な三次元点群およびカメラ位置を入力として三次元位置が決定された点の近傍から全ての点にピクセルレベルで対応付けを行い、密な三次元点群を計算することで実現できる(参考文献1:Yasutaka Furukawa and Jean Ponce, Accurate, Dense, and Robust Multiview Stereopsis, IEEE Transactions on Pattern Analysis and Machine Learning, Volume 32, Issue 8, pages 1362-1376, 2010.参照)。
三次元再構成部102の処理は、例えば、Visual SFM(Structure From Motion)とCMVS(Clustering Views for Multi-view Stereo)/PMVS(Patch-based Multi-view Stereo)とを用いて実現されてもよい。三次元再構成部102は、導出したシーン全体の三次元点群202を記憶部106に記憶させる。
図3は、三次元再構成部102が導出したシーン全体の三次元点群202の例を可視化した図である。三次元再構成部102の処理によって少数(例えば、10枚)のシーン画像から図3に示すような参照物体を含むシーン全体の三次元点群202が再構成される。
領域抽出部103は、記憶部106に記憶されるシーン全体の三次元点群202に基づいて参照物体の領域部分である参照物体の三次元点群203を抽出する。領域抽出部103は、例えば以下のように参照物体の三次元点群203を抽出する。領域抽出部103は、記憶部106からシーン全体の三次元点群202を読み込む。そして、領域抽出部103は、シーン全体の三次元点群202に対して領域分割を行う。
領域抽出部103は、例えば、画素の色が似ている(画素値の差が閾値より小さい)隣接する三次元点同士を同じ領域と判定するアルゴリズムによって領域分割を行ってもよいし、他の方法であってもよい。その後、領域抽出部103は、領域分割された領域の中から一つの領域を参照物体の三次元点群203として抽出する。領域抽出部103は、例えば、領域分割された領域の中から三次元点群の規模が最大の領域を抽出する。領域抽出部103は、抽出した参照物体の三次元点群203を記憶部106に記憶させる。
図4は、参照物体の三次元点群203の抽出結果を示す図である。
図4には、シーン全体の三次元点群202から抽出された参照物体の三次元点群が示されている。図4に示された参照物体の三次元点群を用いて陰影情報を導出する処理が行われる。
法線導出部104は、記憶部106に記憶される参照物体の三次元点群203に基づいて参照物体の三次元点群の法線204を導出する。法線導出部104は、例えば以下のように参照物体の三次元点群の法線204を導出する。法線導出部104は、記憶部106から参照物体の三次元点群203を読み込む。法線導出部104は、各三次元点の近傍の点群について固有値分析を行う。固有値分析とは、各三次元点の近傍の点群について固有値を算出し、算出した固有値の中から最小の固有値(最小固有値)を算出する処理である。法線導出部104は、固有値分析の結果、最小固有値に対応する固有ベクトルを参照物体の三次元点群の法線204として導出する。法線導出部104は、導出した参照物体の三次元点群の法線204を記憶部106に記憶させる。
図5は、参照物体の三次元点群の法線204の導出結果を示す図である。
図5(A)は正面図、図5(B)は平面図である。また、図5(A)および図5(B)の各三次元点から延びている直線は、導出された参照物体の三次元点群の法線204(法線ベクトル)を表す。
陰影情報導出部105は、参照物体の三次元点群203と参照物体の三次元点群の法線204とに基づいて陰影情報を導出する。
一具体例として、陰影情報導出部105は、以下のように陰影情報を導出する。
まず、陰影情報導出部105は、記憶部106から参照物体の三次元点群203と参照物体の三次元点群の法線204とを読み出す。
陰影情報導出部105は、読み出した参照物体の三次元点群203に含まれる画素ごとに番号n(n=1・・・N)を付す。なお、参照物体の三次元点群203に含まれる画素の配列と番号nとの対応は演算結果には影響を及ぼさないので、参照物体の三次元点群203に含まれる画素に対する番号nの付与規則については特に限定されない。
陰影情報導出部105は、陰影情報を導出するのに、球面調和関数を用いる。球面調和関数を用いることによっては、例えば光源数が増加しても問題が複雑にならない、また、少数の基底によって拡散反射の陰影を高精度で表現できるなどの利点がある。
球面調和関数は、球面座標(θ,φ)についての関数であり、以下の式(1)により定義される。
式(1)において、l、mは整数であり、l≧0、−l≦m≦lである。lは次数を示す。また、Klmは正規化係数であり、Plmはルジャンドル(Legendre)陪関数である。
本実施形態においては、球面調和関数を9つとするように0次から2次に限定することによって、未知の反射特性の物体から拡散反射の陰影を導出するにあたってのロバスト性を向上させることができる。
図6は、本実施形態で用いる0次から2次の9つの球面調和関数を示した図である。
陰影情報導出部105は、図6のように表現される9つの球面調和関数を統合するにあたり、球面調和関数ごとに係数(重み)を設定する。このために、例えば、陰影情報導出部105は、以下の式(2)により表される誤差関数E(w)を最小にするような重みwを求める。式(2)において、Inは参照物体の三次元点群203中のn番目の画素の輝度値であり、(θn,φn)は同画素の位置における法線ベクトルである。
なお、陰影情報導出部105は、例えばQR分解などの手法を利用した演算により厳密にE(w)の最小化を行うことができる。
そして、陰影情報導出部105は、式(2)により算出した整数l、mの組み合わせごとの重みwmlと球面調和関数とを利用して、以下の式(3)により陰影情報I(θ,φ)を求める。
陰影情報導出部105は、上記のように求めた陰影情報I(θ,φ)を、陰影情報205として記憶部106に記憶させる。
図7は、これまでの説明にしたがって求められた陰影情報205を画像により可視化して示したものである。
上記のように導出された陰影情報205は、例えば拡張現実に対応するレンダリングエンジンが、CGオブジェクトをシーン画像に合成するのに利用することができる。
この際、例えばレンダリングエンジンは、CGオブジェクトの法線方向(θ,φ)にしたがってI(θ,φ)を陰影として適用する。
図8は、図7に示した陰影情報205を適用して陰影を付与したCGオブジェクトの例を示している。
また、図1において、記憶部106は、これまでの説明から理解されるように、多視点画像201、シーン全体の三次元点群202、参照物体の三次元点群203、参照物体の三次元点群の法線204および陰影情報205などの陰影情報の導出に利用するデータおよび導出された陰影情報205を記憶する。なお、記憶部106に対応するデバイスとしては、例えば、HDD(Hard Disc Drive)やフラッシュメモリなどを採用できる。
[処理手順例]
図9のフローチャートは、第1の実施形態の陰影情報導出装置100が実行する処理手順例を示している。
まず、多視点画像入力部101は、複数の視点から撮像された多視点画像201を入力して記憶部106に記憶させる(ステップS101)。
次に、三次元再構成部102は、記憶部106から多視点画像201を読み込む。そして、三次元再構成部102は、読み込んだ多視点画像201を利用して前述のようにシーン全体の三次元点群202を導出する(ステップS102)。
三次元再構成部102は、導出したシーン全体の三次元点群202を記憶部106に記憶させる(ステップS103)。
次に、領域抽出部103は、シーン全体の三次元点群202を入力する。領域抽出部103は、前述のように、領域分割を行うことによってシーン全体の三次元点群202の中から参照物体の三次元点群203を抽出する(ステップS104)。
領域抽出部103は、抽出した参照物体の三次元点群203を記憶部106に記憶させる(ステップS105)。
次に、法線導出部104は、前述のように、参照物体の三次元点群の法線204を導出する(ステップS106)。
法線導出部104は、導出した参照物体の三次元点群の法線204を記憶部106に記憶させる(ステップS107)。
次に、陰影情報導出部105は、参照物体の三次元点群203と参照物体の三次元点群の法線204とを入力する(ステップS108)。
陰影情報導出部105は、入力した参照物体の三次元点群203と参照物体の三次元点群の法線204とを利用して、前述のように、陰影情報205を導出する(ステップS109)。
陰影情報導出部105は、このように導出した陰影情報205を記憶部106に記憶させる(ステップS110)。
以上のように構成された陰影情報導出装置100は、従来にない方法で陰影情報を導出することが可能となる。具体的には、陰影情報導出装置100は、参照物体を複数の視点から撮影した多視点画像のみを用いて陰影情報を導出する。したがって、陰影情報導出装置100は、非特許文献1に記載の全方位カメラのような特殊な機器を用意する必要がない。また、非特許文献2、3に記載の金属球あるいは拡散反射面を有する白色球などの特殊な器具を用意する必要もない。また、非特許文献4に記載の影に基づいて光源分布を推定するといった一定以上の専門知識も必要としない。また、非特許文献5に記載のKinect(登録商標)のような装置を用いる必要も無い。その結果、適用場面が限定されてしまうことがなく、容易に陰影情報を導出することができる。また、陰影情報導出装置100は、撮像された画像のみを用いて陰影情報を導出できるため、汎用性を向上させることができる。
また、上述したように、陰影情報導出装置100では、10枚程度の少数の多視点画像を入力として得られる疎な三次元点群を用いた場合であっても十分なサンプルが得られる。そして、陰影情報導出装置100では、少数の多視点画像であっても精度を大きく落とすことなく陰影情報の導出が可能となる。その結果、導出した陰影情報を付与したCGオブジェクトをシーン画像に合成することで現実感を向上させることができる。
<変形例>
多視点画像は、予め記憶部106に記憶されていてもよい。
<第2の実施形態>
[陰影情報導出装置の構成例]
次に、第2の実施形態について説明する。
図10は、第2の実施形態における陰影情報導出装置100Aの構成例を示している。
なお、この図において、図1と同一部分には同一符号を付して、ここでの説明は省略する。
図10に示す陰影情報導出装置100Aは、図1の陰影情報導出装置100の構成に対して、陰影情報正則化部109をさらに備える。
陰影情報正則化部109は、正則化された陰影情報205が導出されるように、陰影情報205の導出に利用する所定のパラメータを補正する。ここでの正則化は、導出された陰影が拡散反射の陰影に適合するように制約を加えることをいう。また、陰影情報正則化部109が補正対象とするパラメータは、球面調和関数の係数(重みw)である。
なお、この陰影情報正則化部109は、例えばCPUがプログラムを実行することにより実現できる。
例えば、参照物体が鏡面反射するものである場合、式(2)に基づいて求めた重みwの次数間での比が、拡散反射の陰影には好ましくない結果となる可能性がある。このような結果が生じた場合、陰影情報205自体も、拡散反射の陰影に適合しないものとなってしまう。
拡散反射の陰影に適合していない陰影情報205により生じる不具合の一具体例として、例えばリンギングアーティファクトが生じる場合がある。
図11は、第2の実施形態の陰影情報正則化部109により正則化されていない陰影情報を可視化して示す図である。図11に示す陰影情報205においては、白抜きの矢印で示すように、円の左下の縁に沿うようにして明線が生じている。この明線がリンギングアーティファクトである。このリンギングアーティファクトとしての明線は、実世界の拡散反射では観察されないものである。このようなリンギングアーティファクトが生じないような陰影情報205を導出することができれば、これによりCGオブジェクトに付与される陰影についての実シーンとの合致度がさらに高くなる。
第2の実施形態における陰影情報正則化部109は、図11に示したようなリンギングアーティファクトなどの現象を低減するために、以下のように陰影情報を正則化する。
つまり、陰影情報正則化部109は、先の式(2)により表されるエラー関数E(w)に対して正則化項を加算したエラー関数E’(w)を最小化する重みwを求めるものである。エラー関数E’(w)を以下の式(4)に示す。
なお、式(4)における2つの正則化項におけるλとλは、それぞれ、制約の強さを調節するための正則化係数である。
拡散反射の陰影を表現した際の球面調和関数の重みwの次数間の関係は、1次(l=1)の重みの絶対値が0次(l=0)の重みの絶対値の「2/3」程度であり、2次(l=2)の重みの絶対値が0次の重みの絶対値の「1/4」程度であることが知られている。
このことに基づいて、球面調和関数の次数間の2乗和の関係は以下のように求めることができる。
つまり、0次に対する1次の重みの2乗和は、1次に対応する球面調和関数の数である「3」と、1次の重みの絶対値に対する0次(l=0)の重みの絶対値の比である「2/3」とにより、3×(2/3)=4/3倍である。
また、0次に対する2次の重みの2乗和は、2次に対応する球面調和関数の数である「5」と、2次(l=1)の重みの絶対値に対する0次(l=0)の重みの絶対値の比である「1/4」とにより、5×(1/4)=5/16倍である。
式(4)のエラー関数E’(w)は、上記のように求められた2乗和の倍数が示す係数比を維持するように制約を与えたものである。このように制約を与えることは、すなわち、拡散反射の陰影を表現した際の球面調和関数の重みwの比により制約を与えることを意味する。
陰影情報正則化部109は、例えば、陰影情報導出部105が求めた式(2)のエラー関数E(w)についての最小化結果を初期値として利用して、式(4)のエラー関数E’(w)を最小化する重みwを求めることができる。このように求められた球面調和関数の重みwは、拡散反射の陰影を表現するのに適した比を有している。
なお、陰影情報正則化部109は、例えば、式(2)のエラー関数E(w)についての最小化結果を初期値として利用してNewton法により式(4)のエラー関数E’(w)を最小化する重みwを求めてもよい。
第2の実施形態において、陰影情報導出部105は、上記のように陰影情報正則化部109により求められたエラー関数E’(w)に対応する重みwを利用して、式(3)の演算によって正則化陰影情報205Aを求める。このように導出された正則化陰影情報205Aは、例えば第1の実施形態における陰影情報205が正則化されたものであり、拡散反射の陰影の表現に適合したものとなっている。
図12は、上記のように導出された正則化陰影情報205Aを画像により可視化して示したものである。
図12と図11を比較して分かるように、図12に示す正則化陰影情報205Aでは、白抜きの矢印により示される箇所におけるリンギングアーティフェクトが大幅に低減されている。
そして、この正則化陰影情報205Aにより拡散反射のCGオブジェクトに陰影を付与することによっては、そのCGオブジェクトのシーンにおける実在感が高まる。
[処理手順]
図13のフローチャートは、第2の実施形態における陰影情報導出装置100Aが実行する処理手順例を示している。なお、この図に示すステップにおいて、図9と同じ処理のものについては同一符号を付し、ここでの説明を省略する。
陰影情報導出部105は、参照物体の三次元点群203と参照物体の三次元点群の法線204とを入力した後(ステップS108)、式(2)のエラー関数E(w)を最小化する重みwを算出する(ステップS110A)。
次に、陰影情報正則化部109は、ステップS110Aにより求められた重みwについて、式(4)のエラー関数E’(w)を最小化する重みwを求めることにより補正する(ステップS110B)。
そして、陰影情報導出部105は、ステップS110Bにより補正された重みwを利用して、正則化陰影情報205Aを算出する(ステップS110C)。これにより、陰影情報導出部105は正則化された陰影情報を導出したことになる。そして、陰影情報導出部105は、算出した正則化陰影情報205Aを記憶部106に記憶させる(ステップS111A)。このような処理によって、第2の実施形態における陰影情報導出装置100Aは、拡散反射に対応して正則化された陰影情報を得ることができる。
<変形例>
多視点画像は、予め記憶部106に記憶されていてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
なお、図1や図10における各機能部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本実施形態の陰影情報の導出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
100…陰影情報導出装置, 101…多視点画像入力部, 102…三次元再構成部, 103…領域抽出部, 104…法線導出部, 105…陰影情報導出部, 106…記憶部, 109…陰影情報正則化部, 201…多視点画像, 202…シーン全体の三次元点群, 203…参照物体の三次元点群, 204…参照物体の三次元点群の法線, 205…陰影情報

Claims (3)

  1. 複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて前記多視点画像が示すシーン全体の三次元点群を導出する三次元再構成部と、
    前記三次元再構成部が導出したシーン全体の前記三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出部と、
    参照物体領域抽出部が抽出した前記参照物体の三次元点群の法線を導出する法線導出部と、
    前記参照物体の三次元点群と前記参照物体の三次元点群の法線とに基づいて陰影情報を導出する陰影情報導出部と、
    を備える陰影情報導出装置。
  2. 複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて前記多視点画像が示すシーン全体の三次元点群を導出する三次元再構成ステップと、
    前記三次元再構成ステップによって導出されたシーン全体の前記三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出ステップと、
    参照物体領域抽出ステップによって抽出された前記参照物体の三次元点群の法線を導出する法線導出ステップと、
    前記参照物体の三次元点群と前記参照物体の三次元点群の法線とに基づいて陰影情報を導出する陰影情報導出ステップと、
    を有する陰影情報導出方法。
  3. コンピュータを、請求項1に記載の陰影情報導出装置として機能させるためのプログラム。
JP2012276252A 2012-12-18 2012-12-18 陰影情報導出装置、陰影情報導出方法及びプログラム Active JP5909176B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012276252A JP5909176B2 (ja) 2012-12-18 2012-12-18 陰影情報導出装置、陰影情報導出方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012276252A JP5909176B2 (ja) 2012-12-18 2012-12-18 陰影情報導出装置、陰影情報導出方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014120079A true JP2014120079A (ja) 2014-06-30
JP5909176B2 JP5909176B2 (ja) 2016-04-26

Family

ID=51174839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012276252A Active JP5909176B2 (ja) 2012-12-18 2012-12-18 陰影情報導出装置、陰影情報導出方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5909176B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915980A (zh) * 2015-06-29 2015-09-16 北京航空航天大学 一种基于稀疏光场基元的运动对象多视角光影合成方法
JP2016151414A (ja) * 2015-02-16 2016-08-22 国立研究開発法人防災科学技術研究所 地表変化解析システム
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Cygames 複合現実環境を作成するためのシステム等
JP6134874B1 (ja) * 2017-01-10 2017-05-24 株式会社Cygames 複合現実環境を作成するためのシステム等

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067772A (ja) * 2001-08-30 2003-03-07 Canon Inc 画像処理装置及び方法
JP2003216973A (ja) * 2002-01-21 2003-07-31 Canon Inc 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
JP2004021388A (ja) * 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム
JP2005092549A (ja) * 2003-09-18 2005-04-07 Canon Inc 三次元画像処理方法および装置
WO2010087164A1 (ja) * 2009-01-29 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
JP2012008867A (ja) * 2010-06-25 2012-01-12 Topcon Corp 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
JP2012194751A (ja) * 2011-03-16 2012-10-11 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067772A (ja) * 2001-08-30 2003-03-07 Canon Inc 画像処理装置及び方法
JP2003216973A (ja) * 2002-01-21 2003-07-31 Canon Inc 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
JP2004021388A (ja) * 2002-06-13 2004-01-22 Nippon Hoso Kyokai <Nhk> 画像処理装置及びそれを備えた撮影システム
JP2005092549A (ja) * 2003-09-18 2005-04-07 Canon Inc 三次元画像処理方法および装置
WO2010087164A1 (ja) * 2009-01-29 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
JP2012008867A (ja) * 2010-06-25 2012-01-12 Topcon Corp 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
JP2012194751A (ja) * 2011-03-16 2012-10-11 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015052212; 杜菲, 外3名: '"複雑照明下における運動物体の反射特性の推定"' 電子情報通信学会論文誌 第J88-D-II巻, 第8号, 20050801, p.1460-1468, 社団法人電子情報通信学会 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016151414A (ja) * 2015-02-16 2016-08-22 国立研究開発法人防災科学技術研究所 地表変化解析システム
CN104915980A (zh) * 2015-06-29 2015-09-16 北京航空航天大学 一种基于稀疏光场基元的运动对象多视角光影合成方法
CN104915980B (zh) * 2015-06-29 2017-10-20 北京航空航天大学 一种基于稀疏光场基元的运动对象多视角光影合成方法
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Cygames 複合現実環境を作成するためのシステム等
WO2017221461A1 (ja) * 2016-06-20 2017-12-28 株式会社Cygames 複合現実環境を作成するためのシステム等
JP6134874B1 (ja) * 2017-01-10 2017-05-24 株式会社Cygames 複合現実環境を作成するためのシステム等

Also Published As

Publication number Publication date
JP5909176B2 (ja) 2016-04-26

Similar Documents

Publication Publication Date Title
JP4880090B2 (ja) 3dテクスチャの超解像のための画像生成装置及び方法
KR20100073173A (ko) 3차원 모델 생성 방법 및 장치
KR20120093063A (ko) 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
JP5909176B2 (ja) 陰影情報導出装置、陰影情報導出方法及びプログラム
KR101666854B1 (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
US8633926B2 (en) Mesoscopic geometry modulation
US9147279B1 (en) Systems and methods for merging textures
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
US8908994B2 (en) 2D to 3d image conversion
KR101593316B1 (ko) 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
Nguyen et al. High-definition texture reconstruction for 3D image-based modeling
JP5795556B2 (ja) 陰影情報導出装置、陰影情報導出方法及びプログラム
CN108305281A (zh) 图像的校准方法、装置、存储介质、程序产品和电子设备
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
JP5952757B2 (ja) 陰影情報導出装置、陰影情報導出方法及びプログラム
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
WO2019228144A1 (zh) 图像处理方法和装置
Pramote et al. Improve accuracy of disparity map for stereo images using SIFT and weighted color model
US20210044788A1 (en) System and method for performing 3d imaging of an object
Park et al. GPU accelerated view synthesis from multiple RGB-D images
KR20130101430A (ko) 스테레오 영상에서 가상 정면평행 평면 투영에 기반한 효율적인 시청자 중심 깊이 조정 장치 및 방법
Tokieda et al. High-frequency shape recovery from shading by CNN and domain adaptation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160325

R150 Certificate of patent or registration of utility model

Ref document number: 5909176

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150