JP2021149679A - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】単一視点の広視野角撮像画像を用いて、照明環境を精度よく推定することが可能な画像処理システムを提供する。【解決手段】対象空間が広視野角で撮像された単一視点の広視野角撮像画像から、前記広視野角撮像画像における画素ごとに、前記広視野角撮像画像の撮像位置に相当する光学中心から当該画素までの距離を示す距離情報を推定する距離情報推定部と、前記広視野角撮像画像から、少なくとも前記対象空間に存在する物体の反射率を示す反射率情報を含むマテリアル情報を推定するマテリアル情報推定部と、前記広視野角撮像画像、前記距離情報、及び前記マテリアル情報から、前記対象空間における光源の位置及び強度を示す情報を少なくとも含む光源情報を推定する光源情報推定部と、前記距離情報、前記マテリアル情報、及び前記光源情報から、仮想的な空間であるシミュレーション空間を生成するシミュレーション空間生成部と、を備える。【選択図】図１

Description

本発明は、画像処理システム、画像処理方法、及びプログラムに関する。

近年、空間を一度に広い視野角で撮像可能であるデバイスが普及し、安価で購入できるようになった。これより、広い視野角で撮像された画像（以下、広視野角撮像画像とも称する）を用いたサービスが多く登場している。例えば、不動産業界においては、不動産物件の室内空間などが撮像された広視野角撮像画像から、この室内空間を仮想空間としてモデル化し、ヘッドマウントディスプレイ（ＨＭＤ）などに表示させるサービスがある。これにより、その場に行かなくても、あたかも物件を内覧しているかのような体験をユーザに提供することができる。また、室内の仮想空間に家具や設備などの備品を示すＣＧオブジェクト（仮想モデルによるオブジェクト）を配置して、室内のインテリアコーディネートをシミュレーションできるホームステージングサービスがある。このようなサービスを提供することにより、ユーザに不動産物件の内覧や、備品の配置を仮想的に体験させることができ、戸建てやマンション等の購入を促進させることができる。

ここで、画像にＣＧオブジェクトを合成する技術として、特許文献１には仮想の被写体を実写の背景画像に合成する技術が開示されている。特許文献１では、２つ以上の視点からなる環境マップ（全周囲画像）のデータから背景画像を撮像した周辺の照明環境の三次元形状のデータを生成する。そして、生成した三次元形状のデータを光源として、仮想の被写体を背景画像に合成する。特許文献１の手法によると、周辺の照明環境の三次元形状のデータを生成することにより、仮想の被写体を合成する位置に応じた適切なライティングで仮想の被写体の合成を行うことができる。したがって、背景画像と仮想の被写体とを、不自然に見えないように合成することができる。

特許第５８６５０９２号公報

しかしながら、特許文献１においては、互いに異なる複数の視点から撮像された環境マップを準備しなくてはならず、環境マップを用意するための手間がかかるという問題があった。また、特許文献１においては、１つの視点で撮像された単一視点の環境マップがあるのみでは適用することができない。このため、インターネットなどから比較的容易に入手することができる、単一視点の環境マップを用いて空間シミュレーションを行うことが困難となり、利用が制限されてしまうという問題があった。

また、特許文献１においては、撮像された空間における素材の情報を考慮していない。このため、画像が撮像された位置とは異なる位置から見た画像において、仮想の被写体を合成しようとすると、その仮想の被写体への映り込みがリアルに表現できない場合があった。具体的には、素材の情報を考慮していないために現実の反射とは異なる照明環境が反映された環境マップが生成されてしまう可能性があった。このため、現実の見えとは異なる映り込みが生じた仮想の被写体が合成されてしまう場合があった。

本発明は、このような状況に鑑みてなされたもので、単一視点の広視野角撮像画像を用いて、照明環境を精度よく推定することが可能な画像処理システム、画像処理方法、及びプログラムを提供することを目的とする。

本発明の、画像処理システムは、対象空間が広視野角で撮像された単一視点の広視野角撮像画像から、前記広視野角撮像画像における画素ごとに、前記広視野角撮像画像の撮像位置に相当する光学中心から当該画素までの距離を示す距離情報を推定する距離情報推定部と、前記広視野角撮像画像から、少なくとも前記対象空間に存在する物体の反射率を示す反射率情報を含むマテリアル情報を推定するマテリアル情報推定部と、前記広視野角撮像画像、前記距離情報、及び前記マテリアル情報から、前記対象空間における光源の位置及び強度を示す情報を少なくとも含む光源情報を推定する光源情報推定部と、前記距離情報、前記マテリアル情報、及び前記光源情報から、仮想的な空間であるシミュレーション空間を生成するシミュレーション空間生成部と、を備える。

本発明の、画像処理方法は、距離情報推定部が、対象空間が広視野角で撮像された単一視点の広視野角撮像画像から、前記広視野角撮像画像の各画素位置に対し、前記広視野角撮像画像の撮像位置に相当する光学中心からの距離を表す距離情報を推定し、マテリアル情報推定部が、前記広視野角撮像画像から、少なくとも前記対象空間に存在する物体の反射率を示す反射率情報を含むマテリアル情報を推定し、光源情報推定部が、前記広視野角撮像画像、前記距離情報、及び前記マテリアル情報から、前記対象空間における光源の位置及び強度を示す情報を少なくとも含む光源情報を推定し、シミュレーション空間生成部が、前記距離情報、前記マテリアル情報、及び前記光源情報から、仮想的な空間であるシミュレーション空間を生成する。

本発明の、プログラムは、コンピュータを、対象空間が広視野角で撮像された単一視点の広視野角撮像画像から、前記広視野角撮像画像の各画素位置に対し、前記広視野角撮像画像の撮像位置に相当する光学中心からの距離を表す距離情報を推定する距離情報推定手段、前記広視野角撮像画像から、少なくとも前記対象空間に存在する物体の反射率を示す反射率情報を含むマテリアル情報を推定するマテリアル情報推定部手段、前記広視野角撮像画像、前記距離情報、及び前記マテリアル情報から、前記対象空間における光源の位置及び強度を示す情報を少なくとも含む光源情報を推定する光源情報推定手段、前記距離情報、前記マテリアル情報、及び前記光源情報から、仮想的な空間であるシミュレーション空間を生成するシミュレーション空間生成手段、として機能させるプログラムである。

本発明によれば、単一視点の広視野角撮像画像を用いて、照明環境を精度よく推定することができる。

本発明の一実施形態による画像処理システム１０の構成例を示すブロック図である。 本発明の一実施形態による対象空間が撮像された広視野角撮像画像１００の例を示す図である。 本発明の一実施形態による距離情報推定部１２が推定した距離マップ２００の例を示す図である。 本発明の一実施形態によるマテリアル情報推定部１３が推定した反射率情報を示す反射率マップ３００の例を示す図である。 本発明の一実施形態によるマテリアル情報推定部１３が推定した光沢情報を示す光沢マップ４００の例を示す図である。 本発明の一実施形態による光源情報推定部１４が推定した光源位置を示すマップ５００の例を示す図である。 本発明の一実施形態によるシミュレーション空間生成部１５が仮想空間を生成する処理を説明する図である。 本発明の一実施形態によるシミュレーション空間生成部１５が仮想空間を生成する処理を説明する図である。 本発明の一実施形態によるシミュレーション空間生成部１５が生成した仮想空間を、ある視線方向に設定された仮想カメラから投影させた画像の例を示す図である。 図９における仮想カメラの位置を微小に移動させた場合の画像の例を示す図である。 本発明の一実施形態によるシミュレーション空間生成部１５が生成した仮想空間を、両眼立体視用に、二台の仮想カメラから投影させた画像の例を示す図である。 本発明の一実施形態によるシミュレーション空間生成部１５が生成した仮想空間に、ＣＧオブジェクトを配置した画像の例を示す図である。 本発明の一実施形態によるシミュレーション空間生成部１５が生成した仮想空間に、光沢情報が反映された環境マップが設定された金属質のＣＧオブジェクトを配置した画像の例を示す図である。 本発明の一実施形態によるシミュレーション空間生成部１５が生成した仮想空間に、新たな光源を配置した画像の例を示す図である。 本発明の一実施形態による画像処理システム１０が行う処理の流れを示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態による画像処理システム１０の構成例を示すブロック図である。画像処理システム１０は、例えば、データ入出力部１１と、距離情報推定部１２と、マテリアル情報推定部１３と、光源情報推定部１４と、シミュレーション空間生成部１５と、画像合成部１６と、表示制御部１７と、表示部１８と、撮像画像記憶部１９と、距離情報記憶部２０と、マテリアル情報記憶部２１と、光源情報記憶部２２と、仮想空間記憶部２３と、合成画像記憶部２４と、を備える。

画像処理システム１０は、例えば、サーバ装置、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータである。画像処理システム１０は、各機能部（データ入出力部１１、距離情報推定部１２、マテリアル情報推定部１３、光源情報推定部１４、シミュレーション空間生成部１５、画像合成部１６、及び表示制御部１７）により画像処理を行なうアプリケーションがインストールされることにより構成される。画像処理システム１０の各機能部は、画像処理システム１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）に、記憶部に記憶されたプログラムを実行させることによって実現される。

データ入出力部１１は、広視野角撮像画像１００（図２参照）の画像情報（例えば、画素ごとのＲＧＢ値を示す情報）を、外部装置から取得する。ここでの広視野角撮像画像とは、シミュレーションを行う対象空間が撮像された画像であり、例えば３６０度カメラなどを用いて、広い視野角で対象空間が撮像された画像である。広視野角撮像画像は、パノラマ画像などと称されることがある。ここでのシミュレーションは、対象空間を模した仮想空間のシミュレーションであり、例えば、仮想空間を様々な視点から表示させたり、仮想空間にＣＧオブジェクト（仮想モデルによるオブジェクト）を配置した様子を表示させたりして、疑似的な体験をユーザに提供することである。対象空間は、撮像可能な任意の空間であってよいが、例えば、不動産物件の室内空間などが好適である。データ入出力部１１は、外部装置から取得した広視野角撮像画像の情報（例えば、画素ごとのＲＧＢ値を示す情報）を、撮像画像記憶部１９に書き込んで記憶させる。

図２は、本発明の一実施形態による対象空間が撮像された広視野角撮像画像１００の例を示す図である。広視野角撮像画像１００には、対象空間としての室内空間における天井２００Ｃ、壁２００Ｗ、床２００Ｆ、柱２００Ｐ、テーブル２００Ｔ、光源２００Ｌなどが撮像されている。

図１に戻り、距離情報推定部１２は、広視野角撮像画像に基づいて、距離情報を推定する。ここでの距離情報は、画像の各画素位置における、光学中心からの距離を示す情報である。ここでの光学中心とは、画像を撮像した撮像装置（カメラ）におけるレンズの主点（光学的な中心）に相当する位置である。距離情報推定部１２は、機械学習モデルを用いて、広視野角撮像画像における各画素の距離情報を推定する。距離情報推定部１２は、例えば、文献（Ibraheem Alhashim, Peter Wonka ”High Quality Monocular Depth Estimation via Transfer Learning” CoRR, Vol. abs/1901.03861, 2019.）などに記載されている手法を用いて、画像（ＲＧＢ画像）から距離情報を推定する。機械学習モデルを用いることにより、距離情報推定部１２は、対象空間が撮像された一枚の画像（広視野角撮像画像）から、距離情報を推定することが可能となる。

距離情報推定部１２は、推定した距離情報を、距離情報記憶部２０に書き込んで記憶させる。距離情報は、画像形式とした距離マップ（デプスマップ）であってもよい（図３参照）。この場合、距離情報は、画像における各画素に距離が対応付けられた情報となる。

なお、距離情報推定部１２は、広視野角撮像画像を縮小した画像（縮小撮像画像）を用いて、縮小撮像画像の各画素位置における距離情報を推定するようにしてもよい。これにより、距離情報を推定する処理を高速化することが可能である。或いは、距離情報推定部１２は、広視野角撮像画像の全ての画素ではなく、広視野角撮像画像から抽出した一部の画素のそれぞれの画素位置における距離情報を推定するようにしてもよい。

図３は、本発明の一実施形態による距離情報推定部１２が推定した距離マップ１０１の例を示す図である。距離マップ１０１には、天井２００Ｃ、壁２００Ｗ、床２００Ｆ、柱２００Ｐ、テーブル２００Ｔのそれぞれが、それぞれの距離情報に応じたグレースケールにて示されている。

上記では、距離情報推定部１２が機械学習の手法を用いて距離情報を推定する場合を例示して説明した。しかしながら、これに限定されることはない。距離情報推定部１２は、少なくとも単一視点の一枚の画像（広視野角撮像画像）から距離情報を推定すればよく、一般的に用いられている任意の手法を用いて、距離情報を推定するようにしてよい。

図１に戻り、マテリアル情報推定部１３は、広視野角撮像画像に基づいて、マテリアル情報を推定する。ここでのマテリアル情報は、広視野角撮像画像に存在する物体（オブジェクト）に関する情報であって、特に、光が照射された場合におけるオブジェクトの見えに関する情報である。マテリアル情報には、少なくとも反射率情報が含まれる。反射率情報とは、オブジェクトの反射率を示す情報であって、オブジェクトに照射される入射光に対する、オブジェクトの表面で反射される反射光の割合を示す情報である。マテリアル情報には、反射率情報のみならず、光沢情報や表面粗さ情報などが含まれていてもよい。光沢情報は、オブジェクトの光沢の度合いを示す情報であって、オブジェクトの表面の物理的性質に基づいて決定される情報である。例えば、光沢情報は、オブジェクトへの光の入射角に対する反射率に応じて決定される値を示す情報である。表面粗さ情報は、オブジェクトの表面の粗さの度合いを示す情報であって、例えば、表面の凹凸の分布に関する統計量を示す情報である。

マテリアル情報推定部１３は、推定したマテリアル情報を、マテリアル情報記憶部２１に書込んで記憶させる。マテリアル情報は、少なくとも反射率情報が含まれていればよく、画像形式とした反射率マップであってもよい。この場合、マテリアル情報（反射率マップ）は、画像における各画素に反射率が対応付けられた情報となる。なお、反射率は、広視野角撮像画像に存在する物体ごとに推定されてもよいし、画素ごとに推定されてもよい。

マテリアル情報推定部１３は、例えば、以下に示す、マテリアル情報推定方法（１）−（４）のいずれかを用いて、マテリアル情報を推定する。

マテリアル情報推定方法（１）：
本方法においては、事前に、対象空間における各オブジェクトのマテリアル情報が判明していることを前提とする。マテリアル情報推定部１３は、操作者等による手動の入力操作などに基づいて、マテリアルの情報を取得し、取得した情報に基づいてマテリアル情報を設定（推定）する。この際、マテリアル情報推定部１３は、画像形式の情報としてマテリアル情報を記憶させる場合、例えば、広視野角撮像画像を参照し、対応する画素毎に、マテリアル情報（例えば、反射率など）を対応づけて記憶させる。

マテリアル情報推定方法（２）：
本方法において、マテリアル情報推定部１３は、機械学習モデルを利用して、対象空間が撮像された１枚の撮像画像（ＲＧＢ画像）、つまり広視野角画像、からマテリアル情報を推定する。例えば、マテリアル情報推定部１３は、文献（Abhimitra Meka, Maxim Maximov, Michael Zollhoefer, Avishek Chatterjee, Hans-Peter Seidel, Christian Richardt, Christian Theobalt “LIME: Live Intrinsic Material Estimation” CoRR, Vol. abs/1801.01075, 2018.）に記載された手法を適用することができる。或いは、マテリアル情報推定部１３は、「Ｉｎｔｒｉｎｓｉｃ Ｉｍａｇｅｓ」による手法を用いることが可能である。

ここで、空間の幾何情報として、すでに、距離情報推定部１２により距離情報が推定されている場合、マテリアル情報推定部１３は、距離情報を用いて、マテリアル情報を補正するようにしてもよい。つまり、マテリアル情報推定部１３は、広視野角撮像画像と距離情報を組み合わせて、マテリアル情報の推定を行ってもよい。マテリアル情報推定部１３は、距離情報から法線情報（物体表面の向き）を計算し、計算した法線情報を用いることでマテリアル情報を推定する精度を向上させることが可能である。例えば、距離情報から計算した法線情報に基づいて、物体の表面が同一の面で構成されている部分を特定することができる。同一な面において陰影はなだらかであることから、通常、画像のみでは区別し難い反射と陰影とを分離することが可能である。したがって、マテリアル情報を推定する精度の向上を望むことができる。

また、マテリアル情報推定部１３は、マテリアル情報推定方法（２）と、以下に述べるマテリアル情報推定方法（３）とを組み合わせて、マテリアル情報を推定するようにしてもよい。例えば、マテリアル情報推定部１３は、マテリアル情報推定方法（２）により、（反射率情報ではなく）光沢情報を推定した場合、マテリアル情報推定方法（３）の方法を用いて、反射率情報を推定するようにしてもよい。

マテリアル情報推定方法（３）：
本方法において、マテリアル情報推定部１３は、はじめに、広視野角撮像画像と距離情報に基づいて、仮光源情報を推定する。ここでの仮光源情報は、対象空間における光源に関する仮の情報であり、少なくとも、光源の位置と、その光源における仮の強度とを含む情報である。例えば、マテリアル情報推定部１３は、広視野角撮像画像をグレースケール化し、グレースケール化した画像における輝度値が、一定の値（閾値）以上の画素の位置を、画像上における光源の位置とする。そして、マテリアル情報推定部１３は、光源とした画素に対応づけられている距離情報に基づいて、対象空間における空間上の光源の位置を推定する。

また、マテリアル情報推定部１３は、広視野角画像において光源とした画素の画素値を、その光源の仮の強度とする。例えば、マテリアル情報推定部１３は、画素値がＲＧＢ値で示されている場合、その画素値を、ＲＧＢ毎の光源の仮の強度とする。

次に、マテリアル情報推定部１３は、シェーディング情報を算出する。シェーディング情報は、広視野角撮像画像における各画素位置に照射される光の光量を表す情報である。マテリアル情報推定部１３は、推定した仮光源情報と、距離情報及び法線情報とに基づいて、シェーディング情報を算出する。ここでの法線情報は、対象空間におけるオブジェクトの表面の法線を示す情報であり、距離情報に基づいて算出することができる。

マテリアル情報推定部１３は、広視野角撮像画像における画素ごとに、算出したシェーディング情報（光量）で、画素値を除算する。これにより、マテリアル情報推定部１３は、光源による影響を除いた、仮反射率情報を得ることができる。仮反射率情報は、光源における真の強度が不明であることから、相対比に基づく仮の反射率を示している。マテリアル情報推定部１３は、例えば、空間全体で２０％の反射率であるといった仮定に基づいて、画素ごとの仮の反射率が、画像全体として平均で２０％になるようにスケーリングすることにより、仮の反射率から、真の反射率（反射率情報）を求める。

或いは、マテリアル情報推定部１３は、対象空間に反射率が既知の物体が存在する場合には、その物体の反射率と整合するように、仮の反射率をスケーリングすることにより、仮の反射率から、真の反射率（反射率情報）を求めるようにしてもよい。

マテリアル情報推定方法（４）：
マテリアル情報推定部１３は、機械学習モデルを利用した領域分割手法などを用いて、広視野角撮像画像を領域ごとに分割し、分割した各領域に、上述したマテリアル情報推定方法（１）−（３）の方法を適用するようにしてもよい。

図４は、本発明の一実施形態によるマテリアル情報推定部１３が推定した反射率情報を示す反射率マップ１０２の例を示す図である。反射率マップ１０２には、天井２００Ｃ、壁２００Ｗ、床２００Ｆ、柱２００Ｐ、テーブル２００Ｔ、光源２００Ｌのそれぞれが、それぞれの反射率情報に応じたパターンに塗り分けられて示されている。

図５は、本発明の一実施形態によるマテリアル情報推定部１３が推定した光沢情報を示す光沢マップ１０３の例を示す図である。光沢マップ１０３では、天井２００Ｃ、壁２００Ｗ、床２００Ｆ、柱２００Ｐ、テーブル２００Ｔのそれぞれが、それぞれの光沢情報に応じたグレースケールにて示されている。

上記では、マテリアル情報推定部１３が上述したマテリアル情報推定方法（１）−（４）の方法のいずれかを用いてマテリアル情報を推定する場合を例示して説明した。しかしながら、これに限定されることはない。マテリアル情報推定部１３は、少なくとも一枚の画像（広視野角撮像画像）からマテリアル情報を推定すればよく、一般的に用いられている任意の手法を用いて、マテリアル情報を推定するようにしてよい。

また、上記では、マテリアル情報推定部１３が、広視野角画像を用いてマテリアル情報を推定する場合を例示して説明した。しかしながら、これに限定されることはない。マテリアル情報推定部１３は、後述するシミュレーション空間生成部１５によって生成されるシミュレーション空間における当該空間を示す情報に基づいて、マテリアル情報を推定するようにしてもよい。

図１に戻り、光源情報推定部１４は、光源情報を推定する。ここでの光源情報は、対象空間に光を照射する光源に関する情報であり、少なくとも対象空間における光源の位置、光源が放射する光の強度、及び光源が放射する光の色味（分光情報）を含む情報である。光源情報推定部１４は、広視野角撮像画像と、距離情報と、マテリアル情報とに基づいて、光源情報を推定する。光源情報推定部１４は、推定した光源情報を、光源情報記憶部２２に書き込んで記憶させる。光源情報は、対象空間における光源の位置座標（例えば、三次元座標に対応するＸＹＺ値）、強度及び色味をＲＧＢ値で示す情報といった形式の情報であってもよいし、広視野角撮像画像における各画素位置にごとに、光源か否かを示す情報、及び光源である場合における光の強度及び色味を示す情報を付与した画像形式の情報であってもよい。

光源情報推定部１４は、例えば、以下に示す光源情報推定方法（１）−（２）のいずれかを用いて、光源情報を推定する。

光源情報推定方法（１）：
本方法においては、事前に、対象空間における光源の情報が判明していることを前提とする。光源情報推定部１４は、操作者等による手動の入力操作などに基づいて、光源の情報を取得し、取得した情報に基づいて光源情報を設定（推定）する。この際、光源情報推定部１４は、画像形式の情報として光源情報を記憶させる場合、例えば、広視野角撮像画像を参照し、対応する画素毎に、光源情報（例えば、強度や分光情報など）を対応づけて記憶させる。

光源情報推定方法（２）：
本方法において、光源情報推定部１４は、広視野角撮像画像と、距離情報と、マテリアル情報とに基づいて、光源情報を推定する。はじめに、光源情報推定部１４は、仮光源情報を推定する。光源情報推定部１４が仮光源情報を推定する方法は、マテリアル情報推定部１３が仮光源情報を推定する方法と同様であるためその説明を省略する。

光源情報推定部１４は、推定した仮光源情報における光源の仮の強度をスケーリングすることにより、光源における真の強度を求める。例えば、光源情報推定部１４は、仮光源情報と、マテリアル情報推定部１３によって推定されたマテリアル情報に含まれる反射率情報と、距離情報とに基づいて、画素ごとの輝度を算出する。光源情報推定部１４は、算出した画素ごとの輝度が、広視野角画像における画素ごとの画素値に近い値となるようにスケーリングすることにより、光源における仮の強度から、真の強度（光源情報）を推定する。

上記では、光源情報推定部１４が上述した光源情報推定方法（１）−（２）の方法のいずれかを用いて光源情報を推定する場合を例示して説明した。しかしながら、これに限定されることはない。光源情報推定部１４は、少なくとも一枚の画像（広視野角撮像画像）から光源情報を推定すればよく、一般的に用いられている任意の手法を用いて、光源情報を推定するようにしてよい。

図６は、本発明の一実施形態による光源情報推定部１４が推定した光源位置を示すマップ１０４の例を示す図である。光源位置を示すマップ１０４には、光源２００Ｌが特定のパターンに塗られ、対象空間における光源位置として示されている。

また、上記では、光源情報推定部１４が、広視野角画像を用いて光源情報を推定する場合を例示して説明した。しかしながら、これに限定されることはない。光源情報推定部１４は、後述するシミュレーション空間生成部１５によって生成されるシミュレーション空間における当該空間を示す情報に基づいて、光源情報を推定するようにしてもよい。

図１に戻り、シミュレーション空間生成部１５は、対象空間に対応する仮想的な空間（シミュレーション空間）を生成する。シミュレーション空間生成部１５は、生成したシミュレーション空間を、仮想空間記憶部２３に書き込んで記憶させる。

シミュレーション空間生成部１５は、例えば、以下の方法を用いて、シミュレーション空間を生成する。

図７は、本発明の一実施形態によるシミュレーション空間生成部１５が仮想空間を生成する処理を説明する図である。図７に示すように、シミュレーション空間生成部１５は、シミュレーション空間（図７では仮想空間と記載）に、所定の半径を持つ天球モデル（空間モデル）の中心に、仮想カメラを設置する。ここでの仮想カメラは、仮想空間を見る仮想的なカメラである。ここで、シミュレーション空間生成部１５は、天球モデルにおける内側の面（内周面）が表となるように、必要に応じて法線方向の調整（例えば、反転）を行う。

次に、シミュレーション空間生成部１５は、距離情報推定部１２によって推定された距離情報と、マテリアル情報推定部１３によって推定されたマテリアル情報とを、天球モデルのテクスチャとして参照する。

そして、シミュレーション空間生成部１５は、距離情報を用いて、天球モデルの頂点位置をスケーリングする。具体的に、シミュレーション空間生成部１５は、天球モデルの中心から頂点座標までの距離が、当該頂点に対応する画素の距離情報に示される距離に比例する値となるように変更する。つまり、シミュレーション空間生成部１５は、距離情報を用いて、天球モデルを対象空間の形状に則した形状に変形させる。ここで、シミュレーション空間生成部１５は、形状を変形させた箇所における法線の向きを、変形後の形状における表面に法線方向となるように修正する。これにより、対象空間の三次元形状を反映させた、シミュレーション空間を生成することが可能となる。このような方法を用いることにより、デプスマップに基づくメッシュ化などを行う場合と比較して、シミュレーション空間を生成するための演算に要する時間を短くすることが可能である。

また、シミュレーション空間生成部１５は、マテリアル情報を用いて、変形後又は変形前の天球モデルの各点に、反射率情報や光沢情報を反映させる。

シミュレーション空間生成部１５は、最後に、光源情報推定部１４によって推定された光源情報を用いて、シミュレーション空間における光源の設定を行なう。例えば、シミュレーション空間生成部１５は、光源が点光源として推定されている場合、各点光源の位置に対応するシミュレーション空間の位置に、点光源を設置する。シミュレーション空間生成部１５は、設置した点光源のそれぞれに輝度や色味（分光情報）の設定を行う。以上の方法により、シミュレーション空間生成部１５は、天球モデルから、対象空間の形状、マテリアル情報、及び光源情報が反映されたシミュレーション空間を生成する。

図８は、本発明の一実施形態によるシミュレーション空間生成部１５が仮想空間を生成する処理を説明する図である。図８には、変形後の天球モデルが示されており、変形後の天球モデルに、複数の点光源が設定された例が示されている。

上記では、シミュレーション空間生成部１５が上述した天球モデルを用いてシミュレーション空間を生成する場合を例示して説明した。しかしながら、これに限定されることはない。シミュレーション空間生成部１５は、一般的に用いられている任意の手法を用いて、シミュレーション空間を生成してよい。

図１に戻り、画像合成部１６は、シミュレーション空間に、ＣＧオブジェクトを配置した画像（合成画像）を生成する。画像合成部１６は、生成した合成画像を合成画像記憶部２４に書込んで記憶させる。光源情報推定部１４に記憶された合成画像は、逐次、表示部１８に出力され、表示される。これにより、ユーザは、合成画像を視認することができる。

画像合成部１６は、例えば、以下に示す画像合成方法（１）−（７）を用いて、合成画像を生成する。

画像合成方法（１）：
画像合成部１６は、シミュレーション空間において、仮想カメラの視点に応じた所定の画角や視線方向からみた画像（以下、合成画像とも称する）の生成（レンダリング）を行なう。この場合、あたかもユーザがシミュレーション空間の中を見回しているような、いわゆる一人称視点のレンダリング画像（図９参照）が生成される。

シミュレーション空間にＣＧオブジェクトを配置するなどの変更が生じていなければ、また、仮想カメラの視点位置と光学中心（広視野角撮像画像の撮像位置）とが同じか、又は近接していれば、このレンダリング画像は、広視野角撮像画像の一部の領域を抽出した画像と一致する。シミュレーション空間生成部１５は、ユーザの操作に応じて変化した仮想カメラの視線方向に対応させたレンダリング画像を生成する。これにより、ユーザは、仮想カメラの視点位置から視線方向を変えたシミュレーション空間を自由に見回すことができる。

図９は、本発明の一実施形態による合成画像１０５の例を示す図である。図９に示すように、合成画像１０５には、広視野角撮像画像１００の左側の一部、柱２００Ｐとテーブル２００Ｔの一部が示されている。背景には天井２００Ｃの一部、光源２００Ｌ、壁２００Ｗの一部、及び床２００Ｆの一部が示されている。

画像合成方法（２）：
画像合成部１６は、さらに、仮想カメラの視点位置を変更させたレンダリング画像を生成する。これにより、画像合成部１６は、シミュレーション空間をあたかも自由に動き回っているような、いわゆる自由視点画像（図１０参照）をレンダリングすることができる。

ここで、本実施形態では、一枚の画像（広視野角撮像画像）からシミュレーション空間が生成されている。このため、広視野角画像における光学中心から、仮想カメラの視点位置が離れるほど、シミュレーション空間における歪みが大きくなる傾向にある。しかしながら、光学中心と、仮想カメラの視点位置が近接していれば、ユーザに違和感を与えることなく、シミュレーション空間を知覚させることが可能である。

図１０は、図９における合成画像１０５の仮想カメラの視点位置を微小に移動させた場合の合成画像１０６（自由視点画像）の例を示す図である。合成画像１０６は、合成画像１０５における視点位置を右に移動させた場合の画像が示されている。合成画像１０５では柱２００Ｐと光源２００Ｌの全体がレンダリングされていたのに対し、合成画像１０６では一部のみがレンダリングされている。また、合成画像１０５でレンダリングされていたテーブル２００Ｔの一部に対し、合成画像１０６ではテーブル２００Ｔの一部がより広い範囲でレンダリングされている。また、視点位置が移動したことに伴い、合成画像１０６には、テーブル２００Ｔに光沢がレンダリングされている。

画像合成方法（３）：
画像合成部１６は、両眼立体視用の、いわゆる両眼視差画像（図１１参照）を生成するようにしてもよい。画像合成部１６は、例えば、視点位置を中心に、仮想カメラを人間の両眼に対応するように２台設置してそれぞれレンダリングを行うことで、両眼視差画像を生成する。例えば、ＨＭＤ（Head Mount Display）の入力として両眼視差画像を用いることにより、臨場感のあるＶＲ体験をユーザに提供することができる。

図１１は、シミュレーション空間における両眼立体視用の合成画像１０７の例を示す図である。図１１に示すように、合成画像１０７には、両眼立体視用に、視点位置を微小に移動させた二つの画像が並んで示されている。それぞれの視点位置に応じて、柱２００Ｐとテーブル２００Ｔの一部が示されている。視点位置に応じて、光沢がレンダリングされている。

画像合成方法（４）：
画像合成部１６は、シミュレーション空間における所定の位置に、家具や設備などのＣＧオブジェクトを配置させた画像（図１２参照）を生成するようにしてもよい。画像合成部１６は、シミュレーション空間にＣＧオブジェクトを配置する際、空間に配置するＣＧオブジェクトに陰影を生成する。例えば、画像合成部１６は、ＣＧオブジェクトに、光源情報を反映させることによりＣＧオブジェクトに陰影を生成する。

また、画像合成部１６は、シミュレーション空間にＣＧオブジェクトの影を生成する。例えば、画像合成部１６は、光源情報、ＣＧオブジェクトを配置する位置、及び空間の形状などに基づいて、シミュレーション空間にＣＧオブジェクトの影を描画する。同様に、画像合成部１６は、ＣＧオブジェクトシミュレーション空間にもともと存在する物体の影を生成する。また、画像合成部１６は、シミュレーション空間にもともと存在する物体によるＣＧオブジェクトの遮蔽などを反映させる。

これにより、画像合成部１６は、対象空間に実際にオブジェクトを設置したかのような画像を生成することができる。したがって、画像処理システム１０は、ユーザに、インテリアコーディネートなどを事前に正確に確認できるホームステージングサービスを提供することができる。また、シミュレーション空間に対象空間の形状が再現されているため、上述した両眼視差画像と組み合わせることにより、対象空間にＣＧオブジェクトを合成した両眼立体視用の画像をユーザに提供することもできる。

図１２は、シミュレーション空間にＣＧオブジェクトを配置した合成画像１０８の例を示す図である。合成画像１０８には、合成画像１０５におけるテーブル２００Ｔの下に、ＣＧオブジェクト２００Ｂが配置された様子が示されている。ＣＧオブジェクト２００Ｂには、光源２００Ｌから照射される光の影響が反映されている。具体的には、ＣＧオブジェクト２００Ｂの上面が側面より明るくなるように描画されており、テーブル２００Ｔの影となる部分は、影とならない部分と比較して暗くなるように描画されている。また、ＣＧオブジェクト２００Ｂの影が床２００Ｆに描画されている。

画像合成方法（５）：
画像合成部１６は、シミュレーション空間に配置するＣＧオブジェクトに、対象空間の映り込みの表現を加えるようにしてもよい（図１３参照）。例えば、画像合成部１６は、ＣＧオブジェクトを配置する位置に仮想カメラを設置する。画像合成部１６は、仮想カメラの視点からみた空間を環境マップとして生成し、生成した環境マップをＣＧオブジェクトに反映させる。これにより、画像合成部１６は、ＣＧオブジェクトに空間の映り込みを反映させる。

ここで画像合成部１６が生成する環境マップは、対象空間における形状やマテリアル、及び光源の推定ができている。これにより、画像合成部１６、現実の空間にオブジェクトが配置された際の見えに近い映り込みを再現することができる。したがって、金属など材質で生成されたオブジェクトなど、映り込みが顕著となる物体の合成を正確に行うことが可能となる。

図１３は、シミュレーション空間に金属質のＣＧオブジェクトを配置した合成画像１０９の例を示す図である。合成画像１０９には、合成画像１０５におけるテーブル２００Ｔの上に、金属質のＣＧオブジェクト２００Ｂ＃が配置された様子が示されている。ＣＧオブジェクト２００Ｂ＃には、光源２００Ｌから照射される光の影響が反映されている。具体的には、ＣＧオブジェクト２００Ｂ＃の球体の形状に沿って上部が明るく下部が暗くなるように描画されている。また、ＣＧオブジェクト２００Ｂ＃の影がテーブル２００Ｔに描画されている。そして、ＣＧオブジェクト２００Ｂ＃の上面には、光源２００Ｌの映り込み（符号２００Ｕ）が描画されている。また、ＣＧオブジェクト２００Ｂ＃の下部にテーブル２００Ｔの映り込みが描画されている。また、ＣＧオブジェクト２００Ｂ＃の左部に柱２００Ｐの映り込みが描画されている。このように、ＣＧオブジェクトを配置した位置から見た画像の環境マップを生成することにより、配置するＣＧオブジェクトへの映り込みを正確に表現できるこが可能となる。

画像合成方法（６）：
画像合成部１６は、画像合成方法（５）において生成した環境マップから、ＩＢＬ（Image Based lighting）用のデータ（ＩＢＬ情報）を生成するようにしてもよい。ＩＢＬは、環境マップを光源データとして扱うことにより、画像における陰影の計算をより正確に行うことが可能となる手法である。これにより、画像合成部１６は、シミュレーション空間に配置するＣＧオブジェクトへのＩＢＬを行なうことができ、ＣＧオブジェクトへのライティングをより高品質に行うことが可能となる。

画像合成方法（７）：
画像合成部１６は、シミュレーション空間における光源に変更を加えた画像を生成するようにしてもよい（図１４参照）。シミュレーション空間生成部１５により生成されるシミュレーション空間には、広視野角撮像画像から光源の影響を取り除いたマテリアル情報が設定されている。このため、画像合成部１６が、シミュレーション空間に設定されている光源を削除したり、移動したり、追加したりしても、現実の空間において光源を変更等した際と同じ見えのレンダリング画像を生成することが可能である。このため、ユーザがリライティングのシミュレーションを行うことが可能となり、照明を変更するなどといったシミュレーションサービスを提供できるようになる。

図１４は、シミュレーション空間に新たな光源２００Ｌ＃を配置した合成画像１１０（リライティング画像）の例を示す図である。合成画像１１０には、合成画像１０５における光源２００Ｌを削除し、床２００Ｆの上に新たな光源２００Ｌ＃が配置された様子が示されている。合成画像１１０には、新たに配置された光源２００Ｌ＃の影響が反映されている。具体的には、柱２００Ｐの側面において下側が明るくなるように、下側から上側に向かって暗くなるように描画されている。また、床２００Ｆは、光源２００Ｌ＃を中心として、光源２００Ｌ＃から離れるにしたがって暗くなるように描画されている。また、壁２００Ｗには、柱２００Ｐの影と、テーブル２００Ｔの影が描画されている。

図１に戻り、表示制御部１７は、表示部１８に表示させる画像を制御する。例えば、表示制御部１７は、画像合成部１６によって生成された合成画像を、表示部１８に表示させる。また、表示制御部１７は、操作者等による手動の入力操作が行われる際に、入力された情報を表示部１８に表示させる。これにより、操作者等が入力した反射率などの情報が正しく入力されたか否かを目視により確認することが可能である。

表示部１８は、例えば液晶パネルからなる表示画面を有する。表示部１８は、表示制御部１７の制御に応じた画像を表示させる。例えば、表示部１８は、画像合成部１６によって生成された合成画像を表示する。また、表示部１８は、操作者等が入力した情報を表示する。撮像画像記憶部１９は、広視野角撮像画像１００を記憶する。距離情報記憶部２０は、距離情報（例えば、距離マップ１０１）を記憶する。マテリアル情報記憶部２１は、マテリアル情報（例えば、反射情報や光沢情報）を記憶する。光源情報記憶部２２は、光源情報を記憶する。仮想空間記憶部２３は、シミュレーション空間の三次元情報を記憶する。合成画像記憶部２４は、合成画像（例えば、合成画像１０５−１１０）を記憶する。

図１５は、本発明の一実施形態による画像処理システム１０が行う処理の流れを示すフローチャートである。

ステップＳ１０：
画像処理システム１０は、データ入出力部１１によって広視野角撮像画像１００の画像情報を取得する。
ステップＳ１１：
画像処理システム１０は、距離情報推定部１２によって、距離情報を算出する。距離情報推定部１２は、例えば、広視野角撮像画像１００に、機械学習の手法を適用することにより、画素ごとの、光学中心から当該画素までの距離を推定する。
ステップＳ１２：
画像処理システム１０は、マテリアル情報推定部１３によって、マテリアル情報を推定する。マテリアル情報推定部１３は、例えば、手動の操作入力、或いは機械学習の手法を適用することにより、画素ごとの反射率を推定する。或いは、マテリアル情報推定部１３は、広視野角撮像画像１００と距離情報とを用いて推定される仮光源情報から算出した、仮反射率をスケーリングすることにより、画素ごとの反射率を推定する。

ステップＳ１３：
画像処理システム１０は、光源情報推定部１４によって、光源情報を推定する。光源情報推定部１４は、例えば、手動の操作入力により、画素ごとの光源情報を推定する。或いは、光源情報推定部１４は、仮光源情報、マテリアル情報、及び距離情報から算出した、広視野角撮像画像１００における画素ごとの輝度値と、広視野角撮像画像１００における実際の輝度値とに基づいて、仮光源情報における光の仮の強度をスケーリングすることにより、画素ごとの光源情報を推定する。
ステップＳ１４：
画像処理システム１０は、シミュレーション空間生成部１５によって、シミュレーション空間を生成する。シミュレーション空間生成部１５は、例えば、距離情報に基づいて天球モデルの形状を変形することにより、シミュレーション空間を生成する。
ステップＳ１５：
画像処理システム１０は、画像合成部１６によって合成画像を生成する。画像合成部１６は、例えば、シミュレーション空間における仮想カメラの視点位置が光学中心と一致（又は近接）する場合において、広視野角撮像画像１００の一部の領域を抽出した画像（例えば、合成画像１０５）を生成する。画像合成部１６は、合成画像１０５における仮想カメラの視点位置を微小に移動させた自由視点画像（例えば、合成画像１０６）を生成する。画像合成部１６は、両眼立体視用の両眼視差画像（例えば、合成画像１０７）を生成する。画像合成部１６は、シミュレーション空間にＣＧオブジェクトが配置された画像（例えば、合成画像１０８、１０９）を生成する。画像合成部１６は、シミュレーション空間における光源を変化させたリライティング画像（例えば、合成画像１１０）を生成する。

以上説明したように、実施形態の画像処理システム１０は、距離情報推定部１２と、マテリアル情報推定部１３と、光源情報推定部１４と、シミュレーション空間生成部１５とを備える。距離情報推定部１２は、対象空間が広視野角で撮像された単一視点の広視野角撮像画像１００から、広視野角撮像画像１００の画素ごとに、広視野角撮像画像１００の撮像位置に相当する光学中心からの距離を示す距離情報を推定する。光源情報推定部１４は、広視野角撮像画像１００から、少なくとも対象空間に存在する物体の反射率を示す反射率情報を含むマテリアル情報を推定する。光源情報推定部１４は、広視野角撮像画像１００、距離情報、及びマテリアル情報から、対象空間における光源の位置及び強度を示す情報を少なくとも含む光源情報を推定する。シミュレーション空間生成部１５は、距離情報、マテリアル情報、及び光源情報から、仮想的な空間であるシミュレーション空間を生成する。

これにより、実施形態の画像処理システム１０は、単一視点の広視野角撮像画像１００から距離情報とマテリアル情報とを推定することができ、推定した距離情報とマテリアル情報とを用いて、画像処理システム１０の光源情報を推定することができる。光源情報には、空間における光源の位置及び強度を示す情報が含まれていることから、光源情報は照明環境を示す情報である。つまり、画像処理システム１０は、単一視点の広視野角撮像画像１００を用いて、照明環境を精度よく推定することが可能となる。

また、実施形態の画像処理システム１０では、画像合成部１６を更に備える。画像合成部１６は、仮想的な視点からシミュレーション空間をみた画像（例えば、合成画像１０５）を示す合成画像を生成する。画像合成部１６は、光学中心とは異なる位置を仮想的な視点とした自由視点画像（例えば、合成画像１０６）を生成する。これにより、画像処理システム１０は、シミュレーション空間を見渡しているような画像や、シミュレーション空間を歩き回っているような画像を生成することができる。したがって、あたかも室内を内覧しているようなサービスをユーザに提供することが可能である。

また、実施形態の画像処理システム１０では、両眼立体視用の両眼視差画像（例えば、合成画像１０７）を生成する。これにより、画像処理システム１０は、ＨＭＤ用の画像を生成することができる。したがって、空間を立体視するようなサービスをユーザに提供することが可能である。

また、実施形態の画像処理システム１０では、シミュレーション空間における所定の位置に、ＣＧオブジェクトを配置させた合成画像（例えば、合成画像１０８）を生成する。これにより、例えば、室内に備品を配置させるなどして、インテリアコーディネートを事前に試すことができるサービスをユーザに提供することが可能である。

また、実施形態の画像処理システム１０では、シミュレーション空間を所定の位置からみた画像を環境マップとして生成し、その環境マップを用いて、シミュレーション空間に配置する仮想モデルによるオブジェクトに映り込みを反映させた合成画像（例えば、合成画像１０９）を生成する。これにより、よりリアルなＣＧオブジェクトを提示することが可能となる。

また、実施形態の画像処理システム１０では、シミュレーション空間を所定の位置からみた画像を環境マップとして生成し、その環境マップからＩＢＬ（Image Based lighting）情報を生成する。これにより、ＣＧオブジェクトにＩＢＬを行うことができ、よりリアルなＣＧオブジェクトを提示することが可能となる。

また、実施形態の画像処理システム１０では、前記マテリアル情報と前記光源情報を用いて、シミュレーション空間における光源を変化させた合成画像であるリライティング画像（例えば、合成画像１１０）を生成する。これにより、ＣＧオブジェクトへのライティングをより高品質に行うことができる。したがって、間接照明を配置させた様子など提示することができ、より付加価値のあるサービスをユーザに提供することが可能である。

また、実施形態の画像処理システム１０では、マテリアル情報推定部１３が入力操作により入力された情報に基づいて、マテリアル情報を推定してもよい。これにより、反射率が既知の物体などがある場合に、その情報を利用することができる。

また、実施形態の画像処理システム１０では、マテリアル情報推定部１３が広視野角撮像画像１００、及び距離情報から、マテリアル情報を推定するようにしてもよい。これにより、マテリアル情報を推定する精度を向上させることができ、よりリアルにみえる画像を生成することが可能となる。

また、実施形態の画像処理システム１０では、マテリアル情報推定部１３が、広視野角撮像画像１００、及び距離情報から仮光源情報を推定する。仮光源情報には、対象空間における光源の位置及び仮の強度を示す情報が少なくとも含まれる。マテリアル情報推定部１３は、仮光源情報及び距離情報からシェーディング情報を算出する。マテリアル情報推定部１３は、広視野角撮像画像１００とシェーディング情報を用いて仮反射率情報をスケーリングすることにより、反射率情報を算出するようにしてもよい。これにより、空間全体の反射率（例えば、２０％と仮定）に基づく反射率を算出することができる。

また、実施形態の画像処理システム１０では、マテリアル情報推定部１３が、広視野角撮像画像１００を複数の領域に分割し、分割した各領域におけるマテリアル情報をそれぞれ推定するようにしてもよい。これにより、領域ごとにマテリアル情報を推定でき、例えば似た特徴を持つ領域に同じマテリアル情報を推定するなどして、推定に要する処理負荷を低減させることが可能である。

また、実施形態の画像処理システム１０では、光源情報推定部１４は、入力操作により入力された情報に基づいて、光源情報を推定してもよい。これにより、光源情報が既知である場合などに、その情報を利用することができる。

また、実施形態の画像処理システム１０では、光源情報推定部１４は、反射率情報から仮光源情報における光の仮の強度をスケーリングすることにより、光源情報を推定するようにしてもよい。これにより、光源情報が既知でない場合であっても、光源情報を推定することができる。

また、実施形態の画像処理システム１０では、シミュレーション空間生成部１５は、仮想空間に生成した天球モデルの頂点座標を、距離情報を用いてスケーリングすることにより、シミュレーション空間を生成するようにしてもよい。これにより、デプスマップに基づくメッシュ化などを行う場合と比較して、シミュレーション空間を生成するための演算に要する時間を短くすることが可能である。

また、上述した実施形態においては、画像処理システム１０が、予め撮像されて撮像画像記憶部１９に記憶された撮像画像を用いてシミュレーション空間を生成し、生成したシミュレーション空間に対するＣＧオブジェクトの合成を行う場合を例に説明した。しかしながら、これに限定されない。画像処理システム１０は、撮像画像記憶部１９に、広視野角撮影画像が時間軸で並んだ動画（広視野角撮影動画像）の各フレームを、リアルタイムに記憶するようにしてもよい。あるいは、画像処理システム１０は、撮像画像記憶部１９に、撮像装置から供給される、対象空間が逐次的に撮像された広視野角撮像画像を、リアルタイムに記憶さするようにしてもよい。この場合、画像処理システム１０は、逐次的に供給される単一の広視野角撮像画像を用いてシミュレーション空間を生成し、生成したシミュレーション空間に対してＣＧオブジェクトを合成する処理を行う。また、画像処理システム１０は、ＣＧオブジェクトを合成する処理を行った仮想空間における観察画像を、リアルタイムに表示する。これにより、ＣＧオブジェクトが配置された空間の動画像やライブストリーミング画像をリアルタイムにユーザに視認させることが可能である。

上述した実施形態における画像処理システム１０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…画像処理システム
１１…データ入出力部
１２…距離情報推定部
１３…マテリアル情報推定部
１４…光源情報推定部
１５…シミュレーション空間生成部
１６…画像合成部
１７…表示制御部
１８…表示部

Claims (17)

1. 対象空間が広視野角で撮像された単一視点の広視野角撮像画像から、前記広視野角撮像画像における画素ごとに、前記広視野角撮像画像の撮像位置に相当する光学中心から当該画素までの距離を示す距離情報を推定する距離情報推定部と、
   前記広視野角撮像画像から、少なくとも前記対象空間に存在する物体の反射率を示す反射率情報を含むマテリアル情報を推定するマテリアル情報推定部と、
   前記広視野角撮像画像、前記距離情報、及び前記マテリアル情報から、前記対象空間における光源の位置及び強度を示す情報を少なくとも含む光源情報を推定する光源情報推定部と、
   前記距離情報、前記マテリアル情報、及び前記光源情報から、仮想的な空間であるシミュレーション空間を生成するシミュレーション空間生成部と、
   を備える画像処理システム。
2. 仮想的な視点から前記シミュレーション空間をみた画像を示す合成画像を生成する画像合成部を更に備える、
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記画像合成部は、前記光学中心とは異なる位置を仮想的な視点とした前記合成画像である自由視点画像を生成する、
   ことを特徴とする請求項２に記載の画像処理システム。
4. 前記画像合成部は、両眼立体視用の前記合成画像である両眼視差画像を生成する、
   ことを特徴とする請求項２又は請求項３に記載の画像処理システム。
5. 前記画像合成部は、前記シミュレーション空間における所定の位置に、仮想モデルによるオブジェクトを配置させた前記合成画像を生成する、
   ことを特徴とする請求項２から請求項４のいずれか一項に記載の画像処理システム。
6. 前記画像合成部は、前記シミュレーション空間を所定の位置からみた画像を環境マップとして生成し、前記環境マップを用いて、前記シミュレーション空間に配置する仮想モデルによるオブジェクトに映り込みを反映させた前記合成画像を生成する、
   ことを特徴とする請求項２から請求項５のいずれか一項に記載の画像処理システム。
7. 前記画像合成部は、前記シミュレーション空間を所定の位置からみた画像を環境マップとして生成し、前記環境マップからＩＢＬ（Image Based lighting）情報を生成する、
   ことを特徴とする請求項２から請求項６のいずれか一項に記載の画像処理システム。
8. 前記画像合成部は、前記マテリアル情報と前記光源情報を用いて、前記シミュレーション空間における光源を変化させた前記合成画像であるリライティング画像を生成する、
   ことを特徴とする請求項２から請求項７のいずれか一項に記載の画像処理システム。
9. 前記マテリアル情報推定部は、入力操作により入力された情報に基づいて、前記マテリアル情報を推定する、
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の画像処理システム。
10. 前記マテリアル情報推定部は、前記広視野角撮像画像、及び前記距離情報から、前記マテリアル情報を推定する、
    ことを特徴とする請求項１から請求項９のいずれか一項に記載の画像処理システム。
11. 前記マテリアル情報推定部は、前記広視野角撮像画像及び前記距離情報から前記対象空間における光源の位置及び仮の強度を示す情報を少なくとも含む仮光源情報を推定し、前記仮光源情報及び前記距離情報からシェーディング情報を算出し、前記広視野角撮像画像と前記シェーディング情報を用いて仮反射率情報をスケーリングすることにより、前記反射率情報を算出する、
    ことを特徴とする請求項１から請求項１０のいずれか一項に記載の画像処理システム。
12. 前記マテリアル情報推定部は、前記広視野角撮像画像を複数の領域に分割し、前記分割した各領域における前記マテリアル情報をそれぞれ推定する、
    ことを特徴とする請求項１から請求項１１のいずれか一項に記載の画像処理システム。
13. 前記光源情報推定部は、入力操作により入力された情報に基づいて、前記光源情報を推定する、
    ことを特徴とする請求項１から請求項１２のいずれか一項に記載の画像処理システム。
14. 前記光源情報推定部は、前記反射率情報から前記対象空間における光源の位置及び仮の強度を示す情報を少なくとも含む仮光源情報の仮の強度をスケーリングすることにより、前記光源情報を推定する、
    ことを特徴とする請求項１から請求項１３のいずれか一項に記載の画像処理システム。
15. 前記シミュレーション空間生成部は、仮想空間に生成した天球モデルの頂点座標を、前記距離情報を用いてスケーリングすることにより、前記シミュレーション空間を生成する、
    ことを特徴とする請求項１から請求項１４のいずれか一項に記載の画像処理システム。
16. 距離情報推定部が、対象空間が広視野角で撮像された単一視点の広視野角撮像画像から、前記広視野角撮像画像の各画素位置に対し、前記広視野角撮像画像の撮像位置に相当する光学中心からの距離を表す距離情報を推定し、
    マテリアル情報推定部が、前記広視野角撮像画像から、少なくとも前記対象空間に存在する物体の反射率を示す反射率情報を含むマテリアル情報を推定し、
    光源情報推定部が、前記広視野角撮像画像、前記距離情報、及び前記マテリアル情報から、前記対象空間における光源の位置及び強度を示す情報を少なくとも含む光源情報を推定し、
    シミュレーション空間生成部が、前記距離情報、前記マテリアル情報、及び前記光源情報から、仮想的な空間であるシミュレーション空間を生成する、
    画像処理方法。
17. コンピュータを、
    対象空間が広視野角で撮像された単一視点の広視野角撮像画像から、前記広視野角撮像画像の各画素位置に対し、前記広視野角撮像画像の撮像位置に相当する光学中心からの距離を表す距離情報を推定する距離情報推定手段、
    前記広視野角撮像画像から、少なくとも前記対象空間に存在する物体の反射率を示す反射率情報を含むマテリアル情報を推定するマテリアル情報推定部手段、
    前記広視野角撮像画像、前記距離情報、及び前記マテリアル情報から、前記対象空間における光源の位置及び強度を示す情報を少なくとも含む光源情報を推定する光源情報推定手段、
    前記距離情報、前記マテリアル情報、及び前記光源情報から、仮想的な空間であるシミュレーション空間を生成するシミュレーション空間生成手段、
    として機能させるプログラム。

Images