JP2018092503A - 屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム - Google Patents
屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム Download PDFInfo
- Publication number
- JP2018092503A JP2018092503A JP2016237269A JP2016237269A JP2018092503A JP 2018092503 A JP2018092503 A JP 2018092503A JP 2016237269 A JP2016237269 A JP 2016237269A JP 2016237269 A JP2016237269 A JP 2016237269A JP 2018092503 A JP2018092503 A JP 2018092503A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- indoor
- space
- image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】屋外からの差し込む光を再現する際、窓から屋内に差し込まれる光に対応して、屋内におかれた家具や調度品などの遮蔽物により生じる影を表現する屋内光シミュレーションシステムを提供する。【解決手段】本発明の屋内光シミュレーションシステムは、仮想の窓として屋内の側壁に配置された画像表示装置と、屋内に配置される少なくとも家具を含むインテリアエレメントの三次元形状、配置される位置及び姿勢を含む属性情報を所定の時間経過毎に逐次取得する位置姿勢取得部と、画像表示装置に表示される窓の外の仮想的な仮想三次元空間の画像に対応して、仮想の窓から屋内の内部に入射される仮想三次元空間からの入射光が、インテリアエレメント及び屋内に照射された際の照度分布を、時間経過毎に再現する光束映像を生成する光束映像生成部とを備える。【選択図】図2
Description
本発明は、屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラムに関する。
従来、住宅の販売に際し、顧客が購入する前に住宅の部屋の中を確認できるように、販売する住宅と同様な内装を行なったモデルハウスあるいはモデルルームを展示することが行なわれている。
しかし、モデルハウスやモデルルームは、一般的に、実際に住宅が建てられるあるいは建っている場所と異なる場所に建てられている。このため、モデルハウスやモデルルームの窓から見える景色は、実際に住宅が建てられる場所と異なった環境のものである。
しかし、モデルハウスやモデルルームは、一般的に、実際に住宅が建てられるあるいは建っている場所と異なる場所に建てられている。このため、モデルハウスやモデルルームの窓から見える景色は、実際に住宅が建てられる場所と異なった環境のものである。
顧客は、購入しようとする住宅における部屋の構造及び内装の確認をモデルハウスやモデルルームで行なうことはできるが、窓から見える景色がどのようなものか、あるいは窓から差し込まれる光の状態などを確認することができない。
そのため、モデルハウスやモデルルームにおいて、壁面における窓の位置に設置されたディスプレイを仮想的な窓(仮想窓)とし、このディスプレイに表示する映像を仮想窓から見える景色とし、仮想窓から上記映像に対応した屋外からの光を、部屋に配置された照明装置により再現する技術がある(例えば、特許文献1参照)。
特許文献1においては、実際に住宅が建てられる場所における窓の外の環境に対応した屋内環境を、擬似的に仮想窓環境としてモデルハウスやモデルルームにおいて再現している。
特許文献1においては、実際に住宅が建てられる場所における窓の外の環境に対応した屋内環境を、擬似的に仮想窓環境としてモデルハウスやモデルルームにおいて再現している。
しかしながら、上記特許文献1においては、窓を介して屋外から差し込む光を再現することはできるが、屋内におかれた家具や調度品などの遮蔽物により生じる影を、遮蔽物の移動に対応してリアルタイムに表現することができない。
このため、顧客は、実際に建物が建てられる場所における、窓から屋内に差し込まれる環境光による室内における明暗の状態などを確認することができない。
このため、顧客は、実際に建物が建てられる場所における、窓から屋内に差し込まれる環境光による室内における明暗の状態などを確認することができない。
本発明は、このような状況に鑑みてなされたものであり、屋外からの差し込む光を再現する際、窓から屋内に差し込まれる光に対応して、屋内におかれた家具や調度品などの遮蔽物により生じる影を表現する屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラムの提供を目的とする。
上述した課題を解決するために、本発明の屋内光シミュレーションシステムは、仮想の窓として屋内の側壁に配置された画像表示装置と、前記屋内に配置される少なくとも家具を含むインテリアエレメントの三次元形状、配置される位置及び姿勢を含む属性情報を所定の時間経過毎に逐次取得する位置姿勢取得部と、前記画像表示装置に表示される前記仮想の窓の外の仮想的な仮想三次元空間の画像に対応して、前記仮想の窓から前記屋内の内部に入射される前記仮想三次元空間からの入射光が、前記インテリアエレメント及び前記屋内に照射された際の照度分布を、前記時間経過毎に再現する光束映像を生成する光束映像生成部とを備えることを特徴とする。
本発明の屋内光シミュレーションシステムは、前記屋内にて移動可能に配置されている前記インテリアエレメントである移動可能エレメントの前記三次元形状が予め求められて記憶されたインテリアエレメント記憶部をさらに備えていることを特徴とする。
本発明の屋内光シミュレーションシステムは、前記屋内における前記移動可能エレメントの前記位置及び前記姿勢を、当該移動可能エレメントの三次元形状における特徴点に基づいて、前記時間経過毎に取得する位置姿勢取得部をさらに備えることを特徴とする。
本発明の屋内光シミュレーションシステムは、前記光束映像生成部が求めた前記照度分布に対応した光束映像を前記時間経過毎に生成し、前記インテリアエレメントを含む前記屋内の内部に投影する光束映像投影装置をさらに備えていることを特徴とする。
本発明の屋内光シミュレーションシステムは、前記仮想三次元空間が実時間に対応して変化するアニメーションとして生成されていることを特徴とする。
本発明の屋内光シミュレーションシステムは、前記アニメーションが前記仮想の窓から鑑賞される景色に対応して季節毎及び時間帯毎に生成されていることを特徴とする。
本発明の屋内光シミュレーションシステムは、前記仮想三次元空間と、前記画像表示装置が配置された前記屋内の現実空間を三次元の仮想空間とした仮想屋内空間とを前記画像表示装置の表示画面を境界面として複合して複合仮想空間を生成する複合仮想空間生成部をさらに備え、前記光束映像生成部が、前記複合仮想空間において、現実空間である前記屋内に投影される前記光束映像を、当該光束映像の各画素の輝度値を、当該画素と前記仮想屋内空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記仮想三次元空間からの光が与える光束の値として生成することを特徴とする。
本発明の屋内光シミュレーション方法は、位置姿勢取得部が、屋内に配置される家具を含むインテリアエレメントの三次元形状、配置される位置及び姿勢を含む属性情報を所定の時間経過毎に逐次取得する位置姿勢取得過程と、光束映像生成部が、仮想の窓として屋内の側壁に配置された画像表示装置に表示される前記仮想の窓の外の仮想的な仮想三次元空間の画像に対応して、前記仮想の窓から前記屋内の内部に入射される前記仮想三次元空間からの直接光が、前記インテリアエレメントにより遮蔽された結果の前記屋内における照度分布を再現する光束映像を生成する光束映像生成過程とを含むことを特徴とする。
本発明のプログラムは、コンピュータを、屋内に配置される家具を含むインテリアエレメントの三次元形状、配置される位置及び姿勢を含む属性情報を所定の時間経過毎に逐次取得する位置姿勢取得手段、仮想の窓として屋内の側壁に配置された画像表示装置に表示される前記仮想の窓の外の仮想的な仮想三次元空間の画像に対応して、前記仮想の窓から前記屋内の内部に入射される前記仮想三次元空間からの直接光が、前記インテリアエレメントにより遮蔽された結果の前記屋内における照度分布を再現する光束映像を生成する光束映像生成手段として動作させるためのプログラムである。
以上説明したように、本発明によれば、屋外からの差し込む光を再現する際、窓から屋内に差し込まれる光に対応して、屋内におかれた家具や調度品などの遮蔽物により生じる影を表現する屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラムを提供することができる。
以下、本発明の実施形態について、図面を参照して説明する。図1は、本発明の実施形態による屋内光シミュレーションシステムを適用したシステム構成例を示す概念図である。図1において、仮想窓環境提示モデルルーム100は、モデルルーム基部1と、このモデルルーム基部1に設けられた屋内光シミュレーションシステムとから構成されている。
屋内光シミュレーションシステムは、屋内光シミュレーション装置2と、画像表示装置3と、光束映像投影装置4、画像撮像装置5_1及び画像撮像装置5_2の各々を備えている。
屋内光シミュレーションシステムは、屋内光シミュレーション装置2と、画像表示装置3と、光束映像投影装置4、画像撮像装置5_1及び画像撮像装置5_2の各々を備えている。
屋内光シミュレーション装置2は、仮想三次元空間(後述)から画像表示装置3に表示する2次元の仮想空間画像を生成し、生成した仮想空間画像VS2を画像表示装置3に対して出力する。この仮想三次元空間は、モデルハウスあるいはモデルルームが実際に建てられる場所の環境を再現する擬似的な空間を示しており、この場所における照明及び物体の三次元形状モデルを擬似的にCG(Computer Graphics)等で生成した空間情報である。
また、屋内光シミュレーション装置2は、光束映像投影装置4が現実空間であるモデルルーム基部1に投射する光束映像LFを生成し、生成した光束映像LFを光束映像投影装置4に対して出力する。これにより、光束映像投影装置4は、供給された光束映像LFを現実空間に対して投射する。屋内光シミュレーション装置2は、画像表示装置3及び光束映像投影装置4に光束映像LFなどのデータを出力するための出力インターフェースを含む。また、屋内光シミュレーション装置2は、入力装置7及び画像撮像装置5からデータを入力するための入力インターフェースを含む。
入力装置7は、キーボードあるいはマウスなどであり、操作者が屋内光シミュレーション装置2を操作するための命令などを入力する。
また、屋内光シミュレーション装置2は、光束映像投影装置4が現実空間であるモデルルーム基部1に投射する光束映像LFを生成し、生成した光束映像LFを光束映像投影装置4に対して出力する。これにより、光束映像投影装置4は、供給された光束映像LFを現実空間に対して投射する。屋内光シミュレーション装置2は、画像表示装置3及び光束映像投影装置4に光束映像LFなどのデータを出力するための出力インターフェースを含む。また、屋内光シミュレーション装置2は、入力装置7及び画像撮像装置5からデータを入力するための入力インターフェースを含む。
入力装置7は、キーボードあるいはマウスなどであり、操作者が屋内光シミュレーション装置2を操作するための命令などを入力する。
画像表示装置3は、仮想窓として側壁1_Sに設けられており、屋内光シミュレーション装置2から供給される仮想空間画像を、表示画面3Aに対して表示する。ここで、表示画面3Aは、例えば、平面ないし曲面で構成されている。画像表示装置3は、仮想窓として実物の窓に見えるよう、例えば、カーテンやブラインド等の遮蔽物や窓枠を模した装飾を、前面または周辺部にあたる位置に配置してもよい。
光束映像投影装置4は、例えばプロジェクタであり、現実空間であるモデルルーム基部1内における三次元物体、例えば、部屋の壁、床、天井、観察者(例えば、住宅を購入する顧客)に対して、屋内光シミュレーション装置2から供給される光束映像LFを投射する。本実施形態において、例えば、光束映像投影装置4は、仮想窓から入射される入射光に対応させるため、仮想窓の近傍に配置することが望ましい。このため、本実施形態においては、光束映像投影装置4は、画像表示装置3が配置される側壁1_Sにおける、部屋空間の上部隅に設定されている。上記光束映像LFは、画像表示装置3の表示画面3Aから漏れ出てくる、仮想三次元空間からの光を擬似的に実現するため、モデルルーム基部1における三次元物体であるインテリアエレメントに対して投射される画像である。すなわち、光束映像LFは、モデルルーム基部1に投射されることにより、画像表示装置3に表示されている仮想三次元空間から、表示画面3Aを介してモデルルーム基部1の部分領域の各々に対して照射される直接光の推定される照度に対応した画像である。
これにより、モデルルーム基部1は、あたかも画像表示装置3の表示画面3Aの奥(内部)に仮想三次元空間が存在し、この仮想三次元空間から得られると推定される照明効果を、光束映像投影装置4から投射される光束映像LFから擬似的に得られる。この光束映像LFの生成処理については後述する。すなわち、光束映像投影装置4は、屋内光シミュレーション装置2から供給される光束映像をモデルルーム基部1に逐次投影することにより、画像表示装置3で映像として表示している仮想三次元空間から、仮想の窓である表示画面3Aを介してモデルルーム基部1内に差し込む直接光が照射される部分領域の各々における直接光による照度分布と同等の照度分布6を実現する。
画像撮像装置5_1及び画像撮像装置5_2の各々は、屋内であるモデルルーム基部1の内部のインテリアエレメントの3次元形状、位置及び姿勢を含む属性情報を得るための撮像画像それぞれを撮像し、撮像した撮像画像を屋内光シミュレーション装置2に対して出力する。本実施形態において、モデルルーム基部1における三次元形状物体であるインテリアエレメントの位置及び姿勢は、モデルルーム基部1の現実空間において定義される三次元直交座標系(X軸、Y軸及びX軸からなる座標系)における座標位置及び角度により表現される。本実施形態において、インテリアエレメントは、天井、壁、床材などの内装、家具(椅子、机、本棚など)、カーテン、カーペット、壺や花瓶などの調度品を含む。画像撮像装置5_1及び画像撮像装置5_2は、総称して画像撮像装置5と示す場合もある。
図1において、モデルルーム基部1には、インテリアエレメントとして椅子201、椅子202、本棚203及びテーブル204の各々が配置されている。
図1において、モデルルーム基部1には、インテリアエレメントとして椅子201、椅子202、本棚203及びテーブル204の各々が配置されている。
図2は、本発明の実施形態による屋内光シミュレーションシステムにおける屋内光シミュレーション装置の構成例を示すブロック図である。図2において仮想三次元空間提示システムは、図1を用いて説明したように、屋内光シミュレーション装置2、画像表示装置3、光束映像投影装置4、画像撮像装置5(画像撮像装置5_1及び画像撮像装置5_2)及び入力装置7の各々を備えている。また、屋内光シミュレーション装置2は、画像生成制御部21、屋内状態取得部22、位置姿勢取得部23、仮想屋内空間生成部24、複合仮想空間生成部25、仮想空間画像生成部26、光束映像生成部27、インテリアエレメント記憶部28及び仮想三次元空間記憶部29の各々を備えている。
画像生成制御部21は、屋内光シミュレーションシステムにおいて処理する、仮想空間である仮想三次元空間のアニメーションデータを外部装置から読み込み、読み込んだアニメーションデータを仮想三次元空間記憶部29に対して書き込んで記憶させる。また、画像生成制御部21は、入力装置7から入力される操作するための命令により、屋内光シミュレーション装置2の制御を行う。
屋内状態取得部22は、画像撮像装置5_1及び画像撮像装置5_2の各々から、画像撮像装置5_1及び画像撮像装置5_2が撮像したモデルルーム基部1の第1の撮像画像(例えば、RGB(Red、Green、Blue)画像)、第2の撮像画像それぞれを入力し、位置姿勢取得部23に対して出力する。
位置姿勢取得部23は、屋内状態取得部22から供給される第1の撮像画像及び第2の撮像画像の各々において、位置及び姿勢の抽出対象のインテリアエレメントである対象インテリアエレメントに添付されているマーカを抽出する。このマーカは、第1の撮像画像及び第2の撮像画像の各々におけるインテリアエレメントを抽出する際の特徴点とするために添付されている。そして、位置姿勢取得部23は、三角測量や点群の位置合わせにより、モデルルーム基部1の現実空間において定義される三次元直交座標系における、対象インテリアエレメントに添付されているマーカ各々の座標値を抽出する。本実施形態において、対象インテリアエレメントは、モデルルーム基部1内において、モデルルームを見学に来た顧客などが配置を移動できるインテリアエレメント、例えば、椅子や花瓶などである。
一方、家具でもテーブル、箪笥あるいは本棚など移動させない作り付けに近いインテリアエレメントは、予めモデルルーム基部1の現実空間を仮想空間とした仮想屋内空間において、固定された3次元形状として含まれている。例えば、図1においては、椅子201及び椅子202の各々が対象インテリアエレメントであり、本棚203及びテーブル204の各々が仮想屋内空間における固定された3次元形状である。
本実施形態においては、仮想屋内空間が予め生成され、仮想三次元空間記憶部29に書き込まれて記憶されている。例えば、仮想屋内空間のデータは、深度カメラにより測定した情報から、外部装置により生成し、仮想三次元空間記憶部29に対して予め書き込んで記憶させておいても良い。
そして、位置姿勢取得部23は、上記三次元直交座標系におけるマーカの座標値が形成する平面形状を抽出し、それぞれの平面形状から対象インテリアエレメントのエレメント識別情報を抽出する。
そして、位置姿勢取得部23は、上記三次元直交座標系におけるマーカの座標値が形成する平面形状を抽出し、それぞれの平面形状から対象インテリアエレメントのエレメント識別情報を抽出する。
図3は、インテリアエレメント記憶部28に記憶されている、平面形状とエレメント識別情報との対応を示すエレメント形状テーブルの構成例を示す図である。図3において、エレメント形状テーブルには、平面形状と、その平面形状が示す対象インテリアエレメントの識別情報であるエレメント識別情報とが対応して示されている。平面形状は、三次元直交座標系においてマーカの座標点が形成する形状である。エレメント識別情報は、対象インテリアエレメントを識別する識別情報である。
ここで、位置姿勢取得部23は、取得した3次元形状に対応するエレメント識別情報を、インテリアエレメント記憶部28のエレメント形状テーブルから読み出す。
ここで、位置姿勢取得部23は、取得した3次元形状に対応するエレメント識別情報を、インテリアエレメント記憶部28のエレメント形状テーブルから読み出す。
図4は、対象インテリアエレメントに添付されるマーカの一例を示す図である。
図4においては、対象インテリアエレメントとして椅子201が一例として示されている。マーカ301、マーカ302及びマーカ303の各々は、椅子201における異なる位置にそれぞれ添付されている。マーカの各々は線形独立な位置(直線上に配列せず、例えば、マーカの座標点が頂点となる多角形の平面形状が形成される位置)に配置される必要がある。
図4においては、対象インテリアエレメントとして椅子201が一例として示されている。マーカ301、マーカ302及びマーカ303の各々は、椅子201における異なる位置にそれぞれ添付されている。マーカの各々は線形独立な位置(直線上に配列せず、例えば、マーカの座標点が頂点となる多角形の平面形状が形成される位置)に配置される必要がある。
この図4の場合には、三次元直交座標系においてマーカの座標点が形成する平面形状として、直角三角形501が設定されている。したがって、位置姿勢取得部23は、上記椅子201に添付されたマーカの各々の添付位置が検出され、このマーカの座標点が形成する直角三角形501に対応するエレメント識別情報を、インテリアエレメント記憶部28のエレメント形状テーブルから読み出す。また、重心点501Cは、直角三角形501の重心を示している。
ここで、位置姿勢取得部23は、直角三角形501の重心点501Cを求め、この重心点501Cからの法線ベクトル501Vを求める。そして、位置姿勢取得部23は、重心点501Cを、モデルルーム基部1の三次元直交座標系に椅子201を配置する位置座標値とする。また、位置姿勢取得部23は、法線ベクトル501Vを、モデルルーム基部1の三次元直交座標系に配置される際の椅子201の姿勢を示す姿勢ベクトルとする。
位置姿勢取得部23は、対象インテリアエレメントのエレメント識別情報に対応して、インテリアエレメント記憶部28に対して書き込んで記憶させる。
位置姿勢取得部23は、対象インテリアエレメントのエレメント識別情報に対応して、インテリアエレメント記憶部28に対して書き込んで記憶させる。
図5は、インテリアエレメント記憶部28に記憶されている、エレメント識別情報とこのエレメント識別情報に対応するインテリアエレメントの配置される配置位置及び姿勢の対応を示すエレメント配置テーブルの構成例を示す図である。図5において、エレメント識別情報に対応して、三次元形状データインデックス、配置位置(位置座標値)及び姿勢(姿勢ベクトル)の各々がレコード単位に書き込まれて記憶されている。位置座標値は、マーカの座標点が形成する平面形状の重心点である。姿勢ベクトルは、平面形状の重心点における法線ベクトルである。
位置姿勢取得部23は、対象インテリアエレメント毎にエレメント識別情報に対応させ、求めた位置座標値及び姿勢ベクトルの各々を、インテリアエレメント記憶部28のエレメント配置テーブルに書き込んで記憶させる。エレメント識別情報は、すでに述べた対象インテリアエレメントを識別する識別情報である、三次元形状データインデックスは、対象インテリアエレメントの予め求められた三次元形状のデータ(3次元形状モデル)が記憶されているアドレスが示されている。この対象インテリアエレメントの3次元形状モデルは、設計データから得ても良いし、予め三次元形状を測定しても良く、予め得られて用意されているデータである。
図1に戻り、仮想屋内空間生成部24は、仮想三次元空間記憶部29から仮想屋内空間のデータを読み出す。また、仮想屋内空間生成部24は、インテリアエレメント記憶部28のエレメント配置テーブルを参照し、対象インテリアエレメントの各々の三次元形状データインデックスと、対象インテリアエレメントの三次元形状モデルの各々の配置における位置座標値及び姿勢ベクトルの各々を読み出す。
そして、仮想屋内空間生成部24は、仮想三次元空間記憶部29から、三次元形状データインデックスの示すアドレスに基づき、対象インテリアエレメントの三次元形状モデルを読み出す。仮想屋内空間生成部24は、読み出した仮想屋内空間に配置されている対象インテリアエレメントの各々の配置位置及び姿勢を、エレメント配置テーブルから読み出した位置座標値及び姿勢ベクトルの各々により変更する。仮想屋内空間生成部24は、変更した仮想屋内空間を、仮想三次元空間記憶部29における変更前の仮想屋内空間に上書きして記憶させる。ここで、仮想屋内空間生成部24は、仮想屋内空間の三次元座標系において、各インテリアエレメントの三次元形状モデルの配置を、上述した平面形状の重心点の位置座標値及び重心点における姿勢ベクトルに対応するように行なう。
複合仮想空間生成部25は、仮想三次元空間と、現実空間におけるモデルルーム基部1を等スケール(同一の尺度の寸法値)で三次元の仮想空間としてモデル化した仮想屋内空間とを融合(複合)し、複合仮想空間を生成する。
ここで、複合仮想空間生成部25は、仮想三次元空間を季節あるいは時間帯に対応して、仮想三次元空間記憶部29から読み出して用いる。仮想三次元空間は、例えば、CG等によって生成された三次元のアニメーションが用いられる。
ここで、複合仮想空間生成部25は、仮想三次元空間を季節あるいは時間帯に対応して、仮想三次元空間記憶部29から読み出して用いる。仮想三次元空間は、例えば、CG等によって生成された三次元のアニメーションが用いられる。
図6は、仮想三次元空間記憶部29に記憶されているアニメーション種別テーブルの構成例を示す図である。図6において、アニメーションは、屋内識別情報で識別されるモデルルーム基部1の種別毎に設けられている。アニメーションのデータは、季節情報の示す季節毎、それぞれの季節における1日の時間帯毎に、予め書き込まれて記憶されている。また、アニメーションのデータ(以下、アニメーションデータ)は、例えば、10分間の長さの三次元空間におけるアニメーションを生成するための連続的に変化する、静止した三次元形状からなる3次元空間データのデータ群である。
図2に戻り、複合仮想空間生成部25は、複合仮想空間を生成する際、モデルルーム基部1の屋内識別情報に対応したアニメーション種別テーブルから、シミュレーションしたい季節情報及び時間帯情報に対応させ、アニメーションデータインデックスを読み出す。
複合仮想空間生成部25は、アニメーションデータインデックスの示す仮想三次元空間のデータ群から、実時間に対応した単位時間毎に順次仮想三次元空間のデータを読み出す。また、複合仮想空間生成部25は、仮想三次元空間記憶部29から、対象インテリアエレメントの配置及び姿勢が反映された仮想屋内空間を読み出す。そして、複合仮想空間生成部25は、単位時間毎の仮想三次元空間と、この単位時間経過後の仮想屋内空間とを複合し、アニメーションの単位時間毎の複合仮想空間を生成する。
複合仮想空間生成部25は、アニメーションデータインデックスの示す仮想三次元空間のデータ群から、実時間に対応した単位時間毎に順次仮想三次元空間のデータを読み出す。また、複合仮想空間生成部25は、仮想三次元空間記憶部29から、対象インテリアエレメントの配置及び姿勢が反映された仮想屋内空間を読み出す。そして、複合仮想空間生成部25は、単位時間毎の仮想三次元空間と、この単位時間経過後の仮想屋内空間とを複合し、アニメーションの単位時間毎の複合仮想空間を生成する。
図7は、複合仮想空間生成部25の生成した複合仮想空間の一例を示す図である。複合仮想空間は、仮想屋外環境情報30であり、屋外環境の形状・アニメーション・反射特性情報31、光源32の照明情報(照明)、仮想屋内空間の情報33(仮想屋内空間の情報)を含んでいる。窓映像撮像カメラパラメータ34は、仮想カメラ421のカメラパラメータである。仮想カメラ421は、複合仮想空間において、現実空間であるモデルルーム基部1における観察者の視点の位置に配置されている。
図8は、仮想屋内空間の情報33の一例を示す図である。仮想屋内空間の情報33は、モデルルーム基部1の形状情報411、仮想カメラ420、仮想カメラ421、画像表示装置3の表示画面3Aに対応する仮想屋内空間内の窓4110である。ここで、仮想カメラとは、カメラパラメータの情報、及び、その情報によって一意に状態や性質が定義される仮想的な撮像装置のことを指す。仮想カメラ421は、複合仮想空間において、現実空間であるモデルルーム基部1における観察者の視点の位置に配置されている。
観察者の視点は、現実空間の三次元直交座標系において画像生成制御部21により推定された座標を用いる。画像生成制御部21は、例えば、画像撮像装置5_1及び画像撮像装置5_2の各々の撮像した撮像画像それぞれについて、観察者の目の撮像画像上の二次元位置座標を推定し、この二次元位置座標から三角測量によって、観察者の視点の三次元位置座標を求めることができる。また、観察者の目の撮像画像上の二次元座標は、(例えば、特開2015−096961号公報に記載の方法)を用いることで求めることができる。
複合仮想空間は、仮想三次元空間と仮想屋内空間とが、画像表示装置3の表示画面3A、すなわち仮想の窓を介して複合された空間である。すなわち、仮想屋内空間に対して、表示画面3Aと、仮想三次元空間にモデルルーム基部1が存在した場合における仮想の窓に対応する領域とが重なり合う部分の境界面の奥に、仮想三次元空間を重畳して複合したものである。この複合を行う際、仮想三次元空間の一部を構成する平面ないし曲面が、仮想屋内空間となす境界面の境界線の一部に近接していることが好ましい。
図8においては、画像表示装置3の表示画面3Aの頂点の情報と、仮想三次元空間における窓4110との頂点情報とをマッチングさせることで、複合仮想空間生成部25が仮想三次元空間と仮想屋内空間とを複合して、複合仮想空間を生成している。これにより、複合仮想空間は、現実空間におけるモデルルーム基部1を等スケールで再現した仮想屋内空間を含むため、複合仮想空間内の物体の位置及び角度は、現実空間における三次元直交座標系により、現実空間におけるモデルルーム基部1と同様に表現できる。すなわち、仮想三次元空間(アニメーションにより示される景色など)を観察しようとする仮想の窓を、画像表示装置3の表示画面3Aの領域とが境界面で一致するように、仮想三次元空間と仮想屋内空間とを複合することで、図7に示す複合仮想空間を生成することができる。
図2に戻り、仮想空間画像生成部26は、画像表示装置3の表示画面3Aに表示する仮想空間画像を、仮想三次元空間から生成する。この際、仮想空間画像生成部26は、複合仮想空間において、仮想屋内空間に配置された仮想カメラ421により、窓4110(図10)を介して観察される仮想三次元空間の画像を撮像する。この撮像された画像が、現実空間におけるモデルルーム基部1の観察者が画像表示装置3の表示画面3Aで鑑賞する仮想空間画像となる。この仮想空間画像は、仮想カメラ421の撮像方向にある仮想の窓(表示画面3A)を含む複合仮想空間の三次元仮想物体が、2次元平面である仮想カメラ421の撮像面に投影された2次元画像として得られる。また、仮想空間画像は、画像表示装置3における平面あるいは曲面の表示画面3Aに表示される形態として求められる。
図9は、仮想カメラ421と窓4110との関係を示す上面図である。
この図9において、仮想カメラ421の視点位置は、三次元直交座標系において、画像生成制御部21が推定した観察者の視点位置と同一とする。また、仮想カメラ421の視線は、常に窓4110に対して垂直であり、視錐台の近平面に相当する面は窓4110に一致する。その結果、仮想カメラ421の視錐台は、図9に示すような非対称の形状となる。なお、表示画面3Aが曲面である場合は、例えば、窓4110の形状をポリゴンによって表示画面3Aの曲面を近似したものとし、各ポリゴンについて個別に、平面の窓の場合と同様の処理で撮像し、最後に各ポリゴンの撮像結果をつなぎ合わせることで、所望の仮想空間画像を生成することができる。
この図9において、仮想カメラ421の視点位置は、三次元直交座標系において、画像生成制御部21が推定した観察者の視点位置と同一とする。また、仮想カメラ421の視線は、常に窓4110に対して垂直であり、視錐台の近平面に相当する面は窓4110に一致する。その結果、仮想カメラ421の視錐台は、図9に示すような非対称の形状となる。なお、表示画面3Aが曲面である場合は、例えば、窓4110の形状をポリゴンによって表示画面3Aの曲面を近似したものとし、各ポリゴンについて個別に、平面の窓の場合と同様の処理で撮像し、最後に各ポリゴンの撮像結果をつなぎ合わせることで、所望の仮想空間画像を生成することができる。
仮想空間画像生成部26は、上述したように、仮想空間画像を生成して、生成した仮想空間画像を画像表示装置3の表示画面3Aに表示する。
図10は、仮想空間画像生成部26の生成した仮想空間画像の一例を示す図である。図10において、仮想の窓から観察者の視点に対応して観察される、すなわち画像表示装置3の表示画面3Aにおいて表示される仮想三次元空間の仮想空間画像を示している。仮想空間画像生成部26は、上述したように、仮想カメラ421の窓映像撮像カメラパラメータ34に基づき、仮想三次元空間における屋外環境の形状・アニメーション・反射特性情報31をレイトレーシング法などを用いたコンピュータグラフィックスにより映像化し、仮想空間画像を生成する。
図10は、仮想空間画像生成部26の生成した仮想空間画像の一例を示す図である。図10において、仮想の窓から観察者の視点に対応して観察される、すなわち画像表示装置3の表示画面3Aにおいて表示される仮想三次元空間の仮想空間画像を示している。仮想空間画像生成部26は、上述したように、仮想カメラ421の窓映像撮像カメラパラメータ34に基づき、仮想三次元空間における屋外環境の形状・アニメーション・反射特性情報31をレイトレーシング法などを用いたコンピュータグラフィックスにより映像化し、仮想空間画像を生成する。
光束映像生成部27は、複合仮想空間における仮想三次元空間の三次元仮想物体からの直接光あるいは間接光の入射光が仮想屋内空間に対して入射され、対象インテリアエレメント及び床などに照射された入射光の画像を光束映像LFとして撮像する。すなわち、光束映像生成部27は、仮想カメラ420により複合仮想空間における対象インテリアエレメントに照射されて、その対象インテリアエレメントの後方における光の影を含む入射光の画像を撮像する。このとき、光束映像生成部27は、仮想カメラ420による複合仮想空間の撮像時に、所定の輝度値計算方法により、撮像した画像の各画素の色成分RGBの各々の輝度値を算出することにより、光束映像投影装置4に与える光束映像LFを生成する。
ここで、複合仮想空間には、図1に示すように、仮想カメラ421の他に、光束映像投影装置4と同一位置に配置された上記仮想カメラ420がある。仮想カメラ420の透視投影行列は、光束映像投影装置4の透視投影行列の推定値と一致している。ここで、透視投影行列とは、現実空間(または複合仮想空間)の三次元直交座標系上の座標から、仮想カメラ420の撮影画像平面上、または光束映像投影装置4へ入力される光束映像LFの画像平面上の二次元座標系上の座標に変換する行列である。光束映像投影装置4の透視投影行列は、例えば、「田中文武,出口光一郎,岡谷貴之 汎用プロジェクタを用いる高精度レンジファインダのためのキャリブレーション 計測自動制御学会東北支部 第226回研究集会 (2005.12.9)」に記載の方法を用いて予め計測しておく。
以下に、光束映像生成部27による上記所定の輝度値計算方法を説明する。
光束映像生成部27は、仮想カメラ420が撮像する光束映像LFにおける画素を順次注目画素として輝度値を抽出する。そして、光束映像生成部27は、仮想カメラ420が撮像した光束映像LFにおいて輝度値を求める対象の画素である注目画素が、仮想三次元空間に含まれている場合、色成分RGBの各々の輝度値は0に設定される。一方、光束映像生成部27は、光束映像LFにおける注目画素に対応する複合仮想空間上の領域に対して、複合仮想空間の光源32の光源情報に基づき、光源32から直接的あるいは間接的に入射する光束を算出する。ここで、間接的な光束とは、例えば仮想三次元空間における他の三次元仮想物体における光源32の反射光の光束を示している。
光束映像生成部27は、仮想カメラ420が撮像する光束映像LFにおける画素を順次注目画素として輝度値を抽出する。そして、光束映像生成部27は、仮想カメラ420が撮像した光束映像LFにおいて輝度値を求める対象の画素である注目画素が、仮想三次元空間に含まれている場合、色成分RGBの各々の輝度値は0に設定される。一方、光束映像生成部27は、光束映像LFにおける注目画素に対応する複合仮想空間上の領域に対して、複合仮想空間の光源32の光源情報に基づき、光源32から直接的あるいは間接的に入射する光束を算出する。ここで、間接的な光束とは、例えば仮想三次元空間における他の三次元仮想物体における光源32の反射光の光束を示している。
光束映像生成部27は、上記光束を求める際、例えば、レンダリング処理にレイトレーシング法などを用い、上記領域の代表点の照度に対し、この領域の面積を乗算して近似的に光束を求める。これにより、光束映像生成部27は、複合仮想空間において、仮想三次元空間から仮想屋内空間に対して漏れ出る光束、すなわち光源32及び他の三次元仮想物体から仮想屋内空間に対して与える光束を求める。
また、光束映像生成部27は、求めた光束に対応した注目画素の輝度値を、変換テーブルから求める。上述したように、光束映像生成部27は、上述したように、仮想カメラ420が撮像する光束映像LFの各画素を順次注目画素として輝度値を求める。そして、光束映像生成部27は、生成した光束映像LFを光束映像投影装置4に対して出力する。
また、光束映像生成部27は、求めた光束に対応した注目画素の輝度値を、変換テーブルから求める。上述したように、光束映像生成部27は、上述したように、仮想カメラ420が撮像する光束映像LFの各画素を順次注目画素として輝度値を求める。そして、光束映像生成部27は、生成した光束映像LFを光束映像投影装置4に対して出力する。
上記変換テーブルは、仮想三次元空間記憶部29に予め書き込まれて記憶されている。変換テーブルは、例えば、光束映像投影装置4から仮想屋内空間の画素毎に投影される色成分RGBの3色毎の光束を検索キーとして、光束映像投影装置4に供給される光束映像LFの各画素の色成分RGBそれぞれの輝度値を参照するための三次元ルックアップテーブルである。この変換テーブルから求められる輝度値は、仮想三次元空間から仮想屋内空間に対して漏れ出る光束を、光束映像投影装置4から擬似的に出力するために必要な光束映像LF上の各画素の色成分RGB毎の輝度値である。
また、この変換テーブルは、例えば、光束映像投影装置4で所定のテスト画像を光束映像LFとしてスクリーンに投影し、スクリーン上の輝度値とテスト画像の輝度値との第1関係と、スクリーン上の輝度値とスクリーン上の光束との第2関係とをそれぞれ求め、これら第1関係及び第2関係の各々を連立することで、光束と光束映像LFの輝度値との関係を求める。上記第1関係は、「山本昇志, 鶴瀬麻依子, 植田久美子, 津村徳道, 中口俊哉, 三宅洋一. "DLP プロジェクタ照明下における物体の質感制御." 日本写真学会誌 68.6 (2005): 510-517」による方法で求めることができる。また、第2関係は、スクリーンの位置と、光束映像投影装置4の投射方向及びスクリーン面の成す角度と、スクリーン面の反射特性との各々を用いて求めることができる。なお光束映像投影装置4が投影する画素毎の光束のばらつきは、無視できる程度に低く抑えられているものとする。
また、複合仮想空間における光源32及び三次元仮想物体のモデルが静的である場合、仮想カメラ420が撮像した画像の画素毎に光束を格納したライトマップテクスチャーを予め作成して用意しておいても良い。この構成により、仮想カメラ420が撮像した画像の各画素の光束は、予め準備されたライトマップテクスチャーの参照によって得ることが可能となる。この構成の場合、仮想三次元空間から仮想屋内空間に対して漏れる光束の計算に対して、十分な時間を取れるため、複雑な三次元仮想物体からの反射現象を考慮し、高い精度により求めた光束の有するライトマップテクスチャーを用意することができる。これにより、光束映像投影装置4に対して高い精度の光束映像LFを出力することができ、光束映像投影装置4から投射される光束映像LFをより高品質なものとし、観察者に対して現実感を与えることが可能となる。
次に、図11は、本発明の実施形態の屋内光シミュレーションシステムにおける屋内光のシミュレーションの提示を行なう処理の動作例を示すフローチャートである。以下の図11のフローチャートにおいて、ステップS5AからステップS7Aの処理は仮想空間画像生成部26が処理を行う。一方、ステップS5BからステップS7Bの処理は光束映像生成部27が処理を行う。これら仮想空間画像生成部26及び光束映像生成部27の処理は並列に行われる。
ステップS1:
操作者は、屋内光シミュレーションを行ないたいモデルルーム基部1の屋内識別情報と、季節情報の示す季節と、この季節における1日の時間帯との各々を、入力装置7から屋内光シミュレーション装置2に対して入力する。
これにより、複合仮想空間生成部25は、屋内識別情報、季節及び時間帯の各々に対応した屋内光シミュレーションに用いるアニメーションデータインデックスを仮想三次元空間記憶部29から読み出す。
操作者は、屋内光シミュレーションを行ないたいモデルルーム基部1の屋内識別情報と、季節情報の示す季節と、この季節における1日の時間帯との各々を、入力装置7から屋内光シミュレーション装置2に対して入力する。
これにより、複合仮想空間生成部25は、屋内識別情報、季節及び時間帯の各々に対応した屋内光シミュレーションに用いるアニメーションデータインデックスを仮想三次元空間記憶部29から読み出す。
ステップS2:
屋内状態取得部22は、画像撮像装置5_1及び画像撮像装置5_2の各々から供給される第1の撮像画像、第2の撮像画像それぞれを、位置姿勢取得部23に対して出力する。
そして、位置姿勢取得部23は、第1の撮像画像及び第2の撮像画像の各々により、モデルルーム基部1の三次元座標系における対象インテリアエレメントの各々の配置位置及び姿勢を求める。
そして、位置姿勢取得部23は、求めた対象インテリアエレメントの各々の配置位置及び姿勢のそれぞれを、対象インテリアエレメントのエレメント識別情報に対応させて、インテリアエレメント記憶部28のエレメント配置テーブルに書き込んで記憶させる。
屋内状態取得部22は、画像撮像装置5_1及び画像撮像装置5_2の各々から供給される第1の撮像画像、第2の撮像画像それぞれを、位置姿勢取得部23に対して出力する。
そして、位置姿勢取得部23は、第1の撮像画像及び第2の撮像画像の各々により、モデルルーム基部1の三次元座標系における対象インテリアエレメントの各々の配置位置及び姿勢を求める。
そして、位置姿勢取得部23は、求めた対象インテリアエレメントの各々の配置位置及び姿勢のそれぞれを、対象インテリアエレメントのエレメント識別情報に対応させて、インテリアエレメント記憶部28のエレメント配置テーブルに書き込んで記憶させる。
ステップS3:
仮想屋内空間生成部24は、仮想三次元空間記憶部29から仮想屋内空間のデータを読み出す。また、仮想屋内空間生成部24は、読み出した仮想屋内空間における対象インテリアエレメントの各々の配置位置(位置座標値)及び姿勢(姿勢ベクトル)の各々を、対象インテリアエレメントのエレメント識別情報に対応して読み出す。
そして、仮想屋内空間生成部24は、エレメント識別情報の各々に対応して読み出した配置位置及び姿勢に基づき、仮想屋内空間における対象インテリアエレメントそれぞれの配置位置及び姿勢の変更を行なう。仮想屋内空間生成部24は、変更した仮想屋内空間のデータを、仮想三次元空間記憶部29における仮想屋内空間のデータに上書きして、仮想屋内空間のデータの更新を行なう。
仮想屋内空間生成部24は、仮想三次元空間記憶部29から仮想屋内空間のデータを読み出す。また、仮想屋内空間生成部24は、読み出した仮想屋内空間における対象インテリアエレメントの各々の配置位置(位置座標値)及び姿勢(姿勢ベクトル)の各々を、対象インテリアエレメントのエレメント識別情報に対応して読み出す。
そして、仮想屋内空間生成部24は、エレメント識別情報の各々に対応して読み出した配置位置及び姿勢に基づき、仮想屋内空間における対象インテリアエレメントそれぞれの配置位置及び姿勢の変更を行なう。仮想屋内空間生成部24は、変更した仮想屋内空間のデータを、仮想三次元空間記憶部29における仮想屋内空間のデータに上書きして、仮想屋内空間のデータの更新を行なう。
ステップS4:
複合仮想空間生成部25は、仮想三次元空間記憶部29から屋内仮想空間のデータ及びアニメーションデータの一コマに対応する仮想三次元空間を読み出す。ここで、複合仮想空間生成部25は、アニメーションデータにおける仮想三次元空間を単位時間毎に、時間帯の時間経過に対応して読み出す。
そして、複合仮想空間生成部25は、仮想屋内空間と仮想三次元空間とを複合して、複合仮想空間を生成する。このとき、複合仮想空間生成部25は、現在時刻の経過時間、すなわち、アニメーションにおける単位時間の経過時間を、実時間の時間経過に同期させ、上述した仮想三次元空間と仮想屋内空間との複合処理を行ない、処理をステップS5A及びステップS5Bの各々へ進める。ここで、現在時刻とは、例えば、屋内光シミュレーションシステムが本フローチャートの処理を開始してからの経過時間である。
複合仮想空間生成部25は、仮想三次元空間記憶部29から屋内仮想空間のデータ及びアニメーションデータの一コマに対応する仮想三次元空間を読み出す。ここで、複合仮想空間生成部25は、アニメーションデータにおける仮想三次元空間を単位時間毎に、時間帯の時間経過に対応して読み出す。
そして、複合仮想空間生成部25は、仮想屋内空間と仮想三次元空間とを複合して、複合仮想空間を生成する。このとき、複合仮想空間生成部25は、現在時刻の経過時間、すなわち、アニメーションにおける単位時間の経過時間を、実時間の時間経過に同期させ、上述した仮想三次元空間と仮想屋内空間との複合処理を行ない、処理をステップS5A及びステップS5Bの各々へ進める。ここで、現在時刻とは、例えば、屋内光シミュレーションシステムが本フローチャートの処理を開始してからの経過時間である。
ステップS5A:
仮想空間画像生成部26は、複合仮想空間内に設けられた仮想カメラ421により、現実空間におけるモデルルーム基部1の観察者の視点位置から観察されると推定される撮像画像を撮像する。
そして、仮想空間画像生成部26は、撮像した撮像画像から画像表示装置3の表示画面3Aに表示する仮想空間画像を生成する。ここで、本フローチャートのループ毎に、観察者の視点位置が画像生成制御部21から供給されるため、観察者の視点位置に応じて、生成される仮想空間画像が異なる。このため、観察者は、自身の視点位置に応じて、運動視差を伴って仮想三次元空間を観察することができる。
仮想空間画像生成部26は、複合仮想空間内に設けられた仮想カメラ421により、現実空間におけるモデルルーム基部1の観察者の視点位置から観察されると推定される撮像画像を撮像する。
そして、仮想空間画像生成部26は、撮像した撮像画像から画像表示装置3の表示画面3Aに表示する仮想空間画像を生成する。ここで、本フローチャートのループ毎に、観察者の視点位置が画像生成制御部21から供給されるため、観察者の視点位置に応じて、生成される仮想空間画像が異なる。このため、観察者は、自身の視点位置に応じて、運動視差を伴って仮想三次元空間を観察することができる。
ステップS6A:
仮想空間画像生成部26は、生成した仮想空間画像を画像表示装置3に対して出力する。
これにより、画像表示装置3は、観察者の視点位置に応じた仮想空間画像を、仮想空間画像生成部26から入力する。
仮想空間画像生成部26は、生成した仮想空間画像を画像表示装置3に対して出力する。
これにより、画像表示装置3は、観察者の視点位置に応じた仮想空間画像を、仮想空間画像生成部26から入力する。
ステップS7A:
画像表示装置3は、観察者の視点位置に応じた仮想空間画像を、自身の表示画面3Aに表示する。
画像表示装置3は、観察者の視点位置に応じた仮想空間画像を、自身の表示画面3Aに表示する。
ステップS5B:
光束映像生成部27は、仮想カメラ420により複合仮想空間を撮像する。ここで、仮想カメラ420のカメラパラメータは、光束映像投影装置4のプロジェクタパラメータを用いて指定されている。このプロジェクタパラメータとは、例えば、複合仮想空間における光束映像投影装置4の位置、光軸方向、画角及び縦横比などである。
そして、光束映像生成部27は、複合仮想空間におけるモデルルーム基部1に対応する仮想屋内空間を撮像する際、すでに述べた輝度値算出方法で各画素の輝度値を算出することにより、複合仮想空間の撮像画像として光束映像LFを生成する。
光束映像生成部27は、仮想カメラ420により複合仮想空間を撮像する。ここで、仮想カメラ420のカメラパラメータは、光束映像投影装置4のプロジェクタパラメータを用いて指定されている。このプロジェクタパラメータとは、例えば、複合仮想空間における光束映像投影装置4の位置、光軸方向、画角及び縦横比などである。
そして、光束映像生成部27は、複合仮想空間におけるモデルルーム基部1に対応する仮想屋内空間を撮像する際、すでに述べた輝度値算出方法で各画素の輝度値を算出することにより、複合仮想空間の撮像画像として光束映像LFを生成する。
ステップS6B:
光束映像生成部27は、ステップ105Bで光束映像LFを、光束映像投影装置4に対して出力する。
光束映像生成部27は、ステップ105Bで光束映像LFを、光束映像投影装置4に対して出力する。
ステップS7B:
光束映像投影装置4は、光束映像生成部27から供給される光束映像LFを現実空間におけるモデルルーム基部1に対して投射する。この際、光束映像LFの各画素の輝度値それぞれが光束に逆変換されて、現実空間におけるモデルルーム基部1に対して投射されるため、現実空間におけるモデルルーム基部1上に仮想三次元空間による照明の照明効果の照度が再現される。また、対象インテリアエレメントに遮蔽された際の、対象インテリアエレメントの影もシミュレーションすることができる。
光束映像投影装置4は、光束映像生成部27から供給される光束映像LFを現実空間におけるモデルルーム基部1に対して投射する。この際、光束映像LFの各画素の輝度値それぞれが光束に逆変換されて、現実空間におけるモデルルーム基部1に対して投射されるため、現実空間におけるモデルルーム基部1上に仮想三次元空間による照明の照明効果の照度が再現される。また、対象インテリアエレメントに遮蔽された際の、対象インテリアエレメントの影もシミュレーションすることができる。
図12は、光束映像生成部27が生成した光束映像LFがモデルルーム基部1に照射された一例を示す図である。図12において、光束映像LFは、図1におけるモデルルーム基部1における照度分布6に対応する領域に投射される光束映像LFの一部分に対応している。影201Dは、仮想三次元空間から仮想の窓(表示画面3A)を介して入射される入射光が、椅子201に照射され、モデルルーム基部1の床にできる影である。この影201Dが床に形成されるように、光束映像LFは対象インテリアエレメントを考慮して生成されている。テーブル204は、照射される光量が低いため、暗く観察されることになる。椅子202は、背もたれの部分にのみ照射された光が当たり、明るく観察されることになる。
ステップS8:
複合仮想空間生成部25は、アニメーションデータにおける仮想三次元空間のデータが全て使用されたか否か、すなわち時間帯における単位時間毎の仮想三次元空間のデータを全て使用したか否かの判定を行なう。
複合仮想空間生成部25は、アニメーションデータにおける仮想三次元空間のデータを全て使用していない場合、処理をステップS2へ戻す。一方、複合仮想空間生成部25は、アニメーションデータにおける仮想三次元空間のデータを全て使用した場合、処理を終了する。
複合仮想空間生成部25は、アニメーションデータにおける仮想三次元空間のデータが全て使用されたか否か、すなわち時間帯における単位時間毎の仮想三次元空間のデータを全て使用したか否かの判定を行なう。
複合仮想空間生成部25は、アニメーションデータにおける仮想三次元空間のデータを全て使用していない場合、処理をステップS2へ戻す。一方、複合仮想空間生成部25は、アニメーションデータにおける仮想三次元空間のデータを全て使用した場合、処理を終了する。
次に、図13は、図12のステップS5Bにおける光束映像生成部27が行なう輝度値算出の処理の動作を示すフローチャートである。このフローチャートは、光束映像の画素毎の輝度値を計算する処理を示しており、この処理を、仮想カメラ420による画像の撮像に際して、全ての画素に対して行い、得られた輝度値を光束映像の画素毎の輝度値とする。
ステップS11:
光束映像生成部27は、仮想カメラ420がアニメーションデータにおける複合仮想空間を撮像した光束映像LFの各々の画素を順次注目画素として、この注目画素が仮想三次元空間に属しているか否かの判定を行う。
そして、光束映像生成部27は、注目画素がアニメーションデータにおける仮想三次元空間に属している場合、処理をステップS12へ進める。
一方、光束映像生成部27は、注目画素がアニメーションデータにおける仮想三次元空間に属していない場合、処理をステップS13へ進める。
光束映像生成部27は、仮想カメラ420がアニメーションデータにおける複合仮想空間を撮像した光束映像LFの各々の画素を順次注目画素として、この注目画素が仮想三次元空間に属しているか否かの判定を行う。
そして、光束映像生成部27は、注目画素がアニメーションデータにおける仮想三次元空間に属している場合、処理をステップS12へ進める。
一方、光束映像生成部27は、注目画素がアニメーションデータにおける仮想三次元空間に属していない場合、処理をステップS13へ進める。
ステップS12:
光束映像生成部27は、光束映像LFにおいて、アニメーションデータにおける仮想三次元空間に属している注目画素の輝度値を0として、この注目画素に対する処理を終了する。すなわち、光束映像生成部27は、光束映像LFにおけるこの注目画素に対応する画素の輝度値を0とする。
光束映像生成部27は、光束映像LFにおいて、アニメーションデータにおける仮想三次元空間に属している注目画素の輝度値を0として、この注目画素に対する処理を終了する。すなわち、光束映像生成部27は、光束映像LFにおけるこの注目画素に対応する画素の輝度値を0とする。
ステップS13:
光束映像生成部27は、すでに述べたレンダリング処理により、仮想カメラ420が複合仮想空間を撮像した光束映像LFの注目画素に仮想三次元空間から、仮想の窓(表示画面3A)を介して、仮想屋内空間の部分領域の各々に対して入射される光束を求める。
光束映像生成部27は、すでに述べたレンダリング処理により、仮想カメラ420が複合仮想空間を撮像した光束映像LFの注目画素に仮想三次元空間から、仮想の窓(表示画面3A)を介して、仮想屋内空間の部分領域の各々に対して入射される光束を求める。
ステップS14:
光束映像生成部27は、仮想三次元空間記憶部29における変換テーブルを参照し、注目画素に入射される光束に対応する輝度値を読み出す。そして、光束映像生成部27は、読み出した輝度値を光束映像LFにおける注目画素に対応する画素の輝度値とする。
光束映像生成部27は、仮想三次元空間記憶部29における変換テーブルを参照し、注目画素に入射される光束に対応する輝度値を読み出す。そして、光束映像生成部27は、読み出した輝度値を光束映像LFにおける注目画素に対応する画素の輝度値とする。
上述したように、本実施形態によれば、複合仮想空間において、仮想三次元空間から仮想屋内空間に対して漏れ出る光を、仮想カメラ420で撮像する際、移動可能なインテリアエレメントである対象インテリアエレメントの配置位置及び姿勢の情報を逐次取得し、対象インテリアエレメントの変更された配置位置及び姿勢に基づいて仮想屋内空間を変更する。このため、本実施形態によれば、複合仮想空間における仮想屋内空間がリアルタイムに現実空間のモデルルーム基部1に対応させ、現実空間における対象インテリアエレメントの光の遮蔽による生じる影の状態をリアルタイムに変更させ、仮想の窓の奥の仮想三次元空間における光源を含む物体から現実空間に対する光学的影響を再現することができる。これにより、観察者が対象インテリアエレメントを移動させた際、リアルタイムに仮想三次元空間から仮想窓を介して照射される光の状態を光束映像により変化させることで、観察者に対して臨場感を与える視覚的効果を実現することが可能となり、モデルハウスあるいはモデルルームが実際に建てられる場所の環境、すなわち日当たりの状態を実感することができ、観察者(顧客)のモデルハウスあるいはモデルルームの選択をする際の参考となる情報として提示することができる。
また、本実施形態によれば、仮想三次元空間がアニメーションデータとして与えることで、仮想の窓(表示画面3A)の奥の状態をリアルタイムに変化させ、この時間的に変化する仮想三次元空間により複合仮想空間を生成するため、仮想三次元空間から入射される直接光及び間接光の状態が刻々変化することにより、対象インテリアエレメントの配置位置及び姿勢の変更と合わせて、観察者に対してより現実空間における臨場感を与える視覚的効果を実現することが可能となる。
また、本実施形態において、運動視差を考慮して観察者の視点位置を推定して、仮想空間画像などの生成を行っていたが、観察者が椅子などに座って視点位置が固定されている場合、図11のフローチャートにおいて、ループ毎に視点位置を検出する必要はない。したがって、この場合、視点位置の検出は、最初に一度行うのみで良い。
また、本実施形態において、壁全体を画像表示装置3の表示画面3Aとして、表示画面3Aにおける仮想の窓の領域を移動させる構成としてもよく、この構成の場合、モデルルーム基部1における壁のいずれの位置に窓を設けるかを、上述したシミュレーションにより検討することができる。この構成の場合、すでに実施形態において述べた構成における表示画面3Aに換え、この表示画面3Aにおける仮想の窓の領域を、仮想三次元空間と仮想屋内空間との複合仮想空間の境界面となる。
また、本実施形態において、壁全体を画像表示装置3の表示画面3Aとして、表示画面3Aにおける仮想の窓の領域を移動させる構成としてもよく、この構成の場合、モデルルーム基部1における壁のいずれの位置に窓を設けるかを、上述したシミュレーションにより検討することができる。この構成の場合、すでに実施形態において述べた構成における表示画面3Aに換え、この表示画面3Aにおける仮想の窓の領域を、仮想三次元空間と仮想屋内空間との複合仮想空間の境界面となる。
なお、本発明における図2の屋内光シミュレーションシステムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより屋内光シミュレーションを行い、仮想三次元空間から入射する光の現実空間である屋内における光の状態を提示する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
1…モデルルーム基部
2…屋内光シミュレーション装置
3…画像表示装置
3A…表示画面
4…光束映像投影装置
5,5_1,5_2…画像撮像装置
21…画像生成制御部
22…屋内状態取得部
23…位置姿勢取得部
24…仮想屋内空間生成部
25…複合仮想空間生成部
26…仮想空間画像生成部
27…光束映像生成部
28…インテリアエレメント記憶部
29…仮想三次元空間記憶部
2…屋内光シミュレーション装置
3…画像表示装置
3A…表示画面
4…光束映像投影装置
5,5_1,5_2…画像撮像装置
21…画像生成制御部
22…屋内状態取得部
23…位置姿勢取得部
24…仮想屋内空間生成部
25…複合仮想空間生成部
26…仮想空間画像生成部
27…光束映像生成部
28…インテリアエレメント記憶部
29…仮想三次元空間記憶部
Claims (9)
- 仮想の窓として屋内の側壁に配置された画像表示装置と、
前記屋内に配置される少なくとも家具を含むインテリアエレメントの三次元形状、配置される位置及び姿勢を含む属性情報を所定の時間経過毎に逐次取得する位置姿勢取得部と、
前記画像表示装置に表示される前記仮想の窓の外の仮想的な仮想三次元空間の画像に対応して、前記仮想の窓から前記屋内の内部に入射される前記仮想三次元空間からの入射光が、前記インテリアエレメント及び前記屋内に照射された際の照度分布を、前記時間経過毎に再現する光束映像を生成する光束映像生成部と
を備えることを特徴とする屋内光シミュレーションシステム。 - 前記屋内にて移動可能に配置されている前記インテリアエレメントである移動可能エレメントの前記三次元形状が予め求められて記憶されたインテリアエレメント記憶部
をさらに備えていることを特徴とする請求項1に記載の屋内光シミュレーションシステム。 - 前記屋内における前記移動可能エレメントの前記位置及び前記姿勢を、当該移動可能エレメントの三次元形状における特徴点に基づいて、前記時間経過毎に取得する位置姿勢取得部を
さらに備えることを特徴とする請求項2に記載の屋内光シミュレーションシステム。 - 前記光束映像生成部が求めた前記照度分布に対応した光束映像を前記時間経過毎に生成し、前記インテリアエレメントを含む前記屋内の内部に投影する光束映像投影装置を
さらに備えていることを特徴とする請求項1から請求項3のいずれか一項に記載の屋内光シミュレーションシステム。 - 前記仮想三次元空間が実時間に対応して変化するアニメーションとして生成されている
ことを特徴とする請求項1から請求項4のいずれか一項に記載の屋内光シミュレーションシステム。 - 前記アニメーションが前記仮想の窓から鑑賞される景色に対応して季節毎及び時間帯毎に生成されている
ことを特徴とする請求項5に記載の屋内光シミュレーションシステム。 - 前記仮想三次元空間と、前記画像表示装置が配置された前記屋内の現実空間を三次元の仮想空間とした仮想屋内空間とを前記画像表示装置の表示画面を境界面として複合して複合仮想空間を生成する複合仮想空間生成部を
さらに備え、
前記光束映像生成部が、前記複合仮想空間において、現実空間である前記屋内に投影される前記光束映像を、当該光束映像の各画素の輝度値を、当該画素と前記仮想屋内空間における所定の部分領域との対応関係に基づき、前記各画素に対応する前記部分領域に対して前記仮想三次元空間からの光が与える光束の値として生成する
ことを特徴とする請求項1から請求項6のいずれか一項に記載の屋内光シミュレーションシステム。 - 位置姿勢取得部が、屋内に配置される家具を含むインテリアエレメントの三次元形状、配置される位置及び姿勢を含む属性情報を所定の時間経過毎に逐次取得する位置姿勢取得過程と、
光束映像生成部が、仮想の窓として屋内の側壁に配置された画像表示装置に表示される前記仮想の窓の外の仮想的な仮想三次元空間の画像に対応して、前記仮想の窓から前記屋内の内部に入射される前記仮想三次元空間からの直接光が、前記インテリアエレメントにより遮蔽された結果の前記屋内における照度分布を再現する光束映像を生成する光束映像生成過程と
を含む
ことを特徴とする屋内光シミュレーション方法。 - コンピュータを、
屋内に配置される家具を含むインテリアエレメントの三次元形状、配置される位置及び姿勢を含む属性情報を所定の時間経過毎に逐次取得する位置姿勢取得手段、
仮想の窓として屋内の側壁に配置された画像表示装置に表示される前記仮想の窓の外の仮想的な仮想三次元空間の画像に対応して、前記仮想の窓から前記屋内の内部に入射される前記仮想三次元空間からの直接光が、前記インテリアエレメントにより遮蔽された結果の前記屋内における照度分布を再現する光束映像を生成する光束映像生成手段
として動作させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016237269A JP2018092503A (ja) | 2016-12-07 | 2016-12-07 | 屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016237269A JP2018092503A (ja) | 2016-12-07 | 2016-12-07 | 屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018092503A true JP2018092503A (ja) | 2018-06-14 |
Family
ID=62564654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016237269A Pending JP2018092503A (ja) | 2016-12-07 | 2016-12-07 | 屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018092503A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102315013B1 (ko) * | 2021-08-06 | 2021-10-20 | (주)캐러멜라운지 | 고령층의 안전을 고려한 인공지능 인테리어 디자인 생성 시스템 |
KR102372467B1 (ko) * | 2021-08-06 | 2022-03-10 | (주)캐러멜라운지 | 클라이언트가 수정가능한 인공지능 인테리어 설계 시스템 |
KR102397069B1 (ko) * | 2021-08-06 | 2022-05-19 | (주)캐러멜라운지 | 인테리어 생성장치 |
KR102421073B1 (ko) * | 2021-12-27 | 2022-07-15 | (주)티라움 | 인공지능을 이용하여 인테리어 마감재 템플릿을 제공하는 인테리어 시뮬레이션 시스템 |
WO2023101217A1 (ko) * | 2021-11-30 | 2023-06-08 | (주)메가플랜 | 외부 환경 요소를 고려한 인테리어 설계를 제공하는 애플리케이션 및 애플리케이션이 실행된 전자 장치의 동작 방법 |
-
2016
- 2016-12-07 JP JP2016237269A patent/JP2018092503A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102315013B1 (ko) * | 2021-08-06 | 2021-10-20 | (주)캐러멜라운지 | 고령층의 안전을 고려한 인공지능 인테리어 디자인 생성 시스템 |
KR102372467B1 (ko) * | 2021-08-06 | 2022-03-10 | (주)캐러멜라운지 | 클라이언트가 수정가능한 인공지능 인테리어 설계 시스템 |
KR102397069B1 (ko) * | 2021-08-06 | 2022-05-19 | (주)캐러멜라운지 | 인테리어 생성장치 |
WO2023101217A1 (ko) * | 2021-11-30 | 2023-06-08 | (주)메가플랜 | 외부 환경 요소를 고려한 인테리어 설계를 제공하는 애플리케이션 및 애플리케이션이 실행된 전자 장치의 동작 방법 |
KR102421073B1 (ko) * | 2021-12-27 | 2022-07-15 | (주)티라움 | 인공지능을 이용하여 인테리어 마감재 템플릿을 제공하는 인테리어 시뮬레이션 시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018092503A (ja) | 屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム | |
US10659750B2 (en) | Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images | |
Rohmer et al. | Interactive near-field illumination for photorealistic augmented reality on mobile devices | |
CN100534158C (zh) | 产生虚拟图像和真实图像的合成图像 | |
JP6493395B2 (ja) | 画像処理装置と画像処理方法 | |
US8624962B2 (en) | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images | |
JP5328907B2 (ja) | 情報提示装置 | |
Maimone et al. | General-purpose telepresence with head-worn optical see-through displays and projector-based lighting | |
US9420253B2 (en) | Presenting realistic designs of spaces and objects | |
US6628298B1 (en) | Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination | |
JP7089495B2 (ja) | 拡張現実アプリケーション用システム及び方法 | |
JP2013506226A (ja) | 仮想環境との相互作用のためのシステム及び方法 | |
US11315309B2 (en) | Determining pixel values using reference images | |
JP2013003848A (ja) | 仮想物体表示装置 | |
JP2022077148A (ja) | 画像処理方法、プログラムおよび画像処理システム | |
CN115049803A (zh) | 增强现实画面的展示方法、装置、计算机设备及存储介质 | |
CN208506731U (zh) | 图像展示系统 | |
JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
JP2015099545A (ja) | 画像生成システム及び画像生成プログラム | |
Walton et al. | Synthesis of environment maps for mixed reality | |
JP2014164003A (ja) | 仮想屋内空間表示装置 | |
JP7476511B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2018077702A (ja) | 質感調整支援システム及び質感調整支援方法 | |
Kern et al. | Projector-based augmented reality for quality inspection of scanned objects | |
Grosch | PanoAR: Interactive augmentation of omni-directional images with consistent lighting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181102 |