JP2018206331A - 仮想空間提示装置、仮想空間提示方法、及びプログラム - Google Patents

仮想空間提示装置、仮想空間提示方法、及びプログラム Download PDF

Info

Publication number
JP2018206331A
JP2018206331A JP2017174286A JP2017174286A JP2018206331A JP 2018206331 A JP2018206331 A JP 2018206331A JP 2017174286 A JP2017174286 A JP 2017174286A JP 2017174286 A JP2017174286 A JP 2017174286A JP 2018206331 A JP2018206331 A JP 2018206331A
Authority
JP
Japan
Prior art keywords
virtual space
image
virtual
space image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017174286A
Other languages
English (en)
Other versions
JP7006056B2 (ja
Inventor
洋平 不破
Yohei Fuwa
洋平 不破
直矢 ▲柳▼澤
直矢 ▲柳▼澤
Naoya Yanagisawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Publication of JP2018206331A publication Critical patent/JP2018206331A/ja
Application granted granted Critical
Publication of JP7006056B2 publication Critical patent/JP7006056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】処理負荷の増大を抑制することができる仮想空間提示装置、仮想空間提示方法、及びプログラムを提供することである。【解決手段】ユーザの視点位置及び視線方向に応じて、仮想空間における仮想物体を示す仮想空間画像を生成する生成部を備え、前記生成部は、前記視点位置が移動している場合、前記視線方向にある前記仮想空間における仮想物体を視野角の範囲で示す仮想空間画像である移動時仮想空間画像を生成し、前記視点位置が移動している状態から停止した状態に変化した場合、前記視点位置を中心とした前記仮想空間における仮想物体を視野角より広い範囲で示す仮想空間画像である停止時仮想空間画像を生成する。【選択図】図1

Description

本発明は、仮想空間提示装置、仮想空間提示方法、及びプログラムに関する。
従来、観察者に対して仮想空間における仮想物体を鑑賞させる手法として、仮想空間の中を歩く人物の視界を表現することで、あたかも仮想空間の中を実際に歩いているかのような体験をさせるウォークスルーが行われている。
上述したウォークスルーにおいて観察者に対して表示される仮想物体の画像には、パノラマ画像などの広視野角画像(例えば、特許文献1を参照)がある。パノラマ画像には、例えば、現実空間を撮像した実写画像(例えば、特許文献2を参照)、あるいは3次元モデル情報から生成した画像が用いられる(例えば、特許文献3を参照)。3次元モデル情報を用いて観察者に対して画像を表示する処理は、一般的に、現実空間を事前に撮影しておいたパノラマ画像を用いて観察者に対して画像を表示する処理と比較すると、負荷が高く、処理が観察者の移動に対して追従できなくなる場合がある。このため、特許文献3には、画像を表示する際のリアルタイム性を向上させるため、ウォークスルーにおける歩行方向や視点の位置を予測して予め次に表示する画像を生成する技術が開示されている。
特開2016−62486号公報 特許第4047011号公報 特許第3472273号公報
ところで、都市空間や住宅設備のウォークスルーにおいては、都市空間における建築構造物や住宅の部屋等が建設される前に、完成イメージを確認するために行われることが多いため、観察者に対して表示させるビルや設備などの画像がまだ現実には存在していない。このため、実写画像ではなく3次元モデル情報を用いた処理を行わざるを得ない。
さらに、このような完成イメージを確認するウォークスルーにおいては、住宅の購入を検討している顧客などの観察者が、住宅の周囲に植える樹木の数や、住宅の内装として配置する家具のデザインを変更して、完成イメージを確認したいという要望がある。
このような場合、仮想空間を自由に歩き回る観察者の視点位置における視線の方向に追従してその位置および方向からみた仮想物体の画像を表示するとともに、観察者の希望に応じて仮想空間に配置する仮想物体をリアルタイムに変更させる必要がある。このような処理では、事前に予測して画像を生成しても、その後に仮想空間に配置する仮想物体が変更されてしまった場合には、事前に生成した画像を用いることができない。また、観察者が仮想空間に立ち止まって周囲を見渡そうとする場合には、視線方向が何処に向くかを予想することができず、事前に画像を生成しておくことが困難となってしまう。予め次に表示させる画像を生成することができない場合、コンピュータの処理負荷やネットワークにおけるデータ伝送負荷を増大させてしてしまう。
本発明が解決しようとする課題は、処理負荷の増大を抑制することができる仮想空間提示装置、仮想空間提示方法、及びプログラムを提供することである。
(1)上述した課題を解決するために、本発明の仮想空間提示装置は、ユーザの視点位置及び視線方向に応じて、仮想空間における仮想物体を示す画像を生成する生成部を備え、前記生成部は、前記視点位置が移動している場合、前記視線方向にある前記仮想空間における仮想物体を視野角の範囲で示す画像である移動時仮想空間画像を生成し、前記視点位置が移動している状態から停止した状態に変化した場合、前記視点位置を中心とした前記仮想空間における仮想物体を視野角より広い範囲で示す画像である停止時仮想空間画像を生成する。
(2)本発明の一態様としては、前記視点位置が停止している場合、前記停止時仮想空間画像に基づいて、前記停止時仮想空間画像のうち前記視線方向と前記視野角に対応する部分の仮想空間画像を出力する画像出力部とを更に備えることを特徴とする(1)に記載の仮想空間提示装置である。
(3)本発明の一態様としては、前記仮想空間に関する情報を記憶する記憶部を更に備え、前記生成部は、ユーザからの操作入力により仮想空間が変更された場合、前記視点位置が移動している場合、前記仮想空間に関する情報に基づいて、前記変更に対応する前記移動時仮想空間画像を生成し、前記視点位置が停止している場合、前記仮想空間に関する情報に基づいて、前記変更に対応する前記停止時仮想空間画像を生成することを特徴とする(2)に記載の仮想空間提示装置である。
(4)本発明の一態様としては、前記仮想空間は、前記仮想空間において固定される静的オブジェクトと、前記仮想空間において変更可能な動的オブジェクトとを含み、前記静的オブジェクトに関する情報と前記動的オブジェクトに関する情報とを記憶する記憶部を更に備え、前記生成部は、前記停止時仮想空間画像を生成する場合、前記静的オブジェクトを視野角より広い範囲で示す仮想空間画像である静的オブジェクト停止時仮想空間画像を生成するとともに、前記動的オブジェクトを示す仮想空間画像である動的オブジェクト停止時仮想空間画像を生成し、生成した前記静的オブジェクト停止時仮想空間画像と前記動的オブジェクト停止時仮想空間画像とを合成することにより前記停止時仮想空間画像を生成し、ユーザからの操作入力により前記仮想空間における前記動的オブジェクトが変更された場合、当該変更に対応する前記動的オブジェクト停止時仮想空間画像を生成し、生成した前記動的オブジェクト停止時仮想空間画像と前記静的オブジェクト停止時仮想空間画像とを合成することにより前記停止時仮想空間画像を生成する、ことを特徴とする(2)に記載の仮想空間提示装置である。
(5)本発明の一態様としては、前記仮想空間の変更は、前記光源の位置の変更、前記光源の色彩の変更、前記光源の追加、前記光源の削除、前記仮想物体の位置の変更、前記仮想物体の全部又は一部の色彩の変更、前記仮想空間に配置する物体が前記仮想物体から前記仮想物体とは異なる他の前記仮想物体に置き換え、前記仮想物体の追加、又は前記仮想物体の削除による変更のうち少なくともいずれか一つである、ことを特徴とする(3)に記載の仮想空間提示装置である。
(6)本発明の一態様としては、前記仮想空間の変更は、前記仮想空間における前記仮想物体の位置の変更、前記仮想物体の全部又は一部の色彩の変更、前記仮想空間に配置していた前記仮想物体が前記仮想物体とは異なる他の前記仮想物体に置き換え、前記仮想物体とは異なる前記仮想物体の追加、又は前記仮想物体の削除による変更のうち少なくともいずれか一つである、ことを特徴とする(4)に記載の仮想空間提示装置である。
(7)本発明の一態様としては、前記生成部は、前記移動時仮想空間画像と前記停止時仮想空間画像とを異なる解像度で生成する、ことを特徴とする(1)から(6)のいずれか一つに記載の仮想空間提示装置である。
(8)本発明の一態様としては、前記生成部は、前記停止時仮想空間画像として全天球画像を生成することを特徴とする(1)から(7)のいずれか一つに記載の仮想空間提示装置である。
(9)本発明の一態様としては、前記生成部により生成された画像の画像情報を記憶する画像情報記憶部を更に備え、前記生成部は、生成した前記移動時仮想空間画像を前記画像情報記憶部に記憶させ、前記停止時仮想空間画像に描画される仮想空間の領域のうち、前記移動時仮想空間画像に描画された領域とは異なる領域の画像を生成し、生成した前記移動時仮想空間画像に描画された領域とは異なる領域の画像を、前記画像情報記憶部に記憶させた前記移動時仮想空間画像と結合させることにより前記停止時仮想空間画像を生成することを特徴とする(1)から(8)のいずれか一つに記載の仮想空間提示装置である。
(10)本発明の一態様としては、前記停止時仮想空間画像に描画される仮想空間の領域を、少なくとも前記移動時仮想空間画像に描画される領域と、それ以外の領域との二以上の領域に分割する描画領域分割部を更に備え、前記生成部は、描画領域分割部により分割された各々の領域の画像を生成し、生成した各々の画像を結合させることにより前記停止時仮想空間画像を生成することを特徴とする(1)から(8)のいずれか一つに記載の仮想空間提示装置である。
(11)本発明の一態様としては、前記生成部を有する生成装置と、前記画像出力部を有する画像出力装置と、前記記憶部を有する記憶装置と、を備え、前記生成装置、前記画像出力装置、及び前記記憶装置のうち少なくとも一つは、ネットワークを介して、他と通信可能に接続されることを特徴とする(3)から(6)に記載の仮想空間提示装置である。
(12)本発明の一態様としては、生成部が、ユーザの視点位置及び視線方向に応じて、仮想空間における仮想物体を示す画像を生成する生成工程において、前記視点位置が移動している場合、前記視点位置から前記視線方向にある前記仮想空間における仮想物体を視野角の範囲で示す画像である移動時画像を生成する工程と、前記視点位置が移動している状態から停止した状態に変化した場合、前記視点位置を中心とした前記仮想空間における仮想物体を視野角より広い範囲で示す画像である停止時画像を生成する工程と、を有することを特徴とする仮想空間提示方法である。
(13)本発明の一態様としては、コンピュータに、ユーザの視点位置及び視線方向に応じて、仮想空間における仮想物体を示す画像を生成する生成工程において、前記視点位置が移動している場合、前記視点位置から前記視線方向にある前記仮想空間における仮想物体を視野角の範囲で示す画像である移動時画像を生成する工程と、前記視点位置が移動している状態から停止した状態に変化した場合、前記視点位置を中心とした前記仮想空間における仮想物体を視野角より広い範囲で示す画像である停止時画像を生成する工程と、を実行させるためのプログラムである。
本発明の各態様によれば、処理負荷の増大を抑制することができる。
第1の実施形態の仮想空間提示装置1の構成を示す構成図である。 第1の実施形態の仮想空間提示装置1が生成する画像の一例を示す第1図である。 第1の実施形態の仮想空間提示装置1が生成する画像と視点との関係を説明する図である。 第1の実施形態の仮想空間提示装置1が生成する画像の一例を示す第2図である。 第1の実施形態の描画部20の構成を示す構成図である。 第1の実施形態の表示部30の構成を示す構成図である。 第1実施形態の描画部20が行う処理の流れを示すフローチャートである。 第1実施形態の表示部30が行う処理の流れを示すフローチャートである。 第2の実施形態において描画部20が画像を生成する処理を説明するための図である。 第3の実施形態の描画部20Aの構成を示す構成図である。 第3実施形態の描画部20Aが行う処理の流れを示す第1のフローチャートである。 第3実施形態の描画部20Aが行う処理の流れを示す第2のフローチャートである。 第3実施形態の描画部20Aが行う処理の流れを示す第3のフローチャートである。 第3実施形態の描画部20Aが生成した画像を説明するための第1の図である。 第3実施形態の描画部20Aが生成した画像を説明するための第2の図である。
以下、実施形態の仮想空間提示装置、仮想空間提示方法、及びプログラムを、図面を参照して説明する。
(第1の実施形態)
まず、第1の実施形態について説明する。
図1は、第1の実施形態の仮想空間提示装置1の構成を示す構成図である。図1において、仮想空間提示装置1は、操作部10、描画部20、および表示部30の各々を備えている。
操作部10は、キーボードあるいはマウスなどであり、ユーザが仮想空間提示装置1に表示させる仮想空間VS(図2参照)を指定するための命令等を入力する。操作部10は、キーボードあるいはマウスの他、後述する表示部30に表示される画像をユーザが操作するために用いられるポインティングデバイス、例えば、マウス、タッチパッド、タッチパネル、スタイラス、またはトラックボール等であってもよい。また、操作部10は、ユーザの動作を取得するデバイス、例えば、モーションセンサやジャイロセンサ等を含んでいてもよい。また、操作部10は、モーションセンサ等のデバイスを搭載したHMD(Head Mounted Display、頭部装着ディスプレイ)等であってもよい。
操作部10は、ユーザにより入力された仮想空間VSを指定するための命令等を示す情報(以下、操作情報)を描画部20に出力する。操作情報には、ユーザが鑑賞することを所望する仮想空間VSにおける視点位置、視線方向、および視野角を示す情報が含まれる。
描画部20は、操作部10からの視点位置、および視線方向に基づいて、表示部30に表示させる仮想空間VSの画像を生成する。描画部20は、後述する描画情報記憶部23に記憶された仮想空間VSに関する情報である仮想空間情報に基づいて、仮想空間VSにおける視点位置に対応する画像(以下、仮想空間画像)を生成する。
ここで、仮想空間VSには、複数の仮想物体VO(図2参照)、および仮想物体VOを照射する複数の光源L(図2参照)が配置され、仮想空間情報には仮想空間VSに配置されうる、仮想物体VOの形状や素材(色、テクスチャ画像)等の情報、仮想空間VSに配置された仮想物体VOの位置や向き、および、光源Lの位置、方向、色、強度に関する情報が含まれる。ユーザが操作部10を操作した情報に基づいて、仮想空間VSの中における視点位置、視線方向、視野角の情報が描画部20により取得される。描画部20は、取得した観察者の視点位置、視線方向、視野角に対応させて、仮想空間VSを2次元の仮想空間画像DSとして生成する。
描画部20は、生成した仮想空間画像を表示部30に出力する。描画部20が、仮想空間情報から生成する仮想空間画像の種類、および仮想空間画像を生成する処理については後述する。
表示部30は、ディスプレイ、例えば、液晶ディスプレイ(LCD;Liquid Crystal Display)、有機EL(Organic Electroluminescence)ディスプレイ、またはCRT(Cathode Ray Tube)等を含む。表示部30は、描画部20から供給される仮想空間画像を表示する。
なお、操作部10、描画部20、および表示部30のすべてが同一のコンピュータ上で動作してもよいし、これらの構成要素のそれぞれ、あるいは一部が、互いに別のコンピュータで動作し、ネットワークを介して相互に通信することにより、仮想空間提示装置1が構成されていてもよい。
ここで、描画部20が、仮想空間情報から生成する仮想空間画像の種類について、図2〜図4を用いて説明する。
図2は第1の実施形態の仮想空間提示装置1が生成する画像の一例を示す第1図である。
図3は、第1の実施形態の仮想空間提示装置1が生成する画像と視点との関係を説明する図である。すなわち、図3は、図2に示す画像が表示される場合の、視点位置、視線方向、視野角、および仮想空間VSにおける仮想物体VOの位置関係を示す。
図2に示すように、描画部20は、例えば、テーブルの3次元形状を示す仮想物体VO‐1、および窓の3次元形状を示す仮想物体VO‐2が描画された仮想空間画像DS−1を生成する。
図2の例では、仮想空間画像DS−1の左側に仮想物体VO‐1の画像があり、仮想空間画像DS−1の右側に仮想物体VO‐2の画像が配置されている。これは、仮想空間VSの中において仮想物体VO‐1が右側に見え、かつ仮想物体VO‐2が左側に見える位置に鑑賞者の視点位置があることを示す。
また、図2の例では、仮想物体VO‐1(テーブルの3次元形状)の天板部分が明るく、仮想物体VO‐1の脚部が暗い状態が示されている。これは、光源L(図3参照)の位置が、仮想物体VO−1の上側に位置し、天板部分が明るく照らされ、脚部が天板部分の影となることを示す。
このように、描画部20は、仮想空間VSにおける鑑賞者の視点位置、および視線方向に基づいて、仮想空間画像DS−1に描画する仮想物体VOの位置、および仮想物体VOのアングルを決定する。また、描画部20は、仮想空間VSにおける光源Lの位置に基づいて、仮想空間VSに形成される仮想物体VOの陰影を仮想空間画像DS−1に描画する。なお、光源Lの位置や強度等に関する情報は、予め記憶部に記憶されていてもよいし、視点位置、および視線方向を示す情報と同様に、操作部10から描画部20に入力されるユーザからの操作情報に含まれてもよい。
図3に示すように、例えば、描画部20は、視点位置Pから視線ベクトルPLの方向にある仮想空間VSの領域、およびその領域の仮想空間VSに存在する仮想物体VO(図3の例では、仮想物体VO‐1、および仮想物体VO‐2)を投影面ABCDに投影させた仮想空間画像を生成する。投影面ABCDは、例えば、視点位置PのXYZ座標から視線ベクトルPLの方向に伸ばした直線に対し、垂直な面である。視野角α〜δは、人が一目で見える範囲(視野)に対応する角度である。
例えば、仮想空間VSにおける鑑賞者の視点が位置Pにあり、視線がベクトルPLへ向いている場合、上方向に視認することができる限界の位置を位置Aとした場合、垂直視野角αは、直線PAと視線ベクトルPLとがなす角である。また、左方向に視認することができる限界の位置を位置Bとした場合、水平視野角βは、直線PBと視線ベクトルPLとがなす角である。また、下方向に視認することができる限界の位置を位置Cとした場合、垂直視野角γは、直線PCと視線ベクトルPLとがなす角である。また、右方向に視認することができる限界の位置を位置Dとした場合、水平視野角δは、直線PDと視線ベクトルPLとがなす角である。なお、垂直視野角α、およびγは、ともに同じ角度であってもよいし、互いに異なる角度であってもよい。また、水平視野角β、およびδは、ともに同じ角度であってもよいし、互いに異なる角度であってもよい。
描画部20は、視野角α〜δの範囲内に存在する仮想空間VSが描画された仮想空間画像を生成する。これにより、描画部20が生成した仮想空間画像を表示すれば、ユーザは、視点位置Pから視線の方向に見ることができる光景を示す仮想空間画像を視認することができる。
このように、描画部20は、視点位置Pが変更された場合、変更された視点位置Pにおける視線ベクトルPLの方向(以下、視線の方向)にある仮想空間VSを投影面ABCDに投影させて表示する仮想空間画像を生成する。視点位置Pが変更された場合とは、視点位置Pが移動している状態であり、例えばユーザが仮想空間VSにおける視点位置Pを移動させている状態である。ユーザが操作部10を操作することにより仮想空間VSにおける視点位置を移動させる。すると、描画部20がその移動に応じた視点位置Pから視線の方向に見える仮想空間画像を生成する。そして、表示部30が当該仮想空間画像を表示する。これにより、ユーザは、当該仮想空間画像を視認することができる。つまり、本実施形態の仮想空間提示装置1により、ユーザはあたかも仮想空間VSをあちこち自由に歩き回っているような感覚を体験することができる。以下の説明においては、視点位置Pが移動している状態において、視点位置Pに対応して描画部20が生成する仮想空間画像を「移動時仮想空間画像」と称する。
また、描画部20は、光源Lの位置や色、仮想物体VOの位置や一部の色、あるいは別の仮想物体VO´に置き換えられるなど、仮想空間VSが変更された場合、当該変更の内容に応じて、変更後の仮想空間VSを投影面ABCDに投影させた仮想空間画像を生成する。仮想空間VSの変更は、例えば、操作部10から描画部20に入力されるユーザからの操作情報等により行われる。例えば、ユーザは、仮想空間VSに配置する照明の位置を変更したり、すでに仮想空間VSに配置されていたテーブルをソファに変更したりして、部屋の内装のイメージを確認することができる。
図4は、第1の実施形態の仮想空間提示装置1が生成する画像の一例を示す第2図である。図4(A)は、視点位置Pの周囲の光景を投影した仮想空間画像を視点位置Pの周囲に配置したイメージを示す。図4(B)は、図4(A)を展開した例を示す。
すでに説明した通り、描画部20は、視点位置Pが移動している状態においては、視点位置Pの位置に応じた移動時仮想空間画像を生成する。
一方、描画部20は、視点位置Pが変更されない場合、仮想空間VSが変更されないかぎり、新たに仮想空間画像を生成しない。ここで、視点位置Pが変更されない場合とは、ユーザが仮想空間VSにおいて停止した状態であることを意味する。
ユーザは、仮想空間VSを鑑賞していることから、仮想空間VSにおける視点位置Pで停止しても視線方向を動かして周囲にある光景をじっくり観察しようとすると考えられる。このため、本実施形態の仮想空間提示装置1においては、視点位置Pが移動している状態から停止した状態に変化した場合、ユーザが頻繁に視線の方向を変化させることを想定して、その視線の方向の変化に対応した仮想空間画像を生成する。具体的には、描画部20は、視点位置Pが移動している状態から停止した状態に変化した場合、視点位置Pを中心とした仮想空間VSにおける仮想物体VOを視野角より広い範囲で示す仮想空間画像を生成する。以下の説明においては、視点位置Pが移動している状態から停止した状態に変化した場合において、描画部20が生成する仮想空間画像を「停止時仮想空間画像」と称する。
視野角より広い範囲で示す停止時仮想空間画像とは、例えば、視点位置Pを中心とした複数の視線の方向それぞれにみえる仮想空間VSをそれぞれ示す仮想空間画像である。描画部20は、停止時仮想空間画像として、例えば、視点位置Pを中心とした視点位置Pの周囲の上下左右前後を囲む全天球画像を生成する。
図4(A)に示すように、描画部20は、全天球画像として、例えば、視点位置Pを中心として、視点位置Pから上下左右前後の6方向それぞれに対して90°の視野角(画角)の範囲に見える仮想空間VSをそれぞれ示す画像(キューブマップ)を生成する。
図4(A)に示すように、描画部20は、視点位置Pを囲む正六面体各面に対応する仮想空間画像として、画面奥のZX平面には、視点位置PからY軸の負の方向に見える光景を示す仮想空間画像DS−1を生成する。また、描画部20は、画面右のYZ平面には、視点位置PからX軸の正の方向に見える光景を示す仮想空間画像DS−2を生成する。また、描画部20は、画面手前のZX平面には、視点位置PからY軸の正の方向に見える光景を示す仮想空間画像DS−3を生成する。また、描画部20は、画面左のYZ平面には、視点位置PからX軸の負の方向に見える光景を示す仮想空間画像DS−4を生成する。また、描画部20は、画面上のXY平面には、視点位置PからZ軸の正の方向に見える光景を示す仮想空間画像DS−5を生成する。また、描画部20は、画面下のXY平面には、視点位置PからZ軸の負の方向に見える光景を示す仮想空間画像DS−6を生成する。
図4(B)に示すように、描画部20は、例えば、仮想空間画像DS−1として、視点位置PからY軸の負の方向に配置された仮想物体VO−1、および仮想物体VO−2が示される仮想空間画像を生成する。また、描画部20は、例えば、仮想空間画像DS−2として、視点位置PからX軸の正の方向に配置されたソファの3次元形状を示す仮想物体VO−3が示される仮想空間画像を生成する。また、描画部20は、例えば、仮想空間画像DS−3として、視点位置PからY軸の正の方向に配置された出窓の3次元形状を示す仮想物体VO−4が示される仮想空間画像を生成する。また、描画部20は、例えば、仮想空間画像DS−4として、視点位置PからX軸の負の方向に配置された観葉植物の3次元形状を示す仮想物体VO−5が示される仮想空間画像を生成する。また、描画部20は、例えば、仮想空間画像DS−5として、視点位置PからZ軸の正の方向に配置された蛍光灯の3次元形状を示す仮想物体VO−6が示される仮想空間画像を生成する。また、描画部20は、例えば、仮想空間画像DS−6として、視点位置PからZ軸の負の方向に配置された床の3次元形状を示す仮想物体が示される仮想空間画像を生成する。
なお、図4では、視点位置Pの上下左右前後を囲む全天球画像(正六面体Qの各面に対応する仮想空間画像)が生成される例を説明したが、描画部20が生成する停止時仮想空間画像は、これに限定されない。たとえば、描画部20は、停止時仮想空間画像として、視点位置Pの前後左右を囲む円筒形状の全周囲画像や、視点位置Pの上部、および前後左右を囲む半天球画像を生成してもよい。
また、描画部20は、図4では、移動時仮想空間画像と停止時仮想空間画像の一部とに、同じ仮想空間画像DS−1を生成する例を説明したが、移動時仮想空間画像と停止時仮想空間画像とで画像の品質(解像度)を変更させてもよい。例えば、移動時仮想空間画像が、視点位置Pが移動している場合に用いられる、毎フレーム描画される画像(動画)であることから、高速に描画することが要求されるため、計算量の少ない処理負荷の軽い単純な描画処理を用いて画像の生成を行うこととしてもよい。一方、停止時仮想空間画像が、ユーザによりじっくりと鑑賞される画像であることから、よりリアリティが高い、比較的複雑な描画処理を用いて画像の生成を行うこととしてもよい。
このようにして、描画部20は、視点位置Pが移動している状態から停止した状態に変化した場合、視点位置Pを中心とした仮想空間VSにおける仮想物体VOを視野角より広い範囲で示す停止時仮想空間画像を生成する。
図5は、第1の実施形態の描画部20の構成を示す構成図である。
図5に示すように、描画部20は、操作情報受信部21と、画像生成部22と、描画情報記憶部23と、描画結果送信部24と、を備える。
操作情報受信部21は、操作部10から描画部20に入力された、視点位置P、視線の方向、視野角、および仮想空間VSにおける仮想物体VOや光源Lの位置、色等に関する情報を取得する。操作情報受信部21は、操作部10から取得した情報を画像生成部22に出力する。
画像生成部22は、操作情報受信部21からの情報に基づいて、仮想空間画像を生成する。画像生成部22は、視点位置Pが移動している状態である場合、視点位置P、および視線の方向に基づいて移動時仮想空間画像を生成する。画像生成部22は、視点位置Pが移動している状態から停止した状態に変化した場合、視点位置P、および視線の方向に基づいて停止時仮想空間画像を生成する。画像生成部22は、仮想空間VSにおける仮想物体VOや光源Lの位置等が変化した場合、当該変化に基づいて移動時仮想空間画像または、停止時仮想空間画像を生成する。
画像生成部22は、生成した仮想空間画像を描画結果送信部24に出力する。画像生成部22は、例えば、CPU(Central Processing Unit)、またはGPU(Graphics Processing Unit)のうちいずれか一方、またはその両方である。
描画情報記憶部23は、仮想空間提示装置1において用いられる各種のコンピュータプログラムや、仮想空間情報等のデータを記憶する。また、記憶部は、仮想空間提示装置1における各種の演算処理等において用いられる一時的な記憶領域としての機能も有する。記憶部は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access Memory)、ROM(Read Only Memory)、又はそれらの任意の組み合わせである。
描画情報記憶部23に記憶された仮想空間情報等は、画像生成部22が仮想空間画像を生成する際に、画像生成部22により参照される。なお、描画情報記憶部23は、画像生成部22と同一のコンピュータ内にあるデータベースであってもよいし、外部のコンピュータにあるデータベースであってもよい。描画情報記憶部23が外部のコンピュータにあるデータベースである場合、画像生成部22は、例えば、ネットワークを介して、描画情報記憶部23に記憶された仮想空間情報等を参照する。
描画結果送信部24は、画像生成部22からの仮想空間画像を、付加情報とともに表示部30に出力する。付加情報には、視線方向、および視野角に関する情報が含まれる。
図6は、第1の実施形態の表示部30の構成を示す構成図である。
図6に示すように、表示部30は、描画結果受信部31と、表示制御部32と、表示画像情報記憶部33と、ディスプレイ34と、を備える。
描画結果受信部31は、描画部20から表示部30に入力された、描画部20が生成した仮想空間画像、視線の方向、および視野角に関する情報を取得する。描画結果受信部31は、描画部20から取得した情報を表示制御部32に出力する。
表示制御部32は、描画結果受信部31から受信した仮想空間画像を、必要に応じて描画結果受信部31から受信した視線の方向、および視野角に関する情報に基づいて加工する。表示制御部32は例えば、CPU、またはGPUのうちいずれか一方、またはその両方である。
表示制御部32は、描画結果受信部31から受信した仮想空間画像が移動時仮想空間画像である場合、描画結果受信部31から受信した仮想空間画像をそのまま、ディスプレイ34に出力する。
表示制御部32は、描画結果受信部31から受信した仮想空間画像が停止時仮想空間画像である場合、まず、描画結果受信部31から受信した仮想空間画像を、表示画像情報記憶部33に記憶させる。そして表示制御部32は、表示画像情報記憶部33に記憶させた停止時仮想空間画像の一部を、視線の方向、および視野角に基づいて抽出する。具体的には、表示制御部32は、表示画像情報記憶部33に記憶させた停止時仮想空間画像から、描画結果受信部31から受信した視線の方向からみえる視野角の範囲に対応する仮想空間画像を抽出する。表示制御部32は、抽出した停止時仮想空間画像の一部に相当する仮想空間画像を、ディスプレイ34に出力する。
表示制御部32は、描画結果受信部31から仮想空間画像を受信しない場合(例えば画像を更新しない旨を示す情報を受信した場合)、表示画像情報記憶部33に記憶させた停止時仮想空間画像を加工する。表示制御部32は、描画結果受信部31から視線の方向、および視野角に関する情報に基づいて、表示画像情報記憶部33に記憶させた停止時仮想空間画像を加工する。表示制御部32は、表示画像情報記憶部33に記憶させた停止時仮想空間画像から、描画結果受信部31から受信した視線の方向からみえる視野角の範囲に対応する仮想空間画像を抽出する。表示制御部32は、抽出した停止時仮想空間画像の一部に相当する仮想空間画像を、ディスプレイ34に出力する。
表示画像情報記憶部33は、表示制御部32からの停止時仮想空間画像に関する情報を記憶する。
ディスプレイ34は、表示制御部32からの仮想空間画像を表示する。
描画部20が、仮想空間画像を生成する処理の流れについて、図7を用いて説明する。
図7は、第1実施形態の描画部20が行う処理の流れを示すフローチャートである。
本フローチャートを説明する前提として、描画部20は定期的(例えば、フレーム毎)に本フローチャートに示す処理を行うものとする。
まず、描画部20は、操作部10から、操作情報を取得する(ステップS501)。操作情報には、例えば、ユーザにより操作された内容に基づいて仮想空間VSが変更されたことを示す情報が含まれる。
描画部20は、操作情報に、仮想空間VSが変更された旨の情報が含まれているか否かを判定する(ステップS502)。
描画部20は、操作情報に、仮想空間VSの変更を示す情報が含まれている場合(ステップS502、YES)、描画情報記憶部23を更新する(ステップS505)。例えば、描画部20は、仮想空間VSにおいて、テーブルをソファに変更する操作がユーザにより行われた場合、仮想物体VO−1に代えて、仮想物体VO−3へ仮想空間情報が変更される。
また、ステップS501において描画部20が取得した操作情報には、ユーザが操作した視点位置P、視線方向、視野角を示す情報が含まれる。描画部20は、操作情報から取得した視点位置Pが、移動しているか、否かを判定する(ステップS506)。例えば、描画部20は、あるフレーム時刻Tに受信した視点位置P(T)と、そのフレーム時刻Tの1フレーム前に受信した視点位置P(T−1)との差分を算出する。そして、描画部20は、算出した差分が予め定めた閾値の範囲未満である場合には、視点位置Pが移動していない(つまり、停止している)と判定する。また、描画部20は、算出した差分が予め定めた閾値の範囲以上である場合には、視点位置Pが移動していると判定する。
描画部20は、視点位置Pが移動していると判定した場合(ステップS506、YES)、移動時仮想空間画像を生成する(ステップS511)。この場合に描画部20が生成する移動時仮想空間画像は、視点位置Pから視線方向へ、視野角の範囲で描画された仮想空間画像である。そして、描画部20は、生成した仮想空間画像の情報(図7において、描画結果、と記載)を表示部30に送信する(ステップS512)。
一方、描画部20は、視点位置Pが移動していないと判定した場合(ステップS506、NO)、停止時仮想空間画像を生成する(ステップS521)。この場合、描画部20は、視点位置Pが移動している状態から停止した状態に変化した場合に、停止時仮想空間画像を生成する。描画部20が生成する停止時仮想空間画像は、視野角の範囲を超える範囲で描画された仮想空間画像である。そして、描画部20は、生成した仮想空間画像の情報を表示部30に送信する(ステップS522)。
また、描画部20は、ステップS502において、シーンの変化を示す情報が含まれていない場合(ステップS502、NO)、操作情報から取得した視点位置Pが、移動しているか、否かを判定する(ステップS503)。
描画部20は、ステップS503において視点位置Pが移動していると判定した場合(ステップS503、YES)、ステップS511に示す処理を行い、移動時仮想空間画像を生成して、生成した仮想空間画像の情報を表示部30に送信する。
一方、描画部20は、ステップS503において視点位置Pが移動していないと判定した場合(ステップS503、NO)、停止時仮想空間画像を、すでに生成済みか否かを判定する(ステップS504)。描画部20は、視点位置Pが移動している状態から停止した状態に変化した場合に、停止時仮想空間画像を生成する。視点位置Pが移動している状態から停止した状態に変化した後、視点位置Pが停止し続けている状態であれば、描画部20は、すでに停止時仮想空間画像を生成済みであると判定する。
描画部20は、停止時仮想空間画像を生成済みであると判定する場合(ステップS504、YES)、仮想空間画像を更新しない旨を示す情報(図7において、描画非更新情報、と記載)を表示部30に送信する(ステップS531)。
表示部30が、仮想空間画像を表示する処理の流れについて、図8を用いて説明する。
図8は、第1実施形態の表示部30が行う処理の流れを示すフローチャートである。
本フローチャートを説明する前提として、表示部30は定期的(例えば、フレーム毎)に本フローチャートに示す処理を行うものとする。
まず、表示部30は、描画部20から、描画部20が生成した仮想空間画像の情報(図7において、描画結果、と記載)を取得する(ステップS801)。表示部30が、描画部20が生成した仮想空間画像の情報とともに取得する付加情報には、視線方向、および視野角に関する情報が含まれる。
表示部30は、描画部20からの仮想空間画像が、移動時仮想空間画像であるか否かを判定する(ステップS802)。表示部30は、描画部20からの仮想空間画像が、移動時仮想空間画像である場合(ステップS802、YES)、描画部20から取得した仮想空間画像をそのまま、表示する(ステップS811)。
一方、表示部30は、描画部20からの仮想空間画像が、移動時仮想空間画像でない場合(ステップS802、NO)、描画部20からの画像が、停止時仮想空間画像であるか否かを判定する(ステップS803)。表示部30は、描画部20からの仮想空間画像が、停止時仮想空間画像である場合(ステップS803、YES)、その停止時仮想空間画像を、表示画像情報記憶部33に記憶させる(ステップS821)。
表示部30は、停止時仮想空間画像を、表示画像情報記憶部33に記憶させた後、当該停止時仮想空間画像のうち、視線方向にみえる光景に対応する部分を視野角の範囲で抽出する(ステップS822)。そして、表示部30は、抽出した(切り取った)部分の仮想空間画像を、表示する(ステップS823)。
一方、表示部30は、ステップS803において、描画部20からの仮想空間画像が、停止時仮想空間画像でない場合(ステップS803、NO)、すでに表示画像情報記憶部33に記憶させた停止時仮想空間画像を取得する(ステップS831)。そして、表示部30は、ステップS822に示す処理に進み、当該停止時仮想空間画像のうち、視線方向にみえる光景に対応する部分を視野角の範囲で抽出し、抽出した部分の画像を、表示する。
以上説明したように、第1の実施形態の仮想空間提示装置1は、ユーザの視点位置P及び視線ベクトルPLの方向(「視線方向」の一例)に応じて、仮想空間VSにおける仮想物体VOの画像を生成する描画部20(「生成部」の一例)を備え、描画部20は、視点位置Pが移動している場合、視点位置Pから視線方向にある仮想空間VSにおける仮想物体VOを視野角の範囲で示す画像である移動時仮想空間画像を生成し、視点位置Pが移動している状態から停止した状態に変化した場合、視点位置Pを中心とした仮想空間VSにおける仮想物体VOを視野角より広い範囲で示す画像である停止時仮想空間画像を生成する。
これにより、第1の実施形態の仮想空間提示装置1は、処理負荷の増大を抑制することができる。描画部20は、視点位置Pが移動した状態から停止した場合に、視野角よりも広い範囲の停止時仮想空間画像を生成することにより、その停止位置に停止する間、視線の方向が変化しても、その変化に応じて新たに仮想空間画像の生成をする必要がないためである。
また、第1の実施形態の仮想空間提示装置1は、視点位置Pが停止している場合、停止時仮想空間画像に基づいて、停止時仮想空間画像のうち視線方向と視野角に対応する部分の仮想空間画像を出力する表示部30(「画像出力部」の一例)と、を更に備える。これにより、第1の実施形態の仮想空間提示装置1は、処理負荷の増大を抑制しながら、ユーザが仮想空間VSの中に立ち止まって周囲を見ている場合に、ユーザに視認される画像をリアルタイムに出力することができる。描画部20は、視点位置Pが移動した状態から停止した場合に、視野角よりも広い範囲の停止時仮想空間画像を生成することにより、その停止位置において視線の方向が変化した場合には、新たな仮想空間画像を生成する代わりに、その視点位置から視線方向に見える光景を、視野角の範囲で抽出するという簡単な処理を行うことにより、変化した視線方向に対応する仮想空間画像を出力することができるためである。
また、第1の実施形態の仮想空間提示装置1では、仮想空間情報を記憶する描画情報記憶部23(「記憶部」の一例)を更に備え、描画部20は、ユーザからの操作入力により仮想空間VSに配置される仮想物体VOが仮想物体VO´に置き換えられるなど仮想空間情報が変更された場合、前記視点位置が移動している場合には、当該変更に対応する移動時仮想空間画像(例えば、仮想物体VO´が配置された仮想空間VSを示す移動時仮想空間画像)を生成し、視点位置Pが停止した状態の場合には、当該変更に対応する停止時仮想空間画像(例えば、仮想物体VO´が配置された仮想空間VSを示す停止時仮想空間画像)を生成する。これにより、第1の実施形態の仮想空間提示装置1は、上述した効果を奏する他、仮想空間VSが変更された場合にも、変更後の仮想空間画像を生成することができる。
また、第1の実施形態の仮想空間提示装置1では、仮想空間VSの変更は、例えば、光源Lの位置の変更、光源Lの色彩の変更、光源Lの削除、光源L´の追加、仮想物体VOの位置の変更、仮想物体VOの全部又は一部の色彩の変更、仮想空間VSに配置する物体を仮想物体VOから仮想物体とは異なる他の仮想物体VO´に置き換え、仮想物体VOの削除、又は仮想物体VO″の追加である。これにより、第1の実施形態の仮想空間提示装置1では、光源Lの位置や色彩が変更された場合、仮想物体VOの位置や、全部又は一部の色彩が変更された場合、又は仮想空間VSに配置する仮想物体VOが別のものに変更された場合にも、変更後の仮想空間画像を生成することができる。
また、第1の実施形態の仮想空間提示装置1では、描画部20は、移動時仮想空間画像と停止時仮想空間画像とを、異なる解像度で生成するようにしてもよい。これにより、第1の実施形態の仮想空間提示装置1は、上述した効果を奏する他、ユーザによる鑑賞の度合に応じた仮想空間画像を生成することができる。例えば、描画部20は、移動時仮想空間画像を、計算量の少ない処理負荷の軽い単純な描画処理を用いて仮想空間画像を生成し、高速に描画することで、より動きに追従した画像とすることができる。また、描画部20は、停止時仮想空間画像を、よりリアリティが高い、比較的複雑な描画処理を用いて仮想空間画像を生成し、ユーザによりじっくりと鑑賞されることに耐えうる仮想空間画像とすることができる。
また、第1の実施形態の仮想空間提示装置1では、描画部20は、停止時仮想空間画像として全天球画像を生成する。これにより、第1の実施形態の仮想空間提示装置1では、上述した効果を奏する他、視点位置Pが停止している場合に、ユーザがあちこちに視線を移動させた場合でも、処理負荷を増大させることなく、すでに生成した停止時仮想空間画像の一部を抽出した仮想空間画像を出力することができる。
(第2の実施形態)
次に、第2の実施形態について説明する。以下に述べる第2の実施形態の説明において、第1の実施形態と同じ構成には同じ符号を付し、その説明を省略する。第2の実施形態においては、描画情報記憶部23は、仮想空間VSにおける仮想物体VOを、その用途に応じて分類することで、仮想空間画像の生成にかかる処理負荷をさらに抑制する。
第2の実施形態において描画部20が仮想空間画像を生成する処理を、図9を用いて説明する。
図9は、第2の実施形態において描画部20が画像を生成する処理を説明するための図である。図9(A)〜(C)は、それぞれ、描画部20が仮想空間画像を生成する際に用いられる仮想物体の例を示す。図9(D)〜(H)は、それぞれ、描画部20が生成する仮想空間画像の例を示す。
第2の実施形態においては、仮想空間VSにおける仮想物体VOを、仮想空間VSに固定された静的オブジェクトと、仮想空間VSにおいて変更することができる動的オブジェクトと、に分類する。
つまり、静的オブジェクトは、ユーザからの入力操作により仮想空間VSにおける位置の変更や、仮想空間VSに配置するか否か等を設定することができない仮想物体である。静的オブジェクトは、例えば、部屋の形状、窓や階段の形状や設置位置など、ユーザが変更できない構造物に対応する仮想物体である。
また、動的オブジェクトは、ユーザからの入力操作により仮想空間VSにおける位置の変更や、仮想空間VSに配置する、または配置しない等の設定をすることができる仮想物体である。動的オブジェクトは、例えば、テーブルやソファの形状や、配置する位置などを、ユーザの好みに応じて変更することができる構造物に対応する仮想物体である。
図9(A)の例に示すように、仮想物体VO−1、および柱の3次元形状を示す仮想物体VO‐7が、それぞれ静的オブジェクトとして分類された例を示す。これらの静的オブジェクトに分類される仮想物体は、ユーザの操作により、変更することができない。
また、図9(B)、(C)の例に示すように、仮想物体VO−2、仮想物体VO−3が、動的オブジェクトにとして分類された例を示す。これらの動的オブジェクトに分類される仮想物体は、ユーザの操作により、変更することができる。
描画部20は、仮想空間VSにおける仮想物体VOを予め、動的オブジェクトと、静的オブジェクトに分類して、描画情報記憶部23に記憶させておく。
また、描画部20は、停止時仮想空間画像を生成する際に、仮想空間VSにおける静的オブジェクトからなる静的オブジェクト停止時仮想空間画像、および仮想空間VSにおける動的オブジェクトからなる動的オブジェクト停止時仮想空間画像をそれぞれ生成する。そして、描画部20は、生成した静的オブジェクト停止時仮想空間画像と、動的オブジェクト停止時仮想空間画像とを合成することにより、停止時仮想空間画像を生成する。
図9(D)の例に示すように、描画部20は、VO−1、および仮想物体VO‐7が描画された静的オブジェクト停止時仮想空間画像DS−7を生成する。
また、図9(E)の例に示すように、描画部20は、仮想物体VO−2が描画された動的オブジェクト停止時仮想空間画像DS−8を生成する。
そして、図9(G)の例に示すように、描画部20は、静的オブジェクト停止時仮想空間画像DS−7と動的オブジェクト停止時仮想空間画像DS−8とを合成することにより、停止時仮想空間画像DS−10を生成する。
また、描画部20は、停止時仮想空間画像を生成する際に生成した静的オブジェクト停止時仮想空間画像の情報を、描画情報記憶部23、または図示しない記憶領域に、記憶させる。この際、描画部20は、静的オブジェクト停止時仮想空間画像の情報を、デプス情報に対応付けて記憶させる。デプス情報とは、視点から仮想物体表面までの距離を示す情報である。例えば、描画部20は、デプス情報を用いることにより、観察者から見てテーブルの奥に窓がある仮想空間画像を正しく描画することができる(テーブルの手前に窓が描画された結果ではなく、テーブルの奥に窓が描画された結果を取得できる)。
そして、描画部20は、ユーザの操作により、仮想空間VSに配置されていたテーブルがソファに置き換えられるなどして、仮想空間VSにおける仮想物体VOが変更された場合、テーブルをソファに置き換えた仮想空間画像を生成する。その際、描画部20は、仮想空間VSにおける動的オブジェクトからなる動的オブジェクト停止時仮想空間画像のみを生成する。そして、描画部20は、生成した動的オブジェクト停止時仮想空間画像と、描画情報記憶部23に記憶させた静的オブジェクト停止時仮想空間画像とを、デプス情報を用いて物体の前後関係が整合するよう合成することにより、停止時仮想空間画像を生成する。
図9(F)の例に示すように、描画部20は、仮想物体VO−3が描画された動的オブジェクト停止時仮想空間画像DS−9を生成する。
そして、図9(H)の例に示すように、描画部20は、すでに生成した静的オブジェクト停止時仮想空間画像DS−7と、生成した動的オブジェクト停止時仮想空間画像DS−9とを合成することにより、停止時仮想空間画像DS−11を生成する。
図9においては、仮想空間VSの変更の例として、仮想空間VSに配置していた仮想物体VO−2を、他の仮想物体VO−3に置き換えた仮想空間画像を生成する例を説明したが、これに限定されない。仮想空間VSの変更は、仮想物体VOの位置の変更、仮想物体VOの全部又は一部の色彩の変更等であってもよい。
そして、描画部20は、静的オブジェクトを用いてすでに生成した静的オブジェクト停止時仮想空間画像と、動的オブジェクトを用いて今回生成した動的オブジェクト停止時仮想空間画像とを合成することにより、ユーザの操作により変更された仮想空間に対応する停止時仮想空間画像を生成する。
ただし、変更可能な動的オブジェクトに登録できるのは、例えば机やソファといった仮想物体VOであり、光源Lが変化した場合は、静的オブジェクトも動的オブジェクトも再描画を実施する。
以上説明したように、第2の実施形態の仮想空間提示装置1では、仮想空間VSが仮想空間VSにおいて固定される静的オブジェクトと、仮想空間VSにおいて変更可能な動的オブジェクトとを含み、描画情報記憶部23が仮想空間情報の一部として静的オブジェクトに関する情報と、動的オブジェクトに関する情報とをそれぞれ記憶する。そして、描画部20は、停止時仮想空間画像を生成する場合、仮想空間VSにおける静的オブジェクトを視野角より広い範囲で示す仮想空間画像である静的オブジェクト停止時仮想空間画像を生成するとともに、仮想空間VSにおける動的オブジェクトを示す画像である動的オブジェクト停止時仮想空間画像を生成し、生成した静的オブジェクト停止時仮想空間画像と動的オブジェクト停止時仮想空間画像とを合成することにより停止時仮想空間画像を生成し、ユーザからの操作入力により動的オブジェクトの状態が変更された場合、当該変更された動的オブジェクトに対応する動的オブジェクト停止時仮想空間画像を生成し、生成した動的オブジェクト停止時仮想空間画像と描画情報記憶部23に記憶させた動的オブジェクト停止時仮想空間画像とを合成することにより停止時仮想空間画像を生成する。
これにより、第2の実施形態の仮想空間提示装置1では、上述した第1の実施形態と同様の効果を奏する他、仮想空間VSにおける仮想物体VOの配置状態などが変更された場合においても、変更に対応する仮想物体VOの仮想空間画像を生成するだけでよい。生成した仮想空間画像と、すでに生成した静的オブジェクト停止時仮想空間画像とを合成することにより、変更後の仮想空間画像を生成することができるためである。つまり、変更後の仮想空間画像を最初から生成する必要がなく、変更後の仮想空間画像を生成する際の処理負荷の増大を抑制することができる。
また、第2の実施形態の仮想空間提示装置1では、仮想空間VSの変更は、仮想物体VOの位置の変更、仮想物体VOの全部又は一部の色彩の変更、仮想空間VSに配置する物体が仮想物体VOから仮想物体とは異なる他の仮想物体VO´に置き換え、仮想物体の追加、又は仮想物体の削除による変更のうち少なくともいずれかである。これにより、第1の実施形態の仮想空間提示装置1における仮想空間VSの変更のうち、仮想物体VOに関わる変更において、第2の実施形態の仮想空間提示装置1によって、変更後の仮想空間画像を生成することができる。
(第3の実施形態)
次に、第3の実施形態について説明する。以下に述べる第3の実施形態の説明において、第1の実施形態と同じ構成には同じ符号を付し、その説明を省略する。
第3の実施形態では、二以上の画像を結合させることにより停止時仮想空間画像が生成される点において、第1の実施形態と相違する。
第3の実施形態における描画部20Aの構成を、図10を用いて説明する。
図10は、第3の実施形態の描画部20Aの構成例を示すブロック図である。図10に示すように、第3の実施形態において、描画部20Aは、画像生成部22Aと、描画領域分割部25と、画像情報記憶部26とを備える。
画像生成部22Aは、描画領域の分割情報に基づいて、停止時仮想空間画像を生成する。ここで、描画領域の分割情報は、停止時仮想空間画像に描画される領域を複数の領域に分割した場合のそれぞれの領域を示す情報である。描画領域の分割情報は、例えば、描画情報記憶部23、又は仮想空間提示装置1における図示しない記憶部に記憶される。画像生成部22Aは、例えば、停止時仮想空間画像を生成する際に描画領域の分割情報を参照し、描画領域の分割情報に示される領域の画像(分割画像)を順に生成する。そして、画像生成部22Aは、生成し分割画像を組み合わせることで停止時仮想空間画像を生成する。なお、画像生成部22Aは、描画領域の分割情報を参照した際に描画領域の分割情報が記憶されていない場合には、描画領域分割部25に描画領域の分割情報の生成を指示する。
また、画像生成部22Aは、生成した移動時仮想空間画像を画像情報記憶部26に記憶させ、停止時仮想空間画像を生成する際に移動時仮想空間画像を利用するようにしてもよい。画像生成部22Aは、例えば、停止時仮想空間画像を生成する際に描画領域の分割情報を参照し、描画領域の分割情報に示される領域の分割画像と移動時仮想空間画像とが同じ領域の画像である場合、描画領域の分割情報に示される領域の分割画像を生成する代わりに移動時仮想空間画像を使用する。これにより、画像生成部22Aが分割画像を生成する処理の負担を軽減させることが可能となる。
描画領域分割部25は、画像生成部22Aの指示に基づいて、描画領域の分割情報を生成し、生成した描画領域の分割情報を記憶させる。例えば、描画領域分割部25は、画像生成部22Aにより停止時仮想空間画像を生成しようとする場合において、描画領域の分割情報が記憶されていない場合に描画領域の分割情報を生成する。描画領域分割部25は、例えば、画像生成部22Aが画像を生成の処理能力に基づいて、描画領域の分割情報を生成する。描画領域分割部25は、例えば、画像生成部22Aが一つの分割画像を生成するのに必要な処理の負荷が所定の閾値未満となる領域になるように停止時仮想空間画像が描画する仮想空間を分割する。
また、描画領域分割部25は、描画領域の分割情報を生成する際に画像情報記憶部26を参照し、画像情報記憶部26に移動時仮想空間画像が記憶されている場合、停止時仮想空間画像を移動時仮想空間画像に描画された領域、及び移動時仮想空間画像に描画された領域とは異なる領域に分割する描画領域の分割情報を生成するようにしてもよい。描画領域分割部25は、停止時仮想空間画像を画像生成部22Aがすでに生成した移動時仮想空間画像に描画された領域とそれ以外の領域とに分割することで、画像生成部22Aが分割画像を生成する際の処理負荷を軽減させることが可能となる。
画像情報記憶部26は、画像生成部22Aの指示に基づいて、画像生成部22Aが生成した移動時仮想空間画像を記憶する。
ここで、第3実施形態の描画部20Aが行う処理の流れについて図11〜図13を用いて説明する。図11〜図13は、第3実施形態の描画部20Aが行う処理の流れを示す第1〜第3のフローチャートである。
まず、第3実施形態の描画部20Aが、仮想空間の変化に応じて移動時仮想空間画像、又は停止時仮想空間画像を生成するまでの処理の流れについて、図11を用いて説明する。図11は、第1の実施形態における図7に示す動作に相当する動作の流れを示すフローチャートである。図11は、図7のフローチャートにおけるステップS506に相当する処理がない点において図7のフローチャートと異なる。以下の説明では、図7のフローチャートと同じ処理を行うステップには同じ符号を付し、その説明を省略する。
描画部20Aの画像生成部22Aは、ステップS505に示す処理により描画情報記憶部23を更新すると、視点位置Pが、移動しているか否かに関わらず、移動時仮想空間画像を生成する(ステップS511A)。ステップS511Aにおいて、視点位置Pが移動していない場合にも移動時仮想空間画像を生成するのは、視点位置Pが移動していない場合に生成する停止時仮想空間画像の一部に移動時仮想空間画像を使用するためである。
次に、第3の実施形態の描画部20Aが移動時仮想空間画像を生成する処理の流れについて、図12を用いて説明する。図12は、図11のフローチャートにおけるステップS511Aの処理の流れを示すフローチャートである。
描画部20Aの画像生成部22Aは、視点位置Pから視線方向へ視野角の範囲で描画された仮想空間画像である移動時仮想空間画像を生成する(ステップS211)。次に、画像生成部22Aは、生成した移動時仮想空間画像を画像情報記憶部26に記憶させる(ステップS212)。次に、画像生成部22Aは、生成した移動時仮想空間画像を表示部30に送信する(ステップS213)。
次に、第3の実施形態の描画部20Aが停止時仮想空間画像を生成する処理の流れについて、図13を用いて説明する。図13は、図11のフローチャートにおけるステップS521Aの処理の流れを示すフローチャートである。
描画部20Aの画像生成部22Aは、まず、描画領域の分割情報が記憶されているか否かを判定する(ステップS311)。画像生成部22Aは、描画領域の分割情報が記憶されている場合、描画領域の分割情報に示される描画領域のうち、画像を生成していない未描画領域があるか否かを判定する(ステップS312)。画像生成部22Aは、画像情報記憶部26を参照し、画像情報記憶部26に記憶されている画像の描画領域と描画領域の分割情報とに基づいて、未描画領域があるか否かを判定する。画像生成部22Aは、未描画領域がないと判定した場合、画像を更新しない旨を示す情報(画像の非更新情報)を生成する(ステップS313)。そして、画像生成部22Aは、生成した情報を表示部30に送信して、処理を終了する。
一方、画像生成部22Aは、ステップS312において、未描画領域があると判定した場合、未描画領域を描画する分割画像を生成する(ステップS322)。画像生成部22Aは、生成した分割画像を表示部30に送信する(ステップS323)。そして、画像生成部22Aは、処理を終了する。
また、画像生成部22Aは、ステップS311において、描画領域の分割情報がないと判定した場合、描画領域分割部25に指示して描画領域の分割情報を生成させる。そして、画像生成部22Aは、描画領域分割部25に生成させた描画領域の分割情報に基づいて、ステップS312に示す処理を行う。
ここで、第3実施形態の描画部20Aが生成する画像について図14、図15を用いて説明する。図14、及び図15は、第3の実施形態において描画部20Aが生成する画像を説明するための第1、及び第2の図である。
図14は、停止時仮想空間画像の一例として全天球画像を立方体の六面として展開図で示した図である。図14は、視線方向に対し正面側となる画像DS−21、右手側となる画像DS−22、背面側となる画像DS−23、左手側となる画像DS−24、上側となる画像DS−25、及び下側となる画像DS−26をそれぞれ示す。
図15は、図14に示す展開図を立体的に示した図である。図15で、左側の図は視線方向に対して正面側となる画像DS−21、右手側となる画像DS−22、及び下側となる画像DS−26を、右側の図は視線方向に対して背面側となる画像DS−23、左手側となる画像DS−24、及び上側となる画像DS−25をそれぞれ立体的に示している。
図14に示すように、停止時仮想空間画像のうち、本実施形態では、視野角の範囲を示す領域E−1の範囲が描画された画像(画像DS−21、画像DS−22の一部、及び画像DS−24の一部)が、画像情報記憶部26に記憶されている。この場合、画像生成部22Aは、停止時仮想空間画像のうち、領域E−1の範囲以外の領域の仮想空間を描画する画像を生成する。図14の例では、画像生成部22Aは、画像DS−22の領域E−1を除く部分、画像DS−23、画像DS−24の領域E−1を除く部分、画像DS−26、及びDS−25をそれぞれ生成する。
図15に示すように、画像生成部22Aが描画する領域が、分割線BLにより分割された場合、例えば、画像生成部22Aは、まず、領域E−2の範囲を描画する画像(画像DS−22の中央部分、画像DS24の中央部分、画像DS−26の画像DS−21側の2/3の部分、及び画像DS−25の画像DS−21側の2/3の部分)を生成する。その後、画像生成部22Aは、残りの領域E−3の範囲を描画する画像(画像DS−22の画像DS−23側の1/3の部分、画像DS−26の画像DS−23側の1/3の部分、画像DS−25の画像DS−23側の1/3の部分、画像DS−24の画像DS−23側の1/3の部分、及び画像DS−23)を生成する。
以上説明したように、第3の実施形態の仮想空間提示装置では、描画部20Aにより生成された画像の画像情報を記憶する画像情報記憶部26を更に備え、描画部20Aは、生成した移動時仮想空間画像を画像情報記憶部26に記憶させ、停止時仮想空間画像に描画される仮想空間の領域のうち、移動時仮想空間画像に描画された領域とは異なる領域の画像を生成し、生成した移動時仮想空間画像に描画された領域とは異なる領域の画像を、画像情報記憶部26に記憶させた移動時仮想空間画像と結合せることにより停止時仮想空間画像を生成する。
これにより、第3の実施形態の仮想空間提示装置1は、処理負荷の増大を抑制することができる。描画部20Aは、停止時仮想空間画像を生成する場合に、視野角の範囲の仮想空間の領域を示す部分に画像情報記憶部26に記憶させた移動時仮想空間画像を利用することができるため、停止時仮想空間画像の全体を生成する必要がなく、停止時仮想空間画像のうち移動時仮想空間画像を除く領域だけ生成すればよいためである。
また、第3の実施形態の仮想空間提示装置では、停止時仮想空間画像に描画される仮想空間の領域を、少なくとも移動時仮想空間画像に描画される領域と、それ以外の領域との二以上の領域に分割する描画領域分割部25を更に備え、描画部20Aは、描画領域分割部25により分割された各々の領域の画像を生成し、生成した各々の画像を結合させることにより停止時仮想空間画像を生成する。
これにより、第3の実施形態の仮想空間提示装置1は、処理負荷の増大を抑制することができる。描画領域分割部25が停止時仮想空間画像に描画される仮想空間の領域を分割することができ、描画部20Aは、描画領域分割部25により分割された領域ごとに画像を生成すればよく、一度に停止時仮想空間画像の全体を描画する場合よりも処理負担を軽減することができるためである。
なお、上述した実施形態において、図7に示すフローチャートのステップS506では、描画部20が、視点位置Pが移動しているか否かを判定する際に、あるフレーム時刻Tに受信した視点位置P(T)と、そのフレーム時刻Tの1フレーム前に受信した視点位置P(T−1)との差分を算出することにより判定する例を説明したが、これに限定されない。
視点位置Pが移動しているか否かは、ユーザからの操作情報に含まれていてもよい。例えば、ユーザが停止したい場合には、停止する旨を示す情報を、操作部10を介して、描画部20に入力させるようにしてもよい。
例えば、操作部10が、HMDであると、HMDに搭載されたモーションセンサ等に、動きが検出された場合、単にユーザの頭部が揺れたのか、ユーザが視点位置Pを移動させたくて頭部に装着したHMDを移動させたのかの判定が難しい。このため、視点位置P(T)と、視点位置P(T−1)との差分により、描画部20が、自動的に視点位置Pが移動しているか否かを判定すると、同じような視点位置Pからみた仮想空間画像が、繰り返し生成されてしまことが考えられる。このため、視点位置Pを停止させたい場合にユーザが明示的に、停止を示す信号を入力することにより、描画部20が視点位置Pの差分値に関わらず、視点位置Pが移動しているか否かをユーザの意図通りに判定することができる。
なお、本発明における仮想空間提示装置1の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより処理を行なってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…仮想空間提示装置、10…操作部、20(20A)…描画部、30…表示部、21…操作情報受信部、22…画像生成部、23…描画情報記憶部、24…描画結果送信部、31…描画結果受信部、32…表示制御部、33…表示画像情報記憶部、34…ディスプレイ。

Claims (13)

  1. ユーザの視点位置及び視線方向に応じて、仮想空間における仮想物体を示す仮想空間画像を生成する生成部を備え、
    前記生成部は、
    前記視点位置が移動している場合、前記視点位置から前記視線方向にある前記仮想空間における仮想物体を視野角の範囲で示す仮想空間画像である移動時仮想空間画像を生成し、
    前記視点位置が移動している状態から停止した状態に変化した場合、前記視点位置を中心とした前記仮想空間における仮想物体を視野角より広い範囲で示す仮想空間画像である停止時仮想空間画像を生成する、
    ことを特徴とする仮想空間提示装置。
  2. 前記視点位置が停止している場合、前記停止時仮想空間画像に基づいて、前記停止時仮想空間画像のうち前記視線方向と前記視野角に対応する部分の仮想空間画像を出力する画像出力部と
    を更に備える
    ことを特徴とする請求項1に記載の仮想空間提示装置。
  3. 前記仮想空間に関する情報を記憶する記憶部を更に備え、
    前記生成部は、
    ユーザからの操作入力により前記仮想空間が変更された場合、
    前記視点位置が移動している場合、前記仮想空間に関する情報に基づいて、当該変更に対応する前記移動時仮想空間画像を生成し、
    前記視点位置が停止している場合、前記仮想空間に関する情報に基づいて、当該変更に対応する前記停止時仮想空間画像を生成する
    ことを特徴とする請求項2に記載の仮想空間提示装置。
  4. 前記仮想空間は、前記仮想空間において固定される静的オブジェクトと、前記仮想空間において変更可能な動的オブジェクトとを含み、
    前記静的オブジェクトに関する情報と前記動的オブジェクトに関する情報とを記憶する記憶部を更に備え、
    前記生成部は、
    前記停止時仮想空間画像を生成する場合、前記静的オブジェクトを視野角より広い範囲で示す仮想空間画像である静的オブジェクト停止時仮想空間画像を生成するとともに、前記動的オブジェクトを示す仮想空間画像である動的オブジェクト停止時仮想空間画像を生成し、生成した前記静的オブジェクト停止時仮想空間画像と前記動的オブジェクト停止時仮想空間画像とを合成することにより前記停止時仮想空間画像を生成し、
    ユーザからの操作入力により前記仮想空間における前記動的オブジェクトが変更された場合、前記動的オブジェクトに関する情報に基づいて、当該変更に対応する前記動的オブジェクト停止時仮想空間画像を生成し、生成した前記動的オブジェクト停止時仮想空間画像と前記静的オブジェクト停止時仮想空間画像とを合成することにより前記停止時仮想空間画像を生成する、
    ことを特徴とする請求項2に記載の仮想空間提示装置。
  5. 前記仮想空間の変更は、前記仮想空間における光源の位置の変更、前記光源の色彩の変更、前記光源の追加、前記光源の削除、前記仮想物体の位置の変更、前記仮想物体の全部又は一部の色彩の変更、前記仮想空間に配置していた前記仮想物体が前記仮想物体とは異なる他の前記仮想物体に置き換え、前記仮想物体とは異なる前記仮想物体の追加、又は前記仮想物体の削除による変更のうち少なくともいずれか一つである、
    ことを特徴とする請求項3に記載の仮想空間提示装置。
  6. 前記仮想空間の変更は、前記仮想空間における前記仮想物体の位置の変更、前記仮想物体の全部又は一部の色彩の変更、前記仮想空間に配置していた前記仮想物体が前記仮想物体とは異なる他の前記仮想物体に置き換え、前記仮想物体とは異なる前記仮想物体の追加、又は前記仮想物体の削除による変更のうち少なくともいずれか一つである、
    ことを特徴とする請求項4に記載の仮想空間提示装置。
  7. 前記生成部は、前記移動時仮想空間画像と前記停止時仮想空間画像とを異なる解像度で生成する、
    ことを特徴とする請求項1から請求項6のいずれか一項に記載の仮想空間提示装置。
  8. 前記生成部は、前記停止時仮想空間画像として全天球画像を生成する
    ことを特徴とする請求項1から請求項7のいずれか一項に記載の仮想空間提示装置。
  9. 前記生成部により生成された画像の画像情報を記憶する画像情報記憶部を更に備え、
    前記生成部は、
    生成した前記移動時仮想空間画像を前記画像情報記憶部に記憶させ、
    前記停止時仮想空間画像に描画される仮想空間の領域のうち、前記移動時仮想空間画像に描画された領域とは異なる領域の画像を生成し、
    生成した前記移動時仮想空間画像に描画された領域とは異なる領域の画像を、前記画像情報記憶部に記憶させた前記移動時仮想空間画像と結合させることにより前記停止時仮想空間画像を生成する、
    ことを特徴とする請求項1から請求項8のいずれか一項に記載の仮想空間提示装置。
  10. 前記停止時仮想空間画像に描画される仮想空間の領域を、少なくとも前記移動時仮想空間画像に描画される領域と、それ以外の領域との二以上の領域に分割する描画領域分割部を更に備え、
    前記生成部は、
    描画領域分割部により分割された各々の領域の画像を生成し、生成した各々の画像を結合させることにより前記停止時仮想空間画像を生成する、
    ことを特徴とする請求項1から請求項8のいずれか一項に記載の仮想空間提示装置。
  11. 前記生成部を有する生成装置と、
    前記画像出力部を有する画像出力装置と、
    前記記憶部を有する記憶装置と、
    を備え、
    前記生成装置、前記画像出力装置、及び前記記憶装置のうち少なくとも一つは、ネットワークを介して、他と通信可能に接続される
    ことを特徴とする請求項3から請求項6のいずれか一項に記載の仮想空間提示装置。
  12. ユーザの視点位置及び視線方向に応じて、仮想空間における仮想物体の仮想空間画像を生成する生成部において、
    前記生成部が、前記視点位置が移動している場合、前記視点位置から前記視線方向にある前記仮想空間における仮想物体を視野角の範囲で示す仮想空間画像である移動時仮想空間画像を生成する工程と、
    前記視点位置が移動している状態から停止した状態に変化した場合、前記視点位置を中心とした前記仮想空間における仮想物体を視野角より広い範囲で示す仮想空間画像である停止時仮想空間画像を生成する工程と、
    を有する
    ことを特徴とする仮想空間提示方法。
  13. コンピュータに、
    ユーザの視点位置及び視線方向に応じて、仮想空間における仮想物体の仮想空間画像を生成する生成工程において、
    前記視点位置が移動している場合、前記視点位置から前記視線方向にある前記仮想空間における仮想物体を視野角の範囲で示す仮想空間画像である移動時仮想空間画像を生成する工程と、
    前記視点位置が移動している状態から停止した状態に変化した場合、前記視点位置を中心とした前記仮想空間における仮想物体を視野角より広い範囲で示す仮想空間画像である停止時仮想空間画像を生成する工程と、
    を実行させるためのプログラム。
JP2017174286A 2017-06-05 2017-09-11 仮想空間提示装置、仮想空間提示方法、及びプログラム Active JP7006056B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017110886 2017-06-05
JP2017110886 2017-06-05

Publications (2)

Publication Number Publication Date
JP2018206331A true JP2018206331A (ja) 2018-12-27
JP7006056B2 JP7006056B2 (ja) 2022-01-24

Family

ID=64957280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017174286A Active JP7006056B2 (ja) 2017-06-05 2017-09-11 仮想空間提示装置、仮想空間提示方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7006056B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021106803A1 (ja) * 2019-11-28 2021-06-03 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法及びプログラム
JP7465737B2 (ja) 2019-11-28 2024-04-11 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07282294A (ja) * 1994-02-18 1995-10-27 Matsushita Electric Ind Co Ltd 画像合成装置
JP2001285074A (ja) * 2000-03-31 2001-10-12 Toshiba Corp 画像合成方法および画像合成プログラムを記録した媒体
JP2003208633A (ja) * 2002-01-10 2003-07-25 Mitsubishi Electric Corp サーバ及びクライアント及び伝送システム及び伝送方法
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07282294A (ja) * 1994-02-18 1995-10-27 Matsushita Electric Ind Co Ltd 画像合成装置
JP2001285074A (ja) * 2000-03-31 2001-10-12 Toshiba Corp 画像合成方法および画像合成プログラムを記録した媒体
JP2003208633A (ja) * 2002-01-10 2003-07-25 Mitsubishi Electric Corp サーバ及びクライアント及び伝送システム及び伝送方法
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021106803A1 (ja) * 2019-11-28 2021-06-03 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法及びプログラム
JP2021086435A (ja) * 2019-11-28 2021-06-03 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法及びプログラム
CN114402276A (zh) * 2019-11-28 2022-04-26 多玩国株式会社 授课系统、视听终端、信息处理方法以及程序
JP7465737B2 (ja) 2019-11-28 2024-04-11 株式会社ドワンゴ 授業システム、視聴端末、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP7006056B2 (ja) 2022-01-24

Similar Documents

Publication Publication Date Title
US11238644B2 (en) Image processing method and apparatus, storage medium, and computer device
US20220027524A1 (en) Method for forming walls to align 3d objects in 2d environment
JP7187446B2 (ja) 拡張された仮想現実
US11386623B2 (en) Methods, systems, and computer program product for managing and displaying webpages in a virtual three-dimensional space with a mixed reality system
US20230087230A1 (en) Virtual reality system and method
Manjrekar et al. CAVE: an emerging immersive technology--a review
US9317962B2 (en) 3D space content visualization system
US10269178B2 (en) Method for visualising surface data together with panorama image data of the same surrounding
US9898844B2 (en) Augmented reality content adapted to changes in real world space geometry
Santana et al. Multimodal location based services—semantic 3D city data as virtual and augmented reality
US20020176636A1 (en) Method and system for displaying visual content in a virtual three-dimensional space
JP2013506226A (ja) 仮想環境との相互作用のためのシステム及び方法
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
KR20140145217A (ko) 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법
Thomas et al. Spatial augmented reality—A tool for 3D data visualization
US20150009216A1 (en) Storage medium, image processing apparatus, image processing system and image processing method
CN109741431B (zh) 一种二三维一体化电子地图框架
JP7006056B2 (ja) 仮想空間提示装置、仮想空間提示方法、及びプログラム
JP2015087909A (ja) 情報処理システム、情報処理装置、情報処理サーバ、情報処理方法、及びプログラム
WO2022147227A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
US20220293067A1 (en) Information processing apparatus, information processing method, and program
CN108510433B (zh) 空间展示方法、装置及终端
Rooney et al. HiReD: a high-resolution multi-window visualisation environment for cluster-driven displays
JP6859763B2 (ja) プログラム、情報処理装置
Lee et al. Mirage: A touch screen based mixed reality interface for space planning applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220

R150 Certificate of patent or registration of utility model

Ref document number: 7006056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150