JP2017142769A - 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム - Google Patents
仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム Download PDFInfo
- Publication number
- JP2017142769A JP2017142769A JP2016152790A JP2016152790A JP2017142769A JP 2017142769 A JP2017142769 A JP 2017142769A JP 2016152790 A JP2016152790 A JP 2016152790A JP 2016152790 A JP2016152790 A JP 2016152790A JP 2017142769 A JP2017142769 A JP 2017142769A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- virtual camera
- image
- virtual space
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】ユーザが没入する仮想空間の画像をヘッドマウントディスプレイ(HMD)に提供する際に、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供する。【解決手段】本発明は、第1の右目用仮想カメラ及び第1の左目用仮想カメラにより仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して第1の右目用画像及び第1の左目用画像を生成するステップと、第2の右目用仮想カメラ及び第2の左目用仮想カメラにより仮想空間内に位置する3次元オブジェクトを撮影して第2の右目用画像及び第2の左目用画像を生成するステップと、3次元オブジェクトの画像がディスプレイオブジェクトの画像に重なるよう、第1の右目用画像及び第2の右目用画像をHMDの右目用表示部に出力し、第1の左目用画像及び第2の左目用画像をHMDの左目用表示部に出力するステップとを含む。【選択図】図11
Description
本発明は、ユーザが没入する仮想空間の画像をヘッドマウントディスプレイ(Head Mounted Display:HMD)に提供するための方法及びプログラムに関する。
近年、HMDを用いてユーザに仮想現実(Virtual Reality:VR)空間を提供するゲーム等のアプリケーションが開発されている。非特許文献1には、このようなアプリケーションの仮想空間内で、ヘッズアップディスプレイ(Heads−Up Display:HUD)を用いてユーザに情報を提供する技術が開示されている。
"Oculusベストプラクティス"、[online]、[平成27年12月10日検索]、インターネット<URL: http://static.oculus.com/documentation/pdfs/ja−jp/intro−vr/latest/bp.pdf>
非特許文献1の技術を用いると、HUDは仮想空間内のオブジェクトの手前に表示される。このため、ユーザが感じる没入感を阻害し、ユーザエクスペリエンスを低下させる可能性がある。
本発明は、ユーザが没入する仮想空間の画像をHMDに提供する際に、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することを目的とする。
上記の課題を解決するために、本発明の実施形態は、ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法であって、第1の右目用仮想カメラ及び第1の左目用仮想カメラにより、仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して、第1の右目用画像及び第1の左目用画像を生成するステップと、第2の右目用仮想カメラ及び第2の左目用仮想カメラにより、仮想空間内に位置する3次元オブジェクトを含む仮想空間の一部を撮影して、第2の右目用画像及び第2の左目用画像を生成するステップと、前記3次元オブジェクトの画像が前記ディスプレイオブジェクトの画像に重なるように、前記第1の右目用画像及び前記第2の右目用画像を重畳して前記ヘッドマウントディスプレイの右目用表示部に出力し、前記第1の左目用画像及び前記第2の左目用画像を重畳して前記ヘッドマウントディスプレイの左目用表示部に出力するステップとを含む方法を提供する。
本発明によれば、ユーザが没入する仮想空間の画像をHMDに提供する際に、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することができる。
本発明のその他の特徴及び利点は、後述する実施形態の説明、添付の図面及び特許請求の範囲の記載から明らかなものとなる。
[本発明の実施形態の説明]
最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態によるコンピュータ・プログラムは、以下のような構成を備える。
最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態によるコンピュータ・プログラムは、以下のような構成を備える。
(項目1)
ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法であって、
第1の右目用仮想カメラ及び第1の左目用仮想カメラにより、仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して、第1の右目用画像及び第1の左目用画像を生成するステップと、
第2の右目用仮想カメラ及び第2の左目用仮想カメラにより、仮想空間内に位置する3次元オブジェクトを含む仮想空間の一部を撮影して、第2の右眼用画像及び第2の左目用画像を生成するステップと、
前記3次元オブジェクトの画像が前記ディスプレイオブジェクトの画像に重なるように、前記第1の右目用画像及び前記第2の右目用画像を重畳して前記ヘッドマウントディスプレイの右目用表示部に出力し、前記第1の左目用画像及び前記第2の左目用画像を重畳して前記ヘッドマウントディスプレイの左目用表示部に出力するステップと
を含む方法。
本項目の方法によれば、ユーザが没入する仮想空間の画像をHMDに提供する際に、ユーザに見せたい情報を仮想空間内のディスプレイオブジェクト上に3次元コンテンツとして提供することができる。このため、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することができる。
ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法であって、
第1の右目用仮想カメラ及び第1の左目用仮想カメラにより、仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して、第1の右目用画像及び第1の左目用画像を生成するステップと、
第2の右目用仮想カメラ及び第2の左目用仮想カメラにより、仮想空間内に位置する3次元オブジェクトを含む仮想空間の一部を撮影して、第2の右眼用画像及び第2の左目用画像を生成するステップと、
前記3次元オブジェクトの画像が前記ディスプレイオブジェクトの画像に重なるように、前記第1の右目用画像及び前記第2の右目用画像を重畳して前記ヘッドマウントディスプレイの右目用表示部に出力し、前記第1の左目用画像及び前記第2の左目用画像を重畳して前記ヘッドマウントディスプレイの左目用表示部に出力するステップと
を含む方法。
本項目の方法によれば、ユーザが没入する仮想空間の画像をHMDに提供する際に、ユーザに見せたい情報を仮想空間内のディスプレイオブジェクト上に3次元コンテンツとして提供することができる。このため、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することができる。
(項目2)
前記3次元オブジェクトに対する前記第2の右目用仮想カメラと前記第2の左目用仮想カメラとの間の視差は、前記ディスプレイオブジェクトに対する前記第1の右目用仮想カメラと前記第1の左目用仮想カメラとの間の視差より大きくなるように設定される、項目1に記載の方法。
前記3次元オブジェクトに対する前記第2の右目用仮想カメラと前記第2の左目用仮想カメラとの間の視差は、前記ディスプレイオブジェクトに対する前記第1の右目用仮想カメラと前記第1の左目用仮想カメラとの間の視差より大きくなるように設定される、項目1に記載の方法。
(項目3)
前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラは第1の仮想空間内に配置され、前記第1の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記第1の仮想空間の一部を撮影し、
前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは前記第1の仮想空間とは異なる第2の仮想空間内に配置され、前記第2の仮想空間内に位置する前記3次元オブジェクトを撮影する、項目1又は2に記載の方法。
前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラは第1の仮想空間内に配置され、前記第1の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記第1の仮想空間の一部を撮影し、
前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは前記第1の仮想空間とは異なる第2の仮想空間内に配置され、前記第2の仮想空間内に位置する前記3次元オブジェクトを撮影する、項目1又は2に記載の方法。
(項目4)
前記第1の仮想空間において所定の条件が満たされるか否かを判定するステップと、
前記所定の条件が満たされると判定される場合に、
前記第2の仮想空間を生成するステップと、
前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラ、並びに前記ディスプレイオブジェクトに関連付けて記憶部に格納されている前記3次元オブジェクトを、前記第2の仮想空間内に配置するステップと
をさらに含む、項目3に記載の方法。
前記第1の仮想空間において所定の条件が満たされるか否かを判定するステップと、
前記所定の条件が満たされると判定される場合に、
前記第2の仮想空間を生成するステップと、
前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラ、並びに前記ディスプレイオブジェクトに関連付けて記憶部に格納されている前記3次元オブジェクトを、前記第2の仮想空間内に配置するステップと
をさらに含む、項目3に記載の方法。
(項目5)
前記判定するステップは、
前記ヘッドマウントディスプレイのユーザの基準視線を特定するステップと、
前記基準視線に基づいて、前記第1の仮想空間における視界領域を決定するステップと、
前記ディスプレイオブジェクトが前記視界領域に含まれるか否かを判定するステップと、
前記ディスプレイオブジェクトが前記視界領域に含まれる場合に、前記所定の条件が満たされると判定するステップと
を含む、項目4に記載の方法。
前記判定するステップは、
前記ヘッドマウントディスプレイのユーザの基準視線を特定するステップと、
前記基準視線に基づいて、前記第1の仮想空間における視界領域を決定するステップと、
前記ディスプレイオブジェクトが前記視界領域に含まれるか否かを判定するステップと、
前記ディスプレイオブジェクトが前記視界領域に含まれる場合に、前記所定の条件が満たされると判定するステップと
を含む、項目4に記載の方法。
(項目6)
前記第1の右目用仮想カメラ、前記第1の左目用仮想カメラ、前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは同一の仮想空間内に配置され、前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラは前記同一の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記同一の仮想空間の一部を撮影し、前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは前記同一の仮想空間内に位置する前記3次元オブジェクトを含む前記同一の仮想空間の別の一部を撮影する、項目1又は2に記載の方法。
前記第1の右目用仮想カメラ、前記第1の左目用仮想カメラ、前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは同一の仮想空間内に配置され、前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラは前記同一の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記同一の仮想空間の一部を撮影し、前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは前記同一の仮想空間内に位置する前記3次元オブジェクトを含む前記同一の仮想空間の別の一部を撮影する、項目1又は2に記載の方法。
(項目7)
仮想空間における前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラの傾き、並びに前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラの傾きは、前記ヘッドマウントディスプレイの傾きに応答して変化する、項目1から6のいずれか1項に記載の方法。
仮想空間における前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラの傾き、並びに前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラの傾きは、前記ヘッドマウントディスプレイの傾きに応答して変化する、項目1から6のいずれか1項に記載の方法。
(項目8)
前記3次元オブジェクトは、3次元テキスト、3次元イメージ及び3次元動画のうちの少なくとも1つを含む3次元コンテンツを含む、項目1から7のいずれか1項に記載の方法。
前記3次元オブジェクトは、3次元テキスト、3次元イメージ及び3次元動画のうちの少なくとも1つを含む3次元コンテンツを含む、項目1から7のいずれか1項に記載の方法。
(項目9)
項目1から8のいずれか1項に記載の方法をコンピュータに実行させるプログラム。
項目1から8のいずれか1項に記載の方法をコンピュータに実行させるプログラム。
[本発明の実施形態の詳細]
以下、図面を参照して、本発明の例示的な実施形態について説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
以下、図面を参照して、本発明の例示的な実施形態について説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
図1は、本発明の実施形態において用いられ得る、HMD110を備えるHMDシステム100を示す。HMDシステム100は、ユーザの頭部150に装着されるHMD110と、制御回路部120と、動きセンサ130とを備える。
HMD110は、非透過型の表示装置であるディスプレイ112と、センサ部114と、注視センサ140とを含む。制御回路部120は、ディスプレイ112に右目用画像及び左目用画像を表示することにより、両目の視差を利用した3次元画像を仮想空間として提供する。ディスプレイ112がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。一例として、上下左右すべての方向を見渡すことができるゲームの仮想空間がHMD110を用いてユーザに提供される。この場合、仮想空間は、ゲーム内でユーザが操作可能な各種オブジェクト、メニュー画像等を含んでもよい。
ディスプレイ112は、右目用画像を提供する右目用表示部と、左目用画像を提供する左目用表示部とを含む。また、右目用画像と左目用画像を提供できれば、ディスプレイ112は1つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。
制御回路部120は、HMD110に接続されるコンピュータである。図2は、制御回路部120の基本構成を概略的に示すブロック図である。図2に示すように、制御回路部120は、データ伝送路としての通信バス206で互いに接続された処理回路202と、メモリ204と、記憶媒体208と、入出力インターフェース210と、通信インターフェース212とを含む。処理回路202は、CPU(Central Processing Unit)やMPU(Micro−processing unit)、GPU(Graphics Processing Unit)といった各種処理回路等を含んで構成され、制御回路部120及びHMDシステム100全体を制御する機能を有する。メモリ204は、ROM(Read Only Memory)やRAM(Random Access Memory)等を含んで構成され、処理回路202が使用するプログラムや演算パラメータなどの制御用データを一時的に記憶する。記憶媒体208は、フラッシュメモリやHDD(Hard Disc Drive)などの不揮発性記憶装置を含んで構成され、ゲームなどのアプリケーションプログラム、当該プログラムに関連する各種データ、ユーザの認証プログラムなど、様々なデータを格納することができる。さらに、データを管理するためのテーブルを含むデータベースが記憶媒体208内に構築されていてもよい。入出力インターフェース210は、USB(Universal Serial Bus)端子やDVI(Digital Visual Interface)端子やHDMI(登録商標)(High−Definition Multimedia Interface)端子等の各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、HMD110や動きセンサ130を含む各種センサ、外部コントローラ等を接続する。通信インターフェース212は、ネットワーク214を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、LAN(Local Area Network)やインターネットを介して通信するための各種通信規格・プロトコルに適合するように構成されている。
制御回路部120は、メモリ204や記憶媒体208に格納された所定のアプリケーション(例えば、ゲームアプリケーション)を実行することにより、アプリケーション内仮想空間を生成し、ディスプレイ112に当該仮想空間を提示する。また、メモリ204や記憶媒体208には、本発明の実施形態による、ユーザが没入する仮想空間の画像をHMDに提供するためのプログラムが格納される。さらに、メモリ204や記憶媒体208には、仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御したりするためのプログラムが格納されてもよい。制御回路部120はHMD110に搭載されていなくてもよく、別のハードウェア(例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ)として構成してもよい。また、制御回路部120は、一部の機能のみをHMD110に実装し、残りの機能を別のハードウェアに実装してもよい。
動きセンサ130は、HMD110の位置や傾きに関する情報を検知する。動きセンサ130は、センサ部114と、検知部132とを含む。センサ部114は、複数の光源を含んでもよい。光源は、例えば赤外線を発するLEDである。検知部132は例えば赤外線センサであり、光源からの赤外線をHMD110の検知点として検知することで、ユーザの動きに応じたHMD110の現実空間内における位置や角度に関する情報を経時的に検知する。そして、検知部132により検知された情報の経時的変化に基づいて、HMD110の位置や角度の時間変化を決定し、HMD110の動きに関する情報を検知することができる。
動きセンサ130によって取得される位置や傾きに関する情報を、図3を参照して説明する。HMD110を装着したユーザの頭部150を中心として、3次元座標系を規定する。ユーザが直立する垂直方向をヨー方向とし、ヨー方向と直交しディスプレイ112の中心とユーザを結ぶ前後方向をロール方向とし、ヨー方向およびロール方向と直交する横方向をピッチ方向とする。これにより、ユーザの3次元空間内における位置の経時変化が取得される。また、ピッチ方向軸周りのHMD110の傾き角度としてのピッチ角、ヨー方向軸周りのHMD110の傾き角度としてのヨー角、ロール方向軸周りのHMD110の傾き角度としてのロール角が取得される。
動きセンサ130は、ディスプレイ112の近くに固定されたセンサ部114と検知部132のうちの一方のみから構成されてもよい。センサ部114は、地磁気センサ、加速度センサ、ジャイロセンサであってもよく、これらの少なくとも1つを用いて、ユーザの頭部150に装着されたHMD110(特に、ディスプレイ112)の位置及び傾きを検知する。これにより、HMD110の動きに関する情報を検知することができる。例えば、角速度センサは、HMD110の動きに応じて、HMD110の3軸回りの角速度を経時的に検知し、各軸回りの角度の時間変化を決定することができる。この場合には、検知部132は不要である。また、検知部132は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてHMD110の動きに関する情報を検知することができ、センサ部114は不要である。
図4は、仮想空間の一例を示すXYZ空間図である。図4において、XZ平面は地表面を表し、Y軸は高さ方向に延びている。図4に示すように、仮想空間402は、点406を中心として天球状に形成される。本発明の実施形態では、仮想空間402内に、少なくとも第1の右目用仮想カメラ404A及び第1の左目用仮想カメラ404B(以下、必要に応じて、これらをまとめて「第1の仮想カメラペア404A」と称する)が配置される。第1の仮想カメラペア404Aは仮想空間402内の画像を撮影する。第1の仮想カメラペア404Aの動きは、動きセンサ130の動きに対応付けられており、動きセンサ130が動くことによって、第1の仮想カメラペア404Aにより撮影される画像が変化する。第1の仮想カメラペア404Aは、ユーザの一人称視点、又はユーザのアバターに関連付けられた視点を有する。
仮想空間402は、略正方形または略長方形の複数のメッシュを有する天球状に形成されてもよい。この場合、各メッシュには仮想空間402の空間情報が関連付けられ、この空間情報に基づいて視界領域408(視界画像418)が定義される。図4において、第1の仮想カメラペア404Aは基準視線412に基づく視界領域408内の視界画像418を撮影する。
次に、図4を参照して、動きセンサ130と、仮想空間402内に配置される第1の仮想カメラペア404Aとの間の関係を説明する。第1の仮想カメラペア404Aと動きセンサ130との間の位置関係を説明するために、以下では、動きセンサ130の位置は、検知部132を有する場合には検知部132の位置とし、検知部132を有しない場合にはセンサ部114の位置とする。仮想空間402の内部に第1の仮想カメラペア404Aが配置され、仮想空間402の外部(現実空間)に動きセンサ130が仮想的に配置される。
本実施形態では、XZ面において、天球の中心406が第1の仮想カメラペアA404とセンサ130を結ぶ線上に常に配置されるように調整することが好ましい。例えば、第1の仮想カメラペアA404は、常に中心406に配置されてもよい。また、HMD110を装着したユーザが移動して第1の仮想カメラペア404Aの位置がX方向に移動した場合に、中心406が第1の仮想カメラペア404Aと動きセンサ130の線分上に位置するように、仮想空間402の領域が変更されてもよい。これらの場合には、仮想空間402における第1の仮想カメラペア404Aの位置は固定され、傾きのみが変化する。一方、動きセンサ130の任意の方向への移動に連動して第1の仮想カメラペア404Aの位置を移動させるようにすれば、仮想空間402における第1の仮想カメラペア404Aの位置は可変に設定される。
図5に示すように、注視センサ140はユーザUの右目R及び左目Lの視線方向を検知する。ユーザUが近くを見ている場合には視線R1及びL1が検知され、両者の交点である注視点N1が特定される。また、ユーザが遠くを見ている場合には、視線R1及びL1よりロール方向とのなす角が小さい視線R2及びL2が特定される。注視点N1が特定されると、ユーザUの視線方向N0が特定される。視線方向N0はユーザUが両目により実際に視線を向けている方向である。視線方向N0は、例えばユーザUの右目R及び左目Lの中心と注視点N1が通る直線の伸びる方向として定義される。
図6を参照して、第1の仮想カメラペア404Aによって撮影される視界領域408について説明する。図6(A)は、視界領域408をX方向から見たYZ面図であり、図6(B)は、視界領域408をY方向から見たXZ面図である。視界領域408は、基準視線412と仮想空間画像410のYZ断面によって定義される範囲である第1領域414(図6(A)参照)と、基準視線412と仮想空間画像410のXZ断面によって定義される範囲である第2領域416(図6(B))とを有する。第1領域414は、基準視線412を中心として極角αを含む範囲として設定される。第2領域416は、基準視線412を中心として方位角βを含む範囲として設定される。
ここで、図7及び図8を参照して、立体視を得る原理を説明する。図7においては、右目702及び左目704が、正面に配置された物体706を見ている。右目702及び左目704は、物体706を見るために、それぞれ角度θ1及びθ2だけ内側に回転する。物体706までの距離が近くなるにつれて、θ1及びθ2の和であるθは大きくなる。物体706までの距離が遠くなるにつれて、θは小さくなる。このθは輻輳角(binocular parallax)と呼ばれる。
図8もまた、立体視を得る原理を説明する図である。図7と同様に、右目702及び左目704が物体706を見ている。物体706と右目702との間の位置関係と、物体706と左目704との間の位置関係は異なる。したがって、図示されるように、右目702が見ている物体706の画像802は、左目704が見ている画像804とは異なる。このような右目及び左目が見ている画像の相違は、両眼視差(binocular disparity)と呼ばれる。物体706までの距離が近くなるにつれて、両眼視差は大きくなる。物体706までの距離が遠くなるにつれて、両眼視差は小さくなる。
現実空間において、人間は、主にこれら2つの原理によって立体視を得ているといわれている。上述のように、本発明の実施形態で用いられるHMD110には、右目用表示部と左目用表示部が設けられている。このような装置は、それぞれの表示部に表示される画像に対して輻輳角や両眼視差に相当する相違を与えることにより、立体視の効果を得る。本明細書においては、上記のような輻輳角及び両眼視差をまとめて「視差」と呼ぶこととする。
図9は、HMDシステム100における仮想空間402の表示処理等を実現するための、制御回路部120の機能を示すブロック図である。制御回路部120は、主に動きセンサ130、注視センサ140からの入力に基づいて、ディスプレイ112への画像出力を制御する。
制御回路部120は、表示制御部902と、記憶部926とを備える。表示制御部902は、仮想空間生成部904と、仮想カメラ制御部908と、判定部912と、視線検知部914と、基準視線特定部916と、視界領域決定部918と、HMD動作検知部920と、視界画像生成部922と、画像出力部924とを含む。記憶部926は様々な情報を格納するように構成され得る。一例では、記憶部926は、仮想空間情報格納部928、アプリケーション情報格納部930、オブジェクト情報格納部932、その他情報格納部934を含んでもよい。記憶部926はまた、動きセンサ130や注視センサ140からの入力に対応した出力情報をディスプレイ112へ提供するための演算に必要な各種データを含んでもよい。オブジェクト情報格納部932は、仮想空間内に配置されるディスプレイオブジェクトや、ディスプレイオブジェクト上に表示される3Dオブジェクト(例えば、3Dテキスト、3D画像及び3D動画のうちの少なくとも1つを含む3Dコンテンツ)を格納してもよい。
図10は、ユーザが没入する仮想空間の画像をHMD110に表示するための一般的な処理のフロー図である。
図9及び図10を参照して、仮想空間の画像を提供するためのHMDシステム100の一般的な処理を説明する。仮想空間402は、HMD110(注視センサ140、動きセンサ130)及び制御回路部120の相互作用によって提供され得る。
図9及び図10を参照して、仮想空間の画像を提供するためのHMDシステム100の一般的な処理を説明する。仮想空間402は、HMD110(注視センサ140、動きセンサ130)及び制御回路部120の相互作用によって提供され得る。
処理はステップ1002において開始する。一例として、アプリケーション情報格納部930に格納されているゲームアプリケーションが制御回路部120によって実行されてもよい。ステップ1004において、制御回路部120(仮想空間生成部904)は、仮想空間情報格納部928を参照するなどして、ユーザが没入する仮想空間402を構成する天球状の仮想空間画像410(図4を参照)を生成する。動きセンサ130によってHMD110の位置や傾きが検知される。動きセンサ130によって検知された情報は制御回路部120に送信される。ステップ1006において、HMD動作検知部920は、HMD110の位置情報や傾き情報を取得する。ステップ1008において、取得された位置情報及び傾き情報に基づいて視界方向が決定される。
注視センサ140がユーザの左右の目の眼球の動きを検出すると、当該情報が制御回路部120に送信される。ステップ1010において、視線検知部914は、右目及び左目の視線が向けられる方向を特定し、視線方向N0を決定する。ステップ1012において、基準視線決定部916は、HMD110の傾きにより決定された視界方向又はユーザの視線方向N0を基準視線412として決定する。基準視線412はまた、HMD110の位置や傾きに追随する第1の仮想カメラペア404Aの位置及び傾きに基づいて決定されてもよい。
ステップ1014において、視界領域決定部918は、仮想空間402における第1の仮想カメラペア404Aの視界領域408を決定する。図4に示すように、視界領域408は、仮想空間画像410のうちユーザの視界を構成する部分(視界画像418)である。視界領域408は基準視線412に基づいて決定される。視界領域408をX方向から見たYZ面図及び視界領域408をY方向から見たXZ面図は、既に説明した図6(A)及び(B)にそれぞれ示されている。
ステップ1016において、視界画像生成部922は、視界領域408に基づいて視界画像418を生成する。視界画像418は、右目用と左目用の2つの2次元画像を含む。これらの2次元画像がディスプレイ112に重畳される(より具体的には、右目用画像が右目用表示部に出力され、左目用画像が左目用表示部に出力される)ことにより、3次元画像としての仮想空間402がユーザに提供される。ステップ1018において、画像出力部924は、視界画像418に関する情報をHMD110に出力する。HMD110は、受信した視界画像418の情報に基づいて、ディスプレイ112に視界画像418を表示する。処理はステップ1020において終了する。
図11は、本発明の一実施形態の方法により実現される、ユーザが没入する仮想空間の画像をHMD110に提供するための基本的な処理のフロー図である。図11の処理は、本発明の実施形態の方法をコンピュータに実行させるプログラムによって実行されてもよい。図10で説明した処理により、予め、HMD110の初期位置及び初期角度におけるアプリケーション内の視界画像418が生成され、HMD110に出力され、HMD110に表示されているものとする。後述するが、本発明の実施形態では、第1の仮想カメラペア404Aに加えて、第2の右目用仮想カメラ404B−1及び第2の左目用仮想カメラ404B−2を含む第2の仮想カメラペア404Bが仮想空間内に配置され、第1の仮想カメラペア404Aが撮影するものとは異なる仮想空間の一部やオブジェクトなどを撮影する。
図11に示す処理に移行するために、何らかの特定のイベントが必要とされてもよい。例えば、制御回路部120は、仮想空間402内でディスプレイオブジェクトが配置される位置から所定の閾値以内の距離にユーザが近づいたと表示制御部902(視線検知部914、基準視線決定部916、視界領域決定部918、HMD動作検知部920など)が判定することに応答して、図11の処理に移行してもよい。また、制御回路部120は、仮想空間402内でユーザがディスプレイオブジェクトに対して何らかのアクション(例えば、ディスプレイオブジェクトへの接触、ディスプレイオブジェクトを起動するためのオブジェクトへの接触など)をすることに応答して、図11の処理に移行してもよい。本発明の実施形態による図11の処理へ移行するための様々なイベントが考えられることが当業者により理解されよう。処理はステップ1102において開始する。ステップ1104において、仮想カメラ制御部908は、第1の右目用仮想カメラ404A−1及び第1の左目用仮想カメラ404A−2を含む第1の仮想カメラペア404Aにより、仮想空間402内に位置するディスプレイオブジェクトを含む仮想空間402の一部を撮影する。このとき、基準視線決定部916により決定された基準視線412に基づく視界領域408が撮影される。視界画像生成部922は、第1の右目用仮想カメラ404A−1による撮影に基づいて第1の右目用画像を生成し、第1の左目用仮想カメラ404A−2による撮影に基づいて第1の左目用画像を生成する。
図11に示す処理に移行するために、何らかの特定のイベントが必要とされてもよい。例えば、制御回路部120は、仮想空間402内でディスプレイオブジェクトが配置される位置から所定の閾値以内の距離にユーザが近づいたと表示制御部902(視線検知部914、基準視線決定部916、視界領域決定部918、HMD動作検知部920など)が判定することに応答して、図11の処理に移行してもよい。また、制御回路部120は、仮想空間402内でユーザがディスプレイオブジェクトに対して何らかのアクション(例えば、ディスプレイオブジェクトへの接触、ディスプレイオブジェクトを起動するためのオブジェクトへの接触など)をすることに応答して、図11の処理に移行してもよい。本発明の実施形態による図11の処理へ移行するための様々なイベントが考えられることが当業者により理解されよう。処理はステップ1102において開始する。ステップ1104において、仮想カメラ制御部908は、第1の右目用仮想カメラ404A−1及び第1の左目用仮想カメラ404A−2を含む第1の仮想カメラペア404Aにより、仮想空間402内に位置するディスプレイオブジェクトを含む仮想空間402の一部を撮影する。このとき、基準視線決定部916により決定された基準視線412に基づく視界領域408が撮影される。視界画像生成部922は、第1の右目用仮想カメラ404A−1による撮影に基づいて第1の右目用画像を生成し、第1の左目用仮想カメラ404A−2による撮影に基づいて第1の左目用画像を生成する。
ステップ1106において、仮想カメラ制御部908は、第2の右目用仮想カメラ404B−1及び第2の左目用仮想カメラ404B−2により、仮想空間402(又は、後述するように別の仮想空間であってもよい)内に位置する3Dオブジェクト(例えば、3Dテキスト、3D画像及び3D動画のうちの少なくとも1つを含む3次元コンテンツ)を含む当該仮想空間402の一部を撮影する。視界画像生成部は、第2の右目用仮想カメラ404B−1による撮影に基づいて第2の右眼用画像を生成し、第2の左目用仮想カメラ404B−2による撮影に基づいて第2の左目用画像を生成する。
ステップ1108において、画像出力部924は、生成された3Dオブジェクトの画像が生成されたディスプレイオブジェクトの画像に重なるように、第1の右目用画像及び第2の右目用画像を重畳してHMD110の右目用表示部に出力し、第1の左目用画像及び第2の左目用画像を重畳してHMD110の左目用表示部に出力する。
図12は、本発明の一実施形態による、図11に示す基本的な処理の具体例を示すフロー図である。図13は、図12の処理に伴う、仮想空間内でのディスプレイオブジェクト(基本的に3次元である)及び3Dオブジェクトの撮影から右目用表示部及び左目用表示部への画像出力に至るまでの様子を概略的に示す模式図である。以下、図12及び図13を参照して、本発明の一実施形態による、ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法について具体的に説明する。
図10で説明したような処理により、予め、HMD110の初期位置及び初期角度に基づいてアプリケーション内の視界画像418が生成され、HMD110に出力され、HMD110に表示されているものとする。
処理はステップ1202において開始する。ステップ1204において、図13(A)上段に示すように、仮想カメラ制御部908は、第1の仮想空間402A内に配置された第1の右目用仮想カメラ404A−1及び第1の左目用仮想カメラ404A−2により、第1の仮想空間402A内に位置するディスプレイオブジェクト1302を含む第1の仮想空間402Aの一部を撮影する。視界画像生成部922は、第1の右目用仮想カメラ404A−1による撮影に基づいて、視界領域408Aについて第1の右目用画像を生成し、第1の左目用仮想カメラ404A−2による撮影に基づいて、視界領域408Aについて第1の左目用画像を生成する。ディスプレイオブジェクト1302と第1の右目用仮想カメラ404A−1及び第1の左目用仮想カメラ404A−2との間の関係が図13(A)中段に概略的に示されている。第1の右目用仮想カメラ404A−1と第1の左目用仮想カメラ404A−2とは、ディスプレイオブジェクト1302に対して、視差(輻輳角)θAを有する関係にある。ここでは視差として輻輳角を用いているが、図8に示した両眼視差など当業者に周知の他の値を視差として用いてもよい。
ステップ1206において、判定部912は、第1の仮想空間402Aにおいて所定の条件が満たされるか否かを判定する。所定の条件は、例えば、ディスプレイオブジェクト1302が視界領域408Aに含まれることであってもよい。具体的には、基準視線決定部916がHMD110のユーザの基準視線412Aを特定し、視界領域決定部918が、当該基準視線に基づいて、第1の仮想空間402Aにおける視界領域408Aを決定してもよい。そして、判定部912は、決定された視界領域408Aにディスプレイオブジェクト1302が含まれるか否かを判定し、含まれる場合に、所定の条件が満たされたと判定してもよい。これはステップ1206における所定の条件の一例にすぎない。例えば、仮想空間内でユーザがディスプレイオブジェクト1302やディスプレイオブジェクト1302に関連する何らかのオブジェクトに対して所定のアクションを行うことが所定の条件とされてもよい。其の他様々な条件を上記所定の条件として用いることができることは当業者にとって明らかであろう。
所定の条件が満たされない場合(ステップ1206の「N」)、処理はステップ1204の前に戻ってもよい。所定の条件が満たされる場合(ステップ1206の「Y」)、処理はステップ1208に移る。ステップ1208において、仮想空間生成部904は、記憶部926内の仮想空間情報格納部928等に格納された仮想空間情報等に基づいて、図13(B)に示すように、第1の仮想空間402Aとは異なる第2の仮想空間402Bを生成する。一例として、内部に何も存在しない天球状の仮想空間が第2の仮想空間402Bとして生成されてもよい。
ステップ1210において、仮想空間生成部904は、図13(B)上段に示すように、第2の右目用仮想カメラ404B−1及び第2の左目用仮想カメラ404B−2を含む第2の仮想カメラペア404B、並びにディスプレイオブジェクト1302に関連付けて記憶部926のオブジェクト情報格納部932等に格納されている3Dオブジェクト1304を、第2の仮想空間402B内に配置する。3Dオブジェクト1304と第2の右目用仮想カメラ404B−1及び第2の左目用仮想カメラ404B−2との間の関係が図13(B)中段に概略的に示される。第2の右目用仮想カメラ404B−1と第2の左目用仮想カメラ404B−2とは、3Dオブジェクト1304に対して、視差(輻輳角)θBを有する関係にある。このとき、視差θBは、ディスプレイオブジェクト1302に対する第1の右目用仮想カメラ404A−1と第1の左目用仮想カメラ404A−2との間の視差θAより大きくなるように設定されてもよい。
仮想空間402Aにおける第1の右目用仮想カメラ404A−1及び第1の左目用仮想カメラ404A−2の傾き、並びに仮想空間402Bにおける第2の右目用仮想カメラ404B−1及び第2の左目用仮想カメラ404B−2の傾きは、HMD110の傾きに応答して変化するように制御されてもよい。例えば、第1の仮想カメラペア404Aの基準視線412A及び第2の仮想カメラペア404Bの基準視線412Bは、表示制御部902によって検知されたHMD110の傾きに追随して、同一方向を指すように制御されてもよい。
ステップ1212において、図13(B)上段に示すように、仮想カメラ制御部908は、第2の仮想空間402B内に配置された第2の右目用仮想カメラ404B−1及び第2の左目用仮想カメラ404B−2により、第2の仮想空間402B内に位置する3Dオブジェクト1304を含む第2の仮想空間402Bの一部(例えば、視界領域408B)を撮影する。視界画像生成部922は、第2の右目用仮想カメラ404B−1による撮影に基づいて第2の右目用画像を生成し、第2の左目用仮想カメラ404B−2による撮影に基づいて第2の左目用画像を生成する。
ステップ1214において、図13(A)下段に示すように、画像出力部924は、3Dオブジェクト1304の画像がディスプレイオブジェクト1302の画像に重なるように、第1の右目用仮想カメラ404A−1による撮影に基づく第1の右目用画像(ディスプレイオブジェクト1302の画像を含む)及び第2の右目用仮想カメラ404B−1による撮影に基づく第2の右目用画像(3Dオブジェクト1304の画像を含む)を重畳してHMD110の右目用表示部112−1に出力する。また、画像出力部924は、第1の左目用仮想カメラ404A−2による撮影に基づく第1の左目用画像(ディスプレイオブジェクト1302の画像を含む)及び第2の左目用仮想カメラ404B−2による撮影に基づく第2の左目用画像(3Dオブジェクト1304の画像を含む)を重畳してHMD110の左目用表示部112−2に出力する。ステップ1216において処理は終了する。
図14は、図12及び図13で説明した処理に従って生成される、ディスプレイ112(右目用表示部112−1及び左目用表示部112−2)を介して見ることができる仮想空間の画像の一例を示す。ディスプレイオブジェクト1302に対する第1の右目用仮想カメラ404A−1と第1の左目用仮想カメラ404A−2との間の視差θAにより、HMD110を装着しているユーザには、仮想空間内に3Dのディスプレイオブジェクト1302が配置されているように見える。また、3Dオブジェクト1304に対する第2の右目用仮想カメラ404B−1と第2の左目用仮想カメラ404B−2との間の視差θBにより、ユーザには、3Dディスプレイオブジェクト1302の画面内に3Dオブジェクト1304が表示されているように見える。さらに、視差θBは視差θAより大きく設定されているため、3Dオブジェクト1304は3Dディスプレイオブジェクト1302の画面から飛び出しているように見える。この例では、3Dオブジェクト1304は3Dキャラクタの画像である。これに代えて、3D動画コンテンツを3Dオブジェクト1304として用いれば、仮想現実空間内で3D動画を視聴することも可能である。
このように、本発明の実施形態によれば、現実空間における3Dテレビと同様のものを仮想空間内で実現することができる。したがって、仮想空間内で、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに提供したい情報を従来技術よりも遥かに効果的に表示することができる。また、本発明の実施形態によれば、3Dディスプレイオブジェクトの画面上で立体的に表示させる3Dオブジェクトの画像のみを更新すればよく、3Dディスプレイオブジェクトの画像を更新し続ける必要はない。このため、従来の技術を利用する場合と比較して、描画負荷が小さくなり、コンテンツの制作が容易になる。
図14に示した3Dディスプレイオブジェクト1302及び3Dオブジェクト1304は一例にすぎず、本発明によれば、これらは様々な形態をとることができる。例えば、図15に示すように、3Dディスプレイオブジェクト1302は看板のような形態をとってもよく、3Dオブジェクト1304はテキスト広告のような形態をとってもよい。その他様々な形態の3Dディスプレイオブジェクト1302及び3Dオブジェクト1304を実現できることは当業者にとって明らかであろう。
図16は、本発明の一実施形態による、図11に示す基本的な処理の別の具体例を示すフロー図である。図17は、図16の処理に伴う、仮想空間内でのディスプレイオブジェクト及び3Dオブジェクトの撮影から右目用表示部及び左目用表示部への画像出力に至るまでの様子を概略的に示す模式図である。以下、図16及び図17を参照して、本発明の一実施形態による、ユーザが没入する仮想空間の画像をHMDに提供する方法について具体的に説明する。
図12及び図13の例と同様に、図10で説明したような処理により、予め、HMD110の初期位置及び初期角度に基づいてアプリケーション内の視界画像418が生成され、HMD110に表示されているものとする。一方、図12及び図13の例とは異なり、本実施形態では、図17上段に示すように、第1の仮想カメラペア404A、第2の仮想カメラペア404B、ディスプレイオブジェクト1302及び3Dオブジェクト1304が同一の仮想空間402内に配置される。
処理はステップ1602において開始する。ステップ1604において、図17上段に示すように、仮想カメラ制御部908は、仮想空間402内に配置された第1の仮想カメラペア404Aにより、仮想空間402内に位置するディスプレイオブジェクト1302を含む仮想空間402の一部を撮影する。視界画像生成部922は、第1の右目用仮想カメラ404A−1による撮影に基づいて、視界領域408Aについて第1の右目用画像を生成し、第1の左目用仮想カメラ404A−2による撮影に基づいて、視界領域408Aについて第1の左目用画像を生成する。ディスプレイオブジェクト1302と第1の右目用仮想カメラ404A−1及び第1の左目用仮想カメラ404A−2との間の関係が図17中段に概略的に示されている。第1の右目用仮想カメラ404A−1と第1の左目用仮想カメラ404A−2とは、ディスプレイオブジェクト1302に対して、視差(輻輳角)θAを有する関係にある。図8に示した両眼視差など当業者に周知の他の値を視差として用いてもよい。
次いで、ステップ1606において、図17上段に示すように、仮想カメラ制御部908は、第2の仮想カメラペア404Bにより、ステップ1604の場合と同一の仮想空間402内に位置する3Dオブジェクト1304を含む仮想空間402の一部を撮影する。視界画像生成部922は、第2の右目用仮想カメラ404B−1による撮影に基づいて、視界領域408Bについて第2の右目用画像を生成し、第2の左目用仮想カメラ404B−2による撮影に基づいて、視界領域408Bについて第2の左目用画像を生成する。3Dオブジェクト1304と第2の右目用仮想カメラ404B−1及び第2の左目用仮想カメラ404B−2との間の関係が図17中段に概略的に示される。第2の右目用仮想カメラ404B−1と第2の左目用仮想カメラ404B−2とは、3Dオブジェクト1304に対して、視差(輻輳角)θBを有するように配置される。視差θBは、視差θAより大きくなるように設定されてもよい。ステップ1606の処理は、所定の条件が満たされると判定された場合に実行されるものであってもよい。当該所定の条件は、例えば、ディスプレイオブジェクト1302が視界領域408Aに含まれることであってもよい。
仮想空間402における第1の右目用仮想カメラ404A−1及び第1の左目用仮想カメラ404A−2の傾き、並びに/又は第2の右目用仮想カメラ404B−1及び第2の左目用仮想カメラ404B−2の傾きは、HMD110の位置や傾きに応答して変化するように制御されてもよい。例えば、第1の仮想カメラペア404Aの基準視線412Aは、表示制御部902によって検知されたHMD110の傾きに追随するように制御されてもよい。第2の仮想カメラペア404Bの基準視線(図示せず)は、HMD110の傾きに基づいて様々に変化するように制御されてもよいし、固定されていてもよい。
ステップ1608において、図17下段に示すように、画像出力部924は、3Dオブジェクト1304の画像がディスプレイオブジェクト1302の画像に重なるように、第1の右目用仮想カメラ404A−1による撮影に基づく第1の右目用画像(ディスプレイオブジェクト1302の画像を含む)及び第2の右目用仮想カメラ404B−1による撮影に基づく第2の右目用画像(3Dオブジェクト1304の画像を含む)を重畳してHMD110の右目用表示部112−1に出力する。また、画像出力部924は、第1の左目用仮想カメラ404A−2による撮影に基づく第1の左目用画像(ディスプレイオブジェクト1302の画像を含む)及び第2の左目用仮想カメラ404B−2による撮影に基づく第2の左目用画像(3Dオブジェクト1304の画像を含む)を重畳してHMD110の左目用表示部112−2に出力する。ステップ1610において処理は終了する。
図16及び図17で説明した処理により、一例として、図14に示すような画像がHMD110に提供される。ディスプレイオブジェクト1302に対する第1の右目用仮想カメラ404A−1と第1の左目用仮想カメラ404A−2との間の視差θAにより、HMD110を装着しているユーザには、仮想空間402内にディスプレイオブジェクト1302が3次元的に表示されているように見える。また、3Dオブジェクト1304に対する第2の右目用仮想カメラ404B−1と第2の左目用仮想カメラ404B−2との間の視差θBにより、ユーザには、3Dディスプレイオブジェクト1302の画面内に、同一の仮想空間402内の3Dオブジェクトを含む別の場所(視界領域408B)の画像(視界画像418B)が3次元的に表示されるように見える。視差θBは視差θAより大きく設定されているため、3Dオブジェクト1304(及びこれを含む視界画像418B)は3Dディスプレイオブジェクト1302の画面から飛び出しているように見える。このように、本発明の実施形態によれば、現実空間における3Dテレビと同様のものを仮想空間内で実現し、その画面内に、同一の仮想空間内の別の場所の様子を立体的に映し出すことができる。したがって、仮想空間内で、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに提供したい情報を従来技術よりも遥かに効果的に表示することができる。既に述べたように、図14に示した3Dディスプレイオブジェクト1302及び3Dオブジェクト1304は一例にすぎず、本発明によれば、これらは様々な形態をとることができる。
上述の本発明の実施形態によれば、ユーザが没入する仮想空間の画像をHMDに提供する際に、高いレベルのユーザエクスペリエンスを維持しつつ、ユーザに見せたい情報を効果的に提供することができる。
以上、本発明の実施形態による方法及びプログラムについて具体的に説明したが、上述の実施形態は例示に過ぎず、本発明の範囲を限定するものではない。本発明の技術的思想は、方法及びプログラムのほか、制御回路部120のような構成を備えるコンピュータを含む様々な態様で実施することが可能であることが理解されよう。また、本発明の趣旨及び範囲から逸脱することなく、実施形態の変更、追加、改良などを適宜行うことができることが理解されるべきである。本発明の範囲は、特許請求の範囲の記載に基づいて解釈されるべきであり、さらにその均等物を含むものと理解されるべきである。
100…HMDシステム、110…HMD、112…ディスプレイ、112−1…右目用表示部、112−2…左目用表示部、114…センサ部、120…制御回路部、130…動きセンサ、132…検知部、140…注視センサ、150…頭部、202…処理回路、204…メモリ、206…通信バス、208…記憶媒体、210…入出力インターフェース、212…通信インターフェース、214…ネットワーク、402、402A、402B…仮想空間、404A…第1の仮想カメラペア、404A−1…第1の右目用仮想カメラ、404A−2…第1の左目用仮想カメラ、404B…第2の仮想カメラペア、404B−1…第2の右目用仮想カメラ、404B−2…第2の左目用仮想カメラ、406…中心、408、408A、408B…視界領域、410…仮想空間画像、412、412A、412B…基準視線、414…第1領域、416…第2領域、418、418A、418B…視界画像、902…表示制御部、926…記憶部、1302…ディスプレイオブジェクト、1304…3Dオブジェクト
Claims (9)
- ユーザが没入する仮想空間の画像をヘッドマウントディスプレイに提供する方法であって、
第1の右目用仮想カメラ及び第1の左目用仮想カメラにより、仮想空間内に位置するディスプレイオブジェクトを含む仮想空間の一部を撮影して、第1の右目用画像及び第1の左目用画像を生成するステップと、
第2の右目用仮想カメラ及び第2の左目用仮想カメラにより、仮想空間内に位置する3次元オブジェクトを含む仮想空間の一部を撮影して、第2の右眼用画像及び第2の左目用画像を生成するステップと、
前記3次元オブジェクトの画像が前記ディスプレイオブジェクトの画像に重なるように、前記第1の右目用画像及び前記第2の右目用画像を重畳して前記ヘッドマウントディスプレイの右目用表示部に出力し、前記第1の左目用画像及び前記第2の左目用画像を重畳して前記ヘッドマウントディスプレイの左目用表示部に出力するステップと
を含む方法。 - 前記3次元オブジェクトに対する前記第2の右目用仮想カメラと前記第2の左目用仮想カメラとの間の視差は、前記ディスプレイオブジェクトに対する前記第1の右目用仮想カメラと前記第1の左目用仮想カメラとの間の視差より大きくなるように設定される、請求項1に記載の方法。
- 前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラは第1の仮想空間内に配置され、前記第1の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記第1の仮想空間の一部を撮影し、
前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは前記第1の仮想空間とは異なる第2の仮想空間内に配置され、前記第2の仮想空間内に位置する前記3次元オブジェクトを撮影する、請求項1又は2に記載の方法。 - 前記第1の仮想空間において所定の条件が満たされるか否かを判定するステップと、
前記所定の条件が満たされると判定される場合に、
前記第2の仮想空間を生成するステップと、
前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラ、並びに前記ディスプレイオブジェクトに関連付けて記憶部に格納されている前記3次元オブジェクトを、前記第2の仮想空間内に配置するステップと
をさらに含む、請求項3に記載の方法。 - 前記判定するステップは、
前記ヘッドマウントディスプレイのユーザの基準視線を特定するステップと、
前記基準視線に基づいて、前記第1の仮想空間における視界領域を決定するステップと、
前記ディスプレイオブジェクトが前記視界領域に含まれるか否かを判定するステップと、
前記ディスプレイオブジェクトが前記視界領域に含まれる場合に、前記所定の条件が満たされると判定するステップと
を含む、請求項4に記載の方法。 - 前記第1の右目用仮想カメラ、前記第1の左目用仮想カメラ、前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは同一の仮想空間内に配置され、前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラは前記同一の仮想空間内に位置する前記ディスプレイオブジェクトを含む前記同一の仮想空間の一部を撮影し、前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラは前記同一の仮想空間内に位置する前記3次元オブジェクトを含む前記同一の仮想空間の別の一部を撮影する、請求項1又は2に記載の方法。
- 仮想空間における前記第1の右目用仮想カメラ及び前記第1の左目用仮想カメラの傾き、並びに前記第2の右目用仮想カメラ及び前記第2の左目用仮想カメラの傾きは、前記ヘッドマウントディスプレイの傾きに応答して変化する、請求項1から6のいずれか1項に記載の方法。
- 前記3次元オブジェクトは、3次元テキスト、3次元画像及び3次元動画のうちの少なくとも1つを含む3次元コンテンツを含む、請求項1から7のいずれか1項に記載の方法。
- 請求項1から8のいずれか1項に記載の方法をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016152790A JP2017142769A (ja) | 2016-08-03 | 2016-08-03 | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016152790A JP2017142769A (ja) | 2016-08-03 | 2016-08-03 | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016021784A Division JP5996814B1 (ja) | 2016-02-08 | 2016-02-08 | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017142769A true JP2017142769A (ja) | 2017-08-17 |
Family
ID=59628533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016152790A Pending JP2017142769A (ja) | 2016-08-03 | 2016-08-03 | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017142769A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019046248A (ja) * | 2017-09-04 | 2019-03-22 | 株式会社コロプラ | 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置 |
-
2016
- 2016-08-03 JP JP2016152790A patent/JP2017142769A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019046248A (ja) * | 2017-09-04 | 2019-03-22 | 株式会社コロプラ | 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5996814B1 (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
JP6058184B1 (ja) | ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム | |
JP6097377B1 (ja) | 画像表示方法及びプログラム | |
US11601592B2 (en) | Head mounted display having a plurality of display modes | |
JP6074525B1 (ja) | 仮想空間における視界領域調整方法、およびプログラム | |
JP6002286B1 (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
JP6087453B1 (ja) | 仮想空間の提供方法、およびプログラム | |
JP2020035455A (ja) | 媒介現実コンテンツの共有 | |
US20180005431A1 (en) | Display control method and system for executing the display control method | |
JP6211144B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2017134716A (ja) | 仮想現実空間提供方法および仮想現実空間提供プログラム | |
JP2017138973A (ja) | 仮想空間の提供方法、およびプログラム | |
JP2017021824A (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
JP6963399B2 (ja) | プログラム、記録媒体、画像生成装置、画像生成方法 | |
JP2017142783A (ja) | 仮想空間における視界領域調整方法、およびプログラム | |
JP6113337B1 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
WO2017191703A1 (ja) | 画像処理装置 | |
JP2017142769A (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
JP6613099B2 (ja) | 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム | |
JP6333893B2 (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2017162443A (ja) | ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム | |
JP2017097918A (ja) | 画像表示方法及びプログラム | |
JP2018000987A (ja) | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム | |
JP2017033465A (ja) | 方法、および、プログラム | |
JP6216851B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |