JP2019125335A - 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム - Google Patents

情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム Download PDF

Info

Publication number
JP2019125335A
JP2019125335A JP2018147317A JP2018147317A JP2019125335A JP 2019125335 A JP2019125335 A JP 2019125335A JP 2018147317 A JP2018147317 A JP 2018147317A JP 2018147317 A JP2018147317 A JP 2018147317A JP 2019125335 A JP2019125335 A JP 2019125335A
Authority
JP
Japan
Prior art keywords
virtual
display
virtual space
virtual camera
attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018147317A
Other languages
English (en)
Other versions
JP6623431B2 (ja
Inventor
小川 和宏
Kazuhiro Ogawa
和宏 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2018147317A priority Critical patent/JP6623431B2/ja
Publication of JP2019125335A publication Critical patent/JP2019125335A/ja
Application granted granted Critical
Publication of JP6623431B2 publication Critical patent/JP6623431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間における仮想カメラの姿勢の変化以外の操作を行うことを可能とする情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システムを提供する。【解決手段】制御プログラムは、仮想空間を仮想カメラで撮像した画像をHMDに設けられた表示部12に表示させる表示制御部110と、HMDの姿勢に関する姿勢情を取得する姿勢情報取得部114として機能させる。表示制御部110は、仮想カメラの位置を仮想点を中心に姿勢情報に基づいて変化させ、仮想カメラの姿勢を姿勢情報に基づいて変化させる姿勢制御モードと、仮想点の位置を姿勢情報に基づいて変化させ、仮想カメラの位置を姿勢情報に基づいて変化させる位置制御モードとによる画像の表示が可能である。【選択図】図8

Description

本発明は、情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システムに関する。
近年、ヘッドマウントディスプレイ(HMD:Head Mounted Display)が広く普及しつつある。HMDは、ユーザの頭部に装着され、ユーザの眼前に設けられた表示部に対して、例えば、仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像等を表示する(例えば、特許文献1参照)。このようなHMDにおいては、一般的に、HMDの姿勢の変化に基づいて、仮想空間における仮想カメラの姿勢を変化させることで、ユーザが仮想空間の様々な方向を視認することを可能としている。
特開2016−115122号公報
ところで、HMDを装着したユーザは、ユーザの眼前に設けられた表示部を目視しているため、表示部以外の部分を見ることが難しい場合がある。よって、HMDを装着したユーザにとって、例えば、手に持って操作されるコントローラ等の操作が負担となる場合がある。このため、例えば、HMDを利用したゲーム等において、HMDを装着したユーザに対して過大な負担をかけないためには、HMDの姿勢の変化により、ユーザからの多様な指示を受け付けることが好ましい。しかし、HMDの姿勢の変化により、ユーザからの指示を受け付ける場合、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが難しく、例えば、仮想空間における仮想カメラの位置の変化等の操作が困難となることがあった。
本発明は、上述した事情を鑑みてなされたものであり、HMDの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことを可能とする技術の提供を、解決課題の一つとする。
以上の課題を解決するために、本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
本発明の実施形態に係るヘッドマウントディスプレイ1の概要の一例を示す説明図である。 ヘッドマウントディスプレイ1の使用例を示す説明図である。 仮想空間SP-Vの一例を示す説明図である。 仮想空間SP-Vにおける仮想カメラCMの一例を示す説明図である。 表示画像GHの一例を示す説明図である。 視認画像GSの一例を示す説明図である。 仮想空間SP-Vにおける仮想カメラCMの一例を示す説明図である。 端末装置10の構成の一例を示すブロック図である。 端末装置10のハードウェア構成の一例を示すブロック図である。 端末装置10の動作の一例を示すフローチャートである。 端末装置10の動作の一例を示すフローチャートである。 端末装置10の動作の一例を示すフローチャートである。 通常制御モードにおける仮想カメラCMの動作の一例を示す説明図である。 視認画像GSの一例を示す説明図である。 姿勢制御モードにおける仮想カメラCMの動作の一例を示す説明図である。 視認画像GSの一例を示す説明図である。 位置制御モードにおける仮想カメラCMの動作の一例を示す説明図である。 視認画像GSの一例を示す説明図である。 変形例1に係る端末装置10の動作の一例を示すフローチャートである。 変形例1に係る端末装置10の動作の一例を示すフローチャートである。 変形例6に係る表示システムSYSの構成の一例を示すブロック図である。
以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
[1.実施形態]
以下、本発明の実施形態を説明する。
[1.1.ヘッドマウントディスプレイの概要]
以下、図1乃至図7を参照しながら、本実施形態に係るヘッドマウントディスプレイ1(以下、「HMD1」と称する)の概要の一例について説明する。
図1は、本実施形態に係るHMD1の概要の一例を説明するための分解斜視図である。図2は、本実施形態に係るHMD1の利用イメージの一例を説明するための説明図である。
図1に示すように、本実施形態に係るHMD1は、端末装置10と、装着具90と、を有する。
端末装置10は、画像を表示するための表示部12を備える。本実施形態では、端末装置10としてスマートフォンを採用する場合を、一例として想定する。但し、端末装置10は、HMD1に設けられるための専用の表示デバイスであってもよい。
装着具90は、図2に示すように、HMD1をユーザUの頭部に装着するための構成要素である。
図1に示すように、装着具90は、HMD1をユーザUの頭部に装着するための一対のテンプル91L及び91Rと、端末装置10をHMD1に取り付けるための取付孔92と、ユーザUがHMD1を頭部に装着した場合に、ユーザUの両眼が存在する位置に対応するように設けられた一対の貫通孔92L及び92Rと、を備える。なお、貫通孔92L及び92Rの各々には、レンズが設けられていてもよい。そして、ユーザUが、HMD1を頭部に装着した場合、ユーザUの左眼は、貫通孔92Lを介して、または、取付孔92に設けられたレンズを介して、取付孔92に挿入された端末装置10が具備する表示部12を視認することができ、ユーザUの右眼は、貫通孔92Rを介して、または、貫通孔92Rに設けられたレンズを介して、取付孔92に挿入された端末装置10が具備する表示部12を視認することができる。
図2に示すように、HMD1を頭部に装着したユーザUは、頭部の姿勢を変化させることにより、HMD1の姿勢を変化させることができる。以下では、説明の便宜上、HMD1に固定された座標系である装置座標系Σを導入する。
装置座標系Σとは、例えば、HMD1の所定箇所に原点を有し、互いに直交するX軸、Y軸、及び、Z軸を有する3軸の直交座標系である。本実施形態では、図2に示すように、ユーザUがHMD1を装着した場合に、+X方向がユーザUから見て前方方向となり、+Y方向がユーザUから見て左手方向となり、+Z方向がユーザUから見て上方向となるように、装置座標系Σが設定されている場合を、一例として想定する。
図2に示すように、HMD1を頭部に装着したユーザUは、頭部の姿勢を変化させることで、X軸周りの回転方向、すなわち、ロール方向QにHMD1が回転するように、HMD1の姿勢を変化させることが可能であり、Y軸周りの回転方向、すなわち、ピッチ方向QにHMD1が回転するように、HMD1の姿勢を変化させることが可能であり、また、Z軸周りの回転方向、すなわち、ヨー方向QにHMD1が回転するように、HMD1の姿勢を変化させることが可能である。すなわち、HMD1を頭部に装着したユーザUは、頭部の姿勢を変化させることで、ロール方向Q、ピッチ方向Q、及び、ヨー方向Qの一部または全部を合成した任意の回転方向、すなわち、任意の回転軸W周りの回転方向QにHMD1が回転するように、HMD1の姿勢を変化させることが可能である。
端末装置10は、仮想空間SP-Vに存在する仮想的なカメラである仮想カメラCMにより、仮想空間SP-Vを撮像し、撮像結果を示す画像である表示画像GHを、表示部12に表示させる。
図3は、仮想空間SP-V及び仮想カメラCMを説明するための説明図である。
本実施形態では、図3に示すように、仮想空間SP-Vにおいて、仮想的なキャラクタV(「所定のオブジェクト」の一例)が存在する場合を、一例として想定する。また、本実施形態では、図3に示すように、仮想カメラCMが、左眼用の仮想カメラCM-Lと、右眼用の仮想カメラCM-Rとを含む場合を、一例として想定する。
また、以下では、説明の便宜上、図3に示すように、仮想空間SP-Vに固定された座標系である仮想空間座標系Σを導入する。仮想空間座標系Σとは、例えば、仮想空間SP-Vの所定箇所に原点を有し、互いに直交するX軸、Y軸、及び、Z軸を有する3軸の直交座標系である。
図4は、仮想空間SP-Vを、+Z方向から平面視した場合の、仮想カメラCM及びキャラクタVの位置関係を説明するための説明図である。なお、図4では、仮想カメラCMが、キャラクタVを、キャラクタVの正面方向から撮像している場合を例示している。
以下では、図4に示すように、仮想空間SP-Vにおける仮想カメラCM-Lの位置を、位置PC-Lと称し、仮想空間SP-Vにおける仮想カメラCM-Rの位置を、位置PC-Rと称し、位置PC-L及び位置PC-Rの中点を、位置PCと称する。
また、以下では、図4に示すように、仮想カメラCM-Lの光軸方向を、撮像方向LC-Lと称し、仮想カメラCM-Rの光軸方向を、撮像方向LC-Rと称し、撮像方向LC-Lを示すベクトルと、撮像方向LC-Rを示すベクトルとの和により示される方向を、撮像方向LCと称する。なお、本実施形態では、撮像方向LC-Lと撮像方向LC-Rとが、同一の方向である場合を想定する。このため、本実施形態では、撮像方向LCは、撮像方向LC-L及び撮像方向LC-Rと同一の方向となる。
なお、位置PCと交差し、撮像方向LCに延在する直線は、「基準直線」の一例である。
図5は、仮想カメラCMが仮想空間SP-Vを撮像した結果である表示画像GHの一例を示す図である。なお、図5では、図4に示すように、仮想カメラCMが、キャラクタVを、キャラクタVの正面方向から撮像した場合を想定する。
図5に示すように、表示部12のうち、貫通孔92Lを介して視認可能な左眼用視認領域12-Lには、仮想カメラCM-Lによる撮像結果、例えば、仮想カメラCM-LによりキャラクタVを撮像した結果であるキャラクタ画像GV-Lが表示される。また、表示部12のうち、貫通孔92Rを介して視認可能な右眼用視認領域12-Rには、仮想カメラCM-Rによる撮像結果、例えば、仮想カメラCM-RによりキャラクタVを撮像した結果であるキャラクタ画像GV-Rが表示される。
すなわち、ユーザUは、左眼によりキャラクタ画像GV-Lを視認し、右眼によりキャラクタ画像GV-Rを視認することができる。このため、ユーザUは、図6に例示するように、表示部12において、キャラクタV等の仮想空間SP-V内に存在する仮想的な物体を、立体的な3次元の物体として表した視認画像GSを視認することが可能となる。
なお、以下では、説明の便宜上、図6に示すような、表示部12に固定された座標系である画面座標系Σを導入する。ここで、画面座標系Σとは、ユーザUが視認画像GSを視認している場合に、表示部12内の位置を表現するための座標系である。より具体的には、画面座標系Σとは、例えば、表示部12の所定箇所に原点を有し、互いに直交するY軸及びZ軸を有する2軸の直交座標系である。なお、本実施形態では、端末装置10が取付孔92に挿入されている場合、Y軸及びY軸は平行であり、また、Z軸及びZ軸は平行であることとする。
また、以下では、説明の便宜上、図7に例示するように、仮想空間SP-Vにおける、仮想カメラCMとキャラクタVとの相対的な位置関係を説明する場合に、2台の仮想カメラCM-L及びCM-Rを、1台の仮想カメラCMとして表現することとする。そして、以下では、仮想空間SP-Vにおける仮想カメラCMの位置が位置PCであり、仮想カメラCMの光軸方向が撮像方向LCであることと看做す。
また、以下では、説明の便宜上、図7に示すように、仮想空間SP-Vにおける仮想カメラCMに固定された座標系であるカメラ座標系Σを導入する。カメラ座標系Σとは、例えば、仮想空間SP-Vのうち仮想カメラCMの位置PCに原点を有し、互いに直交するX軸、Y軸、及び、Z軸を有する3軸の直交座標系である。本実施形態では、HMD1を装着したユーザUから見て、X軸がX軸と同一の方向であり、Y軸がY軸と同一の方向であり、Z軸がZ軸と同一の方向である場合を、一例として想定する。すなわち、本実施形態では、X軸が、仮想カメラCMの光軸方向に延在する場合を、一例として想定する。なお、図7では、カメラ座標系Σの原点と位置PCとを異なる位置として示しているが、これは図示の都合上であって、カメラ座標系Σの原点と位置PCとは同一の位置である(後述する図13、図15、及び、図17でも同様)。
[1.2.端末装置の構成]
以下、図8及び図9を参照しながら、端末装置10の構成の一例について説明する。
図8は、端末装置10の構成の一例を示す機能ブロック図である。
図8に示すように、端末装置10は、端末装置10の各部を制御する制御部11と、画像を表示するための表示部12と、端末装置10のユーザUによる操作を受け付けるための操作部13と、端末装置10の姿勢変化を検出して検出結果を示す姿勢情報Bを出力する姿勢情報生成部14と、端末装置10の制御プログラムPRGを含む各種情報を記憶する記憶部15と、を備える。
本実施形態では、姿勢情報生成部14として、例えば、3軸の角速度センサ1002(図9参照)を採用する。具体的には、姿勢情報生成部14は、単位時間におけるロール方向Qの姿勢変化を検出するX軸角速度センサと、単位時間におけるピッチ方向Qの姿勢変化を検出するY軸角速度センサと、単位時間におけるヨー方向Qの姿勢変化を検出するZ軸角速度センサと、を備える。そして、姿勢情報生成部14は、X軸角速度センサ、Y軸角速度センサ、及び、Z軸角速度センサによる検出結果を示す姿勢情報Bを、周期的に出力する。
制御部11は、姿勢情報Bを取得する姿勢情報取得部114(「取得部」の一例)と、姿勢情報Bに基づいて表示画像GHを生成する表示制御部110と、を備える。
表示制御部110は、モード指定部111と、仮想カメラ制御部112と、表示情報生成部113と、を備える。
仮想カメラ制御部112は、姿勢情報Bに基づいて、仮想空間SP-Vにおける仮想カメラCMを制御する。なお、本実施形態において、仮想カメラ制御部112は、複数の制御モードによる仮想カメラCMの制御が可能である。具体的には、仮想カメラ制御部112は、通常制御モードによる仮想カメラCMの制御と、姿勢制御モードによる仮想カメラCMの制御と、位置制御モードによる仮想カメラCMの制御と、が可能である。
ここで、通常制御モードとは、仮想空間SP-Vにおける仮想カメラCMの位置PCを固定したままで、仮想カメラCMの姿勢を変化させるように、仮想カメラCMを制御する制御モードである。
また、姿勢制御モードとは、仮想空間SP-Vにおける仮想点Kを中心に仮想カメラCMを回転させることで、仮想空間SP-Vにおける仮想カメラCMの姿勢を変化させるように、仮想カメラCMを制御する制御モードである。
また、位置制御モードとは、仮想空間SP-Vにおける仮想カメラCMの姿勢を固定したままで、仮想カメラCMの位置PCを変化させるように、仮想カメラCMを制御する制御モードである。
モード指定部111は、姿勢情報Bに基づいて、仮想カメラ制御部112の制御モードを指定する。
表示情報生成部113は、仮想カメラCMによる仮想空間SP-Vの撮像結果を表す表示情報DSを生成し、当該表示情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる。
図9は、端末装置10のハードウェア構成の一例を示すハードウェア構成図である。
図9に示すように、端末装置10は、端末装置10の各部を制御するプロセッサ1000(「情報処理装置」の一例)と、各種情報を記憶するメモリ1001と、端末装置10の姿勢変化を検出して検出結果を示す姿勢情報Bを出力する角速度センサ1002と、各種画像を表示可能な表示装置1003と、端末装置10のユーザUによる操作を受け付けるための入力装置1004と、を備える。
メモリ1001は、例えば、プロセッサ1000の作業領域として機能するRAM(Random Access Memory)等の揮発性メモリと、端末装置10の制御プログラムPRG等の各種情報を記憶するEEPROM(Electrically Erasable Programmable Read-Only Memory)等の不揮発性メモリとを含み、記憶部15として機能する。
プロセッサ1000は、例えば、CPU(Central Processing Unit)であり、メモリ1001に記憶された制御プログラムPRGを実行し、当該制御プログラムPRGに従って動作することで、制御部11として機能する。
角速度センサ1002は、上述の通り、X軸角速度センサ、Y軸角速度センサ、及び、Z軸角速度センサを備え、姿勢情報生成部14として機能する。
表示装置1003及び入力装置1004は、例えば、タッチパネルであり、表示部12及び操作部13として機能する。なお、表示装置1003及び入力装置1004は、別体として構成されていてもよい。また、入力装置1004は、タッチパネル、操作ボタン、キーボード、ジョイスティック、及び、マウス等のポインティングデバイスの一部または全部を含む、1または複数の機器から構成されるものであってもよい。
なお、プロセッサ1000は、CPUに加え、または、CPUに替えて、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、または、FPGA(Field Programmable Gate Array)、等の、ハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ1000により実現される制御部11の一部または全部は、DSP等のハードウェアにより実現されてもよい。
[1.3.端末装置の動作]
以下、図10乃至図18を参照しながら、端末装置10の動作の一例について説明する。
図10乃至図12は、端末装置10が表示部12に表示画像GHを表示させる表示処理を実行する場合における、端末装置10の動作の一例を示すフローチャートである。なお、本実施形態では、ユーザUが、表示処理を開始させる旨の所定の開始操作を操作部13から入力した場合に、端末装置10が、表示処理を開始させる。
[1.3.1.通常制御モード]
図10に示すように、仮想カメラ制御部112は、表示処理が開始されると、仮想空間SP-Vにおける仮想カメラCMの姿勢を初期化する(S100)。
例えば、仮想カメラ制御部112は、ステップS100において、図7に示すように、仮想空間SP-Vにおける仮想カメラCMの撮像方向LCを、+X方向に設定する。換言すれば、仮想カメラ制御部112は、ステップS100において、+X方向と+X方向とが同一の方向になるように、カメラ座標系Σを設定する。
なお、仮想カメラ制御部112は、ステップS100において、仮想空間SP-Vにおける仮想カメラCMの位置PCを初期化してもよい。例えば、仮想カメラ制御部112は、ステップS100において、例えば、図7に示すように、仮想空間SP-Vにおける仮想カメラCMの位置PCを、キャラクタVの正面、すなわち、キャラクタVから見て−X方向の位置に設定してもよい。換言すれば、仮想カメラ制御部112は、ステップS100において、カメラ座標系ΣのX軸上にキャラクタVが存在するように、カメラ座標系Σを設定してもよい。
次に、表示情報生成部113は、仮想カメラCMにより仮想空間SP-Vを撮像した結果を示す表示情報DSを生成し、当該表示情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる(S102)。
次に、モード指定部111は、制御モードを通常制御モードに設定する(S104)。
また、仮想カメラ制御部112は、モード指定部111が、制御モードを通常制御モードに設定した際のHMD1の姿勢を、「初期姿勢」として定める(S106)。
なお、以下では、HMD1が初期姿勢である場合の装置座標系Σを、「初期座標系ΣS0」と称する。また、以下では、後述する図13に示すように、HMD1が初期姿勢である場合の仮想カメラCMの位置PCを、「初期位置PC0」と称し、HMD1が初期姿勢である場合の撮像方向LCを、「初期撮像方向LC0」と称し、HMD1が初期姿勢である場合のカメラ座標系Σを、「初期カメラ座標系ΣC0」と称する。
次に、姿勢情報取得部114は、姿勢情報生成部14から姿勢情報Bを取得する(S108)。
そして、仮想カメラ制御部112は、ステップS108において姿勢情報取得部114が取得した姿勢情報Bに基づいて、HMD1の初期姿勢からの姿勢変化dB0を算出する(S110)。
なお、本実施形態において、仮想カメラ制御部112は、一例として、姿勢変化dB0を、初期座標系ΣS0から見た回転方向Qを規定する回転軸Wと、当該回転軸W周りの回転角度θと、により表現することとする。すなわち、本実施形態において、初期座標系ΣS0から見てHMD1が回転軸W周りに回転角度θだけ回転した場合、姿勢変化dB0が、初期座標系ΣS0における回転軸Wを示す方向ベクトルと、回転角度θを示す値と、を含むこととする。
但し、姿勢変化dB0は、他の任意の表現方法により表現されるものであってもよい。例えば、姿勢変化dB0は、初期座標系ΣS0から装置座標系Σへの姿勢変化を示す、3行3列の姿勢変換行列により表現されるものであってもよいし、初期座標系ΣS0から装置座標系Σへの姿勢変化を示す、クォータニオンにより表現されるものであってもよい。
また、以下では、HMD1が、回転軸W周りに回転角度θだけ回転した場合に、当該回転角度θを、「姿勢変化量」と称する場合がある。
次に、仮想カメラ制御部112は、ステップS110において算出した姿勢変化dB0に基づいて、仮想空間SP-Vにおける仮想カメラCMの姿勢を決定する(S112)。
具体的には、ステップS112において、仮想カメラ制御部112は、仮想空間SP-Vにおいて、撮像方向LCを、初期撮像方向LC0から、姿勢変化dB0に対応した姿勢変化量だけ変化させることで、仮想空間SP-Vにおける仮想カメラCMの姿勢を決定する。すなわち、ステップS112において、仮想カメラ制御部112は、初期カメラ座標系ΣC0において、カメラ座標系Σを、姿勢変化dB0に対応して変化させることで、仮想空間SP-Vにおける仮想カメラCMの姿勢を決定する。
より具体的には、仮想カメラ制御部112は、一例として、図13に示すように、仮想空間SP-Vにおいて、仮想カメラCMの初期位置PC0に交差するように仮想回転軸WSC0を設定し、カメラ座標系Σを、初期カメラ座標系ΣC0を仮想回転軸WSC0周りに回転角度θだけ回転させた座標系として決定することで、仮想空間SP-Vにおける仮想カメラCMの姿勢を決定する。ここで、仮想回転軸WSC0とは、初期位置PC0と交差する仮想空間SP-V内の直線であって、初期カメラ座標系ΣC0から見た仮想回転軸WSC0の方向を表すベクトルの成分と、初期座標系ΣS0から見た回転軸Wの方向を表すベクトルの成分とが、同一となるような直線である。
例えば、HMD1が、初期姿勢から、Z軸周りのヨー方向Qに対して回転角度θだけ回転した場合、仮想カメラ制御部112は、初期位置PC0に交差するように、初期カメラ座標系ΣC0のZ軸に平行な仮想回転軸WSC0を設定したうえで、カメラ座標系Σを、初期カメラ座標系ΣC0を仮想回転軸WSC0周りに回転角度θだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
また、例えば、HMD1が、初期姿勢から、Y軸周りのピッチ方向Qに対して回転角度θだけ回転した場合、仮想カメラ制御部112は、初期位置PC0に交差するように、初期カメラ座標系ΣC0のY軸に平行な仮想回転軸WSC0を設定したうえで、カメラ座標系Σを、初期カメラ座標系ΣC0を仮想回転軸WSC0周りに回転角度θだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
また、例えば、HMD1が、初期姿勢から、X軸周りのロール方向Qに対して回転角度θだけ回転した場合、仮想カメラ制御部112は、初期位置PC0に交差するように、初期カメラ座標系ΣC0のX軸に平行な仮想回転軸WSC0を設定したうえで、カメラ座標系Σを、初期カメラ座標系ΣC0を仮想回転軸WSC0周りに回転角度θだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
次に、表示情報生成部113は、仮想カメラCMにより仮想空間SP-Vを撮像した結果を示す表示情報DSを生成し、当該表示情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる(S114)。
図13は、通常制御モードにおける仮想カメラCMの姿勢の変化の一例を説明するための説明図である。また、図14は、通常制御モードにおいて表示部12に表示される視認画像GSの一例を示す図である。
図13では、一例として、時刻t1において、HMD1が初期姿勢となり、時刻t2において、HMD1が、初期姿勢を、Z軸周りのヨー方向Qに対して回転角度θだけ回転した姿勢となる場合を想定する。
このため、例えば、図13に示すように、仮想カメラCMが、時刻t1において、初期撮像方向LC0である撮像方向LC(t1)が+X方向を向くような姿勢となる場合、仮想カメラCMは、時刻t2において、撮像方向LC(t1)を、初期位置PC0に交差し初期カメラ座標系ΣC0のZ軸に平行な仮想回転軸WSC0の周りを回転角度θだけ回転させた、撮像方向LC(t2)を有するような姿勢となる。換言すれば、時刻t2におけるカメラ座標系Σは、時刻t1におけるカメラ座標系Σである初期カメラ座標系ΣC0を、初期カメラ座標系ΣC0の原点と交差し初期カメラ座標系ΣC0のZ軸に平行な仮想回転軸WSC0の周りを回転角度θだけ回転させた座標系になる。
このため、時刻t1において、図6に示すように、キャラクタ画像GVが、表示部12の中央部Ymidに表示される場合には、時刻t2において、図14に示すように、キャラクタ画像GVが、表示部12の中央部Ymidよりも+Y方向の位置Y(t2)に表示されることになる。
図10に示すように、モード指定部111は、ステップS108で取得された姿勢情報B、または、ステップS110で算出された姿勢変化dB0に基づいて、制御モードを、姿勢制御モードに移行させるか否かを判定する(S116)。
本実施形態では、一例として、現在時刻よりも所定時間だけ前の時刻から現在時刻までの判定期間におけるHMD1の姿勢変化量が、所定の閾値以下の場合に、モード指定部111が、制御モードを、通常制御モードから姿勢制御モードに移行させる場合を想定する。このため、モード指定部111は、ステップS116において、例えば、判定期間におけるHMD1の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定する。なお、モード指定部111は、ステップS116において、例えば、判定期間の開始時刻におけるHMD1の姿勢と、判定期間内の任意の時刻におけるHMD1の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
そして、モード指定部111は、ステップS116における判定の結果が肯定の場合には、処理をステップS120に進め、ステップS116における判定の結果が否定の場合には、処理をステップS118に進める。
その後、制御部11は、ユーザUが、表示処理を終了させる旨の所定の終了操作を操作部13から入力したか否かを判定する(S118)。そして、制御部11は、ステップS118における判定の結果が否定の場合には、処理をステップS108に進め、ステップS118における判定の結果が肯定の場合には、表示処理を終了させる。
[1.3.2.姿勢制御モード]
図11に示すように、モード指定部111は、制御モードを姿勢制御モードに設定する(S120)。
次に、仮想カメラ制御部112は、モード指定部111が、制御モードを姿勢制御モードに設定した際のHMD1の姿勢を、「基準姿勢」として定める(S122)。
なお、以下では、HMD1が基準姿勢である場合の装置座標系Σを、「基準座標系ΣS1」と称する。また、以下では、後述する図15に示すように、HMD1が基準姿勢である場合の仮想カメラCMの位置PCを、「基準位置PC1」と称し、HMD1が基準姿勢である場合の撮像方向LCを、「基準撮像方向LC1」と称し、HMD1が基準姿勢である場合のカメラ座標系Σを、「基準カメラ座標系ΣC1」と称する。
次に、仮想カメラ制御部112は、HMD1が基準姿勢である場合の仮想カメラCMの有する基準撮像方向LC1に基づいて、仮想空間SP-Vにおいて仮想点Kを設定する(S124)。
具体的には、仮想カメラ制御部112は、ステップS124において、例えば、仮想カメラCMの基準位置PC1と交差し基準撮像方向LC1に延在する直線上であって、仮想空間SP-V内に存在するキャラクタVの存在領域に対応する設定領域に、仮想点Kを設定する。
ここで、キャラクタVの存在領域とは、例えば、仮想空間SP-V内の領域であって、キャラクタVの表面と、キャラクタVの内部とを含む領域である。また、設定領域とは、例えば、存在領域の一部または全部の領域である。但し、設定領域は、存在領域の外部の領域を含む領域であってもよい。例えば、設定領域は、存在領域からの距離が所定の距離以下となる領域であってもよいし、存在領域内の点からの距離が所定の距離以下となる領域であってもよい。
また、以下では、後述する図15に示すように、ステップS124において設定された仮想空間SP-Vにおける仮想点Kの位置PKを、「基準位置PK1」と称する。
なお、本実施形態において、仮想カメラ制御部112は、仮想点Kを、基準撮像方向LC1に基づいて定めるが、本発明はこのような態様に限定されるものではない。例えば、仮想カメラ制御部112は、仮想空間SP-V内の所定の位置に仮想点Kを設定してもよい。また、例えば、仮想カメラ制御部112は、仮想空間SP-Vのうち、キャラクタVの存在領域のうち、キャラクタVの顔等のキャラクタVの特定の部位に対応する位置に仮想点Kを設定してもよい。
次に、姿勢情報取得部114は、姿勢情報生成部14から姿勢情報Bを取得する(S126)。
そして、仮想カメラ制御部112は、ステップS126において姿勢情報取得部114が取得した姿勢情報Bに基づいて、HMD1の基準姿勢からの姿勢変化dB1を算出する(S128)。
なお、本実施形態において、基準座標系ΣS1から見て、HMD1が、基準姿勢から、回転軸W周りに回転角度θだけ回転した場合、姿勢変化dB1が、基準座標系ΣS1における回転軸Wを示す方向ベクトルと、回転角度θを示す値と、を含むこととする。
図11に示すように、モード指定部111は、ステップS126で取得された姿勢情報B、または、ステップS128で算出された姿勢変化dB1に基づいて、制御モードを、位置制御モードに移行させるか否かを判定する(S130)。
本実施形態では、一例として、HMD1の基準姿勢からの姿勢変化量が、基準量θth(「基準角度」の一例)以上である場合に、モード指定部111が、制御モードを、姿勢制御モードから位置制御モードに移行させる場合を想定する。このため、モード指定部111は、ステップS130において、例えば、HMD1の基準姿勢からの姿勢変化量が基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定する。
なお、モード指定部111は、ステップS130において、HMD1の基準姿勢からの姿勢変化dB1のうち所定の方向成分に係る姿勢変化量が、基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部111は、ステップS130において、例えば、HMD1の基準姿勢からの姿勢変化dB1のうち、ピッチ方向Qの方向成分、ヨー方向Qの方向成分、または、ピッチ方向Q及びヨー方向Qの方向成分に係る姿勢変化量が、基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定してもよい。
そして、モード指定部111は、ステップS130における判定の結果が肯定の場合には、処理をステップS140に進め、ステップS130における判定の結果が否定の場合には、処理をステップS132に進める。
図11に示すように、モード指定部111は、ステップS126で取得された姿勢情報B、または、ステップS128で算出された姿勢変化dB1に基づいて、制御モードを、通常制御モードに移行させるか否かを判定する(S132)。
本実施形態では、一例として、現在時刻よりも所定時間だけ前の時刻から現在時刻までの判定期間におけるHMD1の姿勢変化量が、所定の閾値以下の場合に、モード指定部111が、制御モードを、姿勢制御モードから通常制御モードに移行させる場合を想定する。このため、モード指定部111は、ステップS132において、例えば、判定期間におけるHMD1の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定する。また、モード指定部111は、ステップS132において、例えば、判定期間の開始時刻におけるHMD1の姿勢と、判定期間内の任意の時刻におけるHMD1の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。
なお、モード指定部111は、ステップS132において、HMD1の基準姿勢からの姿勢変化dB1のうち特定の方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部111は、ステップS132において、例えば、HMD1の基準姿勢からの姿勢変化dB1のうち、ロール方向Qの方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。
次に、仮想カメラ制御部112は、ステップS128において算出した姿勢変化dB1に基づいて、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を決定する(S134)。
具体的には、ステップS134において、仮想カメラ制御部112は、仮想空間SP-Vにおいて、位置PC及び撮像方向LCを、基準位置PC1及び基準撮像方向LC1から、姿勢変化dB1に対応した姿勢変化量だけ変化させることで、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を決定する。すなわち、ステップS134において、仮想カメラ制御部112は、基準カメラ座標系ΣC1において、カメラ座標系Σを、姿勢変化dB1に対応して変化させることで、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を決定する。
より具体的には、仮想カメラ制御部112は、一例として、図15に示すように、仮想空間SP-Vにおいて、仮想点Kに交差するように基準回転軸WSC1を設定し、カメラ座標系Σを、基準カメラ座標系ΣC1を基準回転軸WSC1周りに回転角度θだけ回転させた座標系として決定することで、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を決定する。ここで、基準回転軸WSC1とは、仮想点Kの基準位置PK1と交差する仮想空間SP-V内の直線であって、基準カメラ座標系ΣC1から見た基準回転軸WSC1の方向を表すベクトルの成分と、基準座標系ΣS1から見た回転軸Wの方向を表すベクトルの成分とが、同一となるような直線である。すなわち、仮想カメラ制御部112は、一例として、図15に示すように、仮想空間SP-Vにおいて、基準位置PC1に位置する仮想カメラCMを、仮想点Kを中心として基準回転軸WSC1周りに回転角度θだけ回転させることで、仮想空間SP-Vにおける仮想カメラCMの位置PCを決定する。
次に、表示情報生成部113は、仮想カメラCMにより仮想空間SP-Vを撮像した結果を示す表示情報DSを生成し、当該表示情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる(S136)。
図15は、姿勢制御モードにおける仮想カメラCMの位置及び姿勢の変化の一例を説明するための説明図である。また、図16は、姿勢制御モードにおいて表示部12に表示される視認画像GSの一例を示す図である。
図15では、一例として、時刻t3において、HMD1が基準姿勢となり、時刻t4において、HMD1が、基準姿勢を、Z軸周りのヨー方向Qに対して回転角度θだけ回転した姿勢となる場合を想定する。
このため、例えば、図15に示すように、仮想カメラCMが、時刻t3において、基準撮像方向LC1である撮像方向LC(t3)が+X方向を向くような姿勢となる場合には、仮想カメラCMは、時刻t4において、撮像方向LC(t3)を、仮想点Kに交差し基準カメラ座標系ΣC1のZ軸に平行な基準回転軸WSC1の周りを回転角度θだけ回転させた、撮像方向LC(t4)を有するような姿勢となる。換言すれば、時刻t4におけるカメラ座標系Σは、時刻t3におけるカメラ座標系Σである基準カメラ座標系ΣC1を、仮想点Kと交差し基準カメラ座標系ΣC1のZ軸に平行な基準回転軸WSC1の周りを回転角度θだけ回転させた座標系になる。
また、図15に示すように、時刻t4における仮想カメラCMの位置PC(t4)は、例えば、時刻t3における仮想カメラCMの位置PC(t3)、すなわち、基準位置PC1を、仮想点Kを中心に基準回転軸WSC1の周りを回転角度θだけ回転させた位置となる。
このため、時刻t3において、図6に示すように、キャラクタ画像GVが、表示部12の中央部Ymidにおいて正面方向を向くキャラクタVを表す場合には、時刻t4において、図16に示すように、キャラクタ画像GVが、表示部12の中央部Ymidにおいて正面方向から回転角度θだけ向きを変化させたキャラクタVを表す。
その後、制御部11は、ユーザUが、表示処理を終了させる旨の所定の終了操作を操作部13から入力したか否かを判定する(S138)。そして、制御部11は、ステップS138における判定の結果が否定の場合には、処理をステップS126に進め、ステップS138における判定の結果が肯定の場合には、表示処理を終了させる。
[1.3.3.位置制御モード]
図12に示すように、モード指定部111は、制御モードを位置制御モードに設定する(S140)。
次に、仮想カメラ制御部112は、後述する図17に示すように、モード指定部111が制御モードを位置制御モードに設定した際の仮想カメラCMの位置PCを、「起点位置PC2」として定める(S142)。また、以下では、モード指定部111が制御モードを位置制御モードに設定した際のHMD1の姿勢を、「起点姿勢」と称し、HMD1が起点姿勢である場合の撮像方向LCを、「撮像方向LC2」と称し、HMD1が起点姿勢である場合のカメラ座標系Σを、「起点カメラ座標系ΣC2」と称する。
なお、モード指定部111が、制御モードを位置制御モードに設定した際、仮想カメラCMの起点位置PC2と交差し撮像方向LC2に延在する直線上に、仮想点Kが存在している。以下では、後述する図17に示すように、モード指定部111が制御モードを位置制御モードに設定した際の、仮想空間SP-Vにおける仮想点Kの位置PKを、「起点位置PK2」と称する。なお、起点位置PK2は、基準位置PK1と同一の位置である。
次に、姿勢情報取得部114は、姿勢情報生成部14から姿勢情報Bを取得する(S144)。
そして、仮想カメラ制御部112は、ステップS126において姿勢情報取得部114が取得した姿勢情報B、及び、ステップS144において姿勢情報取得部114が取得した姿勢情報Bに基づいて、HMD1の基準姿勢からの姿勢変化dB2を算出する(S146)。
なお、本実施形態において、基準座標系ΣS1から見て、HMD1が、基準姿勢から、回転軸W周りに回転角度θだけ回転した場合、姿勢変化dB2が、基準座標系ΣS1における回転軸Wを示す方向ベクトルと、回転角度θを示す値と、を含むこととする。
図12に示すように、モード指定部111は、ステップS126及びステップS144で取得された姿勢情報B、または、ステップS146で算出された姿勢変化dB2に基づいて、制御モードを、姿勢制御モードに移行させるか否かを判定する(S148)。
本実施形態では、一例として、HMD1の基準姿勢からの姿勢変化量が、基準量θth未満となった場合に、モード指定部111が、制御モードを、位置制御モードから姿勢制御モードに移行させる場合を想定する。このため、モード指定部111は、ステップS148において、例えば、HMD1の基準姿勢からの姿勢変化量が基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定する。
なお、モード指定部111は、ステップS148において、HMD1の基準姿勢からの姿勢変化dB2のうち所定の方向成分に係る姿勢変化量が、基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部111は、ステップS148において、例えば、HMD1の基準姿勢からの姿勢変化dB2のうち、ピッチ方向Qの方向成分、ヨー方向Qの方向成分、または、ピッチ方向Q及びヨー方向Qの方向成分に係る姿勢変化量が、基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
そして、モード指定部111は、ステップS148における判定の結果が肯定の場合には、処理をステップS120に進め、ステップS148における判定の結果が否定の場合には、処理をステップS150に進める。
次に、仮想カメラ制御部112は、ステップS146において算出した姿勢変化dB2に基づいて、仮想空間SP-Vにおける仮想点Kの位置PKを決定する(S150)。
具体的には、仮想カメラ制御部112は、ステップS150において、例えば、仮想空間SP-Vに設定された基準回転軸WSC1と撮像方向LC2との双方に交差する方向であって、基準位置PC1から遠ざかる方向に、仮想点Kの位置PKを変化させる。より具体的には、仮想カメラ制御部112は、例えば、基準回転軸WSC1と撮像方向LC2との双方に直交する方向であって、基準位置PC1から遠ざかる方向に、仮想点Kの位置PKを変化させる。この場合、仮想カメラ制御部112は、例えば、後述する図17に示す、起点位置PK2すなわち位置PK(t5)から位置PK(t6)への変化のように、姿勢変化dB2に含まれる回転角度θから基準量θthを減算した超過角度θovに応じた距離Disだけ、仮想点Kの位置PKを変化させる。
次に、仮想カメラ制御部112は、ステップS146において算出した姿勢変化dB2に基づいて、仮想空間SP-Vにおける仮想カメラCMの位置PCを決定する(S152)。なお、本実施形態では、位置制御モードにおいて、仮想カメラCMの撮像方向LCは、撮像方向LC2を維持することとする。
具体的には、仮想カメラ制御部112は、ステップS152において、例えば、仮想空間SP-Vに設定された基準回転軸WSC1と撮像方向LC2との双方に交差する方向であって、基準位置PC1から遠ざかる方向に、仮想カメラCMの位置PCを変化させる。より具体的には、仮想カメラ制御部112は、例えば、基準回転軸WSC1と撮像方向LC2との双方に直交する方向であって、基準位置PC1から遠ざかる方向に、仮想カメラCMの位置PCを変化させる。この場合、仮想カメラ制御部112は、例えば、後述する図17に示す、起点位置PC2すなわち位置PC(t5)から位置PC(t6)への変化のように、超過角度θovに応じた距離Disだけ、仮想カメラCMの位置PCを変化させる。
すなわち、ステップS150における仮想点Kの位置変化と、ステップS152における仮想カメラCMの位置変化とは、後述する図17に示すように、基準回転軸WSC1及び撮像方向LC2に直交する方向を有し、且つ、大きさDisを有する、同一のベクトルVIにより表現することができる。換言すれば、仮想カメラ制御部112は、位置制御モードにおいて、仮想カメラCMから見て撮像方向LC2に仮想点Kが位置し、また、仮想カメラCM及び仮想点Kの間の距離が一定の距離を保つように、仮想点Kの位置PKと仮想カメラCMの位置PCとを変化させる。このように、仮想カメラ制御部112は、位置制御モードにおいて、基準回転軸WSC1に垂直な仮想平面内において、仮想点Kの位置PKを変化させる。
なお、仮想カメラ制御部112は、ステップS150の処理とステップS152の処理とを同時に実行してもよいし、ステップS150の処理を実行する前にステップS152の処理を実行してもよい。
次に、表示情報生成部113は、仮想カメラCMにより仮想空間SP-Vを撮像した結果を示す表示情報DSを生成し、当該表示情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる(S154)。
図17は、位置制御モードにおける仮想カメラCMの位置及び姿勢の変化の一例を説明するための説明図である。また、図18は、位置制御モードにおいて表示部12に表示される視認画像GSの一例を示す図である。
図17では、一例として、時刻t3において、HMD1が基準姿勢となり、時刻t5において、HMD1が起点姿勢となり、時刻t6において、HMD1が、基準姿勢を、Z軸周りのヨー方向Qに対して、基準量θthよりも大きい回転角度θだけ回転した姿勢となる場合を想定する。
このため、例えば、図17に示すように、仮想カメラCMが、時刻t3において、基準撮像方向LC1である撮像方向LC(t3)が+X方向を向くような姿勢となる場合には、仮想カメラCMは、時刻t5において、撮像方向LC(t3)を、仮想点Kに交差し基準カメラ座標系ΣC1のZ軸に平行な基準回転軸WSC1の周りを基準量θthだけ回転させた、撮像方向LC2である撮像方向LC(t5)を有するような姿勢となり、また、仮想カメラCMは、時刻t6において、撮像方向LC2である撮像方向LC(t6)を有するような姿勢となる。換言すれば、時刻t5におけるカメラ座標系Σである起点カメラ座標系ΣC2は、時刻t3におけるカメラ座標系Σである基準カメラ座標系ΣC1を、仮想点Kと交差し基準カメラ座標系ΣC1のZ軸に平行な基準回転軸WSC1の周りを基準量θthだけ回転させた座標系になる。また、時刻t6におけるカメラ座標系Σは、起点カメラ座標系ΣC2を、ベクトルVIにより示される方向及び距離だけ平行移動させた座標系になる。
また、時刻t5における仮想カメラCMの位置PC(t5)は、図17に示すように、時刻t3における仮想カメラCMの位置PC(t3)、すなわち、基準位置PC1を、仮想点Kを中心に基準回転軸WSC1の周りを基準量θthだけ回転させた位置である、起点位置PC2となる。また、時刻t6における仮想カメラCMの位置PC(t6)は、図17に示すように、時刻t5における仮想カメラCMの位置PC(t5)、すなわち、起点位置PC2を、ベクトルVIだけ移動させた位置となる。また、時刻t6における仮想点Kの位置PK(t6)は、図17に示すように、時刻t5における仮想点Kの位置PK(t5)、すなわち、起点位置PK2を、ベクトルVIだけ移動させた位置となる。
このため、時刻t3において、図6に示すように、キャラクタ画像GVが、表示部12の中央部Ymidにおいて正面方向を向くキャラクタVを表す場合には、キャラクタ画像GVは、時刻t5において、図16に示すように、表示部12の中央部Ymidにおいて正面方向から基準量θthだけ向きを変化させたキャラクタVを表し、また、キャラクタ画像GVは、時刻t6において、図18に示すように、表示部12の中央部Ymidよりも−Y方向の位置Y(t6)において正面方向から基準量θthだけ向きを変化させたキャラクタVを表す。
その後、制御部11は、ユーザUが、表示処理を終了させる旨の所定の終了操作を操作部13から入力したか否かを判定する(S156)。そして、制御部11は、ステップS156における判定の結果が否定の場合には、処理をステップS144に進め、ステップS156における判定の結果が肯定の場合には、表示処理を終了させる。
なお、モード指定部111は、ステップS148において、HMD1の基準姿勢からの姿勢変化量が基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定するが、本発明はこのような態様に限定されるものではない。
例えば、モード指定部111は、ステップS148において、HMD1の基準姿勢からの姿勢変化dB2のうち特定の方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部111は、ステップS148において、例えば、HMD1の基準姿勢からの姿勢変化dB2のうち、ロール方向Qの方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
また、モード指定部111は、ステップS148において、判定期間におけるHMD1の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。更に、モード指定部111は、ステップS148において、例えば、判定期間の開始時刻におけるHMD1の姿勢と、判定期間内の任意の時刻におけるHMD1の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
これらの場合、仮想カメラ制御部112は、ステップS150及びS152において、HMD1の基準姿勢からの姿勢変化量が、基準量θth未満となった場合に、仮想点Kの位置PKと、仮想カメラCMの位置PCとを、基準回転軸WSC1と撮像方向LC2との双方に直交する方向であって、基準位置PC1に近づく方向に変化させてもよい。
[1.4.実施形態の結論]
以上において説明したように、本実施形態において、表示制御部110は、姿勢情報Bに基づいて仮想カメラCMの姿勢を変化させる通常制御モードと、姿勢情報Bに基づいて仮想カメラCMの位置及び姿勢を変化させる姿勢制御モードと、姿勢情報Bに基づいて仮想カメラCMの位置を変化させる位置制御モードと、による視認画像GSの表示が可能である。このため、本実施形態によれば、ユーザUは、HMD1の姿勢の変化により、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を操作することが可能となる。
また、本実施形態において、表示制御部110は、キャラクタVの存在領域に対応する設定領域に設定された仮想点Kを中心に、仮想カメラCMの位置及び姿勢を変化させる、姿勢制御モードによる視認画像GSの表示が可能である。このため、本実施形態によれば、HMD1を装着したユーザUは、表示部12において、キャラクタ画像GVを継続的に表示させることが可能となる。
なお、本実施形態において、姿勢制御モードは、「第1制御モード」の一例であり、位置制御モードは、「第2制御モード」の一例である。
[2.変形例]
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
[変形例1]
上述した実施形態において、表示制御部110は、通常制御モード、姿勢制御モード、及び、位置制御モードの、3つの制御モードによる視認画像GSの表示が可能であるが、本発明はこのような態様に限定されるものではない。表示制御部110は、通常制御モード、姿勢制御モード、及び、位置制御モードの、3つの制御モードのうち、少なくとも2つの制御モードによる視認画像GSの表示が可能であればよい。例えば、表示制御部110は、通常制御モード、及び、位置制御モードの、2つの制御モードによる視認画像GSの表示が可能であってもよい。
図19及び図20は、本変形例における表示処理を実行する場合における、端末装置10の動作の一例を示すフローチャートである。図19及び図20に示すフローチャートは、制御部11が、ステップS160の処理を実行する点と、ステップS116及びステップS120〜S138の処理を実行しない点と、を除き、図10乃至図12に示すフローチャートと同様である。
図19に示すように、モード指定部111は、ステップS108で取得された姿勢情報B、または、ステップS110で算出された姿勢変化dB0に基づいて、制御モードを、位置制御モードに移行させるか否かを判定する(S160)。
具体的には、モード指定部111は、ステップS160において、HMD1の初期姿勢からの姿勢変化量が、基準量θth以上である場合に、モード指定部111が、制御モードを、通常制御モードから位置制御モードに移行させる。すなわち、モード指定部111は、ステップS160において、例えば、HMD1の初期姿勢からの姿勢変化量が基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定する。
そして、モード指定部111は、ステップS160における判定の結果が肯定の場合には、処理をステップS140に進め、ステップS160における判定の結果が否定の場合には、処理をステップS112に進める。
なお、図20に示すように、仮想カメラ制御部112は、ステップS148における判定の結果が肯定の場合には、処理をステップS104に進め、ステップS148における判定の結果が否定の場合には、処理をステップS150に進める。
本変形例においても、表示制御部110が、通常制御モード、及び、位置制御モードの、2つの制御モードによる視認画像GSの表示が可能である。このため、ユーザUは、HMD1の姿勢の変化により、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を操作することが可能となる。
なお、本変形例において、通常制御モードは、「第1制御モード」の一例であり、位置制御モードは、「第2制御モード」の一例である。
[変形例2]
上述した実施形態及び変形例において、撮像方向LCと、仮想カメラCM及び仮想点Kを結ぶ直線の方向とは、一致するが、本発明はこのような態様に限定されるものではない。例えば、撮像方向LCと、仮想カメラCM及び仮想点Kを結ぶ直線とのなす角度は、所定角度以下であればよい。
[変形例3]
上述した実施形態及び変形例において、仮想点Kは、位置制御モードにおいて、キャラクタVの存在領域及び設定領域の外部に移動可能であるが、本発明はこのような態様に限定されるものではない。仮想カメラ制御部112は、位置制御モードにおいて、仮想点Kが存在領域または設定領域の内部に位置するように、仮想カメラCMの位置PCの変化を制限してもよい。
[変形例4]
上述した実施形態及び変形例において、仮想カメラ制御部112は、超過角度θovに基づいて、距離Disを決定するが、本発明はこのような態様に限定されるものではない。仮想カメラ制御部112は、例えば、距離Disが、姿勢変化dB2に含まれる回転角度θが基準量θth以上となっている時間長に応じた値となるように、仮想カメラCMの位置PC及び仮想点Kの位置PKを決定してもよい。
例えば、仮想カメラ制御部112は、位置制御モードにおいて、姿勢変化dB2に含まれる回転角度θが基準量θth以上となっている場合に、仮想カメラCMの位置PC及び仮想点Kの位置PKを、ベクトルVI方向に、一定の速度で移動させてもよい。
また、仮想カメラ制御部112は、位置制御モードにおいて、姿勢変化dB2に含まれる回転角度θが基準量θth以上となっている場合に、仮想カメラCMの位置PC及び仮想点Kの位置PKを、ベクトルVI方向に、超過角度θovに応じた速度で移動させてもよい。
[変形例5]
上述した実施形態及び変形例において、姿勢情報Bは、端末装置10の姿勢変化の検出結果を示すが、本発明はこのような態様に限定されるものではない。姿勢情報Bは、例えば、地上に固定された座標系から見た端末装置10の姿勢を示す情報であってもよい。
この場合、姿勢情報生成部14は、例えば、角速度センサ、及び、地磁気センサの一方または双方を含んで構成されていてもよい。また、この場合、姿勢情報Bは、例えば、HMD1の外部に設けられ、HMD1を撮像する撮像装置から出力される画像情報であってもよい。
[変形例6]
上述した実施形態及び変形例において、情報処理装置は、HMD1に設けられるが、情報処理装置は、HMD1とは別個に設けられてもよい。
図21は、本変形例に係る表示システムSYSの構成の一例を示すブロック図である。
図21に示すように、表示システムSYSは、情報処理装置20と、情報処理装置20と通信可能なヘッドマウントディスプレイ1Aと、を備える。このうち、情報処理装置20は、例えば、制御部11と、操作部13と、記憶部15とを備えてもよい。また、ヘッドマウントディスプレイ1Aは、表示部12と、姿勢情報生成部14とに加え、ヘッドマウントディスプレイ1Aを装着したユーザUによる操作を受け付ける操作部31と、各種情報を記憶する記憶部32と、を備えてもよい。
[3.付記]
以上の記載から、本発明は例えば以下のように把握される。なお、各態様の理解を容易にするために、以下では、図面の参照符号を便宜的に括弧書きで付記するが、本発明を図示の態様に限定する趣旨ではない。
[付記1]
本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、第1制御モード及び第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。すなわち、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることで仮想空間における仮想カメラの位置を変化させる場合と比較して、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
また、この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を仮想点を中心に変化させ、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想点の位置を変化させ、仮想点の位置に基づいて、仮想空間における仮想カメラの位置を変化させる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザは、仮想空間のうち仮想点の近傍を見続けることが可能となる。これにより、この態様によれば、例えば、対戦型の格闘ゲームにおける対戦相手、または、レースゲームにおけるレーシングカー等のような、仮想空間内における所定のオブジェクトを、ヘッドマウントディスプレイを装着したユーザが見続ける必要がある場合において、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。
なお、上記態様において、「仮想カメラ」とは、例えば、仮想空間を撮像する第1の仮想カメラと、仮想空間内のうち第1の仮想カメラとは異なる位置から仮想空間を撮像する第2の仮想カメラと、を備えるものであってもよい。また、この場合、「立体視画像」とは、例えば、仮想空間を第1の仮想カメラで撮像した、ユーザが左眼で視認するための左眼用画像と、仮想空間を第2の仮想カメラで撮像した、ユーザが右眼で視認するための右眼用画像と、を含む画像であってもよい。
また、上記態様において、「ヘッドマウントディスプレイ」とは、例えば、頭部に装着可能な表示装置であってもよい。具体的には、「ヘッドマウントディスプレイ」とは、頭部に装着可能なゴーグル型または眼鏡型の表示装置であってもよい。また、「ヘッドマウントディスプレイ」とは、例えば、頭部に装着可能な装着具と、当該装着具に対して取り付けられた、スマートフォンのような携帯型の表示装置と、を有するものであってもよい。
また、上記態様において、「ヘッドマウントディスプレイの姿勢」とは、例えば、ヘッドマウントディスプレイの向きであってもよいし、ヘッドマウントディスプレイの傾きであってもよいし、ヘッドマウントディスプレイの向き及び傾きの双方を含む概念であってもよい。ここで、「ヘッドマウントディスプレイの向き」とは、例えば、現実空間における水平面内においてヘッドマウントディスプレイが向いている方向であってもよいし、ヘッドマウントディスプレイの基準方向と磁北方向とのなす角度であってもよい。また、「ヘッドマウントディスプレイの傾き」とは、例えば、ヘッドマウントディスプレイの基準方向と鉛直方向とのなす角度であってもよい。
また、上記態様において、「姿勢情報」とは、例えば、ヘッドマウントディスプレイの姿勢を示す情報であってもよいし、ヘッドマウントディスプレイの姿勢変化を示す情報であってもよい。
また、上記態様において、「取得部」は、例えば、ヘッドマウントディスプレイから姿勢情報を取得してもよいし、ヘッドマウントディスプレイを撮像する撮像装置から姿勢情報を取得してもよい。取得部が、ヘッドマウントディスプレイから姿勢情報を取得する場合、ヘッドマウントディスプレイは、ヘッドマウントディスプレイの姿勢変化を示す情報を検出するためのセンサを備えていてもよいし、ヘッドマウントディスプレイの姿勢を示す情報を検出するためのセンサを備えていてもよい。ここで、「ヘッドマウントディスプレイの姿勢変化を示す情報を検出するためのセンサ」とは、例えば、角速度センサであってもよい。また、「ヘッドマウントディスプレイの姿勢を示す情報を検出するためのセンサ」とは、例えば、地磁気センサ、及び、角速度センサの一方または双方であってもよい。また、取得部が、ヘッドマウントディスプレイを撮像する撮像装置から姿勢情報を取得する場合、姿勢情報は、例えば、撮像装置によりヘッドマウントディスプレイを撮像した結果を示す画像であってもよい。
[付記2]
本発明の他の態様に係る情報処理装置のプログラムは、付記1に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1制御モードにおいて、前記仮想カメラ及び前記仮想点を結ぶ線分と、前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、所定角度以下となるように、前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、ことを特徴とする。
この態様によれば、仮想空間において仮想カメラが撮像する方向と、仮想カメラから見た仮想点の方向との、なす角度を、例えば、所定角度以下とすることが可能となる。このため、この態様によれば、例えば、ヘッドマウントディスプレイを装着したユーザが、仮想空間内における所定のオブジェクトを見続ける必要がある場合に、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。
なお、上記態様において、「基準直線」とは、例えば、表示部に表示される画像のうち、特定の画素において表示される仮想空間内の特定箇所と、仮想カメラとを結ぶ直線であってもよい。また、この態様において、「基準直線」とは、例えば、仮想カメラの向く方向であってもよい。より具体的には、「基準直線」とは、例えば、仮想カメラの光軸方向であってもよい。
[付記3]
本発明の他の態様に係る情報処理装置のプログラムは、付記1または2に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1制御モードにおいて、前記仮想空間における前記仮想点と前記仮想カメラとの間隔が、一定の距離を維持するように、前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、ことを特徴とする。
この態様によれば、仮想空間において、仮想カメラと仮想点との間隔を一定に維持することができる。すなわち、この態様によれば、例えば、仮想空間における所定のオブジェクトの位置に基づいて、仮想点を設定することで、仮想空間において、仮想カメラと所定のオブジェクトとの間隔を略一定に維持することができる。このため、この態様によれば、ヘッドマウントディスプレイの表示部において、所定のオブジェクトの大きさを略一定に維持しつつ、所定のオブジェクトを様々な方向から撮像した結果を表示することができる。なお、「間隔を略一定に維持する」とは、間隔を完全に一定に維持する場合の他に、所定範囲の誤差を含みつつ間隔を一定に維持する場合を含む概念であることとする。
[付記4]
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至3に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1制御モードにおいて、前記仮想空間内における所定のオブジェクトの存在領域に対応する設定領域に、前記仮想点を設定し、前記第2制御モードにおいて、前記設定領域の内部で、前記仮想点の位置を変化させる、ことを特徴とする。
この態様によれば、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。
なお、上記態様において、「所定のオブジェクト」とは、仮想空間内に存在する仮想的な物体であってもよい。例えば、「所定のオブジェクト」は、一定の形状を有する物体であってもよいし、仮想空間において一定の位置に存在する物体であってもよいし、または、形状と仮想空間における存在位置との一方または双方が変化可能なものであってもよい。具体的には、「所定のオブジェクト」は、例えば、仮想空間に存在する、人物、動物、及び、モンスター等の、キャラクタであってもよいし、仮想空間に存在する、乗り物、建造物、及び、道具等の、人工物であってもよいし、仮想空間を構成する部屋、森林、原野、及び、星等の環境構成物であってもよい。
[付記5]
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至4に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第2制御モードにおいて、前記仮想カメラ及び前記仮想点を結ぶ線分と、前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、所定角度以下となるように、前記仮想空間における前記仮想点の位置と、前記仮想空間における前記仮想カメラの位置と、を変化させる、ことを特徴とする。
この態様によれば、仮想空間において仮想カメラが撮像する方向と、仮想カメラから見た仮想点の方向との、なす角度を、例えば、所定角度以下とすることが可能となる。このため、この態様によれば、例えば、ヘッドマウントディスプレイを装着したユーザが、仮想空間内における所定のオブジェクトを見続ける必要がある場合に、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。
[付記6]
本発明の他の態様に係る情報処理装置のプログラムは、付記5に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第2制御モードにおいて、前記仮想空間における前記仮想カメラの姿勢を一定に保つ、ことを特徴とする。
この態様によれば、例えば、ヘッドマウントディスプレイを装着したユーザが、仮想空間内における所定のオブジェクトを見続ける必要がある場合に、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。
[付記7]
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至6に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第2制御モードにおいて、前記仮想空間における前記仮想点の位置を、前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させる、ことを特徴とする。
この態様によれば、第2制御モードにおいて、ヘッドマウントディスプレイの姿勢の変化量に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、ヘッドマウントディスプレイの姿勢の変化量に応じて、仮想カメラの位置の変化量が決定される。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、仮想カメラの位置を所望の位置に変化させることが可能となる。
[付記8]
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至7に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第2制御モードにおいて、前記ヘッドマウントディスプレイが、回転軸を中心として回転する場合、前記仮想空間における前記仮想点の位置を、前記回転軸に対応する仮想直線に垂直な仮想平面内において変化させ、前記仮想空間における前記仮想カメラの位置を、前記仮想平面内において変化させる、ことを特徴とする。
この態様によれば、第2制御モードにおいて、ヘッドマウントディスプレイの姿勢の変化の方向に基づいて、仮想空間における仮想カメラの位置の変化の方向を定めることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、ヘッドマウントディスプレイの姿勢の変化方向に応じて、仮想カメラの位置の変化方向が決定される。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、仮想カメラの位置を所望の位置に変化させることが可能となる。
なお、上記態様において、「仮想直線」とは、例えば、ヘッドマウントディスプレイが存在する現実空間の位置及び姿勢を、仮想空間における位置及び姿勢に変換するための演算子により、回転軸に平行な直線を変換した直線であってもよい。
[付記9]
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至8に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1制御モードにおいて、前記ヘッドマウントディスプレイが、回転軸を中心として回転する場合であって、前記ヘッドマウントディスプレイの、前記回転軸を中心とする回転の角度が、基準角度以上となった場合に、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
[付記10]
本発明の一態様に係る情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
[付記11]
本発明の一態様に係るヘッドマウントディスプレイは、表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、前記情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
[付記12]
本発明の一態様に係る表示システムは、表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する表示システムであって、前記情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
[付記13]
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を変化させずに、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、第2制御モードにおいて、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
[付記14]
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、による画像の表示が可能である、ことを特徴とする。
この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
[付記15]
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を変化させずに、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、による画像の表示が可能である、ことを特徴とする。
この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、第2制御モードにおいて、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
1…ヘッドマウントディスプレイ、10…端末装置、11…制御部、12…表示部、13…操作部、14…姿勢情報生成部、15…記憶部、90…装着具、110…表示制御部、111…モード指定部、112…仮想カメラ制御部、113…表示情報生成部、114…姿勢情報取得部、1000…プロセッサ、1002…角速度センサ。

Claims (9)

  1. プロセッサを具備する情報処理装置で実行可能なプログラムであって、
    前記プロセッサを、
    仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
    ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
    前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
    して機能させ、
    前記表示制御部は、
    前記仮想空間における前記仮想カメラの位置を、
    前記仮想空間に設定された仮想点を中心に、
    前記姿勢情報に基づいて変化させ、
    前記仮想空間における前記仮想カメラの姿勢を、
    前記姿勢情報に基づいて変化させる第1制御モードと、
    前記仮想空間における前記仮想点の位置を、
    前記姿勢情報に基づいて変化させ、
    前記仮想空間における前記仮想カメラの位置を、
    前記姿勢情報に基づいて変化させる第2制御モードと、
    による画像の表示が可能である、
    ことを特徴とする、プログラム。
  2. 前記表示制御部は、
    前記第1制御モードにおいて、
    前記仮想カメラ及び前記仮想点を結ぶ線分と、
    前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、
    所定角度以下となるように、
    前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、
    ことを特徴とする、請求項1に記載のプログラム。
  3. 前記表示制御部は、
    前記第1制御モードにおいて、
    前記仮想空間における前記仮想点と前記仮想カメラとの間隔が、
    一定の距離を維持するように、
    前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、
    ことを特徴とする、請求項1または2に記載のプログラム。
  4. 前記表示制御部は、
    前記第2制御モードにおいて、
    前記仮想カメラ及び前記仮想点を結ぶ線分と、
    前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、
    所定角度以下となるように、
    前記仮想空間における前記仮想点の位置と、
    前記仮想空間における前記仮想カメラの位置と、を変化させる、
    ことを特徴とする、請求項1乃至3のうち何れか1項に記載のプログラム。
  5. 前記表示制御部は、
    前記第2制御モードにおいて、
    前記仮想空間における前記仮想カメラの姿勢を一定に保つ、
    ことを特徴とする、請求項4に記載のプログラム。
  6. 前記表示制御部は、
    前記第2制御モードにおいて、
    前記仮想空間における前記仮想点の位置を、
    前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させ、
    前記仮想空間における前記仮想カメラの位置を、
    前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させる、
    ことを特徴とする、請求項1乃至5のうち何れか1項に記載のプログラム。
  7. 仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
    ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
    前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
    を備え、
    前記表示制御部は、
    前記仮想空間における前記仮想カメラの位置を、
    前記仮想空間に設定された仮想点を中心に、
    前記姿勢情報に基づいて変化させ、
    前記仮想空間における前記仮想カメラの姿勢を、
    前記姿勢情報に基づいて変化させる第1制御モードと、
    前記仮想空間における前記仮想点の位置を、
    前記姿勢情報に基づいて変化させ、
    前記仮想空間における前記仮想カメラの位置を、
    前記姿勢情報に基づいて変化させる第2制御モードと、
    による画像の表示が可能である、
    ことを特徴とする、情報処理装置。
  8. 表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、
    前記情報処理装置は、
    仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
    前記表示部に表示させる表示制御部と、
    前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
    を備え、
    前記表示制御部は、
    前記仮想空間における前記仮想カメラの位置を、
    前記仮想空間に設定された仮想点を中心に、
    前記姿勢情報に基づいて変化させ、
    前記仮想空間における前記仮想カメラの姿勢を、
    前記姿勢情報に基づいて変化させる第1制御モードと、
    前記仮想空間における前記仮想点の位置を、
    前記姿勢情報に基づいて変化させ、
    前記仮想空間における前記仮想カメラの位置を、
    前記姿勢情報に基づいて変化させる第2制御モードと、
    による画像の表示が可能である、
    ことを特徴とする、ヘッドマウントディスプレイ。
  9. 表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する表示システムであって、
    前記情報処理装置は、
    仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
    前記表示部に表示させる表示制御部と、
    前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
    を備え、
    前記表示制御部は、
    前記仮想空間における前記仮想カメラの位置を、
    前記仮想空間に設定された仮想点を中心に、
    前記姿勢情報に基づいて変化させ、
    前記仮想空間における前記仮想カメラの姿勢を、
    前記姿勢情報に基づいて変化させる第1制御モードと、
    前記仮想空間における前記仮想点の位置を、
    前記姿勢情報に基づいて変化させ、
    前記仮想空間における前記仮想カメラの位置を、
    前記姿勢情報に基づいて変化させる第2制御モードと、
    による画像の表示が可能である、
    ことを特徴とする、表示システム。
JP2018147317A 2018-08-06 2018-08-06 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム Active JP6623431B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018147317A JP6623431B2 (ja) 2018-08-06 2018-08-06 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018147317A JP6623431B2 (ja) 2018-08-06 2018-08-06 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018005513A Division JP6388270B1 (ja) 2018-01-17 2018-01-17 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019200571A Division JP6707224B2 (ja) 2019-11-05 2019-11-05 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム

Publications (2)

Publication Number Publication Date
JP2019125335A true JP2019125335A (ja) 2019-07-25
JP6623431B2 JP6623431B2 (ja) 2019-12-25

Family

ID=67398888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018147317A Active JP6623431B2 (ja) 2018-08-06 2018-08-06 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム

Country Status (1)

Country Link
JP (1) JP6623431B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024140410A1 (zh) * 2022-12-30 2024-07-04 优奈柯恩(北京)科技有限公司 确定相对位姿的方法和装置、扩展现实系统、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016109127A1 (en) * 2014-12-29 2016-07-07 Sony Computer Entertainment America Llc Methods and systems for user interaction within virtual or augmented reality scene using head mounted display
JP2016224823A (ja) * 2015-06-02 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム
JP2017102297A (ja) * 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP6234622B1 (ja) * 2017-01-16 2017-11-22 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018005609A (ja) * 2016-07-04 2018-01-11 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018072992A (ja) * 2016-10-26 2018-05-10 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016109127A1 (en) * 2014-12-29 2016-07-07 Sony Computer Entertainment America Llc Methods and systems for user interaction within virtual or augmented reality scene using head mounted display
JP2016224823A (ja) * 2015-06-02 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム
JP2017102297A (ja) * 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2018005609A (ja) * 2016-07-04 2018-01-11 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018072992A (ja) * 2016-10-26 2018-05-10 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6234622B1 (ja) * 2017-01-16 2017-11-22 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024140410A1 (zh) * 2022-12-30 2024-07-04 优奈柯恩(北京)科技有限公司 确定相对位姿的方法和装置、扩展现实系统、设备和介质

Also Published As

Publication number Publication date
JP6623431B2 (ja) 2019-12-25

Similar Documents

Publication Publication Date Title
EP2475178B1 (en) Information processing program, information processing method and information processing apparatus
JP5586545B2 (ja) ゲームシステム、携帯型ゲーム装置、情報処理部の制御方法、および情報処理部の制御プログラム
JP2013258614A (ja) 画像生成装置および画像生成方法
JP5757790B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、及び、情報処理方法
JP2018050179A (ja) 情報処理装置、画像生成方法およびヘッドマウントディスプレイ
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
US11300794B2 (en) Recording medium, information processing system, and information processing method
JP6707224B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP6623431B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP6388270B1 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP6518645B2 (ja) 情報処理装置および画像生成方法
JP6923964B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP7043711B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP5739670B2 (ja) 画像表示プログラム、装置、システムおよび方法
CN111819531B (zh) 信息处理装置、记录介质、头戴式显示器和信息处理系统
KR20180060403A (ko) 영상 기반의 드론 제어장치
JP5739673B2 (ja) 画像表示プログラム、装置、システムおよび方法
JP6675615B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム
JP7078273B2 (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP2019175470A (ja) 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP5639138B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191105

R150 Certificate of patent or registration of utility model

Ref document number: 6623431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250