JP2019125335A - 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム - Google Patents
情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム Download PDFInfo
- Publication number
- JP2019125335A JP2019125335A JP2018147317A JP2018147317A JP2019125335A JP 2019125335 A JP2019125335 A JP 2019125335A JP 2018147317 A JP2018147317 A JP 2018147317A JP 2018147317 A JP2018147317 A JP 2018147317A JP 2019125335 A JP2019125335 A JP 2019125335A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- display
- virtual space
- virtual camera
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 49
- 230000008859 change Effects 0.000 claims abstract description 138
- 238000003384 imaging method Methods 0.000 claims description 79
- 210000003128 head Anatomy 0.000 description 35
- 238000000034 method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 30
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 206010034719 Personality change Diseases 0.000 description 16
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 11
- 239000008186 active pharmaceutical agent Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
以下、本発明の実施形態を説明する。
以下、図1乃至図7を参照しながら、本実施形態に係るヘッドマウントディスプレイ1(以下、「HMD1」と称する)の概要の一例について説明する。
端末装置10は、画像を表示するための表示部12を備える。本実施形態では、端末装置10としてスマートフォンを採用する場合を、一例として想定する。但し、端末装置10は、HMD1に設けられるための専用の表示デバイスであってもよい。
図1に示すように、装着具90は、HMD1をユーザUの頭部に装着するための一対のテンプル91L及び91Rと、端末装置10をHMD1に取り付けるための取付孔92と、ユーザUがHMD1を頭部に装着した場合に、ユーザUの両眼が存在する位置に対応するように設けられた一対の貫通孔92L及び92Rと、を備える。なお、貫通孔92L及び92Rの各々には、レンズが設けられていてもよい。そして、ユーザUが、HMD1を頭部に装着した場合、ユーザUの左眼は、貫通孔92Lを介して、または、取付孔92に設けられたレンズを介して、取付孔92に挿入された端末装置10が具備する表示部12を視認することができ、ユーザUの右眼は、貫通孔92Rを介して、または、貫通孔92Rに設けられたレンズを介して、取付孔92に挿入された端末装置10が具備する表示部12を視認することができる。
装置座標系ΣSとは、例えば、HMD1の所定箇所に原点を有し、互いに直交するXS軸、YS軸、及び、ZS軸を有する3軸の直交座標系である。本実施形態では、図2に示すように、ユーザUがHMD1を装着した場合に、+XS方向がユーザUから見て前方方向となり、+YS方向がユーザUから見て左手方向となり、+ZS方向がユーザUから見て上方向となるように、装置座標系ΣSが設定されている場合を、一例として想定する。
また、以下では、説明の便宜上、図3に示すように、仮想空間SP-Vに固定された座標系である仮想空間座標系ΣVを導入する。仮想空間座標系ΣVとは、例えば、仮想空間SP-Vの所定箇所に原点を有し、互いに直交するXV軸、YV軸、及び、ZV軸を有する3軸の直交座標系である。
また、以下では、図4に示すように、仮想カメラCM-Lの光軸方向を、撮像方向LC-Lと称し、仮想カメラCM-Rの光軸方向を、撮像方向LC-Rと称し、撮像方向LC-Lを示すベクトルと、撮像方向LC-Rを示すベクトルとの和により示される方向を、撮像方向LCと称する。なお、本実施形態では、撮像方向LC-Lと撮像方向LC-Rとが、同一の方向である場合を想定する。このため、本実施形態では、撮像方向LCは、撮像方向LC-L及び撮像方向LC-Rと同一の方向となる。
なお、位置PCと交差し、撮像方向LCに延在する直線は、「基準直線」の一例である。
すなわち、ユーザUは、左眼によりキャラクタ画像GV-Lを視認し、右眼によりキャラクタ画像GV-Rを視認することができる。このため、ユーザUは、図6に例示するように、表示部12において、キャラクタV等の仮想空間SP-V内に存在する仮想的な物体を、立体的な3次元の物体として表した視認画像GSを視認することが可能となる。
また、以下では、説明の便宜上、図7に例示するように、仮想空間SP-Vにおける、仮想カメラCMとキャラクタVとの相対的な位置関係を説明する場合に、2台の仮想カメラCM-L及びCM-Rを、1台の仮想カメラCMとして表現することとする。そして、以下では、仮想空間SP-Vにおける仮想カメラCMの位置が位置PCであり、仮想カメラCMの光軸方向が撮像方向LCであることと看做す。
また、以下では、説明の便宜上、図7に示すように、仮想空間SP-Vにおける仮想カメラCMに固定された座標系であるカメラ座標系ΣCを導入する。カメラ座標系ΣCとは、例えば、仮想空間SP-Vのうち仮想カメラCMの位置PCに原点を有し、互いに直交するXC軸、YC軸、及び、ZC軸を有する3軸の直交座標系である。本実施形態では、HMD1を装着したユーザUから見て、XC軸がXS軸と同一の方向であり、YC軸がYS軸と同一の方向であり、ZC軸がZS軸と同一の方向である場合を、一例として想定する。すなわち、本実施形態では、XC軸が、仮想カメラCMの光軸方向に延在する場合を、一例として想定する。なお、図7では、カメラ座標系ΣCの原点と位置PCとを異なる位置として示しているが、これは図示の都合上であって、カメラ座標系ΣCの原点と位置PCとは同一の位置である(後述する図13、図15、及び、図17でも同様)。
以下、図8及び図9を参照しながら、端末装置10の構成の一例について説明する。
ここで、通常制御モードとは、仮想空間SP-Vにおける仮想カメラCMの位置PCを固定したままで、仮想カメラCMの姿勢を変化させるように、仮想カメラCMを制御する制御モードである。
また、姿勢制御モードとは、仮想空間SP-Vにおける仮想点Kを中心に仮想カメラCMを回転させることで、仮想空間SP-Vにおける仮想カメラCMの姿勢を変化させるように、仮想カメラCMを制御する制御モードである。
また、位置制御モードとは、仮想空間SP-Vにおける仮想カメラCMの姿勢を固定したままで、仮想カメラCMの位置PCを変化させるように、仮想カメラCMを制御する制御モードである。
表示情報生成部113は、仮想カメラCMによる仮想空間SP-Vの撮像結果を表す表示情報DSを生成し、当該表示情報DSを表示部12に供給することで、表示部12に対して表示画像GHを表示させる。
プロセッサ1000は、例えば、CPU(Central Processing Unit)であり、メモリ1001に記憶された制御プログラムPRGを実行し、当該制御プログラムPRGに従って動作することで、制御部11として機能する。
角速度センサ1002は、上述の通り、X軸角速度センサ、Y軸角速度センサ、及び、Z軸角速度センサを備え、姿勢情報生成部14として機能する。
表示装置1003及び入力装置1004は、例えば、タッチパネルであり、表示部12及び操作部13として機能する。なお、表示装置1003及び入力装置1004は、別体として構成されていてもよい。また、入力装置1004は、タッチパネル、操作ボタン、キーボード、ジョイスティック、及び、マウス等のポインティングデバイスの一部または全部を含む、1または複数の機器から構成されるものであってもよい。
以下、図10乃至図18を参照しながら、端末装置10の動作の一例について説明する。
図10に示すように、仮想カメラ制御部112は、表示処理が開始されると、仮想空間SP-Vにおける仮想カメラCMの姿勢を初期化する(S100)。
例えば、仮想カメラ制御部112は、ステップS100において、図7に示すように、仮想空間SP-Vにおける仮想カメラCMの撮像方向LCを、+XV方向に設定する。換言すれば、仮想カメラ制御部112は、ステップS100において、+XC方向と+XV方向とが同一の方向になるように、カメラ座標系ΣCを設定する。
なお、仮想カメラ制御部112は、ステップS100において、仮想空間SP-Vにおける仮想カメラCMの位置PCを初期化してもよい。例えば、仮想カメラ制御部112は、ステップS100において、例えば、図7に示すように、仮想空間SP-Vにおける仮想カメラCMの位置PCを、キャラクタVの正面、すなわち、キャラクタVから見て−XV方向の位置に設定してもよい。換言すれば、仮想カメラ制御部112は、ステップS100において、カメラ座標系ΣCのXC軸上にキャラクタVが存在するように、カメラ座標系ΣCを設定してもよい。
また、仮想カメラ制御部112は、モード指定部111が、制御モードを通常制御モードに設定した際のHMD1の姿勢を、「初期姿勢」として定める(S106)。
なお、以下では、HMD1が初期姿勢である場合の装置座標系ΣSを、「初期座標系ΣS0」と称する。また、以下では、後述する図13に示すように、HMD1が初期姿勢である場合の仮想カメラCMの位置PCを、「初期位置PC0」と称し、HMD1が初期姿勢である場合の撮像方向LCを、「初期撮像方向LC0」と称し、HMD1が初期姿勢である場合のカメラ座標系ΣCを、「初期カメラ座標系ΣC0」と称する。
そして、仮想カメラ制御部112は、ステップS108において姿勢情報取得部114が取得した姿勢情報Bに基づいて、HMD1の初期姿勢からの姿勢変化dB0を算出する(S110)。
なお、本実施形態において、仮想カメラ制御部112は、一例として、姿勢変化dB0を、初期座標系ΣS0から見た回転方向QWを規定する回転軸WSと、当該回転軸WS周りの回転角度θWと、により表現することとする。すなわち、本実施形態において、初期座標系ΣS0から見てHMD1が回転軸WS周りに回転角度θWだけ回転した場合、姿勢変化dB0が、初期座標系ΣS0における回転軸WSを示す方向ベクトルと、回転角度θWを示す値と、を含むこととする。
但し、姿勢変化dB0は、他の任意の表現方法により表現されるものであってもよい。例えば、姿勢変化dB0は、初期座標系ΣS0から装置座標系ΣSへの姿勢変化を示す、3行3列の姿勢変換行列により表現されるものであってもよいし、初期座標系ΣS0から装置座標系ΣSへの姿勢変化を示す、クォータニオンにより表現されるものであってもよい。
また、以下では、HMD1が、回転軸WS周りに回転角度θWだけ回転した場合に、当該回転角度θWを、「姿勢変化量」と称する場合がある。
具体的には、ステップS112において、仮想カメラ制御部112は、仮想空間SP-Vにおいて、撮像方向LCを、初期撮像方向LC0から、姿勢変化dB0に対応した姿勢変化量だけ変化させることで、仮想空間SP-Vにおける仮想カメラCMの姿勢を決定する。すなわち、ステップS112において、仮想カメラ制御部112は、初期カメラ座標系ΣC0において、カメラ座標系ΣCを、姿勢変化dB0に対応して変化させることで、仮想空間SP-Vにおける仮想カメラCMの姿勢を決定する。
より具体的には、仮想カメラ制御部112は、一例として、図13に示すように、仮想空間SP-Vにおいて、仮想カメラCMの初期位置PC0に交差するように仮想回転軸WSC0を設定し、カメラ座標系ΣCを、初期カメラ座標系ΣC0を仮想回転軸WSC0周りに回転角度θWだけ回転させた座標系として決定することで、仮想空間SP-Vにおける仮想カメラCMの姿勢を決定する。ここで、仮想回転軸WSC0とは、初期位置PC0と交差する仮想空間SP-V内の直線であって、初期カメラ座標系ΣC0から見た仮想回転軸WSC0の方向を表すベクトルの成分と、初期座標系ΣS0から見た回転軸WSの方向を表すベクトルの成分とが、同一となるような直線である。
例えば、HMD1が、初期姿勢から、ZS軸周りのヨー方向QZに対して回転角度θWだけ回転した場合、仮想カメラ制御部112は、初期位置PC0に交差するように、初期カメラ座標系ΣC0のZC軸に平行な仮想回転軸WSC0を設定したうえで、カメラ座標系ΣCを、初期カメラ座標系ΣC0を仮想回転軸WSC0周りに回転角度θWだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
また、例えば、HMD1が、初期姿勢から、YS軸周りのピッチ方向QYに対して回転角度θWだけ回転した場合、仮想カメラ制御部112は、初期位置PC0に交差するように、初期カメラ座標系ΣC0のYC軸に平行な仮想回転軸WSC0を設定したうえで、カメラ座標系ΣCを、初期カメラ座標系ΣC0を仮想回転軸WSC0周りに回転角度θWだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
また、例えば、HMD1が、初期姿勢から、XS軸周りのロール方向QXに対して回転角度θWだけ回転した場合、仮想カメラ制御部112は、初期位置PC0に交差するように、初期カメラ座標系ΣC0のXC軸に平行な仮想回転軸WSC0を設定したうえで、カメラ座標系ΣCを、初期カメラ座標系ΣC0を仮想回転軸WSC0周りに回転角度θWだけ回転させた姿勢を有する座標系として決定することで、仮想カメラCMの姿勢を決定する。
図13では、一例として、時刻t1において、HMD1が初期姿勢となり、時刻t2において、HMD1が、初期姿勢を、ZS軸周りのヨー方向QZに対して回転角度θWだけ回転した姿勢となる場合を想定する。
このため、例えば、図13に示すように、仮想カメラCMが、時刻t1において、初期撮像方向LC0である撮像方向LC(t1)が+XV方向を向くような姿勢となる場合、仮想カメラCMは、時刻t2において、撮像方向LC(t1)を、初期位置PC0に交差し初期カメラ座標系ΣC0のZC軸に平行な仮想回転軸WSC0の周りを回転角度θWだけ回転させた、撮像方向LC(t2)を有するような姿勢となる。換言すれば、時刻t2におけるカメラ座標系ΣCは、時刻t1におけるカメラ座標系ΣCである初期カメラ座標系ΣC0を、初期カメラ座標系ΣC0の原点と交差し初期カメラ座標系ΣC0のZC軸に平行な仮想回転軸WSC0の周りを回転角度θWだけ回転させた座標系になる。
このため、時刻t1において、図6に示すように、キャラクタ画像GVが、表示部12の中央部Ymidに表示される場合には、時刻t2において、図14に示すように、キャラクタ画像GVが、表示部12の中央部Ymidよりも+YD方向の位置Y(t2)に表示されることになる。
本実施形態では、一例として、現在時刻よりも所定時間だけ前の時刻から現在時刻までの判定期間におけるHMD1の姿勢変化量が、所定の閾値以下の場合に、モード指定部111が、制御モードを、通常制御モードから姿勢制御モードに移行させる場合を想定する。このため、モード指定部111は、ステップS116において、例えば、判定期間におけるHMD1の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定する。なお、モード指定部111は、ステップS116において、例えば、判定期間の開始時刻におけるHMD1の姿勢と、判定期間内の任意の時刻におけるHMD1の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
そして、モード指定部111は、ステップS116における判定の結果が肯定の場合には、処理をステップS120に進め、ステップS116における判定の結果が否定の場合には、処理をステップS118に進める。
図11に示すように、モード指定部111は、制御モードを姿勢制御モードに設定する(S120)。
なお、以下では、HMD1が基準姿勢である場合の装置座標系ΣSを、「基準座標系ΣS1」と称する。また、以下では、後述する図15に示すように、HMD1が基準姿勢である場合の仮想カメラCMの位置PCを、「基準位置PC1」と称し、HMD1が基準姿勢である場合の撮像方向LCを、「基準撮像方向LC1」と称し、HMD1が基準姿勢である場合のカメラ座標系ΣCを、「基準カメラ座標系ΣC1」と称する。
具体的には、仮想カメラ制御部112は、ステップS124において、例えば、仮想カメラCMの基準位置PC1と交差し基準撮像方向LC1に延在する直線上であって、仮想空間SP-V内に存在するキャラクタVの存在領域に対応する設定領域に、仮想点Kを設定する。
ここで、キャラクタVの存在領域とは、例えば、仮想空間SP-V内の領域であって、キャラクタVの表面と、キャラクタVの内部とを含む領域である。また、設定領域とは、例えば、存在領域の一部または全部の領域である。但し、設定領域は、存在領域の外部の領域を含む領域であってもよい。例えば、設定領域は、存在領域からの距離が所定の距離以下となる領域であってもよいし、存在領域内の点からの距離が所定の距離以下となる領域であってもよい。
また、以下では、後述する図15に示すように、ステップS124において設定された仮想空間SP-Vにおける仮想点Kの位置PKを、「基準位置PK1」と称する。
なお、本実施形態において、仮想カメラ制御部112は、仮想点Kを、基準撮像方向LC1に基づいて定めるが、本発明はこのような態様に限定されるものではない。例えば、仮想カメラ制御部112は、仮想空間SP-V内の所定の位置に仮想点Kを設定してもよい。また、例えば、仮想カメラ制御部112は、仮想空間SP-Vのうち、キャラクタVの存在領域のうち、キャラクタVの顔等のキャラクタVの特定の部位に対応する位置に仮想点Kを設定してもよい。
そして、仮想カメラ制御部112は、ステップS126において姿勢情報取得部114が取得した姿勢情報Bに基づいて、HMD1の基準姿勢からの姿勢変化dB1を算出する(S128)。
なお、本実施形態において、基準座標系ΣS1から見て、HMD1が、基準姿勢から、回転軸WS周りに回転角度θWだけ回転した場合、姿勢変化dB1が、基準座標系ΣS1における回転軸WSを示す方向ベクトルと、回転角度θWを示す値と、を含むこととする。
本実施形態では、一例として、HMD1の基準姿勢からの姿勢変化量が、基準量θth(「基準角度」の一例)以上である場合に、モード指定部111が、制御モードを、姿勢制御モードから位置制御モードに移行させる場合を想定する。このため、モード指定部111は、ステップS130において、例えば、HMD1の基準姿勢からの姿勢変化量が基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定する。
なお、モード指定部111は、ステップS130において、HMD1の基準姿勢からの姿勢変化dB1のうち所定の方向成分に係る姿勢変化量が、基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部111は、ステップS130において、例えば、HMD1の基準姿勢からの姿勢変化dB1のうち、ピッチ方向QYの方向成分、ヨー方向QZの方向成分、または、ピッチ方向QY及びヨー方向QZの方向成分に係る姿勢変化量が、基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定してもよい。
そして、モード指定部111は、ステップS130における判定の結果が肯定の場合には、処理をステップS140に進め、ステップS130における判定の結果が否定の場合には、処理をステップS132に進める。
本実施形態では、一例として、現在時刻よりも所定時間だけ前の時刻から現在時刻までの判定期間におけるHMD1の姿勢変化量が、所定の閾値以下の場合に、モード指定部111が、制御モードを、姿勢制御モードから通常制御モードに移行させる場合を想定する。このため、モード指定部111は、ステップS132において、例えば、判定期間におけるHMD1の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定する。また、モード指定部111は、ステップS132において、例えば、判定期間の開始時刻におけるHMD1の姿勢と、判定期間内の任意の時刻におけるHMD1の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。
なお、モード指定部111は、ステップS132において、HMD1の基準姿勢からの姿勢変化dB1のうち特定の方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部111は、ステップS132において、例えば、HMD1の基準姿勢からの姿勢変化dB1のうち、ロール方向QXの方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。
具体的には、ステップS134において、仮想カメラ制御部112は、仮想空間SP-Vにおいて、位置PC及び撮像方向LCを、基準位置PC1及び基準撮像方向LC1から、姿勢変化dB1に対応した姿勢変化量だけ変化させることで、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を決定する。すなわち、ステップS134において、仮想カメラ制御部112は、基準カメラ座標系ΣC1において、カメラ座標系ΣCを、姿勢変化dB1に対応して変化させることで、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を決定する。
より具体的には、仮想カメラ制御部112は、一例として、図15に示すように、仮想空間SP-Vにおいて、仮想点Kに交差するように基準回転軸WSC1を設定し、カメラ座標系ΣCを、基準カメラ座標系ΣC1を基準回転軸WSC1周りに回転角度θWだけ回転させた座標系として決定することで、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を決定する。ここで、基準回転軸WSC1とは、仮想点Kの基準位置PK1と交差する仮想空間SP-V内の直線であって、基準カメラ座標系ΣC1から見た基準回転軸WSC1の方向を表すベクトルの成分と、基準座標系ΣS1から見た回転軸WSの方向を表すベクトルの成分とが、同一となるような直線である。すなわち、仮想カメラ制御部112は、一例として、図15に示すように、仮想空間SP-Vにおいて、基準位置PC1に位置する仮想カメラCMを、仮想点Kを中心として基準回転軸WSC1周りに回転角度θWだけ回転させることで、仮想空間SP-Vにおける仮想カメラCMの位置PCを決定する。
図15では、一例として、時刻t3において、HMD1が基準姿勢となり、時刻t4において、HMD1が、基準姿勢を、ZS軸周りのヨー方向QZに対して回転角度θWだけ回転した姿勢となる場合を想定する。
このため、例えば、図15に示すように、仮想カメラCMが、時刻t3において、基準撮像方向LC1である撮像方向LC(t3)が+XV方向を向くような姿勢となる場合には、仮想カメラCMは、時刻t4において、撮像方向LC(t3)を、仮想点Kに交差し基準カメラ座標系ΣC1のZC軸に平行な基準回転軸WSC1の周りを回転角度θWだけ回転させた、撮像方向LC(t4)を有するような姿勢となる。換言すれば、時刻t4におけるカメラ座標系ΣCは、時刻t3におけるカメラ座標系ΣCである基準カメラ座標系ΣC1を、仮想点Kと交差し基準カメラ座標系ΣC1のZC軸に平行な基準回転軸WSC1の周りを回転角度θWだけ回転させた座標系になる。
また、図15に示すように、時刻t4における仮想カメラCMの位置PC(t4)は、例えば、時刻t3における仮想カメラCMの位置PC(t3)、すなわち、基準位置PC1を、仮想点Kを中心に基準回転軸WSC1の周りを回転角度θWだけ回転させた位置となる。
このため、時刻t3において、図6に示すように、キャラクタ画像GVが、表示部12の中央部Ymidにおいて正面方向を向くキャラクタVを表す場合には、時刻t4において、図16に示すように、キャラクタ画像GVが、表示部12の中央部Ymidにおいて正面方向から回転角度θWだけ向きを変化させたキャラクタVを表す。
図12に示すように、モード指定部111は、制御モードを位置制御モードに設定する(S140)。
なお、モード指定部111が、制御モードを位置制御モードに設定した際、仮想カメラCMの起点位置PC2と交差し撮像方向LC2に延在する直線上に、仮想点Kが存在している。以下では、後述する図17に示すように、モード指定部111が制御モードを位置制御モードに設定した際の、仮想空間SP-Vにおける仮想点Kの位置PKを、「起点位置PK2」と称する。なお、起点位置PK2は、基準位置PK1と同一の位置である。
そして、仮想カメラ制御部112は、ステップS126において姿勢情報取得部114が取得した姿勢情報B、及び、ステップS144において姿勢情報取得部114が取得した姿勢情報Bに基づいて、HMD1の基準姿勢からの姿勢変化dB2を算出する(S146)。
なお、本実施形態において、基準座標系ΣS1から見て、HMD1が、基準姿勢から、回転軸WS周りに回転角度θWだけ回転した場合、姿勢変化dB2が、基準座標系ΣS1における回転軸WSを示す方向ベクトルと、回転角度θWを示す値と、を含むこととする。
本実施形態では、一例として、HMD1の基準姿勢からの姿勢変化量が、基準量θth未満となった場合に、モード指定部111が、制御モードを、位置制御モードから姿勢制御モードに移行させる場合を想定する。このため、モード指定部111は、ステップS148において、例えば、HMD1の基準姿勢からの姿勢変化量が基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定する。
なお、モード指定部111は、ステップS148において、HMD1の基準姿勢からの姿勢変化dB2のうち所定の方向成分に係る姿勢変化量が、基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部111は、ステップS148において、例えば、HMD1の基準姿勢からの姿勢変化dB2のうち、ピッチ方向QYの方向成分、ヨー方向QZの方向成分、または、ピッチ方向QY及びヨー方向QZの方向成分に係る姿勢変化量が、基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
そして、モード指定部111は、ステップS148における判定の結果が肯定の場合には、処理をステップS120に進め、ステップS148における判定の結果が否定の場合には、処理をステップS150に進める。
具体的には、仮想カメラ制御部112は、ステップS150において、例えば、仮想空間SP-Vに設定された基準回転軸WSC1と撮像方向LC2との双方に交差する方向であって、基準位置PC1から遠ざかる方向に、仮想点Kの位置PKを変化させる。より具体的には、仮想カメラ制御部112は、例えば、基準回転軸WSC1と撮像方向LC2との双方に直交する方向であって、基準位置PC1から遠ざかる方向に、仮想点Kの位置PKを変化させる。この場合、仮想カメラ制御部112は、例えば、後述する図17に示す、起点位置PK2すなわち位置PK(t5)から位置PK(t6)への変化のように、姿勢変化dB2に含まれる回転角度θWから基準量θthを減算した超過角度θovに応じた距離Disだけ、仮想点Kの位置PKを変化させる。
具体的には、仮想カメラ制御部112は、ステップS152において、例えば、仮想空間SP-Vに設定された基準回転軸WSC1と撮像方向LC2との双方に交差する方向であって、基準位置PC1から遠ざかる方向に、仮想カメラCMの位置PCを変化させる。より具体的には、仮想カメラ制御部112は、例えば、基準回転軸WSC1と撮像方向LC2との双方に直交する方向であって、基準位置PC1から遠ざかる方向に、仮想カメラCMの位置PCを変化させる。この場合、仮想カメラ制御部112は、例えば、後述する図17に示す、起点位置PC2すなわち位置PC(t5)から位置PC(t6)への変化のように、超過角度θovに応じた距離Disだけ、仮想カメラCMの位置PCを変化させる。
すなわち、ステップS150における仮想点Kの位置変化と、ステップS152における仮想カメラCMの位置変化とは、後述する図17に示すように、基準回転軸WSC1及び撮像方向LC2に直交する方向を有し、且つ、大きさDisを有する、同一のベクトルVIにより表現することができる。換言すれば、仮想カメラ制御部112は、位置制御モードにおいて、仮想カメラCMから見て撮像方向LC2に仮想点Kが位置し、また、仮想カメラCM及び仮想点Kの間の距離が一定の距離を保つように、仮想点Kの位置PKと仮想カメラCMの位置PCとを変化させる。このように、仮想カメラ制御部112は、位置制御モードにおいて、基準回転軸WSC1に垂直な仮想平面内において、仮想点Kの位置PKを変化させる。
なお、仮想カメラ制御部112は、ステップS150の処理とステップS152の処理とを同時に実行してもよいし、ステップS150の処理を実行する前にステップS152の処理を実行してもよい。
図17では、一例として、時刻t3において、HMD1が基準姿勢となり、時刻t5において、HMD1が起点姿勢となり、時刻t6において、HMD1が、基準姿勢を、ZS軸周りのヨー方向QZに対して、基準量θthよりも大きい回転角度θWだけ回転した姿勢となる場合を想定する。
このため、例えば、図17に示すように、仮想カメラCMが、時刻t3において、基準撮像方向LC1である撮像方向LC(t3)が+XV方向を向くような姿勢となる場合には、仮想カメラCMは、時刻t5において、撮像方向LC(t3)を、仮想点Kに交差し基準カメラ座標系ΣC1のZC軸に平行な基準回転軸WSC1の周りを基準量θthだけ回転させた、撮像方向LC2である撮像方向LC(t5)を有するような姿勢となり、また、仮想カメラCMは、時刻t6において、撮像方向LC2である撮像方向LC(t6)を有するような姿勢となる。換言すれば、時刻t5におけるカメラ座標系ΣCである起点カメラ座標系ΣC2は、時刻t3におけるカメラ座標系ΣCである基準カメラ座標系ΣC1を、仮想点Kと交差し基準カメラ座標系ΣC1のZC軸に平行な基準回転軸WSC1の周りを基準量θthだけ回転させた座標系になる。また、時刻t6におけるカメラ座標系ΣCは、起点カメラ座標系ΣC2を、ベクトルVIにより示される方向及び距離だけ平行移動させた座標系になる。
また、時刻t5における仮想カメラCMの位置PC(t5)は、図17に示すように、時刻t3における仮想カメラCMの位置PC(t3)、すなわち、基準位置PC1を、仮想点Kを中心に基準回転軸WSC1の周りを基準量θthだけ回転させた位置である、起点位置PC2となる。また、時刻t6における仮想カメラCMの位置PC(t6)は、図17に示すように、時刻t5における仮想カメラCMの位置PC(t5)、すなわち、起点位置PC2を、ベクトルVIだけ移動させた位置となる。また、時刻t6における仮想点Kの位置PK(t6)は、図17に示すように、時刻t5における仮想点Kの位置PK(t5)、すなわち、起点位置PK2を、ベクトルVIだけ移動させた位置となる。
このため、時刻t3において、図6に示すように、キャラクタ画像GVが、表示部12の中央部Ymidにおいて正面方向を向くキャラクタVを表す場合には、キャラクタ画像GVは、時刻t5において、図16に示すように、表示部12の中央部Ymidにおいて正面方向から基準量θthだけ向きを変化させたキャラクタVを表し、また、キャラクタ画像GVは、時刻t6において、図18に示すように、表示部12の中央部Ymidよりも−YD方向の位置Y(t6)において正面方向から基準量θthだけ向きを変化させたキャラクタVを表す。
例えば、モード指定部111は、ステップS148において、HMD1の基準姿勢からの姿勢変化dB2のうち特定の方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部111は、ステップS148において、例えば、HMD1の基準姿勢からの姿勢変化dB2のうち、ロール方向QXの方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
また、モード指定部111は、ステップS148において、判定期間におけるHMD1の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。更に、モード指定部111は、ステップS148において、例えば、判定期間の開始時刻におけるHMD1の姿勢と、判定期間内の任意の時刻におけるHMD1の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
これらの場合、仮想カメラ制御部112は、ステップS150及びS152において、HMD1の基準姿勢からの姿勢変化量が、基準量θth未満となった場合に、仮想点Kの位置PKと、仮想カメラCMの位置PCとを、基準回転軸WSC1と撮像方向LC2との双方に直交する方向であって、基準位置PC1に近づく方向に変化させてもよい。
以上において説明したように、本実施形態において、表示制御部110は、姿勢情報Bに基づいて仮想カメラCMの姿勢を変化させる通常制御モードと、姿勢情報Bに基づいて仮想カメラCMの位置及び姿勢を変化させる姿勢制御モードと、姿勢情報Bに基づいて仮想カメラCMの位置を変化させる位置制御モードと、による視認画像GSの表示が可能である。このため、本実施形態によれば、ユーザUは、HMD1の姿勢の変化により、仮想空間SP-Vにおける仮想カメラCMの位置及び姿勢を操作することが可能となる。
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
上述した実施形態において、表示制御部110は、通常制御モード、姿勢制御モード、及び、位置制御モードの、3つの制御モードによる視認画像GSの表示が可能であるが、本発明はこのような態様に限定されるものではない。表示制御部110は、通常制御モード、姿勢制御モード、及び、位置制御モードの、3つの制御モードのうち、少なくとも2つの制御モードによる視認画像GSの表示が可能であればよい。例えば、表示制御部110は、通常制御モード、及び、位置制御モードの、2つの制御モードによる視認画像GSの表示が可能であってもよい。
図19に示すように、モード指定部111は、ステップS108で取得された姿勢情報B、または、ステップS110で算出された姿勢変化dB0に基づいて、制御モードを、位置制御モードに移行させるか否かを判定する(S160)。
具体的には、モード指定部111は、ステップS160において、HMD1の初期姿勢からの姿勢変化量が、基準量θth以上である場合に、モード指定部111が、制御モードを、通常制御モードから位置制御モードに移行させる。すなわち、モード指定部111は、ステップS160において、例えば、HMD1の初期姿勢からの姿勢変化量が基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定する。
そして、モード指定部111は、ステップS160における判定の結果が肯定の場合には、処理をステップS140に進め、ステップS160における判定の結果が否定の場合には、処理をステップS112に進める。
なお、図20に示すように、仮想カメラ制御部112は、ステップS148における判定の結果が肯定の場合には、処理をステップS104に進め、ステップS148における判定の結果が否定の場合には、処理をステップS150に進める。
上述した実施形態及び変形例において、撮像方向LCと、仮想カメラCM及び仮想点Kを結ぶ直線の方向とは、一致するが、本発明はこのような態様に限定されるものではない。例えば、撮像方向LCと、仮想カメラCM及び仮想点Kを結ぶ直線とのなす角度は、所定角度以下であればよい。
上述した実施形態及び変形例において、仮想点Kは、位置制御モードにおいて、キャラクタVの存在領域及び設定領域の外部に移動可能であるが、本発明はこのような態様に限定されるものではない。仮想カメラ制御部112は、位置制御モードにおいて、仮想点Kが存在領域または設定領域の内部に位置するように、仮想カメラCMの位置PCの変化を制限してもよい。
上述した実施形態及び変形例において、仮想カメラ制御部112は、超過角度θovに基づいて、距離Disを決定するが、本発明はこのような態様に限定されるものではない。仮想カメラ制御部112は、例えば、距離Disが、姿勢変化dB2に含まれる回転角度θWが基準量θth以上となっている時間長に応じた値となるように、仮想カメラCMの位置PC及び仮想点Kの位置PKを決定してもよい。
例えば、仮想カメラ制御部112は、位置制御モードにおいて、姿勢変化dB2に含まれる回転角度θWが基準量θth以上となっている場合に、仮想カメラCMの位置PC及び仮想点Kの位置PKを、ベクトルVI方向に、一定の速度で移動させてもよい。
また、仮想カメラ制御部112は、位置制御モードにおいて、姿勢変化dB2に含まれる回転角度θWが基準量θth以上となっている場合に、仮想カメラCMの位置PC及び仮想点Kの位置PKを、ベクトルVI方向に、超過角度θovに応じた速度で移動させてもよい。
上述した実施形態及び変形例において、姿勢情報Bは、端末装置10の姿勢変化の検出結果を示すが、本発明はこのような態様に限定されるものではない。姿勢情報Bは、例えば、地上に固定された座標系から見た端末装置10の姿勢を示す情報であってもよい。
この場合、姿勢情報生成部14は、例えば、角速度センサ、及び、地磁気センサの一方または双方を含んで構成されていてもよい。また、この場合、姿勢情報Bは、例えば、HMD1の外部に設けられ、HMD1を撮像する撮像装置から出力される画像情報であってもよい。
上述した実施形態及び変形例において、情報処理装置は、HMD1に設けられるが、情報処理装置は、HMD1とは別個に設けられてもよい。
図21に示すように、表示システムSYSは、情報処理装置20と、情報処理装置20と通信可能なヘッドマウントディスプレイ1Aと、を備える。このうち、情報処理装置20は、例えば、制御部11と、操作部13と、記憶部15とを備えてもよい。また、ヘッドマウントディスプレイ1Aは、表示部12と、姿勢情報生成部14とに加え、ヘッドマウントディスプレイ1Aを装着したユーザUによる操作を受け付ける操作部31と、各種情報を記憶する記憶部32と、を備えてもよい。
以上の記載から、本発明は例えば以下のように把握される。なお、各態様の理解を容易にするために、以下では、図面の参照符号を便宜的に括弧書きで付記するが、本発明を図示の態様に限定する趣旨ではない。
本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
また、この態様によれば、第1制御モード及び第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。すなわち、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることで仮想空間における仮想カメラの位置を変化させる場合と比較して、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
また、この態様によれば、第1制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を仮想点を中心に変化させ、第2制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想点の位置を変化させ、仮想点の位置に基づいて、仮想空間における仮想カメラの位置を変化させる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザは、仮想空間のうち仮想点の近傍を見続けることが可能となる。これにより、この態様によれば、例えば、対戦型の格闘ゲームにおける対戦相手、または、レースゲームにおけるレーシングカー等のような、仮想空間内における所定のオブジェクトを、ヘッドマウントディスプレイを装着したユーザが見続ける必要がある場合において、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。
本発明の他の態様に係る情報処理装置のプログラムは、付記1に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1制御モードにおいて、前記仮想カメラ及び前記仮想点を結ぶ線分と、前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、所定角度以下となるように、前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記1または2に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1制御モードにおいて、前記仮想空間における前記仮想点と前記仮想カメラとの間隔が、一定の距離を維持するように、前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至3に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1制御モードにおいて、前記仮想空間内における所定のオブジェクトの存在領域に対応する設定領域に、前記仮想点を設定し、前記第2制御モードにおいて、前記設定領域の内部で、前記仮想点の位置を変化させる、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至4に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第2制御モードにおいて、前記仮想カメラ及び前記仮想点を結ぶ線分と、前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、所定角度以下となるように、前記仮想空間における前記仮想点の位置と、前記仮想空間における前記仮想カメラの位置と、を変化させる、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記5に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第2制御モードにおいて、前記仮想空間における前記仮想カメラの姿勢を一定に保つ、ことを特徴とする。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至6に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第2制御モードにおいて、前記仮想空間における前記仮想点の位置を、前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させる、ことを特徴とする。
また、この態様によれば、ヘッドマウントディスプレイの姿勢の変化量に応じて、仮想カメラの位置の変化量が決定される。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、仮想カメラの位置を所望の位置に変化させることが可能となる。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至7に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第2制御モードにおいて、前記ヘッドマウントディスプレイが、回転軸を中心として回転する場合、前記仮想空間における前記仮想点の位置を、前記回転軸に対応する仮想直線に垂直な仮想平面内において変化させ、前記仮想空間における前記仮想カメラの位置を、前記仮想平面内において変化させる、ことを特徴とする。
また、この態様によれば、ヘッドマウントディスプレイの姿勢の変化方向に応じて、仮想カメラの位置の変化方向が決定される。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、仮想カメラの位置を所望の位置に変化させることが可能となる。
本発明の他の態様に係る情報処理装置のプログラムは、付記1乃至8に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第1制御モードにおいて、前記ヘッドマウントディスプレイが、回転軸を中心として回転する場合であって、前記ヘッドマウントディスプレイの、前記回転軸を中心とする回転の角度が、基準角度以上となった場合に、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
本発明の一態様に係る情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
本発明の一態様に係るヘッドマウントディスプレイは、表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、前記情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
本発明の一態様に係る表示システムは、表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する表示システムであって、前記情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を変化させずに、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第1制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第1制御モードから前記第2制御モードへと切り替える、ことを特徴とする。
また、この態様によれば、第2制御モードにおいて、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、による画像の表示が可能である、ことを特徴とする。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を変化させずに、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第1制御モードと、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第2制御モードと、による画像の表示が可能である、ことを特徴とする。
また、この態様によれば、第2制御モードにおいて、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
Claims (9)
- プロセッサを具備する情報処理装置で実行可能なプログラムであって、
前記プロセッサを、
仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
して機能させ、
前記表示制御部は、
前記仮想空間における前記仮想カメラの位置を、
前記仮想空間に設定された仮想点を中心に、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの姿勢を、
前記姿勢情報に基づいて変化させる第1制御モードと、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報に基づいて変化させる第2制御モードと、
による画像の表示が可能である、
ことを特徴とする、プログラム。 - 前記表示制御部は、
前記第1制御モードにおいて、
前記仮想カメラ及び前記仮想点を結ぶ線分と、
前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、
所定角度以下となるように、
前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、
ことを特徴とする、請求項1に記載のプログラム。 - 前記表示制御部は、
前記第1制御モードにおいて、
前記仮想空間における前記仮想点と前記仮想カメラとの間隔が、
一定の距離を維持するように、
前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、
ことを特徴とする、請求項1または2に記載のプログラム。 - 前記表示制御部は、
前記第2制御モードにおいて、
前記仮想カメラ及び前記仮想点を結ぶ線分と、
前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、
所定角度以下となるように、
前記仮想空間における前記仮想点の位置と、
前記仮想空間における前記仮想カメラの位置と、を変化させる、
ことを特徴とする、請求項1乃至3のうち何れか1項に記載のプログラム。 - 前記表示制御部は、
前記第2制御モードにおいて、
前記仮想空間における前記仮想カメラの姿勢を一定に保つ、
ことを特徴とする、請求項4に記載のプログラム。 - 前記表示制御部は、
前記第2制御モードにおいて、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させる、
ことを特徴とする、請求項1乃至5のうち何れか1項に記載のプログラム。 - 仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
を備え、
前記表示制御部は、
前記仮想空間における前記仮想カメラの位置を、
前記仮想空間に設定された仮想点を中心に、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの姿勢を、
前記姿勢情報に基づいて変化させる第1制御モードと、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報に基づいて変化させる第2制御モードと、
による画像の表示が可能である、
ことを特徴とする、情報処理装置。 - 表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、
前記情報処理装置は、
仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
前記表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
を備え、
前記表示制御部は、
前記仮想空間における前記仮想カメラの位置を、
前記仮想空間に設定された仮想点を中心に、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの姿勢を、
前記姿勢情報に基づいて変化させる第1制御モードと、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報に基づいて変化させる第2制御モードと、
による画像の表示が可能である、
ことを特徴とする、ヘッドマウントディスプレイ。 - 表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する表示システムであって、
前記情報処理装置は、
仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
前記表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
を備え、
前記表示制御部は、
前記仮想空間における前記仮想カメラの位置を、
前記仮想空間に設定された仮想点を中心に、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの姿勢を、
前記姿勢情報に基づいて変化させる第1制御モードと、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報に基づいて変化させる第2制御モードと、
による画像の表示が可能である、
ことを特徴とする、表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147317A JP6623431B2 (ja) | 2018-08-06 | 2018-08-06 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147317A JP6623431B2 (ja) | 2018-08-06 | 2018-08-06 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018005513A Division JP6388270B1 (ja) | 2018-01-17 | 2018-01-17 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019200571A Division JP6707224B2 (ja) | 2019-11-05 | 2019-11-05 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019125335A true JP2019125335A (ja) | 2019-07-25 |
JP6623431B2 JP6623431B2 (ja) | 2019-12-25 |
Family
ID=67398888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018147317A Active JP6623431B2 (ja) | 2018-08-06 | 2018-08-06 | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6623431B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024140410A1 (zh) * | 2022-12-30 | 2024-07-04 | 优奈柯恩(北京)科技有限公司 | 确定相对位姿的方法和装置、扩展现实系统、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016109127A1 (en) * | 2014-12-29 | 2016-07-07 | Sony Computer Entertainment America Llc | Methods and systems for user interaction within virtual or augmented reality scene using head mounted display |
JP2016224823A (ja) * | 2015-06-02 | 2016-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム |
JP2017102297A (ja) * | 2015-12-02 | 2017-06-08 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
JP6234622B1 (ja) * | 2017-01-16 | 2017-11-22 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
JP2018005609A (ja) * | 2016-07-04 | 2018-01-11 | 株式会社コロプラ | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム |
JP2018072992A (ja) * | 2016-10-26 | 2018-05-10 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
-
2018
- 2018-08-06 JP JP2018147317A patent/JP6623431B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016109127A1 (en) * | 2014-12-29 | 2016-07-07 | Sony Computer Entertainment America Llc | Methods and systems for user interaction within virtual or augmented reality scene using head mounted display |
JP2016224823A (ja) * | 2015-06-02 | 2016-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム |
JP2017102297A (ja) * | 2015-12-02 | 2017-06-08 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
JP2018005609A (ja) * | 2016-07-04 | 2018-01-11 | 株式会社コロプラ | 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム |
JP2018072992A (ja) * | 2016-10-26 | 2018-05-10 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
JP6234622B1 (ja) * | 2017-01-16 | 2017-11-22 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024140410A1 (zh) * | 2022-12-30 | 2024-07-04 | 优奈柯恩(北京)科技有限公司 | 确定相对位姿的方法和装置、扩展现实系统、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6623431B2 (ja) | 2019-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2475178B1 (en) | Information processing program, information processing method and information processing apparatus | |
JP5586545B2 (ja) | ゲームシステム、携帯型ゲーム装置、情報処理部の制御方法、および情報処理部の制御プログラム | |
JP2013258614A (ja) | 画像生成装置および画像生成方法 | |
JP5757790B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び、情報処理方法 | |
JP2018050179A (ja) | 情報処理装置、画像生成方法およびヘッドマウントディスプレイ | |
CN110688002B (zh) | 虚拟内容的调整方法、装置、终端设备及存储介质 | |
US11300794B2 (en) | Recording medium, information processing system, and information processing method | |
JP6707224B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP6623431B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP6388270B1 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP6518645B2 (ja) | 情報処理装置および画像生成方法 | |
JP6923964B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP7043711B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP5739670B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
CN111819531B (zh) | 信息处理装置、记录介质、头戴式显示器和信息处理系统 | |
KR20180060403A (ko) | 영상 기반의 드론 제어장치 | |
JP5739673B2 (ja) | 画像表示プログラム、装置、システムおよび方法 | |
JP6675615B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システム | |
JP7078273B2 (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム | |
JP2019175470A (ja) | 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム | |
JP5639138B2 (ja) | 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6623431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |