JP2019125397A - 表示制御装置及び表示制御方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイのユーザの利便性を向上させる。【解決手段】ゲーム装置は、ヘッドマウントディスプレイを頭部に装着したユーザが使用する入力装置と、ヘッドマウントディスプレイとの間の相対位置に基づいて、仮想三次元空間に配置されたオブジェクトの位置を制御する位置制御部と、オブジェクトを含む仮想三次元空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部とを備える。位置制御部は、入力装置とヘッドマウントディスプレイの間の距離が第１の距離以上である場合、入力装置の位置の変化に応じてオブジェクトの位置を線形的に変化させ、入力装置とヘッドマウントディスプレイの間の距離が第１の距離未満である場合、距離が第１の距離以上である場合とは異なる基準にしたがってオブジェクトの位置を決定する。【選択図】図９

Description

本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイへの表示を制御する表示制御装置及び表示制御方法に関する。

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、より利便性の高い表示制御技術が必要であると認識した。

上記課題を解決するために、本発明のある態様の表示制御装置は、ヘッドマウントディスプレイを頭部に装着したユーザが使用する入力装置と、ヘッドマウントディスプレイとの間の相対位置に基づいて、仮想三次元空間に配置されたオブジェクトの位置を制御する位置制御部、オブジェクトを含む仮想三次元空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部、を備える。位置制御部は、入力装置とヘッドマウントディスプレイの間の距離が第１の距離以上である場合、入力装置の位置の変化に応じてオブジェクトの位置を線形的に変化させ、入力装置とヘッドマウントディスプレイの間の距離が第１の距離未満である場合、入力装置とヘッドマウントディスプレイの間の距離が第１の距離以上である場合とは異なる基準にしたがってオブジェクトの位置を決定する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、プログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。

実施の形態に係るゲームシステムの使用環境を示す図である。 実施の形態に係るヘッドマウントディスプレイの外観図である。 ヘッドマウントディスプレイの機能構成図である。 入力装置の外観構成を示す図である。 入力装置の内部構成を示す図である。 ゲーム装置の構成を示す図である。 ゲーム装置の機能構成図である。 ヘッドマウントディスプレイに表示される画像の例を示す図である。 図９（ａ）〜（ｄ）は、仮想世界に配置されたオブジェクトの表示方法を説明するための模式図である。 図１０（ａ）〜（ｄ）は、仮想世界に配置されたオブジェクトの表示方法を説明するための図である。 図１１（ａ）（ｂ）は、入力装置とヘッドマウントディスプレイの間の距離と、オブジェクトの表示方法との間の関係を示す図である。 図１２（ａ）〜（ｄ）は、仮想世界に配置されたオブジェクトの表示方法を説明するための模式図である。 ヘッドマウントディスプレイに表示される画像の例を示す図である。

本実施の形態では、ヘッドマウントディスプレイ（ＨＭＤ）を用いた表示技術について説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。

図１は、実施の形態に係るゲームシステム１の使用環境を示す。ゲームシステム１は、ゲームプログラムを実行するゲーム装置１０と、ユーザの指示をゲーム装置１０に入力するための入力装置２０と、ユーザの周囲の実空間を撮像する撮像装置１４と、ゲーム装置１０により生成される第１ゲーム画像を表示するヘッドマウントディスプレイ１００と、ゲーム装置１０により生成される第２ゲーム画像を表示する表示装置１２とを備える。

ゲーム装置１０は、入力装置２０又はヘッドマウントディスプレイ１００により入力される指示入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置又は姿勢などに基づいてゲームプログラムを実行し、第１ゲーム画像を生成してヘッドマウントディスプレイ１００に伝送し、第２ゲーム画像を生成して表示装置１２に伝送する。

ヘッドマウントディスプレイ１００は、ゲーム装置１０において生成された第１ゲーム画像を表示する。また、ヘッドマウントディスプレイ１００に設けられた入力装置に対するユーザの入力に関する情報をゲーム装置１０へ伝送する。ヘッドマウントディスプレイ１００は、ゲーム装置１０に有線ケーブルで接続されてもよく、また無線ＬＡＮなどにより無線接続されてもよい。

表示装置１２は、ゲーム装置１０において生成された第２ゲーム画像を表示する。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。

入力装置２０は、ユーザによる指示入力をゲーム装置１０に伝送する機能をもち、本実施の形態ではゲーム装置１０との間で無線通信可能な無線コントローラとして構成される。入力装置２０とゲーム装置１０は、Bluetooth（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力装置２０は、無線コントローラに限らず、ゲーム装置１０とケーブルを介して接続される有線コントローラであってもよい。

入力装置２０はバッテリにより駆動され、ゲームを進行させる指示入力を行うための複数のボタンを有して構成される。ユーザが入力装置２０のボタンを操作すると、その操作による指示入力が無線通信によりゲーム装置１０に送信される。

撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介してゲーム装置１０と接続する。撮像装置１４により撮像された画像は、ゲーム装置１０において、入力装置２０及びヘッドマウントディスプレイ１００の位置及び姿勢を導出するために用いられる。撮像装置１４は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置１４により、撮像装置１４と入力装置２０又はヘッドマウントディスプレイ１００などとの間の距離を取得することができる。

本実施例のゲームシステム１において、入力装置２０及びヘッドマウントディスプレイ１００は、複数色で発光可能に構成された発光部を有する。ゲーム中、発光部はゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される。撮像装置１４は入力装置２０を撮像し、フレーム画像を生成してゲーム装置１０に供給する。ゲーム装置１０はフレーム画像を取得して、フレーム画像における発光部の画像の位置及び大きさから、実空間における発光部の位置情報を導出する。ゲーム装置１０は、位置情報をゲームの操作指示として取り扱い、プレイヤーズキャラクタの動作を制御するなど、ゲームの処理に反映させる。

また、入力装置２０及びヘッドマウントディスプレイ１００は、加速度センサ及びジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置１０に送信され、ゲーム装置１０は、センサの検出値を取得して、実空間における入力装置２０及びヘッドマウントディスプレイ１００の姿勢情報を取得する。ゲーム装置１０は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、頭部接触部１１２、及び発光部１１４を備える。

本体部１１０には、ディスプレイ、位置情報を取得するためのＧＰＳユニット、姿勢センサ、通信装置などが備えられる。頭部接触部１１２には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが備えられてもよい。発光部１１４は、上述したように、ゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される画像においてヘッドマウントディスプレイ１００の位置を算出するための基準として機能する。

ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。

本実施の形態においては、ヘッドマウントディスプレイ１００について説明するが、本実施の形態の表示制御技術は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。

図３は、ヘッドマウントディスプレイ１００の機能構成図である。ヘッドマウントディスプレイ１００は、入力インタフェース１２２、出力インタフェース１３０、バックライト１３２、通信制御部１４０、ネットワークアダプタ１４２、アンテナ１４４、記憶部１５０、ＧＰＳユニット１６１、無線ユニット１６２、姿勢センサ１６４、外部入出力端子インタフェース１７０、外部メモリ１７２、時計部１８０、表示装置１９０、及び制御部１６０を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。

制御部１６０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース１２２は、入力ボタンなどから操作信号や設定信号を受け付け、制御部１６０に供給する。出力インタフェース１３０は、制御部１６０から画像信号を受け取り、表示装置１９０に表示させる。バックライト１３２は、表示装置１９０を構成する液晶ディスプレイにバックライトを供給する。

通信制御部１４０は、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、制御部１６０から入力されるデータを外部に送信する。通信制御部１４０は、また、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、外部からデータを受信し、制御部１６０に出力する。

記憶部１５０は、制御部１６０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

ＧＰＳユニット１６１は、制御部１６０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１６０に供給する。無線ユニット１６２は、制御部１６０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１６０に供給する。

姿勢センサ１６４は、ヘッドマウントディスプレイ１００の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ１６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。

外部入出力端子インタフェース１７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ１７２は、フラッシュメモリなどの外部メモリである。

時計部１８０は、制御部１６０からの設定信号によって時間情報を設定し、時間データを制御部１６０に供給する。

図４は、入力装置２０の外観構成を示す。図４（ａ）は、入力装置２０の上面構成を示し、図４（ｂ）は、入力装置２０の下面構成を示す。入力装置２０は、発光体２２およびハンドル２４を有する。発光体２２は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有する。内側の発光素子が発光すると、外側の球体全体が光る。ハンドル２４の上面には、操作ボタン３０、３２、３４、３６、３８が設けられ、下面には操作ボタン４０が設けられる。ユーザはハンドル２４の端部を手で把持した状態で、操作ボタン３０、３２、３４、３６、３８を親指で操作し、操作ボタン４０を人差し指で操作する。操作ボタン３０、３２、３４、３６、３８は、押下式に構成され、ユーザは押下することで操作する。操作ボタン４０は、アナログ量を入力できるものであってよい。

ユーザは表示装置１２に表示されるゲーム画面を見ながらゲームを行う。撮像装置１４は、ゲームアプリケーションの実行中に発光体２２を撮像する必要があるため、その撮像範囲が表示装置１２と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置１２の正面でゲームをプレイすることが多いため、撮像装置１４は、その光軸の方向が表示装置１２の正面方向と一致するように配置される。具体的に、撮像装置１４は、表示装置１２の近傍において、表示装置１２の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置１４は、入力装置２０を撮像できる。

図５は、入力装置２０の内部構成を示す。入力装置２０は、無線通信モジュール４８、処理部５０、発光部６２および操作ボタン３０、３２、３４、３６、３８、４０を備える。無線通信モジュール４８は、ゲーム装置１０の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部５０は、入力装置２０における所期の処理を実行する。

処理部５０は、メイン制御部５２、入力受付部５４、３軸加速度センサ５６、３軸ジャイロセンサ５８および発光制御部６０を有する。メイン制御部５２は、無線通信モジュール４８との間で必要なデータの送受を行う。

入力受付部５４は、操作ボタン３０、３２、３４、３６、３８、４０からの入力情報を受け付け、メイン制御部５２に送る。３軸加速度センサ５６は、ＸＹＺの３軸方向の加速度成分を検出する。３軸ジャイロセンサ５８は、ＸＺ平面、ＺＹ平面、ＹＸ平面における角速度を検出する。なお、ここでは、入力装置２０の幅方向をＸ軸、高さ方向をＹ軸、長手方向をＺ軸と設定する。３軸加速度センサ５６および３軸ジャイロセンサ５８は、入力装置２０のハンドル２４内に配置され、ハンドル２４内の中心近傍に配置されることが好ましい。無線通信モジュール４８は、操作ボタンからの入力情報とともに、３軸加速度センサ５６による検出値情報、および３軸ジャイロセンサ５８による検出値情報を、所定の周期でゲーム装置１０の無線通信モジュールに送信する。この送信周期は、たとえば１１．２５ｍ秒に設定される。

発光制御部６０は、発光部６２の発光を制御する。発光部６２は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃを有し、複数色の発光を可能とする。発光制御部６０は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を調整して、発光部６２を所望の色に発光させる。

無線通信モジュール４８はゲーム装置１０から発光指示を受け取ると、メイン制御部５２に供給し、メイン制御部５２は、発光制御部６０に発光指示を供給する。発光制御部６０は、発光部６２が発光指示により指定された色で発光するように、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を制御する。たとえば発光制御部６０は、各ＬＥＤをＰＷＭ（パルス幅変調）制御で点灯制御してもよい。

図６は、ゲーム装置１０の構成を示す。ゲーム装置１０は、フレーム画像取得部８０、画像処理部８２、デバイス情報導出部８４、無線通信モジュール８６、入力受付部８８、出力部９０およびアプリケーション処理部３００を備える。本実施例におけるゲーム装置１０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置１０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。なおハードウェアの構成上、ゲーム装置１０は複数のＣＰＵを有してもよい。

無線通信モジュール８６は、入力装置２０の無線通信モジュール４８との間で無線通信を確立する。これにより入力装置２０は、操作ボタンの状態情報、３軸加速度センサ５６および３軸ジャイロセンサ５８の検出値情報を、ゲーム装置１０に所定の周期で送信できるようになる。

無線通信モジュール８６は、入力装置２０から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部８８に供給する。入力受付部８８は、ボタン状態情報およびセンサ検出値情報を分離し、アプリケーション処理部３００に引き渡す。アプリケーション処理部３００は、ボタン状態情報およびセンサ検出値情報を、ゲームの操作指示として受け取る。アプリケーション処理部３００は、センサ検出値情報を、入力装置２０の姿勢情報として取り扱う。

フレーム画像取得部８０はＵＳＢインタフェースとして構成され、撮像装置１４から所定の撮像速度（たとえば３０フレーム／秒）でフレーム画像を取得する。画像処理部８２は、フレーム画像から発光体画像を抽出する。画像処理部８２は、フレーム画像中の発光体画像の位置、および大きさを特定する。入力装置２０の発光体２２が、たとえばユーザ環境内で使われそうにない色で点灯することで、画像処理部８２は、フレーム画像から高精度に発光体画像を抽出できる。画像処理部８２は、フレーム画像データを所定の閾値を用いて２値化処理し、２値化された画像を生成してもよい。この２値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“１”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“０”に符号化される。この所定の閾値を超える輝度で発光体２２を点灯させることで、画像処理部８２は、２値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部８２は、フレーム画像における発光体画像の重心座標と、発光体画像の半径を特定する。

デバイス情報導出部８４は、画像処理部８２で特定された発光体画像の位置および大きさから、撮像装置１４からみた入力装置２０およびヘッドマウントディスプレイ１００の位置情報を導出する。デバイス情報導出部８４は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径から、撮像装置１４からの距離情報を導出する。この位置座標および距離情報は、入力装置２０およびヘッドマウントディスプレイ１００の位置情報を構成する。デバイス情報導出部８４は、フレーム画像ごとに入力装置２０およびヘッドマウントディスプレイ１００の位置情報を導出し、アプリケーション処理部３００に引き渡す。アプリケーション処理部３００は、入力装置２０およびヘッドマウントディスプレイ１００の位置情報を、ゲームの操作指示として受け取る。

アプリケーション処理部３００は、入力装置２０の位置情報および姿勢情報と、ボタン状態情報とからゲームを進行させて、ゲームアプリケーションの処理結果を示す画像信号を生成する。画像信号は出力部９０から表示装置１２に送られ、表示画像として出力される。

図７は、ゲーム装置１０の機能構成図である。ゲーム装置１０のアプリケーション処理部３００は、制御部３１０及びデータ保持部３６０を備える。制御部３１０は、ゲーム制御部３１１、指示入力取得部３１２、ＨＭＤ情報取得部３１４、入力装置情報取得部３１５、第１画像生成部３１６、及び第２画像生成部３１７を備える。

データ保持部３６０は、ゲーム装置１０において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。

指示入力取得部３１２は、入力装置２０又はヘッドマウントディスプレイ１００が受け付けたユーザによる指示入力に関する情報を入力装置２０又はヘッドマウントディスプレイ１００から取得する。

ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００から、ヘッドマウントディスプレイの姿勢に関する情報を取得する。また、ＨＭＤ情報取得部３１４は、デバイス情報導出部８４から、ヘッドマウントディスプレイ１００の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。ヘッドマウントディスプレイ１００の姿勢に関する情報は、デバイス情報導出部８４がヘッドマウントディスプレイ１００の撮像画像を解析することにより取得されてもよい。

入力装置情報取得部３１５は、入力装置２０から、入力装置２０の姿勢に関する情報を取得する。また、入力装置情報取得部３１５は、デバイス情報導出部８４から、入力装置２０の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。入力装置２０の姿勢に関する情報は、デバイス情報導出部８４が入力装置２０の撮像画像を解析することにより取得されてもよい。

入力装置２０が撮像装置１４の撮像範囲から外れたり、ユーザの体や障害物などに隠されたりして、撮像装置１４により撮像されなかった場合、入力装置情報取得部３１５は、前回取得された入力装置２０の位置と、その時点以降に取得された入力装置２０の姿勢に関する情報に基づいて、入力装置２０の位置を算出する。例えば、入力装置２０の加速度センサから取得される並進加速度のデータに基づいて、前回取得された入力装置２０の位置からのずれを算出することにより、現在の入力装置２０の位置を算出してもよい。入力装置２０が撮像装置１４により撮像されない間は、同様にして入力装置２０の位置を逐次算出する。入力装置２０が撮像装置１４により再度撮像された場合、加速度データにより逐次算出された入力装置２０の位置は、ドリフト誤差の累積により正確な位置を示していない可能性があるので、デバイス情報導出部８４により新たに算出された入力装置２０の位置を現在の入力装置２０の位置としてもよい。ヘッドマウントディスプレイ１００についても同様である。

ゲーム制御部３１１は、ゲームプログラムを実行し、指示入力取得部３１２が取得したユーザによる指示入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置又は姿勢に関する情報に基づいてゲームを進行させる。ゲーム制御部３１１は、仮想的な三次元空間により構成されるゲームフィールドにおいて、入力装置２０の方向キーやアナログスティックなどによる入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置の変化などに基づいて、操作対象であるプレイヤーズキャラクタなどの位置を変更する。

第１画像生成部３１６は、ヘッドマウントディスプレイ１００に表示すべき画像を生成する。第１画像生成部３１６は、ゲーム制御部３１１により制御される操作対象の位置に基づいて視点位置を設定し、ヘッドマウントディスプレイ１００の姿勢に基づいて視線方向を設定して、仮想三次元空間をレンダリングすることにより、ゲームフィールドの画像を生成する。第１画像生成部３１６は、所定のタイミングでヘッドマウントディスプレイ１００の姿勢とゲームフィールドにおける視線方向とを対応づけ、以降、ヘッドマウントディスプレイ１００の姿勢の変化に伴って、視線方向を変化させる。これにより、ユーザは、実際に頭を動かすことにより、ゲームフィールド内を見渡すことができるので、ゲームフィールド内に現実に存在しているかのような体験をすることができる。第１画像生成部３１６は、生成したゲームフィールドの画像に、ゲームに関する情報やヘッドマウントディスプレイ１００に表示すべき画像などを追加して、第１画像を生成する。第１画像生成部３１６により生成された第１画像は、無線通信モジュール又は有線通信モジュールを介してヘッドマウントディスプレイ１００に送信される。

第２画像生成部３１７は、表示装置１２に表示すべき画像を生成する。ヘッドマウントディスプレイ１００に表示される画像と同じ画像を表示装置１２に表示する場合は、第１画像生成部３１６により生成された第１画像が表示装置１２にも送信される。ヘッドマウントディスプレイ１００に表示される画像とは異なる画像を表示装置１２に表示する場合、例えば、ヘッドマウントディスプレイ１００を装着したユーザと、表示装置１２を視聴しているユーザとが、対戦ゲームを実行する場合などは、第２画像生成部３１７は、第１画像生成部３１６とは異なる視点位置及び視線方向を設定して仮想三次元空間をレンダリングすることによりゲームフィールドの画像を生成する。第２画像生成部３１７は、生成したゲームフィールドの画像に、ゲームに関する情報や表示装置１２に表示すべき画像などを追加して、第２画像を生成する。第２画像生成部３１７により生成された第２画像は、無線通信モジュール又は有線通信モジュールを介して表示装置１２に送信される。

図８は、ヘッドマウントディスプレイに表示される画像の例を示す。ゲーム制御部３１１は、仮想三次元空間のゲームフィールドに配置されたオブジェクトを手にとって観察する機能を提供する。オブジェクトの位置を制御する位置制御部としても機能するゲーム制御部３１１は、入力装置２０とヘッドマウントディスプレイ１００との間の相対位置に基づいて、入力装置２０に対応するゲームフィールドの位置に仮想ユーザの手５０２を配置する。ユーザが、ゲームフィールドに配置されたオブジェクト５００の近傍の所定の範囲内に仮想ユーザの手５０２が入るように入力装置２０を移動させ、所定のボタンを入力すると、ゲーム制御部３１１は、仮想ユーザの手５０２の上にオブジェクト５００を移動させる。

仮想ユーザの手５０２及びオブジェクト５００は、入力装置２０とヘッドマウントディスプレイ１００との間の相対位置の変化に伴ってゲーム制御部３１１により移動されるので、オブジェクト５００を拡大表示させてより詳細に観察するためには、現実世界と同様に、入力装置２０を把持している手をヘッドマウントディスプレイ１００の方へ近づけることにより、仮想ユーザの手５０２を仮想ユーザの目の方へ近づければよい。このとき、ヘッドマウントディスプレイ１００に表示される画像は、両眼立体視のための視差画像であるから、オブジェクト５００を近づけ過ぎると、視差が大き過ぎて焦点を合わせにくくなってしまい、かえって見づらくなってしまう。したがって、本実施の形態では、入力装置２０とヘッドマウントディスプレイ１００の間の距離が所定の第１の距離よりも短くなるように入力装置２０がヘッドマウントディスプレイ１００の方へ近づけられた場合、仮想世界においてオブジェクトを視点位置に近づけるのではなく、視点位置との間の距離を第２の距離以上に保ったままオブジェクトを拡大させることにより、オブジェクトを拡大表示させる。これにより、視差画像を利用した立体視を実現するヘッドマウントディスプレイにおいて、視点位置に近づけられたオブジェクトを見やすく表示することができるので、ユーザの利便性を向上させることができる。

図９は、仮想世界に配置されたオブジェクトの表示方法を説明するための模式図である。図９（ａ）に示した位置に配置されていたオブジェクト５００が、仮想ユーザの手５０２の上に乗せられた後、入力装置２０がヘッドマウントディスプレイ１００の方へ近づけられると、入力装置２０とヘッドマウントディスプレイ１００の間の距離が短くなるにつれて、図９（ｂ）に示すように、オブジェクト５００が視点位置の方へ近づけられる。入力装置２０が更にヘッドマウントディスプレイ１００の方へ近づけられ、図９（ｃ）に示すように、オブジェクト５００と視点位置との間の距離が第２の距離に達すると、ゲーム制御部３１１は、入力装置２０がヘッドマウントディスプレイ１００の方へそれ以上近づけられても、オブジェクト５００を視点位置の方へ近づけない。すなわち、図９（ｄ）に示すように、オブジェクト５００をそのままオブジェクト５０４の位置に移動させるのではなく、第２の距離よりも離れた位置で拡大させる。

このように、本実施の形態によれば、入力装置２０を第１の距離より近づけた場合であっても、オブジェクト５００を見やすく表示することができるが、見やすく表示するがゆえに、ユーザが入力装置２０を眼前に近づけ過ぎてしまい、入力装置２０がヘッドマウントディスプレイ１００の筐体に当たってしまう事態が生じうる。したがって、本実施の形態では、ユーザが入力装置２０をヘッドマウントディスプレイ１００の方へ近づけ過ぎないようにするために、入力装置２０とヘッドマウントディスプレイ１００の間の距離が、ヘッドマウントディスプレイ１００の筐体の端とユーザの目の間の距離よりも長い第３の距離に達すると、オブジェクト５００の視認性を低下させ、見づらくなるように表示する。具体的には、入力装置２０とヘッドマウントディスプレイ１００の間の距離が第３の距離よりも短くなると、オブジェクト５００を急激に拡大させ、オブジェクト５００の全体像が表示されないようにする。これにより、ユーザが入力装置２０をそれ以上近づけさせないようにし、入力装置２０がヘッドマウントディスプレイ１００に当たってしまう事態を低減させることができる。

図１０は、仮想世界に配置されたオブジェクトの表示方法を説明するための図である。図１０（ａ）は、オブジェクト５００が図９（ａ）に示した位置に配置されているときの表示画面を示す。入力装置２０がヘッドマウントディスプレイ１００の方へ近づけられると、入力装置２０とヘッドマウントディスプレイ１００の間の距離が短くなるにつれて、オブジェクト５００が視点位置の方へ近づけられるので、図１０（ｂ）に示すように、オブジェクト５００がより大きく表示される。入力装置２０が更にヘッドマウントディスプレイ１００の方へ近づけられ、入力装置２０とヘッドマウントディスプレイ１００との間の距離が第３の距離を下回ると、そのまま線形的にオブジェクト５００が拡大された場合は図１０（ｃ）のように表示されるところ、オブジェクト５００を急激に拡大させて図１０（ｄ）のように表示する。これにより、オブジェクト５００が拡大され過ぎて全体を視認することができなくなるので、ユーザが入力装置２０をそれ以上眼前に近づけないようにさせることができる。

図１１は、入力装置とヘッドマウントディスプレイの間の距離と、オブジェクトの表示方法との間の関係を示す。図１１（ａ）は、現実世界における入力装置２０とヘッドマウントディスプレイ１００の距離と、仮想世界におけるオブジェクトと視点位置の間の距離との関係を示し、図１１（ｂ）は、現実世界における入力装置２０とヘッドマウントディスプレイ１００の間の距離と、仮想世界におけるオブジェクトの拡大率との関係を示す。入力装置２０とヘッドマウントディスプレイ１００との間の距離が第１の距離ｘ４よりも長い場合、すなわち、オブジェクトと視点位置との間の距離が第２の距離ｓ１よりも長い場合、ゲーム制御部３１１は、入力装置２０とヘッドマウントディスプレイ１００の距離の変化にしたがって、オブジェクトと視点位置の間の距離を線形的に変化させる。このとき、オブジェクトの拡大率は１であり、拡大も縮小もされない。

入力装置２０とヘッドマウントディスプレイ１００の間の距離がｘ４よりも短い場合、ゲーム制御部３１１は、距離がｘ４よりも長い場合とは異なる基準でオブジェクトの位置を決定する。具体的には、オブジェクトと視点位置の間の距離を第２の距離ｓ１より短くせず、オブジェクトを視点位置から第２の距離ｓ１よりも遠い位置に拡大して配置する。入力装置２０とヘッドマウントディスプレイ１００の間の距離が短くなるにつれて、オブジェクトをより大きく表示させるために、オブジェクトの拡大率は増加される。入力装置２０とヘッドマウントディスプレイ１００の距離の変化にしたがって、オブジェクトの拡大率は線形的に変化されてもよいし、非線形的に変化されてもよい。オブジェクトと視点位置の間の距離は、ｓ１のまま固定されてもよいし、図１１（ａ）に示すように、ｓ１より長くされてもよく、入力装置２０とヘッドマウントディスプレイ１００の間の距離が短くなるにつれて、オブジェクトが視点位置から離されてもよい。入力装置２０とヘッドマウントディスプレイ１００の距離の変化にしたがって、オブジェクトと視点位置の間の距離は線形的に変化されてもよいし、非線形的に変化されてもよい。

入力装置２０とヘッドマウントディスプレイ１００の間の距離が第３の距離ｘ３よりも短くなると、ゲーム制御部３１１は、オブジェクトの表示サイズを、距離が第３の距離ｘ３よりも長い場合の基準により決定される表示サイズよりも大きくする。本図の例では、入力装置２０とヘッドマウントディスプレイ１００の間の距離が第３の距離ｘ３よりも短くなると、オブジェクトは急激に拡大される。この場合も、入力装置２０とヘッドマウントディスプレイ１００の距離の変化にしたがって、オブジェクトの拡大率は線形的に変化されてもよいし、非線形的に変化されてもよい。また、オブジェクトの拡大率は不連続的に変化されてもよい。

入力装置２０がヘッドマウントディスプレイ１００の筐体に当たる距離ｘ１と距離ｘ２の間の範囲では、入力装置２０とヘッドマウントディスプレイ１００の間の距離によらず、視点位置とオブジェクトの間の距離も、オブジェクトの拡大率も一定である。すなわち、入力装置２０を距離ｘ２よりヘッドマウントディスプレイ１００に近づけてもオブジェクトの表示は変わらない。これによっても、ユーザが入力装置２０をそれ以上眼前に近づけさせないようにすることができる。

上記の例では、視点位置とオブジェクトの間の距離を第２の距離以上離すことにより、オブジェクトが視点位置に近づき過ぎて焦点を合わせづらくなる事態を回避したが、別の例では、視点位置とオブジェクトの間の距離が第２の距離よりも短い場合に、両眼立体視のための視差画像を生成する際の視差の量を、視点位置とオブジェクトの間の距離に対応する量より小さくしてもよい。これにより、オブジェクトに対する遠近感は本来のものとは異なるものの、オブジェクトの視認性を向上させることができる。この場合、入力装置２０とヘッドマウントディスプレイ１００の間の距離が第３の距離よりも短くなると、オブジェクトに対する視差の量を大きくし、オブジェクトの視認性を低下させてもよい。

図１２は、仮想世界に配置されたオブジェクトの表示方法を説明するための模式図である。オブジェクトの大きさが比較的小さい場合や、図１２（ａ）に示すように、オブジェクト５０６の手前側の面が視線方向と垂直になるようにオブジェクト５０６が配置されている場合などは、オブジェクトの重心位置又はオブジェクトの手前側の面の重心位置と視点位置の間の距離に基づいて、図１１に示したようにオブジェクト５０６の表示方法が決定されるが、図１２（ｂ）（ｃ）に示すように、比較的大きなオブジェクト５０６が視線方向に対して傾いて配置されている場合や、図１２（ｄ）に示すように、ユーザがオブジェクトの手前側の面の重心位置とは異なる部分を注視している場合などは、ユーザが注視している位置によって視点位置との間の距離が大きく異なるので、例えば、図１２（ｃ）に示すように、オブジェクト５０６の手前側の部分をユーザが注視している場合には、近過ぎて焦点を合わせづらい場合がある。したがって、本実施の形態では、ユーザが注視している部分、すなわち、ユーザの視線方向とオブジェクト５０６の手前側の面との交点と、視点位置との間の距離に基づいて、オブジェクト５０６の表示方法を決定する。具体的には、ユーザが注視している部分と視点位置の間の距離が第２の距離よりも短い場合、ユーザが注視している部分は近過ぎて焦点が合いにくいので、図１１に示した方法にしたがって、オブジェクト５０６の配置位置を遠くにずらし、オブジェクト５０６を拡大させる。これにより、ユーザが注視している部分の視認性を向上させることができる。なお、ユーザの視線方向は、ヘッドマウントディスプレイ１００の姿勢から算出してもよいし、ヘッドマウントディスプレイ１００の内側にユーザの眼球を撮影するカメラを設け、眼球の方向から算出してもよいし、既知の任意の視線追跡技術を用いて算出してもよい。

図１３は、ヘッドマウントディスプレイに表示される画像の例を示す。本図は、入力装置２０の移動により視点位置を移動させる機能の表示画面を示す。上述した例では、ヘッドマウントディスプレイ１００の移動により視点位置が移動されたが、ユーザが座った状態でゲームを実行する場合、ヘッドマウントディスプレイ１００を大きく移動させることは難しい。また、ヘッドマウントディスプレイ１００の移動により視点位置を大きく移動させることを可能とするために、ヘッドマウントディスプレイ１００のわずかな移動によっても視点位置を移動させるようにすると、視点位置のぶれによる酔いが生じやすい。したがって、本実施の形態では、ヘッドマウントディスプレイ１００よりも移動させることが容易である入力装置２０の移動により視点位置を移動させる機能を提供する。これにより、身体の中で最も可動範囲の広い手を用いて視点位置を移動させることができるので、ユーザの利便性を向上させることができる。

表示画面には、仮想ユーザの手５０８の一部が表示されている。図８の例とは異なり、仮想ユーザの手５０８の全体は表示されず、指側の一部のみが表示されているので、ユーザ自身が仮想ユーザの手５０８の上に乗って移動しているように思わせることができる。入力装置２０が移動されたとき、現実世界における入力装置２０の移動量と同程度の量で視点位置が移動されてもよいし、より大きな量で視点位置が移動されてもよい。入力装置２０が表示画面に平行な方向、すなわち左右又は上下に移動された場合と、表示画面に垂直な方向、すなわち奥行き方向に移動された場合とで、視点位置の移動量を異ならせてもよい。例えば、水平方向に移動された場合は、現実世界における入力装置２０の移動量と同程度に視点位置が移動されるが、垂直方向に移動された場合は、より大きな量で視点位置が移動されてもよい。なお、仮想ユーザの手の一部が表示される場合の方が、表示されない場合よりも酔いが生じにくいことが、本発明者らの実験により明らかになっている。また、仮想ユーザの手の一部は、より大きく表示する方が、小さく表示する場合よりも酔いが生じにくい。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の例では、ヘッドマウントディスプレイ１００の表示装置１９０に両眼立体視用の画像が表示されたが、別の例では、単眼立体視用の画像が表示されてもよい。

上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ１００が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。

１０ ゲーム装置、２０ 入力装置、１００ ヘッドマウントディスプレイ、１９０ 表示装置、３１１ ゲーム制御部、３１２ 指示入力取得部、３１４ ＨＭＤ情報取得部、３１５ 入力装置情報取得部、３１６ 第１画像生成部、３１７ 第２画像生成部。

Claims (6)

1. ヘッドマウントディスプレイを頭部に装着したユーザが使用する入力装置と、前記ヘッドマウントディスプレイとの間の相対位置に基づいて、仮想三次元空間に配置されたオブジェクトの位置を制御する位置制御部、
   前記オブジェクトを含む前記仮想三次元空間の画像を生成し、前記ヘッドマウントディスプレイに表示させる表示制御部、
   を備え、
   前記位置制御部は、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離以上である場合、前記入力装置の位置の変化に応じて前記オブジェクトの位置を線形的に変化させ、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離未満である場合、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離以上である場合とは異なる基準にしたがって前記オブジェクトの位置を決定する
   ことを特徴とする表示制御装置。
2. 視線方向と前記オブジェクトとの交点の位置と、視点位置との間の距離が第２の距離未満となる場合、前記位置制御部は、前記交点の位置と視点位置との間の距離が前記第２の距離以上となる位置に前記オブジェクトを配置し、前記表示制御部は、前記オブジェクトを拡大することにより前記オブジェクトを拡大表示させることを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記入力装置と前記ヘッドマウントディスプレイの間の距離が、前記第１の距離よりも短い第３の距離未満である場合、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第３の距離以上である場合の基準により決定されるオブジェクトの表示サイズよりも大きなサイズで前記オブジェクトを表示することを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記表示制御部は、前記ヘッドマウントディスプレイ又は前記入力装置の移動に応じて視点位置を変更することを特徴とする請求項１から３のいずれかに記載の表示制御装置。
5. 位置制御部が、ヘッドマウントディスプレイを頭部に装着したユーザが使用する入力装置と、前記ヘッドマウントディスプレイとの間の相対位置に基づいて、仮想三次元空間に配置されたオブジェクトの位置を制御するステップと、
   表示制御部が、前記オブジェクトを含む前記仮想三次元空間の画像を生成し、前記ヘッドマウントディスプレイに表示させるステップと、
   を備え、
   前記位置制御部は、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離以上である場合、前記入力装置の位置の変化に応じて前記オブジェクトの位置を線形的に変化させ、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離未満である場合、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離以上である場合とは異なる基準にしたがって前記オブジェクトの位置を決定する
   ことを特徴とする表示制御方法。
6. コンピュータを、
   ヘッドマウントディスプレイを頭部に装着したユーザが使用する入力装置と、前記ヘッドマウントディスプレイとの間の相対位置に基づいて、仮想三次元空間に配置されたオブジェクトの位置を制御する位置制御部、
   前記オブジェクトを含む前記仮想三次元空間の画像を生成し、前記ヘッドマウントディスプレイに表示させる表示制御部、
   として機能させ、
   前記位置制御部は、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離以上である場合、前記入力装置の位置の変化に応じて前記オブジェクトの位置を線形的に変化させ、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離未満である場合、前記入力装置と前記ヘッドマウントディスプレイの間の距離が第１の距離以上である場合とは異なる基準にしたがって前記オブジェクトの位置を決定する
   ことを特徴とする表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images