JP2017058971A - プログラムおよび画像生成装置 - Google Patents

Abstract

【課題】ヘッドトラッキング式のＶＲ−ＨＭＤを採用したゲーム等の映像コンテンツにおいて、新しい情報表示の技術を提供する。
【解決手段】ＶＲ−ＨＭＤに表示される画像に注視判定領域３０を設け、当該領域内に所定時間以上写っているカットオブジェクト２４を注視オブジェクトとし、当該オブジェクトに設定されている階層構造のメニュー項目のうち、第１層のメニュー項目を表す第１層メニュー表示オブジェクト４１ａ、４１ｂ、４１ｃ、…を、当該注視オブジェクトを基準として定義される左右方向軸５１に配列表示させる。所望する第１層メニュー表示オブジェクトを注視判定領域３０に写すように頭部を動かして注視オブジェクトとして検出させると、対応する第１層のメニュー項目が選択決定され、当該メニュー項目の次下位階層のメニュー項目を表す第２層メニュー表示オブジェクト４２ａ、４２ｂ、４２ｃ、・・・が上下方向軸５２に配列表示される。
【選択図】図９

Description

本発明は、コンピュータに、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイに表示するための画像を生成させるためのプログラム等に関する。

頭部装着型ディスプレイであるヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）を用いた遊戯施設（アトラクション）やゲームの技術としては、例えば、特許文献１〜特許文献３が知られている。また、ＨＭＤは、ヘッドトラッキング式のバーチャルリアリティ技術と親和性が高く、臨場感と迫力の有る仮想現実体験を提供するためのキーデバイスとして近年注目されている。

ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（ＶＲ−ＨＭＤ）を採用したゲーム等の醍醐味は、プレーヤ（ユーザ）が頭の向きを変えるだけで見たい方向をリアルタイムに見ることができるところである。固定されたビデオディスプレイに映される映像を見る従来の固定画面方式では絶対に味わうことのできない圧倒的な体感である。

特開平５−３０５１８１号公報 特開２０００−２１０４６８号公報 特開２００３−１２５３１３号公報

バーチャルリアリティ・ヘッドマウントディスプレイ（ＶＲ−ＨＭＤ）を採用した場合、メニューの見せ方・表示のさせ方は、使い勝手の点で大きな影響を及ぼし、ひいてはゲームの魅力を左右する。

さて、ビデオゲームなどの一部の映像コンテンツでは、プレーヤによるメニュー選択を何度となく必要とするが、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（ＶＲ−ＨＭＤ）を採用していてもなおメニュー選択操作はプレーヤが手に持って操作するゲームコントローラへの手動操作入力に頼っている。同様の事は、メニュー選択操作に限らず、オブジェクトに関する情報（例えば、プレーヤキャラクタのステータス情報など）を表示させるなどの各種情報表示においても当てはまる。

本発明は、ヘッドトラッキング式のＶＲ−ＨＭＤを採用したゲーム等の映像コンテンツにおいて、新しい情報表示の技術を提供することである。より望ましくは、手動操作に依存しない新しい情報表示操作技術を提供し、ＶＲ−ＨＭＤにて実現される圧倒的な仮想現実感に近未来的な操作感を加え、より映像体験の魅力を高めることを目的として考案されたものである。

上述した課題を解決するための第１の発明は、コンピュータに、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成させるためのプログラムであって、
前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段（例えば、図１２の処理部２００、ゲーム演算部２０２、仮想空間設定部２１０、図１７のステップＳ１０）、
前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段（例えば、図１２の処理部２００、ゲーム演算部２０２、ＨＭＤ位置姿勢検出部２１２，視線方向判定部２１４、図１７のステップＳ１２）、
前記複数のオブジェクトのうちの何れかのオブジェクトが前記視線方向の先に位置したことを検出し、当該検出結果を用いて当該オブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段（例えば、図１２の処理部２００、ゲーム演算部２０２、選択オブジェクト判定部２２０、図１７のステップＳ１８）、
複数の情報配列方向が相対的かつ３次元的に定められた情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示する情報配列表示制御手段（例えば、図１２の処理部２００、ゲーム演算部２０２、情報配列表示制御部２３０、図１７のステップＳ７０〜Ｓ７４、図１８のステップＳ１２０〜Ｓ１３６）、
として前記コンピュータを機能させるためのプログラムである。

第１の発明によれば、仮想空間におけるＶＲ−ＨＭＤの視線方向を変えて所望するオブジェクトに向けると、当該オブジェクトが選択オブジェクトとして選択される。そして、当該選択オブジェクトに関する情報が、当該選択オブジェクトの位置を基点とし、且つ、視線方向に対する情報配列方向が所与の相対関係となるような情報配列となって仮想空間に配置表示される。

つまり、ヘッドトラッキング式のＶＲ−ＨＭＤを採用したゲーム等の映像コンテンツにおいて、手動操作に依存しない新しい情報表示が可能になる。
視線の先に位置するオブジェクトの情報が、その周囲を取り巻くように仮想空間に表示される様子は、ＶＲ−ＨＭＤが提供する圧倒的な仮想現実感に近未来的な操作感を加え、より映像体験の魅力を高める。

第２の発明は、前記情報配列表示制御手段が、前記仮想空間における前記ＶＲ−ＨＭＤの視点位置から前記選択オブジェクトまでの距離に応じて、前記情報配列の大きさを変更する、第１の発明のプログラムである。

第２の発明によれば、情報配列の大きさを変更して、視界内での情報配列の広がりを適切に調整することが可能になる。

第３の発明は、前記情報配列表示制御手段が、前記情報配列の左右方向の大きさが、前記視線方向を基準とする左右視野角６０〜８０度のうちの所定角度を超える場合、当該角度以内に収まるように前記情報配列の大きさを変更する、第２の発明のプログラムである。

左右視野角６０〜８０度は、人間が頭部を動かさずに自然に視認可能な範囲である。
第３の発明によれば、眼球を左右に振らずに一瞥で認識できる範囲に情報配列を納めることができる。

第４の発明は、同一の前記選択オブジェクトを前記選択オブジェクト選択手段が選択している選択継続時間を計時して、前記情報配列表示制御手段による前記情報配列の配置表示を開始させるか否かを判定する表示開始判定手段（例えば、図１２の処理部２００、ゲーム演算部２０２、表示開始判定部２２２、図１６の注視継続時間７２３、図２０のステップＳ５０〜Ｓ５２）、として前記コンピュータを更に機能させるための第１〜第３の何れかの発明のプログラムである。

第４の発明によれば、仮想空間におけるＶＲ−ＨＭＤの視線方向とどの程度継続して向けられていたかで選択オブジェクトの選択を確定することができる。従って、視線を巡らせる過程で偶発的に選択オブジェクトが選択されて情報配列が表示されてしまうといった不具合を回避することができる。

第５の発明は、コンピュータに、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成させるためのプログラムであって、前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段、複数の情報配列方向が相対的かつ３次元的に定められた情報配列を所定の配置条件で前記仮想空間に配置表示し、前記情報配列の大きさが、前記視線方向を基準とする所定の有効視野を超える場合、当該有効視野内に収まるように前記情報配列の大きさを変更して表示する情報配列表示制御手段、として前記コンピュータを機能させるためのプログラムである。

有効視野とは、人間が頭部を動かさずに自然に視認可能な範囲である。
第５の発明によれば、第３の発明と同様の効果を得ることができる。すなわち、眼球を左右に振らずに一瞥で認識できる範囲に情報配列を納めることができる。

また、この際、第６の発明として、
前記複数のオブジェクトのうちの何れかのオブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段として前記コンピュータを更に機能させ、
前記情報配列表示制御手段が、前記情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示し、更に、前記情報配列の大きさが、前記有効視野を超える場合、当該有効視野内に収まるように前記情報配列の大きさを変更して表示する、
第５の発明のプログラムを構成することとしてもよい。

第７の発明は、コンピュータに、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成させるためのプログラムであって、前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段、前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段、マイクから入力された音声を認識する音声認識手段、（例えば、図１２の処理部２００、ゲーム演算部２０２、音声認識部２０８、図１７のステップＳ１２）、前記音声認識手段による認識結果に基づいて、前記複数のオブジェクトのうちの何れかのオブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段、複数の情報配列方向が相対的かつ３次元的に定められた情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示する情報配列表示制御手段、として前記コンピュータを機能させるためのプログラムである。

第７の発明によれば、音声認識により選択されたオブジェクトを基点として視界方向に情報配列表示を行う新しい情報表示技術が実現可能になる。

第８の発明は、前記オブジェクトには、前記情報配列に対する基準方向が関連付けられており、前記情報配列は、階層構造の配列であって、前記情報配列方向が階層毎に定められており、前記情報配列表示制御手段は、第１階層の情報配列方向が、前記選択オブジェクトに関連付けられた前記基準方向に沿うように前記情報配列を配置表示する、第１〜第７の何れかの発明のプログラムである。

第８の発明によれば、情報配列の情報配列方向を階層別に設定することができ、第１階層の情報配列方向が選択オブジェクトの基準方向に沿うように情報配列を表示させることができる。

第９の発明は、前記情報配列が、階層構造の項目の配列であって、前記情報配列方向が階層毎に定められた構成を有しており、前記情報配列表示制御手段により前記情報配列として表示された前記項目の中から、階層順に、項目を選択する項目選択手段（例えば、図１２の処理部２００、ゲーム演算部２０２、項目選択部２３２、図１８のステップＳ１３２のＮＯ〜Ｓ１３６）として前記コンピュータを更に機能させ、前記情報配列表示制御手段は、前記項目選択手段による項目選択と合わせて、階層順に、対応する情報配列方向に、対応する項目を配列表示する、第１〜第８の何れかの発明のプログラムである。

第９の発明によれば、情報配列の情報配列方向を階層別に設定することができる。ユーザは、ある階層について配列表示された項目の中から項目を選択すると、その階層の情報配列方向とは異なる方向に次階層についての項目が選択可能に配列表示される。したがって、ＶＲ−ＨＭＤ画像を視聴しているユーザにとって、視認し易い選択方法を採用することができる。

第１０の発明は、前記情報配列表示制御手段が、前記項目選択手段による選択前後の階層の項目配列を交差する方向に配列表示する、第９の発明のプログラムである。

第１０の発明によれば、選択前後の階層の項目配列を交差する方向に配列表示できるので、階層表示を立体的に見やすく表示することができる。

第１１の発明は、前記ＶＲ−ＨＭＤの動きからユーザの首振りを検出する首振り検出手段（例えば、図１２の首振り検出部２３６、図１７のステップＳ１００）として前記コンピュータを更に機能させ、前記情報配列表示制御手段は、前記首振り検出手段による首振りが検出された場合に、前記情報配列の表示を消去する情報配列表示消去手段（例えば、図１２の情報配列表示消去制御部２３８、図１７のステップＳ１０２）を有する、第１〜第１０の何れかの発明のプログラムである。

第１１の発明によれば、プレーヤは首振り動作することで、情報配列表示を解除・消去することができるようになる。

第１２の発明は、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（ＶＲ−ＨＭＤ）に表示するための画像（ＶＲ−ＨＭＤ画像）を生成する画像生成装置であって、
前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段（例えば、図１の制御基板１０５０、図１２の処理部２００、ゲーム演算部２０２、仮想空間設定部２１０、図１７のステップＳ１０）と、
前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段（例えば、図１の制御基板１０５０、図１２の処理部２００、ゲーム演算部２０２、ＭＤＤ位置姿勢検出部２１２，視線方向判定部２１４、図１７のステップＳ１２）と、
前記複数のオブジェクトのうちの何れかのオブジェクトが前記視線方向の先に位置したことを検出し、当該検出結果を用いて当該オブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段（例えば、図１の制御基板１０５０、図１２の処理部２００、ゲーム演算部２０２、選択オブジェクト判定部２２０、図１７のステップＳ１８）と、
複数の情報配列方向が相対的かつ３次元的に定められた情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示する情報配列表示制御手段（例えば、図１の制御基板１０５０、図１２の処理部２００、ゲーム演算部２０２、情報配列表示制御部２３０、図１７のステップＳ７０〜Ｓ７４、図１８のステップＳ１２０〜Ｓ１３６）と、を備えた画像生成装置である。

第１２の発明によれば、第１の発明と同様の作用効果を奏する画像生成装置を実現できる。

第１３の発明は、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成する画像生成装置であって、前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段と、前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段と、複数の情報配列方向が相対的かつ３次元的に定められた情報配列を所定の配置条件で前記仮想空間に配置表示し、前記情報配列の大きさが、前記視線方向を基準とする所定の有効視野を超える場合、当該有効視野内に収まるように前記情報配列の大きさを変更して表示する情報配列表示制御手段と、を備えた画像生成装置である。

第１３の発明によれば、第５の発明と同様の作用効果を発揮する画像生成装置を実現できる。

第１４の発明は、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成する画像生成装置であって、前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段と、前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段と、マイクから入力された音声を認識する音声認識手段と、前記音声認識手段による認識結果に基づいて、前記複数のオブジェクトのうちの何れかのオブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段と、複数の情報配列方向が相対的かつ３次元的に定められた情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示する情報配列表示制御手段と、を備えた画像生成装置である。

第１４の発明によれば、第７の発明と同様の作用効果を発揮する画像生成装置を実現できる。

画像生成装置であるゲーム装置の構成の一例を示す図。 ゲームコントローラの構成例を示す図。 ヘッドセットの構成の一例を示す図。 測距空間の座標系と測距・認識される要素について説明する図。 ＨＭＤに表示させるプ立体視画像（ゲーム画像）を生成するための仮想空間と、仮想空間に配置されるオブジェクトとの一例を示す図。 （１）ＨＭＤに表示されるゲーム画面例と、（２）仮想ステレオカメラとメニュー割当オブジェクトとの距離関係を示す図、（３）ゲーム空間内における仮想ステレオカメラとメニュー割当オブジェクトとの配置状況を示す俯瞰図。 図６につづく状況における、（１）ＨＭＤに表示されるゲーム画面例と、（２）仮想ステレオカメラとメニュー割当オブジェクトとの距離関係を示す図、（３）ゲーム空間内における仮想ステレオカメラとメニュー割当オブジェクトとの配置状況を示す俯瞰図。 図７につづく状況における、（１）ＨＭＤに表示されるゲーム画面例と、（２）仮想ステレオカメラとメニュー割当オブジェクトとの距離関係を示す図、（３）ゲーム空間内における仮想ステレオカメラとメニュー割当オブジェクトとの配置状況を示す俯瞰図。 メニュー表示オブジェクトの選択方法、すなわちメニュー項目の選択方法について説明するための図。 メニュー表示オブジェクトの選択方法、すなわちメニュー項目の選択方法について説明するための図（図９に続く状況を示す）。 メニュー表示オブジェクトの表示サイズの調整について説明するための図。 ゲーム装置の機能構成例を示す機能ブロック図。 ゲーム装置の記憶部が記憶するプログラムやデータの例を示す図。 メニュー項目階層定義データのデータ構成例を示す図。 メニュー表示オブジェクト定義データのデータ構成例を示す図。 プレイデータのデータ構成例を示す図。 ゲーム装置におけるヘッドトラッキングを利用したメニュー選択に係る処理の流れを説明するためのフローチャート。 図１７から続くフローチャート。 図１８から続くフローチャート。 注視オブジェクト検出処理の流れを説明するためのフローチャート。 オンラインゲームを実現するためのゲームシステムの構成例を示す図。 メニュー表示オブジェクトの表示サイズの調整の変形例を説明するための図。 メニュー表示の変形例を示す図（その１）。 メニュー表示の変形例を示す図（その２）。 メニュー表示の変形例を示す図（その３）。 メニュー表示の変形例を示す図（その４）。 情報表示の例を示す図。 メニュー表示の変形例を示す図。

本発明の実施形態として、ＶＲ−ＨＭＤ（ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ）を使ってバーチャルリアリティタイプのビデオゲームを実行するゲーム装置について述べる。

図１は、本実施形態におけるゲーム装置の構成の一例を示す図である。
ゲーム装置１０００は、本実施形態における本発明を適用した画像生成装置であって、ゲーム装置本体１００２と、タッチパネル１００４と、測距センサユニット１１００と、ゲームコントローラ１２００と、ＶＲ−ＨＭＤ１３１０を搭載したヘッドセット１３００と、を備える。ＶＲ−ＨＭＤ１３１０は、非透過型（没入型とも称される）のＨＭＤとして説明するが、半透過型や透過型のＨＭＤであってもよい。

ゲーム装置本体１００２は、コンピュータの一種であって制御基板１０５０を内蔵する。
制御基板１０５０は、例えば、
１）ＣＰＵ（Central Processing Unit）１０５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、
２）ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１０５２、
３）タッチパネル１００４や測距センサユニット１１００、ゲームコントローラ１２００、ヘッドセット１３００などの周辺機器と無線或いは有線により通信接続するための通信モジュール１０５３、
４）タッチパネル１００４などのドライバ回路１０５４、などを搭載する。
なお、制御基板１０５０の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（field-programmable gate array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。

そして、ゲーム装置本体１００２は、制御基板１０５０でＩＣメモリ１０５２に記憶されているプログラムおよびデータを読み出して演算処理することにより、ゲーム装置１０００を統合的に制御してビデオゲームを実行させることができる。

タッチパネル１００４は、タッチパネルを装備したビデオモニタであって、プレーヤ２の概ね正面に配置される。

測距センサユニット１１００は、例えばタッチパネル１００４の上部に、当該モニタの表示面正面方向へ向けて、ヘッドセット１３００及びゲームコントローラ１２００を撮影範囲に含めるように固定設置される。そして、タッチパネル１００４の前方に存在するプレーヤ２やその周辺の物体の画像を撮影し、画像データをゲーム装置本体１００２へ出力することできる。更に、撮影した画像を画像解析することでプレーヤ２やその周辺の物体までの距離を算出し、距離情報をゲーム装置本体１００２へ出力することができる。なお、図１中の引き出し図は、測距センサユニット１１００の正面図である。

具体的には、測距センサユニット１１００は、例えば、赤外線（ＩＲ）を前方へ照射する赤外線照射器１１０２と、前方の物体からの赤外線反射画像を撮影することができるカラーイメージセンサ１１０４と、赤外線反射画像を解析して物体までの相対距離等を算出したり画像認識処理を行う単数又は複数のＬＳＩ１１０６とを搭載する。カラーイメージセンサ１１０４は、撮像手段の一種である。

測距センサユニット１１００は、カラーイメージセンサ１１０４で撮影した画像から、ゲームコントローラ１２００やヘッドセット１３００、プレーヤ２の身体の各部を画像認識して撮影された画像内の代表点位置を判定する。そして、代表点位置までの距離を測定することができる。こうした測距は、公知のＩＲ式測距センサ技術により実現することができる。
なお、測距センサユニット１１００で採用する測距技術はＩＲ式に限らず適宜他の方式を採用することができる。例えば、左右のカラーイメージセンサ１１０４を用いてステレオ撮影し、視差から距離を算出する方式を採用してもよい。

また、測距センサユニット１１００には、公知の６軸センサ１１０８が搭載されている。
６軸センサ１１０８は、測距センサユニット１１００の前後（カラーイメージセンサ１１０４の光軸方向）・左右・上下の３軸方向の移動や各軸周りの回転を検出するモーショントレースのための公知のセンサであって、例えば、３軸方向の加速度と３軸周りの角速度とを検出する。或いは３軸方向の加速度と東西南北の地磁気方向を検出するとしてもよい。６軸センサ１１０８による検出結果から、測距空間の座標系の深度方向軸（Ｚ軸；奥行方向軸）の向きが分かるようになる。

また、測距センサユニット１１００は、ゲーム装置本体１００２と通信接続するための通信モジュールや、バッテリーなどを適宜搭載するものとする。

図２は、ゲームコントローラ１２００の構成例を示す図である。
本実施形態のゲームコントローラ１２００は、両手で把持して用いることを前提としてデザインされている。勿論、銃型コントローラのように片手での把持を前提としてデザインするとしてもよい。そして、ゲームコントローラ１２００は、発光マーカ１２０２と、スピーカ１２０４と、バイブレータ１２０６と、６軸センサ１２０８と、コントローラ基板１２５０と、図示されない内蔵バッテリー等を備える。

発光マーカ１２０２は、例えばＬＥＤ等により実現され、コントローラ基板１２５０により発光制御される。通常は常時点灯である。

６軸センサ１２０８は、ゲームコントローラ１２００の前後（Ｘ２軸）・左右（Ｙ２軸）・上下（Ｚ２軸）の３軸方向の移動や各軸周りの回転（Φｃ、θｃ、Ψｃ）を検出するモーショントレースのための公知のセンサであって、例えば、３軸方向の加速度と３軸周りの角速度とを検出する。或いは３軸方向の加速度と東西南北の地磁気方向を検出するとしてもよい。

コントローラ基板１２５０は、ＣＰＵ１２５１や、ＩＣメモリ１２５２、通信モジュール１２５３、インターフェース回路１２５４などを搭載し、ゲームコントローラ１２００の動作制御や外部との通信を制御する。インターフェース回路１２５４は、スピーカ１２０４やバイブレータ１２０６への制御信号の出力や、操作ボタンスイッチ１２６０や方向入力キー１２６２、ジョイスティック１２６４などからの信号の入力を制御する。

図３は、本実施形態におけるヘッドセット１３００の構成例を示す図であって、（１）正面図、（２）側面図に相当する。
ヘッドセット１３００は、プレーヤ２が頭部に装着する装備（電子機器）であって、画像と音声の情報をプレーヤ２に視聴可能に提供するとともに、ヘッドトラッキングを実現するための頭部の位置や姿勢を検出する機能を有する。例えば、ヘッドセット１３００は、ヘッドホン１３０２と、マイクロフォン１３０４と、ＶＲ−ＨＭＤ１３１０と、ヘッドセット基板１３５０と、を有する。

ヘッドホン１３０２は、いわゆる密閉型のステレオヘッドホンとすると好適である。

ＶＲ−ＨＭＤ１３１０は、提供する視野角が人間の視野角に相当する非透過型・没入型のヘッドマウントディスプレイおよびそのドライバ回路により実現できる。
例えば、ヘッドセット基板１３５０から画像信号を受信する通信ＩＣと、受信した画像信号に基づく画像を装着者の両眼に肉眼の視野角相当で見せる画像表示デバイス及び光学素子と、６軸センサ１３０８と、６軸センサ１３０８で検出した頭部の加速度や姿勢の情報を算出処理するＩＣチップ１３０９と、ゲーム装置本体１００２と通信接続するための通信モジュール１３５２と、を含む。これらの一部は、ヘッドセット基板１３５０に含まれるとしてもよい。

６軸センサ１３０８は、ＶＲ−ＨＭＤ１３１０すなわちプレーヤ２の頭部の前後（Ｘ３軸）・左右（Ｙ３軸）・上下（Ｚ３軸）の３軸の移動や各軸周りの回転（Φｈ、θｈ、Ψｈ）を検出するモーショントレースのための公知のセンサであって、例えば、３軸方向の加速度と３軸周りの角速度とを検出する。或いは３軸方向の加速度と東西南北の地磁気方向を検出するとしてもよい。

ヘッドセット基板１３５０は、ヘッドセット１３００の各部と接続され当該ヘッドセットにおける各種演算処理と、外部とのデータ通信制御に係る処理とを行う制御基板である。例えば、ＣＰＵ１３５１やＩＣメモリ、画像処理ＬＳＩ、通信ＩＣ、インターフェース回路などにより実現できる。マイクロフォン１３０４で集音した音の音声データや、６軸センサ１３０８で検出した加速度の加速度データを、ゲーム装置本体１００２に送信することができる。

また、ＶＲ−ＨＭＤ１３１０の正面３箇所に発光マーカ１３１２が設けられている。発光マーカ１３１２は、例えばＬＥＤ等により実現され、ヘッドセット基板１３５０により発光制御される。通常は、常時点灯である。発光マーカ１３１２は、測距センサユニット１１００のカラーイメージセンサ１１０４で撮影した画像からＶＲ−ＨＭＤ１３１０の存在と位置を認識するためのマーカとして利用される。

図４は、測距空間の座標系と測距・認識される要素について説明する図である。
測距空間の座標系は、測距センサユニット１１００を座標原点とし、カラーイメージセンサ１１０４の光軸方向を深度軸（Ｚ軸）とする。そして、スケールは実空間と同様に設定されている。測距空間は実空間でもあるが、測距センサユニット１１００の設置姿勢に応じて座標系の各軸方向が定義される。測距センサユニット１１００の設置姿勢は、６軸センサ１１０８の検知結果から判断される。勿論、６軸センサ１１０９の検知結果から実空間の水平方向及び鉛直方向を求めることができるため、測距空間の座標軸の方向も、水平方向及び鉛直方向に沿って設定することが可能である。

本実施形態のゲーム装置１０００では、測距センサユニット１１００による測距によって測距空間におけるＶＲ−ＨＭＤ１３１０の位置Ｐｈが随時（例えば１００ｍｓ間隔などの所定周期で）検出され更新されている。

具体的には、測距センサユニット１１００のカラーイメージセンサ１１０４で撮影された画像から、ＶＲ−ＨＭＤ１３１０の発光マーカ１３１２を認識することでＶＲ−ＨＭＤ１３１０の存在を認識し、画像座標系における発光マーカ１３１２が写っている位置と、当該位置の測距結果とからＶＲ−ＨＭＤ１３１０の位置Ｐｈを決定する。測距センサユニット１１００を基準とする発光マーカ１３１２の相対位置関係、相対距離、大きさから位置Ｐｈを割り出すとしても良い。

そして、カラーイメージセンサ１１０４で撮影された画像中の複数の発光マーカ１３１２それぞれの大きさ・傾き・形状や、各発光マーカ１３１２を結んでできる図形の大きさ・傾き・形状から、ＶＲ−ＨＭＤ１３１０の姿勢（Φｈ、θｈ、Ψｈ）、換言すれば、ＶＲ−ＨＭＤ１３１０を装着したプレーヤの視線方向（顔の正面方向）を検出する。そして、ＶＲ−ＨＭＤ１３１０の６軸センサ１３０８により位置Ｐｈにおける姿勢や姿勢の変化を知ることができる。

なお、６軸センサ１３０８や６軸センサ１２０８が地磁気センサなどを含んで構成され、地磁気方向を基準とした姿勢を検出できるならば、発光マーカ１３１２や発光マーカ１２０２を用いた姿勢算出の補正情報として利用したり、発光マーカ１３１２や発光マーカ１２０２を利用せずに姿勢算出を実現することができる。

図５は、ＶＲ−ＨＭＤ１３１０に表示するゲーム画像を生成するため３次元仮想空間と、当該空間に配置されるオブジェクトとの例を示す図である。

本実施形態の３次元仮想空間は、ゲームの世界を構成する各種オブジェクトが配置されたゲーム空間であって、実空間の水平方向及び鉛直方向に沿って座標軸方向を定めた座標系で定義される。ゲーム空間の座標原点は測距空間の原点と同じ位置とされ、スケールも実空間と同様に設定される。なお、ゲーム空間のスケールは、例えば、プレーヤが昆虫等のミクロの世界に入り込んだようなゲームを楽しむ場合には、実空間と異なるスケールとしてもよいことは勿論である。そして、ゲーム空間には、ゲーム世界の各種オブジェクトと、仮想ステレオカメラ１０と、が配置される。

仮想ステレオカメラ１０は、ＶＲ−ＨＭＤ１３１０にて表示する立体視画像を生成するための左右一組の仮想カメラ群である。当該セットの右側カメラで撮影したゲーム空間のレンダリング画像がＶＲ−ＨＭＤ１３１０の右眼用の画像となり、左側カメラで撮影したレンダリング画像が左眼用の画像となる。

仮想ステレオカメラ１０は、測距座標系から仮想空間の座標系に適宜座標変換されたＶＲ−ＨＭＤ１３１０の位置Ｐｈ’に配置される。そして、仮想ステレオカメラ１０の撮影画角は人の肉眼と同程度に設定され、光軸の方向はＶＲ−ＨＭＤ１３１０の６軸センサ１３０８にて検出された前後軸（Ｘ３軸：図３参照）の方向とし、光軸周りの回転は６軸センサ１３０８にて検出された前後軸周りの回転と同一となるように制御される。つまり、仮想ステレオカメラ１０はプレーヤ２の肉眼に近い視野角で、プレーヤ２の頭部の動きをトレースするように、いわゆるヘッドトラッキング制御される。したがい、プレーヤ２はあたかも仮想空間（ゲーム空間）にいるかのような仮想現実感を味わうことができる。

ゲーム空間内に配置されるオブジェクトは、ゲーム内容に応じて適宜設定される。そして、本実施形態のオブジェクトは、大きく分けて、プレーヤの操作入力対象外のオブジェクトと、プレーヤの操作対象となるオブジェクトと、に分けられる。

前者の例は、ゲーム世界の背景オブジェクトがこれに該当する。勿論、背景オブジェクトは建物などの固定物に限らず、動物や乗り物、村人などのＮＰＣ（ノン・プレイアブル・キャラクタ）などの移動物も適宜含まれる。後者の例は、プレーヤキャラクタは勿論、プレーヤキャラクタによる操作の対象物（武器や防具、乗り物、アイテム、食べ物など）が該当する。図５の例では、背景オブジェクト２０とテーブルオブジェクト２２とが前者、カップオブジェクト２４が後者に該当する。

そして、後者の「プレーヤの操作対象となるオブジェクト」には、当該オブジェクトに係る情報としてメニュー項目が割り当てられている。以降、このメニュー項目が割り当てられているオブジェクトを「メニュー割当オブジェクト」と呼ぶこととする。

メニュー割当オブジェクトに設定されるメニュー項目は、ゲームにおける当該オブジェクトの役割とゲームの内容によって適宜設定可能である。例えば、メニュー割当オブジェクトが、プレーヤキャラクタであれば、当該キャラクタの動作種類（例えば、攻撃、防御、回復、アイテムの使用など）をメニュー項目とすることができる。カップオブジェクト２４であれば、プレーヤ又はプレーヤキャラクタが当該オブジェクトをどのように扱うか（例えば、砂糖を入れる、飲み干す、テーブルから落とすなど）をメニュー項目とすることができる。

そして、本実施形態では、メニュー項目の選択を、ヘッドトラッキングを利用して入力可能となっている。

［ヘッドトラッキングを利用した操作入力の説明］
図６〜図８は、とある状況における（１）ＶＲ−ＨＭＤ１３１０に表示されるゲーム画面例と、（２）仮想ステレオカメラ１０とメニュー割当オブジェクトであるカップオブジェクト２４との位置関係を説明するための図、（３）ゲーム空間内における仮想ステレオカメラ１０とカップオブジェクト２４との配置状況を示す俯瞰図、である。図番の順に状況が遷移している。ゲーム画面は、ヘッドトラッキング式のＶＲ−ＨＭＤ１３１０に表示される立体視画像である。すなわちＶＲ−ＨＭＤ画像である。

なお、仮想ステレオカメラ１０が人間の肉眼の視野角に近い視野角（例えば左右方向１８０度程度）であるため、ゲーム画面の左右方向の画角も同様の広角となるが、図示および説明を分かり易く簡明化するために、狭めの画角でゲーム画面を図示することとする。

図６に示すように、プレーヤはとある建屋の中に居て、その前方にはテーブルオブジェクト２２と、そこに置かれたカップオブジェクト２４があるものとする。この状況から、プレーヤがカップオブジェクト２４に対して何らかのアクションを起こそうとした場合、プレーヤは「注視操作（視線を向けるだけであるため「注視動作」ともいえる）」をしてカップオブジェクト２４をアクションの対象として選択する。

図７に示すように、本実施形態ではゲーム画面Ｗ７の中央に注視判定領域３０が設定されており、プレーヤは注視操作として、カップオブジェクト２４をこの注視判定領域３０内に写るようにゲーム空間内を移動や頭の向きを変更する。図７の例では、カップオブジェクト２４に近づいて、カップオブジェクト２４を視界中央に捉えるように頭の向きを変えたことを示している。

注視判定領域３０は、画面中心点（仮想ステレオカメラ１０の視線とゲーム画面のスクリーンとの交点）を基準点として設定された範囲である。本実施形態では、人が頭部の姿勢を意図的に固定しようとしてなお自然に生じるふらつきに起因する視線のブレを許容することのできる大きさの円形範囲とする。注視判定領域３０は、視認可能に表示されないため、プレーヤは把握することができないこととする。

メニュー割当オブジェクト（この場合はカップオブジェクト２４）が、注視判定領域３０内に検出されると、当該メニュー割当オブジェクトは選択対象の候補として注視されていると見做され、注視判定領域３０内に検出されている状態の継続時間である「注視継続時間」のカウントが開始される。そして、当該メニュー割当オブジェクトには、注視継続時間の計時対象であること、換言すると、プレーヤのアクションの対象として認定されようとしていることをプレーヤに通知するための表示体として注視継続マーカ３２が添付表示される。

注視継続マーカ３２のデザインは適宜設定可能であるが、注視継続時間の経過に応じて表示形態が変化するように表示制御される。例えば、アクションの対象として認定されるために必要な時間を示すように、表示色を変えたり、表示体の大きさや長さが変わるように表示制御される。

注視継続時間が所定の認定時間（例えば、１〜２秒程度）に達すると、当該メニュー割当オブジェクトは「注視オブジェクト（選択オブジェクト）」として認定される。すると、図８（１）のゲーム画面Ｗ８に示すように、第１層メニュー表示オブジェクト４１（４１ａ，４１ｂ，…）が、注視オブジェクトに添付表示される。第１層メニュー表示オブジェクト４１は、当該注視オブジェクト（この場合、カップオブジェクト２４）に設定されている階層構造のメニュー項目のうち第１階層のメニュー項目を表す表示体である。

本実施形態のメニュー項目は階層構造を有するように構成されている。すなわち、メニュー項目の選択を繰り返す毎に、直前に選択したメニュー項目の内容をより詳細或いは具体的に絞り込こむ構成となっている。本実施形態では、階層構造の階層数Ｎ（Ｎは自然数）を「３」の場合を例示するが、階層数Ｎは「２」でもよいし、４以上でもよい。

第１層メニュー表示オブジェクト４１は、注視オブジェクト（カップオブジェクト２４）に予め設定されている「基準方向５」に沿って配列表示される。そして、配置表示された第１層メニュー表示オブジェクト４１は、それぞれの基準面（例えば、正面）が常に仮想ステレオカメラ１０を向くように、いわゆるビルボード処理される。なお、ビルボード処理は省略してもよい。

基準方向５は、少なくとも仮想ステレオカメラ１０の視線方向に対するメニュー表示オブジェクトの配列方向の相対関係を定義する。基準方向５は、その注視オブジェクトに係るメニュー表示オブジェクトを、当該注視オブジェクトの配置状況において認識しやすい位置に表示するための基準情報であり、注視オブジェクトの配置位置を基準に定義される。
図８の例では、注視オブジェクトであるカップオブジェクト２４の基準方向５は、カップオブジェクト２４の上方、仮想ステレオカメラ１０の直交３軸視界座標系における左右方向軸（Ｘｃ軸）に沿うように設定されている。勿論、視界座標の上下方向軸（Ｙｃ軸）や奥行き方向軸（Ｚｃ軸）に沿うように設定してもよい。

よって、図８では、カップの持ち手が仮想ステレオカメラ１０から見て右側となる相対位置関係の例を示しているが、仮にカップ持ち手が仮想ステレオカメラ１０とから見て裏側になる相対位置関係であっても、或いは仮にカップが横倒しになっていたとしても、第１層メニュー表示オブジェクト４１は、図８のようにやはり注視オブジェクト（カップオブジェクト２４）の上方に、仮想ステレオカメラ１０から見て左右方向に配列されることになる。

図９〜図１０は、メニュー表示オブジェクトの選択方法、すなわちメニュー項目の選択方法について説明するための図であって、図番の順に状況が遷移している。
図９（１）のゲーム画面Ｗ９で示す状態（図８相当）から、第１層メニュー表示オブジェクト４１の何れかを選択操作するには、プレーヤは所望する第１層メニュー表示オブジェクト４１の少なくとも一部が注視判定領域３０内に写るように注視操作する。具体的には視線方向を変えるように頭の向きを変える。

図９（２）のゲーム画面Ｗ１０で示すように、第１層メニュー表示オブジェクト４１が注視判定領域３０内で検出されると注視継続時間のカウントが開始される。もし、注視判定領域３０内に複数の第１層メニュー表示オブジェクト４１が検出される状況では、例えばオブジェクト中心と注視判定領域３０の中心とが最も近いオブジェクトを注視継続時間のカウントの対象とする、或いは注視判定領域３０内に写っている面積が最も大きいオブジェクトを注視継続時間のカウントの対象とする、として何れか１つに絞り込むと良い。

注視継続時間が認定時間に達すると、当該第１層メニュー表示オブジェクト４１が注視オブジェクトとして認定され、当該表示オブジェクトに割り当てられている第１層のメニュー項目が選択されたものとされる。そして、当該第１層メニュー表示オブジェクト４１が識別表示されて（図９の例では、第１層メニュー表示オブジェクト４１ａ）、どのメニュー項目が選択されたかが識別表示される。

選択されたメニュー項目が階層構造の最終層（最下位層）に達していなければ、図９（３）のゲーム画面Ｗ１１で示すように、選択されたメニュー項目に係る次層のメニュー表示オブジェクトが新たに出現・表示される。
具体的には、第（ｎ＋１）層のメニュー割当オブジェクトを、第ｎ層のメニュー表示オブジェクトの配列方向と交差する方向に配列表示する。更に、第（ｎ＋１）層のメニュー表示オブジェクトの表示に当たっては、その表示位置や表示形態を、第ｎ層のどのメニュー表示オブジェクトの下層に当たるかが分かるように設定する。図９（３）の例では、第ｎ層で選択されたメニュー表示オブジェクトと、第（ｎ＋１）層に配列表示した各メニュー表示オブジェクトとを同じ表示色で示し、その関係を明示している。勿論、他の表示形態、例えば、メニュー表示オブジェクトの形状を類似させたり、第ｎ層で選択されたメニュー表示オブジェクトと、第（ｎ＋１）層に配列表示する各メニュー表示オブジェクトとを連結させた連結表示としてもよい。

本実施形態では、第１層メニュー表示オブジェクト４１が、仮想ステレオカメラ１０の視界座標系左右方向軸５１（Ｘｃ軸）に沿って配列されるので、第２層メニュー表示オブジェクト４２（４２ａ，４２ｂ，…）は同座標系上下方向軸５２（Ｙｃ軸）に沿って配列表示される。

第２層メニュー表示オブジェクト４２から何れかのメニュー項目のオブジェクトを選択するには、図１０（１）のゲーム画面Ｗ１２で示すように、第１層メニュー表示オブジェクト４１に係る選択と同様にして所望するメニュー項目のオブジェクトが注視判定領域３０内に写るように注視操作する。当該注視操作の結果、注視判定領域３０内に写る第２層メニュー表示オブジェクト４２の注視継続時間が認定時間に達すると、当該オブジェクトのメニュー項目が選択されたと見做される。

そして、選択されたメニュー項目に更に下位層のメニュー項目が設定されていれば、図１０（２）のゲーム画面Ｗ１３で示すように、第（ｎ＋２）層のメニュー表示オブジェクトが出現・表示される。本実施形態では、第１層メニュー表示オブジェクト４１が、仮想ステレオカメラ１０の視界座標系左右方向軸５１（Ｘｃ軸）に沿って、第２層メニュー表示オブジェクト４２が同座標系上下方向軸５２（Ｙｃ軸）に沿って、それぞれ配列表示されたので、第３層メニュー表示オブジェクト４３（４３ａ，４３ｂ，…）は。仮想ステレオカメラ１０の視界座標系奥行き方向軸５３（Ｚｃ軸）に沿って配列される。

第３層メニュー表示オブジェクト４３の何れかを選択するには、図１０（３）のゲーム画面Ｗ１４で示すように、所望するメニュー項目のオブジェクトが注視判定領域３０内に写るように注視操作する。そして、選択されたメニュー項目が最終層（最深層、最下層）であれば、これまで各層で選択されたメニュー項目の内容が、ゲーム進行制御において反映される。図６〜図１０の例で言えば、カップオブジェクト２４に砂糖を中程度の量入れる動作が実行されることになる。

なお、その時点でプレーヤによる選択の対象となっているメニュー表示オブジェクト（換言すればその時点で表示されている最も下位層のメニュー表示オブジェクト）は、仮想ステレオカメラ１０と注視オブジェクトとの相対距離が変化しても、ゲーム画面内の所定範囲をはみ出さないように逐一自動調整される。

例えば図１１に示すように、第１層メニュー表示オブジェクト４１が表示された状態で、仮想ステレオカメラ１０が注視オブジェクト（カップオブジェクト２４）に接近すると第１層メニュー表示オブジェクト４１がゲーム画面からはみ出すことになる（図１１（２）中の一点鎖線）。そこで、第１層メニュー表示オブジェクト４１（この場合の最下層のメニュー表示オブジェクト）の表示サイズを、不可視の推奨範囲３３内に納まるように変更する。

推奨範囲３３は適宜設定可能であるが、仮想ステレオカメラ１０の撮影画角（ゲーム画面全体の画角：限界視野角）を、ＶＲ−ＨＭＤ１３１０での左右視野角で、視線方向を中心として左右視野角６０度〜８０度のうちの所定角度として定めると好適である。表示されているメニュー表示オブジェクト４１全体の左右方向の大きさが、この所定角度を超えるとメニュー表示オブジェクト４１の全体の表示サイズが、この画角範囲内に収まるように表示サイズが調整される。視線方向を中心とする左右視野角６０度〜８０度は、限界視野角の左右角度より狭い範囲であり、人間が頭部を動かさずに自然に視認可能な有効視野角の範囲である。ＶＲ−ＨＭＤ１３１０の限界視野角は、人間の視野角に近い視野角（例えば左右方向１８０度程度）となっており、仮想ステレオカメラ１０の画角も同様である（例えば左右方向１８０度程度）ため、ゲーム画面の左右視野角は８０度を超えている。

プレーヤは、注視オブジェクト（カップオブジェクト２４）を注視判定領域３０内に納めるべく視線方向を画面中央に向ければ、その次に選択すべき次の階層のメニュー表示オブジェクトが推奨範囲３３内に表示されるため、次に選択するメニュー項目候補の全容を視認するために頭ごと左右に振らなくて済むため、好適である。

〔機能構成の説明〕
次に、本実施形態を実現するための機能構成例について説明する。
図１２は、本実施形態におけるゲーム装置１０００の機能構成例を示す機能ブロック図である。本実施形態におけるゲーム装置１０００は、操作入力部１００と、処理部２００と、音出力部３９０と、画像表示部３９２と、通信部３９４と、記憶部５００とを備える。

操作入力部１００は、各種操作を入力するための手段である。ジョイスティック、プッシュスイッチ、レバー、ボリューム、ペダルスイッチ、キーボード、マウス、トラックパッド、トラックボール、ジェスチャー入力装置など、公知の操作入力デバイスにより実現できる。本実施形態では、タッチパネル１００４、ゲームコントローラ１２００がこれに該当する（図１参照）。また、プレーヤは、視線方向で選択操作を行うことができるため、ＶＲ−ＨＭＤ１３１０も、この操作入力部１００の１つに該当するといえる。

そして、本実施形態の操作入力部１００には、頭部姿勢変化検出部１０２と、測距部１０４と、集音部１０６と、が含まれる。

頭部姿勢変化検出部１０２は、プレーヤ２の頭部の姿勢及び姿勢の変化を検出し、検出信号を処理部２００へ出力する。例えば、ジャイロや加速度センサを用いたり、イメージセンサで撮影画像から人の頭部を認識するなどの公知のヘッドトラッキング技術などにより実現できる。本実施形態では、ヘッドセット１３００に内蔵されたＶＲ−ＨＭＤ１３１０（図３参照）、より具体的には６軸センサ１３０８とＩＣチップ１３０９がこれに該当する。ＶＲ−ＨＭＤ１３１０の姿勢を測距センサユニット１１００で撮影した画像処理から求める構成であれば、測距センサユニット１１００もこれに該当すると言える。

測距部１０４は、所定周期でプレーヤ２およびその周辺の様子を撮影し、存在する物体までの距離を測定し、撮影した画像データや測距結果を逐次処理部２００へ出力する。本実施形態では、測距センサユニット１１００が該当する（図１参照）。

集音部１０６は、プレーヤの声を集音し電気信号に変換して出力する。図３の構成ではマイクロフォン１３０４がこれに該当する。

処理部２００は、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ、ＩＣメモリなどの電子部品によって実現され、操作入力部１００や記憶部５００を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００などからの入力信号に基づいて各種の演算処理を実行して、ゲーム装置１０００の動作を統合的に制御する。本実施形態では制御基板１０５０がこれに該当する（図１参照）。

そして、処理部２００は、ゲーム演算部２０２と、音信号生成部２９０と、画像生成部２９２と、通信制御部２９４とを含む。

ゲーム演算部２０２は、音声認識部２０８と、仮想空間設定部２１０と、ＨＭＤ位置姿勢検出部２１２と、仮想ステレオカメラ制御部２１６と、選択オブジェクト判定部２２０と、選択オブジェクト識別表示制御部２２４と、情報配列表示制御部２３０と、項目選択部２３２と、項目識別表示制御部２３４と、首振り検出部２３６と、情報配列表示消去制御部２３８と、を有し、ゲームプレイに係る各種処理を実行する。

音声認識部２０８は、集音部１０６で集音されたプレーヤの声から、同プレーヤの発した音声（言葉）を認識してテキスト情報に変換する。尚、音声認識部２０８は、公知の音声認識技術を適宜利用することで実現できる。

仮想空間設定部２１０は、ＶＲ−ＨＭＤ画像を生成するための仮想空間として、複数のオブジェクトが配置されたゲーム空間を設定する。そして、ゲーム空間に、背景等を構成するオブジェクトやＮＰＣオブジェクト（例えば、敵キャラクタオブジェクトなど）、プレーヤの操作対象となるオブジェクト（例えば、プレーヤキャラクタなど）などの各種オブジェクトを配置し、これらの位置や姿勢を制御する。

ＨＭＤ位置姿勢検出部２１２は、ＶＲ−ＨＭＤ１３１０の位置と姿勢を検出する処理を行う。本実施形態では、測距空間におけるＶＲ−ＨＭＤ１３１０の位置と姿勢とを検出する（図４参照）。また、視線方向判定部２１４を含み、ゲーム空間におけるＶＲ−ＨＭＤ１３１０の視線方向を判定することができる。

仮想ステレオカメラ制御部２１６は、ゲーム空間内における仮想ステレオカメラ１０の位置と姿勢を、検出された測距空間におけるＶＲ−ＨＭＤ１３１０の位置と姿勢を再現するように制御する（図４、図５参照）。換言すると、頭部姿勢変化検出部１０２からの検出情報に基づいて仮想ステレオカメラ１０の位置と姿勢をプレーヤ２の頭部の姿勢変化に連動させるいわゆるヘッドトラッキング制御を行う。また、仮想ステレオカメラ１０の視野角は、人間の一般的な肉眼と同様の視野角（８０度超であり、１８０度近く）である。

選択オブジェクト判定部２２０は、プレーヤがゲーム空間内のオブジェクトから選択した選択オブジェクトの認定に関する処理を行う。
具体的には、音声認識部２０８で音声認識されたメニュー項目に対応するメニュー表示オブジェクトを選択オブジェクトとして選択する。

また、選択オブジェクト判定部２２０は、注視オブジェクト判定部２２１を有し、ゲーム空間に配置された複数のオブジェクトのうちの何れかのオブジェクトが仮想ステレオカメラ１０の視線方向の先に位置したことを検出し、当該検出結果を用いて当該オブジェクトを注視オブジェクト（メニュー選択における選択オブジェクト）として選択する。換言すると、注視判定領域３０内に写るオブジェクトから注視オブジェクトを設定するための処理を行う。

また、選択オブジェクト判定部２２０は、表示開始判定部２２２を有する。
表示開始判定部２２２は、仮想ステレオカメラ１０の視線方向に基づいて、同一のオブジェクトが継続的に選択されている（本実施形態で言う所の注視されている）状態である注視継続時間（選択継続時間）を計時して、情報配列の配置表示を開始させるか否かを判定する。本実施形態では、メニュー表示オブジェクトの配置表示を開始させるか判定する。

また、表示開始判定部２２２は、計時期間中、当該オブジェクトに対して選択されている状態が継続している旨を通知する通知体（注視継続マーカ３２；図６参照）を、継続時間に応じて表示形態を変化させるように表示させる。

選択オブジェクト識別表示制御部２２４は、選択オブジェクトを識別表示するための制御を行う（図９（２）参照）。

情報配列表示制御部２３０は、複数の情報配列方向が相対的かつ３次元的に定められた情報配列を所定の配置条件で仮想空間に配置表示する制御を行う。具体的には、配置条件として、注視オブジェクト（選択オブジェクト）の位置を基点とし、且つ、仮想ステレオカメラ１０の視線方向に対する情報配列方向が所与の相対関係となるように情報配列を仮想空間に配置表示制御する。本実施形態では、メニュー表示オブジェクトの表示制御を行う。

具体的には、情報配列表示制御部２３０は、
１）ゲーム空間における仮想ステレオカメラ１０の位置（ＶＲ−ＨＭＤ１３１０の視点位置相当）から注視オブジェクト（選択オブジェクト）までの距離に応じて、選択対象とされるメニュー表示の大きさを変更することができる（図１１参照）。すなわち、情報配列の左右方向の大きさが、視線方向を基準とする左右視野角６０〜８０°のうちの所定角度範囲で定められる推奨範囲３３を超える場合、推奨範囲３３以内に収まるように情報配列の大きさを変更する。

また、情報配列表示制御部２３０は、
２）第１階層の情報配列方向が、注視オブジェクト（選択オブジェクト）に関連付けられた基準方向５に沿うように情報配列を配置表示する。本実施形態では、第１層メニュー表示オブジェクト４１を基準方向５に沿って配列表示させる。

また、情報配列表示制御部２３０は、
３）下位階層の情報配列を、新たに表示させる際には、直近上位階層の情報配列のうち選択された情報配列に視覚的に対応付けられる位置から情報配列方向に配列表示する（図９（３）、図１０（２）参照）。

項目選択部２３２は、情報配列として表示された項目の中から、階層順に、項目を選択する。本実施形態では、階層順に表示されたメニュー表示オブジェクトの中から注視オブジェクト（選択オブジェクト）として認定されたオブジェクトに対応づけられているメニュー項目を選択する。

項目識別表示制御部２３４は、項目選択部２３２により選択されたメニュー項目を識別表示する（図９（２）参照）。

首振り検出部２３６は、情報配列表示を解除・消去する表示キャンセル操作として、プレーヤの首振り動作を検出する。例えば、頭部姿勢変化検出部１０２による検出が、所定の変化パターン（例えば、所定の大きさ以上の水平方向への加速度或いは角速度が検出され、その向き（プラス／マイナス）が所定周期で変化するパターンなど）を検出する。

情報配列表示消去制御部２３８は、首振り検出部２３６による首振りが検出された場合に、情報配列の表示を消去制御する。

ゲーム演算部２０２は、その他、仮想ステレオカメラ１０で撮影したゲーム空間の画像をレンダリングしＶＲ−ＨＭＤ１３１０にて立体視画像として表示させるための処理や、ゲーム終了の判定処理、ゲーム成績の算出処理、などを行うことができる。勿論、ゲーム内容に応じてこれら以外の処理を適宜実行することができる。

音信号生成部２９０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）などのマイクロプロセッサやその制御プログラムなどの公知技術によって実現され、ゲーム演算部２０２による処理結果に基づいて効果音やＢＧＭ、各種操作音などを含むゲーム音の音信号を生成し音出力部３９０に出力する。

音出力部３９０は、音信号生成部２９０から入力される音信号に基づいて効果音やＢＧＭ等を音出力する装置によって実現される。本実施形態ではヘッドセット１３００に搭載されているヘッドホン１３０２がこれに該当する（図３参照）。

画像生成部２９２は、仮想ステレオカメラ１０を視点とする仮想空間の様子をレンダリングして立体視画像を生成し、当該立体視画像を表示させるための画像信号を画像表示部３９２へ出力することができる。

画像表示部３９２は、画像生成部２９２で生成された画像を表示する。例えば、フラットパネルディスプレイ、ブラウン管（ＣＲＴ）、プロジェクターといった画像表示装置によって実現できる。本実施形態ではタッチパネル１００４（図１参照）やＶＲ−ＨＭＤ１３１０（図３参照）が該当する。

通信制御部２９４は、データ通信に係るデータ処理を実行し、通信部３９４を介して外部装置とのデータのやりとりを実現する。

通信部３９４は、例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、通信網を介して外部のサーバシステム等と接続して通信を実現する。

記憶部５００は、処理部２００にゲーム装置１０００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、処理部２００の作業領域として用いられ、操作入力部１００から入力されたデータを一時的に記憶したり、処理部２００が実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスクなどによって実現される。本実施形態ではＩＣメモリ１０５２がこれに該当する（図１参照）。

図１３は、本実施形態の記憶部５００が記憶するプログラムやデータの例を示す図である。記憶部５００は、システムプログラム５０１と、ゲームプログラム５０５と、ゲーム初期設定データ５１０と、プレイデータ７００と、現在日時９００とを記憶する。勿論、これら以外の情報も適宜記憶することができる。

システムプログラム５０１は、処理部２００が読み出して実行することで、ゲーム装置１０００にコンピュータとして必要な基本的な入出力機能を実現させる。
ゲームプログラム５０５は、処理部２００にゲーム演算部２０２としての機能を実現させるためのプログラムである。

ゲーム初期設定データ５１０は、ゲームに係る各種初期設定データを格納する。本実施形態では、ゲーム空間に配置されるオブジェクト毎に用意される複数のオブジェクト初期設定データ５２０を含む。

１つのオブジェクト初期設定データ５２０は、１）固有のオブジェクトＩＤ５２１と、２）当該オブジェクトをゲーム画面に表示させるためのオブジェクトモデルデータ５２２と、３）ゲーム空間への初期配置状態を定義する初期配置データ５２３と、４）当該オブジェクトがメニュー割当オブジェクトであるか否か（すなわち当該オブジェクトに係りメニュー表示がされるように設定されているか否か）を示すメニュー割当設定５２４と、５）基準方向５２５と、６）メニュー項目階層定義データ５３０と、７）メニュー表示オブジェクト定義データ５４０と、を含む。勿論、これら以外のデータも適宜含めることができる。

図１４は、メニュー項目階層定義データ５３０のデータ構成例を示す図である。
メニュー項目階層定義データ５３０は、当該オブジェクトに係るメニュー項目の階層構造を定義している。例えば、第１階層メニュー項目５３３、第２階層メニュー項目５３５、第３階層メニュー項目５３７、…と言った具合に各階層のメニュー項目を対応付けて格納する。

また、メニュー項目階層定義データ５３０、第１階層メニュー項目５３３、第２階層メニュー項目５３５、第３階層メニュー項目５３７、…といった各メニュー項目を読み上げた音声を認識するための音声辞書データであるメニュー項目音声辞書データ５３９を含む。

図１５は、メニュー表示オブジェクト定義データ５４０のデータ構成例を示す図である。
メニュー表示オブジェクト定義データ５４０は、メニュー項目階層定義データ５３０で定義されている階層毎に用意され、それぞれどのようにメニュー表示体オブジェクトを表示させるかを定義する。１つのメニュー表示オブジェクト定義データ５４０は、当該データが適用される階層を示す適用階層５４１と、メニュー表示オブジェクトのオブジェクトモデルデータ５４２と、メニュー表示オブジェクトの配列方向５４３と、を格納する。

図１６は、プレイデータ７００のデータ構成例を示す図である。
プレイデータ７００は、ゲーム進行状況を記述する各種データが格納される。例えば、ＨＭＤ位置座標７０２と、ＨＭＤ姿勢７０４と、仮想ステレオカメラ位置座標７１０と、仮想ステレオカメラ姿勢７１２と、注視オブジェクト判定制御データ７２０と、選択オブジェクトＩＤ７２５と、オブジェクト制御データ７３０と、メニュー表示階層７４０と、第ｎ層メニュー表示開始タイミング７４２と、メニュー表示オブジェクト制御データ７４４とを含む。勿論、これら以外のデータも適宜含めることができる。

注視オブジェクト判定制御データ７２０は、ＶＲ−ＨＭＤ１３１０の視線方向に基づいてゲーム空間に配置されたオブジェクトのなかからオブジェクト（注視オブジェクト、選択オブジェクト）を選択するためのデータを格納する。例えば、注視オブジェクトとなり得るオブジェクトの識別情報を格納する注視オブジェクト候補ＩＤ７２１と、注視継続時間７２３と、を含む。注視オブジェクト候補ＩＤ７２１は「未定」、注視継続時間７２３は「０」、にそれぞれ初期化される。

選択オブジェクトＩＤ７２５は、注視オブジェクト（選択オブジェクト）として認定されたオブジェクトの識別情報である。選択オブジェクトＩＤ７２５の初期値は「未定」である。

オブジェクト制御データ７３０は、ゲーム空間に配置されたオブジェクト毎に用意され、当該オブジェクトの状態を記述する各種データを格納する。例えば、オブジェクトＩＤと、位置座標と、姿勢と、動作制御データ（速度やモーション制御データなど）とを格納する。勿論、これら以外のデータも適宜格納するとしてもよい。

メニュー表示階層７４０は、どの階層のメニュー項目をメニュー表示オブジェクトで表示しているかを示す。表示している階層の数値を変数「ｎ」とする。

第ｎ層メニュー表示開始タイミング７４２は、第ｎ層メニュー表示オブジェクトの表示を開始したタイミング（例えば、日時）を格納する。

メニュー表示オブジェクト制御データ７４４は、メニュー表示体オブジェクト毎に用意され、当該オブジェクトの状態を記述する各種データを格納する。例えば、メニュー表示オブジェクトＩＤと、階層数と、対応するメニュー項目と、位置座標と、姿勢と、を格納する。勿論、これら以外のデータも適宜格納するとしてもよい。

［動作の説明］
図１７〜図１９は、ゲーム装置１０００におけるヘッドトラッキングを利用したメニュー選択に係る処理の流れを説明するためのフローチャートであって、ゲームプログラム５０５を実行することにより実現される。なお、ゲーム装置本体１００２と、タッチパネル１００４、測距センサユニット１１００、ゲームコントローラ１２００、ヘッドセット１３００の各機器との間の接続認証は完了しているものとする。また、本実施形態では従来通りゲームコントローラ１２００によるメニュー選択も可能とするが、当該フローチャートでは説明を省略している。

ゲーム装置１０００は、３次元仮想空間に背景となるオブジェクトや、プレーヤの操作対象となるオブジェクト、仮想ステレオカメラ１０などを配置してゲーム空間を構築し（ステップＳ１０）、ヘッドトラッキング制御を開始する（ステップＳ１２）。そして、ゲーム進行制御を開始する（ステップＳ１４）。

ゲーム進行制御が開始されると、ゲーム装置１０００は、ステップＳ１６〜Ｓ１５０（図１８）を所定の制御サイクルで繰り返し実行する。
すなわち、ゲーム装置１０００は、１回の制御サイクルにおいて、先ずオブジェクトの配置や移動制御を実行する（ステップＳ１６）。次いで、配置されているオブジェクトのうち、メニュー割当のある全てのオブジェクト（メニュー割当オブジェクト）を対象にして注視オブジェクト検出処理を実行する（ステップＳ１８）。

図２０は、本実施形態における注視オブジェクト検出処理の流れを説明するためのフローチャートである。同処理において、ゲーム装置１０００は、注視判定領域３０内に写るオブジェクのうち、仮想ステレオカメラ１０に最寄りのオブジェクトを抽出する（ステップＳ３０）。仮想ステレオカメラ１０の視線方向の先に位置するオブジェクトを抽出することとなる。

もし抽出したオブジェクトが注視オブジェクト候補として登録されていなければ（ステップＳ３２）、ゲーム装置１０００は、当該オブジェクトの識別情報を注視オブジェクト候補ＩＤ７２１に設定して登録し、注視継続時間７２３の計時を開始する（ステップＳ３４）。そして、当該オブジェクトへの注視継続マーカ３２の添付表示を開始する（ステップＳ３６；図６参照）。

もし、注視オブジェクト候補ＩＤ７２１の示すオブジェクトが、注視判定領域３０から外れたならば（ステップＳ４０のＹＥＳ）、ゲーム装置１０００は、注視オブジェクト候補ＩＤ７２１を「未定」にリセットして登録を抹消し、注視継続時間７２３を「０」にリセットする（ステップＳ４２）。

そして、もし注視継続時間７２３が所定の認定要件時間に達したならば（ステップＳ５０のＹＥＳ）、注視オブジェクト候補ＩＤ７２１に設定されている識別情報を選択オブジェクトＩＤ７２５にコピーし、当該オブジェクトを注視オブジェクトと認定する。つまり、選択オブジェクトとして認定・検出する（ステップＳ５２）。

図１７に戻って、注視オブジェクト検出処理の結果、メニュー割当オブジェクトのなかから新たに注視オブジェクト（選択オブジェクト）が検出されたならば（ステップＳ７０のＹＥＳ）、ゲーム装置１０００は、メニュー表示階層７４０を示す「ｎ」を「１」に設定して（ステップＳ７２）、第１層メニュー表示オブジェクト４１を配列表示させ、第ｎ層メニュー表示開始タイミング７４２に現在日時９００をコピーする（ステップＳ７４；図８参照）。

次に、ゲーム装置１０００は、配置済のメニュー表示オブジェクト毎にループＡを実行する（ステップＳ８０〜Ｓ８６）。具体的には、ループＡにおいて、ゲーム装置１０００は、処理対象とされるメニュー表示オブジェクトの正面が仮想ステレオカメラ１０を向くように姿勢を調整し（ステップＳ８２）、同メニュー表示オブジェクトのサイズを、第ｎ層のメニュー表示オブジェクト全体が推奨範囲３３内に納まって表示されるように調整する（ステップＳ８４；図１１参照）。

もし、ゲーム進行開始後に、所定のメニュー表示オブジェクトの表示キャンセル操作入力を検出した場合は（ステップＳ１００のＹＥＳ）、ゲーム装置１０００は配置されている全てのメニュー表示オブジェクトを強制消去し、選択オブジェクトＩＤ７２５を「未定」にリセットして設定を解除する（ステップＳ１０２）。なお、メニュー表示オブジェクトを消去する際は、下位階層から順に、オブジェクトが徐々に消えて行くように消去制御すると、突然全てを消去するよりも視覚的に優しく好適である。例えば、徐々に透明になったり、徐々に表示サイズが縮小したり、オブジェクト端から砕けて消えて行くようにする、などの消去制御を採用することも考えられる。

図１８に移って、強制消去されずにメニュー表示階層７４０の示す階層のメニュー表示オブジェクト、すなわち第ｎ層のメニュー表示オブジェクトがまだ配置されているならば（ステップＳ１２０のＹＥＳ）、ゲーム装置１０００は第ｎ層メニュー表示オブジェクトを対象として注視オブジェクト検出処理を実行する（ステップＳ１２２）。

ステップＳ１２２の結果、第ｎ層メニュー表示開始タイミング７４２から所定時間内に第ｎ層メニュー表示オブジェクトのなかから新たな注視オブジェクト（選択オブジェクト）が検出されたならば（ステップＳ１２４のＹＥＳ）、ゲーム装置１０００は、当該新たな注視オブジェクトを識別表示して（ステップＳ１３０；図９（２）参照）、検出された注視オブジェクトである第ｎ層メニュー表示オブジェクトの階層が最終層（最下層）であるか判定する（ステップＳ１３２）。

また、音声認識されたメニュー項目に該当する第ｎ層メニュー表示オブジェクトがあれば（ステップＳ１２６のＹＥＳ）、ゲーム装置１０００は、当該第ｎ層メニュー表示オブジェクトを注視オブジェクト（選択オブジェクト）として認定する（ステップＳ１２８）。そして、同様にして、当該新たな注視オブジェクトを識別表示して（ステップＳ１３０）、検出された注視オブジェクトである第ｎ層メニュー表示オブジェクトの階層が最終層（最下層）であるか判定する（ステップＳ１３２）。

そして、否定ならば（ステップＳ１３２のＮＯ）、ゲーム装置１０００は、検出された注視オブジェクトである第ｎ層メニュー表示オブジェクトのメニュー項目が選択されたとみなし、メニュー表示階層７４０を「１」アップしてメニュー表示する階層数ｎをより下位の階層に変更し、第ｎ層メニュー表示開始タイミング７４２を更新する（ステップＳ１３４）。そして、ステップＳ１２２で検出された注視オブジェクトであるメニュー表示オブジェクトのメニュー項目の次の階層のメニュー項目を表す第ｎ層メニュー表示オブジェクトを配列表示させる（ステップＳ１３６）；図９、図１０参照）。

一方、新たな注視オブジェクトとして検出された第ｎ層メニュー表示オブジェクトが表示するメニュー項目の階層が最終層（最下位層）である場合には（ステップＳ１３２のＹＥＳ）、ゲーム装置１０００は、当該注視オブジェクトのメニュー表示オブジェクトに対応づけられているメニュー項目が選択されたと認定して、当該メニュー項目の内容を実行する（ステップＳ１４０）。そして、全てのメニュー表示オブジェクトを消去して表示を解除し、注視オブジェクト候補ＩＤ７２１、注視継続時間７２３、選択オブジェクトＩＤ７２５を初期化する（ステップＳ１４２）。

また、そもそも第ｎ層メニュー表示開始タイミング７４２から所定時間内に第ｎ層メニュー表示オブジェクトのなかから新たな注視オブジェクトが検出されなければ（ステップＳ１２４のＮＯ）、プレーヤはメニュー選択を中断したと見なせる。例えば、プレーヤ２がメニュー項目の選択を中止して、別の方向に視線方向を移した場合がそれである。この場合、ゲーム装置１０００は、全てのメニュー表示オブジェクトを消去して表示を解除し、注視オブジェクト候補ＩＤ７２１、注視継続時間７２３、選択オブジェクトＩＤ７２５を初期化する（ステップＳ１４２）。

図１９に移って、次に、ゲーム装置１０００はゲーム進行状況がゲーム終了条件を満たしているか判定する。満たされていなければステップＳ１６に戻る（ステップＳ１５０のＮＯ）。もし、満たされていれば（ステップＳ１５０のＹＥＳ）、プレイ成績の発表処理を行って（ステップＳ１５２）、一連の処理を終了する。

以上、本実施形態によれば、ヘッドトラッキング式のＶＲ−ＨＭＤを採用したゲーム等の映像コンテンツにおいて、手動操作に依存しない新しいメニュー操作技術を提供し、ＶＲ−ＨＭＤが提供する圧倒的な仮想現実感に近未来的な操作感を加え、より映像体験の魅力を高めることができる。

すなわち、プレーヤは視界中央に選択したいオブジェクトを捉えれば、当該オブジェクトの周囲に階層構造を有するメニュー表示が次々に表示される。プレーヤに正面を向けて空間に浮かんでいるように表示されるその様は、空間の立体感と仮想現実感とをいやが上にも高めてくれる。

更には、所望するメニュー項目のメニュー表示オブジェクトを選択するには、視線を少しだけずらし、目指すメニュー表示オブジェクトを視界中央に捉えれば選択することができる。ゲームコントローラ１２００を介さずに視線の方向を変えるだけで、メニュー選択する近未来的感覚がより映像体験の魅力を高める。

〔変形例〕
本発明の実施形態は上記に限らず、適宜構成要素の追加・省略・変更が可能である。

［その１］
例えば、ヘッドセット１３００それ自体が、例えば、姿勢検出可能なセンサを搭載したメガネ型やゴーグル型のウェアラブルコンピュータであって、ゲーム装置本体１００２を兼ねる構成としてもよい。

更に言えば、上記実施形態のゲーム装置１０００は、ＶＲ−ＨＭＤを備えるコンピュータであれば家庭用据置型を想定したゲーム装置に限らず、遊園地や博物館などの施設に設置されるＶＲ−ＨＭＤを用いたアトラクション装置、ＶＲ−ＨＭＤを装着して行う航空機やヘリコプターなどの操縦シミュレーション装置、ＶＲ−ＨＭＤを装着してスタジオ内で実物のゴルフクラブでスイングするなどしてスポーツを仮想体験するスポーツシミュレーション装置など、その他の形態の装置でもよい。

［その２］
また、上記実施形態ではゲーム装置１０００がスタンドアローンでゲームを実行する構成を例示したが、オンラインゲームとして実現するとしてもよい。その場合は、図２１で示すように、ゲームサーバとして機能するサーバシステム１６００と、プレーヤ端末として機能するゲーム装置１０００とが通信回線９を介して通信接続されたゲームシステムに本発明を適用する。そして当該構成においては、図１２で示した機能構成のうち、処理部２００及び記憶部５００をサーバシステム１６００にて実現し、図１６〜図１８のフローチャートをサーバシステム１６００にて実行すればよい。

［その３］
上記実施形態では、第１層メニュー表示オブジェクト４１、第２層メニュー表示オブジェクト４２、第３層メニュー表示オブジェクト４３を、それぞれ仮想ステレオカメラ１０の視界座標系左右方向軸（Ｘｃ軸）、上下方向軸（Ｙｃ軸）、奥行き方向軸（Ｚｃ軸）に、沿わせた配列表示とする構成としたが、階層順と配列表示を沿わせる視界座標系の軸との対応関係は適宜変更可能である。

例えば、第１層メニュー表示オブジェクト４１を奥行き方向軸（Ｚｃ軸）に沿わせて表示させ、第２層メニュー表示オブジェクト４２を上下方向軸（Ｙｃ軸）に沿わせて表示させ、第３層メニュー表示オブジェクト４３を左右方向軸（Ｘｃ軸）させるとしてもよい。もし、更に第４層以降のメニュー表示オブジェクトを配列表示する場合には、第３層メニュー表示オブジェクト４３を沿わせる軸とは別の軸を設定する。以降、階層が進む毎に同様にして視界座標系の軸を適宜設定することができる。情報配列の各階層の各表示配列方向は直交である必要はなく、交差する方向であれば十分であり、更に言えば、隣接階層すなわち第ｎ階層と第（ｎ＋１）階層との表示配列方向が異なれば十分である。

［その４］
例えば、ステップＳ８４（図１７参照）では、メニュー表示階層７４０の示す階層数ｎの第ｎ層メニュー表示オブジェクトが推奨範囲３３内に表示されるようにサイズ調整を行ったが、図２２に示すように、第１層メニュー表示オブジェクト４１〜メニュー表示階層７４０の示す階層数ｎの第ｎ層メニュー表示オブジェクトまでが推奨範囲３３内に表示されるようにサイズ調整を行うとしてもよい。

［その５］
また、上記実施形態では、１）メニュー割当オブジェクトに設定されている基準方向５２５を１つ設定することとし、２）基準方向５２５は、仮想ステレオカメラ１０の視線方向を奥行き方向座標とする視界座標系の何れかの軸に沿った方向として設定することとしたが、これに限らない。例えば、図２３に示すように、注視オブジェクト（カップオブジェクト２４）の付近に基準方向原点Ｐ０を設定し、仮想ステレオカメラ１０の視線奥行き方向に対して傾斜した複数の基準方向（第１基準方向６１、第２基準方向６２）を設定することができる。

この場合、新たに配置するメニュー表示オブジェクトの配列方向を、複数の基準方向をローテーション採用するとしてもよい。具体的には、例えば図２３の状態からカップオブジェクト２４が注視オブジェクトとして検出された場合、図２４に示すように、第１層メニュー表示オブジェクト４１（４１ａ，４１ｂ，…）を第１基準方向６１に沿わせて配列表示させる。

そして、第１層メニュー表示オブジェクト４１の中から注視オブジェクトが検出され第１層のメニュー項目が選択されたならば、図２５（１）〜図２５（２）に示すように、第２層メニュー項目が対応づけられた第２層メニュー表示オブジェクト４２（４２ａ，４２ｂ，…）を第２基準方向６２に沿わせて配列表示させる。なお、これに伴って、図２５（３）に示すように、第１層メニュー表示オブジェクト４１のうち、選択されなかったメニュー表示オブジェクトは消去するとしてもよい。

更にこの状況から、第２層メニュー表示オブジェクト４２の中から何れか注視オブジェクトとして検出されて第２層のメニュー項目が選択されると、図２６（１）〜図２６（２）に示すように、第３層メニュー項目が対応づけられた第３層メニュー表示オブジェクト４３（４３ａ，４３ｂ，…）を再び第１基準方向６１に沿わせて配列表示させる。これに伴って、図２６（３）に示すように、第２層メニュー表示オブジェクト４２のうち、選択されなかったメニュー表示オブジェクトは消去するとしてもよい。以降、最終層のメニュー項目が選択されるまで、新たに配置するメニュー表示オブジェクトの配列方向を複数の基準方向をローテーション採用する。

［その６］
また、配置済のメニュー表示オブジェクトと、選択されたメニュー割当オブジェクトとの相対位置関係も、メニュー表示制御の進行に応じて適宜変更する構成も可能である。
例えば、図２４〜図２６に示すように、第（ｎ＋１）層メニュー表示オブジェクトを表示する際、第ｎ層メニュー表示オブジェクトのうち注視オブジェクトとして検出されたオブジェクト（図２４の例で言えば、第１層メニュー表示オブジェクト４１ｂ）の配置位置を、採用されている基準方向に沿って基準方向原点Ｐ０近傍まで変更してから（ずらしてから）、第（ｎ＋１）層メニュー表示オブジェクトを他の基準方向に沿って配列表示させるとしてもよい。

この場合、既に配列表示されている第ｎ層メニュー表示オブジェクトは、第ｎ層メニュー表示オブジェクトの基準方向に沿ってずらされる。その一方で、プレーヤが選択するべき最新の第（ｎ＋１）層メニュー表示オブジェクトが、常にカップオブジェクト２４に近い第１基準方向６１又は第２基準方向６２に沿って配置されることになる。これにより、メニュー割当オブジェクト（カップオブジェクト２４）の選択からメニュー項目の選択完了までの過程において、注視操作として頭を動かす量が小さくなり素早くメニューの選択操作ができるようになる。

［その７］
また、上記実施形態では、映像コンテンツの例としてビデオゲームを例示したが、ビデオゲームに限定されるものではない。そして、映像コンテンツのジャンルによっては、メニュー表示ではなく、オブジェクトに関する情報表示を行う場合でも、本発明は同様に適用できる。例えば、図２７に示すように、映像コンテンツをバーチャルリアリティを使用した図鑑とし、図鑑に採録されている採録オブジェクト７０（７０ａ，７０ｂ，…）を注視オブジェクトとして選択すると、情報カテゴリー表示オブジェクト７２（上記実施形態の第１層メニュー表示オブジェクト４１に相当）が表示され、情報カテゴリー表示オブジェクト７２で選択された情報カテゴリーの詳細が詳細表示オブジェクト７３（上記実施形態の第２層メニュー表示オブジェクト４２に相当）が表示される、構成としてもよい。

［その８］
また上記実施形態では、仮想ステレオカメラ１０の視線方向を基準にメニュー表示オブジェクトを配置する構成であったが、仮想ステレオカメラ１０の視線方向に加えて、選択オブジェクトの位置も考慮して、メニュー表示オブジェクトを表示するとしてもよい。

例えば、図２８に示すように、選択されたメニュー項目の第ｎ層メニュー表示オブジェクト（図２８の例では、第１層メニュー表示オブジェクト７１、第２層メニュー表示オブジェクト７２）から、オブジェクトの軸が連なる様にして、第（ｎ＋１）層メニュー表示オブジェクトを配列表示させるとしてもよい。このとき、選択オブジェクト７０ｂの位置を基準に、その周囲に設定された仮想ステレオカメラ１０の視線奥行き方向に立体的に配置された仮想衝立８０（プレーヤには不可視で、選択オブジェクト毎に予め用意されている）に沿って、第（ｎ＋１）層メニュー表示オブジェクトを配列表示させるとしてもよい。

［その９］
また、上記実施形態では、ＶＲ−ＨＭＤ１３１０に表示する画像を立体視画像として説明したが、平面視画像としてもよい。その場合、仮想ステレオカメラ１０の左右の仮想カメラの中間位置に１台の仮想カメラを配置して、仮想ステレオカメラ１０の代わりに利用してもよいし、左右の仮想カメラの何れか一方を利用してもよい。

５…基準方向
１０…仮想ステレオカメラ
２４…カップオブジェクト
３０…注視判定領域
３２…注視継続マーカ
３３…推奨範囲
４１…第１層メニュー表示オブジェクト
４２…第２層メニュー表示オブジェクト
４３…第３層メニュー表示オブジェクト
６１…第１基準方向
６２…第２基準方向
７０…採録オブジェクト
７２…情報カテゴリー表示オブジェクト
７３…詳細表示オブジェクト
１０２…頭部姿勢変化検出部
１０４…測距部
１０６…集音部
２００…処理部
２０２…ゲーム演算部
２１０…仮想空間設定部
２１２…ＨＭＤ位置姿勢検出部
２１４…視線方向判定部
２１６…仮想ステレオカメラ制御部
２２０…選択オブジェクト判定部
２２２…表示開始判定部
２２４…選択オブジェクト識別表示制御部
２３０…情報配列表示制御部
２３２…項目選択部
２３４…項目識別表示制御部
２３６…首振り検出部
５００…記憶部
５０５…ゲームプログラム
５１０…ゲーム初期設定データ
５２０…オブジェクト初期設定データ
５２４…メニュー割当設定
５２５…基準方向
５３０…メニュー項目階層定義データ
５３９…メニュー項目音声認識用辞書データ
５４０…メニュー表示オブジェクト定義データ
５４３…配列方向
７００…プレイデータ
７０２…ＨＭＤ位置座標
７０４…ＨＭＤ姿勢
７１０…仮想ステレオカメラ位置座標
７１２…仮想ステレオカメラ姿勢
７２０…注視オブジェクト判定制御データ
７２１…注視オブジェクト候補ＩＤ
７２３…注視継続時間
７２５…選択オブジェクトＩＤ
７３０…オブジェクト制御データ
７４０…メニュー表示階層
７４２…第ｎ層メニュー表示開始タイミング
７４４…メニュー表示オブジェクト制御データ
１０００…ゲーム装置
１０５０…制御基板
１３００…ヘッドセット
１３１０…ＨＭＤ
１６００…サーバシステム

Claims (14)

1. コンピュータに、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成させるためのプログラムであって、
   前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段、
   前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段、
   前記複数のオブジェクトのうちの何れかのオブジェクトが前記視線方向の先に位置したことを検出し、当該検出結果を用いて当該オブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段、
   複数の情報配列方向が相対的かつ３次元的に定められた情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示する情報配列表示制御手段、
   として前記コンピュータを機能させるためのプログラム。
2. 前記情報配列表示制御手段は、前記仮想空間における前記ＶＲ−ＨＭＤの視点位置から前記選択オブジェクトまでの距離に応じて、前記情報配列の大きさを変更する、
   請求項１に記載のプログラム。
3. 前記情報配列表示制御手段は、前記情報配列の左右方向の大きさが、前記視線方向を基準とする左右視野角６０〜８０度のうちの所定角度を超える場合、当該角度以内に収まるように前記情報配列の大きさを変更する、
   請求項２に記載のプログラム。
4. 同一の前記選択オブジェクトを前記選択オブジェクト選択手段が選択している選択継続時間を計時して、前記情報配列表示制御手段による前記情報配列の配置表示を開始させるか否かを判定する表示開始判定手段、
   として前記コンピュータを更に機能させるための請求項１〜３の何れか一項に記載のプログラム。
5. コンピュータに、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成させるためのプログラムであって、
   前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段、
   前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段、
   複数の情報配列方向が相対的かつ３次元的に定められた情報配列を所定の配置条件で前記仮想空間に配置表示し、前記情報配列の大きさが前記視線方向を基準とする所定の有効視野を超える場合、当該有効視野内に収まるように前記情報配列の大きさを変更して表示する情報配列表示制御手段、
   として前記コンピュータを機能させるためのプログラム。
6. 前記複数のオブジェクトのうちの何れかのオブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段として前記コンピュータを更に機能させ、
   前記情報配列表示制御手段は、前記情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示し、更に、前記情報配列の大きさが、前記有効視野を超える場合、当該有効視野内に収まるように前記情報配列の大きさを変更して表示する、
   請求項５に記載のプログラム。
7. コンピュータに、ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成させるためのプログラムであって、
   前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段、
   前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段、
   マイクから入力された音声を認識する音声認識手段、
   前記音声認識手段による認識結果に基づいて、前記複数のオブジェクトのうちの何れかのオブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段、
   複数の情報配列方向が相対的かつ３次元的に定められた情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示する情報配列表示制御手段、
   として前記コンピュータを機能させるためのプログラム。
8. 前記オブジェクトには、前記情報配列に対する基準方向が関連付けられており、
   前記情報配列は、階層構造の配列であって、前記情報配列方向が階層毎に定められており、
   前記情報配列表示制御手段は、第１階層の情報配列方向が、前記選択オブジェクトに関連付けられた前記基準方向に沿うように前記情報配列を配置表示する、
   請求項１〜７の何れか一項に記載のプログラム。
9. 前記情報配列は、階層構造の項目の配列であって、前記情報配列方向が階層毎に定められた構成を有しており、
   前記情報配列表示制御手段により前記情報配列として表示された前記項目の中から、階層順に、項目を選択する項目選択手段として前記コンピュータを更に機能させ、
   前記情報配列表示制御手段は、前記項目選択手段による項目選択と合わせて、階層順に、対応する情報配列方向に、対応する項目を配列表示する、
   請求項１〜８の何れか一項に記載のプログラム。
10. 前記情報配列表示制御手段は、前記項目選択手段による選択前後の階層の項目配列を交差する方向に配列表示する、
    請求項９に記載のプログラム。
11. 前記ＶＲ−ＨＭＤの動きからユーザの首振りを検出する首振り検出手段として前記コンピュータを更に機能させ、
    前記情報配列表示制御手段は、前記首振り検出手段による首振りが検出された場合に、前記情報配列の表示を消去する情報配列表示消去手段を有する、
    請求項１〜１０の何れか一項に記載のプログラム。
12. ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成する画像生成装置であって、
    前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段と、
    前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段と、
    前記複数のオブジェクトのうちの何れかのオブジェクトが前記視線方向の先に位置したことを検出し、当該検出結果を用いて当該オブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段と、
    複数の情報配列方向が相対的かつ３次元的に定められた情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示する情報配列表示制御手段と、
    を備えた画像生成装置。
13. ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成する画像生成装置であって、
    前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段と、
    前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段と、
    複数の情報配列方向が相対的かつ３次元的に定められた情報配列を所定の配置条件で前記仮想空間に配置表示し、前記情報配列の大きさが、前記視線方向を基準とする所定の有効視野を超える場合、当該有効視野内に収まるように前記情報配列の大きさを変更して表示する情報配列表示制御手段と、
    を備えた画像生成装置。
14. ヘッドトラッキング式のバーチャルリアリティ・ヘッドマウントディスプレイ（以下「ＶＲ−ＨＭＤ」という）に表示するための画像（以下、「ＶＲ−ＨＭＤ画像」という）を生成する画像生成装置であって、
    前記ＶＲ−ＨＭＤ画像の仮想空間として、複数のオブジェクトが配置された仮想空間を設定する仮想空間設定手段と、
    前記仮想空間における前記ＶＲ−ＨＭＤの視線方向を判断する視線方向判断手段と、
    マイクから入力された音声を認識する音声認識手段と、
    前記音声認識手段による認識結果に基づいて、前記複数のオブジェクトのうちの何れかのオブジェクトを選択オブジェクトとして選択する選択オブジェクト判定手段と、
    複数の情報配列方向が相対的かつ３次元的に定められた情報配列を、前記選択オブジェクトの位置を基点とし、且つ、前記視線方向に対する前記情報配列方向が所与の相対関係となるように前記仮想空間に配置表示する情報配列表示制御手段と、
    を備えた画像生成装置。

Images