JP2017058969A - 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法 - Google Patents

仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法 Download PDF

Info

Publication number
JP2017058969A
JP2017058969A JP2015183379A JP2015183379A JP2017058969A JP 2017058969 A JP2017058969 A JP 2017058969A JP 2015183379 A JP2015183379 A JP 2015183379A JP 2015183379 A JP2015183379 A JP 2015183379A JP 2017058969 A JP2017058969 A JP 2017058969A
Authority
JP
Japan
Prior art keywords
player
information
image display
provision
predetermined part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015183379A
Other languages
English (en)
Other versions
JP6404196B2 (ja
Inventor
匡志 渡邊
Masashi Watanabe
匡志 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=58236521&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2017058969(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2015183379A priority Critical patent/JP6404196B2/ja
Priority to US15/196,410 priority patent/US10406432B2/en
Publication of JP2017058969A publication Critical patent/JP2017058969A/ja
Application granted granted Critical
Publication of JP6404196B2 publication Critical patent/JP6404196B2/ja
Priority to US16/524,311 priority patent/US11311798B2/en
Priority to US17/703,021 priority patent/US11896897B2/en
Priority to US18/519,445 priority patent/US20240091636A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法を提供する。【解決手段】ゲーム処理装置２０は、プレイヤの体の所定部位の位置及び向きを特定するためのセンサ１２と、画像を表示するディスプレイ１４を用いて、仮想空間の画像をディスプレイ１４に表示する。ゲーム処理装置２０の制御部２１は、仮想空間の画像を、プレイヤの体の所定部位の位置及び向きに応じてディスプレイ１４に表示し、プレイヤの体の所定部位の位置及び向きに関する情報提供条件が満たされた場合、提供情報を出力する。【選択図】図１

Description

本発明は、仮想空間の画像をディスプレイに表示する仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法に関する。
プレイヤの頭部に装着されたヘッドマウントディスプレイ（以下、ＨＭＤ）に、仮想空間の画像を表示してプレイするバーチャルリアリティゲームが知られている（例えば、特許文献１参照）。ＨＭＤは、例えばジャイロセンサ等を備えており、プレイヤの頭部の動きを検知できる。プレイヤが頭部を動かすと、ＨＭＤは頭部の動きに追従してディスプレイに表示する画像を変化させる。このように、ゲーム画像が頭部の動きに追従することで、プレイヤは一層ゲームに意識を集中させることができる。つまり、ゲームへの没入感を高めることができる。
特開平７−２００１６２号公報
バーチャルリアリティゲームにおいても、その他のゲームと同様に、ゲームの進行に対するヒントの表示や、メニュー項目の表示等の情報提供を行なう場合がある。しかし、情報提供の実行ボタンを仮想空間の画像とともに表示すると、仮想空間への没入感が大きく損なわれる。なお、こうした課題は、バーチャルリアリティゲームに限らず、仮想空間の画像をディスプレイに表示する技術においては、概ね共通するものである。
本発明は、上記実情を鑑みてなされたものであり、その目的は、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法を提供することにある。
（１）上記課題を解決する仮想画像表示プログラムは、情報提供条件と提供情報とを記録した記憶部及び制御部を備えた仮想画像表示装置と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、画像を表示するディスプレイとを用いて、仮想空間の画像を前記ディスプレイに表示する。このプログラムは、前記制御部を、仮想空間の画像を、前記プレイヤの体の所定部位の位置及び向きに応じて前記ディスプレイに表示する空間画像出力部と、前記プレイヤの体の所定部位の位置及び向きに関する前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部として機能させる。これにより、プレイヤの注視位置の動きに関する情報提供条件が満たされた場合に情報提供が実行されるので、仮想空間の画像に情報提供の実行ボタンを表示する必要がない。そのため、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。
（２）上記仮想画像表示プログラムについて、前記仮想空間には、前記プレイヤの注視によって選択可能な対象オブジェクトが含まれ、前記記憶部には、前記対象オブジェクトを含む領域が記録され、前記情報提供条件として、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置が前記領域から外れたことを含み、前記制御部は、前記プレイヤの注視位置が前記領域から外れた場合に前記提供情報を出力することが好ましい。これにより、例えばプレイヤがゲームの進行等について迷っているとき等、対象オブジェクトの選択が中断されている場合に情報提供ができるので、適切なタイミングで情報提供を実行することができる。
（３）上記仮想画像表示プログラムについて、前記仮想空間には、前記プレイヤの注視によって選択可能な対象オブジェクトが含まれ、前記情報提供条件として、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置が、前記対象オブジェクトの選択が完了しない状態で当該対象オブジェクト外へ移動したことを含み、前記制御部は、前記プレイヤの注視位置が前記対象オブジェクトの選択が完了しない状態で当該対象オブジェクト外へ移動した場合に前記提供情報を出力することが好ましい。これにより、対象オブジェクトの選択ができなかった場合に情報提供ができるので、適切なタイミングで情報提供を実行することができる。
（４）上記仮想画像表示プログラムについて、前記記憶部には、前記情報提供条件として前記プレイヤの体の所定部位の動きに関する基準範囲が記録され、前記情報提供条件として、前記プレイヤの体の所定部位の動きが前記基準範囲から外れることを含み、前記制御部は、前記プレイヤの体の所定部位の動きが、前記基準範囲から外れた場合に前記提供情報を出力することが好ましい。これにより、体の所定部位の動きの範囲が狭すぎるときや広すぎるときに情報提供条件が成立するので、適切なタイミングで情報提供を実行することができる。
（５）上記仮想画像表示プログラムについて、前記記憶部には、前記プレイヤの体の所定部位の所定の動作が記録され、前記情報提供条件として、前記プレイヤの体の所定部位の動きが前記記憶部に記録された所定の動作に相当することを含み、前記制御部は、前記プレイヤの体の所定部位の動きが、前記所定の動作に相当した場合に前記提供情報を出力することが好ましい。これにより、体の所定部位の動きが所定の動作に相当する場合に情報提供条件が成立するので、適切なタイミングで情報提供を実行することができる。
（６）上記仮想画像表示プログラムについて、前記情報提供部は、前記仮想空間内のオブジェクト上に前記提供情報を表示することが好ましい。これにより、自然な形態でプレイヤに情報提供を行なうことができる。
（７）上記仮想画像表示プログラムについて、前記情報提供部は、前記仮想空間内のオブジェクトであって前記仮想空間内を移動する移動体の移動方向に前記提供情報を表示することが好ましい。これにより、仮想空間への没入感を損なわずに情報提供を出力することができる。
本発明にかかる仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法によれば、没入感の喪失を抑制しながら情報提供を行なうことができる。
第１実施形態のシステムの構成を説明する概略図。 第１実施形態の仮想空間のゲーム可能領域を示す概念図。 第１実施形態のゲーム進行処理の手順を示すフローチャート。 第１〜第４実施形態の情報提供処理の手順を示すフローチャート。 第１実施形態のディスプレイに表示される画像を示す模式図。 第１実施形態のディスプレイに表示される画像であって、ヒントが表示された状態を示す模式図。 第２実施形態のディスプレイに表示される画像であって、（ａ）は対象オブジェクトを注視している状態を示し、（ｂ）はヒントが表示された状態を示す図。
（第１実施形態）
以下、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第１実施形態を説明する。本実施形態では、仮想画像表示装置を、仮想空間の画像を表示しながらゲームを進行させるゲーム処理装置に具体化している。このゲームにおいては、プレイヤが頭部にヘッドマウントディスプレイ（ＨＭＤ）を装着することが前提となる。
図１を参照して、ＨＭＤ１０及びゲーム処理装置２０を有するシステムの構成について説明する。まず、ゲーム処理装置２０に接続されるＨＭＤ１０の構成について説明する。ＨＭＤ１０は、ＨＭＤ制御部１１、検出装置としてのセンサ１２、及び入出力インターフェース部（Ｉ／Ｆ部）１３を備える。ＨＭＤ制御部１１は、入出力Ｉ／Ｆ部１３を介して、ゲーム処理装置２０に対して各種情報を出力するとともに、ゲーム処理装置２０から各種情報を入力する。センサ１２は、プレイヤの頭部の位置及び向きを特定するための検出装置に対応している。センサ１２は、例えばジャイロセンサ、加速度センサ、地磁気センサ等のうち少なくとも１つのセンサを備え、プレイヤの頭部の動きを検出する。なお、別の実施形態として、プレイヤの眼球の動きを直接的に検出するもの、例えば、虹彩内に近赤外線を入射しその反射光を検出する視線検出センサ等がセンサ１２として用いられてもよい。ここで、本実施形態においては、プレイヤの頭部が、本発明のプレイヤの体の所定部位に対応する。
また、ＨＭＤ１０は、画像を表示するディスプレイ１４、音声を出力するスピーカ１５を備える。例えば、ディスプレイ１４は、左目が視認する画像と右目が視認する画像とを視差を設けて表示する。これにより、プレイヤは奥行き感のある立体的な画像を視認することができる。ＨＭＤ制御部１１は、入出力Ｉ／Ｆ部１３を介してゲーム処理装置２０から受信した画像信号に応じた画像をディスプレイ１４に表示する。スピーカ１５は、ヘッドフォン等であり、効果音や、ゲームの進行について説明する音声等を出力する。
次に、ゲーム処理装置２０の構成について説明する。ゲーム処理装置２０は、制御部２１と、記憶部２２と、入出力部２３とを備えている。制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等のハードウェア要素から構成される。また、制御部２１は、注視位置特定部２４、ゲーム管理部２５、空間画像出力部２６、情報提供部２７を備えている。本実施形態において、制御部２１は、ハードウェア要素に仮想画像表示プログラムを実行させることによって、注視位置特定部２４、ゲーム管理部２５、空間画像出力部２６、情報提供部２７として機能する。
記憶部２２には、仮想空間画像情報３０、オブジェクト情報３１、提供条件情報３２、注視位置情報３３、注視時間情報３４、提供情報３５が格納されている。
仮想空間画像情報３０は、仮想空間の背景やオブジェクトの画像を描画するためのデータである。オブジェクトには、選択可能なオブジェクトである対象オブジェクトと、選択不可能なオブジェクトとがある。対象オブジェクトは、プレイヤが所定時間継続して注視することにより選択することができる。
オブジェクト情報３１は、オブジェクトの属性を示す情報である。具体的には、オブジェクト情報３１は、オブジェクトの識別子、オブジェクトの仮想空間内での座標、オブジェクトの種類、オブジェクトの選択状態を含んでいる。オブジェクトの種類は、オブジェクトが、対象オブジェクトか、それ以外のオブジェクトであるかを示す情報である。オブジェクトの選択状態は、オブジェクトが対象オブジェクトである場合に選択されているか否かを示す情報である。
提供条件情報３２は、プレイヤに情報提供を行なう条件である情報提供条件を定めた情報である。本実施形態においては、提供条件情報３２を、ゲーム開始からの経過時間が一定時間以上のときに、プレイヤの注視位置が仮想空間内に設定されるゲーム可能領域外であることを定めた情報に例示して説明する。ゲーム可能領域は、プレイヤが注視により対象オブジェクトを選択可能な領域であって、全ての対象オブジェクトが含まれる。例えば、提供条件情報３２には、ゲーム可能領域の座標情報が含まれる。また、情報提供条件が成立したとき、プレイヤにゲームの進行に関するヒントが提供される。
注視位置情報３３は、特定されたプレイヤの注視位置を仮想空間の座標で示す情報である。注視時間情報３４は、プレイヤが対象オブジェクトの注視を継続した時間を示す情報である。提供情報３５には、ゲームのミッションをクリアするためのヒントの内容を示す情報が含まれている。
注視位置特定部２４は、入出力部２３を介して、プレイヤに装着されたＨＭＤ１０のＨＭＤ制御部１１からセンサ１２の検出信号を入力する。また、注視位置特定部２４は、入力した検出信号に応じた注視位置を仮想空間の座標で特定し、特定した注視位置に基づき注視位置情報３３を更新する。
ゲーム管理部２５は、注視位置情報３３とオブジェクト情報３１とを対比して、注視位置が対象オブジェクト上にあるか否かを判断する。ゲーム管理部２５は、注視位置が対象オブジェクト上にあると判断した場合、プレイヤが対象オブジェクトの注視を継続している時間（注視時間）を計測して、その注視時間に基づき注視時間情報３４を更新する。また、ゲーム管理部２５は、注視時間情報３４によって示される注視時間が所定時間（例えば３秒）に達したか否かを判断し、注視時間情報３４が所定時間に達したとき対象オブジェクトの選択が完了したと判断する。
また、ゲーム管理部２５は、ゲームのミッションが完了したか否かを判定する。例えば、ゲーム管理部２５は、ゲームの制限時間内に、選択が完了したオブジェクトが所定数存在することを条件に、ミッションクリアと判断する。ゲーム管理部２５は、選択が完了した対象オブジェクトが所定数存在しないまま、ゲーム開始からの経過時間が制限時間に達した場合には、ゲーム終了と判断する。
さらに、ゲーム管理部２５は、提供条件情報３２に基づき、情報提供条件が成立するか否かを判断する。本実施形態では、情報提供条件として、ゲームを開始したときからの経過時間が一定時間を超え、且つプレイヤの注視位置がゲーム可能領域外であることを用いる。一定時間は、例えば、制限時間までの残り時間が僅かとなるような所定の時間、又はプレイヤのミッションクリアに要する平均時間等によって設定される。ゲーム管理部２５は、情報提供条件が成立したと判断したとき、情報提供部２７に対し提供情報３５の出力要求を出力する。
また、ゲーム管理部２５は、図示しない音声情報記憶部から、効果音やゲームの進行について説明する音声等の音声情報を抽出して、入出力部２３を介してＨＭＤ１０に送信する。
空間画像出力部２６は、注視位置情報３３が示す座標を中心とした視野範囲の仮想空間画像情報３０を抽出し、画像信号としてＨＭＤ１０に送信する。また、空間画像出力部２６は、仮想空間内でプレイヤに対応するキャラクタを表示する。さらに、空間画像出力部２６は、ゲーム管理部２５が対象オブジェクトが選択完了であると判断すると、選択が完了した対象オブジェクトの表示態様を変化させる。
情報提供部２７は、ゲーム管理部２５から出力されたヒントの表示要求を入力すると、提供情報３５を読み出す。そして、提供情報３５に応じた表示をディスプレイ１４に出力して、仮想空間画像に重ねて表示する。
次に、図２を参照して、ゲーム処理装置２０によるオブジェクト選択機能について説明する。
注視位置特定部２４は、ＨＭＤ１０からセンサ１２の検出信号を入力し、検出信号に応じたプレイヤ１０１の頭部の位置及び向きを特定する。具体的には、注視位置特定部２４は、頭部の位置及び向きを、水平方向に沿ったＸ軸及びＸ軸を中心とした回転方向を示すピッチθｐ、鉛直方向に沿ったＹ軸及びＹ軸を中心とした回転方向を示すヨーθｙ、奥行方向に沿ったＺ軸及びＺ軸を中心とした回転方向を示すロールθｒの３軸方向の位置及び各軸の周りの角度として算出する。
注視位置特定部２４は、算出した頭部の位置及び向きに基づき、仮想空間内でのプレイヤ１０１の注視位置Ｐ１を特定する。注視位置の特定の方法は公知の方法を用いることができる。例えば、注視位置特定部２４は、左目位置と右目位置とを結ぶ直線を仮想的に設定し、当該直線に直交する方向に延び、且つ左目位置と右目位置の中点を通る方向を視線方向Ｄ１とする。さらに、注視位置特定部２４は、視線方向Ｄ１とオブジェクト１０２（又は背景）との交点を注視位置Ｐ１として特定する。なお、センサ１２として、眼球の動きを検出するものや虹彩内からの反射光を検出するものを用いる場合には、眼球の動きや反射光に基づき視線方向を特定する。
また、仮想空間内には、ゲーム可能領域１０５が設けられている。ゲーム可能領域１０５は、プレイヤに対応するキャラクタの周囲に設定される。このゲーム可能領域１０５には全ての対象オブジェクト１０３が含まれるので、注視により対象オブジェクト１０３を選ぶときには、注視位置Ｐ１はゲーム可能領域１０５に位置する。
空間画像出力部２６は、注視位置を中心とした視野範囲の仮想空間画像情報３０を抽出し、その仮想空間画像情報３０を画像信号としてＨＭＤ制御部１１に送信する。ＨＭＤ制御部１１は、受信した仮想空間画像情報３０に応じた画像をディスプレイ１４に出力する。
（ゲーム進行処理）
次に、図３を参照して、ゲーム進行処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びゲーム開始からの経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。なお、経過時間は、ゲームが終了するまで、ゲーム管理部２５が、ＣＰＵのクロック信号等を利用したシステム時刻等に基づき計測している。
ゲームが開始されると、制御部２１は、プレイヤの注視位置を特定する（ステップＳ１）。具体的には、制御部２１の注視位置特定部２４は、上述した手法でプレイヤの注視位置を特定し、特定された注視位置によって注視位置情報３３を更新する。
制御部２１は、注視位置情報３３を用いて、対象オブジェクトの選択が完了したか否かを判断する（ステップＳ２）。具体的には、制御部２１のゲーム管理部２５は、記憶部２２から対象オブジェクトのオブジェクト情報３１及び注視位置情報３３を読み出し、対象オブジェクトの座標と注視位置とを比較して、注視位置が対象オブジェクト上に存在するか否かを判断する。
注視位置が対象オブジェクト上に存在する場合、ゲーム管理部２５は、システム時刻等を用いて注視時間を計測し、計測した注視時間によって注視時間情報３４を更新する。ゲーム管理部２５は、注視時間が所定時間に達したとき、選択完了と判断する。
注視時間が所定時間に達しないまま、注視位置が対象オブジェクト外となったとき、ゲーム管理部２５は、対象オブジェクトの選択が完了していないと判断して（ステップＳ２において「ＮＯ」の場合）、注視時間をリセットして、ステップＳ１に戻る。
ゲーム管理部２５は、対象オブジェクトの選択が完了したと判断すると（ステップＳ２において「ＹＥＳ」の場合）、オブジェクト情報３１の選択状況を「選択完了」に更新し、ステップＳ３に進む。なお、このとき空間画像出力部２６は、選択が完了した対象オブジェクトの表示態様を変化させる。
対象オブジェクトの選択が完了した場合、制御部２１は、ミッションクリア条件が成立したか否かを判断する（ステップＳ３）。具体的には、制御部２１のゲーム管理部２５は、オブジェクト情報３１の選択状況を参照して、ゲームの制限時間内に、選択が完了したオブジェクトが、所定数存在するか否かを判断する。
選択が完了した対象オブジェクトの数が所定数以上であるとき、制御部２１は、ミッションクリア条件が成立したと判断する（ステップＳ３において「ＹＥＳ」の場合）。この場合、ゲーム進行処理の終了条件が成立するので、ゲームが終了する。
選択が完了した対象オブジェクトの数が所定数未満であるとき、制御部２１は、ミッションクリア条件が成立しないと判断して（ステップＳ３において「ＮＯ」の場合）、ステップＳ１に戻る。具体的には、制御部２１のゲーム管理部２５がミッションクリア条件が成立しないと判断すると、ステップＳ１において注視位置の特定を行なう。
（情報提供処理）
次に、図４を参照して、情報提供処理について、その処理手順を説明する。本実施形態においては、この処理は、ゲーム進行処理とは独立して、並行に実行される処理である。
この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。
ゲーム処理装置２０の制御部２１は、情報提供条件が成立したか否かを判断する（ステップＳ１０）。具体的には、制御部２１のゲーム管理部２５は、経過時間が一定時間に達し、且つ注視位置がゲーム可能領域外であるか否かを判断する。
このために、ゲーム管理部２５は、経過時間を取得して、経過時間が一定時間に達したか否かを判断する。経過時間が一定時間に達したと判断した場合、ゲーム管理部２５は、注視位置情報３３及び提供条件情報３２を記憶部２２から読み出し、注視位置がゲーム可能領域外であるか否かを判断する。注視位置がゲーム可能領域外であると判断した場合、ゲーム管理部２５は情報提供条件が成立したとする。
情報提供条件が成立したと判断すると（ステップＳ１０において「ＹＥＳ」の場合）、制御部２１は、情報提供を実行する（ステップＳ１１）。具体的には、制御部２１のゲーム管理部２５は、情報提供部２７に情報提供要求を出力する。情報提供部２７は、情報提供要求を受けて、記憶部２２から提供情報３５を読み出し、ＨＭＤ１０に出力する。
一方、情報提供条件が成立しない場合（ステップＳ１０において「ＮＯ」の場合）、制御部２１は、情報提供条件が成立したか否かの判断（ステップＳ１０）を繰り返す。
なお、この情報提供処理は、ゲーム進行処理と連動させてもよい。例えば、ゲーム進行処理において対象オブジェクトの選択が完了したとき（ステップＳ２において「ＹＥＳ」の場合）や、ミッションクリア条件が成立したと判断したとき（ステップＳ３において「ＹＥＳ」の場合）等に、情報提供を行なうために計測される経過時間をリセットしてもよい。または、情報提供処理における対象オブジェクトの選択完了の判断（ステップＳ２）に基づき、ゲーム開始からの経過時間の代わりに、ゲーム開始から対象オブジェクトが一つも選択されていない時間を用い、当該時間が一定時間に達し、且つ注視位置がゲーム可能領域外であることを情報提供条件としてもよい。
（表示画像）
次に、図５及び図６を参照して、ゲーム進行中にＨＭＤ１０のディスプレイ１４に表示される画像について説明する。なお、図５及び図６に示す仮想空間画像は、ＨＭＤ１０の視野範囲とは無関係に模式的に示している。
図５に示すように、ＨＭＤ１０のディスプレイ１４には、仮想空間画像情報３０に基づく画像であって、注視位置を中心とする仮想空間画像１１０が表示されている。仮想空間画像１１０のうち、ゲーム可能領域１０５内には対象オブジェクト１０３が表示される。なお、このゲーム可能領域１０５には、対象オブジェクト１０３以外のオブジェクト１０６が表示されていてもよい。
図６に示すように、注視位置がゲーム可能領域１０５外となると、ゲーム可能領域１０５外の仮想空間画像１１０に重ねて情報提供表示１１１が出力される。情報提供表示１１１には、提供情報３５に基づくヒントの内容が表示されている。情報提供表示１１１は、ゲーム可能領域外の仮想空間画像１１０に重ねて表示されるので、情報提供表示１１１が対象オブジェクトに重ならない。このため、対象オブジェクトの選択を妨げならないように情報提供を行なうことができる。また、情報提供表示１１１は、経過時間が一定時間を超えないと表示されないため、頻繁な情報提供による煩わしさをプレイヤに与えることを抑制することができる。
図６では、ゲーム可能領域１０５外を移動する鳥である移動体１１２が、ヒントが書かれた情報提供表示１１１を保持するように表示されている。すなわち、情報提供表示１１１は、移動体１１２の移動速度及び移動方向に合わせて移動する。移動体１１２及び情報提供表示１１１は、仮想空間内に存在するオブジェクトとして、明度や色調等の画像属性が仮想空間画像に合わせられた状態で描画されている。このように仮想空間内のオブジェクトに情報提供表示１１１を保持させることによって、仮想空間における没入感を損なわない情報提供を行なうことができる。
このように、注視位置がゲーム可能領域外になったとき、対象オブジェクトの選択が円滑に行われていないと判断して、情報提供表示１１１を表示する。このため、プレイヤにとって適切なタイミングで情報提供を行なうことができる。また、このように注視位置の動きに基づき情報提供を行なうことによって、情報提供の実行ボタン等を省略することができる。このため、仮想空間への没入感の喪失を抑制することができる。
以上説明したように、第１実施形態によれば、以下に列挙する効果が得られる。
（１）上記第１実施形態では、プレイヤの注視位置の動きが情報提供条件に一致したことを条件に情報提供が実行されるので、仮想空間の画像に情報提供の実行ボタンを表示する必要がない。そのため、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。
（２）上記第１実施形態では、プレイヤの注視位置が全ての対象オブジェクトを含むゲーム可能領域から外れたときに情報提供が実行される。すなわち、例えばプレイヤがゲームの進行等について迷っているとき等、対象オブジェクトの選択が中断されている場合に情報提供ができるので、適切なタイミングで情報提供を実行することができる。
（３）上記第１実施形態では、仮想空間内で移動するオブジェクト（移動体）上にヒントを表示した。プレイヤは移動しているものに着目するので、自然な形態でプレイヤにヒントに着目させることができる。
（第２実施形態）
次に図４及び図７を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第２実施形態を説明する。なお、第２実施形態は、第１実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
本実施形態では、情報提供条件が、プレイヤが対象オブジェクトを選択完了としないまま注視を止めたこと、及び注視を止めた後に注視位置がゲーム可能領域外となったことである点で、第１実施形態と異なる。
図４を参照して、情報提供処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。
ゲーム処理装置２０の制御部２１は、情報提供条件が成立したか否かを判断する（ステップＳ１０）。具体的には、制御部２１のゲーム管理部２５は、記憶部２２から注視位置情報３３及びオブジェクト情報３１を読み出し、注視位置が対象オブジェクト上にあるか否かを判断する。注視位置が対象オブジェクト以外にある場合、ゲーム管理部２５は、情報提供条件が成立していないと判断して（ステップＳ１０において「ＮＯ」の場合）、ステップＳ１０の判断を繰り返す。
プレイヤが対象オブジェクトを注視したと判断すると、ゲーム管理部２５は、注視時間を取得し、注視時間が対象オブジェクトを選択するための所定時間に達する前に注視位置がゲーム可能領域外となったか否かを判断する。注視位置が対象オブジェクト上である場合は、ゲーム管理部２５は、情報提供条件が成立していないと判断して（ステップＳ１０において「ＮＯ」の場合）、ステップＳ１０の判断を繰り返す。
一方、ゲーム管理部２５は、対象オブジェクトを注視した注視時間が所定時間に達する前に、注視位置がゲーム可能領域外となった場合、情報提供を行う（ステップＳ１１）。
図７を参照して、ゲーム進行中にＨＭＤ１０のディスプレイ１４に表示される画像について説明する。なお、図７に示す仮想空間画像は、ＨＭＤ１０の視野範囲とは無関係に模式的に示している。
図７（ａ）に示すように、プレイヤが仮想空間画像１１０に表示された対象オブジェクト１０３を注視すると、空間画像出力部２６によって対象オブジェクト１０３にゲージ１２０が重ねて表示される。ゲージ１２０は、注視開始から所定時間に達したときまでの時間の経過を表示するものである。
図７（ｂ）に示すように、対象オブジェクト１０３の注視位置がゲーム可能領域１０５外となると、情報提供表示１１１が出力される。
図７（ｂ）では、情報提供表示１１１を、移動体１１２である鳥の移動方向に表示している。プレイヤは、静止したオブジェクトに比べ移動体１１２に着目しやすい。そのため、移動体１１２の移動方向の先に情報提供表示１１１を表示することによって、プレイヤが情報提供表示１１１に気付きやすくすることができる。また、情報提供表示１１１は、静止状態で表示されるので、プレイヤが情報提供表示１１１の内容を確認しやすくすることができる。
このように、本実施形態では、情報提供条件として、プレイヤが対象オブジェクトを選択完了としないまま注視を止めたこと、及び注視を止めた後に注視位置がゲーム可能領域外となったこといったプレイヤの複数の動作が規定されている。そのため、複数の動作を考慮して、プレイヤの状況をより的確に判断できる。
以上説明したように、第２実施形態によれば、第１の実施形態に記載した効果に加えて、以下に列挙する効果が得られる。
（４）上記第２実施形態では、情報提供条件は、プレイヤの注視位置が、対象オブジェクトの選択が完了しない状態で、対象オブジェクトの外側であってゲーム可能領域外に移動したことである。これにより、対象オブジェクトの選択ができなかった場合に情報提供ができるので、適切なタイミングで情報提供を実行することができる。
（５）上記第２実施形態では、仮想空間内のオブジェクトであって、鳥等の仮想空間内を移動する移動体１１２の移動方向に情報提供表示１１１を出力する。これにより、仮想空間への没入感を損なわずに情報提供を出力することができる。
（第３実施形態）
次に、図４を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第３実施形態を説明する。なお、第３実施形態は、第１実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
本実施形態では、情報提供条件が、ミッションをクリアする前において、プレイヤの体の所定部位の動きの範囲が、対象オブジェクトを選択するときの基準的な体の所定部位の動きの範囲外となることである点で、第１実施形態と異なる。なお、プレイヤの体の所定部位は、頭部である。対象オブジェクトを選択するときの基準的な頭部の動きの範囲は予め規定されている。なお、本実施形態においては、ゲーム可能領域は設定されていなくてもよい。
プレイヤの頭部の動きの範囲は、ゲームが開始されたときからの頭部の動きの範囲を示す。また、プレイヤの頭部の動きの範囲は、例えば、角度座標を示すピッチθｐ、ヨーθｙ、ロールθｒの範囲として規定される。予め規定された頭部の動きの範囲は、例えば提供条件情報３２に含まれた状態で、記憶部２２に記録される。
プレイヤの頭部の動きの範囲が、規定された基準範囲よりも狭い場合には、プレイヤの注視している範囲が狭すぎる可能性がある。一方、プレイヤの頭部の動きの範囲が規定された基準範囲よりも広い場合には、プレイヤの注視している範囲が十分広いにも関わらずミッションがクリアできていないため、プレイヤがミッションクリア条件や操作方法を把握していないか、プレイヤが対象オブジェクトを探すことができていない可能性がある。このようにプレイヤの頭部の動きの範囲が、狭すぎる場合や広すぎる場合に、ゲームの進行についてのヒントを提供して、ミッションクリアを促す。
図４を参照して、情報提供処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。
ゲーム処理装置２０の制御部２１は、情報提供条件が成立しているか否かを判断する（ステップＳ１０）。具体的には、制御部２１のゲーム管理部２５は、プレイヤの頭部の動きの範囲を算出する。なお、本実施形態では、ゲーム開始時からのプレイヤの頭部の動きの履歴が蓄積されていることを想定している。また、ゲーム管理部２５は、提供条件情報３２を読み出し、プレイヤの頭部の動きの範囲が、提供条件情報３２に含まれる基準範囲外であるか否かを判断する。例えば、提供条件情報３２に含まれる基準範囲として、上述した３つの回転方向についてそれぞれ範囲を規定したものを用いる場合を想定する。
そして、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合には、ゲーム管理部２５は、プレイヤの頭部の動きの範囲が基準範囲外であると判断する。
情報提供条件が成立しないと判断した場合には（ステップＳ１０において「ＮＯ」の場合）、制御部２１は、情報提供条件についての判断を繰り返す（ステップＳ１０）。具体的には、制御部２１のゲーム管理部２５は、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合に、情報提供条件が成立しないと判断して、ステップＳ１０の判断を繰り返す。
一方、制御部２１が、情報提供条件が成立したと判断すると（ステップＳ１０において「ＹＥＳ」の場合）、情報提供を実行する（ステップＳ１１）。具体的には、プレイヤの頭部の動きの範囲が、全ての回転方向について基準範囲内となる場合に、ゲーム管理部２５は、情報提供条件が成立したと判断して、情報提供を実行する。
以上説明したように、第３実施形態によれば、第１の実施形態に記載した効果に加えて、以下に列挙する効果が得られるようになる。
（６）上記第３実施形態では、情報提供条件は、プレイヤの頭部の動きの範囲が、規定された基準範囲から外れることである。これにより、プレイヤの注視位置が狭すぎるときや広すぎるときに情報提供条件が成立するので、適切なタイミングで情報提供を実行することができる。
（第４実施形態）
次に、図４を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第４実施形態を説明する。なお、第４実施形態は、第１実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
本実施形態では、情報提供条件として、プレイヤの体の所定部位の動きが、規定された所定の動作に相当することを用いる点で、第１実施形態と異なる。なお、プレイヤの体の所定部位は、頭部である。本実施形態において、所定の動作とは、落ち着かない様子、慌ただしい様子等、対象オブジェクトを選択するときの通常のプレイヤの頭部の動きとは異なる不安定且つ特異な動きである。
ここで、プレイヤの頭部の動きは、プレイヤの頭部の移動速度の平均、プレイヤの頭部の移動速度の最大値又は最小値、単位時間あたりの移動方向の転換回数などによって表される。プレイヤの頭部の移動速度は、ゲーム処理装置２０の制御部２１が特定した頭部の位置及び向きから算出する。提供条件情報３２には、プレイヤの頭部の所定の動作について規定されている。具体的には、提供条件情報３２には、対象オブジェクトを選択する際のとは異なる特異な頭部の動きについて規定されている。
図４を参照して、情報提供処理について説明する。また、この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。
ゲーム処理装置２０の制御部２１は、情報提供条件が成立するか否かを判断する（ステップＳ１０）。具体的には、制御部２１のゲーム管理部２５は、センサ１２から入力した検出信号に応じて算出されたプレイヤの頭部の位置及び向きを用いて、例えばプレイヤの頭部の平均移動速度等といった、プレイヤの頭部の動きを算出する。そして、ゲーム管理部２５は、提供条件情報３２を読み出し、算出したプレイヤの頭部の動きが、提供条件情報３２に含まれるプレイヤの頭部についての所定の動作に相当するか否かを判断する。
情報提供条件が成立しないと判断した場合（ステップＳ１０において「ＮＯ」の場合）、制御部２１は、情報提供条件についての判断を繰り返す（ステップＳ１０）。具体的には、制御部２１のゲーム管理部２５は、算出したプレイヤの頭部の動きが、提供条件情報３２に含まれる所定の動作に相当しないとき、情報提供条件が成立しないと判断して、ステップＳ１０の判断を繰り返す。
一方、情報提供条件が成立したと判断した場合（ステップＳ１０において「ＹＥＳ」の場合）、制御部２１は、情報提供を実行する（ステップＳ１１）。具体的には、制御部２１のゲーム管理部２５は、算出したプレイヤの頭部の動きが、提供条件情報３２に含まれる所定の動作に相当する場合、情報提供条件が成立したと判断して、情報提供を実行する。
以上説明したように、第４実施形態によれば、第１の実施形態に記載した効果に加えて、以下に列挙する効果が得られるようになる。
（７）上記第４実施形態では、情報提供条件は、プレイヤの頭部の動きが、記憶部２２に記録された所定の動作に相当することである。これにより、プレイヤが迷っている場合等に情報提供条件が成立するので、適切なタイミングで情報提供を実行することができる。
なお、上記各実施形態は、以下のように適宜変更して実施することもできる。
・上記各実施形態では、ゲーム可能領域は、全ての対象オブジェクトが含まれる領域としたが、少なくともミッションクリアのための所定数の対象オブジェクトが含まれている領域であればよい。
・上記各実施形態では、オブジェクトには、選択可能な対象オブジェクトと、選択不可能なオブジェクトとがあるとしたが、仮想空間内に表示されるオブジェクトを全て選択可能なオブジェクトとしてもよい。
・上記各実施形態では、ゲームのミッションクリア条件を、ゲームの制限時間内に、選択が完了した対象オブジェクトが所定数存在することとしたが、これ以外の条件であってもよい。例えば、対象オブジェクトを選択するタイミングが予め設定されたタイミングと合致すること、同じ対象オブジェクトを所定回数選択すること等であってもよい。
・上記第１実施形態では、情報提供表示１１１を、移動体である鳥が保持する紙として表示し、この紙も移動体に合わせて移動させた。これ以外に、情報提供表示１１１を、例えば、鳥以外の移動体であって、飛行機等の乗り物、蝶々等の生物、落ち葉等、仮想空間を移動する移動体としてもよい。また、それらの移動体自体にゲームの進行に関するヒントが書かれていたり、それらの移動体が情報提供表示１１１を保持していたりしてもよい。また、仮想空間内を落下する紙を移動体とし、その紙にヒントを表示してもよい。
・上記第１実施形態では、情報提供表示１１１は、経過時間が一定時間を超えないと表示されないようにした。これ以外に、情報提供表示１１１を、単に注視位置がゲーム可能領域外となったときに表示してもよい。
・上記第２実施形態では、対象オブジェクトの選択が完了しない状態でプレイヤの注視位置がゲーム可能領域外となったことを条件に、情報提供表示１１１を表示した。これ以外に、対象オブジェクトの選択が完了しない状態で、プレイヤの注視位置が、ゲーム可能領域内であっても対象オブジェクト外となった場合に、情報提供表示１１１を表示するようにしてもよい。
・上記第３実施形態では、頭部の動きの範囲を、３つの回転方向で表したが、これ以外の変数で表されてもよい。例えば、頭部の動きの範囲は、プレイヤが水平方向を向いたときの頭部の位置及び向きを基準として、「左側に９０°、右側に９０°」、「上側に３０°、下側に３０°」のように表してもよい。
・上記第３実施形態では、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合には、注頭部の動きの範囲が基準範囲外であると判断した。これ以外に、プレイヤの頭部の動きの範囲が、全ての回転方向について基準範囲外となる場合に、頭部の動きの範囲が基準範囲外であると判断してもよい。
・第３実施形態では、情報提供条件を、プレイヤの頭部の動きの範囲が、対象オブジェクトを選択するときの基準的な頭部の動きの範囲外となることとした。第４実施形態では、情報提供条件を、プレイヤの頭部の動きが、規定された所定の動作に相当することとした。これらの情報提供条件の「頭部の動き」を「注視位置」に代えてもよい。すなわち、第３実施形態の情報提供条件を、注視位置の動きの範囲が、対象オブジェクトを選択するときの基準的な注視位置の動きの範囲外となることとしてもよい。第４実施形態の情報提供条件を、注視位置の動きが、規定された所定の動作に相当することとしてもよい。
・上記各実施形態では、情報提供として、ゲームに関するヒントの表示を行なうようにしたが、これ以外の情報を提供するようにしてもよい。例えば、メニュー項目、得点、キャラクタの状態、ゲームを続行可能な残り時間、ゲームの進行ステージ等の情報を提供してもよい。
・上記第１実施形態の情報提供条件又は上記第２実施形態の情報提供条件に、上記第３実施形態の情報提供条件である「ミッションをクリアする前において、頭部の動きが含まれる範囲が、基準範囲外となること」を加えてもよい。或いは、上記第１実施形態の情報提供条件又は上記第２実施形態の情報提供条件に、上記第４実施形態の情報提供条件である「頭部の動きが、所定の動作に相当すること」を加えてもよい。或いは、上記第１実施形態の情報提供条件又は上記第２実施形態の情報提供条件に、上記第３実施形態の情報提供条件及び上記第４実施形態の情報提供条件の両方を加えてもよい。このようにしても、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。
・上記各実施形態では、ディスプレイ１４に情報提供表示を出力することにより情報提供を行なった。これ以外に、情報提供条件が成立したときに、ヒント内容についての音声、注意喚起音等により情報提供を行なってもよい。
・ＨＭＤ制御部１１が、センサ１２の検出信号に基づき、頭部の位置及び向きを算出するようにしてもよい。このように、上記各実施形態に記載したゲーム処理装置２０の機能の一部を、ＨＭＤ１０にもたせることも可能である。
・上記各実施形態では、プレイヤの注視位置を、プレイヤの頭部の位置及び向きに基づき算出したが、例えば、瞳孔の位置に基づいて視線方向を算出し、その視線方向から注視位置を特定するようにしてもよい。また、例えば鼻の位置や向き、または口の位置や向きに基づいて視線方向を算出し、その視線方向から注視位置を特定するようにしてもよい。なお、鼻や口の向きは、例えば後頭部から鼻または口へ向かう方向として定めてもよい。
・上記各実施形態では、仮想画像表示装置をゲーム処理装置に具体化したが、仮想画像表示装置を他の用途のバーチャルリアリティシステムに適用してもよい。例えば、運転や職業訓練等の各種シミュレーション、医療等におけるトレーニング、製品のモニター、映画や音楽の鑑賞等に適用してもよい。仮想画像表示装置をゲーム以外の用途のバーチャルリアリティシステムに適用しても、プレイヤ（ユーザ）の仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。
１０…ＨＭＤ、１１…ＨＭＤ制御部、１２…トラッキングセンサ、１３…入出力Ｉ／Ｆ部、１４…ディスプレイ、１５…スピーカ、２０…ゲーム処理装置、２１…制御部、２２…記憶部、２３…入出力部、２４…注視位置特定部、２５…ゲーム管理部、２６…空間画像出力部、２７…情報提供部、３０…仮想空間画像情報、３１…オブジェクト情報、３２…提供条件情報、３３…注視位置情報、３４…注視時間情報、３５…提供情報。

Claims (9)

  1. 情報提供条件と提供情報とを記録した記憶部及び制御部を備えた仮想画像表示装置と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、画像を表示するディスプレイとを用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示プログラムであって、
    前記制御部を、
    仮想空間の画像を、前記プレイヤの体の所定部位の位置及び向きに応じて前記ディスプレイに表示する空間画像出力部と、
    前記プレイヤの体の所定部位の位置及び向きに関する前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部として機能させることを特徴とする仮想画像表示プログラム。
  2. 前記仮想空間には、前記プレイヤの注視によって選択可能な対象オブジェクトが含まれ、
    前記記憶部には、前記対象オブジェクトを含む領域が記録され、
    前記情報提供条件として、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置が前記領域から外れたことを含み、
    前記制御部は、前記プレイヤの注視位置が前記領域から外れた場合に前記提供情報を出力する請求項１に記載の仮想画像表示プログラム。
  3. 前記仮想空間には、前記プレイヤの注視によって選択可能な対象オブジェクトが含まれ、
    前記情報提供条件として、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置が、前記対象オブジェクトの選択が完了しない状態で当該対象オブジェクト外へ移動したことを含み、
    前記制御部は、前記プレイヤの注視位置が前記対象オブジェクトの選択が完了しない状態で当該対象オブジェクト外へ移動した場合に前記提供情報を出力する請求項１又は２に記載の仮想画像表示プログラム。
  4. 前記記憶部には、前記情報提供条件として前記プレイヤの体の所定部位の動きに関する基準範囲が記録され、
    前記情報提供条件として、前記プレイヤの体の所定部位の動きが前記基準範囲から外れることを含み、
    前記制御部は、前記プレイヤの体の所定部位の動きが、前記基準範囲から外れた場合に前記提供情報を出力する請求項１〜３のいずれか１項に記載の仮想画像表示プログラム。
  5. 前記記憶部には、前記プレイヤの体の所定部位の所定の動作が記録され、
    前記情報提供条件として、前記プレイヤの体の所定部位の動きが前記記憶部に記録された所定の動作に相当することを含み、
    前記制御部は、前記プレイヤの体の所定部位の動きが、前記所定の動作に相当した場合に前記提供情報を出力する請求項１〜４のいずれか１項に記載の仮想画像表示プログラム。
  6. 前記情報提供部は、前記仮想空間内のオブジェクト上に前記提供情報を表示する請求項１〜５のいずれか１項に記載の仮想画像表示プログラム。
  7. 前記情報提供部は、前記仮想空間内のオブジェクトであって前記仮想空間内を移動する移動体の移動方向に前記提供情報を表示する請求項１〜６のいずれか１項に記載の仮想画像表示プログラム。
  8. プレイヤの体の所定部位の位置及び向きを特定するための検出装置及び画像を表示するディスプレイを用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示装置であって、
    情報提供条件と提供情報とを記録した記憶部と、
    仮想空間の画像を、前記プレイヤの体の所定部位の位置及び向きに応じて前記ディスプレイに表示する空間画像出力部と、
    前記プレイヤの体の所定部位の位置及び向きの動きに関する前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部とを備えることを特徴とする仮想画像表示装置。
  9. 情報提供条件と提供情報とを記録した記憶部及び制御部を備えた仮想画像表示装置と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、画像を表示するディスプレイとを用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示方法であって、
    前記制御部が、
    仮想空間の画像を、前記プレイヤの体の所定部位の位置及び向きに応じて前記ディスプレイに表示し、
    前記プレイヤの体の所定部位の位置及び向きに関する前記情報提供条件が満たされた場合、前記提供情報を出力することを特徴とする仮想画像表示方法。
JP2015183379A 2015-09-16 2015-09-16 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法 Active JP6404196B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015183379A JP6404196B2 (ja) 2015-09-16 2015-09-16 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
US15/196,410 US10406432B2 (en) 2015-09-16 2016-06-29 Virtual image display program, virtual image display apparatus, and virtual image display method
US16/524,311 US11311798B2 (en) 2015-09-16 2019-07-29 Virtual image display program, virtual image display apparatus, and virtual image display method
US17/703,021 US11896897B2 (en) 2015-09-16 2022-03-24 Virtual image display program, virtual image display apparatus, and virtual image display method
US18/519,445 US20240091636A1 (en) 2015-09-16 2023-11-27 Virtual image display program, virtual image display apparatus, and virtual image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015183379A JP6404196B2 (ja) 2015-09-16 2015-09-16 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018168549A Division JP6659789B2 (ja) 2018-09-10 2018-09-10 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法

Publications (2)

Publication Number Publication Date
JP2017058969A true JP2017058969A (ja) 2017-03-23
JP6404196B2 JP6404196B2 (ja) 2018-10-10

Family

ID=58236521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015183379A Active JP6404196B2 (ja) 2015-09-16 2015-09-16 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法

Country Status (2)

Country Link
US (4) US10406432B2 (ja)
JP (1) JP6404196B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870922B1 (ko) 2017-04-18 2018-06-25 주식회사 미디어썸 양방향 방송 컨텐츠 제공 시스템 및 방법
EP3520867A1 (en) 2018-02-06 2019-08-07 Gree, Inc. Application processing system, method of processing application, and storage medium storing program for processing application
JP2019149133A (ja) * 2018-02-28 2019-09-05 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP2019193697A (ja) * 2018-05-01 2019-11-07 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
JP2020177534A (ja) * 2019-04-19 2020-10-29 京セラドキュメントソリューションズ株式会社 透過型ウェアラブル端末
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10981052B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US11083959B2 (en) 2018-02-06 2021-08-10 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US12005351B2 (en) 2022-02-16 2024-06-11 Valve Corporation Player biofeedback for dynamically controlling a video game state

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431312B2 (en) 2004-08-10 2022-08-30 Bongiovi Acoustics Llc System and method for digital signal processing
US10848118B2 (en) 2004-08-10 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US11202161B2 (en) 2006-02-07 2021-12-14 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function
US10848867B2 (en) 2006-02-07 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US9883318B2 (en) 2013-06-12 2018-01-30 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
JP6231585B2 (ja) * 2016-01-05 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
US10438393B2 (en) * 2017-03-16 2019-10-08 Linden Research, Inc. Virtual reality presentation of body postures of avatars
US10649521B2 (en) 2017-04-24 2020-05-12 Intel Corporation Compensating for high head movement in head-mounted displays
NL2019178B1 (en) * 2017-07-05 2019-01-16 Cap R&D B V Interactive display system, and method of interactive display
CN111684336A (zh) * 2018-02-09 2020-09-18 国立大学法人福井大学 使用了视网膜扫描型显示部的图像显示装置及其方法
AU2019252524A1 (en) 2018-04-11 2020-11-05 Bongiovi Acoustics Llc Audio enhanced hearing protection system
WO2020028833A1 (en) * 2018-08-02 2020-02-06 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function
CN110215686B (zh) * 2019-06-27 2023-01-06 网易（杭州）网络有限公司 游戏场景中的显示控制方法及装置、存储介质及电子设备
US11391945B2 (en) * 2020-08-31 2022-07-19 Sony Interactive Entertainment LLC Automatic positioning of head-up display based on gaze tracking

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09127459A (ja) * 1995-11-02 1997-05-16 Canon Inc 視線検出系を有した表示装置
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP2005044102A (ja) * 2003-07-28 2005-02-17 Canon Inc 画像再生方法及び画像再生装置
JP2013083731A (ja) * 2011-10-06 2013-05-09 Murata Mach Ltd 画像表示システム
WO2014196178A1 (ja) * 2013-06-04 2014-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 誘導方法及び誘導システム
US20150049012A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
WO2015068440A1 (ja) * 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法およびプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200162A (ja) 1993-12-29 1995-08-04 Namco Ltd 仮想現実体験装置およびこれを用いたゲーム装置
JP3477441B2 (ja) 2000-12-08 2003-12-10 川崎重工業株式会社 画像表示装置
JP4673570B2 (ja) * 2004-03-31 2011-04-20 株式会社セガ 画像生成装置、画像表示方法及びプログラム
JP4781181B2 (ja) 2006-07-07 2011-09-28 株式会社ソニー・コンピュータエンタテインメント ユーザインタフェースプログラム、装置および方法、情報処理システム
WO2009063968A1 (ja) 2007-11-16 2009-05-22 Nikon Corporation 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
JP2009123042A (ja) 2007-11-16 2009-06-04 Nikon Corp 制御装置、及びヘッドマウントディスプレイ装置
US9251318B2 (en) * 2009-09-03 2016-02-02 International Business Machines Corporation System and method for the designation of items in a virtual universe
US9021390B1 (en) 2010-05-05 2015-04-28 Zynga Inc. Methods and apparatus for optimized pausing of an embedded application to render pop-up window
JP5714855B2 (ja) 2010-09-16 2015-05-07 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
JP2012213492A (ja) 2011-03-31 2012-11-08 Namco Bandai Games Inc プログラム、情報記憶媒体、ゲーム端末、及びサーバシステム
US9208639B2 (en) * 2012-04-13 2015-12-08 Bally Gaming, Inc. Handheld devices for community events of wagering games
JP6303274B2 (ja) 2013-03-25 2018-04-04 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9336189B2 (en) * 2013-11-15 2016-05-10 Glu Mobile Inc. Systems and methods for providing fused images to remote recipients for descrambling and interpretation
US9460314B2 (en) * 2013-12-01 2016-10-04 Apx Labs, Inc. Systems and methods for providing task-based instructions
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9984505B2 (en) * 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US20160259405A1 (en) * 2015-03-03 2016-09-08 Microsoft Technology Licensing, Llc Eye Gaze for Automatic Paging
US10048751B2 (en) * 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
US20170315825A1 (en) * 2016-05-02 2017-11-02 John C. Gordon Presenting Contextual Content Based On Detected User Confusion
US11089280B2 (en) * 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
TW201812521A (zh) * 2016-07-21 2018-04-01 忠穩 羅 根據使用者的興趣顯示內容之具有眼動追蹤之互動式顯示系統
JP6659789B2 (ja) 2018-09-10 2020-03-04 グリー株式会社 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09127459A (ja) * 1995-11-02 1997-05-16 Canon Inc 視線検出系を有した表示装置
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP2005044102A (ja) * 2003-07-28 2005-02-17 Canon Inc 画像再生方法及び画像再生装置
JP2013083731A (ja) * 2011-10-06 2013-05-09 Murata Mach Ltd 画像表示システム
WO2014196178A1 (ja) * 2013-06-04 2014-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 誘導方法及び誘導システム
US20150049012A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
WO2015068440A1 (ja) * 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石黒祥生, 外１名: ""Ｐｅｒｉｐｈｅｒａｌ Ｖｉｓｉｏｎ Ａｎｎｏｔａｔｉｏｎ：拡張現実感環境のための視線計測による周辺", 情報処理学会論文誌, vol. 第５３巻, 第４号, JPN6018019751, 15 April 2012 (2012-04-15), JP, pages 1328 - 1337, ISSN: 0003804918 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101870922B1 (ko) 2017-04-18 2018-06-25 주식회사 미디어썸 양방향 방송 컨텐츠 제공 시스템 및 방법
US11083959B2 (en) 2018-02-06 2021-08-10 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US10983590B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Application processing system, method of processing application and storage medium storing program for processing application
US10981052B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
EP3520867A1 (en) 2018-02-06 2019-08-07 Gree, Inc. Application processing system, method of processing application, and storage medium storing program for processing application
US11110346B2 (en) 2018-02-06 2021-09-07 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
US11161047B2 (en) 2018-02-06 2021-11-02 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
JP2019149133A (ja) * 2018-02-28 2019-09-05 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
WO2019168061A1 (ja) * 2018-02-28 2019-09-06 株式会社コナミデジタルエンタテインメント 情報処理装置、記録媒体、ヘッドマウントディスプレイ、及び、情報処理システム
JP2019193697A (ja) * 2018-05-01 2019-11-07 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
JP2020177534A (ja) * 2019-04-19 2020-10-29 京セラドキュメントソリューションズ株式会社 透過型ウェアラブル端末
US12005351B2 (en) 2022-02-16 2024-06-11 Valve Corporation Player biofeedback for dynamically controlling a video game state

Also Published As

Publication number Publication date
US10406432B2 (en) 2019-09-10
US11311798B2 (en) 2022-04-26
US20240091636A1 (en) 2024-03-21
US20220212097A1 (en) 2022-07-07
US11896897B2 (en) 2024-02-13
US20190344169A1 (en) 2019-11-14
JP6404196B2 (ja) 2018-10-10
US20170072305A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6404196B2 (ja) 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
JP6093473B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6401841B1 (ja) 情報処理方法、コンピュータ、及びプログラム
EP3398666B1 (en) Game apparatus, processing method, and information storage medium
US11638879B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
US11083959B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
US20190243445A1 (en) Application processing system, method of processing application and storage medium storing program for processing application
JP6181842B1 (ja) アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP6659789B2 (ja) 仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法
US10747308B2 (en) Line-of-sight operation apparatus, method, and medical device
KR102160669B1 (ko) 의료 커뮤니케이션 가상 훈련 시뮬레이션 시스템 및 방법
JP6938696B2 (ja) 仮想画像表示プログラム、仮想画像表示システム及び仮想画像表示方法
JP7198886B2 (ja) 仮想画像表示プログラム、仮想画像表示システム及び仮想画像表示方法
JP2018195172A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2021118884A (ja) プログラム、情報処理方法、および、情報処理装置
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6611383B2 (ja) アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP6560074B2 (ja) ゲーム処理プログラム、ゲーム処理装置及びゲーム処理方法
JP2018183600A (ja) アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
JP7148590B2 (ja) ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
JP7462192B2 (ja) アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
US20180326308A1 (en) Game processing program, game processing method, and game processing device
JP2019021331A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2019051300A (ja) 情報処理方法、コンピュータ、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180912

R150 Certificate of patent or registration of utility model

Ref document number: 6404196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250