JP2023033300A - Virtual image display program, virtual image display system and virtual image display method - Google Patents

Virtual image display program, virtual image display system and virtual image display method Download PDF

Info

Publication number
JP2023033300A
JP2023033300A JP2022202164A JP2022202164A JP2023033300A JP 2023033300 A JP2023033300 A JP 2023033300A JP 2022202164 A JP2022202164 A JP 2022202164A JP 2022202164 A JP2022202164 A JP 2022202164A JP 2023033300 A JP2023033300 A JP 2023033300A
Authority
JP
Japan
Prior art keywords
information
player
gaze position
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022202164A
Other languages
Japanese (ja)
Inventor
匡志 渡邊
Masashi Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GREE Inc
Original Assignee
GREE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020018652A external-priority patent/JP6938696B2/en
Application filed by GREE Inc filed Critical GREE Inc
Priority to JP2022202164A priority Critical patent/JP2023033300A/en
Publication of JP2023033300A publication Critical patent/JP2023033300A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide information while controlling the loss of a feeling of devotion to a virtual space.
SOLUTION: By executing a virtual image display program, a control unit 21 of a game processing device 20 is functioned as: a gaze position specification unit that specifies a gaze position specified from a position and orientation of a predetermined portion of a player's body based on a detection result of a sensor 12; a spatial image output unit that displays, on a display 14, an image of a virtual space according to the gaze position of the player; and an information providing unit that outputs, to the display 14, provision information which is information to be provided to the player in association with a moving body which is an object located in a second area and moves in the virtual space when the gaze position moves from the first area to the second area in the virtual space.
SELECTED DRAWING: Figure 1
COPYRIGHT: (C)2023,JPO&INPIT

Description

特許法第30条第2項適用申請有り 平成27年9月9日https://www.youtube.com/watch?v=E9hgxgk3Gn0にて公開Patent Act Article 30, Paragraph 2 application filed September 9, 2015 https://www. youtube. com/watch? Published at v=E9hgxgk3Gn0

特許法第30条第2項適用申請有り 平成27年9月9日http://tgs.gree.net/exhibitions/vrにて公開Patent Act Article 30, Paragraph 2 application filed September 9, 2015 http://tgs. gree. Published on net/exhibitions/vr

特許法第30条第2項適用申請有り 平成27年9月10日https://www.youtube.com/watch?t=107&v=WFZwNc1Fc1Mにて公開Patent Law Article 30, Paragraph 2 application filed September 10, 2015 https://www. youtube. com/watch? Published at t=107&v=WFZwNc1Fc1M

本発明は、仮想空間の画像をディスプレイに表示する仮想画像表示プログラム、仮想画像表示システム及び仮想画像表示方法に関する。 The present invention relates to a virtual image display program, a virtual image display system, and a virtual image display method for displaying an image of virtual space on a display.

プレイヤの頭部に装着されたヘッドマウントディスプレイ(以下、HMD)に、仮想空間の画像を表示してプレイするバーチャルリアリティゲームが知られている(例えば、特許文献1参照)。HMDは、例えばジャイロセンサ等を備えており、プレイヤの頭部の動きを検知できる。プレイヤが頭部を動かすと、HMDは頭部の動きに追従してディスプレイに表示する画像を変化させる。このように、ゲーム画像が頭部の動きに追従することで、プレイヤは一層ゲームに意識を集中させることができる。つまり、ゲームへの没入感を高めることができる。 2. Description of the Related Art A virtual reality game is known in which an image of a virtual space is displayed on a head-mounted display (HMD) worn on the head of a player (see, for example, Patent Document 1). The HMD has, for example, a gyro sensor or the like, and can detect the movement of the player's head. When the player moves his/her head, the HMD changes the image displayed on the display following the movement of the head. In this way, the game image follows the movement of the head, so that the player can concentrate more on the game. That is, it is possible to enhance the sense of immersion in the game.

特開平7-200162号公報JP-A-7-200162

バーチャルリアリティゲームにおいても、その他のゲームと同様に、ゲームの進行に対するヒントの表示や、メニュー項目の表示等の情報提供を行なう場合がある。しかし、情報提供の実行ボタンを仮想空間の画像とともに表示すると、仮想空間への没入感が大きく損なわれる。なお、こうした課題は、バーチャルリアリティゲームに限らず、仮想空間の画像をディスプレイに表示する技術においては、概ね共通するものである。 In a virtual reality game, as in other games, there are cases where information is provided such as display of hints for the progress of the game, display of menu items, and the like. However, if the information provision execution button is displayed together with the image of the virtual space, the sense of immersion in the virtual space is greatly impaired. It should be noted that such problems are not limited to virtual reality games, but are generally common to techniques for displaying images of virtual space on a display.

本発明は、上記実情を鑑みてなされたものであり、その目的は、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことにある。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and an object of the present invention is to provide information while suppressing loss of a sense of immersion in a virtual space.

上記課題を解決する仮想画像表示プログラムは、制御部と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示プログラムであって、前記制御部を、前記検出装置の検出結果に基づき、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置を特定する注視位置特定部と、仮想空間の画像を、前記プレイヤの前記注視位置に応じて、前記ディスプレイに表示する空間画像出力部と、前記注視位置が情報提供条件を満たした場合に、前記仮想空間内を移動するオブジェクトである移動体に関連付けて前記プレイヤに提供される情報である提供情報を出力する情報提供部として機能させる。 A virtual image display program for solving the above-described problem is a virtual image display program for displaying an image on the display using a control unit, a detection device for specifying the position and orientation of a predetermined part of a player's body, and a display. an image display program, wherein the control unit is a gaze position specifying unit that specifies a gaze position specified from the position and orientation of a predetermined part of the body of the player based on the detection result of the detection device; A spatial image output unit that displays an image on the display in accordance with the gaze position of the player; It functions as an information providing unit that outputs provided information, which is information provided to the player in association with the player.

上記仮想画像表示プログラムについて、前記情報提供部は、前記注視位置が前記仮想空間の第1領域から第2領域に移動するとの前記情報提供条件を満たした場合に、前記第2領域に位置する前記移動体に関連付けて前記提供情報を出力することが好ましい。 With respect to the virtual image display program, the information providing unit, when satisfying the information providing condition that the gaze position moves from the first area to the second area in the virtual space, the Preferably, the provided information is output in association with the mobile object.

上記仮想画像表示プログラムについて、前記情報提供部は、前記移動体の移動方向に前記提供情報を表示することが好ましい。
上記仮想画像表示プログラムについて、前記情報提供部は、前記移動体に対して前記提供情報を表示することが好ましい。
In the virtual image display program, it is preferable that the information providing unit displays the provided information in a moving direction of the moving body.
In the virtual image display program, it is preferable that the information providing unit displays the provided information on the moving body.

上記仮想画像表示プログラムについて、前記制御部を、前記プレイヤがミッションを達成するゲームを進行するアプリケーション進行部としてさらに機能させることが好ましい。 In the virtual image display program, it is preferable that the control unit further functions as an application progress unit that progresses a game in which the player accomplishes a mission.

上記仮想画像表示プログラムについて、前記第1領域は前記プレイヤが前記ゲームをプレイ可能な領域であり、前記第2領域は前記第1領域外の領域であることが好ましい。 In the virtual image display program, it is preferable that the first area is an area where the player can play the game, and the second area is an area outside the first area.

上記仮想画像表示プログラムについて、前記制御部を、前記第1領域に位置するオブジェクトのうち、前記注視位置に対応するオブジェクトを特定するオブジェクト特定部と、前記注視位置が前記オブジェクトに対応付けられる注視時間が所定時間に到達した場合に前記オブジェクトを選択状態とする選択部としてさらに機能させることが好ましい。
上記仮想画像表示プログラムについて、前記情報提供部は、前記プレイヤの頭部の動作が、予め定めた複数の所定動作のうち一つであるとの情報提供条件を満たすと判定された場合に、さらに、前記アプリケーションのメニュー項目を表示することが好ましい。
In the above virtual image display program, the control unit may be an object specifying unit that specifies an object corresponding to the gaze position among the objects located in the first area, and a gaze time in which the gaze position is associated with the object. preferably further functions as a selection unit that selects the object when reaches a predetermined time.
With respect to the virtual image display program, the information provision unit further provides information provision conditions when it is determined that the motion of the player's head is one of a plurality of predetermined motions. , preferably displaying the menu items of said application.

上記課題を解決する仮想画像表示システムは、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示システムであって、前記検出装置の検出結果に基づき、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置を特定する注視位置特定部と、仮想空間の画像を、前記プレイヤの前記注視位置に応じて、前記ディスプレイに表示する空間画像出力部と、前記注視位置が情報提供条件を満たした場合に、前記仮想空間内を移動するオブジェクトである移動体に関連付けて前記プレイヤに提供される情報である提供情報を出力する情報提供部と、を備える。
上記課題を解決する仮想画像表示方法は、制御部と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示方法であって、前記制御部が、前記検出装置の検出結果に基づき、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置を特定する注視位置特定ステップと、仮想空間の画像を、前記プレイヤの前記注視位置に応じて、前記ディスプレイに表示する空間画像出力ステップと、前記注視位置が情報提供条件を満たした場合に、前記仮想空間内を移動するオブジェクトである移動体に関連付けて前記プレイヤに提供される情報である提供情報を出力する情報提供ステップと、を実行する。
A virtual image display system for solving the above problems is a virtual image display system for displaying an image on the display using a detection device for specifying the position and orientation of a predetermined part of the player's body and a display. a gaze position specifying unit that specifies a gaze position specified from the position and orientation of a predetermined part of the player's body based on the detection result of the detection device; and information provided to the player in association with a moving body, which is an object moving in the virtual space, when the gaze position satisfies an information provision condition. and an information providing unit that outputs the provided information.
A virtual image display method for solving the above problems uses a control unit, a detection device for specifying the position and orientation of a predetermined part of the player's body, and a display to display an image on the display. An image display method, wherein the control unit specifies a gaze position specified from the position and orientation of a predetermined part of the player's body based on the detection result of the detection device; a spatial image output step of displaying an image on the display according to the gaze position of the player; and an information provision step of outputting provision information, which is information provided to the player in association.

本発明によれば、没入感の喪失を抑制しながら情報提供を行なうことができる。 According to the present invention, it is possible to provide information while suppressing loss of immersive feeling.

第1実施形態のシステムの構成を説明する概略図。Schematic diagram for explaining the configuration of the system of the first embodiment. 第1実施形態の仮想空間のゲーム可能領域を示す概念図。FIG. 2 is a conceptual diagram showing a gameable area in the virtual space of the first embodiment; 第1実施形態のゲーム進行処理の手順を示すフローチャート。4 is a flowchart showing the procedure of game progress processing according to the first embodiment; 第1~第4実施形態の情報提供処理の手順を示すフローチャート。4 is a flow chart showing the procedure of information providing processing according to the first to fourth embodiments; 第1実施形態のディスプレイに表示される画像を示す模式図。4 is a schematic diagram showing an image displayed on the display of the first embodiment; FIG. 第1実施形態のディスプレイに表示される画像であって、ヒントが表示された状態を示す模式図。FIG. 4 is an image displayed on the display of the first embodiment, and is a schematic diagram showing a state where a hint is displayed. 第2実施形態のディスプレイに表示される画像であって、(a)は対象オブジェクトを注視している状態を示し、(b)はヒントが表示された状態を示す図。8A and 8B are images displayed on the display of the second embodiment, in which (a) shows a state in which a target object is being gazed at, and (b) shows a state in which a hint is displayed;

(第1実施形態)
以下、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第1実施形態を説明する。本実施形態では、仮想画像表示装置を、仮想空間の画像を表示しながらゲームを進行させるゲーム処理装置に具体化している。このゲームにおいては、プレイヤが頭部にヘッドマウントディスプレイ(HMD)を装着することが前提となる。
(First embodiment)
A first embodiment of a virtual image display program, a virtual image display device, and a virtual image display method will be described below. In this embodiment, the virtual image display device is embodied as a game processing device that progresses the game while displaying the image of the virtual space. In this game, it is assumed that the player wears a head mounted display (HMD) on the head.

図1を参照して、HMD10及びゲーム処理装置20を有するシステムの構成について説明する。まず、ゲーム処理装置20に接続されるHMD10の構成について説明する。HMD10は、HMD制御部11、検出装置としてのセンサ12、及び入出力インターフェース部(I/F部)13を備える。HMD制御部11は、入出力I/F部13を介して、ゲーム処理装置20に対して各種情報を出力するとともに、ゲーム処理装置20から各種情報を入力する。センサ12は、プレイヤの頭部の位置及び向きを特定するための検出装置に対応している。センサ12は、例えばジャイロセンサ、加速度センサ、地磁気センサ等のうち少なくとも1つのセンサを備え、プレイヤの頭部の動きを検出する。なお、別の実施形態として、プレイヤの眼球の動きを直接的に検出するもの、例えば、虹彩内に近赤外線を入射しその反射光を検出する視線検出センサ等がセンサ12として用いられてもよい。ここで、本実施形態においては、プレイヤの頭部が、本発明のプレイヤの体の所定部位に対応する。 A configuration of a system having an HMD 10 and a game processing device 20 will be described with reference to FIG. First, the configuration of the HMD 10 connected to the game processing device 20 will be described. The HMD 10 includes an HMD control section 11 , a sensor 12 as a detection device, and an input/output interface section (I/F section) 13 . The HMD control unit 11 outputs various information to the game processing device 20 via the input/output I/F unit 13 and inputs various information from the game processing device 20 . The sensor 12 corresponds to a detection device for identifying the position and orientation of the player's head. The sensor 12 includes at least one of, for example, a gyro sensor, an acceleration sensor, a geomagnetic sensor, etc., and detects movement of the player's head. As another embodiment, the sensor 12 may be a sensor that directly detects the movement of the player's eyeball, for example, a line-of-sight sensor that detects near-infrared rays entering the iris and detecting the reflected light. . Here, in this embodiment, the player's head corresponds to the predetermined part of the player's body of the present invention.

また、HMD10は、画像を表示するディスプレイ14、音声を出力するスピーカ15を備える。例えば、ディスプレイ14は、左目が視認する画像と右目が視認する画像とを視差を設けて表示する。これにより、プレイヤは奥行き感のある立体的な画像を視認することができる。HMD制御部11は、入出力I/F部13を介してゲーム処理装置20から受信した画像信号に応じた画像をディスプレイ14に表示する。スピーカ15は、ヘッドフォン等であり、効果音や、ゲームの進行について説明する音声等を出力する。 The HMD 10 also includes a display 14 for displaying images and a speaker 15 for outputting audio. For example, the display 14 displays an image viewed by the left eye and an image viewed by the right eye with parallax. This allows the player to visually recognize a stereoscopic image with a sense of depth. HMD control unit 11 displays on display 14 an image corresponding to an image signal received from game processing device 20 via input/output I/F unit 13 . The speaker 15 is a headphone or the like, and outputs sound effects, sound explaining the progress of the game, and the like.

次に、ゲーム処理装置20の構成について説明する。ゲーム処理装置20は、制御部21と、記憶部22と、入出力部23とを備えている。制御部21は、CPU、RAM、ROM等のハードウェア要素から構成される。また、制御部21は、注視位置特定部24、ゲーム管理部25、空間画像出力部26、情報提供部27を備えている。本実施形態において、制御部21は、ハードウェア要素に仮想画像表示プログラムを実行させることによって、注視位置特定部24、ゲーム管理部25、空間画像出力部26、情報提供部27として機能する。 Next, the configuration of the game processing device 20 will be described. The game processing device 20 includes a control section 21 , a storage section 22 and an input/output section 23 . The control unit 21 is composed of hardware elements such as a CPU, RAM, and ROM. The control unit 21 also includes a gaze position specifying unit 24 , a game management unit 25 , a spatial image output unit 26 and an information providing unit 27 . In this embodiment, the control unit 21 functions as a gaze position specifying unit 24, a game management unit 25, a spatial image output unit 26, and an information providing unit 27 by causing hardware elements to execute a virtual image display program.

記憶部22には、仮想空間画像情報30、オブジェクト情報31、提供条件情報32、注視位置情報33、注視時間情報34、提供情報35が格納されている。
仮想空間画像情報30は、仮想空間の背景やオブジェクトの画像を描画するためのデータである。オブジェクトには、選択可能なオブジェクトである対象オブジェクトと、選択不可能なオブジェクトとがある。対象オブジェクトは、プレイヤが所定時間継続して注視することにより選択することができる。
The storage unit 22 stores virtual space image information 30 , object information 31 , provision condition information 32 , gaze position information 33 , gaze time information 34 , and provision information 35 .
The virtual space image information 30 is data for drawing the background of the virtual space and the image of the object. Objects include target objects, which are selectable objects, and non-selectable objects. A target object can be selected by the player's continuous gaze for a predetermined period of time.

オブジェクト情報31は、オブジェクトの属性を示す情報である。具体的には、オブジェクト情報31は、オブジェクトの識別子、オブジェクトの仮想空間内での座標、オブジェクトの種類、オブジェクトの選択状態を含んでいる。オブジェクトの種類は、オブジェクトが、対象オブジェクトか、それ以外のオブジェクトであるかを示す情報である。オブジェクトの選択状態は、オブジェクトが対象オブジェクトである場合に選択されているか否かを示す情報である。 The object information 31 is information indicating attributes of an object. Specifically, the object information 31 includes the identifier of the object, the coordinates of the object in the virtual space, the type of object, and the selection state of the object. The object type is information indicating whether the object is the target object or other objects. The selection state of an object is information indicating whether or not the object is selected when the object is the target object.

提供条件情報32は、プレイヤに情報提供を行なう条件である情報提供条件を定めた情報である。本実施形態においては、提供条件情報32を、ゲーム開始からの経過時間が一定時間以上のときに、プレイヤの注視位置が仮想空間内に設定されるゲーム可能領域外であることを定めた情報に例示して説明する。ゲーム可能領域は、プレイヤが注視により対象オブジェクトを選択可能な領域であって、全ての対象オブジェクトが含まれる。例えば、提供条件情報32には、ゲーム可能領域の座標情報が含まれる。また、情報提供条件が成立したとき、プレイヤにゲームの進行に関するヒントが提供される。 The provision condition information 32 is information that defines information provision conditions, which are conditions for providing information to the player. In this embodiment, the provision condition information 32 is information defining that the gaze position of the player is outside the gameable area set in the virtual space when the elapsed time from the start of the game is longer than a certain period of time. An example will be given. The gameable area is an area in which the player can select target objects by gaze, and includes all target objects. For example, the provision condition information 32 includes coordinate information of the gameable area. Also, when the information providing condition is satisfied, the player is provided with a hint regarding the progress of the game.

注視位置情報33は、特定されたプレイヤの注視位置を仮想空間の座標で示す情報である。注視時間情報34は、プレイヤが対象オブジェクトの注視を継続した時間を示す情報である。提供情報35には、ゲームのミッションをクリアするためのヒントの内容を示す情報が含まれている。 The gaze position information 33 is information indicating the specified gaze position of the player in the coordinates of the virtual space. The gaze time information 34 is information indicating how long the player continues to gaze at the target object. The provided information 35 includes information indicating the contents of hints for clearing the mission of the game.

注視位置特定部24は、入出力部23を介して、プレイヤに装着されたHMD10のHMD制御部11からセンサ12の検出信号を入力する。また、注視位置特定部24は、入力した検出信号に応じた注視位置を仮想空間の座標で特定し、特定した注視位置に基づき注視位置情報33を更新する。 The gaze position specifying unit 24 inputs the detection signal of the sensor 12 from the HMD control unit 11 of the HMD 10 worn by the player via the input/output unit 23 . Further, the gaze position specifying unit 24 specifies the gaze position corresponding to the input detection signal by the coordinates of the virtual space, and updates the gaze position information 33 based on the specified gaze position.

ゲーム管理部25は、注視位置情報33とオブジェクト情報31とを対比して、注視位置が対象オブジェクト上にあるか否かを判断する。ゲーム管理部25は、注視位置が対象オブジェクト上にあると判断した場合、プレイヤが対象オブジェクトの注視を継続している時間(注視時間)を計測して、その注視時間に基づき注視時間情報34を更新する。また、ゲーム管理部25は、注視時間情報34によって示される注視時間が所定時間(例えば3秒)に達したか否かを判断し、注視時間情報34が所定時間に達したとき対象オブジェクトの選択が完了したと判断する。 The game management unit 25 compares the gaze position information 33 and the object information 31 to determine whether or not the gaze position is on the target object. When determining that the gaze position is on the target object, the game management unit 25 measures the time (gazing time) during which the player continues to gaze at the target object, and generates gaze time information 34 based on the gaze time. Update. In addition, the game management unit 25 determines whether or not the gaze time indicated by the gaze time information 34 has reached a predetermined time (for example, 3 seconds). is determined to be complete.

また、ゲーム管理部25は、ゲームのミッションが完了したか否かを判定する。例えば、ゲーム管理部25は、ゲームの制限時間内に、選択が完了したオブジェクトが所定数存在することを条件に、ミッションクリアと判断する。ゲーム管理部25は、選択が完了した対象オブジェクトが所定数存在しないまま、ゲーム開始からの経過時間が制限時間に達した場合には、ゲーム終了と判断する。 The game management unit 25 also determines whether or not the mission of the game has been completed. For example, the game management unit 25 determines that the mission has been completed on the condition that a predetermined number of objects whose selection has been completed exist within the time limit of the game. The game management unit 25 determines that the game is over when the elapsed time from the start of the game reaches the time limit without a predetermined number of target objects for which selection has been completed.

さらに、ゲーム管理部25は、提供条件情報32に基づき、情報提供条件が成立するか否かを判断する。本実施形態では、情報提供条件として、ゲームを開始したときからの経過時間が一定時間を超え、且つプレイヤの注視位置がゲーム可能領域外であることを用いる。一定時間は、例えば、制限時間までの残り時間が僅かとなるような所定の時間、又はプレイヤのミッションクリアに要する平均時間等によって設定される。ゲーム管理部25は、情報提供条件が成立したと判断したとき、情報提供部27に対し提供情報35の出力要求を出力する。 Furthermore, the game management unit 25 determines whether or not the information provision condition is satisfied based on the provision condition information 32 . In this embodiment, as the information provision condition, the elapsed time from the start of the game exceeds a certain period of time, and the gaze position of the player is outside the gameable area. The certain period of time is set, for example, by a predetermined period of time such that there is only a short amount of time left before the time limit, or by an average amount of time required for the player to complete the mission. When the game management section 25 determines that the information provision condition is satisfied, the game management section 25 outputs an output request for the provision information 35 to the information provision section 27 .

また、ゲーム管理部25は、図示しない音声情報記憶部から、効果音やゲームの進行について説明する音声等の音声情報を抽出して、入出力部23を介してHMD10に送信する。 The game management unit 25 also extracts sound information such as sound effects and sounds explaining the progress of the game from a sound information storage unit (not shown), and transmits the extracted sound information to the HMD 10 via the input/output unit 23 .

空間画像出力部26は、注視位置情報33が示す座標を中心とした視野範囲の仮想空間画像情報30を抽出し、画像信号としてHMD10に送信する。また、空間画像出力部26は、仮想空間内でプレイヤに対応するキャラクタを表示する。さらに、空間画像出力部26は、ゲーム管理部25が対象オブジェクトが選択完了であると判断すると、選択が完了した対象オブジェクトの表示態様を変化させる。 The spatial image output unit 26 extracts the virtual space image information 30 of the visual field range centered on the coordinates indicated by the gaze position information 33 and transmits it to the HMD 10 as an image signal. Also, the spatial image output unit 26 displays a character corresponding to the player in the virtual space. Furthermore, when the game management unit 25 determines that the target object has been selected, the spatial image output unit 26 changes the display mode of the selected target object.

情報提供部27は、ゲーム管理部25から出力されたヒントの表示要求を入力すると、提供情報35を読み出す。そして、提供情報35に応じた表示をディスプレイ14に出力して、仮想空間画像に重ねて表示する。 The information providing unit 27 reads the provided information 35 when the hint display request output from the game management unit 25 is input. Then, a display corresponding to the provided information 35 is output to the display 14 and displayed superimposed on the virtual space image.

次に、図2を参照して、ゲーム処理装置20によるオブジェクト選択機能について説明する。
注視位置特定部24は、HMD10からセンサ12の検出信号を入力し、検出信号に応じたプレイヤ101の頭部の位置及び向きを特定する。具体的には、注視位置特定部24は、頭部の位置及び向きを、水平方向に沿ったX軸及びX軸を中心とした回転方向を示すピッチθp、鉛直方向に沿ったY軸及びY軸を中心とした回転方向を示すヨーθy、奥行方向に沿ったZ軸及びZ軸を中心とした回転方向を示すロールθrの3軸方向の位置及び各軸の周りの角度として算出する。
Next, with reference to FIG. 2, the object selection function of the game processing device 20 will be described.
The gaze position specifying unit 24 inputs the detection signal of the sensor 12 from the HMD 10 and specifies the position and orientation of the player's 101 head according to the detection signal. Specifically, the gaze position specifying unit 24 determines the position and orientation of the head by adjusting the X-axis along the horizontal direction, the pitch θp indicating the rotation direction about the X-axis, the Y-axis and Y-axis along the vertical direction. Yaw θy indicating the direction of rotation about the axis, Z-axis along the depth direction, and roll θr indicating the direction of rotation about the Z-axis are calculated in three axial directions and angles around each axis.

注視位置特定部24は、算出した頭部の位置及び向きに基づき、仮想空間内でのプレイヤ101の注視位置P1を特定する。注視位置の特定の方法は公知の方法を用いることができる。例えば、注視位置特定部24は、左目位置と右目位置とを結ぶ直線を仮想的に設定し、当該直線に直交する方向に延び、且つ左目位置と右目位置の中点を通る方向を視線方向D1とする。さらに、注視位置特定部24は、視線方向D1とオブジェクト102(又は背景)との交点を注視位置P1として特定する。なお、センサ12として、眼球の動きを検出するものや虹彩内からの反射光を検出するものを用いる場合には、眼球の動きや反射光に基づき視線方向を特定する。 The gaze position specifying unit 24 specifies the gaze position P1 of the player 101 in the virtual space based on the calculated position and orientation of the head. A known method can be used to specify the gaze position. For example, the gaze position specifying unit 24 virtually sets a straight line connecting the left eye position and the right eye position, and extends in a direction orthogonal to the straight line and passes through the middle point of the left eye position and the right eye position. and Further, the gaze position specifying unit 24 specifies the intersection of the line-of-sight direction D1 and the object 102 (or the background) as the gaze position P1. If the sensor 12 detects movement of the eyeball or detects reflected light from within the iris, the line-of-sight direction is specified based on the movement of the eyeball or the reflected light.

また、仮想空間内には、ゲーム可能領域105が設けられている。ゲーム可能領域105は、プレイヤに対応するキャラクタの周囲に設定される。このゲーム可能領域105には全ての対象オブジェクト103が含まれるので、注視により対象オブジェクト103を選ぶときには、注視位置P1はゲーム可能領域105に位置する。 Also, a gameable area 105 is provided in the virtual space. A gameable area 105 is set around the character corresponding to the player. Since all the target objects 103 are included in this gameable area 105, the gaze position P1 is located in the gameable area 105 when the target object 103 is selected by gaze.

空間画像出力部26は、注視位置を中心とした視野範囲の仮想空間画像情報30を抽出し、その仮想空間画像情報30を画像信号としてHMD制御部11に送信する。HMD制御部11は、受信した仮想空間画像情報30に応じた画像をディスプレイ14に出力する。 The spatial image output unit 26 extracts the virtual space image information 30 of the visual field range centered on the gaze position, and transmits the virtual space image information 30 to the HMD control unit 11 as an image signal. The HMD control unit 11 outputs an image corresponding to the received virtual space image information 30 to the display 14 .

(ゲーム進行処理)
次に、図3を参照して、ゲーム進行処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びゲーム開始からの経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。なお、経過時間は、ゲームが終了するまで、ゲーム管理部25が、CPUのクロック信号等を利用したシステム時刻等に基づき計測している。
(Game progress processing)
Next, referring to FIG. 3, the game progress processing will be described. The termination condition of this process is that either the mission clear condition is met or the elapsed time from the start of the game reaches the time limit. This process is repeated until the termination condition is met. Note that the elapsed time is measured by the game management unit 25 based on the system time and the like using the clock signal of the CPU and the like until the game ends.

ゲームが開始されると、制御部21は、プレイヤの注視位置を特定する(ステップS1)。具体的には、制御部21の注視位置特定部24は、上述した手法でプレイヤの注視位置を特定し、特定された注視位置によって注視位置情報33を更新する。 When the game is started, the control unit 21 identifies the gaze position of the player (step S1). Specifically, the gaze position specifying unit 24 of the control unit 21 specifies the gaze position of the player by the method described above, and updates the gaze position information 33 with the specified gaze position.

制御部21は、注視位置情報33を用いて、対象オブジェクトの選択が完了したか否かを判断する(ステップS2)。具体的には、制御部21のゲーム管理部25は、記憶部22から対象オブジェクトのオブジェクト情報31及び注視位置情報33を読み出し、対象オブジェクトの座標と注視位置とを比較して、注視位置が対象オブジェクト上に存在するか否かを判断する。 The control unit 21 uses the gaze position information 33 to determine whether or not the selection of the target object has been completed (step S2). Specifically, the game management unit 25 of the control unit 21 reads out the object information 31 and gaze position information 33 of the target object from the storage unit 22, compares the coordinates of the target object and the gaze position, and determines whether the gaze position is the target object. Determine if it exists on the object.

注視位置が対象オブジェクト上に存在する場合、ゲーム管理部25は、システム時刻等を用いて注視時間を計測し、計測した注視時間によって注視時間情報34を更新する。ゲーム管理部25は、注視時間が所定時間に達したとき、選択完了と判断する。 When the gaze position exists on the target object, the game management unit 25 measures the gaze time using the system time or the like, and updates the gaze time information 34 with the measured gaze time. The game management unit 25 determines that the selection has been completed when the gaze time reaches the predetermined time.

注視時間が所定時間に達しないまま、注視位置が対象オブジェクト外となったとき、ゲーム管理部25は、対象オブジェクトの選択が完了していないと判断して(ステップS2において「NO」の場合)、注視時間をリセットして、ステップS1に戻る。 When the gaze position is out of the target object before the gaze time reaches the predetermined time, the game management unit 25 determines that the selection of the target object is not completed ("NO" in step S2). , the gaze time is reset, and the process returns to step S1.

ゲーム管理部25は、対象オブジェクトの選択が完了したと判断すると(ステップS2において「YES」の場合)、オブジェクト情報31の選択状況を「選択完了」に更新し、ステップS3に進む。なお、このとき空間画像出力部26は、選択が完了した対象オブジェクトの表示態様を変化させる。 When the game management unit 25 determines that the selection of the target object is completed ("YES" in step S2), it updates the selection status of the object information 31 to "selection completed", and proceeds to step S3. At this time, the spatial image output unit 26 changes the display mode of the selected target object.

対象オブジェクトの選択が完了した場合、制御部21は、ミッションクリア条件が成立したか否かを判断する(ステップS3)。具体的には、制御部21のゲーム管理部25は、オブジェクト情報31の選択状況を参照して、ゲームの制限時間内に、選択が完了したオブジェクトが、所定数存在するか否かを判断する。 When the selection of the target object is completed, the control unit 21 determines whether or not the mission clear condition is satisfied (step S3). Specifically, the game management unit 25 of the control unit 21 refers to the selection status of the object information 31 and determines whether or not there are a predetermined number of objects whose selection has been completed within the time limit of the game. .

選択が完了した対象オブジェクトの数が所定数以上であるとき、制御部21は、ミッションクリア条件が成立したと判断する(ステップS3において「YES」の場合)。この場合、ゲーム進行処理の終了条件が成立するので、ゲームが終了する。 When the number of target objects for which selection has been completed is equal to or greater than the predetermined number, the control unit 21 determines that the mission clear condition is met ("YES" in step S3). In this case, the end condition of the game progress processing is satisfied, so the game ends.

選択が完了した対象オブジェクトの数が所定数未満であるとき、制御部21は、ミッションクリア条件が成立しないと判断して(ステップS3において「NO」の場合)、ステップS1に戻る。具体的には、制御部21のゲーム管理部25がミッションクリア条件が成立しないと判断すると、ステップS1において注視位置の特定を行なう。 When the number of selected target objects is less than the predetermined number, the control unit 21 determines that the mission clear condition is not satisfied ("NO" in step S3), and returns to step S1. Specifically, when the game management unit 25 of the control unit 21 determines that the mission clear condition is not satisfied, the gaze position is specified in step S1.

(情報提供処理)
次に、図4を参照して、情報提供処理について、その処理手順を説明する。本実施形態においては、この処理は、ゲーム進行処理とは独立して、並行に実行される処理である。
(Information provision processing)
Next, with reference to FIG. 4, the processing procedure of the information provision processing will be described. In this embodiment, this process is a process that is executed in parallel independently of the game progress process.

この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。 The termination condition of this process is that either the mission clear condition is met or the elapsed time counted from the start of the game before the mission is cleared reaches the time limit. This process is repeated until the termination condition is met.

ゲーム処理装置20の制御部21は、情報提供条件が成立したか否かを判断する(ステップS10)。具体的には、制御部21のゲーム管理部25は、経過時間が一定時間に達し、且つ注視位置がゲーム可能領域外であるか否かを判断する。 The control unit 21 of the game processing device 20 determines whether or not the information providing condition is satisfied (step S10). Specifically, the game management unit 25 of the control unit 21 determines whether or not the elapsed time has reached a predetermined time and the gaze position is outside the gameable area.

このために、ゲーム管理部25は、経過時間を取得して、経過時間が一定時間に達したか否かを判断する。経過時間が一定時間に達したと判断した場合、ゲーム管理部25は、注視位置情報33及び提供条件情報32を記憶部22から読み出し、注視位置がゲーム可能領域外であるか否かを判断する。注視位置がゲーム可能領域外であると判断した場合、ゲーム管理部25は情報提供条件が成立したとする。 For this reason, the game management unit 25 acquires the elapsed time and determines whether or not the elapsed time has reached a predetermined time. When determining that the elapsed time has reached the predetermined time, the game management unit 25 reads the gaze position information 33 and the provision condition information 32 from the storage unit 22, and determines whether or not the gaze position is outside the game available area. . When determining that the gaze position is outside the gameable area, the game management unit 25 assumes that the information providing condition is satisfied.

情報提供条件が成立したと判断すると(ステップS10において「YES」の場合)、制御部21は、情報提供を実行する(ステップS11)。具体的には、制御部21のゲーム管理部25は、情報提供部27に情報提供要求を出力する。情報提供部27は、情報提供要求を受けて、記憶部22から提供情報35を読み出し、HMD10に出力する。 If it is determined that the information provision condition is met ("YES" in step S10), the control unit 21 executes information provision (step S11). Specifically, the game management section 25 of the control section 21 outputs an information provision request to the information provision section 27 . The information provision unit 27 receives the information provision request, reads the provision information 35 from the storage unit 22 , and outputs the provided information 35 to the HMD 10 .

一方、情報提供条件が成立しない場合(ステップS10において「NO」の場合)、制御部21は、情報提供条件が成立したか否かの判断(ステップS10)を繰り返す。
なお、この情報提供処理は、ゲーム進行処理と連動させてもよい。例えば、ゲーム進行処理において対象オブジェクトの選択が完了したとき(ステップS2において「YES」の場合)や、ミッションクリア条件が成立したと判断したとき(ステップS3において「YES」の場合)等に、情報提供を行なうために計測される経過時間をリセットしてもよい。または、情報提供処理における対象オブジェクトの選択完了の判断(ステップS2)に基づき、ゲーム開始からの経過時間の代わりに、ゲーム開始から対象オブジェクトが一つも選択されていない時間を用い、当該時間が一定時間に達し、且つ注視位置がゲーム可能領域外であることを情報提供条件としてもよい。
On the other hand, if the information provision condition is not satisfied ("NO" in step S10), the control unit 21 repeats the determination of whether or not the information provision condition is satisfied (step S10).
This information providing process may be linked with the game progress process. For example, when the selection of the target object is completed in the game progress process ("YES" in step S2), or when it is determined that the mission clear condition is met ("YES" in step S3), the information You may reset the elapsed time measured to perform an offering. Alternatively, based on the determination of the completion of selection of the target object in the information providing process (step S2), instead of the elapsed time from the start of the game, the time during which no target object is selected from the start of the game is used, and the time is fixed. The information providing condition may be that the time has passed and the gaze position is outside the gameable area.

(表示画像)
次に、図5及び図6を参照して、ゲーム進行中にHMD10のディスプレイ14に表示される画像について説明する。なお、図5及び図6に示す仮想空間画像は、HMD10の視野範囲とは無関係に模式的に示している。
(display image)
Next, images displayed on the display 14 of the HMD 10 during the progress of the game will be described with reference to FIGS. 5 and 6. FIG. The virtual space images shown in FIGS. 5 and 6 are schematically shown regardless of the visual field range of the HMD 10. FIG.

図5に示すように、HMD10のディスプレイ14には、仮想空間画像情報30に基づく画像であって、注視位置を中心とする仮想空間画像110が表示されている。仮想空間画像110のうち、ゲーム可能領域105内には対象オブジェクト103が表示される。なお、このゲーム可能領域105には、対象オブジェクト103以外のオブジェクト106が表示されていてもよい。 As shown in FIG. 5, the display 14 of the HMD 10 displays a virtual space image 110 based on the virtual space image information 30 and centered on the gaze position. A target object 103 is displayed in the gameable area 105 of the virtual space image 110 . Note that an object 106 other than the target object 103 may be displayed in this gameable area 105 .

図6に示すように、注視位置がゲーム可能領域105外となると、ゲーム可能領域105外の仮想空間画像110に重ねて情報提供表示111が出力される。情報提供表示111には、提供情報35に基づくヒントの内容が表示されている。情報提供表示111は、ゲーム可能領域外の仮想空間画像110に重ねて表示されるので、情報提供表示111が対象オブジェクトに重ならない。このため、対象オブジェクトの選択を妨げならないように情報提供を行なうことができる。また、情報提供表示111は、経過時間が一定時間を超えないと表示されないため、頻繁な情報提供による煩わしさをプレイヤに与えることを抑制することができる。 As shown in FIG. 6 , when the gaze position is outside the gameable area 105 , an information providing display 111 is output superimposed on the virtual space image 110 outside the gameable area 105 . The information provision display 111 displays the content of hints based on the provision information 35 . Since the information providing display 111 is superimposed on the virtual space image 110 outside the gameable area, the information providing display 111 does not overlap the target object. Therefore, information can be provided without interfering with the selection of the target object. In addition, since the information provision display 111 is not displayed until the elapsed time exceeds a predetermined time, it is possible to prevent the player from being annoyed by frequent information provision.

図6では、ゲーム可能領域105外を移動する鳥である移動体112が、ヒントが書かれた情報提供表示111を保持するように表示されている。すなわち、情報提供表示111は、移動体112の移動速度及び移動方向に合わせて移動する。移動体112及び情報提供表示111は、仮想空間内に存在するオブジェクトとして、明度や色調等の画像属性が仮想空間画像に合わせられた状態で描画されている。このように仮想空間内のオブジェクトに情報提供表示111を保持させることによって、仮想空間における没入感を損なわない情報提供を行なうことができる。 In FIG. 6, a moving object 112, which is a bird moving outside the gameable area 105, is displayed holding an information providing display 111 with hints written thereon. That is, the information providing display 111 moves according to the moving speed and moving direction of the moving body 112 . The moving object 112 and the information providing display 111 are drawn as objects existing in the virtual space with image attributes such as brightness and color tone matched to the virtual space image. By causing the object in the virtual space to hold the information providing display 111 in this manner, information can be provided without impairing the sense of immersion in the virtual space.

このように、注視位置がゲーム可能領域外になったとき、対象オブジェクトの選択が円滑に行われていないと判断して、情報提供表示111を表示する。このため、プレイヤにとって適切なタイミングで情報提供を行なうことができる。また、このように注視位置の動きに基づき情報提供を行なうことによって、情報提供の実行ボタン等を省略することができる。このため、仮想空間への没入感の喪失を抑制することができる。 In this way, when the gaze position is out of the gameable area, it is determined that the selection of the target object is not performed smoothly, and the information providing display 111 is displayed. Therefore, information can be provided to the player at an appropriate timing. In addition, by providing information based on the movement of the gaze position in this way, it is possible to omit an information provision execution button and the like. Therefore, loss of the sense of immersion in the virtual space can be suppressed.

以上説明したように、第1実施形態によれば、以下に列挙する効果が得られる。
(1)上記第1実施形態では、プレイヤの注視位置の動きが情報提供条件に一致したことを条件に情報提供が実行されるので、仮想空間の画像に情報提供の実行ボタンを表示する必要がない。そのため、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。
As described above, according to the first embodiment, the following effects can be obtained.
(1) In the first embodiment, information is provided on the condition that the movement of the player's gaze position matches the information provision condition, so there is no need to display an information provision execution button on the image of the virtual space. do not have. Therefore, it is possible to provide information while suppressing the loss of the sense of immersion in the virtual space.

(2)上記第1実施形態では、プレイヤの注視位置が全ての対象オブジェクトを含むゲーム可能領域から外れたときに情報提供が実行される。すなわち、例えばプレイヤがゲームの進行等について迷っているとき等、対象オブジェクトの選択が中断されている場合に情報提供ができるので、適切なタイミングで情報提供を実行することができる。 (2) In the first embodiment, information is provided when the player's gaze position is out of the gameable area including all the target objects. That is, the information can be provided when the selection of the target object is interrupted, for example, when the player is uncertain about the progress of the game, etc. Therefore, the information can be provided at an appropriate timing.

(3)上記第1実施形態では、仮想空間内で移動するオブジェクト(移動体)上にヒントを表示した。プレイヤは移動しているものに着目するので、自然な形態でプレイヤにヒントに着目させることができる。 (3) In the first embodiment, hints are displayed on objects (moving objects) that move in the virtual space. Since the player focuses on the moving object, it is possible to make the player focus on the hint in a natural manner.

(第2実施形態)
次に図4及び図7を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第2実施形態を説明する。なお、第2実施形態は、第1実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
(Second embodiment)
Next, a second embodiment of the virtual image display program, the virtual image display device, and the virtual image display method will be described with reference to FIGS. 4 and 7. FIG. Since the second embodiment has a configuration in which a part of the information provision processing of the first embodiment is changed, the same parts are denoted by the same reference numerals, and detailed description thereof will be omitted.

本実施形態では、情報提供条件が、プレイヤが対象オブジェクトを選択完了としないまま注視を止めたこと、及び注視を止めた後に注視位置がゲーム可能領域外となったことである点で、第1実施形態と異なる。 In this embodiment, the information providing condition is that the player stops gazing at the target object without completing the selection of the target object, and that the gazing position is out of the game possible area after stopping the player's gazing. Different from the embodiment.

図4を参照して、情報提供処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。 The information providing process will be described with reference to FIG. The termination condition of this process is that either the mission clear condition is met or the elapsed time counted from the start of the game before the mission is cleared reaches the time limit. This process is repeated until the termination condition is met.

ゲーム処理装置20の制御部21は、情報提供条件が成立したか否かを判断する(ステップS10)。具体的には、制御部21のゲーム管理部25は、記憶部22から注視位置情報33及びオブジェクト情報31を読み出し、注視位置が対象オブジェクト上にあるか否かを判断する。注視位置が対象オブジェクト以外にある場合、ゲーム管理部25は、情報提供条件が成立していないと判断して(ステップS10において「NO」の場合)、ステップS10の判断を繰り返す。 The control unit 21 of the game processing device 20 determines whether or not the information providing condition is satisfied (step S10). Specifically, the game management unit 25 of the control unit 21 reads the gaze position information 33 and the object information 31 from the storage unit 22 and determines whether or not the gaze position is on the target object. If the gaze position is outside the target object, the game management unit 25 determines that the information providing condition is not satisfied ("NO" in step S10), and repeats the determination in step S10.

プレイヤが対象オブジェクトを注視したと判断すると、ゲーム管理部25は、注視時間を取得し、注視時間が対象オブジェクトを選択するための所定時間に達する前に注視位置がゲーム可能領域外となったか否かを判断する。注視位置が対象オブジェクト上である場合は、ゲーム管理部25は、情報提供条件が成立していないと判断して(ステップS10において「NO」の場合)、ステップS10の判断を繰り返す。 When it is determined that the player has gazed at the target object, the game management unit 25 acquires the gaze time, and determines whether the gaze position has moved out of the game possible area before the gaze time reaches a predetermined time for selecting the target object. to judge whether If the gaze position is on the target object, the game management unit 25 determines that the information provision condition is not satisfied ("NO" in step S10), and repeats the determination in step S10.

一方、ゲーム管理部25は、対象オブジェクトを注視した注視時間が所定時間に達する前に、注視位置がゲーム可能領域外となった場合、情報提供を行う(ステップS11)。
図7を参照して、ゲーム進行中にHMD10のディスプレイ14に表示される画像について説明する。なお、図7に示す仮想空間画像は、HMD10の視野範囲とは無関係に模式的に示している。
On the other hand, the game management unit 25 provides information when the gaze position is out of the gameable area before the gaze time of the target object reaches the predetermined time (step S11).
An image displayed on the display 14 of the HMD 10 while the game is in progress will be described with reference to FIG. Note that the virtual space image shown in FIG. 7 is schematically shown regardless of the visual field range of the HMD 10 .

図7(a)に示すように、プレイヤが仮想空間画像110に表示された対象オブジェクト103を注視すると、空間画像出力部26によって対象オブジェクト103にゲージ120が重ねて表示される。ゲージ120は、注視開始から所定時間に達したときまでの時間の経過を表示するものである。 As shown in FIG. 7( a ), when the player gazes at the target object 103 displayed in the virtual space image 110 , the space image output unit 26 displays the gauge 120 superimposed on the target object 103 . The gauge 120 displays the passage of time from the start of gaze until a predetermined time.

図7(b)に示すように、対象オブジェクト103の注視位置がゲーム可能領域105外となると、情報提供表示111が出力される。
図7(b)では、情報提供表示111を、移動体112である鳥の移動方向に表示している。プレイヤは、静止したオブジェクトに比べ移動体112に着目しやすい。そのため、移動体112の移動方向の先に情報提供表示111を表示することによって、プレイヤが情報提供表示111に気付きやすくすることができる。また、情報提供表示111は、静止状態で表示されるので、プレイヤが情報提供表示111の内容を確認しやすくすることができる。
As shown in FIG. 7B, when the gaze position of the target object 103 is out of the gameable area 105, the information providing display 111 is output.
In FIG. 7B, the information providing display 111 is displayed in the moving direction of the bird, which is the moving object 112 . It is easier for the player to focus on the moving object 112 than on a stationary object. Therefore, by displaying the information provision display 111 ahead of the movement direction of the moving object 112, the player can easily notice the information provision display 111. FIG. In addition, since the information provision display 111 is displayed in a static state, the player can easily confirm the contents of the information provision display 111 .

このように、本実施形態では、情報提供条件として、プレイヤが対象オブジェクトを選択完了としないまま注視を止めたこと、及び注視を止めた後に注視位置がゲーム可能領域外となったこといったプレイヤの複数の動作が規定されている。そのため、複数の動作を考慮して、プレイヤの状況をより的確に判断できる。 As described above, in the present embodiment, as the information providing condition, the player stopped gazing without completing the selection of the target object, and after stopping gazing, the gaze position became outside the game possible area. behavior is specified. Therefore, it is possible to more accurately determine the player's situation by considering a plurality of actions.

以上説明したように、第2実施形態によれば、第1の実施形態に記載した効果に加えて、以下に列挙する効果が得られる。
(4)上記第2実施形態では、情報提供条件は、プレイヤの注視位置が、対象オブジェクトの選択が完了しない状態で、対象オブジェクトの外側であってゲーム可能領域外に移動したことである。これにより、対象オブジェクトの選択ができなかった場合に情報提供ができるので、適切なタイミングで情報提供を実行することができる。
As described above, according to the second embodiment, in addition to the effects described in the first embodiment, the following effects can be obtained.
(4) In the second embodiment, the information providing condition is that the player's gaze position has moved outside the target object and out of the gameable area before the selection of the target object is completed. Accordingly, information can be provided when the target object cannot be selected, so information can be provided at an appropriate timing.

(5)上記第2実施形態では、仮想空間内のオブジェクトであって、鳥等の仮想空間内を移動する移動体112の移動方向に情報提供表示111を出力する。これにより、仮想空間への没入感を損なわずに情報提供を出力することができる。 (5) In the second embodiment, the information providing display 111 is output in the moving direction of the moving body 112, such as a bird, which is an object in the virtual space and moves in the virtual space. As a result, it is possible to output information provision without impairing the feeling of being immersed in the virtual space.

(第3実施形態)
次に、図4を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第3実施形態を説明する。なお、第3実施形態は、第1実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
(Third embodiment)
Next, a third embodiment of the virtual image display program, the virtual image display device, and the virtual image display method will be described with reference to FIG. Since the third embodiment has a configuration in which a part of the information provision processing of the first embodiment is changed, the same reference numerals are given to the same parts, and detailed description thereof will be omitted.

本実施形態では、情報提供条件が、ミッションをクリアする前において、プレイヤの体の所定部位の動きの範囲が、対象オブジェクトを選択するときの基準的な体の所定部位の動きの範囲外となることである点で、第1実施形態と異なる。なお、プレイヤの体の所定部位は、頭部である。対象オブジェクトを選択するときの基準的な頭部の動きの範囲は予め規定されている。なお、本実施形態においては、ゲーム可能領域は設定されていなくてもよい。 In this embodiment, the information provision condition is that before the mission is cleared, the range of motion of the player's body is out of the standard range of motion of the predetermined body when selecting the target object. This is different from the first embodiment in that. The predetermined part of the player's body is the head. A standard head movement range for selecting a target object is defined in advance. Note that in the present embodiment, the gameable area may not be set.

プレイヤの頭部の動きの範囲は、ゲームが開始されたときからの頭部の動きの範囲を示す。また、プレイヤの頭部の動きの範囲は、例えば、角度座標を示すピッチθp、ヨーθy、ロールθrの範囲として規定される。予め規定された頭部の動きの範囲は、例えば提供条件情報32に含まれた状態で、記憶部22に記録される。 The player's head movement range indicates the range of head movement since the game was started. Also, the movement range of the player's head is defined as the range of pitch θp, yaw θy, and roll θr, which indicate angular coordinates, for example. The predetermined head movement range is recorded in the storage unit 22 while being included in the provision condition information 32, for example.

プレイヤの頭部の動きの範囲が、規定された基準範囲よりも狭い場合には、プレイヤの注視している範囲が狭すぎる可能性がある。一方、プレイヤの頭部の動きの範囲が規定された基準範囲よりも広い場合には、プレイヤの注視している範囲が十分広いにも関わらずミッションがクリアできていないため、プレイヤがミッションクリア条件や操作方法を把握していないか、プレイヤが対象オブジェクトを探すことができていない可能性がある。このようにプレイヤの頭部の動きの範囲が、狭すぎる場合や広すぎる場合に、ゲームの進行についてのヒントを提供して、ミッションクリアを促す。 If the player's head movement range is narrower than the defined reference range, the player's gaze range may be too narrow. On the other hand, if the range of movement of the player's head is wider than the defined reference range, the player cannot complete the mission even though the player's gaze range is sufficiently wide. or the player may not be able to find the target object. In this way, when the player's head movement range is too narrow or too wide, a hint about the progress of the game is provided to prompt the player to clear the mission.

図4を参照して、情報提供処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。 The information providing process will be described with reference to FIG. The termination condition of this process is that either the mission clear condition is met or the elapsed time counted from the start of the game before the mission is cleared reaches the time limit. This process is repeated until the termination condition is met.

ゲーム処理装置20の制御部21は、情報提供条件が成立しているか否かを判断する(ステップS10)。具体的には、制御部21のゲーム管理部25は、プレイヤの頭部の動きの範囲を算出する。なお、本実施形態では、ゲーム開始時からのプレイヤの頭部の動きの履歴が蓄積されていることを想定している。また、ゲーム管理部25は、提供条件情報32を読み出し、プレイヤの頭部の動きの範囲が、提供条件情報32に含まれる基準範囲外であるか否かを判断する。例えば、提供条件情報32に含まれる基準範囲として、上述した3つの回転方向についてそれぞれ範囲を規定したものを用いる場合を想定する。 The control unit 21 of the game processing device 20 determines whether or not the information providing condition is satisfied (step S10). Specifically, the game management unit 25 of the control unit 21 calculates the movement range of the player's head. In this embodiment, it is assumed that the player's head movement history has been accumulated since the start of the game. Also, the game management unit 25 reads the provision condition information 32 and determines whether or not the player's head movement range is outside the reference range included in the provision condition information 32 . For example, it is assumed that the reference range included in the provision condition information 32 is a range defined for each of the three rotation directions described above.

そして、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合には、ゲーム管理部25は、プレイヤの頭部の動きの範囲が基準範囲外であると判断する。 When the player's head movement range is outside the reference range in at least one direction of rotation, the game management unit 25 determines that the player's head movement range is outside the reference range. .

情報提供条件が成立しないと判断した場合には(ステップS10において「NO」の場合)、制御部21は、情報提供条件についての判断を繰り返す(ステップS10)。具体的には、制御部21のゲーム管理部25は、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合に、情報提供条件が成立しないと判断して、ステップS10の判断を繰り返す。 When determining that the information provision condition is not satisfied ("NO" in step S10), the control unit 21 repeats the determination of the information provision condition (step S10). Specifically, the game management unit 25 of the control unit 21 determines that the information provision condition is not satisfied when the range of movement of the player's head is outside the reference range in at least one direction of rotation. The determination of step S10 is repeated.

一方、制御部21が、情報提供条件が成立したと判断すると(ステップS10において「YES」の場合)、情報提供を実行する(ステップS11)。具体的には、プレイヤの頭部の動きの範囲が、全ての回転方向について基準範囲内となる場合に、ゲーム管理部25は、情報提供条件が成立したと判断して、情報提供を実行する。 On the other hand, when the control unit 21 determines that the information provision condition is satisfied ("YES" in step S10), information provision is executed (step S11). Specifically, when the movement range of the player's head is within the reference range in all rotation directions, the game management unit 25 determines that the information provision condition is satisfied, and executes information provision. .

以上説明したように、第3実施形態によれば、第1の実施形態に記載した効果に加えて、以下に列挙する効果が得られるようになる。
(6)上記第3実施形態では、情報提供条件は、プレイヤの頭部の動きの範囲が、規定された基準範囲から外れることである。これにより、プレイヤの注視位置が狭すぎるときや広すぎるときに情報提供条件が成立するので、適切なタイミングで情報提供を実行することができる。
As described above, according to the third embodiment, in addition to the effects described in the first embodiment, the following effects can be obtained.
(6) In the third embodiment, the information providing condition is that the range of movement of the player's head deviates from the defined reference range. As a result, the information providing condition is met when the player's gaze position is too narrow or too wide, so information can be provided at an appropriate timing.

(第4実施形態)
次に、図4を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第4実施形態を説明する。なお、第4実施形態は、第1実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
(Fourth embodiment)
Next, a fourth embodiment of the virtual image display program, the virtual image display device, and the virtual image display method will be described with reference to FIG. In addition, since 4th Embodiment is the structure which changed a part of information provision process of 1st Embodiment, the same code|symbol is attached|subjected about the same part and the detailed description is abbreviate|omitted.

本実施形態では、情報提供条件として、プレイヤの体の所定部位の動きが、規定された所定の動作に相当することを用いる点で、第1実施形態と異なる。なお、プレイヤの体の所定部位は、頭部である。本実施形態において、所定の動作とは、落ち着かない様子、慌ただしい様子等、対象オブジェクトを選択するときの通常のプレイヤの頭部の動きとは異なる不安定且つ特異な動きである。 This embodiment differs from the first embodiment in that the information providing condition is that the movement of a predetermined part of the player's body corresponds to a prescribed predetermined action. The predetermined part of the player's body is the head. In this embodiment, the predetermined motion is an unstable and peculiar motion that is different from the normal head motion of the player when selecting a target object, such as a restless look or a rushed look.

ここで、プレイヤの頭部の動きは、プレイヤの頭部の移動速度の平均、プレイヤの頭部の移動速度の最大値又は最小値、単位時間あたりの移動方向の転換回数などによって表される。プレイヤの頭部の移動速度は、ゲーム処理装置20の制御部21が特定した頭部の位置及び向きから算出する。提供条件情報32には、プレイヤの頭部の所定の動作について規定されている。具体的には、提供条件情報32には、対象オブジェクトを選択する際のとは異なる特異な頭部の動きについて規定されている。 Here, the movement of the player's head is represented by the average movement speed of the player's head, the maximum or minimum value of the movement speed of the player's head, the number of times the movement direction changes per unit time, and the like. The movement speed of the player's head is calculated from the position and orientation of the head specified by the control unit 21 of the game processing device 20 . The provision condition information 32 defines a predetermined motion of the player's head. Specifically, the provision condition information 32 defines a peculiar movement of the head that is different from when the target object is selected.

図4を参照して、情報提供処理について説明する。また、この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。 The information providing process will be described with reference to FIG. The end condition of this process is that either the mission clear condition is met or the elapsed time counted from the start of the game before the mission is cleared reaches the time limit. This process is repeated until the termination condition is satisfied.

ゲーム処理装置20の制御部21は、情報提供条件が成立するか否かを判断する(ステップS10)。具体的には、制御部21のゲーム管理部25は、センサ12から入力した検出信号に応じて算出されたプレイヤの頭部の位置及び向きを用いて、例えばプレイヤの頭部の平均移動速度等といった、プレイヤの頭部の動きを算出する。そして、ゲーム管理部25は、提供条件情報32を読み出し、算出したプレイヤの頭部の動きが、提供条件情報32に含まれるプレイヤの頭部についての所定の動作に相当するか否かを判断する。 The control unit 21 of the game processing device 20 determines whether or not the information provision condition is satisfied (step S10). Specifically, the game management unit 25 of the control unit 21 uses the position and orientation of the player's head calculated according to the detection signal input from the sensor 12 to determine, for example, the average moving speed of the player's head. The motion of the player's head is calculated. Then, the game management unit 25 reads out the provision condition information 32 and determines whether or not the calculated movement of the player's head corresponds to the predetermined movement of the player's head included in the provision condition information 32. .

情報提供条件が成立しないと判断した場合(ステップS10において「NO」の場合)、制御部21は、情報提供条件についての判断を繰り返す(ステップS10)。具体的には、制御部21のゲーム管理部25は、算出したプレイヤの頭部の動きが、提供条件情報32に含まれる所定の動作に相当しないとき、情報提供条件が成立しないと判断して、ステップS10の判断を繰り返す。 When determining that the information providing condition is not satisfied ("NO" in step S10), the control unit 21 repeats the determination of the information providing condition (step S10). Specifically, the game management unit 25 of the control unit 21 determines that the information provision condition is not satisfied when the calculated movement of the player's head does not correspond to the predetermined motion included in the provision condition information 32. , the determination of step S10 is repeated.

一方、情報提供条件が成立したと判断した場合(ステップS10において「YES」の場合)、制御部21は、情報提供を実行する(ステップS11)。具体的には、制御部21のゲーム管理部25は、算出したプレイヤの頭部の動きが、提供条件情報32に含まれる所定の動作に相当する場合、情報提供条件が成立したと判断して、情報提供を実行する。 On the other hand, when it is determined that the information provision condition is satisfied ("YES" in step S10), the control section 21 executes information provision (step S11). Specifically, the game management unit 25 of the control unit 21 determines that the information provision condition is established when the calculated movement of the player's head corresponds to a predetermined action included in the provision condition information 32. , to provide information.

以上説明したように、第4実施形態によれば、第1の実施形態に記載した効果に加えて、以下に列挙する効果が得られるようになる。
(7)上記第4実施形態では、情報提供条件は、プレイヤの頭部の動きが、記憶部22に記録された所定の動作に相当することである。これにより、プレイヤが迷っている場合等に情報提供条件が成立するので、適切なタイミングで情報提供を実行することができる。
As described above, according to the fourth embodiment, in addition to the effects described in the first embodiment, the following effects can be obtained.
(7) In the fourth embodiment, the information providing condition is that the movement of the player's head corresponds to the predetermined motion recorded in the storage unit 22 . As a result, the information providing condition is met when the player is hesitant, and information can be provided at an appropriate timing.

なお、上記各実施形態は、以下のように適宜変更して実施することもできる。
・上記各実施形態では、ゲーム可能領域は、全ての対象オブジェクトが含まれる領域としたが、少なくともミッションクリアのための所定数の対象オブジェクトが含まれている領域であればよい。
It should be noted that each of the above-described embodiments can be modified as appropriate and implemented as follows.
- In each of the above embodiments, the gameable area is an area that includes all the target objects, but it may be an area that includes at least a predetermined number of target objects for clearing the mission.

・上記各実施形態では、オブジェクトには、選択可能な対象オブジェクトと、選択不可能なオブジェクトとがあるとしたが、仮想空間内に表示されるオブジェクトを全て選択可能なオブジェクトとしてもよい。 - In each of the above embodiments, objects include selectable target objects and non-selectable objects, but all objects displayed in the virtual space may be selectable objects.

・上記各実施形態では、ゲームのミッションクリア条件を、ゲームの制限時間内に、選択が完了した対象オブジェクトが所定数存在することとしたが、これ以外の条件であってもよい。例えば、対象オブジェクトを選択するタイミングが予め設定されたタイミングと合致すること、同じ対象オブジェクトを所定回数選択すること等であってもよい。 - In each of the above-described embodiments, the mission clear condition of the game is that there are a predetermined number of target objects whose selection has been completed within the time limit of the game, but other conditions may be used. For example, the timing of selecting the target object may match preset timing, or the same target object may be selected a predetermined number of times.

・上記第1実施形態では、情報提供表示111を、移動体である鳥が保持する紙として表示し、この紙も移動体に合わせて移動させた。これ以外に、情報提供表示111を、例えば、鳥以外の移動体であって、飛行機等の乗り物、蝶等の生物、落ち葉等、仮想空間を移動する移動体としてもよい。また、それらの移動体自体にゲームの進行に関するヒントが書かれていたり、それらの移動体が情報提供表示111を保持していたりしてもよい。また、仮想空間内を落下する紙を移動体とし、その紙にヒントを表示してもよい。 - In the first embodiment, the information providing display 111 is displayed as a piece of paper held by a bird, which is a moving object, and this piece of paper is also moved along with the moving object. In addition to this, the information providing display 111 may be, for example, a moving body other than a bird, such as a vehicle such as an airplane, a creature such as a butterfly, or a moving body that moves in a virtual space such as fallen leaves. In addition, hints regarding the progress of the game may be written on the moving bodies themselves, or the information providing display 111 may be held by the moving bodies. Also, a piece of paper falling in the virtual space may be used as a moving object, and hints may be displayed on the piece of paper.

・上記第1実施形態では、情報提供表示111は、経過時間が一定時間を超えないと表示されないようにした。これ以外に、情報提供表示111を、単に注視位置がゲーム可能領域外となったときに表示してもよい。 - In the first embodiment, the information provision display 111 is not displayed until the elapsed time exceeds a certain period of time. Alternatively, the information providing display 111 may simply be displayed when the gaze position is out of the gameable area.

・上記第2実施形態では、対象オブジェクトの選択が完了しない状態でプレイヤの注視位置がゲーム可能領域外となったことを条件に、情報提供表示111を表示した。これ以外に、対象オブジェクトの選択が完了しない状態で、プレイヤの注視位置が、ゲーム可能領域内であっても対象オブジェクト外となった場合に、情報提供表示111を表示するようにしてもよい。 - In the above-described second embodiment, the information providing display 111 is displayed on condition that the player's gaze position is out of the gameable area without completing the selection of the target object. In addition to this, the information providing display 111 may be displayed when the player's gaze position is outside the target object even if it is within the gameable area while the selection of the target object is not completed.

・上記第3実施形態では、頭部の動きの範囲を、3つの回転方向で表したが、これ以外の変数で表されてもよい。例えば、頭部の動きの範囲は、プレイヤが水平方向を向いたときの頭部の位置及び向きを基準として、「左側に90°、右側に90°」、「上側に30°、下側に30°」のように表してもよい。 - In the above-described third embodiment, the range of motion of the head is represented by three rotation directions, but may be represented by variables other than these. For example, the range of movement of the head is based on the position and orientation of the head when the player is facing the horizontal direction, and is "90 degrees to the left, 90 degrees to the right," "30 degrees to the top, and 30 degrees to the bottom." 30°”.

・上記第3実施形態では、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合には、頭部の動きの範囲が基準範囲外であると判断した。これ以外に、プレイヤの頭部の動きの範囲が、全ての回転方向について基準範囲外となる場合に、頭部の動きの範囲が基準範囲外であると判断してもよい。 - In the above-described third embodiment, when the player's head movement range is outside the reference range in at least one direction of rotation, it is determined that the head movement range is outside the reference range. Alternatively, if the player's head movement range is outside the reference range in all rotation directions, it may be determined that the head movement range is outside the reference range.

・第3実施形態では、情報提供条件を、プレイヤの頭部の動きの範囲が、対象オブジェクトを選択するときの基準的な頭部の動きの範囲外となることとした。第4実施形態では、情報提供条件を、プレイヤの頭部の動きが、規定された所定の動作に相当することとした。これらの情報提供条件の「頭部の動き」を「注視位置」に代えてもよい。すなわち、第3実施形態の情報提供条件を、注視位置の動きの範囲が、対象オブジェクトを選択するときの基準的な注視位置の動きの範囲外となることとしてもよい。第4実施形態の情報提供条件を、注視位置の動きが、規定された所定の動作に相当することとしてもよい。 - In the third embodiment, the information provision condition is that the range of movement of the player's head is outside the standard range of movement of the head when selecting a target object. In the fourth embodiment, the information providing condition is that the movement of the player's head corresponds to a specified prescribed action. The "movement of the head" in these information providing conditions may be replaced with the "gazing position". That is, the information provision condition of the third embodiment may be such that the range of motion of the gaze position is outside the standard range of motion of the gaze position when selecting the target object. The information provision condition of the fourth embodiment may be such that the movement of the gaze position corresponds to a specified predetermined action.

・上記各実施形態では、情報提供として、ゲームに関するヒントの表示を行なうようにしたが、これ以外の情報を提供するようにしてもよい。例えば、メニュー項目、得点、キャラクタの状態、ゲームを続行可能な残り時間、ゲームの進行ステージ等の情報を提供してもよい。 - In each of the above-described embodiments, hints related to the game are displayed as information provision, but information other than this may be provided. For example, information such as menu items, scores, character status, remaining game play time, and game progress stages may be provided.

・上記第1実施形態の情報提供条件又は上記第2実施形態の情報提供条件に、上記第3実施形態の情報提供条件である「ミッションをクリアする前において、頭部の動きが含まれる範囲が、基準範囲外となること」を加えてもよい。或いは、上記第1実施形態の情報提供条件又は上記第2実施形態の情報提供条件に、上記第4実施形態の情報提供条件である「頭部の動きが、所定の動作に相当すること」を加えてもよい。或いは、上記第1実施形態の情報提供条件又は上記第2実施形態の情報提供条件に、上記第3実施形態の情報提供条件及び上記第4実施形態の情報提供条件の両方を加えてもよい。このようにしても、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。 ・In the information provision condition of the first embodiment or the information provision condition of the second embodiment, the information provision condition of the third embodiment "Before clearing the mission, the range including the movement of the head is , out of the reference range” may be added. Alternatively, the information provision condition of the first embodiment or the information provision condition of the second embodiment may be replaced with the information provision condition of the fourth embodiment, that is, "movement of the head corresponds to a predetermined action." may be added. Alternatively, both the information provision condition of the third embodiment and the information provision condition of the fourth embodiment may be added to the information provision condition of the first embodiment or the information provision condition of the second embodiment. Even in this way, it is possible to provide information while suppressing the loss of the feeling of being immersed in the virtual space.

・上記各実施形態では、ディスプレイ14に情報提供表示を出力することにより情報提供を行なった。これ以外に、情報提供条件が成立したときに、ヒント内容についての音声、注意喚起音等により情報提供を行なってもよい。 - In each of the above-described embodiments, information is provided by outputting an information provision display on the display 14 . In addition to this, when the information provision condition is satisfied, the information may be provided by a voice, a warning sound, or the like, regarding the content of the hint.

・HMD制御部11が、センサ12の検出信号に基づき、頭部の位置及び向きを算出するようにしてもよい。このように、上記各実施形態に記載したゲーム処理装置20の機能の一部を、HMD10にもたせることも可能である。 - The HMD control unit 11 may calculate the position and orientation of the head based on the detection signal from the sensor 12 . In this way, it is possible to provide the HMD 10 with some of the functions of the game processing device 20 described in each of the above embodiments.

・上記各実施形態では、プレイヤの注視位置を、プレイヤの頭部の位置及び向きに基づき算出したが、例えば、瞳孔の位置に基づいて視線方向を算出し、その視線方向から注視位置を特定するようにしてもよい。また、例えば鼻の位置や向き、または口の位置や向きに基づいて視線方向を算出し、その視線方向から注視位置を特定するようにしてもよい。なお、鼻や口の向きは、例えば後頭部から鼻または口へ向かう方向として定めてもよい。 ・In each of the above embodiments, the gaze position of the player is calculated based on the position and orientation of the player's head. You may do so. Also, for example, the line-of-sight direction may be calculated based on the position and orientation of the nose or the position and orientation of the mouth, and the gaze position may be specified from the line-of-sight direction. The direction of the nose and mouth may be defined as the direction from the back of the head to the nose or mouth, for example.

・上記各実施形態では、仮想画像表示装置をゲーム処理装置に具体化したが、仮想画像表示装置を他の用途のバーチャルリアリティシステムに適用してもよい。例えば、運転や職業訓練等の各種シミュレーション、医療等におけるトレーニング、製品のモニター、映画や音楽の鑑賞等に適用してもよい。仮想画像表示装置をゲーム以外の用途のバーチャルリアリティシステムに適用しても、プレイヤ(ユーザ)の仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。
次に、上記実施形態及び別例から把握できる技術的思想について、以下に追記する。
[1]
制御部と、プレイヤの頭部の向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示プログラムであって、
前記制御部を、
仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示する空間画像出力部と、
前記検出装置の検出結果に基づき、前記プレイヤの頭部の動作が、前記仮想空間の画像を視認するときの通常の動作とは異なる所定動作であるか否かを判定する判定部と、
前記プレイヤの頭部の動作が前記所定動作であると判定した場合、前記プレイヤに提供される情報である提供情報を出力する情報提供部として機能させる、仮想画像表示プログラム。
[2]
前記検出装置は、前記頭部の移動速度を検出し、
前記判定部は、検出した前記頭部の移動速度が、前記提供情報の提供条件として規定された移動速度の条件を満たすか否かに基づいて前記プレイヤの頭部の動作が前記所定動作であるか否かを判定する、[1]に記載の仮想画像表示プログラム。
[3]
前記検出装置は、前記頭部の移動方向の転換回数を検出し、
前記判定部は、前記頭部の移動方向の転換回数が、前記提供情報の提供条件として規定された転換回数の条件を満たすか否かに基づいて前記プレイヤの頭部の動作が前記所定動作であるか否かを判定する、[1]又は[2]に記載の仮想画像表示プログラム。
[4]
前記制御部を、
前記仮想空間内のオブジェクトのうち、前記頭部の向きに基づく注視位置に対応するオブジェクトを特定する特定部と、
前記注視位置が前記オブジェクトに対応付けられる注視時間が所定時間に到達した場合に前記オブジェクトを選択状態とする選択部としてさらに機能させる、[1]~[3]のいずれか1項に記載の仮想画像表示プログラム。
[5]
前記仮想空間には、前記プレイヤの注視によって選択可能な対象オブジェクトが含まれ、
前記情報提供部は、前記プレイヤの注視によって選択可能な対象オブジェクト以外の位置に前記提供情報を出力する、[1]~[4]のいずれか1項に記載の仮想画像表示プログラム。
[6]
前記情報提供部は、前記仮想空間内のオブジェクトであって前記仮想空間内を移動する移動体の移動方向に前記提供情報を表示する、[1]~[5]のいずれか1項に記載の仮想画像表示プログラム。
[7]
前記制御部を、
前記仮想空間の画像を前記ディスプレイに表示するゲームを進行するアプリケーション進行部としてさらに機能させ、
前記情報提供部は、前記提供情報として前記ゲームをクリアするためのヒントを表示する、[1]~[6]のいずれか1項に記載の仮想画像表示プログラム。
[8]
前記制御部を、
前記仮想空間の画像を前記ディスプレイに表示するアプリケーションを進行するアプリケーション進行部としてさらに機能させ、
前記情報提供部は、前記アプリケーションのメニュー項目を表示する、[1]~[6]のいずれか1項に記載の仮想画像表示プログラム。
[9]
プレイヤの頭部の向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示システムであって、
仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示する空間画像出力部と、
前記検出装置の検出結果に基づき、前記プレイヤの頭部の動作が、前記仮想空間の画像を視認するときの通常の動作とは異なる所定動作であるか否かを判定する判定部と、
前記プレイヤの頭部の動作が前記所定動作であると判定した場合、前記プレイヤに提供される情報である提供情報を出力する情報提供部と、を備える仮想画像表示システム。
[10]
制御部と、プレイヤの頭部の向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示方法であって、
前記制御部が、
仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示する空間画像出力ステップと、
前記検出装置の検出結果に基づき、前記プレイヤの頭部の動作が、前記仮想空間の画像を視認するときの通常の動作とは異なる所定動作であるか否かを判定する判定ステップと、
前記プレイヤの頭部の動作が前記所定動作であると判定した場合、前記プレイヤに提供される情報である提供情報を出力する情報提供ステップと、を実行する仮想画像表示方法。
- In each of the above embodiments, the virtual image display device is embodied as a game processing device, but the virtual image display device may be applied to a virtual reality system for other purposes. For example, it may be applied to various simulations such as driving and vocational training, medical training, product monitoring, movie and music appreciation, and the like. Even if the virtual image display device is applied to a virtual reality system for purposes other than games, it is possible to provide information while suppressing loss of the player's (user's) sense of immersion in the virtual space.
Next, technical ideas that can be grasped from the above embodiment and another example will be added below.
[1]
A virtual image display program for displaying an image on the display using a control unit, a detection device for identifying the orientation of the player's head, and a display,
the control unit,
a spatial image output unit that displays an image of a virtual space on the display according to the orientation of the player's head;
a determination unit that determines whether or not the motion of the player's head is a predetermined motion different from a normal motion when viewing the image of the virtual space, based on the detection result of the detection device;
A virtual image display program that functions as an information providing unit that outputs provided information that is information provided to the player when it is determined that the motion of the head of the player is the predetermined motion.
[2]
The detection device detects the moving speed of the head,
The determination unit determines whether the motion of the player's head is the predetermined motion based on whether or not the detected moving speed of the head satisfies a moving speed condition defined as a condition for providing the provided information. The virtual image display program according to [1], which determines whether or not.
[3]
The detection device detects the number of times the movement direction of the head changes,
The determination unit determines whether the movement of the player's head is the predetermined movement based on whether or not the number of times the movement direction of the head is changed satisfies a condition of the number of times of change defined as the condition for providing the provided information. The virtual image display program according to [1] or [2], which determines whether or not there is a virtual image display program.
[4]
the control unit,
a specifying unit that specifies an object corresponding to a gaze position based on the orientation of the head among the objects in the virtual space;
The virtual object according to any one of [1] to [3], further functioning as a selection unit that selects the object when the gaze time associated with the object at the gaze position reaches a predetermined time. Image viewing program.
[5]
the virtual space includes a target object selectable by the player's gaze;
The virtual image display program according to any one of [1] to [4], wherein the information providing unit outputs the provided information to a position other than a target object selectable by the player's gaze.
[6]
The information providing unit according to any one of [1] to [5], wherein the information providing unit displays the provided information in a direction of movement of a moving body that is an object in the virtual space and moves in the virtual space. A virtual image display program.
[7]
the control unit,
further functioning as an application progressing unit that progresses a game that displays an image of the virtual space on the display;
The virtual image display program according to any one of [1] to [6], wherein the information providing unit displays a hint for clearing the game as the provided information.
[8]
the control unit,
further functioning as an application progressing unit that progresses an application that displays an image of the virtual space on the display;
The virtual image display program according to any one of [1] to [6], wherein the information providing unit displays menu items of the application.
[9]
A virtual image display system for displaying an image on the display using a detection device for identifying the orientation of a player's head and a display,
a spatial image output unit that displays an image of a virtual space on the display in accordance with the orientation of the player's head;
a determination unit that determines whether or not the motion of the player's head is a predetermined motion different from a normal motion when viewing the image of the virtual space, based on the detection result of the detection device;
A virtual image display system, comprising: an information providing unit that outputs provided information, which is information provided to the player, when it is determined that the motion of the head of the player is the predetermined motion.
[10]
A virtual image display method for displaying an image on the display using a control unit, a detection device for identifying the direction of a player's head, and a display,
The control unit
a spatial image output step of displaying an image of a virtual space on the display according to the orientation of the player's head;
a determination step of determining whether or not the motion of the player's head is a predetermined motion different from a normal motion when viewing the image of the virtual space, based on the detection result of the detection device;
and an information provision step of outputting provision information, which is information provided to the player, when it is determined that the motion of the player's head is the predetermined motion.

10…HMD、11…HMD制御部、12…トラッキングセンサ、13…入出力I/F部、14…ディスプレイ、15…スピーカ、20…ゲーム処理装置、21…制御部、22…記憶部、23…入出力部、24…注視位置特定部、25…ゲーム管理部、26…空間画像出力部、27…情報提供部、30…仮想空間画像情報、31…オブジェクト情報、32…提供条件情報、33…注視位置情報、34…注視時間情報、35…提供情報。 DESCRIPTION OF SYMBOLS 10... HMD, 11... HMD control part, 12... Tracking sensor, 13... Input-output I/F part, 14... Display, 15... Speaker, 20... Game processing apparatus, 21... Control part, 22... Storage part, 23... Input/output unit 24 Gaze position specifying unit 25 Game management unit 26 Spatial image output unit 27 Information providing unit 30 Virtual space image information 31 Object information 32 Provision condition information 33 Gaze position information, 34 Gaze time information, 35 Provided information.

Claims (10)

制御部と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示プログラムであって、
前記制御部を、
前記検出装置の検出結果に基づき、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置を特定する注視位置特定部と、
仮想空間の画像を、前記プレイヤの前記注視位置に応じて、前記ディスプレイに表示する空間画像出力部と、
前記注視位置が情報提供条件を満たした場合に、前記仮想空間内を移動するオブジェクトである移動体に関連付けて前記プレイヤに提供される情報である提供情報を出力する情報提供部として機能させる、仮想画像表示プログラム。
A virtual image display program for displaying an image on the display using a control unit, a detection device for specifying the position and orientation of a predetermined part of a player's body, and a display,
the control unit,
a gaze position specifying unit that specifies a gaze position specified from the position and orientation of a predetermined part of the player's body based on the detection result of the detection device;
a spatial image output unit that displays an image of a virtual space on the display according to the gaze position of the player;
functioning as an information provision unit that outputs provision information, which is information provided to the player in association with a moving body that is an object that moves in the virtual space, when the gaze position satisfies an information provision condition; Image viewing program.
前記情報提供部は、前記移動体の移動方向に前記提供情報を表示する、請求項1に記載の仮想画像表示プログラム。 2. The virtual image display program according to claim 1, wherein said information providing unit displays said provided information in a moving direction of said moving object. 前記情報提供部は、前記移動体に対して前記提供情報を表示する、請求項1に記載の仮想画像表示プログラム。 2. The virtual image display program according to claim 1, wherein said information providing unit displays said provided information to said moving body. 前記仮想空間の画像を前記ディスプレイに表示するアプリケーションを進行するアプリケーション進行部としてさらに機能させ、
前記情報提供部は、
前記プレイヤの前記注視位置の動き又は前記プレイヤの頭部の動作が、予め定めた複数の所定の動きのうち一つであるとの情報提供条件を満たすと判定された場合に、さらに、前記アプリケーションのメニュー項目を表示する
請求項1~3のいずれか1項に記載の仮想画像表示プログラム。
further functioning as an application progressing unit that progresses an application that displays an image of the virtual space on the display;
The information providing unit
When it is determined that the movement of the gaze position of the player or the movement of the head of the player satisfies an information provision condition that the movement is one of a plurality of predetermined movements, the application further comprises: 4. The virtual image display program according to any one of claims 1 to 3, wherein the menu items of are displayed.
前記制御部を、前記プレイヤがミッションを達成するゲームを進行するアプリケーション進行部としてさらに機能させる、請求項1~4のいずれか1項に記載の仮想画像表示プログラム。 5. The virtual image display program according to any one of claims 1 to 4, further functioning said control unit as an application progressing unit that progresses a game in which said player accomplishes a mission. 前記情報提供部は、前記注視位置が前記仮想空間の第1領域から第2領域に移動するとの前記情報提供条件を満たした場合に、前記第2領域に位置する前記移動体に関連付けて前記提供情報を出力する、請求項1~5のいずれか1項に記載の仮想画像表示プログラム。 The information providing unit provides the information in association with the moving object located in the second area when the gaze position satisfies the information providing condition that the gaze position moves from the first area to the second area in the virtual space. 6. The virtual image display program according to any one of claims 1 to 5, which outputs information. 前記第1領域は前記プレイヤがゲームをプレイ可能な領域であり、前記第2領域は前記第1領域外の領域である、請求項6に記載の仮想画像表示プログラム。 7. The virtual image display program according to claim 6, wherein said first area is an area in which said player can play a game, and said second area is an area outside said first area. 前記制御部を、
前記第1領域に位置するオブジェクトのうち、前記注視位置に対応するオブジェクトを特定するオブジェクト特定部と、
前記注視位置が前記オブジェクトに対応付けられる注視時間が所定時間に到達した場合に前記オブジェクトを選択状態とする選択部としてさらに機能させる
請求項6又は7に記載の仮想画像表示プログラム。
the control unit,
an object identifying unit that identifies an object corresponding to the gaze position among the objects positioned in the first area;
8. The virtual image display program according to claim 6 or 7, further functioning as a selection unit that selects the object when the gaze time associated with the object at the gaze position reaches a predetermined time.
プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示システムであって、
前記検出装置の検出結果に基づき、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置を特定する注視位置特定部と、
仮想空間の画像を、前記プレイヤの前記注視位置に応じて、前記ディスプレイに表示する空間画像出力部と、
前記注視位置が情報提供条件を満たした場合に、前記仮想空間内を移動するオブジェクトである移動体に関連付けて前記プレイヤに提供される情報である提供情報を出力する情報提供部と、を備える、仮想画像表示システム。
A virtual image display system for displaying an image on the display using a detection device for identifying the position and orientation of a predetermined part of a player's body and a display,
a gaze position specifying unit that specifies a gaze position specified from the position and orientation of a predetermined part of the player's body based on the detection result of the detection device;
a spatial image output unit that displays an image of a virtual space on the display according to the gaze position of the player;
an information providing unit that outputs provided information, which is information provided to the player in association with a moving body, which is an object moving in the virtual space, when the gaze position satisfies an information providing condition; Virtual image display system.
制御部と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、ディスプレイとを用いて、画像を前記ディスプレイに表示するための仮想画像表示方法であって、
前記制御部が、
前記検出装置の検出結果に基づき、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置を特定する注視位置特定ステップと、
仮想空間の画像を、前記プレイヤの前記注視位置に応じて、前記ディスプレイに表示する空間画像出力ステップと、
前記注視位置が情報提供条件を満たした場合に、前記仮想空間内を移動するオブジェクトである移動体に関連付けて前記プレイヤに提供される情報である提供情報を出力する情報提供ステップと、を実行する
仮想画像表示方法。
A virtual image display method for displaying an image on the display using a control unit, a detection device for specifying the position and orientation of a predetermined part of a player's body, and a display,
The control unit
a gaze position specifying step of specifying a gaze position specified from the position and orientation of a predetermined part of the player's body based on the detection result of the detection device;
a spatial image output step of displaying an image of a virtual space on the display according to the gaze position of the player;
an information provision step of outputting provision information, which is information provided to the player in association with a moving body, which is an object moving in the virtual space, when the gaze position satisfies an information provision condition; Virtual image display method.
JP2022202164A 2020-02-06 2022-12-19 Virtual image display program, virtual image display system and virtual image display method Pending JP2023033300A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022202164A JP2023033300A (en) 2020-02-06 2022-12-19 Virtual image display program, virtual image display system and virtual image display method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020018652A JP6938696B2 (en) 2018-09-10 2020-02-06 Virtual image display program, virtual image display system and virtual image display method
JP2021141059A JP7198886B2 (en) 2020-02-06 2021-08-31 VIRTUAL IMAGE DISPLAY PROGRAM, VIRTUAL IMAGE DISPLAY SYSTEM AND VIRTUAL IMAGE DISPLAY METHOD
JP2022202164A JP2023033300A (en) 2020-02-06 2022-12-19 Virtual image display program, virtual image display system and virtual image display method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021141059A Division JP7198886B2 (en) 2020-02-06 2021-08-31 VIRTUAL IMAGE DISPLAY PROGRAM, VIRTUAL IMAGE DISPLAY SYSTEM AND VIRTUAL IMAGE DISPLAY METHOD

Publications (1)

Publication Number Publication Date
JP2023033300A true JP2023033300A (en) 2023-03-10

Family

ID=79247119

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021141059A Active JP7198886B2 (en) 2020-02-06 2021-08-31 VIRTUAL IMAGE DISPLAY PROGRAM, VIRTUAL IMAGE DISPLAY SYSTEM AND VIRTUAL IMAGE DISPLAY METHOD
JP2022202164A Pending JP2023033300A (en) 2020-02-06 2022-12-19 Virtual image display program, virtual image display system and virtual image display method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021141059A Active JP7198886B2 (en) 2020-02-06 2021-08-31 VIRTUAL IMAGE DISPLAY PROGRAM, VIRTUAL IMAGE DISPLAY SYSTEM AND VIRTUAL IMAGE DISPLAY METHOD

Country Status (1)

Country Link
JP (2) JP7198886B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024204124A1 (en) * 2023-03-31 2024-10-03 Necソリューションイノベータ株式会社 Display control device, display control system, display control method, and computer-readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (en) * 2003-07-15 2005-02-10 Canon Inc Image processing method, image processor
JP5767386B1 (en) * 2014-12-15 2015-08-19 株式会社コロプラ Head mounted display system, method for displaying on head mounted display, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3477441B2 (en) * 2000-12-08 2003-12-10 川崎重工業株式会社 Image display device
JP2003178328A (en) * 2001-12-07 2003-06-27 Sony Corp Three-dimensional virtual space display device, three- dimensional virtual space display method, program and storage medium with the program stored therein
JP4781181B2 (en) * 2006-07-07 2011-09-28 株式会社ソニー・コンピュータエンタテインメント User interface program, apparatus and method, information processing system
JP2009123042A (en) * 2007-11-16 2009-06-04 Nikon Corp Controller and head mounted display
JP2012213492A (en) * 2011-03-31 2012-11-08 Namco Bandai Games Inc Program, information storage medium, game terminal and server system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (en) * 2003-07-15 2005-02-10 Canon Inc Image processing method, image processor
JP5767386B1 (en) * 2014-12-15 2015-08-19 株式会社コロプラ Head mounted display system, method for displaying on head mounted display, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024204124A1 (en) * 2023-03-31 2024-10-03 Necソリューションイノベータ株式会社 Display control device, display control system, display control method, and computer-readable storage medium

Also Published As

Publication number Publication date
JP7198886B2 (en) 2023-01-04
JP2022003528A (en) 2022-01-11

Similar Documents

Publication Publication Date Title
US11311798B2 (en) Virtual image display program, virtual image display apparatus, and virtual image display method
JP6401841B1 (en) Information processing method, computer, and program
US11161047B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
US20210165482A1 (en) Application processing system, method of processing application, and storage medium storing program for processing application
WO2017051595A1 (en) Information processing device, information processing method and program
JP2023033300A (en) Virtual image display program, virtual image display system and virtual image display method
US20220219092A1 (en) Game processing program, game processing method, and game processing device
JP6659789B2 (en) Virtual image display program, virtual image display device, and virtual image display method
CN109416614B (en) Method implemented by computer and non-volatile computer-readable medium, system
JP7462192B2 (en) Application control program, application control method and application control system
JP7017474B2 (en) Application control program, application control method and application control system
JP6938696B2 (en) Virtual image display program, virtual image display system and virtual image display method
JP6535699B2 (en) INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, AND INFORMATION PROCESSING APPARATUS
JP6560074B2 (en) GAME PROCESSING PROGRAM, GAME PROCESSING DEVICE, AND GAME PROCESSING METHOD
JP6905022B2 (en) Application control program, application control method and application control system
JP6941130B2 (en) Information processing method, information processing program and information processing device
JP7148590B2 (en) Game processing system, game processing method, and game processing program
US20180326308A1 (en) Game processing program, game processing method, and game processing device
JP2023085260A (en) Application processing system, application processing method and application processing program
JP2019021331A (en) Information processing method, information processing program and information processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240326