JP2019012551A - Virtual image display program, virtual image display device, and virtual image display method - Google Patents
Virtual image display program, virtual image display device, and virtual image display method Download PDFInfo
- Publication number
- JP2019012551A JP2019012551A JP2018168549A JP2018168549A JP2019012551A JP 2019012551 A JP2019012551 A JP 2019012551A JP 2018168549 A JP2018168549 A JP 2018168549A JP 2018168549 A JP2018168549 A JP 2018168549A JP 2019012551 A JP2019012551 A JP 2019012551A
- Authority
- JP
- Japan
- Prior art keywords
- information
- player
- display
- head
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 5
- 210000003128 head Anatomy 0.000 description 65
- 230000000694 effects Effects 0.000 description 10
- 230000004886 head movement Effects 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007654 immersion Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、仮想空間の画像をディスプレイに表示する仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法に関する。 The present invention relates to a virtual image display program, a virtual image display device, and a virtual image display method for displaying an image of a virtual space on a display.
プレイヤの頭部に装着されたヘッドマウントディスプレイ(以下、HMD)に、仮想空間の画像を表示してプレイするバーチャルリアリティゲームが知られている(例えば、特許文献1参照)。HMDは、例えばジャイロセンサ等を備えており、プレイヤの頭部の動きを検知できる。プレイヤが頭部を動かすと、HMDは頭部の動きに追従してディスプレイに表示する画像を変化させる。このように、ゲーム画像が頭部の動きに追従することで、プレイヤは一層ゲームに意識を集中させることができる。つまり、ゲームへの没入感を高めることができる。 A virtual reality game is known in which an image of a virtual space is displayed and played on a head mounted display (hereinafter referred to as an HMD) mounted on the player's head (see, for example, Patent Document 1). The HMD includes, for example, a gyro sensor and can detect the movement of the player's head. When the player moves the head, the HMD changes the image displayed on the display following the movement of the head. In this way, the game image follows the movement of the head, so that the player can concentrate more on the game. That is, it is possible to increase the sense of immersion in the game.
バーチャルリアリティゲームにおいても、その他のゲームと同様に、ゲームの進行に対するヒントの表示や、メニュー項目の表示等の情報提供を行なう場合がある。しかし、情報提供の実行ボタンを仮想空間の画像とともに表示すると、仮想空間への没入感が大きく損なわれる。なお、こうした課題は、バーチャルリアリティゲームに限らず、仮想空間の画像をディスプレイに表示する技術においては、概ね共通するものである。 In the virtual reality game, as in other games, there are cases where information such as display of hints for the progress of the game and display of menu items is provided. However, when the execution button for providing information is displayed together with the image of the virtual space, the feeling of immersion in the virtual space is greatly impaired. Such a problem is not limited to a virtual reality game, but is generally common in a technique for displaying a virtual space image on a display.
本発明は、上記実情を鑑みてなされたものであり、その目的は、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide information while suppressing loss of immersive feeling in a virtual space.
上記課題を解決する仮想画像表示プログラムは、情報提供条件と提供情報とを記録した記憶部と、制御部を備えた仮想画像表示部と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、画像を表示するディスプレイとを用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示プログラムであって、前記制御部を、仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示する空間画像出力部と、前記仮想空間の画像を前記ディスプレイに表示しているときに、前記プレイヤの頭部の動作範囲が規定された基準範囲から外れる場合に、前記情報提供条件が満たされたと判定する判定部と、前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部として機能させる。 A virtual image display program that solves the above-described problem is for specifying a position and orientation of a predetermined part of a player's body, a storage unit that records information provision conditions and provision information, a virtual image display unit that includes a control unit A virtual image display program for displaying a virtual space image on the display using a detection device for displaying the image and a display for displaying an image, wherein the control unit displays the virtual space image on the head of the player. A spatial image output unit to be displayed on the display according to the orientation of the unit, and a case where the movement range of the head of the player deviates from a prescribed reference range when an image of the virtual space is displayed on the display And a determination unit that determines that the information provision condition is satisfied, and an information provision unit that outputs the provision information when the information provision condition is satisfied.
上記仮想画像表示プログラムについて、前記記憶部には、前記プレイヤの頭部の所定の動作が記録され、前記情報提供条件として、前記プレイヤの頭部の動作が前記記憶部に記録された所定の動作に相当することを含み、前記制御部は、前記プレイヤの頭部の動作が前記所定の動作に相当した場合に、前記提供情報を出力することが好ましい。 With respect to the virtual image display program, a predetermined motion of the player's head is recorded in the storage unit, and a motion of the player's head is recorded in the storage unit as the information providing condition The control unit preferably outputs the provision information when an action of the head of the player corresponds to the predetermined action.
上記仮想画像表示プログラムについて、前記情報提供部は、前記仮想空間内のオブジェクト上に前記提供情報を表示することが好ましい。 About the said virtual image display program, it is preferable that the said information provision part displays the said provision information on the object in the said virtual space.
上記仮想画像表示プログラムについて、前記情報提供部は、前記仮想空間内のオブジェクトであって前記仮想空間内を移動する移動体の移動方向に前記提供情報を表示することが好ましい。 About the said virtual image display program, it is preferable that the said information provision part displays the said provision information in the moving direction of the mobile body which is the object in the said virtual space, and moves within the said virtual space.
上記仮想画像表示プログラムについて、前記判定部は、少なくとも一つの方向における回転角度が基準範囲外となった場合に、前記情報提供条件が満たされたと判定することが好ましい。 In the virtual image display program, it is preferable that the determination unit determines that the information provision condition is satisfied when a rotation angle in at least one direction is out of a reference range.
上記仮想画像表示プログラムについて、前記基準範囲には、異なる方向に沿った回転角度の範囲が規定され、前記判定部は、前記プレイヤの頭部の向きが、前記規定された回転角度の範囲のうち複数の範囲から外れる場合に、前記情報提供条件が満たされたと判定することが好ましい。 With respect to the virtual image display program, the reference range defines a range of rotation angles along different directions, and the determination unit determines that the orientation of the player's head is within the specified range of rotation angles. It is preferable to determine that the information provision condition is satisfied when the information is out of a plurality of ranges.
上記課題を解決する仮想画像表示装置は、プレイヤの頭部の向きを特定するための検出装置と、画像を表示するディスプレイと、情報提供条件と提供情報とを記録した記憶部と、を用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示装置であって、仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示する空間画像出力部と、前記仮想空間の画像を前記ディスプレイに表示しているときに、前記プレイヤの頭部の動作範囲が規定された基準範囲から外れる場合に、前記情報提供条件が満たされたと判定する判定部と、前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部とを備える。
上記課題を解決する仮想画像表示方法は、情報提供条件と提供情報とを記録した記憶部と、制御部を備えた仮想画像表示部と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、画像を表示するディスプレイとを用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示方法であって、前記制御部が、仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示し、前記仮想空間の画像を前記ディスプレイに表示しているときに、前記プレイヤの頭部の動作範囲が規定された基準範囲から外れる場合に、前記情報提供条件が満たされたと判定し、前記情報提供条件が満たされた場合、前記提供情報を出力する。
A virtual image display device that solves the above problems uses a detection device for specifying the orientation of the player's head, a display that displays an image, and a storage unit that records information provision conditions and provision information. A virtual image display device for displaying an image of a virtual space on the display, wherein the space image output unit displays the image of the virtual space on the display according to the orientation of the head of the player; A determination unit that determines that the information providing condition is satisfied when the movement range of the head of the player is out of a specified reference range when an image of a space is displayed on the display; And an information providing unit that outputs the provision information when the condition is satisfied.
A virtual image display method that solves the above-described problem is to specify the position and orientation of a predetermined part of a player's body, a storage unit that records information provision conditions and provision information, a virtual image display unit that includes a control unit A virtual image display method for displaying an image of a virtual space on the display using a detection device for displaying the image and a display for displaying an image, wherein the control unit displays the image of the virtual space on the head of the player. The information is provided when the movement range of the player's head deviates from a prescribed reference range when the virtual space is displayed on the display according to the orientation of the unit and the virtual space image is displayed on the display. When it is determined that the condition is satisfied and the information provision condition is satisfied, the provision information is output.
本発明によれば、没入感の喪失を抑制しながら情報提供を行なうことができる。 According to the present invention, it is possible to provide information while suppressing loss of immersive feeling.
(第1実施形態)
以下、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第1実施形態を説明する。本実施形態では、仮想画像表示装置を、仮想空間の画像を表示しながらゲームを進行させるゲーム処理装置に具体化している。このゲームにおいては、プレイヤが頭部にヘッドマウントディスプレイ(HMD)を装着することが前提となる。
(First embodiment)
Hereinafter, a first embodiment of a virtual image display program, a virtual image display device, and a virtual image display method will be described. In this embodiment, the virtual image display device is embodied as a game processing device that progresses a game while displaying an image of a virtual space. In this game, it is assumed that the player wears a head mounted display (HMD) on the head.
図1を参照して、HMD10及びゲーム処理装置20を有するシステムの構成について説明する。まず、ゲーム処理装置20に接続されるHMD10の構成について説明する。HMD10は、HMD制御部11、検出装置としてのセンサ12、及び入出力インターフェース部(I/F部)13を備える。HMD制御部11は、入出力I/F部13を介して、ゲーム処理装置20に対して各種情報を出力するとともに、ゲーム処理装置20から各種情報を入力する。センサ12は、プレイヤの頭部の位置及び向きを特定するための検出装置に対応している。センサ12は、例えばジャイロセンサ、加速度センサ、地磁気センサ等のうち少なくとも1つのセンサを備え、プレイヤの頭部の動きを検出する。なお、別の実施形態として、プレイヤの眼球の動きを直接的に検出するもの、例えば、虹彩内に近赤外線を入射しその反射光を検出する視線検出センサ等がセンサ12として用いられてもよい。ここで、本実施形態においては、プレイヤの頭部が、本発明のプレイヤの体の所定部位に対応する。
With reference to FIG. 1, a configuration of a system including the
また、HMD10は、画像を表示するディスプレイ14、音声を出力するスピーカ15を備える。例えば、ディスプレイ14は、左目が視認する画像と右目が視認する画像とを視差を設けて表示する。これにより、プレイヤは奥行き感のある立体的な画像を視認することができる。HMD制御部11は、入出力I/F部13を介してゲーム処理装置20から受信した画像信号に応じた画像をディスプレイ14に表示する。スピーカ15は、ヘッドフォン等であり、効果音や、ゲームの進行について説明する音声等を出力する。
The HMD 10 also includes a
次に、ゲーム処理装置20の構成について説明する。ゲーム処理装置20は、制御部21と、記憶部22と、入出力部23とを備えている。制御部21は、CPU、RAM、ROM等のハードウェア要素から構成される。また、制御部21は、注視位置特定部24、ゲーム管理部25、空間画像出力部26、情報提供部27を備えている。本実施形態において、制御部21は、ハードウェア要素に仮想画像表示プログラムを実行させることによって、注視位置特定部24、ゲーム管理部25、空間画像出力部26、情報提供部27として機能する。
Next, the configuration of the
記憶部22には、仮想空間画像情報30、オブジェクト情報31、提供条件情報32、注視位置情報33、注視時間情報34、提供情報35が格納されている。
仮想空間画像情報30は、仮想空間の背景やオブジェクトの画像を描画するためのデータである。オブジェクトには、選択可能なオブジェクトである対象オブジェクトと、選択不可能なオブジェクトとがある。対象オブジェクトは、プレイヤが所定時間継続して注視することにより選択することができる。
The
The virtual
オブジェクト情報31は、オブジェクトの属性を示す情報である。具体的には、オブジェクト情報31は、オブジェクトの識別子、オブジェクトの仮想空間内での座標、オブジェクトの種類、オブジェクトの選択状態を含んでいる。オブジェクトの種類は、オブジェクトが、対象オブジェクトか、それ以外のオブジェクトであるかを示す情報である。オブジェクトの選択状態は、オブジェクトが対象オブジェクトである場合に選択されているか否かを示す情報である。
The
提供条件情報32は、プレイヤに情報提供を行なう条件である情報提供条件を定めた情報である。本実施形態においては、提供条件情報32を、ゲーム開始からの経過時間が一定時間以上のときに、プレイヤの注視位置が仮想空間内に設定されるゲーム可能領域外であることを定めた情報に例示して説明する。ゲーム可能領域は、プレイヤが注視により対象オブジェクトを選択可能な領域であって、全ての対象オブジェクトが含まれる。例えば、提供条件情報32には、ゲーム可能領域の座標情報が含まれる。また、情報提供条件が成立したとき、プレイヤにゲームの進行に関するヒントが提供される。
The
注視位置情報33は、特定されたプレイヤの注視位置を仮想空間の座標で示す情報である。注視時間情報34は、プレイヤが対象オブジェクトの注視を継続した時間を示す情報である。提供情報35には、ゲームのミッションをクリアするためのヒントの内容を示す情報が含まれている。
The
注視位置特定部24は、入出力部23を介して、プレイヤに装着されたHMD10のHMD制御部11からセンサ12の検出信号を入力する。また、注視位置特定部24は、入力した検出信号に応じた注視位置を仮想空間の座標で特定し、特定した注視位置に基づき注視位置情報33を更新する。
The gaze
ゲーム管理部25は、注視位置情報33とオブジェクト情報31とを対比して、注視位置が対象オブジェクト上にあるか否かを判断する。ゲーム管理部25は、注視位置が対象オブジェクト上にあると判断した場合、プレイヤが対象オブジェクトの注視を継続している時間(注視時間)を計測して、その注視時間に基づき注視時間情報34を更新する。また、ゲーム管理部25は、注視時間情報34によって示される注視時間が所定時間(例えば3秒)に達したか否かを判断し、注視時間情報34が所定時間に達したとき対象オブジェクトの選択が完了したと判断する。
The
また、ゲーム管理部25は、ゲームのミッションが完了したか否かを判定する。例えば、ゲーム管理部25は、ゲームの制限時間内に、選択が完了したオブジェクトが所定数存在することを条件に、ミッションクリアと判断する。ゲーム管理部25は、選択が完了した対象オブジェクトが所定数存在しないまま、ゲーム開始からの経過時間が制限時間に達した場合には、ゲーム終了と判断する。
Further, the
さらに、ゲーム管理部25は、提供条件情報32に基づき、情報提供条件が成立するか否かを判断する。本実施形態では、情報提供条件として、ゲームを開始したときからの経過時間が一定時間を超え、且つプレイヤの注視位置がゲーム可能領域外であることを用いる。一定時間は、例えば、制限時間までの残り時間が僅かとなるような所定の時間、又はプレイヤのミッションクリアに要する平均時間等によって設定される。ゲーム管理部25は、情報提供条件が成立したと判断したとき、情報提供部27に対し提供情報35の出力要求を出力する。
Furthermore, the
また、ゲーム管理部25は、図示しない音声情報記憶部から、効果音やゲームの進行について説明する音声等の音声情報を抽出して、入出力部23を介してHMD10に送信する。
Further, the
空間画像出力部26は、注視位置情報33が示す座標を中心とした視野範囲の仮想空間画像情報30を抽出し、画像信号としてHMD10に送信する。また、空間画像出力部26は、仮想空間内でプレイヤに対応するキャラクタを表示する。さらに、空間画像出力部26は、ゲーム管理部25が対象オブジェクトが選択完了であると判断すると、選択が完了した対象オブジェクトの表示態様を変化させる。
The space
情報提供部27は、ゲーム管理部25から出力されたヒントの表示要求を入力すると、提供情報35を読み出す。そして、提供情報35に応じた表示をディスプレイ14に出力して、仮想空間画像に重ねて表示する。
The information providing unit 27 reads the
次に、図2を参照して、ゲーム処理装置20によるオブジェクト選択機能について説明する。
注視位置特定部24は、HMD10からセンサ12の検出信号を入力し、検出信号に応じたプレイヤ101の頭部の位置及び向きを特定する。具体的には、注視位置特定部24は、頭部の位置及び向きを、水平方向に沿ったX軸及びX軸を中心とした回転方向を示すピッチθp、鉛直方向に沿ったY軸及びY軸を中心とした回転方向を示すヨーθy、奥行方向に沿ったZ軸及びZ軸を中心とした回転方向を示すロールθrの3軸方向の位置及び各軸の周りの角度として算出する。
Next, an object selection function by the
The gaze
注視位置特定部24は、算出した頭部の位置及び向きに基づき、仮想空間内でのプレイヤ101の注視位置P1を特定する。注視位置の特定の方法は公知の方法を用いることができる。例えば、注視位置特定部24は、左目位置と右目位置とを結ぶ直線を仮想的に設定し、当該直線に直交する方向に延び、且つ左目位置と右目位置の中点を通る方向を視線方向D1とする。さらに、注視位置特定部24は、視線方向D1とオブジェクト102(又は背景)との交点を注視位置P1として特定する。なお、センサ12として、眼球の動きを検出するものや虹彩内からの反射光を検出するものを用いる場合には、眼球の動きや反射光に基づき視線方向を特定する。
The gaze
また、仮想空間内には、ゲーム可能領域105が設けられている。ゲーム可能領域105は、プレイヤに対応するキャラクタの周囲に設定される。このゲーム可能領域105には全ての対象オブジェクト103が含まれるので、注視により対象オブジェクト103を選ぶときには、注視位置P1はゲーム可能領域105に位置する。
Further, a game
空間画像出力部26は、注視位置を中心とした視野範囲の仮想空間画像情報30を抽出し、その仮想空間画像情報30を画像信号としてHMD制御部11に送信する。HMD制御部11は、受信した仮想空間画像情報30に応じた画像をディスプレイ14に出力する。
The space
(ゲーム進行処理)
次に、図3を参照して、ゲーム進行処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びゲーム開始からの経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。なお、経過時間は、ゲームが終了するまで、ゲーム管理部25が、CPUのクロック信号等を利用したシステム時刻等に基づき計測している。
(Game progress process)
Next, the game progress process will be described with reference to FIG. The end condition of this process is that either the mission clear condition is satisfied or the elapsed time from the start of the game has reached the time limit. This process is repeated until the end condition is satisfied. The elapsed time is measured by the
ゲームが開始されると、制御部21は、プレイヤの注視位置を特定する(ステップS1)。具体的には、制御部21の注視位置特定部24は、上述した手法でプレイヤの注視位置を特定し、特定された注視位置によって注視位置情報33を更新する。
When the game is started, the
制御部21は、注視位置情報33を用いて、対象オブジェクトの選択が完了したか否かを判断する(ステップS2)。具体的には、制御部21のゲーム管理部25は、記憶部22から対象オブジェクトのオブジェクト情報31及び注視位置情報33を読み出し、対象オブジェクトの座標と注視位置とを比較して、注視位置が対象オブジェクト上に存在するか否かを判断する。
The
注視位置が対象オブジェクト上に存在する場合、ゲーム管理部25は、システム時刻等を用いて注視時間を計測し、計測した注視時間によって注視時間情報34を更新する。ゲーム管理部25は、注視時間が所定時間に達したとき、選択完了と判断する。
When the gaze position exists on the target object, the
注視時間が所定時間に達しないまま、注視位置が対象オブジェクト外となったとき、ゲーム管理部25は、対象オブジェクトの選択が完了していないと判断して(ステップS2において「NO」の場合)、注視時間をリセットして、ステップS1に戻る。
When the gaze position is outside the target object without the gaze time reaching the predetermined time, the
ゲーム管理部25は、対象オブジェクトの選択が完了したと判断すると(ステップS2において「YES」の場合)、オブジェクト情報31の選択状況を「選択完了」に更新し、ステップS3に進む。なお、このとき空間画像出力部26は、選択が完了した対象オブジェクトの表示態様を変化させる。
When the
対象オブジェクトの選択が完了した場合、制御部21は、ミッションクリア条件が成立したか否かを判断する(ステップS3)。具体的には、制御部21のゲーム管理部25は、オブジェクト情報31の選択状況を参照して、ゲームの制限時間内に、選択が完了したオブジェクトが、所定数存在するか否かを判断する。
When the selection of the target object is completed, the
選択が完了した対象オブジェクトの数が所定数以上であるとき、制御部21は、ミッションクリア条件が成立したと判断する(ステップS3において「YES」の場合)。この場合、ゲーム進行処理の終了条件が成立するので、ゲームが終了する。
When the number of target objects for which selection has been completed is equal to or greater than a predetermined number, the
選択が完了した対象オブジェクトの数が所定数未満であるとき、制御部21は、ミッションクリア条件が成立しないと判断して(ステップS3において「NO」の場合)、ステップS1に戻る。具体的には、制御部21のゲーム管理部25がミッションクリア条件が成立しないと判断すると、ステップS1において注視位置の特定を行なう。
When the number of target objects that have been selected is less than the predetermined number, the
(情報提供処理)
次に、図4を参照して、情報提供処理について、その処理手順を説明する。本実施形態においては、この処理は、ゲーム進行処理とは独立して、並行に実行される処理である。
(Information provision processing)
Next, with reference to FIG. 4, the processing procedure for the information provision processing will be described. In this embodiment, this process is a process executed in parallel with the game progress process.
この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。 An end condition for this process is that either the mission clear condition is satisfied or that the elapsed time measured from the start of the game before reaching the mission reaches the time limit. This process is repeated until the end condition is satisfied.
ゲーム処理装置20の制御部21は、情報提供条件が成立したか否かを判断する(ステップS10)。具体的には、制御部21のゲーム管理部25は、経過時間が一定時間に達し、且つ注視位置がゲーム可能領域外であるか否かを判断する。
The
このために、ゲーム管理部25は、経過時間を取得して、経過時間が一定時間に達したか否かを判断する。経過時間が一定時間に達したと判断した場合、ゲーム管理部25は、注視位置情報33及び提供条件情報32を記憶部22から読み出し、注視位置がゲーム可能領域外であるか否かを判断する。注視位置がゲーム可能領域外であると判断した場合、ゲーム管理部25は情報提供条件が成立したとする。
For this purpose, the
情報提供条件が成立したと判断すると(ステップS10において「YES」の場合)、制御部21は、情報提供を実行する(ステップS11)。具体的には、制御部21のゲーム管理部25は、情報提供部27に情報提供要求を出力する。情報提供部27は、情報提供要求を受けて、記憶部22から提供情報35を読み出し、HMD10に出力する。
If it is determined that the information provision condition is satisfied (in the case of “YES” in step S10), the
一方、情報提供条件が成立しない場合(ステップS10において「NO」の場合)、制御部21は、情報提供条件が成立したか否かの判断(ステップS10)を繰り返す。
なお、この情報提供処理は、ゲーム進行処理と連動させてもよい。例えば、ゲーム進行処理において対象オブジェクトの選択が完了したとき(ステップS2において「YES」の場合)や、ミッションクリア条件が成立したと判断したとき(ステップS3において「YES」の場合)等に、情報提供を行なうために計測される経過時間をリセットしてもよい。または、情報提供処理における対象オブジェクトの選択完了の判断(ステップS2)に基づき、ゲーム開始からの経過時間の代わりに、ゲーム開始から対象オブジェクトが一つも選択されていない時間を用い、当該時間が一定時間に達し、且つ注視位置がゲーム可能領域外であることを情報提供条件としてもよい。
On the other hand, when the information provision condition is not satisfied (in the case of “NO” in step S10), the
This information providing process may be linked with the game progress process. For example, when the selection of the target object is completed in the game progress process (in the case of “YES” in step S2) or when it is determined that the mission clear condition is satisfied (in the case of “YES” in step S3), the information You may reset the elapsed time measured in order to provide. Alternatively, based on the determination of the completion of selection of the target object in the information providing process (step S2), instead of the elapsed time from the start of the game, the time when no target object is selected from the start of the game is used and the time is constant The information providing condition may be that the time has been reached and the gaze position is outside the game possible area.
(表示画像)
次に、図5及び図6を参照して、ゲーム進行中にHMD10のディスプレイ14に表示される画像について説明する。なお、図5及び図6に示す仮想空間画像は、HMD10の視野範囲とは無関係に模式的に示している。
(Display image)
Next, an image displayed on the
図5に示すように、HMD10のディスプレイ14には、仮想空間画像情報30に基づく画像であって、注視位置を中心とする仮想空間画像110が表示されている。仮想空間画像110のうち、ゲーム可能領域105内には対象オブジェクト103が表示される。なお、このゲーム可能領域105には、対象オブジェクト103以外のオブジェクト106が表示されていてもよい。
As shown in FIG. 5, the
図6に示すように、注視位置がゲーム可能領域105外となると、ゲーム可能領域105外の仮想空間画像110に重ねて情報提供表示111が出力される。情報提供表示111には、提供情報35に基づくヒントの内容が表示されている。情報提供表示111は、ゲーム可能領域外の仮想空間画像110に重ねて表示されるので、情報提供表示111が対象オブジェクトに重ならない。このため、対象オブジェクトの選択を妨げならないように情報提供を行なうことができる。また、情報提供表示111は、経過時間が一定時間を超えないと表示されないため、頻繁な情報提供による煩わしさをプレイヤに与えることを抑制することができる。
As shown in FIG. 6, when the gaze position is outside the game
図6では、ゲーム可能領域105外を移動する鳥である移動体112が、ヒントが書かれた情報提供表示111を保持するように表示されている。すなわち、情報提供表示111は、移動体112の移動速度及び移動方向に合わせて移動する。移動体112及び情報提供表示111は、仮想空間内に存在するオブジェクトとして、明度や色調等の画像属性が仮想空間画像に合わせられた状態で描画されている。このように仮想空間内のオブジェクトに情報提供表示111を保持させることによって、仮想空間における没入感を損なわない情報提供を行なうことができる。
In FIG. 6, a moving
このように、注視位置がゲーム可能領域外になったとき、対象オブジェクトの選択が円滑に行われていないと判断して、情報提供表示111を表示する。このため、プレイヤにとって適切なタイミングで情報提供を行なうことができる。また、このように注視位置の動きに基づき情報提供を行なうことによって、情報提供の実行ボタン等を省略することができる。このため、仮想空間への没入感の喪失を抑制することができる。
As described above, when the gaze position is outside the game possible area, it is determined that the target object has not been smoothly selected, and the
以上説明したように、第1実施形態によれば、以下に列挙する効果が得られる。
(1)上記第1実施形態では、プレイヤの注視位置の動きが情報提供条件に一致したことを条件に情報提供が実行されるので、仮想空間の画像に情報提供の実行ボタンを表示する必要がない。そのため、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。
As described above, according to the first embodiment, the effects listed below can be obtained.
(1) In the first embodiment, since information provision is executed on the condition that the movement of the gaze position of the player matches the information provision condition, it is necessary to display an information provision execution button on the image in the virtual space. Absent. Therefore, it is possible to provide information while suppressing loss of immersive feeling in the virtual space.
(2)上記第1実施形態では、プレイヤの注視位置が全ての対象オブジェクトを含むゲーム可能領域から外れたときに情報提供が実行される。すなわち、例えばプレイヤがゲームの進行等について迷っているとき等、対象オブジェクトの選択が中断されている場合に情報提供ができるので、適切なタイミングで情報提供を実行することができる。 (2) In the first embodiment, the information provision is executed when the gaze position of the player is out of the game possible area including all the target objects. That is, for example, when the selection of the target object is interrupted, for example, when the player is at a loss about the progress of the game or the like, the information can be provided at an appropriate timing.
(3)上記第1実施形態では、仮想空間内で移動するオブジェクト(移動体)上にヒントを表示した。プレイヤは移動しているものに着目するので、自然な形態でプレイヤにヒントに着目させることができる。 (3) In the said 1st Embodiment, the hint was displayed on the object (moving body) which moves in virtual space. Since the player pays attention to what is moving, it is possible to make the player pay attention to the hint in a natural form.
(第2実施形態)
次に図4及び図7を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第2実施形態を説明する。なお、第2実施形態は、第1実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
(Second Embodiment)
Next, a second embodiment of the virtual image display program, the virtual image display device, and the virtual image display method will be described with reference to FIGS. 4 and 7. In addition, since 2nd Embodiment is the structure which changed a part of information provision process of 1st Embodiment, it attaches | subjects the same code | symbol about the same part, and abbreviate | omits the detailed description.
本実施形態では、情報提供条件が、プレイヤが対象オブジェクトを選択完了としないまま注視を止めたこと、及び注視を止めた後に注視位置がゲーム可能領域外となったことである点で、第1実施形態と異なる。 In the present embodiment, the information providing condition is that the player stops watching without completing the selection of the target object, and that the watching position is outside the game possible area after stopping watching. Different from the embodiment.
図4を参照して、情報提供処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。 The information providing process will be described with reference to FIG. An end condition for this process is that either the mission clear condition is satisfied or that the elapsed time measured from the start of the game before reaching the mission reaches the time limit. This process is repeated until the end condition is satisfied.
ゲーム処理装置20の制御部21は、情報提供条件が成立したか否かを判断する(ステップS10)。具体的には、制御部21のゲーム管理部25は、記憶部22から注視位置情報33及びオブジェクト情報31を読み出し、注視位置が対象オブジェクト上にあるか否かを判断する。注視位置が対象オブジェクト以外にある場合、ゲーム管理部25は、情報提供条件が成立していないと判断して(ステップS10において「NO」の場合)、ステップS10の判断を繰り返す。
The
プレイヤが対象オブジェクトを注視したと判断すると、ゲーム管理部25は、注視時間を取得し、注視時間が対象オブジェクトを選択するための所定時間に達する前に注視位置がゲーム可能領域外となったか否かを判断する。注視位置が対象オブジェクト上である場合は、ゲーム管理部25は、情報提供条件が成立していないと判断して(ステップS10において「NO」の場合)、ステップS10の判断を繰り返す。
If it is determined that the player gazes at the target object, the
一方、ゲーム管理部25は、対象オブジェクトを注視した注視時間が所定時間に達する前に、注視位置がゲーム可能領域外となった場合、情報提供を行う(ステップS11)。
図7を参照して、ゲーム進行中にHMD10のディスプレイ14に表示される画像について説明する。なお、図7に示す仮想空間画像は、HMD10の視野範囲とは無関係に模式的に示している。
On the other hand, the
With reference to FIG. 7, an image displayed on the
図7(a)に示すように、プレイヤが仮想空間画像110に表示された対象オブジェクト103を注視すると、空間画像出力部26によって対象オブジェクト103にゲージ120が重ねて表示される。ゲージ120は、注視開始から所定時間に達したときまでの時間の経過を表示するものである。
As shown in FIG. 7A, when the player gazes at the
図7(b)に示すように、対象オブジェクト103の注視位置がゲーム可能領域105外となると、情報提供表示111が出力される。
図7(b)では、情報提供表示111を、移動体112である鳥の移動方向に表示している。プレイヤは、静止したオブジェクトに比べ移動体112に着目しやすい。そのため、移動体112の移動方向の先に情報提供表示111を表示することによって、プレイヤが情報提供表示111に気付きやすくすることができる。また、情報提供表示111は、静止状態で表示されるので、プレイヤが情報提供表示111の内容を確認しやすくすることができる。
As shown in FIG. 7B, when the gaze position of the
In FIG. 7B, the
このように、本実施形態では、情報提供条件として、プレイヤが対象オブジェクトを選択完了としないまま注視を止めたこと、及び注視を止めた後に注視位置がゲーム可能領域外となったこといったプレイヤの複数の動作が規定されている。そのため、複数の動作を考慮して、プレイヤの状況をより的確に判断できる。 As described above, in the present embodiment, as the information providing condition, a plurality of players that have stopped watching without completing the selection of the target object, and that the watching position is out of the game possible area after stopping watching. Is specified. Therefore, the situation of the player can be determined more accurately in consideration of a plurality of actions.
以上説明したように、第2実施形態によれば、第1の実施形態に記載した効果に加えて、以下に列挙する効果が得られる。
(4)上記第2実施形態では、情報提供条件は、プレイヤの注視位置が、対象オブジェクトの選択が完了しない状態で、対象オブジェクトの外側であってゲーム可能領域外に移動したことである。これにより、対象オブジェクトの選択ができなかった場合に情報提供ができるので、適切なタイミングで情報提供を実行することができる。
As described above, according to the second embodiment, in addition to the effects described in the first embodiment, the effects listed below can be obtained.
(4) In the second embodiment, the information providing condition is that the gaze position of the player has moved outside the game possible area outside the target object in a state where selection of the target object is not completed. Thereby, since information can be provided when the target object cannot be selected, the information can be provided at an appropriate timing.
(5)上記第2実施形態では、仮想空間内のオブジェクトであって、鳥等の仮想空間内を移動する移動体112の移動方向に情報提供表示111を出力する。これにより、仮想空間への没入感を損なわずに情報提供を出力することができる。
(5) In the second embodiment, the
(第3実施形態)
次に、図4を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第3実施形態を説明する。なお、第3実施形態は、第1実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
(Third embodiment)
Next, a third embodiment of the virtual image display program, the virtual image display device, and the virtual image display method will be described with reference to FIG. In addition, since 3rd Embodiment is the structure which changed a part of information provision process of 1st Embodiment, it attaches | subjects the same code | symbol about the same part, and abbreviate | omits the detailed description.
本実施形態では、情報提供条件が、ミッションをクリアする前において、プレイヤの体の所定部位の動きの範囲が、対象オブジェクトを選択するときの基準的な体の所定部位の動きの範囲外となることである点で、第1実施形態と異なる。なお、プレイヤの体の所定部位は、頭部である。対象オブジェクトを選択するときの基準的な頭部の動きの範囲は予め規定されている。なお、本実施形態においては、ゲーム可能領域は設定されていなくてもよい。 In the present embodiment, before the information provision condition clears the mission, the range of movement of the predetermined part of the player's body is outside the range of movement of the predetermined part of the standard body when the target object is selected. This is different from the first embodiment. The predetermined part of the player's body is the head. The standard range of head movement when selecting the target object is defined in advance. In the present embodiment, the game available area may not be set.
プレイヤの頭部の動きの範囲は、ゲームが開始されたときからの頭部の動きの範囲を示す。また、プレイヤの頭部の動きの範囲は、例えば、角度座標を示すピッチθp、ヨーθy、ロールθrの範囲として規定される。予め規定された頭部の動きの範囲は、例えば提供条件情報32に含まれた状態で、記憶部22に記録される。
The range of movement of the head of the player indicates the range of movement of the head from when the game is started. In addition, the range of movement of the player's head is defined as, for example, a range of pitch θp, yaw θy, and roll θr indicating angle coordinates. The predefined range of head movement is recorded in the
プレイヤの頭部の動きの範囲が、規定された基準範囲よりも狭い場合には、プレイヤの注視している範囲が狭すぎる可能性がある。一方、プレイヤの頭部の動きの範囲が規定された基準範囲よりも広い場合には、プレイヤの注視している範囲が十分広いにも関わらずミッションがクリアできていないため、プレイヤがミッションクリア条件や操作方法を把握していないか、プレイヤが対象オブジェクトを探すことができていない可能性がある。このようにプレイヤの頭部の動きの範囲が、狭すぎる場合や広すぎる場合に、ゲームの進行についてのヒントを提供して、ミッションクリアを促す。 When the range of the movement of the player's head is narrower than the prescribed reference range, the range that the player is watching may be too narrow. On the other hand, if the range of movement of the player's head is wider than the specified reference range, the player has not cleared the mission even though the range being watched by the player is sufficiently wide. There is a possibility that the player does not know the operation method or the player cannot find the target object. As described above, when the range of the movement of the head of the player is too narrow or too wide, a hint about the progress of the game is provided to promote the mission clear.
図4を参照して、情報提供処理について説明する。この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。 The information providing process will be described with reference to FIG. An end condition for this process is that either the mission clear condition is satisfied or that the elapsed time measured from the start of the game before reaching the mission reaches the time limit. This process is repeated until the end condition is satisfied.
ゲーム処理装置20の制御部21は、情報提供条件が成立しているか否かを判断する(ステップS10)。具体的には、制御部21のゲーム管理部25は、プレイヤの頭部の動きの範囲を算出する。なお、本実施形態では、ゲーム開始時からのプレイヤの頭部の動きの履歴が蓄積されていることを想定している。また、ゲーム管理部25は、提供条件情報32を読み出し、プレイヤの頭部の動きの範囲が、提供条件情報32に含まれる基準範囲外であるか否かを判断する。例えば、提供条件情報32に含まれる基準範囲として、上述した3つの回転方向についてそれぞれ範囲を規定したものを用いる場合を想定する。
The
そして、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合には、ゲーム管理部25は、プレイヤの頭部の動きの範囲が基準範囲外であると判断する。
When the range of movement of the player's head is outside the reference range with respect to at least one rotation direction, the
情報提供条件が成立しないと判断した場合には(ステップS10において「NO」の場合)、制御部21は、情報提供条件についての判断を繰り返す(ステップS10)。具体的には、制御部21のゲーム管理部25は、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合に、情報提供条件が成立しないと判断して、ステップS10の判断を繰り返す。
When it is determined that the information provision condition is not satisfied (in the case of “NO” in step S10), the
一方、制御部21が、情報提供条件が成立したと判断すると(ステップS10において「YES」の場合)、情報提供を実行する(ステップS11)。具体的には、プレイヤの頭部の動きの範囲が、全ての回転方向について基準範囲内となる場合に、ゲーム管理部25は、情報提供条件が成立したと判断して、情報提供を実行する。
On the other hand, when the
以上説明したように、第3実施形態によれば、第1の実施形態に記載した効果に加えて、以下に列挙する効果が得られるようになる。
(6)上記第3実施形態では、情報提供条件は、プレイヤの頭部の動きの範囲が、規定された基準範囲から外れることである。これにより、プレイヤの注視位置が狭すぎるときや広すぎるときに情報提供条件が成立するので、適切なタイミングで情報提供を実行することができる。
As described above, according to the third embodiment, in addition to the effects described in the first embodiment, the effects listed below can be obtained.
(6) In the third embodiment, the information providing condition is that the range of the movement of the player's head deviates from the specified reference range. As a result, the information provision condition is satisfied when the gaze position of the player is too narrow or too wide, so that the information provision can be executed at an appropriate timing.
(第4実施形態)
次に、図4を参照して、仮想画像表示プログラム、仮想画像表示装置及び仮想画像表示方法の第4実施形態を説明する。なお、第4実施形態は、第1実施形態の情報提供処理の一部を変更した構成であるため、同様の部分については同一符号を付してその詳細な説明を省略する。
(Fourth embodiment)
Next, a fourth embodiment of the virtual image display program, the virtual image display device, and the virtual image display method will be described with reference to FIG. In addition, since 4th Embodiment is the structure which changed a part of information provision process of 1st Embodiment, it attaches | subjects the same code | symbol about the same part, and abbreviate | omits the detailed description.
本実施形態では、情報提供条件として、プレイヤの体の所定部位の動きが、規定された所定の動作に相当することを用いる点で、第1実施形態と異なる。なお、プレイヤの体の所定部位は、頭部である。本実施形態において、所定の動作とは、落ち着かない様子、慌ただしい様子等、対象オブジェクトを選択するときの通常のプレイヤの頭部の動きとは異なる不安定且つ特異な動きである。 This embodiment is different from the first embodiment in that the movement of a predetermined part of the player's body corresponds to a prescribed predetermined action as the information providing condition. The predetermined part of the player's body is the head. In the present embodiment, the predetermined action is an unstable and unique movement that is different from the normal movement of the head of the player when selecting the target object, such as a state of calmness or a state of busyness.
ここで、プレイヤの頭部の動きは、プレイヤの頭部の移動速度の平均、プレイヤの頭部の移動速度の最大値又は最小値、単位時間あたりの移動方向の転換回数などによって表される。プレイヤの頭部の移動速度は、ゲーム処理装置20の制御部21が特定した頭部の位置及び向きから算出する。提供条件情報32には、プレイヤの頭部の所定の動作について規定されている。具体的には、提供条件情報32には、対象オブジェクトを選択する際のとは異なる特異な頭部の動きについて規定されている。
Here, the movement of the player's head is represented by the average of the moving speed of the player's head, the maximum or minimum value of the moving speed of the player's head, the number of times the moving direction is changed per unit time, and the like. The moving speed of the player's head is calculated from the position and orientation of the head specified by the
図4を参照して、情報提供処理について説明する。また、この処理の終了条件は、ミッションクリア条件が成立したこと、及びミッションクリア前であってゲーム開始時から計時される経過時間が制限時間に達したことのいずれかが成立することである。この処理は、終了条件が成立するまで繰り返される。 The information providing process will be described with reference to FIG. Further, the termination condition of this process is that either the mission clear condition is satisfied, or that the elapsed time measured from the start of the game before reaching the mission reaches the time limit. This process is repeated until the end condition is satisfied.
ゲーム処理装置20の制御部21は、情報提供条件が成立するか否かを判断する(ステップS10)。具体的には、制御部21のゲーム管理部25は、センサ12から入力した検出信号に応じて算出されたプレイヤの頭部の位置及び向きを用いて、例えばプレイヤの頭部の平均移動速度等といった、プレイヤの頭部の動きを算出する。そして、ゲーム管理部25は、提供条件情報32を読み出し、算出したプレイヤの頭部の動きが、提供条件情報32に含まれるプレイヤの頭部についての所定の動作に相当するか否かを判断する。
The
情報提供条件が成立しないと判断した場合(ステップS10において「NO」の場合)、制御部21は、情報提供条件についての判断を繰り返す(ステップS10)。具体的には、制御部21のゲーム管理部25は、算出したプレイヤの頭部の動きが、提供条件情報32に含まれる所定の動作に相当しないとき、情報提供条件が成立しないと判断して、ステップS10の判断を繰り返す。
When it is determined that the information providing condition is not satisfied (in the case of “NO” in step S10), the
一方、情報提供条件が成立したと判断した場合(ステップS10において「YES」の場合)、制御部21は、情報提供を実行する(ステップS11)。具体的には、制御部21のゲーム管理部25は、算出したプレイヤの頭部の動きが、提供条件情報32に含まれる所定の動作に相当する場合、情報提供条件が成立したと判断して、情報提供を実行する。
On the other hand, when it is determined that the information provision condition is satisfied (in the case of “YES” in step S10), the
以上説明したように、第4実施形態によれば、第1の実施形態に記載した効果に加えて、以下に列挙する効果が得られるようになる。
(7)上記第4実施形態では、情報提供条件は、プレイヤの頭部の動きが、記憶部22に記録された所定の動作に相当することである。これにより、プレイヤが迷っている場合等に情報提供条件が成立するので、適切なタイミングで情報提供を実行することができる。
As described above, according to the fourth embodiment, in addition to the effects described in the first embodiment, the effects listed below can be obtained.
(7) In the fourth embodiment, the information providing condition is that the movement of the player's head corresponds to a predetermined action recorded in the
なお、上記各実施形態は、以下のように適宜変更して実施することもできる。
・上記各実施形態では、ゲーム可能領域は、全ての対象オブジェクトが含まれる領域としたが、少なくともミッションクリアのための所定数の対象オブジェクトが含まれている領域であればよい。
In addition, each said embodiment can also be suitably changed and implemented as follows.
In each of the above embodiments, the game possible area is an area that includes all target objects, but may be an area that includes at least a predetermined number of target objects for mission clear.
・上記各実施形態では、オブジェクトには、選択可能な対象オブジェクトと、選択不可能なオブジェクトとがあるとしたが、仮想空間内に表示されるオブジェクトを全て選択可能なオブジェクトとしてもよい。 In each of the above embodiments, the object includes a selectable target object and a non-selectable object. However, all objects displayed in the virtual space may be selectable objects.
・上記各実施形態では、ゲームのミッションクリア条件を、ゲームの制限時間内に、選択が完了した対象オブジェクトが所定数存在することとしたが、これ以外の条件であってもよい。例えば、対象オブジェクトを選択するタイミングが予め設定されたタイミングと合致すること、同じ対象オブジェクトを所定回数選択すること等であってもよい。 In each of the above embodiments, the game mission clear condition is that a predetermined number of target objects have been selected within the time limit of the game, but other conditions may be used. For example, the timing for selecting the target object may coincide with a preset timing, or the same target object may be selected a predetermined number of times.
・上記第1実施形態では、情報提供表示111を、移動体である鳥が保持する紙として表示し、この紙も移動体に合わせて移動させた。これ以外に、情報提供表示111を、例えば、鳥以外の移動体であって、飛行機等の乗り物、蝶々等の生物、落ち葉等、仮想空間を移動する移動体としてもよい。また、それらの移動体自体にゲームの進行に関するヒントが書かれていたり、それらの移動体が情報提供表示111を保持していたりしてもよい。また、仮想空間内を落下する紙を移動体とし、その紙にヒントを表示してもよい。
In the first embodiment, the
・上記第1実施形態では、情報提供表示111は、経過時間が一定時間を超えないと表示されないようにした。これ以外に、情報提供表示111を、単に注視位置がゲーム可能領域外となったときに表示してもよい。
In the first embodiment, the
・上記第2実施形態では、対象オブジェクトの選択が完了しない状態でプレイヤの注視位置がゲーム可能領域外となったことを条件に、情報提供表示111を表示した。これ以外に、対象オブジェクトの選択が完了しない状態で、プレイヤの注視位置が、ゲーム可能領域内であっても対象オブジェクト外となった場合に、情報提供表示111を表示するようにしてもよい。
In the second embodiment, the
・上記第3実施形態では、頭部の動きの範囲を、3つの回転方向で表したが、これ以外の変数で表されてもよい。例えば、頭部の動きの範囲は、プレイヤが水平方向を向いたときの頭部の位置及び向きを基準として、「左側に90°、右側に90°」、「上側に30°、下側に30°」のように表してもよい。 In the third embodiment, the range of head movement is represented by three rotational directions, but may be represented by other variables. For example, the range of movement of the head is based on the position and orientation of the head when the player faces the horizontal direction, “90 ° on the left side, 90 ° on the right side”, “30 ° on the upper side, and on the lower side. It may be expressed as “30 °”.
・上記第3実施形態では、プレイヤの頭部の動きの範囲が、少なくとも一つの回転方向について基準範囲外となる場合には、頭部の動きの範囲が基準範囲外であると判断した。これ以外に、プレイヤの頭部の動きの範囲が、全ての回転方向について基準範囲外となる場合に、頭部の動きの範囲が基準範囲外であると判断してもよい。 In the third embodiment, when the range of movement of the player's head is outside the reference range with respect to at least one rotation direction, it is determined that the range of movement of the head is outside the reference range. In addition to this, when the range of movement of the head of the player is out of the reference range in all rotation directions, it may be determined that the range of movement of the head is out of the reference range.
・第3実施形態では、情報提供条件を、プレイヤの頭部の動きの範囲が、対象オブジェクトを選択するときの基準的な頭部の動きの範囲外となることとした。第4実施形態では、情報提供条件を、プレイヤの頭部の動きが、規定された所定の動作に相当することとした。これらの情報提供条件の「頭部の動き」を「注視位置」に代えてもよい。すなわち、第3実施形態の情報提供条件を、注視位置の動きの範囲が、対象オブジェクトを選択するときの基準的な注視位置の動きの範囲外となることとしてもよい。第4実施形態の情報提供条件を、注視位置の動きが、規定された所定の動作に相当することとしてもよい。 In the third embodiment, the information provision condition is that the range of the head movement of the player is outside the standard range of head movement when selecting the target object. In the fourth embodiment, the information providing condition is that the movement of the player's head corresponds to the prescribed predetermined action. “Head movement” in these information provision conditions may be replaced with “gaze position”. That is, the information providing condition of the third embodiment may be such that the range of movement of the gaze position is outside the range of movement of the reference gaze position when selecting the target object. The information providing condition of the fourth embodiment may be such that the movement of the gaze position corresponds to a prescribed predetermined operation.
・上記各実施形態では、情報提供として、ゲームに関するヒントの表示を行なうようにしたが、これ以外の情報を提供するようにしてもよい。例えば、メニュー項目、得点、キャラクタの状態、ゲームを続行可能な残り時間、ゲームの進行ステージ等の情報を提供してもよい。 In each of the above-described embodiments, hints relating to the game are displayed as information provision. However, other information may be provided. For example, information such as a menu item, a score, a character state, a remaining time during which the game can be continued, and a game progress stage may be provided.
・上記第1実施形態の情報提供条件又は上記第2実施形態の情報提供条件に、上記第3実施形態の情報提供条件である「ミッションをクリアする前において、頭部の動きが含まれる範囲が、基準範囲外となること」を加えてもよい。或いは、上記第1実施形態の情報提供条件又は上記第2実施形態の情報提供条件に、上記第4実施形態の情報提供条件である「頭部の動きが、所定の動作に相当すること」を加えてもよい。或いは、上記第1実施形態の情報提供条件又は上記第2実施形態の情報提供条件に、上記第3実施形態の情報提供条件及び上記第4実施形態の情報提供条件の両方を加えてもよい。このようにしても、仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。 The information provision condition of the first embodiment or the information provision condition of the second embodiment is the information provision condition of the third embodiment, “the range in which the head movement is included before the mission is cleared. "Being out of the reference range" may be added. Alternatively, the information providing condition of the first embodiment or the information providing condition of the second embodiment is that the information providing condition of the fourth embodiment is “the movement of the head corresponds to a predetermined movement”. May be added. Alternatively, both the information provision condition of the third embodiment and the information provision condition of the fourth embodiment may be added to the information provision condition of the first embodiment or the information provision condition of the second embodiment. Even in this case, it is possible to provide information while suppressing loss of immersive feeling in the virtual space.
・上記各実施形態では、ディスプレイ14に情報提供表示を出力することにより情報提供を行なった。これ以外に、情報提供条件が成立したときに、ヒント内容についての音声、注意喚起音等により情報提供を行なってもよい。
In the above embodiments, information is provided by outputting an information provision display on the
・HMD制御部11が、センサ12の検出信号に基づき、頭部の位置及び向きを算出するようにしてもよい。このように、上記各実施形態に記載したゲーム処理装置20の機能の一部を、HMD10にもたせることも可能である。
The HMD control unit 11 may calculate the position and orientation of the head based on the detection signal of the
・上記各実施形態では、プレイヤの注視位置を、プレイヤの頭部の位置及び向きに基づき算出したが、例えば、瞳孔の位置に基づいて視線方向を算出し、その視線方向から注視位置を特定するようにしてもよい。また、例えば鼻の位置や向き、または口の位置や向きに基づいて視線方向を算出し、その視線方向から注視位置を特定するようにしてもよい。なお、鼻や口の向きは、例えば後頭部から鼻または口へ向かう方向として定めてもよい。 In each of the above embodiments, the gaze position of the player is calculated based on the position and orientation of the player's head. For example, the gaze direction is calculated based on the position of the pupil, and the gaze position is specified from the gaze direction. You may do it. Further, for example, the gaze direction may be calculated based on the position and direction of the nose or the position and direction of the mouth, and the gaze position may be specified from the gaze direction. Note that the direction of the nose and mouth may be determined as a direction from the back of the head toward the nose or mouth, for example.
・上記各実施形態では、仮想画像表示装置をゲーム処理装置に具体化したが、仮想画像表示装置を他の用途のバーチャルリアリティシステムに適用してもよい。例えば、運転や職業訓練等の各種シミュレーション、医療等におけるトレーニング、製品のモニター、映画や音楽の鑑賞等に適用してもよい。仮想画像表示装置をゲーム以外の用途のバーチャルリアリティシステムに適用しても、プレイヤ(ユーザ)の仮想空間への没入感の喪失を抑制しながら情報提供を行なうことができる。
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
〔a〕情報提供条件と提供情報とを記録した記憶部及び制御部を備えた仮想画像表示装置と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、画像を表示するディスプレイとを用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示プログラムであって、
前記制御部を、
仮想空間の画像を、前記プレイヤの体の所定部位の位置及び向きに応じて前記ディスプレイに表示する空間画像出力部と、
前記プレイヤの体の所定部位の位置及び向きに関する前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部として機能させることを特徴とする仮想画像表示プログラム。
[b]前記仮想空間には、前記プレイヤの注視によって選択可能な対象オブジェクトが含まれ、
前記記憶部には、前記対象オブジェクトを含む領域が記録され、
前記情報提供条件として、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置が前記領域から外れたことを含み、
前記制御部は、前記プレイヤの注視位置が前記領域から外れた場合に前記提供情報を出力する[a]に記載の仮想画像表示プログラム。
[c]前記仮想空間には、前記プレイヤの注視によって選択可能な対象オブジェクトが含まれ、
前記情報提供条件として、前記プレイヤの体の所定部位の位置及び向きから特定された注視位置が、前記対象オブジェクトの選択が完了しない状態で当該対象オブジェクト外へ移動したことを含み、
前記制御部は、前記プレイヤの注視位置が前記対象オブジェクトの選択が完了しない状態で当該対象オブジェクト外へ移動した場合に前記提供情報を出力する[a]又は[b]に記載の仮想画像表示プログラム。
[d]前記記憶部には、前記情報提供条件として前記プレイヤの体の所定部位の動きに関する基準範囲が記録され、
前記情報提供条件として、前記プレイヤの体の所定部位の動きが前記基準範囲から外れることを含み、
前記制御部は、前記プレイヤの体の所定部位の動きが、前記基準範囲から外れた場合に前記提供情報を出力する[a]〜[c]のいずれか1項に記載の仮想画像表示プログラム。
[e]前記記憶部には、前記プレイヤの体の所定部位の所定の動作が記録され、
前記情報提供条件として、前記プレイヤの体の所定部位の動きが前記記憶部に記録された所定の動作に相当することを含み、
前記制御部は、前記プレイヤの体の所定部位の動きが、前記所定の動作に相当した場合に前記提供情報を出力する[a]〜[d]のいずれか1項に記載の仮想画像表示プログラム。
[f]前記情報提供部は、前記仮想空間内のオブジェクト上に前記提供情報を表示する[a]〜[e]のいずれか1項に記載の仮想画像表示プログラム。
[g]前記情報提供部は、前記仮想空間内のオブジェクトであって前記仮想空間内を移動する移動体の移動方向に前記提供情報を表示する[a]〜[f]のいずれか1項に記載の仮想画像表示プログラム。
[h]プレイヤの体の所定部位の位置及び向きを特定するための検出装置及び画像を表示するディスプレイを用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示装置であって、
情報提供条件と提供情報とを記録した記憶部と、
仮想空間の画像を、前記プレイヤの体の所定部位の位置及び向きに応じて前記ディスプレイに表示する空間画像出力部と、
前記プレイヤの体の所定部位の位置及び向きの動きに関する前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部とを備えることを特徴とする仮想画像表示装置。
[i]情報提供条件と提供情報とを記録した記憶部及び制御部を備えた仮想画像表示装置と、プレイヤの体の所定部位の位置及び向きを特定するための検出装置と、画像を表示するディスプレイとを用いて、仮想空間の画像を前記ディスプレイに表示するための仮想画像表示方法であって、
前記制御部が、
仮想空間の画像を、前記プレイヤの体の所定部位の位置及び向きに応じて前記ディスプレイに表示し、
前記プレイヤの体の所定部位の位置及び向きに関する前記情報提供条件が満たされた場合、前記提供情報を出力することを特徴とする仮想画像表示方法。
In each of the above embodiments, the virtual image display device is embodied as a game processing device, but the virtual image display device may be applied to a virtual reality system for other purposes. For example, the present invention may be applied to various simulations such as driving and vocational training, medical training, product monitoring, movie and music appreciation, and the like. Even if the virtual image display device is applied to a virtual reality system for uses other than games, information can be provided while suppressing loss of the immersive feeling of the player (user) in the virtual space.
Next, technical ideas that can be grasped from the above-described embodiment and other examples will be described below together with their effects.
[A] A virtual image display device including a storage unit and a control unit that record information provision conditions and provision information, a detection device for specifying the position and orientation of a predetermined part of the player's body, and an image are displayed A virtual image display program for displaying an image of a virtual space on the display using a display,
The control unit
A spatial image output unit that displays an image of the virtual space on the display in accordance with the position and orientation of a predetermined part of the player's body;
A virtual image display program that functions as an information providing unit that outputs the provided information when the information providing conditions regarding the position and orientation of a predetermined part of the player's body are satisfied.
[B] The virtual space includes a target object that can be selected by gaze of the player,
In the storage unit, an area including the target object is recorded,
The information providing condition includes that the gaze position specified from the position and orientation of the predetermined part of the player's body is out of the area,
The virtual image display program according to [a], wherein the control unit outputs the provision information when the gaze position of the player is out of the area.
[C] The virtual space includes a target object that can be selected by gaze of the player,
The information providing condition includes that the gaze position specified from the position and orientation of the predetermined part of the player's body has moved out of the target object without completing the selection of the target object,
The virtual image display program according to [a] or [b], wherein the control unit outputs the provision information when the gaze position of the player moves outside the target object in a state where selection of the target object is not completed. .
[D] In the storage unit, a reference range relating to a movement of a predetermined part of the player's body is recorded as the information providing condition,
The information providing condition includes that a movement of a predetermined part of the player's body deviates from the reference range,
The virtual image display program according to any one of [a] to [c], wherein the control unit outputs the provision information when a movement of a predetermined part of the body of the player is out of the reference range.
[E] A predetermined motion of a predetermined part of the player's body is recorded in the storage unit,
The information providing condition includes that a movement of a predetermined part of the body of the player corresponds to a predetermined action recorded in the storage unit,
The virtual image display program according to any one of [a] to [d], wherein the control unit outputs the provision information when a movement of a predetermined part of the player's body corresponds to the predetermined action. .
[F] The virtual image display program according to any one of [a] to [e], wherein the information providing unit displays the provided information on an object in the virtual space.
[G] In any one of [a] to [f], the information providing unit displays the provision information in a moving direction of an object in the virtual space that moves in the virtual space. The virtual image display program described.
[H] A virtual image display device for displaying an image of a virtual space on the display using a detection device for specifying the position and orientation of a predetermined part of the player's body and a display for displaying an image,
A storage unit that records information provision conditions and provision information;
A spatial image output unit that displays an image of the virtual space on the display in accordance with the position and orientation of a predetermined part of the player's body;
A virtual image display device comprising: an information providing unit configured to output the provision information when the information provision conditions regarding the movement of the position and orientation of a predetermined part of the player's body are satisfied.
[I] A virtual image display device including a storage unit and a control unit that record information provision conditions and provision information, a detection device for specifying the position and orientation of a predetermined part of the player's body, and an image are displayed. A virtual image display method for displaying an image of a virtual space on the display using a display,
The control unit is
An image of the virtual space is displayed on the display according to the position and orientation of a predetermined part of the player's body,
A virtual image display method characterized in that the provision information is output when the information provision conditions regarding the position and orientation of a predetermined part of the player's body are satisfied.
10…HMD、11…HMD制御部、12…トラッキングセンサ、13…入出力I/F部、14…ディスプレイ、15…スピーカ、20…ゲーム処理装置、21…制御部、22…記憶部、23…入出力部、24…注視位置特定部、25…ゲーム管理部、26…空間画像出力部、27…情報提供部、30…仮想空間画像情報、31…オブジェクト情報、32…提供条件情報、33…注視位置情報、34…注視時間情報、35…提供情報。
DESCRIPTION OF
Claims (8)
前記制御部を、
仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示する空間画像出力部と、
前記仮想空間の画像を前記ディスプレイに表示しているときに、前記プレイヤの頭部の向きが、規定された基準範囲から外れる場合に、前記情報提供条件が満たされたと判定する判定部と、
前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部として機能させる、仮想画像表示プログラム。 Using a storage unit that records information provision conditions and provision information, a virtual image display unit that includes a control unit, a detection device for specifying the orientation of the player's head, and a display that displays an image, A virtual image display program for displaying an image of a virtual space on the display,
The control unit
A spatial image output unit for displaying an image of the virtual space on the display according to the orientation of the head of the player;
A determination unit that determines that the information providing condition is satisfied when the orientation of the head of the player is out of a specified reference range when displaying an image of the virtual space on the display;
A virtual image display program that functions as an information providing unit that outputs the provision information when the information provision condition is satisfied.
前記情報提供条件として、前記プレイヤの頭部の動作が前記記憶部に記録された所定の動作に相当することを含み、
前記制御部は、前記プレイヤの頭部の動作が前記所定の動作に相当した場合に、前記提供情報を出力する請求項1に記載の仮想画像表示プログラム。 In the storage unit, a predetermined motion of the player's head is recorded,
The information providing condition includes that the action of the head of the player corresponds to a predetermined action recorded in the storage unit;
The virtual image display program according to claim 1, wherein the control unit outputs the provision information when an action of the head of the player corresponds to the predetermined action.
前記判定部は、前記プレイヤの頭部の向きが、前記規定された回転角度の範囲のうち複数の範囲から外れる場合に、前記情報提供条件が満たされたと判定する、請求項1〜4のいずれか1項に記載の仮想画像表示プログラム。 The reference range defines a range of rotation angles along different directions,
5. The determination unit according to claim 1, wherein the determination unit determines that the information providing condition is satisfied when a direction of the head of the player deviates from a plurality of ranges of the specified rotation angle range. The virtual image display program according to claim 1.
仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示する空間画像出力部と、
前記仮想空間の画像を前記ディスプレイに表示しているときに、前記プレイヤの頭部の向きが、規定された基準範囲から外れる場合に、前記情報提供条件が満たされたと判定する判定部と、
前記情報提供条件が満たされた場合、前記提供情報を出力する情報提供部とを備える、仮想画像表示装置。 An image of the virtual space is displayed on the display using a detection device for specifying the orientation of the head of the player, a display that displays an image, and a storage unit that records information provision conditions and provision information. A virtual image display device for
A spatial image output unit for displaying an image of the virtual space on the display according to the orientation of the head of the player;
A determination unit that determines that the information providing condition is satisfied when the orientation of the head of the player is out of a specified reference range when displaying an image of the virtual space on the display;
A virtual image display device comprising: an information providing unit that outputs the provision information when the information provision condition is satisfied.
前記制御部が、
仮想空間の画像を、前記プレイヤの頭部の向きに応じて前記ディスプレイに表示し、
前記仮想空間の画像を前記ディスプレイに表示しているときに、前記プレイヤの頭部の向きが、規定された基準範囲から外れる場合に、前記情報提供条件が満たされたと判定し、
前記情報提供条件が満たされた場合、前記提供情報を出力することを特徴とする仮想画像表示方法。 Using a storage unit that records information provision conditions and provision information, a virtual image display unit that includes a control unit, a detection device for specifying the orientation of the player's head, and a display that displays an image, A virtual image display method for displaying an image of a virtual space on the display,
The control unit is
An image of the virtual space is displayed on the display according to the orientation of the player's head,
When the image of the virtual space is displayed on the display and the orientation of the player's head is out of a specified reference range, it is determined that the information providing condition is satisfied,
The virtual image display method, wherein the provision information is output when the information provision condition is satisfied.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018168549A JP6659789B2 (en) | 2018-09-10 | 2018-09-10 | Virtual image display program, virtual image display device, and virtual image display method |
JP2020018652A JP6938696B2 (en) | 2018-09-10 | 2020-02-06 | Virtual image display program, virtual image display system and virtual image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018168549A JP6659789B2 (en) | 2018-09-10 | 2018-09-10 | Virtual image display program, virtual image display device, and virtual image display method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015183379A Division JP6404196B2 (en) | 2015-09-16 | 2015-09-16 | Virtual image display program, virtual image display device, and virtual image display method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020018652A Division JP6938696B2 (en) | 2018-09-10 | 2020-02-06 | Virtual image display program, virtual image display system and virtual image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019012551A true JP2019012551A (en) | 2019-01-24 |
JP6659789B2 JP6659789B2 (en) | 2020-03-04 |
Family
ID=65227387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018168549A Active JP6659789B2 (en) | 2018-09-10 | 2018-09-10 | Virtual image display program, virtual image display device, and virtual image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6659789B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020096878A (en) * | 2018-09-10 | 2020-06-25 | グリー株式会社 | Virtual image display program, virtual image display system, and virtual image display method |
US11311798B2 (en) | 2015-09-16 | 2022-04-26 | Gree, Inc. | Virtual image display program, virtual image display apparatus, and virtual image display method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005038008A (en) * | 2003-07-15 | 2005-02-10 | Canon Inc | Image processing method, image processor |
JP2011150631A (en) * | 2010-01-25 | 2011-08-04 | Konami Digital Entertainment Co Ltd | Display controller, visual line guidance method, and program |
JP2012063253A (en) * | 2010-09-16 | 2012-03-29 | Olympus Corp | Image generation system, program, and information storage medium |
JP2013083731A (en) * | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | Image display system |
JP2014187574A (en) * | 2013-03-25 | 2014-10-02 | Seiko Epson Corp | Head-mounted display device and control method therefor |
WO2014197231A2 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment Inc. | Switching mode of operation in a head mounted display |
-
2018
- 2018-09-10 JP JP2018168549A patent/JP6659789B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005038008A (en) * | 2003-07-15 | 2005-02-10 | Canon Inc | Image processing method, image processor |
JP2011150631A (en) * | 2010-01-25 | 2011-08-04 | Konami Digital Entertainment Co Ltd | Display controller, visual line guidance method, and program |
JP2012063253A (en) * | 2010-09-16 | 2012-03-29 | Olympus Corp | Image generation system, program, and information storage medium |
JP2013083731A (en) * | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | Image display system |
JP2014187574A (en) * | 2013-03-25 | 2014-10-02 | Seiko Epson Corp | Head-mounted display device and control method therefor |
WO2014197231A2 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment Inc. | Switching mode of operation in a head mounted display |
Non-Patent Citations (1)
Title |
---|
大野健彦: ""視線を利用したウインドウ操作環境"", 電子情報通信学会技術研究報告, vol. 第99巻, 第291号, JPN6019034889, 13 September 1999 (1999-09-13), JP, pages 17 - 24, ISSN: 0004111197 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11311798B2 (en) | 2015-09-16 | 2022-04-26 | Gree, Inc. | Virtual image display program, virtual image display apparatus, and virtual image display method |
US11896897B2 (en) | 2015-09-16 | 2024-02-13 | Gree, Inc. | Virtual image display program, virtual image display apparatus, and virtual image display method |
JP2020096878A (en) * | 2018-09-10 | 2020-06-25 | グリー株式会社 | Virtual image display program, virtual image display system, and virtual image display method |
Also Published As
Publication number | Publication date |
---|---|
JP6659789B2 (en) | 2020-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6404196B2 (en) | Virtual image display program, virtual image display device, and virtual image display method | |
JP6401841B1 (en) | Information processing method, computer, and program | |
JP6093473B1 (en) | Information processing method and program for causing computer to execute information processing method | |
US12011665B2 (en) | Game processing system, method of processing game, and storage medium storing program for processing game | |
US11644893B2 (en) | Application processing system, method of processing application, and storage medium storing program for processing application | |
JP6181842B1 (en) | Application control program, application control method, and application control system | |
JP6659789B2 (en) | Virtual image display program, virtual image display device, and virtual image display method | |
KR102160669B1 (en) | Medical communication virtual training simulation system and method | |
JP2023033300A (en) | Virtual image display program, virtual image display system and virtual image display method | |
EP3352052A1 (en) | Line-of-sight-based control device and medical device | |
JP6938696B2 (en) | Virtual image display program, virtual image display system and virtual image display method | |
JP6560074B2 (en) | GAME PROCESSING PROGRAM, GAME PROCESSING DEVICE, AND GAME PROCESSING METHOD | |
JP2018185824A (en) | Application control program, application control method, and application control system | |
JP6815373B2 (en) | Game processing system, game processing method, and game processing program | |
JP6403843B1 (en) | Information processing method, information processing program, and information processing apparatus | |
JP2018185825A (en) | Application control program, application control method, and application control system | |
JP7402948B2 (en) | Game processing system, game processing method, and game processing program | |
JP6356878B2 (en) | Application control program, application control method, and application control system | |
US20180326308A1 (en) | Game processing program, game processing method, and game processing device | |
JP2019021331A (en) | Information processing method, information processing program and information processing device | |
JP2020014888A (en) | Application control program, application control method, and application control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6659789 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |