JP2017006355A - Program for controlling head-mounted display - Google Patents

Program for controlling head-mounted display Download PDF

Info

Publication number
JP2017006355A
JP2017006355A JP2015124463A JP2015124463A JP2017006355A JP 2017006355 A JP2017006355 A JP 2017006355A JP 2015124463 A JP2015124463 A JP 2015124463A JP 2015124463 A JP2015124463 A JP 2015124463A JP 2017006355 A JP2017006355 A JP 2017006355A
Authority
JP
Japan
Prior art keywords
virtual camera
program
control unit
unit
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015124463A
Other languages
Japanese (ja)
Other versions
JP6448478B2 (en
Inventor
傑 小林
Takashi Kobayashi
傑 小林
秀行 栗原
Hideyuki Kurihara
秀行 栗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2015124463A priority Critical patent/JP6448478B2/en
Publication of JP2017006355A publication Critical patent/JP2017006355A/en
Application granted granted Critical
Publication of JP6448478B2 publication Critical patent/JP6448478B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a more natural expression in a game such as an action game.SOLUTION: A program of the present invention causes a terminal to function as: a virtual camera control unit for controlling a virtual camera disposed in a virtual space according to operation information through an operation unit or a sensor; a display control unit for displaying information on a camera area set for the virtual camera in a head-mounted display; an object control unit for controlling a doll object arranged in the virtual space; and a determination unit for determining whether or not positional relationships between the virtual camera and the doll object are a predetermined distance or less. When it is determined that the positional relationships are the predetermined distance or less in a program such as this, the object control unit controls the posture of the object so that the face part of the doll object keeps facing in the direction of the virtual camera.SELECTED DRAWING: Figure 10

Description

本発明は、ヘッドマウントディスプレイを制御するプログラムに関する。   The present invention relates to a program for controlling a head mounted display.

特許文献1には、遊技者が操作するキャラクタが敵キャラクタを倒していくアクションゲーム等のゲームを実行するゲームプログラムが開示されている。このプログラムは、キャラクタから指向対象物までの距離に応じて指向速度を変更するものである。   Patent Document 1 discloses a game program for executing a game such as an action game in which a character operated by a player defeats an enemy character. This program changes the pointing speed according to the distance from the character to the pointing object.

特開2009−261920号公報JP 2009-261920 A

特許文献1に開示の発明は、指向速度を変更することのみが開示されているに過ぎず、より自然な表現を実現するためには、改善の余地がある。   The invention disclosed in Patent Document 1 only discloses changing the directivity speed, and there is room for improvement in order to realize a more natural expression.

本発明は、アクションゲーム等のゲームにおいて、より自然な表現を提供することを目的とする。   An object of the present invention is to provide a more natural expression in a game such as an action game.

本発明によれば、
操作部と、変位を検出するセンサを備えるヘッドマウントディスプレイとに接続されるコンピュータを、前記ヘッドマウントディスプレイに仮想空間を提供するように機能させるプログラムであって、
少なくとも前記操作部又は前記センサを介した操作情報に応じて、前記仮想空間内に配置された仮想カメラを制御する仮想カメラ制御部、
前記仮想カメラに設定された視線軸及び当該視線軸の周囲を含むカメラ領域の情報を前記ヘッドマウントディスプレイに表示する表示制御部、
前記仮想空間内に配置されたオブジェクトを制御するオブジェクト制御部、
前記仮想カメラと前記オブジェクトとの位置関係が所定条件を満たすか否かを判定する判定部、
として機能させるプログラムにおいて、
前記オブジェクト制御部は、前記所定条件を満たすと判定された場合に、前記オブジェクトの所定の部位が前記仮想カメラの前記視線軸と直交するように前記オブジェクトの動作を制御する、
プログラムが得られる。
According to the present invention,
A program for causing a computer connected to an operation unit and a head mounted display including a sensor for detecting displacement to function to provide a virtual space for the head mounted display,
A virtual camera control unit that controls a virtual camera disposed in the virtual space according to operation information via at least the operation unit or the sensor;
A display control unit for displaying information on a visual axis set in the virtual camera and information on a camera area including the periphery of the visual axis on the head-mounted display;
An object control unit for controlling an object arranged in the virtual space;
A determination unit that determines whether a positional relationship between the virtual camera and the object satisfies a predetermined condition;
In the program that functions as
The object control unit, when it is determined that the predetermined condition is satisfied, controls the movement of the object so that a predetermined part of the object is orthogonal to the visual axis of the virtual camera.
A program is obtained.

また、本発明によれば、
操作部と、変位を検出するセンサを備えるヘッドマウントディスプレイとに接続されるコンピュータを、前記ヘッドマウントディスプレイに仮想空間を提供するように機能させるプログラムであって、
少なくとも前記操作部又は前記センサを介した操作情報に応じて、前記仮想空間内に配置された仮想カメラを制御する仮想カメラ制御部、
前記仮想カメラに設定されたカメラ領域の情報を前記ヘッドマウントディスプレイに表示する表示制御部、
前記仮想空間内に配置された人形オブジェクトを制御するオブジェクト制御部、
前記仮想カメラと前記人形オブジェクトとの位置関係が所定距離以下であるか否かを判定する判定部、
として機能させるプログラムにおいて、
前記オブジェクト制御部は、前記位置関係が所定距離以下であると判定された場合に、前記人形オブジェクトの顔部分が前記仮想カメラの方向に向き続けるように前記オブジェクトの姿態を制御する、
プログラムが得られる。
Moreover, according to the present invention,
A program for causing a computer connected to an operation unit and a head mounted display including a sensor for detecting displacement to function to provide a virtual space for the head mounted display,
A virtual camera control unit that controls a virtual camera disposed in the virtual space according to operation information via at least the operation unit or the sensor;
A display control unit for displaying information on a camera area set in the virtual camera on the head mounted display;
An object control unit for controlling a doll object arranged in the virtual space;
A determination unit that determines whether a positional relationship between the virtual camera and the doll object is equal to or less than a predetermined distance;
In the program that functions as
The object control unit, when it is determined that the positional relationship is equal to or less than a predetermined distance, controls the appearance of the object so that the face portion of the doll object continues to face in the direction of the virtual camera,
A program is obtained.

本発明によれば、アクションゲーム等のゲームにおいて、より自然な表現を提供することができる。   According to the present invention, a more natural expression can be provided in a game such as an action game.

本発明の実施形態によるHMDシステムを示す図である。1 is a diagram illustrating an HMD system according to an embodiment of the present invention. HMDを装着しているユーザの頭部を中心に規定される3次元空間上の直交座標系を示す。An orthogonal coordinate system in a three-dimensional space defined around the head of a user wearing an HMD is shown. 仮想空間と実空間の配置位置の対応関係の一例を示すXYZ空間図である。It is an XYZ space figure which shows an example of the correspondence of the arrangement position of virtual space and real space. 仮想空間と実空間の配置位置の対応関係の一例を示すXZ平面図である。It is a XZ top view which shows an example of the correspondence of the arrangement position of virtual space and real space. HMDシステムの機能を実現するための、制御回路部の機能を示すブロック図である。It is a block diagram which shows the function of the control circuit part for implement | achieving the function of a HMD system. 視界領域を示す3次元の模式図である。It is a three-dimensional schematic diagram which shows a visual field area | region. 視界領域をX方向から見たYZ面図である。It is the YZ plane view which looked at the visual field area from the X direction. 視界領域をY方向から見たXZ面図である。It is the XZ plane figure which looked at the visual field area from the Y direction. 図4に示すオブジェクト制御部の機能を説明するブロック図である。It is a block diagram explaining the function of the object control part shown in FIG. HMDシステムの機能を実現するための処理を示すフローチャートである。It is a flowchart which shows the process for implement | achieving the function of a HMD system. HMDに表示される視界画像の一例を示す図である。It is a figure which shows an example of the visual field image displayed on HMD. ユーザの入力操作と仮想カメラの移動との関係を示す図である。It is a figure which shows the relationship between a user's input operation and the movement of a virtual camera. HMDに表示される視界画像を模式的に表した図である。It is the figure which represented typically the visual field image displayed on HMD. HMDに表示される視界画像を模式的に表した他の図である。It is the other figure which expressed typically the field-of-view image displayed on HMD.

[本発明の実施形態の説明]
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態によるヘッドマウントディスプレイを制御するプログラム、システム、及び方法は、以下のような構成を備える。
(項目1)
操作部と、変位を検出するセンサを備えるヘッドマウントディスプレイとに接続されるコンピュータを、前記ヘッドマウントディスプレイに仮想空間を提供するように機能させるプログラムであって、
少なくとも前記操作部又は前記センサを介した操作情報に応じて、前記仮想空間内に配置された仮想カメラを制御する仮想カメラ制御部、
前記仮想カメラに設定された視線軸及び当該視線軸の周囲を含むカメラ領域の情報を前記ヘッドマウントディスプレイに表示する表示制御部、
前記仮想空間内に配置されたオブジェクトを制御するオブジェクト制御部、
前記仮想カメラと前記オブジェクトとの位置関係が所定条件を満たすか否かを判定する判定部、
として機能させるプログラムにおいて、
前記オブジェクト制御部は、前記所定条件を満たすと判定された場合に、前記オブジェクトの所定の部位が前記仮想カメラの前記視線軸と直交するように前記オブジェクトの動作を制御する、
プログラム。
本発明によれば、ユーザが近寄った時にオブジェクトが振り向くような動作が可能となり、より自然な表現を提供できる。
(項目2)
項目1に記載のプログラムであって、
前記オブジェクト制御部は、更に、前記オブジェクトを所定方向に向けて移動するように制御する、
プログラム。
本発明によれば、ユーザが近寄った時にオブジェクトが振り向くような動作が可能となり、より自然な表現を提供できる。
(項目3)
項目2に記載のプログラムであって、
前記オブジェクト制御部は、前記オブジェクトの前記移動が行われている間であって且つ前記所定条件を満たすと判定された場合に、前記オブジェクトの所定の部位が、前記仮想カメラの前記視線軸と直交し続けるように前記オブジェクトの動作を制御する、
プログラム。
本発明によれば、オブジェクトが移動するようなときであっても、ユーザを注視し続ける動作が可能になるため、より自然な表現を提供できる。
(項目4)
請求項2又は請求項3に記載のプログラムであって、
前記オブジェクト制御部は、前記オブジェクトの前記移動が行われている間であって且つ前記所定条件を満たすと判定され更に前記仮想カメラが移動された場合に、前記オブジェクトの所定の部位が、移動された前記仮想カメラの前記視線軸と直交し続けるように前記オブジェクトの動作を制御する、
プログラム。
本発明によれば、オブジェクトが移動するようなときであっても、ユーザを注視し続ける動作が可能になるため、より自然な表現を提供できる。
(項目5)
項目1乃至項目4のいずれかに記載のプログラムであって、
前記位置関係は、前記仮想カメラと前記オブジェクトとの直線距離である、
プログラム。
本発明によれば、簡単な検知方法で、自然な表現を提供できる。
(項目6)
操作部と、変位を検出するセンサを備えるヘッドマウントディスプレイとに接続されるコンピュータを、前記ヘッドマウントディスプレイに仮想空間を提供するように機能させるプログラムであって、
少なくとも前記操作部又は前記センサを介した操作情報に応じて、前記仮想空間内に配置された仮想カメラを制御する仮想カメラ制御部、
前記仮想カメラに設定されたカメラ領域の情報を前記ヘッドマウントディスプレイに表示する表示制御部、
前記仮想空間内に配置された人形オブジェクトを制御するオブジェクト制御部、
前記仮想カメラと前記人形オブジェクトとの位置関係が所定距離以下であるか否かを判定する判定部、
として機能させるプログラムにおいて、
前記オブジェクト制御部は、前記位置関係が所定距離以下であると判定された場合に、前記人形オブジェクトの顔部分が前記仮想カメラの方向に向き続けるように前記オブジェクトの姿態を制御する、
プログラム。
本発明によれば、ユーザが近寄った時にオブジェクトが振り向くような動作が可能となり、より自然な表現を提供できる。
[Description of Embodiment of the Present Invention]
First, the contents of the embodiment of the present invention will be listed and described. A program, system, and method for controlling a head mounted display according to an embodiment of the present invention have the following configurations.
(Item 1)
A program for causing a computer connected to an operation unit and a head mounted display including a sensor for detecting displacement to function to provide a virtual space for the head mounted display,
A virtual camera control unit that controls a virtual camera disposed in the virtual space according to operation information via at least the operation unit or the sensor;
A display control unit for displaying information on a visual axis set in the virtual camera and information on a camera area including the periphery of the visual axis on the head-mounted display;
An object control unit for controlling an object arranged in the virtual space;
A determination unit that determines whether a positional relationship between the virtual camera and the object satisfies a predetermined condition;
In the program that functions as
The object control unit, when it is determined that the predetermined condition is satisfied, controls the movement of the object so that a predetermined part of the object is orthogonal to the visual axis of the virtual camera.
program.
According to the present invention, an operation in which an object turns around when a user approaches is possible, and a more natural expression can be provided.
(Item 2)
The program according to item 1, wherein
The object control unit further controls to move the object in a predetermined direction.
program.
According to the present invention, an operation in which an object turns around when a user approaches is possible, and a more natural expression can be provided.
(Item 3)
The program according to item 2,
When the object control unit determines that the predetermined condition is satisfied while the movement of the object is being performed, the predetermined part of the object is orthogonal to the visual axis of the virtual camera. Control the movement of the object to continue,
program.
According to the present invention, even when the object moves, an operation that keeps watching the user is possible, so that a more natural expression can be provided.
(Item 4)
A program according to claim 2 or claim 3, wherein
The object control unit moves the predetermined part of the object while the movement of the object is being performed and when it is determined that the predetermined condition is satisfied and the virtual camera is further moved. And controlling the movement of the object so as to continue orthogonal to the visual axis of the virtual camera.
program.
According to the present invention, even when the object moves, an operation that keeps watching the user is possible, so that a more natural expression can be provided.
(Item 5)
The program according to any one of Items 1 to 4,
The positional relationship is a linear distance between the virtual camera and the object.
program.
According to the present invention, a natural expression can be provided by a simple detection method.
(Item 6)
A program for causing a computer connected to an operation unit and a head mounted display including a sensor for detecting displacement to function to provide a virtual space for the head mounted display,
A virtual camera control unit that controls a virtual camera disposed in the virtual space according to operation information via at least the operation unit or the sensor;
A display control unit for displaying information on a camera area set in the virtual camera on the head mounted display;
An object control unit for controlling a doll object arranged in the virtual space;
A determination unit that determines whether a positional relationship between the virtual camera and the doll object is equal to or less than a predetermined distance;
In the program that functions as
The object control unit, when it is determined that the positional relationship is equal to or less than a predetermined distance, controls the appearance of the object so that the face portion of the doll object continues to face in the direction of the virtual camera,
program.
According to the present invention, an operation in which an object turns around when a user approaches is possible, and a more natural expression can be provided.

[本発明の実施形態の詳細]
本発明の実施形態に係るヘッドマウントディスプレイを制御するプログラム、システム、及び方法の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
[Details of the embodiment of the present invention]
Specific examples of a program, a system, and a method for controlling a head mounted display according to an embodiment of the present invention will be described below with reference to the drawings. In addition, this invention is not limited to these illustrations, is shown by the claim, and intends that all the changes within the meaning and range equivalent to the claim are included. In the following description, the same reference numerals are given to the same elements in the description of the drawings, and redundant descriptions are omitted.

図1は、本実施形態にかかるヘッドマウントディスプレイ(以下、「HMD」と称する。)110を備えるHMDシステム100を示す。HMDシステム100は、ユーザの頭部に装着されるHMD110と、制御回路部120と、センサ130と、外部コントローラ140を備える。HMD110は、非透過型の表示装置であるディスプレイ112と、センサ部114を含む。制御回路部120はディスプレイ112に右目用画像と左目用画像を表示することにより、両目の視差を利用した3次元画像を仮想空間として提供する。ディスプレイ112がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。仮想空間は、後述するように、背景やユーザが操作可能な各種オブジェクトを含む。   FIG. 1 shows an HMD system 100 including a head mounted display (hereinafter referred to as “HMD”) 110 according to the present embodiment. The HMD system 100 includes an HMD 110 that is worn on the user's head, a control circuit unit 120, a sensor 130, and an external controller 140. The HMD 110 includes a display 112 that is a non-transmissive display device and a sensor unit 114. The control circuit unit 120 displays a right-eye image and a left-eye image on the display 112, thereby providing a three-dimensional image using parallax between both eyes as a virtual space. By arranging the display 112 in front of the user's eyes, the user can be immersed in the virtual space. The virtual space includes various objects that can be operated by the background and the user, as will be described later.

ディスプレイ112は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、1つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。   The display 112 may include a right-eye sub-display that provides a right-eye image and a left-eye sub-display that provides a left-eye image. Moreover, as long as the image for right eyes and the image for left eyes can be provided, you may be comprised by one display apparatus. For example, the right-eye image and the left-eye image can be provided independently by switching the shutter so that the display image can be recognized by only one eye at high speed.

制御回路部120は、HMD110に接続されるコンピュータであり、ディスプレイ112に仮想空間を提供し、当該仮想空間内に表示される各種オブジェクトを操作するように機能させる。制御回路部120はそのような動作を制御するプログラムを格納する。制御回路部120はHMD110に搭載されていなくてもよく、別のハードウェア(例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ)として構成してもよい。また、制御回路部120は、一部の機能のみをHMD110に実装し、残りの機能を別のハードウェアに実装してもよい。   The control circuit unit 120 is a computer connected to the HMD 110, provides a virtual space to the display 112, and functions to operate various objects displayed in the virtual space. The control circuit unit 120 stores a program for controlling such an operation. The control circuit unit 120 may not be mounted on the HMD 110 and may be configured as another hardware (for example, a known personal computer or a server computer via a network). In addition, the control circuit unit 120 may implement only a part of functions in the HMD 110 and implement the remaining functions in different hardware.

センサ130は、HMD110の位置や動きに関する情報を検出する。センサ130は、センサ部114と、検知部132を含む。センサ部114は、複数の光源を含んでもよい。光源は、例えば赤外線を発するLEDである。検知部132は例えば赤外線センサであり、光源からの赤外線をHMD110の検知点として検知することで、ユーザの動きに応じたHMD110の実空間内における角度に関する情報を経時的に検出する。そして、検知部132により検出された情報の経時的変化に基づいて、HMD110の角度の時間変化を決定し、HMD110の位置や動きに関する情報を検知することができる。   The sensor 130 detects information related to the position and movement of the HMD 110. The sensor 130 includes a sensor unit 114 and a detection unit 132. The sensor unit 114 may include a plurality of light sources. The light source is, for example, an LED that emits infrared rays. The detection unit 132 is, for example, an infrared sensor, and detects information about an angle in the real space of the HMD 110 according to the user's movement by detecting infrared rays from the light source as detection points of the HMD 110 over time. Then, it is possible to determine the time change of the angle of the HMD 110 based on the change with time of the information detected by the detection unit 132, and to detect information regarding the position and movement of the HMD 110.

センサ130によって取得される角度に関する情報を、図2を参照して説明する。HMD110を装着したユーザの頭部を中心として、XYZ座標を規定する。ユーザが直立する垂直方向をY軸とし、Y軸と直交しディスプレイ112の中心とユーザを結ぶ前後方向をZ軸とし、Y軸およびZ軸と直交する横方向をX軸とする。そして各軸周りのHMD110の傾き角度θx(いわゆるピッチ角),θy(いわゆるヨー角),θz(いわゆるロール角)を検出し、それらの経時的な変化により、HMD110の位置や動きに関する情報を検知することができる。   Information regarding the angle acquired by the sensor 130 will be described with reference to FIG. XYZ coordinates are defined around the head of the user wearing the HMD 110. The vertical direction in which the user stands upright is the Y axis, the front-rear direction orthogonal to the Y axis and connecting the center of the display 112 and the user is the Z axis, and the horizontal direction orthogonal to the Y axis and the Z axis is the X axis. Then, the inclination angle θx (so-called pitch angle), θy (so-called yaw angle), and θz (so-called roll angle) of the HMD 110 around each axis are detected, and information on the position and movement of the HMD 110 is detected by their change over time. can do.

センサ130は、ディスプレイ112の近くに固定されたセンサ部114と、検知部132の、一方のみから構成されてもよい。センサ部114が、地磁気センサ、加速度センサ、角速度(ジャイロ)センサであってもよく、これらの少なくとも1つを用いて、ユーザの頭部に装着されたHMD110(特に、ディスプレイ112)の傾きを検出する。これにより、HMD110の位置や動きに関する情報を検出することができる。例えば、角速度センサは、HMD110の動きに応じて、HMD110の3軸回りの角速度を経時的に検出し、各軸回りの角度(傾き)の時間変化を決定することができる。この場合には、検知部132は不要である。また、検知部132は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてHMD110の位置や動きに関する情報を検出することができ、センサ部114は不要である。   The sensor 130 may be configured by only one of the sensor unit 114 fixed near the display 112 and the detection unit 132. The sensor unit 114 may be a geomagnetic sensor, an acceleration sensor, or an angular velocity (gyro) sensor, and the inclination of the HMD 110 (particularly, the display 112) mounted on the user's head is detected using at least one of them. To do. Thereby, the information regarding the position and movement of the HMD 110 can be detected. For example, the angular velocity sensor can detect the angular velocities around the three axes of the HMD 110 over time according to the movement of the HMD 110, and determine the temporal change in the angle (tilt) around each axis. In this case, the detection unit 132 is not necessary. The detection unit 132 may include an optical camera. In this case, information regarding the position and movement of the HMD 110 can be detected based on the image information, and the sensor unit 114 is unnecessary.

センサ130を用いてHMDの位置や動きに関する情報を検出する機能をポジション・トラッキングと称する。センサ130によるポジション・トラッキングと、仮想空間2内に配置される仮想カメラ1との関係を図3A,図3Bを参照して説明する。仮想カメラ1とセンサ130の位置関係を説明するために、以下ではセンサ130の位置は、検知部132を有する場合には検知部132の位置とし、検知部132を有しない場合にはセンサ部114の位置とする。図3Aは実空間内のセンサ130と仮想空間2の関係を示す3次元の模式図であり、図3Bは実空間内のセンサ130と仮想空間2の関係をY方向から見た平面図である。仮想空間2の内部に仮想カメラ1が配置され、および仮想空間2の外部(実空間)にセンサ130が仮想的に配置される。 The function of detecting information related to the position and movement of the HMD using the sensor 130 is referred to as position tracking. The relationship between the position tracking by the sensor 130 and the virtual camera 1 arranged in the virtual space 2 will be described with reference to FIGS. 3A and 3B. In order to describe the positional relationship between the virtual camera 1 and the sensor 130, the position of the sensor 130 is the position of the detection unit 132 when the detection unit 132 is provided, and the sensor unit 114 when the detection unit 132 is not provided. The position of 3A is a three-dimensional schematic diagram showing the relationship between the sensor 130 in the real space and the virtual space 2, and FIG. 3B is a plan view of the relationship between the sensor 130 in the real space and the virtual space 2 as seen from the Y direction. . The virtual camera 1 is disposed inside the virtual space 2, and the sensor 130 is virtually disposed outside the virtual space 2 (real space).

仮想空間2は、略正方形または略長方形の複数のメッシュ3を有する天球状に形成される。各メッシュは仮想空間2の空間情報が関連付けられており、この空間情報に基づいて後述する視界画像が形成される。本実施形態では、図3Bに示すように、XZ面において、天球の中心点21が仮想カメラ1とセンサ130を結ぶ線上に常に配置されるように調整することが好ましい。例えば、HMDを装着したユーザが移動して仮想カメラ1の位置がX方向に移動した場合には、中心21が仮想カメラ1とセンサ130の線分上に位置するように、仮想空間2の領域が変更される。 The virtual space 2 is formed into a celestial sphere having a plurality of meshes 3 that are substantially square or substantially rectangular. Each mesh is associated with spatial information of the virtual space 2, and a visual field image to be described later is formed based on this spatial information. In the present embodiment, as shown in FIG. 3B, it is preferable to adjust so that the center point 21 of the celestial sphere is always arranged on the line connecting the virtual camera 1 and the sensor 130 in the XZ plane. For example, when the user wearing the HMD moves and the position of the virtual camera 1 moves in the X direction, the area of the virtual space 2 so that the center 21 is located on the line segment between the virtual camera 1 and the sensor 130. Is changed.

外部コントローラ140は、制御回路部120に対して各種指令を送ることができるように通信可能なデバイスであり、無線通信が可能な携帯端末で構成されることが好ましい。外部コントローラ140は、互いにバス接続されたCPU、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意の携帯型デバイスとすることができる。例えば、スマートフォン、PDA、タブレット型コンピュータ、ゲーム用コンソール、ノートPCを適用可能であり、タッチパネルを備える携帯端末であることが好ましい。ユーザは、外部コントローラ140のタッチパネルに対し、タップ、スワイプおよびホールドを含む各種タッチ動作を実施することにより、仮想空間に表示されるオブジェクトに対して影響を及ぼすことができる。   The external controller 140 is a device capable of communication so that various commands can be sent to the control circuit unit 120, and is preferably configured by a portable terminal capable of wireless communication. The external controller 140 can be any portable device that includes a CPU, a main memory, an auxiliary memory, a transmission / reception unit, a display unit, and an input unit that are bus-connected to each other. For example, a smartphone, a PDA, a tablet computer, a game console, and a notebook PC can be applied, and a portable terminal including a touch panel is preferable. The user can influence the object displayed in the virtual space by performing various touch operations including tap, swipe, and hold on the touch panel of the external controller 140.

HMDシステム100はいずれかの要素にマイクを含むヘッドホンを備えていても良い。これにより、ユーザは仮想空間内の所定のオブジェクト(後述するゲームオブジェクト等)に、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、HMDシステム100はいずれかの要素にテレビジョン受像機を含んでいても良い。   The HMD system 100 may include headphones including a microphone as any element. Thereby, the user can give a voice instruction to a predetermined object (game object or the like described later) in the virtual space. Further, in order to receive a broadcast of a television program on a virtual television in a virtual space, the HMD system 100 may include a television receiver in any element.

図4は、HMDシステム100における仮想空間2の表示処理や、当該仮想空間2内に表示されるオブジェクトの操作を実現するための、制御回路部120の機能を示す図である。制御回路部120は、主にセンサ130および外部コントローラ140からの入力に基づいて、ディスプレイ112への出力画像を制御する。   FIG. 4 is a diagram illustrating functions of the control circuit unit 120 for realizing display processing of the virtual space 2 in the HMD system 100 and operation of objects displayed in the virtual space 2. The control circuit unit 120 controls an output image to the display 112 mainly based on inputs from the sensor 130 and the external controller 140.

制御回路部120は、表示制御部200とオブジェクト制御部300と、判定部400を備える。表示制御部200は、動き検出部210と、視界決定部220と、視界画像生成部230と、空間情報格納部240を含む。オブジェクト制御部300は、オブジェクト情報格納部310と、仮想カメラ情報格納部320を含む。センサ130と、表示制御部200と、オブジェクト制御部300と、ディスプレイ112は互いに通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。外部コントローラ140は、オブジェクト制御部300と通信可能に接続されている。空間情報格納部240、オブジェクト情報格納部310、および仮想カメラ情報格納部320は、センサ130や外部コントローラ140からの入力に対応した出力情報をディスプレイ112へ提供するための各種テーブルを含む。判定部400は、センサ130や外部コントローラ140からの入力が所定の条件を満たし、各種オブジェクトが所定の条件を満たすように操作されたか否かを判定する。 The control circuit unit 120 includes a display control unit 200, an object control unit 300, and a determination unit 400. The display control unit 200 includes a motion detection unit 210, a visual field determination unit 220, a visual field image generation unit 230, and a spatial information storage unit 240. The object control unit 300 includes an object information storage unit 310 and a virtual camera information storage unit 320. The sensor 130, the display control unit 200, the object control unit 300, and the display 112 are connected to be communicable with each other, and can be connected via a wired or wireless communication interface. The external controller 140 is communicably connected to the object control unit 300. The spatial information storage unit 240, the object information storage unit 310, and the virtual camera information storage unit 320 include various tables for providing output information corresponding to inputs from the sensor 130 and the external controller 140 to the display 112. The determination unit 400 determines whether or not an input from the sensor 130 or the external controller 140 satisfies a predetermined condition and various objects are operated so as to satisfy the predetermined condition.

センサ130は、センサ部114により経時的に検知される角度情報や、検知部132により経時的に検知されるHMD110の角度情報に基づいて、HMD110の位置や動きに関する情報を、表示制御部200およびオブジェクト制御部300に出力する。動き検知部210は、センサ130からの入力情報に基づいて、HMD110の動きを検出する。そして、仮想空間2内におけるHMD110の向きを規定する基準視線となる視野方向を検出する。そして、検出した情報を視界決定部220に出力する。   Based on the angle information detected over time by the sensor unit 114 and the angle information of the HMD 110 detected over time by the detection unit 132, the sensor 130 displays information regarding the position and movement of the HMD 110, and the display control unit 200 and Output to the object control unit 300. The motion detection unit 210 detects the motion of the HMD 110 based on input information from the sensor 130. Then, the visual field direction serving as a reference line of sight that defines the direction of the HMD 110 in the virtual space 2 is detected. Then, the detected information is output to the visibility determining unit 220.

視界決定部220は、空間情報格納部240に格納された仮想空間情報と、センサ130からの入力情報(動き検知部210からの情報)に基づいて、仮想空間2における仮想カメラ1の視界領域に関する情報を決定する。視界画像生成部230は、当該視界情報に基づいて、仮想空間を構成する360度パノラマの一部を、視界画像として生成する。視界画像はディスプレイ112に出力される。視界画像は左目用と右目用の2つの2次元画像を含み、これらがディスプレイ112に重畳されることにより、3次元画像としての仮想空間2がユーザに提供される。   The visual field determination unit 220 relates to the visual field region of the virtual camera 1 in the virtual space 2 based on the virtual space information stored in the spatial information storage unit 240 and input information from the sensor 130 (information from the motion detection unit 210). Determine information. The view image generation unit 230 generates a part of the 360 degree panorama constituting the virtual space as a view image based on the view information. The view field image is output to the display 112. The field-of-view image includes two two-dimensional images for the left eye and right eye, and these are superimposed on the display 112, thereby providing the user with a virtual space 2 as a three-dimensional image.

オブジェクト制御部300では、オブジェクト情報格納部310に格納された仮想空間内のオブジェクト情報と、センサ130および外部コントローラ140からのユーザ指令に基づいて、操作対象オブジェクトを特定する。そして、操作対象オブジェクトへの所定のユーザ操作指令に基づいて、仮想カメラ情報格納部320に格納された仮想カメラ情報を調整する。調整された仮想カメラ情報を表示制御部200に出力し、視界画像が調整される。また、所定のユーザ操作指令に対応する操作を操作対象オブジェクトへ実施し、オブジェクト制御情報をディスプレイ112および表示制御部200に出力する。オブジェクト操作の具体的な処理は後述する。   The object control unit 300 identifies an operation target object based on object information in the virtual space stored in the object information storage unit 310 and user commands from the sensor 130 and the external controller 140. Then, the virtual camera information stored in the virtual camera information storage unit 320 is adjusted based on a predetermined user operation command to the operation target object. The adjusted virtual camera information is output to the display control unit 200, and the view field image is adjusted. In addition, an operation corresponding to a predetermined user operation command is performed on the operation target object, and object control information is output to the display 112 and the display control unit 200. Specific processing of the object operation will be described later.

なお、制御回路部120の各機能を実現するためのハードウェア要素は、CPU、メモリ、その他の集積回路で構成することができる。そして、メモリにロードされたソフトウェア要素としての各種プログラムによって各機能が実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される。   Note that hardware elements for realizing each function of the control circuit unit 120 can be constituted by a CPU, a memory, and other integrated circuits. Each function is realized by various programs as software elements loaded in the memory. Accordingly, those skilled in the art will understand that these functional blocks can be realized by hardware, software, or a combination thereof.

図5A〜Cを参照して、視界決定部220で決定される、仮想空間2の天球面に沿った視界領域6について説明する。図5Aは、視界領域6を示す3次元の模式図であり、図5Bは視界領域6をX方向から見たYZ面図であり、図5Cは視界領域6をY方向から見たXZ面図である。図5Aに示すように、視界領域6は仮想空間2の一部を構成する。視界領域6は視界方向5に基づいて定められ、視界方向5は仮想カメラ1の位置および方向に基づいて定められる。視界領域6は、仮想空間2と視界方向5との交点におけるX軸まわりの所定範囲である第1領域61と、仮想空間2と視界方向5との交点におけるY軸まわりの所定範囲である第2視界領域62とを有する。第1領域61は、視界方向5を中心として極角αを含む範囲として設定される。第2領域62は、視界方向5を中心として方位角βを含む範囲として設定される。つまり、視界領域6は、仮想カメラ1の位置からの視界方向5に対して、XY平面図における極角θおよびXZ平面図における方位角βを有した球面上の領域とすることができる。   With reference to FIGS. 5A to 5C, the visual field region 6 along the celestial sphere of the virtual space 2 that is determined by the visual field determination unit 220 will be described. 5A is a three-dimensional schematic diagram showing the visual field region 6, FIG. 5B is a YZ plane view of the visual field region 6 viewed from the X direction, and FIG. 5C is an XZ plane view of the visual field region 6 viewed from the Y direction. It is. As shown in FIG. 5A, the visual field region 6 constitutes a part of the virtual space 2. The visual field area 6 is determined based on the visual field direction 5, and the visual field direction 5 is determined based on the position and direction of the virtual camera 1. The visual field region 6 is a first region 61 that is a predetermined range around the X axis at the intersection between the virtual space 2 and the visual field direction 5, and a predetermined range around the Y axis at the intersection between the virtual space 2 and the visual field direction 5. 2 viewing areas 62. The first region 61 is set as a range including the polar angle α with the visual field direction 5 as the center. The second region 62 is set as a range including the azimuth angle β with the visual field direction 5 as the center. That is, the view field region 6 can be a region on a spherical surface having the polar angle θ in the XY plan view and the azimuth angle β in the XZ plan view with respect to the view direction 5 from the position of the virtual camera 1.

図6、図7を参照して、仮想空間2内でのオブジェクト操作に関する制御回路部120の処理動作を説明する。図6は、図4に示すオブジェクト制御部300の機能を説明するブロック図である。オブジェクト制御部300は、操作対象オブジェクトを特定するためのオブジェクト特定部330と、特定された操作対象オブジェクトを操作するためのオブジェクト操作部340を備える。   With reference to FIGS. 6 and 7, the processing operation of the control circuit unit 120 related to the object operation in the virtual space 2 will be described. FIG. 6 is a block diagram illustrating functions of the object control unit 300 shown in FIG. The object control unit 300 includes an object specifying unit 330 for specifying an operation target object, and an object operation unit 340 for operating the specified operation target object.

オブジェクト特定部330は、基準視線計算部331、オブジェクト判定部332、操作対象オブジェクト選択部333を備える。オブジェクト特定部330は、HMD110の傾き動作によって、仮想空間2において図5A〜Cに示した基準視線である視界方向5上に配置されるオブジェクトを特定する。そのために、基準視線計算部331が視界方向5を設定し、オブジェクト判定部340が視界方向5上にオブジェクトが配置されているかを判定する。さらに、操作対象オブジェクト選択部360は、視界方向5上にオブジェクトが配置される場合に、そのオブジェクトを操作対象オブジェクトとして選択する。   The object specifying unit 330 includes a reference line-of-sight calculation unit 331, an object determination unit 332, and an operation target object selection unit 333. The object specifying unit 330 specifies an object arranged on the visual field direction 5 that is the reference line of sight shown in FIGS. 5A to 5C in the virtual space 2 by the tilting operation of the HMD 110. For this purpose, the reference line-of-sight calculation unit 331 sets the field-of-view direction 5, and the object determination unit 340 determines whether an object is placed in the field-of-view direction 5. Further, when an object is arranged in the visual field direction 5, the operation target object selection unit 360 selects the object as the operation target object.

オブジェクト操作部340は、外部コントローラ動作判定部341と、傾き動作判定部342と、仮想カメラ調整部343と、オブジェクト操作特定部344と、オブジェクト操作実施部345と、オブジェクト操作テーブル346を備える。オブジェクト操作部340は、オブジェクト特定部300で特定された操作対象オブジェクトに対し、HMD110の傾き動作に従った操作を実施する。   The object operation unit 340 includes an external controller operation determination unit 341, a tilt operation determination unit 342, a virtual camera adjustment unit 343, an object operation specification unit 344, an object operation execution unit 345, and an object operation table 346. The object operation unit 340 performs an operation according to the tilt operation of the HMD 110 on the operation target object specified by the object specifying unit 300.

外部コントローラ動作判定部341は、外部コントローラ140にユーザのタッチ操作が入力されたかを判定する。傾き動作判定部342は、HMD110に傾き動作(特に、傾け方向)が入力されたかを判定する。仮想カメラ調整部343は、オブジェクト操作の際に仮想カメラ1の位置や方向を調整する。オブジェクト操作特定部344は、操作対象オブジェクトに対する操作を、オブジェクト操作テーブル346に従って特定する。オブジェクト操作実施部345は、オブジェクト操作を実施し、その結果として生じる画像を視界画像として生成する。 The external controller operation determination unit 341 determines whether a user's touch operation is input to the external controller 140. The tilt motion determination unit 342 determines whether a tilt motion (particularly the tilt direction) is input to the HMD 110. The virtual camera adjustment unit 343 adjusts the position and direction of the virtual camera 1 during the object operation. The object operation specifying unit 344 specifies an operation for the operation target object according to the object operation table 346. The object operation execution unit 345 performs an object operation and generates a resulting image as a view image.

図7はオブジェクト操作テーブル346の一例を示す。オブジェクト操作テーブル346は、ユーザ動作と操作対象オブジェクトのアクションを関連付ける。即ち、ユーザによるHMD110に対する傾き変更動作や、外部コントローラ140への入力といった動作に対して、操作対象オブジェクトが所定のアクションをとるよう、一対一で対応付けられる。操作対象オブジェクトのアクションは、HMD110または外部コントローラ140単体への入力動作によって関連付けられても良いし、HMD110と外部コントローラ140の連携した操作に関連付けられていても良い。当該入力に対する各アクションの詳細は後述する。   FIG. 7 shows an example of the object operation table 346. The object operation table 346 associates the user action with the action of the operation target object. That is, one-to-one correspondence is made so that the operation target object takes a predetermined action with respect to an operation such as a tilt change operation on the HMD 110 by the user or an input to the external controller 140. The action of the operation target object may be associated by an input operation to the HMD 110 or the external controller 140 alone, or may be associated with a coordinated operation of the HMD 110 and the external controller 140. Details of each action for the input will be described later.

なお、オブジェクト操作テーブル346がユーザ動作と操作対象オブジェクトの情報を有している場合には、オブジェクト操作部340がオブジェクト特定部330としての機能を有する場合がある。即ち、オブジェクト操作テーブル346が有する操作対象オブジェクト情報は、オブジェクト特定部330において特定されたものであっても良いし、予め設定されたものであっても良い。 Note that when the object operation table 346 includes information on the user action and the operation target object, the object operation unit 340 may have a function as the object specifying unit 330. That is, the operation target object information included in the object operation table 346 may be specified by the object specifying unit 330 or may be set in advance.

次に、図7〜図11を参照して、本実施形態による、仮想空間2内におけるオブジェクト操作のための処理フローを説明する。当該オブジェクト操作処理は、外部コントローラ140、センサ130、HMD100および制御回路部120の相互作用によって実現され得る。   Next, with reference to FIGS. 7 to 11, a processing flow for object operation in the virtual space 2 according to the present embodiment will be described. The object operation process can be realized by the interaction of the external controller 140, the sensor 130, the HMD 100, and the control circuit unit 120.

まず、センサ130によってHMD110の位置が検知される(ステップS130−1)。
センサ130の検知情報は制御回路部120に送信され、動き検出部210により、視界決定部220は基準視線である視界方向5を決定する(ステップS120−1)。視界方向5は、前述のように視界画像の所定位置に対応付けて決定される。当該所定位置は視界画像の中心点とするのがよいが、これに限定されず、視界画像の如何なる設定可能な位置としてよい。また、視界方向は何らかのマーク(例えば、円形や手の平形のアイコン)として上記視界画像に重畳表示してもよい。続いて、視界決定部220により、HMD110の位置情報および/または傾き情報に基づいて、仮想空間2内での視界情報が決定される。更に、視界画像生成部230が当該視界情報に基づいてHMD110のディスプレイ112に表示するための視界画像を生成する(ステップS120−2)。
First, the position of the HMD 110 is detected by the sensor 130 (step S130-1).
The detection information of the sensor 130 is transmitted to the control circuit unit 120, and the visual field determination unit 220 determines the visual field direction 5 that is the reference visual line by the motion detection unit 210 (step S120-1). The visual field direction 5 is determined in association with a predetermined position of the visual field image as described above. The predetermined position is preferably the center point of the view image, but is not limited thereto, and may be any settable position of the view image. Further, the visual field direction may be displayed in a superimposed manner on the visual field image as some mark (for example, a circular or palm icon). Subsequently, the field of view information in the virtual space 2 is determined by the field of view determination unit 220 based on the position information and / or the tilt information of the HMD 110. Further, the visual field image generation unit 230 generates a visual field image to be displayed on the display 112 of the HMD 110 based on the visual field information (step S120-2).

次に、視界画像がHMD110に表示される(ステップS110−2)。視界画像には、後述するように操作対象になり得る複数のオブジェクトが表示される。そして、視界画像がHMD110に表示された状態で、HMD110を装着したユーザが頭部を傾ける動作をした場合には、仮想空間2内に配置された複数のオブジェクトのうち、少なくとも1つが視界画像の所定位置に対応するよう位置合わせを行う。   Next, the view field image is displayed on the HMD 110 (step S110-2). As will be described later, a plurality of objects that can be operated are displayed in the view field image. When the user wearing the HMD 110 moves the head while the view image is displayed on the HMD 110, at least one of the plurality of objects arranged in the virtual space 2 is the view image. Alignment is performed so as to correspond to a predetermined position.

HMD110に表示される視界画像の一例を図9に示す。視界画像G1は、HMD110に表示される仮想空間内の様子である。なお、実際のHMD110においては、右目用の画像及び左目用の画像が夫々用意されるが、今回は簡単のため、左目用の画像のみ使用して説明する。   An example of a view field image displayed on the HMD 110 is shown in FIG. The view image G1 is a state in the virtual space displayed on the HMD 110. In the actual HMD 110, a right-eye image and a left-eye image are prepared, but for the sake of simplicity, only the left-eye image will be described here.

本実施の形態においては、図示される仮想空間に、「くま」を模した複数のキャラクタCkが表示擦れる。図示された視界においては、キャラクタCkは、画面外(G1の左下)から現れ、矢印DD1に沿って斜面Slpを駆け上がり、平面Plnに差し掛かると方向転換をして矢印DD2に沿って進み、画面外に消える。なお、『図示された視界においては』と記載したのは、HMD110の傾きや外部コントローラの操作によって、視界領域を変更することができるからである(図7のステップS130−1、S110−1、S120−1乃至S120−3、S110−2)。   In the present embodiment, a plurality of characters Ck imitating a “bear” are displayed and rubbed in the illustrated virtual space. In the illustrated field of view, the character Ck appears from outside the screen (lower left of G1), rushes up the slope Slp along the arrow DD1, changes direction when reaching the plane Pln, and proceeds along the arrow DD2. It disappears outside the screen. Note that “in the illustrated field of view” is described because the field of view can be changed by the inclination of the HMD 110 or the operation of the external controller (steps S130-1, S110-1, FIG. 7). S120-1 to S120-3, S110-2).

次に、外部コントローラ140による操作入力(ステップS140−1)に関する情報、センサ130によるHMD110の位置検知(ステップS130−2)に関する情報、HMD110による傾きに関する情報(ステップS110−3)が、制御回路部120に受け付けられる(ステップS120−4)。制御回路部120は、これらの情報に基づいて、仮想カメラの位置、傾きを制御する(ステップS120−5)。   Next, information on operation input (step S140-1) by the external controller 140, information on position detection of the HMD 110 by the sensor 130 (step S130-2), information on tilt by the HMD 110 (step S110-3), and the control circuit unit 120 (step S120-4). Based on these pieces of information, the control circuit unit 120 controls the position and tilt of the virtual camera (step S120-5).

本実施の形態においては、図9に示されるように、ユーザの外部コントローラ(スマートフォン)140に対する操作が仮想カメラVCamの位置に反映される。即ち、図示されるように、スマートフォンのタッチパネル上において、指を前方に移動させると、仮想カメラVCamも仮想空間内を前方に移動(即ち、前進)し、それに伴って、視界領域もV1〜V2へと変化する。   In the present embodiment, as shown in FIG. 9, the user's operation on the external controller (smart phone) 140 is reflected in the position of the virtual camera VCam. That is, as shown in the drawing, when the finger is moved forward on the touch panel of the smartphone, the virtual camera VCam moves forward (ie, advances) in the virtual space, and accordingly, the visual field region is also V1 to V2. To change.

次に、仮想カメラVCamと仮想空間内のキャラクタCkとの関係について説明する。図10に示されるように、仮想カメラVCamは、HMD110に表示される領域である視界領域V1と、当該視界領域V1に包含される領域である検知領域Detとを有している。検知領域は仮想カメラVCamから距離Lの範囲内に設定される。   Next, the relationship between the virtual camera VCam and the character Ck in the virtual space will be described. As illustrated in FIG. 10, the virtual camera VCam includes a visual field region V1 that is a region displayed on the HMD 110 and a detection region Det that is a region included in the visual field region V1. The detection area is set within a distance L from the virtual camera VCam.

仮想空間内には、キャラクタCk1、Ck2の2種類のキャラクタが表示されている。キャラクタCk1は、仮想カメラVCamの視界領域V1に含まれているものの、検知領域Detには含まれていない。キャラクタCk1は、位置P_1、P_2、P_3の順に進行方向(X方向)に沿って進行し、当該進行方向に視線を向けている(点線の矢印参照)。一方、キャラクタCk2は、仮想カメラVCamの視界領域V1に含まれ、且つ、一部の位置(P_12、P_13等)で検知領域Detにも含まれている。本実施の形態においては、検知領Det内に含まれるキャラクタはその視線を仮想カメラVCamに向けながら進行するように制御される。即ち、キャラクタCkが検知領域Det外である位置P_11にある場合にはその視線は進行方法(X方向)である。キャラクタCk2が移動し、検知領域Det内である位置P_12まで進むと、それまで進行方向を向いていた視線は仮想カメラVCamの方向となるように(仮想カメラVCamを見るように)姿態を変化させる。少し進んだP_13では、姿態を更に変化させ、その視線がVCamから外れないように視線方向を更に変化させる。そして、検知領域Det外である位置P_14になると再び視線を進行方向に戻す。このように、自分の近くに位置するキャラクタのみが自分と目線を合わせ続けながら移動する制御を行うことで、キャラクタにより自然な動きを持たせることができる。   Two types of characters Ck1 and Ck2 are displayed in the virtual space. The character Ck1 is included in the visual field area V1 of the virtual camera VCam, but is not included in the detection area Det. The character Ck1 proceeds along the traveling direction (X direction) in the order of the positions P_1, P_2, and P_3, and has a line of sight in the traveling direction (see dotted arrows). On the other hand, the character Ck2 is included in the field of view area V1 of the virtual camera VCam, and is also included in the detection area Det at some positions (P_12, P_13, etc.). In the present embodiment, the character included in the detection area Det is controlled so as to advance while directing its line of sight toward the virtual camera VCam. That is, when the character Ck is at the position P_11 outside the detection area Det, the line of sight is the traveling method (X direction). When the character Ck2 moves and proceeds to the position P_12 in the detection area Det, the appearance changes so that the line of sight that has been directed in the direction of travel up to that point becomes the direction of the virtual camera VCam (as seen by the virtual camera VCam). . At P_13, which is slightly advanced, the appearance is further changed, and the line-of-sight direction is further changed so that the line of sight does not deviate from VCam. And if it becomes position P_14 which is outside detection field Det, a line of sight will be returned to a direction of travel again. In this way, by performing a control in which only a character located close to him / her moves while keeping his / her eyes aligned with each other, the character can have a more natural movement.

なお、検知領域Det内にキャラクタCkがいたとしても、仮想カメラVCamと視線を合わせようとすると、首の向き等が明らかにおかしいものとなってしまう場合、自然な表現ができなくなる。したがって、キャラクタCkが仮想カメラVCamに向ける場合、進行方向と視線とのなす角度が一定以上となる場合は上述した処理を行わずそれ以上首を曲げないこととしてもよい。   Even if there is a character Ck in the detection area Det, when trying to match the line of sight with the virtual camera VCam, if the direction of the neck is obviously wrong, natural expression cannot be made. Therefore, when the character Ck faces the virtual camera VCam, when the angle formed by the traveling direction and the line of sight becomes a certain value or more, the above-described processing may not be performed and the neck may not be bent any more.

図11は、進行方向Xに沿って移動中のキャラクタCk3が仮想カメラVCamに視線を向けている際に、ユーザ操作によって仮想カメラVCamが移動された場合の例である。具体的には、移動前の位置CP_0に位置する仮想カメラVCamにおける検知領域Det_0の外の位置P_31においては、キャラクタCk3は進行方向に視線を向けている。キャラクタCk3がX方向に進み且つ検知領域Det_0内の位置P_32においては、キャラクタCk3はCP_0に位置する仮想カメラVCamに視線を向けている。この時、ユーザがスマートフォン140上で左から右に向けてスワイプ操作(スライド操作)を行うと、仮想カメラVCamはCP_0からCP_1へと移動し、それに伴って検知領域もDet_0からDet_1へと変化する。このとき、P_32からP_33へと移動したキャラクタCk3は、その視線を移動後の仮想カメラVCamに向かうように姿態を変化させる。   FIG. 11 shows an example of the case where the virtual camera VCam is moved by a user operation when the character Ck3 moving along the traveling direction X is looking toward the virtual camera VCam. Specifically, at the position P_31 outside the detection area Det_0 in the virtual camera VCam located at the position CP_0 before the movement, the character Ck3 has a line of sight in the traveling direction. The character Ck3 advances in the X direction, and at the position P_32 in the detection area Det_0, the character Ck3 looks toward the virtual camera VCam located at CP_0. At this time, when the user performs a swipe operation (slide operation) from the left to the right on the smartphone 140, the virtual camera VCam moves from CP_0 to CP_1, and accordingly, the detection area also changes from Det_0 to Det_1. . At this time, the character Ck3 moved from P_32 to P_33 changes its appearance so that its line of sight is directed to the virtual camera VCam after the movement.

このように、検知領域内にある限り、仮想カメラが移動したとしてもキャラクタの視線は仮想カメラVCamを追い続けることとなり、新しいゲーム体験を提供させつつ。自然な動きを表現することができる。   In this way, as long as the virtual camera moves as long as it is within the detection area, the character's line of sight will continue to follow the virtual camera VCam, providing a new game experience. Natural movement can be expressed.

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. Those skilled in the art will appreciate that various modifications of the embodiments can be made without departing from the spirit and scope of the invention as set forth in the appended claims.


100…ヘッドマウントディスプレイ(HMD)システム、110…HMD、112…ディスプレイ、114…センサ部、120…制御回路部、130…センサ、132…検知部、140…外部コントローラ、200…表示制御部、300…オブジェクト制御部、400…判定部、1…仮想カメラ、2…仮想空間、5…視界方向、6…視界領域

DESCRIPTION OF SYMBOLS 100 ... Head mounted display (HMD) system, 110 ... HMD, 112 ... Display, 114 ... Sensor part, 120 ... Control circuit part, 130 ... Sensor, 132 ... Detection part, 140 ... External controller, 200 ... Display control part, 300 ... object control unit, 400 ... determination unit, 1 ... virtual camera, 2 ... virtual space, 5 ... view direction, 6 ... view field

Claims (6)

操作部と、変位を検出するセンサを備えるヘッドマウントディスプレイとに接続されるコンピュータを、前記ヘッドマウントディスプレイに仮想空間を提供するように機能させるプログラムであって、
少なくとも前記操作部又は前記センサを介した操作情報に応じて、前記仮想空間内に配置された仮想カメラを制御する仮想カメラ制御部、
前記仮想カメラに設定された視線軸及び当該視線軸の周囲を含むカメラ領域の情報を前記ヘッドマウントディスプレイに表示する表示制御部、
前記仮想空間内に配置されたオブジェクトを制御するオブジェクト制御部、
前記仮想カメラと前記オブジェクトとの位置関係が所定条件を満たすか否かを判定する判定部、
として機能させるプログラムにおいて、
前記オブジェクト制御部は、前記所定条件を満たすと判定された場合に、前記オブジェクトの所定の部位が前記仮想カメラの方向を向くように前記オブジェクトの動作を制御する、
プログラム。
A program for causing a computer connected to an operation unit and a head mounted display including a sensor for detecting displacement to function to provide a virtual space for the head mounted display,
A virtual camera control unit that controls a virtual camera disposed in the virtual space according to operation information via at least the operation unit or the sensor;
A display control unit for displaying information on a visual axis set in the virtual camera and information on a camera area including the periphery of the visual axis on the head-mounted display;
An object control unit for controlling an object arranged in the virtual space;
A determination unit that determines whether a positional relationship between the virtual camera and the object satisfies a predetermined condition;
In the program that functions as
The object control unit, when it is determined that the predetermined condition is satisfied, controls the movement of the object so that a predetermined part of the object faces the virtual camera.
program.
請求項1に記載のプログラムであって、
前記オブジェクト制御部は、更に、前記オブジェクトを所定方向に向けて移動するように制御する、
プログラム。
The program according to claim 1,
The object control unit further controls to move the object in a predetermined direction.
program.
請求項2に記載のプログラムであって、
前記オブジェクト制御部は、前記オブジェクトの前記移動が行われている間であって且つ前記所定条件を満たすと判定された場合に、前記オブジェクトの所定の部位が、前記仮想カメラの方向を向き続けるように前記オブジェクトの動作を制御する、
プログラム。
The program according to claim 2,
When the object control unit determines that the predetermined condition is satisfied while the movement of the object is being performed, the predetermined part of the object keeps facing the virtual camera. To control the movement of the object,
program.
請求項2又は請求項3に記載のプログラムであって、
前記オブジェクト制御部は、前記オブジェクトの前記移動が行われている間であって且つ前記所定条件を満たすと判定され更に前記仮想カメラが移動された場合に、前記オブジェクトの所定の部位が、移動された前記仮想カメラを向き続けるように前記オブジェクトの動作を制御する、
プログラム。
A program according to claim 2 or claim 3, wherein
The object control unit moves the predetermined part of the object while the movement of the object is being performed and when it is determined that the predetermined condition is satisfied and the virtual camera is further moved. Controlling the movement of the object so as to keep facing the virtual camera;
program.
請求項1乃至請求項4のいずれかに記載のプログラムであって、
前記位置関係は、前記仮想カメラと前記オブジェクトとの直線距離である、
プログラム。
A program according to any one of claims 1 to 4,
The positional relationship is a linear distance between the virtual camera and the object.
program.
操作部と、変位を検出するセンサを備えるヘッドマウントディスプレイとに接続されるコンピュータを、前記ヘッドマウントディスプレイに仮想空間を提供するように機能させるプログラムであって、
少なくとも前記操作部又は前記センサを介した操作情報に応じて、前記仮想空間内に配置された仮想カメラを制御する仮想カメラ制御部、
前記仮想カメラに設定されたカメラ領域の情報を前記ヘッドマウントディスプレイに表示する表示制御部、
前記仮想空間内に配置された人形オブジェクトを制御するオブジェクト制御部、
前記仮想カメラと前記人形オブジェクトとの位置関係が所定距離以下であるか否かを判定する判定部、
として機能させるプログラムにおいて、
前記オブジェクト制御部は、前記位置関係が所定距離以下であると判定された場合に、前記人形オブジェクトの顔部分が前記仮想カメラの方向に向き続けるように前記オブジェクトの姿態を制御する、
プログラム。

A program for causing a computer connected to an operation unit and a head mounted display including a sensor for detecting displacement to function to provide a virtual space for the head mounted display,
A virtual camera control unit that controls a virtual camera disposed in the virtual space according to operation information via at least the operation unit or the sensor;
A display control unit for displaying information on a camera area set in the virtual camera on the head mounted display;
An object control unit for controlling a doll object arranged in the virtual space;
A determination unit that determines whether a positional relationship between the virtual camera and the doll object is equal to or less than a predetermined distance;
In the program that functions as
The object control unit, when it is determined that the positional relationship is equal to or less than a predetermined distance, controls the appearance of the object so that the face portion of the doll object continues to face in the direction of the virtual camera,
program.

JP2015124463A 2015-06-22 2015-06-22 A program that controls the head-mounted display. Active JP6448478B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015124463A JP6448478B2 (en) 2015-06-22 2015-06-22 A program that controls the head-mounted display.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015124463A JP6448478B2 (en) 2015-06-22 2015-06-22 A program that controls the head-mounted display.

Publications (2)

Publication Number Publication Date
JP2017006355A true JP2017006355A (en) 2017-01-12
JP6448478B2 JP6448478B2 (en) 2019-01-09

Family

ID=57760464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015124463A Active JP6448478B2 (en) 2015-06-22 2015-06-22 A program that controls the head-mounted display.

Country Status (1)

Country Link
JP (1) JP6448478B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000210468A (en) * 1999-01-20 2000-08-02 Namco Ltd Game device
JP2001029659A (en) * 1999-07-23 2001-02-06 Namco Ltd Game device
JP2002253848A (en) * 2001-02-27 2002-09-10 Square Co Ltd Video game device and control method thereof, program for video game, and computer-readable recording medium with the program recorded therein
JP2004141421A (en) * 2002-10-24 2004-05-20 Nintendo Co Ltd Game device
JP2004252496A (en) * 2002-10-24 2004-09-09 Nintendo Co Ltd System and method for controlling moving picture by tagging object in game environment
JP2012063253A (en) * 2010-09-16 2012-03-29 Olympus Corp Image generation system, program, and information storage medium
JP2012068964A (en) * 2010-09-24 2012-04-05 Nintendo Co Ltd Image processing program, image processor, image processing system and image processing method
JP2013009770A (en) * 2011-06-28 2013-01-17 Square Enix Co Ltd Game program and game machine
JP2015095045A (en) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント Image generation apparatus and image generation method
JP2015223394A (en) * 2014-05-29 2015-12-14 フリュー株式会社 Video game apparatus, method for controlling video game, program for controlling video game, and recording medium

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000210468A (en) * 1999-01-20 2000-08-02 Namco Ltd Game device
JP2001029659A (en) * 1999-07-23 2001-02-06 Namco Ltd Game device
JP2002253848A (en) * 2001-02-27 2002-09-10 Square Co Ltd Video game device and control method thereof, program for video game, and computer-readable recording medium with the program recorded therein
JP2004141421A (en) * 2002-10-24 2004-05-20 Nintendo Co Ltd Game device
JP2004252496A (en) * 2002-10-24 2004-09-09 Nintendo Co Ltd System and method for controlling moving picture by tagging object in game environment
JP2012063253A (en) * 2010-09-16 2012-03-29 Olympus Corp Image generation system, program, and information storage medium
JP2012068964A (en) * 2010-09-24 2012-04-05 Nintendo Co Ltd Image processing program, image processor, image processing system and image processing method
JP2013009770A (en) * 2011-06-28 2013-01-17 Square Enix Co Ltd Game program and game machine
JP2015095045A (en) * 2013-11-11 2015-05-18 株式会社ソニー・コンピュータエンタテインメント Image generation apparatus and image generation method
JP2015223394A (en) * 2014-05-29 2015-12-14 フリュー株式会社 Video game apparatus, method for controlling video game, program for controlling video game, and recording medium

Also Published As

Publication number Publication date
JP6448478B2 (en) 2019-01-09

Similar Documents

Publication Publication Date Title
US10776991B2 (en) Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
US10013812B2 (en) Method and system for controlling a head-mounted display system
US9928650B2 (en) Computer program for directing line of sight
JP5961736B1 (en) Method and program for controlling head mounted display system
JP6002286B1 (en) Head mounted display control method and head mounted display control program
US9852546B2 (en) Method and system for receiving gesture input via virtual control objects
JP5981591B1 (en) Computer program and computer system for controlling object operations in an immersive virtual space
US9779702B2 (en) Method of controlling head-mounted display system
US11845007B2 (en) Perspective rotation method and apparatus, device, and storage medium
JP6931068B2 (en) Paired local and global user interfaces for an improved augmented reality experience
JP2017021824A (en) Head-mounted display control method and head-mounted display control program
US10656705B2 (en) Assisted item selection for see through glasses
JP6433862B2 (en) Head mounted display system control program, computer and method
JP2017224003A (en) Method, program, and storage medium for providing virtual space
JP6159455B1 (en) Method, program, and recording medium for providing virtual space
JP6448478B2 (en) A program that controls the head-mounted display.
JP6598575B2 (en) Method and program for controlling head mounted display system
JP2017049738A (en) Program for controlling head-mounted display system
JP2017033465A (en) Method and program
US20240086032A1 (en) Method of manipulating user interfaces in an environment
JP6332658B1 (en) Display control apparatus and program
WO2024064231A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP2018033938A (en) Method, program and recording medium for providing virtual space
JP2017041229A (en) Method and program for controlling head-mounted display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180424

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180815

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181204

R150 Certificate of patent or registration of utility model

Ref document number: 6448478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250