JP2017097918A - Image display method and program - Google Patents

Image display method and program Download PDF

Info

Publication number
JP2017097918A
JP2017097918A JP2017019584A JP2017019584A JP2017097918A JP 2017097918 A JP2017097918 A JP 2017097918A JP 2017019584 A JP2017019584 A JP 2017019584A JP 2017019584 A JP2017019584 A JP 2017019584A JP 2017097918 A JP2017097918 A JP 2017097918A
Authority
JP
Japan
Prior art keywords
display
image
virtual camera
virtual
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017019584A
Other languages
Japanese (ja)
Inventor
一平 近藤
Ippei Kondo
一平 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2017019584A priority Critical patent/JP2017097918A/en
Publication of JP2017097918A publication Critical patent/JP2017097918A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To reduce visually induced motion sickness caused by receiving a visual effect not synchronized with movement of an HMD.SOLUTION: An image display method includes: generating a virtual camera space image captured by a virtual camera in a virtual space, which has a third person perspective different from a first person perspective associated with a user; generating a field-of-view image in which a display object, into which the virtual camera space image is rendered, is arranged in the virtual space; and outputting the generated field-of-view image to the head-mounted display. If there exist a plurality of display objects in a field-of-view image region, update timing is set for each display object, and each display object is updated with the set update timing.SELECTED DRAWING: Figure 7

Description

本発明は画像表示方法、及びプログラムに関する。より詳細には、本発明は、仮想空間の画像を、ヘッドマウントディスプレイ(Head−Mounted Display:HMD)へ表示する方法、及びプログラムに関するものである。   The present invention relates to an image display method and a program. More specifically, the present invention relates to a method and program for displaying an image of a virtual space on a head-mounted display (HMD).

特許文献1には、HMDにヘッドトラッキング機能を持たせて、HMDを装着したユーザの頭部の動きと連動した画像を、HMDに表示することが開示されている。   Patent Document 1 discloses that an HMD is provided with a head tracking function and an image linked to the movement of the head of a user wearing the HMD is displayed on the HMD.

特開2015−95045号公報Japanese Patent Laying-Open No. 2015-95045

しかしながら、特許文献1に開示されたHMDシステムでは、HMDトラッキングとHMDに表示される表示画像の追随がよくない場合に、映像酔い(所謂VR(Virtual Reality)酔い)を生ずる可能性があった。   However, the HMD system disclosed in Patent Document 1 may cause video sickness (so-called VR (Virtual Reality) sickness) when HMD tracking and the display image displayed on the HMD are not good.

上述した課題を解決するために、本発明の一態様は、ユーザが装着するヘッドマウントディスプレイに仮想空間画像を表示する方法であって、
前記ユーザに関連付けられた一人称視点とは異なる三人称視点を有する仮想空間内の仮想カメラ(仮想カメラ2)により撮影した仮想カメラ空間画像を生成するステップと、
前記仮想カメラ空間画像を前記仮想空間内の表示オブジェクトへ描画するステップと、
前記表示オブジェクトを前記仮想空間内に配置した視界画像を生成するステップと、
前記視界画像をヘッドマウントディスプレイに出力するステップと、を含む方法に関する。
In order to solve the above-described problem, one aspect of the present invention is a method of displaying a virtual space image on a head-mounted display worn by a user,
Generating a virtual camera space image captured by a virtual camera (virtual camera 2) in a virtual space having a third person viewpoint different from the first person viewpoint associated with the user;
Drawing the virtual camera space image on a display object in the virtual space;
Generating a visual field image in which the display object is arranged in the virtual space;
Outputting the field-of-view image to a head mounted display.

本発明によれば、HMDの動きに連動しない視覚的効果を受けることによる映像酔いを低減することができる。   According to the present invention, it is possible to reduce video sickness caused by receiving a visual effect that is not linked to the movement of the HMD.

本発明の実施形態によるHMDシステムを示す図である。1 is a diagram illustrating an HMD system according to an embodiment of the present invention. 制御回路部のハードウェア的な構成を示す図である。It is a figure which shows the hardware-like structure of a control circuit part. HMDを装着しているユーザの頭部を中心に規定される3次元空間上の直交座標系を示す。An orthogonal coordinate system in a three-dimensional space defined around the head of a user wearing an HMD is shown. 仮想空間の一例を示すXYZ空間図である。It is an XYZ space figure which shows an example of virtual space. HMDシステムの機能を実現するための、制御回路部の機能を示すブロック図である。It is a block diagram which shows the function of the control circuit part for implement | achieving the function of a HMD system. HMDシステムの機能を実現するための処理を示すフローチャートである。It is a flowchart which shows the process for implement | achieving the function of a HMD system. HMDシステムの機能を実現するための処理を示すフローチャートである。It is a flowchart which shows the process for implement | achieving the function of a HMD system. 仮想空間内に配置されている複数の表示オブジェクトと視界領域との関係を示す図である。It is a figure which shows the relationship between the some display object arrange | positioned in virtual space, and a visual field area | region. 表示オブジェクト毎に設定される更新タイミングを例示する図である。It is a figure which illustrates the update timing set for every display object. HMDを装着したユーザの視界領域に表示される画像の一例である。It is an example of the image displayed on the visual field area of the user wearing HMD.

最初に、本発明の一実施形態の内容を列記して説明する。本発明の一実施形態による画像表示方法、及びプログラムは、以下のような構成を備える。
(項目1)
ユーザが装着するヘッドマウントディスプレイに仮想空間画像を表示する方法であって、
前記ユーザに関連付けられた一人称視点とは異なる三人称視点を有する仮想空間内の仮想カメラにより撮影した仮想カメラ空間画像を生成するステップと、
前記仮想カメラ空間画像を前記仮想空間内の表示オブジェクトへ描画するステップと、
前記表示オブジェクトを前記仮想空間内に配置した視界画像を生成するステップと、
前記視界画像をヘッドマウントディスプレイに出力するステップと、
を含む方法。
(項目2)
前記仮想カメラ空間画像を描画する所定のタイミングを決定し、
前記所定のタイミングで前記仮想カメラ空間画像を表示オブジェクトに描画するステップと、
をさらに備える、項目1に記載の方法。
(項目3)
前記仮想カメラ空間画像が前記表示オブジェクトへ描画する所定の場面に対応すると判定した場合に、前記仮想カメラ空間画像を前記表示オブジェクトに描画する、項目1に記載の方法。
(項目4)
前記仮想カメラは複数存在し、それぞれ前記仮想空間内の異なる位置に配置され、前記表示オブジェクトは複数存在し、それぞれ前記仮想空間内の異なる位置に配置され、
複数の表示オブジェクトはそれぞれ、複数の仮想カメラのうち1つの仮想カメラに対応する、項目1に記載の方法。
(項目5)
前記ヘッドマウントディスプレイを装着しているユーザの基準視線を特定するステップと、
前記基準視線に基づいて、前記ユーザの視界領域を決定するステップを更に含み、
前記仮想カメラ空間画像は、前記複数の表示オブジェクトのうち前記視界領域内の表示オブジェクトに描画され、前記複数の表示オブジェクトのうち前記視界領域外の表示オブジェクトに描画されない、項目4に記載の方法。
(項目6)
前記視界領域内に複数の表示オブジェクトが存在する場合に、該視界領域内の複数の表示オブジェクトのそれぞれを更新するタイミングを異ならせるステップとを更に備える、項目5に記載の方法。
(項目7)
前記ユーザの基準視線は、前記ヘッドマウントディスプレイの傾き、前記ヘッドマウントディスプレイに含まれる注視センサにより特定されたユーザの視線方向のいずれか又は両方に基づいて特定される、項目5に記載の方法。
(項目8)
項目1〜7のいずれか1項に記載の方法をコンピュータに実行させるためのプログラム。
[本発明の一実施形態の詳細]
本発明の一実施形態に係るヘッドマウントディスプレイシステムを制御するプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
〔HMDシステム100の概要〕
図1は、本実施形態にかかるHMD110を備えるHMDシステム100を示す。HMDシステム100は、ユーザ150の頭部に装着されるHMD110と、制御回路部120と、トラッキングセンサ132とを備える。
First, the contents of one embodiment of the present invention will be listed and described. An image display method and program according to an embodiment of the present invention have the following configuration.
(Item 1)
A method of displaying a virtual space image on a head mounted display worn by a user,
Generating a virtual camera space image captured by a virtual camera in a virtual space having a third person viewpoint different from the first person viewpoint associated with the user;
Drawing the virtual camera space image on a display object in the virtual space;
Generating a visual field image in which the display object is arranged in the virtual space;
Outputting the field-of-view image to a head-mounted display;
Including methods.
(Item 2)
Determining a predetermined timing for rendering the virtual camera space image;
Drawing the virtual camera space image on a display object at the predetermined timing;
The method according to item 1, further comprising:
(Item 3)
The method according to item 1, wherein when it is determined that the virtual camera space image corresponds to a predetermined scene to be drawn on the display object, the virtual camera space image is drawn on the display object.
(Item 4)
There are a plurality of the virtual cameras, each arranged at different positions in the virtual space, the plurality of display objects are present, each arranged at a different position in the virtual space,
The method according to item 1, wherein each of the plurality of display objects corresponds to one virtual camera of the plurality of virtual cameras.
(Item 5)
Identifying a reference line of sight of a user wearing the head mounted display;
Determining a field of view of the user based on the reference line of sight;
5. The method according to item 4, wherein the virtual camera space image is drawn on a display object in the view field among the plurality of display objects, and is not drawn on a display object outside the view field among the plurality of display objects.
(Item 6)
6. The method according to item 5, further comprising a step of changing a timing of updating each of the plurality of display objects in the view field area when there are a plurality of display objects in the view field area.
(Item 7)
6. The method according to item 5, wherein the user's reference line-of-sight is specified based on one or both of an inclination of the head-mounted display and a user's line-of-sight direction specified by a gaze sensor included in the head-mounted display.
(Item 8)
A program for causing a computer to execute the method according to any one of items 1 to 7.
[Details of One Embodiment of the Present Invention]
A specific example of a program for controlling a head mounted display system according to an embodiment of the present invention will be described below with reference to the drawings. In addition, this invention is not limited to these illustrations, is shown by the claim, and intends that all the changes within the meaning and range equivalent to the claim are included. In the following description, the same reference numerals are given to the same elements in the description of the drawings, and redundant descriptions are omitted.
[Overview of HMD system 100]
FIG. 1 shows an HMD system 100 including an HMD 110 according to the present embodiment. The HMD system 100 includes an HMD 110 that is worn on the head of a user 150, a control circuit unit 120, and a tracking sensor 132.

HMD110は、非透過型の表示装置であるディスプレイ112と、センサ部114と、注視センサ116を含む。制御回路部120は、ディスプレイ112に右目用画像と左目用画像を表示することにより、両目の視差を利用した3次元画像を仮想空間として提供する。ディスプレイ112がユーザ150の眼前に配置されることによって、ユーザ150は仮想空間に没入できる。仮想空間は、背景やユーザが操作可能な各種オブジェクト、メニュー画像等を含む。   The HMD 110 includes a display 112 that is a non-transmissive display device, a sensor unit 114, and a gaze sensor 116. The control circuit unit 120 displays a right-eye image and a left-eye image on the display 112, thereby providing a three-dimensional image using parallax between both eyes as a virtual space. By arranging the display 112 in front of the user 150, the user 150 can be immersed in the virtual space. The virtual space includes a background, various objects that can be operated by the user, menu images, and the like.

ディスプレイ112は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、1つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。   The display 112 may include a right-eye sub-display that provides a right-eye image and a left-eye sub-display that provides a left-eye image. Moreover, as long as the image for right eyes and the image for left eyes can be provided, you may be comprised by one display apparatus. For example, the right-eye image and the left-eye image can be provided independently by switching the shutter so that the display image can be recognized by only one eye at high speed.

制御回路部120は、HMD110に接続されるコンピュータである。図2に示すように、制御回路部120は、処理回路202と、メモリ204と、入出力インターフェース206と、通信インターフェース208を含む。処理回路202と、メモリ204と、入出力インターフェース206と、通信インターフェース208は、データ伝送路として用いられるバスで互いに接続される。   The control circuit unit 120 is a computer connected to the HMD 110. As shown in FIG. 2, the control circuit unit 120 includes a processing circuit 202, a memory 204, an input / output interface 206, and a communication interface 208. The processing circuit 202, the memory 204, the input / output interface 206, and the communication interface 208 are connected to each other via a bus used as a data transmission path.

処理回路202は、CPU(Central Processing Unit)やMPU(Micro−processing unit)、GPU(Graphics Processing Unit)といった各種処理回路等を含んで構成され、制御回路部120およびHMDシステム100全体を制御する機能を有する。   The processing circuit 202 includes various processing circuits such as a CPU (Central Processing Unit), an MPU (Micro-processing unit), and a GPU (Graphics Processing Unit), and functions to control the control circuit unit 120 and the entire HMD system 100. Have

メモリ204はROM(Read Only Memory)やRAM(Random
Access Memory)等を含んで構成され、処理回路が使用するプログラムや演算パラメータなどの制御用データを一時的に記憶する。メモリは、また、フラッシュメモリやHDD(Hard Disc Drive)などの不揮発性記憶装置を含んで構成され、各種画像やオブジェクトに関するデータ、シミュレーションプログラムやユーザの認証プログラムが格納され、さらに、各種データを管理するためのテーブルを含むデータベースが構築されていてもよい。
The memory 204 is a ROM (Read Only Memory) or a RAM (Random).
(Access Memory) and the like, and temporarily store control data such as programs and calculation parameters used by the processing circuit. The memory also includes a non-volatile storage device such as a flash memory or HDD (Hard Disc Drive), and stores data related to various images and objects, simulation programs, and user authentication programs, and manages various data. A database including a table for doing this may be constructed.

入出力インターフェース206は、USB(Universal Serial Bus)端子やDVI(Digital Visual Interface)端子やHDMI(登録商標)(High−Definition Multimedia Interface)端子等の各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、HMD110や動きセンサ130を含む各種センサ、外部コントローラ等を接続する。   The input / output interface 206 includes various wired connection terminals such as a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal, and various processes for wireless connection. A circuit is included, and various sensors including the HMD 110 and the motion sensor 130, an external controller, and the like are connected.

通信インターフェース208は、ネットワークNWを介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、LAN(Local Area Network)やインターネットを介して通信するための各種通信規格・プロトコルに適合するように構成されている。   The communication interface 208 includes various wired connection terminals for communicating with an external device via the network NW and various processing circuits for wireless connection, and communicates via a LAN (Local Area Network) or the Internet. It is configured to conform to various communication standards and protocols.

制御回路部120は、メモリに格納された所定のアプリケーションを実行することにより、ディスプレイ112に仮想空間を提示する。また、メモリには、当該仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御したりするためのプログラムが格納される。制御回路部120はHMD110に搭載されていなくてもよく、別のハードウェア(例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ)として構成してもよい。また、制御回路部120は、一部の機能のみをHMD110に実装し、残りの機能を別のハードウェアに実装してもよい。   The control circuit unit 120 presents a virtual space on the display 112 by executing a predetermined application stored in the memory. The memory stores programs for operating various objects displayed in the virtual space and displaying / controlling various menu images and the like. The control circuit unit 120 may not be mounted on the HMD 110 and may be configured as another hardware (for example, a known personal computer or a server computer via a network). In addition, the control circuit unit 120 may implement only a part of functions in the HMD 110 and implement the remaining functions in different hardware.

動きセンサ130は、HMD110の位置や傾きに関する情報を検出する。動きセンサ130は、センサ部114と、トラッキングセンサ132を含む。センサ部114は、複数の光源を含んでもよい。光源は、例えば赤外線を発するLEDである。トラッキングセンサ132は例えば赤外線センサであり、光源からの赤外線をHMD110の検知点として検知することで、ユーザ150の動きに応じたHMD110の現実空間内における位置や角度に関する情報を経時的に検出する。そして、トラッキングセンサ132により検出された情報の経時的変化に基づいて、HMD110の位置や角度の時間変化を決定し、HMD110の動きに関する情報を検知することができる。   The motion sensor 130 detects information related to the position and inclination of the HMD 110. The motion sensor 130 includes a sensor unit 114 and a tracking sensor 132. The sensor unit 114 may include a plurality of light sources. The light source is, for example, an LED that emits infrared rays. The tracking sensor 132 is, for example, an infrared sensor, and detects information about the position and angle of the HMD 110 in the real space according to the movement of the user 150 by detecting infrared rays from the light source as detection points of the HMD 110 over time. Then, based on the change over time of the information detected by the tracking sensor 132, it is possible to determine the time change of the position and angle of the HMD 110 and detect information related to the movement of the HMD 110.

動きセンサ130によって取得される位置や傾きに関する情報を、図3を参照して説明する。HMD110を装着したユーザ150の頭部を中心として、3次元座標系を規定する。ユーザが直立する垂直方向をヨー方向とし、ヨー方向と直交しディスプレイ112の中心とユーザを結ぶ前後方向をロール方向とし、ヨー方向およびロール方向と直交する横方向をピッチ方向とする。これにより、ユーザの3次元空間内における位置の経時変化が取得される。また、ピッチ方向周りのHMD110の傾き角度としてのピッチ角、ヨー方向周りのHMD110の傾き角度としてのヨー角、ロール方向周りのHMD110の傾き角度としてのロール角が取得される。   Information regarding the position and tilt acquired by the motion sensor 130 will be described with reference to FIG. A three-dimensional coordinate system is defined with the head of the user 150 wearing the HMD 110 as the center. The vertical direction in which the user stands upright is the yaw direction, the front-rear direction orthogonal to the yaw direction and connecting the center of the display 112 and the user is the roll direction, and the lateral direction orthogonal to the yaw direction and the roll direction is the pitch direction. Thereby, the temporal change of the position of the user in the three-dimensional space is acquired. Further, the pitch angle as the tilt angle of the HMD 110 around the pitch direction, the yaw angle as the tilt angle of the HMD 110 around the yaw direction, and the roll angle as the tilt angle of the HMD 110 around the roll direction are acquired.

動きセンサ130は、ディスプレイ112の近くに固定されたセンサ部114と、トラッキングセンサ132の一方から構成されてもよい。センサ部114が、地磁気センサ、加速度センサ、ジャイロセンサであってもよく、これらの少なくとも1つを用いて、ユーザ150の頭部に装着されたHMD110(特に、ディスプレイ112)の位置および傾きを検出する。これにより、HMD110の動きに関する情報を検出することができる。例えば、角速度センサは、HMD110の動きに応じて、HMD110の3軸回りの角速度を経時的に検出し、各軸回りの角度の時間変化を決定することができる。この場合には、トラッキングセンサ132はなくてもよい。また、トラッキングセンサ132は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてHMD110の動きに関する情報を検出することができ、センサ部114はなくてもよい。   The motion sensor 130 may be configured by one of a sensor unit 114 fixed near the display 112 and a tracking sensor 132. The sensor unit 114 may be a geomagnetic sensor, an acceleration sensor, or a gyro sensor, and detects the position and inclination of the HMD 110 (particularly, the display 112) mounted on the head of the user 150 using at least one of them. To do. Thereby, the information regarding the motion of the HMD 110 can be detected. For example, the angular velocity sensor can detect the angular velocities around the three axes of the HMD 110 over time according to the movement of the HMD 110 and determine temporal changes in the angles around the respective axes. In this case, the tracking sensor 132 may not be provided. The tracking sensor 132 may include an optical camera. In this case, information related to the movement of the HMD 110 can be detected based on the image information, and the sensor unit 114 is not necessary.

注視センサ116は、ユーザ150の右目および左目の視線が向けられる方向を検出するアイトラッキング機能を有する。注視センサ116は、右目用センサと左目用センサを備えていることが好ましく、それぞれが右目と左目の視線が向けられる方向を検出することにより、ユーザ150が注視する視線方向を検知する。注視センサ116はアイトラッキング機能を有する公知のセンサを採用することができ、例えば、右目及び左目に赤外光を照射し、角膜や虹彩からの反射光を取得することにより、眼球の回転角を求めることとしても良い。   The gaze sensor 116 has an eye tracking function that detects the direction in which the eyes of the right eye and the left eye of the user 150 are directed. The gaze sensor 116 preferably includes a right eye sensor and a left eye sensor, and detects the gaze direction that the user 150 gazes by detecting the direction in which the gaze of the right eye and the left eye is directed. As the gaze sensor 116, a known sensor having an eye tracking function can be adopted. For example, the right eye and the left eye are irradiated with infrared light, and reflected light from the cornea and the iris is acquired, whereby the rotation angle of the eyeball is adjusted. It may be asking.

注視センサ116はユーザ150の右目および左目の視線方向を検知し、両者の交点である注視点を特定する。ユーザが近くを見ている場合に特定される注視点は、ユーザが遠くを見ている場合に特定される注視点よりもユーザに近い。注視点が特定されると、ユーザ150の視線方向が特定される。視線方向はユーザ150が両目により実際に視線が向けられている方向である。視線方向は、例えばユーザの右目および左目の中心と、注視点が通る直線の伸びる方向として定義される。
〔一実施形態の説明〕
図4は、本発明の一実施形態に係る仮想空間の一例を示すXYZ空間図である。図4においてXZ平面は地表面を表し、Y軸は高さ方向に延びている。図4に示すように仮想空間6は、中心3を中心として天球状に形成される。仮想空間6内には仮想カメラ1及び仮想カメラ2が配置されており、それぞれ仮想空間6内の画像を撮影する。仮想カメラ1の動きは、動きセンサ130の動きに対応付けられており、動きセンサ130が動くことによって、仮想カメラ1により撮影される画像が変化する。仮想カメラ1は、ユーザ150の一人称視点、またはユーザのアバターに関連付けられた視点を有する。一方、仮想カメラ2は仮想カメラ1とは異なる仮想空間内の任意の位置に配置され、ユーザに関連付けられた一人称視点とは異なる三人称視点を有する。
The gaze sensor 116 detects the gaze direction of the right eye and the left eye of the user 150, and specifies the gaze point that is the intersection of both. The gazing point specified when the user is looking near is closer to the user than the gazing point specified when the user is looking far. When the gazing point is specified, the line-of-sight direction of the user 150 is specified. The line-of-sight direction is the direction in which the user 150 is actually directed by both eyes. The line-of-sight direction is defined as, for example, the direction in which a straight line passes through the center of the user's right eye and left eye and the point of gaze.
[Description of One Embodiment]
FIG. 4 is an XYZ space diagram showing an example of a virtual space according to an embodiment of the present invention. In FIG. 4, the XZ plane represents the ground surface, and the Y-axis extends in the height direction. As shown in FIG. 4, the virtual space 6 is formed in a spherical shape with the center 3 as the center. A virtual camera 1 and a virtual camera 2 are arranged in the virtual space 6 and each captures an image in the virtual space 6. The motion of the virtual camera 1 is associated with the motion of the motion sensor 130, and the image captured by the virtual camera 1 changes as the motion sensor 130 moves. The virtual camera 1 has a first-person viewpoint of the user 150 or a viewpoint associated with the user's avatar. On the other hand, the virtual camera 2 is arranged at an arbitrary position in a virtual space different from the virtual camera 1 and has a third person viewpoint different from the first person viewpoint associated with the user.

図4において、仮想カメラ1は基準視線4に基づく視界領域5内の視界画像8を撮影しており、仮想カメラ2は第2仮想カメラ空間画像7を撮影する。第2仮想カメラ空間画像7は、例えば仮想空間6内でサッカーゲームを行っているキャラクタ9とボールを含む画像である。視界画像8には、第2仮想カメラ空間画像7を描画した表示オブジェクト10が配置される。視界画像8の具体的な生成方法については後述する。   In FIG. 4, the virtual camera 1 captures a view image 8 in the view field 5 based on the reference line of sight 4, and the virtual camera 2 captures a second virtual camera space image 7. The second virtual camera space image 7 is an image including a character 9 playing a soccer game in the virtual space 6 and a ball, for example. A display object 10 in which the second virtual camera space image 7 is drawn is arranged in the view field image 8. A specific method for generating the view field image 8 will be described later.

次に、図4を参照して、動きセンサ130と、仮想空間6内に配置される仮想カメラ1との関係を説明する。仮想カメラ1と動きセンサ130の位置関係を説明するために、以下では動きセンサ130の位置は、トラッキングセンサ132を有する場合にはトラッキングセンサ132の位置とし、トラッキングセンサ132を有しない場合にはセンサ部114の位置とする。   Next, the relationship between the motion sensor 130 and the virtual camera 1 arranged in the virtual space 6 will be described with reference to FIG. In order to explain the positional relationship between the virtual camera 1 and the motion sensor 130, the position of the motion sensor 130 is the position of the tracking sensor 132 when the tracking sensor 132 is provided, and the sensor when the tracking sensor 132 is not provided. The position of the portion 114 is assumed.

本実施形態では、XZ面において、天球の中心3が仮想カメラ1とセンサ130を結ぶ線上に常に配置されるように調整することが好ましい。例えば、仮想カメラ1が常に中心3に配置されてもよい。また、HMD110を装着したユーザ150が移動して仮想カメラ1の位置がX方向に移動した場合に、中心3が仮想カメラ1と動きセンサ130の延長線上に位置するように、仮想空間6の領域が変更されてもよい。これらの場合には、仮想空間6における仮想カメラ1の位置は固定され、傾きのみが変化する。一方、動きセンサ130の任意の方向への移動に連動して仮想カメラ1の位置を移動させるようにすれば、仮想空間6における仮想カメラ1の位置は可変に設定される。   In the present embodiment, it is preferable to adjust so that the center 3 of the celestial sphere is always arranged on the line connecting the virtual camera 1 and the sensor 130 in the XZ plane. For example, the virtual camera 1 may always be arranged at the center 3. In addition, when the user 150 wearing the HMD 110 moves and the position of the virtual camera 1 moves in the X direction, the region of the virtual space 6 so that the center 3 is located on the extension line of the virtual camera 1 and the motion sensor 130. May be changed. In these cases, the position of the virtual camera 1 in the virtual space 6 is fixed, and only the tilt changes. On the other hand, if the position of the virtual camera 1 is moved in conjunction with the movement of the motion sensor 130 in an arbitrary direction, the position of the virtual camera 1 in the virtual space 6 is variably set.

図5は、HMDシステム100における仮想空間6の表示処理や、当該仮想空間6内に表示される表示オブジェクトの描画を行うための、制御回路部120の機能を示すブロック図である。制御回路部120は、主に動きセンサ130、注視センサ116からの入力に基づいて、ディスプレイ112への出力画像を制御する。   FIG. 5 is a block diagram illustrating functions of the control circuit unit 120 for performing display processing of the virtual space 6 in the HMD system 100 and drawing of display objects displayed in the virtual space 6. The control circuit unit 120 controls an output image to the display 112 mainly based on inputs from the motion sensor 130 and the gaze sensor 116.

制御回路部120は、表示制御部200と、オブジェクト制御部300と、記憶部400を備える。表示制御部200はHMD動作検知部210と、視線検知部220と、基準視線特定部230と、視界領域決定部240と、視界画像生成部250とを含む。オブジェクト制御部300は、第2仮想カメラ画像取得部310と、オブジェクト特定部320と、更新タイミング設定部330と、描画タイミング決定部340と、オブジェクト描画部350とを含む。記憶部400は、空間情報格納部410と、画像格納部420とを含む。さらに、記憶部400は、動きセンサ130や注視センサ116からの入力に対応した出力情報をディスプレイ112へ提供するための演算に必要な各種データを含む。なお、記憶部400は図2に示すメモリ204に対応する。   The control circuit unit 120 includes a display control unit 200, an object control unit 300, and a storage unit 400. The display control unit 200 includes an HMD motion detection unit 210, a line-of-sight detection unit 220, a reference line-of-sight specification unit 230, a field-of-view area determination unit 240, and a field-of-view image generation unit 250. The object control unit 300 includes a second virtual camera image acquisition unit 310, an object specification unit 320, an update timing setting unit 330, a drawing timing determination unit 340, and an object drawing unit 350. The storage unit 400 includes a spatial information storage unit 410 and an image storage unit 420. Furthermore, the storage unit 400 includes various data necessary for calculation for providing output information corresponding to inputs from the motion sensor 130 and the gaze sensor 116 to the display 112. Note that the storage unit 400 corresponds to the memory 204 shown in FIG.

まず、図4〜図6を参照して、仮想カメラ1に対応する視界領域5を決定するための処理フローを説明する。仮想空間6は、HMD110、注視センサ116、動きセンサ130、および制御回路部120の相互作用によって提供され得る。   First, with reference to FIGS. 4 to 6, a processing flow for determining the view area 5 corresponding to the virtual camera 1 will be described. The virtual space 6 can be provided by the interaction of the HMD 110, the gaze sensor 116, the motion sensor 130, and the control circuit unit 120.

まず、HMD動作検出部210は、動きセンサ130によって検知されたHMD110の位置情報や傾き情報を取得し、該HMD110の位置情報や傾き情報に基づいて、ユーザ150の視界方向を決定する(ステップS1)。   First, the HMD motion detection unit 210 acquires the position information and tilt information of the HMD 110 detected by the motion sensor 130, and determines the viewing direction of the user 150 based on the position information and tilt information of the HMD 110 (step S1). ).

次に、視線検知部220は、注視センサ116によって検出されたユーザ150の左右の眼球の動きに関する情報を取得し、該ユーザの眼球の動きに関する情報に基づいてユーザの視線方向を特定する(ステップS2)。   Next, the line-of-sight detection unit 220 acquires information regarding the movement of the left and right eyeballs of the user 150 detected by the gaze sensor 116, and specifies the user's line-of-sight direction based on the information regarding the movement of the user's eyeballs (step) S2).

次に、基準視線特定部230は、HMD110の傾きにより特定された視界方向、及び/又はユーザ150の視線方向に基づいて基準視線4を特定する(ステップS3)。例えば、ユーザ150の右目及び左目の中心と、視界方向に位置するディスプレイ112の中心とを結ぶ直線を基準視線4として特定する。また、例えば、注視センサ140により特定されたユーザの視線方向を基準視線4として特定する。   Next, the reference line-of-sight specifying unit 230 specifies the reference line of sight 4 based on the field-of-view direction specified by the inclination of the HMD 110 and / or the line-of-sight direction of the user 150 (step S3). For example, the straight line connecting the center of the right eye and the left eye of the user 150 and the center of the display 112 positioned in the viewing direction is specified as the reference line of sight 4. Further, for example, the user's line-of-sight direction specified by the gaze sensor 140 is specified as the reference line-of-sight 4.

次に、視界領域決定部240は、基準視線4に基づいて、仮想空間6における仮想カメラ1の視界領域5を決定する(ステップS4)。視界領域5は、基準視線4と仮想空間6のYZ断面によって定義される第1領域と、基準視線4と仮想空間6のXZ断面によって定義される第2領域とを有する。第1領域は、基準視線4を中心として所定の極角を含む範囲として設定され、第2領域は、基準視線4を中心として所定の方位角を含む範囲として設定される。図4に示すように、仮想カメラ1の視界領域5は仮想空間6のうちユーザ150の視界を構成する部分であり、HMD110の傾き、及び/またはユーザ150の視線方向などに対応付けられる。   Next, the view area determination unit 240 determines the view area 5 of the virtual camera 1 in the virtual space 6 based on the reference line of sight 4 (step S4). The field-of-view area 5 includes a first area defined by the reference line of sight 4 and the YZ section of the virtual space 6, and a second area defined by the reference line of sight 4 and the XZ section of the virtual space 6. The first region is set as a range including a predetermined polar angle with the reference line of sight 4 as the center, and the second region is set as a range including a predetermined azimuth with the reference line of sight 4 as the center. As shown in FIG. 4, the visual field area 5 of the virtual camera 1 is a part of the virtual space 6 that constitutes the visual field of the user 150, and is associated with the inclination of the HMD 110 and / or the visual line direction of the user 150.

次に、図4、図5、及び図7を参照して、仮想カメラ2により撮影された画像を用いて、視界領域5内の視界画像8を生成するための処理フローを説明する。
まず、第2仮想カメラ画像生成部310は、仮想カメラ2により撮影された第2仮想カメラ空間画像7を生成する。(ステップS5)。仮想カメラ2は、仮想空間で行われているアプリケーション(例えば、サッカーゲーム)の画像/映像を三人称視点で撮影する。
Next, a processing flow for generating the visual field image 8 in the visual field region 5 using the image captured by the virtual camera 2 will be described with reference to FIGS. 4, 5, and 7.
First, the second virtual camera image generation unit 310 generates the second virtual camera space image 7 captured by the virtual camera 2. (Step S5). The virtual camera 2 captures an image / video of an application (for example, a soccer game) being performed in a virtual space from a third person viewpoint.

そして、画像格納部420は、生成された第2仮想カメラ空間画像7を格納する。画像格納部420は、メモリ負荷を低減するために、撮影された第2仮想カメラ空間画像を所定期間のみ記憶し、所定期間経過後に当該画像を順次削除してもよい。画像格納部420は、仮想カメラ2が複数の場合は、複数の仮想カメラ毎に撮影した画像をそれぞれ格納する。   Then, the image storage unit 420 stores the generated second virtual camera space image 7. In order to reduce the memory load, the image storage unit 420 may store the captured second virtual camera space image only for a predetermined period, and sequentially delete the image after the predetermined period has elapsed. When there are a plurality of virtual cameras 2, the image storage unit 420 stores images taken for each of the plurality of virtual cameras.

画像格納部420は、また、所定の場面の第2仮想カメラ空間画像、例えば、サッカーゲームでキャラクタ9がゴールを決める直前から、キャラクタ9がポジションに戻っていくまでの期間に対応する場面のリプレイ画像のみを格納してもよい。後述するオブジェクト描画部350が格納したリプレイ画像を描画すべきと判定しなかった場合に、画像格納部420は該画像を順次メモリから削除してもよい。   The image storage unit 420 also replays a second virtual camera space image of a predetermined scene, for example, a scene corresponding to a period from just before the character 9 determines a goal in the soccer game until the character 9 returns to the position. Only images may be stored. If the object drawing unit 350 described later does not determine that a replay image stored is to be drawn, the image storage unit 420 may sequentially delete the images from the memory.

次に、オブジェクト特定部320は、ステップS4にて決定された視界領域5に基づいて、視界領域5内の表示オブジェクト10を特定する(ステップS6)。表示オブジェクト10は、仮想カメラ2により撮影された画像を描画する仮想空間内のディスプレイ用オブジェクトであり、仮想空間6内の任意の位置に配置されている。   Next, the object specifying unit 320 specifies the display object 10 in the visual field area 5 based on the visual field area 5 determined in step S4 (step S6). The display object 10 is a display object in a virtual space for drawing an image photographed by the virtual camera 2, and is arranged at an arbitrary position in the virtual space 6.

次に、オブジェクト特定部320は視界領域5内に表示オブジェクト10が複数存在するかを判定する(ステップS7)。視界領域5内に表示オブジェクトが複数存在しない場合、ステップS9へ進む。一方、視界領域5内に表示オブジェクトが複数存在する場合、更新タイミング設定部330は表示オブジェクト毎に更新タイミングを設定する(ステップS8)。   Next, the object specifying unit 320 determines whether or not there are a plurality of display objects 10 in the view area 5 (step S7). If a plurality of display objects do not exist in the view area 5, the process proceeds to step S9. On the other hand, when there are a plurality of display objects in the view field 5, the update timing setting unit 330 sets the update timing for each display object (step S8).

図8は、仮想空間6内の異なる位置に配置されている複数の表示オブジェクト10(1)〜(5)と視界領域5との関係を示す。複数の表示オブジェクトは、仮想空間内の異なる位置に配置されている複数の仮想カメラ2のうち1つの仮想カメラ2にそれぞれ対応づけられる。図8に示すように、表示オブジェクト10(1)は全体が視界領域5内に配置され、表示オブジェクト10(2)及び(3)はそれぞれ一部(a)のみが視界領域5内に配置される。表示オブジェクト10(4)、(5)は視界領域外に存在する。なお、複数の表示オブジェクトに1つの仮想カメラ2を対応付けてもよいし、1つの表示オブジェクトに複数の仮想カメラ2を対応付けてもよい。   FIG. 8 shows the relationship between a plurality of display objects 10 (1) to (5) arranged at different positions in the virtual space 6 and the visual field region 5. The plurality of display objects are respectively associated with one virtual camera 2 among the plurality of virtual cameras 2 arranged at different positions in the virtual space. As shown in FIG. 8, the entire display object 10 (1) is arranged in the view area 5, and only a part (a) of the display objects 10 (2) and (3) is arranged in the view area 5. The The display objects 10 (4) and (5) exist outside the field of view. One virtual camera 2 may be associated with a plurality of display objects, or a plurality of virtual cameras 2 may be associated with one display object.

図9は、表示オブジェクト毎に設定される更新タイミングを例示する図である。更新タイミング設定部330は、表示オブジェクトの少なくとも一部が視界領域5内に入っていれば、該表示オブジェクトを更新対象として、更新タイミングを設定する。例えば、更新タイミング設定部330は、視界領域5内の表示オブジェクト10(1)〜(3)を更新対象として、更新タイミングを設定する。そして、更新タイミング設定部330は、例えば、表示オブジェクト10(1)の更新タイミングをフレーム1、4に、表示オブジェクト10(2)の更新タイミングをフレーム2、5に、表示オブジェクト10(3)の更新タイミングをフレーム3、6にそれぞれ設定する。視界領域5内の複数の表示オブジェクト10(1)〜(3)は同時に更新されるのではなく、フレーム毎に例えば1つの表示オブジェクトを更新されるよう更新タイミングが設定される。視界領域5外に存在する表示オブジェクト10(4)、(5)の更新タイミングは設定されない。   FIG. 9 is a diagram illustrating the update timing set for each display object. The update timing setting unit 330 sets the update timing for the display object as an update target if at least a part of the display object is within the view field area 5. For example, the update timing setting unit 330 sets the update timing with the display objects 10 (1) to (3) in the field-of-view area 5 being updated. Then, for example, the update timing setting unit 330 sets the update timing of the display object 10 (1) to frames 1 and 4, the update timing of the display object 10 (2) to frames 2 and 5, and the display object 10 (3). Update timings are set for frames 3 and 6, respectively. The plurality of display objects 10 (1) to (3) in the view area 5 are not updated at the same time, but the update timing is set so that, for example, one display object is updated for each frame. The update timing of the display objects 10 (4) and (5) existing outside the visual field area 5 is not set.

次に、描画タイミング決定部340は、第2仮想カメラ空間画像7を表示オブジェクト10へ描画する所定のタイミングを決定する(ステップS9)。描画タイミング決定部340は、例えば、サッカーゲームが進行されている場合には、選手キャラクタがゴールを決めた後、当該選手キャラクタがポジションに戻っていくときを、第2仮想カメラ空間画像7を表示オブジェクト10へ描画する所定のタイミングとして決定する。第2仮想カメラ空間画像7は、所定のタイミングから表示オブジェクト10へ描画される。これにより、第2仮想カメラ空間画像7が表示オブジェクト10へ描画される期間が短くなり、表示オブジェクト10の描画処理に要する負荷を低減することができる。なお、描画タイミング決定部340は、第2仮想カメラ空間画像7を常に表示オブジェクト10へ描画してもよい。   Next, the drawing timing determination unit 340 determines a predetermined timing for drawing the second virtual camera space image 7 on the display object 10 (step S9). For example, when a soccer game is in progress, the drawing timing determination unit 340 displays the second virtual camera space image 7 when the player character returns to the position after the player character has determined a goal. The predetermined timing for drawing on the object 10 is determined. The second virtual camera space image 7 is drawn on the display object 10 from a predetermined timing. Thereby, the period during which the second virtual camera space image 7 is drawn on the display object 10 is shortened, and the load required for the drawing process of the display object 10 can be reduced. Note that the drawing timing determination unit 340 may always draw the second virtual camera space image 7 on the display object 10.

そして、描画タイミング決定部340が、第2仮想カメラ空間画像7を描画する所定のタイミングを決定すると、オブジェクト描画部350は、画像格納部420から第2仮想カメラ空間画像7を読み出し、該所定のタイミングで表示オブジェクト10へ第2仮想カメラ空間画像7を描画する(ステップS10)。このとき、オブジェクト描画部350は、ステップS6にて特定された視界領域5内の表示オブジェクト10のみ描画し、視界領域5外の表示オブジェクトは描画しない。   When the drawing timing determination unit 340 determines a predetermined timing for drawing the second virtual camera space image 7, the object drawing unit 350 reads the second virtual camera space image 7 from the image storage unit 420, and The second virtual camera space image 7 is drawn on the display object 10 at the timing (step S10). At this time, the object drawing unit 350 draws only the display object 10 in the visual field area 5 specified in step S6, and does not draw the display object outside the visual field area 5.

また、オブジェクト描画部350は、表示オブジェクトへ描画する所定の場面を判定してもよい。オブジェクト描画部350は、画像格納部420から読み出しした第2カメラ仮想空間画像のうち、描画する所定の場面、例えば、ゴールシーンの所定時間前からゴールを決めた所定時間後までの場面に対応する画像を描画する。   Further, the object drawing unit 350 may determine a predetermined scene to be drawn on the display object. The object drawing unit 350 corresponds to a predetermined scene to be drawn in the second camera virtual space image read from the image storage unit 420, for example, a scene from a predetermined time before the goal scene to a predetermined time after determining the goal. Draw an image.

視界領域5内に複数の表示オブジェクト10が存在する場合には、オブジェクト描画部350は、仮想カメラ2により撮影された第2仮想カメラ空間画像をそれぞれ、対応する表示オブジェクト10に描画する。このとき、図8に示すように、オブジェクト描画部350は、視界領域5内の表示オブジェクト10(2)、(3)の一部(a)へ第2仮想カメラ空間画像を描画してもよい。これにより描画処理に要する負荷を低減することができる。さらに、オブジェクト描画部350は、ステップS8にて設定された更新タイミングで、視界領域5内に複数の表示オブジェクトをそれぞれ更新する。1フレームで更新する表示オブジェクトの数を減らし、複数の表示オブジェクトのそれぞれを更新するタイミングを異ならせることにより、1回の更新に要する描画処理負荷を低減することができる。   When there are a plurality of display objects 10 in the view field 5, the object drawing unit 350 draws the second virtual camera space images photographed by the virtual camera 2 on the corresponding display objects 10, respectively. At this time, as illustrated in FIG. 8, the object drawing unit 350 may draw the second virtual camera space image on a part (a) of the display objects 10 (2) and (3) in the field-of-view area 5. . As a result, the load required for the drawing process can be reduced. Further, the object drawing unit 350 updates each of the plurality of display objects in the view area 5 at the update timing set in step S8. By reducing the number of display objects updated in one frame and changing the timing of updating each of the plurality of display objects, the drawing processing load required for one update can be reduced.

そして、視界画像生成部250は、空間情報格納部410を参照して、視界領域5に対応する視界画像8を生成する(ステップS11)。空間情報格納部410は、仮想空間6の3次元空間画像を格納する。視界画像生成部250は、視界領域5内に存在する表示オブジェクトを仮想空間内に配置した視界画像8を生成する。   Then, the visual field image generation unit 250 refers to the spatial information storage unit 410 and generates a visual field image 8 corresponding to the visual field region 5 (step S11). The spatial information storage unit 410 stores a three-dimensional spatial image of the virtual space 6. The visual field image generation unit 250 generates a visual field image 8 in which display objects existing in the visual field region 5 are arranged in the virtual space.

そして、HMD110は、視界画像8に関する情報を制御回路部120から受信して、ディスプレイ112に視界画像8を出力し、表示させる(ステップS12)。視界画像は左目用と右目用の2つの2次元画像を含み、これらがディスプレイ112に重畳されることにより、3次元画像としての仮想空間6がユーザ150に提供される。   And HMD110 receives the information regarding the visual field image 8 from the control circuit part 120, outputs the visual field image 8 on the display 112, and displays it (step S12). The field-of-view image includes two two-dimensional images for the left eye and right eye, and these are superimposed on the display 112 to provide the user 150 with a virtual space 6 as a three-dimensional image.

図10は、HMDを装着したユーザ150の視界領域に表示される画像の一例である。図10においては、基準視線に基づいて設定される視界領域5内に、視界画像8が含まれている。視界画像8には1つの表示オブジェクト10が配置されている。表示オブジェクト10は、三人称視点の仮想カメラ2で撮影された第2仮想カメラ空間画像7を描画する。本実施形態においては、HMDを装着しているユーザ150が頭部又は視線を動かすと、ユーザの頭部の動き又は視線の動きに連動して、視界画像8が変更される。視界画像8は、第2仮想カメラ空間画像7で構成されず、第2仮想カメラ空間画像7を描画する表示オブジェクト10を含んで構成される。本発明においては、仮想空間内に配置された表示オブジェクト10に第2仮想カメラ2空間画像を描画する。従って、HMDを装着したユーザは、HMDの動きに連動しない三人称視点の第2仮想カメラ空間画像7で全体が構成される画像を視認しない。本発明によると、HMDの動きに連動しない仮想空間画像を視認することにより生じる映像酔いを低減することができる。   FIG. 10 is an example of an image displayed in the field of view of the user 150 wearing the HMD. In FIG. 10, a visual field image 8 is included in the visual field region 5 set based on the reference visual line. One display object 10 is arranged in the view field image 8. The display object 10 draws the second virtual camera space image 7 taken by the third-person viewpoint virtual camera 2. In the present embodiment, when the user 150 wearing the HMD moves his / her head or line of sight, the view field image 8 is changed in conjunction with the movement of the user's head or line of sight. The field-of-view image 8 is not composed of the second virtual camera space image 7 but includes a display object 10 that draws the second virtual camera space image 7. In the present invention, the second virtual camera 2 space image is drawn on the display object 10 arranged in the virtual space. Therefore, the user wearing the HMD does not visually recognize an image composed entirely of the second virtual camera space image 7 of the third person viewpoint that is not linked to the movement of the HMD. According to the present invention, it is possible to reduce video sickness caused by visually recognizing a virtual space image that is not linked to the movement of the HMD.

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. Those skilled in the art will appreciate that various modifications of the embodiments can be made without departing from the spirit and scope of the invention as set forth in the appended claims.

100…ヘッドマウントディスプレイ(HMD)システム、110…HMD、112…ディスプレイ、114…センサ部、116…注視センサ、120…制御回路部、130…動きセンサ、132…トラッキングセンサ、200…表示制御部、300…オブジェクト制御部、400…記憶部、1…仮想カメラ1、2…仮想カメラ2、4…基準視線、5…視界領域、6…仮想空間、7…第2仮想カメラ空間画像、8…視界画像、9…キャラクタ、10…表示オブジェクト

DESCRIPTION OF SYMBOLS 100 ... Head mounted display (HMD) system, 110 ... HMD, 112 ... Display, 114 ... Sensor part, 116 ... Gaze sensor, 120 ... Control circuit part, 130 ... Motion sensor, 132 ... Tracking sensor, 200 ... Display control part, DESCRIPTION OF SYMBOLS 300 ... Object control part, 400 ... Memory | storage part, 1 ... Virtual camera 1, 2 ... Virtual camera 2, 4 ... Reference | standard line of sight, 5 ... View field area, 6 ... Virtual space, 7 ... 2nd virtual camera space image, 8 ... View field Image, 9 ... character, 10 ... display object

Claims (8)

ユーザが装着するヘッドマウントディスプレイに仮想空間画像を表示する方法であって、
前記ユーザに関連付けられた一人称視点とは異なる三人称視点を有する仮想空間内の仮想カメラにより撮影した仮想カメラ空間画像を生成するステップと、
前記仮想カメラ空間画像を前記仮想空間内の表示オブジェクトへ描画するステップと、
前記表示オブジェクトを前記仮想空間内に配置した視界画像を生成するステップと、
前記視界画像をヘッドマウントディスプレイに出力するステップと、
を含む方法。
A method of displaying a virtual space image on a head mounted display worn by a user,
Generating a virtual camera space image captured by a virtual camera in a virtual space having a third person viewpoint different from the first person viewpoint associated with the user;
Drawing the virtual camera space image on a display object in the virtual space;
Generating a visual field image in which the display object is arranged in the virtual space;
Outputting the field-of-view image to a head-mounted display;
Including methods.
前記仮想カメラ空間画像を描画する所定のタイミングを決定し、
前記所定のタイミングで前記仮想カメラ空間画像を表示オブジェクトに描画するステップと、
をさらに備える、請求項1に記載の方法。
Determining a predetermined timing for rendering the virtual camera space image;
Drawing the virtual camera space image on a display object at the predetermined timing;
The method of claim 1, further comprising:
前記仮想カメラ空間画像が前記表示オブジェクトへ描画する所定の場面に対応すると判定した場合に、前記仮想カメラ空間画像を前記表示オブジェクトに描画する、請求項1に記載の方法。   The method according to claim 1, wherein, when it is determined that the virtual camera space image corresponds to a predetermined scene to be drawn on the display object, the virtual camera space image is drawn on the display object. 前記仮想カメラは複数存在し、それぞれ前記仮想空間内の異なる位置に配置され、前記表示オブジェクトは複数存在し、それぞれ前記仮想空間内の異なる位置に配置され、
複数の表示オブジェクトはそれぞれ、複数の仮想カメラのうち1つの仮想カメラに対応する、請求項1に記載の方法。
There are a plurality of the virtual cameras, each arranged at different positions in the virtual space, the plurality of display objects are present, each arranged at a different position in the virtual space,
The method of claim 1, wherein each of the plurality of display objects corresponds to one virtual camera of the plurality of virtual cameras.
前記ヘッドマウントディスプレイを装着しているユーザの基準視線を特定するステップと、
前記基準視線に基づいて、前記ユーザの視界領域を決定するステップを更に含み、
前記仮想カメラ空間画像は、前記複数の表示オブジェクトのうち前記視界領域内の表示オブジェクトに描画され、前記複数の表示オブジェクトのうち前記視界領域外の表示オブジェクトに描画されない
請求項4に記載の方法。
Identifying a reference line of sight of a user wearing the head mounted display;
Determining a field of view of the user based on the reference line of sight;
5. The method according to claim 4, wherein the virtual camera space image is drawn on a display object in the view field among the plurality of display objects, and is not drawn on a display object outside the view field among the plurality of display objects.
前記視界領域内に複数の表示オブジェクトが存在する場合に、該視界領域内の複数の表示オブジェクトのそれぞれを更新するタイミングを異ならせるステップとを更に備える、請求項5に記載の方法。   The method according to claim 5, further comprising a step of changing a timing of updating each of the plurality of display objects in the viewing area when there are a plurality of display objects in the viewing area. 前記ユーザの基準視線は、前記ヘッドマウントディスプレイの傾き、前記ヘッドマウントディスプレイに含まれる注視センサにより特定されたユーザの視線方向のいずれか又は両方に基づいて特定される、請求項5に記載の方法。   The method according to claim 5, wherein the user's reference line-of-sight is specified based on one or both of an inclination of the head-mounted display and a user's line-of-sight direction specified by a gaze sensor included in the head-mounted display. . 請求項1〜7のいずれか1項に記載の方法をコンピュータに実行させるためのプログラム。   The program for making a computer perform the method of any one of Claims 1-7.
JP2017019584A 2017-02-06 2017-02-06 Image display method and program Pending JP2017097918A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017019584A JP2017097918A (en) 2017-02-06 2017-02-06 Image display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017019584A JP2017097918A (en) 2017-02-06 2017-02-06 Image display method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015231462A Division JP6097377B1 (en) 2015-11-27 2015-11-27 Image display method and program

Publications (1)

Publication Number Publication Date
JP2017097918A true JP2017097918A (en) 2017-06-01

Family

ID=58817078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017019584A Pending JP2017097918A (en) 2017-02-06 2017-02-06 Image display method and program

Country Status (1)

Country Link
JP (1) JP2017097918A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038468A (en) * 2018-09-04 2020-03-12 株式会社コロプラ Program, information processor and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038468A (en) * 2018-09-04 2020-03-12 株式会社コロプラ Program, information processor and method

Similar Documents

Publication Publication Date Title
JP6097377B1 (en) Image display method and program
JP6058184B1 (en) Method and program for controlling head mounted display system
JP5996814B1 (en) Method and program for providing image of virtual space to head mounted display
JP6074525B1 (en) Visual area adjustment method and program in virtual space
US9875079B1 (en) Information processing method and system for executing the information processing method
JP6087453B1 (en) Method and program for providing virtual space
TWI669635B (en) Method and device for displaying barrage and non-volatile computer readable storage medium
JP5980404B1 (en) Method of instructing operation to object in virtual space, and program
US10488949B2 (en) Visual-field information collection method and system for executing the visual-field information collection method
US20190146579A1 (en) Method of suppressing vr sickness, system for executing the method, and information processing device
JP2017138973A (en) Method and program for providing virtual space
US20180165887A1 (en) Information processing method and program for executing the information processing method on a computer
JP2017045296A (en) Program for controlling head-mounted display system
JP2017142783A (en) Visual field area adjustment method and program in virtual space
JP6223614B1 (en) Information processing method, information processing program, information processing system, and information processing apparatus
US9952679B2 (en) Method of giving a movement instruction to an object in a virtual space, and program therefor
US20220405996A1 (en) Program, information processing apparatus, and information processing method
JP6209252B1 (en) Method for operating character in virtual space, program for causing computer to execute the method, and computer apparatus
JP2017097918A (en) Image display method and program
JP2018010665A (en) Method of giving operational instructions to objects in virtual space, and program
JP2018195172A (en) Information processing method, information processing program, and information processing device
JP2017142769A (en) Method and program for providing head-mounted display with virtual space image
JP7300569B2 (en) Information processing device, information processing method and program
JP6941130B2 (en) Information processing method, information processing program and information processing device
JP2018163637A (en) Information processing method, information processing program, information processing system, and information processing device