JP2019125169A - Information processing device, information processing device program, head-mounted display, and display system - Google Patents

Information processing device, information processing device program, head-mounted display, and display system Download PDF

Info

Publication number
JP2019125169A
JP2019125169A JP2018005513A JP2018005513A JP2019125169A JP 2019125169 A JP2019125169 A JP 2019125169A JP 2018005513 A JP2018005513 A JP 2018005513A JP 2018005513 A JP2018005513 A JP 2018005513A JP 2019125169 A JP2019125169 A JP 2019125169A
Authority
JP
Japan
Prior art keywords
virtual
control mode
display
virtual space
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018005513A
Other languages
Japanese (ja)
Other versions
JP6388270B1 (en
Inventor
小川　和宏
Kazuhiro Ogawa
和宏 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Priority to JP2018005513A priority Critical patent/JP6388270B1/en
Application granted granted Critical
Publication of JP6388270B1 publication Critical patent/JP6388270B1/en
Publication of JP2019125169A publication Critical patent/JP2019125169A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To conduct an operation other than a change in posture of a virtual camera in a virtual space.SOLUTION: A control program PRG is configured to make a processor 1000 function as a display control unit 110 causing an image having a virtual space SP-V captured by a virtual camera CM to be displayed on a display part 12 provided in a HMD 1, and a posture information acquisition unit 114 acquiring posture information B about a posture of the HMD 1. The display control unit 110 is configured to: enable a display of an image by a posture control mode causing a position of the virtual camera CM to be changed based on the posture information B centering around a virtual point K, and causing a posture of the virtual camera CM to be changed based on the posture information B, and a position control mode causing a position of the virtual point K to be changed based on the posture information B, and causing the posture of the virtual camera CM to be changed based on the posture information B; and, when an amount of posture change indicated by the posture information B is equal to or more than a reference amount in a case where the display of the image by the posture control mode is conducted, switch a control mode from the posture control mode to the position control mode.SELECTED DRAWING: Figure 8

Description

本発明は、情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、表示システムに関する。   The present invention relates to an information processing apparatus, a program of the information processing apparatus, a head mounted display, and a display system.

近年、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）が広く普及しつつある。ＨＭＤは、ユーザの頭部に装着され、ユーザの眼前に設けられた表示部に対して、例えば、仮想カメラで仮想空間を撮像した画像であって、両眼視差を利用した立体視画像等を表示する（例えば、特許文献１参照）。このようなＨＭＤにおいては、一般的に、ＨＭＤの姿勢の変化に基づいて、仮想空間における仮想カメラの姿勢を変化させることで、ユーザが仮想空間の様々な方向を視認することを可能としている。   BACKGROUND In recent years, head mounted displays (HMDs) have become widespread. The HMD is, for example, an image obtained by imaging a virtual space with a virtual camera with respect to a display unit mounted on the head of the user and provided in front of the user's eyes, and a stereoscopic image using binocular parallax etc. It displays (for example, refer patent document 1). In such an HMD, generally, the user can visually recognize various directions of the virtual space by changing the attitude of the virtual camera in the virtual space based on the change of the attitude of the HMD.

特開２０１６−１１５１２２号公報JP, 2016-115122, A

ところで、ＨＭＤを装着したユーザは、ユーザの眼前に設けられた表示部を目視しているため、表示部以外の部分を見ることが難しい場合がある。よって、ＨＭＤを装着したユーザにとって、例えば、手に持って操作されるコントローラ等の操作が負担となる場合がある。このため、例えば、ＨＭＤを利用したゲーム等において、ＨＭＤを装着したユーザに対して過大な負担をかけないためには、ＨＭＤの姿勢の変化により、ユーザからの多様な指示を受け付けることが好ましい。しかし、ＨＭＤの姿勢の変化により、ユーザからの指示を受け付ける場合、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが難しく、例えば、仮想空間における仮想カメラの位置の変化等の操作が困難となることがあった。   By the way, since the user wearing the HMD views the display unit provided in front of the user's eyes, it may be difficult to view a portion other than the display unit. Therefore, for example, a user who wears the HMD may be burdened with the operation of a controller or the like that is operated by holding the hand. Therefore, for example, in a game using the HMD, it is preferable to receive various instructions from the user according to the change of the posture of the HMD in order not to impose an excessive burden on the user wearing the HMD. However, when an instruction from the user is received due to a change in the posture of the HMD, it is difficult to perform an operation other than a change in the posture of the virtual camera in the virtual space. For example, an operation such as a change in the position of the virtual camera in the virtual space is Sometimes it was difficult.

本発明は、上述した事情を鑑みてなされたものであり、ＨＭＤの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことを可能とする技術の提供を、解決課題の一つとする。   The present invention has been made in view of the above-described circumstances, and it is an object of the present invention to provide a technique that enables operations other than the change of the attitude of the virtual camera in the virtual space by changing the attitude of the HMD. One.

以上の課題を解決するために、本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第１制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第２制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第１制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、ことを特徴とする。   In order to solve the above problems, a program of an information processing apparatus according to an aspect of the present invention is a program of an information processing apparatus including a processor, and the processor is an image obtained by capturing an image of a virtual space with a virtual camera. A display control unit that causes a display unit provided on a head mount display to display a stereoscopic image using binocular parallax; and an acquisition unit that acquires attitude information on the attitude of the head mount display. The display control unit changes the position of the virtual camera in the virtual space based on the attitude information, centering on the virtual point set in the virtual space, the attitude of the virtual camera in the virtual space Based on the posture information, and a position of the virtual point in the virtual space based on the posture information. And a second control mode for changing the position of the virtual camera in the virtual space based on the posture information, and displaying an image in a plurality of control modes including the second control mode, according to the first control mode When an image is displayed, the control mode is switched from the first control mode to the second control mode when the amount of change in posture indicated by the posture information becomes equal to or greater than a reference amount. It is characterized by

本発明の実施形態に係るヘッドマウントディスプレイ１の概要の一例を示す説明図である。It is an explanatory view showing an example of an outline of head mount display 1 concerning an embodiment of the present invention. ヘッドマウントディスプレイ１の使用例を示す説明図である。FIG. 6 is an explanatory view showing a use example of the head mounted display 1; 仮想空間ＳP-Vの一例を示す説明図である。It is an explanatory view showing an example of virtual space SP-V. 仮想空間ＳP-Vにおける仮想カメラＣMの一例を示す説明図である。It is an explanatory view showing an example of virtual camera CM in virtual space SP-V. 表示画像ＧHの一例を示す説明図である。It is an explanatory view showing an example of display picture GH. 視認画像ＧSの一例を示す説明図である。It is an explanatory view showing an example of visual recognition picture GS. 仮想空間ＳP-Vにおける仮想カメラＣMの一例を示す説明図である。It is an explanatory view showing an example of virtual camera CM in virtual space SP-V. 端末装置１０の構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of a terminal device 10; 端末装置１０のハードウェア構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of a hardware configuration of a terminal device 10. 端末装置１０の動作の一例を示すフローチャートである。5 is a flowchart showing an example of the operation of the terminal device 10; 端末装置１０の動作の一例を示すフローチャートである。5 is a flowchart showing an example of the operation of the terminal device 10; 端末装置１０の動作の一例を示すフローチャートである。5 is a flowchart showing an example of the operation of the terminal device 10; 通常制御モードにおける仮想カメラＣMの動作の一例を示す説明図である。FIG. 18 is an explanatory diagram showing an example of the operation of the virtual camera CM in the normal control mode. 視認画像ＧSの一例を示す説明図である。It is an explanatory view showing an example of visual recognition picture GS. 姿勢制御モードにおける仮想カメラＣMの動作の一例を示す説明図である。FIG. 18 is an explanatory view showing an example of the operation of the virtual camera CM in the attitude control mode. 視認画像ＧSの一例を示す説明図である。It is an explanatory view showing an example of visual recognition picture GS. 位置制御モードにおける仮想カメラＣMの動作の一例を示す説明図である。FIG. 18 is an explanatory diagram showing an example of the operation of the virtual camera CM in the position control mode. 視認画像ＧSの一例を示す説明図である。It is an explanatory view showing an example of visual recognition picture GS. 変形例１に係る端末装置１０の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the terminal device 10 which concerns on the modification 1. FIG. 変形例１に係る端末装置１０の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the terminal device 10 which concerns on the modification 1. FIG. 変形例６に係る表示システムＳYSの構成の一例を示すブロック図である。FIG. 21 is a block diagram showing an example of the configuration of a display system SYS according to Modification 6.

以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In each of the drawings, the dimensions and the scale of each part are appropriately different from the actual ones. Further, the embodiment described below is a preferable specific example of the present invention, and therefore, various technically preferable limitations are added, but the scope of the present invention particularly limits the present invention in the following description. As long as there is no statement of purport, it is not limited to these forms.

［１．実施形態］
以下、本発明の実施形態を説明する。 [1. Embodiment]
Hereinafter, embodiments of the present invention will be described.

［１．１．ヘッドマウントディスプレイの概要］
以下、図１乃至図７を参照しながら、本実施形態に係るヘッドマウントディスプレイ１（以下、「ＨＭＤ１」と称する）の概要の一例について説明する。 [1.1. Outline of Head Mounted Display]
Hereinafter, an example of the outline of the head mounted display 1 (hereinafter, referred to as “HMD 1”) according to the present embodiment will be described with reference to FIGS. 1 to 7.

図１は、本実施形態に係るＨＭＤ１の概要の一例を説明するための分解斜視図である。図２は、本実施形態に係るＨＭＤ１の利用イメージの一例を説明するための説明図である。   FIG. 1 is an exploded perspective view for explaining an example of the outline of the HMD 1 according to the present embodiment. FIG. 2 is an explanatory diagram for explaining an example of a usage image of the HMD 1 according to the present embodiment.

図１に示すように、本実施形態に係るＨＭＤ１は、端末装置１０と、装着具９０と、を有する。
端末装置１０は、画像を表示するための表示部１２を備える。本実施形態では、端末装置１０としてスマートフォンを採用する場合を、一例として想定する。但し、端末装置１０は、ＨＭＤ１に設けられるための専用の表示デバイスであってもよい。 As shown in FIG. 1, the HMD 1 according to the present embodiment includes a terminal device 10 and a mounting tool 90.
The terminal device 10 includes a display unit 12 for displaying an image. In this embodiment, the case where a smart phone is adopted as the terminal device 10 is assumed as an example. However, the terminal device 10 may be a dedicated display device to be provided in the HMD 1.

装着具９０は、図２に示すように、ＨＭＤ１をユーザＵの頭部に装着するための構成要素である。
図１に示すように、装着具９０は、ＨＭＤ１をユーザＵの頭部に装着するための一対のテンプル９１L及び９１Rと、端末装置１０をＨＭＤ１に取り付けるための取付孔９２と、ユーザＵがＨＭＤ１を頭部に装着した場合に、ユーザＵの両眼が存在する位置に対応するように設けられた一対の貫通孔９２L及び９２Rと、を備える。なお、貫通孔９２L及び９２Rの各々には、レンズが設けられていてもよい。そして、ユーザＵが、ＨＭＤ１を頭部に装着した場合、ユーザＵの左眼は、貫通孔９２Lを介して、または、取付孔９２に設けられたレンズを介して、取付孔９２に挿入された端末装置１０が具備する表示部１２を視認することができ、ユーザＵの右目は、貫通孔９２Rを介して、または、貫通孔９２Rに設けられたレンズを介して、取付孔９２に挿入された端末装置１０が具備する表示部１２を視認することができる。 The mounting tool 90 is a component for mounting the HMD 1 on the head of the user U, as shown in FIG.
As shown in FIG. 1, the mounting tool 90 includes a pair of temples 91L and 91R for mounting the HMD 1 on the head of the user U, a mounting hole 92 for mounting the terminal device 10 on the HMD 1, and the user U HMD1. And a pair of through holes 92L and 92R provided so as to correspond to the positions where both eyes of the user U are present. A lens may be provided in each of the through holes 92L and 92R. Then, when the user U wears the HMD 1 on the head, the left eye of the user U is inserted into the mounting hole 92 through the through hole 92L or through the lens provided in the mounting hole 92. The display unit 12 included in the terminal device 10 can be visually recognized, and the right eye of the user U is inserted into the mounting hole 92 through the through hole 92R or through the lens provided in the through hole 92R. The display unit 12 included in the terminal device 10 can be viewed.

図２に示すように、ＨＭＤ１を頭部に装着したユーザＵは、頭部の姿勢を変化させることにより、ＨＭＤ１の姿勢を変化させることができる。以下では、説明の便宜上、ＨＭＤ１に固定された座標系である装置座標系ΣＳを導入する。
装置座標系ΣＳとは、例えば、ＨＭＤ１の所定箇所に原点を有し、互いに直交するＸＳ軸、ＹＳ軸、及び、ＺＳ軸を有する３軸の直交座標系である。本実施形態では、図２に示すように、ユーザＵがＨＭＤ１を装着した場合に、＋ＸＳ方向がユーザＵから見て前方方向となり、＋ＹＳ方向がユーザＵから見て左手方向となり、＋ＺＳ方向がユーザＵから見て上方向となるように、装置座標系ΣＳが設定されている場合を、一例として想定する。 As shown in FIG. 2, the user U wearing the HMD 1 on his head can change the posture of the HMD 1 by changing the posture of the head. In the following, for the convenience of description, a device coordinate system S S which is a coordinate system fixed to the HMD 1 is introduced.
The device coordinate system S S is, for example, a three-axis orthogonal coordinate system having an origin at a predetermined position of the HMD 1 and having X S axes, Y S axes, and Z S axes orthogonal to each other. In the present embodiment, as shown in FIG. 2, when the user U wearing the HMD 1, + X S direction is the forward direction viewed from the user U, it becomes left direction + Y S direction as viewed from the user U, + Z S It is assumed as an example that the device coordinate system よ うS is set such that the direction is upward viewed from the user U.

図２に示すように、ＨＭＤ１を頭部に装着したユーザＵは、頭部の姿勢を変化させることで、ＸＳ軸周りの回転方向、すなわち、ロール方向ＱＸにＨＭＤ１が回転するように、ＨＭＤ１の姿勢を変化させることが可能であり、ＹＳ軸周りの回転方向、すなわち、ピッチ方向ＱＹにＨＭＤ１が回転するように、ＨＭＤ１の姿勢を変化させることが可能であり、また、ＺＳ軸周りの回転方向、すなわち、ヨー方向ＱＺにＨＭＤ１が回転するように、ＨＭＤ１の姿勢を変化させることが可能である。すなわち、ＨＭＤ１を頭部に装着したユーザＵは、頭部の姿勢を変化させることで、ロール方向ＱＸ、ピッチ方向ＱＹ、及び、ヨー方向ＱＺの一部または全部を合成した任意の回転方向、すなわち、任意の回転軸ＷＳ周りの回転方向ＱＷにＨＭＤ１が回転するように、ＨＭＤ１の姿勢を変化させることが可能である。 As shown in FIG. 2, the user U wearing the HMD1 the head, by changing the posture of the head, the direction of rotation about X S axis, i.e., as HMD1 in the roll direction Q X rotates, it is possible to change the attitude of HMD1, the direction of rotation about Y S axis, i.e., as HMD1 the pitch direction Q Y is rotated, it is possible to change the attitude of HMD1, also, Z S direction of rotation about the axis, i.e., as HMD1 in the yaw direction Q Z is rotated, it is possible to change the attitude of HMD1. That is, the user U who wears the HMD 1 on the head changes the posture of the head to perform arbitrary rotation combining a part or all of the roll direction Q X , the pitch direction Q Y , and the yaw direction Q Z It is possible to change the attitude of the HMD 1 such that the HMD 1 rotates in the direction, that is, the rotational direction Q W around an arbitrary rotation axis W S.

端末装置１０は、仮想空間ＳP-Vに存在する仮想的なカメラである仮想カメラＣMにより、仮想空間ＳP-Vを撮像し、撮像結果を示す画像である表示画像ＧHを、表示部１２に表示させる。   The terminal device 10 captures an image of the virtual space SP-V with the virtual camera CM, which is a virtual camera existing in the virtual space SP-V, and displays the display image GH, which is an image indicating an imaging result, on the display unit 12 Let

図３は、仮想空間ＳP-V及び仮想カメラＣMを説明するための説明図である。   FIG. 3 is an explanatory diagram for explaining the virtual space SP-V and the virtual camera CM.

本実施形態では、図３に示すように、仮想空間ＳP-Vにおいて、仮想的なキャラクタＶ（「所定のオブジェクト」の一例）が存在する場合を、一例として想定する。また、本実施形態では、図３に示すように、仮想カメラＣMが、左眼用の仮想カメラＣM-Lと、右眼用の仮想カメラＣM-Rとを含む場合を、一例として想定する。
また、以下では、説明の便宜上、図３に示すように、仮想空間ＳP-Vに固定された座標系である仮想空間座標系ΣＶを導入する。仮想空間座標系ΣＶとは、例えば、仮想空間ＳP-Vの所定箇所に原点を有し、互いに直交するＸＶ軸、ＹＶ軸、及び、ＺＶ軸を有する３軸の直交座標系である。 In the present embodiment, as shown in FIG. 3, the case where a virtual character V (an example of “predetermined object”) exists in the virtual space SP-V is assumed as an example. Further, in the present embodiment, as shown in FIG. 3, it is assumed that the virtual camera CM includes the virtual camera CM-L for the left eye and the virtual camera CM-R for the right eye as an example.
In the following, for convenience of explanation, as shown in FIG. 3, a virtual space coordinate system VV , which is a coordinate system fixed to the virtual space SP-V, is introduced. A virtual space coordinate system sigma V, for example, has an origin at a predetermined position in the virtual space SP-V, X V axes perpendicular to one another, Y V axis, and, in the orthogonal coordinate system of the three axes having a Z V axis is there.

図４は、仮想空間ＳP-Vを、＋ＺＶ方向から平面視した場合の、仮想カメラＣM及びキャラクタＶの位置関係を説明するための説明図である。なお、図４では、仮想カメラＣMが、キャラクタＶを、キャラクタＶの正面方向から撮像している場合を例示している。 4, the virtual space SP-V, when viewed in plan from the + Z V direction is an explanatory view for explaining the positional relationship between the virtual camera CM and the character V. Note that FIG. 4 exemplifies a case where the virtual camera CM captures the character V from the front direction of the character V.

以下では、図４に示すように、仮想空間ＳP-Vにおける仮想カメラＣM-Lの位置を、位置ＰC-Lと称し、仮想空間ＳP-Vにおける仮想カメラＣM-Rの位置を、位置ＰC-Rと称し、位置ＰC-L及び位置ＰC-Rの中点を、位置ＰCと称する。
また、以下では、図４に示すように、仮想カメラＣM-Lの光軸方向を、撮像方向ＬC-Lと称し、仮想カメラＣM-Rの光軸方向を、撮像方向ＬC-Rと称し、撮像方向ＬC-Lを示すベクトルと、撮像方向ＬC-Rを示すベクトルとの和により示される方向を、撮像方向ＬCと称する。なお、本実施形態では、撮像方向ＬC-Lと撮像方向ＬC-Rとが、同一の方向である場合を想定する。このため、本実施形態では、撮像方向ＬCは、撮像方向ＬC-L及び撮像方向ＬC-Rと同一の方向となる。
なお、位置ＰCと交差し、撮像方向ＬCに延在する直線は、「基準直線」の一例である。 Hereinafter, as shown in FIG. 4, the position of the virtual camera CM-L in the virtual space SP-V is referred to as a position PC-L, and the position of the virtual camera CM-R in the virtual space SP-V is It is called R, and the midpoint between the position PC-L and the position PC-R is called a position PC.
In the following, as shown in FIG. 4, the optical axis direction of the virtual camera CM-L is referred to as an imaging direction LC-L, and the optical axis direction of the virtual camera CM-R is referred to as an imaging direction LC-R A direction indicated by the sum of a vector indicating the imaging direction LC-L and a vector indicating the imaging direction LC-R is referred to as an imaging direction LC. In the present embodiment, it is assumed that the imaging direction LC-L and the imaging direction LC-R are in the same direction. Therefore, in the present embodiment, the imaging direction LC is the same as the imaging direction LC-L and the imaging direction LC-R.
A straight line intersecting with the position PC and extending in the imaging direction LC is an example of the “reference straight line”.

図５は、仮想カメラＣMが仮想空間ＳP-Vを撮像した結果である表示画像ＧHの一例を示す図である。なお、図５では、図４に示すように、仮想カメラＣMが、キャラクタＶを、キャラクタＶの正面方向から撮像した場合を想定する。   FIG. 5 is a view showing an example of a display image GH which is a result of the virtual camera CM imaging the virtual space SP-V. In FIG. 5, as shown in FIG. 4, it is assumed that the virtual camera CM images the character V from the front direction of the character V.

図５に示すように、表示部１２のうち、貫通孔９２Lを介して視認可能な左眼用視認領域１２-Lには、仮想カメラＣM-Lによる撮像結果、例えば、仮想カメラＣM-LによりキャラクタＶを撮像した結果であるキャラクタ画像ＧV-Lが表示される。また、表示部１２のうち、貫通孔９２Rを介して視認可能な右眼用視認領域１２-Rには、仮想カメラＣM-Rによる撮像結果、例えば、仮想カメラＣM-RによりキャラクタＶを撮像した結果であるキャラクタ画像ＧV-Rが表示される。
すなわち、ユーザＵは、左眼によりキャラクタ画像ＧV-Lを視認し、右眼によりキャラクタ画像ＧV-Rを視認することができる。このため、ユーザＵは、図６に例示するように、表示部１２において、キャラクタＶ等の仮想空間ＳP-V内に存在する仮想的な物体を、立体的な３次元の物体として表した視認画像ＧSを視認することが可能となる。 As shown in FIG. 5, in the display unit 12, in the left-eye visual recognition region 12 -L visible through the through hole 92L, an imaging result by the virtual camera CM-L, for example, the virtual camera CM-L A character image GV-L, which is the result of imaging the character V, is displayed. Further, in the right-eye visual recognition area 12-R of the display unit 12 visible through the through hole 92R, an image pickup result by the virtual camera CM-R, for example, the character V is imaged by the virtual camera CM-R A character image GV-R as a result is displayed.
That is, the user U can visually recognize the character image GV-L with the left eye and can visually recognize the character image GV-R with the right eye. For this reason, as illustrated in FIG. 6, the user U visually recognizes in the display unit 12 a virtual object such as the character V that is present in the virtual space SP-V as a three-dimensional three-dimensional object. It is possible to visually recognize the image GS.

なお、以下では、説明の便宜上、図６に示すような、表示部１２に固定された座標系である画面座標系ΣＤを導入する。ここで、画面座標系ΣＤとは、ユーザＵが視認画像ＧSを視認している場合に、表示部１２内の位置を表現するための座標系である。より具体的には、画面座標系ΣＤとは、例えば、表示部１２の所定箇所に原点を有し、互いに直交するＹＤ軸及びＺＤ軸を有する２軸の直交座標系である。なお、本実施形態では、端末装置１０が取付孔９２に挿入されている場合、ＹＤ軸及びＹＳ軸は平行であり、また、ＺＤ軸及びＺＳ軸は平行であることとする。
また、以下では、説明の便宜上、図７に例示するように、仮想空間ＳP-Vにおける、仮想カメラＣMとキャラクタＶとの相対的な位置関係を説明する場合に、２台の仮想カメラＣM-L及びＣM-Rを、１台の仮想カメラＣMとして表現することとする。そして、以下では、仮想空間ＳP-Vにおける仮想カメラＣMの位置が位置ＰCであり、仮想カメラＣMの光軸方向が撮像方向ＬCであることと看做す。
また、以下では、説明の便宜上、図７に示すように、仮想空間ＳP-Vにおける仮想カメラＣMに固定された座標系であるカメラ座標系ΣＣを導入する。カメラ座標系ΣＣとは、例えば、仮想空間ＳP-Vのうち仮想カメラＣMの位置ＰCに原点を有し、互いに直交するＸＣ軸、ＹＣ軸、及び、ＺＣ軸を有する３軸の直交座標系である。本実施形態では、ＨＭＤ１を装着したユーザＵから見て、ＸＣ軸がＸＳ軸と同一の方向であり、ＹＣ軸がＹＳ軸と同一の方向であり、ＺＣ軸がＺＳ軸と同一の方向である場合を、一例として想定する。すなわち、本実施形態では、ＸＣ軸が、仮想カメラＣMの光軸方向に延在する場合を、一例として想定する。なお、図７では、カメラ座標系ΣＣの原点と位置ＰCとを異なる位置として示しているが、これは図示の都合上であって、カメラ座標系ΣＣの原点と位置ＰCとは同一の位置である（後述する図１３、図１５、及び、図１７でも同様）。 In the following, for convenience of explanation, as shown in FIG. 6, to introduce the screen coordinate system sigma D is a fixed coordinate system on the display unit 12. Here, the screen coordinate system Σ D is a coordinate system for expressing the position in the display unit 12 when the user U visually recognizes the visual recognition image GS. More specifically, the screen coordinate system sigma D, for example, has an origin at a predetermined position of the display unit 12, a two-axis orthogonal coordinate system having Y D axis and Z D axis orthogonal to each other. In the present embodiment, when the terminal device 10 is inserted into the mounting hole 92, Y D axis and Y S axis is parallel, also, it is assumed that Z D axis and Z S axis is parallel.
Further, in the following, for the sake of convenience of explanation, as illustrated in FIG. 7, when describing the relative positional relationship between the virtual camera CM and the character V in the virtual space SP-V, two virtual cameras CM- Let L and CM-R be represented as one virtual camera CM. Then, in the following, it is considered that the position of the virtual camera CM in the virtual space SP-V is the position PC, and the optical axis direction of the virtual camera CM is the imaging direction LC.
In the following, for convenience of explanation, as shown in FIG. 7, a camera coordinate system C C which is a coordinate system fixed to the virtual camera CM in the virtual space SP-V is introduced. The camera coordinate system C C has, for example, an origin at the position PC of the virtual camera CM in the virtual space SP-V, and three axes of the X C axis, the Y C axis, and the Z C axis orthogonal to each other. It is an orthogonal coordinate system. In the present embodiment, as viewed from the user U wearing the HMD 1, a X C-axis X S axis in the same direction, Y C axis is the same direction as the Y S axis, Z C axis Z S axis The case of the same direction as is assumed as an example. That is, in this embodiment, X C-axis, a case extending in the optical axis direction of the virtual camera CM, it is assumed as an example. Although FIG. 7 shows the origin of the camera coordinate system C C and the position PC as different positions, this is for convenience of illustration and the origin of the camera coordinate system C C and the position PC are the same. It is a position (the same applies to FIG. 13, FIG. 15, and FIG. 17 described later).

［１．２．端末装置の構成］
以下、図８及び図９を参照しながら、端末装置１０の構成の一例について説明する。 [1.2. Terminal Configuration]
Hereinafter, an example of a structure of the terminal device 10 is demonstrated, referring FIG.8 and FIG.9.

図８は、端末装置１０の構成の一例を示す機能ブロック図である。   FIG. 8 is a functional block diagram showing an example of the configuration of the terminal device 10. As shown in FIG.

図８に示すように、端末装置１０は、端末装置１０の各部を制御する制御部１１と、画像を表示するための表示部１２と、端末装置１０のユーザＵによる操作を受け付けるための操作部１３と、端末装置１０の姿勢変化を検出して検出結果を示す姿勢情報Ｂを出力する姿勢情報生成部１４と、端末装置１０の制御プログラムＰRGを含む各種情報を記憶する記憶部１５と、を備える。   As shown in FIG. 8, the terminal device 10 includes a control unit 11 that controls each unit of the terminal device 10, a display unit 12 for displaying an image, and an operation unit for receiving an operation by the user U of the terminal device 10. 13, a posture information generation unit 14 that detects posture change of the terminal device 10 and outputs posture information B indicating a detection result, and a storage unit 15 that stores various information including the control program PRG of the terminal device 10. Prepare.

本実施形態では、姿勢情報生成部１４として、例えば、３軸の角速度センサ１００２（図９参照）を採用する。具体的には、姿勢情報生成部１４は、単位時間におけるロール方向ＱＸの姿勢変化を検出するＸ軸角速度センサと、単位時間におけるピッチ方向ＱＹの姿勢変化を検出するＹ軸角速度センサと、単位時間におけるヨー方向ＱＺの姿勢変化を検出するＺ軸角速度センサと、を備える。そして、姿勢情報生成部１４は、Ｘ軸角速度センサ、Ｙ軸角速度センサ、及び、Ｚ軸角速度センサによる検出結果を示す姿勢情報Ｂを、周期的に出力する。 In the present embodiment, for example, a triaxial angular velocity sensor 1002 (see FIG. 9) is adopted as the posture information generation unit 14. Specifically, the posture information generation unit 14 includes an X-axis angular velocity sensor for detecting a change in the attitude of the roll direction Q X per unit time, and Y-axis angular velocity sensor for detecting a posture change in the pitch direction Q Y per unit time, It comprises a Z-axis angular velocity sensor for detecting a posture change in the yaw direction Q Z in the unit time, the. Then, the posture information generation unit 14 periodically outputs posture information B indicating a detection result by the X-axis angular velocity sensor, the Y-axis angular velocity sensor, and the Z-axis angular velocity sensor.

制御部１１は、姿勢情報Ｂを取得する姿勢情報取得部１１４（「取得部」の一例）と、姿勢情報Ｂに基づいて表示画像ＧHを生成する表示制御部１１０と、を備える。   The control unit 11 includes a posture information acquisition unit 114 (an example of an “acquisition unit”) that acquires the posture information B, and a display control unit 110 that generates the display image GH based on the posture information B.

表示制御部１１０は、モード指定部１１１と、仮想カメラ制御部１１２と、表示情報生成部１１３と、を備える。   The display control unit 110 includes a mode designation unit 111, a virtual camera control unit 112, and a display information generation unit 113.

仮想カメラ制御部１１２は、姿勢情報Ｂに基づいて、仮想空間ＳP-Vにおける仮想カメラＣMを制御する。なお、本実施形態において、仮想カメラ制御部１１２は、複数の制御モードによる仮想カメラＣMの制御が可能である。具体的には、仮想カメラ制御部１１２は、通常制御モードによる仮想カメラＣMの制御と、姿勢制御モードによる仮想カメラＣMの制御と、位置制御モードによる仮想カメラＣMの制御と、が可能である。
ここで、通常制御モードとは、仮想空間ＳP-Vにおける仮想カメラＣMの位置ＰCを固定したままで、仮想カメラＣMの姿勢を変化させるように、仮想カメラＣMを制御する制御モードである。
また、姿勢制御モードとは、仮想空間ＳP-Vにおける仮想点Ｋを中心に仮想カメラＣMを回転させることで、仮想空間ＳP-Vにおける仮想カメラＣMの姿勢を変化させるように、仮想カメラＣMを制御する制御モードである。
また、位置制御モードとは、仮想空間ＳP-Vにおける仮想カメラＣMの姿勢を固定したままで、仮想カメラＣMの位置ＰCを変化させるように、仮想カメラＣMを制御する制御モードである。 The virtual camera control unit 112 controls the virtual camera CM in the virtual space SP-V based on the posture information B. In the present embodiment, the virtual camera control unit 112 can control the virtual camera CM in a plurality of control modes. Specifically, the virtual camera control unit 112 is capable of controlling the virtual camera CM in the normal control mode, controlling the virtual camera CM in the attitude control mode, and controlling the virtual camera CM in the position control mode.
Here, the normal control mode is a control mode for controlling the virtual camera CM so as to change the attitude of the virtual camera CM while fixing the position PC of the virtual camera CM in the virtual space SP-V.
In the attitude control mode, the virtual camera CM is rotated about the virtual point K in the virtual space SP-V to change the attitude of the virtual camera CM in the virtual space SP-V. It is a control mode to control.
The position control mode is a control mode for controlling the virtual camera CM so as to change the position PC of the virtual camera CM while fixing the posture of the virtual camera CM in the virtual space SP-V.

モード指定部１１１は、姿勢情報Ｂに基づいて、仮想カメラ制御部１１２の制御モードを指定する。
表示情報生成部１１３は、仮想カメラＣMによる仮想空間ＳP-Vの撮像結果を表す表示情報ＤSを生成し、当該表示情報ＤSを表示部１２に供給することで、表示部１２に対して表示画像ＧHを表示させる。 The mode designation unit 111 designates the control mode of the virtual camera control unit 112 based on the posture information B.
The display information generation unit 113 generates the display information DS representing the imaging result of the virtual space SP-V by the virtual camera CM, and supplies the display information DS to the display unit 12 to display the display image on the display unit 12. Display GH.

図９は、端末装置１０のハードウェア構成の一例を示すハードウェア構成図である。   FIG. 9 is a hardware configuration diagram showing an example of the hardware configuration of the terminal device 10. As shown in FIG.

図９に示すように、端末装置１０は、端末装置１０の各部を制御するプロセッサ１０００（「情報処理装置」の一例）と、各種情報を記憶するメモリ１００１と、端末装置１０の姿勢変化を検出して検出結果を示す姿勢情報Ｂを出力する角速度センサ１００２と、各種画像を表示可能な表示装置１００３と、端末装置１０のユーザＵによる操作を受け付けるための入力装置１００４と、を備える。   As shown in FIG. 9, the terminal device 10 detects a change in attitude of the terminal device 10, a processor 1000 (an example of an “information processing device”) that controls each part of the terminal device 10, a memory 1001 that stores various information, An angular velocity sensor 1002 that outputs posture information B indicating a detection result, a display device 1003 capable of displaying various images, and an input device 1004 for receiving an operation by the user U of the terminal device 10 are provided.

メモリ１００１は、例えば、プロセッサ１０００の作業領域として機能するＲＡＭ（Random Access Memory）等の揮発性メモリと、端末装置１０の制御プログラムＰRG等の各種情報を記憶するＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリとを含み、記憶部１５として機能する。
プロセッサ１０００は、例えば、ＣＰＵ（Central Processing Unit）であり、メモリ１００１に記憶された制御プログラムＰRGを実行し、当該制御プログラムＰRGに従って動作することで、制御部１１として機能する。
角速度センサ１００２は、上述の通り、Ｘ軸角速度センサ、Ｙ軸角速度センサ、及び、Ｚ軸角速度センサを備え、姿勢情報生成部１４として機能する。
表示装置１００３及び入力装置１００４は、例えば、タッチパネルであり、表示部１２及び操作部１３として機能する。なお、表示装置１００３及び入力装置１００４は、別体として構成されていてもよい。また、入力装置１００４は、タッチパネル、操作ボタン、キーボード、ジョイスティック、及び、マウス等のポインティングデバイスの一部または全部を含む、１または複数の機器から構成されるものであってもよい。 The memory 1001 is, for example, a volatile memory such as a random access memory (RAM) functioning as a work area of the processor 1000, and an EEPROM (electrically erasable programmable read-only memory) storing various information such as a control program PRG of the terminal device 10. And the like, and functions as the storage unit 15.
The processor 1000 is, for example, a CPU (Central Processing Unit), executes a control program PRG stored in the memory 1001, and functions as the control unit 11 by operating according to the control program PRG.
As described above, the angular velocity sensor 1002 includes an X-axis angular velocity sensor, a Y-axis angular velocity sensor, and a Z-axis angular velocity sensor, and functions as the posture information generation unit 14.
The display device 1003 and the input device 1004 are, for example, a touch panel, and function as the display unit 12 and the operation unit 13. Note that the display device 1003 and the input device 1004 may be separately configured. The input device 1004 may be configured of one or more devices including part or all of a touch panel, operation buttons, a keyboard, a joystick, and a pointing device such as a mouse.

なお、プロセッサ１０００は、ＣＰＵに加え、または、ＣＰＵに替えて、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、または、ＦＰＧＡ（Field Programmable Gate Array）、等の、ハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ１０００により実現される制御部１１の一部または全部は、ＤＳＰ等のハードウェアにより実現されてもよい。   The processor 1000 is configured to include hardware such as a graphics processing unit (GPU), a digital signal processor (DSP), or a field programmable gate array (FPGA) in addition to the CPU or in place of the CPU. It may be In this case, part or all of the control unit 11 realized by the processor 1000 may be realized by hardware such as a DSP.

［１．３．端末装置の動作］
以下、図１０乃至図１８を参照しながら、端末装置１０の動作の一例について説明する。 [1.3. Terminal operation]
Hereinafter, an example of the operation of the terminal device 10 will be described with reference to FIGS. 10 to 18.

図１０乃至図１２は、端末装置１０が表示部１２に表示画像ＧHを表示させる表示処理を実行する場合における、端末装置１０の動作の一例を示すフローチャートである。なお、本実施形態では、ユーザＵが、表示処理を開始させる旨の所定の開始操作を操作部１３から入力した場合に、端末装置１０が、表示処理を開始させる。   FIGS. 10 to 12 are flowcharts showing an example of the operation of the terminal device 10 when the terminal device 10 executes the display process of causing the display unit 12 to display the display image GH. In the present embodiment, when the user U inputs a predetermined start operation to start the display process from the operation unit 13, the terminal device 10 starts the display process.

［１．３．１．通常制御モード］
図１０に示すように、仮想カメラ制御部１１２は、表示処理が開始されると、仮想空間ＳP-Vにおける仮想カメラＣMの姿勢を初期化する（Ｓ１００）。
例えば、仮想カメラ制御部１１２は、ステップＳ１００において、図７に示すように、仮想空間ＳP-Vにおける仮想カメラＣMの撮像方向ＬCを、＋ＸＶ方向に設定する。換言すれば、仮想カメラ制御部１１２は、ステップＳ１００において、＋ＸＣ方向と＋ＸＶ方向とが同一の方向になるように、カメラ座標系ΣＣを設定する。
なお、仮想カメラ制御部１１２は、ステップＳ１００において、仮想空間ＳP-Vにおける仮想カメラＣMの位置ＰCを初期化してもよい。例えば、仮想カメラ制御部１１２は、ステップＳ１００において、例えば、図７に示すように、仮想空間ＳP-Vにおける仮想カメラＣMの位置ＰCを、キャラクタＶの正面、すなわち、キャラクタＶから見て−ＸＶ方向の位置に設定してもよい。換言すれば、仮想カメラ制御部１１２は、ステップＳ１００において、カメラ座標系ΣＣのＸＣ軸上にキャラクタＶが存在するように、カメラ座標系ΣＣを設定してもよい。 [1.3.1. Normal control mode]
As shown in FIG. 10, when the display processing is started, the virtual camera control unit 112 initializes the attitude of the virtual camera CM in the virtual space SP-V (S100).
For example, in step S100, as shown in FIG. 7, the virtual camera control unit 112 sets the imaging direction LC of the virtual camera CM in the virtual space SP-V to the + XV direction. In other words, in step S100, virtual camera control unit 112 sets camera coordinate system C C so that the + X C direction and the + X V direction are the same.
In step S100, virtual camera control unit 112 may initialize position PC of virtual camera CM in virtual space SP-V. For example, in step S100, for example, as shown in FIG. 7, the virtual camera control unit 112 looks at the position PC of the virtual camera CM in the virtual space SP-V in front of the character V, ie, -X. It may be set to a position in the V direction. In other words, the virtual camera control section 112, in step S100, as the camera coordinate system sigma C of X C axis on the character V is present, it may be set the camera coordinate system sigma C.

次に、表示情報生成部１１３は、仮想カメラＣMにより仮想空間ＳP-Vを撮像した結果を示す表示情報ＤSを生成し、当該表示情報ＤSを表示部１２に供給することで、表示部１２に対して表示画像ＧHを表示させる（Ｓ１０２）。   Next, the display information generation unit 113 generates the display information DS indicating the result of imaging the virtual space SP-V with the virtual camera CM, and supplies the display information DS to the display unit 12 so that the display unit 12 can operate. Then, the display image GH is displayed (S102).

次に、モード指定部１１１は、制御モードを通常制御モードに設定する（Ｓ１０４）。
また、仮想カメラ制御部１１２は、モード指定部１１１が、制御モードを通常制御モードに設定した際のＨＭＤ１の姿勢を、「初期姿勢」として定める（Ｓ１０６）。
なお、以下では、ＨＭＤ１が初期姿勢である場合の装置座標系ΣＳを、「初期座標系ΣＳ０」と称する。また、以下では、後述する図１３に示すように、ＨＭＤ１が初期姿勢である場合の仮想カメラＣMの位置ＰCを、「初期位置ＰC0」と称し、ＨＭＤ１が初期姿勢である場合の撮像方向ＬCを、「初期撮像方向ＬC0」と称し、ＨＭＤ１が初期姿勢である場合のカメラ座標系ΣＣを、「初期カメラ座標系ΣＣ０」と称する。 Next, the mode designation unit 111 sets the control mode to the normal control mode (S104).
In addition, the virtual camera control unit 112 determines the attitude of the HMD 1 when the mode designation unit 111 sets the control mode to the normal control mode as the “initial attitude” (S106).
In the following, a device coordinate system sigma S when HMD1 is the initial position, referred to as "initial coordinate system sigma S0". In the following, as shown in FIG. 13 described later, the position PC of the virtual camera CM when the HMD 1 is in the initial posture is referred to as “initial position PC 0”, and the imaging direction LC when the HMD 1 is in the initial posture is illustrated. The camera coordinate system C C in the case where the HMD 1 is in the initial posture is referred to as an “initial camera coordinate system C C0 ”.

次に、姿勢情報取得部１１４は、姿勢情報生成部１４から姿勢情報Ｂを取得する（Ｓ１０８）。
そして、仮想カメラ制御部１１２は、ステップＳ１０８において姿勢情報取得部１１４が取得した姿勢情報Ｂに基づいて、ＨＭＤ１の初期姿勢からの姿勢変化ｄB0を算出する（Ｓ１１０）。
なお、本実施形態において、仮想カメラ制御部１１２は、一例として、姿勢変化ｄB0を、初期座標系ΣＳ０から見た回転方向ＱＷを規定する回転軸ＷＳと、当該回転軸ＷＳ周りの回転角度θＷと、により表現することとする。すなわち、本実施形態において、初期座標系ΣＳ０から見てＨＭＤ１が回転軸ＷＳ周りに回転角度θＷだけ回転した場合、姿勢変化ｄB0が、初期座標系ΣＳ０における回転軸ＷＳを示す方向ベクトルと、回転角度θＷを示す値と、を含むこととする。
但し、姿勢変化ｄB0は、他の任意の表現方法により表現されるものであってもよい。例えば、姿勢変化ｄB0は、初期座標系ΣＳ０から装置座標系ΣＳへの姿勢変化を示す、３行３列の姿勢変換行列により表現されるものであってもよいし、初期座標系ΣＳ０から装置座標系ΣＳへの姿勢変化を示す、クォータニオンにより表現されるものであってもよい。
また、以下では、ＨＭＤ１が、回転軸ＷＳ周りに回転角度θＷだけ回転した場合に、当該回転角度θＷを、「姿勢変化量」と称する場合がある。 Next, the posture information acquisition unit 114 acquires posture information B from the posture information generation unit 14 (S108).
Then, the virtual camera control unit 112 calculates an attitude change dB0 from the initial attitude of the HMD 1 based on the attitude information B acquired by the attitude information acquiring unit 114 in step S108 (S110).
In the present embodiment, as an example, virtual camera control unit 112 has rotation axis W S defining rotation direction Q W when attitude change dB 0 is viewed from initial coordinate system S S 0, and rotation about the rotation axis W S It is expressed by the rotation angle θ W. That is, the direction indicated in the present embodiment, if HMD1 viewed from the initial coordinate system sigma S0 is rotated by the rotation angle theta W about an axis of rotation W S, the posture change DB0, the rotation axis W S in the initial coordinate system sigma S0 It is assumed that the vector and the value indicating the rotation angle θ W are included.
However, the posture change dB0 may be expressed by any other expression method. For example, the posture change dB0 may be expressed by a posture conversion matrix of 3 rows and 3 columns, which indicates a posture change from the initial coordinate system S S0 to the device coordinate system 、 S , or the initial coordinate system S S0 , And may be expressed by quaternions, which indicate a change in posture from the device coordinate system Σ S to the device coordinate system S S.
Further, in the following, when the HMD 1 is rotated about the rotation axis W S by the rotation angle θ W , the rotation angle θ W may be referred to as “posture change amount”.

次に、仮想カメラ制御部１１２は、ステップＳ１１０において算出した姿勢変化ｄB0に基づいて、仮想空間ＳP-Vにおける仮想カメラＣMの姿勢を決定する（Ｓ１１２）。
具体的には、ステップＳ１１２において、仮想カメラ制御部１１２は、仮想空間ＳP-Vにおいて、撮像方向ＬCを、初期撮像方向ＬC0から、姿勢変化ｄB0に対応した姿勢変化量だけ変化させることで、仮想空間ＳP-Vにおける仮想カメラＣMの姿勢を決定する。すなわち、ステップＳ１１２において、仮想カメラ制御部１１２は、初期カメラ座標系ΣＣ０において、カメラ座標系ΣＣを、姿勢変化ｄB0に対応して変化させることで、仮想空間ＳP-Vにおける仮想カメラＣMの姿勢を決定する。
より具体的には、仮想カメラ制御部１１２は、一例として、図１３に示すように、仮想空間ＳP-Vにおいて、仮想カメラＣMの初期位置ＰC0に交差するように仮想回転軸ＷＳＣ０を設定し、カメラ座標系ΣＣを、初期カメラ座標系ΣＣ０を仮想回転軸ＷＳＣ０周りに回転角度θＷだけ回転させた座標系として決定することで、仮想空間ＳP-Vにおける仮想カメラＣMの姿勢を決定する。ここで、仮想回転軸ＷＳＣ０とは、初期位置ＰC0と交差する仮想空間ＳP-V内の直線であって、初期カメラ座標系ΣＣ０から見た仮想回転軸ＷＳＣ０の方向を表すベクトルの成分と、初期座標系ΣＳ０から見た回転軸ＷＳの方向を表すベクトルの成分とが、同一となるような直線である。
例えば、ＨＭＤ１が、初期姿勢から、ＺＳ軸周りのヨー方向ＱＺに対して回転角度θＷだけ回転した場合、仮想カメラ制御部１１２は、初期位置ＰC0に交差するように、初期カメラ座標系ΣＣ０のＺＣ軸に平行な仮想回転軸ＷＳＣ０を設定したうえで、カメラ座標系ΣＣを、初期カメラ座標系ΣＣ０を仮想回転軸ＷＳＣ０周りに回転角度θＷだけ回転させた姿勢を有する座標系として決定することで、仮想カメラＣMの姿勢を決定する。
また、例えば、ＨＭＤ１が、初期姿勢から、ＹＳ軸周りのピッチ方向ＱＹに対して回転角度θＷだけ回転した場合、仮想カメラ制御部１１２は、初期位置ＰC0に交差するように、初期カメラ座標系ΣＣ０のＹＣ軸に平行な仮想回転軸ＷＳＣ０を設定したうえで、カメラ座標系ΣＣを、初期カメラ座標系ΣＣ０を仮想回転軸ＷＳＣ０周りに回転角度θＷだけ回転させた姿勢を有する座標系として決定することで、仮想カメラＣMの姿勢を決定する。
また、例えば、ＨＭＤ１が、初期姿勢から、ＸＳ軸周りのロール方向ＱＸに対して回転角度θＷだけ回転した場合、仮想カメラ制御部１１２は、初期位置ＰC0に交差するように、初期カメラ座標系ΣＣ０のＸＣ軸に平行な仮想回転軸ＷＳＣ０を設定したうえで、カメラ座標系ΣＣを、初期カメラ座標系ΣＣ０を仮想回転軸ＷＳＣ０周りに回転角度θＷだけ回転させた姿勢を有する座標系として決定することで、仮想カメラＣMの姿勢を決定する。 Next, the virtual camera control unit 112 determines the attitude of the virtual camera CM in the virtual space SP-V based on the attitude change dB0 calculated in step S110 (S112).
Specifically, in step S112, in the virtual space SP-V, the virtual camera control unit 112 changes the imaging direction LC from the initial imaging direction LC0 by an amount of posture change corresponding to the posture change dB0, The attitude of the virtual camera CM in the space SP-V is determined. That is, in step S112, the virtual camera control unit 112 changes the camera coordinate system C C in the initial camera coordinate system C C0 in accordance with the attitude change dB0, whereby the virtual camera CM in the virtual space SP-V Determine your attitude.
More specifically, virtual camera control unit 112 sets virtual rotation axis W SC0 to intersect initial position PC0 of virtual camera CM in virtual space SP-V as shown in FIG. 13 as an example. The posture of the virtual camera CM in the virtual space SP-V is determined by determining the camera coordinate system C C as a coordinate system obtained by rotating the initial camera coordinate system C C0 by the rotation angle θ W around the virtual rotation axis W SC0. decide. Here, the virtual rotation axis W SC0 is a straight line in the virtual space SP-V intersecting with the initial position PC 0 and is a component of a vector representing the direction of the virtual rotation axis W SC0 viewed from the initial camera coordinate system C C0 And a component of a vector representing the direction of the rotation axis W S viewed from the initial coordinate system S S0 are straight lines.
For example, when the HMD 1 is rotated from the initial attitude by the rotation angle θ W with respect to the yaw direction Q Z around the Z S axis, the virtual camera control unit 112 intersects the initial position PC 0 with the initial camera coordinate system after setting the virtual rotation axis W SC0 parallel to Z C axis of sigma C0, the camera coordinate system sigma C, it is rotated an initial camera coordinate system sigma C0 virtual rotation axis W SC0 about by the rotation angle theta W posture The attitude of the virtual camera CM is determined by determining it as a coordinate system having
Also, for example, when the HMD 1 is rotated from the initial attitude by the rotation angle θ W with respect to the pitch direction Q Y around the Y S axis, the virtual camera control unit 112 intersects the initial position PC 0 with the initial camera. after setting the virtual rotation axis W SC0 parallel to Y C-axis of the coordinate system sigma C0, the camera coordinate system sigma C, rotates the initial camera coordinate system sigma C0 virtual rotation axis W SC0 about by the rotation angle theta W The attitude of the virtual camera CM is determined by determining it as a coordinate system having an attitude.
For example, as HMD1 found from the initial position, it rotates by the rotation angle theta W with respect to the roll direction Q X around X S axis, the virtual camera control section 112, intersects the initial position PC0, initial camera after setting the virtual rotation axis W SC0 parallel to X C-axis of the coordinate system sigma C0, the camera coordinate system sigma C, rotates the initial camera coordinate system sigma C0 virtual rotation axis W SC0 about by the rotation angle theta W The attitude of the virtual camera CM is determined by determining it as a coordinate system having an attitude.

次に、表示情報生成部１１３は、仮想カメラＣMにより仮想空間ＳP-Vを撮像した結果を示す表示情報ＤSを生成し、当該表示情報ＤSを表示部１２に供給することで、表示部１２に対して表示画像ＧHを表示させる（Ｓ１１４）。   Next, the display information generation unit 113 generates the display information DS indicating the result of imaging the virtual space SP-V with the virtual camera CM, and supplies the display information DS to the display unit 12 so that the display unit 12 can operate. Then, the display image GH is displayed (S114).

図１３は、通常制御モードにおける仮想カメラＣMの姿勢の変化の一例を説明するための説明図である。また、図１４は、通常制御モードにおいて表示部１２に表示される視認画像ＧSの一例を示す図である。
図１３では、一例として、時刻ｔ1において、ＨＭＤ１が初期姿勢となり、時刻ｔ2において、ＨＭＤ１が、初期姿勢を、ＺＳ軸周りのヨー方向ＱＺに対して回転角度θＷだけ回転した姿勢となる場合を想定する。
このため、例えば、図１３に示すように、仮想カメラＣMが、時刻ｔ1において、初期撮像方向ＬC0である撮像方向ＬC(t1)が＋ＸＶ方向を向くような姿勢となる場合、仮想カメラＣMは、時刻ｔ2において、撮像方向ＬC(t1)を、初期位置ＰC0に交差し初期カメラ座標系ΣＣ０のＺＣ軸に平行な仮想回転軸ＷＳＣ０の周りを回転角度θＷだけ回転させた、撮像方向ＬC(t2)を有するような姿勢となる。換言すれば、時刻ｔ2におけるカメラ座標系ΣＣは、時刻ｔ1におけるカメラ座標系ΣＣである初期カメラ座標系ΣＣ０を、初期カメラ座標系ΣＣ０の原点と交差し初期カメラ座標系ΣＣ０のＺＣ軸に平行な仮想回転軸ＷＳＣ０の周りを回転角度θＷだけ回転させた座標系になる。
このため、時刻ｔ1において、図６に示すように、キャラクタ画像ＧVが、表示部１２の中央部Ｙmidに表示される場合には、時刻ｔ2において、図１４に示すように、キャラクタ画像ＧVが、表示部１２の中央部Ｙmidよりも＋ＹＤ方向の位置Ｙ(t2)に表示されることになる。 FIG. 13 is an explanatory diagram for explaining an example of the change of the attitude of the virtual camera CM in the normal control mode. FIG. 14 is a view showing an example of the visible image GS displayed on the display unit 12 in the normal control mode.
In Figure 13, as an example, at time t1, HMD 1 becomes the initial position at time t2, the HMD 1, comprising the initial position, the rotation angle theta W by the rotation position with respect to the yaw direction Q Z around Z S axis Assume the case.
Thus, for example, as shown in FIG. 13, the virtual camera CM is, at time t1, if the initial imaging direction LC0 imaging direction LC (t1) becomes the posture facing + X V direction, the virtual camera CM is at time t2, the imaging direction LC (t1), and around the Z C parallel imaginary rotation axis to axis W SC0 initial camera coordinate system sigma C0 intersects the initial position PC0 is rotated by the rotation angle theta W, imaging The posture has a direction LC (t2). In other words, the camera coordinate system sigma C at time t2, the initial camera coordinate system sigma C0 is a camera coordinate system sigma C at time t1, the initial camera coordinate system sigma C0 intersects the origin of the initial camera coordinate system sigma C0 It becomes a coordinate system rotated about the virtual rotation axis W SC0 parallel to the Z C axis by the rotation angle θ W.
Therefore, when character image GV is displayed on central portion Ymid of display unit 12 at time t1 as shown in FIG. 6, character image GV at time t2 as shown in FIG. It will be displayed in than the central portion Ymid of the display section 12 + Y D direction position Y (t2).

図１０に示すように、モード指定部１１１は、ステップＳ１０８で取得された姿勢情報Ｂ、または、ステップＳ１１０で算出された姿勢変化ｄB0に基づいて、制御モードを、姿勢制御モードに移行させるか否かを判定する（Ｓ１１６）。
本実施形態では、一例として、現在時刻よりも所定時間だけ前の時刻から現在時刻までの判定期間におけるＨＭＤ１の姿勢変化量が、所定の閾値以下の場合に、モード指定部１１１が、制御モードを、通常制御モードから姿勢制御モードに移行させる場合を想定する。このため、モード指定部１１１は、ステップＳ１１６において、例えば、判定期間におけるＨＭＤ１の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定する。なお、モード指定部１１１は、ステップＳ１１６において、例えば、判定期間の開始時刻におけるＨＭＤ１の姿勢と、判定期間内の任意の時刻におけるＨＭＤ１の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
そして、モード指定部１１１は、ステップＳ１１６における判定の結果が肯定の場合には、処理をステップＳ１２０に進め、ステップＳ１１６における判定の結果が否定の場合には、処理をステップＳ１１８に進める。 As shown in FIG. 10, the mode designating unit 111 determines whether to shift the control mode to the attitude control mode based on the attitude information B acquired in step S108 or the attitude change dB0 calculated in step S110. It is determined (S116).
In this embodiment, as an example, when the amount of change in posture of the HMD 1 in the determination period from the current time to the current time by a predetermined time before the current time is equal to or less than a predetermined threshold, the mode specification unit 111 sets the control mode. Suppose that the normal control mode is shifted to the attitude control mode. Therefore, the mode designation unit 111 shifts the control mode to the attitude control mode by determining whether or not the amount of change in attitude of the HMD 1 in the determination period is equal to or less than a predetermined threshold in step S116, for example. It is determined whether or not. In step S116, mode specification unit 111 determines, for example, whether the difference between the posture of HMD 1 at the start time of the determination period and the posture of HMD 1 at any time within the determination period is smaller than a predetermined threshold. It may be determined whether or not to shift the control mode to the attitude control mode.
Then, mode designating unit 111 advances the process to step S120 if the result of the determination in step S116 is affirmative, and advances the process to step S118 if the result of the determination in step S116 is negative.

その後、制御部１１は、ユーザＵが、表示処理を終了させる旨の所定の終了操作を操作部１３から入力したか否かを判定する（Ｓ１１８）。そして、制御部１１は、ステップＳ１１８における判定の結果が否定の場合には、処理をステップＳ１０８に進め、ステップＳ１１８における判定の結果が肯定の場合には、表示処理を終了させる。   Thereafter, the control unit 11 determines whether or not the user U has input a predetermined end operation for ending the display process from the operation unit 13 (S118). Then, when the result of the determination in step S118 is negative, the control unit 11 advances the process to step S108, and when the result of the determination in step S118 is affirmative, terminates the display process.

［１．３．２．姿勢制御モード］
図１１に示すように、モード指定部１１１は、制御モードを姿勢制御モードに設定する（Ｓ１２０）。 [1.3.2. Posture control mode]
As shown in FIG. 11, the mode designation unit 111 sets the control mode to the attitude control mode (S120).

次に、仮想カメラ制御部１１２は、モード指定部１１１が、制御モードを姿勢制御モードに設定した際のＨＭＤ１の姿勢を、「基準姿勢」として定める（Ｓ１２２）。
なお、以下では、ＨＭＤ１が基準姿勢である場合の装置座標系ΣＳを、「基準座標系ΣＳ１」と称する。また、以下では、後述する図１５に示すように、ＨＭＤ１が基準姿勢である場合の仮想カメラＣMの位置ＰCを、「基準位置ＰC1」と称し、ＨＭＤ１が基準姿勢である場合の撮像方向ＬCを、「基準撮像方向ＬC1」と称し、ＨＭＤ１が基準姿勢である場合のカメラ座標系ΣＣを、「基準カメラ座標系ΣＣ１」と称する。 Next, the virtual camera control unit 112 determines the attitude of the HMD 1 when the mode designation unit 111 sets the control mode to the attitude control mode as the “reference attitude” (S122).
In the following, the device coordinate system 場合S in the case where the HMD 1 is in the reference posture is referred to as a “reference coordinate system S S1 ”. Also, in the following, as shown in FIG. 15 described later, the position PC of the virtual camera CM when the HMD 1 is in the reference posture is referred to as “reference position PC1”, and the imaging direction LC when the HMD 1 is in the reference posture is The camera coordinate system C C when the HMD 1 is in the reference posture is referred to as a “reference camera coordinate system C C1 ”.

次に、仮想カメラ制御部１１２は、ＨＭＤ１が基準姿勢である場合の仮想カメラＣMの有する基準撮像方向ＬC1に基づいて、仮想空間ＳP-Vにおいて仮想点Ｋを設定する（Ｓ１２４）。
具体的には、仮想カメラ制御部１１２は、ステップＳ１２４において、例えば、仮想カメラＣMの基準位置ＰC1と交差し基準撮像方向ＬC1に延在する直線上であって、仮想空間ＳP-V内に存在するキャラクタＶの存在領域に対応する設定領域に、仮想点Ｋを設定する。
ここで、キャラクタＶの存在領域とは、例えば、仮想空間ＳP-V内の領域であって、キャラクタＶの表面と、キャラクタＶの内部とを含む領域である。また、設定領域とは、例えば、存在領域の一部または全部の領域である。但し、設定領域は、存在領域の外部の領域を含む領域であってもよい。例えば、設定領域は、存在領域からの距離が所定の距離以下となる領域であってもよいし、存在領域内の点からの距離が所定の距離以下となる領域であってもよい。
また、以下では、後述する図１５に示すように、ステップＳ１２４において設定された仮想空間ＳP-Vにおける仮想点Ｋの位置ＰKを、「基準位置ＰK1」と称する。
なお、本実施形態において、仮想カメラ制御部１１２は、仮想点Ｋを、基準撮像方向ＬC1に基づいて定めるが、本発明はこのような態様に限定されるものではない。例えば、仮想カメラ制御部１１２は、仮想空間ＳP-V内の所定の位置に仮想点Ｋを設定してもよい。また、例えば、仮想カメラ制御部１１２は、仮想空間ＳP-Vのうち、キャラクタＶの存在領域のうち、キャラクタＶの顔等のキャラクタＶの特定の部位に対応する位置に仮想点Ｋを設定してもよい。 Next, the virtual camera control unit 112 sets the virtual point K in the virtual space SP-V based on the reference imaging direction LC1 of the virtual camera CM when the HMD1 is in the reference posture (S124).
Specifically, in step S124, virtual camera control unit 112 is, for example, on a straight line intersecting reference position PC1 of virtual camera CM and extending in reference imaging direction LC1, and exists in virtual space SP-V. The virtual point K is set in the setting area corresponding to the existence area of the character V to be set.
Here, the existence area of the character V is, for example, an area in the virtual space SP-V and an area including the surface of the character V and the inside of the character V. Moreover, a setting area | region is an area | region of a part or all of an existence area | region, for example. However, the setting area may be an area including an area outside the existing area. For example, the setting area may be an area in which the distance from the existing area is equal to or less than a predetermined distance, or may be an area in which the distance from a point in the existing area is equal to or less than the predetermined distance.
Also, in the following, as shown in FIG. 15 described later, the position PK of the virtual point K in the virtual space SP-V set in step S124 is referred to as “reference position PK1”.
In the present embodiment, the virtual camera control unit 112 determines the virtual point K based on the reference imaging direction LC1, but the present invention is not limited to such an aspect. For example, the virtual camera control unit 112 may set the virtual point K at a predetermined position in the virtual space SP-V. Also, for example, the virtual camera control unit 112 sets the virtual point K at a position corresponding to a specific part of the character V such as the face of the character V in the existence area of the character V in the virtual space SP-V. May be

次に、姿勢情報取得部１１４は、姿勢情報生成部１４から姿勢情報Ｂを取得する（Ｓ１２６）。
そして、仮想カメラ制御部１１２は、ステップＳ１２６において姿勢情報取得部１１４が取得した姿勢情報Ｂに基づいて、ＨＭＤ１の基準姿勢からの姿勢変化ｄB1を算出する（Ｓ１２８）。
なお、本実施形態において、基準座標系ΣＳ１から見て、ＨＭＤ１が、基準姿勢から、回転軸ＷＳ周りに回転角度θＷだけ回転した場合、姿勢変化ｄB1が、基準座標系ΣＳ１における回転軸ＷＳを示す方向ベクトルと、回転角度θＷを示す値と、を含むこととする。 Next, the posture information acquisition unit 114 acquires the posture information B from the posture information generation unit 14 (S126).
Then, the virtual camera control unit 112 calculates an attitude change dB1 from the reference attitude of the HMD 1 based on the attitude information B acquired by the attitude information acquiring unit 114 in step S126 (S128).
In the present embodiment, when viewed in the reference coordinate system sigma S1, rotation HMD1 is, from the reference position, it rotates by the rotation angle theta W about an axis of rotation W S, the posture change dB1, in the reference coordinate system sigma S1 The direction vector indicating the axis W S and the value indicating the rotation angle θ W are included.

図１１に示すように、モード指定部１１１は、ステップＳ１２６で取得された姿勢情報Ｂ、または、ステップＳ１２８で算出された姿勢変化ｄB1に基づいて、制御モードを、位置制御モードに移行させるか否かを判定する（Ｓ１３０）。
本実施形態では、一例として、ＨＭＤ１の基準姿勢からの姿勢変化量が、基準量θth（「基準角度」の一例）以上である場合に、モード指定部１１１が、制御モードを、姿勢制御モードから位置制御モードに移行させる場合を想定する。このため、モード指定部１１１は、ステップＳ１３０において、例えば、ＨＭＤ１の基準姿勢からの姿勢変化量が基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定する。
なお、モード指定部１１１は、ステップＳ１３０において、ＨＭＤ１の基準姿勢からの姿勢変化ｄB1のうち所定の方向成分に係る姿勢変化量が、基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部１１１は、ステップＳ１３０において、例えば、ＨＭＤ１の基準姿勢からの姿勢変化ｄB1のうち、ピッチ方向ＱＹの方向成分、ヨー方向ＱＺの方向成分、または、ピッチ方向ＱＹ及びヨー方向ＱＺの方向成分に係る姿勢変化量が、基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定してもよい。
そして、モード指定部１１１は、ステップＳ１３０における判定の結果が肯定の場合には、処理をステップＳ１４０に進め、ステップＳ１３０における判定の結果が否定の場合には、処理をステップＳ１３２に進める。 As shown in FIG. 11, the mode designation unit 111 determines whether to shift the control mode to the position control mode based on the posture information B acquired in step S126 or the posture change dB1 calculated in step S128. It is determined (S130).
In the present embodiment, as an example, when the posture change amount from the reference posture of the HMD 1 is equal to or larger than the reference amount θth (an example of “reference angle”), the mode designation unit 111 sets the control mode to the posture control mode. It is assumed that the position control mode is entered. Therefore, the mode designation unit 111 shifts the control mode to the position control mode by determining whether the amount of change in posture from the reference posture of the HMD 1 is equal to or larger than the reference amount θth in step S130, for example. It is determined whether or not.
In step S130, the mode designation unit 111 determines whether or not the amount of posture change related to the predetermined direction component of the posture change dB1 from the reference posture of the HMD 1 is equal to or greater than the reference amount θth. It may be determined whether to shift the mode to the position control mode. Specifically, in step S130, for example, of the attitude change dB1 from the reference attitude of the HMD 1, the mode designation unit 111 causes a directional component in the pitch direction Q Y, a directional component in the yaw direction Q Z , or the pitch direction Q. posture variation of the direction component of the Y and the yaw direction Q Z is, by determining whether a reference amount θth above, the control mode may determine whether to transition to the position control mode .
Then, mode designating unit 111 advances the process to step S140 when the result of the determination in step S130 is affirmative, and advances the process to step S132 when the result of the determination in step S130 is negative.

図１１に示すように、モード指定部１１１は、ステップＳ１２６で取得された姿勢情報Ｂ、または、ステップＳ１２８で算出された姿勢変化ｄB1に基づいて、制御モードを、通常制御モードに移行させるか否かを判定する（Ｓ１３２）。
本実施形態では、一例として、現在時刻よりも所定時間だけ前の時刻から現在時刻までの判定期間におけるＨＭＤ１の姿勢変化量が、所定の閾値以下の場合に、モード指定部１１１が、制御モードを、姿勢制御モードから通常制御モードに移行させる場合を想定する。このため、モード指定部１１１は、ステップＳ１３２において、例えば、判定期間におけるＨＭＤ１の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定する。また、モード指定部１１１は、ステップＳ１３２において、例えば、判定期間の開始時刻におけるＨＭＤ１の姿勢と、判定期間内の任意の時刻におけるＨＭＤ１の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。
なお、モード指定部１１１は、ステップＳ１３２において、ＨＭＤ１の基準姿勢からの姿勢変化ｄB1のうち特定の方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部１１１は、ステップＳ１３２において、例えば、ＨＭＤ１の基準姿勢からの姿勢変化ｄB1のうち、ロール方向ＱＸの方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、通常制御モードに移行させるか否かを判定してもよい。 As shown in FIG. 11, the mode designation unit 111 determines whether to shift the control mode to the normal control mode based on the posture information B obtained in step S126 or the posture change dB1 calculated in step S128. It is determined (S132).
In this embodiment, as an example, when the amount of change in posture of the HMD 1 in the determination period from the current time to the current time by a predetermined time before the current time is equal to or less than a predetermined threshold, the mode specification unit 111 sets the control mode. Suppose that the attitude control mode is shifted to the normal control mode. For this reason, the mode designation unit 111 shifts the control mode to the normal control mode by determining whether or not the amount of change in posture of the HMD 1 in the determination period is equal to or less than a predetermined threshold in step S132, for example. It is determined whether or not. Further, in step S132, mode specification unit 111 determines, for example, whether the difference between the attitude of HMD 1 at the start time of the determination period and the attitude of HMD 1 at any time within the determination period is smaller than a predetermined threshold. It may be determined whether or not to shift the control mode to the normal control mode.
In step S132, the mode designation unit 111 determines whether or not the amount of posture change related to the specific direction component in the posture change dB1 from the reference posture of the HMD 1 is equal to or more than a predetermined value. It may be determined whether or not to shift to the normal control mode. Specifically, in step S132, mode designation unit 111 determines, for example, whether or not the amount of posture change related to the directional component in roll direction Q X is at least a predetermined value, of posture change dB1 from the reference posture of HMD 1 By determining whether or not to shift the control mode to the normal control mode, it may be determined.

次に、仮想カメラ制御部１１２は、ステップＳ１２８において算出した姿勢変化ｄB1に基づいて、仮想空間ＳP-Vにおける仮想カメラＣMの位置及び姿勢を決定する（Ｓ１３４）。
具体的には、ステップＳ１３４において、仮想カメラ制御部１１２は、仮想空間ＳP-Vにおいて、位置ＰC及び撮像方向ＬCを、基準位置ＰC1及び基準撮像方向ＬC1から、姿勢変化ｄB1に対応した姿勢変化量だけ変化させることで、仮想空間ＳP-Vにおける仮想カメラＣMの位置及び姿勢を決定する。すなわち、ステップＳ１３４において、仮想カメラ制御部１１２は、基準カメラ座標系ΣＣ１において、カメラ座標系ΣＣを、姿勢変化ｄB1に対応して変化させることで、仮想空間ＳP-Vにおける仮想カメラＣMの位置及び姿勢を決定する。
より具体的には、仮想カメラ制御部１１２は、一例として、図１５に示すように、仮想空間ＳP-Vにおいて、仮想点Ｋに交差するように基準回転軸ＷＳＣ１を設定し、カメラ座標系ΣＣを、基準カメラ座標系ΣＣ１を基準回転軸ＷＳＣ１周りに回転角度θＷだけ回転させた座標系として決定することで、仮想空間ＳP-Vにおける仮想カメラＣMの位置及び姿勢を決定する。ここで、基準回転軸ＷＳＣ１とは、仮想点Ｋの基準位置ＰK1と交差する仮想空間ＳP-V内の直線であって、基準カメラ座標系ΣＣ１から見た基準回転軸ＷＳＣ１の方向を表すベクトルの成分と、基準座標系ΣＳ１から見た回転軸ＷＳの方向を表すベクトルの成分とが、同一となるような直線である。すなわち、仮想カメラ制御部１１２は、一例として、図１５に示すように、仮想空間ＳP-Vにおいて、基準位置ＰC1に位置する仮想カメラＣMを、仮想点Ｋを中心として基準回転軸ＷＳＣ１周りに回転角度θＷだけ回転させることで、仮想空間ＳP-Vにおける仮想カメラＣMの位置ＰCを決定する。 Next, the virtual camera control unit 112 determines the position and orientation of the virtual camera CM in the virtual space SP-V based on the attitude change dB1 calculated in step S128 (S134).
Specifically, in step S134, the virtual camera control unit 112 changes the position PC and the imaging direction LC from the reference position PC1 and the reference imaging direction LC1 in the virtual space SP-V to the posture change amount corresponding to the posture change dB1. The position and the attitude of the virtual camera CM in the virtual space SP-V are determined by changing only the above. That is, in step S134, the virtual camera control unit 112 changes the camera coordinate system C C corresponding to the posture change dB1 in the reference camera coordinate system 変 化C1 so that the virtual camera CM in the virtual space SP-V Determine the position and attitude.
More specifically, virtual camera control unit 112 sets reference rotation axis W SC1 to intersect virtual point K in virtual space SP-V, as shown in FIG. 15 as an example, and the camera coordinate system The position and orientation of the virtual camera CM in the virtual space SP-V are determined by determining Σ C as a coordinate system obtained by rotating the reference camera coordinate system C C1 by the rotation angle θ W around the reference rotation axis W SC1 . Here, the reference rotation axis W SC1 is a straight line in the virtual space SP-V intersecting with the reference position PK1 of the virtual point K, and the direction of the reference rotation axis W SC1 viewed from the reference camera coordinate system C C1 is The components of the representing vector and the components of the vector representing the direction of the rotation axis W S viewed from the reference coordinate system S S1 are straight lines. That is, as shown in FIG. 15, virtual camera control unit 112 takes virtual camera CM located at reference position PC1 in virtual space SP-V around reference rotation axis W SC1 centering on virtual point K, as an example. By rotating by the rotation angle θ W, the position PC of the virtual camera CM in the virtual space SP-V is determined.

次に、表示情報生成部１１３は、仮想カメラＣMにより仮想空間ＳP-Vを撮像した結果を示す表示情報ＤSを生成し、当該表示情報ＤSを表示部１２に供給することで、表示部１２に対して表示画像ＧHを表示させる（Ｓ１３６）。   Next, the display information generation unit 113 generates the display information DS indicating the result of imaging the virtual space SP-V with the virtual camera CM, and supplies the display information DS to the display unit 12 so that the display unit 12 can operate. Then, the display image GH is displayed (S136).

図１５は、姿勢制御モードにおける仮想カメラＣMの位置及び姿勢の変化の一例を説明するための説明図である。また、図１６は、姿勢制御モードにおいて表示部１２に表示される視認画像ＧSの一例を示す図である。
図１５では、一例として、時刻ｔ3において、ＨＭＤ１が基準姿勢となり、時刻ｔ4において、ＨＭＤ１が、基準姿勢を、ＺＳ軸周りのヨー方向ＱＺに対して回転角度θＷだけ回転した姿勢となる場合を想定する。
このため、例えば、図１５に示すように、仮想カメラＣMが、時刻ｔ3において、基準撮像方向ＬC1である撮像方向ＬC(t3)が＋ＸＶ方向を向くような姿勢となる場合には、仮想カメラＣMは、時刻ｔ4において、撮像方向ＬC(t3)を、仮想点Ｋに交差し基準カメラ座標系ΣＣ１のＺＣ軸に平行な基準回転軸ＷＳＣ１の周りを回転角度θＷだけ回転させた、撮像方向ＬC(t4)を有するような姿勢となる。換言すれば、時刻ｔ4におけるカメラ座標系ΣＣは、時刻ｔ3におけるカメラ座標系ΣＣである基準カメラ座標系ΣＣ１を、仮想点Ｋと交差し基準カメラ座標系ΣＣ１のＺＣ軸に平行な基準回転軸ＷＳＣ１の周りを回転角度θＷだけ回転させた座標系になる。
また、図１５に示すように、時刻ｔ4における仮想カメラＣMの位置ＰC(t4)は、例えば、時刻ｔ3における仮想カメラＣMの位置ＰC(t3)、すなわち、基準位置ＰC1を、仮想点Ｋを中心に基準回転軸ＷＳＣ１の周りを回転角度θＷだけ回転させた位置となる。
このため、時刻ｔ3において、図６に示すように、キャラクタ画像ＧVが、表示部１２の中央部Ｙmidにおいて正面方向を向くキャラクタＶを表す場合には、時刻ｔ4において、図１６に示すように、キャラクタ画像ＧVが、表示部１２の中央部Ｙmidにおいて正面方向から回転角度θＷだけ向きを変化させたキャラクタＶを表す。 FIG. 15 is an explanatory diagram for explaining an example of changes in the position and posture of the virtual camera CM in the posture control mode. FIG. 16 is a diagram showing an example of the visual recognition image GS displayed on the display unit 12 in the posture control mode.
In Figure 15, as an example, at time t3, becomes HMD1 reference posture at time t4, is HMD1, the reference posture, the rotation angle theta W by the rotation position with respect to the yaw direction Q Z around Z S axis Assume the case.
Therefore, for example, as illustrated in FIG. 15, when the virtual camera CM has a posture in which the imaging direction LC (t3), which is the reference imaging direction LC1, faces the + X V direction at time t3, the virtual camera CM rotated the imaging direction LC (t3) by the rotation angle θ W around the reference rotation axis W SC1 which intersects the imaginary point K and is parallel to the Z C axis of the reference camera coordinate system C C1 at time t4 The posture has an imaging direction LC (t4). In other words, the camera coordinate system sigma C is at time t4, parallel reference camera coordinate system sigma C1 is a camera coordinate system sigma C at time t3, the Z C axis of the base camera coordinate system sigma C1 intersects the virtual point K The coordinate system is rotated by the rotation angle θ W around the reference rotation axis W SC1 .
Further, as shown in FIG. 15, the position PC (t4) of the virtual camera CM at time t4 is, for example, the position PC (t3) of the virtual camera CM at time t3, that is, the reference position PC1 and the virtual point K At a position rotated by the rotation angle θ W around the reference rotation axis W SC1 .
Therefore, at time t3, as shown in FIG. 6, when the character image GV represents the character V facing in the front direction in the central portion Ymid of the display unit 12, as shown in FIG. The character image GV represents the character V whose direction in the central portion Ymid of the display unit 12 has been changed by the rotation angle θ W from the front direction.

その後、制御部１１は、ユーザＵが、表示処理を終了させる旨の所定の終了操作を操作部１３から入力したか否かを判定する（Ｓ１３８）。そして、制御部１１は、ステップＳ１３８における判定の結果が否定の場合には、処理をステップＳ１２６に進め、ステップＳ１３８における判定の結果が肯定の場合には、表示処理を終了させる。   Thereafter, the control unit 11 determines whether or not the user U has input a predetermined ending operation for ending the display process from the operation unit 13 (S138). Then, if the result of the determination in step S138 is negative, the control unit 11 advances the process to step S126, and terminates the display process if the result of the determination in step S138 is affirmative.

［１．３．３．位置制御モード］
図１２に示すように、モード指定部１１１は、制御モードを位置制御モードに設定する（Ｓ１４０）。 [1.3.3. Position control mode]
As shown in FIG. 12, the mode designation unit 111 sets the control mode to the position control mode (S140).

次に、仮想カメラ制御部１１２は、後述する図１７に示すように、モード指定部１１１が制御モードを位置制御モードに設定した際の仮想カメラＣMの位置ＰCを、「起点位置ＰC2」として定める（Ｓ１４２）。また、以下では、モード指定部１１１が制御モードを位置制御モードに設定した際のＨＭＤ１の姿勢を、「起点姿勢」と称し、ＨＭＤ１が起点姿勢である場合の撮像方向ＬCを、「撮像方向ＬC2」と称し、ＨＭＤ１が起点姿勢である場合のカメラ座標系ΣＣを、「起点カメラ座標系ΣＣ２」と称する。
なお、モード指定部１１１が、制御モードを位置制御モードに設定した際、仮想カメラＣMの起点位置ＰC2と交差し撮像方向ＬC2に延在する直線上に、仮想点Ｋが存在している。以下では、後述する図１７に示すように、モード指定部１１１が制御モードを位置制御モードに設定した際の、仮想空間ＳP-Vにおける仮想点Ｋの位置ＰKを、「起点位置ＰK2」と称する。なお、起点位置ＰK2は、基準位置ＰK1と同一の位置である。 Next, as shown in FIG. 17 described later, virtual camera control unit 112 determines position PC of virtual camera CM when mode designation unit 111 sets the control mode to position control mode as “start point position PC2”. (S142). In the following, the posture of the HMD 1 when the mode designation unit 111 sets the control mode to the position control mode is referred to as “starting posture”, and the imaging direction LC when the HMD 1 is the starting posture is “imaging direction LC2 The camera coordinate system C C in the case where the HMD 1 is in the starting posture is referred to as “starting camera coordinate system C C2 ”.
When the mode designation unit 111 sets the control mode to the position control mode, the virtual point K is present on a straight line that intersects with the start position PC2 of the virtual camera CM and extends in the imaging direction LC2. Hereinafter, as shown in FIG. 17 described later, the position PK of the virtual point K in the virtual space SP-V when the mode designation unit 111 sets the control mode to the position control mode is referred to as “start point position PK2”. . The origin position PK2 is the same position as the reference position PK1.

次に、姿勢情報取得部１１４は、姿勢情報生成部１４から姿勢情報Ｂを取得する（Ｓ１４４）。
そして、仮想カメラ制御部１１２は、ステップＳ１２６において姿勢情報取得部１１４が取得した姿勢情報Ｂ、及び、ステップＳ１４４において姿勢情報取得部１１４が取得した姿勢情報Ｂに基づいて、ＨＭＤ１の基準姿勢からの姿勢変化ｄB2を算出する（Ｓ１４６）。
なお、本実施形態において、基準座標系ΣＳ１から見て、ＨＭＤ１が、基準姿勢から、回転軸ＷＳ周りに回転角度θＷだけ回転した場合、姿勢変化ｄB2が、基準座標系ΣＳ１における回転軸ＷＳを示す方向ベクトルと、回転角度θＷを示す値と、を含むこととする。 Next, the posture information acquisition unit 114 acquires posture information B from the posture information generation unit 14 (S144).
Then, based on the posture information B acquired by the posture information acquisition unit 114 in step S126 and the posture information B acquired by the posture information acquisition unit 114 in step S144, the virtual camera control unit 112 determines from the reference posture of the HMD 1 Attitude change dB2 is calculated (S146).
In the present embodiment, when viewed in the reference coordinate system sigma S1, rotation HMD1 is, from the reference position, it rotates by the rotation angle theta W about an axis of rotation W S, the posture change dB2, in the reference coordinate system sigma S1 The direction vector indicating the axis W S and the value indicating the rotation angle θ W are included.

図１２に示すように、モード指定部１１１は、ステップＳ１２６及びステップＳ１４４で取得された姿勢情報Ｂ、または、ステップＳ１４６で算出された姿勢変化ｄB2に基づいて、制御モードを、姿勢制御モードに移行させるか否かを判定する（Ｓ１４８）。
本実施形態では、一例として、ＨＭＤ１の基準姿勢からの姿勢変化量が、基準量θth未満となった場合に、モード指定部１１１が、制御モードを、位置制御モードから姿勢制御モードに移行させる場合を想定する。このため、モード指定部１１１は、ステップＳ１４８において、例えば、ＨＭＤ１の基準姿勢からの姿勢変化量が基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定する。
なお、モード指定部１１１は、ステップＳ１４８において、ＨＭＤ１の基準姿勢からの姿勢変化ｄB2のうち所定の方向成分に係る姿勢変化量が、基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部１１１は、ステップＳ１４８において、例えば、ＨＭＤ１の基準姿勢からの姿勢変化ｄB2のうち、ピッチ方向ＱＹの方向成分、ヨー方向ＱＺの方向成分、または、ピッチ方向ＱＹ及びヨー方向ＱＺの方向成分に係る姿勢変化量が、基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
そして、モード指定部１１１は、ステップＳ１４８における判定の結果が肯定の場合には、処理をステップＳ１２０に進め、ステップＳ１４８における判定の結果が否定の場合には、処理をステップＳ１５０に進める。 As shown in FIG. 12, the mode designation unit 111 shifts the control mode to the attitude control mode based on the attitude information B acquired in step S126 and step S144 or the attitude change dB2 calculated in step S146. It is determined whether it is made to do (S148).
In the present embodiment, as an example, when the posture change amount from the reference posture of the HMD 1 is less than the reference amount θth, the mode designation unit 111 shifts the control mode from the position control mode to the posture control mode. Assume. Therefore, the mode designation unit 111 shifts the control mode to the attitude control mode by determining whether the amount of change in attitude from the reference attitude of the HMD 1 is less than the reference amount θth in step S148, for example. It is determined whether or not.
In step S148, the mode designation unit 111 performs control by determining whether the amount of posture change related to the predetermined direction component of the posture change dB2 from the reference posture of the HMD 1 is less than the reference amount θth. It may be determined whether to shift the mode to the attitude control mode. Specifically, in step S148, for example, of the attitude change dB2 from the reference attitude of the HMD 1, the mode designation unit 111 causes a directional component in the pitch direction Q Y, a directional component in the yaw direction Q Z , or the pitch direction Q. posture variation of the direction component of the Y and the yaw direction Q Z is, by determining whether or not less than the reference amount [theta] th, the control mode may determine whether or not to shift to the attitude control mode .
Then, mode designating unit 111 advances the process to step S120 if the result of the determination in step S148 is affirmative, and advances the process to step S150 if the result of the determination in step S148 is negative.

次に、仮想カメラ制御部１１２は、ステップＳ１４６において算出した姿勢変化ｄB2に基づいて、仮想空間ＳP-Vにおける仮想点Ｋの位置ＰKを決定する（Ｓ１５０）。
具体的には、仮想カメラ制御部１１２は、ステップＳ１５０において、例えば、仮想空間ＳP-Vに設定された基準回転軸ＷＳＣ１と撮像方向ＬC2との双方に交差する方向であって、基準位置ＰC1から遠ざかる方向に、仮想点Ｋの位置ＰKを変化させる。より具体的には、仮想カメラ制御部１１２は、例えば、基準回転軸ＷＳＣ１と撮像方向ＬC2との双方に直交する方向であって、基準位置ＰC1から遠ざかる方向に、仮想点Ｋの位置ＰKを変化させる。この場合、仮想カメラ制御部１１２は、例えば、後述する図１７に示す、起点位置ＰK2すなわち位置ＰK(t5)から位置ＰK(t6)への変化のように、姿勢変化ｄB2に含まれる回転角度θＷから基準量θthを減算した超過角度θovに応じた距離Ｄisだけ、仮想点Ｋの位置ＰKを変化させる。 Next, the virtual camera control unit 112 determines the position PK of the virtual point K in the virtual space SP-V based on the attitude change dB2 calculated in step S146 (S150).
Specifically, in step S150, virtual camera control unit 112 is in a direction that intersects both reference rotation axis W SC1 set in virtual space SP-V and imaging direction LC2, for example, reference position PC1. The position PK of the virtual point K is changed in the direction away from. More specifically, for example, the virtual camera control unit 112 determines the position PK of the virtual point K in the direction orthogonal to both the reference rotation axis W SC1 and the imaging direction LC2 and away from the reference position PC1. Change. In this case, the virtual camera control unit 112 determines, for example, the rotation angle θ included in the posture change dB2 as a change from the start position PK2, ie, the position PK (t5) to the position PK (t6) shown in FIG. The position PK of the virtual point K is changed by a distance Dis corresponding to the excess angle θov obtained by subtracting the reference amount θth from W.

次に、仮想カメラ制御部１１２は、ステップＳ１４６において算出した姿勢変化ｄB2に基づいて、仮想空間ＳP-Vにおける仮想カメラＣMの位置ＰCを決定する（Ｓ１５２）。なお、本実施形態では、位置制御モードにおいて、仮想カメラＣMの撮像方向ＬCは、撮像方向ＬC2を維持することとする。
具体的には、仮想カメラ制御部１１２は、ステップＳ１５２において、例えば、仮想空間ＳP-Vに設定された基準回転軸ＷＳＣ１と撮像方向ＬC2との双方に交差する方向であって、基準位置ＰC1から遠ざかる方向に、仮想カメラＣMの位置ＰCを変化させる。より具体的には、仮想カメラ制御部１１２は、例えば、基準回転軸ＷＳＣ１と撮像方向ＬC2との双方に直交する方向であって、基準位置ＰC1から遠ざかる方向に、仮想カメラＣMの位置ＰCを変化させる。この場合、仮想カメラ制御部１１２は、例えば、後述する図１７に示す、起点位置ＰC2すなわち位置ＰC(t5)から位置ＰC(t6)への変化のように、超過角度θovに応じた距離Ｄisだけ、仮想カメラＣMの位置ＰCを変化させる。
すなわち、ステップＳ１５０における仮想点Ｋの位置変化と、ステップＳ１５２における仮想カメラＣMの位置変化とは、後述する図１７に示すように、基準回転軸ＷＳＣ１及び撮像方向ＬC2に直交する方向を有し、且つ、大きさＤisを有する、同一のベクトルＶIにより表現することができる。換言すれば、仮想カメラ制御部１１２は、位置制御モードにおいて、仮想カメラＣMから見て撮像方向ＬC2に仮想点Ｋが位置し、また、仮想カメラＣM及び仮想点Ｋの間の距離が一定の距離を保つように、仮想点Ｋの位置ＰKと仮想カメラＣMの位置ＰCとを変化させる。このように、仮想カメラ制御部１１２は、位置制御モードにおいて、基準回転軸ＷＳＣ１に垂直な仮想平面内において、仮想点Ｋの位置ＰKを変化させる。
なお、仮想カメラ制御部１１２は、ステップＳ１５０の処理とステップＳ１５２の処理とを同時に実行してもよいし、ステップＳ１５０の処理を実行する前にステップＳ１５２の処理を実行してもよい。 Next, the virtual camera control unit 112 determines the position PC of the virtual camera CM in the virtual space SP-V based on the attitude change dB2 calculated in step S146 (S152). In the present embodiment, in the position control mode, the imaging direction LC of the virtual camera CM maintains the imaging direction LC2.
Specifically, in step S152, for example, virtual camera control unit 112 is in a direction intersecting both of reference rotation axis W SC1 set in virtual space SP-V and imaging direction LC2, which is reference position PC1. The position PC of the virtual camera CM is changed in the direction away from. More specifically, for example, the virtual camera control unit 112 determines the position PC of the virtual camera CM in a direction orthogonal to both the reference rotation axis W SC1 and the imaging direction LC2 and away from the reference position PC1. Change. In this case, the virtual camera control unit 112 sets the distance Dis corresponding to the excess angle θov, for example, as shown in FIG. 17 described later, as a change from the start position PC2, ie, the position PC (t5) to the position PC (t6). , Change the position PC of the virtual camera CM.
That is, the position change of virtual point K in step S150 and the position change of virtual camera CM in step S152 have a direction orthogonal to reference rotation axis W SC1 and imaging direction LC2 as shown in FIG. 17 described later. And, it can be represented by the same vector VI having the magnitude Dis. In other words, in the position control mode, virtual camera control unit 112 has virtual point K located in imaging direction LC2 as viewed from virtual camera CM, and the distance between virtual camera CM and virtual point K is constant. To change the position PK of the virtual point K and the position PC of the virtual camera CM. As described above, in the position control mode, the virtual camera control unit 112 changes the position PK of the virtual point K in the virtual plane perpendicular to the reference rotation axis W SC1 .
The virtual camera control unit 112 may simultaneously execute the process of step S150 and the process of step S152, or may execute the process of step S152 before executing the process of step S150.

次に、表示情報生成部１１３は、仮想カメラＣMにより仮想空間ＳP-Vを撮像した結果を示す表示情報ＤSを生成し、当該表示情報ＤSを表示部１２に供給することで、表示部１２に対して表示画像ＧHを表示させる（Ｓ１５４）。   Next, the display information generation unit 113 generates the display information DS indicating the result of imaging the virtual space SP-V with the virtual camera CM, and supplies the display information DS to the display unit 12 so that the display unit 12 can operate. Then, the display image GH is displayed (S154).

図１７は、位置制御モードにおける仮想カメラＣMの位置及び姿勢の変化の一例を説明するための説明図である。また、図１８は、位置制御モードにおいて表示部１２に表示される視認画像ＧSの一例を示す図である。
図１７では、一例として、時刻ｔ3において、ＨＭＤ１が基準姿勢となり、時刻ｔ5において、ＨＭＤ１が起点姿勢となり、時刻ｔ6において、ＨＭＤ１が、基準姿勢を、ＺＳ軸周りのヨー方向ＱＺに対して、基準量θthよりも大きい回転角度θＷだけ回転した姿勢となる場合を想定する。
このため、例えば、図１７に示すように、仮想カメラＣMが、時刻ｔ3において、基準撮像方向ＬC1である撮像方向ＬC(t3)が＋ＸＶ方向を向くような姿勢となる場合には、仮想カメラＣMは、時刻ｔ5において、撮像方向ＬC(t3)を、仮想点Ｋに交差し基準カメラ座標系ΣＣ１のＺＣ軸に平行な基準回転軸ＷＳＣ１の周りを基準量θthだけ回転させた、撮像方向ＬC2である撮像方向ＬC(t5)を有するような姿勢となり、また、仮想カメラＣMは、時刻ｔ6において、撮像方向ＬC2である撮像方向ＬC(t6)を有するような姿勢となる。換言すれば、時刻ｔ5におけるカメラ座標系ΣＣである起点カメラ座標系ΣＣ２は、時刻ｔ3におけるカメラ座標系ΣＣである基準カメラ座標系ΣＣ１を、仮想点Ｋと交差し基準カメラ座標系ΣＣ１のＺＣ軸に平行な基準回転軸ＷＳＣ１の周りを基準量θthだけ回転させた座標系になる。また、時刻ｔ6におけるカメラ座標系ΣＣは、起点カメラ座標系ΣＣ２を、ベクトルＶIにより示される方向及び距離だけ平行移動させた座標系になる。
また、時刻ｔ5における仮想カメラＣMの位置ＰC(t5)は、図１７に示すように、時刻ｔ3における仮想カメラＣMの位置ＰC(t3)、すなわち、基準位置ＰC1を、仮想点Ｋを中心に基準回転軸ＷＳＣ１の周りを基準量θthだけ回転させた位置である、起点位置ＰC2となる。また、時刻ｔ6における仮想カメラＣMの位置ＰC(t6)は、図１７に示すように、時刻ｔ5における仮想カメラＣMの位置ＰC(t5)、すなわち、起点位置ＰC2を、ベクトルＶIだけ移動させた位置となる。また、時刻ｔ6における仮想点Ｋの位置ＰK(t6)は、図１７に示すように、時刻ｔ5における仮想点Ｋの位置ＰK(t5)、すなわち、起点位置ＰK2を、ベクトルＶIだけ移動させた位置となる。
このため、時刻ｔ3において、図６に示すように、キャラクタ画像ＧVが、表示部１２の中央部Ｙmidにおいて正面方向を向くキャラクタＶを表す場合には、キャラクタ画像ＧVは、時刻ｔ5において、図１６に示すように、表示部１２の中央部Ｙmidにおいて正面方向から基準量θthだけ向きを変化させたキャラクタＶを表し、また、キャラクタ画像ＧVは、時刻ｔ6において、図１８に示すように、表示部１２の中央部Ｙmidよりも−ＹＤ方向の位置Ｙ(t6)において正面方向から基準量θthだけ向きを変化させたキャラクタＶを表す。 FIG. 17 is an explanatory diagram for explaining an example of changes in the position and orientation of the virtual camera CM in the position control mode. FIG. 18 is a diagram showing an example of the visual recognition image GS displayed on the display unit 12 in the position control mode.
In Figure 17, as an example, at time t3, HMD 1 is a reference attitude, at time t5, HMD 1 is the starting point position at time t6, HMD 1 is a reference attitude for the yaw direction Q Z around Z S axis , it is assumed that the only rotational posture large rotation angle theta W than the reference amount [theta] th.
Thus, for example, as shown in FIG. 17, when the virtual camera CM is, at time t3, the reference is an image pickup direction LC1 imaging direction LC (t3) is the posture facing + X V direction, the virtual camera CM rotates the imaging direction LC (t3) by the reference amount θth around the reference rotation axis W SC1 which intersects the imaginary point K and is parallel to the ZC axis of the reference camera coordinate system C C1 at time t5. The virtual camera CM has an attitude such that it has an imaging direction LC (t5) which is an imaging direction LC2, and the virtual camera CM has an imaging direction LC (t6) which is an imaging direction LC2 at time t6. In other words, the starting point the camera coordinate system sigma C2 is a camera coordinate system sigma C at time t5 is the reference camera coordinate system sigma C1 is a camera coordinate system sigma C at time t3, the reference camera coordinate system intersects the virtual point K The coordinate system is obtained by rotating the reference rotation axis W SC1 parallel to the Z C axis of C C1 by the reference amount θth. The camera coordinate system sigma C at time t6, the origin camera coordinate system sigma C2, becomes the coordinate system is only translated direction and distance indicated by vector VI.
Further, as shown in FIG. 17, the position PC (t5) of the virtual camera CM at time t5 is based on the position PC (t3) of the virtual camera CM at time t3, that is, the reference position PC1, centering on the virtual point K This is the starting point position PC2, which is a position rotated about the rotation axis W SC1 by the reference amount θth. Further, as shown in FIG. 17, the position PC (t6) of the virtual camera CM at time t6 is the position PC (t5) of the virtual camera CM at time t5, that is, the position obtained by moving the origin position PC2 by the vector VI. It becomes. Further, the position PK (t6) of the virtual point K at time t6 is the position PK (t5) of the virtual point K at time t5, that is, the position obtained by moving the origin position PK2 by the vector VI, as shown in FIG. It becomes.
Therefore, at time t3, as shown in FIG. 6, when the character image GV represents the character V facing in the front direction in the central portion Ymid of the display unit 12, the character image GV is at time t5 shown in FIG. As shown in the figure, the central portion Ymid of the display unit 12 represents the character V whose direction is changed by the reference amount θth from the front direction, and the character image GV is displayed at time t6 as shown in FIG. in -Y D direction position Y (t6) than the central portion Ymid of 12 representing the character V of changing the orientation by reference amount θth from the front.

その後、制御部１１は、ユーザＵが、表示処理を終了させる旨の所定の終了操作を操作部１３から入力したか否かを判定する（Ｓ１５６）。そして、制御部１１は、ステップＳ１５６における判定の結果が否定の場合には、処理をステップＳ１４４に進め、ステップＳ１５６における判定の結果が肯定の場合には、表示処理を終了させる。   Thereafter, the control unit 11 determines whether or not the user U has input a predetermined ending operation for ending the display process from the operation unit 13 (S156). Then, when the result of the determination in step S156 is negative, the control unit 11 advances the process to step S144, and when the result of the determination in step S156 is affirmative, terminates the display process.

なお、モード指定部１１１は、ステップＳ１４８において、ＨＭＤ１の基準姿勢からの姿勢変化量が基準量θth未満であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定するが、本発明はこのような態様に限定されるものではない。
例えば、モード指定部１１１は、ステップＳ１４８において、ＨＭＤ１の基準姿勢からの姿勢変化ｄB2のうち特定の方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。具体的には、モード指定部１１１は、ステップＳ１４８において、例えば、ＨＭＤ１の基準姿勢からの姿勢変化ｄB2のうち、ロール方向ＱＸの方向成分に係る姿勢変化量が、所定値以上であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
また、モード指定部１１１は、ステップＳ１４８において、判定期間におけるＨＭＤ１の姿勢変化量が、所定の閾値以下であるか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。更に、モード指定部１１１は、ステップＳ１４８において、例えば、判定期間の開始時刻におけるＨＭＤ１の姿勢と、判定期間内の任意の時刻におけるＨＭＤ１の姿勢との差分が、所定の閾値よりも小さいか否かを判定することで、制御モードを、姿勢制御モードに移行させるか否かを判定してもよい。
これらの場合、仮想カメラ制御部１１２は、ステップＳ１５０及びＳ１５２において、ＨＭＤ１の基準姿勢からの姿勢変化量が、基準量θth未満となった場合に、仮想点Ｋの位置ＰKと、仮想カメラＣMの位置ＰCとを、基準回転軸ＷＳＣ１と撮像方向ＬC2との双方に直交する方向であって、基準位置ＰC1に近づく方向に変化させてもよい。 Note that the mode designation unit 111 determines whether or not to shift the control mode to the attitude control mode by determining whether the amount of change in attitude from the reference attitude of the HMD 1 is less than the reference amount θth in step S148. However, the present invention is not limited to such an embodiment.
For example, in step S148, the mode designation unit 111 determines whether or not the amount of posture change related to the specific direction component in the posture change dB2 from the reference posture of the HMD 1 is equal to or more than a predetermined value. It may be determined whether or not to shift to the posture control mode. Specifically, in step S148, mode designating unit 111 determines, for example, whether or not the amount of posture change related to the directional component in roll direction Q X is at least a predetermined value, of posture change dB2 from the reference posture of HMD 1 By determining whether or not to shift the control mode to the attitude control mode, it may be determined.
In addition, whether or not the mode specification unit 111 shifts the control mode to the attitude control mode by determining whether the amount of change in attitude of the HMD 1 in the determination period is equal to or less than a predetermined threshold in step S148. May be determined. Furthermore, in step S148, for example, whether or not the difference between the posture of HMD 1 at the start time of the determination period and the posture of HMD 1 at any time within the determination period is smaller than a predetermined threshold value. It may be determined whether or not to shift the control mode to the attitude control mode.
In these cases, if the amount of change in posture from the reference posture of the HMD 1 becomes smaller than the reference amount θth in steps S150 and S152, the virtual camera control unit 112 determines the position PK of the virtual point K and the virtual camera CM. The position PC may be changed in the direction orthogonal to both the reference rotation axis W SC1 and the imaging direction LC2 and in the direction approaching the reference position PC1.

［１．４．実施形態の結論］
以上において説明したように、本実施形態において、表示制御部１１０は、姿勢情報Ｂに基づいて仮想カメラＣMの姿勢を変化させる通常制御モードと、姿勢情報Ｂに基づいて仮想カメラＣMの位置及び姿勢を変化させる姿勢制御モードと、姿勢情報Ｂに基づいて仮想カメラＣMの位置を変化させる位置制御モードと、による視認画像ＧSの表示が可能である。このため、本実施形態によれば、ユーザＵは、ＨＭＤ１の姿勢の変化により、仮想空間ＳP-Vにおける仮想カメラＣMの位置及び姿勢を操作することが可能となる。 [1.4. Conclusion of embodiment]
As described above, in the present embodiment, the display control unit 110 changes the attitude of the virtual camera CM based on the attitude information B, and the position and attitude of the virtual camera CM based on the attitude information B. The visual recognition image GS can be displayed in an attitude control mode in which the position of the virtual camera CM is changed based on the attitude information B and an attitude control mode in which the position of the virtual camera CM is changed. Therefore, according to the present embodiment, the user U can manipulate the position and the attitude of the virtual camera CM in the virtual space SP-V by the change of the attitude of the HMD 1.

また、本実施形態において、表示制御部１１０は、キャラクタＶの存在領域に対応する設定領域に設定された仮想点Ｋを中心に、仮想カメラＣMの位置及び姿勢を変化させる、姿勢制御モードによる視認画像ＧSの表示が可能である。このため、本実施形態によれば、ＨＭＤ１を装着したユーザＵは、表示部１２において、キャラクタ画像ＧVを継続的に表示させることが可能となる。   Further, in the present embodiment, the display control unit 110 changes the position and the attitude of the virtual camera CM around the virtual point K set in the setting area corresponding to the area where the character V is present. It is possible to display an image GS. Thus, according to the present embodiment, the user U wearing the HMD 1 can continuously display the character image GV on the display unit 12.

なお、本実施形態において、姿勢制御モードは、「第１制御モード」の一例であり、位置制御モードは、「第２制御モード」の一例である。   In the present embodiment, the posture control mode is an example of the “first control mode”, and the position control mode is an example of the “second control mode”.

［２．変形例］
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。 [2. Modified example]
Each of the above embodiments can be variously modified. The aspect of a specific deformation | transformation is illustrated below. Two or more aspects arbitrarily selected from the following exemplifications may be combined as appropriate within the range not mutually contradictory. In addition, about the element in which an effect | action or a function is equivalent to embodiment in the modification illustrated below, the code | symbol referred by the above description is diverted and detailed description of each is abbreviate | omitted suitably.

［変形例１］
上述した実施形態において、表示制御部１１０は、通常制御モード、姿勢制御モード、及び、位置制御モードの、３つの制御モードによる視認画像ＧSの表示が可能であるが、本発明はこのような態様に限定されるものではない。表示制御部１１０は、通常制御モード、姿勢制御モード、及び、位置制御モードの、３つの制御モードのうち、少なくとも２つの制御モードによる視認画像ＧSの表示が可能であればよい。例えば、表示制御部１１０は、通常制御モード、及び、位置制御モードの、２つの制御モードによる視認画像ＧSの表示が可能であってもよい。 [Modification 1]
In the above-described embodiment, the display control unit 110 can display the visible image GS in the three control modes of the normal control mode, the attitude control mode, and the position control mode, but the present invention has such an aspect. It is not limited to The display control unit 110 is only required to be able to display the visible image GS in at least two of the three control modes of the normal control mode, the attitude control mode, and the position control mode. For example, the display control unit 110 may be capable of displaying the visual recognition image GS in two control modes of the normal control mode and the position control mode.

図１９及び図２０は、本変形例における表示処理を実行する場合における、端末装置１０の動作の一例を示すフローチャートである。図１９及び図２０に示すフローチャートは、制御部１１が、ステップＳ１６０の処理を実行する点と、ステップＳ１１６及びステップＳ１２０〜Ｓ１３８の処理を実行しない点と、を除き、図１０乃至図１２に示すフローチャートと同様である。
図１９に示すように、モード指定部１１１は、ステップＳ１０８で取得された姿勢情報Ｂ、または、ステップＳ１１０で算出された姿勢変化ｄB0に基づいて、制御モードを、位置制御モードに移行させるか否かを判定する（Ｓ１６０）。
具体的には、モード指定部１１１は、ステップＳ１６０において、ＨＭＤ１の初期姿勢からの姿勢変化量が、基準量θth以上である場合に、モード指定部１１１が、制御モードを、通常制御モードから位置制御モードに移行させる。すなわち、モード指定部１１１は、ステップＳ１６０において、例えば、ＨＭＤ１の初期姿勢からの姿勢変化量が基準量θth以上であるか否かを判定することで、制御モードを、位置制御モードに移行させるか否かを判定する。
そして、モード指定部１１１は、ステップＳ１６０における判定の結果が肯定の場合には、処理をステップＳ１４０に進め、ステップＳ１６０における判定の結果が否定の場合には、処理をステップＳ１１２に進める。
なお、図２０に示すように、仮想カメラ制御部１１２は、ステップＳ１４８における判定の結果が肯定の場合には、処理をステップＳ１０４に進め、ステップＳ１４８における判定の結果が否定の場合には、処理をステップＳ１５０に進める。 FIG. 19 and FIG. 20 are flowcharts showing an example of the operation of the terminal device 10 when the display process in this modification is performed. The flowcharts illustrated in FIGS. 19 and 20 are illustrated in FIGS. 10 to 12 except that the control unit 11 performs the process of step S160 and does not perform the processes of step S116 and steps S120 to S138. It is similar to the flowchart.
As shown in FIG. 19, the mode designation unit 111 determines whether to shift the control mode to the position control mode based on the posture information B obtained in step S108 or the posture change dB0 calculated in step S110. It is determined (S160).
Specifically, when the amount of change in posture from the initial posture of the HMD 1 is equal to or greater than the reference amount θth in step S160, the mode specification unit 111 sets the control mode from the normal control mode to the position Switch to control mode. That is, whether the mode designating unit 111 shifts the control mode to the position control mode, for example, by determining whether or not the amount of posture change from the initial posture of the HMD 1 is equal to or greater than the reference amount θth in step S160. It is determined whether or not.
Then, mode designating unit 111 advances the process to step S140 if the result of the determination in step S160 is affirmative, and advances the process to step S112 if the result of the determination in step S160 is negative.
As shown in FIG. 20, if the determination result in step S148 is affirmative, virtual camera control unit 112 advances the process to step S104, and if the determination result in step S148 is negative, the process is performed. The process proceeds to step S150.

本変形例においても、表示制御部１１０が、通常制御モード、及び、位置制御モードの、２つの制御モードによる視認画像ＧSの表示が可能である。このため、ユーザＵは、ＨＭＤ１の姿勢の変化により、仮想空間ＳP-Vにおける仮想カメラＣMの位置及び姿勢を操作することが可能となる。   Also in the present modification, the display control unit 110 can display the visible image GS in the two control modes of the normal control mode and the position control mode. Thus, the user U can manipulate the position and orientation of the virtual camera CM in the virtual space SP-V by changing the orientation of the HMD 1.

なお、本変形例において、通常制御モードは、「第１制御モード」の一例であり、位置制御モードは、「第２制御モード」の一例である。   In the present modification, the normal control mode is an example of the “first control mode”, and the position control mode is an example of the “second control mode”.

［変形例２］
上述した実施形態及び変形例において、撮像方向ＬCと、仮想カメラＣM及び仮想点Ｋを結ぶ直線の方向とは、一致するが、本発明はこのような態様に限定されるものではない。例えば、撮像方向ＬCと、仮想カメラＣM及び仮想点Ｋを結ぶ直線とのなす角度は、所定角度以下であればよい。 [Modification 2]
In the embodiment and the modification described above, the imaging direction LC matches the direction of the straight line connecting the virtual camera CM and the virtual point K, but the present invention is not limited to such an aspect. For example, the angle between the imaging direction LC and the straight line connecting the virtual camera CM and the virtual point K may be equal to or less than a predetermined angle.

［変形例３］
上述した実施形態及び変形例において、仮想点Ｋは、位置制御モードにおいて、キャラクタＶの存在領域及び設定領域の外部に移動可能であるが、本発明はこのような態様に限定されるものではない。仮想カメラ制御部１１２は、位置制御モードにおいて、仮想点Ｋが存在領域または設定領域の内部に位置するように、仮想カメラＣMの位置ＰCの変化を制限してもよい。 [Modification 3]
In the embodiment and the modification described above, the virtual point K is movable to the outside of the existence area and the setting area of the character V in the position control mode, but the present invention is not limited to such an aspect. . The virtual camera control unit 112 may limit the change of the position PC of the virtual camera CM so that the virtual point K is located inside the existing area or the setting area in the position control mode.

［変形例４］
上述した実施形態及び変形例において、仮想カメラ制御部１１２は、超過角度θovに基づいて、距離Ｄisを決定するが、本発明はこのような態様に限定されるものではない。仮想カメラ制御部１１２は、例えば、距離Ｄisが、姿勢変化ｄB2に含まれる回転角度θＷが基準量θth以上となっている時間長に応じた値となるように、仮想カメラＣMの位置ＰC及び仮想点Ｋの位置ＰKを決定してもよい。
例えば、仮想カメラ制御部１１２は、位置制御モードにおいて、姿勢変化ｄB2に含まれる回転角度θＷが基準量θth以上となっている場合に、仮想カメラＣMの位置ＰC及び仮想点Ｋの位置ＰKを、ベクトルＶI方向に、一定の速度で移動させてもよい。
また、仮想カメラ制御部１１２は、位置制御モードにおいて、姿勢変化ｄB2に含まれる回転角度θＷが基準量θth以上となっている場合に、仮想カメラＣMの位置ＰC及び仮想点Ｋの位置ＰKを、ベクトルＶI方向に、超過角度θovに応じた速度で移動させてもよい。 [Modification 4]
In the embodiment and the modification described above, the virtual camera control unit 112 determines the distance Dis based on the excess angle θov, but the present invention is not limited to such an aspect. For example, the virtual camera control unit 112 determines the position PC of the virtual camera CM and the value according to the length of time in which the rotation angle θ W included in the posture change dB2 is equal to or greater than the reference amount θth. The position PK of the virtual point K may be determined.
For example, in the position control mode, the virtual camera control unit 112 determines the position PC of the virtual camera CM and the position PK of the virtual point K when the rotation angle θ W included in the attitude change dB2 is equal to or greater than the reference amount θth. , In the direction of the vector VI, at a constant speed.
Further, in the position control mode, the virtual camera control unit 112 determines the position PC of the virtual camera CM and the position PK of the virtual point K when the rotation angle θ W included in the attitude change dB2 is equal to or larger than the reference amount θth. , In the direction of the vector VI, at a speed according to the excess angle θov.

［変形例５］
上述した実施形態及び変形例において、姿勢情報Ｂは、端末装置１０の姿勢変化の検出結果を示すが、本発明はこのような態様に限定されるものではない。姿勢情報Ｂは、例えば、地上に固定された座標系から見た端末装置１０の姿勢を示す情報であってもよい。
この場合、姿勢情報生成部１４は、例えば、角速度センサ、及び、地磁気センサの一方または双方を含んで構成されていてもよい。また、この場合、姿勢情報Ｂは、例えば、ＨＭＤ１の外部に設けられ、ＨＭＤ１を撮像する撮像装置から出力される画像情報であってもよい。 [Modification 5]
In the embodiment and the modification described above, the posture information B indicates the detection result of the posture change of the terminal device 10, but the present invention is not limited to such an aspect. The posture information B may be, for example, information indicating the posture of the terminal device 10 as viewed from a coordinate system fixed on the ground.
In this case, the posture information generation unit 14 may be configured to include, for example, one or both of an angular velocity sensor and a geomagnetic sensor. Further, in this case, the posture information B may be, for example, image information provided outside the HMD 1 and output from an imaging device that images the HMD 1.

［変形例６］
上述した実施形態及び変形例において、情報処理装置は、ＨＭＤ１に設けられるが、情報処理装置は、ＨＭＤ１とは別個に設けられてもよい。 [Modification 6]
In the embodiment and the modification described above, the information processing apparatus is provided in the HMD 1, but the information processing apparatus may be provided separately from the HMD 1.

図２１は、本変形例に係る表示システムＳYSの構成の一例を示すブロック図である。
図２１に示すように、表示システムＳYSは、情報処理装置２０と、情報処理装置２０と通信可能なヘッドマウントディスプレイ１Ａと、を備える。このうち、情報処理装置２０は、例えば、制御部１１と、操作部１３と、記憶部１５とを備えてもよい。また、ヘッドマウントディスプレイ１Ａは、表示部１２と、姿勢情報生成部１４とに加え、ヘッドマウントディスプレイ１Ａを装着したユーザＵによる操作を受け付ける操作部３１と、各種情報を記憶する記憶部３２と、を備えてもよい。 FIG. 21 is a block diagram showing an example of a configuration of a display system SYS according to the present modification.
As shown in FIG. 21, the display system SYS includes an information processing device 20 and a head mounted display 1A that can communicate with the information processing device 20. Among these, the information processing apparatus 20 may include, for example, the control unit 11, the operation unit 13, and the storage unit 15. In addition to the display unit 12 and the posture information generation unit 14, the head mount display 1A also includes an operation unit 31 for receiving an operation by the user U wearing the head mount display 1A, and a storage unit 32 for storing various information. May be provided.

［３．付記］
以上の記載から、本発明は例えば以下のように把握される。なお、各態様の理解を容易にするために、以下では、図面の参照符号を便宜的に括弧書きで付記するが、本発明を図示の態様に限定する趣旨ではない。 [3. Appendix]
From the above description, the present invention can be grasped, for example, as follows. In addition, in order to facilitate understanding of each aspect, the reference numerals of the drawings are appended in parentheses in the following for convenience, but the present invention is not intended to be limited to the illustrated aspect.

［付記１］
本発明の一態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第１制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第２制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第１制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、ことを特徴とする。 [Supplementary Note 1]
A program of an information processing apparatus according to an aspect of the present invention is a program of an information processing apparatus including a processor, wherein the processor is an image obtained by imaging a virtual space with a virtual camera, and using binocular parallax A display control unit for displaying a stereoscopic image on a display unit provided on a head mount display, and an acquisition unit for acquiring attitude information on an attitude of the head mount display, the display control unit The position of the virtual camera in the virtual space is changed based on the attitude information about the virtual point set in the virtual space, and the attitude of the virtual camera in the virtual space is changed based on the attitude information Changing the position of the virtual point in the virtual space based on the attitude information, and It is possible to display an image in a plurality of control modes including a second control mode in which the position of the virtual camera being changed is changed based on the posture information, and displaying an image in the first control mode. In this case, the control mode is switched from the first control mode to the second control mode when the amount of change in attitude indicated by the attitude information becomes equal to or greater than a reference amount.

この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、第１制御モード及び第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。すなわち、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることで仮想空間における仮想カメラの位置を変化させる場合と比較して、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。
また、この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を仮想点を中心に変化させ、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想点の位置を変化させ、仮想点の位置に基づいて、仮想空間における仮想カメラの位置を変化させる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザは、仮想空間のうち仮想点の近傍を見続けることが可能となる。これにより、この態様によれば、例えば、対戦型の格闘ゲームにおける対戦相手、または、レースゲームにおけるレーシングカー等のような、仮想空間内における所定のオブジェクトを、ヘッドマウントディスプレイを装着したユーザが見続ける必要がある場合において、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。 According to this aspect, in the first control mode, the attitude of the virtual camera in the virtual space can be changed based on the attitude information, and in the second control mode, the virtual camera in the virtual space is based on the attitude information. The position of the camera can be changed. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, in the first control mode and the second control mode, the position of the virtual camera in the virtual space can be changed based on the posture information. That is, according to this aspect, the position of the virtual camera in the virtual space can be changed without changing the position of the head mounted display in the real space. Therefore, according to this aspect, the user wearing the head mounted display can easily perform as compared with the case where the position of the virtual camera in the virtual space is changed by changing the position of the head mounted display in the real space. The position of the virtual camera in the virtual space can be changed.
Further, according to this aspect, in the first control mode, the position of the virtual camera in the virtual space is changed around the virtual point based on the posture information, and in the second control mode, the virtual space is based on the posture information. The position of the virtual point at is changed, and the position of the virtual camera in the virtual space is changed based on the position of the virtual point. Therefore, according to this aspect, it is possible for the user wearing the head mounted display to continue to look near the virtual point in the virtual space. Thereby, according to this aspect, for example, the user wearing the head mounted display looks at a predetermined object in the virtual space, such as an opponent in a fighting type fighting game or a racing car in a racing game or the like. If the user who wears the head mounted display controls the attitude of the head mounted display so that the virtual point is set to the position corresponding to the predetermined object in the virtual space when it is necessary to continue the head mounting It is possible to continuously display an area in the virtual space in which a predetermined object is present on the display unit of the display.

なお、上記態様において、「仮想カメラ」とは、例えば、仮想空間を撮像する第１の仮想カメラと、仮想空間内のうち第１の仮想カメラとは異なる位置から仮想空間を撮像する第２の仮想カメラと、を備えるものであってもよい。また、この場合、「立体視画像」とは、例えば、仮想空間を第１の仮想カメラで撮像した、ユーザが左眼で視認するための左眼用画像と、仮想空間を第２の仮想カメラで撮像した、ユーザが右眼で視認するための右眼用画像と、を含む画像であってもよい。   In the above aspect, the “virtual camera” refers to, for example, a second virtual camera for imaging a virtual space from a position different from the first virtual camera for imaging a virtual space and the first virtual camera in the virtual space. And a virtual camera. Further, in this case, the “stereoscopic image” is, for example, an image for the left eye obtained by imaging the virtual space with the first virtual camera for the user to visually recognize with the left eye, and a second virtual camera for the virtual space It may be an image including the image for the right eye, which is captured by the user and is viewed by the user with the right eye.

また、上記態様において、「ヘッドマウントディスプレイ」とは、例えば、頭部に装着可能な表示装置であってもよい。具体的には、「ヘッドマウントディスプレイ」とは、頭部に装着可能なゴーグル型または眼鏡型の表示装置であってもよい。また、「ヘッドマウントディスプレイ」とは、例えば、頭部に装着可能な装着具と、当該装着具に対して取り付けられた、スマートフォンのような携帯型の表示装置と、を有するものであってもよい。   Furthermore, in the above aspect, the “head mounted display” may be, for example, a display device that can be worn on the head. Specifically, the “head mounted display” may be a goggle-type or glasses-type display device that can be worn on the head. Also, the “head mounted display” may have, for example, a mounting tool that can be mounted on the head and a portable display device such as a smartphone attached to the mounting tool. Good.

また、上記態様において、「ヘッドマウントディスプレイの姿勢」とは、例えば、ヘッドマウントディスプレイの向きであってもよいし、ヘッドマウントディスプレイの傾きであってもよいし、ヘッドマウントディスプレイの向き及び傾きの双方を含む概念であってもよい。ここで、「ヘッドマウントディスプレイの向き」とは、例えば、現実空間における水平面内においてヘッドマウントディスプレイが向いている方向であってもよいし、ヘッドマウントディスプレイの基準方向と磁北方向とのなす角度であってもよい。また、「ヘッドマウントディスプレイの傾き」とは、例えば、ヘッドマウントディスプレイの基準方向と鉛直方向とのなす角度であってもよい。   Further, in the above aspect, “the attitude of the head mounted display” may be, for example, the direction of the head mounted display, or the inclination of the head mounted display, or the direction and inclination of the head mounted display It may be a concept that includes both. Here, the “head-mounted display orientation” may be, for example, the direction in which the head-mounted display faces in a horizontal plane in real space, or the angle between the reference direction of the head-mounted display and the magnetic north direction. It may be. The “inclination of the head mounted display” may be, for example, an angle formed by the reference direction of the head mounted display and the vertical direction.

また、上記態様において、「姿勢情報」とは、例えば、ヘッドマウントディスプレイの姿勢を示す情報であってもよいし、ヘッドマウントディスプレイの姿勢変化を示す情報であってもよい。   Further, in the above aspect, the “posture information” may be, for example, information indicating the attitude of the head mounted display, or information indicating the attitude change of the head mounted display.

また、上記態様において、「取得部」は、例えば、ヘッドマウントディスプレイから姿勢情報を取得してもよいし、ヘッドマウントディスプレイを撮像する撮像装置から姿勢情報を取得してもよい。取得部が、ヘッドマウントディスプレイから姿勢情報を取得する場合、ヘッドマウントディスプレイは、ヘッドマウントディスプレイの姿勢変化を示す情報を検出するためのセンサを備えていてもよいし、ヘッドマウントディスプレイの姿勢を示す情報を検出するためのセンサを備えていてもよい。ここで、「ヘッドマウントディスプレイの姿勢変化を示す情報を検出するためのセンサ」とは、例えば、角速度センサであってもよい。また、「ヘッドマウントディスプレイの姿勢を示す情報を検出するためのセンサ」とは、例えば、地磁気センサ、及び、角速度センサの一方または双方であってもよい。また、取得部が、ヘッドマウントディスプレイを撮像する撮像装置から姿勢情報を取得する場合、姿勢情報は、例えば、撮像装置によりヘッドマウントディスプレイを撮像した結果を示す画像であってもよい。   Further, in the above aspect, the “acquisition unit” may acquire, for example, posture information from the head mounted display, or may acquire posture information from an imaging device that captures an image of the head mounted display. When the acquiring unit acquires posture information from the head mounted display, the head mounted display may include a sensor for detecting information indicating a change in posture of the head mounted display, or indicates the posture of the head mounted display. A sensor may be provided to detect information. Here, the “sensor for detecting information indicating a change in the attitude of the head mounted display” may be, for example, an angular velocity sensor. Further, the “sensor for detecting information indicating the attitude of the head mount display” may be, for example, one or both of a geomagnetic sensor and an angular velocity sensor. In addition, when the acquisition unit acquires posture information from an imaging device that images a head mounted display, the posture information may be, for example, an image indicating a result of imaging the head mounted display by the imaging device.

［付記２］
本発明の他の態様に係る情報処理装置のプログラムは、付記１に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第１制御モードにおいて、前記仮想カメラ及び前記仮想点を結ぶ線分と、前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、所定角度以下となるように、前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、ことを特徴とする。 [Supplementary Note 2]
The program of the information processing apparatus according to another aspect of the present invention is the program of the information processing apparatus according to appendix 1, and the display control unit is configured to set the virtual camera and the virtual point in the first control mode. The position and orientation of the virtual camera in the virtual space such that an angle between a connecting line segment and a reference straight line in the virtual space determined based on an image displayed on the display unit is equal to or less than a predetermined angle. It is characterized by changing.

この態様によれば、仮想空間において仮想カメラが撮像する方向と、仮想カメラから見た仮想点の方向との、なす角度を、例えば、所定角度以下とすることが可能となる。このため、この態様によれば、例えば、ヘッドマウントディスプレイを装着したユーザが、仮想空間内における所定のオブジェクトを見続ける必要がある場合に、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。   According to this aspect, it is possible to set an angle formed by the direction in which the virtual camera captures an image in the virtual space and the direction of the virtual point viewed from the virtual camera, for example, to a predetermined angle or less. Therefore, according to this aspect, for example, when the user wearing the head mounted display needs to keep looking at a predetermined object in the virtual space, the virtual point is located at a position corresponding to the predetermined object in the virtual space. By setting the position of the head mounted display, the user of the head mounted display controls the position of the head mounted display to continuously set the area where a predetermined object exists in the virtual space. It becomes possible to display.

なお、上記態様において、「基準直線」とは、例えば、表示部に表示される画像のうち、特定の画素において表示される仮想空間内の特定箇所と、仮想カメラとを結ぶ直線であってもよい。また、この態様において、「基準直線」とは、例えば、仮想カメラの向く方向であってもよい。より具体的には、「基準直線」とは、例えば、仮想カメラの光軸方向であってもよい。   In the above aspect, the “reference straight line” may be, for example, a straight line connecting a specific part in the virtual space displayed in a specific pixel in the image displayed on the display unit and the virtual camera. Good. Moreover, in this aspect, the “reference straight line” may be, for example, the direction in which the virtual camera faces. More specifically, the “reference straight line” may be, for example, the optical axis direction of the virtual camera.

［付記３］
本発明の他の態様に係る情報処理装置のプログラムは、付記１または２に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第１制御モードにおいて、前記仮想空間における前記仮想点と前記仮想カメラとの間隔が、一定の距離を維持するように、前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、ことを特徴とする。 [Supplementary Note 3]
The program of the information processing device according to another aspect of the present invention is the program of the information processing device according to the remark 1 or 2, wherein the display control unit is configured to control the virtual space in the virtual space in the first control mode. A distance between a point and the virtual camera changes a position and an attitude of the virtual camera in the virtual space so as to maintain a constant distance.

この態様によれば、仮想空間において、仮想カメラと仮想点との間隔を一定に維持することができる。すなわち、この態様によれば、例えば、仮想空間における所定のオブジェクトの位置に基づいて、仮想点を設定することで、仮想空間において、仮想カメラと所定のオブジェクトとの間隔を略一定に維持することができる。このため、この態様によれば、ヘッドマウントディスプレイの表示部において、所定のオブジェクトの大きさを略一定に維持しつつ、所定のオブジェクトを様々な方向から撮像した結果を表示することができる。なお、「間隔を略一定に維持する」とは、間隔を完全に一定に維持する場合の他に、所定範囲の誤差を含みつつ間隔を一定に維持する場合を含む概念であることとする。   According to this aspect, in the virtual space, the distance between the virtual camera and the virtual point can be maintained constant. That is, according to this aspect, by setting the virtual point based on, for example, the position of the predetermined object in the virtual space, the interval between the virtual camera and the predetermined object is maintained substantially constant in the virtual space. Can. For this reason, according to this aspect, it is possible to display the results of imaging a predetermined object from various directions while maintaining the size of the predetermined object substantially constant on the display unit of the head mounted display. Note that "maintaining the interval substantially constant" is a concept including a case where the interval is maintained constant while including an error in a predetermined range, in addition to the case where the interval is maintained completely constant.

［付記４］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至３に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第１制御モードにおいて、前記仮想空間内における所定のオブジェクトの存在領域に対応する設定領域に、前記仮想点を設定し、前記第２制御モードにおいて、前記設定領域の内部で、前記仮想点の位置を変化させる、ことを特徴とする。 [Supplementary Note 4]
A program of an information processing apparatus according to another aspect of the present invention is the program of the information processing apparatus according to any one of appendices 1 to 3, and the display control unit determines the predetermined in the virtual space in the first control mode. The virtual point is set in a setting area corresponding to the existence area of the object, and the position of the virtual point is changed inside the setting area in the second control mode.

この態様によれば、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。   According to this aspect, it is possible to continuously display an area in the virtual space in which a predetermined object is present on the display unit of the head mounted display.

なお、上記態様において、「所定のオブジェクト」とは、仮想空間内に存在する仮想的な物体であってもよい。例えば、「所定のオブジェクト」は、一定の形状を有する物体であってもよいし、仮想空間において一定の位置に存在する物体であってもよいし、または、形状と仮想空間における存在位置との一方または双方が変化可能なものであってもよい。具体的には、「所定のオブジェクト」は、例えば、仮想空間に存在する、人物、動物、及び、モンスター等の、キャラクタであってもよいし、仮想空間に存在する、乗り物、建造物、及び、道具等の、人工物であってもよいし、仮想空間を構成する部屋、森林、原野、及び、星等の環境構成物であってもよい。   In the above aspect, the "predetermined object" may be a virtual object existing in the virtual space. For example, the "predetermined object" may be an object having a predetermined shape, an object existing at a predetermined position in the virtual space, or the shape and the existing position in the virtual space One or both may be changeable. Specifically, the “predetermined object” may be, for example, a character such as a person, an animal, or a monster existing in the virtual space, or may be a vehicle, a building, or the like existing in the virtual space. It may be an artificial object such as a tool or the like, or it may be an environmental component such as a room that constitutes a virtual space, a forest, a wilderness, and a star.

［付記５］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至４に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第２制御モードにおいて、前記仮想カメラ及び前記仮想点を結ぶ線分と、前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、所定角度以下となるように、前記仮想空間における前記仮想点の位置と、前記仮想空間における前記仮想カメラの位置と、を変化させる、ことを特徴とする。 [Supplementary Note 5]
A program of an information processing apparatus according to another aspect of the present invention is the program of the information processing apparatus according to any one of appendices 1 to 4, and the display control unit is configured to control the virtual camera and the virtual camera in the second control mode. The position of the virtual point in the virtual space such that an angle between a line connecting the points and a reference straight line in the virtual space determined based on the image displayed on the display unit is equal to or less than a predetermined angle. And the position of the virtual camera in the virtual space.

この態様によれば、仮想空間において仮想カメラが撮像する方向と、仮想カメラから見た仮想点の方向との、なす角度を、例えば、所定角度以下とすることが可能となる。このため、この態様によれば、例えば、ヘッドマウントディスプレイを装着したユーザが、仮想空間内における所定のオブジェクトを見続ける必要がある場合に、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。   According to this aspect, it is possible to set an angle between the direction in which the virtual camera captures an image in the virtual space and the direction of the virtual point viewed from the virtual camera, for example, equal to or less than a predetermined angle. Therefore, according to this aspect, for example, when the user wearing the head mounted display needs to keep looking at a predetermined object in the virtual space, the virtual point is located at a position corresponding to the predetermined object in the virtual space. By setting the position of the head mounted display, the user of the head mounted display controls the position of the head mounted display to continuously set the area where a predetermined object exists in the virtual space. It becomes possible to display.

［付記６］
本発明の他の態様に係る情報処理装置のプログラムは、付記５に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第２制御モードにおいて、前記仮想空間における前記仮想カメラの姿勢を一定に保つ、ことを特徴とする。 [Supplementary Note 6]
The program of the information processing apparatus according to another aspect of the present invention is the program of the information processing apparatus according to appendix 5, wherein the display control unit is configured to control the virtual camera in the virtual space in the second control mode. It is characterized in that the posture is kept constant.

この態様によれば、例えば、ヘッドマウントディスプレイを装着したユーザが、仮想空間内における所定のオブジェクトを見続ける必要がある場合に、仮想空間における所定のオブジェクトに対応する位置に、仮想点が設定されるように、ヘッドマウントディスプレイを装着したユーザが、ヘッドマウントディスプレイの姿勢を制御することで、ヘッドマウントディスプレイの表示部に、仮想空間のうち所定のオブジェクトが存在する領域を継続的に表示させることが可能となる。   According to this aspect, for example, when the user wearing the head mounted display needs to keep looking at a predetermined object in the virtual space, a virtual point is set at a position corresponding to the predetermined object in the virtual space. The user who wears the head mounted display controls the attitude of the head mounted display to continuously display an area in the virtual space where a predetermined object is present, by controlling the attitude of the head mounted display. Is possible.

［付記７］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至６に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第２制御モードにおいて、前記仮想空間における前記仮想点の位置を、前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させる、ことを特徴とする。 [Supplementary Note 7]
A program of an information processing apparatus according to another aspect of the present invention is the program of the information processing apparatus according to any one of appendices 1 to 6, and in the second control mode, the display control unit determines the virtual in the virtual space. The position of a point is changed by a distance corresponding to the amount of change in posture indicated by the posture information, and the position of the virtual camera in the virtual space is changed by a distance corresponding to the amount of change in posture indicated by the posture information. It is characterized by

この態様によれば、第２制御モードにおいて、ヘッドマウントディスプレイの姿勢の変化量に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、ヘッドマウントディスプレイの姿勢の変化量に応じて、仮想カメラの位置の変化量が決定される。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、仮想カメラの位置を所望の位置に変化させることが可能となる。 According to this aspect, in the second control mode, the position of the virtual camera in the virtual space can be changed based on the amount of change in the attitude of the head mounted display. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, the amount of change of the position of the virtual camera is determined according to the amount of change of the attitude of the head mounted display. Therefore, according to this aspect, the user wearing the head mounted display can change the position of the virtual camera to a desired position.

［付記８］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至７に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第２制御モードにおいて、前記ヘッドマウントディスプレイが、回転軸を中心として回転する場合、前記仮想空間における前記仮想点の位置を、前記回転軸に対応する仮想直線に垂直な仮想平面内において変化させ、前記仮想空間における前記仮想カメラの位置を、前記仮想平面内において変化させる、ことを特徴とする。 [Supplementary Note 8]
A program of an information processing apparatus according to another aspect of the present invention is the program of the information processing apparatus according to any one of appendices 1 to 7, and in the second control mode, the display control unit is the head mount display. When rotating about a rotation axis, the position of the virtual point in the virtual space is changed in a virtual plane perpendicular to a virtual straight line corresponding to the rotation axis, and the position of the virtual camera in the virtual space is It is characterized in that it is changed in a virtual plane.

この態様によれば、第２制御モードにおいて、ヘッドマウントディスプレイの姿勢の変化の方向に基づいて、仮想空間における仮想カメラの位置の変化の方向を定めることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、ヘッドマウントディスプレイの姿勢の変化方向に応じて、仮想カメラの位置の変化方向が決定される。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、仮想カメラの位置を所望の位置に変化させることが可能となる。 According to this aspect, in the second control mode, it is possible to determine the direction of change of the position of the virtual camera in the virtual space based on the direction of change of the attitude of the head mounted display. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, the change direction of the position of the virtual camera is determined according to the change direction of the attitude of the head mounted display. Therefore, according to this aspect, the user wearing the head mounted display can change the position of the virtual camera to a desired position.

なお、上記態様において、「仮想直線」とは、例えば、ヘッドマウントディスプレイが存在する現実空間の位置及び姿勢を、仮想空間における位置及び姿勢に変換するための演算子により、回転軸に平行な直線を変換した直線であってもよい。   In the above aspect, “virtual straight line” means, for example, a straight line parallel to the rotation axis by an operator for converting the position and posture of the physical space in which the head mount display exists into the position and posture in the virtual space. It may be a straight line obtained by converting

［付記９］
本発明の他の態様に係る情報処理装置のプログラムは、付記１乃至８に記載の情報処理装置のプログラムであって、前記表示制御部は、前記第１制御モードにおいて、前記ヘッドマウントディスプレイが、回転軸を中心として回転する場合であって、前記ヘッドマウントディスプレイの、前記回転軸を中心とする回転の角度が、基準角度以上となった場合に、前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、ことを特徴とする。 [Supplementary Note 9]
A program of an information processing apparatus according to another aspect of the present invention is the program of the information processing apparatus according to any one of appendices 1 to 8, wherein the display control unit controls the head mount display in the first control mode. In the case where the head mount display rotates about the rotation axis when the rotation angle about the rotation axis is equal to or greater than a reference angle, the control mode is selected from the first control mode. Switching to the second control mode.

この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。   According to this aspect, in the first control mode, the attitude of the virtual camera in the virtual space can be changed based on the attitude information, and in the second control mode, the virtual camera in the virtual space is based on the attitude information. The position of the camera can be changed. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.

［付記１０］
本発明の一態様に係る情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第１制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第２制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第１制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、ことを特徴とする。 [Supplementary Note 10]
An information processing apparatus according to an aspect of the present invention is a display control that causes a display unit provided in a head mount display to display a stereoscopic image that is an image obtained by capturing an image of a virtual space with a virtual camera and using binocular parallax. Unit, and an acquisition unit that acquires posture information on the posture of the head mounted display, the display control unit is configured to center the position of the virtual camera in the virtual space at the virtual point set in the virtual space. A first control mode for changing the posture of the virtual camera in the virtual space based on the posture information, the position of the virtual point in the virtual space, the first control mode, and And a second control mode for changing the position of the virtual camera in the virtual space based on the posture information. When it is possible to display an image in a control mode and display an image in the first control mode, when the amount of change in attitude indicated by the attitude information becomes equal to or greater than a reference amount, the control mode is selected. Switching from the first control mode to the second control mode.

この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。 According to this aspect, in the first control mode, the attitude of the virtual camera in the virtual space can be changed based on the attitude information, and in the second control mode, the virtual camera in the virtual space is based on the attitude information. The position of the camera can be changed. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, it is possible to change the position of the virtual camera in the virtual space without changing the position of the head mounted display in the real space. Therefore, according to this aspect, the user wearing the head mounted display can easily change the position of the virtual camera in the virtual space.

［付記１１］
本発明の一態様に係るヘッドマウントディスプレイは、表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、前記情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第１制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第２制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第１制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、ことを特徴とする。 [Supplementary Note 11]
The head mounted display according to an aspect of the present invention is a head mounted display including a display unit and an information processing apparatus, and the information processing apparatus is an image obtained by imaging a virtual space with a virtual camera, The display control unit causes the display unit to display a stereoscopic image using binocular parallax, and the acquisition unit acquires posture information on the posture of the head mount display, and the display control unit includes the virtual space. Changing the position of the virtual camera in the virtual space based on the posture information about the virtual point set in the virtual space, and changing the posture of the virtual camera in the virtual space based on the posture information Changing the position of the virtual point in the virtual space based on the control information and the control information, and the virtual camera in the virtual space. In the case where images can be displayed in a plurality of control modes including the second control mode in which the position of the vehicle is changed based on the posture information, and the images are displayed in the first control mode, The control mode is switched from the first control mode to the second control mode when the amount of change in posture indicated by the posture information becomes equal to or greater than a reference amount.

この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。 According to this aspect, in the first control mode, the attitude of the virtual camera in the virtual space can be changed based on the attitude information, and in the second control mode, the virtual camera in the virtual space is based on the attitude information. The position of the camera can be changed. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, it is possible to change the position of the virtual camera in the virtual space without changing the position of the head mounted display in the real space. Therefore, according to this aspect, the user wearing the head mounted display can easily change the position of the virtual camera in the virtual space.

［付記１２］
本発明の一態様に係る表示システムは、表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する表示システムであって、前記情報処理装置は、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、前記表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、を備え、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第１制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第２制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第１制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、ことを特徴とする。 [Supplementary Note 12]
A display system according to an aspect of the present invention is a display system including a head mounted display having a display unit, and an information processing apparatus, wherein the information processing apparatus is an image obtained by imaging a virtual space with a virtual camera. A display control unit that causes the display unit to display a stereoscopic image using binocular parallax; and an acquisition unit that acquires posture information related to a posture of the head mounted display, the display control unit including: The position of the virtual camera in the virtual space is changed based on the posture information, centering on a virtual point set in the virtual space, and the posture of the virtual camera in the virtual space is based on the posture information Changing the first control mode to be changed and the position of the virtual point in the virtual space based on the posture information; In the case where images can be displayed in a plurality of control modes including the second control mode in which the position of the camera is changed based on the posture information, and images are displayed in the first control mode, The control mode is switched from the first control mode to the second control mode when the amount of change in posture indicated by the posture information becomes equal to or greater than a reference amount.

この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。 According to this aspect, in the first control mode, the attitude of the virtual camera in the virtual space can be changed based on the attitude information, and in the second control mode, the virtual camera in the virtual space is based on the attitude information. The position of the camera can be changed. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, it is possible to change the position of the virtual camera in the virtual space without changing the position of the head mounted display in the real space. Therefore, according to this aspect, the user wearing the head mounted display can easily change the position of the virtual camera in the virtual space.

［付記１３］
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を変化させずに、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第１制御モードと、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第２制御モードと、を含む複数の制御モードによる画像の表示が可能であり、前記第１制御モードによる画像の表示をしている場合において、前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、ことを特徴とする。 [Supplementary Note 13]
A program of an information processing apparatus according to another aspect of the present invention is a program of an information processing apparatus including a processor, wherein the processor is an image obtained by imaging a virtual space with a virtual camera, and using binocular parallax A display control unit that causes the display unit provided in the head mount display to display the stereoscopic image that has been captured, and an acquisition unit that acquires attitude information on the attitude of the head mount display, the display control unit A first control mode for changing the posture of the virtual camera in the virtual space based on the posture information without changing the position of the virtual camera in the virtual space; and the position of the virtual camera in the virtual space It is possible to display images in a plurality of control modes including a second control mode that changes based on the posture information. In the case where an image is displayed in the first control mode, the control mode is changed from the first control mode to the second control when the amount of change in attitude indicated by the attitude information becomes equal to or greater than a reference amount. It is characterized by switching to the mode.

この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、第２制御モードにおいて、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。 According to this aspect, in the first control mode, the attitude of the virtual camera in the virtual space can be changed based on the attitude information, and in the second control mode, the virtual camera in the virtual space is based on the attitude information. The position of the camera can be changed. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, in the second control mode, the position of the virtual camera in the virtual space can be changed without changing the position of the head mounted display in the real space. Therefore, according to this aspect, the user wearing the head mounted display can easily change the position of the virtual camera in the virtual space.

［付記１４］
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を、前記仮想空間に設定された仮想点を中心に、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第１制御モードと、前記仮想空間における前記仮想点の位置を、前記姿勢情報に基づいて変化させ、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第２制御モードと、による画像の表示が可能である、ことを特徴とする。 [Supplementary Note 14]
A program of an information processing apparatus according to another aspect of the present invention is a program of an information processing apparatus including a processor, wherein the processor is an image obtained by imaging a virtual space with a virtual camera, and using binocular parallax A display control unit that causes the display unit provided in the head mount display to display the stereoscopic image that has been captured, and an acquisition unit that acquires attitude information on the attitude of the head mount display, the display control unit The position of the virtual camera in the virtual space is changed based on the posture information, centering on a virtual point set in the virtual space, and the posture of the virtual camera in the virtual space is based on the posture information Changing the first control mode to be changed and the position of the virtual point in the virtual space based on the posture information; The position of definitive the virtual camera, and a second control mode for changing on the basis of the attitude information can be displayed in the image by, characterized in that.

この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。 According to this aspect, in the first control mode, the attitude of the virtual camera in the virtual space can be changed based on the attitude information, and in the second control mode, the virtual camera in the virtual space is based on the attitude information. The position of the camera can be changed. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, it is possible to change the position of the virtual camera in the virtual space without changing the position of the head mounted display in the real space. Therefore, according to this aspect, the user wearing the head mounted display can easily change the position of the virtual camera in the virtual space.

［付記１５］
本発明の他の態様に係る情報処理装置のプログラムは、プロセッサを具備する情報処理装置のプログラムであって、前記プロセッサを、仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、して機能させ、前記表示制御部は、前記仮想空間における前記仮想カメラの位置を変化させずに、前記仮想空間における前記仮想カメラの姿勢を、前記姿勢情報に基づいて変化させる第１制御モードと、前記仮想空間における前記仮想カメラの位置を、前記姿勢情報に基づいて変化させる第２制御モードと、による画像の表示が可能である、ことを特徴とする。 [Supplementary Note 15]
A program of an information processing apparatus according to another aspect of the present invention is a program of an information processing apparatus including a processor, wherein the processor is an image obtained by imaging a virtual space with a virtual camera, and using binocular parallax A display control unit that causes the display unit provided in the head mount display to display the stereoscopic image that has been captured, and an acquisition unit that acquires attitude information on the attitude of the head mount display, the display control unit A first control mode for changing the posture of the virtual camera in the virtual space based on the posture information without changing the position of the virtual camera in the virtual space; and the position of the virtual camera in the virtual space It is characterized in that it is possible to display an image in a second control mode that changes based on the posture information.

この態様によれば、第１制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの姿勢を変化させることができ、また、第２制御モードにおいて、姿勢情報に基づいて、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイの姿勢の変化により、仮想空間における仮想カメラの姿勢の変化以外の操作を行うことが可能となる。
また、この態様によれば、第２制御モードにおいて、実空間においてヘッドマウントディスプレイの位置を変化させることなく、仮想空間における仮想カメラの位置を変化させることができる。このため、この態様によれば、ヘッドマウントディスプレイを装着したユーザが、容易に、仮想空間における仮想カメラの位置を変化させることができる。 According to this aspect, in the first control mode, the attitude of the virtual camera in the virtual space can be changed based on the attitude information, and in the second control mode, the virtual camera in the virtual space is based on the attitude information. The position of the camera can be changed. Therefore, according to this aspect, it is possible to perform an operation other than the change of the attitude of the virtual camera in the virtual space by the change of the attitude of the head mounted display.
Further, according to this aspect, in the second control mode, the position of the virtual camera in the virtual space can be changed without changing the position of the head mounted display in the real space. Therefore, according to this aspect, the user wearing the head mounted display can easily change the position of the virtual camera in the virtual space.

１…ヘッドマウントディスプレイ、１０…端末装置、１１…制御部、１２…表示部、１３…操作部、１４…姿勢情報生成部、１５…記憶部、９０…装着具、１１０…表示制御部、１１１…モード指定部、１１２…仮想カメラ制御部、１１３…表示情報生成部、１１４…姿勢情報取得部、１０００…プロセッサ、１００２…角速度センサ。
DESCRIPTION OF SYMBOLS 1 ... Head mount display, 10 ... Terminal device, 11 ... Control part, 12 ... Display part, 13 ... Operation part, 14 ... Posture information generation part, 15 ... Storage part, 90 ... Mounting tool, 110 ... Display control part, 111 ... Mode designation unit 112 ... Virtual camera control unit 113 ... Display information generation unit 114 ... Posture information acquisition unit 1000 ... Processor ... 1002 ... Angular velocity sensor.

Claims (12)

プロセッサを具備する情報処理装置のプログラムであって、
前記プロセッサを、
仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
して機能させ、
前記表示制御部は、
前記仮想空間における前記仮想カメラの位置を、
前記仮想空間に設定された仮想点を中心に、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの姿勢を、
前記姿勢情報に基づいて変化させる第１制御モードと、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報に基づいて変化させる第２制御モードと、
を含む複数の制御モードによる画像の表示が可能であり、
前記第１制御モードによる画像の表示をしている場合において、
前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、
前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、
ことを特徴とする、情報処理装置のプログラム。 A program of an information processing apparatus having a processor,
The processor,
It is an image obtained by imaging a virtual space with a virtual camera, and a stereoscopic image using binocular parallax,
A display control unit to be displayed on a display unit provided on the head mounted display;
An acquisition unit configured to acquire attitude information on an attitude of the head mounted display;
Make it work,
The display control unit
The position of the virtual camera in the virtual space
Centering on the virtual point set in the virtual space,
Change based on the attitude information,
The attitude of the virtual camera in the virtual space,
A first control mode for changing based on the posture information;
The position of the virtual point in the virtual space is
Change based on the attitude information,
The position of the virtual camera in the virtual space
A second control mode for changing based on the posture information;
Can display images in multiple control modes, including
In the case of displaying an image in the first control mode,
When the amount of change in posture indicated by the posture information becomes equal to or greater than a reference amount,
Switching the control mode from the first control mode to the second control mode;
A program of an information processing apparatus characterized in that. 前記表示制御部は、
前記第１制御モードにおいて、
前記仮想カメラ及び前記仮想点を結ぶ線分と、
前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、
所定角度以下となるように、
前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、
ことを特徴とする、請求項１に記載の情報処理装置のプログラム。 The display control unit
In the first control mode,
A line connecting the virtual camera and the virtual point;
The angle between the virtual space and a reference straight line determined based on the image displayed on the display unit is
To be less than a predetermined angle
Change the position and orientation of the virtual camera in the virtual space,
The program of the information processing apparatus according to claim 1, characterized in that: 前記表示制御部は、
前記第１制御モードにおいて、
前記仮想空間における前記仮想点と前記仮想カメラとの間隔が、
一定の距離を維持するように、
前記仮想空間における前記仮想カメラの位置及び姿勢を変化させる、
ことを特徴とする、請求項１または２に記載の情報処理装置のプログラム。 The display control unit
In the first control mode,
The distance between the virtual point in the virtual space and the virtual camera is
As maintaining a certain distance,
Change the position and orientation of the virtual camera in the virtual space,
The program of the information processing apparatus according to claim 1 or 2, characterized in that: 前記表示制御部は、
前記第１制御モードにおいて、
前記仮想空間内における所定のオブジェクトの存在領域に対応する設定領域に、
前記仮想点を設定し、
前記第２制御モードにおいて、
前記設定領域の内部で、
前記仮想点の位置を変化させる、
ことを特徴とする、請求項１乃至３のうち何れか１項に記載の情報処理装置のプログラム。 The display control unit
In the first control mode,
In the setting area corresponding to the existing area of the predetermined object in the virtual space,
Set the virtual point,
In the second control mode,
Inside the setting area,
Change the position of the virtual point,
The program of the information processing apparatus according to any one of claims 1 to 3, characterized in that: 前記表示制御部は、
前記第２制御モードにおいて、
前記仮想カメラ及び前記仮想点を結ぶ線分と、
前記表示部に表示される画像に基づいて定められる前記仮想空間内の基準直線とのなす角度が、
所定角度以下となるように、
前記仮想空間における前記仮想点の位置と、
前記仮想空間における前記仮想カメラの位置と、を変化させる、
ことを特徴とする、請求項１乃至４のうち何れか１項に記載の情報処理装置のプログラム。 The display control unit
In the second control mode,
A line connecting the virtual camera and the virtual point;
The angle between the virtual space and a reference straight line determined based on the image displayed on the display unit is
To be less than a predetermined angle
The position of the virtual point in the virtual space;
Changing the position of the virtual camera in the virtual space;
The program of the information processing apparatus according to any one of claims 1 to 4, characterized in that: 前記表示制御部は、
前記第２制御モードにおいて、
前記仮想空間における前記仮想カメラの姿勢を一定に保つ、
ことを特徴とする、請求項５に記載の情報処理装置のプログラム。 The display control unit
In the second control mode,
Keeping a posture of the virtual camera in the virtual space constant,
The program of the information processing apparatus according to claim 5, characterized in that: 前記表示制御部は、
前記第２制御モードにおいて、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報の示す姿勢の変化量に応じた距離だけ変化させる、
ことを特徴とする、請求項１乃至６のうち何れか１項に記載の情報処理装置のプログラム。 The display control unit
In the second control mode,
The position of the virtual point in the virtual space is
Change the distance according to the amount of change in posture indicated by the posture information,
The position of the virtual camera in the virtual space
Change the distance according to the amount of change in posture indicated by the posture information,
The program of the information processing apparatus according to any one of claims 1 to 6, characterized in that: 前記表示制御部は、
前記第２制御モードにおいて、
前記ヘッドマウントディスプレイが、回転軸を中心として回転する場合、
前記仮想空間における前記仮想点の位置を、
前記回転軸に対応する仮想直線に垂直な仮想平面内において変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記仮想平面内において変化させる、
ことを特徴とする、請求項１乃至７のうち何れか１項に記載の情報処理装置のプログラム。 The display control unit
In the second control mode,
When the head mounted display rotates around a rotation axis:
The position of the virtual point in the virtual space is
Changing in a virtual plane perpendicular to a virtual straight line corresponding to the rotation axis,
The position of the virtual camera in the virtual space
Change in the virtual plane
The program of the information processing apparatus according to any one of claims 1 to 7, characterized in that: 前記表示制御部は、
前記第１制御モードにおいて、
前記ヘッドマウントディスプレイが、回転軸を中心として回転する場合であって、
前記ヘッドマウントディスプレイの、前記回転軸を中心とする回転の角度が、基準角度以上となった場合に、
前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、
ことを特徴とする、請求項１乃至８のうち何れか１項に記載の情報処理装置のプログラム。 The display control unit
In the first control mode,
In the case where the head mounted display rotates around a rotation axis,
When the angle of rotation of the head mounted display about the rotation axis is equal to or greater than a reference angle:
Switching the control mode from the first control mode to the second control mode;
The program of the information processing apparatus according to any one of claims 1 to 8, characterized in that. 仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
ヘッドマウントディスプレイに設けられた表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
を備え、
前記表示制御部は、
前記仮想空間における前記仮想カメラの位置を、
前記仮想空間に設定された仮想点を中心に、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの姿勢を、
前記姿勢情報に基づいて変化させる第１制御モードと、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報に基づいて変化させる第２制御モードと、
を含む複数の制御モードによる画像の表示が可能であり、
前記第１制御モードによる画像の表示をしている場合において、
前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、
前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、
ことを特徴とする、情報処理装置。 It is an image obtained by imaging a virtual space with a virtual camera, and a stereoscopic image using binocular parallax,
A display control unit to be displayed on a display unit provided on the head mounted display;
An acquisition unit configured to acquire attitude information on an attitude of the head mounted display;
Equipped with
The display control unit
The position of the virtual camera in the virtual space
Centering on the virtual point set in the virtual space,
Change based on the attitude information,
The attitude of the virtual camera in the virtual space,
A first control mode for changing based on the posture information;
The position of the virtual point in the virtual space is
Change based on the attitude information,
The position of the virtual camera in the virtual space
A second control mode for changing based on the posture information;
Can display images in multiple control modes, including
In the case of displaying an image in the first control mode,
When the amount of change in posture indicated by the posture information becomes equal to or greater than a reference amount,
Switching the control mode from the first control mode to the second control mode;
An information processing apparatus characterized in that. 表示部と、情報処理装置と、を具備するヘッドマウントディスプレイであって、
前記情報処理装置は、
仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
前記表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
を備え、
前記表示制御部は、
前記仮想空間における前記仮想カメラの位置を、
前記仮想空間に設定された仮想点を中心に、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの姿勢を、
前記姿勢情報に基づいて変化させる第１制御モードと、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報に基づいて変化させる第２制御モードと、
を含む複数の制御モードによる画像の表示が可能であり、
前記第１制御モードによる画像の表示をしている場合において、
前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、
前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、
ことを特徴とする、ヘッドマウントディスプレイ。 A head mounted display comprising a display unit and an information processing apparatus,
The information processing apparatus is
It is an image obtained by imaging a virtual space with a virtual camera, and a stereoscopic image using binocular parallax,
A display control unit to be displayed on the display unit;
An acquisition unit configured to acquire attitude information on an attitude of the head mounted display;
Equipped with
The display control unit
The position of the virtual camera in the virtual space
Centering on the virtual point set in the virtual space,
Change based on the attitude information,
The attitude of the virtual camera in the virtual space,
A first control mode for changing based on the posture information;
The position of the virtual point in the virtual space is
Change based on the attitude information,
The position of the virtual camera in the virtual space
A second control mode for changing based on the posture information;
Can display images in multiple control modes, including
In the case of displaying an image in the first control mode,
When the amount of change in posture indicated by the posture information becomes equal to or greater than a reference amount,
Switching the control mode from the first control mode to the second control mode;
Head-mounted display characterized by 表示部を有するヘッドマウントディスプレイと、情報処理装置と、を具備する表示システムであって、
前記情報処理装置は、
仮想空間を仮想カメラで撮像した画像であって、両眼視差を利用した立体視画像を、
前記表示部に表示させる表示制御部と、
前記ヘッドマウントディスプレイの姿勢に関する姿勢情報を取得する取得部と、
を備え、
前記表示制御部は、
前記仮想空間における前記仮想カメラの位置を、
前記仮想空間に設定された仮想点を中心に、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの姿勢を、
前記姿勢情報に基づいて変化させる第１制御モードと、
前記仮想空間における前記仮想点の位置を、
前記姿勢情報に基づいて変化させ、
前記仮想空間における前記仮想カメラの位置を、
前記姿勢情報に基づいて変化させる第２制御モードと、
を含む複数の制御モードによる画像の表示が可能であり、
前記第１制御モードによる画像の表示をしている場合において、
前記姿勢情報の示す姿勢の変化量が基準量以上となったときに、
前記制御モードを、前記第１制御モードから前記第２制御モードへと切り替える、
ことを特徴とする、表示システム。
A display system comprising a head mounted display having a display unit, and an information processing apparatus,
The information processing apparatus is
It is an image obtained by imaging a virtual space with a virtual camera, and a stereoscopic image using binocular parallax,
A display control unit to be displayed on the display unit;
An acquisition unit configured to acquire attitude information on an attitude of the head mounted display;
Equipped with
The display control unit
The position of the virtual camera in the virtual space
Centering on the virtual point set in the virtual space,
Change based on the attitude information,
The attitude of the virtual camera in the virtual space,
A first control mode for changing based on the posture information;
The position of the virtual point in the virtual space is
Change based on the attitude information,
The position of the virtual camera in the virtual space
A second control mode for changing based on the posture information;
Can display images in multiple control modes, including
In the case of displaying an image in the first control mode,
When the amount of change in posture indicated by the posture information becomes equal to or greater than a reference amount,
Switching the control mode from the first control mode to the second control mode;
A display system characterized by
JP2018005513A 2018-01-17 2018-01-17 Information processing apparatus, information processing apparatus program, head mounted display, and display system Active JP6388270B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018005513A JP6388270B1 (en) 2018-01-17 2018-01-17 Information processing apparatus, information processing apparatus program, head mounted display, and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018005513A JP6388270B1 (en) 2018-01-17 2018-01-17 Information processing apparatus, information processing apparatus program, head mounted display, and display system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018147317A Division JP6623431B2 (en) 2018-08-06 2018-08-06 Information processing apparatus, information processing apparatus program, head mounted display, and display system

Publications (2)

Publication Number Publication Date
JP6388270B1 JP6388270B1 (en) 2018-09-12
JP2019125169A true JP2019125169A (en) 2019-07-25

Family

ID=63518882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018005513A Active JP6388270B1 (en) 2018-01-17 2018-01-17 Information processing apparatus, information processing apparatus program, head mounted display, and display system

Country Status (1)

Country Link
JP (1) JP6388270B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020129383A (en) * 2019-11-05 2020-08-27 株式会社コナミデジタルエンタテインメント Information processor, program of information processor, head mount display, and display system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016109127A1 (en) * 2014-12-29 2016-07-07 Sony Computer Entertainment America Llc Methods and systems for user interaction within virtual or augmented reality scene using head mounted display
JP2016224823A (en) * 2015-06-02 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント Head-mounted display, information processor, and display control method and program
JP2017102297A (en) * 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント Display control device and display control method
JP6234622B1 (en) * 2017-01-16 2017-11-22 株式会社コロプラ Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program
JP2018005609A (en) * 2016-07-04 2018-01-11 株式会社コロプラ Display control method and program for allowing computer to execute display control method
JP2018072992A (en) * 2016-10-26 2018-05-10 株式会社コロプラ Information processing method and equipment and program making computer execute the information processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016109127A1 (en) * 2014-12-29 2016-07-07 Sony Computer Entertainment America Llc Methods and systems for user interaction within virtual or augmented reality scene using head mounted display
JP2016224823A (en) * 2015-06-02 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント Head-mounted display, information processor, and display control method and program
JP2017102297A (en) * 2015-12-02 2017-06-08 株式会社ソニー・インタラクティブエンタテインメント Display control device and display control method
JP2018005609A (en) * 2016-07-04 2018-01-11 株式会社コロプラ Display control method and program for allowing computer to execute display control method
JP2018072992A (en) * 2016-10-26 2018-05-10 株式会社コロプラ Information processing method and equipment and program making computer execute the information processing method
JP6234622B1 (en) * 2017-01-16 2017-11-22 株式会社コロプラ Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020129383A (en) * 2019-11-05 2020-08-27 株式会社コナミデジタルエンタテインメント Information processor, program of information processor, head mount display, and display system

Also Published As

Publication number Publication date
JP6388270B1 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
EP2475178B1 (en) Information processing program, information processing method and information processing apparatus
JP5586545B2 (en) GAME SYSTEM, PORTABLE GAME DEVICE, INFORMATION PROCESSOR CONTROL METHOD, AND INFORMATION PROCESSOR CONTROL PROGRAM
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
JP2013258614A (en) Image generation device and image generation method
JP5757790B2 (en) Information processing program, information processing apparatus, information processing system, and information processing method
CN110688002B (en) Virtual content adjusting method, device, terminal equipment and storage medium
US11300794B2 (en) Recording medium, information processing system, and information processing method
JP6707224B2 (en) Information processing apparatus, information processing apparatus program, head mounted display, and display system
JP6388270B1 (en) Information processing apparatus, information processing apparatus program, head mounted display, and display system
JP6518645B2 (en) INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD
JP6923964B2 (en) Information processing equipment, information processing equipment programs, head-mounted displays, and display systems
JP6623431B2 (en) Information processing apparatus, information processing apparatus program, head mounted display, and display system
JP7043711B2 (en) Information processing equipment, information processing equipment programs, head-mounted displays, and display systems
JP5739670B2 (en) Image display program, apparatus, system and method
WO2019181747A1 (en) Information processing device, recording medium, head-mounted display and information processing system
KR20180060403A (en) Control apparatus for drone based on image
JP5739673B2 (en) Image display program, apparatus, system and method
JP6675615B2 (en) Information processing apparatus, information processing apparatus program, head mounted display, and display system
JP7078273B2 (en) Information processing equipment, information processing equipment programs, head-mounted displays, and information processing systems
JP2019175470A (en) Information processing device, program of information processing device, heat-mounted device, and information processing system
JP5639138B2 (en) Information processing program, information processing method, information processing apparatus, and information processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180301

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R150 Certificate of patent or registration of utility model

Ref document number: 6388270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250