JP2017200494A - Method for providing virtual space, program and recording medium - Google Patents
Method for providing virtual space, program and recording medium Download PDFInfo
- Publication number
- JP2017200494A JP2017200494A JP2016076840A JP2016076840A JP2017200494A JP 2017200494 A JP2017200494 A JP 2017200494A JP 2016076840 A JP2016076840 A JP 2016076840A JP 2016076840 A JP2016076840 A JP 2016076840A JP 2017200494 A JP2017200494 A JP 2017200494A
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- virtual
- hmd
- user
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 46
- 230000000007 visual effect Effects 0.000 claims description 106
- 238000001514 detection method Methods 0.000 claims description 88
- 210000003811 finger Anatomy 0.000 description 70
- 210000003813 thumb Anatomy 0.000 description 26
- 230000008859 change Effects 0.000 description 23
- 210000001508 eye Anatomy 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 210000004247 hand Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 210000004935 right thumb Anatomy 0.000 description 7
- 210000004936 left thumb Anatomy 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 210000005224 forefinger Anatomy 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- NTJCFIHGYSETGM-UHFFFAOYSA-N 2,10-diamino-6-[4-(2-amino-2-carboxyethyl)imidazol-1-yl]-5-[[(5-amino-5-carboxy-2-hydroxypentyl)amino]methyl]undecanedioic acid Chemical class OC(=O)C(N)CCC(O)CNCC(CCC(N)C(O)=O)C(CCCC(N)C(O)=O)N1C=NC(CC(N)C(O)=O)=C1 NTJCFIHGYSETGM-UHFFFAOYSA-N 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004933 right little finger Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Abstract
Description
本発明は、仮想空間を提供する方法、プログラム、および記録媒体に関する。 The present invention relates to a method for providing a virtual space, a program, and a recording medium.
特許文献１には、装着されることによりユーザの両目のそれぞれに対応した画像を表示することで電子的な出版物を表示する表示部と、前記出版物のページをめくる操作を行う物体を検出する検出部と、前記検出部の検出結果に応じて、前記出版物のページのうち、新たな表示されるページに対応付けられたオブジェクトを前記表示部に表示させる制御部とを備える表示装置が開示されている。
特許文献１の表示装置では、仮想空間の状態を変化させるためのユーザの操作が、仮想的な出版物のページをめくったり千切ったりするなどの、ユーザの片手の動きのみに基づく操作に限られている。ユーザが片手でできる動きには限りがあるため、特許文献１の表示装置を用いる場合、ユーザは、限られた範囲内での動きでしか仮想空間の状態を変化させることができない。したがって、仮想空間におけるエンタテインメント性が低いという問題がある。
In the display device of
本発明は前記の課題を解決するためになされたものである。そして、その目的は、仮想空間におけるエンタテインメント性を高めることにある。 The present invention has been made to solve the above-described problems. And the objective is to improve the entertainment property in virtual space.
前記の課題を解決するために、本開示に係る仮想空間を提供する方法は、ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、仮想空間を規定するステップと、仮想空間におけるユーザの基準視線を特定するステップと、ユーザの右手の状態を表す情報およびユーザの左手の状態を表す情報を取得するステップと、右手の状態を表す情報および左手の状態の双方に基づく付加画像を、仮想空間に生成するステップと、基準視線に基づき、付加画像とを少なくとも含む視界画像を生成するステップと、視界画像をＨＭＤに表示させるステップとを有する。 In order to solve the above problems, a method for providing a virtual space according to the present disclosure is a method for providing a virtual space to a user wearing a head mounted display (hereinafter, HMD), the step of defining the virtual space Both the step of identifying the user's reference line of sight in the virtual space, the step of obtaining information representing the state of the user's right hand and the state of the user's left hand, and the information representing the state of the right hand and the state of the left hand Generating an additional image based on the virtual space, generating a view image including at least the additional image based on the reference line of sight, and displaying the view image on the HMD.
本開示によれば、仮想空間におけるエンタテインメント性を高めることができる。 According to the present disclosure, entertainment properties in the virtual space can be improved.
［本発明の実施形態の詳細］
本発明の実施形態に係る仮想空間を提供する方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が本発明に含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を繰り返さない。
[Details of the embodiment of the present invention]
A specific example of a method and program for providing a virtual space according to an embodiment of the present invention will be described below with reference to the drawings. The present invention is not limited to these exemplifications, but is defined by the scope of claims for patent, and it is intended that all modifications within the meaning and scope equivalent to the scope of claims for patent are included in the present invention. In the following description, the same reference numerals are given to the same elements in the description of the drawings, and repeated description is not repeated.
（ＨＭＤシステム１００の構成）
図１は、ＨＭＤシステム１００の構成を示す図である。この図に示すように、ＨＭＤシステム１００は、ＨＭＤ１１０、ＨＭＤセンサ１２０、コントローラセンサ１４０、制御回路部２００、およびコントローラ３００を備えている。
(Configuration of HMD system 100)
FIG. 1 is a diagram showing a configuration of the
ＨＭＤ１１０は、ユーザの頭部に装着される。ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２、センサ１１４、および注視センサ１３０を備えている。ＨＭＤ１１０は、右目用画像および左目用画像をディスプレイ１１２にそれぞれ表示することにより、ユーザの両目の視差に基づきユーザに立体的に視認される３次元画像を、ユーザに視認させる。これにより仮想空間をユーザに提供する。ディスプレイ１１２がユーザの眼前に配置されているので、ユーザは、ディスプレイ１１２に表示される画像を通じて仮想空間に没入できる。仮想空間は、背景、ならびにユーザが操作可能な各種のオブジェクトおよびメニュー画像等を含む。
The HMD 110 is worn on the user's head. The HMD 110 includes a
ディスプレイ１１２は、右目用画像を表示する右目用サブディスプレイと、左目用画像を表示する左目用サブディスプレイとを含んでもよい。または、ディスプレイ１１２は、右目用画像および左目用画像を共通の画面に表示する１つの表示装置であってもよい。このような表示装置として、たとえば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像および左目用画像を独立して交互に表示する表示装置が挙げられる。
The
（制御回路部２００のハード構成）
図２は、制御回路部２００のハード構成を示す図である。制御回路部２００は、ＨＭＤ１１０に仮想空間を提供させるためのコンピュータである。図２に示すように、制御回路部２００は、プロセッサ、メモリ、ストレージ、入出力インターフェース、および通信インターフェースを備えている。これらは、データ伝送路としてのバスを通じて、制御回路部２００内において互いに接続されている。
(Hard structure of the control circuit unit 200)
FIG. 2 is a diagram illustrating a hardware configuration of the
プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-processing unit）、またはＧＰＵ（Graphics Processing Unit）等を含んで構成され、制御回路部２００およびＨＭＤシステム１００全体の動作を制御する。
The processor includes a central processing unit (CPU), a micro-processing unit (MPU), a graphics processing unit (GPU), and the like, and controls operations of the
メモリは、主記憶として機能する。メモリには、プロセッサによって処理されるプログラムおよび制御用データ（演算パラメータなど）が記憶される。メモリは、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）等を含んで構成され得る。 The memory functions as main memory. The memory stores a program processed by the processor and control data (such as calculation parameters). The memory may include a ROM (Read Only Memory) or a RAM (Random Access Memory).
ストレージは、補助記憶として機能する。ストレージには、ＨＭＤシステム１００全体の動作を制御するためのプログラム、各種のシミュレーションプログラム、ユーザ認証プログラム、および、仮想空間を規定するための各種のデータ（画像およびオブジェクト等）が格納されている。さらには、各種のデータを管理するためのテーブルを含むデータベースがストレージに構築されていてもよい。ストレージは、フラッシュメモリまたはＨＤＤ（Hard Disc Drive）等を含んで構成され得る。
The storage functions as auxiliary storage. The storage stores a program for controlling the operation of the
入出力インターフェースは、ＵＳＢ（Universal Serial Bus）端子、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等の各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成されている。入出力インターフェースは、ＨＭＤ１１０と、ＨＭＤセンサ１２０およびコントローラセンサ１４０を含む各種のセンサと、コントローラ３００とを互いに接続する。
The input / output interface includes various wired connection terminals such as a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) terminal, and various wireless connection terminals. These processing circuits are included. The input / output interface connects the
通信インターフェースは、ネットワークＮＷを介して外部装置と通信するための各種の有線接続端子、および、無線接続のための各種の処理回路を含んで構成される。通信インターフェースは、ＬＡＮ（Local Area Network）またはインターネットを介して通信するための各種の通信規格およびプロトコルに適合するように、構成されている。 The communication interface includes various wired connection terminals for communicating with an external device via the network NW, and various processing circuits for wireless connection. The communication interface is configured to conform to various communication standards and protocols for communicating via a LAN (Local Area Network) or the Internet.
制御回路部２００は、ストレージに格納された所定のアプリケーションプログラムをメモリにロードして実行することによって、ユーザに仮想空間を提供する。プログラムの実行時に、メモリおよびストレージには、仮想空間内に配置される各種のオブジェクトを操作したり、各種のメニュー画像等を表示および制御したりするための各種のプログラムが格納される。
The
制御回路部２００は、ＨＭＤ１１０に搭載されていてもよいし、されていなくてもよい。すなわち制御回路部２００は、ＨＭＤ１１０から独立した別のハードウェア（たとえば、パーソナルコンピュータ、またはネットワークを通じてＨＭＤ１１０と通信可能なサーバ装置）であってもよい。制御回路部２００は、複数のハードウェアの協働によって１または複数の機能が実装される形態の装置であってもよい。または、制御回路部２００が有する全機能のうち一部の機能のみがＨＭＤ１１０に実装され、残りの機能が別のハードウェアに実装されていてもよい。
The
ＨＭＤシステム１００を構成するＨＭＤ１１０等の各要素には、予め、グローバル座標系が設定されている。このグローバル座標系は、現実空間における、鉛直方向、鉛直方向と直交する横方向、ならびに、鉛直方向および横方向の双方と直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施形態では、グローバル座標系は視点座標系の一種であるため、グローバル座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれｘ軸、ｙ軸、ｚ軸とする。具体的には、グローバル座標系のｘ軸は現実空間の横方向に平行であり、ｙ軸は現実空間の鉛直方向に平行であり、ｚ軸は現実空間の前後方向に平行である。
A global coordinate system is set in advance for each element such as the
ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジション・トラッキング機能を有する。ＨＭＤセンサ１２０は、この機能によって、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。この検出を実現するために、ＨＭＤ１１０は、図示しない複数の光源を備えている。各光源は、たとえば赤外線を発するＬＥＤである。ＨＭＤセンサ１２０は、たとえば赤外線センサを含んで構成される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の光源から照射された赤外線を、赤外線センサによって検出することによって、ＨＭＤ１１０の検出点を検出する。さらに、ＨＭＤ１１０の検出点の検出値に基づき、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置および傾きを検出する。ＨＭＤセンサ１２０は、検出値の経時的変化に基づいて、ＨＭＤ１１０の位置および傾きの時間変化を決定することができる。
The
ＨＭＤセンサ１２０は、光学カメラを含んで構成されてもよい。この場合、ＨＭＤセンサ１２０は、光学カメラによって得られたＨＭＤ１１０の画像情報に基づいて、ＨＭＤ１１０の位置および傾きを検出する。
The
ＨＭＤセンサ１２０の代わりに、ＨＭＤ１１０が、センサ１１４を用いて自身の位置および傾きを検出してもよい。この場合、センサ１１４は、たとえば角速度センサ、地磁気センサ、加速度センサ、またはジャイロセンサであればよい。ＨＭＤ１１０は、これらのうち少なくとも１つを用いる。センサ１１４が角速度センサである場合、センサ１１４は、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の現実空間における３軸回りの角速度を経時的に検出する。ＨＭＤ１１０は、角速度の検出値に基づき、ＨＭＤ１１０の３軸回りの角度の時間的変化を決定し、さらに、角度の時間的変化に基づきＨＭＤ１１０の傾きを検出することができる。
Instead of the
ＨＭＤ１１０がセンサ１１４による検出値に基づきＨＭＤ１１０の位置および傾きを自ら検出する場合、ＨＭＤシステム１００にＨＭＤセンサ１２０は不要である。逆に、ＨＭＤ１１０から離れた位置に配置されるＨＭＤセンサ１２０がＨＭＤ１１０の位置および傾きを検出する場合、ＨＭＤ１１０にセンサ１１４は不要である。
When the
上述したように、グローバル座標系は現実空間の座標系と平行である。そのため、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤセンサ１２０の傾きの検出値に基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザが物体を見る際の視点座標系に対応する。
As described above, the global coordinate system is parallel to the real space coordinate system. Therefore, each inclination of the
（ｕｗｖ視野座標系）
図３は、ＨＭＤ１１０に設定されるｕｗｖ視野座標系を例示する図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。そして、傾きの検出値に基づく３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。具体的には、グローバル座標系を規定する横方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって得られる新たな３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。
(Uuv visual field coordinate system)
FIG. 3 is a diagram illustrating a uwv visual field coordinate system set in the
図３に示すように、ＨＭＤセンサ１２０は、ＨＭＤ１１０を装着したユーザが直立しかつ正面を視認している場合、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系の横方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）が、そのまま、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。
As shown in FIG. 3, when the user wearing the
ＨＭＤセンサ１２０は、ＨＭＤ１１０にｕｖｗ視野座標系を設定した後、ＨＭＤ１１０の動きに応じて、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出することができる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、現在設定中のｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度である。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度である。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度である。
After setting the uvw visual field coordinate system in the
ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きの検出値に基づき、動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、新たにＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きによらず常に一定である。ＨＭＤ１１０の位置および傾きが変わると、それの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが同様に変化する。
Based on the detected value of the inclination of the
ＨＭＤセンサ１２０は、赤外線センサによって取得される赤外線の光強度および複数の検出点間の相対位置関係（検出点間の距離等）に基づいて、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、特定した相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。また、ＨＭＤセンサ１２０は、複数の検出点間の相対位置関係に基づきＨＭＤ１１０の現実空間内における傾きを検出し、さらに、その検出値に基づき現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の向きを決定してもよい。
The
（仮想空間２の概要）
図４は、ユーザに提供される仮想空間２の概要を説明する図である。この図に示すように、仮想空間２は、中心２１の３６０°方向全体を覆う全天球状の構造を有する。図４には、仮想空間２の全体のうち上半分の天球のみを例示する。仮想空間２には、略正方形または略長方形の複数のメッシュが関連付けられている。仮想空間２における各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標として、予め規定されている。制御回路部２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２における対応する各メッシュに対応付けることによって、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。
(Outline of virtual space 2)
FIG. 4 is a diagram illustrating an outline of the virtual space 2 provided to the user. As shown in this figure, the virtual space 2 has a spherical structure that covers the entire 360 ° direction of the
仮想空間２には、中心２１を原点とするＸＹＺ空間座標系が規定されている。ＸＹＺ座標系は、たとえばグローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における横方向、鉛直方向（上下方向）、および前後方向を、それぞれＸ軸、Ｙ軸、Ｚ軸とする。すなわち、ＸＹＺ座標系のＸ軸（横方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（上下方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。
The virtual space 2 defines an XYZ space coordinate system with the
ＨＭＤ１１０の起動時（初期状態）において、仮想空間２の中心２１に仮想カメラ１が配置されている。仮想カメラ１は、現実空間内におけるＨＭＤ１１０の動きに連動して、仮想空間２内において同様に動く。これにより、現実空間内におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２内において同様に再現される。
When the
仮想カメラ１には、ＨＭＤ１１０と同様にｕｖｗ視野座標系が規定される。仮想空間２内における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）内におけるＨＭＤ１１０のｕｖｗ視野座標系に変動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに連動して仮想カメラ１の傾きも変化する。仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。
As with the
仮想空間２における仮想カメラ１の位置および傾きに応じて、仮想空間２における仮想カメラ１の向きが決まる。これにより、仮想空間２に展開される仮想空間画像２２をユーザが視認する際の基準となる視線（基準視線５）が決まる。制御回路部２００は、基準視線５に基づき、仮想空間２における視界領域２３を決定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する領域である。
The orientation of the
図５は、視界領域２３の断面を示す図である。図５の（ａ）に、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を示す。図５の（ｂ）に、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を示す。視界領域２３は、基準視線５と仮想空間２のＹＺ断面とによって定義される範囲である第１領域２４（図５の（ａ）参照）と、基準視線５と仮想空間２のＸＺ断面とによって定義される範囲である第２領域２５（図５の（ｂ）参照）とを有する。制御回路部２００は、仮想空間２における基準視線５を中心として極角αを含む範囲を、第１領域２４として設定する。また、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、第２領域２５として設定する。
FIG. 5 is a view showing a cross section of the
ＨＭＤシステム１００は、仮想空間画像２２のうち視界領域２３に重畳する部分である視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることによって、ユーザに仮想空間２を提供する。ユーザがＨＭＤ１１０を動かせば、それに連動して仮想カメラ１も動き、その結果、仮想空間２における視界領域２３の位置が変化する。これによりディスプレイ１１２に表示される視界画像２６が、仮想空間画像２２のうち、仮想空間２においてユーザが向いた箇所（＝視界領域２３）に重畳する画像に更新される。したがってユーザは、仮想空間２における所望の箇所を視認することができる。
The
ユーザは、ＨＭＤ１１０を装着している間、現実世界を目にすることなく、仮想空間２に展開される仮想空間画像２２のみを視認する。そのためＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。
While wearing the
制御回路部２００は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想カメラ１を仮想空間２内において移動させてもよい。この場合、制御回路部２００は、仮想カメラ１の仮想空間２内における位置および向きに基づいて、仮想空間２のうちＨＭＤ１１０のディスプレイ１１２に投影されることによってユーザが視認する視界領域２３を特定する。
The
仮想カメラ１は、右眼用画像を提供する右眼用仮想カメラと、左眼用画像を提供する左眼用仮想カメラとを含むことが好ましい。さらに、２つの仮想カメラには、ユーザが三次元の仮想空間２を認識できるように適切な視差が設定されていることが好ましい。本実施形態では、このような２つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるような仮想カメラ１のみを、代表して図示および説明するものとする。
The
（視線方向の検出）
注視センサ１３０は、ユーザの右目および左目の視線が向けられる方向（視線方向）を検出するアイトラッキング機能を有する。注視センサ１３０として、アイトラッキング機能を有する公知のセンサを採用することができる。注視センサ１３０は、右目用センサおよび左目用センサを備えていることが好ましい。注視センサ１３０は、たとえば、ユーザの右目および左目に赤外光を照射すると共に、照射光に対する角膜および虹彩からの反射光を受光することによって、各眼球の回転角を検出するセンサでもよい。注視センサ１３０は、検出した各回転角に基づき、ユーザの視線方向を検知することができる。
(Gaze direction detection)
The
注視センサ１３０によって検出されるユーザの視線方向は、ユーザが物体を視認する際の視点座標系における方向である。上述したように、ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザがディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがってＨＭＤシステム１００では、注視センサ１３０によって検出されたユーザの視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向と見なすことができる。
The user's gaze direction detected by the
図６は、ユーザの視線方向を決定する方法を例示する図である。この図に示すように、注視センサ１３０は、ユーザＵの右目および左目の視線を検出する。ユーザＵが近くを見ている場合、注視センサ１３０は、ユーザＵの視線Ｒ１およびＬ１を検出する。ユーザが遠くを見ている場合、注視センサ１３０は、ユーザの視線Ｒ１およびＬ１よりも、ＨＭＤ１１０のロール方向（ｗ）とのなす角が小さい視線Ｒ２およびＬ２を特定する。注視センサ１３０は、検出値を制御回路部２００に送信する。
FIG. 6 is a diagram illustrating a method of determining the user's line-of-sight direction. As shown in this figure, the
制御回路部２００は、視線の検出値として視線Ｒ１およびＬ１を受信した場合、両者の交点である注視点Ｎ１を特定する。一方、視線Ｒ２およびＬ２を受信した場合も、両者の交点である注視点Ｎ１（不図示）を特定する。制御回路部２００は、特定した注視点Ｎ１に基づき、ユーザＵの視線方向Ｎ０を検出する。制御回路部２００は、たとえば、ユーザＵの右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の伸びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザＵが両目により実際に視線を向けている方向である。視線方向Ｎ０はまた、視界領域２３に対してユーザＵが実際に視線を向けている方向でもある。
When receiving the line of sight R1 and L1 as the line-of-sight detection value, the
ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかの要素に、マイクおよびスピーカを備えていてもよい。これにより、ユーザは仮想空間２内に対して、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいても良い。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいても良い。
The
（コントローラ３００）
図７は、コントローラ３００の構成を表す図である。コントローラ３００は、ユーザがコンピュータゲーム内のオブジェクトの動きを制御するために用いる装置である。図１および図７に示すように、コントローラ３００は、ユーザが右手に持って使用する右コントローラ３２０と、ユーザが左手に持って使用する左コントローラ３３０とからなる。右コントローラ３２０および左コントローラ３３０は、それぞれ別体の装置として構成される。ユーザは、右コントローラ３２０を持った右手と、左コントローラ３３０を持った左手とを、相互に自由に動かすことができる。
(Controller 300)
FIG. 7 is a diagram illustrating the configuration of the
図１および図７に示すように、右コントローラ３２０および左コントローラ３３０は、それぞれ、操作ボタン３０２、赤外線ＬＥＤ（Light Emitting Diode）３０４、センサ３０６、およびトランシーバ３０８を備えている。後述するように、右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４およびセンサ３０６のうちいずれか一方のみを備えていてもよい。
As shown in FIGS. 1 and 7, the
操作ボタン３０２は、コントローラ３００に対するユーザからの操作入力を受け取るように構成された複数のボタン群である。本実施形態では、操作ボタン３０２は、プッシュ式ボタン、トリガー式ボタン、およびアナログスティックを含む。
The
プッシュ式ボタンは、親指で下向きに押下する動作によって操作するように構成されたボタンである。右コントローラ３２０は、プッシュ式ボタンとして、天面３２２上に親指ボタン３０２ａおよび３０２ｂを備えている。左コントローラ３３０は、プッシュ式ボタンとして、天面３３２上に２つの親指ボタン３０２ｃおよび３０２ｄを備えている。親指ボタン３０２ａおよび３０２ｂは、いずれも右手の親指によって操作（押下）される。親指ボタン３０２ｃおよび３０２ｄは、いずれも左手の親指によって操作（押下）される。
The push-type button is a button configured to be operated by an operation of pressing downward with a thumb. The
トリガー式ボタンは、人差し指または中指で引き金を引くような動作によって操作するように構成されたボタンである。右コントローラ３２０は、トリガー式ボタンとして、グリップ３２４の前面部分に人差し指ボタン３０２ｅを備えており、さらに、グリップ３２４の側面部分に中指ボタン３０２ｆを備えている。左コントローラ３３０は、トリガー式ボタンとして、グリップ３３４の前面部分に人差し指ボタン３０２ｇを備えており、さらに、グリップ３３４の側面部分に中指ボタン３０２ｈを備えている。人差し指ボタン３０２ｅ、中指ボタン３０２ｆ、人差し指ボタン３０２ｇ、および中指ボタン３０２ｈは、それぞれ右手の人差し指、右手の中指、左手の人差し指、および左手の中指によって操作（押下）される。
The trigger type button is a button configured to be operated by an operation of pulling a trigger with an index finger or a middle finger. The
右コントローラ３２０は、親指ボタン３０２ａおよび３０２ｂ、人差し指ボタン３０２ｅ、ならびに中指ボタン３０２ｆの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。一方、左コントローラ３３０は、親指ボタン３０２ｃおよび３０２ｄ、人差し指ボタン３０２ｇ、ならびに中指ボタン３０２ｈの押下状態をそれぞれ検出し、これらの検出値を制御回路部２００に出力する。
The
本実施形態では、右コントローラ３２０および左コントローラ３３０の各ボタンの押下状態の検出値は、０から１のいずれかの値を取り得る。たとえば、ユーザが親指ボタン３０２ａをまったく押下していない場合、親指ボタン３０２ａの押下状態として「０」が検出される。一方、ユーザが親指ボタン３０２ａを完全に（最も深く）押下している場合、親指ボタン３０２ａの押下状態として「１」が検出される。
In the present embodiment, the detection value of the pressed state of each button of the
アナログスティックは、所定のニュートラル位置から３６０°任意の方向へ傾けて操作することが可能なスティック型のボタンである。右コントローラ３２０の天面３２２上にアナログスティック３０２ｉが設けられ、左コントローラ３３０の天面３３２上にアナログスティック３０２ｊが設けられる。アナログスティック３０２ｉおよび３０２ｊは、それぞれ右手および左手の親指によって操作される。
The analog stick is a stick-type button that can be operated by being tilted 360 degrees from a predetermined neutral position. An
右コントローラ３２０および左コントローラ３３０は、それぞれ、グリップ（３２４および３３４）の両側面から天面（３２２および３３２）とは反対側の方向へ延びて半円状のリングを形成するフレーム３２６および３３６を備えている。各フレーム３２６および３３６の外表面には、複数の赤外線ＬＥＤ３０４が埋め込まれている。複数（たとえば１０個程度）の赤外線ＬＥＤ３０４が、フレーム３２６、３３６の円周方向に沿って一列に並んで設けられる。フレーム３２６および３３６の円周方向に沿って、複数列（たとえば２列）の赤外線ＬＥＤ３０４が配置されていてもよい。
The
ユーザがコントローラ３００を握る際、ユーザの各指はグリップ（３２４または３３４）とフレーム（３２６または３３６）との間にある。したがって、各フレーム３２６および３３６の外表面に配置された赤外線ＬＥＤ３０４は、ユーザの手または指によって覆い隠されてしまうことはない。フレーム３２６および３３６の外表面に加えて、さらに、グリップ３２４および３３４の表面のうちユーザの指で隠されない部分にも、赤外線ＬＥＤ３０４が設けられていてもよい。赤外線ＬＥＤ３０４は、コンピュータゲームのプレイ中に赤外線を発光する。赤外線ＬＥＤ３０４から発せられた赤外光は、右コントローラ３２０および左コントローラ３３０のそれぞれの位置および傾きを検出するために利用される。
When the user grips the
右コントローラ３２０および左コントローラ３３０は、赤外線ＬＥＤ３０４の代わりに、または赤外線ＬＥＤ３０４に加えて、さらにセンサ３０６を内蔵する。センサ３０６は、たとえば磁気センサ、角速度センサ、若しくは加速度センサのいずれか、またはこれらの組み合わせであってよい。センサ３０６によっても、右コントローラ３２０および左コントローラ３３０の位置および傾きを検出することができる。
The
センサ３０６は、ユーザが右コントローラ３２０および左コントローラ３３０をそれぞれ右手および左手で持って動かした際、右コントローラ３２０および左コントローラ３３０の向きおよび動きに応じた値（磁気、角速度、または加速度の値）を、出力する。制御回路部２００は、センサ３０６からの出力値を適宜の方法によって加工することによって、右コントローラ３２０および左コントローラ３３０のそれぞれの位置および傾きを検出することができる。
When the user moves the
トランシーバ３０８は、右コントローラ３２０および左コントローラ３３０と、制御回路部２００との間でデータを送受信するように構成される。トランシーバ３０８は、ユーザが操作ボタン３０２を介して右コントローラ３２０または左コントローラ３３０に与えた操作入力に基づくデータを、制御回路部２００へ送信する。また、トランシーバ３０８は、赤外線ＬＥＤ３０４の発光を右コントローラ３２０または左コントローラ３３０に指示する命令を、制御回路部２００から受信する。さらに、トランシーバ３０８は、センサ３０６によって検出した各種の値に対応するデータを、制御回路部２００へ送信する。
The
右コントローラ３２０および左コントローラ３３０は、ユーザの手に振動による触覚フィードバックを伝えるためのバイブレータを備えていてもよい。この構成では、トランシーバ３０８は、上述した各データの送受信に加えて、バイブレータに触覚フィードバックを行わせるための命令を制御回路部２００から受信することができる。トランシーバ３０８は、無線通信によってデータを送受信するように構成されるのが好適である。この構成では、右コントローラ３２０および左コントローラ３３０に有線通信用のケーブルが接続されないので、ユーザは、右コントローラ３２０を持った右手および左コントローラ３３０を持った左手を、より自由にそれぞれ動かせる。
The
コントローラセンサ１４０は、右コントローラ３２０および左コントローラ３３０の動きを検出するためのポジション・トラッキング機能を有する。コントローラセンサ１４０は、この機能によって、現実空間内における右コントローラ３２０および左コントローラ３３０の位置および傾きを検出する。この検出を実現するために、コントローラセンサ１４０は、右コントローラ３２０および左コントローラ３３０の赤外線ＬＥＤ３０４から発せられた赤外光を、それぞれ検出する。コントローラセンサ１４０は、たとえば、赤外波長領域において画像を撮像する赤外カメラを備えており、この赤外カメラによって撮像した画像のデータに基づき、右コントローラ３２０および左コントローラ３３０の位置および傾きを検出する。
The
赤外カメラによって撮像された画像は、右コントローラ３２０および左コントローラ３３０の表面に埋め込まれている多数の赤外線ＬＥＤ３０４の配置を反映した明暗画像である。ある１つの撮像画像には、互いに左右に離れた２つの明点の集団が含まれ得る。２つの集団のうち左側の集団は、ユーザが右手で持っている右コントローラ３２０の赤外線ＬＥＤ３０４に対応する。右側の集団は、ユーザが左手で持っている左コントローラ３３０の赤外線ＬＥＤ３０４に対応する。コントローラセンサ１４０は、左側の集団を構成している明点の並んでいる方向から、右コントローラ３２０の傾きを検出する。たとえば、明点が撮像画像内で横方向（即ち水平方向）に並んでいる場合、右コントローラ３２０の傾きを、フレーム３２６が水平に保持された傾きとして検出すればよい。また、撮像画像内で明点の並んでいる方向が横方向からある角度だけ斜めになっている場合、右コントローラ３２０の傾きを、フレーム３２６が水平から当該角度だけ傾いた傾きとして検出すればよい。同様に、コントローラセンサ１４０は、撮像画像内における右側の集団を構成している明点の並んでいる方向から、左コントローラ３３０の傾きを検出する。
The image picked up by the infrared camera is a bright and dark image reflecting the arrangement of a large number of
コントローラセンサ１４０は、撮像画像内の明点（赤外線ＬＥＤ３０４）を識別することによって、右コントローラ３２０および左コントローラ３３０の位置をそれぞれ検出する。たとえば、撮像画像から検出したされた２つの明点の集団のうち、左側の集団を構成している複数の明点の重心位置を、右コントローラ３２０の位置として検出する。さらに、右側の集団を構成している複数の明点の重心位置を、左コントローラ３３０の位置として検出する。
The
コントローラセンサ１４０の代わりに、右コントローラ３２０および左コントローラ３３０が、センサ３０６を用いて自身の位置および傾きを検出してもよい。この場合、たとえば、右コントローラ３２０の三軸角速度センサ（センサ３０６）が、右コントローラ３２０の３つの直交する各軸回りの回転を検出する。右コントローラ３２０は、各検出値に基づいて、右コントローラ３２０がどちらの方向にどれだけ回転したかを検出し、さらに、逐次検出した回転方向と回転量とを累積することによって、右コントローラ３２０の傾きを算出する。同様に、左コントローラ３３０は、左コントローラ３３０の三軸角速度センサ（センサ３０６）からの検出値を用いて、左コントローラ３３０の傾きを算出すればよい。右コントローラ３２０および左コントローラ３３０は、三軸角速度センサの検出値に加えて、たとえば三軸磁気センサおよび／または三軸加速度センサからの検出値を併用してもよい。
Instead of the
詳細な説明は省略するが、右コントローラ３２０は、三軸角速度センサ（センサ３０６）からの検出値を用いて、右コントローラ３２０の位置を検出することができる。また、左コントローラ３３０は、三軸角速度センサ（センサ３０６）からの検出値を用いて、左コントローラ３３０の位置を検出することができる。
Although a detailed description is omitted, the
（制御回路部２００の機能的構成）
図８は、制御回路部２００の機能的構成を示すブロック図である。制御回路部２００は、ＨＭＤセンサ１２０、コントローラセンサ１４０、注視センサ１３０、およびコントローラ３００から受信した各種のデータを用いることによって、ユーザに提供される仮想空間２を制御すると共に、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。図８に示すように、制御回路部２００は、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０を備えている。制御回路部２００は、図２に示す各ハードウェアの協働によって、検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０として機能する。検出部２１０、表示制御部２２０、および仮想空間制御部２３０は、主としてプロセッサおよびメモリの協働によってその機能が実現され得る。記憶部２４０は、主としてメモリおよびストレージの協働によってその機能が実現され得る。通信部２５０は、主としてプロセッサおよび通信インターフェースの協働によってその機能が実現され得る。
(Functional configuration of control circuit unit 200)
FIG. 8 is a block diagram showing a functional configuration of the
検出部２１０は、制御回路部２００に接続される各種のセンサ（ＨＭＤセンサ１２０等）から検出値を受信する。また、必要に応じて、受信した検出値を用いた所定の処理を実行する。検出部２１０は、ＨＭＤ検出部２１１、視線検出部２１２、およびコントローラ検出部２１３を備えている。ＨＭＤ検出部２１１は、ＨＭＤ１１０およびＨＭＤセンサ１２０から検出値をそれぞれ受信する。視線検出部２１２は、注視センサ１３０から検出値を受信する。コントローラ検出部２１３は、コントローラセンサ１４０、右コントローラ３２０、および左コントローラ３３０から、それぞれの検出値を受信する。
The detection unit 210 receives detection values from various sensors (such as the HMD sensor 120) connected to the
表示制御部２２０は、ＨＭＤ１１０のディスプレイ１１２への画像表示を制御する。表示制御部２２０は、仮想カメラ制御部２２１、視界領域決定部２２２、および視野画像生成部２２３を備えている。仮想カメラ制御部２２１は、仮想空間２内に仮想カメラ１を配置すると共に、仮想空間２内における仮想カメラ１の挙動を制御する。視界領域決定部２２２は、視界領域２３を決定する。視野画像生成部２２３は、決定された視界領域２３に基づき、ディスプレイ１１２に表示される視界画像２６を生成する。
The
仮想空間制御部２３０は、ユーザに提供される仮想空間２を制御する。仮想空間制御部２３０は、仮想空間規定部２３１、仮想手制御部２３２、関係判定部２３３、付加オブジェクト制御部２３４、影響対象特定部２３５、および影響反映部２３６を備えている。
The virtual
仮想空間規定部２３１は、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、ＨＭＤシステム１００における仮想空間２を規定する。仮想手制御部２３２は、ユーザによる右コントローラ３２０および左コントローラ３３０の操作に応じたユーザの各仮想手（仮想右手および仮想左手）を仮想空間２内に配置すると共に、仮想空間２内における各仮想手の挙動を制御する。関係判定部２３３は、仮想空間２内におけるユーザの仮想手同士の位置関係を判定する。付加オブジェクト制御部２３４は、判定された位置関係に基づく付加オブジェクトを仮想空間２内に配置すると共に、仮想空間２における付加オブジェクトの挙動を制御する。付加オブジェクトとは、仮想右手および仮想左手が仮想空間２において特定の関係を満たす場合に仮想空間２に規定されるオブジェクトである。言い換えると、付加オブジェクトは、ユーザの右手の状態を表す情報およびユーザの左手の状態を表す情報の双方に基づき仮想空間２に生成される付加画像の一種である。影響対象特定部２３５は、仮想空間２において付加オブジェクトによる影響を受けるオブジェクトを特定する。影響反映部２３６は、特定されたオブジェクトへの影響を仮想空間２に反映させる。
The virtual space defining unit 231 defines the virtual space 2 in the
記憶部２４０は、制御回路部２００が仮想空間２をユーザに提供するために用いる各種のデータを格納している。記憶部２４０は、雛形格納部２４１、コンテンツ格納部２４２、および判定テーブル２４３を備えている。雛形格納部２４１は、仮想空間２の雛形を表す各種の雛形データを格納している。コンテンツ格納部２４２は、仮想空間２において再生可能な各種のコンテンツを格納している。判定テーブル２４３は、仮想空間２における仮想右手と仮想左手との関係の判定に用いられる各種の判定値を格納している。
The
通信部２５０は、ネットワークＮＷを介して外部機器４００（たとえばゲームサーバ）との間でデータを送受信する。
The
（仮想空間２の提供処理）
図９は、ＨＭＤシステム１００が仮想空間２をユーザに提供する処理の流れを示すシーケンス図である。仮想空間２は、基本的に、ＨＭＤ１１０および制御回路部２００の協働によってユーザに提供される。図９に示す処理が開始されると、まず、Ｓ１において、仮想空間規定部２３１が、ユーザに提供される仮想空間２を表す仮想空間データを生成することによって、仮想空間２を規定する。生成の手順は次の通りである。まず仮想空間規定部２３１は、仮想空間２の雛形データを、雛形格納部２４１から取得する。雛形データは、仮想空間２の空間構造を規定する空間構造データを有する。空間構造データは、たとえば、中心２１を中心とする３６０°の全天球の空間構造を規定するデータである。雛形データは、仮想空間２のＸＹＺ座標系を規定するデータをさらに有する。雛形データは、天球を構成する各メッシュのＸＹＺ座標系における位置を特定する座標データをさらに有する。また、雛形データは、仮想空間２内にオブジェクトを配置可能であるか否かを示すフラグをさらに有する。コンテンツには、ＨＭＤ１１０の初期状態（起動時）にユーザに見せる画像を向いた初期方向が、予め規定されている。
(Process of providing virtual space 2)
FIG. 9 is a sequence diagram showing a flow of processing in which the
仮想空間規定部２３１は、さらに、仮想空間２において再生されるコンテンツを、コンテンツ格納部２４２から取得する。本実施形態では、このコンテンツはゲームコンテンツである。コンテンツは、ゲームの背景画像、および、ゲームに登場するオブジェクト（キャラクタ、アイテム等）を規定するデータを少なくとも有する。
The virtual space defining unit 231 further acquires content to be played back in the virtual space 2 from the
仮想空間規定部２３１は、取得した雛形データに、取得したコンテンツを適合することによって、仮想空間２を規定する仮想空間データを生成する。仮想空間規定部２３１は、仮想空間データにおいて、仮想空間２の天球を構成する各メッシュの管理データに、コンテンツに含まれる背景画像を構成する各部分画像を適宜関連付ける。仮想空間規定部２３１は、コンテンツに規定される初期方向を仮想空間２のＸＹＺ座標系におけるＺ方向に合致させるように、各部分画像と各メッシュとを関連付けることが好ましい。 The virtual space defining unit 231 generates virtual space data defining the virtual space 2 by adapting the acquired content to the acquired template data. The virtual space defining unit 231 appropriately associates each partial image constituting the background image included in the content with management data of each mesh constituting the celestial sphere of the virtual space 2 in the virtual space data. The virtual space defining unit 231 preferably associates each partial image with each mesh so that the initial direction defined in the content matches the Z direction in the XYZ coordinate system of the virtual space 2.
仮想空間規定部２３１は、さらに、コンテンツに含まれる各オブジェクトの管理データを、仮想空間データに追加する。その際、各管理データに、対応するオブジェクトが仮想空間２において配置される位置を表す座標を、設定する。これにより各オブジェクトが、仮想空間２における当該座標の位置にそれぞれ配置される。 The virtual space defining unit 231 further adds management data of each object included in the content to the virtual space data. At that time, coordinates representing the position where the corresponding object is arranged in the virtual space 2 are set in each management data. Thereby, each object is arranged at the position of the coordinate in the virtual space 2.
その後、ユーザによってＨＭＤ１１０が起動されると、Ｓ２において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の初期状態における位置および傾きを検出して、Ｓ３において、検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、この検出値を受信する。この後、Ｓ４において、仮想カメラ制御部２２１は、仮想空間２において仮想カメラ１を初期化する。
After that, when the
初期化の手順は次の通りである。まず仮想カメラ制御部２２１は、仮想空間２内における初期位置（図４における中心２１等）に、仮想カメラ１を配置する。次に、仮想空間２における仮想カメラ１の向きを設定する。その際、仮想カメラ制御部２２１は、ＨＭＤセンサ１２０からの検出値に基づき初期状態のＨＭＤ１１０のｕｖｗ視野座標系を特定すると共に、ＨＭＤ１１０のｕｖｗ視野座標系に一致するｕｖｗ視野座標系を仮想カメラ１に設定することによって、仮想カメラ１の向きを設定すればよい。
The initialization procedure is as follows. First, the virtual camera control unit 221 places the
視界領域決定部２２２は、仮想カメラ１のｕｖｗ視野座標系に基づいて、仮想空間２における視界領域２３を決定する（詳細は後述する）。Ｓ５において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影される部分に相当する視界画像２６を生成（レンダリング）する。Ｓ６において、視野画像生成部２２３は、生成した視界画像２６を初期視界画像としてＨＭＤ１１０に出力する。Ｓ７において、ＨＭＤ１１０は、受信した初期視界画像をディスプレイ１１２に表示する。これによりユーザは初期視界画像を視認する。
The visual field
その後、Ｓ８において、ＨＭＤセンサ１２０が、ＨＭＤ１１０の現在の位置および傾きを検出して、Ｓ９において、これらの検出値を制御回路部２００に出力する。ＨＭＤ検出部２１１は、各検出値を受信する。仮想カメラ制御部２２１は、ＨＭＤ１１０の位置および傾きの検出値に基づき、ＨＭＤ１１０における現在のｕｖｗ視野座標系を特定する。さらに、Ｓ１０において、仮想カメラ制御部２２１は、ＸＹＺ座標系におけるｕｖｗ視野座標系のロール方向（ｗ軸）を、ＨＭＤ１１０の視界方向として特定する。
Thereafter, in S8, the
本実施形態では、Ｓ１１において、仮想カメラ制御部２２１が、特定したＨＭＤ１１０の視界方向を、仮想空間２におけるユーザの基準視線５として特定する。Ｓ１２において、仮想カメラ制御部２２１は、特定した基準視線５に基づき、仮想カメラ１を制御する。仮想カメラ制御部２２１は、基準視線５の位置（起点）および方向が仮想カメラ１の初期状態と同一であれば、仮想カメラ１の位置および方向をそのまま維持する。一方、基準視線５の位置（起点）および／または方向が、仮想カメラ１の初期状態から変化していれば、仮想空間２内における仮想カメラ１の位置および／または傾きを、変化後の基準視線５に応じた位置および／または傾きに変更する。また、制御後の仮想カメラ１に対してｕｖｗ視野座標系を再設定する。
In the present embodiment, in S <b> 11, the virtual camera control unit 221 identifies the identified visual field direction of the
Ｓ１３において、視界領域決定部２２２は、特定した基準視線５に基づき、仮想空間２における視界領域２３を決定する。その後、Ｓ１４において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影（重畳）される部分である視界画像２６を生成（レンダリング）する。Ｓ１５において、視野画像生成部２２３は、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する。Ｓ１６において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。これにより、ユーザがＨＭＤ１１０を動かせば、それに連動して視界画像２６が更新される。
In S <b> 13, the visual field
（仮想空間ゲームの提供）
本実施形態では、ユーザは、右コントローラ３２０および左コントローラ３３０を操作することによって、仮想空間２内においてシューティングゲームをプレイする。たとえばユーザは、仮想空間内に登場する敵キャラクタを、短距離攻撃用の武器（剣など）または遠距離攻撃用の武器（銃など）を用いて攻撃する。
(Provide virtual space game)
In the present embodiment, the user plays a shooting game in the virtual space 2 by operating the
図１０は、仮想空間２におけるゲームの進行を説明するフローチャートである。図１０の処理が開始されると、Ｓ２１において、コントローラセンサ１４０は、右コントローラ３２０の位置および傾き、ならびに、左コントローラ３３０の位置および傾きをそれぞれ検出する。Ｓ２２において、ＨＭＤセンサ１２０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。
FIG. 10 is a flowchart for explaining the progress of the game in the virtual space 2. When the process of FIG. 10 is started, in S21, the
次に、Ｓ２３において、コントローラ３００が、各ボタンの押下状態を検出する。具体的には、右コントローラ３２０は、親指ボタン３０２ａ、人差し指ボタン３０２ｅ、および中指ボタン３０２ｆの押下状態をそれぞれ検出する。一方、左コントローラ３３０は、親指ボタン３０２ｃ、人差し指ボタン３０２ｇ、および中指ボタン３０２ｈの押下状態をそれぞれ検出する。Ｓ２４において、右コントローラ３２０および左コントローラ３３０は、各検出値を制御回路部２００に送信する。コントローラ検出部２１３は、これらの検出値を受信する。
Next, in S23, the
この後、Ｓ２５において、仮想手制御部２３２が、受信された各検出値を用いて、ユーザの各仮想手（仮想右手および仮想左手）を、仮想空間２に生成する。具体的には、仮想右手を規定するデータおよび仮想左手を規定するデータをそれぞれ生成し、仮想空間データに追加する。
Thereafter, in S <b> 25, the virtual
仮想手制御部２３２は、右コントローラ３２０位置および傾きの検出値、ならびに右コントローラ３２０の各ボタンの押下状態の検出値を用いて、ユーザの仮想右手を規定する。その際、仮想空間２における仮想右手の位置として、グローバル座標系における右コントローラ３２０の位置を規定する。仮想手制御部２３２は、さらに、右コントローラ３２０の傾きの検出値に基づき、右コントローラ３２０に設定されたｕｖｗ視野座標系に連動するｕｖｗ視野座標系を仮想右手に設定することによって、仮想空間２内における仮想右手の傾きを規定する。
The virtual
仮想手制御部２３２は、さらに、右コントローラ３２０の親指ボタン３０２ａ、人差し指ボタン３０２ｅ、および中指ボタン３０２ｆの各検出値に基づき、仮想右手を構成する右親指、右人差し指、および右中指の表示状態を規定する。なお、右薬指および右小指の表示状態は、右中指に合致させるように規定する。
The virtual
仮想手制御部２３２は、あるボタンの押下状態の検出値が「０」の場合、そのボタンに対応する仮想手の指の表示状態として、指を完全に伸ばした状態を規定する。一方、あるボタンの押下状態が「１」の場合、そのボタンに対応する仮想手の指の表示状態として、指を完全に折り曲げた状態を規定する。また、あるボタンの押下状態が「中間（０と１との間の値）」の場合、そのボタンに対応する仮想手の指の表示状態として、押下状態に応じた程度に指を折り曲げた表示状態を規定する。
When the detected value of the pressed state of a button is “0”, the virtual
同様に、仮想手制御部２３２は、左コントローラ３３０の各検出値に基づき、仮想空間２における仮想左手の位置、傾き、および各指の状態を規定する。これらの処理によって、仮想手制御部２３２は、仮想右手および仮想左手を、仮想空間２に配置する。この後、Ｓ２６において、関係判定部２３３は、判定テーブル２４３を参照することによって、仮想空間２における仮想右手と仮想左手との関係を判定する。
Similarly, the virtual
図１１は、判定テーブル２４３の詳細を示す図である。判定テーブル２４３は、複数の行および列によって構成されており、行ごとに、付加オブジェクトの種類（名称）、右コントローラ３２０の各ボタンの押下状態、位置、および傾きの各判定値、左コントローラ３３０の各ボタンの押下状態、位置、および傾きの各判定値、ならびに付加オブジェクトへの視線の各判定値を、互いに関連づけて格納している。
FIG. 11 is a diagram showing details of the determination table 243. The determination table 243 is composed of a plurality of rows and columns. For each row, the type (name) of the additional object, the pressed state of each button of the
仮想空間２における仮想右手の状態（位置、傾き、各指の曲げ具合）は、右コントローラ３２０の各検出値によって決まる。同様に、仮想空間２における仮想左手の状態（位置、傾き、各指の曲げ具合）は、左コントローラ３３０の各検出値によって決まる。そこで関係判定部２３３は、仮想右手および仮想左手が特定の関係を満たすか否かを、右コントローラ３２０および左コントローラ３３０の各検出値と、判定テーブル２４３に格納されている各判定値とを照合することによって、判定する。
The state of the virtual right hand in the virtual space 2 (position, inclination, bending condition of each finger) is determined by each detection value of the
関係判定部２３３は、右コントローラ３２０の各検出値に一致する右コントローラ３２０の各判定値と、左コントローラ３３０の各検出値に一致する左コントローラ３３０の各判定値とが、判定テーブル２４３内において互いに関連付けて格納されている場合、仮想右手および仮想左手が特定の関係を満たすと判定する。具体的には、関係判定部２３３は、右コントローラ３２０の各検出値に一致する右コントローラ３２０の判定値と、左コントローラ３３０の各検出値に一致する左コントローラ３３０の判定値とを格納している行を、判定テーブル２４３から検索する。関係判定部２３３は、そのような行を判定テーブル２４３から発見した場合、仮想右手および仮想左手が特定の関係を満たすと判定する。
In the determination table 243, the
Ｓ２７において、付加オブジェクト制御部２３４は、関係判定部２３３による判定結果に応じた付加オブジェクトを、仮想空間２に生成する。具体的には、付加オブジェクト制御部２３４は、発見された行に格納されている付加オブジェクトの名称を、判定テーブル２４３から取得し、その名称の付加オブジェクトを規定するデータを生成して仮想空間データに追加する。付加オブジェクト制御部２３４は、仮想空間２における付加オブジェクトの位置を、仮想右手および仮想左手の位置に関連した位置に設定する。たとえば、仮想右手と仮想左手との中間位置を、仮想空間２における付加オブジェクトの位置として設定する。付加オブジェクト制御部２３４は、仮想右手および仮想左手が特定の関係に無いと判定された場合、付加オブジェクトを仮想空間２に生成しない。
In S <b> 27, the additional
この後、Ｓ２８において、注視センサ１３０は、ユーザの右目の視線および左目の視線をそれぞれ検出し、Ｓ２９において、各検出値を制御回路部２００に送信する。視線検出部２１２が、この検出値を受信する。Ｓ３０において、視線検出部２１２は、受信した検出値を用いて、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向Ｎ０を特定する。
Thereafter, in S28, the
次に、Ｓ３１において、影響対象特定部２３５は、仮想空間２内に配置される各オブジェクトのうち、付加オブジェクトによる影響を受けるオブジェクトを特定する。影響対象特定部２３５は、たとえば、仮想空間２内において、付加オブジェクトに規定される表示範囲内に位置するオブジェクトを、付加オブジェクトによる影響を受けるオブジェクトとして特定する。なお、詳しくは後述するが、影響対象特定部２３５は、付加オブジェクトの表示範囲内に視線方向Ｎ０が向いている場合に、付加オブジェクトの影響を受けるオブジェクトを特定すると共に、付加オブジェクトの表示範囲内に視線方向Ｎ０が向いていない場合には、付加オブジェクトの影響を受けるオブジェクトを特定しない。
Next, in S <b> 31, the influence
Ｓ３２において、影響反映部２３６は、特定されたオブジェクトへの付加オブジェクトによる影響を、仮想空間２に反映させる。具体的には、たとえば、仮想空間データにおける、特定されたオブジェクトの表示状態を規定する値を、付加オブジェクトによる影響に応じた表示状態に更新する。Ｓ２７において付加オブジェクトが規定されない場合、Ｓ３１およびＳ３２は実行されない。
In S <b> 32, the
その後、視野画像生成部２２３は、現在の基準視線５に基づいて、仮想空間２における視界領域２３を決定する。Ｓ３３において、視界画像生成部２２３は、仮想空間データを処理することによって、仮想空間２に展開される仮想空間画像２２の全体のうち、仮想空間２における視界領域２３に投影される部分である視界画像２６を生成（レンダリング）する。
Thereafter, the visual field
仮想空間２に仮想右手および仮想左手が規定されているので、生成される視界画像２６には、少なくとも仮想右手および仮想左手がさらに含まれる。また、付加オブジェクトが仮想空間２に規定された場合、視界画像２６には付加オブジェクトがさらに含まれる。また、付加オブジェクトによる他のオブジェクトへの影響が仮想空間２に反映された場合、視界画像には、その影響により表示状態が変化したオブジェクトがさらに含まれる。
Since a virtual right hand and a virtual left hand are defined in the virtual space 2, the generated
Ｓ３４において、視野画像生成部２２３は、生成した視界画像２６を更新用の視界画像としてＨＭＤ１１０に出力する。Ｓ３５において、ＨＭＤ１１０は、受信した視界画像２６をディスプレイ１１２に表示することによって、視界画像２６を更新する。
In S <b> 34, the visual field
（ロックオンＥＡ）
図１０の処理によってディスプレイ１１２に表示される視界画像２６の一例を、図１２に示す。図１２は、ディスプレイ１１２に表示される視界画像２６の一例を示す図である。図１２の（ａ）では、視界画像２６は、背景画像、敵キャラクタ（オブジェクト）ＯＡ〜ＯＣ、仮想右手ＨＲ、仮想左手ＨＬ、およびロックオンＥＡを含んでいる。仮想右手ＨＲは、右親指ＦＲａ、右人差し指ＦＲｂ、および右中指ＦＲｃを含んでいる。仮想左手ＨＬは、左親指ＦＬａ、左人差し指ＦＬｂ、および左中指ＦＬｃを含んでいる。
(Lock on EA)
An example of the
ロックオンＥＡは、付加オブジェクトの一種である。ユーザは、シューティングゲームの実行中に、敵キャラクタＯＡ〜ＯＣを攻撃対象にするために、ロックオンＥＡを利用する。ロックオンＥＡは、視界画像２６に含まれる仮想右手ＨＲおよび仮想左手ＨＬが特定の関係にある場合、視界画像２６に現れる。言い換えると、ユーザは、ゲーム中にロックオンＥＡを用いるために、両手を適宜動かす必要がある。
The lock on EA is a kind of additional object. During execution of the shooting game, the user uses the lock-on EA in order to make the enemy characters OA to OC attack targets. The lock-on EA appears in the
図１２の（ａ）では、敵キャラクタＯＡがロックオンＥＡの表示範囲に含まれている。そのため、視界画像２６における敵キャラクタＯＡは、攻撃対象として選択されていることを示す状態となっている。一方、敵キャラクタＯＢおよびＯＣはロックオンＥＡの表示範囲に含まれないので、視界画像２６における敵キャラクタＯＢおよびＯＣは、攻撃対象から外れていることを示す状態となっている。
In FIG. 12A, the enemy character OA is included in the display range of the lock-on EA. Therefore, the enemy character OA in the
図１２の（ａ）に示す視界画像２６をディスプレイ１１２に表示させるための手順を、以下に説明する。まずユーザは、ロックオンＥＡを表示させるための操作を、右コントローラ３２０および左コントローラ３３０に対して行う。本実施形態では、この操作は、図１２の（ａ）に示す状態の仮想右手ＨＲおよび仮想左手ＨＬが視界画像２６に含まれるように、右コントローラ３２０を持つ右手と左コントローラ３３０を持つ左手とを適宜動かすことである。
A procedure for displaying the
ロックオンＥＡを表示させるために、ユーザはまず、右コントローラ３２０の親指ボタン３０２ａおよび人差し指ボタン３０２ｅを押下せず、かつ、右コントローラ３２０の中指ボタン３０２ｆを完全に押下する。さらにユーザは、右コントローラ３２０の親指ボタン３０２ａおよび人差し指ボタン３０２ｅを押下せず、かつ、右コントローラ３２０の中指ボタン３０２ｆを完全に押下する。
In order to display the lock-on EA, the user first presses the
ユーザはさらに、右親指ＦＲａが視界画像２６において上を向くと共に、右人差し指ＦＲｂが視界画像２６において左を向くように、右コントローラ３２０を傾ける。また、左親指ＦＬａが視界画像２６において下を向くと共に、左人差し指ＦＬｂが視界画像２６において右を向くように、左コントローラ３３０を傾ける。ユーザはさらに、右親指ＦＲａの先端と左人差し指ＦＬｂの先端とが視界画像２６内で接触すると共に、右人差し指ＦＲｂの先端と左親指ＦＬａの先端とが視界画像２６内において接触するように、右コントローラ３２０および左コントローラ３３０の位置を変化させる。
The user further tilts the
ユーザが上述したように右コントローラ３２０および左コントローラ３３０を操作すると、制御回路部２００は、右コントローラ３２０の親指ボタン３０２ａ、人差し指ボタン３０２ｅ、および中指ボタン３０２ｆの押下状態の検出値として、それぞれ「０」、「０」、および「１」を受信する。また、右コントローラ３２０の位置および傾きの検出値として、位置ＰＲ１および傾きＤＲ１を受信する。さらに、左コントローラ３３０の親指ボタン３０２ｃ、人差し指ボタン３０２ｇ、中指ボタン３０２ｈの検出値として、それぞれ「０」、「０」、および「１」を受信する。さらに、左コントローラ３３０の位置および傾きの検出値として、位置ＰＬ１および傾きＤＬ１を受信する。
When the user operates the
これらの検出値は、判定テーブル２４３において「ロックオン」に関連付けられている右コントローラ３２０および左コントローラ３３０の各判定値に一致する。したがって、付加オブジェクト制御部２３４は、付加オブジェクトとしてロックオンＥＡを仮想空間２に規定する。
These detection values match the determination values of the
判定テーブル２４３において、「ロックオン」に対して視線の判定値として「必要」が関連付けられている。図１２の（ａ）では、ロックオンＥＡが視界画像２６に中央に配置されている。視線として視界方向を用いる場合、図１２の（ａ）では、視界方向は視界画像２６の中央に向かっているので、視線はロックオンＥＡに向けられている。そこで、影響対象特定部２３５は、ロックオンＥＡによる影響を受けるオブジェクトの特定を実行する。
In the determination table 243, “necessary” is associated with “lock on” as the determination value of the line of sight. In FIG. 12A, the lock-on EA is disposed in the center of the
図１２の（ａ）では、仮想空間２において、敵キャラクタＯＡの位置は、ロックオンＥＡの表示範囲に含まれているが、敵キャラクタＯＢおよびＯＣの位置は、ロックオンＥＡの表示範囲に含まれていない。そこで影響対象特定部２３５は、ロックオンＥＡによる影響を受けるオブジェクトとして、ロックオンＥＡの表示範囲に含まれる敵キャラクタＯＡを特定する。特定された敵キャラクタＯＡへの影響は、ロックオンＥＡによる攻撃対象としての選択である。これにより影響反映部２３６は、敵キャラクタＯＡの表示状態を規定する値を、ロックオンＥＡによる選択がなされていることを示す値に更新する。
In FIG. 12A, in the virtual space 2, the position of the enemy character OA is included in the lock-on EA display range, but the positions of the enemy characters OB and OC are included in the lock-on EA display range. Not. Therefore, the influence
この後、制御回路部２００が視界画像２６を生成することによって、図１２の（ａ）に示す視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることができる。
Thereafter, the
図１３は、ロックオンＥＡによる影響を受けるオブジェクトを特定する方法を説明する図である。影響対象特定部２３５は、仮想空間２内におけるロックオンＥＡの表示範囲および仮想カメラ１の位置に基づき、ロックオンＥＡによる影響を受けるオブジェクトを特定してもよい。図１３に示すように、影響対象特定部２３５は、仮想空間２における仮想カメラ１の位置を起点としてロックオンＥＡの表示範囲の外枠に向かう方向をそれぞれ特定し、さらに、これらの方向によって規定されるロックオンＥＡの広がり角γ１およびγ２を特定する。そして、これらの広がり角γ１およびγ２によって規定される仮想空間２内の広がり領域に位置するオブジェクトを、ロックオンＥＡによる影響を受けるオブジェクトとして特定する。なお、拡大ロックオンＥＢの場合も上記と同様である。
FIG. 13 is a diagram for explaining a method for identifying an object affected by lock-on EA. The influence
（ロックオンＥＡの拡大）
ユーザは、ロックオンＥＡをディスプレイ１１２に表示させた後、右コントローラ３２０および左コントローラ３３０を適宜操作することによって、図１２の（ｂ）に示すように、ロックオンＥＡを拡大させることができる。図１２の（ｂ）では、視界画像２６は、背景画像、敵キャラクタＯＡ〜ＯＣ、仮想右手ＨＲ、仮想左手ＨＬ、および拡大ロックオンＥＢを含んでいる。
(Expansion of lock-on EA)
After the lock-on EA is displayed on the
拡大ロックオンＥＢは、付加オブジェクトの一種である。拡大ロックオンＥＢの表示範囲はロックオンＥＡよりも大きいので、敵キャラクタＯＡ〜ＯＣが拡大ロックオンＥＢの表示範囲に含まれている。したがって、敵キャラクタＯＡに加えて、敵キャラクタＯＢおよびＯＣも、攻撃対象として選択されていることを示す状態となっている。ユーザは、ロックオンＥＡを拡大することによって、より多くの敵キャラクタを攻撃対象として選択することができる。 The enlargement lock-on EB is a kind of additional object. Since the display range of the enlarged lock on EB is larger than the lock on EA, the enemy characters OA to OC are included in the display range of the enlarged lock on EB. Therefore, in addition to the enemy character OA, the enemy characters OB and OC are in a state indicating that they are selected as attack targets. The user can select more enemy characters as attack targets by enlarging the lock-on EA.
図１２の（ｂ）に示す視界画像２６をディスプレイ１１２に表示させるための手順を以下に説明する。ロックオンＥＡを拡大するために、ユーザは、右コントローラ３２０の傾きおよび左コントローラ３３０の傾きをそれぞれ維持したまま、仮想右手ＨＲと仮想左手ＨＬとが視界画像２６において互いに遠ざかるように、右手と左手とを互いに遠ざける。これにより、右コントローラ３２０および左コントローラ３３０の位置が、互いに離間するように経時的に変化する。
A procedure for displaying the
コントローラ検出部２１３は、経時的にコントローラセンサ１４０から受信する位置の各検出値に基づき、右コントローラ３２０の位置および左コントローラ３３０の位置が、互いに離間するようにそれぞれ移動していることを検出する。コントローラ検出部２１３は、この検出に基づき、右コントローラ３２０および左コントローラ３３０の位置の検出値として、いずれも「離間移動」を生成する。右コントローラ３２０の押下状態および傾きの検出値、ならびに左コントローラ３３０の押下状態および傾きの検出値は、ロックオンＥＡの表示時から変わりない。これらの各検出値は、判定テーブル２４３において「拡大ロックオン」に関連付けられている各判定値に一致する。そこで付加オブジェクト制御部２３４は、付加オブジェクトとして拡大ロックオンＥＢを仮想空間２に規定する。
The
判定テーブル２４３において、「拡大ロックオン」に対して視線の判定値として「必要」が規定されている。図１２の（ｂ）では、拡大ロックオンＥＢが視界画像２６に中央に配置されている。視線として視界方向を用いる場合、図１２の（ｂ）では、視界方向は視界画像２６の中央に向かっているので、視線は拡大ロックオンＥＢに向けられている。そこで、影響対象特定部２３５は、拡大ロックオンＥＢによる影響を受けるオブジェクトの特定を実行する。
In the determination table 243, “necessary” is defined as the line-of-sight determination value for “enlarged lock on”. In FIG. 12B, the enlarged lock-on EB is disposed in the center of the
図１２の（ｂ）では、仮想空間２において、敵キャラクタＯＡ〜ＯＣの各位置は、いずれも拡大ロックオンＥＢの表示範囲に含まれている。そのため影響対象特定部２３５は、拡大ロックオンＥＢによる影響を受けるオブジェクトとして、敵キャラクタＯＡ〜ＯＣを特定する。特定された敵キャラクタＯＡ〜ＯＣへの影響は、拡大ロックオンＥＢによる攻撃対象としての選択である。敵キャラクタＯＡはすでにロックオンＥＡによる影響を受けているので、表示状態を変える必要はない。影響反映部２３６は、仮想空間データにおいて、敵キャラクタＯＢおよびＯＣの表示状態を規定する値を、拡大ロックオンＥＢによる選択がなされていることを示す値に更新する。
In FIG. 12B, each position of the enemy characters OA to OC in the virtual space 2 is included in the display range of the enlarged lock-on EB. Therefore, the influence
この後、制御回路部２００が視界画像２６を生成することによって、図１２の（ｂ）に示す視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることができる。
Thereafter, the
制御回路部２００は、視界画像２６におけるロックオンＥＡ（または拡大ロックオンＥＢ）に重なる部分を、ユーザによる指示（たとえば特定のボタンの押下）に基づきスクリーンショットとして取得してもよい。この場合、制御回路部２００は、図１３に示す広がり角を考慮することなく、視界画像２６においてロックオンＥＡ（または拡大ロックオンＥＢ）にちょうど重なる箇所の部分画像を、スクリーンショットとして取得する。
The
（エネルギーＥＣ）
図１１の処理によってディスプレイ１１２に表示される視界画像２６の他の例を、図１４に示す。図１４は、ディスプレイ１１２に表示される視界画像２６の他の例を示す図である。図１４の（ａ）では、視界画像２６は、背景画像、敵キャラクタ（オブジェクト）ＯＢおよびＯＣ、仮想右手ＨＲ、仮想左手ＨＬ、およびエネルギーＥＣを含んでいる。
(Energy EC)
FIG. 14 shows another example of the
エネルギーＥＣは、付加オブジェクトの一種である。ユーザは、シューティングゲームの実行中に、敵キャラクタを攻撃するためのソードまたは敵キャラクタから身を守るためにシールドを利用するために、まず、エネルギーＥＣを仮想空間２に生成する。エネルギーＥＣは、視界画像２６に含まれる仮想右手ＨＲおよび仮想左手ＨＬが特定の関係にある場合、視界画像２６に現れる。言い換えると、ユーザは、エネルギーＥＣをディスプレイ１１２に表示させるために、両手を適宜動かす必要がある。
The energy EC is a kind of additional object. During the execution of the shooting game, the user first generates energy EC in the virtual space 2 in order to use the sword for attacking the enemy character or the shield to protect himself from the enemy character. The energy EC appears in the
図１４の（ａ）に示す視界画像２６をディスプレイ１１２に表示させるための手順を、以下に説明する。まずユーザは、エネルギーＥＣを表示させるための操作を、右コントローラ３２０および左コントローラ３３０に対して行う。本実施形態では、この操作は、図１４の（ａ）に示す状態の仮想右手ＨＲおよび仮想左手ＨＬが視界画像２６に含まれるように、右コントローラ３２０を持つ右手と左コントローラ３３０を持つ左手とを適宜動かすことである。
A procedure for displaying the
エネルギーＥＣを表示させるために、ユーザはまず、右コントローラ３２０の親指ボタン３０２ａおよび人差し指ボタン３０２ｅを中程度に押下し、かつ、右コントローラ３２０の中指ボタン３０２ｆを完全に押下する。さらにユーザは、左コントローラ３３０の親指ボタン３０２ｃおよび人差し指ボタン３０２ｇを中程度に、かつ、左コントローラ３３０の中指ボタン３０２ｈを完全に押下する。
In order to display the energy EC, the user first presses the
ユーザはさらに、仮想右手ＨＲの甲が視界画像２６に表示され、かつ、右親指ＦＲａおよび右人差し指ＦＲｂが視界画像２６において斜め左下を向くように、右コントローラ３２０を傾ける。また、仮想左手ＨＬの手のひらが視界画像２６に表示され、左親指ＦＬａおよび左人差し指ＦＬｂが視界画像２６において斜め右上を向くように、左コントローラ３３０を傾ける。ユーザはさらに、右親指ＦＲａの先端、左人差し指ＦＬｂの先端、右人差し指ＦＲｂの先端、左親指ＦＬａの先端が視界画像２６内の小さな領域を取り囲むように、右コントローラ３２０および左コントローラ３３０の位置を変化させる。
The user further tilts the
ユーザが上述したように右コントローラ３２０および左コントローラ３３０を操作すると、制御回路部２００は、右コントローラ３２０の親指ボタン３０２ａ、人差し指ボタン３０２ｅ、および中指ボタン３０２ｆの押下状態の検出値として、それぞれ「中間」、「中間」、および「１」を受信する。また、右コントローラ３２０の位置および傾きの検出値として、位置ＰＲ２および傾きＤＲ２を受信する。さらに、左コントローラ３３０の親指ボタン３０２ｃ、人差し指ボタン３０２ｇ、中指ボタン３０２ｈの検出値として、それぞれ「中間」、「中間」、および「１」を受信する。さらに、左コントローラ３３０の位置および傾きの検出値として、位置ＰＬ２および傾きＤＬ２を受信する。
When the user operates the
これらの検出値は、判定テーブル２４３において「エネルギーＥＣ」に関連付けられている右コントローラ３２０および左コントローラ３３０の各判定値に一致する。したがって、付加オブジェクト制御部２３４は、付加オブジェクトとしてエネルギーＥＣを仮想空間２に規定する。
These detection values match the determination values of the
この後、制御回路部２００が視界画像２６を生成することによって、図１４の（ａ）に示す視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることができる。
Thereafter, the
ユーザは、エネルギーＥＣをディスプレイ１１２に表示させた後、右コントローラ３２０および左コントローラ３３０を適宜操作することによって、図１４の（ｂ）に示すように、敵キャラクタを攻撃するためのソードＥＤを、ディスプレイ１１２に表示させることができる。図１４の（ｂ）では、視界画像２６は、背景画像、敵キャラクタＯＢおよびＯＣ、仮想右手ＨＲ、仮想左手ＨＬ、およびソードＥＤを含んでいる。ソードＥＤは、付加オブジェクトの一種である。
After the user displays the energy EC on the
図１４の（ｂ）に示す視界画像２６をディスプレイ１１２に表示させるための手順を以下に説明する。エネルギーＥＣの表示後、ユーザは、右コントローラ３２０の傾きおよび左コントローラ３３０の傾きをそれぞれ維持したまま、仮想右手ＨＲと仮想左手ＨＬとが視界画像２６において互いに遠ざかるように、右手と左手とを互いに遠ざける。これにより、右コントローラ３２０および左コントローラ３３０の位置が、互いに離間するように経時的に変化する。
A procedure for displaying the
コントローラ検出部２１３は、経時的にコントローラセンサ１４０から受信する位置の各検出値に基づき、右コントローラ３２０の位置および左コントローラ３３０の位置が、互いに離間するようにそれぞれ移動していることを検出する。コントローラ検出部２１３は、この検出に基づき、右コントローラ３２０および左コントローラ３３０の位置の検出値として、いずれも「離間移動」を生成する。右コントローラ３２０の押下状態および傾きの検出値、ならびに左コントローラ３３０の押下状態および傾きの検出値は、エネルギーＥＣの表示時から変わりない。これらの各検出値は、判定テーブル２４３において「ソードＥＤ」に関連付けられている各判定値に一致する。そこで付加オブジェクト制御部２３４は、付加オブジェクトとしてソードＥＤを仮想空間２に規定する。
The
この後、制御回路部２００が視界画像２６を生成することによって、図１４の（ｂ）に示す視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることができる。図１４の（ｃ）に示すように、ユーザは、生成したソードＥＤを仮想右手ＨＲまたは仮想左手ＨＬで掴んで利用することができる。たとえば、ソードＥＤを振り回して敵キャラクタＯＢまたはＯＣを斬りつけたり、ソードＥＤを敵キャラクタＯＢまたはＯＣに投げつけたりすることができる。
Thereafter, the
（シールドＥＥ）
図１１の処理によってディスプレイ１１２に表示される視界画像２６の他の例を、図１５に示す。図１５は、ディスプレイ１１２に表示される視界画像２６のさらに他の例を示す図である。図１５の（ａ）では、視界画像２６は、背景画像、敵キャラクタ（オブジェクト）ＯＢおよびＯＣ、仮想右手ＨＲ、仮想左手ＨＬ、およびシールドＥＥを含んでいる。
(Shield EE)
FIG. 15 shows another example of the
シールドＥＥは、付加オブジェクトの一種である。ユーザは、図１４の（ｂ）に示すソードＥＤを表示させた後、両手を回転移動させることによって、シールドＥＥを表示させることができる。 The shield EE is a kind of additional object. After displaying the sword ED shown in FIG. 14B, the user can display the shield EE by rotating both hands.
図１５の（ｂ）に示す視界画像２６をディスプレイ１１２に表示させるための手順を、以下に説明する。ソードＥＤの表示後、ユーザは、右コントローラ３２０の傾きおよび左コントローラ３３０の傾きをそれぞれ維持したまま、仮想右手ＨＲと仮想左手ＨＬとがソードＥＤの中央を原点とする円上を動くように、右手および左手を動かす。これにより、右コントローラ３２０および左コントローラ３３０の位置が、いずれも回転運動をするように経時的に変化する。
The procedure for displaying the
コントローラ検出部２１３は、経時的にコントローラセンサ１４０から受信する位置の各検出値に基づき、右コントローラ３２０の位置および左コントローラ３３０の位置が、いずれも回転移動していることを検出する。コントローラ検出部２１３は、この検出に基づき、右コントローラ３２０および左コントローラ３３０の位置の検出値として、いずれも「回転移動」を生成する。右コントローラ３２０の押下状態および傾きの検出値、ならびに左コントローラ３３０の押下状態および傾きの検出値は、ソードＥＤの表示時から変わりない。これらの各検出値は、判定テーブル２４３において「シールド」に関連付けられている各判定値に一致する。そこで付加オブジェクト制御部２３４は、付加オブジェクトとしてシールドＥＥを仮想空間２に規定する。
The
この後、制御回路部２００が視界画像２６を生成することによって、図１５の（ａ）に示す視界画像２６をＨＭＤ１１０のディスプレイ１１２に表示させることができる。図１５の（ｂ）に示すように、ユーザは、生成したシールドＥＥを仮想右手ＨＲまたは仮想左手ＨＬで掴んで利用することができる。たとえば、シールドＥＥを敵キャラクタの前に配置することによって、敵キャラクタからの攻撃を防ぐことができる。
Thereafter, the
本実施形態では、図１２、図１４、および図１５に示すように、ユーザの仮想右手ＨＲおよび仮想左手ＨＬとの関係（位置関係）に応じた様々な付加オブジェクトが、仮想空間２に登場する。すなわちユーザは、両手を用いた幅広い範囲内での様々なポーズを取ることによって、仮想空間２の状態を様々に変化させることができる。ユーザは、両手を使った様々なポーズを取るために、両手をダイナミックに動かす必要がある。このような動きを通じて、ユーザは、仮想空間２における己の姿に高い躍動感と満足感（自尊心）を覚えることもできる。したがって、本実施形態によれば、エンタテインメント性の高い仮想空間２をユーザに提供することができる。 In the present embodiment, as shown in FIGS. 12, 14, and 15, various additional objects appearing in the virtual space 2 according to the relationship (positional relationship) between the virtual right hand HR and the virtual left hand HL of the user. . That is, the user can change the state of the virtual space 2 in various ways by taking various poses within a wide range using both hands. The user needs to move both hands dynamically in order to take various poses using both hands. Through such a movement, the user can also learn a high sense of liveliness and satisfaction (self-esteem) in his / her appearance in the virtual space 2. Therefore, according to this embodiment, the virtual space 2 with high entertainment property can be provided to the user.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。各実施形態にそれぞれ開示された技術的手段を組み合わせることによって、新しい技術的特徴を形成することもできる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims. Embodiments obtained by appropriately combining technical means disclosed in different embodiments are also included in the technical scope of the present invention. A new technical feature can also be formed by combining the technical means disclosed in each embodiment.
たとえば制御回路部２００は、視界方向ではなく視線方向Ｎ０を、基準視線５として特定してもよい。この場合、ユーザが視線を変化させるとそれに連動して仮想カメラ１の向きが変わるので、視界領域２３の位置も視線変化に連動して変化する。その結果、視界画像２６の内容が視線変化に応じて変化することになる。
For example, the
また、制御回路部２００は、ユーザの右手の状態を表す情報およびユーザの左手の状態を表す情報の双方に基づき、オブジェクトとしての機能を持たない単なる付加画像を、仮想空間２に生成してもよい。
Further, the
〔ソフトウェアによる実現例〕
制御回路部２００の制御ブロック（検出部２１０、表示制御部２２０、仮想空間制御部２３０、記憶部２４０、および通信部２５０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
[Example of software implementation]
A control block (detection unit 210,
後者の場合、制御ブロックは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ（Random Access Memory）等を備えている。そして、コンピュータ（又はＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 In the latter case, the control block includes a CPU that executes instructions of a program that is software that realizes each function, a ROM (Read Only Memory) or a memory in which the program and various data are recorded so as to be readable by a computer (or CPU). A device (these are referred to as “recording media”), a RAM (Random Access Memory) for expanding the program, and the like are provided. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it. As the recording medium, a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
〔付記事項〕
本発明の一側面にかかる内容を列記すると以下の通りである。
[Additional Notes]
The contents according to one aspect of the present invention are listed as follows.
（項目１）ヘッドマウントディスプレイ（以下、ＨＭＤ）を装着したユーザに仮想空間を提供する方法であって、前記仮想空間を規定するステップと、前記仮想空間における前記ユーザの基準視線を特定するステップと、前記ユーザの右手の状態を表す情報および前記ユーザの左手の状態を表す情報を取得するステップと、前記右手の状態を表す情報および前記左手の状態の双方に基づく付加画像を、前記仮想空間に生成するステップと、前記基準視線に基づき、前記付加画像を少なくとも含む視界画像を生成するステップと、前記視界画像を前記ＨＭＤに表示させるステップとを有する、仮想空間を提供する方法。ユーザが両手を用いた幅広い範囲内の様々なポーズを取ることによって仮想空間の状態を様々に変化させることができるので、エンタテインメント性の高い仮想空間をユーザに提供することができる。 (Item 1) A method for providing a virtual space to a user wearing a head-mounted display (hereinafter, HMD), the step of defining the virtual space, and the step of specifying the reference line of sight of the user in the virtual space; Obtaining information indicating the state of the right hand of the user and information indicating the state of the left hand of the user, and an additional image based on both the information indicating the state of the right hand and the state of the left hand in the virtual space. A method of providing a virtual space, comprising: generating, generating a view image including at least the additional image based on the reference line of sight, and displaying the view image on the HMD. Since the user can change the state of the virtual space variously by taking various poses within a wide range using both hands, it is possible to provide the user with a highly entertaining virtual space.
（項目２）前記右手の状態を表す情報に基づき、前記仮想空間に仮想右手を生成するステップと、前記左手の状態を表す情報に基づき、前記仮想空間に仮想左手を生成するステップと、をさらに有しており、前記付加画像を生成するステップにおいて、前記仮想空間における前記仮想右手および前記仮想左手の関係に基づく前記付加画像を生成し、前記視界画像を生成するステップにおいて、前記仮想右手および前記仮想左手をさらに含む前記視界画像を生成する、項目１の仮想空間を提供する方法。ユーザの右手および左手にそれぞれ対応した仮想右手および仮想左手が生成されるので、仮想空間のリアリティをより高めることができる。
(Item 2) A step of generating a virtual right hand in the virtual space based on information representing the state of the right hand, and a step of generating a virtual left hand in the virtual space based on the information representing the state of the left hand And generating the additional image in the step of generating the additional image based on the relationship between the virtual right hand and the virtual left hand in the virtual space, and generating the view image in the step of generating the additional image. A method for providing a virtual space of
（項目３）前記右手の状態を表す情報および前記左手の状態を表す情報を取得するステップにおいて、前記ユーザが右手に持つ右コントローラの検出値および前記ユーザが左手に持つ左コントローラの検出値を、前記右手の状態を表す情報および前記左手の状態を表す情報としてそれぞれ取得する、項目１または２の仮想空間を提供する方法。ユーザの右手の状態を表す情報および左手を表す情報を簡易に取得することができる。
(Item 3) In the step of acquiring information representing the state of the right hand and information representing the state of the left hand, the detected value of the right controller that the user has on the right hand and the detected value of the left controller that the user has on the left hand, The method of providing the virtual space of the
（項目４）前記付加画像を生成するステップにおいて、前記仮想空間に前記付加画像として付加オブジェクトを生成する、項目１〜３のいずれか１つの仮想空間を提供する方法。ユーザの両手の関係に応じた付加オブジェクトを仮想空間内に登場させることができる。
(Item 4) The method of providing any one virtual space of
（項目５）前記仮想空間において前記付加画像による影響を受けるオブジェクトを特定するステップと、特定された前記オブジェクトに対する前記影響を、前記仮想空間に反映させるステップとをさらに有する、項目１〜４のいずれか１つの仮想空間を提供する方法。ユーザが両手を適宜動かすことによって仮想空間内のオブジェクトに影響を与えることができる。
(Item 5) The item according to any one of
（項目６）前記影響を受けるオブジェクトを特定するステップにおいて、前記仮想空間において前記付加画像の表示範囲に重畳するオブジェクトを、前記付加画像による影響を受けるオブジェクトとして特定する、項目５の仮想空間を提供する方法。影響を受けるオブジェクトを適切に特定することができる。
(Item 6) The virtual space of
（項目７）前記ユーザの視線方向を特定するステップをさらに有し、前記影響を受けるオブジェクトを特定するステップにおいて、前記付加画像および前記視線方向に基づき、前記影響を受けるオブジェクトを特定する、項目４または５の仮想空間を提供する方法。ユーザが注意を向けた領域内のオブジェクトに影響を与えることができる。 (Item 7) The method further includes the step of specifying the user's line-of-sight direction, and in the step of specifying the affected object, the affected object is specified based on the additional image and the line-of-sight direction. Or a method of providing 5 virtual spaces. It can affect objects in the area that the user has focused on.
（項目８）前記ＨＭＤのロール方向を特定するステップをさらに有し、前記影響を受けるオブジェクトを特定するステップにおいて、前記付加画像および前記ロール方向に基づき、前記影響を受けるオブジェクトを特定する、項目５または６の仮想空間を提供する方法。ユーザの正面にある領域内のオブジェクトに影響を与えることができる。 (Item 8) The method further includes a step of specifying a roll direction of the HMD, and specifying the affected object based on the additional image and the roll direction in the step of specifying the affected object. Alternatively, a method for providing six virtual spaces. It can affect objects in the area in front of the user.
（項目９）項目１〜８のいずれか１つの仮想空間を提供する方法の各ステップを、コンピュータに実行させるプログラム。
(Item 9) A program that causes a computer to execute each step of the method for providing a virtual space of any one of
（項目１０）項目９のプログラムを記録したコンピュータ読み取り可能な記録媒体。 (Item 10) A computer-readable recording medium on which the program of item 9 is recorded.
１ 仮想カメラ、２ 仮想空間、５ 基準視線、２１ 中心、２２ 仮想空間画像、２３ 視界領域、２４ 第１領域、２５ 第２領域、２６ 視界画像、１００ ＨＭＤシステム、１１０ ＨＭＤ、１１２ ディスプレイ、１１４、３０６ センサ、１２０ ＨＭＤセンサ、１３０ 注視センサ、１４０ コントローラセンサ、２００ 制御回路部、２１０ 検出部、２１１ ＨＭＤ検出部、２１２ 視線検出部、２１３ コントローラ検出部、２２０ 表示制御部、２２１ 仮想カメラ制御部、２２２ 視界領域決定部、２２３ 視野画像生成部、２３０ 仮想空間制御部、２３１ 仮想空間規定部、２３２ 仮想手制御部、２３３ 位置関係判定部、２３４ 付加オブジェクト制御部、２３５ 影響対象特定部、２３６ 影響反映部、２４０ 記憶部、２４１ 雛形格納部、２４２ コンテンツ格納部、２４３ 判定テーブル、２５０ 通信部、３００ コントローラ、３０２ 操作ボタン、３０２ａ〜３０２ｄ 親指ボタン、３０２ｅ、３０２ｇ 人差し指ボタン、３０２ｆ、３０２ｈ 中指ボタン、３０２ｉ、３０２ｊ アナログスティック、３２０ 右コントローラ、３２２、３３２ 天面、３２４、３３４ グリップ、３２６ フレーム、３３０ 左コントローラ、ＨＲ 仮想右手、ＨＬ 仮想左手、ＦＬ１、ＦＬ２、ＦＲ１、ＦＲ２ 位置、ＦＬａ 左親指、ＦＬｃ 左中指、ＦＲａ 右親指、ＦＲｃ 右中指 1 virtual camera, 2 virtual space, 5 reference line of sight, 21 center, 22 virtual space image, 23 view area, 24 first area, 25 second area, 26 view image, 100 HMD system, 110 HMD, 112 display, 114, 306 sensor, 120 HMD sensor, 130 gaze sensor, 140 controller sensor, 200 control circuit unit, 210 detection unit, 211 HMD detection unit, 212 gaze detection unit, 213 controller detection unit, 220 display control unit, 221 virtual camera control unit, 222 Field-of-view determination unit, 223 Field-of-view image generation unit, 230 Virtual space control unit, 231 Virtual space definition unit, 232 Virtual hand control unit, 233 Position relation determination unit, 234 Additional object control unit, 235 Influence target specification unit, 236 Influence Reflection unit, 240 storage unit, 241 Template storage unit, 242 Content storage unit, 243 Determination table, 250 Communication unit, 300 Controller, 302 Operation buttons, 302a to 302d Thumb buttons, 302e, 302g Index finger buttons, 302f, 302h Middle finger buttons, 302i, 302j Analog stick, 320 Right Controller, 322, 332 Top, 324, 334 Grip, 326 Frame, 330 Left controller, HR Virtual right hand, HL Virtual left hand, FL1, FL2, FR1, FR2 Position, FLa Left thumb, FLc Middle left finger, FRa Right thumb, FRc Middle right finger
Claims (10)
前記仮想空間を規定するステップと、
前記仮想空間における前記ユーザの基準視線を特定するステップと、
前記ユーザの右手の状態を表す情報および前記ユーザの左手の状態を表す情報を取得するステップと、
前記右手の状態を表す情報および前記左手の状態の双方に基づく付加画像を、前記仮想空間に生成するステップと、
前記基準視線に基づき、前記付加画像を少なくとも含む視界画像を生成するステップと、
前記視界画像を前記ＨＭＤに表示させるステップとを有する、仮想空間を提供する方法。 A method of providing a virtual space to a user wearing a head mounted display (hereinafter, HMD),
Defining the virtual space;
Identifying a reference line of sight of the user in the virtual space;
Obtaining information representing the state of the right hand of the user and information representing the state of the left hand of the user;
Generating an additional image in the virtual space based on both the information indicating the state of the right hand and the state of the left hand;
Generating a visual field image including at least the additional image based on the reference visual line;
Displaying the view image on the HMD, and providing a virtual space.
前記左手の状態を表す情報に基づき、前記仮想空間に仮想左手を生成するステップと、をさらに有しており、
前記付加画像を生成するステップにおいて、前記仮想空間における前記仮想右手および前記仮想左手の関係に基づく前記付加画像を生成し、
前記視界画像を生成するステップにおいて、前記仮想右手および前記仮想左手をさらに含む前記視界画像を生成する、請求項１に記載の仮想空間を提供する方法。 Generating a virtual right hand in the virtual space based on information representing the state of the right hand;
Generating a virtual left hand in the virtual space based on information representing the state of the left hand,
Generating the additional image based on a relationship between the virtual right hand and the virtual left hand in the virtual space in the step of generating the additional image;
The method of providing a virtual space according to claim 1, wherein in the step of generating the view image, the view image further including the virtual right hand and the virtual left hand is generated.
特定された前記オブジェクトに対する前記影響を、前記仮想空間に反映させるステップとをさらに有する、請求項１〜４のいずれか１項に記載の仮想空間を提供する方法。 Identifying an object affected by the additional image in the virtual space;
The method for providing the virtual space according to claim 1, further comprising reflecting the influence on the identified object in the virtual space.
前記影響を受けるオブジェクトを特定するステップにおいて、前記付加画像および前記視線方向に基づき、前記影響を受けるオブジェクトを特定する、請求項５または６に記載の仮想空間を提供する方法。 Further comprising identifying the user's line-of-sight direction;
The method for providing a virtual space according to claim 5 or 6, wherein, in the step of identifying the affected object, the affected object is identified based on the additional image and the line-of-sight direction.
前記影響を受けるオブジェクトを特定するステップにおいて、前記付加画像および前記ロール方向に基づき、前記影響を受けるオブジェクトを特定する、請求項５または６に記載の仮想空間を提供する方法。 Further comprising identifying a roll direction of the HMD;
The method for providing a virtual space according to claim 5 or 6, wherein, in the step of identifying the affected object, the affected object is identified based on the additional image and the roll direction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016076840A JP6275185B2 (en) | 2016-04-06 | 2016-04-06 | Method, program, and recording medium for providing virtual space |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016076840A JP6275185B2 (en) | 2016-04-06 | 2016-04-06 | Method, program, and recording medium for providing virtual space |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017185492A Division JP2018028920A (en) | 2017-09-26 | 2017-09-26 | Method for providing virtual space, program and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017200494A true JP2017200494A (en) | 2017-11-09 |
| JP6275185B2 JP6275185B2 (en) | 2018-02-07 |
Family
ID=60264283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016076840A Active JP6275185B2 (en) | 2016-04-06 | 2016-04-06 | Method, program, and recording medium for providing virtual space |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6275185B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019113942A (en) * | 2017-12-21 | 2019-07-11 | 株式会社コナミデジタルエンタテインメント | Display control apparatus, display control system, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013013739A (en) * | 2012-08-21 | 2013-01-24 | Nintendo Co Ltd | Game unit and game program |
| WO2014126966A1 (en) * | 2013-02-14 | 2014-08-21 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for hmd |
| JP2015232783A (en) * | 2014-06-09 | 2015-12-24 | 株式会社バンダイナムコエンターテインメント | Program and image creating device |
-
2016
- 2016-04-06 JP JP2016076840A patent/JP6275185B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013013739A (en) * | 2012-08-21 | 2013-01-24 | Nintendo Co Ltd | Game unit and game program |
| WO2014126966A1 (en) * | 2013-02-14 | 2014-08-21 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for hmd |
| JP2015232783A (en) * | 2014-06-09 | 2015-12-24 | 株式会社バンダイナムコエンターテインメント | Program and image creating device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019113942A (en) * | 2017-12-21 | 2019-07-11 | 株式会社コナミデジタルエンタテインメント | Display control apparatus, display control system, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6275185B2 (en) | 2018-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10776991B2 (en) | Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods | |
| JP6189497B1 (en) | Method for providing virtual space, method for providing virtual experience, program, and recording medium | |
| JP6523233B2 (en) | Information processing method, apparatus, and program for causing a computer to execute the information processing method | |
| JP6368411B1 (en) | Method, program and computer executed on a computer to provide a virtual experience | |
| JP6509938B2 (en) | INFORMATION PROCESSING METHOD, COMPUTER, AND PROGRAM | |
| JP2018028920A (en) | Method for providing virtual space, program and recording medium | |
| JP2018194889A (en) | Information processing method, computer and program | |
| JP6203346B1 (en) | Method, program, and recording medium for providing virtual space | |
| JP6113897B1 (en) | Method for providing virtual space, method for providing virtual experience, program, and recording medium | |
| JP2019133309A (en) | Program, information processor and information processing method | |
| JP6275185B2 (en) | Method, program, and recording medium for providing virtual space | |
| JP6159455B1 (en) | Method, program, and recording medium for providing virtual space | |
| JP6368404B1 (en) | Information processing method, program, and computer | |
| JP6728111B2 (en) | Method of providing virtual space, method of providing virtual experience, program, and recording medium | |
| JP7064265B2 (en) | Programs, information processing devices, and information processing methods for providing virtual experiences | |
| JP2018014110A (en) | Method for providing virtual space, method for providing virtual experience, program and recording medium | |
| JP2018014084A (en) | Method for providing virtual space, method for providing virtual experience, program and recording medium | |
| JP2019155115A (en) | Program, information processor and information processing method | |
| JP6189495B1 (en) | Method for providing virtual space, method for providing virtual experience, program, and recording medium | |
| JP2018028900A (en) | Method, program, and recording medium for providing virtual space | |
| JP2019016358A (en) | Information processing method, program and computer | |
| JP6189496B1 (en) | Method for providing virtual space, method for providing virtual experience, program, and recording medium | |
| JP2019023869A (en) | Information processing method, computer, and program | |
| JP6389305B1 (en) | Information processing method, computer, and program | |
| JP2019155113A (en) | Information processing method, computer, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171002 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6275185 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |