JP2018120521A - Method for providing virtual space, program for causing computer to execute the method and information processing apparatus for executing program - Google Patents
Method for providing virtual space, program for causing computer to execute the method and information processing apparatus for executing program Download PDFInfo
- Publication number
- JP2018120521A JP2018120521A JP2017013104A JP2017013104A JP2018120521A JP 2018120521 A JP2018120521 A JP 2018120521A JP 2017013104 A JP2017013104 A JP 2017013104A JP 2017013104 A JP2017013104 A JP 2017013104A JP 2018120521 A JP2018120521 A JP 2018120521A
- Authority
- JP
- Japan
- Prior art keywords
- user
- hmd
- virtual space
- processor
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この開示は、仮想空間を提供するための技術に関し、より特定的には、仮想空間において所望の画面を表示するための技術に関する。 This disclosure relates to a technique for providing a virtual space, and more particularly to a technique for displaying a desired screen in the virtual space.
ヘッドマウントデバイス(HMD:Head-Mounted Device)装置を用いて仮想現実を提供する技術が知られている。一般的に、ユーザは、コンピュータに接続されたコントローラを手で操作して、仮想空間での移動などをコントロールすることができる。 A technique for providing virtual reality using a head-mounted device (HMD) device is known. In general, a user can control movement or the like in a virtual space by operating a controller connected to a computer by hand.
しかしながら、コントローラがコンピュータに接続されていない場合もあり得る。このような場合にも、ユーザの自由な操作を実現するための様々な技術が提案されている。例えば、非特許文献1は、仮想空間上でのシューティングゲームにおいて、ユーザの視線を利用して、対象物への照準を合わせる技術を開示している。
However, the controller may not be connected to the computer. Even in such a case, various techniques for realizing a user's free operation have been proposed. For example, Non-Patent
上記のようにコンピュータにコントローラなどの操作デバイスが接続されていない場合に、ユーザはHMDのモニタに何らかの画面(例えば、メニュー画面)を表示させたいことがある。例えば、ユーザは、仮想空間上の予め定められ位置に配置されるオブジェクトを注視することで、所望の画面を開くことができる。 As described above, when an operation device such as a controller is not connected to the computer, the user may want to display some screen (for example, a menu screen) on the monitor of the HMD. For example, the user can open a desired screen by gazing at an object placed at a predetermined position in the virtual space.
しかしながら、ユーザがこのオブジェクトを視認できない場合、ユーザは仮想空間上のオブジェクトを視認できる位置に移動した後に、オブジェクトを視認する必要がある。したがって、手で操作可能なコントローラを有さない場合においても、ユーザの任意のタイミングで所望の画面を表示する技術が必要とされている。 However, when the user cannot visually recognize this object, the user needs to visually recognize the object after moving to a position where the object in the virtual space can be visually recognized. Therefore, there is a need for a technique for displaying a desired screen at a user's arbitrary timing even when a controller that can be operated by hand is not provided.
本開示は、上記のような問題を解決するためになされたものであって、ある局面における目的は、仮想空間上におけるユーザの快適な操作を実現するための技術を提供することである。 This indication is made in order to solve the above problems, and the objective in a certain situation is to provide the art for realizing comfortable operation of a user on virtual space.
ある実施形態に従うと、ヘッドマウントデバイスに仮想空間を提供するためにコンピュータで実行される方法が提供される。この方法は、仮想空間を定義するステップと、ヘッドマウントデバイスに画像を表示して、ヘッドマウントデバイスのユーザに仮想空間における視界を提供するステップと、ヘッドマウントデバイスの動きを検知するステップと、ヘッドマウントデバイスに表示される画像を、検知された動きに連動して更新するステップと、仮想空間に、仮想空間におけるヘッドマウントデバイスのユーザの視座に追随するオブジェクトを配置するステップと、ユーザがオブジェクトを見つめていることを検知するステップと、ユーザがオブジェクトを予め定められた時間見つめていることに応じて、ヘッドマウントデバイスに、予め定められた画面を表示するステップとを備える。 According to certain embodiments, a computer-implemented method for providing virtual space to a head mounted device is provided. The method includes the steps of defining a virtual space, displaying an image on the head mounted device to provide a user of the head mounted device with a view in the virtual space, detecting movement of the head mounted device, Updating the image displayed on the mount device in conjunction with the detected movement; placing an object in the virtual space following the user's view of the head mounted device; and A step of detecting staring, and a step of displaying a predetermined screen on the head mounted device in response to the user staring at the object for a predetermined time.
開示された技術的特徴の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。 The above and other objects, features, aspects and advantages of the disclosed technical features will become apparent from the following detailed description of the invention which is to be understood in connection with the accompanying drawings.
以下、この技術的思想の実施形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される各実施形態は、適宜選択的に組み合わされてもよい。 Hereinafter, embodiments of this technical idea will be described in detail with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated. Each embodiment described below may be combined appropriately and appropriately.
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、HMDシステム100の構成の概略を表す。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[Configuration of HMD system]
A configuration of an HMD (Head-Mounted Device)
HMDシステム100は、HMD110と、HMDセンサ120と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ140とを含む。
The
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。別の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
In one aspect, the
HMD110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。HMD110は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The HMD 110 may be worn on the user's head and provide a virtual space to the user during operation. More specifically, the HMD 110 displays a right-eye image and a left-eye image on the
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
The
他の局面において、モニタ112は、透過型の表示装置として実現され得る。この場合、HMD110は、図1に示されるようにユーザの目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ112は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、モニタ112は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ112は、HMD110に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, the
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, the
HMDセンサ120は、HMD110の位置および傾きを検出し得る。ある局面において、HMD110は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ120は、HMD110が発する複数の赤外線を読み取り、現実空間内におけるHMD110の位置および傾きを検出する。
The
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
In another aspect,
さらに別の局面において、HMD110は、HMD110の動きを検出するためのデバイスとして、HMDセンサ120の代わりにセンサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110の傾きを検出し得る。例えば、センサ114は、HMD110に設定される3軸(ヨー軸、ロール軸、ピッチ軸)まわりの角速度を経時的に検出するジャイロセンサであり得る。コンピュータ200は、各角速度に基づいて、HMD110の3軸まわりの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。他の例において、センサ114は、加速度センサ、地磁気センサその他のセンサを含み得る。
In yet another aspect, the
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線を検知できる。
The
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
[ハードウェア構成]
図2を参照して、本実施形態に係るコンピュータ200について説明する。図2は、ある局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
[Hardware configuration]
A
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
The
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
The
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
ある実施形態において、入出力インターフェイス13は、HMD110、およびHMDセンサ120との間で信号を通信する。ある局面において、HMD110に含まれるモニタ112およびセンサ114は、HMD110のインターフェイスを介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
In some embodiments, the input /
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
The
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
In one aspect, the
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
In the example illustrated in FIG. 2, the
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
Further, the
ある実施形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
In an embodiment, in the
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各光源の位置(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
In one aspect,
他の局面において、センサ114は、3軸のジャイロセンサと、3軸の加速度センサとを有するモーションセンサであり得る。HMD110は、センサ114の出力に基づいて、基準方向(例えば、重力(鉛直)方向)に対するHMD110の傾き角度を算出する。これにより、コンピュータ200は、グローバル座標系におけるHMD110の傾きを取得できる。
In another aspect, the
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120またはセンサ114によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。コンピュータ200は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
The global coordinate system is parallel to the real space coordinate system. Therefore, each inclination of the
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施形態に従うHMD110に設定されるuvw視野座標系を概念的に表す模式図である。センサ114またはHMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
[Uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 3 is a schematic diagram conceptually showing the uvw visual field coordinate system set in the
図3に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。図3に示されるように、ヨー軸は、ユーザ190の高さ方向に延在する。
As shown in FIG. 3, the
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
In a certain situation, when the
uvw視野座標系がHMD110に設定された後、センサ114またはHMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、センサ114またはHMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸まわりのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸まわりのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸まわりのHMD110の傾き角度を表す。ある局面において、センサ114は、これらピッチ角、ヨー角、ロール角についての角速度を取得可能に構成される。
After the uvw visual field coordinate system is set to the
コンピュータ200は、センサ114またはHMDセンサ120の出力に基づいて検出したHMD110の傾き角度に従って、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
The
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
In one aspect, the
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施形態に従う仮想空間2を表現する一態様を概念的に表す模式図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a schematic diagram conceptually showing one aspect of expressing the
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
In one aspect, the
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。ある局面において、プロセッサ10は、仮想カメラ1が撮影する画像をHMD110のモニタ112に表示する。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現され得る。
When the
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラ1のuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
As with the
コンピュータ200のプロセッサ10は、仮想カメラ1の位置と、仮想カメラ1の傾き方向、換言すれば、仮想カメラ1の撮影方向を示す基準視線5とに基づいて、仮想空間2における視認領域23を規定する。視認領域23は、仮想空間2のうち、HMD110を装着したユーザが視認する領域に対応する。上記のように、仮想カメラ1のuvw視野座標系はHMD110のuvw視野座標系に連動している。そのため、基準視線5は、センサ114またはHMD120の出力に基づいて定まるHMD110の傾きによって定まる。
The
注視センサ140によって検出されるユーザ190の視線は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線を、仮想カメラ1のuvw視野座標系におけるユーザの視線とみなすことができる。
The line of sight of the
[ユーザの視線]
図5を参照して、ユーザの視線の決定について説明する。図5は、ある実施形態に従うHMD110を装着するユーザ190の頭部を上から表した模式図である。
[User's line of sight]
The determination of the user's line of sight will be described with reference to FIG. FIG. 5 is a schematic diagram showing the head of the
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
In one aspect, gaze
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線N0は、視認領域23に対してユーザ190が実際に視線を向けている方向に相当する。
When the
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
In another aspect,
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In still another aspect, the
[視界領域]
図6および図7を参照して、視認領域23について説明する。図6は、仮想空間2において視認領域23をX方向から見たYZ断面を表す。図7は、仮想空間2において視認領域23をY方向から見たXZ断面を表す。
[Visibility area]
The
図6に示されるように、YZ断面における視認領域23は、領域24を含む。領域24は、仮想カメラ1の位置と基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
As shown in FIG. 6, the
図7に示されるように、XZ断面における視認領域23は、領域25を含む。領域25は、仮想カメラ1の位置と基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。極角αおよびβは、仮想カメラ1の位置と仮想カメラ1の向きとに応じて定まる。
As shown in FIG. 7, the
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間における視界を提供する。視界画像26は、仮想空間画像22のうち視認領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視認領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視認領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
In one aspect, the
このように、仮想カメラ1の傾きは仮想空間2におけるユーザ190の頭の向いている方向(基準視線5)に相当する。また、仮想カメラ1が配置される位置は、仮想空間2におけるユーザの視座(物事を見る位置)に相当する。したがって、仮想カメラ1を移動(位置を変える動作、傾きを変える動作を含む)させることにより、モニタ112に表示される視界画像26が更新され、ユーザ190の視界が移動される。
Thus, the inclination of the
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
While wearing the
ある実施形態に従うと、仮想カメラ1は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、2つの仮想カメラに設定される。以下では、仮想カメラ1が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)が、HMD110のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
According to an embodiment, the
[HMDの制御装置]
図8を参照して、HMD110の制御装置について説明する。ある実施形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図8は、ある実施形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
[HMD control device]
A control device of the
図8に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、オブジェクト制御モジュール233とを含む。
As shown in FIG. 8, the
ある実施形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
In an embodiment, the
表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置する。仮想カメラ制御モジュール221は、仮想空間2における仮想カメラ1の位置と、仮想カメラ1の傾き(向き)を制御する。視界領域決定モジュール222は、HMD110の傾き(すなわち、センサ114の出力)と、仮想カメラ1の位置に応じて、視認領域23を規定する。視界画像生成モジュール223は、決定された視認領域23に基づいて、モニタ112に表示される視界画像26を生成する。
The
基準視線特定モジュール224は、センサ114またはHMDセンサ120の出力に基づいて、HMD110の傾きを特定する。また、基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定し得る。
The reference line-of-sight identifying module 224 identifies the inclination of the
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
The virtual
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。また、オブジェクトは、ユーザの視座(すなわち、仮想カメラ1の位置)に追随する追随オブジェクトを含む。コンピュータ200は、追随オブジェクトがユーザに視認されたことに応じて、モニタ112に予め定められた画面を表示し得る。この制御の詳細は、図11〜図15を用いて説明される。
The virtual
オブジェクト制御モジュール233は、仮想空間2に配置されるオブジェクトの動作などを制御する。例えば、オブジェクト制御モジュール233は、仮想カメラ1の位置に追随するように追随オブジェクトを配置し得る。具体例として、オブジェクト制御モジュール233は、仮想カメラ1の位置の上(Y)方向に追随オブジェクトを配置し得る。
The
仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。
The virtual
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。
The
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
The
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間2に配置するための情報(たとえば、位置情報)を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
The
オブジェクト情報242は、さらに動き検知データ244を含む。動き検知データ244は、センサ114またはHMDセンサ120が検出するHMD110の傾きを示すデータであり得る。
The
図9は、動き検知データ244のデータ構造例を説明するための図である。図9に示される例において、動き検知データ244は、センサ114が検出するHMD110の各軸まわりの角速度である。動き検知データ244は、時刻と、HMD110に設定される各軸(ピッチ軸(u軸)、ヨー軸(v軸)、ロール軸(w軸))まわりの角速度とを互いに関連付けて保持する。この時刻は、角速度に対応するデータ(例えば、電圧値)をセンサ114が検出したタイミングである。
FIG. 9 is a diagram for explaining an example data structure of the
なお、動き検知データ244がHMD120の出力である場合、動き検知データ244は、HMD110の位置(HMDセンサ120を基準とした相対位置)および傾きを示すデータであり得る。さらに他の局面において、動き検知データ244は、加速度センサの出力または地磁気センサの出力を含み得る。
When the
図8を再び参照して、ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。
Referring to FIG. 8 again, the
メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
Data and programs stored in the
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。また、通信制御モジュール250は、HMD110に搭載される種々のデバイスと通信し得る。
The
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In an aspect, the
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
Processing in the
[コンピュータ200の制御構造]
図10を参照して、コンピュータ200における視界画像の更新方法について説明する。図10は、HMDシステム100における処理を表すフローチャートである。
[Control structure of computer 200]
With reference to FIG. 10, the update method of the visual field image in the
ステップS1010において、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間2を定義する。より具体的には、プロセッサ10は、仮想空間2の大きさや形状を定義し得る。
In step S <b> 1010, the
ステップS1020において、プロセッサ10は、仮想カメラ1を仮想空間2に配置する。このとき、プロセッサ10は、仮想カメラ1を仮想空間2において予め規定された中心21に配置し得る。
In step S <b> 1020, the
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像26を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD110に送信される。
In step S1030, the
ステップS1032にて、HMD110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像26を表示する。HMD110を装着したユーザ190は、視界画像26を視認すると仮想空間2を認識し得る。
In step S1032, the
ステップS1034にて、センサ114は、HMD110の動き(HMD110の各軸まわりの角速度)を検知する。HMD110の動きは、ユーザ190の頭の動きに連動している。センサ114は、検知結果を、コンピュータ200に出力する。
In step S1034, the
ステップS1040にて、プロセッサ10は、センサ114から入力された検知結果に基づいてHMD110の各軸まわりの角速度を算出する。プロセッサ10は、算出された角速度に基づき、HMD110の傾きを検知する。プロセッサ10はさらに、仮想カメラ制御モジュール221として、検知した傾きに連動するように仮想カメラ1の傾き(すなわち、仮想カメラ1の基準視線5)を変更する。これにより、仮想カメラ1が撮影する視界画像26が更新される。
In step S1040,
ステップS1050において、プロセッサ10は、視界画像生成モジュール223として、傾きを変更された仮想カメラ1が撮影する視界画像26を表示するための視界画像データを生成し、生成した視界画像データをHMD110に出力する。
In step S1050, the
ステップS1052において、HMD110のモニタ112は、受信した視界画像データに基づいて、更新後の視界画像を表示する。これにより、仮想空間2におけるユーザの視界が更新される。
In step S1052, the
[追随オブジェクトを用いたメニュー表示]
図11〜図14を参照して、追随オブジェクトを用いて予め定められた画面をモニタ112に表示するための方法について説明する。図11は、追随オブジェクト1100を説明するための図(その1)である。図11に示される例において、仮想空間2には、仮想カメラ1、追随オブジェクト1100および位置移動オブジェクト1110が配置されている。追随オブジェクト1100は、仮想カメラ1の位置に対して上(Y)方向に配置されている。
[Menu display using following objects]
A method for displaying a predetermined screen on the
図11に示される例において、位置移動オブジェクト1110は、仮想カメラ1の撮影範囲である視認領域23に含まれているが、追随オブジェクト1100は、視認領域23に含まれていない。追随オブジェクト1100が視認領域23に含まれていない状態において、追随オブジェクト1100の透過率(透明度)は高く設定され得る。一例として、透過率は100%に設定され得る。透過率が100%に設定された場合、プロセッサ10が追随オブジェクト1100を描画するためのデータを生成しなくてよいため、プロセッサ10の処理負担が軽減され得る。
In the example shown in FIG. 11, the
位置移動オブジェクト1110は、仮想カメラ1の位置を移動させるトリガとして機能する。ある局面において、仮想カメラ制御モジュール221は、注視センサ140によって検出されるユーザ190の注視点が予め定められた時間にわたり位置移動オブジェクト1110に向けられている場合、図12のように仮想カメラ1を位置移動オブジェクト1110の位置に移動させ得る。これにより、ユーザ190は、手で操作可能なコントローラを有さない場合であっても、仮想空間2におけるユーザ190の視座(仮想カメラ1の位置)を変更し得る。
The
図12は、追随オブジェクト1100を説明するための図(その2)である。図12において、追随オブジェクト1100は、仮想カメラ1が移動したことに伴い、仮想カメラ1の上方向に移動する。これにより、仮想カメラ1のX座標位置と追随オブジェクト1100のX座標位置とが、仮想カメラ1のZ座標位置と追随オブジェクト1100のZ座標位置とが、それぞれ同じになる。
FIG. 12 is a diagram (No. 2) for explaining the following
図13は、追随オブジェクト1100を用いたメニュー表示について説明するための図である。図13の例において、仮想カメラ1は、上(Y)方向を向いている。これにより、視認領域23に、追随オブジェクト1100が含まれる。プロセッサ10は、オブジェクト制御モジュール233として、追随オブジェクト1100が視認領域23に含まれたことに応じて、追随オブジェクト1100の透過率を下げる。追随オブジェクト1100の透過率が下がることにより、ユーザ190は、追随オブジェクト1100を視認できるようになる。他の局面において、プロセッサ10は、追随オブジェクト1100が視認領域23(ユーザ190の視界)に含まれている時間に応じて、追随オブジェクト1100の透過率を徐々に下げ得る。これにより、コンピュータ200は、ユーザ190が追随オブジェクト1100を見つめていることを検知していることを、ユーザ190にフィードバックし得る。
FIG. 13 is a diagram for explaining menu display using the following
ある実施形態に従うプロセッサ10は、予め定められた時間(例えば、2秒間)、ユーザ190の視界(視認領域23)に追随オブジェクト1100が含まれていることに応じて、予め定められた画面(例えば、メニュー画面)をモニタ112に表示する。
The
図14は、メニュー画面の一例を示す。メニュー画面1400は、チュートリアルボタン1410と、セッティングボタン1420と、終了ボタン1430と、戻るボタン1440とを含む。ある局面において、メニュー画面1400は、仮想空間2上にオブジェクトとして配置され得る。他の局面において、メニュー画面1400は、仮想空間上のオブジェクトとしてではなく、単に画面としてモニタ112に表示され得る。
FIG. 14 shows an example of a menu screen.
ある局面において、プロセッサ10は、注視センサ140によって検出されるユーザ190の注視点が予め定められた時間、これらのボタンのいずれかに向けられている場合、そのボタンが選択されたと判断し得る。プロセッサ10は、ボタン1440が選択されたと判断した場合に、視認領域23に対応する視界画像26をモニタ112に再び表示し得る。
In one aspect, the
[制御の流れ]
図15を参照して、上記一連のメニュー画面の表示方法について説明する。図15は、追随オブジェクトを用いてメニュー画面をモニタ112に表示するための処理を示すフローチャートである。図15に示される処理は、コンピュータ200のプロセッサ10がメモリ11またはストレージ12に格納される制御プログラムを実行することにより実現され得る。
[Control flow]
With reference to FIG. 15, a method for displaying the series of menu screens will be described. FIG. 15 is a flowchart showing a process for displaying a menu screen on the
ステップS1505において、プロセッサ10は、仮想空間定義モジュール231として、仮想空間2を定義(作成)する。ステップS1510において、プロセッサ10は、仮想オブジェクト生成モジュール232として、仮想カメラ1、追随オブジェクト1100、その他のオブジェクトを仮想空間2に配置する。
In step S1505, the
ステップS1515において、視界画像生成モジュール223として、仮想カメラ1が撮影する視界画像26を表示するための視界画像データをモニタ112に出力する。
In step S1515, the view
ステップS1520において、プロセッサ10は、基準視線特定モジュール224として、センサ114またはHMDセンサ120の出力に基づいて、HMD110の動き(傾き)を特定する。HMD110の動きは、ユーザ190の頭の動きに連動している。ステップS1525において、プロセッサ10は、基準視線特定モジュール224として、基準視線5を特定する。
In step S <b> 1520, the
ステップS1530において、プロセッサ10は、仮想カメラ1(すなわち、ユーザ190の視座)が移動したか否かを判断する。一例として、プロセッサ10は、ステップS1520〜S1555の処理を1フレーム(例えば、1/30秒)の間に行なうように構成される。プロセッサ10は、現在の仮想カメラ1の位置と、メモリ11に格納される1フレーム前の仮想カメラ1の位置とが同じであるか否かを判断する。プロセッサ10は、これらの位置が同じでない場合に、仮想カメラ1が移動したと判断し得る。
In step S1530, the
プロセッサ10は、仮想カメラ1が移動したと判断した場合(ステップS1530においてYES)、処理をステップS1535に進める。プロセッサ10は、仮想カメラ1が移動していないと判断した場合(ステップS1530においてNO)、処理をステップS1540に進める。
If
ステップS1535において、プロセッサ10は、オブジェクト制御モジュール233として、追随オブジェクト1100を、ユーザ190の視座(仮想カメラ1の位置)の上(Y)方向に移動する。なお、他の局面において、プロセッサ10は、仮想カメラ1と追随オブジェクト1100とを同時に同じ距離動かすように構成されてもよい。当該構成によれば、追随オブジェクト1100は遅延なく仮想カメラ1に追随できる。
In step S1535, as the
ステップS1540において、プロセッサ10は、追随オブジェクト1100がユーザ190によって見つめられているか否かを判断する。一例として、プロセッサ10は、視認領域23(すなわち、ユーザ190の視界)に追随オブジェクト1100が含まれている場合に、追随オブジェクト1100がユーザ190によって見つめられていると判断する。
In step S1540, the
プロセッサ10は、追随オブジェクト1100が見つめられていると判断した場合(ステップS1540においてYES)、処理をステップS1545に進める。一方、プロセッサ10は、追随オブジェクト1100が見つめられていないと判断した場合(ステップS1540においてNO)、処理をステップS1550に進める。
If
ステップS1545において、プロセッサ10は、オブジェクト制御モジュール233として、追随オブジェクト1100の透過率を下げる。一例として、プロセッサ10は、追随オブジェクト1100の透過率を10%下げ得る。これにより、ユーザ190は、追随オブジェクト1100を視認し得る。
In step S <b> 1545, the
ステップS1550において、プロセッサ10は、視界画像生成モジュール223として、仮想カメラ1が撮影する視界画像26をモニタ112に表示する。
In step S <b> 1550, the
ステップS1555において、プロセッサ10は、予め定められた時間(例えば、2秒間)にわたり追随オブジェクト1100がユーザ190によって見つめられたか否かを判断する。プロセッサ10は、予め定められた時間にわたり追随オブジェクト1100が見つめられたと判断した場合(ステップS1555においてYES)、処理をステップS1560に進める。一方、プロセッサ10は、予め定められた時間にわたり追随オブジェクト1100が見つめられていないと判断した場合(ステップS1555においてNO)、処理をステップS1520に戻す。
In step S1555, the
ステップS1560において、プロセッサ10は、モニタ112にメニュー画面を表示する。なお、このメニュー画面を表示するためのデータはメモリモジュール240に予め格納されているものとする。
In step S <b> 1560, the
上記によれば、ある実施形態に従うHMDシステム100は、追随オブジェクト1100がユーザ190に見つめられていることに応じてメニュー画面を表示できる。そのため、ユーザ190は、手で操作するコントローラを有さなくとも、容易にメニュー画面を開くことができる。
According to the above, the
また、追随オブジェクト1100は、ユーザ190の視座(仮想カメラ1の位置)に追随する。そのため、ユーザ190は、仮想空間2の任意の場所において、上(Y)方向を見上げることによりメニュー画面を開くための追随オブジェクト1100を視認できる。HMDシステム100は、上記の構成を採用することにより、仮想空間2上におけるユーザ190の快適な操作を実現できる。
The following
また、追随オブジェクト1100は、仮想カメラ1の上(Y)方向に配置されているため、ユーザ190が意図的に上方向を向かない限り、追随オブジェクト1100がユーザ190の視界(すなわち視認領域23)に含まれることはない。その理由は、ユーザ190は、通常、正面を向いているためである。そのため、コンピュータ200は、ユーザ190が頻繁に追随オブジェクト1100を視認することによる、ユーザ190の仮想空間2への没入感の損失を抑制できる。
Further, since the following
また、コンピュータ200は、単にユーザ190が上方向を向いたことを検知してメニュー画面を表示するのではなく、追随オブジェクト1100がユーザ190に所定時間見つめられたことを検知してメニュー画面を表示する。そのため、コンピュータ200は、ユーザ190のメニュー画面を開きたいという意思を反映してメニュー画面を表示できる。換言すれば、コンピュータ200は、ユーザ190の意思に反してメニュー画面を表示することを抑制し得る。
Further, the
[その他の構成]
(追随オブジェクトがユーザに見つめられていることの判断方法)
<ユーザの視界の中央領域に追随オブジェクトが含まれているか>
上記の例において、プロセッサ10は、ユーザ190の視界に追随オブジェクト1100が含まれている場合に、追随オブジェクト1100がユーザ190によって見つめられていると判断するように構成されている。以下、図16,17を用いて、その他の判断方法について説明する。
[Other configurations]
(Determination method that the following object is staring at the user)
<Is the tracking object included in the central area of the user's field of view>
In the above example, the
図16は、他の局面に従う追随オブジェクトがユーザに見つめられていることの判断方法について説明するための図である。ある局面において、プロセッサ10は、ユーザ190の視界の中央領域に追随オブジェクト1100が含まれていることに応じて、追随オブジェクト1100がユーザ190に見つめられていると判断する。
FIG. 16 is a diagram for explaining a method for determining that a following object according to another aspect is being watched by a user. In one aspect, the
図6および図7で説明したように、視認領域23は、基準視線5を中心としてYZ断面における極角α、およびXZ断面における極角βを含む範囲である。ユーザ190の視界の中央領域は、基準視線5を中心としてYZ断面における極角α1(<α)、およびXZ断面における極角β1(<β)を含む範囲として設定される。一例として、極角α1は極角αの半分、極角β1は極角βの半分にそれぞれ設定され得る。
As described with reference to FIGS. 6 and 7, the
図16の状態(A)に示される視界画像1600と、状態(B)に示される視界画像1650はそれぞれ、モニタ112に表示される画像、換言すれば、ユーザ190の視界である。状態(A)において、視界画像1600には追随オブジェクト1100が含まれているが、中央領域1610には追随オブジェクト1100が含まれていない。そのため、プロセッサ10は、状態(A)において、追随オブジェクト1100がユーザ190によって見つめられていないと判断する。したがって、状態(A)において、追随オブジェクト1100の透過率は高く設定されている。
The field-of-view image 1600 shown in the state (A) of FIG. 16 and the field-of-
一方、状態(B)において、中央領域1610に追随オブジェクト1100が含まれている。そのため、プロセッサ10は、状態(A)において、追随オブジェクト1100がユーザ190によって見つめられていると判断する。したがって、状態(B)において、追随オブジェクト1100の透過率は低く設定され得る。上記の構成によっても、プロセッサ10は、追随オブジェクト1100がユーザ190によって見つめられているか否かを判断し得る。
On the other hand, in the state (B), the following
<ユーザの注視点が追随オブジェクトに向けられているか>
さらに他の局面において、プロセッサ10は、注視センサ140によって検出されるユーザ190の注視点が、追随オブジェクト1100に向けられていることに応じて、追随オブジェクト1100がユーザ190に見つめられていると判断する。
<Is the user's point of interest directed at the following object>
In yet another aspect, the
図17は、さらに他の局面に従う追随オブジェクトがユーザに見つめられていることの判断方法について説明するための図である。視界画像1700は、追随オブジェクト1100と、ポイント1710とを含む。ポイント1710は、注視センサ140によって検出されたユーザ190の注視点を示す。
FIG. 17 is a diagram for explaining a method for determining that a user is staring at a following object according to another aspect. The
状態(A)において、ポイント1710が追随オブジェクト1100に重畳されていない。換言すれば、ユーザ190の視線が追随オブジェクト1100に注がれていない。そのため、プロセッサ10は、状態(A)において、追随オブジェクト1100がユーザ190によって見つめられていないと判断する。したがって、追随オブジェクト1100の透過率は高く設定されている。なお、この場合、追随オブジェクト1100の透過率は100%ではなく、ユーザ190が視認可能な程度に設定され得る。その理由は、ユーザ190が、視線を注ぐ対象をそもそも視認できなくなってしまうことを避けるためである。
In the state (A), the
状態(B)において、ポイント1710が追随オブジェクト1100に重畳されている。換言すれば、ユーザ190の視線が追随オブジェクト1100に注がれている。そのため、プロセッサ10は、状態(B)において、追随オブジェクト1100がユーザ190によって見つめられていると判断する。したがって、追随オブジェクト1100の透過率は低く設定されている。上記の構成によっても、プロセッサ10は、追随オブジェクト1100がユーザ190によって見つめられているか否かを判断し得る。当該構成によれば、ユーザ190が追随オブジェクト1100を見つめていることを、より正確に検知し得る。
In the state (B), the
(予め定められた画面)
上記の例では、プロセッサ10は、追随オブジェクト1100が所定時間にわたりユーザ190に見つめられたことに応じて、メニュー画面をモニタ112に表示するように構成されている。他の局面において、プロセッサ10は、メニュー画面に代えてマップ画面を表示するように構成されてもよい。
(Predetermined screen)
In the above example, the
図18は、マップ画面の一例を示す。図18の例において、仮想空間2には、美術館が構築されている。マップ画面1800には、仮想カメラ1(ユーザ190)の現在地を示すキャラクタ1810と、美術品1820および1830とが表示されている。また、マップ画面1800には、移動ポイント1840〜1860がさらに表示されている。
FIG. 18 shows an example of the map screen. In the example of FIG. 18, an art museum is constructed in the
プロセッサ10は、予め定められた時間(例えば、2秒間)にわたり、移動ポイント1840〜1860のいずれかにユーザ190の視線が注がれたことを検知した場合、そのポイントに仮想カメラ1を移動させ得る。例えば、ユーザ190は、美術品1830を見たい場合、移動ポイント1860を注視する。これにより、ユーザ190の視座(仮想カメラ1の位置)は、美術品1830の近くに移動する。当該構成によれば、ユーザ190は、仮想空間2の全体像を把握した上で、仮想空間2において所望の位置に容易に移動することができる。
When the
なお、追随オブジェクト1100が所定時間にわたりユーザ190に見つめられたことに応じて表示される画面は、メニュー画面およびマップ画面に限られるものではない。
Note that the screen displayed in response to the
(追随オブジェクト1100の表示態様)
上記の例では、プロセッサ10は、追随オブジェクト1100がユーザ190に見つめられたことに応じて、追随オブジェクト1100の透過率を変更するように構成されている。他の局面において、プロセッサ10は、追随オブジェクト1100がユーザ190に見つめられたことに応じて、追随オブジェクト1100の大きさを変更するように構成されてもよい。
(Display mode of the tracking object 1100)
In the above example, the
図19は、追随オブジェクト1100の表示態様の変更方法について説明するための図である。図19の例において、視認領域23は追随オブジェクト1100を含む。そのため、プロセッサ10は、追随オブジェクト1100がユーザ190に見つめられていると判断する。プロセッサ10は、この判断に応じて、追随オブジェクト1100を(破線から実線のように)大きくする。このとき、プロセッサ10は、基準視線5(視認領域23の中心)と追随オブジェクト1100との間隔が狭まるほど、追随オブジェクト1100を大きくし得る。当該構成によれば、ユーザ190は、自分が追随オブジェクト1100を見つめていることを、容易に認識し得る。
FIG. 19 is a diagram for describing a method for changing the display mode of the following
さらに他の局面において、プロセッサ10は、追随オブジェクト1100がユーザ190に見つめられたことに応じて、追随オブジェクト1100を点滅させるように構成されてもよい。さらに他の局面において、プロセッサ10は、追随オブジェクト1100がユーザ190に見つめられたことに応じて、追随オブジェクト1100の色を変更するように構成されてもよい。
In yet another aspect, the
[構成]
以上に開示された技術的特徴は、以下のように要約され得る。
[Constitution]
The technical features disclosed above can be summarized as follows.
(構成1) ある実施形態に従うと、HMD110に仮想空間2を提供するためにコンピュータ200で実行される方法が提供される。この方法は、仮想空間2を定義するステップ(S1505)と、HMD110に画像を表示して、HMD110のユーザ190に仮想空間2における視界を提供するステップ(S1515)と、HMD110の動きを検知するステップ(S1520)と、HMD110に表示される画像を、検知された動きに連動して更新するステップ(S1550)と、仮想空間2に、仮想空間2におけるHMD110のユーザ190の視座(仮想カメラ1の位置)に追随する追随オブジェクト1100を配置するステップ(S1510)と、ユーザ190が追随オブジェクト1100を見つめていることを検知するステップ(S1540)と、ユーザ190が追随オブジェクト1100を予め定められた時間見つめていることに応じて、HMD110に、予め定められた画面(例えば、メニュー画面)を表示するステップ(S1560)とを備える。
(Configuration 1) According to an embodiment, a method executed by the
(構成2) (構成1)において、追随オブジェクト1100を配置するステップは、ユーザ190の視座に対して予め定められた方向(例えば、上(Y)方向)に追随オブジェクト1100を配置することを含む。
(Configuration 2) In (Configuration 1), the step of arranging the
(構成3) (構成1)または(構成2)において、追随オブジェクト1100が見つめられることを検知するステップは、ユーザ190の視界(視認領域23、視界画像26)に追随オブジェクト1100が含まれたことに応じて、追随オブジェクト1100が見つめられたと検知することを含む。
(Configuration 3) In (Configuration 1) or (Configuration 2), the step of detecting that the
(構成4) (構成3)において、追随オブジェクト1100が見つめられることを検知するステップは、ユーザ190の視界の中央領域に追随オブジェクト1100が含まれたことに応じて、追随オブジェクト1100が見つめられたと検知することを含む。
(Configuration 4) In (Configuration 3), the step of detecting that the
(構成5) (構成1)または(構成2)の方法は、注視センサ140によってユーザ190の視線(注視点)を検出するステップをさらに備える。追随オブジェクト1100が見つめられることを検知するステップは、検出されるユーザ190の視線が追随オブジェクト1100に注がれたことに応じて、追随オブジェクト1100が見つめられたと検知することを含む。
(Configuration 5) The method of (Configuration 1) or (Configuration 2) further includes a step of detecting the gaze (gaze point) of the
(構成6) (構成1)〜(構成5)のいずれかにおいて、予め定められた画面は、メニュー画面および仮想空間2における地図(マップ画面)のうち少なくとも一方を含む。
(Configuration 6) In any one of (Configuration 1) to (Configuration 5), the predetermined screen includes at least one of a menu screen and a map (map screen) in the
(構成7) (構成1)〜(構成6)の方法は、ユーザ190が追随オブジェクト1100を見つめていることを検知したことに応じて、追随オブジェクト1100の表示態様を変更するステップ(S1545)をさらに備える。
(Structure 7) The method of (Structure 1)-(Structure 6) changes the display mode of the
(構成8) (構成7)において、追随オブジェクト1100の表示態様を変更するステップは、追随オブジェクト1100の透過率を下げることを含む。
(Configuration 8) In (Configuration 7), the step of changing the display mode of the
(構成9) (構成7)において、追随オブジェクト1100の表示態様を変更するステップは、追随オブジェクト1100の大きさを大きくすることを含む。
(Configuration 9) In (Configuration 7), the step of changing the display mode of the
今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be thought that embodiment disclosed this time is an illustration and restrictive at no points. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
1 仮想カメラ、2 仮想空間、5 基準視線、10 プロセッサ、11 メモリ、12 ストレージ、19 ネットワーク、23 視認領域、26,1600,1700 視界画像、100 HMDシステム、112 モニタ、114 センサ、120 HMDセンサ、140 注視センサ、150 サーバ、190 ユーザ、200 コンピュータ、220 表示制御モジュール、221 仮想カメラ制御モジュール、222 視界領域決定モジュール、223 視界画像生成モジュール、224 基準視線特定モジュール、230 仮想空間制御モジュール、231 仮想空間定義モジュール、232 仮想オブジェクト生成モジュール、233 オブジェクト制御モジュール、240 メモリモジュール、241 空間情報、242 オブジェクト情報、243 ユーザ情報、244 動き検知データ、250 通信制御モジュール、1100 追随オブジェクト、1110 位置移動オブジェクト、1400 メニュー画面、1610 中央領域、1800 マップ画面、N1 注視点。 1 virtual camera, 2 virtual space, 5 reference line of sight, 10 processor, 11 memory, 12 storage, 19 network, 23 viewing area, 26, 1600, 1700 field of view image, 100 HMD system, 112 monitor, 114 sensor, 120 HMD sensor, 140 gaze sensor, 150 server, 190 user, 200 computer, 220 display control module, 221 virtual camera control module, 222 visual field region determination module, 223 visual field image generation module, 224 reference visual line identification module, 230 virtual space control module, 231 virtual Space definition module, 232 virtual object generation module, 233 object control module, 240 memory module, 241 space information, 242 object information, 243 User information, 244 Motion detection data, 250 communication control module, 1100 following object, 1110 position moving object, 1400 menu screen, 1610 central area, 1800 map screen, N1 gazing point.
Claims (11)
仮想空間を定義するステップと、
前記ヘッドマウントデバイスに画像を表示して、前記ヘッドマウントデバイスのユーザに前記仮想空間における視界を提供するステップと、
前記ヘッドマウントデバイスの動きを検知するステップと、
前記ヘッドマウントデバイスに表示される画像を、前記検知された動きに連動して更新するステップと、
前記仮想空間に、前記仮想空間における前記ヘッドマウントデバイスのユーザの視座に追随するオブジェクトを配置するステップと、
前記ユーザが前記オブジェクトを見つめていることを検知するステップと、
前記ユーザが前記オブジェクトを予め定められた時間見つめていることに応じて、前記ヘッドマウントデバイスに、予め定められた画面を表示するステップとを備える、方法。 A computer-implemented method for providing virtual space to a head-mounted device, comprising:
Defining a virtual space;
Displaying an image on the head mounted device and providing a user with a view in the virtual space to the head mounted device;
Detecting the movement of the head mounted device;
Updating an image displayed on the head mounted device in conjunction with the detected movement;
Placing in the virtual space an object that follows the user's perspective of the head mounted device in the virtual space;
Detecting that the user is staring at the object;
Displaying a predetermined screen on the head mounted device in response to the user gazing at the object for a predetermined time.
前記オブジェクトが見つめられることを検知するステップは、前記ユーザの視線が前記オブジェクトに注がれたことに応じて、前記オブジェクトが見つめられたと検知することを含む、請求項1または2に記載の方法。 Further comprising detecting the user's line of sight,
The method according to claim 1, wherein detecting that the object is stared includes detecting that the object is stared in response to the user's line of sight being focused on the object. .
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。 A memory storing the program according to claim 10;
An information processing apparatus comprising: a processor for executing the program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017013104A JP2018120521A (en) | 2017-01-27 | 2017-01-27 | Method for providing virtual space, program for causing computer to execute the method and information processing apparatus for executing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017013104A JP2018120521A (en) | 2017-01-27 | 2017-01-27 | Method for providing virtual space, program for causing computer to execute the method and information processing apparatus for executing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018120521A true JP2018120521A (en) | 2018-08-02 |
Family
ID=63043926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017013104A Pending JP2018120521A (en) | 2017-01-27 | 2017-01-27 | Method for providing virtual space, program for causing computer to execute the method and information processing apparatus for executing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018120521A (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006252468A (en) * | 2005-03-14 | 2006-09-21 | Canon Inc | Image processing method and image processing system |
JP2013518316A (en) * | 2010-01-21 | 2013-05-20 | トビー・テクノロジー・アーベー | Eye tracker based context action |
JP5961736B1 (en) * | 2015-08-17 | 2016-08-02 | 株式会社コロプラ | Method and program for controlling head mounted display system |
JP2016206617A (en) * | 2015-04-28 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | Display system |
JP2017004491A (en) * | 2016-01-20 | 2017-01-05 | 株式会社コロプラ | Floating graphical user interface |
-
2017
- 2017-01-27 JP JP2017013104A patent/JP2018120521A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006252468A (en) * | 2005-03-14 | 2006-09-21 | Canon Inc | Image processing method and image processing system |
JP2013518316A (en) * | 2010-01-21 | 2013-05-20 | トビー・テクノロジー・アーベー | Eye tracker based context action |
JP2016206617A (en) * | 2015-04-28 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | Display system |
JP5961736B1 (en) * | 2015-08-17 | 2016-08-02 | 株式会社コロプラ | Method and program for controlling head mounted display system |
JP2017004491A (en) * | 2016-01-20 | 2017-01-05 | 株式会社コロプラ | Floating graphical user interface |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6058184B1 (en) | Method and program for controlling head mounted display system | |
JP6342038B1 (en) | Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space | |
JP6276434B1 (en) | Method for supporting movement in virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
JP6234622B1 (en) | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
JP6342024B1 (en) | Method for providing virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
JP6330089B1 (en) | Program executed on computer to provide virtual space, information processing apparatus, and method for providing virtual space | |
JP6257826B1 (en) | Method, program, and information processing apparatus executed by computer to provide virtual space | |
JP2019021236A (en) | Program executed by computer providing virtual space, method, and information processing device executing the program | |
JP2018072992A (en) | Information processing method and equipment and program making computer execute the information processing method | |
JP2017220224A (en) | Method for providing virtual space, program to cause computer to realize the same and system to provide virtual space | |
US20190114841A1 (en) | Method, program and apparatus for providing virtual experience | |
JP6945409B2 (en) | Information processing methods, computers, and programs | |
JP6580624B2 (en) | Method for providing virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
JP2018116684A (en) | Communication method through virtual space, program causing computer to execute method, and information processing device to execute program | |
JP6382928B2 (en) | Method executed by computer to control display of image in virtual space, program for causing computer to realize the method, and computer apparatus | |
JP2018170013A (en) | Method executed by computer to control display of image in virtual space, program for causing computer to achieve the method, and computer device | |
JP2018206340A (en) | Method which is executed on computer for providing virtual space, program and information processor | |
JP2018124989A (en) | Method for supporting movement in virtual space, program for implementing that method in computer, and information processor for implementing that program | |
JP6878346B2 (en) | A method for providing a virtual space, a program for causing a computer to execute the method, and an information processing device for executing the program. | |
JP2018120521A (en) | Method for providing virtual space, program for causing computer to execute the method and information processing apparatus for executing program | |
KR20220013398A (en) | A computer-readable recording medium on which a program is recorded, an information processing method, and an information processing apparatus | |
JP2018156675A (en) | Method for presenting virtual space, program for causing computer to execute the same method, and information processing device for executing the same program | |
JP7438786B2 (en) | Program, information processing method, and information processing device | |
KR102224057B1 (en) | Method for load reduction using automatic control of observation image and head-mounted display using the same | |
JP2017162443A (en) | Method and program for controlling head-mounted display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180201 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210416 |