JP2019040326A - Method of providing virtual space, program, and apparatus - Google Patents
Method of providing virtual space, program, and apparatus Download PDFInfo
- Publication number
- JP2019040326A JP2019040326A JP2017160835A JP2017160835A JP2019040326A JP 2019040326 A JP2019040326 A JP 2019040326A JP 2017160835 A JP2017160835 A JP 2017160835A JP 2017160835 A JP2017160835 A JP 2017160835A JP 2019040326 A JP2019040326 A JP 2019040326A
- Authority
- JP
- Japan
- Prior art keywords
- input
- input device
- tracking
- virtual
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この開示は仮想空間を提供する技術に関する。 This disclosure relates to a technique for providing a virtual space.
ヘッドマウントデバイス(HMD:Head-Mounted Device)装置を用いて仮想空間を提供する技術が知られている。たとえば、特許文献1は、HMDに仮想の入力装置を表示することが記載されている。具体的には、現実空間において、ユーザが入力装置としてのキーボードのいずれかのキーに触れると、それに対応した仮想キーボードのキーの色が変わることが記載されている。
A technique for providing a virtual space using a head-mounted device (HMD) device is known. For example,
入力装置を操作する場合、意図した入力を行うためには、その入力装置の位置を把握することが好ましい。一方、ヘッドマウントデバイスを装着して仮想体験をしながら、現実空間の入力装置を操作したいことがある。この場合、ヘッドマウントデバイスを装着して仮想体験をしながら、現実空間の入力装置入力装置の位置を把握して入力できれば仮想体験を向上できる。 When operating an input device, it is preferable to know the position of the input device in order to perform an intended input. On the other hand, there is a case where it is desired to operate a real space input device while wearing a head mounted device and performing a virtual experience. In this case, the virtual experience can be improved if the user can grasp and input the position of the input device input device in the real space while wearing the head mounted device and performing the virtual experience.
本開示は上記事情に鑑みてなされたものであり、ある局面における目的は、ユーザの仮想体験の質を向上させることである。 The present disclosure has been made in view of the above circumstances, and an object in one aspect is to improve the quality of a user's virtual experience.
ある実施の形態に従うと、ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行される方法が提供される。当該方法は、仮想空間を定義するステップと、トラッキング対象物のトラッキング結果に基づいて、当該トラッキング対象物を用いて入力装置に入力を行った際の当該トラッキング対象物の位置を特定するステップと、トラッキング対象物の位置から特定可能な、入力装置上の基準部位の位置に対応する仮想空間上の位置である仮想基準位置に、入力装置に対応する入力装置オブジェクト上の、基準部位に対応する仮想基準部位が位置するよう、入力装置オブジェクトを配置するステップと、を含む。 According to an embodiment, a computer-implemented method for providing virtual space via a head mounted device is provided. The method includes a step of defining a virtual space, a step of identifying a position of the tracking object when an input device is input using the tracking object based on a tracking result of the tracking object; The virtual corresponding to the reference part on the input device object corresponding to the input device at the virtual reference position, which is the position in the virtual space corresponding to the position of the reference part on the input device, which can be identified from the position of the tracking object Placing the input device object such that the reference site is located.
以下に、図面を参照しつつ、仮想空間を提供するコンピュータの実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。 Embodiments of a computer that provides a virtual space will be described below with reference to the drawings. In the following description, the same parts and components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, these descriptions will not be repeated.
[HMDシステムの構成]
この実施の形態及び変形例において、ユーザに仮想空間を提供するためのシステムを、「HMD(Head Mount Device)システム」と称する。HMDとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を頭部装着用の専用の筐体に装着させることでVR体験を提供するもののいずれをも含み得る。HMDシステムは、ヘッドマウントデバイスを含む。ユーザは、ヘッドマウントデバイスを使用することにより仮想空間を提供される。図2を参照して、HMDシステム100の構成について説明する。
[Configuration of HMD system]
In this embodiment and modification, a system for providing a virtual space to a user is referred to as an “HMD (Head Mount Device) system”. The HMD may include both a so-called head mounted display including a monitor and a device that provides a VR experience by attaching a smartphone or other terminal having a monitor to a dedicated housing for head mounting. The HMD system includes a head mounted device. The user is provided with a virtual space by using a head mounted device. The configuration of the
図2は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
FIG. 2 is a diagram showing an outline of the configuration of the
図2に示されるように、HMDシステム100は、HMD110と、HMDセンサ120と、スピーカ210と、コンピュータ200とを備える。コンピュータ200は、本開示におけるヘッドマウントデバイスを介して仮想空間を提供するためのコンピュータの一例である。HMD110は、モニタ112と、注視センサ140とを含む。ある局面において、コンピュータ200は、ネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150と通信可能である。別の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
As shown in FIG. 2, the
ある実施の形態に従うHMD110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
The HMD 110 according to an embodiment may be worn on the user's head and provide a virtual space to the user during operation. More specifically, the HMD 110 displays a right-eye image and a left-eye image on the
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
The
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, the
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
The
別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
In another aspect, the
別の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
In another aspect, the
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
The
スピーカ210は、コンピュータ200に接続され、コンピュータ200から出力される信号に従って音声を出力する。スピーカ210は、ユーザが装着可能なデバイス(例えば、ヘッドホン、イヤホンなど)であってもよい。
The
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加するゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
ある実施の形態に従うと、HMDシステム100は、コントローラ160をさらに備えてもよい。コントローラ160はモーションセンサ130を含み得る。
According to an embodiment, the
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。
The
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
In one aspect, the
ある実施の形態に従うと、HMDシステム100は、入力装置170をさらに備えている。入力装置170は、キーボード、マウス、又はタッチパネルなどの入力デバイスである。ある局面において、入力装置170は、コンピュータ200に対して入力を行う。ただし、入力装置170は、HMDシステム100に含まれていなくてもよい。この場合、入力装置170は、コンピュータ200とは異なるコンピュータに対して入力を行う。
According to an embodiment, the
[コンピュータのハードウェア構成]
図3を参照して、本実施の形態に係るコンピュータ200について説明する。図3は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
[Computer hardware configuration]
A
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
The
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
The memory 11 temporarily stores programs and data. The program is loaded from the
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
ある実施の形態において、入出力インターフェイス13は、HMD110、HMDセンサ120、モーションセンサ130、コントローラ160、および、スピーカ210との間で信号を通信する。ある実施の形態において、入出力インターフェイス13は、さらに入力装置170との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
In one embodiment, the input /
ある実施の形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェイス13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In certain embodiments, the input /
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)(登録商標)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
The
ある局面において、プロセッサ10は、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
In one aspect, the
図3に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
In the example illustrated in FIG. 3, the
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
Further, the
ある実施の形態において、複数のコンピュータ200がネットワーク19上のサーバ150を介してデータを共有することにより、当該複数のコンピュータ200のそれぞれのユーザに同一の仮想空間を提供することができてもよい。
In an embodiment, the plurality of
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
In an embodiment, in the
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
In one aspect,
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
The global coordinate system is parallel to the real space coordinate system. Therefore, each inclination of the
[uvw視野座標系]
図4を参照して、uvw視野座標系について説明する。図4は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
[Uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 4 is a diagram conceptually showing a uvw visual field coordinate system set in
図4に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
As shown in FIG. 4, the
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
In a certain situation, when the
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
After the uvw visual field coordinate system is set to the
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
The
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
In one aspect, the
[仮想空間]
図5を参照して、仮想空間についてさらに説明する。図5は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図5では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 5 is a diagram conceptually showing one aspect of expressing virtual space 2 according to an embodiment. The virtual space 2 has a spherical structure that covers the entire 360 ° direction of the
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
In one aspect, the virtual space 2 defines an XYZ coordinate system with the
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
When the
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
As with the
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する。
Since the orientation of the
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
The gaze direction of the
[ユーザの視線]
図6を参照して、ユーザの視線方向の決定について説明する。図6は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
[User's line of sight]
With reference to FIG. 6, determination of the user's line-of-sight direction will be described. FIG. 6 is a diagram showing the head of
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
In one aspect, gaze
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
When the
別の局面において、HMDシステム100は、HMDシステム100を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
In another aspect, the
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
In another aspect,
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In still another aspect, the
[視界領域]
図7および図8を参照して、視界領域23について説明する。図7は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図8は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
[Visibility area]
With reference to FIGS. 7 and 8, the
図7に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
As shown in FIG. 7, the
図8に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
As shown in FIG. 8, the
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
In one aspect, the
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
While wearing the
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
In one aspect, the
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
According to an embodiment, the
[コントローラ]
図9を参照して、コントローラ160の一例について説明する。図9は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
[controller]
An example of the
図9の分図(A)に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
As shown in the partial diagram (A) of FIG. 9, in one aspect, the
右コントローラ800は、グリップ30と、プレート31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
The
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
The
プレート31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図9に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図9に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
The
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
In one aspect, the
図9の分図(B)は、右コントローラ800を把持するユーザ190の右手に対応して仮想空間に配置されるハンドオブジェクト810の一例を示す。例えば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、ユーザが右コントローラ800のボタン34に対して入力操作を行なっている場合には、ハンドオブジェクト810は人差し指を握りこんだ状態となり、ユーザがボタン34に対して入力操作を行っていない場合には、分図(B)に示すようにハンドオブジェクト810の人差し指は伸ばした状態となる。例えば、分図(B)に示すようにハンドオブジェクト810において親指と人差し指とが伸びている場合、親指の伸びる方向がヨー方向として規定され、人差し指の伸びる方向がロール方向として規定され、ヨー方向に沿う軸とロール方向に沿う軸とによって規定される平面に垂直な方向がピッチ方向として規定される。
FIG. 9B shows an example of a
[HMDの制御装置]
図10を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
[HMD control device]
The control device of the
図10に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250と、音声制御モジュール211とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、手オブジェクト制御モジュール233とを含む。
As shown in FIG. 10, the
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
In an embodiment, the
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像26を生成する。
In one aspect, the
基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
The reference line-of-
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
The virtual
仮想オブジェクト生成モジュール232は、仮想空間2に表示される対象物を生成する。対象物は、一例では、ネットワーク19上の他のHMDシステム100のユーザのアバター、ならびに、イベント会場におけるステージおよびスクリーン等の設置物を含む。他の例では、対象物は、ゲームのストーリーの進行に従って表示される森、山その他を含む風景、動物等を含む。さらに他の例では、対象物は、戦闘ゲームにおいて表示される、味方および敵の戦士のアバター、建造物、陣営に設置された屏風および椅子などのオブジェクト、ならびに、戦闘に利用される馬および戦車を含む。さらに他の例では、対象物は、ユーザが操作可能なアバターオブジェクトおよび/またはハンドオブジェクトなどが衝突することによって移動(落下)するように設定された花瓶などのオブジェクト、ならびに、ユーザが操作可能なアバターオブジェクトに向かって移動する敵オブジェクトを含む。ある実施の形態では、当該花瓶などのオブジェクトの移動(落下)態様は、物理演算に従う。さらに他の例では、対象物は、ユーザの入力操作によって仮想空間で投擲されることによって床オブジェクトに衝突し、さらに、当該衝突によって音を発生させるように設定された、オブジェクトを含む。さらに他の例では、対象物は、床オブジェクトとオブジェクトとの衝突によって発生した音に向かって移動するように設定された敵オブジェクトを含む。対象物は、ホラー作品を題材とする仮想空間において比較的光量を抑えられた光源とともに配置される場合、暗闇を移動する恐怖感をユーザに提供することができる。
The virtual
手オブジェクト制御モジュール233は、手オブジェクト(ハンドオブジェクト)を仮想空間2に配置する。以下の説明において、仮想空間2に配置された手オブジェクトは、「仮想手」とも称する。手オブジェクトは、例えば、コントローラ160を保持したユーザ190の右手あるいは左手に対応する。ある局面において、手オブジェクト制御モジュール233は、左手オブジェクトまたは右手オブジェクトを仮想空間2に配置するためのデータを生成する。別の局面において、手オブジェクト制御モジュール233は、ユーザ190によるコントローラ160の操作に応じて、左手オブジェクトまたは右手オブジェクトが他のオブジェクト(例えば、オブジェクト900またはオブジェクト1000)を回転させる動作を示すためのデータを生成する。当該動作は、例えば、オブジェクト900として示されるハンドルを握る手が、当該ハンドルを回転させることを含む。
The hand object control module 233 places a hand object (hand object) in the virtual space 2. In the following description, the hand object arranged in the virtual space 2 is also referred to as “virtual hand”. The hand object corresponds to the right hand or the left hand of the
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242(コンテンツ情報)と、ユーザ情報243とを保持している。
The
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
The
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを表示するための情報、当該コンテンツにおいて出力される音声データを保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
The
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
The
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
The
音声制御モジュール211は、スピーカ210による音声の出力を制御する。例えば、音声制御モジュール211は、オブジェクト情報242によって保持される音声データに従った音声をスピーカ210に出力させる。
The
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。
In one aspect, the
[制御構造]
図11を参照して、HMDシステム100の制御構造について説明する。図11は、ある実施の形態に従うHMDシステム100において実行される処理の一部を表わすシーケンスチャートである。
[Control structure]
A control structure of the
ステップS1110にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定する。
In step S1110, the
ステップS1110では、プロセッサ10は、たとえば、サーバ150に対し、イベントへの参加を申請する情報を送信してもよい。これに応じて、サーバ150は、コンピュータ200に、当該イベントの会場を表わす仮想空間の画像データ(仮想空間画像データ)を送信してもよい。
In step S1110, the
ステップS1120にて、プロセッサ10は、仮想カメラ1を初期化する。例えば、プロセッサ10は、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
In step S1120,
ステップS1130にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD110に送られる。
In step S1130, the
ステップS1132にて、HMD110のモニタ112は、コンピュータ200から受信した信号に基づいて、初期の視界画像を表示する。HMD110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
In step S1132, the
ステップS1134にて、HMDセンサ120は、HMD110から発信される複数の赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
In step S <b> 1134,
ステップS1140にて、プロセッサ10は、HMD110の位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2においてオブジェクトを表示させる。ユーザ190は、そのアプリケーションプログラムの実行により仮想空間2において視認可能なコンテンツを楽しむ。
In step S1140,
ある局面において、当該コンテンツは、ユーザにイベント会場を体感させるためのアプリケーション(以下、「イベントアプリケーション」ともいう)を含む。イベントアプリケーションは、ユーザに、仮想空間として、イベント会場内の風景を提供する。プロセッサ10は、HMD110の位置と傾きに応じて、ユーザに視認させる仮想空間画像を変更する。
In one aspect, the content includes an application (hereinafter, also referred to as “event application”) for allowing the user to experience the event venue. The event application provides the user with the scenery in the event venue as a virtual space. The
ステップS1150にて、コントローラ160は、ユーザ190の操作を検出し、検出された操作を示す信号をコンピュータ200に送信する。当該信号は、表示された2つ以上のオブジェクトのうち1つ以上のオブジェクトを指定する操作を含む。より具体的には、当該信号は、仮想手を表示させ、当該仮想手で、表示された2つ以上のオブジェクトのうち1つ以上のオブジェクトに触れる動作を示す操作を示す信号を含む。当該信号は、選択された2以上のメニューから1以上のメニューを選択する操作を示す信号を含む。
In step S1150,
ステップS1152にて、プロセッサ10は、コントローラ160から受信した信号に基づいて、ユーザの状態(アプリケーションの状態)を判断する。
In step S1152,
ステップS1160にて、プロセッサ10は、HMD110の位置および傾き、ユーザ190の操作、ならびに/または、各オブジェクトの設定に従って、視界画像を更新し、更新された視界画像を表示するためのデータ(視界画像データ)をHMD110に送信する。視界画像の更新は、仮想空間内のオブジェクトの透過度の変更、オブジェクトの消去、および、オブジェクトの移動の中のいずれかを含んでもよい。
In step S1160,
ステップS1162にて、HMD110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。ステップS1162における視界画像の更新は、図12および図13を参照して後述する。
In step S1162, the
ステップS1170にて、プロセッサ10は、HMD110の位置および傾き、ユーザ190の操作、ならびに/または、各オブジェクトの設定に従って、音声データを更新し、更新された音声データをHMD110に送信する。
In step S1170,
ステップS1162にて、HMD110のモニタ112は、受信した音声データに基づいて音声を出力する。
In step S1162, the
[視界画像の更新]
次に、図12および図13を参照して、ステップS1162における視界画像の更新について説明する。図12は、仮想カメラ1の移動前の状態を説明する図である。分図(A)に示されるように、ある局面において、HMD110を装着したユーザ190は、仮想空間2における視界画像1100を視認している。視界画像1100には、木オブジェクト1110と山オブジェクト1120とが含まれる。このとき、分図(B)に示されるように、仮想カメラ1は、視界画像1100に対応する視界領域23を撮影している。
[Update the view image]
Next, with reference to FIG. 12 and FIG. 13, the update of the view field image in step S1162 will be described. FIG. 12 is a diagram illustrating a state before the
図12に示される状態において、ユーザ190は、コントローラ160に移動指示を与える。一例として、ユーザ190は、コントローラ160に含まれるアナログスティックを前方に倒す。これにより、図12に示される状態から図13に示される状態へと移行する。
In the state shown in FIG. 12, the
図13は、仮想カメラ1の移動後の状態を説明する図である。プロセッサ10は、コントローラ160から入力される検出信号に応じて、仮想カメラ1を移動させる。より具体的には、プロセッサ10は、移動前の仮想カメラ1の基準視線5を移動方向として特定し、特定した移動方向に、仮想カメラ1を移動させる。
FIG. 13 is a diagram for explaining a state after the
図13の分図(B)において、仮想カメラ1の配置位置(すなわち、ユーザ190の視点)は、図12の分図(B)に示される状態よりも前方に移動している。ユーザは、移動後の仮想カメラ1が撮影する視界画像1200を視認する。
In the partial view (B) of FIG. 13, the arrangement position of the virtual camera 1 (that is, the viewpoint of the user 190) has moved forward from the state shown in the partial view (B) of FIG. The user visually recognizes the field-of-
[開示の概要]
本開示に従ったコンピュータは、ユーザが利用するヘッドマウントディスプレイなどのヘッドマウントデバイス(以下、HMDと記載)に入力装置オブジェクトを表示させる際に、現実空間における入力装置の基準部位の位置を特定し、この特定した位置を用いて入力装置オブジェクトを配置する。図1は、本開示に従ったコンピュータによる入力装置オブジェクトの配置方法の一例を模式的に示している。
[Outline of Disclosure]
When a computer according to the present disclosure displays an input device object on a head mounted device (hereinafter referred to as an HMD) such as a head mounted display used by a user, the computer specifies the position of the reference portion of the input device in the real space. The input device object is arranged using the specified position. FIG. 1 schematically illustrates an example of a method for arranging input device objects by a computer according to the present disclosure.
図1の分図(A)及び(B)のそれぞれにおいて、上側の図は仮想空間において規定された視界領域23を示しており、下側の図は、視界領域23に対応する現実空間を示している。視界領域23は、仮想空間のうち、HMD110を装着したユーザの視界に対応する。
In each of the partial diagrams (A) and (B) of FIG. 1, the upper diagram shows the
図1の分図(A)に示す例において、現実空間には入力装置170が配置されている。入力装置170は、コンピュータに入力を行うためのデバイスである。このコンピュータは、仮想空間及び視界領域23をユーザに提供しているコンピュータであってもよいし、他のコンピュータであってもよい。入力装置170は、例えばキーボードであるが、マウスやタッチパネルなどの他の入力デバイスであってもよい。一方、視界領域23には、入力装置170に対応する入力装置オブジェクト1000が配置されている。ただし、仮想空間を提供しているコンピュータは、入力装置170の位置を認識していない。このため、入力装置オブジェクト1000の位置は、入力装置170の位置に対応していない可能性がある。
In the example shown in the partial diagram (A) of FIG. 1, an
そこで、詳細を後述するように、ある実施の形態では、入力装置170の基準部位の位置(以下、基準位置と記載)を示す情報が特定される。すると、このコンピュータは、この基準位置に対応する仮想空間上の位置(以下、仮想基準位置と記載)に、入力装置オブジェクト1000の、基準部位に対応する部位(以下、仮想基準部位と記載)が位置するよう、入力装置オブジェクト1000を配置する。これにより、図1の分図(B)に示すように、視界領域23における入力装置オブジェクト1000の位置は、現実空間における入力装置170の位置に対応する。これにより、コンピュータは、HMDを装着しているユーザに、入力装置オブジェクト1000の位置を提示することにより、間接的に入力装置170の位置を提示することができる。
Therefore, as will be described in detail later, in an embodiment, information indicating the position of the reference portion of the input device 170 (hereinafter referred to as a reference position) is specified. Then, in this computer, a part (hereinafter referred to as a virtual reference part) corresponding to the reference part of the
[仮想入力オブジェクトの配置]
コンピュータ200が行う、仮想空間2に入力装置オブジェクト1000を配置する処理について、説明する。なお、以下に説明する処理は、仮想空間2にすでに配置されている入力装置オブジェクト1000の位置を調整する場合にも適用できる。
[Place virtual input object]
Processing for placing the
図14は、ある実施の形態における、コンピュータ200が仮想空間2に入力装置オブジェクト1000を配置するときの、現実空間におけるユーザの動作を示す。ユーザは、トラッキング対象物180を手に保持している。ユーザは、トラッキング対象物180で入力装置170の入力部位を操作する。入力装置170がキーボードである場合、入力装置170は複数の入力部位(入力キー)を有している。これらの入力部位が操作された際、入力装置170は操作された入力部位毎に異なる出力を行う。ユーザが操作する入力部位はいずれの入力部位であってもよいが、ここでは、ユーザが入力部位172を操作する場合について説明する。入力装置170がマウスである場合、入力部位172は、クリック用のボタンである。このボタンが複数ある場合、これらのボタンが操作された際、入力装置170は互いに異なる出力を行う。
FIG. 14 shows a user's operation in the real space when the
トラッキング対象物180は、例えばコントローラ160である。プロセッサ10は、トラッキング対象物180の特定の部位の、グローバル座標系における位置や姿勢(傾き、向き)を特定できる。以下、上記した特定の部位を、トラッキング部位182と記載する。この位置や姿勢の検出方法は様々である。ある例において、トラッキング対象物180に複数の赤外線センサを設け、ベースステーションから照射された赤外線をこれら赤外線センサが検知し、この検知結果を処理することにより、トラッキング部位182の位置や姿勢が特定される。また、他の例において、トラッキング対象物180を撮影するカメラを設け、このカメラが生成した動画を処理することにより、トラッキング部位182の位置や姿勢が特定される。この場合、トラッキング部位182にマーカが設定されていてもよい。ある例において、トラッキング部位182は、入力部位172に直接触れる部位であるが、これに限定されない。
The
ある例において、プロセッサ10が仮想入力オブジェクト1000の配置の処理を行うための条件には、ユーザが、トラッキング対象物180のうち所定の部位を用いて入力部位の操作を行うことが含まれる。この場合、ユーザが、トラッキング対象物180の他の部位を用いて入力装置170の入力部位を操作しても、プロセッサ10は、入力装置オブジェクト1000の配置の処理を行わない。ある例において、プロセッサ10は、トラッキング対象物180のトラッキング部位182の位置及びトラッキング対象物180の姿勢を用いて、トラッキング対象物180のうち入力装置170の入力部位に接触した部位を特定する。
In an example, the condition for the
図14に示したトラッキング対象物180において、上記した所定の部位の一例は、下端部である。ただし、トラッキング対象物180が手袋型のコントローラ160であり、コントローラ160のうち各指の先端に対応する部位の特定が可能な場合、上記した所定の部位の一例は、いずれかの指の先端である。例えば、上記した所定の部位の一例は、小指の先端である。
In the
ある例において、トラッキング対象物180のトラッキング部位182の位置やトラッキング対象物180の姿勢を特定するための処理は、コンピュータ200のプロセッサ10によって行われる。ただし、この処理は、HMDシステム100を構成する他のパーツによって行われてもよい。
In a certain example, the processing for specifying the position of the tracking
図14に示す例において、トラッキング部位182は、入力部位172に直接触れる部位である。そして、プロセッサ10は、トラッキング部位182によって入力部位172が押下されたときのトラッキング部位182の位置を、入力部位172の位置と特定する。そして、プロセッサ10は、仮想空間2のうちこの特定された位置、すなわち基準位置に対応する位置に、入力装置オブジェクト1000のうち入力部位172に対応する部位が位置するように、入力装置オブジェクト1000を配置する。
In the example shown in FIG. 14, the tracking
この処理の詳細を、図15のフローチャートを用いて説明する。ステップS10において、プロセッサ10は、仮想空間定義モジュール231を用いて、仮想空間2を定義する。そして、図5〜図8を用いて説明した処理を行うことにより、視界画像26を特定し、特定した視界画像26をHMD110のモニタ112に表示する。ある例において、視界画像26には、図1の分図(A)のように、入力装置オブジェクト1000が表示されている。ただし、この状態において入力装置オブジェクト1000の位置は、暫定的な位置であるため、現実空間における入力装置170の位置に対応していない可能性が高い。
Details of this processing will be described with reference to the flowchart of FIG. In step S <b> 10, the
現実空間において、ユーザは、トラッキング対象物180を用いて、入力装置170の入力部位172を操作する。一例として、トラッキング対象物180のトラッキング部位182が、入力部位172に接触する。すると、入力装置170は、入力部位172を特定する信号を外部に出力する。この信号、又はこの信号を処理することによって生成された信号は、コンピュータ200に入力される。
In the real space, the user operates the
ステップS20において、コンピュータ200のプロセッサ10は、上記した信号の入力がある(ステップS20でYes)と、ステップS30に制御を進める。
In step S20, the
ステップS30において、プロセッサ10は、トラッキング対象物180のトラッキング部位182の位置を特定する。そして、ステップS40において、プロセッサ10は、特定したトラッキング部位182の位置を用いて、仮想空間2に入力装置オブジェクト1000を配置する。
In step S <b> 30, the
次に、ステップS40の処理の詳細の一例を、図16のフローチャート、図17を用いて説明する。図17の分図(A)は、現実空間における入力装置170及びトラッキング部位182の位置を示す図である。図17の分図(B)は、仮想空間2における入力装置オブジェクト1000の位置を示す図である。ステップS402において、プロセッサ10は、入力された信号を用いて、入力装置170が有する複数の入力部位のうち、トラッキング対象物180によって操作された入力部位172を特定する。ステップS404において、プロセッサ10は、入力部位172が操作されたタイミングにおけるトラッキング部位182の位置を、入力部位172の位置として特定し、この位置、すなわち基準位置に対応する、仮想空間2の位置を特定する。以下、この仮想空間2における位置を仮想基準位置と記載する。ステップS406において、プロセッサ10は、入力装置オブジェクト1000が有する複数の仮想入力部位から、ステップS402において特定された入力部位172に対応する仮想入力部位1072を特定する。そして、プロセッサ10は、図17の分図(A)及び分図(B)に示すように、仮想空間2における入力装置オブジェクト1000の位置を特定する際、この仮想入力部位1072が上述した仮想基準位置と重なるようにする。仮想入力部位1072がある程度の大きさを有している場合、プロセッサ10は、仮想入力部位1072の中心が仮想基準位置に位置するように、入力装置オブジェクト1000を配置する。
Next, an example of details of the processing in step S40 will be described with reference to the flowchart in FIG. 16 and FIG. FIG. 17A is a diagram showing the positions of the
これにより、入力装置170の位置と、仮想空間2における入力装置オブジェクト1000の位置が、互いに対応する。このため、仮想空間2における入力装置オブジェクト1000の位置を、現実空間における入力装置170の位置に対応させることができる。従って、HMD110を装着しているユーザは、視界画像26に含まれる入力装置オブジェクト1000の位置を介して、入力装置170の位置を認識し、入力装置170を操作することができる。
Accordingly, the position of the
(変形例1)
次に、図18及び図19を用いて、図14〜図17を用いて説明した処理の変形例について説明する。図18は、この変形例における、コンピュータ200が仮想空間2に入力装置オブジェクト1000を配置するときの、ユーザの動作を示す。図14に示す例において、トラッキング対象物180のうち、コンピュータ200が位置を特定できるトラッキング部位182と、入力部位172に接触してこれを操作する操作部位184とは一致していた。これに対し、図18に示す例では、ユーザが行う動作は図14に示した動作と同様であるが、トラッキング部位182と操作部位184は互いに異なっている。
(Modification 1)
Next, a modified example of the processing described with reference to FIGS. 14 to 17 will be described with reference to FIGS. FIG. 18 shows the operation of the user when the
一例として、トラッキング部位182は、トラッキング対象物180のうちユーザの手で覆われる可能性が低い部位、例えば上端部の少なくとも一部、例えば上面の中心である。そしてコンピュータ200のプロセッサ10は、トラッキング部位182と操作部位184の位置の差分である第1オフセットを用いて、操作部位184の位置を特定する。第1オフセットは、例えばトラッキング対象物180のローカル座標系において、座標軸別に定められている。具体的には、第1オフセットは、トラッキング部位182の値と操作部位184の値の差分を示す値である。この差分は、座標軸別に定められている。第1オフセットは、例えばコンピュータ200のメモリ11又はストレージ12に格納されている。
As an example, the tracking
ただし、プロセッサ10は、トラッキング部位182の位置に対応する仮想空間2の位置を特定した後に、この仮想空間2の位置と第1オフセットとを用いて、操作部位184の位置に対応する仮想空間2の位置を特定してもよい。
However, after specifying the position of the virtual space 2 corresponding to the position of the
本変形例における図15のステップS40の詳細の一例を、図19を用いて説明する。ステップS401において、プロセッサ10は、図15のステップS30において特定されたトラッキング部位182の位置に、第1オフセットを加えることにより、操作部位184の位置を特定する。その後の処理(ステップS402〜S406)は、図16を用いて説明した通りである。
An example of the details of step S40 in FIG. 15 in this modification will be described with reference to FIG. In step S401, the
なお、後述する他の変形例では、トラッキング部位182と操作部位184が一致している場合について説明する。ただし、これらの変形例において、トラッキング部位182と操作部位184が異なっている場合についても、同様の処理が可能である。
Note that, in another modification example to be described later, a case where the
(変形例2)
次に、図20及び図21を用いて、図14〜図17を用いて説明した処理の他の変形例について説明する。図20は、この変形例における、コンピュータ200が仮想空間2に入力装置オブジェクト1000を配置するときの、ユーザの動作を示す。
(Modification 2)
Next, another modification of the processing described with reference to FIGS. 14 to 17 will be described with reference to FIGS. FIG. 20 shows the operation of the user when the
図14に示す例において、入力装置170のうち、仮想空間2において入力装置オブジェクト1000の位置を特定する際に用いられる部位(基準部位)は、入力部位172と一致していた。これに対し、図20に示す例では、基準部位171は、入力部位172とは異なっている。一例として、基準部位171は、平面視における入力装置170の中心である。そしてコンピュータ200のプロセッサ10は、入力部位172の位置と、基準部位171の位置の差分、すなわち第2オフセットを用いて、基準部位171の位置を特定する。第2オフセットは、例えば入力装置170のローカル座標系において、座標軸別に定められている。具体的には、第2オフセットは、入力部位172の値と基準部位171の値の差分を示す値である。この差分は、座標軸別に定められている。第2オフセットは、例えば入力部位別に、コンピュータ200の11又はストレージ12に格納されている。
In the example shown in FIG. 14, the part (reference part) used when specifying the position of the
本変形例における図15のステップS40の詳細の一例を、図21を用いて説明する。ステップS402において、プロセッサ10は、トラッキング対象物180によって操作された入力部位172を特定する。ステップS412において、プロセッサ10は、ステップS30において特定された入力部位172の位置(すなわちトラッキング部位182の位置)と、第2オフセットとを用いることにより、基準部位171の位置を特定する。例えばプロセッサ10は、トラッキング部位182の位置に第2オフセットを加えることにより、基準部位171の位置を特定する。そして、プロセッサ10は、特定された基準部位171の位置(基準位置)に対応する、仮想空間2の位置(仮想基準位置)を特定する。ステップS414において、プロセッサ10は入力装置オブジェクト1000のうち、ステップS412において特定された基準部位171に対応する部位(仮想基準部位)が、仮想基準位置に位置するように、入力装置オブジェクト1000を配置する。
An example of the details of step S40 of FIG. 15 in this modification will be described with reference to FIG. In step S <b> 402, the
図21に示す例において、プロセッサ10は、基準部位171の位置を特定してから仮想基準位置を特定している。ただし、プロセッサ10は、入力部位172の位置に対応する仮想空間2の位置を特定した後に、この仮想空間2の位置と第2オフセットとを用いて、仮想基準位置を特定してもよい。
In the example illustrated in FIG. 21, the
ステップS414において、入力装置オブジェクト1000内における仮想基準部位の位置は、予め定義されていてもよいし、入力部位172に対応する仮想入力部位の位置と第2オフセットとを用いることにより、特定されてもよい。
In step S414, the position of the virtual reference part in the
(変形例3)
次に、図22、図23、及び図24を用いて、図14〜図17を用いて説明した処理の他の変形例について説明する。図22は、この変形例における、コンピュータ200が仮想空間2に入力装置オブジェクト1000を配置するときの、ユーザの動作を示す。
(Modification 3)
Next, another modification of the processing described with reference to FIGS. 14 to 17 will be described with reference to FIGS. 22, 23, and 24. FIG. 22 shows the operation of the user when the
図14〜17を用いて説明した例において、入力装置170のうち、ユーザがトラッキング対象物180を用いて操作する入力部位は一つであった。これに対し、図22に示す例において、ユーザが操作する入力部位は複数である。一例として、ユーザは、2つのトラッキング対象物180を用いて複数の入力部位を操作する。他の例として、ユーザは、一つのトラッキング対象物180を用いて複数回入力装置170を操作することにより、複数の入力部位を操作する。これら複数の入力部位それぞれについて、その入力部位が操作されたときのトラッキング部位182の位置が特定される。そして、コンピュータ200のプロセッサ10は、これら複数のトラッキング部位182の位置を用いて、仮想空間2における入力装置オブジェクト1000の配置位置を特定する。
In the example described with reference to FIGS. 14 to 17, the
本変形例における図15のステップS40の詳細の一例を、図23を用いて説明する。まず、図23に示した処理に入る前に、ユーザは、トラッキング対象物180を用いて互いに異なる複数の入力部位を操作する。この複数の入力部位の一例は、入力部位172,174である。図15のステップS30において、入力装置170から、操作された各入力部位を特定する信号が出力されると、コンピュータ200のプロセッサ10は、これら信号毎に、その信号が出力されたタイミングにおけるトラッキング部位182の位置を特定する。
An example of the details of step S40 of FIG. 15 in this modification will be described with reference to FIG. First, before entering the processing shown in FIG. 23, the user operates a plurality of different input parts using the
図23のステップS422において、プロセッサ10は、各トラッキング部位182の位置に、入力装置170から出力された信号を用いて、その位置に対応する入力部位(例えば入力部位172,174)を特定する。
In step S422 of FIG. 23, the
図23のステップS424において、プロセッサ10は、入力部位が操作されると、その操作されたタイミングにおけるトラッキング部位182の位置を特定する。そして、プロセッサ10は、入力部位別に、その入力部位を押下したときのトラッキング部位182の位置、すなわち基準位置に対応する、仮想空間2の位置、すなわち仮想基準位置を特定する。例えばプロセッサ10は、入力部位172が操作されたときのトラッキング部位182の位置に対応する仮想基準位置を特定するとともに、入力部位174が操作されたときのトラッキング部位182の位置に対応する仮想基準位置を特定する。
In step S424 of FIG. 23, when the input part is operated, the
図23のステップS426において、プロセッサ10は、ステップS422において特定された複数の入力部位(基準部位)それぞれに対応する仮想入力部位が、その入力部位に対応する仮想基準位置に位置するように、入力装置オブジェクト1000を配置する。例えば図24に示すように、入力部位172は仮想入力部位1072に対応しており、入力部位174は仮想入力部位1074に対応しているとする。この場合、プロセッサ10は、入力部位172に対応する仮想基準位置に仮想入力部位1072が重なり、かつ、入力部位174に対応する仮想基準位置に仮想入力部位1074が重なるように、入力装置オブジェクト1000を配置する。
In step S426 of FIG. 23, the
次に、図25〜図31を用いて、図22〜図24を用いて説明した処理の変形例について説明する。本変形例において、入力装置170の基準部位は、例えば入力装置170の中心であり、トラッキング対象物180を用いて操作された複数の入力部位のいずれとも異なる。このため、図20及び図21を用いて説明した、第2オフセットが用いられる。
Next, a modified example of the processing described with reference to FIGS. 22 to 24 will be described with reference to FIGS. In this modification, the reference site of the
本変形例における図15のステップS40の詳細の一例を、図25を用いて説明する。ユーザが行う動作、図15のステップS30、及びステップS422に示した処理は、図22〜図24を用いて説明した通りである。 An example of the details of step S40 of FIG. 15 in this modification will be described with reference to FIG. The operations performed by the user and the processing shown in steps S30 and S422 in FIG. 15 are as described with reference to FIGS.
図25のステップS432において、コンピュータ200のプロセッサ10は、図15のステップS30において特定された複数のトラッキング部位182の位置を補正する。この補正の詳細については、図26〜図30を用いて後述する。
In step S432 in FIG. 25, the
ステップS434において、プロセッサ10は、トラッキング部位182の位置別に、補正後のトラッキング部位182の位置と、そのトラッキング部位182の位置に対応する入力部位に対応する第2オフセットとを用いて、仮の仮想基準位置である暫定基準位置)を特定する。ここで、操作された入力部位は複数あるため、暫定基準位置も複数特定される。暫定基準位置の特定方法については、図30を用いて後述する。
In step S434, for each position of the
ステップS436において、プロセッサ10は、複数の暫定基準位置を用いて、仮想基準位置を特定する。一例として、プロセッサ10は、複数の暫定基準位置の平均の位置を、仮想基準位置とする。ここで平均の位置を特定する方法の一例は、座標軸ごとに、その軸の値の平均値を算出することである。例えば入力部位172を用いて算出された暫定基準位置が(x1、y1、z1)であり、入力部位174を用いて算出された暫定基準位置が(x2、y2、z2)である場合、仮想基準位置は、((x1+x2)/2、(y1+y2)/2、(z1+z2)/2)となる。
In step S436, the
ステップS438において、プロセッサ10は、入力装置オブジェクト1000の仮想基準部位が、ステップS436で特定した仮想基準位置に位置するように、入力装置オブジェクト1000を配置する。
In step S438, the
次に、図25のステップS432の詳細の一例を、図26のフローチャート及び図27〜図29を用いて説明する。この例において、ユーザは、2つの入力部位172,174を操作する。プロセッサ10は、入力部位172への入力時に特定されたトラッキング部位182の位置と、入力部位174への入力時に特定されたトラッキング部位182の位置を、これら2つの位置関係を保ちつつ、これら2つの入力部位上の所定位置の位置関係に近づけるよう補正する。
Next, an example of the details of step S432 in FIG. 25 will be described with reference to the flowchart in FIG. 26 and FIGS. In this example, the user operates two
まず、プロセッサ10は、ステップS442において、図27の分図(A)に示すように、入力部位172の中心と入力部位174の中心を結ぶ線分を特定する。この線分を、理想線分A1とする。一例として、理想線分A1を特定する情報は、予めメモリ11又はストレージ12に格納されている。なお、入力部位172,174の組み合わせは複数あり得る。このため、メモリ11又はストレージ12には、この組み合わせ毎に、理想線分A1を特定する情報を記憶している。
First, in step S442, the
また、プロセッサ10は、同じくステップS442において、図27の分図(B)に示すように、入力部位172が押下されたときのトラッキング部位182の位置と、入力部位174が押下されたときのトラッキング部位182の位置と、を結ぶ線分を特定する。この線分を、実線分A2とする。トラッキング部位182が入力部位の中心を押下する場合、トラッキング部位182の位置と入力部位の位置の差はなくなる。しかし、ユーザは入力装置170の位置を把握できていないため、トラッキング対象物180を用いて入力部位を操作する際、トラッキング部位182が入力部位の中心からずれることがある。分図(B)における入力部位174は、その例である。このため、トラッキング部位182の補正が必要になる。
Similarly, in step S442, the
プロセッサ10は、ステップS444において、図28の分図(A)に示すように、実線分A2のうち入力部位172側の端部と、理想線分A1のうち入力部位172側の端部のそれぞれを、入力部位172に対応するトラッキング部位182の位置に重ねる。例えば、プロセッサ10は、理想線分A1を移動させ、理想線分A1の入力部位172側の端部を、実線分A2の入力部位172側の端部に重ねる。このとき、理想線分A1及び実線分A2の傾きは維持される。そして、この状態において、理想線分A1と実線分A2とが成す角度θ1を特定する。またプロセッサ10は、図28の分図(B)に示すように、実線分A2のうち入力部位174側の端部と、理想線分A1のうち入力部位174側の端部のそれぞれを、入力部位174に対応するトラッキング部位182の位置に重ねる。例えば、プロセッサ10は、理想線分A1を移動させ、理想線分A1の入力部位174側の端部を、実線分A2の入力部位174側の端部に重ねる。このときも、理想線分A1及び実線分A2の傾きは維持される。そして、この状態において、理想線分A1と実線分A2とが成す角度θ2を特定する。
In step S444, the
プロセッサ10は、ステップS446において、図29の分図(A)に示すように、角度θ1,θ2を用いて実線分A2の傾きを補正する。一例として、プロセッサ10は、入力部位172側の端を中心として、実線分A2を、角度θ1/2、理想線分A1に近づける方向に回転させる。さらにプロセッサ10は、入力部位174側の端を中心として、実線分A2を、角度θ2/2、理想線分A1に近づける方向に回転させる。なお、回転の順序は逆であってもよい。
これにより、図29の分図(B)に示すように、実線分A2(実線で示す)の傾きは、図30を用いて説明する、入力装置オブジェクト1000の位置を特定する処理において問題が生じないレベルに補正される。
As a result, as shown in the partial diagram (B) of FIG. 29, the slope of the solid line segment A 2 (shown by the solid line) causes a problem in the process of specifying the position of the
図30は、図25のステップS434の詳細例を示す。プロセッサ10は、ステップS434において、図30の分図(A)に示すように、補正後の実線分A2´の入力部位172側の端に、入力装置オブジェクト1000のうち入力装置170の入力部位172の所定位置173に対応する部位が重なるように、入力装置オブジェクト1000を仮配置する。一例として、所定位置173は入力部位172の中心である。この際、プロセッサ10は、補正後の実線分A2´の傾きを用いて、入力装置オブジェクト1000の向きを特定する。例えば入力装置オブジェクト1000がキーボードオブジェクトである場合、プロセッサ10は、補正後の実線分A2´上又はその延長線上に入力部位174の中心が位置するように、入力装置オブジェクト1000の向きを特定する。
FIG. 30 shows a detailed example of step S434 of FIG. In step S434, the
そしてプロセッサ10は、仮配置した入力装置オブジェクト1000における仮想基準部位の位置を、暫定基準位置と特定する。一例として、プロセッサ10は、入力部位172に対応するトラッキング部位182の補正後の位置と、入力部位172に対応する第2オフセットOF1とを用いて、暫定基準位置B1を特定する。
Then, the
また図30の分図(B)に示すように、補正後の実線分A2´の入力部位174側の端に、入力装置オブジェクト1000のうち入力装置170の入力部位174の所定位置175に対応する部位が重なるように、入力装置オブジェクト1000を仮配置する。一例として、所定位置175は入力部位174の中心である。この際、プロセッサ10は、図30の分図(A)で説明した方法と同様の方法を用いて、入力装置オブジェクト1000の向きを特定する。なお、分図(B)において、入力部位174に対応する第2オフセットには符号OF2を付している。そしてプロセッサ10は、仮配置した入力装置オブジェクト1000における仮想基準部位の位置を、暫定基準位置B2と特定する。この特定方法は、図30の分図(A)で説明した方法と同様である。
Further, as shown in the partial diagram (B) of FIG. 30, the input corresponding to the
なお、ユーザが3つ以上の入力部位を操作した場合、プロセッサ10は、例えば、これら3つ以上の入力部位から2つの入力部位を選択し、上述した処理を行う。
When the user operates three or more input parts, the
図31は、図25のステップS438の詳細例を示す。図25のステップS436において、プロセッサ10は、暫定基準位置B1,B2を用いて、仮想基準位置B3を特定する。一例として、上述したように、プロセッサ10は、暫定基準位置B1,B2の平均の位置を、仮想基準位置B3とする。そして、プロセッサ10は、入力装置オブジェクト1000の仮想基準部位が仮想基準位置B3に重なるように、入力装置オブジェクト1000を配置する。仮想基準部位の特定方法は、図20〜図22を用いて説明した通りである。この際、プロセッサ10は、補正後の実線分A2´の傾きを用いて入力装置オブジェクト1000の傾きを特定する。この傾きの特定方法は、図30を用いて説明した、入力装置オブジェクト1000を仮配置する際に用いた方法と同様である。
FIG. 31 shows a detailed example of step S438 of FIG. In step S436 of FIG. 25, the
上述した各例において、入力装置170の一例としてはキーボードを示し、また入力装置オブジェクト1000の例としてはキーボードオブジェクトを示した。ただし、図32に示すように、トラッキング対象物180が手袋型のコントローラ160であり、コントローラ160のうち各指の先端に対応する部位の特定が可能な場合、入力装置170がタッチパネルであり、入力装置オブジェクト1000がタッチパネルオブジェクトであってもよい。
In each example described above, a keyboard is shown as an example of the
(変形例4)
次に、図33を用いて、図15に示した処理の変形例の一例を示す。この変形例において、HMDシステム100は、第1モードと第2モードを有している。第1モードにおいて、プロセッサ10は、入力装置170への入力に基づいて、入力装置オブジェクト1000を仮想空間2に配置する。第2モードにおいて、プロセッサ10は、第1モード以外の処理、例えば仮想空間2に含まれる他のオブジェクトを操作するための処理や、入力装置170を用いた入力処理を行う。プロセッサ10は、例えばコントローラ160を用いた入力に従って、HMDシステム100のモードを決定する。
(Modification 4)
Next, an example of a modification of the process shown in FIG. 15 will be described with reference to FIG. In this modification, the
ステップS10において、プロセッサ10は、仮想空間2を定義するとともに、視界画像26をHMD110のモニタ112に表示する。この処理の詳細は、図15を用いて説明した通りである。ステップS15において、プロセッサ10は、HMDシステム100のモードを判断する。モードが第1モードではなかった場合(ステップS15でNo)、プロセッサ10は、ステップS20に移行しない。モードが第1モードだった場合(ステップS15でYes)、プロセッサ10は、ステップS20に移行する。プロセッサ10が行うこれ以降の処理(ステップS20〜S40)は、上記した例(変形例を含む)のいずれかに示した通りである。
In step S <b> 10, the
このようにすると、ユーザが入力装置オブジェクト1000の配置を意図していないときには、プロセッサ10が入力装置オブジェクト1000を配置する処理を行わないようにすることができる。
In this way, when the user does not intend to place the
(変形例5)
次に、図34を用いて、図15に示した処理の変形例の他の例を示す。この変形例において、トラッキング対象物180は、HMD110を装着しているユーザの手、又は当該手に装着された物(例えば手袋型のコントローラ160)である。そして、プロセッサ10は、ステップS10〜ステップS40に示した処理を行う。この処理は、上記した例(変形例を含む)のいずれかに示した通りである。プロセッサ10は、ステップS40において仮想空間2に入力装置オブジェクト1000を配置した後に、ステップS50において、仮想空間2にハンドオブジェクトを配置する。プロセッサ10は、ステップS50において、ハンドオブジェクトを配置する位置を、トラッキング対象物180の位置の特定結果を用いて特定する。そして、プロセッサ10は、特定した位置にハンドオブジェクトを配置する。
(Modification 5)
Next, another example of a modification of the process shown in FIG. 15 will be described with reference to FIG. In this modification, the
このようにすると、仮想空間2のうち、現実空間におけるユーザの手に対応する位置に、ハンドオブジェクトを配置することができる。従って、ユーザは、HMD110のモニタ112を見ることにより、入力装置170と自分の手の位置関係を把握することができる。このため、ユーザは、入力装置170に入力を行いやすくなる。
If it does in this way, a hand object can be arranged in a position corresponding to a user's hand in real space among virtual space 2. Therefore, the user can grasp the positional relationship between the
[開示の要約]
以上開示された技術的特徴は、例えば、以下のように要約され得る。
[Summary of disclosure]
The technical features disclosed above can be summarized as follows, for example.
(1)ある実施の形態によれば、ヘッドマウントデバイス(HMD110)を介して仮想空間を提供するためにコンピュータ(コンピュータ200)で実行される方法が提供される。コンピュータ200が実行する制御は、仮想空間を定義するステップ(図15のステップS10)と、トラッキング対象物のトラッキング結果に基づいて、当該トラッキング対象物を用いて入力装置に入力を行った際の当該トラッキング対象物の位置を特定するステップ(図15のステップS30)と、トラッキング対象物の位置から特定可能な、入力装置上の基準部位の位置に対応する仮想空間上の位置である仮想基準位置に、入力装置に対応する入力装置オブジェクト上の、基準部位に対応する仮想基準部位が位置するよう、入力装置オブジェクトを配置するステップ(図15のステップS40)と、を含む。
(1) According to an embodiment, there is provided a method executed by a computer (computer 200) to provide a virtual space via a head mounted device (HMD 110). The control executed by the
(2)一例において、トラッキング対象物の位置は、トラッキング対象物のトラッキングされる部位の位置である。コンピュータ200は、入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置と、当該トラッキング対象物の位置と入力装置に対して入力を行うトラッキング対象物の部位の位置との差分を定めた第1オフセットと、を用いて、仮想基準位置を特定してもよい。
(2) In one example, the position of the tracking object is the position of the tracked part of the tracking object. In the step of arranging the input device object, the
(3)一例において、入力装置は、入力が行われると、コンピュータに対して互いに異なる出力を行う複数の入力部位を有していてもよい。この場合、コンピュータ200が実行する制御は、複数の入力部位のうちのトラッキング対象物を用いて入力が行われた入力部位からの出力に基づいて、当該入力部位を特定するステップ(図19のステップS402)を更に含んでいてもよい。この場合、コンピュータ200は、入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置を用いて、仮想基準位置を特定するとともに、特定された入力部位を用いて、仮想基準部位を特定してもよい。
(3) In one example, the input device may have a plurality of input parts that perform different outputs to the computer when input is performed. In this case, the control executed by the
(4)一例において、入力装置は、入力が行われると、コンピュータに対して互いに異なる出力を行う複数の入力部位を有していてもよい。この場合、コンピュータ200が実行する制御は、複数の入力部位のうちのトラッキング対象物を用いて入力が行われた入力部位からの出力に基づいて、当該入力部位を特定するステップを更に含んでいてもよい。この場合、コンピュータ200は、入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置と、特定された入力部位と、基準部位との位置の差分を定めた第2オフセットと、を用いて、仮想基準位置を特定してもよい。
(4) In one example, the input device may have a plurality of input parts that perform different outputs to the computer when input is performed. In this case, the control executed by the
この場合、2つ以上の入力部位に対して、1以上のトラッキング対象物を用いて入力が行われるとともに、入力部位を特定するステップ及びトラッキング対象物の位置を特定するステップが行われてもよい。この場合、コンピュータ200は、入力装置オブジェクトを配置するステップにおいて、特定された2つ以上の入力部位のそれぞれへの入力時に特定されたトラッキング対象物の位置と、特定された2つ以上の入力部位のそれぞれの第2オフセットとを用いて、仮想基準位置を特定してもよい。
In this case, input may be performed on two or more input parts using one or more tracking objects, and a step of specifying an input part and a step of specifying a position of the tracking object may be performed. . In this case, in the step of arranging the input device object, the
この場合、入力装置オブジェクトを配置するステップにおいて、コンピュータ200は、特定された2つ以上の入力部位のそれぞれへの入力時に特定されたトラッキング対象物の位置を、位置関係を保ちつつ、特定された2つ以上の入力部位上の所定位置の位置関係に近づけるよう補正してもよい。そして、コンピュータ200は、補正されたトラッキング対象物の位置毎に、当該トラッキング対象物の位置の特定時に特定された入力部位の第2オフセットを用いて、暫定基準位置を求め、当該暫定基準位置に基づいて、仮想基準位置を特定してもよい。
In this case, in the step of arranging the input device object, the
(5)一例として、HMDシステム100は、入力装置への入力に基づいて、入力装置オブジェクトを仮想空間内に配置する第1モードと、入力装置への入力に基づいて、第1モード以外の処理を行う第2モードと、を有している。そして、コンピュータ200は、第1モードにおいて、少なくとも、トラッキング対象物の位置を特定するステップ及び入力装置オブジェクトを配置するステップを行う。
(5) As an example, the
(6)一例として、入力装置に対して入力を行うトラッキング対象物の部位の位置が定められている。 (6) As an example, the position of the part of the tracking target to be input to the input device is determined.
(7)一例として、トラッキング対象物は、ヘッドマウントデバイスを装着しているユーザの手、又は当該手に装着された物である。この場合、コンピュータ200が実行する制御は、トラッキング対象物の位置に対応する仮想空間上の位置に、ユーザの手に対応するハンドオブジェクトを配置するステップ(図34のステップS50)をさらに含んでいてもよい。
(7) As an example, the tracking target object is a user's hand wearing the head mounted device or an object attached to the hand. In this case, the control executed by the
(8)一例として、コンピュータ200が実行する制御は、ヘッドマウントデバイスの動きに基づいて、仮想カメラを移動させるステップ(図8)と、仮想空間を仮想カメラの視界の範囲で表す視界画像をヘッドマウントデバイスに表示させるステップ(図8)と、を更に含む。
(8) As an example, the control executed by the
(9)ある実施の形態によれば、上記したいずれかの方法をコンピュータに実行させるための、プログラムが提供される。 (9) According to an embodiment, there is provided a program for causing a computer to execute any of the methods described above.
(10)ある実施の形態によれば、上記したプログラムを格納したメモリと、このプログラムを実行するためのプロセッサと、を備える、仮想空間における画像の提供を制御するためのコンピュータ装置(コンピュータ200)が提供される。 (10) According to an embodiment, a computer device (computer 200) for controlling image provision in a virtual space, comprising a memory storing the above-described program and a processor for executing the program. Is provided.
今回開示された各実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組み合わせても、実施することが意図される。 Each embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims. In addition, the invention described in the embodiment and each modified example is intended to be carried out independently or in combination as much as possible.
1 仮想カメラ、2 仮想空間、5 基準視線、10 プロセッサ、11 メモリ、12 ストレージ、13 入出力インターフェイス、14 通信インターフェイス、19 ネットワーク、21 中心、22 仮想空間画像、23 視界領域、24,25 領域、26,1100,1200 視界画像、30 グリップ、31 プレート、32 天面、100 HMDシステム、112 モニタ、114,161 センサ、120 HMDセンサ、130 モーションセンサ、140 注視センサ、150 サーバ、160 コントローラ、170 入力装置、172,174 入力部位、180 トラッキング対象物、182 トラッキング部位、184 操作部位、200 コンピュータ、1000 入力装置オブジェクト、 1072,1074 仮想入力部位 1 virtual camera, 2 virtual space, 5 reference line of sight, 10 processor, 11 memory, 12 storage, 13 input / output interface, 14 communication interface, 19 network, 21 center, 22 virtual space image, 23 viewing area, 24, 25 area, 26,1100,1200 Field of view image, 30 grip, 31 plate, 32 top surface, 100 HMD system, 112 monitor, 114,161 sensor, 120 HMD sensor, 130 motion sensor, 140 gaze sensor, 150 server, 160 controller, 170 input Device, 172, 174 input part, 180 tracking object, 182 tracking part, 184 operation part, 200 computer, 1000 input device object, 1072, 1074 virtual input Place
Claims (12)
仮想空間を定義するステップと、
トラッキング対象物のトラッキング結果に基づいて、当該トラッキング対象物を用いて入力装置に入力を行った際の当該トラッキング対象物の位置を特定するステップと、
トラッキング対象物の位置から特定可能な、入力装置上の基準部位の位置に対応する仮想空間上の位置である仮想基準位置に、入力装置に対応する入力装置オブジェクト上の、基準部位に対応する仮想基準部位が位置するよう、入力装置オブジェクトを配置するステップと、
を含む方法。 A computer-implemented method for providing virtual space via a head-mounted device, comprising:
Defining a virtual space;
Based on the tracking result of the tracking object, the step of specifying the position of the tracking object when input to the input device using the tracking object;
The virtual corresponding to the reference part on the input device object corresponding to the input device at the virtual reference position, which is the position in the virtual space corresponding to the position of the reference part on the input device, which can be identified from the position of the tracking object Placing the input device object so that the reference site is located;
Including methods.
トラッキング対象物の位置は、トラッキング対象物のトラッキングされる部位の位置であり、
入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置と、当該トラッキング対象物の位置と入力装置に対して入力を行うトラッキング対象物の部位の位置との差分を定めた第1オフセットと、を用いて、仮想基準位置を特定する、方法。 The method of claim 1, wherein
The location of the tracking target is the location of the tracked part of the tracking target,
In the step of arranging the input device object, a position of the tracking target, and a first offset that defines a difference between the position of the tracking target and the position of the part of the tracking target to be input to the input device, A method of using to identify a virtual reference position.
入力装置は、入力が行われると、コンピュータに対して互いに異なる出力を行う複数の入力部位を有しており、
複数の入力部位のうちのトラッキング対象物を用いて入力が行われた入力部位からの出力に基づいて、当該入力部位を特定するステップを更に含み、
入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置を用いて、仮想基準位置を特定するとともに、特定された入力部位を用いて、仮想基準部位を特定する、方法。 The method according to claim 1 or 2,
The input device has a plurality of input parts that perform different outputs to the computer when input is performed,
Further including the step of identifying the input part based on the output from the input part that is input using the tracking object of the plurality of input parts,
In the step of arranging an input device object, a method of identifying a virtual reference position using a position of a tracking target object and identifying a virtual reference part using the identified input part.
入力装置は、入力が行われると、コンピュータに対して互いに異なる出力を行う複数の入力部位を有しており、
複数の入力部位のうちのトラッキング対象物を用いて入力が行われた入力部位からの出力に基づいて、当該入力部位を特定するステップを更に含み、
入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置と、特定された入力部位と、基準部位との位置の差分を定めた第2オフセットと、を用いて、仮想基準位置を特定する、方法。 The method according to claim 1 or 2,
The input device has a plurality of input parts that perform different outputs to the computer when input is performed,
Further including the step of identifying the input part based on the output from the input part that is input using the tracking object of the plurality of input parts,
A method of identifying a virtual reference position using a second offset that defines a position difference between a tracking target object position, a specified input part, and a reference part in the step of arranging an input device object .
2つ以上の入力部位に対して、1以上のトラッキング対象物を用いて入力が行われるとともに、入力部位を特定するステップ及びトラッキング対象物の位置を特定するステップが行われ、
入力装置オブジェクトを配置するステップにおいて、特定された2つ以上の入力部位のそれぞれへの入力時に特定されたトラッキング対象物の位置と、特定された2つ以上の入力部位のそれぞれの第2オフセットとを用いて、仮想基準位置を特定する方法。 The method of claim 4, wherein
For two or more input parts, input is performed using one or more tracking objects, a step of specifying the input part and a step of specifying the position of the tracking object are performed,
In the step of arranging the input device object, the position of the tracking object specified at the time of input to each of the two or more specified input parts, and the second offset of each of the two or more specified input parts A method of specifying a virtual reference position using
入力装置オブジェクトを配置するステップにおいて、
特定された2つ以上の入力部位のそれぞれへの入力時に特定されたトラッキング対象物の位置を、位置関係を保ちつつ、特定された2つ以上の入力部位上の所定位置の位置関係に近づけるよう補正し、
補正されたトラッキング対象物の位置毎に、当該トラッキング対象物の位置の特定時に特定された入力部位の第2オフセットを用いて、仮の仮想基準位置である暫定基準位置を求め、当該暫定基準位置に基づいて、仮想基準位置を特定する、方法。 The method of claim 5, wherein
In the step of placing the input device object,
The position of the tracking target specified at the time of input to each of the two or more specified input parts is brought close to the positional relation of the predetermined positions on the two or more specified input parts while maintaining the positional relation. Correct,
For each corrected tracking object position, a temporary reference position, which is a temporary virtual reference position, is obtained using the second offset of the input part specified when the position of the tracking object is specified. A method for identifying a virtual reference position based on:
入力装置への入力に基づいて、入力装置オブジェクトを仮想空間内に配置する第1モードと、
入力装置への入力に基づいて、第1モード以外の処理を行う第2モードと、
を有し、
第1モードにおいて、少なくとも、トラッキング対象物の位置を特定するステップ及び入力装置オブジェクトを配置するステップを行う方法。 In the method as described in any one of Claims 1-6,
A first mode for placing an input device object in a virtual space based on an input to the input device;
A second mode for performing processing other than the first mode based on an input to the input device;
Have
A method for performing at least a step of specifying a position of a tracking target and a step of arranging an input device object in a first mode.
入力装置に対して入力を行うトラッキング対象物の部位の位置が定められている方法。 In the method as described in any one of Claims 2-7,
A method in which the position of a part of a tracking target to be input to an input device is determined.
トラッキング対象物は、ヘッドマウントデバイスを装着しているユーザの手、又は当該手に装着された物であり、
トラッキング対象物の位置に対応する仮想空間上の位置に、ユーザの手に対応するハンドオブジェクトを配置するステップを
をさらに含む方法。 In the method as described in any one of Claims 1-8,
The tracking object is the hand of the user wearing the head-mounted device, or an object attached to the hand,
A method further comprising disposing a hand object corresponding to the user's hand at a position in a virtual space corresponding to the position of the tracking object.
ヘッドマウントデバイスの動きに基づいて、仮想カメラを移動させるステップと、
仮想空間を仮想カメラの視界の範囲で表す視界画像をヘッドマウントデバイスに表示させるステップと、
を更に含む方法。 The method according to any one of claims 1 to 9, wherein
Moving the virtual camera based on the movement of the head mounted device;
Displaying a visual field image representing the virtual space in the range of the visual field of the virtual camera on the head mounted device;
A method further comprising:
プログラムを実行するためのプロセッサと、
を備える、仮想空間における画像の提供を制御するためのコンピュータ装置。 A memory storing the program according to claim 11;
A processor for executing the program;
A computer apparatus for controlling provision of an image in a virtual space.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017160835A JP2019040326A (en) | 2017-08-24 | 2017-08-24 | Method of providing virtual space, program, and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017160835A JP2019040326A (en) | 2017-08-24 | 2017-08-24 | Method of providing virtual space, program, and apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019040326A true JP2019040326A (en) | 2019-03-14 |
Family
ID=65726621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017160835A Pending JP2019040326A (en) | 2017-08-24 | 2017-08-24 | Method of providing virtual space, program, and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019040326A (en) |
-
2017
- 2017-08-24 JP JP2017160835A patent/JP2019040326A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6246310B1 (en) | Method, program, and apparatus for providing virtual space | |
JP6523233B2 (en) | Information processing method, apparatus, and program for causing a computer to execute the information processing method | |
JP2019046120A (en) | Method executed by computer to provide virtual experience, program and computer | |
JP6495398B2 (en) | Method and program for providing virtual space, and information processing apparatus for executing the program | |
JP6927797B2 (en) | Methods, programs and computers for providing virtual space to users via headmount devices | |
JP2018032131A (en) | Method and device for supporting input in virtual space and program causing computer to execute the method | |
JP6457446B2 (en) | Method and apparatus for supporting communication in virtual space, and program for causing computer to execute the method | |
JP6306678B1 (en) | Method executed by computer to present object in virtual space, program causing computer to execute the method, and computer apparatus | |
JP2019133309A (en) | Program, information processor and information processing method | |
JP6382928B2 (en) | Method executed by computer to control display of image in virtual space, program for causing computer to realize the method, and computer apparatus | |
JP6779840B2 (en) | Methods and devices for assisting input in virtual space and programs that allow computers to execute such methods. | |
JP2018170013A (en) | Method executed by computer to control display of image in virtual space, program for causing computer to achieve the method, and computer device | |
JP6278546B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
JP6368404B1 (en) | Information processing method, program, and computer | |
JP2018032384A (en) | Method and device for assisting communication in virtual space and program enabling computer to execute method | |
JP2022048172A (en) | Program, information processing device, and information processing method | |
JP6966336B2 (en) | An information processing method, a device, and a program for causing a computer to execute the information processing method. | |
JP2019040326A (en) | Method of providing virtual space, program, and apparatus | |
JP6444345B2 (en) | Method and apparatus for supporting input in virtual space, and program for causing computer to execute the method | |
JP6776155B2 (en) | A method for providing virtual reality, a program for causing a computer to execute the method, and an information processing device for executing the program. | |
JP2019155115A (en) | Program, information processor and information processing method | |
JP2019016358A (en) | Information processing method, program and computer | |
JP6535641B2 (en) | Method and apparatus for controlling an object displayed in a virtual space, and program for causing a computer to execute the method | |
JP6522572B2 (en) | Method for providing virtual reality, program for causing a computer to execute the method, and information processing apparatus | |
JP2018106697A (en) | Method, program and apparatus for providing virtual space |