以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
図1を参照して、HMDシステム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、ネットワーク19を介して、遠隔地にある他のHMDシステム100N,100Xと通信することができる。HMDシステム100Nは、ユーザ190Nによって使用され得る。HMD100Xは、ユーザ190Xによって使用され得る。HMDシステム100N,100Xの構成は、HMDシステム100の構成と同様である。HMDシステム100の構成要素と同様の構成要素には、符号N,Xが付されている。したがって、以下、適宜、HMDシステム100の構成を参照して、各HMDシステムを説明する。
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、スピーカ115と、マイク119と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150、コンピュータ200N,200Xその他のコンピュータと通信可能である。他の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間をユーザ190に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、たとえば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、たとえば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能なメニューの画像を含む。
ある局面において、コンピュータ200,200N,200Xは、各々のユーザ190,190N,190Xの動作に基づく信号を他のコンピュータとの間で通信する。例えば、コンピュータ200は、仮想空間を提供するための映像信号を生成し、HMD110に映像信号を送信する。HMD110は、その映像信号をモニタ112に送信すると、モニタ112は、その受信した映像信号に基づく仮想空間画像を表示する。他のコンピュータとそのコンピュータに接続されているHMDも、コンピュータ200とHMD110の場合と同様である。
ある実施の形態において、コンピュータ200,200N,200Xが、仮想空間を介して通信するためのVR(Virtual Reality)チャットアプリケーションを実行している時、コンピュータ200,200N,200Xは、各HMD110,110N,110Xによって提示される仮想空間を介した通信を実現する。仮想空間を介した通信では、映像と音声とが通信される。この時、各ユーザに対応するアバターオブジェクトが、仮想空間に提示される。例えば、ユーザ190が他のユーザ190N,190Xと通信しているとき、ユーザ190が装着したHMD110は、ユーザ190N,190Xに対応するアバターオブジェクトを提示する。ユーザ190は、仮想空間に没入した状態で、アバターオブジェクトを介して他のユーザ190N,190Xと通信することができる。
ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。他の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、たとえば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
スピーカ115は、コンピュータ200から受信した音声データに対応する音声(発話)を外部に出力する。マイク119は、ユーザ190の発話に対応する音声信号をコンピュータ200に出力する。ユーザ190は、マイク119を用いて他のユーザ190N,190Xに向けて発話でき、スピーカ115を用いて他のユーザ190N,190Xの発話を聞くことができる。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は、たとえば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
他の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。たとえば、センサ114が、角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサなどである場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。たとえば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
サーバ150は、コンピュータ200にプログラムを送信し得る。他の局面において、サーバ150は、他のユーザによって使用されるHMD110に仮想現実を提供するための他のコンピュータ200と通信し得る。たとえば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが対話(VR(Virtual Reality)チャット)を楽しむことを可能にする。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。他の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。他の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。他の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザ190の手に取り付けられて、ユーザ190の手の動きを検出する。たとえば、モーションセンサ130は、手の回転速度、回転数などを検出する。モーションセンサ130によって得られたユーザ190の手の動きの検出結果を示すデータは、コンピュータ200に送られる。モーションセンサ130は、たとえば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。他の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。たとえば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、たとえば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
他の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに他の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
より詳細には、ある局面において、ユーザ190は、コントローラを用いてあるいは通信を希望するアバターオブジェクトを視線で選択することにより、通信相手(以下「チャット相手」ともいう。)を選択し得る。以下、チャットの相手としてユーザ190Nが選択された場合について説明する。なお、チャット相手は一人に限られず、二人以上が選択され得る。
ユーザ190が、ユーザ190Nを選択した後、マイク119に向かって発話すると、その音声に基づく音声信号がコンピュータ200に送信される。また、注視センサ140は、ユーザ190の視線の動きを検出する。検出結果はアイトラッキングデータとしてコンピュータ200に送られる。コンピュータ200は、その受信した音声信号に基づく音声データおよびアイトラッキングデータをユーザ190Nに送信する。例えば、コンピュータ200は、ネットワーク19を介してサーバ150に音声データとアイトラッキングデータとを送信する。音声データおよびアイトラッキングデータは、それぞれ、ユーザ190Nが使用するコンピュータ200Nのネットワークアドレスを含む。サーバ150は、コンピュータ200から受信した音声データおよびアイトラッキングデータを、ネットワーク19を介してコンピュータ200Nにそれぞれ送信する。なお、音声データおよびアイトラッキングデータがコンピュータ200Nに受信されるタイミングは、常に同じではなく、いずれかのデータが他のデータよりも遅延する場合もあり得る。
コンピュータ200Nは、サーバ150から受信した音声データを、ユーザ190Nが装着するHMD110Nのスピーカ115に出力する。また、コンピュータ200Nは、受信したアイトラッキングデータに基づいてユーザ190のアバターオブジェクトの視線を変更するためのデータを生成し、そのデータをモニタ112に送信する。ユーザ190Nは、HMD110Nのスピーカ115を介してユーザ190の音声を聞くことができ、モニタ112に提示されたアバターオブジェクトを視認できる。
ユーザ190Nがユーザ190に向けて発話を行なう場合も、上述の場合と同様にして音声データとアイトラッキングデータとが、コンピュータ200Nからコンピュータ200に送信される。このようにして、ユーザ190およびユーザ190Nは、各々のアバターオブジェクトを用いて、仮想空間において対話することができる。
[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、たとえば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、たとえば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクトなどを含む。
なお、他の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェイス13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HMDI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
ある実施の形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。たとえば、入出力インターフェイス13は、モーションセンサ130から出力された信号の入力を受ける。他の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光などをコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(たとえば、サーバ150、コンピュータ200N,200X等)と通信する。ある局面において、通信インターフェイス14は、たとえば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、遠隔地を結ぶリモート会議を実現するためのソフトウェア、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェアなどを含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図2に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、他の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(たとえば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図3に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、HMDシステム100を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8Aを参照して、コントローラ160の一例について説明する。図8Aは、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図8Aに示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図8Aに示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8Aに示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
図8Bは、右コントローラ800を把持するユーザ190の右手に対応して仮想空間に配置されるハンドオブジェクト810の一例を示す。例えば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、入力操作が、右コントローラ800のボタン34に対して行なわれると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタン34に対して行なわれていない場合には、図8Bに示されるように、ハンドオブジェクト810の人差し指を伸ばした状態とすることもできる。例えば、ハンドオブジェクト810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
[HMDの制御装置]
図9を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図9に示されるように、コンピュータ200は、表示制御モジュール220と、音声制御モジュール225と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、視線検出モジュール233と、移動管理モジュール234と、チャット制御モジュール235と、視線変更モジュール236とを含む。
ある実施の形態において、表示制御モジュール220、音声制御モジュール225、仮想空間制御モジュール230は、プロセッサ10によって実現される。他の実施の形態において、複数のプロセッサ10が表示制御モジュール220、音声制御モジュール225、または仮想空間制御モジュール230としてそれぞれ作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向きなどを制御する。視界領域決定モジュール222は、HMD110を装着したユーザ190の頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像を生成する。さらに、視界画像生成モジュール223は、仮想空間制御モジュール230から受信したデータに基づいて、視界画像を生成する。視界画像生成モジュール223によって生成された視界画像のデータは、通信制御モジュール250によってHMD110に出力される。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
音声制御モジュール225は、HMD110から、ユーザ190の発話に基づく音声信号がコンピュータ200に入力されたことを検知する。音声制御モジュール225は、当該発話に対応する音声信号にその入力時刻を付して、音声データを生成する。音声制御モジュール225は、ユーザ190のチャットの相手としてコンピュータ200が通信可能な状態にある他のコンピュータ200N,200Xのうち、ユーザ190によって選択されたユーザが使用するコンピュータにその音声データを送信する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。まず、仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトのデータを生成する。例えば、仮想オブジェクト生成モジュール232は、仮想空間2を介してユーザ190とのチャットを行なう他のユーザ190N,190Xをそれぞれ表わすアバターオブジェクトのデータを生成する。さらに、仮想オブジェクト生成モジュール232は、他のユーザ190N,190Xからの発話に応じて検出される視線に基づいて、当該ユーザのアバターオブジェクトの視線を変更し得る。
視線検出モジュール233は、注視センサ140からの出力に基づいて、ユーザ190の視線を検出する。ある局面において、視線検出モジュール233は、ユーザ190による発話が検知されたことに基づいて、その時のユーザ190の視線を検出する。視線の検出は、例えば、非接触型のアイトラッキングのように公知の技術により実現される。一例として、強膜反射法のように、注視センサ140は、ユーザ190の目に赤外線を当て、反射光をカメラ(図示しない)で撮影することにより得られたデータに基づいて、ユーザ190の視線の動きを検出し得る。ある局面において、視線検出モジュール233は、モニタ112の表示領域のいずれかを基準とした座標値(x、y)として、ユーザ190の視線の動きに応じた各位置をそれぞれ特定する。
移動管理モジュール234は、コンピュータ200のユーザ190に対応するアバターオブジェクトの仮想空間2における移動を管理する。移動管理モジュール234は、ある局面において、ユーザ190によって指定された仮想空間2の場所への移動が可能であるか否かを判断する。この判断は、例えば、当該場所の使用状況に基づいて行なわれる。使用状況を表わすデータは、サーバ150によって保持されている。別の局面において、移動管理モジュール234は、ユーザ190の移動の履歴を取得し、コンピュータ200に保存し、さらに、サーバ150に送信する。移動の履歴は、例えば、ユーザIDと、仮想空間2における座標値と、時刻データとを含む。さらに、移動管理モジュール234は、仮想空間2におけるユーザ190の移動を管理する。例えば、移動管理モジュール234は、ユーザ190の動作に基づいて、仮想空間2においてユーザ190が視線を向けることを希望するオブジェクトを特定する。
ある局面において、仮想オブジェクト生成モジュール232は、仮想空間2に、ユーザ190が選択可能な1つ以上の場所候補を含むマップオブジェクトを提示するためのデータを生成する。視界画像生成モジュール223は、そのデータに基づいてマップオブジェクトを含む視界を提示するデータを生成し、モニタ112に出力する。マップオブジェクトは、例えば、仮想空間2の上方に提示される。なお、提示される場所は、仮想空間2の上方に限られず、既存の他のオブジェクト(例えば、他のユーザのアバターオブジェクト、椅子、テーブル等)の視認性を妨げない場所であればよい。モニタ112がそのデータに基づいて視界を表示すると、ユーザ190は、仮想空間2にマップオブジェクトを認識する。マップオブジェクトは、例えば、仮想空間2を共有する一人以上のユーザが選択可能な場所を俯瞰的に表すように構成されている。マップオブジェクトは、選択可能に構成された一つ以上のサブ項目を含む。サブ項目は、座席に対応する。他のユーザに使用されていない座席は、ユーザ190が移動可能な場所候補となり得る。
ユーザ190は、コントローラ160を操作して、マップオブジェクトのいずれかの座席を選択することができる。ユーザ190が座席を選択すると、移動管理モジュール234は、その座席を場所候補が選択されたと判断する。別の局面において、ユーザ190が視線をマップオブジェクトに向けると、視線検出モジュール233は、注視センサ140から出力される信号に基づいて、マップオブジェクトに向けられたユーザ190の視線を検出する。ユーザ190が予め定められた時間マップオブジェクトのうちのいずれかの場所候補を見続けると、移動管理モジュール234は、その場所候補を、ユーザ190に対応するアバターオブジェクトの移動先と決定する。視界画像生成モジュール223は、その決定に基づいて、仮想空間2におけるユーザ190の視点を当該場所候補に移動するための視界画像を生成し、モニタ112に出力する。HMD110を装着したユーザ190が、モニタ112に表示される画像を視認すると、選択した場所候補に移動したことを認識できる。
例えば、仮想空間2が会議室である場合、会議室の入口にいるユーザ190が会議室の天井を眺めると、マップオブジェクトが提示される。マップオブジェクトは、会議室のテーブル周りに設けられた座席に対応する。マップオブジェクトには、既に他のユーザに対応するアバターオブジェクトによって占有されている座席と、空席とが区別して提示されている。空席は場所候補として、ユーザ190による選択が可能な状態にある。ユーザ190は、コントローラ160を操作して、移動先の場所として空席を選択することができる。別の局面で、ユーザ190がいずれかの空席を見続けると、その空席が移動先の場所として決定されてもよい。その後、ユーザ190が確定動作として予め規定された動作を行なうと、その場所に移動する。例えば、ユーザ190が、コントローラ160の決定ボタンを押下すると、その空席は、移動先の場所として確定される。その結果、ユーザ190の視点(すなわち仮想カメラ1)は、その場所に移動する。
ある局面において、仮想オブジェクト生成モジュール232は、モーションセンサ130、HMDセンサ120あるいは注視センサ140から出力される信号に基づいてユーザ190の動作を検知し、その検知に応答して、マップオブジェクトを提示するためのデータを生成する。ユーザ190の動作は、例えば、コントローラ160を操作すること、視線の向きを変えること、姿勢を変えること等を含む。視線の向きを変えることは、仮想空間画像22の上方または下方を眺めることを含む。姿勢を変えることは、他ユーザのアバターオブジェクトがユーザ190の視線の直ぐ前方に存在する場合において、当該アバターオブジェクトの向うを見るために上体を伸ばすこと等を含む。このような動作が検知されると、マップオブジェクトが仮想空間2に提示される。このようにすると、マップオブジェクトが、現実空間におけるユーザ190の通常の動作に連動して仮想空間2に提示されるため、仮想空間2における没入感を損なうことなく、移動を実現できる。
別の局面において、仮想空間2の状況に応じてユーザ190が後方を向く場合がある。HMD110が加速度センサを備えている場合、HMD110を装着したユーザ190の頭が回転すると、加速度センサから出力される信号がコンピュータ200に入力される。仮想オブジェクト生成モジュール232は、ユーザ190が後方を向いたことに基づいて、ユーザ190の現在の場所よりも後方にある場所候補を含むマップオブジェクトを提示するためのデータを生成し、そのデータをモニタ112に出力する。例えば、ユーザ190が仮想空間2で提示される大学の教室の前方にいる場合、頭を後方に回転させると、教室の後方の座席を表わすマップオブジェクトが、ユーザ190の視界に入るように提示される。ユーザ190が、コントローラ160を操作して、マップオブジェクトの中に示される場所候補のいずれかを選択すると、その場所候補は選択状態になり、選択を確定する操作をさらに行なうと、その場所候補の選択が確定される。仮想カメラ1は、その場所に移動され、視界画像生成モジュール223は、その場所から見た画像を表示するためのデータを生成し、そのデータをモニタ112に出力する。ユーザ190は、教室の後方から前方を見ることができる。
別の局面において、仮想空間2を共有する他のユーザ190N,190Xの動作に基づいて、ユーザ190が移動してもよい。例えば、ユーザ190Nに対応するアバターオブジェクトが仮想空間2において新たな場所に移動した時、ユーザ190が視認する視界画像では、そのアバターオブジェクトは、その新たな場所に提示される。この時点で、ユーザ190が選択可能な場所候補は変更されるため、ユーザ190に新たな選択を促すために、仮想オブジェクト生成モジュール232は、場所候補が更新されたマップオブジェクトを生成し、仮想空間2に提示し得る。ユーザ190は、そのマップオブジェクトから移動先の場所を選択できるので、他のユーザ190N,190Xによる移動との衝突の発生が防止される。
ある局面において、仮想オブジェクト生成モジュール232によって生成されるマップオブジェクトは、仮想空間2におけるユーザ190の視点の位置と、仮想空間2を共有する他のユーザ190N,190Xの位置とを含む。ユーザ190の視点の位置と、他のユーザ190N,190Xの位置とは、異なった態様で表示され得る。移動管理モジュール234は、ユーザ190の視点と他のユーザ190N,190Xとが存在しない場所候補の選択を受け付ける。このようにすると、ユーザ190は、自らの位置を確認しながら移動先を選択できる。
ある局面において、仮想オブジェクト生成モジュール232は、仮想空間2におけるユーザ190の視点の移動後に、マップオブジェクトが存在している方向を示すオブジェクト(例えば、矢印オブジェクト)を提示するためのデータを生成する。矢印オブジェクトが仮想空間2に提示されると、ユーザ190は、仮想空間2での移動後でも、矢印オブジェクトを見てマップオブジェクトの場所を確認できるので、移動後の位置を容易に把握できる。
ある局面において、移動管理モジュール234は、仮想空間2におけるユーザ190の視点の移動経路をメモリモジュール240に記録する。仮想オブジェクト生成モジュール232は、ユーザ190の操作に基づいて、メモリモジュール240に保存されている履歴データを用いて、当該移動経路を表わす経路オブジェクトを仮想空間2に提示するためのデータを生成する。履歴データは、サーバ150に格納されており、コンピュータ200の要求に応じてサーバ150からコンピュータ200に送信される。視界画像生成モジュール223が、その生成されたデータをモニタ112に出力すると、仮想空間2における移動を示すオブジェクトが提示される。オブジェクトは、例えば、各点を結ぶ折れ線として示される。点は仮想空間における場所を示す。線は矢印を含み、当該矢印は移動の順序を示す。ユーザ190は、そのオブジェクトを視認すると、自身が仮想空間2で移動してきた軌跡を確認することができる。また、ユーザ190の操作に基づいて、視界画像生成モジュール223は、移動前の位置にユーザ190の視点を戻した画像を生成し得る。これにより、ユーザ190は、仮想空間2においても、移動を容易に取り消すことができる。
チャット制御モジュール235は、仮想空間を介した通信を制御する。ある局面において、チャット制御モジュール235は、ユーザ190の操作に基づいて、あるいは、他のコンピュータ200Nによって送信されたチャットの開始要求に基づいて、メモリモジュール240からチャットアプリケーションを読み出し、仮想空間2を介した通信を開始する。ユーザ190がコンピュータ200にユーザIDとパスワードとを入力してログイン操作を行なうと、ユーザ190は、仮想空間2を介したチャットのメンバーの一人として、そのチャットのセッション(「ルーム」とも呼ばれる)に関連付けられる。その後、コンピュータ200Nを使用するユーザ190Nがそのセッションにおけるチャットにログインすると、ユーザ190とユーザ190Nとが、そのチャットのメンバーとして互いに関連付けられる。チャット制御モジュール235が、コンピュータ200の通信相手となるコンピュータ200Nのユーザ190Nを認識すると、仮想オブジェクト生成モジュール232は、オブジェクト情報242を用いて、ユーザ190Nに対応するアバターオブジェクトを提示するためのデータを生成し、そのデータをHMD110に出力する。HMD110が、そのデータに基づいて、ユーザ190Nに対応するアバターオブジェクトをモニタ112に表示すると、HMD110を装着したユーザ190は、そのアバターオブジェクトを仮想空間2において認識する。
ある実施の形態において、チャット制御モジュール235は、ユーザ190の発話に基づく音声データの入力と、注視センサ140からのデータの入力とを待機する。ユーザ190が、仮想空間2において、アバターオブジェクトを選択するための操作(例えば、コントローラの操作、ジェスチャ、音声による選択、視線による凝視など)を行なうと、チャット制御モジュール235は、その操作に基づいて、そのアバターオブジェクトに対応するユーザ(例えばユーザ190)がチャット相手として選択されたことを検知する。チャット制御モジュール235は、ユーザ190による発話を検知すると、ユーザ190Nが使用するコンピュータ200Nのネットワークアドレスに基づいて、通信制御モジュール250を介して、マイク119から送られてきた信号に基づく音声データと、注視センサ140から送られてきた信号に基づくアイトラッキングデータとを、コンピュータ200Nに送信する。コンピュータ200Nは、アイトラッキングデータに基づいて、ユーザ190のアバターオブジェクトの視線を更新し、音声データをHMD110Nに送信する。コンピュータ200Nが、同期機能を有している場合には、モニタ112におけるアバターオブジェクトの視線の変化と、スピーカ115からの音声の出力とが、ほぼ同じタイミングで実現されるので、ユーザ190Nは、違和感を感じにくくなる。
視線変更モジュール236は、視点の移動先の視線として、当該移動先からオブジェクトに向かう方向を特定する。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、位置情報244とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2を介した通信のために使用されるアバターオブジェクトを表示するためのデータ、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。アバターオブジェクトを表示するためのデータは、例えば、チャット相手として予め関係が確立された通信相手を模式的に表わす画像データ、当該通信相手の写真等を含み得る。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム、当該アプリケーションプログラムを実行する際に必要となるユーザID、パスワードなどを保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザ190によって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(たとえば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
位置情報244は、仮想空間2に提示される一つ以上のオブジェクトの位置情報を含む。一つ以上のオブジェクトは、例えば、仮想空間2を共有する各ユーザが使用するアバターオブジェクトのように移動可能なオブジェクトと、仮想空間2に提示されるスクリーンオブジェクトのように移動できないオブジェクトとを含む。位置情報は、サーバ150において管理されている。各ユーザがチャットのためのルームにログインした後、各ユーザが仮想空間2においてアバターオブジェクトを移動する操作を行なうと、そのアバターオブジェクトの位置情報が更新される。サーバ150におけるデータ構造は後述する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。通信制御モジュール250は、有線LAN、無線LANのような公知の通信技術によって実現される。
ある局面において、移動管理モジュール234は、ユーザ190が視線を向けることを所望するオブジェクトを特定する。移動管理モジュール234は、仮想空間2においてユーザ190の視点を移動するための操作を受け付ける。視線変更モジュール236は、視点の移動先の視線として、当該移動先からオブジェクトに向かう方向を特定する。視界画像生成モジュール223は、ユーザ190の視点を移動させた後に、移動先からの視界画像をユーザ190に提供する。
ある局面において、移動管理モジュール234は、ユーザ190が視線を向けることを所望するオブジェクトとして、ユーザ190と通信する他のユーザ(例えば、ユーザ190N,190X)に対応するアバターオブジェクトを特定する。視線変更モジュール236は、移動先からアバターオブジェクトに向かう方向を特定する。視界画像生成モジュール223は、特定された方向に従う視界画像を生成する。
ある局面において、移動管理モジュール234は、ユーザ190が視線を向けることを所望するオブジェクトとして、仮想空間2において画像が表示されるスクリーンオブジェクトを特定する。視線変更モジュール236は、移動先からスクリーンオブジェクトに向かう方向を特定する。
ある局面において、移動管理モジュール234は、HMD110を装着したユーザ190の動作に基づいて、ユーザ190によって視認されているオブジェクトを検出する。ユーザ190の動作は、HMD110を装着したユーザ190の頭の動き、当該ユーザ190の視線の動き、または、ユーザ190によるコントローラ160の操作の少なくともいずれかを含む。移動管理モジュール234は、検出されたオブジェクトを、ユーザ190が視線を向けることを所望するオブジェクトとして特定する。例えば、移動管理モジュール234は、HMD110を装着したユーザ190の頭の動きに応じて定まる基準視線5と衝突するオブジェクトを、ユーザ190によって視認されているオブジェクトと特定する。また、移動管理モジュール234は、ユーザ190の視線の動きの検出結果に基づき、ユーザ190の視線により特定されるオブジェクトを、ユーザ190によって視認されているオブジェクトと特定する等としてもよい。このとき、移動管理モジュール234は、HMD110を装着したユーザ190の動作に基づいて、一定時間以上、ユーザによって指定されたオブジェクトを、ユーザ190によって視認されているオブジェクトとして検出することとしてもよい。このように、移動管理モジュール234は、ユーザ190が一定時間以上(例えば、2秒)、視線を向けたオブジェクトを、ユーザ190が視点を移動させた後においても視線を向けることを所望するオブジェクトとして特定する。コンピュータ200は、このように、ユーザ190が視線を向けることを所望するオブジェクトを移動管理モジュール234が特定した場合に、当該特定されたことをユーザに報知することとしてもよい。例えば、コンピュータ200は、移動管理モジュール234によりユーザ190が視線を向けることを所望するオブジェクトが特定された場合に、当該オブジェクトにエフェクトを付加する等してユーザ190にHMD110により当該オブジェクトを提示してもよい。
ある局面において、仮想オブジェクト生成モジュール232は、仮想空間2において選択対象となる一つ以上の項目を含むユーザインターフェイスオブジェクト2000を仮想空間2に提示するためのデータを生成する。視界画像生成モジュール223は、そのデータを含む視界画像オブジェクトをモニタ112に表示させる。移動管理モジュール234は、ユーザインターフェイスオブジェクト2000からいずれかの項目が選択されたことに基づいて、当該選択された項目に対応するオブジェクトを、当該オブジェクトとして特定する。
例えば、ユーザインターフェイスオブジェクト2000は、仮想空間2におけるチャットの空間に対応し得る。ユーザ190がユーザインターフェイスオブジェクト2000を予め定められた時間、例えば数秒、注視する。注視センサ140がユーザ190の視線を検知する。ユーザインターフェイスオブジェクト2000のうちの一部が視認されていることが検知されると、その一部に対応する仮想空間2の場所が視線の移動先として特定される。コンピュータ200は、当該移動先を見た視界画像をHMD110に提示するので、ユーザ190は、容易に仮想空間2における移動を実現できる。
ある局面において、仮想オブジェクト生成モジュール232は、仮想空間2における方向の指定を受け付けるユーザインターフェイスオブジェクト2000を仮想空間2に提示するためのデータを生成する。視界画像生成モジュール223は、そのデータを含む視界画像オブジェクトをモニタ112に表示させる。視線変更モジュール236は、ユーザインターフェイスオブジェクト2000において指定された方向を、当該方向として特定する。
ある局面において、移動管理モジュール234は、仮想空間2においてユーザ190の状態を調整するための動作を受け付ける。視線変更モジュール236は、調整後の状態に基づいて、移動先からオブジェクトに向かう方向を特定する。例えば、ユーザ190が姿勢を正して、HMD110が装着された頭を動かした場合、姿勢を正した後の状態の視点から当該オブジェクトに向かう方向が特定される。コンピュータ200は、その方向に従った視界画像を生成しHMD110に提示する。その結果、ユーザ190は仮想空間2における移動を伴わなくても、オブジェクトを正視することもできるので、仮想空間2におけるコミュニケーションが促進され得る。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、たとえば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。他の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
コンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリなどの固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラムなどを含み得る。
[2ユーザ間の通信によるコンピュータ間の動作]
ここで、二人のユーザ190,190Nが仮想空間2を介して通信する場合のコンピュータ200,200Nの動作について説明する。以下、コンピュータ200Nに接続されたHMD110Nを装着したユーザ190Nが、コンピュータ200に接続されたHMD110を装着したユーザ190に発話する場合について説明する。
(送信側) ある局面において、HMD110Nを装着したユーザ190Nは、ユーザ190とチャットするために、マイク119に向かって発話する。発話の音声信号は、HMD110Nに接続されているコンピュータ200Nに送信される。音声制御モジュール225は、音声信号を音声データに変換し、発話が検出された時を表わすタイムスタンプを音声データに関連付ける。タイムスタンプは、例えば、プロセッサ10の内部クロックの時刻データである。ある局面において、音声信号が通信制御モジュール250によって音声データに変換される時の時刻データがタイムスタンプとして使用される。
ユーザ190Nが発話しているとき、ユーザ190Nの視線の動きは、注視センサ140によって検出されている。注視センサ140による検出結果(アイトラッキングデータ)は、コンピュータ200Nに送られる。視線検出モジュール233は、その検出結果に基づいて、ユーザ190Nの視線の変化を表わす各位置(例えば瞳孔の位置)を特定する。
コンピュータ200Nは、音声データとアイトラッキングデータとをコンピュータ200に送信する。音声データおよびアイトラッキングデータは、まず、サーバ150に送られる。サーバ150は、音声データおよびアイトラッキングデータの各ヘッダにある宛先を参照し、音声データおよびアイトラッキングデータをコンピュータ200に送信する。このとき、音声データがコンピュータ200に到達するタイミングと、アイトラッキングデータがコンピュータ200に到達するタイミングとは、一致しない場合がある。
(受信側) コンピュータ200は、コンピュータ200Nによって送信されたデータをサーバ150から受信する。ある局面において、コンピュータ200のプロセッサ10は、通信制御モジュール250から送られるデータに基づいて、音声データを受信したことを検知する。プロセッサ10は、音声データの送信元(すなわちコンピュータ200N)を特定すると、チャット制御モジュール235として、HMD110のモニタ112に、チャットの画面を表示させる。
プロセッサ10は、さらに、アイトラッキングデータを受信したことを検知する。プロセッサ10は、アイトラッキングデータの送信元(すなわちコンピュータ200N)を特定すると、仮想オブジェクト生成モジュール232として、ユーザ190Nのアバターオブジェクトを表示するためのデータを生成する。
別の局面において、プロセッサ10が、音声データよりも先にアイトラッキングデータを受信する場合があり得る。この場合、プロセッサ10は、アイトラッキングデータから送信元識別番号を検出すると、アイトラッキングデータに対応して送信された音声データが存在すると判定する。プロセッサ10は、そのアイトラッキングデータに含まれる送信元識別番号および時刻データと同じ送信元識別番号および時刻データを含む音声データを受信するまで、アバターオブジェクトを表示するためのデータの出力を待機する。
さらに別の局面において、プロセッサ10は、アイトラッキングデータよりも先に音声データを受信する場合があり得る。この場合、プロセッサ10は、音声データから送信元識別番号を検出すると、その音声データに対応して送信されたアイトラッキングデータが存在すると判定する。プロセッサ10は、その音声データに含まれる送信元識別番号および時刻データと同じ送信元識別番号および時刻データを含むアイトラッキングデータを受信するまで、音声データの出力を待機する。
なお、上記の各局面において、比較対象となる時刻データは、完全に同一の時刻を示していなくてもよい。
プロセッサ10は、同じ時刻データを含む音声データおよびアイトラッキングデータの受信を確認すると、音声データをスピーカ115に出力し、アイトラッキングデータに基づく変更が反映されたアバターオブジェクトを表示するためのデータをモニタ112に出力する。その結果、ユーザ190は、ユーザ190Nによって発せられた音声とアバターとを同じタイミングで認識できるので、信号の伝送遅延によるタイムラグ(たとえば、アバターオブジェクトの変化と音声出力のタイミングのずれ)を感じることなく、チャットを楽しむことができる。
また、ユーザ190Nが使用するコンピュータ200Nのプロセッサ10も、上述の処理と同様に、音声データの出力タイミングと、ユーザ190の視線の動きが反映されたアバターオブジェクトの出力タイミングとの同期をとることができる。その結果、ユーザ190Nも、ユーザ190によって発せられた音声の出力とアバターオブジェクトの変化とを同じタイミングで認識できるので、信号の伝送遅延によるタイムラグを感じることなく、チャットを楽しむことができる。
[チャットの概要]
次に、図10を参照して、本実施の形態に従って行われる仮想空間を介したチャットの概要について説明する。図10は、コンピュータ200,200N,200Xのそれぞれによって提示される仮想空間2を表現する一態様を概念的に表す図である。
図10に示されるように、コンピュータ200,200N,200Xは、それぞれ、ネットワーク19を介してサーバ150と通信可能である。コンピュータ200,200N,200Xは、それぞれに接続されているHMD110,110N,110Xを介して、仮想空間画像22,22N,22Xを提供する。仮想空間画像22,22N,22Xは、コンピュータ200,200N,200Xの各ユーザに対応するアバターオブジェクト1010,1010N,1010Xをそれぞれ提示する。
たとえば、アバターオブジェクト1010,1010N,1010Xは、ユーザ190,190N,190Xにそれぞれ対応する。例えば、ユーザ190が視認する仮想空間画像22には、ユーザ190の通信相手として、アバターオブジェクト1010N,1010Xが提示される。ユーザ190Nが視認する仮想空間画像22Nには、ユーザ190Nの通信相手として、アバターオブジェクト1010,1010Xがそれぞれ提示される。ユーザ190Xが視認する仮想空間画像22Xには、ユーザ190Xの通信相手として、アバターオブジェクト1010,1010Nがそれぞれ提示される。
HMD110,110N,110Xは、コンピュータ200,200N,200Xを介して、ユーザ190,190N,190Xの位置および傾きに対応する動き検知データをサーバ150にそれぞれ送信する。動き検知データはアイトラッキングデータを含み得る。サーバ150は、HMD110から受信した動き検知データを、HMD110N,110Xにそれぞれ送信する。HMD110N,110Xは、当該動き検知データに応じて、仮想空間2に提示されるチャット相手のアバターオブジェクトの表示態様(たとえば、アバターオブジェクトの位置および傾き)を変更する。
ある局面において、HMD110,110N,110Xは、ユーザ190,190N,190Xの発話に対応する音声データをサーバ150にそれぞれ送信する。サーバ150は、例えば、HMD110から受信した音声データおよびアイトラッキングデータを、コンピュータ200N,200Xに送信する。コンピュータ200N,200Xは、当該アイトラッキングデータに応じて、アバターオブジェクトの表示態様(たとえば、目や頭のの向き等)を変更する。HMD110N,110Xは、当該音声データに基づく音声をスピーカ115から出力する。
以上より、HMD110を装着したユーザ190が目を動かし、また発話すると、HMD110と通信可能な状態にある他のHMD110N,110Xによって提示される仮想空間2では、ユーザ190に対応するアバターオブジェクトの表示態様が変わるとともに、音声がスピーカ115から出力される。表示態様が変化するタイミングと音声が出力されるタイミングとが同期するので、仮想空間2を介した通信において、各通信相手は、音声とアバターオブジェクトとを用いたコミュニケーションを違和感なく行うことができる。
[制御構造]
図11および図12を参照して、コンピュータ200の制御構造について説明する。図11および図12は、それぞれコンピュータ200のプロセッサ10が実行する処理の一部を表わすフローチャートである。
ステップS1110にて、プロセッサ10は、ユーザ190の操作に基づいて、メモリ11に仮想空間2を定義する。
ステップS1120にて、プロセッサ10は、オブジェクト情報242に基づいて、オブジェクトを仮想空間2に配置する。
ステップS1130にて、プロセッサ10は、仮想空間2におけるユーザ190の初期位置からの視界画像を提示する。初期位置は、例えば、当該処理を実現するプログラムにおいて予め定められた初期情報に基づいて特定される。
ステップS1140にて、プロセッサ10は、ユーザ190によるコントローラ160の操作に基づいて、配置オブジェクトからユーザ190が視線を向けることを希望する対象オブジェクトを特定する。別の局面において、プロセッサ10は、注視センサ140から出力される信号に基づいて、ユーザ190が向けている視線上にあるオブジェクトを特定し得る。
ステップS1150にて、プロセッサ10は、コントローラ160からの信号に基づいて、仮想空間2におけるユーザ190の視点を移動するための操作を検出する。例えば、ユーザ190が移動を確定するための操作をコントローラ160に対して行なうと、ユーザ190の視線が移動し得る。なお、別の局面において、この確定の操作は、必ずしも行なわれなくてもよい。例えば、対象オブジェクトが特定されている状態が予め定められた時間続いた場合、プロセッサ10は、ユーザ190の視点の移動を確定してもよい。
ステップS1160にて、プロセッサ10は、ユーザ190の視点の移動先を特定する。例えば、プロセッサ10は、ステップS1150において行なわれたコントローラ160の操作によって確定した場所を移動先として特定する。別の局面において、プロセッサ10は、ユーザ190が予め定められた時間見続けていた場所を移動先として特定する。
ステップS1170にて、プロセッサ10は、移動先から対象オブジェクトまでの方向を、ユーザ190の移動先の視点からの視線に決定する。例えば、ユーザ190がスクリーンオブジェクトとユーザ190との間にいる他のユーザと会話している場合を考える。ユーザ190が、スクリーンオブジェクトの前方に移動した場合、他のユーザがユーザ190の視界から外れる可能性、あるいは、他のユーザの横顔しか見られない可能性が生じ得る。このような場合、プロセッサ10は、ユーザ190が、移動先の場所(すなわち、スクリーンオブジェクトの前方)から他のユーザを視認している態様で視界画像を提示するためのデータを生成する。
ステップS1180にて、プロセッサ10は、移動先の視点からの視界画像を提示するためのデータをHMD110に提示する。HMD110がそのデータに基づく画像をモニタ112に表示すると、ユーザ190は、仮想空間2の移動先から対象オブジェクトを見ることになる。例えば、他のユーザの顔が視界画像に含まれる状態が維持されるので、仮想空間2を介したコミュニケーションが維持され得る。
図12は、別の局面において対象オブジェクトが特定される態様を表わすフローチャートである。例えば、プロセッサ10は、移動先の選択を受け付けるユーザインターフェイスオブジェクトを仮想空間2にさらに提示し得る。ユーザ190は、ユーザインターフェイスオブジェクトから移動先を決定してもよい。
具体的には、ステップS1210にて、プロセッサ10は、視線を向ける対象オブジェクトを含むユーザインターフェイスオブジェクトを仮想空間2に提示する。ユーザインターフェイスオブジェクトは、例えば、仮想空間2をユーザ190の頭上から表した画像、仮想空間2において移動可能な場所として予め定められた場所を表わした画像等である。
ステップS1220にて、プロセッサ10は、視線を向ける対象オブジェクトの選択を検知する。対象オブジェクトは、コントローラ160に対する操作、HMD110を装着した状態でのユーザ190の頭の動き、ユーザ190による視線の検出等により選択される。その後、制御はメインフローに戻される。
[データ構造]
図13を参照して、コンピュータ200のデータ構造について説明する。図13は、コンピュータ200のメモリモジュール240に保持される位置情報244の詳細を表わす図である。
状態(A)に示されるように、位置情報244は、オブジェクトID1310と、ユーザID1320と、ユーザ名称1330と、視点位置1340と、視線方向1350とを含む。オブジェクトID1310は、仮想空間2に配置されるオブジェクトを識別する。オブジェクトは、例えば、仮想空間2を共有する一人以上のユーザの各々に対応するアバターオブジェクトであり得る。ユーザID1320は、当該オブジェクトIDで特定されるオブジェクトに対応するユーザを識別する。ユーザ名称1330は、当該ユーザIDで識別されるユーザの名前を表わす。視点位置1340は、仮想空間2における当該ユーザのアバターオブジェクトの位置を特定する。視線方向1350は、仮想空間2のユーザが視点位置1340から見ている方向を表わす。視線方向1350は、例えば、ベクトルで表される。
例えば、状態(A)において、ユーザ「A」の視点位置1340は、座標値(Xa,Ya,Za)であり、視線方向1350はVa方向となる。その後、ユーザ「A」が仮想空間2で移動すると、例えば、状態(B)に示されるように、視点位置1340は、座標値(Xa(2),Ya(2),Za(2))となる。
[仮想空間における移動]
図14および図15を参照して、ある局面における視界画像26の変化について説明する。図14は、仮想空間2を共有する二人のユーザのうちの一人が移動した場合の視界画像26の変化を表わす図である。視界画像26は、例えば、ユーザ190によって視認されている。図15は、視界画像26をもたらす仮想空間2における各オブジェクトの配置を表わす図である。
図14の状態(A)に示されるように、ある局面において、視界画像26は、スクリーンオブジェクト1410とアバターオブジェクト1420とを含む。アバターオブジェクト1420は、ユーザ190Nに対応する。仮想空間2において、ユーザ190がユーザ190Nの正面にいる場合、ユーザ190Nに対応するアバターオブジェクト1420は、視界画像26の中央に提示される。
その後、ユーザ190が仮想空間2を移動すると、視界画像26の内容は、ユーザ190の視線の移動に応じて変わる。例えば、仮想空間2において、ユーザ190がユーザ190Nの右方向に移動すると、状態(B)に示されるように、アバターオブジェクト1420は正視した状態を維持しつつ、視界画像26の左方向に提示される。
図15を参照して、状態(A)に示されるように、仮想空間2の部分空間1510は、スクリーンオブジェクト1410と、アバターオブジェクト1420,1520とを含む。状態(A)では、ユーザ190とユーザ190Nとが向かい合っている。このとき、視界画像26は、図14の状態(A)のように提示される。
その後、ユーザ190が部分空間1510を右方向に移動すると、例えば、アバターオブジェクト1520は、状態(B)に示される場所に配置される。このとき、視界画像26は、図14の状態(B)のように提示される。ユーザ190N(アバターオブジェクト1420)の視線方向は変わらないので、ユーザ190Nは、ユーザ190の方を向いていない。
次に、図16および図17を参照して、ある実施の形態に従う仮想空間2の移動についてさらに説明する。図16は、ある実施の形態に従う仮想空間2の部分空間1610における各オブジェクトの配置を表わす図である。図17は、仮想空間2を共有する二人のユーザのうちの一人が移動した場合の視界画像26の変化を表わす図である。
図16に示されるように、ある局面において、状態(A)のように、ユーザ190(アバターオブジェクト1520)と、ユーザ190N(アバターオブジェクト1420)とは、互いに向き合っている。このとき、図17の状態(A)に示されるように、ユーザ190に提示される視界画像26は、ユーザ190Nのアバターオブジェクト1420が正面を(ユーザ190の方を)向いた画像である。
その後、ユーザ190が仮想空間2を移動して、ユーザ190Nの右前方に移動する。このとき、状態(B)に示されるように、ユーザ190の視線は、ユーザ190Nを向いている。ユーザ190Nの視線方向は、状態(A)の視線方向と変わっていない。したがって、図17の状態(B)に示されるように、ユーザ190に提示される視界画像26は、ユーザ190Nの横顔を提示することになる。したがって、ユーザ190は、仮想空間2を移動した後も、少なくともユーザ190Nの方向を視認し続けることができる。
図18および図19を参照して、仮想空間2における移動の別の局面について説明する。図18は、仮想空間2の部分空間1810においてスクリーンオブジェクト1410を見ているユーザ190(=アバターオブジェクト1520)の移動の態様を表わす図である。
図18を参照して、状態(A)に示されるように、ある局面において、ユーザ190(=アバターオブジェクト1520)は、スクリーンオブジェクト1410の方を見ている。その後、ユーザ190は、仮想空間2を移動する。例えば、ユーザ190は、状態(B)に示されるように、スクリーンオブジェクト1410の右に移動する場合がある。
このとき、状態(A)において、アバターオブジェクト1520の視線1811がスクリーンオブジェクト1410に向けられていたことに基づいて、ユーザ190の仮想空間2における移動の後も、移動先からのユーザ190の視線はスクリーンオブジェクト1410に向けられ続ける。具体的には、状態(B)に示されるように、アバターオブジェクト1520の視線1812は、スクリーンオブジェクト1410に向けられる。その結果、HMD110を装着したユーザ190は、仮想空間2において移動した後も、スクリーンオブジェクト1410の中心を向くことになるので、没入感が損なわれにくくなる。
なお、視線1811は、例えば、スクリーンオブジェクト1410の中心の座標値と、アバターオブジェクト1520の中心の座標値とを結ぶベクトルとして規定される。また、視線1812は、スクリーンオブジェクト1410の中心の座標値と、アバターオブジェクト1520の中心の座標値とを結ぶベクトルとして規定される。
スクリーンオブジェクト1410の中心の座標値は、スクリーンオブジェクト1410が配置されている位置情報に基づいて特定される。例えば、仮想空間2において各オブジェクトの位置が、当該オブジェクトの中心の座標値で示される場合、スクリーンオブジェクト1410の位置情報が、スクリーンオブジェクト1410の中心の座標値として使用される。各オブジェクトの初期の位置としては、仮想空間2を提示するために実行されるプログラムにおいて予め規定された位置が使用される。
[制御構造]
図19は、仮想空間2における移動が行なわれた場合に視界画像を提示するためにコンピュータ200が実行する処理の一部を表わすフローチャートである。以下の処理は、例えば、コンピュータ200のプロセッサ10が、ユーザ190によるコントローラ160の操作またはユーザ190の視線を検知したことに基づいて実行される。
ステップS1910にて、プロセッサ10は、仮想空間2で一定位置にあるオブジェクトを特定する。例えば、プロセッサ10は、コントローラ160の出力に基づいて、あるいは、ユーザ190による視線に基づいて、視認対象としてのスクリーンオブジェクト1410を特定する。スクリーンオブジェクト1410が特定されると、スクリーンオブジェクト1410の中心の座標値が、メモリ11にロードされ得る。
ステップS1920にて、プロセッサ10は、オブジェクトの基準位置を特定する。例えば、プロセッサ10は、基準位置として、ユーザ190により選択されたスクリーンオブジェクト1410の中心の座標値を使用する。
ステップS1930にて、プロセッサ10は、移動先のユーザ190の視点を特定する。当該視点として、例えば、仮想空間2における移動先のアバターオブジェクトの座標値が参照される。
ステップS1940にて、プロセッサ10は、移動先からオブジェクトに向かう視線方向を決定する。プロセッサ10は、ユーザ190に対応するアバターオブジェクトから、対象となるオブジェクト(例えば、スクリーンオブジェクト1410)への向きを特定する。この向きは、例えば、仮想空間2におけるベクトルとして導出される。
ステップS1950にて、プロセッサ10は、決定された視線方向に基づいて視界画像データを生成する。より具体的には、ユーザ190が仮想空間2を移動した場合、プロセッサ10は、移動先の場所を視点として視界画像を提示するための視界画像データを生成する。
ステップS1960にて、プロセッサ10は、視界画像データをHMD110に出力する。モニタ112が視界画像データに基づく画像を表示すると、ユーザ190は、仮想空間2で移動した後の場所からスクリーンオブジェクト1410の中心を見た視界画像を認識できる。
図20を参照して、他の局面について説明する。図20は、ある実施の形態に従ってユーザインターフェイスが仮想空間2に提示される態様を表わす図である。コンピュータ200は、視界画像26に移動先の指定を支援するためのユーザインターフェイスオブジェクトを表示してもよい。
状態(A)に示されるように、コンピュータ200は、視界画像26をHMD110に提示する。視界画像26は、ユーザ190によって視認されている。視界画像26は、スクリーンオブジェクト1410とアバターオブジェクト1420とを含む。
状態(B)に示されるように、コンピュータ200は、視界画像26に、さらに、ユーザインターフェイスオブジェクト2000を提示し得る。ユーザインターフェイスオブジェクト2000は、例えば、部分空間1610を表わす。ユーザ190は、ユーザインターフェイスオブジェクト2000において提示された部分空間1610の配置図を参照し、コントローラ160を用いて、あるいは、視線を向けて一定時間凝視することにより移動先を選択できる。ユーザ190がその選択を確定すると、ユーザ190は、仮想空間2を移動する。例えば、ユーザ190は、図16に示されるように、状態(A)のアバターオブジェクト1520から、状態(B)のアバターオブジェクト1520の場所に移動し得る。
その結果、図20の状態(C)として示されるように、視界画像26は、移動先からチャット相手のユーザ190Nのアバターオブジェクト1420を見ている態様で提示される。このようにして、ユーザ190Nは、仮想空間2を移動した後も、ユーザ190Nの方を向くことになるので、仮想空間2を介したコミュニケーションが維持される。
図21を参照して、ユーザインターフェイスオブジェクト2000の他の態様について説明する。図21は、ある実施の形態に従って仮想空間2における移動方向の選択を受け付けるユーザインターフェイスオブジェクト2000の一態様を表わす図である。ユーザインターフェイスオブジェクト2000は、ユーザ190に対応するアバターオブジェクト2100と、移動方向の選択を受け付ける矢印オブジェクト2110,2120,2130とを含む。
ユーザ190は、仮想空間2に提示される矢印オブジェクト2110,2120,2130のいずれかを選択できる。例えば、矢印オブジェクト2110を選択すると、ユーザ190は、仮想空間2において前進することになり、視界画像の一部が拡大表示される。別の局面において、矢印オブジェクト2110の方向と逆方向の矢印オブジェクトが提示されてもよい。この場合、この矢印オブジェクトが選択されると、ユーザ190は、仮想空間2において後退することになり、視界画像として提示される範囲が広がる。視界画像の拡大あるいは縮小は、矢印オブジェクトを選択する時間、例えば、コントローラを押下する時間に依存し得る。
別の局面において、ユーザ190が、矢印オブジェクト2120を選択すると、視界画像は、ユーザの左前方の画像に切り換わる。逆に、ユーザ190が、矢印オブジェクト2130を選択すると、視界画像は、ユーザの右前方の画像に切り換わる。なお、左前方または右前方への移動の受付は、矢印オブジェクト2120,2130に限られない。例えば、矢印オブジェクト2120,2130の代わりに、回転動作を受け付けるハンドルオブジェクトが提示されてもよい。この場合、ハンドルオブジェクトの回転に応じて視界方向をリニアに切り換えることができる。
(まとめ)以上より、開示された技術的特徴は、以下のように要約され得る。
[構成1] ある実施の形態に従うと、仮想空間2を介して通信するためにコンピュータ200で実行される方法は、コンピュータ200のプロセッサ10が、ユーザ190が視線を向けることを所望するオブジェクトを特定するステップと、移動管理モジュール234として、仮想空間2においてユーザ190の視点を移動するための操作を受け付けるステップと、視線変更モジュール236として、当該移動先からオブジェクトに向かう方向を視点の移動先の視線として特定するステップと、視界画像生成モジュール223として、ユーザ190の視点を移動させた後に、移動先からの視界画像をユーザ190に提供するステップとを含む。
[構成2] ある実施の形態に従うと、オブジェクトを特定するステップは、ユーザ190と通信する他のユーザ(例えば、ユーザ190N,190X)に対応するアバターオブジェクトを特定することを含む。オブジェクトに向かう方向を特定するステップは、移動先からアバターオブジェクトに向かう方向を特定することを含む。
[構成3] ある実施の形態に従うと、オブジェクトを特定するステップは、仮想空間2において画像が表示されるスクリーンオブジェクト1410を特定することを含む。オブジェクトに向かう方向を特定するステップは、移動先からスクリーンオブジェクト1410に向かう方向を特定することを含む。
[構成4] オブジェクトを特定するステップは、HMD110を装着したユーザ190の動作に基づいて、ユーザ190によって視認されているオブジェクトを検出することを含む。
[構成5] ユーザ190の動作は、HMD110を装着したユーザ190の頭の動き、当該ユーザ190の視線の動き、または、ユーザ190によるコントローラ160の操作の少なくともいずれかを含む。
[構成6] 上記方法は、プロセッサ10が、仮想空間2において選択対象となる一つ以上の項目を含むユーザインターフェイスオブジェクト2000を仮想空間2に提示するためのデータを生成するステップをさらに含む。オブジェクトを特定するステップは、ユーザインターフェイスオブジェクト2000からいずれかの項目が選択されたことに基づいて、当該選択された項目に対応するオブジェクトを、当該オブジェクトとして特定することを含む。
[構成7] 上記方法は、プロセッサ10が、仮想空間2における方向の指定を受け付けるユーザインターフェイスオブジェクト2000を仮想空間2に提示するステップをさらに含む。方向を特定するステップは、ユーザインターフェイスオブジェクト2000において指定された方向を、当該方向として特定することを含む。
[構成8] 操作を受け付けるステップは、仮想空間2において当該ユーザ190の状態を調整するための動作を受け付けることを含む。方向を特定するステップは、調整後の状態に基づいて、移動先からオブジェクトに向かう方向を特定することを含む。
[構成9] ある実施の形態に従うと、上記のいずれかの構成を有する方法をコンピュータに実行させるプログラムが提供される。
[構成10] ある実施の形態に従うと、上記のプログラムを格納したメモリと、当該プログラムを実行するためのプロセッサとを備える情報処理装置が提供される。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
仮想空間における移動では、移動先を見て決定ボタンを押す等の操作が必要になる。また、特開2001−338311号公報に開示された技術によれば、マウス等の入力装置の操作が必要となる。そのため、仮想空間における移動のためには、煩雑な操作が必要とされていた。したがって、煩雑な操作を行なうことなく仮想空間を移動するための技術が必要とされている。