以下に、図面を参照しつつ、仮想空間を提供するコンピュータの実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。
<1.開示の概要>
図1を参照して、仮想空間においてオブジェクトが移動する場合の、補完画像の表示について説明する。本実施の形態において、補完画像とは、移動するオブジェクトの軌跡を表わす画像(軌跡オブジェクト)を表示する画像をいう。図1は、オブジェクトの移動の際の視界画像における変化を説明するための図であり、視界画像1001,1002,1003を含む。
図1を参照して、コンピュータは、まず視界画像1001を表示する。視界画像1001は、オブジェクト1110,1120とともにオブジェクト901を含む。オブジェクト1110は、たとえば、テーブルを表わすオブジェクトである。オブジェクト1120は、たとえば、スクリーンを表わすオブジェクトである。オブジェクト901は、たとえば、視界画像1001を表示するHMDのユーザとは異なるユーザに対応するアバターオブジェクトである。
次に、コンピュータは、視界画像1001の次に視界画像1002を表示する。視界画像1002は、軌跡オブジェクト910を含む。視界画像1002は、補完画像の一例である。
軌跡オブジェクト910は、たとえば、視界画像1001におけるオブジェクト901の位置から延びる弾性体を表す。図1の例は、オブジェクト901が視界画像1001が表示された時点の次の時点で左方に移動する。このことに対応して、軌跡オブジェクト910は右から左へ延びる弾性体を表す。
視界画像1002内の軌跡オブジェクト910の右端の位置は、視界画像1001内のオブジェクト901の位置に対応する。なお、軌跡オブジェクト910が後述するようにオブジェクト901の移動経路を表わす限りにおいては、軌跡オブジェクト910の端部の位置はオブジェクト901の位置に制限されない。
その後、コンピュータは、視界画像1003を表示する。視界画像1003は、オブジェクト901を含まない。
図1を参照して説明されたうように、コンピュータは、視界画像1001内のオブジェクト901が視界画像1001外へ移動する場合、オブジェクト901を含まない視界画像1003を表示する前に、軌跡オブジェクト910を含む視界画像1002を表示する。
<2.チャットシステムの概要>
本実施の形態では、提供される仮想空間の一例としてチャットシステムが挙げられる。
図2は、チャットシステムによる各ユーザへの仮想空間の提供の態様を模式的に説明するための図である。図2に示されるように、チャットシステム1000は、コンピュータ200Aとコンピュータ200Bとを含む。コンピュータ200Aは、仮想空間画像22Aを提供する。コンピュータ200Bは、仮想空間画像22Bを提供する。
コンピュータ200Aは、ヘッドマウントデバイス(HMD)110Aに接続されている。HMD110Aは、当該HMD110Aのユーザ190Aの状態に対応した位置に仮想カメラを配置し、当該仮想カメラの視線に従った視界画像をモニタ112Aに表示する。モニタ112Aは、視界画像を表示するディスプレイの一例である。
コンピュータ200Bは、HMD110Bに接続されている。HMD110Bは、当該HMD110Bのユーザ190Bの状態に対応した位置に仮想カメラを配置し、当該仮想カメラの視線に従った視界画像をモニタ112Bに表示する。
コンピュータ200Aとコンピュータ200Bは、同じ仮想空間画像を表示し得る。当該仮想空間には、ユーザ190Aに対応するアバターオブジェクトとユーザ190Bに対応するアバターオブジェクトとが配置され得る。これにより、ユーザ190Aとユーザ190Bは、同じ仮想空間(たとえば、仮想のチャットルームを表わす空間)において相手のユーザに対応するオブジェクトを視認し得る。ある実施の形態では、コンピュータ200Aによって表示される視界画像は、仮想空間画像からHMD110Aのユーザの向きに従った範囲の画像が切り取られたものである。ある実施の形態では、コンピュータ200Bによって表示される視界画像は、仮想空間画像からHMD110Bのユーザの向きに従った範囲の画像が切り取られたものである。
コンピュータ200A,200Bは、ネットワーク19を介してサーバ150に接続されている。サーバ150は、コンピュータ200A,200Bを介してHMD110A,110Bのユーザ190A,190Bの挙動を取得し、各ユーザの挙動をコンピュータ200A,200Bと共有する。これにより、コンピュータ200A,200Bは、各ユーザの挙動が反映されたチャットシステムを提供できる。
より具体的には、コンピュータ200Aは、ユーザ190Aの挙動だけでなく、コンピュータ200Bのユーザであるユーザ190Bの挙動が反映されたチャットシステムを提供する。当該チャットシステムを表わす視界画像は、ユーザ190Bに対応するアバターオブジェクトを表示する。たとえば、図1の視界画像1001は、コンピュータ200Aによって提供される。視界画像1001内のオブジェクト901は、ユーザ190Bに対応する。
本明細書では、コンピュータ200Aとコンピュータ200Bの共通した性質を言及する場合、「コンピュータ200」と呼ぶ場合がある。また、HMD110AとHMD110Bの共通した性質を言及する場合、「HMD110」と呼ぶ場合がある。
本明細書では、コンピュータ200とHMD110とを含むシステムとして、「HMDシステム」と呼ぶ場合がある。
<3.HMDシステム>
図3を参照して、HMDシステム100の構成について説明する。図3は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、ネットワーク19を介して、遠隔地にある他のHMDシステム100A,100Bと通信することができる。HMDシステム100Aは、ユーザ190Aによって使用され得る。HMD100Bは、ユーザ190Bによって使用され得る。HMDシステム100A,100Bの構成は、HMDシステム100の構成と同様である。HMDシステム100の構成要素と同様の構成要素には、符号A,Bが付されている。したがって、以下、適宜、HMDシステム100の構成を参照して、各HMDシステムを説明する。
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD110は、モニタ112と、スピーカ115と、マイク119と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150、コンピュータ200A,200Bその他のコンピュータと通信可能である。他の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
HMD110は、ユーザ190の頭部に装着され、動作中に仮想空間をユーザ190に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、たとえば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、たとえば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能なメニューの画像を含む。
ある局面において、コンピュータ200,200A,200Bは、各々のユーザ190,190A,190Bの動作に基づく信号を他のコンピュータとの間で通信する。例えば、コンピュータ200は、仮想空間を提供するための映像信号を生成し、HMD110に映像信号を送信する。HMD110は、その映像信号をモニタ112に送信すると、モニタ112は、その受信した映像信号に基づく仮想空間画像を表示する。他のコンピュータとそのコンピュータに接続されているHMDも、コンピュータ200とHMD110の場合と同様である。
HMDシステム100A,100Bのそれぞれは、HMDシステム100と同様の構成を有する。すなわち、HMDシステム100A,100Bのそれぞれは、HMD110A,110B、HMDセンサ120A,120B、コントローラ160A,160B、コンピュータ200A,200Bのそれぞれを備える。HMD110A,110Bのそれぞれは、モニタ112A,112B、スピーカ115A,115B、マイク119A,119B、注視センサ140A,140Bのそれぞれを含む。コントローラ160A,160Bのそれぞれは、モーションセンサ130A,130Bのそれぞれを含み得る。HMD110A,110Bのそれぞれは、センサ114A,114Bを含み得る。
ある実施の形態において、コンピュータ200,200A,200Bが、仮想空間を介して通信するためのVR(Virtual Reality)チャットアプリケーションを実行している時、コンピュータ200,200A,200Bは、各HMD110,110A,110Bによって提示される仮想空間を介した通信を実現する。仮想空間を介した通信では、映像と音声とが通信される。この時、各ユーザに対応するアバターオブジェクトが、仮想空間に提示される。例えば、ユーザ190が他のユーザ190A,190Bと通信しているとき、ユーザ190が装着したHMD110は、ユーザ190A,190Bに対応するアバターオブジェクトを提示する。ユーザ190は、仮想空間に没入した状態で、アバターオブジェクトを介して他のユーザ190A,190Bと通信することができる。
ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。他の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、たとえば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
スピーカ115は、コンピュータ200から受信した音声データに対応する音声(発話)を外部に出力する。マイク119は、ユーザ190の発話に対応する音声信号をコンピュータ200に出力する。ユーザ190は、マイク119を用いて他のユーザ190A,190Bに向けて発話でき、スピーカ115を用いて他のユーザ190A,190Bの発話を聞くことができる。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は、たとえば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
なお、他の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
他の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。たとえば、センサ114が、角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサなどである場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。たとえば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
サーバ150は、コンピュータ200にプログラムを送信し得る。他の局面において、サーバ150は、他のユーザによって使用されるHMD110に仮想現実を提供するための他のコンピュータ200と通信し得る。たとえば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが対話(VRチャット)を楽しむことを可能にする。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。他の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。他の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。他の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
モーションセンサ130は、ある局面において、ユーザ190の手に取り付けられて、ユーザ190の手の動きを検出する。たとえば、モーションセンサ130は、手の回転速度、回転数などを検出する。モーションセンサ130によって得られたユーザ190の手の動きの検出結果を示すデータは、コンピュータ200に送られる。モーションセンサ130は、たとえば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。他の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。たとえば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、たとえば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
他の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに他の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
より詳細には、ある局面において、ユーザ190は、コントローラを用いてあるいは通信を希望するアバターオブジェクトを視線で選択することにより、通信相手(以下「チャット相手」ともいう。)を選択し得る。以下、チャットの相手としてユーザ190Aが選択された場合について説明する。なお、チャット相手は一人に限られず、二人以上が選択され得る。
ユーザ190が、ユーザ190Aを選択した後、マイク119に向かって発話すると、その音声に基づく音声信号がコンピュータ200に送信される。また、注視センサ140は、ユーザ190の視線の動きを検出する。検出結果はアイトラッキングデータとしてコンピュータ200に送られる。コンピュータ200は、その受信した音声信号に基づく音声データおよびアイトラッキングデータをユーザ190Aに送信する。例えば、コンピュータ200は、ネットワーク19を介してサーバ150に音声データとアイトラッキングデータとを送信する。音声データおよびアイトラッキングデータは、それぞれ、ユーザ190Aが使用するコンピュータ200Aのネットワークアドレスを含む。サーバ150は、コンピュータ200から受信した音声データおよびアイトラッキングデータを、ネットワーク19を介してコンピュータ200Aにそれぞれ送信する。なお、音声データおよびアイトラッキングデータがコンピュータ200Aに受信されるタイミングは、常に同じではなく、いずれかのデータが他のデータよりも遅延する場合もあり得る。
コンピュータ200Aは、サーバ150から受信した音声データを、ユーザ190Aが装着するHMD110Aのスピーカ115に出力する。また、コンピュータ200Aは、受信したアイトラッキングデータに基づいてユーザ190のアバターオブジェクトの視線を変更するためのデータを生成し、そのデータをモニタ112に送信する。ユーザ190Aは、HMD110Aのスピーカ115を介してユーザ190の音声を聞くことができ、モニタ112に提示されたアバターオブジェクトを視認できる。
ユーザ190Aがユーザ190に向けて発話を行なう場合も、上述の場合と同様にして音声データとアイトラッキングデータとが、コンピュータ200Aからコンピュータ200に送信される。このようにして、ユーザ190およびユーザ190Aは、各々のアバターオブジェクトを用いて、仮想空間において対話することができる。
次に、サーバ150の構成について説明する。図3に示されるように、一局面に従うサーバ150のハードウェア構成の一例を表すブロック図である。サーバ150は、主たる構成要素として、プロセッサ151と、メモリ152と、通信インターフェース153とを備える。
プロセッサ151は、サーバ150に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ152に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ151は、CPU、MPU、FPGA、その他のデバイスとして実現される。
メモリ152は、プログラムおよびデータを格納する。プログラムは、例えば、プロセッサ151によって実行される。データは、サーバ150に入力されたデータと、プロセッサ151によって生成されたデータとを含む。
メモリ152は、揮発性メモリおよび/または不揮発性メモリを含む。メモリ152は、プログラムおよびデータを永続的に保持する記憶装置を含んでもよい。この場合、メモリ152は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。メモリ152に格納されるプログラムは、チャットシステムの各HMDシステム100において提供される仮想空間を、他のHMDシステム100における入力に従って調整するためのプログラムを含む。メモリ152は、後述するチャットモニタ情報およびオブジェクト情報を格納するためのチャット情報格納部152Aを含む。
通信インターフェース153は、ネットワーク19を介して他のコンピュータ(例えば、コンピュータ200)と通信する。ある局面において、通信インターフェース153は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth(登録商標)、NFC、その他の無線通信インターフェイスとして実現される。ただし、通信インターフェース153は上述のものに限られない。
[ハードウェア構成]
図4を参照して、本実施の形態に係るコンピュータ200について説明する。図4は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、たとえば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、たとえば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクトなどを含む。
なお、他の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに他の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェイス13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HMDI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
ある実施の形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。たとえば、入出力インターフェイス13は、モーションセンサ130から出力された信号の入力を受ける。他の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光などをコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(たとえば、サーバ150、コンピュータ200A,200B等)と通信する。ある局面において、通信インターフェイス14は、たとえば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、遠隔地を結ぶリモート会議を実現するためのソフトウェア、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェアなどを含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
なお、図4に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、他の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(たとえば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図5を参照して、uvw視野座標系について説明する。図5は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図5に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図6を参照して、仮想空間についてさらに説明する。図6は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図6では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視認領域23を規定する。視認領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図7を参照して、ユーザの視線方向の決定について説明する。図7は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視認領域23に対してユーザ190が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、HMDシステム100を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図8および図9を参照して、視認領域23について説明する。図8は、仮想空間2において視認領域23をX方向から見たYZ断面を表す図である。図9は、仮想空間2において視認領域23をY方向から見たXZ断面を表す図である。
図8に示されるように、YZ断面における視認領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図9に示されるように、XZ断面における視認領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視認領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視認領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視認領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視認領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図10を参照して、コントローラ160の一例について説明する。図10は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図10に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図10に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図10に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
図11は、右コントローラ800を把持するユーザ190の右手に対応して仮想空間に配置されるハンドオブジェクト810の一例を示す。例えば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、入力操作が、右コントローラ800のボタン34に対して行なわれると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタン34に対して行なわれていない場合には、図11に示されるように、ハンドオブジェクト810の人差し指を伸ばした状態とすることもできる。例えば、ハンドオブジェクト810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
[HMDの制御装置]
図12を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図12は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図12に示されるように、コンピュータ200は、表示制御モジュール220と、音声制御モジュール225と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、視線検出モジュール233と、識別情報制御モジュール234と、チャット制御モジュール235とを含む。
ある実施の形態において、表示制御モジュール220、音声制御モジュール225、仮想空間制御モジュール230は、プロセッサ10によって実現される。他の実施の形態において、複数のプロセッサ10が表示制御モジュール220、音声制御モジュール225、または仮想空間制御モジュール230としてそれぞれ作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向きなどを制御する。視界領域決定モジュール222は、HMD110を装着したユーザ190の頭の向きに応じて、視認領域23を規定する。視界画像生成モジュール223は、決定された視認領域23に基づいて、モニタ112に表示される視界画像を生成する。さらに、視界画像生成モジュール223は、仮想空間制御モジュール230から受信したデータに基づいて、視界画像を生成する。視界画像生成モジュール223によって生成された視界画像のデータは、通信制御モジュール250によってHMD110に出力される。基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
音声制御モジュール225は、HMD110から、ユーザ190の発話に基づく音声信号がコンピュータ200に入力されたことを検知する。音声制御モジュール225は、当該発話に対応する音声信号にその入力時刻を付して、音声データを生成する。音声制御モジュール225は、ユーザ190のチャットの相手としてコンピュータ200が通信可能な状態にある他のコンピュータ200A,200Bのうち、ユーザ190によって選択されたユーザが使用するコンピュータにその音声データを送信する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。まず、仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に配置されるオブジェクトのデータを生成する。例えば、仮想オブジェクト生成モジュール232は、仮想空間2を介してユーザ190とのチャットを行なう他のユーザ190A,190Bをそれぞれ表わすアバターオブジェクトのデータを生成する。さらに、仮想オブジェクト生成モジュール232は、他のユーザ190A,190Bからの発話に応じて検出される視線に基づいて、当該ユーザのアバターオブジェクトの視線を変更し得る。
視線検出モジュール233は、注視センサ140からの出力に基づいて、ユーザ190の視線を検出する。ある局面において、視線検出モジュール233は、ユーザ190による発話が検知されたことに基づいて、その時のユーザ190の視線を検出する。視線の検出は、例えば、非接触型のアイトラッキングのように公知の技術により実現される。一例として、強膜反射法のように、注視センサ140は、ユーザ190の目に赤外線を当て、反射光をカメラ(図示しない)で撮影することにより得られたデータに基づいて、ユーザ190の視線の動きを検出し得る。ある局面において、視線検出モジュール233は、モニタ112の表示領域のいずれかを基準とした座標値(x、y)として、ユーザ190の視線の動きに応じた各位置をそれぞれ特定する。
[識別情報の提示]
識別情報制御モジュール234は、仮想空間2に提示されるアバターオブジェクトの識別情報の提示を制御する。例えば、ある局面において、識別情報制御モジュール234は、注視センサ140からの出力に基づいて、ユーザ190の視線が仮想空間2に提示されているアバターオブジェクトに向けられていることを検知する。識別情報制御モジュール234は、そのアバターオブジェクトに対応する他のユーザ(例えば、ユーザ190A,190B)の識別情報を提示する。識別情報は、例えば、当該他のユーザの名前、ハンドルネームその他、他のユーザと区別する情報を含む。
ある局面において、識別情報制御モジュール234は、アバターオブジェクトの向きとは独立に、識別情報を表わすオブジェクトがユーザ190の視点を向くように、当該オブジェクトを提示する。例えば、識別情報制御モジュール234は、識別情報を表わす画像がユーザ190の正面を向くように描画するためのデータをモニタ112に出力する。ユーザ190は、当該アバターオブジェクトを使用しているユーザが誰であるかを容易に知ることができる。
ある局面において、識別情報制御モジュール234は、識別情報が提示された時から経過した時間を計測する。経過した時間が予め定められた時間(例えば、数秒)を超えると、識別情報制御モジュール234は、識別情報の提示を終了する。このようにすると、ユーザ190によって認識された識別情報が仮想空間2に提示され続けなくなるので、仮想空間2に配置されている他のオブジェクトが見にくくなるのを防止できる。
ある局面において、他のユーザ190A,190Bの識別情報が消去された後に、識別情報制御モジュール234は、注視センサ140からの出力に基づいて、ユーザ190の視線が他のユーザ190A,190Bのアバターオブジェクトに再度向けられていることを検知し得る。この場合、識別情報制御モジュール234は、他のユーザ190A,190Bの識別情報を再度提示しない。ユーザ190は既に他のユーザ190A,190Bを認識しているので、不必要な識別情報が仮想空間2に再度提示されることによる煩雑さが防止され得る。
ある局面において、識別情報制御モジュール234は、他のユーザ190A,190Bの識別情報が既に表示されたアバターオブジェクトの提示の態様を、識別情報が提示されていないアバターオブジェクトの提示の態様とは異なる態様で、HMD110に提示してもよい。このようにすると、ユーザ190は、既に識別情報が提示されたアバターオブジェクトと他のアバターオブジェクトとを容易に区別できる。
ある局面において、識別情報制御モジュール234は、サーバ150から送られる信号に基づいて、仮想空間2におけるアバターオブジェクトの移動を検知し得る。例えば、他のユーザ190A,190Bが右コントローラ800を操作して、自身のアバターオブジェクトを移動する場合がある。このような場合、仮想オブジェクト生成モジュール232は、その移動先の場所にアバターオブジェクトを提示する。識別情報制御モジュール234は、移動後のアバターオブジェクトの近傍に識別情報を提示する。このようにすると、識別情報の提示中に、他のユーザ190A,190Bの動作に応じて、各ユーザに対応するアバターオブジェクトの仮想空間2における場所が変わっても、各識別情報もアバターオブジェクトの近傍に提示される。ユーザ190は、識別情報とアバターオブジェクトとの対応を見落とすことなく、正確に、他のユーザ190A,190Bを識別できる。
ある局面において、識別情報制御モジュール234は、サーバ150から受信する信号に基づいて、他のユーザ190Aまたはユーザ190Bとの通信が遮断されたことを検知する。遮断は、例えば、通信回線が不安定な場合、移動通信網で使用される電波が途切れた場合、停電が発生した場合等によって生じ得る。識別情報制御モジュール234は、通信の遮断に応答して、アバターオブジェクトと識別情報との提示を終了し得る。識別情報制御モジュール234は、サーバ150から受信する信号に基づいて、遮断していた他のユーザとの通信が再度確立されたことを検知すると、アバターオブジェクトを仮想空間2に提示し得る。
通信が遮断されてから再度確立されるまでの時間が予め定められた時間を下回っている場合には、識別情報制御モジュール234は、アバターオブジェクトと識別情報とを再度提示し得る。識別情報が提示されている状態で通信が遮断された場合、遮断の時間が短い場合には、ユーザ190は、アバターオブジェクトと識別情報とを再度視認することにより、そのアバターオブジェクトを使用する他のユーザを容易にできる。
一方、通信が遮断されている時間が長くなった場合には、アバターオブジェクトが再度仮想空間2に提示された時、ユーザ190は、当該アバターオブジェクトを視認しない場合がある。この場合、ユーザ190が再度アバターオブジェクトを視認した時に、識別情報制御モジュール234は、アバターオブジェクトの近傍に識別情報を再度提示し得る。
さらに別の局面において、識別情報制御モジュール234は、他のユーザ190A,190Bが識別情報の提示を許可している場合にのみ、他のユーザ190A,190Bの識別情報を仮想空間2に提示してもよい。例えば、VRチャットのユーザ登録の局面において、登録を希望する各ユーザは、個人情報の開示の可否を設定してもよい。実名、写真その他の個人情報の開示を希望しないユーザは、当該個人情報の開示を禁止する設定をサーバ150に登録できる。このような場合、そのユーザは、チャットルームにおいて、個人情報を開示することなくアバターオブジェクトのみで、VRチャットを楽しむことができる。そこで、特定のユーザがこのような設定を行っている場合には、識別情報制御モジュール234は、ユーザ190によってアバターオブジェクトが見続けられたとしても、識別情報を表示しない。
チャット制御モジュール235は、仮想空間を介した通信を制御する。ある局面において、チャット制御モジュール235は、ユーザ190の操作に基づいて、あるいは、他のコンピュータ200Aによって送信されたチャットの開始要求に基づいて、メモリモジュール240からチャットアプリケーションを読み出し、仮想空間2を介した通信を開始する。ユーザ190がコンピュータ200にユーザIDとパスワードとを入力してログイン操作を行なうと、ユーザ190は、仮想空間2を介したチャットのメンバーの一人として、そのチャットのセッション(「ルーム」とも呼ばれる)に関連付けられる。その後、コンピュータ200Aを使用するユーザ190Aがそのセッションにおけるチャットにログインすると、ユーザ190とユーザ190Aとが、そのチャットのメンバーとして互いに関連付けられる。チャット制御モジュール235が、コンピュータ200の通信相手となるコンピュータ200Aのユーザ190Aを認識すると、仮想オブジェクト生成モジュール232は、オブジェクト情報242を用いて、ユーザ190Aに対応するアバターオブジェクトを提示するためのデータを生成し、そのデータをHMD110に出力する。HMD110が、そのデータに基づいて、ユーザ190Aに対応するアバターオブジェクトをモニタ112に表示すると、HMD110を装着したユーザ190は、そのアバターオブジェクトを仮想空間2において認識する。
ある実施の形態において、チャット制御モジュール235は、ユーザ190の発話に基づく音声データの入力と、注視センサ140からのデータの入力とを待機する。ユーザ190が、仮想空間2において、アバターオブジェクトを選択するための操作(例えば、コントローラの操作、ジェスチャ、音声による選択、視線による凝視など)を行なうと、チャット制御モジュール235は、その操作に基づいて、そのアバターオブジェクトに対応するユーザ(例えばユーザ190)がチャット相手として選択されたことを検知する。チャット制御モジュール235は、ユーザ190による発話を検知すると、ユーザ190Aが使用するコンピュータ200Aのネットワークアドレスに基づいて、通信制御モジュール250を介して、マイク119から送られてきた信号に基づく音声データと、注視センサ140から送られてきた信号に基づくアイトラッキングデータとを、コンピュータ200Aに送信する。コンピュータ200Aは、アイトラッキングデータに基づいて、ユーザ190のアバターオブジェクトの視線を更新し、音声データをHMD110Aに送信する。コンピュータ200Aが、同期機能を有している場合には、モニタ112におけるアバターオブジェクトの視線の変化と、スピーカ115からの音声の出力とが、ほぼ同じタイミングで実現されるので、ユーザ190Aは、違和感を感じにくくなる。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、チャットモニタ情報244とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2を介した通信のために使用されるアバターオブジェクトを表示するためのデータ、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。アバターオブジェクトを表示するためのデータは、例えば、チャット相手として予め関係が確立された通信相手を模式的に表わす画像データ、当該通信相手の写真等を含み得る。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム、当該アプリケーションプログラムを実行する際に必要となるユーザID、パスワードなどを保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザ190によって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(たとえば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
チャットモニタ情報244は、コンピュータ200と他のコンピュータ200A,200Bとの間で共有される仮想空間2を介した通信の情報を含む。チャットモニタ情報244は、例えば、仮想空間2を用いたチャットに参加している各ユーザの識別情報、各ユーザのログインステータス、識別情報の提示の可否を制御するデータ、識別情報がユーザ190に最後に提示された日時等を含む。
ある局面において、各ユーザがVRチャットのために予め準備されたチャットルームにログインすると、当該チャットルームにログインしている他のユーザが使用するコンピュータに、そのログインしたユーザの情報が送信される。例えば、ユーザ190A,190Bがそれぞれチャットルームにログインすると、ユーザ190A,190BのユーザID,識別情報、ログインステータス(例「ログイン」)、識別情報の提示の可否が、コンピュータ200A,200Bから、ユーザ190のコンピュータ200に送信される。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。通信制御モジュール250は、有線LAN、無線LANのような公知の通信技術によって実現される。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、たとえば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。他の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
コンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリなどの固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラムなどを含み得る。
[2ユーザ間の通信によるコンピュータ間の動作]
ここで、二人のユーザ190,190Aが仮想空間2を介して通信する場合のコンピュータ200,200Aの動作について説明する。以下、コンピュータ200Aに接続されたHMD110Aを装着したユーザ190Aが、コンピュータ200に接続されたHMD110を装着したユーザ190に発話する場合について説明する。
(送信側)
ある局面において、HMD110Aを装着したユーザ190Aは、ユーザ190とチャットするために、マイク119に向かって発話する。発話の音声信号は、HMD110Aに接続されているコンピュータ200Aに送信される。音声制御モジュール225は、音声信号を音声データに変換し、発話が検出された時を表わすタイムスタンプを音声データに関連付ける。タイムスタンプは、例えば、プロセッサ10の内部クロックの時刻データである。ある局面において、音声信号が通信制御モジュール250によって音声データに変換される時の時刻データがタイムスタンプとして使用される。
ユーザ190Aが発話しているとき、ユーザ190Aの視線の動きは、注視センサ140によって検出されている。注視センサ140による検出結果(アイトラッキングデータ)は、コンピュータ200Aに送られる。視線検出モジュール233は、その検出結果に基づいて、ユーザ190Aの視線の変化を表わす各位置(例えば瞳孔の位置)を特定する。
コンピュータ200Aは、音声データとアイトラッキングデータとをコンピュータ200に送信する。音声データおよびアイトラッキングデータは、まず、サーバ150に送られる。サーバ150は、音声データおよびアイトラッキングデータの各ヘッダにある宛先を参照し、音声データおよびアイトラッキングデータをコンピュータ200に送信する。このとき、音声データがコンピュータ200に到達するタイミングと、アイトラッキングデータがコンピュータ200に到達するタイミングとは、一致しない場合がある。
(受信側)
コンピュータ200は、コンピュータ200Aによって送信されたデータをサーバ150から受信する。ある局面において、コンピュータ200のプロセッサ10は、通信制御モジュール250から送られるデータに基づいて、音声データを受信したことを検知する。プロセッサ10は、音声データの送信元(すなわちコンピュータ200A)を特定すると、チャット制御モジュール235として、HMD110のモニタ112に、チャットの画面を表示させる。
プロセッサ10は、さらに、アイトラッキングデータを受信したことを検知する。プロセッサ10は、アイトラッキングデータの送信元(すなわちコンピュータ200A)を特定すると、仮想オブジェクト生成モジュール232として、ユーザ190Aのアバターオブジェクトを表示するためのデータを生成する。
別の局面において、プロセッサ10が、音声データよりも先にアイトラッキングデータを受信する場合があり得る。この場合、プロセッサ10は、アイトラッキングデータから送信元識別番号を検出すると、アイトラッキングデータに対応して送信された音声データが存在すると判定する。プロセッサ10は、そのアイトラッキングデータに含まれる送信元識別番号および時刻データと同じ送信元識別番号および時刻データを含む音声データを受信するまで、アバターオブジェクトを表示するためのデータの出力を待機する。
さらに別の局面において、プロセッサ10は、アイトラッキングデータよりも先に音声データを受信する場合があり得る。この場合、プロセッサ10は、音声データから送信元識別番号を検出すると、その音声データに対応して送信されたアイトラッキングデータが存在すると判定する。プロセッサ10は、その音声データに含まれる送信元識別番号および時刻データと同じ送信元識別番号および時刻データを含むアイトラッキングデータを受信するまで、音声データの出力を待機する。
なお、上記の各局面において、比較対象となる時刻データは、完全に同一の時刻を示していなくてもよい。
プロセッサ10は、同じ時刻データを含む音声データおよびアイトラッキングデータの受信を確認すると、音声データをスピーカ115に出力し、アイトラッキングデータに基づく変更が反映されたアバターオブジェクトを表示するためのデータをモニタ112に出力する。その結果、ユーザ190は、ユーザ190Aによって発せられた音声とアバターとを同じタイミングで認識できるので、信号の伝送遅延によるタイムラグ(たとえば、アバターオブジェクトの変化と音声出力のタイミングのずれ)を感じることなく、チャットを楽しむことができる。
また、ユーザ190Aが使用するコンピュータ200Aのプロセッサ10も、上述の処理と同様に、音声データの出力タイミングと、ユーザ190の視線の動きが反映されたアバターオブジェクトの出力タイミングとの同期をとることができる。その結果、ユーザ190Aも、ユーザ190によって発せられた音声の出力とアバターオブジェクトの変化とを同じタイミングで認識できるので、信号の伝送遅延によるタイムラグを感じることなく、チャットを楽しむことができる。
<4.制御構造>
図13を参照して、HMDシステム100の制御構造について説明する。図13は、ある実施の形態に従うHMDシステム100において実行される処理の一部を表わすシーケンスチャートである。
ステップS1510にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定する。
ステップS1520にて、プロセッサ10は、仮想カメラ1を初期化する。例えば、プロセッサ10は、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS1530にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD110に送られる。
ステップS1532にて、HMD110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS1534にて、HMDセンサ120は、HMD110から発信される複数の赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
ステップS1540にて、プロセッサ10は、HMD110の位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2においてオブジェクトを表示させる。ユーザ190は、そのアプリケーションプログラムの実行により仮想空間2において視認可能なコンテンツを楽しむ。
ステップS1542にて、プロセッサ10は、決定された仮想ユーザの状態に基づいて、視界画像を更新する。仮想ユーザとは、たとえば、プロセッサ10が搭載されたコンピュータ200に接続されたHMD110を装着したユーザである。そして、プロセッサ10は、更新された視界画像を表示させるためのデータ(視界画像データ)をHMD110に出力する。
ステップS1544にて、HMD110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
ステップS1550にて、コントローラ160は、ユーザ190の操作を検出する。検出された操作を示す信号は、コンピュータ200に送られる。ある実施の形態では、当該信号は、ユーザ190が対応するアバターの仮想空間における位置を変更させる操作を含む。他の実施の形態では、当該信号は、ユーザ190に提供される視界画像が対応する仮想カメラ1の位置を変更させる操作を含む。
ステップS1552にて、注視センサ140は、ユーザ190の視線を検出する。検出された視線についての検出値を示す信号は、コンピュータ200に送られる。本明細書では、アバターの上に注視点が置かれることも、「アバターを指定する」こととして取り扱う。
すなわち、本実施の形態では、コンピュータ200は、ユーザ190がコントローラ160を操作することにより仮想手でアバターに触れたこと、および/または、ユーザ190の注視点がアバター上に置かれたことが、仮想ユーザがアバターを指定したと扱われる。
ステップS1554にて、プロセッサ10は、仮想ユーザがアバターを指定したことを示す入力をサーバ150へ送信する。
サーバ150は、各コンピュータ200のプロセッサ10から、各仮想ユーザが仮想空間上のどのユーザを指定したかについての入力を受け付ける。当該入力が所定の条件を満たしたことに基づいて、サーバ150は、マッチングシステムに参加する複数のユーザのうち2以上のユーザをマッチングする。サーバ150は、マッチングされたユーザが使用するコンピュータ200のプロセッサ10に対して、所定の指示を送信する。
ステップS1560にて、プロセッサ10は、サーバ150から所定の指示を受信する。
ステップS1570にて、プロセッサ10は、サーバ150からの指示に応じて視界画面を更新し、更新後の視界画像を表示させるためのデータ(視界画像データ)をHMD110に出力する。
ステップS1572にて、HMD110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
<5.データ構造>
図14および図15を参照して、メモリモジュール240のデータ構造について説明する。なお、図14に示されるチャットモニタ情報および図15に示されるオブジェクト情報は、各コンピュータ200からサーバ150に送信される等により、サーバ150のチャット情報格納部512Aに格納されていてもよい。
[チャットモニタ情報]
図14は、メモリモジュール240におけるチャットモニタ情報の格納の一態様を表わす図である。ある局面において、メモリモジュール240は、チャットモニタ情報244を保持している。チャットモニタ情報244は、ユーザID1610と、名前1620と、ステータス1630と、制御フラグ1640と、提示開始日時1650とを含む。
ユーザID1610は、仮想空間2を共有するユーザを識別する。名前1620は、仮想空間2を共有する各ユーザに通知するために使用される。名前1620は、例えば、当該ユーザの実名、ペンネームのいずれであってもよい。ステータス1630は、当該ユーザが仮想空間2において開設されているチャットルームへのログイン状態を表わす。制御フラグ1640は、当該ユーザの識別情報(例えば、実名、ペンネーム等)が他のユーザに提示することを許可するか否かを制御する。提示開始日時1650は、仮想空間2において開設されたチャットルームのあるセッションにおいて、当該ユーザの識別情報が最初に提示された日時を表わす。ある局面において、提示開始日時1650は、チャットのセッションが終了するごとにリセットされる。したがって、次のセッションで識別情報の提示条件が再度成立した場合には、既に識別情報が提示されたユーザも、新たに識別情報が提示され得る。
[オブジェクト情報]
図15は、メモリモジュール240におけるオブジェクト情報の格納の一態様を表わす図である。ある局面において、メモリモジュール240は、オブジェクト情報242を保持している。オブジェクト情報242は、オブジェクトID1710と、位置情報1720と、関連ユーザID1730とを含む。
オブジェクトID1710は、チャットルームに配置される各オブジェクトを識別する。たとえば、図15の「スクリーン」「テーブル」のそれぞれは、図1等の「オブジェクト1120」「オブジェクト1110」のそれぞれに対応する。「アバター(A)」「アバター(B)」のそれぞれは、図2を参照して説明されたユーザ190A,190Bのそれぞれに対応するアバターオブジェクトに対応する。
位置情報1720は、仮想空間における各オブジェクトの位置を識別する。図15の例において、位置(1)〜位置(4)のそれぞれは、たとえば、仮想空間における三次元の座標を表わす。
<6.仮想カメラとオブジェクトの相対的な位置の変化>
図16〜図18を参照して、仮想カメラとオブジェクトの相対的な位置が変化する2つの態様を説明する。
図16は、仮想カメラとオブジェクトの相対的な位置の変化の1つ目の態様を説明するための図である。1つ目の態様では、仮想カメラ1の位置は変化せず、仮想空間におけるオブジェクトの位置が変化する。
より具体的には、図16には、仮想空間についての2つの状態1601,1602が示されている。状態1601,1602は、それぞれ、図1において説明されたオブジェクト901,1110,1120を含む。
状態1601では、オブジェクト901は視認領域23内に位置する。一方、状態1602では、オブジェクト901は視認領域23外に位置する。すなわち、状態1601と状態1602との間では、仮想空間においてオブジェクト901の位置が変更されている。なお、状態1601と状態1602との間で、仮想カメラ1の位置は変化していない。
なお、図1の視界画像1001は、仮想空間画像22のうち、状態1601の視認領域23に相当する。図1の視界画像1003は、仮想空間画像22のうち、状態1602の視認領域23に相当する。
図17は、仮想カメラとオブジェクトの相対的な位置の変化の2つ目の態様を説明するための図である。2つ目の態様では、仮想空間におけるオブジェクトの位置は変化せず、仮想カメラ1の位置が変化する。
図17には、仮想空間についての2つの状態1701,1702が示されている。状態1701と状態1702との間で、オブジェクト901,1110,1120の位置は変化していないが、仮想カメラ1の位置は変化している。状態1701では、仮想カメラ1は仮想空間画像22の下端近傍に位置するのに対し、状態1702では、仮想カメラ1は仮想空間画像22の中央付近に位置している。これにより、オブジェクト901は、状態1701では視認領域23内に位置するが、状態1702では視認領域23外に位置する。
図18は、図17に示された仮想カメラ1とオブジェクト901の相対的な位置の変化に従う視界画像の変化を示す図である。図18には、状態1701に対応する視界画像1101と、状態1702に対応する視界画像1102とが示される。視界画像1101は、オブジェクト901,1110,1120を含む。一方、視界画像1102は、オブジェクト1120を含むが、オブジェクト901,1110を含まない。
以上、図16〜図18を参照して、仮想空間における仮想カメラ1とオブジェクト901との間の相対的な位置の変更について説明した。なお、仮想空間では、仮想カメラ1とオブジェクト901の相対的な位置は、仮想カメラ1とオブジェクト901の双方の位置が変化した場合も変更され得る。
<7.軌跡オブジェクトの生成>
図19〜図21を参照して、軌跡オブジェクト910(図1)の生成について説明する。
図19は、軌跡オブジェクト910の設定態様の一例を説明するための図である。図19において、仮想空間画像501は、uv平面の仮想空間画像の一部を表わす。仮想空間画像502は、uw平面の仮想空間画像の一部を表わす。視界画像511,512のそれぞれは、仮想空間画像501,502のうち視界画像として表示される部分を表わす。
仮想空間画像501,502において、オブジェクト901は移動する。オブジェクト910Xは、オブジェクト901の移動後の位置を表わす。
コンピュータ200は、オブジェクトの移動前後(オブジェクト901,910X)の位置に基づいて、オブジェクト901の移動経路を設定する。図19では、移動経路の一例が、仮想空間画像501内の移動経路L21および仮想空間画像502内の移動経路L22として示されている。
移動経路の一例は、移動経路L21として示されるように、移動前後のオブジェクトを直線で結ぶ。他の例は、移動経路L22として示されるように、移動前後のオブジェクトの位置を、視界画像中の他のオブジェクト(オブジェクト1110,1120)を避けるように結ぶ。
軌跡オブジェクト910は、オブジェクト901のオブジェクト910Xで示される位置までの移動を表わし、移動経路L21,L22のそれぞれの少なくとも一部を含む。ある実施の形態では、軌跡オブジェクト910は、オブジェクト910Xに近くなるほど移動経路L21,L22に交わる方向の幅が広くなる。換言すれば、オブジェクト910Xに近くなるほど太くなる。これにより、移動の方向がより明確に表現される。
ある実施の形態では、仮想空間画像502内に示されるように、軌跡オブジェクト910がオブジェクト1110の内部を通過しないように設定される。すなわち、コンピュータ200は、オブジェクト1110に重ならないように軌跡オブジェクト910を設定する。軌跡オブジェクト910がオブジェクト1110の内部を通るように設定された場合、オブジェクト901がオブジェクト1110の内部を通って移動するような不自然な感覚をユーザに与え兼ねない。軌跡オブジェクト910がオブジェクト1110を避けるように設定されることにより、ユーザにこのような不自然な感覚を与えることが回避される。
ある実施の形態では、仮想空間画像501内に示されるように、コンピュータ200は、軌跡オブジェクト910をオブジェクト1120に重ならないように設定する。仮想空間画像501内の視界画像511は、当該視界画像511を提供されるHMD110のユーザに対応するアバターオブジェクトに対して設定される視界を表わす。軌跡オブジェクト910がオブジェクト1120に重ならないように設定されることにより、当該アバターオブジェクトのオブジェクト1120までの視界を遮ることが回避される。
他の実施の形態では、軌跡オブジェクト910はオブジェクト1120にある程度は重なってもよい。コンピュータ200は、たとえば、オブジェクト1120の表面と軌跡オブジェクト910とが重なる割合が一定の値(10%)を下回るように軌跡オブジェクト910を設定する。
図20は、軌跡オブジェクト910の設定態様の他の例を説明するための図である。図19に示された例では軌跡オブジェクト910が中空の図形であったのに対し、図20に示された例では、軌跡オブジェクト910は、移動経路L21,L22上に位置する矢印として示されている。すなわち、軌跡オブジェクト910の形状は矢印であってもよい。
また、軌跡オブジェクトは、図21に示されるように複数の部分から構成されていてもよい。図21では、仮想空間画像501,502のそれぞれに示されるように、軌跡オブジェクトはオブジェクト910A,910B,910C,910Dの4つの部分を含む。オブジェクト910A,910B,910C,910Dの4つの部分は、同時に表示されてもよいし、順次(たとえば、オブジェクト901から近い順に)表示されてもよい。
なお、軌跡オブジェクトは、移動するアバターオブジェクトそのものによって構成されてもよい。すなわち、ある実施の形態では、図21のオブジェクト910A,910B,910C,910Dのそれぞれはオブジェクト901と同じ形態を有していてもよい。これにより、オブジェクト901(アバター)が位置Aから位置Bまで移動する際(図21のオブジェクト901の位置とオブジェクト910Xの位置のそれぞれがピンポイントで指定された場合)、コンピュータ200は、位置Aから位置Bまでの軌跡に沿ってオブジェクト901自身が順次移動するように、オブジェクト901を仮想空間内で表示する。図21のオブジェクト910A,910B,910C,910Dのそれぞれは、オブジェクト901を拡大または縮小された形態を有していてもよい。
<8.処理の流れ>
図22を参照して、視界画像が更新されるときに補完画像を表示するために実行される処理について説明する。図22は、プロセッサ10が実行する補完画像を表示するための処理のフローチャートである。図22の処理は、図13のステップS1542およびステップS1570のサブルーチンの処理に相当し、たとえばプロセッサ10が所与のプログラムを実行することによって実現される。
ステップS100にて、プロセッサ10は、仮想ユーザの状態に基づいて(ステップS1542)、または、サーバ150からの指示に応じて(ステップS1570)、更新後の視界画像を生成する。
ステップS110にて、プロセッサ10は、視界画像の更新が仮想カメラ1の移動によるものであるか否かを判断する。
プロセッサ10は、たとえば、ステップS100における視界画像の更新が、図17を参照して説明されたように仮想カメラ1の位置の変更に従ったものであれば、視界画像の更新が仮想カメラ1の移動によるものであると判断する。プロセッサ10は、たとえば、HMD110の位置と傾き(図13のステップS1534)、コントローラ160に対する操作(S1550)、および/または、注視センサ140によって検出されるユーザ190の視線(S1552)に基づいて、仮想カメラ1を移動させるために視界画像を更新する。
なお、仮想カメラ1の移動は、仮想カメラ1に対応するアバターオブジェクトの移動の一例である。ある実施の形態では、プロセッサ10は、アバターオブジェクトの移動が指示されると、当該アバターオブジェクトの移動に従って仮想カメラを移動させる。これにより、視界画像として、当該アバターオブジェクトの移動後の位置に対応した視界画像が提供される。
一方、プロセッサ10は、たとえば、ステップS100における視界画像の更新が、図16を参照して説明されたようにオブジェクトの移動に従ったものであれば、視界画像の更新が仮想カメラ1の移動によるものではないと判断する。プロセッサ10は、たとえば、サーバ150からオブジェクトを移動経路を表わす情報を受信すると(図13のステップS1560)、仮想空間内で当該オブジェクトを移動させるために視界画像を更新する。
より具体的には、たとえば、ユーザ190Bは、当該ユーザ190Bに対応するオブジェクトを移動させるためにコントローラ160Bを操作する。コントローラ160Bは、当該操作を示す信号をコンピュータ200Bへ送信する。当該操作を示す信号は、コンピュータ200Bおよびサーバ150を経由して、コンピュータ200へと送信される。コンピュータ200のプロセッサ10は、当該信号を取得すると、上記オブジェクトを仮想空間内で移動させるために視界画像を更新する。
ステップS110にて、プロセッサ10は、視界画像の更新が仮想カメラ1の移動によるものであると判断すると(ステップS110にてYES)、ステップS170へ制御を進める。そうでなければ(ステップS110にてNO)、プロセッサ10はステップS120へ制御を進める。
ステップS120にて、プロセッサ10は、更新された視界画像における各オブジェクトの位置を取得する。各オブジェクトの位置は、たとえばオブジェクト情報(図15)を参照することにより取得される。
ステップS130にて、プロセッサ10は、オブジェクトの移動経路を設定する。移動経路を設定は、たとえば図19または図20に示された態様に従う。
ステップS140にて、プロセッサ10は、軌跡オブジェクトを生成する。軌跡オブジェクトの生成は、たとえば図19または図20に示された態様に従う。
ステップS150にて、プロセッサ10は、補完画像を生成する。補完画像は、たとえば、ステップS100にて生成された更新後の視界画像に、ステップS140にて生成された軌跡オブジェクトを合成することによって生成される。
ステップS160にて、プロセッサ10は、ステップS150にて生成された補完画像をモニタ112に表示する。より具体的には、補完画像を表示させるためのデータ(視界画像データ)をHMD110に出力する。補完画像の一例は、図1の視界画像1002である。
ステップS170にて、プロセッサ10は、ステップS100において更新された視界画像をモニタ112に表示する。より具体的には、更新後の視界画像を表示させるためのデータ(視界画像データ)をHMD110に出力する。更新後の画像の一例は、図1の視界画像1003である。その後、プロセッサ10は図22の処理を終了する。
以上説明された図22の処理によれば、仮想空間においてオブジェクトが移動することによって視界画像が更新される場合、プロセッサ10は、モニタ112に、補完画像を表示した後、更新後の視界画像を表示する。
なお、補完画像の表示は、図16を参照して説明されたように、仮想空間内でオブジェクトが移動することによって視界画像が更新される場合に実行される。図17を参照して説明されたように、仮想カメラ1の移動によって視界画像が更新される場合には、補完画像の表示は省略されてもよい。このことは、プロセッサ10が、ステップS110にて視界画像の更新が仮想カメラ1の移動によるものではない(ステップS110にてNO)と判断したときにステップS120〜S160の制御を実行し、ステップS110にて視界画像の更新が仮想カメラ1の移動によるものである(ステップS110にてYES)と判断したときにはステップS120〜S160の制御を実行しないことに対応する。
<9.開示の要約>
本開示は、以下のように要約され得る。
(1) 本開示では、コンピュータ200Aは、直接またはサーバ150を介して、複数のヘッドマウントデバイス(HMD110,110A,110B)に接続される。コンピュータ200が仮想空間を提供するために実行する方法は、仮想空間を定義するステップ(図13のステップS1510)を含む。当該方法は、図2等に示されるように、複数のヘッドマウントデバイスのうちの第1のヘッドマウントデバイス(HMD110A)のユーザに対応する第1のアバターオブジェクトと第2のヘッドマウントデバイス(HMD110B)のユーザに対応する第2のアバターオブジェクト(オブジェクト901)とを仮想空間に配置するステップを含む。当該方法は、第1のアバターオブジェクトの仮想空間における位置に応じた画像(図1の視界画像1001)を第1のヘッドマウントデバイスに提示するステップを含む。当該方法は、さらに、第2のアバターオブジェクトを移動するための操作に基づいて、第2のアバターオブジェクトの移動経路を表わす軌跡オブジェクト(軌跡オブジェクト910)を第1のヘッドマウントデバイスに提示するステップ(ステップS160)を含む。
なお、本開示の方法によって規定されるステップの一部およびすべては、サーバ150のプロセッサ151等、コンピュータ200のプロセッサ10以外のプロセッサによって実行されてもよい。すなわち、プロセッサ10は、視界画像を生成することなく、外部の装置から送信された視界画像を提示するように構成されていてもよい。
本開示によれば、仮想空間において第2のアバターオブジェクトが移動する場合、第2のアバターオブジェクトの移動経路を表わす軌跡オブジェクトが表示される。これにより、ユーザは、軌跡オブジェクトによって、第2のアバターオブジェクトの移動先を予測できる。したがって、仮想空間において第2のアバターオブジェクトの位置が急激に変化した場合でも、ユーザにおけるVR酔いが低減され得る。
(2) 上記方法は、第1のアバターオブジェクトを移動するための操作(仮想カメラ1を移動するための操作)に基づいて、第1のヘッドマウントデバイスに提示されている画像を第1のアバターオブジェクトの移動後の位置に応じた画像に切り替えるステップを含んでもよい(ステップS110の後、ステップS120〜S160の実行無しに実行される、ステップS170)。
(3) 仮想空間は、第1のアバターオブジェクトおよび第2のアバターオブジェクト以外の他のオブジェクト(オブジェクト1110)を含んでもよい。軌跡オブジェクトは、他のオブジェクトの外部を通るように設定されてもよい(仮想空間画像502内の軌跡オブジェクト910)。
(4) 仮想空間は、第1のアバターオブジェクトおよび第2のアバターオブジェクト以外の別のオブジェクト(オブジェクト1120)を含んでもよい。軌跡オブジェクトは、第1のアバターオブジェクトから別のオブジェクトまでの視界を遮る割合が所定の値を下回るように設定されてもよい(仮想空間画像501内の軌跡オブジェクト910)。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。