JP2021064399A

JP2021064399A - プログラム、情報処理装置、および方法

Info

Publication number: JP2021064399A
Application number: JP2021000283A
Authority: JP
Inventors: 一晃澤木; Kazuaki Sawaki
Original assignee: Colopl Inc
Current assignee: Colopl Inc
Priority date: 2021-01-04
Filing date: 2021-01-04
Publication date: 2021-04-22
Anticipated expiration: 2038-09-04
Also published as: JP7111848B2

Abstract

【課題】仮想空間におけるユーザの視認性を低下させることなく、ユーザに有益な情報をユーザに提供する。【解決手段】ＨＭＤシステムにおいて、プロセッサは、アバターオブジェクト６Ａ〜６Ｂを含む仮想空間２４１１Ｂを定義し、アバターオブジェクト６Ｂからの視界領域１５Ｂ内で視覚化され、アバターオブジェクト６Ａからの視界領域内では視覚化されず、透過設定された鏡面体オブジェクト２４４１を、視界領域１５Ｂに配置する。プロセッサは、鏡面体オブジェクト２４４１にアバター画像２４４４を表示する。【選択図】図２４

Description

本発明は、プログラム、情報処理装置、および方法に関する。

特許文献１に、仮想空間に第２カメラおよび鏡オブジェクトを配置し、さらに、第２カメラの視野にプレイヤキャラタクが配置されている場合には、鏡オブジェクトにプレイヤキャラクタの外観を移り込み画像として表示するＨＭＤシステムが開示されている。

特許６２２０９３７号公報

従来の技術には、仮想空間におけるユーザの視認性を低下させることなく、ユーザに有益な情報をユーザに提供できる余地がある。

本開示の一態様は、仮想空間におけるユーザの視認性を低下させることなく、ユーザに有益な情報をユーザに提供することを目的とする。

本発明の一態様によれば、プロセッサを備えたコンピュータによって実行されるプログラムが提供される。プログラムは、プロセッサに、第１ユーザに関連付けられる第１アバターと第２ユーザに関連付けられる第２アバターとを含む、仮想空間を定義するステップと、第１ヘッドマウントデバイスが関連付けられた第１ユーザの頭部の動きに応じて、第１アバターからの第１視界を制御するステップと、第１視界内では視覚化され、第２アバターからの第２視界内では視覚化されない、透過設定された第１オブジェクトを、第１視界内に配置するステップと、第１オブジェクトに、第１情報を表示するステップと、第１視界に対応する第１視界画像を第１ヘッドマウントデバイスに表示するステップと、を実行させる。

本開示の一態様によれば、仮想空間におけるユーザの視認性を低下させることなく、ユーザに有益な情報をユーザに提供できる。

ある実施の形態に従うＨＭＤシステムの構成の概略を表す図である。ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。ある実施の形態に従うＨＭＤを装着するユーザの頭部を上から表した図である。仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。ある実施の形態に従うコントローラの概略構成を表す図である。ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。ある実施の形態に従うＨＭＤセットにおいて実行される処理の一部を表すシーケンスチャートである。ネットワークにおいて、各ＨＭＤがユーザに仮想空間を提供する状況を表す模式図である。図１２（Ａ）におけるユーザ５Ａの視界画像を示す図である。ある実施の形態に従うＨＭＤシステムにおいて実行する処理を示すシーケンス図である。ある実施の形態に従うコンピュータのモジュールの詳細構成を表わすブロック図である。ある実施の形態に従う仮想空間および視界画像を示す図である。ある実施の形態に従う仮想空間および視界画像を示す図である。ある実施の形態に従うＨＭＤシステムにおいて実行される処理の一例を示すシーケンス図である。ある実施の形態に従う寸法データの取得方法を説明するための図である。ある実施の形態に従う位置情報のデータ構造の一例を示す図である。ある実施の形態に従う寸法データのデータ構造の一例を示す図である。ある実施の形態に従う寸法データを取得するための処理を表すフローチャートである。ある実施の形態に従う回転方向のデータ構造の一例を示す図である。ある実施の形態に従うＨＭＤセットにおいて実行される処理の一部を表すシーケンスチャートである。ある実施の形態に仮想空間および視界画像を示す図である。ある実施の形態に係る仮想空間および視界画像を示す図である。ある実施形態に係るユーザの姿勢の一例を表す図である。ある実施の形態に従う仮想空間および視界画像を示す図である。ある実施の形態に従う仮想空間および視界画像を示す図である。ある実施の形態に従う仮想空間および視界画像を示す図である。ある実施の形態に従う仮想空間および視界画像を示す図である。ある実施の形態に従う仮想空間および視界画像を示す図である。ある実施の形態に従う仮想空間および視界画像を示す図である。

〔実施形態１〕
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。

［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。

ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。

ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。

モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。

別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。

ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。

別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。

別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。

注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。
つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外線を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。

第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。

マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。

コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。

ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。

モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。

サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。

外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、及びコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。

［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。

プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。

ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。

ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。

ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。

図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。

ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。

図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。

ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。

ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。

ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。

ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。

ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。

ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。

仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。

コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。

注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。

［ユーザの視線］
図５を参照して、ユーザ５の視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１２０を装着するユーザ５の頭部を上から表した図である。

ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。

別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。

図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。

図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９
は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭部に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。

このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。

ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。

ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。

ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

［コントローラ］
図８を参照して、コントローラ３００の一例について説明する。図８は、ある実施の形態に従うコントローラ３００の概略構成を表す図である。

図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。

右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。

フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。

ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。

図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。

［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。

プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。

メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。

ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。

別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩ（登録商標）その他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。

通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。

ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。

［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。

図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。

コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。

コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。

コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。

コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。

コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。

コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。

コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。

コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。

ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭部の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。

メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。

空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。

オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。

ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。

メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。

通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。

ある局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。

［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。

図１１に示されるように、ステップＳ１１１０において、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。

ステップＳ１１２０において、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。

ステップＳ１１３０において、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

ステップＳ１１３２において、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。

ステップＳ１１３４において、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。

ステップＳ１１４０において、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。

ステップＳ１１５０において、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。

ステップＳ１１６０において、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。

ステップＳ１１７０において、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。

ステップＳ１１８０において、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

ステップＳ１１９０において、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。

［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。

図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ〜２００Ｄは、ＨＭＤ１２０Ａ〜１２０Ｄを介して、ユーザ５Ａ〜５Ｄに、仮想空間１１Ａ〜１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。

ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。

図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。

図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。

ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。

図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。

ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。

ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。

ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ〜５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。

続いて、サーバ６００から各ＨＭＤセット１１０Ａ〜１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ〜１１０Ｃは、ステップＳ１３３０Ａ〜Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。

ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。

ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。

［モジュールの詳細構成］
図１４を参照して、コンピュータ２００のモジュール構成の詳細について説明する。図１４は、ある実施の形態に従うコンピュータ２００のモジュールの詳細構成を表わすブロック図である。図１４に示されるように、コントロールモジュール５１０は、仮想オブジェクト生成モジュール１４２１、仮想カメラ制御モジュール１４２２、操作オブジェクト制御モジュール１４２３、アバターオブジェクト制御モジュール１４２４、動き検出モジュール１４２５、衝突検出モジュール１４２６、および仮想オブジェクト制御モジュール１４２７を備えている。

仮想オブジェクト生成モジュール１４２１は、各種の仮想オブジェクトを仮想空間１１に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、仮想オブジェクトは、アバターオブジェクト、操作オブジェクト、およびステージオブジェクト、ＵＩ（User Interface）オブジェクトを含み得る。

仮想カメラ制御モジュール１４２２は、仮想空間１１における仮想カメラ１４の挙動を制御する。仮想カメラ制御モジュール１４２２は、例えば、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）とを制御する。

操作オブジェクト制御モジュール１４２３は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを制御する。ユーザ５は、操作オブジェクトを操作することによって、例えば、仮想空間１１に配置される仮想オブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザ５の手に相当する手オブジェクト（仮想手）等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。

アバターオブジェクト制御モジュール１４２４は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、アバターオブジェクト制御モジュール１４２４は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバターオブジェクト制御モジュール１４２４は、コントローラ３００の動きをアバターオブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。アバターオブジェクト制御モジュール１４２４は、動き検出モジュール１４２５が検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。つまり、アバターオブジェクト制御モジュール１４２４は、ユーザ５の顔の動作をアバターオブジェクトに反映する。

動き検出モジュール１４２５は、ユーザ５の動きを検出する。動き検出モジュール１４２５は、例えば、コントローラ３００の出力に応じて、ユーザ５の手の動きを検出する。動き検出モジュール１４２５は、例えば、ユーザ５の身体に装着されるモーションセンサの出力に応じて、ユーザ５の身体の動きを検出する。動き検出モジュール１４２５は、ユーザ５の顔器官の動作を検出することもできる。

衝突検出モジュール１４２６は、仮想空間１１に配置される仮想オブジェクトのそれぞれが、他の仮想オブジェクトと衝突した場合に、当該衝突を検出する。衝突検出モジュール１４２６は、例えば、ある仮想オブジェクトと、別の仮想オブジェクトとが触れたタイミングを検出することができる。衝突検出モジュール１４２６は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態から離れたタイミングを検出することができる。衝突検出モジュール１４２６は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態であることを検出することもできる。衝突検出モジュール１４２６は、例えば、操作オブジェクトと、他の仮想オブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出する。衝突検出モジュール１４２６は、これらの検出結果に基づいて、予め定められた処理を実行する。

仮想オブジェクト制御モジュール１４２７は、仮想空間１１において、アバターオブジェクトを除く仮想オブジェクトの挙動を制御する。一例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトを変形させる。別の例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトの配置位置を変更する。別の例として、仮想オブジェクト制御モジュール１４２７は、仮想オブジェクトを移動させる。

［視聴者の仮想空間］
図１５は、ある実施の形態に従う仮想空間１１Ａおよび視界画像１５１７Ａを示す図である。図１５（Ａ）では、ユーザ５Ａ（第１ユーザ）に仮想体験を提供するための仮想空間１１Ａに、アバターオブジェクト６Ａ〜６Ｄ、仮想カメラ１４Ａ、およびステージオブジェクト１５３２が少なくとも配置される。ユーザ５Ａは、頭部にＨＭＤ１２０Ａを装着している。ユーザ５Ａは、ユーザ５Ａの身体の右側の一部を構成する右手（第１部位）で右コントローラ３００ＲＡを把持し、ユーザ５Ａの身体の左側の一部を構成する左手（第２部位）で左コントローラ３００ＬＡを把持している。アバターオブジェクト６Ａ（第１アバター）は、仮想右手１５３１ＲＡおよび仮想左手１５３１ＬＡを含む。仮想右手１５３１ＲＡは操作オブジェクトの一種であり、ユーザ５Ａの右手の動きに応じて仮想空間１１Ａにおいて動くことができる。仮想左手１５３１ＬＡは操作オブジェクトの一種であり、ユーザ５Ａの左手の動きに応じて仮想空間１１Ａにおいて動くことができる。

図１５（Ａ）に示す仮想空間１１Ａは、コンピュータ２００Ａにおいてライブコンテンツが再生されることによって、構築される。仮想空間１１Ａにおいて、アバターオブジェクト６Ｂは、ライブの演者としてパフォーマンスを実行し、アバターオブジェクト６Ａを含む他のアバターオブジェクトは、ライブの視聴者としてパフォーマンスを視聴する。仮想空間１１Ａにおいて、アバターオブジェクト６Ａ〜６Ｄは、それぞれ、ユーザ５Ａ〜５Ｄに個別に関連付けられている。

仮想空間１１Ａにおいて、アバターオブジェクト６Ｂ（第２アバター）は、ステージオブジェクト１５３２上に配置される。ステージオブジェクト１５３２は、現実のライブ会場におけるステージを模した外観を有している。アバターオブジェクト６Ａ、６Ｃ、および６Ｄは、いずれも、ステージオブジェクト１５３２の手前に配置される。仮想空間１１Ａにおいて、アバターオブジェクト６Ｂは、ユーザ５Ｂ（第２ユーザ）の動きに応じて動くことによって、ライブのパフォーマンスを実行する。仮想空間１１Ａにおいて、アバターオブジェクト６Ａは、アバターオブジェクト６Ｂによるパフォーマンスを視聴する。このとき、ユーザ５Ｃに提供される仮想空間１１Ｃにおいて、アバターオブジェクト６Ｃは、アバターオブジェクト６Ｂによって実行されたパフォーマンスを視聴する。同様に、ユーザ５Ｄに提供される仮想空間１１Ｄにおいて、アバターオブジェクト６Ｄは、アバターオブジェクト６Ｂによって実行されたパフォーマンスを視聴する。したがって、ユーザ５Ｂが演者であり、かつ、ユーザ５Ａ、５Ｃ、および５Ｄが視聴者であるとも言える。

図１５（Ａ）において、仮想カメラ１４Ａは、アバターオブジェクト６Ａの頭部に配置される。仮想カメラ１４Ａは、仮想カメラ１４Ａの位置および向きに応じた視界領域１５Ａを規定する。仮想カメラ１４Ａは、視界領域１５Ａに対応する視界画像１５１７Ａを生成して、図１５（Ｂ）に示すようにＨＭＤ１２０Ａに表示させる。ユーザ５Ａは、視界画像１５１７Ａを視認することによって、アバターオブジェクト６Ａの視点で仮想空間の一部を視認する。これにより、ユーザ５Ａは、あたかもユーザ５Ａ自身がアバターオブジェクト６Ａであるかのような仮想体験を、得ることができる。視界画像１５１７Ａには、パフォーマンスを実行するアバターオブジェクト６Ｂが含まれる。したがって、ユーザ５Ａは、アバターオブジェクト６Ｂによるパフォーマンスを、アバターオブジェクト６Ａの視点で視聴することができる。

仮想空間１１Ａには、異なる複数のアバターオブジェクト６Ｂが配置されることもできる。ある局面では、複数のアバターオブジェクト６Ｂにそれぞれ異なるユーザ５が関連付けられる。別の局面では、複数のアバターオブジェクト６Ｂに同一のユーザ５Ｂが関連付けられる。

［演者の仮想空間］
図１６は、ある実施の形態に従う仮想空間１１Ｂおよび視界画像１６１７Ｂを示す図である。図１６（Ａ）では、ユーザ５Ｂに仮想体験を提供するための仮想空間１１Ｂに、アバターオブジェクト６Ａ〜６Ｄ、仮想カメラ１４Ｂ、およびステージオブジェクト１５３２が少なくとも配置される。ユーザ５Ｂは、頭部にＨＭＤ１２０Ｂ（第１ヘッドマウントデバイス）を装着している。ユーザ５Ｂは、ユーザ５Ｂの身体の右側の一部を構成する右手（第１部位）で右コントローラ３００ＲＢを把持し、ユーザ５Ｂの身体の左側の一部を構成する左手（第２部位）で左コントローラ３００ＬＢを把持している。

ＨＭＤ１２０Ｂは、モーションセンサとして機能するセンサ１９０を備える。右コントローラ３００ＲＢおよび左コントローラ３００ＬＢは、モーションセンサ４２０を備える。ユーザ５Ｂは、さらに、モーションセンサ１６４１〜１６４３を装着している。モーションセンサ１６４１は、ベルト１６４４によってユーザ５Ｂの腰部に装着されている。モーションセンサ１６４２は、ユーザ５Ｂの右足の甲に装着されている。モーションセンサ１６４３は、ユーザ５Ｂのユーザ５Ｂの左足の甲に装着されている。モーションセンサ１６４１〜１６４３は、有線または無線によってコンピュータ２００Ｂに接続されている。

ある局面において、ユーザ５Ｂに装着されるモーションセンサは、ベースステーション（図示しない）から照射される信号（例えば赤外線レーザ）の到達時間と角度とを検出する。コンピュータ２００Ｂのプロセッサ２１０Ｂ（以下、単にプロセッサ２１０Ｂ）は、モーションセンサの検出結果に基づいて、ベースステーションに対するモーションセンサの位置を検出する。プロセッサ２１０Ｂは、さらに、ベースステーションに対するモーションセンサの位置を、所定点（例えば頭部に装着されたセンサ１９０の位置）を基準として規格化してもよい。

アバターオブジェクト６Ｂは、仮想右手１５３１ＲＢおよび仮想左手１５３１ＬＢを含む。仮想右手１５３１ＲＢは操作オブジェクトの一種であり、ユーザ５Ｂの右手の動きに応じて仮想空間１１Ｂにおいて動くことができる。仮想左手１５３１ＬＡは操作オブジェクトの一種であり、ユーザ５Ｂの左手の動きに応じて仮想空間１１Ｂにおいて動くことができる。

図１６（Ａ）に示す仮想空間１１Ｂは、コンピュータ２００Ｂにおいてライブコンテンツが再生されることによって、構築される。仮想空間１１Ａおよび１１Ｂは、サーバ６００の制御に応じて互いに同期している。ユーザ５Ｂは、アバターオブジェクト６Ｂにパフォーマンスを実行させるために、自身の身体を動かす。コンピュータ２００Ｂは、ユーザ５Ｂに装着される各種のモーションセンサの出力に基づいて、ユーザ５Ｂの動きを検出する。仮想空間１１Ｂにおいて、アバターオブジェクト６Ｂは、特定されたユーザ５Ｂの動きに応じて、現実空間におけるユーザ５Ｂの動きが反映されたパフォーマンスを実行する。仮想空間１１Ｂにおいて、アバターオブジェクト６Ａ、６Ｃ、および６Ｄは、アバターオブジェクト６Ｂによるパフォーマンスを視聴する。仮想空間１１Ｂにおいてアバターオブジェクト６Ｂがユーザ５Ｂに動きに応じたパフォーマンスを実行すると、それに同期して、仮想空間１１Ａ、１１Ｃ、および１１Ｄにおいてもアバターオブジェクト６Ｂが同じパフォーマンスを実行する。このように、ユーザ５Ｂは、アバターオブジェクト６Ｂによるライブを、ユーザ５Ａ、５Ｃ、および５Ｄにそれぞれ配信する配信者としての役割を有する。

図１６（Ａ）において、仮想カメラ１４Ｂは、アバターオブジェクト６Ｂの頭部に配置される。仮想カメラ１４Ｂは、仮想カメラ１４Ｂの位置および向きに応じた視界領域１５Ｂを規定する。仮想カメラ１４Ｂは、視界領域１５Ｂに対応する視界画像１６１７Ｂを生成して、図１６（Ｂ）に示すようにＨＭＤ１２０Ｂに表示させる。ユーザ５Ｂは、視界画像１６１７Ｂを視認することによって、アバターオブジェクト６Ｂの視点で仮想空間の一部を視認する。これにより、ユーザ５Ｂは、あたかもユーザ５Ｂ自身がアバターオブジェクト６Ｂであるかのような仮想体験を、得ることができる。視界画像１６１７Ｂには、パフォーマンスを視聴するアバターオブジェクト６Ａ、６Ｃ、および６Ｄが含まれる。したがって、ユーザ５Ｂは、アバターオブジェクト６Ｂによるパフォーマンスを視聴するアバターオブジェクト６Ａ、６Ｃ、および６Ｄの様子を、アバターオブジェクト６Ｂの視点で把握することができる。

［ライブ配信フロー］
図１７は、ＨＭＤシステム１００において実行される処理の一例を示すシーケンス図である。以下では、仮想空間１１Ｂにおいて行われるアバターオブジェクト６Ｂのライブを、コンピュータ２００Ｂからコンピュータ２００Ａに対して配信するための一連の処理を説明する。コンピュータ２００Ｃおよび２００Ｄに対しても、同様の一連の処理に基づいてアバターオブジェクト６Ｂのライブが配信される。

ステップＳ１７０１において、プロセッサ２１０Ｂは、ユーザ５Ｂに装着されたモーションセンサから、ユーザ５Ｂの頭部、腰部、両手、および両足の位置を検出する。以下、各モーションセンサによって検出されるユーザ５Ｂの部位の位置を「位置情報」とも言う。ステップＳ１７０２において、プロセッサ２１０Ｂは、ユーザ５Ｂの現在の位置情報と、予め取得されたユーザ５Ｂの寸法データとに基づいて、ユーザ５Ｂの関節の回転方向を算出する。寸法データは、ユーザ５Ｂの身体の寸法を表すデータである。寸法データおよび回転方向については後述する。現在の位置情報を検出することおよび回転方向を算出すること、ユーザ５Ｂの動きを検出することと同義である。

ステップＳ１７０３において、プロセッサ２１０Ｂは、現在の位置情報および回転方向に基づいて、仮想空間１１Ｂに配置されるアバターオブジェクト６Ｂを動かす。プロセッサ２１０Ｂは、例えば、右肩の回転方向に基づいて、アバターオブジェクト６Ｂの右上腕部を動かす。プロセッサ２１０Ｂはさらに、現在の位置情報（例えば現在の腰部の位置情報）に基づいて、アバターオブジェクト６Ｂの仮想空間１１Ｂにおける位置を動かす。これにより、プロセッサ２１０Ｂは、現実空間のユーザ５Ｂの動きが仮想空間のアバターオブジェクト６Ｂに反映させる。言い換えれば、プロセッサ２１０Ｂは、アバターオブジェクト６Ｂに、ユーザ５Ｂの動きに応じたパフォーマンスを実行させる。

ユーザ５Ｂの動きをアバターオブジェクト６Ｂに反映させるための処理は、上述した位置情報および回転方向に応じた処理に限定されない。プロセッサ２１０Ｂは、例えば、回転方向を算出することなく、ユーザ５Ｂの動きに応じてアバターオブジェクト６Ｂを動かすこともできる。プロセッサ２１０Ｂは、例えば、ユーザ５Ｂの身体を構成する各部位の位置に対応するように、ユーザ５Ｂの各部位に対応するアバターオブジェクト６Ｂの各部位オブジェクトの位置を制御するようにしてもよい。

ステップＳ１７０４において、プロセッサ２１０Ｂは、パフォーマンスを実行した際のアバターオブジェクト６Ｂの動きを表す動き情報を生成し、この動き情報を含むアバターオブジェクト６Ｂのアバター情報をサーバ６００に送信する。

ステップＳ１７１０において、コンピュータ２００Ａのプロセッサ２１０Ａ（以下、単にプロセッサ２１０Ａ）は、アバターオブジェクト６Ａのアバター情報をサーバに送信する。ステップＳ１７２０において、サーバ６００は、仮想空間１１Ａおよび１１Ｂを同期するための同期処理を実行する。詳細には、サーバ６００は、コンピュータ２００Ｂから受信したアバターオブジェクト６Ｂのアバター情報を、コンピュータ２００Ａに送信する。サーバ６００は、さらに、コンピュータ２００Ａから受信したアバターオブジェクト６Ａのアバター情報を、コンピュータ２００Ｂに送信する。

ステップＳ１７０５において、プロセッサ２１０Ｂは、サーバ６００から送信されたアバターオブジェクト６Ａのアバター情報を受信する。ステップＳ１７０６において、プロセッサ２１０Ｂは、受信したアバター情報に基づいて、仮想空間１１Ｂにおいてアバターオブジェクトを制御する。これにより、仮想空間１１Ａにおけるアバターオブジェクト６Ａの挙動が、仮想空間１１Ｂにおけるアバターオブジェクト６Ａに反映される。言い換えれば、アバターオブジェクト６Ａの挙動が、仮想空間１１Ａおよび１１Ｂにおいて同期される。例えば、仮想空間１１Ａにおいてアバターオブジェクト６Ａが移動した場合、仮想空間１１Ｂにおいてもアバターオブジェクト６Ａは同様に移動する。

ステップＳ１７１１において、プロセッサ２１０Ａは、サーバ６００から送信されたアバターオブジェクト６Ｂのアバター情報を受信する。ステップＳ１７１２において、プロセッサ２１０Ａは、受信したアバター情報に含まれる動き情報に基づいて、アバターオブジェクト６Ｂを動かす。これにより、プロセッサ２１０Ｂは、現実空間のユーザ５Ｂの動きを、仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映させる。言い換えれば、プロセッサ２１０Ａは、仮想空間１１Ａにおいて、アバターオブジェクト６Ｂにユーザ５Ｂの動きに応じたパフォーマンスを実行させる。これにより、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの挙動が、仮想空間１１Ａにおけるアバターオブジェクト６Ｂに反映される。言い換えれば、アバターオブジェクト６Ｂの挙動が、仮想空間１１Ａおよび１１Ｂにおいて同期される。例えば、仮想空間１１Ｂにおいてアバターオブジェクト６Ｂが第１パフォーマンスを実行した場合、仮想空間１１Ａにおいてもアバターオブジェクト６Ｂは同様に第１パフォーマンスを実行する。このようにして、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂのライブが、仮想空間１１Ａに配信される。

図示しないが、プロセッサ２１０Ｂは、ユーザ５Ｂが発した音声を、マイク１７０Ｂを用いて録音する。プロセッサ２１０Ｂは、ユーザ５Ｂの音声を表す音声データを生成し、サーバ６００に送信する。サーバ６００は、受信したユーザ５Ｂの音声データを、同期処理によってコンピュータ２００Ａに送信する。プロセッサ２１０Ａは、受信したユーザ５Ｂの音声データが表す音声を、スピーカ１８０Ａに出力する。これらの一連の処理の結果、ユーザ５Ａは、ライブ中にユーザ５Ｂが発した音声を、リアルタイムに聴取することができる。

［寸法データの取得］
図１８は、寸法データの取得方法を説明するための図である。図１８（Ａ）は、ユーザ５Ｂが、正面を向き、両手を水平に広げ、起立している状態を表す。以下、図１８（Ａ）に示される状態を第１姿勢とも言う。図１８（Ｂ）は、ユーザ５Ｂが、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。以下、図１８（Ｂ）に示される状態を第２姿勢とも言う。

ある局面において、プロセッサ２１０Ｂは、ユーザ５Ｂに対し第１姿勢および第２姿勢をとるように促す。一例として、プロセッサ２１０Ｂは、第１姿勢および第２姿勢のキャラクタをモニタ１３０Ｂに表示し、同様の姿勢をとる旨のメッセージを表示する。他の例として、プロセッサ２１０Ｂは、第１姿勢および第２姿勢をとる旨の音声をスピーカ１８０Ｂから出力してもよい。

プロセッサ２１０Ｂは、２つの姿勢（第１姿勢と第２姿勢）のそれぞれにおいて、ユーザ５Ｂに装着されたモーションセンサの出力に基づいてユーザ５Ｂの頭部、腰部、両手、両足の位置情報を取得する。これら位置情報は、図１９に示されるように実座標系（ｘ、ｙ、ｚ）における位置として取得され得る。

プロセッサ２１０Ｂは、２つの姿勢に対応する位置情報からユーザ５Ｂの寸法データを算出する。ある実施形態において、プロセッサ２１０Ｂは、図２０に示されるように、ユーザ５Ｂの身長、肩幅、腕の長さ、足の長さ、頭部から肩までの高さを寸法データとして算出する。プロセッサ２１０Ｂは、第２姿勢における両手の間隔を肩幅として算出し得る。プロセッサ２１０Ｂは、第１姿勢における両手の間隔から肩幅を差し引いた値の半分を腕の長さとして算出し得る。プロセッサ２１０Ｂは、足の高さから頭部の高さまでの距離を身長として算出し得る。プロセッサ２１０Ｂは、足の高さから腰部の高さまでの距離を足の長さとして算出し得る。プロセッサ２１０Ｂは、第１姿勢における手の高さから頭部までの高さを、頭部から肩までの高さとして算出し得る。

図２１は、寸法データを取得するための処理を表すフローチャートである。ステップＳ２１１０において、プロセッサ２１０Ｂは、仮想空間１１Ｂに仮想カメラ１４Ｂを配置する。プロセッサ２１０Ｂはさらに、仮想カメラ１４Ｂの撮影範囲に対応する視界画像１７Ｂをモニタ１３０Ｂに出力する。

ステップＳ２１２０において、プロセッサ２１０Ｂは、ユーザ５Ｂに第１姿勢になるように指示する。例えば、プロセッサ２１０Ｂは、当該指示が記されたオブジェクトを仮想空間１１Ｂに配置することでステップＳ２１２０の処理を実現する。ステップＳ２１３０において、プロセッサ２１０Ｂは、第１姿勢に対応する位置情報を取得する。

ステップＳ２１４０において、プロセッサ２１０Ｂは、ユーザ５Ｂに第２姿勢になるように指示する。ステップＳ２１５０において、プロセッサ２１０Ｂは、第２姿勢に対応する位置情報を取得する。

ステップＳ２１６０において、プロセッサ２１０Ｂは、第１姿勢に対応する位置情報と第２姿勢に対応する位置情報とから、ユーザ５Ｂの寸法データを算出する。プロセッサ２１０Ｂは、寸法データをストレージ２３０Ｂに格納する。

以上のように、ユーザ５Ｂは、２つの姿勢をとるだけで、自身の寸法をコンピュータ２００Ｂに容易に入力できる。なお、他の局面において、ユーザ５Ｂは、自身の寸法をキーボード等の入力デバイスを用いてコンピュータ２００Ｂに入力してもよい。

［関節の回転方向］
ある実施形態において、プロセッサ２１０Ｂは、ユーザ５Ｂに装着された６つのモーションセンサの出力（位置情報）と、寸法データとに基づいて、ユーザ５Ｂの関節の回転方向を推定する。一例として、プロセッサ２１０Ｂは、頭部の位置情報と、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。プロセッサ２１０Ｂは、肩の位置と手の位置情報とから、肘の位置を推定する。この推定は、逆運動学（Inverse Kinematics）を利用した公知のアプリケーションにより実行され得る。

ある実施形態において、プロセッサ２１０Ｂは、６つのモーションセンサから、ユーザ５Ｂの首（頭部）、腰、両手首、および両足首の関節の傾き（回転方向）を取得する。加えて、プロセッサ２１０Ｂは、逆運動学に基づいて、両肩、両肘、両股（足のつけ根）、両膝の関節の回転方向を推定する。図２２に示されるように、プロセッサ２１０Ｂは、各関節の回転方向をｕｖｗ視野座標系で取得または推定する。

なお、回転方向が位置情報と寸法データとに基づいて算出される場合、プロセッサ２１０Ｂは、ユーザ５Ｂが正面を向いていないとき（つまり、頭部と腰部とが異なる方向を向いているとき）の肩の位置等を正確に推定できない。そこで、他の実施形態において、コンピュータ２００Ｂは、モーションセンサによって検出されるユーザ５Ｂの部位の傾きをさらに考慮して関節の回転方向を推定してもよい。例えば、コンピュータ２００Ｂは、頭部の位置情報と、頭部の傾きと、腰部の傾きと、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。当該構成によれば、コンピュータ２００Ｂは、関節の回転方向の精度を向上し得る。

［ライブ進行処理フロー］
図２３は、ある実施の形態に従うＨＭＤセット１１０Ｂにおいて実行される処理の一部を表すシーケンスチャートである。図２４は、ある実施の形態に仮想空間２４１１Ｂおよび視界画像２４１７Ｂを示す図である。本実施形態では、少なくともＨＭＤセット１１０Ｂが、アバターオブジェクト６Ｂのライブを進行させるための一連の処理を実行する。

ステップＳ２３０１において、プロセッサ２１０Ｂは、図２４（Ａ）に示すような仮想空間２４１１Ｂを定義する。当該処理は、図１１のステップＳ１１１０の処理に相当する。具体的には、プロセッサ２１０Ｂは、仮想空間データを特定することによって、仮想空間データによって表される仮想空間２４１１Ｂを定義する。図２４（Ａ）では、仮想空間２４１１Ｂは、アバターオブジェクト６Ａ〜６Ｄを含む。仮想空間２４１１Ｂは、アバターオブジェクト６Ｂのライブをアバターオブジェクト６Ａ等が視聴する仮想空間である。言い換えれば、仮想空間２４１１Ｂは、アバターオブジェクト６Ｂによるパフォーマンスが行われる仮想空間２４１１Ｂである。

ステップＳ２３０２において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、ステージオブジェクト１５３２を生成し、仮想空間２４１１Ｂに配置する。ステージオブジェクト１５３２は、その上でアバターオブジェクト６Ｂがパフォーマンスを実行するための仮想オブジェクトの一種である。ステップ２３０３において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、ユーザ５Ｂ（第１ユーザ）に関連付けられるアバターオブジェクト６Ｂ（第１アバター）を生成し、仮想空間２４１１Ｂに配置する。図２４（Ａ）では、アバターオブジェクト６Ｂは、ステージオブジェクト１５３２上に配置される。図示しないが、プロセッサ２１０Ｂは、任意のタイミングで、アバターオブジェクト６Ｂのアバター情報を生成し、かつサーバ６００に送信する。ステップＳ２３０４において、プロセッサ２１０Ｂは、仮想カメラ１４Ｂを生成し、仮想空間２４１１Ｂに配置する。

ステップＳ２３０５において、プロセッサ２１０Ｂは、アバターオブジェクト６Ａ、６Ｃ、および６Ｄの各アバター情報を、サーバ６００から受信する。ステップＳ２３０６において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、受信した各アバター情報に基づいて、ユーザ５Ａ（第２ユーザ）、５Ｃ、および５Ｄにそれぞれ関連付けられるアバターオブジェクト６Ａ（第２アバター）、６Ｃ、および６Ｄを、仮想空間２４１１Ｂに配置する。プロセッサ２１０Ｂは、さらに、他のアバターオブジェクト６のアバター情報も受信し、かつ他のアバターオブジェクト６も仮想空間２４１１Ｂに配置する。仮想空間２４１１Ｂには、他のアバターオブジェクト６が多数配置されているが、図２４等では、説明の便宜のため、その図示を省略する。以降、特に必要がない限り、他のアバターオブジェクト６には言及しない。

ステップ２３０７において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、透過設定された鏡面体オブジェクト２４４１（第１オブジェクト）を生成し、アバターオブジェクト６Ｂからの視界領域１５Ｂ（第１視界）内に配置する。鏡面体オブジェクト２４４１は、仮想空間２４１１Ｂにおける視界領域１５Ｂ内で視覚化される。図２４（Ａ）では、鏡面体オブジェクト２４４１が配置される位置は、アバターオブジェクト６Ｂと対向する位置である。アバターオブジェクト６Ｂから見ると、鏡面体オブジェクト２４４１はアバターオブジェクト６Ａに重畳している。言い換えれば、鏡面体オブジェクト２４４１は、仮想空間２４１１Ｂにおいてアバターオブジェクト６Ａとアバターオブジェクト６Ｂとの間に配置される。

鏡面体オブジェクト２４４１は、テキストおよび画像（静止画、動画）などの各種の情報を表示可能な表示面を有する。プロセッサ２１０Ｂは、鏡面体オブジェクト２４４１の表示面をアバターオブジェクト６Ｂに向けた状態で、鏡面体オブジェクト２４４１を仮想空間２４１１Ｂに配置する。鏡面体オブジェクト２４４１の透過度は、ユーザ５Ｂが鏡面体オブジェクト２４４１の背後をユーザ５Ｂが視認可能である鏡面体オブジェクト２４４１の状態を示す任意の値を取り得る。鏡面体オブジェクト２４４１が完全に透明な場合の鏡面体オブジェクト２４４１の透過度を１００（最高値）とし、鏡面体オブジェクト２４４１が完全に不透明な場合の鏡面体オブジェクト２４４１の透過度を０（最低値）とすると、鏡面体オブジェクト２４４１の透過度は０を上回りかつ１００以下のいずれかの値を取る。プロセッサ２１０Ｂは、例えば、ライブの進行中に、鏡面体オブジェクト２４４１の透過度の値を同一値に維持することができる。

ステップＳ２３０８において、プロセッサ２１０Ｂは、仮想オブジェクト生成モジュール１４２１として、仮想カメラ２４４２（仮想視点）を生成し、鏡面体オブジェクト２４４１に関連付けて配置する。仮想カメラ２４４２は、アバターオブジェクト６Ｂの少なくとも一部を撮影することによって、アバターオブジェクト６Ｂの少なくとも一部を示すアバター画像２４４４を生成する仮想カメラである。図２４（Ａ）では、仮想カメラ２４４２は、仮想カメラ２４４２の撮影方向をアバターオブジェクト６Ｂに向けた状態で、鏡面体オブジェクト２４４１上に配置される。仮想カメラ２４４２は、鏡面体オブジェクト２４４１に関連付けられた状態で、鏡面体オブジェクト２４４１と異なる位置に配置されてもよい。

プロセッサ２１０Ｂは、仮想カメラ２４４２の撮影方向に基づいて、仮想カメラ２４４２からの視界領域２４４３（第３視界）を規定する。視界領域２４４３は、仮想カメラ２４４２による撮影範囲に相当する。プロセッサ２１０Ｂは、アバターオブジェクト６Ｂの少なくとも一部が視界領域２４４３内に含まれるように、視界領域２４４３を制御する。図２４（Ａ）では、アバターオブジェクト６Ｂの全部が、視界領域２４４３内に含まれる。仮想カメラ２４４２は、ユーザＢによって視認されない仮想カメラである。プロセッサ２１０Ｂは、仮想カメラ１４Ｂが仮想カメラ２４４２によって撮影されないことを、仮想カメラ１４Ｂに設定する。プロセッサ２１０Ｂは、さらに、仮想カメラ２４４２が仮想カメラ１４Ｂによって撮影されないことを、仮想カメラ２４４２に設定する。

ステップＳ２３０９において、プロセッサ２１０Ｂは、仮想カメラ制御モジュール１４２２として、仮想カメラ２４４２を用いてアバターオブジェクト６Ｂを撮影することによって、アバターオブジェクト６Ｂの現在の前面を表すアバター画像２４４４を、リアルタイムに生成する。アバター画像２４４４は、仮想カメラ２４４２からの視界領域２４４３に対応する視界画像（第２視界画像）である。仮想空間２４１１Ｂにおいて仮想カメラ２４４２の視界領域２４４３に仮想カメラ１４Ｂが配置されているが、仮想カメラ１４Ｂには仮想カメラ２４４２による撮影不可が設定されているので、アバター画像２４４４には仮想カメラ１４Ｂの像が含まれない。言い換えれば、プロセッサ２１０Ｂは、仮想空間２４１１Ｂにおける仮想カメラ２４４２の視界領域２４４３をレンダリングする際、仮想カメラ１４Ｂをレンダリングの対象から外す。

プロセッサ２１０Ｂは、生成したアバター画像２４４４に、所定の透過度を設定する。アバター画像２４４４の透過度は、例えば、鏡面体オブジェクト２４４１の透過度と同一である。アバター画像２４４４の透過度は、鏡面体オブジェクト２４４１の透過度と異なっていても良い。ステップＳ２３１０において、プロセッサ２１０Ｂは、仮想オブジェクト制御モジュール１４２７として、透過設定されたアバター画像２４４４を、鏡面体オブジェクト２４４１にリアルタイムに表示する。プロセッサ２１０Ｂは、例えば、アバター画像２４４４を左右反転させた状態で鏡面体オブジェクト２４４１に表示する。これにより、アバターオブジェクト６Ｂの鏡像が、鏡面体オブジェクト２４４１にリアルタイムに映し出される。その結果、鏡面体オブジェクト２４４１は、アバターオブジェクト６Ｂの現在の正面を映し出す仮想的な鏡として機能する。

ステップＳ２３１１において、プロセッサ２１０Ｂは、仮想カメラ制御モジュール１４２２として、ＨＭＤ１２０Ｂが関連付けられたユーザ５Ｂの頭部の動きに応じて、アバターオブジェクト６Ｂからの視界領域１５Ｂを制御する。詳細には、プロセッサ２１０Ｂは、ＨＭＤ１２０Ｂの動きに応じて仮想空間２４１１Ｂにおける仮想カメラ１４Ｂの位置および傾きを決定し、決定された仮想カメラ１４Ｂの位置および傾きに応じて、視界領域１５Ｂを制御する。当該処理は、図１１のステップＳ１１４０の処理の一部に相当する。仮想カメラ１４Ｂがアバターオブジェクト６Ｂと同一の位置に配置されるので、仮想カメラ１４Ｂの位置は、アバターオブジェクト６Ｂの位置と同義である。さらに、仮想カメラ１４Ｂからの視界は、アバターオブジェクト６Ｂからの視界と同義である。

ステップＳ２３１２において、プロセッサ２１０Ｂは、視界画像２４１７Ｂをモニタ１３０Ｂに表示する。具体的には、プロセッサ２１０Ｂは、ＨＭＤ１２０Ｂの動き（すなわち仮想カメラ１４Ｂの位置および傾き）と、仮想空間２４１１Ｂを定義する仮想空間データと、に基づいて、視界領域１５Ｂに対応する視界画像２４１７Ｂを定義する。視界画像２４１７を定義することは、視界画像２４１７Ｂを生成することと同義である。プロセッサ２１０Ｂは、さらに、ＨＭＤ１２０Ｂのモニタ１３０Ｂに視界画像２４１７Ｂを出力することによって、視界画像２４１７ＢをＨＭＤ１２０Ｂに表示させる。当該処理は、図１１のステップＳ１１８０およびＳ１１９０の処理に相当する。

プロセッサ２１０Ｂは、例えば、図２４（Ａ）に示す仮想空間２４１１Ｂに対応する視界画像２４１７Ｂを、図２４（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像２４１７Ｂを視認することによって、アバターオブジェクト６Ｃおよび６Ｄが、アバターオブジェクト６Ｂのパフォーマンスを視聴していることを認識する。ユーザ５Ｂは、さらに、鏡面体オブジェクト２４４１に表示されるアバター画像２４４４を視認することによって、アバターオブジェクト６Ｂの現在の姿をリアルタイムに確認することができる。これにより、ユーザ５Ｂは、ユーザ５Ｂの動きがアバターオブジェクト６Ｂに正しく反映されているか否かを、ライブ中に容易に把握することができる。ユーザ５Ｂは、さらに、鏡面体オブジェクト２４４１の背後に配置されるアバターオブジェクト６Ａの様子を、透過設定された鏡面体オブジェクト２４４１およびアバター画像２４４４越しに視認することもできる。したがって、ユーザ５Ｂは、アバターオブジェクト６Ａもアバターオブジェクト６Ｂのパフォーマンスを視聴していることを認識できる。このように、ユーザ５Ｂは、仮想空間２４１１Ｂにおける視界領域１５Ｂ内の全体を認識しつつ、アバターオブジェクト６Ｂの現在の姿を正確に把握することができる。

（視聴者の仮想空間２４１１Ａ）
図２５は、ある実施の形態に係る仮想空間２４１１Ａおよび視界画像２５１７Ａを示す図である。プロセッサ２１０Ａは、ユーザ５Ａに仮想体験を提供するための仮想空間２４１１Ａを、図２５（Ａ）に示すように定義する。仮想空間２４１１Ａは、仮想空間２４１１Ｂと基本的に同期される仮想空間である。仮想空間２４１１Ａは、仮想空間２４１１Ｂと同様に、アバターオブジェクト６Ｂによるパフォーマンスが行われる仮想空間でもある。プロセッサ２１０Ａは、仮想カメラ１４Ａ、アバターオブジェクト６Ａ、およびステージオブジェクト１５３２を、それぞれ仮想空間２４１１Ａに配置する。プロセッサ２１０Ａは、アバターオブジェクト６Ｂ〜６Ｄの各アバター情報をサーバ６００から受信し、これらのアバター情報に基づいて、アバターオブジェクト６Ｂ〜６Ｄを仮想空間２４１１Ｂに配置する。仮想空間２４１１Ａにおいてアバターオブジェクト６Ａ〜６Ｄが配置される各位置は、仮想空間２４１１Ｂにおける各位置と同一である。

仮想空間２４１１Ｂの一部は、仮想空間２４１１Ａと同期されない。詳細には、プロセッサ２１０Ａは、鏡面体オブジェクト２４４１および仮想カメラ２４４２を、仮想空間２４１１Ａに配置しない。したがって、仮想空間２４１１Ａは、仮想空間２４１１Ｂと異なり、鏡面体オブジェクト２４４１、仮想カメラ２４４２、およびアバター画像２４４４を、いずれもその内部に含まない。このように、鏡面体オブジェクト２４４１は、仮想空間２４１１Ａにおいて、アバターオブジェクト６Ａからの視界領域１５Ａ（第２視界）内では視覚化されないオブジェクトである。

プロセッサ２１０Ａは、例えば、図２５（Ａ）に示す仮想空間２４１１Ａに対応する視界画像２５１７Ａを、図２５（Ｂ）に示すようにモニタ１３０Ａに表示する。ユーザ５Ａは、視界画像２５１７Ａを視認することによって、アバターオブジェクト６Ｂのパフォーマンスを視認する。仮想空間２４１１Ａに鏡面体オブジェクト２４４１が配置されないので、視界画像２５１７Ａは、鏡面体オブジェクト２４４１およびアバター画像２４４４を含まない。したがって、ユーザ５Ｂは、視界画像２５１７Ａを視認したとしても、鏡面体オブジェクト２４４１およびアバター画像２４４４を視認することがない。このように、鏡面体オブジェクト２４４１は、ユーザ５Ｂは視認できるが、ユーザ５Ａは視認できない仮想オブジェクトである。また、アバター画像２４４４は、ユーザ５Ｂは視認できるが、ユーザ５Ａは視認できない情報である。

ユーザ５Ａは、アバターオブジェクト６Ｂのパフォーマンス中に、鏡面体オブジェクト２４４１およびアバター画像２４４４を視認することがないので、アバターオブジェクト６Ｂのパフォーマンスに対して違和感を覚えることがない。これにより、ユーザ５Ａは、アバターオブジェクト６Ａのパフォーマンスにより集中したり、パフォーマンスをより楽しんだりするができる。特に、ユーザ５Ａは、ライブ中にユーザ５Ｂがアバター画像２４４４を確認している事実を知ることがないので、ライブ中に興ざめすることもない。

図２６は、ある実施形態に係るユーザ５Ｂの姿勢の一例を表す図である。図２７は、ある実施の形態に従う仮想空間２４１１Ｂおよび視界画像２７１７Ｂを示す図である。ライブの開始後、ユーザ５Ｂは、例えば図２６に示す姿勢を取るように自身の身体を動かす。図２６に示す姿勢は、第１パフォーマンスに対応する姿勢である。プロセッサ２１０Ｂは、図２６に示す姿勢を取るためのユーザ５Ｂの身体の動きに基づいて、図２７（Ａ）に示すように、アバターオブジェクト６Ｂに第１パフォーマンスを実行させる。プロセッサ２１０Ｂは、仮想カメラ２４４２を用いてアバターオブジェクト６Ｂを撮影することによって、第１パフォーマンスを実行中のアバターオブジェクト６Ｂの現在の前面を表すアバター画像２７４４を、リアルタイムに生成する。プロセッサ２１０Ｂは、生成したアバター画像２７４４に所定の透過度を設定すると共に、透過設定されたアバター画像２７４４を、左右反転させた状態で鏡面体オブジェクト２４４１にリアルタイムに表示する。

プロセッサ２１０Ｂは、例えば、図２７（Ａ）に示す仮想空間２４１１Ｂに対応する視界画像２７１７Ｂを、図２７（Ｂ）に示すようにモニタ１３０Ｂに表示する。視界画像２７１７Ｂは、鏡面体オブジェクト２４４１およびアバター画像２７４４を含む。ユーザ５Ｂは、視界画像２７１７Ｂに含まれる鏡面体オブジェクト２４４１およびアバター画像２７４４を視認することによって、アバターオブジェクト６Ｂがユーザ５Ｂの動きに連動した第１パフォーマンスを正しく実行していることを、確認することができる。ユーザ５Ｂは、さらに、鏡面体オブジェクト２４４１の背後に配置されるアバターオブジェクト６Ａの様子を、鏡面体オブジェクト２４４１およびアバター画像２７４４越しに視認することもできる。このように、ユーザ５Ｂがどのような動きをしたとしても、アバターオブジェクト６Ｂの姿を示すアバター画像は、常に透過設定されている。したがって、ユーザ５Ｂは、仮想空間における鏡面体オブジェクト２４４１の背後の様子を、ライブ中に常に視認することができる。

［本実施形態の主要な利点］
以上のように、プロセッサ２１０Ｂは、透過設定された鏡面体オブジェクト２４４１に、透過設定されたアバター画像２７４４を表示する。これにより、ユーザ５Ｂは、アバター画像２７４４を視認することによって、アバターオブジェクト６Ｂの現在の挙動を容易に把握することができる。ユーザ５Ｂは、さらに、透過設定された鏡面体オブジェクト２４４１およびアバター画像２７４４越しに、仮想空間２４１１Ｂにおける鏡面体オブジェクト２４４１の背後の様子を容易に把握することができる。このように、プロセッサ２１０Ｂは、仮想空間２４１１Ｂにおけるユーザ５Ｂの視認性を低下させることなく、ユーザ５Ｂに有益な情報をユーザ５Ｂに提供することができる。

（透過度の制御例）
図２８は、ある実施の形態に従う仮想空間２４１１Ｂおよび視界画像２８１７Ｂを示す図である。図２８（Ａ）では、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの間に、鏡面体オブジェクト２４４１が配置されている。プロセッサ２１０Ｂは、仮想カメラ２４４２を用いてアバターオブジェクト６Ｂを撮影することによって、アバターオブジェクト６Ｂの現在の前面を表すアバター画像２８４４を、リアルタイムに生成する。プロセッサ２１０Ｂは、さらに、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの位置関係に基づいて、鏡面体オブジェクト２４４１およびアバター画像２８４４の透過度を制御する。図２８（Ａ）では、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの距離は、第１閾値以下である。プロセッサ２１０Ｂは、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの距離が第１閾値以下であることに基づいて、鏡面体オブジェクト２４４１およびアバター画像２８４４の透過度を、より高くする。詳細には、プロセッサ２１０Ｂは、鏡面体オブジェクト２４４１およびアバター画像２８４４の透過度を、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの距離が第１閾値を上回る場合の透過度よりも、高くする。

プロセッサ２１０Ｂは、例えば、図２８（Ａ）に示す仮想空間２４１１Ｂに対応する視界画像２８１７Ｂを、図２８（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像２８１７Ｂを視認した場合、アバターオブジェクト６Ｂの近くに配置されるアバターオブジェクト６Ａの姿を、鏡面体オブジェクト２４４１およびアバター画像２８４４越しに、より明瞭に視認することができる。したがって、ユーザ５Ｂは、アバターオブジェクト６Ａの様子を、より正確に把握することができる。

図２９は、ある実施の形態に従う仮想空間２４１１Ｂおよび視界画像２９１７Ｂを示す図である。図２９（Ａ）では、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの間に、鏡面体オブジェクト２４４１が配置されている。プロセッサ２１０Ｂは、仮想カメラ２４４２を用いてアバターオブジェクト６Ｂを撮影することによって、アバターオブジェクト６Ｂの現在の前面を表すアバター画像２９４４を、リアルタイムに生成する。プロセッサ２１０Ｂは、図２９（Ａ）に示すアバターオブジェクト６Ｂとアバターオブジェクト６Ａとの位置関係が、図２８（Ａ）と異なることに基づいて、鏡面体オブジェクト２４４１およびアバター画像２９４４の透過度を、図２８（Ａ）と異ならせる。詳細には、図２９（Ａ）におけるアバターオブジェクト６Ａの位置は、図２８（Ａ）におけるアバターオブジェクト６Ａの位置に比べて、アバターオブジェクト６Ｂの位置からより離れている。これにより、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの距離が、第１閾値を上回っている。プロセッサ２１０Ｂは、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの距離が第１閾値を上回ることに基づいて、鏡面体オブジェクト２４４１およびアバター画像２８４４の透過度を、より低くする。詳細には、プロセッサ２１０Ｂは、鏡面体オブジェクト２４４１およびアバター画像２９４４の透過度を、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの距離が第１閾値以下である場合の透過度よりも、低くする。

プロセッサ２１０Ｂは、例えば、図２９（Ｂ）に示す仮想空間２４１１Ｂに対応する視界画像２９１７Ｂを、図２９（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像２９１７Ｂを視認した場合、鏡面体オブジェクト２４４１に表示されるアバター画像２９４４を、図２８（Ｂ）の場合に比べてより明瞭に視認することができる。したがって、ユーザ５Ｂは、アバターオブジェクト６Ｂが自身の意図通りに動作しているか否かを、より確実に把握することができる。図２９（Ｂ）では、ユーザ５Ｂは、アバターオブジェクト６Ａの姿を、図２８（Ｂ）に比べて視認し辛い。しかし、アバターオブジェクト６Ｂはアバターオブジェクト６Ａの近くにいないため、アバターオブジェクト６Ｂの挙動がユーザ５Ｂにとって把握し辛かったとしても、ライブの進行に大きな影響は生じない。

（鏡面体オブジェクト２４４１の位置制御）
図３０は、ある実施の形態に従う仮想空間２４１１Ｂおよび視界画像３０１７Ｂを示す図である。図３０（Ａ）では、アバターオブジェクト６Ｂは、ステージオブジェクト１５３２上の、アバターオブジェクト６Ｂから見て右側の端に配置されている。アバターオブジェクト６Ａは、仮想空間２４１１Ｂにおけるステージオブジェクト１５３２に近くの位置に、アバターオブジェクト６Ｂと向き合うようにして配置されている。アバターオブジェクト６Ｄは、アバターオブジェクト６Ａの背後に配置されている。アバターオブジェクト６Ｃは、アバターオブジェクト６Ａおよび６Ｄから離れた位置に配置されている。図３０（Ａ）では、アバターオブジェクト６Ｂとアバターオブジェクト６Ａとの間に、鏡面体オブジェクト２４４１が配置されている。プロセッサ２１０Ｂは、仮想カメラ２４４２を用いてアバターオブジェクト６Ｂを撮影することによって、アバターオブジェクト６Ｂの現在の前面を表すアバター画像２９４４を、リアルタイムに生成し、鏡面体オブジェクト２４４１に表示する。

プロセッサ２１０Ｂは、例えば、図３０（Ａ）に示す仮想空間２４１１Ｂに対応する視界画像３０１７Ｂを、図３０（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像２８１７Ｂに含まれるアバター画像３０４４を視認することによって、アバターオブジェクト６Ｂの現在の姿を容易に確認する。ユーザ５Ｂは、さらに、鏡面体オブジェクト２４４１の背後に配置されるアバターオブジェクト６Ａの様子を、鏡面体オブジェクト２４４１およびアバター画像３０４４越しに容易に把握することもできる。

図３１は、ある実施の形態に従う仮想空間２４１１Ｂおよび視界画像３１１７Ｂを示す図である。ユーザ５Ｂは、図３０（Ａ）に示すようにアバターオブジェクト６Ｂが配置される際、アバターオブジェクト６Ｂをステージオブジェクト１５３２上の左端まで移動させるための操作を行う。この操作は、例えば、右コントローラ３００ＲＢのいずれかのボタンをユーザ５Ｂが押下することである。プロセッサ２１０Ｂは、アバターオブジェクト６Ｂを移動させるためのユーザ５Ｂの操作を検出する。プロセッサ２１０Ｂは、ユーザ５Ｂの操作を検出した場合、図３０（Ｂ）に示すように、アバターオブジェクト６Ｂを、ステージオブジェクト１５３２上の左端の位置まで移動させる。プロセッサ２１０Ｂは、アバターオブジェクト６Ｂに連動させて、仮想カメラ１４Ｂも移動させる。これにより、仮想カメラ１４Ｂの位置も、ステージオブジェクト１５３２上の右端から左端に変化する。

プロセッサ２１０Ｂは、アバターオブジェクト６Ｂおよび仮想カメラ１４Ｂの移動に連動して、視界領域１５Ｂを図３０（Ａ）に示す位置から図３１（Ａ）に示す位置に動かす。詳細には、プロセッサ２１０Ｂは、図３１（Ａ）に示すようにアバターオブジェクト６Ｂおよび仮想カメラ１４Ｂが移動した場合、ユーザ５Ｂの頭部の姿勢と、仮想空間２４１１Ｂにおける移動後の仮想カメラ１４Ｂの位置とに応じて、仮想空間２４１１Ｂにおける仮想カメラ１４Ｂからの視界である視界領域１５Ｂを、図３１（Ａ）に示すように制御する。

プロセッサ２１０Ｂは、視界領域１５Ｂの動きに連動して、図３１（Ａ）に示すように、鏡面体オブジェクト２４４１および仮想カメラ２４４２が視界領域１５Ｂ内の所定位置に位置するように、鏡面体オブジェクト２４４１および仮想カメラ２４４２を移動させる。図３１（Ａ）では、所定位置は、アバターオブジェクト６Ｂに対向する位置である。図３０（Ａ）および図３１（Ａ）に示すように、視界領域１５Ｂが動く前後で、視界領域１５Ｂ内の鏡面体オブジェクト２４４１および仮想カメラ２４４２の相対的な位置は変わらない。

プロセッサ２１０Ｂは、移動後の仮想カメラ２４４２を用いてアバターオブジェクト６Ｂを撮影することによって、アバターオブジェクト６Ｂの前面を表すアバター画像３１４４を生成する。プロセッサ２１０Ｂは、さらに、透過設定されたアバター画像３１４４を、左右反転させた状態で、移動後の鏡面体オブジェクト２４４１に表示する。

プロセッサ２１０Ｂは、例えば、図３１（Ｂ）に示す仮想空間２４１１Ｂに対応する視界画像３１１７Ｂを、図３１（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像３１１７Ｂを視認することによって、仮想空間２４１１Ｂ内の他の箇所を視認する。ユーザ５Ｂは、さらに、アバターオブジェクト６Ｂの移動に追随して鏡面体オブジェクト２４４１が仮想空間２４１１Ｂ内を移動したことを認識する。ユーザ５Ｂは、さらに、鏡面体オブジェクト２４４１に表示されるアバター画像３１４４を視認することによって、現在のアバターオブジェクト６Ｂの姿を確認する。

図３２は、ある実施の形態に従う仮想空間２４１１Ｂおよび視界画像３２１７Ｂを示す図である。図３２に示す例では、ユーザ５Ｂは、図３０（Ａ）に示すようにアバターオブジェクト６Ｂが配置された後、自身の左側の真横を向く。これにより、ユーザ５Ｂの頭部を含めた全身が、左側に９０°回転移動する。プロセッサ２１０Ｂは、このようなユーザ５Ｂの動きに連動して、図３２（Ａ）に示すように、アバターオブジェクト６Ｂおよび仮想カメラ１４Ｂを、仮想空間２４１１Ｂにおいてアバターオブジェクト６Ｂの左側に９０°回転移動させる。プロセッサ２１０Ｂは、ユーザ５Ｂの頭部の動きに連動して、視界領域１５Ｂを図３０（Ａ）に示す位置から図３２に示す位置に動かす。詳細には、プロセッサ２１０Ｂは、図３２（Ａ）に示すようにアバターオブジェクト６Ｂおよび仮想カメラ１４Ｂが移動した場合、ユーザ５Ｂの頭部の姿勢と、仮想空間２４１１Ｂにおける移動後の仮想カメラ１４Ｂの位置とに応じて、仮想空間２４１１Ｂにおける仮想カメラ１４Ｂからの視界である視界領域１５Ｂを、図３２（Ａ）に示すように制御する。

プロセッサ２１０Ｂは、視界領域１５Ｂの動きに連動して、図３２（Ａ）に示すように、鏡面体オブジェクト２４４１および仮想カメラ２４４２が視界領域１５Ｂ内の所定位置に位置するように、鏡面体オブジェクト２４４１および仮想カメラ２４４２を移動させる。図３２（Ａ）では、所定位置は、アバターオブジェクト６Ｂに対向する位置である。図３０（Ａ）および図３２（Ａ）に示すように、視界領域１５Ｂが動く前後で、視界領域１５Ｂ内の鏡面体オブジェクト２４４１および仮想カメラ２４４２の相対的な位置は変わらない。

プロセッサ２１０Ｂは、移動後の仮想カメラ２４４２を用いてアバターオブジェクト６Ｂを撮影することによって、アバターオブジェクト６Ｂの前面を表すアバター画像３２４４を生成する。プロセッサ２１０Ｂは、さらに、透過設定されたアバター画像３２４４を、左右反転させた状態で、移動後の鏡面体オブジェクト２４４１に表示する。

プロセッサ２１０Ｂは、例えば、図３２（Ｂ）に示す仮想空間２４１１Ｂに対応する視界画像３２１７Ｂを、図３２（Ｂ）に示すようにモニタ１３０Ｂに表示する。ユーザ５Ｂは、視界画像３２１７Ｂを視認することによって、仮想空間２４１１Ｂ内の他の箇所を視認する。ユーザ５Ｂは、さらに、アバターオブジェクト６Ｂの向きの変化に追随して鏡面体オブジェクト２４４１が仮想空間２４１１Ｂ内を移動したことを認識する。ユーザ５Ｂは、さらに、鏡面体オブジェクト２４４１に表示されるアバター画像３１４４を視認することによって、現在のアバターオブジェクト６Ｂの姿を確認する。

図３０〜図３２に示すように、ユーザ５Ｂが仮想空間２４１１Ｂ内のいずれの箇所を視認する場合でも、鏡面体オブジェクト２４４１は常に視界領域１５Ｂ内の所定位置に位置し続ける。したがって、ユーザ５Ｂは、鏡面体オブジェクト２４４１に表示されるアバターオブジェクト６Ｂの姿を、いつでも容易に視認することができる。

（変形例）
プロセッサ２１０Ｂは、アバターオブジェクト６Ｂの少なくとも一部を示しかつ透過設定された画像を、鏡面体オブジェクト２４４１に表示することができる。アバター画像２８４４を鏡面体オブジェクト２４４１に表示することは、アバターオブジェクト６Ｂの少なくとも一部を示しかつ透過設定された画像を鏡面体オブジェクト２４４１に表示することの一例である。プロセッサ２１０Ｂは、他にも、仮想カメラ２４４２によって撮影された画像から、アバターオブジェクト６Ｂの一部である例えば上半身を示す画像を抽出し、その画像を鏡面体オブジェクト２４４１に表示してもよい。

プロセッサ２１０Ｂは、アバター画像２８４４を、必ずしもリアルタイムに鏡面体オブジェクト２４４１に表示する必要はない。プロセッサ２１０Ｂは、例えば、アバター画像２８４４の生成後、一定時間が経過してから、アバター画像２８４４を鏡面体オブジェクト２４４１に表示することもできる。この場合も、ユーザ５Ｂは、鏡面体オブジェクト２４４１に表示されるアバター画像２８４４を通じて、アバターオブジェクト６Ｂの挙動を正確に把握できる。

プロセッサ２１０Ｂは、アバターオブジェクト６Ｂの少なくとも一部を示す画像を、左右反転せずに、そのまま鏡面体オブジェクト２４４１に表示することもできる。この場合も、ユーザ５Ｂは、鏡面体オブジェクト２４４１に表示される画像を視認することによって、アバターオブジェクト６Ｂの姿を容易に確認することができる。

プロセッサ２１０Ｂは、任意の第１情報を、鏡面体オブジェクト２４４１に表示することができる。第１情報は、少なくとも一部が透過設定された情報であり得る。上述したアバター画像２８４４は、鏡面体オブジェクト２４４１に表示される、透過設定された第１情報の一例である。第１情報は、背景部分が透明でありかつ文字部分が不透明な文字列などの、透過設定されない情報であってもよい。

第１情報は、アバター画像２８４４以外の、アバターオブジェクト６Ｂのライブの進行に関する任意の情報（テキスト、画像）であり得る。第１情報は、例えば、アバターオブジェクト６Ｂに対する行動内容を指示した情報であり得る。このような第１情報として、例えば、ライブ中のある時点においてアバターオブジェクト６Ｂが取るべき特定の動作をユーザ５Ｂに指示した情報が挙げられる。ユーザ５Ｂは、鏡面体オブジェクト２４４１に表示された第１情報をライブ中のカンニングペーパーとして参照することによって、ライブ中にアバターオブジェクト６Ｂに対して如何なる動作を実行させるべきかを、容易に把握することができる。したがって、ユーザ５Ｂは、アバターオブジェクト６Ｂのライブを円滑に進行させることができる。ユーザ５Ｂは、さらに、第１情報を視認する際、仮想空間２４１１Ｂにおける鏡面体オブジェクト２４４１の背後の様子を鏡面体オブジェクト２４４１越しに視認することができるので、仮想空間２４１１Ｂにおけるユーザ５Ｂの視認性を高めることができる。

プロセッサ２１０Ｂは、ユーザ５Ｂによる指示に基づいて、視界領域１５Ｂ内で鏡面体オブジェクト２４４１を視覚化するか否かを決定することもできる。プロセッサ２１０Ｂは、例えば、ユーザ５Ｂによる第１指示を検出した場合、視覚化許可を鏡面体オブジェクト２４４１に設定し、ユーザ５Ｂによる第２指示を検出した場合、視覚化不可を鏡面体オブジェクト２４４１に設定する。プロセッサ２１０Ｂは、鏡面体オブジェクト２４４１に視覚化許可が設定される場合、鏡面体オブジェクト２４４１を含む視界画像をＨＭＤ１２０に表示し、鏡面体オブジェクト２４４１に視覚化不可が設定される場合、鏡面体オブジェクト２４４１を含まない視界画像をＨＭＤ１２０に表示する。したがって、ユーザ５Ｂは、ライブ中に第１情報を視認するか否かを、必要に応じて決定することができる。

〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。

（項目１）プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ（２１０Ｂ）を備えたコンピュータ（２００Ｂ）によって実行される。プログラムは、プロセッサに、第１ユーザ（ユーザ５Ｂ）に関連付けられる第１アバター（アバターオブジェクト６Ｂ）と第２ユーザ（ユーザ５）に関連付けられる第２アバター（アバターオブジェクト６Ａ）とを含む、仮想空間（２４１１Ｂ）を定義するステップ（Ｓ２３０１）と、第１ヘッドマウントデバイス（ＨＭＤ１２０Ｂ）が関連付けられた第１ユーザの頭部の動きに応じて、第１アバターからの第１視界（視界領域１５Ｂ）を制御するステップ（Ｓ２３１１）と、第１視界内では視覚化され、第２アバターからの第２視界（視界領域１５Ａ）内では視覚化されない、透過設定された第１オブジェクト（鏡面体オブジェクト２４４１）を、第１視界内に配置するステップ（Ｓ２３０７）と、第１オブジェクトに、第１情報（アバター画像２４４４）を表示するステップ（Ｓ２３１０）と、第１視界に対応する第１視界画像（視界画像２４１７Ｂ）を第１ヘッドマウントデバイスに表示するステップ（Ｓ２３１２）と、を実行させる。

（項目２）（項目１）において、第１視界を制御するステップは、第１ユーザの頭部の動きに連動して、第１視界を動かすことを含み、プログラムは、プロセッサに、第１視界の動きに連動して、第１視界内の所定位置に第１オブジェクトが位置するように第１オブジェクトを移動させるステップをさらに実行させる。

（項目３）（項目１）または（項目２）において、配置するステップは、第１オブジェクトに関連付けて仮想視点（仮想カメラ２４４２）を配置することを含み、プログラムは、プロセッサに、第１アバターの少なくとも一部が含まれるように仮想視点からの第３視界（視界領域２４４３）を制御するステップを実行させ、第１情報は、透過設定された、第３視界に対応する第２視界画像である。

（項目４）（項目３）において、仮想視点は、第１オブジェクト上に配置され、所定位置は、第１アバターと対向する位置である。

（項目５）（項目１）または（項目２）において、第１情報は、第１アバターに対する行動内容を指示した情報である。

（項目６）（項目１）〜（項目５）のいずれかにおいて、プログラムは、プロセッサに、第１ユーザによる指示に基づいて、第１視界内で第１オブジェクトを視覚化するか否かを決定するステップを実行させる。

（項目７）（項目３）または（項目４）において、第１情報を表示するステップにおいて、第２視界画像を第１オブジェクトにリアルタイムに表示する。

（項目８）（項目１）〜（項目７）のいずれかにおいて、配置するステップにおいて、第１アバターと第２アバターとの間に、第１オブジェクトを配置する。

（項目９）（項目８）において、プログラムは、プロセッサに、第１アバターと第２アバターとの位置関係に基づいて、第１オブジェクトの透過度を制御するステップを実行させる。

（項目１０）（項目９）において、透過度を制御するステップにおいて、第１アバターと第２アバターとの距離が第１閾値以下である場合、透過度をより高くし、第１アバターと第２アバターとの距離が第１閾値を上回る場合、透過度をより低くする。

（項目１１）情報処理装置を説明した。本開示のある局面によると、情報処理装置（コンピュータ２００Ｂ）は、情報処理装置によって実行されるプログラムを記憶する記憶部（ストレージ２３０Ｂ）と、プログラムを実行することにより、情報処理装置の動作を制御する制御部（プロセッサ２１０Ｂ）と、を備えている。制御部は、第１ユーザ（ユーザ５Ｂ）に関連付けられる第１アバター（アバターオブジェクト６Ｂ）と第２ユーザ（ユーザ５）に関連付けられる第２アバター（アバターオブジェクト６Ａ）とを含む、仮想空間（２４１１Ｂ）を定義し、第１ヘッドマウントデバイス（ＨＭＤ１２０Ｂ）が関連付けられた第１ユーザの頭部の動きに応じて、第１アバターからの第１視界（視界領域１５Ｂ）を制御し、第１視界内では視覚化され、第２アバターからの第２視界（視界領域１５Ａ）内では視覚化されない、透過設定された第１オブジェクト（鏡面体オブジェクト２４４１）を、第１視界内に配置し、第１オブジェクトに、第１情報（アバター画像２４４４）を表示するステップ（Ｓ２３１０）と、第１視界に対応する第１視界画像（視界画像２４１７Ｂ）を第１ヘッドマウントデバイスに表示する。

（項目１２）プログラムを実行する方法を説明した。本開示のある局面によると、方法は、プロセッサを備えたコンピュータによって実行される。方法は、プロセッサが、第１ユーザ（ユーザ５Ｂ）に関連付けられる第１アバター（アバターオブジェクト６Ｂ）と第２ユーザ（ユーザ５）に関連付けられる第２アバター（アバターオブジェクト６Ａ）とを含む、仮想空間（２４１１Ｂ）を定義するステップ（Ｓ２３０１）と、第１ヘッドマウントデバイス（ＨＭＤ１２０Ｂ）が関連付けられた第１ユーザの頭部の動きに応じて、第１アバターからの第１視界（視界領域１５Ｂ）を制御するステップ（Ｓ２３１１）と、第１視界内では視覚化され、第２アバターからの第２視界（視界領域１５Ａ）内では視覚化されない、透過設定された第１オブジェクト（鏡面体オブジェクト２４４１）を、第１視界内に配置するステップ（Ｓ２３０７）と、第１オブジェクトに、第１情報（アバター画像２４４４）を表示するステップ（Ｓ２３１０）と、第１視界に対応する第１視界画像（視界画像２４１７Ｂ）を第１ヘッドマウントデバイスに表示するステップ（Ｓ２３１２）と、を含む。

上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augmented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。

２ネットワーク、５，５Ａ，５Ｂ，５Ｃ、５Ｄユーザ、６，６Ａ，６Ｂ，６Ｃ，６Ｄアバターオブジェクト、１１，１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ仮想空間、１２中心、１３パノラマ画像、１４，１４Ａ，１４Ｂ仮想カメラ、１５，１５Ａ，１５Ｂ，１５Ｃ視界領域、１６基準視線、１７，１７Ａ，１７Ｂ視界画像、１８，１９領域、１００ＨＭＤシステム、１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０ＤＨＭＤセット、１２０，１２０Ａ，１２０Ｂ，１２０Ｃ、ＨＭＤ、１３０，１３０Ａ，１３０Ｂ，１３０Ｃモニタ、１４０注視センサ、１５０第１カメラ、１６０第２カメラ、１７０，１７０Ａ，１７０Ｂマイク、１８０，１８０Ａ，１８０Ｂスピーカ、１９０センサ、２００，２００Ａ，２００Ｂコンピュータ、２１０，２１０Ａ、２１０Ｂ，２１０Ｃ，２１０Ｄ，６１０プロセッサ、２２０，６２０メモリ、２３０，２３０Ａ，２３０Ｂ，６３０ストレージ、２４０，６４０入出力インターフェイス、２５０，６５０通信インターフェイス、２６０，６６０バス、３００，３００Ｂコントローラ、３００Ｒ右コントローラ、３００Ｌ左コントローラ、３１０グリップ、３２０フレーム、３３０天面、３４０，３４０，３５０，３７０，３８０ボタン、３６０赤外線ＬＥＤ、３９０アナログスティック、４１０ＨＭＤセンサ、４２０，４２０Ａモーションセンサ、４３０，４３０Ａディスプレイ、５１０コントロールモジュール、５２０レンダリングモジュール、５３０メモリモジュール、５４０通信制御モジュール、６００サーバ、７００外部機器、１４２１仮想オブジェクト生成モジュール、１４２２仮想カメラ制御モジュール、１４２３操作オブジェクト制御モジュール、１４２４アバターオブジェクト制御モジュール、１４２５動き検出モジュール、１４２６衝突検出モジュール、１４２７仮想オブジェクト制御モジュール、１５１７Ａ、１６１７Ｂ、２４１７、２４１７Ｂ、２５１７Ａ、２７１７Ｂ、２８１７Ｂ、２９１７Ｂ、３０１７Ｂ、３１１７Ｂ視界画像、１５３１ＬＡ，１５３１ＬＢ仮想左手、１５３１ＲＡ，１５３１ＲＢ仮想右手、１５３２ステージオブジェクト、１６４１，１６４２，１６４３モーションセンサ、１６４４ベルト、２４１１Ａ，２４１１Ｂ仮想空間、２４４１鏡面体オブジェクト、２４４２仮想カメラ、２４４３視界領域、２４４４，２７４４，２８４４，２９４４，３０４４，３１４４，３２４４アバター画像

Claims

プロセッサを備えたコンピュータによって実行されるプログラムであって、
前記プログラムは、前記プロセッサに、
第１ユーザに関連付けられる第１アバターと第２ユーザに関連付けられる第２アバターとを含む、仮想空間を定義するステップと、
第１ヘッドマウントデバイスが関連付けられた前記第１ユーザの頭部の動きに応じて、前記第１アバターからの第１視界を制御するステップと、
前記第１視界内では視覚化され、前記第２アバターからの第２視界内では視覚化されない、透過設定された第１オブジェクトを、前記第１視界内に配置するステップと、
前記第１オブジェクトに、第１情報を表示するステップと、
前記第１視界に対応する第１視界画像を前記第１ヘッドマウントデバイスに表示するステップと、を実行させるための、プログラム。
前記第１視界を制御するステップは、前記第１ユーザの頭部の動きに連動して、前記第１視界を動かすことを含み、
前記プログラムは、前記プロセッサに、
前記第１視界の動きに連動して、前記第１視界内の所定位置に前記第１オブジェクトが位置するように前記第１オブジェクトを移動させるステップをさらに実行させる、請求項１に記載のプログラム。
前記配置するステップは、前記第１オブジェクトに関連付けて仮想視点を配置することを含み、
前記プログラムは、前記プロセッサに、
前記第１アバターの少なくとも一部が含まれるように前記仮想視点からの第３視界を制御するステップを実行させ、
前記第１情報は、透過設定された、前記第３視界に対応する第２視界画像である、請求項１または２に記載のプログラム。
前記仮想視点は、前記第１オブジェクト上に配置され、
前記所定位置は、前記第１アバターと対向する位置である、請求項３に記載のプログラム。
前記第１情報は、前記第１アバターに対する行動内容を指示した情報である、請求項１または２に記載のプログラム。
前記プログラムは、前記プロセッサに、前記第１ユーザによる指示に基づいて、前記第１視界内で前記第１オブジェクトを視覚化するか否かを決定するステップを実行させる、請求項１〜５のいずれか１項に記載のプログラム。
前記第１情報を表示するステップにおいて、前記第２視界画像を前記第１オブジェクトにリアルタイムに表示する、請求項３または４に記載のプログラム。
前記配置するステップにおいて、前記第１アバターと前記第２アバターとの間に、前記第１オブジェクトを配置する、請求項１〜７のいずれか１項に記載のプログラム。
前記プログラムは、前記プロセッサに、
前記第１アバターと前記第２アバターとの位置関係に基づいて、前記第１オブジェクトの透過度を制御するステップを実行させる、請求項８に記載のプログラム。
前記透過度を制御するステップにおいて、前記第１アバターと前記第２アバターとの距離が第１閾値以下である場合、前記透過度をより高くし、前記第１アバターと前記第２アバターとの距離が前記第１閾値を上回る場合、前記透過度をより低くする、請求項９に記載のプログラム。
情報処理装置であって、
前記情報処理装置は、
前記情報処理装置によって実行されるプログラムを記憶する記憶部と、
前記プログラムを実行することにより、前記情報処理装置の動作を制御する制御部と、を備え、
前記制御部は、
第１ユーザに関連付けられる第１アバターと第２ユーザに関連付けられる第２アバターとを含む、仮想空間を定義し、
第１ヘッドマウントデバイスが関連付けられた前記第１ユーザの頭部の動きに応じて、前記第１アバターからの第１視界を制御し、
前記第１視界内では視覚化され、前記第２アバターからの第２視界内では視覚化されない、透過設定された第１オブジェクトを、前記第１視界内に配置し、
前記第１オブジェクトに、第１情報を表示し、
前記第１視界に対応する第１視界画像を前記第１ヘッドマウントデバイスに表示する、情報処理装置。
プロセッサを備えたコンピュータがプログラムを実行する方法であって、
前記方法は、前記プロセッサが、
第１ユーザに関連付けられる第１アバターと第２ユーザに関連付けられる第２アバターとを含む、仮想空間を定義するステップと、
第１ヘッドマウントデバイスが関連付けられた前記第１ユーザの頭部の動きに応じて、前記第１アバターからの第１視界を制御するステップと、
前記第１視界内では視覚化され、前記第２アバターからの第２視界内では視覚化されない、透過設定された第１オブジェクトを、前記第１視界内に配置するステップと、
前記第１オブジェクトに、第１情報を表示するステップと、
前記第１視界に対応する第１視界画像を前記第１ヘッドマウントデバイスに表示するステップと、を含む、方法。